[1]実施例
図1は実施例に係る仮想旅行システム1の全体構成を表す。仮想旅行システム1は、観光地等の旅行先に行かなくても仮想的に旅行を楽しむ仮想旅行サービスを提供するためのシステムである。仮想旅行システム1は、旅行先の映像を撮影する代理人と、仮想旅行に参加する参加人という2種類のユーザによって主に利用される。
仮想旅行システム1は、ネットワーク2と、代理人端末10と、参加人端末20と、配信サーバ装置30とを備える。ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク2には、配信サーバ装置30が有線通信でアクセスしており、代理人端末10及び参加人端末20が無線通信でアクセスしている。なお、ネットワーク2とのアクセスは有線通信及び無線通信のどちらでもよい。
代理人端末10は、旅行先にいる代理人によって持ち運ばれ、旅行先の映像を撮影する撮影装置である。本実施例では、代理人端末10は、例えば代理人の頭上に装着され、代理人の前後左右と上下を含んだ動画像であるいわゆる360度映像(全方位画像、全天球画像ともいう)を撮影する。代理人端末10は、自機が備えるマイクロフォンで音も録音し、撮影した360度映像と共に配信サーバ装置30に送信する。
配信サーバ装置30は、代理人端末10によって撮影された旅行先の映像及び録音された音等を含む仮想旅行のコンテンツを参加人端末20に配信する配信装置である。なお、コンテンツには映像だけが含まれていてもよい。配信サーバ装置30は、360度映像のうち参加人端末20から指定された範囲の映像を切り出して配信する。参加人端末20は、配信サーバ装置30によって配信されたコンテンツを出力する出力装置であり、例えば、コンテンツに含まれる映像を表示し、コンテンツに含まれる音を放音する。参加人端末20は本発明の「表示装置」の一例である。
本実施例では、参加人端末20は、参加人の頭に装着するHMD(Head Mounted Display:ヘッドマウントディスプレイ)である。参加人端末20は、自端末の正面が向いている方向(方位及び仰俯角)を測定し、測定した方向に対応する映像の範囲を配信サーバ装置30に対して指定する。これにより、例えば参加人が東を向けば代理人端末10の位置から東を向いた映像が配信され、参加人が上を向けば代理人端末10の鉛直上方の映像が配信される。
図2は代理人端末10のハードウェア構成を表す。代理人端末10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、360度カメラ17と、センサ装置18と、バス19という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。
ストレージ13は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、スイッチ、ボタン、センサなど)である。また、入力装置15は、自端末の周辺で発生して自端末に到達する音(周辺音)を収集するマイクロフォンを入力デバイスとして備えている。出力装置16は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。
360度カメラ17は、上述した360度映像を撮影する撮影デバイスである。360度カメラ17は、例えば2以上の広角カメラを備え、それらの広角カメラを異なる方向に向けて全ての方向を撮影範囲に収めることで360度映像を撮影する(なお、完全に全ての方向を撮影するものである必要はなく、例えば足元などに死角があってもよい)。センサ装置18は、360度カメラ17の向きを測定するセンサ(磁気センサ等)を備える。
360度カメラ17には正面が定められており、センサ装置18は、その正面が向いている方向(カメラの正面方向)の方位及び仰俯角を測定する。代理人が移動したり向きを変えたりするとカメラの正面方向の向きが変化するので、センサ装置18がその向きを表す測定値を出力する。この測定値により、撮影された360度映像のうち、例えばどの部分が自端末から見て東向きの映像で、どの部分が自端末から見て鉛直上方向きの映像であるかといったことが分かるようになっている。
なお、センサ装置18は360度カメラ17に内蔵されていてもよい。また、入力装置15が備えるマイクロフォンも360度カメラ17に内蔵されていてもよい。プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス19を介して互いにアクセス可能となっている。バス19は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、代理人端末10等は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
図3は参加人端末20のハードウェア構成を表す。参加人端末20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、出力装置26と、センサ装置27と、バス28という各装置を備えるコンピュータである。これらの装置は、図2に表す同名の装置と性能又は仕様等の違いはあるが同種の装置である。ただし、全てが同じではないので、図2の各装置と特に重要な相違点について説明する。
センサ装置27は、自端末の正面方向の向きを測定するセンサ(磁気センサ等)を備え、その正面方向が向く方位及び仰俯角を測定する。また、センサ装置27は、GPS(Global Positioning System)等の測位センサを備え、自端末の位置を測定する。また、本実施例の参加人端末20はHMDであるため、参加人が自分の手元を見なくても操作可能な入力装置25を備える。入力装置25は、例えば、筐体の外部に備えられたタッチパッドを備える。
また、入力装置25は、参加人の目の辺りを撮影する撮像装置を備え、撮影した画像から参加人の視線を検知する検知機能を有している。この視線検知には周知の技術が用いられればよい。出力装置26が操作子を表す操作子画像をディスプレイに表示している状態で表示された操作子画像に移動する視線を検知すると、入力装置25は、その操作子画像が表す操作子に対する操作を受け付ける。
図4は配信サーバ装置30のハードウェア構成を表す。配信サーバ装置30は、プロセッサ31と、メモリ32と、ストレージ33と、通信装置34と、バス35という各装置を備えるコンピュータである。これらの装置は、図2に表す同名の装置と性能又は仕様等の違いはあるが同種の装置である。
仮想旅行システム1が備える代理人端末10、参加人端末20及び配信サーバ装置30には、本システムで提供されるプログラムが記憶されており、各装置のプロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図5は仮想旅行システム1が実現する機能構成を表す。代理人端末10は、映像撮影部101と、周辺音録音部102と、カメラ向き測定部103と、撮影データ送信部104とを備える。
参加人端末20は、端末向き測定部201と、指定範囲決定部202と、コンテンツ出力部203と、測位部211と、保存処理部212とを備える。配信サーバ装置30は、元データ取得部301と、映像切出部302と、指定範囲取得部303と、コンテンツ生成部304と、コンテンツデータ送信部305と、商取引対象検出部311と、購入可否判定部312と、位置情報取得部313と、対象関連情報取得部314とを備える。
仮想旅行システム1においては、配信サーバ装置30が、参加人端末20を識別する端末ID(Identification)と、その参加人端末20に映像を配信する際の宛先情報(IP(Internet Protocol)アドレス等)を対応付けて記憶している。また、代理人端末10及び参加人端末20は、配信サーバ装置30の宛先情報を記憶しており、必要に応じて配信サーバ装置30とデータのやり取りを行えるようになっている。
代理人端末10の映像撮影部101は、代理人の周囲の映像を撮影する。映像撮影部101は、本実施例では、図2に表す360度カメラ17を制御して、360度映像(詳細には360度映像を連続させた動画像)を撮影する。映像撮影部101は、仮想旅行サービスの提供期間(定められたサービス開始時刻からサービス終了時刻までの期間)の間、360度映像を連続して撮影しながら、並行して、撮影した360度映像を撮影データ送信部104に供給する。
周辺音録音部102は、図2に表す入力装置15が備えるマイクロフォンを制御して、上述した周辺音(自端末の周辺で発生して自端末に到達する音)を録音する。周辺音録音部102は、仮想旅行サービスの提供期間の間、周辺音を録音しながら、並行して、録音した周辺音を撮影データ送信部104に供給する。
カメラ向き測定部103は、図2に表すセンサ装置18を制御して、360度カメラ17について定められた正面が向いている方位及び仰俯角を測定する。これらの方位及び仰俯角は、360度カメラ17の正面の向きを示す情報であり、以下では「カメラ向き情報」という。カメラ向き測定部103は、仮想旅行サービスの提供期間の間、このカメラ向き情報(方位及び仰俯角)の測定を繰り返し行い、並行して、測定したカメラ向き情報を撮影データ送信部104に繰り返し供給する。
撮影データ送信部104は、自端末が撮影した映像に関するデータである撮影データを配信サーバ装置30に送信する。具体的には、撮影データ送信部104は、映像撮影部101から供給された360度映像と、周辺音録音部102から供給された周辺音と、カメラ向き測定部103から供給されたカメラ向き情報と、360度映像の撮影時刻(連続して撮影される各360度映像の撮影時刻)とを示すデータを撮影データとして生成し、配信サーバ装置30に送信する。
配信サーバ装置30の元データ取得部301は、自装置が配信するコンテンツ(仮想旅行のコンテンツ)の元になるデータ(元データ)を取得する。元データとは、代理人端末10から送信されてくる撮影データである。元データ取得部301は、代理人端末10から送信されてくる撮影データをコンテンツの元データとして取得することで、その撮影データに含まれる映像データ、すなわち代理人端末10により撮影されて自装置により配信される映像(本実施例では360度映像)を示す映像データを取得する。元データ取得部301は本発明の「映像取得部」の一例である。
また、元データ取得部301は、撮影データを取得することで、その撮影データに含まれる音データ、すなわち代理人端末10に到達する音(周辺音)を示す音データを取得する。元データ取得部301は、撮影データをコンテンツの元データとして取得する度に、取得した元データを映像切出部302に供給する。映像切出部302は、供給された元データが示す360度映像から、参加人端末20によって指定された範囲の映像を切り出す。
範囲の指定は次のように行われる。参加人端末20の端末向き測定部201は、自端末の向きを示す情報(以下「端末向き情報」という)として、自端末について定められた正面が向く方位及び仰俯角を測定する。端末向き測定部201は、端末向き情報を一定時間の間隔で繰り返し測定し、測定した端末向き情報を指定範囲決定部202に繰り返し供給する。
指定範囲決定部202は、端末向き測定部201により測定された端末向き情報に基づいて、自端末に表示させる映像の範囲として指定する指定範囲を決定する。指定範囲決定部202は、例えば、供給された端末向き情報が示す向きを所定の画角(例えば縦25度、横45度など)を有するカメラで撮影した場合の映像の範囲を指定範囲として決定する。
図6は指定範囲の例を表す。図6では、映像撮影部101により撮影された360度映像A1が表されている。360度映像A1は、360度カメラ17が真北を向いて傾きが0度の状態(カメラの正面方向を水平に向けた状態)で撮影した映像である。そのため、360度映像A1では、水平線が映像の縦方向の中央(0度)に位置し、真北の方位が映像の横方向の中央に位置している。映像の上辺は360度カメラ17から見て鉛直上方(90度)の映像を表し、映像の下辺は360度カメラ17から見て鉛直下方(−90度)の映像を表している。
例えば指定範囲決定部202が、北向き且つ仰角20度を撮影した映像の範囲を指定範囲として決定した場合、360度映像A1における北向き且つ仰角20度の位置を示す撮影方向B1を中心とした指定範囲C1が決定されたことになる。また、指定範囲決定部202が、南東向き且つ俯角45度を撮影した映像の範囲を指定範囲として決定した場合、360度映像A1における南東向き且つ俯角45度の位置を示す撮影方向B2を中心とした指定範囲C2が決定されたことになる。
指定範囲決定部202は、決定した指定範囲を示す範囲情報として、撮影方向を示す方位及び仰俯角と、画角と、自端末の端末IDとを示す情報を生成して配信サーバ装置30に送信する。配信サーバ装置30の指定範囲取得部303は、送信されてきた範囲情報を受け取ることで、その範囲情報が示す端末IDにより識別される参加人端末20によって指定された映像の範囲、すなわち指定範囲を取得する。指定範囲取得部303は、取得した指定範囲を示す範囲情報を映像切出部302に供給する。
映像切出部302は、元データ取得部301からコンテンツの元データが供給されると、供給された元データが示す360度映像から、指定範囲取得部303から供給された範囲情報が示す指定範囲の映像(図6の例では指定範囲C1の映像又は指定範囲C2の映像)を切り出す。なお、360度カメラ17の正面が水平方向に対して傾いていると、図6に表す360度映像A1が縦方向にずれた映像になる(水平線が縦方向にずれる)。
映像切出部302は、例えば、元データに含まれるカメラ向き情報が示す正面の向きに基づいてこの傾きを補正して360度映像A1のような映像にしてから指定範囲の映像を切り出す。この補正には、VR(Virtual Reality)又はAR(Augmented Reality)等で用いられている周知の技術が用いられればよい。なお、映像切出部302は、360度映像を補正するのではなく、傾いた360度映像における方位及び仰俯角に対応した位置を算出して指定範囲の映像を切り出してもよい。
映像切出部302は、こうして切り出した映像を、範囲情報及び元データと共にコンテンツ生成部304に供給する。コンテンツ生成部304は、自装置が参加人端末20に対して配信するコンテンツを生成する機能である。コンテンツ生成部304は、例えば、映像切出部302から供給された映像、すなわち参加人端末20から指定された範囲で切り出された映像と、元データが示す周辺音とを示すコンテンツを生成する。
コンテンツ生成部304は、生成したコンテンツと、供給された範囲情報が示す端末IDとを示すコンテンツデータを生成する。コンテンツ生成部304は、生成したコンテンツデータをコンテンツデータ送信部305に供給する。コンテンツデータ送信部305は、コンテンツ生成部304から供給されたコンテンツデータを、そのコンテンツデータが示す端末IDにより識別される参加人端末20に送信する。
参加人端末20のコンテンツ出力部203は、配信サーバ装置30から送信されてきたコンテンツデータが示すコンテンツを出力する。具体的には、コンテンツ出力部203は、コンテンツデータが示す映像を出力装置26のディスプレイに出力して表示させ、コンテンツデータが示す周辺音を出力装置26のスピーカに出力して放音させる。参加人端末20を装着した参加人は、こうして出力されたコンテンツを視聴する。
コンテンツの視聴とは、表示されたコンテンツの映像を見て、放音されたコンテンツの音を聞くことである。なお、音が含まれていない映像だけのコンテンツを見る場合でも「コンテンツの視聴」というものとする。参加人が視聴する映像には、店舗で販売している商品又は店舗で提供しているサービス等の現地(撮影場所)で購入可能な商取引の対象が存在することを表す物体(商品そのもの又は看板等)が映っている場合がある。
配信サーバ装置30の商取引対象検出部311は、元データ取得部301により取得された映像データに基づいて、その映像データが示す映像の撮影場所に存在する商取引の対象を検出する。商取引対象検出部311は本発明の「検出部」の一例である。元データ取得部301は、撮影データをコンテンツの元データとして取得する度に、取得した元データを商取引対象検出部311に供給する。
商取引対象検出部311は、例えば、様々な商品のパターン画像を記憶しておき、周知のパターン認識技術を用いて、供給された元データが示す映像に含まれる商品を認識する商品認識処理を行う。商取引対象検出部311は、商品認識処理により商品のパターン画像と合致する部分が映像内で認識された場合、その商品を撮影場所に存在する商取引の対象として検出する。
なお、商取引対象検出部311は、購入対象が商品である場合には上記のとおり商品そのものを検出するが、それ以外にも、例えば購入対象がサービスである場合はそのサービスを利用する際に用いられる道具(例えば料理人が用いる包丁、コック帽など)等を認識し、認識した道具が用いられるサービスを撮影場所に存在する商取引の対象として検出してもよい。また、商取引対象検出部311は、周知の文字認識技術を用いて映像に含まれる文字を認識する文字認識処理を行う。商取引対象検出部311は、様々な店舗に設置されている看板(壁面看板、スタンド看板、のれん、懸垂幕及びパネル等)で用いられる文字列を、その文字列を掲げた店舗で扱われる商品又はサービスに対応付けて記憶しておく。
商取引対象検出部311は、例えば「イタリア料理店」を現地の言語で表す文字列にはイタリア料理(パスタ及びピザ等)を対応付け、「アクセサリー店」を現地の言語で表す文字列にはアクセサリー(指輪及びネックレス等)を対応付けて記憶する。商取引対象検出部311は、供給された元データが示す映像からいずれかの文字列が認識された場合に、その文字列に対応付けて記憶する商品又はサービスを撮影場所に存在する商取引の対象として検出する。
なお、商取引対象検出部311は、例えば「イタリア料理店」を現地の言語で表す文字列だけでなく、そのメニューを現地の言語で表す文字列が認識された場合は、認識されたメニューに掲載されている個別の料理を撮影場所に存在する商取引の対象として検出する。また、商品についても、その商品を特定するために必要な情報(メーカー名及びモデル名等)を示す文字列が展示されている場合がある。
例えばメーカー毎、モデル毎に形状及び色彩等に十分に特徴がある商品であれば商品認識処理でも詳細な検出が可能であるが、そうでない商品については、そのように展示されている文字列を利用して詳細な検出が行われる。商取引対象検出部311は、商品認識処理で認識した商品と文字認識処理で認識した文字列との映像上の距離が閾値未満である場合、認識した文字列が認識した商品に関する文字列であると判断する。
商取引対象検出部311は、商品名、メーカー名及びモデル名を対応付けた商品情報テーブルを記憶しておき、認識した商品の商品名に対応付けられたメーカー名及びモデル名が商品に関する文字列として認識された場合は、それらの商品名、メーカー名、モデル名の商品(例えば○○社製の△△モデルのトランペット)を撮影場所に存在する商取引の対象として検出する。
商取引対象検出部311は、撮影場所に存在する商取引の対象を検出すると、その対象を識別する商取引対象ID(商品毎、サービス毎に予め定められている)を購入可否判定部312に供給する。購入可否判定部312は、商取引対象検出部311により検出された対象(商品又はサービス等)を映像の配信先の表示装置(本実施例では参加人端末20)のユーザ(本実施例では参加人)が所定の条件で購入可能であるか否かを判定する。購入可否判定部312は本発明の「判定部」の一例である。
本実施例では、前述した購入可否(所定の条件で購入可能であるか否か)を判断するに当たり、ユーザの位置が用いられる。参加人端末20の測位部211は、自端末の現在の位置をユーザの位置として測定し、測定した位置を示す位置情報を生成する。測位部211は、例えば自端末が所在する緯度及び経度を示す情報を位置情報として生成する。測位部211は、例えば決められた時間間隔で位置情報を生成し、その度に生成した位置情報を示す位置データを配信サーバ装置30に送信する。
配信サーバ装置30の位置情報取得部313は、ユーザの位置を示す位置情報を取得する。位置情報取得部313は本発明の「位置取得部」の一例である。位置情報取得部313は、参加人端末20から送信されてくる位置データを受け取ることで、その位置データが示す位置情報(ユーザの位置を示す位置情報)を取得する。位置情報取得部313は、取得した位置情報を購入可否判定部312に供給する。
購入可否判定部312は、商取引対象検出部311により検出された対象(撮影場所に存在する商取引の対象)が、位置情報取得部313により取得された位置情報が示す位置を含む地域で購入可能である場合に、その対象が所定の条件で購入可能と判定する。つまり、本実施例における所定の条件とは、ユーザの位置を含む地域での購入に限定するという条件である。
取得される位置情報が示すユーザの位置には何通りか考えられる。例えば、ユーザの自宅の位置、ユーザがコンテンツを視聴しているときに所在する位置(自宅又は仮想旅行サービスで提供される参加場所)又はユーザが普段よく訪れる場所(勤務先、通学先又は習い事の教室等)の位置等である。これらの位置を含む地域としては、例えば市区町村等の公的に定められた地域又は仮想旅行サービスの提供者により定められた地域(商業圏が共通する地域など)等が用いられる。
購入可否判定部312は、例えばこれらの地域の境界を示す境界情報を予め記憶しておき、供給された位置情報が示す位置を含む地域を判断する。また、購入可否判定部312は、各地域と各商取引対象の購入可否とを対応付けた購入可否テーブルを記憶しておく(外部装置が記憶する購入可否テーブルを参照してもよい)。なお、購入可能な商取引対象は時間が経過すれば変化していくので、なるべく最新の購入可否を表す購入可否テーブルに更新されるものとする。
図7は購入可否テーブルの一例を表す。図7の例では、「D1」という地域については、商取引対象の「E1」、「E2」、「E4」にそれらの商品又はサービスを購入可能な店舗名(「○○店」等)が対応付けられ、「E3」は購入不可であることを示す記号(「×」)が対応付けられている。これらの店舗は地域D1に所在する店舗である。なお、購入可能とは、その店舗に商品が在庫されている場合はもちろん、注文して後日受け取れる場合も含めてもよい。
また、サービスの場合は、その店舗でサービスが提供される場合はもちろん、店舗で注文を受け付けて別の場所でサービス(例えばガイド付きのツアー等)が提供される場合も含めてもよい。購入可否判定部312は、購入可否テーブルにおいて、上記のとおり判断した地域(ユーザの位置を含む地域)と、商取引対象検出部311から供給された商取引対象IDが示す商取引対象(撮影場所に存在する商取引の対象)とに対応付けられた店舗名がある場合、その対象が所定の条件で購入可能と判定する。
購入可否判定部312は、購入可能と判定すると、購入可能と判定した対象の商取引対象ID及びその対象を購入可能な店舗名を対象関連情報取得部314に供給する。対象関連情報取得部314は、購入可否判定部312により購入可能と判定された商取引の対象に関する情報(対象関連情報)を取得する。対象関連情報には、商取引の対象そのものに関する対象情報に加え、その対象を購入可能な店舗に関する店舗情報が含まれる。
対象関連情報取得部314は、例えば購入可否判定部312により判定される可能性のある商取引対象の全てに関する情報と、それらの商取引対象を購入可能な全ての店舗に関する情報を商取引対象IDに対応付けて記憶しておく。対象関連情報取得部314は、購入可否判定部312から供給された商取引対象IDに対応付けて記憶している対象関連情報を、購入可能と判定された商取引の対象に関する情報として取得する。
なお、対象関連情報は外部装置(例えば商取引対象の紹介用サイトを提供するウェブサーバ装置等)に記憶されていてもよい。その場合、対象関連情報取得部314は、商取引対象IDに対応付けてその外部装置のアクセス先(URL(Uniform Resource Locator)等)を記憶しておき、供給された商取引対象IDに対応付けて記憶しているアクセス先に対象関連情報を要求してその対象関連情報を取得する。
対象関連情報取得部314は、こうして取得した対象関連情報をコンテンツ生成部304に供給する。コンテンツ生成部304は、参加人端末20に対して配信するコンテンツとして、供給された対象関連情報を含むコンテンツを生成する。生成された対象関連情報を含むコンテンツを示すコンテンツデータがコンテンツデータ送信部305により送信され、コンテンツ出力部203によりそのコンテンツが出力される。
図8は出力されたコンテンツの一例を表す。図8(a)では、代理人端末10により撮影されて配信サーバ装置30により切り出された映像F1が表されている。映像F1には、楽器店及びそこで販売されている楽器が映っている。この例では、商取引対象検出部311が、映像F1に映っている楽器の映像から商取引対象として楽器(α社製のホルン、β社製のサックス、γ社製のトランペット、Δ社製のトランペット及びε社製のチェロ)を検出している。
次に、購入可否判定部312が、検出された楽器のうち、α社製のホルンがユーザの位置を含む地域で購入可能な楽器であると判定している。続いて、対象関連情報取得部314が、図8(b)に表された、判定されたα社製のホルンに関する商品情報とα社製のホルンを購入可能な店舗に関する店舗情報とを含む対象関連情報G1を取得している。そして、コンテンツ生成部304が、映像F1に対象関連情報G1を重畳させたコンテンツH1を生成し、コンテンツデータ送信部305が、コンテンツH1を示すコンテンツデータを送信している。
こうして、コンテンツ生成部304、コンテンツデータ送信部305及び対象関連情報取得部314が協働することで、購入可否判定部312により上述した所定の条件で購入可能と判定された商取引の対象に関する情報(対象関連情報)をユーザに通知する対象関連情報通知部315として機能する。対象関連情報通知部315は本発明の「通知部」の一例である。
代理人が移動して映像の撮影場所が変化すると、対象関連情報通知部315は、次々と新たな対象関連情報を通知する。その場合に、全ての対象関連情報を表示させたままにすると映像が見にくくなるので、コンテンツ出力部203は、例えば対象関連情報を表示する時間を定めておき、その時間が経過すると対象関連情報の表示を終了する。また、コンテンツ出力部203は、一度に表示する対象関連情報の数の上限を定めておき、その数に達すると古い対象関連情報から表示を終了させる。
このように本実施例では対象関連情報はいつまでの表示されたままではないので、単に表示されただけだと、参加人が興味を持っても忘れてしまうことになりやすい。そこで、保存処理部212は、コンテンツ出力部203が出力したコンテンツに含まれている対象関連情報を保存する。コンテンツ出力部203は、例えば対象関連情報G1を操作子画像として表示させると共に、コンテンツデータを保存処理部212に供給する。
保存処理部212は、操作子画像である対象関連情報G1を選択する操作が入力装置25により受け付けられた場合、コンテンツデータが示す対象関連情報G1を自端末に保存する。こうして保存された対象関連情報G1は、仮想旅行サービスの利用が終了した後に参加人端末20を操作することでディスプレイに表示させることができる。このように、参加人は、気になる対象関連情報が表示された場合に、その対象関連情報を選択して保存させることで、後からその対象関連情報を確認することができる。
仮想旅行システム1が備える各装置は、上記の構成に基づいて、対象関連情報を参加人に通知する通知処理を行う。
図9は通知処理における各装置の動作手順の一例を表す。この動作手順は、例えば、仮想旅行サービスの開始時刻になることを契機に開始される。まず、代理人端末10(映像撮影部101、周辺音録音部102、カメラ向き測定部103)は、代理人の周囲の360度映像(ライブ映像)の撮影と、周辺音の録音と、カメラ向き情報の測定とを行う(ステップS11)。
次に、代理人端末10(撮影データ送信部104)は、ステップS11の各動作で得られる撮影データを配信サーバ装置30に送信する(ステップS12)。配信サーバ装置30(元データ取得部301)は、送信されてくる撮影データを、自装置が配信するコンテンツの元データとして取得する(ステップS13)。次に、参加人端末20(端末向き測定部201)は、自端末の向きを示す情報(端末向き情報)を測定する(ステップS21)。
続いて、参加人端末20(指定範囲決定部202)は、測定された端末向き情報に基づいて、自端末に表示させる映像の指定範囲を決定し(ステップS22)、決定した指定範囲を示す範囲情報を配信サーバ装置30に送信する(ステップS23)。配信サーバ装置30(指定範囲取得部303)は、送信されてきた範囲情報を受け取ることで指定範囲を取得する(ステップS24)。
次に、配信サーバ装置30(映像切出部302)は、ステップS13で取得された元データが示す360度映像から、取得された指定範囲の映像を切り出す(ステップS25)。続いて、配信サーバ装置30(商取引対象検出部311)は、ステップS13で取得された元データに含まれる映像データに基づいて、その映像データが示す映像の撮影場所に存在する商取引の対象を検出する(ステップS31)。
次に、参加人端末20(測位部211)は、自端末の現在の位置をユーザの位置として測定し(ステップS32)、測定した位置を示す位置情報を配信サーバ装置30に送信する(ステップS33)。配信サーバ装置30(位置情報取得部313)は、送信されてきた位置情報をユーザの位置を示す位置情報として取得する(ステップS34)。続いて、配信サーバ装置30(購入可否判定部312)は、ステップS34で取得された位置情報に基づいて、ステップS31で検出された対象を参加人端末20のユーザが所定の条件で購入可能であるか否かを判定する。(ステップS35)。
次に、配信サーバ装置30(対象関連情報取得部314)は、ステップS35で購入可能と判定された商取引の対象に関する対象関連情報を取得する(ステップS36)。続いて、配信サーバ装置30(コンテンツ生成部304)は、ステップS36で取得された対象関連情報を含むコンテンツを生成する(ステップS41)。次に、配信サーバ装置30(コンテンツデータ送信部305)は、生成されたコンテンツを示すコンテンツデータを参加人端末20に送信する(ステップS42)。
参加人端末20(コンテンツ出力部203)は、ステップS42で送信されてきたコンテンツデータが示す対象関連情報を含むコンテンツを出力する(ステップS43)。ここで、参加人が対象関連情報を選択する操作を行うと、参加人端末20(保存処理部212)は、対象関連情報を保存する保存操作としてこの操作を受け付け(ステップS44)、選択された対象関連情報を保存する(ステップS45)。
配信される映像に映っている商取引の対象(商品及びサービス)の中にはその映像を視聴するユーザ(本実施例では参加人)が気になるものが含まれている場合がある。その場合に、ユーザは、気になった対象が撮影場所まで行かなければ購入できないものであればすぐに購入をあきらめるが、その対象がより簡単に購入可能なものであれば購入を検討することがある。
その場合に、本実施例では、上記のとおりユーザが所定の条件(具体的にはユーザの位置を含む地域での購入に限定するという条件)で購入可能な対象に関する対象関連情報がユーザに通知される。これにより、ユーザが気になる商取引の対象を含む映像が単に配信されるだけの場合に比べて、配信される映像の場所に行かなくても購入可能な商取引対象が購入されやすいようにすることができる。
また、本実施例では、ユーザが所在する位置を含む地域で購入可能な対象に関する対象関連情報がユーザに通知される。これにより、ユーザの位置に関係なく対象関連情報がユーザに通知される場合に比べて、ユーザが実際の店舗を訪れて購入可能な商取引対象が購入されやすいようにすることができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
[2−1]購入可否の判定方法
購入可否判定部312は、実施例と異なる方法で判定を行ってもよい。
図10は本変形例で実現される機能構成の一例を表す。図10の例では、図5に表す位置情報取得部313に代えて登録情報取得部316を備える配信サーバ装置30aと、図5に表す測位部211及び保存処理部212に代えて登録情報記憶部213と、購入処理部214とを備える参加人端末20aとが表されている。
登録情報記憶部213は、自端末のユーザが登録している通信販売サービスを示す登録情報を記憶する。通信販売サービスとは、実際の店舗に行かないで商取引を行うことが可能なサービスであり、例えばインターネット上のサイトで商取引を行うサービス、カタログに掲載された商品をFAX等で注文するサービス及びテレビで提供された情報を元に電話等で注文を行うサービス等である。登録情報とは、それらの通信販売サービスを特定可能な情報であり、例えば通信販売サービスの名称を示す情報である。
また、通信販売サービスによっては、ユーザ毎に購入可能な商材(商品及びサービス等)が異なる場合がある。例えば上級会員と通常会員で購入可能な商材を分けている場合である。その場合には、会員のランクを示す登録情報が記憶される。本変形例では、購入可否判定部312が、ユーザが所定の条件で購入可能であるか否かを判定する際に、登録情報取得部316にそのユーザの登録情報を要求する。
登録情報取得部316は、購入可否の判定対象であるユーザが登録している通信販売サービスを示す登録情報を取得する。登録情報取得部316は本発明の「登録取得部」の一例である。登録情報取得部316は、購入可否判定部312からの上記要求を受け取ると、購入可否の判定対象であるユーザ(参加人)の参加人端末20aに登録情報を要求する要求データを送信する。
参加人端末20aの登録情報記憶部213は、この要求データを受け取ると、記憶している登録情報を示す登録データを要求元の配信サーバ装置30aに送信する。登録情報取得部316は、この登録データを受け取ることで、登録データが示す登録情報を取得する。なお、登録情報の取得方法はこれに限らない。例えばユーザが予め配信サーバ装置30aに登録情報を記憶させておき、自装置が記憶している登録情報を登録情報取得部316が取得してもよい。
また、登録情報取得部316は、購入可否判定部312からの要求に応答するのではなく、予め定期的に登録情報を取得するようにしてもよい。登録情報取得部316は、取得した登録情報を購入可否判定部312に供給する。購入可否判定部312は、商取引対象検出部311により検出された対象(撮影場所に存在する商取引の対象)が、登録情報取得部316により取得された登録情報が示す通信販売サービスで購入可能である場合に、その対象を上記所定の条件で購入可能と判定する。
この場合の所定の条件とは、ユーザが登録している通信販売サービスでの購入に限定するという条件である。なお、購入可否判定部312は、例えば品切れ等で一時的に購入できないもの(しばらくすれば購入可能になるもの)については、購入可能と判定してもよいし、購入可能ではないと厳密に判定してもよい。
購入可否判定部312は、例えば予め通信販売サービス毎に購入可能な商品及びサービスのリストを記憶しておき、取得された登録情報が示す通信販売サービスで購入可能な商品及びサービスを読み出す。購入可否判定部312は、読み出した商品及びサービスの中に検出された商取引対象が含まれている場合に、その対象が所定の条件で購入可能と判定する。
本変形例のコンテンツデータ送信部305は、対象関連情報を含むコンテンツと、その対象関連情報が示す対象を購入可能な通信販売サービスとを示すコンテンツデータを送信する。参加人端末20aのコンテンツ出力部203は、そのコンテンツを出力すると共に、コンテンツデータを購入処理部214に供給する。購入処理部214は、対象関連情報が示す商取引の対象を購入する処理を実行する。
図11は本変形例で表示されるコンテンツの一例を表す。図11(a)では、図8に表す映像F1に、購入可否判定部312が購入可能と判定したβ社製のサックスについての対象関連情報G2を重畳させたコンテンツH2が表示されている。購入処理部214は、例えば、図8の例のように対象関連情報G2を選択する操作が入力装置25により受け付けられた場合、コンテンツデータが示す通信販売サービスが提供する販売サイトにおけるその対象関連情報が示す対象の販売ページJ1を図11(b)に表すように表示する。
この販売ページJ1においてユーザが商取引対象であるβ社製のサックスを購入する操作を行うと、購入処理部214は、販売ページJ1を提供するウェブサーバ装置とやり取りをして、この商品を購入する処理を実行する。このように、本変形例では、ユーザが登録している通信販売サービスで購入可能な対象に関する対象関連情報がユーザに通知される。これにより、通信販売サービスを利用する環境が整っていれば、ユーザは、通知された対象関連情報が示す商取引対象をその場で購入することができる。
なお、テレビショッピングのように利用可能な時間が決まっている通信販売サービスで購入可能と判定された場合は、その時間を示す情報が対象関連情報として通知される。この場合はその場で対象を購入することができないので、実施例のように対象関連情報が保存されるようにしてもよい。いずれの場合も、ユーザは、通信販売サービスの利用環境を整えることで、通知された商取引対象を店舗に行かなくても購入することができる。
また、購入可否判定部312は、実施例で述べたユーザの位置情報による判定と、本変形例の登録情報による判定との両方を行ってもよい。そうすることで、一方の判定だけを行う場合に比べて、通知される対象関連情報を増やすことができ(例えば図8、図11の例であればホルン及びサックスの両方の対象関連情報が通知される)、対象関連情報の通知が対象の購入に繋がる可能性を高めることができる。
[2−2]対象の絞り込み(1)
実施例では、所定の条件で購入可能と判定された対象の全てについて対象関連情報が通知されたが、これに限らず、通知される対象関連情報が絞り込まれてもよい。
図12は本変形例で実現される機能構成の一例を表す。図12の例では、図5に表す位置情報取得部313に代えて視線情報取得部317を備える配信サーバ装置30bと、図5に表す測位部211に代えて視線検知部215を備える参加人端末20bとが表されている。
本変形例では、対象関連情報取得部314が、対象関連情報を取得する際に、視線情報取得部317にその対象関連情報の通知先であるユーザの視線情報を要求する。視線情報とは、配信される映像を表示する表示装置(参加人端末20b)の表示面のうちユーザの視線が向いている位置(視線位置)を示す情報のことである。視線情報取得部317は、要求された視線情報を取得する。視線情報取得部317は本発明の「視線取得部」の一例である。
視線情報取得部317は、対象関連情報取得部314からの上記要求を受け取ると、対象関連情報の通知先であるユーザの(参加人)の参加人端末20bに視線情報を要求する要求データを送信する。参加人端末20bの視線検知部215は、この要求データを受け取ると、入力装置25の検知機能を用いてユーザの視線を検知する。視線検知部215は、検知した視線が向いている表示面上の位置(視線位置)を示す視線情報を生成する。この視線位置は、例えば表示面に対して設定された2次元座標系の座標で表される。
視線検知部215は、生成した視線情報を示す視線データを要求元の配信サーバ装置30bに送信する。視線情報取得部317は、この視線データを受け取ることで、視線データが示す視線情報を取得する。視線情報取得部317は、取得した視線情報を対象関連情報取得部314に供給する。本変形例の対象関連情報取得部314には、商取引対象検出部311から、商品認識処理で得られる商品の表示面上の位置と、文字認識処理で得られるその商品に関する文字列の位置とが通知される。
対象関連情報取得部314は、購入可否判定部312により購入可能と判定された対象のうち、視線情報取得部317により取得された視線情報が示す視線位置を含む所定領域に表示される対象に関する対象関連情報を取得する。所定領域とは、例えば、視線位置を中心とした所定の半径の円形領域である(所定領域の形状、大きさはこれと異なっていてもよい)。本変形例の対象関連情報通知部315は、こうして取得された対象関連情報をユーザに通知する。
図13は本変形例で通知される対象関連情報の例を表す。図13では、図8、図11に表す映像F1が表されている。本変形例では、ユーザの位置情報による判定及び登録情報による判定の両方が行われ、α社製のホルン及びβ社製のサックスの両方が購入可能と判定されているものとする。図13(a)の例では、視線位置K1及び所定領域M1が表され、所定領域M1にα社製のホルン及びそれに関連する文字列「α Inc.」が含まれている。
この場合、対象関連情報通知部315は、α社製のホルン及びβ社製のサックスのうち、所定領域M1に表示されているα社製のホルンに関する対象関連情報G1を通知している。図13(b)の例では、視線位置K2及び所定領域M2が表され、所定領域M2にβ社製のサックス及びそれに関連する文字列「β Inc.」が含まれている。この場合、対象関連情報通知部315は、α社製のホルン及びβ社製のサックスのうち、所定領域M2に表示されているβ社製のサックスに関する対象関連情報G2を通知している。
本変形例では、所定の条件で購入可能と判定された対象が複数ある場合に、ユーザが見ている領域に映っているもの(商品そのもの又は商品若しくはサービスに関連する文字列)を対象とする対象関連情報が通知される。これにより、ユーザが丁度関心を持って視線を向けた対象の対象関連情報がタイミングよく表示されるので、表示された対象関連情報にも関心を持ってもらいやすくすることができる。
なお、対象関連情報通知部315は、上記の例では、取得された視線情報が示す現在の視線位置を含む所定領域に表示されている対象に関する対象関連情報を通知したが、過去の視線位置を含む所定領域に表示されていた対象に関する対象関連情報を通知してもよい。図13の例であれば、対象関連情報通知部315は、映像F1でユーザがβ社製のサックスを見ていなくても、他の楽器店でβ社製のサックスを見ていた場合に、そのときの視線位置を含む所定領域に表示されていた対象であるβ社製のサックスの対象関連情報G2を通知する。
この場合は、過去にユーザが関心を持って視線を向けていた対象が映像に映ったときに、ユーザがその対象に気付いていなくても、その対象の対象関連情報を表示させることができる。要するに、対象関連情報通知部315は、取得された視線情報が示す視線位置を含む所定領域に(現在、過去にかかわらず)表示される対象に関する対象関連情報を通知すればよい。
なお、視線位置を含む所定領域は上記のものに限らない。例えば表示面を複数に分割した領域(例えば9分割や16分割など)であってもよい。また、対象関連情報通知部315が、映像内の背景の属性(建物、道路、店内等)を解析し、同一属性の一塊の領域を所定領域としてもよい。要するに、他の領域に比べてユーザが見ている可能性が高い範囲の領域であれば、どのような領域が用いられてもよい。
[2−3]対象の絞り込み(2)
対象関連情報の絞り込み方法は上記方法に限らない。
図14は本変形例で実現される機能構成の一例を表す。図14の例では、図5に表す位置情報取得部313に代えて嗜好情報取得部318を備える配信サーバ装置30cと、図5に表す測位部211に代えて嗜好情報記憶部216を備える参加人端末20cとが表されている。
嗜好情報記憶部216は、自端末のユーザの嗜好を示す嗜好情報を記憶する。嗜好情報とは、例えば、ユーザの趣味(音楽、スポーツ、旅行及び読書等)及び好み(好きな国、食べ物及び服装等)等を示す情報である。本変形例では、対象関連情報取得部314が、対象関連情報を取得する際に、嗜好情報取得部318にその対象関連情報の通知先であるユーザの嗜好情報を要求する。
嗜好情報取得部318は、要求された嗜好情報を取得する。嗜好情報取得部318は本発明の「嗜好取得部」の一例である。嗜好情報取得部318は、対象関連情報取得部314からの上記要求を受け取ると、対象関連情報の通知先であるユーザ(参加人)の参加人端末20cに嗜好情報を要求する要求データを送信する。参加人端末20cの嗜好情報記憶部216は、この要求データを受け取ると、記憶している嗜好情報を示す嗜好データを要求元の配信サーバ装置30cに送信する。
嗜好情報取得部318は、この嗜好データを受け取ることで、嗜好データが示す嗜好情報を取得する。なお、嗜好情報の取得方法はこれに限らない。例えばユーザが予め配信サーバ装置30cに嗜好情報を記憶させておき、自装置が記憶している嗜好情報を嗜好情報取得部318が取得してもよい。また、嗜好情報取得部318は、対象関連情報取得部314からの要求に応答するのではなく、予め定期的に嗜好情報を取得するようにしてもよい。
嗜好情報取得部318は、取得した嗜好情報を対象関連情報取得部314に供給する。対象関連情報取得部314は、購入可否判定部312により購入可能と判定された対象のうち、嗜好情報取得部318により取得された嗜好情報が示す嗜好に関係する対象に関する対象関連情報を取得する。対象関連情報取得部314は、各嗜好と、商取引対象との関係の有無を表す嗜好テーブルを用いて対象関連情報を取得する。
図15は嗜好テーブルの一例を表す。図15の例では、「ジャズ」という嗜好について、「トランペット」、「サックス」、「ギター」という商取引対象だと「○」(関係大)が対応付けられ、「ホルン」という商取引対象だと「×」(関係なし)が対応付けられている。また、「クラシック」については、「トランペット」、「ホルン」だと「○」が、「サックス」だと「△」(関係小)が、「ギター」だと「×」が対応付けられている。
また、「ロック」については、「ギター」だと「○」が、「トランペット」、「サックス」だと「△」が、「ホルン」だと「×」が対応付けられている。例えば図8等に表す映像F1においてトランペット、サックス、ホルンが所定の条件で購入可能と判定されたとする。対象関連情報取得部314は、ユーザの嗜好がクラシックであれば、3つの楽器ともクラシックに関係するので(ここでは「△」の場合も関係すると判断する)、それら3つの楽器に関する対象関連情報を取得する。
また、対象関連情報取得部314は、ユーザの嗜好がジャズ又はロックであれば、それらの嗜好に関係する「トランペット」、「サックス」に関する対象関連情報を取得する。なお、対象関連情報取得部314は、取得する対象関連情報の数を制限してもよい。対象関連情報取得部314は、例えば2つだけ対象関連情報を取得する場合に、ユーザの嗜好がクラシックであれば、上記3つの楽器のうち関係大「○」の「トランペット」、「ホルン」を関係小「△」の「サックス」よりも優先して対象関連情報を取得する。
また、対象関連情報取得部314は、1つだけ対象関連情報を取得する場合に、ユーザの嗜好がジャズとクラシックであれば、どちらの嗜好とも関係大「○」である「トランペット」を優先して対象関連情報を取得する。なお、嗜好と商取引対象の関係の大きさを3段階ではなく2段階で表してもよいし、4つ以上の段階で表してもよい。本変形例の対象関連情報通知部315は、こうして取得された対象関連情報をユーザに通知する。
なお、嗜好情報の取得方法は上記方法に限らない。例えば、配信サーバ装置が図12に表す視線情報取得部317を備えている場合に、嗜好情報取得部318は、視線情報取得部317から視線情報を取得し、商取引対象検出部311から検出した商取引対象及びその表示面上の位置を示す検出結果を取得する。嗜好情報取得部318は、取得したこれらの情報に基づいてユーザが見ている商取引対象を特定し、特定した商取引対象の属性(予め商取引対象毎に対応付けて記憶しておく)を嗜好情報として取得する。
嗜好情報取得部318は、例えば楽器をよく見るユーザであれば音楽及び演奏等の属性を嗜好情報として取得し、服や靴をよく見るユーザであればファッション等の属性を嗜好情報として取得する。また、嗜好情報取得部318は、ユーザが視聴する映像の属性を嗜好情報として取得してもよい。嗜好情報取得部318は、例えば、史跡及び歴史的建造物等の映像をよく視聴するユーザは歴史好きという属性を嗜好情報として取得し、山、滝及び河等の映像をよく視聴するユーザは自然好きという属性を嗜好情報として取得する。
このように、ユーザの嗜好が表されていれば、どのような情報が嗜好情報として取得されてもよい。本変形例では、所定の条件で購入可能と判定された対象が複数ある場合に、ユーザの嗜好に関係するものを対象とする対象関連情報が通知される。これにより、ユーザの嗜好に関係なく対象関連情報が通知される場合に比べて、通知された対象関連情報にユーザが関心を持つ可能性を高めることができる。
[2−4]他のユーザへの通知
実施例では、参加人端末20が1台だけの場合を説明したが、参加人端末20は2台以上であってもよい。その場合に、或るユーザが視聴する映像から検出された商取引対象の対象関連情報が、他のユーザに通知されてもよい。
図16は本変形例の仮想旅行システム1dの全体構成を表す。仮想旅行システム1dは、図1に表す参加人端末20と同じ構成の参加人端末20−1、20−2、20−3、・・・(特に区別しない場合は「参加人端末20」という)を備える。本変形例では、対象関連情報通知部315が、例えば購入可否判定部312により参加人端末20−1のユーザが購入可能と判定された対象に関する対象関連情報を、この参加人端末20−1と表示する映像が共通する他の参加人端末20のユーザに通知する。
対象関連情報通知部315は、例えば参加人端末20−1に配信する対象関連情報を含むコンテンツを示すコンテンツデータを生成すると、指定範囲取得部303が取得した各参加人端末20の範囲情報を取得する。対象関連情報通知部315は、取得した範囲情報が示す指定範囲が参加人端末20−1の指定範囲と一定の割合以上重なっている参加人端末20がある場合、その参加人端末20を参加人端末20−1と表示する映像が共通する他の参加人端末20と判断し、その参加人端末20に生成したコンテンツデータを送信する。
これにより、例えば参加人端末20−1に図8(b)に表す対象関連情報G1が表示されているときに、同じ楽器店を見ている他の参加者の参加人端末20(例えば参加人端末20−2)にも対象関連情報G1が表示される。例えば参加人端末20−2を利用する参加者だけだと対象関連情報G1が通知されない場合でも、本変形例では、その参加者に対して、表示する映像が共通する参加人端末20−1を利用する参加者と同様に対象関連情報G1が通知される。
なお、表示する映像が共通する他の参加人端末20の判断方法は上記方法に限らない。図16の例では参加人端末20が2台以上であったが、代理人端末10が2台以上であってもよい。
図17は本変形例の仮想旅行システム1eの全体構成を表す。仮想旅行システム1eは、図16に表す代理人端末10と同じ構成の代理人端末10−1、10−2、10−3、・・・(特に区別しない場合は「代理人端末10」という)を備える。
この場合、参加人端末20は、配信対象の映像を撮影する代理人端末10を選択する操作を受け付け、指定範囲決定部202が、選択した代理人端末10の装置IDを示す範囲情報を配信サーバ装置30に送信する。映像切出部302は、この範囲情報が示す装置IDの代理人端末10が撮影した映像から指定された範囲の映像を切り出す。この例において、対象関連情報通知部315は、同じ代理人端末10が撮影する映像を表示する他の参加人端末20であれば、切り出された映像が重なっていなくても、表示する映像が共通する他の参加人端末20と判断してもよい。
この場合、同じ代理人端末10が撮影しているという点で、表示範囲が異なっていても映像が共通すると判断されている。いずれの場合も、同じ対象関連情報が通知された両参加者が映像の視聴中にコミュニケーションを(同じ場所にいれば口頭で、異なる場所にいてもチャット等で)とる場合に、共通の話題として対象関連情報を活用することができる。また、他の参加人端末20を利用する参加者は、自分だけだと知り得なかった対象関連情報が示す対象(図8の例ではホルン)の購入方法を知ることができる。
[2−5]対象の方向
例えば実施例で述べたように対象関連情報を表示する時間が定められていて代理人が移動し続けると、対象関連情報がまだ表示されているのにその対象関連情報が示す商取引の対象が、切り出された映像に映らなくなることがある。また、前述した変形例では、参加人端末20が、同じ代理人端末10が撮影する映像を表示する他の参加人端末20と同じ対象関連情報を表示する際に、他の参加人端末20とは表示範囲が異なっていてもよかった。その場合、表示された対象関連情報が示す対象が表示範囲に映っていないことが起こり得る。これらの場合に、対象が映っている方向がユーザに示されてもよい。
図18は本変形例で実現される機能構成の一例を表す。図18では、図5に表す配信サーバ装置30が表されている。配信サーバ装置30では、映像切出部302、指定範囲取得部303、コンテンツ生成部304、コンテンツデータ送信部305及び対象関連情報取得部314が、1画面に収まらない映像(360度映像)のうちユーザが選択した範囲(選択範囲)の映像を配信する映像配信部319として機能する。映像配信部319は本発明の「配信部」の一例である。
本変形例では、この映像配信部319が、購入可否判定部312により購入可能と判定された対象が前述した選択範囲外に映っている場合に、その対象が映っている方向を示す方向画像を選択範囲の映像に重畳させて配信する。
図19は表示された方向画像の一例を表す。図19の例では、図8に表す楽器店の映像から検出されたトランペットの対象関連情報G3が表示されているが、代理人が移動したため選択範囲の映像F2にトランペットが映らなくなっている。
この場合、トランペットは映像F2に映っている場所よりも左側に位置することになる。映像配信部319は、その左向きの方向を示す方向画像N1(左向きの矢印の画像)を映像F2に重畳させて配信している。この方向画像N1を見たユーザは、対象関連情報G3が示すトランペットが左側に位置していると直感的に把握することができるので、例えばHMDである参加人端末20を左側に向けることで、対象関連情報G3が通知されたトランペットを映像で確認することができる。
なお、方向画像は図19に表すものに限らない。例えば矢印だけでなく「左側」等の方向を示す文字列が方向画像として用いられてもよい。また、矢印の代わりに人の手又はキャラクタの顔の向き等で方向を示す画像が用いられてもよい。要するに、判定された商取引の対象が映っている方向をユーザに伝えることができるものであれば、どのような画像が方向画像として用いられてもよい。
[2−6]映像の配信方法
映像配信部319による映像の配信方法は上述したものに限らない。映像配信部319は、例えば、ユーザの操作に応じて、1画面に収まらない映像(360度映像)の更新を停止させて、方向画像を重畳させた状態で配信してもよい。この場合、映像配信部319は、360度映像の更新は停止させるが、選択範囲が変更された場合には、更新を停止した360度映像から切り出す範囲を変更して配信を行う。
図20は本変形例で表示された映像の一例を表す。図20の例では、映像配信部319は、図19に表す映像F2に、方向画像N1及び対象関連情報G3に加えて停止操作子P1を重畳させた映像を配信している。ユーザがこの停止操作子P1を選択する操作を行うと、映像配信部319は、代理人端末10が新たな映像を撮影しても、映像F2を切り出した元となる360度映像の更新を停止する。
方向画像N1が示す方向である左側を向く動作をユーザが行うと、表示される範囲が左側に移動して、対象関連情報G3が示すトランペットが映像に映るようになる。この例で停止操作子P1が操作されないと、代理人の移動により360度映像が更新され続けて360度映像にトランペットが映らなくなり、ユーザが左側を向いてもトランペットが映らなくなる。本変形例では、上記のとおり360度映像の更新を停止することで、更新を継続する場合に比べて、対象関連情報が示す商取引の対象が360度映像に映っている状態を維持しやすくすること(つまり選択範囲を変えればその対象が表示される状態を維持しやすくすること)ができる。
[2−7]映像の蓄積
過去に撮影された映像が配信できるように、映像データが蓄積されてもよい。
図21は本変形例で実現される機能構成の一例を表す。図21では、図5に表す各部に加えて元データ蓄積部320を備える配信サーバ装置30fが表されている。元データ蓄積部320は、元データ取得部301により取得された撮影データ(元データ)を蓄積することで、その撮影データに含まれる映像データを蓄積する。元データ蓄積部320は本発明の「蓄積部」の一例である。
本変形例では、例えば、映像配信部319が、映像を遡る操作を受け付ける操作子画像を含む映像を配信する。
図22は本変形例で表示された映像の一例を表す。図22の例では、映像配信部319は、図19に表す映像F2に、方向画像N1及び対象関連情報G3に加えて遡り操作子P2を重畳させた映像を配信している。
ユーザがこの遡り操作子P2を選択する操作を行うと、映像配信部319は、元データ蓄積部320に蓄積されている過去の映像データを順次遡りながら読み出して、読み出した過去の映像データから選択範囲の映像を切り出す。そうすることで、映像配信部319は、元データ蓄積部320に蓄積された映像データが示す映像として、方向画像N1及び対象関連情報G3を重畳させた過去の映像を配信する。
この場合、360度映像の更新を停止させて方向画像が示す方向を向いても対象関連情報が示す対象(この例ではトランペット)がもう映っていない状況でも、映像を遡らせることでその対象を表示させることができる。なお、本変形例で用いられる操作子画像は上記のものに限らない。
図23は本変形例で表示された映像の別の一例を表す。図23の例では、映像配信部319は、図19に表す映像F2に、映像の早送り、再生、一時停止、早戻しの操作を受け付ける操作子P3を重畳させた映像を配信している。この操作子P3が操作されると、映像配信部319は、360度映像を早送り、再生、一時停止、早戻しさせつつ、選択範囲の映像を切り出して配信する。
また、本変形例では、例えば仮想旅行サービスのライブでの提供が終了した後に、蓄積された映像データを配信することで、過去の仮想旅行サービスと同じ体験をすることができる。その場合は、映像配信部319が、過去に提供された映像へのリンクを並べたメニュー画面を配信し、選択されたリンクが示す映像データを元データ蓄積部320から読み出して配信すればよい。
[2−8]購入可否の判定基準時点
上記変形例では過去の映像が配信された。その場合、商取引対象検出部311は、過去の映像の撮影場所に存在する商取引の対象を検出し、購入可否判定部312が、検出された対象の購入可否を判定する。その際に、購入可否判定部312は、例えば、現在の時点、すなわち、映像データが示す映像が配信される時点において所定の条件で購入可能であるか否かを判定する(現在基準の判定方法)。
この現在基準の判定方法を用いれば、例えば映像の撮影時には購入できなかった対象が現在では購入可能になっている場合に、その対象の対象関連情報をユーザに通知することができる。また、反対に、映像の撮影時には購入できた対象が現在では購入不能になっている場合に、その対象の対象関連情報をユーザに通知しないようにすることができる。
また、購入可否判定部312は、映像の撮影時点、すなわち、映像データが元データ蓄積部320に蓄積される時点において所定の条件で購入可能であるか否かを判定してもよい(過去基準の判定方法)。この場合、購入可否判定部312は、過去に使用していた購入可否テーブルをその使用時期に対応付けて記憶しておき、映像データの蓄積時刻と使用時期が最も近い購入可否テーブルを用いて判定を行う。
商品及びサービスの中には、購入可能な時期が限られているものがある。例えば夏物の服は春から夏の時期に、冬物の服は秋から冬の時期でないと購入できない。実施例で述べたように最新の購入可否を表すように更新された購入可否テーブルだけを用いると、例えば冬の映像を夏に配信する場合に、映像に映った冬服は購入不能と判定される。そこで、過去基準の判定方法を用いることで、撮影時期と配信時期とがずれていても、現時点で購入不能でも撮影時期になれば購入可能なものについての対象関連情報をユーザに通知することができる。
[2−9]代理人端末
実施例では代理人端末が360度映像を撮影したが、これに限らず、例えばパノラマ映像を撮影してもよいし、1画面に収まる通常の映像を撮影してもよい。通常の映像であっても、映像に映っている商取引の対象が検出されて購入可能と判定されれば、その対象の対象関連情報が通知される。
[2−10]対象の検出方法
商取引の対象の検出方法は実施例で述べた方法に限らない。例えば、代理人端末10がGPS等の測位センサを備えていて撮影位置を示す撮影データを配信サーバ装置30に送信する。商取引対象検出部311は、店舗の位置と各店舗で販売される商取引の対象を表す店舗情報を記憶しておき、取得された撮影データが示す撮影位置との距離が閾値未満の店舗で販売される商取引の対象を検出する。
また、商取引対象検出部311は、撮影位置に加えて撮影方向を参照し、撮影位置の撮影方向側に存在する店舗で販売される商取引の対象を検出してもよい。この方法によれば、映像に商品及び文字列が認識可能な程度に映っていない場合でも、商取引の対象を検出することができる。
[2−11]対象関連情報の通知方法
対象関連情報の通知方法は実施例で述べた方法に限らない。対象関連情報通知部315は、例えば、対象関連情報を発音した音声データをコンテンツデータとして送信することで、音声で対象関連情報を通知してもよい。また、対象関連情報通知部315は、参加人端末20ではなく、参加人の電子メールアドレス又はSNS(Social Networking Service)のアカウントに対象関連情報を送信することで通知してもよい。要するに、対象関連情報の内容がユーザに伝われば、どのような方法で通知が行われてもよい。
[2−12]参加人端末
実施例ではヘッドマウントディスプレイが参加人端末として用いられたが、これに限らない。例えばスマートフォン、タブレット端末又はパソコン等が参加人端末として用いられてもよい。要するに、配信された映像を表示可能な装置であれば、どのような表示装置が参加人端末として用いられてもよい。
[2−13]各部を実現する装置
図5等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えば参加人端末20が備える指定範囲決定部202を配信サーバ装置30が実現してもよい。また、1台の装置(代理人端末、参加人端末及び配信サーバ装置)が備える各機能を2台以上の装置がそれぞれ分担して実現してもよい。要するに、仮想旅行システム全体としてこれらの機能が実現されていれば、仮想旅行システムが何台の装置を備えていてもよい。
[2−14]システム
上記の各例では、仮想旅行サービスを提供するためのシステム(仮想旅行システム)について説明したが、本発明は、他のシステムにも適用可能である。例えば、演奏、スポーツの試合、美術館等の観覧を仮想的に行うためのシステムに適用してもよい。また、ロボット又はドローンが撮影した映像を配信するシステムに適用してもよい。また、ライブ映像に限らず、上記変形例で述べたような蓄積された映像を配信するシステムに適用してもよい。要するに、商取引の対象が映る映像を配信するものであれば、本発明をどのようなシステムに適用してもよい。
[2−15]発明のカテゴリ
本発明は、代理人端末、参加人端末及び配信サーバ装置等の各情報処理装置の他、それらの装置を備える仮想旅行システム等の情報処理システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2−16]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2−17]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2−18]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
[2−19]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2−20]システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
[2−21]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2−22]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
[2−23]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。