JP6801106B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6801106B2
JP6801106B2 JP2019530115A JP2019530115A JP6801106B2 JP 6801106 B2 JP6801106 B2 JP 6801106B2 JP 2019530115 A JP2019530115 A JP 2019530115A JP 2019530115 A JP2019530115 A JP 2019530115A JP 6801106 B2 JP6801106 B2 JP 6801106B2
Authority
JP
Japan
Prior art keywords
display device
terminal
participant
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019530115A
Other languages
English (en)
Other versions
JPWO2019150675A1 (ja
Inventor
知敬 湯浅
知敬 湯浅
基 田村
基 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2019150675A1 publication Critical patent/JPWO2019150675A1/ja
Application granted granted Critical
Publication of JP6801106B2 publication Critical patent/JP6801106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Description

本発明は、映像を配信する技術に関する。
特許文献1には、無人航空機が取得した視覚データ及び非視覚データを仮想現実端末で統合して提示する技術が開示されている。
特表2017−504863号公報
AR(Augmented Reality)技術及びVR(Virtual Reality)技術等により配信された映像を視聴すると通常の映像に比べて臨場感が高められる。これに加えて、例えば他の視聴者と同じ映像を見ることができれば、視聴者同士の一体感が高まり、現実世界における人同士のコミュニケーションにも役立つ。
そこで、本発明は、他のユーザが視聴する映像に簡単に切り替えられるようにすることを目的とする。
上記目的を達成するために、本発明は、撮影された映像を取得する映像取得部と、第1表示装置に対応付けて行われる映像の範囲の指定を受け取ると、取得された前記映像から当該範囲の映像を切り出して当該第1表示装置に配信し、前記第1表示装置に対応付けられた表示の切替指示が行われると第2表示装置に対応付けて行われる指定により切り出される映像を当該第1表示装置に配信する配信部とを備える情報処理装置を提供する。
また、取得された前記映像を蓄積する蓄積部を備え、前記配信部は、蓄積された前記映像から前記第2表示装置に対応付けて行われた前記指定により過去に切り出された前記映像を前記第1表示装置に配信してもよい。
さらに、前記第2表示装置に到達する音を取得する音取得部と、前記第2表示装置に対応する方向と取得された前記音とを示すデータを前記第1表示装置に送信する第1送信部とを備え、前記第1表示装置は、前記第1送信部が送信するデータが示す音を当該データが示す方向から聞こえる音として出力するスピーカを備え、前記配信部は、前記第1表示装置に送信された前記データが示す方向に当該第1表示装置の向きを変更する指示が行われた場合に、前記第2表示装置に対応付けて行われる前記指定により切り出される映像を当該第1表示装置に配信してもよい。
また、前記第2表示装置に対応する方向を示す方向指示画像を前記第1表示装置に送信する第2送信部を備え、前記配信部は、送信された前記方向指示画像が示す方向に前記第1表示装置の向きを変更する指示が行われた場合に、前記第2表示装置に対応付けて行われる前記指定により切り出される映像を当該第1表示装置に配信してもよい。
さらに、少なくとも1の表示装置の位置を示す位置情報を取得する位置取得部を備え、前記配信部は、前記少なくとも1の表示装置のうち前記第1表示装置との距離が所定範囲内の位置を示す前記位置情報が取得された他の表示装置を前記第2表示装置として前記配信を行ってもよい。
また、少なくとも1の表示装置で用いられる言語を示す言語情報を取得する言語取得部を備え、前記配信部は、前記少なくとも1の表示装置のうち前記第1表示装置と同じ言語を示す前記言語情報が取得された他の表示装置を前記第2表示装置として前記配信を行ってもよい。
さらに、少なくとも1の表示装置の位置で用いられる標準時間帯を示す時間帯情報を取得する時間帯取得部を備え、前記配信部は、前記少なくとも1の表示装置のうち前記第1表示装置と比較して、それぞれ取得された前記時間帯情報が示す標準時間帯の時間差が閾値未満となる他の表示装置を前記第2表示装置として前記配信を行ってもよい。
また、前記映像を撮影する撮影装置が複数あり、前記配信部は、前記第1表示装置が表示する映像と同じ撮影元の撮影装置が撮影した映像を表示している他の表示装置を前記第2表示装置として前記配信を行ってもよい。
さらに、前記映像を撮影する撮影装置が複数あり、前記複数の撮影装置の位置を示す撮影位置情報を取得する撮影位置取得部を備え、前記配信部は、前記複数の撮影装置において前記第1表示装置が表示する映像の撮影元の撮影装置との距離が所定範囲内の位置を示す前記撮影位置情報が取得された他の撮影装置がある場合に、当該他の撮影装置が撮影した映像を表示している他の表示装置を前記第2表示装置として前記配信を行ってもよい。
本発明によれば、他のユーザが視聴する映像に簡単に切り替えられるようにすることができる。
実施例に係る仮想旅行システムの全体構成を表す図 代理人端末のハードウェア構成を表す図 参加人端末のハードウェア構成を表す図 配信サーバ装置のハードウェア構成を表す図 仮想旅行システムが実現する機能構成を表す図 指定範囲の例を表す図 切替指示の例を表す図 切替指示の例を表す図 切替指示の例を表す図 提供処理における各装置の動作手順の一例を表す図 変形例の配信サーバ装置が実現する機能構成を表す図 変形例で出力される映像の一例を表す図 変形例の仮想旅行システムが実現する機能構成を表す図 変形例の仮想旅行システムの全体構成を表す図 変形例の代理人端末が実現する機能構成を表す図 代理人同士の位置関係の一例を表す図 生成された映像の一例を表す図 変形例の参加人端末が実現する機能構成を表す図
1 実施例
図1は実施例に係る仮想旅行システム1の全体構成を表す。仮想旅行システム1は、観光地等の旅行先に行かなくても仮想的に旅行を楽しむ仮想旅行サービスを提供するためのシステムである。仮想旅行システム1は、旅行先の映像を撮影する代理人と、仮想旅行に参加する参加人という2種類のユーザによって主に利用される。
仮想旅行システム1は、ネットワーク2と、代理人端末10と、参加人端末20−1、20−2、20−3、・・・(以下それぞれを区別しない場合は「参加人端末20」という)と、配信サーバ装置30とを備える。ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク2には、配信サーバ装置30が有線通信でアクセスしており、代理人端末10及び参加人端末20が無線通信でアクセスしている。なお、ネットワーク2とのアクセスは有線通信及び無線通信のどちらでもよい。
代理人端末10は、旅行先にいる代理人によって持ち運ばれ、旅行先の映像を撮影する撮影装置である。本実施例では、代理人端末10は、例えば代理人の頭上に装着され、代理人の前後左右と上下を含んだ動画像であるいわゆる360度映像(全方位画像、全天球画像ともいう)を撮影する。代理人端末10は、自機が備えるマイクロフォンで音も録音し、撮影した360度映像とともに配信サーバ装置30に送信する。
配信サーバ装置30は、代理人端末10によって撮影された旅行先の映像及び録音された音等を含む仮想旅行のコンテンツを参加人端末20に配信する配信装置である。配信サーバ装置30は、360度映像のうち参加人端末20から指定された範囲の映像を切り出して配信する。参加人端末20は、配信サーバ装置30によって配信されたコンテンツを出力する出力装置であり、例えば、コンテンツに含まれる映像を表示し、コンテンツに含まれる音を放音する。
本実施例では、参加人端末20は、ユーザの頭に装着するHMD(Head Mounted Display:ヘッドマウントディスプレイ)である。参加人端末20は、自端末の正面が向いている方向(方位及び仰俯角)を測定し、測定した方向に対応する映像の範囲を配信サーバ装置30に対して指定する。これにより、例えば参加人が東を向けば代理人端末10の位置から東を向いた映像が配信され、参加人が上を向けば代理人端末10の鉛直上方の映像が配信される。
図2は代理人端末10のハードウェア構成を表す。代理人端末10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、360度カメラ17と、センサ装置18と、バス19という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。
ストレージ13は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、スイッチ、ボタン、センサなど)である。また、入力装置15は、自端末の周辺で発生して自端末に到達する音(周辺音)を収集するマイクロフォンを入力デバイスとして備えている。出力装置16は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。
360度カメラ17は、上述した360度映像を撮影する撮影デバイスである。360度カメラ17は、例えば2以上の広角カメラを備え、それらの広角カメラを異なる方向に向けて全ての方向を撮影範囲に収めることで360度映像を撮影する(なお、完全に全ての方向を撮影するものである必要はなく、例えば足元などに死角があってもよい)。センサ装置18は、360度カメラ17の向きを測定するセンサ(磁気センサ等)を備える。
360度カメラ17には正面が定められており、センサ装置18は、その正面が向いている方向(カメラの正面方向)の方位及び仰俯角を測定する。代理人が移動したり向きを変えたりするとカメラの正面方向の向きが変化するので、センサ装置18がその向きを表す測定値を出力する。この測定値により、撮影された360度映像のうち、例えばどの部分が自端末から見て東向きの映像で、どの部分が自端末から見て鉛直上方向きの映像であるかといったことが分かるようになっている。
なお、センサ装置18は360度カメラ17に内蔵されていてもよい。また、入力装置15が備えるマイクロフォンも360度カメラ17に内蔵されていてもよい。プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス19を介して互いにアクセス可能となっている。バス19は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、代理人端末10等は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
図3は参加人端末20のハードウェア構成を表す。参加人端末20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、出力装置26と、センサ装置27と、バス28という各装置を備えるコンピュータである。これらの装置は、図2に表す同名の装置と性能又は仕様等の違いはあるが同種の装置である。ただし、全てが同じではないので、図2の各装置と特に重要な相違点について説明する。
出力装置26は、音が聞こえてくる方向を認識させること(いわゆる音像定位)が可能なスピーカを備える。参加人端末20を装着した参加人は、例えば後ろから他の参加人の声が聞こえるというように音が聞こえてくる方向を認識することができる。センサ装置27は、自端末の正面方向の向きを測定するセンサ(磁気センサ等)を備え、その正面方向が向く方位及び仰俯角を測定する。
図4は配信サーバ装置30のハードウェア構成を表す。配信サーバ装置30は、プロセッサ31と、メモリ32と、ストレージ33と、通信装置34と、バス35という各装置を備えるコンピュータである。これらの装置は、図2に表す同名の装置と性能又は仕様等の違いはあるが同種の装置である。
仮想旅行システム1が備える代理人端末10、参加人端末20及び配信サーバ装置30には、本システムで提供されるプログラムが記憶されており、各装置のプロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図5は仮想旅行システム1が実現する機能構成を表す。代理人端末10は、映像撮影部101と、周辺音録音部102と、カメラ向き測定部103と、撮影データ送信部104とを備える。
参加人端末20は、音声録音部201と、端末向き測定部202と、指定範囲決定部203と、コンテンツ出力部204とを備える。図5には参加人端末20が1台しか表されていないが、複数の参加人端末20はいずれも図5に表す機能構成を実現する。配信サーバ装置30は、元データ取得部301と、映像切出部302と、指定範囲取得部303と、コンテンツ生成部304と、コンテンツデータ送信部305と、切替指示受付部306とを備える。
仮想旅行システム1においては、配信サーバ装置30が、各参加人端末20を識別する端末ID(Identification)と、それらの参加人端末20に映像を配信する際の宛先情報(IP(Internet Protocol)アドレス等)を対応付けて記憶している。また、代理人端末10及び各参加人端末20は、配信サーバ装置30の宛先情報を記憶しており、必要に応じて配信サーバ装置30とデータのやり取りを行えるようになっている。
代理人端末10の映像撮影部101は、代理人の周囲の映像を撮影する。映像撮影部101は、本実施例では、図2に表す360度カメラ17を制御して360度映像を撮影する。映像撮影部101は、仮想旅行サービスの提供期間(定められたサービス開始時刻からサービス終了時刻までの期間)の間、360度映像を撮影しながら、並行して、撮影した360度映像を撮影データ送信部104に供給する。
周辺音録音部102は、図2に表す入力装置15が備えるマイクロフォンを制御して、上述した周辺音(自端末の周辺で発生して自端末に到達する音)を録音する。周辺音録音部102は、仮想旅行サービスの提供期間の間、周辺音を録音しながら、並行して、録音した周辺音を撮影データ送信部104に供給する。
カメラ向き測定部103は、図2に表すセンサ装置18を制御して、360度カメラ17について定められた正面が向いている方位及び仰俯角を測定する。これらの方位及び仰俯角は、360度カメラ17の正面の向きを示す情報であり、以下では「カメラ向き情報」という。カメラ向き測定部103は、仮想旅行サービスの提供期間の間、このカメラ向き情報(方位及び仰俯角)の測定を繰り返し行い、並行して、測定したカメラ向き情報を撮影データ送信部104に繰り返し供給する。
撮影データ送信部104は、自端末が撮影した映像に関するデータである撮影データを配信サーバ装置30に送信する。具体的には、撮影データ送信部104は、映像撮影部101から供給された360度映像と、周辺音録音部102から供給された周辺音と、カメラ向き測定部103から供給されたカメラ向き情報とを示すデータを撮影データとして生成し、配信サーバ装置30に送信する。
参加人端末20の音声録音部201は、自端末を装着した参加人の音声を録音する。音声録音部201は、録音した音声を示す音声データを配信サーバ装置30に送信する。配信サーバ装置30の元データ取得部301は、自装置が配信するコンテンツ(仮想旅行のコンテンツ)の元になるデータ(元データ)を取得する。元データとは、代理人端末10から送信されてくる撮影データと、参加人端末20から送信されてくる音声データである。
元データ取得部301は、代理人端末10から送信されてくる撮影データをコンテンツの元データとして取得することで、その撮影データが示す映像、すなわち代理人端末10により撮影された映像(本実施例では360度映像)を取得する。元データ取得部301は本発明の「映像取得部」の一例である。また、元データ取得部301は、撮影データを取得することで、その撮影データが示す音、すなわち代理人端末10に到達する音(周辺音)を取得する。
元データ取得部301は、撮影データ及び音声データをコンテンツの元データとして取得する度に、取得した元データを映像切出部302に供給する。映像切出部302は、供給された元データが示す360度映像から、参加人端末20によって指定された範囲の映像を切り出す。範囲の指定は次のように行われる。参加人端末20の端末向き測定部202は、自端末の向きを示す情報(以下「端末向き情報」という)として、自端末について定められた正面が向く方位及び仰俯角を測定する。
端末向き測定部202は、端末向き情報を一定時間の間隔で繰り返し測定し、測定した端末向き情報を指定範囲決定部203に繰り返し供給する。指定範囲決定部203は、端末向き測定部202により測定された端末向き情報に基づいて、自端末に表示させる映像の範囲として指定する指定範囲を決定する。指定範囲決定部203は、例えば、供給された端末向き情報が示す向きを所定の画角(例えば縦25度、横45度など)を有するカメラで撮影した場合の映像の範囲を指定範囲として決定する。
図6は指定範囲の例を表す。図6では、映像撮影部101により撮影された360度映像A1が表されている。360度映像A1は、360度カメラ17が真北を向いて傾きが0度の状態(カメラの正面方向を水平に向けた状態)で撮影した映像である。そのため、360度映像A1では、水平線が映像の縦方向の中央(0度)に位置し、真北の方位が映像の横方向の中央に位置している。映像の上辺は360度カメラ17から見て鉛直上方(90度)の映像を表し、映像の下辺は360度カメラ17から見て鉛直下方(−90度)の映像を表している。
例えば指定範囲決定部203が、北向き且つ仰角20度を撮影した映像の範囲を指定範囲として決定した場合、360度映像A1における北向き且つ仰角20度の位置を示す仮想視線方向B1(参加者が仮想的な視線を向けている方向)を中心とした指定範囲C1が決定されたことになる。また、指定範囲決定部203が、南東向き且つ俯角45度を撮影した映像の範囲を指定範囲として決定した場合、360度映像A1における南東向き且つ俯角45度の位置を示す仮想視線方向B2を中心とした指定範囲C2が決定されたことになる。
指定範囲決定部203は、決定した指定範囲を示す範囲情報として、仮想視線方向を示す方位及び仰俯角と、画角と、自端末の端末IDとを示す情報を生成して配信サーバ装置30に送信する。配信サーバ装置30の指定範囲取得部303は、送信されてきた範囲情報を受け取ることで、その範囲情報が示す端末IDにより識別される参加人端末20によって指定された映像の範囲、すなわち指定範囲を取得する。指定範囲取得部303は、取得した指定範囲を示す範囲情報を映像切出部302及び切替指示受付部306に供給する。
映像切出部302は、元データ取得部301からコンテンツの元データが供給されると、供給された元データが示す360度映像から、指定範囲取得部303から供給された範囲情報が示す指定範囲の映像(図6の例では指定範囲C1の映像又は指定範囲C2の映像)を切り出す。なお、360度カメラ17の正面が水平方向に対して傾いていると、図6に表す360度映像A1が縦方向にずれた映像になる(水平線が縦方向にずれる)。
映像切出部302は、例えば、元データに含まれるカメラ向き情報が示す正面の向きに基づいてこの傾きを補正して360度映像A1のような映像にしてから指定範囲の映像を切り出す。この補正には、VR(Virtual Reality)又はAR(Augmented Reality)等で用いられている周知の技術が用いられればよい。なお、映像切出部302は、360度映像を補正するのではなく、傾いた360度映像における方位及び仰俯角に対応した位置を算出して指定範囲の映像を切り出してもよい。
映像切出部302は、こうして切り出した映像を、範囲情報及び元データと共にコンテンツ生成部304に供給する。コンテンツ生成部304は、供給された映像、すなわち参加人端末20から指定された範囲で切り出された映像と、供給された元データが示す周辺音とを示すコンテンツを生成する。コンテンツ生成部304は、生成したコンテンツと、供給された範囲情報が示す端末IDとを示すコンテンツデータを生成する。
また、コンテンツ生成部304は、生成したコンテンツデータに、供給された元データが示す参加人の音声と、その参加人が利用する参加人端末20に対応する方向とを付加する。具体的には、コンテンツ生成部304は、参加人端末20から指定された映像の範囲が示す方向(図6の例では仮想視線方向B1(北向き)又は仮想視線方向B2(南東向き))をその参加人端末20に対応する方向としてコンテンツデータに付加する。
コンテンツ生成部304は、こうして生成したコンテンツデータをコンテンツデータ送信部305に供給する。コンテンツデータ送信部305は、供給されたコンテンツデータを、そのコンテンツデータが示す端末IDにより識別される参加人端末20に送信する。参加人端末20のコンテンツ出力部204は、配信サーバ装置30から送信されてきたコンテンツデータが示すコンテンツを出力する。
具体的には、コンテンツ出力部204は、コンテンツデータが示す映像を出力装置26のディスプレイに出力して表示させ、コンテンツデータが示す周辺音を出力装置26のスピーカに出力して放音させる。こうして出力されるコンテンツは、代理人が旅行先で撮影した映像及び録音した周辺音であり、仮想的な旅行体験を参加人に提供するコンテンツである。参加人端末20を装着した参加人は、こうして出力されたコンテンツを視聴する。
コンテンツの視聴とは、表示されたコンテンツの映像を見て、放音されたコンテンツの音を聞くことである。なお、音が含まれていない映像だけのコンテンツを見る場合でも「コンテンツの視聴」と言うものとする。以上のとおり、本実施例では、参加人端末20は、元データ取得部301によって取得された360度映像(詳細にはそこから切り出された映像)を表示する表示装置である。
また、その参加人端末20から範囲情報が送信されることで、映像の範囲の指定がその参加人端末20に対応付けて行われている。そして、配信サーバ装置30の映像切出部302、指定範囲取得部303、コンテンツ生成部304及びコンテンツデータ送信部305は、その映像の範囲の指定を受け取ると、元データ取得部301によって取得された360度映像からその範囲の映像を切り出してその参加人端末20に配信するコンテンツ配信部307として機能する。コンテンツ配信部307は本発明の「配信部」の一例である。
また、本実施例では、参加人端末20が、いずれも、コンテンツデータ送信部305が送信するコンテンツデータが示す音をそのコンテンツデータが示す方向から聞こえる音として出力するスピーカを備えている。また、配信サーバ装置30の元データ取得部301は、参加人端末20から送信されてくる音声データを取得することで、その参加人端末20に到達する音(本実施例では参加人の音声)を取得する。この場合の元データ取得部301は本発明の「音取得部」の一例である。
そして、配信サーバ装置30のコンテンツデータ送信部305は、参加人端末20から取得された音(参加人の音声)と、その参加人端末20に対応する方向(その参加人端末20により指定された映像の範囲が示す方向)とを示すコンテンツデータを別の参加人端末20に送信する。この場合の「別の参加人端末20」は本発明の「第1表示装置」の一例であり、「音」が取得された「参加人端末20」が本発明の「第2表示装置」の一例である。また、コンテンツデータ送信部305は本発明の「第1送信部」の一例である。
参加人端末20のコンテンツ出力部204は、上記のスピーカを制御して、送信されてきたコンテンツデータが示す参加人の音声をそのコンテンツデータが示す方向から聞こえる音として出力する。例えば参加人端末20−1のコンテンツ出力部204は、参加人端末20−2から東向きの映像の範囲が指定された場合、参加人端末20−2を利用する参加人の音声が東側から聞こえてくるように出力する。
本実施例では、この音声が聞こえてくる方向を利用して、配信サーバ装置30の切替指示受付部306が、参加人端末20に表示されている映像を他の参加人端末20に表示される映像に切り替える指示(切替指示)を受け付ける。そのために、本実施例では、参加人端末20の端末向き測定部202が、測定した端末向き情報を配信サーバ装置30にも繰り返し送信する。
切替指示受付部306は、そうして送信されてきた端末向き情報が、送信元の参加人端末20の向きを他の参加人端末20が録音した音声が聞こえてくる方向に変更することを示す場合に、送信元の参加人端末20に表示されている映像を、その音声を録音した参加人端末20が指定する範囲で切り出される映像に切り替える切替指示として受け付ける。
図7A〜7Cは切替指示の例を表す。図7A〜7Cでは、参加人端末20−1、20−2、20−3を参加人A、B、Cが利用しているものとする。図7Aでは、参加人Aの正面(参加人Aが装着している参加人端末20−1の正面と同じとする)が北を向いており、南東から参加人Bの音声が聞こえ、南西から参加人Cの音声が聞こえていることが表されている。
図7Bでは、参加人Aが、自身が装着している参加人端末20−1の正面の向きを、参加人Bの音声が聞こえる方向(南東)に変更したことが表されている。この場合、切替指示受付部306は、参加人端末20−1から南東を示す端末向き情報が送信されてくるので、参加人端末20−1に表示されている映像を、参加人端末20−2が指定する範囲で切り出される映像(参加人端末20−2に対応付けて行われる範囲指定により切り出される映像)に切り替える切替指示として受け付ける。
図7Cでは、参加人Aが、自身が装着している参加人端末20−1の正面の向きを、参加人Cの音声が聞こえる方向(南西)に変更したことが表されている。この場合、切替指示受付部306は、参加人端末20−1から南西を示す端末向き情報が送信されてくるので、参加人端末20−1に表示されている映像を、参加人端末20−3が指定する範囲で切り出される映像(参加人端末20−3に対応付けて行われる範囲指定により切り出される映像)に切り替える切替指示として受け付ける。
切替指示受付部306は、切替指示を受け付けると、切替指示が行われた参加人端末20の端末ID(切替元の参加人端末20の切替元端末ID)と、切替先となる映像の範囲を指定する参加人端末20の端末ID(切替先の参加人端末20の切替先端末ID)をコンテンツデータ送信部305に供給する。コンテンツデータ送信部305は、供給された切替元端末IDの参加人端末20に送信するコンテンツデータを、供給された切替先端末IDの参加人端末20に送信するコンテンツデータに切り替えて送信する。
例えば図7Bの切替指示が行われた場合、コンテンツデータ送信部305は、参加人Aの参加人端末20−1に送信するコンテンツデータを、参加人Bの参加人端末20−2に送信するコンテンツデータに切り替えて送信する。これにより、参加人Aは、参加人Bの声がする方向に向きを変えることで、その参加人Bが見ている映像を見ることができる。
以上のとおり、本実施例では、上述したコンテンツ配信部307(映像切出部302、指定範囲取得部303、コンテンツ生成部304及びコンテンツデータ送信部305)が、切替元の参加人端末20の向きをその参加人端末20に送信されたコンテンツデータが示す方向に変更する指示が行われた場合に、切替先の参加人端末20に対応付けて行われる映像の範囲の指定により切り出される映像を切替元の参加人端末20に配信する。
切替元の参加人端末20は本発明の「第1表示装置」の一例であり、切替先の参加人端末20は本発明の「第2表示装置」の一例である。このようにして、コンテンツ配信部307は、切替元の参加人端末20に対応付けられた表示の切替指示が行われると切替先の参加人端末20に対応付けて行われる映像の範囲の指定により切り出される映像を切替元の参加人端末20に配信する。
コンテンツ配信部307は、一旦コンテンツを切り替えると、参加人端末20に表示されている他の参加人端末20の映像を元の映像に切り替える(戻す)指示(戻し指示)が受け付けられるまで、切替先の参加人端末20の指定により切り出される映像を配信し続ける。切替指示受付部306は、この戻し指示を受け付ける。切替指示受付部306は、例えば、映像を元に戻すためのジェスチャ(戻しジェスチャ)を示す端末向き情報が送信されてきた場合に、その端末向き情報の送信を戻し指示として受け付ける。
戻しジェスチャとは、例えば顔を軽く振るジェスチャである。その場合、切替指示受付部306は、例えば端末向き情報が示す方位の変化方向が所定の期間に2回変化すると、戻しジェスチャが行われたと判断し、戻し指示を受け付ける。なお、戻しジェスチャは、他にも、例えば顔を上下に振るジェスチャ又は顔の正面方向が円を描くように顔を動かすジェスチャ等であってもよい。また、戻しジェスチャとしての顔の動きをユーザが設定できるようにしてもよい。
また、映像を戻すだけではなく、さらに他の参加人端末20の映像に切り替える操作としてジェスチャが用いられてもよい。その場合、前述した複数ジェスチャのいずれかにその切り替えの操作として用いられればよい。また、切替指示受付部306は、戻しジェスチャ以外にも、例えば参加人端末20の入力装置25に対して所定の操作(所定の操作子をタッチする操作など)が行われた場合に戻し指示を受け付けてもよい。
切替指示受付部306が戻し指示を受け付けると、コンテンツデータ送信部305は、その戻し指示が行われた参加人端末20に送信するコンテンツデータを、その参加人端末20の端末IDを示すコンテンツデータに切り替えて送信する。これにより、参加人は、他の参加人が見ている映像から自分が指定する範囲の映像に表示を戻すことができる。
仮想旅行システム1が備える各装置は、上記の構成に基づいて、仮想旅行のコンテンツを参加人に提供する提供処理を行う。
図8は提供処理における各装置の動作手順の一例を表す。この動作手順は、例えば、仮想旅行サービスの開始時刻になることを契機に開始される。まず、代理人端末10(映像撮影部101、周辺音録音部102、カメラ向き測定部103)は、代理人の周囲の360度映像の撮影と、周辺音の録音と、カメラ向き情報の測定とを行う(ステップS11)。
次に、代理人端末10(撮影データ送信部104)は、ステップS11の各動作で得られる撮影データを配信サーバ装置30に送信する(ステップS12)。ステップS11、S12と並行して、参加人端末20(音声録音部201)は、自端末を装着した参加人の音声を録音し(ステップS13)、録音した音声を示す音声データを配信サーバ装置30に送信する(ステップS14)。
配信サーバ装置30(元データ取得部301)は、ステップS12及びS14で送信されてくる撮影データ及び音声データを、自装置が配信するコンテンツの元データとして取得する(ステップS15)。次に、参加人端末20(端末向き測定部202)は、自端末の向きを示す情報(端末向き情報)を測定する(ステップS21)。続いて、参加人端末20(指定範囲決定部203)は、測定された端末向き情報に基づいて、自端末に表示させる映像の指定範囲を決定し(ステップS22)、決定した指定範囲を示す範囲情報を配信サーバ装置30に送信する(ステップS23)。
配信サーバ装置30(指定範囲取得部303)は、送信されてきた範囲情報を受け取ることで指定範囲を取得する(ステップS24)。次に、配信サーバ装置30(映像切出部302)は、ステップS15で取得された元データが示す360度映像から、取得された指定範囲の映像を切り出す(ステップS25)。続いて、配信サーバ装置30(コンテンツ生成部304)は、切り出された映像と、録音された周辺音と、録音された参加人の音声と、その音声が録音された参加人端末20に対応する方向とを示すコンテンツデータを生成する(ステップS26)。
そして、配信サーバ装置30(コンテンツデータ送信部305)は、生成されたコンテンツデータを、映像の範囲を指定してきた参加人端末20に送信する(ステップS27)。参加人端末20(コンテンツ出力部204)は、送信されてきたコンテンツデータが示すコンテンツを出力する(ステップS28)。このとき、参加人端末20(コンテンツ出力部204)は、コンテンツデータが示す参加人の音声をそのコンテンツデータが示す方向から聞こえる音として出力する。
ここで、参加人端末20(端末向き測定部202)が、自端末の正面方向を参加人の音声がする方向に向けたときの端末向き情報を測定したとする(ステップS31)。すると、参加人端末20(端末向き測定部202)は、測定した端末向き情報を配信サーバ装置30に送信する(ステップS32)。配信サーバ装置30(切替指示受付部306)は、送信されてきた端末向き情報が、送信元の参加人端末20の向きを他の参加人端末20が録音した音声が聞こえてくる方向に変更することを示すので、この端末向き情報の送信を切替指示として受け付ける(ステップS33)。
次に、配信サーバ装置30(コンテンツデータ送信部305)は、切替元の参加人端末20に送信するコンテンツデータを、切替先の参加人端末20に送信するコンテンツデータに切り替えて(ステップS34)、切替元の参加人端末20に対して送信する(ステップS35)。切替元の参加人端末20(コンテンツ出力部204)は、送信されてきたコンテンツデータが示すコンテンツを出力する(ステップS36)。
ステップS36以降に、参加人端末20(端末向き測定部202)が、上述した戻しジェスチャを示す端末向き情報を測定すると(ステップS41)、測定した端末向き情報を配信サーバ装置30に送信する(ステップS42)。配信サーバ装置30(切替指示受付部306)は、送信されてきた端末向き情報が戻しジェスチャを示すので、この端末向き情報の送信を戻し指示として受け付ける(ステップS43)。
次に、配信サーバ装置30(コンテンツデータ送信部305)は、戻し指示が行われた参加人端末20に送信するコンテンツデータを、その参加人端末20により範囲が指定された映像を示すコンテンツデータに切り替えて(ステップS44)、その参加人端末20に対して送信する(ステップS45)。参加人端末20(コンテンツ出力部204)は、送信されてきたコンテンツデータが示すコンテンツを出力する(ステップS46)。
本実施例では、各ユーザ(参加人)が、各々が装着している参加人端末20の正面を向ける方向を変えることで、自分が見たい映像の範囲を指定している。一方、他のユーザの声が聞こえる方向に参加人端末20の正面を向ければ、そのユーザが指定する範囲の映像が表示されるようになっている。これにより、例えば他のユーザが視聴する映像の範囲をその参加人から聞いて同じ方向を見ようとする場合に比べて、他のユーザが視聴する映像に簡単に切り替えることができる。
また、本実施例では、他のユーザの参加人端末20により指定された映像の範囲が示す方向からそのユーザの音声が聞こえてきて、その方向を向くとその参加人が視聴しているのと同じ映像が表示される。これにより、ユーザは、映像を切り替えることで、切り替わった映像を視聴している他のユーザがどちらの方向を見ているのかを知ることができる。
2 変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
2−1 過去のコンテンツを表示
例えば他の参加人の歓声を聞いてその参加人が見ているのと同じ映像を表示させたが、他の参加人の関心をひいた場面(例えばからくり時計の人形劇の上演など)が既に終わっている場合がある。そこで、他の参加人の参加人端末20に出力されていた過去のコンテンツ(映像及び音)が出力されるようにしてもよい。
図9は本変形例の配信サーバ装置30aが実現する機能構成を表す。配信サーバ装置30aは、図5に表す各部に加えてコンテンツ蓄積部308を備える。本変形例では、コンテンツ生成部304が、生成したコンテンツデータをコンテンツ蓄積部308にも供給する。
コンテンツ蓄積部308は、供給されたコンテンツデータを記憶することで、そのコンテンツデータが示す端末IDの参加人端末20に配信されるコンテンツを蓄積する。コンテンツ蓄積部308は、コンテンツを蓄積することで、元データ取得部301によって取得された360度映像も蓄積する。コンテンツ蓄積部308は本発明の「蓄積部」の一例である。また、コンテンツ蓄積部308は、360度映像と同様に周辺音及び参加人の音声も蓄積する。
本変形例では、例えば、切替指示受付部306が、参加人端末20から送信されてきた端末向き情報が、送信元の参加人端末20の向きを他の参加人端末20が録音した音声が聞こえてくる方向に変更することを示す場合に、送信元の参加人端末20に表示されている映像を、その音声を録音した参加人端末20が過去に(例えば所定の時間だけ遡った過去に)指定した範囲で切り出される映像に切り替える切替指示として受け付ける。
そして、コンテンツ配信部307が、コンテンツ蓄積部308に蓄積された映像から切替先の参加人端末20に対応付けて行われた映像の範囲の指定により過去に切り出された映像を切替元の参加人端末20に配信する。また、コンテンツ配信部307は、この過去に切り出された映像と共に、例えば過去の周辺音及び過去の参加人の音声をどちらも切替元の参加人端末20に配信する。これにより、参加人は、他の参加人の関心をひいた場面が終わった後でも、その場面を表すコンテンツを自分の参加人端末20に出力させることができる。
なお、コンテンツ配信部307は、所定の時間だけ過去のコンテンツを配信するのではなく、参加人が指示した時間だけ遡った過去のコンテンツを配信してもよい。この遡る時間の長さの指示方法は、例えば、上述した戻し指示と同じように、端末向き情報で表されるジェスチャ(例えば顔を振る回数が多いほど遡る時間を長くするなど)であってもよいし、参加人端末20の入力装置25に対する所定の操作(例えばタッチする回数が多いほど遡る時間を長くするなど)であってもよい。
また、コンテンツ配信部307は、最初は実施例のように切替先の参加人端末20に現在配信しているコンテンツを切替元の参加人端末20に配信し、遡る時間の長さが指示された場合に、過去のコンテンツを配信してもよい。これにより、他の参加人と同じコンテンツを出力させたところその参加人の関心をひいた場面が既に終わっていると分かった後でも、その場面を表すコンテンツを自分の参加人端末20に出力させることができる。
また、図9の例では、コンテンツ蓄積部308が切り出された映像を示すコンテンツを蓄積したが、例えば元データを蓄積してもよい。その場合、コンテンツ蓄積部308に蓄積された元データが示す360度映像から映像切出部302が切替先の参加人端末20による指定範囲の映像を切り出し、コンテンツ生成部304が切り出された映像を含むコンテンツを生成する。
コンテンツ配信部307は、こうして生成されたコンテンツを切替元の参加人端末20に配信する。この場合、全ての参加人端末20の分のコンテンツを蓄積する必要がなく、元データだけを蓄積しておけばよい。従って、切り出し後のコンテンツを蓄積する場合に比べて、参加人端末20の台数が増えたときに必要な記憶容量の増加を抑えることができる。
2−2 音の方向
実施例では、他の参加人の音声が聞こえてくる方向、すなわち参加人端末20に対応する方向として、その参加人端末20により指定された映像の範囲が示す方向が用いられた。例えば、参加人Bが南西方向の映像を見ている場合、参加人Aの参加人端末20−1のスピーカは参加人Bの音声を南西から聞こえる音として放音したが、これに限らない。
例えば他の参加人が1人なら予め定められた1つの方向(例えば真上)から音が聞こえ、他の参加人が複数ならその人数に応じて予め定められた複数の方向(例えば音の方向が聞き分けやすいようにそれぞれ等間隔で離れた方向が定められる)から音が聞こえるように放音されてもよい。その場合でも、参加人は音声が聞こえる方向を向けばその音声を出した他の参加人が見ている映像と同じ映像を見ることができる。
2−3 切替指示
実施例では、切替指示のために、他の参加人に対応する方向を音が聞こえてくる方向で表したが、それを画像で表してもよい。その場合、コンテンツ生成部304が、切替先の参加人端末20に対応する方向を示す画像(方向指示画像)を含む映像を示すコンテンツを生成する。
図10は本変形例で出力される映像の一例を表す。図10では、参加人Bに対応する方向指示画像E1及び参加人Cに対応する方向指示画像E2を含む、参加人Aの参加人端末20に出力された映像D1が表されている。この例では、映像D1の縦方向の中央から上側は参加人Aから見て前方、下側は参加人Aから見て後方を表し、映像D1の横方向の中央から右側は参加人Aから見て右側、左側は参加人Aから見て左側を表す。
図10の例では、前方が北向きであるものとする。方向指示画像E1は、縦方向の中央で右向きの矢印を表しているので、参加人Aから見て右側を参加人Bが向いている(つまり東を向いている)ことを表している。また、方向指示画像E2は、縦方向の下側で左向きの矢印を表しているので、参加人Aから見て左側後方を参加人Cが向いている(つまり南西を向いている)ことを表している。
コンテンツデータ送信部305は、図10に表すように切替先の参加人端末20に対応する方向を示す方向指示画像を含む映像を示すコンテンツデータを切替元の参加人端末20に送信する。この場合のコンテンツデータ送信部305は本発明の「第2送信部」の一例である。本変形例では、この方向指示画像が示す方向を利用して、切替指示受付部306が切替指示を受け付ける。
切替指示受付部306は、送信されてきた端末向き情報が、送信元の参加人端末20の向きを方向指示画像が示す方向(他の参加人端末20に対応する方向)に変更することを示す場合に、送信元の参加人端末20に表示されている映像を、その方向に対応する参加人端末20が指定する範囲で切り出される映像に切り替える切替指示として受け付ける。
図10の例であれば、切替指示受付部306は、参加人Aの参加人端末20−1から端末向きを東向きに変更する端末向き情報が送信されてきた場合、参加人端末20−1に表示されている映像を、その方向に対応する参加人Bの参加人端末20−2が指定する範囲で切り出される映像に切り替える切替指示として受け付ける。切替指示受付部306は、端末向きを南西向きに変更する端末向き情報が送信されてきた場合は、参加人Cの参加人端末20−3が指定する範囲で切り出される映像に切り替える切替指示として受け付ける。
本変形例では、コンテンツ配信部307は、コンテンツデータ送信部305により切替元の参加人端末20に送信された方向指示画像が示す方向にその切替元の参加人端末20の向きを変更する指示が行われた場合に、切替先の参加人端末20に対応付けて行われる映像の範囲の指定により切り出される映像を切替元の参加人端末20に配信する。この場合、画像だけで参加人が向くべき方向が表されるので、例えば周りが騒がしくて音が聞こえにくい状況でも、切替指示を行うことができる。
2−4 他の参加人の絞り込み
参加人が多い場合に全ての参加人の音声が聞こえるようにすると、1つ1つの音声が聞き取りにくくなる。また、図10の例のように方向指示画像を表示する場合でも、方向指示画像の数が増えると肝心の旅行先の映像が見えにくくなる。そこで、コンテンツに音声又は方向指示画像が含まれる他の参加人を絞り込んでもよい。
図11は本変形例の仮想旅行システム1bが実現する機能構成を表す。仮想旅行システム1bは、参加人端末20bと、配信サーバ装置30bとを備える。参加人端末20bは、図5に表す各部に加えて端末情報送信部205を備え、配信サーバ装置30bは、図5に表す各部に加えて端末情報取得部309を備える。端末情報送信部205は、自端末も関する情報(端末情報)を生成して配信サーバ装置30bに送信する。
参加人端末20bのセンサ装置27は、GPS(Global Positioning System)等の測位センサを備える。端末情報送信部205は、例えば、測位センサが測定する自端末の位置を示す位置情報を端末情報として生成して配信サーバ装置30bに送信する。配信サーバ装置30bの端末情報取得部309は、送信されてきた端末情報、すなわち参加人端末20bの位置を示す位置情報を取得する。この場合の端末情報取得部309は本発明の「位置取得部」の一例である。
端末情報取得部309は、取得した端末情報をコンテンツ生成部304及び切替指示受付部306に供給する。コンテンツ生成部304は、参加人端末20bに配信するコンテンツとして、その参加人端末20bとの距離が所定範囲内の位置を示す位置情報が端末情報として取得された参加人端末20bで録音された音声を含むコンテンツを生成する。
例えば所定範囲が50m以内であり、参加人A、Bは同じ部屋で仮想旅行サービスに参加し、参加人Cはそこから50m以上離れた別の場所で仮想旅行サービスに参加しているものとする。その場合、参加人A、Bの参加人端末20bから取得される位置情報が示す位置の距離は所定範囲内になり、参加人A、Cの参加人端末20bから取得される位置情報が示す位置の距離は所定範囲外になる。
この場合、コンテンツ生成部304は、参加人Aの参加人端末20bに配信するコンテンツとして、参加人Bの参加人端末20bで録音された音声を含み、参加人Cの参加人端末20bで録音された音声を含まないコンテンツを生成する。これにより、参加人Aは、自分の近くにいる参加人(この例では参加人B)の音声だけを聞くことができる。
上記のとおり音声が聞こえる参加人が絞り込まれるので、切替指示受付部306も、その絞り込まれた参加人の音声が聞こえてくる方向に参加人端末20bの向きを変更することを示す端末向き情報が送信されてきた場合に、切替指示を受け付ける。以上のとおり、コンテンツ配信部307は、切替元の参加人端末20bとの距離が所定範囲内の位置を示す位置情報が取得された参加人端末20bを切替先の参加人端末20bとしてコンテンツの配信を行う(切替先の参加人端末20bに配信するコンテンツを切替元の参加人端末20bにも配信する)。
本変形では、上記のとおり、参加人に配信するコンテンツを、その参加人からの距離が所定範囲内にいる他の参加人に配信されるコンテンツだけに切り替えるので、その範囲にいる参加人とだけ体験を共有することができる。また、全ての他の参加人の音声が聞こえる場合に比べて、1人1人の音声が聞き取りやすいようにすることができる。また、全ての他の参加人の方向指示画像が表示される場合に比べて、映像が見やすいようにすることができる。
なお、参加人の絞り込み方法は他にもある。例えば、仮想旅行サービスは誰でも参加することができるので、異なる言語を話す参加人がいる場合がある。その場合に、同じ言語を話す参加人に絞り込みが行われてもよい。その場合、参加人端末20bの端末情報送信部205は、自端末で設定されている言語(例えばメニュー画面で表示される言語)を示す言語情報を端末情報として生成して配信サーバ装置30bに送信する。
配信サーバ装置30bの端末情報取得部309は、送信されてきた端末情報、すなわち参加人端末20bで用いられる言語を示す言語情報を取得する。この場合の端末情報取得部309は本発明の「言語取得部」の一例である。コンテンツ生成部304は、参加人端末20bに配信するコンテンツとして、その参加人端末20bと同じ言語を示す言語情報が端末情報として取得された参加人端末20bで録音された音声を含むコンテンツを生成する。
これにより、参加人は、自分と同じ言語(厳密には自分の参加人端末20bに設定している言語)を話す参加人(厳密には参加人端末20bに設定している言語が自分と同じ参加人)の音声だけを聞くことができる。切替指示受付部306は、こうして言語で絞り込まれた参加人の音声が聞こえてくる方向に参加人端末20bの向きを変更することを示す端末向き情報が送信されてきた場合に、切替指示を受け付ける。
以上のとおり、コンテンツ配信部307は、切替元の参加人端末20bと同じ言語を示す言語情報が取得された参加人端末20bを切替先の参加人端末20bとしてコンテンツの配信を行う。これにより、参加人に配信するコンテンツを、その参加人と同じ言語を用いる他の参加人に配信されるコンテンツにだけ切り替えることができる。また、絞り込みを行うことで、位置情報を用いた場合と同様に、1人1人の音声が聞き取りやすいようにすることができるし、映像が見やすいようにすることができる。
なお、言語情報の取得方法は上記のものに限らない。例えば、端末情報取得部309は、参加人又は仮想旅行サービスの提供者が予め登録した言語情報を端末情報として取得してもよい。また、端末情報取得部309は、参加人端末20bに割り当てられたIPアドレスを示す端末情報を取得してもよい。IPアドレスからは参加人端末20bの所在地域が特定できるので、端末情報取得部309は、特定された所在地域における標準言語を示す言語情報としてIPアドレスを取得する。
参加人の絞り込み方法は他にもある。例えば、仮想旅行サービスは世界中のどこからでも参加することができるので、異なる標準時間帯(タイムゾーン)の地域で生活する参加人がいる場合がある。例えば或る参加人は昼だが他の参加人は夜という場合もある。例えば仮想旅行サービスが長時間に渡り提供され、途中参加及び途中離脱が可能な場合、参加人同士の標準時間帯のずれが大きいほど、参加する時間帯も異なるものになりやすい。そこで、標準時間帯が近い参加人に絞り込みが行われてもよい。
その場合、参加人端末20bの端末情報送信部205は、自端末で設定されている標準時間帯を示す時間帯情報を端末情報として生成して配信サーバ装置30bに送信する。配信サーバ装置30bの端末情報取得部309は、送信されてきた端末情報、すなわち参加人端末20bの位置で用いられる標準時間帯を示す時間帯情報を取得する。この場合の端末情報取得部309は本発明の「時間帯取得部」の一例である。
なお、時間帯情報は、設定された標準時間帯を示す情報に限らず、自端末の位置を示す情報(位置が分かれば標準時間帯も分かるから)であってもよい。コンテンツ生成部304は、参加人端末20bに配信するコンテンツとして、その参加人端末20bと比較して、それぞれ取得された時間帯情報が示す標準時間帯の時間差が閾値未満となる参加人端末20bで録音された音声を含むコンテンツを生成する。
例えば参加人Aの参加人端末20bに配信するコンテンツの場合、参加人Aの参加人端末20b及び参加人Bの参加人端末20bについてそれぞれ取得された時間帯情報が示す標準時間帯の時間差が閾値未満となっていれば、コンテンツ生成部304は、参加人Bの参加人端末20bで録音された音声を含むコンテンツを生成する。
これにより、参加人は、自分と同じ標準時間帯の地域にいる参加人の音声だけを聞くことができる。切替指示受付部306は、こうして所在する地域の標準時間帯によって絞り込まれた参加人の音声が聞こえてくる方向に参加人端末20bの向きを変更することを示す端末向き情報が送信されてきた場合に、切替指示を受け付ける。
以上のとおり、コンテンツ配信部307は、切替元の参加人端末20bと比較して、それぞれ取得された時間帯情報が示す標準時間帯の時間差が閾値未満となる参加人端末20bを切替先の参加人端末20bとしてコンテンツの配信を行う。これにより、参加人に配信するコンテンツを、その参加人と近い標準時間帯の地域にいる他の参加人に配信されるコンテンツにだけ切り替えることができる。また、絞り込みを行うことで、位置情報を用いた場合と同様に、1人1人の音声が聞き取りやすいようにすることができるし、映像が見やすいようにすることができる。
2−5 グループでの参加
仮想旅行サービスにグループで参加可能としてもよい。その場合、例えば、グループに属するいずれかのユーザが代表者となり、参加申し込みを行う際に、行程を共にする家族や友人等のグループに属する他の参加者の情報を登録する。コンテンツ配信部307は、登録されたグループを識別するグループIDを発行する。
なお、既存サービスで用いられている識別情報があれば、それがグループIDとして用いられてもよい。本変形例では、図11に表す機能構成が実現されるものとする。配信サーバ装置30bは、例えば参加召集及び旅行開始等の通知をする際に、グループIDを参加人端末20bに通知する。参加人端末20bの端末情報送信部205は、通知されたグループIDを端末情報として配信サーバ装置30bに送信する。
配信サーバ装置30bのコンテンツ生成部304は、参加人端末20bに配信するコンテンツとして、同じグループIDが端末情報として取得された参加人端末20bで録音された音声を含むコンテンツを生成する。これにより、参加人は、同じグループに属する他の参加人の音声だけを聞くことができ、それらの参加人とだけ体験を共有することができる。
2−6 複数の代理人端末
旅行先の映像を撮影する代理人端末が複数あってもよい。
図12は本変形例の仮想旅行システム1cの全体構成を表す。仮想旅行システム1は、図1に表す代理人端末10に代えて、代理人端末10c−1、10c−2、10c−3、・・・(以下それぞれを区別しない場合は「代理人端末10c」という)を備えている。代理人端末10cは、いずれも、図1に表す代理人端末10と同じハードウェア構成及び機能構成を有する。
図13は本変形例の代理人端末10cが実現する機能構成を表す。代理人端末10cは、図5に表す各部に加えて、端末位置測定部105を備える。端末位置測定部105は、GPS等の技術を用いて自端末の位置を測定する。端末位置測定部105は、端末位置の測定を繰り返し行い、並行して、測定した位置を示す位置情報を撮影データ送信部104に繰り返し供給する。
撮影データ送信部104は、供給された位置情報を示すデータを撮影データとして配信サーバ装置30に送信する。配信サーバ装置30の元データ取得部301は、代理人端末10cから送信されてきた撮影データを元データとして取得することで、その撮影データが示す代理人端末10cの位置を示す位置情報を取得する。
各参加人端末20では、例えば配信させるコンテンツに含まれる映像を撮影する代理人端末10cを選択する操作が行われる。この操作は、入力装置25を用いて行われてもよいし、端末向き情報によって表される所定のジェスチャによって行われてもよい。参加人端末20の指定範囲決定部203は、決定した指定範囲に加えて選択された代理人端末10cの端末IDを示す範囲情報を配信サーバ装置30に送信する。
指定範囲取得部303は、送信されてきた範囲情報を受け取ることで、その範囲情報が示す端末IDにより識別される代理人端末10cの映像において指定された映像の範囲、すなわち指定範囲を取得する。映像切出部302は、取得された範囲情報が示す映像の範囲、すなわち参加人が選択した代理人端末10cの映像における指定範囲の切り出しを行う。コンテンツ生成部304は、こうして切り出された映像、すなわち参加人が選択した代理人端末10cが撮影した映像から切り出された映像を示すコンテンツデータを生成する。
コンテンツデータ送信部305は、生成されたコンテンツデータを参加人端末20に送信する。以上のとおり、本変形例では、コンテンツ配信部307が、参加人によって選択された代理人端末10cが撮影した映像から切り出された映像を含むコンテンツをその参加人の参加人端末20に配信する。また、参加人は、コンテンツの出力中に、自分が見たい映像を撮影する代理人(代理人端末10c)を変更してもよい。この代理人の変更を端末向き情報が表す所定のジェスチャにより行う例を説明する。
図14は代理人同士の位置関係の一例を表す。図14の例では、参加人Aが代理人αの代理人端末10cにより撮影される映像を視聴しており、代理人αの位置から北北西を仮想視線方向B3とする範囲を指定している。このとき、代理人αから見て仮想視線方向B3を正面とした場合の右前方を領域G1、左前方を領域G2、左後方を領域G3、右後方を領域G4とすると、代理人βは領域G2に位置し、代理人γは領域G4に位置している。
コンテンツ生成部304は、複数の代理人端末10cからそれぞれ取得された元データ(撮影データ)が示す各代理人端末10cの位置と、ユーザ端末20cから取得された範囲情報が示す仮想視線方向の方位(この例では仮想視線方向B3)とに基づいてこれらの位置関係を判断する。図14に表す位置関係の場合、コンテンツ生成部304は、例えば図15に表す映像を示すコンテンツを生成する。
図15は生成された映像の一例を表す。図15の例では、参加人Aが視線を上空に移した場合に表示される映像D2が表されている。映像D2は、代理人αが撮影して参加人Aが視聴している映像である。映像D2においては、上半分且つ右半分の映像領域H1が図14に表す領域G1に、上半分且つ左半分の映像領域H2が領域G2に、下半分且つ左半分の映像領域H3が領域G3に、下半分且つ右半分の映像領域H4が領域G4に対応付けられている。
コンテンツ生成部304は、図14に表す位置関係から、領域G2に位置する代理人βが撮影した映像への切り替えを表す切替画像F1を映像領域H2に重畳させ、領域G4に位置する代理人γが撮影した映像への切り替えを表す切替画像F2を映像領域H4に重畳させた映像D2を示すコンテンツを生成する。切替画像F1、F2は、それぞれ代理人β、γが位置する方向(左向き、右向き)を向いた矢印の形をしており、各代理人が左右どちらの方向にいるのかを表している。
コンテンツ生成部304は、図15に表すような切替画像を含むコンテンツを生成した場合に、その切替画像が示す代理人端末10cの端末IDと、その切替画像が示す矢印の方向とを切替指示受付部306に供給する。そのコンテンツが配信された参加人端末20から端末向きを切替画像が示す矢印の方向に変更する端末向き情報が配信サーバ装置30に送信されてきたとする。
その場合、切替指示受付部306は、その参加人端末20に表示されている映像を、その切替画像が示す代理人の代理人端末10cが撮影した映像から切り出される映像に切り替える切替指示として受け付ける。図15の例であれば、切替指示受付部306は、端末向きを左側(又は右側)に変更する端末向き情報が送信されてきた場合は代理人β(又は代理人γ)の代理人端末10cが撮影した映像から切り出される映像に切り替える切替指示として受け付ける。
なお、図15の例では切替画像が左右方向に向く矢印の形をしていたが、図10の例のように斜めに向く矢印の形をしていてもよい。図14の例であれば、代理人βは仮想視線方向B3を正面とすると代理人αの左斜め前方に位置するので、切替画像F1を画面の左上に向く形の矢印の形をするという具合である。これにより、他の代理人の方向をより正確に表すことができる。
切替指示受付部306は、切替指示を受け付けると、切替先の代理人端末10cの端末IDを映像切出部302に供給する。映像切出部302は、供給された端末IDの代理人端末10cの映像から指定範囲の切り出しを行う。これにより、切替先の代理人が撮影した映像を含むコンテンツが配信される。
複数の代理人が撮影する場所は、同じ観光地の中の異なる場所(例えば公園の中の入口付近、中央、出口付近など)であってもよいし、異なる観光地であってもよい。いずれの場合も、代理人が1人である場合に比べて、より広範囲の映像から参加人が見たい映像を指定することができる。なお、他の代理人が撮影した映像への切り替え方法はこれに限らない。
例えば、コンテンツ生成部304が、各代理人が撮影した映像を視聴している他の参加人の音声がその代理人のいる方向から聞こえてくるコンテンツを生成する。図14の例であれば、代理人βが撮影した映像を視聴している参加人の音声が左前方から聞こえ、代理人γが撮影した映像を視聴している参加人の音声が右後方から聞こえるコンテンツが生成される。その場合に、実施例と同様に、参加人Aの参加人端末20が音声の聞こえてくる方向に向けられることで、その方向に位置する他の代理人が撮影した映像への切り替えが行われてもよい。
2−7 他の参加人の絞り込み(その2)
前述した複数の代理人端末10cのうちのどれが撮影した映像を表示させるかによって、他の参加人の絞り込みを行ってもよい。例えば、コンテンツ配信部307は、切替元の参加人端末20が表示する映像と同じ撮影元の代理人端末10cが撮影した映像を表示している参加人端末20を切替先の参加人端末20としてコンテンツの配信を行う。
この場合、指定範囲取得部303は、共通の端末IDを示す範囲情報を送信してきた参加人端末20を示す端末IDをコンテンツ生成部304及び切替指示受付部306に供給する。コンテンツ生成部304は、参加人端末20に配信するコンテンツとして、その参加人端末20が表示する映像と同じ撮影元の代理人端末10cが撮影した映像を表示している参加人端末20で録音された音声を含むコンテンツを生成する。
これにより、参加人は、自分と同じ代理人の撮影した映像を見ている参加人の音声だけを聞くことができる。こうして音声が聞こえる参加人が絞り込まれるので、切替指示受付部306も、その絞り込まれた参加人の音声が聞こえてくる方向に参加人端末20の向きを変更することを示す端末向き情報が送信されてきた場合に、切替指示を受け付ける。
本変形例によれば、参加人に配信するコンテンツを、その参加人と同じ代理人の撮影した映像を見ている他の参加人に配信されるコンテンツにだけ切り替えることができる。なお、絞り込んだ参加人が見ている映像を撮影する対象を同じ代理人に限らず、近くにいる代理人まで広げてもよい。本変形例では、図13に表す代理人端末10cの実現する機能が用いられる。本変形例において元データ取得部301が取得する位置情報は、取得された元データが示す映像の撮影位置を示す情報である。
この位置情報は本発明の「撮影位置情報」の一例であり、この位置情報を取得する元データ取得部301は本発明の「撮影位置取得部」の一例である。コンテンツ生成部304は、参加人端末20に配信するコンテンツとして、その参加人端末20が表示する映像の撮影元の代理人端末10cとの距離が所定範囲内の位置を示す位置情報が取得された代理人端末10c(撮影元の代理人端末10cを含む)が撮影した映像を表示している参加人端末20で録音された音声を含むコンテンツを生成する。
例えば代理人αが撮影した映像を参加人Aが見ており、代理人βが撮影した映像を参加人Bが見ており、代理人γが撮影した映像を参加人Cが見ている。また、代理人α、βは同じ広場内(互いの距離が所定範囲内)で撮影を行っており、代理人γは別の町(代理人αとの距離が所定範囲外)で撮影を行っているものとする。
その場合、コンテンツ生成部304は、参加人Aの参加人端末20に配信するコンテンツとして、代理人βの代理人端末10cが撮影した映像を表示している参加人Bの参加人端末20で録音された音声を含むが参加人Cの参加人端末20で録音された音声は含まないコンテンツを生成する。これにより、参加人Aは、自分が見ている映像を撮影した代理人との距離が所定範囲内の代理人が撮影した映像を見ている参加人Bの音声だけを聞くことができる。
上記コンテンツデータが送信されることで、コンテンツ配信部307は、切替元の参加人端末20が表示する映像の撮影元の代理人端末10cとの距離が所定範囲内の位置を示す位置情報が取得された代理人端末10cがある場合に、その代理人端末10cが撮影した映像を表示している参加人端末20を切替先の参加人端末20としてコンテンツの配信を行う。これにより、参加人に配信するコンテンツを、その参加人が見ている映像を撮影した代理人との距離が所定範囲内の代理人(本人を含む)が撮影した映像を見ている参加人に配信されるコンテンツにだけ切り替えることができる。
2−8 静止画像の撮影
参加人端末20に表示される映像は動画像であるが、気に入った映像を写真のように撮影して静止画像として保存できるようにしてもよい。
図16は本変形例の参加人端末20dが実現する機能構成を表す。参加人端末20dは、図5に表す各部に加えて、撮影操作受付部206と、静止画像保存部207とを備える。
撮影操作受付部206は、参加者による撮影操作を受け付ける。撮影操作とは、表示中の映像を写真のように撮影する操作である。撮影操作は、入力装置25を用いて行われてもよいし、端末向き情報によって表される所定のジェスチャによって行われてもよい。撮影操作受付部206は、撮影操作を受け付けると、その旨を静止画像保存部207に通知する。
静止画像保存部207は、撮影操作が受け付けられた旨が通知されると、コンテンツ出力部204が出力しているコンテンツの映像をキャプチャして静止画像として保存する。このようにして、参加人は、自分が気に入った旅行先の風景を撮影し、写真のように保存して楽しむことができる。
2−9 参加人端末
実施例ではヘッドマウントディスプレイが参加人端末として用いられたが、これに限らない。例えばスマートフォン、タブレット端末又はパソコン等が参加人端末として用いられてもよい。要するに、配信されるコンテンツを出力可能な(少なくとも映像を表示可能な)装置であれば、どのような装置が参加人端末として用いられてもよい。
2−10 各部を実現する装置
図5等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えば参加人端末20が備える指定範囲決定部203を配信サーバ装置30が実現してもよい。また、切替指示受付部306は切替指示と戻し指示の両方を受け付けていたが、これらを別々の機能が受け付けるようにしてもよい。また、配信サーバ装置30が備える各機能を2以上の装置がそれぞれ分担して実現してもよい。要するに、仮想旅行システム全体としてこれらの機能が実現されていれば、仮想旅行システムが何台の装置を備えていてもよい。
2−11 システム
上記の各例では、仮想旅行サービスを提供するためのシステム(仮想旅行システム)について説明したが、本発明は、他のシステムにも適用可能である。例えば、演奏、スポーツの試合、美術館等の観覧を仮想的に行うためのシステムに適用してもよい。また、ロボット又はドローンが撮影した映像を含むコンテンツを配信するシステムに適用してもよい。要するに、360度映像のような1つの大きな映像又は複数の映像から複数のユーザが各々の指定した範囲の映像を視聴するものであれば、本発明をどのようなシステムに適用してもよい。
2−12 発明のカテゴリ
本発明は、代理人端末、参加人端末及び配信サーバ装置等の各情報処理装置の他、それらの装置を備える仮想旅行システム等の情報処理システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
2−13 処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
2−14 入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
2−15 ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
2−16 情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
2−17 システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
2−18 「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
2−19 「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
2−20 態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1…仮想旅行システム、10…代理人端末、20…参加人端末、30…配信サーバ装置、101…映像撮影部、102…周辺音録音部、103…カメラ向き測定部、104…撮影データ送信部、105…端末位置測定部、201…音声録音部、202…端末向き測定部、203…指定範囲決定部、204…コンテンツ出力部、205…端末情報送信部、206…撮影操作受付部、207…静止画像保存部、301…元データ取得部、302…映像切出部、303…指定範囲取得部、304…コンテンツ生成部、305…コンテンツデータ送信部、306…切替指示受付部、307…コンテンツ配信部、308…コンテンツ蓄積部、309…端末情報取得部。

Claims (10)

  1. 撮影された映像を取得する映像取得部と、
    第1表示装置に対応付けて行われる映像の範囲の指定を受け取ると、取得された前記映像から当該範囲の映像を切り出して当該第1表示装置に配信する配信部と
    第2表示装置に対応する方向を示すデータを前記第1表示装置に送信する送信部とを備え、
    前記第1表示装置は、前記データが示す前記方向をユーザが認識可能な方法で出力する出力部を有し、
    前記配信部は、前記第1表示装置の向きが前記方向に変更されると、前記第2表示装置に対応付けて行われる指定により切り出される映像を当該第1表示装置に配信する
    報処理装置。
  2. 取得された前記映像を蓄積する蓄積部を備え、
    前記配信部は、蓄積された前記映像から前記第2表示装置に対応付けて行われた前記指定により過去に切り出された前記映像を前記第1表示装置に配信する
    請求項1に記載の情報処理装置。
  3. 前記第2表示装置に到達する音を取得する音取得部を備え、
    前記送信部は、前記第2表示装置に対応する前記方向と取得された前記音とを示すデータを前記第1表示装置に送信し、
    前記第1表示装置は、前記送信部が送信するデータが示す音を当該データが示す方向から聞こえる音として出力するスピーカを備え、
    前記配信部は、前記第1表示装置に送信された前記データが示す方向に当該第1表示装置の向きを変更する指示が行われた場合に、前記第2表示装置に対応付けて行われる前記指定により切り出される映像を当該第1表示装置に配信する
    請求項1又は2に記載の情報処理装置。
  4. 前記送信部は、前記第2表示装置に対応する方向を示す方向指示画像を前記第1表示装置に送信し、
    前記配信部は、送信された前記方向指示画像が示す方向に前記第1表示装置の向きを変更する指示が行われた場合に、前記第2表示装置に対応付けて行われる前記指定により切り出される映像を当該第1表示装置に配信する
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 少なくとも1の表示装置の位置を示す位置情報を取得する位置取得部を備え、
    前記配信部は、前記少なくとも1の表示装置のうち前記第1表示装置との距離が所定範囲内の位置を示す前記位置情報が取得された他の表示装置を前記第2表示装置として前記配信を行う
    請求項1から4のいずれか1項に記載の情報処理装置。
  6. 少なくとも1の表示装置で用いられる言語を示す言語情報を取得する言語取得部を備え、
    前記配信部は、前記少なくとも1の表示装置のうち前記第1表示装置と同じ言語を示す前記言語情報が取得された他の表示装置を前記第2表示装置として前記配信を行う
    請求項1から5のいずれか1項に記載の情報処理装置。
  7. 少なくとも1の表示装置の位置で用いられる標準時間帯を示す時間帯情報を取得する時間帯取得部を備え、
    前記配信部は、前記少なくとも1の表示装置のうち前記第1表示装置と比較して、それぞれ取得された前記時間帯情報が示す標準時間帯の時間差が閾値未満となる他の表示装置を前記第2表示装置として前記配信を行う
    請求項1から6のいずれか1項に記載の情報処理装置。
  8. 前記映像を撮影する撮影装置が複数あり、
    前記配信部は、前記第1表示装置が表示する映像と同じ撮影元の撮影装置が撮影した映像を表示している他の表示装置を前記第2表示装置として前記配信を行う
    請求項1から7のいずれか1項に記載の情報処理装置。
  9. 前記映像を撮影する撮影装置が複数あり、
    前記複数の撮影装置の位置を示す撮影位置情報を取得する撮影位置取得部を備え、
    前記配信部は、前記複数の撮影装置において前記第1表示装置が表示する映像の撮影元の撮影装置との距離が所定範囲内の位置を示す前記撮影位置情報が取得された他の撮影装置がある場合に、当該他の撮影装置が撮影した映像を表示している他の表示装置を前記第2表示装置として前記配信を行う
    請求項1から8のいずれか1項に記載の情報処理装置。
  10. 撮影された映像を取得する映像取得部と、
    第1表示装置に対応付けて行われる映像の範囲の指定を受け取ると、取得された前記映像から当該範囲の映像を切り出して当該第1表示装置に配信し、前記第1表示装置に対応付けられた表示の切替指示が行われると第2表示装置に対応付けて行われる指定により切り出される映像を当該第1表示装置に配信する配信部と、
    前記第2表示装置に到達する音を取得する音取得部と、
    前記第2表示装置に対応する方向と取得された前記音とを示すデータを前記第1表示装置に送信する送信部とを備え、
    前記第1表示装置は、前記送信部が送信するデータが示す音を当該データが示す方向から聞こえる音として出力するスピーカを備え、
    前記配信部は、前記第1表示装置に送信された前記データが示す方向に当該第1表示装置の向きを変更する指示が行われた場合に、前記第2表示装置に対応付けて行われる前記指定により切り出される映像を当該第1表示装置に配信する
    情報処理装置。
JP2019530115A 2018-02-02 2018-10-30 情報処理装置 Active JP6801106B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018017262 2018-02-02
JP2018017262 2018-02-02
PCT/JP2018/040375 WO2019150675A1 (ja) 2018-02-02 2018-10-30 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2019150675A1 JPWO2019150675A1 (ja) 2020-02-06
JP6801106B2 true JP6801106B2 (ja) 2020-12-16

Family

ID=67437304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530115A Active JP6801106B2 (ja) 2018-02-02 2018-10-30 情報処理装置

Country Status (4)

Country Link
US (1) US10949159B2 (ja)
EP (1) EP3547691A4 (ja)
JP (1) JP6801106B2 (ja)
WO (1) WO2019150675A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168461A (ja) * 2020-04-13 2021-10-21 ミナミホールディングス株式会社 撮影者端末、情報処理装置、情報処理方法、及びコンピュータプログラム
WO2022220307A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 映像表示システム、観測装置、情報処理方法、及び、プログラム
WO2024069779A1 (ja) * 2022-09-28 2024-04-04 日本電気株式会社 制御システム、制御方法、および記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
JP5745497B2 (ja) * 2012-12-04 2015-07-08 任天堂株式会社 表示システム、表示制御装置、情報処理プログラム及び表示方法
WO2016002445A1 (ja) 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6263098B2 (ja) * 2014-07-15 2018-01-17 Kddi株式会社 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
CN109002052A (zh) 2014-07-31 2018-12-14 深圳市大疆创新科技有限公司 使用无人飞行器实现的虚拟观光系统及方法
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
KR102328823B1 (ko) * 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
US9787846B2 (en) * 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
EP3190503B1 (en) * 2016-01-08 2019-07-24 Nokia Technologies Oy An apparatus and associated methods
EP3432590A4 (en) * 2016-03-14 2019-02-27 Sony Corporation DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE
EP3264222B1 (en) * 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
US10938725B2 (en) * 2018-09-27 2021-03-02 Farm & Home Cooperative Load balancing multimedia conferencing system, device, and methods

Also Published As

Publication number Publication date
EP3547691A1 (en) 2019-10-02
WO2019150675A1 (ja) 2019-08-08
US10949159B2 (en) 2021-03-16
US20200341714A1 (en) 2020-10-29
EP3547691A4 (en) 2019-11-13
JPWO2019150675A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
JP6992845B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
EP3954111A1 (en) Multiuser asymmetric immersive teleconferencing
JP6801106B2 (ja) 情報処理装置
CN105450736B (zh) 与虚拟现实连接的方法和装置
JP2024050721A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR20150099402A (ko) 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신
US11184362B1 (en) Securing private audio in a virtual conference, and applications thereof
JP6615732B2 (ja) 情報処理装置および画像生成方法
US11743430B2 (en) Providing awareness of who can hear audio in a virtual conference, and applications thereof
US20180278995A1 (en) Information processing apparatus, information processing method, and program
JP7009302B2 (ja) 情報処理装置及び情報処理システム
CN109788364B (zh) 视频通话互动方法、装置及电子设备
CN114268823A (zh) 一种视频播放方法、装置、电子设备及存储介质
JP6805341B2 (ja) 情報処理装置及び情報処理方法
KR101856974B1 (ko) 야외에서 개인방송시 시청자와 크리에이터 간의 소통이 원활하게 이루어지도록 하는 개인방송 어플리케이션이 설치된 스마트단말
JP2023140922A (ja) 表示端末、情報処理システム、通信システム、表示方法、情報処理方法、通信方法、及びプログラム
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
JPWO2019038885A1 (ja) 情報処理装置および画像出力方法
CN116614543A (zh) 虚拟互动方法、装置、设备和介质
JP2019165369A (ja) 情報処理装置
EP4309361A1 (en) Securing private audio in a virtual conference, and applications thereof
JP2023121637A (ja) 情報処理システム、通信システム、画像送信方法、プログラム
JP2024033276A (ja) 通信システム、情報処理システム、動画作成方法、プログラム
CN115098099A (zh) 媒体内容的生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201125

R150 Certificate of patent or registration of utility model

Ref document number: 6801106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250