JP6670838B2 - バーチャルリアリティコンテンツの制御 - Google Patents

バーチャルリアリティコンテンツの制御 Download PDF

Info

Publication number
JP6670838B2
JP6670838B2 JP2017533385A JP2017533385A JP6670838B2 JP 6670838 B2 JP6670838 B2 JP 6670838B2 JP 2017533385 A JP2017533385 A JP 2017533385A JP 2017533385 A JP2017533385 A JP 2017533385A JP 6670838 B2 JP6670838 B2 JP 6670838B2
Authority
JP
Japan
Prior art keywords
virtual reality
reality content
visual virtual
viewer
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017533385A
Other languages
English (en)
Other versions
JP2018506205A (ja
Inventor
ユッシ レッパネン
ユッシ レッパネン
アンッティ エロネン
アンッティ エロネン
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2018506205A publication Critical patent/JP2018506205A/ja
Application granted granted Critical
Publication of JP6670838B2 publication Critical patent/JP6670838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明の諸実施形態は、バーチャルリアリティコンテンツの進行を制御することに関する。かかるバーチャルリアリティコンテンツは、例えば、頭部装着型視聴デバイスを使って視聴することが可能である。
背景
バーチャルリアリティは、視聴者が当該環境に存在するようにシミュレートするコンピュータシミュレーション環境を提供する。視聴者は、例えば、立体ディスプレイを備えた頭部装着型視聴デバイスを使ってバーチャルリアリティ環境を体験することができる。
摘要
本発明の、必ずしも全てではないが様々な実施形態によれば、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を判断することと;視聴者の視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかをモニタリングすることと;視聴者の視野の少なくとも所定の割合が視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御することと;を含む方法が提供される。
本発明の、必ずしも全てではないが様々な実施形態によれば、少なくとも1つのプロセッサによって実行されると、少なくとも以下を実行させるコンピュータプログラムコードが提供される:視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を判断すること;視聴者の視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかをモニタリングすること;および視聴者の視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかに基づいて視覚的バーチャルリアリティコンテンツの進行を制御すること。
このコンピュータプログラムコードは、コンピュータプログラムによって供給されてもよい。そのコンピュータプログラムは、非一時的コンピュータ可読媒体に格納されてもよい。
本発明の、必ずしも全てではないが様々な実施形態によれば、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を判断する手段と;視聴者の視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかをモニタリングする手段と;視聴者の視野の少なくとも所定の割合が視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御する手段と;を備える装置が提供される。
本発明の、必ずしも全てではないが様々な実施形態によれば、少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと協働して、装置に、少なくとも、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を判断することと;視聴者の視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかをモニタリングすることと;視聴者の視野の少なくとも所定の割合が視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御することと;を実行させるよう構成されたコンピュータプログラムコードを格納する少なくとも1つのメモリと、を備える装置が提供される。
本発明の、必ずしも全てではないが様々な実施形態によれば、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を識別する少なくとも1つの識別子を格納することを含む方法が提供され、該少なくとも1つの識別子は、視聴者の視野の所定の割合が該少なくとも1つの識別子によって識別される少なくとも1つの対象領域に一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御するためのものである。
本発明の、必ずしも全てではないが様々な実施形態によれば、少なくとも1つのプロセッサによって実行されると、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を識別する少なくとも1つの識別子を格納すること、を少なくとも実行させるコンピュータプログラムコードが提供され、該少なくとも1つの識別子は、視聴者の視野の所定の割合が該少なくとも1つの識別子によって識別される少なくとも1つの対象領域に一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御するためのものである。
本発明の、必ずしも全てではないが様々な実施形態によれば、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を識別する少なくとも1つの識別子を格納する手段を備える装置が提供され、該少なくとも1つの識別子は、視聴者の視野の所定の割合が該少なくとも1つの識別子によって識別される少なくとも1つの対象領域に一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御するためのものである。
本発明の、必ずしも全てではないが様々な実施形態によれば、少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと協働して、装置に、少なくとも、視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域を識別する少なくとも1つの識別子を格納することを実行させるよう構成されたコンピュータプログラムコードを格納する少なくとも1つのメモリと、を備える装置が提供され、該少なくとも1つの識別子は、視聴者の視野の所定の割合が該少なくとも1つの識別子によって識別される少なくとも1つの対象領域に一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御するためのものである。
本発明の、必ずしも全てではないが様々な実施形態によれば、添付の特許請求の範囲の中で請求されている諸例が提供される。
詳細な説明中で説明される様々な例のよりよい理解のために、以降で、単なる例として添付の図面を参照することとする。
チップまたはチップセットの形での第一装置を示す。 図1に示された第一装置を備える電子デバイスの形での第二装置を示す。 チップ/チップセットの形での第三装置を示す。 図3に示された装置を備える電子デバイスの形での第四装置を示す。 第一および/または第二装置によって実行される第一方法のフローチャートを示す。 第三および/または第四装置によって実行される第二方法のフローチャートを示す。 バーチャルリアリティコンテンツの生成中の概略図を示す。 バーチャルリアリティコンテンツの生成中の概略図を示す。 バーチャルリアリティコンテンツにおける第一時間での対象領域を示す。 バーチャルリアリティコンテンツにおける第二時間での複数の対象領域を示す。 バーチャルリアリティコンテンツにおける第三時間での対象領域を示す。 図12Aと12Bとは、視聴者の視野の所定の割合の2つの異なる例を示す。 図9に概略的に示されたような視覚的バーチャルリアリティコンテンツにおける第一時間に、該視覚的バーチャルリアリティコンテンツを見ている視聴者の概略図を示す。 図11に概略的に示されたような視覚的バーチャルリアリティコンテンツにおける第三時間に、視覚的バーチャルリアリティコンテンツを見ている視聴者を示す。 図11に概略的に示されたような視覚的バーチャルリアリティコンテンツにおける第三時間に、視覚的バーチャルリアリティコンテンツを見ている視聴者を概略的に示し、本図では、ユーザは、図14に対しその視野を移動させている。
詳細説明
本発明の諸実施形態は、ユーザの視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツの中の少なくとも1つの既定義の対象領域と一致するかどうかに基づいて視覚的バーチャルリアリティコンテンツの進行を制御することに関する。
図1は、チップまたはチップセットとすることが可能な装置10を示す。装置10は、図2に示されるもののようなコンピューティングデバイスの一部を形成することができる。
装置10は、少なくとも1つのプロセッサ12および少なくとも1つのメモリ14を備える。図1には、単に例示目的のために、単一のプロセッサ12および単一のメモリ14が示されており、以下に説明する。
プロセッサ12は、メモリ14から読み取り該メモリに書き込むように構成される。プロセッサ12は、プロセッサ12によって、データおよび/またはコマンドが経由して出力される出力インターフェース、およびプロセッサ12に、データおよび/またはコマンドが経由して入力される入力インターフェースを備えることが可能である。
メモリ14は、プロセッサ12にロードされたとき装置10の動作を制御するコンピュータプログラム命令/コード18を備える、コンピュータプログラム17を格納しているものとして示されている。プロセッサ12は、メモリ14を読み取ることによって、コンピュータプログラムコード18をロードし実行することができる。コンピュータプログラムコード18は、装置10が、図5に示され、以下で説明する諸方法を実行することを可能にするロジックおよびルーティンを提供する。この点において、プロセッサ12、メモリ14、およびコンピュータプログラムコード18は、図5に示され、以下で説明する諸方法を実行する手段を提供する。
図1ではメモリ14は単一の部品として示されているが、これは、1つ以上の別々の部品として実装してもよく、その一部または全部を組み込み型および/またはリムーバブル型とすることもでき、および/または恒久的/半恒久的、ダイナミック/キャッシュストレージを提供することも可能である。
コンピュータプログラムコード18は、任意の適切な配送メカニズム30によって装置10に着信させればよい。配送メカニズム30は、例えば、光ディスクまたはメモリカードなどの非一時的コンピュータ可読ストレージ媒体とすればよい。配送メカニズム30は、コンピュータプログラムコード18を確実に搬送するよう構成された信号としてもよい。装置10は、コンピュータプログラムコード18を、コンピュータデータ信号として伝搬または送信させることができる。
図2は、第一装置10を備えるコンピューティングデバイスの形の第二装置20を示す。第二装置20は、例えばパーソナルコンピュータであってよい。
図2に示された例において、プロセッサ12およびメモリ14は、ハウジング/ボディ27中に共同配置されている。第二装置20は、例えば、ディスプレイおよび1つ以上の、(コンピュータマウスなどの)ユーザ入力デバイスをさらに備えることが可能である。
素子12と14とは動作可能に連結され、任意の数または組み合せの介在素子を、これらの間に配置することができる(介在素子なしも含む)。
図2では、メモリ14は、バーチャルリアリティコンテンツデータ21を格納しているものとして示されている。このバーチャルリアリティコンテンツデータ21は、例えば、(ムービーなどの)映像またはビデオゲームの形でオーディオビジュアルコンテンツを備えることが可能である。バーチャルリアリティコンテンツデータ21は、例えば、頭部装着型視聴デバイスを使って、視聴者によって体験することが可能なバーチャルリアリティコンテンツを提供する。バーチャルリアリティコンテンツデータ21は、視覚的バーチャルリアリティコンテンツデータ22、複数の識別子24、および複数のオーディオトラック26を備える。
視覚的バーチャルリアリティコンテンツデータ22は、視覚的バーチャルリアリティコンテンツを提供する。この視覚的バーチャルリアリティコンテンツは、視聴時に、視聴者の視野を越えて広がる立体的コンテンツおよび/またはパノラマコンテンツとすることができよう。いくつかの例では、この視覚的バーチャルリアリティコンテンツは、視聴者が、360°でコンピュータシミュレーションバーチャル環境を体験できる、360°の視覚的バーチャルリアリティコンテンツである。いくつかの他の例では、この視覚的バーチャルリアリティコンテンツは、270°または何らか他の量など、全360°より小さい視聴者周りをカバーできよう。いくつかの実装において、この視覚的バーチャルリアリティコンテンツは、頭部装着型視聴デバイスを使って視聴可能で、視聴者は、例えば、頭部装着型視聴デバイスを着用しながら自分の頭を動かすことによって、コンピュータシミュレーションバーチャル環境を体験することが可能である。他の実装において、この視覚的バーチャルリアリティコンテンツは、頭部装着型視聴デバイスを使わずに視聴可能である。
いくつかの実装において、視覚的バーチャルリアリティコンテンツデータ22は、該視覚的バーチャルリアリティコンテンツデータ22を形成する各種の部分を含むことが可能であろう。データ22の各種部分は、別個に符号化しておくことができるであろうし、これらは相異なる種類のコンテンツに関する。相異なる種類のコンテンツは、別個にレンダリングすることができよう。例えば、データ22の1つ以上の部分は、視覚的背景/光景コンテンツを提示するために符号化しておくことが可能であろうし、データ22の1つ以上の他の部分を、前景の/動くオブジェクトコンテンツを提示するため符号化しておくこともできよう。背景/光景コンテンツは、前景の/動くオブジェクトコンテンツとは別個にレンダリングすることが可能であろう。
識別子24は、視覚的バーチャルリアリティコンテンツデータ中の既定義の対象領域を識別する。識別子24は、視覚的バーチャルリアリティコンテンツの進行を制御する中で使用するためのものである。これについては、後記でさらに詳しく説明する。
複数のオーディオトラック26は、視覚的バーチャルリアリティコンテンツに付随する音声を提供する。相異なるオーディオトラックは、視覚的バーチャルリアリティコンテンツ中でシミュレートされる(360°の)環境の相異なるバーチャル領域に対する音声を提供することが可能である。さらに、一部のオーディオトラックは、例えば、背景/周辺音声を提供することができ、他のオーディオトラックは、例えば、会話を含むこともあるであろう前景の音声を提供することが可能である。
図3は、チップまたはチップセットとすることが可能な第三装置110を示す。第三装置110は、図4に示されるもののようなコンピューティングデバイスの一部を形成することができる。
装置110は、少なくとも1つのプロセッサ112および少なくとも1つのメモリ114を備える。図3には、単に例示目的のために、単一のプロセッサ112および単一のメモリ114が示されており、以下に説明する。
プロセッサ112は、メモリ114から読み取り該メモリに書き込むように構成される。プロセッサ112は、プロセッサ112によって、データおよび/またはコマンドが経由して出力される出力インターフェース、およびプロセッサ112に、データおよび/またはコマンドが経由して入力される入力インターフェースを備えることができる。
メモリ114は、プロセッサ112にロードされたとき、装置110の動作を制御するコンピュータプログラム命令/コード118を備える、コンピュータプログラム117を格納しているものとして示されている。プロセッサ112は、メモリ114を読み取ることによって、コンピュータプログラムコード118をロードし実行することができる。コンピュータプログラムコード118は、装置110が、図6に示され、以下で説明する諸方法を実行することを可能にするロジックおよびルーティンを提供する。この点において、プロセッサ112、メモリ114、およびコンピュータプログラムコード118は、図6に示され、以下で説明する諸方法を実行する手段を提供する。
図3ではメモリ114は単一の部品として示されているが、これは、1つ以上の別個の部品として実装してもよく、その一部または全部を、組み込み型/リムーバブル型とすることができ、および/または恒久的/半恒久的、ダイナミック/キャッシュストレージを提供することも可能である。
コンピュータプログラムコード118は、任意の適切な配送メカニズム130を介して装置110に着信させればよい。配送メカニズム130は、例えば、光ディスクまたはメモリカードなどの非一時的コンピュータ可読ストレージ媒体とすればよい。配送メカニズム130は、コンピュータプログラムコード118を確実に搬送するよう構成された信号としてもよい。装置110は、コンピュータデータ信号として、コンピュータプログラムコード118を伝搬または送信させることができる。
図4は、第三装置110を備えるコンピューティングデバイスの形の第四装置120を示す。いくつかの実装において、装置120は、頭部装着型視聴デバイスに接続するように構成される。これらの実装において、装置120は、例えば、ゲームコンソールまたはパーソナルコンピュータであってよい。他の実装において、装置120は、頭部装着型視聴デバイス、またはゲームコンソール/パーソナルコンピュータと頭部装着型視聴デバイスとの組み合せとすることも可能である。
図4に示された例では、メモリ114は、前述のバーチャルリアリティコンテンツデータ21を格納しているものとして示されている。プロセッサ112およびメモリ114は、ハウジング/ボディ127中に共同配置されている。
素子112と114とは動作可能に連結され、任意の数または組み合せの介在素子を、これらの間に配置することができる(介在素子なしも含む)。
頭部装着型視聴デバイスは、立体ディスプレイおよび1つ以上の動きセンサを備えることが可能である。該立体ディスプレイは、光学素子および1つ以上の表示パネルを備え、視聴者が、視覚的バーチャルリアリティコンテンツデータ22として格納された視覚的バーチャルリアリティコンテンツを見ることを可能にするように構成される。1つ以上の動きセンサは、三次元で、頭部装着型表示デバイスの方位を感知し、三次元での頭部装着型表示デバイスの動きを感知するように構成することができる。該1つ以上の動きセンサは、例えば、1つ以上の加速計、1つ以上の磁気探知器、および/または1つ以上のジャイロスコープを備えることが可能である。
また、頭部装着型視聴デバイスは、オーディオトラック26中の音声をユーザ/視聴者に伝えるためのヘッドフォンまたはイヤフォンも備えることもできる。上記に換えて、オーディオトラック26中の音声は、別個のラウドスピーカによってユーザ/視聴者に伝えることも可能である。
本発明の実施形態による第一方法の第一例を、図5に関連させて以下に説明することとする。
本第一方法の第一例において、図5中のブロック501で、バーチャルリアリティコンテンツが、バーチャルリアリティコンテンツデータ21として生成され格納される。この視覚的側面は、視覚的バーチャルリアリティコンテンツデータ22として格納され、聴覚的側面は、複数のオーディオトラック26として格納される。
図5のブロック502で、ユーザは、第二装置20で、第二装置20のメモリ14中の視覚的バーチャルリアリティコンテンツデータ22中の様々な対象領域を識別するユーザ入力を供給する。ユーザ入力は、第二装置20のプロセッサ12に、視覚的バーチャルリアリティコンテンツデータ22中のこれら対象領域を識別する識別子24を、バーチャルリアリティコンテンツデータ21の中に格納させる。
格納された識別子24は、視覚的バーチャルリアリティコンテンツにおけるいろいろな時間に、視覚的バーチャルリアリティコンテンツ中のいろいろな対象領域を識別する。視覚的バーチャルリアリティコンテンツ中の対象領域の識別は、該視覚的バーチャルリアリティコンテンツを遊楽する際に、その進行を制御することを可能にする。これを図6と関連させて以下に説明する。
図6に関連させて、本発明の実施形態による第二方法の第一例を以下に説明することとする。
第二方法のこの第一例において、第二装置20のメモリ14に格納されているバーチャルリアリティコンテンツデータ21が、図4中に示されている第四装置120に供給される。本発明のいくつかの実装において、バーチャルリアリティコンテンツデータ21をサーバ上に格納し、第四装置120にダウンロードまたはストリームすることも可能である。他の実装では、バーチャルリアリティコンテンツデータ21は、例えば光ディスクまたはメモリカードによって、第四装置120に供給されてもよい。
図6のブロック601で、視聴者は、バーチャルリアリティコンテンツデータ21によって提供されたバーチャルリアリティコンテンツを遊楽しようとする。例えば、視聴者は、頭部装着型視聴デバイスを介して、バーチャルリアリティコンテンツを遊楽することができる。第四装置120のプロセッサ112は、視聴者にバーチャルリアリティコンテンツを遊楽させ、これを可能にする。前に説明したように、第四装置120は、頭部装着型視聴デバイスでもよく、ゲームコンソールまたはパーソナルコンピュータなど、頭部装着型視聴デバイスに接続されたコンピューティングデバイスでもよく、あるいはこれら2つの組み合わせであってもよい。
図6のブロック601で、装置120のプロセッサ112は、視覚的バーチャルリアリティコンテンツデータ22を分析し、ユーザによって遊楽されるバーチャルリアリティコンテンツの一部を形成する、(視覚的バーチャルリアリティコンテンツデータ22によって提供される)視覚的バーチャルリアリティコンテンツ中に少なくとも1つの対象領域があると判断する。この少なくとも1つの対象領域は(図5に関連して前述したやり方によって)事前定義されたものであり、バーチャルリアリティコンテンツデータ21の一部を形成する識別子24のうちの少なくとも1つによって識別される。
図6のブロック602で、第四装置120のプロセッサ112は、視聴者の視野の少なくとも所定の割合が、該視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかをモニタリングする。いくつかの実装において、プロセッサ112は、対象領域が判断される前に、視聴者の視野の所定の割合の位置および方位のモニタリングを開始する。他の実装では、このモニタリングは、プロセッサ112によって対象領域が識別された後においてだけ開始される。
視覚的バーチャルリアリティコンテンツを見ているときの視聴者の全視野は、該視覚的バーチャルリアリティコンテンツを見るために使われる頭部装着型視聴デバイス、および特に、該視覚的バーチャルリアリティコンテンツの光学的性質の如何によってもよい。
いくつかの実装において、視聴者の視野の「所定の割合」が、視覚的バーチャルリアリティコンテンツを見ているときの視聴者の全視野であることもある。
例えば、視覚的バーチャルリアリティコンテンツを見ているときの視聴者の全視野が横断面で100°の場合、かかる実装では、視聴者の視野の所定の割合は、その全100°を網羅する。
他の実装において、視覚的バーチャルリアリティコンテンツを見ているとき、視聴者の視野の所定の割合が視聴者の全視野より小さいこともあろう。例えば、視聴者の全視野が横断面で100°のときに、横断面で視聴者の視野の中央部の20°であるなど、この所定の割合が視聴者の全視野よりずっと小さいことがあり得よう。あるいは、こうなれば、この所定の割合が、視聴者の視野の中央に所在するラインなど、視聴者の視野内の単一の目視ラインの場合もあるかもしれない。
図6のブロック603で、第四装置120のプロセッサ112は、視聴者の視野の少なくとも所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致するかどうかに基づいて視覚的バーチャルリアリティコンテンツの進行を制御する。いくつかの実装において、プロセッサ112が、視聴者の視野の所定の割合が視覚的バーチャルリアリティコンテンツ中の少なくとも1つの対象領域と一致すると判断した場合、該プロセッサは、視覚的バーチャルリアリティコンテンツの進行を可能にする。例えば、視覚的バーチャルリアリティコンテンツが(ムービーなどの)映像である場合、プロセッサは、該映像の再生の継続を可能にする。視覚的バーチャルリアリティコンテンツがビデオゲームの場合は、該プロセッサはそのビデオゲームが進行することを可能にする。
あるいは、視聴者の視野の所定の割合が、視覚的バーチャルリアリティコンテンツ中の判断された少なくとも1つの対象領域と一致しない場合、プロセッサ112は、視覚的バーチャルリアリティコンテンツの少なくとも一部の進行を停止することができる。例えば、視覚的バーチャルリアリティコンテンツが(ムービーなどの)映像である場合、プロセッサ112は、視聴者の視野の所定の割合と、判断された少なくとも1つの対象領域とが一致し始めるまで、視覚的バーチャルリアリティコンテンツの全体または(判断された少なくとも1つの対象領域を包含する領域などの)或る領域を休止することが可能である。同様に、視覚的バーチャルリアリティコンテンツがビデオゲームの場合、プロセッサ112は、視聴者の視野の所定の割合が、判断された少なくとも1つの対象領域に一致し始めるまで、(判断された少なくとも1つの対象領域を包含する領域などの)ビデオゲームの少なくとも一部の進行を停止することができる。
(前景の/動くオブジェクトおよび背景/光景など)各種の部分が別々にレンダリングされる諸実装において、停止される部分は前景の/動くオブジェクトであるかもしれず、背景/光景は動き/アニメーションにされた状態であり続けるかもしれない。例えば、葉々は動き、水は波打っていてもよいであろう。この動き/アニメーションはループさせるとよいかもしれない。
上記に加え、プロセッサ112は、視聴者の視野の所定の割合が、少なくとも1つの判断された対象領域に一致するかどうかに基づいて、音声の進行を制御することができる。例えば、該プロセッサは、視聴者の視野の所定の割合が、判断された少なくとも1つの対象領域と一致しない場合、1つ以上のオーディオトラックを休止することが可能である。該プロセッサは、視聴者の視野の所定の割合が、判断された少なくとも1つの対象領域に一致し始めたならば、そのときに、その/それらのオーディオトラック(群)の再生を再開すればよい。休止され/再開されるオーディオトラック(群)は、進行が停止された視覚的バーチャルリアリティコンテンツの部分中のイベントに同期するように意図された音声を含み得る。休止され/再開されるオーディオトラック(群)は、判断された少なくとも1つの対象領域からの指向性音声であることもあろう。休止され/再開されるオーディオトラック(群)は、例えば、判断された対象領域中の一人以上の動作者からの会話、または音楽もしくは音響効果を含むかもしれない。
いくつかの実装において、プロセッサ112は、1つ以上の他のオーディオトラックの再生を休止しておきながら、1つ以上のオーディオトラックの再生を継続または開始することを可能にすることもできよう。他のオーディオトラック(群)は、例えば、環境音楽または環境の音を含むことができよう。いくつかの実装では、他のオーディオトラック(群)はループさせることも可能であろう。
視聴者の視野の所定の割合が1つ以上の既定義の対象領域と一致するかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御することは、それが、視聴者が視覚的バーチャルリアリティコンテンツの重要な部分を見逃すことを防止するためのメカニズムを提供する点で有益である。例えば、これにより、視聴者の視野が適切な位置に入るまで視覚的バーチャルリアリティコンテンツの少なくとも一部を休止することによって、視聴者が、視覚的バーチャルリアリティコンテンツの肝要なプロットポイントを見逃すことを防止することが可能である。したがって、視聴者は、自分が重要なプロットポイントを見逃す可能性を心配せずにバーチャル環境を十分に探求することができる。
本発明の実施形態による第一方法の第二例を、図5、7、および8に関連付けて以下に説明することとする。
図7は、(視覚的および聴覚的な)バーチャルリアリティコンテンツが、1つ以上のバーチャルリアリティコンテンツ収録デバイス703によって収録されている概略図を示す。このバーチャルリアリティコンテンツは、プロにより収録されるコンテンツであっても、またはアマチュアにより収録されるコンテンツであってもよい。バーチャルリアリティコンテンツ収録デバイス(群)703は、視覚的および聴覚的コンテンツの両方を収録している。収録されている場面において、第一動作者701および第二動作者702は、ビーチ704に位置している。第一動作者701は、第二動作者702に向けボール705を投げる。
図7は、第一動作者701がまだ第二動作者702にボール705を投げていない第一時間の場面を示す。図8は、ボール705が、第二動作者702によってキャッチされた時点の場面を示す。参照番号706によって示された点線は、ボール705の動きを表す。
図9は、図7および8中の場面が取り込まれるときにバーチャルリアリティコンテンツ生成デバイス(群)703によって生成される視覚的バーチャルリアリティコンテンツデータ22によって提供される、視覚的バーチャルリアリティコンテンツを示す。このムービーの監督者は、第一動作者701およびボール705を、対象領域901として識別することを選択する。該監督者は、第二装置20への適切なユーザ入力を供給し、これに応答して、第二装置20のプロセッサ12は、図9中に描かれた視覚的バーチャルリアリティコンテンツの再生における第一時間に、対象領域901を識別する識別子を生成し、バーチャルリアリティコンテンツデータ21中に格納する。
図10は、第一時間に後続する、視覚的バーチャルリアリティコンテンツにおける第二時間を示す。第二の時間で、第一動作者701は、第二動作者702に向けボール705を投げ終えているが、ボール705は、まだ第二動作者702には到達していない。このムービーの監督者は、第二時間に対する視覚的バーチャルリアリティコンテンツ中の第一の対象領域1001として第一動作者701を、第二の対象領域1002としてボール705を、第三の対象領域1003として第二動作者702を識別することを決める。該監督者は、第二装置20への適切なユーザ入力を供給し、これに応答して、プロセッサ12は、視覚的バーチャルリアリティコンテンツの再生における第二時間に、視覚的バーチャルリアリティコンテンツデータ22中の対象領域1001、1002、および1003を識別する識別子24を生成し、メモリ14中に格納する。
図11は、第一および第二時間に後続する、第三時間での視覚的バーチャルリアリティコンテンツを示す。第三時間で、第二動作者702はボール705をキャッチした。このムービーの監督者は、第二動作者702およびボール705を対象領域1101として識別したいと決め、第二装置20に適切なユーザ入力を供給する。これに応答して、第二装置20のプロセッサ12は、視覚的バーチャルリアリティコンテンツの再生における第三時間での視覚的バーチャルリアリティコンテンツ中の対象領域1101を識別する識別子を生成し格納する。
いくつかの実装では、ユーザが手動でユーザ入力を供給することによって対象領域を識別しなくてもよい。上記に換えて、対象領域は、プロセッサ12によって実施される画像分析によって自動的に識別することが可能で、対応する識別子はこれも自動的に生成し格納することができる。
本発明の実施形態による第二方法の第二例を、図6、および12A〜15に関連づけて以下に説明することとする。
図12Aは、横断面での視聴者の視野の所定の割合の第一例を示す。図12A中に示された例において、視聴者の観察位置は、参照番号1203で標識された点によって示される。第一点線1201は、横断面における視聴者の視野の第一端縁部を示し、第二点線1202は、横断面における視聴者の視野の第二端縁部を示す。参照番号1204で標識された湾曲矢印は、横断面における視聴者の視野の第三端縁部を示す。ライン1201、1202、および1204で囲まれたエリアは、(例えば、頭部装着型視聴デバイスを使って)視覚的バーチャルリアリティコンテンツを見る際に、視聴者によって視認可能な横断面でのエリアを表す。
この第一例において、図12A中の平行線模様は、(例えば、頭部装着型視聴デバイスを使って)視覚的バーチャルリアリティコンテンツを見る際に、視聴者の視野の全体が、当該視野の「所定の割合」であると見なされていることを示す。
人間の実生活の視野は、横断面でほぼ180°であろう。視覚的バーチャルリアリティコンテンツを見ている間の視聴者の全視野は、人間の実生活の視野以下であり得る。
図12Bは、視聴者の視野の所定の割合の第二例を示す。この例において、参照番号1201で標識された第一点線と、参照番号1202で標識された点線と、参照番号1204で標識された湾曲矢印との間のエリアは、前述のように、視覚的バーチャルリアリティコンテンツを見ているときに、視聴者が視認可能な横断面でのエリアを表す。但し、図12B中に示されている例は、視覚的バーチャルリアリティコンテンツを見ているときの、視聴者の視野の「所定の割合」が視聴者の全視野よりも小さいという点で、図12Aに示された例とは異なる。この例では、視聴者の視野の所定の割合は、参照符号1205および1206で標識された第三および第四点線の間の、平行線模様で示された角度範囲である。これは、視聴者の視野の中央部を包含する。この例において、視野の所定の割合は、視覚的バーチャルリアリティコンテンツを見ているときの、視聴者の全視野より小さい任意の量とすることができよう。
当然のことながら、図12Aおよび図12Bは、説明のために、横断面での視聴者の視野の所定の割合の例を提示したものである。実際上は、プロセッサ112は、垂直面での視聴者の視野の所定の割合が対象領域と一致するかどうかをモニタリングすることも可能である。プロセッサ112は、例えば、視聴者の視野の所定の割合が視覚的バーチャルリアリティコンテンツ中の対象領域と一致するかどうかを判断するために、立体角を測定してもよい。
視聴者の視野の所定の割合が、視覚的バーチャルリアリティコンテンツ中の対象領域と一致するかどうかのモニタリングにおいて、プロセッサ112は、(例えば、視聴者の頭部を追跡することによって)視聴者の視点を測定するように構成され、視聴者の視点から得られる(理論的な)ライン、面積または体積が対象領域と交差しているかどうかを判断するように構成されることが可能であろう。
いくつかの実装において、プロセッサ112は、視聴者の凝視点を追跡するための1つ以上のカメラを用いて、視聴者の視野の所定の割合が視覚的バーチャルリアリティコンテンツ中の対象領域に一致するかどうかをモニタリングするように構成することができる。これは、バーチャルリアリティコンテンツが頭部装着型視聴デバイスを使って視聴される実装にも、該デバイスを使わない実装にも適用可能であろう。頭部装着型視聴デバイスが使われない場合、視覚的バーチャルリアリティコンテンツは、例えば、視聴者を取り囲む1つ以上のディスプレイ上で表示することもできよう。
視聴者の凝視点が追跡される実装において、視覚的バーチャルリアリティコンテンツが立体表示である場合、プロセッサ112は、対象領域(群)の深度を測定し、視聴者の凝視の深度を判断するように構成されることが可能である。プロセッサ112は、視聴者の凝視の深度を当該対象領域(群)の深度と比較することによって、視聴者の視野の少なくとも所定の割合が、判断された対象領域(群)に一致するかどうかをモニタリングするようにさらに構成されることができる。
図13〜15は、図7および8中で収録されているのが示され、前述し図9〜11において示されたように生成され格納された識別子を含む視覚的バーチャルリアリティコンテンツを見ている視聴者の概略図を示す。
この第二方法の第二例では、プロセッサ112は、図6中に示された方法を連続して循環させればよい。これについては以下に詳しく述べる。
視覚的バーチャルリアリティコンテンツの再生が開始され、図9に示されるように、該視覚的バーチャルリアリティコンテンツの再生における第一時間に達する。図13は、視覚的バーチャルリアリティコンテンツの再生における第一時間で、該視覚的バーチャルリアリティコンテンツを見ている視聴者1301を概略的に示す。視聴者が視覚的バーチャルリアリティコンテンツの再生において第一時間に達すると、図6中に示された方法を連続して循環させているプロセッサ112は、(図9に示されるように)視覚的バーチャルリアリティコンテンツの再生における第一時間に対象領域901を識別する識別子が、バーチャルリアリティコンテンツデータ21中に格納されていると判断する。図6のブロック602で、プロセッサ112は、視覚的バーチャルリアリティコンテンツの再生における第一時間で、視聴者の視野の所定の割合が対象領域901と一致すると判断する。その結果を受け、図6のブロック603で、プロセッサ112は、視覚的バーチャルリアリティコンテンツおよび対象領域901中のイベントに同期されている一切の音声の再生の継続を可能にすることによって、該視覚的バーチャルリアリティコンテンツの進行を制御する。
視覚的バーチャルリアリティコンテンツの進行/再生は継続され、この例では、視聴者の視野は第一動作者701の方を向いたままである。図14は、(図11に示された)視覚的バーチャルリアリティコンテンツの再生における第三時間で該視覚的バーチャルリアリティコンテンツを見ている視聴者を示し、ここでは、ボール705は、第一動作者701から第二動作者702に向け投げ終えている。
ボール705が空中にあった間、第一動作者701は、図10中の点線ボックス1001によって表されていたように、対象領域であるとして示されていた。しかして、第四装置120のプロセッサ112は、図6の方法を循環させている間は、視覚的バーチャルリアリティコンテンツが進行することを可能にさせ続けた。しかしながら、第三時間では(図11に示されるように)、第一動作者701は、もはや対象領域ではなく、視覚的バーチャルリアリティコンテンツ中の唯一の対象領域は、図11中の点線ボックス1101によって示されるように、ボール705を保持している第二動作者702である。プロセッサ112は、(新規の)対象領域1101が、視覚的バーチャルリアリティコンテンツの再生における第三時間での唯一の対象領域であると判断し、視聴者の視野の少なくとも所定の割合が、該判断された(新規の)対象領域1101に一致するかどうかをモニタリングする。また一方、図14に示された、当初の視聴者の視野の所定の割合は、もはや、視覚的バーチャルリアリティコンテンツの再生における第三時間でのどの対象領域とも一致しない。結果として、この例では、図6のブロック603で、プロセッサ112は、視覚的バーチャルリアリティコンテンツの少なくとも一部の進行/再生を停止させることによって、該視覚的バーチャルリアリティコンテンツの進行を制御する。例えば、視覚的バーチャルリアリティコンテンツの全体、あるいは少なくとも1つの対象領域を備える部分だけを休止させることが可能である。
いくつかの実装において、プロセッサ112は、該プロセッサが、視聴者の視野の所定の割合が対象領域と一致しないと判断したとき、即座には、視覚的バーチャルリアリティコンテンツの進行を停止しないことも可能であろう。例えば、停止する前に、短い遅延をおくことが可能で、遅延期間の間に、視聴者の視野の所定の割合が対象領域に一致し始めれば、視覚的バーチャルリアリティコンテンツの進行は停止されない。これは、コンテンツの頻繁な休止と再開始を防止するための助力となり得る。
いくつかの実装では、プロセッサ112は、視覚的バーチャルリアリティコンテンツの進行/再生を停止しなくてもよいかもしれない。代わりに、該プロセッサは、視覚的バーチャルリアリティコンテンツの全体または(少なくとも1つの対象領域を備える部分など)その一部の進行/再生を低速にすることが可能であろう。
その後、図15に示されるように、視聴者は、その視野の所定の割合が、視覚的バーチャルリアリティコンテンツの再生における第三時間での対象領域1101に一致するように自分の視野を移動させる。プロセッサ112は、視聴者の視野の所定の割合が、視覚的バーチャルリアリティコンテンツの再生における第三時間での対象領域1101に今や一致すると判断し、視覚的バーチャルリアリティコンテンツの進行/再生を再度可能にすることによって、該視覚的バーチャルリアリティコンテンツの進行を制御する。
いくつかの実装では、プロセッサ112が視覚的バーチャルリアリティコンテンツの進行を再度可能にするために、視聴者の視野の所定の割合が、判断された対象領域と一致することを必要としなくてもよい。例えば、プロセッサ112は、視聴者の視野の所定の割合の動きの軌道をモニタリングし、該視聴者の視野の所定の割合が、判断された対象領域と一致することが予期されるかどうかに基づいて、視覚的バーチャルリアリティコンテンツの進行を制御するように構成することが可能であろう。これは、例えば、視聴者の視野の所定の割合の動きの軌道を補間し、補間された軌道が、判断された対象領域と一致するかどうかを判断することによって行うことができる。
「コンピュータ可読ストレージ媒体」、「コンピュータ」、「プロセッサ」などへの言及は、単一/マルチプロセッサアーキテクチャおよびシーケンシャル(フォン・ノイマン)/並列アーキテクチャなどの各種アーキテクチャを有するコンピュータだけでなく、フィールドプログラム可能ゲートアレイ(FPGA:field−programmable gate array)、特定用途向け回路(ASIC:application specific integrated circuit)、信号処理デバイス、および他の処理回路など、特殊回路も包含すると理解すべきである。コンピュータプログラム、命令、コードなどへの言及は、例えば、プロセッサのための命令か、または固定機能デバイスに対する構成設定か、ゲートアレイもしくはプログラム可能ロジックデバイスかなどを問わず、ハードウェアデバイスのプログラム可能コンテンツなど、プログラム可能プロセッサまたはファームウェアに対するソフトウェアをも包含すると理解すべきである。
本出願での使用において、用語「回路」は以下の全てを言及する:
(a)(アナログおよび/またはデジタル回路だけへの実装など)ハードウェアだけの回路の実装、および
(b)回路とソフトウェア(および/またはファームウェア)との組み合わせ、例えば(適用される場合)、(i)プロセッサ(群)の組み合せ、または(ii)プロセッサ(群)/ソフトウェアの部分(携帯電話もしくはサーバなどの装置に様々な機能を実行させるため協働するデジタル信号プロセッサ(群)、ソフトウェア、およびメモリ(群)を含む)、および
(c)マイクロプロセッサ(群)またはマイクロプロセッサ(群)の部分など、たとえ当該ソフトウェアまたはファームウェアが実在しない場合にあっても、動作のためソフトウェアまたはファームウェアを必要とする回路。
「回路」のこの定義は、一切の特許請求の範囲を含め、本出願中のこの用語の全ての使用に適用される。さらなる例として、本出願での使用において、用語「回路」は、プロセッサ(もしくは複数のプロセッサ)またはプロセッサまたはプロセッサの部分だけの実装、ならびにそれに(もしくはそれらに)付随するソフトウェアおよび/またはファームウェアの実装も網羅することになろう。また、用語「回路」は、例えば、特定の請求要素に適用可能な場合、ベースバンド集積回路、または携帯電話用の応用プロセッサ集積回路、またはサーバ、セルラーネットワークデバイス、もしくは他のネットワークデバイス中の同様な集積回路も網羅することになろう。
図5および図6に示されたブロックは、コンピュータプログラム17および18中の方法および/またはコードのセクション中のステップを表し得る。これらブロックに対する特定の順序の例示は、必ずしも、これらブロックに対する必要なまたは望ましい順序が存在することを意味するものではなく、該ブロックの順序および配置は変えることが可能である。さらに、一部のブロックは省略も可能であり得る。
前の各段落で、本発明の諸実施形態を、様々な例を参照しながら説明してきたが、当然のことながら、提示されたこれらの例に対し、請求された本発明の範囲から逸脱することなく、修改を加えることが可能である。例えば、いくつかの実装において、プロセッサ112は、視聴者に対し、視覚的バーチャルリアリティコンテンツにおける或る特定の時間に対象領域(群)がどこにあるかを示す(例えば1つ以上の矢印など)1つ以上のインジケータを表示させるように構成されることができる。プロセッサ112は、例えば、視覚的バーチャルリアリティコンテンツの進行が停止/休止された場合、または閾値時間期間より長く停止/休止された場合に、該インジケータ(群)を出現させることが可能である。
視覚的バーチャルリアリティコンテンツの形は、前述したものとは異なるものであってもよい。例えば、該コンテンツは、動的に更新される1つ以上のウェブページフィードなど動的に更新される情報コンテンツを備えることが可能である。
前の説明に記述した特徴は、明示で記載された組み合わせ以外の組み合わせでも用いることができる。
諸機能は、特定の特徴を参照しながら説明されているが、これらの機能は、記述されていようがいまいが、他の特徴によっても実行可能であり得る。
諸特徴は、特定の実施形態を参照しながら説明されているが、これらの特徴は、記述されていようがいまいが、他の実施形態中においても存在し得る。
前述の明細書において、特定の重要性があると考えられる、本発明の特徴に注目を集めるように努めてきたが、当然のことながら、出願人は、特定の強調がされているかいないかに関わらず、前文で言及された、および/または図面中に示された一切の特許性のある特徴または特徴の組み合わせに対して保護を請求する。

Claims (16)

  1. 視覚的バーチャルリアリティコンテンツであって、該視覚的バーチャルリアリティコンテンツを見ているときの視聴者の視野を越えて広がるように構成される前記視覚的バーチャルリアリティコンテンツにおいて、第一時間での少なくとも1つの第一の対象領域を判断することと、
    視聴者が前記視覚的バーチャルリアリティコンテンツを視聴する間、前記視聴者の視野の所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致するかどうかをモニタリングすることと、
    前記視聴者の視野の前記所定の割合が前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致するかどうかに基づいて、前記視覚的バーチャルリアリティコンテンツの進行を制御することと、
    前記視覚的バーチャルリアリティコンテンツにおいて、第二時間での第二の新規対象領域を判断することであって、該第二の新規対象領域が、該視覚的バーチャルリアリティコンテンツを前記視聴者が視聴する間、前記視聴者の視野外に位置する、前記判断することと、
    前記視聴者が前記視覚的バーチャルリアリティコンテンツを視聴する間、前記視聴者の視野の前記所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第二の新規対象領域と一致しないことを決定することと、
    前記視聴者の視野の前記所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第二の新規対象領域と一致しないという決定に基づいて、前記視覚的バーチャルリアリティコンテンツにおける、前記第二の新規対象領域を含む少なくとも一部の進行を停止することと、
    を含む、方法。
  2. 前記視覚的バーチャルリアリティコンテンツの進行を制御することが、前記視聴者の視野の前記少なくとも所定の割合が前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致すると判断するのに応答して、前記視覚的バーチャルリアリティコンテンツの進行を可能にすることを含む、請求項1に記載の方法。
  3. 前記視覚的バーチャルリアリティコンテンツの進行を制御することが、前記視聴者の視野の前記少なくとも所定の割合が前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致しないと判断するのに応答して、前記視覚的バーチャルリアリティコンテンツの少なくとも一部の進行を停止することを含む、請求項1または2に記載の方法。
  4. 前記視覚的バーチャルリアリティコンテンツのうち、前記第一の対象領域を含む部分の進行が停止される、請求項3に記載の方法。
  5. 前記視聴者の視野の前記少なくとも所定の割合が前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致しないと判断するのに応答して、少なくとも1つのオーディオトラックの再生を休止させること、
    をさらに含む、請求項1から4のいずれかに記載の方法。
  6. 前記少なくとも1つのオーディオトラックの再生が休止されると、前記少なくとも1つのオーディオトラックとは異なる少なくとも1つのさらなるオーディオトラックの再生を可能にすること、
    をさらに含む、請求項5に記載の方法。
  7. 前記視覚的バーチャルリアリティコンテンツが、バーチャルリアリティ映像コンテンツであり、前記視覚的バーチャルリアリティコンテンツの進行を制御することが、前記バーチャルリアリティ映像コンテンツの再生を制御することを含む、請求項1から6のいずれかに記載の方法。
  8. 前記第一の対象領域が、もはや対象領域でないと判断することと、
    前記視覚的バーチャルリアリティコンテンツ中の少なくとも1つの第三の新規対象領域を判断することと、
    視聴者の視野の少なくとも所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第三の新規対象領域に一致するかどうかをモニタリングすることと、
    前記視聴者の視野の前記少なくとも所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第三の新規対象領域に一致するかどうかに基づいて、前記視覚的バーチャルリアリティコンテンツの進行を制御することと、
    をさらに含む、請求項1から7のいずれかに記載の方法。
  9. 前記視覚的バーチャルリアリティコンテンツが、メモリ中に格納されたバーチャルリアリティコンテンツデータによって提供され、前記バーチャルリアリティコンテンツデータは、前記視覚的バーチャルリアリティコンテンツ中の対象領域を識別する複数の識別子を含む、請求項1から8のいずれかに記載の方法。
  10. 視聴者の視野の少なくとも所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致するかどうかをモニタリングすることは、視聴者の頭の動きおよび/または視聴者の凝視点を追跡することを含む、請求項1から9のいずれかに記載の方法。
  11. 前記視覚的バーチャルリアリティコンテンツが、360°の視覚的バーチャルリアリティコンテンツである、請求項1から10のいずれかにに記載の方法。
  12. 前記視聴者の視野の前記所定の割合が前記視覚的バーチャルリアリティコンテンツ中の 前記第一の対象領域と一致することが予期されるかどうかに基づいて、前記視覚的バーチ ャルリアリティコンテンツの進行を制御することを更に含む、請求項1から11のいずれ かに記載の方法。
  13. 装置の処理手段に実行されると、前記装置に、請求項1から12のいずれかに記載の方法を遂行させるコンピュータプログラムコードを含む、コンピュータプログラム。
  14. 処理手段及び記憶手段を備える装置であって、前記記憶手段はコンピュータプログラムコードを格納し、前記コンピュータプログラムコードは、前記処理手段に実行される、前記装置に、請求項1から12のいずれかに記載の方法を遂行させるように構成される、装置。
  15. 視覚的バーチャルリアリティコンテンツであって、該視覚的バーチャルリアリティコンテンツを見ているときの視聴者の視野を越えて広がるように構成される前記視覚的バーチャルリアリティコンテンツにおいて、第一時間での少なくとも1つの第一の対象領域を判断する手段と、
    視聴者が前記視覚的バーチャルリアリティコンテンツを視聴する間、前記視聴者の視野の所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致するかどうかをモニタリングする手段と、
    前記視聴者の視野の前記所定の割合が前記視覚的バーチャルリアリティコンテンツ中の前記第一の対象領域と一致するかどうかに基づいて、前記視覚的バーチャルリアリティコンテンツの進行を制御する手段と、
    前記視覚的バーチャルリアリティコンテンツにおいて、第二時間での第二の新規対象領域を判断する手段であって、該第二の新規対象領域が、該視覚的バーチャルリアリティコンテンツを前記視聴者が視聴する間、前記視聴者の視野外に位置する、前記判断する手段と、
    前記視聴者が前記視覚的バーチャルリアリティコンテンツを視聴する間、前記視聴者の視野の前記所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第二の新規対象領域と一致しないことを決定する手段と、
    前記視聴者の視野の前記所定の割合が、前記視覚的バーチャルリアリティコンテンツ中の前記第二の新規対象領域と一致しないという決定に基づいて、前記視覚的バーチャルリアリティコンテンツにおける、前記第二の新規対象領域を含む少なくとも一部の進行を停止する手段と、
    を備える装置。
  16. 前記視聴者の視野の前記所定の割合が前記視覚的バーチャルリアリティコンテンツ中の 前記第一の対象領域と一致することが予期されるかどうかに基づいて、前記視覚的バーチ ャルリアリティコンテンツの進行を制御する手段を更に備える、請求項15に記載の装置
JP2017533385A 2014-12-23 2015-12-18 バーチャルリアリティコンテンツの制御 Active JP6670838B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14200212.0A EP3037915B1 (en) 2014-12-23 2014-12-23 Virtual reality content control
EP14200212.0 2014-12-23
PCT/FI2015/050908 WO2016102763A1 (en) 2014-12-23 2015-12-18 Virtual reality content control

Publications (2)

Publication Number Publication Date
JP2018506205A JP2018506205A (ja) 2018-03-01
JP6670838B2 true JP6670838B2 (ja) 2020-03-25

Family

ID=52292688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017533385A Active JP6670838B2 (ja) 2014-12-23 2015-12-18 バーチャルリアリティコンテンツの制御

Country Status (8)

Country Link
US (1) US20170371518A1 (ja)
EP (1) EP3037915B1 (ja)
JP (1) JP6670838B2 (ja)
CN (1) CN107111364B (ja)
ES (1) ES2642263T3 (ja)
MX (1) MX2017008496A (ja)
WO (1) WO2016102763A1 (ja)
ZA (1) ZA201704823B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
EP3367383B1 (en) 2017-02-23 2023-12-20 Nokia Technologies Oy Virtual reality
US11451689B2 (en) * 2017-04-09 2022-09-20 Insoundz Ltd. System and method for matching audio content to virtual reality visual content
US10477105B2 (en) * 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
EP3422146A1 (en) 2017-06-28 2019-01-02 Nokia Technologies Oy An apparatus and associated methods for presenting sensory scenes
CN110998566B (zh) 2017-06-30 2024-04-12 交互数字Vc控股公司 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US11303814B2 (en) 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US11587200B2 (en) 2018-09-28 2023-02-21 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
CN115690374B (zh) * 2023-01-03 2023-04-07 江西格如灵科技有限公司 一种基于模型边缘射线检测的交互方法、装置及设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115058A (ja) * 2001-08-02 2003-04-18 Matsushita Electric Ind Co Ltd 表示装置および表示方法
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP5367833B2 (ja) * 2009-09-29 2013-12-11 株式会社東芝 関心領域抽出装置及びプログラム
US8330793B2 (en) * 2009-10-09 2012-12-11 Hewlett-Packard Development Company, L.P. Video conference
JP5054215B2 (ja) * 2010-05-13 2012-10-24 キヤノン株式会社 映像再生装置およびその制御方法およびプログラム
JP2012094990A (ja) * 2010-10-25 2012-05-17 Duse Technologies Co Ltd 視点連動画像表示システム
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5698574B2 (ja) * 2011-03-15 2015-04-08 オリンパスイメージング株式会社 音声・映像情報報知システム及びその制御方法
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130259312A1 (en) * 2011-09-08 2013-10-03 Kenton M. Lyons Eye Gaze Based Location Selection for Audio Visual Playback
JP2013057918A (ja) * 2011-09-09 2013-03-28 Shigeto Umeda 可変長の広告を表示また、入札するシステム
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
GB2511257B (en) * 2011-12-21 2018-02-14 Hewlett Packard Development Co Lp Interactive streaming video
JP5344073B2 (ja) * 2012-09-14 2013-11-20 日本電気株式会社 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP5826730B2 (ja) * 2012-09-20 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140267005A1 (en) * 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术(北京)有限公司 头戴式显示设备
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user

Also Published As

Publication number Publication date
ZA201704823B (en) 2019-01-30
WO2016102763A1 (en) 2016-06-30
US20170371518A1 (en) 2017-12-28
MX2017008496A (es) 2017-10-11
JP2018506205A (ja) 2018-03-01
CN107111364A (zh) 2017-08-29
EP3037915A1 (en) 2016-06-29
EP3037915B1 (en) 2017-08-16
ES2642263T3 (es) 2017-11-16
CN107111364B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
JP6670838B2 (ja) バーチャルリアリティコンテンツの制御
US11546566B2 (en) System and method for presenting and viewing a spherical video segment
US10497399B2 (en) Biometric feedback in production and playback of video content
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
US9743060B1 (en) System and method for presenting and viewing a spherical video segment
US10750088B2 (en) System and method for identifying comment clusters for panoramic content segments
US10403327B2 (en) Content identification and playback
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
JP2015041385A (ja) スポーツイベントのハプティック可能な閲覧
US10365728B2 (en) Adaptive provision of content based on user response
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
US9973746B2 (en) System and method for presenting and viewing a spherical video segment
US11825170B2 (en) Apparatus and associated methods for presentation of comments
EP3417609A1 (en) System and method for presenting and viewing a spherical video segment
TW201643677A (zh) 電子裝置以及使用者介面操作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6670838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250