JP6979469B2 - 媒介現実コンテンツのレンダリング - Google Patents

媒介現実コンテンツのレンダリング Download PDF

Info

Publication number
JP6979469B2
JP6979469B2 JP2019566644A JP2019566644A JP6979469B2 JP 6979469 B2 JP6979469 B2 JP 6979469B2 JP 2019566644 A JP2019566644 A JP 2019566644A JP 2019566644 A JP2019566644 A JP 2019566644A JP 6979469 B2 JP6979469 B2 JP 6979469B2
Authority
JP
Japan
Prior art keywords
real space
reality content
user
space
mediated reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019566644A
Other languages
English (en)
Other versions
JP2020523672A (ja
Inventor
ラッセ ラークソネン
アンッシ ラモ
アルト レフティニエミ
ユッシ レッパネン
Original Assignee
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2020523672A publication Critical patent/JP2020523672A/ja
Application granted granted Critical
Publication of JP6979469B2 publication Critical patent/JP6979469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、媒介現実コンテンツのレンダリングに関する。具体的には、異なる複数の現実空間で、媒介現実コンテンツをレンダリングすることに関する。
背景
媒介現実コンテンツをレンダリングすることは、現実空間内に仮想視覚空間を表示することを含む。ユーザは、仮想視覚空間内で、異なる複数の仮想視覚シーンを見るように、現実空間内で移動可能であってもよい。媒介現実コンテンツは、ユーザに提供されうる音響空間をさらに含んでもよい。音響空間は仮想視覚空間に対して整合されてもよい。
ユーザは、コンテンツがレンダリングされている間に、現実空間内を移動可能であってもよい。例えば、コンテンツは、ヘッドセットを介してレンダリングされてもよく、この場合、ユーザは現実空間内で自由に動き回れる。これにより、ユーザは媒介現実コンテンツ内の仮想視覚オブジェクトおよび仮想音源に対して、異なる複数の位置に移動可能となってもよい。しかしこれは一方で、ユーザがどのように媒介現実コンテンツと相互作用できるかが、媒介現実コンテンツがその中でレンダリングされる現実空間に依存することを意味しうる。例えば、現実空間内のオブジェクトが、ユーザの動きを制限することがあり、問題となる。
摘要
本開示の様々な、ただし必ずしも全てではない実施例によれば、方法が提供される。前記方法は、媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、第2の現実空間で表示する前記媒介現実コンテンツを選択することと、前記第2の現実空間に関する情報を取得することと、前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることと、を含む。
前記媒介現実コンテンツの前記適合により、ユーザが、前記第1の現実空間および前記第2の現実空間の両方で、仮想視覚空間内を移動可能となってもよい。
前記媒介現実コンテンツの前記適合により、前記第1の現実空間内のユーザが見ていた仮想視覚シーンが、前記第2の現実空間内のユーザにも見られるようになってもよい。
前記媒介現実コンテンツの前記適合により、前記仮想視覚オブジェクトに対して、前記第2の現実空間内のユーザが、前記第1の現実空間内のユーザと同じ位置に移動可能となるように、前記第2の現実空間内での仮想視覚オブジェクトの知覚位置が制御されてもよい。
前記媒介現実コンテンツの前記適合は、前記第1の現実空間内で表示された仮想視覚空間を、前記第2の現実空間に整合させることを含んでもよい。
前記媒介現実コンテンツの前記適合は、前記第2の現実空間内で、前記媒介現実コンテンツが表示される位置を動かすことと、前記第2の現実空間内で、前記媒介現実コンテンツを回転させることの少なくともいずれかを含んでもよい。
前記媒介現実コンテンツの前記適合は、仮想視覚空間内で少なくとも1つの仮想視覚オブジェクトを動かすことを含んでもよい。
前記媒介現実コンテンツの前記適合は、前記媒介現実コンテンツの仮想視覚空間と、前記媒介現実コンテンツ内の1つ以上の仮想視覚オブジェクトの少なくともいずれかの拡大率を変更することを含んでもよい。
前記媒介現実コンテンツは、前記第1の現実空間内の第1のユーザに表示され、第2の現実空間内の第2のユーザと共有される前に適合されてもよい。
前記方法は、ユーザに前記第2の現実空間への前記媒介現実コンテンツのマッピングを事前に見て、前記第2の現実空間に対する前記媒介現実コンテンツの前記適合を制御することを可能にすることをさらに含んでもよい。
前記方法は、ユーザに前記適合を制御可能にすることを含んでもよく、前記適合の前記ユーザ制御により、ユーザは少なくとも1つの仮想視覚オブジェクトを、前記第1の現実空間、前記第2の現実空間のいずれにも表示されるように選択可能となる。
前記媒介現実コンテンツとともに記憶される前記関連情報は、前記第1の現実空間のサイズ、前記第1の現実空間の形状、前記媒介現実コンテンツが表示されたときの前記第1の現実空間内の前記ユーザの位置、前記媒介現実コンテンツが表示されたときの前記第1の現実空間内の前記ユーザの向き、前記媒介現実コンテンツが表示されたときの前記第1の現実空間内のオブジェクトの位置の少なくともいずれかに関する情報を含んでもよい。
前記第1の現実空間および前記第2の現実空間に関する前記情報を使用することは、前記第1の現実空間と、前記第2の現実空間との寸法を比較し、前記第1の現実空間内に表示された仮想視覚オブジェクトが、前記第2の現実空間内に表示されることを保証するように、前記媒介現実コンテンツを適合させることを含んでもよい。
前記第1の現実空間および前記第2の現実空間に関する前記情報を使用することは、前記第1の現実空間内と、前記第2の現実空間内とで実際のオブジェクトの場所を比較することと、前記第2の現実空間内で仮想視覚オブジェクトが表示される位置を制御することで、ユーザが前記仮想視覚オブジェクトを、前記第1の現実空間および前記第2の現実空間の両方における同じ相対位置で見られるようにすることを含んでもよい。
媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶する手段と、第2の現実空間で表示する前記媒介現実コンテンツを選択する手段と、前記第2の現実空間に関する情報を取得する手段と、前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させる手段と、を備える装置。
上述のいずれかの方法を実行する手段を備える装置。
処理回路構成と、コンピュータプログラムコードを含むメモリ回路構成とを備える装置も含まれる。ここで前記メモリ回路構成と前記コンピュータプログラムコードは、前記処理回路構成によって、前記装置に、媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、第2の現実空間で表示する前記媒介現実コンテンツを選択することと、前記第2の現実空間に関する情報を取得することと、前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることと、を実施させる。
上述のいずれかの装置を備えるヘッドマウント視覚装置。
装置のプロセッサ上で実行されると、媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、第2の現実空間で表示する前記媒介現実コンテンツを選択することと、前記第2の現実空間に関する情報を取得することと、前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることとを前記装置に遂行させるコンピュータプログラム。
プロセッサ上で実行されると、上述のいずれかの方法を実施するコンピュータプログラム。
詳細な説明の理解に有用な様々な例をより良く理解するために、単なる例として添付の図面を参照する。
図1Aは、媒介現実の例を示し、共通の上面視における、異なる視点からの同一の仮想視覚空間を示す。図1Bは、媒介現実の例を示し、共通の上面視における、異なる視点からの同一の仮想視覚空間を示す。図1Cは、媒介現実の例を示し、共通の上面視における、異なる視点からの同一の仮想視覚空間を示す。 図2Aは、媒介現実の例を示し、異なる視点からの仮想視覚シーンを示す。図2Bは、媒介現実の例を示し、異なる視点からの仮想視覚シーンを示す。図2Cは、媒介現実の例を示し、異なる視点からの仮想視覚シーンを示す。 図3Aは、現実空間の例を示す。図3Bは、現実視覚シーンの例を示す。 媒介現実、および/または拡張現実、および/または仮想現実を実現するように動作可能な装置の例を示す。 図5Aは、媒介現実、および/または拡張現実、および/または仮想現実を実現するための方法の例を示す。図5Bは、拡張現実のために仮想視覚空間のモデルを更新する方法の例を示す。 図6Aは、異なる現実空間における媒介現実コンテンツを見ているユーザを示す。図6Bは、異なる現実空間における媒介現実コンテンツを見ているユーザを示す。図6Cは、異なる現実空間における媒介現実コンテンツを見ているユーザを示す。 媒介現実および/または拡張現実および/または仮想現実を実現する例示的方法を示す。 図8Aは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。図8Bは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。図8Cは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。 図9Aは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。図9Bは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。図9Cは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。図9Dは、媒介現実コンテンツを異なる現実空間で使用するための適合を選択するユーザを示す。 媒介現実および/または拡張現実および/または仮想現実を可能にする例示的方法を示す。 媒介現実および/または拡張現実および/または仮想現実を可能にする例示的方法を示す。
定義
「人工環境」は記録または生成されたものであってもよい。
「仮想視覚空間」は、視覚可能な完全または部分的な人工環境を指す。これは3次元でありうる。
「仮想視覚シーン」は、仮想視覚空間内の特定の視点から見た仮想視覚空間を表す。
「仮想視覚オブジェクト」は、仮想視覚シーン内の可視仮想オブジェクトである。
「現実空間」は、現実環境を指す。これは3次元でありうる。
「現実視覚シーン」は、現実空間内の特定の視点から見た現実空間を表す。
本明細書における「媒介現実」は、完全または部分的な人工環境(仮想空間)を、装置によってユーザに対して少なくとも部分的にレンダリングされた仮想シーンとして、ユーザが視覚的に体験することを指す。仮想シーンは、仮想空間内の視点によって決定される。仮想シーンの表示は、ユーザが知覚することができる形式で仮想シーンを提示することを意味する。
「媒介現実コンテンツ」は、ユーザに完全なまたは部分的な人工環境(仮想空間)を、仮想視覚シーンとして視覚体験することを可能にするコンテンツである。媒介現実コンテンツは、ビデオゲームのようなインタラクティブコンテンツや、モーションビデオのような非インタラクティブコンテンツを含みうる。
本明細書における「拡張現実」は、媒介現実の一形式を指し、ユーザは、部分的な人工環境(仮想空間)を、装置によってユーザに対してレンダリングされた1つまたは複数の視覚または聴覚要素によって補足された、物理的現実世界の環境(現実空間)の現実シーンを含む仮想シーンとして体験する。
「拡張現実コンテンツ」は、ユーザに部分的な人工環境(仮想空間)を、仮想視覚シーンとして視覚体験することを可能にする媒介現実コンテンツの一種である。拡張現実コンテンツは、ビデオゲームのようなインタラクティブコンテンツや、モーションビデオのような非インタラクティブコンテンツを含みうる。
本明細書における「仮想現実」は、媒介現実の一形式を指し、ユーザは、完全な人工環境(仮想視覚空間)を、装置によってユーザに対して表示された仮想シーンとして体験する。
「仮想現実コンテンツ」は、ユーザに完全な人工環境(仮想空間)を、仮想視覚シーンとして視覚体験することを可能にする媒介現実コンテンツの一種である。仮想現実コンテンツは、ビデオゲームのようなインタラクティブコンテンツや、モーションビデオのような非インタラクティブコンテンツを含みうる。
媒介現実、拡張現実、または仮想現実に適用される「視点媒介」は、ユーザの動作が、仮想空間内の視点を決定し、仮想シーンを変更することを意味する。
媒介現実、拡張現実、または仮想現実に適用される「一人称視点媒介」は、ユーザの実際の視点が、仮想空間内の視点を決定するという制約が追加された視点媒介を意味する。
媒介現実、拡張現実、または仮想現実に適用される「三人称視点媒介」は、ユーザの実際の視点が、仮想空間内の視点を決定しないという制約が追加された視点媒介を意味する。
媒介現実、拡張現実、または仮想現実に適用される「ユーザインタラクティブ」は、ユーザの動作が、仮想空間内で起こることを少なくとも部分的に決定することを意味する。
「表示」は、ユーザによって視覚的に知覚される(見られる)形式で提示することを意味する。
「レンダリング」は、ユーザによって知覚される形式で提示することを意味する。
「音響空間」は、3次元空間内の音源の配置を指す。音響空間は、録音(録音された音響空間)に関連して、および音のレンダリング(レンダリングされた音響空間)に関連して、定義される場合がある。
「音響シーン」は、音響空間内の特定の視点から聴いた音響空間を表す。
「音響オブジェクト」は、音響空間内に配置されていてもよい音源を指す。音源オブジェクトは、仮想視覚空間内のオブジェクトに関連付けられた音源に対して、音響空間内の音源を表す。録音された音響オブジェクトは、特定のマイクまたは位置で録音された音響を表す。レンダリングされた音響オブジェクトは、特定の位置からレンダリングされた音を示す。
「対応」または「対応する」は、音響空間および仮想視覚空間と関連して用いられる場合、音響空間と仮想視覚空間との時間および空間が一致している、すなわちそれらが同じ時間の同じ空間であることを意味する。
「対応」または「対応する」は、音響シーンおよび仮想視覚シーン(または仮想シーン)と関連して用いられる場合、音響シーンと仮想視覚シーン(または仮想シーン)とが対応しており、音響シーンを定める視点を有する概念的リスナーと、仮想視覚シーン(または仮想シーン)を定める視点を有する概念的ビューアとが、同じ場所に同じ向きでおり、すなわち、当該リスナーと当該ビューアの視点は同じであることを意味する。
「仮想空間」は、仮想視覚空間を意味する場合も、音響空間を意味する場合も、または仮想視覚空間と対応する音響空間との組合せを意味する場合もある。いくつかの例では、仮想空間は、水平に最大360度、垂直に最大180度広がってもよい。
「仮想シーン」は、仮想視覚シーンを意味する場合も、音響シーンを意味する場合も、または仮想視覚シーンと対応する音響シーンとの組合せを意味する場合もある。
「仮想オブジェクト」は、仮想シーン内のオブジェクトであって、人工仮想オブジェクト(例えば、コンピュータにより作り出された仮想オブジェクト)、または現実空間内の実際のオブジェクトの録画された、またはリアルタイムの画像であってもよい。「仮想オブジェクト」は、音響オブジェクトおよび/または仮想視覚オブジェクトであってもよい。
説明
図1A〜1Cおよび2A〜2Cは、媒介現実の例を示す。媒介現実は、拡張現実または仮想現実であってもよい。
図1A、1B、1Cは、複数の同じ仮想視覚オブジェクト21を含む同一の仮想視覚空間20を示す。各図は、異なる視点24を示す。視点24の位置および方向は、それぞれ独立して変わりうる。図1Aと図1Bとでは、視点24の方向が異なるが、位置は同一である。図1Bと図1Cとでは、視点24の方向および位置が異なっている。
図2A、2B、2Cは、それぞれ図1A、1B、1Cの異なる視点24からの仮想視覚シーン22を示す。仮想視覚シーン22は、仮想視覚空間20内の視点24と、視野26とにより決定される。仮想視覚シーン22は、少なくとも部分的にユーザに表示される。
図示の仮想視覚シーン22は、媒介現実シーン、仮想現実シーン、または拡張現実シーンであってもよい。仮想現実シーンは、完全人工仮想視覚空間20を表示する。拡張現実シーンは、部分的に人工、部分的に現実の仮想視覚空間20を表示する。
媒介現実、拡張現実、または仮想現実は、ユーザインタラクティブ媒介であってもよい。この場合、仮想視覚空間20で何が起きるかが、ユーザ動作により少なくとも部分的に決定される。これにより、仮想視覚空間20内の、視覚的要素28などの仮想オブジェクト21との相互作用が可能となりうる。例えば、ユーザは、仮想オブジェクト21を選択し、動かしうる。
媒介現実、拡張現実、または仮想現実は、視点媒介であってもよい。この場合、ユーザ動作により仮想視覚空間20内の視点24が決まり、仮想視覚シーン22が変化する。例えば、図1A、1B、1Cに示すように、仮想視覚空間20内の視点24の位置23が変化し、さらに/あるいは仮想視覚空間20内の視点24の方向または向き25が変化しうる。仮想視覚空間20が三次元であれば、視点24の位置23は、3自由度(例えば上下、前後、左右)を有し、仮想視覚空間20内の視点24の方向25は、3自由度(例えばロール、ピッチ、ヨー)を有する。視点24の位置23および/または方向25は、連続的に変化しうる。その場合、ユーザ動作によって視点24の位置および/または方向を連続的に変化させる。
あるいは、視点24は、離散量子化位置23および/または離散量子化方向25を有しうる。その場合、ユーザ動作によって視点24の複数の取りうる位置23および/または方向25間を離散的に跳躍して切り替える。
図3Aは、実際のオブジェクト11を有し、部分的に図1Aの仮想視覚空間20に対応する現実空間10の例を示す。この例では、現実空間10内の実際のオブジェクト11はそれぞれ、対応する仮想オブジェクト21が仮想視覚空間20内に存在するが、仮想視覚空間20内の仮想オブジェクト21がそれぞれ、対応する実際のオブジェクト11が現実空間10に存在するわけではない。この例では、仮想オブジェクト21の1つがコンピュータにより作り出された視覚的要素28であり、現実空間10内に対応する実際のオブジェクト11を持たない人工仮想オブジェクト21である。
現実空間10と仮想視覚空間20との間には線形対応関係があり、現実空間10内の各実際のオブジェクト11と、その対応する仮想オブジェクト21との間には同じ対応関係が存在してもよい。したがって、現実空間10内の実際のオブジェクト11の相対関係は、仮想視覚空間20内の対応する仮想オブジェクト21間の相対関係と同じである。
図3Bは、図1Aの仮想視覚シーン22に部分的に対応する現実視覚シーン12の例を示し、実際のオブジェクト11を含むが、人工仮想オブジェクトは含まない。現実視覚シーンは、図1Aの仮想視覚空間20における視点24に対応する視点から見たものである。現実視覚シーン12のコンテンツは、仮想空間20における対応する視点24および視野26(現実空間10における視点14)により決まる。
図2Aは、図3Bに示す現実視覚シーン12の拡張現実版であってもよい。仮想視覚シーン22は、装置によりユーザに表示された1つまたは複数の視覚的要素28により補足された現実空間10の現実視覚シーン12を含む。視覚的要素28は、コンピュータが生成した視覚的要素であってもよい。シースルー構成においては、仮想視覚シーン22は、(1つまたは複数の)補足用視覚的要素28の表示を通して見える、実際の現実視覚シーン12を含む。ビデオ視聴構成では、仮想視覚シーン22は、表示された現実視覚シーン12と、表示された(1つまたは複数の)補足用視覚的要素28とを含む。表示された現実視覚シーン12は、単一の視点24から見た画像、または同時に異なる複数の視点から見た複数の画像が処理されて生成された単一の視点24から見た画像に基づいてもよい。
図4は、媒介現実、および/または拡張現実、および/または仮想現実を実現するように動作可能な装置30の例を示す。
装置30は、レンダリングデバイス32(複数可)備える。当該デバイスは情報を、ディスプレイを介して視覚的に、音響出力を介して聴覚的に、さらに/あるいは触覚デバイスを介して触覚的にユーザにレンダリングしてもよい。以下の例では、レンダリングデバイス(複数可)はディスプレイ32を備える。
ディスプレイ32は、仮想視覚シーン22の少なくとも各部分を、ユーザが視覚的に知覚可能な形態でユーザに提供するためのものである。このような仮想視覚シーンは、仮想現実コンテンツや拡張現実コンテンツといった媒介現実コンテンツ52の一部をなしてもよい。
ディスプレイ32は、仮想視覚シーン22の少なくとも各部分を、ユーザに表示する光を提供する視覚的ディスプレイであってもよい。視覚的ディスプレイの例としては、液晶表示装置、有機発光表示装置、発光型、反射型、透過型・半透過型表示装置、網膜直接投影表示装置、ニアアイディスプレイや、その他任意の種類のディスプレイが挙げられる。
この例では、ディスプレイ32はコントローラ42により制御されるが、すべての例で必ずしもそのようになるわけではない。
コントローラ42はコントローラ回路構成として実装されてもよい。コントローラ42は、ハードウェアのみとして実装されてもよく、特定の側面をファームウェアのみを含めソフトウェアとして有してもよく、またはハードウェアとソフトウェア(ファームウェアを含む)との組合せとすることもできる。
図4に示されているとおり、コントローラ42は、メモリ46からコンピュータプログラム命令48をロードするよう構成されたプロセッサ40を備えてもよい。例えばコントローラ42は、ハードウェアの機能性を実現する命令を使用して実装されてもよく、例えば、汎用または専用プロセッサ40において、このプロセッサ40で実行されるようにコンピュータ可読記憶媒体(ディスク、メモリなど)に記憶されていてもよい実行可能なコンピュータプログラム命令48を使用して実装されてもよい。
プロセッサ40は、メモリ46に対し読取りおよび書込みを行うように構成される。プロセッサ40は、出力インタフェースと入力インタフェースを備えてもよい。データおよび/またはコマンドは、プロセッサ40によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ40に入力される。
メモリ46は、プロセッサ40にロードされると、装置30の動作を制御するコンピュータプログラム命令(コンピュータプログラムコード)を備えるコンピュータプログラム48を少なくとも記憶する。コンピュータプログラム48のコンピュータプログラム命令は、装置が図5および図7〜11に示されている方法を少なくとも実行できるようにするロジックおよびルーチンを提供する。プロセッサ40は、メモリ46を読み取ることによってコンピュータプログラム48をロードし実行することができる。
例示的実施形態において、メモリ46は媒介現実コンテンツ52を記憶する。媒介現実コンテンツ52は拡張現実コンテンツおよび/または仮想現実コンテンツを含んでもよい。
メモリ46はさらに、媒介現実コンテンツ52に関連付けられた情報54を記憶する。情報54は、媒介現実コンテンツ52が表示された現実空間10に関する情報を含んでもよい。情報54は、ユーザが現実空間10で見た仮想視覚シーン22を、別の現実空間10で再生可能とする、現実空間の情報を含んでもよい。
媒介現実コンテンツ52とともに記憶された関連情報54は、第1の現実空間10のサイズ、第1の現実空間10の形状、媒介現実コンテンツ52が表示されたときのユーザの視点、媒介現実コンテンツ52が表示されたときの第1の現実空間10内のユーザの位置、媒介現実コンテンツ52が表示されたときの第1の現実空間10内のユーザの向き、媒介現実コンテンツ52が表示されたときの第1の現実空間10内の実際のオブジェクト11の位置、媒介現実コンテンツが表示されたときの第1の現実空間10に対する仮想オブジェクトの位置の少なくともいずれかに関する情報、またはその他適切な情報を含んでもよい。
媒介現実コンテンツ52が検索またはアクセスされると、情報54も検索またはアクセスされるように、情報54が媒介現実コンテンツ52に関連付けられてもよい。
装置30は、媒介現実、および/または拡張現実、および/または仮想現実用の、ユーザインタラクティブ媒介を実現してもよい。ユーザ入力回路構成44は、ユーザ入力43を使用してユーザ動作を検出する。これらのユーザ動作を使用して、コントローラ42は仮想視覚空間20内で何が起きるか判定する。これにより、仮想視覚空間20内で、視覚的要素28との相互作用が実現されうる。
装置30は、媒介現実、および/または拡張現実、および/または仮想現実用の、視点媒介を実現してもよい。ユーザ入力回路構成44は、ユーザ動作を検出する。これらのユーザ動作を使用して、コントローラ42は仮想視覚空間20内の視点24を判定して、仮想視覚シーン22を変化させる。視点24の位置および/または方向は、連続的に変化しうる。その場合、ユーザ動作によって視点24の位置および/または方向を変化させる。あるいは、視点24は、離散量子化位置および/または離散量子化方向を有しうる。その場合、ユーザ動作によって視点24の次の位置および/または方向へと跳躍して切り替える。
装置30は、媒介現実、拡張現実、または仮想現実用の、一人称視点を実現してもよい。ユーザ入力回路構成44は、ユーザ視点センサ45を使用して、ユーザの実際の視点14を検出する。ユーザの実際の視点を使用して、コントローラ42は、仮想視覚空間20内の視点24を判定して、仮想視覚シーン22を変化させる。再度図3Aを参照すると、ユーザ18は、実際の視点14を有する。ユーザ18は、実際の視点を変化させうる。例えば、実際の視点14の実際の場所13は、ユーザ18の場所であって、ユーザ18の物理的場所13を変えることで変えられる。例えば、実際の視点14の実際の方向15は、ユーザ18が向いている方向であって、ユーザ18の実際の方向を変えることで変えられる。実際の方向15は、例えば、ユーザ18がその頭部または視点の向きを変えるか、さらに/あるいはユーザがその視線方向を変えることで変えられる。ヘッドマウント装置30は、ユーザの頭部の向きの変化、および/またはユーザの視線方向の変化を測定することで、一人称視点媒介を実現するように使用されてもよい。
様々な、ただし必ずしもすべてではない例によれば、装置30は、入力回路構成44の部位として、実際の視点の変化を判定する視点センサ45を有する。
例えば、ユーザ18の新たな物理的場所13および実際の視点14は、多数の受信機への送信、さらに/あるいは多数の送信機からの受信によるGPS、三角測量(三辺測量)のような測位技術、加速度検出と統合を利用して判定できる。
例えば、加速度計、電子ジャイロスコープ、または電子コンパスを使用して、ユーザの頭部または視点の向きの変化と、それに伴う実際の視点14の実際の方向15の変化を判定してもよい。
例えば、コンピュータビジョンに基づいた瞳孔追跡技術を使用して、ユーザの片目または両目の動きを追跡し、それによりユーザの視線の方向と、それに伴う実際の視点14の実際の方向15の変化を判定してもよい。
装置30は、入力回路構成44の部位として、現実空間10を撮像する撮像素子47を備えてもよい。
撮像素子47の例としては、カメラとして動作するように構成された、デジタル撮像素子が挙げられる。当該カメラは、静止画および/または動画を撮影するように動作してもよい。様々な、ただし必ずしもすべてではない実施形態によれば、カメラは、現実空間10が様々な異なる視点から見られるよう、立体視またはその他空間分散配置されるように構成されてもよい。これにより、三次元画像の生成、さらに/あるいは例えば視差効果により奥行きを画定するような処理が可能となりうる。
様々な、ただし必ずしもすべてではない実施形態によれば、入力回路構成44は奥行きセンサ49を備える。奥行きセンサ49は、送信機および受信機を備えてもよい。送信機は、信号(例えば超音波や赤外線のような人間が感知できない信号)を送信し、受信機は反射した信号を受信する。単一の送信機と、単一の受信機を使用して、送信、受信間の飛行時間を測定することで、何らかの奥行き情報が得られる。より多くの送信機および/またはより多くの受信機を使用して(空間的多様性)、解像度を上げることもできる。一例では、送信機は、現実空間10を、光(好ましくは赤外線のような不可視光)で、空間依存パターンにより「塗り分け」るように構成される。受信機による所定のパターンの検出により、現実空間10が空間的に分解できる。現実空間10の空間的分解位置への距離は、飛行時間および/または立体視(受信機が送信機に対して立体視位置にある場合)により判定しうる。
様々な、ただし必ずしもすべてではない実施形態によれば、入力回路構成44は、撮像素子47および奥行きセンサ49の1つまたは複数に加えてまたは代えて、通信回路構成41を備えてもよい。この通信回路構成41は、現実空間10における1つまたは複数の遠隔撮像素子47、および/または現実空間10における遠隔奥行きセンサ49と通信してもよい。
装置30は、別の装置30と通信できるようにする通信回路構成41を備えてもよい。通信回路構成41は、媒介現実コンテンツ52および/または関連情報54を、1つ以上のその他装置30と共有可能にしてもよい。これにより、装置30は、別の装置30から情報を受信可能となる。受信された情報は、別の装置30が存在する現実空間10に関する情報を含んでもよい。
通信回路構成41は、装置30が、セルラーネットワーク、インターネット、ブルートゥース(登録商標)、低エネルギーブルートゥース、ブルートゥーススマート、6LoWPan(低エネルギーパーソナルエリアネットワークによるIPv6)、ZigBee、ANT+、近距離無線通信(Near Field Communication:NFC)、無線周波数識別(Radio Frequency Identification)、無線ローカルエリアネットワーク(無線LAN)などの任意の適切な通信ネットワーク内で通信可能となるようにしてもよい。
図5Bは、媒介現実および/または拡張現実および/または仮想現実のために仮想視覚空間20のモデルを更新する方法70の例を示す。
装置30は、例えば図5Aに示す方法60または同様の方法により、媒介現実、および/または拡張現実、および/または仮想現実を実現してもよい。コントローラ42は、仮想視覚空間20のモデル50を記憶および保持する。図4の例では、モデル50がメモリ46に保存される。モデル50は、コントローラ42に提供されてもよいし、コントローラ42により決定されてもよい。例えば、入力回路構成44のセンサを利用して、異なる複数の視点からの、仮想視覚空間20の重複する奥行き図を生成して、3次元モデルを生成するようにしてもよい。
奥行き図の生成に使用可能な異なる様々な技術が存在する。Kinect(商標)デバイスで用いられる受動システムの一例としては、赤外線によりオブジェクトがシンボルの不均一パターンで塗り分けられ、その反射光が複数のカメラを用いて測定、処理され、視差効果を用いることで、そのオブジェクトの位置を決定する場合が挙げられる。
ブロック62において、仮想視覚空間20のモデルが変化した否かが判定される。仮想視覚空間20のモデルが変化していれば、方法はブロック66に進む。仮想視覚空間20のモデルが変化していなければ、方法はブロック64に進む。
ブロック64において、仮想視覚空間20の視点24が変化したか否かが判定される。視点24が変化していれば、方法はブロック66に進む。視点24が変化していなければ、方法はブロック62に戻る。
ブロック66において、三次元仮想視覚空間20の二次元投影が、現在の視点24により定義される場所23および方向25で取られる。その後、投影は、視野26により限定されて、仮想視覚シーン22が生成される。次に方法は、ブロック62に戻る。
図5Bは、拡張現実のために仮想視覚空間20のモデルを更新する方法70の例を示す。装置30が拡張現実を実現すると、仮想視覚空間20は、現実空間10からのオブジェクト11と、現実空間10には存在しない視覚的要素28とを含む。このように視覚的要素28を組み合わせることを、人工仮想視覚空間と称してもよい。
ブロック72において、現実空間10が変化したか否かが判定される。現実空間10が変化していれば、方法はブロック76に進む。現実空間10が変化していなければ、方法はブロック74に進む。現実空間10の変化の検出は、差分を利用して画素単位で実現されてもよいし、移動するオブジェクトを追跡するコンピュータビジョンを利用してオブジェクト単位で実行されてもよい。
ブロック74において、人工仮想視覚空間が変化したかが判定される。人工仮想視覚空間が変化している場合、方法はブロック76に進む。人工仮想視覚空間が変化していない場合、方法はブロック72に戻る。人工仮想視覚空間はコントローラ42により生成されるため、視覚的要素28への変化は容易に検出できる。
ブロック76において、仮想視覚空間20のモデルが更新される。
図5Aおよび5Bに示されたブロックは、方法のステップおよび/またはコンピュータプログラム48のコードのセクションを表していてもよい。示されたブロックの特定の順序は、それらのブロックについて必要な順序または好ましい順序が存在することを必ずしも意味するものではなく、ブロックの順序および配置は変更されてもよい。さらに、いくつかのブロックを省略することも可能である。
図6A〜6Cは、ユーザが媒介現実コンテンツ52を知覚可能とする装置30を使用しているユーザ80の例を示す。装置30は、ユーザ80に対する仮想視覚シーン22の少なくとも一部の表示を可能とする。装置30はさらに、仮想視覚シーン22に対する音響シーンをユーザ80にレンダリング可能としてもよい。媒介現実コンテンツ52は一人称知覚媒介コンテンツであってもよく、これにより、現実空間10と、現実空間10内のユーザ80の位置により、ユーザ80が見ることができる仮想視覚シーン22が決定される。いくつかの例では、現実空間内のユーザ80の位置によりさらに、ユーザ80が聴くことのできる音響シーンが決定される。
図6A〜6Cの例では、装置30はヘッドマウント視覚装置84内に設けられる。ヘッドマウント視覚装置84は、ユーザ80の頭が動くと動くように、ユーザ80により装着されてもよい。ヘッドマウント視覚装置84は、仮想コンテンツをレンダリングするように構成されてもよい。そのような例では、ユーザ80はコンテンツに完全に没入しうる。この場合、ヘッドマウント視覚装置84を通じて現実シーン12が見ることはできない。別の例では、ヘッドマウント視覚装置84は、仮想視覚シーン22との組合せにより、ディスプレイ(複数可)32によってユーザに1つ以上の視覚的要素28が表示された状態で、生の現実シーン12を見ることができるようになる拡張現実用の透視可能構成であってもよい。この場合、バイザーが存在する場合は、これを通して生の現実シーン12が見えるように、バイザーは透明または半透明である。
ヘッドマウント視覚装置84は、拡張現実用のビデオ視聴構成として動作するものであってもよい。すなわち、現実シーン12の生映像または録画を、ユーザ80による視聴ためのディスプレイ32に表示可能とし、その際に1つまたは複数の視覚的要素28が同時に、ユーザ80による視聴ためのディスプレイ32に表示されることを可能とするものである。表示された現実シーン12と表示された1つまたは複数の視覚的要素28との組合せにより、仮想視覚シーン22がユーザ80に提供される。この場合、バイザーは不透明で、ディスプレイ32として利用できる。
ユーザ80が媒介現実コンテンツ52を体験する間、プロセッサ40は連続的に図5A(拡張現実コンテンツの場合、図5B)の方法を繰り返す。
ユーザ80は現実空間10内に存在する。現実空間10は、部屋またはその他適切な環境等の閉鎖空間を含んでもよい。仮想視覚空間20が、現実空間10内に表示されてもよい。仮想視覚空間20は、媒介現実コンテンツ52の一部を含んでもよい。ユーザ80は、現実空間10内を移動することで、仮想視覚空間20内を移動可能であってもよい。ユーザが仮想視覚空間20内を移動すると、当該ユーザが見る仮想視覚シーン22が変化するようにしてもよい。
ユーザ80が内部移動可能な仮想視覚空間20は、媒介現実コンテンツ52が表示される現実空間10のサイズおよび形状により決定される。仮想空間20内のユーザの移動は、現実空間10内の実際のオブジェクト11により制限されてもよい。例えば、現実空間10内に壁または家具製品が配置されていれば、これによりユーザ80の動きがブロックされる。実際のオブジェクト11は、ユーザ80が仮想視覚オブジェクト21に対して配置可能な位置を限定する場合があり、これにより、ユーザ80に提供可能な仮想視覚シーン22が制限されうる。
媒介現実コンテンツ52は、現実空間10の外にいるように知覚されるように表示されるコンテンツを含んでもよい。例えば、1つ以上の仮想視覚オブジェクト21が、現実空間10の境界の先にあるように見えるように表示されてもよい。この場合、ユーザ80は、現実空間10内の壁またはその他実際のオブジェクトにより、そのような仮想視覚オブジェクト21に移動することが妨げられてもよい。現実空間10の境界を示すような、視覚マーカ、またはその他表示が、ユーザ80に提供されてもよい。
図6Aの例において、ユーザ80は第1の現実空間10A内の媒介現実コンテンツ52を見ている。第1の現実空間10Aは、矩形の部屋82Aを含む。部屋82Aは、部屋82A内に仮想視覚オブジェクト21が表示されると、ユーザ80が仮想視覚オブジェクト21の周囲を動き回れる空間が十分あるものであってもよい。これにより、ユーザ80は仮想視覚オブジェクト21の様々な側面を含む仮想視覚シーン22を見ることが可能である。
図6Bの例では、ユーザ80は第2の現実空間10B内で同じ媒介現実コンテンツ52を見ている。第2の現実空間10Bはさらに、矩形の部屋82Bを含むが、第2の現実空間10B内の部屋82Bは、第1の現実空間10A内の部屋82Aよりも小さい。第2の現実空間10B内の部屋82Bが第1の部屋82Aよりも小さいため、ユーザ80が移動可能な仮想視覚空間20は、第1の部屋82Aよりも、第2の部屋82Bの方が小さい。したがって、第2の現実空間10B内のユーザ80は、第1の現実空間10A内のユーザ80と同様に媒介現実コンテンツ52と相互作用することが防げられる場合がある。例えば、仮想視覚オブジェクト21が表示された部屋82B内には、ユーザ80が仮想視覚オブジェクト21の周囲を動き回るのに十分な空間がない可能性がある。これにより、第2の現実空間10B内のユーザ80に提供可能な仮想視覚オブジェクト21を含む仮想視覚シーン22が制限される場合があり、これにより、第1の現実空間10Aで見える仮想視覚シーン22の一部が第2の現実空間10B内で見えなくなりうる。
図6Cの例では、ユーザ80は第3の現実空間10Cにおいて同じ媒介現実コンテンツ52を見ている。第3の現実空間10Cは、図6Aおよび6Bの例とは異なる形状の部屋82Cを含む。図6Cの例では、現実空間10CはL字状の部屋82Cを含む。部屋82Cが異なる形状なので、ユーザ80が内部移動可能な仮想視覚空間20の形状も異なる。したがって、ユーザは仮想視覚空間20の異なる部分内に移動し、異なる仮想視覚シーン22を見ることができる。
したがって、ユーザ80がどのように媒介現実コンテンツ52を体験するかは、媒介現実コンテンツ52が表示される現実空間10に依存する。これは例えば、ユーザ80が媒介現実コンテンツ52を、異なる現実空間に存在するユーザと共有したい場合に不利となりうる。ユーザ80は、マルチプレーヤゲームまたはマルチユーザ体験を可能とする媒介現実コンテンツ52を共有したいと思う場合がある。これは、ユーザ80が異なる複数の現実空間10で同じ媒介現実コンテンツ52を使用したい場合にも不利となりうる。例えば、ユーザ80は第1の部屋82内で媒介現実コンテンツ52をレンダリングし始め、この媒介現実コンテンツ52を一時停止して、異なる部屋82でレンダリングを継続する場合がある。
図7は、媒介現実コンテンツ52が異なる複数の現実空間10内で表示される場合にも、複数のユーザ80が同じ媒介現実コンテンツ52の同様の体験を味わい、共有できるようにする方法の例を示す。方法は、上述の装置30を利用して実施されてもよい。
この方法は、ブロック90において、媒介現実コンテンツ52および関連情報54を記憶することを含む。関連情報54は、媒介現実コンテンツ52が表示された第1の現実空間10に関する。
関連情報54は、第1の現実空間82内のユーザ80に提供可能とされた仮想視覚シーン22の表示を提供する、任意の情報を含んでもよい。例えば、関連情報54は第1の現実空間10Aのサイズおよび/または形状を示す情報を含んでもよい。この情報は、ユーザ80が内部移動可能な仮想視覚空間20に対応する媒介現実コンテンツ52の一部を示してもよい。
関連情報54はさらに、媒介現実コンテンツ52が表示されたときの第1の現実空間10A内のユーザ80の位置および/または向きに関する情報を含んでもよい。この情報は、ユーザ80の視点を示してもよい。これは、ユーザ80が見ていた仮想視覚シーン22を示してもよい。
関連情報54はさらに、ユーザ80がどのように媒介現実コンテンツ52と相互作用可能かに影響する可能性のある、現実空間10の情報を含んでもよい。例えば、関連情報54は、現実空間10A内の実際のオブジェクト11についての情報を含んでもよい。実際のオブジェクト11は、現実空間10内でのユーザ80の移動を規制する場合があり、これにより、ユーザが内部移動可能な仮想視覚空間20を限定しうる。したがって、ユーザ80に提供可能な仮想視覚オブジェクト21を含む仮想視覚シーン22を決定しうる。
図7の例で使用された関連情報54は、第1の現実空間10Aのサイズ、第1の現実空間10Aの形状、媒介現実コンテンツ52が表示されたときのユーザの視点、媒介現実コンテンツ52が表示されたときの第1の現実空間10A内のユーザの位置、媒介現実コンテンツ52が表示されたときの第1の現実空間10A内のユーザの向き、媒介現実コンテンツ52が表示されたときの第1の現実空間10A内の実際のオブジェクト11の位置、媒介現実コンテンツが表示されたときの第1の現実空間10Aに対する仮想オブジェクトの位置の少なくともいずれかに関する情報、またはその他適切な情報を含んでもよい。
媒介現実コンテンツ52が検索またはアクセスされると、情報54も検索またはアクセスされるように、情報54が媒介現実コンテンツ52に関連付けられてもよい。
方法は、ブロック92において、第2の現実空間10Bで表示する媒介現実コンテンツ52を選択することを含む。媒介現実コンテンツ52は、ユーザが入力43を作動することに応じて選択されてもよい。第2の現実空間10B内で表示された媒介現実コンテンツ52は、第2のユーザに表示されてもよい。第2のユーザは、第1の現実空間10A内で媒介現実コンテンツを見た第1のユーザと異なってもよい。
いくつかの例では、媒介現実コンテンツ52を見た第1のユーザ80が、媒介現実コンテンツ52を別のユーザと共有することを選択してもよい。別の例では、媒介現実コンテンツ52を見ていない第2のユーザ80が、媒介現実コンテンツ52を選択し、媒介現実コンテンツ52を共有するように、第1のユーザ80に要求してもよい。二人のユーザ80は、異なる現実空間10A、B内に存在してもよい。いくつかの例では、媒介現実コンテンツ52が共有されて、二人のユーザ80が同時に同じ媒介現実コンテンツ52を見られるようになってもよい。これにより、媒介現実コンテンツ52内で、二人のユーザ80が相互作用可能となってもよい。
別の例では、媒介現実コンテンツ52が同じユーザ80により選択され、異なる時点で異なる現実空間10で見られるようになってもよい。例えば、ユーザ80は第1の現実空間10内で媒介現実コンテンツ52のレンダリングを開始してもよい。続いてユーザ80は媒介現実コンテンツ52を一時停止して、異なる現実空間10で後のある時点において媒介現実コンテンツ52のレンダリングを続けてもよい。
方法は、ブロック94において、第2の現実空間10Bに関する情報を取得することを含む。第2の現実空間10Bに関する情報は、任意の適切な手段で取得されてもよい。媒介現実コンテンツ52が、異なるユーザ80に関連付けられた異なる複数の装置30間で共有される例では、通信回路構成41は、異なる複数の装置30から情報を受信するように利用されてもよい。異なる複数の現実空間10A、Bで同じ装置30が使用される場合、奥行きセンサ49と、画像センサ47等の入力を利用して、第2の現実空間10Bに関する情報を取得してもよい。
第2の現実空間10Bに関する情報は、ユーザ80が内部移動可能な仮想視覚空間20に影響する、第2の現実空間10Bの特徴についての情報を含んでもよい。第2の現実空間10Bに関する情報は、現実空間10Bのサイズおよび/または形状に関する情報を含んでもよい。いくつかの例では、情報はユーザが現実空間10A、B内でどのように仮想視覚オブジェクト21と相互作用可能かに影響する可能性のある、実際のオブジェクト11に関する情報を含んでもよい。
方法は、ブロック96において、第1の現実空間10Aに関する情報54と、第2の現実空間10Bに関する情報とを使用することを含み、これにより、媒介現実コンテンツ52を第2の現実空間10B内での表示用に適応させる。
媒介現実コンテンツ52の適応により、第1の現実空間10Aおよび第2の現実空間10Bのいずれにおいても、ユーザ80が同じ仮想視覚空間20内で移動できるように、媒介現実コンテンツ52が修正される。これにより、第1の現実空間10A内のユーザ80が見ていた仮想視覚シーン22が、第2の現実空間10B内のユーザ80にも見られるようになってもよい。これにより、第1の現実空間10A内でのユーザ80の体験が、第2の現実空間10B内で可能な体験に一致するか、略一致する。
媒介現実コンテンツ52の適応は、異なる複数の現実空間10の内部で、ユーザが同じ仮想視覚空間20内で移動できる、さらに/あるいは同じ仮想視覚シーン22を見ることができるようにする、任意の修正を含む。いくつかの例では、媒介現実コンテンツ52の適応は、第2の現実空間10B内の1つ以上の仮想視覚オブジェクト21の知覚位置を制御することを含んでもよい。これにより、第1の現実空間10Aおよび第2の現実空間10Bのいずれにおいても、ユーザ80が仮想視覚オブジェクト21に対して同じ位置に移動できるように、仮想視覚オブジェクト21を配置可能としてもよい。例えば、ユーザ80が第1の現実空間10A内の仮想視覚オブジェクト21の周囲を動き回れる場合、媒介現実コンテンツ52内における仮想視覚オブジェクト21の位置は、ユーザ80が第2の現実空間10B内でも仮想視覚オブジェクト21の周囲を動き回れるように、修正してもよい。
いくつかの例では、媒介現実コンテンツ52の適応は、第1の現実空間10Aでレンダリングされた仮想視覚空間20を、第2の現実空間10Bに整合することを含んでもよい。例えば、第2の現実空間10Bが第1の現実空間10Aよりも小さいと、第2の現実空間10B内のユーザは、より小さい仮想視覚空間20内でしか動けない。これにより、第1の現実空間10A内で動くユーザ80が到達可能な仮想視覚オブジェクト21の一部が、第2の現実空間10B内で動くユーザ80には到達不能となりうる。媒介現実コンテンツ52を整合することにより、主要な仮想視覚オブジェクト21または任意の選択された仮想視覚オブジェクト21が、第2の現実空間10内のユーザ80が移動して到達可能なように仮想視覚空間20内に配置されるように、媒介現実コンテンツ52を配置することになってもよい。
いくつかの例では、媒介現実コンテンツ52の適応は、媒介現実コンテンツ52の仮想視覚空間20をトリミングすることを含んでもよい。仮想視覚空間20のトリミングにより、第1の現実空間10A内で表示される1つ以上の仮想視覚オブジェクト21が、第2の現実空間10Bでも表示されることが保証されうる。仮想視覚空間20の任意の適切な位置で、トリミングを実施してもよい。例えば、第1の現実空間10A内で2つの仮想視覚オブジェクト21が表示される場合、媒介現実コンテンツ52がより小さい第2の現実空間10B内で表示される際に、2つの仮想視覚オブジェクト21の間の仮想視覚空間20の一部をトリミングしてもよい。トリミングは、異なるサイズの異なる現実空間10A、Bにおいて、仮想視覚オブジェクト21を同じサイズで表示可能としてもよい。これは、仮想視覚オブジェクト21間の媒介現実コンテンツ52が、ユーザの興味をそそらないと思われる場合に便利となりうる。
いくつかの例では、媒介現実コンテンツ52の適応は、媒介現実コンテンツ52の仮想視覚空間20を拡縮することを含んでもよい。拡縮は、仮想視覚空間20のサイズを変えることを含んでもよく、これにより、仮想視覚空間20内で仮想視覚オブジェクト21が再配置されうる。拡縮により、仮想視覚空間20のサイズは、第1のおよび第2の現実空間10A、Bのサイズの差異に応じて拡縮してもよい。
拡縮が、第1のおよび第2の現実空間10A、Bの異なるサイズおよび形状に依存することで、異なる形態に応じて異なる拡縮が実現されうる。異なる現実空間10A、10Bに対して、媒介現実コンテンツ52を最適化可能となるように、媒介現実コンテンツ52の異なる軸に対して、異なる拡縮を利用してもよい。
いくつかの例では、媒介現実コンテンツ52の適応は、仮想視覚空間20内の1つ以上の仮想視覚オブジェクト21の拡大率を変更することを含んでもよい。これにより、第1の現実空間10Aで表示される仮想視覚オブジェクト21の全体が、第2の現実空間10Bでも表示されることが保証されうる。
いくつかの例では、媒介現実コンテンツ52の適応は、少なくとも1つの仮想視覚オブジェクト21を仮想視覚空間20内で動かすことを含んでもよい。例えば、第2の現実空間10B内に媒介現実コンテンツ52が表示されると、ユーザが第1の現実空間10A内と同様に仮想視覚オブジェクト21に対して動けるように、仮想視覚オブジェクト21を動かすことを含んでもよい。これにより、仮想視覚オブジェクト21が、壁または家具製品等の任意の実際のオブジェクト11に隣接表示されないことを保証しうる。隣接表示は、ユーザ80が仮想視覚オブジェクト21の周囲を動きまわることを妨げるおそれがある。
いくつかの例では、媒介現実コンテンツ52の適応は、第2の現実空間10B内で媒介現実コンテンツ52の表示位置を動かすことを含んでもよい。例えば、媒介現実コンテンツ52が部屋82の中心に表示されるように初期設定されているとする。ここで、媒介現実コンテンツ52の表示場所として、部屋82の別部分の方がよいと判断される場合がある。例えば、部屋82の別の部分の方が、サイズまたは形状がよりよい、さらに/あるいは媒介現実コンテンツ52のユーザ体験を制限する実際のオブジェクト11が少なくなりうる。
いくつかの例では、媒介現実コンテンツ52の適応は、第2の現実空間10B内で媒介現実コンテンツ52の表示位置を回転することを含んでもよい。媒介現実コンテンツ52の回転を、媒介現実コンテンツ52のその他の動きに組み合わせてもよい。
第1の現実空間10Aでのユーザ80の体験が、第2の現実空間10B内で可能な体験に一致するまたは略一致することを保証するように、媒介現実コンテンツ52の視覚コンテンツと、聴覚コンテンツの両方を適応させてもよい。聴覚コンテンツの適応は、視覚コンテンツになされる任意の適応に対応してもよい。例えば、仮想視覚オブジェクト21が音源に対応する場合、仮想視覚オブジェクト21の任意の動きまたは修正は、対応する音源の移動または修正を伴う。同様に、視覚コンテンツの任意の回転または動きは、対応する聴覚コンテンツの動きまたは回転を伴ってもよい。
異なる複数の現実空間10についての情報54は、媒介現実コンテンツ52に対して行うべき適応を判断するために使用される。いくつかの例では、プロセッサ40は情報54を使って、第1の現実空間10と第2の現実空間10とを比較して、媒介現実コンテンツ52に対して必要な変更を判定してもよい。
いくつかの例では、装置30はユーザ80に媒介現実コンテンツ52の適合を選択可能としてもよい。例えば、第2の現実空間10と、第2の現実空間10内で見られる仮想視覚シーン22のプレビューをユーザ80に表示しうる。これによりユーザ80は、複数の現実空間10のいずれでも、同様に媒介現実コンテンツ52を体験できるように、媒介現実コンテンツ52の適合を選択できる。例えば、ユーザ80は、第2の現実空間10内に特定の仮想視覚オブジェクト21を嵌めることができるように、仮想視覚シーン22を移動または再拡縮することを選んでもよい。
媒介現実コンテンツ52の適応は、任意の適切な装置で実行されてもよい。いくつかの例では、ユーザ80の使用するレンダリングデバイス内のコントローラ42で実行されてもよい。別の例では、適応の少なくとも一部は、遠隔サーバ等のその他1つ以上の装置により実行されてもよい。
いくつかの例では、任意の適切なトリガイベントに応じて、自動的に媒介現実コンテンツ52が適合されてもよい。トリガイベントは、ユーザ80が別のユーザとコンテンツを共有することを選択すること、ユーザ80が異なる現実空間10で媒介現実コンテンツ52を使用することを選択すること、またはその他任意のトリガイベントであってもよい。適合が自動的に実行されると、トリガイベント検出後に、ユーザ80によるさらなる入力が不要となる。別の例では、媒介現実コンテンツ52の適合はユーザ入力を要するものであってもよい。例えば、ユーザ80は、主要な仮想視覚オブジェクト21が適応された媒介現実コンテンツ52内に含まれるように、媒介現実コンテンツ52がどのように再拡縮または移動されるかを選んでもよい。
図8Aから図8Cは、第1の現実空間10A内の第1のユーザ80Aが、媒介現実コンテンツ52を第2の現実空間10B内の第2のユーザ80Bにより使用されるように適合させる例を示す。この例では、媒介現実コンテンツ52は、第1の現実空間10Aで表示された仮想視覚空間20を第2の現実空間10Bに整合するように適合される。この整合により、第1の現実空間10Aおよび第2の現実空間10Bの両方内で、ユーザ80が移動可能な媒介現実コンテンツ52の一部に対応する仮想視覚空間20が存在することが保証される。この整合により、この仮想視覚空間20が主要な仮想視覚オブジェクト21を含むことが保証される。したがって、ユーザ80が第1の現実空間10Aおよび第2の現実空間10Bの両方において、これら仮想視覚オブジェクト21を同様に体験できるようになる。
図8Aは、媒介現実コンテンツ52の仮想視覚シーン22を見る第1のユーザ80Aの側面および平面図である。ユーザ80Aは、矩形の部屋82Aを含む第1の現実空間10A内に配置されている。媒介現実コンテンツ52は、第1の現実空間10A内に表示されていると知覚される第1の仮想視覚空間20Aと、第1の現実空間10A内に表示されていると知覚されない第2の仮想視覚空間20Bとを含む。図8Aにおいて、第1の仮想視覚空間20Aは破線で示される。第2の仮想視覚空間20Bは、図8Aの破線外の領域である。
ユーザ80Aは、第1の仮想視覚空間20A内で移動可能である。これにより、第1の仮想視覚空間20A内の仮想視覚オブジェクト21にユーザ80Aが到達できる、さらに/あるいはその周囲を動き回れる。ただし、ユーザ80Aは第1の仮想視覚空間20A外の仮想視覚オブジェクト21を見えても、そこに到達したり、その周囲を動き回ったりできないこともありうる。
図8Aの例では、2つの仮想視覚オブジェクト21Aおよび21Bが、第1の仮想視覚空間20A内に表示される。この例では、第1の仮想視覚オブジェクト21Aは木で、第2の第2の仮想視覚オブジェクト21Bは車である。第3の仮想視覚オブジェクト21Cは、第1の仮想視覚空間20Aの外に表示されている。この例では、第3の仮想視覚オブジェクト21Cはベンチである。第1の部屋内の第1のユーザ80Aは、木と、車それぞれの周囲を動き回れる。第1のユーザ80Aはベンチを見ることはできるが、部屋82Aの壁に邪魔されて、そこまで移動することはできない。
第1のユーザ80Aは、第2のユーザ80Bが、同様に媒介現実コンテンツ52を体験可能となるように、第2のユーザ80Bと媒介現実コンテンツ52を共有することを希望する。これにより、第2のユーザ80Bが、同じ仮想視覚シーン22を見て、同じ仮想視覚オブジェクト21に相互作用可能となる。ユーザ80は、仮想視覚オブジェクト21に到達したり、その周囲を動いたりすることで、仮想視覚オブジェクト21と相互作用可能である。第2のユーザ80Bは、より小さい四角形の部屋82Bを含む第2の現実空間10B内に存在する。
入力回路構成43は、第2のユーザ80Bと媒介現実コンテンツ52を共有したいという希望を示すユーザ入力を実行する第1のユーザ80Aを検出してもよい。この入力に応じて、装置30は、第2のユーザ80Bが存在する現実空間10Bについての情報を取得してもよい。図8Aから8Cの例では、情報は第2の部屋82Bのサイズと形状についての情報を含んでもよい。
第2の現実空間10Bに関する情報を使用して、第2の部屋82Bのテンプレート100を生成する。第2の部屋82Bのテンプレート100は、仮想視覚シーン22内に表示され、これにより、第1のユーザ80Aに対して、媒介現実コンテンツ52を共有すれば第2のユーザ80Bが動き回れる仮想視覚空間20Cのプレビューが提供される。図8Aおよび図8Bの例では、テンプレート100は濃い灰色の領域として示されている。テンプレート100は、第2のユーザ80Bがその中を移動可能な仮想視覚空間20Cの境界を示す。
第2の部屋82Bは第1の部屋82Aよりも小さいため、第2のユーザ80Bがその中を移動可能な仮想視覚空間20Cは、第1のユーザ80Aがその中を移動可能な仮想視覚空間20Aよりも小さい。図8Aにおいて、テンプレート100は仮想視覚オブジェクト21A、21Bの一部のみを網羅する。したがって、仮想視覚オブジェクト21A、21Bの一部のみが、第2のユーザ80Bがその中を移動可能な仮想視覚空間20Cに含まれる。これにより、第2のユーザ80Bが仮想視覚オブジェクト21A、21Bに到達するまたはその周囲を動き回ることが防げられる場合がある。ただし、第1のユーザ80Aが第2のユーザ80Bに仮想視覚オブジェクト21A、21Bに到達するまたはその周囲を動き回ることができるようにしたいと思う可能性があり、そのように媒介現実コンテンツ52を共有前に適合してもよい。
図8Bは、第2のユーザ80Bが仮想視覚オブジェクト21A、21Bの両方に到達するように、さらに/あるいはその周囲を動き回ることができるように、媒介現実コンテンツ52を適合した第1のユーザ80Aの側面および平面視である。図8Bの例では、ユーザは仮想視覚シーン22内でテンプレート100の位置を動かすことで、第2の現実空間10B内に表示される媒介現実コンテンツ52の位置を制御する。テンプレート100は、入力回路構成43が検出したユーザ入力に応じて動かされてもよい。図8Bにおいて、ユーザは仮想視覚オブジェクト21Aおよび21Bの両方を網羅するように、テンプレート100を動かしている。
図8Bの例では、ユーザは各種仮想視覚オブジェクト21A、21B、21C間の距離を変えることで、媒介現実コンテンツの拡縮をさらに制御する。図8Bの例では、第2の仮想視覚オブジェクト21Bは、他の仮想視覚オブジェクト21A、21Cに近くなるように動かされている。なお、別の例では、別の適合がなされることが理解されよう。例えば、媒介現実コンテンツ52を回転、または現実空間10内においてその他の方法で動かしてもよい。
視覚コンテンツが適合されると、聴覚コンテンツも適合される。図8Bの例では、第2の仮想視覚オブジェクト21Bはユーザ80Aの近くに動かされている。第2の仮想視覚オブジェクト21Bに対応する音源も、ユーザ80Aの近くに動かされてもよく、これにより、適合された音が、第2の仮想視覚オブジェクト21Bの適合された位置に対応する。
第1のユーザ80Aが、媒介現実コンテンツ52がどのように適合されるか選択すると、媒介現実コンテンツ52が第2のユーザ80Bと共有されてもよい。図8Cは、第1の現実空間10Aにおいて媒介現実コンテンツ52を見る第1のユーザ80Aと、第2の現実空間10Bにおいて媒介現実コンテンツ52を見る第2のユーザ80Bを示す。第2のユーザ80Bは、適合された媒介現実コンテンツ52を見ている。媒介現実コンテンツ52の位置は、第2の部屋82Bと整合され、これにより、第2のユーザ80Bがその中を移動可能な現実空間10が、仮想視覚オブジェクト21A、21Cの両方を含む仮想視覚空間20Cに対応する。
図8Cは、媒介現実コンテンツ52をレンダリングする第1のユーザ80Aおよび第2のユーザ80Bの平面図を示す。媒介現実コンテンツ52は、第1のユーザ80Aで示されるように、第2のユーザ80Bに対して適合され、これにより、第1のユーザ80Aおよび第2のユーザ80Bが、仮想視覚オブジェクト21A、21Bを含む、同様の仮想視覚シーン22を見ている。仮想視覚シーン22は、同じ仮想視覚オブジェクト21A、21Bを含むということで同様となる。仮想視覚オブジェクト21A、21B周囲の媒介現実コンテンツは、異なるユーザ80A、80B間で異なりうるが、第1のユーザ80Aおよび第2のユーザ80Bの両者が、仮想視覚オブジェクト21A、21Bへと移動でき、その周囲を動き回れる。これにより、第1のユーザ80Aおよび第2のユーザ80Bが同様に媒介現実コンテンツ52を体験することが保証されうる。
いくつかの例では、ユーザ80A、80Bの両方が、媒介現実コンテンツ52を同時に見てもよい。これにより、ユーザ80A、80Bが媒介現実コンテンツ52を使いながら、相互作用可能となる。
いくつかの例では、第1のユーザ80Aが媒介現実コンテンツ52を第2のユーザ80Bと共有すると、第1のユーザ80Aに対してレンダリングされたコンテンツは変わらずに、媒介現実コンテンツ52が第2のユーザ80Bに対して適合される。別の例では、第1のユーザ80Aが媒介現実コンテンツ52を第2のユーザ80Bと共有すると、媒介現実コンテンツ52が第1のユーザ80Aおよび第2のユーザ80Bの両方に適合されうる。これにより、媒介現実コンテンツ52が第1のユーザ80Aに対しては変更されるが、同一の仮想視覚シーンを第1のユーザ80Aおよび第2のユーザ80Bの両方に提供されうる。
図9A〜9Dは、異なる複数の現実空間10で使用するため、媒介現実コンテンツ52の適合を選択する第1のユーザ80Aの例を示す。
図9Aは、第1の部屋82Aを含む第1の現実空間10Aと、第2の部屋82Bを含む第2の現実空間10Bの平面図である。第1の部屋82AはL字状の部屋である。第2の部屋82Bは第1の部屋82Aよりも小さい。第1の部屋82A内の第1のユーザ80Aは、見ている媒介現実コンテンツ52を第2の部屋82B内の第2のユーザ80Bと共有したいと望む場合がある。
第1のユーザ80Aが媒介現実コンテンツ52を共有したいことを示すと、第2の現実空間10Bについての情報が得られる。この情報は、第2の部屋82Bのサイズと形状を含む。図9Bでは、この情報を使用して、第2の部屋82Bのテンプレート100が生成され、これが第1のユーザの装置30を介して、第1のユーザ80Aに表示される。図9Bでは、第2の部屋82Bのテンプレート100が、第1の部屋82Aの平面図110に重なって表示される。これにより、第2のユーザ80Bがその中を移動可能な仮想視覚空間20に、媒介現実コンテンツ52のどの部分が含まれるかが、第1のユーザ80Aに示される。
第2の部屋82Bのテンプレート100は、最初に初期位置に表示されてもよい。初期位置は、第1の部屋82Aの平面図110の中心であってもよい。第1のユーザ80Aは、第2のユーザ80Bが媒介現実コンテンツ52の別の部分でも移動できるようになることを望む場合がある。例えば、第1のユーザ80Aにとって最も興味深い仮想視覚オブジェクト21が、第1の部屋82Aの別の部分に配置されてもよい。このような場合、第1のユーザ80Aはユーザ入力により、第2の部屋82Bのテンプレート100を、初期位置から選択位置に動かしてもよい。
図9Cは、初期位置からユーザ80による選択位置に動かされたテンプレートを示す。図9A〜9Dの例では、テンプレート100は現実空間内で動かされ、時計回りに90°回転されている。異なる複数の現実空間10のサイズおよび形状に応じて、テンプレート100のその他の動きが、本開示の異なる形態で実施されてもよい。
図9Dにおいて、第1のユーザ80Aはテンプレート100を選択位置に移動している。第1のユーザ80Aは、媒介現実コンテンツ52のこの部分を共有したいという位置を確認するユーザ入力を実行してもよい。このユーザ入力に応じて、装置30は媒介現実コンテンツ52を、第2のユーザ80Bと共有可能なように、第2の部屋82B内で再配置されるように、適合させてもよい。
図10は、媒介現実および/または拡張現実および/または仮想現実を可能にする例示的方法を示す。図10は、媒介現実コンテンツ52が同じユーザ80により使用された例を示す。例えば、ユーザ80は第1の時間で、第1の現実空間10A内で媒介現実コンテンツ52を使用していてもよい。その後、ユーザ80は別の時間で、第2の現実空間10Bにおいて媒介現実コンテンツ52を使用し続けることを望む場合がある。
ブロック131において、ユーザ80は媒介現実コンテンツ52を選択する。媒介現実コンテンツ52は、ユーザ80により既に以前に使用された媒介現実コンテンツ52でありうる。媒介現実コンテンツ52は、媒介現実コンテンツ52が利用された現実空間10Aに関する関連情報54とともに記憶される。ブロック132において、媒介現実コンテンツ52と関連情報54とがマッピング処理に提供される。このマッピング処理はプロセッサ40で実行されてもよい。
ブロック133において、ユーザ80の現在の現実空間10Bについての情報139も、マッピング処理に提供される。現在の現実空間10Bについての情報139は、入力回路構成43またはその他の適切な手段を利用して取得されてもよい。
マッピング処理は、各現実空間についての情報を使用して、どのように媒介現実コンテンツ52が適合されるべきか判断する。媒介現実コンテンツ52は適合されると、ブロック134において装置30によりレンダリングされる。例えば、装置30のディスプレイ32に表示される。ブロック135において、ユーザは仮想視覚シーンを見て、装置30から提供された音響シーンを聴く。
図11は、媒介現実および/または拡張現実および/または仮想現実を可能にする別の例示的方法を示す。図11は、第1のユーザ80Aが第2のユーザ80Bと媒介現実コンテンツ52を共有した例を示す。
ブロック141において、第1のユーザ80Aは媒介現実コンテンツ52を選択する。媒介現実コンテンツ52は、第1の現実空間10A内の第1のユーザ80Aにより使用されたコンテンツであってもよい。媒介現実コンテンツ52は、第1のユーザ80Aが内部で媒介現実コンテンツ52を使用した現実空間10Aに関する関連情報54とともに記憶される。
ブロック142において、第1のユーザ80Aは、媒介現実コンテンツ52を第2のユーザ80Bと共有したいということを示すユーザ入力を行う。ブロック143において、第2のユーザ80Bは媒介現実コンテンツ52に接続するためのユーザ入力を行う。例えば、第2のユーザ80Bは媒介現実コンテンツ52を受信したいと示してもよい。
ブロック144において、媒介現実コンテンツ52はマッピング処理に提供される。媒介現実コンテンツ52は、第1の現実空間10Aについての関連情報が設けられてもよい。いくつかの例では、ブロック145において、第1の現実空間についての情報が別個に取得される場合がある。ブロック145において、マッピング処理によって、第2のユーザ80Bが配置された現実空間10Bについての情報149も取得する。
マッピング処理は、プロセッサ40で実行されてもよい。マッピング処理は、各現実空間10A、10Bの情報を使用して、媒介現実コンテンツ52がどのように適合されるべきか決定する。媒介現実コンテンツ52は適合されると、ブロック146において装置30によりレンダリングされる。例えば、それは装置30のディスプレイ32に表示される。ブロック147において、第1のユーザ80Aは仮想視覚シーン22を見て、第1の装置30により提示される音響シーンを聴く。一方、第2のユーザ80Bは、第2の装置30を介して提示された仮想視覚シーン22を見る。第1のユーザ80Aおよび第2のユーザ80Bは、同じ仮想視覚シーン22を同時に見てもよい。
図11から18を参照して説明した方法は、上述のまたはそれに類する任意の適切な装置(例えば装置30、400)、コンピュータプログラム(例えばコンピュータプログラム46、416)またはシステム(例えばシステム100)で実行されてもよい。
上述の例では、1つまたは複数のコンピュータプログラムについて言及されている。例えば、コンピュータプログラム48のいずれかまたはコンピュータプログラム48の組合せであるコンピュータプログラムは、前述の方法を実行するように構成されてもよい。
さらに、例えば、装置30は、少なくとも1つのプロセッサ40と、コンピュータプログラムコードを含む少なくとも1つのメモリ46とを備えてもよい。少なくとも1つのメモリ46とコンピュータプログラムコードは、少なくとも1つのプロセッサ40とともに、装置30に少なくとも、媒介現実コンテンツ52および媒介現実コンテンツ52が表示された第1の現実空間10Aに関する関連情報を記憶することと(90)、第2の現実空間10B内で表示される媒介現実コンテンツ52を選択することと(92)、第2の現実空間10Bに関する情報を取得することと(94)、第1の現実空間10Aに関する情報と、第2の現実空間10Bに関する情報とを使用して、第2の現実空間10B内で表示されるように媒介現実コンテンツ52を適合させることと、を実行させるように構成される。
コンピュータプログラム48は、任意の適切な配信メカニズムを介して装置30に送られてもよい。この配信メカニズムは、例えば、非一時的コンピュータ可読記憶媒体、コンピュータプログラム製品、メモリデバイス、コンパクトディスク読取り専用メモリ(Compact Disc Read-Only Memory:CD−ROM)またはデジタルバーサタイルディスク(Digital Versatile Disc:DVD)などの記録媒体、コンピュータプログラム48を有形に体現する製品であってもよい。配信メカニズムは、コンピュータプログラム48を確実に伝送するよう構成された信号であってもよい。装置30は、コンピュータプログラム48をコンピュータデータ信号として伝搬または送信してもよい。
記載された各種方法は、装置30、例えば電子装置30によって実行されてもよいことが上述より明らかであろう。
いくつかの例では電子装置30は、ヘッドマウント音響出力デバイスまたはそのような音響出力デバイス用モジュールの一部であってもよい。これに加えて、またはこれに代えて、いくつかの例では電子装置30は、ユーザに対して視覚的に、および/または聴覚的に、および/または触覚的に、情報をレンダリングするレンダリングデバイス32を備えるヘッドマウント装置の一部であってもよい。
「コンピュータ可読記憶媒体」、「コンピュータプログラム製品」、「有形に体現されたコンピュータプログラム」など、または「コントローラ」、「コンピュータ」、「プロセッサ」などへの言及は、シングル/マルチプロセッサアーキテクチャおよび順次(ノイマン型)/並列アーキテクチャなどの種々のアーキテクチャを有するコンピュータのみでなく、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array:FPGA)、特定用途向け集積回路(Application Specific Circuit:ASIC)、信号処理デバイス、およびその他の処理回路構成などの特殊回路も含むと理解すべきである。コンピュータプログラム、命令、コードなどへの言及は、プログラマブルプロセッサのソフトウェア、または例えばプロセッサのための命令であるか、固定機能デバイス、ゲートアレイ、もしくはプログラマブル論理デバイスなどの構成設定であるかを問わない、ハードウェアデバイスのプログラマブルコンテンツなどのファームウェアを含むと理解されるべきである。
本願において使用される「回路構成」という用語は、以下のすべてを指す。
(a)ハードウェアのみの回路実装(アナログおよび/またはデジタル回路構成のみでの実装など)、
(b)回路とソフトウェア(および/またはファームウェア)との組合せ、例えば(該当する場合)、(i)プロセッサ(複数可)の組合せ、または(ii)携帯電話またはサーバなどの装置に様々な機能を実行させるべく協働する、プロセッサ(複数可)/ソフトウェア(デジタル信号プロセッサ(複数可)を含む)、ソフトウェア、およびメモリ(複数可)の一部、
(c)回路、例えばソフトウェアまたはファームウェアが物理的に存在しなくても動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサ(複数可)またはマイクロプロセッサ(複数可)の一部。
「回路構成」のこの定義は、任意の請求項を含め本願におけるこの用語の使用すべてに当てはまる。さらなる例として、本願において使用される「回路構成」という用語は、プロセッサ(または複数のプロセッサ)のみ、またはプロセッサの一部およびその(もしくはそれらの)付随するソフトウェアおよび/またはファームウェアの実装も対象とするであろう。「回路構成」という用語は、例えば、特定の請求項の要素に該当する場合、携帯電話のベースバンド集積回路もしくはアプリケーションプロセッサ集積回路、またはサーバ、セルラネットワークデバイス、もしくはその他ネットワークデバイス内の同様の集積回路も対象とするあろう。
図7〜11に示されたブロック、ステップ、プロセスは、方法のステップおよび/またはコンピュータプログラムのコードのセクションを表していてもよい。示されたブロックの特定の順序は、それらのブロックについて必要な順序または好ましい順序が存在することを必ずしも意味するものではなく、ブロックの順序および配置は変更されてもよい。さらに、いくつかのブロックを省略することも可能である。
構造的特徴が記載されている場合、その構造的特徴は、構造的特徴の機能のうちの1つまたは複数を実行する手段で置き換えられてもよく、その1つまたは複数の機能が明示的に記載されているか黙示的に記載されているかを問わない。
本文書内の「モジュール」という用語は、ユニットまたは装置であって、エンドメーカーやユーザによって追加される部品/コンポーネントを除いたものを表す。コントローラ42は、例えばモジュールであってもよい。装置はモジュールであってもよい。レンダリングデバイス32は、1つのモジュールであってもよいし、複数の個別のモジュールであってもよい。
本文書内の「含む、備える(comprise)」という用語は、限定的な意味ではなく、非限定的な意味で使用される。したがって、「Yを含むX」に関してはすべて、「Xは1つのYを含んでもよい」と「複数のYを含んでもよい」の両方を意味する。限定的な意味を有する「含む、備える」を意図する場合は、「〜を1つのみ含む(comprising only one)」または「のみからなる(consisting)」と言及することにより文脈内で明確にされる。
本発明の簡単な説明では、様々な例について言及した。例に関する特徴または機能の説明は、これらの特徴または機能が、その例に存在することを示す。本明細書中で「例(example)」、「例えば(for example)」、「〜てもよい、〜しうる(may)」として明確に言及されている場合でも、明確に言及されていない場合でも、このような特徴および機能が、少なくとも記載された例には存在することを意味する。すなわち、例として記載されている、または記載されていないにかかわらず、これら特徴および機能が、他のいくつかの例またはすべての例に存在する可能性があり、また必ずしもそうではないことを意味する。このように、「例」、「例えば」、「〜てもよい、〜しうる」は、ある例示群における特定の例であることを指す。上記特定の例の特性は、その特定の例のみの特性、上記例示群の特性、または上記例示群に属する一群の特性(上記例示群に属する全例示ではなく、一部の例示を含む)である場合がある。したがって、黙示的に開示されているのは、一例を参照して記載されたが別の例を参照しては記載されなかった特徴は、可能であればその別の例において使用できるが、その別の例で必ずしも使用される必要はないということである。
本発明の実施形態を、様々な例を参照して上記の各段落に記載したが、請求される本発明の範囲から逸脱することなく、与えられた例に対して変更を加えうることを理解されたい。
先行する記載において説明された特徴は、明示的に記載された組合せ以外の組合せで用いられてもよい。
特定の特徴を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の特徴によって実行される場合がある。
特定の実施形態を参照して種々の特徴を記述してきたが、こうした特徴は、記述の有無を問わずその他の実施形態にも含まれる場合がある。
前述のように本明細書において、とりわけ重要であると考えられる本発明の特徴に注目を集めるように努めてきた。しかし、前述の記載にて言及され、さらに/あるいは添付の図面に示された特許されうるすべての特徴およびそれらの組合せに対して、そうした特徴が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (15)

  1. 媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、
    第2の現実空間で表示する前記媒介現実コンテンツを選択するユーザ入力を受け取ることと、
    前記第2の現実空間に関する情報を取得することと、
    前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることと、
    を含む方法であって、前記媒介現実コンテンツの前記適合は、前記第2の現実空間内で、前記媒介現実コンテンツが表示される位置を動かすことと、前記第2の現実空間内で、前記媒介現実コンテンツを回転させることの少なくともいずれかを含む方法。
  2. 媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、
    第2の現実空間で表示する前記媒介現実コンテンツを選択するユーザ入力を受け取ることと、
    前記第2の現実空間に関する情報を取得することと、
    前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることと、
    を含む方法であって、前記媒介現実コンテンツの前記適合は、仮想視覚空間内で少なくとも1つの仮想視覚オブジェクトを動かすことを含む方法。
  3. 媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、
    第2の現実空間で表示する前記媒介現実コンテンツを選択するユーザ入力を受け取ることと、
    前記第2の現実空間に関する情報を取得することと、
    前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることと、
    を含む方法であって、前記媒介現実コンテンツの前記適合は、前記媒介現実コンテンツの仮想視覚空間と、前記媒介現実コンテンツ内の1つ以上の仮想視覚オブジェクトの少なくともいずれかの拡大率を変更することを含む方法。
  4. 媒介現実コンテンツと、前記媒介現実コンテンツが表示された第1の現実空間に関する関連情報とを記憶することと、
    第2の現実空間で表示する前記媒介現実コンテンツを選択するユーザ入力を受け取ることと、
    前記第2の現実空間に関する情報を取得することと、
    前記第1の現実空間に関する前記情報と、前記第2の現実空間に関する前記情報とを使用して、前記媒介現実コンテンツを前記第2の現実空間での表示用に適合させることと、
    を含む方法であって、前記第1の現実空間および前記第2の現実空間に関する前記情報を使用することは、前記第1の現実空間内と、前記第2の現実空間内とで実際のオブジェクトの場所を比較することと、前記第2の現実空間内で仮想視覚オブジェクトが表示される位置を制御することで、ユーザが前記仮想視覚オブジェクトを、前記第1の現実空間および前記第2の現実空間の両方における同じ相対位置で見られるようにすることを含む方法。
  5. 前記媒介現実コンテンツの前記適合により、ユーザが、前記第1の現実空間および前記第2の現実空間の両方で、仮想視覚空間内を移動可能となる、請求項1から4のいずれか一項に記載の方法。
  6. 前記媒介現実コンテンツの前記適合により、前記第1の現実空間内のユーザが見ていた仮想視覚シーンが、前記第2の現実空間内のユーザにも見られるようになる、請求項1から5のいずれか一項に記載の方法。
  7. 前記媒介現実コンテンツの前記適合により、仮想視覚オブジェクトに対して、前記第2の現実空間内のユーザが、前記第1の現実空間内のユーザと同じ位置に移動可能となるように、前記第2の現実空間内での前記仮想視覚オブジェクトの知覚位置が制御される、請求項1からのいずれか一項に記載の方法。
  8. 前記媒介現実コンテンツの前記適合は、前記第1の現実空間内で表示された仮想視覚空間を、前記第2の現実空間に整合させることを含む、請求項1からのいずれか一項に記載の方法。
  9. 前記媒介現実コンテンツは、前記第1の現実空間内の第1のユーザに表示され、第2の現実空間内の第2のユーザと共有される前に適合される、請求項1から8のいずれか一項に記載の方法。
  10. ユーザに前記第2の現実空間への前記媒介現実コンテンツのマッピングを事前に見て、前記第2の現実空間に対する前記媒介現実コンテンツの前記適合を制御することを可能にすることをさらに含む、請求項1から9のいずれか一項に記載の方法。
  11. ユーザに前記適合を制御可能にすることを含み、前記適合の前記ユーザ制御により、ユーザは少なくとも1つの仮想視覚オブジェクトを、前記第1の現実空間、前記第2の現実空間のいずれにも表示されるように選択可能となる、請求項1から10のいずれか一項に記載の方法。
  12. 前記媒介現実コンテンツとともに記憶される前記関連情報は、前記第1の現実空間のサイズ、前記第1の現実空間の形状、前記媒介現実コンテンツが表示されたときの前記第1の現実空間内のユーザの位置、前記媒介現実コンテンツが表示されたときの前記第1の現実空間内のユーザの向き、前記媒介現実コンテンツが表示されたときの前記第1の現実空間内のオブジェクトの位置の少なくともいずれかに関する情報を含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記第1の現実空間および前記第2の現実空間に関する前記情報を使用することは、前記第1の現実空間と、前記第2の現実空間との寸法を比較し、前記第1の現実空間内に表示された仮想視覚オブジェクトが、前記第2の現実空間内に表示されることを保証するように、前記媒介現実コンテンツを適合させることを含む、請求項1から12のいずれか一項に記載の方法。
  14. 請求項1から13のいずれかに記載の方法を実行する手段を備える装置。
  15. 装置のプロセッサ上で実行されると、前記装置に、請求項1から13のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2019566644A 2017-06-06 2018-05-21 媒介現実コンテンツのレンダリング Active JP6979469B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17174540.9 2017-06-06
EP17174540.9A EP3413166B1 (en) 2017-06-06 2017-06-06 Rendering mediated reality content
PCT/FI2018/050381 WO2018224725A1 (en) 2017-06-06 2018-05-21 Rendering mediated reality content

Publications (2)

Publication Number Publication Date
JP2020523672A JP2020523672A (ja) 2020-08-06
JP6979469B2 true JP6979469B2 (ja) 2021-12-15

Family

ID=59021381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566644A Active JP6979469B2 (ja) 2017-06-06 2018-05-21 媒介現実コンテンツのレンダリング

Country Status (4)

Country Link
US (1) US11244659B2 (ja)
EP (1) EP3413166B1 (ja)
JP (1) JP6979469B2 (ja)
WO (1) WO2018224725A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454174B1 (en) 2017-09-08 2023-11-15 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
EP3726343A1 (en) 2019-04-15 2020-10-21 Nokia Technologies Oy Virtual reality
KR20220046356A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치
JP2022147845A (ja) * 2021-03-23 2022-10-06 株式会社Jvcケンウッド 表示装置、表示装置の制御方法及びプログラム
JPWO2022244157A1 (ja) * 2021-05-19 2022-11-24

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677269B2 (ja) 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
WO2014119097A1 (ja) 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US9489772B2 (en) * 2013-03-27 2016-11-08 Intel Corporation Environment actuation by one or more augmented reality elements
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US9367961B2 (en) * 2013-04-15 2016-06-14 Tencent Technology (Shenzhen) Company Limited Method, device and storage medium for implementing augmented reality
US9898844B2 (en) * 2013-12-31 2018-02-20 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
JP2016071900A (ja) * 2014-09-30 2016-05-09 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP3128413A1 (en) * 2015-08-04 2017-02-08 Nokia Technologies Oy Sharing mediated reality content
US9766713B2 (en) * 2015-09-08 2017-09-19 Unity IPR ApS System and method for providing user interface tools
JP6920057B2 (ja) * 2016-12-22 2021-08-18 キヤノンマーケティングジャパン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US11189098B2 (en) * 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system

Also Published As

Publication number Publication date
WO2018224725A1 (en) 2018-12-13
JP2020523672A (ja) 2020-08-06
US11244659B2 (en) 2022-02-08
EP3413166A1 (en) 2018-12-12
EP3413166B1 (en) 2023-06-21
US20200143775A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
JP6979469B2 (ja) 媒介現実コンテンツのレンダリング
CN107710108B (zh) 内容浏览
JP6558839B2 (ja) 媒介現実
US10999412B2 (en) Sharing mediated reality content
US11209903B2 (en) Rendering of mediated reality content
CN107924586B (zh) 搜索图像内容的方法、装置以及计算机可读存储介质
US11194439B2 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US10831443B2 (en) Content discovery
US20210081051A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
EP3534241A1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
US10650595B2 (en) Mediated reality

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R150 Certificate of patent or registration of utility model

Ref document number: 6979469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150