JP6558839B2

JP6558839B2 - 媒介現実

Info

Publication number: JP6558839B2
Application number: JP2017565058A
Authority: JP
Inventors: スジーティシャムスンダルマテ; アルトレフティニエミ
Original assignee: ノキアテクノロジーズオーユー
Priority date: 2015-06-16
Filing date: 2016-06-15
Publication date: 2019-08-14
Anticipated expiration: 2036-06-15
Also published as: EP3106963B1; US10884576B2; WO2016203111A1; EP3106963A1; JP2018526716A; ES2746448T3; US20180300040A1

Description

本発明の実施形態は、拡張現実（augmented reality）や仮想現実（virtual reality）等の媒介現実（mediated reality）に関する。

背景

本願における媒介現実は、ユーザが完全人工環境又は半人工環境を体験することである。

拡張現実は媒介現実の一形態で、ユーザは半人工半現実環境を体験する。仮想現実も媒介現実の一形態で、ユーザは完全人工環境を体験する。

摘要

必ずしも全てではないが本発明の種々の実施形態に従えば、現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと；ユーザの三次元ジェスチャを、ユーザ入力人工仮想オブジェクトとインタラクションする、仮想空間において対応する三次元ジェスチャにマッピングすることと；仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、現在位置とは異なる新しい位置における新しい視点から見える仮想空間の新しい仮想シーンをユーザに表示することを含む方法が提供される。

必ずしも全てではないが本発明の種々の実施形態に従えば、現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示する手段と；ユーザの三次元ジェスチャを、ユーザ入力人工仮想オブジェクトとインタラクションする、仮想空間において対応する三次元ジェスチャにマッピングする手段と；仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、現在位置とは異なる新しい位置における新しい視点から見える仮想空間の新しい仮想シーンをユーザに表示する手段を備える装置が提供される。

必ずしも全てではないが本発明の種々の実施形態に従えば、コンピュータプログラムであって、プロセッサで実行されると、現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと；ユーザの三次元ジェスチャを、ユーザ入力人工仮想オブジェクトとインタラクションする、仮想空間において対応する三次元ジェスチャにマッピングすることと；仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、現在位置とは異なる新しい位置における新しい視点から見える仮想空間の新しい仮想シーンをユーザに表示することを実行するコンピュータプログラムが提供される。

必ずしも全てではないが本発明の種々の実施形態に従えば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、少なくとも一つの目持ち及びコンピュータプログラムコードは、少なくとも一つのプロセッサを用いて、装置に、現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと；ユーザの三次元ジェスチャを、ユーザ入力人工仮想オブジェクトとインタラクションする、仮想空間において対応する三次元ジェスチャにマッピングすることと；仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、現在位置とは異なる新しい位置における新しい視点から見える仮想空間の新しい仮想シーンをユーザに表示することを実行させるように構成される、装置が提供される。

本発明の様々な実施形態（但し必ずしも全ての実施形態ではない）によれば、装置の発明を特定する請求項に特定されるような例が提供される。

前述の簡単な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
図１Ａ、１Ｂ、１Ｃは、それぞれ媒介現実の実施例であって、同一の仮想空間と別々の視点を示す。図２Ａ、２Ｂ、２Ｃは、それぞれ媒介現実の実施例であって、それぞれの視点から見た仮想シーンを示す。図３Ａは実空間の例を示し、図３Ｂは図１Ｂの仮想空間に部分的に対応する現実シーンの例を示す。媒介現実、拡張現実、仮想現実の何れか又は全てを可能にするように動作できる装置の実施例を示す。媒介現実、拡張現実、仮想現実の何れか又は全てを可能にする方法の実施例を示す。拡張現実のための仮想空間モデルを更新する方法の実施例を示す。図６Ａ及び６Ｂは、それぞれ、ユーザに仮想シーンの少なくとも一部を表示可能にする装置の実施例を示す。図７Ａは、現実空間におけるジェスチャの例を示す。図７Ｂは、仮想空間にレンダリングされた、対応するジェスチャ表現を示す。仮想空間内の視点位置を決定するための三次元ユーザジェスチャを可能にする方法の実施例を示す。現実空間におけるカメラ配置の実施例を示す。ある一台のカメラによって撮影された現実シーンを示す。現実空間における（一連の）様々な位置のサブセットに関する実施例を示す。図１０に示された現実空間に対応する仮想空間の実施例を示す。図１２Ａは、ユーザ入力仮想オブジェクトを含まない仮想シーンの実施例を示す。図１２Ｂは、起動ジェスチャの実施例を示す。図１２Ｃは、ユーザ入力人工仮想オブジェクトを含む仮想シーンの実施例を示す。図１２Ｄは、仮想シーンを規定する視点位置を変える、ユーザの三次元命令ジェスチャの実施例を示す。図１２Ｅは、ユーザ入力人工仮想オブジェクトを含み、新しい視点位置によって決定される仮想シーンの実施例を示す。処理システムの実施例を示す。

詳細説明

本節では、ユーザ１８が仮想空間２０内における視点２４の位置２３を変更し、それによってユーザ１８に表示する仮想シーン２２を変更できるようにする装置及び方法が記述される。三次元ジェスチャが仮想空間２０にマッピングされるとき、ユーザはその三次元ジェスチャを行い、その三次元ジェスチャは、仮想シーン２２に表示される、位置２３の変更を行うユーザ入力人工仮想オブジェクト１２０とやり取り（インタラクション）する。
［定義］

「仮想空間」は完全人工環境又は半人工環境を言及しており、三次元であってもよい。

「仮想シーン」は、仮想空間内の特定の視点からみえる仮想空間の表現を言及する。

「現実空間」は現実環境を言及し、三次元であってもよい。

「現実シーン」は、現実空間内の特定の視点からみえる実空間の表現を言及する。

本願における「媒介現実」は、コンピュータがユーザに少なくとも一部表示する完全人工環境又は半人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験することを言及する。仮想シーンは、仮想空間内の視点及び視野によって決定される。仮想シーンの表示は、それをユーザに見える形態で提供することを意味する。

本願における「拡張現実」は媒介現実の一形態を言及する。拡張現実では、半人工環境（仮想空間）であって、装置がユーザに表示する一つ又は複数の視覚要素で追加された物理的現実世界環境（現実空間）の現実シーンを含む半人工環境を仮想シーンとしてユーザが視覚的に体験する。

本願における「仮想現実」は媒介現実の一形態を言及する。仮想現実では、装置が表示する完全人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験する。

媒介現実や拡張現実、仮想現実に適用される「視点媒介（perspective-mediated）」は、ユーザの動作が仮想空間内の視点を決定し、その視点が仮想シーンを変えることを意味する。

媒介現実や拡張現実、仮想現実に適用される「一人称視点媒介（first person perspective-mediated）」は、ユーザの現実の視点が仮想空間内の視点を決定する追加制約を持つ視点媒介を意味する。

媒介現実や拡張現実、仮想現実に適用される「三人称視点媒介（third person perspective-mediated）」は、ユーザの現実の視点以外の視点が仮想空間内の視点を決定する追加制約を持つ視点媒介を意味する。

媒介現実や拡張現実、仮想現実に適用される「インタラクティブ媒介（user interactive-mediated）は、仮想空間内で生じたことをユーザの動作が少なくとも一部決定することを意味する。

「表示（displaying）」は、ユーザによって視覚的に知覚される形態を提供することを意味する。

「仮想オブジェクト」は、仮想シーンにおけるオブジェクトである。

「人工仮想オブジェクト」は、コンピュータが導入した仮想オブジェクトである。

「ユーザ入力人工仮想オブジェクト」は、ユーザ入力に使用される人工仮想オブジェクトである。

詳細な説明

図１Ａから１Ｃ、２Ａから２Ｃは媒介現実の実施例を示す。媒介現実は拡張現実又は仮想現実でもよい。

図１Ａ、１Ｂ、１Ｃは同一の仮想物体２１を含む同一の仮想空間２０を示しているが、各図はそれぞれ異なる視点２４を示している。視点２４の位置及び向きは独立して変化しうる。図１Ａから図１Ｂで視点２４の位置は同じで向きが変化している。図１Ｂから図１Ｃで視点２４の位置と向きが変化している。

図２Ａ、２Ｂ、２Ｃは、図１Ａ、１Ｂ、１Ｃのそれぞれ異なる視点２４から見える仮想シーン２２を示す。仮想シーン２２は、仮想空間２０内の視点２４及び視野２６によって決定される。仮想シーン２２は、ユーザに対して少なくとも一部表示される。

ここで示す仮想シーン２２は、媒介現実シーンや仮想現実シーン、拡張現実シーンでもよい。仮想現実シーンは完全人工仮想空間２０を見せる。拡張現実シーンは半人工半現実空間２０を見せる。

媒介現実や拡張現実、仮想現実はインタラクティブ媒介（user interactive-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内で起きることを少なくとも部分的に決定する。これにより、仮想空間２０内の視覚要素２８のような仮想物体２１とのインタラクションが可能となる。

媒介現実や拡張現実、仮想現実は視点媒介（perspective-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内における視点２４を決定し、その視点２４によって仮想シーン２２が変わる。例えば、図１Ａ、１Ｂ、１Ｃに示されるように、仮想空間２０内における視点２４の位置２３が変更されてもよく、仮想空間２０内における視点２４の方向又は向き２５が変更されてもよい。また、この両方が同時に変更されてもよい。仮想空間２０が三次元である場合、視点２４位置２３の自由度は、例えば上下、前後、左右の３であり、仮想空間２０内の視点２４方向２５の自由度は、例えばロール、ピッチ、ヨーの３である。視点２４は、位置２３、方向２５の何れか又は両方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の何れか又は両方を連続的に変える。これとは別に、視点２４には量子化された離散位置２３、量子化された離散方向２５の何れか又は両方があってもよく、ユーザ動作が、視点２４に関する許容位置２３，許容方向２５の何れか又は両方の間を離散的に移ることによって切り換える。

図３Ａは、現実物体１１を含み、図１Ａの仮想空間２０に一部対応する現実空間１０を示す。この実施例では、現実空間１０における現実物体１１はそれぞれ仮想空間２０において対応する仮想物体２１を持つ。一方、仮想空間２０における仮想物体２１の中には現実空間１０において対応する現実物体１１を持たないものもある。この実施例において、仮想物体２１の一つであるコンピュータ生成視覚要素２８とは、現実空間１０において対応する現実物体１１を持たない人工的な仮想物体２１である。

現実空間１０と仮想空間２０との間には線形写像が存在し、現実空間１０における各現実物体１１と対応する仮想物体２１との間にも同一の線形写像が存在する。したがって、現実空間１０における現実物体１１同士の相対関係は、仮想空間２０において対応する仮想物体２１の間の相対関係と同一である。

図３Ｂは、図１Ｂの仮想空間２０に一部対応する現実空間１０を示す。現実空間１０は現実物体１１を含むが人工仮想物体は含まない。現実シーンは、図１Ａの仮想空間２０における視点２４に対応する視点から見える。現実シーン１２の内容は、それに対応する視点２４及び視野２６によって決定される。

図２Ａは、図３Ｂに示された現実シーン１２に関する拡張現実版の実例である。仮想シーン２２は、装置によってユーザに表示された一つ又は複数の視覚要素２８が追加された、現実空間１０の現実シーン１２を含む。視覚要素２８は、コンピュータ生成視覚要素でもよい。シースルー構成では、仮想シーン２２は、一つ（又は複数）の追加視覚要素２８の表示を通して見える実際の現実シーン１２を含む。シービデオ構成では、仮想シーン２２は、表示された現実シーン１２及び表示された一つ（又は複数）の追加視覚要素２８を含む。表示現実シーン１２は単一視点２４からの像に基づいていてもよく、同一時点における別々の視点２４からの複数の像に基づいていてもよい。複数の像は、単一視点からの像を生成するために処理される。

図４は、媒介現実、拡張現実、仮想現実の何れか又は全てを可能にするように動作できる装置３０の実施例を示す。

装置３０は、ユーザの視点から見える形態でそのユーザに仮想シーン２２の少なくとも一部を表示するディスプレイ３２を備える。ディスプレイ３２は、仮想シーン２２の少なくとも一部をユーザに表示する光を出すビジュアルディスプレイでもよい。ビジュアルディスプレイの例には、液晶ディスプレイや有機発光ダイオードディスプレイ、発光型、反射型、透過型、半透過型の各ディスプレイ、網膜直接投影型ディスプレイ、ニアアイディスプレイ等が含まれる。

この実施例ではディスプレイ３２がコントローラ４２によって制御されているが、全ての実施例がそうである必要はない。

コントローラ４２は、コントローラ回路として実装されてもよい。コントローラ４２はハードウェア単独で実装され、ファームウェアを含むソフトウェア単独での側面を有していてもよい。あるいは、ハードウェアと（ファームウェアを含む）ソフトウェアの組合せも可能である。

図４に描かれるように、コントローラ４２は、ハードウェア機能を実現する命令であって、例えば、汎用プロセッサまたは特定用途向けプロセッサ４０で実行可能なコンピュータプログラム命令４８を用いて実装されてもよい。こうした命令は、プロセッサ４０で実行されうるように、コンピュータ可読記憶媒体（ディスクやメモリ等）に格納されてもよい。

プロセッサ４０は、メモリ４６から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ４０は出力インタフェースと入力インタフェースを備えてもよい。データ及び／又は命令は、プロセッサ４０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ４０に入力される。

メモリ４６はコンピュータプログラム４８を保存する。コンピュータプログラム４８は、プロセッサ４０にロードされて装置３０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を含む。コンピュータプログラム４８のコンピュータプログラム命令は、図５Ａ、５Ｂに示された方法を装置が実行できるようにするロジック及びルーチンを提供する。プロセッサ４０は、メモリ４６を読み取ることによりコンピュータプログラム４８をロードして実行することができる。

したがって、装置３０は、少なくとも１つのプロセッサ４０と、コンピュータプログラムコード４８を含む少なくとも一つのメモリ４６を備え、前記コンピュータプログラムコード４８は、前記少なくとも一つのプロセッサ４０に実行されると、装置３０に少なくとも、
現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと；
ユーザの三次元ジェスチャを、ユーザ入力人工仮想オブジェクトとインタラクションする、仮想空間において対応する三次元ジェスチャにマッピングすることと；
仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、現在位置とは異なる新しい位置における新しい視点から見える仮想空間の新しい仮想シーンをユーザに表示することと；
を実行させるように構成される。

コンピュータプログラム４８は、任意の適切な配信機構を介して装置３０に提供されてもよい。配信機構は、例えば、非一時的コンピュータ可読記憶媒体やコンピュータプログラム製品、メモリデバイス、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：compact disc read-only memory）又はデジタル多用途ディスク（ＤＶＤ：digital versatile disc）等の記憶媒体、あるいはコンピュータプログラム４８を有形に具現した製造品であってもよい。配信機構はコンピュータプログラム４８を確実に伝達するように構成される信号でもよい。装置３０は、コンピュータデータ信号としてコンピュータプログラム４８を伝達または伝送してもよい。

メモリ４６は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、及び／又は永久／半永久／動的／キャッシュの記憶方式でもよい。

プロセッサ４０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。プロセッサ４０はシングルコアのプロセッサでもよいし、マルチコアのプロセッサであってもよい。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」，「有形物として具現化されたコンピュータプログラム」等の用語や、「コントローラ」，「コンピュータ」，「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータのみならず、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ），シグナルプロセッシングデバイス，その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

なお本願において使用される「回路（circuitry）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログ及び／又はデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（及び／又はファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む），ソフトウェア，一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（circuitry）」という用語は、単独（または複数）のプロセッサのみの実装やプロセッサの一部，付随するソフトウェア及び／又はファームウェアによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

図５Ａ及び５Ｂに示されたブロックは、方法のステップ、コンピュータプログラム４８のコード区分の何れか又は全てを表わすことができる。ブロックを特定の順序で図示することは必須順序又は推奨順序の存在を必ずしも示唆しておらず、こうしたブロックの順序や配置構成を変更することもできる。また、一部のブロックを省略することもできる。

装置３０は、例えば図５Ａに示された方法６０又は同様の方法を用いて、媒介現実、拡張現実、仮想現実の何れか又は全てを可能にしてもよい。コントローラ４２は、仮想空間２０のモデル５０を保存し保持する。モデルはコントローラ４２に提供されてもよく、コントローラ４２が決定してもよい。例えば、仮想空間の深度マップの重ね合わせを別々の視点から作成するために入力回路４４のセンサが使用されてもよく、それによって三次元モデルが生成されてもよい。

ブロック６２で、仮想空間２０のモデルが変わったかどうかが決定される。仮想空間２０のモデルが変わった場合、本方法はブロック６６に移る。仮想空間２０のモデルが変わらなかった場合、本方法はブロック６４に移る。

ブロック６４で、仮想空間２０における視点２４が変わったかどうかが決定される。視点２４が変わった場合、本方法はブロック６６に移る。視点２４が変わらなかった場合、本方法はブロック６２に戻る。

ブロック６６で、三次元仮想空間２０の位置２３からの二次元投影が、現在視点２４によって規定される方向２５に取られる。次に、この投影は視野２６によって限定され、仮想シーン２２を生成する。次に、本方法はブロック６２に戻る。

装置３０が拡張現実を可能にする場合、仮想空間２０は現実空間１０からの物体１１に加え、現実空間１０には存在しない可視要素２８も含む。かかる可視要素２８の組合せは、人工仮想空間として参照されてもよい。図５Ｂは、拡張現実のための仮想空間モデルを更新する方法７０を示す。

ブロック７２で、現実空間１０が変わったかどうかが決定される。現実空間１０が変わった場合、本方法はブロック７６に移る。現実空間１０が変わらなかった場合、本方法はブロック７４に移る。現実空間１０における変化の検出は画素レベルの差異を利用して実現されてもよく、物体の動きに合わせてそれを追跡するコンピュータビジョンを利用して物体レベルで実現されてもよい。

ブロック７４で、人工仮想空間が変わったかどうかが決定される。人工仮想空間が変わった場合、本方法はブロック７６に移る。人工仮想空間が変わらなかった場合、本方法はブロック７２に戻る。人工仮想空間はコントローラ４２によって生成されるため、視覚要素２８に対する変化は容易に検出される。

ブロック７６で、仮想空間２０のモデルが更新される。

装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力４３を用いてユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対して視点媒介を可能にしてもよい。ユーザ入力回路４４はユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。視点２４は、位置、方向の何れか又は両方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の何れか又は両方を変える。これとは別に、視点２４には量子化された離散位置、量子化された離散方向の何れか又は両方があってもよく、ユーザ動作が、視点２４に関する次の位置、方向２５の何れか又は両方に移ることによって切り換える。

装置３０は、媒介現実や拡張現実、仮想現実に対する一人称視点を可能にしてもよい。ユーザ入力回路４４は、ユーザ視点センサ４５を用いてユーザの現実の視点１４を検出する。ユーザの実際の視点は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。図３Ａに戻ると、ユーザ１８には実際の視点（現実視点）１４がある。現実視点は、ユーザ１８によって変化する場合がある。例えば、現実視点１４の実際の位置（現実位置）１３はユーザ１８の位置であり、ユーザ１８の物理的位置１３を変えることで変化しうる。例えば、現実視点１４の実際の方向（現実方向）１５はユーザ１８が見ている方向であり、ユーザ１８の現実方向を変えることで変化しうる。現実方向１５は、例えば、ユーザ１８が頭の向きや視点を変えたり、視線方向を変えたり、あるいはその全てを変えたりすることによって変えることができる。一人称視点媒介を可能にするために、頭部装着型装置３０が使用されてもよい。

装置３０は入力回路４４の一部として、現実視点の変化を決定する視点センサ４５を備えてもよい。

例えば、ユーザ１８の新しい物理的位置１３及び現実視点１４を決定するために、ＧＰＳ等の測位技術、複数受信機への送信と複数送信機からの受信の何れか又は両方による三角測量（三辺測量）、加速度検出、及びそれらの統合が用いられてもよい。

また例えば、ユーザの頭の向きや視点の変化、及び結果として生じる現実視点１４の現実方向１５での変化を決定するために、加速度計や電子ジャイロスコープ、電子コンパスが使用されてもよい。

さらに例えば、ユーザの片目又は両目の動きを追跡し、それによってユーザの視線方向及びその結果として生じる現実視点１４の現実方向１５での変化を決定するために、コンピュータビジョン等に基づく瞳孔追跡技術が用いられてもよい。

装置３０は入力回路４４の一部として、現実空間１０を撮像するイメージセンサ４７を備えてもよい。

イメージセンサ４７の一例は、カメラとして動作するように構成されたデジタルイメージセンサである。かかるカメラは静止画や場合により動画、又はその両方を記録するように動作し得るが、全ての実施形態でそうである必要はない。現実空間１０が様々な視点から見えるように、カメラが立体配置や他の空間分布配置で構成されてもよい。これは、三次元画像の生成、及び／又は、例えば視差効果を介した、奥行きを設定するための処理を可能する。

必ずしも全てではないが実施形態によっては、入力回路４４が深度センサ４９を備える。深度センサ４９は、トランスミッタおよびレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタおよび単一のレシーバを用い、送信から受信までの伝搬時間を測定することによっていくらかの奥行き情報を得ることができる。より多くのトランスミッタ及び／又はより多くのレシーバを用いることによってより良好な分解能（空間的ダイバーシチ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、現実空間１０を「描く」ように構成される。レシーバによる特定のパターンの検出は、現実空間１０が空間的に分解されるようにする。現実空間１０が空間的に分解された部分までの距離は、伝搬時間、（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法の何れか又は両方で測定できる。

必ずしも全てではないが実施形態によっては、入力回路４４が一つ又は複数のイメージセンサ４７及び深度センサ４９に加えて、又はそれらの代替として通信回路４１を備えてもよい。かかる通信回路４１は、現実空間１０における一つ又は複数のリモートイメージセンサ４７、現実空間１０におけるリモート深度センサ４９の何れか又は全てと通信してもよい。

図６Ａ及び６Ｂは、ユーザに仮想シーン２２の少なくとも一部を表示可能にする装置３０の実施例を示す。仮想シーン２２の少なくとも一部を表示可能する装置３０に関する他の実施例が用いられてもよい。

図６Ａには、ユーザに画像を表示し、仮想シーンをユーザに表示するためにも使用されるディスプレイ３２としての表示画面を備える携帯型装置３１が示されている。装置３０は、前述した自由度６の内一つ又は複数において、ユーザが意図的に手に持って動かすことができる。

携帯型装置３１は拡張現実用シービデオ構成でもよく、それとして動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２に現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２に同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。

携帯型装置３１は、ディスプレイ３２とは反対面に搭載されたカメラを備える場合、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに表示され、組み合わせて仮想シーン２２を提供するシービデオ構成として動作することができる。

図６Ｂは、ユーザに画像を表示するディスプレイ３２を備える頭部装着型装置３３を示す。頭部装着型装置３３は、ユーザの頭が動くのと合わせて無意識に動かすことができる。

頭部装着型装置３３は、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに表示され、組み合わせて仮想シーン２２を提供する拡張現実のためのシースルー構成でもよい。この場合、バイザー３４があれば、ライブ現実シーン１２がバイザー３４を通して見えるように透明又は半透明である。

頭部装着型装置３３は拡張現実用シービデオ構成として動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２によって現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２によって同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。この場合、バイザー３４は不透明でディスプレイ３２として使用されてもよい。

図４に戻って参照すると、装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力４３を用いてユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

検出されたユーザ動作は例えば、現実空間１０で行われたジェスチャでもよい。ジェスチャは様々な方法で検出できる。例えば、ユーザ１８の体の一部の動きを検出するために深度センサ４９が使用されてもよく、ユーザ１８の体の一部の動きを検出するためにイメージセンサ４７が使用されてもよく、手足の動きを検出するためにユーザ１８の手足に装着された位置／動きセンサが使用されてもよい。あるいは、これら全てが使用されてもよい。

物体追跡は、物体またはユーザが変わるときを決定するために使用されてもよい。例えば、物体を大きなマクロスケールで追跡することで、その物体と共に移動する基準枠を生成することができる。この基準枠は、物体に対する時間差分を用いて物体の形状の時間進展的な変化を追跡するために使うことができる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（のみ）の動きである。

装置３０は、ユーザの体の一つ又は複数の関節等、ユーザの身体に関連する複数の物体、複数のポイントの何れか又は全てを追跡してもよい。実施例によっては、装置３０はユーザの身体の全身骨格的な追跡を行ってもよい。

ジェスチャの認識等において、人物の身体に関連する一つ又は複数の物体、複数のポイントの何れか又は全ての追跡が装置３０によって使用されてよい。

図７Ａを参照すると、現実空間１０における特定のジェスチャ８０が、「ユーザ制御」イベントとしてコントローラ４２が使用するジェスチャユーザ入力であり、それによって仮想空間２０内で生じる事柄を決定できる。ジェスチャユーザ入力は、装置３０に対しユーザ入力としての意味を持つジェスチャ８０である。

図７Ｂを参照すると、必ずしも全てではないが実施例によっては、現実空間におけるジェスチャ８０に対応する表現が、装置３０によって仮想シーン２２にレンダリングされることが示されている。こうした表現は、仮想シーン２２においてジェスチャ８０を再現又は標示するように動く（８２）一つ又は複数の可視要素２８を含む。

ジェスチャ８０は静的でも動きがあってもよい。動きがあるジェスチャ（動きジェスチャ）は、特定の動き又は一連の動きを含む動きのパターンを含むことができる。例えばこれは、旋回動作、または脇から脇への動き、または上下の動きをすること、または空間中で符号を描くこととしてもよい。例えば、動きジェスチャは、装置非依存性のジェスチャ、または装置依存性のジェスチャとしてもよい。動きジェスチャは、例えば、ユーザ身体の部分もしくは部分群、または追加の装置などのユーザ入力オブジェクトのセンサに対する動きを伴ってもよい。身体の部分は、ユーザの手、または親指以外の１つ以上の指および親指などユーザの手の一部を含んでよい。他の例において、ユーザ入力オブジェクトは、ユーザの頭または腕などユーザの身体のいろいろな部分を含んでもよい。三次元の動きは、自由度６の何れかにおけるユーザ入力オブジェクトの動きを含んでもよい。ユーザ入力オブジェクトの動きには、センサに向かうように又はセンサから離れるように動くことや、センサと平行な面内で動くこと、またこのような動きの任意の組み合せを含んでもよい。

ジェスチャ８０は非接触のジェスチャでもよい。非接触ジェスチャは、ジェスチャの間のどの時点でもセンサに接触することはない。

ジェスチャ８０は、センサからの絶対変位に関連して定義される絶対的ジェスチャとすることもできる。かかるジェスチャは、それが現実空間１０における正確な位置で行われるという点で拘束（tether）されてもよい。あるいは、ジェスチャ８０は、ジェスチャの間の相対変位に関連して定義される相対的ジェスチャであってもよい。かかるジェスチャは、それが現実空間１０に対し正確な場所において行われる必要がないという点で非拘束（un-tethered）でもよく、多数の任意の場所で行うことができる。

ジェスチャ８０は、時間経過による、当初点に対する追跡点の変位の進展として定義することができる。これは、例えば、変位、速度など時間的可変パラメータを用いる、または他の運動学的パラメータを用いる動きに関連させて定義することができよう。非拘束ジェスチャは、相対時間Δｔに対する相対変位Δｄの進展として定義することができる。

ジェスチャ８０は一空間次元（１Ｄジェスチャ）や二空間次元（２Ｄジェスチャ）、三空間次元（３Ｄジェスチャ）で行われてもよい。

図８は、仮想空間２０内の視点２４の位置２３を決定するための三次元ユーザジェスチャ８０を可能にする方法１００を示す。方法１００は三人称視点媒介を可能にする。方法１００は媒介現実や拡張現実、仮想現実に適用できる。

図８の方法１００を理解するには、仮想空間２０内の別の位置２３における別の視点２４の実施例を示す図１１や、仮想空間２０内の視点２４の位置２３を決定するユーザジェスチャ８０を示す図１２Ｄ、仮想空間２０内の視点２４の位置２３の変更前後における仮想シーン２２の実施例を示す図１２Ｃ及び１２Ｅを参照することが理解の助けとなり得る。

図８を参照すると、ブロック１０２で方法１００は、現在位置２３での現在視点２４から見える仮想空間２０の現在の仮想シーン２２をユーザに表示する。現在の仮想シーン２２は、ユーザ入力人工仮想オブジェクト１２０を含む。

ブロック１１０、１１２で、方法１００は、ユーザ１８のあらゆる三次元ジェスチャ８０を仮想空間２０において対応する三次元ジェスチャにマッピングする。ブロック１０４で、仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクト１２０とインタラクションするか否かが決定される。インタラクションがない場合、この方法はブロック１０２に戻る。インタラクションがある場合、この方法はブロック１０６に移る。

インタラクションは、例えば、仮想空間２０において対応する三次元ジェスチャが仮想空間２０におけるユーザ入力人工仮想オブジェクト１２０と同一の場所に、又は実質的に同じ場所に配置される場合に発生してもよい。またインタラクションは、例えば、仮想空間２０において対応する三次元ジェスチャが任意のジェスチャではなく、仮想空間２０におけるユーザ入力人工仮想オブジェクト１２０に関連する所定のジェスチャであることを要求してもよい。

ブロック１０６で、仮想空間２０において対応する三次元ジェスチャが仮想空間２０におけるユーザ入力人工仮想オブジェクト１２０とインタラクションするという決定に応答して、方法１００は、仮想空間２０内の視点２４の位置２３を変えることによって仮想シーン２２を決定するために、視点２４を変更する。次に方法１００はブロック１０２に移り、前の現在位置２３とは異なる新しい位置２３における新しい視点２４から見える仮想空間２０の仮想シーン２２をユーザに表示する。

こうして新しい位置が現在位置に、新しい視点が現在視点に、仮想シーンが現在仮想シーンにそれぞれなり、それに続いて方法１００が繰り返される。

こうして、方法１００によってユーザ１８は仮想空間２０内における視点２４の位置２３を制御する三次元のジェスチャ８０を行い、それによってユーザ１８に表示される仮想シーン２２を制御できることが理解されよう。

図９Ａは、現実空間１０におけるカメラ１４０の配置を示す。この実施例において、一つ又は複数のカメラ１４０が３６０度イメージを撮影するパノラマカメラ１４０'でもよい。

この図では、各カメラ１４０の視点１４の位置１３が描かれている。カメラ１４０毎にそれぞれ位置１３が異なり、一つ又は複数の視点を勇士、一つ又は複数の現実シーンを規定する。

説明される実施例において、図９Ｂは、こうしたカメラ１４０の中のある一台が撮影した現実シーン１２を示す。現実シーン１２には現実物体１１が含まれる。この実施例では、現実シーンはパノラマカメラによって撮影されたパノラマ現実シーン１２である。

カメラ１４０の配置はアドホック（一時的）で予め決められていなくてもよく、拘束されていてもよく、測定されたものでもよい。カメラ１４０は、例えば別々の人達が所有又は制御していてもよい。各々のカメラ１４０は、現実空間１０の複数の像を撮影できる。こうした像の中には重なり合うものもあり、その結果、位置１３毎に異なる視点１４から見える現実物体１１の像を取得できる。

実施形態によっては、カメラ１４０は同時に、又は時間的重複をもって撮影してもよい。他の実施例では、カメラ１４０がそれぞれ独立に動作してもよい。

カメラ１４０によって撮影された像は例えば静止画像でもよく、ビデオ等でもよい。撮影像はタイムスタンプされて、別々のカメラ１４０によって撮影された像の間で時間同期を取れるようにすることが好ましい。

図１０は、特定の現実物体１１を撮影したい場合にカメラ１４０のサブセットを使用するのみでよいと理解できることを示す。この図では、各カメラ１４０の視点１４の位置１３が描かれている。カメラ１４０毎にそれぞれ位置１３が異なり、一つ又は複数の視点を勇士、一つ又は複数の現実シーンを規定する。

図１０は、それぞれ異なる視点１４を持つ位置１３の（一連の）サブセットを示し、これらの視点が現実シーン１２を規定する。現実シーン１２は、一つ（又は複数）の現実関心物体を共通して含む。

これらのカメラ１４０の一部１４４に関連する位置１３のうち一部のものは、サブセット１４２から除外され、他のカメラ１４０の位置１３はサブセット１４２に含まれる。サブセット１４２の定義は、図１１及び１２を参照して説明する。

図１１は、図１０に示す現実空間１０に対応する仮想空間２０を示す。現実物体１１には、仮想空間２０において対応する仮想物体２１がある。サブセット１４２の相異なる位置１３の各々には、現実シーン１２を規定する視点１４がある。サブセット１４２の相異なる位置１３の各々には、仮想空間２０においてそれぞれ等価な位置２３もある。サブセット１４２の相異なる位置１３のそれぞれに対する視点１４には、仮想空間２０において対応する視点２４があり、これら対応する視点２４が仮想シーン２２を規定する。前述の通り、現実空間１０から仮想空間２０へのマッピングが使用されてもよい。その結果、相異なる現実位置１３のサブセット１４２及び関連するそれぞれの視点１４は、仮想空間２０において等価な（一連の）相異なる仮想位置２３のサブセット１４２及び関連するそれぞれの視点２４にマッピングされる。

図１１は、現実空間におけるカメラ１４０の位置１３０での視点１４に対応する、仮想空間２０における位置２３での視点２４を示しているが、他の実施例では、現実空間１０におけるカメラ１４０の位置１３での視点１４が存在しない位置２３での視点２４とすることも可能である。例えば、合成イメージを取得するために２台以上のカメラ像を使用する技術であって、合成イメージはそれを生成するために使用されたどのカメラ１４０の位置とも対応しない位置から得られたものである、イメージ処理技術を用いることもできる。

図１３は、それぞれのカメラ１４０からのイメージデータを受け取ることができる処理システム２００の実施例を示す。処理システムは装置３０の一部でもよく、装置３０とは別個のものでもよい。処理システム２００は、仮想シーン２２を規定する視点２４がある、仮想空間２０における相異なる位置２３の配列１４２を決定するように構成されてもよい。仮想シーン２２は仮想物体２１又は仮想関心物体２１を共有して含む。配列１４２の各位置２３には、仮想シーン２２を規定する関連視点２４があり、これらの仮想シーン２２の各々は、それぞれ異なる見え方で仮想物体２１又は仮想関心物体２１を含む。仮想関心物体２１はユーザが選択してもよく、処理システム２００又は装置３０がユーザの動作から推測してもよい。

新しい仮想シーン２２を生成するために使用される仮想空間２０の新しい視点２４に対する新しい位置２３は、ユーザ１８が配列１４２から選択してもよい。

相異なる位置２３の配列１４２は、一つ（又は複数）の仮想関心物体２１を含む仮想シーン２２を規定する視点２４が複数の可能な位置２３に存在しないという理由で、そうした位置を配列１４２から除外することによって決定されてもよい。

相異なる位置２３の配列１４２は、一つ（又は複数）の仮想関心物体２１に関連する一つ又は複数の画質基準を満たすかどうかとは無関係に、そうした一つ（又は複数）の仮想関心物体２１を共通して含む仮想シーン２２を規定する視点２４がある位置２３から選択されてもよい。例えば、一つ（又は複数）の仮想関心物体２１に対して焦点の合う位置２３や、一つ（又は複数）の仮想関心物体２１が視野に対して要求される最低限の比率で占める位置２３、一つ（又は複数）の仮想関心物体２１の像に対して要求される解像度を持つ位置２３が選択されてもよい。その結果、配列１４２は、一つ（又は複数）の仮想関心物体２１の高画質画像のみに関連付けられる。画質は画質基準によって決定され、画質基準はユーザ定義等でも、予め定義されている等でもよい。

実施例によっては、相異なる位置２３の配列１４２の決定は、一つ（又は複数）の仮想関心物体２１に対する一つ又は複数の画質基準を満たすような一つ（又は複数）の仮想関心物体２１を共通して含む仮想シーン２２を規定する視点２４が複数の可能な位置２３に存在しないという理由で、そうした位置を配列１４２から除外することによって決定されてもよい。例えば、前段で記述したように、特定の位置２３からの見た一つ（又は複数）の仮想関心物体２１の像の焦点が合っていたり、視野及び解像度に釣り合っていたりするといった画質基準を満たさないという理由で、そうした位置が配列１４２から除外されてもよい。その結果、配列１４２は、一つ（又は複数）の仮想関心物体２１の低画質画像には関連付けされない。画質は画質基準によって決定され、画質基準はユーザ定義等でも、予め定義されている等でもよい。

図１２Ａ、１２Ｃ、１２Ｅは、図１１に示した仮想空間２０の仮想シーン２２を示す。

図１２Ａで、装置３０は、現在位置２３における現在視点２４から見た仮想空間２０の現在仮想シーン２２をユーザに表示している。仮想シーン２２は、現実空間１０における現実物体１１に対応する少なくとも一つの仮想物体２１を含み、ユーザ入力人工仮想オブジェクト１２０を含まない。

図１２Ｂにおいて、ユーザ１８は、仮想シーン２２を規定する視点２４の位置２３をユーザ１８が制御できるように装置３０に示す起動ジェスチャ８０を行う。

この起動ジェスチャ８０に応答して、装置３０は、図１２Ｃに示すように、現在位置２３における現在視点２４から見える仮想空間２０の現在仮想シーン２２をユーザ１８に表示する。この仮想シーン２２はユーザ入力人工仮想オブジェクト１２０を含む。

装置３０又はシステム２００は、仮想関心物体２１を含む仮想シーン２２を規定する視点２４がある相異なる位置２３の配列１４２を決定する。

この実施例では、仮想関心物体２１は、現在シーン２２の視界２６の中心にある仮想物体２１として決定される。ヘッドセット装置３３を介する等して装置３０が視点媒介現実や拡張現実、仮想現実を実行している場合、関心物体２１は、三次元ジェスチャ８０を行うときのユーザの視線方向によって決定されてもよい。前述の通り、ユーザの視線は現在位置２３における視点２４を決定し、その結果、仮想シーン２２の内容を規定する。

必ずしも全てではないが実施例によっては、特定の位置２３における視線２４から見える仮想空間２０の仮想シーン２２をユーザ１８に表示することは、現実空間１０における現実位置１３での視点１４であって、仮想空間２０における位置２３の視点２４に対応する視点１４から捉えられる現実シーン１２の表示と、ユーザ入力人工仮想オブジェクト１２０の表示を含んでもよい。

必ずしも全てではないが実施例によっては、ユーザ入力人工仮想オブジェクト１２０が細長くて一つ又は複数のインジケータ１２１を含んでもよい。各インジケータ１２１には、推定仮想シーン２２を規定する視点２４がある少なくとも一つの関連位置２３が含まれる。ユーザ１８はインジケータ１２１を選択して、選択されたインジケータ１２１に関連する位置２３での新しい視点２４から見える仮想空間２０の新しい仮想シーン２２をユーザ１８に表示できる。

図１２Ｃの実施例では、中央のインジケータ１２１における細長いユーザ入力人工仮想オブジェクト１２０の中心に現在位置Ｃ_１が配置される。細長いユーザ入力人工仮想オブジェクト１２０の右側のインジケータは図１１の位置Ｃ_２に関連し、細長いユーザ入力人工仮想オブジェクト１２０の左側のインジケータは図１１の位置Ｃ_４に関連する。図１１において、位置Ｃ_２は中央位置Ｃ_１の右側であり、位置Ｃ_４は中央位置Ｃ_１の左側である。その結果、ユーザ入力人工仮想オブジェクト１２０の長さ方向に沿ったインジケータ１２０の順序は、これらインジケータ１２０に関連する位置の配列１４２に沿った順序と一致する。ユーザ入力人工仮想オブジェクト１２０の長さ方向に沿ったインジケータ１２０の間隔は、これらインジケータ１２０に関連する位置の配列１４２に沿った間隔に比例してもよい。

中央インジケータ１２１の右側のインジケータ１２１を選択することによって、仮想シーン２２は、位置Ｃ_２及びその位置での視点２４の組合せによって規定される仮想シーン２２に変更される。中央インジケータ１２１の左側のインジケータ１２１をユーザが選択することによって、仮想シーン２２は、位置Ｃ_４及びその位置での視点２４によって規定される仮想シーンに変更される。

図１２Ｄは、ユーザ１８の三次元ジェスチャ８０であって、ユーザ入力人工仮想オブジェクト１２０とインタラクションする、仮想空間２０において対応する三次元ジェスチャにマッピングされる三次元ジェスチャを示す。この実施例では、三次元ジェスチャ８０は左方向プル又はタッグ（引っ張り）動作で、位置Ｃ_２に関連するインジケータ１２１をその位置から中央位置の右側に動かす。これと同時に、仮想シーン２２は、位置Ｃ_２及びその位置Ｃ_２での視点２４によって規定される仮想シーン２２に変更される。この実施例において、ユーザ入力人工仮想オブジェクト１２０とインタラクションする、仮想空間２０において対応する三次元ジェスチャは、インジケータ１２１を中央位置から右側に動かす、左方向プル又はタッグ動作でもよく、インジケータ１２１を中央位置から左側に動かす、右方向プル又はタッグ動作でもよい。これと同時に、仮想シーン２２は、視点２４の位置２３及びその位置での視点２４によって規定される仮想シーン２２に変更される。

必ずしも全てではないが実施例によっては、あらゆる左方向プル又はタッグ動作が自動的に次のインジケータ１２１を中央位置の右側位置から中央位置に動かしてもよく、またあらゆる右方向プル又はタッグ動作が自動的に次のインジケータ１２１を中央位置の左側位置から中央位置に動かしてもよい。

必ずしも全てではないが実施例によっては、左方向プル又はタッグ動作は、インジケータ１２１を右側位置から中央位置に向かって段階的に動かし、右方向プル又はタッグ動作は、インジケータ１２１を左側位置から中央位置に向かって段階的に動かす。インジケータ１２１が中央位置に到達する前にユーザがプル動作又はタッグ動作を止める場合、位置Ｃ_１及び位置Ｃ_２（Ｃ_４）の間の合成位置２３が中央位置を占める。仮想空間２０における合成位置２３及び合成視点２４は、デジタルイメージ処理を用いてユーザから見える合成仮想シーン２２を生成するために使用される。

ユーザ入力人工仮想オブジェクト１２０におけるインジケータ１２１の位置が正確な縮尺でなくてもよいことは、図１２Ｃから理解されよう。この実施例において各インジケータ１２１の相対位置は、推定仮想シーン２２を規定する視点２４がある位置２３の相対的配置を示す。

必ずしも全てではないが実施例によっては、推定仮想シーン２２は現在の仮想シーン２２と少なくとも一部が重なる。例えば、現在仮想シーン２２及び推定仮想シーン２２はそれぞれ仮想関心物体２１を含んでもよく、仮想関心物体２１が仮想シーン２２内の中央に配置されてもよい。図１２Ｅは、利用可能なビューにおけるギャップを示す追加インジケータ１２２を示す。

必ずしも全てではないが実施例によっては、細長い人工仮想オブジェクト１２０は結び目及び着色の何れか又は両方を有する紐又はロープの形態で表現されてもよい。そのとき、三次元ジェスチャ８０はこのロープ又は紐を引き延ばさずに引っ張る（プル）動作を表わし、所望の仮想シーン２２を効果的にビューに引っ張るようにする。

必ずしも全てではないが実施例によっては、装置３０が、三次元ジェスチャ８０が行われる間、表示された仮想シーン２２内の仮想空間２０にマッピングされる三次元ジェスチャ８０の表現を表示できてもよい。

図１２Ｅは、仮想空間２０において対応する三次元ジェスチャ８０がユーザ入力人工仮想オブジェクト１２０とインタラクションするという決定に応答して、図１２Ｃで示した現在位置２３とは異なる新しい位置２３における新しい視点２４から見える仮想空間２０の新しい仮想シーン２２をユーザ１８に表示する様子を示す。この実施例では、視点２４の位置２３が図１２Ｅに示す位置に変更された後でもユーザ入力人工仮想オブジェクト１２０が表示されているが、この構成は任意でもよい。

前述の実施例では、別々の視点２４の位置２３の間でのナビゲーションは離散的であった。三次元ユーザジェスチャ８０は位置Ｃ_１からＣ_２へ移動させ、結果として仮想シーン２２の視点が移動する。

他の実施例では、仮想空間２０における離散位置Ｃ_１及びＣ_２（Ｃ_４）の間の遷移が可能で望ましい。この実施例では、実際のカメラ像に対応しない合成仮想シーン２２を合成し、ユーザがユーザ入力人工仮想オブジェクト１２０をインタラクションさせるときに、この生成された合成仮想シーン２２を段階的に表示できる。その結果、三次元ユーザジェスチャ８０によってユーザ入力人工仮想オブジェクト１２０が、位置Ｃ_１を示すインジケータ１２１がある状態から位置Ｃ_２（Ｃ_４）を示すインジケータ１２１がある状態へ動かされると、仮想シーン２２も段階的に遷移するようになってもよい。三次元ユーザジェスチャ８０によって人工仮想オブジェクト１２０が動かされると、位置Ｃ_２（Ｃ_４）のインジケータ１２１は中央位置に向かって移動する。この動きが生じている間は、位置Ｃ_１及びＣ_２（Ｃ_４）の間の合成位置２３が中央位置を占める。仮想空間２０における合成位置２３及び合成視点２４は、デジタルイメージ処理を用いてユーザから見える合成仮想シーン２２を生成するために使用される。

したがって、様々な実施例が、仮想シーン２２内に表示されるユーザインタフェース１２０に関する三次元ジェスチャを介した三人称視点媒介を示していることは、前述の記述から理解されよう。この三人称視点媒介が、例えばヘッドセットを通じて与えることができる一人称視点媒介に加えて与えられてもよい。

前述のシステムは、三次元ジェスチャ８０を用いて三人称視点を媒介した媒介現実や仮想現実、拡張現実をユーザ１８に提供できるように使用されてもよい。これは、静止画像やビデオ画像、リアルタイムイメージ、保存イメージに関しても実現可能である。

図８から１３に関する記述では、三次元ジェスチャ８０の実行が参照されてきたが、これらのジェスチャ８０は静的ジェスチャでもよく、動きジェスチャでもよい。こうしたジェスチャには、例えば、ユーザの体の一部又は複数部分や追加装置等のユーザ入力物の動きも含まれる。三次元ジェスチャは、三次元での静止ポーズや三次元での動きの何れかを通じて三次元で行われるジェスチャである。こうしたジェスチャは、装置３０に接触しない非接触ジェスチャでもよい。ジェスチャ８０は、ジェスチャの間の相対変位で定義される相対的ジェスチャでもよい。ジェスチャ８０は非拘束で、それを装置３０に対する絶対空間又は相対空間の何れかにおける正確な位置で行う必要がなくてもよい。

図８から１３に関連して記述された方法は、例えば、上述の装置３０の何れかによって実行されてもよい。前述の通り、仮想シーン２２を変える仮想空間２０内の視点２４を決定するユーザ動作を検出するために、ユーザ入力回路４４が使用されてもよい。

構造的特徴が記述されてきたが、こうした構造的特徴は、その構造的特徴における１つ又は複数の機能を実行する手段で置き換えられてもよい。こうした１つ又は複数の機能は明示的に記述されていてもよく、されていなくてもよい。

本願で記載するように、「モジュール」という用語は、装置のユニットであって、エンドメーカーやユーザによって追加されるパーツ／部品を除いたものを表わす。コントローラ４２はモジュール等でもよい。装置３０がモジュールでもよい。入力回路がモジュールでもよく、複数のモジュールを具備してもよい。ディスプレイ３２がモジュールでもよい。

本明細書において「含む、備える（comprise）」という用語は、排他的な意味ではなく、包括的な意味で使用される。「Ｙを含むＸ」に関しては全て、「Ｘは１つのＹしか含むことができない」又は「複数のＹを含むことができる」を意味する。排他的な意味を有する「含む、備える（comprise）」を意図する場合は、「〜を１つのみ含むこと」又は「〜から成る」と言及することにより、文脈内で明確にされよう。

この簡潔な説明では、様々な例への参照がなされてきた。実施例に関する特徴または機能の説明は、これらの特徴または機能が、その実施例に認められることを示す。本明細書中の「実施例（example）」「例えば（for example）」「〜できる、〜場合がある（may）」といった単語の使用は、明示的であれ非明示的であれ、特徴及び機能が、少なくとも記載された実施例に存在することを意味する。実施例としての記載及び不記載にかかわらず、これら特徴及び機能が、他の一部または全ての実施例に存在する可能性があるが、必ずしもそうではないことを意味する。このように、「実施例」「例えば」「〜できる、〜の場合がある」は、ある例示群における特定の事例であることを指す。上記特定の事例の特性は、その事例のみの特性である場合、または上記例示群に属する一部の群の特性である場合がある。すなわち、上記特定の事例の特性は、例示群中の例示の全特性とは限らないが特性の一部を含む。したがって、ある特定の実施例を参照しているが別の実施例を参照しないで記述された特徴は、それが他の実施例でも使用される可能性もあれば、他の実施例での使用が不要である可能性もあることを示唆している。

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。

これまでに記述してきた事項は、明示的に記述された組合せのみならず、それ以外の組合せで用いられてもよい。

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims

現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと；
前記ユーザの三次元ジェスチャを、前記ユーザ入力人工仮想オブジェクトとインタラクションする、前記仮想空間において対応する三次元ジェスチャにマッピングすることと；
前記仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、前記現在位置とは異なる新しい位置における新しい視点から見える前記仮想空間の新しい仮想シーンをユーザに表示することと；
を含む、方法であって、
それぞれ異なる仮想シーンを規定する視点が存在する相異なる位置の配列を決定することであって、該仮想シーンの各々は一つ又は複数の仮想関心物体を共通して含む、前記決定することと；
前記一つ又は複数の仮想関心物体に対する一つ又は複数の画質基準を満たす一つ又は複数の仮想関心物体を含む仮想シーンを規定する視点が複数の可能な位置に存在しないという理由で、該複数の可能な位置を前記相異なる位置の配列から除外することと；
を更に含み、前記新しい位置は前記相異なる位置の配列から選択される、方法。
前記現在仮想シーン及び前記新しい仮想シーンには、少なくとも複数の仮想物体が共通して存在する、請求項１に記載の方法。
前記一つ又は複数の仮想関心物体は、前記三次元ジェスチャを行うとき、前記ユーザの視線方向によって決定される、請求項１又は２に記載の方向。
前記新しい位置は、前記相異なる位置の配列における次の位置である、請求項１から３のいずれかに記載の方法。
前記相異なる位置の配列を決定することは、前記一つ又は複数の仮想関心物体を含む仮想シーンを規定する視点が複数の可能な位置に存在しないという理由で、該複数の可能な位置を前記配列から除外することを含む、請求項１から４の何れかに記載の方法。
前記ユーザ入力人工仮想オブジェクトは細長く、一つ又は複数のインジケータを含み、各インジケータは、推定仮想シーンを規定する視点が存在する少なくとも一つの関連位置を示し、ユーザはインジケータを選択し、それによって、該選択された標示子に関連する位置での視点から見える仮想空間の新しい仮想シーンを該ユーザに表示する、請求項１から５の何れかに記載の方法。
前記ユーザ入力人工仮想オブジェクトの長さ方向に沿った各インジケータの相対配置は、推定仮想シーンを規定する視点が存在する位置の相対配置を少なくとも示す、請求項６に記載の方法。
前記推定仮想シーンは、前記現在の仮想シーンと少なくとも一部重なる、請求項６又は７に記載の方法。
ユーザの実際の視点に基づいて前記新しい視点を決定すること；
測位技術、加速度計、ジャイロスコープ、電子コンパス、瞳孔追跡技術のいずれか一つ以上を用いて前記新しい視点を決定すること；
のいずれか一つ以上を含む、請求項１から８の何れかに記載の方法。
前記三次元ジェスチャが行われる間、前記表示された仮想シーン内の仮想空間にマッピングされる三次元ジェスチャの表現を表示することを更に含む、請求項１から９の何れかに記載の方法。
特定の位置での視点から見える仮想空間の仮想シーンをユーザに表示することは、該仮想空間における位置での視点に対応する、現実空間における第１の現実位置での第１の視点から撮られる現実シーンを表示すること、及び少なくとも一つのユーザ入力人工仮想オブジェクトを表示することを含む、請求項１から１０の何れかに記載の方法。
特定の位置での視点から見える仮想空間の仮想シーンをユーザに表示することは、合成位置での合成視点から見える合成シーンを表示すること、ただし、該合成シーンは相異なる視点から撮られた現実シーンから生成され、該合成位置での合成視点は該仮想空間における位置での視点に対応する、前記合成シーンを表示することと、前記ユーザ入力人工仮想オブジェクトを前記ユーザに表示することを含む、請求項１から１１の何れかに記載の方法。
装置であって、
請求項１から１２の何れかに記載の方法を行う手段、又は、前記装置のプロセッサで実行されると前記装置に請求項１から１２の何れかに記載の方法を遂行させるコンピュータプログラムを備える、装置。