JP6495538B2 - イメージコンテンツ検索 - Google Patents

Description

本発明の実施形態はイメージコンテンツの中の検索に関し、具体的には現実シーンの録画における変更された特定を使ってイメージコンテンツアイテムの中を検索することに関する。

背景

静止画像や動画像のようなイメージコンテンツアイテムは、カメラで撮影できる。こうしたイメージコンテンツアイテムはデバイスが表示することもできる。こうしたデバイスが、イメージコンテンツアイテムの中の閲覧をユーザができるようにしてもよい。

摘要

必ずしも全てではないが、本発明の種々の実施形態によれば、第１のイメージコンテンツアイテムにおける現実シーン録画に少なくとも一つの変更を加えて、ユーザ入力に応答することと；現実シーン録画において少なくとも一つの変更後特性を決定することと；決定された少なくとも一つの変更後特性を含む現実シーン録画を、第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが有すると決定することと；決定された少なくとも一つの変更後特性を含む現実シーン録画を有する一つ又は複数の追加イメージコンテンツアイテムを、ユーザに提示することを含む方法が提供される。

必ずしも全てではないが、本発明の種々の実施形態によれば、少なくとも一つのプロセッサで実行されると、次のこと：第１のイメージコンテンツアイテムにおける現実シーン録画に少なくとも一つの変更を加えて、ユーザ入力に応答することと；現実シーン録画において少なくとも一つの変更後特性を決定することと；決定された少なくとも一つの変更後特性を含む現実シーン録画を、第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが有すると決定することと；決定された少なくとも一つの変更後特性を含む現実シーン録画を有する一つ又は複数の追加イメージコンテンツアイテムを、ユーザに提示することを実行するコンピュータプログラムコードが提供される。

一つ又は複数のコンピュータプログラムが前述のコンピュータコードを含んでもよい。一つ又は複数のコンピュータプログラムが、一つ又は複数の非一時的コンピュータ可読媒体に記憶されてもよい。

必ずしも全てではないが、本発明の種々の実施形態によれば、第１のイメージコンテンツアイテムにおける現実シーン録画に少なくとも一つの変更を加えて、ユーザ入力に応答する手段と；現実シーン録画において少なくとも一つの変更後特性を決定する手段と；決定された少なくとも一つの変更後特性を含む現実シーン録画を、第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが有すると決定する手段と；決定された少なくとも一つの変更後特性を含む現実シーン録画を有する一つ又は複数の追加イメージコンテンツアイテムを、ユーザに提示する手段を備える装置が提供される。

必ずしも全てではないが、本発明の種々の実施形態によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含むメモリを備える装置であって、コンピュータプログラムコードが、少なくとも一つのプロセッサを用いて、少なくとも次のこと：第１のイメージコンテンツアイテムにおける現実シーン録画に少なくとも一つの変更を加えて、ユーザ入力に応答することと；現実シーン録画において少なくとも一つの変更後特性を決定することと；決定された少なくとも一つの変更後特性を含む現実シーン録画を、第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが有すると決定することと；決定された少なくとも一つの変更後特性を含む現実シーン録画を有する一つ又は複数の追加イメージコンテンツアイテムを、ユーザに提示することを実行するように構成される、装置が提供される。

必ずしも全てではないが本発明の種々の実施形態によれば、添付する特許請求の範囲で特定されるような実施例が提供される。

前述の詳細な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
図１Ａ、１Ｂ、１Ｃは、媒介現実の実施例であって、同一の仮想空間と別々の視点を示す。 図２Ａ、２Ｂ、２Ｃは、媒介現実の実施例であって、それぞれの視点から見た仮想シーンを示す。 図３Ａは、現実空間の例を示す。図３Ｂは、図１Ｂの仮想空間に部分的に対応する現実シーンの例を示す。 チップ又はチップセットの形態による装置の概略を示す。 一つ又は複数の電子デバイスであって、媒介現実、拡張現実、仮想現実の全部又は一部を可能にするように動作できる電子デバイスの形態による装置の概略を示す。 媒介現実、拡張現実、仮想現実の全部又は一部を可能にする方法の実施例を示す。 拡張現実のための仮想空間モデルを更新する方法の実施例を示す。 図７Ａ、７Ｂは、ユーザに対して仮想シーンの少なくとも一部を表示可能にする装置の実施例を示す。 方法のフローチャートを示す。 第１のイメージコンテンツアイテムにおける現実シーンの録画であって、現実シーンからの現実物体のイメージを含む録画を示す。 現実シーンの録画をディスプレイが表示中にユーザがジェスチャを開始する状況を示す。 ユーザが図１０で開始したジェスチャを完了した状況を示す。 第１のイメージコンテンツアイテムの中の現実シーンの録画における変更された特性に基づいてイメージコンテンツアイテムを検索した後、第２、第３、第４のイメージコンテンツアイテムがディスプレイに表示される状況を示す。 第５のイメージコンテンツアイテムにおける現実シーンの録画を示す。 ユーザが第５のイメージコンテンツアイテムにおける現実物体イメージを複数の候補位置の中の一箇所に移動する状況を示す。 第５のイメージコンテンツアイテムにおける現実物体イメージの位置に基づいてイメージコンテンツアイテムを検索した後、第６、第７、第８のイメージコンテンツアイテムがディスプレイに表示される状況を示す。

詳細説明

本発明の実施形態は、ユーザがイメージコンテンツアイテムにおける現実シーンの録画を変更でき、かつ、変更後録画を用いてイメージコンテンツアイテムの中を検索して更なるイメージコンテンツアイテムを識別できるようにすることに関する。例えば、ユーザは現実物体イメージを別の現実物体イメージと交換することによって現実シーンの録画を変更できてもよく、現実物体イメージの位置を変更できてもよく、現実物体イメージのサイズを変更できてもよい。これらの全部が可能でも一部が可能でもよい。

本発明の実施形態による技術的効果は、ユーザにとって直感的で、改良され、より効率的なイメージコンテンツアイテム検索法を提供することである。
［定義］

本願では以下の定義を採用する。

「視野」とは、ある時点においてユーザに見える観察可能な世界の範囲のことである。

「仮想空間」とは完全人工環境又は半人工環境のことであり、三次元であってもよい。

「仮想シーン」とは、仮想空間内の特定の視点からみえる仮想空間の表現のことである。

「現実空間」とは現実の有形環境のことであり、三次元であってもよい。

「現実シーン」とは、現実空間内の特定の視点からみえる現実空間の一部のことである。

本願において「媒介現実」とは、コンピュータがユーザに少なくとも部分的に表示する完全人工環境又は半人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験することである。仮想シーンは、仮想空間内の視点及び視野によって決定される。仮想シーンの表示は、それをユーザに見える形で提供することを意味する。

「媒介現実コンテンツ」とは、仮想シーンとして完全人工環境又は半人工環境（仮想空間）をユーザに視覚的に体験させることができるコンテンツのことである。

本願における「拡張現実」は媒介現実の一形態を言及する。拡張現実では、半人工環境（仮想空間）であって、装置がユーザに表示する一つ又は複数の視覚要素で追加された物理的現実世界環境（現実空間）の現実シーンを含む半人工環境を仮想シーンとしてユーザが視覚的に体験する。

「拡張現実コンテンツ」とは媒介現実コンテンツの一形態のことであり、仮想シーンとして半人工環境（仮想空間）をユーザに視覚的に体験させることができる。

本願における「仮想現実」は媒介現実の一形態を言及する。仮想現実では、装置が表示する完全人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験する。

「仮想現実コンテンツ」とは媒介現実コンテンツの一形態のことであり、仮想シーンとして完全人工環境（仮想空間）をユーザに視覚的に体験させることができる。

媒介現実や拡張現実、仮想現実に適用される「視点媒介（perspective-mediated）」は、ユーザの動作が仮想空間内の視点を決定し、その視点が仮想シーンを変えることを意味する。

媒介現実や拡張現実、仮想現実に適用される「一人称視点媒介（first person perspective-mediated）」は、ユーザの現実の視点が仮想空間内の視点を決定する追加制約を持つ視点媒介を意味する。

媒介現実や拡張現実、仮想現実に適用される「インタラクティブ媒介（user interactive-mediated）は、仮想空間内で生じたことがユーザの動作によって少なくとも部分的に決定されることを意味する。

「表示（displaying）」は、ユーザによって視覚的に知覚される形態を提示することを意味する。

詳細な説明

図１Ａから１Ｃ、２Ａから２Ｃは媒介現実の実施例を示す。媒介現実は拡張現実又は仮想現実でもよい。

図１Ａ、１Ｂ、１Ｃは同一の仮想物体２１を含む同一の仮想空間２０を示しているが、各図はそれぞれ異なる視点２４を示している。視点２４の位置及び向きは独立して変化しうる。図１Ａから図１Ｂで視点２４の位置は同じで向きが変化している。図１Ｂから図１Ｃで視点２４の位置と向きが変化している。

図２Ａ、２Ｂ、２Ｃは、図１Ａ、１Ｂ、１Ｃのそれぞれ異なる視点２４から見える仮想シーン２２を示す。仮想シーン２２は、仮想空間２０内の視点２４及び視野２６によって決定される。仮想シーン２２は、ユーザに対して少なくとも部分的に表示される。

ここで示す仮想シーン２２は、媒介現実シーンや仮想現実シーン、拡張現実シーンでもよい。仮想現実シーンは完全人工仮想空間２０を見せる。拡張現実シーンは半人工半現実空間２０を見せる。

媒介現実や拡張現実、仮想現実はインタラクティブ媒介（user interactive-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内で起きることを少なくとも部分的に決定する。これにより、仮想空間２０内の視覚要素２８のような仮想物体２１とのインタラクションが可能となる。

媒介現実や拡張現実、仮想現実は視点媒介（perspective-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内における視点２４を決定し、その視点２４によって仮想シーン２２が変わる。例えば、図１Ａ、１Ｂ、１Ｃに示されるように、仮想空間２０内における視点２４の位置２３が変えられてもよく、仮想空間２０内における視点２４の方向又は向き２５が変えられてもよい。また、これら両方が同時に変えられてもよい。仮想空間２０が三次元である場合、視点２４位置２３の自由度は、例えば上下、前後、左右の３であり、仮想空間２０内の視点２４方向２５の自由度は、例えばロール、ピッチ、ヨーの３である。視点２４は、位置２３、方向２５の両方又は片方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の両方又は片方を連続的に変える。これとは別に、視点２４は量子化された離散位置２３、量子化された離散方向２５の一方又は両方を持つことができ、ユーザ動作は、視点２４に関する許容位置２３，許容方向２５の一方又は両方の間を離散的に移すことで切換えを行う。

図３Ａは、現実物体１１を含み、図１Ａの仮想空間２０に少なくとも部分的に対応する現実空間１０を示す。この実施例では、現実空間１０における現実物体１１はそれぞれ仮想空間２０において対応する仮想物体２１を持つ。一方、仮想空間２０における仮想物体２１の中には現実空間１０において対応する現実物体１１を持たないものもある。この実施例において、仮想物体２１の一つであるコンピュータ生成視覚要素２８とは、現実空間１０において対応する現実物体１１を持たない人工的な仮想物体２１である。

現実空間１０と仮想空間２０との間には線形写像が存在し、現実空間１０における各現実物体１１と対応する仮想物体２１との間にも同一の線形写像が存在する。したがって、現実空間１０における現実物体１１同士の相対関係は、仮想空間２０において対応する仮想物体２１の間の相対関係と同一である。

図３Ｂは、図１Ｂの仮想空間２０に一部対応する現実空間１０を示す。現実空間１０は現実物体１１を含むが人工仮想物体は含まない。現実シーンは、図１Ａの仮想空間２０における視点２４に対応する視点から見える。現実シーン１２の内容は、それに対応する視点２４及び視野２６によって決定される。

図２Ａは、図３Ｂに示された現実シーン１２に関する拡張現実版の実例である。仮想シーン２２は、装置によってユーザに表示された一つ又は複数の視覚要素２８が追加された、現実空間１０の現実シーン１２を含む。視覚要素２８は、コンピュータ生成視覚要素でもよい。シースルー構成では、仮想シーン２２は、一つ（又は複数）の追加視覚要素２８の表示を通して見える実際の現実シーン１２を含む。シービデオ構成では、仮想シーン２２は、表示された現実シーン１２及び表示された一つ（又は複数）の追加視覚要素２８を含む。表示現実シーン１２は単一視点２４からの像に基づいていてもよく、同一時点における別々の視点２４からの複数の像に基づいていてもよい。複数の像は、単一視点からの像を生成するために処理される。

図４Ａは、チップ又はチップセットの形態による装置４を示す。図示された装置４は、少なくとも一つのプロセッサ４０と少なくとも一つのメモリ４６を備える。プロセッサ４０は中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）の一方又は両方でもよく、それらを備えていてもよい。プロセッサ４０は、メモリ４６から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ４０は出力インタフェースと入力インタフェースを備えてもよい。データ又は命令、あるいはその両方は、プロセッサ４０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ４０に入力される。

メモリ４６はコンピュータプログラム１４８を保存する。コンピュータプログラム１４８は、プロセッサ４０にロードされて装置４／３０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）４８を含む。コンピュータプログラム１４８のコンピュータプログラム命令４８は、図５、６、８に示された方法を装置４／３０が実行できるようにするロジック及びルーチンを提供する。プロセッサ４０は、メモリ４６を読み取ることによりコンピュータプログラム１４８をロードして実行することができる。

コンピュータプログラム１４８は、任意の適切な配信機構を介して装置４／３０に提供されてもよい。配信機構は、例えば、非一時的コンピュータ可読記憶媒体やコンピュータプログラム製品、メモリデバイス、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：compact disc read-only memory）又はデジタル多用途ディスク（ＤＶＤ：digital versatile disc）等の記憶媒体、あるいはコンピュータプログラム１４８を有形に具現した製造品であってもよい。配信機構はコンピュータプログラム１４８を確実に伝達するように構成される信号でもよい。信号は、例えば、（無線周波数の通信等）無線通信を介して、または、一以上のプロトコルに準拠した有線回線を介して送信される。装置４／３０は、コンピューターデータ信号としてコンピュータプログラム１４８を送信してもよい。

メモリ４６は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、永久／半永久／動的／キャッシュの記憶方式でもよく、あるいはそれら全てでもよい。

プロセッサ４０は単一要素又は回路として示されているが、一つ又は複数の別々の要素又は回路のような複数のプロセッサとして実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。一つ（又は複数）のプロセッサ４０はシングルコアでもマルチコアでもよい。

図４Ｂは、媒介現実、拡張現実、仮想現実の全部又は一部を可能にするように動作できる装置３０の概略を示す。

実施形態によっては、装置３０が頭部装着型視覚装置のような単一の電子デバイスでもよい。こうした頭部装着型視覚装置の実施例は図７Ｂに示されている。

他の実施形態では、装置３０は複数のデバイスに分けることができ、頭部装着型視覚装置、ゲームコンソール／パーソナルコンピュータ、一つ又は複数の携帯型コントローラの全部又は一部の組合せから形成されてもよい。ゲームコンソール又はパーソナルコンピュータによって装置３０の少なくとも一部が形成される場合、プロセッサ４０及びメモリ４６（あるいは、複数のプロセッサ、複数のメモリの全部又は一部が与えられる場合、その全部又は一部の中から一つ又は複数のもの）は、ゲームコンソール又はパーソナルコンピュータに具備されてもよい。

図示された実施例では、装置３０が、図４Ａに示された装置４、一つ又は複数のディスプレイ３２、一つ又は複数のトランシーバ４２、ユーザ入力回路４４を備える。

一つ又は複数のディスプレイ３２は、ユーザの視点から見える形でそのユーザに仮想シーン２２の少なくとも一部を表示する。こうした仮想シーンは、仮想現実コンテンツや拡張現実コンテンツのような媒介現実コンテンツの一部を形成してもよい。一つ（又は複数）のディスプレイ３２は、仮想シーン２２の少なくとも一部をユーザに表示する光を出す一つ又は複数のビジュアルディスプレイでもよい。ビジュアルディスプレイの例には、液晶ディスプレイや有機発光ダイオードディスプレイ、発光型、反射型、透過型、半透過型の各ディスプレイ、網膜直接投影型ディスプレイ、ニアアイディスプレイ等が含まれる。この実施例では一つ（又は複数）のディスプレイ３２がプロセッサ４０によって制御されているが、全ての実施例がそうである必要はない。

ユーザが頭を動かすと頭部装着型視覚装置も動く。頭部装着型視覚装置は拡張現実用シースルー構成であって、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８も一つ（又は複数）のディスプレイ３２によってユーザに表示され、組み合わせて仮想シーン２２を提供するシースルー構成でもよい。この場合、バイザーがあれば、ライブ現実シーン１２がバイザーを通して見えるように透明又は半透明である。

頭部装着型視覚装置は拡張現実用シービデオ構成として動作してもよい。この拡張現実では、ユーザに見せる一つ（又は複数）のディスプレイ３２によって現実シーン１２のライブ映像を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せる一つ（又は複数）のディスプレイ３２によって同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。この場合、バイザーは不透明で一つ（又は複数）のディスプレイ３２として使用されてもよい。

一つ又は複数のトランシーバ４２は、プロセッサ４０から入力を受け取り、プロセッサ４０に出力を与えるように構成される。例えば、一つ又は複数のトランシーバ４２はプロセッサ４０からデータを受け取ってそれを送信し、プロセッサ４０に受信データを与えてもよい。

一つ又は複数のトランシーバ４２には、一つ又は複数の無線トランシーバ、一つ又は複数の有線トランシーバの全部又は一部が含まれうる。こうした無線トランシーバには、例えば、一つ又は複数の長距離用セルラー方式トランシーバ又は短距離用無線トランシーバといった形態で無線周波数レシーバが含まれうる（これらのレシーバは、例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）の無線ＬＡＮネットワークプロトコル８０２．１１またはBluetooth（登録商標）プロトコルに準拠して動作してもよい）。こうした有線トランシーバには、例えば、ユニバーサルシリアルバス（ＵＳＢ）トランシーバが含まれうる。

図示された実施例において、ユーザ入力回路４４は、一つ又は複数の触覚センサ４３、一つ又は複数の視点センサ４５、現実空間１０を撮影する一つ又は複数のイメージセンサ４７、一つ又は複数の深度センサ４９を備えてもよい。

一つ又は複数の触覚センサ４３には、例えば一つ又は複数のジョイスティック、一つ又は複数のキー又はボタンが含まれうる。一つ（又は複数）のジョイスティック、一つ（又は複数）のキー／ボタンの全部又は一部は、物理的な携帯セルラーの一部を形成してもよい。装置３０が頭部装着型である場合、一つ又は複数の触覚センサ４３の少なくとも一部は頭部装着型装置に配置されてもよい。

装置３０は、媒介現実、拡張現実、仮想現実の全部又は一部に対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４は、一つ（又は複数）の触覚センサ４３を介するなどしてユーザ入力を用いたユーザ動作を検出する。こうしたユーザ動作は、プロセッサ４０が仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

装置３０は、媒介現実、拡張現実、仮想現実の全部又は一部に対して視点媒介を可能にしてもよい。ユーザ入力回路４４はユーザ動作を検出する。こうしたユーザ動作は、プロセッサ４０が仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。視点２４は、位置、方向の両方又は片方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の両方又は片方を変える。これとは別に、視点２４には量子化された離散位置、量子化された離散方向の両方又は片方があってもよく、ユーザ動作が、視点２４に関する次の位置、方向２５の両方又は片方に移ることによって切り換える。

装置３０は、媒介現実や拡張現実、仮想現実に対する一人称視点を可能にしてもよい。ユーザ入力回路４４は、ユーザ視点センサ４５を用いてユーザの現実の視点１４を検出する。ユーザの現実視点は、プロセッサ４０が仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。図３Ａに戻ると、ユーザ１８には実際の視点（現実視点）１４がある。現実視点は、ユーザ１８によって変化する場合がある。例えば、現実視点１４の実際の位置（現実位置）１３はユーザ１８の位置であり、ユーザ１８の物理的位置１３を変えることで変化しうる。例えば、現実視点１４の実際の方向（現実方向）１５はユーザ１８が見ている方向であり、ユーザ１８の現実方向を変えることで変化しうる。現実方向１５は、例えば、ユーザ１８が頭の向きや視点を変えたり、視線方向を変えたり、あるいはその全てを変えたりすることによって変えることができる。一人称視点媒介を可能にするために、頭部装着型装置３０が使用されてもよい。

装置３０は入力回路４４の一部として、現実視点の変化を決定する視点センサ４５を備えてもよい。

例えば、ユーザ１８の新しい物理的位置１３及び現実視点１４を決定するために、ＧＰＳ等の測位技術、複数レシーバへの送信と複数トランスミッタからの受信の全部又は一部による三角測量（三辺測量）、加速度検出、及びそれらの統合が用いられてもよい。

また例えば、ユーザの頭の向きや視点の変化、及び結果として生じる現実視点１４の現実方向１５での変化を決定するために、加速度計や電子ジャイロスコープ、電子コンパスが使用されてもよい。

さらに例えば、ユーザの片目又は両目の動きを追跡し、それによってユーザの視線方向及びその結果として生じる現実視点１４の現実方向１５での変化を決定するために、コンピュータビジョン等に基づく瞳孔追跡技術が用いられてもよい。

装置３０は入力回路４４の一部として、現実空間１０を撮像するイメージセンサ４７を備えてもよい。

イメージセンサ４７の一例は、カメラとして動作するように構成されたデジタルイメージセンサである。こうしたカメラは、静止画、ビデオ画像の一方又は両方を記録するように動作できる。必ずしも全てではないが、実施形態によっては、現実シーン１０が様々な視点から見えるように、カメラが立体配置又は他の空間的配置に置かれてもよい。これは、三次元画像の生成、視差効果等を介した奥行きを設定する処理の一方又は両方を可能する。

必ずしも全てではないが実施形態によっては、入力回路４４が深度センサ４９を備える。深度センサ４９は、トランスミッタ及びレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタ及び単一のレシーバを用い、送信から受信までの伝搬時間を測定することによって、一部の奥行き情報を得ることができる。使用するトランスミッタの数又は使用するレシーバの数、あるいはその両方の数が多ければ多いほど、より高い分解能（空間的ダイバーシティ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、現実空間１０を「描く」ように構成される。レシーバによる特定のパターンの検出は、現実空間１０が空間的に分解されるようにする。現実空間１０が空間的に分解された部分までの距離は、伝搬時間、（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法の一方又は両方で測定できる。

装置３０は、例えば図６Ａに示された方法６０又は同様の方法を用いて、媒介現実、拡張現実、仮想現実の全部又は一部を可能にしてもよい。プロセッサ４０は、仮想空間２０のモデル５０を保存し保持する。モデルはプロセッサ４０に与えられてもよく、プロセッサ４０が決定してもよい。例えば、仮想空間の深度マップの重ね合わせを別々の視点から作成するために入力回路４４のセンサが使用されてもよく、それによって三次元モデルが生成されてもよい。

ブロック６２で、仮想空間２０のモデルが変わったかどうかが決定される。仮想空間２０のモデルが変わった場合、本方法はブロック６６に移る。仮想空間２０のモデルが変わらなかった場合、本方法はブロック６４に移る。

ブロック６４で、仮想空間２０における視点２４が変わったかどうかが決定される。視点２４が変わった場合、本方法はブロック６６に移る。視点２４が変わらなかった場合、本方法はブロック６２に戻る。

ブロック６６で、三次元仮想空間２０の位置２３からの二次元投影が、現在視点２４によって規定される方向２５に取られる。次に、この投影は視野２６によって限定され、仮想シーン２２を生成する。次に、本方法はブロック６２に戻る。

装置３０が拡張現実を可能にする場合、仮想空間２０は現実空間１０からの物体１１に加え、現実空間１０には存在しない可視要素２８も含む。こうした可視要素２８の組合せは、人工仮想空間として参照されてもよい。図５Ｂは、拡張現実のための仮想空間モデルを更新する方法７０を示す。

ブロック７２で、現実空間１０が変わったかどうかが決定される。現実空間１０が変わった場合、本方法はブロック７６に移る。現実空間１０が変わらなかった場合、本方法はブロック７４に移る。現実空間１０における変化の検出は画素レベルの差異を利用して実現されてもよく、物体の動きに合わせてそれを追跡するコンピュータビジョンを利用して物体レベルで実現されてもよい。

ブロック７４で、人工仮想空間が変わったかどうかが決定される。人工仮想空間が変わった場合、本方法はブロック７６に移る。人工仮想空間が変わらなかった場合、本方法はブロック７２に戻る。人工仮想空間はコントローラ４２によって生成されるため、視覚要素２８に対する変化は容易に検出される。

ブロック７６で、仮想空間２０のモデルが更新される。

必ずしも全てではないが実施形態によっては、入力回路４４が一つ又は複数のイメージセンサ４７及び深度センサ４９に加えて、又はそれらの代替として通信回路４１を備えてもよい。こうした通信回路４１は、現実空間１０における一つ又は複数のリモートイメージセンサ４７、現実空間１０におけるリモート深度センサ４９の全部又は一部と通信してもよい。通信回路４１は、一つ（又は複数）のトランシーバ４２の一部を形成してもよい。

図７Ａ及び７Ｂは、ユーザに仮想シーン２２の少なくとも一部を表示可能にする装置３０の実施例を示す。仮想シーン２２の少なくとも一部を表示可能する装置３０に関する他の実施例が用いられてもよい。

図７Ａには、ユーザに画像を表示し、仮想シーンをユーザに表示するためにも使用されるディスプレイ３２としての表示画面を備える携帯型装置３１が示されている。装置３０は、前述した自由度６の内一つ又は複数において、ユーザが意図的に手に持って動かすことができる。

携帯型装置３１は拡張現実用シービデオ構成でもよく、それとして動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２に現実シーン１２のライブ映像を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２に同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。

携帯型装置３１は、ディスプレイ３２とは反対面に搭載されたカメラを備える場合、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに表示され、組み合わせて仮想シーン２２を提供するシービデオ構成として動作することができる。

図７Ｂは、ユーザに画像を表示するディスプレイ３２を備える頭部装着型視覚装置３３を示す。頭部装着型装置３３は、ユーザの頭が動くのと合わせて無意識に動かすことができる。

頭部装着型視覚装置３３は拡張現実用シースルー構成であって、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もディスプレイ３２によってユーザに表示され、組み合わせて仮想シーン２２を提供するシースルー構成でもよい。この場合、バイザー３４があれば、ライブ現実シーン１２がバイザー３４を通して見えるように透明又は半透明である。

頭部装着型装置３３は拡張現実用シービデオ構成として動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２によって現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２によって同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。この場合、バイザー３４は不透明でディスプレイ３２として使用されてもよい。

図４Ｂに戻って参照すると、装置３０は、媒介現実、拡張現実、仮想現実の全部又は一部に対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力からユーザ動作を検出する。こうしたユーザ動作は、プロセッサ４０が仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

検出されたユーザ動作は例えば、現実空間１０で行われたジェスチャでもよい。ジェスチャは様々な方法で検出できる。例えば、ユーザ１８の体の一部の動きを検出するために深度センサ４９が使用されてもよく、ユーザ１８の体の一部の動きを検出するためにイメージセンサ４７が使用されてもよく、手足の動きを検出するためにユーザ１８の手足に装着された位置／動きセンサが使用されてもよい。あるいは、これら全てが使用されてもよい。

物体追跡は、物体又はユーザが何時動くかを決定するために使用されてもよい。例えば、物体を大きなマクロスケールで追跡することで、その物体と共に移動する基準枠を生成できる。この基準枠は、物体に対する時間差分を用いて物体の形状の時間進展的な変化を追跡するために使用できる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（のみ）の動きである。

装置３０は、ユーザの体の一つ又は複数の関節等、ユーザの身体に関連する複数の物体、複数のポイントの全部又は一部を追跡してもよい。実施例によっては、装置３０はユーザの身体の全身骨格的な追跡を行ってもよい。

ジェスチャの認識等において、人物の身体に関連する一つ又は複数の物体、複数のポイントの全部又は一部の追跡が装置３０によって使用されてよい。

図８は、本明細書の実施形態に従う第２の方法のフロー図を示す。図４Ａから１１を参照しながら本方法を説明する。

以降で説明される実施例では、装置３０が、ユーザに媒介現実における録画イメージコンテンツアイテム１０１−１０９を見せる頭部装着型視覚装置を備える。イメージコンテンツアイテム１０１−１０９の各々は、一つ又は複数の現実シーンの録画を含む立体仮想現実コンテンツである。イメージコンテンツアイテム１０１−１０９の一部又は全部が装置３０のカメラによって撮影されたものでもよい。あるいは又は加えて、イメージコンテンツアイテム１０１−１０９の一部又は全部が他の場所で撮影されたものでもよい。

一つ又は複数のイメージコンテンツアイテム１０１−１０９は、メモリ４６から取り出されて一つ（又は複数）のディスプレイ３２に表示される前に録画済みであってもよい。あるいは又は加えて、現実シーンのライブ動画又は現在の（静止）画像の提供と実質的に同時に、イメージコンテンツアイテム１０１−１０９がメモリ４６に記録されて一つ（又は複数）のディスプレイ３２に表示されてもよい。

イメージコンテンツアイテム１０１−１０９は、装置３０のメモリ４６に保存されたものとして図４Ｂに示されている。実施形態によっては、イメージコンテンツアイテム１０１−１０９の一部又は全部を装置３０の不揮発性メモリに保存し続けてもよい。他の実施例では、イメージコンテンツアイテム１０１−１０９の一部又は全部が、揮発性メモリへの保存等、一時的な装置３０への保存に限られてもよい。例として、イメージコンテンツアイテム１０１−１０９はリモートロケーション（「クラウド」）で持続的に保存され、ユーザが装置３０で見るためにリモートから取り出すことを決めると、装置３０のメモリ４６に一時的に保存されてもよい。

図９は、プロセッサ４０が一つ（又は複数）のディスプレイ３２に第１のイメージコンテンツアイテム１０１を表示させるときに提供される現実シーンの録画１６１を示す。この録画１６１は第１のイメージコンテンツアイテム１０１の全体又は一部のみを形成してもよい。

この実施例では、現実シーンの録画１６１は、仮想現実においてユーザに提示される動画ビデオコンテンツの一部である。現実シーンの録画１６１を表示するために、プロセッサ４０は、図５に関連して説明された前述の方法を実行する。現実シーンの録画１６１には、複数の現実物体のイメージ１３２−１３５が含まれる。これらのイメージには、テレビ受像機のイメージ１３１、第１の装飾品のイメージ１３２、第２の装飾品のイメージ１３３、第１の絵画額縁のイメージ１３４が横向きで含まれ、第２の絵画額縁のイメージ１３５が縦向きで含まれる。

現実シーンの録画１６１は、図２Ａ、２Ｂ、２Ｃに関連して説明した仮想シーン２２のような仮想シーンである。現実シーンの録画１６１は、図３Ｂに関連して説明した現実シーン１２のような現実シーンを立体媒介現実カメラ又は立体仮想／拡張現実カメラを使用して録画することにより形成されたものである。イメージ１３２−１３５は、図１Ａから２Ｃに関連して説明した前述の仮想物体２１のような仮想物体であり、そうした仮想物体は、図３Ａに関連して説明した前述の現実物体１１のような現実物体を録画して形成されたものである。

この実施例において、プロセッサ４０は、一つ（又は複数）のディスプレイ３２に対して、図９に示す視覚標示１４１−１４５を用いて現実物体のイメージ１３１−１３５をハイライトさせる。視覚標示１４１−１４５は、例えば、ユーザがイメージ１３１−１３５を変更できることをユーザに示してもよい。こうした視覚標示を持たない現実物体イメージは、ユーザが変更できないものでもよい。

ユーザは、第１のイメージコンテンツアイテム１０１における現実シーン録画１６１に変更を加えるためのユーザ入力を与えてもよい。図８のブロック８０１で、プロセッサ４０は、現実シーン録画１６１に変更を加えて、こうしたユーザ入力に応答する。

図１０は、ユーザ入力を与える過程において、ユーザが現実シーン録画１６１におけるテレビ受像機イメージ１３１を選択して変更するユーザ入力を与える様子を示す。この実施例において、イメージを選択して変更するために行われるユーザ入力は、移動入力の形をとるジェスチャである。移動入力とは、開始位置と終了位置を持つ連続した移動入力である。ユーザは、開始点に（ユーザの手や指のような）ユーザ入力オブジェクトを置き、そのユーザ入力オブジェクトを終了位置まで移動させることによってユーザ入力を与えてもよい。

図１０は、ユーザが与える移動入力の開始位置１５１を示す。開始位置１５１はテレビ受像機イメージ１３１にあるか、そこに合わせられている。例えば、ユーザの手をテレビ受像機イメージ１３１に合わせるために、ユーザはテレビ受像機イメージ１３１に向かって手を伸ばしてもよい。プロセッサ４０は、入力回路４４を用いて与えられた入力から移動の開始を検出し、それをテレビ受像機イメージ１３１の選択であると解釈する。この実施例では、イメージ１３１が選択されたとプロセッサ４０が決定すると、視覚標示１４１−１４５が表示から削除されるが、このことは必須ではない。

図１１は、ユーザが移動入力を完了したときの現実シーンの録画１６１を示す。ユーザは、矢印１５２で示すようにユーザ入力オブジェクトを開始位置１５１から終了位置１５３に移動し、これによって移動入力が完了する。ユーザがユーザ入力オブジェクトを開始位置１５１から終了位置１５３に移動すると、プロセッサ４０は、ユーザ入力オブジェクトが動いた通りに一つ（又は複数）のディスプレイ３２上でテレビ受像機イメージ１３１を移動させる。その結果、ユーザにはあたかもテレビ受像機イメージ１３１がユーザ入力オブジェクトによってドラッグされているかのように見える。テレビ受像機イメージ１３１の動きによって、別のイメージ１３６が見えるようになる。このイメージはテレビ受像機イメージ１３１の下から現れる。移動されるイメージ１３１は、プロセッサ４０が表示から削除されてもよい。

この実施例では、移動されるイメージ１３１の下から現れるイメージ１３６もテレビ受像機のイメージである。これは例えば、ある時点に現実空間において、移動されるイメージ１３１が表わすテレビ受像機と同じ位置に置かれていたテレビ受像機のイメージ１３６でもよい。こうしたテレビ受像機は、例えば図１０に示すイメージ１３１が描くテレビ受像機よりも古い又は新しいテレビ受像機でもよい。この実施例では、この置換イメージ１３６が、削除イメージ１３１が描く現実物体と同じ型の現実物体（テレビ受像機）のイメージである。

状況によっては、適切な置換イメージ１３６が存在しなくてもよい。こうした状況では、イメージ１３１が如何なるものとも置換されなくてもよい。

置換イメージ１３６の現実物体が、削除イメージ１３１が描く現実物体と同型である必要はない。そのため、置換イメージ１３６が、ある時点、現実空間において削除イメージ１３１が表わすテレビ受像機と同じ位置に置かれていた型の異なる現実物体のものであることもある。あるいは、置換イメージ１３６が如何なる現実物体のイメージとなっていなくてもよい。このことは、その位置にはその時点において何も置かれていなかったことを示す。

プロセッサ４０は、イメージコンテンツアイテムにおける物体イメージであって、ある時点、現実シーンの録画１６１における物体イメージ１３１−１３５と同じ現実空間位置に置かれていた物体のイメージを決定するために、例えば、第１のイメージコンテンツアイテム１０１よりも古い又は新しい、あるいはその両方のイメージコンテンツアイテムをイメージ処理する（あるいは、こうしたイメージ処理をリモートサーバのような装置３０とは別の装置に行わせる）ように構成されてもよい。こうしたイメージ処理は、図９及び１０に示すような現実シーンの録画１６１を変更するユーザ入力が与えられる前に行われてもよい。これは、リアルタイムのイメージ処理が行われなくてはならない状況を回避し、適切なユーザ入力が与えられたときにプロセッサ４０が現実物体イメージを相互に素早く交換できるようにするためである。

実施形態によっては、現実シーンの録画１６１における物体と同じ現実空間位置に配置された物体のイメージは、第１のイメージコンテンツアイテム１０１の一部として現実シーンの録画１６１と共に保存されてもよい。あるいは、第１のイメージコンテンツアイテム１０１又はそれに関連するメタデータが、（メモリ４６又は装置３０とは別の場所に保存可能な）他のイメージコンテンツアイテム１０２−１０９における物体のイメージに対する一つ又は複数のリンクを含んでもよい。こうしたリンクは、図８のブロック８０１で、ユーザが与えるユーザ入力に応答して読み出される。

実施形態によっては、プロセッサ４０は、ユーザが連続ユーザ入力を与えることによって、現実シーンの録画１６１に連続する変更を加えるユーザ入力を与えられるようにしてもよい。例として、ユーザが第１のユーザ入力を与えると、プロセッサ４０が、テレビ受像機イメージ１３１を前述したもう一台のテレビ受像機のイメージ１３６に置換してもよい。ユーザが第２のユーザ入力を（例えば、同じ向きに）与えると、プロセッサ４０が、前述したもう一台のテレビ受像機のイメージ１３６を更に別のテレビ受像機（更に古いテレビ受像機のような）のイメージに置換してもよい。第２のユーザ入力は、例えば、図１０及び１１に関連して前述したような同じ向きの移動入力で、開始位置がもう一台のテレビ受像機のイメージ１３６に合わせられていてもよい。

現実シーンの一つ又は複数の録画であって、図１０及び１１に示す現実シーンの録画１６１における現実物体と同じ位置にある現実物体のイメージを含む一つ又は複数の録画を、ある特定のイメージコンテンツアイテムが含むかどうかを決定するために、その特定のイメージコンテンツアイテムが処理される場合、プロセッサ４０は更に、そのイメージコンテンツアイテムが当初のイメージコンテンツアイテムよりも古いか新しいかを決定してもよい。これにより、プロセッサ４０は、与えられたユーザ入力に応じて、現実シーンの新しい録画又は現実シーンの古い録画から物体イメージを交換することによって、現実シーンの録画１６１を変更できるようになる。

例えば、プロセッサ４０は、現実物体イメージを古い録画又はイメージコンテンツアイテムからのイメージに置換することによって、（例えば、第１の向きの）第１のユーザ入力に応答してもよく、現実物体イメージを新しい録画又はイメージコンテンツアイテムからのイメージに置換することによって、（例えば、第１の向きとは逆にしてもよい第２の向きである）第２のユーザ入力に応答してもよい。

図示した実施例の状況では、移動入力の向き毎に、それぞれ異なるイメージに現実物体イメージを置換させてもよい。ユーザが（図１０及び１１に示す左向き移動入力ではなく）右向き移動入力を与える場合、プロセッサ４０は、テレビ受像機イメージ１４１を、図１１に示すイメージ１３６とは別のイメージ、例えば新しいテレビ受像機イメージに置換してもよい。

移動入力以外の様々な形のユーザ入力が使用可能であることは、本技術分野の当業者であれば理解されよう。例えば、前述したように、携帯コントローラの一部を形成しうる一つ又は複数の触覚センサ４３を用いてユーザ入力を与えることも可能である。

図８のブロック８０２で、プロセッサ４０は、現実シーンの録画１６１において変更された特性を決定する。この実施例では、変更後の特性がテレビ受像機のイメージ１３６を含む（元の）録画の撮影時間でもよい。

図８のブロック８０３で、プロセッサ４０は、第１のイメージコンテンツアイテム１０１とは異なる一つ又は複数のイメージコンテンツアイテム１０１−１０９が、決定された変更後の特性を含む現実シーンの録画を有するかどうかを決定する。前述したように、この実施例では、決定された変更後の特性がテレビ受像機のイメージ１３６を含む（元の）録画の撮影時間であるため、プロセッサ４０は、第１のイメージコンテンツアイテム１０１とは異なる一つ又は複数のイメージコンテンツアイテム１０１−１０９の中を検索し、どのイメージコンテンツアイテムが前述の撮影時間に撮影された現実シーンの録画を含んでいるかを決定する。これは例えば、イメージコンテンツアイテム１０１−１０９の各々の日付スタンプを解析することで行われる。こうした日付スタンプはメタデータ中に提供されてもよい。

変更後の特性を含む一つ又は複数のイメージコンテンツアイテムが図８のブロック８０３で決定されると、図８のブロック８０４で、プロセッサ４０はこうしたイメージコンテンツアイテムをユーザに指し示す。これは例えば、こうしたイメージコンテンツアイテムの一つ又は複数を表現するイメージを一つ（又は複数）のディスプレイ３２で表示してもよい。こうしたイメージコンテンツアイテムの少なくとも一つは、現実シーンの録画１６１を変更したときに（図１１に示す）古いテレビ受像機のイメージ１３６が取り出されたイメージコンテンツアイテムとは異なるものでもよい。

実施形態によっては、プロセッサ４０は、変更後の特性を含まないイメージコンテンツアイテム（作成日が決められた期間以外であるようなもの）を一つ（又は複数）のディスプレイ３２で表示してもよいが、変更後の特性を含むイメージコンテンツアイテムをより際だって表示することができる。

図１２は、第２、第３、第４のイメージコンテンツアイテム１０２−１０４がそれぞれ、決められた期間に撮影された現実シーンの録画を含むとプロセッサ４０が決定した実施例を示す。この実施例では、プロセッサ４０は、その期間に撮影された現実シーン録画のサムネイルイメージを使って、第２、第３、第４のイメージコンテンツアイテム１０２−１０４の各々を一つ（又は複数）のディスプレイ３２に表示する。この検索の「シード」を与える現実物体のイメージ１３６も表示されている。

図１２に示す実施例では、プロセッサ４０は、図１１で見えるようになったテレビ受像機のイメージ１３６を含む現実シーンの録画を第２のイメージコンテンツアイテム１０２が含むことも決定している。その結果、第２のイメージコンテンツアイテム１０２を表わすイメージ１６２は、第３及び第４のイメージコンテンツアイテム１０３、１０４を表わすイメージ１６３、１６４よりも際だって表示されている。あるいは、最もよくアクセスされる又は再生されるイメージコンテンツアイテムのイメージが、最も際立つ位置を占めるようにしてもよい。

変更後の特性は、図８のブロック８０２に関連して説明したような、テレビ受像機のイメージ１３６を含む（元の）録画の撮影時間である必要はない。例えば、（図９及び１０に示すテレビ受像機のイメージ１３１を置換する）古いテレビ受像機のイメージ１３６が存在することであってもよい。その場合、図８のブロック８０３で、プロセッサ４０は、第１のイメージコンテンツアイテム１０１とは異なる一つ又は複数のイメージコンテンツアイテム１０１−１０９が、古いテレビ受像機のイメージを含む現実シーンの録画を有することを決定する。

実装によっては、このことを決定するために、プロセッサ４０が、装置３０のメモリ４６に又はリモートで継続して保存可能なイメージコンテンツアイテム１０１−１０９をイメージ処理してもよい。後者の場合、プロセッサ４０は、一つ（又は複数）のトランシーバ４２にイメージコンテンツアイテム１０１−１０９をダウンロードさせ、プロセッサ４０が処理するためにそれらを（継続的又は一時的に）保存してもよい。あるいは又は加えて、プロセッサ４０は、こうしたイメージ処理をリモートサーバのような装置３０とは別の装置に行わせてもよい。

次に図８のブロック８０４で、プロセッサ４０は、前述の方法で古いテレビ受像機のイメージ１３６を含む一つ又は複数のイメージコンテンツアイテムをユーザに示す。

図１３は、プロセッサ４０が一つ（又は複数）のディスプレイ３２に第５のイメージコンテンツアイテム１０５を表示させるときに提供される現実シーンの録画１６５を示す。この録画１６５は第１のイメージコンテンツアイテム１０５の全体又は一部のみを形成してもよい。

この実施例では、現実シーンの録画１６１は、仮想現実においてユーザに提示される動画ビデオコンテンツの一部である。現実シーンの録画１６５を表示するために、プロセッサ４０は、図５に関連して説明された前述の方法を実行する。現実シーンの録画１６１には、テレビ受像機のイメージ１３７を含む複数の現実物体イメージが含まれる。

現実シーンの録画１６５は、図２Ａ、２Ｂ、２Ｃに関連して説明した仮想シーン２２のような仮想シーンである。現実シーンの録画１６５は、図３Ｂに関連して説明した現実シーン１２のような現実シーンを立体媒介現実カメラ又は立体仮想／拡張現実カメラを使用して録画することにより形成されたものである。現実世界の物体のイメージは、図１Ａから２Ｃに関連して説明した前述の仮想物体２１のような仮想物体であり、そうした仮想物体は、図３Ａに関連して説明した前述の現実物体１１のような現実物体を録画して形成されたものである。

前述の実施例に関連して説明したように、プロセッサ４０は、一つ（又は複数）のディスプレイ３２に、ユーザが変更可能な現実物体イメージをハイライトさせるようにしてもよい。視覚標示を持たない現実物体イメージは、ユーザが変更できないものでもよい。

この実施例では、プロセッサ４０は図８に示す方法を再び行う。ただしこの実施例では、ユーザは現実シーン録画１６５の中の現実物体に対する少なくとも一つのイメージを同じ録画１６５内の異なる位置に移動することによって、その録画１６５の特性を変更できる。

ユーザは、現実シーン録画１６５の中で動かす現実物体イメージを選択するユーザ入力を与えてもよい。こうしたイメージの選択前や選択中、選択後に、プロセッサ４０は、現実シーン録画１６５の中で一つ又は複数の視覚標示をユーザに表示してもよい。こうした視覚標示は、そのイメージが移動可能な少なくとも一つの候補位置を示す。

テレビ受像機又は現実物体のイメージ１３７の候補位置は、ユーザがユーザ入力を与える前後やその最中にイメージコンテンツアイテムを処理することによって決定されてもよい。こうして、そのイメージコンテンツアイテムにおける現実シーン録画の中にテレビ受像機又は現実物体のイメージ１３７が存在するかどうか、もし存在する場合は、そのテレビ受像機又は現実物体のイメージの位置が決定される。

こうした状況は図１４に示されている。ここでプロセッサ４０は、一つ（又は複数）のディスプレイ３２に、テレビ受像機のイメージ１３７が移動可能な候補位置を示す複数の視覚標示１７２、１７３を表示させている。

視覚標示１７２、１７３が示す位置の各々は、別のイメージコンテンツアイテムの中での現実シーンの追加録画における同一の現実物体（この場合、テレビ受像機）イメージの位置に対応してもよい。

図８のブロック８０１で、プロセッサ４０は、現実シーン録画１６５に変更を加えて、こうしたユーザ入力に応答する。この変更は、テレビ受像機のイメージ１３７（の全体）を録画１６５における別の位置に移動することによって加えられる。テレビ受像機のイメージ１３７を移動するために与えられるユーザ入力は、前述した移動入力の形でもよい。これは、イメージ１３７又はそこに合わせた場所を開始位置、イメージ１３７が移動される場所又はそこに合わせた場所を終了位置としている。

図８のブロック８０２で、プロセッサ４０は、現実シーンの録画１６５において変更された特性を決定する。この実施例では、変更後の特性は、テレビ受像機イメージ１３７の新しい位置である。

図８のブロック８０３で、プロセッサ４０は、第５のイメージコンテンツアイテム１０５とは異なる一つ又は複数のイメージコンテンツアイテムが、決定された変更後の特性を含む現実シーンの録画を有することを決定する。

次にブロック８０４で、プロセッサ４０は、現実シーン録画における新しい位置にテレビ受像機又は現実物体のイメージを含む一つ又は複数のイメージコンテンツアイテムをユーザに提示する。

図１５の左上には、図１３及び１４に示す現実シーン録画１６５であって、変更前の現実シーン録画１６５が示されている。プロセッサ４０は一つ（又は複数）のディスプレイ３２に、第６及び第７のイメージコンテンツアイテム１０６、１０７に含まれる現実シーン録画のイメージ１６６、１６７を、この実施例では録画１６５の下に表示させている。イメージコンテンツアイテム１０６、１０７は、テレビ受像機又は現実物体のイメージ１３７をその元の位置に含む。

図１５の右側には、図１３及び１４に示す現実シーン録画１６５であって、参照番号１７２を付された視覚標示が示す位置にテレビ受像機のイメージ１３７の位置を移動した変更後の現実シーン録画１６５が示されている。プロセッサ４０は一つ（又は複数）のディスプレイ３２に、第８及び第９のイメージコンテンツアイテム１０８、１０９に含まれる現実シーン録画のイメージ１６８、１６９を、この実施例では録画１６５の下に表示させている。イメージコンテンツアイテム１０８、１０９は、テレビ受像機又は現実物体のイメージ１３７をその元の位置に含む。

本発明の実施形態は、前述した様な現実シーン録画の変更に限定されるものではない。例えば、本発明の実施形態によっては、現実物体イメージのサイズが変更され、これによってプロセッサ４０が一つ（又は複数）のディスプレイ３２に、変更後サイズを持つ現実物体イメージを含む一つ又は複数のイメージコンテンツアイテムをユーザに提示させてもよい。

こうした実施形態では、現実物体が人物のこともある。人物イメージのサイズ変更によって、プロセッサ４０に、その人物よりも背の高い／年上の人物、又は背の低い／年下の人物のイメージを含むイメージコンテンツアイテムを検索させてもよい。

これを実行するために、プロセッサ４０は、元の録画に写っている現実物体又は人物の実際の大きさを決定してもよい。この決定は、例えば、イメージコンテンツアイテムに関連するメタデータを用いて行うこともできる。こうしたメタデータは例えば、関連する録画を撮影するのに使用されたカメラの光学特性、録画撮影時における撮影装置から現実物体又は人物までの距離を示すことができる。

次にプロセッサ４０は、前述の現実物体又は人物のイメージの変更後サイズに対応する実際の大きさを決定し、その大きさを、他のイメージコンテンツアイテムの中の現実シーン録画における現実物体又は人物について決定された実際のサイズと比較するために、現実物体又は人物について決定される実際の大きさを使用してもよい。

要約すると、本発明の実施形態は、ユーザがイメージコンテンツアイテムの中の検索をとりわけ効率的かつ直感的に行えるようにする。このとき、現実物体のイメージは、他のイメージコンテンツアイテムに対するコンテンツ標示又はコンテンツリンクとしての役割を効果的に果たす。

ユーザは例えば、あるイメージコンテンツアイテムと同じ場所、同じ時期の一方又は両方で撮影された別のイメージコンテンツアイテムを、その前のイメージコンテンツアイテムが撮影された正確な時刻や正確な保存場所の何れか又は両方を思い出さずに探すことができる。

例えば、ユーザは、古いテレビ受像機を所有していた時期に録画された特定のイメージコンテンツアイテムを、その正確な保存場所を思い出さなくても再収集できる。本発明の実施形態は、ユーザがそうした検索を直感的なやり方で行うのに役立てる。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」、「コンピュータ」、「プロセッサ」等の用語は、種々のアーキテクチャを有するコンピュータに限らず、特殊回路もカバーするものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ）、シグナルプロセッシングデバイス、その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

なお本願において使用される「回路（circuitry）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む）、ソフトウェア、一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（circuitry）」という用語は、単一（または複数）のプロセッサのみの実装やプロセッサの一部と、付随するソフトウェア、ファームウェアの全部又は一部とによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含められる場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

図５、６、８に示すブロックは、方法のステップ、コンピュータプログラム１４８のコード区分の何れか又は全てを表わしてもよい。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更可能である。また、一部のブロックを省略することも可能である。

構造的特徴が記述されてきたが、こうした構造的特徴は、その構造的特徴における１つ又は複数の機能を実行する手段で置き換えられてもよい。こうした１つ又は複数の機能は明示的に記述されていてもよく、されていなくてもよい。

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱せずに紹介された実施形態を変形できる。例えば、前述のイメージコンテンツアイテムが、頭部装着型視覚装置を使って見える立体仮想現実コンテンツとして説明されてきたが、こうした場合に限らなくてもよい。

実装によっては、イメージコンテンツアイテムが立体拡張現実コンテンツアイテムでもよく、他の実装ではイメージコンテンツアイテムが立体的でなくてもよい。

現実シーン録画に変更を加える、前述とは別の方法もありうる。例えば、現実物体のイメージに細部を追加したり、細部を削除したりしてもよく（人物に眼鏡を掛けたり、人物が掛けている眼鏡を取ったりする等）、現実物体のイメージの色を変更できてもよい。

実装によっては、一つの現実シーン録画に複数の変更を加えることもできる。

これまでに記述してきた事項は、明示的に記述された組合せのみならず、それ以外の組合せで用いられてもよい。

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (15)

1. 第１のイメージコンテンツアイテムにおける現実シーン録画に少なくとも一つの変更を加えて、ユーザ入力に応答することと；
   前記現実シーン録画において少なくとも一つの変更後特性を決定することと；
   前記決定された少なくとも一つの変更後特性を含む現実シーン録画を、前記第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが有すると決定することと；
   前記決定された少なくとも一つの変更後特性を含む現実シーン録画を有する一つ又は複数の追加イメージコンテンツアイテムを、ユーザに提示することと；
   を含む、方法。
2. 前記第１のイメージコンテンツアイテムが立体媒介現実コンテンツであり、前記追加イメージコンテンツアイテムも立体媒介現実コンテンツである、請求項１に記載の方法。
3. 前記ユーザ入力が与えられる前に、前記現実シーン録画における現実物体イメージが変更可能であるとユーザに示す視覚標示を提供することを更に含む、請求項１又は２に記載の方法。
4. 前記決定された少なくとも一つの変更後特性を含む現実シーン録画を、前記一つ又は複数の追加イメージコンテンツアイテムが有すると決定することが、前記追加イメージコンテンツアイテムの作成日を決定することを含む、請求項１から３の何れかに記載の方法。
5. 前記現実シーン録画に変更を加えることが、前記現実シーン録画における現実物体イメージの位置を変更することを含む、請求項１から４の何れかに記載の方法。
6. 前記現実シーン録画における現実物体イメージの位置を変更することが、前記現実物体イメージ全体を第１の位置から第２の位置に移動することを含む、請求項５に記載の方法。
7. 一つ又は複数の視覚標示を前記現実シーン録画の中でユーザに表示することであって、前記現実物体イメージが移動可能な少なくとも一つの候補位置を前記一つ又は複数の視覚標示が示す、前記表示することを更に含む、請求項５又は６に記載の方法。
8. 前記現実物体イメージが移動可能な少なくとも一つの候補位置が、前記追加イメージコンテンツアイテムの中の現実シーンの追加録画における現実物体イメージの位置に対応する、請求項７に記載の方法。
9. 前記現実シーン録画に変更を加えることが、前記現実物体イメージのサイズを変更することを含む、請求項１から８の何れかに記載の方法。
10. 前記現実物体の実際の大きさを決定することと；
    前記決定された実際の大きさ、及び前記現実物体イメージのサイズを変更するために与えられたユーザ入力に基づいて、該現実物体イメージのサイズの対応する実際の大きさを決定することと；
    を更に含み、前記第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが前記決定された変更後特性を含む現実シーン録画を有するかどうかを決定することが、現実物体について決定される実際の大きさを、前記現実物体イメージの変更後サイズに対応する実際の大きさと比較することを含む、請求項９に記載の方法。
11. 前記第１のイメージコンテンツアイテムにおける現実物体イメージが人物である、請求項１０に記載の方法。
12. 前記現実シーン録画に変更を加えることが、現実物体イメージを同種だが別の現実物体イメージと交換することを含む、請求項１から１１の何れかに記載の方法。
13. 装置の少なくとも一つのプロセッサによって実行されたときに、前記装置に、請求項１から請求項１２のいずれかに記載の方法を遂行させる、コンピュータプログラムコード。
14. 第１のイメージコンテンツアイテムにおける現実シーン録画に少なくとも一つの変更を加えて、ユーザ入力に応答する手段と；
    前記現実シーン録画において少なくとも一つの変更後特性を決定する手段と；
    前記決定された少なくとも一つの変更後特性を含む現実シーン録画を、前記第１のイメージコンテンツアイテムとは異なる一つ又は複数の追加イメージコンテンツアイテムが有するかどうかを決定する手段と；
    前記決定された少なくとも一つの変更後特性を含む現実シーン録画を有する一つ又は複数の追加イメージコンテンツアイテムを、ユーザに提示する手段と：
    を備える、装置。
15. 請求項２から請求項１２の何れかに記載の方法を遂行する手段を更に備える、請求項１４に記載の装置。

Images