JP6158406B2 - 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム - Google Patents

Description

本発明はインタラクティブアプリケーションとのインタラクションを可能とするための方法およびシステムに関する。

テレビゲーム産業において成長している分野では、手持ち式の携帯デバイスが使用されるようになっている。そのような携帯デバイスの例として、ソニーコンピュータエンターテインメント社製の専用のゲーム装置や、スマートフォン、携帯情報端末（ＰＤＡ）、デジタルマルチメディアプレーヤなどのその他の種類の携帯デバイスがある。

このようなポータブルデバイスの演算能力の向上に伴い、手持ち式のデバイスはますます複雑なプログラム及びタスクを扱う能力を有するようになっている。

例えば、今日の手持ち式のデバイスは、単一のデバイスに集積されたいくつかの異なるタイプのハードウェアを含みうる。そのようなデバイスの多くは、カラー画面、カメラ、スピーカ、およびボタン、タッチスクリーン又はスタイラスなどの入力メカニズムを含みうる。

本発明の実施形態はこのような状況に鑑みて生まれたものである。

本発明の各実施形態は、主画面に表示されるインタラクティブアプリケーションのインタラクティブセッションの画像を携帯デバイスがキャプチャすることを可能とするための方法およびシステムを提供する。本発明はコンピュータプロセス、装置、システム、デバイス、コンピュータ読み取り可能な記録媒体上の方法など、多様な方法で実現することが可能であることを理解されたい。本発明のいくつかの進歩性を有する発明の実施形態が以下に説明される。

一実施形態では、主画面に表示されるインタラクティブアプリケーションのインタラクティブセッションの画像を携帯デバイスがキャプチャすることを可能とするための方法が提供される。この方法によれば、インタラクティブアプリケーションのインタラクティブセッションが開始する。このインタラクティブセッションは、ユーザとインタラクティブアプリケーションとの間のインタラクションを定義したものである。次に、スペクテータ、いわゆる観客、により操作される携帯デバイスの最初の位置と方向とが決定される。ユーザとインタラクティブアプリケーションとの間のインタラクションに基づいてインタラクティブアプリケーションの現在の状態が決定され、携帯デバイスの位置と方向とがインタラクティブセッションの間にトラッキングされる。このインタラクティブアプリケーションの現在の状態と、トラッキングされた携帯デバイスの位置と方向とに基づいて、インタラクティブセッションのスペクテータビデオストリームが生成される。スペクテータビデオストリームは携帯デバイスの携帯画面に表示される。

一実施形態では、インタラクティブセッションはユーザにより操作されるコントローラデバイスからインタラクティブな入力を受けるためのオペレーションを含む。このインタラクティブな入力はインタラクティブアプリケーションの現在の状態を決定するために利用される。

一実施形態では、アプリケーションビデオストリームはインタラクティブアプリケーションの現在の状態に基づいて生成され、主画面に表示される。インタラクティブセッションはユーザと、表示されたアプリケーションビデオストリームとの間のインタラクションを定義する。

一実施形態では、携帯デバイスの位置と方向とはインタラクティブアプリケーションにより定義される仮想空間内の仮想視点の位置と方向とを定義する。また、スペクテータビデオストリームは仮想視点の視点からキャプチャした仮想空間の画像を含む。

一実施形態では、スペクテータビデオストリームを携帯デバイスの携帯画面に表示することができるように、スペクテータビデオストリームは、インタラクティブアプリケーションから携帯デバイスに送信される。

一実施形態では、インタラクティブアプリケーションの現在の状態に基づいて決定され、携帯デバイスに送信される。スペクテータビデオストリームはアプリケーション状態データと、携帯デバイスのトラッキングされた位置と方向とに基づいて携帯デバイスにおいて生成される。

一実施形態では、ユーザとインタラクティブアプリケーションとの間のインタラクションが生じるインタラクティブ環境で、環境ビデオストリームがキャプチャされる。スペクテータビデオストリームはこの環境ビデオストリームに基づいて生成される。

一実施形態では、スペクテータビデオストリームは環境ビデオストリームを仮想要素で拡張することにより生成される。

一実施形態では、スペクテータビデオストリームの生成には、環境ビデオストリーム内でユーザを検出し、環境ビデオストリームにおいて検出したユーザの少なくとも一部を仮想要素に置き換える方法オペレーションを含む。一実施形態では、この置き換えには、環境ビデオストリームにおいて検出したユーザを、ユーザにより制御されるインタラクティブアプリケーションのキャラクタに置き換えることを含む。

一実施形態では、ユーザの最初の位置が決定され、このユーザの位置はインタラクティブセッションの間トラッキングされる。スペクテータビデオストリームはユーザの位置に対する携帯デバイスの位置と方向とに基づいて生成される。

一実施形態では、インタラクティブアプリケーションの仮想環境内のオブジェクトがユーザの位置に対してマッピングされる。ユーザの位置に対する携帯デバイスの位置と方向とはインタラクティブアプリケーションにより定義される仮想空間内の仮想視点の位置と方向とを定義する。またスペクテータビデオストリームは仮想視点の視点からキャプチャした仮想空間の画像を含む。オブジェクトは携帯デバイスがユーザに向けられる場合にスペクテータビデオストリームの画像に含まれる。一実施形態では、オブジェクトはユーザにより制御される。一実施形態では、オブジェクトはインタラクティブアプリケーションのキャラクタである。別の実施形態では、ユーザの位置はユーザにより操作されるコントローラデバイスの位置に基づいて決定される。

一実施形態では、ユーザとインタラクティブアプリケーションとの間のインタラクションが生じるインタラクティブ環境で、環境ビデオストリームがキャプチャされる。ユーザの位置と、ユーザの位置に対する携帯デバイスの位置と方向とは環境ビデオストリームに少なくとも一部基づいて決定される。一実施形態では、スペクテータビデオストリームはメモリに記憶される。

本発明の別の実施形態では、主画面に表示されるインタラクティブアプリケーションのインタラクティブセッションの映像をキャプチャするためのシステムが提供される。このシステムには、インタラクティブアプリケーションを表示するためのコンソールデバイスが含まれる。
コンソールデバイスは、（ｉ）インタラクティブアプリケーションのインタラクティブセッションを開始するためのセッションモジュールを含む。このインタラクティブセッションは、ユーザとインタラクティブアプリケーションとの間のインタラクションを定義するものである。
更にコンソールデバイスは、（ｉｉ）インタラクティブセッションの間スペクテータにより操作される携帯デバイスの位置と方向とを決定しトラッキングするための携帯デバイスモジュールと、（ｉｉｉ）インタラクティブアプリケーションの現在の状態と、トラッキングされた携帯デバイスの位置と方向とに基づいてインタラクティブセッションのスペクテータビデオストリームを生成するためのスペクテータビデオストリームモジュールと、を含む。
システムは更にスペクテータビデオストリームを表示するための携帯画面を含む携帯デバイスを含む。一実施形態では、前記ユーザにより操作される、インタラクティブな入力を行うコントローラデバイスを更に含み、前記インタラクティブな入力は前記インタラクティブアプリケーションの前記現在の状態を決定するために利用される。

一実施形態では、コンソールデバイスは、インタラクティブアプリケーションの現在の状態に基づいてアプリケーションビデオストリームを生成し、このアプリケーションビデオストリームを主画面に表示するためのアプリケーションビデオストリームモジュールを更に含む。インタラクティブセッションはユーザと表示されたアプリケーションビデオストリームとの間のインタラクションを定義する。

一実施形態では、携帯デバイスの位置と方向とはインタラクティブアプリケーションにより定義される仮想空間内の仮想視点の位置と方向とを定義する。更に、スペクテータビデオストリームは仮想視点の視点からキャプチャした仮想空間の画像を含む。

一実施形態では、スペクテータビデオストリームを携帯デバイスの携帯画面に表示することができるように、スペクテータビデオストリームモジュールはスペクテータビデオストリームをインタラクティブアプリケーションから携帯デバイスに送信する。

一実施形態では、携帯デバイスは、ユーザとインタラクティブアプリケーションとの間にインタラクションが生じるインタラクティブ環境の環境ビデオストリームをキャプチャするための画像キャプチャデバイス更に含む。スペクテータビデオストリームモジュールは環境ビデオストリームに基づいてスペクテータビデオストリームを生成する。

一実施形態では、スペクテータビデオストリームモジュールは環境ビデオストリームを仮想要素で拡張することによりスペクテータビデオストリームを生成する。

一実施形態では、スペクテータビデオストリームモジュールは環境ビデオストリーム内でユーザを検出し、環境ビデオストリームにおいて検出したユーザの少なくとも一部を仮想要素で置き換えることによりスペクテータビデオストリームを生成する。一実施形態では、この置き換えにおいて、環境ビデオストリームで検出したユーザを、ユーザが制御するインタラクティブアプリケーションのキャラクタに置き換える。

一実施形態では、ユーザの最初の位置を決定し、インタラクティブセッションの間、ユーザの位置をトラッキングするユーザトラッキングモジュールを更に含む。スペクテータビデオストリームモジュールはユーザの位置に対する携帯デバイスの位置と方向とに基づいてスペクテータビデオストリームを生成する。

本発明の別の態様は、例として本発明の原理を示している添付の図面と併せて、以下の詳細な説明からより明白になるであろう。本発明は、添付の図面と併せて以下の説明を参照することによって、最も良く理解することができる。

本発明の一実施形態に係る、インタラクティブアプリケーションのインタラクティブセッションの映像を携帯デバイスがキャプチャすることを可能とするシステムの説明図。 本発明の一実施形態に係る、インタラクティブアプリケーションとインタラクションを行うユーザとスペクテータを含むインタラクティブ環境の説明図。 本発明の一実施形態に係る、インタラクティブアプリケーションとインタラクションを行うユーザとスペクテータを含むインタラクティブ環境の説明図。 本発明の一実施形態に係る、インタラクティブアプリケーションとインタラクションを行うユーザとスペクテータを含むインタラクティブ環境の上面図。 本発明の一実施形態に係る、スペクテータの視点からの図４Ａのインタラクティブ環境の説明図。 本発明の一実施形態に係る、携帯デバイスを操作中のスペクテータの視点から示す、インタラクティブアプリケーションとインタラクションを行っているユーザを含むインタラクティブ環境の説明図。 本発明の一実施形態に係る、スペクテータの視点から示すインタラクティブ環境の説明図。 本発明の一実施形態に係る、主画面に表示されるインタラクティブアプリケーションを実行するコンソールデバイスを含むインタラクティブ環境の説明図。 本発明の一実施形態に係る、現実世界のインタラクティブ環境の座標空間を示す説明図。 図８Ａの現実世界のインタラクティブ環境の座標空間に対応する仮想空間の座標空間を示す説明図。 本発明の一実施形態に係る、インタラクティブ環境における位置が球面座標系または円柱座標系の原点を定義するユーザを示す説明図。 図９Ａのインタラクティブ環境がマッピングされている仮想空間を示す説明図。 本発明の一実施形態に係る、インタラクティブ環境の俯瞰図。 スペクテータが図１０Ａに示した場所に位置決めされる場合に携帯デバイスに表示される映像を示すシーンを描画した図。 本発明の一実施形態に係る、スペクテータにより操作される携帯デバイスが、インタラクティブゲームの映像を表示することを可能とする方法を示す図。 本発明の一実施形態に係る、スペクテータがインタラクティブアプリケーションの状態に影響を与えるように携帯デバイスを利用することを可能とするシステムを示す図。 本発明の一実施形態に係る、スペクテータが手持ち式のデバイスを利用してゲームに影響を与えることを可能とする方法を示す図。 本発明の一実施形態に係る、手持ち式デバイスの構成要素を示す図。 本発明の一実施形態に係る、基本となるコンピューティングデバイスにおいて実行されるコンピュータプログラムを有する制御デバイスと携帯デバイスとのインタフェースのために親和性の高いコンソールである、ソニー（登録商標）プレイステーション３（登録商標）エンタテインメントデバイスの全体のシステム構成を概略的に示す図。

以下の各実施形態は、インタラクティブアプリケーションが携帯デバイスのリソースを利用することを可能とするシステムのための方法および装置を説明する。本発明の一実施形態では、プライマリ処理インタフェースは、インタラクティブアプリケーションのプライマリビデオストリームを画面に表示するために提供される。第１ユーザは画面に表示されたプライマリビデオストリームを見て、このプライマリ処理インタフェースと通信するコントローラデバイスを操作することによりインタラクションを行う。同時に、第２ユーザは、同じインタラクティブ環境において携帯デバイスを操作する。携帯デバイスは、プライマリビデオストリームを表示する画面とは分離された携帯デバイスの画面に、インタラクティブアプリケーションの補助的なビデオストリームを表示する。このように、本発明の実施形態に係る方法及び装置が以下に説明される。

しかし、これらの特定の詳細の一部あるいは全てを伴わずに実装してもよいことは当業者には明らかであろう。その他、既知の処理手順は、本発明を不必要に不明瞭なものとしないように、詳細に記載していない。

図１を参照すると、本発明の一実施形態に係る、インタラクティブアプリケーションのインタラクティブ セッションの映像を携帯デバイスがキャプチャすることを可能とするためのシステムが示される。システムは、ユーザがインタラクティブアプリケーションとインタラクションを行うインタラクティブ環境に存在する。システムは、インタラクティブアプリケーション１２を実行するコンソールデバイス１０を含む。コンソールデバイス１０は、コンピュータ、コンソールゲームシステム、セットトップボックス、メディアプレーヤ、あるいはインタラクティブアプリケーションの実行が可能なその他の任意の種類のコンピューティングデバイスであってよい。

コンソールゲームシステムの例として、ソニープレーステーション３（登録商標）などが挙げられる。インタラクティブアプリケーション１２は、複数のユーザのうちの１ユーザとアプリケーションそれ自体との間でのインタラクションを容易にする任意の様々な種類のアプリケーションであってもよい。インタラクティブアプリケーションの例として、テレビゲーム、シミュレータ、バーチャルリアリティプログラム、ユーティリティ、又は、ユーザとアプリケーションとの間のインタラクションを容易にするその他の任意の種類のプログラム又はアプリケーションであってもよい。

インタラクティブアプリケーション１２は、その現在の状態に基づいて映像データを作成する。この映像データは、音声／画像プロセッサ２６により処理され、アプリケーションビデオストリーム２８を生成する。アプリケーションビデオストリーム２８は主画面３０へ送られて主画面３０に表示される。本文において使用されている「ビデオ」なる用語は、一般には同期された画像データと音声データの組み合わせを指すが、本発明の各種実施形態において、「ビデオ」なる用語は画像データだけを指す場合がある。従って、例えば、アプリケーションビデオストリーム２８は画像データと音声データの両方を含む場合もあるし、画像データしか含まない場合もある。主画面は、テレビ、モニタ、液晶画面、プロジェクタ、又はビデオデータストリームの視覚表示が可能な任意のその他の種類の表示装置としてもよい。

更にインタラクティブアプリケーション１２はコントローラデバイス３２と通信するためのコントローラ入力モジュール２４を含む。コントローラデバイス３２は、インタラクティブアプリケーションに対してインタラクティブな入力を行うためにユーザにより操作されうる任意の各種のコントローラとしてもよい。コントローラデバイスの例として、ソニーデュアルショック３（登録商標）無線コントローラが挙げられる。コントローラデバイス３２は無線又は有線接続によりコンソールデバイス１０と通信することができる。コントローラデバイス３２はユーザ３６からのインタラクティブな入力を受けるための少なくとも１つの入力メカニズム３４を有する。入力メカニズムの例として、ボタン、ジョイスティック、タッチバッド、タッチスクリーン、方向パッド、スタイラス入力、又はユーザからインタラクティブな入力を受けるためにコントローラデバイスに含まれうる任意のその他の種類の入力メカニズムが挙げられる。ユーザ３６が入力メカニズム３４を操作すると、コントローラデバイス３２はインタラクティブ入力データ３８を生成する。このデータはインタラクティブアプリケーション１２のコントローラ入力モジュール２４に送られる。

インタラクティブアプリケーション１２はセッションモジュール１４を含む。このセッションモジュール１４は、ユーザ３６とインタラクティブアプリケーション１２とのインタラクションを定義するインタラクティブアプリケーションのセッションを開始するものである。例えば、インタラクティブアプリケーションの開始されたセッションは新たなセッションであってもよいし、インタラクティブアプリケーション１２が前にセーブしたセッションの続きであってもよい。インタラクティブアプリケーション１２が実行され、アプリケーションビデオストリーム２８を介して主画面３０に表示されると、ユーザ３６はこの主画面３０に表示されたアプリケーションビデオストリームを見て、コントローラデバイス３２を操作することによりインタラクティブな入力データ３８をインタラクティブアプリケーションに提供する。

このインタラクティブ入力データ３８はインタラクティブアプリケーション１２の状態に影響を与えるようにインタラクティブアプリケーション１２により処理される。インタラクティブアプリケーション１２の状態がアップデートされる。このアップデートされた状態は主画面３０に表示されるアプリケーションビデオストリーム２８に反映される。従って、インタラクティブアプリケーション１２の現在の状態は、インタラクティブ環境におけるユーザ３６とインタラクティブアプリケーション１２とのインタラクションに基づいて決定される。

インタラクティブアプリケーション１２は更に、携帯デバイス４０と通信するための携帯デバイスモジュール１６を含む。携帯デバイス４０は、携帯電話、携帯端末（ＰＤＡ）、タブレット型コンピュータ、電子書籍、小型コンピュータ、携帯ゲーム機、又は画像表示が可能であればいずれのその他の携帯デバイスであってよい。携帯デバイスの一例として、ソニープレイステーションポータブル（登録商標）が挙げられる。携帯デバイス４０はスペクテータ４８により操作され、これにはスペクテータビデオストリーム５２を表示するためのディスプレイ４２が含まれる。入力メカニズム４４は、ユーザ４８がインタラクティブアプリケーション１２に対してインタラクティブな入力を行うことを可能とするために提供される。更に、携帯デバイス４０は、位置および方向センサ４６を含む。センサ４６は、インタラクティブ環境内での携帯デバイス４０の位置と方向とを決定するために利用されうる。

位置および方向センサの例として、加速度計、磁力計、ジャイロスコープ、カメラ、光学センサ、あるいは、携帯デバイスの位置と方向とを決定するために利用されうるデータを生成するために携帯デバイスに含まれうる任意のその他の種類のセンサ又はデバイスなどが挙げられる。スペクテータ４８が携帯デバイス４０を操作すると、位置および方向センサ４６はセンサデータ５０を生成する。このデータは携帯デバイスモジュール１６に送信される。携帯デバイスモジュール１６はインタラクティブ環境内での携帯デバイス４０の位置を決定するための位置モジュール１８と、インタラクティブ環境内での携帯デバイス４０の方向を決定する方向モジュール２０を含む。携帯デバイス４０の位置と方向とはインタラクティブアプリケーション１２のインタラクティブセッションの間、トラッキングされる。

携帯デバイス４０の位置および方向を決定するための各種の技術はいずれも本発明の範囲から逸脱することなく適用されうることが当業者に理解されるであろう。例えば、一実施形態では、携帯デバイスはインタラクティブ環境の画像ストリームをキャプチャするための画像キャプチャデバイスを含む。この携帯デバイス４０の位置と方向はキャプチャした画像ストリームの分析に基づいてトラッキングされる。例えば、インタラクティブ環境に１以上のタグを配置し、これを携帯デバイス４０の画像キャプチャデバイスによりキャプチャされた像における歪みに基づいて携帯デバイスの位置と方向とを決定するための基準マーカ（Fiduciary Marker：FM)として利用するようにしてもよい。タグはオブジェクトや図表であってもよいし、インタラクティブ環境のキャプチャされた画像ストリームに表示される場合に認識される、主画面に表示される画像の一部であってもよい。タグはインタラクティブ環境内での位置の決定を可能とする基準マーカとして機能する。更に、キャプチャされた画像ストリームのタグの像における歪みは、携帯デバイスの位置と方向とを示す。

別の実施形態では、携帯デバイス４０の位置と方向をトラッキングすることを目的として任意の様々な方法を適用することができる。例えば、携帯デバイス４０の位置と方向を決定するために自然特徴点トラッキング法（NFTM：Natural Feature Tracking Methods)や同時位置決め地図作成（SLAM：Simultaneous Location and Mapping）法を適用することができる。一般に、自然特徴点トラッキング法は、 テクスチャ、エッジ 、 コーナ等の、実環境における、（人工的に導入された基準とは対照的な）「自然の」特徴を検出し、トラッキングする。別の実施形態では、携帯デバイス４０をトラッキングするために１以上の画像分析法を適用することができる。例えば、携帯デバイス４０の位置と方向をトラッキングするために、タグと自然特徴点トラッキング又はＳＬＡＭ法の組み合わせを採用してもよい。

更に、加速度計、磁力計、又はジャイロスコープなどの携帯デバイス４０内のモーションセンシティブハードウェアからの情報に基づいて携帯デバイス４０の動きがトラッキングされてもよい。一実施形態では、携帯デバイス４０の最初の位置が決定される。この最初の位置に対する携帯デバイス４０の動きは、加速度計、磁力計、又はジャイロスコープからの情報に基づいて決定される。他の実施形態では、加速度計、磁力計、又はジャイロスコープなどの携帯デバイス４０のモーションセンシティブハードウェアを、タグや自然特徴点トラッキング技術などの上述した技術と組み合わせて使用し、携帯デバイス４０の位置、方向および動きを確定するようにしてもよい。

インタラクティブアプリケーションはスペクテータビデオモジュール２２を含む。このモジュールはインタラクティブアプリケーション１２の現在の状態と、インタラクティブ環境における携帯デバイスのトラッキングされた位置と方向と基づいてスペクテータビデオストリーム５２を生成するものである。このスペクテータビデオストリーム５２は携帯デバイス４０に送信され、携帯デバイス４０の画面４２に表示される。

本発明の各種実施形態では、インタラクティブアプリケーション１２のインタラクティブセッションの映像をスペクテータ４８がキャプチャすることを可能とするように上述のシステムが適用されうる。例えば、一実施形態では、インタラクティブアプリケーション１２はインタラクティブセッションのアクティビティが行われる仮想空間を定義しうる。従って、インタラクティブアプリケーションにより定義される仮想空間内の仮想視点の位置と方向とを定義するためにトラッキングされた携帯デバイス４０の位置と方向を利用されうる。従って、スペクテータビデオストリーム５２は、仮想視点の視点からキャプチャされた仮想空間の画像を含むことになる。スペクテータ４８がインタラクティブ環境において様々な位置と方向とに携帯デバイス４０を動かすと、仮想視点の位置と方向が変化する。この結果、スペクテータビデオストリーム５２の画像がキャプチャされる仮想空間における視点が変化し、携帯デバイスの画面４２に最終的に表示される。このようにして、スペクテータ４８は、携帯デバイス４０を直感的な方法で動かすことで仮想空間内の仮想カメラのオペレータとしての機能を果たし、仮想空間内で仮想カメラを同様に動かすことができるようになる。

別の実施形態では、スペクテータビデオストリームはコンソールデバイス１０ではなく携帯デバイス４０において生成される。そのような実施形態では、アプリケーション状態データはまずインタラクティブアプリケーション１２の現在の状態に基づいて決定される。このアプリケーション状態データは携帯デバイス４０に送信される。携帯デバイス４０はこのアプリケーション状態データを処理し、このアプリケーション状態データと、トラッキングされた携帯デバイスの位置と方向とに基づいてスペクテータビデオストリームを生成する。別の実施形態では、インタラクティブ環境の環境ビデオストリームがキャプチャされ、スペクテータビデオストリーム５２はこの環境ビデオストリームに基づいてが生成される。この環境ビデオストリームは携帯デバイス４０に含まれるカメラにおいてキャプチャされてもよい。

一実施形態では、スペクテータビデオストリーム５２は環境ビデオストリームを仮想要素で拡張することにより生成される。環境ビデオストリームが携帯デバイス４０においてキャプチャされる実施形態では、スペクテータ４８は携帯デバイス４０の画面４２に表示される拡張された現実のシーンを見ることができる。ユーザとインタラクティブアプリケーションとの間のインタラクションによる影響を受けることから、この現実のシーンはインタラクティブアプリケーション１２の現在の状態に基づいたものである。例えば、一実施形態では、ユーザ３６の画像は環境ビデオストリームの範囲内で検出されうる。また、この環境ビデオストリームにおいて、ユーザの画像の一部又は全体が仮想要素と置き換えられてもよい。一実施形態では、環境ビデオストリームにおいて検出されたユーザの画像は、ユーザ３６により制御されるインタラクティブアプリケーション１２のキャラクタと置き換えられることも可能であった。このようにして、携帯デバイス４０のカメラをユーザ３６に向けると、スペクテータ４８は、画面４２に表示されるユーザ３６ではなく、ユーザ３６が制御しているインタラクティブアプリケーション１２のキャラクタを見る。

別の実施形態では、ユーザ３６により操作されるコントローラ３２の位置と方向とが決定されトラッキングされる。コントローラ３２の位置と方向とは、コントローラ３２の位置に対する携帯デバイス４０の位置と方向と同様、スペクテータビデオストリームを決定するために利用されてもよい。従って、コントローラの位置が基準点として利用されてもよく、これに従い、スペクテータビデオストリームは、コントローラ３２の位置に対する携帯デバイス４０の相対位置と方向とに基づいて決定される。例えば、コントローラ３２の位置は、インタラクティブアプリケーション１２の仮想空間における任意の位置に対応しうる。この任意の位置とは例えば、仮想空間においてユーザ３６により制御されるキャラクタの現在の位置である。従って、インタラクティブ環境においてスペクテータが携帯デバイス４０を操作すると、コントローラ３２の位置に対する携帯デバイスの位置と方向とにより、キャラクタの位置に対する仮想空間の仮想視点の位置と方向とが決定される。

スペクテータビデオストリームを形成するために、仮想視点の視点からの仮想空間の画像が利用されてもよい。一実施形態において、コントローラ３２に対する携帯デバイスの相対位置と、キャラクタに対する仮想視点の相対位置間と、は以下のように対応する。即ち、コントローラ３２の位置に対する携帯デバイス４０の位置又は方向が変化すると、キャラクタの位置に対する仮想視点の位置と方向も同様に変化するように対応する。そのため、スペクテータ４８は、ユーザ３６により制御されるキャラクタの位置にリンクした様々な視点から仮想空間のビデオストリームを見てキャプチャするように、ユーザ３６の近くで携帯デバイスを直感的に操作することができる。

上述の実施形態はインタラクティブアプリケーション１２の仮想空間においてユーザ３６により制御されるキャラクタに関して説明してきた。しかし、別の実施形態では、コントローラ３２の位置は、インタラクティブアプリケーションの仮想空間内の静的又は動的ないずれの位置に対応しうる。例えば、ある実施形態では、コントローラの位置はキャラクタや車、武器、オブジェクトつまりユーザ３６により制御されるその他の物に対応しうる。あるいは、一部実施形態では、コントローラの位置は、ユーザ３２により制御されない動いているキャラクタやオブジェクトであって、人工知能を持つキャラクタや、インタラクティブセッションの間にインタラクティブアプリケーションの遠隔ユーザにより制御されるキャラクタなどに対応しうる。あるいは、更に別の実施形態では、コントローラ３２の位置は、特定の地理的位置、オブジェクトの位置、あるいはインタラクティブアプリケーション１２の仮想空間内のその他の動かない物に対応しうる。

別の実施形態では、ユーザ３６の最初の位置が決定される。このユーザ３６の位置はインタラクティブセッションの間、トラッキングされる。次いで、スペクテータビデオストリームはユーザ３６の位置に対する携帯デバイス４０の位置と方向とに基づいて生成される。各種実施形態では、ユーザ３６の位置は様々な技術に基づいて決定されうる。例えば、ユーザ３６などのインタラクティブ環境の画像をキャプチャするために、画像キャプチャデバイスはインタラクティブシステムに含まれていてもよい。これらの画像を分析して、インタラクティブ環境におけるユーザ３６の位置と姿勢とを決定するようにしてもよい。一実施形態では、インタラクティブ環境の深度データの検出が可能な深度カメラがインタラクティブスシステムに含まれる。この深度データを分析して、インタラクティブ環境におけるユーザ３６の位置と姿勢とを検出するようにしてもよい。インタラクティブ環境におけるユーザの位置および／又は姿勢を決定することにより、本発明の各種実施形態に係る様々な機構が可能とされる。

例えば、一実施形態では、インタラクティブアプリケーション１２の仮想環境内のオブジェクトがユーザ３６の位置に対してマッピングされる。ユーザ３６の位置に対する携帯デバイス４０の位置と方向とを利用して、インタラクティブアプリケーション１２により定義される仮想空間内の仮想視点の位置と方向とが定義される。スペクテータビデオストリームは仮想視点の視点からキャプチャされた仮想空間の画像を含み、オブジェクトは携帯デバイス４０がユーザ３６の位置に向けられている場合にスペクテータビデオストリームの画像に含まれる。一実施形態では、オブジェクトはユーザにより制御される。そのようなオブジェクトとして、キャラクタ、車、武器、あるいはユーザ３６が制御しうるインタラクティブアプリケーション１２のその他の種類の物が挙げられる。一実施形態では、ユーザ３６の位置は、ユーザにより操作されるコントローラデバイス３２の位置に基づいて決定される。

一実施形態では、スペクテータビデオストリーム５２はメモリに記憶される。メモリは携帯デバイス４０やコンソールデバイス１０に含まれてもよいし、遠隔に設けられていてもよい。スペクテータビデオストリーム５２を記憶した後、スペクテータ４８は記憶したスペクテータビデオの編集や、記憶したスペクテータビデオをインターネットウェブサイトにアップロードし、これを共有するようにするといったオペレーションを実行することができる。

図２を参照すると、本発明の一実施形態に係る、ユーザと、インタラクティブアプリケーションとインタラクションを行っているスペクテータが示されている。インタラクティブ環境はインタラクティブアプリケーションを実行するコンソールデバイス１０を含む。インタラクティブアプリケーションを実行すると、インタラクティブアプリケーションはアプリケーションビデオストリームを生成し、これが主画面３０に表示される。表示されたアプリケーションビデオストリームがキャラクタ６２と停止標識６４とを含むシーン６０を描写したものが一例として示されている。ユーザ３６はこのシーン６０を見てコントローラ３２を操作することでインタラクティブアプリケーションとインタラクションを行う。同時に、スペクテータ４８は携帯デバイス４０の画面４２を見る。

主画面３０に表示されたアプリケーションビデオストリームは、ユーザ３６の位置に対して定義された主要な仮想視点の視点からのインタラクティブアプリケーションの仮想空間のビューを描写する。この主要な仮想視点は、ユーザ３６が主画面の前の近似位置にいると仮定して静的なものであってもよいし、ユーザ３６の位置の変化に基づいて変化する動的なものであってもよい。同時に、携帯デバイス４０の位置と方向とはインタラクティブアプリケーションの仮想空間内において第２の仮想視点を定義するように決定され、トラッキングされ、利用される。携帯デバイスがスペクテータ４８により操作されるときに、この第２の仮想視点は、携帯デバイス４０の位置と方向との変化に基づいて動的にアップデートされる。スペクテータビデオストリームは携帯デバイス４０に表示される。これには第２仮想視点の視点からの仮想空間が描写されている。

図示している実施形態では、仮想空間はキャラクタ６２と停止標識６４とを含む。スペクテータ４８と携帯デバイス４０とはユーザ３６の左側に位置しており、スペクテータ４８は携帯デバイス４０をシーン６０の見掛けの位置に向けている。従って、携帯デバイス４０の位置と方向とに基づく第２の仮想視点の位置と方向は、仮想空間における主要な仮想視点に対して同じように位置づけられている。従って、スペクテータ４８は携帯デバイス４０の位置と方向とに基づく異なる視点からシーン６０を見る。図示しているように、主要な仮想視点からのシーン６０の描写において、キャラクタ６２は停止標識から水平方向にｘ離れている。一方、携帯デバイス４０の拡大表示６６には、第２の仮想視点の視点から描写されたシーン６０が示されている。この拡大表示６６では、キャラクタ６２と停止標識６４とは水平方向にｘ＋Δｘ離れている。図面から明らかなように、主要な仮想視点に対して第２の仮想視点の位置と方向とは異なることから、携帯デバイス４０に表示されるスペクテータビデオストリームにおいて、キャラクタ６２と停止標識６４の水平方向の距離は拡大している。このようにして、スペクテータ４８はユーザ３６と同じシーンを見るものの、スペクテータ４８とユーザ３６の相対的な位置に基づいて、直感的な方法で、異なる仮想視点から示される。

図３を参照すると、本発明の一実施形態に係る、インタラクティブアプリケーションとインタラクションを行っているユーザ３６とスペクテータ４８とを含むインタラクティブ環境が示されている。ユーザ３６はインタラクティブアプリケーションへの入力を行うためにコントローラ３２を操作する。図示しているように、このインタラクティブアプリケーションはアプリケーションビデオストリームを生成する。これはインタラクティブアプリケーションの現在の位置に基づいて画面３０に表示される

図示しているように、表示されるアプリケーションビデオストリームはシーン７０を描写する。シーン７０はインタラクティブアプリケーションの仮想空間のビューであってもよい。一実施形態では、スペクテータ４８は携帯デバイス４０を利用してシーン７０の拡大エリア７２を見ることができる。例えば、一実施形態では、スペクテータは携帯デバイスが拡大エリア７２内の領域７４に向けられるように携帯デバイスを動かすことができる。携帯デバイス４０が向けられる方向を決定することができるように、携帯デバイスの位置と方向とがトラッキングされる。領域７４は携帯デバイス４０に表示され、スペクテータが見ることができるようになっている。このようにして、スペクテータ４８は、シーン７０のその他の部分を見ることができる。ユーザ３６にとっては、この部分は画面３０に表示されるビューが制限されているために見ることのできない部分である。

別の実施形態では、携帯デバイス４０はまず画面３０に表示される画像と同じ画像を表示する。次に、スペクテータ４８は、携帯デバイス４０に対してジョイスティックを動かす、携帯デバイス４０のタッチスクリーンをタッチする、タッチスクリーン上で指をドラッグする、などによって入力を行い、携帯デバイス４０に示されるビューを別の領域に移動することで、領域７４など、拡大エリア７２のその他の領域を見ることができる。協力して行うタイプのゲームでは、ユーザ３６が現在は見ていない仮想空間の領域をスペクテータ４８が見ることができるようにこのような機構を利用することも可能であった。ゲームプレイにおいてユーザ３６をサポートするために、スペクテータ４８は、スペクテータ４８が見たことに基づく情報をユーザ３６に送ることも可能であった。

図４Ａを参照すると、本発明の一実施形態に係る、インタラクティブアプリケーションとインタラクションを行っているユーザ３６とスペクテータ４８とを含むインタラクティブ環境の上面図が示されている。ユーザ３６はインタラクティブアプリケーションに対して入力を行うためにコントローラ３２を操作する。図示しているように、スペクテータ４８は携帯デバイス４０を操作する。スペクテータは携帯デバイス４０をユーザ３６に向けている。携帯デバイス４０が向けられる方向を決定できるよう、携帯デバイス４０の位置と方向とがトラッキングされる。更に、ユーザ３６の位置はコントローラ３２の位置をトラッキングすることにより識別される。図４Ｂは、スペクテータ４８の視点からの図４Ａのインタラクティブ環境を示す。図示しているように、スペクテータ４８が携帯デバイス４０をユーザ３６に向けると（通常は携帯デバイス４０の背面を向ける。よって携帯デバイスはユーザ３６に向けられている）、スペクテータはユーザ３６の位置において、インタラクティブアプリケーションのキャラクタ８０を見る。このキャラクタはインタラクティブアプリケーションの仮想空間において設定されうる。

一実施形態では、ユーザ３６の位置は、携帯デバイス４０の背面カメラから画像ストリームをキャプチャすることにより、携帯デバイス４０に対して決定される。キャプチャされた画像ストリームは、ユーザ３６の存在を決定するために分析され、ユーザ３６はインタラクティブアプリケーションのキャラクタと置き換えられる。一実施形態では、ユーザ３６の選択された部分が仮想の特徴で拡張され、携帯デバイスに表示される拡張された現実の画像ストリームを形成するようにしてもよい。例えば、ユーザ３６を、武器を所持しているように、様々な服を着ているように、あるいは様々なその他のアイテムを身につけているように表示させるようにすることも可能である。一実施形態では、ユーザ３６はインタラクティブアプリケーションの仮想空間に設定されてもよい。このようにして、スペクテータ４８は、ユーザ３６がまるでインタラクティブアプリケーションの仮想空間にいるかのようにユーザ３６を見ることができる。

図５を参照すると、本発明の一実施形態に係る、携帯デバイス４０を操作中のスペクテータの視点からのインタラクティブアプリケーションとインタラクションを行っているユーザ３６を含むインタラクティブ環境が示されている。ユーザ３６はインタラクティブアプリケーションに対して入力を行うようにコントローラ３２を操作する。図示しているように、ユーザ３６はチェスゲームをプレイしており、ユーザ３６はこれを画面３０で見る。同時に、スペクテータはチェスゲームが行われている仮想空間９０を見ることができる。インタラクティブ空間内でスペクテータが携帯デバイス４０を動かすと、携帯デバイス４０の位置と方向とに基づいて、様々な視点から仮想空間９０が携帯デバイス４０に示される。このようにして、スペクテータは、この仮想空間９０がインタラクティブ環境に存在しているかのように、別の視点から仮想空間９０を見ることができる。このように携帯デバイス４０は、ビューア又はスペクテータがインタラクティブアプリケーションの仮想空間を見ることを可能とする仮想ウインドウとして機能する。

図６を参照すると、本発明の一実施形態に係る、スペクテータの視点からのインタラクティブ環境が示されている。図示しているように、ユーザ３６は、画面３０に表示されるインタラクティブアプリケーションを見ながらモーションコントローラ１００ａと１００ｂとを操作する。本実施形態では、インタラクティブアプリケーションはボクシングゲームである。この場合、ユーザ３６によりモーションコントローラ１００ａおよび１００ｂが動かされるとこれらの動作が検出される。これらの動作は、インタラクティブアプリケーションが画面３０に示される拳の同様の動作を表示できるように処理される。このようにして、ユーザ３６にはボクシング試合での戦いの経験が与えられる。この場合、ユーザ３６がパンチを繰り出すと、画面に示される拳が同様に動く。従って、ユーザ３６はモーションコントローラ１００ａと１００ｂとを動かすことにより拳とその動きとを制御する。

一実施形態では、インタラクティブシステムはモーションコントローラ１００ａと１００ｂの画像をキャプチャする画像キャプチャデバイス１０６を含む。これらの画像が分析され、コントローラ１００ａと１００ｂの動作が決定される。更に、キャプチャされた画像を分析して携帯デバイス４０の位置と方向とを決定するようにしてもよい。一実施形態では、画像キャプチャデバイス１０６はインタラクティブ環境の深度情報をキャプチャするための深度カメラを含む。キャプチャされた深度情報は、ユーザ３６の位置と動作の決定を支援する他に、スペクテータや携帯デバイス４０の位置と動作の決定を支援するようにも処理されうる。モーションコントローラの例として、ソニーコンピュータエンターテインメント社製のプレーステーションムーブ（登録商標）コントローラが挙げられる。

一実施形態では、ユーザ３６は仮想の敵１０２と対戦する。携帯デバイス４０を操作中のスペクテータは、携帯デバイス４０をユーザ３６に向ける（これが通常であって、携帯デバイス４０の背面がユーザ３６に向けられている）。携帯デバイス４０はリアルタイムで仮想の敵１０２と対戦中のユーザ３６の映像を表示する。一実施形態では、スペクテータが携帯デバイス４０をユーザ３６に向けると、携帯デバイス４０に含まれるカメラがユーザ３６とモーションコントローラ１００ａおよび１００ｂを含む映像をキャプチャする。キャプチャされた映像が分析され、ユーザの位置の他にモーションコントローラ１００ａおよび１００ｂの動作が決定されうる。更に、携帯デバイス４０はユーザの位置とモーションコントローラ１００ａおよび１００ｂの動作に関する情報をインタラクティブアプリケーションから受けうる。一実施形態では、ユーザ３６は携帯デバイス４０に表示される映像に示される。この画像では、ユーザ３６の手には、モーションコントローラ１００ａおよび１００ｂの代わりにボクシンググローブがはめられている。別の実施形態では、ユーザ３６を表示させるのではなく、ユーザ３６が制御しているボクシングゲームのキャラクタが携帯デバイス４０に表示される。

更に、スペクテータがユーザ３６に対して様々な位置と方向とに携帯デバイス４０を動かすと、携帯デバイス４０に示される映像はこれらの変化を反映することになる。従って、スペクテータがユーザ３６のほぼ後方の位置に移動し携帯デバイス４０をユーザ３６に向けると、スペクテータはユーザ３６あるいはユーザ３６により制御されるキャラクタの背面を携帯デバイス４０に見ることができる。更にスペクテータは、ユーザ３６やその他のオブジェクトによって妨げられていなければ、仮想の敵１０２の正面を携帯デバイス４０に見ることができる。同様に、スペクテータがユーザ３６のほぼ正面の位置に移動し携帯デバイスをユーザ３６に向けると、スペクテータは、仮想の敵１０２（ビューではその背面を見ることができる）などにより塞がれているのでなければ、ユーザ３６の前方を見ることができる。

スペクテータは、携帯デバイス４０をユーザに近づけるように動かしてユーザ３６をクローズアップしてもよく、携帯デバイス４０をユーザから遠ざけるように動かしてユーザと仮想の敵１０２とのボクシング試合をより広範囲のビューで楽しむようにしてもよい。スペクテータが様々な位置と方向とに携帯デバイス４０を動かすと、携帯デバイス４０は、携帯デバイス４０の位置と方向とに基づいてその位置と方向とが決定されるインタラクティブアプリケーションの仮想空間内の仮想視点からの映像を表示する。従って、ユーザ３６がボクシングの試合を行うことでインタラクションを行っている間に、スペクテータは仮想のカメラマンとしてインタラクションを行うことができる。携帯デバイスを動かすことによって、インタラクティブゲームの映像が携帯デバイス４０に表示される視点を制御することができる。

別の実施形態では、カメラ１０６はインタラクティブ環境におけるオブジェクトの深度情報をキャプチャすることができる深度カメラであってよい。一実施形態では、ユーザ３６はモーションコントローラを必要としないが、カメラ１０６により検出される動作によりインタラクティブアプリケーションに対してインタラクティブな入力を行うことができる。カメラ１０６はユーザ３６の位置、方向、および動作を決定するように処理される、インタラクティブ環境の映像および深度情報をキャプチャするように構成されうる。これらの情報はインタラクティブアプリケーションにより入力として利用される。

図７を参照すると、主画面３０に表示されるインタラクティブアプリケーションを実行するコンソールデバイス１０を含むインタラクティブ環境が示されている。ユーザ３６は、インタラクティブアプリケーションに対してインタラクティブな入力を行うようにコントローラ３２を操作する。画像キャプチャデバイス１０６はインタラクティブ環境の画像をキャプチャする。同時に、スペクテータ４８は携帯デバイスを操作し、これを見る。この携帯デバイス４０には主画面３０に表示される映像に関連した補助的ビデオストリームが表示されている。図示しているように、コントローラ３２の位置、方向および動作、および携帯デバイス４０は３次元（ｘ、ｙ、ｚ）座標においてトラッキングされうる。例示の実施形態では、コントローラ３２の座標は（４、２、３）であり、携帯デバイスの座標は（８、３、２）である。コントローラ３２と携帯デバイス４０の位置と動作をトラッキングすることにより、コントローラ３２と携帯デバイス４０の相対的な位置を決定することができる。この情報は、携帯デバイス４０に表示される補助的ビデオストリームに影響を与えるように利用可能である。例えば、現実世界のインタラクティブ環境におけるコントローラ３２と携帯デバイス４０の相対位置に基づいて、インタラクティブアプリケーションの仮想空間内の仮想視点の位置を決定する。

一実施形態では、現実世界のインタラクティブ環境の座標系が仮想空間の座標系にマッピングされるように、インタラクティブアプリケーションは仮想空間と現実世界のインタラクティブ環境における前述の３次元座標空間との間で相互関係を定義しうる。このマッピングの性質は各種の実施形態において異なるものであってよい。例えば、現実世界における距離が仮想世界における同等の距離と一致するようにマッピングは１対１に縮尺されうる。他の実施形態では、仮想世界における距離が現実世界における対応の距離よりも大きくなるように、あるいは小さくなるように、ある特定の係数でマッピングが縮尺されてよい。

更に、仮想の座標系と現実世界の座標系の座標軸の各々に対するマッピングのスケールは異なるものであってよい。例えば、一実施形態では、現実世界のｙ軸は、仮想世界において拡大されるようにマッピングしてもよい（例えば１よりも大きな係数で掛ける）。一方で、現実世界のｘ軸とｚ軸とは、これに対応する仮想空間の軸に完全に一致するようにマッピングしてもよい。そのように構成されたものの一例を図８Ａおよび図８Ｂを参照して説明する。図８Ａは現実世界のインタラクティブ環境の座標空間を示す。座標（１、１、０）から（３、３、０）への移動ベクトル１１０が示されている。図８Ｂはこれに対応する仮想空間の座標空間を示す。座標（１、２、０）から（３、６、０）への移動ベクトル１１２は、移動ベクトル１１０に対応する。図面から分かるように、移動ベクトル１１０は縦軸であるｙ軸に拡大しているが、ｘ軸およびｚ軸には拡大していない。従って、スペクテータ４８が携帯デバイスを上下に動かす場合、ｙ軸の動作を選択的に拡大することで、仮想空間の仮想視点の動作が拡大される。これにより、スペクテータ４８は、高い位置や低い位置からの映像をより簡単に見ることができ、また該映像のキャプチャも簡単にできるようになる。これに対して水平方向（ｘ軸およびｚ軸）の携帯デバイスの動作は拡大されない。当業者にとっては、本発明の他の実施形態では、所与の方向や軸に対するマッピングのスケールはその他の方向や軸によって異なることは分かるであろう。

更に、マッピングのスケールはいずれの所与の軸や方向により、あるいは、ユーザの位置など、特定の位置により異なるものであってよい。例えば、一実施形態では、ユーザ付近のマッピングは、その縮尺は、より正確に対応するものとされる。これに対してユーザから離れたところでのマッピングは、その縮尺は、ユーザから離れた携帯デバイスの動作が仮想空間で拡大されるものとされる。従って、スペクテータがユーザの近くで携帯デバイスを操作する場合は、インタラクティブ環境における動作も仮想空間における同様の動作に対応するものとなる。これに対して、スペクテータが携帯デバイスをユーザから遠ざけると、これに対応する仮想空間での動作（例えば、ユーザにより制御されるキャラクタから離れる動作）は漸進的に拡大されうる。これにより、スペクテータは、ユーザに近づいたときには自然な方法で仮想視点の位置を制御することができ、その一方、マッピングにおいて、対応する同一のスケールが維持されていた場合の仮想視点よりも仮想空間における仮想視点を更に遠くに移動することも可能となる。

そのような実施形態の一例が図９Ａおよび９Ｂに関連して示されている。図９Ａは、インタラクティブ環境での位置が、球面座標系または円柱座標系の原点を定義するユーザ３６を示す。ベクトル１２０は、距離１から距離２へと、ユーザ３６から遠ざかる動作を示す。同様に、ベクトル１２２は距離２から３への動作を示し、ベクトル１２４は３から４への動作を示す。図９Ｂは仮想空間を示しており、この仮想空間に対してインタラクティブ環境がマッピングされている。仮想空間における位置１２５はインタラクティブ環境におけるユーザ３６の位置に対応する。例えば、一部実施形態では、位置１２５はキャラクタ、車、あるいはユーザ３６により制御されるその他のオブジェクトの位置を示しうる。ベクトル１２６は現実世界のベクトル１２０に対応する。図示しているように、ベクトル１２６は距離１から２への変化を示すベクトル１２０と正確に対応する。ベクトル１２８はベクトル１２２に対応する。しかしながら図示しているように、インタラクティブ環境の座標空間のマッピングでは、仮想空間の座標空間に対して、ベクトル１２２は、そのスケールが２倍に拡大されている。従って、現実世界のインタラクティブ環境において距離２から３への変化を示すベクトル１２２は、仮想空間において距離２から４への変化を示すベクトル１２８に対してマッピングされる。ベクトル１３０はベクトル１２４に対応する。図示しているように、ベクトル１２４はインタラクティブ環境における距離３から４への変化を示しているが、これに対応するベクトル１３０は距離４から７への変化を示しており、仮想空間での距離の変化を３倍にしている。

上述した例は、インタラクティブ環境から仮想空間へのマッピングが、インタラクティブ環境における基準位置からの距離が増加すると、拡大率が大きくなるように行われるという一実施形態を示すものに過ぎない。他の実施形態では、距離の増加に伴う拡大率の変化は、直線的に変化する、対数的に変化する等、任意のパターンで変化するものとしてよく、例えば、各ゾーンの範囲内で不変又は可変の、予め設定されたゾーンに従って変化するものであってもよい。

実施形態によっては、マッピングの性質はインタラクティブアプリケーションの状態の変化に応じて異なるものとしてもよい。仮想世界に対する現実世界のマッピングと対応付けとを変えることにより、携帯デバイス４０およびコントローラ３２の現実世界の動作に関する情報を適宜調整することができ、この結果、インタラクティブアプリケーションに対するインタラクション機能を向上させることができる。

図１０Ａを参照すると、本発明の一実施形態に係るインタラクティブ環境の俯瞰図が示されている。ユーザ３６は画面３０に表示されるインタラクティブアプリケーションとインタラクションを行うコントローラ３２を操作する。同時に、スペクテータ４８はインタラクティブ環境において携帯デバイス４０を操作する。この携帯デバイス４０には、ユーザ３６の位置に対する携帯デバイス４０の位置に基づく仮想空間における仮想視点からのインタラクティブアプリケーションの仮想空間の映像を表示されている。インタラクティブシーケンス(IS:nteractive Sequence)では、スペクテータ４８は位置１４０（ユーザの隣）から位置１４２（ユーザ３６の更に右側）、位置１４４（ユーザ３６の正面）へと移動する。図１０Ｂを参照すると、シーン１４６、１４８および１５０は、スペクテータが位置１４０、１４２、および１４４にそれぞれ位置する場合に携帯デバイス４０に表示される映像を示す。

例示の実施形態では、ユーザ３６はインタラクティブゲームをプレイ中であり、この場合、ユーザ３６は仮想空間で車を運転している。ユーザ３６の位置は仮想空間における車の仮想の運転手（ユーザにより制御される）の位置に対してマッピングされる。従って、スペクテータ４８がユーザ３６の隣の位置１４０にいる場合、仮想空間における仮想視点は車の運転手の隣に定められる。シーン１４６により示されるように、携帯デバイス４０に表示される映像は、車の仮想の運転手の隣の視点からの車の内部を示す。スペクテータ４８が位置１４２からユーザ３６の更に右側に移動すると、これに応じて仮想視点が仮想空間で移動する。これに対応するシーン１４８により示されるように、シーン１４８が車のサイドを示していることから、仮想視点は車の外側に移動している。同様に、スペクテータ４８が位置１４４からユーザ３６の正面に移動すると、これに対応して仮想視点が仮想空間の範囲内で、車の正面の位置へと移動する。シーン１５０により図示されるように、位置１４４にいる場合、スペクテータは、携帯デバイス４０上で車の正面を見ることになる。

説明を簡単にするために、上述した本発明の実施形態の一部をコントローラを操作する（あるいは、動作検出システムを通じて入力を行う）一人のプレーヤおよび／又は携帯デバイスを操作する一人のユーザに関して記載してきた。当業者にとっては、本発明の他の実施形態においてはコントローラを操作する（あるいは、動作検出システムを通じて入力を行う）複数のユーザおよび／又は携帯デバイスを操作する複数のユーザが存在してもよいことが分かるであろう。

図１１を参照すると、本発明の一実施形態に係る、スペクテータにより操作される携帯デバイスがインタラクティブゲームの映像表示を可能とするための方法が示されている。方法オペレーション１６０では、プレーヤはコンソールデバイスでゲームプレイを開始する。方法オペレーション１６２では、スペクテータは携帯デバイスを起動する。方法オペレーション１６４では、ポータブルデバイスとコンソールとの間でネットワーク接続が確立される。方法オペレーション１６６では、ゲームに関する情報がコンソールから携帯デバイスに送られる。方法オペレーション１６８では、ポータブルデバイスの初期ポーズが確立される。各種実施形態では、この初期ポーズは各種のメカニズムを通じて決定されうる。これには例えば、内部の位置トラッキングセンサの現在の状態を初期ポーズとして定義する、あるいは、ＴＶ画面上のマーカを探して、ＴＶとの関係を初期ポーズとして定義するなど、が挙げられる。

方法オペレーション１７０において、プレーヤがゲームを進めると、アップデートされたゲームの状態が携帯デバイスに送信される。方法オペレーション１７２では、携帯デバイスはゲームのスペクテータのプライベートビューを表示する。方法オペレーション１７４では、スペクテータが携帯デバイスを動かすと、デバイスは初期ポーズに対する位置の変化を検知する。各種実施形態では、このことは例えば、慣性モーションセンサや方向パッドを使用することにより、あるいは、ＴＶ画面のマーカをトラッキングし、この新たな方向に基づいて位置を決定することにより実現されうる。方法オペレーション１７６では、携帯デバイスはこの新たな情報を用いて、画面のスペクテータのプライベートビューをアップデートする。

本発明の各種実施形態では、上記方法には各種の様々な方法オペレーションが含まれてもよい。例えば、一実施形態では、スペクテータは、ゲームのスペクテータのプライベートビューの、携帯デバイスへの記録を開始するために、携帯デバイスのレコードボタンを押すようにしてもよい。別の実施形態では、携帯デバイスは、スペクテータがライブ映像や録画映像のパン、ズーム、あるいはクロップを行うことができるように構成されている。別の実施形態では、携帯デバイスはライブ映像や録画映像を扱うための、彩度キーイングやカラーチェンジツール、カット、ペーストなどの映像編集ツールをスペクテータに提供する。更に別の実施形態では、スペクテータは他の人と共有するように、記録された映像や画像をインターネットサイトにアップデートすることができる。

本発明の各種実施形態では、携帯デバイスがゲームの映像を表示することを可能とするように、様々な構成が利用されてもい。例えば、一実施形態では、コンソールは携帯デバイスの視点からすべての画像を表示し、表示されたこれらの画像を携帯デバイスにストリーミングする。この場合、ポータブルデバイスは、そのポーズをコンソールに通信するが、コンソールから受ける画像を表示するために必要とされるものは別として、ゲーム自体を実際に実行するために特に関連するソフトウェアや情報を実行あるいは維持する必要はない。しかし、別の実施形態では、携帯デバイスはプレイされるゲームのレベルやモデルの一部あるいはすべてを含む。この実施形態では、コンソールが動的オブジェクトの座標を携帯デバイスに送信するだけで、携帯デバイスはそのシーンのグラフをアップデートし、適切な画像をその画面に表示することができる。更に別の実施形態では、携帯デバイスは、複雑さが軽減され、レベルとモデルとが記憶された、小型版のインタラクティブアプリケーションを実行することができる。

更に、本発明の各種実施形態では、このように説明されている携帯デバイスのインタラクション機能は、スペクテータがゲームの結果に影響を与えることができるように、あるいは影響を与えることができないように設計されてよい。例えば一実施形態では、スペクテータのパーソナルビューはプレーヤのゲームビューからわずかにずれただけの合理的な範囲に限定されたものとされる。これにより、スペクテータには、スペクテータがプレーヤと共有することもできた多くの付加的情報を明らかにすることなく、ある程度の制御レベルが許容される。これに対して、他の形態では、スペクテータは携帯デバイスを用いてどのような動作も行うことができる。この場合、スペクテータはプレーヤのビューの外側で発生中のアクションを見ることができ、これをプレーヤに伝えることができることから（例えば、プレーヤが気づいていない敵が背後から近づいている場合に警告する）スペクテータはゲームの結果に実際に影響を与えうる。

図１２を参照すると、本発明の一実施形態に係る、スペクテータが携帯デバイスを使ってインタラクティブアプリケーションの状態に影響を及ぼすことを可能とするためのシステムが示されている。コンソールデバイス１０はインタラクティブアプリケーション１８０を実行する。アプリケーションビデオストリーム１８８はインタラクティブアプリケーション１８０の状態に基づいて生成され、主画面３０に送信されて表示される。ユーザ３６は、コントローラデバイス３２からの生の入力を扱うコントローラモジュール１８６を介してインタラクティブアプリケーション１８０に対する入力を行うためにコントローラデバイス３２を操作する。アプリケーションデータジェネレータ１８２はアプリケーションデータ１９０を生成する。このデータは携帯デバイス４０で実行中の補助アプリケーション１９４に送信される。

携帯デバイス４０はスペクテータ４８と画面１９８からの入力を受ける入力メカニズム２００を含む。補助アプリケーション１９４は画面１９８に表示されるグラフィカルユーザインタフェース（ＧＵＩ）１９６を含む。ＧＵＩは、スペクテータがインタラクティブアプリケーションの状態、例えば、インタラクティブアプリケーションの聴覚や視覚の態様などに影響を与えることを可能とする一連のメニュやプロンプトを提供しうる。スペクテータ４８は入力メカニズム２００を利用して入力を行う。スペクテータの入力に基づき、補助アプリケーションは変更データ１９２を生成する。これはコンソールデバイス１０のインタラクティブアプリケーション１８０の変更データハンドラ１８４に送信される。この変更データ１９２に基づき、インタラクティブアプリケーション１８０の状態が変更される。これは生成されるアプリケーションビデオストリーム１８８に影響を与えるものである。

図１３を参照すると、本発明の一実施形態に係る、携帯デバイスを利用してスペクテータがゲームに影響を与えることを可能とするための方法が示されている。方法オペレーション２１０では、プレーヤはコンソールデバイスでゲームプレイを開始する。方法オペレーション２１２では、スペクテータは携帯デバイスを起動する。方法オペレーション２１４では、携帯デバイスはコンソールデバイスとのネットワーク接続を確立する。方法オペレーション２１６では、ゲームに関する情報はコンソールデバイスから携帯デバイスに送られる。各種の実施形態では、情報には例えば、プレイ中のキャラクタ、キャラクタが利用可能な衣装、サウンドトラックとして再生可能な歌のリスト、あるいは、スペクテータが調整することのできるゲームのその他のパラメータが含まれうる。方法オペレーション２１８では、ポータブルデバイスはゲームにより与えられる選択肢をスペクテータに表示する。方法オペレーション２２０では、スペクテータは選択肢の１つを選択する。例えば、スペクテータは再生する歌を選択することも、キャラクタが身に着ける衣装を選択することもできる。方法オペレーション２２２では、携帯デバイスはネットワーク接続を介してこの選択をコンソールに伝える。方法オペレーション２２４では、コンソールはこの選択を呼び出す。例えば、コンソールは選択された歌を再生し、あるいはキャラクタの衣装を選択された衣装に変更することができる。

各種実施形態では、スペクテータが調整することのできるパラメータはゲームの結果に様々な程度で影響を及ぼす場合もあるし、そうでない場合もある。例えば、一実施形態では、スペクテータは衣装やゲームのサウンドエフェクトを変更することができる。これによりゲームの結果に影響が及ぶ可能性は低い。別の実施形態では、スペクテータは、時間の流れを制御する（ゲームの速度を上げる又は落とす）、世界の重力をより大きな、あるいはより小さな惑星の重力と一致するように変更するか重力を全く設定しないようにする等、ゲームの深い部分の要素を制限することもできる。そのような変更はゲームの結果に著しい影響を及ぼす可能性が高い。

図１４を参照すると、一実施形態に係る、携帯デバイス４０の構成要素を示した図が示されている。携帯デバイス４０はプログラム命令を実行するためのプロセッサ３００を含む。記憶を目的としたメモリ３０２が提供されており、これは揮発性および不揮発性メモリを含みうる。ユーザが見ることのできる視覚インタフェースを提供する画面３０４が含まれる。携帯デバイス４０の電源としてバッテリ３０６が提供されている。動作検出モジュール３０８は磁力計３１０、加速度計３１２、ジャイロスコープ３１４などの、各種のいずれの動作検出ハードウェアを含みうる。

加速度計は加速度と、重力に起因する反力とを測定するための装置である。異なる方向での加速度の大きさおよび方向を検出するために、一軸モデルと多軸モデルとを使用することができる。加速度計は、傾斜、振動および衝撃を検出するために使用される。一実施形態では、２角度（世界空間ピッチおよび世界空間ロール）の絶対基準となる重力の方向を提供するために、３台の加速度計３１２が使用される。

磁力計は、コントローラの近くの磁界の強度と方向とを測定する。一実施形態では、コントローラ内部に３台の磁力計３１０が使用されており、世界空間ヨー角度の絶対基準を規定している。一実施形態では、磁力計は、±８０マイクロテスラである地磁界の範囲をカバーするように設計されている。磁力計は、金属の影響を受け、実際のヨーと単調関係を示すヨー測定値を提供する。磁界は、環境に存在する金属の影響で歪むことがあり、このため、ヨー測定値に歪みが生じる。必要に応じて、この歪みを、ジャイロまたはカメラからの情報を使用して較正することができる。一実施形態では、加速度計３１２は、携帯デバイス４０の傾斜および方位角を取得するために、磁力計３１０と共に使用される。

ジャイロスコープは、角運動量の原理に基づいて、方向を測定および保持するための装置である。一実施形態では、３台のジャイロスコープ３１４が、検知された慣性に基づいて、各軸（ｘ、ｙ、ｚ）の移動に関する情報を提供する。ジャイロスコープは、高速回転の検出を補助する。しかし、ジャイロスコープは、絶対基準が存在しなければ、時間が経つとずれが生じることがある。このため、ジャイロスコープの定期的なリセットが必要であり、このリセットは、オブジェクトの視覚トラッキング、加速度計、磁力計などに基づく位置／方向決定など、他の入手可能な情報を使用して行なうことができる。

画像と、実環境の画像ストリームとをキャプチャするためにカメラ３１６が提供される。携帯デバイス４０には１台以上のカメラが含まれていてもよく、これには、背面カメラ（ユーザが携帯デバイスの画面を見ているときはユーザから遠ざかるカメラ）、および前面カメラ（ユーザが携帯デバイスの画面を見ているときはユーザに向けられるカメラ）を含む。更に、実環境のオブジェクトの深度情報を検知するために深度カメラ３１８が携帯デバイスに含まれうる。

携帯デバイス４０は音声出力のためのスピーカ３２０を含む。更に、実環境から、周囲環境からの音声や、ユーザにより発せられた会話などの音声をキャプチャするためにマイクロフォン３２２が含まれていてもよい。携帯デバイス４０はユーザに触覚フィードバックを提供するための触覚フィードバックモジュール３２２を含む。一実施形態では、この触覚フィードバックモジュール３２４は、ユーザに触覚のフィードバックを提供するために、携帯デバイス４０の動き及び／又は振動を発生させることができる。

ＬＥＤ３２６は、携帯デバイス４０の状態を視覚的に示すものとして設けられる。例えば、ＬＥＤは、バッテリーレベル、電源オンなどを示しうる。カードリーダ３２８は、携帯デバイス４０がメモリカードから情報を読み出したりメモリカードに情報を書き込んだりすることを可能とするために設けられる。ＵＳＢインタフェース３３０は、周辺装置の接続や、他の携帯型装置やコンピュータなどの他の装置への接続を可能とするためのインタフェースの一例として含まれる。携帯デバイスの各種実施形態において、携帯デバイス４０のより多くの接続を可能とするために、様々な種類のインタフェースが含まれてもよい。

ＷｉＦｉモジュール３３２は、無線ネットワーク技術を介したインターネットへの接続を可能とするために含まれる。また、携帯デバイス４０は、他の装置との無線接続を可能とするために、ブルートゥースモジュール３３４を含む。通信リンク３３６も、他の装置との接続のために含まれてもよい。一実施形態では、通信リンク３３６は、無線通信のために赤外線送信を用いる。他の実施形態では、通信リンク３３６は、他の装置と通信するために、無線又は有線の種々の送信プロトコルのいずれかを用いてもよい。

入力ボタン／センサ３３８は、ユーザに入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの種々の種類の入力インタフェースのいずれかが含まれてもよい。更に、ユーザから生理的データの検出ができるように生体センサが含まれてもよい。一実施形態では、生体センサは、ユーザの肌からユーザの生理電気的信号を検出するための１以上の乾式電極を含む。

携帯デバイス４０には、超音波技術により他の装置との通信を容易にするための超音波通信モジュール３４０が含まれてもよい。

上記の携帯デバイス４０の構成要素は、携帯デバイス４０に含まれうる構成要素の単なる例として説明されてきた。本発明の各種実施形態では、携帯デバイス４０は上述の各種の構成要素の一部を含んでもよいし含まなくてもよい。携帯デバイス４０の各実施形態は、本文において記載されていないが、当技術分野において周知の他の構成要素を、本明細書において説明される本発明の態様を容易にする目的で更に含むことができる。

図１５は、本発明の一実施形態に係る、インタラクティブアプリケーションを実行し表示するために使用されうるハードウェアおよびユーザインタフェースを示す図である。より詳細には、図１５は、ソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す図である。これは、制御デバイスと携帯デバイスのインタフェースのために、ベースコンピューティングデバイスで実行中のコンピュータプログラムと互換性のあるコンソールである。システムユニット７００はこれに接続可能な種々の周辺デバイスと共に提供される。システムユニット７００は、Cellプロセッサ７２８、Rambus（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット７２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット７３２を有する"Reality Synthesizer"グラフィックユニット７３０、およびＩ／Ｏ（入出力）ブリッジ７３４を備える。また、システムユニット７００は、Ｉ／Ｏブリッジ７３４を介してアクセス可能な、ディスク７４０ａおよび着脱可能なスロットインハードディスクドライブ（ＨＤＤ）７３６から読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ７４０も備える。任意に、システムユニット７００は、同様にＩ／Ｏブリッジ７３４を介してアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリースティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ７３８も備える。

また、Ｉ／Ｏブリッジ７３４は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート７２４、ギガビットイーサネット（登録商標）ポート７２２、ＩＥＥＥ ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート７２０、および最大７つのブルートゥース（登録商標）接続に対応可能なブルートゥース（登録商標）無線リンクポート７１８にも接続している。

動作時に、Ｉ／Ｏブリッジ７３４は、１つ以上のゲームコントローラ７０２−７０３からのデータを含む、全ての無線、ＵＳＢ、およびイーサネット（登録商標）のデータを処理する。例えば、ユーザがゲームをプレイ中に、Ｉ／Ｏブリッジ７３４はブルートゥースリンクを介してゲームコントローラ７０２−７０３からデータを受信して、これをCellプロセッサ７２８に転送し、Cellプロセッサ７２８が適宜ゲームの現在の状態を更新する。

また、無線、ＵＳＢ、およびイーサネット（登録商標）の各ポートを介して、ゲームコントローラ７０２−７０３のほかに、他の周辺デバイスも接続することが可能となる。このような周辺デバイスには、例えば、リモコン７０４、キーボード７０６、マウス７０８、ソニープレイステーションポータブル（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス７１０、EyeToy（登録商標）ビデオカメラ７１２などのビデオカメラ、マイクロフォンヘッドセット７１４およびマイクロフォン７１５などがある。このため、これらの周辺デバイスは、原則としてシステムユニット７００に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス７１０はＷｉ−Ｆｉアドホック接続を介して通信し、マイクロフォンヘッドセット７１４はブルートゥースリンクを介して通信しうる。

これらのインタフェースを提供することにより、プレイステーション３デバイスは、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ＶｏＩＰ電話、携帯電話、プリンタ、およびスキャナなどの他の周辺デバイスと場合によっては互換となりうる。

更に、ＵＳＢポート７２４を介して旧式メモリカードリーダ７１６をシステムユニットに接続することができ、プレイステーション（登録商標）デバイスまたはプレイステーション２（登録商標）デバイスで用いられていたタイプのメモリカード７４８の読み出しが可能となる。

ゲームコントローラ７０２−７０３は、ブルートゥースリンクを介してシステムユニット７００と無線通信するように動作可能である。あるいはＵＳＢポートに接続されてもよく、これにより、ゲームコントローラ７０２−７０３のバッテリに充電するための電力に接続される。ゲームコントローラ７０２−７０３はメモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの不揮発メモリ、点光源などの光源、ＬＥＤ、または赤外光、超音波通信用のマイクロフォンおよびスピーカ、音響室、デジタルカメラ、内部クロック、ゲームコンソールに対向する球状部のような認識可能な形状、およびブルートゥース（登録商標）、ＷｉＦｉ（商標または登録商標）等のプロトコルを用いた無線通信を含むことができる。

ゲームコントローラ７０２は両手で使うように設計されたコントローラであり、ゲームコントローラ７０３はボール取り付け部が付属する片手用コントローラである。ゲームコントローラは、１つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、３次元位置を決定することができる。従って、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意に、プレイステーション（登録商標）ポータブルデバイスなどの他の無線対応の周辺デバイスをコントローラとして使用することができる。プレイステーション（登録商標）ポータブルデバイスの場合、追加のゲーム情報または制御情報（例えば制御命令またはライブの数）が、当該デバイスの画面に提示されうる。他の代替的または補助的な制御デバイスが使用されてもよく、これには、ダンスマット（不図示）、ライトガン（不図示）、ハンドルおよびペダル（不図示）、あるいは、即答クイズゲームのための１つまたは複数の大型のボタン（これも図示なし）などの特注品のコントローラなどがある。

また、リモコン７０４も、ブルートゥースリンクを介してシステムユニット７００と無線通信するように動作可能である。リモコン７０４は、ブルーレイ（登録商標）ディスクＢＤ−ＲＯＭリーダ７４０の操作、およびディスクの内容の閲覧のために適した制御を備える。

ブルーレイディスク（ＴＭ）ＢＤ−ＲＯＭリーダ７４０は、従来の記録済みＣＤ、記録可能ＣＤ、およびいわゆるスーパーオーディオＣＤのほか、プレイステーションデバイスおよびプレイステーション２デバイスと互換のＣＤ−ＲＯＭを読み出すように動作可能である。また、リーダ７４０は、従来の記録済みＤＶＤおよび記録可能ＤＶＤのほか、プレイステーション２デバイスおよびプレイステーション３デバイスと互換のＤＶＤ−ＲＯＭを読み出すように動作可能である。更に、リーダ７４０は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション３デバイスと互換のＢＤ−ＲＯＭを読み出すように動作可能である。

システムユニット７００は、Reality Synthesizerグラフィックユニット７３０を介して、プレイステーション３デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ７４４および１つ以上のラウドスピーカ７４６を備えた表示および音声出力装置７４２（モニタまたはテレビ受像機など）に提供するように動作可能である。音声コネクタ７５０は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ７５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、および１つ以上の高品位マルチメディアインタフェース[ＨＤＭＩ（登録商標）]の出力などを種々備えうる。従って、ビデオ出力は、ＰＡＬまたはＮＴＳＣ、あるいは７２０ｐ、１０８０ｉまたは１０８０ｐの高解像度などのフォーマットであってもよい。

音声処理（生成、デコードなど）はCellプロセッサ７２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、およびブルーレイディスクからの７．１サラウンドサウンドのデコードに対応している。

本実施形態では、ビデオカメラ７１２は、１つの電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット７００によるデコードのために、イントラ画像ベースのＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）標準などの適切なフォーマットで送信されるようになる。カメラのＬＥＤインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット７００から受け取ると、発光するように配置されている。ビデオカメラ７１２の実施形態は、ＵＳＢ、ブルートゥース（登録商標）またはＷｉ−Ｆｉの通信ポートを介して、システムユニット７００に様々な方法で接続しうる。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。別の実施形態では、このカメラは赤外光を検出するのに適した赤外カメラである。

一般に、システムユニット７００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺デバイスとのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、本発明を不必要にわかりにくくすることのないよう、当業者であればデバイスドライバまたは類似するソフトウェアインタフェースが既述した本実施形態で要求されることに気づくであろうということを除き、ここには詳しく記載することはしない。

上述のコンソールデバイスや手持ち式の携帯デバイスなどのシステムデバイスは、携帯デバイスが主画面に表示されるインタラクティブアプリケーションのインタラクティブセッションの映像を表示しキャプチャすることを可能とする手段を構成する。コンソールデバイスは、ユーザとインタラクティブアプリケーションとの間のインタラクションを定義する、インタラクティブアプリケーションのインタラクティブセッションを開始する。システムデバイスは、スペクテータにより操作される携帯デバイスの最初の位置と方向とを定義するための手段を構成する。コンソールデバイスは、ユーザとインタラクティブアプリケーションとの間のインタラクションに基づいてインタラクティブアプリケーションの現在の状態を決定するための手段を構成する。システムデバイスは、インタラクティブセッションの間、携帯デバイスの位置と方向とをトラッキングするための手段を構成する。システムデバイスは、インタラクティブアプリケーションの現在の状態とトラッキングされた携帯デバイスの位置と方向とに基づいて、インタラクティブセッションのスペクテータビデオストリームを生成するための手段を構成する。携帯デバイスは、携帯デバイスの携帯画面にスペクテータビデオストリームを表示するための手段を構成する。

本発明の実施形態は、携帯型デバイス、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラム可能な家庭用電化製品、マイクロコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成により実現されてもよい。本発明は、通信ネットワークを介して接続された遠隔処理装置によりタスクが実行される分散処理環境において実現されてもよい。

上述した実施形態によれば、本発明は、コンピュータシステムに記憶されたデータを含む、様々なコンピュータ実装された命令を用いてもよいことが理解される。これらの命令は、物理量の物理的操作を要する命令を含む。本発明の一部を形成する本明細書で説明される命令はいずれも有効な機械命令である。本発明は、これらの命令を実行するためのデバイス又は装置に関する。装置は、例えば特殊目的コンピュータなど、要求された目的のために特別に構築されてもよい。特殊目的コンピュータとして定義される場合、コンピュータは、特殊目的のために動作可能でありつつ、特殊目的の一部ではない他の処理、プログラム実行、又はルーティンを実行することができる。または、命令は、選択的にアクティブ化された、又は、コンピュータメモリ、キャッシュに記憶された、又はネットワークを介して取得された１以上のコンピュータプログラムにより構成された汎用目的のコンピュータにより処理されてもよい。データがネットワークを介して取得されるとき、データは、例えば計算リソースのクラウドなどの、ネットワーク上の他の装置により処理されてもよい。

本発明の実施形態は、データをある状態から別の状態へ変換する機械として定義されてもよい。変換されたデータは、ストレージに記憶され、プロセッサにより操作されてもよい。プロセッサは、このように、データをある状態から別の状態へ変換する。更に、方法は、ネットワークを介して接続可能な１以上の機械又はプロセッサにより処理されてもよい。それぞれの機械は、データをある状態から別の状態へ変換可能であり、データを処理し、ストレージに保存し、ネットワークを介して送信し、結果を表示し、又は別の機械へ結果を送信することができる。

本発明の１以上の実施形態は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具体化されてもよい。コンピュータ読み取り可能な媒体は、コンピュータシステムにより読み取り可能なデータの記憶が可能な任意のデータストレージ装置である。コンピュータ読み取り可能な媒体の例として、ハードドライブ、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的又は非光学的データストレージ装置などが挙げられる。コンピュータ読み取り可能な媒体は、コンピュータシステムに結合されたネットワークを介して配布され、コンピュータ読み取り可能なコードは分散方式で格納され実行されてもよい。

方法の手順を特定の順序で説明したが、他のハウスキーピング命令が命令の間に実行されてもよいし、命令が異なるタイミングで生じるように調整されてもよいし、オーバーレイ命令の処理が所望の方法で実行される限り、処理に関連付けられた種々のインターバルにおいて処理命令の発生を可能とするシステムに分散されてもよいことを理解されたい。

上記では、理解を明確にするために本発明を詳細に説明したが、添付の請求の範囲内で特定の変更および修正を実施可能であることは明らかである。従って、実施形態は例示的なものであり限定を意味するものではなく、また、本発明は本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正可能である。

Claims (18)

1. 携帯デバイスであって、
   主画面上に表示されるインタラクティブアプリケーションのインタラクティブセッションに携帯デバイスの位置および方向を決定しトラッキングのためのセンサデータを生成するように構成されたセンサを有し、
   前記インタラクティブセッションは、ユーザとインタラクティブアプリケーションとの間の相互作用のために定義されるものであり、
   コンピューティングデバイスにセンサデータを送るように構成された通信モジュールを有し、
   前記通信モジュールは、コンピューティングデバイスから、インタラクティブアプリケーションおよび携帯デバイスのトラッキングされた位置および方向の状態に基づいて生成されるインタラクティブセッションのスペクテータビデオストリームを受けるようにさらに構成されており、前記スペクテータビデオストリームは、スペクテータの前記携帯デバイスに表示されるビデオストリームであり、かつ、前記スペクテータは、同じインタラクティブ環境における前記携帯デバイスの操作者であり、
   前記インタラクティブアプリケーションのステートは、ユーザとインタラクティブアプリケーションとの間の相互作用に基づいて決定されるものであり、
   スペクテータビデオストリームを表示するように構成された画面を有し、
   携帯デバイスの位置と方向とは、インタラクティブアプリケーションにより定義される仮想空間内の仮想視点の位置と方向とを定義し、
   さらに、前記スペクテータビデオストリームは前記仮想視点の視点から撮像した前記仮想空間の画像を含む、携帯デバイス。
2. 請求項１に記載の携帯デバイスであって、
   前記インタラクティブアプリケーションの状態は、インタラクティブな入力により決定され、前記インタラクティブな入力は、前記インタラクティブセッション中にコントローラデバイスから受けられるものである、携帯デバイス。
3. 請求項１に記載の携帯デバイスであって、
   前記インタラクティブセッションは、ユーザと主画面上で表示されたアプリケーションビデオストリームとの間の相互作用を定義し、
   前記アプリケーションビデオストリームは、前記インタラクティブアプリケーションの状態に基づいて生成される、携帯デバイス。
4. 請求項１に記載の携帯デバイスであって、
   前記センサは、加速度計、磁力計及び／又は、ジャイロスコープの１つ以上によって定義され、
   前記センサデータは、前記センサによって生成された慣性データを有している、携帯デバイス。
5. 請求項１に記載の携帯デバイスであって、
   前記センサは画像キャプチャデバイスによって定義され、
   前記センサデータは、相互作用が生じる、インタラクティブな環境でキャプチャーされた画像データによって定義される、携帯デバイス。
6. 請求項５に記載の携帯デバイスであって、
   前記携帯デバイスの位置および方向の決定およびトラッキングは、前記インタラクティブな環境内の１つ以上のマーカの識別子に基づく、携帯デバイス。
7. 携帯デバイスであって、
   主画面上に表示されるインタラクティブアプリケーションのインタラクティブセッションに携帯デバイスの位置および方向を決定しトラッキングのためのセンサデータを生成するように構成されたセンサを有し、
   前記インタラクティブセッションは、ユーザとインタラクティブアプリケーションとの間の相互作用のために定義されるものであり、
   コンピューティングデバイスにセンサデータを送るように構成された通信モジュールを有し、
   前記通信モジュールは、インタラクティブアプリケーションの状態に基づいて生成されるコンピューティングデバイスからアプリケーション状態データを受けるようにさらに構成され、
   前記インタラクティブアプリケーションのステートは、ユーザとインタラクティブアプリケーションとの間の相互作用に基づいて決定されるものであり、
   アプリケーション状態データおよび携帯デバイスのトラッキング位置および方向に基づいてスペクテータビデオストリームを生成するように構成されたスペクテータビデオストリームジェネレータを有し、前記スペクテータビデオストリームは、スペクテータの前記携帯デバイスに表示されるビデオストリームであり、かつ、前記スペクテータは、同じインタラクティブ環境における前記携帯デバイスの操作者であり、
   スペクテータビデオストリームを表示するように構成された画面を有する、携帯デバイス。
8. 請求項７に記載の携帯デバイスであって、
   ユーザとインタラクティブアプリケーションの間の相互作用が生じるインタラクティブな環境の環境ビデオストリームをキャプチャーするように構成された画像キャプチャデバイスを有し、
   前記スペクテータビデオストリームジェネレータは、環境ビデオストリームに基づいてスペクテータビデオストリームを生成するように構成される、携帯デバイス。
9. 請求項８に記載の携帯デバイスであって、
   前記スペクテータビデオストリームジェネレータは、環境ビデオストリームを仮想エレメントで拡張することにより、スペクテータビデオストリームを生成するように構成される、携帯デバイス。
10. 請求項８に記載の携帯デバイスであって、
    前記スペクテータビデオストリームジェネレータは、前記環境ビデオストリームにおいて検出したユーザの少なくとも一部を仮想要素で置き換えることによりスペクテータビデオストリームを生成する、携帯デバイス。
11. 請求項１０に記載の携帯デバイスであって、
    前記ユーザの少なくとも一部の置き換えには、環境ビデオストリームで検出したユーザを、ユーザが制御するインタラクティブアプリケーションのキャラクタに置き換える、携帯デバイス。
12. 請求項７に記載の携帯デバイスであって、
    前記スペクテータビデオストリームは、トラッキングされたユーザの位置に対する携帯デバイスのトラッキングされた位置と方向とに基づいて生成される、携帯デバイス。
13. 請求項７に記載の携帯デバイスであって、
    前記センサは、加速度計、磁力計及び／又は、ジャイロスコープの１つ以上によって定義され、
    前記センサデータは、前記センサによって生成された慣性データを有している、携帯デバイス。
14. 携帯デバイスであって、
    主画面上に表示されるインタラクティブアプリケーションのインタラクティブセッションに携帯デバイスの位置および方向を決定しトラッキングのためのセンサデータを生成するように構成されたセンサを有し、
    前記インタラクティブセッションは、ユーザとインタラクティブアプリケーションとの間の相互作用のために定義されるものであり、
    コンピューティングデバイスにセンサデータを送るように構成された通信モジュールを有し、
    前記通信モジュールは、コンピューティングデバイスから、インタラクティブアプリケーションおよび携帯デバイスのトラッキングされた位置および方向の状態に基づいて生成されるインタラクティブセッションのスペクテータビデオストリームを受けるようにさらに構成されており、前記スペクテータビデオストリームは、スペクテータの前記携帯デバイスに表示されるビデオストリームであり、かつ、前記スペクテータは、同じインタラクティブ環境における前記携帯デバイスの操作者であり、
    前記インタラクティブアプリケーションのステートは、ユーザとインタラクティブアプリケーションとの間の相互作用に基づいて決定されるものであり、
    スペクテータビデオストリームを表示するように構成された画面を有し、
    前記スペクテータビデオストリームは、前記インタラクティブセッションの間の前記ユーザのトラッキングされた位置に対する前記携帯デバイスの前記位置と方向とに基づいて生成され、
    前記ユーザの前記位置に対する前記携帯デバイスの前記位置と前記方向とは前記インタラクティブアプリケーションにより定義される仮想空間内の仮想視点の位置および方向を定義するものであって、
    前記インタラクティブアプリケーションの仮想環境内のオブジェクトは、前記ユーザの位置に対してマッピングされ、
    前記スペクテータビデオストリームは前記仮想視点の視点からキャプチャされた前記仮想空間の画像を含むものであって、前記オブジェクトは、前記携帯デバイスが前記ユーザの前記位置に向けられる場合に前記スペクテータビデオストリームの前記画像に含まれる、携帯デバイス。
15. 請求項１４に記載の携帯デバイスであって、
    前記オブジェクトはユーザにより制御される、携帯デバイス。
16. 請求項１５に記載の携帯デバイスであって、
    前記オブジェクトは、前記インタラクティブアプリケーションのキャラクタである、携帯デバイス。
17. 請求項１４に記載の携帯デバイスであって、
    前記ユーザの前記位置は、ユーザにより操作されるコントローラデバイスの位置に基づいて決定される、携帯デバイス。
18. 請求項１７に記載の携帯デバイスであって、
    前記ユーザと前記インタラクティブアプリケーションとの間の相互作用が生じるインタラクティブな環境の環境ビデオストリームをキャプチャーするように構成された画像キャプチャデバイスを更に有し、
    前記ユーザの前記位置と、前記ユーザの前記位置に対する前記携帯デバイスの前記位置と方向とは前記環境ビデオストリームに少なくともある程度基づいて決定される、携帯デバイス。

Images