JP5548782B2

JP5548782B2 - 表示デバイスに対するカメラの場所を特定すること

Info

Publication number: JP5548782B2
Application number: JP2012544510A
Authority: JP
Inventors: スティーブン・オスマン
Original assignee: Sony Interactive Entertainment Inc; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2009-12-18
Filing date: 2010-11-02
Publication date: 2014-07-16
Anticipated expiration: 2030-11-02
Also published as: JP2013514583A; US8497902B2; EP2513842B1; CN102822847B; US20110151970A1; EP2513842A4; CN102822847A; EP2513842A1; WO2011075226A1

Description

本開示は、一般に、表示デバイスに対するゲームコンソールのカメラの場所を特定することに関する。

ビデオゲームシステムは、数十年にわたって、娯楽の一般的な形態でとなっている。最新のビデオゲームシステムの基本的な部品は、ユーザ制御インターフェース、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、ソフトウェアカーネル、ビデオゲーム用の記憶媒体、ビデオ出力、音声出力、および電源を含むコア構成要素の同様のリストを有する。

ユーザ制御インターフェースにより、ユーザは、ビデオゲームとインタラクトすることができるようになり、ほとんどのゲームシステムは、様々なボタンおよび特別なフィーチャを有する少なくとも１つの高性能なリモートコントローラを伴っている。ビデオゲームシステムは、ゲームがプレイされている際にゲームの一時記憶領域を提供するためのＲＡＭに依存する。ＲＡＭがなければ、最も早いＣＰＵでさえ、インタラクティブなゲーム経験に必要な速度を実現しないであろう。

そのコアにおいて、ビデオゲームシステムは、高度に専門化されたコンピュータであるコンソールを有する。ソフトウェアカーネル構成要素は、ゲームコンソールのオペレーティングシステムであり、ハードウェアの様々な部品間のインターフェースを提供する。最近のビデオゲームシステムのために使用される最も一般的な記憶技術のうちの２つは、ＣＤベースのカートリッジおよびＲＯＭベースのカートリッジである。また、いくつかの現在のシステムは、保存されたゲームおよび個人的フィーチャを記憶するための固体メモリカードを提供する。

ゲームコンソールは、テレビまたはモニタのような表示デバイスに適合可能なビデオ信号を提供する。さらに、ほとんどのゲームコンソールは、ビデオ出力を制御することに加えて、専門化されたマッピング機能、テクスチャリング機能、および幾何学的機能を提供する専用のグラフィックプロセッサを有する。別の専用のチップは、典型的には、音声処理、ならびにステレオサウンドまたはデジタルサラウンドサウンドへの出力を担う。

また、ゲームシステムの最新の世代は、ＳｏｎｙのＰｌａｙＳｔａｔｉｏｎ（登録商標）３用のＥｙｅＴｏｙ（商標）、ならびにＮｉｎｔｅｎｄｏのＷｉｉ（商標）用のＷｉｉ（商標）センサバーのようなゲームコンソールに接続されたセンサデバイスを含み、このようなセンサデバイスは、リモートコントローラの機能を改善する。

本明細書に記載されるように、ゲームシステム内において表示デバイスの位置に対するゲームコンソール上のセンサの場所を特定するための方法は、表示デバイス上に画像を表示するステップと、ポータブルデバイスが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第１の位置および第１の配向を推定するステップと、ユーザに、ポータブルデバイスを新しい位置まで移動させるように命令するステップと、ポータブルデバイスが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第２の位置および第２の配向を推定するステップと、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、表示デバイスのサイズを判断するステップと、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、ゲームコンソールのセンサに対する表示デバイスの配向を判断するステップとを含む。

同じく本明細書に記載されるように、ゲームシステムにおいて表示デバイスの位置に対するゲームコンソール上のセンサの場所を特定するための方法は、ポータブルデバイスに、画像を検索するように命令するステップであって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するステップと、ポータブルデバイス上のカメラを使用して、表示デバイス上の画像を検索するステップと、表示デバイス上のパターンについて、ポータブルデバイスのカメラ上の画像を検索するステップと、ポータブルデバイスの検索結果を、ゲームコンソールに送信するステップであって、ポータブルデバイスが、検索結果をゲームコンソールにワイヤレスで送信するステップと、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の位置を判断するステップと、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の配向を判断するステップと、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断するステップと、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の配向を判断するステップと、ポータブルデバイスに、第２の位置から表示デバイス上の画像を検索するように命令するステップであって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するステップと、ポータブルデバイス上のセンサを使用して、ポータブルデバイスの第２の位置から表示デバイス上の画像を検索するステップと、表示デバイス上のパターンについて、ポータブルデバイス上のセンサの画像を検索するステップと、ポータブルデバイスの新しい検索結果をゲームコンソールに送信するステップであって、ポータブルデバイスが、新しい検索結果をゲームコンソールにワイヤレスで送信する、送信するステップと、ポータブルデバイスのセンサが、表示デバイス上の画像を検出することができるように、ユーザに、ポータブルデバイスを位置決めするようにプロンプトするステップと、表示デバイスに、画像を表示するように命令するステップであって、ゲームコンソールが、表示デバイスに、画像を表示するように命令する、命令するステップと、ゲームコンソールを使用して、ポータブルデバイスの動きを検出するステップと、異なる新しい位置が候補表示デバイスを通過する軸に沿っていると判断された場合、ユーザに、ポータブルデバイスを異なる新しい位置まで移動させるように命令するステップと、ポータブルデバイス上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断するステップと、ポータブルデバイス上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の配向を判断するステップとを含み、ポータブルデバイスの第１の位置および第１の配向を推定するステップが、ポーズ推定アルゴリズムを使用して達成され、ポータブルデバイスの第２の位置および第２の配向を推定するステップが、ポーズ推定アルゴリズムを使用して達成され、ポータブルデバイスが、ゲームパッド、ジョイスティック、汎用遠隔制御装置、リモートコントローラ、カメラを装備した携帯電話、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）リモート、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））を含み、ゲームコンソールが、ビデオゲームコンソールであり、表示デバイスが、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザＴＶ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちの少なくとも１つを含み、ゲームコンソールのセンサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備え、ポータブルデバイスのセンサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、モーション・センサ、のうちの少なくとも１つまたはそれらの任意の組合せを備える。

本明細書に記載されるように、ゲームシステムにおいて表示デバイスの位置に対するポータブルデバイスの場所を特定するためのシステムは、表示デバイス上に画像を表示するための手段と、ポータブルデバイスが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第１の位置および第１の配向を推定するための手段と、ユーザに、ポータブルデバイスを新しい位置まで移動させるように命令するための手段と、ポータブルデバイスが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第２の位置および第２の配向を推定するための手段と、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、表示デバイスのサイズを判断するための手段と、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、ゲームコンソールのセンサに対する表示デバイスの配向を判断するための手段とを含む。

本明細書に記載されるように、ゲームシステムにおいて表示デバイスの位置に対するポータブルデバイスの場所を特定するためのシステムは、ポータブルデバイスに、画像を検索するように命令するための手段であって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するための手段と、ポータブルデバイス上のセンサを使用して、表示デバイス上の画像を検索するための手段と、表示デバイス上のパターンについて、ポータブルデバイスのセンサ上の画像を検索するための手段と、ポータブルデバイスの検索結果を、ゲームコンソールに送信するための手段であって、ポータブルデバイスが、検索結果をゲームコンソールにワイヤレスで送信する、送信するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに関してゲームコンソールの第１の位置を判断するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の配向を判断するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の配向を判断するための手段と、ポータブルデバイスに、第２の位置から表示デバイス上の画像を検索するように命令するための手段であって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するための手段と、ポータブルデバイス上のセンサを使用して、ポータブルデバイスの第２の位置から表示デバイス上の画像を検索するための手段と、表示デバイス上のパターンについて、ポータブルデバイス上のセンサの画像を検索するための手段と、ポータブルデバイスの新しい検索結果をゲームコンソールに送信するための手段であって、ポータブルデバイスが、新しい検索結果をゲームコンソールにワイヤレスで送信する、送信するための手段と、ポータブルデバイスのセンサが、表示デバイス上の画像を検出することができるように、ユーザに、ポータブルデバイスを位置決めするようにプロンプトするための手段と、表示デバイスに、画像を表示するように命令するための手段であって、ゲームコンソールが、表示デバイスに、画像を表示するように命令する、命令するための手段と、ゲームコンソールを使用して、ポータブルデバイスの動きを検出するための手段と、異なる新しい位置が候補表示デバイスを通過する軸に沿っていると判断された場合、ユーザに、ポータブルデバイスを異なる新しい位置まで移動させるように命令するための手段と、ポータブルデバイス上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断するための手段と、ポータブルデバイス上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の配向を判断するための手段とを含み、ポータブルデバイスの第１の位置および第１の配向を推定するための手段が、ポーズ推定アルゴリズムを使用し、ポータブルデバイスの第２の位置および第２の配向を推定するための手段が、ポーズ推定アルゴリズムを使用し、ポータブルデバイスが、ゲームパッド、ジョイスティック、汎用遠隔制御装置、リモートコントローラ、カメラを装備した携帯電話、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）リモート、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））を含み、ゲームコンソールが、ビデオゲームコンソールであり、表示デバイスが、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザＴＶ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちの少なくとも１つを含み、ゲームコンソールのセンサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、モーション・センサ、のうちの少なくとも１つまたはそれらの任意の組合せを備え、ポータブルデバイスのセンサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える。

本明細書に記載されるように、ゲームシステムにおいて表示デバイスの位置に関してポータブルデバイスの場所を特定するために、ゲームシステム中で使用するためのコンピュータ読み取り可能な記録媒体は、表示デバイス上に画像を表示するための手段と、ポータブルデバイスが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第１の位置および第１の配向を推定するための手段と、ユーザに、ポータブルデバイスを新しい位置まで移動させるように命令するための手段と、ポータブルデバイスが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第２の位置および第２の配向を推定するための手段と、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、表示デバイスのサイズを判断するための手段と、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、ゲームコンソールのセンサに対する表示デバイスの配向を判断するための手段とを含む。

本明細書に記載されるように、ゲームシステムにおいて表示デバイスの位置に関してポータブルデバイスの場所を特定するために、ゲームシステム中で使用するためのコンピュータ読み取り可能な記録媒体は、ポータブルデバイスに、画像を検索するように命令するための手段であって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するための手段と、ゲームコンソール上のカメラを使用して、ポータブルデバイスに関してゲームコンソールの第１の位置を判断するための手段と、ゲームコンソール上のカメラを使用して、ポータブルデバイスに対するゲームコンソールの第１の配向を判断するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに関してゲームコンソールの第１の位置を判断するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の配向を判断するための手段と、表示デバイス上に画像を表示するための手段と、ポータブルデバイスに、画像を検索するように命令するための手段であって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するための手段と、ポータブルデバイスのセンサが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第１の位置および第１の配向を推定するための手段と、ユーザに、ポータブルデバイスを新しい位置まで移動させるように命令するための手段と、ポータブルデバイスのセンサが表示デバイス上の画像を発見すると、ポータブルデバイスに対する表示デバイスの第２の位置および第２の配向を推定するための手段と、第１の位置および第１の配向の推定、ならびに第２の位置および第２の配向の推定中に集められた情報を使用して、表示デバイスのサイズを判断するための手段と、ゲームコンソールに送られた２つの検索結果を使用して、ポータブルデバイスに対する表示デバイスの配向を判断するための手段と、ポータブルデバイス上のセンサを使用して、表示デバイス上の画像を検索するための手段と、表示デバイス上のパターンについて、ポータブルデバイス上のセンサの画像を検索するための手段と、ポータブルデバイスの検索結果をゲームコンソールに送信するための手段であって、ポータブルデバイスが、検索結果をゲームコンソールにワイヤレスで送信する、送信するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断するための手段と、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の配向を判断するための手段と、ポータブルデバイスに、第２の位置から表示デバイス上の画像を検索するように命令するための手段であって、ゲームコンソールが、ポータブルデバイスに、画像を検索するように命令する、命令するための手段と、ポータブルデバイス上のセンサを使用して、ポータブルデバイスの第２の位置から表示デバイス上の画像を検索するための手段と、表示デバイス上のパターンについて、ポータブルデバイス上のセンサの画像を検索するための手段と、ポータブルデバイスの新しい検索結果をゲームコンソールに送信するための手段であって、ポータブルデバイスが、新しい検索結果をゲームコンソールにワイヤレスで送信する、送信するための手段と、ポータブルデバイスのセンサが、表示デバイス上の画像を検出することができるように、ユーザに、ポータブルデバイスを位置決めするようにプロンプトするための手段と、表示デバイスに、画像を表示するように命令するための手段であって、ゲームコンソールが、表示デバイスに、画像を表示するように命令する、命令するための手段と、ゲームコンソールを使用して、ポータブルデバイスの動きを検出するための手段と、異なる新しい位置が候補表示デバイスを通過する軸に沿っていると判断された場合、ユーザに、ポータブルデバイスを異なる新しい位置まで移動させるように命令するための手段と、ポータブルデバイス上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断するための手段と、ポータブルデバイス上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第２の配向を判断するための手段とを含み、ポータブルデバイスの第１の位置および第１の配向を推定するための手段が、ポーズ推定アルゴリズムを使用し、ポータブルデバイスの第２の位置および第２の配向を推定するための手段が、ポーズ推定アルゴリズムを使用し、ポータブルデバイスが、ゲームパッド、ジョイスティック、汎用遠隔制御装置、リモートコントローラ、カメラを装備した携帯電話、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）リモート、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））を含み、ゲームコンソールが、ビデオゲームコンソールであり、表示デバイスが、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザテレビ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちの少なくとも１つを含み、ゲームコンソールのセンサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備え、ポータブルデバイスのセンサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、モーション・センサ、のうちの少なくとも１つまたはそれらの任意の組合せを備える。

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、例示的な実施形態の説明とともに、実施形態の１つまたは複数の例を示し、実施形態の原理および実装を説明するものである。

ビデオゲームをプレイすることができるゲームシステムの概略図である。表示デバイスに対するポータブルデバイスの位置について、第１の推定を行うゲームシステムの概略図である。表示デバイスに対するポータブルデバイスの位置について、第２の推定を行うゲームシステムの概略図である。ゲームシステムにおいて表示デバイスの位置に関してポータブルデバイスの場所を特定するためのフローチャートである。ポータブルデバイスの第２の位置および第２の配向を判断するために、ポータブルデバイス上のセンサを使用して、ゲームシステムにおいて表示デバイスの位置に関してポータブルデバイスの場所を特定するためのフローチャートである。

本明細書では、例示的な実施形態について、コンピュータ、サーバおよびソフトウェアのシステムの文脈において説明する。当業者には、以下の記載は例示的なものにすぎず、いかなる方法でも限定することを意図するものではないことが認識されよう。他の実施形態は、本開示の恩恵を受ける当業者に、それらの実施形態自体を容易に提案するであろう。以下に、添付の図面に図示されるような例示的な実施形態の実装を詳細に参照する。同一の要素または同様の要素を指すために、図面および以下の説明全体にわたって、可能な限り同一の参照符号を使用する。

明瞭にするために、本明細書に記載される実装形態の規定の特徴のすべてが図示され、説明されるわけではない。もちろん、任意のそのような実装形態の開発においては、適用例に関連する制約および事業に関連する制約との適合のような開発者固有の目的を達成するために、数多くの実装形態に固有の決断を行わなければならず、これらの固有の目的は、実装形態によって、ならびに開発者によって変動し得ることが理解されよう。さらに、そのような開発に関する取り組みは、複雑であり、時間がかかるものであり得るが、それにもかかわらず、本開示の恩恵を受ける当業者にとって、エンジニアリングの日常の業務であることが理解されよう。

ビデオゲームおよびビデオゲームコンソールは、しばしば、表示デバイスの位置に対する、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）３または他のセンサデバイス（たとえば、Ｗｉｉ（商標）センサ・バー）などの中のカメラの位置を判断するための構成ステップを必要とする。これは、プレイヤーに依頼することによって達成されるので、キャリブレーションは、「センサはテレビの上の方にありますか、下の方にありますか？」と問い合わせるゲームコンソールに限定されることが多い。代替的には、物理的ポインタ、たとえば、ガンコンまたはＷｉｉ（商標）リモートを含む環境の場合、キャリブレーション段階は、スクリーンの重要な場所を指し示すようにゲーマーに命令することを含み、残りのゲーム経験は、このキャリブレーションの精度に全体的に基づくことになる。しかしながら、センサが単に表示デバイスの上方または下方に位置しているという限定された判断、あるいはユーザの照準の不正確さにより、ゲームシステムのキャリブレーションが乏しくなることがある。

本発明のゲームシステムは、非常に簡単な「上方または下方」キャリブレーション選択を取り除くことによって、および本システムの正確なキャリブレーションに精密な照準を必要としないことによって、ビデオゲームをプレイしている間の精度をより高くすることを可能にする。本発明のゲームシステムは、表示デバイスに対するセンサの位置および配向を精密に判断すること、ならびに表示デバイスのサイズを判断することによって、これを達成する。

本発明のゲームシステムは、オブジェクト上の目に見えるフィーチャおよび／またはマーカーのセットによって、そのオブジェクトの位置を判断することができるコンピュータビジョン技法を利用する。また、カメラならびに相当にパワフルな計算能力を有する新しいポータブルデバイスを利用する。

図１を見ると分かるように、本発明のゲームシステム１００は、センサ１０４を有するゲームコンソール１０２を含み、それにより、ゲームコンソール１０２は、三空間において、ポータブルデバイス１０６のようなオブジェクトの位置および配向を追跡することができるようになる。ポータブルデバイス１０６は、その上に、ゲームコンソール１０２のセンサ１０４によって追跡するための少なくとも１つのマーカー（図示せず）を有することができる。それに加えて、ポータブルデバイス１０６は、ゲームコンソール１０２のセンサ１０４がポータブルデバイス１０６のマーカーを追跡している間、テレビジョンのような表示デバイス１１０を見ることができるカメラ１０８を含むことができる。マーカーが、ポータブルデバイス１０６の背面中／上に置かれている場合、ポータブルデバイス１０６上のカメラ１０８も、後ろを向いていなければならない。しかしながら、ポータブルデバイス１０６が前を向いているカメラ１０８を有している場合、実際には、目に見えるマーカーを、ゲームコンソール１０２によって追跡すべきポータブルデバイス１０６のスクリーン上に表示することができる。

さらに図１に示すように、本発明のゲームシステム１００は、表示デバイス１１０に対するゲームコンソールのセンサ１０４の距離（ｄ_{ｓｅｎｓｏｒ}）および配向（φ_{ｓｅｎｓｏｒ}）、ならびに表示デバイス１１０のサイズ（ｓｉｚｅ_{ｄｉｓｐｉａｙ}）を計算することができる。使用されているポータブルデバイス１０６のタイプおよびサイズは、ゲームコンソール１０２に最初から分かっているので、ゲームコンソール１０２は、ゲームコンソール１０２に関するポータブルデバイス１０６の正確な位置および配向を判断することができる。

ゲームシステム１００は、ポータブルデバイス１０６のタイプおよびサイズを最初に認識し、様々な手段によってそのこと行うことができる。１つの例として、ゲームシステム１００がオンされた後、ゲームシステム１００は、ユーザに、どのタイプ、どのメーカー、および／またはどのモデルのポータブルデバイス１０６が使用されているかを特定するようにプロンプトすることができる。ユーザは、ユーザが選択することができる様々なポータブルデバイスの分類を含むデータベースにアクセスすることによって、ポータブルデバイスのタイプ、メーカーおよび／またはモデルを特定することができる。ユーザが、適切なポータブルデバイス１０６を分類から選択すると、ゲームシステム１００は、選択されたポータブルデバイス１０６に関連する具体的なパラメータを判断し、および／または取り出すことができる。ポータブルデバイス１０６のパラメータは、ポータブルデバイスのディスプレイ（たとえば、ディスプレイスクリーン）のサイズ、ポータブルデバイスのディスプレイに対するカメラの中心の位置、ならびにカメラおよびカメラのレンズの特性のような情報を含むことができる。ポータブルデバイスの分類を含むデータベースは、ゲームコンソール１０２のメモリに記憶しても、あるいはサーバに記憶し、インターネットのようなネットワークを介してアクセスしてもよい。代替的には、ゲームコンソール１０２は、使用されるポータブルデバイス１０６のタイプ、メーカーおよび／またはモデルを自動的に認識することができる。また、ゲームコンソール１０２によるポータブルデバイス１０６の検出は、その特定のポータブルデバイス１０６の、サイズのような具体的なパラメータを自動的に検出することを含むことができる。

ポータブルデバイス１０６のサイズは最初から分かっているで、ゲームコンソールのセンサ１０４に対するポータブルデバイス１０６の距離（ｄ_{ｐｏｒｔａｂｌｅ}）および配向（φ_{ｐｏｒｔａｂｌｅ}）も最初から分かっている。しかしながら、表示デバイス１１０のサイズ（ｓｉｚｅ_{ｄｉｓｐｌａｙ}）は分からないので、したがって、表示デバイス１１０に対するポータブルデバイス１０６の配向（φ_{ｄｉｓｐｌａｙ}）および距離（ｄ_{ｄｉｓｐｌａｙ}）は、不明瞭なままである。

ポータブルデバイス１０６のカメラ１０８は、ビデオゲームを実際にプレイする前に、表示デバイス１１０上に表示される位置決め画像を見る、および／またはその場所を特定することができる。しかしながら、ポータブルデバイスのカメラ１０６の軌跡に基づくと、サイズが異なり、ポータブルデバイス１０６から様々な距離に位置決めされた候補表示デバイスが多数ある。

これは、ポータブルデバイス２０６が表示デバイスから遠くなると、表示デバイスはより小さく感じられるからである。したがって、最初は、表示デバイスに対するポータブルデバイス２０６からの距離と表示デバイスのサイズの両方が２つとも不明である。しかしながら、２つの異なる位置から表示デバイスを２回観察することによって、２つの不明な事項を求めることができる。

図２Ａおよび図２Ｂは、ポータブルデバイスに対する表示デバイスの距離、ならびに表示デバイスのサイズの判断に関する例示的な図を提供する。

最初、ゲームコンソールのセンサ２０４が、ポータブルデバイスの動きを検出するとき、表示デバイスのサイズと、表示デバイスからポータブルデバイス２０６までの距離の両方について曖昧である。たとえば、候補表示デバイス２０２ａは、図２Ａを見ると分かるように、相対的にサイズが大きく、相対的にポータブルデバイス２０６から遠い距離にある。反対に、候補表示デバイス２０２ｃは、相対的にサイズが小さく、相対的にポータブルデバイスに近い。一方、候補表示デバイス２０２ｂは、候補表示デバイス２０２ａおよび２０２ｃと比較して、相対的にサイズが中間であり、相対的にポータブルデバイス２０６から中間の距離にある。候補表示デバイスの各々は、ポータブルデバイス２０６のカメラ１０８によって見られている画像に対応し得る。これは、本質的には、透視投影に起因するものであり、すなわち、カメラには、候補表示デバイス２０２ｃと同様に近接した小さい表示デバイスは、候補表示デバイス２０２ａと同様に遠い距離に場所を特定された大きな表示デバイスと同じように見えることになる。

上記で説明したように、使用されているポータブルデバイス２０６のタイプは、ゲームシステムに分かっているので、ポータブルデバイス２０６のサイズも分かっている。したがって、ゲームコンソールのセンサ２０４が、ポータブルデバイス２０６の観察を１回行うと、ポータブルデバイス２０６からセンサ２０４までの実際の距離を判断することができる。透視投影計算をゲームコンソールのセンサ２０４、ポータブルデバイス２０６および表示デバイス２１０の配向に適用すると、以下の関係が得られる。
ｓｉｚｅ_{ｏｂｓｅｒｖｅｄ１}＝ｓｉｚｅ_{ｄｉｓｐｌａｙ}／ｄｉｓｔａｎｃｅ_{ｄｉｓｐｌａｙ１}

しかしながら、依然として、表示デバイス２０２ａ、２０２ｂ、２０２ｃのサイズも、表示デバイスからポータブルデバイス２０６までの距離も分からない。したがって、表示デバイスのサイズおよび配向に関する判断を行われ得る前に、少なくとも１回の追加の観察が必要である。

したがって、ゲームコンソールは、ユーザに、新しい位置（たとえば、ポイント２）まで、ならびに３つの候補表示デバイスの中心を通過する軸に沿っていない位置までポータブルデバイスを移動させるようにプロンプトし、それにより、新しい位置からの表示デバイスを新しい観察を行うことができる。図２Ｂを見ると分かるように、表示デバイスのサイズおよびポータブルデバイスからの距離の判断を可能にする値の２つのセットがあり、透視投影計算を再度適用して、新しい関係を得る。
ｓｉｚｅ_{ｏｂｓｅｒｖｅｄ２}＝ｓｉｚｅ_{ｄｉｓｐｌａｙ}／ｄｉｓｔａｎｃｅ_{ｄｉｓｐｌａｙ２}

図２Ｂを見ると分かるように、ポータブルデバイス２０６の新しい位置からの新しい数の候補表示デバイス２０２ｂ、２０２ｄおよび２０２ｅがある。ただし、候補表示デバイスのうち１つだけが、正しいデバイスであり得る。本例では、候補表示デバイス２０２ｂである。表示デバイスのサイズが一定（ｓｉｚｅ_{ｄｉｓｐｌａｙ}）のままなので、ポータブルデバイスの２つの位置からの２つの関係を、表示デバイスのうちの１つのサイズのみが、両方の観察を満たすという知識と組み合わせる。したがって、表示デバイスのサイズおよび配向を判断することができる。

図３に、オブジェクト上の目に見えるフィーチャおよび／またはマーカーのセットによって、オブジェクトの位置を判断することができる既存のコンピュータビジョン技法を利用するゲームシステムにおいて、表示デバイスに対するゲームコンソールのセンサの場所を特定するためのフローチャートを示す。図３の各ステップについて、以下にさらに詳細に説明する。

ステップ３０２を見ると分かるように、表示デバイス上の画像が、表示デバイス上の画像を検出することができるように、表示デバイス上の少なくとも１つのキューによって、ユーザに、ポータブルデバイスを位置決めするようにプロンプトする。少なくとも１つのキューは、記述による指示、音による指示、絵、パターン、および／または画像、のうちの少なくとも１つあるいはそれらの任意の組合せを含み、ユーザに、ポータブルデバイスを位置決めするように上述の様式でプロンプトすることができる。さらに、表示デバイスは、いくつか例を挙げると、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザテレビ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちのいずれか１つとすることができる。例として、ポータブルデバイスは、他のタイプのリモートコントローラのうち、ゲームシステムリモートコントロール、汎用リモートコントロール、ワイヤレスコントローラ、カメラを装備した携帯電話、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）リモート、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））のうちの少なくとも１つを含むことができる。

次に、ステップ３０４において、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の位置を判断する。次いで、ステップ３０６において、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の配向を判断する。ステップ３０８において、表示デバイス上に画像を表示し、ステップ３１０において、ポータブルデバイス上のカメラは、表示デバイス上の画像を検索する。

ゲームコンソール上のセンサは、任意のセンサを含むことができ、それにより、ゲームコンソールが、三空間において、オブジェクトの位置および配向を追跡することができるようになるが、より詳細には、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを含むことができる。ポータブルデバイスは、ゲームコンソールのセンサによって追跡することができるセンサ、マーカーまたはマーカーのセットを有することができる。同様に、ポータブルデバイス上のセンサは、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、モーション・センサ、のうちの少なくとも１つまたはそれらの任意の組合せを含むことができる。ゲームコンソール上のセンサが超音波エミッタである場合、ポータブルデバイス上のセンサは超音波検出器でなければならず、その逆も同様である。同じように、ゲームコンソール上のセンサが電磁エミッタである場合、ポータブルデバイス上のセンサは電磁コイルでなければならず、その逆も同様である。

ポータブルデバイスが、マーカーまたはマーカーのセット、ならびに、表示デバイスを同時に見ることができるカメラを含む場合、マーカーをデバイスの背面に配置しなければならず、デバイス上のカメラも後ろを向いていなければならない。反対に、ポータブルデバイスが、前を向いたカメラを有する場合、ゲームコンソールによって追跡すべきポータブルデバイスのスクリーン上に、少なくとも１つのマーカーを表示することができる。

ステップ３１２において、ポータブルデバイス上のセンサが表示デバイス上の画像を発見した後、ポータブルデバイスに対する表示デバイスの第１の位置および第１の配向を推定する。推定するステップは、既知のポーズ推定アルゴリズムを使用して達成することができる。ステップ３１２の後、ステップ３１４において、表示デバイスに対するゲームコンソールの第１の位置および第１の配向の推定をゲームコンソールに送信する。次に、ステップ３１６において、ユーザに、ポータブルデバイスを第２の位置まで移動させるようにプロンプトする。次いで、ステップ３１８において、ゲームコンソールを使用して、ポータブルデバイスに対するゲームコンソールの第２の位置を判断し、ステップ３２０において、ゲームコンソールに対するポータブルデバイスの第２の配向を判断する。

ステップ３２２において、ポータブルデバイスの第２の位置から、ポータブルデバイスのセンサによって、表示デバイス上に表示された画像を検索する。次いで、ステップ３２４において、ポータブルデバイスのセンサが表示デバイス上の画像を発見した後に、たとえば、上述のポーズ推定アルゴリズムを再び使用して、ポータブルデバイスの第２の位置および第２の配向を推定する。ステップ３２６において、次いで、第２の位置および第２の配向の推定をゲームコンソールに送信する。

ステップ３２８において、第２の位置が、候補表示デバイスの中心を通過する軸に沿って場所を特定される場合、ポータブルデバイスを異なる位置まで移動させるようにユーザに指示する。ステップ３３０において、ゲームコンソールに送信された第１の推定および第２の推定を使用して、表示デバイスのサイズを判断する。次いで、ステップ３３２において、第１の推定および第２の推定を使用して、表示デバイスの配向を判断する。３３４において、センサに対する表示デバイスの距離および配向を判断する。

図４に、オブジェクト上の目に見えるフィーチャおよび／またはマーカーのセットによって、オブジェクトの位置を判断することができる既存のコンピュータビジョン技法を利用するゲームシステムにおいて、表示デバイスに関してゲームコンソールのセンサの場所を特定するためのフローチャートを示す。ここで、ポータブルデバイスのセンサは、たとえば、モーション・センサである。この方法を使用して、ゲームコンソール上のセンサは、ポータブルデバイスを１度だけ観察することが必要である。その後、ポータブルデバイスの第２の位置および第２の配向を計算するために、ポータブルデバイスの初めの位置および配向を、モーション・センサによって検出された変化と統合することができる。次に、図４の各ステップについてさらに詳細に説明する。

ステップ４０２を見ると分かるように、表示デバイス上の画像が、表示デバイス上の画像を検出することができるように、表示デバイス上の少なくとも１つのキューによって、ユーザに、ポータブルデバイスを位置決めするようにプロンプトする。少なくとも１つのキューは、記述による指示、音による指示、絵、パターン、および／または画像、のうちの少なくとも１つあるいはそれらの任意の組合せを含み、ユーザに、ポータブルデバイスを位置決めするように上述の様式でプロンプトすることができる。さらに、表示デバイスは、いくつか例を挙げると、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザテレビ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちのいずれか１つとすることができる。例として、ポータブルデバイスは、他のタイプのリモートコントローラのうち、ゲームシステムのリモートコントロール、汎用リモートコントロール、ワイヤレスコントローラ、カメラを装備した携帯電話、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）リモート、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））のうちの少なくとも１つを含むことができる。

次に、ステップ４０４において、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の位置を判断する。次いで、ステップ４０６において、ゲームコンソール上のセンサを使用して、ポータブルデバイスに対するゲームコンソールの第１の配向を判断する。ステップ４０８において、表示デバイス上に画像を表示し、ステップ４１０において、ポータブルデバイス上のカメラは、表示デバイス上の画像を検索する。ゲームコンソール上のセンサは、任意のセンサを含むことができ、それにより、ゲームコンソールが、三空間において、オブジェクトの位置および配向を追跡できるようにするが、より詳細には、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを含むことができる。ポータブルデバイスは、ゲームコンソールのセンサによって追跡することができるセンサ、マーカーまたはマーカーのセットを有することができる。同様に、ポータブルデバイス上のセンサは、モーション・センサのような、その位置を追跡することができるセンサを含むことができるが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを含むこともできる。ゲームコンソール上のセンサが超音波エミッタである場合、ポータブルデバイス上のセンサは超音波検出器でなければならず、その逆も同様である。同様に、ゲームコンソール上のセンサが電磁エミッタである場合、ポータブルデバイス上のセンサは電磁コイルでなければならず、その逆も同様である。

ポータブルデバイスが、マーカーまたはマーカーのセット、ならびに、表示デバイスを同時に閲覧することができるカメラを含む場合、マーカーをデバイスの背面に配置しなければならず、デバイス上のカメラも後ろを向いていなければならない。反対に、ポータブルデバイスが、前を向いたカメラを有する場合、ゲームコンソールによって追跡すべきポータブルデバイスのスクリーン上に、少なくとも１つのマーカーを表示することができる。

ステップ４１２において、ポータブルデバイス上のセンサが表示デバイス上の画像を発見した後、ポータブルデバイスに対する表示デバイスの第１の位置および第１の配向を推定する。推定するステップは、既知のポーズ推定アルゴリズムを使用して達成することができる。ステップ４１２の後、ステップ４１４において、表示デバイスに対するゲームコンソールの第１の位置および第１の配向の推定をゲームコンソールに送信する。次に、ステップ４１６において、ユーザに、ポータブルデバイスを第２の位置まで移動させるようにプロンプトする。次いで、ステップ４１８において、ポータブルデバイス上のセンサを使用して、ゲームコンソールに対するポータブルデバイスの第２の位置を判断し、ステップ４２０において、ポータブルデバイス上のセンサを使用して、ゲームコンソールに対するポータブルデバイスの第２の配向を判断する。

ステップ４２２において、ポータブルデバイスの第２の位置から、ポータブルデバイスのセンサによって、表示デバイス上に表示された画像を検索する。次いで、ステップ４２４において、ポータブルデバイスのセンサが表示デバイス上の画像を発見した後に、たとえば、上述のポーズ推定アルゴリズムを再び使用して、ポータブルデバイスの第２の位置および第２の配向を推定する。ステップ４２６において、次いで、第２の位置および第２の配向の推定をゲームコンソールに送信する。

ステップ４２８において、第２の位置が、候補表示デバイスの中心を通過する軸に沿って場所を特定された場合、ポータブルデバイスを異なる位置まで移動させるようにユーザに指示する。ステップ４３０において、ゲームコンソールに送信された第１の推定および第２の推定を使用して、表示デバイスのサイズを判断する。次いで、ステップ４３２において、第１の推定および第２の推定を使用して、表示デバイスの配向を判断する。４３４において、センサに対する表示デバイスの距離および配向を判断する。

本開示によれば、本明細書に記載された構成要素、プロセスステップ、および／またはデータ構造は、様々なタイプのオペレーティングシステム、コンピューティングプラットフォーム、コンピュータプログラム、および／または汎用機械を使用して実装することができる。さらに、当業者には、本明細書で開示される発明の概念の範囲および趣旨から逸脱することなく、ハードワイヤードデバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などのような汎用性の低い性質のデバイスも使用することができることが認識されよう。一連のプロセスステップを含む方法は、コンピュータまたは機械によって実装され、機械によって読むことができる一連の命令としてそれらのプロセスステップを記憶することができる場合、コンピュータメモリデバイス（たとえば、ＲＯＭ（リードオンリーメモリ）、ＰＲＯＭ（プログラム可能なリードオンリーメモリ）、ＥＥＰＲＯＭ（電気的に消去可能なプルラム可能なリードオンリーメモリ）、フラッシュメモリ、ジャンプドライブ、など）、磁気記憶媒体（たとえば、テープ、磁気ディスクドライブなど）、光学的記憶媒体（たとえば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ペーパーカード、ペーパーテープなど）、および他のタイプのプログラムメモリのような有形媒体上にそれらのプロセスステップを記憶することができる。

複数の実施形態および適用例を図示し、説明してきたが、本開示の恩恵を受ける当業者には、本明細書に開示される発明の概念から逸脱することなく上述されたものよりも多くの修正形態が可能であることが明らかになろう。したがって、本発明は、添付の特許請求の範囲の趣旨以外によって限定されるべきではない。

１００・・・ゲームシステム
１０２・・・ゲームコンソール
１０４・・・センサ
１０６・・・ポータブルデバイス
１０８・・・カメラ
１１０・・・表示デバイス
２０２ａ・・・候補表示デバイス
２０２ｂ・・・候補表示デバイス
２０２ｃ・・・候補表示デバイス
２０４・・・センサ
２０６・・・ポータブルデバイス
２１０・・・表示デバイス

Claims

ゲームシステムにおいて表示デバイスの位置に対するゲームコンソール上のセンサの場所を特定するための方法であって、
前記表示デバイス上に画像を表示するステップと、
前記ゲームコンソールに対しての位置と配向とが予め分かっているポータブルデバイスが前記表示デバイス上の前記画像を発見すると、前記ポータブルデバイスに対する前記表示デバイスの第１の位置および第１の配向を推定するステップと、
ユーザに、前記ポータブルデバイスを新しい位置まで移動させるように命令するステップと、
前記ポータブルデバイスが前記表示デバイス上の前記画像を発見すると、前記ポータブルデバイスに対する前記表示デバイスの第２の位置および第２の配向を推定するステップと、
前記第１の位置および前記第１の配向の前記推定、ならびに前記第２の位置および前記第２の配向の前記推定中に集められた情報を使用して、前記表示デバイスのサイズを判断するステップと、
前記第１の位置および前記第１の配向の前記推定、ならびに前記第２の位置および前記第２の配向の前記推定中に集められた情報を使用して、前記ゲームコンソールの前記センサに対する前記表示デバイスの前記配向を判断するステップとを含む、方法。
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記画像を検索するように命令するステップと、
前記ポータブルデバイス上のカメラを使用して、前記表示デバイス上の前記画像を検索するステップと、
前記表示デバイス上のパターンについて、前記ポータブルデバイスの前記カメラ上の前記画像を検索するステップと、
前記ポータブルデバイスの検索結果を、前記ゲームコンソールに送信するステップであって、前記ポータブルデバイスが、前記検索結果を前記ゲームコンソールにワイヤレスで送信するステップと
をさらに含む、請求項１に記載の方法。
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の位置を判断するステップと、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の配向を判断するステップと、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の位置を判断するステップと、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の配向を判断するステップと、
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記第２の位置から前記表示デバイス上の前記画像を検索するように命令するステップと、
前記ポータブルデバイス上のカメラを使用して、前記ポータブルデバイスの前記第２の位置から前記表示デバイス上の前記画像を検索するステップと、
前記表示デバイス上のパターンについて、前記ポータブルデバイス上の前記センサの前記画像を検索するステップと、
前記ポータブルデバイスの新しい検索結果を前記ゲームコンソールに送信するステップであって、前記ポータブルデバイスが、前記新しい検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するステップと
をさらに含む、請求項１に記載の方法。
前記ポータブルデバイスのセンサが、前記表示デバイス上の前記画像を検出することができるように、前記ユーザに、前記ポータブルデバイスを位置決めするようにプロンプトするステップ
をさらに含む、請求項１に記載の方法。
前記ゲームコンソールが、前記表示デバイスに、前記画像を表示するように命令することで、前記表示デバイスに、前記画像を表示するように命令するステップ
をさらに含む、請求項１に記載の方法。
前記ゲームコンソールを使用して、前記ポータブルデバイスの動きを検出するステップ
をさらに含む、請求項１に記載の方法。
前記ポータブルデバイスの前記第１の位置および前記第１の配向を推定する前記ステップが、ポーズ推定アルゴリズムを使用して達成される、請求項１に記載の方法。
前記ポータブルデバイスの前記第２の位置および前記第２の配向を推定する前記ステップが、ポーズ推定アルゴリズムを使用して達成される、請求項１に記載の方法。
前記ポータブルデバイスが、ゲームパッド、ジョイスティック、汎用遠隔制御装置、リモートコントローラ、カメラを装備した携帯電話、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））を含む、請求項１に記載の方法。
前記ゲームコンソールが、ビデオゲームコンソールである、請求項１に記載の方法。
前記表示デバイスが、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザテレビ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちの少なくとも１つを含む、請求項１に記載の方法。
前記ゲームコンソールの前記センサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える、請求項１に記載の方法。
前記ポータブルデバイスの前記センサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える、請求項１に記載の方法。
異なる新しい位置が候補表示デバイスを通過する軸に沿っていると判断された場合、前記ユーザに、前記ポータブルデバイスを前記異なる新しい位置まで移動させるように命令するステップ
をさらに含む、請求項１に記載の方法。
ゲームシステムにおいて表示デバイスの位置に対するゲームコンソール上のセンサの場所を特定するためのシステムであって、
前記表示デバイス上に画像を表示するための手段と、
前記ゲームコンソールに対しての位置と配向とが予め分かっているポータブルデバイスが前記表示デバイス上の前記画像を発見すると、前記ポータブルデバイスに対する前記表示デバイスの第１の位置および第１の配向を推定するための手段と、
ユーザに、前記ポータブルデバイスを新しい位置まで移動させるように命令するための手段と、
前記ポータブルデバイスが前記表示デバイス上の前記画像を発見すると、前記ポータブルデバイスに対する前記表示デバイスの第２の位置および第２の配向を推定するための手段と、
前記第１の位置および前記第１の配向の前記推定、ならびに前記第２の位置および前記第２の配向の前記推定中に集められた情報を使用して、前記表示デバイスのサイズを判断するための手段と、
前記第１の位置および前記第１の配向の前記推定、ならびに前記第２の位置および前記第２の配向の前記推定中に集められた情報を使用して、前記ゲームコンソールの前記センサに対する前記表示デバイスの前記配向を判断するための手段と
を備える、システム。
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記画像を検索するように命令するための手段と、
前記ポータブルデバイス上のカメラを使用して、前記表示デバイス上の前記画像を検索するための手段と、
前記表示デバイス上のパターンについて、前記ポータブルデバイスの前記カメラ上の前記画像を検索するための手段と、
前記ポータブルデバイスの検索結果を、前記ゲームコンソールに送信するための手段であって、前記ポータブルデバイスが、前記検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するための手段と
をさらに備える、請求項１５に記載のシステム。
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに関して前記ゲームコンソールの第１の位置を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の配向を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の位置を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の配向を判断するための手段と、
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記第２の位置から前記表示デバイス上の前記画像を検索するように命令するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスの前記第２の位置から前記表示デバイス上の前記画像を検索するための手段と、
前記表示デバイス上のパターンについて、前記ポータブルデバイス上の前記センサの前記画像を検索するための手段と、
前記ポータブルデバイスの新しい検索結果を前記ゲームコンソールに送信するための手段であって、前記ポータブルデバイスが、前記新しい検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するための手段と
をさらに備える、請求項１５に記載のシステム。
前記ポータブルデバイスの前記センサが、前記表示デバイス上の前記画像を検出することができるように、前記ユーザに、前記ポータブルデバイスを位置決めするようにプロンプトするための手段
をさらに含む、請求項１５に記載のシステム。
前記ゲームコンソールが、前記表示デバイスに、前記画像を表示するように命令することで、前記表示デバイスに、前記画像を表示するように命令するための手段
をさらに備える、請求項１５に記載のシステム。
前記ゲームコンソールを使用して、前記ポータブルデバイスの動きを検出するための手段
をさらに含む、請求項１５に記載のシステム。
前記ポータブルデバイスの前記第１の位置および前記第１の配向を推定するための前記手段が、ポーズ推定アルゴリズムを使用する、請求項１５に記載のシステム。
前記ポータブルデバイスの前記第２の位置および前記第２の配向を推定するための前記手段が、ポーズ推定アルゴリズムを使用する、請求項１５に記載のシステム。
前記ポータブルデバイスが、ゲームパッド、ジョイスティック、汎用遠隔制御装置、リモートコントローラ、カメラを装備した携帯電話、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））を含む、請求項１５に記載のシステム。
前記ゲームコンソールが、ビデオゲームコンソールである、請求項１５に記載のシステム。
前記表示デバイスが、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザテレビ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちの少なくとも１つを含む、請求項１５に記載のシステム。
前記ゲームコンソールの前記センサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える、請求項１５に記載のシステム。
前記ポータブルデバイスの前記センサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える、請求項１５に記載のシステム。
異なる新しい位置が候補表示デバイスを通過する軸に沿っていると判断された場合、前記ユーザに、前記ポータブルデバイスを前記異なる新しい位置まで移動させるように命令するための手段
をさらに含む、請求項１５に記載のシステム。
ゲームシステム内において表示デバイスの位置に対するゲームコンソール上のセンサの場所を特定するために、前記ゲームシステム中で使用するための手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記手段は、
前記表示デバイス上に画像を表示するための手段と、
前記ゲームコンソールに対しての位置と配向とが予め分かっているポータブルデバイスが前記表示デバイス上の前記画像を発見すると、前記ポータブルデバイスに対する前記表示デバイスの第１の位置および第１の配向を推定するための手段と、
ユーザに、前記ポータブルデバイスを新しい位置まで移動させるように命令するための手段と、
前記ポータブルデバイスが前記表示デバイス上の前記画像を発見すると、前記ポータブルデバイスに対する前記表示デバイスの第２の位置および第２の配向を推定するための手段と、
前記第１の位置および前記第１の配向の前記推定、ならびに前記第２の位置および前記第２の配向の前記推定中に集められた情報を使用して、前記表示デバイスのサイズを判断するための手段と、
前記第１の位置および前記第１の配向の前記推定、ならびに前記第２の位置および前記第２の配向の前記推定中に集められた情報を使用して、前記ゲームコンソールの前記センサに対する前記表示デバイスの前記配向を判断するための手段と
を備える、コンピュータ読み取り可能な記録媒体。
前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記画像を検索するように命令するための手段と、
前記ポータブルデバイス上のカメラを使用して、前記表示デバイス上の前記画像を検索するための手段と、
前記表示デバイス上のパターンについて、前記ポータブルデバイスの前記カメラ上の前記画像を検索するための手段と、
前記ポータブルデバイスの検索結果を、前記ゲームコンソールに送信するための手段であって、前記ポータブルデバイスが、前記検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するための手段と
をさらに備える、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに関して前記ゲームコンソールの第１の位置を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の配向を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の位置を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の配向を判断するための手段と、
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記第２の位置から前記表示デバイス上の前記画像を検索するように命令するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスの前記第２の位置から前記表示デバイス上の前記画像を検索するための手段と、
前記表示デバイス上のパターンについて、前記ポータブルデバイス上の前記センサの前記画像を検索するための手段と、
前記ポータブルデバイスの新しい検索結果を前記ゲームコンソールに送信するための手段であって、前記ポータブルデバイスが、前記新しい検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するための手段と
をさらに備える、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ポータブルデバイスのセンサが、前記表示デバイス上の前記画像を検出することができるように、前記ユーザに、前記ポータブルデバイスを位置決めするようにプロンプトするための手段
をさらに含む、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ゲームコンソールが、前記表示デバイスに、前記画像を表示するように命令することで、前記表示デバイスに、前記画像を表示するように命令するための手段
をさらに備える、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ゲームコンソールを使用して、前記ポータブルデバイスの動きを検出するための手段
をさらに含む、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ポータブルデバイスの前記第１の位置および前記第１の配向を推定するための前記手段が、ポーズ推定アルゴリズムを使用する、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ポータブルデバイスの前記第２の位置および前記第２の配向を推定するための前記手段が、ポーズ推定アルゴリズムを使用する、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ポータブルデバイスが、ゲームパッド、ジョイスティック、汎用遠隔制御装置、リモートコントローラ、カメラを装備した携帯電話、およびＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ポータブル（ＰＳＰ（商標））を含む、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ゲームコンソールが、ビデオゲームコンソールである、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記表示デバイスが、陰極線管、フラットパネルディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ナノ結晶ディスプレイ、レーザテレビ、およびエレクトロルミネセンス表示（ＥＬＤ）のうちの少なくとも１つを含む、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ゲームコンソールの前記センサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ポータブルデバイスの前記センサが、カメラ、超音波エミッタ、超音波検出器、電磁エミッタ、電磁コイル、発光ダイオード、のうちの少なくとも１つまたはそれらの任意の組合せを備える、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
異なる新しい位置が候補表示デバイスを通過する軸に沿っていると判断された場合、前記ユーザに、前記ポータブルデバイスを前記異なる新しい位置まで移動させるように命令するための手段
をさらに含む、請求項２９に記載のコンピュータ読み取り可能な記録媒体。
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の位置を判断するステップと、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の配向を判断するステップと、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の位置を判断するステップと、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の配向を判断するステップと、
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記第２の位置から前記表示デバイス上の前記画像を検索するように命令するステップと、
前記ポータブルデバイス上のカメラを使用して、前記ポータブルデバイスの前記第２の位置から前記表示デバイス上の前記画像を検索するステップと、
前記表示デバイス上のパターンについて、前記ポータブルデバイス上の前記センサの前記画像を検索するステップと、
前記ポータブルデバイスの新しい検索結果を前記ゲームコンソールに送信するステップであって、前記ポータブルデバイスが、前記新しい検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するステップと
をさらに含む、請求項１に記載の方法。
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の位置を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の配向を判断するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の位置を判断するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の配向を判断するための手段と、
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記第２の位置から前記表示デバイス上の前記画像を検索するように命令するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスの前記第２の位置から前記表示デバイス上の前記画像を検索するための手段と、
前記表示デバイス上のパターンについて、前記ポータブルデバイス上の前記センサの前記画像を検索するための手段と、
前記ポータブルデバイスの新しい検索結果を前記ゲームコンソールに送信するための手段であって、前記ポータブルデバイスが、前記新しい検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するための手段と
をさらに備える、請求項１５に記載のシステム。
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の位置を判断するための手段と、
前記ゲームコンソール上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第１の配向を判断するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の位置を判断するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスに対する前記ゲームコンソールの第２の配向を判断するための手段と、
前記ゲームコンソールが、前記ポータブルデバイスに、前記画像を検索するように命令することで、前記ポータブルデバイスに、前記第２の位置から前記表示デバイス上の前記画像を検索するように命令するための手段と、
前記ポータブルデバイス上の前記センサを使用して、前記ポータブルデバイスの前記第２の位置から前記表示デバイス上の前記画像を検索するための手段と、
前記表示デバイス上のパターンについて、前記ポータブルデバイス上の前記センサの前記画像を検索するための手段と、
前記ポータブルデバイスの新しい検索結果を前記ゲームコンソールに送信するための手段であって、前記ポータブルデバイスが、前記新しい検索結果を前記ゲームコンソールにワイヤレスで送信する、送信するための手段と
をさらに備える、請求項２９に記載のコンピュータ読み取り可能な記録媒体。