JP5339900B2 - コンピューターインタラクティブ処理による選択的音源聴取 - Google Patents

Description

ビデオゲーム業界ではこの数年にわたって多くの変革が起きている。コンピュータの演算処理が向上するにつれて、ビデオゲームのディペロッパーも、これらの演算能力の向上を利したゲームソフトを同様に作成してきている。

この目的のために、ビデオゲームディペロッパーは、非常に現実的なゲーム体験が得られるように、洗練された動作および高度な数学を組み込んだゲームをコーディングしている。

例示的なゲームのプラットフォームとしては、ソニーのPlaystation（登録商標）またはPlaystation2(PS2：登録商標)が挙げられ、これらはいずれもゲーム機の形で売られる。良く知られているように、ゲーム機はモニター(通常はテレビ)に接続され、かつ携帯型のコントローラーを通じてユーザーとのインタラクティブ処理が可能になるよう設計されている。

ゲーム機は、CPU、集中的なグラフィックス処理を行うためのグラフィックスシンセサイザー、ジオメトリ変換を実行するためのベクトル演算ユニットおよびこれらをつなぐ他のハードウェア、ファームウェアおよびソフトウェアを含む、専用の処理ハードウェアで設計されてい。ゲーム機はさらに、ゲーム機によるローカルプレイ（スタンドアローンでのゲームプレイ）のためのゲームコンパクトディスクを受けるための光ディスクトレーを有するよう設計される。さらに、オンラインゲームも可能であり、この場合、ユーザーは、インターネット上の他のユーザーと対戦あるいは協力してインタラクティブにプレイを行うことができる。

ゲームが複雑であることでプレーヤーの好奇心がそそられることから、ゲーム及びハードウェアのメーカーは更なるインタラクティビティの向上が可能となるように革新を続けている。しかし、実際には、近年はユーザーとゲームとのインタラクティビティは劇的には変化していない。

以上のことから、ゲームとのより高度なユーザーインタラクティビティの達成を可能とする方法およびシステムが要求されている。

概して、本発明は、コンピュータープログラムとのインタラクティブ処理を容易にする装置および方法を提供することで、これらの要求を満たしている。一実施形態において、コンピュータープログラムはゲームプログラムであるが、これに限らず、本発明に係る装置および方法は、制御、入力あるいは通信を可能とするためのトリガーとして音入力を取り入れたいずれのコンピュータ環境に適用可能である。より詳細には、制御や入力の契機となるように音が用いられる場合、本発明の実施形態によれば特定の音源の入力のフィルタリングが可能となり、また、フィルタリングされた入力は、対象外の音源を削除あるいはフォーカスを外すように構成される。ビデオゲーム環境では、選択された音源に応じて、ビデオゲームは、対象の音源を処理した後に特定のレスポンスを返すことで応答を行うことができる。この際、対象外の他の音のひずみやノイズを伴うことはない。一般に、ゲーム環境は、音楽や他の人々、および、オブジェクトの移動といった多くのバックグラウンドノイズにさらされる。対象外の音が実質的にフィルタリングによって除去されると、コンピュータプログラムは対象の音によりよい応答を行うことができる。応答は、コマンド、アクションの起動、選択、ゲームステータスあるいはゲーム状態の変更、フィーチャのロック解除といった、任意の形式をとることができる。

一実施形態では、コンピュータプログラムとのインタラクティブ処理中にイメージ及び音をキャプチャするための装置が提供される。この装置は、１つ以上のイメージフレームをキャプチャーするように構成されたイメージキャプチャユニットを含む。さらに、サウンドキャプチャユニットが提供される。サウンドキャプチャユニットは、１つ以上の音源を識別するように構成される。サウンドキャプチャユニットは、フォーカスゾーンを決定するよう分析を行うことが可能なデータを生成することができ、フォーカスゾーンにおける音が処理されるとともにこのフォーカスゾーンの外部の音は実質的に排除される。このようにして、フォーカスゾーンからキャプチャされて処理された音はコンピュータプログラムとのインタラクティブ処理に用いられる。

別の実施形態では、コンピュータープログラムとのインタラクティブ処理中に選択的に音源聴取を行う方法が開示されている。該方法において、入力は、１つ以上の音源から２本以上の音源キャプチャマイクロホンで受け取られる。その後、該方法において、各音源からディレイパスを測定し、それぞれの１つ以上の音源の、それぞれの受信した入力方向が識別される。次に、該方法において、フォーカスゾーンの識別された方向にない音源をフィルタリングにより除去する。このフォーカスゾーンは、コンピュータプログラムとのインタラクティブ処理のための音源を供給するように構成される。

また別の実施形態では、ゲームシステムが提供される。このゲームシステムはイメージ−サウンドキャプチャデバイスを有し、このイメージ−サウンドキャプチャデバイスは、インタラクティブなコンピュータゲームの実行を可能とするコンピューティングシステムとのインターフェースとなるよう構成されている。イメージ−サウンドキャプチャデバイスは、フォーカスゾーンのビデオキャプチャが可能なように配置されたビデオキャプチャハードウェアを含む。１つ以上の音源からの音をキャプチャするためのマイクロフォンアレイが提供される。各音源は、イメージ−サウンドキャプチャデバイスに対する方向が識別されてその方向との関連付けが成されている。ビデオキャプチャーハードウェアに関連付けられたフォーカスゾーンは、フォーカスゾーンの近傍の方向にある音源のうちの一つを識別するために用いられるよう構成されている。

概して、インタラクティブサウンド識別及びトラッキングは、任意のコンピュータ装置の任意のコンピュータプログラムとインターフェースを行うために適用できる。音源が識別されると、音源のコンテンツはさらに、コンピュータプログラムによって描写されるフィーチャやオブジェクトをトリガリングする、運転する、方向付ける、あるいは制御するために処理可能である。

本発明の他の形態および利点は、一例として本発明の原理を示した添付の図面とともに、以下の詳細な説明から明らかとなるであろう。

本発明は、その更なる利点とともに、添付の図面とともに後述の詳細な記載を参照することによって最もよく理解される。

コンピュータプログラムとのインタラクティブツールとして音が用いられた場合における、特定音源の識別及び望ましくない音源のフィルタリング除去を促進するための方法及び装置に関する発明を開示する。

以下の記述では、本発明を理解するために、多数の具体的な詳細が述べられている。しかしながら、当業者であれば、本発明はこれらの具体的な詳細のうちのいくつかあるいはすべてを用いることなく実施することも可能であることは明らかであろう。換言すれば、本発明を不明瞭にしないように、周知のプロセスステップに関してはその詳細は記述されていない。

図１に、本発明の一実施形態に係る、一人あるいは複数のユーザーとのインタラクティブ処理のためにビデオゲームプログラムが実行されているゲーム環境１００を示す。図示されるように、プレーヤー１０２は、ディスプレイ１１０を備えたモニター１０８の前に示される。モニター１０８には、コンピューティングシステム１０４が接続されている。コンピューティングシステムは、標準的なコンピュータシステム、ゲーム機あるいはポータブルコンピュータシステムとしてよい。この例において、ゲーム機は、ソニー・コンピュータ・エンターテインメント社、マイクロソフトあるいは他のメーカーによって製造されたゲーム機としてよいが、ゲーム機のメーカには何ら制限はない。

コンピューティングシステム１０４はイメージ−サウンドキャプチャデバイス１−６に相互接続された状態で示される。イメージ−サウンドキャプチャデバイス１０６はサウンドキャプチャユニット１０６ａおよびイメージキャプチャユニット１０６ｂを含んでいる。図には、ディスプレイ１１０上のゲーム画面上のキャラクタ１１２とインタラクティブに通信した状態のプレーヤー１０２が示されている。実行されているビデオゲームは、プレーヤー１０２からの入力の少なくとも一部が、イメージキャプチャユニット１０６ｂ及びサウンドキャプチャユニット１０６ａを経由して提供される。図示されるように、プレーヤー１０２はディスプレイ１１０上のインタラクティブアイコン１１４を選択するようにプレーヤの手を移動させることができる。イメージキャプチャユニット１０６ｂによってキャプチャーが行われると、プレーヤー１０２'の半透明のイメージがディスプレイ１１０上に表示される。したがって、プレーヤー１０２は、アイコンの選択を行うため、あるいはゲーム画面１１２とのインターフェースを行うために、自分の手をどこに移動させるべきかを知ることができる。これらの動作や相互の動きをキャプチャーするための技術は種々変更できるが、例示的な技術としては、英国出願GB 0304024.3(PCT/GB2004/000693)およびGB 0304022.7(PCT/GB2004/000703)が挙げられる。これらはそれぞれ2003年2月21日に出願されており、参照として本願に包含される。

この例においては、インタラクティブアイコン１１４によって、プレイヤーは、ゲーム画面上のキャラクタ１１２に、その手にあるオブジェクトをスイングさせるよう、「スイング」を選択可能とすることができる。さらに、プレーヤー１０２は、音声コマンド入力することも可能であり、この音声コマンドは、サウンドキャプチャユニット１０６ａによってキャプチャーすることができ、その後、コンピューティングシステム１０４によって処理されることで、実行されているビデオゲームにインタラクティビティを与える。図示されるように、音源１１６ａは「ジャンプ!」という音声コマンドである。その後、音源１１６ａはサウンドキャプチャユニット１１６ａによってキャプチャーされ、その後にコンピューティングシステム１０４によって処理されてゲーム画面上のキャラクタ１１２をジャンプさせる。音声コマンドの識別を可能にするために音声認識を使用してもよい。他の形態では、プレーヤー１０２は、インターネット又はネットワークにより接続されているリモートユーザーと通信することもできる。このリモートユーザーは、リモートで接続されてるものの、直接あるいは部分的にゲームを通じてインタラクティブに通信できる。

本発明の一実施形態によれば、サウンドキャプチャユニット１０６ａは、少なくとも二つのマイクロホンを備えて、これによりコンピューティングシステム１０４が特定方向から聞こえる音を選択できるように構成される。コンピュータシステム１０４が、ゲームプレイにおいて重要ではない方向からの音をフィルタリングにより除去できるようにすることで、プレイヤー１０２から特定のコマンドが出されたときに、ゲーム環境１００において邪魔になる音によってゲームの実行が混乱されることが避けられる。例えば、ゲームプレーヤー１０２が足踏みをして、その足音を発生させる場合もある。この足音は、非言語音１１７である。そのような音がサウンドキャプチャユニット１０６ａによってキャプチャーされる場合もあるが、プレイヤー１０２の足下からの音は、ビデオゲームにおいて焦点となるゾーン（フォーカスゾーン）からの音ではないので、フィルタリング除去される。

以下に述べるように、フォーカスゾーンは、好適には、イメージキャプチャユニット１０６ｂのフォーカスポイントであるアクティブイメージエリアによって識別される。他の形態では、フォーカスゾーンは、初期化段階後にユーザーに提示される選択ゾーンから手動で選ばれるようにする。図１の例に戻ると、ゲームの観客１０３が、インタラクティブゲームプレイ中にコンピューティングシステムによる処理に邪魔な音源１１６ｂをだす場合もある。しかしながら、ゲームの観客１０３は、イメージキャプチャユニット１０６ｂのアクティブイメージエリアにいない。したがって、ゲームの観客１０３の方向からの音は、フィルタリングにより除去され、コンピューティングシステム１０４が音源１１６ｂからのコマンドを、音源１１６ａとしてプレーヤー１０２からの音源と誤って混同しないようになっている。

イメージ−サウンドキャプチャデバイス１０６は、イメージキャプチャユニット１０６ｂおよびサウンドキャプチャユニット１０６ａを含んでいる。イメージ−サウンドキャプチャデバイス１０６は、好適にはイメージフレームをデジタルでキャプチャーした後に、更なる処理用のコンピューティングシステム１０４にそれらのイメージフレームを転送可能である。イメージキャプチャユニット１０６ｂの一例はウェブ画像であり、このウェブ画像は、通常、ビデオ画像をキャプチャした後にインターネットのようなネットワーク上でその後に記録あるいは通信するコンピュータ装置へデジタル送信されることが望まれる場合に使用される。識別及びフィルタリングが可能となるようにイメージデータがデジタル処理可能である限り、アナログかデジタルかを問わず、他のタイプのイメージキャプチャデバイスもまた使用可能である。１つの好ましい実施形態では、入力データが受け取られた後、フィルタリングを可能にするディジタル加工がソフトウェアにより行われる。図には、一対のマイクロホン(MIC1とMIC2)を含むサウンドキャプチャユニット１０６ａが示される。マイクロホンは標準的なマイクロホンであり、イメージ−サウンドキャプチャデバイス１０６を構成するハウジングに一体化することもできる。

サウンドＡおよびサウンドＢからの音源１１６の処理時におけるサウンドキャプチャユニット１０６ａを図３Ａに示す。図示されるように、サウンドＡは可聴音を生し、音経路２０１ａおよび２０１ｂを通じて、MIC1およびMIC2により検出される。音経路２０２ａおよび２０２ｂを通じてのMIC1およびMIC2に向けてサウンドＢが出される。図示しているように、サウンドＡの各音経路はその長さが異なり、それにより、音経路２０２ａおよび２０２ｂと比較された時に相対的な遅れが生じる。サウンドＡおよびサウンドＢからのそれぞれの音は、その後、図３Ｂに示されるボックス２１６において方向の選択が行われるように、標準的な三角測量アルゴリズムにより処理される。MIC1とMIC2から聞こえる音は各々、バッファ１、２（２１０ａ、２１０ｂ）にそれぞれ一時的に格納された後、またディレイライン(２１２ａ、２１２ｂ)を通じて後段へと送られる。一実施形態において、バッファリング及びディレイプロセスは、ソフトウェアにより制御されるが、これらのオペレーションを行うためにハードウェアをカスタム設計してもよい。三角測量に基づいて、方向選択２１６をすることで、音源１１６のうちの１つが識別および選択される。

MIC1とMIC2のそれぞれからの音は、ボックス２１４で合計された後に、選択されたソースの出力として出力される。このようにして、音源がコンピュータシステム１０４による処理を阻害しないように、また、ネットワークあるいはインターネット上でインタラクティブにビデオゲームを行っている他のユーザとの通信を阻害することがないように、アクティブイメージエリアの方向以外の方向からの音はフィルタリングにより除去される。

図４は、本発明の一実施形態に係る、イメージ−サウンドキャプチャデバイス１０６と共に使用可能なコンピューティングシステム２５０を示す。コンピューティングシステム２５０はプロセッサ２５２及びメモリ２５６を含む。バス２５４はイメージ−サウンドキャプチャデバイス１０６とプロセッサおよびメモリ２５６とを相互連結させる。メモリ２５６は、少なくともインタラクティブプログラム２５８の一部を備え、さらに、選択的な音源聴取ロジックを備えるか、あるいは受信音源データを処理するためのコード２６０を備える。イメージキャプチャユニット１０６ｂでフォーカスゾーンがあると識別された場所に基づき、フォーカスゾーンの外側の音源は、実行されている(例えばプロセッサーによって実行され、少なくともその一部がメモリ２５６に格納されている)選択的音源聴取ロジック２６０によって選択的にフィルタリングされる。コンピューティングシステムは最も単純化した形式で示されているが、入力される音源の処理を達成するように命令処理が可能で、これにより選択的聴取が可能である限り、いずれのハードウェア構成とすることも可能である。

また、バス経由でディスプレイ１１０と相互連結されたコンピューティングシステム２５０も図示される。この例において、フォーカスゾーンは、音源Ｂにフォーカスを合わせているイメージキャプチャユニットによって識別される。音源Ａのような他の音源からの音は、その音がサウンドキャプチャユニット１０６ａによってキャプチャーされてコンピューティングシステム２５０に転送される際に、選択的音源聴取ロジック２６０によって実質的にフィルタリング除去される。

１つの特定の例においては、プレーヤーは他のユーザーと、インターネットあるいはネットワークを通じてのビデオゲームでの試合に参加することができ、この場合各ユーザは主にスピーカを通じてゲームの音を聴取している。これらのスピーカーは、コンピューティングシステムの一部、あるいはモニター１０８の一部となり得る。したがって、この場合はユーザ個々のスピーカーであるローカルスピーカーが、図４に示されるような音源Ａを生成していることになる。音源Ａ用のローカルスピーカーからの音をコンピュータユーザにフィードバックさせないようにするために、選択的音源聴取ロジック２６０は、試合を行っているユーザがユーザ自身の出す音や声がフィードバックされないように、音源Ａからの音をフィルタリング除去する。このようにフィルタリングを行うことで、ビデオゲームとのインターフェースを行いながら、ネットワークを通じてインタラクティブコミュニケーションを行うことができ、かつ、その処理の間の、障害となるフィードバックを避けることができるという利点が得られる。

図５は、イメージ−サウンドキャプチャデバイス１０６が少なくとも４本のマイクロホン(MIC1−MIC4)を備えた例を示す。従って、サウンドキャプチャユニット１０６ａは、音源１１６（ＡとＢ）の位置を識別する三角測量を、より高い精度で行うことができる。すなわち、補助マイクロホンを用いることで、音源の位置をより正確に判定することができ、これにより、対象外の音や、ゲームプレイやコンピュータシステムとのインタラクティビティを阻害するような音をフィルタリングにより除去することが可能となる。図５に示されるように、音源１１６（Ｂ）は、ビデオキャプチャーユニット１０６Ｂにより識別された、対象となる音源である。図５の例に続き、図６は、音源Ｂが空間体積においてどのように識別されるか識別する。

音源Ｂが位置する空間体積は、フォーカス２７４の体積を定義することになる。フォーカスされる体積を識別することで、特定の体積の範疇にない(即ち、単に方向を識別するだけではない）ノイズを消去あるいはフィルタリングにより除去することが可能となる。フォーカスされた体積２７４の選択を容易とするために、好ましくは、イメージ−サウンドキャプチャデバイス１０６は、少なくとも４つのマイクロホンを備える。マイクロホンのうち少なくとも１つは、他の３つのマイクロホンにより定義される平面とは異なる平面上に設けられる。イメージ−サウンドキャプチャデバイス１０６の４つのマイクのうち一つを平面２７１内に、その他のマイクを空間２７０内に維持することで、空間体積を決定することができる。

従って、近くにいる他の人（２７６ａ及び２７６ｂとして図示されている）からのノイズは、これらの他の人はフォーカスされた体積２７４として定義された空間体積内にはいないことから、フィルタリングにより除去される。さらに、スピーカ２７６ｃで示されるような、空間体積のちょうど外側で生成されるノイズも、このノイズが上記の空間体積の外側にあることから、フィルタリングにより除去される。

図７に、本発明の一実施形態に係るフローチャートを示す。この方法は、１つ以上の音源からの入力が２つ以上のサウンドキャプチャマイクで受信されるステップ３０２から開始される。一例において、２本以上のサウンドキャプチャマイクロホンは、イメージ−サウンドキャプチャデバイス１０６に一体化されている。他の形態では、２本以上のサウンドキャプチャマイクロホンは、イメージキャプチャユニット１０６ｂとのインターフェースとなる第２のモジュール/ハウジングの一部とすることもできる。他の形態では、サウンドキャプチャユニット１０６ａは、サウンドキャプチャマイクロホンの本数は何本でも良く、サウンドキャプチャマイクロフォンは、コンピュータシステムとインターフェースを行うユーザからの音をキャプチャーするように設定された特定の位置に配置することができる。

この方法は、動作３０４に進み、各音源のディレイパスが測定される。図３Ａにディレイパスの例として、音経路２０１、２０２が定義されている。周知のように、ディレイパスは、音源から、音をキャプチャーするよう配置された特定のマイクロホンまで、音波が移動するために要する時間を決定する。特定の音源１１６から音波が必要とするディレイに基づいて、マイクロフォンにより、音の発生している概略的な位置とディレイとを、標準的な三角測量アルゴリズムを用いて測定することができる。

その後、この方法は動作３０６に進み、１つ以上の音源から受信された入力のそれぞれに対してその方向が識別される。すなわち、音源１１６から生じている音の方向は、サウンドキャプチャユニット１０６ａを含めたイメージ−サウンドキャプチャデバイスの位置に関して相対的に識別される。識別された方向に基づいて、フォーカスゾーン(あるいはフォーカスされた体積)の識別された方向にはないとされた音源の音は、動作３０８でフィルタリングにより除去される。フォーカスゾーンの近傍の方向以外の方向からの音源の音をフィルタリングにより除去することで、動作３１０に示されるように、フィルタリングにより除去されなかった音源からの音を用いてコンピュータプログラムとインタラクティブ処理を行うことができる。

例えば、インタラクティブプログラムとしては、ユーザーが、ビデオゲームのフィーチャと、あるいはビデオゲームでこのユーザ自身と対戦しているプレイヤーと、インタラクティブに通信可能なビデオゲームが挙げられる。ユーザと対戦しているプレーヤーは、ユーザと同じ場所（ローカル）にいるか、あるいは、ユーザとは別の場所にいて、インターネット等のネットワークを通じてこのプレイヤー自身と通信しているプレイヤーである。さらに、ビデオゲームも、そのビデオゲームに関連する特定の大会において各プレイヤーのスキルを競い合うよう、グループ内の多数のユーザ間でインタラクティブにプレイできるものとすることができる。

図８は、動作３４０において受信された入力に対して行われているソフトウェアにより実行される動作とは別に、イメージ−サウンドキャプチャデバイスの動作３２０のフローチャートを示す。したがって、動作３０２で、２本以上のサウンドキャプチャ用のマイクロホンにおいて１つ以上の音源からの入力が受信されると、動作３０４に進み、ソフトウェアで、各音源に対してディレイパスが決定される。動作３０６においては、ディレイパスに基づき、上述の一つ以上の音源のそれぞれについて、各受信された入力の方向が識別される。

この時点において、動作３１２に進み、ビデオキャプチャーに近接する識別された方向が決定される。例えば、ビデオキャプチャーは、図１に示されるようなアクティブイメージエリアにそのターゲットが定められる。従って、このアクティブイメージエリア(あるいは体積)内が、ビデオキャプチャーの近傍となり、かつ、このアクティブイメージエリア内又はその近傍の音源に関する方向がいずれも決定される。この決定に基づいて、動作３１４に進み、ビデオキャプチャーの近傍にない方向(あるいは体積)がフィルタリングにより除去される。従って、プレイヤー自身のビデオゲームプレイを妨害するおそれのあるノイズや騒音等の外部からの入力は、ゲームプレイ中に実行されるソフトウェアによってフィルタリングにより除去される。

続いて、プレイヤー自身はビデオゲームをインタラクティブにプレイするか、そのビデオゲームを使用している他のユーザとインタラクティブにプレイするか、この同じビデオゲームがログインしているトランザクションに関連付けられたネットワーク又はこのビデオゲームのトランザクションに関連付けられたネットワークを通じて他のユーザとの通信が可能となっている。このようなビデオゲームコミュニケーションにおいては、インタラクティビティや制御が、特定のゲームやインタラクティブプログラムへの参加やインタラクティブなコミュニケーションを意図していない外部からのノイズや観客により阻害されることはなくなっている。

ここに記述された実施形態は、オンラインゲームアプリケーション等に適用される。すなわち、上述の実施形態は、ネットワーク、例えばインターネットを通じてビデオ信号を複数のユーザに送信するサーバーに適用することができ、騒がしい場所にいる遠隔地のプレイヤーとも互いに通信可能となる。ここに記述された実施形態は、ハードウェアあるいはソフトウェアのいずれにより実装することも可能である。すなわち、上述の機能に関する記述は、ノイズキャンセルスキームに関連した各モジュールにおける機能的タスクを実行するように構成されたマイクロチップを形成するために総合してもよい。

さらに、音源の選択的なフィルタリングは、電話のような他の用途に適用することができる。電話を使用する環境では、通常、主たる人物(つまりかける側)が、第三者(つまり電話を受ける人)と話し合うことを所望する。しかしながら、その電話中に、近辺にいる人が話をするか、あるいは雑音を出すこともあり得る。電話を、電話をかける側の人物に向ける（例えばその受話器の方向を、電話をかける人にあわせる）ことで、電話をかける人の口をフォーカスゾーンとすることができ、従って、電話をかける人の声のみを選択することが可能となる。従って、選択的聴取を行うことで、電話をかける人とは無関係の声やノイズをフィルタリングにより除去することが可能で、従って、電話を受ける人物は、電話をかける側の人物の声を一層クリアに聞くことができる。

他に追加する技術として、音を制御あるいは通信の入力とすることが利点となる電子機器を用いることが挙げられる。例えば、ユーザーは、音声コマンドによって、他の乗客により音声コマンドを阻害されることなく自動車のセッティングをコントロールすることができる。他の用途としては、ブラウザ、文書作成あるいは通信といったコンピュータ制御関係のものが挙げられる。このフィルタリングを可能にすることによって、周囲の音により妨害されることなく、より効率的にボイスあるいは音によるコマンドをだすことができる。このように、いずれの電子機器においてもこのように適用することができる。

さらに、本発明の実施形態は多くの用途に適用することが可能であり、請求の範囲は、これらの実施形態から利点が得られる用途がいずれも含まれるように読み取られるべきである。

例えば、本実施形態に類する用途として、サウンドアナライズを用いて、音源からの音をフィルタリングして除去することも可能である。サウンド分析が使用される場合、マイクロホンが一本以上使用される。一本のマイクロホンによってキャプチャーされた音は、ソフトウェア又はハードウェアによってデジタル分析され、対象の音か否かが判定される。例えばゲームのような、幾つかの環境においては、ユーザ自身が自分の声を録音して、特定の声を識別するよう学習させることもできる。このようにして、他の声や音を排除しやすくなっている。その結果、一つの音のトーンや周波数に基づいてフイルタリングすることが可能となることから、必ずしも方向を識別する必要はなくなる。

また、方向及び体積を考慮する場合において、音のフィルタリングに関する上述のすべての利点を用いることが可能である。

上記の実施形態を念頭において、本発明は、コンピュータシステムに格納されたデータを含めて、種々のコンピュータに実装された動作を採用することができることが理解されよう。これらの動作には、物理量の物理的な操作を要求する動作が含まれる。通常、必須ではないものの、これらの量は、記録、結合、比較及びその他の操作が可能である電気信号あるいは磁気信号の形態をとる。さらに、実行された操作は、生産、識別、測定あるいは比較として記載される。

上述された発明は、携帯端末、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラマブル家電、ミニコンピュータ、メインフレームコンピューターおよびこれらに類するものを含む、その他のコンピュータシステム構成により実施されてもよい。本発明は、通信ネットワークを通じてリンクされた遠隔処理デバイスによってタスクが実行される、分散コンピュータ環境にも適用することができる。

本発明は、コンピュータ可読媒体に記録されたコンピューター読取り可能なコードとして実施することもできる。コンピュータ可読媒体は、電磁波キャリアーを含む、データを記録するとともにその後にデータをコンピュータシステムによって読み出すことができるデータ記録デバイスのいずれとすることもできる。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続記憶装置(Network attached storage:NAS)、読み取り専用メモリ、ランダムアクセスメモリー、CD-ROM、CD-R、CD-RW、磁気テープおよび他の光学・非光学データストレージ装置が挙げられる。コンピュータ可読メディアは、コンピュータ可読コードが配布されるという形態で記録及び実行されるように、ネットワークにより接続されたコンピュータシステムを通じて配布することも可能である。

以上、本発明を明確な理解を助けるように詳細に記述したが、添付したクレームの範囲内である程度の変更および修正が可能であることは明らかであろう。従って、本実施形態は、例示的なものであって限定的なものではなく、本発明は、ここに開示した形態に限定されるものではなく、添付したクレームの範囲及び均等の範疇で変形が可能なものである。

本発明の一実施形態に係る、一人あるいは複数のユーザとのインタラクティビティのためにビデオゲームプログラムが実行されているゲーム環境を示した説明図。 本発明の一実施形態に係る、例示的イメージ−サウンドキャプチャデバイスの３Ｄ説明図。 本発明に係る、入力を受信するように設計された別々のマイクロフォンでの音経路の処理、および、選択された音源を出力するためのロジックを示した説明図。 本発明に係る、入力を受信するように設計された別々のマイクロフォンでの音経路の処理、および、選択された音源を出力するためのロジックを示した説明図。 本発明の一実施形態に係る、入力音源を処理するイメージ−サウンドキャプチャデバイスとインターフェースを行う例示的コンピューティングシステム。 本発明の一実施形態に係る、特定の音源の方向識別精度を高めるために使用される複数のマイクロフォンの例を示した説明図。 本発明の一実施形態に係る、異なる平面に設けられたマイクロフォンを使用して特定の空間体積で音が識別される例を示した説明図。 本発明の一実施形態に係る、音響の識別および、フォーカスしていない音響の排除で処理される例示的な方法動作の説明図。 本発明の一実施形態に係る、音響の識別および、フォーカスしていない音響の排除で処理される例示的な方法動作の説明図。

Claims (21)

1. コンピュータプログラムとのインタラクティブ処理中にイメージ及び音をキャプチャするための装置であって、１つ以上のイメージフレームをキャプチャするよう構成されたイメージキャプチャユニットと、１つ以上の音源を識別するように構成されたサウンドキャプチャユニットと、前記イメージキャプチャユニットと前記サウンドキャプチャユニットからのデータに基づき分析する分析手段と、を有し、
   前記イメージキャプチャユニットと前記サウンドキャプチャユニットはコンピューティングシステムに相互接続され、当該コンピューティングシステムはディスプレイに相互接続されており、
   前記分析手段が、フォーカスゾーンを決定することにより、前記フォーカスゾーンにおける音が処理されるとともにこのフォーカスゾーンの外部の音は実質的に排除され、フォーカスゾーンからキャプチャされて処理された音はコンピュータプログラムとのインタラクティブ処理に用いられ、
   前記サウンドキャプチャユニットにより前記１つ以上の音源から識別される方向は、前記ディスプレイに相互接続された前記イメージキャプチャユニットと前記サウンドキャプチャユニットの位置に関して相対的に識別され、
   更に、前記サウンドキャプチャユニットは、マイクロホンアレイを有し、このマイクロホンアレイは、前記１つ以上の音源から音を受けとるように構成され、前記１つ以上の音源からの音によって、その長さの違いによりディレイが発生する各マイクロホン毎の音経路を決定する、装置。
2. 請求項１記載の装置であって、
   前記音経路は、その長さの違いにより発生するディレイにより、前記イメージ及びサウンドをキャプチャするための装置に対する前記１つ以上の音源のそれぞれの方向の計算を可能とする、装置。
3. 請求項１記載の装置であって、
   イメージ及び音をキャプチャするための装置とのインターフェースとなるコンピュータシステムを有し、このコンピュータシステムは、メモリとプロセッサとを備え、前記メモリは選択的音源聴取コードとコンピュータプログラムの少なくとも一部とを記録するように構成され、前記選択的音源聴取コードは１つ以上の音源のうちどれが前記フォーカスゾーンとして識別されるかを決定するために使用される、装置。
4. 請求項１記載の装置であって、前記サウンドキャプチャユニットは、マイクロホンを少なくとも４本備え、そのうちの一本は、他のマイクロホンが形成する平面とは異なる平面にある、装置。
5. 請求項３記載の装置であって、前記コンピュータプログラムは、ゲームプログラムである、装置。
6. 請求項１記載の装置であって、前記コンピュータプログラムは、ゲームプログラムである、装置。
7. 請求項６記載の装置であって、前記イメージキャプチャユニットはカメラであり、前記サウンドキャプチャユニットは、二つ以上のマイクロホンを備えたアレイにより形成される、装置。
8. コンピュータで実行される、コンピュータプログラムのインタラクティブ処理中に選択的に音源聴取を行う方法であって、
   前記コンピュータが、
   サウンドキャプチャユニットの２本以上の音源キャプチャマイクロホンによって１つ以上の音源から入力を受け取り、
   各音源からディレイパスを測定し、
   １つ以上の音源のそれぞれから受信された入力方向を識別し、
   フォーカスゾーンの識別された方向内にない音源をフィルタリングにより除去することにより、コンピュータプログラムのインタラクティブ処理のための音源による音が供給され、
   前記フィルタリングは、イメージキャプチャユニットにより分析された後に処理された入力データを受けとれるように、前記イメージキャプチャユニットが、前記コンピュータプログラムに対するイメージ入力を受けとるためにその方向が定められて配置されており、
   前記イメージキャプチャユニットと前記サウンドキャプチャユニットは、前記コンピュータプログラムを実行する間にインタラクティブなゲームプレイを表示するモニターの位置にあるイメージ−サウンドキャプチャデバイスに含まれ、
   更に、前記サウンドキャプチャユニットは、マイクロホンアレイを有し、このマイクロホンアレイは、前記１つ以上の音源から音を受けとるように構成され、前記１つ以上の音源からの音によって、その長さの違いによりディレイが発生する各マイクロホン毎の音経路を決定する、方法。
9. 請求項８に記載の方法であって、
   前記コンピュータプログラムはゲームプログラムであり、このゲームプログラムはイメージデータとサウンドデータの双方からインタラクティブな入力を受けとり、前記イメージデータは、前記イメージキャプチャユニットから生成され、前記サウンドデータは、前記フォーカスゾーンの音源からの音である、方法。
10. 請求項８記載の方法であって、
    前記２本以上のサウンドキャプチャマイクロホンは、少なくとも４本のマイクロホンを含み、そのうちの少なくとも一本は、他のマイクロホンが形成する平面とは異なる平面に配置される、方法。
11. 請求項１０に記載の方法であって、
    前記１つ以上の音源から受けとられた各入力の方向の識別には三角測量処理が含まれ、この三角測量処理では、所定の位置に対する方向が決定され、前記所定の位置で、前記二つ以上の音源キャプチャマイクロホンで前記一つ以上の音源からの入力が受けとられる、方法。
12. 請求項１１記載の方法であって、
    前記２つ以上の音源キャプチャマイクロホンに関連付けられた１つ以上の音源から受けとった入力をバッファリングし、
    前記バッファリングされた入力のディレイ処理を行い、
    前記フィルタリングには、更に、音源のうち一つを選択することが含まれ、選択された音源の出力は、前記各音源キャプチャマイクロホンからの音を合計したものである、方法。
13. ゲームシステムであって、
    イメージ−サウンドキャプチャデバイスを有し、このイメージ−サウンドキャプチャデバイスは、インタラクティブなコンピュータゲームの実行を可能とするコンピュータシステムとのインターフェースとなるよう構成されており、
    前記イメージ−サウンドキャプチャデバイスは、ハウジングに一体化されており、前記ハウジングは、フォーカスゾーンのビデオキャプチャが可能なように配置されたビデオキャプチャハードウェアと、１つ以上の音源からの音をキャプチャするためのマイクロホンアレイと、を有し、各音源は、前記イメージ−サウンドキャプチャデバイスにより識別されており、
    前記ビデオキャプチャハードウェアに関連付けられた前記フォーカスゾーンは、前記フォーカスゾーンの近傍の方向にある音源のうちの一つを識別するために用いられるよう構成されており、
    前記イメージ−サウンドキャプチャデバイスは、マイクロホンアレイを有し、このマイクロホンアレイは、前記１つ以上の音源から音を受けとるように構成され、前記１つ以上の音源からの音によって、その長さの違いによりディレイが発生する各マイクロホン毎の音経路を決定する、ゲームシステム。
14. 請求項１３に記載のゲームシステムであって、ビデオデータを受け取り、これにより前記イメージ−サウンドキャプチャデバイスを通じてコンピュータゲームとのインタラクティブな処理が可能となっている、ゲームシステム。
15. 請求項１３に記載のゲームシステムであって、前記フォーカスゾーンの近傍にある前記音源は、前記コンピュータゲームとのインタラクティブ処理あるいは他のゲームユーザとの音声コミュニケーションに用いられる、ゲームシステム。
16. 請求項１５記載のゲームシステムであって、前記フォーカスゾーンの外部の音源からの音は、フィルタリングにより除去され、前記コンピュータゲームとインタラクティブ処理されない、ゲームシステム。
17. コンピュータプログラムとのインタラクティブ処理の間にサウンドをキャプチャする装置であって、
    １つ以上の音源からの音をキャプチャするためのサウンドキャプチャユニットと、
    イメージをキャプチャするためのイメージキャプチャユニットと、
    音を受けとって処理するためのプロセッサ及びメモリと、を有し、前記プロセッサは、フォーカスゾーンに関連づけられた音源のうちの一つを識別する命令を実行するように構成されており、この識別された音源からの音はコンピュータプログラムとのインタラクティブな入力として使用するように処理され、
    前記装置は、モニターの位置に配置され、前記モニターの方向に向かうイメージと音をキャプチャできるように前記モニターの位置から方向付けされており、
    更に、前記サウンドキャプチャユニットは、マイクロホンアレイを有し、このマイクロホンアレイは、前記１つ以上の音源から音を受けとるように構成され、前記１つ以上の音源からの音によって、その長さの違いによりディレイが発生する各マイクロホン毎の音経路を決定する、装置。
18. 請求項１７記載の装置であって、前記音源のうちの一つを識別する前記命令は、前記音源のそれぞれの方向を識別するために三角測量を使用する、装置。
19. 請求項１７記載の装置であって、前記音源のうちの一つを識別する前記命令は、前記音源のそれぞれを識別するために可聴周波数を使用する、装置。
20. 請求項１７記載の装置であって、前記インタラクティブな入力は、プログラムとの通信あるいは電話を通じた第３者との通信のうちの一方である、装置。
21. 請求項１７記載の装置であって、前記インタラクティブな入力により電子装置とのインターフェースとなる、装置。

Images