JP4469887B2 - 超音波カメラトラッキングシステム及びそれに関連する方法 - Google Patents

Description

本発明はカメラのトラッキングに関し、特にカメラトラッキング装置、カメラトラッキング方法等に関する。

［関連出願との相互参照］
この出願は、２００６年１０月１９日に出願された米国仮出願第６０／８６２，１３２号（発明の名称「超音波カメラトラッキングシステム及びそれに関連する方法」）の利益を主張するものである。この出願をここに参照援用し、その優先権を主張する。

プレゼンテーションをする人は、一般的に、ハンドヘルドのリモコンを使ってテレビ会議システムのカメラを制御する。しかし、テレビ会議が目標とするのは、参加者に自然な体験をしてもらうことである。それゆえ、プレゼンテーションをする人やその他の参加者が、カメラの制御や複雑な入力機器の取扱に時間を取られるようなことは望ましくない。

カメラをトラッキング（tracking）する先行技術が米国特許公報第５，８４４，５９９号、第６，７３１，３３４号、第６，９８０，４８５号に開示されている。例えば、米国特許公報第６，９８０，４８５は、ポリコム社（Polycom, Inc.）に譲渡されているが、ビームフォーミング（beamforming）を用いる自動カメラトラッキング技術を開示している。また、ポリコム社はそのＶＳＸテレビ会議システムのためのボイストラッキングシステム（voice tracking system）を提供しており、このシステムを「自動カメラポジショニング（Automatic Camera Positioning）」またはＡＣＰと呼んでいる。先行技術の他の一システムは、カラーコードベーストラッキング（color code-based tracking）やビジョン分析を使って、カメラで目標をトラッキングする。

先行技術システムの一部には、有効ではあるが、いくつかの点で制約があり、保持する（maintain）ことが難しいものもある。例えば、ボイストラッキングでは、反射やその他の理由で、カメラが壁やテーブルを向いてしまうことがある。また、カメラは、人が動いている間に話していなければ、その人をトラッキング（track）することができない。さらに、これらの先行技術は、複数の音声（voices）や相異なるカラーコードがある状況において問題が生じる。

本発明は上記の問題を解消し、または少なくともその効果を低減することに関する。

カメラトラッキングシステムは、制御可能カメラと、マイクロホンアレイ（an array of microphones）と、コントローラとを含む。マイクロホンは制御可能カメラに近接して配置され、音源（source）が放射する超音波に少なくとも応答する。マイクロホンは、さらに、可聴スペクトルにある音声（sound）に応答できるものであってもよい。コントローラは、音源が放射した超音波に応答してマイクロホンから伝送される超音波信号を受け取り、その超音波信号を処理して、その音源の少なくとも近似位置（approximate location）を決定する。次に、コントローラは制御可能カメラにコマンド信号を送り、決定されたその音源の位置に少なくとも近似的にその制御可能カメラを向ける。カメラトラッキングシステムは、音源が動いても超音波を放射（emit）し続ける間は、その音源をトラッキング（track）する。音源は人が身につけたエミッタパック（emitter pack）であってもよい。エミッタパックは１つ以上の超音波トランスデューサを有し、そのトランスデューサは約２４ｋＨｚから約４０ｋＨｚまでをスイープ（sweep）する超音波を発生する。

上記の要約は、本発明の潜在的な各実施形態やすべての態様を要約することを意図したものではない。

上記の要約、好ましい実施形態、本発明の他の態様は、添付した図面を参照しつつ、以下に記載した具体的な実施形態の詳細な説明を読めばよく理解できるであろう。

本開示の主題はいろいろな修正を施したり代替的形式を取ったりすることもできるが、その具体的な実施形態を図面において実施例で示し、ここに詳細に説明する。図面と説明は、いかなる方法によっても発明コンセプトの範囲を限定することを意図したものではない。むしろ、図面と説明を提供して、具体的な実施形態を参照して当業者に発明コンセプトを例示する。これは米国特許法第１１２条の規定に従うものである。

図１を参照するに、本開示の一教示によるカメラトラッキングシステム１００の一実施形態を近似的に示している。カメラトラッキングシステム１００は、カメラユニット１２０と、制御ユニット１３０と、エミッタユニット１４０とを含む。プレゼンテーションをする人（プレゼンター）はエミッタユニット１４０を身につけているか、担っている。そのエミッタユニット１４０はビーコン（beacon）として機能し、カメラユニット１２０が放射されたビーコン信号を検出してプレゼンターを追うことができる。

様々な実施形態では、カメラトラッキングシステム１００は、リモコン（remote control）１５０で使用でき、テレビ会議システム（videoconferencing system）その他のシステムである外部装置１６０で使用できる。カメラユニット１２０と制御ユニット１３０は、図示したように別々のコンポーネントでもよいし、１つのユニットに一体化されていてもよい。また、外部装置１６０は別々のコンポーネントとして示したが、カメラユニット１２０と制御ユニット１３０の一方または両方が、外部装置１６０と一体になっていてもよい。

本実施形態では、制御ユニット１３０がシステム１００のカメラトラッキングその他の機能を制御する。制御ユニット１３０は、ここに開示するカメラトラッキング（camera tracking）方法を実行するために必要な計算を行うプロセッサ（図示せず）を含む。プロセッサは必要な計算を行うことができればいかなる装置であってもよく、例えば中央処理ユニット（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等である。制御ユニット１３０は、第１の接続１１０を介してカメラユニット１２０から送られた標準的なＮＴＳＣ、ＰＡＬ、Ｓビデオ、その他のビデオ信号を受信できる。制御ユニット１３０は、接続１１０を介してカメラユニット１２０から送られた複数チャンネル（例えば４チャンネル）のラインレベルのオーディオ信号も受け取る。

第２の接続１１２を介して、接続ユニット１３０はカメラユニット１２０の制御信号を伝送することができる。第３の接続１１４を介して、制御ユニット１３０はテレビ会議ユニット等の外部装置１６０に接続することができる。この第３の接続１１４は外部装置１６０にビデオ、オーディオ、その他の信号を送るために使用できる。この第３の接続１１４により、外部装置１６０は、テレビ会議にカメラユニット１２０を使用して制御することができる。例えば、制御ユニット１３０は、ＰｏｗｅｒＣａｍアプリケーションプログラミングインターフェイス（ＡＰＩ）またはソニーＥＶＩ Ｄ−１００ＡＰＩをサポートし、外部装置１６０とカメラユニット１２０の間でパケットをやりとりすることができる。第３の接続１１４と第４の接続１１６を用いて、カメラユニット１２０からのビデオをのみを含むビデオ、またはそのビデオと制御ユニット１３０により付加されたグラフィカルユーザインターフェイスのオーバーレイ（overlay）と含むビデオを出力することができる。

カメラユニット１２０は、制御可能カメラ１２２とマイクロホン１２６のアレイ１２６とを含む。制御可能カメラ１２２は、パン（panning）、チルト（tilting）、ズーム（zooming）等ができ、機械的なパン・チルト・ズームカメラであっても電子的なパン・チルト・ズームカメラであってもよい。一実施形態では、制御可能カメラ１２２はＰｏｌｙｃｏｍ ＰｏｗｅｒＣａｍ Ｐｌｕｓであり、約±４５°のパン、中心点から約＋１０°、−３０°のチルトができる。カメラユニット１２０は、接続１１０を介して制御ユニット１３０にＳビデオ（ＰＡＬまたはＮＴＳＣ）またはその他の形式のビデオ信号を提供する。カメラユニット１２０は、接続１１２を介して制御ユニット１３０から送られるコマンドに応答し、制御可能カメラ１２２のパン、チルト、ズームを変更する。また、カメラユニット１２２は赤外線（ＩＲ）レシーバ１２５を含んでもよく、ＩＲリモコン１５０から受け取った信号を接続１１０を介して制御ユニット１３０に送ることができる。

一実施形達では、マイクロホンアレイ１２４には４つのマイクロホン１２６が含まれる。少なくとも２つのマイクロホン１２６は、エミッタユニット１４０の位置を決定するために水平に配置され、水平軸に沿ったカメラ１２２のパン（panning）を制御する。同様に、少なくとも２つのマイクロホン１２６は、エミッタユニット１４０の位置を決定するために垂直に配置され、垂直軸に沿ったカメラ１２２のチルト（tilting）を制御する。言うまでもなく、マイクロホン１２６のうちの２つのマイクロホンを、十分な水平トラッキング（horizontal tracking）ができるように、当業者には分かる許容誤差で実質的に水平に配置することができる。さらに、マイクロホン１２６のうちの２つのマイクロホンを、十分な垂直トラッキング（vertical tracking）ができるように、当業者には分かる許容誤差で実質的に垂直に配置することができる。

マイクロホンアレイ１２４のマイクロホン１２６は、エミッタユニット１４０が放射する超音波スペクトル中の超音波に応答する。一実施形態では、マイクロホンアレイ１２４のマイクロホン１２６は、特に超音波スペクトルで応答するように構成され、システム１００は可聴スペクトルの音声に応答する別のマイクロホンを有してもよい。可聴スペクトルは、一般的には、約２０Ｈｚから２０，０００Ｈｚである。他の実施形態では、マイクロホンアレイ１２４のマイクロホン１２６は、可聴スペクトルに応答し、超音波スペクトルにも好適な周波数応答を示す。そのため、マイクロホン１２６を通常のテレビ会議のオーディオにも、超音波１８０によるカメラトラッキングにも使用できる。また、カメラユニット１２０は、デュアルユースマイクロホン１２６を、米国特許第６，９８０，４８５号で開示され、Ｐｏｌｙｃｏｍ社の製品ｉＰｏｗｅｒ、ＶＳＸ、ＨＤＸシリーズで使用されているテレビ会議システムに関連するボイストラッキング方法と共に使用できる。

エミッタユニット１４０は信号ジェネレータ回路１４２と、パワーアンプ１４３と、再充電可能バッテリ１４４と、１つ以上のトランスデューサまたはスピーカ１４６−１４８とを有する。上で簡単に触れたように、エミッタユニット１４０は、カメラ１２２がトラッキング（track）する人が担うか身につけている。従って、エミッタユニット１４０はベルト、クリップ、飾りひも（lanyard）その他の手段（図示せず）を有し、人が身につけたり担ったりできるようになっている。

動作中、エミッタユニット１４０は超音波１８０を発生し、アレイ１２４のマイクロホン１２６が検出する。好ましくは、超音波１８０は１００ｍｓより大きい時間で２４ｋＨｚから４０ｋＨｚの周波数をスイープする音を繰り返し、音の間には約１００ｍｓの短い無音時間がある。超音波１８０の好ましいスイープ音（sweep tone）を発生するために、信号ジェネレータ１４２のサンプリング周波数は９６ｋＨｚであり、信号ジェネレータ回路１４２は２４．５７６ＭＨｚ、５０ｐｐｍで発信するクロック発信器（例えば、エプソンＳＧ−７１０ＥＣＫ２４．５７６０ＭＢ、ＲＡＬＴＲＯＮ ＣＯ４３０５−２４．５７６０、ＳＡＲＯＮＩＸ Ｓ１６１３Ｂ−２４．５７６０Ｔ等）を含む。好ましくは、エミッタユニット１４０は、デジタル・アナログ・コンバータ用のローパスフィルタを有し、５６ｋＨｚより高い周波数では、少なくとも６０ｄＢストップバンド減衰率を使用することが好ましい。遷移帯域は４０ｋＨｚから５６ｋＨｚであり、デジタル・アナログ・コンバータはＡＫＭセミコンダクタ社のＡＫ４３８６を使用することができる。

エミッタユニット１４０は超音波トランスデューサを１つだけ（１４６）有してもよいし、２つ以上（１４６−１４８）有してもよい。いずれにしても、超音波トランスデューサ１４６／１４８はワイヤによりエミッタユニット１４０に接続されており、圧電型トランスデューサ（電圧を印加すると圧電性結晶が形状を変えて音を発するもの）や、磁歪トランスデューサ（磁歪物質が磁気エネルギーを機械的エネルギーに変換、またはその逆変換をするもの）であってもよい。例えば、エミッタユニット１４０が２つ以上のトランスデューサ１４６−１４８を含む実施形態では、プレゼンターはトランスデューサの１つ（１４６）を体の正面に付け、もう１つ（１４８）を体の背面に付けることができる。あるいは、両肩にトランスデューサを１つずつ（１４６と１４８）付けてもよい。一実施形態では、各トランスデューサ１４６、１４８は同期して同じ超音波信号１８０を放射する。別の実施形態では、トランスデューサ１４６、１４８は相異なる超音波信号１８０を放射でき、人の体がマイクロホン１２６のアレイ１２４に対していろいろな方向を向いている場合にも、カメラ１２２がその人をトラッキング（track）する能力を向上させることができる。

放射された超音波１８をマイクロホン１２６で捉えた時、カメラユニット１２０は各マイクロホン１２６の超音波信号を接続１１０を介して制御ユニット１３０に送る。制御ユニット１３０は、受け取った信号を処理して、音が発せられたエミッタユニット１４０の少なくとも近似位置（approximate location）を決定する。後でより詳しく説明するように、制御ユニット１３０のソフトウェアは、受け取った信号を処理してエミッタユニット１４０の位置を特定する。位置を決定すると、制御ユニット１３０は１つ以上のコマンド信号をカメラユニット１２０に送り、カメラ２２を制御してエミッタユニット１４０を少なくとも近似的にトラッキング（track）する。

エミッタユニット１４０の位置の決定は、パン、チルト、ズーム等を当業者には分かる許容範囲で近似的でよく、カメラ２２はエミッタユニット１４０を身につけているプレゼンターの方向に十分向くことができる。さらに、エミッタユニット１４０を有するプレゼンターにカメラ２２を向け、そのプレゼンターをトラッキングするのは、パン、チルト、ズーム等を当業者には分かる許容範囲で近似的でよく、カメラ２２はプレゼンターの画像を十分取ることができる。そのために、少なくとも４つのマイクロホン１２６が、許容誤差に応じて、２つの対角軸上に設定される。制御ユニット１００は、決められたトラッキングエリア内でのみシステムが動作し、そのエリア外にはカメラ２２が向かないようにさらに設定することもできる。また、制御ユニット１００は、カメラ２２を、それがプレゼンターのタイトビュー（tight view）またはワイドビュー（wide view）を捉えるように設定することもできるし、捉えた画像の中央、右、または左にプレゼンターがいる（すなわち、エミッタユニットの位置がある）ビューを捉えるように設定することもできる。

例えば、プレゼンテーションやテレビ会議の間に、制御ユニット１３０はカメラ１２２を制御してエミッタユニット１４０を身につけている人をトラッキング（track）する。トラッキングされている人が動いて止まった時、カメラ１２２の動き（例えば、パンやチルト）は、好ましくは、まずゆっくりになってから止まり、その人に向くように制御される。例えば、カメラ１２２は２秒間で止まってその人に向き、カメラの動きがスムースになるようにして、その人がまた動き出してもぎくしゃく動かないようにする。これらのパラメータはユーザが設定できる。

その人が少し動いたが、まだカメラ１２２のフレームまたは視野内にいる場合がある。好ましくは、このような場合にも、カメラ１２２は、その人を追ってぎくしゃく動かず、静止している。こうするために、制御ユニット１３０は、カメラ１２２の視野角を決めて、視野角をその人の位置と相関（correlate）することができる。この相関に基づき、制御ユニット１３０は、その人がカメラ１２２のフレーム外に動いたか判断してから、カメラ１２２を動かすコマンドを発してその人をトラッキングすることができる。また、その人がカメラ１２２のフレームの外に出たとき、カメラ１２２は約５００ｍｓの遅延時間が過ぎるまで動かされなくてもよい。

カメラトラッキングシステム１００を詳細に説明したので、図２に移り、制御ユニット１３０のソフトウェアについて説明する。図２に示したように、制御ユニットのソフトウェアフレームワーク２００の一実施形態は、ユーザインターフェイスモジュール２１０と、メッセージハンドラ２２０と、カメラ制御モジュール２３０と、オーディオサブシステム２４０と、設定モジュール２５０と、記憶モジュール２５５と、シリアルドライバ２６０と、オーディオハードウェアマネージャ２６５と、ＴＣＰ／ＩＰモジュール２７０と、ＦＰＧＡ（Field Programmable Gate Array）２８０とを含む。

ユーザインターフェイス（ＵＩ）モジュール２１０は、メッセージハンドラ２２０を介して、フレームワーク２００の他のモジュールとサブシステムとにコマンドメッセージストリングを送る。ＵＩモジュール２１０は、ユーザがＩＲリモコンのボタンを押すと、それを処理して、ビデオ出力にテキストとグラフィックスとをオーバーレイ（overlay）して、ユーザに対してオンスクリーンメニューシステムを表示する。例えば、ＵＩモジュール２１０はユーザ入力を処理して、プリセットの設定と呼び出し、自動トラッキングのオンとオフ、メニューモードの選択等をすることができる。また、ＵＩモジュール２１０は、様々な警告画面、設定画面、調整画面、情報画面等を生成してユーザに表示することができる。

オーディオサブシステム２４０は、インターフェイス２８６とＦＰＧＡ２８０とオーディオハードウェアマネージャ２６５とを介して、カメラのマイクロホン１２６から超音波入力を受け取る。以下に詳しく説明する方法を用いて、オーディオサブシステム２４０は、マイクロホン１２６からの超音波信号をフィルタし、分析し、水平方向と垂直方向における信号源の超音波エミッタ（エミッタユニット）（図２には図示せず）の角度位置を決定する。オーディオサブシステム２４０は、カメラ１２２からのエミッタの近似距離も決定する。オーディオサブシステム２４０は、この位置情報をカメラ制御モジュール２３０に定期的に送るので、カメラ制御モジュール２３０はカメラ１２２を適宜制御できる。

カメラ制御モジュール２３０は、マニュアル動作モードと自動動作モードの両方において、カメラに関するすべての動きを処理する。自動動作モード中、信号源は自動的にトラッキングされるが、カメラ制御モジュール２３０は、オーディオサブシステム２４０から信号源の位置情報を受け取り、その位置情報をカメラ動きコマンドに変換する。カメラ制御モジュール２３０は、シリアルドライバ２６０とＦＰＧＡ２８０とインターフェイス２８４とを介して、カメラ１２２にカメラ動きコマンドを送る。コマンドは、好ましくは、カメラをスムースに動かして目標の信号源を追跡するものである。外部装置（例えば、テレビ会議ユニット１６０）に対して任意的インターフェイス２８２を使用するとき、カメラ制御モジュール２３０は、外部装置１６０から受け取ったカメラシリアルコマンド（camera serial commands）を他のインターフェイス２８４を介してカメラ１２２に転送し、カメラ１２０の応答を外部装置１６０に返すこともできる。

制御ユニットのソフトウェアを説明したので、図３Ａに移り、カメラトラッキングシステム３００のコンポーネントに関して例示したカメラユニット３１０の好ましい実施形態を説明する。上で説明したように、カメラユニット３１０は制御ユニット３６０と通信可能に結合している。また、制御ユニット３６０は、テレビ会議ユニット、ビデオモニタ、コンピュータ等の外部装置（図示せず）に接続されていてもいなくてもよい。

カメラユニット３１０は、様々なコンポーネントのためのハウジング３１２と、ハウジングに接続されたブーム（boom）３１８と、アレイ上に配置された複数のマイクロホンレシーバ３２０と、ハウジング上の可動カメラ３４０と、図示していないその他のコンポーネントとを有する。

３つのマイクロホンレシーバ３２０（すなわち、レシーバ３２２、３２４、３２６）がハウジング３１２上に水平に配置されている。また、１つのマイクロホンレシーバ３２０（すなわち、レシーバ３２８）がブーム３１８に配置され、ハウジング３１２上の中央のマイクロホンレシーバ３２４に対して垂直に配置されている。カメラユニット３１０に対する超音波トランスデューサ３５０の空間的位置は、デカルト座標系（Ｘ，Ｙ，Ｚ）を用いて示すことができる。超音波トランスデューサ３５０が超音波３５２を放射し、その超音波をマイクロホンレシーバ３２０がピックアップする。制御ユニット３６０が少なくとも部分的に実行する処理により、超音波トランスデューサ３５０の位置が決定され、カメラ３４０を動かして、その超音波トランスデューサ３５０の位置をトラッキング（track）する。以下に説明する位置決定アルゴリズムを用いて、水平に配置されたマイクロホンレシーバ３２２、３２４、３２６が受け取る超音波の位相差により、カメラユニット３１０に対する超音波トランスデューサ３５０の水平位置が決定される。この水平位置はカメラ３４０のパン位置（pan position）Ｐに対応する。垂直に配置されたマイクロホンレシーバ３２４、３２８が受け取る超音波の位相差により、カメラユニット３１０に対する超音波トランスデューサ３１０の垂直位置を決定する。この垂直位置は、カメラ３４０のチルト位置（tilt position）Ｔに対応する。一実施形態では、以下に説明する位置決定アルゴリズムを用いて、パン位置とチルト位置の両方で約０．１２５°の精度を実現することができる。

また、水平に配置されたマイクロホンレシーバ３２２、３２４、３２６が受け取る超音波３５２の波面曲率を用いて、カメラユニット３１０からの超音波トランスデューサ３１０の距離を決定できる。この距離は、カメラ３４０のズーム位置（zoom position）Ｚに対応する。追加的に、または代替的に、他の方法を用いて超音波トランスデューサ３５０のカメラユニット３１０からの距離を決定することができる。別の実施形態において後で説明するように、例えば、無線周波数（ＲＦ）信号と無線マイクロホン信号を使用することもできる。カメラ３４０のフォーカスは本技術分野で知られている方法を用いて制御できる。

図３Ｂにおいて、図３Ａのカメラトラッキングシステム３００の信号チェイン（signal chain）を概略的に示した。この信号チェインにおいて、トランスデューサ３５０を身につけているまたは担っている目標の信号源（すなわち、ユーザ）がマイクロホンレシーバ３２０に対して動く時、超音波トランスデューサ３５０が超音波３５２を放射する。各マイクロホンレシーバ３２０が受け取る超音波３５２の信号は制御ユニット３６０に送られ、制御ユニット３６０は４つのチャネルの入力信号を受け取る。次に、制御ユニット３３０は、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）を有し、その信号を処理する（ブロック３６２）。その処理の詳細は図４Ａと図４Ｂを参照して後で説明する。

制御ユニット３６０は、位置決定アルゴリズムを使って、レシーバ３２０に対する超音波トランスデューサ３５０の垂直位置と水平位置と距離と（例えば、Ｘ，Ｙ，Ｚ）を近似的に決定する（ブロック３６４）。位置決定アルゴリズムは図５を参照して詳しく説明する。決定した位置（Ｘ，Ｙ，Ｚ）を用いて、制御ユニット３６０はカメラ制御コマンドを構成し（ブロック３６６）、それらのコマンドをカメラに送る（ブロック３６８）。カメラ制御コマンドを構成するために、制御ユニット３６０は超音波トランスデューサ３５０の決定された位置（例えば、Ｘ，Ｙ，Ｚ）を、カメラ３４０のアクチュエータ、サーボ３４２等のパン、チルト、ズーム情報に変換する。カメラコンポーネント３３０は、コマンドを受け取り、それを使って超音波トランスデューサ３５０の決定された位置にカメラ３４０を向ける（ブロック３４４）。

ここに開示するトラッキングシステム３５０の超音波トランスデューサ３５０は、好ましくは、帯域幅が広く、感度がよく、歪みが小さく、厚みが小さい圧電型超音波トランスデューサである。一実施形態では、例えば、超音波トランスデューサ３５０の周波数応答は２４ｋＨｚから４０ｋＨｚの周波数範囲において適度に平坦であるが、言うまでもなく、カメラトラッキングシステム３００は２４ｋＨｚから４０ｋＨｚの帯域幅には限定されない。適度に平坦であるとは、例えば、周波数応答がそのレベルの±５％以内に入るか、実施形態に応じた好適な許容幅以内に入ることである。さらに、２４ｋＨｚから４０ｋＨｚまでの帯域幅の限度は、±数ｋＨｚだけ違ってもよいし、実施形態に応じた好適な量だけ違ってもよい。

超音波レシーバ３２０の周波数応答は、好ましくは、少なくとも４０ｋＨｚまでほぼ平坦である。ここに開示したカメラトラッキングシステム３００の好適な超音波レシーバ３２０は、パナソニックのＷＭ６１ＢレシーバとＷＭ６４レシーバであり、これらの周波数応答は４０ｋＨｚまでほぼ平坦である。周波数応答がどのくらい平坦であるか、またはどのくらい平坦である必要があるかは、本開示の利益を有する当業者の相対的スキルによる。

制御ユニット３００によるブロック３６２における処理は、好ましくは、ダウンサンプリングを含み、信号に対する他のフィルタ処理により、マイクロホンレシーバ３２０はその信号の後の処理段階を改善することができる。図４Ａは、超音波信号を可聴範囲にして信号特性を改善するダウンサンプリング・フィルタリング処理４００を示すブロック図である。最初に、超音波トランスデューサ（３５０）が２４ｋＨｚから４０ｋＨｚの範囲をスイープする超音波を放射する。第１段階４０１において、各マイクロホンレシーバ（３２０）がこのスイープ音（sweep tone）をピックアップする。帯域を限定したホワイトノイズではなくスイープ音を使用する利点は、スイープ音とすることにより、非線形歪みにより超音波トランスデューサ（３５０）の音をより聞こえにくくできることである。他の利点は、スイープ音を使用することにより、ホワイトノイズよりも信号雑音比が高くなることである。この第１の段階４０１において、２４ｋＨｚから４０ｋＨｚまでのスイープ音が各マイクロホンレシーバ（３２１）によりピックアップされ、９６ｋＨｚでデジタル的にサンプリングされる。これは、図４Ｂのグラフ４１０に示した。

各マイクロホンレシーバ（３２０）がスイープ音をピックアップ（pick up）するので、制御ユニット３６０は、各マイクロホンレシーバ（３２０）からの信号に別々に処理を実行でき、全レシーバ（３２０）からの信号の合計に別の処理を実行できる。しかし、その後の段階では、好ましくは処理は各レシーバ（３２０）からの信号に別々に実行される。最初の処理が完了してから、信号が足し合わされる。

第２の段階４０２において、制御ユニット（３６０）の２対１リサンプラ・変調モジュールがサンプリングされたスイープ音信号のスペクトルを、２４〜４８ｋＨｚから０〜２４ｋＨｚにシフトして、出力サンプリングレートを４８ｋＨｚとする。これは、図４Ｂのグラフ４２０に示した。第３の段階４０３において、制御ユニット（３６０）の３対２リサンプラが０ｋＨｚから１６ｋＨｚの周波数範囲にある信号を発生する。これは図４Ｂのグラフ４３０に示した。３対２リサンプラの出力は段階４０１で受信した元の信号と同じ情報を含むが、この段階４０３の出力のサンプリングレートは非常に低く３２ｋＨｚであり、後段での処理に必要な計算量を減らすことができる。

第４の段階４０４において、マッチフィルタ（match filter）が一定時間にわたり各スイープ音信号のエネルギーを圧縮し、エネルギーがレシーバ（３２０）の各信号のインパルス状波形に集中させる。このように、マッチフィルタにより、信号雑音比が改善され、システム（３００）の潜在的なトラッキング範囲を拡大することができる。マッチングフィルタ法（matching filtering techniques）は本技術分野において知られており、ここでは詳しく説明しない。

マッチフィルタ段階４０４後の理想的な出力信号はインパルス波形か、インパルスに非常に近い波形である。ダウンサンプリング・フィルタ処理４００の場合、元の受け取った信号の形状に応じて６通りのインパルス形状が可能である。サンプリングレート９６ｋＨｚの時、スイープ音は帯域幅が制限された信号であり、ダウンサンプリングされると多相出力となるからである。

第５の段階４０５において、反射除去アルゴリズムが、段階４０４のマッチフィルタ処理後のインパルス状波形出力の反射により生じた部分を除去する。反射除去アルゴリズムは、好ましくは、超音波トランスデューサ（３５０）への直接パスにほぼ対応する信号のインパルスを残し、一定時間中にそのインパルスに続く信号部分を除去する。一実施例では、反射除去では、信号のインパルスの０．５ｍｓ分を残し、そのインパルスに続く約３９ｍｓ分をゼロ設定（zero-out）する。好ましくは、反射除去アルゴリズムは、動的閾値を使って、トランスデューサ（３５０）への直接パスに対応する信号のインパルスを特定する。時間領域信号のダイナミックレンジは変化し得るからである。ダイナミックレンジの時間的な変化は、超音波トランスデューサ（３５０）が広い部屋を動いて、時々マイクロホンレシーバ（３２０）に対してターン（turn）した時に起こる。反射除去アルゴリズムは、経過した短い時間中の信号の最大値をトラッキングして、動的閾値をそれらの最大値の約１／８に設定する。

反射除去に加えて、好ましくは、マッチフィルタ段階４０４から受け取った信号の波形をイコライズ（equalized）する。例えば、マッチフィルタ段階４０４からの出力信号は、周波数応答が完全ではないなどの理由により、インパルス波形より複雑である。マッチフィルタ段階４０４からの出力信号をよりパルス状にするため、好ましくは信号に波形等化（waveform equalization）を行って、超音波トランスデューサ（３５０）とレシーバ（３２０）の不完全な周波数応答を補償する。

さらに、留意すべきこととして、マイクロホンレシーバ（３２０）が背景のスプリアス（spurious）な超音波音もピックアップしてしまい、その超音波音は雑音レベルより２０ｄＢから３０ｄＢ大きいことがある。背景ノイズは、周辺にあるデスクトップコンピュータやテレビ等の電子機器から発生し、測定精度をある程度低下させる。背景雑音を除去する第６の段階４０６において、制御ユニット（３６０）は、背景雑音エスティメータ（background noise estimator）と適応的ノッチフィルタ（adaptive notch filter）とを使って、背景雑音の一部を除去する。動作中、エスティメータは、自動的に、超音波トランスデューサ（３５０）がオンかオフか、すなわち超音波を放射しているかいないか判断する。その判断は、受信した信号を統計的に分析することにより行う。いろいろな間隔でエスティメータは信号を捉えて、背景雑音レベルを推定する。このプロセスには約１秒あれば十分である。次に、好ましくは適応的ノッチフィルタ（adaptive notch filter）を使って、少なくとも背景音の一部を除去する。

ダウンサンプリング・フィルタ処理４００を実行すると、処理されたマイクロホンレシーバ（３２０）からの信号は、位置決定アルゴリズム５００に入力される。簡単にいうと、位置決定アルゴリズム５００は、可能性のある複数の位置である候補位置（candidate location）に超音波トランスデューサ（３５０）が位置している最大尤度（maximum likelihood）を推定する。このアプローチでは、超音波トランスデューサ（３５０）は、その環境（例えば、部屋）の中の可能性のある多数の候補位置の各々にあると最初に仮定する。各候補位置に対して、マイクロホンレシーバ（３２０）からの信号は、相互に少し遅延され、遅延・合計演算（delay-sum operation）を用いて合計される。その結果、利用可能な周波数について最強ビームエネルギーが求まる。

次に、各周波数と各マイクロホンレシーバ（３２０）にホワイトニングフィルタ（whitening filter）をかけて、合計して総エネルギーを求める際に各周波数と各マイクロホンレシーバ（３２０）が等しく重要であるようにする。次に、様々な候補位置をサーチして、最大ビームエネルギーとなる１つの候補位置を求める。この候補位置をトランスデューサ（３５０）の推定位置とする。一般的に、マイクロホンレシーバ（３２０）からのサンプルを合計するのに必要ないろいろな遅延は小数値であり、サーチする候補位置は数百から数千あってもよい。好ましくは、計算コストを低減するため、候補位置のサーチには計算効率がよいプロセスを使用する。

超音波トランスデューサ（３５０）の候補位置を推定する位置決定アルゴリズム５００の一実施形態を、フローチャートにして図５Ａに示す。アルゴリズム５００は、４チャンネルの信号を入力として受け取る（ブロック５０２）。本実施形態では、各チャンネルは、４つのマイクロホンレシーバ（３２０）から受け取った超音波信号（３５２）をダウンサンプリングしてフィルタをかけたものである。次に、アルゴリズム５００は、規格化最大ビームエネルギーを生ずる水平チャネル（すなわち、水平に配置された各マイクロホンレシーバ（３２０））の位相差を決定する（ブロック５０４）。ブロック５０４のステップは、図５Ｂを参照してより詳細に説明する。次に、決定した位相差を使って、トランスデューサ（３５０）の水平位置を決定し、それによりカメラ（３４０）のパン位置（pan position）を決定する（ブロック５０６）。

次に、アルゴリズム５００は、垂直レシーバ３２０に対して図５Ｂのステップを繰り返して、規格化最大ビームエネルギーを生ずる垂直チャネル（すなわち、垂直に配置された各マイクロホンレシーバ（３２０））の位相差を決定する（ブロック５０８）。決定した位相差を使って、トランスデューサ（３５０）の垂直位置を決定し、それによりカメラ（３４０）のチルト位置（tilt position）を決定する（ブロック５１０）。

次に、アルゴリズム５００は、水平に配置されたマイクロホンレシーバ（３２０）で検出した超音波（３５２）の波面の曲率を計算し（ブロック５１２）、その曲率を使って、トランスデューサ（３５０）の距離を計算し、それによりカメラ（３４０）のズーム位置を計算する（ブロック５１４）。最後に、制御ユニット（３６０）は、カメラに、決定されたエミッタ（３５０）の位置に向くように指示する（ブロック５１６）。

図５Ｂにおいて、規格化最大ビームエネルギーを生じるチャネルの位相差を決定するステップ５５０を例示した。最初に、各チャネルに対してフィルタリング分析（filtering analysis）を実行する（ブロック５５２）。合計したビームエネルギーを全てのチャンネルの各サブバンドにおいて計算する（ブロック５５４）。合計したエネルギーを所定の閾値と比較し（ブロック５５６）、帯域数が必要数よりも多いか判断する（ブロック５５８）。多くなければ、サブルーチンは完全にバイパスする（ブロック５６０）。処理する信号情報が十分ないからである。

帯域数が必要数より多い場合、サブバンド信号を帯域とチャンネルとにわたり規格化する（ブロック５６２）。位相の角度範囲をスイープサーチ（sweeping search）し、複数の第１の位相角におけるビームエネルギーを求める（ブロック５６４）。そのサーチから、規格化最大ビームエネルギーに対応する第１の位相角を見つける（ブロック５６６）。次に、先に見つかった第１の位相角に関して、より細かい位相角の角度範囲でスイープサーチを行い、複数の第２の位相角におけるビームエネルギーを求める（ブロック５６８）。その細かいサーチから、規格化最大ビームエネルギーに対応する第２の位相角を見つける（ブロック６７０）。最後のブロック５７２において、この第２の位相角を、水平配置と垂直配置のいずれを分析しているかに応じて、図５Ａのブロック５０４またはブロック５０８に返す。

ここで、位置決定アルゴリズムをより詳細に説明する。図５Ｂのブロック５５２において各チャンネルのフィルタリング分析を実行するため、Ｍ個のチャンネルの超音波レシーバ信号を同数のアナログ・デジタル（Ａ／Ｄ）コンバータに送る。Ａ／Ｄコンバータは、超音波レシーバ信号をデジタルサンプルに変換する。各超音波レシーバチャンネルに対して、Ｎ個のサンプルのブロックを蓄積して処理する。好ましい実施形態では、サンプル数Ｎは６４０である。その結果の入力データを次式（１）で示す：

ここで、ｍ＝０，１，．．．，Ｍ−１（Ｍはチャンネル数）であり、ｎ＝０，１，．．．，Ｎ−１（Ｎは各チャンネルのサンプル数）である。次に、Ｎ個のサンプルのブロックＭ個を、オーバーラップ・加算フィルタバンクに送る。このオーバーラップ・加算フィルタバンクは、一実施形態では、各チャンネルについてＮ個の複素周波数（complex frequencies）を発生する。その結果、時間領域の超音波レシーバ信号は、フィルタバンク出力に変換され、次式（２）で示される：

フィルタバンク出力Ｈ_ｍ（ｋ）は、実数成分と虚数成分とを有する複素数である。ここで、ｋは周波数帯域であり、周波数ビン数（frequency bin number）に変換することができる。毎回、所定の時間領域においてＮ個のサンプルのブロックが求まり、新しいフィルタバンク出力Ｈ_ｍ（ｋ）の組が求められる。ある超音波レシーバＸ_ｍ（ｎ）の入力信号がフィルタバンク出力Ｈ_ｍ（ｋ）の１つの帯域（ｋ′と呼ぶ）の中心周波数の正弦波であれば、その中心帯域ｋ′のフィルタバンク出力Ｈ_ｍ（ｋ′）は大きく、ｋ≠ｋ′であるその他のＨ_ｍ（ｋ）は小さい。

ブロック５５４のところで説明したように、すべてのチャンネルの各サブバンドにおいて合計ビームエネルギーを計算する。最初に、信号を規格化する。式（３）により、規格化信号を計算し、ビームエネルギーの計算では複素信号の位相角のみを使用する：

次に、上で触れた遅延・合計演算を各周波数領域に対して実行する。サブバンドは十分狭ければ正弦波（sinusoid）とみなせ、遅延（time-delay）は複素信号にフェーザ（phasor）ｅ^ｊθをかけることにより近似できる。すると、

ここで、θは正弦波を所望時間だけ遅延したときの適当な位相角である。ある周波数サブバンドｋに対して、遅延・合計演算は次式（５）により計算される：

ここで、θ_ｍは、トランスデューサ（３５０）の位置を（ｘ，ｙ，ｚ）と仮定したときに、合計値Ｇ_{ｘ，ｙ，ｚ}（ｋ）の大きさを最大にする位相角を表す。音声はマイクロホンレシーバ（３２０）に相異なる到達時間で到達するので、式（５）は、これらの相異なる時間を補償して、信号がすべてのマイクロホンレシーバ（３２０）にまったく同時に到達したように、異なる超音波レシーバ信号を加算することができる。

式（５）について、トランスデューサ（３５０）が位置（ｘ，ｙ，ｚ）にあると仮定して、合計値Ｇ_{ｘ，ｙ，ｚ}（ｋ）の大きさを最大にする適当な位相角θ_ｍを計算するため、トランスデューサ（３５０）がデカルト座標系の位置Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓに位置し、Ｍ個（例えば、４個）のマイクロホンレシーバ（３２０）が位置Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍに位置すると仮定する。次に、トランスデューサ（３５０）とｍ番目のマイクロホンレシーバ（３２０）との間の距離を計算する：

マイクロホンレシーバ（３２０）の１つ（例えば、ｍ′）を基準として、基準レシーバｍ′と他のレシーバとの間の距離の差を示すと：

また、基準レシーバｍ′と他のレシーバとの間の、帯域ｋの周波数ビンの位相角の差を示すと：

ここで、ｂはサブバンドフィルタのヘルツ／ビン（Hertz-per-bin）であり、サブバンドフィルタの中心周波数は２４，０００＋ｋｂヘルツである。数２４，０００は、図４Ａ−図４Ｂを参照して上で説明したスペクトルシフトから求まる。Δ_ｍ項はレシーバ（３２０）間の距離差（インチ）であり、νは音速の逆数（１／（１３．５４×１０００））に比例する定数である。式（８）の位相シフトをキャンセルするために、式（５）のθ_ｍを次式（９）のように設定する：

一般的に、帯域ｋの各周波数ビン（frequency bin）と各超音波レシーバｍにおいて、式（９）のθ_ｍは異なる。

最低周波数ビンから最高周波数ビンまでの帯域ｋに対して（すなわち、２４ｋＨｚから４０ｋＨｚまで、変換すると周波数ビン数の０から６３９の範囲にわたる）、式（５）のトランスデューサ（３５０）の仮定的位置Ｇ_{ｘ，ｙ，ｚ}（ｋ）を見つける。次の位置重みづけ関数を最終的に決定する：

式（１０）の位置重みづけ関数Ｗ（ｘ，ｙ，ｚ）を最大値とするトランスデューサの候補位置（ｘ，ｙ，ｚ）をそのトランスデューサ（３５０）の推定された位置とする。

計算コストを低減し、また検出精度を高めるために、式（１０）の位置重みづけ関数Ｗ（ｘ，ｙ，ｚ）は時々（例えば、Ｐブロックごとに）計算する。好ましい実施形態では、Ｐは５であり、これは約０．１秒ごとの計算に対応する。さらに、周波数サブバンドデータＨｍ（ｋ）は時間と周波数の両方で省略（trim）して、最新のＰ個のブロックにわたる最も有用なデータのみを使用して、Ｐブロックの時間の終わりに、位置重み付け関数Ｗ（ｘ，ｙ，ｚ）を計算する。

従って、周波数サブバンドデータを省略（trim）して位置重み付け関数Ｗ（ｘ，ｙ，ｚ）を時々しか計算しないステップをここで説明する。Ｐ個のブロックの時間にわたり、帯域ｋの各周波数ビンについて、Ｍ個の超音波レシーバ（３２０）からのデータは次式（１１）で示される：

ここで、ｐ＝０，１，．．．，Ｐ−１であり、ｍ＝０，１，．．．，Ｍ−１である。

帯域ｋの周波数ビンの仮定的位置Ｇ（ｘ，ｙ，ｚ）を見つけるために、ｐ′のある時間で
［外１］

を選択する。ここで、
［外２］

は、単一の超音波レシーバｍ′とインデックスｐ′についてｐ＝０，１，．．．，Ｐ−１にわたって最大である。ここで、ｐ′は０からＰ−１までの範囲にある。この大きさをその周波数ビンの背景雑音の大きさと比較する。この強さが背景雑音に近すぎると、規格化された信号
［外３］

はすべてのｍについてゼロに設定される。このデータを含めると、単に結果を間違いやすくするだけだからである。このように、ある周波数ビンｋについて、仮定的位置を次式（１２）で示す：

式（１２）を式（１０）で使用して、位置重み付け関数Ｗ（ｘ，ｙ，ｚ）の最大値を見つける。信号エネルギーが雑音エネルギーに近い帯域ｋの周波数ビンでは、位置Ｇ_{ｘ，ｙ，ｚ}（ｋ）はゼロとなる。非ゼロ周波数ビンの数が少なすぎる場合、その計算を全体としてバイパスする。最新のＰ個のブロックのデータは雑音のみによるものである可能性が高いからである。

式（１２）において、フェーザ項ｅ^ｊθｍは超越関数であり、虚部と実部とを有し、各周波数ビンｋと各仮定的信号源位置ｘ，ｙ，ｚについて異なる。従って、そのフェーザ項を制御ユニットで実行中に計算することは効率的ではない。好ましくは、値を事前に計算してメモリ中のルックアップテーブルに格納しておき、制御ユニット（３６０）が実行時にそのテーブルにアクセスして計算を行う。

ルックアップテーブルを事前に計算する実施形態では、時間ブロックサイズはＮ＝６４０であり、周波数ビンの数も６４０であり、低周波数から高周波数までの周波数範囲は６４０周波数であり、超音波レシーバの数Ｍは４であり、仮定的信号源位置の数は８６４０（すなわち、４８通りの距離にある、１／４°ごとに１８０°（１８０-degrees in １/４ degree increments at ４８ distances））であり得る。結果として、テーブルのエントリー数は：
エントリー数＝２×６４０×１６×８６４０＝１７６，９４７，２００ (１３)
精度を１６ビットとするには、このテーブルを格納するために必要なメモリは約３５０メガバイトであり、一般的な実施形態ではメモリサイズの点で手が出せない。

テーブルサイズを小さくするには、式（１２）のフェーザ項ｅ^ｊθｍの実部を次式（１４）とする：

ここで、ｃはすべてのｋとｍについて定数である。余弦関数は引数が２πごとに同じ値に戻るので、ｃｏｓ（θｍ）を計算するには、最初に積ｋΔ_ｍｃを計算し、この積のモジュロ（modulo）２πを求め、その結果を余弦関数のテーブルで探すと効率的である。

式（１４）を独立に計算するのではなく、事前に計算した２つのルックアップテーブルを制御ユニット（３６０）のメモリに格納し、計算を少なくするために使用する。カメラトラッキングシステム（３００）に対して事前に計算した第１のルックアップテーブルＤ（ｒ，ｍ）を作る。ここで、ｒは３次元空間内のトランスデューサ（３５０）の仮定的位置（ｘ，ｙ，ｚ）を一意的に指定するインデックスであり、ｍは超音波レシーバのインデックスである。この事前に計算したルックアップテーブルＤ（ｒ，ｍ）のエントリーは次式（１５）の通りである：すべてのｒ及びｍ＝０，１，．．．，Ｍ−１に対して、

式（１５）において、ｂ＝（ビンの中心周波数）／ｋであり、Δ_ｒ，ｍはインデックスｒの信号源位置に関するマイクロホンｍと基準マイクロホンとの間の信号パス差（インチ単位）である。

事前に計算された第２のモジュロ余弦テーブルcos_table(i)も作られ、次式（１６）のようになる：

これらのテーブルＤ（ｒ，ｍ）とｃｏｓ＿ｔａｂｌｅ（ｉ）を用いて、トランスデューサ（３５０）の候補位置ｒと周波数ビンｋに対するｃｏｓ（θｍ）の値は、次式（１７）のようになる：

ここで、＆は「ａｎｄ」関数（０ｘ１ＦＦでマスク）であり、「ｉｎｔ」は「最も近い整数に丸める」ことを意味する。

このように、制御ユニット（３６０）は、好ましくは、これらの２つのテーブルＤ（ｒ，ｍ）とｃｏｓ＿ｔａｂｌｅ（ｉ）を使用して、式（１４）のｃｏｓ（θ_ｍ）に対する解を計算する。本実施例では、Ｄ（ｒ，ｍ）テーブルは８６４０×４すなわち３４，５６０通りの位置を有し、ｃｏｓ＿ｔａｂｌｅ（ｉ）は５１２通りの位置を有する。ｓｉｎ（θ_ｍ）を計算するため、式（１７）と同様の手続を使用して、他のテーブル（ｓｉｎ＿ｔａｂｌｅ（ｉ）と呼ぶ）を作る。このテーブルは５１２通りの位置を有する。このように、これらのテーブルは全部で３５，５８４個のエントリーを有する。これは、カメラトラッキングシステムの一実施形態として現実的なサイズである。

ルックアップテーブルにより決定された結果として得られるｃｏｓ（θ_ｍ）とｓｉｎ（θ_ｍ）の値を使用して、式（１２）のフェーザ（phasor）項ｅ^ｊθｍを推定し、周波数ビンｋの候補位置Ｇ_{ｘ，ｙ，ｚ}（ｋ）を計算する。次に、位置重み付け関数Ｗ（ｘ，ｙ，ｚ）の式（１０）において候補位置Ｇ_{ｘ，ｙ，ｚ}（ｋ）の値を用いて、候補位置の位置重みを計算する。結局、式（１０）の位置重みづけ関数Ｗ（ｘ，ｙ，ｚ）を最大値とする位置（ｘ，ｙ，ｚ）を、トランスデューサ（３５０）の推定された位置とする。究極的には、トランスデューサ（３５０）の推定位置を、カメラユニット（３１０）のカメラで信号源をトラッキングするために使用する。

図５Ｂのブロック５６４のところで説明したように、計算量を減らすために、第１のサーチをして、上記の式と方法を用いて、複数の第１の候補位置におけるビームエネルギーを決定する。好ましくは、この第１のサーチは計算コストを低減するための粗いものであり、ブロック５６６において、トランスデューサの少なくとも近似的な位置を粗く推定することができる。粗い第１のサーチに続いて、ブロック５６４の粗い推定にフォーカスした、より細かい第２のサーチを行い、上記の式と方法を用いて、規格化ビームエネルギーが最大となる細かい位置を見つける。サーチを、マイクロホンレシーバ（３２０）の水平配置と垂直配置の両方に対して行い、カメラユニットのパン角度とチルト角度に対するトランスデューサ（３５０）の位置をそれぞれ決定する。カメラユニット（３１０）のカメラを、決定した位置に向ける操作（すなわち、パン、チルト、ズーム）をできる。

図６Ａと図６Ｂを参照して、本開示のカメラトラッキングシステムの追加的実施形態と代替的実施形態を説明する。一般的に、上記のカメラトラッキングシステムの実施形態では、図３Ａのユニット３１０等のカメラユニットは４つのマイクロホンレシーバ３２０を有すると説明した。レシーバ３２０からのトラッキング範囲は、それらがカメラユニット３１０上でどのくらい近いかにより決まる。それゆえ、カメラユニット３１０の一実施形態では、サイズを大きくして、マイクロホンレシーバ３２０の間隔をさらに広くする。別の実施形態では、４個より多い（例えば、８個以上）マイクロホンレシーバ３２０を使用して、レシーバ３２０がより広いエリア（例えば、約７５×７５フィートのエリア）をカバーできるようにする。超音波を用いてカメラでトラッキングするのに加え、超音波カメラトラッキングシステムの実施形態では、例えば、米国特許第６，９８０，４８５号に開示されているようなボイストラッキング法（voice tracking technique）も使用できる。この文献は、ここに参照援用する。

さらに、開示したカメラトラッキングシステムの他の実施形態では、複数のリモートレシーバが広い場所において相互により遠く離れて配置された超音波レシーバシステムを使用することもできる。例えば、図６Ａは、カメラトラッキングシステム６００Ａの一実施形態を示し、このシステムはカメラユニット６１０と、制御ユニット６３０と、エミッタユニット６４０とともに、超音波レシーバシステム６２０を有する。超音波レシーバシステム６２０は、部屋の周りに配置された３つ以上のレシーバユニット６２２、６２４、６２６を有し、制御ユニット６３０上にマイクロホンのアレイを有するのとは対照的である。レシーバユニット６２２、６２４、６２６は固定され、相互の距離が計算され、制御ユニット６３０と無線または有線で通信することができる。

一実施形態では、エミッタユニット６４０に接続された１つ以上の無線周波数（ＲＦ）デバイスからのＲＦ信号を、トランスデューサ６４２、６４４からの超音波と同期させることができ、レシーバユニット６２２、６２４、６２６はそれらからエミッタ６４０までの距離を決定することができる。部屋の周りに配置した複数のレシーバユニット６２２、６２４、６２６でＲＦ信号と超音波とを同期させて使用することにより、エミッタ６４０の位置計算をより正確にできる。例えば、超音波信号と同期したＲＦ信号は、トランスデューサ６４２、６４４のレンジ検出（range detection）の精度を向上でき、カメラユニット６１０の自動ズームを改善することができる。

一実施形態では、ＲＦ無線マイクロホンは、エミッタユニット６４０と一体とし、テレビ会議の音声だけでなく、トラッキングとレンジ検出（range detection）にも使用するＲＦ信号も送信することができる。図７Ａは、エミッタユニット７００Ａを示し、このユニットは、１つ以上のトランスデューサ７０２、７０４と、ＲＦトランスミッタ７１０と、一体型マイクロホン７２０（ラペルマイクロホン（lapel microphone）でもよい）とを有する。ＲＦ信号を使ってプレゼンターの音声を送信し、エミッタユニット７００Ａのレンジ検出（range detection）をする。一体型のラペルマイクロホン７２０を有するので、他の代替用途にも使用できる。例えば、図６Ａのシステム６００Ａは、一体型ラペルマイクロホン（７２０）がプレゼンターの音声を検出するとイネーブル（enabled）されるトランスデューサ６４２、６４４からの超音波と併せて、ボイスマイクゲーティング法（voice mic gating techniques）に基づいて、カメラユニット６１０のカメラの方向を制御することができる。

図６Ａに示したように、プレゼンターは前と後にトランスデューサ６４２、６４４を有し、カメラトラッキングシステム６００Ａはプレゼンターが向きを変えてもそのプレゼンターをトラッキングできる。また、図６Ａに別に示したように、プレゼンターは両肩にトランスデューサ６４２、６４４をそれぞれ有し、カメラトラッキングシステム６００Ａはプレゼンターが向きを変えてもそのプレゼンターをトラッキングできる。

上記の実施形態において、開示したカメラトラッキングシステムは、超音波エミッタユニットを身につけた１人の人をトラッキングすることを参照して説明した。他の実施形態では、複数の参加者がエミッタユニットを身につけ、どの参加者をトラッキングするかの決定を様々な方法を用いて制御することができる。例えば、図６Ｂは複数のエミッタユニット６４０−Ａ、６４０−Ｂを使用するカメラトラッキングシステム６００Ｂを示す。上記と同様に、システム６００Ｂはカメラユニット６１０と、超音波レシーバ６２０と、制御ユニット６３０とを有する。複数のエミッタユニット６４０−Ａ、６４０−Ｂはそれぞれ少なくとも１つの超音波トランスデューサ６４２を含む。エミッタユニット６４０−Ａ、６４０−Ｂは自動的または手動でアクティベートされ、超音波を放射し、カメラユニット６１０がアクティベートされたトランスデューサ６４２を有するプレゼンターをトラッキングする。

一実施形態では、プレゼンターが話したときに、エミッタユニット６４０−Ａ、６４０−Ｂがアクティベートされる。例えば、図７Ａのエミッタ７００Ａは、一体のマイクロホン７２０がプレゼンターが話しているのをピックアップしたときに、アクティベートされる。他の実施形態では、図７Ｂに示したエミッタユニット７００Ｂは、タグ７３０等の上にボタンを有し、プレゼンターが押すとユニット７００Ｂがアクティベートされ、トランスデューサ７０２、７０４が超音波を放射する。

図６Ｂに戻り、２つ以上のエミッタユニット６４０−Ａ、６４０−Ｂが同時に放射してもよい。例えば、エミッタユニット６４０−Ａ、６４０−Ｂはアクティベートされ、参加者が話しているのをラペルマイクロホンが検出したとき、超音波を放射してもよい。二人以上の参加者が同時に話しているとき、一実施形態の制御ユニット６３０はカメラユニット６１０を制御して、エミッタユニット６４０−Ａ、６４０−Ｂがアクティブなプレゼンターを両方ともフレームに入れる（frame）。

別の実施形態では、エミッタユニット６４０−Ａ、６４０−Ｂは、ＲＦ信号またはＩＲ信号を用いて互いに通信できるか、または制御ユニット６３０と通信でき、一度に１つのエミッタユニットのみ（６４０−Ａまたは６４０−Ｂ）が超音波を放射する。一実施形態では、駆動されたエミッタユニット６４０−ＡはＲＦ信号を他のエミッタユニット６４０−Ｂに送信し、そのエミッタユニット６４０−Ｂは超音波の送信を停止する。

他の実施例では、システム６００−Ｂは制御ユニット６３０に結合したＲＦユニット６７０を含む。プレゼンターがそのエミッタユニット６４０−Ａを起動すると、エミッタユニット６４０−Ａ上のＲＦトランスミッタ（図示せず）からＲＦユニット６７０にＲＦ信号が送信され、制御ユニット６３０はこのプレゼンターをトラッキングすることが分かる。制御ユニット６３０は、ＲＦユニットからのＲＦ信号を他のエミッタユニット６４０−Ｂに中継し、そのエミッタユニット６４０−Ｂが超音波を放射するのを止める。このように、一度に１つのエミッタユニット６４０−Ａのみが超音波を発生し、制御ユニット６３０は２つ以上のエミッタユニット６４０からの超音波を区別しようとする必要がなくなる。ＲＦ信号ではなく、ＩＲ信号その他を使って通信してもよい。

さらに別の実施形態では、制御ユニット６３０は、放射された超音波の特性に応じて、エミッタユニット６４０−Ａ、６４０−Ｂから複数の超音波信号源を区別することもできる。例えば、各エミッタユニット６４０は、他とは異なる周波数の超音波を放射し、相互に識別（isolate）できる。あるいは、各エミッタユニット６４０は、他とは異なる時間に超音波を放射し、相互に識別（isolate）できる。複数のエミッタ６４０−Ａ、６４０−Ｂが同時に動作するとき、制御ユニット６３０は、両方のエミッタユニット６４０−Ａ、６４０−Ｂが超音波を放射し続けていても、どのエミッタユニット６４０が起動されておりトラッキングされるべきかを示すＲＦ信号を受け取る必要がある。

さらに別の実施形態では、同一環境において複数の独立なトラッキングシステム６００Ｂを使用して、１つが１人のプレゼンターをトラッキングし、もう１つがもう１人のプレゼンターをトラッキングする。独立な各システム６００Ｂは、位相シフトキーイング（ＰＳＫ）／周波数シフトキーイング（ＦＳＫ）を用いる異なるシード（seeds）を有し、各システムの超音波を区別する。

好ましい実施形態その他の上記の記載は、出願人が認識している発明概念の範囲や適用性を限定または制限することを意図したものではない。垂直、水平、右、左等の用語は、１つの方向に対する相対的な方向を示すために使っており、他の方向に対する相対的な方向を示すこともある。言うまでもなく、ここに開示した実施形態を修正することができ、本開示の教示に基づいて別の実施形態を実施することもできる。テレビ会議においてカメラでプレゼンターをトラッキングするのに加え、例えば、本開示のカメラトラッキングシステム及びそれに関連する方法を、舞台パフォーマンスのスポットライトの制御や、他の環境でのカメラの制御等の他の実施形態で用いることもできる。ここに含まれる発明概念を開示するのと引き替えに、出願人は添付した請求項に記載されたすべての特許を望む。よって、添付した請求項は、その請求項またはその均等の範囲内にある全ての修正と変更を含むことを意図している。

本開示の一教示による、カメラトラッキングシステムの一実施形態を示す図である。 図１のカメラトラッキングシステムの制御ユニットのソフトウェアフレームワークの一実施形態を示す図である。 カメラトラッキングシステムのカメラユニットの一実施形態を示す図である。 図３Ａのカメラトラッキングシステムの信号チェイン（signal chain）の一実施形態を示す図である。 開示したカメラトラッキングシステムにおいて、超音波信号を可聴範囲にダウンサンプリングする方法の一実施形態を示す図である。 図４Ａのダウンサンプリング方法の段階における信号スペクトルを示すグラフである。 開示したカメラトラッキングシステムにおいて、目標音源の候補位置を推定する位置決定アルゴリズムの一実施形態を示すフローチャートである。 開示したカメラトラッキングシステムにおいて、目標音源の候補位置を推定する位置決定アルゴリズムの一実施形態を示すフローチャートである。 カメラトラッキングシステムの他の一実施形態を示す図である。 カメラトラッキングシステムのさらに他の一実施形態を示す図である。 開示したカメラトラッキングシステムのためのエミッタユニットの他の実施形態を示す図である。 開示したカメラトラッキングシステムのためのエミッタユニットの他の実施形態を示す図である。

符号の説明

１２０ カメラユニット
１２２ カメラ
１２６ マイクロホン
１３０ 制御ユニット
１４０ エミッタユニット
１４２ 信号ジェネレータ
１４３ アンプ
１４４ バッテリ
１５０ リモコン
１６０ テレビ会議ユニット
１８０ 超音波
１９０ 赤外線
２１０ ユーザインターフェイスモジュール
２２０ メッセージハンドラ
２３０ カメラ制御モジュール
２５０ 設定
２５５ 不揮発性記憶装置
２６５ オーディオハードウェアマネージャ
３６０ 制御ユニット

Claims (25)

1. カメラトラッキング装置であって、
   カメラによりトラッキングする第１の対象とともに動き得る、超音波を放射する少なくとも１つの超音波トランスデューサを有する第１の放射源と、
   制御可能カメラと、
   前記第１の放射源から放射された超音波に少なくとも応答する複数の静止したレシーバと、
   前記制御可能カメラと前記静止したレシーバとに通信可能に結合されたコントローラであって、
   前記第１の放射源から放射された超音波に応答して前記静止したレシーバから送られた超音波信号を受け取り、
   前記超音波信号を処理して前記第１の放射源の少なくとも近似位置を決定し、
   前記制御可能カメラを制御して、前記静止したレシーバを動かさずに、前記第１の放射源の前記決定した位置に少なくとも近似的に向けるように構成されたコントローラとを有する装置。
2. 前記制御可能カメラを制御するため、前記コントローラは前記第１の放射源の前記決定された位置に少なくとも近似的にチルトするように前記制御可能カメラに命令する、請求項１に記載の装置。
3. 前記制御可能カメラを制御するため、前記コントローラは前記第１の放射源の前記決定された位置に少なくとも近似的にパンするように前記制御可能カメラに命令する、請求項１に記載の装置。
4. 前記制御可能カメラを制御するため、前記コントローラは前記第１の放射源の前記決定された位置に少なくとも近似的にズームするように前記制御可能カメラに命令する、請求項１に記載の装置。
5. 前記静止したレシーバはそれぞれ約２４ｋＨｚから約４０ｋＨｚの範囲で実質的にフラットな周波数応答を有するマイクロホンを有し、前記第１の放射源から放射される超音波は約２４ｋＨｚから約４０ｋＨｚの範囲でスウィープされる音を含む、請求項１に記載の装置。
6. 前記マイクロホンはそれぞれ可聴範囲内で周波数応答をさらに有する、請求項５に記載の装置。
7. 前記超音波を処理するため、前記コントローラは前記超音波信号を前処理して前記超音波信号の反射によって生じた部分を除去する、請求項１に記載の装置。
8. 前記超音波信号を前処理して、前記超音波信号の反射によって生じた部分を除去するために、前記コントローラは、
   前記超音波信号をダウンサンプリングし、
   前記ダウンサンプリングした信号をフィルタして実質的にインパルスとし、
   前記フィルタされた信号の一部をゼロにして前記超音波信号の反射により生じた部分を除去するように構成された、請求項７に記載の装置。
9. 前記静止したレシーバのうち少なくとも２つは前記第１の放射源に対して実質的に水平に配置された軸に沿って配置され、前記超音波信号を処理して前記第１の放射源の前記少なくとも近似的位置を決定するために、前記コントローラは、
   前記少なくとも２つの静止したレシーバ間の前記超音波信号の位相差を用いて前記第１の放射源の近似的水平位置を計算し、
   前記近似的水平位置に基づいて前記制御可能カメラのパン変数を決定するように構成された、請求項１に記載の装置。
10. 前記静止したレシーバのうち少なくとも２つは前記第１の放射源に対して実質的に垂直に配置された軸に沿って配置され、前記超音波信号を処理して前記第１の放射源の前記少なくとも近似的位置を決定するために、前記コントローラは、
    前記少なくとも２つの静止したレシーバ間の前記超音波信号の位相差を用いて前記第１の放射源の近似的垂直位置を計算し、
    前記近似的垂直位置に基づいて前記制御可能カメラのチルト変数を決定するように構成された、請求項１に記載の装置。
11. 前記レシーバのうち少なくとも２つは１つの軸に沿って配置され、前記超音波信号を処理して前記第１の放射源の前記少なくとも近似的位置を決定するために、前記コントローラは、
    前記少なくとも２つの静止したレシーバが受け取った前記超音波信号の波面の曲率を用いて前記第１の放射源の近似的距離を計算し、
    前記近似的距離に基づいて前記制御可能カメラのズーム変数を決定するように構成された、請求項１に記載の装置。
12. 候補位置の複数の変数を格納するメモリをさらに有し、前記コントローラは前記メモリに通信可能に結合され、前記変数を用いて前記超音波信号を処理し、前記第１の放射源の前記少なくとも１つの近似的位置を決定する、請求項１に記載の装置。
13. 前記第１の放射源は前記カメラによりトラッキングする前記対象の一方の側に配置可能な第１の超音波トランスデューサを有し、前記第１の放射源は前記対象の反対側に配置可能な第２の超音波トランスデューサを有し、前記対象が前記静止したレシーバに対してどちらかの側に向いているとき、前記静止したレシーバは前記第１と第２の超音波トランスデューサにより超音波を受信する、請求項１に記載の装置。
14. 前記第１の放射源は無線周波数信号を出す少なくとも１つの無線周波数トランスミッタを有し、前記コントローラは前記無線周波数信号を用いて前記制御可能カメラからの前記対象の距離を決定するように構成される、請求項１に記載の装置。
15. 前記少なくとも１つの無線周波数トランスミッタは前記対象からの音声信号を前記コントローラに送信する、請求項１４に記載の装置。
16. 前記第１の放射源とは別の、超音波を放射する第２の放射源をさらに有し、各放射源を前記カメラによりトラッキングする１つ以上の対象に配置可能である、請求項１に記載の装置。
17. 各放射源はその放射源がトラッキングする対象からの音声を検出し、検出した音声により駆動されると、超音波を出す、請求項１６に記載の装置。
18. 各放射源は、駆動されると、他の放射源に信号を送り、超音波の放射を停止させる、請求項１７に記載の装置。
19. 各放射源は他の放射源とは違う検出可能範囲の超音波を出す、請求項１６に記載の装置。
20. 各放射源は別のトラッキングする対象に配置され、各放射源が同時に超音波信号を放射しているとき、前記コントローラは前記カメラの可視領域にいる各対象を位置付けるよう前記カメラを制御するように構成された、請求項１６に記載の装置。
21. カメラトラッキング方法であって、
    少なくとも１つの超音波トランスデューサを有し、トラッキングする第１の対象とともに動き得る第１の放射源で超音波を放射する段階と、
    複数の静止したレシーバで前記超音波を受信する段階と、
    前記静止したレシーバで受信した前記超音波を処理することにより、前記第１の放射源の少なくとも近似的位置を決定する段階と、
    前記静止したレシーバを動かさずに、前記第１の放射源の前記決定した位置に少なくとも近似的にカメラを向けるように制御する段階とを有する、方法。
22. 前記複数の静止したレシーバで超音波を受信する段階は、前記静止したレシーバのそれぞれにおいて約２０ｋＨｚから約４０ｋＨｚまでの範囲の超音波に応答する段階を有する、請求項２１に記載の方法。
23. 前記静止したレシーバで受信した前記超音波を処理する段階は、
    前記静止したレシーバのそれぞれの前記超音波の信号をダウンサンプリングする段階と、
    前記ダウンサンプリングされた信号をフィルタして実質的にインパルスとする段階と、
    前記フィルタされた信号の部分をゼロにして反射により生じた超音波信号の部分を除去する段階とを有する、請求項２１に記載の方法。
24. 前記第１の放射源の前記少なくとも近似的位置を決定する段階は、前記第１の放射源に対して水平に配置された前記静止したレシーバの少なくとも２つにより受信した超音波信号の位相差に基づいて前記カメラのパン変数を計算する段階と、
    前記第１の放射源に対して垂直に配置された前記静止したレシーバの少なくとも２つにより受信した超音波信号の位相差に基づいて前記カメラのチルト変数を計算する段階と、
    １つの軸に沿って配置された前記静止したレシーバの少なくとも２つにより受信された超音波信号の波面の曲率に基づいて前記カメラのズーム変数を計算する段階とを有する、請求項２１に記載の方法。
25. プログラマブル制御デバイスにより読み取り可能なプログラム記憶デバイスであって、前記プログラマブル制御デバイスに請求項２１に記載の方法を実行させる、前記プログラム記憶デバイスに格納された命令を有するデバイス。

Images