JP4926091B2 - 音響ポインティングデバイス、音源位置のポインティング方法及びコンピュータシステム - Google Patents

Description

本発明は、コンピュータにおける表示装置の画面上の１点をユーザが指定するためのポインティングデバイスに関し、特に、音響情報を用いたポインティングデバイスの技術に関する。

一般にマウスを用いたポインティングデバイスが、コンピュータの操作に使われることが多い。これはマウスの操作とコンピュータにおける表示装置の画面上のカーソルとが連動して動き、画面上で選択したいポイントは、カーソルをそのポイント上に移動させ、そのポイントの上でクリックすることで選択することができる。

また、タッチパネルを用いたポインティングデバイスについても、既に民生品として世の中に広まっている。タッチパネルでは、ディスプレイ上の各ポイントにユーザが画面を押す圧力を検出する素子を搭載し、各ポイント毎に押されたか否かを判定する。

音響情報を用いたポインティングデバイスとしては、画面を押したときに、超音波が出る特殊なペンを用いたデバイスが存在する（例えば、特許文献１参照）。

また、超音波とともに、光を発生し、受音・受光素子まで超音波と光が到達するまでの時間差を元に、ポインティング位置を検出する装置が存在する（例えば、特許文献２参照）。

また、ディスプレイ上に振動検出素子を設けて、指先がディスプレイに触れた際に、生じる振動の方向を検出し、それに基づき、ポイント位置を検出する装置が存在する（例えば、特許文献３参照）。

特開２００２−３５１６０５号公報 特開２００２−１３２４３６号公報 特開２００２−３５１６１４号公報

しかしながら、コンピュータの操作にマウスを用いたポインティングデバイスでは、マウスを机に置かなければならず、使い勝手が悪い。また、タッチパネルは、付属機器は無いものの、特殊なディスプレイを必要とし、またディスプレイ上の各素子に押下圧力検出装置を付けなくてはならず、ディスプレイに近づいてポインティングする必要がある。

また、特許文献１、２に記載の技術では、ユーザは特殊なペンや座標入力装置を使用する必要がある。また、特許文献３に記載の技術では、表示面を接触して振動を発生させて振動を検出する必要がある。

上記問題点に鑑み、本発明は、コンピュータの操作に際し、付属機器を机の上に一切置くことなく、離れたところからでも、音の情報を用いてポインティング操作可能な音響ポインティングデバイス、音源位置のポインティング方法及び上記音響ポインティングデバイスを用いたコンピュータシステムを提供することを課題とする。

上記課題を解決するために、本発明による音響ポインティングデバイスは、検出すべき音の音源位置を検出し、前記音源位置を表示装置の画面上の１点に変換する音響ポインティングデバイスであって、複数のマイクロホン素子を保持するマイクロホンアレイと、前記マイクロホンアレイにより得られたアナログ音圧データをデジタル音圧データに変換するＡ／Ｄ変換部と、前記デジタル音圧データから、前記マイクロホン素子間の音の相関に基づいて前記検出すべき音の音源方向の推定を行う方向推定部と、前記デジタル音圧データのうち雑音レベルを推定し、前記雑音レベルと前記デジタル音圧データとに基づいて前記音の信号成分を算出して出力信号として出力する出力信号計算部と、前記音源方向と前記出力信号とを統合して前記音源位置を特定する統合部と、特定した前記音源位置を前記表示装置の前記画面上の１点に変換する制御部とを備える。

さらに、本発明による音響ポインティングデバイスは、前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、前記サブマイクロホンアレイ毎に前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向と前記音源位置までの距離を算出する三角測量部と、前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部とを備え、 前記統合部は、前記出力信号と、前記領域内にある前記音源方向及び前記距離とを統合して前記音源位置を特定し、前記制御部は、特定した前記音源位置を前記表示装置の前記画面上の１点に変換する。

さらに、本発明による音響ポインティングデバイスは、前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、前記デジタル音圧データを時間‐周波数領域からなる信号に変換する変換部と、前記サブマイクロホンアレイ毎に、前記信号を用いて前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出する三角測量部と、前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部とを備え、前記統合部は、前記出力信号と、前記領域内にある前記音源方向及び前記距離とを統合して前記音源位置を特定し、前記制御部は、特定した前記音源位置を前記表示装置の前記画面上の１点に変換する。

さらに、本発明による音響ポインティングデバイスは、前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、前記デジタル音圧データを時間‐周波数領域からなる信号に変換する変換部と、前記サブマイクロホンアレイ毎に、前記信号を用いて前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出する三角測量部と、前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部と、前記出力信号計算部で出力した前記出力信号が予め定める閾値以上となるよう判定する出力信号判定部と、前記検出すべき音の周波数特性を予め記憶した音源周波数データベースと、前記音源位置から前記画面上の前記１点を特定できる変換テーブルを格納する画面変換データベースとを備え、前記統合部は、前記閾値以上となる前記出力信号を前記周波数特性で重み付けを行い、前記領域内にある前記音源方向並びに前記距離と統合して前記音源位置を特定し、前記制御部は、特定した前記音源位置を前記画面変換データベースの情報を用いて前記画面上の１点に変換する。

さらに、本発明では、上記音響ポインティングデバイスに用いる音源位置のポインティング方法、及び、上記音響ポインティングデバイスを備えるコンピュータシステムを提供する。

本発明によれば、コンピュータの操作に際し、付属機器を机の上に一切置くことなく、離れたところからでも、音の情報を用いてポインティング操作可能な音響ポインティングデバイスを提供することができる。

更に、上記音響ポインティングデバイスに用いる音源位置のポインティング方法を提供することができる。

更に、上記音響ポインティングデバイスを用いたコンピュータシステムを提供することができる。

以下に、本発明の実施の形態について、添付の図面を参照しながら詳細に説明する。

図１は、本発明に係る実施の形態の一例を示す音響ポインティングデバイスの概略構成図である。音響ポインティングデバイスは、例えば、パーソナル コンピュータ（以下、「ＰＣ」という）のマウス装置の代わりに用いるポインティングデバイスであり、ユーザが机を叩くことで、表示部に表れた特定の位置を指定することが可能なポインティングデバイスである。なお、机などを叩いた音等で音響ポインティングデバイスの音源として検出すべき音を、以下、「突発性音」という。図１に示す音響ポインティングデバイスは、少なくとも２以上のマイクロホン素子（以下、「マイクロホン」ともいう）より構成されるマイクロホンアレイ１０１、マイクロホンアレイ１０１で得られた各マイクロホン素子による多チャンネルの突発性音のアナログ音圧データをデジタル音圧データに変換するＡ／Ｄ（Analogue to Digital）変換部１０２、デジタル音圧データを特定量格納するバッファリング部２０１、デジタル音圧データを時間‐周波数領域の信号に変換するＳＴＦＴ（Short Term Fourier Transform）部２０２、マイクロホンアレイを複数のサブマイクロホンアレイ（以下、「サブアレイ」ともいう）に分割し、同一サブマイクロホンアレイ内におけるマイクロホン素子間の音の相関により算出した突発性音の方向を方位角と仰角とに基づいて方向の推定を行う方向推定部２０３、サブマイクロホンアレイ毎に求めた音源方向を統合し、音源の方位角、仰角及び距離を測定する三角測量部２０６、三角測量部２０６で求めた音源の位置が予め定める範囲内か否かを判定する定位判定部２０７、デジタル音圧データから背景の雑音パワーを推定する雑音推定部２０４、デジタル音圧データと雑音パワーからＳＮＲ（Signal to Noise Ratio）を推定するＳＮＲ推定部２０５、ＳＮＲ推定部２０５が出力するＳＮＲの推定値が予め定める閾値以上となるＳＮＲを出力するＳＮＲ判定部２０８、デジタル音圧データとＳＮＲから信号パワーを計算するパワー計算部２０９、信号パワーが予め定める閾値以上となる信号パワーを出力するパワー判定部２１０、ＳＮＲ判定部とパワー判定部とが同時に特定した時間‐周波数成分を定位判定部が予め定義した領域内の音源位置座標として出力する統合部２１１、及び、この音源位置座標を表示画面上の特定の点に変換する制御部２１２を備える。

更に、予め対象とする音の周波数特性を格納した音源周波数データベース（以下、「ＤＢ」という）２０８と、音源座標と表示画面上の特定の点とを対応付ける画面変換ＤＢ２１３とを備える。

なお、上記デジタル音圧データを時間領域からなる信号のみとして用いた場合は、ＳＴＦＴ部２０２、パワー判定部２１０、ＳＮＲ判定部及び音源周波数ＤＢ２０８を省略して音源位置を特定することも可能である。図２に、時間領域のみの信号を用いる上記音響ポインティングデバイスの概略構成図を示す。図２は、音源位置を特定するための最小限の構成を示している。ここで、出力信号計算部とは、雑音推定部２０４、ＳＮＲ推定部２０５及びパワー計算部２０９をいう。更に、音源位置をより正確に特定するためには、三角測量部２０６及び定位判定部２０７を含む必要がある。

図３は、上記音響ポインティングデバイス及びそれを備えるコンピュータシステムのハードウェア構成図である。図３（ａ）は、上記音響ポインティングデバイスのハードウェアの構成図を示し、上述したマイクロホンアレイ１０１、上記アナログ音圧データをデジタル音圧データに変換するＡ／Ｄ変換部１０２、上記音響ポインティングデバイスに係る処理を行う中央演算装置１０３、メモリ１０４、及び、上記音響ポインティングデバイスに係るプログラムやマイクロホンアレイの各マイクロホン素子の物理座標を格納する記憶媒体１０５から構成される。図１に示す上記音響ポインティングデバイスのうち、マイクロホンアレイ１０１とＡ／Ｄ変換部１０２を除く各構成部は、中央演算装置１０３上で揮発性メモリ１０４を使用しながら上記プログラムが実行されることにより、実現される。

図３（ｂ）は、上記音響ポインティングデバイスを備えるコンピュータシステムのハードウェア構成図である。上記コンピュータシステムは、音響ポインティングデバイス１０、 音響ポインティングデバイス１０の音源位置に関する情報を用いるプログラムを処理する中央演算装置２０、上記プログラムや演算処理の際に用いる記憶装置３０、及び、音源位置を画面上に表示するための表示装置を備える。

次に、図１に示す各構成部について更に詳細に説明する。
及び、音源位置を画面上の点として表示するための表示装置１０６を備える。

Ａ／Ｄ変換部１０２により変換された多チャンネルのデジタル音圧データは、バッファリング部２０１にチャンネル毎に特定量貯められる。時間‐周波数領域での処理は、通常、１サンプル得られるたびに処理を行うのではなく、複数サンプル得られた後、一括して処理を行う。特定量の音圧データが貯まるまでは一切処理をせず、特定量のデジタル音圧データが貯まった後、初めて処理を行う。

バッファリング部２０１は、この特定量のデジタル音圧データを貯める機能を有する。各マイクロホン素子で得られたデジタル音圧データを、０から始まるインデックスiにより、マイクロホン素子ごとに区別して処理する。ｎを整数とし、デジタル変換を開始してからn回目にサンプリングされたi番目のマイクロホン素子のデジタル音圧データをxi(n)と表記する。

ＳＴＦＴ（Short Term Fourier Transform）部２０２では、マイクロホン素子毎のデジタル音圧データを下記（式１）に従い、時間−周波数領域の信号に変換する。

ここで、jは（式２）で定義される。

また、Xi(f,τ)は、i番素子のf番目の周波数成分となる。fは0から始まり、Ｎ／２で終わる。Nは時間‐周波数領域の信号に変換するデジタル音圧データのデータ長とする。通常フレームサイズと呼ばれる。Ｓは通常フレームシフトと呼ばれ、時間‐周波数領域の信号に変換する際の、デジタル音圧データをずらす量となる。バッファリング部２０１は、マイクロホン素子ごとに、新しいＳサンプルを取得するまで、デジタル音圧データを貯め続け、Sサンプル取得したのち、ＳＴＦＴ部２０２で、時間‐周波数領域の信号に変換する。

τはフレームインデックスと呼ばれ、時間‐周波数領域の信号に変換した回数に相当する。τは0から始まる。w(n)は窓関数と呼ばれ、通常、ブラックマンウィンドウ、ハニング窓、ハミング窓といった関数が使われる。窓関数を用いることで、精度の高い時間‐周波数分解が可能となる。

時間‐周波数領域の信号に変換したデジタル音圧データは、方向推定部２０３に送られる。

方向推定部２０３では、まず、マイクロホンアレイを形成するマイク素子を複数のサブマイクロホンアレイに分割する。そしてサブマイクロホンアレイごとに、音源方向を各々の座標系で推定する。サブマイクロホンアレイへの分割は、例えば、Ｒ個のサブマイクロホンアレイに分割する場合、マイクロホンアレイを形成するＭ個のマイク素子は、Ｒ個のサブマイクロホンアレイのいずれか少なくとも１つに割り振られる。２つ以上のサブマイクロホンアレイに割り振られてもよく、この場合、複数のサブマイクロホンアレイが同一のマイク素子を有することとなる。

図４は、サブマイクロホンアレイを示す図である。図４（ａ）は、サブマイクロホンアレイの直線配置を示す図である。直線配置の場合は、マイクロホン素子が並ぶアレイ方向と直交する方向を角度０度と定め、音源とサブマイクロホンアレイを結ぶ直線と、その方向から半時計周りに上記直線との成す角θのみが推定可能となる。また、ｄはマイク間隔を表している。図４（ｂ）は、上述したＭ個のマイク素子をＲ個のサブマイクロホンアレイに割り振られた状態を示す図であり、１個のサブマイクロホンアレイに３個のマイク素子が割り振られて構成されている。

サブマイクロホンアレイの２つのマイクロホン素子が机上面に平行に配置されたときは、上記角θは水平方向の方位角として推定される。一方、上記２つのマイクロホン素子が机上面に垂直に配置されたときは、上記角θは垂直方向の仰角として推定される。このようにして、方位角及び仰角が推定される。

サブマイクロホンアレイは、少なくとも２つのマイクロホン素子を有するものとし、有するマイクロホン素子が２つの場合は、θを（式３）で推定する。

ここで、ρは、２つのマイクロホン素子の入力信号の、フレームτ、周波数インデックスfの位相差とする。Fは周波数インデックスfの周波数(Hz)とする。Ｆ＝（ｆ＋０．５）／Ｎ×Ｆｓ／２とする。Ｆｓは、Ａ／Ｄ変換部１０２のサンプリングレートである。ｄは２つのマイクロホン素子の物理的な間隔（ｍ）とする。ｃは音速（ｍ／ｓ）とする。音速は、厳密、温度や媒質の密度に依存し変化するが、通常３４０ｍ／ｓなど１つの値に固定し用いる。

方向推定部２０３の内部の処理は、時間‐周波数毎に同一の処理であるため、以後、時間‐周波数のサフィックス(f,τ)は省略して表記する。方向推定部２０３の処理は時間‐周波数毎に同一の処理を行う。サブマクロホンアレイが３つ以上のマイクロホン素子を用いて、かつそれらが直線上に配置している場合、直線配置におけるSPIREアルゴリズムにより、その方向を高精度に算出することが可能である。SPIREアルゴリズムの詳細は、M. Togami, T. Sumiyoshi, and A. Amano,「Stepwise phase difference restoration method for sound source localization using multiple microphone pairs」,ICASSP2007, vol.I, pp.117-120, 2007.に記載されている。

SPIREアルゴリズムでは、隣接するマイクロホン素子の間隔（以下、「マイク間隔」という）の異なる複数のマイクロホンペアを用いるため、サブマクロホンアレイを構成するマイクロホン素子をそれぞれのマイク間隔が異なるように配置することが望ましい。各マイクロホンペアをマイク間隔が小さいものから順にソートする。pを、一つのマイクロホンペアを特定するための印でデックスとし、p=1が最もマイク間隔が短いマイクペアとなり、p=Pが最もマイク間隔が長いマイクロホンペアとする。p=1からp=Pまで、順に次の処理を実行する。まず、下記（式４）を満たす整数ｎｐを見つける。

不等式で囲まれた範囲が2πに相当するため、必ず一つだけ解が見つかる。そして、下記（式５）を実行する。

また、上記の処理をp=1に対して行う前に初期値として、下記（式６）を設定する。

また、dpはp番目のマイクロホンペアのマイクロホン素子間の間隔とする。上記の処理をp=Pまで実行したのち（式７）で音源方向を推定する。

音源方向推定の推定精度は、マイク間隔が長い程、高まることが知られているが、方向を推定する信号の半波長以上マイク間隔が長ければ、マイク間の位相差から一つの方向を特定することができず、同じ位相差を持つ二つ以上の方向が存在してしまうことが知られている（空間的エイリアシング）。SPIREアルゴリズムでは、長いマイク間隔で生じた二つ以上の推定方向のうち、短いマイク間隔で求めた音源方向に近い方向を選択するような機構を備えている。したがって、空間的エイリアシングが生じるような長いマイク間隔でも高精度に音源方向を推定することができるという利点を備えている。マイクペアが非直線配置の場合は、非直線配置用のSPIREアルゴリズムにより、方位角と場合によっては仰角についても算出することが可能となる。

また、上記デジタル音圧データが、時間‐周波数領域の信号でない場合、即ち、時間領域でのみ場合は、上記SPIREアルゴリズムは用いることができない。時間領域のみの場合は、ＧＣＣ−ＰＨＡＴ(Generalized Cross Correlation PHAse Transform)法が用いられて、方向が推定される。

雑音推定部２０４では、ＳＴＦＴ部２０２の出力信号から背景の雑音レベルを推定する。雑音レベルの推定には、ＭＣＲＡ(Minima Controlled Recursive Averaging)などを用いる。MCRAの雑音推定処理は、minimum statistics法をベースとする。minimum statistcis法は、周波数毎に、数フレームの間で最小のパワーを雑音パワーの推定値とする。一般に音声や机のたたき音は、周波数毎に、突発的に大きなパワーを持つことが多く、長い間大きいパワーを保持することは少ない。そのため、数フレームの間で、最小のパワーを取る成分は、雑音のみが含まれる成分と近似することができ、音声発話区間であっても、高精度に雑音パワーを推定可能である。推定したマイク素子・周波数毎の雑音パワーをNi(f,τ)と表記する。iはマイクロホン素子のインデックスであり、マイクロホン素子毎に雑音パワーを推定する。また雑音パワーは毎フレーム更新するため、τに依存する値となる。雑音推定部２０４は、推定したマイクロホン素子・周波数毎の雑音パワーNi(f,τ)を出力する。

時間領域のみの場合は、雑音は、突発性音と比較して、パワーの出力は小さいが継続時間が長くなる特徴があることから、雑音パワーの推定が可能となる。

SNR推定部２０５は、推定した雑音パワー及びマイクロホンアレイの入力信号Xi(f,τ)から下記（式８）でSNR(Signal To Noise Ratio)を推定する。

SNRi(f,τ)は、マイクインデックスiのフレームτ、周波数インデックスfのSNRである。SNR推定部２０５は推定したSNRを出力する。SNR推定部２０５は、入力パワーを時間方向に平滑化するなどしても良い。平滑化することで、雑音に強い安定したSNR推定が可能である。

三角測量部２０６は、サブマクロホンアレイ毎に求めた音源方向を統合し、方位角と仰角及び音源位置までの距離を測定する。各サブマクロホンアレイ毎に各々の座標系で求めた音源方向について、i番目のサブマクロホンアレイで求めた音源方向を下記（式９）で表す。

例えば、図４に示すように、アレイ方向と直交する方向を角度０度と定め、アレイ方向と直行する方向から半時計周りを音源方向と定義する。ここで、一般的には、音源方向は方位角と仰角の２要素で構成されるが、サブマクロホンアレイが直線配置の場合など、どちらか一方しか推定できない場合は、その一方の要素だけで構成されていても良い。 この場合、要素数は１つとなるi番目のサブマクロホンアレイの座標系で求めた音源方向を、絶対座標系における音源方向に変換する。変換した絶対座標系における音源方向をPiとする。i番目のサブマクロホンアレイの結果から、音源は、音源方向Pi上に存在すると推定することができる。このことより、全てのサブマクロホンアレイで求めた音源方向Piの交点が音源位置であると推定することが妥当だと考えられる。このことより、三角測量部２０６では、音源方向Piの交点を音源位置として出力する。

一般的には、音源方向Piの交点が一つに定まらない場合がある。そのような場合には、全てのサブマクロホンアレイの組について、二つの音源方向の交点を求めて、それら交点の平均値を音源位置として出力する。平均化することで、交点位置のばらつきについて、頑健性が増す。

場合によっては、二つの音源方向が交点を持たないことがある。その場合は、その交点を持たないサブマクロホンアレイの組で求めた解を、該当する時間‐周波数領域の音源位置推定のために使わないようにするか、または、該当する時間‐周波数領域では、音源位置推定を行わないようにする。交点を持たないときというのは、観測対象の音源以外の音源が存在するなどして、位相差の情報が雑音を含む場合と考えられる。したがって、このような時間‐周波数領域で推定した音源位置を使わないことで、より高精度な音源位置の推定が可能になる。

また、サブマクロホンアレイが直線配置の場合は、方位角及び仰角の両方を推定することはできず、サブマクロホンアレイのアレイ方向と音源との成す角のみが推定可能となる。この場合、サブマクロホンアレイのアレイ方向と音源との成す角が推定した値となるような平面上に音源が存在する。各サブマクロホンアレイで求めたこのような平面の交点を音源位置または音源方向として出力する。全てのサブマクロホンアレイが直線配置の場合は、全てのサブマクロホンアレイの組み合わせについて求めた平面の交点の平均値を音源位置として出力する。平均化することで、多少の交点位置のばらつきについて、頑健性が増す。

また、一部のサブマクロホンアレイが直線配置で、他のサブマクロホンアレイが非直線配置の場合は、直線配置のサブマクロホンアレイ１つと、非直線配置のサブマクロホンアレイ１つとを組み合わせることで、音源位置の推定値を一つ得ることができる。直線配置と非直線配置を組み合わせて使う場合は、交点が一つ決まるようなサブマクロホンアレイの最小数を１単位として、全てのサブマクロホンアレイの組み合わせで求めた交点の平均値を、最終的な音源位置の推定値として出力する。

定位判定部２０７は、三角測量部２０６で求めた音源位置が机の上であるかどうか、または、その音源位置が予め定めるたたきエリア内かどうかを判定する。三角測量部２０６で求めた音源位置の情報から計算される音源の机からの高さの絶対値が予め定める閾値以下かどうか、また、音源位置の情報から計算される音源の机の上での平面的な座標がたたきエリア内かどうかの二つの観点を同時に満たす場合は、定位判定部２０７から音源位置の情報として音源方向及び音源までの距離が出力される。なお、音源方向及び音源までの距離を方位角及び仰角として出力してもよい。また、定位判定部では、上述した二つの観点を同時に満たす場合は、正の判定結果を出力し、同時に満たさない場合は、負の判定結果を出力して、後述する統合部２１１において、正の判定結果と三角測量部から出力された音源方向及び距離を統合してもよい。たたきエリアの定義については、後述する。

SNR判定部２０８は、SNR推定部２０５が出力する時間‐周波数毎のSNRの推定値が予め定める閾値以上となる時間‐周波数成分を出力する。パワー計算部２０９は、SNR推定部２０５が出力する時間‐周波数毎のSNRから信号パワーPsを下記（式１０）で計算する。

ここで、Pxは入力信号のパワーとする。

パワー判定部２１０では、パワー計算部２０９が出力する時間‐周波数毎の信号パワーが予め定める閾値以上となる時間‐周波数成分を出力する。統合部２１１では、パワー判定２１０及びSNR判定２０８が同時に特定した時間‐周波数成分について、該当する成分のパワー計算２０９が出力するパワーを、音源周波数DB２０８に保持する周波数毎の重みで重み付けする。即ち、机を叩いた音など対象とする音の周波数特性が予め計測できる場合は、その周波数特性を音源周波数DB２０８に記憶する。そして音源周波数DB２０８に記憶しておいたパワーで重みをつけることで、より精度良く位置推定を行うことが可能となる。

パワー判定部２１０及びSNR判定部２０８が同時に特定しなかった時間‐周波数成分については、重みをゼロとする。また、定位判定部２０７でたたきエリア内で無いと判定された時間‐周波数成分についても、重みをゼロとする。

なお、本実施の形態においては、出力信号判定部は、ＳＮＲ判定部２０８及びパワー判定部２１０を いう。

たたきエリアを一辺数ｃｍ程度の格子状に切り、時間‐周波数毎に、該当する成分の音源位置の推定結果がi番目の格子内に含まれる場合、その格子のパワーPiに該当する重み付きパワーを加える。全ての時間‐周波数毎でこのように格子のパワーの加算処理を行う。加算処理を行った後のパワーが最大となる格子を最終的な音源位置として出力する。格子の大きさや数は予め定義する。

また、格子のパワーの加算処理を行う時間長についても予め定義するか、または、VAD(Voice Activity Detection)を用いて、音声区間と判定された時間帯についてのみ、上記の加算処理を行うという構成をとっても良い。加算処理を行う時間を短くすることで、たたき音が鳴った後、その音源位置を判定するまでの反応時間を、より短くすることができる。しかし、短くすると雑音に弱くなるという欠点がある。

また、加算処理を行う時間を長くすることで、たたき音がなった後、その音源位置を判定するまでの反応時間は長くなるが、雑音に対して頑健になるという利点がある。このようなトレードオフの関係を考慮に入れて、加算処理を行う時間を決める必要があるが、一般的に叩き音は１００ｍｓ程度の短い時間で鳴り止むため、加算処理を行う時間もその程度の時間に設定することが望まれる。また、格子の最大パワーが予め定める閾値より小さい場合は、たたき音が無かったものとして結果を破棄する。一方、格子の最大パワーが予め定める閾値より大きい場合は、その音源位置を出力して統合部２１１の処理を終了する。

制御部２１２では、統合部２１１が出力するたたき音の音源位置の座標を画面変換DB２１３の情報を元に、画面上の特定の点に変換する。

画面変換DB２１３は、音源位置の座標を入力として、画面上の特定の点を変換するためのテーブルを保持する。変換は、２行２列の行列による線形変換など、たたき音の音源位置から画面上の１点を特定できる変換でいずれでもよい。例えば、音源位置推定時に得た音源の高さに関する情報は無視し、音源の水平面上の位置情報と画面上の１点を対応つけて、変換した画面上の１点をあたかもマウスでクリックしたか、またはドラッグしたかのように、PCを制御する。また高さ情報を利用し、例えばある一定以上の高さから音が発生している場合は、画面上の一点をダブルクリックしたとみなし、またある一定以下の高さから音が発生している場合は、画面上の一点をクリックしたとみなすなど、高さ情報に応じて解釈を変えても良い。そうすることで、より多様なユーザ操作が可能となる。

図５は、机上におけるユーザのたたき位置の設定例を示す図である。たたかれる対象となる机３０１上に、事前にたたきエリアとして、机上のある平面を事前に指定する。推定したたたき音の音源位置がこのたたきエリア内である場合、その音は受理される。マイクロホンアレイは、サブマクロホンアレイ３０３〜３０５のように、ディスプレイ３０２上に設定しても良いし、別途机の上に設定しても良い。ここでは、サブマイクロホンアレイ３０３は、仰角を推定し、サブマイクロホンアレイ３０４、３０５は方位角を推定する。ディスプレイ上にサブマイクロホンアレイを設置することで、マイクロホンアレイの座標軸の中心とディスプレイの中心とをそろえることができ、より直感的にディスプレイの仮想空間上の一点を指定することが可能となる。

図６は、上記の机のたたき位置検出を用いて、ユーザが押した画面上のボタンを判別する装置の処理フローを示す図である。

システム起動後、終了判定５０１にて、コンピュータがシャットダウンした場合や、机のたたき位置検出プログラムの終了ボタンをユーザが押すなどの何らかの方法で、プログラムを終了するべきかどうかを判定する。

終了判定５０１にて、終了すると判定された場合、終了し処理が終わる。終了すると判定されなかった場合、処理はデジタル変換５０２に移り、マイクロホンアレイで取り込んだアナログ音圧データをデジタル音圧データに変換する。変換は、Ａ／Ｄ変換部にて行う。変換後のデジタル化されたデジタル音圧データをコンピュータ上に取り込む。デジタル変換は、１サンプル毎に行っても良いし、机たたき音の最小処理長に合せるなどして、複数サンプル同時にコンピュータに取り込んでも良い。取り込んだデジタルデータを、時間‐周波数変換５０３にて、短時間フーリエ変換を用いて、時間‐周波数毎の成分に分解する。短時間フーリエ変換を用いることで、周波数成分ごとに音の到来方向を推定することが可能となる。

机たたき音プログラムを使う環境では、机たたき音のほかに、雑音として人の声が存在する場合が多い。人の声は時間‐周波数領域で、スパースな信号であり、一部の周波数帯域に成分が偏在することが知られている。したがって、このように時間‐周波数領域で、音源方向を推定することにより、人の声が偏在する周波数成分を容易に棄却することが可能となり、たたき音検出精度が向上する。

検出結果棄却判定５０５では、検出したたたき音が本当に机上のたたきエリア内におけるたたき音であるか否かを判定する。たたき音では無いと判定された場合、処理を終了判定５０１に移る。たたき音であると判定された場合、たたきエリアの各点と画面上の1点とのマッピングを予め定義しておき、ボタンを押した位置を判別する押下位置判別５０６により、そのマッピングに従い、たたいた位置の情報から画面上の１点を特定する。たたきエリアの位置にボタンが存在するか否かを、ボタン存在判定５０７で判定し、存在しないと判定した場合、処理を終了判定５０１に戻す。ボタンが存在すると判定された場合、そのボタンを画面上でマウス等他のポインティングデバイスを使ってクリックした場合と同様の処理をボタンアクション５０８として実行する。

図７は、定位判定部、パワー判定部、ＳＮＲ判定部及び統合部の具体的な処理フローを示したものである。定位判定部２０７では、時間‐周波数成分毎に、複数のサブマクロホンアレイを用いて三角測量部で算出した音源方向及び距離、即ち、方位角及び仰角の情報を元に、上記方位角及び仰角が予め定義するたたきエリア内か否かを判定する（定位判定６０１）。予め定義するたたきエリアは、図５に記載のたたきエリアのように、机上の長方形のエリアであっても良いし、空間的に厚みを持っても良い。仰角と方位角の情報から、たたきエリアの中か否かを判断できる空間であれば良い。

パワー判定部２１０は、たたき音の大きさが上記MCRA法のような方式を用いて推定した雑音パワーと比べて大きいかどうかを判定する（雑音パワー比較６０２）。MCRA法は、音声と背景雑音が混ざった音の中から、背景雑音のパワーを推定する方式である。MCRA法は、最小統計量に基づく手法である。最小統計量とは、音声は突発的に大きな音量を持つとの仮説の下、過去数フレーム内で最小のパワーを背景雑音のパワーとみなす手法である。ただし、最小統計量で推定した背景雑音パワーは、実際の背景雑音のパワーより小さくなる傾向にある。MCRA法は、最小統計量で推定した背景雑音パワーを時間方向に平滑化するなどして補正し、実際の背景雑音のパワーに近い値を算出する手法である。たたき音は音声では無いが、突発的に大きなパワーを取るという観点では、音声と同様の統計的性質を示すため、MCRA法などの背景雑音パワーの推定法が適用可能となる。

雑音パワーよりたたき音のパワーが大きかった場合は、次に、背景雑音とたたき音のパワーのSNRを計算する。ＳＮＲ判定部２０８は、計算したSNRよりたたき音パワーが大きいかどうかを判定（SNR判定６０３）し、大きかった場合は、その時間‐周波数成分をたたき音成分と判定する。

統合部２１１では、たたきエリアを予め、格子状に分割しておく。たたき音成分と判定された時間‐周波数成分を、その成分の方位角と仰角の推定値から、該当する格子内に割り当てる。割り当てる際、該当する格子に、そのたたき音成分のパワーに、周波数に依存した重みをかけた値を加算する。このような処理を、予め定義する周波数帯域及び、予め定義する時間長だけ行う。そして、パワーが最大となる格子を検出し（格子検出６０４）、その格子の方位角と仰角をたたき音の方位角と仰角として出力して音源位置を特定する。ここで、パワーが最大となる格子のパワーが予め定義する閾値を下回った場合は、たたき音は存在しなかったと判定する。

なお、定位判定部２０７、パワー判定部２１０及びＳＮＲ判定部２０８の各々の処理順序は、図７に示す順序に限定されるものではない。統合部２１１における処理の前に、定位判定部２０７、パワー判定部２１０及びＳＮＲ判定部２０８の各々の処理が終了していればよい。

図８は、典型的なたたき音の時間波形を示した図である。たたき音は、突発的に大きい値を取る（たたき音の直接音）。その後、たたき音の反響・残響成分が到来する。この反響・残響成分は、様々な方向から到来する音とみなすことができる。したがって、反響・残響成分を直接音と比較して、方向推定が困難であるため、たたき音の方向推定に使うのは望ましくない。反響・残響成分は、一般的には、直接音よりもパワーが小さいため、突発的に大きい音がした直後の、その突発的に大きい音よりパワーが小さい成分に関しては、たたき音とみなさないという方法で、判別可能である。そのような観点から、周波数判定部で、時間‐周波数毎のたたき音成分を各格子に割り当てる際も、前のフレームと比較して、パワーが小さい成分は、格子に割り当てないという処理を加えても良い。加えることで、反響・残響に強いたたき音検出が可能となる。

図９は、時間‐周波数成分毎の格子への成分割り当てについての模式図である。たたき音検出装置は、マウスなどのPC操作機器の代替品として使われることを想定している。そのため、たたき音検出装置が使われる環境では、人の話し声など、多数の音声音源が存在することが想定される。したがって、音声音源が存在する環境でもロバストに動作するたたき音検出装置が必要とされる。音声は、一般には、時間‐周波数領域で、スパースな信号と考えられている。つまり、音声は、時間‐周波数領域では一部の成分にパワーが偏在している。したがって、この偏在している一部の成分を取り除くことで、音声音源が存在する環境でもロバストにたたき音検出装置を動作させることが可能となる。

統合部２１１では、仰角と方位角とがたたきエリア内にあるかどうかを判定し、たたきエリア内にある場合のみ、たたき音とみなしている。このような判定を行うことで、音声成分が偏在する一部の時間‐周波数領域を棄却することが可能となる。

統合部２１１では、パワーが最大となる格子を出力するように動作するが、それぞれのサブマイクロホンアレイにパワーが最大となる方向を求めるようにした後、その最大方向を統合し、三角測量的にたたき音の音源方向を推定してもよい。

図１０は、サブマクロホンアレイにおける方向毎の頻度の例を示す図である。例えば、図１０に示すように、サブマクロホンアレイ毎に、それぞれのサブマクロホンアレイからみた方向毎のパワーを加算する。２次元平面又は３次元空間上に時間‐周波数成分を割り当てるという方式では、各格子毎の被割り当て数が極端に少なくなることも多い。このような場合は、それぞれのサブマクロホンアレイ毎に別々にヒストグラムを算出し、それぞれのヒストグラムの最大値を与える方向を別々に算出した後、三角測量で統合するほうがロバストな推定が可能となる。

図１１は、たたきエリアを高さ方向に厚みを持たせて設定した例である。この例のように、たたきエリアを高さ方向に厚みを持たせることで、多少の仰角方向の推定誤差にロバストとなる他、指を空中で鳴らすなどした音を検出することが可能となる。

図１２は、サブマクロホンアレイの配置の一例を示す図である。たたきエリアを取り囲むように、複数のサブマクロホンアレイ１１０１〜１１０４を配置した例である。図１２に示すように、たたきエリアを取り囲むように配置することで、図５や図１１に示したサブマクロホンアレイ３０３〜３０５の配置と比較して、より高精度に叩き音位置を検出することが可能となる。

図１３は、上記音源ポインティングデバイスをたたき音検出装置に応用した応用例を示す図である。ディスプレイ１２０４を机の上に、表示面と机面とが並行になるように配置して、そのディスプレイ上に複数のサブマクロホンアレイ１２０１〜１２０３を配置する。たたき音エリアはディスプレイ画面全体とする。このような設定により、ユーザがディスプレイ上の表示面の一点を叩いた場合、その叩いた点がどこかを知ることができる。即ち、タッチパネルの代わりとして図１３に示すようなたたき音検出装置を用いることが可能となる。またタッチパネルでは文字通り「タッチしたかどうか」しか検出できないが、本発明のたたき音検出装置を用いれば、たたきエリアを高さ方向に厚みを持たせて設定することで、空間上で指を鳴らした場合も検出することが可能となる。

図１４は、たたき音検出装置を、野球の「ストライク判定装置」に応用した応用例である。いわゆるストライク判定装置では、図１４に示すような、的１３０５に対して、投球エリア１３０１からボールを投げる。そして的１３０５上の１から９までのマスのうち、どのマスにあたったかを判定する。ボールが的にあたる際に生じる音は、突発的に大きなパワーを持つ突発性音のため、本発明のたたき音検出装置により検出することが可能である。この的に、図１４に示すような複数のサブマクロホンアレイ１３０２〜１３０４を配置し、たたき音検出装置を適用することで、的にボールが当たった際に、１から９のどのマスにあたったか、またはフレームにあたったかを判定することが可能になる。フレームにボールが当たった際の金属音とマスにボールが当たったときの音は周波数特性が異なるため、たたき音と判定された周波数成分の特性を参照することで、フレームにボールが当たった場合とマスにボールが当たった場合とを区別することが可能となる。

図１５は、たたき音検出装置を、サッカーの「ゴール位置判定装置」に応用した応用例である。構成としては、図１４のストライク判定装置と同じ構成となる。キックエリア１４０１から蹴られたボールが的１４０５内の１から９のマスのうち、どのマスに当たったかをサブマクロホンアレイ１４０２〜１４０４を用いた、たたき音検出装置で判定する。

図１６は、たたき音検出装置を、卓球の「バウンド位置判定装置」に応用した応用例である。卓球のボールがバウンドした位置を知ることが可能となる。構成としては、ストライク判定装置やゴール位置判定装置と同じである。コート１５０１上をボールがバウンドする位置を、サブマクロホンアレイ１５０２〜１５０７を用いたたたき音検出装置で、判定する。卓球のボールがコート１５０１をバウンドする際の音は突発的な音であるため、本たたき音検出装置で判定可能となる。これにより、卓球の実況中継などで、視聴者がこれまで得ることができなかった、ボールの軌跡についての情報を得ることが可能となる。

図１７は、たたき音検出装置を、「テニスの壁うち」に応用し、壁に当たったボールの位置を検出する応用例である。テニスで良く行われる壁うちでは、これまで壁のどこに当たったのかを知る手段が無かったため、打った方向が良かったのか悪かったのかを判定することが出来なかった。壁１６０１に配置した複数のサブマクロホンアレイ１６０２〜１６０４を用いた、たたき音検出装置により、ボールの当たった位置を検出することが可能となる。例えば、ボールの当たった位置を記憶しておき、後でコンピュータのディスプレイ上に表示することで、当たった位置のばらつきが大きいなどといった結果を見ることが可能となる。

図１８は、上記音源ポインティングデバイスをたたき音検出装置に応用した他の応用例を示す図である。ユーザが指をならすなど、机をたたく音以外の突発音を空中で鳴らした場合の使用例を示した図である。たたきエリアを高さ方向に厚みを持たせて設定することで、空中で鳴る突発音についても検出することが可能となる。

本発明に係る実施の形態の一例を示す音響ポインティングデバイスの概略構成図である。 時間領域のみの信号を用いる上記音響ポインティングデバイスの概略構成図である。 上記音響ポインティングデバイス及びそれを備えるコンピュータシステムのハードウェア構成図である。 上記音響ポインティングデバイスに用いるサブマイクロホンアレイの直線配置を示す図である。 上記音響ポインティングデバイスにおける机上のユーザのたたき位置の設定例を示す図である。 上記音響ポインティングデバイスにおけるたたき位置の検出フローを示す図である。 上記音響ポインティングデバイスにおける判定及び統合の処理フローを示す図である。 上記音響ポインティングデバイスにおけるたたき音の時間波形を示す図である。 上記音響ポインティングデバイスにおける時間‐周波数成分毎の格子の模式図である。 上記音響ポインティングデバイスにおける音源方向毎のパワーを示す図である。 上記音響ポインティングデバイスにおけるたたきエリアを高さ方向に設定した例を示す図である。 上記音響ポインティングデバイスにおけるサブマイクロホンアレイの配置を示す図である。 上記音源ポインティングデバイスをたたき音検出装置に応用した応用例を示す図である。 上記音源ポインティングデバイスをたたき音検出装置に応用した他の応用例を示す図である。 上記音源ポインティングデバイスをたたき音検出装置に応用した他の応用例を示す図である。 上記音源ポインティングデバイスをたたき音検出装置に応用した他の応用例を示す図である。 上記音源ポインティングデバイスをたたき音検出装置に応用した他の応用例を示す図である。 上記音源ポインティングデバイスをたたき音検出装置に応用した他の応用例を示す図である。

符号の説明

１０１…マイクロホンアレイ、１０２…Ａ／Ｄ変換部、１０３…中央演算装置、１０４…揮発性メモリ、１０５…記憶媒体、１０６…表示装置、２０１…バッファリング部、２０２…STFT部、２０３…方向推定部、２０４…雑音推定部、２０５…SNR推定部、２０６…三角測量部、２０７…定位判定部、２０８…ＳＮＲ判定部、２０９…パワー計算部、２１０…パワー判定部、２１１…統合部、２１２…制御部、２１３…画面変換ＤＢ、２１４…音源周波数ＤＢ、３０１…机、３０２…ディスプレイ、３０３、３０４、３０５…サブマイクロホンアレイ。

Claims (10)

1. 検出すべき音の音源位置を検出し、前記音源位置を表示装置の画面上の１点に変換する音響ポインティングデバイスであって、
   複数のマイクロホン素子を保持するマイクロホンアレイと、
   前記マイクロホンアレイにより得られたアナログ音圧データをデジタル音圧データに変換するＡ／Ｄ変換部と、
   前記デジタル音圧データから、前記マイクロホン素子間の前記音の相関に基づいて前記検出すべき音の音源方向の推定を行う方向推定部と、
   前記デジタル音圧データのうち雑音レベルを推定し、前記雑音レベルと前記デジタル音圧データとに基づいて前記音の信号成分を算出して出力信号として出力する出力信号計算部と、
   前記音源方向と前記出力信号とを統合して前記音源位置を特定する統合部と、
   特定した前記音源位置を前記表示装置の前記画面上の１点に変換する制御部とを備える
   ことを特徴とする音響ポインティングデバイス。
2. 請求項１に記載の音響ポインティングデバイスにおいて、
   前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、
   前記サブマイクロホンアレイ毎に前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向と前記音源位置までの距離を算出する三角測量部と、
   前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部とを備え、
   前記統合部は、前記出力信号と、前記領域内にある前記音源方向及び前記距離とを統合して前記音源位置を特定し、
   前記制御部は、特定した前記音源位置を前記表示装置の前記画面上の１点に変換する
   ことを特徴とする音響ポインティングデバイス。
3. 請求項１に記載の音響ポインティングデバイスにおいて、
   前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、
   前記デジタル音圧データを時間‐周波数領域からなる信号に変換する変換部と、
   前記サブマイクロホンアレイ毎に、前記信号を用いて前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出する三角測量部と、
   前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部とを備え、
   前記統合部は、前記出力信号と、前記領域内にある前記音源方向及び前記距離とを統合して前記音源位置を特定し、
   前記制御部は、特定した前記音源位置を前記表示装置の前記画面上の１点に変換する
   ことを特徴とする音響ポインティングデバイス。
4. 請求項１に記載の音響ポインティングデバイスにおいて、
   前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、
   前記デジタル音圧データを時間‐周波数領域からなる信号に変換する変換部と、
   前記サブマイクロホンアレイ毎に、前記信号を用いて前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出する三角測量部と、
   前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部と、
   前記出力信号計算部で出力した前記出力信号が予め定める閾値以上となるよう判定する出力信号判定部と、
   前記検出すべき音の周波数特性を予め記憶した音源周波数データベースと、
   前記音源位置から前記画面上の前記１点を特定できる変換テーブルを格納する画面変換データベースとを備え、
   前記統合部は、前記閾値以上となる前記出力信号を前記周波数特性で重み付けを行い、前記領域内にある前記音源方向及び前記距離と統合して前記音源位置を特定し、
   前記制御部は、特定した前記音源位置を前記画面変換データベースの情報を用いて前記画面上の１点に変換する
   ことを特徴とする音響ポインティングデバイス。
5. 検出すべき音の音源位置を処理装置で検出し、前記音源位置を表示装置の画面上の１点に変換する音源位置のポインティング方法であって、
   前記処理装置は、
   複数のマイクロホン素子を保持するマイクロホンアレイにより得られたアナログ音圧データをデジタル音圧データに変換し、
   前記デジタル音圧データから、前記マイクロホン素子間の前記音の相関に基づく前記音の音源方向の推定を行い、
   前記デジタル音圧データのうち雑音レベルを推定し、前記雑音レベルと前記デジタル音圧データとに基づいて前記音の信号成分を算出して出力信号として出力し、
   前記音源方向と前記出力信号とを統合することにより、前記音の音源位置を前記表示装置の前記画面上の点に変換する
   ことを特徴とする音源位置のポインティング方法。
6. 請求項５に記載の音源位置のポインティング方法において、
   更に、前記処理装置は、
   前記マイクロホンアレイが複数のサブマイクロホンアレイからなり、
   前記サブマイクロホンアレイ毎に前記音源方向を推定し、三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出し、
   前記音源方向と前記出力信号とを統合することにより、前記音の音源位置を前記表示装置の前記画面上の点に変換する
   ことを特徴とする音源位置のポインティング方法。
7. 請求項５に記載の音源位置のポインティング方法において、
   更に、前記処理装置は、
   前記マイクロホンアレイが複数のサブマイクロホンアレイからなり、
   前記記憶されたデジタル音圧データを抽出して時間‐周波数領域からなる信号に変換し、
   前記サブマイクロホンアレイ毎に前記信号を用いて前記音源方向を推定し、三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出し、
   前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定し、
   前記出力信号と、前記領域内にある前記音源方向及び前記距離とを統合して前記音源位置を特定し、
   特定した前記音源位置を前記表示装置の前記画面上の１点に変換する
   ことを特徴とする音源位置のポインティング方法。
8. 請求項５に記載の音源位置のポインティング方法において、
   更に、前記処理装置は、
   前記マイクロホンアレイが複数のサブマイクロホンアレイからなり、
   前記記憶されたデジタル音圧データを抽出して時間‐周波数領域からなる信号に変換し、
   前記サブマイクロホンアレイ毎に前記信号を用いて前記音源方向を推定し、三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出し、
   前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定し、
   前記信号及び前記信号の雑音レベルをもとに算出した出力信号の出力が予め定める閾値以上となるように判定し、
   前記閾値以上の出力信号と、前記領域内にある前記音源方向と前記距離とを統合して前記音源位置を特定し、前記画面上の１点に変換する
   ことを特徴とする音源位置のポインティング方法。
9. 少なくとも、検出すべき音の音源位置を画面上に表示するための表示装置と、
   前記音源位置を検出し、前記音源位置を前記表示装置の画面上の１点に変換する音響ポインティングデバイスと、
   前記音響ポインティングデバイスの前記音源位置に関する情報を用いるプログラムを処理する中央演算装置と、
   前記プログラムを格納する記憶装置とを備えるコンピュータシステムであって、
   前記音響ポインティングデバイスは、
   複数のマイクロホン素子を保持するマイクロホンアレイと、
   前記マイクロホンアレイにより得られたアナログ音圧データをデジタル音圧データに変換するＡ／Ｄ変換部と、
   デジタル音圧データから、前記マイクロホン素子間の前記音の相関に基づく前記音の音源方向の推定を行う方向推定部と、
   前記デジタル音圧データのうち雑音レベルを推定し、前記雑音レベルと前記デジタル音圧データとに基づいて前記音の信号成分を算出して出力信号として出力する出力信号計算部と、
   前記音源方向と前記出力信号とを統合して音源位置を特定する統合部と、
   特定した前記音源位置を前記表示装置の前記画面上の１点に変換する制御部と、
   を備える
   ことを特徴とするコンピュータシステム。
10. 請求項９に記載のコンピュータシステムにおいて、
    更に、前記音響ポインティングデバイスは、
    前記マイクロホンアレイは複数のサブマイクロホンアレイからなり、
    前記デジタル音圧データを時間‐周波数領域からなる信号に変換する変換部と、
    前記サブマイクロホンアレイ毎に、前記信号を用いて前記方向推定部で推定した前記音源方向を三角測量にて統合することにより、前記音源方向及び前記音源位置までの距離を算出する三角測量部と、
    前記音源方向及び前記距離が予め定義する領域内にあるか否かを判定する定位判定部と、
    前記出力信号計算部で出力した出力信号が予め定める閾値以上となるよう判定する出力信号判定部と、
    前記検出すべき音の周波数特性を予め記憶した音源周波数データベースと、
    前記音源位置から前記画面上の前記１点を特定できる変換テーブルを格納する画面変換データベースとを備え、
    前記統合部は、前記閾値以上となる前記出力信号を前記周波数特性で重み付けを行い、前記領域内にある前記音源方向及び前記距離と統合して前記音源位置を特定し、
    前記制御部は、特定した前記音源位置を前記画面変換データベースの情報を用いて前記画面上の１点に変換する
    ことを特徴とするコンピュータシステム。

Images