JP6214651B2 - マイクロホンアレイ制御装置 - Google Patents

マイクロホンアレイ制御装置 Download PDF

Info

Publication number
JP6214651B2
JP6214651B2 JP2015522320A JP2015522320A JP6214651B2 JP 6214651 B2 JP6214651 B2 JP 6214651B2 JP 2015522320 A JP2015522320 A JP 2015522320A JP 2015522320 A JP2015522320 A JP 2015522320A JP 6214651 B2 JP6214651 B2 JP 6214651B2
Authority
JP
Japan
Prior art keywords
sound source
microphone
microphone array
sound
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015522320A
Other languages
English (en)
Other versions
JPWO2014199453A1 (ja
Inventor
友博 如南
友博 如南
伸矢 福田
伸矢 福田
勇一 影山
勇一 影山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Publication of JPWO2014199453A1 publication Critical patent/JPWO2014199453A1/ja
Application granted granted Critical
Publication of JP6214651B2 publication Critical patent/JP6214651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Description

本発明は、マイクロホンアレイ制御装置に関し、特に、複数のマイクロホン素子を有し当該複数のマイクロホン素子から出力される音声信号に基づいて音源の位置を推定する音源位置推定機能を備えたマイクロホンアレイ、を制御する制御装置に関する。
上述のようなマイクロホンアレイとして、例えば特許文献1に開示されたものがある。この特許文献1に開示されたマイクロホンアレイによれば、複数のマイクロホン素子が互いに適当な距離を置いて横並びの状態で設けられている。そして、これら各マイクロホン素子から出力される音声信号に基づいて、詳しくは両端にあるマイクロホン素子と中央にあるマイクロホン素子との合計3つのマイクロホン素子からの音声信号に基づいて、音源の位置が推定される音源位置推定機能が実現される。さらに、各マイクロホン素子からの音声信号に対して遅延処理を含む所定の処理が施されることで、マイクロホンアレイ全体として比較的に鋭い指向性が実現される。加えて、音源位置推定機能によって推定された音源の位置に指向性の向きを追従させるように、個々の音声信号に与える遅延量を適宜調整する指向性追従機能も実現される。
特開2013−93807号公報
このように、特許文献1に開示されたマイクロホンアレイによれば、音源位置推定機能および指向性追従機能というユニークな機能が備えられているが、その一方で、従来は、これらの機能を含む当該マイクロホンアレイの動作状況を直接的に、とりわけ視覚的に、把握する手段がなかった。このため、従来は、当該ユニークな機能を備えるマイクロホンアレイを効果的に運用することができなかった。
そこで、本発明は、音源位置推定機能を備えるマイクロホンアレイの動作状況を直接的に把握することができ、ひいては当該マイクロホンアレイを効果的に運用することができる、マイクロホンアレイ制御装置を提供することを、目的とする。
この目的を達成するために、本発明のうちの第1発明は、複数のマイクロホン素子を有し当該複数のマイクロホン素子から出力される音声信号に基づいて音源の位置を推定する音源位置推定機能を備えたマイクロホンアレイ、を制御する制御装置であって、表示画面を有する表示手段を、具備する。併せて、この表示手段の表示画面にマイクロホンアレイが設置されている空間を模擬的に表す模擬図を表示する表示制御手段を、具備する。加えて、マイクロホンアレイの音源位置推定機能によって推定された音源の位置を表す音源位置情報を含む所定のマイクロホンデータを当該マイクロホンアレイから取得するデータ取得手段を、具備する。その上で、表示制御手段はさらに、データ取得手段によって取得されたマイクロホンデータに含まれる音源位置情報に基づいて音源を表す音源記号を模擬図上に表示する、というものである。
即ち、本第1発明によれば、表示手段の表示画面に、マイクロホンアレイが設置されている空間を模擬的に表す模擬図が表示される。そして、この模擬図上に、音源を表す音源記号が表示される。従って、本第1発明のマイクロホンアレイ制御装置を取り扱うオペレータは、模擬図と、この模擬図上に表示された音源記号と、を参照することで、マイクロホンアレイが設置されている空間における音源の位置を直観的に把握することができる。これにより、マイクロホンアレイの運用性が向上する。
加えて、マイクロホンアレイは、自身の指向性を含む収音特性が音源から発せられる音 を検出するのに適した態様となるように当該収音特性を変化させる収音特性可変機能を備 えている。この場合、当該収音特性可変機能によって収音特性を変化させることが可能と される範囲を設定する収音特性変化可能範囲設定手段が、さらに具備されている。そして 、表示制御手段は、当該収音特性変化可能範囲設定手段によって設定された収音特性変化 可能範囲を表す収音特性変化可能範囲記号を模擬図上に表示する。この構成によれば、マ イクロホンアレイの指向性を含む収音特性が音源から発せられる音を検出するのに適した 態様となるように当該収音特性が変化する。その一方で、この収音特性が変化することが 可能とされる収音特性変化可能範囲が任意に設定され、言わば制限される。即ち、マイク ロホンアレイの収音特性は、収音特性変化可能範囲内においてのみ変化し、当該収音特性 変化可能範囲外には変化しない。このことは例えば、マイクロホンアレイが設置されてい る空間に不要な雑音を発する雑音源が存在する場合に、有益である。具体的には、雑音源 およびその周辺近傍が収音特性変化可能範囲外となるように当該収音特性変化可能範囲が 設定される。これにより、雑音源からの雑音がマイクロホンアレイによって検出されるの が防止され、つまり当該雑音のマイクロホンアレイへの影響が防止される。また、収音特 性変化可能範囲の設定に当たっては、当該収音特性変化可能範囲を表す収音特性変化可能 範囲記号が模擬図上に表示される。従って、オペレータは、この収音特性変化可能範囲記 号を参照することで、収音特性変化可能範囲を直観的に把握することができる。このこと は、当該オペレータによる収音特性変化可能範囲の設定の容易化に大きく貢献する。
本発明のうち第2の発明は、第1の発明と同様に、音源位置推定機能を備えたマイクロ ホンアレイを制御する制御装置であって、表示手段と、表示制御手段と、データ取得手段 とを、具備し、表示手段の表示画面に、マイクロホンアレイが設置されている空間を模擬 的に表す模擬図が表示され、この模擬図上に、音源を表す音源記号が表示される。ところ で、音源がマイクロホンアレイに近づくと、当該音源から発せられる音のマイクロホンア レイ(各マイクロホン素子)への入力レベルが増大する。この入力レベルの増大に対して 何らの処置も講ぜられないとすると、当該入力レベルの増大はそのまま出力レベルの増大 に繋がり、種々の不都合が生じる可能性がある。このため、マイクロホンアレイは、音源 位置推定機能によって推定された音源の位置が自身に近づいたときに各マイクロホンから の音声信号を抑制する音声信号抑制機能をさらに備える。当該音声信号抑制機能による音 声信号の抑制を実行させるかどうかの境界となるマイクロホンアレイからの距離を設定す る抑制実行距離設定手段が、具備されている。そして、表示制御手段はさらに、当該抑制 実行距離設定手段によって設定された距離を表す抑制実行距離記号を模擬図上に表示する 。この構成によれば、オペレータは、抑制実行距離記号を参照することで、音声信号抑制 機能による音声信号の抑制を実行させるかどうかの境界となる抑制実行距離を直観的に把 握することができる。また、オペレータは、音源記号を併せて参照することで、詳しくは 当該音源記号が抑制実行距離記号よりもマイクロホンアレイ側に近い位置にあるかどうか を確認することで、今現在、音声信号抑制機能による音声信号の抑制が実行されている状 態にあるかどうかを直観的に把握することができる。
なお、本第1及び第2発明において、模擬図は、マイクロホンアレイを表すアレイ記号 を含むものであってもよい。この場合、表示制御手段はさらに、当該アレイ記号と音源記 号とを直線的に結ぶ結合記号を模擬図上に表示するのが、望ましい。この構成によれば、 オペレータは、結合記号を参照することで、音源の位置をより直観的に把握することがで きるようになり、とりわけマイクロホンアレイから見た音源の方向および当該マイクロホ ンアレイから音源までの距離をより直観的に把握し易くなる。
また、本第1及び第2発明におけるマイクロホンデータは、各マイクロホン素子に入力 される音の入力レベルを表す入力レベル情報を含むものであってもよい。この場合、表示 制御手段はさらに、当該マイクロホンデータに含まれる入力レベル情報に基づいて音源記 号の表示態様を変化させるのが、望ましい。この構成によれば、各マイクロホン素子への 音源から発せられる音の入力レベルに応じて、つまり当該音源から発せられる音の大きさ に応じて、当該音源を表す音源記号の表示態様が変化する。従って、オペレータは、この 音源記号の表示態様を参照することで、音源から発せられる音の大きさを直観的に把握す ることができる。なお、ここで言う音源記号の表示態様とは、例えば当該音源記号の形状 や大きさ,色,模様,さらには当該音源記号の背景や影等のことを言う。
さらに、本第1及び第2発明においては、音源位置情報の履歴を記憶する履歴記憶手段が、さらに具備されてもよい。この場合、表示制御手段はさらに、当該履歴記憶手段に記憶されている音源位置情報の履歴に基づいて音源の軌跡を表す軌跡記号を模擬図上に表示するのが、望ましい。この構成によれば、オペレータは、軌跡記号を参照することで、音源の移動経路や移動範囲等を直観的に把握することができる。
本第3の発明は、複数のマイクロホン素子を有し該複数のマイクロホン素子から出力さ れる音声信号に基づいて音源の位置を推定する音源位置推定機能を備え、かつ自身の指向 性を含む収音特性が上記音源から発せられる音を検出するのに適した態様となるように該 収音特性を変化させる収音特性可変機能を備えたマイクロホンアレイと接続されると共に 表示手段を有するコンピュータに実行させるコンピュータプログラムである。このプログ ラムは、上記マイクロホンアレイが設置されている空間を模擬的に表す模擬図を上記表示 手段に表示させる表示制御手順と、上記音源位置推定機能によって推定された上記音源の 位置を表す音源位置情報を含む所定のマイクロホンデータを上記マイクロホンアレイから 取得するデータ取得手順と、上記収音特性可変機能によって上記収音特性を変化させるこ とが可能とされる範囲を設定する収音特性変化可能範囲設定手順とを、上記コンピュータ に実行させる。さらに、上記表示制御手順では上記データ取得手順において取得された上 記マイクロホンデータに含まれる上記音源位置情報に基づいて上記音源を表す音源記号を 上記模擬図上に表示させ、上記収音特性変化可能範囲設定手順によって設定された上記範 囲を表す収音特性変化可能範囲記号を上記模擬図上に表示させる。
本第4の発明も、複数のマイクロホン素子を有し該複数のマイクロホン素子から出力さ れる音声信号に基づいて音源の位置を推定する音源位置推定機能を備え、かつ上記音源位 置推定機能によって推定された上記音源の位置が自身に近づいたときに上記音声信号を抑 制する音声信号抑制機能を備えたマイクロホンアレイと接続されると共に表示手段を有す るコンピュータに実行させるコンピュータプログラムである。このプログラムは、上記マ イクロホンアレイが設置されている空間を模擬的に表す模擬図を上記表示手段に表示させ る表示制御手順と、上記音源位置推定機能によって推定された上記音源の位置を表す音源 位置情報を含む所定のマイクロホンデータを上記マイクロホンアレイから取得するデータ 取得手順と、上記音声信号抑制機能による上記音声信号の抑制を実行させるかどうかの境 界となる上記マイクロホンアレイからの距離を設定する抑制実行距離設定手順とを、上記 コンピュータに実行させる。さらに、上記表示制御手順では上記データ取得手順において 取得された上記マイクロホンデータに含まれる上記音源位置情報に基づいて上記音源を表 す音源記号を上記模擬図上に表示させ、上記抑制実行距離設定手順によって設定された上 記距離を表す抑制実行距離記号を上記模擬図上に表示させる。
本発明の一実施形態の概略構成を示すブロック図である。 同実施形態におけるディスプレイに表示される制御画面の一例を示す図解図である。 同制御画面における音源マークの表示態様を示す図解図である。 図2とは異なる状況下の制御画面の一例を示す図解図である。 図4とはさらに異なる状況下の制御画面の一例を示す図解図である。 図5とはさらに異なる状況下の制御画面の一例を示す図解図である。 図6とはさらに異なる状況下制御画面の一例を示す図解図である。 図7とはさらに異なる状況下の制御画面の一例を示す図解図である。 図8とはさらに異なる状況下の制御画面の一例を示す図解図である。 図9とはさらに異なる状況下の制御画面の一例を示す図解図である。 図10とはさらに異なる状況下の制御画面の一例を示す図解図である。 同実施形態における制御装置が実行するマイクロホンデータ取得タスクの流れを示すフローチャートである。 同実施形態における制御装置が実行する操作応答タスクの流れを示すフローチャートである。 図13に続くフローチャートである。 図13に続く別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 同実施形態における制御装置が実行する軌跡表示タスクの流れを示すフローチャートである。 同実施形態における制御装置が軌跡表示機能を実現するために用いる音源位置履歴データの概念的な構成を示す図解図である。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 図13に続くさらに別のフローチャートである。 同実施形態におけるマイクロホンアレイが実行するマイクロホンデータ送信タスクの流れを示すフローチャートである。 同実施形態におけるマイクロホンアレイが実行する指令応答タスクの流れを示すフローチャートである。 図31に続くフローチャートである。 同実施形態におけるマイクロホンアレイが実行する指向性追従制御タスクの流れを示すフローチャートである。 図31に続く別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。 図31に続くさらに別のフローチャートである。
本発明の一実施形態について、講義用拡声システム10を例に挙げて説明する。
図1に示すように、本実施形態に係る講義用拡声システム10は、演台等に設置されるマイクロホンアレイ30と、このマイクロホンアレイ30に接続される通信ユニット50と、この通信ユニット50を介してマイクロホンアレイ30を制御する制御装置70と、を備えている。
このうちのマイクロホンアレイ30は、基本的に、上述の特許文献1に開示されているのと同じものであり、複数の、例えば8個の、マイクロホン素子32−1〜32−8を有している。各マイクロホン素子32−1〜32−8は、互いに同じ仕様の単一指向性のものであり、互いに適当な距離を置いて横並びの状態で設けられている。そして、各マイクロホン素子32−1〜32−8から出力される音声信号に基づいて、詳しくは当該各マイクロホン素子32−1〜32−8のうちの両端および中央にある合計3つのマイクロホン素子32−1,32−8および32−7からの音声信号に基づいて、図示しない音源(話者)の位置が推定され、つまり音源位置推定機能が備えられている。具体的には、当該3つのマイクロホン素子に入力される音源からの音声信号の到達時間差を利用して、マイクロホンアレイ30に対する話者の角度や距離が算出される。さらに、各マイクロホン素子32−1〜32−8からの音源信号に対して遅延処理を含む所定の処理が施されることで、マイクロホンアレイ30全体として比較的に鋭い指向性(超指向性)が実現される。加えて、個々の音声信号に対する遅延処理による遅延量が適宜に調整されることで、当該指向性の向きが音源位置推定機能によって推定された音源の位置に追従するように変更され、つまり指向性追従機能も備えられている。具他的には、音源位置推定機能で推定された音源位置に指向性が向くように、当該音源位置推定機能によって算出された角度に基づいて、各マイクロホン素子32−1〜32−8からの入力信号に個別の遅延量が与えられる。なお、これら音源位置推定機能および指向性追従機能の詳細については、特許文献1に開示されているので、ここでの説明は省略する。
また、マイクロホンアレイ30は、音源位置推定機能によって推定された音源の位置が自身に近づいたときに各マイクロホン素子32−1〜32−8からの音声信号のレベルを抑制するレベル補正機能を、備えている。具体的には、音源位置推定機能によって推定された音源の位置が後述するレベル補正実行距離よりもマイクロホンアレイ30側に近づくと、その近づき度合に応じた利得が各マイクロホン素子32−1〜32−8からの音声信号に付与される。例えば、音源の位置がマイクロホンアレイ30側に1m近づくに連れて−6dBの割合で当該利得が付される。これにより、各マイクロホン素子32−1〜32−8からの音声信号のレベルが抑制される。
なお、図示は省略するが、マイクロホンアレイ30は、CPU(Central Processing
Unit)およびDSP(Digital Signal Processor)を含むプロセッサを有しており、このプロセッサによって、音源位置推定機能,指向性追従機能およびレベル補正機能が実現される。また、マイクロホンアレイ30は、各マイクロホン素子32−1〜32−8からの音声信号を適宜に合成して外部に出力する。この出力信号は、外部増幅装置を介して外部スピーカに入力される。さらに、マイクロホンアレイ30は、後述するミュート設定指令に応じて当該出力信号の外部への出力を有効化しまたは無効化するミュート機能を備えている。
通信ユニット50は、マイクロホンアレイ30と制御装置70との間での例えば無線LAN(Local
Area Network)による双方向通信を担うものであり、専用のケーブル90を介してマイクロホンアレイ30に接続される。これにより、この通信ユニット50を介して制御装置70とマイクロホンアレイ30とが相互に通信可能となる。なお、この通信ユニット50は、マイクロホンアレイ30の近傍に設置されるが、当該マイクロホンアレイ30に内蔵されてもよい。
制御装置70は、例えばタブレット型のコンピュータであり、厳密にはマイクロホンアレイ30を制御するためのアプリケーションプログラム、言わばマイクロホンアレイ制御プログラム、がインストールされたものである。即ち、この制御装置70は、CPU等を含むプロセッサ72を有している。そして、このプロセッサ72には、マイクロホンアレイ制御プログラムのインストール先であるメモリ回路74が接続されている。さらに、プロセッサ72には、タッチパネル式のディスプレイ76が接続されている。このタッチパネル式のディスプレイ76は、後述する制御画面を含む各種情報の表示を担う表示手段と、表示された各種情報に対するオペレータによる指示操作を受け付ける入力手段と、を兼ねている。加えて、プロセッサ72には、マイクロホンアレイ30との間での上述した通信ユニット50を介しての双方向通信を担う通信回路78が接続されている。また、マイクロホンアレイ制御プログラムが起動されるによって、メモリ回路74には、マイクロホンアレイ30が設置された実空間上での長さ寸法とディスプレイパネル76に表示される制御画面(特に後述する動作状況表示部300)上での長さ寸法とを相互に変換するための変換係数が保持される。制御画面上に表示される後述するアレイマーク304や音源マーク316の位置等は、マイクロホンアレイ30から送られてくる実空間上の情報が変換係数によって変換されることで、当該制御画面上に表示される。
さて、制御装置70にインストールされたマイクロホンアレイ制御プログラムが起動されると、図示は省略するが、当該制御装置70のディスプレイ76にマイクロホンアレイ選択画面が表示される。このマイクロホンアレイ選択画面においては、いわゆるGUI(Graphical User Interface)操作によって、例えば制御対象となるマイクロホンアレイ30を追加したり、選択したりすることができる。即ち、1台の制御装置70によって複数台のマイクロホンアレイ30を制御することができる。ただし、このことは本発明の本旨に直接関係しないので、ここでの詳細な説明は省略する。また、当該マイクロホンアレイ選択画面においては、後述するユーザレベルを切り替えることもできるが、このマイクロホンアレイ選択画面におけるユーザレベルの切替要領についても、ここでの説明は省略する。このマイクロホンアレイ選択画面において、例えば“01”という番号が付されたマイクロホンアレイ30が選択されると、制御装置70のディスプレイ76には図2に示すような制御画面が表示される。
この図2に示す制御画面は、ヘッダ部100と、フッタ部200と、動作状況表示部300と、主操作部400と、から成る。このうちのヘッダ部100は、制御画面の上部において、当該制御画面の上縁に沿って横長に延伸するように配置されている。そして、このヘッダ部100の略中央には、上述の“01”という番号が付されたマイクロホンアレイ30が今現在の制御対象であることを表す“Array Microphone 01”という文字列102が表示されている。併せて、当該ヘッダ部100の左端部分には、上述のユーザレベルを切り替えるためのユーザレベル切替ボタン104が表示されている。さらに、当該ヘッダ部100の右端部分には、例えばリボン型のマイクロホンの外観形状を模擬したいわゆるマイクマーク106が表示されている。このマイクマーク106は、マイクロホンアレイ制御用プログラムを終了させるための終了ボタンとして機能する。
フッタ部200は、制御画面の下部において、当該制御画面の下縁に沿って横長に延伸するように配置されている。そして、このフッタ部200の左端部分には、マイクロホンアレイ30の各マイクロホン素子32−1〜32−8に対する個別の音声の入力レベルを表す入力レベルメータ202が表示されている。併せて、当該フッタ部200の右端近傍部分には、マイクロホンアレイ30の上述した出力信号のレベルを表す出力レベルメータ204が表示されている。さらに、この出力レベルメータ204の右横方に、スピーカの外観形状を模擬したスピーカマーク206が表示されている。このスピーカマーク206は、当該出力信号のレベルを調整するための音量調整ボタンとして機能する。加えて、この音量調整ボタン206のさらに右横方に、斜線付きのスピーカマーク208が表示されている。この斜線付きのスピーカマーク208は、上述したミュート機能のON/OFFを切り替えるためのミュート切替ボタンとして機能する。
動作状況表示部300は、制御画面のうちのヘッダ部100とフッタ部200とによって上下を挟まれた部分の左側半分を超える大半を占めている。そして、この動作状況表示部300には、マイクロホンアレイ30が設置されている空間を模擬的に表す例えば2次元の模擬図302が表示されている。さらに、この模擬図302(動作状況表示部300)上に、マイクロホンアレイ30の外観形状を模擬した細長い長方形状のアレイマーク304が表示されている。併せて、このアレイマーク304の基準位置、例えば中心位置、を中心とする同心円状の目盛線306が表示されている。この目盛線306は、マイクロホンアレイ30の基準位置を基点とする距離を表す。なお、図2においては、この目盛線306は、0.5mに対応する間隔で表示されているが、これ以外の間隔で表示されてもよい。
また、アレイマーク304の基準位置から目盛線306の半径方向に延伸するように、2本の直線状の後述する角度境界線308および310が表示されている。そして、これら2本の角度境界線308および310に接し、かつ、アレイマーク304の基準位置を中心とする円に沿う、円弧状の後述する距離境界線312が表示されている。これらの境界線308,310および312によって囲まれる概略扇形の領域314は、後述する指向性変化可能範囲に対応する。また、各境界線308,310および312のそれぞれの適当な位置に、当該各境界線308,310および312のそれぞれを操作するための、言い換えれば指向性変化可能範囲を変更するための、例えば円形の操作子308a,310bおよび312cが付されている。
加えて、模擬図302上に、音源を表す例えば円形の音源マーク316が表示されている。さらに、この音源マーク316の周囲を取り囲むように、当該音源マーク316と同心円状(中空円状)の音量マーク318が表示されている。そして、音源マーク316の中心とアレイマーク304の基準位置とを結ぶように、直線状の結合マーク320が表示されている。また、動作状況表示部300の例えば右上部分には、その一辺が主操作部400との境界線に接するように、概略矩形状の主操作部表示切替ボタン322が表示されている。
主操作部400は、動作状況表示部300の右横方に位置する。この主操作部400の上部には、上述した指向性追従機能のON/OFFを切り替えるための制御モード切替ボタン402が表示されている。そして、この制御モード切替ボタン402の下方に、今現在の音源の位置を表す音源方向操作兼表示部404と音源距離操作兼表示部406とが上からこの順番で表示されている。このうちの音源方向操作兼表示部404には、マイクロホンアレイ30の基準位置から見た音源の位置の方向が角度で表示されており、詳しくは当該基準位置からマイクロホンアレイ30の正面に向かう方向(図2においてアレイマーク304の基準位置から真下に向かう方向)を基準方向として、この基準方向に対する当該音源位置の方向の偏角が表示されている。なお、この偏角は、マイクロホンアレイ30の基準位置から見て基準方向よりも左側の方向(図2において右側に向かう方向)については、プラスの値で表示され、当該マイクロホンアレイ30の基準位置から見て基準方向よりも右側の方向(図2において左側に向かう方向)については、マイナスの値で表示される。一方、音源距離操作兼表示部406には、マイクロホンアレイ30の基準位置から音源位置までの距離が表示されている。因みに、図2は、音源位置の方向(角度)が基準方向に対してプラス22度であり、マイクロホンアレイ30の基準位置から音源位置までの距離が1.2mである、状態を示す。
さらに、音源距離操作兼表示部406の下方に、上述した各境界線308,310および312を操作するための角度境界操作兼表示部408と距離境界操作兼表示部410とが上からこの順番で表示されている。具体的には、角度境界操作兼表示部408に、各境界線308,310および312のうちの2本の角度境界線308および310を操作するための2つのスライダ412および414が表示されている。併せて、この角度境界操作兼表示部408には、当該2本の角度境界線308および310に対応する実空間上の方向が上述の基準方向に対して成す角度(偏角)が表示されている。なお、プラス側の角度境界線308を操作するためのスライダ412は、当該プラス側の角度境界線308に付された上述の操作子308aと連動している。これと同様に、マイナス側の角度境界線310を操作するためのスライダ414は、当該マイナス側の角度境界線310に付された操作子310aと連動している。そして、距離境界操作兼表示部410に、距離境界線312を操作するためのスライダ416が表示されている。併せて、この距離境界操作兼表示部410には、アレイマーク304の基準位置から当該距離境界線312までの距離に対応する実空間における距離が表示されている。なお、距離境界線312を操作するためのスライダ416は、当該距離境界線312に付された操作子312aと連動している。因みに、図2は、プラス側の角度境界線308に対応する実空間上の方向が60度に設定されており、マイナス側の角度境界線310に対応する実空間上の方向もまた−60度に設定されており、さらに、アレイマーク304の基準位置から距離境界線312までの距離に対応する実空間上の距離が2.1mに設定されている、状態を示す。
加えて、距離境界操作兼表示部410の下方に、上述した音源位置推定機能による音源位置の推定感度を調整するためのスライダ418を有する推定感度操作兼表示部420と、当該音源位置推定機能による音源位置の推定速度を調整するためのスライダ422を有する推定速度操作兼表示部424とが、上からこの順番で表示されている。また、推定感度操作兼表示部420には、スライダ418の操作によって調整された音源位置推定感度が表示されており、推定速度操作兼表示部424には、スライダ422の操作によって調整された音源位置推定速度が表示されている。因みに、図2は、音源位置推定感度が−15dBであり、音源位置推定速度が500である、状態を示す。これら音源位置推定感度および音源位置推定速度については、後で詳しく説明する。
そして、推定速度操作兼表示部424の下方に、上述したレベル補正機能のON/OFFを切り替えるためのレベル補正切替ボタン426が表示されている。そして、このレベル補正切替ボタン426の下方に、後述するレベル補正実行距離を設定するためのスライダ428を有するレベル補正実行距離操作兼表示部430が表示されている。また、このレベル補正実行距離操作兼表示部430には、スライダ428の操作によって設定されたレベル補正実行距離が表示されている。なお、図2は、当該レベル補正実行距離がマイクロホンアレイ30の基準位置から1.2mの距離に設定されている状態を示す。
さらに、レベル補正実行距離操作兼表示部430の下方に、後述する軌跡表示機能のON/OFFを切り替えるための軌跡表示切替ボタン432が表示されている。そして、この軌跡表示切替ボタン432の下方に、当該軌跡表示機能による軌跡表示維持時間を設定するためのスライダ434を有する軌跡表示維持時間操作兼表示部436が表示されている。また、この軌跡表示維持時間操作兼表示部436には、スライダ434の操作によって設定された軌跡表示維持時間が表示されている。因みに、図2は、当該軌跡表示維持時間が30秒に設定されている状態を示す。
この図2に示す制御画面、つまりマイクロホンアレイ制御プログラムの起動後に最初に表示される制御画面は、前回、当該マイクロホンアレイ制御プログラムが終了される直前の制御画面が再現されたものである。なお、マイクロホンアレイ制御プログラムが初めて起動された場合、或いは、当該マイクロホンアレイ制御プログラムがリセットされた場合は、所定の初期制御画面が表示される。
このような制御画面が制御装置70のディスプレイ76に表示される一方、当該制御装置70(厳密にはプロセッサ72)は、マイクロホンアレイ30に対して、一定時間Taごとに、例えばTa=30msecという周期で、マイクロホンデータの取得を要求する。マイクロホンアレイ30は、この制御装置70からのマイクロホンデータの取得要求を受信するたびに、最新のマイクロホンデータを当該制御装置70に送信する。これと並行して、マイクロホンアレイ30は、上述の音源位置推定機能による音源位置の推定動作を当該マイクロホンデータの取得要求周期(送信周期)Ta以下の周期で繰り返し実行する。なお、ここで言うマイクロホンデータには、例えば当該音源位置推定機能によって推定された音源位置を表す音源位置情報(方向および距離)と、各マイクロホン素子32−1〜32−8からの音声信号のレベルを表す入力レベル情報と、上述した出力信号のレベルを表す出力レベル情報と、が含まれる。このマイクロホンアレイ30から送信されてくるマイクロホンデータを受けて、制御装置70は、制御画面の表示内容を更新する。
具体的には、マイクロホンデータに含まれている音源位置情報に基づいて、動作状況表示部300内の音源マーク316の表示が更新される。従って、制御装置70を取り扱うオペレータは、この音源マーク316を参照することで、音源の位置を直観的に把握することができる。また、この音源マーク316と同様、結合マーク320の表示も更新される。ゆえに例えば、音源が移動すると、当該音源マーク316は、結合マーク320を伴ってあたかもヨーヨーの如く挙動する。この結果、音源位置の把握、とりわけマイクロホンアレイから見た音源の方向および当該マイクロホンアレイから音源までの距離の把握が、より一層容易になる。加えて、主操作部400内の音源方向操作兼表示部404および音源距離操作兼表示部406に表示されている当該音源位置の方向および距離の値もまた更新される。
さらに、マイクロホンデータに含まれている入力レベル情報に基づいて、フッタ部200内の入力レベルメータ202の表示が更新される。また、この入力レベル情報に従う各マイクロホン素子32−1〜32−8の入力レベルが平均化され、この平均化された入力レベルに応じて、動作状況表示部300内の音量マーク318の表示が更新され、詳しくは図3に示す如く当該音量マーク318の大きさ(直径)が変わる。従って、オペレータは、この音量マーク318を参照することで、つまり当該音量マーク318の大きさから、音源の音量を直観的に把握することができる。なお、音量マーク318の大きさは、少なくとも音源マーク316の大きさ以上とされている。
そして、マイクロホンデータに含まれている出力レベル情報に基づいて、フッタ部200内の出力レベルメータ204の表示が更新される。従って、オペレータは、この出力レベルメータ204を参照することで、上述した出力信号のレベルを直観的に把握することができる。
ここで例えば、主操作部400内の制御モード切替ボタン402の押下操作(タップ)によって上述した指向性追従機能がONされている、とする。この場合、マイクロホンアレイ30は、音源位置推定機能によって推定された音源の位置に合わせて自身の指向性を変化させ、つまり追従させ、言わば自動モードとなる。これにより、音源から発せられる音がマイクロホンアレイ30によって効率的に検出され、当該音源以外から発せられる音、特に雑音、の影響が軽減される。
ただし、この自動モードにおける(指向性追従機能による)追従動作は、音源が上述した指向性変化可能範囲対応領域314に応じて設定される指向性変化可能範囲内にあるときにのみ実行され、それ以外のときは実行されない。例えば、音源が指向性変化可能範囲を超えた場合には、当該音源は、指向性変化可能範囲を超える直前の位置に存在するものとして取り扱われる。図4は、音源が指向性変化可能範囲のプラス側の角度境界を超えた場合の状態を示す。そして、図5は、音源が指向性変化可能範囲の距離境界を越えた場合の状態を示す。なお、これら図4および図5に示す如く音源が指向性変化可能範囲を超えた場合でも、つまり自動モードにおける追従動作が実行されていない場合でも、音源位置推定機能による音源位置推定動作は常に実行されている。
この指向性変化可能範囲は、制御画面上で任意に変更可能である。例えば、動作状況表示部300内の指向性変化可能範囲対応領域314を形成する各角度境界線308および310に付された操作子308aおよび310aが移動操作(ドラッグ)されることで、当該角度境界線308および310の位置(角度)が変更され、ひいては実空間における指向性変化可能範囲の角度境界が変更される。この角度境界は、上述の図2に示すように、マイクロホンアレイ30(制御画面上ではアレイマーク304)の長さ方向に対するプラス側指向性変化限界角度θ1およびマイナス側指向性変化限界角度θ2とによって定義される。そして、当該指向性変化可能範囲対応領域314を形成する距離境界線312に付された操作子312aが操作されることで、当該距離境界線312の位置(半径)が変更され、ひいては指向性変化可能範囲の距離境界が変更される。また、主操作部00内の角度境界操作兼表示部408のスライダ412および414が移動操作されることによっても、角度境界線308および310が変更され、ひいては指向性変化可能範囲の角度境界が変更される。そして、当該主操作部00内の距離境界操作兼表示部410のスライダ416が操作されることによっても、距離境界線312が変更され、ひいては指向性変化可能範囲の距離境界が変更される。図6に、各境界線308,310および312が変更され、ひいては指向性変化可能範囲が変更された状態の一例を示す。なお、図示は省略するが、動作状況表示部300内の各操作子308a,310aおよび312aを含む模擬図302は、これを拡大表示させたり、或いは縮小表示させたり、さらには上下左右の各方向にシフトさせたりすることが可能である。これにより、当該動作状況表示部300内における各操作子308a,310aおよび312aの操作可能範囲が拡張される。また、制御画面上の指向性変化可能範囲対象領域314には、適当な色または模様が付されており、つまり動作状況表示部300の当該指向性変化可能範囲対象領域314以外の部分とは異なる表示態様とされている。
このようにして指向性変化可能範囲が適宜に設定されることで、例えば不要な雑音による影響を抑制することができる。具体的には、マイクロホンアレイ30が設置されている空間に不要な雑音を発する雑音源が存在する場合には、この雑音源およびその周辺近傍が指向性変化可能範囲外となるように当該指向性変化可能範囲が設定される。これにより、雑音源から発せられる雑音がマイクロホンアレイ30に入力されることによって、音源からの音ではなく、当該雑音源からの雑音に基づいて音源位置の推定が成されたとしても、この言わば誤った音源位置に指向性が向くことはなく、つまり指向性追従機能の誤動作が防止される。
そして、主操作部400内にある推定感度操作兼表示部420のスライダ418が操作されると、音源位置推定機能による音源位置の推定感度が変更される。例えば、当該スライダ418が左方に移動操作されると、推定感度が高くなる。この場合、音源の音量が比較的に小さくても、当該音源の位置を推定することが可能となるが、その反面、暗騒音等の騒音の影響を受け易くなる。一方、当該スライダ418が右方に移動操作されると、推定感度が低くなる。この場合、音源位置の推定が実現されるには、当該音源の音量が比較的に大きいことが必要とされるが、暗騒音等の騒音の影響を受け難くなる。特に、講演等のように音源としての話者が明確に特定されている場合には、当該推定感度が低めに設定されるのが、望ましい。
さらに、主操作部400内にある推定速度操作兼表示部424のスライダ422が移動操作されると、音源位置推定機能による音源位置の推定速度が変更される。この推定速度とは、音源位置推定機能による音源位置の推定結果を平均化(平滑化)するフィルタの言わば時定数に対応する。この推定速度が高いほど、時定数が小さく、ゆえに、音源位置の変化に対して迅速に対応することができるが、その反面、雑音等の影響を受け易くなり、音源マーク316の動きが激しくなる。一方。当該推定速度が低いほど、時定数が大きく、ゆえに、音源位置の変化に対して迅速に対応することができなくなるが、その反面、雑音等の影響を受け難くなり、音源マーク316の動きが安定する。なお、スライダ422が左方に移動操作されると、推定速度が高くなり、当該スライダ422が右方に移動操作されると、推定速度が低くなる。
また、主操作部400内にあるレベル補正切替ボタン426の操作によって上述したレベル補正機能がONされると、図7に示すように、動作状況表示部300に円弧状のレベル補正実行距離境界線330が表示される。このレベル補正実行距離境界線330は、アレイマーク304の基準位置を中心とする円に沿い、その両端は、上述した2本の角度境界線308および310に接している。そして、このレベル補正実行距離境界線330の適当な位置に、当該レベル補正実行距離境界線330を操作するための、言い換えれば実空間のレベル補正実行距離を変更するための、例えば円形の操作子330aが付されている。
ここで、音源の位置がこのレベル補正実行距離境界線330に対応するレベル補正実行距離よりもマイクロホンアレイ30側に近づくと、その近づき度合に応じて、例えば当該音源の位置がマイクロホンアレイ30側に1m近づくに連れて−6dBの利得が付される割合で、上述した各マイクロホン素子32−1〜32−8からの音声信号のレベルが抑制される。これにより、音源がマイクロホンアレイ30に過度に近づくことによる出力信号のレベルの増大が抑制され、安定した聴取環境が実現される。
なお、レベル補正実行距離境界線330に付されている操作子330aが移動操作されると、当該レベル補正実行距離境界線330の位置(半径)が変更され、ひいてはレベル補正実行距離が変更される。また、主操作部400内のレベル補正実行距離操作兼表示部430のスライダ428が操作されることによっても、レベル補正実行距離境界線330の位置(半径)が変更され、ひいてはレベル補正実行距離が変更される。当該レベル補正実行距離境界線330と上述した2本の角度境界線308および310とによって囲まれた概略扇状の領域332についても、適当な色や模様が付されてもよい。
加えて、主操作部400内にある軌跡表示切替ボタン432の操作によって上述した軌跡表示機能がONされると、図8に示すように、動作状況表示部300に音源(厳密には音源マーク316)の軌跡を表す軌跡マーク340が表示される。そして、軌跡表示維持時間操作兼表示部436のスライダ434の操作によって、当該軌跡マーク340の表示維持時間が変更可能とされている。この軌跡マーク340を参照することで、オペレータは、音源の移動経路や移動範囲を直観的に把握することができる。この軌跡表示機能は、例えば上述した指向性変化可能範囲を設定する際に、とりわけ当該指向性変化可能範囲を可能な限り狭めに設定する際に、極めて有益である。
そして例えば、図2に示した状態において、動作状況表示部300の右上部分にある主操作部表示切替ボタン322が操作されると、図9に示すように、主操作部400の表示が隠れて、その分、動作状況表示部300の表示領域が拡大される。そして、この図9に示す状態において、主操作部表示切替ボタン322が操作されると、主操作部400が改めて表示されるようになり、図2に示した元の状態に戻る。即ち、主操作部400による操作の必要性等を含む諸状況に応じて、当該主操作部400の表示/非表示を任意に切り替えることができる。
また例えば、図2に示した状態において、主操作部400内の制御モード切替ボタン402の操作によって指向性追従機能がOFFされる、とする。すると、当該指向性追従機能が無効化され、言わば手動モードとなる。この手動モードにおいては、図10に示すように、主操作部400内の音源方向操作兼表示部404にスライダ440が表示されると共に、音源距離操作兼表示部406にも同様のスライダ442が表示される。これらのスライダ440および442は、音源マーク316を任意の位置に移動させるものであり、当該スライダ440および442の操作によって音源マーク316が任意の位置に移動されると、その音源マーク316の位置に合わせてマイクロホンアレイ30の指向性が制御される。要するに、音源マーク316の位置に対応する実空間上の位置に音源が存在するものとして取り扱われる。なお、この言わば仮想音源としての音源マーク316の位置は、当該音源マーク316そのものの移動操作によっても任意に移動させることができる。ただし、上述した指向性変化可能範囲対象領域314内においてのみ、この仮想音源位置としての音源マーク316の位置を移動させることができ、これを外れる領域には、当該音源マーク16の位置を移動させることはできない。そして、この手動モードにおいて、制御モード切替ボタン402の操作によって指向性追従機能がONされると、図2に示したような元の状態に戻り、改めて自動モードとなる。
さらに例えば、フッタ部200にある音量調整ボタン(スピーカマーク)206が操作されると、音量調整用の図示しないスライダが表示される。この音量調整用スライダの操作によって、音量が調整され、つまり上述した出力信号のレベルが調整される。
そして、音量調整ボタン206の右横方にあるミュート切替ボタン(斜線付きのスピーカマーク)208が操作されると、上述したミュート機能のON/OFFが切り替えられる。即ち、当該ミュート切替ボタン208が操作されるたびに、ミュート機能のON/OFFが交互に切り替えられる。
また、ヘッダ部100にある終了ボタン(マイクマーク)106の操作によって、マイクロホンアレイ制御プログラムを終了させることができる。
加えて、ヘッダ部100にあるユーザレベル切替ボタン104の操作によって、上述したユーザレベルを切り替えることができる。具体的には、当該ユーザレベルとして、専門レベルおよび標準レベルという2つのレベルがある。図2および図〜図10に示した制御画面は、専門レベルが選択されているときの画面であり、当該ユーザレベル切替ボタン104の操作によって標準レベルが選択されると、図11に示すような画面となる。即ち、主操作部400が画面から消えると共に、動作状況表示部300から各境界線308,310および312を操作するための操作子308a,310aおよび312aが消え、さらに、当該動作状況表示部300から主操作部表示切替ボタン322も消える。要するに、制御画面における操作可能な要素のうち、終了ボタン106,音量調整ボタン206,ミュート切替ボタン208およびユーザレベル切替ボタン104という必要最小限の要素のみが、当該制御画面に残される。これによって、第三者等による不本意な操作が防止される。なお、この標準レベルの制御画面において、ユーザレベル切替ボタン104の操作によって専門レベルに切り替える場合には、所定のパスワードの入力が要求される。
このような制御装置70によるマイクロホンアレイ30の制御を実現するために、これら制御装置70(厳密にはプロセッサ72)およびマイクロホンアレイ30は、具体的には次のような処理を実行する。
即ちまず、制御装置70については、マイクロホンアレイ制御プログラムが起動されて、上述したマイクロホンアレイ選択画面を経て図2等に示した制御画面がディスプレイ76に表示されると、当該制御装置70は、図12のマイクロホンデータ取得タスクを実行する。なお、このマイクロホンデータ取得タスクは、上述したTa(例えばT=30msec)という一定時間ごとに実行される。
このマイクロホンデータ取得タスクによれば、制御装置70は、まず、ステップS1に進み、マイクロホンアレイ30に対してマイクロホンデータの取得要求を送信する。そして、ステップS3に進み、当該取得要求に対する応答としてマイクロホンアレイ30からマイクロホンデータが送信されてくるのを待つ。
ステップS3において、マイクロホンアレイ30からのマイクロホンデータを受信すると、制御装置70は、ステップS5に進み、当該ステップS3で受信したマイクロホンデータを一時的に記憶する。なお上述したように、ここで言うマイクロホンデータには、音源位置推定機能によって推定された音源位置を表す音源位置情報(方向および距離)と、各マイクロホン素子32−1〜32−8からの音声信号のレベルを表す入力レベル情報と、マイクロホンアレイ30全体としての出力信号のレベルを表す出力レベル情報と、が含まれている。
そして、制御装置70は、ステップS7に進み、ステップS5で記憶した最新のマイクロホンデータに基づいて、制御画面の表示内容を更新する。この後、制御装置70は、一旦、このマイクロホンデータ取得タスクを終了する。そして上述したように、Taという周期で当該マイクロホンデータ取得タスクを繰り返し実行する。
これと並行して、制御装置70は、制御画面の操作に応答して、操作応答タスクを実行する。
即ち、図13に示すように、この操作応答タスクによれば、制御装置70は、まず、ステップS11に進み、操作内容を判別する。ここで例えば、マイクロホンアレイ制御プログラムの終了操作が成された、つまりヘッダ部100にある終了ボタン106の操作によって当該終了操作が成された、と判定すると、ステップS13に進み、所定の終了タスクを実行する。この終了タスクにおいては、マイクロホンアレイ30に対して終了指令が送信される。併せて、図12を参照しながら説明したマイクロホンデータ取得タスクが終了される。さらに、終了操作が成される直前の制御画面の情報が記憶される。そして、この終了タスクの実行をもって、操作応答タスクを終了する。
また、ステップS11において、例えばユーザレベル切替操作が成された、詳しくはヘッダ部100にあるユーザレベル切替ボタン104の操作によって当該ユーザレベル切替操作が成された、と判定すると、制御装置70は、図14のステップS15に進む。そして、このステップS15において、ユーザレベルとして専門レベルが選択されたか否かを判定する。ここで例えば、専門レベルが選択された場合には、ステップS17に進み、専門レベル用の制御画面を表示する。即ち、図2および図4〜図10に示したような当該専門レベル用の制御画面を表示する。このステップS17で表示される専門レベル用の制御画面の内容は、直近に表示されていた専門レベル用の制御画面の内容に基づく。また、標準レベルの状態から専門レベルが選択された場合には、上述したようにパスワードの入力が要求される。そして、このステップS17の実行後、制御装置70は、一旦、操作応答タスクを終了する。一方、ステップS15において、標準レベルが選択された、と判定した場合には、当該ステップS15からステップS19に進む。そして、このステップS19において、図11に示したような標準レベル用の表示画面を表示する。そして、このステップS19の実行後、一旦、操作応答タスクを終了する。
さらに、図13のステップS11において、例えば主操作部表示切替操作が成された、詳しくは動作状況表示部300の右上部分にある主操作部表示切替ボタン322が操作された、と判定すると、制御装置70は、図15のステップS21に進む。そして、このステップS21において、主操作部表示切替ボタン322の操作が主操作部400を表示することを選択する内容のものであるか否かを判定する。ここで例えば、当該主操作部表示切替ボタン322の操作が主操作部400を表示することを選択する内容のものである場合には、ステップS23に進む。そして、このステップS23において、制御画面に主操作部400を表示した後、一旦、操作応答タスクを終了する。一方、ステップS21において、主操作部表示切替ボタン322の操作が主操作部400を非表示とすることを選択する内容のものである、と判定した場合には、当該ステップS21からステップS25に進む。そして、このステップS25において、図9に示した如く主操作部400を非表示とした後、一旦、操作応答タスクを終了する。
そして、図13のステップS11において、例えば制御モード切替操作が成された、詳しくは主操作部400内の制御モード切替ボタン402が操作された、と判定すると、制御装置70は、図16のステップS27に進む。そして、このステップS27において、自動モードが選択されたか否か、つまり指向性追従機能がONされたか否か、を判定する。ここで例えば、自動モードが選択された、つまり指向性追従機能がONされた、と判定した場合は、ステップS29に進む。そして、このステップS29において、図2や図4に示したような自動モード用の制御画面を表示した後、ステップS31に進む。そして、このステップS31において、マイクロホンアレイ30に対して自動モードを設定する内容の制御モード設定指令を送信し、その後、一旦、操作応答タスクを終了する。一方、ステップS27において、手動モードが選択された、つまり指向性追従機能がOFFされた、と判定した場合は、当該ステップS27からステップS33に進む。そして、このステップS31において、図10に示したような手動モード用の制御画面を表示した後、ステップS35に進む。そして、このステップS35において、マイクロホンアレイ30に対して手動モードを設定する内容の制御モード設定指令を送信した後、一旦、操作応答タスクを終了する。
改めて図13を参照して、この図13のステップS11において、例えば仮想音源位置変更操作が成された、詳しくは図10に示したような手動モードにあるときに主操作部400内にある音源方向操作兼表示部404のスライダ440および音源距離操作兼表示部406のスライダ442が移動操作され、若しくは、動作状況表示部300内の音源マーク316が移動操作された、と判定すると、制御装置70は、図17のステップS37に進む。そして、このステップS37において、これらのスライダ440および442若しくは音源マーク316の移動操作に応じた仮想音源位置設定指令をマイクロホンアレイ30に送信する。例えば、音源マーク316が移動操作された場合には、その移動量に応じてアレイマーク304と当該音源マーク316の移動位置との相対角度を表す情報を含む仮想音源位置設定指令を、マイクロホンアレイ30に送信する。その上で、制御装置70は、一旦、操作応答タスクを終了する。マイクロホンアレイ30は、この仮想音源位置設定指令に従って遅延処理を行うことによって、当該指令に応じた音源位置に指向性を向けることになる。
また、図13のステップS11において、例えば角度境界変更操作が成された、詳しくは動作状況表示部300内の各角度境界線308および310に付された操作子308aおよび310aが操作され、或いは、主操作部00内の角度境界操作兼表示部408のスライダ412および414が操作された、と判定すると、制御装置70は、図18のステップS39に進む。そして、このステップS39において、これらの操作子308aおよび310a或いはスライダ412および414の操作に応じた角度境界設定指令をマイクロホンアレイ30に送信する。例えば、操作子308aおよび310aが移動操作された場合には、その移動量に応じて決定される上述した指向性変化限界角度θ1およびθ2を表す情報を含む角度境界設定指令を、マイクロホンアレイ30に送信する。その上で、制御装置70は、一旦、操作応答タスクを終了する。マイクロホンアレイ30は、この角度境界設定指令に基づいて、指向性追従機能を制限することになる。
さらに、図13のステップS11において、例えば距離境界変更操作が成された、詳しくは動作状況表示部300内の距離境界線312に付された操作子312aが操作され、または、主操作部00内の距離境界操作兼表示部410のスライダ416が操作された、と判定すると、制御装置70は、図19のステップS41に進む。そして、このステップS41において、これら操作子312aまたはスライダ416の操作に応じた距離境界設定指令をマイクロホンアレイ30に送信する。例えば、操作子312aが移動操作された場合には、その移動量に応じて決定されるアレイマーク304から距離境界線312までの距離、つまり指向性変化可能範囲対応領域314の半径、を表す情報を含む距離境界設定指令を、マイクロホンアレイ30に送信する。ここで言うアレイマーク304から距離境界線312までの距離(指向性変化可能範囲対応領域314の半径)は、上述した変換係数を用いて実空間上のマイクロホンアレイ30からの距離に変換された値であることが、望ましい。その上で、制御装置70は、一旦、操作応答タスクを終了する。マイクロホンアレイ30は、この距離境界設定指令に基づいて、指向性追従機能を制限することになる。
加えて、図13のステップS11において、例えば推定感度変更操作が成された、詳しくは主操作部400内にある推定感度操作兼表示部420のスライダ418が操作された、と判定すると、制御装置70は、図20のステップS43に進む。そして、このステップS43において、このスライダ418の操作に応じた感度レベルを含む推定感度設定指令をマイクロホンアレイ30に送信して、その後、一旦、操作応答タスクを終了する。
図13のステップS11において、例えば推定速度変更操作が成された、詳しくは主操作部400内にある推定速度操作兼表示部424のスライダ422が操作された、と判定すると、制御装置70は、図21のステップS45に進む。そして、このステップS45において、このスライダ422の操作に応じた推定速度設定指令をマイクロホンアレイ30に送信した後、一旦、操作応答タスクを終了する。
また、図13のステップS11において、例えばレベル補正切替操作が成された、詳しくは主操作部400内にあるレベル補正切替ボタン426が操作された、と判定すると、制御装置70は、図22のステップS47に進む。そして、このステップS47において、レベル補正機能がONされたか否かを判定する。ここで例えば、レベル補正機能がONされた、と判定した場合は、ステップS49に進む。そして、このステップS49において、図7に示したようなレベル補正機能ON時用の制御画面を表示した後、ステップS51に進む。そして、このステップS51において、マイクロホンアレイ30に対してレベル補正機能をONするためのレベル補正設定指令を送信した後、さらに、ステップS53に進む。このステップS53において、制御装置70は、直近に設定されていたレベル補正実行距離を設定するべく、マイクロホンアレイ30に対してレベル補正実行距離設定指令を送信する。そして、一旦、操作応答タスクを終了する。一方、ステップS47において、レベル補正機能がOFFされた、と判定すると、制御装置70は、当該ステップS47からステップS55に進む。そして、このステップS55において、レベル補正機能OFF時用の制御画面を表示した後、ステップS57に進む。そして、このステップS57において、マイクロホンアレイ30に対してレベル補正機能をOFFするためのレベル補正設定指令を送信した後、一旦、操作応答タスクを終了する。
さらに、図13のステップS11において、例えばレベル補正実行距離変更操作が成された、詳しくは図7に示した如くレベル補正機能がONされているときに主操作部400内にあるレベル補正実行距離操作兼表示部430のスライダ428が移動操作され、若しくは、動作状況表示部300内のレベル補正実行距離境界線330に付されている操作子330aが移動操作された、と判定すると、制御装置70は、図23のステップS59に進む。そして、このステップS59において、これらのスライダ428若しくは操作子330aの移動操作に応じたレベル補正実行距離設定指令をマイクロホンアレイ30に送信する。例えば、操作子330aが移動操作された場合には、その移動量に応じて決定されるアレイマーク304からレベル補正実行距離境界線330までの距離、つまり概略扇状領域332の半径、を表す情報を含むレベル補正実行距離設定指令を、マイクロホンアレイ30に送信する。ここで言うアレイマーク304からレベル補正実行距離境界線330までの距離(概略扇状領域332の半径)は、上述した変換係数を用いて実空間上のマイクロホンアレイ30からの距離に変換された値であることが、望ましい。その上で、制御装置70は、一旦、操作応答タスクを終了する。マイクロホンアレイ30は、このレベル補正実行距離設定指令に基づいて、レベル補正処理実行距離を設定する。
そして、図13のステップS11において、例えば軌跡表示切替操作が成された、詳しくは主操作部400内にある軌跡表示切替ボタン432が操作された、と判定すると、制御装置70は、図24のステップS61に進む。そして、このステップS61において、軌跡表示機能がONされたか否かを判定する。ここで例えば、軌跡表示機能がONされた、と判定した場合は、ステップS63に進み、図8に示したような軌跡表示機能ON時用の制御画面を表示した後、さらに、ステップS65に進む。そして、このステップS65において、後述する軌跡表示タスクの実行を開始して、一旦、操作応答タスクを終了する。一方、ステップS61において、軌跡表示機能がOFFされた、と判定すると、制御装置70は、当該ステップS61からステップS67に進む。そして、このステップS67において、図2や図4に示したような軌跡表示機能OFF時用の制御画面を表示した後、ステップS69に進み、軌跡表示タスクの実行を終了する。その上で、一旦、操作応答タスクを終了する。
ここで、図25を参照して、軌跡表示タスクについて説明する。この軌跡表示タスクによれば、制御装置70は、まず、ステップS101に進み、軌跡マーク340の表示を更新する。この軌跡マーク340の表示の更新は、図26に示すような音源位置履歴データに基づく。即ち、この音源位置履歴データは、過去Tbという期間内に記憶された合計N個の音源位置情報D[n](n=1〜N:記憶順)の集合であり、nの値が大きい音源位置情報D[n]ほど古く、つまりD[N]が最も古い音源位置情報であり、D[1]が最新の音源位置情報である。この音源位置履歴データに基づいて軌跡マーク340が表示され、つまり動作状況表示部300内における各音源位置情報D[1]〜D[n]に対応する位置に当該軌跡マーク340が表示される。そして、最新の音源位置情報D[1]が得られるたびに、音源位置履歴データが更新される。この更新の際、最も古い音源位置情報D[N]は、押し出され、廃棄される。なお、音源位置履歴データは、メモリ回路74に保持される。
図25に戻って、上述の如くステップS101で軌跡マーク340の表示を更新した後、制御装置70は、ステップS103に進み、音源位置履歴データD[n]を更新する。即ち、今現在記憶されている音源位置情報D[n]のうち、最古の音源位置情報D[N]を押し出して、残りの音源位置情報D[1]〜D[N−1]を1つずつシフト(D[n]→D[n+1])させる。その上で、ステップS105に進み、最新の音源位置情報をD[1]として記憶して、一旦、この軌跡表示タスクを終了する。そして、さらなる最新の音源位置情報D[1]を取得するごとに、つまり上述したマイクロホン取得タスクの実行周期Taに合わせて、当該軌跡表示タスクを繰り返し実行する。この軌跡表示タスクが実行されることで、マイクロホンアレイ30から一定期間Tbにわたって連続して取得された複数の音源位置が軌跡マーク340によって制御画面(動作状況表示部300)上に表示される。
さらに、図13のステップS11に戻って、当該ステップS11において、例えば軌跡表示維持時間変更操作が成された、詳しくは図8に示したような軌跡表示機能がONされているときに主操作部400内にある軌跡表示維持時間操作兼表示部436のスライダ434が操作された、と判定すると、制御装置70は、図27のステップS71に進む。そして、このステップS71において、当該スライダ434の操作に応じて図26に示した音源位置履歴データを構成する音源位置情報D[n]の総数Nを変更する。これによって、上述したTbという期間が変更され、つまり軌跡表示維持時間が変更される。なお、当該総数Nの値が大きいほど、軌跡表示維持時間Tbは長くなる。このステップS71の実行をもって、制御装置70は、一旦、操作応答タスクを終了する。
加えて、図13のステップS11において、例えばゲイン変更操作が成された、詳しくはフッタ部200にある音量調整ボタン206が操作された、と判定すると、制御装置70は、図28のステップS73に進む。そして、このステップS73において、当該音量調整ボタン206の操作に応じたゲイン設定指令をマイクロホンアレイ30に送信する。そして、一旦、操作応答タスクを終了する。
また、図13のステップS11において、ミュート切替操作が成された、詳しくはフッタ部200にあるミュート切替ボタン208が操作された、と判定すると、制御装置70は、図29のステップS75に進む。そして、このステップS75において、当該ミュート切替操作がミュート機能をONするものであるか否かを判定する。ここで例えば、ミュート切替操作がミュート機能をONするものである場合には、ステップS77に進み、ミュート機能ON時用の制御画面を表示し、例えばミュート切替ボタン208を明瞭に表示する。そして、ステップS79に進み、ミュート機能をONさせるためのミュート設定指令をマイクロホンアレイ30に送信して、一旦、操作応答タスクを終了する。一方、ステップS75において、ミュート切替操作がミュート機能をOFFするものである場合には、制御装置70は、当該ステップS75からステップS81に進む。そして、このステップS81において、ミュート機能OFF時用の制御画面を表示し、例えばミュート切替ボタン208を半透明状(薄め)に表示し、さらに、ステップS83において、ミュート機能をOFFさせるためのミュート設定指令をマイクロホンアレイ30に送信して、一旦、操作応答タスクを終了する。
このような制御装置70による処理に対して、マイクロホンアレイ30は、次のような処理を実行する。
即ち、マイクロホンアレイ30は、自身の電源が投入されると、図30のマイクロホンデータ送信タスクを繰り返し実行する。このマイクロホンデータ送信タスクによれば、マイクロホンアレイ30は、まず、ステップS01に進み、制御装置70からマイクロホンデータの取得要求が送信されてくるのを待つ。そして、当該マイクロホンデータの取得要求を受信すると、ステップS203に進み、それに対する応答として、マイクロホンデータを制御装置70に送信する。そして、一旦、このマイクロホンデータ送信タスクを終了する。
これと並行して、マイクロホンアレイ30は、音源位置推定機能を実現するべく、音源位置推定タスクを実行する。具体的には、後述するステップS321において内部に保持された所定の基準レベルを超えるレベルの入力信号に基づいて、音源位置を推定する。この音源位置の推定速度は、上述したフィルタの時定数に依存する。そして、この音源位置推定タスクによって推定された音源位置情報が、上述のマイクロホンデータに反映される。
さらに、マイクロホンアレイ30は、制御装置70からの指令に応答して、指令応答タスクを実行する。
即ち、図31に示すように、この指令応答タスクによれば、マイクロホンアレイ30は、まず、ステップS301に進み、指令内容を判別する。ここで例えば、マイクロホンアレイ制御プログラムが終了されることを表す終了指令(図13のステップS13参照)を受信した場合には、ステップS303に進み、所定の終了タスクを実行する。詳しい説明は省略するが、この終了タスクにおいては、実行中の全てのタスクを終了させる。そして、この終了タスクの実行をもって、指令応答タスクを終了する。
また、図31のステップS301において、例えば制御モード設定指令(図16のステップS31またはステップS35参照)を受信した、と判定すると、制御装置70は、図32のステップS305に進む。そして、このステップS305において、自動モードの設定が指示されているか否か、つまり指向性追従機能をONするよう指示されているか否か、を判定する。ここで例えば、自動モードの設定が指示されている、つまり指向性追従機能をONするよう指示されている、と判定した場合は、ステップS307に進む。そして、このステップS307において、指向性追従機能をONするべく、指向性追従タスクの実行を開始する。指向性追従機能がONされている間、マイクロホンアレイ30は、音源位置推定機能によって算出された角度に基づいて、各マイクロホン素子32−1〜32−8からの入力信号に対する遅延処理による遅延量を個別に調整して、指向性の追従を行う。なお、この指向性追従タスクについての詳しい説明は省略する。さらに、マイクロホンアレイ30は、ステップS309に進み、後述する指向性追従制御タスクの実行を開始する。そして、一旦、指令応答タスクを終了する。一方、ステップS305において、手動モードが指示されている、つまり指向性追従機能の無効化が指示されている、と判定した場合は、当該ステップS305からステップS311に進む。そして、このステップS311において、指向性追従タスクの実行を終了する。これにより、指向性追従機能がOFFされる。その上で、ステップS313に進み、指向性追従制御タスクの実行を終了する。そして、一旦、指令応答タスクを終了する。
ここで、図33を参照して、指向性追従制御タスクについて説明する。この指向性追従制御タスクは、上述した音源位置推定機能(音源位置推定タスク)によって音源位置が推定されるごとに実行される。この指向性追従制御タスクによれば、マイクロホンアレイ30は、まず、ステップS401に進み、推定された音源位置が指向性変化可能範囲内にあるか否かを確認する。具体的には、推定された音源位置に係る角度および距離と、後述するステップS317およびS319において内部に保持された基準角度および基準距離と、を比較して、当該推定された音源位置に係る角度が基準角度に含まれており、かつ、当該推定された音源位置に係る距離が基準距離に含まれていることをもって、当該音源位置が指向性変化可能範囲内にあることを確認し、そうでないときには、当該源位置が指向性変化可能範囲内にないことを確認する。そして、続くステップS403において、当該音源位置が指向性変化可能範囲内にある、と判定すると、ステップS405に進み、指向性追従機能(指向性追従タスク)による追従動作を実行させる。その上で、一旦、この指向性追従制御タスクを終了する。一方、ステップS403において、音源位置が指向性変化可能範囲内にない、と判定すると、ステップS407に進み、指向性追従機能による追従動作を不実行とする。この場合、各マイクロホン素子32−1〜32−8からの入力信号に対する遅延処理による遅延量が前回のまま維持され、この結果、前回の指向性の向きが維持される。そして、一旦、この指向性追従制御タスクを終了する。
図31のステップS301に戻って、当該ステップS301において、例えば仮想音源位置設定指令(図17のステップS37参照)を受信した、と判定すると、マイクロホンアレイ30は、図34のステップS315に進む。そして、このステップS315において、当該仮想音源位置設定指令に応じて仮想音源位置を設定し、つまり指向性の向きを設定する。具体的には、当該仮想音源位置設定指令によって指示される角度に基づいて、この角度に応じた方向に指向性を向けるように、各マイクロホン素子32−1〜32−8からの入力信号に対する遅延処理による遅延量を個別に調整する。そして、一旦、指令応答タスクを終了する。
また、図31のステップS301において、例えば角度境界設定指令(図18のステップS39参照)を受信した、と判定すると、マイクロホンアレイ30は、図35のステップS317に進む。そして、このステップS317において、当該角度境界設定指令に応じて指向性変化可能範囲の角度境界を設定する。具体的には、当該角度境界設定指令によって指示される角度を、上述した基準角度として内部に保持する。その上で、一旦、指令応答タスクを終了する。
さらに、図31のステップS301において、例えば距離境界設定指令(図19のステップS41参照)を受信した、と判定すると、マイクロホンアレイ30は、図36のステップS319に進む。そして、このステップS319において、当該距離境界設定指令に応じて指向性変化可能範囲の距離境界を設定する。具体的には、当該距離境界設定指令によって指示される距離を、上述の基準距離として内部に保持する。その上で、一旦、指令応答タスクを終了する。
加えて、図31のステップS301において、例えば推定感度設定指令(図20のステップS43参照)を受信した、と判定すると、マイクロホンアレイ30は、図37のステップS321に進む。そして、このステップS321において、当該推定感度設定指令に応じて音源位置推定機能の推定感度を設定する。具体的には、当該推定感度設定指令に従う感度レベルを、上述の基準レベルとして内部に保持する。その上で、一旦、指令応答タスクを終了する。
図31のステップS301において、例えば推定速度設定指令(図21のステップS45参照)を受信した、と判定すると、マイクロホンアレイ30は、図38のステップS323に進む。そして、このステップS323において、当該推定速度設定指令に応じて音源位置推定機能の推定速度を設定し、詳しくは上述したフィルタの時定数を変更する。その上で、一旦、指令応答タスクを終了する。
また、図31のステップS301において、例えばレベル補正設定指令(図22のステップS51またはステップS57参照)を受信した、と判定すると、マイクロホンアレイ30は、図39のステップS325に進む。そして、このステップS325において、当該レベル補正設定指令がレベル補正機能のONを指示するものであるのか否かを判定する。ここで例えば、レベル補正設定指令がレベル補正機能のONを指示するものである場合、マイクロホンアレイ30は、ステップS327に進み、後述するレベル補正タスクの実行を開始する。そして、ステップS329に進み、さらに制御装置70からレベル補正実行距離設定指令(図22のステップS53参照)が送信されてくるのを待つ。このステップS329において、レベル補正実行距離設定指令を受信すると、マイクロホンアレイ30は、ステップS331に進み、当該レベル補正実行距離設定指令に従ってレベル補正実行距離を設定し、つまり内部に保持する。そして、一旦、指令応答タスクを終了する。一方、ステップS325において、レベル補正設定指令がレベル補正機能のOFFを指示するものである場合、マイクロホンアレイ30は、当該ステップS325からステップS333に進む。そして、このステップS333において、レベル補正タスクの実行を終了して、一旦、指令応答タスクを終了する。
ここで、図40を参照して、レベル補正タスクについて説明する。このレベル補正タスクは、上述した音源位置推定機能によって音源位置が推定されるごとに実行される。このレベル補正タスクによれば、マイクロホンアレイ30は、まず、ステップS501に進み、推定された音源位置がレベル補正実行距離内に入っているか否かを確認する。そして、続くステップS503において、当該音源位置がレベル補正実行距離内に入っている、と判定すると、ステップS505に進み、レベル補正処理を実行し、つまり各マイクロホン素子32−1〜32−8からの音声信号のレベルを抑制する。その上で、一旦、このレベル補正タスクを終了する。一方、ステップS503において、音源位置がレベル補正実行距離内に入っていない、と判定すると、ステップS507に進み、レベル補正処理を不実行とする。そして、一旦、このレベル補正タスクを終了する。
図31のステップS301に戻って、当該ステップS301において、例えばレベル補正実行距離設定指令(図23のステップS59参照)を受信した、と判定すると、マイクロホンアレイ30は、図41のステップS335に進む。そして、このステップS335において、当該レベル補正実行距離設定指令に応じてレベル補正実行距離を設定して、一旦、指令応答タスクを終了する。
さらに、図31のステップS301において、例えばゲイン設定指令(図28のステップS73参照)を受信した、と判定すると、マイクロホンアレイ30は、図42のステップS337に進む。そして、このステップS337において、当該ゲイン設定指令に応じてゲインを設定する。その上で、一旦、指令応答タスクを終了する。
加えて、図31のステップS301において、ミュート設定指令(図29のステップS79またはステップS83)を受信した、と判定すると、マイクロホンアレイ30は、図43のステップS339に進む。そして、このステップS339において、当該ミュート設定指令がミュート機能のONを指示するものであるのか否かを判定する。ここで例えば、当該ミュート設定指令がミュート機能のONを指示するものである場合、マイクロホンアレイ30は、ステップS341に進む。そして、このステップS341において、ミュート処理をON状態とした後、一旦、指令応答タスクを終了する。一方、ステップS339において、ミュート設定指令がミュート機能のOFFを指示するものである場合には、マイクロホンアレイ30は、当該ステップS339からステップS343に進む。そして、このステップS343において、ミュート処理をOFF状態として、一旦、指令応答タスクを終了する。
以上のように、本実施形態によれば、マイクロホンアレイ30によって推定された音源位置を含む当該マイクロホンアレイ30の動作状況を制御装置70によって直観的に把握することができる。しかも、この制御装置70によるマイクロホンアレイ30の制御は、いわゆるGUI操作によって直観的に実現することができる。従って、マイクロホンアレイを効果的に運用することができる。
なお、本実施形態において説明した内容は、本発明を実現するための1つの具体例であり、本発明の範囲を限定するものではない。
例えば、制御装置70は、タブレット型のコンピュータに限らず、ノートブック型のコンピュータやデスクトップ型のコンピュータであってもよい。即ち、表示手段としてのディスプレイと、入力手段としてのキーボードやマウスに代表されるポインティングデバイス等とが、別個に設けられており、当該表示手段に表示されたボタンや操作子等の操作可能な要素を入力手段によって操作するよう構成してもよい。また、汎用のコンピュータに限らず、専用の装置によって、当該制御装置70が構成されてもよい。
そして、マイクロホンアレイ30と制御装置70とは、無線LANによって双方向通信が成されることとしたが、これに限らない。即ち、無線LAN以外の無線通信技術、或いは有線通信技術によって、これら両者間の双方向通信が実現されてもよい。
さらに、模擬図302については、平面図等の2次元の図に限らず、俯瞰図等の3次元的な図が採用されてもよい。
加えて、音源の音量を表現するために、当該音量に応じて、音源マーク316に付随する音量マーク318の大きさが変化することとしたが、これに限らない。例えば、当該音量マーク318の形状や色,模様等が変化するようにしてもよい。また、音源マーク316自体の大きさや形状,色,模様等が変化するようにしてもよい。
そして、本実施形態においては、講義用拡声システム10に本発明が適用される場合について説明したが、これ以外の用途にも本発明を適用できることは、言うまでもない。
10 講義用拡声システム
30 マイクロホンアレイ
50 通信ユニット
70 制御装置
72 プロセッサ
76 ディスプレイ
78 通信回路

Claims (8)

  1. 複数のマイクロホン素子を有し該複数のマイクロホン素子から出力される音声信号に基づいて音源の位置を推定する音源位置推定機能を備えたマイクロホンアレイを制御する制御装置であって、
    表示手段と、
    上記マイクロホンアレイが設置されている空間を模擬的に表す模擬図を上記表示手段に表示させる表示制御手段と、
    上記音源位置推定機能によって推定された上記音源の位置を表す音源位置情報を含む所定のマイクロホンデータを上記マイクロホンアレイから取得するデータ取得手段と、
    を具備し、
    上記表示制御手段はさらに上記データ取得手段によって取得された上記マイクロホンデータに含まれる上記音源位置情報に基づいて上記音源を表す音源記号を上記模擬図上に 示し、
    上記マイクロホンアレイは自身の指向性を含む収音特性が上記音源から発せられる音を 検出するのに適した態様となるように該収音特性を変化させる収音特性可変機能をさらに 備え、
    上記収音特性可変機能によって上記収音特性を変化させることが可能とされる範囲を設 定する収音特性変化可能範囲設定手段をさらに具備し、
    上記表示制御手段はさらに上記収音特性変化可能範囲設定手段によって設定された上記 範囲を表す収音特性変化可能範囲記号を上記模擬図上に表示する
    マイクロホンアレイ制御装置。
  2. 複数のマイクロホン素子を有し該複数のマイクロホン素子から出力される音声信号に基 づいて音源の位置を推定する音源位置推定機能を備えたマイクロホンアレイを制御する制 御装置であって、
    表示手段と、
    上記マイクロホンアレイが設置されている空間を模擬的に表す模擬図を上記表示手段に 表示させる表示制御手段と、
    上記音源位置推定機能によって推定された上記音源の位置を表す音源位置情報を含む所 定のマイクロホンデータを上記マイクロホンアレイから取得するデータ取得手段と、
    を具備し、
    上記表示制御手段はさらに上記データ取得手段によって取得された上記マイクロホンデ ータに含まれる上記音源位置情報に基づいて上記音源を表す音源記号を上記模擬図上に表 示し、
    上記マイクロホンアレイは上記音源位置推定機能によって推定された上記音源の位置が自身に近づいたときに上記音声信号を抑制する音声信号抑制機能をさらに備え、
    上記音声信号抑制機能による上記音声信号の抑制を実行させるかどうかの境界となる上記マイクロホンアレイからの距離を設定する抑制実行距離設定手段をさらに具備し、
    上記表示制御手段はさらに上記抑制実行距離設定手段によって設定された上記距離を表す抑制実行距離記号を上記模擬図上に表示する、
    マイクロホンアレイ制御装置。
  3. 上記音源位置情報の履歴を記憶する履歴記憶手段をさらに具備し、
    上記表示制御手段はさらに上記履歴記憶手段に記憶されている上記音源位置情報の履歴 に基づいて上記音源の軌跡を表す軌跡記号を上記模擬図上に表示する、
    請求項1または2に記載のマイクロホンアレイ制御装置。
  4. 上記模擬図は上記マイクロホンアレイを表すアレイ記号を含み、
    上記表示制御手段はさらに上記アレイ記号と上記音源記号とを直線的に結ぶ結合記号を 上記模擬図上に表示する、
    請求項1または2に記載のマイクロホンアレイ制御装置。
  5. 上記マイクロホンデータは上記複数のマイクロホン素子に入力される音の入力レベルを 表す入力レベル情報を含み、
    上記表示制御手段はさらに上記マイクロホンデータに含まれる上記入力レベル情報に基 づいて上記音源記号の表示態様を変化させる、
    請求項1または2に記載のマイクロホンアレイ制御装置。
  6. 上記音源位置情報の履歴を記憶する履歴記憶手段をさらに具備し、
    上記表示制御手段はさらに上記履歴記憶手段に記憶されている上記音源位置情報の履歴に基づいて上記音源の軌跡を表す軌跡記号を上記模擬図上に表示する、
    請求項1または2に記載のマイクロホンアレイ制御装置。
  7. 複数のマイクロホン素子を有し該複数のマイクロホン素子から出力される音声信号に基 づいて音源の位置を推定する音源位置推定機能を備え、かつ自身の指向性を含む収音特性 が上記音源から発せられる音を検出するのに適した態様となるように該収音特性を変化さ せる収音特性可変機能を備えたマイクロホンアレイと接続されると共に表示手段を有する コンピュータに実行させるコンピュータプログラムであって、
    上記マイクロホンアレイが設置されている空間を模擬的に表す模擬図を上記表示手段に 表示させる表示制御手順と、
    上記音源位置推定機能によって推定された上記音源の位置を表す音源位置情報を含む所 定のマイクロホンデータを上記マイクロホンアレイから取得するデータ取得手順と、
    上記収音特性可変機能によって上記収音特性を変化させることが可能とされる範囲を設 定する収音特性変化可能範囲設定手順とを、上記コンピュータに実行させ、さらに、
    上記表示制御手順では上記データ取得手順において取得された上記マイクロホンデータ に含まれる上記音源位置情報に基づいて上記音源を表す音源記号を上記模擬図上に表示さ せ、上記収音特性変化可能範囲設定手順によって設定された上記範囲を表す収音特性変化 可能範囲記号を上記模擬図上に表示させる、コンピュータプログラム。
  8. 複数のマイクロホン素子を有し該複数のマイクロホン素子から出力される音声信号に基 づいて音源の位置を推定する音源位置推定機能を備え、かつ上記音源位置推定機能によっ て推定された上記音源の位置が自身に近づいたときに上記音声信号を抑制する音声信号抑 制機能を備えたマイクロホンアレイと接続されると共に表示手段を有するコンピュータに 実行させるコンピュータプログラムであって、
    上記マイクロホンアレイが設置されている空間を模擬的に表す模擬図を上記表示手段に 表示させる表示制御手順と、
    上記音源位置推定機能によって推定された上記音源の位置を表す音源位置情報を含む所 定のマイクロホンデータを上記マイクロホンアレイから取得するデータ取得手順と、
    上記音声信号抑制機能による上記音声信号の抑制を実行させるかどうかの境界となる上 記マイクロホンアレイからの距離を設定する抑制実行距離設定手順とを、上記コンピュー タに実行させ、さらに、
    上記表示制御手順では上記データ取得手順において取得された上記マイクロホンデータ に含まれる上記音源位置情報に基づいて上記音源を表す音源記号を上記模擬図上に表示さ せ、上記抑制実行距離設定手順によって設定された上記距離を表す抑制実行距離記号を上 記模擬図上に表示させるコンピュータプログラム。
JP2015522320A 2013-06-11 2013-06-11 マイクロホンアレイ制御装置 Active JP6214651B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/066121 WO2014199453A1 (ja) 2013-06-11 2013-06-11 マイクロホンアレイ制御装置

Publications (2)

Publication Number Publication Date
JPWO2014199453A1 JPWO2014199453A1 (ja) 2017-02-23
JP6214651B2 true JP6214651B2 (ja) 2017-10-18

Family

ID=52021789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015522320A Active JP6214651B2 (ja) 2013-06-11 2013-06-11 マイクロホンアレイ制御装置

Country Status (3)

Country Link
US (1) US9818430B2 (ja)
JP (1) JP6214651B2 (ja)
WO (1) WO2014199453A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118551A1 (en) * 2016-01-04 2017-07-13 Harman Becker Automotive Systems Gmbh Sound wave field generation
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
JP6758956B2 (ja) * 2016-06-30 2020-09-23 キヤノン株式会社 制御装置、制御方法およびプログラム
US10573291B2 (en) 2016-12-09 2020-02-25 The Research Foundation For The State University Of New York Acoustic metamaterial
US11037370B2 (en) * 2017-01-27 2021-06-15 Sony Corporation Information processing apparatus, and information processing method and program therefor
CN107222798B (zh) * 2017-07-19 2023-08-25 歌尔科技有限公司 一种智能音箱显示装置
US20190082255A1 (en) * 2017-09-08 2019-03-14 Olympus Corporation Information acquiring apparatus, information acquiring method, and computer readable recording medium
US10631085B2 (en) * 2018-05-07 2020-04-21 Crestron Electronics, Inc. Microphone array system with Ethernet connection
CN112261528B (zh) * 2020-10-23 2022-08-26 汪洲华 一种多路定向拾音的音频输出方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3572594B2 (ja) * 1995-07-05 2004-10-06 晴夫 浜田 信号源探査方法及び装置
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7995768B2 (en) * 2005-01-27 2011-08-09 Yamaha Corporation Sound reinforcement system
JP4271154B2 (ja) 2005-02-01 2009-06-03 株式会社小野測器 音響計測装置
JP2006261886A (ja) * 2005-03-16 2006-09-28 Sony Corp 収録再生システム、収録装置および方法、再生装置および方法、並びにプログラム
JP5334037B2 (ja) * 2008-07-11 2013-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 音源の位置検出方法及びシステム
JP5672770B2 (ja) * 2010-05-19 2015-02-18 富士通株式会社 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
JP5709725B2 (ja) 2011-10-27 2015-04-30 Toa株式会社 マイクロホン装置

Also Published As

Publication number Publication date
JPWO2014199453A1 (ja) 2017-02-23
WO2014199453A1 (ja) 2014-12-18
US9818430B2 (en) 2017-11-14
US20160148624A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
JP6214651B2 (ja) マイクロホンアレイ制御装置
US10887716B2 (en) Graphical user interface for calibrating a surround sound system
US9632683B2 (en) Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US8334841B2 (en) Virtual user interface method and system thereof
JP6668661B2 (ja) パラメータ制御装置およびパラメータ制御プログラム
JP6002758B2 (ja) タッチスクリーンを備えた携帯端末機の画面編集方法及び装置
CN110337318A (zh) 混合现实装置中的虚拟和真实对象记录
CN104246531A (zh) 用于显示用户接口的系统和方法
US20220225049A1 (en) An apparatus and associated methods for capture of spatial audio
JP2023551665A (ja) 仮想位置を指示する実世界ビーコン
US20060250352A1 (en) System and method for improved cursor functionality
JP2018186471A (ja) 目標位置設定装置及び音像定位装置
JP7155511B2 (ja) 手術システム、情報処理装置、及び情報処理方法
US20230122645A1 (en) Audio data processing
US11622216B2 (en) System and method for interactive mobile fitting of hearing aids
JPWO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
JP2008021186A (ja) 音響による位置通知方法、および同方法を用いた情報処理システム
CN114520950A (zh) 音频输出方法、装置、电子设备及可读存储介质
CN109410548B (zh) 一种控制方法及电子设备
US11334220B2 (en) Method, apparatus, and computer-readable medium for propagating cropped images over a web socket connection in a networked collaboration workspace
US10475332B2 (en) Spatial remote control
JP5747512B2 (ja) パラメータ設定プログラム及び電子音楽装置
US20230134400A1 (en) Automatic adaptation of multi-modal system components
KR20210021252A (ko) 집음 방법, 장치 및 매체
KR102650763B1 (ko) 오디오 소스 지향성에 기초한 심리음향 강화

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R150 Certificate of patent or registration of utility model

Ref document number: 6214651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250