JP6769495B2 - 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置 - Google Patents

相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置 Download PDF

Info

Publication number
JP6769495B2
JP6769495B2 JP2018561142A JP2018561142A JP6769495B2 JP 6769495 B2 JP6769495 B2 JP 6769495B2 JP 2018561142 A JP2018561142 A JP 2018561142A JP 2018561142 A JP2018561142 A JP 2018561142A JP 6769495 B2 JP6769495 B2 JP 6769495B2
Authority
JP
Japan
Prior art keywords
correlation function
frequency
spectrum
cross spectrum
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018561142A
Other languages
English (en)
Other versions
JPWO2018131099A1 (ja
Inventor
正徳 加藤
正徳 加藤
裕三 仙田
裕三 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018131099A1 publication Critical patent/JPWO2018131099A1/ja
Application granted granted Critical
Publication of JP6769495B2 publication Critical patent/JP6769495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/04Details
    • G01S3/043Receivers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置に関するものである。
上記技術分野において、特許文献1には、2つの音響信号からクロススペクトルを算出し、クロススペクトルの位相成分の時間変動が少ない周波数成分を音声成分とし、時間変動の大きい部分を雑音成分として、雑音成分を抑圧する技術が開示されている。また、上記技術分野において、特許文献2には、2つの受信信号のクロススペクトルが示すコヒーレンスレベルの高い周波数帯における位相の周波数勾配から到来電波の時間差を算出して電波の到来方向を探知することが開示されている。さらに、上記技術分野において、非特許文献1および非特許文献2には、2つのマイクロフォンの受音信号を用いて、音源(音波の発生源、発生場所)の方向を推定する方法が開示されている。具体的には、2つの受音信号から、受音信号間の相互相関関数を求める。そして、相互相関関数が最大値を与える時間差を音波の到来時間差として算出することで、音波の到来方向を推定する。
特開2011−033717号公報 特開2009−287942号公報
C.H.Knapp and G.C.Carter, "The generalized correlation method for estimation of time delay," IEEE Trans. Acoustics, Speech and Signal Processing, vol.24, no. 4, pp. 320-327, Aug. 1976. J.P. Ianniello, "Time delay estimation via cross-correlation in the presence of large estimation errors," IEEE Trans. Acoustics, Speech and Signal Processing, vol.30, no. 6, pp. 998-1003, Dec. 1982.
しかしながら、上記文献に記載の技術では、周囲のノイズレベルが高い環境の場合には、明瞭なピークを持つ相関関数が生成できなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る相関関数生成装置は、
波源で発生した波を入力信号として取得する複数の入力信号取得手段と、
複数の前記入力信号取得手段で取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換手段と、
複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算手段と、
前記クロススペクトルの位相の分散として円周分散を計算する分散計算手段と、
前記円周分散に基づいて算出された重みによって重み付された前記クロススペクトルに基づいて、相関関数を計算する相関関数計算手段と、
を備える。
上記目的を達成するため、本発明に係る相関関数生成方法は、
波源で発生した波を入力信号として取得する複数の入力信号取得ステップと、
複数の前記入力信号取得ステップで取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換ステップと、
複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算ステップと、
前記クロススペクトルの位相の分散として円周分散を計算する分散計算ステップと、
前記円周分散に基づいて算出された重みによって重み付された前記クロススペクトルに基づいて、相関関数を計算して生成する相関関数計算ステップと、
を含む
上記目的を達成するため、本発明に係る相関関数生成プログラムは、
波源で発生した波を入力信号として取得する複数の入力信号取得ステップと、
複数の前記入力信号取得ステップで取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換ステップと、
複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算ステップと、
前記クロススペクトルの位相の分散として円周分散を計算する分散計算ステップと、
前記円周分散に基づいて算出された重みによって重み付された前記クロススペクトルに基づいて、相関関数を計算して生成する相関関数計算ステップと、
をコンピュータに実行させる。
上記目的を達成するため、本発明に係る波源方向推定装置は、
上記相関関数生成装置を有し、
前記相関関数生成装置により生成された相関関数に基づいて、前記波源の方向を推定する。
本発明によれば、周囲のノイズレベルが高い環境の場合であっても、明瞭なピークを持つ相関関数を生成できる。
本発明の第1実施形態に係る相関関数生成装置の構成を示すブロック図である。 本発明の第2実施形態に係る相関関数生成部を含む波源方向推定装置の構成を説明するためのブロック図である。 本発明の第2実施形態に係る波源方向推定装置の備える相関関数計算部の構成を示すブロック図である。 本発明の第2実施形態に係る波源方向推定装置の備える相関関数テーブルの一例を説明する図である。 本発明の第2実施形態に係る波源方向推定装置の備える変換関数テーブルの一例を説明する図である。 本発明の第2実施形態に係る波源方向推定装置の備える分散テーブルの一例を説明する図である。 本発明の第2実施形態に係る波源方向推定装置のハードウェア構成を説明するブロック図である。 本発明の第2実施形態に係る波源方向推定装置の処理手順を説明するフローチャートである。 本発明の第3実施形態に係る相関関数生成部を含む波源方向推定装置の構成を説明するためのブロック図である。 本発明の第4実施形態に係る相関関数生成部を含む波源方向推定装置の構成を説明するためのブロック図である。 本発明の第5実施形態に係る波源方向推定装置の備える相関関数計算部の構成を説明するためのブロック図である。 本発明の第5実施形態に係る波源方向推定装置の備える周波数別クロススペクトル生成の構成を説明するためのブロック図である。 本発明の第5実施形態に係る波源方向推定装置の備える統合相関関数計算部の構成を説明するためのブロック図である。 本発明の第5実施形態に係る波源方向推定装置により計算された周波数別クロススペクトルおよび周波数別相関関数を説明する図である。 本発明の第5実施形態に係る波源方向推定装置によりカーネル関数スペクトルが乗じられた周波数別クロススペクトルと周波数別相関関数との関係を説明する図である。 本発明の第5実施形態に係る波源方向推定装置においてカーネル関数の有無と統合相関関数との関係を説明する図である。 本発明の第5実施形態に係る波源方向推定装置においてカーネル関数スペクトルの幅の違いと統合相関関数との関係を説明する図である。 本発明の第6実施形態に係る波源方向推定装置の備える周波数別クロススペクトル生成の構成を説明するブロック図である。 本発明の第7実施形態に係る統合相関関数計算部の構成を説明するためのブロック図である。 本発明の第8実施形態に係る波源方向推定システムの構成を説明するための図である。 本発明の第8実施形態に係る波源方向推定システムの表示部で表示した画像の一例を示す図である。
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
また、以下の実施形態に係る波源方向推定装置の推定対象は、空気や水の振動波である音波の発生源に限定されない。地震や地滑りなどの土や固体を媒質とする振動波の発生源にも適用できる。その場合、振動波を電気信号に変換する装置には、マイクロフォンではなく振動センサが用いられる。さらに、気体・液体・固体の振動波だけでなく、電波を用いて方向を推定する場合にも以下の実施形態に係る波源方向推定装置を適用できる。その場合、電波を電気信号に変換する装置にはアンテナが用いられる。以下の実施形態においては、波源は音源と仮定して説明する。
[第1実施形態]
本発明の第1実施形態としての相関関数生成装置100について、図1を用いて説明する。相関関数生成装置100は、明瞭なピークを持つ相関関数を生成する装置である。
図1に示すように、相関関数生成装置100は、複数の入力信号取得部101と、変換部102と、クロススペクトル計算部103と、分散計算部104と、相関関数計算部105と、を含む。
入力信号取得部101は、波源で発生した波を入力信号として取得する。変換部102は、複数の入力信号取得部101で取得した複数の入力信号を変換して、複数の周波数領域信号を得る。クロススペクトル計算部103は、複数の周波数領域信号に基づいて、クロススペクトルを計算する。分散計算部104は、クロススペクトルの分散を計算する。相関関数計算部105は、クロススペクトルと分散とに基づいて、相関関数を計算して生成する。
本実施形態によれば、周囲のノイズレベルが高い環境の場合であっても、明瞭なピークを持つ相関関数を生成できる。
[第2実施形態]
<前提技術>
上記非特許文献1および非特許文献2に記載の技術では、屋外などの周囲騒音レベルが高い環境において、遠方に存在する音源の方向を高精度に推定することが困難であった。例えば、推定対象の音源(目標音源)が、マイクロフォンから遠く離れた場所に存在する場合、目標音源から放射される音の音量は、マイクロフォンに到達する時点で大幅に小さくなる。このため、目標音源の音が周囲環境雑音に埋もれて、明瞭なピークを持つ相関関数を生成できなかった。よって、目標音源の方向推定精度が低下することがあった。
<本実施形態の技術>
次に本発明の第2実施形態としての波源方向推定装置200について、図2乃至図6を用いて説明する。
図2は、本実施形態に係る波源方向推定装置200の構成を説明するためのブロック図である。本実施形態の波源方向推定装置200は、例えば、デジタルビデオカメラ、スマートフォン、携帯電話、ノートパソコン、パッシブソーナーなどといった装置の一部として機能する。また、不審ドローン検知、悲鳴検知、車両事故検知などの声や音に基づいて異常を検知する異常音検知装置にも搭載される。しかし、本実施形態に係る波源方向推定装置200の適用例はこれらに限定されるものではなく、受信音から目標音源の方向推定を要求されるあらゆる波源方向推定装置に適用可能である。
波源方向推定装置200は、入力端子20、入力端子20、変換部201、クロススペクトル計算部202、分散計算部203、相関関数計算部204、推定方向情報生成部205および相対遅延時間計算部206を備える。なお、変換部201、クロススペクトル計算部202、分散計算部203および相関関数計算部204は、相関関数生成部210を構成する。
(入力端子20)
入力端子20と入力端子20とには、目標音源の音と集音装置であるマイクロフォン(以下、マイク)の周囲で生じる様々な雑音が混在した音とがデジタル信号(サンプル値系列)として入力される。入力端20と入力端子20とに入力された音信号を本実施形態では入力信号と呼ぶ。そして、時刻tにおける入力端子20と入力端子20との入力信号をx(t)、x(t)と表す。
入力端子に入力される音は、集音装置であるマイクで集音される。入力端子は複数存在するので、目標音源の音を集音する場合には、端子数と同じ2個のマイクが同時に使用される。本実施形態では、入力端子とマイクとは一対一に対応しており、m番目のマイクが集音した音は、m番目の入力端子に供給されると仮定する。したがって、m番目の入力端子に供給された入力信号のことを「m番目のマイクの入力信号」とも呼ぶ。
波源方向推定装置200は、目標音源の音が2つのマイクに到達する時間差を利用して音源の方向を推定する。このため、マイク間隔も重要な情報となるので、波源方向推定装置200には、入力信号だけでなく、マイク位置情報も供給される。
(変換部201)
変換部201は、入力端子20と入力端子20とから供給された入力信号を変換し、クロススペクトル計算部202へ供給する。変換は、入力信号を複数の周波数成分に分解する目的で実施される。ここでは、代表的なフーリエ変換を用いた場合について説明する。
変換部201には2種類の入力信号x(t)が入力される。ここで、mは入力端子番号である。変換部201は、入力端子から供給された入力信号から、適当な長さの波形を一定の周期でずらしながら切り出す。こうして切り出した信号区間をフレーム、切り出した波形の長さをフレーム長、フレームをずらす周期をフレーム周期と呼ぶ。そして、フーリエ変換を用いて切り出された信号を周波数領域信号に変換する。nをフレーム番号とし、切り出した入力信号x(t,n)(t=0,1,・・・,K−1)とすると、x(t,n)のフーリエ変換X(k,n)は次のように計算される。
ここで、jは虚数単位(−1の平方根)、expは指数関数を表す。また、kは周波数ビン番号を表し、0以上K−1以下の整数である。以下、簡略化のため、kのことを周波数ビン番号ではなく、単に「周波数」と呼ぶ。
(クロススペクトル計算部202)
クロススペクトル計算部202は、変換部201から供給される変換信号に基づいて、クロススペクトルを計算し、分散計算部203と相関関数計算部204へ伝達する。クロススペクトル計算部202は、変換信号X(k,n)の複素共役と変換信号X(k,n)の積を計算する。変換信号のクロススペクトルをS12(k,n)とすると、クロススペクトルは次のように計算される。
ここで、conj(X(k,n))は、X(k,n)の複素共役を表す。また、式(2)で計算したクロススペクトルの代わりに、振幅成分で正規化したクロススペクトルを用いてもよい。このようなクロススペクトルは以下のように計算される。
(分散計算部203)
分散計算部203は、クロススペクトル計算部202から供給されたクロススペクトルを用いて、クロススペクトルの分散を計算し、相関関数計算部204へ伝達する。本実施形態では、過去に入力されたクロススペクトルから周波数ビンごとに分散を計算する例を説明する。周波数ビン単位ではなく、複数の周波数ビンを束ねたサブバンド単位や、全周波数ビンを用いて計算してもよい。また、それらを組み合わせて分散を計算してもよい。サブバンド単位で計算すると、分散を計算する帯域数が削減できるので、演算量が低減できる。
分散計算部203で計算される分散とは、クロススペクトルではなく、クロススペクトルの位相の分散である。ここで、クロススペクトルの位相とは、クロススペクトルを複素数と捉えたとき、クロススペクトルの偏角のことである。また、分散とは、位相の時系列がある基準値に対してどの程度散らばっているかを示す指標、位相の分布の広がりのことである。したがって、本実施形態における分散とは、確率論における分散の定義に限定されるものではなく、標準偏差も分散の一例であるとする。分散の代表例は、確率論の定義に従ったものである。この場合、第nフレームの周波数ビンkにおけるクロススペクトルS12(k,n)の位相をarg(S12(k,n))とすると、過去L−1フレーム分のクロススペクトルの位相arg(S12(k,n)),arg(S12(k,n−1)),arg(S12(k,n−2)),・・・,arg(S12(k,nーL+1))から、周波数ビンkの分散V12(k,n)は次のように計算される。
また、標準偏差の定義に基づいて計算した場合、分散は次のように計算される。
また、あらかじめ定めた基準値との2乗誤差の総和も分散の例であるとする。この場合、分散V12(k,n)は以下のように計算される。
ここで、arg(S)は基準となる位相である。他には、2乗誤差の代わりに絶対値誤差を用いてもよい。
ここで、|x|はxの絶対値を表す。
位相が角度情報であるという点に着目すると、方向統計学(Directional Statistics)で定義されている分散(円周分散、circular variance)や標準偏差(円周標準偏差、circular standard deviation)を用いてもよい。円周分散を用いた場合、分散V12(k,n)は以下のように計算される。
ここでR(k,n)は、クロススペクトルの平均であり、方向統計学では円周平均と呼ばれる。R(k,n)は、次のように計算される。
ただし、式(9)のS12(k,n)は、式(3)の「振幅成分で正規化したクロススペクトル」に限定される。クロススペクトルの平均は、式(8)の移動平均の代わりに、次のようにリーク積分を用いてもよい。
ここで、αは実数で、0<α<1を満足する。
式(8)の変形型である次の分散も有効である。
また、円周標準偏差を用いた場合、分散V12(k,n)は以下のように計算される。
ここで、ln(x)はxの自然対数を表す。この他には、円周標準偏差に類する統計量として知られる角状変位(angular deviation)を用いてもよい。
以上のとおり、方向統計学を用いた場合には、円周平均に基づいて各種分散を求めることが可能である。したがって、分散の計算方法としては、上記に示した数式に限定されることなく、円周平均の多次元関数、多項式、非線形関数、およびそれらの組み合わせを用いてもよい。
以上のとおりに求めた分散に対して補正処理を追加することも、分散の精度を向上させる上では有効である。つまり、分散の代わりに、補正された分散を相関関数計算部204へ伝達してもよい。補正は、時間周波数平面上で周辺に存在する分散(補正対象の周辺のフレームや周波数に存在する分散)を用いて行う。代表的な例は、分散の平均値を計算する方法である。この場合、補正された分散VV12(k,n)は次のように計算される。
ここで、PとPとは、それぞれあらかじめ定めた定数である。この他の例としては、隣接する複数の周波数やフレームの分散にばらつきがある場合、そのフレーム・周波数に目標信号が含まれている可能性が低いので、分散を大きくする。また、隣接周波数・フレームに分散値が突出して低い値が見つかった場合、分散を低くする。
(相関関数計算部204)
相関関数計算部204は、クロススペクトル計算部202から供給されたクロススペクトルと、分散計算部203から供給された分散に基づき、相関関数を計算し、推定方向情報生成部205に伝達する。次に図3を参照して、相関関数計算部204の詳細を説明する。
図3は、本実施形態に係る波源方向推定装置200の備える相関関数計算部204の構成を示すブロック図である。相関関数計算部204は、重み付け部241および逆変換部242を備える。
(重み付け部241)
重み付け部241は、分散計算部203から供給された分散に基づいて、クロススペクトル計算部202から供給されたクロススペクトルに重み付けを行い、重み付けされたクロススペクトルを逆変換部242に伝達する。
重み付け部241では、分散が大きい場合には、クロススペクトルに目標音源の情報が含まれている可能性が低いので、クロススペクトルの値を小さくする。代表的な方法は、あらかじめ用意した写像関数を用いて、分散から重みを計算し、その重みを乗じる方法である。このとき、重み付けされたクロススペクトルWS12(k,n)は次のように計算される。
ここで、G(k,n)は分散に基づいて算出された重みである。G(k,n)は、次のように計算される。
ここで、V12(k,n)は分散計算部203から供給された分散である。V12(k,n)の代わりに補正された分散であるVV12(k,n)を用いてもよい。また、aとbはそれぞれ実数であり、a>0を満足する。また、次式のように、単純に閾値判定に基づいて値を切り替える方法でもよい。
ここで、Vthは閾値であり、正の実数である。この他にも、線形写像関数や高次の多項式関数、非線形関数など、他の形で表される分散の関数をゲインの計算に用いることも可能である。
(逆変換部242)
逆変換部242は、重み付け部241から供給されたクロススペクトルの逆変換を求める。本実施形態では、変換部201でフーリエ変換を用いたので、逆変換には逆フーリエ変換を用いる方法について説明する。重み付け部241から供給されたクロススペクトルをWS12(k,n)とすると、WS12(k,n)の逆変換により得られる相関関数s12(τ,n)は次のように計算される。
(相対遅延時間計算部206)
相対遅延時間計算部206は、入力されたマイク位置情報と音源探索対象方向とから、マイクペア間の相対遅延時間を求め、音源探索対象方向とセットで推定方向情報生成部205に伝達する。相対遅延時間とは、マイク間隔と音源方向とに基づいて一意に定まる音波の到達時間差のことである。音速をcと仮定し、2つのマイクの間隔をd、音源方向、つまり音の到来方向をθとした場合、音源方向θに対する相対遅延時間τ(θ)は次の式で計算される。
相対遅延時間は、全ての音源探索対象方向に対して計算される。例えば、方向の探索範囲が10度刻みで0度から90度まで、つまり0度、10度、20度、・・・90度である場合、10種類の相対遅延時間を計算する。そして、探索対象の方向と相対遅延時間とをペアで推定方向情報生成部205へ供給する。
(推定方向情報生成部205)
推定方向情報生成部205は、相関関数計算部204から供給される相関関数と、相対遅延時間計算部206から供給される相対遅延時間と、に基づき、方向と相関値との対応関係を推定方向情報として出力する。相関関数をs12(τ,n)、相対遅延時間τ(θ)とすると、推定方向情報H(θ,n)は、次式で与えられる。
各方向に対して相関値が定まるので、基本的に相関値が高ければ、その方向に音源が存在する可能性が高いと判断できる。
このような推定方向情報は、様々な形で利用される。例えば、関数が複数のピークを有する場合には、各ピークを到来方向とする音源が複数存在すると考えられる。したがって、各音源の方向を同時に推定できるだけでなく、音源数の推定にも用いることが可能である。
また、相関関数のピークと非ピークとの差分に基づき、音源の存在可能性を判定することも可能である。もし、ピークと非ピークとの差分が大きければ音源の存在可能性が高いと判定できる。同時に、推定方向の信頼性も高いと判断できる。もし、音源数が1つと事前に仮定できる場合には、相関値が最大となる方向を推定方向情報として出力してもよい。この場合、推定方向情報は、方向と相関値の対応関係ではなく、方向そのものとなる。
図4Aは、本実施形態に係る波源方向推定装置200の備える相関関数テーブル401の一例を説明する図である。相関関数テーブル401は、入力信号411に関連付けて、周波数領域信号412、クロススペクトル413、分散414、相対遅延時間415および相関関数416を記憶する。波源方向推定装置200は、例えば、相関関数テーブル401を参照して、入力信号411に対する相関関数416を算出し、推定方向情報を生成する。
図4Bは、本実施形態に係る波源方向推定装置200の備える変換関数テーブル402の一例を説明する図である。変換関数テーブル402は、入力信号411に関連付けて変換関数421および逆変換関数422を記憶する。波源方向推定装置200は、例えば、変換関数テーブル402を参照して、入力信号411を変換して、周波数領域信号412やクロススペクトル413などを算出する。
図4Cは、本実施形態に係る波源方向推定装置200の備える分散テーブル403の一例を説明する図である。分散テーブル403は、クロススペクトル424に関連付けて分散手法431を記憶する。波源方向推定装置200は、例えば、分散テーブル403を参照してクロススペクトル424の分散414を算出する。
図5は、本実施形態に係る波源方向推定装置200のハードウェア構成を示す図である。CPU(Central Processing Unit)510は演算制御用のプロセッサであり、プログラムを実行することで図2および図3の波源方向推定装置200の機能構成部を実現する。ROM(Read Only Memory)520は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース530は、ネットワークを介して他の装置などと通信する。なお、CPU510は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース530は、CPU510とは独立したCPUを有して、RAM(Random Access Memory)540の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM540とストレージ550との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、入出力インタフェース560は、CPU510とは独立したCPUを有して、RAM540の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、CPU510は、RAM540にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU510は、処理結果をRAM540に準備し、後の送信あるいは転送はネットワークインタフェース530やDMAC、あるいは入出力インタフェース560に任せる。
RAM540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力信号541は、入力端子20および入力端子20に入力された音などの信号である。周波数領域信号542は、入力信号を所定の変換方法で変換して得られた信号である。クロススペクトル543は、周波数領域信号542に基づいて計算される。分散544は、クロススペクトル543から計算されたクロススペクトル543の分散である。相対遅延時間545は、マイク間隔と音源方向とに基づいて決まる音波などの到達時間差である。相関関数546は、クロススペクトル543と分散544とから計算される。これらのデータは、例えば、相関関数テーブル401から展開されたデータである。なお、図示していないが、RAM540は、変換関数テーブル402および分散テーブル403から展開されたデータを含んでいてもよい。
入出力データ547は、入出力インタフェース560を介して入出力されるデータである。送受信データ548は、ネットワークインタフェース530を介して送受信されるデータである。また、RAM540は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域549を有する。
ストレージ550には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ550は、相関関数テーブル401、変換関数テーブル402および分散テーブル403を格納する。相関関数テーブル401は、図4Aに示した、入力信号411と相関関数416などとの関係を管理するテーブルである。変換関数テーブル402は、図4Bに示した、入力信号411と変換関数421などとの関係を管理するテーブルである。分散テーブル403は、図4Cに示した、クロススペクトル424と分散手法431などとの関係を管理するテーブルである。ストレージ550は、さらに、変換モジュール551、クロススペクトル計算モジュール552、分散計算モジュール553、相関関数計算モジュール554、相対遅延時間計算モジュール555および推定方向情報生成モジュール556を格納する。
変換モジュール551は、入力信号を変換して周波数領域信号を取得するモジュールである。クロススペクトル計算モジュール552は、周波数領域信号に基づいてクロススペクトルを計算するモジュールである。分散計算モジュール553は、クロススペクトルの分散を計算するモジュールである。相関関数計算モジュール554は、クロススペクトルと分散とから相関関数を計算するモジュールである。相対遅延時間計算モジュール555は、マイクペア間の相対遅延時間を計算するモジュールである。推定方向情報生成モジュール556は、相関関数と相対遅延時間とから方向と相関値との対応関係を推定方向情報として生成するモジュールである。これらのモジュール551〜556は、CPU510によりRAM540のアプリケーション実行領域549に読み出され、実行される。制御プログラム557は、波源方向推定装置200の全体を制御するためのプログラムである。
入出力インタフェース560は、入出力機器との入出力データをインタフェースする。入出力インタフェース560には、表示部561、操作部562、が接続される。また、入出力インタフェース560には、さらに、記憶媒体564が接続されてもよい。さらに、音声出力部であるスピーカ563や、音声入力部であるマイク、あるいは、GPS位置判定部が接続されてもよい。なお、図5に示したRAM540やストレージ550には、波源方向推定装置200が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
図6は、本実施形態に係る波源方向推定装置200の処理手順を説明するフローチャートである。このフローチャートは、CPU510がRAM540を使用して実行し、図2および図3の波源方向推定装置200の機能構成部を実現する。
ステップS601において、波源方向推定装置200は、入力信号を取得する。ステップS603において、波源方向推定装置200は、入力信号を変換して周波数領域信号を取得する。ステップS605において、波源方向推定装置200は、周波数領域信号からクロススペクトルを計算する。ステップS607において、波源方向推定装置200は、クロススペクトルの位相の分散を計算する。ステップS609において、波源方向推定装置200は、計算した分散に基づいて、クロススペクトルを重み付けする。ステップS611において、波源方向推定装置200は、重み付けしたクロススペクトルを逆変換して、相関関数を計算する。ステップS613において、波源方向推定装置200は、相対遅延時間を計算する。ステップS615において、相関関数と相対遅延時間とから推定方向情報を生成する。
<本実施形態の効果>
本実施形態によれば、入力信号に含まれる目標音の到来方向、すなわち目標物体が存在する方向や波源の方向を高精度に推定できる。環境雑音レベルが高い環境において、目標物が発する音を手掛かりに、目標物が存在する方向を推定する場合に有効である。環境雑音の例としては、繁華街や街頭、街道沿い、人や自動車が多く集まる場所が挙げられる。また、目標物の例としては、人間や動物、自動車、航空機、船舶、水上バイク、ドローン(小型無人機)が挙げられる。
例えば、屋外のテーマパークや展示会場などに接近する不審な自動車・船舶・ドローンなどを検知し、それらの方向を推定することで、不審者や不審物を効率的に取り締ることが可能である。また、音源方向推定を複数箇所で実施することで、目標音源の位置を特定できる。これにより、環境雑音レベルが高い環境でも、悲鳴・怒号の発生位置や、不審な船舶・ドローンの出現位置などを正確に特定することが可能となる。
クロススペクトルの位相から、2つのマイクへの音波の到達時間差、すなわち音源方向が得られる。したがって、位相の時系列(本実施形態では過去L−1フレームの位相)から得られた分散の大きさに基づいて、目標音と環境音との区別が可能になる。目標音源の方向の時間変化は小さいため、位相の分散は小さくなる。もし、目標音の発生時間が数秒程度であっても、例えば10ミリ秒ごとに位相を求める場合には、その数秒から得られる位相の分散は小さくなる。一方で、環境雑音は方向の特定が困難なため、方向の時間変化は大きくなり、位相の分散も大きくなる。分散は周波数ごとに計算するので、目標音源が存在する周波数帯域を特定することが可能になる。
[第3実施形態]
次に本発明の第3実施形態に係る波源方向推定装置について、図7を用いて説明する。図7は、本実施形態に係る波源方向推定装置700の構成を説明するためのブロック図である。本実施形態に係る波源方向推定装置700は、上記第2実施形態と比べると、平均計算部701を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、変換部201、クロススペクトル計算部202、分散計算部203、相関関数計算部204および平均計算部701は、相関関数生成部710を構成する。
(平均計算部701)
平均計算部701は、クロススペクトル計算部202から供給されたクロススペクトルの平均を計算し、相関関数計算部204へ伝達する。本実施形態では、過去に入力されたクロススペクトルから周波数ビンごとに平均を計算する例を説明する。周波数ビン単位ではなく、複数の周波数ビンを束ねたサブバンド単位で計算してもよい。第nフレームの周波数ビンkにおけるクロススペクトルをS12(k,n)とすると、過去L−1フレームから求めた平均クロススペクトルSS12(k,n)は次のように計算される。
また、次のようにリーク積分を用いてもよい。
ここで、αは実数で、0<α<1を満足する。
<本実施形態の効果>
本実施形態によれば、クロススペクトルの代わりに平均クロススペクトルを相関関数計算部204に伝達する。このため、第2実施形態と比べると、位置の時間変動が小さな目標音源に対しては、相関関数のピーク位置、および推定方向情報の時間変動が小さくなるので、方向推定の精度が向上する。特に、自動車の走行音、航空機やドローンの飛行音、船舶の航行音(スクリュー音)など、目標物が発する音が継続的に生じる場合、クロススペクトルの平均化効果は高くなるので、相関関数のピーク位置、および推定方向情報が明確になる。
[第4実施形態]
次に本発明の第4実施形態に係る波源方向推定装置について、図8を用いて説明する。図8は、本実施形態に係る波源方向推定装置800の構成を説明するためのブロック図である。本実施形態に係る波源方向推定装置800は、上記第3実施形態と比べると、分散計算部203に代えて、分散計算部801を有する点で異なる。その他の構成および動作は、第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、変換部201、クロススペクトル計算部202、分散計算部801、平均計算部701および相関関数計算部204は、相関関数生成部810を構成する。
(分散計算部801)
分散計算部801は、平均計算部301から供給された平均クロススペクトルを用いて分散を計算し、相関関数計算部204へ伝達する。第3実施形態と比較すると、分散の計算にクロススペクトルではなく、平均クロススペクトルを用いている点が異なる。特に、方向統計学で知られている分散や標準偏差を計算する場合には、その計算過程において円周平均の計算を省略できる。平均クロススペクトルをSS12(k,n)とすると、「クロススペクトルの位相の分散」の計算において円周分散を用いた場合、分散V12(k,n)は以下のように計算される。
式(23)の変形型である次の分散も有効である。
また、円周標準偏差を用いた場合、分散V12(k,n)は以下のように計算される。
<本実施形態の効果>
本実施形態によれば、分散計算部は、平均クロススペクトル計算部で計算された平均クロススペクトルを利用して、分散を計算する。このため、分散計算部において平均クロススペクトルの計算が不要になる。したがって、第3実施形態よりも少ない計算量で分散を計算することができる。
[第5実施形態]
次に本発明の第5実施形態に係る波源方向推定装置について、図9乃至図12Dを用いて説明する。本実施形態に係る波源方向推定装置は、上記第2実施形態の波源方向推定装置と比べると、相関関数計算部204に代えて、相関関数計算部904を有する点で異なる。図9は、本実施形態に係る相関関数計算部904の構成を説明するためのブロック図である。本実施形態に係る相関関数計算部904は、上記第2実施形態の相関関数計算部204と比べると、重み付け部241と逆変換部242に代えて、周波数別クロススペクトル生成部941,941,・・・,941と統合相関関数計算部942とを有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図9は、相関関数計算部904のブロック図である。相関関数計算部904は、周波数別クロススペクトル生成部941,941,・・・,941と統合相関関数計算部942とを備える。周波数別クロススペクトル生成部941,941,・・・,941は、クロススペクトル計算部202から供給されるクロススペクトルS12(k,n)と分散計算部203から供給される分散p(k,n)とを用いて、S12(k,n)の各周波数kに対応するクロススペクトルを計算し、周波数別クロススペクトルとして統合相関関数計算部942に伝達する。周波数別クロススペクトルの生成は、周波数成分ごとに相関関数を計算するために行われる。つまり、ある周波数kに対応する相関関数(周波数別相関関数と呼ぶ)を後段で求めるために、周波数別クロススペクトルを計算する。
相関関数計算部904は、統合相関関数計算部942および周波数別クロススペクトル生成部941,941,・・・,941から供給される周波数別クロススペクトルに基づき統合相関関数を計算し、推定方向情報生成部205へ伝達する。
次に、図10を参照して、ある周波数kの周波数別クロススペクトルを計算する周波数別クロススペクトル生成部941について詳細に説明する。その後、図11を参照して、統合相関関数計算部942の詳細について説明する。
<周波数別クロススペクトル生成部941
図10は、周波数別クロススペクトル生成部941のブロック図である。周波数別クロススペクトル生成部941は、周波数別クロススペクトル生成部1011、カーネル関数スペクトル生成部1012、乗算部1013を有する。周波数別クロススペクトル生成部941は、クロススペクトル計算部202から供給されるクロススペクトルS12(k,n)と分散計算部203から供給される分散を用いて、S12(k,n)の周波数kに対応するクロススペクトルを計算し、周波数別クロススペクトルを統合相関関数計算部942へ伝達する。
(周波数別クロススペクトル生成部941)
周波数別クロススペクトル生成部941,941,・・・,941は、クロススペクトル計算部202から供給されるクロススペクトルS12(k,n)を用いて、S12(k,n)の各周波数kに対応するクロススペクトルを計算し、周波数別クロススペクトルとして乗算部1013に伝達する。周波数別クロススペクトルは、周波数成分ごとに相関関数を計算するために行われる。つまり、ある周波数kに対応する相関関数(周波数別相関関数と呼ぶ)を後段で求めるために、周波数別クロススペクトルを計算する。
次に、ある周波数kの周波数別クロススペクトルを計算する周波数別クロススペクトル生成部941について詳細に説明する。周波数別クロススペクトル生成部941では、周波数kのクロススペクトルS12(k,n)に基づいて周波数別クロススペクトルを計算する際、位相成分と振幅成分をあらかじめ別々に求めたのちに統合する。周波数kの周波数別クロススペクトルUk(w,n)をとし、その振幅成分を|U(w,n)|、位相成分をarg(U(w,n))とすると、次のような関係が成立する。
ここで、wは周波数を表し、0以上W−1以下の整数である。以下、周波数kのクロススペクトルS12(k,n)から、周波数別クロススペクトルの振幅成分|U(w,n)|と位相成分arg(U(w,n))とを求める方法について説明する。
振幅成分|U(w,n)|は、kを整数倍した周波数には、1.0を用いる。一方、周波数kの非定数倍した周波数の位相成分はゼロにする。これを数式で表現すると、振幅成分|U(w,n)|は以下のように与えられる。
ここで、pは1以上P以下の整数である。波源方向推定を行うときに重要な情報は位相成分であるため、振幅成分はこのように適当な定数を用いる。その他には、1.0の代わりに|S12(k,n)|を用いてもよい。つまり、振幅成分|U(w,n)|を次式のように求めてもよい。
位相成分arg(U(w,n))は、kを整数倍した周波数には、周波数kのクロススペクトルS12(k,n)を定数倍したものを用いる。例えば、周波数k、2k、3k、4kの位相成分には、周波数kの位相成分arg(S12(k,n))をそれぞれ同一の倍率で整数倍したもの、つまりarg(S12(k,n))、2arg(S12(k,n))、3arg(S12(k,n))、4arg(S12(k,n))を用いる。一方、周波数kの非定数倍した周波数の位相成分はゼロにする。したがって、周波数kに対応する周波数別クロススペクトルの位相成分arg(U(w,n))は、以下のように計算される。
ここで、pは1以上P以下の整数である。また、Pは1よりも大きい整数である。
以上の方法で求めた振幅成分と位相成分とを、先に記載した式(26)を用いて統合し、周波数kの周波数別クロススペクトルU(w,n)を得る。
これまで説明してきた方法では、振幅成分と位相成分とを別々に求めてから周波数別スペクトルを得ていた。しかし、次に示す数式に示すようにクロススペクトルのべき乗を用いれば、振幅成分と位相成分とを求めることなく周波数別スペクトルU(w,n)を求めることが可能である。
(カーネル関数スペクトル生成部1012)
カーネル関数スペクトル生成部1012は、分散計算部203から供給された分散に基づいてカーネル関数スペクトルを求め、乗算部1013へカーネル関数スペクトルを出力する。カーネル関数スペクトルとは、カーネル関数をフーリエ変換し、その絶対値を取ったものである。絶対値を取る代わりに二乗してもよい。また、絶対値の二乗としてもよい。本実施形態では、カーネル関数スペクトルをG(w)、カーネル関数をg(τ)と表記して説明する。カーネル関数としては、ガウス関数を用いる。この時、ガウス関数は、次のような数式で与えられる。
ここで、g,g,gは正の実数である。gはガウス関数の大きさ、gはガウス関数のピークの位置、gはガウス関数の広がりを制御する。特に、ガウス関数の広がりを調整するgは、周波数別相関関数のピークの鋭さに大きな影響を与えるので重要である。式(31)から分かるように、gが大きくなればガウス関数の広がりは大きくなる。
他には、以下に示すロジスティック関数を用いてもよい。
ここで、gとgとは正の実数である。ロジスティック関数は、ガウス関数と同様の形状をしているが、ガウス関数よりも裾が長いという性質を持つ。特に、ロジスティック関数の広がりを調整するgは、ガウス関数におけるgの場合と同様、周波数別相関関数のピークの鋭さに大きな影響を与える重要なパラメータである。この他にも、コサイン関数や一様関数を用いてもよい。
カーネル関数のパラメータのうち、カーネル関数の広がりに影響を与えるgやgは、分散計算部203から供給された分散に基づいて決定する。本実施形態では、これらのパラメータのことを広がり制御パラメータと呼び、q(k,n)で表現する。したがって、カーネル関数がガウス関数の場合には、g=q(k,n)である。分散が小さければ、周波数別相関関数のピークが鋭く、裾が狭くなるようにパラメータを変化させる。したがって、広がり制御パラメータを小さくする。
広がり制御パラメータの基本的な算出方法は、あらかじめ設定した写像関数を用いて、分散の値を広がり制御パラメータに変換する方法である。例えば、分散がある閾値を上回れば広がり制御パラメータを大きな値(例えば10)に、閾値を下回れば小さな値(例えば0.01)に設定する。この場合、分散をV12(k,n)、閾値をpthとすると、第nフレームの周波数ビンkにおける広がり制御パラメータq(k,n)は次のように計算される。
ここで、qとqとは正の実数であり、q>qを満足する。また、次のように一次関数を用いて計算してもよい。
ここで、qとqとはそれぞれ実数であり、q>0を満足する。この他にも、線形写像関数や高次の多項式関数、非線形関数など、他の形で表される分散の関数を分散の計算に用いることも可能である。また、分散をそのまま広がり制御パラメータにしてもよい(q(k,n)=V12(k,n)とすると同じ)。
広がり制御パラメータを求める関数は、分散だけでなく、周波数kの関数としてもよい。例えば、周波数が高くなるにつれて小さくなる関数とする。このような代表例としてkの逆数を用いる例を説明する。この場合、式(33)の代わりに、次の関数を用いて広がり制御パラメータq(k,n)を計算する。
また、式(34)の代わりとしては、次の関数を用いて広がり制御パラメータq(k,n)を計算する。
(乗算部1013)
乗算部1013は、周波数別クロススペクトル生成部1011から供給される周波数別クロススペクトルと、カーネル関数スペクトル生成部1012から供給されるカーネル関数スペクトルと、の積を計算し、計算によって得られた新たな周波数クロススペクトルを統合相関関数計算部942に伝達する。周波数別クロススペクトル生成部1011から供給される周波数別スペクトルをU(w,n)、カーネル関数スペクトル生成部1012から供給されるカーネル関数スペクトルをG(w)とすると、計算により得られる新たな周波数別クロススペクトルUM(w,n)は次のように計算される。
<統合相関関数計算部>
図11は、統合相関関数計算部942のブロック図である。統合相関関数計算部942は、逆変換部1121,1121,・・・,1121と、統合部1122を備える。
逆変換部1121,1121,・・・,1121は、周波数別クロススペクトル生成部941,941,・・・,941から供給される周波数別クロススペクトルの逆変換を行い、周波数別相関関数として統合部1122にそれぞれ伝達する。本実施形態では、変換部201でフーリエ変換を用いたので、逆変換には逆フーリエ変換を用いる方法について説明する。周波数別クロススペクトル生成部941から供給された周波数別クロススペクトルをUM(w,n)とすると、UM(w,n)の逆変換により得られる周波数別相関関数u(τ,n)は次のように計算される。
統合部1122は、逆変換部1121,1121,・・・,1121から供給される周波数別相関関数を統合し、統合相関関数として推定方向情報生成部205へ伝達する。個別に求めた複数の周波数別相関関数を混合したり、重ね合わせたりすることにより、一つの相関関数を求める。統合方法に単純な和を用いた場合、統合部1122は、周波数別相関関数の総和を計算する。統合相関関数をu(τ,n)とすると、u(τ,n)は次のように計算される。
また、総和ではなく総乗を用いてもよい。この場合、u(τ,n)は次のように計算される。
目標音の存在する周波数や、目的音のパワーが大きい周波数があらかじめ判明している場合には、その周波数に対応する周波数別相関関数だけ用いて、統合された相関関数を求めてもよい。また、重み付けという形で、統合における周波数別相関関数の影響度を制御してもよい。例えば目標音の存在する周波数の集合をΩとすると、周波数の選択によりu(τ,n)を求める場合は、次のように計算される。
また、重み付けを用いる場合には、u(τ,n)は次のように計算される。
ここで、aとbとは実数で、a>b>0を満足する。このように、目的音が存在する周波数の周波数別相関関数を重点的に用いて統合すると、雑音などの非目的音の影響が小さい相関関数を生成できるため、方向推定精度が向上する。
<周波数別クロススペクトルの説明>
以上の方法により周波数別クロススペクトルを計算すると、周波数別クロススペクトルを逆変換して得られる周波数別相関関数のピークが鋭くなり、相関関数のピーク位置が明確になる。相関関数のピーク位置に基づいて波源方向推定を行う本発明の場合には、ピークが鋭くなれば音源方向推定の精度が向上する。さらに、Pの値が大きくなるにつれて、すなわちkを整数倍した周波数の成分が増えるにつれて、相関関数のピークは鋭くなる。図12Aに、この様子を示す。ここで、図中のQは3よりも大きい整数である。P=1の場合、つまり位相成分が一つしかない場合、これを逆変換して得られる相関関数は、このようにピーク位置が不明確な相関関数になる。Pが大きくなると、図12Aに示す通り、相関関数のピークは鋭くなる。
したがって、周波数別クロススペクトル生成部1011で得られる周波数別クロススペクトルは、ある周波数kのクロススペクトルを基に「周波数kを整数倍した周波数pkの位相成分に、周波数kの位相成分arg(S12(k,n))をp倍したものを割り当てたもの」として定義される。ここでpは1以上の整数である。つまり、周波数別クロススペクトルは、その位相成分arg(Uk(w,n))が少なくとも以下の式を満足するものとして定義される。
加えてpは、p=1と2、p=1と3、p=2と3など、2つ以上に限定される。pが1のみの場合には、周波数kの成分だけを抜き出して周波数別クロススペクトルが生成されることになるが、方向推定精度は従来技術と同等となり、方向推定の高精度を達成できない。なお、図12Aで説明した通り、p=1,2,3,4,・・・とpの数が増えれば、つまり周波数pkの位相成分への割り当てが増えれば、周波数別相関関数のピークは鋭くなるため、方向推定の精度は向上する。
<周波数別クロススペクトルにカーネル関数スペクトルを乗じる効果の説明>
周波数別クロススペクトルにカーネル関数スペクトルを乗じることで、周波数別相関関数の形状を変更できる。図12Bは、カーネル関数スペクトルが乗じられた周波数別クロススペクトルと、周波数別相関関数の関係を示している。比較のため、カーネル関数スペクトルを乗じる前の周波数別クロススペクトルも掲載する。図12Bの左側図に示すように、カーネル関数スペクトルを乗じていなければ、高い周波数まで成分が存在するため、周波数別相関関数のピークは鋭くなる。一方で、図12Bの中央図、右側図のようにカーネル関数スペクトルを乗じると、高い周波数の成分が減衰するので、周波数別相関関数のピークの鋭さは小さくなる。つまり、カーネル関数スペクトルのピークが鋭くなる(カーネル関数スペクトルの裾が狭くなる)につれて、周波数別相関関数のピークの鋭さは小さくなる。また、図12Bの右側図のように、周波数別相関関数の裾が大きく広がると、隣接する山の裾が重なり、谷が浅い周波数別相関関数が得られる。
ここで、カーネル関数とカーネル関数スペクトルとの形状の関係について補足する。フーリエ変換の性質により、形状の関係は逆になる。カーネル関数のピークが鋭く、裾が狭くなるにつれて、カーネル関数スペクトルのピークは平坦に近づき、裾が広くなる。ガウス関数の広がりを調整するgとの関係も含めて説明すると、gが大きくなれば、ガウス関数の広がりは大きくなるが、そのスペクトルの広がりは小さくなる。
カーネル関数による周波数別相関関数の大きさ制御の効果について、図12Cにおいて説明する。図12Cは、カーネル関数の有無と統合相関関数との関係を示した図である。図12Cに示すようなカーネル関数無しの場合(1210)、周波数別相関関数u(τ,n)〜u(τ,n)のピーク位置は近いが、u(τ,n)〜u(τ,n)の幅が細いため、統合時に大きなピークを形成できない。このため、ピークの位置が明確にならない。一方、図12Cに示すようなカーネル関数有りの場合(1220)、周波数別相関関数の幅は太くなっているため、統合によりu(τ,n)〜u(τ,n)は大きなピークを形成できる。このため、カーネル関数無しの場合(1210)に比べて、ピークの位置が明確になる。
さらに、カーネル関数による周波数別相関関数の大きさ制御の別の効果について、図12Dを参照して説明する。図12Dは、カーネル関数スペクトルの幅の違いと、統合相関関数と、の関係を示した図である。図12Bの右側図に示すように、幅の広いカーネル関数スペクトルを用いると、相関関数の周期性により、谷が浅い周波数別相関関数が形成される。したがって、図12Dの1230に示す通り、谷が浅い周波数別相関関数を統合すると、谷が浅い、つまりピークの目立たない統合相関関数が生成される。一方、図12Bの中央図に示すように、幅の狭いカーネル関数スペクトルを用いた場合には、図12Bの右側図よりも谷が深い周波数別相関関数が形成される。したがって、図12Dの1240に示す通り、ピークが明確な統合相関関数が生成される。
本実施形態では、カーネル関数のフーリエ変換により得られたカーネル関数スペクトルと、周波数別クロススペクトルと、の積を計算しているが、フーリエ変換の性質により時間領域でも実現できる。周波数別クロススペクトル計算部ではなく、統合相関関数計算部942の中にある逆変換部1121の後段にカーネル関数を畳み込む「畳み込み演算部」を設け、逆変換部1121から供給される周波数別相関関数にカーネル関数を畳み込んでもよい。ただし、畳み込み演算は計算量が多いため、本実施形態のように周波数領域で積を計算するほうが効率的である。
<本実施形態の効果>
本実施形態によれば、周波数別クロススペクトルを逆変換して得られる周波数別相関関数のピークが鋭くなり、相関関数のピーク位置が明確になる。相関関数のピーク位置に基づいて波源方向推定を行う本実施形態の場合には、音源方向推定の精度が向上する。また、周波数別クロススペクトルにカーネル関数スペクトルを乗じることで、周波数別相関関数の形状を変更できる。その際、カーネル関数の広さは、分散の大きさに応じて変更するので、目標音源が存在する周波数の周波数別相関関数のピークを強調できる。したがって、周波数ごとの相関関数を求めず、また周波数別相関関数のピーク強調を行わない第2実施形態と比較すると、相関関数のピークが強調できるので、方向推定精度が向上する。
[第6実施形態]
次に本発明の第6実施形態に係る波源方向推定装置について、図13を用いて説明する。本実施形態に係る波源方向推定装置は、上記第5実施形態の波源方向推定装置と比べると、周波数別クロススペクトル生成部941に代えて、周波数別クロススペクトル生成部1341を有する点で異なる。図13は、本実施形態に係る周波数別クロススペクトル生成部1341の構成を説明するためのブロック図である。本実施形態に係る周波数別クロススペクトル生成部1341は、上記第5実施形態の周波数別クロススペクトル生成部941と比べると、カーネル関数スペクトル生成部1012に代えて、カーネル関数スペクトル記憶部1314とカーネル関数スペクトル選択部1312とを有する点で異なる。その他の構成および動作は、第5実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図13は、周波数別クロススペクトル生成部1341のブロック図である。周波数別クロススペクトル生成部1341は、周波数別クロススペクトル生成部1011、カーネル関数スペクトル選択部1312、カーネル関数スペクトル記憶部1314、乗算部1013を有する。周波数別クロススペクトル生成部1011は、クロススペクトル計算部202から供給されるクロススペクトルS12(k,n)と分散計算部203から供給される分散を用いて、S12(k,n)の周波数kに対応するクロススペクトルを計算し、周波数別クロススペクトルを統合相関関数計算部942へ伝達する。
カーネル関数スペクトル記憶部1314は、カーネル関数スペクトルを記憶しており、カーネル関数スペクトル選択部1312へカーネル関数スペクトルを伝達する。カーネル関数スペクトル記憶部1314は、異なる分散に対応する複数のカーネル関数スペクトルを記憶する。例えば、0.1から0.1刻みで10種類の分散(0.1,0.2,...,1.0)に対応するカーネル関数スペクトルを記憶しておく。すなわち、0.1から1.0までの全て分散値に対してカーネル関数スペクトルをあらかじめ計算しておき、それらをカーネル関数スペクトル記憶部1314に記憶しておく。この場合、10種類のカーネル関数スペクトルが記憶される。本実施形態では、分散が0.1、0.2、・・・1.0のカーネル関数スペクトルをG0.1(w)、G0.2(w)、・・・G1.0(w)と表記する。
第5実施形態で説明した通り、ピークが明確な統合相関関数を生成する上では、様々な幅を有するカーネル関数を用意することが望ましい。したがって、多くの分散値に対応するカーネル関数スペクトルを用意する、例えば、0.001から0.001刻みで10,000種類の分散(0.001,0.002,0.003,・・・)に対応するカーネル関数スペクトルを記憶することが望ましい。しかし、記憶容量が増大する問題が生じる。したがって、記憶容量の増大を抑えつつ、ピークが明確な統合相関関数を生成するためには、0.05から0.05刻み、もしくは0.1刻みで約5〜20種類の分散に対応するカーネル関数スペクトルを用意する必要がある。なお、刻み幅は必ずしも均等である必要はない。統合相関関数のピークを強調する上では、0に近い分散値では細かく、0から遠ざかるにつれて刻み幅を広くしたほうがよい。また、分散値がある閾値を超えた場合には、十分に大きな値を有する1種類の分散値に対応するカーネル関数スペクトルを用意すればよい。
カーネル関数スペクトル選択部1312は、分散計算部203から供給された分散に基づいて、カーネル関数スペクトル記憶部1314に記憶されている複数のカーネル関数スペクトルの中から、一つのカーネル関数スペクトルを選択し、乗算部1013へ伝達する。カーネル関数スペクトル選択部1312は、分散計算部203から供給された分散値に最も近い分散値で生成されたカーネル関数スペクトルを選択する。例えば、供給された分散値が0から0.15未満の値であれば、カーネル関数スペクトルG0.1(w)を選択する。同様に、供給された分散値が0.15以上から0.25未満の値であれば、カーネル関数スペクトルG0.2(w)を選択する。
<本実施形態の効果>
本実施形態によれば、あらかじめカーネル関数を計算しておくので、方向推定処理中にはカーネル関数の計算が不要になる。したがって、第5実施形態よりも少ない計算量で方向推定を行うことができる。
[第7実施形態]
次に本発明の第7実施形態に係る波源方向推定装置について、図14を用いて説明する。本実施形態に係る波源方向推定装置は、上記第5実施形態の波源方向推定装置と比べると、統合相関関数計算部942に代えて、統合相関関数計算部1442を有する点で異なる。図14は、本実施形態に係る統合相関関数計算部1442の構成を説明するためのブロック図である。本実施形態に係る統合相関関数計算部1442は、上記第5実施形態の統合相関関数計算部942と比べると、逆変換部1121,1121,・・・,1121と統合部1122とに代えて、統合部1421と逆変換部1422とを有する点で異なる。その他の構成および動作は、第5実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図14は、統合相関関数計算部1442のブロック図である。統合相関関数計算部1442は、統合部1421と逆変換部1422とを備える。
統合部1421は、周波数別クロススペクトル生成部941,941,・・・,941から供給される周波数別クロススペクトルを統合し、統合クロススペクトルとして逆変換部1422へ伝達する。個別に求めた複数の周波数別クロススペクトルを混合したり、重ね合わせたりすることにより、一つの統合クロススペクトルを求める。統合には、第5実施形態の統合部1122と同様に総和や総乗が用いられる。統合に総和を用いた場合、周波数別クロススペクトル生成部941から供給された周波数別クロススペクトルをUM(0,n),UM(1,n),・・・,UM(W・1,n)とすると、統合クロススペクトルU(k,n)は次のように計算される。
また、総乗を用いた場合、統合クロススペクトルU(k,n)は次のように計算される。
第5実施形態の統合部1122と同様に、目標音源の存在する周波数や、目的音源のパワーが大きい周波数があらかじめ判明している場合には、統合クロススペクトルU(k,n)を生成する際に補正してもよい。この場合、第5実施形態と同様に、周波数の選択や重み付けという形で影響度を制御する。例えば目標音の存在する周波数の集合をΩとすると、帯域の選択により統合クロススペクトルU(k,n)を求める場合は、次のように計算する。
また、重み付けを用いる場合には、U(k,n)は次のように計算される。
ここで、aとbとは実数で、a>b>0を満足する。このように、目的音が存在する周波数の周波数別相関関数を重点的に用いて統合すると、雑音などの非目的音の影響が小さい相関関数を生成できるため、方向推定精度が向上する。
逆変換部1422は、統合部1421から供給される統合クロススペクトルの逆変換を行い、統合相関関数として推定方向情報生成部205に伝達する。本実施形態でも、逆変換には逆フーリエ変換を用いる方法について説明する。統合部1421から供給された統合クロススペクトルをU(k,n)とすると、U(k,n)の逆変換により得られる統合相関関数u(τ,n)は次のように計算される。
<本実施形態の効果>
本実施形態によれば、周波数別クロススペクトルを統合してから逆変換を行い、統合相関関数を得る。このため、周波数別クロススペクトルごとに逆変換を行っていた第5実施形態と比べると、逆変換の回数が少なくなる。したがって、第5実施形態よりも少ない計算量で統合相関関数を求めることができる。
[第8実施形態]
次に本発明の第8実施形態に係る波源方向推定システムについて、図15Aおよび図15Bを用いて説明する。図15Aは、本実施形態に係る波源方向推定システム1500の構成を説明するための図である。本実施形態に係る波源方向推定システム1500は、上記第2実施形態に係る波源方向推定装置を用いている。したがって、第2実施形態と同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
本実施形態に係る波源方向推定システム1500は、マイク150、150、AD変換部1501および表示部1502を有する。なお、本実施形態では、波源方向推定装置200の代わりに波源方向推定装置700、800を用いることが可能である。また、波源が音源であるという仮定で説明するため、マイクを用いた例を説明するが、音源以外の場合には、その波源から放射される波動を受信して電気信号に変換できる各種センサが、マイクの代わりに用いられる。
マイク150、150は、推定対象である目標物体から生じる音を含めた装置周辺の音を電気信号に変換し、AD変換部1501へ伝達する。音が伝わる媒質が空気媒質である場合、音は空気の振動としてマイクに到達する。マイクは、到達した空気の振動を電気信号に変換する。
AD変換部1501は、マイク150、150から供給された音の電気信号をデジタル信号に変換し、入力端子20、20に伝達する。
表示部1502は、波源方向推定装置200から供給された推定方向情報を画像などの可視化データに変換し、ディスプレイなどの表示装置に表示する。基本的な可視化方法は、ある時刻における相関関数を2次元グラフで表示する方法である。その際、横軸に方向、縦軸に相関値を表示する。ある時刻だけでなく、相関関数の時間変化を3次元で表示する方法も有効である。時間変化を表示することにより、目標音源の出現の明確化、目標音源の移動パタン、目標音源の移動方向の予測などが可能になる。3次元ではなく、2次元平面に投影する方法も有効である。3次元だと表示されたときに裏側が見づらいという問題がある。上から投影した平面上に表示すれば、死角が無くなり一覧性が向上する。相関値は、色の濃淡ではなく、等高線で表現してもよい。
図15Bは、本実施形態に係る波源方向推定システム1500の表示部1502で表示した画像1510の一例を示す図であり、波源方向推定装置200から供給された推定方向情報から得られたものである。これは、本実施形態の効果を確認する目的で取得した。例の作成には、屋外環境において、方位40度にドローンの飛翔音が発生する状況の音を用いた。数センチ間隔で設置した二つのマイクを用いて集音した。
図15Bは、色が黒いほど相関値が高いことを表している。方位角の範囲は0から180度である。横軸は時刻を表している。図15Bを参照すると、方位40度の相関値が高くなっていることが分かる。このことから、ドローンの到来方向が約40度であることが分かる。
<本実施形態の効果>
本実施形態によれば、波源の方向を高精度に推定することができる。また、推定方向情報を画像などの可視化データとして表示するので、ユーザが波源の方向推定情報を視覚的に把握することができる。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。
[実施形態の他の表現]
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
波源で発生した波を入力信号として取得する複数の入力信号取得手段と、
複数の前記入力信号取得手段で取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換手段と、
複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算手段と、
前記クロススペクトルの分散を計算する分散計算手段と、
前記クロススペクトルと前記分散とに基づいて、相関関数を計算する相関関数計算手段と、
を備える相関関数生成装置。
(付記2)
前記分散計算手段は、前記クロススペクトルの位相に基づいて分散を計算する付記1に記載の相関関数生成装置。
(付記3)
前記分散計算手段は、前記クロススペクトルの円周分散を計算する付記1に記載の相関関数生成装置。
(付記4)
前記分散計算手段は、前記入力信号取得手段で過去に取得された入力信号から変換された周波数領域信号に基づいて計算されたクロススペクトルに基づいて分散を計算する付記1に記載の相関関数生成装置。
(付記5)
前記相関関数計算手段は、
前記分散に基づいて前記クロススペクトルを重み付けする重み付け手段を備え、
重み付されたクロススペクトルに基づいて、相関関数を計算する、付記1乃至4のいずれか1項に記載の相関関数生成装置。
(付記6)
前記クロススペクトルを平均して平均クロススペクトルを計算する平均計算手段をさらに備え、
前記分散計算手段は、前記平均クロススペクトルから分散を計算する付記1乃至5のいずれか1項に記載の相関関数生成装置。
(付記7)
前記相関関数計算手段は、
前記分散と前記クロススペクトルとに基づいて、複数の第1周波数別クロススペクトルを生成する周波数別クロススペクトル生成手段と、
複数の前記第1周波数別クロススペクトルを統合して一つの相関関数を計算する統合相関関数計算手段と、
を備える付記1乃至6のいずれか1項に記載の相関関数生成装置。
(付記8)
前記統合相関関数計算手段は、
複数の前記第1周波数別クロススペクトルの逆変換を計算し、複数の周波数別相関関数を得る第1逆変換手段と、
前記第1逆変換手段により計算された複数の前記周波数別相関関数を統合して一つの相関関数を計算する第1統合手段と、
を備える付記7に記載の相関関数生成装置。
(付記9)
前記周波数別クロススペクトル生成手段は、
前記分散に基づいて、カーネル関数スペクトルを生成するカーネル関数スペクトル生成手段と、
複数の前記第1周波数別クロススペクトルに、前記カーネル関数スペクトルを乗じた複数の第2周波数別クロススペクトルを得る乗算手段と、
を備える付記7または8に記載の相関関数生成装置。
(付記10)
前記周波数別クロススペクトル生成手段は、
複数のカーネル関数スペクトルを記憶するカーネル関数スペクトル記憶手段と、
前記分散に基づいて、前記カーネル関数スペクトル記憶手段に記憶された複数の前記カーネル関数スペクトルから一つのカーネル関数スペクトルを選択するカーネル関数スペクトル選択手段と、
をさらに備え、
前記乗算手段は、複数の前記第1周波数別クロススペクトルに、選択された前記一つのカーネル関数スペクトルを乗じた複数の第2周波数別クロススペクトルを得る、付記9に記載の相関関数生成装置。
(付記11)
前記統合相関関数計算手段は、
複数の前記第1周波数別クロススペクトルを統合して、一つの統合クロススペクトルを得る第2統合手段と、
前記一つの統合クロススペクトルの逆変換を計算して一つの相関関数を得る第2逆変換手段と、
を備える付記7乃至10のいずれか1項に記載の相関関数生成装置。
(付記12)
波源で発生した波を入力信号として取得する複数の入力信号取得ステップと、
複数の前記入力信号取得手段で取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換ステップと、
複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算ステップと、
前記クロススペクトルの分散を計算する分散計算ステップと、
前記クロススペクトルと前記分散とに基づいて、相関関数を計算して生成する相関関数計算ステップと、
を含む相関関数生成方法。
(付記13)
波源で発生した波を入力信号として取得する複数の入力信号取得ステップと、
複数の前記入力信号取得手段で取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換ステップと、
複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算ステップと、
前記クロススペクトルの分散を計算する分散計算ステップと、
前記クロススペクトルと前記分散とに基づいて、相関関数を計算して生成する相関関数計算ステップと、
をコンピュータに実行させる相関関数生成プログラム。
(付記14)
付記1乃至11のいずれか1項に記載の相関関数生成装置を有し、
前記相関関数生成装置により生成された相関関数に基づいて、前記波源の方向を推定する波源方向推定装置。

Claims (10)

  1. 波源で発生した波を入力信号として取得する複数の入力信号取得手段と、
    複数の前記入力信号取得手段で取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換手段と、
    複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算手段と、
    前記クロススペクトルの位相の分散として円周分散を計算する分散計算手段と、
    前記円周分散に基づいて算出された重みによって重み付された前記クロススペクトルに基づいて、相関関数を計算する相関関数計算手段と、
    を備える相関関数生成装置。
  2. 前記クロススペクトルを平均して平均クロススペクトルを計算する平均計算手段をさらに備え、
    前記分散計算手段は、前記平均クロススペクトルから前記円周分散を計算する請求項1に記載の相関関数生成装置。
  3. 前記相関関数計算手段は、
    前記円周分散と前記クロススペクトルとに基づいて、複数の周波数別クロススペクトルを生成する複数の周波数別クロススペクトル生成手段と、
    前記複数の周波数別クロススペクトルを統合して一つの相関関数を計算する統合相関関数計算手段と、
    を備える請求項1または2に記載の相関関数生成装置。
  4. 前記周波数別クロススペクトル生成手段は、
    前記円周分散に基づいて、カーネル関数スペクトルを生成するカーネル関数スペクトル生成手段と、
    周波数別の前記クロススペクトルに、前記カーネル関数スペクトルを乗じて前記周波数別クロススペクトルを得る乗算手段と、
    を備える請求項3に記載の相関関数生成装置。
  5. 前記周波数別クロススペクトル生成手段は、
    複数のカーネル関数スペクトルを記憶するカーネル関数スペクトル記憶手段と、
    前記円周分散に基づいて、前記カーネル関数スペクトル記憶手段に記憶された複数の前記カーネル関数スペクトルから一つのカーネル関数スペクトルを選択するカーネル関数スペクトル選択手段と、
    周波数別の前記クロススペクトルに、選択された前記一つのカーネル関数スペクトルを乗じて前記周波数別クロススペクトルを得る乗算手段と、
    を備える請求項3に記載の相関関数生成装置。
  6. 前記統合相関関数計算手段は、
    前記複数の周波数別クロススペクトルの逆変換を計算し、複数の周波数別相関関数を得る複数の第1逆変換手段と、
    前記複数の第1逆変換手段により計算された複数の前記周波数別相関関数を統合して一つの相関関数を計算する第1統合手段と、
    を備える請求項3乃至5のいずれか1項に記載の相関関数生成装置。
  7. 前記統合相関関数計算手段は、
    前記複数の周波数別クロススペクトルを統合して、一つの統合クロススペクトルを得る第2統合手段と、
    前記一つの統合クロススペクトルの逆変換を計算して一つの相関関数を得る第2逆変換手段と、
    を備える請求項3乃至5のいずれか1項に記載の相関関数生成装置。
  8. 波源で発生した波を入力信号として取得する複数の入力信号取得ステップと、
    複数の前記入力信号取得ステップで取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換ステップと、
    複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算ステップと、
    前記クロススペクトルの位相の分散として円周分散を計算する分散計算ステップと、
    前記円周分散に基づいて算出された重みによって重み付された前記クロススペクトルに基づいて、相関関数を計算して生成する相関関数計算ステップと、
    を含む相関関数生成方法。
  9. 波源で発生した波を入力信号として取得する複数の入力信号取得ステップと、
    複数の前記入力信号取得ステップで取得した複数の前記入力信号を変換して、複数の周波数領域信号を得る変換ステップと、
    複数の前記周波数領域信号に基づいて、クロススペクトルを計算するクロススペクトル計算ステップと、
    前記クロススペクトルの位相の分散として円周分散を計算する分散計算ステップと、
    前記円周分散に基づいて算出された重みによって重み付された前記クロススペクトルに基づいて、相関関数を計算して生成する相関関数計算ステップと、
    をコンピュータに実行させる相関関数生成プログラム。
  10. 請求項1乃至7のいずれか1項に記載の相関関数生成装置を有し、
    前記相関関数生成装置により生成された相関関数に基づいて、前記波源の方向を推定する波源方向推定装置。
JP2018561142A 2017-01-11 2017-01-11 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置 Active JP6769495B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/000680 WO2018131099A1 (ja) 2017-01-11 2017-01-11 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置

Publications (2)

Publication Number Publication Date
JPWO2018131099A1 JPWO2018131099A1 (ja) 2019-11-07
JP6769495B2 true JP6769495B2 (ja) 2020-10-14

Family

ID=62840122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561142A Active JP6769495B2 (ja) 2017-01-11 2017-01-11 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置

Country Status (3)

Country Link
US (1) US11336997B2 (ja)
JP (1) JP6769495B2 (ja)
WO (1) WO2018131099A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
JP7056739B2 (ja) * 2018-06-25 2022-04-19 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム
US10629226B1 (en) * 2018-10-29 2020-04-21 Bestechnic (Shanghai) Co., Ltd. Acoustic signal processing with voice activity detector having processor in an idle state
US20220342026A1 (en) * 2019-09-02 2022-10-27 Nec Corporation Wave source direction estimation device, wave source direction estimation method, and program recording medium
US11392462B2 (en) 2019-09-26 2022-07-19 Gulfstream Aerospace Corporation Voting of triple redundant circular data
WO2023157159A1 (ja) * 2022-02-17 2023-08-24 日本電信電話株式会社 位相差スペクトル推定方法、チャネル間関係情報推定方法、信号符号化方法、信号処理方法、これらの装置、プログラム
JPWO2023181144A1 (ja) * 2022-03-23 2023-09-28
WO2024053353A1 (ja) * 2022-09-08 2024-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 信号処理装置、及び、信号処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363172B2 (en) * 2006-01-05 2008-04-22 United States Of America As Represented By The Secretary Of The Navy Method and apparatus for detecting damage in structures
JP5018643B2 (ja) 2008-05-27 2012-09-05 三菱電機株式会社 方位探知装置
US8306132B2 (en) * 2009-04-16 2012-11-06 Advantest Corporation Detecting apparatus, calculating apparatus, measurement apparatus, detecting method, calculating method, transmission system, program, and recording medium
JP2011033717A (ja) 2009-07-30 2011-02-17 Secom Co Ltd 雑音抑圧装置
JP2012185009A (ja) 2011-03-04 2012-09-27 Mitsubishi Electric Corp 方位探知装置
WO2013042201A1 (ja) 2011-09-20 2013-03-28 トヨタ自動車株式会社 音源検出装置

Also Published As

Publication number Publication date
US20190335273A1 (en) 2019-10-31
WO2018131099A1 (ja) 2018-07-19
JPWO2018131099A1 (ja) 2019-11-07
US11336997B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
JP6769495B2 (ja) 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置
US10515650B2 (en) Signal processing apparatus, signal processing method, and signal processing program
JP6109927B2 (ja) 源信号分離のためのシステム及び方法
JP6874766B2 (ja) 波源方向推定装置、波源方向推定システム、波源方向推定方法および波源方向推定プログラム
WO2018003158A1 (ja) 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置
EP3227704B1 (en) Method for tracking a target acoustic source
EP3260875A1 (en) An automotive testing method, system and computer program product
EP2878515B1 (en) Generating an audio signal with a configurable distance cue
CN110047507B (zh) 一种声源识别方法及装置
JP2007336232A (ja) 特定方向収音装置、特定方向収音プログラム、記録媒体
Al-Aboosi et al. Improved underwater signal detection using efficient time–frequency de-noising technique and Pre-whitening filter
JP4928382B2 (ja) 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体
JP6753474B2 (ja) レーダー間干渉除去方法、信号処理装置、信号処理方法および信号処理プログラム
KR100873000B1 (ko) 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
JP2010127771A (ja) 合成開口ソーナー、合成開口ソーナーの位相誤差補正方法及びプログラム
Hosseini et al. Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function
JP2018091647A (ja) 信号処理装置、方位算出方法及び方位算出プログラム
WO2020250797A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5713933B2 (ja) 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム
JP7252779B2 (ja) 雑音除去装置、雑音除去方法およびプログラム
Ghosh et al. Estimation of direction of arrival of a moving target using subspace based approaches
Chen et al. A Fast Estimation Method for 3-D Acoustic Source Localization
Pici et al. Design of spectrally adaptive noise radar waveforms
CN115932728A (zh) 声源定位方法、装置和电子设备
CN117768352A (zh) 基于语音技术的跨网数据摆渡方法及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R150 Certificate of patent or registration of utility model

Ref document number: 6769495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150