JPH0933330A - 音響信号分離方法およびこの方法を実施する装置 - Google Patents

音響信号分離方法およびこの方法を実施する装置

Info

Publication number
JPH0933330A
JPH0933330A JP7180283A JP18028395A JPH0933330A JP H0933330 A JPH0933330 A JP H0933330A JP 7180283 A JP7180283 A JP 7180283A JP 18028395 A JP18028395 A JP 18028395A JP H0933330 A JPH0933330 A JP H0933330A
Authority
JP
Japan
Prior art keywords
sound
acoustic signal
acoustic
signal
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7180283A
Other languages
English (en)
Inventor
Tomohiro Nakatani
智広 中谷
Hiroshi Okuno
博 奥乃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP7180283A priority Critical patent/JPH0933330A/ja
Publication of JPH0933330A publication Critical patent/JPH0933330A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 【課題】 音源の空間的位置についての情報を取り出し
て利用することにより音響信号を追跡する性能を向上さ
せる音響信号分離方法およびこの方法を実施する装置を
提供する。 【解決手段】 複数の入力信号の何れかに新規の音源に
由来する音響信号が生成したことを検知した時、この新
規の音源を追跡すると共にこの音源に由来する音響信号
を抽出し、追跡している音源の音が混合音中から消滅し
た時追跡および抽出を終止する音響信号分離方法および
この方法を実施する装置。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、音響信号分離方
法およびこの方法を実施する装置に関し、特に、複数の
音が任意に生成消滅する混合音が、空間的に異なる位置
におかれたマイクロフォンから入力される時に、その中
に含まれている個別の音響信号を適応的に抽出すると同
時に、その音源の空間的位置を特定する音響分離装置に
関する。
【0002】
【従来の技術】音響分離装置の従来例を図2を参照して
説明する。音響信号を入力する音響入力端子201を具
備し、音響信号を分配する音響信号分配部202を具備
し、特定の音響信号を追跡する音響信号追跡部204お
よび205を具備し、音響信号追跡部を生成する音響信
号数制御部203を具備する。入力される音響中に新規
に音が生成したことを音響信号数制御部203が検知し
た時、この音に対応する音響信号追跡部204、205
を生成し、或る音が混合音中から消滅した時、この音に
対応する音響信号追跡部を消滅せしめることにより音響
分離方法を構成する。
【0003】
【発明が解決しようとする課題】上述された音響分離装
置の従来例は、一つの入力端子に対して動作する様に設
定されたものであり、複数の入力端子から音響信号が入
力される場合に、各入力で個別に分離された音の関係を
抽出することはできなかった。従って、従来例では、各
音源の空間的位置についての情報を取り出すことはでき
なかった。また、音源の空間的位置についての情報は、
混合音中でその音源に由来する音響信号を追跡する性能
を向上させる補助情報になるが、従来例は、これを利用
することはできなかった。
【0004】この発明は、上述の通りの問題を解消した
音響信号分離方法およびこの方法を実施する装置を提供
するものである。
【0005】
【課題を解決するための手段】複数の入力信号の何れか
に新規の音源に由来する音響信号が生成したことを検知
した時、この新規の音源を追跡すると共にこの音源に由
来する音響信号を抽出し、追跡している音源の音が混合
音中から消滅した時、追跡および抽出を終止する音響分
離方法を構成した。
【0006】そして、上述の音響分離方法において、複
数の入力信号の何れかに新規の音源に由来する音響信号
が生成したことを検知した時、この音を追跡する音響信
号追跡部を生成すると共に音響信号抽出部を生成し、追
跡中の音が混合音中から消滅した時、この音に対応する
音響信号追跡部および音響信号抽出部を消滅せしめる音
響分離方法を構成した。
【0007】また、音響信号を入力する複数の音響入力
端子101、102を具備し、音響入力端子101、1
02の音響入力信号を分配する音響信号分配部103、
104を各音響入力端子毎に具備し、音響入力信号中の
特定の音響信号を追跡する音響信号追跡部107、10
8を生成する音響信号数制御部105、106を音響入
力端子毎に具備し、各音響信号数制御部105、106
をして同時に音響信号追跡部107、108を生成せし
めると共に、異なる音響入力信号中で同時に追跡されて
いる同一音源に由来する音響信号を統合してこれを抽出
する音響信号抽出部112を生成せしめる音響信号数調
整部111を具備する音響分離装置を構成した。
【0008】
【発明の実施の形態】この発明の実施の形態を図1、図
3および図4を参照して説明する。整次倍音構造を有す
る音を生成する複数の音源が存在する環境において、ダ
ミーヘッドによりバイノーラル録音された混合音を個別
の音に分離する場合について説明する。ここで、整次倍
音構造を有する音とは一つの音が基本周波数成分の音と
その周波数の整数倍の周波数の成分の音とにより構成さ
れている音をいう。入力端子数は2個である。
【0009】図3は電子計算機により構成されるこの発
明の音響分離装置が無音の状態にあるところを示す。こ
の無音状態において、一つの音が新規に音響入力端子1
01および102に入力されたものとすると、音響信号
分配部103および104はそれぞれ入力をそのまま音
響信号数制御部105および106に出力する。音響信
号数制御部105および106は、入力信号中におい
て、幾つかの周波数について、ωを基本周波数とする各
倍音の強さAi,chを(1)式に基づいて求め、次に、倍
音群の強さIchを(2)式に基づいて求める。そして、
音響信号数調整部111は、その倍音群の強さの総計E
を(3)式に基づいて求める。
【0010】 Ai,ch=‖Σt ch(t)・exp(−j(iω)t)‖ (1) Ich=Σn i=12 i,ch (2) E=Σ2 ch=1ch (3) ここで、t:時刻 i:第i番目の倍音成分 xch(t):時刻tにおけるch番目の入力端子の音響入
力 ω:基本周波数 である。
【0011】求められた倍音の強さAi,chの内の或る閾
値を超えているものがある場合、音響信号数制御部10
5および106は音の存在を検知する。音響信号数制御
部105および106の何れかが音の存在を検知した
時、音響信号数調整部111は、倍音群の強さの総計E
の最大を与える周波数ωを求め、求められた周波数近傍
に基本周波数を有する倍音群を追跡する音響信号追跡部
107および108を、各音響信号数制御部105およ
び106により、図4に示される如くそれぞれ1個ずつ
生成し、同時に音響信号抽出部112を生成する。以
降、各入力信号に対して、音響信号追跡部107および
108は、(2)式により追跡している音響信号の各入
力信号中での強さを求める。求められた音響信号の各入
力信号中の強さIchを使用して、音響信号抽出部112
は(3)式を極大にする周波数ωを求めることにより基
本周波数を追跡する。音響信号追跡部107および10
8は、求められた基本周波数に対して倍音成分の周期と
強さAi,chと位相φi,chを式(1)、式(4)より求
め、次に、Ai,ch、φi,chより作られる正弦波をすべて
の倍音について加算することにより音響信号を合成す
る。
【0012】 φi,ch=arg(Σtch(t)・exp(−j(iω)t)) (4) 音響信号追跡部107および108は合成した音響信号
およびAi,ch、φi,chの値を音響信号抽出部112に渡
す。音響信号抽出部112は、音響信号追跡部107お
よび108から受けとった音響信号を、2チャンネルの
バイノーラル音響信号として出力する。これと同時に音
響信号抽出部112は、音響信号追跡部107および1
08から受けとったAi,ch、φi,chの値より、音響信号
の由来する音源のダミーヘッドから見た存在方向を決定
する。一般に、単一音源が存在する時に、バイノーラル
録音された2チャンネルの音響信号から音源の方向を決
定するには、二つの音響信号の位相差および強度差を利
用する方法が知られている。混合音から音響信号追跡部
107および108が取り出した各音響信号の強度およ
び位相は、近似的に単一音源の位相および強度とみなせ
るので、音響信号抽出部112は次の位相差ωi 、強度
差It,kの値を用いて音源方向を決定する。
【0013】Δωi=φi,1−φi,2 ΔIi=Ai,1−Ai,2 このために、音響信号抽出部112は、これらの値をも
とに方向ヒストグラムを作成する。方向ヒストグラム
は、配列変数であって、配列の各要素は特定の方向の候
補Dを表わす。先ず、音響信号抽出部112は、各倍音
について、すべての方向候補Dに関して、次の二つの条
件式が満足されるか否かを調べる。
【0014】 (D−θ1)・ω≦Δωi+2nπ≦(D+θ1)・ω ΔIt,k>0、 if D>2θ1 ΔIt,k<0、 if D<2θ1 θ2 >ΔIt,k>−θ2、otherwise ここで、ω:倍音の周波数θ1=0.08ms、θ2=0.
4である。
【0015】或る方向候補Dに関して、上の条件が満た
された時、Dに相当する配列の要素に、この倍音のA
i,chの値を加算する。これを、すべての倍音について加
算した結果、最大値をとる配列要素に相当する方向候補
Dを、音源の方向とする。一旦、音源の方向が求まる
と、以後、音響信号抽出部112は、音響信号追跡部1
07および108に、音源と同一の方向から来る音響成
分だけをもとに、音響信号を追跡させる。このために、
音響信号抽出部112は、基本周波数追跡時に、同時
に、各倍音の方向候補Dを求め、音響信号追跡部107
および108に音源方向とDの方向が一致する倍音だけ
を用いて(1)式の加算式を計算させる様にする。この
方法により、音響信号抽出部112は、音源と同一方向
から来る倍音だけを用いて基本周波数を追跡する様にな
るので、より正確な基本周波数の値を得ることができる
様になる。
【0016】各チャンネル毎に、音響信号分配部103
および104が音響信号を分配する機構については、参
考文献[中谷93]の方法を利用するものとする。一つ
の音が入力信号中からなくなった時、対応する音響的信
号追跡部107および108は、(3)式の値が或る閾
値より小さくなることを条件として音の特徴の追跡に失
敗したものと判断する。この時、対応する音響信号追跡
部107或は108と音響信号抽出部112は自動的に
消滅する。
【0017】
【発明の効果】ここで、複数の音源から生成された混合
音を分離する場合について、この発明の効果を実証す
る。音響入力として、ダミーヘッドの正面から見て左右
45度の位置に置いた二つのスピーカから、一つの女性
の声“あいうえお”を時間をずらして順に発生させるこ
とにより生ずる混合音をバイノーラル録音し、12kH
zで標本化し、16bitでAD変換、30msのハミ
ング窓をかけたものを使用する。フレーム周期は7. 5
msである。
【0018】図5は、入力として与えた二つの女性の声
の基本周波数の時間的変化501および502を示す図
である。図6は、この発明により分離した二つの女性の
声の基本周波数の時間的変化601および602を示す
図である。図7は、分離した二つの女性の声の方向の時
間的変化701および702を示す図である。これらの
図において、横軸は時間(×7. 5ms)を表わす。縦
軸について、図5および図6は周波数(Hz)を表わ
し、図7は方向を表わす。
【0019】以上の通り、複数の入力端子から音響信号
が入力される場合に各入力で個別に分離された音の関係
を抽出することができるので、各音源の空間的位置につ
いての情報を取り出すことができる。そして、音源の空
間的位置についての情報は、混合音中でその音源に由来
する音響信号を追跡する性能を向上させる補助情報とな
るが、この情報を獲得して利用することにより音響信号
を追跡する性能を向上させることができる。
【図面の簡単な説明】
【図1】音響分離装置の一実施例を説明するブロック
図。
【図2】音響分離装置の従来例を説明するブロック図。
【図3】音響分離装置の一実施例を説明するブロック
図。
【図4】音響分離装置の一実施例を説明するブロック
図。
【図5】二つの入力音声の基本周波数を示す図。
【図6】分離した二つの音声の方向を示す図。
【図7】分離した二つの音声の基本周波数を示す図。
【符号の説明】
101、102 音響入力端子 103、104 音響信号分配部 105、106 音響信号数制御部 107、108 音響信号追跡部 111 音響信号数調整部 112 音響信号抽出部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の入力信号の何れかに新規の音源に
    由来する音響信号が生成したことを検知した時、この新
    規の音源を追跡すると共にこの音源に由来する音響信号
    を抽出し、追跡している音源の音が混合音中から消滅し
    た時、追跡および抽出を終止することを特徴とする音響
    分離方法。
  2. 【請求項2】 請求項1に記載される音響分離方法にお
    いて、 複数の入力信号の何れかに新規の音源に由来する音響信
    号が生成したことを検知した時、この音を追跡する音響
    信号追跡部を生成すると共に音響信号抽出部を生成し、
    追跡中の音が混合音中から消滅した時、この音に対応す
    る音響信号追跡部および音響信号抽出部を消滅せしめる
    ことを特徴とする音響分離方法。
  3. 【請求項3】 音響信号を入力する複数の音響入力端子
    を具備し、 音響入力端子の音響入力信号を分配する音響信号分配部
    を各音響入力端子毎に具備し、 音響入力信号中の特定の音響信号を追跡する音響信号追
    跡部を生成する音響信号数制御部を音響入力端子毎に具
    備し、 各音響信号数制御部をして同時に音響信号追跡部を生成
    せしめると共に、異なる音響入力信号中で同時に追跡さ
    れている同一音源に由来する音響信号を統合してこれを
    抽出する音響信号抽出部を生成せしめる音響信号数調整
    部を具備する、 ことを特徴とする音響分離装置。
JP7180283A 1995-07-17 1995-07-17 音響信号分離方法およびこの方法を実施する装置 Pending JPH0933330A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7180283A JPH0933330A (ja) 1995-07-17 1995-07-17 音響信号分離方法およびこの方法を実施する装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7180283A JPH0933330A (ja) 1995-07-17 1995-07-17 音響信号分離方法およびこの方法を実施する装置

Publications (1)

Publication Number Publication Date
JPH0933330A true JPH0933330A (ja) 1997-02-07

Family

ID=16080513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7180283A Pending JPH0933330A (ja) 1995-07-17 1995-07-17 音響信号分離方法およびこの方法を実施する装置

Country Status (1)

Country Link
JP (1) JPH0933330A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000077537A1 (fr) * 1999-06-11 2000-12-21 Japan Science And Technology Corporation Procede et appareil de determination d'une source sonore

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000077537A1 (fr) * 1999-06-11 2000-12-21 Japan Science And Technology Corporation Procede et appareil de determination d'une source sonore
US7035418B1 (en) 1999-06-11 2006-04-25 Japan Science And Technology Agency Method and apparatus for determining sound source

Similar Documents

Publication Publication Date Title
Ma et al. Exploiting deep neural networks and head movements for robust binaural localization of multiple sources in reverberant environments
Cano et al. Musical source separation: An introduction
CN112205006B (zh) 音频内容的自适应再混合
KR20130014187A (ko) 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
CN105409243A (zh) 通道化音乐信号的预处理
CN103180752A (zh) 用于解析到达方向估计的模糊度的设备和方法
Buyens et al. A stereo music preprocessing scheme for cochlear implant users
Montesinos et al. Solos: A dataset for audio-visual music analysis
Viste et al. A method for separation of overlapping partials based on similarity of temporal envelopes in multichannel mixtures
JPH0933330A (ja) 音響信号分離方法およびこの方法を実施する装置
Ong et al. Audio-visual based online multi-source separation
JPH09258788A (ja) 音声分離方法およびこの方法を実施する装置
JPH06125600A (ja) 3スピーカシステム
WO2021089544A1 (en) Electronic device, method and computer program
Wang et al. Multi-Modal Multi-Correlation Learning for Audio-Visual Speech Separation
JPH0933329A (ja) 音響分離方法およびこの方法を実施する装置
JP2004328662A (ja) 簡易型ステレオ発音実現方法、ステレオ発音システム及び楽音発生制御システム
JP2002505057A (ja) 音響再生システム
JP4616736B2 (ja) 収音再生装置
CN116546416B (zh) 通过两个通道模拟三维环绕声音效的音频处理方法及系统
Yeh et al. Multiple F0 tracking in solo recordings of monodic instruments
TWI719429B (zh) 音訊處理方法與音訊處理系統
Lugasi et al. Spatial Audio Signal Enhancement by a Two-Stage Source—System Estimation With Frequency Smoothing for Improved Perception
Arbuthnot Listener Evaluation of Common Drum Recording and Mixing Techniques
LEM et al. EXPLORING THE EMERGENCE OF BEAT INDUCTION USING A ‘SWARM OF ONSETS’GENERATIVE MODEL