JP3716918B2 - 収音装置、方法及びプログラム、記録媒体 - Google Patents

収音装置、方法及びプログラム、記録媒体 Download PDF

Info

Publication number
JP3716918B2
JP3716918B2 JP2001269751A JP2001269751A JP3716918B2 JP 3716918 B2 JP3716918 B2 JP 3716918B2 JP 2001269751 A JP2001269751 A JP 2001269751A JP 2001269751 A JP2001269751 A JP 2001269751A JP 3716918 B2 JP3716918 B2 JP 3716918B2
Authority
JP
Japan
Prior art keywords
frequency band
signal
sound source
sound
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001269751A
Other languages
English (en)
Other versions
JP2003078988A (ja
Inventor
真理子 青木
賢一 古家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001269751A priority Critical patent/JP3716918B2/ja
Publication of JP2003078988A publication Critical patent/JP2003078988A/ja
Application granted granted Critical
Publication of JP3716918B2 publication Critical patent/JP3716918B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、空間に複数の音源が異なる位置に配置されている場合に、少なくとも2本以上のマイクロホンを用いて、空間を複数のゾーンに分割し、目的とするゾーンにある音源からの音を他のゾーンの音源とは独立に収音する装置、方法及びこの方法をコンピュータに実行させるプログラム、プログラム記録媒体に関する。
【0002】
【従来の技術】
従来のゾーン分離収音技術には、例えば、音が持ついくつかの周波数成分の和として表現される特徴を利用したものがある。
すなわち、複数の音(複数の音源)が同時に鳴っている場合、互いに離して設けられた複数のマイクロホンにより収音し、各マイクロホンの各出力チャネル信号を、フレーム毎に複数の周波数帯域に分割し、その各帯域には主として1つの音源信号成分のみ存在するようにし、これら分割された各出力チャネル信号の各同一帯域毎に、複数のマイクロホンの位置に起因して変化する、マイクロホンに到達する音響信号のパラメータ、すなわちレベル(パワー)、到達時間の値の差を帯域別チャネル間パラメータ値差として検出し、各帯域の帯域別チャネル間パラメータ差に基づき、その帯域の帯域分割された各出力チャネル信号の何れが何れの音源から入力された信号であるかを判定し、この音源信号判定に基づき、帯域分割された各出力チャネル信号の内、同一音源から入力された信号を少なくとも1つ選択し、選択された複数の帯域信号を音源信号として合成する音源分離方法が提案されている(参考:特開平10−313497号公報(特願平09−252312号)「音源分離方法、装置および記録媒体」)。
【0003】
【発明が解決しようとする課題】
ところが、従来の技術では、部屋の残響時間が長くなるにつれ、チャネル間の到達レベル差や到達位相差(時間差)の算出誤差が生じ、その結果、異なるゾーンからの音が混じったり、目的とするゾーンで発せられている音が劣化するという欠点があった。
【0004】
【課題を解決するための手段】
上記課題を解決するために、 本発明は、従来、1フレームの情報を元に算出されていたチャネル間の到達位相差や到達レベル差を、複数フレームに渡り加重平均することにより、到達位相差や到達レベル差の算出誤差を減らし、目的とするゾーン(音源)の音のみを従来に比べて高S/Nで抽出することを特徴とする。
【0005】
【発明の実施の形態】
図1に、本発明の実施例である収音装置の構成を示す。
収音手段はそれぞれマイクロホン21,22で構成し、音源11,12からの音響信号s1(n),s2(n)(n:時間)を収音して電気信号(チャネル信号)x1(n),x2(n)に変換する。3は帯域分割手段であり、収音手段からの信号をフレーム毎に周波数帯域(帯域分解能が約10〜20Hz)に分割する。その分割した各周波数帯域信号X1,X2を式(1)、(2)で表す。帯域分割の手段として例えば、フーリエ変換やウォーブレット変換があげられる。
【0006】
【数1】
Figure 0003716918
ここで、ω(2πf)は角速度を表し、lは信号分析長(フーリエ変換の場合はフレーム長:約20〜40msec)のインデックスである。
【0007】
4のパラメータ値差検出用レベル加重平均手段においては、X1 ,X2の信号レベルに対し、式(3)で示す加重平均を行う。
【数2】
Figure 0003716918
ここで、0<α≦1とする。また、Lは加重平均に用いるフレームの個数とする。 i はチャネルのインデックスである。
5のパラメータ値差検出用位相加重平均手段においては、X1 ,X2の位相に対し、式(4)で示す加重平均を行う。
【数3】
Figure 0003716918
ここで、0<β≦1とする。また、Mは加重平均に用いるフレームの個数とする。
【0008】
6の信号合成用レベル加重平均手段においては、X1 ,X2の信号レベルに対し、式(5)で示す加重平均を行う。
【数4】
Figure 0003716918
ここで、0<γ≦1とする。また、Nは加重平均に用いるフレームの個数とする。
【0009】
7の信号合成用位相加重平均手段においては、X1 ,X2の信号レベルに対し、式(6)で示す加重平均を行う。
【数5】
Figure 0003716918
ここで、0<δ≦1とする。また、Oは加重平均に用いるフレームの個数とする。
パラメータ値差検出用レベル、位相加重平均手段4、5、信号合成用レベル加重平均手段6,7を設けることにより、α,β,γ,δ及びL,M,N,Oをそれぞれ異なる値に設定することができる。
【0010】
8のパラメータ値差検出手段においては、パラメータ値差検出用レベル、位相加重平均手段4、5で加重平均されたレベルまたは位相を用いて、チャネル間レベル差(ΔLev)、チャネル間位相差(Δarg)を算出する。
これらはそれぞれ、式(7)、(8)で算出される。
【数6】
Figure 0003716918
【0011】
9の信号判定手段においては、パラメータ値差手段8で算出されたチャネル間レベル差またはチャネル間位相差に基づき、|V1(ω,l)|,arg(Y1(ω,l)),|V2(ω,l)|,arg(Y2(ω,l))に乗算する重み値Wei1(ω),Wei2(ω)を決定する。例えばチャネル間レベル差|W1(ω,l)|/|W2(ω,l)|が、ある1より大きな値τより大きい場合、|V1(ω,l)|,arg(Y1(ω,l))には1を乗算し、|V2(ω,l)|,arg(Y2(ω,l))には0または1より小さな値a(ω)を乗算するように決定する。すなわち、あるωにおいてチャネル1の方がレベルが大きい場合にはゾーン1(チャネル1で代表されるゾーン)に音源があると判定する。これに対し、チャネル2の方がレベルが大きい場合にはゾーン2に音源があると判定する。また、例えば△argが正の値となる場合、|V1(ω,l)|,arg(Y1(ω,l))には1を乗算し、|V2(ω,l)|,arg(Y2(ω,l))には0または1より小さな値a(ω)を乗算するように決定する。すなわちチャネル2の方が遅れるのでゾーン1に音源があると判定する。但し、ここではarg(X1(ω,l))等は周波数領域での係数arg(X1(ω,l))等の複素平面上での位相角の負値である。もし、これを正値と定義されるなら△argが正の値にある場合にはチャネル1の方が遅れるのでゾーン2と判定する。
【0012】
10の信号選択手段においては、信号判定手段9で決定された重み値Wei1(ω)およびWei2(ω)を、信号合成用レベル、位相加重平均手段6、7から出力されるレベル及び位相信号に対して乗算する。この場合、簡略化するために信号合成用レベル及び位相の加重平均を省略してもよい。
【0013】
11の信号合成手段においては、重み値Wei1(ω),Wei2(ω)が乗算された、信号のレベル|V1(ω,l)|,|V2(ω,l)|および位相arg(Y1(ω,l)),arg(Y2(ω,l))を元に、信号を周波数領域から時間領域に変換することで、各音源からの音s1^(n),s2^(n)を高いS/Nで抽出する。
【0014】
図2を参照して本発明の収音装置の処理を説明する。
互いに離して配置された複数のマイクロホンからの各出力チャネル信号を入力し、フレーム毎に複数の周波数帯域に分割する(s1)。複数の周波数帯域に分割された各チャネル信号X1,X2の各同一帯域毎に、フレーム毎に算出された信号のレベル、位相を過去から複数フレームに渡り保持し、その信号レベル、位相のパラメータ値差検出用の加重平均|W1(ω,l)|,|W2(ω,l)|,arg(U1(ω,l)),arg(U2(ω,l))を算出する(s2)。また、複数の周波数帯域に分割された各出力チャネル信号の各同一帯域毎に、フレーム毎に算出された信号のレベル、位相を複数フレームに渡り保持し、その信号レベル、位相の信号合成用の加重平均|V1(ω,l)|,|V2(ω,l)|,arg(Y1(ω,l)),arg(Y2(ω,l))を算出する(s3)。複数のマイクロホンの位置に起因して変化する、マイクロホンに到達する音響信号のパラメータの値の差としてs2で算出したチャネル間レベル差△Lev、チャネル間位相差△argを検出する(s4)。各帯域のチャネル間パラメータ値差に基づき、その帯域の信号合成用レベル、位相加重平均した出力信号のうち、何れが何れの音源から入力された信号であるかを判定する(すなわち乗算する重み値Wei1(ω),Wei2(ω)を決定する)(s5)。s5の判定に基づきs3で算出した信号合成用レベル、位相加重平均信号に重み値を乗算することで、同一音源から入力された信号を少なくとも1つ抽出する(s6)。同一音源からの信号として選択された複数の帯域信号を合成し音源信号s1^(n),s2^(n)として出力する(s7)。
【0015】
また、本発明の収音装置は、CPUやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用する利用者端末と、記録媒体から構成することができる。
記録媒体はCD-ROM、磁気ディスク装置、半導体メモリ等の機械読み取りが可能な記録媒体であり、ここに記録された制御用プログラムは、コンピュータに読み取られ、コンピュータの動作を制御しコンピュータ上に前述した実施の形態における各構成要素、すなわち、帯域分割手段、パラメータ値差検出用レベル、位相加重平均手段、信号合成用レベル、位相加重平均手段、パラメータ値差検出手段、信号判定手段、信号選択手段、信号合成手段等を実現する。
【0016】
【発明の効果】
本発明は、チャネル間の到達時間差及び到達レベル差を加重平均することにより、これら値の算出誤差を減らし、従来の方法に比べて高いS/Nで目的とするゾーン(音源)の音を抽出することを可能とする。
【図面の簡単な説明】
【図1】本発明の実施例である収音装置の構成図。
【図2】本発明の実施例である収音装置の処理を説明するための図。
【符号の説明】
1・・・音源、2・・・マイクロホン、3・・・帯域分割手段、4・・・パラメータ値差検出用レベル加重平均手段、5・・・パラメータ値差検出用位相加重平均手段、6・・・信号合成用レベル加重平均手段、7・・・信号合成用位相加重平均手段、8・・・パラメータ値差検出手段、9・・・信号判定手段、10・・・信号選択手段、15・・・信号合成手段

Claims (8)

  1. 複数の音源から少なくとも1つの音源を分離する収音装置において、
    少なくとも2チャネルの信号をフレーム毎に複数の周波数帯域に分割する帯域分割手段と、
    各チャネル及び周波数帯域毎にレベル又は位相を算出し、過去から現在のフレームにわたって加重平均するパラメータ値差検出用加重平均手段と、
    前記加重平均されたレベル又は位相のチャネル間差を算出するチャネル間パラメータ差算出手段と、
    前記チャネル間パラメータ差に基づき、対応する周波数帯域成分がいずれの音源に属するかを判定する信号判定手段と、
    信号判定手段の同一音源からの信号として判定された周波数帯域成分信号を周波数帯域を跨いで音源信号を合成する音源合成手段とを有することを特徴とする収音装置。
  2. 請求項1に記載の収音装置において、
    各チャネル及び周波数帯域毎にレベル及び位相を算出し、過去から現在のフレームにわたって加重平均して周波数帯域成分信号とし、音源合成手段に出力する信号合成用加重平均手段を有することを特徴とする収音装置。
  3. 複数の音源から少なくとも1つの音源を分離する収音方法において、
    少なくとも2チャネルの信号をフレーム毎に複数の周波数帯域に分割し、各チャネル及び周波数帯域毎にレベル又は位相を算出し、
    前記レベル及び位相を過去から現在のフレームにわたって加重平均し、
    前記加重平均されたレベル又は位相のチャネル間差を算出し、
    前記加重平均されたレベル又は位相のチャネル間差に基づき、対応する周波数帯域成分がいずれの音源に属するか判定し、
    同一音源からの信号として判定された周波数帯域成分信号を周波数帯域を跨いで音源信号を合成することを特徴とする収音方法。
  4. 請求項3に記載の収音方法において、
    前記周波数帯域成分信号は、各チャネル及び周波数帯域毎にレベル及び位相を過去から現在のフレームにわたって加重平均した信号であることを特徴とする収音方法。
  5. 少なくとも2チャネルの信号をフレーム毎に複数の周波数帯域に分割する処理と、
    各チャネル及び周波数帯域毎にレベル又は位相を算出し、過去から現在のフレームにわたって加重平均する処理と、
    前記加重平均されたレベル又は位相のチャネル間差を算出する処理と、
    前記加重平均されたレベル又は位相のチャネル間差に基づき、対応する周波数帯域成分がいずれの音源に属するか判定する処理と、
    同一音源からの信号として判定された周波数帯域成分信号を周波数帯域を跨いで音源信号を合成する処理とをコンピュータに実行させるための複数の音源から少なくとも1つの音源を分離する収音方法のプログラム。
  6. 請求項5に記載の収音方法のプログラムにおいて、
    各チャネル及び周波数帯域毎にレベル及び位相を算出し、過去から現在のフレームにわたって加重平均して周波数帯域成分信号とする処理を有することを特徴とする収音方法のプログラム。
  7. 少なくとも2チャネルの信号をフレーム毎に複数の周波数帯域に分割する処理と、
    各チャネル及び周波数帯域毎にレベル又は位相を算出し、過去から現在のフレームにわたって加重平均する処理と、
    前記加重平均されたレベル又は位相のチャネル間差を算出する処理と、
    前記加重平均されたレベル又は位相のチャネル間差に基づき、対応する周波数帯域成分がいずれの音源に属するか判定する処理と、
    同一音源からの信号として判定された周波数帯域成分信号を周波数帯域を跨いで音源信号を合成する処理とをコンピュータに実行させるための複数の音源から少なくとも1つの音源を分離する収音方法のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 請求項7に記載の記録媒体において、
    各チャネル及び周波数帯域毎にレベル及び位相を算出し、過去から現在のフレームにわたって加重平均して周波数帯域成分信号とする処理を有する記録媒体。
JP2001269751A 2001-09-06 2001-09-06 収音装置、方法及びプログラム、記録媒体 Expired - Fee Related JP3716918B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001269751A JP3716918B2 (ja) 2001-09-06 2001-09-06 収音装置、方法及びプログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001269751A JP3716918B2 (ja) 2001-09-06 2001-09-06 収音装置、方法及びプログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2003078988A JP2003078988A (ja) 2003-03-14
JP3716918B2 true JP3716918B2 (ja) 2005-11-16

Family

ID=19095514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001269751A Expired - Fee Related JP3716918B2 (ja) 2001-09-06 2001-09-06 収音装置、方法及びプログラム、記録媒体

Country Status (1)

Country Link
JP (1) JP3716918B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4767247B2 (ja) * 2005-02-25 2011-09-07 パイオニア株式会社 音分離装置、音分離方法、音分離プログラムおよびコンピュータに読み取り可能な記録媒体
JP4896449B2 (ja) 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
US7415372B2 (en) 2005-08-26 2008-08-19 Step Communications Corporation Method and apparatus for improving noise discrimination in multiple sensor pairs
US7472041B2 (en) * 2005-08-26 2008-12-30 Step Communications Corporation Method and apparatus for accommodating device and/or signal mismatch in a sensor array
JP4616736B2 (ja) * 2005-09-09 2011-01-19 日本電信電話株式会社 収音再生装置
JP4676920B2 (ja) * 2006-05-12 2011-04-27 日本電信電話株式会社 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体
JP5130895B2 (ja) * 2007-12-13 2013-01-30 ソニー株式会社 音声処理装置、音声処理システム、音声処理プログラム及び音声処理方法
JP4840421B2 (ja) * 2008-09-01 2011-12-21 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
JP4840423B2 (ja) * 2008-09-11 2011-12-21 ソニー株式会社 音声信号処理装置および音声信号処理方法
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
JP5810903B2 (ja) 2011-12-27 2015-11-11 富士通株式会社 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム

Also Published As

Publication number Publication date
JP2003078988A (ja) 2003-03-14

Similar Documents

Publication Publication Date Title
JP5229053B2 (ja) 信号処理装置、および信号処理方法、並びにプログラム
JP3716918B2 (ja) 収音装置、方法及びプログラム、記録媒体
CN100356445C (zh) 分离声源信号的方法和装置及用来检测间距的方法和装置
US8139793B2 (en) Methods and apparatus for capturing audio signals based on a visual image
US8160269B2 (en) Methods and apparatuses for adjusting a listening area for capturing sounds
KR20090037692A (ko) 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치
WO2004071130A1 (ja) 収音方法及び収音装置
JP4670682B2 (ja) オーディオ装置及び指向音生成方法
Pérez Carrillo et al. Method for measuring violin sound radiation based on bowed glissandi and its application to sound synthesis
JP5565552B2 (ja) 映像音響処理装置、映像音響処理方法及びプログラム
JP2003270034A (ja) 音情報解析方法、装置、プログラム、および記録媒体
JP2005266797A (ja) 音源信号分離装置及び方法、並びにピッチ検出装置及び方法
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
JP4130779B2 (ja) 音場制御システム及び音場制御方法
JP2009020472A (ja) 音処理装置およびプログラム
JP2004325127A (ja) 音源検出方法、音源分離方法、およびこれらを実施する装置
JP2004078021A (ja) 収音方法、収音装置、および収音プログラム
JP3588576B2 (ja) 収音装置および収音方法
JP2008072600A (ja) 音響信号処理装置、音響信号処理プログラム、音響信号処理方法
JP3424761B2 (ja) 音源信号推定装置および方法
JP4051325B2 (ja) 話者位置検出方法、装置、プログラム、および記録媒体
JP4249697B2 (ja) 音源分離学習方法、装置、プログラム、音源分離方法、装置、プログラム、記録媒体
JP3787103B2 (ja) 音声処理装置、音声処理方法、音声処理プログラム
JP6105861B2 (ja) 音響処理装置および音響処理方法
JP3424757B2 (ja) 音源信号推定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050802

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050823

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090909

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090909

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100909

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100909

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110909

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120909

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees