JPH10253745A - 話者位置推定方法 - Google Patents

話者位置推定方法

Info

Publication number
JPH10253745A
JPH10253745A JP9052734A JP5273497A JPH10253745A JP H10253745 A JPH10253745 A JP H10253745A JP 9052734 A JP9052734 A JP 9052734A JP 5273497 A JP5273497 A JP 5273497A JP H10253745 A JPH10253745 A JP H10253745A
Authority
JP
Japan
Prior art keywords
speaker
speaker position
time difference
sound
sound receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9052734A
Other languages
English (en)
Other versions
JP3433369B2 (ja
Inventor
Norio Kobayashi
則夫 小林
Shinichi Kawada
眞一 川田
Masaharu Shimada
正治 島田
Haruhide Hokari
治英 穂刈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OKI TEC KK
Oki Electric Industry Co Ltd
Original Assignee
OKI TEC KK
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OKI TEC KK, Oki Electric Industry Co Ltd filed Critical OKI TEC KK
Priority to JP05273497A priority Critical patent/JP3433369B2/ja
Publication of JPH10253745A publication Critical patent/JPH10253745A/ja
Application granted granted Critical
Publication of JP3433369B2 publication Critical patent/JP3433369B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 【課題】 遠隔会議や複数の人が同じ部屋にいる場合
に、マイク位置が既知でないときにも話者位置を推定で
きる方法で、従来よりも経済的なシステムが構成でき、
また精度もよい方法。 【解決手段】 人間の聴覚に影響しない信号をそれぞれ
送信する複数の送信手段を互いに異なる位置に予め設置
し(S1)、話者の音声をそれぞれ受音する複数の受音
手段と、前記送信手段からの信号を受信する複数の受信
手段とをそれぞれ個別に一体化して互いに異なる位置に
設置し(S2)、前記各送信手段と各受信手段間の距離
情報に基づき各受音手段の位置を逐次近似演算によって
それぞれ算出し(S3)、受音手段間で得られる受音信
号間の時間差から初回の仮想話者位置を求め(S4,S
5)、初回の仮想話者位置を実際の話者位置に逐次近づ
ける逐次近似法により話者位置を推定する方法(S6,
S7)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、1つの領域に複数
の人がいて、現在発音している人の音声信号を検出し
て、その話者位置を推定する方法に関するものであり、
特に遠隔会議での音像定位通信において、話者の位置を
そのまま受聴者側に伝達するシステム等に適用が可能で
ある。
【0002】
【従来の技術】話者位置を推定する方法は、一般に良く
知られている音源位置推定法と同じ方法が使われる。こ
の中で、音源方向を同定する技術と組み合わせて音源の
位置を推定する方法があるが、この方法で3次元空間に
おける音源位置を推定するには、同じ音源方向推定技術
を用いた装置が少なくとも3つ以上必要となる。いま、
遠隔会議システムや1つの部屋に複数の人がおり、現在
話している人の位置を知るシステムとして用いるには、
上記の方法では大げさ過ぎ、経済的にも効果的ではな
い。
【0003】この話者位置検出方法に関する公知文献と
しては、例えば、下記の参考文献1がある。 参考文献1:第35回自動制御連合講演会、No. 401
9、1992年10月、岡田修一、佐藤史尚、盛田龍
弥、“マイクロホン系による3次元音源定位と音声分
離”、P.593−596 図11は上記参考文献1による話者位置検出方法を説明
する図である。上記参考文献1の方法によれば、図11
の(a)に示すように3次元空間座標を取り、この空間
にある3つの音源u1 ,u2 ,uj (xj ,yj
j )を同図の(b)に示す半径rの円に内接する正三
角形(辺長2a)の頂点に配置された3個のマイク
0 ,M1 ,M2 で検出する場合を想定している。音源
装置uj (xj ,yj ,zj )に対する原点からの距
離、方位角、仰角を(Rj ,θj ,φj )とすれば、音
源uj と各マイクの距離(音の伝達時間)は、次式(1
−1)〜(1−3)となる。
【0004】
【数1】
【0005】したがって、τ0j,τ1j,τ2jが推定でき
れば、音源位置は次式(2−1)〜(2−5)として求
めることができる。
【0006】
【数2】
【0007】次に、伝達時間の推定法について、参考文
献1では音声スペクトルUj について、いずれかのパワ
ーが十分大きい周波数(ホルマント)が存在すると仮定
し、この周波数ω=2πfに着目すれば、3つのマイク
に入射する音圧Vi (i=0,1,2)は、次式(3)
で近似できる。 Vi (ω)=(K/τij)Uj (ω)exp(−jφi ) …(3)
【0008】式(3)よりV0 を基準として、位相差と
振幅比よりそれぞれ、伝搬時間の差と比を次式(4−
1)〜(4−4)より求める。 Δτ1j=φ0 −φ1 +n/f …(4−1) ρ1j=τ0j/τ1j …(4−2) Δτ2j=φ0 −φ2 +n/f …(4−3) ρ2j=τ0j/τ2j …(4−4) ここで、不定項2nπは次式(5−1)、(5−2)の
条件を満たす様に選ぶものとする。 |Δτij|<2a …(5−1) (ρij−1)Δτij>0 …(5−2)
【0009】3次元音源定位では式(4−2),(4−
4)より2組のτ0jが 、次式(6)として求められ
る。 τ0j=ρijΔτij/(ρij−1) i=1,2 …(6) これらは論理上は等しいが、現実には等しくならない。
そこで、これらのτ0jの平均値をτ0jの推定値τ0j *
する。またτ0j * の採用によりΔτ1j,Δτ2jの値が変
わらないように次(7)式と補正している。 τij * =τ0j * −Δτij i=1,2 …(7)
【0010】上記の周波数分析を各時刻について行い、
各周波数において式(5−1),(5−2)を満たす全
てのΔτ1j,Δτ2jに関するヒストグラムを作る。そし
てこのヒストグラムの極大点を大きいものから3音源に
対応して3つ選出し仮番号を付ける。次に個々のΔ
τ1j,Δτ2jについて、式(5−1),(5−2)を満
たす範囲でnの値を変え、最も近い極大点の番号を類別
する。以上から、個々のΔτ1j,Δτ2jが3つのグルー
プに分類されれば、グループごとにΔτ1j,Δτ2jおよ
び付随するρ1j,ρ2jのヒストグラムを作り、その極大
値を与える(Δτij,ρij)から式(2−1)〜(2−
3)を用いて、音源の位置(距離、方位角、仰角)を推
定している。
【0011】
【発明が解決しようとする課題】しかしながら上記の参
考文献1による話者位置推定方法では、下記の問題点を
有していた。 1.予め計測された位置に話者位置推定用のマイクを新
設する必要がある。即ち、遠隔会議や複数の人が同じ部
屋にいてその話者の位置を知るシステムで、すでに使用
しているマイクを活用できないので、システムのコスト
が増大する。 2.前述の方法では、3つのマイク間の距離が正確でな
いと、正確な音源定位置が推定できない。 3.式(5−1),(5−2)を満たす全てのΔτ1j
Δτ2jに関するヒストグラムを作る必要があり、最も近
い極大点の番号を類別する必要がある。もし、そのヒス
トグラムが正確でないと、正確な音源の位置を見いだす
ことは困難となる。
【0012】
【課題を解決するための手段】本発明に係る話者位置推
定方法は、1つの領域に複数の人がいて、現在発音して
いる人の位置を推定する方法において、人間の聴覚に影
響しない信号をそれぞれ送信する複数の送信手段を互い
に異なる位置に予め設置し、話者の音声をそれぞれ受音
する複数の受音手段と、前記複数の各送信手段からの送
信信号をそれぞれ受信する複数の受信手段とをそれぞれ
個別に一体化して互いに異なる位置に設置し、前記複数
の各送信手段の設置位置は既知として、前記各送信手段
と各受信手段間の距離をその信号伝搬時間からそれぞれ
求め、この距離情報に基づき前記各受信手段と同一位置
に設置された各受音手段の設置位置を逐次近似演算によ
ってそれぞれ算出し、前記各受音手段の設置位置の算出
後、話者から発生された音波を前記複数の各受音手段で
それぞれ受音し、受音手段間で得られる受音信号間の時
間差を測定し、前記受音信号間の時間差から初回の仮想
話者位置を求め、この初回の仮想話者位置を実際の話者
位置に逐次近づける逐次近似法により話者位置を推定す
るものである。その結果、本発明によれば遠隔会議や複
数の人が同一領域にいる場合に、既に使用しているマイ
ク等が活用できるので経済的な話者位置推定システムが
構成できると共に、マイク位置が既知でない場合に、ま
ずマイク位置を逐次近似演算により算出し、次にマイク
位置を既知とした仮想話者位置から逐次近似法により収
束した精度の良い話者位置を推定することができる。
【0013】
【発明の実施の形態】本発明の基本的な考え方は、まず
マイクは市販の安価なものを使用し、互いに離散的に配
置されたマイクの座標を求める受音点位置推定法から始
まる。次に、マイク位置の3次元座標が求まり次第、話
者の位置を複数マイクに到来する伝搬時間差から求める
話者位置推定法により定める。本発明を詳細に説明する
前に、本発明で使用されるアルゴリズムの実施形態につ
いて、以下順を追って説明する。
【0014】1.本発明で展開されるアルゴリズム例 (1)受音点位置推定算出法 最初に受音点位置推定算出法を説明する。なお本実施形
態においては、受音手段(マイク)の設置位置を算出す
るために、例えば超音波等の人間の聴覚に感じない信号
の送信と受信を行うために複数の送信機と受信機をそれ
ぞれ使用する。またこの超音波等の信号を受信する各受
信機は、話者の音声を受音するマイク(受音手段)と個
別に一体化して、この受信機とマイクとは同一位置にそ
れぞれ設置するものとする。従って各受信機の設置位置
が算出できれば、各マイクの設置位置が求められること
になる。
【0015】いま、3次元空間の位置情報が予め判明し
ている上記超音波等のi番目の送信機の座標を(xi
i ,zi )とし、マイク(受音手段)と一体化された
(または同一機能を有している)受信機の座標を(x,
y,z)とする。3次元空間においては、座標位置が既
知の3つの送信機から座標位置が未知の1つの受信機ま
での3つの距離をそれぞれ測定すれば、幾何学的にその
受信機の位置を求めることが出来る。しかし、現実には
距離測定に誤差や計算機精度が含まれているので、もう
1つの自由度を持った独立変数εを導入すると、そのと
きの距離ri は次式(8)となる。
【0016】
【数3】
【0017】上記式(8)を解くためには、未知の独立
変数x,y,z,εの4変数であるから、この根の解法
には4つの独立した式が必要となる。従って、少なくて
も4つ以上の送信機が必要となる。この独立の4式を解
くのは非常に困難であるが、逐次近似法を用いて、根、
すなわち受信機の座標を求めることは可能である。それ
は、受信機の座標(x,y,z)を次式(9−1)〜
(9−3)のように、各座標毎に、その近似値x′,
y′,z′と補正量Δx,Δy,Δzとの和と考える。 x=x′+Δx …(9−1) y=y′+Δy …(9−2) z=z′+Δz …(9−3) 式(9−1)〜(9−3)のΔx,Δy,ΔzのΔの項
が微少な量であるとして、式(8)の1次近似だけとす
ると、次式(10)を得る。
【0018】
【数4】
【0019】ここで式(10)のαi ,βi ,γi は式
(8)より式(11−1)〜(11−3)となる。
【0020】
【数5】
【0021】また式(10)において、各送信機につい
て考えると変数はΔx,Δy,Δz,εの4つであるか
ら、これを行列で表すと、次(式)(12−1)〜(1
2−4)で表される。
【0022】
【数6】
【0023】従って、求める修正量Δdはマトリックス
Aの逆行列を求めればよいから、修正量Δdは、次式
(13)となる。 Δd=A-1ΔR …(13) 従って最初に初期値を与え、修正量Δd(Δx,Δy,
Δz)を次々と加えて真の値に近づけていく逐次近似法
により最終値を求めることが出来る。
【0024】次に初期値の与え方について述べる。受信
機の位置を検出するためには、逆行列A-1を解く必要が
ある。そのためには、Aの絶対値が近似的に0とならな
いような初期値の設定が必要である。一般に3次元空間
における4つの座標点(xi ,yi ,zi )[i=1〜
4]による4面体の体積Vは次式(14)のようになる
ことが知られている。
【0025】
【数7】
【0026】即ちマトリックスAの正方行列の値が0に
近いと式(13)は求まりにくくなり、誤差が発生す
る。そしてマトリックスAの値は4つの頂点を形成する
4面体の体積を表している。
【0027】図3は本発明に係る式(14)による4面
体の体積を説明する図である。即ち1つの受信機点(黒
丸で示す)を中心に4つの各送信機点(三角印で示す)
を見た方向の直線と、受信機から単位長さLで形成する
球(単位球)を考え、各送信機から受信機までの直線と
前記単位球との交点をいま、A,B,C,Dとすると、
このA,B,C,Dで構成する4面体の体積がマトリッ
クスAの正方行列の値になる。
【0028】ここで、αi ,βi ,γi ,はそれぞれ以
下の意味を表しているから、受信機から単位球との交点
までの長さを表すことになる。 αi =xi /Li ,βi =yi /Li ,γi =yi /L
i 即ちそれぞれのαi ,βi ,γi は、各送信機から受信
機までの長さLの3次元のX軸、Y軸、Z軸に射影した
長さx,y,zを距離の長さLで割った値、または長さ
の余弦角度に相当する値となる。従って、頂点をA,
B,C,Dとする4面体の体積がなるべく大きな値にな
るように設定すれば、式(12−1)〜(12−4)の
値が正確に求まることになる。
【0029】上記により、行列Aの各要素を照らし合わ
せて考えると、一つの受信機点を中心に各送信機を見た
方向線上の単位長の余弦の座標成分の4つの点を結んだ
4面体の体積となることが理解できる。従って、式(1
3)のマトリックスAの各要素で決定される体積が0近
くならないような各送信機の配置が必要となる。
【0030】図4,図5は、前述したアルゴリズムを検
証するための計算機シミュレーション結果を示す図であ
る。図4は、受信機の位置を、X軸、Y軸にそれぞれ5
00等分に分割した位置に設置したときに、各設置位置
において必要とする逐次近似の回数を示した例である。
なお、この例では、送信機の4つの位置(単位cm)
は、S1 (0,250,250)、S2 (250,25
0,250)、S3 (500,250,250)、S4
(150,500,250)であり、受信機の初期設定
位置は(250,250,150)としたものである。
すなわち、高さ150cmの平面上に受信機を設置した
時、初期設定位置から何回の逐次近似で、受信機の設置
位置に到達したのかを示している。この結果から、少な
くても最大6回程度の逐次回数で目標の受信機の位置を
推定することが可能であると判る。
【0031】図5は本発明のアルゴリズムの逐次近似の
収束特性を示す図であり、図の横軸に逐次近似回数を、
縦軸に逐次修正した座標位置と受信機位置(最終値)と
の距離を、初期設定位置と受信機位置との距離で割って
正規化された残留誤差値を示している。なお、図5のパ
ラメータrは、初期設定位置と受信機位置の距離(単位
cm)を示しており、括弧内の座標は受信機の位置(単位
cm)を示している。これによれば初期設定位置と受信機
位置の距離が遠くになれば逐次近似の回数が増加するこ
とが判る。
【0032】(2)話者位置推定方法 上記の方法により、受信機の位置、すなわちマイク(受
音手段)の位置が判明した。そこでこれ以後は離散的に
配置された複数のマイク位置が判っているものとして話
者位置推定方法を説明する。いま話者位置の座標を
(x,y,z)、m番目のマイクの位置座標を(xm
m ,zm )とすると、話者とマイクの距離rm は、次
式(15)となる。
【0033】
【数8】
【0034】ここで、話者の位置を推定する場合、前述
したような方法で話者の口元からの各マイクまでの距離
を測定し、逐次近似法で話者の位置を求めることは可能
であるが、話者の口元にマイクを設置する接話マイクで
は煩わしさがあり、好ましくない。そこで、話者から2
つ以上の複数のマイクに到達する発声の時間差を測定す
ることを考える。ここでは時間差を測定できたとして、
議論を進めることとする。
【0035】本発明の話者位置推定方法における逐次近
似法のアルゴリズムの概要は次の通りである。まず話者
の音声をそれぞれ受音する複数の受音手段は互いに異な
る任意の位置に予め設置され、その設置位置は既知とす
る。次に前記受音手段間で得られる受音信号間の時間差
を測定し、この時間差に相当する距離差から音波を平面
波として推定される音源方向を組み合せて初回の仮想話
者位置(仮想話者位置の初期値又は初期位置ともいう)
を求め、次に前記初回の仮想話者位置を実際の話者位置
に逐次近づける逐次近似法により最終的に収束する仮想
話者位置を実際の話者位置として推定する。
【0036】前記逐次近似法を機能的に説明すると、次
のようになる。まず最初に算出される前記初回の仮想話
者位置に話者がいるものとして、この位置から各受音手
段間で得られる受音信号間の時間差を算出し、この算出
時間差と実測時間差との差分を前記初回の仮想話者位置
の修正量として次回の仮想話者位置を算出する。次に次
回の仮想話者位置に話者がいるものとして前記と同様の
演算を繰り返し、最終的に前記算出時間差と実測時間差
との差分が最小となったときの仮想話者位置を実際の話
者位置として推定する方法である。
【0037】次に前記逐次近似法のアルゴリズムを数式
により説明する。いまi番目のマイクとk番目のマイク
間の時間差に相当する距離差をdikとすると、次式(1
6)が得られる。
【0038】
【数9】
【0039】ここで、前述と同様に、式(16)の近似
式を考える。すなち、近似値dik′と補正量Δdikとの
和をdikと考えると、補正量Δdikは次式(17)とな
る。なおここでεは計算誤差を表している。
【0040】
【数10】
【0041】ところで、式(17)のαik,βik,γik
は次式(18−1),(18−2),(18−3)で表
される。
【0042】
【数11】
【0043】式(17)より、3次元空間においては未
知変数は4つで、これを行列式で表すと、式(12−
1)〜(12−4)と同様に、次式(19−1)〜(1
9−4)が得られる。
【0044】
【数12】
【0045】これより、Δdは式(19−4)の逆行列
演算(Δd=A-1ΔD)により求めることが可能とな
り、前述と同様な方法で逐次近似法により話者位置
(x,y,z)を求めることができる。まず、仮想話者
位置の初期位置(x0 ,y0 ,z0 )を式(18−1)
〜(18−3)に与えて、αij,βij,γijを求め、次
に式(19−1)〜(19−4)を用いて、仮想話者位
置から求めた各距離と実際の話者位置での時間差から求
めた各距離との差分ΔdであるΔx,Δy,Δzを求め
る。次に、このΔx,Δy,Δzを、x′=x0 +Δ
x,y′=y0 +Δy,z′=z0 +Δzに代入して、
x′,y′,z′を求め、新たに求めたx′,y′,
z′を再び式(18−1)〜(18−3)に代入する。
上記処理を繰り返して実行する事により、真の話者位置
を推定することができる。
【0046】以上述べた本発明のアルゴリズムを実証す
るために、3次元空間でのシミュレーションは大変複雑
で理解しにくいので、以下に2次元平面により説明す
る。図6は話者とマイクの位置関係の3つの例を示す図
であり、図の(a),(b),(c)に、話者とマイク
1 ,M2 ,M3 の位置関係が異なるcase1,2,
3がそれぞれ示されている。図7は図6の位置関係での
本発明のアルゴリズムの収束特性を示した図であり、仮
想話者位置にある初期値を与えたとき、図の横軸に逐次
近似回数を、縦軸に修正位置から話者位置(最終値)ま
での距離を、初期位置から話者位置までの距離で割って
正規化された残留誤差値を示した図である。図の
(a),(b)は仮想話者位置の初期位置が(10,2
0)と(100,10)と異なっており、これより初期
位置の与え方で収束したり発散したりしていることが判
る。
【0047】また、マイクと話者の位置関係によっても
本アルゴリズムの収束特性が異なることが判る。図8は
本発明のアルゴリズムにより収束したときの収束領域の
例を示す図であり、この図は、図6のcase1におけ
る話者とマイクとの位置関係の場合の収束領域を図示の
ハッチング部により示している。なお、図の白丸はマイ
ク位置、黒丸は話者位置である。本アルゴリズムでは収
束領域に初期位置を持っていく工夫が必要であるが、そ
のように初期位置が設定されれば、話者位置を推定する
精度はかなり高いことが図8より判る。
【0048】2.本発明のアルゴリズムを具現化する装
置例 (1)受音(受信機)位置測定装置 図9は本発明に係る送信機と受信機間の距離測定装置の
構成例を示す図であり、本発明における受信機はマイク
と一体化され、受信機とマイクは同一位置に設置され
る。図9において、11は計算機(例えばワークステイ
ション)、12はDA変換器、13は送信機、14は超
音波発振素子、15は超音波受信素子、16は受信機、
17はAD変換器、である。
【0049】図9においては、計算機11は周波数40
kHz、時間幅1msecの超音波正弦波を、ディジタ
ル信号として繰返周期25msecごとに出力する。こ
の計算機11から出力されるディジタル信号は、DA変
換器12により、アナログ波形信号に変換される。送信
機13はDA変換器12からの出力信号を増幅し、これ
を励振信号として超音波発振素子14に供給する。超音
波発振素子14は送信機13から与えられた励振信号に
従って空中に超音波を放射する。
【0050】空中に放射された超音波は遅延と減衰を経
て、所定距離隔てた超音波受信素子15で受信され、電
気信号に変換される。超音波受信素子15からの電気信
号は受信機16で増幅され、AD変換器17でアナログ
信号から計算機処理されやすいディジタル信号に変換さ
れる。このディジタル信号が計算機11に取り込まれ
る。計算機11では、超音波の送信時刻と受信時刻間の
伝搬所要時間Tを測定し、これに室温条件を加えた音速
Cを乗算し、距離R=C・Tを得る。このようにして送
信機から受信機までの距離が測定できる。
【0051】図10は図9の距離測定装置による測定可
能範囲とその測定誤差の例を示す図である。図10にお
いては、送信機を高さ230cm、受信機を高さ100
cmに設置したときに、高さ100cmの平面上の測定
可能な範囲を図の(a)に、またその測定距離に対する
誤差を図の(b)に示している。これにより測定距離1
00〜500cmにおける測定誤差は、ほぼ+1.5〜
−2.0cmの範囲にあるから、話者の大きさと比べれ
ば実用に十分耐えうるものと思われる。また、図9の超
音波受信素子15は、わざわざ超音波専用の受信素子を
用いなくても、可聴領域(〜20kHz)と超音波領域
(20kHz〜)までの広範囲の周波数を包括するコン
デンサマイクを使用すれば、超音波受信手段と可聴音波
受波手段を一体化できることは明らかである。
【0052】また、図9は単一の送信機と受信機の距離
を測定する方法について述べたもので、前記の(1)ア
ルゴリズムのところでも述べたように、3次元の受信機
の位置を求めるためには少なくても、4つの送信機が必
要である。図9に示した例では送信波を単一周波数の4
0kHzとしたが、4つの送信機を設けた場合に、各送
信機からの送信波を、20kHz以上のそれぞれ周波数
が異なる4つの超音波として、同時に計算機より発生さ
せ、受信機でその各周波数ごとの伝搬時間を測定するこ
とも可能であるし、4つの送信機から番号順に送信さ
せ、これを順次受信して各伝搬時間を測定することも可
能であることは明らかである。
【0053】以上、超音波を利用した複数の送信機を用
いて、受音(受信機)点の位置が測定できることを述べ
たが、超音波以外の空間伝搬波(例えば電波、赤外光
等)を用いても、距離測定は可能であることは言うまで
もない。
【0054】(2)話者位置推定装置 図2は本発明に係る話者位置推定装置の構成を示すブロ
ック図であり、図の1は話者、2−1,2−2,…2−
i,…2−nはそれぞれマイク、3−1,3−2,…3
−i,…3−nは各マイク毎の増幅器、4はA/D変換
器、5は計算機、6は端末器である。図2においては、
先に述べたように、各マイク2−1〜2−nは、前記受
信機と個別に一体化され、互いに異なる任意の位置に予
め設置され、これらの位置情報は前記説明のように既に
算出されているものとする。そして話者1から発せられ
た音声は各マイク2−1〜2−nにそれぞれ時間差をも
って到来する。各マイク2−1〜2−nの出力信号は、
A/D変換器4に入力するのに最適な電圧レベルになる
ように、それぞれ増幅器3−1〜3−nによって増幅さ
れる。増幅後の各信号はA/D変換器4によりディジタ
ル信号に変換されて計算機5に入力される。
【0055】計算機5では、まず各マイクに受信された
受信信号間の時間差を測定する。この測定方法として
は、例えば下表の参考文献2に報告されている方法を用
いてもよい。 参考文献2:日本音響学会講演論文集、3−8−2、平
成3年10月、金田豊、“室内残響下における広帯域音
源の方向推定”、p.547−548 この参考文献2の方法は、音源の波形の初期部分だけを
捉えて受信信号間の時間差を測定する方法であるから、
反射による影響は考慮する必要はない。従ってマイク間
における受音信号間の時間差は測定できる。
【0056】次にこれらの時間差の情報から、音波を平
面波として推定される音源方向を組み合せて、初回の仮
想話者位置を算出する。そしてその初回の仮想話者位置
から前記アルゴリズムによる逐次近似法を用いて収束す
るまで、計算処理を繰り返し、最終的な話者位置を推定
することが出来る。なお前記説明のように、話者位置と
マイク位置には収束できない領域があり、2つのマイク
位置を結ぶ直線上に話者位置を設定しないようにする必
要がある。
【0057】図1は本発明に係る話者位置推定方法の処
理を示す流れ図であり、本発明における前記各信号処理
をまとめて示したものである。なお図のSに続く数値は
ステップ番号を示す。図1のS1では、人間の聴覚に影
響しない信号(前記図9の超音波信号等)を送信する複
数の送信手段を互いに異なる位置に予め設置する。S2
では、音声を受音する複数の受音手段と、前記送信手段
からの信号を受信する複数の受信手段とをそれぞれ個別
に一体化して、互いに異なる位置に設置する。
【0058】S3では、各送信手段の位置情報を入力し
(例えば図2の端末器6より入力し)、各送信手段と各
受信手段間の距離を求め、この距離情報に基づき各受信
手段と同一位置にある各受音手段の位置を逐次近似演算
によって算出する。S4では、受音手段間で得られる受
音信号間の時間差を測定し、S5では、この時間差に相
当する距離差から初回の仮想話者位置を算出する。
【0059】S6では、前記算出された仮想話者位置を
実際の話者位置に逐次近づける逐次近似法により話者位
置の推定演算を行う。即ち、前記初回の仮想話者位置に
話者がいるものとして、この位置から各受音手段間で得
られる受音信号間の時間差を算出し、この算出時間差と
実測時間差との差分を前記初回の仮想話者位置の修正量
として次回の仮想話者位置を算出する。
【0060】S7では、仮想話者位置に話者がいるもの
と仮定して算出した時間差と、実際の話者位置から測定
した時間差との差分が最小となったか否かを判別し、最
小でないと判別した場合には、S6へ戻り逐次近似演算
を行う。即ち、2回目、3回目…n回目の仮想話者位置
に話者がいるものとして前記と同様の演算を繰り返し、
最終的に前記算出時間差と実測時間差との差分が最小と
なるまで(即ち収束するまで)、S6〜S7のループを
繰り返す。S7で、前記差分が最小となったと判断され
ると、最終的な仮想話者位置を実際の話者位置として推
定し、終了する。
【0061】本実施形態により、遠隔会議や複数の人が
同じ部屋にいる場合に、新規にマイクを設ける必要がな
く、既に使用しているマイク等が活用できるので経済的
な話者位置推定システムが構成できる。また、マイク位
置が既知でない場合に、まずマイク位置を逐次近似演算
により算出し、次にマイク位置を既知とした仮想話者位
置から逐次近似法により収束した精度の良い話者位置を
推定することができる。
【0062】
【発明の効果】以上のように本発明によれば、1つの領
域に複数の人がいて、現在発音している人の位置を推定
する方法において、人間の聴覚に影響しない信号をそれ
ぞれ送信する複数の送信手段を互いに異なる位置に予め
設置し、読者の音声をそれぞれ受音する複数の受音手段
と、前記複数の各送信手段からの送信信号をそれぞれ受
信する複数の受信手段とをそれぞれ個別に一体化して互
いに異なる位置に設置し、前記複数の各送信手段の設置
位置は既知として、前記各送信手段と各受信手段間の距
離をその信号伝搬時間からそれぞれ求め、この距離情報
に基づき前記各受信手段と同一位置に設置された各受音
手段の設置位置を逐次近似演算によってそれぞれ算出
し、前記各受音手段の設置位置の算出後、話者から発生
された音波を前記複数の各受音手段でそれぞれ受音し、
受音手段間で得られる受音信号間の時間差を測定し、前
記受音信号間の時間差から初回の仮想話者位置を求め、
この初回の仮想話者位置を実際の話者位置に逐次近づけ
る逐次近似法により話者位置を推定するようにしたの
で、本発明の適用により、遠隔会議や複数の人が同一領
域にいる場合に、既に使用しているマイク等が活用でき
るので経済的な話者位置推定システムが構成できると共
に、マイク位置が既知でない場合に、まずマイク位置
を、逐次近似演算により算出し、次にマイク位置を既知
とした仮想話者位置から逐次近似法により収束した精度
の良い話者位置を推定することができる。
【図面の簡単な説明】
【図1】本発明に係る話者位置推定方法の処理を示す流
れ図である。
【図2】本発明に係る話者位置推定装置の構成を示すブ
ロック図である。
【図3】本発明に係る式(14)による4面体の体積を
説明する図である。
【図4】受信機の設置位置と必要とする逐次近似の回数
を示す図である。
【図5】本発明のアルゴリズムの逐次近似の収束特性を
示す図である。
【図6】話者とマイクとの位置関係の3つの例を示す図
である。
【図7】図6の位置関係での本発明のアルゴリズムの収
束特性を示す図である。
【図8】本発明のアルゴリズムにより収束したときの収
束領域の例を示す図である。
【図9】本発明に係る送信機と受信機間の距離測定装置
の構成例を示す図である。
【図10】図9の距離測定装置による測定可能範囲とそ
の測定誤差の例を示す図である。
【図11】参考文献1による話者位置検出方法を説明す
る図である。
【符号の説明】
1 話者 2−1〜2−n マイク 3−1〜3−n 増幅器 4 A/D変換器 5 計算機 6 端末器 11 計算機 12 DA変換器 13 送信機 14 超音波発振素子 15 超音波受信素子 16 受信機 17 AD変換器
───────────────────────────────────────────────────── フロントページの続き (71)出願人 597032206 穂刈 治英 新潟県長岡市上富岡町1603−1 長岡技術 科学大学内 (72)発明者 小林 則夫 愛知県名古屋市中区丸ノ内3丁目22番21号 株式会社沖テック内 (72)発明者 川田 眞一 東京都港区虎ノ門1丁目7番12号 沖電気 工業株式会社内 (72)発明者 島田 正治 新潟県長岡市上富岡町1603−1 長岡技術 科学大学内 (72)発明者 穂刈 治英 新潟県長岡市上富岡町1603−1 長岡技術 科学大学内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 1つの領域に複数の人がいて、現在発音
    している人の位置を推定する方法において、 人間の聴覚に影響しない信号をそれぞれ送信する複数の
    送信手段を互いに異なる位置に予め設置し、 話者の音声をそれぞれ受音する複数の受音手段と、前記
    複数の各送信手段からの送信信号をそれぞれ受信する複
    数の受信手段とをそれぞれ個別に一体化して互いに異な
    る位置に設置し、 前記複数の各送信手段の設置位置は既知として、前記各
    送信手段と各受信手段間の距離をその信号伝搬時間から
    それぞれ求め、この距離情報に基づき前記各受信手段と
    同一位置に設置された各受音手段の設置位置を逐次近似
    演算によってそれぞれ算出し、 前記各受音手段の設置位置の算出後、話者から発生され
    た音波を前記複数の各受音手段でそれぞれ受音し、受音
    手段間で得られる受音信号間の時間差を測定し、 前記受音信号間の時間差から初回の仮想話者位置を求
    め、この初回の仮想話者位置を実際の話者位置に逐次近
    づける逐次近似法により話者位置を推定することを特徴
    とする話者位置推定方法。
  2. 【請求項2】 前記人間の聴覚に影響しない信号とし
    て、人間の可聴周波数範囲を越える超音波周波数の信号
    を用いることを特徴とする請求項1記載の話者位置推定
    方法。
  3. 【請求項3】 前記複数の送信手段は、少なくとも4個
    は設置され、前記受信手段の1つの設置位置から各4個
    の送信手段の設置位置を結ぶ直線上にあって受信手段か
    ら単位長さまでの4点を結ぶ立体体積が大きくなるよう
    に、各送信手段の設置位置が設定されることを特徴とす
    る請求項1又は2記載の話者位置推定方法。
  4. 【請求項4】 前記初回の仮想話者位置を実際の話者位
    置に逐次近づける逐次近似法は、まず前記初回の仮想話
    者位置に話者がいるものとして、この位置から各受音手
    段間で得られる受音信号間の時間差を算出し、この算出
    時間差と実測時間差との差分を前記初回の仮想話者位置
    の修正量として次回の仮想話者位置を算出し、次に次回
    の仮想話者位置に話者がいるものとして前記と同様の演
    算を繰り返し、最終的に前記算出時間差と実測時間差と
    の差分が最小となったときの仮想話者位置を実際の話者
    位置として推定する方法であることを特徴とする請求項
    1から3までのいずれかの請求項に記載の話者位置推定
    方法。
JP05273497A 1997-03-07 1997-03-07 話者位置推定方法 Expired - Fee Related JP3433369B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05273497A JP3433369B2 (ja) 1997-03-07 1997-03-07 話者位置推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05273497A JP3433369B2 (ja) 1997-03-07 1997-03-07 話者位置推定方法

Publications (2)

Publication Number Publication Date
JPH10253745A true JPH10253745A (ja) 1998-09-25
JP3433369B2 JP3433369B2 (ja) 2003-08-04

Family

ID=12923169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05273497A Expired - Fee Related JP3433369B2 (ja) 1997-03-07 1997-03-07 話者位置推定方法

Country Status (1)

Country Link
JP (1) JP3433369B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009052928A (ja) * 2007-08-24 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 位置推定装置、その方法、そのプログラム、およびその記録媒体
JP2009115735A (ja) * 2007-11-09 2009-05-28 Nippon Telegr & Teleph Corp <Ntt> 距離測定装置、距離測定方法、距離測定プログラム、および記録媒体
US7864631B2 (en) 2005-06-09 2011-01-04 Koninklijke Philips Electronics N.V. Method of and system for determining distances between loudspeakers
JP2016035443A (ja) * 2014-08-01 2016-03-17 本田技研工業株式会社 音響処理装置及び音響処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7864631B2 (en) 2005-06-09 2011-01-04 Koninklijke Philips Electronics N.V. Method of and system for determining distances between loudspeakers
JP2009052928A (ja) * 2007-08-24 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 位置推定装置、その方法、そのプログラム、およびその記録媒体
JP2009115735A (ja) * 2007-11-09 2009-05-28 Nippon Telegr & Teleph Corp <Ntt> 距離測定装置、距離測定方法、距離測定プログラム、および記録媒体
JP2016035443A (ja) * 2014-08-01 2016-03-17 本田技研工業株式会社 音響処理装置及び音響処理方法

Also Published As

Publication number Publication date
JP3433369B2 (ja) 2003-08-04

Similar Documents

Publication Publication Date Title
CN107102296B (zh) 一种基于分布式麦克风阵列的声源定位系统
CN102893175B (zh) 使用声音信号的距离估计
JP4852878B2 (ja) マイクロホンの位置確認のためのシステム、方法、及びプログラム
Ribeiro et al. Turning enemies into friends: Using reflections to improve sound source localization
US20070253561A1 (en) Systems and methods for audio enhancement
CN1952684A (zh) 利用麦克风定位声源的方法和装置
Tervo et al. Acoustic reflection localization from room impulse responses
Tervo et al. Estimation of reflections from impulse responses
Shi et al. An overview of directivity control methods of the parametric array loudspeaker
Di Carlo et al. Mirage: 2d source localization using microphone pair augmentation with echoes
CN113126028A (zh) 一种基于多个麦克风阵列的噪声源定位方法
JPH10253745A (ja) 話者位置推定方法
Canclini et al. From direction of arrival estimates to localization of planar reflectors in a two dimensional geometry
EP3182734B1 (en) Method for using a mobile device equipped with at least two microphones for determining the direction of loudspeakers in a setup of a surround sound system
Thong-un et al. A linearization-based method of simultaneous position and velocity measurement using ultrasonic waves
KR20090128221A (ko) 음원 위치 추정 방법 및 그 방법에 따른 시스템
Di Carlo et al. dEchorate: a calibrated room impulse response database for echo-aware signal processing
JPH10253743A (ja) 話者位置推定方法
Togami et al. Head orientation estimation of a speaker by utilizing kurtosis of a DOA histogram with restoration of distance effect
Nonsakhoo et al. Angle of arrival estimation by using stereo ultrasonic technique for local positioning system
Gao et al. Room geometry blind inference based on the localization of real sound source and first order reflections
KR101709184B1 (ko) 다채널 마이크로폰 신호의 잡음 제거 장치
Tervo et al. Maximum likelihood estimation of loudspeaker locations from room impulse responses
Hupke et al. Localization and Categorization of Early Reflections for Estimating Acoustic Reflection Coefficients
Gamboa-Montero et al. Real-Time Acoustic Touch Localization in Human-Robot Interaction based on Steered Response Power

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080530

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees