JPWO2004079388A1 - 位置情報推定装置、その方法、及びプログラム - Google Patents
位置情報推定装置、その方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2004079388A1 JPWO2004079388A1 JP2005503053A JP2005503053A JPWO2004079388A1 JP WO2004079388 A1 JPWO2004079388 A1 JP WO2004079388A1 JP 2005503053 A JP2005503053 A JP 2005503053A JP 2005503053 A JP2005503053 A JP 2005503053A JP WO2004079388 A1 JPWO2004079388 A1 JP WO2004079388A1
- Authority
- JP
- Japan
- Prior art keywords
- position information
- matrix
- signal
- signal source
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
- G01S3/14—Systems for determining direction or deviation from predetermined direction
- G01S3/46—Systems for determining direction or deviation from predetermined direction using antennas spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
- G01S3/74—Multi-channel systems specially adapted for direction-finding, i.e. having a single antenna system capable of giving simultaneous indications of the directions of different signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
[到来方向推定]
周波数領域でのICAを用いて信号源の方向を位置情報として推定する従来技術を図1を参照して簡単に説明する。J個のセンサ11,12,…,1Jが直線状に配列されている。センサ1j(j=1,2,…,J)の位置をdj、そのセンサ1jでの観測信号をxj(t)とする。センサ11,…,1jの配列方向と垂直な方向を90°とし、源信号si(t)の到来方向を0°≦θj≦180°とする。I個の源信号s1(t),…,sI(t)の混合信号をJ個のセンサ11〜1Jにより、観測信号x1(t),…,xJ(t)として検出しているものとする。
信号の到来方向の推定は周波数領域で行われることが多い。これには、観測信号xj(t)を短時間フーリエ変換して周波数領域における時間系列信号Xj(ω,m)を求める。ωは角周波数(周波数をfとするとω=2πf)mは時刻を表す番号である。源信号si(t)(i=1,…,I)も、同様に、周波数領域における時間系列Si(ω,m)に変換したものとすると、観測信号Xj(ω,m)は、信号siの信号源からセンサ1jへの周波数応答Aji(ω)を用いXj(ω,m)=Σi=1 IAji(ω)Si(ω,m)
と表現することができる。ベクトルと行列を用いると、
となる。ここで、
はそれぞれ、J個のセンサによる観測信号およびI個の源信号をベクトル表現したものである。A(ω)は周波数応答Aji(ω)を要素とするJ×I行列であり、信号混合系の周波数応答を表現するので混合行列と呼ばれる。[a]Tはベクトル又は行列aの転置を表わす。
図1において、方向θiから到来する源信号は、d1=0の位置のセンサ11に対し、センサ1jにもτji=c−1djcosθiだけ速く到達する。cは源信号siの速度である。従って、直接波のみを考慮すると角周波数ωにおける周波数応答は
とモデル化することができる。方向θを変数とする到来方向ベクトルを
a(ω,θ)=[exp(jωc−1d1cosθ)、exp(jωc−1d2cosθ),…,exp(jωc−1dJcosθ)]Tと表現すると、観測信号は
とも近似表現することができる。
独立成分分析を用いて信号源の方向を推定する方法については例えばS.Kurita,H.Saruwatari,S Kajita,K.Takeda,and F.Itakura,“Evaluation of blind signal separation method using directivity pattern under reverberant conditions,”in Proc.ICASSP2000,2000,pp.3140−3143(文献1という)に示されている。この方法を以下に簡単に述べる。
観測信号X(ω,m)はX(ω,m)=A(ω)S(ω,m)であり、源信号S(ω,m)が混合されたものであるので、互いに独立ではない。X(ω,m)に独立成分分析
を適用すると、互に独立な分離信号
が得られる。
W(ω)は要素がWij(ω)であるI×Jの行列であり、分離行列と呼ばれる。例えば、I=J=2の場合、独立成分分析は、Y1(ω,m)とY2(ω,m)が互いに独立になる様に
を満足する分離行列W(ω)を求める。源信号S1(ω,m),…,SI(ω,m)が互いに独立であれば、分離信号Y1(ω,m),…,YI(ω,m)はそれぞれ、源信号の何れかに対応する。但し、独立成分分析は信号の独立性のみに基づいているところから、分離信号の順序と大きさに関して任意性がある。即ち、分離行列W(ω)の行を入れ換えても、W(ω)の行を定数倍しても、独立成分分析の解である。なお後で述べるが順序の任意性はパーミュテーションの問題となり、大きさの任意性はスケーリングの問題となる。
分離行列W(ω)のi行目は、
である。このwi(ω)は分離信号Yi(ω,m)を作り出していることが分かる。従って、wi(ω)は、源信号S1(ω,m),…,S1(ω,m)の何れか1つを強調して取り出し、それ以外を抑圧している。Wi(ω)が形成する指向特性を解析することにより、何れの方向から到来する信号を取り出し、何れの方向から到来する信号を抑圧しているかを解析することができ、この解析により、源信号si(t)の到来方向を推定することができる。これを全てのwi(ω),i=1,…,Iに対して行うと、分離行列のW(ω)各行wi(ω)が取り出している源信号の到来方向Θ(ω)=[θ1(ω),…,θ1(ω)]Tを推定することができる。
Wi(ω)が形成する指向特性は、到来方向ベクトルa(ω,θ)を用いてBi(ω,θ)=wi(ω)a(ω,θ)と表現することができる。このBi(ω,θ)は方向θにある源信号から、分離信号Yi(ω,m)への周波数応答と考えられる。周波数3156Hzにおいて独立成分分析後の指向特性のゲイン|Bi(ω,θ)|特性を図2に示す。図2の横軸はθを、縦軸はゲインを表わす。実線は分離行列の1行目が与える指向特性|B1(ω,θ)|であり、破線は2行目が与える指向特性|B2(ω,θ)|である。実線は55°でゲインが最小となっており、破線は121°でゲインが最小となっている。このことから、分離行列の1行目は55°から到来する信号を抑圧して121°から到来する信号を取り出し、逆に分離行列の2行目は121°から到来する信号を抑圧して55°から到来する信号を取り出している。従って、Θ(3156Hz)=[121°,55°]Tと推定することができる。
複数の信号源方向を複数センサを用いて、センサの観測信号を周波数領域に変換して推定する方法として、MUSIC(Multiple Signal Classification)法がある(例えばS.Unnikrishna Pillai,“Array Signal Processing”,Springer−Verlag,1989,ISBN 0−387−96951−9,ISBN 3−540−96951−9参照)。この方法はセンサの数Jより1個少ない(J−1)個までしか信号源の方向を推定できない。しかし前記独立成分分析(ICA)を用いる方法(以下単にICA法ともいう)によれば2つのセンサで2信号の混合に対応することができ、この点で、MUSIC法より優れている。しかし、上記のICAを用いる方法では3信号以上の混合に対処するには以下に示すように困難を伴う。また、指向特性のゲインの最小値を求める操作に多くの計算を要することも欠点である。
3信号の混合に対して3つのセンサを用いてICA法を適用した状況を説明する。この場合のICAは分離行列が3×3になるだけで同様に行えるが、指向特性のゲインを解析するのに困難を伴う。この場合のICA後の周波数2734Hzにおいて指向特性のゲイン|Bi(ω,θ)|を図3に示す。図3の実線は分離行列の1行目が、破線は2行目が、1点鎖線は3行目がそれぞれ与える指向特性である。この場合、各源信号は分離行列のある行によって強調され、他の2つの行によって抑圧される筈である。しかし、抑圧する2つの行が同じ方向で抑圧しているとは限らない。例えば、図3においては45°付近で|B2|と|B3|が共に極小となり、w1(ω)が45°付近の源信号を取り出し、w2(ω)及びw3(ω)はこの源信号を抑圧している。同様に90°付近で|B1|及び|B3|が極小となり、w2(ω)で90°付近の源信号を取り出し、w1(ω)及びw3(ω)でこの信号を抑圧していると読み取れる。しかしw3(ω)が120°付近の源信号を取り出し、w1(ω)およびw2(ω)がこの源信号を抑圧していると考えられるが、120°付近での|B1|及び|B2|の極小がかなりずれている。この様なずれが大きくなると、何れの方向の抑圧が何れの源信号に対応するか判然としなくなる。従って、ICA法による従来技術を3信号以上の状況に対して適用するのは困難であると考えられる。
〔ブラインド信号分離〕
次にICAを用いたブラインド信号分離の従来技術を説明する。ブラインド信号分離とは、観測された混合信号から源信号を推定する技術である。以下では、I個の源信号が混在した混合信号がJ個のセンサで観測される場合を例にとって説明する。
信号源iから発生した源信号をsi(t)(i=1,…,I、tは時刻)、センサjで観測された混合信号をxj(t)(j=1,…,J)とすると、混合信号xj(t)は次式で表わせる。
ここで、ajiは信号源iからセンサjへのインパルス応答、*は畳み込み演算子である。ブラインド信号分離の目的は、観測信号xj(t)のみを用いて、分離のためのフィルタwkj及び分離信号yk(t)(k=1,…,I)を次式により求めることである。
時間領域での畳み込み混合は、周波数領域における複数の瞬時混合に変換することができる。すなわち、前記の式(7)及び式(8)は、それぞれ前記式(1)及び式(5)で表わされ、前述したように、W(ω)は分離行列であり、ICAを用いてYk(ω,m)とYk(ω,m)が互いに独立となるように計算されたもの、つまりICAの解である。
以上の周波数領域でのブラインド信号分離を行うに際し問題となるのは、パーミュテーションの問題とスケーリングの問題である。
前述したように分離行列W(ω)は行の入れ替えを行っても独立成分分析の解となる。つまりある角周波数ωにおいて、W(ω)がICAの解だとし、複素数を要素とする任意の対角行列をD(ω)とし、任意のパーミュテーション行列(この行列を任意の行列の左から掛けた結果は、この任意の行列の行を入れ替えた行列となる)をP(ω)とした場合におけるP(ω)D(ω)W(ω)もまたICAの解となる。これは、ICAが源信号間の統計的独立性のみを条件として源信号の分離を行うことに基づくものであり、このD(ω)によって与えられる解の自由度をスケーリングの自由度と呼び、P(ω)によって与えられる解の自由度をパーミュテーションの自由度と呼ぶ。
そのため、適切なブラインド信号分離を行うためには、全てのωについて、ICAの解から分離行列として適切な解W(ω)を特定しなければならない。一般に、この適切な解W(ω)の特定は、任意に求めたICAの解に、適切なD(ω)やP(ω)を乗じ、その結果を適切な解W(ω)とすることによって行われる。そして、全てのωについて、このD(ω)を適切に決める問題をスケーリングの問題と呼び、P(ω)を適切に決める問題をパーミュテーションの問題と呼ぶ。また、パーミュテーションとは、{1,2,…,I}から{1,2,…,I}への全単射な関数Z:{1,2,…,I}→{1,2,…,I}であり、パーミュテーション行列と1対1対応する。
スケーリングの自由度は、時間領域において周波数特性を変化させるフィルタの自由度に相当する。それゆえ、時間領域において歪のない分離信号を生成するためには、全てのωについて、D(ω)を適切に決める必要がある。このスケーリングの問題は、例えば、D(ω)=diag(W−1(ω))とすることで容易に解決することができる。diag(α)は行列αの対角化(対角要素の他は全ての要素を0とする)を表わす。つまり任意に求めたICAの解W0(ω)の逆行列を求め、それを対角化した行列をD(ω)とし、D(ω)W0(ω)を、適切な分離行列W(ω)として特定する。このことは既に知られている。例えば参考文献:K.Matsuoka and S.Nakashima,“Minimal Distortion Principle for Blind Source Separation”,Proc.ICA 2001,pp.722−727.に示されている。
一方、パーミュテーションの自由度のため、前記の式(5)の演算結果として、例えば、ある角周波数ω1については分離信号Y1(ω1,m)が源信号S1(ω1,m)の推定値として出力され、別の角周波数ω2については分離信号Y1(ω2,m)が源信号S2(ω2,m)の推定値として出力されることもありうる。このような場合、時間領域の出力信号y1(t)の中に、時間領域の源信号s1(t)の成分とs2(t)の成分とが混在してしまい、分離信号を正しく生成することができない。そのため、時間領域における出力信号y1(t)が正しく源信号s1(t)の推定値となるためには、全てのωについて、Y1(ω,m)がS1(ω,m)の推定値となるようにP(ω)を適切に決める必要がある。
従来のパーミュテーション問題の代表的な解法として、前記文献1に示す信号の到来方向を推定する方法がある。つまり、図2を参照して説明したように、各周波数における分離行列W(ω)の各行と対応する指向特性を求める(図2ではf=3156Hzの指向特性のみを示している)。これら各周波数の指向特性において例えば分離行列W(ω)の1行目が与える指向特性のゲイン最小値が55°で、2行目が与える指向特性のゲイン最小値が121°になるようにする。つまりある角周波数ωnではその分離行列W(ωn)の1行目が与える指向特性のゲイン最小値が121°で、2行目が与える指向特性のゲイン最小値が55°であれば、その分離行列W(ωn)の1行目と2行目とを入れ替える。つまりこの入れ替えを行うパーミュテーション行列P(ωn)をW(ωn)にその左から掛算する。
このパーミュテーション問題の解法は先にも述べたように指向特性のゲイン最小値を求める操作に多くの計算を要し、しかも信号源の数Iが3以上では全角周波数のW(ω)について適当に並べ替えを行ってみるという試行錯誤が必要となる。更に図3を参照して説明したようにW(ω)のある行がある方向の信号Si(ω,m)を取り出している場合は、そのW(ω)の他の行は全てその方向の信号Si(ω,m)を抑圧する状態に必ずしもならない。
また指向特性のゲインが低い方向を探索して推定する信号到来方向の推定精度は信号源の位置によって異なり、特に一対のセンサ1jと1j’を結んだ直線(以下、センサペア軸という)に信号到来方向が近い場合に誤差が大きくなる。このことを実験により示す。図4Aに示すように、2つのセンサ101,102としてマイクロホンを距離2.83cm離して配置し、センサ101と102の中点(原点)から一定の距離(約150cm)離れ、かつ角度間隔が20°離れた2つの信号源111,112として音源を設け、センサ101からセンサ102を見た方向を基準(0°)として、原点からみた信号源111の角度θが10°から150°となるまで音源111と112を前記一定距離及び角度間隔を保持した状態で移動させた。
このように音源111,112を移動させながら行ったブラインド信号分離結果を図4Bに例示する。図4Bの縦軸は、信号対妨害音比(Signal to Interference Ratio)を示しており、分離音中に含まれる目的信号及び妨害信号を用いて、
SIR=10log10(目的信号のパワー/妨害信号のパワー)(dB)
のように計算したものである。また、図4Bの横軸は、原点からみた音源111の角度θを表し、実線はこの実験結果を示しており、点線はパーミュテーションに正解を与えたときのSIRを示している。
この図より信号源111が、センサペア軸に近い方向(0°或いは180°付近)に近づくと、実験結果のSIRはパーミュテーションに正解を与えたときのSIRに比べ大きく低下していることがわかる。このことは信号源111の方向がセンサペア軸方向と近いとパーミュテーションが誤っていることに基づくと考えられる。
以上述べたように独立成分分析を用いて分離行列を求め、その各行から指向特性パターンを求めて、その利得が低い方向探索により、信号源の方向(到来信号方向)を求め、更にこれを利用してブラインド信号分離を行う場合は、前記指向特性パターンを求めて、利得が低い方向を探索するために多くの計算時間を必要とした。
この発明の目的は独立成分分析により分離行列を求めて信号源の位置情報を推定するための計算時間が短かい位置情報推定装置、その方法及びプログラムを提供することにある。
このように要素比に基づき表された計算式を演算すればよく、分離された信号の指向性パターンを求め、更にその極小値角度の探索を行う場合より少ない計算量で済む。また要素比をとるため、前述したスケーリングの自由度による影響がなくなる。
図2は2音源混合信号に対し、ICAにより計算した分離行列の各行のゲイン指向特性を示す図である。
図3は3音源混合信号に対し、ICAにより計算した分離行列の各行のゲイン指向特性を示す図である。
図4Aは予備実験に用いたセンサと信号源の関係を説明するための図である。
図4Bは前記予備実験の結果を示す図である。
図4Cは推定角度とその誤差及び偏角誤差との関係を示す図である。
図5はこの発明を信号到来方向の推定に適用した第1実施形態の機能構成例を示すブロック図である。
図6は第1実施形態の処理手順の例を示す流れ図である。
図7は図5中の角度計算部の具体的機能構成例を示すブロック図である。
図8は図6中のステップS4の具体的処理手順の例を示す流れ図である。
図9はこの第1実施形態により方向推定した実験結果を示す図である。
図10Aは音源が2個、マイクロホンが3個の場合に第1実施形態により方向推定した実験結果を示す図である。
図10Bは図10Aについての実験と同一条件でMUSIC法により方向推定した実験結果を示す図である。
図11Aは音源が2個、マイクが3個の場合に第1実施形態により方向推定した実験結果を示す図である。
図11Bは図11Aについての実験と同一条件でMUSIC法により方向推定した実験結果を示す図である。
図12はこの発明をブラインド信号分離に適用した第2実施形態の機能構成例を示すブロック図である。
図13は第2実施形態の処理手順の例を示す流れ図である。
図14は図13中のステップS14の具体的処理手順の例を示すブロック図である。
図15は複数円錐面の共通直線方向を説明するための図である。
図16は図12中の到来方向決定部16の具体的機能構成の他の例を示すブロック図である。
図17はこの発明をブラインド信号分離に適用した第3実施形態の機能構成例を示すブロック図である。
図18は第3実施形態の処理手順の例を示す流れ図である。
図19は図18中のステップS35の具体的処理手順の例を示す流れ図である。
図20はセンサ配置と信号源位置と推定曲面との関係を説明するための図である。
図21は推定球面の例を示す図である。
図22は実験に用いた室とマイクロホン配置と音源との関係を示す図である。
図23は小間隔マイクロホン対を用いた推定方向のヒストグラムである。
図24はその周波数に対する推定方向の分布を示す図である。
図25は音源24及び25に対する推定球面の半径の周波数に対する分布を示す図である。
図26は各方法での実験結果を示す図である。
図27はこの発明の第4実施形態の要部の機能構成例を示すブロック図である。
図28はこの発明をブラインド信号分離に適用した第5実施形態の処理手順の例を示す流れ図である。
図29は第5実施形態に対する実験結果を示す図である。
図30Aは複数の円錐面の共通直線方向を求めて分離行列のパーミュテーションを解決する処理手順の要部を示す流れ図である。
図30Bは円錐面の推定と球面の推定を利用して分離行列のパーミュテーションを解決する処理手順の要部を示す流れ図である。
図30Cは円錐面の推定と球面の推定を利用して分離行列のパーミュテーションを解決する他の処理手順の要部を示す流れ図である。
[第1実施形態]
この第1実施形態は信号源の方向、つまりその信号源から放射された源信号の到来方向を求める。
図5に第1実施形態の機能構成図を、図6にその処理手順の一部の流れ図をそれぞれ示す。
信号源の数I以上の個数であるJ個のセンサ11,12,…,1Jが、例えば図1に示したように配列されている。隣接センサの間隔は通常は、源信号の最も短かい波長の1/2以下である。これらセンサ1j(j=1,2,…,J)で観測された信号xj(t)はそれぞれ周波数領域変換部11jにおいて、例えば短時間フーリエ変換により周波数領域信号Xj(ω,m)に変換される(図6、ステップS1)。これら周波数領域信号Xj(ω,m)に対する各角周波数ωnごとの分離行列W(ωn)(n=1,2,…,N)が分離行列算出部12において独立成分分析により算出される(図6、ステップS2)。
この各周波数ごとの分離行列W(ωn)の逆行列が逆行列算出部13で算出され逆行列H(ωn)が求まる(図6、ステップS3)。
なおこの逆行列の計算はJ>Iの場合は疑似逆行列を計算することになる。疑似逆行列としては例えばMoore−Penrose型一般逆行列が用いられる。
この実施形態においてはH(ω)中の少くとも1つの周波数の逆行列H(ωn)の各列iの2つの要素Hji(ωn)とHj’i(ωn)との比の偏角から方向情報、つまり源信号の到来方向が角度計算部14で計算される(図6、ステップS4)。この角度計算部14の具体的機能構成例と処理手順例を図7及び図8を参照して説明する。選択部14aにより角周波数ωnの逆行列H(ωn)中の未選択の一つの列iが選択され(図8、ステップS4a)、そのi列目から2つの要素Hji(ωn)とHj’i(ωn)が選択される(図8、ステップS4b)。
偏角計算部14bで、選択された要素の比の偏角arg[Hji(ωn)/Hj’i(ωn)]が計算され、また間隔計算部14cで、センサ情報格納部15内のセンサ1jと1j’の位置情報djとdj’が取り出され、これらの差からセンサ1jと1j’の間隔dj−dj’が計算される(図8、ステップS4c)。位相回転計算部14dで、間隔dj−dj’と、角周波数ωnでの単位距離当りの信号の位相回転量ωn/c(cは源信号の速度)との積が計算されて間隔dj−dj’での信号の位相回転量が求められ、この位相回転量により偏角arg[Hji(ωn)/Hj’i(ωn)]が除算部14eで割算される(図8、ステップS4d)。なお単位距離当たりの位相回転量ω/cは例えばf=680Hzの音波(速度c=340m/s)では、1m当たり2π・2の位相が回転することになる。
この除算部14eの割算結果Gi(ωn)の絶対値が1以下か否かかが判定部14fで判定され(図8、ステップS4e)、1以下であればGi(ωn)の逆余弦θi(ωn)=cos−1Gi(ωn)が逆余弦計算部14gで計算される(図8、ステップS4f)。つまり角度計算部では次の計算が行われる。
ステップS4eで|Gi(ωn)|が1以下でなければ角度θi(ωn)が虚数になるので、別の組み合せを選択するため、判定部14fで選択したi列目のすべての要素の組み合せを選択したか判定され(図8、ステップS4g)、選択していない組み合せがあればステップS4bに戻り、全ての組み合せを選択していれば、判定部14fですべての列を選択したか判定され(図8、ステップS4h)、選択していない列があればステップS4aに戻り、全ての列を選択していれば角度計算処理を終了する。なお図7中の間隔計算部14cは各周波数の角度計算部14に対して共通に用いられる。
角度計算部14からH(ω)中の選択した角周波数ωnの逆行列H(ωn)における各列と対応して、その選択順に、もし第1列目から順次選択すればその順に式(7)の計算結果、つまりI個の信号源の方向(信号到来方向)Θ(ωn)=(θ1(ωn),θ2(ωn),…,θI(ωn))が出力される。これらθ1(ωn),θ2(ωn),…,θI(ωn)は各源信号s1(t),s2(t),…,sI(t)の到来方向(信号源1,2,…,Iの方向)のいずれかの1つと対応する。
この実施形態において信号到来方向が推定できるしくみを以下に説明する。独立成分分析(ICA)により分離が達成されていれば、ICAにより算出した分離行列W(ω)と真の混合行列A(ω)とはP(ω)D(ω)W(ω)A(ω)=Iの開係にある。ここで、D(ω)はスケーリングの自由度を示す対角行列、P(ω)はパーミュテーションの自由度を示すパーミュテーション行列、Iは単位行列である。ICAを用いても、混合行列A(ω)そのものは一般には算出できない。しかし、W(ω)の逆行列H(ω)=W−1(ω)=A(ω)P(ω)D(ω)を算出すれば、スケーリングとパーミュテーションの自由度を含む混合行列の推定値が得られる。すなわち、逆行列H(ω)は、混合行列A(ω)の列をP(ω)により並べ替え、さらに各列にそれぞれD(ω)の対角要素を掛け合わせたものになる。
この実施形態では、逆行列H(ω)の同じ列iから2つの要素Hji(ω)とHj’ i(ω)を取り出してそれらの比Hji(ω)/Hj’i(ω)を求めることで、算出できないD(ω)によるスケーリングの自由度を取り除く。すなわち、
となる。ここで、Zはパーミュテーション行列P(ω)を右から掛けることに対応する順列である。逆行列H(ω)の全ての列iに対して式(21)に関わる操作を行うことで、P(ω)によるパーミュテーションZにかかわらず、全ての信号の到来方向が推定できる。
背景技術の説明では、混合行列A(ω)の要素をAji(ω)=exp(jωc−1djcosθi)とモデル化した。しかし、この実施形態では、分離行列W(ω)の逆行列H(ω)を用いて、スケーリングとパーミュテーションの自由度を含む混合行列A(ω)の推定値を算出しているので、この単純なモデルでは不十分である。そこで、振幅の減衰度αji(実数)と原点における位相差exp(jφi)を用いて、Aji(ω)=αjiexp(jφi)exp(jωc−1djcosθi)とモデル化する。このモデルを用いてAjZ(i)(ω)/Aj’Z(i)(ω)を計算すると、式(21)の関係から、
が得られる。その結果、上記のGj(ω)は
となり、|Gi(ω)|<1であればθZ(i)=cos−1Gi(ω)が実数となり、到来方向を推定することができる。先に述べたように、パーミュテーションZの自由度により、I個の方向Θ(ω)=[θZ(i)(ω),…,θZ(I)(ω)]全体を適当に並べ替えたものが、信号s1,…,sIの方向に対応する。
H(ω)中の複数の周波数又は全ての周波数の各逆行列H(ωn)(n=1,…,N)について先に述べたように各列ごとに角度θi(ωn)を求め、これらの全体により各到来方向を決定してもよい。つまり角度計算部14で推定された各周波数の到来方向は図5中のソート部32においてその角度ごとに分けられる(図6、ステップS5)。例えばそれぞれ方向(角度)の大きい順に並べられる。角周波数ω1についてのΘ(ω1)中の各成分が大きい順に(θ1(ω1),θ2(ω1),…,θI(ω1))と並べ、ω2についてのΘ(ω2)中の各成分が大きい順に(θ1(ω2),θ2(ω2),…,θI(ω2))と並べ、…,ωNについてのΘ(ωN)中の各成分が大きい順に(θ1(ωN),θ2(ωN),…,θI(ωN))と並べられる。このように大きい角度順に分別された角度は、大きい順が同一であっても周波数間でばらつきがある、つまり角度θi(ω1),θi(ω2),…,θi(ωN)(i=1,…,I)はばらついている。
よって統合部33で、分別角度θi(ω1),θi(ω2),…,θi(ωN)ごとに1つの角度θiに統合されて1つの角度(到来方向)θiとされる(図6、ステップS6)。この統合の方法としては例えば分別角度(θi(ω1),θi(ω2),…,θi(ωN))ごと平均値が統合角度θiとされ、あるいは分別角度(θi(ω1),θi(ω2),…,θi(ωN))ごとの最頻値や中央値などを統合角度θiとしてもよい。このように分別角度ごとに1つの角度に統合することにより、1つのある周波数の逆行列H(ωn)からのみ到来方向を推定する場合より、正しく到来方向を推定することができる。
なお図8に示した角度(方位)計算推定処理において、その1つでも選択した列について、角度θi(ωn)を求めることができなかった時は、そこでその逆行列H(ωn)に対する処理を終了し、他の周波数の逆行列H(ωn)に対する処理を行い、最初に全ての列について角度(方向)を計算することができたら、その時の計算結果を推定(方向)θ1,…,θ1としてもよい。あるいは各周波数の逆行列H(ωn)中で全ての列について角度計算ができた結果を角度ごとに分別し、統合してもよい。あるいは1つの列について角度θi(ωn)を計算することができないものがあれば、その状態が最初に発生した時に、その後の処理を全て終了し、あらためて観測信号を求める処理からやりなおすことにより、推定結果の信頼性を高めるようにしてもよい。
この第1実施形態の実験例を述べる。残響時間が190msの部屋に3つのマイクロホンを56.6mm間隔で1列に配列し、その配列方向を基準として角度48°、73°、119°の方向に3つの音源を配置した。これら音源からの音響信号の混合時間を6秒、観測信号の標本化周波数を8kHz、空間エイリアシングが生じない最大周波数を3kHz、短時間フーリエ変換のフレームを1024サンプルとした。前述したようにして、各周波数ごとにそれぞれ計算した各角度を図9に、横軸を周波数、縦軸を方向として示す。図9中の◇,+,□はそれぞれ3つの音源方向の推定計算値を示す。この結果を3つの角度範囲に分別し、各分別された角度平均値は45°,74°,123°となった。3音源の方向を3つのマイクロホンで推定することはMUSIC法ではできないが、この実施形態によれば可成り正しく各音源方向が推定されていることがわかる。
この実施形態の方法とMUSIC法とを比較するため、音源方向を48°と119°と比較的大きく角差がある状態で2つの音源を配置した場合について同様に実験を行った。図10Aにこの実施形態の方法により得られた結果を、図10BにMUSIC法により得られた結果をそれぞれ示す。これらよりいずれの方法も、かなり正しく方向を推定していることがわかる。この実施形態による結果を2つの方向範囲で分別平均した結果は45°,123°であり、MUSIC法はそれぞれ45°,122°である。次に、音源方向を105°と119°と方向が比較的接近している状態で2つの音源を配置した場合について同様に実験を行った。この実施形態方法による結果及びMUSIC法による結果を図11A及び図11Bにそれぞれ示す。MUSIC法では大部分の周波数で音源方向の推定ができないが、この実施形態では大部分の周波数で角度計算を行うことができ、しかも、これらを角度範囲で分別して、それぞれ平均した値は105°,124°であり、MUSIC法は94°,128°でありこの実施形態による方向推定がかなり正しいことがわかる。
以上述べたようにこの実施形態によれば従来方法において、指向性パターンの利得が低い方向探索する場合と比較して、式(9)に値を代入するだけで推定方向が求まるため計算時間がかなり短かい。なお前述したようにICAにより求めた分離行列W(ω)はスケーリングの自由度及びパーミュテーションの自由度を含んでいるためこれらを解決した分離行列W’(ω)の逆行列を計算し、つまり真の混合行列A(ω)を計算し、その混合行列A(ω)の各列について二つの要素の比を用いて到来方向を推定することが考えられるかもしれない。しかし、真の混合行列A(ω)そのものを求めることは、例えば信号源の信号si(t)の平均パワーを1にするなどの制約を与えない限りできない。無線通信分野においては信号源に対しそのような制約を与えることができるかも知れないが、例えば信号源の信号si(t)が人間が直接発声した音声信号である場合は、そのような制約は実質的にはできない。一方この第1実施形態によれば、スケーリング及びパーミュテーションの自由度を含んでいる分離行列W(ω)の逆行列H(ω)の各列について二つの要素の比をとることによりスケーリングの自由度の問題を解決しておりどのような信号源に対しても適用でき、しかも前記両問題を解決した分離行列を計算する必要がなくそれだけ計算時間が短い。更に前述したように、各周波数について求めた推定方向を予め決めた順に分別すればパーミュテーションの問題も簡単に解決できる。センサの数Jと同数であっても各信号源の方向を推定することができる。また音源方向が比較的接近していてもかなり正しく推定することができる。
[第2実施形態]
この第2実施形態は信号源の一つの位置情報として方向情報を求めるものであり、かつ少なくとも2次元に配置された少なくとも3個のセンサを用いて、信号源がいずれの方向に位置していても方向を推定でき、従ってブラインド信号分離におけるパーミュテーションの問題も比較的簡単に解決するものである。つまり方向情報に基づく円錐面を推定し、複数の円錐面の共通直線を推定して、方向情報を決定する。
この第2実施形態をブラインド信号分離装置に適用した機能構成を図12に、その処理手順を図13に示す。例えば4個のセンサ11,12,13,14が同一円上で等間隔に配置され、そのいずれの2つのセンサの間隔も、源信号の最短波長の1/2以下とされる。以下の説明はセンサの数はJ個であり、J≧3として行う。第1実施形態と同様に各センサj(j=1,…,J)で観測された観測信号xj(t)は、それぞれ周波数領域変換部11で例えば、短時間フーリエ変換によって、周波数領域の信号Xj(ω,m)にそれぞれ変換される(ステップS11)。
これら周波数領域の信号Xj(ω,m)から、分離行列算出部12で、独立成分分析により、各周波数ごとの分離行列
が算出される(ステップS12)。
逆行列算出部13でこれら周波数ごとの各分離行列W(ω)の逆行列H(ω)がそれぞれ算出される(ステップS13)。
この第2実施形態では、円錐面推定部14において、周波数ごとの各逆行列H(ω)における各列ごとに異なる複数の要素対について各要素の比からこれら要素と対応する二つのセンサのセンサペア軸を中心軸とし、何れかの信号源が存在する円錐面、つまり一つの混合行列H(ω)の各列ごとに複数の円錐面がそれぞれ推定される(ステップS14)。
円錐面推定部14の機能構成は図15中の角度計算部14とほぼ同様であり、その処理手順も図8の手順と似ている。円錐面推定部14において行われるある一つの周波数の逆行列H(ω)に対するステップS14の処理の具体例を図14を参照して説明する。
まず、例えば、円錐面推定部14内のレジスタ内に格納されている制御パラメータiとpを0に初期化する(ステップS20)。ここで、iは各信号源の番号と対応し、pはiごとの推定済み円錐面の個数である。
iを+1し(ステップS21)、gを+1し(ステップS22)、制御パラメータj,j’はそれぞれ互いに異なるj以下の自然数を、例えばランダムに選択する(ステップS23)。この制御パラメータj,j’の組は、同一のiに対しては一度選択されたj,j’の組み合わせの選択は行わないようにする。すなわち、j≠j’であり、また、例えば、i=1について、一度(j,j’)=(1,2)が選択されると、i=1については、この処理が終了するまで、再びステップS23において(j,j’)=(1,2)という選択は行われないものとする。(また、この選択は、選択するj,j’によって特定されるセンサペア軸(センサjとセンサj’とを通る直線)が、このルーチン処理においてそれ以前に選択されたj,j’によって特定されるセンサペア軸と同一直線上に配置されないように行われることが望ましい。これにより、円錐面推定部14は、一定の誤差範囲内で中心軸が重ならない複数の円錐面を推定することになる。なお、各センサペア軸が同一直線上となるか否かの判断は、例えば、センサ情報格納部15に各センサの位置を示すベクトルを格納しておき、ここから各センサの位置を示すベクトルの情報を抽出して行う。)
次に、センサ情報格納部15から、ステップS23で選択したパラメータjに対応するj番目のセンサjの位置を示すベクトルdjと、変数j’に対応するj’番目のセンサj’の位置を示すベクトルdj’とを抽出する(ステップS24)。また、混合行列H(ω)から、j行i列要素Hji(ω)と、j’行i列要素Hj’i(ω)とを選択して抽出する(ステップS25)。以上の処理は図7中の選択部14aにより行われる。従って、i,p,j,j’や選択したj,j’などを格納するレジスタも選択部14aに設けられることになる。
抽出したこれらの情報を用い、次式(9’)を演算する(ステップ26)。
ここで‖dj−dj’‖はセンサ1jと1j’との間隔(距離)である。この第2実施形態においては複数のセンサが2次元又は3次元に配置されているため各センサの位置情報は例えば図12中のセンサ11〜14が配置されている円の中心を原点とする2又は3要素の座標ベクトルで表わされる。つまり式(9)はセンサが1次元に配置され、信号到来方向の角度が2次元の場合であるが、この式(9’)はセンサが2次元あるいは3次元に配置されていてもよく信号到来方向の角度が3次元空間でもよい場合に拡張されたものである。従って式(9’)は式(9)を包含する。この式(9’)により推定された角度θ^i,jj’(ω)及びそのi,j,j’を円錐面情報として円錐面推定部14内のレジスタ(メモリ)に一時記録する(ステップS27)。なお図12中に破線で示すように各周波数に対する間隔計算部14cは共通に用いられる。また式(9)で演算した角度θi(ω)は三次元空間においてセンサペア軸(センサ1jと1j’とを結ぶ直線)に対する角度がθi(ω)となる直線の無数の集合、つまり円錐面に信号源iが存在することを推定していることになる。この拡張された式(9’)の演算結果を単なるθi(ω)ではなくθ^i,jj’(ω)と表わした。ステップS26で行う演算は図7中の偏角計算部14b、間隔計算部14c、位相回転計算部14d、除算部14e、判定部14f及び逆余弦計算部14gにより、図8中のステップS4c,S4d,S4e及びS4fの処理により行う。
次に、p=Pであるか否かを判断する(ステップS28)。このPは、iごとに推定すべき円錐面の個数であり、このステップでは、そのiについて円錐面をP個推定したか否かを判断する。p=PでなければステップS22に戻り、p=Pであれば、i=Iであるか否かを判断する(ステップS29)。すなわち、すべてのiについて円錐面の推定が終了したか否かを判断し、i=IでなければステップS21に戻り、i=Iであれば処理を終了する(ステップS14の具体例の説明終了。)。第1実施形態では選択したiについて角度θi(ω)を1つ推定すれば次のiについての角度推定に移るがこの第2実施形態では各iごとに複数P個の組の角度(円錐面)θ^i,jj’(ω)を推定する。ステップS28及びS29の処理は図7中の判定部14fで行われる。
図12中の到来方向決定部16で、円錐面推定部14で推定された複数の円錐面の情報(この例では、i,j,j’、θ^i,jj’(ω))から源信号の到来方向ui(ω)=(方位角θi(ω),仰角φi(ω))(i=1,…,I)が決定される(図12、ステップS15)。具体的には、例えば、iについて推定された複数の円錐面のうち、互いに線接触しているとみなされる共通直線の方向を、信号源iに対応する信号の到来方向ui(ω)として算出する。
この信号の到来方向ui(ω)の推定方法を図15を参照して説明する。
センサ11と12の配列方向と直角方向にセンサ13が配され、センサ11と12間、センサ12と13間の各間隔は同一とされている。i=2の信号源22に対し、センサ11及び12によりセンサペア軸312を中心軸とする円錐面412(θ^2,12(ω))が、センサ12と13によりセンサペア軸323を中心軸とする円錐面423(θ^2,23(ω))が、センサ11と13によりセンサペア軸313を中心軸とする円錐面413(θ^2,13(ω))がそれぞれ推定されている。これらのうち、円錐面412と413は、共通直線52で互いに線接触しているとみなされる。この共通直線52の方向u2(ω)が、信号源22から放射された信号の到来方向u2つまり信号源22の方向と決定する。なお円錐面423も平行移動すれば円錐面412,413とほぼ線接触するが、後述する第4実施形態により円錐面423は廃棄される。
図12中の到来方向決定部16におけるこの共通直線5iの方向θi(ω)を決定するための具体的計算方法の例を説明する。角周波数ωに対して信号源2iが存在すると推定された複数の円錐面を4jj’(1),…,4jj’(P)とし、これら円錐面4jj’(p)(p=1,…,P)の推定に用いられた1対のセンサの位置情報をdj(p),dj’(p)とし、角周波数ωについて推定された円錐面4jj’(p)と対応する角度をθ^jj’(ω,p)とし、円錐面4jj’(p)を表わすベクトルをuとする。
正規化軸ベクトル計算部16aで前記各一対のセンサの位置間を結ぶ軸ベクトル(dj(p)−dj’(p))をそれぞれ長さlに正規化する。つまり
をそれぞれ演算する。このvpと円錐面ベクトルの内積はこれらベクトルのなす角度の余弦とする。つまり
関係が成立する。知りたいのは共通直線5iの方向のみであるから円錐面ベクトルuは単位ベクトル、つまり‖u‖=1とする。全ての円錐面と共通する直線の方向を求めるには
として次式の連立方程式をuについて解けば良い。
一般にはこの連立方程式は解が存在しないか、もしくは一意には決まらない。そこで‖Vu−c^(ω)‖を最小化するuを求めて前記連立方程式の解、つまり共通直線5iの方向ui(ω)とする。この誤差を最小化するuを求める計算が演算部16bで行われる。この方向ui(ω)は3次元での方向であるから、極座標表示により方位角θi(ω)及び仰角φi(ω)が求まることになる。
もっと計算を簡便にするには次のようにしてもよい。図16に示すように正規化軸ベクトル計算部16aで円錐面推定に用いた各センサ対についての正規化軸ベクトルvp(p=1,…,P)を求め、逆行列計算部16cでV=(v1,…,vP)TのMoore−Penrose型一般逆行列V+を計算し、このV+と推定円錐面と対応する余弦ベクトルc^(ω)=(cosθ^jj’(ω,1)…cosθ^jj’(ω,P))Tとを用いて最小ノルムな最小2乗誤差解を求め、大きさを正規化して近似解としてもよい。つまり演算部16dで
を計算する。
このようにして複数の推定円錐面の共通直線とみなされる直線の方向が各周波数ごとに、かつ各信号源ごとに求められる。
図12中のパーミュテーション解決部17は、到来方向決定部16で決定された到来方向ui=(θi,φi)を用いて、分離行列算出部12で算出された分離行列W(ω)の行の並び替えを行ってパーミュテーション問題が解決された分離行列を生成する。
パーミュテーション解決部17で行われる具体例としては、到来方位角θiについて以下のように並べ替えを行い、解決できなかった列について同様に到来仰角φiによる並べ替えを行う。つまり算出決定された到来方位角θi(ω)がどの周波数においても既定の順序、例えば、θ1,θ2,…,θIが昇順となるように逆行列H(ω)の列を入れ替え、入れ替えができなかった列について仰角φiがどの周波数でも昇順になるように逆行列H(ω)の列を入れ替える並替行列が並替行列生成部17aで生成され、その並替行列の逆行列P(ω)が逆行列生成部17bで生成され、並替部17cでその逆行列P(ω)が、分離行列W(ω)に左から掛算される。並替行列生成部及び逆行列生成部17bはパーミュテーション行列生成部を構成している。
並替行列生成部17aでの処理を具体的に述べる。この例では逆行列H(ω)の第1列目で(θ1(ω),φ1(ω))が、第2列目で(θ2(ω),φ2(ω))が,…、第I列目で(θI(ω),φI(ω))がそれぞれ式(9’)に基づき計算されたとする。いま到来方向決定部161から入力された到来方向を、前記昇順に並べたものと区別するためにθおよびφの各添字にダッシュ「’」を付けて、(θ1’(ω),φ1’(ω)),(θ2’(ω),φ2’(ω)),…,(θI’(ω),φI’(ω))と表わし、これらを例えばまずθi’(ω)について昇順に並べた時に、例えば(θ3’(ω),φ3’(ω))>(θI’(ω),φI’(ω))>(θ2’(ω),φ2’(ω))>…であれば、逆行列H(ω)の3列目を1列目に、I列目を2列目に、2列目を3列目になるように移動し、残りの列も同様に移動し、θi’(ω)が同一のものについてはφi’(ω)が昇順になるように列を移動する。そのような列の移動並べ替えを行う並替行列を作る。このような並べ替えを行う行列を作ることは従来からよく行われていることである。このようにして全ての周波数について得られた到来方向(θ1(ω),φI(ω)),…,(θI(ω),φ2(ω))を用いて、並替行列が作られ、更にその逆行列つまりパーミュテーション行列P(ω)が算出される(図13、ステップS16)。
この算出したパーミュテーション行列P(ω)が並替部(17c)で分離行列W(ω)の左から掛けられ、その結果W’(ω)=P(ω)W(ω)がパーミュテーション問題が解決された分離行列として出力される(ステップS17)。つまりこの分離行列W’(ω)はいずれの周波数のものでも、1行目は信号源21の信号を分離する要素、2行目は信号源22の信号を分離する要素、以下同様に同一行の要素は同一信号源からの信号を分離する要素となる。
分離行列W’(ω)は、時間領域変換部18で、例えば、逆フーリエ変換によって、時間領域の分離フィルタ係数群
に変換され、これら分離フィルタ係数群は信号分離部19に設定される。
信号分離部19は、各センサからの観測信号x1(t),…,xJ(t)と分離フィルタ係数群とにより式(8)の演算を行い分離信号y1(t),…,yI(t)を出力する。
図12中に破線で示すように、パーミュテーション解決部17よりの並替えされた分離行列W’(ω)と周波数領域変換部11よりの周波数領域観測信号X(ω,m)とにより式(5)の演算を周波数領域分離信号生成部19’で行い、その結果の周波数領域分離信号Y(ω,m)=W’(ω)X(ω,m)を時間領域信号変換部18’で時間領域信号y1(t),…,yI(t)を生成してもよい。また到来方向決定部16で決定された各周波数ごとの到来方向(θ1(ω),φ1(ω)),…,(θI(ω),φI(ω))を第1実施形態と同様に、つまり図5中のソート部32で方向範囲ごとに分別し、各分別されたものごとの全周波数における到来方向を統合部33でそれぞれ統合してもよい。
以上説明したように、この実施形態においても指向特性パターンの低ゲイン方向を探索することなく、式(9’)の演算により円錐面情報(θ^i,jj’(ω),φ^i, jj’(ω))を推定しているため計算量が少ない。しかも同一信号源に対し、円錐面を複数推定してその共通直線から信号の到来方向を算出しているため、0°から360°までのどの方向に信号源が存在しても、信号源3iの方向を一意に推定することができる。またその推定方向をパーミュテーション行列P(ω)の決定に利用しているため、信号源の位置に関わらず、パーミュテーション問題を適切に解決することができる。
〔第3実施形態〕
第3実施形態は、位置情報として一対のセンサと一つの信号源との各距離の比に基づくその信号源が存在する曲面を用いる。第1及び第2実施形態においては各信号源はセンサから遠方にあって、信号源からの信号はセンサには平面波として到来することを想定して処理した。しかし信号源とセンサとの距離が比較的短かい場合はセンサには信号が球面波として到来する。このような点から混合行列A(ω)の要素の比Aji(ω)/Aj’i(ω)を球面波(近距離場)モデルによって解釈すると、信号源iの方向以外の情報を推定することができる。
すなわち、近距離場モデルを用いると、周波数応答Aji(ω)は以下のように表わせる。
ここで、qiは信号源iの位置を示すベクトルである。
このように表現された周波数応答について混合行列の同一列の2つの要素比Aji(ω)/Aj’i(ω)をとり、その絶対値を計算すると次式となる。
なお、|β|はβの絶対値を表わす。
この式(10)を満すqiの点の無数の集合は信号源iが存在する曲面を与え、遠距離場(平面波)モデルを用いて推定された方向(又は円錐面)とあわせて用いることにより、センサから信号源iまでの距離を推定することができる。これにより、2つ以上の信号源が同一方向もしくは互いに近い方向にある場合であっても、距離が違っていれば、それらを区別でき、パーミュテーション問題を適切に解決することが可能となる。
この第3実施形態の例では、この信号源が存在する曲面を表わす位置情報と前記方向情報とを用いて分離行列に対するパーミュテーション問題を解決する。
第3実施形態の機能構成を図17に、その処理手順を図18にそれぞれ示す。センサは3個以上が2次元又は3次元に配置されるがこの実施形態においては例えば図20に示すようにセンサ11と12の間隔に対しセンサ12と13の間隔は10〜20倍好ましくは15倍程度とされる。先の実施形態と同様、各観測信号x1(t),…,XJ(t)は、それぞれ周波数領域の信号X1(ω,m),…,XJ(ω,m)に変換され(ステップS11)、更に独立成分分析により、各周波数ごとに分離行列W(ω)が算出される(ステップS12)、その各分離行列W(ω)の逆行列として行列H(ω)が算出される(ステップS13)。またこの例では第2実施形態と同様に周波数ごとの逆行列H(ω)の各列から選択した要素対を用い、円錐面が一つ好ましくは複数推定される(ステップS14)。この第3実施形態においては距離比算出部31において、周波数ごとの逆行列H(ω)から列ごとに選択した要素対を用いその対応するセンサと1つの信号源iとの距離比、つまり式(10)と式(21)から次式(10’)を算出する(ステップS35)。
距離比算出部31において行われるステップS35の処理の具体例を図19を参照して説明する。この処理は図14の処理の流れとほぼ同様である。パラメータiを0に初期化し(ステップS20)、次に、iを+1し(ステップS21)、パラメータj,j’としてJ以下の自然数を、例えばランダムに選択しj≠j’、かつ1度選択した組は選択しない(ステップS23)。センサjの位置ベクトルdjと、センサj’の位置ベクトルdj’とを抽出し(ステップS24)、逆行列H(ω)のi列目から、要素Hji(ω)と、Hj’i(ω)とを、選択する(ステップS25)。
この実施形態ではこれら選択した2つの要素の比DRi,jj’(ω)を計算する(ステップS41)。次に、i=Iであるか否かを判断し(ステップS29)。i=IでなければステップS21に戻り、i=2であれば処理を終了する。
距離比算出部31で算出された距離比情報DRi,jj’(ω)は、パーミュテーション解決部17に送られ、パーミュテーション解決部17は、到来方向決定部16で推定された方向情報ui(ω)と、距離比算出部31で算出された距離比情報DRi,jj’(ω)とを用いて、分離行列算出部12で算出された分離行列を行ってパーミュテーション問題を解決する。
W(ω)の行替えを行ってパーミュテーションの問題を解決する。例えば方向情報と距離比情報とから信号源2iの距離‖qi(ω)‖を距離推定部17dで計算する(ステップS36)。
この距離‖qi(ω)‖の計算方法を図20を参照して説明する。信号源21及び22がセンサ11,12からみて同一方向Bにある。この場合センサ11,12及び遠距離場モデルで推定される信号源21及び22の方向u1,u2は同一の直線を定める。一方、間隔が大きいセンサ12,13及び近距離場モデルを用いて信号源21が存在すると曲面61は距離比
から推定でき、つまり‖q1(ω)‖が推定できる。また信号源22が存在する曲面62は距離比
から推定でき、つまり‖q2(ω)‖が推定できる。
信号源21の位置は、直線u1=u2と、曲面61との共通部分上にあると推定でき、信号源22の位置は、直線u1=u2と、曲面62との共通部分上にあると推定できる。例えば直線u1=u2を表す式と曲面61及び62をそれぞれ表わす式との連立方程式を解くことにより‖q1(ω)‖及び‖q2(ω)‖を求めればよい。このようにして信号源の方向が同一や近似する場合であっても、信号源位置を区別することができる。
パーミュテーション解決部17は、このようにして得られた各周波数ごとの信号源の距離‖qi(ω)‖が、所定の順序が例えば昇順になるように、分離行列W(ω)の行の入れ替えを行う。つまりこの入れ替えを行うためパーミュテーション行列P(ω)を算出する(ステップS37)。そのパーミュテーション行列P(ω)の算出は実施形態2中のパーミュテーション解決部で行ったパーミュテーション行列の算出と同様に行えばよい。算出したパーミュテーション行列P(ω)を分離行列W(ω)の左から掛け、その結果W’(ω)=P(ω)W(ω)を分離行列として出力する(ステップS38)。
出力された分離行列W’(ω)は、時間領域変換部18に送られ、時間領域変換部18での信号分離に用いられる。
図20から理解されるように、センサ12と13についてみると、信号源21及びセンサ12間の距離と信号源21及びセンサ13間の距離との差が大きく、一方信号源22及びセンサ12間の距離と信号源22及びセンサ13間の距離との差が小さい。従ってDR1,23=‖q1−d3‖/‖q1−d2‖と数値1との差の絶対値は比較的大きく、DR2,23=‖q2−d3‖/‖q2−d2‖と数値1との差の絶対値は小さい。センサ12と13の間隔が大きい程、距離比DR1,23(ω)とDR2,23(ω)との差が大きくなる。このため間隔が大きいセンサ対、この例では12と13が設けられる。
パーミュテーション解決部17において、図18中のステップS37中に括弧で示すように計算した距離比DRi,jj’(ω)を用いて、すべての周波数において逆行列H(ω)の1列目,2列目,3列目,…,I列目の順に、求まる距離比DRi,jj’(ω)が昇順になるように並替行列を生成し、更に前記パーミュテーション行列P(ω)を生成してもよい。この場合、図17中の距離推定部17dは省略される。また到来方向決定部16で方向情報ui(ω)を計算できなかったり、逆行列H(ω)の複数列について同一のui(ω)が計算された信号源iとセンサij’についてのみ、距離比DRi,jj’(ω)を計算し、これら自体により、あるいは更に求めた‖qi(ω)‖により分離行列W(ω)の行の入れ替えを行ってもよい。つまり、方向情報ui(ω)を用いて分離行列W(ω)の行の入れ替えを行い、その後、ui(ω)によって入れ替えができなかった行については距離比DRi,jj’(ω)又は‖qi(ω)‖を用いてW(ω)の行の入れ替えを更に行ってもよい。実際には両入れ替えを同時に行うパーミュテーション行列P(ω)を生成する。
距離比DRi,jj’(ω)をまず求め、分離行列W(ω)の行の入れ替えを行い、距離比DRi,jj’(ω)を求めることができなかったものについて方向情報ui(ω)を用いて分離行列W(ω)の入れ替えを更に行ってもよい。この場合も両入れ替えを同時に行うパーミュテーション行列P(ω)を生成する。一般にはDRi,jj’(ω)よりui(ω)の方が高い精度で得られるため、ui(ω)による入れ替えを主とし、できないものについてDRi,jj’(ω)による入れ替えを行う方がよい。
また式(10’)をその右辺の値を距離比DRi,jj’(ω)と表わして、qiについて解くと、中心Oi,jj’(ω)及び半径Ri,jj’(ω)がそれぞれ下記式(11)及び(12)で与えられる球面となる。
例えばセンサ1j,1j’の各位置がdj=(0,0.15,0),dj’=(0,−0.15,0)(単位はメートル)である場合、半径Ri,jj’をパラメータとしたとき、式(9)によって決まる球面の様子は図21に示すようになる。
つまり信号源iは位置情報としての式(11)及び(12)で与えられる球面上に存在することになる。従って図17中のパーミュテーション解決部17中の距離推定部17dを括弧書きで示すように曲面推定部とし、方向情報ui(ω)を求めることができなかった各i,jj’について曲面推定部17dで、式(11)の半径Ri,jj’(ω)及び中心Oi,jj’(ω)を、図18中のステップS36中に括弧書きで示すようにそれぞれ計算し、これらRi,jj’(ω)及び中心Oi,jj’(ω)がどの周波数の逆行列H(ω)でも同一順になるようにして、パーミュテーション行列P(ω)で求めてもよい。
この円錐面情報θ^i,jj’(ω)又は方向情報ui(ω)と球面情報DRi,jj’(ω)又はRi,jj’(ω)を用いてもパーミュテーション行列P(ω)を求めることができない場合はその周波数について、従来の相関法(例えば、H.Sawada他“A robust and precise method for solving the permutation problem of frequency−domain blind source separation.”,in Proc.Intl.Symp.on Independent Component Analysis and Blind Signal Separation(ICA 2003),2003,pp.505−510参照)を適用するとよい。図17中に破線で示すように、信号分離部19で分離された出力信号y1(t),…,yI(t)を周波数領域変換部33で例えば周波数領域変換部11と同様の方法で周波数領域の信号Y1(ω,m),…,YI(ω,m)に変換し、相関算出部34において、これら周波数領域信号Y1(ω,m),…,YI(ω,m)中のパーミュテーション解決部17でパーミュテーション行列を作ることができなかった周波数成分fank成分と、パーミュテーション行列が得られた周波数中のfankと隣接した周波数成分との相関を計算し、パーミュテーション解決部17ではこの相関が大きくなるように周波数fankの分離行列の行の入れ替えを行い、この行入れ替えした分離行列に基づく分離出力信号y1(t),…,yI(t)中のfank成分について再び相関計算部34で相関を計算し、同様のことを計算した相関が最大になるまで繰り返す。この相関の最大値が所定値に達しなかった場合は、更にそのfankの成分と、パーミュテーション行列が得られている周波数成分中のfankに対する基本波又は高調波(一般には高調波)関係にあるものとの各相関の和を相関計算部34で計算し、この相関和が大きくなるように、fankに対する分離行列の行入れ替えを修正部17eで行うことを、前記相関和が最大になるまで繰り返す。なお第2実施形態で説明したように周波数領域の信号X(ω,m)に対し分離行列W(ω)を適用し、周波数領域の分離信号Y(ω,m)を求める場合は、このY(ω,m)を相関計算部34の計算に用いればよい。
以下にこの第3実施形態の実験例を信号源として、室内で実測したインパルス応答を畳み込んで作成した混合音声を用いて分離実験を行った場合について説明する。図22に示すように残響時間が130ミリ秒、355cm×445cm×250cm(高さ)の室内の水平面内でほぼ中心部で高さ135cmの所にセンサとしての無指向性マイクロホン11〜14を直径4cmの円上に等間隔で配し(これらマイクロホン11〜14は図中の左上に拡大して示した)、更に無指向性マイクロホン15〜18を直径30cmの円上に等間隔かつ、マイクロホン11,13,15及び17が、またマイクロホン12,14,16及び18がそれぞれ一直線上に配列するように配置した。マイクロホン11から15への方向を基準(0°)とし、マイクロホン配置の中心を原点とし、原点から120cm離れ、−30°方向に音源21を、+30°方向に音源22を、+90°方向に音源23を、−150°方向に音源26をそれぞれ配置し、150°方向で原点からの距離60cmに音源24を、距離180cmに音源25をそれぞれ配置した。サンプリング周波数kHz、データ長6秒、フレーム長2048サンプル(256ミリ秒)、フレームシフト512サンプル(64ミリ秒)とした。
周波数領域での分離行列W(ω)の各行のうち、マイクロホン対11と13、12と14、11と12、12と13に相当する行を用いて音源方向(円錐面)推定を行った。推定したヒストグラムを図22に示す。図23の横軸は推定方向を、縦軸は信号数である。これより推定方向は5つの群(クラスタ)があり、そのうち150°付近のクラスタは他のクラスタより2倍の大きさである。これは6個の音源中の2個が同一方向(150°付近)から到来していると推測される。4つの音源については推定した方向をもとにパーミュテーションを解決した。その結果を図24に示す。図24の横軸は周波数、縦軸は方向(度)を表わす。
残りの2個の音源については、広い間隔のマイクロホン対17と15、17と18、16と15、16と18を用いて音源が存在する球面の半径によって到来信号を区別した。マイクロホン対17と15を用いて推定した球面の半径を図25に示す。図25の横軸は周波数、縦軸は半径(m)を表わす。
残響や推定誤差の影響により、位置情報だけではパーミュテーションを完全には解決することはできない。従って推定した位置情報に基づいて信号が矛盾なく分類できた周波数はその情報に基づいてパーミュテーション行列を生成し、残りの周波数については相関に基づく方法を用いてパーミュテーションを解決した。最後に時間領域の分離フィルタ係数を求める際にスペクトルの平滑化を行った。スペクトル平滑化については例えばH.Sawada他、“Spectral smoothing for frequency−domain blind source separation”,in Proc.IWAENC 2003,2003,pp.311−314参照されたい。分離性能(SIR)の評価結果を図26に示す。図26中の数値の単位はdBである。Cは相関法のみによってパーミュテーションを解決したもの、D+Cは方向(円錐面)推定でパーミュテーションを解決し、解決できないものに相関法を適用したものD+S+Cは方向(円錐面)推定と球面推定とによりパーミュテーション解決を行った後、解決できなかった周波数について、相関法を用いたものである。この後者の方法によれば、6音源すべての分離ができ、SIRの改善は入力SIRから平均17.1dBとなった。
前記した第2実施形態の例ではセンサは2次元配置したが、一対のセンサにより推定する球面はこれらセンサの中心2等分線と対称に現われるため、信号源が3次元に存在している場合は2次元配置センサでは判別できなくなるため、センサも3次元配置とする必要がある。
以上説明したように、この第3実施形態においても式(9’)により円錐面情報を、また式(10’)により曲面情報をそれぞれ推定しているため計算量が少ない。しかも円錐面と、距離比DRi,jj’(ω)、又は距離‖qi(ω)‖あるいは球面の半径Ri,jj’(ω)とによりパーミュテーションを解決しているために2つ以上の信号源が同一方向もしくは互いに近い方向にある場合であっても、それらを区別できる。更にこれに相関法を加えれば一層確実に分離が可能である。なお球面情報としては計算が簡単であるからDRi,jj’(ω)が好ましい。
〔第4実施形態〕
この第4実施形態では、推定した円錐面の信頼性を検証し、信頼性が高いと判断した円錐面を分離行列のパーミュテーションの解決に用いる。例えば図27に示すように円錐面推定部14で推定された円錐面情報θ^i,jj’(ω)は円錐面検証部41で許容角情報格納部42よりの許容角情報に基づき、信頼性があるか否かの検証がなされる。つまり式(9’)により求まる角度θ^i,jj’(ω)はこれを求めるために用いたセンサ1j及び1j’の配列方向に対する相対角度であり、図4Bを参照して説明したように、角度θ^i,jj’(ω)が0度付近及び180度付近の場合、正しいパーミュテーションが行われないと推定される。
従って、パーミュテーションを正しく行うことができると推定される角度の最小値θminと最大値θmaxが許容角情報として許容角情報格納部42に格納され、円錐面検証部41で推定円錐面情報θ^i,jj’(ω)がθminとθmaxとの間にあれば信頼できる円錐面と判定されて出力され、つまりパーミュテーション解決に用いられるが、θminとθmaxとの間になければ、そのθ^i,jj’(ω)は信頼性がないものとして破棄され、パーミュテーション解決に用いられない。例えば図15中の円錐面413は破棄される。
円錐面検証部41で信頼性があると検証された円錐面情報θ^i,jj’(ω)は図12中の到来方向決定部16へ送られ、又は図17で説明したように、パーミュテーション解決部17へ直接送られる。図13及び図18の処理手順において、ステップS14の次に破線で示すようにステップS100として推定円錐面θ^i,jj’(ω)が信頼性があるか否かの検証が行われ、信頼性があるものについてのみ次のステップに移るようにされる。式(9’)において計算された偏角arg(Hji/Hj’i)に含まれる誤差をΔarg^、推定された角度θ^iに含まれる誤差をΔθ^とすると、これらの比|Δθ^/ΔargH^|は式(9’)を偏微分して次式のように近似できる。
式(13)をいくつかの周波数について計算した結果を図4Cに示す。この図4Cから推定された角度θ^iの方向がセンサ1j,1j’のセンサペア軸に近い場合はarg(Hji/Hj’i)に含まれる誤差ΔargH^は推定角度θ^iに対し、大きな誤差を生じさせることがわかる。つまりセンサペア軸に近い方向の推定角度θ^iを用いて分離行列W(ω)に対するパーミュテーションの問題を解決した場合、これは正しい解にならない可能性が高い。図4B及び図4Cから例えばθminは20°程度、θmaxは160°程度とされる。図4Cからわかるように|Δθ^/ΔargH^|は周波数により可成り異なり、低い周波数ではΔargH^が到来方向の誤差に大きく影響する。従って、低周波数については、信号源が存在する球面の推定に基づく情報DRi,jj’、‖qi‖、Ri,jj’を用いて、あるいは相関法によりパーミュテーション問題を解決するとよい。
この第4実施形態によれば、推定円錐面情報中の信頼性のないものは破棄されるため、これにより悪影響を受けることなく、それだけ正確に到来方向を推定でき、従って正しいパーミュテーション行列P(ω)を生成することができ、つまり分離信号のSIR(性能)が向上する。
〔第5実施形態〕
第5実施形態では位置情報として距離比、又はこれより推定した球面情報を用いる。この機能構成は図17中に示されている。図28にこの実施形態の処理手順を簡略に示す。この場合はセンサは比較的広い間隔、例えば図22に示した信号源が音源の場合、30cmとして少くとも2次元に配置される。
先の実施形態と同様に時間領域の観測信号は図17中に示すように周波数領域の信号に変換され、分離行列生成部12により分離行列W(ω)が生成され(ステップS51)、これより逆行列生成部13で逆行列H(ω)が生成される(ステップS52)。各周波数における逆行列H(ω)の各列ごとに球面情報が推定される(ステップS53)。この球面情報は第3実施形態で説明した方法と同様に算出される。つまり球面情報は距離算出部31により算出された距離比DRi,jj’(ω)、あるいは距離推定部又は曲面推定部17dで算出された‖qi‖、又は半径Ri,jj’(ω)及び中心Oi,jj’(ω)である。
これら球面情報を用いて、その配列順が予め決めた順になるよう分離行列W(ω)に対するパーミュテーション行列が生成され分離行列W(ω)の行の入れ替えが行われる(ステップS54)。第3実施形態におけるこの処理はパーミュテーション解決部17で行われるが、ただしこの第5実施形態では球面情報のみが用いられる。この球面情報のみでパーミュテーションを解決できない周波数があれば、その周波数に対しては前述した相関法による解決が行われる(ステップS55)。
図22に示した室内に配したマイクロホン16及び18を用い、120°方向において原点から60cm及び150cmの所に音源24及び25を配し、実験室内で測定したインパルス応答に話者4名の音声を畳み込んで作成した12通りの組合せの混合音声と対する分離実験を行った。パーミュテーション解決は推定された半径R4,68(ω)とR5,68(ω)を比較してR4,68(ω)≦R5,68(ω)となるようにして行った。R4,68及びR5,68中の最大値が、R4,68及びR5,68中の最小値にしきい値Athを乗算した値以上、つまりmax(R4,68,R5,68)≧Ath・min(R4,68,R5,68)を満す周波数は音源位置(R4,68(ω),R5,68(ω))によるパーミュテーションの解決が信頼できると判断して、音源位置による方法を適用し、それ以外の周波数では相関による方法を適用した。従ってAth=1.0のときは全て音源位置による方法を適用しAthが無限大のときは全て相関による方法を適用することになる。しきい値Athを変化させながら分離性能としてSIR(信号干渉比)を音声の組合せごとにプロットした結果を図29に示す。この結果より音源位置のみによる方法では全体的に性能が悪く、相関のみによる方法では分離性能がばらつき、両者を併用すると安定して高い性能が得られることがわかる。またしきい値Athとしては比較的大きい値が好ましく、8〜16で全体の1/5〜1/10程度の周波数を音源位置によって決定できることがわかる。
また図22に示した実験条件で音源位置による方法と相関による方法を併用した実験結果を図26中のD+Cの欄に示す。これよりこの併用方法によれば可成り性能よく分離が行われることがわかる。この結果は式(9’)を用いる到来方向(円錐面情報)による方法と相関による方法とを併用した場合と同様の傾向がある。なお、到来方向による方法と相関による方法とを併用した場合の実験結果は、相関による方法の説明で引用した文献に示されている。
この第5実施形態によれば式(10’)により球面情報を求めているため計算量が少ない。なお球面情報としては距離比DRi,jj’(ω)が好ましい。
[第6実施形態]
第6実施形態は例えば一つの推定円錐面に基づき、パーミュテーションの問題を解決する。図12中に破線で示すように円錐面推定部14で推定された円錐面θ^i,jj’(ω1)、・・・ θ^i,jj’(ωN)、はパーミュテーション解決部17へ直接入力され、図13中に破線で示すようにステップs14で設定された円錐面θ^i,jj’(ωn)(n=1、・・・、N)がステップS15の処理をすることなくステップS16でどの周波数においても例えばθ^i,jj’(ωn)が昇順になるようなパーミュテーション行列P(ω)が算出される。
この場合、ステップS14で信号源iごとに1つの円錐面を推定するのみでもよい。また図に示していないが、行入れ替えができなかったものについては、第3実施形態で説明したように相関法による行入れ替えを得るようにしてもよい。
この第6実施形態によれば逆行列H(ω)の各列ごとの二つの要素比をとることによりスケーリングの問題が簡単に除去され、式(9’)の演算をすればよく計算時間が短くて済む。
[信号分離のまとめ]
以上述べたブラインド信号分離におけるパーミュテーションを解決した分離行列の生成方法を、逆行列の生成以後の処理を図30A、図30B、図30Cに示す。図30Aでは逆行列の各列の要素比から円錐面を推定し(ステップS61)、必要に応じて信頼性のない円錐面を破棄し(ステップS62)、これらの複数の円錐面から共通直線の方向を決定し(ステップS63)、共通直線方向を用いてパーミュテーション行列P(ω)を生成して分離行列の入れ替えを行い(ステップS64)、パーミュテーションを解決できなかった周波数に対しては相関法による分離行列の行入れ替えを行う(ステップS65)。図30A中に破線で示すように、ステップS6からステップS64に直ちに移り、円錐面を直接用いてパーミュテーション行列P(ω)を生成してもよい。
図30Bでは前記ステップS61の円錐面推定、必要に応じて前記ステップS62の円錐面破棄を行い、ステップS63の共通直線方向推定を行い、これら共通直線方向を用いて逆行列の列の入れ替えを行う(ステップS66)。この際、図中破線で示すようにステップS61で推定された円錐面又はステップS62で処理後の円錐面を直接、ステップS66の処理に用いてもよい。次に円錐面の推定又は共通直線方向の決定ができなかった、又は円錐面或いは共通直線方向が不確かなものと対応する、或いは同一値となったものについて、その逆行列の列の要素比から球面情報を推定し(ステップS67)、この推定した球面情報を用いて逆行列の入れ替えを行ってパーミュテーション行列P(ω)を生成して分離行列の行入れ替えを行う(ステップS64)。更にこのパーミュテーション行列P(ω)を作ることができなかった周波数に対しては相関による方法を適用する(ステップS65)。
図30Cはまず逆行列の各列の要素比から球面情報を推定し(ステップS68)、この球面情報を用いて逆行列の列の入れ替えを行い(ステップS69)、この列の入れ替えを行うことができなかった、又は球面情報が不確かなものについて、その逆行列の列の要素比から円錐面を推定し(ステップS70)、これらの複数の円錐面の共通直線方向を決定し(ステップS71)、この決定した方向又はステップS70で推定した円錐面を直接用いて、逆行列の列の入れ替えを行ってパーミュテーション行列P(ω)を生成し、分離行列の入れ替えを行う(ステップS64)。パーミュテーション行列を作ることができなかった周波数に対して相関法を適用する(ステップS65)。
これらに対し更に図28に示した方法がある。
第3実施形態、第5実施形態及び第6実施形態においても、第2実施形態で説明したように、周波数領域の分離行列W(ω)と観測信号X(ω)とを用いて信号分離を行い、その後、分離された周波数領域信号Y(ω)を時間領域信号y(t)に変換してもよい。
第1実施形態の説明では2次元における信号の到来方向の推定を行ったが、第2実施形態中でも説明したように、3次元における信号の到来方向の推定にも適用できる。また第2乃至第6実施形態を2次元における信号分離に適用することもできる。この場合は推定円錐面θ^i,jj’(ω)はその推定に用いたセンサ対のセンサペア軸に対し対称の2方向となり、推定球面Ri,jj’(ω)又はDRi,jj’(ω)は円の半径又はこれとほぼ対応するものになる。
図5、図12、図17にそれぞれ示した装置、また第5実施形態による装置はそれぞれコンピュータに機能させることもできる。この場合、それぞれと対応した処理手順、つまり図6、図13、図18などに示した各過程をコンピュータに実行させるためのプログラムを記録した磁気ディスク、半導体メモリ、CD−ROMなどから、コンピュータ内のメモリにインストールし、又は通信回線を介してコンピュータ内のメモリに前記プログラムをダウンロードして、コンピュータにそのプログラムを実行させればよい。
Claims (22)
- I箇所の信号源から放射された信号を、J個のセンサで検出して上記信号源の位置情報を求める信号源位置情報推定装置であって、Iは2以上の整数、JはI以上の整数であり、
上記各センサの観測信号を周波数領域の信号に変換する周波数領域変換手段と、
上記周波数領域の信号から、独立成分分析により周波数ごとに、信号源信号を分離する第1分離行列をそれぞれ算出する分離行列算出手段と、
上記各第1分離行列の逆行列をあるいは擬似逆行列「以下、両者を単に逆行列という」をそれぞれ算出する逆行列算出手段と、
上記周波数ごとの逆行列の少なくとも1つに対し、その各列ごとにその二つの要素比から上記信号源の一つの位置情報を計算する位置情報計算手段とを具備する。 - 請求の範囲第1項記載の装置において、
上記位置情報計算手段は、上記周波数ごとの逆行列の複数について、上記各列ごとの要素比からの位置情報計算により上記各信号源の位置情報を求める手段であり、
上記周波数ごとの信号源ごとの位置情報から、上記複数の逆行列と対応する周波数の分離行列における位置情報と対応する行が予め決めた順序になるように行の入れ替えを行うパーミュテーション行列を生成するパーミュテーション行列生成手段と、
上記パーミュテーション行列と上記第1の分離行列とを乗算して行を入れ替えた第2の分離行列を求める並替手段とを備える。 - 請求の範囲第2項記載の装置において、
上記Jは3以上であり、かつJ個のセンサは少なくとも2次元に配置され、
上記位置情報は上記センサから上記信号源への方向を含み、その信号源が存在する円錐面であり、
上記位置情報計算手段は、各列ごとの上記要素比から上記円錐面の計算を異なる二つの要素組の複数について行う手段と、周波数ごとの上記複数の円錐面の共通直線の方向を、上記位置情報として推定する到来方向決定手段を含む。 - 請求の範囲第2項記載の装置において、
上記Jは3以上であり、上記位置情報は一対のセンサから上記信号源への方向を含み、その信号源が存在する円錐面及びその信号源が存在する曲面であり、
上記位置情報計算手段は、上記二つの要素の比から上記円錐面を計算する手段と、上記円錐面の計算に用いた二つの要素と対応するセンサ間隔よりも大きいセンサ間隔のセンサと対応する二つの要素の比からこれらセンサと上記信号線との距離比を計算する手段と、上記距離比から上記曲面を計算する手段を備え、
上記パーミュテーション行列生成手段は周波数ごとに上記円錐面及び上記曲面に基づいて上記パーミュテーション行列を生成する手段である。 - 請求の範囲第2項、第3項又は第4項に記載の装置において、
上記Jは3以上であり、上記J個のセンサは少なくとも2次元に配置され、
上記位置情報は上記センサから上記信号源への方向を含み、その信号源が存在する円錐面であり、
上記円錐面を表わす角度が予め決めた第1角度と第2角度との間であるか否かを判定し、これら第1角度及び第2角度の間の円錐面を有効とする判定手段を備える。 - 請求の範囲第2項記載の装置において、
上記Jは3以上であり、上記J個のセンサは少なくとも2次元に配置され、
上記位置情報は信号源が存在する球面の半径であり、
上記位置情報計算手段は上記二つの要素比から距離比を計算する手段である。 - 請求の範囲第2項に記載の装置において、
上記位置情報は上記センサから上記信号源への方向を含みその信号源が存在する円錐面である。 - 請求の範囲第2項、第3項、第4項、第6項又は第7項に記載の装置において、
上記観測信号に対し、上記第2分離行列を用いて分離した信号の周波数領域の信号中の、上記パーミュテーション行列生成手段で、パーミュテーション行列が得られない周波数成分と、パーミュテーション行列が得られた周波数成分との相関を計算する相関計算手段と、
上記相関が大きくなるように上記パーミュテーション行列が得られない周波数の分離行列の行を入れ替えるパーミュテーション行列を生成する修正手段とを備える。 - 請求の範囲第1項記載の装置において、
上記位置情報は上記センサから上記信号源への方向情報であり、
上記位置情報計算手段は、上記比の偏角を計算する手段と、単位距離当たりの位相回転量と上記二つの要素とそれぞれ対応する上記センサ間の距離との積を計算する手段と、上記偏角を上記積の結果で除算する手段と、その除算結果の逆コサインを計算して上記方向情報を出力する手段とを備える。 - 請求の範囲第9項記載の装置において、
上記位置情報計算手段は、一つの信号源の上記方向情報を、周波数ごとに計算する手段であり、上記各一つの信号源ごとに計算された周波数ごとの方向情報を統合して方向情報を確定する統合手段を備える。 - I箇所の信号源から放射された信号を、J個のセンサで検出して上記信号源の位置情報を求める信号源位置情報推定方法であって、Iは2以上の整数、JはI以上の整数であり、
上記各センサの観測信号を周波数領域の信号に変換する周波数領域変換過程と、
上記周波数領域の信号から、独立成分分析により周波数ごとに、信号源信号を分離する第1分離行列をそれぞれ算出する分離行列算出過程と、
上記各第1分離行列の逆行列あるいは擬似逆行列(以下、両者を単に逆行逆列という)をそれぞれ算出する逆行列算出過程と、
上記周波数ごとの逆行列の少なくとも1つにおける列ごとの異なる二つの要素比から上記信号源の一つの位置情報を計算する位置情報計算過程とを有する。 - 請求の範囲第11記載の方法において、
上記位置情報計算過程は、上記周波数ごとの逆行列の複数について、各列ごとの上記要素比からの位置情報計算により上記各信号源の位置情報を求める過程であり、
上記周波数ごとの信号源ごとの位置情報から、上記複数の逆行列と対応する分離行列における位置情報と対応する行が予め決めた順序になるように行の入れ替えを行うパーミュテーション行列を生成するパーミュテーション行列生成過程と、
上記パーミュテーション行列と上記第1の分離行列とを乗算して行を入れ替えた第2分離行列を求める分離行列置換過程とを有する。 - 請求の範囲第12項記載の方法において、
J≧3であり、かつJ個のセンサは少なくとも2次元に配置され、
上記位置情報は上記センサから上記信号源への方向を含み、
その信号源が存在する円錐面であり、
上記位置情報計算過程は、各列ごとの上記要素比から上記円錐面の計算を異なる二つの要素組の複数について行う過程であり、周波数ごとの上記複数の円錐面の共通直線の方向を、上記位置情報として推定する共通線推定過程を含む。 - 請求の範囲第12項記載の方法において、
J≧3であり、上記位置情報は一対のセンサから上記信号源への方向を含み、その信号源が存在する円錐面及びその信号源が存在する曲面であり、
上記位置情報計算過程は、上記2つの要素の比から上記円錐面を計算する過程と、上記円錐面の計算に用いた2つの要素と対応する一対のセンサの間隔より大きい間隔の一対のセンサと対応する2つの要素の比からこれら一対のセンサと一つの信号源との距離比を計算する過程と、上記距離比から上記曲面を計算する過程を有し、
上記パーミュテーション行列生成過程は周波数ごとに上記円錐面及び上記球面に基づいて上記パーミュテーション行列を生成する過程である。 - 請求の範囲第14項記載の方法において、
上記パーミュテーション行列生成過程は、円錐面及び上記球面の一方について上記位置情報計算過程を実行させ、得られた上記一方の位置情報に基づいて、各周波数での逆行列の各列と対応する上記一方の位置情報が予め決めた順になるように列の入れ替えを行う第1の入替行列を生成する過程と、
この過程により、列の入れ替えを行うことができない列について上記位置情報の他方について上記位置情報計算過程を実行させ、得られた上記他方の位置情報に基づいて上記逆行列の列の入れ替えを行うように上記第1の入替行列を修正して第2の入替行列を生成する過程と、上記第2の入替行列の逆行列を計算して上記パーミュテーションとを有する。 - 請求の範囲第12項乃至第15項のいずれかに記載の方法において、
J≧3であり、上記J個のセンサは少なくとも2次元に配置され、
上記位置情報は上記センサから上記信号源への方向を含み、その信号源が存在する円錐面であり、
上記円錐面を表わす角度が予め決めた第1角度と第2角度との間であるか否かを判定し、これら角度の間にない円錐面を破棄する判定過程を有する。 - 請求の範囲第12項に記載の方法において、
J≧3であり、上記J個のセンサは少なくとも2次元に配置され、
上記位置情報は信号源が存在する球面の半径であり、
上記位置情報計算過程は上記二つの要素比から距離比を計算する過程である。 - 請求の範囲第12項に記載の方法において、
上記位置情報は上記センサから上記信号源への方向を含み、その信号源が存在する円錐面である。 - 請求の範囲第12項〜第15項のいずれか又は第17項又は第18項に記載の方法において、
上記パーミュテーション行列生成過程でパーミュテーション行列を生成できない周波数があれば、
上記観測信号を上記第2分離行列で分離した信号の周波数領域の信号中の上記パーミュテーション行列を生成できた周波数成分と上記パーミュテーション行列を生成できない周波数成分との相関を計算する過程と、
この計算した相関が大きくなるように、上記生成できなかった周波数の分離行列に対するパーミュテーション行列を生成する過程とを有する。 - 請求の範囲第11項記載の方法において、
上記位置情報は上記センサから上記信号源への方向情報であり、
上記位置情報計算過程は、上記比の偏角を、単位距離当たりの位相回転量と上記二つの要素とそれぞれ対応する上記センサ間の距離との積で除算し、その除算結果の逆コサインを計算して上記方向情報を出力する過程である。 - 請求の範囲第20項記載の方法において、
上記位置情報計算過程は、一つの信号源の上記方向情報を、周波数ごとに計算する過程であり、上記各一つの信号源ごとに計算された周波数ごとの方向情報を統合して方向情報を確定する統合過程を有する。 - 請求の範囲第11項乃至第19項のいずれかに記載した信号源位置情報推定方法の各過程をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003057070 | 2003-03-04 | ||
JP2003057070 | 2003-03-04 | ||
JP2003297580 | 2003-08-21 | ||
JP2003297580 | 2003-08-21 | ||
PCT/JP2004/002610 WO2004079388A1 (ja) | 2003-03-04 | 2004-03-03 | 位置情報推定装置、その方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2004079388A1 true JPWO2004079388A1 (ja) | 2006-06-08 |
JP3881367B2 JP3881367B2 (ja) | 2007-02-14 |
Family
ID=32964882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005503053A Expired - Fee Related JP3881367B2 (ja) | 2003-03-04 | 2004-03-03 | 位置情報推定装置、その方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7039546B2 (ja) |
EP (1) | EP1600789B1 (ja) |
JP (1) | JP3881367B2 (ja) |
DE (1) | DE602004029867D1 (ja) |
WO (1) | WO2004079388A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7098849B2 (en) * | 2004-09-23 | 2006-08-29 | Interdigital Technology Corporation | Blind signal separation using array deflection |
US7265715B2 (en) * | 2004-09-23 | 2007-09-04 | Interdigital Technology Corporation | Communications device with adaptive decoding and associated methods |
JP4278610B2 (ja) * | 2004-12-28 | 2009-06-17 | 富士通株式会社 | 数値解析支援装置,数値解析支援方法,数値解析支援プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体 |
JP4406428B2 (ja) * | 2005-02-08 | 2010-01-27 | 日本電信電話株式会社 | 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体 |
US7812718B1 (en) | 2005-11-21 | 2010-10-12 | The Hong Kong University Of Science And Technology | Distributed position estimation for wireless sensor networks |
US7769118B2 (en) * | 2006-02-10 | 2010-08-03 | Interdigital Technolgy Corporation | Method and apparatus for equalizing received signals based on independent component analysis |
JP4630203B2 (ja) * | 2006-02-24 | 2011-02-09 | 日本電信電話株式会社 | 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体、並びに、信号到来方向推定装置、信号到来方向推定方法、信号到来方向推定プログラム及び記録媒体 |
US8898056B2 (en) * | 2006-03-01 | 2014-11-25 | Qualcomm Incorporated | System and method for generating a separated signal by reordering frequency components |
JP4920270B2 (ja) * | 2006-03-06 | 2012-04-18 | Kddi株式会社 | 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム |
JP4952979B2 (ja) * | 2006-04-27 | 2012-06-13 | 独立行政法人理化学研究所 | 信号分離装置、信号分離方法、ならびに、プログラム |
KR100780210B1 (ko) * | 2006-07-20 | 2007-11-27 | 삼성전기주식회사 | 휴대형 보안 송신 장치 및 보안 인증 시스템 |
JP5117012B2 (ja) * | 2006-08-09 | 2013-01-09 | 株式会社東芝 | 方向探知システム及び信号抽出方法 |
JP5121366B2 (ja) * | 2007-09-21 | 2013-01-16 | 株式会社東芝 | 方向測定装置 |
KR101434200B1 (ko) * | 2007-10-01 | 2014-08-26 | 삼성전자주식회사 | 혼합 사운드로부터의 음원 판별 방법 및 장치 |
GB0720473D0 (en) * | 2007-10-19 | 2007-11-28 | Univ Surrey | Accoustic source separation |
KR101394338B1 (ko) * | 2007-10-31 | 2014-05-30 | 삼성전자주식회사 | 무선 센서 네트워크의 토폴로지 정보 표시 방법 및 장치 및이를 위한 시스템 |
US8321214B2 (en) * | 2008-06-02 | 2012-11-27 | Qualcomm Incorporated | Systems, methods, and apparatus for multichannel signal amplitude balancing |
JP5195652B2 (ja) | 2008-06-11 | 2013-05-08 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
ATE556329T1 (de) * | 2008-08-26 | 2012-05-15 | Nuance Communications Inc | Verfahren und vorrichtung zum lokalisieren einer schallquelle |
JP5229053B2 (ja) | 2009-03-30 | 2013-07-03 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
US20100265800A1 (en) * | 2009-04-16 | 2010-10-21 | Graham Paul Eatwell | Array shape estimation using directional sensors |
JP5299233B2 (ja) * | 2009-11-20 | 2013-09-25 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
KR101419377B1 (ko) * | 2009-12-18 | 2014-07-15 | 배재대학교 산학협력단 | 암묵신호 분리 방법 및 이를 수행하는 장치 |
US8521477B2 (en) * | 2009-12-18 | 2013-08-27 | Electronics And Telecommunications Research Institute | Method for separating blind signal and apparatus for performing the same |
JP2012018066A (ja) * | 2010-07-07 | 2012-01-26 | Panasonic Electric Works Sunx Co Ltd | 異常検査装置 |
JP5974901B2 (ja) * | 2011-02-01 | 2016-08-23 | 日本電気株式会社 | 有音区間分類装置、有音区間分類方法、及び有音区間分類プログラム |
KR101241842B1 (ko) * | 2011-10-12 | 2013-03-11 | 광운대학교 산학협력단 | 3차원 측위 장치 및 방법 |
US20140303929A1 (en) * | 2013-04-03 | 2014-10-09 | Umm Al-Qura University | Method to obtain accurate vertical component estimates in 3d positioning |
US11694707B2 (en) | 2015-03-18 | 2023-07-04 | Industry-University Cooperation Foundation Sogang University | Online target-speech extraction method based on auxiliary function for robust automatic speech recognition |
US10991362B2 (en) * | 2015-03-18 | 2021-04-27 | Industry-University Cooperation Foundation Sogang University | Online target-speech extraction method based on auxiliary function for robust automatic speech recognition |
US10657958B2 (en) * | 2015-03-18 | 2020-05-19 | Sogang University Research Foundation | Online target-speech extraction method for robust automatic speech recognition |
WO2016178231A1 (en) * | 2015-05-06 | 2016-11-10 | Bakish Idan | Method and system for acoustic source enhancement using acoustic sensor array |
DE102020213286A1 (de) * | 2020-10-21 | 2022-04-21 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Bestimmung einer Phasenlage eines Drehratensignals oder eines Quadratursignals, Verfahren zur Anpassung einer Demodulationsphase und Drehratensensor |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5737431A (en) * | 1995-03-07 | 1998-04-07 | Brown University Research Foundation | Methods and apparatus for source location estimation from microphone-array time-delay estimates |
AU740617C (en) * | 1997-06-18 | 2002-08-08 | Clarity, L.L.C. | Methods and apparatus for blind signal separation |
JP2000242624A (ja) | 1999-02-18 | 2000-09-08 | Retsu Yamakawa | 信号分離装置 |
SE521024C2 (sv) | 1999-03-08 | 2003-09-23 | Ericsson Telefon Ab L M | Metod och anordning för att separera en blandning av källsignaler |
JP2002084593A (ja) | 2000-09-08 | 2002-03-22 | Inst Of Physical & Chemical Res | 信号分離システムおよび信号分離方法 |
JP3766006B2 (ja) * | 2001-09-19 | 2006-04-12 | 株式会社東芝 | 受信装置 |
JP3831220B2 (ja) | 2001-09-25 | 2006-10-11 | 日本電信電話株式会社 | 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 |
JP3975153B2 (ja) | 2002-10-28 | 2007-09-12 | 日本電信電話株式会社 | ブラインド信号分離方法及び装置、ブラインド信号分離プログラム並びにそのプログラムを記録した記録媒体 |
-
2004
- 2004-03-03 DE DE602004029867T patent/DE602004029867D1/de not_active Expired - Lifetime
- 2004-03-03 EP EP04716703A patent/EP1600789B1/en not_active Expired - Fee Related
- 2004-03-03 JP JP2005503053A patent/JP3881367B2/ja not_active Expired - Fee Related
- 2004-03-03 WO PCT/JP2004/002610 patent/WO2004079388A1/ja active Application Filing
- 2004-03-03 US US10/508,708 patent/US7039546B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1600789B1 (en) | 2010-11-03 |
JP3881367B2 (ja) | 2007-02-14 |
EP1600789A1 (en) | 2005-11-30 |
WO2004079388A1 (ja) | 2004-09-16 |
DE602004029867D1 (de) | 2010-12-16 |
EP1600789A4 (en) | 2006-09-20 |
US20050203981A1 (en) | 2005-09-15 |
US7039546B2 (en) | 2006-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3881367B2 (ja) | 位置情報推定装置、その方法、及びプログラム | |
Bialer et al. | Performance advantages of deep neural networks for angle of arrival estimation | |
US9788119B2 (en) | Spatial audio apparatus | |
JP5746717B2 (ja) | 音源位置決め | |
Dmochowski et al. | Broadband MUSIC: Opportunities and challenges for multiple source localization | |
Talmon et al. | Supervised source localization using diffusion kernels | |
Sachar et al. | Microphone position and gain calibration for a large-aperture microphone array | |
EP3414919B1 (en) | Microphone probe, method, system and computer program product for audio signals processing | |
CN103583054A (zh) | 经由根据抵达方向估算提取几何信息的声音获取 | |
Jo et al. | Direction of arrival estimation using nonsingular spherical ESPRIT | |
Yang et al. | Functional delay and sum beamforming for three-dimensional acoustic source identification with solid spherical arrays | |
JP2018063200A (ja) | 音源位置推定装置、音源位置推定方法、及びプログラム | |
US20120195436A1 (en) | Sound Source Position Estimation Apparatus, Sound Source Position Estimation Method, And Sound Source Position Estimation Program | |
Padois et al. | Time domain localization technique with sparsity constraint for imaging acoustic sources | |
CN1849844B (zh) | 确定声场的表示的系统和方法 | |
Dietzen et al. | Low-complexity steered response power mapping based on Nyquist-Shannon sampling | |
Jing et al. | Sound source localisation using a single acoustic vector sensor and multichannel microphone phased arrays | |
JP2000152372A (ja) | 指向性マイクロホン及びこれを用いた音源探査装置 | |
Salvati et al. | Acoustic source localization using a geometrically sampled grid SRP-PHAT algorithm with max-pooling operation | |
Klein et al. | Optimized spherical sound source for auralization with arbitrary source directivity | |
JP4738284B2 (ja) | ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
Samarasinghe et al. | Room transfer function measurement from a directional loudspeaker | |
Hafezi et al. | Modelling source directivity in room impulse response simulation for spherical microphone arrays | |
Hioka et al. | Multiple-speech-source localization using advanced histogram mapping method | |
Jin et al. | Perspectives on microphone array processing including sparse recovery, ray space analysis, and neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061109 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |