JP4920270B2 - 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム - Google Patents

信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム Download PDF

Info

Publication number
JP4920270B2
JP4920270B2 JP2006059990A JP2006059990A JP4920270B2 JP 4920270 B2 JP4920270 B2 JP 4920270B2 JP 2006059990 A JP2006059990 A JP 2006059990A JP 2006059990 A JP2006059990 A JP 2006059990A JP 4920270 B2 JP4920270 B2 JP 4920270B2
Authority
JP
Japan
Prior art keywords
frequency
signal
sensors
arrival direction
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006059990A
Other languages
English (en)
Other versions
JP2007240209A (ja
Inventor
浩 袁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2006059990A priority Critical patent/JP4920270B2/ja
Publication of JP2007240209A publication Critical patent/JP2007240209A/ja
Application granted granted Critical
Publication of JP4920270B2 publication Critical patent/JP4920270B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラムに関する。
従来、周波数領域において独立成分分析(ICA;Independent Component Analysis)を適用して信号を分離するブラインド信号分離の技術が知られている。そして、その信号を分離するときの「パーミュテーション:Permutation(置換)」の問題を解決するために、3次元信号の到来方向を推定している(例えば、非特許文献1参照)。
袁浩、山田誠、河井恒,"ICAを用いた3D音源の方向推定",日本音響学会2005年秋季研究発表会論文集,2-2-16,pp.617-618
しかし、上述した従来の技術では、3次元での信号の到来方向の推定の際に、固定的に選択されたセンサにより全信号スペクトラムに渡って正確な到来方向を得ることができない場合が起こり得る。特に空間エイリアシングを避けるためにセンサ間の距離を小さくすると、低い周波数における方向推定の分離度が下がる。このため、低い周波数における「Permutation」の問題を解決することが困難となり、周波数間信号の相関性を利用する場合に、ブラインド信号分離における演算量が大きくなるという問題が生じる。
本発明は、このような事情を考慮してなされたもので、その目的は、3次元での信号の到来方向の推定の際に良好な角度分解度を得ることができ、ブラインド信号分離における信号分解能の向上に寄与することのできる信号到来方向推定装置及び方法、並びに信号分離装置及び方法を提供することにある。
また、本発明の他の目的は、本発明の信号到来方向推定装置、信号分離装置をコンピュータを利用して実現するためのコンピュータプログラムを提供することにある。
上記の課題を解決するために、本発明に係る信号到来方向推定装置は、非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する変換手段と、前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する分離行列推定手段と、前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第1の周波数別到来方向推定手段と、前記周波数別の信号到来方向から、信号到来方向を算出する第1の到来方向推定手段と、前記第1の到来方向推定手段により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第2の周波数別到来方向推定手段と、前記再算出した前記周波数別の信号到来方向ら、信号到来方向を算出する第2の到来方向推定手段と、を備えたことを特徴とする。
本発明に係る信号到来方向推定装置においては、前記第1の周波数別到来方向推定手段は、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択することを特徴とする。
本発明に係る信号到来方向推定装置においては、前記第2の周波数別到来方向推定手段は、前記第1の到来方向推定手段により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択することを特徴とする。
本発明に係る信号到来方向推定装置においては、前記第2の周波数別到来方向推定手段は、前記選択した3個のセンのセンサ間距離よりも短い半波長に対応する周波数については、前記第1の周波数別到来方向推定手段の算出結果を用いることを特徴とする。
本発明に係る信号到来方向推定装置においては、前記第2の周波数別到来方向推定手段は、前記選択した3個のセンのセンサ間距離よりも短い半波長に対応する周波数については、センサ間距離が当該周波数の半波長以内であるセンサの組み合わせを用いて、信号到来方向を再算出することを特徴とする。
本発明に係る信号到来方向推定装置においては、指定された周波数のみを前記周波数別の信号到来方向の算出対象にすることを特徴とする。
本発明に係る信号到来方向推定装置においては、4個以上のセンサによって検知された信号を用いる場合において、1個のセンサが、他の3個以上のセンサが配置される平面とは異なる平面上に配置されるときには、該1個のセンサを含む少なくとも4個のセンサによって形成される少なくとも4つの平面を各々基準にした3次元座標系毎に、信号到来方向を推定することを特徴とする。
本発明に係る信号到来方向推定方法は、非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の過程と、前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の過程と、前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の過程と、前記周波数別の信号到来方向から、信号到来方向を算出する第4の過程と、前記第4の過程により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の過程と、前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の過程と、を含むことを特徴とする。
本発明に係るコンピュータプログラムは、非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の機能と、前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の機能と、前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の機能と、前記周波数別の信号到来方向から、信号到来方向を算出する第4の機能と、前記第4の機能により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の機能と、前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の機能と、をコンピュータに実現させることを特徴とする。
これにより、前述の信号到来方向推定装置がコンピュータを利用して実現できるようになる。
本発明に係る信号分離装置は、非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する変換手段と、前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する分離行列推定手段と、前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第1の周波数別到来方向推定手段と、前記周波数別の信号到来方向から、信号到来方向を算出する第1の到来方向推定手段と、前記第1の到来方向推定手段により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第2の周波数別到来方向推定手段と、前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第2の到来方向推定手段と、前記第2の到来方向推定手段によって算出された信号到来方向に基づき、前記周波数毎の分離行列に関するパーミュテーション(Permutation)を解決するパーミュテーション解決手段と、を備えたことを特徴とする。
本発明に係る信号分離装置においては、前記第2の到来方向推定手段によって算出された信号到来方向に基づき、前記周波数別の信号到来方向の算出結果の信頼度を判断する信頼度判断手段と、前記周波数領域の信号から、前記第2の到来方向推定手段によって算出された信号到来方向に対応した信号を分離するビームフォーミング手段、或いは、周波数間信号相関性に基づき、前記第2の到来方向推定手段によって算出された信号到来方向に対応した信号を並び替える信号置換手段、とを備え、前記パーミュテーション解決手段は、前記信頼度の判断結果に基づいて、前記第2の到来方向推定手段と、前記ビームフォーミング手段或いは信号置換手段とを、周波数の推定結果についての信頼性有り又は無しに応じて使い分けし、前記周波数毎の分離行列の並び替えを行うことを特徴とする。
本発明に係る信号分離装置においては、指定された周波数のみを前記周波数別の信号到来方向の算出対象とし、該指定外の周波数については、前記ビームフォーミング手段或いは信号置換手段を用いることを特徴とする。
本発明に係る信号分離方法は、非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の過程と、前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の過程と、前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の過程と、前記周波数別の信号到来方向から、信号到来方向を算出する第4の過程と、前記第4の過程により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の過程と、前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の過程と、前記第6の過程によって算出された信号到来方向に基づき、前記周波数毎の分離行列に関するパーミュテーション(Permutation)を解決する第7の過程と、を含むことを特徴とする。
本発明に係るコンピュータプログラムは、非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の機能と、前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の機能と、前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の機能と、前記周波数別の信号到来方向から、信号到来方向を算出する第4の機能と、前記第4の機能により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の機能と、前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の機能と、前記第6の機能によって算出された信号到来方向に基づき、前記周波数毎の分離行列に関するパーミュテーション(Permutation)を解決する第7の機能と、をコンピュータに実現させることを特徴とする。
これにより、前述の信号分離装置がコンピュータを利用して実現できるようになる。
本発明によれば、3次元での信号の到来方向の推定の際に良好な角度分解度を得ることができ、3次元での信号到来方向の推定精度が向上する。これにより、ブラインド信号分離における信号分解能の向上に寄与することができる。
以下、図面を参照し、本発明の一実施形態について説明する。
[信号到来方向推定装置]
図1は、本発明の一実施形態に係る信号到来方向推定装置100の構成を示すブロック図である。
図1に示す信号到来方向推定装置100は、N個(Nは3以上の整数)のセンサ1−1〜N(以下、特に区別しないときは「センサ1」と称する)と、増幅器2と、A/D変換部3と、周波数領域変換部4と、分離行列推定部5と、周波数別到来方向推定部6及び9と、第1段階到来方向推定部7と、センサ適応選択部8と、第2段階到来方向推定部10と、推定方向出力部11とを備える。
センサ1としては、例えば、音声信号を検知して電気信号に変換するマイクロホンが挙げられる。その他のセンサ1としては、例えば、アンテナ、光センサ、温度センサ、圧力センサ、流量センサなどが挙げられる。
センサ1−1〜Nは、一直線上に配置されないように、非直線配置される。これにより、センサ1−1〜Nは少なくとも一平面上に配置される。センサ1−1〜Nは、センサアレーを形成する。例えば、図2には、6個のセンサ1−1〜6を用いた場合の配置例が示されている。図2では、X−Y平面座標系によりセンサ配置を示し、X−Y平面内において、6個のセンサ1−1〜6が非直線配置されている。
センサ1は、検知した信号(以下、観測信号と称する)を出力する。増幅器2は、各センサ1−1〜Nから出力された観測信号をそれぞれ増幅する。
A/D変換部3は、増幅後の各センサ1−1〜Nの観測信号をデジタル信号に変換する。
周波数領域変換部4は、デジタル化された各センサ1−1〜Nの観測信号の各々に対して、時間領域から周波数領域の信号に変換するフーリエ変換処理を施す。具体的には、センサ1−1〜Nの観測信号毎に、短時間FFT(高速フーリエ変換)を行う。その短時間FFTにより、観測信号は周波数領域の時間信号に変換され、各周波数における時間信号系列(観測信号ベクトル)が得られる。その観測信号ベクトルX(f,t)は(1)式で表される。
Figure 0004920270
分離行列推定部5は、観測信号ベクトルX(f,t)から、独立成分分析により周波数毎の分離行列をブラインドで算出する。その分離行列算出処理においては、周波数領域において周波数毎に、教師信号なしで分離行列を収束させる。具体的には、例えば、(2)式を利用して分離行列W(f)を計算することができる。これにより、周波数毎の分離行列W(f)が得られる。
Figure 0004920270
なお、独立成分分析に基づくブラインド信号分離手法においては、分離行列W(f)を用いて混合信号を分離する。その分離した信号ベクトルY(f,t)は、(3)式により得られる。
Figure 0004920270
周波数別到来方向推定部6は、分離行列W(f)に基づいて信号の到来方向を周波数別に算出する。
独立成分分析によって得られる分離行列の各行は、ある方向から到来する信号を取り出しながら、別の方向から到来する信号を抑圧するという周波数領域での分離フィルタを形成している。これにより、各周波数における分離行列(分離フィルタ)を求めた後、その分離行列の逆行列により、分離行列の各行が取り出している信号の到来方向を推定することができる。また、各周波数における分離行列の逆行列の各列によりセンサ1間の位相差を求め、該位相差を用いて信号の到来方向を推定することができる。
また、分離行列W(f)の逆行列W(f)−1の列ベクトルは複素混合行列H(f)の列ベクトルに近似的に比例している。このことから、分離行列W(f)の擬似逆行列W(f)を求めることができる。
周波数別到来方向推定部6は、先ず、分離行列W(f)の擬似逆行列W(f)を求める。次いで、その擬似逆行列W(f)の列ごとに、非直線配置された3個のセンサ1に対応した要素を使って天頂角θと方位角φを算出する。
ここで、周波数別到来方向推定部6は、センサ1−1〜Nの中から、周波数別到来方向推定に用いる3個のセンサ1を選択する。その選択条件は、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサである。なお、3個のセンサを頂点とする三角形の線形性は、三角形の最大内角と最小内角の差として定義される。これにより、線形性の低い組み合わせ(3個のセンサ)とは、3個のセンサを頂点とする三角形の最大内角と最小内角の差が小さいものを指す。最も線形性の低い組み合わせとは、3個のセンサを頂点とする三角形が正三角形となるものである。
周波数別の信号到来方向は、(4)〜(7)式で得られる。分離行列W(f)の擬似逆行列W(f)から、(4)式、(5)式が成り立つ。
Figure 0004920270
Figure 0004920270
そして、l番目信号の到来方向(θ,φ)は、(6)式、(7)式で得られる。
Figure 0004920270
Figure 0004920270
なお、arg(z)は複素数zの位相角(複素平面上で複素数を表す点と原点を結ぶ直線が実軸となす角)を表す。
第1段階到来方向推定部7は、周波数別到来方向推定部6の推定結果の周波数別の到来方向(θ,φ)に基づき、信号の到来方向を算出する。具体的には、周波数別に推定された到来方向(θ,φ)を統計処理し、この統計処理結果から信号の到来方向を求める。例えば、周波数別に推定された、θ、φをそれぞれ平均し、その平均値を信号の到来方向(θ,φ)として採用する。なお、統計処理の手法としては、上記平均以外の他の手法を用いてもよい。例えば、周波数別に推定された、θ、φのそれぞれのヒストグラムを計算し、そのヒストグラムから信号の到来方向(θ,φ)を求めるようにしてもよい。また、統計処理する対象の周波数は、全ての周波数であってもよく、或いは一部の周波数であってもよい。
上述の第1段階の到来方向推定処理では、周波数別の到来方向推定において、高域周波数での推定精度は良いが、低域周波数での推定精度はあまり良くない可能性がある。このため、良好な角度分解度を得ることが難しい。そこで、センサ適応選択部8、周波数別到来方向推定部9及び第2段階到来方向推定部10により、第2段階の到来方向推定処理を行う。
センサ適応選択部8は、第1段階到来方向推定部7により算出された信号到来方向に対して適応的に3個のセンサ1を選択する。この3個のセンサ1の選択条件は、ある信号到来方向に対して開口長の大きい2個のセンサ1を選択し、さらに該2個のセンサ1に組み合わせると線形性が低くなる1個のセンサ1を選択する。
周波数別到来方向推定部9は、そのセンサ適応選択部8の選択結果の3個のセンサ1により、上述の周波数別到来方向推定部6と同様にして、周波数別の信号到来方向(θ,φ)を算出する。次いで、第2段階到来方向推定部10は、周波数別到来方向推定部9の推定結果の周波数別の到来方向(θ,φ)に基づき、第1段階到来方向推定部7と同様にして、信号の到来方向(θ,φ)を算出する。
上述のセンサ適応選択部8、周波数別到来方向推定部9及び第2段階到来方向推定部10による第2段階の到来方向推定処理は、第1段階到来方向推定部7により算出された各信号到来方向に対して、それぞれ行う。この第2段階の到来方向推定処理では、第1段階到来方向推定部7により算出された信号到来方向に対して開口長の大きい2個のセンサ1を用いることにより、センサ間距離つまりセンサ間位相差が大きくなり、低域周波数での到来方向推定における角度分解度が向上する。これにより、第1段階の到来方向推定処理ではあまり良くない低域周波数での到来方向推定精度が改善されるので、第2段階到来方向推定部10の推定結果では、良好な角度分解度を得ることが可能になる。
なお、高域周波数での空間エイリアシングを避けるために、センサ適応選択部8で選択された3個のセンサ1のセンサ間距離よりも長い半波長に対応する周波数については、周波数別到来方向推定部6の算出結果を用いることが好ましい。或いは、当該周波数については、センサ間距離が当該周波数の半波長以内であるセンサ1の組み合わせを用いて、信号到来方向を再算出することが好ましい。
推定方向出力部11は、第2段階到来方向推定部10によって求められた信号到来方向(θ,φ)を出力する。
上述した実施形態によれば、3次元での信号の到来方向の推定の際に良好な角度分解度を得ることができる。これにより、3次元での信号到来方向の推定精度が向上する。この結果、ブラインド信号分離における信号分解能の向上に寄与することができる。
なお、上記した信号の到来方向の推定を行う対象の周波数は、実測に基づき、予め決定するようにしてもよい。周波数毎の推定精度は、センサ1の配置間隔に応じて変化する。このため、センサ1の配置決定後に、各周波数において、実際の信号を用いて到来方向の推定を行い、その推定結果を評価し、到来方向の推定対象に含める周波数を選択することが好ましい。これにより、所望の推定精度が期待できない周波数については、推定対象から除外し、演算量の削減を図る。
また、非直線配置された少なくとも3個のセンサを含む4個以上のセンサを用いる場合において、全て同一平面上に配置されるときは、上述した3個のセンサを用いる場合の推定方法がそのまま適用できる。
一方、非直線配置された少なくとも3個のセンサを含む4個以上のセンサを用いる場合において、1個のセンサが、他の3個以上のセンサが配置される平面とは異なる平面上に配置されるときには、該1個のセンサを含む少なくとも4個のセンサによって少なくとも4つの平面が形成される。そして、その各平面を各々基準にした3次元座標系毎に、信号の到来方向を推定することができる。
[信号分離装置]
次に、上述の実施形態に係る信号到来方向推定装置100を適用した信号分離装置について説明する。以下、図1の各部に対応する部分には同じ符号を付す。
本実施形態に係る信号分離装置では、信号到来方向推定装置100の推定結果の到来方向(θ,φ)を用いて、分離行列W(f)の並び替えを行う。その手順を以下に示す。
ステップS1;
第2段階到来方向推定部10によって求められた到来方向(θ,φ)に基づき、周波数別到来方向推定部9によって推定された周波数別の到来方向の信頼度を判断する。具体的には、第2段階到来方向推定部10によって推定された到来方向と、周波数別に推定された到来方向とを比較し、両者の絶対差が所定範囲内ならば当該周波数の推定結果について信頼性ありと判断し、両者の絶対差が所定範囲外ならば当該周波数の推定結果について信頼性なしと判断する。
ステップS2;
ステップS1で信頼性ありと判断された周波数について、その推定された到来方向に従って信号Y(f,t)の並び替えを行う。信号Y(f,t)は、上記(3)式で算出される。これにより、信頼性ありと判断された周波数に関して、「Permutation」の問題が解決済みの信号Y(f,t)が求められる。
ステップS3;
ステップS1で信頼性なしと判断された周波数については、新たにビームフォーミングによって信号Y(f,t)を分離する。また、信号の到来方向の推定に利用されなかった周波数についても、ビームフォーミングによって信号Y(f,t)を分離する。
そのビームフォーミングでは、信頼性なしと判断された周波数及び信号の到来方向の推定に利用されなかった周波数において、第2段階到来方向推定部10によって推定された到来方向に指向性ビームを形成するための重み係数行列を算出する。そして、その算出された重み係数行列を用いたビームフォーミングによって、周波数領域の信号(周波数領域変換部4の出力信号)から、信頼性なしと判断された周波数及び信号の到来方向の推定に利用されなかった周波数の信号Y(f,t)を分離する。
なお、上記ステップS3において、ビームフォーミングによって信号を分離するのではなく、周波数間信号相関性に基づき、分離行列の並び替えを行うようにしてもよい。この場合には、周波数間の信号の相関性を計算し、その計算結果の周波数間信号相関性に基づき、第2段階到来方向推定部10によって推定された到来方向に対応した信号を並び替える。これにより、信頼性なしと判断された周波数及び信号の到来方向の推定に利用されなかった周波数に関して、「Permutation」の問題が解決済みの信号Y(f,t)が求められる。
ステップS4;
ステップS2で得られた信号Y(f,t)とステップS3で得られた信号Y(f,t)により、全周波数帯の信号Y(f,t)が揃う。その全周波数帯の信号Y(f,t)を逆フーリエ変換して時間領域の信号に変換する。これにより、時間領域において各到来信号を分離することができる。
上述した実施形態によれば、3次元での信号の到来方向の推定の際に良好な角度分解度を得ることができ、3次元での信号到来方向の推定精度が向上するので、ブラインド信号分離における信号分解能が向上する。
また、周波数領域における信号の到来方向の推定結果の信頼度に応じて、ブラインド信号分離とビームフォーミングを使い分けるので、信号の分離精度の維持向上に寄与することができる。
図3及び図4は、本実施形態に係る周波数別の信号の到来方向の推定結果を示すプロット図である。図3及び図4において、周波数番号が小さいほど低い周波数であり、周波数番号が大きいほど高い周波数である。図3及び図4に係る実施例は、センサとして3個のマイクロホンを使用し、該3個のマイクロホンによって2つの音源から発生された音声信号を検知している。その音源には、ATR音素バランス文の音声を利用している。また、サンプリング周波数は8kHz、FFTサイズは1024ポイントである。そして、FastICAによって分離行列を求めている。また、3個のマイクロホンの座標値(x,y,z)は、それぞれ(0,0,0)、(4,0,0)、(0,4,0)センチメートルである(図2のセンサ1−1、1−2、1−4に対応)。
図3には、周波数毎の方位角φの推定結果がプロットされている。その図3から示されるように、2つの音源の方位角φを正確に推定できることが分かる。図4には、その2つの方位角φにそれぞれ対応した天頂角θの推定結果がプロットされている。
また、図5及び図6には、図3及び図4と同様の条件で、6個のマイクロホンによって3つの音源から発生された音声信号を検知する場合において、周波数別の信号の到来方向の推定結果(方位角φのみ)がプロットされている。6個のマイクロホンの座標値(x,y,z)は、それぞれ(0,0,0)、(4,0,0)、(8,0,0)、(0,4,0)、(4,4,0)、(8,4,0)センチメートルである(図2のセンサ1−1、1−2、1−3、1−4、1−5、1−6に対応)。図5及び図6の場合には、その6個のマイクロホンにより分離行列を求めている。また、座標値(x,y,z)が(0,0,0)、(4,0,0)、(0,4,0)センチメートルである3個のマイクロホン(図2のセンサ1−1、1−2、1−4に対応)により、周波数別の信号の到来方向を推定している。図5及び図6において、周波数番号が小さいほど低い周波数であり、周波数番号が大きいほど高い周波数である。
図5には、第1段階の到来方向推定処理において、周波数別到来方向推定部6の推定結果の周波数別の方位角φがプロットされている。この第1段階では、音源1(φ1に対応)と音源3(φ3に対応)の天頂角θが小さいため、低い周波数帯における方位角φの推定値については、ばらつきが大きく、且つ、0度方向に近づく傾向を示している。
図6には、第2段階の到来方向推定処理において、周波数別到来方向推定部9の推定結果の周波数別の方位角φがプロットされている。この第2段階では、第1段階に比べて、推定値のばらつきが全体的に小さくなっている。特に、天頂角θが小さい音源1(φ1に対応)と音源3(φ3に対応)の低域周波数部分については、著しく改善されている。これは、センサ間位相差の大きいマイクロホンの組み合わせが用いられたことによるものである。このように角度分解能が向上することにより、低域周波数部分についての「Permutation」の問題が容易に解決可能となる。
なお、本実施形態に係る信号到来方向推定装置、信号分離装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより信号到来方向推定処理、信号分離処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
本発明の一実施形態に係る信号到来方向推定装置100の構成を示すブロック図である。 同実施形態に係る6個のセンサ1−1〜6を用いた場合の配置例を示す2次元座標図である。 本発明の一実施形態に係る周波数別の信号の到来方向の推定結果を示すプロット図である。 本発明の一実施形態に係る周波数別の信号の到来方向の推定結果を示すプロット図である。 本発明の一実施形態に係る第1段階の周波数別の信号の到来方向の推定結果を示すプロット図である。 本発明の一実施形態に係る第2段階の周波数別の信号の到来方向の推定結果を示すプロット図である。
符号の説明
1(1−1〜N)…センサ、2…増幅器、3…A/D変換部、4…周波数領域変換部、5…分離行列推定部、6,9…周波数別到来方向推定部、7…第1段階到来方向推定部、8…センサ適応選択部、10…第2段階到来方向推定部、11…推定方向出力部、100…信号到来方向推定装置


Claims (12)

  1. 非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する変換手段と、
    前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する分離行列推定手段と、
    前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第1の周波数別到来方向推定手段と、
    前記周波数別の信号到来方向から、信号到来方向を算出する第1の到来方向推定手段と、
    前記第1の到来方向推定手段により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第2の周波数別到来方向推定手段と、
    前記再算出した前記周波数別の信号到来方向ら、信号到来方向を算出する第2の到来方向推定手段と、
    を備えたことを特徴とする信号到来方向推定装置。
  2. 前記第2の周波数別到来方向推定手段は、前記選択した3個のセンサのセンサ間距離よりも短い半波長に対応する周波数については、前記第1の周波数別到来方向推定手段の算出結果を用いることを特徴とする請求項に記載の信号到来方向推定装置。
  3. 前記第2の周波数別到来方向推定手段は、前記選択した3個のセンサのセンサ間距離よりも短い半波長に対応する周波数については、センサ間距離が当該周波数の半波長以内であるセンサの組み合わせを用いて、信号到来方向を再算出することを特徴とする請求項に記載の信号到来方向推定装置。
  4. 指定された周波数のみを前記周波数別の信号到来方向の算出対象にすることを特徴とする請求項1からのいずれかの項に記載の信号到来方向推定装置。
  5. 4個以上のセンサによって検知された信号を用いる場合において、1個のセンサが、他の3個以上のセンサが配置される平面とは異なる平面上に配置されるときには、該1個のセンサを含む少なくとも4個のセンサによって形成される少なくとも4つの平面を各々基準にした3次元座標系毎に、信号到来方向を推定する、
    ことを特徴とする請求項1からのいずれかの項に記載の信号到来方向推定装置。
  6. 非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の過程と、
    前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の過程と、
    前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の過程と、
    前記周波数別の信号到来方向から、信号到来方向を算出する第4の過程と、
    前記第4の過程により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の過程と、
    前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の過程と、
    を含むことを特徴とする信号到来方向推定方法。
  7. 非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の機能と、
    前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の機能と、
    前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の機能と、
    前記周波数別の信号到来方向から、信号到来方向を算出する第4の機能と、
    前記第4の機能により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の機能と、
    前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
  8. 非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する変換手段と、
    前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する分離行列推定手段と、
    前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第1の周波数別到来方向推定手段と、
    前記周波数別の信号到来方向から、信号到来方向を算出する第1の到来方向推定手段と、
    前記第1の到来方向推定手段により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第2の周波数別到来方向推定手段と、
    前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第2の到来方向推定手段と、
    前記第2の到来方向推定手段によって算出された信号到来方向に基づき、前記周波数毎の分離行列に関するパーミュテーション(Permutation)を解決するパーミュテーション解決手段と、
    を備えたことを特徴とする信号分離装置。
  9. 前記第2の到来方向推定手段によって算出された信号到来方向に基づき、前記周波数別の信号到来方向の算出結果の信頼度を判断する信頼度判断手段と、
    前記周波数領域の信号から、前記第2の到来方向推定手段によって算出された信号到来方向に対応した信号を分離するビームフォーミング手段、或いは、周波数間信号相関性に基づき、前記第2の到来方向推定手段によって算出された信号到来方向に対応した信号を並び替える信号置換手段、とを備え、
    前記パーミュテーション解決手段は、前記信頼度の判断結果に基づいて、前記第2の到来方向推定手段と、前記ビームフォーミング手段或いは信号置換手段とを、周波数の推定結果についての信頼性有り又は無しに応じて使い分けし、前記周波数毎の分離行列の並び替えを行うことを特徴とする請求項に記載の信号分離装置。
  10. 指定された周波数のみを前記周波数別の信号到来方向の算出対象とし、
    該指定外の周波数については、前記ビームフォーミング手段或いは信号置換手段を用いる、
    ことを特徴とする請求項に記載の信号分離装置。
  11. 非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の過程と、
    前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の過程と、
    前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の過程と、
    前記周波数別の信号到来方向から、信号到来方向を算出する第4の過程と、
    前記第4の過程により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の過程と、
    前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の過程と、
    前記第6の過程によって算出された信号到来方向に基づき、前記周波数毎の分離行列に関するパーミュテーション(Permutation)を解決する第7の過程と、
    を含むことを特徴とする信号分離方法。
  12. 非直線配置された個以上の複数のセンサによって検知された信号を周波数領域の信号に変換する第1の機能と、
    前記周波数領域の信号から、独立成分分析により周波数毎の分離行列をブラインドで算出する第2の機能と、
    前記複数のセンサから、センサ間距離が信号最大周波数に対応する半波長以内であり、且つ、線形性の低い組み合わせとなる3個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数についての周波数毎の分離行列から、周波数別の信号到来方向を算出する第3の機能と、
    前記周波数別の信号到来方向から、信号到来方向を算出する第4の機能と、
    前記第4の機能により算出された信号到来方向に対して開口長の大きい2個のセンサを選択し、さらに該2個のセンサに組み合わせると線形性が低くなる1個のセンサを選択し、この選択した3個のセンサにより、該3個のセンサの配置間隔に応じて所望の推定精度が得られるよう実測に基づいて予め決定された周波数について、周波数別の信号到来方向を再算出する第5の機能と、
    前記再算出した周波数別の信号到来方向ら、信号到来方向を算出する第6の機能と、
    前記第6の機能によって算出された信号到来方向に基づき、前記周波数毎の分離行列に関するパーミュテーション(Permutation)を解決する第7の機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
JP2006059990A 2006-03-06 2006-03-06 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム Expired - Fee Related JP4920270B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006059990A JP4920270B2 (ja) 2006-03-06 2006-03-06 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006059990A JP4920270B2 (ja) 2006-03-06 2006-03-06 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2007240209A JP2007240209A (ja) 2007-09-20
JP4920270B2 true JP4920270B2 (ja) 2012-04-18

Family

ID=38585898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006059990A Expired - Fee Related JP4920270B2 (ja) 2006-03-06 2006-03-06 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP4920270B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089312A (ja) * 2006-09-29 2008-04-17 Kddi Corp 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
JP5277887B2 (ja) * 2008-11-14 2013-08-28 ヤマハ株式会社 信号処理装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2896803B2 (ja) * 1990-06-16 1999-05-31 株式会社光電製作所 干渉計式方向探知装置
JPH08201498A (ja) * 1995-01-20 1996-08-09 Mitsubishi Electric Corp 測角装置
JP2001091616A (ja) * 1999-09-22 2001-04-06 Mitsubishi Electric Corp 入射角度推定装置及び入射角度推定装置の素子アンテナの配列方法
JP3629195B2 (ja) * 2000-09-28 2005-03-16 株式会社東芝 到来方向推定装置及び到来方向推定方法
JP3973902B2 (ja) * 2001-12-28 2007-09-12 株式会社東芝 センサ配置決定方法及びその装置並びに受信装置
JP3975153B2 (ja) * 2002-10-28 2007-09-12 日本電信電話株式会社 ブラインド信号分離方法及び装置、ブラインド信号分離プログラム並びにそのプログラムを記録した記録媒体
US7039546B2 (en) * 2003-03-04 2006-05-02 Nippon Telegraph And Telephone Corporation Position information estimation device, method thereof, and program
JP2005172760A (ja) * 2003-12-15 2005-06-30 Mitsubishi Electric Corp 方位探知装置

Also Published As

Publication number Publication date
JP2007240209A (ja) 2007-09-20

Similar Documents

Publication Publication Date Title
US9591404B1 (en) Beamformer design using constrained convex optimization in three-dimensional space
US8577055B2 (en) Sound source signal filtering apparatus based on calculated distance between microphone and sound source
TWI530201B (zh) 經由自抵達方向估值提取幾何資訊之聲音擷取技術
JP4690072B2 (ja) マイクロフォン・アレイを使用するビーム・フォーミングのシステムおよび方法
JP5139111B2 (ja) 移動音源からの音の抽出方法および装置
US7991166B2 (en) Microphone apparatus
US10455323B2 (en) Microphone probe, method, system and computer program product for audio signals processing
JP2017503388A5 (ja)
JP6862799B2 (ja) 信号処理装置、方位算出方法及び方位算出プログラム
CN108535694A (zh) 活动说话者的位置估计
JP2008089312A (ja) 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
JP4652191B2 (ja) 複数音源の分離方法
JP4920270B2 (ja) 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
JP5240026B2 (ja) マイクロホンアレイにおけるマイクロホンの感度を補正する装置、この装置を含んだマイクロホンアレイシステム、およびプログラム
CN111175727A (zh) 一种基于条件波数谱密度的宽带信号方位估计的方法
JP4676893B2 (ja) 信号到来方向推定装置、信号到来方向推定方法、信号到来方向推定プログラム及び記録媒体
JP7254938B2 (ja) 音響源用の結合音源定位及び分離方法
JP5635024B2 (ja) 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム
JP4738284B2 (ja) ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP6567216B2 (ja) 信号処理装置
JP3944141B2 (ja) アレーマニフォルドデータ補間方法、到来方位推定方法およびアレーマニフォルドデータ補間装置
Kurc et al. Sound source localization with DAS beamforming method using small number of microphones
JP2004279845A (ja) 信号分離方法およびその装置
JP2007078556A (ja) 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
JP2018189602A (ja) 整相器および整相処理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071016

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120201

R150 Certificate of patent or registration of utility model

Ref document number: 4920270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees