JP5060465B2 - 収音装置、収音方法、収音プログラム、記録媒体 - Google Patents

収音装置、収音方法、収音プログラム、記録媒体

Info

Publication number
JP5060465B2
JP5060465B2 JP2008323559A JP2008323559A JP5060465B2 JP 5060465 B2 JP5060465 B2 JP 5060465B2 JP 2008323559 A JP2008323559 A JP 2008323559A JP 2008323559 A JP2008323559 A JP 2008323559A JP 5060465 B2 JP5060465 B2 JP 5060465B2
Authority
JP
Japan
Prior art keywords
sound
region
signal
microphone array
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008323559A
Other languages
English (en)
Other versions
JP2010026485A (ja
Inventor
裕輔 日岡
賢一 古家
陽一 羽田
和則 小林
章俊 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008323559A priority Critical patent/JP5060465B2/ja
Publication of JP2010026485A publication Critical patent/JP2010026485A/ja
Application granted granted Critical
Publication of JP5060465B2 publication Critical patent/JP5060465B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音声通話や機器の操作などハンズフリー方式で音声を取得するシステムに関するものである。特に捕らえたい音声を発する話者以外の雑音源が多数存在する場合に大きく関係する。
図1(A)に従来技術の利用状況の一例を示す。非特許文献1記載の従来技術においては、6つに分割した領域のそれぞれに含まれる音源のパワースペクトルを推定し、ターゲットエリアに含まれる所望音源のスペクトルを強調する利得係数を計算し、この利得係数を処理対象の信号に乗算することにより周波数成分毎に、雑音成分が抑圧された信号を得る方法が提案されている。
Yusuke Hioka, Kazunori Kobayashi, Ken’idhi Furuya, AkitoshiKataoka "Enhancement of Sound Sources Located within a Particular Area Using aPair of Small Microphone Arrays,"IEICE Trans. On Fundamentals, Vol.E91-A, No2,pp.561-574, 2008.
従来技術では、収音したい音源が存在する領域(ターゲットエリア)よりも後方または側方に雑音が存在する領域(ノイズエリア)を定義しており、それらの領域内に含まれる雑音のみが抑圧できた。従ってそれ以外の領域、すなわち収音したい音源とマイクロホンの間に定義される領域内に雑音源が位置する場合には、その雑音を抑圧することはできなかった。本発明はこのような課題を解決するためになされたものである。収音したい音源とマイクロホンの間の領域に存在する雑音の抑圧をも可能にする収音装置を提供することを目的とする。
本発明の収音装置は、複数のマイクロホンを搭載して構成されるマイクロホンアレーLが収音することができる全角度領域の中に、M個(M≧3)の角度領域ΘL1、ΘL2、・・・、ΘLMを設け、複数のマイクロホンを搭載して構成されるマイクロホンアレーRが収音することができる全角度領域の中に、N個(N≧3)の角度領域ΘR1、ΘR2、・・・、ΘRNを設けた場合に、予め定められたマイクロホンアレーLの角度領域(但し、ΘL1とΘLMを除く)と予め定めたマイクロホンアレーRの角度領域(但し、ΘR1とΘRNを除く)の重複する領域に位置する所望音源を収音する。本発明の収音装置は、マイクロホンアレーLの出力信号を利用して、異なる角度領域の音を収音する3つ以上の収音部と、マイクロホンアレーRの出力信号を利用して、異なる角度領域の音を収音する3つ以上の収音部を有する。ここで、「異なる」とは、一致しないことを言い、重複する部分があってもよい。予め定められた1つ以上のマイクロホンまたは収音部からの信号から、処理対象信号を生成する処理対象信号生成部と、各収音部で得られた各収音信号を用いて、マイクロホンアレーLのM個の角度領域とマイクロホンアレーRのN個の角度領域が重複するM×N個以下の領域の領域別レベル差を求め、この領域別レベル差を大小関係によって並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報として出力する音源発生領域推定部と、各収音部で得られた各収音信号と音源領域情報から、音源領域情報の先頭の領域情報から信号パワーを求めることができる領域情報まで選択した選択領域情報を算出し、選択領域情報に対応する音源の信号パワーを周波数ごとに推定するパワースペクトル推定部と、選択領域情報に対応する音源の信号パワーおよび選択領域情報から周波数ごとに利得係数を求める利得係数算出部と、利得係数算出部で算出した利得係数を処理対象信号に乗算する乗算部とを有する。
本発明の収音装置によれば、ターゲットエリアよりも後方または側方にノイズエリアを設けるだけではなく、所望音源とマイクロホンの間にも、ノイズエリアを設けているため、所望音源よりも後方または側方に存在する雑音だけでなく、所望音源とマイクロホンの間に存在する雑音も抑圧することができる。
本発明について説明する前に、まず、未公開の特許出願(特願2007−187594)で示された技術を説明する。図2に特願2007−187594の第2実施形態の収音装置の全体の構成を示す。この図2を用いて収音装置の概要を説明する。マイクロホンアレーL3Lの各マイクロホンで生成された各出力信号は、この例では第1収音部4−1と第3収音部4−3と第5収音部4−5に入力される。更に、マイクロホンアレーR3Rの各マイクロホンで生成された各出力信号はこの例では第2収音部4−2と第4収音部4−4と第6収音部4−6に入力される。なお、両マイクロホンアレーL3LとマイクロホンアレーR3Rに搭載されるマイクロホンの数は必ずしも同数である必要はない。
また、図3は、第1収音部4−1の機能構成例を示す図である。なお、他の収音部も同様の構成を有する。第1収音部4−1〜第6収音部4−6は図3に示すように各マイクロホンの出力信号xL1(n)〜xLML(n)が入力されるM個のフィルタ処理部41と、これらM個のフィルタ処理部41の各出力信号を加算する加算部42とによって構成される。各フィルタ処理部41は例えばFIRフィルタ等で構成され、デジタル処理により収音信号に含まれる周波数成分毎に分析処理を行いマイクロホンアレーL3LとマイクロホンアレーR3Rの指向特性を設定する。このような技術は例えば大賀寿郎、山崎芳男、金田豊共著「音響システムとデジタル処理」平成7年3月25日社団法人電子情報通信学会発行に記載されており、周知の技術により実現することができる。
図4は、各マイクロホンアレーの角度領域、ターゲットエリア及びノイズエリアを示す。ここでは第1収音部4−1の指向特性はマイクロホンアレーL3Lのほぼ中央位置から図4に示す所望音源1の位置を含む角度領域ΘL2とΘL3を収音範囲とする特性に設定する。第2収音部4−2の指向特性はマイクロホンアレーL3Lのほぼ中央位置から図4に示す所望音源1の位置を含まない角度領域ΘL1とΘL3を収音範囲とする特性に設定する。第3収音部4−3の指向特性はマイクロホンアレーL3Lのほぼ中央位置から図4に示す所望音源1の位置を含む角度領域ΘL1とΘL2を収音範囲とする特性に設定する。第4収音部4−4の指向特性はマイクロホンアレーR3Rのほぼ中央位置から図4に示す所望音源1の位置を含む角度領域ΘR2とΘR3を収音範囲とする特性に設定する。第5収音部4−5の指向特性はマイクロホンアレーR3Rのほぼ中央位置から図4に示す所望音源1の位置を含まない角度領域ΘR1とΘR3を収音範囲とする特性に設定する。第6収音部4−6の指向特性はマイクロホンアレーR3Rのほぼ中央位置から図4に示す所望音源1の位置を含む角度領域ΘR1とΘR2を収音範囲とする特性に設定する。この従来技術では、ターゲットエリアS301は、ΘL2とΘR2によって、ノイズエリアL303は、ΘL2とΘR1によって、ノイズエリアR304は、ΘL1とΘR2によって、ノイズエリアRR305は、ΘL1とΘR3によって、ノイズエリアC306は、ΘL1とΘR1によって、ΘL3とΘR2によって、ノイズエリアLL309は、ΘL3とΘR1によって、特定されている。なお、ノイズエリアNR302、NL307、NC308は特定されていない。
第1乃至第6収音部4−1〜4−6の指向特性で収音された収音信号は周波数領域変換部5で周波数領域の信号に変換される。周波数領域への変換は入力された信号を短い時間長(例えばサンプリング周波数16000Hzの場合は256サンプル程度)のフレームに分解し、それぞれのフレームにおいて離散フーリエ変換を行なう。離散フーリエ変換は例えばFFT等と呼ばれている高速フーリエ変換等を用いることができる。周波数領域に変換
された信号は複数の周波数領域成分に分割される。
周波数領域の信号に変換された収音信号は処理対象信号生成部140とパワースペクトル推定部7に入力される。処理対象信号生成部140へは第1収音部4−1と第3収音部4−3と第4収音部4−4と第6収音部4−6から出力され、周波数領域の信号に変換された収音信号を入力する。処理対象信号生成部140は、周波数領域へ変換された各周波数領域の平均を処理対象信号Y(ω,l)として乗算部9と利得係数算出部130へ出力する。
パワースペクトル推定部7は、各収音部4−1〜4−6から出力され周波数領域の信号に変換された収音信号を入力され、周波数領域ごとに推定信号パワーを含む各音源の信号パワーを推定し、利得係数算出部130へ出力する。
利得係数算出部130は、推定された推定信号パワーと処理対象信号から、第1ゲイン係数を算出し、推定された各音源の信号パワーから第2のゲイン係数を算出し、さらに、第1ゲイン係数と第2ゲイン係数との積を利得係数として出力する。
利得係数として乗算部9で処理対象信号生成部140から与えられる所望音源1の信号を主成分とする処理対象信号に各周波数領域毎に乗算することにより、所望音源1の信号を主成分とする信号に含まれる背景雑音成分を抑制することができる。乗算部9の乗算結果は逆周波数領域変換部10で時間領域信号に変換され、雑音除去後の信号として出力される。以上は特願2007−187594の収音装置の概要である。
以下では各部の構成及び動作を詳細に説明する。マイクロホンアレーL3Lには、信号xLmL(n)(m=1,2,…,M)が入力される。フィルタ処理部41では、あらかじめ定められた(決定方法は後述する)フィルタ係数wLmL(n)と入力信号xLmL(n)を、式(1)に示す畳み込み演算に代入して得られる信号x'LmL(n)を
出力する。
Figure 0005060465
各フィルタ処理部41の出力信号は、加算部42に入力される。加算部42では入力信号を次式のように加算し、第1収音部4−1の出力信号yLL(n)を得る。
Figure 0005060465
ここでフィルタ係数wLmL(n)は、第1収音部4−1の指向特性DLSB(ω,θ)が式(3)に示す特性を持つように、例えば最小二乗法などを利用して設計される。第3収音部、第5収音部についても同様に、式(4)、式(5)のそれぞれの条件を満たすように設計される。
Figure 0005060465
つまり、マイクロホンアレーR3Rの出力信号を利用する各収音部4−1、4−3、4−5は、それぞれ角度領域ΘL1、ΘL2、ΘL3の音を抑圧して収音する。
同様に、式(6)から式(8)に示すように、マイクロホンアレーR3Rの出力信号を利用する各収音部4−2、4−4、4−6は、それぞれ角度領域ΘR1、ΘR2、ΘR3の音を抑圧して収音する。
Figure 0005060465
周波数領域変換部5は、第1から6収音部の収音信号yLL(n)、yCL(n)、yRL(n)、yLR(n)、yCR(n)、yRR(n)が入力され、この信号を周波数領域の信号YLL(ω,l)、YCL(ω,l)、YRL(ω,l)、YLR(ω,l)、YCR(ω,l)、YRR(ω,l)に変換し、処理対象信号生成部140とパワースペクトル推定部7へ出力する。
図5は、処理対象信号生成部140の機能構成例を示す図である。処理対象信号生成部140は、加算部141と除算部142から構成される。加算部141は、周波数領域の第1収音部4−1からの信号YLL(ω,l)、第2収音部4−2からの信号YLR(ω,l)、第5収音部4−5からの信号YRL(ω,l)、第6収音部4−6からの信号YRR(ω,l)を次式のように加算し、加算結果Y’(ω,l)を出力する。
Figure 0005060465
除算部142は、加算された信号Y’(ω,l)を次式のように4で割り、平均値を処理対象信号Y(ω,l)として出力する。
(ω,l)=Y’(ω,l)/4
なお、除算部142で割る数をいくつにしても、波形が同じなので、信号処理の観点からは等価である。つまり、4以外の値で除算しても、等価な処理である。
図6に、パワースペクトル推定部7の機能構成例を示す。パワースペクトル推定部7は、パワー演算部61、ベクトル化部62、乗算部63、擬似逆行列演算部64から構成される。パワー演算部61は、各収音部からの周波数領域の信号YLL(ω,l)、YCL(ω,l)、YRL(ω,l)、YLR(ω,l)、YCR(ω,l)、YRR(ω,l)から、信号パワー|YLL(ω,l)|、|YCL(ω,l)|、|YRL(ω,l)|、|YLR(ω,l)|、|YCR(ω,l)|、|YRR(ω,l)|を計算し、出力する。ベクトル化部62は、各信号パワーをベクトル形式でまとめたパワーベクトルY(ω,l)を出力する。
Figure 0005060465
そして、パワーベクトルY(ω,l)は乗算部63に入力される。乗算部63のもう一方の入力である擬似逆行列Tは、擬似逆行列演算部64の出力信号である。擬似逆行列演算部64には式(9)により定義されるゲイン行列Tが入力され、その擬似逆行列Tを出力する。
Figure 0005060465
ゲイン行列T(ω)の各要素は、各収音部4−1〜4−6のΘ方向、Θ方向、Θ方向に対する指向特性のゲインであり、例えば式(10)から式(12)に示すような指向特性の方向に関する平均値を用いる。
Figure 0005060465
α(ω)は、周波数ωにおける第1収音部4−1と第2収音部4−2の角度領域Θの方向に対する指向特性の平均値である。β(ω)は、周波数ωにおける第3収音部4−3と第4収音部4−4の角度領域Θの方向に対する指向特性の平均値である。γ(ω)は、周波数ωにおける第5収音部4−5と第6収音部4−6の角度領域Θの方向に対する指向特性の平均値である。ここで、xには、L1、L2、L3、R1、R2、R3のいずれかが入る。乗算部63は、式(13)に示すようにパワーベクトルY(ω,l)に擬似逆行列Tを乗算し、推定信号パワーベクトルXopt(ω,l)を出力する。
opt(ω,l)=TY(ω,l) (13)
ここで、従来技術では、式(9)に定義されるゲイン行列T(ω)は、ノイズエリアNR302、NL307、NC308に対応していない。そのため、推定信号パワーベクトルXopt(ω,l)に、推定左近傍雑音パワー|NNL(ω,l)|、推定正面近傍雑音パワー|NNC(ω,l)|、推定右近傍雑音パワー|NNR(ω,l)|は含まれず、これらのエリアから収音される雑音を抑圧することはできない。
図7に利得係数算出部130の機能構成例を示す。利得係数算出部130は、ベクトル要素抽出部81、第1ゲイン算出部131、第2ゲイン算出部132、ゲイン乗算部133から構成される。ベクトル要素抽出部81は、入力された推定信号パワーベクトルXopt(ω,l)を、推定信号パワー|S(ω,l)|、推定左側方雑音パワー|NLL(ω,l)|、推定左方向雑音パワー|N(ω,l)|、推定正面方向雑音パワー|N(ω,l)|、推定右方向雑音パワー|N(ω,l)|、推定右側方雑音パワー|NRR(ω,l)|としてそれぞれ出力する。第1ゲイン算出部131は、推定信号パワー|S(ω,l)|と処理対象信号Y(ω,l)から、第1ゲイン係数G(ω,l)を次式のように計算し、出力する。
Figure 0005060465
第2ゲイン算出部132は、推定信号パワー|S(ω,l)|、推定左側方雑音パワー|NLL(ω,l)|、推定左方向雑音パワー|N(ω,l)|、推定正面方向雑音パワー|N(ω,l)|、推定右方向雑音パワー|N(ω,l)|、推定右側方雑音パワー|NRR(ω,l)|から、第2ゲイン係数GSNR(ω,l)を次式のように計算し、出力する。
Figure 0005060465
ゲイン乗算部133は、次式のように第1ゲイン係数G(ω,l)と第2ゲイン係数GSNR(ω,l)との積を利得係数R(ω,l)として出力する。
R(ω,l)=G(ω,l)・GSNR(ω,l)
利得係数R(ω,l)は周波数領域毎に算出される。乗算部9では、このように求めた利得係数R(ω,l)を周波数領域ごとに処理対象信号生成部140から与えられる所望信号を主成分とする処理対象信号Y(ω,l)に乗算することにより、周波数領域ごとに雑音成分が抑圧された信号Z(ω,l)を出力する。
Z(ω,l)=Y(ω,l)・R(ω,l)
逆周波数領域変換部10は、周波数領域の信号Z(ω,l)を時間領域に変換した信号z(n)を出力する。これらの処理により信号のSN比を向上することができる。
従来技術の雑音を抑圧する原理を説明する。第1ゲイン係数G(ω,l)と処理対象信号Y(ω,l)との積は、推定信号パワー|S(ω,l)|と同じ振幅のパワースペクトルを持つ信号となる。推定信号パワー|S(ω,l)|は、原理的には所望音源のパワーと同一である。したがって、第1ゲイン係数G(ω,l)を処理対象信号Y(ω,l)に乗算する処理によって、雑音成分の抑圧が期待できる。しかし、実際には残響やマイクロホンの感度誤差など様々な外乱があり、誤差を多く含むので、十分な雑音の抑圧特性が得られるとは限らない。一方、第2ゲイン係数GSNR(ω,l)は、算出過程で雑音の推定パワーも用いているので、推定信号パワー|S(ω,l)|に雑音が多く含まれている場合でも、雑音の推定パワー|N(ω,l)|が正確であれば、雑音成分を抑圧できる。しかし、これらのゲイン係数は、範囲が0〜1に正規化されているので、雑音抑圧性能が緩やかであり、雑音抑圧効果は高くはない。このように、第1ゲイン係数も、第2ゲイン係数も、長所と短所がある。特願2007−187594の収音装置は、双方の利得係数を乗算することで、双方の長所を生かした利得係数を求めることができる。
また、特願2007−187594の第2実施形態の変形例で示された技術を説明する。第2実施形態のパワースペクトル推定部の別の構成例(変形例)を図8に示す。パワースペクトル推定部7’は、パワー演算部61、ベクトル化部62、非負拘束最小二乗部63’から構成される。パワー演算部61とベクトル化部62は、第2実施形態のパワースペクトル推定部7(図6)と同じである。非負拘束最小二乗部63’は、入力されたパワーベクトルY(ω,l)とゲイン行列Tが、推定信号パワーベクトルXopt(ω,l)は非負であるという拘束条件の下で、式(15)に示すように、Y(ω,l)とT・Xopt(ω,l)の二乗誤差が最小になる推定信号パワーベクトルXopt(ω,l)を求め、出力する。
‖Y(ω,l)−T・Xopt(ω,l)‖
(但し、Xopt(ω,l)≧0 (15)
なお、この解を算出する方法としては、例えば、C. L. Lawson and R. J. Hanson,
“Solving Least Squares Problems,” Prentice-Hall, 1974.に記載のNon-negative Least Square法が利用できる。
図1(B)に本発明の利用状況の一例を示す。2つの小規模マイクロホンアレーL3L、マイクロホンアレーR3Rをある程度(例えばマイクロホンアレーL3L、マイクロホンアレーR3Rと所望音源1までの距離と同程度の距離)離れた異なる位置に配置し、それぞれマイクロホンで受音された信号に対して以下で説明する処理を行なう。以下に説明する処理を行なうことにより所望音源1の音が強調されて収音され、背景雑音源2及び2’の音は抑圧される。本実施例の各マイクロホンアレーの角度領域、ターゲットエリア及びノイズエリアは、従来技術と同様に図4を用いて説明する。本実施例では、従来技術で定義されていたターゲットエリアS301、ノイズエリアL303、R304、RR305、C306、LL309に加え、ターゲットエリアと各マイクロホンアレーの間の領域をノイズエリアNR302、NC308、NL307と定義している。図9に、実施例1の収音装置全体の構成例を示す。図2に示した特願2007−187594の収音装置全体の構成とは、周波数変換部210,211と音源発生領域推定部220が追加され、パワースペクトル推定部7”と利得係数算出部130’の処理内容が異なる。図10は、実施例1の収音装置の処理フローを示す図である。この図9を用いて収音装置の概要を説明する。
本発明の収音装置は、複数のマイクロホンを搭載して構成されるマイクロホンアレーL3Lが収音することができる全角度領域の中に、角度領域ΘL1と角度領域ΘL1に隣接する角度領域ΘL2と角度領域ΘL2に隣接する角度領域ΘL3を設け、複数のマイクロホンを搭載して構成されるマイクロホンアレーR3Rが収音することができる全角度領域の中に、角度領域ΘR1と角度領域ΘR1に隣接する角度領域ΘR2と角度領域ΘR2に隣接する角度領域ΘR3を設けた場合に、角度領域ΘL2と角度領域ΘR2の重複するターゲットエリアS301に位置する所望音源を収音する。
従来技術と同様に、第1収音部4−1は、マイクロホンアレーL3Lの出力信号を利用して、角度領域ΘL1から得られる出力信号を抑圧し角度領域ΘL2と角度領域ΘL3から得られる出力信号を収音し、収音信号yLL(n)を出力する(S4−1)。第3収音部4−3は、角度領域ΘL2から得られる出力信号を抑圧し角度領域ΘL1と角度領域ΘL3から得られる出力信号を収音し、収音信号yCL(n)を出力する(S4−3)。第5収音部4−5は、角度領域ΘL3から得られる出力信号を抑圧し角度領域ΘL1と角度領域ΘL2から得られる出力信号を収音し、収音信号yRL(n)を出力する(S4−5)。第2収音部4−2は、マイクロホンアレーR3Rの出力信号を利用して、角度領域ΘR1から得られる出力信号を抑圧し角度領域ΘR2と角度領域ΘR3から得られる出力信号を収音し、収音信号yLR(n)を出力する(S4−2)。第4収音部4−4は、角度領域ΘR2から得られる出力信号を抑圧し角度領域ΘR1と角度領域ΘR3から得られる出力信号を収音し、収音信号yCR(n)を出力する(S4−4)。第6収音部4−6は、角度領域ΘR3から得られる出力信号を抑圧し角度領域ΘR1と角度領域ΘR2から得られる出力信号を収音し、収音信号yRR(n)を出力する(S4−6)。
周波数領域変換部5は、各収音部4−1〜4−6で収音された信号yLL(n)、yCL(n)、yRL(n)、yLR(n)、yCR(n)、yRR(n)を、周波数領域の信号YLL(ω,l)、YCL(ω,l)、YRL(ω,l)、YLR(ω,l)、YCR(ω,l)、YRR(ω,l)に変換する。なお、周波数領域変換部5は、各収音部4−1〜4−6内に備えてもよい。
処理対象信号生成部140は、周波数領域に変換された第1収音部4−1からの信号YLL(ω,l)と第2収音部4−2からの信号YLR(ω,l)と第5収音部4−5からの信号YRL(ω,l)と第6収音部4−6からの信号YRR(ω,l)の平均を、処理対象信号Y(ω,l)として出力する(S140)。
周波数領域変換部210、211では、各マイクロホンアレーの任意の出力信号(例えば、xLML(n)、xRM1(n))を周波数領域に変換した信号(例えば、XLML(ω,l)、XRM1(ω,l))を出力する。なお、周波数領域変換部210,211は、音源発生領域推定部220内に備えてもよい。
音源発生領域推定部220は、周波数領域の信号YLL(ω,l)、YCL(ω,l)、YRL(ω,l)、YLR(ω,l)、YCR(ω,l)、YRR(ω,l)と各マイクロホンアレーの任意の出力信号を周波数領域に変換した信号(例えば、XLML(ω,l)、XRM1(ω,l))が入力される。これらの信号から、マイクロホンアレーL3Lの3個の角度領域とマイクロホンアレーR3Rの3個の角度領域が重複する9個の領域の領域別レベル差を求める。この領域別レベル差を大小関係によって並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報A(ω,l)として出力する(S220)。ここで、角度領域が重複する9個の領域とは、マイクロホンアレーL3Lから見た3つの角度領域ΘL1,ΘL2,ΘL3のいずれかと、マイクロホンアレーR3Rから見た3つの角度領域ΘR1,ΘR2,ΘR3のいずれかの組み合わせで特定される。つまり、ターゲットエリアS301は、ΘL2とΘR2によって、ノイズエリアNR302は、ΘL2とΘR3によって、ノイズエリアL303は、ΘL2とΘR1によって、ノイズエリアR304は、ΘL1とΘR2によって、ノイズエリアRR305は、ΘL1とΘR3によって、ノイズエリアC306は、ΘL1とΘR1によって、ノイズエリアNL307は、ΘL3とΘR2によって、ノイズエリアNC308は、ΘL3とΘR3によって、ノイズエリアLL309は、ΘL3とΘR1によって、特定される。
パワースペクトル推定部7”は、各収音信号周波数領域の信号YLL(ω,l)、YCL(ω,l)、YRL(ω,l)、YLR(ω,l)、YCR(ω,l)、YRR(ω,l)と音源領域情報A(ω,l)から、音源領域情報の先頭の領域情報から信号パワーを求めることができる領域情報まで選択した選択領域情報A’(ω,l)を算出し、選択領域情報に対応する音源の信号パワーXopt(ω,l)を周波数ごとに推定し、利得係数算出部130’へ出力する(S7”)。
利得係数算出部130’は、処理対象信号Y(ω,l)、選択領域情報に対応する音源の信号パワーXopt(ω,l)および選択領域情報A’(ω,l)から周波数領域ごとに利得係数R(ω,l)を求める(S130’)。
乗算部9では、このように求めた利得係数R(ω,l)を周波数領域ごとに処理対象信号生成部140から与えられる所望信号を主成分とする処理対象信号Y(ω,l)に乗算することにより、周波数領域ごとに雑音成分が抑圧された信号Z(ω,l)を出力する(S9)。
逆周波数領域変換部10は、周波数領域の信号Z(ω,l)を時間領域に変換した信号z(n)を出力する。なお、逆周波数領域変換部10は、乗算部9内に備えてもよい。これらの処理により信号のSN比を向上することができる。
次に、図2の収音装置と異なる構成部の詳細を説明する。図11は、音源発生領域推定部220の構成例を示している。音源発生領域推定部は、6つの入出力レベル差算出部221,222,223,224,225,226、入出力レベル差合成部227、領域選択部228から構成される。音源発生領域推定部220は、マイクロホンアレーL3Lの出力信号を利用し各収音部4−1,4−3,4−5で得られた各収音信号の各レベル差RLL(ω,l)、RCL(ω,l)、RRL(ω,l)を算出し、マイクロホンアレーR3Rの出力信号を利用し各収音部4−2,4−4,4−6で得られた各収音信号の各レベル差RLR(ω,l)、RCR(ω,l)、RLR(ω,l)を算出し、マイクロホンアレーLから得たレベル差の内の何れか1つとマイクロホンアレーRから得たレベル差の内の何れか1つからなる組合せの全てに対して領域別レベル差RA(ω,l)、RANR(ω,l)、RA(ω,l)、RA(ω,l)、RARR (ω,l)、RA (ω,l)、RANL (ω,l)、RANC(ω,l)、RALL(ω,l)を算出し、得られた領域別レベル差を大小関係
により並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報A(ω,l)として出力する。例えば、各収音部に接続された周波数領域変換部の出力信号はそれぞれ接続された入出力レベル差算出部に入力され、入出力レベル差算出部は、同じく入力された各マイクロホンアレーの任意のマイクロホンの出力信号を周波数領域に変換した信号(例えば、XR1(ω,l)、XLM(ω,l))とのレベル差を式(16)〜(21)のように除算することによって求め、その結果を入出力レベル差RLL(
ω,l)、RCL(ω,l)、RRL(ω,l)、RLR(ω,l)、RCR(ω,l)、RLR(ω,l)として出力する。
Figure 0005060465
入出力レベル差算出部で求められたそれぞれの収音部における入出力レベル差は、入出力レベル差合成部に入力される。入出力レベル差合成部では、式(22)で表されるように、レベル差を乗算することによって領域別レベル差を算出する。
Figure 0005060465
このとき式(22)の左辺に得られる行列の各要素は、領域別レベル差RA(ω,l)、RANR(ω,l)、RA(ω,l)、RA(ω,l)、RARR (ω,l)、RA (ω,l)、RANL (ω,l)、RANC(ω,l)、RALL(ω,l)としてそれぞれ出力され、領域選択部228へ入力される。領域選択部228では、入力された領域別レベル差を小さいものから順に並べ、同じ順番で対応する領域情報を並べた音源領域情報A(ω,l)として出力する。例えば、式(22)の左辺の行列の要素を昇順に並べたときに、次式(23)のようになるとすると、音源領域情報は、式(24)のようなターゲットエリア、またはノイズエリアを表す記号の集合として表される。
RAS(ω,l) < RANR(ω,l) < RAL(ω,l) < RAR(ω,l) < RARR(ω,l)
< RAC(ω,l) < RANL(ω,l) < RANC(ω,l) < RALL(ω,l) (23)
A(ω,l) = [S,NR,L,R,RR,C,NL,NC,LL] (24)
以上の処理は、図4に定義した9つの領域(S、NR,L,R,RR,C,NL,NC,LL)のうち、音源が存在する可能性が高い領域を推定するために行っている。第1,3,5収音部では、それぞれマイクロホンアレーL3Lからみて異なる角度領域ΘL1,ΘL2,ΘL3から到来する音を抑圧する。同様に、第2,4,6収音部では、それぞれマイクロホンアレーR3Rからみて異なる角度領域ΘR1,ΘR2,ΘR3から到来する音を抑圧する。従ってこれら各収音部に入力された信号(例えば、XLML(ω,l))と出力された信号(例えば、YLL(ω,l),YCL(ω,l),YRL(ω,l))の間で、信号のレベルに大きな減衰が見られるということは、音源のある角度領域を抑圧していると考えられ、その角度領域に音源がある可能性が高い。ここで述べた信号のレベル減衰を計算しているのが、式(16)〜(21)である。従って前述のマイクロホンアレーL3Lから見て特定の方向に音源が存在する可能性と、マイクロホンアレーR3Rから見て特定の方向に音源が存在する可能性に関する情報を組合せることで、9つの領域のうち、どの領域に音源が存在する可能性が高いかを知ることができる。このようにマイクロホンアレーL3Lで得たレベル差情報と、マイクロホンアレーR3Rで得たレベル差情報を組み合わせ、各領域に関するレベル差情報を得ているのが、式(22)である。そしてその結果を式(23)のように並べ替えて利用することにより、式(24)のように音源発生領域推定部では、音源が存在する可能性が高い領域を推定できる。
図12は、パワースペクトル推定部7”の機能構成例を示す図である。パワースペクトル推定部は、パワー演算部61、ベクトル化部62、乗算部63、擬似逆行列演算部64、ゲイン行列改良部66から構成される。ここでパワー演算部61、ベクトル化部62、乗算部63及び擬似逆行列演算部64は、特願2007−187594と同様であるため、説明を省略する。パワースペクトル推定部は、各収音部4−1〜4−6に設定される指向特性のゲインを各要素とするゲイン行列Tのうち、音源領域情報の先頭からQ番目までの領域情報に対応する改良ゲイン行列T’(但し、Qは、Q≦5かつrankT’=Qを満たすもっとも大きな自然数)と音源領域情報A(ω,l)のうち先頭からQ番目までを抽出した選択領域情報A’(ω,l)を求め、各収音部4−1〜4−6で得られた各収音信号と改良ゲイン行列T’から、選択領域情報A’(ω,l)に対応する音源の信号パワーを周波数ごとに推定する。例えば、ゲイン行列改良部66では、式(25)で定義されるゲイン行列T(ω)と音源領域情報A(ω)より、改良ゲイン行列T’(ω)と選択領域情報A’(ω,l)を算出して出力する。
Figure 0005060465
新しく導入したノイズエリア(NL307,NC308,NR302)を考慮して構成されるゲイン行列T(ω)のランクは最大でも5である。よって、逆擬似行列Tからパワースペクトル推定部において9つの領域のそれぞれで発生する音のパワースペクトルを正確に求めることはできない。そこで、改良ゲイン行列T’(ω)を算出する。改良ゲイン行列T’(ω)はゲイン行列T(ω)に含まれる9つの縦ベクトルのうち、音源領域情報A(ω,l)の先頭からQ番目までの領域に対応する縦ベクトルにより構成される行列である。但し、Qは、Q≦5かつrankT’(ω)を満たす最も大きな自然数である。つまりゲイン行列T(ω)を式(25)’のように9つの音源発生領域に対応したベクトルT(ω)=[t,tLL,t,t,t,tRR,tNL,tNC,tNR]で表すとすると、改良ゲイン行列T’(ω)は図13に示す処理例の流れによって算出される。なお、ここでは、例として、A(ω,l)=[S,LL,C,R,RR,NR,L,NL,NC]としている。まず音源発生領域のうち先頭から5番目までに含まれる音源領域情報[S,LL,C,R,RR]に対応する一次改良ゲイン行列T(1)(ω)=[t,tLL,t,t,tRR]を生成する。次に1次改良ゲイン行列T(1)(ω)の階数が5であるかどうかの判定を行い、条件を満たす場合には1次改良ゲイン行列T(1)(ω)を改良ゲイン行列T’(ω)とし、選択領域情報A’(ω,l)=[S,LL,C,R,RR]として出力する。条件を満たさない場合には、音源発生領域のうち先頭から4番目までに含まれる音源発生領域[S,LL,C,R]に対応する2次改良ゲイン行列T(2)(ω)=[t,tLL,t,t]を生成する。次に2次改良ゲイン行列の階数が4であるかどうかの判定を行い、条件を満たす場合には、2次改良ゲイン行列T(2)(ω)を改良ゲイン行列T’(ω)とし、選択音源発生領域A’(ω,l)=[S,LL,C,R]として出力する。この条件も満たさない場合には、音源発生領域のうち先頭から3番目までに含まれる音源領域情報[S,LL,C]に対応する行列を改良ゲイン行列T’(ω)=[t,tLL,t]として生成し、選択領域情報A’(ω,l)=[S,LL,C]としてを出力する。これは、ゲイン行列T(ω)から、何れの3つの縦ベクトルを抜き出して改良ゲイン行列T’(ω)を生成したとしても、階数は3となるためである。出力された改良ゲイン行列T’(ω)は擬似逆行列演算部64へ、選択領域情報A’(ω,l)は利得係数算出部130’へ入力される。改良ゲイン行列T’(ω)は、擬似逆行列演算部64へ入力され、擬似逆行列演算部64では、擬似逆行列Tを算出し、乗算部63へ出力される。乗算部63では、式(26)に示すようにパワーベクトルY(ω,l)と擬似逆行列Tの乗算を周波数成分毎に行い、選択領域情報A’(ω,l)に対応する領域の推定信号パワーベクトルXopt(ω、l)を出力する。
opt(ω,l)=TY(ω,l) (26)
図14は利得係数算出部130’の構成例を示す図である。利得係数算出部130’は、ベクトル要素抽出部81’、第1ゲイン算出部131’、第2ゲイン算出部132’、ゲイン乗算部133から構成される。ベクトル要素抽出部81’は、入力された推定信号パワーベクトルXopt(ω,l)から、選択領域情報A’(ω,l)に含まれる領域に対応する推定信号パワー|S(ω,l)|、推定左側方雑音パワー|NLL(ω,l)|、推定左方向雑音パワー|N(ω,l)|、推定正面方向雑音パワー|N(ω,l)|、推定右方向雑音パワー|N(ω,l)|、推定右側方雑音パワー|NRR(ω,l)|、推定左近傍雑音パワー|NNL(ω,l)|、推定正面近傍雑音パワー|NNC(ω,l)|、推定右近傍雑音パワー|NNR(ω,l)|のいずれか3つまたは4つまたは5つを出力する。なお、図14において、全てのパワーが出力されているが、これは、選択領域情報A’(ω,l)の内容によって、何れのパワーも出力されうることを意味する。例えば、選択領域情報A’(ω,l)=[S,NR,L,R,RR]とすると、|S(ω,l)|、|NNR(ω,l)|、|N(ω,l)|、|N(ω,l)|、|NRR(ω,l)|が出力される。
第1ゲイン算出部131’は、選択領域情報A’(ω,l)にS(ターゲットエリア)が含まれているか否か判定する。含まれている場合には、推定信号パワー|S(ω,l)|と処理対象信号Ys(ω,l)から、第1ゲイン係数Gs(ω,l)を次式のように算出する。
Figure 0005060465
選択領域情報A’(ω,l)にS(ターゲットエリア)が含まれていない場合には、前段のベクトル要素抽出部81’の出力に推定信号パワー|S(ω,l)|が含まれないことから、第1ゲイン係数Gs(ω,l)は以下のように信号を抑圧する定数Bsを代入する。Bsには例えば0.0001のような非常に小さい正の数を与える。
Gs(ω,l)=Bs
求めた第1ゲイン係数Gs(ω,l)をゲイン乗算部133へ出力する。
第2ゲイン算出部132’は、選択領域情報A’(ω,l)にS(ターゲットエリア)が含まれているか否か判定する。含まれている場合には、推定信号パワー|S(ω,l)|と選択領域情報A’(ω,l)に含まれる領域に対応する推定雑音パワーから第2ゲイン係数GSNR(ω,l)を計算する。例えば、選択音源発生領域A’がA’=[S,LL,L,C,R]のときは、次式のように算出する。
Figure 0005060465
選択領域情報A’(ω,l)にS(ターゲットエリア)が含まれていない場合には、前段のベクトル要素抽出部81’の出力に推定信号パワー|S(ω,l)|が含まれないことから、第2ゲイン係数Gs(ω,l)は以下のように信号を抑圧する定数Bs’を代入する。Bs’には例えば0.0001のような非常に小さい正の数を与える。
Gs(ω,l)=Bs’
求めた第2ゲイン係数Gs(ω,l)をゲイン乗算部133へ出力する。
ゲイン乗算部133は、次式のように第1ゲイン係数G(ω,l)と第2ゲイン係数GSNR(ω,l)との積を利得係数R(ω,l)として出力する。
R(ω,l)=G(ω,l)・GSNR(ω,l)
なお、本実施例では、第1ゲイン算出部、第2ゲイン算出部において、選択領域情報A’にSが含まれるか否か判定しているが、ベクトル要素推定部81’において、判定し、含まれない場合には、ベクトル要素推定部が、非常に小さな値をR(ω,l)として出力してもよい。また、利得係数算出部130’は、第2ゲイン算出部132’から得られるGSNR(ω,l)のみを利得係数R(ω,l)として出力してもよい。第2ゲイン係数GSNR(ω,l)は、算出過程でターゲットエリアを含む9つの領域から音源発生領域を推定した選択領域情報に対応した推定信号パワーベクトルXopt(ω,l)を利用して求められるため、各マイクロホンアレーと所望音源の間に存在する雑音を抑圧することができる。この場合、第1ゲイン算出部131’、ゲイン乗算部133、処理対象信号Ys(ω,l)の入力は不要となるため、構成を簡素化できるというメリットがある。その他の構成部の処理は、図2の収音装置と同じである。
本実施例において、従来技術と同等の効果が得られるのに加え、ターゲットエリアとマイクロホンアレーの間に位置する雑音が抑圧できるようになる原理について説明する。従来技術ではターゲットエリアとマイクロホンアレーの間には雑音源2’はないと仮定していた。このため、これらの領域(ノイズエリアNR302,NC308,NL307)に雑音源2’が位置した場合、問題が仮定の範囲外になってしまうため十分な雑音抑圧効果が得られなかった。一方、本発明においてはターゲットエリアとマイクロホンアレーの間に新たに3つのノイズエリアNR302,NC308,NL307を導入し、これらの領域内の雑音抑圧を可能にした。ここで新しく導入したノイズエリアを考慮して構成されるゲイン行列T(ω)のランクは最大でも5である。よって、逆擬似行列Tからパワースペクトル推定部において9つの領域のそれぞれで発生する音のパワースペクトルを正確に求めることはできない。また、特願2007−187594の第2実施形態の変形例のように、パワーベクトルY(ω,l)とゲイン行列Tから、推定信号パワーベクトルXopt(ω,l)が非負であるという拘束条件の下で、式(15)に示すように、Y(ω,l)とT・Xopt(ω,l)の二乗誤差が最小になる推定信号パワーベクトルXopt(ω,l)を求め、出力することも考えられる。
‖Y(ω,l)−T・Xopt(ω,l)‖
(但し、Xopt(ω,l)≧0) (15)
しかし、この本発明においては、求めるパワースペクトルが9つあり、計算処理量が膨大になるため、この方法を使うことはできない。つまり、単純に従来技術における問題設定を変えるだけでは課題は解決しない。
そこで本発明ではゲイン行列改良部及び音源発生領域推定部を導入する。前述のとおり音源発生領域推定部の前段にある各収音部では、それぞれが異なる方向に信号を抑圧する指向性のヌル(零点)を向けている。このため、各収音部の処理前後でどの程度信号のレベルに変化(減衰)が生じたかを求めることによって、どの方向から音が到来しているかを推定することができる。この処理を行っているのが、音源発生領域推定部の入出力レベル差算出部である。次にマイクロホンアレーL3L、3Rのそれぞれで求められたレベル差情報を組合せると、図4で定義されている9つの領域のうちどの領域から音が発生しているかを推定することができる。入出力レベル差合成部では、各マイクロホンアレーで求められたレベル差情報の組合せ処理を行っている。最後に領域選択部では、より音源が存在する可能性が高い領域から順に9つの領域の選択順位を決定している。具体的には、前記の各収音部でより信号レベルが低減された領域に音源がある可能性が高いことから、入出力レベル差合成部において求められた領域別レベル差の小さいほうから領域選択を行っている。次に音源発生領域推定部において得た音源の存在する領域に関する情報から、ゲイン行列の階数がフルランクになるような改良ゲイン行列を求める。一般に音声のような非定常な信号を扱う場合には、時間周波数平面で見たときにすべての音の成分が同じ時間周波数に集中することは極めて稀であることが知られている。これは例えば、Ozgur Yilmaz, Scott Rickard, “Blind Separation of Speech Mixtures via Time-Frequency Masking” IEEE Trans. on Signal Processing, Vol.52, Issue 7, pp1830-1847, 2004.に詳しく述べられている。このことから多くの時間周波数においては、9つ全ての領域の音が混合していることは殆どないといえる。本発明では、このことに注目して、音源が存在している可能性が高いいくつかの領域のパワースペクトルだけを推定し、それ以外の領域では音は発生していないと考えることで、上述のゲイン行列が抱えるランク落ちの問題を解決している。
次に本実施例の収音装置での実験結果を示す。図15は実験環境を示す図である。それぞれのマイクロホンアレーには、4つのマイクロホンが直線状に3cmの等間隔で配置されている。座標の単位はメートルであり、(0.5,0)と(−0.5,0)にそれぞれの中心が位置している。所望音源(対象話者の位置)が(0,0.5)にある。そして、3つの異なる背景雑音源(その他の話者の位置)が(0.0,2.0)、(―1.5,2.0)、(0.0,0.2)に配置されている。
図16(A)は所望音源の源信号を、(B)は(0.0,0.2)に配置された背景雑音源を、(C)は従来技術の出力を、(D)は実施例1の収音装置の出力を示す図である。
図16(B)と図16(C)を比較すると、従来技術では、ターゲットエリアとマイクロホンアレーの間に配置される話者2の発する雑音が抑圧されずに残っていることが分かる。一方、図(D)ではそのような部分の信号も他のノイズエリアの信号と同様に抑圧されている。図17は、図16(B)の(0.0,0.2)に配置された背景雑音源の抑圧量を示したグラフである。なお、図17は、縦軸の値が、大きくなるほど、抑圧量が多く性能が良いことを示している。この結果から従来技術では雑音が殆ど抑圧できていないことがわかる。本発明による方法では、抑圧効果が得られていることが定量的な観点からも確認できる。
なお、本実施例においては、マイクロホンアレーLが収音することができる全角度領域の中に、角度領域ΘL1、ΘL2、ΘL3を設け、マイクロホンアレーRが収音することができる全角度領域の中に、角度領域ΘR1、ΘR2、ΘR3を設けているが、マイクロホンアレーLが収音することができる全角度領域の中に、M個(M≧3)の角度領域ΘL1、ΘL2、・・・、ΘLMを設け、マイクロホンアレーRが収音することができる全角度領域の中に、N個(N≧3)の角度領域ΘR1、ΘR2、・・・、ΘRNを設けてもよい。但し、ターゲットエリアは、予め定められたマイクロホンアレーLの角度領域(ΘL1とΘLMを除く)と予め定めたマイクロホンアレーRの角度領域(ΘR1とΘRNを除く)の重複する領域とする。この場合、処理対象信号生成部では、ターゲットエリアを含む角度領域の音を収音する収音部の信号を用いて、処理対象信号を生成する。音源発生領域推定部では、各収音部で得られた各収音信号を用いて、マイクロホンアレーLのM個の角度領域とマイクロホンアレーRのN個の角度領域が重複するM×N個以下の領域の領域別レベル差を求め、この領域別レベル差を大小関係によって並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報として出力する。パワースペクトル推定部では、各収音部で得られた各収音信号と音源領域情報から、音源領域情報の先頭の領域情報から信号パワーを求めることができる領域情報まで選択した選択領域情報を算出し、選択領域情報に対応する音源の信号パワーを周波数ごとに推定する。例えば、各収音部に対する指向特性のゲインを各要素とするゲイン行列T(ω)を生成する。次に、rankT(ω)を算出する。音源領域情報の先頭からP番目までの領域情報に対応する改良ゲイン行列T’(但し、Pは、P≦rankT(ω)かつrankT’=Pを満たすもっとも大きな自然数)と音源領域情報A(ω,l)のうち先頭からP番目までを抽出した選択領域情報A’(ω,l)を求め、各収音部で得られた各収音信号と改良ゲイン行列T’から、選択領域情報A’(ω,l)に対応する音源の信号パワーを周波数ごとに推定する。このような処理を行うことによって、マイクロホンアレーの角度領域が3つ以上の場合にも、本実施例と同様にマイクロホンアレーと所望音源の間にある雑音を抑圧することができる。
[変形例]
次に、図20に実施例1の変形例である収音装置を示す。実施例1で説明した収音装置(図9参照)と比較すると、処理対象信号生成部140’が処理対象信号生成部140’’に代替されている点で異なる。図21に処理対象信号生成部140’’の機能構成例を示す。
マイクロホンアレーLに搭載される複数のマイクロホンからのM個(複数)の出力信号xLmL(n)(ただし、mL=1,2,・・・,M)は周波数領域変換手段202に入力される。周波数領域変換手段202は、M個の出力信号xLmL(n)を周波数領域に変換することで、M個のL周波数領域信号XLmL(ω、l)を生成する。
個のL周波数領域信号XLmL(ω、l)は、振幅算出手段204に入力される。振幅算出手段204は、M個のL周波数領域信号XLmL(ω、l)それぞれについて、M個のL振幅スペクトル│XLmL(ω、l)│を求める。求められたM個のL振幅スペクトル│XLmL(ω、l)│は平均計算手段206に入力される。
一方、マイクロホンアレーRに搭載される複数のマイクロホンからのM個の出力信号xRmR(n)(ただし、mR=1,2,・・・,M)についても、上述の周波数領域変換手段202、振幅算出手段204による処理で、M個のR振幅スペクトル│XRmR(ω、l)│を求める。M個のR振幅スペクトル│XRmR(ω、l)│は平均計算手段206に入力される。
平均計算手段206は、M個のL振幅スペクトルおよびM個のR振幅スペクトルの平均である平均振幅スペクトル│Y(ω、l)│が求められる。具体的には例えば以下の式により求められる。
Figure 0005060465
ここで、重み係数wLp、wRqはそれぞれ正の実数であり、例えば、マイクロホンアレーL、マイクロホンアレーRに含まれるマイクロホンの数がそれぞれM、Mの場合には、例えば、wLp=1/M、wRq=1/Mになる。求められた平均振幅スペクトル│Y(ω、l)│は複素数形成手段212に入力される。
一方、信号平均手段208は、収音部からの周波数領域の信号の平均である平均信号Y(ω、l)AVGを求める。この例では、信号平均手段208は、4つの信号、つまり、第1収音部4−1からの出力信号YLL(ω、l)、第2収音部4−2からの出力信号YLR(ω、l)、第5収音部4−5からの出力信号YLL(ω、l)、第6収音部4−6からの出力信号YRR(ω、l)の平均である平均信号Y(ω、l)AVGを求める。信号平均手段208の処理内容は、実施例1で説明した処理対象信号生成部140’と同様の処理なので省略する。
位相算出手段210は、平均信号Y(ω、l)AVGの位相である平均信号位相φ(ω、l)を求める。位相の生成手法は、公知の技術を用いればよく、例えば以下の式により求めることができる。
φ(ω、l)=∠Y(ω、l)AVG
求められたφ(ω、l)は、複素数形成手段212に入力される。複素数形成手段212は、処理対象信号Y(ω、l)(周波数スペクトル)を求める。処理対象信号Y(ω、l)の振幅は、平均振幅スペクトル│Y(ω、l)│であり、位相はφ(ω、l)である。複素数形成手段212から出力される処理対象信号Y(ω、l)を複素数で表すと、以下の式になる。ただし、振幅を│Y(ω、l)│とし位相角をφ(ω、l)とする。
(ω、l)=│Y(ω、l)│eφ(ω、l)
また、周波数領域手段202の一部または全部は、周波数領域変換部210、211や周波数領域変換部5と併用しても良い。
この変形例の収音装置と上述の実施例1の収音装置との効果の違いについて説明する。上記実施例1の乗算部9で、処理対象信号Y(ω、l)に対して周波数領域毎に乗算されるR(ω、l)は、上記第1ゲイン係数G(ω、l)および第2ゲイン係数GSNR(ω、l)の式からも理解されるように、入力された信号の振幅のみに処理を施すものであり、位相に対しては何らの処理も施していない。このため、実施例1の処理対象信号生成部140’では、予め所望信号方向に指向性のビームが向けられている第1収音部、第2収音部、第5収音部、第6収音部の出力を用いることで、出力される信号の位相が所望信号の位相に近くなるようにしている。しかし、処理対象信号生成部140’からの処理対象信号Y(ω、l)に対してGSNR(ω、l)を乗じると以下の理由から問題が生じる場合がある。GSNR(ω、l)は分母に入力された信号のパワースペクトルの推定値の和を、分子に所望信号のパワースペクトル│S(ω、l)│をそれぞれ持っているが、これは乗算部9に入力された信号の振幅がマイクロホンの信号の振幅と同じであると仮定したときに、推定された所望信号を強調するためである。従って、実施例1における処理対象信号生成部140’からの処理対象信号Y(ω、l)に、GSNR(ω、l)を乗算した場合、乗算部9から出力される信号Z(ω、l)の振幅はGSNR(ω、l)の分子にある推定された所望信号のスペクトル│S(ω、l)│とは等しくならない。
一方、この変形例に示した処理対象信号140’’中の位相算出手段210で、収音部からの信号(マイクロホンからの出力信号に対して抑圧などの処理を施した信号)に対して、位相スペクトルを求め、複素数形成手段212で処理対象信号Y(ω、l)に対して、当該位相スペクトルを反映していることから、乗算部9から出力信号Z(ω、l)についても位相スペクトルを正確に表現できる。また、振幅については、振幅算出手段204がマイクロホンからの出力信号(なんらの処理も施されていない信号)についての振幅を求め、複素数形成手段212で処理対象信号Y(ω、l)に対して、当該振幅を反映していることから、GSNR(ω、l)を乗算した後に、より正確に推定された所望信号のスペクトルを表現できる。その結果、逆周波数領域変換部10からの出力信号(所望信号)z(n)について、実施例1と比較して、雑音の抑圧効果および強調した音と信号の質を向上できる。
以下、実施例1と異なる部分についてのみ記載する。以下に説明する処理を行なうことにより所望音源1の音が強調されて収音され、背景雑音源2及び2’の音は抑圧される。図18に、実施例2の収音装置全体の構成例を示す。実施例1とは各収音部4’−1〜4’−6、処理信号生成部140’、音源発生領域推定部220’の処理内容が異なる。
本実施例において、第1収音部4’−1は、マイクロホンアレーL3Lの出力信号を利用して、角度領域ΘL1から得られる出力信号を収音し、収音信号yLL(n)を出力する。第3収音部4’−3は、角度領域ΘL2から得られる出力信号を収音し、収音信号yCL(n)を出力する。第5収音部4’−5は、角度領域ΘL3から得られる出力信号を収音し、収音信号yRL(n)を収音する。第2収音部4’−2は、マイクロホンアレーR3Rの出力信号を利用して、角度領域ΘR1から得られる出力信号を収音し、収音信号yLR(n)を出力する。第4収音部4’−4は、角度領域ΘR2から得られる出力信号を収音し、収音信号yCR(n)を出力する。第6収音部4’−6は、角度領域ΘR3から得られる出力信号を収音し、収音信号yRR(n)を出力する。
処理対象信号生成部140’は、周波数領域に変換された第3収音部4−3からの信号YCL(ω,l)と第4収音部4−4からの信号YCR(ω,l)の平均を、処理対象信号Y(ω,l)として出力する。
音源発生領域推定部220’の領域選択部228’では、入力された領域別レベル差を大きいものから順に並べ、同じ順番で対応する領域情報を並べた音源領域情報A(ω,l)として出力する。例えば、式(22)の左辺の行列の要素を昇順に並べたときに、次式(27)のようになるとすると、音源領域情報は、式(28)のようなターゲットエリア、またはノイズエリアを表す記号の集合として表される。
RAS(ω,l) > RANR(ω,l) > RAL(ω,l) > RAR(ω,l) > RARR(ω,l)
> RAC(ω,l) > RANL(ω,l) > RANC(ω,l) > RALL(ω,l) (27)
A(ω,l) = [S,NR,L,R,RR,C,NL,NC,LL] (28)
第1,3,5収音部では、それぞれマイクロホンアレーL3Lからみて異なる角度領域ΘL1,ΘL2,ΘL3から到来する音を収音する。同様に、第2,4,6収音部では、それぞれマイクロホンアレーR3Rからみて異なる角度領域ΘR1,ΘR2,ΘR3から到来する音を収音する。従ってこれら各収音部に入力された信号(例えば、XLML(ω,l))と出力された信号(例えば、YLL(ω,l),YCL(ω,l),YRL(ω,l))の間で、信号のレベルに大きな減衰が見られないということは、音源のある角度領域を収音していると考えられ、その角度領域に音源がある可能性が高い。その他の構成部の処理は、実施例1の収音装置と同じである。
図19に、コンピュータの機能構成例を示す。なお、本発明の収音装置は、コンピュータ2000の記録部2020に、本発明の各構成部としてコンピュータ2000を動作させるプログラムを読み込ませ、処理部2010、入力部2030、出力部2040などを動作させることで実現できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
(A)は従来技術の利用状況の一例を示す図。(B)は本発明の利用状況の一例を示す図。 特願2007−187594の第2実施形態の収音装置の全体の構成を示す図。 第1収音部4−1の機能構成例を示す図。 各マイクロホンアレーの角度領域、ターゲットエリア及びノイズエリアを示す図。 処理対象信号生成部140の機能構成例を示す図。 特願2007−187594のパワースペクトル推定部7の機能構成例を示す図。 特願2007−187594の利得係数算出部130の機能構成例を示す図。 特願2007−187594の第2実施形態のパワースペクトル推定部の変形例を示す図。 実施例1の収音装置全体の構成例を示す。 実施例1の収音装置の処理フローを示す図。 音源発生領域推定部220の構成例を示す図。 実施例1のパワースペクトル推定部の機能構成例を示す図。 改良ゲイン行列T’(ω)を算出する処理例の流れを示す図。 利得係数算出部130’の構成例を示す図。 実施例1の収音装置での実験環境を示す図。 (A)は所望音源の源信号を、(B)は(0.0,0.2)に配置された背景雑音源を、(C)は従来技術の出力を、(D)は実施例1の収音装置の出力を示す図。 図16(B)の(0.0,0.2)に配置された背景雑音源の抑圧量を示したグラフ。 実施例2の収音装置全体の構成例を示す図。 コンピュータの機能構成例を示す図。 実施例1の変形例の収音装置全体の構成例を示した図。 処理対象信号生成部140’’の機能構成例を示した図。
符号の説明
1 所望音源 2、2’ 背景雑音
3L、3R マイクロホンアレー
4−1、4’−1 第1収音部 4−2、4’−2 第2収音部
4−3、4’−3 第3収音部 4−4、4’−4 第4収音部
4−5、4’−5 第5収音部 4−6、4’−6 第6収音部
5 周波数領域変換部 7,7’、7” パワースペクトル推定部
9 乗算部 10 逆周波数領域変換部
130、130’ 利得係数算出部 140、140’ 処理対象信号生成部
210,211 周波数領域変換部 220、220’ 音源発生領域推定部

Claims (8)

  1. 複数のマイクロホンを搭載して構成されるマイクロホンアレーLが収音することができる全角度領域の中に、M個(M≧3)の角度領域ΘL1、ΘL2、・・・、ΘLMを設け、複数のマイクロホンを搭載して構成されるマイクロホンアレーRが収音することができる全角度領域の中に、N個(N≧3)の角度領域ΘR1、ΘR2、・・・、ΘRNを設けた場合に、予め定められたマイクロホンアレーLの角度領域(但し、ΘL1とΘLMを除く)と予め定めたマイクロホンアレーRの角度領域(但し、ΘR1とΘRNを除く)の重複する領域に位置する所望音源を収音する収音装置であって、
    前記マイクロホンアレーLの出力信号を利用して、異なる前記角度領域の音を収音する3つ以上の収音部と、前記マイクロホンアレーRの出力信号を利用して、異なる前記角度領域の音を収音する3つ以上の収音部と、
    予め定められた1つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成部と、
    各前記収音部で得られた各収音信号を用いて、前記マイクロホンアレーLのM個の角度領域と前記マイクロホンアレーRのN個の角度領域が重複するM×N個以下の領域の領域別レベル差を求め、この領域別レベル差を大小関係によって並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報として出力する音源発生領域推定部と、
    各前記収音部で得られた各収音信号と前記音源領域情報から、前記音源領域情報の先頭の領域情報から信号パワーを求めることができる領域情報まで選択した選択領域情報を算出し、前記選択領域情報に対応する音源の信号パワーを周波数ごとに推定するパワースペクトル推定部と、
    前記選択領域情報に対応する音源の信号パワーおよび前記選択領域情報から周波数ごとに利得係数を求める利得係数算出部と、
    前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算部と、
    を有することを特徴とする収音装置。
  2. 請求項1記載の収音装置であって、
    前記マイクロホンアレーLが収音することができる全角度領域の中に、角度領域ΘL1と前記角度領域ΘL1に隣接する角度領域ΘL2と前記角度領域ΘL2に隣接する角度領域ΘL3を設け、前記マイクロホンアレーRが収音することができる全角度領域の中に、角度領域ΘR1と前記角度領域ΘR1に隣接する角度領域ΘR2と前記角度領域ΘR2に隣接する角度領域ΘR3を設けた場合に、前記角度領域ΘL2と前記角度領域ΘR2の重複する領域に位置する前記所望音源を収音し、
    前記マイクロホンアレーLの出力信号を利用して、異なる前記角度領域の音を収音する3つの前記収音部と、前記マイクロホンアレーRの出力信号を利用して、異なる前記角度領域の音を収音する3つの前記収音部と、
    前記マイクロホンアレーLの出力信号を利用し各前記収音部で得られた各収音信号の各レベル差を算出し、前記マイクロホンアレーRの出力信号を利用し各前記収音部で得られた各収音信号の各レベル差を算出し、前記マイクロホンアレーLから得たレベル差の内の何れか1つと前記マイクロホンアレーRから得たレベル差の内の何れか1つからなる組合せの全てに対して領域別レベル差を算出し、得られた領域別レベル差を大小関係により並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報として出力する前記音源発生領域推定部と、
    各前記収音部に設定される指向特性のゲインを各要素とするゲイン行列Tのうち、音源領域情報の先頭からQ番目までの領域情報に対応する改良ゲイン行列T’(但し、Qは、Q≦5かつrankT’=Qを満たすもっとも大きな自然数)と音源領域情報のうち先頭からQ番目までを抽出した選択領域情報を求め、各前記収音部で得られた各収音信号と改良ゲイン行列T’から、前記選択領域情報に対応する音源の信号パワーを周波数ごとに推定する前記パワースペクトル推定部と、
    を有することを特徴とする収音装置。
  3. 請求項1または2記載の収音装置であって、
    前記処理対象信号生成部は、
    前記マイクロホンアレーLに搭載される複数のマイクロホンからの出力信号をそれぞれ周波数領域に変換することで複数のL周波数領域信号を生成し、前記マイクロホンアレーRに搭載される複数のマイクロホンからの出力信号をそれぞれ周波数領域に変換することで複数のR周波数領域信号を生成する周波数領域変換手段と、
    前記複数のL周波数領域信号それぞれのL振幅スペクトル、および前記複数のR周波数領域信号それぞれのR振幅スペクトルを求める振幅算出手段と、
    複数の前記L振幅スペクトルおよび複数の前記R振幅スペクトルの平均である平均振幅スペクトルを求める平均計算手段と、
    前記収音部からの周波数領域の信号の平均である平均信号を求める信号平均手段と、
    前記平均信号の位相である平均信号位相を求める位相算出手段と、
    前記平均振幅スペクトルを振幅とし、前記平均信号位相を位相とする前記処理対象信号を生成する複素数形成手段と、を具備するものであることを特徴とする収音装置。
  4. 複数のマイクロホンを搭載して構成されるマイクロホンアレーLが収音することができる全角度領域の中に、M個(M≧3)の角度領域ΘL1、ΘL2、・・・、ΘLMを設け、複数のマイクロホンを搭載して構成されるマイクロホンアレーRが収音することができる全角度領域の中に、N個(N≧3)の角度領域ΘR1、ΘR2、・・・、ΘRNを設けた場合に、予め定められたマイクロホンアレーLの角度領域(但し、ΘL1とΘLMを除く)と予め定めたマイクロホンアレーRの角度領域(但し、ΘR1とΘRNを除く)の重複する領域に位置する所望音源を収音する収音方法であって、
    前記マイクロホンアレーLの出力信号を利用して、それぞれ異なる3つ以上の前記角度領域の音を収音する収音ステップと、前記マイクロホンアレーRの出力信号を利用して、それぞれ異なる3つ以上の前記角度領域の音を収音する収音ステップと、
    予め定められた1つ以上の前記マイクロホンからの信号または前記収音ステップで得られた信号から、処理対象信号を生成する処理対象信号生成ステップと、
    各前記収音ステップで得られた各収音信号を用いて、前記マイクロホンアレーLのM個の角度領域と前記マイクロホンアレーRのN個の角度領域が重複するM×N個以下の領域の領域別レベル差を求め、この領域別レベル差を大小関係によって並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報として出力する音源発生領域推定ステップと、
    各前記収音ステップで得られた各収音信号と前記音源領域情報から、前記音源領域情報の先頭の領域情報から信号パワーを求めることができる領域情報まで選択した選択領域情報を算出し、前記選択領域情報に対応する音源の信号パワーを周波数ごとに推定するパワースペクトル推定ステップと、
    前記選択領域情報に対応する音源の信号パワーおよび前記選択領域情報から周波数ごとに利得係数を求める利得係数算出ステップと、
    前記利得係数算出ステップで算出した利得係数を前記処理対象信号に乗算する乗算ステップと、
    を有することを特徴とする収音方法。
  5. 請求項4記載の収音方法であって、
    前記マイクロホンアレーLが収音することができる全角度領域の中に、角度領域ΘL1と前記角度領域ΘL1に隣接する角度領域ΘL2と前記角度領域ΘL2に隣接する角度領域ΘL3を設け、前記マイクロホンアレーRが収音することができる全角度領域の中に、角度領域ΘR1と前記角度領域ΘR1に隣接する角度領域ΘR2と前記角度領域ΘR2に隣接する角度領域ΘR3を設けた場合に、前記角度領域ΘL2と前記角度領域ΘR2の重複する領域に位置する前記所望音源を収音し、
    前記マイクロホンアレーLの出力信号を利用して、それぞれ異なる3つの前記角度領域の音を収音する前記収音ステップと、前記マイクロホンアレーRの出力信号を利用して、それぞれ異なる3つの前記角度領域の音を収音する前記収音ステップと、
    前記マイクロホンアレーLの出力信号を利用し各前記収音ステップで得られた各収音信号の各レベル差を算出し、前記マイクロホンアレーRの出力信号を利用し各前記収音ステップで得られた各収音信号の各レベル差を算出し、前記マイクロホンアレーLから得たレベル差の内の何れか1つと前記マイクロホンアレーRから得たレベル差の内の何れか1つからなる組合せの全てに対して領域別レベル差を算出し、得られた領域別レベル差を大小関係により並び替え、並び替えた領域別レベル差に対応するように並べた領域情報を音源領域情報として出力する前記音源発生領域推定ステップと、
    各前記収音ステップにおいて設定される指向特性のゲインを各要素とするゲイン行列Tのうち、音源領域情報の先頭からQ番目までの領域情報に対応する改良ゲイン行列T’(但し、Qは、Q≦5かつrankT’=Qを満たすもっとも大きな自然数)と音源領域情報のうち先頭からQ番目までを抽出した選択領域情報を求め、各前記収音ステップで得られた各収音信号と改良ゲイン行列T’から、前記選択領域情報に対応する音源の信号パワーを周波数ごとに推定する前記パワースペクトル推定ステップと、
    を有することを特徴とする収音方法。
  6. 請求項4または5記載の収音方法であって、
    前記処理対象信号生成ステップは、
    前記マイクロホンアレーLに搭載される複数のマイクロホンからの出力信号をそれぞれ周波数領域に変換することで複数のL周波数領域信号を生成し、前記マイクロホンアレーRに搭載される複数のマイクロホンからの出力信号をそれぞれ周波数領域に変換することで複数のR周波数領域信号を生成する周波数領域変換ステップと、
    前記複数のL周波数領域信号それぞれのL振幅スペクトル、および前記複数のR周波数領域信号それぞれのR振幅スペクトルを求める振幅算出ステップと、
    複数の前記L振幅スペクトルおよび複数の前記R振幅スペクトルの平均である平均振幅スペクトルを求める平均計算ステップと、
    前記収音ステップで得られた周波数領域の信号の平均である平均信号を求める信号平均手段と、
    前記平均信号の位相である平均信号位相を求める位相算出ステップと、
    前記平均振幅スペクトルを振幅とし、前記平均信号位相を位相とする前記処理対象信号を生成する複素数形成ステップと、を有するものであることを特徴とする収音方法。
  7. 請求項1〜3何れかに記載の収音装置として、コンピュータを動作させる収音プログラム。
  8. 請求項7記載の収音プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008323559A 2008-06-19 2008-12-19 収音装置、収音方法、収音プログラム、記録媒体 Expired - Fee Related JP5060465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008323559A JP5060465B2 (ja) 2008-06-19 2008-12-19 収音装置、収音方法、収音プログラム、記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008160038 2008-06-19
JP2008160038 2008-06-19
JP2008323559A JP5060465B2 (ja) 2008-06-19 2008-12-19 収音装置、収音方法、収音プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2010026485A JP2010026485A (ja) 2010-02-04
JP5060465B2 true JP5060465B2 (ja) 2012-10-31

Family

ID=41732334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008323559A Expired - Fee Related JP5060465B2 (ja) 2008-06-19 2008-12-19 収音装置、収音方法、収音プログラム、記録媒体

Country Status (1)

Country Link
JP (1) JP5060465B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5691804B2 (ja) * 2011-04-28 2015-04-01 富士通株式会社 マイクロホンアレイ装置及び音信号処理プログラム
JP5482854B2 (ja) * 2012-09-28 2014-05-07 沖電気工業株式会社 収音装置及びプログラム
JP5488679B1 (ja) * 2012-12-04 2014-05-14 沖電気工業株式会社 マイクロホンアレイ選択装置、マイクロホンアレイ選択プログラム及び収音装置
JP5737342B2 (ja) * 2013-07-22 2015-06-17 沖電気工業株式会社 収音装置及びプログラム
JP5648760B1 (ja) * 2014-03-07 2015-01-07 沖電気工業株式会社 収音装置及びプログラム
JP7025303B2 (ja) * 2018-08-28 2022-02-24 シャープ株式会社 音響システム
JP6879340B2 (ja) 2019-07-29 2021-06-02 沖電気工業株式会社 収音装置、収音プログラム、及び収音方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434215B2 (ja) * 1998-02-20 2003-08-04 日本電信電話株式会社 収音装置,音声認識装置,これらの方法、及びプログラム記録媒体

Also Published As

Publication number Publication date
JP2010026485A (ja) 2010-02-04

Similar Documents

Publication Publication Date Title
JP5060465B2 (ja) 収音装置、収音方法、収音プログラム、記録媒体
JP4724054B2 (ja) 特定方向収音装置、特定方向収音プログラム、記録媒体
JP5530741B2 (ja) 残響抑圧装置及び残響抑圧方法
JP5079761B2 (ja) 直間比推定装置、音源距離測定装置、雑音除去装置、各装置の方法と、装置プログラム
JP2007318528A (ja) 指向性集音装置、指向性集音方法、及びコンピュータプログラム
CN106031196B (zh) 信号处理装置、方法以及程序
JP4928382B2 (ja) 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体
JP4473829B2 (ja) 収音装置、プログラム及びこれを記録した記録媒体
JP4928376B2 (ja) 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP6190373B2 (ja) オーディオ信号ノイズ減衰
JP4886616B2 (ja) 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP2011119898A (ja) 音声取得装置、音声取得方法、音声取得プログラム
JP2008141593A (ja) 音声収音装置、その方法、そのプログラム、およびその記録媒体
JP6517124B2 (ja) 雑音抑圧装置、雑音抑圧方法、およびプログラム
JP5143802B2 (ja) 雑音除去装置、遠近判定装置と、各装置の方法と、装置プログラム
JP5635024B2 (ja) 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム
EP2809086B1 (en) Method and device for controlling directionality
JP5105336B2 (ja) 音源分離装置、プログラム及び方法
JP5762478B2 (ja) ノイズ抑圧装置、ノイズ抑圧方法、及びそのプログラム
JP5683140B2 (ja) 耐雑音直間比推定装置、干渉雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム
JP2005062096A (ja) 話者位置検出方法、装置、プログラム、および記録媒体
JP5826465B2 (ja) 瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム
JP2020148880A (ja) 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム
JP6263890B2 (ja) 音声信号処理装置及びプログラム
JP5713933B2 (ja) 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5060465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees