JP5395895B2 - 信号処理方法およびシステム - Google Patents

信号処理方法およびシステム Download PDF

Info

Publication number
JP5395895B2
JP5395895B2 JP2011510085A JP2011510085A JP5395895B2 JP 5395895 B2 JP5395895 B2 JP 5395895B2 JP 2011510085 A JP2011510085 A JP 2011510085A JP 2011510085 A JP2011510085 A JP 2011510085A JP 5395895 B2 JP5395895 B2 JP 5395895B2
Authority
JP
Japan
Prior art keywords
signal
user
microphone
processor
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011510085A
Other languages
English (en)
Other versions
JP2011525724A (ja
Inventor
イェフダイ,ユリ
ハイマン,アリエ
Original Assignee
ボーン・トーン・コミュニケイションズ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ボーン・トーン・コミュニケイションズ・リミテッド filed Critical ボーン・トーン・コミュニケイションズ・リミテッド
Publication of JP2011525724A publication Critical patent/JP2011525724A/ja
Application granted granted Critical
Publication of JP5395895B2 publication Critical patent/JP5395895B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Telephone Function (AREA)

Description

関連する特許出願の相互参照
本出願は、2008年5月22日に提出され(および「Method and Apparatus for Reducing Ambient Noise for Mobile Devices by Using Combination of Auditory Signal, Microphones and Bone Conduction Speakers」と題名された)米国出願第61/055,176号明細書の利益を主張し、これはその全体が参照により本書に組み込まれる。
携帯電話が非常に普及するようになり、人々はこれを様々なノイズの多い環境で使用している。ノイズの多い環境では、マイクロホンは騒音と合成されたユーザの音声信号を拾う。騒音が非常に強い場合には、遠端の信号受信部は品質が低下した音声を受信し、極端な場合には音声を理解できなかった。騒音のため近端では、ユーザは幾つかの場合に遠端で話す音声が十分に聞こえない。
この騒音の影響を低減する様々な技術と製品がある。幾つかは1つのマイクロホンを使用しており、近端ユーザの沈黙中に騒音が推定され、これは会話中にノイズを低減するのに用いられる。
他の技術は2つのマイクロホンを使用しており、1つは、騒音と合成された音声を拾うよう設計されている。2つ目は、主に騒音を拾い上げるよう設計されている。
先行技術は十分に有効でなく、大量の計算を必要とする。信号を処理するための簡単で有効な手段に対するニーズがある。
音声を処理するシステムにおいて、当該システムが、(a)検出時間に第1マイクロホンによって検出される第1入力信号と、前記検出時間に第2マイクロホンによって検出される第2入力信号と、前記検出時間に骨導マイクロホンによって検出される第3入力信号とを処理し、前記第1、第2、および第3入力信号に応答する訂正信号を生成するよう構成されたプロセッサと、(b)外部システムに前記訂正信号を提供するよう構成された通信インタフェースとを具える。
音声を処理する方法において、当該方法が、(a)検出時間に第1マイクロホンによって検出される第1入力信号と、前記検出時間に第2マイクロホンによって検出される第2入力信号と、前記検出時間に骨導マイクロホンによって検出される第3入力信号とを処理し、前記第1、第2、および第3入力信号に応答する訂正信号を生成するステップと、(b)外部システムに前記訂正信号を提供するステップとを含む。
音声を処理するシステムにおいて、当該システムが、(a)検出時間に第1マイクロホンによって検出される第1入力信号と、前記検出時間にユーザの耳内に少なくとも部分的に設けられる第2マイクロホンによって検出される第2入力信号とを処理し、前記第1および第2入力信号に応答する訂正信号を生成するよう構成されたプロセッサと、(b)外部システムに前記訂正信号を提供するための通信インタフェースとを具える。
音声を処理する方法において、当該方法が、(a)検出時間に第1マイクロホンによって検出される第1入力信号と、前記検出時間にユーザの耳内に少なくとも部分的に設けられる第2マイクロホンによって検出される第2入力信号とを処理し、前記第1および第2入力信号に応答する訂正信号を生成するよう構成されたプロセッサと、(b)外部システムに前記訂正信号を提供するステップとを含む。
本発明と関係する内容は、明細書の結論部分で特に指摘され、明確にクレームされている。しかしながら本発明は、これらの目的、特徴および利点と共に、構成と動作方法の双方に関して、添付図面と共に読むとき以下の詳細な説明を参照することにより最も良く理解される。
図1は、本発明の実施形態に係る信号処理システムを示す。 図2Aは、本発明の実施形態に係る検出部を示す。 図2Bは、本発明の実施形態に係る検出部を示す。 図3は、本発明の実施形態に係るプロセッサおよび対応する処理を示す。 図4は、本発明の実施形態に係るシステムを示す。 図5は、本発明の実施形態に係る処理のプロセッサおよび対応するプロセスを示す。 図6は、本発明の実施形態に係る処理のプロセッサおよび対応するプロセスを示す。 図7は、本発明の実施形態に係る信号処理システムを示す。 図8は、NMSE推定のグラフを示す。 図9は、本発明の実施形態に係る音声処理システムを示す。 図10は、本発明の実施形態に係る音声処理方法を示す。 図11は、本発明の実施形態に係る音声処理システムを示す。 図12は、本発明の実施形態に係る音声処理方法を示す。 説明の簡潔性および明瞭性のため、図面に示される要素は必ずしも一律の縮尺に描かれていないことを認識するであろう。例えば、要素の幾つかの寸法は明瞭性のため他の要素に対して誇張されるであろう。さらに、適切であるとみなされる場合、対応する要素または類似する要素を示すために参照符号が図面間で繰り返されるであろう。
以下の詳細な説明では、多数の具体的な詳細が、本発明の完全な理解を提供するために説明される。しかしながら、本発明はこれらの具体的な詳細なしに実施されてもよいことを当業者により理解されるであろう。他の実施例では、本発明を不明瞭にしないように周知の方法、手順および要素は詳細に記載されていない。
本書で開示されるシステムおよび方法は、例えばこの幾つかの実装に応じて用いられてもよく、音声信号、マイクロホン、および骨導スピーカまたは骨導マイクロホンの組み合わせを用いることによって、モバイルデバイスの騒音を低減する。他の用途(この幾つかは実施例として提供される)が実装されてもよい。
幾つかの実施形態によれば、本書で開示されたシステムおよび方法は複数のマイクロホンを利用し、音声と騒音を収集する。実装コストおよびまたは複雑さを減らすために、幾つかのマイクロホンは、マイクロホン専用ではなく、本発明の実施形態によればマイクロホンとしてスピーカが用いられてもよい。
本発明の範囲外に拡張せずに、例えばノイズの低減を改善するために、図面に関連して記載されたものとは異なる構成または異なる数のスピーカまたはマイクロホンを用いるように、本書で開示されたシステムおよび方法を一般化してもよいことに注意されたい。
図1は、本発明の実施形態に係る信号処理システム100を示す。システム100は、例えば、近端で騒音を低減するための携帯電話や、Bluetoothヘッドセットや、有線のハンドセットなどに実装されてもよい。
システム100は、電話で会話中に遠端で騒音の低減を実行するシステムである。システム100は、以下の要素の幾つかまたは全てを含んでもよい。ブロック150は、携帯電話で一般的に用いられているメモリ160を有するDSPまたはARMなどの信号処理プロセッサである。DSPは、インターフェース140を介して複数のマイクロホンの情報を受信する。インターフェース140は上手い具合に信号をディジタル化し、信号処理プロセッサ150にそれを送るアナログ/デジタル変換デバイスでもよく、同様にこれはデジタル/アナログ変換モジュールで構成され、信号処理プロセッサ150から受信された適切な音声信号を関連するスピーカに送る。信号処理プロセッサ150では、信号処理プロセッサが、図3(およびシステム300)に関連して記載されるようにマルチチャネルマイクロホンを処理する。低減されたノイズ信号は170に送られ、ここで音声が圧縮され、デジタルモデムを介して遠端ユーザへ送られる。
本発明の実施形態によれば、信号処理プロセッサ150および170は1つのブロック内に結合されてもよい。
110は1以上の骨導マイクロホンを含み、これは骨導マイクロホン専用でもよいし、またはマイクロホンとしても用いられる骨導スピーカでもよい。アナログ信号は適切に増幅されて140に送られる。
120は、ユーザが外耳道内に差し込む1以上の「耳内」スピーカ、または他の種類のスピーカを含む。これらのスピーカは通常、遠端ユーザを聞くか、またはシステム100もしくは別のシステムによって演奏される音楽を聞くの用いられてもよい。これらの「耳内」スピーカは、本発明の実施形態によれば、外耳道で聞こえる信号を収集するマイクロホンとして用いられてもよい。アナログ信号は適切に増幅されて140に送られる。
130は、1以上のマイクロホン(例えば、携帯電話がユーザの音声を拾うのに用いるマイクロホンなど)を含む。アナログ信号は適切に増幅されて140に送られる。
遠端および近端ユーザのノイズのキャンセル処理は、本発明の実施形態によれば、以下の3つの入力のみを用いることを前提とする以下の式によって定式化することができる。
1.「耳内」スピーカ
2.標準的なマイクロホン
3.骨導マイクロホン
標準的なマイクロホンM(n)で検出される信号は以下により記載することができる。
Figure 0005395895
ここで、
s(n)は近端ユーザによって生成された音声である。
d(n)は近端の騒音である。
(n)はピックアップ装置のノイズである。
マイクロホン120(例えば骨を介して伝播されるユーザの音声を拾うマイクロホンとして用いられるスピーカ)によって検出される信号M(n)は、以下の式に従う。
Figure 0005395895
ここで、α(n)は音声が骨を介したその伝播中に入るフィルタであり、β(n)は「耳内」スピーカによって検出される騒音の量を低減するゲインまたはフィルタである。n(n)はピックアップ装置のノイズである。この開示の全体に渡り、記号*が畳み込み演算を表わすことに注意されたい。
「耳内」栓が外耳道を遮断するという事実により、この実装では、近端ユーザによって生成され、骨を介して伝播する音声信号は、15−20dBだけ音声の低周波を増加する閉塞効果を受ける。これはα>>1を意味する。
さらに「耳内」は騒音を顕著に遮断する、すなわちβ(n)<<1である。標準的なシステムと異なり、これは2つのマイクロホンを用いる。
骨導マイクロホン110は、ユーザの頭蓋骨に取り付けられてもよく、骨の振動を介してユーザの音声を拾ってもよい。骨導マイクロホンは上手い具合に騒音に高感度ではなく、従って、
Figure 0005395895
ここで、χ(n)は骨導マイクロホンの特徴をモデル化するローパスフィルタであり、n(n)はピックアップ装置のノイズである。従って、
Figure 0005395895
本発明の実施形態によれば、プロセッサ150は、オリジナル音声s(n)および騒音d(n)を推定するよう構成されており、この推定はそれぞれ
Figure 0005395895
および
Figure 0005395895
として表わされる。
本発明の実施形態によれば、
Figure 0005395895
は、(できる限り圧縮後に)遠端ユーザに送られる信号である。
以下で論じられる本発明の実施形態によれば、
Figure 0005395895
は、近端ユーザの外耳道のノイズを低減するのに用いられてもよい。
本発明の実施形態によれば、ユーザはステレオのヘッドセットを用いて、耳の各側から
Figure 0005395895
が減算される。このキャンセルは非常に有効であろう。
ローカルユーザの騒音を低減するシステムは、図4に関連して記載される。
n1=n2=0である場合、
Figure 0005395895
理想的な場合には、M(n)の測定は必要ではなく、
Figure 0005395895
を計算することができる。
Figure 0005395895
ここでα(n)およびβ(n)は、較正プロセス中に計算することができる。χ(n)の帯域幅が広く、全ての音声周波数域をカバーする場合には、
Figure 0005395895
、nおよびnが0でない場合には、s(n)は様々な既知のMMSE(最小平均2乗誤差)技術によって推定することができる。
本発明の実施形態によれば、プロセッサ150による
Figure 0005395895
および
Figure 0005395895
の計算の1つの代替実施例が開示される。
以下により
Figure 0005395895
を推定させる。
Figure 0005395895
e(n)を推定誤差として表わす、すなわち、
Figure 0005395895
従って、平均2乗誤差Jは、
Figure 0005395895
ここでE{}は平均の演算記号である。
従って、
Figure 0005395895
ここで本実施例ではi=1,2,3である。
これに続いて、図3に関連して記載される適応処理によってh(n)、h(n)およびh(n)を計算することができる。
適応処理中、近端ユーザが無言である、すなわちs(n)=0である期間があり、この期間中に1つのフィルタ(例えばh(n))が静止される必要があり、そうでなければこの適応は望まれない解で終わることに注意されたい。
沈黙での適応を回避するために、音声検出メカニズムが用いられてもよい。使用できる様々なメカニズムがある。2つの異なるメカニズムを示し、これは本発明の異なる実施形態で(共にまたは別々に)実施されてもよい。
「耳内」スピーカが用いられる場合、低周波でM(n)のエネルギを分析することができ、エネルギが強い場合それはユーザが話していることを示し、この兆候は骨を介して伝播している音声の低周波を顕著に増強する閉塞効果のためである。この実装は図2Aに関連して論じられる。
代替アプローチは、骨導マイクロホンまたは骨導スピーカが用いられる場合に用いることができる。このデバイスは、音声のローパスバージョンを検出し、殆ど騒音を検出しない。従ってM(n)のエネルギを検出することによって、または各周波数につきそのスペクトル振幅を分析することによって、ユーザが話しているかどうか決定することができる。この実装は図2Bに関連して論じられる。
図2Aは、本発明の実施形態に係る検出部200を示す。検出部200は、本発明の実施形態によれば、システム100に実施されてもよい(およびプロセッサ150の一部でもよいし、そうでなくてもよい)。検出部200は、LPF(ローパスフィルタ)でM(n)をフィルタすることによって、M(n)の低周波のエネルギ(例えばTmsの全ての音声フレーム)を計算する検出部である。エネルギが所定の閾値以上である場合、フレームは音声フレームとして宣言され、そうでなければそれは無音フレームとして宣言され、それが音声フレームである場合、その出力は1または0.1である。この処理はDSP150によって実装することができる。
図2Bは、本発明の実施形態に係る検出部250を示す。検出部250は、本発明の実施形態によれば、システム100に実施されてもよい(およびプロセッサ150の一部でもよいし、そうでなくてもよい)。検出部250は、M(n)のエネルギ(例えばTmsの全ての音声フレーム)を計算する検出部であり、このフレームのエネルギが所定の閾値以上である場合、フレームは音声フレームとして宣言され、そうでなければそれは無音フレームとして宣言され、それが音声フレームである場合、その出力は1または0.1である。この処理はDSP150によって実装することができる。
s(n)およびd(n)の推定は信号処理プロセッサ150によって実施され、この実装が図3に関連して示される。
図3は、本発明の実施形態に係るプロセッサ300および対応する処理を示す。プロセッサ300は、例えばプロセッサ150、プロセッサ450、プロセッサ750、またはプロセッサ950として用いられてもよい。対応する処理は、方法1100に実装されてもよい。プロセッサ300の要素は、2つのメインブロック301および305に分けられるであろう。ブロック301は信号の
Figure 0005395895
および
Figure 0005395895
を推定するために用いられる。M(n)は310に送られ、M(n)は320に送られ、M(n)は330に送られ、3つのフィルタ出力の和が
Figure 0005395895
であり、ここでH(z)はh(n)k=1,3のZ変換である。マルチプレクサ(Mux)350は、
Figure 0005395895
の最終的な推定を選択し、それは処理されたフレームが音声フレームであるか無音フレームであるかに依存する。それが音声フレームである場合には、
Figure 0005395895
、そうでなければ
Figure 0005395895
である。フレームが音声であるか無音であるかの決定は200または250に記載されているように計算される。
ブロック305は、フィルタh(n)、h(n)、h(n)の値を更新するブロックである。適応処理は、
Figure 0005395895
に基づいており、従って推定誤差が計算される必要がある。適切な誤差は、mux355によって選択される。音声フレームでは、誤差がフィルタ340を用いることによって計算され、これは、
Figure 0005395895
無音フレームでは、誤差信号は
Figure 0005395895
である。
音声/無音フレームの切り換えは、本発明の実施形態によれば310、320および330で適応の重み(ステップサイズ)を変化させるのに用いることもできることに注意されたい。
300の処理は全てDSPプロセッサ150、450、および/または950で実装することができる。
図4は本発明の実施形態に係るシステム400を示す。システム400は、遠端ユーザの騒音のキャンセルに加えて、例えば、ステレオ骨導スピーカまたは「耳内」ステレオヘッドセットの何れかを用いることによって同様にローカルユーザの騒音をキャンセルするのに用いられてもよい。
本発明の実施形態によれば、システム400は、電話での会話中に遠端および近端の騒音の低減を実行する。ブロック450は、大抵の携帯電話で一般的であるメモリ460を有するDSPまたはARMなどの信号処理プロセッサである。DSPは、インターフェース440を介して複数のマイクロホンの情報を受信する。440は信号をディジタル化し、それを450に送るアナログ/デジタル変換デバイスで構成され、同様にこれはデジタル/アナログ変換モジュールで構成され、450から適切な音声信号を関連するスピーカに送る。450では、信号処理プロセッサが、300および500に関連して記載されるようにマルチチャネルマイクロホンを処理する。低減されたノイズ、信号は470に送られ、ここで音声がさらに圧縮され、デジタルモデムを介して遠端ユーザへ送られる。推定された騒音はさらに、440を介してステレオの「耳内」スピーカに注入される。ユーザは両耳の騒音を低減するためにステレオヘッドセットを用いる必要がある。ユーザがステレオ骨導スピーカを用いることを選択する場合、装置は440を介してそれをサポートするであろう。
410は1以上の骨導マイクロホンを含み、これは骨導マイクロホン専用でもよいし、またはマイクロホンとしても用いられる骨導スピーカでもよい。アナログ信号は適切に増幅されて440に送られる。
420は1以上のマイクロホンを含む(これは、本発明の実施形態によれば、ユーザが外耳道内に差し込む「耳内」マイクロホン、および/またはマイクロホンとして用いられる1または複数のスピーカでもよい)。ユーザが外耳道にスピーカ/マイクロホンを差し込む本発明の実施形態によれば、これは遠端ユーザの音声を聞くのに通常用いられ、同様に近端ユーザの騒音をキャンセルするのに用いられる。アナログ信号は適切に増幅されて440に送られる。
430は1以上のマイクロホン、例えば、携帯電話がユーザの音声を拾うのに用いるマイクロホンを含み、アナログ信号は適切に増幅されて440に送られる。
遠端および近端ユーザのノイズのキャンセル処理は、本発明の実施形態によれば、以下の3つの入力を用いることを前提とする以下の式によって定式化することができる。
1.「耳内」スピーカ
2.標準的なマイクロホン
3.骨導マイクロホン
本発明の実施形態によれば、プロセッサ450は、s(n)およびd(n)を推定するのに用いられ、この推定はそれぞれ
Figure 0005395895
および
Figure 0005395895
で表わされる。
Figure 0005395895
は、遠端に送られる信号である。
Figure 0005395895
は、近端ユーザの外耳道のノイズを低減するのに用いられる。
本発明の実施形態によれば、ユーザはより有効なキャンセルのためステレオの「耳内」ヘッドセットを用いるであろう。
図5は、本発明の実施形態に係るプロセッサ500および対応するプロセッサの処理を示す。プロセッサ500はプロセッサ450、750および/または950の一部として実装されてもよいが、これは必ずしもそうである必要はない。対応する処理は、方法1000に実装されてもよい。500の処理は近端ユーザの騒音をキャンセルするのに用いることができる。プロセッサ300の出力は
Figure 0005395895
および
Figure 0005395895
であり、それらの信号は500の入力として用いられる。
フィルタ505は信号を処理するために用いられ、本発明の実施形態によれば、外耳道の信号の影響をシミュレートしてもよい。これに続き、
Figure 0005395895
は適応フィルタW1(z)510を通過する。フィルタ505は上手い具合に以下のように更新されてもよい。
Figure 0005395895
これは、ユーザが騒音を聞かず、その自身の音声のみを聞くことを意味する。ユーザがその自身の音声をキャンセルしたければ、これはその信号から減じられる。
ユーザがステレオヘッドセットを用いる場合、彼は両耳で騒音を聞かないということに注意されたい。幾つかの理由による場合、S(z)は両耳で同一ではない。この処理は各耳について2度、1度行うことができる。
適応処理は530でe(n)を計算することによって行われる。
Figure 0005395895
(n)は、510を更新するのに用いられる。
本発明の実施形態によれば、(200または250のような)音声表示器/検出器は適応重みを調整するのに用いられる。
W1(z)の変換を改善するために、適応入力
Figure 0005395895
はS(z)の推定部520によってフィルタされる。この方法は文献で周知で、FxLMS方法と呼ばれている。これは、より複雑な仕組みを用いて騒音を低減することができる。
図6は、本発明の実施形態に係るプロセッサ600および対応するプロセッサの処理を示す。プロセッサ600はプロセッサ450および/または950の一部として実装されてもよいが、これは必ずしもそうである必要はない。対応する処理は、方法1000に実装されてもよい。600の処理は、
Figure 0005395895
の推定を改善する付加ループを有する500に類似する処理である。
図7は、本発明の実施形態に係る信号処理システム700を示す。システム700は本発明の実施形態に応じて実装されてもよく、3つのマイクロホンの代わりに2つだけが用いられる場合、低コストの装置を使用することができる。低コスト装置は、以下のマイクロホンで構成される。
1.「耳内」スピーカ
2.標準的なマイクロホン
システム700は、例えば騒がしい電話の会話中に遠端および近端で騒音の低減を実行するであろう。ブロック750は、携帯電話で一般的に用いられているメモリ760を有するDSPまたはARMなどの信号処理プロセッサである。DSPは、インターフェース740を介して2つのマイクロホンの情報を受信する。740は信号をディジタル化し、それを750に送るアナログ/デジタル変換デバイスで構成され、同様にこれはデジタル/アナログ変換モジュールで構成され、750から関連するスピーカに適切な音声信号を送る。750では、信号処理プロセッサが、300および500で記載されているが2つのマイクロホンでマルチチャネルマイクロホンを処理する。低減されたノイズ、信号は770に送られ、ここで音声がさらに圧縮され、デジタルモデムを介して遠端ユーザへ送られる。
720は1以上の「耳内」マイクロホンを含む(これは本発明の実施形態によれば、ユーザが外耳道内に差し込む1または複数のスピーカでよく、これは遠端の音声または音楽を聞くのに通常用いられる)。本発明の実施形態によれば、この「耳内」スピーカは、マイクロホンとして用いてもよく、外耳道内の信号を収集したり、これらのスピーカを介して近端ユーザのキャンセル信号を注入したりする。アナログ信号は適切に増幅されて740に送られる。
730は1以上の標準的なマイクロホン、例えば、携帯電話がユーザの音声を拾うのに用いるマイクロホンを含む。アナログ信号は適切に増幅されて740に送られる。
遠端および近端ユーザのノイズのキャンセル処理は、以下の2つの入力のみを用いることを前提とする以下の式によって定式化することができる。
1.「耳内」スピーカ
2.標準的なマイクロホン
標準的なマイクロホンM(n)で検出される信号は以下により記載される。
Figure 0005395895
ここで、
s(n)は近端ユーザによって生成された音声である。
d(n)は近端の騒音である。
(n)はピックアップ装置のノイズである。
「耳内」スピーカによって(これは骨を介して伝播されるユーザの音声を拾うマイクロホンとして用いられる)によって検出される信号M(n)は、以下の式に従う。
Figure 0005395895
ここで、α(n)は音声が骨を介したその伝播中に入るフィルタであり、β(n)は外耳道に浸透されている騒音の量を低減するゲインまたはフィルタであり、n(n)はピックアップ装置のノイズである。
上手い具合に、「耳内」栓が外耳道を遮断するという事実により、近端ユーザによって生成され、骨を介して伝播する音声信号は、15−20dbだけ音声の低周波を増加する閉塞効果を受ける。これはα>>1を意味する。
さらに「耳内」栓が騒音を顕著に遮断するため、β(n)<<1である。
標準的なシステムと異なり、これは2つのマイクロホンを用いる。この事実によって標準的な2つのマイクロホン装置より性能が勝っている。
図8は、NMSE推定のグラフ800を示す。グラフ800は、30dBのS/N(音声対ノイズ)比および0dBのS/D(音声対干渉)比のβ=0dbにおけるMMSE対αを示す。示されるように、α<0dbについて、MMSEは−30dbの範囲になるだろうが、α>〜3dbの場合、MMSEはα<0dbのときより常に低く、αが約20dbの場合、MMSEは標準的なアプローチと比べて顕著な改善を提供する約−45dbになるであろう。
100、400、700、900、1100に記載されるシステムは「耳内」スピーカの代わりに標準的なヘッドセットを用いることができ、この場合にはαおよびβの値は異なり、キャンセル処理はそれ程有効ではなくなるということに注意されたい。
本発明の態様によれば、本発明は、「耳内」スピーカ、標準的なマイクロホンおよび骨導スピーカまたはマイクロホンの組み合わせを用いることによって、遠端ユーザの騒音をキャンセルする装置を開示する。
本発明の態様によれば、本発明は、「耳内」スピーカ、標準的なマイクロホンおよび骨導スピーカまたはマイクロホンの組み合わせを用いることによって、遠端ユーザおよび/または近端ユーザの騒音をキャンセルする装置を開示する。
本発明の態様によれば、本発明は、耳内に存在する内蔵マイクロホンを持つまたは持たない「耳内」スピーカと、標準的な外部マイクロホンとの組み合わせを用いることによって、遠端ユーザの騒音をキャンセルする装置を開示する。
本発明の態様によれば、本発明は、耳内に存在する内蔵マイクロホンを持つまたは持たない「耳内」スピーカと、標準的な外部マイクロホンとの組み合わせを用いることによって、遠端ユーザおよび/または近端ユーザの騒音をキャンセルする装置を開示する。
本発明の態様によれば、本発明は、「耳内」音声信号を分析することによってユーザが沈黙していることを検出する検出器を開示する。
本発明の態様によれば、本発明は、音声を分析することによってユーザが沈黙していることを検出する検出器を開示し、これは骨導マイクロホンまたは骨導スピーカによって検出される。この分析は、本発明の幾つかの実施形態によれば、信号のエネルギを計算することによって、または各周波数帯当たりの電力振幅を分析することによって実行されてもよい。
本発明の態様によれば、本発明は、ノイズキャンセル処理の適応パラメータを変化させるメカニズムを開示し、これは近いユーザが話しているか、沈黙しているかに依存する。
本発明の態様によれば、本発明は、同時にマイクロホンおよびスピーカとして骨導スピーカを用いることを開示する。
本発明の態様によれば、本発明は、同時にマイクロホンおよびスピーカとして「耳内」スピーカを用いることを開示する。
本発明の本書で提供される態様を参照すると、「耳内」スピーカはどこでも言及されるが、本発明は、「耳内」スピーカの代わりに標準的なヘッドセットスピーカも、この分野で既知の他のスピーカも用いて実装することができることに注意されたい。
上手い具合に、近端でユーザは、彼が騒音dおよび自身の音声をキャンセルしたいかどうかを決定することができる。
上手い具合に、近端でユーザは、彼が騒音dの一部のみをキャンセルしたいかどうかを決定することができる。
図9は、本発明の実施形態に係る音声処理システム900を示す。システム900の異なる実施形態は、システム100、300、400、500および600の異なる実施形態を実装してもよく、システム900の異なる要素は、これらのシステムの異なる機能またはこれらの要素(並列要素の何れか−例えばプロセッサ150のプロセッサ950または別のもの)を実装してもよいことに注意されたい。さらに、本発明の幾つかの実施形態によれば、システム900は方法1000、または明示的に詳述されなくとも、本書で開示された他の方法を実装してもよいことに注意されたい。
システム900は、検出時間に第1マイクロホンによって検出される第1入力信号と、検出時間に第2マイクロホンによって検出される第2入力信号と、検出時間に骨導マイクロホンによって検出される第3入力信号とを処理し、前記第1、第2、および第3入力信号に応答する訂正信号を生成するよう構成されたプロセッサ950を含む。
この検出時間は上手い具合に短い長さであることに注意されたい。デジタル信号が処理される実施形態を参照すると、この検出時間は、音声の幾つかのサンプルを含んでよく、マイクロホンの各々から1つのサンプルのみをさらに含んでよいことに注意されたい。
1以上のマイクロホンが有線または無線接続によってシステム900に連結されるので、システム900は前述のマイクロホンを含んでも、含まなくてもよいことに注意されたい。例えば、第1マイクロホンは、本発明の実施形態によれば、システム900として動作する携帯電話の通常のマイクロホンである一方、第2マイクロホンは、携帯電話に差し込まれるヘッドホンのスピーカでよいが、骨導マイクロホンは無線で携帯電話に情報を送信してもよい。
マイクロホンは、第1マイクロホン930と、第2マイクロホン920と、骨導マイクロホン910を表わす。しかしながら、上述したように、マイクロホンは何れもシステム900に必ずしも含まれる必要はなく、特にマイクロホンの幾つかは上手い具合にプロセッサ950が存在するシステム900のケーシングの外部にある。マイクロホンは1以上の中間インターフェース940を介してプロセッサ950に連結されるであろう。中間インターフェースは、マイクロホンの何れかによって提供される信号の何れかを前処理してもよいし、前処理しなくてもよい。
システム900は、本発明の異なる実施形態によれば、他の機能(例えば携帯電話、PDA、コンピュータ、車両取付けシステム、ヘルメットなど)を有するシステムに組み込まれるスタンドアロンシステムでもよく、別のシステムの機能を強化するアドオンシステムでもよいことに注意されたい。システム900の要素および機能はさらに、互いに対話することができる2以上のシステム間に分割されてもよい。
本発明の実施形態によれば、システム900はさらに、プロセッサ950によって利用可能なメモリ960を含む(例えば一時的な情報や、実行可能コードや、較正値などを保存するため)。
システム900はさらに、外部システムに訂正信号を提供するよう構成される通信インタフェースを含む。例えば、外部システムは、別の携帯電話(またはより正確には、セルラーネットワークアクセスデバイス)、トランシーバ、コンピュータベースの電話ソフトウェア、(例えば専用通信デバイスの)別のチップなどでもよい。
本発明の実施形態によれば、第2入力信号が、ユーザの耳内に少なくとも部分的に設けられている第2マイクロホンによって検出される。本発明の実施形態によれば、第2入力信号が音声信号に応答し、音声信号は外耳道内で修正され、これにより音声信号のより低い周波数が外耳道内で増幅される。この修正は、例えば閉塞に起因するであろう。
閉塞は補聴器デバイスの周知の現象である(さらに閉塞効果と言われる)。補聴器では、この効果がデバイスの性能品質を低下する。[例えばMark Ross博士、「The "Occlusion Effect" - what it is, and what to do about it」、Hearing Loss(2004年1月号/2月号)、http://www.hearingresearch.org/Dr.Ross/occlusion.htm]。本発明の実施形態によれば、閉塞効果は、第2マイクロホンによって検出される信号対ノイズ比を改善するのに利用される。閉塞効果について説明するため、以下は上記引用文献からの引用である。
「幾つかの物体(表に出ないイヤーモールドのようなもの)が外耳道の外側部分を完全に埋める場合、閉塞効果が発生する。これがするのは、イヤーモールドの先端と鼓膜との間の空間で人の声の骨導音の振動を閉じ込めることである。通常、人が話をするか(または噛む)場合、これらの振動は、開いた外耳道を介して漏れ、人はその存在に気づかない。しかし外耳道がイヤーモールドによって遮断される場合、振動は鼓膜の方へ反射されて戻り、自分の声の音の大きさの知覚を増加する。完全に開いた外耳道と比べて、閉塞効果は20dB以上外耳道の低周波(通常500Hz以下)の音圧を増強するであろう。」
本発明の実施形態によれば、利用される1以上の少なくとも1つの第2マイクロホンは、ユーザの耳の空気路を閉じる「耳内」マイクロホン(これはさらにスピーカでもよい)であり、これは、ユーザの会話の音声に閉塞効果を生成する。このように本発明の実施形態によれば、蝸牛殻は、骨から直接に到達する音声の重ね合わせと、僅かに遅れる(閉塞効果により)音声の低周波を増強したバージョンとを受け取る。本発明の実施形態によれば、この検出時間は遅延バージョンが検出されるために十分に長い。または、本発明の実施形態によれば、プロセッサがさらに、訂正信号の生成のために、その検出時間に先行する時に第2マイクロホンによって検出される過去の第2信号を処理するよう構成されている。
本発明の実施形態によれば、第2マイクロホンがさらに、ユーザに音声を提供するのに用いられるスピーカ(例えばヘッドホンセット)である(これはシステム900、または別のシステムによって提供されてもよい)。本発明のこの実施形態によれば、この検出と第2マイクロホンによって提供する音声は、例えば用いるマイクロホン/スピーカの種類に依存して、少なくとも部分的に同時に、または交互に発生するであろう。
本発明の実施形態によれば、システム900はさらに、第2マイクロホンから第2入力信号を受信するために、プロセッサ950に連結される第2マイクロホンインターフェース(これはインターフェース940の一部でもよいが、必ずしもそうでなくてよい)を含み、第2マイクロホンインターフェースがさらに、第2マイクロホンとして用いられているスピーカに音声信号を提供する。
本発明の実施形態によれば、システム900はさらに、第3マイクロホンから第3入力信号を受信するために、プロセッサ950に連結される骨導マイクロホンインターフェース(これはインターフェース940の一部でもよいが、必ずしもそうでなくてよい)を含み、骨導マイクロホンインターフェースがさらに、骨導マイクロホンとして用いられている骨導スピーカに骨導性の音声信号を提供する。
本発明の実施形態によれば、第2マイクロホンが、環境音に対して外耳道を遮断する耳栓に含まれる。この遮断は必ずしも完全に遮断する必要はないが、さらに騒音を実質的に低減するであろう。さらに、この実質的な遮断は外耳道内の音声信号を反射するのに有用であり、これにより閉塞を助長する。
本発明の実施形態によれば、プロセッサ950がさらに、畳み込み和
Figure 0005395895
によって、検出時間nの訂正信号
Figure 0005395895
を測定するよう構成されており、M(n)が検出時間の第1入力信号を表わし、M(n)が検出時間の第2入力信号を表わし、M(n)が検出時間の第3入力信号を表わし、h(n)、h(n)およびh(n)が較正関数である。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、プロセッサ950がさらに、検出時間に先行する過去の時間の入力信号の処理に応じて少なくとも1つの較正関数を更新するよう構成されている。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、プロセッサ950は、ユーザの会話が検出される少なくとも1つの過去の時間に少なくとも1つの較正関数を選択的に更新するよう構成されている。この実装は、例えば図1〜図6に関連して論じられる。会話時/会話フレームの検出は、例えば図2Aおよび図2Bに関連して論じられる。
プロセッサ950(またはシステム900の他のプロセッサ/音声検出器)が、ユーザの会話を検出するのに用いられてもよいことに注意されたい。これは、例えば第1、第2および/または第3入力信号の1以上の音量を分析することによって実装されるであろう。本発明の実施形態によれば、プロセッサ950(またはシステム900の専用プロセッサ)はさらに、第1、第2および第3入力信号の少なくとも1つの会話周波数帯を分析することによって、過去の時間のユーザの会話を検出するよう構成されている。人の会話は通常、特殊な周波数帯(および/またはリズム、またはこの分野で既知の他のパラメータ)によって特徴づけられてもよく、このパラメータは人が話しているかどうか判定するのに用いられてもよいことに注意されたい。これはさらに、ユーザの会話と他の背景の会話とを区別するのに用いられてもよい。さらに、プロセッサ950(または専用プロセッサ)は1以上の個人ユーザの会話を検出するよう教育されてもよいことに注意されたい。
本発明の実施形態によれば、プロセッサ950は、誤差関数
Figure 0005395895
に応じて少なくとも1つの較正関数を更新するよう構成されており、検出時間nの誤差関数の値は
Figure 0005395895
がH(z)、H(z)およびH(z)の和であるとき、
Figure 0005395895
によって測定される。ここでH(z)が対応する較正関数h(n)のZ変換である。この実装は、例えば図1〜6に関連して論じられる。
本発明の実施形態によれば、プロセッサ950はさらに、較正関数h(n)と、誤差関数
Figure 0005395895
と、各入力信号M(n)とに関して、平均二乗誤差関数Jの偏微分に応答する較正関数h(n)を更新するよう構成されている。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、プロセッサ950がさらに、複数の骨導マイクロホンによって検出される音声信号を処理するよう構成されている。
本発明の実施形態によれば、プロセッサ950はモバイル通信デバイスに(特に本発明の実施形態によれば、そのケーシング内に)含まれており、これはさらに第1マイクロホンを含む。このデバイスは、例えば携帯電話、Bluetoothヘッドセット、有線のヘッドセットなどでもよい。
本発明の実施形態によれば、システム900は第1マイクロホン930を含み、これは、第1入力信号を提供するため空気伝搬する音声信号を変換するよう構成されている。
本発明の実施形態によれば、前記第3マイクロホンが、ユーザの骨からの骨伝搬する音声信号を変換するよう構成されており、前記第3入力信号を提供する。
本発明の実施形態によれば、プロセッサ950はさらに、騒音の推定信号
Figure 0005395895
を測定するよう構成されており、システム900はさらに、ユーザへの騒音干渉を低減するために騒音の推定信号に応じて処理される音声信号をユーザに提供するインターフェース(図示せず)を含む。すなわち、ユーザは騒音干渉が低減された音声信号(例えば彼の音声の音声信号、他の者の音声の音声信号、mp3プレーヤの音声信号など)を受信してもよい。この実装は、例えば図1〜6に関連して論じられる。第2マイクロホンがさらにスピーカである場合、第2マイクロホンに/から信号を提供および受信するために、同じインターフェースが用いられてもよいことに注意されたい。
本発明の実施形態によれば、プロセッサ950はさらに、ユーザへの騒音干渉を低減するために騒音の推定信号に応じて音声信号を処理するよう構成されており、音声信号の処理はさらに、システムのユーザによって選択されたキャンセルレベルに応答する。キャンセルレベルは、本発明の幾つかの実施形態によれば、騒音のキャンセルや(例えばユーザは幾らか騒音を保ちたいかもしれない)、ユーザの会話のキャンセルや(例えばユーザは彼の会話のエコーをより完全に受信したいかもしれない)、またはこの双方に関係してもよい。
本発明の実施形態によれば、プロセッサ950がさらに、騒音の推定信号と、少なくとも1つの骨導率に関するパラメータとに応じて、骨導スピーカを介してユーザに提供される音声信号を処理するよう構成されている。この実装は、例えば図1〜図6に関連して(および特に図5および図6に関連して)論じられる。
本発明の実施形態によれば、プロセッサ950はさらに、適応性ノイズ低減フィルタW1(z)を更新するよう構成されており、適応性ノイズ低減フィルタは、第2入力信号に応じてユーザに提供される音声信号を処理するプロセッサ950によって用いられ、適応性ノイズ低減フィルタW1(z)は、ユーザの外耳道の音声の推定的な聴覚変換に相当する。この実装は、例えば図1〜図6に関連して(および特に図5および図6に関連して)論じられる。
図10は、本発明の実施形態に係る音声処理方法1000を示す。方法1000は、システム900(これは例えば携帯電話でもよい)などのシステムによって実装されてもよいことに注意されたい。システム900、およびシステム100、300、400、500および600の異なる実施形態は、明示的に詳述されないとしても、方法1000の対応する実施形態によって実装されるであろう。
方法1000は上手い具合に検出時間に第1マイクロホンによって第1入力信号(1010)を検出し、第2入力信号(1020)を検出時間に第2マイクロホンによって検出し、第3音声信号(1030)を検出時間に骨導マイクロホンによって検出するステージ1010、1020および1030で始まってもよい。先の図面で説明された実施例を参照すると、ステージ1010は第1マイクロホン930によって実行され、ステージ1020は第2マイクロホン920によって実行され、ステージ1013は骨導マイクロホン910によって実行されるであろう。
方法1000は上手い具合にプロセッサによって第1、第2および第3入力信号を受信するステージ1040に続くであろう。先の図面で説明された実施例を参照すると、ステージ1040は、プロセッサ950(これは上手い具合にハードウェアプロセッサおよび/またはDSPプロセッサである)などのプロセッサによって実行されるであろう。
方法1000は、検出時間に第1マイクロホンによって検出される第1入力信号と、検出時間に第2マイクロホンによって検出される第2入力信号と、検出時間に骨導マイクロホンによって検出される第3入力信号とを処理し、第1、第2、および第3入力信号に応答する訂正信号を生成するステージ1050に続く(で開始する)。先の図面で説明された実施例を参照すると、ステージ1050は、プロセッサ950(これは上手い具合にハードウェアプロセッサおよび/またはDSPプロセッサである)などのプロセッサによって実行されるであろう。
ステージ1050は、外部システムに訂正信号を提供するステージ1060が続く。先の図面で説明された実施例を参照すると、ステージ1060は、通信インタフェース970(これは上手い具合にハードウェア通信インタフェースでもよい)などの通信インタフェースによって実行されるであろう。
本発明の実施形態によれば、この処理は第2入力信号に応答し、これはユーザの耳内に少なくとも部分的に設けられている第2マイクロホンによって検出される。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理が音声信号から第2マイクロホンによって変換される第2入力信号に応答し、音声信号は外耳道内で修正され、これにより音声信号のより低い周波数が外耳道内で増幅される。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理は第2マイクロホンによって検出される第2入力信号に応答し、第2マイクロホンは環境音に対して外耳道を遮断する耳栓に含まれている。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理は、畳み込み和
Figure 0005395895
によって、検出時間nの訂正信号
Figure 0005395895
を測定するステップを含み、M(n)が検出時間の第1入力信号を表わし、M(n)が検出時間の第2入力信号を表わし、M(n)が検出時間の第3入力信号を表わし、h(n)、h(n)およびh(n)が較正関数である。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理は、検出時間に先行する過去の時間の入力信号の処理に応じて少なくとも1つの較正関数を更新するステップに先行される。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この更新は、ユーザの会話が検出される過去の時間に選択的に実行される。この実装は、例えば図1〜図6に関連して論じられる。
方法1000はさらに、ユーザの会話を検出するステップを含むことに注意されたい。これは、例えば第1、第2および/または第3入力信号の1以上の音量を分析することによって実装されるであろう。本発明の実施形態によれば、方法1000はさらに、第1、第2および第3入力信号の少なくとも1つの会話周波数帯を分析することによって、過去の時間のユーザの会話を検出するステップを含む。人の会話は通常、特殊な周波数帯(および/またはリズム、またはこの分野で既知の他のパラメータ)によって特徴づけられ、このパラメータは人が話しているかどうか判定するのに用いられてもよいことに注意されたい。これはさらに、ユーザの会話と他の背景の会話とを区別するのに用いられてもよい。さらに、この検出は1以上の個人ユーザの会話を検出するための教育情報に応じてもよいことに注意されたい。
本発明の実施形態によれば、この更新は誤差関数
Figure 0005395895
に応答し、検出時間nの誤差関数の値は、
Figure 0005395895
がH(z)、H(z)およびH(z)の和であるとき、
Figure 0005395895
よって測定され、ここでH(z)が対応する較正関数h(n)のZ変換である。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、較正関数h(n)の更新は、較正関数h(n)と、誤差関数
Figure 0005395895
と、各入力信号M(n)とに関して、平均二乗誤差関数Jの偏微分に応答する。
本発明の実施形態によれば、方法1000はさらに、第2マイクロホンとして用いられているスピーカに音声信号を提供するステップを含む。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、方法1000はさらに、骨導マイクロホンとして用いられている骨導スピーカに骨導性の音声信号を提供するステップを含む。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理は、複数の骨導マイクロホンによって検出される音声信号を処理するステップを含む。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理はモバイル通信デバイスに含まれるプロセッサによって実行され、モバイル通信デバイスはさらに第1マイクロホンを含む。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、この処理はさらに、ユーザへの騒音干渉を低減するため、騒音の推定信号を測定するステップと、騒音の推定信号に応じてユーザに提供される音声信号を処理するステップとを含む。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、騒音干渉を低減するためにユーザに提供される音声信号の処理はさらに、システムのユーザによって選択されたキャンセルレベルに応答する。キャンセルレベルは、例えば騒音のキャンセルや(例えばユーザは幾らか騒音を保ちたいかもしれない)、ユーザの会話のキャンセルや(例えばユーザは彼の会話のエコーをより完全に受信したいかもしれない)、またはこの双方に関係してもよい。
本発明の実施形態によれば、方法1000はさらに、騒音の推定信号と、少なくとも1つの骨導率に関するパラメータとに応じて、骨導スピーカを介してユーザに提供される音声信号を処理するステップを含む。この実装は、例えば図1〜図6に関連して論じられる。
本発明の実施形態によれば、騒音干渉を低減するためにユーザに提供される音声信号の処理は、第2入力信号に応じてユーザの外耳道の音声の推定的な聴覚変換に相当する適応性ノイズ低減フィルタW1(z)を更新するステップを含む。この実装は、例えば図1〜図6に関連して論じられる。
図11は、本発明の実施形態に係る音声処理システム1100を示す。異なる実施形態のシステム1100は異なる実施形態のシステム700を実装してもよく、システム1100の異なる要素は、システム700の異なる機能またはこれらの要素(並列要素の何れか−例えばプロセッサ750のプロセッサ1150または別のもの)を実装してもよいことに注意されたい。さらに、本発明の幾つかの実施形態によれば、システム1100は方法1200、または明示的に詳述されないとしても、本書で開示された他の方法を実施してもよいことに注意されたい。
システム1100は、検出時間に第1マイクロホンによって検出される第1入力信号と、ユーザの耳内に少なくとも部分的に設けられる第2マイクロホンによって検出時間に検出される第2入力信号とを処理し、第1および第2入力信号に応答する訂正信号を生成するよう構成されるプロセッサ1150を含む。
この検出時間は上手い具合に短い長さであることに注意されたい。デジタル信号が処理される実施形態を参照すると、この検出時間は、音声の幾つかのサンプルを含んでよく、マイクロホンの各々から1つのサンプルのみをさらに含んでよいことに注意されたい。
1以上のマイクロホンが有線または無線接続によってシステム1100に連結されるので、システム1100は前述のマイクロホンを含んでも、含まなくてもよいことに注意されたい。例えば、第1マイクロホンは本発明の実施形態によれば、システム1100として動作する携帯電話の通常のマイクロホンあでよいが、第2マイクロホンは携帯電話内に差し込まれるヘッドホンのスピーカでよい。この実装は、例えば図7に関連して論じられる。
マイクロホンは第1マイクロホン1130と、第2「耳内」マイクロホン1120とを表わす。しかしながら、上述したように、マイクロホンは何れもシステム1100に必ずしも含まれる必要はなく、特にマイクロホンの幾つかは上手い具合にプロセッサ1150が存在するシステム1100のケーシングの外部にある。マイクロホンは1以上の中間インターフェース1140を介してプロセッサ1150に連結されるであろう。中間インターフェースは、マイクロホンの何れかによって提供される信号の何れかを前処理してもよいし、前処理しなくてもよい。
システム1100は、本発明の異なる実施形態によれば、他の機能(例えば携帯電話、PDA、コンピュータ、車両取付けシステム、ヘルメットなど)を有するシステムに組み込まれるスタンドアロンシステムでもよく、のシステムの機能を強化するアドオンシステムでもよい。システム1100の要素および機能はさらに、互いに対話することができる2以上のシステム間に分割されてもよい。
本発明の実施形態によれば、システム1100はさらに、プロセッサ1150によって利用可能なメモリ1160を含む(例えば一時的な情報や、実行可能コードや、較正値などを保存するため)。
システム1100はさらに、外部システムに訂正信号を提供するよう構成される通信インタフェース1170を含む。例えば、外部システムは、別の携帯電話(またはより正確には、セルラーネットワークアクセスデバイス)、トランシーバ、コンピュータベースの電話ソフトウェア、(例えば専用通信デバイスの)別のチップなどでもよい。
上手い具合に、第2入力信号はユーザの耳内に少なくとも部分的に設けられている第2マイクロホンによって検出される。本発明の実施形態によれば、第2入力信号が音声信号に応答し、音声信号は外耳道内で修正され、これにより音声信号のより低い周波数が外耳道内で増幅される。この修正は、例えば閉塞に起因するであろう。この実装は、例えば図7に関連して論じられる。
本発明の実施形態によれば、利用される1以上の少なくとも1つの第2マイクロホンは、ユーザの耳の空気路を閉じる「耳内」マイクロホン(これはさらにスピーカでもよい)であり、これは、ユーザの会話の音声に閉塞効果を生成する。このように、本発明の実施形態によれば、蝸牛殻は、骨から直接に到達する音声の重ね合わせと、僅かに遅れる(閉塞効果により)音声の低周波を増強したバージョンとを受け取る。本発明の実施形態によれば、この検出時間は遅延バージョンが検出されるために十分に長い。または、本発明の実施形態によれば、プロセッサはさらに、訂正信号の生成のために、検出時間に先行される時間に第2マイクロホンによって検出される過去の第2信号を処理するよう構成される。この実装は、例えば図7に関連して論じられる。
本発明の実施形態によれば、第2マイクロホンはさらに、ユーザに音声を提供するのに用いられるスピーカ(例えばヘッドホンセット)である(これはシステム1100、または別のシステムによって提供されてもよい)。本発明の実施形態によれば、この検出と第2マイクロホンによって提供する音声は、例えば用いるマイクロホン/スピーカの種類に依存して、少なくとも部分的に同時に、または交互に発生するであろう。この実装は、例えば図7に関連して論じられる。
本発明の実施形態によれば、システム1100はさらに、第2マイクロホンから第2入力信号を受信するために、プロセッサ1150に連結される第2マイクロホンインターフェース(これはインターフェース1140の一部でもよいが、必ずしもそうでなくてよい)を含み、第2マイクロホンインターフェースがさらに、第2マイクロホンとして用いられているスピーカに音声信号を提供する。この実装は、例えば図7に関連して論じられる。
システム1100は、外部システムに訂正信号を提供するための通信インタフェース1170を含む。
本発明の実施形態によれば、第1および第2入力信号は双方とも、ユーザの音声信号と騒音信号に応答する信号の重ね合せを反映しており、第2入力信号は、第1入力信号と比べて、実質的にユーザの音声信号により応答し、実質的に騒音信号により応答しない。この実装は、例えば図7に関連して論じられる。
本発明の実施形態によれば、プロセッサ1150はさらに、騒音の推定信号を測定するよう構成されており、システム1100はさらに、ユーザへの騒音干渉を低減するために騒音の推定信号に応じて処理される音声信号をユーザに提供するインターフェースを含む。この実装は、例えば図7に関連して論じられる。
図12は、本発明の実施形態に係る音声処理方法1200を示す。方法1200は、システム1100(これは例えば携帯電話でもよい)などのシステムによって実装されてもよいことに注意されたい。明示的に詳述されなかったとしても、システム700および900の異なる実施形態は方法1000の対応する実施形態によって実装されるであろう。
方法1200は上手い具合に、検出時間に第1マイクロホンによって、第1入力信号を検出するステップおよび/または検出時間に第2マイクロホンによって、第2入力信号を検出するステップで開始してもよい。先の図面で説明された実施例を参照すると、この検出は、少なくとも1つまたは第1もしくは第2マイクロホン1130、1120によって実行されるであろう。
方法1200は上手い具合に、プロセッサによって第1および第2入力信号を受信するステップに続くであろう。先の図面で説明された実施例を参照すると、この受信は、プロセッサ1150(これは上手い具合にハードウェアプロセッサおよび/またはDSPプロセッサである)などのプロセッサによって実行されるであろう。
方法1200は、検出時間に第1マイクロホンによって検出される第1入力信号と、ユーザの耳内に少なくとも部分的に設けられる第2マイクロホンによって検出時間に検出される第2入力信号とを(上手い具合にハードウェアプロセッサによって)処理し、第1および第2入力信号に応答する訂正信号を生成するステップのステージ1250で続く(または開始する)。先の図面で説明された実施例を参照すると、ステージ1250は、プロセッサ1150(これは上手い具合にハードウェアプロセッサおよび/またはDSPプロセッサである)などのプロセッサによって実行されるであろう。
ステージ1250は、外部システムに訂正信号を提供するステージ1260が続く。先の図面で説明された実施例を参照すると、ステージ1250は、通信インタフェース1170(これは上手い具合にハードウェア通信インタフェースでもよい)などの通信インタフェースによって実行されるであろう。
本発明の実施形態によれば、ステージ1250は、第1入力信号および第2入力信号を処理するステップを含み、第1および第2入力信号は双方とも、ユーザの音声信号と騒音信号に応答する信号の重ね合せを反映しており、第2入力信号は、第1入力信号と比べて、実質的にユーザの音声信号により応答し、実質的に騒音信号により応答しない。
本発明の実施形態によれば、ステージ1250はさらに、ユーザへの騒音干渉を低減するために、騒音の推定信号を測定するステップと、騒音の推定信号に応じてユーザに提供される音声信号を処理するステップとを含む。
本発明の特定の特徴が本書に示され記載されるが、多くの変更、置換、変形および均等物がここで当業者に生じるであろう。したがって、添付されたクレームは本発明の趣旨内にある変更および変形を全てカバーするように意図されている。

Claims (8)

  1. 音声を処理するシステムにおいて、当該システムが、
    検出時間に第1マイクロホンによって検出される第1入力信号と、前記検出時間に第2マイクロホンによって検出される第2入力信号と、前記検出時間に骨導マイクロホンによって検出される第3入力信号とを処理し、前記第1、第2、および第3入力信号に応答する訂正信号を生成するよう構成されたプロセッサと、
    外部システムに前記訂正信号を提供するよう構成された通信インタフェースとを具え
    前記プロセッサがさらに騒音の推定信号を測定するよう構成されており、前記システムがさらに前記ユーザへの騒音干渉を低減するため、前記騒音の推定信号に応じて処理される音声信号をユーザに提供するためのインターフェースを具え
    ことを特徴とするシステム。
  2. 前記プロセッサがさらに、前記騒音の推定信号と、少なくとも1つの骨導率に関するパラメータとに応じて、骨導スピーカを介してユーザに提供される音声信号を処理するよう構成されている
    請求項1に記載のシステム。
  3. 前記プロセッサがさらに、適応性ノイズ低減フィルタW1(z)を更新するよう構成されており、前記適応性ノイズ低減フィルタは、前記第2入力信号に応じて前記ユーザに提供される音声信号を処理するプロセッサによって用いられ、前記適応性ノイズ低減フィルタW1(z)が、前記ユーザの外耳道の音声の推定的な聴覚変換に相当する
    請求項1に記載のシステム。
  4. 前記プロセッサがさらに、前記ユーザへの騒音干渉を低減するため、前記騒音の推定信号に応じて音声信号を処理するよう構成されており、前記音声信号の処理がさらに、前記システムのユーザによって選択されたキャンセルレベルに応答する
    請求項1に記載のシステム。
  5. 音声を処理する方法において、当該方法が、
    検出時間に第1マイクロホンによって検出される第1入力信号と、前記検出時間に第2マイクロホンによって検出される第2入力信号と、前記検出時間に骨導マイクロホンによって検出される第3入力信号とを処理し、前記第1、第2、および第3入力信号に応答する訂正信号を生成するステップと、
    外部システムに前記訂正信号を提供するステップと
    前記処理がさらに、前記ユーザへの騒音干渉を低減するため、騒音の推定信号を測定するステップと、
    前記騒音の推定信号に応じてユーザに提供される音声信号を処理するステップとを含む
    ことを特徴とする方法。
  6. 前記騒音の推定信号と、少なくとも1つの骨導率に関するパラメータとに応じて、骨導スピーカを介してユーザに提供される音声信号を処理するステップを含む
    請求項5に記載の方法。
  7. 騒音干渉を低減するために前記ユーザに提供される音声信号の処理が、前記ユーザの外耳道内の音声の推定的な聴覚変換に相当する適応性ノイズ低減フィルタW1(z)を前記第2入力信号に応じて更新するステップを含む
    請求項5に記載の方法。
  8. 騒音干渉を低減するために前記ユーザに提供される音声信号の処理がさらに、前記システムのユーザによって選択されたキャンセルレベルに応答する
    請求項5に記載の方法。
JP2011510085A 2008-05-22 2009-05-24 信号処理方法およびシステム Expired - Fee Related JP5395895B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US5517608P 2008-05-22 2008-05-22
US61/055,176 2008-05-22
PCT/IL2009/000513 WO2009141828A2 (en) 2008-05-22 2009-05-24 A method and a system for processing signals

Publications (2)

Publication Number Publication Date
JP2011525724A JP2011525724A (ja) 2011-09-22
JP5395895B2 true JP5395895B2 (ja) 2014-01-22

Family

ID=41340641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011510085A Expired - Fee Related JP5395895B2 (ja) 2008-05-22 2009-05-24 信号処理方法およびシステム

Country Status (5)

Country Link
US (1) US8675884B2 (ja)
EP (1) EP2294835A4 (ja)
JP (1) JP5395895B2 (ja)
CN (1) CN102084668A (ja)
WO (1) WO2009141828A2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148879B2 (en) 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
US20110181452A1 (en) * 2010-01-28 2011-07-28 Dsp Group, Ltd. Usage of Speaker Microphone for Sound Enhancement
US9275621B2 (en) 2010-06-21 2016-03-01 Nokia Technologies Oy Apparatus, method and computer program for adjustable noise cancellation
BR112013012539B1 (pt) * 2010-11-24 2021-05-18 Koninklijke Philips N.V. método para operar um dispositivo e dispositivo
DK2555189T3 (en) * 2010-11-25 2017-01-23 Goertek Inc Speech enhancement method and device for noise reduction communication headphones
FR2974655B1 (fr) * 2011-04-26 2013-12-20 Parrot Combine audio micro/casque comprenant des moyens de debruitage d'un signal de parole proche, notamment pour un systeme de telephonie "mains libres".
US8908894B2 (en) 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
CN103718568A (zh) * 2012-03-01 2014-04-09 骨声通信(以色列)有限公司 用于改善移动通信设备中的语音通信体验的方法和系统
CN103871419B (zh) * 2012-12-11 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
WO2014121402A1 (en) * 2013-02-07 2014-08-14 Sunnybrook Research Institute Systems, devices and methods for transmitting electrical signals through a faraday cage
FR3006093B1 (fr) * 2013-05-23 2016-04-01 Elno Dispositif acoustique apte a realiser une reduction active de bruit
CN104349241B (zh) * 2013-08-07 2019-04-23 联想(北京)有限公司 一种耳机及信息处理方法
US10108984B2 (en) 2013-10-29 2018-10-23 At&T Intellectual Property I, L.P. Detecting body language via bone conduction
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
US10678322B2 (en) 2013-11-18 2020-06-09 At&T Intellectual Property I, L.P. Pressure sensing via bone conduction
US9349280B2 (en) 2013-11-18 2016-05-24 At&T Intellectual Property I, L.P. Disrupting bone conduction signals
US9715774B2 (en) 2013-11-19 2017-07-25 At&T Intellectual Property I, L.P. Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals
US9405892B2 (en) 2013-11-26 2016-08-02 At&T Intellectual Property I, L.P. Preventing spoofing attacks for bone conduction applications
US20150199950A1 (en) * 2014-01-13 2015-07-16 DSP Group Use of microphones with vsensors for wearable devices
US9510094B2 (en) * 2014-04-09 2016-11-29 Apple Inc. Noise estimation in a mobile device using an external acoustic microphone signal
US9882992B2 (en) 2014-09-10 2018-01-30 At&T Intellectual Property I, L.P. Data session handoff using bone conduction
US9582071B2 (en) 2014-09-10 2017-02-28 At&T Intellectual Property I, L.P. Device hold determination using bone conduction
US10045732B2 (en) 2014-09-10 2018-08-14 At&T Intellectual Property I, L.P. Measuring muscle exertion using bone conduction
US9589482B2 (en) 2014-09-10 2017-03-07 At&T Intellectual Property I, L.P. Bone conduction tags
US9600079B2 (en) 2014-10-15 2017-03-21 At&T Intellectual Property I, L.P. Surface determination via bone conduction
US9905216B2 (en) 2015-03-13 2018-02-27 Bose Corporation Voice sensing using multiple microphones
US10515152B2 (en) * 2015-08-28 2019-12-24 Freedom Solutions Group, Llc Mitigation of conflicts between content matchers in automated document analysis
CN204994712U (zh) * 2015-10-07 2016-01-27 深圳前海零距物联网科技有限公司 带麦克风的智能头盔
DK3374990T3 (da) 2015-11-09 2019-11-04 Nextlink Ipr Ab Fremgangsmåde og system til støjundertrykkelse
US10021475B2 (en) * 2015-12-21 2018-07-10 Panasonic Intellectual Property Management Co., Ltd. Headset
US10695663B2 (en) * 2015-12-22 2020-06-30 Intel Corporation Ambient awareness in virtual reality
DK3453189T3 (da) * 2016-05-06 2021-07-26 Eers Global Tech Inc Anordning og fremgangsmåde til forbedring af kvaliteten af i- øret-mikrofonsignaler i støjende miljøer
US10062373B2 (en) * 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
CN106601227A (zh) * 2016-11-18 2017-04-26 北京金锐德路科技有限公司 音频采集方法和装置
CN206640738U (zh) * 2017-02-14 2017-11-14 歌尔股份有限公司 降噪耳机以及电子设备
US10455324B2 (en) * 2018-01-12 2019-10-22 Intel Corporation Apparatus and methods for bone conduction context detection
US10685663B2 (en) 2018-04-18 2020-06-16 Nokia Technologies Oy Enabling in-ear voice capture using deep learning
CN109195042B (zh) * 2018-07-16 2020-07-31 恒玄科技(上海)股份有限公司 低功耗的高效降噪耳机及降噪系统
US10831316B2 (en) 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
CN109240639A (zh) * 2018-08-30 2019-01-18 Oppo广东移动通信有限公司 音频数据的获取方法、装置、存储介质及终端
KR102565882B1 (ko) * 2019-02-12 2023-08-10 삼성전자주식회사 복수의 마이크들을 포함하는 음향 출력 장치 및 복수의 마이크들을 이용한 음향 신호의 처리 방법
CN112992114B (zh) * 2019-12-12 2024-06-18 深圳市韶音科技有限公司 噪声控制系统和方法
MX2022006246A (es) * 2019-12-12 2022-06-22 Shenzhen Shokz Co Ltd Sistemas y metodos para el control de ruido.
TWI745845B (zh) * 2020-01-31 2021-11-11 美律實業股份有限公司 耳機及耳機組
US11521643B2 (en) 2020-05-08 2022-12-06 Bose Corporation Wearable audio device with user own-voice recording
US11335362B2 (en) 2020-08-25 2022-05-17 Bose Corporation Wearable mixed sensor array for self-voice capture
CN112511948B (zh) * 2021-02-08 2021-06-11 江西联创宏声电子股份有限公司 耳机
CN115132212A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 一种语音控制方法和装置
US12052538B2 (en) * 2021-09-16 2024-07-30 Bitwave Pte Ltd. Voice communication in hostile noisy environment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69527731T2 (de) * 1994-05-18 2003-04-03 Nippon Telegraph & Telephone Co., Tokio/Tokyo Sender-Empfänger mit einem akustischen Wandler vom Ohrpassstück-Typ
JPH07312634A (ja) * 1994-05-18 1995-11-28 Nippon Telegr & Teleph Corp <Ntt> 耳栓形変換器を用いる送受話装置
JP3513935B2 (ja) * 1994-09-08 2004-03-31 ソニー株式会社 通信端末
US6175633B1 (en) * 1997-04-09 2001-01-16 Cavcom, Inc. Radio communications apparatus with attenuating ear pieces for high noise environments
US6396930B1 (en) * 1998-02-20 2002-05-28 Michael Allen Vaudrey Active noise reduction for audiometry
US20070127757A2 (en) * 2005-07-18 2007-06-07 Soundquest, Inc. Behind-The-Ear-Auditory Device
JP5315506B2 (ja) * 2006-03-22 2013-10-16 ボーン・トーン・コミュニケイションズ・リミテッド 骨伝導音伝播のための方法及びシステム
JP4811094B2 (ja) * 2006-04-04 2011-11-09 株式会社ケンウッド イヤーモールド型送受話器及び無線通信装置
DK1981310T3 (en) * 2007-04-11 2017-09-18 Oticon As Hearing aid with linearized output stage
US8184821B2 (en) * 2008-01-28 2012-05-22 Industrial Technology Research Institute Acoustic transducer device

Also Published As

Publication number Publication date
JP2011525724A (ja) 2011-09-22
CN102084668A (zh) 2011-06-01
EP2294835A4 (en) 2012-01-18
WO2009141828A2 (en) 2009-11-26
US8675884B2 (en) 2014-03-18
EP2294835A2 (en) 2011-03-16
WO2009141828A3 (en) 2010-03-11
US20110135106A1 (en) 2011-06-09

Similar Documents

Publication Publication Date Title
JP5395895B2 (ja) 信号処理方法およびシステム
US10810989B2 (en) Method and device for acute sound detection and reproduction
JP6336698B2 (ja) イヤースピーカチャネル間の適応雑音消去(anc)の調整された制御
JP7066705B2 (ja) ヘッドフォンオフイヤー検知
JP5400166B2 (ja) 受話器およびステレオとモノラル信号を再生する方法
DK180471B1 (en) Headset with active noise cancellation
KR102266080B1 (ko) 주파수 의존 측음 교정
JP6305395B2 (ja) 雑音消去パーソナルオーディオデバイスにおける二次経路モデルおよび漏出経路モデルのエラー信号コンテンツ制御適応
JP5401759B2 (ja) 音声出力装置、音声出力方法、音声出力システムおよび音声出力処理用プログラム
JP6144334B2 (ja) 適応雑音消去を有するパーソナルオーディオデバイスにおける周波数および方向依存周囲音の取り扱い
EP2339867A2 (en) Stand-alone ear bud for active noise reduction
WO2009136953A1 (en) Method and device for acoustic management control of multiple microphones
EP3213527B1 (en) Self-voice occlusion mitigation in headsets
KR20140145108A (ko) 이동 통신 장치에서의 음성 통신 개선방법 및 시스템
CN110754096A (zh) 检测耳机用户的话音活动的系统和方法
EP3840402B1 (en) Wearable electronic device with low frequency noise reduction
EP0825798A2 (en) An earphone unit and a terminal device
JP2020120154A (ja) 信号処理装置、ヘッドセット、プログラム、及びコンピュータ読み取り可能な媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130709

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131018

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees