JP5819324B2 - 複数の音声区間検出器に基づく音声区間検出 - Google Patents

複数の音声区間検出器に基づく音声区間検出 Download PDF

Info

Publication number
JP5819324B2
JP5819324B2 JP2012554993A JP2012554993A JP5819324B2 JP 5819324 B2 JP5819324 B2 JP 5819324B2 JP 2012554993 A JP2012554993 A JP 2012554993A JP 2012554993 A JP2012554993 A JP 2012554993A JP 5819324 B2 JP5819324 B2 JP 5819324B2
Authority
JP
Japan
Prior art keywords
vad
signal
handset
headset
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012554993A
Other languages
English (en)
Other versions
JP2013520707A (ja
Inventor
リ、テ−ウォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013520707A publication Critical patent/JP2013520707A/ja
Application granted granted Critical
Publication of JP5819324B2 publication Critical patent/JP5819324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

分野
本開示は、一般的にスピーチ処理に関係し、より具体的には、音声区間検出に関係する。
背景
音声区間検出(voice activity detection:VAD)は、人間のスピーチ(音声)の有無がオーディオ信号の部分内で検出されるスピーチ処理で使用される技術であり、オーディオ信号は、また、音楽、ノイズ、又は他の音を含む場合がある。VADの主な用途は音声コーディングおよびスピーチ認識である。VADは、スピーチ処理を促進することができ、また、非スピーチセグメント中に、いくつかのプロセスを非アクティブ(deactivate)にするために使用されることができる:それは、不必要なサイレンスのコーディング/送信を回避することができ、計算およびネットワーク帯域幅を減ずることができる。
VADは、様々なスピーチベースのアプリケーションのための重要な使用可能技術である。慣習的に、VAD情報は、入力オーディオ信号から、通信ハンドセットのような単一のデバイスにおいて局所的に通常推定される。
音声通信システムにおけるVADは、非常に多種の音響バックグラウンドノイズの存在する状況で音声を検出することができるべきである。騒々しい環境中の音声の検出における1つの困難は、時々遭遇する非常に低い信号対ノイズ雑音比(SNR)である。これらの状況で、既知のVAD技術を使用して音声とノイズ又は他のサウンドとを区別することは多くの場合難しい。
概要
ここで開示される技術は、音声コーディングのような、スピーチ処理を強化するためにVADを改善する。開示されたVAD技術は、音声検出の正確性および信頼性を改善し、それと共に、ノイズ低減、エコーキャンセル、レートコーディングなどのような、VADに依存する機能を改善する。VADの改善は、1つ以上の別のデバイスから提供されてもよいVAD情報を使用することによって達成される。VAD情報は、より正確なVADを提供する複数のマイクロフォンまたは他のセンサー種類を用いて生成されるとしてもよい。VAD情報は、互いに接続されるとしてもよい複数のデバイスから来る。
ある態様にしたがって、音声区間検出(VAD)の方法は、デバイスに含まれる第1の音声区間検出器からの第1のVAD信号を受け取ることと;前記デバイスに含まれない第2の音声区間検出器からの第2のVAD信号を受け取ることと;前記第1および第2のVAD信号をVAD出力信号に組み合わせることと;前記VAD出力信号に基づいて音声区間を検出することと、を含む。
別の態様にしたがって、システムは、デバイスに含まれ、第1のVAD信号を生成するように構成される第1の音声区間検出器と;前記デバイスに含まれず、第2のVAD信号を生成するように構成される第2の音声区間検出器と;前記第1および第2の音声区間検出器との通信において、前記第1および第2のVAD信号をVAD出力信号に組み合わせるように構成される制御ロジックと、を含む。
別の態様にしたがって、システムは、第1の位置で、音声区間を検出する第1の手段と;第2の位置で、音声区間を検出する第2の手段と;前記第1および第2の手段からの出力を、VAD出力信号に組み合わせる手段と、を含む。
さらなる態様にしたがって、1つ以上のプロセッサによって実行可能な命令のセットを包含するコンピュータ可読媒体は、デバイスに含まれる第1の音声区間検出器からの第1のVAD信号を受け取るコードと;前記デバイスに含まれない第2の音声区間検出器からの第2のVAD信号を受け取るコードと;前記第1および第2のVAD信号を、VAD出力信号に組み合わせるコードと、を含む。
他の態様、特徴、および利点は、以下の図面および詳細な説明の考察から、当業者に明確であるか、または、明確になるであろう。そのようなすべての追加の特徴、態様、および利点がこの記述内に含まれ、添付している請求項によって保護されることが意図される。
図面はもっぱら例示の目的であることは理解されるべきである。さらに、図の中のコンポーネントは必ずしもその大きさで作られず、ここに記述される技術の原理の例示する上で配置が取り替られることは重要である。図において、同じ参照番号は、異なる考察を通じて対応する部分を示す。
図1は、例示的な音声区間検出(VAD)システムの図である。 図2は、図1のシステムを使用するボイス区間(voice activity)の検出の方法を例示するフローチャートである。 図3は、図1に示される外部VADでのSNRの機能に関してVAD信号の重み付け因子を示す例示的なグラフである。 図4は、図1に示される内部VADでのSNRの機能に関してVAD信号の重み付け因子を示す例示的なグラフである。 図5は、VADシステムを含む例示的なヘッドセット/ハンドセットの組み合わせを示す図である。 図6は、図5のヘッドセットおよびハンドセットに含まれるいくらかのコンポーネントを示すブロック図である。 図7は、図6に示されるハンドセットプロセッサのいくらかのコンポーネントを示すブロック図である。
詳細な説明
以下の詳細な説明は、図を参照しおよび組み込み、1つ以上の特定の実施形態を記述または例証する。これらの実施形態は、限定のためではなくただ例証しおよび教えるために提示され、主張されるものを当業者が実施可能なように十分詳細に示されおよび記述されている。したがって、簡潔かのために、この記述は、当業者に既知のいくらかの情報を省略する場合がある。
用語「例示的」は、「例、実例、または例証として与えること」を意味するために、本開示にわたって使用される。「例示的」としてここで記述されるいずれのものも、かならずしも他のアプローチまたは特徴に関してより好ましいまたは有益であるとして解釈されない。
従来のスピーチ処理システムにおいて、音声区間検出(VAD)は、典型的に、マイクロフォン信号のようなオーディオ入力信号から推定され、マイクロフォン信号は、例えばセルフォンのマイクロフォン信号である。VADは、ボコーダおよびスピーチ認識デバイスのような、多数のスピーチ処理デバイスにおける重要な機能である。
ここで開示されるように、音声区間検出器は、主要なデバイス(例えば、コンピュータ、セルフォン、他のハンドヘルドデバイスなど)に接続されてもよい分離のデバイスに配置される。主要なデバイス内で、分離のデバイスのVAD情報は、さらに、処理されてもよく、スピーチ処理が起こる。
例えば、ブルートゥース(登録商標)ヘッドセットは、セルフォンに接続されてもよい。セルフォンにおけるボコーダは、セルフォンのマイクロフォン入力信号を通常使用するVADアルゴリズムを含むとしてもよい。ブルートゥースヘッドセットがセルフォンに活動的に接続される場合、ブルートゥースヘッドセットのマイクロマイクロフォン信号は、セルフォンのマイクロフォン信号の代わりに、または、セルフォンのマイクロフォン信号と組み合わせて、VADアルゴリズムによって使用される。もし、ブルートゥースヘッドセットが、複数のマイクロフォン、骨伝導または皮膚振動マイクロフォンのような追加情報、または、ユーザ(ターゲット)のVADを正確に推定するために電磁気(EM)ドップラーレーダ信号を使用する場合、この外部VAD情報は、次に、ボコーダの性能を改善するために、セルフォンのボコーダの中で使用される。外部VAD情報は、ノイズ推定アップデート、エコーキャンセラ(EC)、レート制御、などのような、ボコーダ機能を制御するために採用されることができる。外部VAD信号は、ヘッドセットからハンドセットへの1ビット信号とすることができ、ヘッドセットへ送信されるオーディオ信号へエンコード化されることができ、あるいは、それはヘッダ情報としてブルートゥースパケットへ埋め込まれることもできる。受信するハンドセットはこの外部VAD信号をデコードし、次に、ボコーダでそれを使用するように構成される。
骨伝導および皮膚振動マイクロフォンでは、ユーザが話す場合、ユーザの皮膚および頭骨が振動し、マイクロフォンは皮膚振動をアナログ電気信号に変換する。音声信号は、従来のマイクロフォンを使用する他のヘッドセットのように口からヘッドセットまで空気を通して渡されないので、骨伝導および皮膚振動マイクロフォンは、騒々しい環境で利点を備える。したがって、周辺のノイズは、ハンドセットに渡されたオーディオ信号から有効に除去される。
音響ドップラーレーダデバイスを使用する音声区間検出のために、センサが、スピーカーの口の動的なステータスを検出するために使用される。オペレーションの周波数で、バックグラウンドノイズは、大きく減じられ、ほとんどのオペレーティング状態においてデバイスを外部の音響ノイズに対して強固にする。例えば、骨伝導および皮膚振動センサのような他の非音響センサと異なり、レーダデバイスは、スピーカーに対してテープで留めるまたは装着される必要がなく、ほとんどの状況においてより好ましい。
外部VAD信号は、ブルートゥース(BT)パケットの1ビットのフラグである場合、1ビットのフラグは、各ブルートゥースパケットのヘッダ中のアクセスコードまたはタイプフィールドのトレーラーに含まれることができる。あるいは、1ビットのVADフラグは、ブルートゥースパケットのペイロードセクションの指定された位置に含まれることができる。いずれの場合も、VAD信号は、各BTのパケットに含まれるシングルのビットフラグである。フラグがセットされる場合、それはブルートゥースパケットが外部VADによって検出された音声を含むことを示す。VADフラグがセットされない場合、音声はブルートゥースパケットのオーディオペイロードの中に存在しない。BTのヘッダに埋め込まれるただ1つの1ビットのフラグを送ることは、個別の信号(ブロックまたはBTパケット当たり1ビット)を提供する。外部VAD信号を表すより多くのビットを持つフラグまたは複数のフラグは、代替として使用されてもよい。
外部VADは、在来のVADで、特に、低い雑印対ノイズ比(SNR)シナリオで、非静止ノイズおよび競い合う音声の場合、他の音声が存在することがある他の場合、たびたび経験されるスピーチ処理エラーを低減する。さらに、ターゲット音声は識別されることができ、外部VADは、ターゲットの音声区間の信頼できる推定を提供することができる。より信頼でき、かつ、正確なVADは、以下のスピーチ処理機能を改良するために使用されることができる:ノイズ低減(NR)、すなわち、より信頼できるVADで、より高いNRが非音声セグメントにおいて実行されることができる;音声および非音声セグメントの推定;エコーキャンセル(EC)、改善されたダブル検出スキーム;および、より積極的なレートコーディングスキームを可能にするレートコーディングの改善(非音声セグメントに対するより低いレート)。
図1は、例示的な音声区間検出システム10の図である。システム10は、デバイス12と、1つ以上のマイクロフォン16のような音響センサと接続される外部音声区間検出器(VAD)14とを含む。外部VAD14に関連する音響センサは、代替的に、1つ以上の骨伝導または皮膚振動マイクロフォン、または、電磁気(EM)ドップラーレーダデバイス、または、そのようなセンサおよび/またはマイクロフォンの任意の適切な組み合わせ、であるか、または、追加で含むことができる。
デバイス12は、内部音声区間検出器(VAD)、制御ロジック20、ボコーダのようなスピーチプロセッサ22、1つ以上のマイクロフォン24、センサ26を含む。デバイス12は、コンピュータ、ラップトップ、電話のような通信デバイス、セルラーフォン、携帯情報端末(PDA)、ゲームデバイスなどのような、ここで開示される機能を実行するように構成された任意の適切な電子デバイスとしてもよい。
内部VAD18は、VADアルゴリズムを実行する任意の適切なデバイスであるとしてもよく、スピーチプロセッサ22の一部として統合されてもよい。制御ロジック20は、外部VAD14、内部VAD18およびセンサ26からのVAD信号に反応する。
センサ26は、環境オペレーティング状態を感知し、そのような状態に基づいて制御ロジック20へ入力を提供する。そのような状態は、制御ロジック20によって生成されるVAD出力信号を決定するために使用される。センサ26は、音響ノイズレベル、例えばデバイス12でおよび/または外部VAD14でまたはその近くで測定された信号対ノイズ比(SNR)のような、1つ以上の環境オペレーティング状態に基づく制御入力を出力するとしてもよい。センサ26は、マイクロフォン16,24のうちの一方または双方を含むとしてもよい。
外部VAD14は、デバイス12の外部に配置され、制御ロジック20によって受け取られる外部VAD信号を生産する。外部VAD14は、VADアルゴリズムを実行する任意の適切なデバイスでもよい。外部VAD14は、ヘッドセット、スピーカーフォン、自動車キットなどのような分離の装置に含まれてもよい。
外部VAD14とデバイス12とは、任意の適切な通信媒体およびプロトコルを使用して互いに通信するとしてもよい。外部VAD14とデバイス12との間の接続は、www.bluetooth(登録商標).comで利用可能なブルートゥース仕様によって定義される、例えばブルートゥースリンクである、無線周波数(RF)または赤外線(IR)リンクのような、ワイヤー接続またはワイヤレス接続とすることができる。外部VAD信号は、デバイス12に転送されたオーディオデータでエンコードされることができ、または、それは、上述されるようなブルートゥースパケットのようなオーディオパケットに含まれたフラグでとすることができる。
制御ロジック20は、VAD出力信号へ外部および内部VAD信号を組み合わせてもよい。制御ロジック20は、センサ26からの環境の入力に基づく重み付け因子を使用して、VAD信号の各々を重み付けすることにより、入力VAD信号を組み合わせることができる。使用されてもよい重み付け因子および方法のいくつかの例が、図3および4に関して以下で説明される。音声区間は、VAD出力信号に基づいて検出されることができる。図1に示される例において、VAD出力信号は、スピーチプロセッサ22に提供され、スピーチプロセッサ22は、VAD出力信号としきい値とを比較し、音声がスピーチプロセッサ22によって処理されているオーディオ信号の中に存在するか否か決定する。
スピーチプロセッサ22は、ボコーダのような音声区間検出を頼る任意のタイプのスピーチ処理コンポーネントであるとしてもよい。例えば、スピーチプロセッサ22は、「Enhanced Variable Rate Codec, Speech Service Option 3 for Wideband Spread Spectrum Digital Systems」で指定されたenhanced variable rate codec(EVRC)のようなEVRC、または、2004年4月付けの3GPP2, No.3GPP2 C.S0014-Aとすることができる。
内部および外部VAD18および14によって使用されるVADアルゴリズムは、例えば当業者に現在知られている任意の適切なVADアルゴリズムとすることができる。例えば、エネルギーベースのVADアルゴリズムが使用されてもよい。このタイプのVADアルゴリズムは信号エネルギーを計算し、信号エネルギーレベルとしきい値とを比較し、音声区間を決定する。ゼロクロスカウントタイプのVADアルゴリズムが使用されてもよい。このタイプのVADアルゴリズムは、入力オーディオ信号がポジティブからネガティブへおよびその逆で変動する場合に、フレームあたりのゼロクロスの数をカウントすることにより音声の存在を決定する。ゼロクロスのあるしきい値は、音声区間を示すために使用されてもよい。さらに、ピッチ推定および検出アルゴリズムは、フォルトマントおよび/またはケプストラム係数を計算して音声の存在を示すVADアルゴリズムと同様に、音声区間を検出するために使用されることができる。他のVADアルゴリズムまたは上記のVADアルゴリズムの任意の適切な組み合わせは、代替として/追加として、内部および外部VAD18,14によって使用されてもよい。
図2は、図1のシステム10を使用して音声区間を検出する方法を例証するフローチャート100である。決定ブロック102では、例えば外部VAD14である外部VADが利用されるか否か決定するためのチェックが行われる。もし、そうでなければ、方法はブロック110に進み、ここで、音声が、例えば内部VAD18である、内部VADからのVAD信号出力に基づいて検出される。
もし、外部VADが利用可能であれば、方法はブロック104に進む。ブロック104では、外部VADの機能が決定される。外部VADの機能は、例えば、骨伝導マイクロフォン、オーディオマイクロフォン、皮膚振動センサ、マイクロフォンのアレイ、ドップラーレーダデバイス、または上記の任意の適切な組み合わせである、外部VADによって使用される音響センサのタイプに基づいている。
ブロック106において、環境オペレーティング状態が決定される。その状態は、外部VADまたはデバイスでの、または、その近くにおける環境状態を含むとしてもよい。例えば、オペレーティング状態は、外部VADおよび/またはデバイスの位置で測定されたバックグラウンドノイズを含むとしてもよい。オペレーティング状態は、外部VAD、デバイスまたは双方の位置で測定された信号対ノイズ比(SNR)を含むとしてもよい。
環境オペレーティング状態に基づいて、制御ロジックは、VAD出力信号の決定において、外部VADからのVAD信号のみが使用されること(ブロック108)、内部VADからのVAD信号のみが使用されること(ブロック110)、または、外部および内部VAD信号が使用されること(ブロック112−116)を決定するとしてもよい。
もし、外部VAD信号のみが使用される場合には、次に、音声信号は外部VAD信号のみに基づいて検出される(ブロック108)。もし、内部VAD信号のみが使用される場合には、次に、音声信号は内部VAD信号のみに基づいて検出される(ブロック110)。
もし、オペレーティング状態が内部および外部VAD信号の双方の使用を許可するなら、例えば、内部VADの位置で比較的大量の音響バックグラウンドノイズがある場合、次に、外部VAD信号の信頼が推定され(ブロック112)、内部VAD信号の信頼も推定される(ブロック114)。信頼レベルは、例えば、それぞれ、各VAD位置での測定されたSNRまたは他の環境状態の関数に関して、各VAD信号に対する重み付け因子(例えば、確率値)を決定することにより、計算されることができる。そのうえ、確率値は、対応する信頼レベルを得るために、例えば、それぞれ、VAD信号と確率値とを掛け算することによって、重み付け因子としてそれぞれのVAD信号に適用されることができる。各確率値は、ゼロと1との間の値としてもよい。図3−4は、確率値と各位置で測定されたSNRとの間の例示的な関係を描くグラフを示す。重み付け因子は、SNRを除く環境状態に基づくとしてもよい。
ブロック116において、音声区間は、組み合わされた外部および内部VAD信号に基づいて制御ロジックによって検出される。組み合わされたVAD信号は、重み付けされた外部および内部VAD信号の合計としてもよく、例えば:
Y=P1*V1+P2*V2, 式1
であり、Y=VAD出力信号、P1=外部確率値、V1=外部VAD信号、P2=内部確率値、V2=内部VAD信号である。式1の各項P1*V1およびP2*V2は、信頼レベルを表わす。いくつかの状況において、外部および内部外部確率値P1,P2は、それぞれ0と1の範囲内であり、またさらに、確率値の合計は、1の値であるように要求されてもよい。VAD出力信号は、音声区間がオーディオ信号内に存在するか否かを決定するために、しきい値と比較される。もし、VAD出力信号が例えばしきい値を越える場合、音声はオーディオ信号の中に存在する。反対に、VAD出力信号がしきい値以下の場合、例として、音声はオーディオ信号の中に存在しない。他のしきい値の比較が使用されてもよい。使用されてもよい別の例示的な重み付け式は、次のように表現され:
Y=P*V1+(1−P)*V2, 式2
ここで、ここでPはP1またはP2のいずれかである。Pに値を割り当てることによって、(1−P)の値は、V2のための残りの重み付け因子として得られ、Yを計算する。
図3は、例である、外部VAD信号の重み付け因子P1と、図1で示される外部VAD14で測定される環境オペレーティング状態n、すなわちSNR、との間の例示的な関係を示すグラフ200である。測定されたSNRは垂直軸上に表わされ、確率値は水平軸上に表わされる。一般に、この例では、SNRは外部VAD信号の重み付け因子と直接的な関係を持ち、すなわち、SNRが増加すると重み付け因子も一般的に増加し、反対に、SNRが減少すると重み付け因子も減少する。
図4は、例である、内部VAD信号の重み付け因子P2と、図1で示される内部VAD18で測定される環境オペレーティング状態n、すなわちSNR、との間の例示的な関係を示すグラフ300である。測定されたSNRは垂直軸上に表わされ、確率値は水平軸上に表わされる。一般に、この例では、SNRは内部VAD信号の重み付け因子と直接的な関係を持ち、すなわち、SNRが増加すると重み付け因子も一般的に増加し、反対に、SNRが減少すると重み付け因子も減少する。
グラフ200,300は、例の関係のただ1つのセットを示す。異なる確率関数は、外部または内部VADのために使用されることができる。図3−4は、重み付け因子と測定された環境オペレーティング状態(例えば、SNR)との間の概ねS字状の関係を例示するが、線形の関係のような他の関係が、測定された環境状態から重み加け因子を導き出すために利用されてもよい。
外部および内部VADの重み付け因子が上記式2で与えられるように関連付けられる状況では、1つのグラフが、環境オペレーティング状態と重み付け因子との間の関係を例示するために使用されることができ、別のウェイト因子の値は直接計算されることができる。例えば、式2を使用すると、第2の重み付け因子は、1−Pから計算されることができる。
一般に、P1およびP2の間の関係は、VADが、内部VADまたは外部VADのいずれかで、より高い信頼性で音声区間を決定していることの推定を反映する。これは、ほとんどVADの特性に依存する。例えば、マイクロフォン入力信号に依存する場合がある内部VADに対して、内部VAD信号の信頼度は、デバイスでの測定SNRに高度に依存し、図4のグラフが当てはまるとしてもよい。しかしながら、例えばワイヤレスヘッドセットのような外部デバイスでは、骨伝道マイクロフォンが使用されてもよい。骨伝道マイクロフォンが使用される場合、外部VAD信号の信頼度は、例えば、SNRに必ずしも依存せず、その代わりに、どのくらい骨伝導センサがユーザの皮膚領域に正確に触れるか、および、正確に振動と骨伝導を検出するかに依存する。この場合、外部重み付け因子P1は、必ずしも図3に示されるようなSNRの関数ではなく、ユーザの皮膚への骨伝道センサの接触のレベルの関数である。センサがユーザの皮膚に触れるほど、P1の値が大きくなる。
ヘッドセットのような外部デバイスに例えば配置される骨伝送センサと、ハンドセットのような主要なデバイスに例えば配置されるオーディオマイクロフォンとを組み合わせたシステムでは、P1は、P1が外部デバイスの有用性および着用に依存するように、環境オペレーティング状態へ関連付けられるとしてもよく、センサはユーザの皮膚に触れ、または、いくらかの場合には触れない。この状態は、内部およびまたは外部VADのオペレーションに基づく履歴データ、および/または、統計に基づいて、推定されるとしてもよい。内部VAD信号に対するP2は、測定されたSNRに基づくとしてもよい。
グラフ200,300に例示されたものを含む上述の重み付け因子と確率値とは、ルックアップテーブルに記憶されることができる。
図5は、VADシステム10の機能性を組み込むヘッドセット402およびハンドセット404を含む例示的なヘッドセット/ハンドセットの組み合わせ400を示す図である。図1のシステム10は、少なくともいくつかの異なるオペレーションのシナリオにおいて使用されることができる。図5に示される例において、VADシステム10の機能は、以下でより詳細に説明されるように、400ヘッドセット/ハンドセットの組み合わせに組み入れられる。この環境において、外部VAD情報は、ヘッドセット402に測定される。この測定は、付加的マイクロフォンまたはマイクロフォン、あご振動マイクロフォン/センサ、または、電磁気(EM)の、例えば、ドップラーレーダセンサのような、ヘッドセット402に含まれるいずれかのもの、からとすることができる。この外部VAD情報は、次に、外部VAD信号として、バイナリまたは連続信号の形式のいずれかで、ハンドセット404に送られる。外部VAD情報は、オーディオデータストリームへエンコードされるか、または、送られたパケットのヘッダへ埋め込まれることができる。VAD情報は、次に、ハンドセット404でデコードされ、特にEVRCのようなボコーダの性能を改善するためにさらなる処理に使用される。
ブルートゥースワイヤレスリンクは、ヘッドセット402とハンドセット404との間で好ましく使用される。外部VAD信号がパケットヘッダに含まれている構成において、外部VAD信号は、ブルートゥース(BT)パケットの1ビットのフラグであり、1ビットのフラグは、各ブルートゥースパケットヘッダ中のアクセスコードまたはタイプフィールドのトレーラーに含むことができる。あるいは、1ビットのVADフラグは、ブルートゥースパケットのペイロードセクションの指定された位置に含まれることができる。いずれの場合も、VAD信号は、各BTパケットに含まれたシングルビットのフラグである。フラグがセットされる場合、それはブルートゥースパケットが外部VADによって検出された音声を含むことを示す。VADフラグがセットされない場合、音声はブルートゥースパケットのオーディオペイロードの中に存在しない。BTヘッダに埋め込まれるたった1つの1ビットのフラグを送ることは、個別の信号(ブロックまたはBTパケット当たり1ビット)を提供する。外部VAD信号を表すより多くのビットを持つフラグまたは複数のフラグは、代替として使用されてもよい。
連続的なVAD信号は、任意の適切なオーディオウォーターマーキング技術を使用してオーディオストリームにエンコードされてもよい。オーディオウォーターマーキングを使用して、VAD信号は、聞き取れない範囲のオーディオデータに変調され、例えば、としても低い周波数のVAD信号または高い周波数のVAD信号に変調される。オーディオウォーターマーキングは、連続的なVAD信号をエンコードする例えばヘッドセットのような外部デバイスにおけるオーディオウォーターマーキング前処理を加えることにより実行されることができ;および、オーディオデータから連続的なVAD信号を抽出するためにオーディオデータをデコードする例えばハンドセットのような主要なデバイスにおけるオーディオウォーターマーキング前処理も加えることができる。
ハンドセット404は、2次的なワイヤレス通信インタフェース、好ましくはブルートゥースインタフェースを含む、セルラーフォン、ゲームデバイス、または、PDAのような、ポータブルワイヤレス通信デバイスとしてもよい。
ヘッドセット402は、ワイヤレスヘッドセット、好ましくはブルートゥースヘッドセットである。ヘッドセット402およびハンドセット404は、短距離ワイヤレスリンク、例えばブルートゥースをわたって互いと通信する。デジタル化されたオーディオは、ブルートゥース仕様によって定義されるような、従来のブルートゥースプロフィール(例えばHSP)およびプロトコルを使用してヘッドセット402とハンドセットとの間で転送されてもよく、ブルートゥースパケットヘッダは、いくらかの構成において、外部VADのフラグを含むように変更されるとしてもよい。
図6は、図5のヘッドセット402およびハンドセット404に含まれるあるコンポーネントを示すブロック図である。
ヘッドセット402は、1つ以上のマイクロフォン406、マイクロフォンプリプロセッサ408、外部VAD410、およびワイヤレスインターフェース412を含む。ワイヤレスインタフェース412は、トランシーバ416を含む。マイクロフォンプリプロセッサ408は、マイクロフォン406から受け取られた電子信号を処理するように構成される。マイクロフォンプリプロセッサ408は、アナログデジタル変換器(ADC)および他のアナログおよびディジタル処理回路類を含むとしてもよい。ADCは、マイクロフォン406からのアナログ信号をデジタル信号に変換する。次に、これらのデジタル信号は、ワイヤレスインタフェース412によって処理されるとしてもよい。マイクロフォンプリプロセッサ408は、市販のハードウェア、ソフトウェア、ファームウェア、または、それの任意の適切な組み合わせを使用して実装されるとしてもよい。
ヘッドセット402は、さらにまたは代わりに、1つ以上のあごまたは皮膚振動センサ、および/または、電気−磁気(EM)の例えば音声区間を検出するためのドップラーレーダセンサを含むとしてもよい。これらのセンサの出力は、マイクロフォン信号(mic2信号)の代わりに、または、マイクロフォン信号(mic2信号)と結合して、外部VAD410に提供される。
ワイヤレスインタフェース412は、ハンドセット404およびもし必要であれば他のデバイスとの双方向ワイヤレス通信を提供する。好ましくは、ワイヤレスインタフェース412は、ブルートゥースRFトランシーバ、ベースバンドプロセッサ、プロトコルスタックからなる少なくともブルートゥースコアシステムを提供する市販のブルートゥースモジュールを含み、同様に、モジュールとヘッドセット402におけるプロセッサ414のようなコントローラとを接続するためのハードウェアおよびソフトウェアインタフェースを含む。任意の適切なワイヤレス技術は、ヘッドセット402で使用されることができ、トランシーバ416は好ましくはブルートゥーストランシーバである。ワイヤレスインタフェース412は、ヘッドセットコントローラ(例えば、プロセッサ414)によって制御されてもよい。
外部VAD410は、ソフトウェアコードを実行するプロセッサ414によって実装されることができる。外部VAD410は、ここに記述されるVADアルゴリズムのうちのいずれであっても含むVADアルゴリズムを実行する任意の適切なデバイスとしてもよい。外部VAD410は、マイクロフォン406または他のセンサからの入力に基づいて外部VAD信号を出力する。外部VAD信号は、次に、プロセッサ414によって、上述のように、シングルビットのフラグとしてブルートゥースオーディオパケットヘッダへ埋め込まれる。ヘッドセット/ハンドセットシステムの代替の構成において、プロセッサ414は、オーディオウォーターマーキングアルゴリズムを使用してデジタル化されたmic2信号上のVAD信号をエンコードする。
ワイヤレスインタフェース412は、ブルートゥースオーディオパケット中のデジタル化されたmic2信号および外部VAD信号を、ブルートゥースワイヤレスリンクによって、ハンドセット404のワイヤレスインタフェース428へ転送する。
プロセッサ414は、例えば、ARM7、デジタル信号プロセサ(DSP)1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、コンプレックスプログラマブルロジックデバイス(CPLD)、個別のロジック、または、それらの任意の適切な組み合わせであるマイクロプロセッサのような、任意の適切なコンピューティングデバイスとしてもよい。
ハンドセット404は、1つ以上のマイクロフォン418、マイクロフォンプリプロセッサ420、内部VAD422、制御ロジック424、ボコーダ426、およびワイヤレスインタフェース428を含む。ワイヤレスインタフェース428は、トランシーバ432を含む。
ワイヤレスインタフェース428は、ヘッドセット402およびもし必要であれば他のデバイスとの双方向ワイヤレス通信を提供する。好ましくは、ワイヤレスインタフェース428は、ブルートゥースRFトランシーバ、ベースバンドプロセッサ、プロトコルスタックからなる少なくともブルートゥースコアシステムを提供する市販のブルートゥースモジュールを含み、同様に、モジュールとハンドセット404におけるプロセッサ430のようなコントローラとを接続するためのハードウェアおよびソフトウェアインタフェースを含む。任意の適切なワイヤレス技術は、ハンドセット404で使用されることができ、トランシーバ432は好ましくはブルートゥーストランシーバである。ワイヤレスインタフェース428は、ハンドセットコントローラ(例えば、プロセッサ430)によって制御されてもよい。
内部VAD422、制御ロジック424、およびボコーダ426は、ソフトウェアコードを実行するプロセッサ430によって実装されることができる。プロセッサ430は、例えば、ARM7、デジタル信号プロセサ(DSP)1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、コンプレックスプログラマブルロジックデバイス(CPLD)、個別のロジック、または、それらの任意の適切な組み合わせであるマイクロプロセッサのような、任意の適切なコンピューティングデバイスとしてもよい。
制御ロジック424は、外部VAD410および内部VAD422からのVAD信号、および、ヘッドセットマイクロフォン406(mic2信号)およびハンドセットマイクロフォン418(mic1信号)からのデジタル化されたマイクロフォン信号、に反応する。制御ロジック424は、ボコーダ426に提供されるVAD出力信号を出力する。制御ロジック424は、VAD出力信号を生成するために、外部および内部VAD信号を重み付けすることによって外部および内部VAD信号を組み合わせるとしてもよい。VAD信号の重み付けは、以上で説明されたように実行されてもよく、各VAD信号に適用される重み付け因子は、以上で説明されたように、ハンドセット404またはヘッドセット402のいずれかに含まれる1つ以上のセンサ(図示されず)によって測定された環境オペレーティング状態に基づくとしてもよい。
ボコーダ426は、VAD出力信号に基づいて音声区間を検出する。音声区間は、パケットごとのベースで個々のオーディオパケットに対して決定されるとしてもよい。VAD出力信号は、音声がボコーダ426によって処理されているオーディオ信号(パケット)の中にあるかどうか判断するためにVAD出力信号としきい値とと比較するボコーダ426に提供される。
制御ロジック424は、また、処理およびエンコード化のために、マイクロフォン406,418からボコーダ426にデジタル化されたオーディオ信号(mic1およびmic2信号)を提供する。ボコーダ426は、いずれのマイクロフォン406,418がスピーチを受け取るために現在使用されているかに依存して、いずれかのマイクロフォン信号を処理するために選択することができる。エンコードされたスピーチ(音声)信号は、ボコーダ426によって出力される。ボコーダ426は、3GPP2によって指定されるEVRCを含むがこれに限定されない、任意の適切な音声コーディングアルゴリズムを実行することができる。エンコードされたスピーチは、次に、WWANインターフェース630を使用してWWANに送信されることができる。
ハンドセット404は、また、セルラネットワークのようなワイヤレス広域ネットワーク(WWAN)と通信するために必要な全体の物理インタフェースを含むWWANインタフェース630を含む。WWANインタフェース630は、WWANの基地局とワイヤレス信号を交換するように構成されたワイヤレストランシーバを含む。WWANインタフェース630は、WWANとワイヤレス信号を交換し、音声コールおよびWWANを越える接続されたデバイスへのデータ転送を促進する。接続されたデバイスは、他のWWANターミナル、地上通信線電話、または、ボイスメールサーバ、インターネットサーバなどのようなネットワークサービスエンティティとしてもよい。適切なワイヤレス通信ネットワークの例は、符号分割多元接続(CDMA)ベースのネットワーク、WCDMA、GSM(登録商標)、UTMS、AMPS、PHSネットワークなどを含むが、これに限定されない。
図7は、図6に示されるハンドセットプロセッサ430のあるコンポーネントを示すブロック図である。プロセッサ430は、メモリ502に接続されるマイクロプロセッサ(uP)500を含む。メモリ502は、制御ロジックプログラム504、ボコーダプログラム506および内部VADプログラム508を記憶する。制御ロジックプログラム504は、uP500によって実行される場合に、制御ロジック424の機能性を提供するソフトウェア/ファームウェアコードを含む。ボコーダプログラム506は、uP500によって実行される場合に、ボコーダ426の機能性を提供するソフトウェア/ファームウェアコードを含む。内部VADプログラム508は、uP500によって実行される場合に、内部VAD422の機能性を提供するソフトウェア/ファームウェアコードを含む。個別のプログラムがあるとして例示されているが、制御ロジックプログラム504、ボコーダプログラム506、および内部VADプログラム508は1つ以上のプログラムとして組み合わされることができる。
メモリ502およびマイクロプロセッサ500は、互いに連結されることができ、共通バス上で通信することができる。メモリ502およびマイクロプロセッサ500は、シングルチップ上に集積されてもよく、または、それらは、個別のコンポーネント、または集積されたおよび離散のコンポーネントの任意の適切な組み合わせとしてもよい。さらに、他のプロセッサ−メモリアーキテクチャは、マルチプロセッサおよび/またはマルチメモリアレンジメントのように、代替として使用されてもよい。
マイクロプロセッサ500は、ARM7、DSP、1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルプゲートアレイ(FPGA)、コンプレックスプログラマブルロジック(CPLD)、個別のロジック、またはそれらの任意の適切な組み合わせのような、任意の適切なプロセッサまたはコントローラとすることができる。
代替として、マイクロプロセッサDSPコンビネーションのような複数のプロセッサを持つマルチプロセッサアーキテクチャは、ハンドセット404中のプロセッサ430を実装するために使用されてもよい。例示的なマルチプロセッサアーキテクチャにおいて、DSPは、内部VAD422、制御ロジック424およびボコーダ426の機能のようなオーディオ処理のうちのすくなくともいくつかを提供するようにプログラムされることができ、マイクロプロセッサは、ハンドセット404の全オペレーティングを制御するようにプログラムされることができる。
メモリ502は、フラッシュメモリ、RAM、ROM、PROMなどのような、プログラミングコードおよび/またはデータコンテンツを記憶するための任意の適切なメモリデバイスとしてもよい。
VADシステム10は、また、他のシステムにおいて、例えばハンドセット−カーキットにおいて使用されるとしてもよい。このシナリオにおいて、カーキットに使用される複数のマイクロフォンは、ソースの局在性および指向性情報が正確に推定されることを可能にする。この情報は、また、ノイズまたは望まれない信号を抑えるために使用されることができる。また、それは外部VAD信号を推定するために使用されることができる。この外部VAD信号は、そのうえハンドセットのボコーダ性能を増強するために付加的なVAD情報を使用するハンドセットに送られることができる。
VADシステム10が使用されることができる他のオペレーションのシナリオは、コンファレンスコールスピーカフォン−ハンドセットの組み合わせを持つ。この場合、外部VADデバイスは、ハンドセットに有線でまたはワイヤレスで接続されるスピーカフォンに含まれる。スピーカフォンデバイスは、関心のある音声ソースのVADを推定するために複数のマイクロフォンを使用することができる。ソースのVAD信号は、そのうえハンドセットのボコーダ性能を増強するために付加的なVAD情報を使用するハンドセットに送られることができる。
ここで説明された方法のステップおよびブロックと同様に、システム、デバイス、ヘッドセット、ハンドセット、および、それらのそれぞれのコンポーネントの機能性は、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の適切な組み合わせで実装されてもよい。ソフトウェア/ファームウェアは、マイクロプロセッサ、DSP、組み込みコントローラ、または、intellectual property(IP)コアのような、1つ以上のデジタル回路によって実行可能な命令(例えば、コードセグメント)のセットを持つプログラムでもよい。ソフトウェア/ファームウェアで実現した場合、機能は、命令またはコードとして1つ以上のコンピュータ読み取り可能媒体上に記憶されてもよく、あるいは、命令またはコードとして1つ以上のコンピュータ読み取り可能媒体上に送信されてもよい。コンピュータ読み取り可能媒体は、1つの場所から別の場所へのコンピュータプログラムの転送を促進する何らかの媒体を含む、コンピュータ記憶媒体および通信媒体の双方を含む。記憶媒体は、コンピュータによってアクセスできる何らかの利用可能な媒体であってもよい。例示によると、このようなコンピュータ読み取り可能媒体は、RAM、ROM、EEPROM、CD−ROM、あるいは他の光ディスク記憶デバイス、磁気ディスク記憶デバイス、または他の磁気記憶デバイス、あるいは命令またはデータ構造の形態で所望のプログラムコードを伝送または記憶するために使用でき、コンピュータによってアクセスできる他の何らかの媒体を含むことができるが、これらに限定されない。また、あらゆる接続は、コンピュータ読み取り可能媒体と適切に呼ばれている。例えば、ソフトウェアが、ウェブサイトから、サーバから、あるいは、同軸ケーブル、ファイバ光ケーブル、撚り対、デジタル加入者線(DSL)、または赤外線や、無線や、マイクロ波のようなワイヤレス技術を使用している他の遠隔ソースから送信された場合、同軸ケーブル、ファイバ光ケーブル、撚り対、DSL、あるいは、赤外線や、無線や、マイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ここで使用したようなディスク(diskおよびdisc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル汎用ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイ(登録商標)ディスクを含むが、一般的に、ディスク(disk)は、データを磁気的に再生する一方で、ディスク(disc)はデータをレーザによって光学的に再生する。先のものを組み合わせたものもまた、コンピュータ読み取り可能媒体の範囲内に含められるべきである。
ある実施形態が説明された。しかしながら、これらの実施系値アの様々な変更は可能であり、ここに与えられた原理は、他の実施形態に同様に適用されてもよい。例えば、ここに開示された原理は、携帯情報端末(PDA)、パーソナルコンピュータ、ステレオシステム、ビデオゲームなどを含むワイヤレスデバイスのような他のデバイスに適用されてもよい。また、ここに説明された原理は、ヘッドセットと他のデバイスとの間の通信リンクがワイヤレスリンクではなく、ワイヤリンクの場合の、ワイヤーのあるヘッドセットに適用されるとしてもよい。さらに、様々なコンポーネントおよび/または方法ステップ/ブロックは、請求項の範囲から外れることなく、特定の開示されたそれら以外の配置で実装されてもよい。
他の実施形態および変更が、これらの教えを考慮して当業者に容易に生じるだろう。したがって、次の請求項は、上記の明細書および添付している図面と共に見られた場合にそのような実施形態および変更をすべてカバーするように意図される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
音声区間検出(VAD)の方法において、
デバイスに含まれる第1の音声区間検出器からの第1のVAD信号を受け取ることと、
前記デバイスに含まれない第2の音声区間検出器からの第2のVAD信号を受け取ることと、
前記第1および第2のVAD信号をVAD出力信号に組み合わせることと、
前記VAD出力信号に基づいて音声区間を検出することと、
を具備する、方法。
[2]
環境状態に基づいて前記第1のVAD信号を重み付けすること、
をさらに具備する、[1]の方法。
[3]
前記環境状態は、前記デバイスで測定された信号対ノイズ雑音比(SNR)を含む、[2]の方法。
[4]
環境状態に基づいて前記第2のVAD信号を重み付けすること、
をさらに具備する、[1]の方法。
[5]
前記環境状態は、前記第2の音声区間検出器を含む外部デバイスで測定された信号対ノイズ雑音比(SNR)を含む、[4]の方法。
[6]
前記第2の音声区間検出器の前記機能を決定すること、
をさらに具備する、[1]の方法。
[7]
前記第2の音声区間検出器の前記機能は、骨伝導マイクロフォン、オーディオマイクロフォン、皮膚振動センサ、マイクロフォンのアレイ、または、レーダ信号に基づく、[6]の方法。
[8]
ワイヤレスリンクを越えて前記第2のVAD信号を送信すること、
をさらに具備する、[1]の方法。
[9]
前記ワイヤレスリンクは、ブルートゥースワイヤレスリンクである、請求項8の方法。
[10]
音声区間検出(VAD)の方法において、
第1のデバイスおよび第2のデバイスを提供し、各デバイスがワイヤレスリンク経由で相互に通信するように構成される、ことと、
前記第2のデバイスにおけるVAD信号を決定することと、
前記第2のデバイスで、前記VAD信号に基づいてフラグをセットし、前記フラグがデジタル化されたオーディオ含むパケットに含まれる、ことと、
第2のデバイスから前記第1のデバイスへ、前記ワイヤレスリンク経由で、前記パケットを送信することと、
前記パケットに含まれる前記フラグに基づいて、前記第1のデバイスで音声区間を検出することと、
を具備する、方法。
[11]
前記フラグは、ブルートゥースパケットヘッダに含まれる1ビット値である、[10]の方法。
[12]
デバイスに含まれ、第1の音声区間検出(VAD)信号を生成するように構成される第1の音声区間検出器と、
前記デバイスに含まれず、第2の音声区間検出(VAD)信号を生成するように構成される第2の音声区間検出器と、
前記第1および第2の音声区間検出器との通信において、前記第1および第2のVAD信号をVAD出力信号に組み合わせるように構成される制御ロジックと、
を具備する、システム。
[13]
前記VAD出力信号を受け取るプロセッサをさらに具備する[12]のシステム。
[14]
前記プロセッサはボコーダを含む、[13]のシステム。
[15]
前記デバイスはワイヤレスハンドセットである、[12]のシステム。
[16]
前記第2の音声区間検出器は、前記デバイスとの通信におけるヘッドセットヘッドセットに含まれる、[12]のシステム。
[17]
前記ヘッドセットはワイヤレスヘッドセットである、[16]のシステム。
[18]
前記第2のVAD信号は、ブルートゥースヘッダに含まれるシングルビット値として、前記制御ロジックに送られる、[12]のシステム。
[19]
前記制御ロジックは前記デバイスに含まれる、[13]のシステム。
[20]
第1の位置で、音声区間を検出する第1の手段と、
第2の位置で、音声区間を検出する第2の手段と、
前記第1および第2の手段からの出力を、音声区間検出(VAD)出力信号に組み合わせる手段と、
を具備する、システム。
[21]
前記VAD出力信号を受け取るプロセッサ手段と、
をさらに具備する、[20]のシステム。
[22]
前記第1の手段は、ワイヤレスハンドセットに含まれる、[20]のシステム。
[23]
前記第2の手段は、デバイスとの通信におけるヘッドセットに含まれる、[20]のシステム。
[24]
前記ヘッドセットはワイヤレスヘッドセットである、[23]のシステム。
[25]
ブルートゥースヘッダに含まれるシングルビット値として、前記第1または第2の手段からのVAD信号を、前記組み合わせる手段に送る手段をさらに具備する、[20]のシステム。
[26]
前記組み合わせる手段は前記第1の位置で含まれる、[20]のシステム。
[27]
1つ以上のプロセッサによって実行可能な命令のセットを包含するコンピュータ可読媒体において、
デバイスに含まれる第1の音声区間検出器からの第1のVAD信号を受け取るコードと、
前記デバイスに含まれない第2の音声区間検出器からの第2のVAD信号を受け取るコードと、
前記第1および第2のVAD信号を、VAD出力信号に組み合わせるコードと、
を具備する、コンピュータ可読媒体。
[28]
前記VAD出力信号に基づいて、音声区間を検出するコードをさらに具備する、[27]のコンピュータ可読媒体。
[29]
環境状態に基づいて、前記第1のVAD信号を重み付けするコードをさらに具備する、[27]のコンピュータ可読媒体。
[30]
前記環境状態は、前記デバイスで測定された信号対ノイズ雑音比(SNR)を含む、[29]のコンピュータ可読媒体。
[31]
環境状態に基づいて前記第2のVAD信号を重み付けするコードをさらに具備する、[27]のコンピュータ可読媒体。
[32]
前記環境状態は、前記第2の音声区間検出器を含む外部デバイスで測定された信号対ノイズ雑音比(SNR)を含む、[31]のコンピュータ可読媒体。

Claims (27)

  1. 音声区間検出(VAD)の方法において、
    ハンドセットに含まれる第1の音声区間検出器から第1のVAD信号を受け取ることと、
    外部のヘッドセットに含まれる第2の音声区間検出器から第2のVAD信号を受け取ることと、
    前記第1および第2のVAD信号を組み合わせて1つのVAD出力信号とすることと、
    前記VAD出力信号に基づいて音声区間を検出することと、
    含み
    前記第1の音声区間検出器は、プロセッサによって実現され、第1のセンサ信号に応答して前記第1のVAD信号を生成させるためのVADアルゴリズムを実行するように構成されており、
    前記第2の音声区間検出器は、プロセッサによって実現され、第2のセンサ信号に応答して前記第2のVAD信号を生成させるためのVADアルゴリズムを実行するように構成されている方法。
  2. 環境状態に基づいて前記第1のVAD信号を重み付けすること、
    をさらに含む、請求項1の方法。
  3. 前記環境状態は、前記ハンドセットにおいて測定された信号対ノイズ比(SNR)を含む、請求項2の方法。
  4. 環境状態に基づいて前記第2のVAD信号を重み付けすること、
    をさらに含む、請求項1乃至3のいずれか一項の方法。
  5. 前記環境状態は、前記第2の音声区間検出器を含む前記外部のヘッドセットにおいて測定された信号対ノイズ比(SNR)を含む、請求項4の方法。
  6. 前記第2の音声区間検出器の機能を決定すること、
    をさらに含む、請求項1の方法。
  7. 前記第2の音声区間検出器の前記機能は、骨伝導マイクロフォン、オーディオマイクロフォン、皮膚振動センサ、マイクロフォンのアレイ、または、レーダ信号に基づく、請求項6の方法。
  8. ワイヤレスリンクを介して前記第2のVAD信号を送信すること、
    をさらに含む、請求項1の方法。
  9. 前記ワイヤレスリンクは、ブルートゥースワイヤレスリンクである、請求項8の方法。
  10. 前記第1および第2のVAD信号の各々はオーディオ信号を含む、請求項1乃至9のいずれか一項の方法。
  11. 音声区間検出(VAD)の方法において、
    ハンドセット外部のヘッドセットを提供し、それぞれワイヤレスリンクを介して相互に通信するように構成されている、ことと、
    前記ヘッドセットにおいてVAD信号を決定することと、
    前記ヘッドセットにおいて、前記VAD信号に基づいてフラグをセット、前記フラグはデジタル化されたオーディオ含むパケットに含まれ前記フラグはブルートゥースパケットヘッダに含まれる1ビット値である、ことと、
    前記ヘッドセットから前記ハンドセットへ、前記ワイヤレスリンクを介して、前記パケットを送信することと、
    前記パケットに含まれる前記フラグに基づいて、前記ハンドセットにおいて音声区間を検出することと、
    含む、方法。
  12. ハンドセットに含まれ第1の音声区間検出器において前記第1の音声区間検出器は、ハンドセットプロセッサによって実現され、第1のセンサ信号に応答して第1の音声区間検出(VAD)信号を生成させるためのVADアルゴリズムを実行するように構成されている、前記第1の音声区間検出器と、
    外部のヘッドセットに含まれ第2の音声区間検出器において前記第2の音声区間検出器は、ヘッドセットプロセッサによって実現され、第2のセンサ信号に応答して第2のVAD信号を生成させるためのVADアルゴリズムを実行するように構成されている、前記第2の音声区間検出器と、
    前記第1および第2の音声区間検出器と通信し前記第1および第2のVAD信号を組み合わせて1つのVAD出力信号とするようにと、前記VAD出力信号に基づいて音声区間を検出するように構成されているプロセッサと、
    を具備する、システム。
  13. 前記プロセッサはボコーダを含む、請求項12のシステム。
  14. 前記ハンドセットはワイヤレスハンドセットである、請求項12のシステム。
  15. 前記ヘッドセットは、前記ハンドセットと通信を行う、請求項12のシステム。
  16. 前記ヘッドセットはワイヤレスヘッドセットである、請求項15のシステム。
  17. 前記第2のVAD信号は、ブルートゥースヘッダに含まれるシングルビット値として、前記プロセッサに送信される、請求項12のシステム。
  18. 前記プロセッサは前記ハンドセットに含まれる、請求項12のシステム。
  19. 前記第1および第2のVAD信号の各々はオーディオ信号を含む、請求項12乃至18のいずれか一項のシステム。
  20. ハンドセットに含まれ、第1のセンサ信号に応答して第1の出力信号を生成させる音声区間検出(VAD)アルゴリズムを実行することによって第1の位置において音声区間を検出する第1の手段と、
    外部のヘッドセットに含まれ、第2のセンサ信号に応答して第2の出力信号を生成させるVADアルゴリズムを実行することによって第2の位置において音声区間を検出する第2の手段と、
    前記第1および第2の手段からのそれぞれの出力信号を組み合わせて1つのVAD出力信号とする第3の手段と、
    前記VAD出力信号に基づいて音声区間を検出する第4の手段と、
    を具備する、システム。
  21. 前記ハンドセットはワイヤレスハンドセットである、請求項20のシステム。
  22. 前記ヘッドセットは、前記ハンドセットと通信を行う、請求項20のシステム。
  23. 前記ヘッドセットはワイヤレスヘッドセットである、請求項22のシステム。
  24. ブルートゥースヘッダに含まれるシングルビット値として、前記第1または第2の手段からのVAD信号を、前記第3の手段に送信する手段をさらに具備する、請求項20のシステム。
  25. 前記第3および第4の手段は前記ハンドセットに含まれる、請求項20のシステム。
  26. 前記第1および第2の手段からの前記それぞれの出力信号の各々はオーディオ信号を含む、請求項20乃至25のいずれか一項のシステム。
  27. つ以上のプロセッサによって実行可能な、実行時に請求項1乃至5のいずれか一項の方法を行うプログラムを記憶するコンピュータ読み取り可能な記憶媒体。
JP2012554993A 2010-02-24 2010-12-14 複数の音声区間検出器に基づく音声区間検出 Active JP5819324B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/711,943 2010-02-24
US12/711,943 US8626498B2 (en) 2010-02-24 2010-02-24 Voice activity detection based on plural voice activity detectors
PCT/US2010/060363 WO2011106065A1 (en) 2010-02-24 2010-12-14 Voice activity detection based on plural voice activity detectors

Publications (2)

Publication Number Publication Date
JP2013520707A JP2013520707A (ja) 2013-06-06
JP5819324B2 true JP5819324B2 (ja) 2015-11-24

Family

ID=43881004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012554993A Active JP5819324B2 (ja) 2010-02-24 2010-12-14 複数の音声区間検出器に基づく音声区間検出

Country Status (6)

Country Link
US (1) US8626498B2 (ja)
EP (1) EP2539887B1 (ja)
JP (1) JP5819324B2 (ja)
KR (1) KR101479386B1 (ja)
CN (1) CN102770909B (ja)
WO (1) WO2011106065A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8831937B2 (en) * 2010-11-12 2014-09-09 Audience, Inc. Post-noise suppression processing to improve voice quality
SI3493205T1 (sl) * 2010-12-24 2021-03-31 Huawei Technologies Co., Ltd. Postopek in naprava za adaptivno zaznavanje glasovne aktivnosti v vstopnem avdio signalu
US10218327B2 (en) * 2011-01-10 2019-02-26 Zhinian Jing Dynamic enhancement of audio (DAE) in headset systems
JP5699749B2 (ja) * 2011-03-31 2015-04-15 富士通株式会社 携帯端末装置の位置判定システムおよび携帯端末装置
WO2012176199A1 (en) * 2011-06-22 2012-12-27 Vocalzoom Systems Ltd Method and system for identification of speech segments
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
US8989058B2 (en) * 2011-09-28 2015-03-24 Marvell World Trade Ltd. Conference mixing using turbo-VAD
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
CN102820032B (zh) * 2012-08-15 2014-08-13 歌尔声学股份有限公司 一种语音识别系统和方法
US9313572B2 (en) * 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
CN103065631B (zh) * 2013-01-24 2015-07-29 华为终端有限公司 一种语音识别的方法、装置
CN103971680B (zh) * 2013-01-24 2018-06-05 华为终端(东莞)有限公司 一种语音识别的方法、装置
US9363596B2 (en) 2013-03-15 2016-06-07 Apple Inc. System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
US10020008B2 (en) 2013-05-23 2018-07-10 Knowles Electronics, Llc Microphone and corresponding digital interface
US9111548B2 (en) 2013-05-23 2015-08-18 Knowles Electronics, Llc Synchronization of buffered data in multiple microphones
US20180317019A1 (en) 2013-05-23 2018-11-01 Knowles Electronics, Llc Acoustic activity detecting microphone
KR20160010606A (ko) 2013-05-23 2016-01-27 노우레스 일렉트로닉스, 엘엘시 Vad 탐지 마이크로폰 및 그 마이크로폰을 동작시키는 방법
US9711166B2 (en) 2013-05-23 2017-07-18 Knowles Electronics, Llc Decimation synchronization in a microphone
KR102282366B1 (ko) * 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
CN104424956B9 (zh) 2013-08-30 2022-11-25 中兴通讯股份有限公司 激活音检测方法和装置
US9502028B2 (en) 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
US9147397B2 (en) 2013-10-29 2015-09-29 Knowles Electronics, Llc VAD detection apparatus and method of operating the same
CN106104686B (zh) * 2013-11-08 2019-12-31 美商楼氏电子有限公司 麦克风中的方法、麦克风组件、麦克风设备
US10812900B2 (en) 2014-06-02 2020-10-20 Invensense, Inc. Smart sensor for always-on operation
CN105142055A (zh) * 2014-06-03 2015-12-09 阮勇华 声控耳机
US11166167B2 (en) * 2014-06-18 2021-11-02 Texas Instruments Incorporated Audio stream identification by a wireless network controller
US10360926B2 (en) 2014-07-10 2019-07-23 Analog Devices Global Unlimited Company Low-complexity voice activity detection
CN105261375B (zh) * 2014-07-18 2018-08-31 中兴通讯股份有限公司 激活音检测的方法及装置
US10229686B2 (en) * 2014-08-18 2019-03-12 Nuance Communications, Inc. Methods and apparatus for speech segmentation using multiple metadata
DE112015004185T5 (de) 2014-09-12 2017-06-01 Knowles Electronics, Llc Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten
KR102301880B1 (ko) 2014-10-14 2021-09-14 삼성전자 주식회사 전자 장치 및 이의 음성 대화 방법
CN107112012B (zh) 2015-01-07 2020-11-20 美商楼氏电子有限公司 用于音频处理的方法和系统及计算机可读存储介质
US9830080B2 (en) 2015-01-21 2017-11-28 Knowles Electronics, Llc Low power voice trigger for acoustic apparatus and method
US10121472B2 (en) 2015-02-13 2018-11-06 Knowles Electronics, Llc Audio buffer catch-up apparatus and method with two microphones
US10097912B2 (en) * 2015-03-27 2018-10-09 Intel Corporation Intelligent switching between air conduction speakers and tissue conduction speakers
US9736782B2 (en) * 2015-04-13 2017-08-15 Sony Corporation Mobile device environment detection using an audio sensor and a reference signal
US9736578B2 (en) 2015-06-07 2017-08-15 Apple Inc. Microphone-based orientation sensors and related techniques
US10070342B2 (en) * 2015-06-19 2018-09-04 Apple Inc. Measurement denoising
US9478234B1 (en) 2015-07-13 2016-10-25 Knowles Electronics, Llc Microphone apparatus and method with catch-up buffer
CN105120198A (zh) * 2015-08-26 2015-12-02 无锡华海天和信息科技有限公司 一种能够消除通话中回音的视频通话系统及其实现方法
EP3157266B1 (en) * 2015-10-16 2019-02-27 Nxp B.V. Controller for a haptic feedback element
US9978397B2 (en) * 2015-12-22 2018-05-22 Intel Corporation Wearer voice activity detection
KR102468148B1 (ko) 2016-02-19 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 음성 및 잡음 분류 방법
US11138987B2 (en) 2016-04-04 2021-10-05 Honeywell International Inc. System and method to distinguish sources in a multiple audio source environment
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
US10079027B2 (en) * 2016-06-03 2018-09-18 Nxp B.V. Sound signal detector
US10281485B2 (en) 2016-07-29 2019-05-07 Invensense, Inc. Multi-path signal processing for microelectromechanical systems (MEMS) sensors
US10566007B2 (en) * 2016-09-08 2020-02-18 The Regents Of The University Of Michigan System and method for authenticating voice commands for a voice assistant
US10535364B1 (en) * 2016-09-08 2020-01-14 Amazon Technologies, Inc. Voice activity detection using air conduction and bone conduction microphones
JP2018046525A (ja) * 2016-09-16 2018-03-22 カシオ計算機株式会社 骨伝導波生成装置、骨伝導波生成方法、骨伝導波生成装置用のプログラム及び骨伝導波出力機
CN109844857B (zh) 2016-10-17 2024-02-23 哈曼国际工业有限公司 具有语音能力的便携式音频装置
US10403287B2 (en) 2017-01-19 2019-09-03 International Business Machines Corporation Managing users within a group that share a single teleconferencing device
US20180285056A1 (en) * 2017-03-28 2018-10-04 Microsoft Technology Licensing, Llc Accessory human interface device
DK3396978T3 (da) * 2017-04-26 2020-06-08 Sivantos Pte Ltd Fremgangsmåde til drift af en høreindretning og en høreindretning
US10573329B2 (en) * 2017-05-31 2020-02-25 Dell Products L.P. High frequency injection for improved false acceptance reduction
GB201713946D0 (en) * 2017-06-16 2017-10-18 Cirrus Logic Int Semiconductor Ltd Earbud speech estimation
KR102466293B1 (ko) * 2018-07-12 2022-11-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 보조 신호를 사용하는 오디오 디바이스에 대한 송신 제어
US10861484B2 (en) * 2018-12-10 2020-12-08 Cirrus Logic, Inc. Methods and systems for speech detection
EP4362440A2 (en) * 2019-05-06 2024-05-01 Apple Inc. Spoken notifications
CN110265056B (zh) * 2019-06-11 2021-09-17 安克创新科技股份有限公司 音源的控制方法以及扬声设备、装置
US11650625B1 (en) * 2019-06-28 2023-05-16 Amazon Technologies, Inc. Multi-sensor wearable device with audio processing
CN110310625A (zh) * 2019-07-05 2019-10-08 四川长虹电器股份有限公司 语音断句方法及系统
TWI765261B (zh) * 2019-10-22 2022-05-21 英屬開曼群島商意騰科技股份有限公司 語音事件偵測裝置及方法
US11375322B2 (en) * 2020-02-28 2022-06-28 Oticon A/S Hearing aid determining turn-taking
CN113393865B (zh) * 2020-03-13 2022-06-03 阿里巴巴集团控股有限公司 功耗控制、模式配置与vad方法、设备及存储介质
US11521643B2 (en) 2020-05-08 2022-12-06 Bose Corporation Wearable audio device with user own-voice recording
US20210407510A1 (en) * 2020-06-24 2021-12-30 Netflix, Inc. Systems and methods for correlating speech and lip movement
US11335362B2 (en) 2020-08-25 2022-05-17 Bose Corporation Wearable mixed sensor array for self-voice capture
US11363367B1 (en) * 2020-11-30 2022-06-14 Dopple Ip B.V. Dual-microphone with wind noise suppression method
WO2023136385A1 (ko) * 2022-01-17 2023-07-20 엘지전자 주식회사 발화인지를 지원하는 이어버드 및 관련 방법

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627499B2 (en) * 1996-11-12 2009-12-01 Syncada Llc Automated transaction processing system and approach
US6453285B1 (en) 1998-08-21 2002-09-17 Polycom, Inc. Speech activity detector for use in noise reduction system, and methods therefor
US6618701B2 (en) * 1999-04-19 2003-09-09 Motorola, Inc. Method and system for noise suppression using external voice activity detection
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
US8467543B2 (en) 2002-03-27 2013-06-18 Aliphcom Microphone and voice activity detection (VAD) configurations for use with communication systems
US20030179888A1 (en) 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
US20020116186A1 (en) * 2000-09-09 2002-08-22 Adam Strauss Voice activity detector for integrated telecommunications processing
US7203643B2 (en) * 2001-06-14 2007-04-10 Qualcomm Incorporated Method and apparatus for transmitting speech activity in distributed voice recognition systems
JP3923828B2 (ja) 2002-03-27 2007-06-06 株式会社エヌ・ティ・ティ・ドコモ 無線制御装置、データ通信制御方法、及び移動通信システム
US7146315B2 (en) 2002-08-30 2006-12-05 Siemens Corporate Research, Inc. Multichannel voice detection in adverse environments
US7174022B1 (en) 2002-11-15 2007-02-06 Fortemedia, Inc. Small array microphone for beam-forming and noise suppression
KR100513175B1 (ko) 2002-12-24 2005-09-07 한국전자통신연구원 복소수 라플라시안 통계모델을 이용한 음성 검출기 및 음성 검출 방법
US20040234067A1 (en) 2003-05-19 2004-11-25 Acoustic Technologies, Inc. Distributed VAD control system for telephone
CA2473195C (en) 2003-07-29 2014-02-04 Microsoft Corporation Head mounted multi-sensory audio input system
US20050033571A1 (en) 2003-08-07 2005-02-10 Microsoft Corporation Head mounted multi-sensory audio input system
JP4713111B2 (ja) * 2003-09-19 2011-06-29 株式会社エヌ・ティ・ティ・ドコモ 発話区間検出装置、音声認識処理装置、送信システム、信号レベル制御装置、発話区間検出方法
US7925510B2 (en) 2004-04-28 2011-04-12 Nuance Communications, Inc. Componentized voice server with selectable internal and external speech detectors
US8340309B2 (en) 2004-08-06 2012-12-25 Aliphcom, Inc. Noise suppressing multi-microphone headset
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
JP4632831B2 (ja) * 2005-03-24 2011-02-16 株式会社エヌ・ティ・ティ・ドコモ 音声認識方法および音声認識装置
GB2430129B (en) * 2005-09-08 2007-10-31 Motorola Inc Voice activity detector and method of operation therein
CN101390438A (zh) * 2006-02-28 2009-03-18 株式会社坦姆科日本 眼镜型音响/通信装置
US8068619B2 (en) 2006-05-09 2011-11-29 Fortemedia, Inc. Method and apparatus for noise suppression in a small array microphone system
EP2089877B1 (en) * 2006-11-16 2010-04-07 International Business Machines Corporation Voice activity detection system and method
US7769585B2 (en) 2007-04-05 2010-08-03 Avidyne Corporation System and method of voice activity detection in noisy environments
US8498678B2 (en) * 2007-07-10 2013-07-30 Texas Instruments Incorporated System and method for reducing power consumption in a wireless device
US8954324B2 (en) * 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
KR101437830B1 (ko) * 2007-11-13 2014-11-03 삼성전자주식회사 음성 구간 검출 방법 및 장치
US8190440B2 (en) * 2008-02-29 2012-05-29 Broadcom Corporation Sub-band codec with native voice activity detection
US8244528B2 (en) * 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
US20100332236A1 (en) * 2009-06-25 2010-12-30 Blueant Wireless Pty Limited Voice-triggered operation of electronic devices
CN102576528A (zh) * 2009-10-19 2012-07-11 瑞典爱立信有限公司 用于语音活动检测的检测器和方法

Also Published As

Publication number Publication date
JP2013520707A (ja) 2013-06-06
US8626498B2 (en) 2014-01-07
EP2539887B1 (en) 2015-07-22
CN102770909B (zh) 2016-06-01
US20110208520A1 (en) 2011-08-25
KR20120125986A (ko) 2012-11-19
KR101479386B1 (ko) 2015-01-05
EP2539887A1 (en) 2013-01-02
CN102770909A (zh) 2012-11-07
WO2011106065A1 (en) 2011-09-01

Similar Documents

Publication Publication Date Title
JP5819324B2 (ja) 複数の音声区間検出器に基づく音声区間検出
US11569789B2 (en) Compensation for ambient sound signals to facilitate adjustment of an audio volume
US8781142B2 (en) Selective acoustic enhancement of ambient sound
JP5727025B2 (ja) 音声アクティビティ検出のための、システム、方法、および装置
KR101260131B1 (ko) 잡음 감소를 위한 센서 어레이를 사용한 오디오 소스 근접도 추정
JP4247002B2 (ja) マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
JP4922455B2 (ja) パケット・ネットワークでエコーを検出し、抑制する方法および装置
US20110010172A1 (en) Noise reduction system using a sensor based speech detector
US20120284022A1 (en) Noise reduction system using a sensor based speech detector
JP2013535915A (ja) 多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体
CN116324969A (zh) 具有定位反馈的听力增强和可穿戴系统
WO2023004223A1 (en) Noise suppression using tandem networks
US11445286B1 (en) Wireless connection management
JP2005227511A (ja) 対象音検出方法、音信号処理装置、音声認識装置及びプログラム
US10867619B1 (en) User voice detection based on acoustic near field
JP6973652B2 (ja) 音声処理装置、方法およびプログラム
US20240233741A9 (en) Controlling local rendering of remote environmental audio
US20240135944A1 (en) Controlling local rendering of remote environmental audio
US20120106756A1 (en) System and method for a noise reduction switch in a communication device
WO2024059427A1 (en) Source speech modification based on an input speech characteristic
JP2012175235A (ja) 遠隔地間コミュニケーション装置、遠隔地間コミュニケーション方法、プログラム
JP2011081322A (ja) 音声認識システム及び音声認識方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150930

R150 Certificate of patent or registration of utility model

Ref document number: 5819324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250