JP6031777B2 - 音声入力装置、通信装置、状態通知方法 - Google Patents

音声入力装置、通信装置、状態通知方法 Download PDF

Info

Publication number
JP6031777B2
JP6031777B2 JP2012034189A JP2012034189A JP6031777B2 JP 6031777 B2 JP6031777 B2 JP 6031777B2 JP 2012034189 A JP2012034189 A JP 2012034189A JP 2012034189 A JP2012034189 A JP 2012034189A JP 6031777 B2 JP6031777 B2 JP 6031777B2
Authority
JP
Japan
Prior art keywords
unit
noise cancellation
phase difference
determination
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012034189A
Other languages
English (en)
Other versions
JP2013172257A (ja
Inventor
正也 小西
正也 小西
達也 小野田
達也 小野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012034189A priority Critical patent/JP6031777B2/ja
Priority to US13/770,236 priority patent/US9070374B2/en
Priority to CN201310054888.2A priority patent/CN103260098B/zh
Publication of JP2013172257A publication Critical patent/JP2013172257A/ja
Application granted granted Critical
Publication of JP6031777B2 publication Critical patent/JP6031777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

本発明は音声入力装置に関し、特にノイズキャンセル機能を有する音声入力装置に関する。
業務用無線機に代表される音声入力装置は、工場や建設現場、また、消防・警察等といった高い騒音下で使用される機会が多い。そのため、マイクで収音された音声信号に含まれる雑音成分を抑圧することで、高い騒音下でも良好な通話を確保できることが求められる。
特許文献1には、筐体に音声収音用マイク(以下メインマイクと称する)および雑音収音用マイク(以下サブマイクと称する)の2個のマイクを備え、サブマイクで収音した信号から生成したノイズの逆相成分をメインマイクの信号に加算することにより、メインマイクの雑音成分を抑圧する音声入力システムが開示されている。当該技術はアクティブノイズキャンセル方式と呼ばれ、高騒音下でも明瞭な音声を収音することが可能となる。
また、特許文献2には、複数のマイクロホンから出力された信号から雑音を除去した残留信号の方向別の音量を算出し、方向別残留信号の音量を表示することで、マイクロホンで収集された音声がどれだけ抑圧されているかを音源ごとに確認できる音収集システムが開示されている。
また、特許文献3には、外部デバイスへコンテンツデータの送信を行う電子機器が開示されている。当該電子機器は、外部デバイスとの間で伝送される一つ以上のコンテンツに関するコンテンツ情報を取得し、一つ以上のコンテンツを伝送する際、前記取得したコンテンツ情報に基づき、コンテンツが伝送されている期間中インジケータの発光部を点滅又は点灯する。当該構成により、コンテンツデータの伝送状況の切り替わりを適切にユーザに報知することが可能となる。
また、特許文献4には、所謂ハンズフリー通話が可能な電話装置であって、マイクから入力された音声が所定の音声であるかを判断する音声認識部を備え、当該音声の認識結果を表示する表示手段を更に備える音声応答機能付電話装置が開示されている。当該装置によれば、使用者に音声認識部の認識結果を報知することで、音声応答機能の信頼性を向上させている。
特開2004−120717号公報 特開2010−028531号公報 特開2010−279043号公報 特開2000−106588号公報
アクティブノイズキャンセル機能を有する音声入力装置において、ノイズキャンセル性能を効果的に発揮するためには、メインマイクが適度な距離で話者の口の方に向けられていることが望ましい。ヘッドセットのような接話型のマイクは、比較的マイクと口との位置関係がほぼ固定されるが、ハンドセットのような手に持って使用するタイプのマイクにおいては、口との距離や方向が使用状態に応じて変動する。
すなわち、ハンドセット型マイクは、作業の都合上肩に装着して使用される場合や、マイクと口の距離が遠い状況で使用される場合など、ノイズキャンセルを行うための音声の入力条件が良くない場合での使用が想定される。
このような場合、サブマイク側への音声の回り込みが大きくなるため、ノイズキャンセル効果によりメインマイクの信号の音声成分が打ち消されてしまい、明瞭な音声を伝送することができなくなってしまうという課題を有していた。
本発明は、上記課題を鑑み、ノイズキャンセル機能を適切に働かせて明瞭な音声を伝送できるようにする事を可能とする音声入力装置、通信装置、及び状態通知方法を提供することを目的とする。
本発明の一態様である音声入力装置は、第1収音部(101)と、前記第1収音部が配置される面と異なる面に配置される第2収音部(102)と、前記第1収音部で収音される音声と前記第2収音部で収音される音声との位相差を検出する位相差検出部と、前記位相差検出部で検出された位相差が適切な使用状態における位相差として設定されている範囲内であるか否かを判定する位相差判定部と、前記第2収音部から入力される第2音声信号を用いて、前記第1収音部から入力される第1音声信号に対するノイズキャンセルを行うノイズキャンセル処理部(103)と、前記ノイズキャンセル処理部が行う前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果、及び前記位相差判定部における判定結果に基づいて、前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定する音声品質判定部(104)と、前記音声品質判定部における判定結果を通知する判定結果通知部(105)と、を具備する。
また、前記音声品質判定部には、前記位相差判定部における判定結果が良好な場合にのみ、前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果が入力される
また前記判定結果通知部は、前記音声品質判定部が前記ノイズキャンセル後の音声信号の音声品質を不良と判定した場合、前記位相差判定部における判定結果または前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果が否定的なものである場合、所定時間同じ判定結果を通知する。
本発明の一態様に係る通信装置は、第1収音部と、前記第1収音部が配置される面と異なる面に配置される第2収音部と、前記第1収音部で収音される音声と前記第2収音部で収音される音声との位相差を検出する位相差検出部と、前記位相差検出部で検出された位相差が適切な使用状態における位相差として設定されている範囲内であるか否かを判定する位相差判定部と、前記第2収音部から入力される第2音声信号を用いて、前記第1収音部から入力される第1音声信号に対するノイズキャンセルを行うノイズキャンセル処理部と、前記ノイズキャンセル処理部が行う前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果、及び前記位相差判定部における判定結果に基づいて、前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定する音声品質判定部と、前記ノイズキャンセル後の音声信号を送信する送信部と、前記音声品質判定部における判定結果を通知する判定結果通知部と、音声信号を受信する受信部と、前記受信部で受信した前記音声信号に基づいて音声を放音する放音部と、を具備する。
ここで、自装置の状態を前記送信部で音声信号を送信する送信状態へ切り替える切り替え部を更に具備し、前記判定結果通知部は、前記切り替え部が前記送信部で音声信号を送信するように切り替えている場合において、前記ノイズキャンセル後の音声信号の音声品質が良好であることを視覚的に通知するとなお良好である。
本発明の一態様に係る状態通知方法は、第1マイクロホンと前記第1マイクロホンが配置される面と異なる面に配置される第2マイクロホンの少なくとも2つのマイクロホンを具備する装置で使用される状態通知方法であって、前記第1マイクロホンと前記第2マイクロホンでそれぞれ音声を収音する収音ステップと、前記第1マイクロホンで収音される音声と前記第2マイクロホンで収音される音声との位相差を検出する位相差検出ステップと、前記位相差検出ステップで検出された位相差が適切な使用状態における位相差として設定されている範囲内であるか否かを判定する位相差判定ステップと、前記第2マイクロホンで収音された音声を用いて、前記第1マイクロホンで収音された音声に対するノイズキャンセルを行うノイズキャンセル処理ステップと、前記ノイズキャンセル処理ステップにおける前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果、及び前記位相差判定ステップにおける判定結果に基づいて、前記ノイズキャンセル後の音声信号の音声品質を判定する音声品質判定ステップと、前記音声品質判定ステップにおける判定結果に基づいて状態を通知する状態通知ステップと、を有する。


本発明によれば、ノイズキャンセル機能を適切に働かせて明瞭な音声を伝送できるようにする事を可能とする音声入力装置、通信装置、及び状態通知方法を提供することができる。
実施の形態1に係る音声入力装置の構成を示すブロック図である。 実施の形態1に係る音声入力装置の動作の流れを示すフローチャート図である。 実施の形態2に係る音声入力装置の構成を示すブロック図である。 実施の形態2に係るノイズキャンセル効果の判定処理の流れを示すフローチャート図である。 実施の形態3に係る音声入力装置の構成を示すブロック図である。 音声入力装置の使用者に対する方向と位相との関係を説明する図である。 実施の形態3に係るメインマイク方向の判定処理(第1判定処理)の流れを示すフローチャート図である。 実施の形態3に係るノイズキャンセル効果の判定処理の流れを示すフローチャート図である。 実施の形態3に係る音声品質に関する総合判定処理の動作の流れを示すフローチャート図である。 実施の形態4に係るノイズキャンセルマイク(音声入力装置)の外観((a)正面図、(b)背面図)を示す図である。 実施の形態4に係るノイズキャンセルマイク(音声入力装置)の構成を示すブロック図である。 実施の形態4に係るLEDの状態を示すグラフである。 本発明の別の音声品質判定処理の流れを示すフローチャート図である。
本発明の実施の形態について以下に図面を参照して説明する。以下の説明は、本発明の好適な実施の形態を示すものであって、本発明の範囲が以下の実施の形態に限定されるものではない。以下の説明において、同一の符号が付されたものは実質的に同様の内容を示している。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。図1は、本実施の形態1に係る音声入力装置100の構成を示すブロック図である。音声入力装置100は、第1収音部101と、第2収音部102と、ノイズキャンセル処理部103と、音声品質判定部104と、判定結果通知部105と、を具備する。
第1収音部101は、音声入力装置100に取り付けられたマイクであり、音声を収音する。第1収音部101で収音された音声信号(第1音声信号)は、ノイズキャンセル処理部103に出力される。
第2収音部102も第1収音部101と同様、音声入力装置100に取り付けられたマイクであり、音声を収音する。第2収音部102で収音された音声信号(第2音声信号)は、ノイズキャンセル処理部103に出力される。
ここで、第1収音部101と第2収音部102の2つのマイクのうち、第1収音部101は話者(使用者)からの発声を主に収音するメインマイクに相当し、装置表面に配置される。一方、第2収音部102は、主にノイズキャンセル処理に利用するために設けられた周辺の雑音を収音するサブマイクに相当し、装置の背面に配置される。
なお、第2収音部102であるサブマイクの配置位置は、装置背面に限定されるものではなく、装置側面や装置底面その他装置の内部に配置されていても良い。但し、後述するノイズキャンセル効果を高めるために、メインマイクである第1収音部101が使用者側である装置正面に配置され、サブマイクである第2収音部102が使用者の反対側である装置背面にそれぞれ配置されることが好ましい。
以下の説明では、第1収音部101をメインマイク101と、第2収音部102をサブマイク102と適宜記載して説明を行うことにする。
ノイズキャンセル処理部103は、メインマイク101より入力した第1音声信号とサブマイク102より入力した第2音声信号とに基づいてノイズキャンセル処理(雑音成分抑圧処理)を実行する。ここで、ノイズキャンセル処理部103は、メインマイク101から入力した第1音声信号に対して一定期間(例えば256サンプル)のフレーム毎にノイズキャンセル処理を実行する。
具体的には、ノイズキャンセル処理部103は、適応フィルタによってサブマイク102で収音された音声に基づいてメインマイク101に混入する雑音成分の逆相成分を生成する。そして、ノイズキャンセル処理部103は、メインマイク101から入力した第1音声信号と、当該生成した雑音成分の逆相成分によるノイズキャンセル用信号とを加算することによってメインマイク101に混入する雑音成分を抑圧する。ノイズキャンセル処理部103は、当該ノイズキャンセル後の音声信号を音声品質判定部104に出力する。
音声品質判定部104は、ノイズキャンセル処理部103から入力したノイズキャンセル後の音声信号の音声品質を判定し、判定結果を判定結果通知部105に出力する。音声品質判定部104は、ノイズキャンセル処理部103が行ったノイズキャンセルが効果的に働いているかどうかに基づいて音声品質の良し悪しを判定する。
ここで、音声品質判定部104は、ノイズキャンセル処理部103が行うノイズキャンセル処理によって第1音声信号に対して生じる減衰量に基づいてノイズキャンセルが効果的に働いているかを判定することができる。
具体的に、音声品質判定部104は、メインマイク101からの第1音声信号が、上記ノイズキャンセル処理によってどれくらい減衰しているかを算出し、減衰量が一定の閾値以上であればノイズキャンセルが効果的に働いていると判定することができる。
すなわち、音声品質判定部104は、ノイズキャンセル処理前の第1音声信号の平均パワー(平均強度)と、当該ノイズキャンセル処理後の信号の平均パワー(平均強度)とを比較し、当該比較結果に基づいてノイズキャンセルが効果的に働いているかを判定することができる。
判定結果通知部105は、音声品質判定部104より入力した上記判定結果を使用者に通知する。すなわち、判定結果通知部105は、音声品質が良いか悪いかを通知する。
ここで、音声品質判定部104は、ノイズキャンセルが効果的に働いているかに基づいて音声品質を判定するため、判定結果通知部105は、ノイズキャンセル処理部103においてノイズキャンセルが効果的に働いているかどうかを使用者に対して通知することになる。
なお、判定結果通知部105は、上記音声品質が良好であるかどうかについて、視覚的に通知しても良いし、警告音等の音声をスピーカから出力することで通知しても良い。その他、判定結果通知部105は、内部に備える振動素子を振動させることでノイズキャンセルが効果的に働いているかどうかを通知しても良い。
ここでは、周囲の雑音が大きく、又、肉体的な労働環境下で使用される場合を想定し、周囲の雑音に掻き消されてしまう可能性がある音声による通知や、使用者が激しく動いている場合に感知し辛い可能性が残る振動による通知では無く、視覚的に通知するものとして説明する。すなわち、判定結果通知部105は、ノイズキャンセルが効果的に働いているかどうかを表示することで通知する手段を採用するものとする。
次に、音声入力装置100の動作について説明する。図2は、音声入力装置100の動作の流れを示すフローチャート図である。
ノイズキャンセル処理部103は、メインマイク101から入力した第1音声信号とサブマイク102から入力した第2音声信号とに基づいてノイズキャンセル処理を行う(ステップS101)。具体的には、ノイズキャンセル処理部103は、1フレーム分についてサブマイク102から入力した第2音声信号に基づいて生成したメインマイク101に混入する雑音成分の逆相成分をメインマイク101から入力した第1音声信号に加算する処理を行う。当該処理により、メインマイク101に混入する雑音成分が抑圧される。ノイズキャンセル処理後の音声信号は音声品質判定部104に送られる。
次に、音声品質判定部104は、ステップS101で行われたノイズキャンセル後の音声信号の音声品質を判定する(ステップS102)。
具体的には、音声品質判定部104は、メインマイク101から入力した第1音声信号の平均パワー(Pin)と、当該ノイズキャンセル処理後の信号の平均パワー(Pnc)とを比較し、当該比較結果に基づいてノイズキャンセルが効果的に行われたかを判定する。
例えば、音声品質判定部104は、ノイズキャンセル処理によって生じる減衰量、すなわちPinからPncを減じた[Pin−Pnc]の値が所定の閾値Pthを超えている場合に、ノイズキャンセルが効果的に行われて良好な音声品質が得られていると判定する。
また、音声品質判定部104は、上記2つのパワー比[Pin/Pnc]を算出し、当該パワー比が所定の閾値Pth′を超えている場合に、ノイズキャンセルが効果的に行われて良好な音声品質が得られていると判定しても良い。
また、音声品質判定部104が行う判定方法としては、その他の判定手法を採用することも可能である。
判定結果通知部105は、音声品質判定部104における判定結果、ノイズキャンセルが効果的に行われておらず、良好な音声品質が得られていないと判定された場合(すなわちステップS102でNo)、当該ノイズキャンセルが効果的に行われず、良好な音声品質が得られていないことを使用者に通知する(ステップS103)。
なお、判定結果通知部105が使用者に対して判定結果を通知する第1の目的は、使用者に対する正しいマイクの持ち方を指導することにより、結果としてノイズキャンセル効果を高め、良好な音声を聞き手に伝送することにある。従って、判定結果通知部105が音声品質に関する判定結果を使用者に通知するということは、使用者に対して装置が適切に使用されているかどうかの使用状態を通知することを意味している。
以上のように、本実施の形態1に係る音声入力装置は、装置が適切に使用されているかどうかの使用状態を通知(報知)可能な構成を有する。別の角度から見れば、当該音声入力装置によれば、使用者は、当該音声入力装置から発せられる当該通知に基づいてノイズキャンセルが効果的に働いているかを認識することができる。
当該構成によれば、当該ノイズキャンセルが効果的に働いていないことを認識した使用者は、音声入力装置(マイク)の持ち方を変更したり、装置と口との距離とを変更したりするなどの試みを行ってノイズキャンセルが適切に働くようにできるため、話し相手に対してクリアな音声を届けることができる。
すなわち、使用者にマイクの正しい持ち方になるよう誘導することによって、高騒音下の環境においても、ノイズキャンセル性能を最大限に発揮して明瞭な音声を受信者に伝送することができ、使用者自身も自分の音声が明瞭に伝送されているかどうかを知ることができる。
また、初めて本発明に代表されるノイズキャンセルマイクを使用する場合のトレーニング用としても本発明に係る音声入力装置を使用することができる。
すなわち、背景技術に係る装置(ノイズキャンセルマイク)では、口からどのような距離、どのような角度であれば適正に使用可能な範囲であるかを知る術がなかった。そのため、使用者は、適切に音声を伝えたいがあまり、不必要に口に近付けて使用すると言ったケースやノイズキャンセルが効果的に働いておらず受信者が適切に聞き取れていないにもかかわらずそのまま話を進めてしまうと言ったミスコミュニケーションが発生していた。一方、上述した実施の形態1に係る音声入力装置によれば、このような問題点を解消することができ、実際の使用環境において利便性を大きく向上させることができる。
ここで、ノイズキャンセル処理部103は、上述のように、第1収音部101で収音された音声に含まれる雑音成分を第2収音部102で収音された音声に基づいて抑制することでノイズキャンセルを行うことができる。具体的には、ノイズキャンセル処理部103は、前記第1収音部101で収音された音声に混入する雑音成分の逆相成分を第2収音部102で収音された音声に基づいて生成し、生成した雑音成分の逆送成分を第1収音部101で収音された音声に対して加算することでノイズキャンセルを行うことができる。
そして、音声品質判定部104がノイズキャンセル処理部103におけるノイズキャンセルの効果を判定し、判定結果通知部105が、音声品質判定部104における判定結果を通知する。
具体的には、音声品質判定部104は、ノイズキャンセル処理部103におけるノイズキャンセルが効果的に働いているかどうかを判定する。そして、判定結果通知部105は、音声品質判定部104においてノイズキャンセルが効果的に働いていると判定された場合は、ノイズキャンセルが効果的に働き、良好な音声品質であることを通知する。音声品質判定部104は、ノイズキャンセルが効果的に働いているかどうかを、ノイズキャンセル前後の平均パワー(平均強度)を比較することで判定可能である。すなわち、第1収音部101で収音されたノイズキャンセル前の音声の平均パワー(Pin)と、ノイズキャンセル処理が行われた後の音声の平均パワーと(Pnc)と、ノイズキャンセルが効果的に働いているかの基準となる第1閾値Pthと、の関係が、
(1) Pin−Pnc>Pth
を満たしている場合や、パワー比であるPnc/Pinと、ノイズキャンセルが効果的に働いているかの別の基準となる第2閾値Pth′との関係が
(2)Pnc/Pin<Pth′
である場合に、ノイズキャンセルが効果的に働いていると判定する。
なお、上記説明では、具体的には、判定結果通知部105が、LED等の発光素子を点灯又は点滅させると言った表示部により通知する場合を想定して説明したがこれに限るものではない。音声入力装置100に別途液晶表示部等の表示部を配置し、当該表示部にノイズキャンセルが効果的に働いているかを表示することで使用者に対する通知を行っても良い。
また、上述したように、当該判定結果通知部については、視覚的な表示部に限るものではなく、高騒音下でも知覚できる手段、例えば、バイブレータのような振動子によって、マイク(音声入力装置)を持つ手に知覚させるような方法を採用しても良い。
また、判定結果通知部105は、音声品質判定部104における判定結果、ノイズキャンセルが効果的に行われ、良好な音声品質が得られていると判定された場合、当該ノイズキャンセルが効果的に行われ、良好な音声品質が得られていることを使用者に通知する構成であっても良い。当該構成において、発話している話者は、良好な音声品質が得られていることの通知がなされないことを持って、装置の使用状態が適切ではないことを認識することができる。
(実施の形態2)
本実施の形態2に係る音声入力装置200は、実施の形態1に係る音声入力装置100と比較して消費電力を抑える機能を更に備えることを特徴としている。実施の形態1に係る音声入力装置100では、ノイズキャンセルが効果的に働いているかを使用者に通知するために、音声品質判定部104が、平均パワー算出処理や比較判定処理等を行っていた。ここで、使用者が装置を使用していない期間にこのような比較的消費電力の大きい処理を行って使用者に通知することは、装置を使用していない使用者にとって不要な通知や処理となる。本実施の形態2では、特にこのような問題に対して新たな対処を行っている。
以下、図面を参照して本発明の実施の形態2について説明する。但し、実施の形態1で既に説明した部分については発明の明確化のために一部説明を省略する。また、以下の説明では、ノイズキャンセル処理部においてノイズキャンセル処理が行われた後の音声信号をノイズキャンセル処理後信号と称して説明することがある。
図3は、本実施の形態2に係る音声入力装置200の構成を示すブロック図である。音声入力装置200は、第1収音部101と、第2収音部102と、ノイズキャンセル処理部203と、音声品質判定部204と、判定結果通知部105と、音声区間判定部206と、ノイズサプレッサ207と、送信部208と、を具備する。ここで、判定結果通知部105は、発光制御部209及び発光素子210を含んで構成されることで視覚的な通知を行う。
音声区間判定部206は、メインマイク101から入力する第1音声信号に基づいて音声区間判定を行うことで、音声区間を検出する。
音声区間判定部206が行う音声区間であるかどうかの判定は、メインマイク101からの第1音声信号を一定長の単位で周波数領域に変換し、そのスペクトル成分を分析することにより、母音であるか、子音であるか、また音声ではない雑音成分であるかを判定する。
音声区間判定部206は、音声区間であることを示す信号をノイズキャンセル処理部203及び音声品質判定部204に出力する。以下の説明では、当該音声区間であることを示す信号を音声区間指示信号と称して説明する。
ノイズキャンセル処理部203は、音声区間判定部206より音声区間指示信号を入力すると、メインマイク101からの第1音声信号とサブマイク102からの第2音声信号とに基づいてノイズキャンセル処理を実行する。なお、具体的なノイズキャンセル処理は、上述したノイズキャンセル処理部103の処理内容と同一であるためここでは説明を省略する。ノイズキャンセル処理部203は、ノイズキャンセル処理後信号をノイズサプレッサ207と音声品質判定部204にそれぞれ出力する。
音声品質判定部204は、音声区間判定部206から入力される音声区間指示信号と、ノイズキャンセル処理部203より入力されるノイズキャンセル処理後信号とに基づいて、ノイズキャンセル処理後信号の音声品質を判定する。
ここで、音声品質判定部204は、音声区間判定部206で音声区間であると判定されている間に関して上記音声品質の判定を行う。音声品質判定部204は、ノイズキャンセル処理後信号の音声品質を示す情報である判定結果を判定結果通知部105に含まれる発光制御部209に出力する。
また、音声品質判定部204は、ノイズキャンセル処理部203におけるノイズキャンセルが効果的に働いているかを判定し、更にノイズキャンセル処理後信号の強度レベルが所定の閾値を保っているかを合せて判定する。音声品質判定部204は、これらの複数の判定を駆使することで、後述する送信部208より送信されるノイズキャンセル処理後信号の音声品質をより的確に判断する。
発光制御部209は、発光素子210を駆動するためのドライバであり、音声品質判定部204から入力するノイズキャンセル処理後信号の音声品質を示す情報に従って、発光素子210を駆動するための駆動電流を流す。このように、発光制御部209が、発光素子210を点灯又は点滅させることで使用者に対する音声品質の通知を行う。ここで、具体的に発光素子210はLED(Light Emitting Diode)であるとする。例えば、発光制御部209は、音声品質が良いことを示す信号を入力した場合、又は、音声品質が悪いことを示す信号を入力しない場合、LEDを点滅させることで当該通知を行う。
ノイズサプレッサ207は、ノイズキャンセル処理部203より入力したノイズキャンセル処理後信号の周波数軸上に現れる音声以外の雑音成分を抑圧する処理を行う。ノイズサプレッサ207は、雑音成分の抑圧後の信号を時間領域の音声信号に戻した後、送信部208に出力する。
送信部208は、ノイズサプレッサ207より受け取った信号に対して適宜音声符号化を行った後、外部の受信装置へ向けて送信する。
次に、本実施の形態2における音声入力装置200の動作について説明する。図4は、音声入力装置200の動作の流れを示すフローチャート図である。
音声区間判定部206は、メインマイク101からの第1音声信号に基づいて音声区間判定処理を行う(ステップS201)。当該判定の結果、音声区間でないと判定された場合(ステップS202のNo)、ステップS201に戻って判定処理を継続する。一方、当該判定の結果、音声区間であると判定された場合(ステップS202のYes)、ステップS203に進む。
音声品質判定部204は、ノイズキャンセル処理部203がフレーム単位でノイズキャンセル処理を実行する場合に、当該1フレームの期間におけるメインマイク101からの第1音声信号の平均パワー(平均強度)を算出する(ステップS203)。
次に、音声品質判定部204は、ノイズキャンセル処理部203におけるノイズキャンセル処理後の信号の平均パワー(平均強度)を算出する(ステップS204)。
次に、音声品質判定部204は、上記算出したノイズキャンセル処理前の第1音声信号の平均パワーと、ノイズキャンセル処理後の信号の平均パワーとの比較を行う(ステップS205)。
当該比較の結果、第1音声信号に対するノイズキャンセル処理後信号のパワー比が一定レベル(第1閾値)以上であれば(ステップS205がNoの場合)、ノイズキャンセルが効果的に働いておらず、音声品質は不良であると判定する(ステップS207)。
一方、当該比較の結果、第1音声信号に対するノイズキャンセル処理後信号のパワー比が一定レベル(第1閾値)以下であれば(ステップS205がYesの場合)、音声品質判定部204は、ノイズキャンセル処理後信号の平均パワーが一定レベル(第2閾値)以上であるかを判定する(ステップS206)。
ステップS206における判定の結果、ノイズキャンセル処理後信号の平均パワーが一定レベル(第2閾値)以下であれば(ステップS206のNo)、音声品質判定部204は、ステップS207に進み、音声品質は不良であると判定する。
一方、ステップS206における判定の結果、ノイズキャンセル処理後信号の平均パワーが一定レベル(第2閾値)以上であれば(ステップS206のYes)、好ましい音声レベルが得られており、音声品質が良好と判定する(ステップS208)。
ステップS207又はステップS208でそれぞれ得られた音声の品質が不良であるか良好であるかの判定結果は音声品質を示す情報として、判定結果通知部105の発光制御部209に送られ、発光素子210を用いた音声品質に関する通知が行われる。
以上のように本実施の形態2に係る音声入力装置は、第1収音部101で収音された音声に基づいて音声区間であるかの判定を行う音声区間判定部206を更に備える。音声品質判定部204は、音声区間判定部206において音声区間であると判定されている場合に、音声品質を判定する。
当該構成によれば、音声品質判定部204が、話者が発声していない期間において不要な判定処理を行って電力を無駄に消費することを防ぐことができる。また、音声区間と判定されていない場合には、判定結果通知部105よりマイクの使用状態に関する誤った警告(通知)が使用者に向けて通知されることが無いため、使用者が警告を誤認すると言ったことを防ぐことができる。
ここで音声区間判定部206は、第1収音部101で収音された音声の信号である第1音声信号を一定長の単位で周波数領域に変換する周波数変換部と、変換後のスペクトル成分に基づいて、音声であるか音声ではない雑音成分であるかを判定する音声判定部と、を内部に有することで音声区間判定を行うことができる。この時、当該音声判定部は、前記スペクトル成分を分析して、母音であるか、子音であるか、音声ではない雑音成分であるかを判定することも可能である。
また、上述したように音声品質判定部204は、ノイズキャンセル処理部203におけるノイズキャンセルが効果的に働いているかという基準と、ノイズキャンセル後の音声信号の信号強度が所定の閾値を超えているかという基準と、を用いて音声品質を判定している。従って、聞き手が実際に感じる音声品質をより適切に表しており、このような音声品質の良し悪しを話者に適切に通知することができる。
すなわち、音声品質判定部204は、音声区間においてメインマイク101で収音された音声に対するノイズキャンセル処理後の音声レベルが一定以上であるかどうかを算出することで、メインマイク101に口が充分近い距離にあるかを判定する。音声品質判定部204は、その判定結果をLED等の表示装置を点滅させる等の手法により、音声に連動させて話者に知らせることができる。
なお、上記説明では、音声品質判定部204は、ノイズキャンセル処理部203より出力されるノイズキャンセル処理後信号に基づいて、ノイズキャンセルが効果的に働いているかを判定し、最終的に音声品質を判定する場合について説明したがこれに限るものではない。例えば、音声品質判定部204は、ノイズサプレッサ207で周波数軸上での雑音抑制が行われた後の信号について音声品質の判定を行っても良い。
(実施の形態3)
本実施の形態3に係る音声入力装置300は、実施の形態2に係る音声入力装置200と比較して、より適切に音声品質を判定して通知することを特徴としている。
実施の形態2に係る音声入力装置200では、ノイズキャンセルがうまくいっていないにもかかわらず、音声品質判定部204が行うノイズキャンセル効果判定で誤判定を出してしまう場合があった。
このような誤判定が起きる典型的な事例として、音声入力装置200が話者に対して横〜斜め方向を向いている場合がある。この場合、装置自体が横を向いているために、装置背面に設置されたサブマイク102側にも使用者(話者)からの音声の成分が強く入る。ノイズキャンセル処理部203が行うノイズキャンセル処理では、サブマイク102の信号を参照信号としてノイズキャンセルを行う。従って、サブマイク102側に入る音声成分をノイズであると判断してしまい、メインマイク101の信号から残すべき音声も削られてしまうことになる。
この場合、横を向いた装置の正面に強力なノイズ源が存在すると、メインマイク101で収音された当該ノイズ源のノイズ音が残存し、ノイズキャンセル処理後信号の強度レベルが閾値を超えて最終的に音声品質が良好と判定されて話者に通知されてしまう可能性がある。
本実施の形態3では、このような場合についても適切に音声品質を判定して適切な通知を使用者に行うことができる音声入力装置を提供することを実現している。以下、図面を参照して詳しく説明する。なお、実施の形態1、2で既に説明した部分については、発明の明確化のため説明を一部省略する。
図5は、本実施の形態3に係る音声入力装置300の構成を示すブロック図である。音声入力装置300は、第1収音部101と、第2収音部102と、ノイズキャンセル処理部203と、音声品質判定部304と、判定結果通知部105と、音声区間判定部206と、ノイズサプレッサ207と、送信部208と、マイク方向判定部311と、ノイズキャンセル効果判定部312と、を備える。
マイク方向判定部311は、メインマイク101とサブマイク102でそれぞれ収音される音声の位相差を検出し、当該位相差に基づいてメインマイク101の方向を判定する。マイク方向判定部311は、メインマイク方向に関する判定結果を音声品質判定部304に出力する。
図6は、当該マイクの方向によって生じる音声の位相差を説明する図である。図6から分かるように、音声入力装置300本体が話者と対面しており、正常な使用状態である場合は、メインマイク101に入る音声と本体を回り込んでサブマイク102に入る音声との位相差が大きくなる。一方、装置本体の方向が話者に対して傾いている場合は、口から2つのマイクまでの距離差が縮まり、メインマイク101に入る音声とサブマイク102に入る音声との位相差が小さくなる。特に装置正面に取り付けられたメインマイク101の方向が使用者に対して90度の方向を向いている場合は、メインマイク101及びサブマイク102の各々から口までの距離がほぼ等しいとみなされることから位相差は0に近づくことになる。
そこで、マイク方向判定部311は、メインマイク101とサブマイク102でそれぞれ収音される音声の位相差が所定の閾値以下である場合は、メインマイクの方向が話者の口の方を向いていないと推定し、使用者は適切な使用を行っていないものと判定する。逆に、メインマイク101とサブマイク102でそれぞれ収音される音声の位相差が、上記所定の閾値を超えた所定の範囲内である場合には、マイク方向判定部311は、使用者が適切な使用を行っていると判定することできる。
ノイズキャンセル効果判定部312は、ノイズキャンセル処理部203から入力したノイズキャンセル処理後信号に基づいてノイズキャンセル処理部203が行ったノイズキャンセルが効果的に働いているかを判定する。
ノイズキャンセル効果判定部312は、ノイズキャンセル処理前の信号である第1音声信号の平均パワーPinと、ノイズキャンセル処理後の信号であるノイズキャンセル処理後信号の平均パワーPncとに基づいてノイズキャンセルが効果的に働いているかを判定する。例えば、ノイズキャンセル効果判定部312は、ノイズキャンセルが効果的に働くとみなす減衰量の閾値をPthとして、
Pin−Pnc>Pth
の関係を満たしている場合に、ノイズキャンセルが効果的に働いていると判定する。
また、ノイズキャンセル効果判定部312は、ノイズキャンセル後の音声信号の信号強度が所定の閾値を超えているかを判定する。ノイズキャンセル効果判定部312は、上記2つの判定結果を音声品質判定部304に出力する。
音声品質判定部304は、マイク方向判定部311から出力されたマイク方向に関する判定結果とノイズキャンセル効果判定部312から出力されたノイズキャンセル効果等に関する判定結果に基づいてノイズキャンセル処理後信号の音声品質を判定する。
具体的には、音声品質判定部304は、マイク方向判定部311から入力したマイク方向に関する判定結果において、メインマイクが使用者方向を向いている事が示されており、かつ、ノイズキャンセル効果判定部312から入力した判定結果において、ノイズキャンセルが効果的に働いており、ノイズキャンセル後の音声信号の信号強度が所定の閾値を超えている場合に、音声品質が良好と判定する。音声品質判定部304は、判定結果を、音声品質を示す情報として判定結果通知部105に出力する。
次に、音声入力装置300の動作について説明する。図7は、マイク方向判定部311における判定動作の流れを示すフローチャート図である。
マイク方向判定部311は、メインマイク101から入力した第1音声信号の位相差とサブマイク102から入力した第2音声信号の位相差とを比較する(ステップS301)。次にマイク方向判定部311は、メインマイク101からの第1音声信号とサブマイク102からの第2音声信号との位相差が一定値以下であるかを判定する(ステップS302)。上述の通り、メインマイク101の方向のずれがそのまま当該位相差に現れるためである。
ステップS302における判定の結果、位相差が一定値以上である場合は、マイク方向判定部311は、メインマイク101と口との位置関係が良好であり、適正な使用がなされているものとして判定する(ステップS303)。一方、ステップS302における判定の結果、当該位相差が一定値以内である場合は、マイク方向判定部311は、メインマイク101と口との位置関係が不良であり、不適正な使用がなされているものとして判定する(ステップS304)。
マイク方向判定部311は、ステップS303及びステップS304で得られた判定結果を、第1判定結果として音声品質判定部304に出力する(ステップS305)。ここで、当該第1判定結果は、上述の通りメインマイク方向が適切であるかどうかを示す情報であり、別の観点から見て、装置が適切な使用状態で使用されているかどうかを示す情報である。
次に、ノイズキャンセル効果判定部312の動作について説明する。図8は、ノイズキャンセル効果判定部312の動作の流れを示すフローチャート図である。
ノイズキャンセル効果判定部312は、音声区間判定部206において音声区間であると判定され、音声区間指示信号が入力されるのを待つ(ステップS311)。ノイズキャンセル効果判定部312は、当該音声区間指示信号が入力された場合、ステップS312に進む。なお、ステップS312〜ステップS315は、図4のステップS203〜ステップS206と略同一であるため説明を省略する。
ノイズキャンセル効果判定部312は、ステップS314においてノイズキャンセル処理前後の信号のパワー比が一定レベル以上である場合(ステップS314のNo)、また、ステップS315におけるノイズキャンセル処理後の信号のパワーが一定レベル以下の場合(ステップS315のNo)、ノイズキャンセルは効果的に働いていないと判定する(ステップS316)。
一方、ノイズキャンセル効果判定部312は、ノイズキャンセル処理後の信号のパワーが一定レベル以上と判定した場合(ステップS315のYes)、ノイズキャンセルは効果的に働いていると判定する(ステップS317)。ノイズキャンセル効果判定部312は、ステップS316又はステップS317で得られた判定結果を第2判定結果として音声品質判定部304に出力する。ここで、当該第2判定結果は、ノイズキャンセルが効果的に働いているかどうかを示す情報である。
次に、音声品質判定部304の動作について説明する。図9は、音声品質判定部304の動作の流れを示すフローチャート図である。
音声品質判定部304は、マイク方向判定部311より図7の処理フローに従って出力される第1判定結果を入力する(ステップS321)。音声品質判定部304は、マイク方向判定部311より入力する当該第1判定結果において、メインマイク101と口との位置関係が良好と示されているかを判定する(ステップS322)。
当該判定の結果、メインマイク101と口との関係が不良であると第1判定結果に示されている場合(ステップS322のNo)、音声品質判定部304は、判定結果通知部105に警告を表示させる(ステップS323)。すなわち、音声品質判定部304は、発光制御部209に警告を示すよう、発光素子210を点灯させる。
一方、当該判定の結果、メインマイク101と口との関係が良好であると第1判定結果に示されている場合(ステップS322のYes)、音声品質判定部304は、ノイズキャンセル効果判定部312より図8の処理フローに従って出力される第2判定結果を入力する(ステップS324)。
音声品質判定部304は、ノイズキャンセル効果判定部312より入力する当該第2判定結果において、ノイズキャンセルが効果的に働いていると示されているかを判定する(ステップS325)。
ステップS325における判定の結果、ノイズキャンセルが効果的に働いていないと第2判定結果に示されている場合(ステップS325のNo)、音声品質判定部304は、判定結果通知部105に警告を表示させる(ステップS326)。この場合の警告方法は、ステップS323と同様、発光制御部209に警告を示すよう、発光素子210を点灯させることで行うことができる。
一方、ステップS325における判定の結果、ノイズキャンセルが効果的に働いていると示されている場合(ステップS325のYes)、音声品質は良好と判定し、判定結果通知部105に音声品質が良好であることを表示させる(ステップS327)。ここで、音声品質が良好であることがデフォルトとして設定されている場合、判定結果通知部105は、特に何かを通知しなくても良い。すなわち、何も音声送信状態において何も通知しないことが音声品質が良好であることを示している。
なお、ステップS323及びステップS326において、発光制御部209の制御に従って報知される上記警告は、使用者(話者)に対して装置の使用状態が適切でないことを通知する注意喚起である。話者は、当該注意喚起を受けてクリアな音声が伝送されていないことを気付き、メインマイクの位置や方向を変更する等を試みることで音声品質の改善を試みることができる。当該変更を受けて第1判定結果と第2判定結果が共に良好であることを示すようになった場合は、当該警告が消えてステップS327に移行するため使用状態の適正化が図られる。
以上のように、本実施の形態3にかかる音声入力装置は、メインマイクが適切な方向を向いているか、又、ノイズキャンセルが効果的に働いているか、の両面から音声品質を判定している。従って、ノイズキャンセル効果に関する判定だけでは音声品質を誤判定してしまう場合についても、2つのマイクに入力される音声の位相差を利用して使用状態をチェックし、適切な音声品質判定を可能としている。
ノイズキャンセル効果に関する判定部に加え、マイク方向に関する判定部を用いるのは、騒音環境において判定の精度を上げる目的もあるが、より大きい目的として使用者に対する正しいマイク(装置)の持ち方を指導する効果を高めることにある。
すなわち、ノイズキャンセル効果に関する判定部は、周辺雑音が小さい静かな環境などにおいては正しい判定が出来ないことがある。ここで、使用者に対して正しいマイクの持ち方を指導する場合、必ずしも周辺に雑音がある環境で行われるとは限らない。また、正しくない持ち方をしても周囲の状況によってはノイズキャンセルが効果的に働く場合もある。このようなことを鑑み、正しい持ち方に誘導するという目的を達成するため、マイク方向に関する判定部での警告がノイズキャンセル効果に関する判定部の判定結果に優先される。
そして、マイク方向に関する判定部若しくはノイズキャンセル効果に関する判定部において、否定的な判断がなされている場合には、LED等の表示部で使用者に正しい持ち方をするよう警告を促す。ここで、繰り返し判断をする間隔が非常に短い(1/30秒程度)ため、当該表示部において、視認しやすい一定時間同じ状態を保持する機能を備えて使用者への報知効果を高めても良い。
(実施の形態4)
本実施の形態4に係る音声入力装置は、単方向無線送信機能を有するノイズキャンセルマイクであり、装置筐体に配置されるスイッチを用いて通信方向を切り替える機能を有する。
上述してきたように、本実施の形態4に係る音声入力装置は、正面と背面とにそれぞれ1つずつのマイクを備えた2マイク方式のアクティブノイズキャンセル機能を搭載している。
具体的に本実施の形態4に係る音声入力装置は、2つのマイクから入力される音声信号を用いて、話者の音声に混入する周辺雑音信号をキャンセルすることにより音声を明瞭に伝送することを目的としたノイズキャンセルマイクである。通常の使用方法においては、使用者側にメインマイク、使用者と反対側にサブマイクが配置され、メインマイクには主に話者の音声が収音され、またサブマイクには主に周辺の雑音が収音される。
図10は、本実施の形態4に係るノイズキャンセルマイク400の(a)正面図と、(b)背面図とをそれぞれ示している。
図10から分かるように、ノイズキャンセルマイク400は、筐体420と無線通信装置440が伸縮自在なコード430を介して接続されている。
筐体420は、音声収音用のマイクであるメインマイク401とスピーカ421が正面に配置され、上面にLED410が、側面にPTT(Push To Talk)部422が配置されている。
また、筐体420の背面には、ノイズ音収音用のマイクであるサブマイク402と、ベルト等で保持するためのベルトクリップ423とが配置されている。
図11は、ノイズキャンセルマイク400の構成を示すブロック図である。なお、図5で既に説明した部分は説明を省略する。
無線送信部408は、外部からの音声信号を受信する無線受信部413と共に無線通信装置440に格納されている。無線送信部408は、ノイズサプレッサ部207より入力したノイズ抑制後の音声信号に必要に応じて音声符号化を行った後に無線送信する。
無線受信部413は、外部の無線送信装置より無線送信される音声信号を無線受信し、受信した音声信号を放音部であるスピーカ421に出力する。スピーカ421は、無線受信部413より出力された音声信号に基づいて音声を放音する。
PTT部422は、筐体420に配置されたスイッチであり、装置の通信モード(通信状態)を送信モード(送信状態)と非送信モード(スタンバイ状態)とを切り替える。使用者は音声を発してメッセージを伝える際には、当該PTT部422を押下することで装置を非送信モードから送信モードに切り替えて使用する。当該PTT部422が押下されている間は、装置全体が送信モードとなり、図11に示す送信機能をつかさどる各部がそれぞれ動作する。一方、PTT部422が押下されている間、無線受信部413は受信機能を停止する。
PTT422が押下されている場合、PTT部422より総合判定処理部412に送信モードである事を示す信号である送信モード信号が入力される。
総合判定処理部412は、音声品質判定部304から入力する音声品質判定の結果を示す音声品質判定信号と、PTT部422から入力する送信モード信号とに基づいて発光制御部であるLEDドライバ409に対応する信号を出力する。すなわち、LEDドライバ409が取るべき状態を総合的に判定する。LEDドライバ409は、総合判定処理部412からの信号に基づいてLED410を駆動する。
図12は、総合判定処理部412が行う処理とLED410の状態との対応関係を示している。PTT部422が押下されて送信モードであり、かつ、音声品質が良好である場合は、LEDドライバ409は、LEDを点滅させる。一方、PTT部422が押下されて送信モードであり、かつ、音声品質が不良である場合は、LEDドライバ409は、LEDを点灯させることで使用者に使用状態改善のための注意喚起を行う。また、PTT部422が押下されて送信モードであり、かつ、音声信号が入力されていない場合は、LEDドライバ409は、LEDを点灯させる。また、PTT部422が押下されておらず、非送信モードである場合は、LEDドライバ409は、LEDに駆動電流を流さず、LED410を消灯させる。
以上のように、本実施の形態4に係るノイズキャンセルマイク(音声入力装置)は、単方向無線通信装置であって、音声を送信するモードである送信モードに移行するためのPTT部422を有する。ここで、使用者は現在の装置の状態が送信モードであるか非送信モード(スタンバイ状態)であるかを判別できることが好ましい。従って、PTT部422が押下されて送信モードになっている場合に、LEDが点灯し、非送信モードとなっている場合にLEDを消灯するように制御する発光制御部が備えられている。
ここで、送信モードにおいて、高品質の音声が適切に送信されているかを話者(使用者)に報知できることが好ましい。すなわち、音声品質が良好であるかについての判定結果を使用者に報知できることが好ましい。ここで、使用環境上の制約や部品点数を削減したいというコスト面からの制約等により、表示に用いるLEDの数はできるだけ削減したいという要求がある。そこで、送信モードであるかどうかを示すLEDと音声品質が良好であるかどうかを示すLEDを共用できることが好ましい。このような点を鑑み、上記発光制御部は、音声品質の判定結果に基づいて、1つのLEDを点灯状態か点滅状態かに切り替える制御機能を有する。
ここで、PTT部422を押下して送信モードに切り替えた場合のLEDの状態を点灯状態とする場合、LEDドライバ409は、音声品質が良好であると判断されている区間でLEDを点滅させると、話者は自分の通話に連動して装置が反応していると感じることができるため、判定結果通知方法として好ましい。
以上各実施の形態で説明したように、本発明によればノイズキャンセルマイクを正しく使用者に使わせるよう誘導することにより、ノイズキャンセルの性能を高めて高品質の音声を聞き手に伝送することができる。すなわち、音声品質等の判定結果をLED等の判定結果通知部を用いて通知する目的は、ノイズキャンセル性能を表示することではなく、使用者にノイズキャンセルマイクを正しく使わせるための誘導にある。
これは、2マイク方式のアクティブノイズキャンセル機能を搭載した無線機、あるいは無線機用外部マイクにおいて、使用者のマイクの持ち方や口からの距離によって、ノイズキャンセル効果は大きく左右されるという解決すべき課題があったためである。
すなわち、無線機本体あるいは本体に接続するハンドマイクは、持ち方によってはマイクが話者の口に対して90度方向であったり、口から離れすぎていたりする場合がある。このような場合に、メインマイクに充分な音声が届かず相対的に雑音成分も増えるため、ノイズキャンセル処理を行なっても充分な効果が得られない。また作業の都合上、両手を空けるために肩や胸にマイクを装着したまま通話を行う場合もあり、その場合のノイズキャンセル性能は正しい持ち方をしている場合に比べ低下してしまう。
そこで、マイクの入力信号から、音声/非音声区間情報、ノイズキャンセル処理によるノイズの減衰量、2つのマイクの位相差を用いたマイク位置推定情報等を使って、使用者が正しいマイクの持ち方をしているかどうかを判定し、LED等の表示部によって正しいマイクの持ち方をするよう誘導するという方法で解決したものである。
すなわち、ノイズキャンセル機能を備えた無線機用外部マイクにおいて、ノイズキャンセル機能が効果的に働くような持ち方をしているかどうかを推定する信号処理技術を組み込んでいる。
また、本発明によれば、話者の後方に雑音源がある場合や、雑音の周波数特性が音声の特性に近い場合等、状況によってはノイズキャンセルがうまくいかない場合であっても適切な対処が可能となる。
すなわち、第一の判定部として、マイクの入力信号からノイズキャンセル効果が効果的に得られているかどうかを推定し、ノイズキャンセル効果があまり得られていない場合には、マイクに備えられた表示装置により使用者に警告を与えて正しい持ち方をするよう促す。入力信号からノイズキャンセル効果を推定するには、ある一定区間(フレーム)が音声であるか雑音であるかを判定する音声区間判定情報、入力信号にノイズキャンセル処理を行った結果、ノイズ成分がどの程度減衰したかを示すノイズ低減量等を用いて判定する。さらに第二の判定部として、2つのマイクの入力信号の位相差から、マイクと話者の口との位置関係を推定し、メインマイクが正しく口の方向に向いていない場合には使用者に警告を与える。
ここで、第二の判定部で行われる判定には、第1音声信号(目的音)と第2音声信号(参照音)とを用いて2つ以上のマイクロホンを配置した音声入力装置に対する、目的音の到来方向を検知する目的音方向検知部とを備えることで実現可能である。
また、本発明の音声品質判定部が行う判定処理は上記説明した方法に限定されるものではない。図13は、本発明の音声品質判定部が行う音声品質判定処理の別の流れを示している。
図13において、ステップS411〜ステップS413、ステップS416〜ステップS419は、図8に示すステップS311〜ステップS313、ステップS314〜ステップS317と略同一であるため説明を省略する。図13において、音声品質判定部は、サブマイクから入力する第2音声信号のパワーを算出する(ステップS414)。ここで算出される第2音声信号のパワーは、雑音強度を示しているとみなすことができる。
次に、音声品質判定部は、ステップS414で求めた第2音声信号のパワーが所定の閾値を超えているかを判定する(ステップS415)。ステップS415における判定の結果、第2音声信号が一定レベルを超えていない場合は、周囲が静寂な環境であるとして、音声品質が良好と判定する(ステップS418)。一方、ステップS415における判定の結果、第2音声信号のパワーが一定レベル以上であれば、周囲の雑音が大きく、ノイズキャンセル処理により、第1音声信号に対してキャンセル処理後信号のパワーが減っている必要があるため、ステップS416に進み、第1音声信号とキャンセル処理後信号のパワーを比較することでノイズキャンセル処理が適切に行われているかを判定する処理に進む。
このような構成とすることで、周囲の雑音環境も考慮に入れた適切な音声品質に関する判定が可能となる。
なお、ノイズキャンセル処理部でノイズキャンセル処理を行うか否かを決定するノイズキャンセル処理要否決定部を新たに備える構成であっても良い。静寂な環境下では、ノイズキャンセル処理を行わないほうが、良質な音声を送信できる場合がある。そこで、当該ノイズキャンセル処理要否決定部は、第2収音部で収音される音声のパワーを算出し、当該パワーが所定の基準値以上であれば、周囲雑音が大きくノイズキャンセル処理を行う必要があると決定する。一方、第2収音部で収音される音声のパワーが所定の基準値未満である場合は、ノイズキャンセル処理を行う必要はないと決定する。ノイズキャンセル処理部は、当該ノイズキャンセル処理要否決定部における決定に従ってノイズキャンセル処理を実行する。ノイズキャンセル処理要否決定部が行うノイズキャンセル処理を行うか否かの決定結果はフラグとして管理され、ノイズキャンセル処理部は当該フラグを参照してノイズキャンセル処理を行う。このような構成としても良い。
また、この場合、音声品質判定部は、上記ノイズキャンセル処理が行われていることを示すフラグがあるかないかを検出して音声品質が良いか悪いかの判定を行う。すなわち、当該フラグがノイズキャンセル処理が行われていない事を示している場合、第2収音部から入力した第2音声信号のパワーが一定レベル以下であり、周囲が静寂な環境下であることを意味しているため、音声品質判定部は、音声品質は良好であると判定する。一方、当該フラグがノイズキャンセル処理が行われていることを示している場合に、音声品質判定部は、図8に示す音声品質が良好か否かの判定処理を行う。このような構成とすることで、消費電力を抑えつつ、適切な音声品質の判定を行うことができる。
なお、上記ノイズキャンセル処理要否決定部は、ノイズキャンセル処理を行うか否かの判定については、第2音声信号のパワーが一定レベル以上であるか以外の基準に基づいて当該要否判定を行っても良い。例えば、ノイズキャンセル処理要否決定部は、第1収音部からの第1音声信号と第2収音部からの第2音声信号との位相差により音声の到来方向を判定し、当該到来方向に応じてノイズキャンセル処理を行うか否かを決定してもよい。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の処理は、メインプロセッサのROM等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ(プロセッサ)に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
100 音声入力装置
101 第1収音部(メインマイク) 102 第2収音部(サブマイク)
103 ノイズキャンセル処理部 104 音声品質判定部
105 判定結果通知部
200 音声入力装置
203 ノイズキャンセル処理部 204 音声品質判定部
206 音声区間判定部 207 ノイズサプレッサ部
208 送信部 209 発光制御部
210 発光素子(LED)
300 音声入力装置
304 音声品質判定部 311 マイク方向判定部
312 ノイズキャンセル効果判定部
400 ノイズキャンセルマイク(音声入力装置)
401 第1収音部(メインマイク) 402 第2収音部(サブマイク)
405 判定結果通知部 408 無線送信部
409 LEDドライバ(発光制御部) 410 LED
412 総合判定処理部 413 無線受信部
420 筐体 421 スピーカ(放音部)
422 PTT部 423 ベルトクリップ
430 コード 440 無線通信装置

Claims (6)

  1. 第1収音部と、
    前記第1収音部が配置される面と異なる面に配置される第2収音部と、
    前記第1収音部で収音される音声と前記第2収音部で収音される音声との位相差を検出する位相差検出部と、
    前記位相差検出部で検出された位相差が適切な使用状態における位相差として設定されている範囲内であるか否かを判定する位相差判定部と、
    前記第2収音部から入力される第2音声信号を用いて、前記第1収音部から入力される第1音声信号に対するノイズキャンセルを行うノイズキャンセル処理部と、
    前記ノイズキャンセル処理部が行う前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果、及び前記位相差判定部における判定結果に基づいて、前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定する音声品質判定部と、
    前記音声品質判定部における判定結果を通知する判定結果通知部と、
    を具備する音声入力装置。
  2. 前記音声品質判定部には、前記位相差判定部における判定結果が良好な場合にのみ、前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果が入力される、
    請求項1に記載の音声入力装置。
  3. 前記判定結果通知部は、前記位相差判定部における判定結果または前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果が否定的なものである場合、所定時間同じ判定結果を通知する、
    請求項1に記載の音声入力装置。
  4. 第1収音部と、
    前記第1収音部が配置される面と異なる面に配置される第2収音部と、
    前記第1収音部で収音される音声と前記第2収音部で収音される音声との位相差を検出する位相差検出部と、
    前記位相差検出部で検出された位相差が適切な使用状態における位相差として設定されている範囲内であるか否かを判定する位相差判定部と、
    前記第2収音部から入力される第2音声信号を用いて、前記第1収音部から入力される第1音声信号に対するノイズキャンセルを行うノイズキャンセル処理部と、
    前記ノイズキャンセル処理部が行う前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果、及び前記位相差判定部における判定結果に基づいて、前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定する音声品質判定部と、
    前記ノイズキャンセル後の音声信号を送信する送信部と、
    前記音声品質判定部における判定結果を通知する判定結果通知部と、
    音声信号を受信する受信部と、
    前記受信部で受信した前記音声信号に基づいて音声を放音する放音部と、
    を具備する通信装置。
  5. 自装置の状態を前記送信部で音声信号を送信する送信状態へ切り替える切り替え部を更に具備し、
    前記判定結果通知部は、前記切り替え部が前記送信部で音声信号を送信するように切り替えている場合において、前記ノイズキャンセル後の音声信号の音声品質が良好であることを視覚的に通知する、
    請求項4記載の通信装置。
  6. 第1マイクロホンと前記第1マイクロホンが配置される面と異なる面に配置される第2マイクロホンの少なくとも2つのマイクロホンを具備する装置で使用される状態通知方法であって、
    前記第1マイクロホンと前記第2マイクロホンでそれぞれ音声を収音する収音ステップと、
    前記第1マイクロホンで収音される音声と前記第2マイクロホンで収音される音声との位相差を検出する位相差検出ステップと、
    前記位相差検出ステップで検出された位相差が適切な使用状態における位相差として設定されている範囲内であるか否かを判定する位相差判定ステップと、
    前記第2マイクロホンで収音された音声を用いて、前記第1マイクロホンで収音された音声に対するノイズキャンセルを行うノイズキャンセル処理ステップと、
    前記ノイズキャンセル処理ステップにおける前記ノイズキャンセルが効果的に働いているか否かに基づいた判定結果、及び前記位相差判定ステップにおける判定結果に基づいて、前記ノイズキャンセル後の音声信号の音声品質を判定する音声品質判定ステップと、
    前記音声品質判定ステップにおける判定結果に基づいて状態を通知する状態通知ステップと、
    を有する状態通知方法。
JP2012034189A 2012-02-20 2012-02-20 音声入力装置、通信装置、状態通知方法 Active JP6031777B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012034189A JP6031777B2 (ja) 2012-02-20 2012-02-20 音声入力装置、通信装置、状態通知方法
US13/770,236 US9070374B2 (en) 2012-02-20 2013-02-19 Communication apparatus and condition notification method for notifying a used condition of communication apparatus by using a light-emitting device attached to communication apparatus
CN201310054888.2A CN103260098B (zh) 2012-02-20 2013-02-20 通信装置、状态通知方法以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012034189A JP6031777B2 (ja) 2012-02-20 2012-02-20 音声入力装置、通信装置、状態通知方法

Publications (2)

Publication Number Publication Date
JP2013172257A JP2013172257A (ja) 2013-09-02
JP6031777B2 true JP6031777B2 (ja) 2016-11-24

Family

ID=49265947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012034189A Active JP6031777B2 (ja) 2012-02-20 2012-02-20 音声入力装置、通信装置、状態通知方法

Country Status (1)

Country Link
JP (1) JP6031777B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6608254B2 (ja) * 2015-11-25 2019-11-20 オリンパス株式会社 録音機器、アドバイス出力方法およびプログラム
JP7003393B2 (ja) * 2016-09-05 2022-01-20 日本電気株式会社 端末装置、その制御方法および制御プログラム
KR102598255B1 (ko) * 2022-10-28 2023-11-10 (주)에이치넷코퍼레이션 Usb를 이용한 디지털 핸드 스피커 마이크

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3039051B2 (ja) * 1991-11-13 2000-05-08 松下電器産業株式会社 適応型雑音抑圧装置
JPH0936940A (ja) * 1995-07-14 1997-02-07 Hitachi Ltd 音声入力装置
JPH1195755A (ja) * 1997-09-18 1999-04-09 Shinko Electric Co Ltd 消音装置
JP2007093635A (ja) * 2005-09-26 2007-04-12 Doshisha 既知雑音除去装置
JP2010232862A (ja) * 2009-03-26 2010-10-14 Toshiba Corp 音声処理装置、音声処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP2013172257A (ja) 2013-09-02

Similar Documents

Publication Publication Date Title
US9070374B2 (en) Communication apparatus and condition notification method for notifying a used condition of communication apparatus by using a light-emitting device attached to communication apparatus
US10931805B2 (en) Method and apparatus for controlling application program, and electronic device
EP3163849B1 (en) Method and apparatus for selecting main microphone
US8630685B2 (en) Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones
KR101168809B1 (ko) 사용자로의 마이크로폰 커버링의 시그널링
US20150080048A1 (en) Mobile terminal and abnormal call processing method therefor
JP6725966B2 (ja) 妨害拒否システムおよび装置
CN106210356B (zh) 关闭终端屏幕的方法及装置
JP2015513854A (ja) モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム
EP2768211A1 (en) Mobile phone and call signal processing method for same
JP6031777B2 (ja) 音声入力装置、通信装置、状態通知方法
EP4218263A1 (en) Hearing augmentation and wearable system with localized feedback
CN113194383A (zh) 一种声音播放方法、装置、电子设备及可读存储介质
CN107852431B (zh) 信息处理设备、信息处理方法和程序
JP2012217172A (ja) 音声入力装置、通信装置、及び音声入力装置の動作方法
JP5849758B2 (ja) 通信装置、状態通知方法
CN103905588B (zh) 一种电子设备及控制方法
JP7410109B2 (ja) 電気通信装置、電気通信システム、電気通信装置を動作させる方法、およびコンピュータプログラム
JP5628066B2 (ja) ハンズフリーインターホン装置
WO2022254834A1 (ja) 信号処理装置、信号処理方法およびプログラム
JPWO2020129431A1 (ja) 通話システム、中央制御装置、端末局装置及び通話制御方法
JP2005236579A (ja) 音声操作機能付きオフィス機器
JP2010232993A (ja) ハンズフリーインターホン装置
KR20150078640A (ko) 소음 제거 장치 및 방법
JP2015226198A (ja) 電話機、ハンズフリー通話システム、および、電話機の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161010

R150 Certificate of patent or registration of utility model

Ref document number: 6031777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350