JP5849758B2 - 通信装置、状態通知方法 - Google Patents

通信装置、状態通知方法 Download PDF

Info

Publication number
JP5849758B2
JP5849758B2 JP2012034192A JP2012034192A JP5849758B2 JP 5849758 B2 JP5849758 B2 JP 5849758B2 JP 2012034192 A JP2012034192 A JP 2012034192A JP 2012034192 A JP2012034192 A JP 2012034192A JP 5849758 B2 JP5849758 B2 JP 5849758B2
Authority
JP
Japan
Prior art keywords
unit
state
voice
transmission
noise cancellation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012034192A
Other languages
English (en)
Other versions
JP2013171132A (ja
Inventor
達也 小野田
達也 小野田
正也 小西
正也 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012034192A priority Critical patent/JP5849758B2/ja
Priority to US13/770,236 priority patent/US9070374B2/en
Priority to CN201310054888.2A priority patent/CN103260098B/zh
Publication of JP2013171132A publication Critical patent/JP2013171132A/ja
Application granted granted Critical
Publication of JP5849758B2 publication Critical patent/JP5849758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

本発明は通信装置に関し、特にノイズキャンセル機能を有する単方向通信装置に関する。
業務用無線機に代表される音声入力装置は、工場や建設現場、また、消防・警察等といった高い騒音下で使用される機会が多い。そのため、マイクで収音された音声信号に含まれる雑音成分を抑圧することで、高い騒音下でも良好な通話を確保できることが求められる。
特許文献1には、筐体に音声収音用マイク(以下メインマイクと称する)および雑音収音用マイク(以下サブマイクと称する)の2個のマイクを備え、サブマイクで収音した信号から生成したノイズの逆相成分をメインマイクの信号に加算することにより、メインマイクの雑音成分を抑圧する音声入力システムが開示されている。当該技術はアクティブノイズキャンセル方式と呼ばれ、高騒音下でも明瞭な音声を収音することが可能となる。
また、特許文献2には、複数のマイクロホンから出力された信号から雑音を除去した残留信号の方向別の音量を算出し、方向別残留信号の音量を表示することで、マイクロホンで収集された音声がどれだけ抑圧されているかを音源ごとに確認できる音収集システムが開示されている。
また、特許文献3には、外部デバイスへコンテンツデータの送信を行う電子機器が開示されている。当該電子機器は、外部デバイスとの間で伝送される一つ以上のコンテンツに関するコンテンツ情報を取得し、一つ以上のコンテンツを伝送する際、前記取得したコンテンツ情報に基づき、コンテンツが伝送されている期間中インジケータの発光部を点灯又は点滅する。当該構成により、コンテンツデータの伝送状況の切り替わりを適切にユーザに報知することが可能となる。
また、特許文献4には、所謂ハンズフリー通話が可能な電話装置であって、マイクから入力された音声が所定の音声であるかを判断する音声認識部を備え、当該音声の認識結果を表示する表示手段を更に備える音声応答機能付電話装置が開示されている。当該装置によれば、使用者に音声認識部の認識結果を報知することで、音声応答機能の信頼性を向上させている。
特開2004−120717号公報 特開2010−028531号公報 特開2010−279043号公報 特開2000−106588号公報
高騒音下の環境で使用される単方向通信機能を有する通信装置には、送信モード(送信状態)と非送信状態(スタンバイ状態)とを切り替えるスイッチが配置されており、使用者が当該切り替えスイッチを押下することで送信モードへと切り替える。
このような装置においては、使用者に対して現在の通信状態を誤認しないよう、現在の通信状態が送信状態か非送信状態かのどちらであるかを適切に通知する必要がある。そこで、装置筐体にLED等の発光部が設けられ、上記切り替えスイッチに連動して当該LEDの発光状態を制御する構成がとられる。
ここで、高騒音下の環境で使用される通信装置では、その使用環境や部品点数、部品コストなどの制約上、装置筐体に配置されるLEDの数や色を増やすことが難しい場合がある。そこで、1つのLEDが装置筐体に配置され、上記送信モードの切り替えに対応してLEDを点灯又は消灯させる制御が行われる。
ここで、工事現場等の高騒音下の環境で使用される通信装置において音声を収音して送信する場合、話者からの音声が周囲雑音で潰されてしまい、受信先にいる聞き手が会話内容を適切に理解できない場合があると言う課題が発生していた。このような状況においては、話者に対して装置の使用状態を改善するように指導(注意喚起)できることが求められていた。
上記課題を鑑み、本発明は、限られた制約下で良質な音声を送信できる送信装置と状態通知方法を提供することを目的とする。
本発明の一態様である通信装置は、音声を収音する第1収音部と、第1収音部で収音される音声を音声信号として外部に送信する送信部と、前記送信部が前記音声信号を送信しない非送信状態から前記送信部が前記音声信号を送信する送信状態に自装置の通信状態を切り替える切り替え部と、前記送信部で送信される前記音声信号の音声品質を判定する音声品質判定部と、光を発光する発光部と、前記発光部を制御する発光制御部と、を具備し、前記発光制御部は、前記切り替え部が切り替える前記通信状態と、前記音声品質判定部における前記音声品質の判定結果とに基づいて、前記発光部が、消灯状態、点滅状態、点灯状態、のいずれかの状態をとるように制御する。
また、前記発光制御部は、前記通信状態が非送信状態である場合は前記発光部を消灯状態とし、前記通信状態が送信状態で、かつ、前記音声品質が良好と判定されている場合は前記発光部を点滅状態とし、前記通信状態が送信状態で、かつ、前記音声品質が不良と判定されている場合は前記発光部を点灯状態としても良い。
また、前記発光制御部は、前記通信状態が非送信状態である場合は前記発光部を消灯状態とし、前記通信状態が送信状態で、かつ、前記音声品質が良好と判定されている場合は前記発光部を点灯状態とし、前記通信状態が送信状態で、かつ、前記音声品質が不良と判定されている場合は前記発光部を点滅状態としても良い。
また、前記音声品質判定部は、前記第1収音部で収音される音声の音量レベルに基づいて前記音声品質を判定しても良い。
また、音声を収音する第2収音部と、前記第2収音部から入力される第2音声信号を用いて、前記第1収音部から入力される第1音声信号に対するノイズキャンセルを行うノイズキャンセル処理部と、を更に具備し、前記送信部は、前記ノイズキャンセル処理部における前記ノイズキャンセル後の音声信号を外部に送信し、前記音声品質判定部は、前記ノイズキャンセル後の音声信号の音声品質を判定しても良い。
また、第1収音部で収音された音声に基づいて音声区間であるかの判定を行う音声区間判定部を更に備え、前記音声品質判定部は、前記音声区間判定部において音声区間であると判定されている場合に、前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定しても良い。
また、前記音声区間判定部は、第1収音部から入力される第1音声信号を一定長の単位で周波数領域に変換する周波数変換部と、前記周波数変換部における変換後のスペクトル成分に基づいて、発話による音声成分であるか音声ではない雑音成分であるかを判定する音声判定部と、を備えても良い。
また、前記発光制御部は、前記通信状態が非送信状態である場合は前記発光部を消灯状態とし、前記通信状態が送信状態で、かつ、音声区間でない場合は、前記発光部を点灯状態とし、前記通信状態が送信状態で、かつ、音声区間であり、前記音声品質が不良と判定されている場合は、前記発光部を点灯状態とし、前記通信状態が送信状態で、かつ、音声区間であり、前記音声品質が良好と判定されている場合は前記発光部を点滅状態とする制御を行っても良い。
また、前記第1収音部は、装置本体正面に配置されるメインマイクであり、前記第2収音部は、装置本体背面に配置されるサブマイクとすることができる。
また、前記第1収音部で収音される音声と前記第2収音部で収音される音声との位相差に基づいてメインマイク方向を判定するマイク方向判定部を更に具備し、前記音声品質判定部は、前記マイク方向判定部における前記メインマイク方向の判定結果に基づいて前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定することができる。
また、前記発光部は、装置本体に設置されたLED(Light Emitting Diode)である。
また、本発明の一態様である状態通知方法は、単方向通信装置に設けられた発光素子を用いて前記単方向通信装置の使用状態を通知する状態通知方法であって、前記単方向通信装置の通信状態が送信状態であるか非送信状態であるかを判定する通信状態判定ステップと、前記通信状態が前記送信状態である場合に送信される音声信号の音声品質を判定する音声品質判定ステップと、通信状態判定ステップにおける判定結果と前記音声品質判定ステップにおける判定結果とに基づいて前記発光素子を消灯状態、点灯状態、点滅状態のいずれかの状態となるように制御する制御ステップと、を有する。
また、本発明の一態様である通信装置は、音声を収音する第1収音部と、前記第1収音部で収音される音声を音声信号として外部に送信する送信部と、前記送信部が前記音声信号を送信しない非送信状態から前記送信部が前記音声信号を送信する送信状態に自装置の通信状態を切り替える切り替え部と、前記第1収音部での音声の収音状態を判定する収音状態判定部と、光を発光する発光部と、前記発光部を制御する発光制御部と、を具備し、前記発光制御部は、前記切り替え部が切り替える前記通信状態と、前記収音状態判定部における前記第1収音部での音声の収音状態とに基づいて、前記発光部が、消灯状態、点滅状態、点灯状態、のいずれかの状態をとるように制御する。
ここで、前記発光制御部は、前記切り替え部が前記通信状態を送信状態に切り替えた場合に、前記発光部を点灯状態とし、前記収音状態判定部で判定された収音状態に基づいて、前記発光部を点滅状態とすることを特徴としても良い。
本発明によれば、限られた制約下で良質な音声を送信できる送信装置と状態通知方法を提供することができる。
実施の形態1に係る通信装置の構成を示すブロック図である。 実施の形態1に係る通信装置の動作の流れを示すフローチャート図である。 実施の形態2に係る通信装置(ノイズキャンセルマイク)の外観((a)正面図、(b)背面図)を示す図である。 実施の形態2に係る通信装置の構成を示すブロック図である。 実施の形態2に係る音声品質の判定処理の流れを示すフローチャート図である。 LEDの発光状態と通信状態と音声品質の判定結果との関係を纏めたグラフである。 実施の形態3に係る通信装置の構成を示すブロック図である。 通信装置(音声入力装置)の使用者に対する方向と位相との関係を説明する図である。 実施の形態3に係るメインマイク方向の判定処理(第1判定処理)の流れを示すフローチャート図である。 実施の形態3に係るノイズキャンセル効果の判定処理の流れを示すフローチャート図である。 実施の形態3に係る音声品質に関する総合判定処理の動作の流れを示すフローチャート図である。 実施の形態4に係る音声入力装置(通信装置)の構成を示すブロック図である。 実施の形態4に係る発光制御部の制御内容を示したグラフである。 実施の形態4に係る発光制御部制御動作の流れを示すフローチャート図である。 実施の形態4に係る別の音声入力装置(通信装置)の構成を示すブロック図である。
本発明の実施の形態について以下に図面を参照して説明する。以下の説明は、本発明の好適な実施の形態を示すものであって、本発明の範囲が以下の実施の形態に限定されるものではない。以下の説明において、同一の符号が付されたものは実質的に同様の内容を示している。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。図1は、本実施の形態1に係る通信装置100の構成を示すブロック図である。通信装置100は、第1収音部101と、送信部102と、音声品質判定部103と、PTT(Push To Talk)部104と、発光制御部105と、発光素子106と、を具備する。
第1収音部101は、通信装置100に取り付けられたマイクであり、音声を収音する。第1収音部101で収音された音声は第1音声信号として、送信部102及び音声品質判定部103に出力される。
送信部102は、第1収音部101より入力した第1音声信号を、必要に応じて音声符号化処理を行った上で外部に設置された他の通信装置へ送信する。送信部102は後述するPTT部104が押下され、当該PTT部104から送信モード信号を入力している場合に、音声信号を外部の通信装置へ送信する。
音声品質判定部103は、第1収音部101より入力した第1音声信号に基づいて、送信部102より送信される音声信号の音声品質を判定する。音声品質判定部103は、当該判定結果を、音声品質を示す音声品質信号として発光制御部105に出力する。
ここで、具体的に音声品質判定部103は、第1収音部101で収音される音声の音量レベルを判定することで送信部102から送信される音声信号の音声品質を判定する。すなわち、第1収音部101で収音される音声の音量レベルが所定の基準値より低い場合は、受信者側で十分に聞き取ることができないと判断し、音声品質が不良であると判定する。
PTT部104は、送信部102で音声信号を送信するかしないかを切り替える。
すなわち、PTT部104は、自装置100の通信状態(通信モード)を、送信部102が音声信号を送信する送信状態(送信モード)又は送信部102が音声信号を送信しない非送信状態(スタンバイモード)のいずれかの状態に切り替える切り替え部である。PTT部104が押下されることにより、通信装置100の状態が非送信状態から送信状態へ切り替えられることで、音声信号の送信が行われる。
なお、非送信状態(スタンバイモード)には、外部より送信される信号の受信はしていないが受信信号を検知する状態である、いわゆる受信待ち受け状態及び電波を実際に受信している受信状態を含む。また、通信装置100が受信機能を有さない、送信専用の送信装置の場合には、非送信状態は、何もしない状態である。非送信状態は、このような受信状態や何もしない状態などを含み、送信部102が音声信号を送信しない状態を指している。なお、車載用無線機のマイクロホンの場合には、スピーカは車載用無線機に配置される。
PTT部104は、より具体的には、通信装置100の筐体に取り付けられた通信状態を切り替える切り替えスイッチであり、使用者が発話を行う時に当該PTT部104が押下されることで、通信状態が、非送信状態から送信状態に切り替えられる。すなわち、装置100の通信状態はデフォルトで非送信状態をとり、発話を行いたい使用者がPTT部104を押下することで使用者によって手動で送信状態に切り替えられる。PTT部104が押下されると、送信状態に切り替えられたことを示す送信モード信号が送信部102と、発光制御部105とに出力される。
発光制御部105は、発光素子106の発光を制御することで装置100の使用状態を使用者に通知する。発光素子106は、装置100の筐体に取り付けられており、具体的にはLED(Light Emitting Diode)であるものとして説明する。
発光制御部105は、音声品質判定部103から入力される音声品質を示す音声品質信号と、PTT部104より入力する現在の通信状態が送信状態に切り替えられていることを示す送信モード信号とに基づいて発光素子106の発光状態を制御する。
図2は、通信装置100の動作の流れを示すフローチャート図である。
発光制御部105は、現在の通信状態が送信状態であるかを判定する(ステップS101)。PTT部104が押下されておらず、送信モード信号が入力されていない場合は、現在の通信状態は非送信状態であるため(ステップS101のNo)、発光制御部105は、発光素子106に駆動電流を流さず、発光素子106を消灯状態とする(ステップS102)。一方、PTT部104が押下されて現在の通信状態が送信状態である場合は、音声品質判定部103において音声品質判定処理が行われる(ステップS103)。
発光制御部105は、音声品質判定部103における判定処理に基づいて、送信部102より送信される音声信号の音声品質が良好であるかを判定する(ステップS104)。すなわち、音声品質判定部103より入力する音声品質信号において当該音声品質が良好と示されているか不良と示されているかを確認する。
ステップS104における判定の結果、音声品質が良好であると示されている場合は、発光制御部105は、発光素子106を点滅させる(ステップS105)。一方、音声品質が不良であると示されている場合は、発光制御部105は発光素子106を点灯させる(ステップS106)。
このように、発光制御部105は、PTT部104が切り替える通信状態と、音声品質判定部103における音声品質の判定結果とに基づいて、発光素子106が、消灯状態、点滅状態、点灯状態、のいずれかの状態となるように制御する。発光素子106の3つの状態を通じて、装置100の使用状態を使用者に通知することができ、点灯状態の発光素子106を視覚的に認識した使用者は現在の音声品質が悪いことを認識し、マイク101に口を近づける等の改善行動を行うことができる。
以上のように、本実施の形態1では、通信機能を切り替えて通信を行う単方向通信装置において、装置筐体に取り付けられたLED等の発光素子を用いて通信方向を適切に使用者に通知しつつ、送信される音声信号の音声品質の良し悪しを併せて通知することができる。
すなわち、本実施の形態1の通信装置は、通信状態を非送信状態から送信部が音声信号を送信する送信状態に切り替える切り替え部を有する。当該切り替え部であるPTT部が押下されることで、発光制御部は、非送信状態を示す消灯状態から送信状態を示す点灯状態に変更するよう発光素子を制御する。更に、発光制御部は、音声品質の判定結果に基づき、良好な音声品質が得られている場合は点灯状態から点滅状態に変更することで使用者に対して装置の使用状態を通知する。従って使用者が、当該通知を受けて装置の使用状態を変更する行動をとることで、聞き手側に送られる音声の品質を改善することができる。
なお、上記通信装置は、PTT部104が押下されておらず、装置100の通信状態が非送信状態である場合に、外部の通信装置より送信される音声信号を受信する受信部を備えていても良い。受信部で受信された音声信号は、適宜復号された後、スピーカより音声が放音される。
(実施の形態2)
高騒音下での使用が想定される本発明の送信装置において、マイクで収音される音声の音量レベルが高い場合でも、話者の発話が周囲の雑音に埋もれてしまい、音声品質が劣悪である場合がある。
このような環境下では、音量レベルが音声品質を適切に表しているとは言えない。従って、音量レベルが閾値を超えており、発光素子が注意喚起を促していない場合であっても、聞き手側に伝送される音声は品質が悪く、聞き手が会話内容を適切に理解することができないと言った問題が生じていた。
特に、音声をデジタル無線送信で送信する場合、音声符号化を行って帯域圧縮された上で送信されることになるが、周囲の雑音により、適切な音声符号化が行われず、音声が潰れてしまうという課題が顕著になる。
そこで、本実施の形態2に係る通信装置では、聞き手側に伝送される音声の音声品質を的確に話者に通知することで、装置の使用状態の指導及び改善を促して音声品質の改善に繋げることを可能とすることを特徴とする。以下、図面を用いて詳細に説明する。
図3は、本実施の形態2に係る通信装置200の外観を示す図である。図3(a)は、通信装置200の正面図を、図3(b)は、通信装置200の背面図を、それぞれ示している。
通信装置200は、ノイズキャンセルマイク部220と無線通信機240とがコード230で相互に接続されている装置である。ここで、ノイズキャンセルマイク部220とは、主にマイク等が配置される音声入力装置に該当する。ノイズキャンセルマイク部220の筐体正面には、第1収音部であるメインマイク201とスピーカ212とがそれぞれ配置されている。
また、ノイズキャンセルマイク部220の背面には、第2収音部であるサブマイク202と、ベルト等に保持するためのベルトクリップ221とがそれぞれ配置されている。
ノイズキャンセルマイク部220の上部には、LED210が、また、側面にはPTT部207がそれぞれ配置されている。
次に、通信装置200の構成を図4のブロック図を参照して説明する。通信装置200は、メインマイク201と、サブマイク202と、音声区間判定部203と、ノイズキャンセル処理部204と、ノイズサプレッサ部205と、無線送信部206と、PTT部207と、音声品質判定部208と、LED制御部209と、LED210と、無線受信部211と、スピーカ212と、を具備する。
メインマイク201は、通信装置200のノイズキャンセルマイク部220に取り付けられたマイクであり、音声を収音する。メインマイク201で収音された音声信号(第1音声信号)は、音声区間判定部203、ノイズキャンセル処理部204、及び音声品質判定部208に出力される。
サブマイク202もメインマイク201と同様、通信装置200のノイズキャンセルマイク部220に取り付けられたマイクであり、音声を収音する。サブマイク202で収音された音声信号(第2音声信号)は、ノイズキャンセル処理部204及び音声品質判定部208に出力される。
ここで、メインマイク201とサブマイク202の2つのマイクのうち、メインマイク201は、主に話者(使用者)からの発話を収音する第1収音部に相当し、装置表面に配置される。一方、サブマイク202は、主にノイズキャンセル処理に利用するために設けられた周辺の雑音を収音する第2収音部に相当し、装置背面に配置される。
なお、サブマイク202の配置位置は、装置背面に限定されるものではなく、装置側面や装置底面その他装置の内部に配置されていても良い。但し、後述するノイズキャンセル効果を高めるために、メインマイク201が使用者側である装置正面に配置され、サブマイク202が使用者の反対側である装置背面にそれぞれ配置されることが好ましい。
音声区間判定部203は、メインマイク201から入力する第1音声信号に基づいて音声区間判定を行うことで、発話が行われている区間である音声区間を検出する。
音声区間判定部203が行う音声区間であるかどうかの判定は、メインマイク201からの第1音声信号を一定長の単位で周波数領域に変換し、そのスペクトル成分を分析することにより、母音であるか、子音であるか、また音声ではない雑音成分であるかを判定する。
音声区間判定部203は、音声区間であることを示す信号をノイズキャンセル処理部204及び音声品質判定部208に出力する。以下の説明では、当該音声区間であることを示す信号を音声区間指示信号と称して説明する。
ノイズキャンセル処理部204は、メインマイク201より入力した第1音声信号とサブマイク202より入力した第2音声信号とに基づいてノイズキャンセル処理(雑音成分抑圧処理)を実行する。
具体的には、ノイズキャンセル処理部204は、適応フィルタを用いてサブマイク202で収音された音声に基づいてメインマイク201に混入する雑音成分の逆相成分を生成する。そして、ノイズキャンセル処理部204は、メインマイク201から入力した第1音声信号と、当該生成した雑音成分の逆相成分によるノイズキャンセル用信号とを加算することによってメインマイク201に混入する雑音成分を抑圧する。ノイズキャンセル処理部204は、当該ノイズキャンセル後の音声信号をノイズサプレッサ205と音声品質判定部208とへ出力する。
ここで、ノイズキャンセル処理部204は、メインマイク201から入力した第1音声信号に対して一定期間(例えば256サンプル)のフレーム毎にノイズキャンセル処理を実行する。
以下の説明では、ノイズキャンセル処理部204でノイズキャンセル処理が行われて雑音成分が抑圧されたノイズキャンセル後の音声信号のことをノイズキャンセル処理後信号と称して説明することがある。
ノイズサプレッサ部205は、ノイズキャンセル処理部204より入力したノイズキャンセル処理後信号の周波数軸上に現れる音声以外の雑音成分を抑圧する処理を行う。ノイズサプレッサ205は、雑音成分の抑圧後の信号を時間領域の音声信号に戻した後、無線送信部206に出力する。
無線送信部206は、ノイズサプレッサ部205より受け取った信号に対して適宜音声符号化を行った後、当該音声符号化後の音声信号を搬送波に変調して外部の無線通信装置へ向けて無線送信する。
なお、以下の説明では、上記説明したノイズサプレッサ部205と無線送信部206とを纏めて通信部として扱うことがある。
PTT部207は、ノイズキャンセル後の音声信号を無線送信部206より送信するかしないかを切り替える。
すなわち、PTT部207は、自装置200の通信状態(通信モード)を、無線送信部206が音声信号を送信する送信状態(送信モード)又は待機状態である非送信状態のいずれかの通信状態に切り替える。ここで、無線受信部211が外部より送信される音声信号を受信する受信状態(受信モード)は、上記非送信状態に含まれるため、使用者は、信号を受信したい場合は非送信状態に切り替える。PTT部207により、通信状態として通信装置200が取り得る送信状態又は非送信状態のいずれかが選択される。
使用者が発話を行う時に当該PTT部207が押下されることで、通信状態が、非送信状態から送信状態に切り替えられる。PTT部207が押下されると、送信状態に切り替えられたことを示す送信モード信号が無線送信部206と、LED制御部209と、無線受信部211とに出力される。
音声品質判定部208は、送信部より送信される音声信号であるノイズキャンセル処理部204において行われたノイズキャンセル処理後の音声信号の音声品質を判定する。音声品質判定部208は、判定結果を音声品質信号としてLED制御部209に出力する。
ここで、音声品質判定部208は、外部の雑音環境や、ノイズキャンセル処理部204が行ったノイズキャンセルが効果的に働いているか等の複数の観点から送信部より送信される音声信号の音声品質の良し悪しを判定する。
例えば、音声品質判定部208は、ノイズキャンセル処理部204が行うノイズキャンセル処理によってメインマイク201からの第1音声信号に対して生じる減衰量に基づいてノイズキャンセルが効果的に働いているかを判定することができる。
具体的に、音声品質判定部208は、メインマイク201からの第1音声信号が、上記ノイズキャンセル処理によってどれくらい減衰しているかを算出し、減衰量が一定の閾値以上であればノイズキャンセルが効果的に働いていると判定することができる。
すなわち、音声品質判定部208は、ノイズキャンセル処理前の第1音声信号の平均パワー(平均強度)と、当該ノイズキャンセル処理後の信号の平均パワー(平均強度)とを比較し、当該比較結果に基づいてノイズキャンセルが効果的に働いているかを判定することができる。メインマイク201で収音される音声には話者の発話音声と周辺雑音が混在しており、一定以上の減衰量が認められれば周辺雑音が効果的に抑圧されていると判断することができるためである。
LED制御部209は、図1の発光制御部105に対応し、発光素子であるLED210に駆動電流を流して発光状態を制御する。LED制御部209は、PTT部207から入力する通信状態を示す送信モード信号と、音声品質判定部208から入力する送信部より送信される音声信号の音声品質を示す音声品質信号とに基づいてLEDを制御する。
無線受信部211は、外部の無線通信装置より無線送信される音声信号を受信する。無線受信部211は、PTT部207より送信モード信号を入力している場合は、現在の装置の通信状態が送信状態に切り替えられているとして、無線受信を行わない。無線受信部211は、受信した音声信号を復号した後にスピーカ212に出力する。
スピーカ212は、無線受信部211より入力した音声信号を音声として放音する。
次に、通信装置200における音声品質判定処理の流れを図5のフローチャートを参照して説明する。
音声区間判定部203は、メインマイク201からの第1音声信号に基づいて話者が発話中であるかどうかの音声区間判定処理を行う(ステップS201)。当該判定の結果、音声区間でないと判定された場合は、ステップS201に戻って判定処理を継続する。
ステップS201における判定の結果、音声区間である場合、音声品質判定部208は、信号強度算出処理を行う(ステップS202〜ステップS204)。
まず、音声品質判定部208は、サブマイク202から入力される第2音声信号の1フレーム区間における平均パワーを算出する(ステップS202)。次に、音声品質判定部208は、メインマイク201から入力される第1音声信号の1フレーム区間における平均パワーを算出する(ステップS203)。次に、音声品質判定部208は、ノイズキャンセル処理部204から入力されるノイズキャンセル処理後信号の1フレーム区間における平均パワーを算出する(ステップS204)。
次に、音声品質判定部208は、ステップS202で求めた第2音声信号の平均パワーが所定の閾値Pth1を超えているかを判定する(ステップS205)。
第2音声信号の平均パワーが所定の閾値Pth1を超えていない場合、音声品質判定部208は、音声品質が良好であると判定する(ステップS208)。これは、サブマイク202で収音される音声は主に周囲の環境雑音であるため、第2音声信号の平均パワーがPth1以下であることは静寂な環境下にあるとみなすことができる。従って、話者の発話による音声が周囲の雑音で潰れると言ったことが起きず、音声品質が良好であると判定することができる。
一方、第2音声信号の平均パワーが閾値Pth1を超えている場合、音声品質判定部208は、ステップS203で算出したノイズキャンセル処理前の第1音声信号の平均パワーと、ステップS204で算出したノイズキャンセル処理後の信号の平均パワーとの比較を行う(ステップS206)。
ステップS206の比較の結果、第1音声信号に対するノイズキャンセル処理後信号のパワー比が所定の閾値Pth2を超えていれば、ノイズキャンセルが効果的に働いておらず、音声品質は不良であると判定する(ステップS209)。
これは、ステップS205の判定で環境雑音が所定の強度以上存在していると判定されている中で、ノイズキャンセル処理前後のパワーに変動が見られない事を意味しており、ノイズキャンセルが効果的に働いていないとみなすことができるためである。
一方、当該ステップS206の比較の結果、第1音声信号に対するノイズキャンセル処理後信号のパワー比が第2閾値Pth2を超えていなければ、ノイズキャンセル処理後信号の平均パワーが所定の閾値Pth3を超えているかを判定する(ステップS207)。
ステップS207における判定の結果、ノイズキャンセル処理後信号の平均パワーが閾値Pth3を超えていなければ、音声品質は不良であると判定する(ステップS209)。
これは、ノイズキャンセル処理によって本来残るべき話者の発話音声についても削られているとみなすことができ、聞き手側において話者の発話内容を聞き取ることが困難であることを意味しているため、音声品質が不良であると判定することができる。
一方、ステップS207における判定の結果、ノイズキャンセル処理後信号の平均パワーが閾値Pth3を超えていれば、好ましい音声レベルが得られており、音声品質が良好と判定する(ステップS208)。
ステップS208又はステップS209でそれぞれ得られた音声の品質が良好であるか不良であるかの判定結果は音声品質を示す音声品質信号として、LED制御部209に送られる。
LED制御部209は、実施の形態1の図2の処理動作と同様、PTT部207から入力される送信モード信号に基づいて現在の通話状態が送信状態であるかどうかの判定を行い、更に音声品質判定部208から入力される音声品質信号に基づいて音声品質が良好か不良かの判定を行う。
LED制御部209は、図6に示すグラフの対応関係に基づき、PTT部207が押下されて通信状態が送信状態であり、かつ、音声品質が良好と判定されている場合は、正常な送信状態であることを意味する点滅状態となるようにLED210に駆動電流を流す。
一方、LED制御部209は、PTT部207が押下されて通信状態が送信状態であり、かつ、音声品質が不良と判定されている場合は、送信状態において音声品質の改善が必要であることを意味する点灯状態となるようにLED210に駆動電流を流す。
また、LED制御部209は、PTT部207が押下されて通信状態が送信状態である場合であって、音声品質信号が入力されていない場合は、送信状態を示す点灯状態となるようにLED210に駆動電流を流す。このように、音声品質信号が入力されない場合としては、音声区間判定部203で音声区間と判定されていない場合がある。この場合、音声品質判定部208において図5に示した音声品質判定処理が進まないため、音声品質信号がLED制御部209に出力されることは無い。LED制御部209は、PTT部207より送信モード信号を入力していながら、音声品質判定部208より音声品質信号が入力されない場合は、通信状態は送信状態であり、一方、発話が検出されない非音声区間であると判定し、LED210を点灯状態とする。
このように、送信状態において、非音声区間におけるLEDの発光状態と、送信状態かつ音声区間であって音声品質が悪い場合のLEDの発光状態を同一とすると、使用者にとって音声が適切に装置に入っていないことが感じやすくなるため好ましい。
発話を行っていながらも当該LED210の点灯が点滅状態に移行しないことを視認した使用者は、使用状態が適切ではないことを認識して、装置(マイク)の持ち方や方向、口までの距離を変更し、LED210が点灯状態から点滅状態に戻ることを試みる。すなわち、使用者に装置の使用状態を指導すると言った手法を通じて、聞き手側に伝送される音声信号の音声品質を改善することができる。
一方、LED制御部209は、PTT部207が押下されておらず、通信状態が送信状態ではない、すなわち、非送信状態である場合には、LED210に駆動電流を流さず、LED210を消灯状態に維持する。
以上のように本実施の形態2に係る通信装置は、話者の発話音声が周囲のノイズに埋もれてしまわないように、複数の収音部を備え、ノイズキャンセル処理を行った上で、ノイズキャンセル処理後の音声信号を送信する構成をとる。従って、周囲の雑音が大きい場合においても、聞き手側によりクリアな音声を伝送することができる。
但し、ノイズキャンセル機能を搭載した場合でも、ノイズキャンセルが効果的に働かず、未だ聞き手側に伝えられる会話の音声品質が悪い場合が起こり得る。この時、単方向通信装置では、聞き手側から音声品質が劣悪であることを伝えることができないため、話者は会話が成り立っていないにもかかわらず、そのことに気づかず会話を進めてしまうと言ったことが起こる。
そこで、本実施の形態2に係る通信装置では、このような問題に対処するため、ノイズキャンセルが効果的に働いているかの判定を行い、その他の判定も必要に応じて組み合わせることで聞き手側における音声品質を推定する。そして、音声品質の改善が必要とされる場合においては、通信装置に設けられたLEDを上手く活用して話者である使用者に注意喚起を促すことができる。
(実施の形態3)
実施の形態2に係る通信装置は、ノイズキャンセルが効果的に働いているかどうかを基準として音声品質の判定を行っている。当該構成により、メインマイク音量レベルを基準として音声品質の判定を行う場合と比較してより適切な音声品質の判定が可能となる。
ここで、実施の形態2に係る通信装置200では、ノイズキャンセルがうまくいっていないにもかかわらず、音声品質判定部208が行うノイズキャンセル効果判定で誤判定を出してしまう場合があった。
このような誤判定が起きる典型的な事例として、通信装置200が話者に対して横〜斜め方向を向いている場合がある。この場合、装置自体が横を向いているために、装置背面に設置されたサブマイク202側にも使用者(話者)からの発話音声の成分が強く入る。ノイズキャンセル処理部204が行うノイズキャンセル処理では、サブマイク202の信号を参照信号としてノイズキャンセルを行う。従って、サブマイク202側に入る音声成分をノイズであると判断してしまい、メインマイク201から入力される音声信号の中から残すべき音声成分も削られてしまうことになる。
この場合、横を向いた装置の正面に強力なノイズ源が存在すると、メインマイク201で収音された当該ノイズ源のノイズ音が残存し、ノイズキャンセル処理後信号の強度レベルが閾値を超える。従って、図5に示したステップS205〜ステップS207の判定の結果、最終的に音声品質が良好と誤った判定がなされてしまう可能性がある。
本実施の形態3では、このような場合についても適切に音声品質を判定して適切な通知を使用者に行うことができる通信装置を提供することを実現している。以下、図面を参照して詳しく説明する。なお、実施の形態1、2で既に説明した部分については、発明の明確化のため説明を一部省略する。
図7は、本実施の形態3に係る通信装置300の構成を示すブロック図である。通信装置300は、メインマイク201と、サブマイク202と、音声区間判定部303と、ノイズキャンセル処理部204と、ノイズサプレッサ部205と、無線送信部206と、PTT部207と、音声品質判定部308と、LED制御部209と、LED210と、無線受信部211と、スピーカ212と、マイク方向判定部313と、を具備する。また、音声品質判定部308は、ノイズキャンセル効果判定部314と、総合判定部315の2つの判定部を内部に有する。また、通信装置300の外観は図3で示した通信装置200と同様であるものとする。
音声区間判定部303は、使用者が発話している音声区間であるか、使用者が発話していない非音声区間であるかを、メインマイク201から入力する第1音声信号を一定長の単位で周波数領域に変換した上でスペクトル成分を分析する手法を用いて判定する。音声区間判定部303は、音声区間であるかどうかの判定結果を、ノイズキャンセル処理部204、マイク方向判定部313、及びノイズキャンセル効果判定部314に出力する。
マイク方向判定部313は、メインマイク201とサブマイク202でそれぞれ収音される音声の位相差を検出し、当該位相差に基づいてメインマイク201の方向を判定する。マイク方向判定部313は、メインマイク方向に関する判定結果を第1判定結果として総合判定部315に出力する。
図8は、当該マイクの方向によって生じる音声の位相差を説明する図である。図8から分かるように、メインマイク201が取り付けられた通信装置300本体が話者と対面しており、正常な使用状態である場合は、メインマイク201に入る音声と本体を回り込んでサブマイク202に入る音声との位相差が大きくなる。一方、通信装置300本体の方向が話者に対して傾いている場合は、口から2つのマイクまでの距離差が縮まり、メインマイク201に入る音声とサブマイク202に入る音声との位相差が小さくなる。特に装置正面に取り付けられたメインマイク201の方向が使用者に対して90度の方向を向いている場合は、メインマイク201及びサブマイク202の各々から口までの距離がほぼ等しいとみなされることから位相差は0に近づくことになる。
そこで、マイク方向判定部313は、メインマイク201とサブマイク202でそれぞれ収音される音声の位相差が所定の閾値以下である場合は、メインマイクの方向が話者の口の方を向いていないと推定し、使用者は適切な使用を行っていないものと判定する。逆に、メインマイク201とサブマイク202でそれぞれ収音される音声の位相差が、上記所定の閾値を超えた所定の範囲内である場合には、マイク方向判定部313は、使用者が適切な使用を行っていると判定することできる。
ノイズキャンセル効果判定部314は、ノイズキャンセル処理部204が行うノイズキャンセルが効果的に働いているかを判定する。ノイズキャンセル効果判定部314は、ノイズキャンセル効果に関する判定結果を第2判定結果として総合判定部315に出力する。
総合判定部315は、サブマイク202より入力する第2音声信号の平均パワーや、マイク方向判定部313から入力する第1判定結果、ノイズキャンセル効果判定部314から入力する第2判定結果等を総合的に判定することで、送信部より送信される音声信号の音声品質が良好であるかどうかを判定する。総合判定部315で総合的に判定された音声品質はLED制御部209に出力されてLED210の発光制御に用いられる。
次に、通信装置300の動作について説明する。図9は、マイク方向判定部313における判定処理の流れを示すフローチャート図である。
マイク方向判定部313は、メインマイク201から入力した第1音声信号の位相とサブマイク202から入力した第2音声信号の位相とを比較する(ステップS301)。次にマイク方向判定部313は、メインマイク201からの第1音声信号とサブマイク202からの第2音声信号との位相差が一定値以下であるかを判定する(ステップS302)。上述の通り、メインマイク201の方向のずれがそのまま当該位相差に現れるためである。
ステップS302における判定の結果、位相差が一定値以上である場合は、マイク方向判定部313は、メインマイク201と口との位置関係が良好であり、適正な使用がなされているものとして判定する(ステップS303)。一方、ステップS302における判定の結果、当該位相差が一定値以内である場合は、マイク方向判定部313は、メインマイク201と口との位置関係が不良であり、不適正な使用がなされているものとして判定する(ステップS304)。
マイク方向判定部313は、ステップS303又はステップS304で得られた判定結果を、第1判定結果として音声品質判定部308の総合判定部315に出力する(ステップS305)。ここで、当該第1判定結果は、上述の通りメインマイク方向が適切であるかどうかを示す情報であり、別の観点から見て、装置が適切な使用状態で使用されているかどうかを示す情報である。
次にノイズキャンセル効果判定部314の動作を図10に示すフローチャートを参照して説明する。ノイズキャンセル効果判定部314は、音声区間判定部303において音声区間であると判定され、音声区間指示信号が入力されるのを待つ(ステップS311)。ノイズキャンセル効果判定部314は、当該音声区間指示信号が入力された場合、ステップS312に進む。
ノイズキャンセル効果判定部314は、ノイズキャンセル処理部204がフレーム単位でノイズキャンセル処理を実行する場合に、当該1フレームの期間におけるメインマイク201からの第1音声信号の平均パワー(平均強度)を算出する(ステップS312)。
次に、ノイズキャンセル効果判定部314は、ノイズキャンセル処理部204におけるノイズキャンセル処理後の信号の平均パワー(平均強度)を算出する(ステップS313)。
次に、ノイズキャンセル効果判定部314は、上記算出したノイズキャンセル処理前の第1音声信号の平均パワーと、ノイズキャンセル処理後の信号の平均パワーとの比較を行う(ステップS314)。
当該比較の結果、第1音声信号に対するノイズキャンセル処理後信号のパワー比が一定レベル(閾値Pth2)以上であればノイズキャンセルが効果的に働いていないと判定する(ステップS317)。
一方、当該比較の結果、第1音声信号に対するノイズキャンセル処理後信号のパワー比が一定レベル(閾値Pth2)以下であれば、ノイズキャンセル処理後信号の平均パワーが一定レベル(閾値Pth3)以上であるかを判定する(ステップS315)。
ステップS315における判定の結果、ノイズキャンセル処理後信号の平均パワーが一定レベル以下であれば、ステップS317に進み、音声品質は不良であると判定する。
一方、ステップS315における判定の結果、ノイズキャンセル処理後信号の平均パワーが一定レベル(閾値Pth3)以上であれば、好ましい音声レベルが得られており、ノイズキャンセルは効果的に働いていると判定する(ステップS316)。
ステップS316又はステップS317でそれぞれ得られたノイズキャンセルが効果的に働いているかどうかの判定結果は、第2判定結果として総合判定部315に送られる。
このように、ノイズキャンセル効果判定部314は、ノイズキャンセルが効果的に働いているかどうかをノイズキャンセル処理部204におけるノイズキャンセル処理前後の信号強度を利用して判定する。ここで、ノイズキャンセルが効果的に働いているとは、話者の発話音声と周囲雑音とが混ざった信号の中から周囲雑音が取り除かれて発話音声部分を適切に残っていることを意味する。
従って、ノイズキャンセル処理によって周囲雑音が適切に取り除かれたならば、ノイズキャンセル処理後の音声信号の信号強度Pncはノイズキャンセル処理前の音声信号の信号強度Pinと比較して周囲雑音成分の信号強度分差し引かれて低くなる。そこで、ノイズキャンセル処理前後の音声信号の信号強度PinとPncとを比較することでノイズキャンセルが効果的に働いているかを判断することができる。
ここでは、ノイズキャンセル効果判定部314が
(1−a) (Pnc/Pin)<Pth2
であるかを判定するか、又は
(1−b) (Pin−Pnc)>Pth2′
であるかを判定することでノイズキャンセルが効果的に働いているかを調べることができる。
また、上記判定を行った上で
(2) Pnc>Pth3
を判定することで、ノイズキャンセル処理によって残すべき音声部分まで削られていないかを判定することができる。ノイズキャンセル効果判定部314は、これらの判定に基づいてノイズキャンセルが効果的に働いているかどうかの判定を行うことができる。
次に、総合判定部315の動作について図11のフローチャートを参照して説明する。
総合判定部315は、サブマイク202から入力される第2音声信号の1フレーム区間における平均パワーを算出する(ステップS321)。
総合判定部315は、ステップS321で求めた第2音声信号の平均パワーが所定の閾値Pth1を超えているかを判定する(ステップS322)。
第2音声信号の平均パワーが所定の閾値Pth1を超えていない場合、総合判定部315は、音声品質が良好であると判定する(ステップS327)。これは、通信装置300が静寂な環境下で使用されているとみなすことができ、話者の発話が周囲の雑音で潰れると言ったことが起きないことから、音声品質が良好であると判定することができるためである。
総合判定部315は、ステップS322における判定の結果、第2音声信号の平均パワーが一定レベルを超えていると判定した場合、マイク方向判定部313より第1判定結果を入力する(ステップS323)。
総合判定部315は、第1判定結果において良好な結果が示されているかを判定する(ステップS324)。第1判定結果が良好ではない場合、すなわち、第1判定結果においてメインマイクと話者の口との位置関係が不良であると示されている場合、総合判定部315は、音声品質が不良と判定する(ステップS328)。
一方、第1判定結果が良好である場合、総合判定部315は、ノイズキャンセル効果判定部314より第2判定結果を入力する(ステップS325)。
総合判定部315は、第2判定結果において良好な結果が示されているかを判定する(ステップS326)。第2判定結果が良好ではない場合、すなわち、第2判定結果においてノイズキャンセルが効果的に働いていないと示されている場合、音声品質が不良と判定する(ステップS328)。
一方、総合判定部315は、第2判定結果が良好である場合、すなわち、第2判定結果においてノイズキャンセルが効果的に働いていると示されている場合、音声品質が良好と判定する(ステップS327)。
総合判定部315は、上記処理の流れに従い、ステップS327又はステップS328で得られた音声品質が良好であるかどうかについての情報を音声品質信号としてLED制御部209に出力する(ステップS329)。
なお、ノイズキャンセル効果判定部314は、ノイズキャンセル処理が行われている場合、又は、ノイズキャンセルが行われる必要がある場合にのみ動作させるようにしてもよい。例えば、第2音声信号のパワーが一定レベル以上の場合、または、ノイズキャンセル処理が行われてることを示すフラグがある場合、などにノイズキャンセル効果判定部314を動作するようにする。ノイズキャンセル処理を行うか否かについては、例えば、第2音声信号のパワーが一定レベル以上であるか以外に、第1音声信号と第2音声信号との位相差により音声の到来方向を判定して、到来方向に応じて決めてもよい。
次に、LED制御部209の動作について図2に示すフローチャートを流用して説明する。
LED制御部209は、所定の間隔(例えば1/30秒毎)で現在の通信状態をチェックする(ステップS101)。すなわち、PTT部207が押下されて送信モードに切り替えられているかを確認する。
確認の結果、PTT部207は押下されておらず、装置の通信状態が非送信状態にセットされている場合は、LED制御部209は、LED210に駆動電流を流さずLED210の発光状態を消灯状態とする制御を行う(ステップS102)。
一方、PTT部207が押下されて装置の通信状態が送信状態にセットされている場合は、LED制御部209は、音声品質判定部308の総合判定部315より音声品質信号を入力する(ステップS103)。LED制御部209は、当該音声品質信号で示される音声品質をチェックする(ステップS104)
LED制御部209は、音声品質信号において音声品質が良好であると示されている場合は、駆動電流を流してLED210の発光状態を点滅状態とする制御を行う(ステップS105)。一方、LED制御部209は、音声品質信号において音声品質が不良であると示されている場合は、駆動電流を流してLED210の発光状態を点灯状態とする制御を行う(ステップS106)。
以上のように、本実施の形態3に係る通信装置300は、ノイズキャンセル効果に関する判定結果と、マイク方向に関する判定結果を利用して総合的に音声信号の音声品質を判定した上でLEDの発光状態を制御する。当該構成によれば、より適切な音声品質を使用者に通知することができる。
(実施の形態4)
図12は、本実施の形態4に係る音声入力装置1000の構成を示すブロック図である。音声入力装置1000は、収音部1001と、送信部1002と、収音状態判定部1003と、送信指示部1004と、発光制御部1005と、発光部1006とを具備する。なお、音声入力装置1000の各部は、図1の通信装置100における第1収音部101、送信部102、音声品質判定部103、PTT部104、発光制御部105、発光部107にそれぞれ対応している。
収音部1001は、音声を収音し、収音した音声を音声信号として、送信部1002及び収音状態判定部1003に出力する。
送信部1002は、収音部1001より入力した音声信号を、送信指示部1004からの指示に従って他の通信装置へ送信する。送信部1002は送信指示部1004より送信指示信号を入力している場合に、音声信号を外部の通信装置へ送信する。
収音状態判定部1003は、収音部1001より入力した音声信号に基づいて、送信部1002より送信される音声信号の収音状態を判定する。ここで、当該収音状態とは、音声信号の音声品質や、音声区間であるか否かの判定結果など、送信部1002より送信される音声信号の特徴を示している。収音状態判定部1003は、収音状態の判定結果を収音状態情報として、発光制御部1005に出力する。
送信指示部1004は、送信部1002に音声信号を送信させる指示を行う。
すなわち、送信指示部1004は、PTTスイッチと連動しており、当該PTTスイッチの押下に連動して送信指示信号を送信部1002と発光制御部1005とに出力する。送信指示部1004は、当該送信指示信号を送信部1002に出力することで、自装置1000の通信状態(通信モード)を、送信部1002が音声信号を送信しない非送信状態(スタンバイモード)から送信部1002が音声信号を送信する送信状態(送信モード)に切り替える。
発光制御部1005は、発光部1006の発光を制御することで装置1000の使用状態を使用者に通知する。発光部1006は、装置1000の筐体に取り付けられており、ここではLEDであるものとして説明する。
発光制御部1005は、送信指示部1004より入力する送信指示信号と、収音状態判定部1003から入力される収音状態情報と、に基づいて発光部1006の発光状態を制御する。
以上のように、音声入力装置1000は、音声を収音する収音部と、前記収音部で収音される音声を音声信号として外部に送信する送信部と、前記送信部に前記音声信号の送信を指示する送信指示部と、前記送信部で送信される前記音声信号の収音状態を判定する収音状態判定部と、光を発光する発光部と、前記発光部を制御する発光制御部と、を具備する。前記発光制御部は、前記送信指示部における指示状態と、前記収音状態判定部で判定された収音状態とに基づいて、前記発光部が、消灯状態、点滅状態、点灯状態、のいずれかの状態をとるように制御する。
例えば、収音状態判定部1003は、音量レベルを測定する音量レベル測定部を内部に有し、送信部1002で送信される音声信号の音量レベルを収音状態として判定することができる。この場合、発光制御部1005は、送信指示部1004が音声信号の送信を指示していない場合は、発光部1007を消灯状態とし、送信指示部1002が音声信号の送信を指示しており、かつ、音量レベルが所定の基準値未満である場合は、前記発光部1006を点灯状態とし、送信指示部1002が音声信号の送信を指示しており、かつ、音量レベルが所定の基準値以上である場合は、発光部1006を点滅状態とするように制御することができる。
次に、発光制御部1005が行う制御について詳しく説明する。ここで、収音状態判定部1003は、収音状態として、発話による音声区間であるか否かの判定を行うものとする。また、収音状態判定部1003は、収音状態として、送信部1002で送信される音声信号の音声品質を判定するものとする。これらの判定結果は、それぞれ発話による音声区間であるか否かを示す音声区間情報と音声品質を示す音声品質情報として発光制御部1005に出力される。
図13は、発光制御部1005が行う発光制御の制御内容を纏めたグラフである。発光制御部1005は、当該グラフに示すようにLEDの状態を消灯状態、点灯状態、点滅状態とする制御を行う。図14に示す発光制御部1005が行う発光制御の処理の流れを示すフローチャート図と共に説明する。
発光制御部1005は、所定の処理フレーム毎に、送信指示信号が入力されたかを判定する(ステップS1001)。判定の結果、送信指示信号が入力されていない場合は、発光制御部1005は、PTTスイッチは押下されておらず、送信指示部1004より送信指示信号が出力されていないため、装置の通信状態は非送信状態であると判断する。この場合、発光制御部1005は、図13のNo1のエントリに示すように、消灯状態となるようにLEDを制御する(ステップS1002)。
一方、ステップS1001の判定の結果、送信指示信号が入力されていると判定した場合、発光制御部1005は、収音状態判定部1003より入力した音声区間情報において、音声区間として示されているかを判定する(ステップS1003)。判定の結果、音声区間として判定されていない場合は、発光制御部1005は、PTTスイッチは押下されて送信状態であるものの、使用者は発話を行っていないものと判断する。この場合、発光制御部1005は、図13のNo2のエントリに示すように点灯状態となるようにLEDを制御する(ステップS1004)。
ステップS1003の判定の結果、音声区間情報において音声区間であると示されている場合は、併せて収音状態判定部1003より収音状態情報の一部として入力した音声品質情報に基づいて音声品質が良好であると示されているかを判定する(ステップS1005)。
当該判定の結果、音声品質は良好ではないと示されている場合、発光制御部1005は、使用者が発話しているものの、音声装置の使用状態が適切では無いため、音声品質が保たれていないと判断する。この場合、発光制御部1005は、図13のNo3のエントリに示すように、点灯状態となるようにLEDを制御する(ステップS1006)。
一方、ステップS1005の判定の結果、音声品質は良好であると示されている場合、適切な使用状態で装置が使用されていると判断し、図13のNo4のエントリに示すように、LEDを点滅状態とする制御を行う(ステップS1007)。
以上のように、本実施の形態4に係る音声入力装置(通信装置)1000において、収音状態判定部1003は、発話による音声区間であるかの判定結果と、送信部1002で送信される音声信号の音声品質と、を収音状態として判定する。この時、発光制御部1005は、送信指示部1004が音声信号の送信を指示していない場合は、発光部1006を消灯状態とする。送信指示部1004が音声信号の送信を指示しており、かつ、発話による音声区間ではない場合は、前記発光部1006を点灯状態とする。送信指示部1004が前記音声信号の送信を指示しており、かつ、発話による音声区間であり、かつ、音声品質が所定の基準値未満である場合は、発光部1006を点灯状態とする。送信指示部1004が音声信号の送信を指示しており、かつ、発話による音声区間であり、かつ、前記音声品質が所定の基準値以上である場合は、発光部1006を点滅状態とする。
発光制御部1005が上記処理手順に従ってLEDの発光状態を制御することで、使用者に対して適切な通知を行うことが可能となる。
なお、本実施の形態4に係る音声入力装置としては、図7と対応させて図15の構成とすることも可能である。当該音声入力装置2000は、更にノイズキャンセル処理部1007と、ノイズサプレッサ部1008と、を配置して時間領域および周波数領域でそれぞれノイズ抑圧処理を行うことで送信前に音声信号の音声品質の改善を行う。また、収音状態判定部1003は、具体的に、音声区間判定部1009と、ノイズキャンセル効果判定部1010と、マイク方向判定部1011と、音声品質判定部1012と、を具備する。なお、各ブロックの機能や動作については、他の実施の形態の対応するブロックについて既に説明済みであるため、説明を省略する。
また、発光制御部1005は収音状態判定部1003から、音声区間と、音声品質との両方の情報を受け取り、発光部1006の制御を行ったが、例えば、収音状態判定部1003は音声品質については判定せず音声区間の情報についてのみ判定して、発光制御部1005に出力し、発光制御部1005は、音声区間の情報のみに基づいて発光部1006の制御を行ってもよい。また、収音状態判定部1003は第1収音部1001で収音された音声信号の音量情報を発光制御部1005に出力し、発光制御部1005は、音声信号の音量情報に基づいて発光部1006の制御を行ってもよい。
以上説明したように、本発明によれば、送信状態と非送信状態とを切り替える単方向通信装置において、現在の通信状態(音声の伝送状態)を適切に使用者に報知することで通信状態の誤認を防ぎつつ、音声品質の改善を可能としている。
すなわち、LEDを搭載しているハンディマイクにおいて、伝送される音声が周囲ノイズに埋もれるか埋もれないかは使用者のマイクの持ち方や口からの距離、声の大きさ等によって左右される。そこで、ハンディマイクを正しく使用者に使用して貰うために、本発明の通信装置は、ノイズキャンセル処理の情報や音声レベルの情報等に基づいて、話者の発話音声が明瞭に伝送可能かを判断する判定部を備えている。そして当該判定機能によって判定された音声を送信している状態であるかの情報に基づいてLEDを点滅、点灯、消灯させるための制御部を備えている。当該構成とすることで、装置筐体に設置される表示部品点数を抑えつつ、総合的な判定結果をLEDの表示を点滅、点灯、消灯させる等して効果を音声に連動させて通話者に知らせることができる。
ここで、伝送される音声信号の音声品質が良好である場合に、LED制御部はLEDを高速で点滅させると使用者に対して音声品質が良好であることの通知機能が高いため好ましい。当該表示方法であれば、音声信号の送信中においても使用者へ違和感なく話者の発話音声と連動させて情報を通知することが可能となる。また、検出された音声区間において、音声品質が不良であれば、LEDが警告ランプとして点灯し続けることで適切な装置使用を使用者に促して改善を試みることにより結果として明瞭な音声を伝送することができる。
また、当該表示機能を備えることで、初めてノイズキャンセルマイクを使用する場合のトレーニング用としても本発明を利用することができる。
また、上記説明では、主に2マイク方式のアクティブノイズキャンセル機能を搭載した無線通信装置について説明したがこれに限定されるものではなく、有線で通信を行う通信装置の他、ノイズキャンセルマイクといった音声収音装置としても良い。また、装置筐体に取り付けられるノイズキャンセルのための雑音収音用サブマイクの数は複数設けられていても良い。
本発明は、上述の各実施の形態で説明したように、ノイズキャンセルマイクを正しく使用者に使わせるよう誘導することにより、ノイズキャンセルの性能を高めて高品質の音声を聞き手に伝送することができる。すなわち、音声品質等の判定結果をLED等の判定結果通知部を用いて通知する目的は、ノイズキャンセル性能を表示することではなく、使用者にノイズキャンセルマイクを正しく使わせるための誘導にある。
これは、2マイク方式のアクティブノイズキャンセル機能を搭載した無線機、あるいは無線機用外部マイクにおいて、使用者のマイクの持ち方や口からの距離によって、ノイズキャンセル効果は大きく左右されるという解決すべき課題があったためである。
すなわち、ヘッドセットのような説話型のマイクと異なり、無線機本体あるいは本体に接続するハンドマイクは、持ち方によってはマイクが話者の口に対して90度方向であったり、口から離れすぎていたりする場合がある。このような場合に、メインマイクに充分な音声が届かず相対的に雑音成分も増えるため、ノイズキャンセル処理を行なっても充分な効果が得られない。また作業の都合上、両手を空けるために肩や胸にマイクを装着したまま通話を行う場合もあり、その場合のノイズキャンセル性能は正しい持ち方をしている場合に比べ低下してしまう。
そこで、マイクの入力信号から、音声/非音声区間情報、ノイズキャンセル処理によるノイズの減衰量、2つのマイクの位相差を用いたマイク位置推定情報等を使って、使用者が正しいマイクの持ち方をしているかどうかを判定し、LED等の表示部によって正しいマイクの持ち方をするよう誘導するという方法で解決したものである。
すなわち、ノイズキャンセル機能を備えた無線機用外部マイクにおいて、ノイズキャンセル機能が効果的に働くような持ち方をしているかどうかを推定する信号処理技術を組み込んでいる。
また、本発明によれば、話者の後方に雑音源がある場合や、雑音の周波数特性が音声の特性に近い場合等、状況によってはノイズキャンセルがうまくいかない場合であっても適切な対処が可能となる。
すなわち、第一の判定部として、マイクの入力信号からノイズキャンセル効果が効果的に得られているかどうかを推定し、ノイズキャンセル効果があまり得られていない場合には、マイクに備えられた表示装置により使用者に警告を与えて正しい持ち方をするよう促す。入力信号からノイズキャンセル効果を推定するには、ある一定区間(フレーム)が音声であるか雑音であるかを判定する音声区間判定情報、入力信号にノイズキャンセル処理を行った結果、ノイズ成分がどの程度減衰したかを示すノイズ低減量等を用いて判定する。さらに第二の判定部として、2つのマイクの入力信号の位相差から、マイクと話者の口との位置関係を推定し、メインマイクが正しく口の方向に向いていない場合には使用者に警告を与える。
ここで、第二の判定部で行われる判定には、第1音声信号(目的音)と第2音声信号(参照音)とを用いて2つ以上のマイクロホンを配置した音声入力装置に対する、目的音の到来方向を検知する目的音方向検知部とを備えることで実現可能である。
また、本発明において、音声区間判定部で話者から発話された音声が検出されない場合、すなわち音声区間でない場合であってPTT部が押下されている場合は、LED制御部は、LEDを点灯状態とすることができる。
すなわち、LED制御部はPTT部が押下されているかいないかに基づいて、LEDを点灯又は消灯させる制御を行う。換言すれば、LED制御部は、装置の通信状態が、送信部が音声信号を送信する送信状態である場合はLEDを点灯状態とする制御を行い、送信部が音声信号を送信しない非送信状態である場合はLEDを消灯状態とする制御を行う。ここで、音声区間判定部において音声区間であると判定され、音声品質判定部において送信部より送信される音声信号の音声品質が良好であると判定されている場合に、LED制御部はLEDを点滅状態とする制御を行う。
すなわち、当該通信装置は、音声を収音する第1収音部と、第1収音部で収音される音声を音声信号として外部に送信する送信部と、第1収音部で収音された音声に基づいて音声区間であるかの判定を行う音声区間判定部と、外部より送信される音声信号を受信する受信部と、通信状態を前記送信部が前記音声信号を送信する送信状態に切り替える切り替え部と、前記音声区間判定部において前記音声区間であると判定されている場合に、送信部で送信される前記音声信号の音声品質を判定する音声品質判定部と、光を発光する発光部と、前記発光部を制御する発光制御部と、を具備し、発光制御部は、前記通信状態が非送信状態である場合に前記発光部を消灯状態とする制御を行い、前記切り替え部によって前記通信状態が前記送信状態に切り替えられている場合に前記発光部を点灯状態とする制御を行い、前記通信状態が前記送信状態に切り替えられている場合であって、前記音声品質判定部において、前記送信部で送信される前記音声信号の音声品質が良好であると判定されている場合は、前記発光部を点滅状態とする制御を行う。
このように構成することで、使用者がPTT部を押下した上で発話していてもLEDが点灯状態である場合は、使用者は通信装置が正しく音声に反応していないと感じることができる。すなわち、通信装置は、発話している使用者に対して適切な音声伝送が行えていないことを使用者により明確に伝えることができる。
このように、PTT部が押下されて送信状態である場合であって、音声区間でない場合のLED表示と、PTT部が押下されて送信状態である場合であって、音声区間であって音声品質が良好ではない時のLED表示を同一とすることが好ましい。当該構成とすることで、良好な音声品質の音声伝送が行えているかどうかを使用者に対して適切に通知することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、点滅と点灯を逆に設定しても良い。すなわち、上記実施の形態では、LED制御部は、音声の送信中であれば、音声に対する判定を使用して、ノイズキャンセル処理が良好に動作し、伝送される音声に問題が無ければLEDを点滅させ、一方伝送される音声に問題があればLEDを点灯させていた。そしてLED制御部は、音声の送信中でなければLEDを消灯させていた。しかしながらこれに限定されるものではない。
ここで、LED制御部は、PTT部が押下されて通信状態が送信状態にセットされている場合において、音声品質判定部で判定される音声信号の音声品質が良好でない場合に、LEDを点滅させる制御を行っても良い。この場合、LED制御部は、PTT部が押下されて通信状態が送信状態にセットされている場合において、音声品質判定部で判定される音声信号の音声品質が良好である場合に、LEDを点灯させる制御を行っても良い。この場合も、LED制御部は、通信状態が送信状態でない場合には、LEDを消灯させる。このような構成であっても良い。
また、上記の処理は、メインプロセッサのROM等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ(プロセッサ)に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
100 通信装置 101 第1収音部
102 送信部 103 音声品質判定部
104 PTT部 105 発光制御部
106 発光素子 200 通信装置
201 メインマイク(第1収音部) 202 サブマイク(第2収音部)
203 音声区間判定部 204 ノイズキャンセル処理部
205 ノイズサプレッサ部 206 無線送信部
207 PTT部 208 音声品質判定部
209 LED制御部 210 LED
211 無線受信部 212 スピーカ
220 ノイズキャンセルマイク部 221 ベルトクリップ
230 コード 240 無線通信機
300 通信装置 303 音声区間判定部
308 音声品質判定部 313 マイク方向判定部
314 ノイズキャンセル効果判定部 315 総合判定部

Claims (7)

  1. 音声を収音する第1収音部及び第2収音部と、
    前記第2収音部から入力される第2音声信号を用いて、前記第1収音部から入力される第1音声信号に対するノイズキャンセルを行うノイズキャンセル処理部と、
    前記ノイズキャンセル処理部における前記ノイズキャンセル後の音声信号を外部に送信する送信部と、
    前記送信部が前記音声信号を送信しない非送信状態から前記送信部が前記音声信号を送信する送信状態に自装置の通信状態を切り替える切り替え部と、
    前記送信部で送信される前記ノイズキャンセル後の音声信号の音声品質を判定する音声品質判定部と、
    第1収音部で収音された音声に基づいて音声区間であるか否かの判定を行う音声区間判定部と、
    光を発光する発光部と、
    前記発光部を制御する発光制御部と、
    を具備し、
    前記発光制御部は、前記切り替え部が切り替える前記通信状態と、前記音声区間判定部における前記音声区間であるか否かの判定結果と、前記音声品質判定部における前記音声品質の判定結果とに基づいて、前記発光部が、消灯状態、点滅状態、点灯状態、のいずれかの状態をとるように制御し、
    前記音声区間ではないと判定された場合、及び、前記音声品質が不良と判定された場合において、前記発光部は、前記いずれかの状態のうち同一の状態をとる通信装置。
  2. 前記音声区間判定部は、
    第1収音部から入力される第1音声信号を一定長の単位で周波数領域に変換する周波数変換部と、
    前記周波数変換部における変換後のスペクトル成分に基づいて、発話による音声成分であるか音声ではない雑音成分であるかを判定する音声判定部と、
    を備える請求項に記載の通信装置。
  3. 前記発光制御部は、
    前記通信状態が非送信状態である場合は前記発光部を消灯状態とし、
    前記通信状態が送信状態で、かつ、音声区間でない場合は、前記発光部を点灯状態とし、
    前記通信状態が送信状態で、かつ、音声区間であり、前記音声品質が不良と判定されている場合は、前記発光部を点灯状態とし、
    前記通信状態が送信状態で、かつ、音声区間であり、前記音声品質が良好と判定されている場合は前記発光部を点滅状態とする制御を行う、
    請求項1または請求項2に記載の通信装置。
  4. 前記第1収音部は、装置本体正面に配置されるメインマイクであり、
    前記第2収音部は、装置本体背面に配置されるサブマイクである、
    請求項1から請求項3のいずれか1項に記載の通信装置。
  5. 前記第1収音部で収音される音声と前記第2収音部で収音される音声との位相差に基づいてメインマイク方向を判定するマイク方向判定部を更に具備し、
    前記音声品質判定部は、前記マイク方向判定部における前記メインマイク方向の判定結果に基づいて前記ノイズキャンセル処理部におけるノイズキャンセル後の音声信号の音声品質を判定する、
    請求項に記載の通信装置。
  6. 前記発光部は、装置本体に設置されたLED(Light Emitting Diode)である、
    請求項1から請求項5のいずれか1項に記載の通信装置。
  7. 単方向通信装置に設けられた発光素子を用いて前記単方向通信装置の使用状態を通知する状態通知方法であって、
    前記単方向通信装置に入力される音声信号にノイズキャンセルを行うノイズキャンセル処理ステップと、
    前記単方向通信装置の通信状態が送信状態であるか非送信状態であるかを判定する通信状態判定ステップと、
    前記通信状態が前記送信状態である場合に送信される前記ノイズキャンセル処理後の音声信号の音声品質を判定する音声品質判定ステップと、
    前記単方向通信装置に入力される音声信号に基づいて音声区間であるか否かの判定を行う音声区間判定ステップと、
    通信状態判定ステップにおける判定結果と前記音声品質判定ステップにおける判定結果と前記音声区間判定ステップとに基づいて前記発光素子を消灯状態、点灯状態、点滅状態のいずれかの状態となるように制御し、かつ、前記音声区間ではないと判定された場合、及び、前記音声品質が不良と判定された場合において、前記発光素子は、前記いずれかの状態のうち同一の状態をとなるように制御する制御ステップと、
    を有する状態通知方法。
JP2012034192A 2012-02-20 2012-02-20 通信装置、状態通知方法 Active JP5849758B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012034192A JP5849758B2 (ja) 2012-02-20 2012-02-20 通信装置、状態通知方法
US13/770,236 US9070374B2 (en) 2012-02-20 2013-02-19 Communication apparatus and condition notification method for notifying a used condition of communication apparatus by using a light-emitting device attached to communication apparatus
CN201310054888.2A CN103260098B (zh) 2012-02-20 2013-02-20 通信装置、状态通知方法以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012034192A JP5849758B2 (ja) 2012-02-20 2012-02-20 通信装置、状態通知方法

Publications (2)

Publication Number Publication Date
JP2013171132A JP2013171132A (ja) 2013-09-02
JP5849758B2 true JP5849758B2 (ja) 2016-02-03

Family

ID=49265100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012034192A Active JP5849758B2 (ja) 2012-02-20 2012-02-20 通信装置、状態通知方法

Country Status (1)

Country Link
JP (1) JP5849758B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303385B2 (ja) * 2013-10-16 2018-04-04 ヤマハ株式会社 収音解析装置および収音解析方法
JP7196573B2 (ja) * 2018-11-29 2022-12-27 株式会社リコー 通信端末、通信システム、通信方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0563133U (ja) * 1992-01-29 1993-08-20 富士通テン株式会社 無線通信機
JP5005223B2 (ja) * 2006-01-19 2012-08-22 パナソニック株式会社 通信装置及び通信方法
JP4745916B2 (ja) * 2006-06-07 2011-08-10 日本電信電話株式会社 雑音抑圧音声品質推定装置、方法およびプログラム
JP5190859B2 (ja) * 2006-11-17 2013-04-24 学校法人早稲田大学 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
JP5129024B2 (ja) * 2008-05-27 2013-01-23 株式会社船井電機新応用技術研究所 音声入力装置及び音声会議システム
JP5446745B2 (ja) * 2009-11-05 2014-03-19 富士通株式会社 音信号処理方法および音信号処理装置

Also Published As

Publication number Publication date
JP2013171132A (ja) 2013-09-02

Similar Documents

Publication Publication Date Title
US9070374B2 (en) Communication apparatus and condition notification method for notifying a used condition of communication apparatus by using a light-emitting device attached to communication apparatus
US8630685B2 (en) Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones
EP3249944A1 (en) Active noise reduction headset device with hearing aid features
KR102513461B1 (ko) 헤드폰 시스템
US20140364171A1 (en) Method and system for improving voice communication experience in mobile communication devices
JP5849758B2 (ja) 通信装置、状態通知方法
KR101814171B1 (ko) 음성인식을 이용한 비상전화 시스템
JP6031777B2 (ja) 音声入力装置、通信装置、状態通知方法
JP2012217172A (ja) 音声入力装置、通信装置、及び音声入力装置の動作方法
JP2012099999A (ja) Vox機能付き無線端末
KR101224174B1 (ko) 골전도 통신장치
WO2015098196A1 (ja) 電子機器、音声出力制御方法、プログラム
KR100736246B1 (ko) 통신 디바이스에서 스피커폰 동작을 위한 시스템 및 그 방법
CN109076124B (zh) 电信设备、电信系统、用于操作电信设备的方法和计算机程序
JP7146948B2 (ja) 通話システム、中央制御装置、端末局装置及び通話制御方法
WO2016121234A1 (ja) 音声による自動送受切り替え方法及び装置
JP5628066B2 (ja) ハンズフリーインターホン装置
JP5163533B2 (ja) 電話装置および電話装置の送受話信号制御方法
KR20060112566A (ko) 목 진동 마이크가 구비된 이동통신 단말기용 무선 헤드셋
JP2010232993A (ja) ハンズフリーインターホン装置
KR101155764B1 (ko) 고성 통화 억제기능을 갖는 단말기
JP2010154005A (ja) ハンズフリーインターホン装置
JP2006311413A (ja) 音声通信装置
JP2013026908A (ja) 無線制御電話機用無線局自動選択装置
JP2008263358A (ja) 携帯端末、携帯端末のキー認識方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151117

R150 Certificate of patent or registration of utility model

Ref document number: 5849758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350