JP7367963B2 - 音声の検出のための補助装置 - Google Patents

Description

特許法第３０条第２項適用 １．２０１８年１０月２０日 ＴＯＨＯＫＵ ＵＮＩＶＥＲＳＡＬ ＡＣＯＵＳＴＩＣＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＭＯＮＴＨ ２０１８ アブストラクト集にて発表 ２．２０１８年１０月２０日 ｈｔｔｐ：／／ｗｗｗ．ａｉｓ．ｒｉｅｃ．ｔｏｈｏｋｕ．ａｃ．ｊｐ／ｕａｃ２０１８／ｐａｐｅｒｓ／Ｓｅｍｉｎａｒ３－１２．ｐｄｆにて発表 ３．２０１８年１０月２５日－２６日（発表日：１０月２６日） ＴＯＨＯＫＵ ＵＮＩＶＥＲＳＡＬ ＡＣＯＵＳＴＩＣＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＭＯＮＴＨ ２０１８にて発表 ４．２０１９年２月１９日 一般社団法人 日本音響学会 ２０１９年春季研究発表会〔講演論文集〕 講演要旨・講演論文ＣＤ－ＲＯＭにて発表 ５．２０１９年３月５日－７日（発表日：３月６日） 一般社団法人日本音響学会 ２０１９年春季研究発表会にて発表

本発明は、音声の検出のための補助装置に関する。

異常構音の一種として側音化構音が知られている。側音化構音は、イ列音、拗音、エ列音等の発話時に生じやすい。側音化構音では、呼気が歯列の頬側を通って口角から口腔外に流出することによって、イ列音、拗音、エ列音等の発話時に摩擦性雑音を伴った独特の歪み音が生じる。

側音化構音の評価のための手法として、例えば、鼻息鏡を用いた手法、エレクトロパラトグラフィ（electropalatography :EPG）を用いた手法、コンピュータによる音響分析を用いた手法が知られている。鼻息鏡を用いた手法は、発話者の鼻に配置された鼻息鏡の曇り方によって側音化構音の有無を評価する手法である。また、ＥＰＧを用いた手法は、多数の電極が設けられた人工口蓋床を発話者の口腔内に挿入し、発話者の発話時の舌の動きを電極を介して検出することで側音化構音の有無を評価する手法である。音響分析は、例えばマイクロホンによって収集された音声の波形分析やスペクトル解析によって側音化構音の有無を評価する手法である。

米国特許第９９１１３５８号明細書

本発明は、側音化構音を含む音声の評価を簡易な構成で精度良く行うための音声の検出のための補助装置を提供することを目的とする。

本発明の一態様の音声の検出のための補助装置は、第１の開口を有する板と、前記第１の開口から放射される発話者の側音化構音を含む音声を少なくとも前記発話者の右方向及び左方向に分離するように前記第１の開口を仕切る仕切り板とを具備する。

本発明によれば、側音化構音を含む音声の評価を簡易な構成で精度良く行うための音声の検出のための補助装置を提供することができる。

図１は、一実施形態に係る音声の検出のための補助装置の外観図である。 図２は、一実施形態に係る音声の評価システムの一例の構成を示すブロック図である。 図３は、評価システムの動作を示すフローチャートである。 図４は、側音化構音が発生していないときの音響信号の波形と、側音化構音が発生しているときの音響信号の波形とを比較して示した図である。 図５は、一実施形態の変形例の補助装置の構成を示す図である。

以下、図面を参照して本発明の一実施形態を説明する。図１は、一実施形態に係る音声の検出のための補助装置の外観図である。補助装置１０は、板１１と、仕切り板１２と、台座１３とを有している。

板１１は、例えば透明な円板である。板１１の形状は、特に限定されない。つまり、板１１は、円板でなくてもよく、矩形板等であってもよい。また、板１１のサイズも特に限定されるものではない。また、板１１の材質も特に限定されるものではない。さらに、板１１は、必ずしも透明板である必要はなく、着色されていてもよい。

板１１は、第１の開口１１１と、第２の開口１１２とを有する。第１の開口１１１は、発話者が板１１を介して発話する際の口唇用の開口である。つまり、発話者は、第１の開口１１１に自身の口唇部を位置させて発話する。ここで、第１の開口１１１の形状は、例えば長方形である。しかしながら、第１の開口１１１の形状は、長方形に限定されるものではない。第１の開口１１１の形状は、円、三角形等であってもよいし、発話者の口唇部の形状に合わせた形状であってもよい。

第２の開口１１２は、発話者が板１１を介して発話する際の鼻用の開口である。つまり、第２の開口１１２は、第１の開口１１１に発話者の口唇部が位置したときに発話者の鼻部に位置するように形成されている。第２の開口１１２により、発話者の口唇部が板１１に近づいたとしても、発話者の鼻が邪魔にならない。このため、発話者は、板１１に自身の顔を近づけて発話することができる。ここで、第２の開口１１２の形状は、例えば円形である。しかしながら、第２の開口１１２の形状は、円形に限定されるものではない。第２の開口１１２の形状は、長方形、三角形等であってもよいし、発話者の鼻部の形状に合わせた形状であってもよい。

仕切り板１２は、第１の開口１１１を縦方向に仕切るように板１１に取り付けられている。図１の例において、仕切り板１２は、第１の仕切り板１２１と、第２の仕切り板１２２とを有している。第１の仕切り板１２１及び第２の仕切り板１２２は、例えば透明な矩形板である。第１の仕切り板１２１は、蝶番１２３を介して板１１に取り付けられている。第２の仕切り板１２２は、第１の仕切り板１２１と一定の間隔を空けて、蝶番１２４を介して板１１に取り付けられている。第１の仕切り板１２１と第２の仕切り板１２２とにより、第１の開口１１１は空間的に３分割される。ここで、第１の仕切り板１２１及び第２の仕切り板１２２の形状及びサイズは、第１の開口１１１を仕切ることができるのであれば種々に変更され得る。また、第１の仕切り板１２１及び第２の仕切り板１２２の材質も特に限定されるものではない。さらに、第１の仕切り板１２１及び第２の仕切り板１２２は、必ずしも透明板である必要はなく、着色されていてもよい。

また、図１に示すように、第１の仕切り板１２１には、長孔１２５が形成されている。また、第２の仕切り板１２２には、長孔１２６が形成されている。長孔１２５は、第１の仕切り板１２１を蝶番１２３に取り付けるために形成されている。同様に、長孔１２６は、第２の仕切り板１２２を蝶番１２４に取り付けるために形成されている。

ここで、長孔１２５は、第１の仕切り板１２１の短辺に沿って長手方向を有するように形成されている。また、長孔１２６は、第２の仕切り板１２２の短辺に沿って長手方向を有するように形成されている。このような構成により、第１の仕切り板１２１は、長孔１２５の範囲だけ蝶番１２３に対して相対的に移動できる。また、第２の仕切り板１２２は、長孔１２６の範囲だけ蝶番１２４に対して相対的に移動できる。発話の評価の際には、蝶番１２３に対する第１の仕切り板１２１の位置及び蝶番１２４に対する第２の仕切り板１２２の位置が適切に調整された上で、第１の仕切り板１２１は蝶番１２３にネジ止めされるとともに、第２の仕切り板１２２は蝶番１２４にネジ止めされる。例えば、第１の仕切り板１２１は板１１に対して６０°をなす位置で板１１に接触するように調整されていてよいし、第２の仕切り板１２２は板１１に対して１２０°をなす位置で板１１に接触するように調整されていてよい。

台座１３は、例えば円弧状をしており、板１１に取り付けられている。板１１は、台座１３によって自立する。また、台座１３に板１１が取り付けられたときに、第１の開口１１１の左側、正面、右側となる台座１３の位置には、長孔１３１、１３２、１３３がそれぞれ形成されている。例えば、長孔１３１は、板１１に対して３０°をなす位置に形成されていてよい。長孔１３２は、板１１に対して９０°をなす位置に形成されていてよい。長孔１３３は、板１１に対して１５０°をなす位置に形成されていてよい。長孔１３１、１３２、１３３は、第１の開口１１１を介して発された音声を収集するためのセンサ２１、２２、２３を設置するための孔である。センサ２１、２２、２３は、例えば指向性マイクロホンであって、長孔１３１、１３２、１３３を介して台座１３にネジ止めされる。

ここで、長孔１３１、１３２、１３３は、台座１３の円弧と直交するように形成されている。このような構成により、センサ２１は、長孔１３１の範囲だけ台座１３の上を相対的に移動できる。また、センサ２２は、長孔１３２の範囲だけ台座１３の上を相対的に移動できる。また、センサ２３は、長孔１３３の範囲だけ台座１３の上を相対的に移動できる。発話の評価の際には、台座１３におけるセンサ２１、２２、２３の位置が適切に調整された上で、センサ２１、２２、２３はネジ止めされる。

図２は、一実施形態に係る音声の評価システムの一例の構成を示すブロック図である。評価システム１は、補助装置１０と、センサ２０と、処理装置３０と、記憶装置４０とを有している。

補助装置１０は、図１で示した補助装置である。図２に示すように、発話者Ｗは、補助装置１０の第１の開口１１１に自身の口唇部を近づけて発話する。第１の開口１１１から放射された音声は、第１の仕切り板１２１及び第２の仕切り板１２２により、右方向Ｒ、正面方向Ｃ、左方向Ｌの３方向に空間的に分離される。

センサ２０は、センサ２１、２２、２３を有する。センサ２１は、右方向Ｒの音声を収集する。センサ２２は、正面方向Ｃの音声を収集する。センサ２３は、左方向Ｌの音声を収集する。前述したように、センサ２１、２２、２３は、例えば指向性マイクロホンである。このとき、センサ２１、２２、２３は、収集した音声に応じた音響信号を出力する。なお、センサ２０は、マイクロホンでなくてもよい。例えば、センサ２０は、放射された音声の音圧を検出する音圧センサであってもよいし、放射された音声の呼気流量を検出する呼気センサであってもよい。

処理装置３０は、記憶装置４０に記憶されている情報を用いて、センサ２１、２２、２３のそれぞれで収集された音声を分析する。例えば、処理装置３０は、センサ２１、２２、２３から出力された音響信号の波形と、記憶装置４０に記憶されている側音化構音の波形とを比較することにより、発話者Ｗの発話に側音化構音が生じているか否かを判定する。また、例えば、処理装置３０は、センサ２１、２２、２３から出力された音響信号を、高速フーリエ変換を用いて周波数スペクトルに変換し、周波数スペクトルと記憶装置４０に記憶されている側音化構音のスペクトルとを比較することにより、発話者Ｗの発話に側音化構音が生じているか否かを判定する。処理装置３０は、例えば、ＣＰＵ等のプロセッサ３１と、ＲＯＭ及びＲＡＭといったメモリ３２、表示装置３３、キーボード及びマウスといった入力インターフェース３４を備えたパーソナルコンピュータであってよい。なお、プロセッサは、ＣＰＵに限らず、ＡＳＩＣ、ＦＰＧＡ等であってもよい。また、プロセッサは、単一であってもよいし、複数であってもよい。

記憶装置４０は、処理装置３０における音声分析に必要な情報を記憶している。この情報は、例えば側音化構音の音響信号の波形の情報、側音化構音のスペクトルの情報である。ここで、側音化構音の音響信号の波形の情報及びスペクトルの情報は、右方向Ｒの情報、正面方向Ｃの情報、左方向Ｌの情報を含む。右方向Ｒの情報、正面方向Ｃの情報、左方向Ｌの情報は、例えば、言語聴覚士が側音化構音を模して補助装置１０の第１の開口１１１から発話した音声を、センサ２１、２２、２３を用いて収集することで得られる。なお、右方向Ｒの情報、正面方向Ｃの情報、左方向Ｌの情報は、複数の異なる話者が発話した音声を、センサ２１、２２、２３を用いて収集することで得られてもよい。この場合、記憶装置４０は、複数の異なる話者の音声の例えば平均値等を記憶してもよい。記憶装置４０は、例えば、ハードディスクドライブ、ソリッドステートドライブといった記憶装置であってよい。また、記憶装置４０は、処理装置３０とネットワークを介して接続されたサーバに設けられた記憶装置であってもよい。

以下、評価システム１の動作を説明する。図３は、評価システム１の動作を示すフローチャートである。図２に示すように、発話者Ｗは、補助装置１０の第１の開口１１１に自身の口唇部を近づけて発話する。第１の開口１１１を介して放射された音声は、第１の仕切り板１２１と第２の仕切り板１２２とによって右方向Ｒ、正面方向Ｃ、左方向Ｌの３方向に分離される。右方向Ｒの音声は、センサ２１で収集される。正面方向Ｃの音声は、センサ２２で収集される。左方向Ｌの音声は、センサ２３で収集される。ここで、以下の説明ではセンサ２１、２２、２３は、指向性マイクロホンである。

ステップＳ１において、プロセッサ３１は、センサ２１、２２、２３から出力された音響信号に対して前処理をする。前処理は、例えば音響信号のデジタル化、ノイズの除去、増幅といった処理である。プロセッサ３１は、前処理された３方向からの音響信号をそれぞれメモリ３２に記憶させる。

ステップＳ２において、プロセッサ３１は、側音化構音の音響信号の波形の情報を記憶装置４０から取得する。前述したように、側音化構音の音響信号の波形の情報は、右方向Ｒの情報、正面方向Ｃの情報、左方向Ｌの情報を含む。

ステップＳ３において、プロセッサ３１は、メモリに記憶された音響信号の波形と、記憶装置４０から取得した側音化構音の音響信号の波形の情報とを比較する。図４は、側音化構音が発生していないときの音響信号の波形と、側音化構音が発生しているときの音響信号の波形とを比較して示した図である。ここで、図４の例は、「シ」音の音響信号の波形を比較して示した例である。また、図４の横軸は時間を示し、縦軸は音響信号の振幅を示している。

図４のＮＬ、ＮＣ、ＮＲは、それぞれ、正常な「シ」音の音響信号の左方向、正面方向、右方向の波形を示している。図４に示すように、正常な音響信号の場合、音声の放射方向による振幅の違いは殆どない。

図４のＬＬ、ＬＣ、ＬＲは、それぞれ、側音化構音のときの「シ」音の音響信号の左方向、正面方向、右方向の波形を示している。図４に示すように、側音化構音が発生しているときの音響信号の場合、振幅は、放射方向によって大きく異なる。図４の例では、ＬＲの振幅はＬＣ、ＬＬの振幅に比べて大きい。

図４に示すように、正常な音響信号の波形と側音化構音のときの音響信号の波形とは大きく異なる。したがって、センサ２１、２２、２３を介して収集された音響信号の波形を側音化構音の音響信号の波形と比較することにより、発話者の発話時に側音化構音が発生しているか否かを判定することができる。例えば、センサ２１を介して収集された右方向の音響信号と側音化構音の右方向の音響信号との差、センサ２２を介して収集された正面方向の音響信号と側音化構音の正面方向の音響信号との差、センサ２３を介して収集された左方向の音響信号と側音化構音の左方向の音響信号との差が閾値以内であるときには、プロセッサ３１は、側音化構音が発生していると判定する。

ステップＳ４において、プロセッサ３１は、比較結果から、側音化構音が発生しているか否かを判定する。ステップＳ４において、側音化構音が発生していると判定されたときには、処理はステップＳ５に移行する。ステップＳ４において、側音化構音が発生していないと判定されたときには、処理はステップＳ６に移行する。

ステップＳ５において、プロセッサ３１は、側音化構音が発生していることを通知する。通知は、例えば側音化構音が発生していることを示すメッセージを表示装置３３に表示させることで行われる。ステップＳ６において、プロセッサ３１は、側音化構音が発生していないことを通知する。通知は、例えば側音化構音が発生していないことを示すメッセージを表示装置３３に表示させることで行われる。ステップＳ５又はＳ６の後、プロセッサ３１は、処理を終了させる。なお、側音化構音の評価結果は、表示装置３３への表示に限らずに任意の手法で出力され得る。例えば、プロセッサ３１は、側音化構音の評価結果を記憶装置４０に記憶させてもよい。

また、前述したように、側音化構音の評価は、音響信号の波形以外の種々のパラメータを用いて行われてよい。

以上説明したように本実施形態によれば、発話者の音声は、補助装置１０によって複数の放射方向に分離される。特に、側音化構音では、放射方向毎に音響信号の波形等に違いがあるので、補助装置１０によって発話者の音声を複数の放射方向に分離することにより、精度良い評価が行われ得る。

また、補助装置１０は、発話のための開口である第１の開口１１１を仕切り板で空間的に仕切るだけの簡易な構成である。つまり、実施形態では、音声を放射方向毎に分離するために複雑な装置や複雑な処理は必要ない。

また、補助装置１０の仕切り板の角度は、蝶番によって変更できる。これにより、発話者の発話の特徴に応じた調整、特定の放射方向の音声の収集範囲を広げる調整といった各種の調整が行われ得る。さらに、実施形態では、補助装置１０に設置されるセンサの位置も変更できる。これによっても、発話者の発話の特徴に応じた調整等の各種の調整が行われ得る。

［変形例］
以下、実施形態の変形例を説明する。前述した実施形態では、仕切り板１２は、２枚の仕切り板によって、第１の開口１１１を３分割している。第１の開口１１１の分割数は、３分割には限定されない。例えば、音声の分離性能は低下するものの、仕切り板１２は、例えば第１の開口１１１の開口中心を通るように設置された１枚の仕切り板によって第１の開口１１１を２分割するものであってもよい。または、仕切り板１２は、３枚以上の仕切り板によって第１の開口１１１を４分割以上に分割するものであってもよい。

また、前述した実施形態では、仕切り板１２は、取り付け位置を変更できるように構成されている。しかしながら、仕切り板１２の取り付け位置は、変更できなくてもよい。つまり、仕切り板１２の取り付けのために空けられる孔は長孔でなくてもよいし、仕切り板は蝶番を介して取り付けられなくてもよい。さらに、台座１３におけるセンサ２１、２２、２３の設置位置も変更できなくてよい。この場合、台座１３に空けられる孔も長孔でなくてよい。

また、前述した実施形態では、板１１は、台座１３に支持されるとしている。しかしながら、板１１が自立できるように構成されていれば、台座１３はなくてもよい。

また、前述した実施形態では、板１１には、第２の開口１１２が形成されている。しかしながら、発話者の発話の際に鼻が邪魔にならないのであれば、第２の開口１１２は形成されなくてもよい。例えば、補助装置１０は、図５に示すような、内部の空間が第１の仕切り板１２１及び第２の仕切り板１２２で仕切られた伝達路１１３を有する構造であってもよい。図５では、第１の開口１１１が設けられる板１１は、発話者Ｗの口元の形状に合わせた曲面を有して伝達路１１３の１つの面を形成している。板１１の高さ方向の長さは、発話者Ｗの口唇部の高さ方向の長さよりも長く、口唇部から鼻部までの長さよりも短い。また、板１１には、例えば矩形の側面を有する管が取り付けられている。第１の仕切り板１２１及び第２の仕切り板１２２は、伝達路１１３の側面形状に合わせた形状を有して、伝達路１１３の内部に形成されている。第１の仕切り板１２１及び第２の仕切り板１２２によって、伝達路１１３の内部の空間は、３分割されている。図５のような補助装置１０であれば、第２の開口１１２は不要である。なお、図５では、板１１は、伝達路１１３とは別体としているが、板１１は伝達路１１３と一体に形成されていてもよい。

さらに、実施形態では、補助装置１０は、側音化構音の評価に用いられるとしている。しかしながら、補助装置１０は、音声を複数の放射方向に分離することで行われる各種の評価に適用され得る。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１ 評価システム、１０ 補助装置、１１ 板、１２ 仕切り板、１３ 台座、２０ センサ、２１ センサ、２２ センサ、２３ センサ、３０ 処理装置、３１ プロセッサ、３２ メモリ、３３ 表示装置、３４ 入力インターフェース、４０ 記憶装置、１１１ 第１の開口、１１２ 第２の開口、１１３ 伝達路、１２１ 第１の仕切り板、１２２ 第２の仕切り板、１２３ 蝶番、１２４ 蝶番、１２５ 長孔、１２６ 長孔、１３１ 長孔、１３２ 長孔、１３３ 長孔。

Claims (10)

1. 第１の開口を有する板と、
   前記第１の開口から放射される発話者の側音化構音を含む音声を少なくとも前記発話者の右方向及び左方向に分離するように前記第１の開口を仕切る仕切り板と、
   を具備する音声の検出のための補助装置。
2. 前記仕切り板は、前記第１の開口から放射される前記発話者の音声を前記発話者の正面方向、右方向、左方向に分離するように前記第１の開口を仕切る第１の仕切り板と第２の仕切り板とを有する、
   請求項１に記載の音声の検出のための補助装置。
3. 前記第１の開口のサイズは、前記発話者の口唇部のサイズに応じて決められている請求項１又は２に記載の音声の検出のための補助装置。
4. 前記仕切り板は、前記分離された音声の放射方向を変更できるように前記板に取り付けられている請求項１乃至３の何れか１項に記載の音声の検出のための補助装置。
5. 前記仕切り板は、蝶番を介して前記板に取り付けられている請求項４に記載の音声の検出のための補助装置。
6. 前記板は、前記第１の開口が前記発話者の口唇部の位置に配置されたときに、前記発話者の鼻部の位置に配置されるように前記板に形成された第２の開口をさらに有する請求項１乃至５の何れか１項に記載の音声の検出のための補助装置。
7. 前記第１の開口のサイズは、前記発話者の鼻部のサイズに応じて決められている請求項６に記載の音声の検出のための補助装置。
8. 前記板は、前記発話者の口元の形状に合わせた曲面を有して前記発話者の口唇部から前記第１の開口を介して放射された音声を伝達するように構成された伝達路の１つの面をなしており、
   前記仕切り板は、前記伝達路の内部に形成されている請求項１乃至５の何れか１項に記載の音声の検出のための補助装置。
9. 前記板を支持するとともに、前記仕切り板で複数の方向に分離された音声をそれぞれ収集するセンサを設置するための台座をさらに具備する請求項１乃至８の何れか１項に記載の音声の検出のための補助装置。
10. 前記台座には、それぞれの前記センサの設置位置を調整するための孔が形成されている請求項９に記載の音声の検出のための補助装置。