JP6782940B2

JP6782940B2 - 舌位・舌癖判定装置、舌位・舌癖判定方法及びプログラム

Info

Publication number: JP6782940B2
Application number: JP2016167180A
Authority: JP
Inventors: 俊介石光; 仁史中山; 一貴葛西; 聡堀畑; 石井　かおり; かおり石井; 公子山下
Original assignee: Nihon University; Hiroshima City University
Current assignee: Nihon University; Hiroshima City University
Priority date: 2016-08-29
Filing date: 2016-08-29
Publication date: 2020-11-11
Anticipated expiration: 2036-08-29
Also published as: JP2018033540A

Description

本発明は、舌位・舌癖判定装置、舌位・舌癖判定方法及びプログラムに関する。

口腔は発声、呼吸、咀嚼及び嚥下の際に用いられる器官である。口腔環境を正常な状態に保つことは身体の健康等にとって極めて重要であるため、従来から口腔環境の測定が行われている（例えば、特許文献１参照）。

口腔環境に大きな影響を与え、身体の健康等を損なうおそれがあるものの１つに不正咬合がある。不正咬合の約２５％は口腔習癖（吸指癖や舌癖（舌突出癖））などが原因である。そこで、不正咬合を矯正すべく、舌、口唇や顔面の筋肉バランスを改善することで口腔習癖を改善する口腔筋機能療法（ＭＴＦ）が行われている。

国際公開第２００１／０７８６０２号

不正咬合は、原因となる口腔習癖がなんであるかによってその治療法も変わってくる。このため、舌の機能を解析して不正咬合の原因となる口腔習癖を突き止めることが重要になっている。従来の医療現場では、口腔習癖を突き止めるためエックス線、パラトグラム圧力センサ等を用いて舌機能の解析が行われているため、検査の際に、被曝のおそれがあり、口腔内に器具を設置する必要がある。そこで、非侵襲に舌位・舌癖を識別、判定する方法が望まれている。

一方で、音響モデルを用いた音響認識技術が急速に発達している。しかしながら、舌位・舌癖を判定可能な音響認識技術は未だ考案されていない。

本発明は、非侵襲に舌位・舌癖を判定することができる舌位・舌癖判定装置、舌位・舌癖判定方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る舌位・舌癖判定装置は、
発話者の発話に係る音声データに基づいて、前記発話者の舌位及び舌癖と関連する音響特徴量であり、入力された音声データの波形が零レベルまたは零レベル付近の一定区間と交差する数である零交差数と、入力された音声データのメル周波数ケプストラム係数との少なくとも一方である音響特徴量を計測する計測部と、
計測された前記音響特徴量に基づいて、前記発話者の舌位又は舌癖を推定する推定部と、
を備える。

この場合、前記計測部は、前記零交差数を、前記音響特徴量として計測し、
前記推定部は、計測された前記零交差数に基づいて、前記発話者の舌位又は舌癖を推定する、
こととしてもよい。

また、前記計測部は、前記メル周波数ケプストラム係数を、前記音響特徴量として計測し、
前記推定部は、
計測された前記メル周波数ケプストラム係数に基づいて、前記発話者の舌位又は舌癖を推定する、
こととしてもよい。

舌位又は舌癖と参照用の前記音響特徴量に関する情報とを対応付けて記憶しており、
前記推定部は、計測された前記音響特徴量に最も近い参照用の前記音響特徴量に対応付けられた舌位又は舌癖を、前記発話者の舌位又は舌癖として推定する、
こととしてもよい。

また、同じ舌位又は舌癖を有する複数の発話者の発話に係る音声データから得られた零交差数及びメル周波数ケプストラム係数を各要素とする参照用の音響特徴量ベクトルを参照用の前記音響特徴量に関する情報として記憶し、
前記推定部は、被験者の発話に係る音声データから得られた前記零交差数及び前記メル周波数ケプストラム係数を各要素とする音響特徴量ベクトルを、前記参照用の音響特徴量ベクトルと比較して、被験者の舌位又は舌癖を推定する、
こととしてもよい。

前記計測部は、子音区間の音声データを、判定用の音声データとして抽出する、
こととしてもよい。

前記計測部は、前記音声データの零交差数が閾値以上となる区間の音声データを、子音区間の音声データとして抽出する、
こととしてもよい。

本発明の第２の観点に係る舌位・舌癖判定方法は、
舌位・舌癖判定装置によって実行される舌位・舌癖判定方法であって、
発話者の発話に係る音声データに基づいて、前記発話者の舌位及び舌癖と関連する音響特徴量であり、入力された音声データの波形が零レベルまたは零レベル付近の一定区間と交差する数である零交差数と、入力された音声データのメル周波数ケプストラム係数との少なくとも一方である音響特徴量を計測する計測工程と、
計測された前記音響特徴量に基づいて、前記発話者の舌位又は舌癖を推定する推定工程と、
を含む。

本発明の第３の観点に係るプログラムは、
コンピュータを、
発話者の発話に係る音声データに基づいて、前記発話者の舌位及び舌癖と関連する音響特徴量であり、入力された音声データの波形が零レベルまたは零レベル付近の一定区間と交差する数である零交差数と、入力された音声データのメル周波数ケプストラム係数との少なくとも一方である音響特徴量を計測する計測部、
計測された前記音響特徴量に基づいて、前記発話者の舌位又は舌癖を推定する推定部、
として機能させる。

本発明によれば、発話者の発話に係る音声データから得られる音響特徴量に基づいて、発話者の舌位・舌癖を推定するので、非侵襲に舌位・舌癖を判定することができる。

本発明の実施の形態に係る舌位・舌癖判定装置の機能構成を示すブロック図である。舌位・舌癖の一例を示す図である。図３（Ａ）及び図３（Ｂ）は、舌位・舌癖毎の零交差数の分布を示す図である。図４（Ａ）乃至図４（Ｅ）は、音声データ中における子音区間の音声データを示す図である。図５（Ａ）及び図５（Ｂ）は、舌位・舌癖毎のメル周波数ケプストラム第４係数の分布を示す図である。図６（Ａ）乃至図６（Ｅ）は、舌位・舌癖毎のメル周波数ケプストラム係数の計測結果を示すグラフである。音響特徴量ベクトルが２次元変換されたベクトル空間を示す図である。図１の舌位・舌癖判定装置のハードウエア構成を示すブロック図である。舌位・舌癖判定装置における判定処理のフローチャートである。計測工程のフローチャートである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１に示すように、本実施の形態に係る舌位・舌癖判定装置１としては、発話者ｈの音声を入力可能な例えば携帯電話、スマートフォン、レコーダ又はパーソナルコンピュータを用いることができる。

判定対象となる舌位・舌癖には、「健常（Origin）」、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「舌突出（Protruding tongue）」、「低位舌＋下顎前突症(Mandibular＋Lower tongue)」がある。図２に示すように、「健常（Origin）」は、舌２２の先が上の前歯２０のすぐ後ろに位置して、舌２２の広い部分が上あごの口蓋（天井の部分）に軽く付いている状態、すなわち図２の実線で示す舌２２の状態である。「低位舌（Lower tongue）」は、舌２２の先の位置が低く、下の前歯２１の裏側に触れている状態、すなわち図２に示す点線で示した舌２２の状態である。「下顎前突症(Mandibular)」は、噛み合わせたときに下あごにある歯（前歯２１含む）全体が上あごにある歯全体（前歯２０含む）より前方に突出している状態（図２と逆の状態）である。「舌突出（Protruding tongue）」は、舌２２が前歯２０、２１の間から突出している状態である。「低位舌＋下顎前突症(Mandibular＋Lower tongue)」は、低位舌と下顎前突症とが合併した状態である。

舌位・舌癖判定装置１は、入力された発話者ｈの発話に係る音声データに基づいて、発話者ｈの舌位・舌癖が、「健常（Origin）」、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「舌突出（Protruding tongue）」、「低位舌＋下顎前突症(Mandibular＋Lower tongue)」のいずれに該当するか否かを判定する。

図１に示すように、本実施の形態に係る舌位・舌癖判定装置１は、発話者ｈの発話に係る音声データを入力する音声入力部２と、入力された音声データに基づいて、発話者ｈの舌位及び舌癖と関連する音響特徴量を計測する計測部３と、計測された音響特徴量に基づいて、発話者ｈの舌位又は舌癖を推定する推定部４と、を備える。また、舌位・舌癖判定装置１は、各種データを記憶する記憶装置である記憶部５を備える。

音声入力部２は、マイクロフォンであり、発話者ｈの発話に係る音声データを入力する。入力された音声データは、音声データ１０として記憶部５に記憶される。発話者ｈは、ある決まった言葉、例えば「いしいしいし・・・」という言葉を発する。音声入力部２は、この発話による音声を音声データとして入力する。発話者ｈが発話する言葉は、フォルマントが存在する子音である”Ｓ”を含む言葉が用いられる。ここで、フォルマントとは、言葉を発している人の音声のスペクトルに含まれる、時間的に移動している複数のピークの塊のことである。発明者は、上述した舌位・舌璧とフォルマントとが相関関係が高いことを突き止めている。

計測部３は、抽出された音声データにおける舌位及び舌癖と関連する音響特徴量を計測する。このような音響特徴量には、抽出された音声データにおける音声レベルの零交差数がある。すなわち、計測部３は、抽出された音声データにおける波形が零レベルまたは零レベル付近の一定区間と交差する回数である零交差数を計測する。

零交差数は、例えば母音と子音とを発声したときに、母音の区間では少なくなり、子音の区間では多くなることが知られている。また、零交差数は、同じ音を発した複数の者が発した場合でも、発話者の上述の舌位・舌癖によって異なることが知られている。図３（Ａ）及び図３（Ｂ）に示すように、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「低位舌＋下顎前突症(Mandibular＋Lower tongue)」、「健常（Origin）」、「舌突出（Protruding tongue）」について、子音内の各舌位・舌癖について零交差数の分布を確認したところ、舌位・舌癖毎に、零交差数の分布は大きく異なっている。

なお、図３（Ａ）では、短冊状の中途にある横ラインが各舌位・舌癖における平均値であり、短冊の上端が上位１／４のデータの値であり、短冊の下端が下位１／４のデータの値である。また、縦ラインの上端が各舌位・舌癖における最高値であり、縦ラインの下端が各舌位・舌癖における最低値である。また、図３（Ｂ）では、横軸が零交差数であり、縦軸が各舌位・舌癖に係る密度（出現確率）を示している。これらのデータは、すべて子音区間の音声データから得られたものである。

また、計測部３は、記憶部５に記憶された音声データ１０の中から判定対象となる区間の音声データを抽出する。例えば、計測部３は、子音区間の音声データを、判定用の音声データとして抽出する。子音区間の判別には、例えば、上述した零交差数を用いることができる。

零交差数から子音区間の音声データを抽出する方法は、以下の通りである。図４（Ａ）に示すような音声データ（波形データ）が得られた場合、この波形データのスペクトル(Spectrogram)は、図４（Ｂ）に示すようになる。計測部３は、図４（Ａ）に示す音声データの波形から、その波形がゼロレベルと交差する零クロス点（Z cross(Only trigger)）を検出する（図４（Ｃ））。ここで、フレーム（単位時間）毎の零クロス点の数（Z cross(Each frame)）は、図４（Ｄ）に示すようになる。計測部３は、このフレーム毎の零クロス点の数が閾値以上の部分（図４（Ｅ））の音声データ（Z cross(Detected result)で示される区間の音声データ）を、判定用の音声データとして抽出する。

さらに、計測部３は、音声データのメル周波数ケプストラム係数（ＭＦＣＣ）を、音響特徴量として計測する。具体的には、計測部３は、子音区間の音声データとして抽出された判定用の音声データのメル周波数ケプストラム係数を計測する。メル周波数ケプストラム係数は、ケプストラムと同じく声道特性を表す音響特徴量である。ここで、ケプストラムとは、音のスペクトルを信号とみなして周波数変換（例えばフーリエ変換）した結果である。メルとは、その係数が、人間の音声知覚の特徴を考慮し算出されたものであることを示している。

計測部３は、プリエンファシスフィルタで判定用の音声データの波形の高域成分を強調する。プリエンファシスフィルタは、高域成分を強調することで声道特徴をはっきりと出すために用いられる。フィルタの演算式は、例えば、以下の式を採用することができる。
ｙ（ｎ）＝ｘ（ｎ）−ｐｘ（ｎ−１）
ここで、ｎは、自然数であり、サンプリング番号である。また、ｘ（ｎ）は判定用の音声波形データであり、ｘ（ｎ−１）は１つ前の音声データの値である。ｐはプリエンファシス係数であり、０．９７を用いることが多いが、設定する値は任意である。また、ｙ（ｎ）がフィルタの出力である。

さらに、計測部３は、窓関数（ハミング窓）をかけた後に高域成分が強調された音声データに対して高速フーリエ変換（ＦＦＴ）を行い、音声データの振幅スペクトルを求める。

続いて、計測部３は、振幅スペクトルにメルフィルタバンクをかけて圧縮する。メルフィルタバンクとは、例えば三角形のバンドパスフィルタを複数並べたものであり、メル尺度上で等間隔なフィルタバンクである。メル尺度は、人間の音声知覚を反映した周波数軸で単位はｍｅｌである。すなわち、メルフィルタバンクのバンドパスフィルタは、低周波数ほど間隔が狭く、高周波ほど間隔が広くなっている。バンドパスフィルタの数をチャネル数と呼ぶ。

さらに、計測部３は、圧縮した数値列を信号とみなして離散コサイン変換を行ってケプストラムを得る。そして、得られたケプストラムの低次成分がメル周波数ケプストラム係数（ＭＦＣＣ）であり、計測部３は、ＭＦＣＣを抽出する。ＭＦＣＣは、次数が低い順に、ＭＦＣＣ（１）〜ＭＦＣＣ（２０）などと表現される。

例えば、図５（Ａ）及び図５（Ｂ）に示すように、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「低位舌＋下顎前突症(Mandibular＋Lower tongue)」、「健常（Origin）」、「舌突出（Protruding tongue）」について、子音内の各舌位・舌癖についてＭＦＣＣ（４）（第４係数）の分布を確認したところ、舌位・舌癖毎に、ＭＦＣＣ（４）の分布が大きく異なっている。なお、図５（Ａ）及び図５（Ｂ）の見方は、図３（Ａ）及び図３（Ｂ）と同じである。

図６（Ａ）乃至図６（Ｅ）には、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「低位舌＋下顎前突症(Mandibular＋Lower tongue)」、「健常（Origin）」、「舌突出（Protruding tongue）」におけるＭＦＣＣ（２）乃至ＭＦＣＣ（１３）の計測結果が示されている。図６（Ａ）乃至図６（Ｅ）に示すように、各舌位・舌癖において、ＭＦＣＣ（２）乃至ＭＦＣＣ（１３）の変化パターン（プロフィール）はよく一致しており、そのプロフィールは、舌位・舌癖間で異なっている。

推定部４は、計測された零交差数及びメル周波数ケプストラム係数（ＭＦＣＣ）に基づいて、発話者ｈの舌位又は舌癖を推定する。具体的には、記憶部５は、同じ舌位又は舌癖を有する複数の発話者（発話者ｈとは異なる）の発話に係る音声データから得られた音響特徴量に関する情報を参照データ１２として記憶している。推定部４は、計測された発話者ｈの音響特徴量に関する情報と最も近い参照データ１２に対応付けられた舌位又は舌癖を、発話者ｈの舌位又は舌癖として推定する。

より具体的には、記憶部５に記憶される参照データ１２は、同じ舌位又は舌癖を有する複数の発話者（発話者ｈを除く）の発話に係る音声データから得られた零交差数及びメル周波数ケプストラム係数（ＭＦＣＣ）を各要素とする参照用の音響特徴量ベクトルである。推定部４は、発話者ｈの発話に係る音声データから得られた零交差数及びメル周波数ケプストラム係数（ＭＦＣＣ）を各要素とする音響特徴量ベクトルを、参照用データ（参照用の音響特徴量ベクトル）１２と比較して、発話者ｈの舌位又は舌癖を推定する。

舌位・舌癖毎にまとめられた零交差数及びＭＦＣＣ（１）〜ＭＦＣＣ（８）を各要素とする参照用の音響特徴量ベクトル（参照データ１２）を２次元平面に変換して図示すると、図７に示すように、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「低位舌＋下顎前突症(Mandibular＋Lower tongue)」、「健常（Origin）」、「舌突出（Protruding tongue）」についてベクトルが存在する領域が明確に区別される。推定部４は、発話者ｈの発話に係る音声データから零交差数及びＭＦＣＣ（１）〜ＭＦＣＣ（８）を計測し、それらの値を要素とする音響特徴量ベクトルが、どの領域に属するかを判定することにより、発話者ｈの舌位・舌癖を推定する。例えば、図７に示す空間において、音響特徴量ベクトルが「Lower tongue」の領域に入っている場合には、その発話者ｈの舌位・舌癖は、「低位舌（Lower tongue）」であると推定される。

図８に示すように、舌位・舌癖判定装置１は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び入力部３６をハードウエア構成として備えている。主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び入力部３６はいずれも内部バス３０を介して制御部３１に接続されている。

制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示す舌位・舌癖判定装置１の各構成要素が実現される。

主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。

上述の、計測部３及び推定部４は、制御部３１に対応しており、記憶部５は、主記憶部３２及び外部記憶部３３に対応している。

操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。この操作部３４から操作入力によって、音声入力部２、計測部３及び推定部４の動作が開始される。

表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。表示部３５には、例えば、舌位の判定結果等が表示される。

入力部３６は、マイクロフォンから構成されている。入力部３６が、周囲の音声を入力し、音声データとして内部バス３０に出力する。音声入力部２は、制御部３１及び入力部３６によって構成される。

なお、この他、通信ネットワークを介して通信可能な通信インターフェイスを有していてもよい。このような通信インターフェイスを介して受信した音声データも判定対象とすることができる。

図１に示す舌位・舌癖判定装置１の各種構成要素は、図２に示すプログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び入力部３６などをハードウエア資源として用いて実行されることによってその機能を発揮する。

次に、本実施の形態に係る舌位・舌癖判定装置１の動作について説明する。図９には、舌位・舌癖判定装置１で実行される判定処理を示すフローチャートが示されている。

図９に示すように、音声入力部２は、発話者ｈの発話に係る音声データを入力する音声入力工程を行う（ステップＳ１）。音声入力部２は、入力された音声データを、記憶部５に音声データ１０として記憶する。

続いて、計測部３は、発話者ｈの発話に係る音声データから、判定対象となる音声データを抽出し、抽出された音声データにおける舌位又は舌癖と関連する音響特徴量を計測する計測工程を行う（ステップＳ２）。

このステップＳ２において、図８に示すように、まず、計測部３は、音声データ１０を読み込んで、その音声データ１０の波形について零レベルと交差する零交差数を計測する零交差数計測を行う（ステップＳ１０）。そして、計測部３は、零交差数が閾値以上の区間の音声データを、子音区間の音声データとして抽出する子音区間抽出を行う（ステップＳ１１）。この子音区間抽出において、計測部３は、抽出された音声データにおける零交差数及びＭＦＣＣ（１）〜ＭＦＣＣ（８）の値を算出する音響特徴量算出を行う（ステップＳ１２）。この音響特徴量の算出の工程において、計測部３は、算出された音響特徴量を、音響特徴量データ１１として記憶部５に記憶する。

図９に戻り、さらに、推定部４は、記憶部５に記憶された音響特徴量データ１１に基づいて、発話者（被験者）ｈの舌位又は舌癖を推定する推定工程を行う（ステップＳ３）。基本的には、推定部４は、音響特徴量データ１１（発話者ｈの音響特徴量ベクトル）と、参照データ１２としての舌位・舌癖毎の参照用の音響特徴量ベクトルとの間の距離をそれぞれ算出し、その距離が最も短い音響特徴量ベクトルに対応する舌位・舌癖を、判定結果として出力する。この判定結果は、例えば画面表示され、発話者ｈや医師等に提示することができる。

なお、記憶部５に記憶される参照データ１２としては、上述した処理が実行される前に、舌位・舌癖が明らかな複数の被験者の音声を音声入力部２により入力して、その音声データに対して、計測部３が計測した音響特徴量を、記憶部５に参照データ１２として記憶したものを用いればよい。また、全国平均でとられた膨大な量から成る参照データ１２を、記憶部５に記憶しておくようにしてもよい。

以上詳細に説明したように、本実施の形態によれば、発話者ｈの発話に係る音声データから得られる音響特徴量に基づいて、発話者ｈの舌位・舌癖を推定するので、非侵襲に舌位・舌癖を判定することができる。

なお、上記実施の形態では、零交差数及びＭＦＣＣ（１）〜ＭＦＣＣ（８）を要素とする音響特徴量ベクトルを用いて舌位・舌癖を判定したが、これには限られない。例えば、ＭＦＣＣ（９）以上を、ベクトルの要素に含めて判定を行うようにしてもかまわない。

また、メル周波数ケプストラム係数の演算方法は、上述したものには限られない。例えば、プリエンファシスフィルタとは別の高調波フィルタ（ハイパスフィルタ）で、高調波成分を強調するようにしてもよい。また、ハミング窓を用いずに、矩形窓、ガウス窓、ハン窓のような他の窓関数を用いてもよい。また、離散コサイン変換を用いずに、高速フーリエ変換を用いて周波数変換を行ってもよい。

また、上記実施の形態では、発話者ｈは、ある決まった言葉、例えば「いしいしいし・・・」という言葉を発するようにしたが、本発明はこれには限られない。発話者ｈが発する言葉は、フォルマントが存在する子音である”Ｓ”を含む他の言葉であってもよい。

また、上記実施の形態では、舌位・舌癖として、「健常（Origin）」、「低位舌（Lower tongue）」、「下顎前突症(Mandibular)」、「舌突出（Protruding tongue）」を判定した。しかしながら、本発明はこれには限られない。他の舌位・舌癖を判定対象とするようにしてもよい。例えば、舌を上下の前歯２０、２１で挟み込むような舌癖を抽出するようにしてもよい。

また、判定するのは、「健常（Origin）」か、「低位舌（Lower tongue）」かだけでもよい。すなわち、上述した舌位・舌癖のうち、一部を判定することができるようにしてもよい。

また、上記実施の形態では、音声データの零交差数、メル周波数ケプストラム係数を音響特徴量として発話者ｈの舌位・舌癖を判定したが、本発明はこれには限られない。例えば、零交差数だけで発話者ｈの舌位・舌癖を判定することも可能である。発話者ｈの零交差数の分布を計測し、その分布を舌位・舌癖毎の分布（参照データ１２）と比べ、分布曲線が最も近い分布を有する舌位・舌癖を判定結果とするようにしてもよい。このように、音響特徴量が１つであっても、統計的な手法で、発話者ｈの舌位・舌癖を判定することが可能である。また、発話者ｈの舌位・舌癖を判定可能な音響特徴量であれば、他のものを用いることも可能である。

なお、本実施の形態では、舌位・舌癖判定装置１に音声入力部２を備えたが、本発明はこれには限られない。すなわち、音声入力部２は備えていなくてもよい。例えば遠隔地から送られてきた音声データに対して、舌位の判定を行う舌位・舌癖判定装置を用いるようにしてもよい。

また、上記実施の形態では、舌位・舌癖判定装置１を、例えば携帯電話、スマートフォン、ボイスレコーダ又はパーソナルコンピュータとしたが、これには限られない。舌位・舌癖判定装置１は、専用の装置であってもよい。

その他、舌位・舌癖判定装置１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び入力部３６、内部バス３０などから構成される舌位・舌癖判定装置１の処理を行う中心となる部分は、上述のように、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する舌位・舌癖判定装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで舌位・舌癖判定装置１を構成してもよい。

コンピュータの機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

本発明は、発話者の舌位・舌癖を推定するのに有用である。

１舌位・舌癖判定装置、２音声入力部、３計測部、４推定部、５記憶部、１０音声データ、１１音響特徴量データ、１２参照データ、１３参照データ、２０，２１前歯、２２舌、３０内部バス、３１制御部、３２主記憶部、３３外部記憶部、３４操作部、３５表示部、３６入力部、３９プログラム、ｈ発話者

Claims

発話者の発話に係る音声データに基づいて、前記発話者の舌位及び舌癖と関連する音響特徴量であり、入力された音声データの波形が零レベルまたは零レベル付近の一定区間と交差する数である零交差数と、入力された音声データのメル周波数ケプストラム係数との少なくとも一方である音響特徴量を計測する計測部と、
計測された前記音響特徴量に基づいて、前記発話者の舌位又は舌癖を推定する推定部と、
を備える舌位・舌癖判定装置。
前記計測部は、前記零交差数を、前記音響特徴量として計測し、
前記推定部は、計測された前記零交差数に基づいて、前記発話者の舌位又は舌癖を推定する、
請求項１に記載の舌位・舌癖判定装置。
前記計測部は、前記メル周波数ケプストラム係数を、前記音響特徴量として計測し、
前記推定部は、
計測された前記メル周波数ケプストラム係数に基づいて、前記発話者の舌位又は舌癖を推定する、
請求項１又は２に記載の舌位・舌癖判定装置。
舌位又は舌癖と参照用の前記音響特徴量に関する情報とを対応付けて記憶しており、
前記推定部は、計測された前記音響特徴量に最も近い参照用の前記音響特徴量に対応付けられた舌位又は舌癖を、前記発話者の舌位又は舌癖として推定する、
請求項１から３のいずれか一項に記載の舌位・舌癖判定装置。
同じ舌位又は舌癖を有する複数の発話者の発話に係る音声データから得られた零交差数及びメル周波数ケプストラム係数を各要素とする参照用の音響特徴量ベクトルを参照用の前記音響特徴量に関する情報として記憶し、
前記推定部は、被験者の発話に係る音声データから得られた前記零交差数及び前記メル周波数ケプストラム係数を各要素とする音響特徴量ベクトルを、前記参照用の音響特徴量ベクトルと比較して、被験者の舌位又は舌癖を推定する、
請求項４に記載の舌位・舌癖判定装置。
前記計測部は、子音区間の音声データを、判定用の音声データとして抽出する、
請求項１から５のいずれか一項に記載の舌位・舌癖判定装置。
前記計測部は、前記音声データの零交差数が閾値以上となる区間の音声データを、子音区間の音声データとして抽出する、
請求項６に記載の舌位・舌癖判定装置。
舌位・舌癖判定装置によって実行される舌位・舌癖判定方法であって、
発話者の発話に係る音声データに基づいて、前記発話者の舌位及び舌癖と関連する音響特徴量であり、入力された音声データの波形が零レベルまたは零レベル付近の一定区間と交差する数である零交差数と、入力された音声データのメル周波数ケプストラム係数との少なくとも一方である音響特徴量を計測する計測工程と、
計測された前記音響特徴量に基づいて、前記発話者の舌位又は舌癖を推定する推定工程と、
を含む舌位・舌癖判定方法。
コンピュータを、
発話者の発話に係る音声データに基づいて、前記発話者の舌位及び舌癖と関連する音響特徴量であり、入力された音声データの波形が零レベルまたは零レベル付近の一定区間と交差する数である零交差数と、入力された音声データのメル周波数ケプストラム係数との少なくとも一方である音響特徴量を計測する計測部、
計測された前記音響特徴量に基づいて、前記発話者の舌位又は舌癖を推定する推定部、
として機能させるプログラム。