JP6729923B1

JP6729923B1 - 難聴判定装置、難聴判定システム、コンピュータプログラム及び認知機能レベル補正方法

Info

Publication number: JP6729923B1
Application number: JP2020004362A
Authority: JP
Inventors: 真輝大西; 佐々木　実; 佐々木　　実
Original assignee: Exa Wizards Inc
Current assignee: Exa Wizards Inc
Priority date: 2020-01-15
Filing date: 2020-01-15
Publication date: 2020-07-29
Anticipated expiration: 2040-01-15
Also published as: JP2021110895A

Abstract

【課題】対象者の難聴を判定することができる難聴判定装置、難聴判定システム、コンピュータプログラム及び難聴判定方法を提供する。【解決手段】難聴判定装置は、対象者と対話者との対話音声を取得する取得部と、取得した対話音声に基づいて対話者の音声に関する特徴量を抽出する抽出部と、取得した対話音声に基づいて対話者の発話に対する対象者の回答の遅延時間を算出する算出部と、抽出した特徴量及び算出した遅延時間に基づいて対象者の難聴レベルを判定する難聴レベル判定部とを備える。【選択図】図１

Description

本発明は、難聴判定装置、難聴判定システム、コンピュータプログラム及び認知機能レベル補正方法に関する。

近年、認知症患者の増加が懸念され、様々なアプローチを用いて認知症の早期発見に関する技術が開発されている。特許文献１には、ユーザの音声データに基づいて韻律特徴量を抽出し、予め構築された学習モデルを用いて認知機能障害の危険度を算出する装置が開示されている。

特開２０１１−２５５１０６号公報

人の聴力は年齢とともに低下し、高齢になると難聴を発症する可能性が高くなる。また、高齢になると認知機能が低下し認知機能障害になる場合もある。しかし、従来、認知症と難聴とを区別することが困難であった。このため、難聴である対象者が、質問者の質問に正しく回答できない場合に、その対象者が認知症であると誤って判定されるおそれがある。

本発明は、斯かる事情に鑑みてなされたものであり、対象者の難聴を判定することができる難聴判定装置、難聴判定システム、コンピュータプログラム及び認知機能レベル補正方法を提供することを目的とする。

本発明の実施の形態に係る難聴判定装置は、対象者と対話者との対話音声を取得する取得部と、前記取得部で取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する抽出部と、前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する算出部と、前記抽出部で抽出した特徴量及び前記算出部で算出した遅延時間に基づいて前記対象者の難聴レベルを判定する難聴レベル判定部と、前記難聴レベル判定部で判定した難聴レベルに基づいて前記対象者の認知機能レベルを補正する補正部と、前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを判定する認知機能判定部とを備え、前記補正部は、前記難聴レベル判定部で判定した難聴レベルに基づいて前記認知機能判定部で判定した認知機能レベルを補正する。

本発明の実施の形態に係る難聴判定システムは、対象者と対話者との対話音声を取得する取得部と、前記取得部で取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する抽出部と、前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する算出部と、前記抽出部で抽出した特徴量及び前記算出部で算出した遅延時間に基づいて前記対象者の難聴レベルを判定する難聴レベル判定部と、前記難聴レベル判定部で判定した難聴レベルに基づいて前記対象者の認知機能レベルを補正する補正部と、前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを判定する認知機能判定部とを備え、前記補正部は、前記難聴レベル判定部で判定した難聴レベルに基づいて前記認知機能判定部で判定した認知機能レベルを補正する。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、対象者と対話者との対話音声を取得する処理と、取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する処理と、取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する処理と、抽出した特徴量及び算出した遅延時間に基づいて前記対象者の難聴レベルを判定する処理と、前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを判定する処理と、判定した難聴レベルに基づいて前記対象者の認知機能レベルを補正する処理とを実行させる。

本発明の実施の形態に係る認知機能レベル補正方法は、対象者と対話者との対話音声を取得部が取得し、取得された対話音声に基づいて前記対話者の音声に関する特徴量を抽出部が抽出し、取得された対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出部が算出し、抽出された特徴量及び算出された遅延時間に基づいて前記対象者の難聴レベルを難聴レベル判定部が判定し、前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを認知機能判定部が判定し、判定された難聴レベルに基づいて前記対象者の認知機能レベルを補正部が補正する。

本発明によれば、対象者の難聴を判定することができる。

実施の形態の難聴判定システムの構成の一例を示す模式図である。対話音声の音声波形の一例を示す模式図である。年代別の聴力レベルの一例を示す模式図である。対話者の特徴量の一例を示す説明図である。難聴レベルの判定方法の一例を示す模式図である。認知機能レベル判定部の構成の第１例を示す模式図である。認知機能レベル判定部の構成の第２例を示す模式図である。認知機能レベル判定部の構成の第３例を示す模式図である。認知機能レベルの補正方法の一例を示す説明図である。判定結果の表示方法の第１例を示す模式図である。判定結果の表示方法の第２例を示す模式図である。判定結果の表示方法の第３例を示す模式図である。判定結果の表示方法の第４例を示す模式図である。難聴判定システムの処理手順の一例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態の難聴判定システムの構成の一例を示す模式図である。難聴判定システムは、難聴判定装置５０、及び端末装置１０を備える。難聴判定装置５０と端末装置１０とは、通信ネットワーク１を介して接続されている。端末装置１０は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、スマートスピーカなどの情報処理装置で構成することができる。端末装置１０には、マイク１１が接続されている。マイク１１は、対象者及び対象者と対話する対話者の音声を取得することができる。なお、対象者と対話者の音声を取得することができるのであれば、マイク１１は端末装置１０に内蔵されていてもよい。対象者は、難聴判定の対象者であり、対話者は、医師、看護師、カウンセラ、介護士などの対象者の難聴判定のための対話を行う者である。対話者がいる場合には、対象者は対話者と会話することができ、対話者がいないときは、予め定められた文章などを読み上げることができる。対象者の音声、あるいは対象者と対話者の音声は、マイク１１で集音され、端末装置１０を介して難聴判定装置５０へ送信される。

なお、対象者と対話者の対話は、通信ネットワーク１を介してオンライン上で行われてもよい。この場合、対象者が利用する端末装置１０Ａに接続されたマイク１１Ａにより対象者の音声を取得し、対話者が利用する端末装置１０Ｂに接続されたマイク１１Ｂにより対話者の音声を取得し、マイク１１Ａ，Ｂで取得した音声が難聴判定装置５０へ送信される。

難聴判定装置５０は、装置全体を制御する制御部５１、通信部５２、音声識別部５３、特徴量抽出部５４、遅延時間算出部５５、記憶部５６、不安レベル判定部５７、難聴レベル判定部５８、認知機能レベル判定部５９、補正部６０及び出力部６１を備える。制御部５１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などで構成することができる。音声識別部５３、特徴量抽出部５４、遅延時間算出部５５、不安レベル判定部５７、難聴レベル判定部５８、認知機能レベル判定部５９、補正部６０及び出力部６１は、ＣＰＵ、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアのいずれか、あるいはこれらを組み合わせて構成することができる。なお、難聴判定装置５０の制御部５１、音声識別部５３、特徴量抽出部５４、遅延時間算出部５５、不安レベル判定部５７、難聴レベル判定部５８、認知機能レベル判定部５９、補正部６０の各機能を端末装置１０に設けてもよく、難聴判定装置５０の一部の機能を端末装置１０に設けるようにしてもよい。また、難聴判定装置５０の各機能を複数の装置に分散させて設ける構成でもよい。

通信部５２は、所要の通信モジュールで構成することができ、通信ネットワーク１を介して、端末装置１０との間で通信を行う機能を有し、端末装置１０との間で所要の情報の送受信を行うことができる。通信部５２は、取得部としての機能を有し、対象者と対話者の対話音声を端末装置１０から取得することができる。

図２は対話音声の音声波形の一例を示す模式図である。縦軸は音声信号の振幅を示し、横軸は時間を示す。図２の例では、対話者の音声１、対象者の音声１、対話者の音声２、対象者の音声２、対話者の音声３と続いている。対話者の音声１と対象者の音声１との間には、回答遅延時間が存在し、同様に、対話者の音声２と対象者の音声２との間にも回答遅延時間が存在している。

音声識別部５３は、通信部５２を介して取得した対話音声から、対象者の音声と対話者の音声とを識別することができる。音声の識別は、予め対象者と対話者の音声データを記憶部５６に記憶しておき、記憶した音声データと照合することにより行うことができる。記憶部５６は、ハードディスク又はフラッシュメモリなどで構成することができる。また、音声の識別は、機械学習を用いてもよい。例えば、医師、看護師、カウンセラ、介護士など対話者の音声を機械学習によって識別することができる。また、予め対象者の音声を機械学習させておいてもよい。また、音声の識別の他の方法として、対話者が、対象者が発話するとき、あるいは対話者が発話するときに端末装置１０に設けられた操作ボタン等を操作すると、端末装置１０は、操作ボタン等が操作されたことを示す識別フラグを音声データと同期させて難聴判定装置５０へ送信する。音声識別部５３は、識別フラグを取得し、識別フラグの有無に応じて、対象者の音声か対話者の音声かを識別することができる。また、音声の識別の他の方法としては、マイク１１の指向性を利用することができる。例えば、指向性の高い領域に対象者が入るようにマイク１１を配置して、音声の歪の大小で区別することができる。

特徴量抽出部５４は、抽出部としての機能を有し、通信部５２を介して取得した対話音声に基づいて対話者の音声に関する特徴量を抽出する。特徴量は、難聴者にとっての聞き取りにくさを表す特徴量であればよい。加齢性難聴の特徴として、高い周波数が聞こえないという特徴、音声に含まれる微妙な周波数の違いが分からなくなるという周波数分解能の低下という特徴、あるいは、早口の音声が分からなくなるという時間分解能の低下という特徴などが挙げられる。特に、高い周波数が聞こえにくいという特徴は、年代が上がるほど顕著になる。

図３は年代別の聴力レベルの一例を示す模式図である。図において、縦軸は聴力レベルを示し、人に聞こえる最も小さい音の大きさである。横軸は音声の周波数を示す。図の例では、５０代、６０代、７０代の年齢別の聴力レベルを図示している。図から分かるように、周波数が高くなるほど聞こえなくなる傾向があり、その傾向は年齢とともに大きくなる。そこで、以下では、音声に含まれる高周波数域の程度を示す特徴量を利用する場合について説明する。なお、上述の通り、特徴量はこれに限られず、難聴者にとっての聞き取りにくさを表す任意の特徴量を利用し得る。

図４は対話者の音声の特徴量の一例を示す説明図である。図４に示すように、特徴量としては、例えば、パワー、時間、回数、頻度、及び音声認識難易度などを挙げることができる。パワーは、音の周波数分析において、周波数毎の重み（パワー）を示し、人の聴覚が感じる音の大きさや強さ（音量）とは相違する。特徴量抽出部５４は、子音又は所定の閾値以上の高周波数域のパワー、時間、回数、頻度又は音声認識度難易度の少なくとも一つを特徴量として抽出することができる。パワーは、子音又は閾値以上の高周波数域の音声の強さとすることができる。時間は、子音又は閾値以上の高周波数域の音声が出ている時間とすることができる。回数は、対話者の発話の１フレーズ中に、子音又は閾値以上の高周波数域が含まれる単語が何回出現したかを表す。頻度は、単位時間当たりに、閾値以上の高周波数域が含まれる単語が何回出現したかを表す。音声認識度難易度は、子音又は高周波数域の音声をカットしたときの言語認識の難易度とすることができる。言語認識の難易度は、音声自動認識の失敗率とすることができる。子音又は高周波数域の音声をカットすることにより、対話者の発話内容を言語的に分かりにくくすることができる。これらの特徴量は、いずれも音声に含まれる高周波数域の程度を示す。

遅延時間算出部５５は、算出部としての機能を有し、通信部５２を介して取得した対話音声に基づいて対話者の発話に対する対象者の回答の遅延時間（回答遅延時間）を算出する。図２に例示したように、遅延時間は、対話者の発話の終了時点から対象者の回答の開始時点までの時間とすることができる。健常者と比較して難聴者の場合は、遅延時間は長くなる傾向があると考えられる。

難聴レベル判定部５８は、判定部としての機能を有し、特徴量抽出部５４で抽出した特徴量及び遅延時間算出部５５で算出した遅延時間に基づいて対象者の難聴レベルを判定することができる。すなわち、難聴レベル判定部５８は、難聴者にとって対話者の発話がどの程度聞き取りにくいかという点と、対話者の発話に対して対象者の発話がどの程度遅れるかという点と、に応じて対象者の難聴レベルを判定する。

不安レベル判定部５７は、通信部５２を介して取得した対話音声に基づいて対話者の発話に対する対象者の不安レベルを判定することができる。不安レベルの大小は、自信レベルの小大に対応する。不安レベルの判定には、例えば、対象者の発話の声量（声の大きさや強さを表す量）、発話内容の具体性、及び発話内容の明確さの少なくとも１つを用いることができる。例えば、対象者の声が小さい場合には、不安レベルは高いと判定することができる。また、対象者の発話内容が不明瞭又は不明確である場合、不安レベルは高いと判定することができる。

なお、不安レベルを判定する場合、端末装置１０に備えられたカメラ、又は別個のカメラを端末装置１０に接続し、カメラで対象者を撮影して得られた画像に基づいて、対象者の表情、身振りや手ぶり、対象者の視線などを抽出して、対象者の不安レベルを判定してもよい。

難聴レベル判定部５８は、さらに、不安レベル判定部５７で判定した不安レベルに基づいて対象者の難聴レベルを判定してもよい。例えば、不安レベルが高い場合には、対話者の発話が聞こえない、あるいは聞きにくいことが原因と考えられるので、難聴レベルが高いと判定することができる。これにより、対象者の難聴レベルをさらに精度よく判定することができる。

図５は難聴レベルの判定方法の一例を示す模式図である。対話者と対象者Ａとの対話音声の中に、対話者の音声１〜５（質問）と、これらにそれぞれ対応する対象者の音声１〜５（回答）とが含まれるものとする。対話者の音声１、２、３、４、５それぞれに対する特徴レベルＸが、２、２、５、１、４であるとする。特徴レベルＸは、特徴量抽出部５４で抽出した特徴量それぞれに重み付けを行って、例えば、１〜５の５段階に区分することができる。特徴レベルＸの数値が大きいほど、難聴者にとって対話者の発話が聞き取りにくいことを表すことができる。また、対象者Ａの音声１、２、３、４、５それぞれに対する回答の遅延時間Ｙが、１、１、２、１、３であるとする。遅延時間Ｙは、例えば、１〜５の５段階に区分することができる。遅延時間Ｙの数値が大きいほど、遅延時間が長いことを表すことができる。また、対象者Ａの音声１、２、３、４、５それぞれに対する不安レベルＺが、１、２、３、１、５であるとする。不安レベルＺは、例えば、１〜５の５段階に区分することができる。不安レベルＺの数値が大きいほど、対象者Ａの不安が強いことを表すことができる。

特徴レベルＸは、難聴者にとっての聞き取りにくさを表す。したがって、対象者Ａが難聴でない場合、対象者Ａの遅延時間Ｙ及び不安レベルＺは、対話者の音声の特徴レベルＸに依存しない。一方、対象者Ａが難聴である場合、対象者Ａの遅延時間Ｙ及び不安レベルＺは、対話者の音声の特徴レベルＸに依存する。具体的には、対象者Ａが難聴である場合、特徴レベルＸが大きいほど、対応する遅延時間Ｙ及び不安レベルＺが大きくなる。この傾向は、対象者Ａの難聴の程度が強くなる（難聴レベルが高くなる）ほど、強くなる。

そこで、難聴レベル判定部５８は、特徴レベルＸに対する遅延時間Ｙの相関が強いほど、難聴レベルを高く判定する。同様に、難聴レベル判定部５８は、特徴レベルＸに対する不安レベルＺの相関が強いほど、難聴レベルを高く判定する。難聴レベルは、例えば、特徴レベルＸに対する遅延時間Ｙ及び不安レベルＺの少なくとも一方の相関係数であるが、これに限られない。

認知機能レベル判定部５９は、通信部５２を介して取得した対話音声に基づいて対象者の認知機能レベルを判定する。認知機能レベルの判定には、例えば、対話音声の音声特徴量（例えば、音声の高さに関連するピッチ、母音や子音の特徴に関連するフォルマント周波数、声道特性に関連するメル周波数スペクトラム係数（ＭＦＣＣ）など）に基づいて行うことができる。認知機能レベルの判定には、例えば、ルールベース、機械学習の一手法であるサポートベクターマシン（ＳＶＭ）、ニューラルネットワークなどの学習モデルを用いることができる。

また、認知機能レベル判定部５９は、対象者の音声だけでなく、対話者の音声に基づいて対象者の認知機能を判定することができる。すなわち、対象者の音声だけでなく、対象者と対話する対話者の音声も認知機能の判定の要素とすることができる。対話者の質問等の発話に対する対象者の回答等の応答を、対象者の認知機能の判定に用いることができるので、人の問いかけに対して、対象者がどのように反応しているかを判断材料とすることができ、認知機能の判定の精度を向上させることができる。

次に、認知機能レベル判定部５９の詳細について説明する。

図６は認知機能レベル判定部５９の構成の第１例を示す模式図である。図６に示すように、認知機能レベル判定部５９は、音声特徴量抽出部５９１、及びＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）５９２を備える。音声特徴量抽出部５９１は、対話者の音声波形と対象者の音声波形（例えば、対話者の質問と質問に対する対象者の回答を１つの纏まりとする音声波形）に基づいて、対象者の音声特徴量（例えば、ピッチ、フォルマント周波数、メル周波数スペクトラム係数（ＭＣＦＦ））を抽出するとともに、対話者の音声特徴量（例えば、ピッチ、フォルマント周波数、メル周波数スペクトラム係数（ＭＣＦＦ））を抽出する。認知機能障害を特定するには、音声の３つの要素（韻律、音質及び音韻）のうち、特に韻律が重要な非言語情報であることが知られている。そこで、韻律を特徴付ける音声特徴量として、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数を用いてＤＮＮ５９２を学習させることができる。

音声特徴量抽出部５９１には、識別フラグを入力することができる。識別フラグは、対象者フラグ及び対話者フラグとすることができる。例えば、音声特徴量抽出部５９１に対話者の音声が入力される場合、音声が入力されている間、対話者フラグを入力し続けてもよく、対話者の音声の開始と終了時に対話者フラグを入力してもよい。音声特徴量抽出部５９１に対象者の音声が入力される場合、音声が入力されている間、対象者フラグを入力し続けてもよく、対象者の音声の開始と終了時に対象者フラグを入力してもよい。これにより、音声特徴量抽出部５９１は、対象者のみの音声が入力される場合でも、対象者の音声と対話者の音声が順番に繰り返し入力される場合でも、対象者と対話者の別を識別することができる。音声特徴量抽出部５９１は、抽出した対象者の特徴量と対話者の特徴量とをＤＮＮ５９２に入力する。

また、ＤＮＮ５９２には、対話者の質問等の発話に対する対象者の回答等の応答時間を入力してもよい。ＤＮＮ５９２は、健常者及び認知機能障害者と対話する対話者の発話に対する健常者及び認知機能障害者の応答時間を含む学習用データを用いて生成されている。応答時間は、対話者の発話の終了時点から健常者及び認知機能障害者の回答の開始時点までの時間とすることができる。認知機能が低下するのに応じて応答時間は長くなる傾向があると考えられるので、応答時間を学習用データに含めることにより、ＤＮＮ５９２の認知機能の判定の精度を向上させることができる。

ＤＮＮ５９２は、人の音声が入力されると、当該人の認知機能レベルを判定することができる。図６の例では、認知機能レベル（認知機能障害のレベル）をレベル「１」からレベル「ｍ」までのｍ個に区分している。認知機能レベルｍが重度の認知機能障害に相当し、レベルを示す数値が小さいほど、認知機能障害は軽くなる。

認知機能レベル判定部５９は、ＤＮＮ５９２を生成（学習）するための学習処理部を備えてもよい。学習処理部は、他のコンピュータでもよい。認知機能レベル判定部５９は、健常者及び認知機能障害者それぞれの音声データを入力層に与え、入力層に与える音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。この場合、健常者及び認知機能障害者の音声データから音声特徴量（例えば、ピッチ、フォルマント周波数、メル周波数スペクトラム係数など）を抽出し、抽出した音声特徴量を学習用データとして用いることができる。また、認知機能レベルは、例えば、数値で１〜５の如く５段階に区分してもよく（図６の例ではｍ＝５）、正常、軽度認知症及び重度認知症の如く３段階に区分してもよく、正常及び認知症の如く２段階で区分してもよい。これにより、ＤＮＮ５９２は、音声に基づいて対象者の認知機能レベルを判定することができる。

また、ＤＮＮ５９２は、健常者及び認知機能障害者それぞれの音声に加えて、対話者の音声データを入力層に与え、入力層に与える音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。

なお、ＤＮＮ５９２を学習させる際に、学習用データとして、健常者及び認知機能障害者の難聴レベルを教師ラベルとして与えてもよい。これにより、ＤＮＮ５９２は、対象者の難聴レベルを考慮して認知機能レベルを判定することができるので、補正部６０を具備しなくてもよい。

図７は認知機能レベル判定部５９の構成の第２例を示す模式図である。図７に示すように、認知機能レベル判定部５９は、ＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）５９３を備える。図７に示すように、対話者の音声波形と対象者の音声波形（例えば、対話者の質問と質問に対する対象者の回答を１つの纏まりとする音声波形）がＲＮＮ５９３に入力されると、ＲＮＮ５９３は、対象者の認知機能レベルを出力することができる。図７の例では、認知機能レベルをレベル「１」からレベル「ｍ」までのｍ個に区分している。認知機能レベルｍが重度の認知機能障害に相当し、レベルを示す数値が小さいほど、認知機能障害は軽くなる。また、対象者の音声波形と対話者の音声波形を入力する場合、いずれの話者の音声波形であるかを示す話者フラグをＲＮＮ５６３に入力してもよい。

ＲＮＮ５９３には、識別フラグを入力することができる。識別フラグは、対象者フラグ及び対話者フラグとすることができる。例えば、ＲＮＮ５９３に対話者の音声が入力される場合、音声が入力されている間、対話者フラグを入力し続けてもよく、対話者の音声の開始と終了時に対話者フラグを入力してもよい。ＲＮＮ５９３に対象者の音声が入力される場合、音声が入力されている間、対象者フラグを入力し続けてもよく、対象者の音声の開始と終了時に対象者フラグを入力してもよい。これにより、ＲＮＮ５９３は、対象者のみの音声が入力される場合でも、対象者の音声と対話者の音声が順番に繰り返し入力される場合でも、対象者と対話者の別を識別することができる。なお、対話者フラグは入力しなくてもよい。例えば、対象者の音声だけがＲＮＮ５９３に入力される場合、あるいは、対象者の音声と対話者の音声とが予め識別される場合には、対話者フラグは不要である。

認知機能レベル判定部５９は、学習用データを用いて学習済のＲＮＮ５９３を生成することができる。ＲＮＮ５９３は、健常者及び認知機能障害者それぞれの音声データを入力層に与え、入力層に与える音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。この場合、学習用データとしての音声データは、健常者及び認知機能障害者の音声データでもよく、健常者及び認知機能障害者と対話者の両方の音声データでもよい。音声データは、そのまま学習用データとして直接用いることができる。また、話者フラグをＲＮＮ５９３に入力して学習させてもよい。ＲＮＮ５９３は、入力された音声に基づいて対象者の認知機能レベルを判定することができる。

また、ＲＮＮ５９３は、健常者及び認知機能障害者それぞれの音声に加えて、対話者の音声データを入力層に与え、入力層に与える音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。

図８は認知機能レベル判定部５９の構成の第３例を示す模式図である。図８に示すように、認知機能レベル判定部５９は、ＦＦＴ変換部５９５、及びＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）５９６を備える。ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）変換部５９５は、対話者の音声波形と対象者の音声波形（例えば、対話者の質問と質問に対する対象者の回答を１つの纏まりとする音声波形）をスペクトログラムに変換し、変換した、対象者及び対話者それぞれのスペクトログラムをＣＮＮ５９６に出力する。スペクトログラムは、２次元マップであり、縦軸は周波数を示し、横軸は時間を示し、２次元上の各点（座標）の明るさ又は色等によって、その点での周波数の振幅（強さ）を表すことができる。スペクトログラムは、対話者と対象者の音声波形にどのような周波数成分が含まれるかを示すことができる。

ＦＦＴ変換部５９５には、識別フラグを入力することができる。識別フラグは、対象者フラグ及び対話者フラグとすることができる。例えば、ＦＦＴ変換部５９５に対話者の音声が入力される場合、音声が入力されている間、対話者フラグを入力し続けてもよく、対話者の音声の開始と終了時に対話者フラグを入力してもよい。ＦＦＴ変換部５９５に対象者の音声が入力される場合、音声が入力されている間、対象者フラグを入力し続けてもよく、対象者の音声の開始と終了時に対象者フラグを入力してもよい。これにより、ＦＦＴ変換部５９５は、対象者のみの音声が入力される場合でも、対象者の音声と対話者の音声が順番に繰り返し入力される場合でも、対象者と対話者の別を識別することができる。ＣＮＮ５９６は、スペクトログラムが入力されると、対象者の認知機能レベルを出力することができる。図８の例では、認知機能レベルをレベル「１」からレベル「ｍ」までのｍ個に区分している。

認知機能レベル判定部５９は、学習用データを用いて学習済のＣＮＮ５９６を生成することができる。ＣＮＮ５９６は、健常者及び認知機能障害者の音声データから変換されたスペクトログラムと、当該健常者及び認知機能障害者の認知機能レベルとを学習用データを用いて生成することができる。なお、スペクトログラムに代えて、音声波形を２次元マップとして捉えると、この２次元マップは、各点（座標）の明るさ又は色等によって、その点での音声信号の有無を表すことができる。そこで、２次元マップとして捉えた音声波形をＣＮＮ５６４に入力してもよい。

また、ＣＮＮ５９６は、健常者及び認知機能障害者の音声の音声データから変換されたスペクトログラムに加えて、対話者の音声の音声データから変換されたスペクトログラムと、当該健常者及び認知機能障害者の認知機能レベルとを学習用データを用いて生成することができる。

本実施の形態において、認知機能の判定は、図６〜図８に例示した、各構成のいずれかを用いてもよく、各構成を組み合わせてもよい。例えば、図６と図７の各構成の両方を用いて認知機能の判定を行ってもよく、図６と図８の各構成の両方を用いて認知機能の判定を行ってもよい。構成を組み合わせる場合には、各構成の判定結果を総合的に判定して最終判定とすればよい。

上述のように、ＤＮＮ５９２、ＲＮＮ５９３、ＣＮＮ５９６は、健常者及び認知機能障害者と対話する対話者の音声データを含む学習用データを用いて生成されている。健常者及び認知機能障害者の音声だけでなく、健常者及び認知機能障害者と対話する対話者の音声も認知機能の判定の要素とすることができる。すなわち、対話者の質問等の発話に対する健常者及び認知機能障害者の回答等の応答を認知機能の判定に用いることができるので、人の問いかけに対して、健常者及び認知機能障害者がどのように反応しているかを学習することでき、ＤＮＮ５９２、ＲＮＮ５９３、ＣＮＮ５９６の認知機能の判定の精度を向上させることができる。

本実施の形態において、ＤＮＮ５９２、ＲＮＮ５９３、ＣＮＮ５９６は、自身が判定した対象者の認知機能レベルを、医師が判断した認知機能レベルに更新した学習用データを用いて再学習することができる。例えば、ＤＮＮ５９２が、ある対象者の認知機能レベルをレベル「３」と判定したとする。医師が診察によって当該対象者の認知機能レベルをレベル「４」と判定した場合、当該対象者の音声と認知機能レベルを「４」に更新した学習用データを用いてＤＮＮ５９２を再学習させることができる。ＲＮＮ５９３、ＣＮＮ５９６についても同様である。これにより、ＤＮＮ５９２、ＲＮＮ５９３、ＣＮＮ５９６の認知機能の判定の精度を向上させることができる。

次に、認知機能レベルの補正方法について説明する。

補正部６０は、難聴レベル判定部５８で判定した難聴レベルに基づいて認知機能レベル判定部５９で判定した認知機能レベルを補正することができる。対象者の難聴レベルが高い場合、難聴の影響で、対象者の認知症レベルが本来の認知症レベルより高く判定されている可能性が高い。そこで、補正部６０は、難聴レベルが高い対象者の認知機能レベルを低く（軽症に）なるように補正する。

図９は認知機能レベルの補正方法の一例を示す説明図である。図に示すように、認知機能レベルを数値１〜５で表し、難聴レベルを数値１〜５で表すとする。認知機能レベルの数値及び難聴レベルの数値が大きいほど重症であるとする。図９の各セルの値は、補正後の認知機能レベルを示している。また、図では、便宜上、補正後の認知機能レベルを表す領域を４つに区分している。

補正前の認知機能レベルが１〜３であり、かつ難聴レベルが１〜３である領域（図では無模様）は、例えば、非認知症・非難聴の領域である。難聴による認知機能レベルに対する影響は小さいため、補正部６０は、認知機能レベルを補正しない。

補正前の認知機能レベルが１〜３であり、かつ難聴レベルが４〜５である領域（図では左斜線模様）は、例えば、非認知症・難聴の領域である。難聴による認知機能レベルに対する影響はあるものの、非認知症と判定されているため、補正部６０は、認知機能レベルを補正しない。

補正前の認知機能レベルが４〜５であり、かつ難聴レベルが１〜３である領域（図では右斜線模様）は、例えば、認知症・非難聴の領域である。難聴による認知機能レベルに対する影響は小さいため、補正部６０は、認知機能レベルを補正しない。

補正前の認知機能レベルが４〜５であり、かつ難聴レベルが４〜５である領域（図では網模様）は、例えば、認知症・難聴の領域である。難聴による認知機能レベルに対する影響があるため、補正部６０は、認知機能レベルを補正する。具体的には、補正部６０は、難聴レベルが４の場合、認知機能レベルを０．５だけ小さくし、難聴レベルが５の場合、認知機能レベルを１だけ小さくしている。

この場合、補正前に認識機能レベルが４であって認知症と判定された対象者が、難聴レベルが５であったとすると、補正後の認知機能レベルは、４から３に補正されるので、認知症ではないと判定することができる。なお、補正時の数値変更は、図９の例に限定されない。

上述のように、対象者が認知症であると判定され、かつ難聴であると判定された場合には、難聴レベルに応じて、判定された認知機能レベルを補正することにより、当該対象者は認知症ではないと判定することができる場合がある。これにより、難聴のために認知症と判定された対象者を識別して、対象者が認知症であると誤って判定されることを防止できる。

次に、判定結果の表示方法について説明する。

出力部６１は、認知機能レベル判定部５９で判定した認知機能レベルと、難聴レベル判定部５８で判定した難聴レベルとを関連付けて表示するための表示データを出力することができる。

図１０は判定結果の表示方法の第１例を示す模式図である。難聴判定装置５０は、記憶部５６に、対象者の難聴レベル及び認知機能レベルの判定結果の履歴を記録することができる。なお、記憶部５６に代えて、外部のデータベースに記録してもよい。図１０に示すように、認知機能レベルに応じて、認知症と非認知症の２つの区分に分けるとともに、難聴レベルに応じて、難聴と非難聴の２つの区分に分けるとする。これにより、判定結果を、非認知症・難聴、非認知症・非難聴、認知症・難聴、及び認知症・非難聴の４つの領域に区分でき、認知症と難聴との関係を容易に識別することができる。また、出力部６１は、判定した認知機能レベルと、補正した認知機能レベルとを対応付けて出力することができる。図１０の例では、補正前では認知症であると判定された対象者は、その対象者の難聴レベルも考慮することにより、認知機能レベルが補正され、認知症ではないと判定されている。このように、対象者が認知症と判定されたが、実際には認知症ではないのか、やはり認知症であるのかを容易に確認することができる。

図１１は判定結果の表示方法の第２例を示す模式図である。出力部６１は、対象者の認知機能レベル及び難聴レベルの少なくとも一方を時系列に表示するための表示データを出力することができる。図１１の例では、対象者は認知症ではないが、難聴レベルが年月とともに徐々に増加していることが分かる。図中、実線部分は、過去から現在までの実績を示し、破線部分は将来の予測を示している。図１１の例では、対象者の難聴レベルが、どのように推移するかを容易に確認することができる。対象者は、早期に難聴対策を行うことができる。

図１２は判定結果の表示方法の第３例を示す模式図である。図１２の例では、対象者は認知症ではないが、難聴レベルが年月とともに徐々に増加するとともに、認知機能レベルも増加していることが分かる。図中、実線部分は、過去から現在までの実績を示し、破線部分は将来の予測を示している。図１２の例では、対象者の難聴レベル及び認知機能レベルが、どのように推移するかを容易に確認することができる。対象者は、早期に難聴対策及び認知症対策を行うことができる。

図１３は判定結果の表示方法の第４例を示す模式図である。図１３の例では、年代別に、認知機能レベルと難聴レベルとの関係が分かるように統計分布を図示している。図では、５０代、６０代、７０代、及び８０代の統計分布が図示されている。また、対象者（図では、「あなた」）の認知機能レベルと難聴レベルとに対応する位置も表示している。これにより、対象者が自分の年齢と比較して、どの程度の年代の統計値に相当するのかが分かり、同年代よりも認知症や難聴が進行しているのか否を容易に判断することができる。

図１４は難聴判定システムの処理手順の一例を示すフローチャートである。端末装置１０は、対話音声を取得し（Ｓ１１）、取得した対話音声を難聴判定装置５０へ送信する（Ｓ１２）。難聴判定装置５０は、対話音声を受信し（Ｓ１３）、対話者の音声と対象者の音声とを識別する（Ｓ１４）。難聴判定装置５０は、対話者の各音声の特徴量を抽出し（Ｓ１５）、対象者の各回答の遅延時間を算出し（Ｓ１６）、対象者の各回答の不安レベルを判定する（Ｓ１７）。

難聴判定装置５０は、対象者の難聴レベルを判定し（Ｓ１８）、対象者の認知機能レベルを判定する（Ｓ１９）。難聴判定装置５０は、判定した難聴レベルに基づいて対象者の認知機能レベルを補正し（Ｓ２０）、難聴レベル及び認知機能レベルを対応付けたデータを端末装置１０へ送信し（Ｓ２１）、処理を終了する。端末装置１０は、難聴レベル及び認知機能レベルを対応付けたデータを受信して表示し（Ｓ２２）、処理を終了する。

難聴判定装置５０は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１４に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で難聴判定装置５０を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよい。学習済のＤＮＮ５９２、ＲＮＮ５９３、ＣＮＮ５９６は、それぞれ学習処理部を備える他のサーバ等で生成して、難聴判定装置５０にダウンロードしてもよい。

本実施の形態の難聴判定装置５０は、様々な機器に組み込むことができる。例えば、補聴器にマイクと本実施の形態の難聴判定装置５０とを組み込むことにより、認知機能判定が可能な補聴器を実現することができる。補聴器のマイクで対象者の音声を取得して、難聴レベルだけでなく認知機能レベルも判定することができる。判定結果は、補聴器との間で無線通信可能な表示ディスプレ（例えば、スマートフォン、タブレット、パーソナルコンピュータ、ＴＶなど）に表示することができる。

また、本実施の形態の難聴判定装置５０をロボットやスマートスピーカに組み込むことができる。ロボットやスマートスピーカは、対象者と対話することにより、対象者の音声を取得し、難聴レベル及び認知機能レベルも判定することができる。この場合、ロボットやスマートスピーカの発話は、例えば、聞き取りにくい話し方と聞き取りやすい話し方の両方の音声を出力して対象者の反応を取得することができる。判定結果は、対象者の携帯端末（例えば、スマートフォン、タブレット）に出力してもよく、音声で判定結果を通知してもよい。このようなロボットは、病院、診療所、役所、店舗などに設置することができる。また、スマートスピーカは、対象者や家族の自宅に設置することにより、例えば、見守りサービスを実現できる。

また、本実施の形態の難聴判定装置５０を、スマートフォン、タブレット、パーソナルコンピュータ、カメラ等に組み込み、対象者がＴＶ電話を行う際に、音声を取得し、難聴レベル及び認知機能レベルも判定することができる。判定結果は、スマートフォン、タブレット、パーソナルコンピュータ、カメラに記録され、必要に応じて、あるいは定期的に表示又は出力するようにしてもよい。これにより、対象者は、自身の難聴レベル及び認知機能レベルの履歴をいつでも確認することができる。

本実施の形態の難聴判定装置は、対象者と対話者との対話音声を取得する取得部と、前記取得部で取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する抽出部と、前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する算出部と、前記抽出部で抽出した特徴量及び前記算出部で算出した遅延時間に基づいて前記対象者の難聴レベルを判定する難聴レベル判定部とを備える。

本実施の形態の難聴判定システムは、対象者と対話者との対話音声を取得する取得部と、前記取得部で取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する抽出部と、前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する算出部と、前記抽出部で抽出した特徴量及び前記算出部で算出した遅延時間に基づいて前記対象者の難聴レベルを判定する難聴レベル判定部とを備える。

本実施の形態のコンピュータプログラムは、コンピュータに、対象者と対話者との対話音声を取得する処理と、取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する処理と、取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する処理と、抽出した特徴量及び算出した遅延時間に基づいて前記対象者の難聴レベルを判定する処理とを実行させる。

本実施の形態の難聴判定方法は、対象者と対話者との対話音声を取得し、取得された対話音声に基づいて前記対話者の音声に関する特徴量を抽出し、取得された対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出し、抽出された特徴量及び算出された遅延時間に基づいて前記対象者の難聴レベルを判定する。

取得部は、対象者と対話者との対話音声を取得する。対象者は、難聴を判定する対象者である。対話者は、対象者と対話する者であり、例えば、医師、看護師、カウンセラ、介護士などが含まれる。抽出部は、取得した対話音声に基づいて対話者の音声に関する特徴量を抽出する。特徴量は、難聴者にとって聞き取りにくさを表すことができる特徴量であればよい。

算出部は、取得した対話音声に基づいて対話者の発話に対する対象者の回答の遅延時間を算出する。遅延時間は、対話者の発話の終了時点から対象者の回答の開始時点までの時間とすることができる。健常者と比較して難聴者の場合は、遅延時間は長くなる傾向があると考えられる。判定部は、抽出した特徴量及び算出した遅延時間に基づいて対象者の難聴レベルを判定する。すなわち、対象者にとって、対話者の発話がどの程度聞き取りにくいかという点と、対話者の発話に対して対象者の発話がどの程度遅れるかという点に応じて対象者の難聴レベルを判定するので、対象者の難聴を判定することができる。

本実施の形態の難聴判定装置は、前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の不安レベルを判定する不安レベル判定部を備え、前記難聴レベル判定部は、前記不安レベル判定部で判定した不安レベルに基づいて前記対象者の難聴レベルを判定する。

不安レベル判定部は、取得した対話音声に基づいて対話者の発話に対する対象者の不安レベルを判定する。不安レベルの大小は、自信レベルの小大に対応する。不安レベルの判定には、例えば、対象者の発話の声量、発話内容の具体性や明確さ等を用いることができる。

難聴レベル判定部は、判定した不安レベルに基づいて対象者の難聴レベルを判定する。例えば、不安レベルが高い場合には、対話者の発話が聞こえない、あるいは聞きにくいことが原因と考えられるので、難聴レベルが高いと判定することができる。これにより、さらに、対象者の難聴を精度よく判定することができる。

不安レベル判定部は、対象者の声量、回答の内容の少なくとも一つに基づいて不安レベルを判定する。例えば、対象者の声が小さい場合には、不安レベルは高いと判定することができる。また、対象者の発話内容が不明瞭又は不明確である場合、不安レベルは高いと判定することができる。

本実施の形態の難聴判定装置において、前記抽出部は、前記対話者の音声に含まれる、所定の閾値以上の高周波数域のパワー、時間、回数又は頻度の少なくとも一つを前記特徴量として抽出する。

抽出部は、対話者の音声に含まれる、子音又は所定の閾値以上の高周波数域のパワー、時間、回数又は頻度の少なくとも一つを特徴量として抽出する。パワーは、子音又は閾値以上の高周波数域の音声の強さとすることができる。時間は、子音又は閾値以上の高周波数域の音声が出ている時間とすることができる。回数は、対話者の発話の１フレーズ中に、子音又は閾値以上の高周波数域が含まれる単語が何回出現したかを表す。頻度は、単位時間当たりに、子音又は閾値以上の高周波数域が含まれる単語が何回出現したかを表す。

本実施の形態の難聴判定装置は、前記取得部で取得した対話音声に基づいて前記対象者の認知機能レベルを判定する認知機能判定部と、前記難聴レベル判定部で判定した難聴レベルに基づいて前記認知機能判定部で判定した認知機能レベルを補正する補正部とを備える。

認知機能判定部は、取得した対話音声に基づいて対象者の認知機能レベルを判定する。認知機能レベルの判定には、例えば、対話音声の音声特徴量（例えば、音声の高さに関連するピッチ、母音や子音の特徴に関連するフォルマント周波数、声道特性に関連するメル周波数スペクトラム係数（ＭＦＣＣ）など）に基づいて行うことができる。認知機能レベルの判定には、例えば、ルールベース、機械学習の一手法であるサポートベクターマシン（ＳＶＭ）、ニューラルネットワークなどの学習モデルを用いることができる。

補正部は、難聴レベル判定部で判定した難聴レベルに基づいて認知機能判定部で判定した認知機能レベルを補正する。例えば、対象者が認知症であると判定され、かつ難聴であると判定された場合には、難聴レベルに応じて、判定された認知機能レベルを補正することにより、当該対象者は認知症ではないと判定することができる場合がある。これにより、難聴のために認知症と判定された対象者を識別して、対象者が認知症であると誤って判定されることを防止できる。

本実施の形態の難聴判定装置は、前記認知機能判定部で判定した認知機能レベルと、前記難聴レベル判定部で判定した難聴レベルとを関連付けて表示するための表示データを出力する出力部を備える。

出力部は、認知機能判定部で判定した認知機能レベルと、難聴レベル判定部で判定した難聴レベルとを関連付けて表示するための表示データを出力する。例えば、認知機能レベルに応じて、認知症と非認知症の２つの区分に分けるとともに、難聴レベルに応じて、難聴と非難聴の２つの区分に分けるとする。これにより、判定結果を、非認知症・難聴、非認知症・非難聴、認知症・難聴、及び認知症・非難聴の４つの領域に区分でき、認知症と難聴との関係を容易に識別することができる。

本実施の形態の難聴判定装置において、前記出力部は、前記対象者の認知機能レベル及び難聴レベルの少なくとも一方を時系列に表示するための表示データを出力する。

出力部は、対象者の認知機能レベル及び難聴レベルの少なくとも一方を時系列に表示するための表示データを出力する。これにより、対象者の認知機能レベル及び難聴レベルの少なくとも一方が、どのように推移するかを容易に確認することができる。対象者は、早期に難聴対策又は認知症対策を行うことができる。

本実施の形態の難聴判定装置において、前記出力部は、前記認知機能判定部で判定した認知機能レベルと、前記補正部で補正した認知機能レベルとを対応付けて出力する。

出力部は、判定した認知機能レベルと、補正した認知機能レベルとを対応付けて出力する。これにより、対象者が認知症と判定されたが、実施は認知症ではないのか、やはり認知症であるのかを容易に確認することができる。

１通信ネットワーク
１０端末装置
１１マイク
５０難聴判定装置
５１制御部
５２通信部
５３音声識別部
５４特徴量抽出部
５５遅延時間算出部
５６記憶部
５７不安レベル判定部
５８難聴レベル判定部
５９認知機能レベル判定部
５９１音声特徴量抽出部
５９２ＤＮＮ
５９３ＲＮＮ
５９５ＦＦＴ変換部
５９６ＣＮＮ
６０補正部
６１出力部

Claims

対象者と対話者との対話音声を取得する取得部と、
前記取得部で取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する抽出部と、
前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する算出部と、
前記抽出部で抽出した特徴量及び前記算出部で算出した遅延時間に基づいて前記対象者の難聴レベルを判定する難聴レベル判定部と、
前記難聴レベル判定部で判定した難聴レベルに基づいて前記対象者の認知機能レベルを補正する補正部と、
前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを判定する認知機能判定部と
を備え、
前記補正部は、
前記難聴レベル判定部で判定した難聴レベルに基づいて前記認知機能判定部で判定した認知機能レベルを補正する難聴判定装置。
前記対象者の対話音声の声量、回答の内容の少なくとも一つに基づいて前記対話者の発話に対する前記対象者の不安レベルを判定する不安レベル判定部を備え、
前記難聴レベル判定部は、
前記不安レベル判定部で判定した不安レベルに基づいて前記対象者の難聴レベルを判定する請求項１に記載の難聴判定装置。
前記抽出部は、
前記対話者の音声に含まれる、子音又は所定の閾値以上の高周波数域のパワー、時間、回数又は頻度の少なくとも一つを前記特徴量として抽出する請求項１又は請求項２に記載の難聴判定装置。
前記認知機能判定部で判定した認知機能レベルと、前記難聴レベル判定部で判定した難聴レベルとを関連付けて表示するための表示データを出力する出力部を備える請求項１から請求項３のいずれか一項に記載の難聴判定装置。
前記出力部は、
前記対象者の認知機能レベル及び難聴レベルの少なくとも一方を時系列に表示するための表示データを出力する請求項４に記載の難聴判定装置。
前記出力部は、
前記認知機能判定部で判定した認知機能レベルと、前記補正部で補正した認知機能レベルとを対応付けて出力する請求項４又は請求項５に記載の難聴判定装置。
対象者と対話者との対話音声を取得する取得部と、
前記取得部で取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する抽出部と、
前記取得部で取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する算出部と、
前記抽出部で抽出した特徴量及び前記算出部で算出した遅延時間に基づいて前記対象者の難聴レベルを判定する難聴レベル判定部と、
前記難聴レベル判定部で判定した難聴レベルに基づいて前記対象者の認知機能レベルを補正する補正部と、
前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを判定する認知機能判定部と
を備え、
前記補正部は、
前記難聴レベル判定部で判定した難聴レベルに基づいて前記認知機能判定部で判定した認知機能レベルを補正する難聴判定システム。
コンピュータに、
対象者と対話者との対話音声を取得する処理と、
取得した対話音声に基づいて前記対話者の音声に関する特徴量を抽出する処理と、
取得した対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出する処理と、
抽出した特徴量及び算出した遅延時間に基づいて前記対象者の難聴レベルを判定する処理と、
前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを判定する処理と、
判定した難聴レベルに基づいて前記対象者の認知機能レベルを補正する処理と
を実行させるコンピュータプログラム。
対象者と対話者との対話音声を取得部が取得し、
取得された対話音声に基づいて前記対話者の音声に関する特徴量を抽出部が抽出し、
取得された対話音声に基づいて前記対話者の発話に対する前記対象者の回答の遅延時間を算出部が算出し、
抽出された特徴量及び算出された遅延時間に基づいて前記対象者の難聴レベルを難聴レベル判定部が判定し、
前記対象者又は対話者の対話音声の音声特徴量、音声波形及び音声波形を変換したスペクトログラムの少なくとも一つを用いて前記対象者の認知機能レベルを認知機能判定部が判定し、
判定された難聴レベルに基づいて前記対象者の認知機能レベルを補正部が補正する、
認知機能レベル補正方法。