JP6712028B1

JP6712028B1 - 認知機能判定装置、認知機能判定システム及びコンピュータプログラム

Info

Publication number: JP6712028B1
Application number: JP2020001799A
Authority: JP
Inventors: 真輝大西
Original assignee: Exa Wizards Inc
Current assignee: Exa Wizards Inc
Priority date: 2020-01-09
Filing date: 2020-01-09
Publication date: 2020-06-17
Anticipated expiration: 2040-01-09
Also published as: JP2021108843A

Abstract

【課題】対象者の属性に関わらず認知機能を判定することができる認知機能判定装置、認知機能判定システム、コンピュータプログラム及び認知機能判定方法を提供する。【解決手段】認知機能判定装置は、対象者の音声を取得する取得部と、取得した音声を基準音声に変換する変換部と、変換した基準音声に基づいて対象者の認知機能を判定する判定部とを備える。【選択図】図１

Description

本発明は、認知機能判定装置、認知機能判定システム及びコンピュータプログラムに関する。

近年、認知症患者の増加が懸念され、様々なアプローチを用いて認知症の早期発見に関する技術が開発されている。特許文献１には、ユーザの音声データに基づいて韻律特徴量を抽出し、予め構築された学習モデルを用いて認知機能障害の危険度を算出する装置が開示されている。

特開２０１１−２５５１０６号公報

しかし、韻律などの音声の要素は、対象者の年齢、性別及び体格等の属性によって異なるため、属性が異なると精度よく認知機能を判定することができないおそれがある。また、認知機能を精度よく判定するためには、年齢等の属性毎に認知機能を判定するための学習モデルを準備する必要があり実用的ではない。

本発明は、斯かる事情に鑑みてなされたものであり、対象者の属性に関わらず認知機能を判定することができる認知機能判定装置、認知機能判定システム及びコンピュータプログラムを提供することを目的とする。

本発明の実施の形態に係る認知機能判定装置は、対象者の音声を取得する取得部と、前記取得部で取得した音声を基準音声に変換する変換部と、前記変換部で変換した基準音声に基づいて前記対象者の認知機能を判定する判定部とを備える。

本発明の実施の形態に係る認知機能判定システムは、対象者の音声を取得する取得部と、前記取得部で取得した音声を基準音声に変換する変換部と、前記変換部で変換した基準音声に基づいて前記対象者の認知機能を判定する判定部とを備える。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、対象者の音声を取得する処理と、取得した音声を基準音声に変換する処理と、変換した基準音声に基づいて前記対象者の認知機能を判定する処理とを実行させる。

本発明によれば、対象者の年齢、性別及び体格等の属性に関わらず認知機能を判定することができる。

本実施の形態の認知機能判定システムの構成の一例を示す模式図である。対話音声の音声波形の一例を示す模式図である。基準音声に対応する属性の一例を示す模式図である。音声変換部の構成の一例を示す模式図である。パラメータ変換部の構成の第１例を示す説明図である。パラメータ変換部の構成の第２例を示す説明図である。認知機能判定部の構成の第１例を示す模式図である。認知機能判定部の構成の第２例を示す模式図である。認知機能判定部の構成の第３例を示す模式図である。認知機能判定システムの処理手順の一例を示すフローチャートである。学習済みモデルの生成方法の一例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態の認知機能判定システムの構成の一例を示す模式図である。認知機能判定システムは、認知機能判定装置５０、及び端末装置１０を備える。認知機能判定装置５０と端末装置１０とは、通信ネットワーク１を介して接続されている。端末装置１０は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、スマートスピーカなどの情報処理装置で構成することができる。端末装置１０には、マイク１１が接続されている。マイク１１は、対象者及び対象者と対話する対話者の音声を取得することができる。なお、対象者と対話者の音声を取得することができるのであれば、マイク１１は端末装置１０に内蔵されていてもよい。対象者は、認知症判定の対象者であり、対話者は、医師、看護師、カウンセラ、介護士などの対象者と対話を行う者である。対話者がいる場合には、対象者は対話者と会話することができ、対話者がいないときは、予め定められた文章などを読み上げることができる。対象者の音声、あるいは対象者と対話者の音声は、マイク１１で集音され、端末装置１０を介して認知機能判定装置５０へ送信される。

なお、対象者と対話者の対話は、通信ネットワーク１を介してオンライン上で行われてもよい。この場合、対象者が利用する端末装置１０Ａに接続されたマイク１１Ａにより対象者の音声を取得し、対話者が利用する端末装置１０Ｂに接続されたマイク１１Ｂにより対話者の音声を取得し、マイク１１Ａ、１１Ｂで取得した音声が認知機能判定装置５０へ送信される。

認知機能判定装置５０は、装置全体を制御する制御部５１、通信部５２、音声識別部５３、記憶部５４、音声変換部５５、認知機能判定部５６、及び学習処理部５７を備える。制御部５１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などで構成することができる。通信部５２は、所要の通信モジュールで構成することができる。音声識別部５３は、ＣＰＵで構成することができる。記憶部５４は、ハードディスク又はフラッシュメモリなどで構成することができる。音声変換部５５及び認知機能判定部５６は、例えば、ニューラルネットワークで構成することができる。学習処理部５７は、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。なお、認知機能判定装置５０の制御部５１、音声識別部５３、記憶部５４、音声変換部５５、認知機能判定部５６、及び学習処理部５７の各機能を端末装置１０に設けて、端末装置１０で認知機能レベルを判定するようにしてもよく、認知機能判定装置５０の一部の機能（例えば、音声識別部５３、音声変換部５５）を端末装置１０に設けるようにしてもよい。また、認知機能判定装置５０の各機能は、複数の装置に分散する形で設けてもよい。

通信部５２は、通信ネットワーク１を介して、端末装置１０との間で通信を行う機能を有し、端末装置１０との間で所要の情報の送受信を行うことができる。通信部５２は、取得部としての機能を有し、対象者と対話者の対話音声、あるいは対象者の音声を端末装置１０から取得することができる。

図２は対話音声の音声波形の一例を示す模式図である。縦軸は音声信号の振幅を示し、横軸は時間を示す。図２の例では、対話者の音声１、対象者の音声１、対話者の音声２、対象者の音声２、対話者の音声３と続いている。対話者の音声１と対象者の音声１との間には、回答遅延時間が存在し、同様に、対話者の音声２と対象者の音声２との間にも回答遅延時間が存在している。

音声識別部５３は、識別部としての機能を有し、通信部５２を介して取得した対話音声から、対象者の音声と対話者の音声とを識別することができる。音声の識別は、予め対象者と対話者の音声データを記憶部５４に記憶しておき、記憶した音声データと照合することにより行うことができる。また、音声の識別は、機械学習を用いてもよい。例えば、医師、看護師、カウンセラ、介護士など対話者の音声を機械学習によって識別することができる。また、予め対象者の音声を機械学習させておいてもよい。また、音声の識別の他の方法として、対話者が、対象者が発話するとき、あるいは対話者が発話するときに端末装置１０に設けられた操作ボタン等を操作すると、端末装置１０は、操作ボタン等が操作されたことを示す識別フラグを音声データと同期させて認知機能判定装置５０へ送信する。音声識別部５３は、識別フラグを取得し、識別フラグの有無に応じて、対象者の音声か対話者の音声かを識別することができる。また、音声の識別の他の方法としては、マイク１１の指向性を利用することができる。例えば、指向性の高い領域に対象者が入るようにマイク１１を配置して、音声の歪の大小で区別することができる。

音声変換部５５は、変換部としての機能を有し、通信部５２を介して取得した音声を基準音声に変換する。

図３は基準音声に対応する属性の一例を示す模式図である。音声は、主に声帯と声道によって作り出される。声帯は、開閉弁の役割を有し、肺から吐き出された呼気によって周期的に振動する。声道は口腔や鼻腔などの空洞部分である。声帯や声道は、人の年齢、性別、体格等の様々な属性によって異なるため、人によって声質も変わってくる。図３の例では、対象者の属性をＣ１、Ｃ２、Ｃ３、…としたときに、年齢、性別、身長、体重が属性毎に異なる様子を示す。対話者の属性も対象者の属性と同様である。一方、基準音声は、例えば、年齢、性別、体格等の様々な属性が所定の属性の音声とすることができる。所定の属性は、例えば、図３に示すように、５０歳の男性で標準的な体格（例えば、身長が１７０ｃｍ、体重が７０ｋｇなど）とすることができる。なお、基準音声に対応する属性は図３の例に限定されない。

音声変換部５５は、対象者又は対話者の音声に含まれる音韻情報を保持したまま声質を変換することができる。

図４は音声変換部５５の構成の一例を示す模式図である。図４に示すように、音声変換部５５は、パラメータ抽出部５５１、パラメータ変換部５５２、及び音声合成部５５３を備える。音声変換部５５は、対象者又は対話者の音声信号（両者の音声信号でもよい）が入力されると、入力された音声信号を基準音声信号（基準音声の音声信号）に変換し、変換した基準音声信号を出力することができる。

パラメータ抽出部５５１は、入力された音声信号から、ピッチＸ、及びフォルマント周波数Ｙなどのパラメータを抽出し、抽出したピッチＸ、及びフォルマント周波数Ｙをパラメータ変換部５５２に出力する。なお、フォルマント周波数Ｙには、第１フォルマント周波数Ｙ１、第２フォルマント周波数Ｙ２、第３フォルマント周波数Ｙ３、第４フォルマント周波数Ｙ４などを含めることができる。ピッチＸは、音声の高低に関係し、声道の形状（例えば、長さ等）と関係し、属性の違いがピッチＸの違いとなって表れる。また、フォルマント周波数Ｙは、声道の形状等と関係し、属性の違いがフォルマント周波数Ｙの違いとなって表れる。本明細書において、パラメータ抽出部５５１が抽出するパラメータは、例えば、声道形状や声帯の違いを表すことができるパラメータであればよく、上述のようなピッチやフォルマント周波数を含む。パラメータは、後述の音声特徴量の一部と共通していてもよい。

パラメータ変換部５５２は、入力された音声のパラメータを基準音声のパラメータに変換する。例えば、パラメータ変換部５５２は、ピッチＸを基準ピッチＰに変換し、フォルマント周波数Ｙを基準フォルマント周波数Ｆに変換する。パラメータ変換部５５２は、変換して得られたパラメータ（基準ピッチＰ及び基準フォルマント周波数Ｆ）を音声合成部５５３に出力する。基準フォルマント周波数Ｆには、第１フォルマント周波数Ｆ１、第２フォルマント周波数Ｆ２、第３フォルマント周波数Ｆ３、第４フォルマント周波数Ｆ４などを含めることができる。基準ピッチＰ及び基準フォルマント周波数Ｆは、例えば、図３に例示した基準音声に対応するパラメータである。

音声合成部５５３は、パラメータ変換部５５２から入力された音声のパラメータ（基準ピッチＰ及び基準フォルマント周波数Ｆ）を用いて基準音声を生成して認知機能判定部５６へ出力することができる。

図５はパラメータ変換部５５２の構成の第１例を示す説明図である。図５に示すように、パラメータ変換部５５２は、変換テーブル５５２ａで構成することができる。例えば、対象者又は対話者の音声から抽出したピッチをＸ１、第１フォルマント周波数〜第４フォルマント周波数をＹ１１〜Ｙ４１とすると、変換式ＦＦ１を用いて基準ピッチＰ及び基準フォルマント周波数Ｆに変換することができる。同様に、対象者又は対話者の音声から抽出したピッチをＸ２、第１フォルマント周波数〜第４フォルマント周波数をＹ１２〜Ｙ４２とすると、変換式ＦＦ２を用いて基準ピッチＰ及び基準フォルマント周波数Ｆに変換することができる。他の属性の場合も同様である。このように、パラメータ変換部５５２は、ルールベースで基準音声のパラメータに変換することができる。なお、変換式に代えて、基準ピッチＰ及び基準フォルマント周波数Ｆの数値を変換テーブルに記録してもよい。この場合には、単に、ピッチＸ１、第１フォルマント周波数〜第４フォルマント周波数Ｙ１１〜Ｙ４１を、基準ピッチＰ及び基準フォルマント周波数Ｆの数値に置き換えるだけでよい。

図６はパラメータ変換部５５２の構成の第２例を示す説明図である。図６に示すように、パラメータ変換部５５２は、ニューラルネットワーク５５２ｂで構成することができる。ニューラルネットワーク５５２ｂは、第１学習モデルとしての機能を有し、入力層、中間層、出力層を備える。ニューラルネットワーク５５２ｂとして、例えば、ＤＮＮ、ＲＮＮ、ＣＮＮ又はオートエンコーダを用いることができるが、他のモデルを用いてもよい。学習処理部５７は、学習用データを用いて学習済のニューラルネットワーク５５２ｂを生成することができる。学習処理部５７は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。また、量子プロセッサを組み合わせることもできる。

ニューラルネットワーク５５２ｂは、人の音声の音声データのパラメータを入力層に与え、入力層に与える人の音声のパラメータに対応する基準音声のパラメータを出力層に与えて生成することができる。この場合、入力層に与える音声データのパラメータは、ある属性の人の音声データから抽出したピッチ及びフォルマント周波数とすることができ、出力層に与えるのパラメータは、基準音声の音声データから抽出したピッチ及びフォルマント周波数とすることができる。学習用データは、ある属性の人の音声データから抽出したピッチ及びフォルマント周波数、並びに基準音声の音声データから抽出したピッチ及びフォルマント周波数とすることができる。このような学習用データは、様々な属性の人の音声データを収集して、第１訓練データとして準備することができる。なお、入力層に与える、任意の属性の人の音声と、出力層に与える基準音声とは、同じ音韻等に対応するパラメータの組が必要なので、両者の発話内容は同じものとする（同じ内容を話すものとする）。これにより、音声変換部５５は、ニューラルネットワーク５５２ｂを用いて、対象者及び対話者の音声を基準音声に変換することができる。

認知機能判定部５６は、判定部としての機能を有し、音声変換部５５で変換した基準音声に基づいて対象者の認知機能を判定する。認知機能の判定は、例えば、基準音声の音声特徴量（例えば、音声の高さに関連するピッチ、母音や子音の特徴に関連するフォルマント周波数、声道特性に関連するメル周波数スペクトラム係数（ＭＦＣＣ）など）に基づいて行うことができる。認知機能の判定には、例えば、ルールベース、機械学習の一手法であるサポートベクターマシン（ＳＶＭ）、ニューラルネットワークなどの学習モデルを用いることができる。本明細書において、音声特徴量は、認知機能障害を判定することができる特徴量であり、音声の韻律的特徴を特定することができる特徴量であればよい。音声特徴量は、例えば、上述のようなピッチ、フォルマント周波数、メル周波数スペクトラム係数など、あるいはこれらの組み合わせを含む。

上述のように、対象者の音声を基準音声に変換し、変換した基準音声を用いて認知機能を判定するので、対象者それぞれの声質が、年齢、性別及び体格等の属性によって異なる場合でも、それぞれの属性に適した認知機能のための学習モデルや判定装置を予め準備する必要がない。すなわち、属性に応じた学習モデルや判定装置を準備することなく、対象者の年齢、性別及び体格等の属性に関わらず認知機能を判定することができる。また、認知機能の判定を、高齢者を対象とするだけでなく若年者も対象とすることができる。

また、認知機能判定部５６は、対象者の基準音声だけでなく、対話者の基準音声に基づいて対象者の認知機能を判定することができる。すなわち、対象者の基準音声だけでなく、対象者と対話する対話者の基準音声も認知機能の判定の要素とすることができる。対話者の質問等の発話に対する対象者の回答等の応答を、対象者の認知機能の判定に用いることができるので、人の問いかけに対して、対象者がどのように反応しているかを判断材料とすることができ、認知機能の判定の精度を向上させることができる。

次に、認知機能判定部５６の詳細について説明する。

図７は認知機能判定部５６の構成の第１例を示す模式図である。図７に示すように、認知機能判定部５６は、音声特徴量抽出部５６１、及びＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）５６２を備える。音声特徴量抽出部５６１は、対話者の音声波形と対象者の音声波形（例えば、対話者の質問と質問に対する対象者の回答を１つの纏まりとする音声波形）に基づいて、対象者の音声特徴量（例えば、ピッチ、フォルマント周波数、メル周波数スペクトラム係数（ＭＣＦＦ））を抽出するとともに、対話者の音声特徴量（例えば、ピッチ、フォルマント周波数、メル周波数スペクトラム係数（ＭＣＦＦ））を抽出する。認知機能障害を特定するには、音声の３つの要素（韻律、音質及び音韻）のうち、特に韻律が重要な非言語情報であることが知られている。そこで、韻律を特徴付ける音声特徴量として、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数を用いてＤＮＮ５６２を学習させることができる。

音声特徴量抽出部５６１には、識別フラグを入力することができる。識別フラグは、対象者フラグ及び対話者フラグとすることができる。例えば、音声特徴量抽出部５６１に対話者の音声が入力される場合、音声が入力されている間、対話者フラグを入力し続けてもよく、対話者の音声の開始と終了時に対話者フラグを入力してもよい。音声特徴量抽出部５６１に対象者の音声が入力される場合、音声が入力されている間、対象者フラグを入力し続けてもよく、対象者の音声の開始と終了時に対象者フラグを入力してもよい。これにより、音声特徴量抽出部５６１は、対象者のみの音声が入力される場合でも、対象者の音声と対話者の音声が順番に繰り返し入力される場合でも、対象者と対話者の別を識別することができる。音声特徴量抽出部５６１は、抽出した対象者の特徴量と対話者の特徴量とをＤＮＮ５６２に入力する。

また、ＤＮＮ５６２には、対話者の質問等の発話に対する対象者の回答等の応答時間を入力してもよい。ＤＮＮ５６２は、健常者及び認知機能障害者と対話する対話者の発話に対する健常者及び認知機能障害者の応答時間を含む学習用データを用いて生成されている。応答時間は、対話者の発話の終了時点から健常者及び認知機能障害者の回答の開始時点までの時間とすることができる。認知機能が低下するのに応じて応答時間は長くなる傾向があると考えられるので、応答時間を学習用データに含めることにより、ＤＮＮ５６２の認知機能の判定の精度を向上させることができる。

ＤＮＮ５６２は、人の音声が変換された基準音声が入力された場合に、当該人の認知機能レベルを出力することができる。図７の例では、認知機能レベル（認知機能障害のレベル）をレベル「１」からレベル「ｍ」までのｍ個に区分している。認知機能レベルｍが重度の認知機能障害に相当し、レベルを示す数値が小さいほど、認知機能障害は軽くなる。認知機能レベルが所定の閾値以下であれば健常者と判定し、所定の閾値を超える場合には認知症と判定してもよい。

学習処理部５７は、学習用データ（第２訓練データ）を用いて学習済のＤＮＮ５６２を生成することができる。ＤＮＮ５６２は、健常者及び認知機能障害者それぞれの音声が変換された基準音声の基準音声データを入力層に与え、入力層に与える基準音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。この場合、健常者及び認知機能障害者の音声データから音声特徴量（例えば、ピッチ、フォルマント周波数、メル周波数スペクトラム係数など）を抽出し、抽出した音声特徴量を学習用データとして用いることができる。また、認知機能レベルは、例えば、数値で１〜５の如く５段階に区分してもよい（図７の例ではｍ＝５）。この場合、認知機能レベルが所定の閾値以下であれば健常者と判定し、所定の閾値を超える場合には認知症と判定してもよい。また、認知機能レベルは、正常、軽度認知症及び重度認知症の如く３段階に区分してもよく、正常及び認知症の如く２段階で区分してもよい。これにより、ＤＮＮ５６２は、変換された基準音声に基づいて対象者の認知機能レベルを判定することができる。

また、ＤＮＮ５６２は、健常者及び認知機能障害者それぞれの音声が変換された基準音声に加えて、対話者の音声が変換された基準音声の基準音声データを入力層に与え、入力層に与える基準音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。

図８は認知機能判定部５６の構成の第２例を示す模式図である。図８に示すように、認知機能判定部５６は、ＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）５６３を備える。図８に示すように、対話者の音声波形と対象者の音声波形（例えば、対話者の質問と質問に対する対象者の回答を１つの纏まりとする音声波形）がＲＮＮ５６３に入力されると、ＲＮＮ５６３は、対象者の認知機能レベルを出力することができる。図８の例では、認知機能レベルをレベル「１」からレベル「ｍ」までのｍ個に区分している。認知機能レベルｍが重度の認知機能障害に相当し、レベルを示す数値が小さいほど、認知機能障害は軽くなる。

ＲＮＮ５６３には、識別フラグを入力することができる。識別フラグは、対象者フラグ及び対話者フラグとすることができる。例えば、ＲＮＮ５６３に対話者の音声が入力される場合、音声が入力されている間、対話者フラグを入力し続けてもよく、対話者の音声の開始と終了時に対話者フラグを入力してもよい。ＲＮＮ５６３に対象者の音声が入力される場合、音声が入力されている間、対象者フラグを入力し続けてもよく、対象者の音声の開始と終了時に対象者フラグを入力してもよい。これにより、ＲＮＮ５６３は、対象者のみの音声が入力される場合でも、対象者の音声と対話者の音声が順番に繰り返し入力される場合でも、対象者と対話者の別を識別することができる。なお、対話者フラグは入力しなくてもよい。例えば、対象者の音声だけがＲＮＮ５６３に入力される場合、あるいは、対象者の音声と対話者の音声とが予め識別される場合には、対話者フラグは不要である。

学習処理部５７は、学習用データを用いて学習済のＲＮＮ５６３を生成することができる。ＲＮＮ５６３は、健常者及び認知機能障害者それぞれの音声が変換された基準音声の基準音声データを入力層に与え、入力層に与える基準音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。この場合、学習用データとしての音声データは、健常者及び認知機能障害者の音声データでもよく、健常者及び認知機能障害者と対話者の両方の音声データでもよい。音声データは、そのまま学習用データとして直接用いることができる。また、識別フラグをＲＮＮ５６３に入力して学習させてもよい。ＲＮＮ５６３は、変換された基準音声に基づいて対象者の認知機能レベルを判定することができる。

また、ＲＮＮ５６３は、健常者及び認知機能障害者それぞれの音声が変換された基準音声に加えて、対話者の音声が変換された基準音声の基準音声データを入力層に与え、入力層に与える基準音声データに対応する健常者及び認知機能障害者それぞれの認知機能レベルを出力層に与えて生成することができる。

図９は認知機能判定部５６の構成の第３例を示す模式図である。図９に示すように、認知機能判定部５６は、ＦＦＴ変換部５６５、及びＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）５６４を備える。ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）変換部５６５は、対話者の音声波形と対象者の音声波形（例えば、対話者の質問と質問に対する対象者の回答を１つの纏まりとする音声波形）をスペクトログラムに変換し、変換した、対象者及び対話者それぞれのスペクトログラムをＣＮＮ５６４に出力する。スペクトログラムは、２次元マップであり、縦軸は周波数を示し、横軸は時間を示し、２次元上の各点（座標）の明るさ又は色等によって、その点での周波数の振幅（強さ）を表すことができる。スペクトログラムは、対話者と対象者の音声波形にどのような周波数成分が含まれるかを示すことができる。

ＦＦＴ変換部５６５には、識別フラグを入力することができる。識別フラグは、対象者フラグ及び対話者フラグとすることができる。例えば、ＦＦＴ変換部５６５に対話者の音声が入力される場合、音声が入力されている間、対話者フラグを入力し続けてもよく、対話者の音声の開始と終了時に対話者フラグを入力してもよい。ＦＦＴ変換部５６５に対象者の音声が入力される場合、音声が入力されている間、対象者フラグを入力し続けてもよく、対象者の音声の開始と終了時に対象者フラグを入力してもよい。これにより、ＦＦＴ変換部５６５は、対象者のみの音声が入力される場合でも、対象者の音声と対話者の音声が順番に繰り返し入力される場合でも、対象者と対話者の別を識別することができる。ＣＮＮ５６４は、スペクトログラムが入力されると、対象者の認知機能レベルを出力することができる。図９の例では、認知機能レベルをレベル「１」からレベル「ｍ」までのｍ個に区分している。

学習処理部５７は、学習用データを用いて学習済のＣＮＮ５６４を生成することができる。ＣＮＮ５６４は、健常者及び認知機能障害者の基準音声の音声データから変換されたスペクトログラムと、当該健常者及び認知機能障害者の認知機能レベルとを学習用データを用いて生成することができる。なお、スペクトログラムに代えて、音声波形を２次元マップとして捉えると、この２次元マップは、各点（座標）の明るさ又は色等によって、その点での音声信号の有無を表すことができる。そこで、２次元マップとして捉えた音声波形をＣＮＮ５６４に入力してもよい。

また、ＣＮＮ５６４は、健常者及び認知機能障害者の基準音声の音声データから変換されたスペクトログラムに加えて、対話者の基準音声の音声データから変換されたスペクトログラムと、当該健常者及び認知機能障害者の認知機能レベルとを学習用データを用いて生成することができる。

本実施の形態において、認知機能の判定は、図７〜図９に例示した、各構成のいずれかを用いてもよく、各構成を組み合わせてもよい。例えば、図７と図８の各構成の両方を用いて認知機能の判定を行ってもよく、図７と図９の各構成の両方を用いて認知機能の判定を行ってもよい。構成を組み合わせる場合には、各構成の判定結果を総合的に判定して最終判定とすればよい。

上述のように、ＤＮＮ５６２、ＲＮＮ５６３、ＣＮＮ５６４は、健常者及び認知機能障害者と対話する対話者の音声が変換された基準音声の音声データを含む学習用データを用いて生成されている。健常者及び認知機能障害者の基準音声だけでなく、健常者及び認知機能障害者と対話する対話者の基準音声も認知機能の判定の要素とすることができる。すなわち、対話者の質問等の発話に対する健常者及び認知機能障害者の回答等の応答を認知機能の判定に用いることができるので、人の問いかけに対して、健常者及び認知機能障害者がどのように反応しているかを学習することでき、ＤＮＮ５６２、ＲＮＮ５６３、ＣＮＮ５６４の認知機能の判定の精度を向上させることができる。

本実施の形態において、ＤＮＮ５６２、ＲＮＮ５６３、ＣＮＮ５６４は、自身が判定した対象者の認知機能レベルを、医師が判断した認知機能レベル（修正認知機能レベル）に更新した学習用データを用いて再学習することができる。例えば、ＤＮＮ５６２が、ある対象者の認知機能レベルをレベル「３」と判定したとする。医師が診察によって当該対象者の認知機能レベルをレベル「４」と判定した場合、当該対象者の基準音声と認知機能レベルを「４」に更新した学習用データを用いてＤＮＮ５６２を再学習させることができる。ＲＮＮ５６３、ＣＮＮ５６４についても同様である。これにより、ＤＮＮ５６２、ＲＮＮ５６３、ＣＮＮ５６４の認知機能の判定の精度を向上させることができる。

図１０は認知機能判定システムの処理手順の一例を示すフローチャートである。端末装置１０は、対話音声を取得し（Ｓ１１）、取得した対話音声を認知機能判定装置５０へ送信する（Ｓ１２）。認知機能判定装置５０は、対話音声を受信し（Ｓ１３）、対象者の音声と対話者の音声とを識別する（Ｓ１４）。認知機能判定装置５０は、対話者の音声及び対象者の音声を基準音声に変換し（Ｓ１５）、変換した基準音声に基づいて対象者の認知機能レベルを判定する（Ｓ１６）。認知機能判定装置５０は、判定結果を端末装置１０へ送信し（Ｓ１７）、後述のステップＳ１９の処理を行う。

端末装置１０は、判定結果を受信して出力し（Ｓ１８）、処理を終了する。認知機能判定装置５０は、基準音声に基づいて判定した認知機能レベルに対する医師の修正認知機能レベルを取得したか否かを判定し（Ｓ１９）、修正認知機能レベルを取得した場合（Ｓ１９でＹＥＳ）、当該基準音声及び修正認知機能レベルを再学習データとして記憶部５４に記憶し（Ｓ２０）、処理を終了する。認知機能判定装置５０は、修正認知機能レベルを取得していない場合（Ｓ１９でＮＯ）、処理を終了する。

図１１は学習済みモデルの生成方法の一例を示すフローチャートである。認知機能判定装置５０は、音声及び当該音声に対応する基準音声を含む第１訓練データを複数取得し（Ｓ３１）、取得した複数の第１訓練データを用いて第１学習済みモデルを生成する（Ｓ３２）。認知機能判定装置５０は、基準音声及び当該基準音声の話者の認知機能レベルを含む第２訓練データを複数取得し（Ｓ３３）、取得した複数の第２訓練データを用いて第２学習済みモデルを生成し（Ｓ３４）、処理を終了する。

認知機能判定装置５０は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１０及び図１１に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で認知機能判定装置５０を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよい。学習済のＤＮＮ５６２、ＲＮＮ５６３、ＣＮＮ５６４は、それぞれ学習処理部を備える他のサーバ等で生成して、認知機能判定装置５０にダウンロードしてもよい。

また、本実施の形態の認知機能判定装置５０をロボットやスマートスピーカに組み込むことができる。ロボットやスマートスピーカは、対象者と対話することにより、対象者の音声を取得し、基準音声に変換して認知機能レベルを判定することができる。この場合、ロボットやスマートスピーカの発話は、例えば、聞き取りにくい話し方と聞き取りやすい話し方の両方の音声を出力して対象者の反応を取得することができる。判定結果は、対象者の携帯端末（例えば、スマートフォン、タブレット）に出力してもよく、音声で判定結果を通知してもよい。このようなロボットは、病院、診療所、役所、店舗などに設置することができる。また、スマートスピーカは、対象者や家族の自宅に設置することにより、例えば、見守りサービスを実現できる。

また、本実施の形態の認知機能判定装置５０を、スマートフォン、タブレット、パーソナルコンピュータ、カメラ等に組み込み、対象者が電話やＴＶ電話を行う際に、音声を取得し、認知機能レベルを判定することができる。判定結果は、スマートフォン、タブレット、パーソナルコンピュータ、カメラに記録され、必要に応じて、あるいは定期的に表示又は出力するようにしてもよい。これにより、対象者は、自身の認知機能レベルの履歴をいつでも確認することができる。

本実施の形態の認知機能判定装置は、対象者の音声を取得する取得部と、前記取得部で取得した音声を基準音声に変換する変換部と、前記変換部で変換した基準音声に基づいて前記対象者の認知機能を判定する判定部とを備える。

本実施の形態の認知機能判定システムは、対象者の音声を取得する取得部と、前記取得部で取得した音声を基準音声に変換する変換部と、前記変換部で変換した基準音声に基づいて前記対象者の認知機能を判定する判定部とを備える。

本実施の形態のコンピュータプログラムは、コンピュータに、対象者の音声を取得する処理と、取得した音声を基準音声に変換する処理と、変換した基準音声に基づいて前記対象者の認知機能を判定する処理とを実行させる。

取得部は、対象者の音声を取得する。対象者の音声は、対象者と対話する対話者との対話音声とすることができる。変換部は、取得した音声を基準音声に変換する。基準音声は、例えば、年齢、性別、体格等の様々な属性が所定の属性の音声とすることができる。所定の属性は、例えば、５０歳の男性で標準的な体格（例えば、身長が１７０ｃｍ、体重が７０ｋｇなど）とすることができる。変換部は、対象者の音声に含まれる音韻情報を保持したまま声質を変換することができる。判定部は、変換した基準音声に基づいて対象者の認知機能を判定する。認知機能の判定には、例えば、基準音声の音声特徴量（例えば、音声の高さに関連するピッチ、母音や子音の特徴に関連するフォルマント周波数、声道特性に関連するメル周波数スペクトラム係数（ＭＦＣＣ）など）に基づいて行うことができる。認知機能の判定には、例えば、ルールベース、機械学習の一手法であるサポートベクターマシン（ＳＶＭ）、ニューラルネットワークなどの学習モデルを用いることができる。

本実施の形態の認知機能判定装置において、前記取得部は、前記対象者と対話する対話者の音声を取得し、前記変換部は、前記対話者の音声を基準音声に変換し、前記判定部は、前記対話者の変換された基準音声に基づいて前記対象者の認知機能を判定する。

取得部は、対象者と対話する対話者の音声を取得し、変換部は、対話者の音声を基準音声に変換する。判定部は、対話者の変換された基準音声に基づいて対象者の認知機能を判定する。対象者の基準音声だけでなく、対象者と対話する対話者の基準音声も認知機能の判定の要素とすることができる。すなわち、対話者の質問等の発話に対する対象者の回答等の応答を、対象者の認知機能の判定に用いることができるので、人の問いかけに対して、対象者がどのように反応しているかを判断材料とすることができ、認知機能の判定の精度を向上させることができる。

本実施の形態の認知機能判定装置において、前記変換部は、対象者の音声が入力された場合に、基準音声を出力する第１学習済みモデルを含む。

本実施の形態の認知機能判定装置は、前記判定部は、前記基準音声が入力された場合に、対象者の認知機能レベルを出力する第２学習済みモデルを含む。

本実施の形態の認知機能判定装置において、前記第２学習済みモデルは、対象者及び対話者の対話を前記第１学習済みモデルに入力して出力された前記基準音声が入力された場合に、前記対象者の認知機能レベルを出力する。

第２学習済みモデルは、対象者及び対話者の対話を第１学習済みモデルに入力して出力された対象者及び対話者の基準音声が入力された場合に、対象者の認知機能レベルを出力することができる。第２学習済みモデルは、健常者及び認知機能障害者と対話する対話者の音声が変換された基準音声の音声データを含む学習用データを用いて生成されている。健常者及び認知機能障害者の基準音声だけでなく、健常者及び認知機能障害者と対話する対話者の基準音声も認知機能の判定の要素とすることができる。すなわち、対話者の質問等の発話に対する健常者及び認知機能障害者の回答等の応答を認知機能の判定に用いることができるので、人の問いかけに対して、健常者及び認知機能障害者がどのように反応しているかを学習することでき、第２学習済みモデルの認知機能の判定の精度を向上させることができる。

本実施の形態の認知機能判定装置において、前記第２学習済みモデルは、前記基準音声の音声データから抽出される、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数の少なくとも一つを含む音声特徴量が入力された場合に、前記対象者の認知機能レベルを出力する。

第２学習済みモデルは、基準音声の音声データから抽出される、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数の少なくとも一つを含む音声特徴量が入力された場合に、対象者の認知機能レベルを出力することができる。第２学習済みモデルは、基準音声の音声データから抽出される、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数（ＭＣＦＦ）の少なくとも一つを含む音声特徴量を含む学習用データを用いて生成されている。認知機能障害を特定するには、音声の３つの要素（韻律、音質及び音韻）のうち、特に韻律が重要な非言語情報であることが知られている。そこで、韻律を特徴付ける音声特徴量として、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数を用いて第２学習済みモデルを生成する。例えば、第２学習済みモデルが出力する認知機能レベルを、１〜５の５段階とする。認知機能レベルが予め「３」であると分かっている音声データから抽出されるピッチ、フォルマント周波数及びメル周波数スペクトラム係数を学習用データとして第２学習モデルに与えるとともに教師ラベルとして認知機能レベル「３」を第２学習モデルに与える。他の認知機能レベルについても同様である。

本実施の形態の認知機能判定装置において、前記第２学習済みモデルは、対話者の発話に対する対象者の回答の応答時間がさらに入力された場合に、前記対象者の認知機能レベルを出力する。

第２学習済みモデルは、対話者の発話に対する対象者の回答の応答時間がさらに入力された場合に、対象者の認知機能レベルを出力することができる。第２学習済みモデルは、健常者及び認知機能障害者と対話する対話者の発話に対する健常者及び認知機能障害者の応答時間を含む学習用データを用いて生成されている。応答時間は、対話者の発話の終了時点から健常者及び認知機能障害者の回答の開始時間までの遅延時間とすることができる。認知機能が低下するのに応じて応答時間は長くなる傾向があると考えられるので、応答時間を学習用データに含めることにより、第２学習済みモデルの認知機能の判定の精度を向上させることができる。

本実施の形態の認知機能判定装置は、基準音声を入力することにより前記第２学習済みモデルから出力された認知機能レベルに対する医師の修正認知機能レベルを取得し、前記基準音声及び修正認知機能レベルを前記第２学習済みモデルの再学習データとして記憶する。

基準音声を入力することにより第２学習済みモデルから出力された認知機能レベルに対する医師の修正認知機能レベルを取得し、基準音声及び修正認知機能レベルを第２学習済みモデルの再学習データとして記憶する。第２学習済みモデルは、判定した人の認知機能レベルを医師の判断によって更新した認知機能レベルが入力されると、再学習を行うことができる。第２学習済みモデルは、判定した対象者の認知機能レベルを、医師が判断した認知機能レベルに更新した学習用データを用いて再学習可能である。例えば、第２学習済みモデルが、ある対象者の認知機能レベルをレベル「３」と判定したとする。医師が診察によって当該対象者の認知機能レベルをレベル「４」と判定した場合、当該対象者の基準音声と認知機能レベルを「４」に更新した学習用データを用いて第２学習済みモデルを再学習させることができる。これにより、第２学習済みモデルの認知機能の判定の精度を向上させることができる。

本実施の形態の認知機能判定装置は、前記対象者の音声と、前記対象者と対話する対話者の音声とを識別する識別部を備える。

識別部は、対話音声から、対象者の音声と対話者の音声とを識別する。音声の識別には、予め対象者と対話者の音声データを記憶しておき、記憶した音声データと照合する方法、対話者が、対象者が発話するとき、あるいは対話者が発話するときにボタン等を操作して区別する方法、マイクの指向性を利用して区別する方法などを用いることができる。これにより、対象者の音声と対話者の音声とを識別することができる。

本実施の形態の認知機能判定装置において、前記取得部は、前記対象者と対話者とを識別する識別フラグを取得する。

取得部は、対象者と対話者とを識別する識別フラグを取得する。識別フラグは、対象者フラグ、及び対話者フラグとすることができる。これにより、対象者のみの音声、対話者のみの音声、あるいは対象者と対話者の両者の音声の別を識別することができる。

本実施の形態の認知機能判定装置において、前記基準音声は、年齢、性別及び体格を含む人の属性が所定の属性の音声である。

本実施の形態の認知機能判定装置は、年齢、性別及び体格を含む人の属性毎に前記変換部を複数備える。

変換部は、年齢、性別及び体格（例えば、身長、体重など）を含む属性毎に複数備えることができる。これにより、男女の別や体格の違いを問わず若年層から高齢者に至るまで様々な対象者の音声をより精度よく基準音声に変換することができる。

１通信ネットワーク
１０端末装置
１１マイク
５０認知機能判定装置
５１制御部
５２通信部
５３音声識別部
５４記憶部
５５音声変換部
５５１パラメータ抽出部
５５２パラメータ変換部
５５２ａ変換テーブル
５５２ｂニューラルネットワーク
５５３音声合成部
５６認知機能判定部
５６１音声特徴量抽出部
５６２ＤＮＮ
５６３ＲＮＮ
５６４ＣＮＮ
５６５ＦＦＴ変換部
５７学習処理部

Claims

対象者の音声を取得する取得部と、
前記取得部で取得した音声を基準音声に変換する変換部と、
前記変換部で変換した基準音声に基づいて前記対象者の認知機能を判定する判定部と
を備える認知機能判定装置。
前記取得部は、
前記対象者と対話する対話者の音声を取得し、
前記変換部は、
前記対話者の音声を基準音声に変換し、
前記判定部は、
前記対話者の変換された基準音声に基づいて前記対象者の認知機能を判定する請求項１に記載の認知機能判定装置。
前記変換部は、
対象者の音声が入力された場合に、基準音声を出力する第１学習済みモデルを含む請求項１又は請求項２に記載の認知機能判定装置。
前記判定部は、
前記基準音声が入力された場合に、対象者の認知機能レベルを出力する第２学習済みモデルを含む請求項３に記載の認知機能判定装置。
前記第２学習済みモデルは、
対象者及び対話者の対話を前記第１学習済みモデルに入力して出力された前記基準音声が入力された場合に、前記対象者の認知機能レベルを出力する請求項４に記載の認知機能判定装置。
前記第２学習済みモデルは、
前記基準音声の音声データから抽出される、ピッチ、フォルマント周波数及びメル周波数スペクトラム係数の少なくとも一つを含む音声特徴量が入力された場合に、前記対象者の認知機能レベルを出力する請求項４又は請求項５に記載の認知機能判定装置。
前記第２学習済みモデルは、
対話者の発話に対する対象者の回答の応答時間がさらに入力された場合に、前記対象者の認知機能レベルを出力する請求項４から請求項６のいずれか一項に記載の認知機能判定装置。
基準音声を入力することにより前記第２学習済みモデルから出力された認知機能レベルに対する医師の修正認知機能レベルを取得し、
前記基準音声及び修正認知機能レベルを前記第２学習済みモデルの再学習データとして記憶する請求項４から請求項７のいずれか一項に記載の認知機能判定装置。
前記対象者の音声と、前記対象者と対話する対話者の音声とを識別する識別部を備える請求項１から請求項８のいずれか一項に記載の認知機能判定装置。
前記取得部は、
前記対象者と対話者とを識別する識別フラグを取得する請求項９に記載の認知機能判定装置。
前記基準音声は、
年齢、性別及び体格を含む人の属性が所定の属性の音声である請求項１から請求項１０のいずれか一項に記載の認知機能判定装置。
年齢、性別及び体格を含む人の属性毎に前記変換部を複数備える請求項１から請求項１１のいずれか一項に記載の認知機能判定装置。
対象者の音声を取得する取得部と、
前記取得部で取得した音声を基準音声に変換する変換部と、
前記変換部で変換した基準音声に基づいて前記対象者の認知機能を判定する判定部と
を備える認知機能判定システム。
コンピュータに、
対象者の音声を取得する処理と、
取得した音声を基準音声に変換する処理と、
変換した基準音声に基づいて前記対象者の認知機能を判定する処理と
を実行させるコンピュータプログラム。