(実施形態)
(1)概要
本実施形態に係る認知機能検査方法は、図1に示すように、検査者101と被験者102との間で認知機能検査システム1を用いて認知機能を検査するための方法であり、認知機能検査システム1にて実現される。認知機能検査システム1は、例えば、タブレット、スマートフォン等の携帯端末、又はパーソナルコンピュータ(PC)等である。本実施形態では一例として、認知機能検査システム1は、図1に示すように、タブレットである。認知機能検査システム1は、図2に示すように、表示部121と、検査部112と、提示部12と、を備えている。
表示部121は、例えば、タブレットの画面であり、少なくとも第1画像(画像)I1を表示する。検査部112は、表示部121に第1画像I1を表示させてからインターバル期間が経過した後に、第1画像I1に関連する発話を被験者102(図1参照)に行わせる。インターバル期間は、例えば数分~数十分であり、本実施形態では一例として5分である。被験者102は、例えば、高齢者である。提示部12は、被験者102の発話の認識結果に基づいて被験者102の発話を促進させるためのガイド情報G1を提示する。
本開示でいう「認知機能」とは、物事を正しく理解して適切に実行するための機能をいい、例えば、記憶機能、注意機能、情報処理機能、及び遂行機能等に分類される。「記憶機能」とは、過去の経験を頭の中に残しておき、ときに応じてそれらを思い起こしたり使用したりする働きをいう。「注意機能」とは、周囲の事物、事象の特定部分や複雑な心的活動の特定の側面に対して、選択的に反応したり注目したりするようにしむける意識の働きをいう。「情報処理機能」とは、外界から入力される情報(例えば、視覚情報、聴覚情報等)に対して処理を行う機能をいう。「遂行機能」とは、目的を持った一連の活動を効果的に成し遂げるために必要な機能をいう。
近年では高齢化社会の到来に伴い、認知症患者の増加が問題になっている。また、認知症に対する特効薬は未だ発見されていないことから、認知症の前段階である軽度認知障害(Mild Cognitive Impairment:MCI)に注目が集まっている。軽度認知機能障害は、正常な状態(健常)と認知症との中間の状態である。
認知機能を簡易的に検査する方法として、例えば、改訂長谷川式簡易機能評価スケール(HDS-R)、MMSE(Mini-Mental State Examination)、MoCA(Montreal Cognitive Assessment)等がある。これらの検査方法は、対話型の検査であり、訓練を受けた医療従事者等が行う検査である。そのため、医療従事者以外の人が簡単に検査を行なうことができず、検査機会を拡充することができていない。本実施形態に係る認知機能検査方法では、医療従事者以外の人であっても認知機能に関する検査を行なうことができ、これにより検査機会の拡充を図ることができるように、以下の構成を採用している。
本実施形態に係る認知機能検査方法は、表示部121に第1画像(画像)I1を表示させてからインターバル期間が経過した後に、第1画像I1に関連する発話を被験者102に行わせる認知機能検査方法である。この認知機能検査方法では、被験者102の発話の認識結果に基づいて被験者102の発話を促進させるためのガイド情報G1を提示する。
本実施形態に係る認知機能検査方法では、被験者102の発話の認識結果に基づいてガイド情報G1を提示している。そのため、ガイド情報G1を全く提示しない場合に比べて被験者102に発話を促すことができ、これにより認知機能の評価精度の向上を図ることができる。また、第1画像I1に関連する発話を被験者102に行わせるだけでよく、医療従事者以外の人であっても簡単に検査を行なうことができるので、検査機会の拡充を図ることができる。
(2)構成
以下、本実施形態に係る認知機能検査システム1の構成について、図1及び図2を参照して説明する。
本実施形態に係る認知機能検査システム1は、図2に示すように、制御部11と、提示部12と、記憶部13と、操作部14と、設定部15と、を備えている。認知機能検査システム1は、図1に示すように、例えばタブレットである。
制御部11は、例えば、プロセッサ及びメモリを有するマイクロコンピュータで構成されている。つまり、制御部11は、プロセッサ及びメモリを有するコンピュータシステムで実現されている。そして、プロセッサが適宜のプログラムを実行することにより、コンピュータシステムが制御部11(評価部111、検査部112及び解析部113を含む)として機能する。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的記録媒体に記録されて提供されてもよい。
制御部11は、評価部111と、検査部112と、解析部113と、を有している。
評価部111は、第1検査の検査結果である第1検査結果、及び第2検査の検査結果である第2検査結果に基づいて被験者102の評価を行う。言い換えると、評価部111は、2つの検査結果に基づいて被験者102の認知機能の状態、すなわち被験者102の認知機能が低下しているか否かを判断する。
評価部111は、例えば、第1検査における被験者102の語彙力、及び課題遂行時間等を特徴量とし、これらの特徴量に基づいて被験者102の認知機能(注意機能、及び遂行機能)を評価する。被験者102の語彙力には、後述する穴あき文S1の穴あき部分に対する単語のセレクトが含まれる。課題遂行時間は、例えば、表示部121に第1画像I1及び穴あき文S1を表示させてから被験者102の発話が終了するまでの時間である。また、評価部111は、例えば、第2検査における被験者102の語彙力、文章の構成能力、及び一文の長さ等を特徴量とし、これらの特徴量に基づいて被験者102の認知機能(記憶機能)を評価する。なお、評価部111は、第2検査においては、被験者102の音声パワー(音量)の変化から被験者102の認知機能を評価してもよい。例えば、認知機能が低下した被験者102では、最初のうちはスムーズに話すことができるため音声パワーが大きいが、時間の経過と共に言葉が出なくなることで音声パワーが小さくなる。このような音声パワーの変化から、被験者102の認知機能が低下していると判断することができる。なお、本明細書における「音量」とは、いわゆるラウドネスレベルと称される音の大きさのレベル(単位:phon(フォン))であってもよいし、音圧レベル(単位:デシベル)であってもよい。
検査部112は、第1検査及び第2検査を行なうように構成されている。具体的には、検査部112は、第1検査においては、第1画像I1及び穴あき文S1を表示させるための第1制御信号を表示部121に出力することにより、第1画像I1及び穴あき文S1を表示部121に表示させる。また、検査部112は、第2検査においては、ガイド情報G1を表示させるための第2制御信号を表示部121に出力することにより、ガイド情報G1を表示部121に表示させる。ガイド情報G1は、例えば、第2画像I2と文章S2との少なくとも一方である。第2画像I2は、例えば、第1画像I1の部分画像である(図4A参照)。文章S2は、例えば、発話についての示唆を被験者102に与えるような文章である。第2検査において、ガイド情報G1を表示部121に表示する場合には、第2画像I2のみを表示してもよいし、文章S2のみを表示してもよいし、第2画像I2と文章S2との両方を表示してもよい。また、第2画像I2と文章S2とを順番に表示してもよい。この場合、第2画像I2を表示した後に文章S2を表示してもよいし、文章S2を表示した後に第2画像I2を表示してもよい。
解析部113は、音声入出力部122を介して入力される音声について音声認識を行う。本開示でいう「音声認識」は、上記音声を文字列に変換する処理だけでなく、意味解析及び文脈解析等の自然言語処理を含む。解析部113は、記憶部13に記憶されている音響モデル及び認識辞書等を用いて、上記音声の認識(音声認識)を行う。すなわち、解析部113は、音響モデルを参照して上記音声を分析することにより音響特徴量を抽出し、認識辞書を参照して音声認識を行う。
提示部12は、表示部121と、音声入出力部122と、を有している。提示部12は、被験者102に対して情報を提示するように構成されている。提示部12が提示する情報は、例えば、画像情報(第1画像I1、第2画像I2、第3画像I3)、及び音声情報等である。
表示部121は、例えば、液晶ディスプレイである。表示部121は、第1検査においては、第1画像I1及び穴あき文S1を表示するように構成されている。また、表示部121は、第2検査においては、ガイド情報G1としての第2画像I2及び文章S2の少なくとも一方を表示するように構成されている。また、表示部121は、第1検査と第2検査との間のインターバル期間においては、第3画像I3を表示するように構成されている。なお、認知機能検査システム1がタッチパネルディスプレイを備えている場合には、タッチパネルディスプレイが表示部121と操作部14とを兼ねてもよい。
音声入出力部122は、例えば、マイクロホン及びスピーカを有している。音声入出力部122には、マイクロホンを介して、第1検査、第2検査、及びインターバル期間における被験者102の発話音声が入力される。また、音声入出力部122は、スピーカを介して、第1検査、第2検査、及びインターバル期間における認知機能検査システム1からの音声(例えば、検査のガイダンス音声等)を出力する。音声入出力部122は、マイクロホンを介して入力されたアナログの音声信号をデジタルの音声信号に変換し、変換後の音声データを制御部11に出力する。
記憶部13は、読み書き可能なメモリで構成されている。記憶部13は、例えば、フラッシュメモリである。記憶部13は、第1検査、第2検査、及びインターバル期間に表示部121に表示する第1画像I1、第2画像I2、及び第3画像I3を記憶する。ここで、第1画像I1には、第1画像I1に関連する複数の穴あき文S1が設定されており、記憶部13は、第1画像I1と複数の穴あき文S1とを紐付けて記憶する。また、第1画像I1には、第2検査におけるガイド情報G1としての複数の第2画像I2が設定されており、記憶部13は、第1画像I1と複数の第2画像I2とを紐付けて記憶する。また、第1画像I1には、第2検査におけるガイド情報G1としての複数の文章S2が設定されており、記憶部13は、第1画像I1と複数の文章S2とを紐付けて記憶する。つまり、本実施形態に係る認知機能検査システム1では、1つの第1画像I1に対して複数の穴あき文S1、複数の第2画像I2、及び複数の文章S2が紐付けられている。
さらに、記憶部13は、被験者102の属性情報を記憶する。被験者102の属性情報は、例えば、被験者102の年齢、性別、趣味、出身地等を含む。これらの属性情報は、例えば、検査者101又は被験者102が操作部14にて入力してもよいし、被験者102の過去の検査データが記憶部13に記憶されている場合には、過去の発話データ等に基づいて自動的に設定してもよい。また、記憶部13は、第1検査、第2検査、及びインターバル期間における被験者102の発話データ、検査者101と被験者102の会話データ等を記憶する。さらに、記憶部13は、解析部113が音声認識を行う際に参照する音響モデル及び認識辞書等を記憶する。
操作部14は、検査者101及び被験者102の操作を受け付けるように構成されている。操作部14は、例えば、テンキーを含む複数の押しボタンを有している。そして、複数の押しボタンのうち少なくとも1つの押しボタンを押すことにより、被験者102の属性情報を登録したり、インターバル期間に表示部121に表示させるコンテンツ(第3画像I3)を選択したりすることができる。複数の押しボタンは、メカニカルスイッチであってもよいし、表示部121がタッチパネルであればタッチパネルを構成するタッチパッドであってもよい。なお、穴あき文S1の穴あき部分の位置が操作部14により変更可能であってもよい。
設定部15は、第1画像I1のエリアごとにガイド情報G1を設定するように構成されている。設定部15は、例えば、お父さんが含まれているエリアに対しては、お父さんに関する発話を被験者102に促すようなガイド情報G1を設定する。また、設定部15は、例えば、お母さんが含まれているエリアに対しては、お母さんに関する発話を被験者102に促すようなガイド情報G1を設定する。
(3)検査内容
以下、認知機能検査システム1の検査内容について説明する。
(3.1)第1検査
第1検査は、認知機能検査システム1の表示部121に第1画像I1を表示させながら、第1画像I1に関する発話を被験者102に行わせる検査である。第1検査は、図1、図3A、及び図3Bに示すように、例えば、穴あき検査である。穴あき検査は、第1画像I1、及び第1画像I1に関連する穴あき文S1を表示部121に表示させて、穴あき文S1を被験者102に発話させる検査である。穴あき文S1は、その一部を空欄にした文章である。言い換えると、第1検査は、第1画像I1と共に表示部121に表示され第1画像I1に関連する文章の一部を空欄にした穴あき文S1による穴あき検査を含む。図3Aに示す例では、穴あき文S1における穴あき部分は文頭にあり、穴あき部分には、例えば、「お父さん」との主語が入る。図3Bに示す例では、穴あき文S1の穴あき部分は文末にあり、穴あき部分には、例えば、「飲んでいます」との述語が入る。なお、次の穴あき文S1に移行するためのトリガとして穴あき文S1の文末を利用する場合には、穴あき文S1における穴あき部分の位置は、文頭もしくは文中が好ましいが、図3Bに示すように、文末にあってもよい。なお、図3Aに示す例では、「お父さんがたばこを吸っています(Father is smoking a cigarette)」が正解であり、図3Bに示す例では、「お母さんがお茶を飲んでいます(Mother is drinking tea)」が正解となる。
被験者102は、第1検査においては、第1画像I1と穴あき文S1とを見比べながら、穴あき部分を埋めつつ穴あき文S1を発話する。第1検査は、認知機能に含まれる上述の4つの機能のうち、主に、注意機能、及び遂行機能について評価することができる。さらに、第1検査では、表示部121に表示させた第1画像I1と穴あき文S1とを見比べる動作が必要であるため、注意機能の中でも特に選択性注意機能が必要になる。これにより、単に表示部121に表示させた第1画像I1を見ながら第1画像I1について発話するよりも大きな負荷を被験者102に与えることができ、結果として認知機能の低下を予測する予測精度の向上につながる。
ところで、第1検査では、1つの第1画像I1に対して複数(例えば、10個程度)の穴あき文S1が用意されており、1つの穴あき文S1の発話が完了した時点で次の穴あき文S1に移行させる操作が必要である。例えば、本実施形態のように、認知機能検査システム1が操作部14を備えている場合には、検査者101又は被験者102が操作部14にて次の穴あき文S1に移行させることができる。しかしながら、この場合には、操作ミスによって1以上の穴あき文S1を飛ばしてしまう可能性がある。また、1つの穴あき文S1に対する回答時間を予め設定し、この回答時間が経過すると自動的に次の穴あき文S1に移行させることもできる。しかしながら、この場合には、穴あき文S1に対する被験者102の発話が終わっていないにもかかわらず、次の穴あき文S1に移行する可能性がある。また、回答時間に対して被験者102の発話時間が短く、発話終了後の残り時間に不要な雑音が録音されて音声解析の障害となる可能性もある。
本実施形態に係る認知機能検査システム1では、検査者101又は被験者102の操作負担、操作ミス、及び検査ミスを低減するために、解析部113による音声認識を利用して次の穴あき文S1に自動的に移行するように構成されている。以下、具体的に説明する。
まず、図3Aに示すように、「( )がたばこを吸っています」との穴あき文S1を表示部121に表示している場合を想定する。この場合、穴あき部分が文頭にあるため、文末は予め決められた文言(ここでは、「吸っています」)になっている。そのため、解析部113の音声認識によって文末の「吸っています」との文言を検出した時点で、被験者102の発話が完了したと判断でき、次の穴あき文S1に移行させるためのトリガにすることができる。言い換えると、本実施形態に係る認知機能検査方法では、被験者102の発話に含まれる部分音声(「吸っています」との音声)に基づいて穴あき文S1に対する回答の有無を検知する。そして、図3Aに示す例では、上記部分音声は、穴あき文S1における末尾の発話音声(「吸っています」との音声)である。被験者102からの回答があった場合には、表示部121は、第1画像I1と次の穴あき文S1とを表示する。言い換えると、被験者102からの回答があった場合に、第1画像I1と次の穴あき文S1とを表示部121に表示させる。このように、被験者102の発話に含まれる部分音声、特に穴あき文S1の末尾の発話音声を次の穴あき文S1に移行させるためのトリガにすることにより、次の穴あき文S1への移行を確実に行うことができる。しかも、被験者102の発話音声に基づいて自動的に移行させるので、検査者101又は被験者102の操作負担、操作ミス、及び検査ミスを低減することができる。また、穴あき文S1の末尾の発話音声を検出した時点で録音を停止することにより、音声解析の障害となり得る不要な雑音が録音されにくくなるという利点もある。
次に、図3Bに示すように、「お母さんがお茶を( )」との穴あき文S1を表示部121に表示している場合を想定する。この場合、穴あき文S1の文末、つまり穴あき文S1の末尾が穴あき部分になっており、この穴あき部分には、「飲んでいます」、「すすっています(sipping)」等の複数の文言が入り得る。つまり、この場合には、被験者102の発話に含まれる部分音声は、穴あき文S1における穴あき部分の発話音声である。例えば、穴あき部分の回答として「飲んでいます」との文言が設定されている場合、次の穴あき文S1に移行させるためのトリガは、「飲んでいます」との文言である。そのため、例えば、被験者102が「すすっています」と発話した場合には、次の穴あき文S1に移行させることができない。しかしながら、このような場合でも、穴あき部分に入り得る文言の文字数に閾値を設けることにより対応可能である。例えば、図3Bに示す例において、穴あき文S1の穴あき部分に入り得る文言の文字数を6文字と仮定する。この場合、穴あき部分に入り得る文言は、「飲んでいます」であっても「すすっています」であっても同じ6文字であり、いずれの文言であってもトリガにすることができる。また、この場合には、穴あき部分に入り得る文言の選択、及び穴あき部分を発話するまでの時間等によって、本来の目的である認知機能(特に遂行機能)の評価に有効である。このように、穴あき部分に入り得る文言の文字数に閾値を設けることにより、例えば「飲んで・・・い・・・ます」のように、穴あき部分の回答に時間がかかっていたとしても、次の穴あき文S1へのトリガにすることができる。
ところで、第1検査において、穴あき文S1の内容によっては被験者102が回答できない場合もあり、この場合被験者102が回答できるまで同じ穴あき文S1を表示し続けることで検査時間が長くなるという問題がある。そのため、このような場合には、被験者102が発した特定ワード(スキップワード)により、次の穴あき文S1に移行させることが好ましい。言い換えると、本実施形態に係る認知機能検査方法では、被験者102が特定ワードを発した場合に、第1画像I1と次の穴あき文S1とを表示部121に表示させることが好ましい。特定ワードは、例えば、「パス」、「次」、「分かりません」等を含む。その結果、被験者102の回答の有無にかかわらず、次の穴あき文S1に移行させることができ、検査時間が長くなることを抑制できる。
また、第1画像I1及び穴あき文S1を表示部121に表示してから規定時間が経過しても被験者102の回答がない場合には、次の穴あき文S1に移行させることが好ましい(タイムアウト)。言い換えると、本実施形態に係る認知機能検査方法では、予め設定された規定時間が経過した場合に、第1画像I1と次の穴あき文S1とを表示部121に表示させることが好ましい。規定時間は、例えば、30秒程度に設定することが好ましい。その結果、被験者102の回答の有無にかかわらず、次の穴あき文S1に移行させることができ、検査時間が長くなることを抑制できる。
さらに、表示部121に表示させる次の穴あき文S1は、前の穴あき文S1に対する回答に応じて変化させることが好ましい。例えば、穴あき文S1における穴あき部分の回答が間違っている場合、又は穴あき部分の回答に要する時間が長い場合には、前の穴あき文S1よりも難易度を下げた穴あき文S1を次の穴あき文S1にすることが好ましい。一方、穴あき文S1における穴あき部分の回答が正しく、かつ穴あき部分の回答に要する時間が短い場合には、前の穴あき文S1よりも難易度を上げた穴あき文S1を次の穴あき文S1にすることが好ましい。このように、表示部121に表示させる次の穴あき文S1を、前の穴あき文S1に対する被験者102の回答に応じて変化させることにより、被験者102の認知機能の状態をより多段階に判別することができる。
(3.2)第2検査
第2検査は、第1検査を行なってからインターバル期間が経過した後に、第1画像I1に関連する発話を被験者102に行わせる検査である。第2検査は、基本的には、第1検査において表示部121に表示した第1画像I1を表示部121に表示しないで(被験者102に第1画像I1を見せないで)、第1画像I1に関連する発話を被験者102に行わせる検査である。つまり、第2検査は、第1画像I1の内容を被験者102に覚えてもらい、インターバル期間経過後に第1画像I1の内容について被験者102に発話してもらう遅延再生検査である。インターバル期間は、例えば数分~数十分に設定することが好ましく、本実施形態では一例として5分である。第2検査において、検査者101は、例えば、「第1画像I1について話してください」等の課題を被験者102に与える。被験者102は、第1画像I1を見ていない状態で第1画像I1について発話する。ここで、認知機能(特に記憶機能)が低下していない被験者102は、第1画像I1の内容(お父さんがたばこを吸っています、お母さんがお茶を飲んでいます等)についてスムーズに発話することができる。一方、認知機能が低下している被験者102は、第1画像I1についての発話開始直後(例えば数十秒間)はスムーズに話すことができるが、検査時間がある程度経ったのちには発話が止まることが知られている。第2検査は、認知機能に含まれる4つの機能のうち、主に、記憶機能(短期記憶機能)について評価することができる。
このような遅延再生検査によれば、MCIを含む認知機能の低下を精度よく評価することはできるが、認知機能が大幅に低下した被験者102にとっては非常に難しく、全く答えられない事態が発生することも報告されている。そのため、現状の遅延再生検査では、遅延再生ができたか否かの二択であり、記憶機能がどの程度低下したかを評価することができない。本実施形態に係る認知機能検査方法では、被験者102の記憶機能がどの程度低下したかを評価できるように、第2検査において被験者102に対してガイド情報G1を提示するように構成されている。以下、具体的に説明する。
第2検査中に被験者102の発話が停止した場合を想定する。例えば、それまでの被験者102の発話において「お父さん」、もしくはこれに類する語句を発していない場合、お父さんに関する情報を思い出せていない可能性がある。この場合、お父さんに関する発話を促進させるために、お父さんに関するガイド情報G1を被験者102に提示する。例えば、図4Aに示すように、お父さんの一部(図4Aでは顔)を含む第2画像I2を表示部121に表示してもよいし、図4Bに示すように、発話についての示唆を被験者102に与えるような文字情報(文章S2)を表示部121に表示してもよい。第2画像I2は、第1画像I1に基づく部分画像である。言い換えると、第2画像I2は、第1画像I1の少なくとも一部を隠した画像である。また、ガイド情報G1は、発話についての示唆を被験者102に与える情報(第2画像I2、文章S2)を含む。さらに、ガイド情報G1として、第2画像I2と文章S2との両方を表示部121に表示してもよいし、第2画像I2と文章S2とを順番に表示部121に表示してもよい。第2画像I2と文章S2とを表示する順番は、第2画像I2が先であってもよいし、文章S2が先であってもよい。なお、図4Aでは、第1画像I1のうち第2画像I2を除く残りの部分が見えているが、実際には第2画像I2のみが見えており、残りの部分については見えていないものとする。
ここで、第2検査中に被験者102が発話した内容については、音声入出力部122に入力された音声を元に解析部113がリアルタイムに音声認識を行い、音声データを文字データ(文字列)に変換すればよい。また、単語の表記揺れ(例えば、お父さん、父親、旦那等)については、予め辞書等を作成して記憶部13に記憶しておけばよい。これにより、様々な表現形式に対応しつつ被験者102の発話内容を記憶することができ、被験者102が発話していない事象についてのみガイド情報G1を提示することができる。
ところで、ガイド情報G1は、被験者102の発話にキーワードが含まれているか否かによって決定されることが好ましい。ここで、第1画像I1におけるキーワードは、例えば、「お父さん」、「お母さん」、「お姉ちゃん」、「弟」、「たばこ」、「お茶」、「吸っています」、「飲んでいます」等である。例えば、お父さんに関するキーワードである「お父さん」、「たばこ」、「吸っています」のいずれもが被験者102の発話に含まれていない場合、お父さんに関する発話を促すように第2画像I2と文章S2との少なくとも一方を表示部121に表示する。これにより、被験者102が、お父さんについて思い出していない場合であっても、ガイド情報G1を提示することによりお父さんに関する発話を被験者102に促すことができる。
また、ガイド情報G1は、第1画像I1のエリアごとに決定されることが好ましい。例えば、第1画像I1のエリアを、お父さんを含む第1エリア、お母さんを含む第2エリア、お姉ちゃんを含む第3エリア、及び弟を含む第4エリアに分割し、エリアごとにガイド情報G1を決定(設定)する。この場合において、第1画像I1におけるキーワードは、エリアごとにグループ化されていることが好ましい。例えば、お父さんを含む第1エリアに対しては、お父さんに関するキーワードである「お父さん」、「たばこ」、「吸っています」を紐付ける。また、お母さんを含む第2エリアに対しては、お母さんに関するキーワードである「お母さん」、「お茶」、「飲んでいます」を紐付ける。この場合において、各エリアにおけるキーワードが1つでも出れば認知機能に問題がないと判断してもよいし、すべてのキーワードが出なければ認知機能に問題があると判断してもよい。
さらに、ガイド情報G1は、被験者102の認知機能(特に記憶機能)を多段階に評価できるように、階層的(段階的)に表示させることが好ましい。例えば、お父さんについての発話を被験者102に促す場合を想定する。第1段階では、例えば、「第1画像I1の左下には誰がいましたか?」とのガイド情報G1を表示部121に表示する。このとき、被験者102が「お父さんがいました」と回答した場合には、次の段階のガイド情報G1を表示部121に表示する。第2段階のガイド情報G1は、例えば、「第1画像I1の左下にお父さんがいましたが、何をしていましたか?」である。このように、ガイド情報G1を階層的(段階的)に提示することにより、被験者102の認知機能の状態、つまり被験者102の認知機能がどの程度低下しているかを段階的に評価することができる。なお、ガイド情報G1として第2画像I2を表示部121に表示する場合には、第2画像I2の大きさを段階的に大きくしてもよいし、第1画像I1における第2画像I2の位置、つまり第2画像I2によって表示される領域を変えてもよい。
(3.3)インターバル期間
第1検査と第2検査との間のインターバル期間には、図5に示すように、第3画像I3を表示部121に表示させることが好ましい。言い換えると、インターバル期間に、被験者102にコンテンツを提示することが好ましい。第3画像I3は、例えば、キャットフードの広告である。つまり、認知機能検査システム1が提示しているコンテンツは広告である。なお、コンテンツは、画像に限らず、動画であってもよい。この場合、コマーシャル動画を提示することが可能であり、このコマーシャル動画は、レコメンド機能により被験者102に最適化された動画であることが好ましい。これにより、コマーシャルによる収入が見込まれるため、検査に要する費用を低減することができる。その結果、検査機会の拡充も見込まれる。なお、インターバル期間に提示するコンテンツは、被験者102が興味のあるコンテンツを事前に聞いてもよい。
ここで、インターバル期間に提示するコンテンツは、被験者102に応じて選択されることが好ましい。例えば、インターバル期間に表示可能な複数のコンテンツを表示部121に表示して、複数のコンテンツの中から被験者102に選択させる。言い換えると、コンテンツは、被験者102によって手動で選択される。その結果、被験者102が興味のあるコンテンツを表示部121に表示させることができる。また、インターバル期間に被験者102が選択したコンテンツを、次の第2検査、又は次以降の第1検査と第2検査との少なくとも一方に利用してもよい。これにより、その後に行われる検査に対して被験者102を集中させることができる。
また、例えば、被験者102の属性情報に応じて表示部121に表示させるコンテンツを選択してもよい。例えば、被験者102の属性情報から被験者102が猫好きであれば、図5に示すように、猫に関連するような第3画像I3を表示部121に表示する。
さらに、コンテンツは、コンテンツに対する被験者102の関心度に応じて自動的に切り替えられてもよい。例えば、表示部121に表示している第3画像I3について被験者102が40秒継続して話し続けたとする。この場合における閾値を30秒に設定しておけば、この閾値を超えて被験者102が話し続けているので、第3画像I3に対する被験者102の関心度が高いと判断することができる。一方、被験者102が第3画像I3について20秒しか話さなかった場合には、上記閾値を下回っていることから、第3画像I3に対する被験者102の関心度が低いと判断することができる。そして、第3画像I3に対する被験者102の関心度が高い場合には、第3画像I3を表示し続けてもよいし、第3画像I3と同じ種類の画像を連続的に表示してもよい。また、第3画像I3に対する被験者102の関心度が低い場合には、第3画像I3とは異なる種類の画像を表示すればよい。
なお、コンテンツに対する被験者102の関心度を判断するための閾値は1つに限らず、複数であってもよい。つまり、コンテンツに対する被験者102の関心度が複数段階に分けられてもよい。この場合においても、被験者102の関心度に応じたコンテンツを表示部121に表示することで、その後に行われる検査に対して被験者102を集中させることができる。
ここで、被験者102の属性情報を説明変数(独立変数)、被験者102の関心度を目的変数(従属変数)として、機械学習によるレコメンドシステムを構築可能である。例えば、新しい被験者が登録された場合に、この被験者の属性情報から画像(コンテンツ)に対する関心度を予測することで、被験者の関心度の高そうな画像を表示部121に表示することができる。これにより、画像に対する被験者の発話を促すことができる。
(4)動作
次に、本実施形態に係る認知機能検査システム1の一連の動作について、図6を参照して説明する。
制御部11の検査部112は、表示部121に対して第1制御信号を出力し、表示部121に第1画像I1及び穴あき文S1を表示させる。被験者102は、表示部121に表示した第1画像I1及び穴あき文S1を見ながら、穴あき文S1について発話する(ステップST1)。制御部11は、第1検査が終了すると、インターバル期間の計測を開始する(ステップST2)。制御部11は、インターバル期間が経過するまでは(ステップST2:No)、表示部121に第3画像I3(コンテンツ)を表示(提示)させる(ステップST3)。
制御部11は、インターバル期間が経過していれば(ステップST2:Yes)、検査部112に第2検査を行なわせる(ステップST4)。このとき、例えば、「第1画像I1について話してください」等の文章を表示部121に表示してもよい。ここで、被験者102の発話が途中で停止した場合には、制御部11の検査部112は、表示部121に対して第2制御信号を出力し、発話を促すためのガイド情報G1を表示部121に表示させる。
制御部11の評価部111は、第2検査が終了すると、第1検査の検査結果である第1検査結果、及び第2検査の検査結果である第2検査結果に基づいて、被験者102の認知機能の状態、つまり被験者102の認知機能が低下しているか否かを評価する(ステップST5)。そして、制御部11は、評価部111の評価結果を表示部121に表示させる(ステップST6)。
本実施形態に係る認知機能検査方法及び認知機能検査システム1では、上述のように、2つの検査結果に基づいて被験者102の認知機能の状態を評価している。そのため、1つの検査結果に基づいて被験者102の認知機能の状態を評価する場合に比べて、認知機能の評価精度の向上を図ることができる。また、第1検査及び第2検査の各々において、第1画像I1に関連する発話を被験者102に行わせるだけでよく、専門的な訓練等も必要ないため、医療従事者以外の人でも検査を行なうことができ、検査機会の拡充を図ることができる。
本実施形態では、ステップST1が第1検査ステップであり、ステップST4が第2検査ステップであり、ステップST5が評価ステップである。
(5)効果
本実施形態に係る認知機能検査方法及び認知機能検査システム1では、被験者102の発話の認識結果に基づいて被験者102の発話を促進させるためのガイド情報G1を提示している。そのため、ガイド情報G1を全く提示しない場合に比べて被験者102に発話を促すことができ、これにより認知機能の評価精度の向上を図ることができる。また、第1画像I1に関連する発話を被験者102に行わせるだけでよく、医療従事者以外の人であっても簡単に検査を行なうことができるので、検査機会の拡充を図ることができる。
さらに、認知機能検査システム1が携帯端末の場合には、検査を行なう場所が制限されないため、MCIの早期発見から改善へとつなげることができる。また、本実施形態に係る認知機能検査方法及び認知機能検査システム1のように、正解が決まっていない会話型の検査であれば、被験者102が検査内容を記憶することで正確に検査が行えなくなる不具合を低減することができる。
また、本実施形態に係る認知機能検査方法では、発話についての示唆を被験者102に与える情報(第2画像I2、又は文章S2)がガイド情報G1に含まれている。そのため、ガイド情報G1によって被験者102に発話を促すことができる。
また、本実施形態に係る認知機能検査方法では、第1画像I1に基づく第2画像I2がガイド情報G1に含まれている。そのため、画像情報によって被験者102に発話を促すことができる。
また、本実施形態に係る認知機能検査方法では、第2画像I2が第1画像I1の少なくとも一部を隠した画像である。そのため、第1画像I1と第2画像I2とが同じである場合に比べて検査の難易度が高くなっており、認知機能の評価精度を更に向上させることができる。
また、本実施形態に係る認知機能検査方法では、発話についての示唆を被験者102に与える文章S2がガイド情報G1に含まれている。そのため、ガイド情報G1によって被験者102に発話を促すことができる。
また、本実施形態に係る認知機能検査方法では、ガイド情報G1として、第2画像I2と文章S2とを順番に提示している。そのため、いずれか一方のみを提示する場合に比べて、より効果的に被験者102に発話を促すことができる。
また、本実施形態に係る認知機能検査方法では、被験者102の発話にキーワードが含まれているか否かによってガイド情報G1を決定している。そのため、キーワードの有無にかかわらず、被験者102に発話を促すことができる。
また、本実施形態に係る認知機能検査方法では、第1画像I1のエリアごとにガイド情報G1を決定している。そのため、第1画像I1のエリアごとにガイド情報G1を提示することができる。
(6)変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上述の実施形態に係る認知機能検査方法、及び認知機能検査システム1と同様の機能は、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係るプログラムは、1以上のプロセッサに上述の認知機能検査方法を実行させるためのプログラムである。
以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における認知機能検査システム1において、制御部11は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における制御部11としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。更に、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、認知機能検査システム1における複数の機能が、1つの筐体内に集約されていることは、認知機能検査システム1に必須の構成ではない。つまり、認知機能検査システム1の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、認知機能検査システム1の少なくとも一部の機能、例えば、制御部11の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
上述の実施形態では、検査者101と被験者102との間で認知機能検査システム1を用いて検査を行なっているが、検査者101は省略されてもよい。認知機能検査システム1では、第1検査及び第2検査の内容が表示部121に表示される構造であるため、被験者102がいればよく、認知機能検査システム1を用いて被験者102が一人で検査を行なってもよい。
上述の実施形態では、インターバル期間に表示部121に表示させるコンテンツとして、広告に関する第3画像I3を表示しているが、例えば、被験者102に対するレコメンド情報を表示部121に表示してもよい。例えば、レコメンド情報は、被験者102が過去に購入したインターネットショップの購入履歴に基づく情報である。例えば、被験者102がインターネットショップにて車のタイヤを購入していれば、レコメンド情報として車に関する情報を表示部121に表示する。このレコメンド情報は、その後の第2検査、又は次回以降の第1検査と第2検査との少なくとも一方に利用してもよい。これにより、被験者102に特化させた第1検査又は第2検査を行なうことができる。
また、インターバル期間に表示部121に表示させるコンテンツは、第1検査で表示部121に表示させるような画像又は動画であってもよいし、最近のニュース、昔の出来事等であってもよい。そして、これらのコンテンツを表示部121に表示させた状態で、被験者にコンテンツについて話をしてもらえばよい。つまり、インターバル期間に表示部121に表示させるコンテンツは広告に限らず、いろいろなバリエーションが考えられる。
上述の実施形態では、穴あき文S1の穴あき部分が文頭に位置する主語、又は文末に位置する熟語であるが、例えば、穴あき部分が文中に位置する目的語であってもよい。この場合、図3Aに示す例では目的語である「たばこ」が穴あき部分になる。
上述の実施形態では、課題遂行時間が、表示部121に第1画像I1及び穴あき文S1を表示させてから被験者102の発話が完了するまでの時間である。これに対して、課題遂行時間は、例えば、表示部121に第1画像I1及び穴あき文S1を表示させてから被験者102が発話を開始するまでの時間であってもよいし、被験者102が発話を開始してから発話を終了するまでの時間であってもよい。
上述の実施形態では、第1画像I1のエリアごとにガイド情報G1を決定しているが、例えば、第1画像I1内に含まれる主体(お父さん、お母さん、お姉ちゃん、弟)ごとにガイド情報G1を決定してもよい。この場合、第1画像I1におけるキーワードは、主体ごとにグループ化されていることが好ましく、例えば、主体がお父さんであれば、「お父さん」、「たばこ」、「吸っています」とのキーワードをお父さんに紐付ける。また、主体がお母さんであれば、「お母さん」、「お茶」、「飲んでいます」とのキーワードをお母さんに紐付ける。この構成によれば、主体ごとにガイド情報G1を変えるので、いずれの主体についても被験者102に発話を促すことができる。
上述の実施形態では、コンテンツに対する被験者102の発話時間から被験者102の関心度を判断しているが、例えば、被験者102の音声の感情分析の結果から被験者102の関心度を判断してもよい。この場合、例えば、感情分析の結果から「うれしい」という感情が30秒以上続いていれば、被験者102の関心度が高いと判断する。
上述の実施形態では、制御部11の解析部113にて音声認識を行っているが、例えば、認知機能検査システム1が外部に設けられたサーバ装置と通信可能であれば、サーバ装置にて音声認識を行ってもよい。この場合、認知機能検査システム1は、音声入出力部122を介して入力された被験者102の音声データをサーバ装置に送信する。サーバ装置は、認知機能検査システム1からの音声データに対して音声認識を行い、音声認識の結果を認知機能検査システム1に向けて送信する。この構成によれば、サーバ装置にて音声認識を行うことにより、制御部11の処理負担を軽減することができる。また、音響モデル及び認識辞書等を記憶部13に記憶させなくてもよく、記憶部13のメモリ容量を小さくすることができる。
上述の実施形態では、第2画像I2が第1画像I1の部分画像であるが、第2画像I2は、例えば、第1画像I1にモザイクをかけたモザイク画像であってもよい。この場合において、第1画像I1全体にモザイクがかけられていてもよいし、第1画像I1のうちガイド情報G1として提示したい部分のみにモザイクがかけられていてもよい。
上述の実施形態で説明した穴あき部分に入る語句は一例であり、例えば、色、数字等であってもよい。
上述の実施形態では、第1画像I1に含まれている主体を人物としているが、主体は人物に限らず、例えば、第1画像I1に含まれている掛け時計、及び出窓等であってもよい。
上述の実施形態では、第1検査及び第2検査の検査結果を認知機能の評価に用いているが、例えば、インターバル期間における被験者の音声データを認知機能の評価に用いてもよい。これにより、認知機能の評価精度の向上が見込まれるという利点がある。
(まとめ)
以上説明したように、第1の態様に係る認知機能検査方法は、表示部(121)に画像(I1)を表示させてからインターバル期間が経過した後に、画像(I1)に関連する発話を被験者(102)に行わせる認知機能検査方法である。認知機能検査方法では、発話の認識結果に基づいて発話を促進させるためのガイド情報(G1)を提示する。
この態様によれば、被験者(102)の発話の認識結果に基づいてガイド情報(G1)を提示するので、ガイド情報(G1)を全く提示しない場合に比べて被験者(102)に発話を促すことができ、これにより認知機能の評価精度の向上を図ることができる。
第2の態様に係る認知機能検査方法では、第1の態様において、ガイド情報(G1)は、発話についての示唆を被験者(102)に与える情報を含む。
この態様によれば、ガイド情報(G1)によって被験者(102)に発話を促すことができる。
第3の態様に係る認知機能検査方法では、第1又は2の態様において、ガイド情報(G1)は、画像としての第1画像(I1)に基づく第2画像(I2)を含む。
この態様によれば、画像情報によって被験者(102)に発話を促すことができる。
第4の態様に係る認知機能検査方法では、第3の態様において、第2画像(I2)は、第1画像(I1)の少なくとも一部を隠した画像である。
この態様によれば、第1画像(I1)と第2画像(I2)とが同じである場合に比べて検査の難易度が高くなっており、認知機能の評価精度を更に向上させることができる。
第5の態様に係る認知機能検査方法では、第1~4のいずれかの態様において、ガイド情報(G1)は、発話についての示唆を被験者(102)に与える文章(S2)を含む。
この態様によれば、ガイド情報(G1)によって被験者(102)に発話を促すことができる。
第6の態様に係る認知機能検査方法では、第1~5のいずれかの態様において、ガイド情報(G1)として、画像としての第1画像(I1)に基づく第2画像(I2)と、発話についての示唆を被験者(102)に与える文章(S2)と、を順番に提示する。
この態様によれば、第2画像(I2)と文章(S2)との一方を提示する場合に比べて、より効果的に被験者(102)に発話を促すことができる。
第7の態様に係る認知機能検査方法では、第1~6のいずれかの態様において、ガイド情報(G1)は、発話にキーワードが含まれているか否かによって決定される。
この態様によれば、キーワードの有無に応じてガイド情報(G1)を変えるので、キーワードの有無にかかわらず被験者(102)に発話を促すことができる。
第8の態様に係る認知機能検査方法では、第7の態様において、ガイド情報(G1)は、画像(I1)内に含まれる主体ごとに決定される。
この態様によれば、主体ごとにガイド情報(G1)を変えるので、いずれの主体についても被験者(102)に発話を促すことができる。
第9の態様に係る認知機能検査方法では、第7の態様において、ガイド情報(G1)は、画像(I1)のエリアごとに決定される。
この態様によれば、画像(I1)のエリアごとにガイド情報を変えるので、いずれのエリアについても被験者(102)に発話を促すことができる。
第10の態様に係るプログラムは、第1~9のいずれかの態様に係る認知機能検査方法を1以上のプロセッサに実行させるためのプログラムである。
この態様によれば、被験者(102)の発話の認識結果に基づいてガイド情報(G1)を提示するので、ガイド情報(G1)を全く提示しない場合に比べて被験者(102)に発話を促すことができ、これにより認知機能の評価精度の向上を図ることができる。
第11の態様に係る認知機能検査システム(1)は、表示部(121)と、検査部(112)と、提示部(12)と、を備える。検査部(112)は、表示部(121)に画像(I1)を表示させてからインターバル期間が経過した後に、画像(I1)に関連する発話を被験者(102)に行わせる。提示部(12)は、発話の認識結果に基づいて発話を促進させるためのガイド情報(G1)を提示する。
この態様によれば、被験者(102)の発話の認識結果に基づいてガイド情報(G1)を提示するので、ガイド情報(G1)を全く提示しない場合に比べて被験者(102)に発話を促すことができ、これにより認知機能の評価精度の向上を図ることができる。
第2~9の態様に係る構成については、認知機能検査方法に必須の構成ではなく、適宜省略可能である。