JP6838739B2 - 近時記憶支援装置 - Google Patents

Description

本発明は、近時記憶支援装置に関する。

日本では高齢者の人口が急増し、高齢化社会へ遷移している。高齢化に伴い、認知症予防は現在の社会に対して課題の一つである。認知症によって、認知機能が失われる。認知機能を使わないことによる機能低下を防ぐためには、認知機能を活用する生活習慣を身に着けることが有効と考えられている。

このための手法として、例えば下記非特許文献１で示されるように、認知機能を活用する会話手法である共想法が開発されている。共想法とは、話題のテーマを設定し、一人あたりの発表の持ち時間を決め、写真やテーマの素材等を用いてグループで会話する方法である。共想法で最も期待される効果は、高齢者が最近の体験を覚えて、会話するときにその体験を思い出すことで、記憶機能を活用し、特に認知症の前段階で低下しやすい新しい体験を記憶する機能を訓練することである。

なお、画像、三次元仮想環境や通信システムなどを用いて、記憶機能を訓練するための技術としては、歴史上の出来事や映画等を用い、記憶訓練を含め、知能訓練する技術（例えば下記特許文献１参照）、コンピュータ生成３Ｄ仮想現実環境から記憶を改善する技術（例えば下記特許文献２参照）、顔認識処理を用い、出会う人の画像を撮り、ユーザの記憶を思い出す技術（下記特許文献３参照）、通信システムを用い、ユーザの行動モニタリング情報を取集し、記憶の補助が必要となるとき、取集した情報を提供する技術（下記特許文献４参照）、最適な効率の記憶を達成するために記憶履歴を用い記憶訓練を行わせる技術（下記特許文献５参照）、が提案され、権利化されている。

さらに、学習を目的とする記憶を訓練する技術も開発されている。具体的には、穴埋め記憶方法から暗記支援する技術（下記特許文献６参照）、コンピュータを用い、多数の画像および文字データを表示し、ユーザが短時間に多くのことを記憶または語学学習することを支援する技術（下記特許文献７参照）、ユーザの学習到達度に合わせ、テストに不得手な問題を把握する技術（下記特許文献８参照）、音声から記憶訓練し、日常会話程度の外国語の取得する技術（下記特許文献９参照）などがある。

大武美保子．２００９．認知症予防回復支援サービスの開発と忘却の科学―共想法により社会的交流の場を生成する会話支援サービス―．人工知能学会論文誌．２４（６）：５６８−５７５

特表２００９−５０１５８３号公報 特表２０１４−５３５０８０号公報 特表２００３−５３３７６８号公報 特開２００４−２４６７６７号公報 特開平６−３０１３３４号公報 特開平５−２１６３８８号公報 特開２００３−３１６２４５号公報 特開２００８−１７６２２３号公報 特開２０１０−１９１２３５号公報

しかしながら、上記非特許文献１で開示される高齢者を対象に共想法を実施したところ、体験したことではなく知識を話す人や、最近ではなく昔のことを話す人が少なからず見受けられた。認知機能を活用するために、近時記憶支援する装置があれば有用である。臨床神経学で、近時記憶とは即時記憶より長い間、数分から数十日の期間が保持される記憶、新しい情報の獲得いわゆる学習能力に相当する。会話において、数分から数十日の期間にあった最近のことを話すようを支援すれば、近時記憶を支援することができる。

また、従来の技術では、技術の対象者が高齢者であるが、映画などから記憶を訓練するが、会話の手法を用いる技術はなかった。その他、従来の技術では、学習や個人的な喪失記憶などの特有の目的で開発されたため、高齢者に負担をかけずに、記憶訓練することは極めて困難である。また、従来の技術では、認知症により認知機能の低下を防ぐことは極めて困難である。

そこで、本発明は上記課題に鑑み、高齢者に負担をかけずできる限り自然に近時記憶を支援する装置及び近時記憶支援方法を提供することを目的とする。

上記課題を解決する本発明の一観点に係る近時記憶支援装置は、発言データを取得する発言データ取得装置と、発言データに基づき介入会話データを作成する情報処理装置と、介入会話データを出力する発言出力装置と、を備えた近時記憶支援装置であって、情報処理装置は、発言データに基づき単語データを作成する単語データ作成部、単語データに基づき時間特徴データを作成する時間特徴データ作成部、時間特徴データに基づき時間特徴持続時間データを作成する時間特徴持続時間データ作成部、時間特徴持続時間データと時間特徴データに基づいて介入会話データを作成して出力装置に介入会話データを出力する出力部と、を備えたものである。

また、本発明の他の一観点に係る近時記憶支援方装置は、
時間特徴データが過去の情報を含み、時間特徴持続時間データが閾値を超えた場合に、時 間特徴データの状態を変更するように介入会話データを選択して出力装置に出力するもの である。

以上、本発明により、高齢者に負担をかけずできる限り自然に近時記憶機能を支援する装置及び近時記憶支援方法を提供することができる。

実施形態に係る近時記憶支援装置の概略を示す図である。 実施形態に係る情報処理装置の機能ブロックの概略を示す図である。 発言を分節して時間特徴を抽出する場合のイメージ図である。 時間特徴の変化のイメージを示す図である。 時間特徴の変化のイメージを示す図である。 実施形態に係る近時記憶支援方法の処理の流れを示す図である。 実施形態に係る発言データを作成する処理の流れを示す図である。 発言と対応時刻のデータの例である。 実施形態に係る単語データを作成する処理の流れを示す図である。 発言と単語と相対時刻のデータの例である。 実施形態に係る時間特徴の抽出のフローの例を示す図である。 時間特徴の変化のイメージを示す図である。 実施形態に係る介入会話データを作成する処理の流れを示す図である。 効果確認の結果を示す図である。 効果確認の結果を示す図である。 効果確認の結果を示す図である。

以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明の実施形態は多くの異なる形態による実施が可能であり、以下に示す実施形態の具体的な例示にのみ限定されるわけではない。

（近時記憶支援装置）
図１は、本実施形態に係る近時記憶支援装置（以下「本装置」という。）１の概略を示す図である。本図で示すように、本装置１は、発言データを取得する発言データ取得装置２と、発言データに基づき介入会話データを作成する情報処理装置３と、介入会話データを発言として出力装置４と、を備えていることを特徴とする。本装置１はこの構成によっていわゆる共想法を実現することができる。ここで「共想法」とは参加者各自がまず自己の保有する画像を表示しながら自己が表示した画像について話題を提供し、その後参加者各人に対し他の参加者の提供した話題に対する質問を行わせ、逆に今度は他の参加者から質問を受け付け回答させる流れを行う会話による認知機能低下防止法をいう。この実現のため、できれば画像を表示することのできる液晶ディスプレイ等の表示装置に接続されていることは好ましい一例である。

また、本装置１は全体として、人の形に類似したロボットであることが好ましい。本装置１は共想法の参加者としても機能することもあり、人の形に類似させることで参加者に機械ではなくより人に近い存在であると認識させることが可能となる。この結果、参加者に自然な会話を促進させ、本装置による効果をより高めることが可能となる。人の形に似せる場合、上記各構成を人型の筐体に収納することで実現可能である。なおこの場合でも、画像表示装置に関しては筐体の外に配置することが違和感を少なくすることができるため好ましいが、筐体の一部に固定するようにしておいてもよい。

本装置１における発言データ取得装置２は、上記のとおり発言データを取得する装置をいう。ここで、「発言データ」とは、会話での発言内容に関する情報を含むデータをいい、具体的に参加者の発した音声データが典型的な例であるが、参加者が情報処理装置上のみで共想法を行おうとする場合等は、キーボード等の情報処理装置に付される入力装置を用いて作成するテキストのデータが該当する。なお、発言データは一般に主語、述語などを含む文章として取得される。

また、発言データは、複数取得されることが好ましい。例えば発言の間の静穏状態があった場合、ひとつの発言が終了したこととして一つの発言データとして記録し、その後他の発音（音声）があった場合、他の発言データとして記録するようにすることが好ましい。もちろん、発言者が複数いた場合に、音声の周波数分析を行いその発言を行った発言者を特定し、発言者の識別情報を付した上でさらに発言データを異ならせておくことは好ましい一例である。

すなわち本装置１における発言データ取得装置２の具体的な構成としては、例えばマイクロフォンを例示することができる。マイクロフォンは、音を電気信号に変換することができ、この電気信号が発音データとなり、情報処理装置に出力されることになる。なおキーボード等の装置を用いて行う場合は、このキーボードが発言データ取得装置２であるといってよい。更に、いわゆるスマートフォンやタブレット端末を用いる場合は、これら機器が備える表示装置に付される接触型の入力手段（いわゆるタッチパネル）を用いてもよい。

また、図２は、本装置１における情報処理装置３の機能ブロックを示す図である。本図で示すように、情報処理装置３は、発言データに基づき単語データを作成する単語データ作成部３１と単語データに基づき時間特徴データを作成する時間特徴データ作成部３２、時間特徴持続時間データを作成する時間特徴持続時間データ作成部３３、時間特徴持続時間データと時間特徴データに基づいて介入会話データを作成して出力装置４に介入会話データを出力する出力部３４と、を備えている。

本装置１における情報処理装置３は、上記の機能を有するものである限りにおいて構成に限定されない。ただし、いわゆるコンピュータであることが好ましい一例である。コンピュータである場合、ＣＰＵ（中央演算装置）、ハードディスク等の記録装置、メモリ等の記憶装置、これらを電気的に接続するバスを備えていることは好ましい構成であり、さらに、上記の発言データ取得装置２、後述する発言出力装置と、電気的に接続するためのインターフェース部とを備えていることが好ましい。

そしてこのようなコンピュータを用いた場合、ハードディスク等の記録装置に、所望の処理を行うための近時記憶支援プログラムを格納し、使用者の要求に応じて実行することで、本装置１の目的とする動作すなわち近似記憶支援方法を実行させることができるようになる。

また本装置１において発言出力装置４は、上記のとおり、情報処理装置３に接続されており、情報処理装置が出力するデータに基づき発言を出力することができる装置である。具体的には、情報処理装置によって作成された介入会話データ又は発言データを発言出力装置４に出力すれば、例えば音声、テキスト等として共想法の参加者に認識させることが可能となる。

またここで情報処理装置３の各機能ブロックについて説明する。まず、情報処理装置３における単語データ作成部３１は、発言データの形態素解析に基づき単語データを作成する。ここで、「単語データ」とは、発言データを細かく単語に分節した場合における各々の単語情報を含むデータという。具体的には、発言データが文章のデータである場合、この文章のデータを形態素解析し、細かく単語等の細かい単位に分類し、それぞれをデータとして保持する、ということである。なお、この単語データの作成に先立ち、発言データが単に音声データである場合、テキストのデータに変換しておくことが好ましい。音声データからテキストデータへの変換は、周知の手法を採用することができる。

また情報処理装置３における時間特徴データ作成部３２は、上記のとおり、単語データに基づき時間特徴データを作成する。具体的には、上記単語データ作成部３１によって作成された単語データ各々に対し、時間特徴に関する情報を抽出する。ここで、「時間特徴」とは、この単語が「現在」、「過去」、「未来」のいずれであるのか、又はいずれにも該当しないのかといった時間的な特徴に関する情報をいい、より具体的には、上記単語データ作成部３１によって作成された単語データが現在の内容を意味する単語なのか、未来の内容を意味する単語なのか、過去の内容を意味する単語なのか、といったことに関する情報を付与することを言う。なお、いずれにも該当しない単語の場合、前の単語と同じ時間特徴の情報を付与しておくことが好ましい。この場合のイメージを図３に示しておく。

またこの時間特徴データ作成部３２は、この時間特徴データを作成することができる限りにおいて限定されるわけではないが、予め時間特徴判断用の時間特徴データベースを備えており、複数の単語データと、この単語データに対応する時間的特徴を含んで構成されていることが好ましい。なお、この場合において、「過去」、「現在」、「未来」を単純に−１、０、１の値で区別することとしてもよいが、これをさらに「近い未来」、「遠い未来」、「近い過去」、「遠い過去」のように、同じ時間特徴範囲であっても数値に幅（例えば５段階等）を持たせて記録させておいてもよい。このように数値に幅を持たせることで、近い過去（例えば１段階（弱）程度の過去）の場合は介入を遠慮し、遠い過去（例えば５段階（強）程度の過去）の場合は介入を積極的に行う、というようにすれば、共想法の参加者のレベルなどに合わせて適時設定することが可能となる。

また情報処理装置３における時間特徴持続時間データ作成部３３は、上記のとおり、時間特徴データに基づき、時間特徴持続時間データを作成するものである。ここで時間特徴持続時間データとは、同じ時間特徴がどの程度継続しているのかといった時間（時間特徴持続時間）に関する情報を含むデータである。

また情報処理装置３における時間特徴持続時間データ作成部３３では、会話への発言データの内容に基づき時間特徴の状態を判断し、時間特徴の持続時間データを作成する。現在判断している時間特徴の現在状況のデータを作成及び保持しておくことが好ましいからである。具体的には、一つの発言の中でも、複数の単語に区分すると、「現在」に分類される単語、「過去」に分類される単語、「未来」に分類される単語等、異なる時間的特徴を含む場合がある。

そして、時間特徴持続時間データ作成部３３は、その時間特徴の状態がどの程度継続しているのかを計測し、その計測した値をデータとして保存する。この持続時間については、近時記憶を支援する観点から、時間特徴データが過去であるのは好ましくない。時間特徴データが過去と判断されるとき、時間特徴持続時間を計測させることを開始する。予め設定した時間を超えている時に、過去の状態が維持されている場合に、入力装置４が介入会話データを出力することとなる。または、時間の閾値を超えている時に、過去以外の時間特徴が判断されている場合に、時間特徴持続時間を計測しないこととしてもよい。

またここで、時間特徴持続時間は、様々な定義が可能であり限定されるわけではないが、例えば一つの発言中において、時間特徴持続時間データの計測を開始する時間特徴データを抽出したら即時計測を開始してもよい。この場合のイメージは図４に示す通りである。また、時間特徴持続時間データの計測を開始する時間特徴データを抽出した発言データの末尾すなわち発言が終わったときから時間特徴持続時間データの計測を開始するようにしてもよい。この場合のイメージを図５に示しておく。

また情報処理装置３における介入会話データを出力する出力部３４は、予め設定した時間を超えている時に、時間特徴持続時間データと時間特徴データに基づいて介入会話データを作成して、出力装置４に介入会話データを出力する。具体的には、参加者の発言において時間特徴データが過去の状態であって、所定の時間以上この状態が維持されていると判断した場合、介入会話データを選択し、参加者に介入会話に従い時間特徴の状態を変更するよう試みる。このようにすることで、参加者の心の状態を現在又は未来に向け、近時記憶機能を呼び戻すことができる。この場合において、この所定の時間とは、特に限定されるわけではないが、例えば時間特徴が過去であると判断された発言が完了してから３０秒以上、より好ましくは２０秒以上、最も効率的なものは１５秒である。

ここで、介入会話データは、音声のデータ又はテキストのデータであって、音声データの場合は、出力部から出力装置４に出力することで音声として再生が可能である。また、テキストデータの場合は、出力装置４に出力することでテキストとして表示が可能である。これらの記載から明らかなように、出力装置４は音声データの場合はスピーカー等の音声再生装置、テキストデータの場合は液晶ディスプレイなどの画像表示装置及びこれを備えた機器（例えば携帯電話であってもよい。）であることが好ましい。

以上、本装置は、高齢者に負担をかけずできる限り自然に近時記憶を支援する装置となっている。

（処理の流れ）
ここで、本装置の具体的な処理の流れについて以下に説明する。

図６は、本実施形態に係る近時記憶支援の処理の流れを示す。本図で示すように、本方法は、コンピュータに、（Ｓ１）発言データに基づき単語データを作成するステップ、（Ｓ２）単語データに基づき時間特徴データを作成するステップ、（Ｓ３）時間特徴持続時間データを作成するステップ、（Ｓ４）時間特徴持続時間データと時間特徴データに基づいて介入会話データを選択して出力装置に介入会話データを出力するステップ、を実行させるものである。

まず、本方法では、発言データに基づき単語データを作成する。図７に、実施形態に係る単語データを作成する処理の流れを示す。発言データの取得手法として、音声認識又は文字入力が可能である。取得した音声データと文字データを含めている発言データを文字列に変換する。発言データを読み込み、初期時刻の設定を開始し、各発言に対応する時刻Ｔ_ｓｉ（ｉは発言のＩＤ番号である）を記録し、図８に示すような発言と対応時刻のデータの例である。

その次、図９に実施形態に係る単語データを作成する処理の流れを示す。特定ＩＤの発言データを読み込み、形態素解析をし、図１０のような発言と単語と相対時刻のデータを作成する。ここで、相対時刻、Ｔ_ｗij とは各単語における時刻で、以下の式１により計算する。

次に、単語データに基づき時間特徴データを作成する。時間特徴データは、限定されるわけではないが、一例として、時間特徴のコーパスを用いて、「過去」、「現在」、「未来」のいずれであるかを判断し、時間特徴データとすることができる。このフローチャートの一例を、例えば図１１に示しておく。

この処理手順で発言処理を行うと、図４に示すデータが得られる。ここでは、時間特徴データを任意に設定することができるが、「過去」を−１、「現在」を０、「未来」を１とする。具体的な例示として、「昔は、トマトは夏しか食べられなかった。」は「昔」という単語で「過去」と判断し、「今はいつでも食べられるようになった。」は「今」という単語で「現在」で判断することができ、時間特徴データはそれぞれ−１、０となる。

また、図１２に、１５分間の発言データにおける時間特徴を、「過去」の場合−１、「現在」の場合０、「未来」の場合１としたときの推移の例を示しておく。

次に、本方法では、時間特徴持続時間データを作成する。一例として、図１３に示すように、時間特徴データを読み込み、データが過去であるかを判断され、処理を行う。過去と判断された場合に、この過去の状態がどの程度持続しているのかを表す時間特徴持続時間Ｔ_ｐを計測する。過去と判断された単語による相対時刻、Ｔ_ｗｉｊで、Ｔ_ｐが増加していく。もちろん、計測の開始時としては、過去と判断された瞬間でもよく、また、その過去と判断された発言が過去のまま終了した場合に、その発言の終了から所定の期間としてもよい。更には、発言全体の平均値をとり、この値が過去に属すると判断した場合、その発言終了から時間特徴持続時間を計測開始することとしてもよい。過去と判断されない場合に、Ｔ_ｐを０にリセットする。

また、本方法では、時間特徴持続時間、Ｔ_ｐが予め設定した時間の閾値、ｄ秒を超えている時に、前記時間特徴持続時間データと前記時間特徴データに基づいて介入会話データを作成して、出力装置に前記介入会話データを出力する。一度介入会話データを出力したらＴ_ｐを０にリセットする。

以上、本方法は、高齢者に負担をかけずできる限り自然に近時記憶を支援することができる。

（効果確認）
ここで、本装置の効果を確認するため、健康長寿高齢者の姉妹らの活発な会話データを基準にして分析した。分析方法は４回の共想法形式で行われた会話データと１回の自由会話データの発話者の発言データにおける時間特徴の変化する回数を計測した。近時記憶を支援する観点から、特に「過去」から「現在」又は「未来」に変化する場合と「現在」又は「未来」から「過去」に変化する場合を抽出して行った。具体的には（１）発話者自身の発言により時間特徴の変化した回数、（２）他の発話者の発言により時間特徴が変化した回数を計測した。または、近時記憶の支援観点で、「現在」・「未来」は良い傾向であるため、「現在」と「未来」の間の推移は注目せず、「過去」と「現在」・「未来」の推移について分析した。この結果を下記表１にまとめた。なお、表１中、（Ｉ）〜（Ｖ）は実施した会話のまとまりを示す。（Ｉ）〜（ＩＶ）は共想法形式の会話で、（Ｖ）は自由会話であった。また、下記表２に、時間特徴の変化したときの具体的な発言例を示しておく。

上記表１より、他の発話者による発言の時間特徴変化の回数は同じ発話者より多い傾向が見て取られた。全体の回数における過去から現在または未来に変化するとき、発話者自身による発言は１８回であるのに対し、他の発話者によるものは４０回であった。同様に、現在または未来から過去に変化するとき、発話者自身による発言は２１回であるのに対し、他の発話者によるものは３７回であった。これより、時間特徴の変化は他の発話者の発言でよく発生することを確認できた。

従って、本装置は、発話者の時間特徴を過去から現在・未来に戻すほかの参加者の役割を果たす。

またここで、高齢者が昔のことを話している状態を検出するために、一例として、発言を分類するため、過去・現在・未来のタグを付けたコーパスを用いる。コーパスを作成するために、ここでは健康長寿高齢者の姉妹らの発言を参考に、時間特徴を表すキーワードを抽出した。ここで、抽出する基準は客観的に確認できるキーワードを抽出した。時間特徴を表す例を表３に示す。

過去の内容の発言が続き、時間特徴持続時間データが予め設定した時間を超えている時に、介入会話データベースから介入会話データを選択して出力装置に介入会話データを出力する。過去に集めた会話データの発言から介入会話データベースを作成する。具体的な例示として、「今日はこの写真の他に、大体何枚の写真を撮りましたか？」という質問形式の発言を介入会話データとして出力する。

そして、最近の体験について話すよう支援するには、会話に介入し、過去の内容の発話が続くとき、時間特徴を現在に戻す必要がある。タイミングよく会話介入のタイミングを検出するため、健康長寿高齢者の8回の会話データを分析し、「過去」の状態の持続時間だけではなく、発言データにおける「現在」と「未来」の状態の持続時間も算出した。この結果を図１４乃至図１６に示す。

図１４で示すように、１〜１５秒間で過去に関する発言を持続する回数が１番多く、１６秒以上の区間では、その回数は減っていく傾向が見えた。「過去」に関する具体的な発言例は「終戦後レタスというのが出て来たんだね、この野菜が。それでね、サラダにするとおいしいだけどね、昔はね、このレタスによく似たね。」であった。

また図１５で示すように、現在に関する発言が１番長く、発生する回数も１番多かった。同図により、２１秒以上の区間では、発生する回数が減り、５６〜７０秒間の区間でまた増え、７０秒間のピークを超えた後、発生回数が減っていく傾向が見えた。「現在」に関する具体的な発言例は「今は時期なくて夏でも白菜が出るけど、でもね、やっぱり冬の白菜がおいしいですね。」であった。

また図１６で示すように、「未来」に関する発言を持続する時間が５秒間を超えたら、減っていく傾向が見えた。「未来」に関する発言例は「浅草今度行ったら買ってこんといかんな。」であった。

上記の検討の結果、「現在」の状態の持続時間が１番長いことがわかった。「現在」について話すのは近時記憶支援の主旨に沿うため、会話が長く持続することが望ましいと言える。過去・現在・未来の発言のグラフにより、それぞれの持続時間が減っている傾向が異なる。そこで、近時記憶を支援する観点から、「過去」の発言は望ましくないため、「過去」の発言が減っている傾向に従い、会話介入のタイミングは「過去」の発言が１５秒間持続したときと設定できる。

以上の分析結果により、時間特徴推移は他の発話者の発言でよく発生することがわかった。したがって、本発明の目的を踏まえ、発話者の時間特徴を過去から現在・未来に変化させる他の発話者のような存在が有効であることがわかった。したがって、本発明の有効性について確認することができた。

本発明は、近時記憶支援装置及び近時記憶支援方法として産業上の利用可能性がある。

Claims (4)

1. 発言データを取得する発言データ取得装置と、前記発言データに基づき介入会話データを作成する情報処理装置と、前記介入会話データを出力する提示装置と、を備えた近時記憶支援装置であって、
   前記情報処理装置は、
   発言データに基づき単語データを作成する単語データ作成部、
   前記単語データに基づき時間特徴データを作成する時間特徴データ作成部、
   前記時間特徴データに基づき時間特徴持続時間データを作成する時間特徴持続時間データ作成部、
   前記時間特徴持続時間データと前記時間特徴データに基づいて介入会話データを作成して出力装置に前記介入会話データを出力する出力部と、を備えた近時記憶支援装置。
2. 前記時間特徴データ作成部は、前記時間特徴データが未来、現在又は過去のいずれかの情報を含むよう時間特徴データを作成することを特徴とする、請求項１記載の近時記憶支援装置。
3. 前記出力部は、前記時間特徴データが過去の情報を含み、前記時間特徴持続時間データが閾値データを超えた場合に、前記介入会話データを選択して出力装置に前記出力することを特徴とする、請求項１記載の近時記憶支援装置。
4. 前記時間特徴データが過去の情報を含み、前記時間特徴持続時間データが閾値を超えた 場合に、前記時間特徴データの状態を変更するように介入会話データを選択して前記出力 装置に出力する請求項３記載の近時記憶支援装置。