JP6967777B2 - 言語機能訓練システムおよび装置 - Google Patents

Description

本発明は、言語機能訓練システム、装置、およびプログラムに関し、特に、失語症に基づく言語障害の回復を支援するための訓練システム、装置、およびプログラムに関する。

運動機能の回復を目的とした訓練装置としては様々な製品が提案されているが、言語障害の回復を目的とした訓練装置の製品はほとんど存在しない。一方で、特開２０１６−９１３３号公報（特許文献１）および特開２０１４−２０２９６３号公報（特許文献２）には、被訓練者とインタラクションをとるロボットと、ロボットに接続されたタブレット端末とを備える言語リハビリテーション支援装置が提案されている。

特許文献１の支援装置では、言語障害のうち特に構音障害の訓練のために、被訓練者が読み上げた音声の認識結果に応じて、答えが正解かどうかを提示し、その認識結果を、実行日時、対象単語、再生速度等と関連付けて、履歴として登録する。

特許文献２の支援装置では、注意障害、失語症等の音声言語障害の患者のための聴覚的理解力のリハビリテーションの支援を行うために、音韻的対立のある単語のペアを記憶しておき、リハビリの際に、単語のペアを連続して音響出力し、「最初に聞こえた単語を言ってください。」といったメッセージを表示または音声出力することが開示されている。また、単語のペアの選別を、注意障害の患者と失語症の患者とで異ならせることが記載されている。

特開２０１６−９１３３号公報 特開２０１４−２０２９６３号公報

言語障害のうちの失語症は、高次脳機能障害の一種であり、主に脳出血または脳梗塞などの脳血管障害によって脳の言語機能の中枢（言語野）が損傷されることにより、一旦獲得した言語機能（「聞く」、「話す」といった音声に関する機能、および、「読む」、「書く」といった文字に関する機能）が障害された症状をいう。失語症は左脳の脳血管障害の影響により発症する症状であるため、右手が麻痺するといった右半身の運動障害を伴うケースがある。

上記特許文献１の訓練システムは、言語障害のうちの構音障害の回復を目的としていることから、この訓練システムを失語症の患者の言語機能の訓練に用いることができない。また、特許文献２の訓練システムでは、失語症の言語障害のうち聴覚的理解力に特化した訓練しか行えず、失語症の患者が患う複数種類の言語障害の訓練を総合的に行うことができない。

本発明は、上記のような課題を解決するためになされたものであって、その目的は、失語症に基づく言語障害の回復を効果的に支援することのできる言語機能訓練システム、装置、およびプログラムを提供することである。

この発明のある局面に従う言語機能訓練システムは、失語症に基づく言語障害の回復を支援するための訓練システムであって、患者に対して、聞く訓練モードおよび話す訓練モードを含む複数の訓練モードのそれぞれに対応する質問を出力する質問出力手段と、質問出力手段により出力された質問に対する回答を入力する回答入力手段と、回答入力手段により入力された回答の正否を判定する正否判定手段と、正否判定手段による判定結果を記憶する結果記憶部とを備える。質問出力手段は、質問となる音声を出力する音声出力部を含む。回答入力手段は、患者が発話した音声を入力する音声入力部と、イラストまたは文字を表わす複数の表示要素のなかから少なくとも１つの表示要素を患者に選択させる表示要素選択手段と、患者により動かされた物体の移動方向または傾きを検知するモーションセンサとを含む。

好ましくは、質問出力手段は、表示要素選択手段により選択された表示要素に関する質問、または、前記音声入力部に入力された音声に関する質問を出力する。

好ましくは、モーションセンサによる検知対象の物体は、音声入力部、音声出力部、正否判定手段、および結果記憶部を搭載した本体ユニットであり、表示要素選択手段は、本体ユニットと無線または有線で接続された付属機器により構成される。

付属機器は、表示要素が表示されたカードから、表示要素を特定するための要素特定データを読み取るカードリーダであることが望ましい。

好ましくは、言語機能訓練システムは、訓練モードごとに、訓練レベルに関連付けて質問情報および回答情報を記憶する訓練情報記憶部をさらに備える。この場合、カードリーダは、訓練レベルを含む個人情報が記録された認証用カードから、個人情報を読み取り、質問出力手段は、訓練情報記憶部に記憶された複数の質問情報のうち、患者の訓練レベルに関連付けられた質問情報に基づく質問を出力することが望ましい。

好ましくは、結果記憶部は、正否判定手段による判定結果を患者または病室ごとに記憶する。言語機能訓練システムは、結果記憶部に記憶された判定結果を解析する解析手段をさらに備えることが望ましい。

好ましくは、音声出力部は、正否判定手段により不正解と判定された場合、または、進行中の訓練モードとは異なる訓練モードに対応した回答が入力された場合に、入力された回答に対して所定の音声を出力した後で、正解となる回答の入力を促す音声を出力する。

付属機器は、スクリーン上に表示された各表示要素に対応する位置情報を検出するタッチパネル、または、シート上に予め表示された各表示要素に対応するコード情報を読み取るタッチペンであってもよい。

この発明の他の局面に従う言語機能訓練装置は、失語症に基づく言語障害の回復を支援するための訓練装置であって、患者に対して、聞く訓練モードおよび話す訓練モードを含む複数の訓練モードのそれぞれに対応する質問を出力する質問出力手段と、質問出力手段により出力された質問に対する回答を入力する回答入力手段と、回答入力手段により入力された回答の正否を判定する正否判定手段と、正否判定手段による判定結果を記憶する結果記憶部とを備える。質問出力手段は、質問となる音声を出力する音声出力部を含む。回答入力手段は、患者が発話した音声を入力する音声入力部と、当該訓練装置の移動方向または傾きを検知するモーションセンサとを含む。

この発明のある局面に従う言語機能訓練プログラムは、音声を入力する音声入力部と、音声を出力する音声出力部と、自身の移動方向または傾きを検知するモーションセンサとを搭載した言語機能訓練装置によって実行されるプログラムであって、聞く訓練モードおよび話す訓練モードを含む複数の訓練モードにおいて、音声出力部から質問となる音声を出力するステップと、出力された質問に対する回答として、音声入力部に入力された音声の認識結果、または、モーションセンサにより検知された検知結果を取得するステップと、取得された回答の正否を判定するステップと、回答の正否の判定結果を結果記憶部に記録するステップとを含む。

本発明によれば、失語症に基づく言語障害の回復を、効果的に支援することができる。

本発明の実施の形態に係る言語機能訓練システムの概略構成を模式的に示す図である。 （Ａ）は、本体ユニットのハードウェア構成例を示すブロック図であり、（Ｂ）は、カードリーダのハードウェア構成例を示すブロック図である。 個人情報の設定画面一例を示す図である。 本発明の実施の形態において、本体ユニットの機能構成を示す機能ブロック図である。 （Ａ）は、訓練情報記憶部に格納されるコンテンツデータテーブルの構造例を示す図であり、（Ｂ）は、訓練情報記憶部に格納されるカテゴリーデータテーブルの構造例を示す図である。 結果記憶部に記憶されるログデータの構造例を示す図である。 本発明の実施の形態に係る言語機能訓練システムの基本動作を示すフローチャートである。 本発明の実施の形態における言語訓練処理を示すフローチャートである。 （Ａ）、（Ｂ）は、本発明の実施の形態において、聞く訓練の具体的な流れの一例を模式的に示す図である。 本発明の実施の形態において、話す訓練の具体的な流れの一例を模式的に示す図である。 本発明の実施の形態において、読む訓練の具体的な流れの一例を模式的に示す図である。 本発明の実施の形態において、ゲームによる言語訓練の具体的な流れの一例を模式的に示す図である。 （Ａ）、（Ｂ）は、カードリーダの他の構成例を示すブロック図である。 （Ａ）〜（Ｃ）は、付属機器の他の例であるタッチパネルの画面表示例を示す図である。

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

（言語機能訓練システムの概略構成について）
図１は、本実施の形態に係る言語機能訓練システム１の概略構成を模式的に示す図である。言語機能訓練システム１は、「聞く訓練モード」、「話す訓練モード」、および「読む訓練モード」を含む複数の訓練モードによって、失語症に基づく言語障害の回復を支援する。そのため、言語機能訓練システム１は、患者からの回答を入力する回答入力手段１０として、複数のユーザーインターフェースを搭載している。これにより、各訓練モードに適したユーザーインターフェースでの回答入力が可能となる。

具体的には、回答入力手段１０は、患者が発話した音声を入力する音声入力部としてのマイク２２と、イラストまたは文字を表わす複数の表示要素のなかから少なくとも１つの表示要素を患者に選択させる表示要素選択手段と、患者により動かされた物体の移動方向または傾きを検知するモーションセンサ２１とを含む。

本実施の形態において、言語機能訓練システム１は、マイク２２およびモーションセンサ２１を搭載した本体ユニット２と、表示要素選択手段としてのカードリーダ３とを備えている。

本体ユニット２は、失語症に基づく言語障害の回復を支援するための言語機能訓練装置である。本体ユニット２は、たとえば、対話機能を有する装置、すなわちコミュニケーションロボットにより実現される。本実施の形態において、モーションセンサ２１は本体ユニット２に搭載されるため、モーションセンサ２１が動きを検知する検知対象の物体は、本体ユニット２である。本体ユニット２の大きさ、形状、および重さは特に限定されないが、片手で把持して持ち上げられる大きさ、形状、および重さであることが望ましい。

カードリーダ３は、本体ユニット２と無線接続された付属機器である。カードリーダ３は、複数の訓練用カード４および認証用カード５に予め記録されたデータを読み取り、読み取ったデータを本体ユニット２に送信する。なお、本体ユニット２とカードリーダ３とは、有線にて接続されていてもよい。

訓練用カード４上にはイラストまたは文字（表示要素）が表示されており、表示されたイラストまたは文字を特定するための要素特定データが予め記録されている。なお、イラストには、絵の他、〇×等の記号も含まれる。「文字」には、ひらがな、漢字、片仮名、ローマ字、数字等が含まれる。認証用カード５には、患者（または、患者が属する病室）ごとに、訓練レベルを含む個人情報が記録されている。各訓練用カード４および認証用カード５は、たとえば、ＩＣタグとしてのＲＦＩＤ（radio frequency identifier）４０を有している。

（本体ユニットおよびカードリーダのハードウェア構成例について）
図２（Ａ）は、本体ユニット２のハードウェア構成例を示すブロック図である。本体ユニット２は、自身の移動または傾きを検知するモーションセンサ２１と、音声を入力するマイク２２と、マイク２２に入力された音声を認識する音声認識部２３と、カードリーダ３と通信するための無線通信コントローラ２４と、接続された各部の制御を行うとともに各種演算を行うコントローラ２５と、計時動作を行う時計２６と、各種データおよびプログラムを記録する不揮発性のメモリ２７と、各種の状態を報知するための少なくとも１つのＬＥＤ（light emitting diode）２８と、音声を出力する音声出力部としてのスピーカ２９と、外部の制御対象機器に対して赤外線を出力する赤外線出力部３０とを含む。

音声認識部２３は、複数の登録フレーズそれぞれのモデルパラメータが予め記憶された記憶部を有し、マイク２２に入力された音声信号と記憶部に記憶されたモデルパラメータとに基づいて、音声をフレーズ単位で認識する。モデルパラメータは、たとえばＨＭＭ（Hidden Markov Model）法に基づく音響モデルのパラメータである。

なお、音声認識部２３における音声認識方法としては、このようなフレーズ単位で音声を認識する方法に限定されず、音素単位で音声を認識する方法を採用してもよい。また、音声認識部２３は、スタンドアロン型であってもよいし、クラウド型であってもよい。つまり、音声認識部２３の機能は、インターネット上のサーバによって実現されてもよい。

図２（Ｂ）は、カードリーダ３のハードウェア構成例を示すブロック図である。カードリーダ３は、磁界を発生させるコイル３１と、この磁界の中にあるＲＦＩＤ４０から送られるデータを読み取る非接触リーダ３２と、接続された各部の制御を行うコントローラ３３と、本体ユニット２と通信するための無線通信コントローラ３４と、各種の状態を報知するためのＬＥＤ３５とを含む。

カードリーダ３は接触面３ａを有しており、接触面３ａにかざされたカード４，５に記録されたデータが非接触リーダ３２によって読み取られる。非接触リーダ３２によって読み取られたデータは、無線通信コントローラ３４を介して本体ユニット２に送信される。

なお、図２（Ｂ）では、カードリーダ３の構成例として電磁誘導方式の構成を示したが、他の方式であってもよい。

カードリーダ３によって読み取り可能なデータを記録した訓練用カード４は、上述のように、イラストまたは文字が表面に示されたカード（以下「絵カード４ａ」という）の他、訓練モードを選択するためのカード（以下「モード選択カード４ｂ」という）を含んでもよい。本実施の形態において、モード選択カード４ｂは、「聞く訓練モード」を選択するカード、「話す訓練モード」を選択するカード、および「読む訓練モード」を選択するカードを含む。また、「ゲームモード」を選択するカードを含んでもよい。

認証用カード５に記録される個人情報は、言語聴覚士によって設定される。個人情報の設定画面の一例が、図３に示される。この設定画面は、たとえば、設定用ソフト（アプリケーションソフトウェア）がインストールされた情報処理端末（パソコン、携帯端末など）において表示される画面である。

図３を参照して、設定画面は、患者を識別するための識別ＩＤ（たとえば１〜９９９９９９）を入力する入力欄を有し、識別ＩＤにより識別される患者に適した問題数およびレベルが、訓練モードごとに選択される。なお、識別ＩＤは、病室ごとに設定されてもよい。これにより、病室ごとに認証用カード５を管理できるため、同一の識別ＩＤを複数の患者に使いまわすことができる。

ここで、図３に示されるように、「聞く訓練」の問題（質問）の種類としては、たとえば、単語レベル（絵カード４ａを用いた単語レベルの聞く訓練）、短文レベル（絵カード４ａを用いた短文レベルの聞く訓練）、口頭命令（たとえばモーションセンサ２１を用いた口頭命令の聞く訓練）、〇×選択（本体ユニット２からの問題を聞き、「〇（正しい）」か「×（誤り）」を示した絵カード４ａで答える訓練）が含まれる。「話す訓練」の問題の種類としては、単語レベル（マイク２２および音声認識部２３を用いた単語レベルの話す訓練）、語列挙（マイク２２および音声認識部２３を用いた語列挙の話す訓練）が含まれる。「読む訓練」の問題の種類としては、単語レベル（絵カード４ａを用いた単語レベルの読む訓練）、短文レベル（絵カード４ａを用いた短文レベルの読む訓練）が含まれる。

このように、各訓練モードには、複数の問題の種類が含まれる。訓練モードと問題の種類との組み合わせを、以下「訓練種別」と称する。

「ゲーム」の問題の種類としては、後出しじゃんけん等、言語障害の回復に寄与し得る問題が含まれている。設定画面例では、複数の訓練モードに「複合訓練モード」も含まれる例が示されており、「複合訓練」の問題の種類としては、仲間外れ当て（本体ユニット２からの問題を聞き、仲間外れのものを音声で答える訓練）、並べ替え（本体ユニット２からの問題を聞き、音声または絵カード４ａで答える訓練）が含まれる。

図３のように各訓練種別に対して問題数（たとえば０〜５）および訓練レベル（たとえば初級、中級、上級）が選択された後、カードライターに対象の認証用カード５をかざして書き込みを指示すると、認証用カード５にこれらの情報が個人情報として書き込まれる。認証用カード５の個人情報は、本システム１による訓練結果に応じて、手動または自動的に書き替え可能である。

なお、認証用カード５と訓練用カード４との区別を容易にするために、これらの外観（たとえば、形状、大きさ等）は異なっていてもよい。

（本体ユニットの機能構成について）
図４は、本体ユニット２の機能構成を示す機能ブロック図である。本体ユニット２は、その機能として、訓練制御部６０と、カードリーダ３から個人情報を受信する個人情報受信部６１と、カードリーダ３から訓練モード（聞く訓練モード、話す訓練モード、読む訓練モード、あるいはゲームモード）を特定するモード情報を受信するモード情報受信部６２と、カードリーダ３から要素特定情報（イラストまたは文字を特定する情報）を受信する要素特定情報受信部６３と、訓練情報を予め記憶する訓練情報記憶部６５と、訓練結果を記録する結果記憶部６６とを備える。

個人情報受信部６１、モード情報受信部６２、および要素特定情報受信部６３は、図２に示した無線通信コントローラ２４により実現される。訓練制御部６０は、図２に示したコントローラ２５により実現される。訓練情報記憶部６５および結果記憶部６６は、図２に示したメモリ２７により実現される。

訓練制御部６０は、個人情報受信部６１が受信した個人情報、および、モード情報受信部６２が受信したモード情報に基づいて、言語機能の訓練のための制御を行う。すなわち、訓練制御部６０は、患者（または言語聴覚士）が指定した訓練モードで、患者の訓練レベルに応じた訓練処理を行う。

訓練制御部６０は、失語症の患者に対して質問を出力する処理を行う質問出力処理部７１と、質問出力処理部７１による処理によって出力された質問に対する回答を取得する回答取得部７２と、回答取得部７２が取得した回答の正否を判定する正否判定部７３とを含む。

質問出力処理部７１は、カードリーダ３から得られた個人情報およびモード情報と、訓練情報記憶部６５に予め記憶された訓練情報とに基づいて、質問の出力処理を実行する。訓練情報は、訓練モードごとに、訓練レベルに関連付けて記憶された質問情報および回答情報を含む。質問出力処理部７１は、少なくとも聞く訓練モードにおいて、スピーカ２９から質問となる音声を出力する処理を行う。

選択された訓練モードが聞く訓練以外の場合には、質問出力処理部７１は、要素特定情報受信部６３が受信した要素特定情報（選択されたイラストまたは文字を特定する情報）を取得すると、選択されたイラストまたは文字に関する質問を、スピーカ２９から音声出力する。また、質問出力処理部７１は、音声認識部２３から出題フレーズを取得すると、出題フレーズに関する質問を、スピーカ２９から音声出力する。

回答取得部７２は、回答入力手段１０に入力された回答情報を受信する。すなわち、回答取得部７２は、訓練モードに応じて、音声認識部２３が認識したフレーズ、モーションセンサ２１が検知した本体ユニット２の動き、または、要素特定情報受信部６３が受信した要素特定情報を、質問に対する回答として取得する。なお、訓練モードごとの具体的な回答入力例については後述する。

正否判定部７３は、訓練情報記憶部６５に予め記憶された訓練情報に基づいて、回答取得部７２が取得した回答の正否を判定する。正否判定部７３による判定結果は、患者ごとに、結果記憶部６６に記憶される。

訓練情報記憶部６５は、訓練情報として、上述のように、訓練モードごとに、訓練レベルに関連付けて質問情報および回答情報を記憶するとともに、回答ごとのカテゴリー情報（動物、植物、食物など）を予め記憶していることが望ましい。本実施の形態において、訓練情報記憶部６５には、たとえば、訓練種別（訓練モードおよび問題の種類）ごとに質問の識別データと正解の識別データとが対応付けられたコンテンツデータテーブルと、カテゴリーの識別データと回答の識別データとが対応付けられたカテゴリーデータテーブルとが格納されている。

図５（Ａ）には、コンテンツデータテーブル６５ａの構造例が示されている。図５（Ａ）を参照して、コンテンツデータテーブル６５ａは、たとえば、出題番号（質問の識別データ）、訓練種別（訓練モードおよび問題の種類）、訓練レベル、使用カード枚数、再生音番号（問題用の再生音番号、回答が入力されたとき／回答が入力されないとき／誤った回答が入力されたときに出力する再生音番号）、正解の識別データ（フレーズ番号・カード番号・モーション番号）の項目を有している。たとえば単語レベルの聞く訓練の場合、正解の識別データとしてカード番号が記憶されている。口頭命令の聞く訓練の場合、正解の識別データとしてモーション番号が記憶されている。使用カード枚数のデータは、複合訓練の並べ替え等において用いられる。

なお、各再生音番号に対応する音声データも、訓練情報記憶部６５に記憶されている。また、訓練情報記憶部６５には、フレーズ番号、カード番号、およびモーション番号の各々に対し、回答入力時に出力する音声を特定するための再生音番号が、関連付けて記憶されている。

図５（Ｂ）には、カテゴリーデータテーブル６５ｂの構造例が示されている。図５（Ｂ）を参照して、カテゴリーデータテーブル６５ｂは、たとえば、カテゴリー番号（カテゴリーの識別データ）、カード番号、および、フレーズ番号の項目を有している。つまり、カテゴリー番号ごとに、カード番号およびフレーズ番号の少なくとも一方が対応付けられて記憶されている。具体的には、カテゴリー番号０００１のカテゴリーが動物であると仮定すると、カテゴリー番号０００１に対応付けて、動物に関する絵カード４ａの識別番号が記録されている。また、カテゴリー番号０００１に対応付けて、動物に関するフレーズ（音声認識結果）の識別番号が記録されていてもよい。

結果記憶部６６には、患者ごとに、本システム１を用いた訓練の結果がログデータとして記憶される。たとえば、患者の識別ＩＤごとに、ファイル単位でログデータが記憶される。なお、結果記憶部６６は、着脱可能な記録媒体（図示せず）により実現されてもよい。

図６に、ログデータ６６ａの構造例が示されている。図６を参照して、ログデータ６６ａは、日時、訓練種別（訓練モードおよび問題の種類）、出題番号、結果、回答に要した時間、回答のフレーズ番号、カード番号、モーション番号の項目を有している。回答の項目では、共通の出題番号に対し、複数の回答データが記録されてもよい。たとえば、互いに異なる複数のカード番号が記録されてもよいし、フレーズ番号とカード番号の双方が記録されてもよい。

なお、図４において訓練制御部６０に含まれる各部の機能は、コントローラ２５がソフトウェアを実行することで実現されてもよいし、ハードウェアで実現されてもよい。

（動作について）
本実施の形態に係る言語機能訓練システム１の動作について説明する。図７は、言語機能訓練システム１の基本動作を示すフローチャートである。

本実施の形態における本体ユニット２はコミュニケーションロボットであるため、待ち受け状態においては基本の会話機能が作動している（ステップＳ２）。

待ち受け状態において、たとえば、訓練対象の患者が選択されると（ステップＳ６）、言語訓練処理が開始する（ステップＳ８）。本実施の形態では、カードリーダ３の接触面３ａに、訓練対象の患者の個人カード、すなわち認証用カード５をかざすことによって、訓練対象の患者が選択される。この場合、カードリーダ３が読み取った認証用カード５の記録情報（個人情報）は、本体ユニット２に送信される。送信された個人情報は、本体ユニット２の個人情報受信部６１によって受信され、訓練制御部６０に送られる。

ステップＳ８の言語訓練処理については、図８にサブルーチンを挙げて説明する。

図８は、本実施の形態における言語訓練処理を示すフローチャートである。なお、図８に示す言語訓練処理は、本体ユニット２のコントローラ２５が、メモリ２７に記憶された言語機能訓練プログラムを読み出して実行することによって実現される。

図２および図８を参照して、はじめに、本体ユニット２の訓練制御部６０は、訓練モードの選択を受け付ける（ステップＳ１０）。本実施の形態では、複数のモード選択カード４ｂのうちのいずれ１つがカードリーダ３の接触面３ａにかざされることによって、訓練モードが選択される。訓練制御部６０は、モード情報受信部６２からモード情報を取得し、聞く訓練モード、話す訓練モード、および読む訓練モードのうちのいずれが選択されたかを判断する。

なお、モード選択カード４ｂの他、音声によるモード選択が可能であってもよい。つまり、図４において想像線で示されるように、訓練制御部６０は音声認識部２３からモードを示すフレーズを入力してもよい。

訓練モードが選択されると、訓練制御部６０は、訓練の説明を患者に提示する処理を行う（ステップＳ１２）。具体的には、訓練制御部６０は、スピーカ２９から訓練の説明を音声にて出力する。

次に、訓練制御部６０の質問出力処理部７１は、選択された訓練モードおよび患者の個人情報に基づいて、患者に適した問題を出題する（ステップＳ１４）。すなわち、訓練情報記憶部６５に記憶されている、選択された訓練モードに対応する複数の質問情報のうち、患者の訓練レベルに関連付けられた質問情報に基づく質問を出力する。より具体的には、コンテンツデータテーブル６５ａに格納された複数の出題データの中から患者の訓練レベルに一致する出題データを抽出し、抽出した出題データに基づく問題を音声にて出力する。

ここで、聞く訓練モードの場合、訓練制御部６０がコンテンツデータテーブル６５ａの中から患者に適した出題データを抽出するが、話す訓練モードおよび読む訓練モードの場合には、要素特定情報受信部６３がカードリーダ３から受信した要素特定情報に対応する出題データ、または、音声認識部２３から受信した出題フレーズに対応する出題データが選択される。

問題が出題されると、訓練制御部６０は回答の有無を判断する（ステップＳ１６）。訓練制御部６０は回答が得られるまで待機する。回答が得られた場合、すなわち訓練制御部６０の回答取得部７２が回答を取得した場合（ステップＳ１６にて「有」）、正否判定部７３によって回答の正否が判定される（ステップＳ１８）。なお、回答取得部７２は、上述のように、回答入力手段１０のうち、出題した問題に対応するユーザーインターフェースにより回答を取得する。患者のモチベーション低下を防止するために、期待するユーザーインターフェースによる回答入力（正解）以外の入力に対しても、訓練制御部６０は何らかの応答（典型的には音声による応答）をすることが望ましい。

正否判定部７３は、コンテンツデータテーブル６５ａを参照し、取得した回答が正しいか否かを判定する。問題ごとの判定結果は、問題の出題から回答が得られるまでに要した時間とともに、内部メモリに一時記憶される。

次に、訓練制御部６０は、規定の出題数だけ問題を出題したか否かを判断する（ステップＳ２０）。つまり、図７のステップＳ６において得られた個人情報に基づいて、実行中の訓練種別に対応する問題が、事前に設定された出題数分、出題されたか否かが判断される。たとえば聞く訓練モードを実行中の場合、単語レベルの聞く訓練、短文レベルの聞く訓練、口頭命令の聞く訓練、〇×で答える訓練の４つの訓練それぞれについて、事前に設定された出題数分、問題が出題されたか否かが判断される。規定の出題数に達していなければ（ステップＳ２０にてｎｏ）、ステップＳ１４に戻り、上記処理を繰り返す。

実行中の訓練モードに対応する問題が規定数出題された場合には（ステップＳ２０にてｙｅｓ）、今回の訓練結果が結果記憶部６６に記録される（ステップＳ２２）。つまり、上記ステップＳ１８において一時記憶されていた判定結果が、結果記憶部６６にログデータとして記録される。

以上で、一連の言語訓練処理が終了される。なお、本実施の形態では、ステップＳ１０で選択された訓練モードの言語訓練が終わると、言語訓練処理を終了することとしたが、引き続き他の訓練モードによる言語訓練ができるようにしてもよい。

（聞く訓練の具体例）
図９を参照して、聞く訓練の具体的な流れの一例について説明する。図８のステップＳ１０において聞く訓練モードが選択されると、図９（Ａ）に示されるように、本体ユニット２は、たとえば「聞くトレーニングをはじめるよ。最初は単語レベルの訓練だよ。」といった音声を出力し、訓練内容について説明する（図８のステップＳ１２）。

本体ユニット２が、質問フレーズとして「しまうま」と音声出力したと仮定する（図８のステップＳ１４）。患者によって、複数の絵カード４ａのうち、しまうまに該当する絵カード４ａが選択された場合（図８のステップＳ１６）、本体ユニット２は、「ピンポーン！正解だよ。」と音声出力する（図８のステップＳ１８）。

単語レベルの聞く訓練においては、しまうまのイラストの絵カード４ａ、および、「しまうま」という文字が記載された絵カード４ａのいずれか選択されても正解となる。なお、各絵カード４ａに表示された表示要素がイラストであるか文字であるかを識別するための情報も、各絵カード４ａのＲＦＩＤ４０に記憶されている。

続いて、口頭命令の聞く訓練を開始する場合、図９（Ｂ）に示されるように、本体ユニット２は、たとえば「次の問題、いくよ。次は、口頭命令の訓練だよ。」と音声出力を行い、訓練内容について説明してもよい。このように、同じ訓練モードであっても、別の種類の訓練を開始する場合には、その訓練内容の説明を行ってもよい（図８のステップＳ１２）。

本体ユニット２が、質問として、「僕を逆さまにしてみて」と音声出力したと仮定する（図８のステップＳ１４）。この質問に応じて、患者が、本体ユニット２を手で把持し、本体ユニット２そのものを逆さまにひっくり返した場合（図８のステップＳ１６）、本体ユニット２は、「逆さまだよ。ピンポーン！正解だよ。」といった音声を出力する（図８のステップＳ１８）。このように、正解を表わす音声だけでなく、モーションセンサ２１が検知した本体ユニット２の動きを表わす音声も出力することが望ましい。

上記のように、口頭命令の聞く訓練では、モーションセンサ２１にて検知可能な動作の命令が、問題として出題される。たとえば「逆さまにする」という問題の他、「上に持ち上げる」、「右（または左）斜め上に持ち上げる」、「時計まわり（または反時計まわり）に回す」、「後ろに傾ける」などの問題が出題可能である。

（話す訓練の具体例）
図１０を参照して、話す訓練の具体的な流れの一例について説明する。図８のステップＳ１０において話す訓練モードが選択されると、図１０に示されるように、本体ユニット２は、たとえば「話すトレーニングをはじめるよ。最初は単語レベルの訓練だよ。」と音声出力を行い、訓練内容について説明する（図８のステップＳ１２）。

次に、患者が、複数の絵カード４ａの中から、「しまうま」という文字が記載された絵カード４ａを選択してカードリーダ３にかざしたと仮定する。その場合、本体ユニット２は、「これは何と読む？」と音声出力し、患者が選択した絵カード４ａが正しく読めるかどうかを質問する（図８のステップＳ１４）。

患者が「しまうま」と発話し、本体ユニット２の音声認識部２３が「しまうま」という登録フレーズを認識した場合（図８のステップＳ１６）、本体ユニット２は、「ピンポーン！ちゃんと聞きとれたよ。」と音声出力する（図８のステップＳ１８）。

（読む訓練の具体例）
図１１を参照して、読む訓練の具体的な流れの一例について説明する。図８のステップＳ１０において読む訓練モードが選択されると、図１１に示されるように、本体ユニット２は、たとえば「読むトレーニングをはじめるよ。最初は単語レベルの訓練だよ。」と音声出力を行い、訓練内容について説明する（図８のステップＳ１２）。

次に、患者が、複数の絵カード４ａの中から、しまうまのイラストが表示された絵カード４ａを選択してカードリーダ３にかざしたと仮定する。その場合、本体ユニット２は、「イラストと同じ意味の文字が書かれたカードをタッチしてね。」と音声出力し、患者が選択した絵カード４ａに該当する文字を読めるかどうかを質問する（図８のステップＳ１４）。

その後、患者によって、「しまうま」と記載された絵カード４ａが選択された場合（図８のステップＳ１６）、本体ユニット２は、「ピンポーン！正解だよ。」と音声出力する（図８のステップＳ１８）。

（ゲームによる言語訓練の具体例）
なお、本システム１がゲームによる言語訓練機能を有する場合における、ゲームによる言語訓練の具体的な流れの一例について、図１２を参照して説明する。

図８のステップＳ１０においてゲームモードが選択されると、図１２に示されるように、本体ユニット２は、たとえば「後出しじゃんけんゲームをはじめるよ。僕に負ける手のカードをタッチしてね。」と音声出力を行い、訓練内容について説明する（図８のステップＳ１２）。

本体ユニット２が、質問として、「それじゃあ、いくよ、じゃんけん『グー』」と音声出力したと仮定する（図８のステップＳ１４）。患者によって、複数の絵カード４ａのうち、『チョキ』（グーに負ける手）のイラストの絵カード４ａが選択された場合（図８のステップＳ１６）、本体ユニット２は、「ピンポーン！」と、正解を示す音声を出力する（図８のステップＳ１８）。

続いて、「それじゃあ、いくよ、じゃんけん『チョキ』」と音声出力した場合に（図８のステップＳ１４）、患者によって『チョキ』のイラストの絵カード４ａが選択されたとすると（図８のステップＳ１６）、本体ユニット２は、「ブー！」と、誤りを示す音声を出力する（図８のステップＳ１８）。

後出しじゃんけんゲームで出題した問題数が、訓練対象の患者に対して事前に設定された出題数に達すると、後出しじゃんけんゲームの終了を報知する。この際に、「これで終わりだよ。かかった合計タイムは６．５秒だよ。」のように、後出しじゃんけんゲームにおいて要した時間を報知してもよい。これにより、患者のモチベーションを向上させることができる。

以上説明したように、本実施の形態に係る言語機能訓練システム１は、回答入力手段１０として３つのユーザーインターフェース（すなわち、モーションセンサ２１、マイク２２、およびカードリーダ３）を備えているため、失語症を回復するための言語機能の訓練を効果的に行うことができる。したがって、本システム１を、院内でのトレーニングおよび自宅での自主トレーニングのどちらにも、有効活用することができる。

特に、本体ユニット２に搭載されたモーションセンサ２１が回答入力手段１０に含まれるため、本システム１を使用することにより、失語症に伴って発症し得る運動障害のリハビリテーションを同時に行うことも可能となる。また、本実施の形態における本体ユニット２はコミュニケーションロボットであるため、ロボットとの触れ合いによって、自主トレーニングにおいても楽しく訓練を継続することが可能となる。

また、本実施の形態では、カードリーダ３が本体ユニット２とは別体であるため、１台の本体ユニット２に対して複数のカードリーダ３を接続することができる。これにより、多数人での訓練を同時に行うことができるため、各患者の訓練のモチベーションを向上させることができる。なお、カードリーダ３は本体ユニット２と一体形成されていてもよい。また、登録済の患者以外の患者でも訓練ができるように、認証用カード５の他、ゲストカードによる訓練を可能としてもよい。

また、本実施の形態では、カードリーダ３が回答入力手段１０に含まれるため、タッチパネル等の操作に慣れないお年寄りの患者であっても、言語聴覚士による従来のカード（紙）を用いた訓練と同様の感覚で、本システム１による訓練を行うことができる。

また、本実施の形態では、訓練種別ごとに（少なくとも訓練モードごとに）患者の訓練レベルが設定されるため、本システム１に対する習熟度や失語症の症状に応じた訓練を行うことができる。これにより、初心者や失語症の症状が重度の患者であっても成功体験を味わうことができる。また、使えば使うほど良い訓練結果が得られるようになる。したがって、自主トレーニングの頻度向上が期待できる。

また、本システム１がゲームでの訓練機能を有している場合には、ゲーム感覚で楽しみながら言語機能の回復につながる訓練を行うことができる。

また、結果記憶部６６に患者ごとのログデータが記録されるため、図１に示す解析装置９にログデータを入力することで、患者ごとに訓練の解析結果を得ることもできる。解析装置９は、結果記憶部６６に記憶された判定結果を解析する解析手段であり、たとえば、解析用ソフト（アプリケーションソフト）がインストールされた情報処理端末により実現される。

この解析用ソフトには予め、図５（Ａ）に示したコンテンツデータおよび図５（Ｂ）に示したカテゴリーデータが登録されており、これらの登録データとログデータとの双方を用いて解析結果が算出されることが望ましい。具体的には、カテゴリーごとに問題（イラストまたは文字、もしくはフレーズ）の正解率を算出することで、対象者の苦手なカテゴリーを特定することができる。その結果、以降の訓練において、苦手なカテゴリーの問題の出題数を増やすなど、患者の症状に応じた訓練を継続的に行うことができる。なお、解析装置９の機能は、本体ユニット２に組み込まれてもよい。

本システム１の対象者は、言語機能に障害を受けているため、システム１からの指示を理解できない可能性があると考えられる。そこで、誤った入力に対しても何らかの反応を示すことで、患者のモチベーション低下を避けることが望ましい。具体的には、正否判定部７３により不正解と判定された場合、または、進行中の訓練モードとは異なる訓練モードに対応した回答が入力された場合に、訓練制御部６０は、たとえば、スピーカ２９から、入力された回答に対して所定の音声を出力した後で、正解となる回答の入力を促す音声を出力する。

より具体的には、音声による回答待ち中において、正解または不正解フレーズが入力されず、絵カード４ａがカードリーダ３にかざされた場合に、訓練制御部６０は、選択された絵カード４ａに対して所定の返答を行う。たとえば、選択された絵カード４ａに示されたイラストまたは文字に関する返答（たとえば「しまうまだね」など）を行う。その後も音声が入力されない場合に、訓練制御部６０は、当初の出題について回答を促す。

あるいは、音声による回答待ち中において、正解または不正解フレーズが入力されず、何らの音検出がある、という場合においても、所定の返答（たとえば「何て言った？」など）を行ってもよい。なお、正解以外の回答入力があったときの返答内容は、患者の訓練レベルに応じて定められることが望ましい。

（付属機器の変形例）
上記実施の形態では、本体ユニット２と通信可能に接続される付属機器が、ＲＦＩＤ４０を用いて訓練用カード４および認証用カード５からデータを読み取るカードリーダ３である例を示したが、限定的ではない。

たとえば、付属機器は、コード情報（バーコード、二次元コードなど）を用いて、訓練用カードおよび認証用カードからデータを読み取るカードリーダであってもよい。この場合のカードリーダ３Ａの構成例が図１３（Ａ）に示されている。カードリーダ３Ａは、図２（Ｂ）に示したカードリーダ３のコイル３１および非接触リーダ３２に代えて、カメラ３１Ａおよびバーコードリーダ３２Ａをそれぞれ含む。

あるいは、付属機器は、画像認識技術を用いて、訓練用カードおよび認証用カードからデータを読み取るカードリーダであってもよい。この場合のカードリーダ３Ｂの構成例が図１３（Ｂ）に示されている。カードリーダ３Ｂは、図２（Ｂ）に示したカードリーダ３のコイル３１および非接触リーダ３２に代えて、カメラ３１Ａおよび画像認識部３２Ｂをそれぞれ含む。画像認識部３２Ｂは、カメラ３１Ａによって撮影された画像と、メモリ３６に予め格納されたイラストおよび文字の画像特徴量とを照合することにより、カードリーダ３Ｂにかざされた絵カードのイラストまたは文字を認識する。

あるいは、付属機器は、カードリーダ以外の機器により構成されてもよい。たとえば、付属機器は、表示要素選択手段の一種としてのタッチパネルであってもよい。図１４には、タッチパネル８の表示例が示されている。タッチパネル８は、たとえばタブレット端末によって構成される。タッチパネル８は、スクリーン８０上に表示された各表示要素に対応する位置情報を検出する。

図１４（Ａ）には、訓練モードの選択画面例が示されている。この画面では、使用者（患者）選択欄と、各訓練モードの選択ボタンが表示されている。表示要素選択手段としてタッチパネル８を用いる場合、上述の聞く訓練モード、話す訓練モード、および読む訓練モードに加えて、書く訓練モードによる訓練も可能である。

図１４（Ｂ）には、聞く訓練モードにおいて表示される画面例が示されている。この画面では、正解のイラストを含む複数のイラストが表示されている。図１４（Ｃ）には、話す訓練モードにおいて表示される画面例が示されている。この画面では、問題のイラストが１つ表示されるとともに、発話開始ボタンおよび発話終了ボタンが表示されている。

このようなタッチパネル８が用いられる場合、タッチパネル８が質問出力手段に含まれてもよい。また、タッチパネル８を有するタブレット端末自体が、言語機能訓練装置として機能してもよい。この場合、タブレット端末に、本体ユニット２が有する機能部が搭載されてもよい。

あるいは、付属機器は、絵本などのシート上に予め表示された各表示要素（イラストまたは文字）に対応するコード情報を読み取るタッチペンにより構成されてもよい。

（他の変形例）
言語機能訓練システムにおいて実行可能な訓練モードは、上述のように、聞く訓練モード、話す訓練モード、および読む訓練モードの全てを含むことが望ましいが、モーションセンサ２１を用いた訓練は聞く訓練モードにおいて行われるため、少なくとも聞く訓練モードを有していればよい。なお、モーションセンサ２１を用いた訓練は、聞く訓練モード以外においても行われてもよい。

また、訓練種別ごとに出題数を設定することとしたが、訓練モード単位で出題数を設定してもよい。この場合、訓練制御部６０が、過去の解析結果に基づいて、正解率の低い種類の問題を他の種類よりも多く出題するようにしてもよい。

また、本体ユニット２と付属機器とが別体の場合には、回答入力手段１０のうちのマイク２２およびモーションセンサ２１を含む本体ユニット２のみを、言語機能訓練装置として提供してもよい。

なお、図８のフローチャートに示した言語訓練処理をプログラムとして提供することもできる。このようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-ROM）などの光学媒体や、メモリカードなどのコンピュータ読取り可能な一時的でない（non-transitory）記録媒体にて記録させて提供することができる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 言語機能訓練システム、２ 本体ユニット、３，３Ａ，３Ｂ カードリーダ、４ 訓練用カード、４ａ 絵カード、４ｂ モード選択カード、５ 認証用カード、８ タッチパネル、９ 解析装置、１０ 回答入力手段、２１ モーションセンサ、２２ マイク、２３ 音声認識部、２４，３４ 無線通信コントローラ、２５，３３ コントローラ、２６ 時計、２７，３６ メモリ、２８，３５ ＬＥＤ、２９ スピーカ、３０ 赤外線出力部、３１ コイル、３１Ａ カメラ、３２ 非接触リーダ、３２Ａ バーコードリーダ、３２Ｂ 画像認識部、６０ 訓練制御部、６１ 個人情報受信部、６２ モード情報受信部、６３ 要素特定情報受信部、６５ 訓練情報記憶部、６５ａ コンテンツデータテーブル、６５ｂ カテゴリーデータテーブル、６６ 結果記憶部、６６ａ ログデータ、７１ 質問出力処理部、７２ 回答取得部、７３ 正否判定部。

Claims (9)

1. 失語症に基づく言語障害の回復を支援するための訓練システムであって、
   患者に対して、聞く訓練モードおよび話す訓練モードを含む複数の訓練モードのそれぞれに対応する質問を出力する質問出力手段と、
   前記質問出力手段により出力された質問に対する回答を入力する回答入力手段と、
   前記回答入力手段により入力された回答の正否を判定する正否判定手段と、
   前記正否判定手段による判定結果を記憶する結果記憶部とを備え、
   前記質問出力手段は、質問となる音声を出力する音声出力部を含み、
   前記回答入力手段は、患者が発話した音声を入力する音声入力部と、イラストまたは文字を表わす複数の表示要素のなかから少なくとも１つの表示要素を患者に選択させる表示要素選択手段と、患者により動かされた物体の移動方向または傾きを検知するモーションセンサとを含む、言語機能訓練システム。
2. 前記質問出力手段は、前記表示要素選択手段により選択された表示要素に関する質問、または、前記音声入力部に入力された音声に関する質問を出力する、請求項１に記載の言語機能訓練システム。
3. 前記モーションセンサによる検知対象の前記物体は、前記音声入力部、前記音声出力部、前記正否判定手段、および前記結果記憶部を搭載した本体ユニットであり、
   前記表示要素選択手段は、前記本体ユニットと無線または有線で接続された付属機器により構成される、請求項１または２に記載の言語機能訓練システム。
4. 前記付属機器は、前記表示要素が表示されたカードから、前記表示要素を特定するための要素特定データを読み取るカードリーダである、請求項３に記載の言語機能訓練システム。
5. 訓練モードごとに、訓練レベルに関連付けて質問情報および回答情報を記憶する訓練情報記憶部をさらに備え、
   前記カードリーダは、訓練レベルを含む個人情報が記録された認証用カードから、前記個人情報を読み取り、
   前記質問出力手段は、前記訓練情報記憶部に記憶された複数の質問情報のうち、患者の訓練レベルに関連付けられた質問情報に基づく質問を出力する、請求項４に記載の言語機能訓練システム。
6. 前記結果記憶部は、前記正否判定手段による判定結果を患者または病室ごとに記憶し、
   前記結果記憶部に記憶された判定結果を解析する解析手段をさらに備える、請求項１〜５のいずれかに記載の言語機能訓練システム。
7. 前記音声出力部は、前記正否判定手段により不正解と判定された場合、または、進行中の訓練モードとは異なる訓練モードに対応した回答が入力された場合に、入力された回答に対して所定の音声を出力した後で、正解となる回答の入力を促す音声を出力する、請求項１〜６のいずれかに記載の言語機能訓練システム。
8. 前記付属機器は、スクリーン上に表示された前記各表示要素に対応する位置情報を検出するタッチパネル、または、シート上に予め表示された前記各表示要素に対応するコード情報を読み取るタッチペンである、請求項３に記載の言語機能訓練システム。
9. 失語症に基づく言語障害の回復を支援するための訓練装置であって、
   患者に対して、聞く訓練モードおよび話す訓練モードを含む複数の訓練モードのそれぞれに対応する質問を出力する質問出力手段と、
   前記質問出力手段により出力された質問に対する回答を入力する回答入力手段と、
   前記回答入力手段により入力された回答の正否を判定する正否判定手段と、
   前記正否判定手段による判定結果を記憶する結果記憶部とを備え、
   前記質問出力手段は、質問となる音声を出力する音声出力部を含み、
   前記回答入力手段は、患者が発話した音声を入力する音声入力部と、当該訓練装置の移動方向または傾きを検知するモーションセンサとを含む、言語機能訓練装置。

Images