JP4081744B2 - 情報端末機 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、言語機能に障害を有した利用者に対する携帯情報端末（ＰＤＡ）を使用した情報端末機（コミュニケーション支援装置）に関するものである。
【０００２】
【従来の技術】
知的障害者や自閉症児のように、言語発達や動作による意志表示に遅れを有した障害者向けとして携帯用のコミュニケーション支援機器が提案されている。
このコミュニケーション支援機器は、支援機器上のスイッチにより音声のみを発生するもの、手帳状に形成された機器に絵シンボルを配置し、ページを捲りながら、或いは絵シンボルを有する紙シートをカートリッジに収納し、紙シート上の絵を指すもの等が知られている。
【０００３】
【発明が解決しようとする課題】
音声によるコミュニケーション支援機器は、予め機器に記録された音声メッセージを発声するものと、利用者が使用するメッセージを録音して発声させるものとの２種類に分類される。
前者においては、予め登録されているメッセージのみの発声であるために使用するメッセージ範囲が限定されてしまう。また、後者のメッセージ録音のものは、
音声の録音時間や登録可能なメッセージ数に制限がある。
したがって、これら音声によるコミュニケーション支援機器の場合には、解かりやすいコミュニケーションは可能であるが、カスタマイズにおける情報量に制限があるという問題を有している。
【０００４】
また、絵シンボルによるコミュニケーション支援の場合には、利用者の障害レベルに合わせた絵シンボル集を構成するための編集作業に多くの時間を要している。したがって、この絵シンボルによる場合、携帯可能なサイズで豊富な情報量を備える利点は有するが、カスタマイズに要する時間や労力が多くなるという問題点を有している。
【０００５】
本発明の目的は、かかる点に鑑みなされたもので、その目的とするところはコミュニケーション並びにカスタマイズ性に優れた情報端末機を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、絵シンボルと音声を含む会話情報を予め記憶部に登録した情報端末機であって、この情報端末機が有する表示部に切換手段を介して絵シンボルを含む会話情報を切換表示し、スピーカより音声情報を出力しながら使用者の視聴覚による会話訓練を行う情報端末機において、
前記記憶部に記憶されたコミュニケーションブックに収録の会話情報シンボルのカテゴリを基準とした絵シンボルを表示部に表示してその音声メッセージを発生するコミュニケーション機能部と、前記表示部に表示する絵シンボルの表示枚数を設定し、且つ、会話情報の絵シンボル選択時における利用者の操作履歴を記録するユーザビリティ機能部と、このユーザビリティ機能部に記録された判定と記録内容を外部機器に転送するための情報メンテナンス機能部を設けると共に、前記コミュニケーション機能部は、前記記憶部に格納されている会話情報のカテゴリを基準としてカテゴリに対応したシンボルと当該カテゴリに関連するメッセージを表示部に表示するコミュニケーション支援機能部と、会話情報の絵シンボルを表示部に表示して当該表示シンボルに対応した音声メッセージを発声するシンボル認知機能部とを有し、前記ユーザビリティ機能部は、表示部での絵シンボルの表示数と利用者の絵シンボル選択時におけるシンボル表示時間と当該シンボルの表示から応答するまでの時間を設定する画面構成・操作方法設定機能部と、利用者の操作履歴を記録する操作履歴記録機能部を備えたことを特徴としたものである。
【０００７】
削除
【０００８】
また、本発明は、前記情報端末機は、携帯用であることを特徴としたものである。
【０００９】
削除
【００１０】
削除
【００１１】
削除
【００１２】
削除
【００１３】
削除
【００１４】
【発明の実施の形態】
図１は、本発明の実施形態を示すものである。同図において、１はコミュニケーション支援機器としての情報端末機で、この情報端末機１は必ずしも携帯用には限定されないが、ここでは携帯情報端末機として例えばＷｉｎｄｏｗｓＣＥが搭載されて、ビスネス用として普及しているような情報端末機上で後述の支援環境を実現している。したがって、この情報端末機はＣＰＵや記憶部としてのＲＡＭ、ＲＯＭを有しており、その外面には表示部１０などを有している。表示部１０は、液晶ディスプレイとタッチパネルを組み合わせた構成となって、指先などによる接触で絵などの表示対象物を選択する。１１はカーソルボタン、１２はプログラム選択ボタン、１３はスピーカである。
【００１５】
２はカスタマイズ支援機器としてのパソコンで、このパソコンを用いて情報端末機とその管理を行う。また、このパソコン２には、キーボードやスキャナ３、デジタルカメラ４、及びマイク５などの部材を介して必要とする情報が記憶部に収集されるが、これは、情報端末器１には大容量の記憶部を持っていないことにより搭載可能な機能や情報量が制限されるため、使用者側で機能や情報を選択できるようにしたものである。６は伝送ケーブルや無線回線よりなる伝送手段で、パソコンによって収集，編集された情報を情報端末機１に伝送する。伝送手段が伝送ケーブルで、且つ、情報端末機１が携帯の場合にはこのケーブルは情報伝送後に取り外される。
【００１６】
これら情報端末機１とパソコン２によってコミュニケーション支援装置が構成されるが、情報端末機１で使用される会話情報としては、カテゴリ、シンボル、表記文字、音声、関連語句の各情報によって構成される。この会話情報の集合をコミュニケーションブックとみなし、サポートの役割を担うパソコンには、会話情報及びコミュニケーションブックの作成機能が配置されている。
パソコン側にて作成されたコミュニケーションブックは、情報端末機１とパソコン２との情報透過を行う機能部（情報交換機能部）を介して情報端末機１に転送，記憶され、コミュニケーション支援を実現する各種機能部の情報として使用される。
【００１７】
図２は、コミュニケーション支援機器（情報端末機１）に構築する機能図を示したもので、コミュニケーション機能部２０、ユーザビリティ機能部２１及び情報メンテナンス機能部２２を有している。
コミュニケーション機能部２０は、コミュニケーションブックに収録された絵シンボルと音声を伝達手段とするコミュニケーション支援機能部２０ａと、これに先立って行われるシンボル認知機能部２０ｂとに大別される。
【００１８】
図３は、情報端末機１の表示部１０における表示形態の一例を示したものである。同図において、１０ａはカテゴリを表示するカテゴリ表示領域で、「のりもの」とか「たべもの」等のカテゴリが表示される。１０ｂはシンボル表示領域で、カテゴリに対応するシンボルが１〜複数種が表示される。この表示枚数は使用者側における障害度合いに応じて任意に変更可能となっている。１０ｃは関連語表示領域で、例えば「乗る」、「好き」、「きらい」等の関連シンボルが表示される。１０ｄはメッセージ領域で、「じてんしゃすき」などの文字による表示が行われる。１０ｅ〜１０ｇはそれぞれページ捲り領域である。
なお、表示画面の設定は親などの管理者が裏画面にてよって行う。
【００１９】
図２におけるコミュニケーション支援機能部２０ａは、コミュニケーションブックに格納されている会話情報シンボルのカテゴリを基準にして、例えば図３で示すようにシンボルと関連語句の集合を表示部１０上に一覧表示する。
利用者によるカテゴリの指定及びシンボルと関連語句の２つのシンボルの選定をトリガーとして２つの会話情報から合成される文章を音声メッセージとしてスピーカ１３より自動発声する。
【００２０】
シンボル認知機能部２０ｂは、コミュニケーション支援機能部２０ａに先立って使用される機能で、コミュニケーションブックに収録されている会話情報シンボル１枚ずつ表示し、その音声メッセージを発声する機能である。
このシンボル認知機能部２０ｂでは、シンボルを表示する時間やコミュニケーションブックに収録されている会話情報シンボルから特定のカテゴリに属するシンボルのみの指定ができ、また会話情報シンボルの表示順序に関しても任意に設定可能となっている。
【００２１】
コミュニケーション支援機器の使用対象者としては知的障害者を想定しており、その障害程度は個々により異なってくる。このためコミュニケーション支援機器の表示形式や操作方法などのユーザビリティに関する機能を配置することが重要となる。
【００２２】
ユーザビリティ機能部２１はその要望にそって設けられたもので、画面構成・操作方法設定機能部２１ａ及び操作履歴記録機能部２１ｂを有している。画面構成・操作方法設定機能部２１ａは、画面に表示する会話情報シンボルの表示数を１枚、４枚、９枚の如く障害の重度に応じて表示数を設定する。また、操作方法のユーザビリティとしては、会話シンボル選択時における利用者の判定時間と応答時間を設定する機能、すなわち、利用者がシンボル選択から対応するメッセージの出力時間と、メッセージ出力後に当該シンボルを 再表示するまでの時間を設定する機能を備えている。
操作履歴記録部２１ｂは、コミュニケーション支援機器使用時の操作履歴を記録することで、利用者の障害特性に合わせたユーザビリティ設定を調整するための機能で、この機能はコミュニケーション支援機器操作履歴と、パソコンでの操作履歴解析の２つの機能により実現されている。
【００２３】
情報メンテナンス機能部２２は、情報交換通信機能部２２ａを有している。
コミュニケーション支援装置は、コミュニケーション支援機器（情報端末機１）とカスタマイズ支援機器（パソコン２）とで構成されるが、両者の共有情報としてはコミュニケーションブックと操作履歴情報の２種類となる。情報メンテナンス機能は、これらの情報をコミュニケーション支援機器とカスタマイズ支援機器間を接続して情報を同期するための機能である。
情報の同期に関しては、通信可能状態にある２台の機器に格納されている共有情報における情報の差異を検出し、更新に必要な箇所のみが透過される。
また、情報の同期手順については、情報端末機とパソコンのそれぞれから行なわれる。
【００２４】
図４はカスタマイズ支援機器を構築する機能図で、このカスタマイズ端末機２はコミュニケーションブックの作成を目的とするカスタマイズ機能部３０と、ユーザビリティ解析機能部３１及び情報メンテナンス機能部３２を備えている。
【００２５】
カスタマイズ機能部３０における第１は、シンボル編集機能部３０ａを備えていることである。この機能はパソコンで管理可能な画像データ、文字データ、音声データなどのマルチメディア情報を組み合わせて管理するための会話情報シンボルを作成する。この機能におけるマルチメディア情報の作成自体は外部の機能に依存するが、会話情報シンボルとしての管理情報の関連付けを管理する。
カスタマイズ機能部３０の第２は、コミュニケーションブック作成機能部３０ｂを備えていることである。
コミュニケーション作成機能部３０ｂは、シンボル編集機能部３０ａで作成された複数の会話情報シンボルを階層構造で管理するためのものである。この機能では会話情報シンボルの集合としてコミュニケーションブックを作成するだけでなく、個々の会話情報シンボルに対して、そのシンボルから連想される別の会話情報シンボルを関連語として複数登録することを可能にしている。これによって、会話情報シンボルとそれに対応した複数の関連語の組み合わせによる単語の組み合わせによる文書作成を実現している。
【００２６】
ユーザビリティ解析機能部３１は、シンボル認知度解析機能部３１ａと操作履歴解析機能部３１ｂを備えている。
カスタマイズ機能部３０によって作成されたコミュニケーションブックは、コミュニケーション支援機器へ転送されてコミュニケーションの媒体として使用されるが、しかし、コミュニケーション支援機器はカスタマイズ支援機器から切り離された状態で持ち歩くことが想定される。このため、コミュニケーションブックに収録された会話情報シンボルの利用頻度や視認性、さらにはコミュニケーション支援機器の操作性など正確に把握することが困難となる。
この問題を解決するために、前述したようにコミュニケーション支援機器には操作履歴記録機能部２１ｂが配置されている。この操作履歴記録機能部２１ｂに記録された出力データには、コミュニケーションブックの収録された会話情報の利用回数や操作速度などの情報が格納されており、ユーザビリティ解析機能部３１はこれらの情報を数値化して統計情報の出力を行う。
【００２７】
シンボル認知度解析機能部３１ａは、コミュニケーション支援機器１における会話情報シンボルの利用頻度、シンボル認知機能における会話シンボル表示から応答操作までに要した時間を会話補助シンボル単位に積算すると共に、シンボル総数に対する使用比率・平均反応速度グラフ化して表示する。この解析によって視認性の劣る会話補助シンボルの再検討や使用頻度の低いシンボルの削除などによるコミュニケーションブックの最適化を実現している。
操作履歴解析機能部３１ｂは、コミュニケーション支援機器に対する指示内容を時系列に表示し、使用者がいかなる操作を行ったかを画面上の仮想モデル空間に再現し、使用者の操作特性を解析し支援する。この解析を行うことで使用者の障害特性に合ったユーザビリティの確保を実現している。
【００２８】
情報メンテナンス機能部３２は情報交換通信機能部３２ａを有しており、その機能はコミュニケーション支援機器側の情報メンテナンス機能２２と同様である。
【００２９】
図５はコミュニケーション支援機器とカスタマイズ支援機器とのデータ同期フローを示したものである。
カスタマイズ支援機器２において、スキャナ等よりの入力手段より得られた情報に基づいて作成されたコミュニケーションブック情報はコミュニケーション支援機器１に転送される。コミュニケーション支援機器では、転送されたコミュニケーションブック情報を参照しながらコミュニケーション機能を実行し、その記録を保存して操作記録とし、カスタマイズ支援機器に転送する。カスタマイズ支援機器は転送された操作記録を解析し、操作記録に基づいてコミュニケーションブックを改定する。
したがって、コミュニケーション支援機器に搭載されるコミュニケーションブックは、初期訓練用から軽度障害用と常にその利用者の障害度に適合したもとすることができる。
【００３０】
図６はコミュニケーション支援機器の処理フローを示したものである。
ステップＳ１で初期化処理が行なわれると初期画面が表示部１０に表示される。利用者による情報処理端末の表示部への画面入力を待った後（Ｓ２）に、Ｓ３でカテゴリの切換えがあったか否かが判断される。切換信号ありの場合には、Ｓ４で選択カテゴリの収録シンボルの先頭ページとＳ５での選択カテゴリの関連語先頭ページが例えば図３のように表示され、Ｓ２に戻って次の画面入力を待つ。カテゴリ表示領域１０ａに表示された表示画面のカテゴリが意に添わなかった場合には、ページ捲り領域１０ｅを押圧することによりカテゴリを切換えて所望のカテゴリ（図３では「のりもの」）を表示する。
【００３１】
カテゴリ選択が終わると、ステップＳ６でページ捲り領域１０ｆ押圧によるシンボル切換信号の有無を判断する。利用者はシンボル表示領域１０ｂに表示されたシンボルが意に添わなかった場合にはページ捲り領域１０ｆを押圧するが、その切換信号ありと判断された場合にはＳ７で表示中シンボルの次ページの情報を記憶部であるＲＡＭから参照して表示する。Ｓ６でのシンボル切換で切換信号なしのときにはＳ８でシンボル選択の有無が判断される。選択信号で、その選択されたシンボルが自転車であるとすると、Ｓ９ではそのシンボル自転車に対応する音声ファイルを再生し、Ｓ１０においてメッセージ領域１０ｄに［じてんしゃ］が表示される。
【００３２】
ステップＳ１１ではシンボル選択信号なしのとき関連語切換の有無が判断される。ページ捲り領域１０ｇによる切換信号ありの場合には、Ｓ１２において表示中カテゴリの関連語の次ページの情報をＲＡＭから参照し表示される。関連語切換信号なしのときには、Ｓ１３で関連語選択の有無が判断され、選択信号ありのときにはＳ１４において対応する関連語の音声ファイルを再生し、Ｓ１５でメッセージ領域１０ｄに「じてんしゃすき」の関連語を追加表示する。
【００３３】
ステップＳ１６では、関連語選択信号なしのときにメッセージ領域選択の有無が判断され、選択信号ありのときにはＳ１７で表示中のシンボルと関連語の音声ファイルを再生する。Ｓ１６でメッセージ領域選択信号なしのときにＳ１８で終了指示の有無が判断され、終了時にはＳ１９で終了処理が行なわれ表示情報及びＲＡＭに格納された情報が初期化される。終了指示が出されなかった場合には、以下同様にして利用者による訓練が実行される。
【００３４】
なお、コミュニケーション支援機器の表示部への表示機能としては、上記したコミュニケーション以外に図７，図８のような機能を有している。
すなわち、図７（ａ）は５０音キーボードで、任意の言葉、文章を入力することにより発声する機能となっている。（ｂ）図は自己紹介機能を示したもので、利用者の顔写真、音声、氏名等を情報端末機のＲＡＭに登録して使用する。（ｃ）図はタイマー機能を示したもので、時間の経過を視覚的に表示して設定時刻となったときにシンボルと音声で知らせる。
図８（ａ）〜（ｃ）図はスケジューラ機能示したもので、カレンダーに開始時刻と終了時刻を設定して作業時間を自己管理する。この他カレンダーにチェック項目を設定し、達成率管理が可能となっている。
【００３５】
【発明の効果】
以上のとおり本発明によれば、利用者の障害度に応じて任意に入力された絵シンボルや音声メッセージの追加，変更による更新、或いはツールなどの切換が容易に行え得るので、障害度に応じて常に適合した支援機器の提供が可能となり、しかも利用者はタッチパネルだけの簡単な操作で利用できるものである。
また、携帯情報端末機をコミュニケーション支援機器のプラットフォームとすることにより携帯性が向上できる等の利点を有するものである。
【図面の簡単な説明】
【図１】 本発明の実施形態を示す構成図。
【図２】 本発明のコミュニケーション支援機器の機能図。
【図３】 本発明の使用形態を示す概念図。
【図４】 本発明のカスタマイズ支援機器の機能図。
【図５】 本発明のコミュニケーション支援装置のデータ同期フロー。
【図６】 本発明のコミュニケーション支援機器の処理フロー。
【図７】 本発明の画面表示例で、（ａ）は５０音、（ｂ）は自己紹介、（ｃ）タイマー図。
【図８】本発明の画面表示例で、（ａ）〜（ｃ）はスケジュール図。
【符号の説明】
１…コミュニケーション支援機器（情報端末機）
２…カスタマイズ支援機器（パソコン）
３…スキャナ
４…デジタルカメラ
５…マイク
１１…カーソルボタン
１２…プログラム選択ボタン
１３…スピーカ
２０…コミュニケーション機能部
２１…ユーザビリティ機能部
２２…情報メンテナンス機能部
３０…カーソルボタン機能部
３１…ユーザビリティ解析機能部
３２…情報メンテナンス機能部

Claims (2)

1. 絵シンボルと音声を含む会話情報を予め記憶部に登録した情報端末機であって、この情報端末機が有する表示部に切換手段を介して絵シンボルを含む会話情報を切換表示し、スピーカより音声情報を出力しながら使用者の視聴覚による会話訓練を行う情報端末機において、
   前記記憶部に記憶されたコミュニケーションブックに収録の会話情報シンボルのカテゴリを基準とした絵シンボルを表示部に表示してその音声メッセージを発生するコミュニケーション機能部と、前記表示部に表示する絵シンボルの表示枚数を設定し、且つ、会話情報の絵シンボル選択時における利用者の操作履歴を記録するユーザビリティ機能部と、このユーザビリティ機能部に記録された判定と記録内容を外部機器に転送するための情報メンテナンス機能部を設けると共に、前記コミュニケーション機能部は、前記記憶部に格納されている会話情報のカテゴリを基準としてカテゴリに対応したシンボルと当該カテゴリに関連するメッセージを表示部に表示するコミュニケーション支援機能部と、会話情報の絵シンボルを表示部に表示して当該表示シンボルに対応した音声メッセージを発声するシンボル認知機能部とを有し、前記ユーザビリティ機能部は、表示部での絵シンボルの表示数と利用者の絵シンボル選択時におけるシンボル表示時間と当該シンボルの表示から応答するまでの時間を設定する画面構成・操作方法設定機能部と、利用者の操作履歴を記録する操作履歴記録機能部を備えたことを特徴とした情報端末機。
2. 前記情報端末機は、携帯用であることを特徴とした請求項１記載の情報端末機。

Images