JPH08137385A - 会話装置 - Google Patents

Abstract

(57)【要約】 【目的】言語機能や聴覚に障害を持つ利用者の会話を補
助する会話装置を提供する。 【構成】例文のデータを、その例文に対する回答文等の
会話の流れに沿って関連づけられる別の例文の集合への
リンクを備えたデータ構造として保持し、複数の表示領
域を持つ表示手段と、例文を選択させる入力手段と、選
択された例文に対してその内容を表示および／または音
声出力する出力手段を備えた構成とし、装置利用者に必
要な情報と会話相手に必要な情報を別々の領域に表示す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、言語機能や聴覚に障害
を持つ利用者の会話を補助する携帯用の会話装置に関す
る。

【０００２】

【従来の技術】言語機能や聴覚に障害があり通常の音声
による会話が困難な人が他人と意志の疎通を行う場合に
は、手話や筆談による会話が一般的に行われる。また、
入力手段としてキーボードを備え、出力手段として音声
合成手段や紙テープ等を備えた会話装置が提案されてい
る。特開昭57−173875号には、キーボードで入力した言
葉を紙テープにより出力し、会話開始の意志を音声発生
手段により伝える会話装置が提案されている。

【０００３】

【発明が解決しようとする課題】手話による会話は、互
いに手話を理解する人どうしの会話には極めて有効であ
るが、手話を理解しない者と意志を伝え合いたい場合
や、その障害者自身が何らかの理由により手話を獲得し
ていない場合は、手話による会話は不可能である。

【０００４】従来提案されている会話装置のように、キ
ーボードを使って伝えたい言葉を入力するのは、操作が
複雑であり時間がかかる。定型文を登録する機能を持つ
ものもあるが、大量に登録した定型文を会話の流れと独
立に呼び出す場合には、伝えたい言葉の検索が難しいと
いう問題がある。

【０００５】また、従来の会話装置では、キーボードを
使った文章入力により利用者の意志を他人に伝えること
はできるが、相手の発言を理解するためには会話の相手
にもキーボードを使って文章を入力してもらう必要があ
り、円滑なコミュニケーションが取りにくいという問題
があった。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、本発明による会話装置では、会話に必要な例文をあ
らかじめ登録しておく。このとき、装置利用者側が発言
するのに必要となる例文だけでなく、その会話相手が発
言すると想定される回答文等の例文を含めて、会話の流
れに沿って例文をすべて登録する。

【０００７】ここで、例文のデータは、その例文に関連
づけられる別の例文の集合へのリンクを備えたデータ構
造として保持しておく。ここで互いに共通項を持ち関連
づけられている例文の集合を、カードと呼ぶことにす
る。一つの例文は必ずカードに属し、例文のデータは再
帰的に定義される。すなわち、ある例文に対する回答文
の候補として関連づけられたカードは、さらに少なくと
も一つの例文を含み、カードに含まれる例文はまたさら
に別のカードへのリンクを保持している。また、例文を
検索するためのキーワードも一つの例文としてとらえ、
そのキーワードから検索される例文をまとめて、リンク
するカードとして定義する。

【０００８】データ処理部は、上記カードの内容である
例文の集合を表示する手段と、カードの中から装置の利
用者あるいはその会話相手に例文を選択させる手段と、
選択された例文の表示および／または音声出力を行う手
段とを含む構成とする。このとき、例文の候補であるカ
ードや選択された例文の表示を行う表示部は、少なくと
も、装置利用者側の表示領域（第１の表示領域）とその
会話相手側の表示領域（第２の表示領域）とに分割さ
れ、それぞれの表示は別々に行われる。

【０００９】また、補助機能として、手書きで文字や絵
を入力する手書き入力機能，補助入力手段としてのキー
ボード入力機能，装置の利用者が会話の流れを想定して
例文の登録を自由に行える例文編集機能等が備えられて
いることが望ましい。

【００１０】

【作用】第１の表示領域に表示された例文を検索するた
めのキーワードが装置利用者により選択されると、デー
タ処理部はそのキーワードにリンクされているカード、
すなわち、そのキーワードから検索される例文の集合を
第１の表示領域に表示する。この中から装置利用者が一
つの例文を選択すると、データ処理部ではその内容を第
２の表示領域に表示および／または音声出力して会話相
手に伝え、同じ内容を第１の表示領域にも表示して選択
した装置利用者本人に知らせる。さらにその例文からリ
ンクしているカードの内容である回答文の候補を、第２
の表示領域に表示する。会話相手がその中から任意の例
文を選択すると、その内容が同様にして装置利用者に伝
えられる。

【００１１】それぞれの例文は再帰的に、関連するカー
ドへのリンクを保持しているので、装置の利用者あるい
はその会話相手が例文を選択するたびに、その内容の表
示および／または音声出力と、それに関連するカードの
表示が行われ、双方向の会話が可能となる。

【００１２】また、手書き入力機能やキーボード入力機
能が用意されていれば、相手に伝えたい内容が例文とし
て登録されていない場合や、ある例文に対する回答文の
候補が存在しない場合にも柔軟に対応することができ
る。さらに例文編集機能が用意されていれば、あらかじ
めある話題について装置利用者が自分の好きなように会
話の流れを想定しながら例文の登録を行うことができ、
利用者が会話の流れをリードしていくことが可能とな
る。

【００１３】

【実施例】図１は本発明による実施例の会話装置の外観
を表したものである。会話装置１０１は、例文を表示す
るための表示画面１０２と、例文を音声合成したものを
出力するためのスピーカ１０３を備えている。画面１０
２は、液晶ディスプレイとタッチパネルを組み合わせた
構成になっており、指またはペンを用いて画面に表示さ
れている対象（例文やメニューボタン等）を直接選択す
る。また画面102は、装置利用者のための表示領域１０
４と、その会話相手のための表示領域105とに分割され
ており、それぞれの領域は対面して会話するのに便利な
ように、互いに上下が反転した方向に表示される。

【００１４】装置利用者用の表示領域１０４はさらに、
場面／キーワード名やメッセージを表示する領域１０６
と、例文やキーワードをテキスト形式で表示する領域１
０７と、会話制御や場面選択のための画面上のメニュー
ボタン等を表示する領域108から構成されている。会話
相手側の表示領域１０５も、同様にメッセージ領域１０
９，テキスト表示領域１１０，メニューボタン表示領域
１１１を備えている。

【００１５】図２は、本会話装置の簡単なハードウェア
である。会話装置は、装置の制御を行うためのCPU201，
プログラムやデータを保存するためのメモリ２０２，音
声を出力するためのスピーカ２０３，例文等の表示を行
うための液晶画面２０４，例文選択等の入力を得るため
のタッチパネル２０５で構成されている。

【００１６】メモリ２０２には、処理を制御するプログ
ラム２０６および例文のデータ207が保存されており、
プログラム２０６は電源を入れるとロードされる。

【００１７】図３は、システム構成とデータの流れを示
したものである。全体の処理は制御プログラム３０１に
よって制御されている。制御プログラム３０１は、ドラ
イバソフト３０２と呼ばれるハードウェアを直接制御す
るプログラムを呼び出すことによって画面の表示や例文
の選択等の制御を行う。ドライバソフト３０２には、主
に音声出力ドライバ３０３，画面表示ドライバ３０４，
座標入力ドライバ305の３種類のプログラムがある。音
声出力ドライバ３０３は、制御プログラム301からの音
声出力の命令を受けて、メモリ２０７より取り出した例
文データから音声合成を行い、これをスピーカ２０３を
通して出力する。画面表示ドライバ304は、制御プログ
ラム３０１からの画面表示の命令を受けて、表示すべき
例文の集合のデータをメモリ２０７から取り出し、これ
を液晶画面２０４に表示する。座標入力ドライバ３０５
は、タッチパネル２０５からの入力を受け取って、その
座標を制御プログラム３０１に返す。

【００１８】次に、この会話装置の画面が、会話の流れ
にしたがってどのように変化するかを、図４および図５
を用いて説明する。

【００１９】図４は、場面「緊急」に含まれる例文を、
装置利用者が選択しているときの画面を示したものであ
る。装置利用者用の表示領域１０４には、「緊急」とい
う場面名４０１と、その場面に含まれる文章の候補であ
る例文４０２から４０７が表示されている。なお、場面
「緊急」は、「緊急」の場面選択ボタン４０８を選択す
ることにより呼び出している。例文の選択は、所望の例
文を直接指またはペンで押してから離すことにより完了
する。

【００２０】図４では、利用者の手４０９により、例文
４０３「私の代わりに03−1234−5678に電話してくださ
い」が指先で押されている。この状態で選択しようとし
ている文章を確認できるように、例文４０３が白黒反転
して表示される。なお、装置利用者が例文を選択してい
る間は、会話相手用の表示領域１０５に、「これから話
す文に答えてください」と、メッセージ４１０が表示さ
れる。

【００２１】図５は、図４での例文の選択が完了したと
ころである。指を離すと、選択した例文の内容が利用者
用表示領域１０４と会話相手用表示領域１０５の両方に
表示される（５０１，５０２）。また、この例文の内容
が音声合成されてスピーカから発声され（５０３）、同
時に発声していることを表すマーク５０４が利用者用表
示領域１０４に表示される。これに対して、会話相手用
表示領域１０５には例文「私の代わりに03−1234−5678
に電話してください」に対する回答文の候補として、例
文５０５「いいですよ」と例文５０６「今急いでいます
ので、電話できません」が表示される。ここで会話相手
がそのうちの一つの例文を選択すると、その内容が装置
利用者に伝えられて会話が成立する。会話相手からの回
答にさらに回答文が登録されていれば（例えば、相手か
らの回答文「いいですよ」に対して、電話して伝えて欲
しい内容やさらに詳しい情報等）、さらに双方向の会話
を続けて行うことができる。

【００２２】図６は、カード，キーワード例文，メニュ
ーボタンのデータ構造を表したものである。カードのデ
ータ構造６０１は、例文選択かキーワード選択かといっ
たカードの種類６０２，メッセージ領域に表示されるテ
キストのデータ６０３、そのカードに含まれているキー
ワードあるいは例文へのポインタ６０４が少なくとも定
義されている。１枚のカードには１本以上の任意の数の
キーワードまたは例文を含むことができる。

【００２３】キーワード，例文，メニューボタンは基本
的には同じデータ構造で定義することができ、そのデー
タ構造６０５には、種類（キーワードか、例文か、メニ
ューボタンか）６０６，表示および音声合成して発声す
るテキストの番号６０７、そのキーワード，例文あるい
はメニューボタンからリンクしているカードへのポイン
タ６０８が少なくとも定義されている。

【００２４】図７は、定義されたデータに基づく翻訳装
置制御プログラムの基本的な処理をフローチャートで表
したものである。ステップ７０１で電源が入力される
と、まずステップ７０２で初期画面を画面に表示するカ
ードにセットする。この次のステップからが繰り返しの
ステップである。

【００２５】ステップ７０３では、図３で説明した画面
表示ドライバ３０４を呼び出して、表示カードにセット
されたカード（最初の表示は初期画面）を表示し、次に
ステップ７０４で変数の初期化を行う。ステップ７０５
では、図３で説明した座標入力ドライバ３０５によるタ
ッチパネルの入力を待つ。タッチパネルからの入力があ
ると、ステップ７０６で選択された対象がメニューボタ
ンであるかを調べる。メニューボタンが選択されたなら
ば、ステップ７０７でそのメニューボタンにリンクして
いるカードを表示カードにセットして、ステップ７０３
に戻る。また、ステップ７０８で選択されたのがキーワ
ードであるか調べ、キーワードであればステップ７０９
でそのキーワードにリンクしているカードを表示カード
にセットして、ステップ７０３に戻り、これらの動作を
繰り返す。

【００２６】ステップ７０６およびステップ７０８で、
選択された対象がメニューボタンでもキーワードでもな
ければ、次にステップ７１０でそれが例文であるかを調
べる。選択されたものがメニューボタン，キーワード，
例文のいずれでもなければ、ステップ７０５に戻る。選
択されたものが例文であれば、ステップ７１１で図３に
おける画面表示ドライバ３０４を呼び出して、選択され
た例文の内容を表示する。次に、ステップ７１２で音声
合成を行い、ステップ７１３で図３における音声出力ド
ライバ３０３を呼び出して音声の発声を行う。さらに、
ステップ７１４で、その例文にリンクしているカードを
表示カードにセットして、ステップ７０３に戻り、画面
表示からの処理を繰り返す。

【００２７】図８，図９では、画面に表示された例文や
キーワード等のテキストの選択をする以外の機能の応用
例について説明する。

【００２８】図８は、本会話装置の補助機能である手書
き入力機能の動作例を示したものである。例えば「交番
はどこですか 絵に描いて教えてください」という例文
801を装置利用者が選択したとすると、会話相手の表示
領域が手書き入力領域となり、会話相手がペンで描いた
地図などの絵８０２が装置利用者の表示領域にも表示さ
れる（８０３）。このように、言葉で説明するのが難し
い内容や、あらかじめ登録されていない話題について筆
談をしたいときに、この機能は有効である。

【００２９】また、図９は、本会話装置のもう一つの補
助機能であるキーボードによるテキスト入力の動作例を
示している。この例では、例文として登録されていない
文章を相手に伝えるために、画面上のキーボード９０１
を呼び出して、「次の停車駅はどこですか」という文章
９０２を入力しているところである。このようにキーボ
ードを使って任意に入力したテキストを音声合成によっ
て相手に伝えるので、自由な会話が可能になる。さらに
使いやすくするならば、キーボード呼び出しの代わりに
手書き文字認識機能を用いてもよい。

【００３０】他にも補助機能として例文編集機能を備え
ており、あらかじめ装置利用者自身が会話の流れを想定
して例文を登録しておくことができるので、利用者が会
話の流れをリードしていくことができる。

【００３１】以上、本実施例では専用の会話装置につい
て説明してきたが、普通に流通しているパーソナルコン
ピュータ等にこの処理を行うソフトウェアを搭載して会
話補助を実現することも可能である。本実施例では手書
き入力等様々な入力方法に対応できるように液晶画面と
タッチパネルを用いたが、例文の集合が表示できてこれ
らの中から一つの例文が選択できる構成ならば、本実施
例の構成に限る必要はない。

【００３２】また、本実施例では携帯できる形の会話装
置を想定したが、本発明の方法を用いれば、役所や各種
窓口に据え置く形の会話装置も実現可能である。

【００３３】

【発明の効果】本発明によれば、想定される例文をあら
かじめ会話の流れに沿って登録しておき、それを必要に
応じて呼び出すことにより、言語機能あるいは聴覚に障
害があり相手に意志を伝えるのに困難のある利用者に対
して、単なる意志の伝達だけでなく双方向の会話の補助
をすることが可能になる。表示領域を装置利用者用と会
話相手用に別々に用意することにより、会話の流れを途
絶えさせることなく、自然な会話を補助することができ
る。

【００３４】さらに、手書き入力機能やキーボード呼び
出し，例文編集機能など各種の補助機能を備えることに
より、より自由な会話を提供することができる。

【図面の簡単な説明】

【図１】会話装置の正面図。

【図２】会話装置のブロック図。

【図３】システム構成とデータの流れを示すブロック
図。

【図４】会話の流れによる画面の変化の例文選択時の正
面図。

【図５】会話の流れによる画面の変化の例文選択完了の
正面図。

【図６】データ構造の説明図。

【図７】制御プログラムの処理のフローチャート。

【図８】手書き入力の応用例の正面図。

【図９】キーボード入力の応用例の正面図。

【符号の説明】

１０１…会話装置、１０２…表示画面、１０３…スピー
カ、１０４…装置利用者用表示領域、１０５…会話相手
用表示領域、１０６，１０９…メッセージ表示領域、１
０７，１１０…テキスト表示領域、１０８，１１１…メ
ニューボタン表示領域。

Claims (5)

【特許請求の範囲】
1. 【請求項１】あらかじめ記憶されている例文を呼び出す
   ことにより、相手との意志の疎通を行うのに困難のある
   利用者の意志伝達を補助する会話装置において、例文の
   データは、関連づけられる別の例文の集合へのリンクを
   備えたデータ構造として保持されており、データ処理部
   は、例文の集合を表示する表示手段と、例文の集合から
   装置利用者あるいはその会話相手に例文の一つを選択さ
   せる入力手段と、選択された例文を表示および／または
   音声出力する出力手段とを含み、上記表示手段は複数の
   領域に分割され、第１の表示領域には装置利用者に対す
   る、第２の表示領域には会話相手に対する表示を行うこ
   とを特徴とする会話装置。
2. 【請求項２】請求項１において、ある例文に関連づけら
   れる例文の集合とは、その例文に対する会話相手からの
   回答文の集合であり、第１の表示領域に表示された例文
   の一つが装置利用者により選択されると、データ処理部
   では、その例文を第１の表示領域に表示し、その内容を
   会話相手に対して上記出力手段により意志の伝達を行
   い、さらにその例文から関連づけられる例文の集合を第
   ２の表示領域に表示し、第２の表示領域に表示された例
   文の一つが会話相手により選択されると、データ処理部
   では、その例文を第２の表示領域に表示し、その内容を
   装置利用者に対して上記出力手段により意志の伝達を行
   い、さらにその例文から関連づけられる例文の集合を第
   １の表示領域に表示する会話装置。
3. 【請求項３】請求項１において、ある例文に関連づけら
   れる例文の集合とは、その例文から引き出される別の例
   文の集合であり、第１の表示領域に表示された例文の一
   つが装置利用者により選択されると、データ処理部で
   は、その例文を第１の表示領域に表示し、それが会話相
   手に伝えるべき内容であれば上記出力手段により意志の
   伝達を行い、さらにその例文から関連づけられる例文の
   集合を第１の表示領域に表示し、第２の表示領域に表示
   された例文の一つが会話相手により選択されると、デー
   タ処理部では、その例文を第２の表示領域に表示し、そ
   れが装置利用者に伝えるべき内容であれば上記出力手段
   により意志の伝達を行い、さらにその例文から関連づけ
   られる例文の集合を第２の表示領域に表示する会話装
   置。
4. 【請求項４】請求項１，２または３において、上記表示
   手段は液晶画面で構成され、上記入力手段は画面に貼り
   付けられたタッチパネルで構成され、画面に表示された
   例文を選択するほかに、手書きによる文字や絵の入力機
   能を備えている会話装置。
5. 【請求項５】請求項１，２，３または４において、上記
   会話装置本体は、表示手段と入力手段と出力手段を備え
   たいわゆるパーソナルコンピュータや電子手帳あるいは
   電子ブックビューワで構成され、会話補助の機能はそれ
   らの一つのアプリケーションとして搭載されている会話
   装置。