JPH1138863A

JPH1138863A - 言語情報装置

Info

Publication number: JPH1138863A
Application number: JP9192601A
Authority: JP
Inventors: Yoshimasa Kudou; 賀正工藤
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1997-07-17
Filing date: 1997-07-17
Publication date: 1999-02-12

Abstract

(57)【要約】【課題】身近な会話の練習を一人でも効果的に行うこ
とのできる言語情報装置を提供する。【解決手段】各文例の先頭には役割指示表示３１によ
り役割が表示されており、各文例毎に役割が特定される
ようになっている。装置が発声する役割の文例の表示は
マスクして音声を出力する。また、利用者が発声した発
音が、記憶された文例の発音にどの程度近似しているか
（距離）を知らせるための表示（距離表示３２）がなさ
れ、自分の発音が相手に通じるか否かの判定ができるよ
うになっており、さらに、距離に応じて会話が進行す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、外国語の会話学
習または外国人との会話に用いる言語情報装置に関す
る。

【０００２】

【従来の技術】従来より、一人で外国語を学習するため
に、外国語の会話が録音されたカセットテープやコンパ
クトディスクなどを用いていたが、ヒアリング中心の学
習となり、会話することはできなかった。

【０００３】また、会話においてはヒアリング力と同時
に相手に意志を伝えるためのスピーキング力も重要であ
る。スピーキングの学習には、外国人の先生との間で会
話文例における役割を決めて、交互に話し、発音のチェ
ックを受けることが効果的である。しかし、外国語を母
国語とする先生がそばにいない場合には一人で練習をす
ることはできない。一人で会話の練習をする方法とし
て、カセットテープやコンパクトディスクなどに学習者
の音声をマスクして録音した会話形式のものを使って
も、自分の発音で相手に伝わるものか確信をもつことは
できない。

【０００４】従来技術では発声された音声を認識する手
段が提案されており、特開平６−１１０４９４号には、
発音の正誤を通知する装置が開示されている。また、特
開平８−１８５３０８号には、正しく言語を認識できな
かった場合に、音声の再入力を促す装置が開示されてい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来技術では、音声認識により会話を進行させていくよう
にしては、会話の練習を行うことはできなかった。本発
明は、上述した課題を解決するためになされたものであ
り、身近な会話の練習を一人でも効果的に行うことので
きる言語情報装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上述した問題を解決する
ために本発明は、所定の言語による会話の文例情報を記
憶する文例記憶手段と、前記文例情報に対応した音声情
報を記憶する音声記憶手段と、少なくとも利用者が役割
を担当する会話部分を除いた他の会話部分の文例を前記
文例情報に基づいて表示する表示手段と前記利用者が役
割を担当する会話部分を空白期間として他の会話部分の
音声を前記音声情報に基づいて出力する音声出力手段
と、前記利用者の音声を入力する音声入力手段と、前記
音声入力手段によって入力される入力音声情報と前記利
用者が役割を担当する会話部分の音声情報との間で音声
の特徴量を比較し、該比較結果を出力する音声評価手段
とを具備することを特徴とする。

【０００７】

【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。１．第１実施形態１−１．第１実施形態の構成

【０００８】（１）外観構成図１は、本実施形態にかかる言語情報装置の外観を示し
た図である。この言語情報装置には、利用者が視覚によ
り情報を確認するためのＬＣＤ１０１、音声を出力する
ためのスピーカー１０２、音声を入力するためのマイク
１０３、機能・場面の選択や音声の出力等を指示するた
めのキースイッチ群１０４、およびタッチパネル１０５
が設けられている。

【０００９】ＬＣＤ１０１は情報を表示する液晶ディス
プレイであり、ドットマトリックスによって文例・語句
・絵文字等を同時に表示することが可能である。タッチ
パネル１０５はＬＣＤ１０１の上に密着しており、利用
者が選択した文例等を検知するものである。利用者は、
指またはペンを用いて画面に表示されている対象を直接
押圧することにより選択する。なお、タッチパネル１０
５は透過性が高く、タッチパネル１０５の上からＬＣＤ
１０１の表示を見ることができる。

【００１０】また、キースイッチ群１０４には、電源の
ＯＮ／ＯＦＦを指示する電源キー１０４ａ、言語表示を
切り替える訳キー１０４ｂ、選択等を確定する確定キー
１０４ｃ、表示を戻すための戻るキー１０４ｄ、表示を
隠すためのマスクキー１０４ｅ、音声を発声させる音声
キー１０４ｆ、連続して発声させる連続音声キー１０４
ｇ、および、上下左右にカーソルを移動させるカーソル
キー１０４ｈ〜１０４ｋが含まれている。

【００１１】（２）電気的構成図２は、実施形態の電気的構成を示したブロック図であ
る。ＣＰＵ１１は、バス１２を介して、ＲＯＭ１３、Ｒ
ＡＭ１４、不揮発性メモリ１５、ＬＣＤコントローラ＆
ドライバー１６、タッチパネル１０５、キースイッチ群
１０４、Ａ／Ｄコンバータ１９、およびＤ／Ａコンバー
タ２０と接続されている。

【００１２】ＲＯＭ１３には、プログラム、文例のテキ
ストデータ、文字フォントデータ、文例に対応した音声
データ、および文例を音声認識するための音声特徴パラ
メータが記憶されている。ＣＰＵ１１は、高速に各デバ
イスとデータの授受が可能であり、ＲＯＭ１３からプロ
グラムを読み出し、そのプログラムに従って各種の処理
を実行する。

【００１３】例えば、文字をＬＣＤ１０１に表示する場
合は、ＲＯＭ１３から文例のテキストデータを読み出
し、１文字ずつフォントデータに変換し、ＬＣＤコント
ローラ＆ドライバー１６へ転送する。ＬＣＤコントロー
ラ＆ドライバー１６はＬＣＤ１０１に接続されており、
表示の制御をすることができる。

【００１４】また、音声を出力する場合は、ＲＯＭ１３
から文例に対応した音声データを読み出し、所定の時間
間隔毎にＤ／Ａコンバータ２０に音声データを転送す
る。音声データは、Ｄ／Ａコンバータ２０でアナログ信
号に変換され、アンプ１８で増幅され、スピーカー１０
２から音声として出力される。

【００１５】また、マイク１０３から音声が入力された
場合は、音声はマイク１０３で電気的アナログ信号に変
換され、フィルター１７で不要な周波数帯域がカットさ
れ、Ａ／Ｄコンバータ１９でデジタルデータに変換され
る。ＣＰＵ１１は、Ａ／Ｄコンバータ１９から所定時間
間隔で音声データを入力しＲＡＭ１４に蓄積する。

【００１６】不揮発性メモリ１５は、電源をＯＦＦとし
た後も記憶内容を保持するメモリであり、入力した音声
データや、利用者が設定したデータや選択したデータを
電源がＯＦＦとなっている時でも保持することができ
る。

【００１７】１−２．第１実施形態の動作次に、上記構成を有する言語情報装置の動作について説
明する。（１）本装置の操作まず、図３に示す状態遷移図を参照し、本装置の操作面
から第１実施形態の動作について説明する。電源をＯＮ
にすると、場面選択画面が表示される。図４の具体例に
示すように、場面選択画面では複数の場面が表示され、
利用者は所望の場面をその中から選択することができ
る。選択は、上下カーソルキー１０４ｋ・１０４ｉを押
下し、画面中のカーソル（図中矢印で示している）を目
的の位置まで移動することにより行う。

【００１８】所望の場面にカーソルを合わせ、確定キー
１０４ｃを押下すると、選択した場面に対応した役割設
定画面が表示される。機能選択画面の具体例を図５に示
す。機能選択画面では、装置がどのような役割を果たす
か（装置の機能）を選択する。役割設定画面で選択でき
る機能には、本装置がＡの役割を果たす機能本装置がＢの役割を果たす機能会話文例を英語で表示する機能会話文例を日本語で表示する機能の４機能があり、利用者は場面選択画面と同様の操作に
よって機能を選択することができる。なお、装置に記憶
されている文例はＡＢ２者による会話形式になってお
り、あるいはを選択するときは、本装置がＡ・Ｂい
ずれかの役割を果たして、利用者と会話を行う形式の表
示・発声する場合であり、あるいはを選択するとき
は装置がＡＢ両方の文例を表示・発声する場合である。

【００１９】を選択すると、役割Ａの連続音声画面が
表示され、装置との間の会話が開始される。そして、会
話が終了すると機能選択画面に戻る。同様にを選択す
ると、役割Ｂの連続音声画面が表示され、装置との間の
会話が開始され、会話が終了すると機能選択画面に戻
る。なお、連続音声とは、選択された場面の各文例につ
いて連続して音声の入出力を行うことであり、・に
おいては、装置の音声出力と利用者の音声入力が連続し
て行われ、・においては装置が全文例の音声出力を
行う。ここで、図６は、役割Ａの連続音声画面の表示例
を、図７は、役割Ｂの連続音声画面の表示例を示してい
る。これらの画面では、装置がスピーチする文例は「＊
＊＊＊……」マークによりマスクされている。

【００２０】また、を選択すると、会話文例表示画面
（英語）１１５が表示され、会話文の全文が英語で表示
される。図８は、会話文例表示画面（英語）１１５の具
体例である。を選択すると、会話文例表示画面（日本
語）１１６が表示され、会話文の全文が日本語で表示さ
れる。図９は、会話文例表示画面（日本語）１１６の具
体例である。

【００２１】ここで、会話文例表示画面（英語）１１５
において訳キー１０４ｂが押下された場合は会話文例表
示画面（日本語）１１６が表示され、会話文例表示画面
（日本語）１１６において訳キー１０４ｂが押下された
場合は会話文例表示画面（英語）１１５が表示される。
これにより日本語と英語相互の全文訳を確認することが
できる。また、音声キー１０４ｆを押下すると、表示さ
れている１文例を発声させることができ、連続音声キー
１０４ｇを押下すると、１場面文の全例文を連続して音
声出力することができる。

【００２２】次に、〜のいずれかの機能が選択され
た場合の動作について説明するが、およびの会話文
例表示機能が選択された場合の動作は、従来の言語情報
装置と同様であるため説明の詳細は省略する。

【００２３】（２）装置が役割Ａの場合の連続音声動作ここで、機能あるいはが選択された場合、すなわ
ち、会話の連続音声の動作について説明する。なお、こ
こでは装置がＡの役割を果たす場合の文例について説明
するが、装置がＢの役割を果たす場合でも同様の動作と
なる。図１０は、動作時の連続音声画面の表示例であ
る。図１０に示すように、装置が発声する文例は表示せ
ず、”＊＊＊＊＊＊”の表示によってマスクしている。
また、各文例の先頭には役割指示表示３１により役割が
表示されており、各文例毎に役割が特定されるようにな
っている。図中の表示例に示すように、表示するマーク
によって役割を区別し、表示されたどの文例が利用者の
役割の文例であるかを指示する。また、利用者が発声し
た発音が、記憶された文例の発音にどの程度近似してい
るか（以下距離という）を知らせるための表示（距離表
示３２）がなされ、自分の発音が相手に通じるか否かの
判定ができるようになっている。

【００２４】ここで、文例データについて説明する。文
例データは、場面毎に英語および日本語のテキストデー
タ、英語および日本語の音声データ、および文番号が対
応づけられて記憶されている。図１１は、「オフィスで
電話をうける」場面における英文テキストデータの例を
示している。第１実施形態では、装置（役割Ａ）と利用
者（役割Ｂ）の交互の発声による会話という設定であ
り、ＡとＢの役割の文例が交互に記憶されている。そし
て、処理は文例０００１から順に行われ、最大の文番号
（図１１では０００５）の処理が終了するとその場面が
終了する。

【００２５】図１２は、第１実施形態における会話の連
続音声の動作を示すフローチャートである。会話の連続
音声の動作が開始すると、まず処理対象の文番号（以下
ｎ）を０００１とする（ステップ１２０）。次に、音声
の出力速度を初期化し（ステップ１２１）、音声の入力
回数を初期化する（ステップ１２２）。ここで、音声の
出力速度とは、装置の役割Ａに対応する文番号ｎ（００
０１）の音声出力速度をいい、音声の入力回数とは、利
用者の役割Ｂに対応する文番号ｎ＋１の音声の入力回数
をいう。

【００２６】初期化が終了すると、装置の役割Ａの文例
である文番号ｎ＝０００１を音声出力する（ステップ１
２３）。図１１の例では、"Hello. This is Fuji Xero
x."の音声を出力する。次に、役割Ｂの利用者が、文番
号ｎ＋１＝０００２の"This is SUZUKI of IROHA COMPA
NY. May I speak to Mr. TANAKA?"を発声する番にな
る。装置は、文番号０００２の音声入力待ち状態とな
り、利用者が発声すると、マイク１０３から音声が入力
される。

【００２７】ここで、音声入力タイマーをリセットし、
該タイマーをスタートした後、文番号０００２の表示を
ブリンクする（ステップ１２４）。なお、ブリンクと
は、音声入力待ちとなっている文例を指示する表示方法
であって、図１０の例では役割指示表示３１を点滅させ
ることをいうが、これに限らず、例えば、アンダーライ
ンや文例自体を反転させたりすることであってもよい。
また、音声入力タイマーとは、音声入力待ちとなってい
る文例について音声が入力されるまでの時間を計測する
ためのものであり、ここでは、文番号０００２について
の計測を行う。

【００２８】そして、処理は音声入力待ちとなり（ステ
ップ１２５）、音声入力が無い場合は、音声入力タイマ
ーの計測した時間が所定の時間に達している（すなわ
ち、タイムアウト）か否かを判定する（ステップ１２
６）。いまだタイムアウトとなっていない場合は、処理
はステップ１２５に戻り、音声入力待ちとなる。また、
タイムアウトになった場合（ステップ１３２以下）につ
いては後述する。なお、音声入力の有無の判定は、装置
が認識する音量にしきい値を設け、しきい値以上の音量
を装置が認識した場合は、音声入力有と判断する。そし
て、入力音声の音量がしきい値を下回った場合は、音声
入力が終了したものと判断して次の処理に進む。

【００２９】次に、タイムアウトとなる前に利用者が文
番号０００２の発声をした場合の処理について説明す
る。音声はマイク１０３から入力され、ステップ１２７
において特徴パラメータが算出される。ここで、特徴パ
ラメータとは、音声データの特徴量、すなわち、音声デ
ータが有する特徴を量的に示した値をいう。マイク１０
３から入力された音声は、Ａ／Ｄコンバータ１９におい
てデジタルデータに変換されてＲＡＭ１４に蓄積されて
いる。ＣＰＵ１１は、ＲＡＭ１４から音声データを読み
出し、その波形特性を数値化する。数値化の方法は従来
技術の手法を用いるものとし、説明は省略する。一方、
ＲＯＭ１３に記憶されている各英語文例には、各文例に
対応して標準音声特徴パラメータが記憶されている。

【００３０】利用者が文例どおりに発声しているか否か
は、ＲＯＭ１３に記憶されている標準音声特徴パラメー
タと、入力した音声の特徴パラメータを比較し、距離を
求めることによって判断する（ステップ１２８）。そし
て、求めた距離を表示し（ステップ１２９）、どれだけ
標準的なパターンとの差（つまり発音の類似度）がある
かを利用者に知らせる。距離には、予め許容量が設定さ
れており、距離が許容値内であれば、文番号０００２は
正しく発音されたと認識して処理はステップ１３１に進
む。距離が許容値を越えている場合は、文例は正しく発
音されていないものと認識し、処理はステップ１３２へ
進む（ステップ１３０）。なお、許容値は予め規定値が
記憶されていても、利用者が任意に設定できるようにし
てもよい。

【００３１】図１０に示す表示例では、距離は距離表示
３２に図示するように表示する。表示がより左にあると
きは距離が大きく、より右にあるときは距離が小さい。
そして表示位置が図示する"GOOD"以上であるときは許容
値内であることを示し、"EXCELLENT"は標準的パターン
との差がない（距離＝０）場合であることを示す。ま
た、許容値を越える場合は、"GOOD"以下に表示される。

【００３２】ここで、文例が正しく発音されていない場
合、あるいは所定の時間内に音声入力がされなかった場
合の処理（ステップ１３２以下）について説明する。こ
の場合、まず音声入力回数が判断される（ステップ１３
２）。利用者は、装置が発声する文例を聞き取り、その
発声に返答する形式で練習を行う。このとき、装置が発
声する文例の表示はマスクされていため、音声出力速度
が速すぎると、利用者が装置の発声した発音を聞き取る
ことができない場合がある。例えば、利用者がなんら発
声しないときあるいは所定の回数を越えて誤った発音を
している場合は、装置の発音を聞き取れていない場合で
あると推定できる。かかる場合には、所定の回数に達す
るまで、段階的に音声出力速度を下げる処理を行う（ス
テップ１３４以下）。

【００３３】音声入力回数が３回未満の場合は、音声の
再入力を促す表示をし（ステップ１３４）、音声入力回
数のカウント値を１だけアップカウントする（ステップ
１３５）。そして音声出力速度の設定を所定の値だけ遅
くして（ステップ１３６）、ステップ１２３に戻り、１
番目の文例を再度音声出力する。利用者は、１回目より
もゆっくり発声される２回目の"Hello. This is Fuji X
erox."を聞いた後、"This is SUZUKI of IROHA COMPAN
Y. May I speak to Mr. TANAKA?"を発声する。このよう
に、利用者のレベルに応じた会話練習を行うことができ
る。

【００３４】しかし、ステップ１３２において音声入力
回数が３回を越えている場合は、これ以上音声出力を遅
くすることはせず、利用者が文番号０００２を発声でき
なかったものとしてエラーを表示し（ステップ１３
３）、次の処理（ステップ１３１）へ進む。そして、こ
の段階では文番号０００２の処理は終了しているため、
文番号０００２の表示のブリンクを停止する（ステップ
１３７）。次に、文番号ｎ＋１（ここでは０００２）が
この場面の最終番号であるかを判断し、ｎ＋１が最終番
号でない場合は、ｎ＝ｎ＋２（０００３）とする（ステ
ップ１３８）。

【００３５】ｎが場面の最終番号でない場合は（ステッ
プ１３９）、処理はステップ１２１にもどり、ｎ（００
０３）の音声速度設定を初期化した後（ステップ１２
１）、ｎ＋１（０００４）の音声入力回数を初期化し
（ステップ１２２）、装置の役割である文番号０００３
の音声を出力する。

【００３６】このように、装置の発声を利用者が聞き取
ることができ、利用者が所定の回数内で正しく発声した
場合は、装置が次の文番号の文例を発声して返答する。
これらの処理が繰り返されることにより、利用者は、ヒ
アリングの練習およびスピーキングの練習を一人でも簡
単に行うことができる。

【００３７】こうして、装置と利用者の役割を果たす処
理を繰り返し、ステップ１３７においてｎ＋１が最終番
号（利用者の役割が最終番号）であれば、次に装置が発
声する文例が存在しないため、この場面の処理は終了す
る。

【００３８】一方、ステップ１３９においてｎが最終番
号（装置の役割が最終番号）である場合は、次に利用者
の音声入力待ちとする必要がないため、文番号ｎの音声
出力をした（ステップ１４０）後、この場面の処理は終
了する。なお、上述の例では、装置から発声が始まる
（装置がＡの役割を果たす）場合について説明している
が、利用者から発声が始まる（装置がＢの役割を果た
す）場合は、ステップ１２０ではｎ＝０となり、一回目
のステップ１２３においては装置の発声処理は行われな
いものとする。

【００３９】２．第２実施形態次に、第２実施形態について説明する。第２実施形態で
は、より会話らしい練習を可能とするため、会話の連続
音声において文例を固定せず、返答に応じて会話の文例
が選択される。第２実施形態のハードウエア構成は第１
実施形態と同様であるので説明を省略し、動作について
は、第１実施形態と異なる点についてのみ以下説明す
る。

【００４０】（１）連続音声動作の概念ある場面において、会話は常に固定的なやり取りが行わ
れるとは限らない。例えば第１実施形態において説明し
た「オフィスで電話をうける」場面でも、電話のかかっ
てきた人が在席している場合と不在の場合が考えられ
る。在席している場合は、電話をかわれば会話は終了す
るが、電話がかかってきた人が不在である場合は返事が
必要である。また、不在の理由にも様々なケースがあ
り、相手に対応する返事の言葉も異なる。図１３は、
「オフィスで電話をうける」場面の応答のパターンの例
を示したフローチャートである。

【００４１】図１３に示すような会話が成立するような
文例データを記憶しておく。すなわち、ある場面から想
定される会話のパターンを、予め各ケースに応じて、文
例同士を対応づけた形式で記憶しておく。ここで、文同
士の対応を図１４および図１５に示すデータを例として
説明する。図１４は、「オフィスで電話をうける」場面
のデータの例を示している。第１実施形態で使用したデ
ータ（図１２）では、文番号０００１から順番に会話が
進行するように記憶されていたが、第２実施形態で使用
するデータは、予め想定された全てのフレーズが記憶さ
れている。また、図１５は、各文番号毎にその文番号の
後に続き得る文番号を記憶したデータの例である。

【００４２】例えば図１３に示すように、"Hello. This
is Fuji Xerox."（図１４：文番号０００１）の後に
は、"This is SUZUKI of IROHA COMPANY. May I speak
to Mr.TANAKA?"（文番号０００２）が必ず続く。そこ
で、文番号０００１に対応し、次の文番号として０００
２のみが記憶されている。しかし、文番号０００２の後
には、在席している場合（文番号０００３）・席を外し
ている場合（文番号０００４）・既に帰宅した場合（文
番号０００９）・休暇の場合（文番号００１４）・外出
帰社予定なしの場合（文番号００１５）・長期休暇の場
合（文番号００１６）・長期出張の場合（文番号００２
１）が続き得る。そこで、文番号０００２に対応し、次
の文番号として０００３、０００４、０００９、００１
４、００１５、００１６、００２１が記憶されている。

【００４３】さらに、休暇の場合（文番号００１４）が
選択された場合は、伝言の要（文番号００１０）否（文
番号００１２）により次の文例が異なるため、文番号０
０１４に対応して、次の文番号として００１０、００１
２が記憶されている。ここで伝言要（文番号００１０）
が選択された場合は、その後には文番号００１１のみが
続くため、文番号００１０に対応して、次の文番号とし
て００１１のみが記憶されている。そして、文番号００
１１は会話の終了の文例であるため、文番号００１１に
対応して、次の文番号は記憶されず、終了を意味するデ
ータが記憶されている。図１５では（ＥＮＤ）としてい
るが、どのような形式であってもよい。例えば、具体的
には図１６に示す会話が、装置と利用者の間で行われ
る。

【００４４】（２）装置が役割Ａの場合の連続音声動作次に、装置と利用者の会話が成立していく過程について
説明する。図１７および図１８は、第２実施形態におけ
る会話の連続音声の動作を示すフローチャートである。
なお、ここでは装置が役割Ａを果たすものとする。処理
が開始すると、まず、文番号の個数を初期化（ｍ＝１）
し（ステップ２０１）、現在の文番号（ｎ）として最初
の文番号をセットする（ステップ２０２）。ここで、変
数ｎは処理対象となる文番号を表すものとし、まず場面
において一番最初に発声される文例の文番号（０００
１）を初期文番号としてｎに格納する（ステップ２０
２）。

【００４５】また、文番号の個数とは、処理対象の文番
号に対応して記憶されている次の文番号の個数であり、
文番号ｎが処理された後で次の文番号のうちのどの文例
を処理対象として選択するかを決定するために使用され
る数値である（後述する）。なお、最初の文例では必ず
ｍ＝１となる。

【００４６】次にステップ２０３において、利用者がＡ
の役割を果たす場合はステップ２０４に、利用者がＢの
役割を果たす場合はステップ２２１に進む。この例で
は、利用者がＢの役割を果たすので、ステップ２２１に
進む。そして、ｍ＝１であるため（ステップ２２１）、
処理対象の文番号（ｎ＝０００１）の文例の表示をブリ
ンクしながら音声出力する（ステップ２２５）。すなわ
ち、装置（役割Ａ）が"Hello. This is Fuji Xerox."を
表示するとともに発声する。図１９は、文番号０００１
が表示された例である。第２実施形態では、装置が発声
する場合に文例のマスクは行わない。また、文例は発声
のされたもののみ表示される。

【００４７】役割Ａの装置が発声した次は、役割Ｂの利
用者が発声する順番となり、装置は音声入力待ちとな
る。しかし、装置が発声した文番号ｎの次の文番号の個
数は必ずしも１個とは限らない。また文番号ｎが会話の
終了の文例である場合もある。そこで、ステップ２２５
では、文番号ｎの次の文番号データのすべてをＲＯＭ１
３（図２）から取り出し、ＲＡＭ１４（図２）に記憶し
ておく。なお、ここでは、ｎ＝０００１であるので、取
り出される次の文番号は０００２のみである。次に、取
り出したデータがＥＮＤを示すデータか否かを判断し
（ステップ２２６）、ＥＮＤの場合は処理を終了し、Ｅ
ＮＤでない場合はステップ２０４に進む。

【００４８】ステップ２０４以下の処理は、利用者の役
割（ここでは役割Ｂ）が発声されるときの処理である。
装置は、装置が発声した文番号ｎの次の文番号のいずれ
かについて利用者の音声入力待ちとなっている。また、
第１実施形態と同様、利用者が所定の時間内に発声しな
い場合や、所定の回数内で正しい発声がされない場合に
次の文例に進む処理を行う。そのため、音声入力回数を
初期化し（ステップ２０４）、次に音声入力タイマーを
初期化して（ステップ２０５）、音声入力待ちとなり、
タイマーは時間の計測を始める。そして、ステップ２０
６において音声入力がなかった場合は、ステップ２０７
に進み、タイマーの示す時間が、所定の時間を越えた場
合（すなわちタイムアウト）は、ステップ２１２に進
む。

【００４９】一方、ステップ２０６で音声入力があった
場合は、入力された音声の特徴パラメータを算出する
（ステップ２０８）。次に、入力した音声の特徴パラメ
ータと、ＲＡＭ１４に記憶された文番号のそれぞれの標
準音声特徴パラメータとの距離を求め（ステップ２０
９）、最も距離の小さい文例の距離を表示する（ステッ
プ２１０）。すなわち、利用者が発声した音声は、装置
の発声した文番号ｎの次にくる文番号のいずれに最も近
似するかを、音声特徴パラメータにより判断し選択す
る。なお、ここでは、文番号ｎ＝０００１の次にくる文
番号は０００２のみであるので、文番号０００２の標準
音声特徴パラメータとの距離が表示される。そして選択
された文例と、入力された音声特徴パラメータの距離
が、所定の許容量を越えている場合は（ステップ２１
１）、ステップ２１２に進み、音声入力回数が判断され
る。

【００５０】音声入力回数が３回未満である場合は（ス
テップ２１２）、音声の再入力を指示する表示を行い
（ステップ２１３）、音声入力回数のカウント値を１だ
けアップカウントする（ステップ２１４）。そしてステ
ップ２０５に戻り再度音声入力タイマーを初期化し（ス
テップ２０５）、装置は音声入力待ちとなる（ステップ
２０６）。

【００５１】また、ステップ２１２において音声入力回
数が３回以上となっているときには、エラーを表示して
次の文例の処理（ステップ２１６）に進む。ところで、
選択された文例と、入力された音声特徴パラメータの距
離が、所定の許容量内である場合も（ステップ２１
１）、次の文例の処理（ステップ２１６）に進む。ステ
ップ２１６では、最も距離の小さい文例の文番号を、処
理対象の文番号と入れ替える。すなわち、ここではｎの
値は０００１から０００２に入れ替えられる。

【００５２】そして、文番号ｎ（０００２）の文例を表
示した後（ステップ２１７）、ｎの次にくる文例を取り
出しＲＡＭ１４に記憶するとともに、文番号の個数をｍ
に格納する（ステップ２１８）。ここではｎ＝０００２
であるので、取り出された文番号データは、０００３、
０００４、０００９、００１４、００１５、００１６、
００２１の７個であり、ｍ＝７となる。この取り出した
データがＥＮＤを示すデータであれば、処理は終了する
が（ステップ２１９）、ＥＮＤではない場合は、処理は
ステップ２２１へ進み、次は装置（ここではＡ）の役割
の文例が処理される。

【００５３】ステップ２２１において、文例の個数が１
であれば、既述の通りステップ２２４へ進むが、文例の
個数が２個以上すなわちｍ≧２である場合は、取り出さ
れＲＡＭ１４に記憶された文番号データの中のいずれか
の文例を選択する処理を行う（ステップ２２２）。選択
は、ｍ個の疑似乱数を生成することにより行う。そし
て、疑似乱数に対応した１個の文番号のみ処理対象とし
てセットし（ステップ２２３）、ステップ２２４に進
む。

【００５４】ここでは文番号００１４が選択されたもの
とする。すなわち、利用者（役割Ｂ）が"This is SUZUK
I of IROHA COMPANY. May I speak to Mr. TANAKA?"
（文番号０００２）を発声した後に、装置（役割Ａ）は
７個のいずれの返答を行うことも可能であったが、既に
帰宅した場合の返答"I'm sorry. TANAKA is takeing ad
ay off doday. May I take a message?"（文番号００１
４）を行ったのである。このように、装置が返答しうる
文例のいずれかを選択するかについて、疑似乱数を用い
て、利用者が予測が困難なものとすることにより、より
会話らしい練習を一人で行うことができる。

【００５５】そして、文番号００１４の次の文番号の全
部（００１０、００１２）をＲＯＭ１３から取り出し、
ＲＡＭ１４に記憶する（ステップ２２５）。取り出した
文番号はＥＮＤを示すデータではないため（ステップ２
２６）、処理はステップ２０４に進む。

【００５６】次は、利用者（役割Ｂ）の処理となり、音
声入力回数および音声入力タイマーが初期化され（ステ
ップ２０４、２０５）、音声入力がされた場合は（ステ
ップ２０６）音声特徴パラメータが算出され（ステップ
２０８）、文番号００１０および００１２の標準音声特
徴パラメータとの距離が求められる（ステップ２０
９）。ここで利用者が"Please call SUZUKI tomorrow.
The number is 1-234-567-890"（文番号００１０）と発
声した場合は、入力された音声特徴パラメータは、文番
号００１２の標準音声特徴パラメータよりも文番号００
１０の標準音声特徴パラメータとの距離が小さくなり、
文番号００１０との距離が表示される（ステップ２１
０）。距離が所定の許容範囲内であれば（ステップ２２
１）、最も距離の小さい文番号（００１０）が表示され
（ステップ２１６）、次にくるべき文番号をＲＯＭ１３
から取り出す（ステップ２１８）。ここでは、文番号０
０１０の次であるので００１１のみがＲＡＭ１４に記憶
され、ｍ＝１となる。

【００５７】取り出されたデータはＥＮＤを示すデータ
ではないため（ステップ２１９）、ステップ２２１に進
み、装置（役割Ａ）処理となる。ここではｍ＝１である
ため、"Yes, sure."（文番号００１１）の表示をブリン
クしながら、音声を出力する（ステップ２２４）。次
に、文番号００１１の次の文番号をＲＯＭ１３から取り
出し（ステップ２２５）、取り出されたデータはＥＮＤ
を示すデータであるため（ステップ２２６）、この場面
の処理は終了する。

【００５８】以上のように、ある文例の次にくる文例が
複数あるときに、次が装置の役割であれば疑似乱数を用
いて次の文例を選択し、次が利用者の役割であれば、利
用者が適切と判断して発声した文が、選択可能な文例と
最も近似する文として装置に認識されて会話が進行す
る。これにより、場面ごとの会話文が固定されずより会
話らしい練習を行うことが可能となる。

【００５９】３．変形例なお、本発明は既述した実施形態に限定されるものでは
なく、以下のような各種の変形が可能である。

【００６０】実施形態では、日本語を母国語とする人が
英語を学ぶ場合を例に説明したが、これに限定されるも
のではなく、複数の言語から選択できるようにしてもよ
い。また、実施形態では２人の会話文を例として説明し
たが、これに限らず３人以上による会話であってもよ
い。

【００６１】また、データは装置に内蔵されたＲＯＭ１
３に記憶されたものを使用しているが、例えばフロッピ
ーディスクやＲＯＭカートリッジなどの外部の記録媒体
から読み出すことができるよう構成してもよい。同様
に、装置を制御するプログラムを記録する媒体は、ＲＯ
Ｍ１３に限らず、例えばフロッピーディスク、ＣＤ−Ｒ
ＯＭ、ハードディスク等の記録媒体であってもよい。

【００６２】また、利用者が音声入力を行うことができ
る回数は、３回までとしたが、これに限らず他の値を用
いても、利用者が任意に設定できるようにしてもよい。
また、入力された音声特徴パラメータと標準音声特徴パ
ラメータの差を表示する方法は実施形態に限定されず、
例えば数値や段階に応じたマークを表示したり、差の程
度を表す音声出力により行ってもよい。実施形態では既
定の文例のみを使用したが、人名や地名などの固有名詞
や数字などを入力できるようにして、文の一部を利用者
が作成できるようにしてもよい。その場合、ＲＯＭ１３
に記憶されたプログラムに従って、入力されたテキスト
データを音声データに変換して出力するものとする。

【００６３】第１実施形態では、装置側の役割の文例は
マスクしたが、表示できるようにしてもよく、「マスク
する」あるいは「表示する」のいずれかを利用者が選択
できるようにしてもよい。その場合は例えばマスクキー
１０４ｆ（図１）を使用する。

【００６４】第２実施形態では、疑似乱数を用いて複数
の文例から選択したが、他の方法でもよく、例えば所定
の値や最小あるいは最大の文番号を選択するようにして
もよい。

【００６５】また、第２実施形態では装置側の役割の文
例はマスクせずに表示したが、より会話らしい練習をす
るためにマスクできるようにしてもよい。その場合、例
えばマスクキー１０４ｆ（図１）を使用する。

【００６６】実施形態では、会話文例表示画面（英語）
１１５および会話文例表示画面（日本語）１１６を切り
替えることにより場面の全文訳を確認できるものとした
が、単語や熟語毎に訳を表示できるようにしてもよい。
図１９は、単語・熟語訳表示機能画面の例である。図１
９に示す例では、利用者はカーソルキー１０４ｈ〜１０
４ｋを押下することにより画面中下線の引いてある単語
あるいは熟語のいずれかを選択し、訳キー１０４ｂを押
下すると、選択された単語あるいは熟語の訳を表示した
ウインドウが表示される。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
身近な会話の練習を一人でも効果的に行うことのできる
言語情報装置を提供することが可能となる。

【図面の簡単な説明】

【図１】言語情報装置の外観を示した図である。

【図２】実施形態の電気的構成を示したブロック図で
ある。

【図３】本装置の状態遷移を示した図である。

【図４】場面選択画面の具体例を示した図である。

【図５】割設定画面の具体例を示した図である。

【図６】役割Ａの連続音声画面の表示例を示した図で
ある。

【図７】役割Ｂの連続音声画面の表示例を示した図で
ある。

【図８】話文例表示画面（英語）の具体例を示した図
である。

【図９】会話文例表示画面（日本語）の具体例を示し
た図である。

【図１０】動作時の連続音声画面の表示例を示した図
である。

【図１１】英文テキストデータの例を示した図であ
る。

【図１２】第１実施形態における連続音声の動作を示
すフローチャートである。

【図１３】「オフィスで電話をうける」場面の応答の
パターンの例を示したフローチャートである。

【図１４】「オフィスで電話をうける」場面の文例デ
ータを示した図である。

【図１５】各文番号毎にその文番号の後に続き得る文
番号を記憶したデータを示した図である。

【図１６】選択された会話文の例を示した図である。

【図１７】第２実施形態における連続音声の動作を示
すフローチャートである。

【図１８】第２実施形態における連続音声の動作を示
すフローチャートである。

【図１９】番号０００１が表示された例を示した図で
ある。

【図２０】単語・熟語訳表示機能画面の例を示した図
である。

【符号の説明】

１１……ＣＰＵ（音声評価手段）、１２……バス、１３
……ＲＯＭ（文例記憶手段、音声記憶手段）、１４……
ＲＡＭ、１５……不揮発性メモリ、１０１……ＬＣＤ、
１６……ＬＣＤコントローラ＆ドライバー（表示手
段）、１０２……スピーカー、１８……アンプ、２０…
…Ｄ／Ａコンバータ（音声出力手段）、１０３……マイ
ク、１７……フィルター、１９……Ａ／Ｄコンバータ
（音声入力手段）、１０４……キースイッチ群、１０５
……タッチパネル、

Claims

【特許請求の範囲】

【請求項１】所定の言語による会話の文例情報を記憶
する文例記憶手段と、前記文例情報に対応した音声情報を記憶する音声記憶手
段と、少なくとも利用者が役割を担当する会話部分を除いた他
の会話部分の文例を前記文例情報に基づいて表示する表
示手段と前記利用者が役割を担当する会話部分を空白期間として
他の会話部分の音声を前記音声情報に基づいて出力する
音声出力手段と、前記利用者の音声を入力する音声入力手段と、前記音声入力手段によって入力される入力音声情報と前
記利用者が役割を担当する会話部分の音声情報との間で
音声の特徴量を比較し、該比較結果を出力する音声評価
手段とを具備することを特徴とする言語情報装置。
【請求項２】前記会話の文例情報が３人以上の会話に
よって構成されていることを特徴とする請求項１記載の
言語情報装置。
【請求項３】前記音声出力手段は、前記音声入力手段
によって入力される入力音声のレベルが所定レベル以下
に下がったときに前記空白期間を解除することを特徴と
する請求項１記載の言語情報装置。
【請求項４】前記音声出力手段は、前記空白期間の開
始時点からの経過時間を計時し、前記音声入力手段によ
る音声入力が所定時間以上ない場合に、少なくとも一つ
前の会話文から音声を再出力することを特徴とする請求
項１記載の言語情報装置。
【請求項５】前記音声評価手段は、前記入力音声情報
から抽出した第１の音声特徴量と前記利用者が役割を担
当する会話部分の音声情報から抽出した第２の音声特徴
量との差を算出し、前記音声出力手段は、前記音声評価手段によって算出さ
れた差の値が所定値以上である場合に少なくとも一つ前
の会話文から音声を再出力することを特徴とする請求項
１記載の言語情報装置。
【請求項６】前記音声出力手段は、音声速度を下げて
音声の再出力を行うことを特徴とする請求項４または５
記載の言語情報装置。
【請求項７】前記会話の文例情報は、異なる会話の展
開に対応して複数の文例によって構成されており、前記表示手段は、複数の文例の中から所定のルールに従
って選択した文例を表示するとともに、前記音声出力手段は、前記選択した文例に対応する音声
を出力することを特徴とする請求項１記載の言語情報装
置。
【請求項８】前記文例は、乱数に基づいて任意に選択
されることを特徴とする請求項７記載の言語情報装置。
【請求項９】前記音声評価手段は、入力音声情報と利
用者が役割を担当する会話部分の異なる会話の展開に対
応した複数の文例の音声情報との間で各々音声の特徴量
を比較し、最も特徴量が近い比較結果を出力する音声評
価手段とを具備することを特徴とする請求項７記載の言
語情報装置。
【請求項１０】コンピュータによって構成された言語
情報装置に、所定の言語による会話の文例情報を記憶する文例記憶機
能と、前記文例情報に対応した音声情報を記憶する音声記憶機
能と、少なくとも利用者が役割を担当する会話部分を除いた他
の会話部分の文例を前記文例情報に基づいて表示する表
示機能と前記利用者が役割を担当する会話部分を空白期
間として他の会話部分の音声を前記音声情報に基づいて
出力する音声出力機能と、前記利用者の音声を入力する音声入力機能と、前記音声入力手段によって入力される入力音声情報と前
記利用者が役割を担当する会話部分の音声情報との間で
音声の特徴量を比較し、該比較結果を出力する音声評価
機能とをを実現させるためのプログラムを記録した記録
媒体。