JPH11202889A - 音声識別装置、発音矯正装置およびこれらの方法 - Google Patents

Abstract

(57)【要約】 【課題】例えば、ノン・ネイティブの英語の発音から、
正確に英単語を識別する音声識別装置およびその方法を
提供することを目的とする。 【解決手段】ベクトルデータ生成部１６０およびラベル
作成部１８２は、日本人が発音した英語の１センテンス
分の音声データを処理し、ラベル列に変換する。候補単
語作成部１８４は、１センテンス分のラベル列を、それ
ぞれ１つ以上の英単語から構成される第１の候補単語に
対応付ける。類似単語追加部１８６は、単語データベー
ス部１６０を用いて、第１の候補単語の発音に類似する
英単語、例えば、第１の候補単語readに対する類似単語
lead（日本人は一般にｌとｒとを区別して発音しずら
い）を検索し、得られた類似単語を第１の候補単語に付
加して第２の候補単語とする。絞り込み部１８８は、ユ
ーザの操作に応じて第２の候補単語のいずれかを最終的
な識別結果として選択し、選択した英単語を接続して英
文のテキストデータとして出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、特定の言語を母国語と
する話者による他の特定の言語の話し声に含まれる後者
の言語の単語それぞれを識別する音声識別装置およびそ
の方法、例えば、日本人が話す英語の音声を識別し、音
声に含まれる英単語の列を示すデータ（テキストデー
タ）として出力する音声識別装置およびその方法に関す
る。

【０００２】また、本発明は、上記音声識別装置および
その方法の処理過程において得られるデータ（候補単語
データ）を利用して、正しい発音を話者に教え、発音を
矯正する発音矯正装置およびその方法に関する。

【０００３】

【従来の技術】不特定話者が話す音声に含まれる単語そ
れぞれを識別し、テキストデータとして出力する音声識
別装置が用いられている。例えば、特開平０６−１２４
８３号公報、特開平０８−５０４９３号公報および特開
平０９−２２２９７(文献１〜３）等は、このような音
声識別方法を開示する。

【０００４】例えば、これら従来の音声識別方法を用
い、英語の音声から英単語を識別する英語用音声識別装
置により、日本人が発音した英語音声から英文のテキス
トデータを作成すると、識別率が低下してしまう。これ
は、英語には、日本語に存在しない音（th等）、あるい
は、日本語においては区別しにくい音（l,r等）等があ
り、日本人は、一般に、このような英語の音を正確に発
音できないので、英語用音声識別装置が不正確な発音を
そのまま単語に置き換えてしまうためである。例えば、
日本人が英語で"rice"と発音したつもりであっても、英
語用の音声識別装置は、この音声を"lice"あるいは"lou
se"と識別してしまうことがある。

【０００５】このような不具合は、上に示した例とは逆
に、英語を母国語とするアメリカ人が、日本語の音声か
ら日本文のテキストを作成する音声識別装置を用いる場
合、あるいは、イギリス式の英語を母国語とする英国人
が、アメリカ式英語用に調整された音声識別装置を用い
る場合、あるいは、特定の人が何らかの理由で正確な発
音をしにくくなった場合等、様々な場合に生じうる。し
かしながら、上記各文献に開示された音声識別方法のい
ずれも、このような不具合を解決しえない。

【０００６】ここで、話者の英語の発音が上達し、ネイ
ティブスピーカーに近づけば、音声識別装置による識別
率が向上することは言うまでもなく、しかも、話者にと
って英会話が上達することは好ましいことである。

【０００７】例えば、特開平４−５４９５６号公報は、
話者の英語音声を識別し、識別した英語音声を話者に確
認させる学習装置を開示する（文献４）。また、例え
ば、特開昭６０−１２３８８４号公報は、音声合成ＬＳ
Ｉを用い、話者に学習しようとする音声を聞かせる英語
学習機を開示する（文献５）。その他、特公昭４４−７
１６２号公報、特開平７−１１７８０７号公報、特開昭
６１−１８０６８号公報、特開平８−２７５８８号公
報、特開昭６２−１１１２７８号公報、特開昭６２−２
９９９８５号公報、特開平３−７５８６９号公報、特公
平６−２７９７１号公報、特公平８−１２５３５号公報
および特開平３−２２６７８５号公報等、数多くの文献
に、外国語の発音を学習するための学習装置が開示され
ている（文献６〜１４）。

【０００８】しかしながら、これらの文献に開示された
学習装置を用いても、提示された発音と自分の発音とを
比較しなければならなかったり、自分の発音のどこが誤
っているかが分からなかったりして、話者が充分な学習
効果を必ずしも得ることはできない。

【０００９】

【発明が解決しようとする課題】本発明は、上述した従
来技術の問題点に鑑みてなされたものであり、所定の言
語を母国語としない話者（ノン・ネイティブ）による所
定の言語の話し声に含まれる単語それぞれを識別し、話
者が意図する所定の言語の単語に置換して、正確なテキ
ストデータを作成することができる音声識別装置および
その方法を提供することを目的とする。

【００１０】また、本発明は、話されている地域が異な
る等のために、同一の言語の発音が変化したような場合
であっても、いずれの地域の話者による話し声でも、話
者が意図する単語に変換して、正確なテキストデータを
作成することができる音声識別装置およびその方法を提
供することを目的とする。また、本発明は、発音の個人
差を補って、常に高い識別率を保つことができる音声識
別装置およびその方法を提供することを目的とする。

【００１１】さらに、本発明は、上記音声識別装置およ
びその方法の処理の過程で得られるデータを利用して話
者の発音の問題点を指摘し、話者にネイティブスピーカ
の発音を学習させ、話者の発音を矯正する発音矯正装置
およびその方法を提供することを目的とする。また、本
発明は、話者の発音と正確な発音とを自動的に比較して
誤りを指摘することができ、さらに、話者が発音をどの
ように矯正すべきかを示す詳細な情報を提示し、その発
音を矯正することができる発音矯正装置およびその方法
を提供することを目的とする。

【００１２】

【課題を達成するための手段】［第１の音声識別装置］
上記目的を達成するために、本発明にかかる第１の音声
識別装置は、話し声に含まれる１つ以上の単語を示す音
声データから、前記単語それぞれを識別する音声識別装
置であって、１つ以上の前記単語の音声データそれぞれ
に、これらの音声データの１つ以上それぞれを識別して
得られる１つ以上の前記単語の組み合わせの候補（候補
単語）の１組以上を対応付ける候補単語対応付け手段
と、１つ以上の前記単語の音声データそれぞれに対応付
けた前記候補単語それぞれに、前記候補単語それぞれの
発音に対応しうる１つ以上の前記単語の組み合わせ（類
似単語）の０組以上を対応付ける類似単語対応付け手段
と、１つ以上の前記単語の音声データそれぞれに対応付
けた前記候補単語、および、前記候補単語それぞれに対
応付けた前記類似単語のいずれかを選択し、前記単語の
音声データそれぞれの識別結果とする音声データ識別手
段とを有する。

【００１３】好適には、前記音声データは、所定の言語
の話し声に含まれる１つ以上の単語を示し、前記候補単
語対応付け手段は、１つ以上の前記単語の音声データそ
れぞれに、これらの音声データの１つ以上それぞれを識
別して得られる前記所定の言語の候補単語の１組以上を
対応付け、前記類似単語対応付け手段は、１つ以上の前
記単語の音声データそれぞれに対応付けた前記候補単語
それぞれに、前記候補単語それぞれの発音に対応しうる
前記所定の言語の類似単語の０組以上を対応付け、音声
データ識別手段は、１つ以上の前記単語の音声データそ
れぞれに対応付けた前記候補単語、および、前記候補単
語それぞれに対応付けた前記類似単語のいずれかを選択
し、１つ以上の前記単語の音声データそれぞれの識別結
果とする。

【００１４】好適には、前記所定の言語の話し声の発音
は、前記所定の言語以外の所定の言語を主に話す話者に
よってなされ、前記話者によって前記所定の言語の単語
の１つ以上それぞれが発音された場合に、前記所定の言
語の話し声に含まれる単語の音声データの１つ以上それ
ぞれに対応しうる前記所定の言語の単語の０組以上を、
予め前記所定の言語の単語の１つ以上それぞれと対応付
けて、前記所定の言語の単語の１つ以上それぞれの前記
類似単語として記憶する類似単語記憶手段を有し、前記
類似単語対応付け手段は、予め前記所定の言語の単語の
１つ以上それぞれと対応付けて記憶した前記類似単語の
０組以上を、前記候補単語それぞれに対応付ける。

【００１５】好適には、前記候補単語対応付け手段は、
音声データに対応付けた前記候補単語それぞれの確から
しさを示す確率データを、音声データに対応付けた前記
候補単語それぞれに付し、前記音声データ識別手段は、
前記確率データの値が所定の範囲をとる前記候補単語の
みを選択し、前記単語の音声データの識別結果とする。

【００１６】好適には、前記候補単語対応付け手段は、
前記類似単語それぞれに対応する発音の誤りを示す誤り
情報を、音声データに対応付けた前記候補単語それぞれ
に付す。

【００１７】［音声識別装置の作用］本発明にかかる音
声識別装置は、特定の言語（以下本項目において英語を
例示する）以外の言語（同様に日本語を例示する）を母
国語とし、主に話す話者（同様に日本人を例示する）が
発音した英語の話し声（音声）に含まれる単語を識別
し、英単語に置き換えてテキストデータを作成する。

【００１８】本発明にかかる音声識別装置において、マ
イク等から入力され、ディジタルデータに変換された日
本人による英語音声（音声データ）は、例えば、音の特
徴（音の高さ、強さ、イントネーション等）ごとに量子
化したベクトルデータに変換され、さらに、ラベルと呼
ばれ、発音記号に類似する音のデータに変換されて、候
補単語対応付け手段に対して出力される。

【００１９】［候補単語対応付け手段］候補単語対応付
け手段は、ラベルに変換された音声データを１つの単
語、あるいは、一連の複数の単語ごとに処理し、音声デ
ータと、音声データの識別結果の候補として、単独（１
個）の英単語、あるいは、複数の英単語の組み合わせ
（これらを総称して候補単語と記す）とを対応付ける。

【００２０】［類似単語記憶手段］類似単語記憶手段
は、正確な英語の発音とは異なるが、日本人が英語を発
音した場合に、音声データと対応しうる単独の英単語、
あるいは、複数の英単語の組み合わせ（これらを総称し
て類似単語と記す）と、候補単語となりうる単独の英単
語あるいは複数の英単語の組み合わせとを予め対応付け
た、例えば、検索用辞書データを記憶する。一例を挙げ
ると、この辞書データにおいては、日本人による不正確
な英語の発音に対応するために、候補単語となりうる単
独の英単語"lead"に、類似単語"read"（日本人が区別し
にくいl,rを考慮したもの、一般に日本人は"r"の発音が
不得手である）が対応付けられる。なお、英単語に対し
て類似単語が存在しない場合があるので、このような場
合には、この辞書において、英単語に類似単語は対応付
けられない。

【００２１】［類似単語対応付け手段］類似単語対応付
け手段は、類似単語記憶手段が記憶した辞書データを検
索し、候補単語に対応付けられた類似単語を読み出し
て、候補単語に対する類似単語の対応付けを行なう。上
記例においては、日本人が発音した英単語"read"に対応
する音声データに、英単語"lead"と、類似単語"read"と
が対応付けられる。

【００２２】［音声データ識別手段］音声データ識別手
段は、例えば、それまでに識別された英単語列に対する
構文解析処理に基づいて、あるいは、ユーザの選択操作
に応じて、音声データに対応付けられた候補単語および
類似単語のいずれかを選択し、識別結果とする。

【００２３】本発明にかかる音声識別装置の各構成要素
は、次々に入力される音声データに対して、ここまでに
述べた処理を順次、行ない、音声データに含まれる英単
語を識別し、識別した英単語を接続したテキストデータ
を作成する。

【００２４】なお、ここまでの説明では、日本人による
英語の音声を例示したが、類似単語記憶手段が、アメリ
カ式の英語の発音とは異なるが、イギリス式の英語の発
音である場合に、音声データと対応しうる類似単語を、
候補単語に対応付けた辞書データを記憶する等の変更を
加えることにより、本発明にかかる音声識別装置は、イ
ギリス式の発音による英語音声、および、アメリカ式の
発音による英語音声の両者を識別してテキストデータを
生成することができる。

【００２５】［所定の言語の範囲］このように、上記
「所定の言語」の範囲は、候補単語対応付け手段が、充
分な識別率で、音声データと単語とを対応付けられる範
囲として定義される。従って、例えば、通常、同一とさ
れる言語であっても、地域的な隔離により発音が相互に
異なってしまい、いずれかに適するように調整された候
補単語対応付け手段のみでは充分な識別率を得られない
複数の方言(例えば、アメリカ、イギリス、オーストラ
リアおよび南アフリカ等各国の英語、スペインおよび中
南米等各国のスペイン語)は、上記「所定の言語」の同
一範囲には含まれない。さらに、何らかの理由により、
特定の人の発音が不明りょうになり、この人の母国語
（主に話す言葉）に適するように調整された候補単語対
応付け手段のみでは充分な識別率が得られなくなった場
合も同様である。

【００２６】［第２の音声識別装置］また、本発明にか
かる第２の音声識別装置は、所定の言語以外を主に話す
話者による前記所定の言語の音声に含まれる前記所定の
言語の１つ以上の単語を示す音声データから、前記所定
の言語の単語の１つ以上それぞれを識別する音声識別装
置であって、前記所定の言語の単語の音声データの１つ
以上それぞれに、これらの音声データの１つ以上それぞ
れを識別して得られる前記所定の言語の単語、および、
前記話者が話した可能性がある前記所定の言語の単語の
１つ以上またはこれらのいずれかを対応付ける単語対応
付け手段と、１つ以上の前記単語の音声データそれぞれ
に対応付けた単語のいずれかを選択し、１つ以上の前記
単語の音声データそれぞれの識別結果とする音声データ
識別手段とを有する。

【００２７】［音声識別方法］また、本発明にかかる第
１の音声識別方法は、話し声に含まれる１つ以上の単語
を示す音声データから、前記単語それぞれを識別する音
声識別方法であって、１つ以上の前記単語の音声データ
それぞれに、これらの音声データの１つ以上それぞれを
識別して得られる１つ以上の前記単語の組み合わせの候
補（候補単語）の１組以上を対応付けるステップと、１
つ以上の前記単語の音声データそれぞれに対応付けた前
記候補単語それぞれに、前記候補単語それぞれの発音に
対応しうる１つ以上の前記単語の組み合わせ（類似単
語）の０組以上を対応付けるステップと、１つ以上の前
記単語の音声データそれぞれに対応付けた前記候補単
語、および、前記候補単語それぞれに対応付けた前記類
似単語のいずれかを選択し、前記単語の音声データそれ
ぞれの識別結果とするステップとを含む。

【００２８】また、本発明にかかる第２の音声識別方法
は、所定の言語以外を主に話す話者による前記所定の言
語の音声に含まれる前記所定の言語の１つ以上の単語を
示す音声データから、前記所定の言語の単語の１つ以上
それぞれを識別する音声識別方法であって、前記所定の
言語の単語の音声データの１つ以上それぞれに、これら
の音声データの１つ以上それぞれを識別して得られる前
記所定の言語の単語、および、前記話者が話した可能性
がある前記所定の言語の単語の１つ以上またはこれらの
いずれかを対応付けるステップと、１つ以上の前記単語
の音声データそれぞれに対応付けた単語のいずれかを選
択し、１つ以上の前記単語の音声データそれぞれの識別
結果とするステップとを含む。

【００２９】［音声矯正装置］また、本発明にかかる音
声矯正装置は、単語を示す音声データを識別して得られ
る単語の候補（候補単語）を１個以上、対応付ける候補
単語対応付け手段と、音声データに対応付けた前記候補
単語それぞれに、前記候補単語それぞれの発音に対応し
うる単語（類似単語）を０個以上、対応付ける類似単語
対応付け手段と、前記音声データが示す単語と、この音
声データに対応付けられた前記候補単語それぞれに対応
付けられた前記類似単語とが一致する場合に、前記音声
データが示す単語と同じ前記類似単語に対応し、前記音
声データが示す単語の発音を矯正する発音矯正データを
出力する発音矯正データ出力手段とを有する。

【００３０】［発音矯正装置の作用］本発明にかかる発
音矯正装置において、候補単語対応付け手段および類似
単語対応付け手段は、上述した本発明にかかる音声識別
装置においてと同様に、音声データと、候補単語・類似
単語とを対応付ける。

【００３１】［発音矯正データ出力手段］話者がネイテ
ィブに近い正しい発音をしている場合には、話者の意図
した単語と音声データの識別結果とは候補単語に含まれ
ることになる。一方、話者の発音が誤っていたり、不明
瞭であったりすると、話者の意図した単語は候補単語に
含まれるが、音声データの識別結果は類似単語に含まれ
るということになる。従って、予め話者に発音すべき単
語を示し、この単語を発音させた場合に、この単語が音
声データの識別結果において、類似単語と一致するとい
うことは、ユーザ（話者）の発音に何らかの誤り、ある
いは、発音に不明瞭さがあることを意味する。

【００３２】発音矯正データ出力手段は、話者に示した
単語が類似単語と一致する場合に、話者に示した単語と
一致する類似単語に対応付けられ、発音の誤り・不明瞭
さを矯正する情報（例えば、ネイティブスピーカが正し
い発音を行なう際の口および舌の動きを示す画像デー
タ、および、ネイティブスピーカと比べて、話者の発音
のどこが誤っているかを文章で示すテキストデータ）を
モニタに表示し、話者に発音の矯正を促すとともに、話
者の発音がネイティブスピーカの発音に近づくように学
習を補助する。

【００３３】［音声矯正方法］また、本発明にかかる音
声矯正方法は、単語を示す音声データを識別して得られ
る単語の候補（候補単語）を１個以上、対応付け、音声
データに対応付けた前記候補単語それぞれに、前記候補
単語それぞれの発音に対応しうる単語（類似単語）を０
個以上、対応付け、前記音声データが示す単語と、この
音声データに対応付けられた前記候補単語それぞれに対
応付けられた前記類似単語とが一致する場合に、前記音
声データが示す単語と同じ前記類似単語に対応し、前記
音声データが示す単語の発音を矯正する発音矯正データ
を出力する。

【００３４】

【発明の実施の形態】［第１実施形態］以下、本発明の
第１の実施形態を説明する。なお、以下、説明の明確化
および便宜のために、特に断らない限り、本発明にかか
る音声識別処理が、日本人が話す英語を識別するために
調整されている場合を具体例として説明する。

【００３５】［コンピュータ１］まず、図１を参照し
て、本発明にかかる音声識別処理を実現するコンピュー
タ１を説明する。図１は、本発明にかかる音声識別処理
を実現するコンピュータ１の構成を例示する図である。
図１に例示するように、コンピュータ１は、例えば、音
声入出力機能を有するパーソナルコンピュータであっ
て、ＣＰＵ、メモリおよびこれらの周辺装置等を含むコ
ンピュータ本体１０、出力装置１００、光磁気（ｍｏ）
ディスク装置、ハードディスク装置あるいはフロッピー
ディスク装置等の記憶装置１１０、および、入力装置１
２０から構成される。出力装置１００は、ＣＲディスプ
レイ装置等のモニタ１０２、音声出力用のスピーカ１０
４、プリンタ１０６等を含む。入力装置１２０は、マイ
ク１２２、音声入力用ボード１２４、キーボード１２６
およびマウス１２８等を含む。

【００３６】［モニタ１０２］出力装置１００におい
て、モニタ１０２は、コンピュータ１のユーザに対して
操作用のＧＵＩ画像、および、コンピュータ本体１０が
音声を識別して得られたテキストデータ等を表示する。

【００３７】［スピーカ１０４］スピーカ１０４は、コ
ンピュータ本体１０が音声を識別して得られたテキスト
データを音声として出力するため等に用いられる。

【００３８】［プリンタ１０６］プリンタ１０６は、コ
ンピュータ本体１０が音声を識別して得られたテキスト
データのハードコピーを出力するため等に用いられる。

【００３９】［記憶装置１１０］記憶装置１１０は、コ
ンピュータ本体１０による制御に従って動作し、コンピ
ュータ本体１０が音声を識別して得られたテキストデー
タを記憶する。また、記憶装置１１０は、音声識別に必
要なデータ（以下、このようなデータを「単語データ」
と総称する）およびプログラム等を記憶し、記憶した単
語データおよびプログラム等をコンピュータ本体１０に
対して出力する。なお、記憶装置１１０に記憶される単
語データは、例えば、音声識別プログラム１６により作
成され、あるいは、フロッピーディスク等の記録媒体に
より供給され、ラベル列テーブル、インデックステーブ
ル、単語レコード、類似単語レコードおよび誤り情報コ
ードテーブル（ラベル列データを除くこれらの詳細は、
図４〜図７を参照して後述する）を含む。

【００４０】［マイク１２２］マイク１２２は、ユーザ
が発音した話し声の音声を集音し、アナログ形式の音声
信号に変換して音声入力用ボード１２４に対して出力す
る

【００４１】［音声入力用ボード１２４］音声入力用ボ
ード１２４は、コンピュータ本体１０による制御に従っ
て動作し、マイク１２２から入力された音声信号をサン
プリングし、音声信号の波形に対応するディジタル形式
の音声データに変換してコンピュータ本体１０に対して
出力する。

【００４２】［キーボード１２６，マウス１２８］キー
ボード１２６およびマウス１２８は、例えば、モニタ１
０２に表示されたＧＵＩに対するユーザの操作を受け入
れて、操作入力としてコンピュータ本体１０に対して出
力する。

【００４３】［ソフトウェア１４］以下、図２を参照し
て、本発明にかかる音声識別処理を実現するソフトウェ
アの構成を説明する。図２は、本発明にかかる音声識別
処理を実現するソフトウェア１４の構成を示す図であ
る。なお、図２においては、本発明にかかる音声識別処
理の実現に関係がないソフトウェアの構成部分を省略し
てある。

【００４４】図２に示すように、ソフトウェア１４は、
ハードウェア（Ｈ／Ｗ）サポート部１４２、オペレーシ
ョンシステム（ＯＳ）１４８およびアプリケーション部
から構成される。ハードウェアサポート部１４２は、音
声デバイスドライバ１４４および記憶デバイスドライバ
１４６を含む。オペレーティングシステム１４８は、例
えば、ＯＳ／２（ＩＢＭ社商品名）あるいはＷｉｎｄｏ
ｗｓ（マイクロソフト社商品名）といった汎用ＯＳであ
って、音声インターフェース（ＩＦ）部１５０および記
憶装置インターフェース部１５２を含む。また、ソフト
ウェア１４は、アプリケーション部として音声識別プロ
グラム１６を含む。ソフトウェア１４のこれらの構成部
分は、記憶装置１１０に記憶され、必要に応じてコンピ
ュータ本体１０のメモリにロードされて実行される。

【００４５】［音声デバイスドライバ１４４］ハードウ
ェアサポート部１４２において、音声デバイスドライバ
１４４は、音声入力用ボード１２４を制御して、マイク
１２２から入力される音声信号を音声データに変換させ
る。また、音声デバイスドライバ１４４は、音声入力用
ボード１２４から入力された音声データを音声インター
フェース部１５０に対して出力するインターフェース機
能を実現する。また、音声デバイスドライバ１４４は、
オペレーティングシステム１４８の音声インターフェー
ス部１５０の制御に従って、音声入力用ボード１２４の
サンプリング周期の変更等の設定変更、および、サンプ
リングの開始および終了等の動作制御を行なう。

【００４６】［記憶デバイスドライバ１４６］記憶デバ
イスドライバ１４６は、オペレーティングシステム１４
８の記憶装置インターフェース部１５２からの要求（制
御）に応じて、記憶装置１１０の動作を制御し、単語デ
ータおよび音声識別の結果として得られたテキストデー
タを記憶させ、あるいは、記憶装置１１０が記憶してい
るこれらのデータを読み出させる。また、記憶デバイス
ドライバ１４６は、記憶装置１１０から入力された単語
データおよびテキストデータを、記憶装置インターフェ
ース部１５２に対して出力し、あるいは、記憶装置イン
ターフェース部１５２から入力されたこれらのデータを
記憶デバイスドライバ１４６に対して出力するインター
フェース機能を実現する。

【００４７】［オペレーティングシステム１４８］オペ
レーティングシステム１４８は、音声インターフェース
部１５０および記憶装置インターフェース部１５２が実
現する機能の他、コンピュータ本体１０におけるプログ
ラムの実行制御を行なう。また、オペレーティングシス
テム１４８は、音声識別プログラム１６が出力するテキ
ストデータおよびＧＵＩ画像をモニタ１０２に表示する
処理、テキストデータを音声信号に変換してスピーカ１
０４を介して出力する処理、プリンタ１０６に対するハ
ードコピーを行なうために必要な処理、および、キーボ
ード１２６およびマウス１２８に対するユーザの操作を
受け入れる等を行なう。

【００４８】［音声インターフェース部１５０］オペレ
ーティングシステム１４８において、音声インターフェ
ース部１５０は、音声識別プログラム１６からの要求
（制御）に応じて、音声デバイスドライバ１４４を制御
する。また、音声インターフェース部１５０は、音声デ
バイスドライバ１４４から入力された音声データを音声
識別プログラム１６に対して出力するインターフェース
機能を実現する。

【００４９】［記憶装置インターフェース部１５２］記
憶装置インターフェース部１５２は、記憶装置１１０の
記憶領域を管理する。また、記憶装置インターフェース
部１５２は、音声識別プログラム１６からの要求（制
御）に応じて記憶デバイスドライバ１４６を制御し、音
声識別プログラム１６から要求された単語データおよび
テキストデータを記憶装置１１０から読み出させ、読み
出された単語データおよびテキストデータを音声識別プ
ログラム１６に対して出力する。また、記憶装置インタ
ーフェース部１５２は、音声識別プログラム１６から入
力される単語データおよびテキストデータを、記憶デバ
イスドライバ１４６を介して記憶装置１１０の空き記憶
領域に記憶させる。

【００５０】［音声識別プログラム１６］以下、図３を
参照して音声識別プログラム１６を説明する。図３は、
図２に示した音声識別プログラム１６の構成を示す図で
ある。

【００５１】図３に示すように、音声識別プログラム１
６は、単語データベース部１６０、制御部１６２および
音声識別部１８から構成される。音声識別部１８は、ベ
クトルデータ生成部１８０、ラベル作成部１８２、候補
単語作成部１８４、類似単語追加部１８６および絞り込
み部１８８を含む。音声識別プログラム１６は、これら
の構成部分により、操作用のＧＵＩ画像を表示し、表示
したＧＵＩ画像に対するユーザの操作に従って、音声イ
ンターフェース部１５０から入力される音声データを、
記憶装置インターフェース部１５２から入力される単語
データを用いて識別し、識別の結果として得られた単語
列をテキストデータとしてオペレーティングシステム１
４８を介して出力する。

【００５２】［制御部１６２］制御部１６２は、操作用
のＧＵＩ画像をモニタ１０２に表示し、表示したＧＵＩ
画像に対して、ユーザが入力装置１２０のキーボード１
２６およびマウス１２８を用いて行なう操作をオペレー
ティングシステム１４８を介して受け入れる。また、制
御部１６２は、受け入れた操作入力に応じて、オペレー
ティングシステム１４８の音声インターフェース部１５
０および記憶装置インターフェース部１５２を制御す
る。

【００５３】また、制御部１６２は、受け入れた操作入
力に応じて単語データベース部１６０を制御して、候補
単語作成部１８４が音声データと候補単語とを対応付け
るために用いるラベル列テーブル、類似単語追加部１８
６が類似単語を候補単語と対応付けるために用いるイン
デックステーブル、単語レコード、類似単語レコードお
よび誤り情報コードテーブル（図４〜図７を参照して後
述する）を含む単語データを作成あるいは更新させ、記
憶装置インターフェース部１５２等を介して記憶装置１
１０に記憶させる。

【００５４】また、制御部１６２は、ＧＵＩ画像内に、
音声データの各部分と対応付けた候補単語および類似単
語を表示し、表示したこれらの単語に対する操作入力に
応じて、候補単語および類似単語のいずれかを絞り込み
部１８８に選択させ、最終的な識別結果とさせる。な
お、制御部１６２による候補単語および類似単語の表示
方法の例として、候補単語作成部１８４および類似単語
追加部１８６が対応付けた候補単語をモニタ１０２に反
転表示し、ユーザのキーボード１２６に対する操作に応
じて候補単語および類似単語を変更して順次、表示する
方法、あるいは、ユーザがモニタ１０２に表示された候
補単語の誤り部分を見つけて、マウス１２８でクリック
した場合に、クリックされた部分の候補単語と対応付け
たウィンドウ内に、候補単語および類似単語の一覧を表
示する等を挙げることができる。

【００５５】［単語データベース部１６０］単語データ
ベース部１６０は、上述のように制御部１６２の制御に
従って単語データを作成または更新し、記憶装置１１０
に記憶させ、管理する。また、単語データベース部１６
０は、候補単語作成部１８４に対して単語データ（ラベ
ル列テーブル）を出力する。

【００５６】また、単語データベース部１６０は、類似
単語追加部１８６の要求に応じて単語データ（インデッ
クステーブル、単語レコード、類似単語レコードおよび
誤り情報コードテーブル;図４〜図７）を検索し、検索
の結果として得られ、類似単語追加部１８６に入力され
た第１の候補単語に対応する単語レコード、類似単語レ
コードおよび誤り情報を類似単語追加部１８６に対して
出力する。

【００５７】［単語データ］ここで、以下の説明の理解
を容易にするために、図４〜図７を参照して、ラベル列
テーブルを除く単語データ（インデックステーブル、単
語レコード、類似単語レコードおよび誤り情報テーブ
ル）を説明する。

【００５８】［インデックステーブル］図４は、単語デ
ータのインデックステーブルに含まれるデータを例示す
る図である。インデックステーブルは、単語データベー
ス部１６０が、単語の先頭文字（Ａ〜Ｚ）により分類さ
れた単語レコードを検索するために用いられる。インデ
ックステーブルは、図４に示すように、先頭文字Ａ〜Ｚ
それぞれの記録領域の先頭を示すポインタと、先頭文字
をそれぞれＡ〜Ｚとする単語レコードの数とが対応付け
られて構成される。

【００５９】［単語レコード］図５は、単語データの単
語レコードに含まれるデータを例示する図である。図５
に示すように、単語レコードは、類似単語追加部１８６
において、候補単語作成部１８４が作成した第１の候補
単語データ［候補単語データ（１）］と突き合わされ、
比較される見出し単語(TarWord)、次の見出し単語への
ポインタ(NextP)、単語レコードに含まれる類似単語の
数(#Can)および類似単語レコード(CanWord)が対応付け
られて構成される。

【００６０】なお、図５においては、類似単語レコード
が単語レコードに直接、対応付けた場合が示されている
が、例えば、単語レコードに類似単語レコードのポイン
タを対応付け、類似単語レコードを単語レコードと別フ
ァイルとする等、実現方法は問わない。また、単語レコ
ードそれぞれの見出し単語(TarWord)を複数にして、類
似単語追加部１８６が、連続した複数の単語に対応する
ラベルと、複数の単語を含む見出し単語とを対応付けら
れるようにしてもよい。

【００６１】［類似単語レコード］図６は、単語データ
の類似単語レコードに含まれるデータを例示する図であ
る。図６に示すように、類似単語レコードは、入力単語
数（#m；#mは１以上の整数)、入力候補単語(aWord, aWo
rd-1, aWord-2,...,aWord-m-1)、出力単語数（#n；#nは
０以上の整数）、類似単語(COWord, COWord-1,..,COWor
d-n)および誤りコード(ECode)が対応付けられて構成さ
れる。

【００６２】これらの内、入力単語数(#m)は、類似単語
追加部１８６が、候補単語作成部１８４から入力された
第１の候補単語を類似単語に対応付ける際に、前後いく
つの候補単語を参照するかを示す(以下、第１の候補単
語の後方のｍ−１文字を参照する場合を例として説明す
る)。

【００６３】入力候補単語(aWord, aWord-1, aWord-
2,...,aWord-m-1)は、候補単語作成部１８４から類似単
語追加部１８６に連続して入力されたｍ個の第１の候補
単語(TarWard, TarWord-1,...,TarWord-m-1)と突き合わ
され、比較される単語列を示す。つまり、類似単語追加
部１８６においては、第ｐ番目の第１の候補単語(TarWo
rd)は、入力されても直ちに類似単語と対応付けされ
ず、さらに類似単語追加部１８６にｍ−１個の第１の候
補単語が入力された後に、第ｐ番目〜第ｐ＋ｍ−１番目
のｍ個の連続した第１の候補単語(TarWard, TarWord-
1,..., TarWord-m-1)それぞれと、類似単語レコードの
ｍ個の入力候補単語(aWord, aWord-1, aWord-2,..., aW
ord-m-1)それぞれとが比較され、これらが一致した場合
にのみ、第ｐ番目の第１の候補単語（aWord = TarWord)
と、類似単語レコード内で入力候補単語に続くｎ個の類
似単語(COWord, COWard1,.., COWord-n)とが対応付けら
れる。なお、類似単語が存在しない場合には、出力単語
数(#n)の値は０とされ、類似単語は類似レコード内に対
応付けられない。

【００６４】図６に示した類似単語レコードにおける第
１の候補単語と類似単語との間のマッピング方法につい
て、さらに説明する。第１の候補単語と類似単語との間
の対応付け（マッピング）の方法としては、例えば、以
下に示す４つの方法が考えられる。

【００６５】［第１の方法］１つの単語が別の１つの単
語に誤って識別される場合に対応するために、１つの単
語のみを含む第１の候補単語に、１つの単語のみを含む
類似単語を対応付ける。第１の方法の例としては、第１
の候補単語"read"の"r"が、正しく発音されなかった場
合に備えて、第１の候補単語"read"と類似単語"lead"と
を対応付けることが挙げられる。さらに、第１の方法を
とる場合の対応付けの例としては、"sink"と"think"、"
fell"と"fill"、"seat"と"sit"、"better"と"bitte
r"、"nut"と"not"、"fund"と"found"、"boat"と"bough
t"および"coal"と"call"との対応付け等を挙げることが
できる。

【００６６】[第２の方法]１つの単語が別の複数の単語
に誤って識別される場合に対応するために、１つの単語
のみを含む第１の候補単語に、複数の単語を含む類似単
語を対応付ける。第２の方法の例としては、第１の候補
単語"jumped"の"ed"が、正しく"t"と発音されなかった
場合に備えて、第１の候補単語"jumped"と類似単語"jum
p","and"を対応付けることが挙げられる。さらに、第２
の方法をとる場合の対応付けの例としては、"check in"
と"chickin"との対応付け等を挙げることができる。

【００６７】[第３の方法]複数の単語が別の１つの単語
に誤って識別される場合に対応するために、複数の単語
を含む第１の候補単語に、１つの単語のみを含む類似単
語を対応付ける。第３の方法の例としては、第１の候補
単語"have", "to"がつながって発音された場合に備え
て、第１の候補単語"have", "to"と類似単語"hat"を対
応付けることが挙げられる。さらに、第３の方法をとる
場合の対応付けの例としては、"I wii"と"aisle"との対
応付け等を挙げることができる。

【００６８】[第４の方法]複数の単語が別の複数の単語
に誤って識別される場合に対応するために、複数の単語
を含む第１の候補単語に、複数の単語を含む類似単語を
対応付ける。第１〜第３の方法は、第４の方法に限定を
加えた方法と考えることができるので、図６に示した類
似単語レコードは、第４の方法に基づいて作成され、複
数の単語を含む第１の候補単語に複数の単語を含む類似
単語が対応付けてある。

【００６９】類似単語は、コンピュータ１を利用する話
者（ユーザ）の発音が不正確な場合に、候補単語の代わ
りに選択される。従って、絞り込み部１８８において、
候補単語ではなく、類似単語が最終的に選ばれた場合に
は、話者は、英語の発音上、選ばれた類似単語に対応す
る誤りをしていることになる。誤りコード(ECode)は、
このような観点から類似単語レコードに付加され、最終
的に選択された類似単語に対応する発音上の誤りを符号
の形式で示す。

【００７０】[誤り情報コードテーブル]図７は、単語デ
ータの誤り情報コードテーブルを例示する図である。図
７に示すように、誤り情報コードテーブルは、誤りコー
ド（ECode; 0, 1,2,...)と、誤りの内容を示す情報
（例えば、「rをlと発音した」，「lをrと発音した」，
「thをsと発音した」等の誤り情報）とが対応付けられ
て構成される。

【００７１】[ベクトルデータ生成部１６０]音声識別部
１８において、ベクトルデータ生成部１６０（図３）
は、音声インターフェース部１５０から入力される音声
データを処理して、音声の複数の特徴（音の高さ、強
さ、イントネーション等）それぞれについて量子化を行
ない、これらの特徴それぞれを示す数値を含むベクトル
データを生成して制御部１６２に対して出力する。例え
ば、音声データのサンプリング周波数が１１ｋＨｚであ
る場合、ベクトルデータ生成部１６０は、音声データを
１／１００秒単位で処理し、音声データの複数の種類の
特徴それぞれを量子化し、複数の要素からなるベクトル
データを生成する。

【００７２】［ラベル作成部１８２］ラベル作成部１８
２は、ベクトルデータ生成部１６０から入力されたベク
トルデータを、発音記号に類似するラベルと呼ばれるデ
ータに変換し、１センテンス分ずつ候補単語作成部１８
４に対して出力する。ラベル作成部１８２は、この変換
処理を、例えば、色々な人（大人、子供、男、女等）の
実際の話し声のサンプルから生成したラベルと、連続し
た複数のベクトルデータのパターンとを対応付けたラベ
ルテーブルを用い、連続した複数のベクトルデータに対
応するラベルを選択することにより行なう。ただし、
「センテンス」という用語は、実際の文章内の実際のセ
ンテンスに必ずしも対応せず、単に音声識別の処理単位
を示す。

【００７３】［候補単語作成部１８４］候補単語作成部
１８４は、音声データにおいて、１つ以上の英単語に対
応する連続した１つ以上のラベル列を、英単語との対応
を示すラベル列テーブルを用いて、ラベル列それぞれが
示す１つ以上の英単語の組み合わせの１つ以上と対応付
け、対応付けた英単語の組み合わせを第１の候補単語と
して類似単語追加部１８６に対して出力する。（以下、
説明の簡略化のために、候補単語作成部１８４が、１つ
の英単語に対応するラベル列それぞれを、１つの英単語
のみを含む第１の候補単語に対応付ける場合を例として
説明する。）

【００７４】ここで、例えば、候補単語作成部１８４
は、ラベルが示す音をアルファベットに変換し、変換し
て得られたアルファベット列を英単語に変換するのでは
なく、ラベル列を直接、英単語（第１の候補単語）に変
換する。つまり、候補単語作成部１８４は、例えば、第
１の候補単語として"read"を作成する際に、ラベル列
を"r", "e", "a", "d"という４個のアルファベットに置
換してから"read"という単語を第１の候補単語として対
応付けるのではなく、ラベル列に直接に"read"という単
語を対応付ける。

【００７５】なお、候補単語作成部１８４は、作成した
第１の候補単語を、図８に示す入力レコード(InWord)、
および、図９に示す入力レコードマトリクス(InMatrix)
の形式で、１センテンス分ずつ類似単語追加部１８６に
対して出力する。図８は、候補単語作成部１８４が類似
単語追加部１８６に出力する入力レコード(InWord)のデ
ータ構造を示す図である。図９は、候補単語作成部１８
４が類似単語追加部１８６に出力する入力レコードマト
リクス(InMatrix)のデータ構造を示す図である。

【００７６】図８に示すように、候補単語作成部１８４
は、ラベル列と対応付けた単語およびその単語長を示す
データ(InWord)それぞれに、その単語が１つのセンテン
スにおいて第ｉ番目であること、および、１つのセンテ
ンスの第ｉ番目の第ｊ番目の第１の候補単語であること
を示すデータを付加し、入力レコード(InWord)を作成し
て類似単語追加部１８６に対して出力する。ただし、
ｉ，ｊは整数であって、ｉは最大単語数(Maxi)以下、ｊ
は最大候補数(Maxj)以下である。

【００７７】さらに、候補単語作成部１８４は、図８に
示すように、ラベル作成部１８２から入力されたラベル
列と、選択した英単語に対応するラベル列テーブル内の
ラベル列との一致の程度、言いかえると、ラベル列が第
１の候補単語を示している確率を示す確率データを作成
し、入力レコードの単語およびその単語長を示すデータ
に付加して類似単語追加部１８６に対して出力する。

【００７８】また、１センテンス分の入力レコード(InW
ord)の作成が終了すると、候補単語作成部１８４は、図
９に示すように、そのセンテンス中に含まれる最大単語
数(Maxi)、同一のラベル列（読み）に対して、最大いく
つの第１の候補単語が対応付けられたかを示す最大候補
数(Maxj)、および、第ｉ番目の単語に第ｊ番目の単語が
存在するかを示すフラグFlg(ij)を示す入力レコードマ
トリクスを作成し、１センテンス分の入力レコードとと
もに類似単語追加部１８６に対して出力する。なお、候
補単語作成部１８４が第ｉ番目の単語に対応するラベル
列の第１の候補単語を選べなかった場合には、フラグFl
g(i1)は、第ｉ番目の第１番目の単語が存在しない旨を
示す値（例えば０）とされる。

【００７９】［類似単語追加部１８６］類似単語追加部
１８６は、候補単語作成部１８４から入力された入力レ
コードそれぞれに対して、ラベル列と対応付けることは
できないが、日本人による英語の発音の癖等を考慮し
て、第１の候補単語に類似する可能性がある英単語を第
１の候補単語に付加し、第２の候補単語を生成して絞り
込み部１８８に対して出力する。

【００８０】さらに類似単語追加部１８６の動作を詳細
に説明する。類似単語追加部１８６は、まず、候補単語
作成部１８４から入力された１センテンス分の入力レコ
ード(InWord)に含まれる第ｐ番目の第１の候補単語を順
次、単語データベース部１６０に対して出力し、単語レ
コードの取得を要求する。単語データベース部１６０
は、インデックステーブル（図４）を用いて単語レコー
ド（図５）の検索を行ない、入力レコード(InWord)に含
まれる単語と見出し単語(TarWord)が一致する単語レコ
ードを取得し、類似単語追加部１８６に対して出力す
る。

【００８１】類似単語追加部１８６は、第ｐ番目の第１
の候補単語の単語インデックスを得ると、第ｐ番目から
第ｐ＋ｍ−１番目の単語(InWord-p.j, InWord-p+1.j,
...,InWord-p+m-1.j)と、単語データベース部１６０か
ら入力される単語レコードに付加された類似単語レコー
ド（図６）それぞれのｍ個の入力単語(aWord, aWord-1,
aWord-2, ..., aWord-m-1)とを比較し、これらが一致
した場合には、ｎ個の類似単語(COWord-1, COWord-2,
..., COWord-n)を第ｐ番目の第１の候補単語に付加し
て第２の候補単語を作成する。

【００８２】なお、類似単語追加部１８６が、第１の候
補単語に類似単語を付加して第２の候補単語を作成する
のではなく、第１の候補単語を類似単語で置き換えて第
２の候補単語を作成するように処理を変更することも可
能である。この場合には、類似単語に第１の候補単語が
含まれているか否かを問わない。

【００８３】さらに、類似単語追加部１８６は、第１の
候補単語に付加した類似単語レコードに対応する誤りコ
ード(ECode)を単語データベース部１６０に対して出力
し、誤りコードが示す誤り情報の取得を要求する。単語
データベース部１６０は、この要求に応じて誤り情報コ
ードテーブル（図７）を検索し、誤り情報を取得して類
似単語追加部１８６に対して出力する。

【００８４】図１０は、類似単語追加部１８６が絞り込
み部１８８に出力する出力レコード(OutWord)のデータ
構造を示す図である。図１１は、類似単語追加部１８６
が絞り込み部１８８に出力する出力レコードマトリクス
(OutMatrix)のデータ構造を示す図である。

【００８５】なお、類似単語追加部１８６は、第２の候
補単語、単語長を示すデータ、確率データおよび誤り情
報（または誤り情報コード）と、その単語が１つのセン
テンスにおいて第ｉ'番目であること、および、１つの
センテンスの第ｉ'番目の第ｊ'番目の第１の候補単語で
あることを示すデータを付加し、図１０に示すように、
入力レコード（図８）と同様な形式をとる出力レコード
(OutWord)の形式で絞り込み部１８８に対して出力す
る。

【００８６】また、１センテンス分の出力レコード(Out
Word)の作成が終了すると、類似単語追加部１８６は、
図１１に示すように、入力レコードマトリクス（図９）
と同様に、そのセンテンス中に含まれる最大単語数(Max
i')、同一のラベル列（読み）に対して、最大いくつの
第２の候補単語が対応付けられたかを示す最大候補数(M
axj')、および、第ｉ'番目の単語に第ｊ'番目の単語が
存在するかを示すフラグFlg(i'j')を示す出力レコード
マトリクスを作成し、１センテンス分の出力レコードと
ともに絞り込み部１８８に対して出力する。

【００８７】［絞り込み部１８８］絞り込み部１８８
は、出力レコードとして類似単語追加部１８６から入力
された第２の候補単語をモニタ１０２に表示し、例え
ば、ユーザの操作に応じて、あるいは、それまでに識別
した単語列の構文解析結果に基づいて、第２の候補単語
のいずれかを、最終的な識別結果として選択し、選択し
た単語を並べたテキストデータを作成し、モニタ１０
２、スピーカ１０４あるいはプリンタ１０６に対して出
力する。

【００８８】絞り込み部１８８によるテキストデータの
作成についてさらに説明する。例えば、１つのセンテン
スの第１番目の単語の第２の候補単語がｎ1個(OutWord-
1.1, OutWord-1.2, ...,OutWord-1.n1)、第２番目の単
語の第２の候補単語がｎ２個といったようにある場合に
は、絞り込み部１８８は、第１番目の単語の第２の候補
単語のいずれか、および、第２番目の単語の第２の候補
単語のいずれかといったように、各単語の第２の候補文
字のいずれかを、単語の順番通りにモニタ１０２に表示
する。

【００８９】ユーザが、例えば、マウス１２８を用いて
ＧＵＩ画像のウィンドウ内に表示された第２の候補単語
をクリックすると、制御部１６２は、クリックされた第
２の候補単語を反転表示し、その後、ユーザが同じ部分
をクリックするたびに、表示する第２の候補単語を変更
する。ユーザが最終的に第２の候補単語を選択し、その
旨の操作をマウス１２８あるいはキーボード１２６に対
して行なったり、あるいは、次の単語の選択操作に移行
すると、絞り込み部１８８は、最後に表示した第２の候
補単語を最終的に選択された識別結果とする。ユーザは
必要に応じてこの作業を繰り返し、絞り込み部１８８
は、この作業に応じて単語の選択を行ない、テキストデ
ータを作成する。

【００９０】なお、絞り込み部１８８の処理を、第２の
候補単語を表示する際に、単語の前後関係を考慮して、
最終的な識別結果として選択される可能性が高い第２の
候補単語のみをモニタ１０２に表示したり、あるいは、
最終的な識別結果として選択される可能性が高い順番で
モニタ１０２に表示させるようにしたりすると便利であ
る。

【００９１】便宜的に日本語を識別する場合を具体例と
して挙げて説明する。候補単語作成部１８４は、「あか
いはな」という日本語の音声データから得られたラベル
を、「たかい・はな（高い・花，高い・鼻）」と識別
し、さらに、類似単語追加部１８６がこれらに類似単語
「赤い・罠」を付加して、これら３種類を第２の候補単
語として絞り込み部１８８に出力する可能性がある。こ
のような場合、絞り込み部１８８において、第２の候補
単語の前半の識別結果が「赤い」とされた場合に、後半
の識別結果は、「花」、「鼻」および「罠」の順で確か
らしいと考えられる。このような場合、絞り込み部１８
８の処理を、「赤い」という単語に続けて「花」，
「鼻」のみを表示するようにしたり、「花」，「鼻」，
「罠」の順番で表示するようにすると、ユーザの選択操
作を最小限にすることができる。

【００９２】また、絞り込み部１８８の処理を、類似単
語追加部１８６から入力される出力レコードに付加され
た確率データを利用して、例えば、ユーザが設定する閾
値以上の範囲の値をとる確率データに対応する第２の候
補単語のみをモニタ１０２に表示するようにすると、最
終的な識別結果として選択される可能性が高い第２の候
補単語のみがモニタ１０２に表示されることとなり、ユ
ーザの選択操作をより少なくすることができる。

【００９３】［コンピュータ１の動作］以下、図１２を
参照して、コンピュータ１における音声識別処理を説明
する。図１２は、コンピュータ１における本発明にかか
る音声識別処理を示すフローチャート図である。なお、
図１２においては、説明の簡略化のために、本発明にか
かる音声識別処理の内、基本的な処理のみを示してあ
り、上述した確率データあるいは誤り情報を用いた処理
は適宜、省略されている。

【００９４】図１２に示すように、ステップ１００（Ｓ
１００）において、音声識別プログラム１６のベクトル
データ生成部１６０およびラベル作成部１８２（図３）
は、日本人ユーザが発音した１センテンス（単位）分の
音声データを処理し、ラベル列に変換する。ベクトルデ
ータ生成部１６０およびラベル作成部１８２が生成した
１センテンス分のラベル列は、候補単語作成部１８４に
入力される。

【００９５】ステップ１０２（Ｓ１０２）において、候
補単語作成部１８４は、ラベル作成部１８２から入力さ
れた１センテンス分のラベル列を第１の候補単語に対応
付け、図８に示した入力レコード(InWordij)の形式で類
似単語追加部１８６に対して出力し、さらに、図９に示
した入力レコードマトリクス(InMatrix)を作成して類似
単語追加部１８６に対して出力する。

【００９６】ステップ１０４（Ｓ１０４）において、類
似単語追加部１８６は、単語データベース部１６０に対
して処理の対象となっている入力レコードに含まれる第
１の候補単語の単語レコード（図５）の検索を要求す
る。単語データベース部１６０は、類似単語追加部１８
６の要求に応じてインデックステーブル（図４）を用い
て検索を行ない、検索の結果として第１の候補単語（入
力レコード）に対応する単語レコードが得られた場合に
は、得られた単語レコードを類似単語追加部１８６に対
して出力してＳ１０６の処理に進み、得られなかった場
合にはＳ１１０の処理に進む。

【００９７】ステップ１０６（Ｓ１０６）において、類
似単語追加部１８６は、単語データベース部１６０から
入力された単語レコードの類似単語レコード（図６）を
処理し、第１の候補単語（入力レコード）に対応する類
似単語を取得する。

【００９８】ステップ１０８（Ｓ１０８）において、取
得した類似単語を第１の候補単語に付加して第２の候補
単語を作成する。

【００９９】ステップ１１０（Ｓ１１０）において、類
似単語追加部１８６は、１センテンスに含まれる入力レ
コードの全ての処理を終了したか否かを判断し、終了し
た場合にはＳ１１０の処理に進み、終了しない場合に
は、処理対象を次の入力レコードに変更してＳ１０４の
処理に戻る。

【０１００】ステップ１１２（Ｓ１１２）において、類
似単語追加部１８６は、Ｓ１０８において作成された第
２の候補単語を、図１０に示した出力レコードの形式で
絞り込み部１８８に対して出力する。さらに、類似単語
追加部１８６は、第２の候補単語に対応する出力レコー
ドマトリクス（図１１）を作成し、絞り込み部１８８に
対して出力する。絞り込み部１８８は、入力された第２
の候補単語をモニタ１０２上のＧＵＩ画像のウィンドウ
内に表示し、ユーザの操作に応じて最終的な識別結果
を、英文のテキストデータとして出力する。

【０１０１】［変形例］なお、絞り込み部１８８の処理
を、ユーザが、類似単語追加部１８６において類似単語
として第２の候補単語に付加された単語を最終的な識別
結果として選択した場合に、選択された単語に付加され
た誤り情報をモニタ１０２に表示するようにすると、ユ
ーザは、自分の英語の発音の欠点を知ることができ、コ
ンピュータ１を音声識別装置として用いるほか、英語の
発音の学習装置として用いることができる。誤り情報の
表示方法としては、正しい発音をするための口の形を表
示する、あるいは、正しい発音を音声合成してユーザに
聞かせる等の方法が考えられる。

【０１０２】また、上述した第１の実施形態において
は、日本人が発音した英語から英文テキストを識別する
処理を例示したが、本発明にかかる音声識別処理は、こ
のような場合に限定されず、例えば、アメリカ式英語を
話すアメリカ人が、英国式英語用に調整された音声識別
装置を用いてテキストを作成する等、同一の言語であっ
ても発音が異なる場合、あるいは、個人の発音に癖があ
ったり、不明りょうであったりする場合の識別率の低下
に対処するために、広く応用することができる。

【０１０３】以上述べたように、本発明にかかる音声識
別処理においては、候補単語作成部１８４が識別した第
１の候補単語に、類似単語追加部１８６において類似単
語を付加して第２の候補単語とするので、音声識別率が
向上する。便宜的にコンピュータ１により日本語を識別
する場合を具体例として説明する。例えば、ユーザが日
本語で「あかいはな（赤い花）」と発音したつもりであ
っても、「あ」の発音が何らかの原因で不明りょうにな
って、ラベル作成部１８２が、「あかいはな」とも「た
かいはな」ともつかないラベル列を生成することがあ
る。

【０１０４】候補単語作成部１８４が、このラベル列に
対応する第１の候補単語として「高い・鼻」を選択し、
類似単語追加部１８６に出力した場合であっても、単語
レコードが適切に作成されていれば、類似単語追加部１
８６が第１の単語として「赤い・鼻」，「赤い・花」を
第１の候補単語に付加して第２の候補単語とすることが
できる。従って、候補単語作成部１８４が作成した第１
の候補単語には含まれていなかった本来の「赤い・花」
もモニタ１０２に表示されることになり、ユーザは第２
の候補単語の中から正しい識別結果を選択することがで
きる。

【０１０５】また、通常、音声識別方法は、純粋な音声
処理に文法的解析処理（文章中の特定の位置には名詞が
おかれやすい等）や、言語モデル処理（並んだ単語の確
からしさ）等が組み合わされて実現されるので、これら
の処理を行なう前に、本発明にかかる音声識別方法で類
似単語を追加しておくと、音声識別率が大幅に向上する
など、効果が非常に大きい。

【０１０６】［第２実施形態］図３に示した音声識別プ
ログラム１６において、音声識別の結果として候補単語
が選択されるということは、ユーザ（話者）の発音がネ
イティブスピーカに比較的近く、本発明にかからない一
般的な音声識別装置を用いても高い識別率で識別可能な
程度に正確であることを意味し、反対に、類似単語が選
択されるということは、話者の発音に誤り、あるいは、
不明瞭さがあることを意味する。このことは、音声識別
プログラム１６において、ユーザが意図した単語が類似
単語に含まれる場合にも当てはまる。

【０１０７】従って、ユーザが意図した単語が、類似単
語として識別された場合に、話者に対して発音がどのよ
うに誤っているか、正しく発音するにはどのようにした
らよいか等の情報（発音矯正情報）を提示することによ
り、話者の発音の学習を補助でき、話者の発音を矯正で
きることが分かる。以下、第２の実施形態として示す発
音矯正方法は、この点に着目し、第１の実施形態として
示した音声識別処理を変形し、話者の発音が不正確であ
ると判断できる場合に、話者に発音矯正情報を示す画像
表示するようにしたものである。

【０１０８】［コンピュータ２］図１３は、本発明にか
かる音声識別処理および発音矯正方法を実現するコンピ
ュータ２の構成を示す図である。なお、特に断らない限
り、以下の図面に示す構成部分は、これまでの図面に示
した同一符号の構成部分と同じである。図１３に示すよ
うに、コンピュータ２は、コンピュータ１（図１）の入
力装置１２０を入力装置１３０で置換した構成を採り、
入力装置１３０は、入力装置１２０に画像入力用ボード
１３２を追加した構成を採る。画像入力用ボード１３２
は、例えば、発音矯正画像（図１９）に用いられる画像
データをビデオカメラとり込むために用いられる。

【０１０９】［ソフトウェア２０］図１４は、本発明に
かかる音声識別処理および発音矯正方法を実現するソフ
トウェア２０を示す図である。図１４に示すように、ソ
フトウェア２０は、ソフトウェア１４（図２）における
音声識別プログラム１６を音声識別・矯正プログラム２
２で置換した構成を採る。ソフトウェア１４において各
構成部分の間で入出力されるデータの他に、ソフトウェ
ア２０においては、画像データがさらに入出力され、ソ
フトウェア１４における識別結果（テキストデータ）の
代わりに、ユーザ（話者）の発音を矯正する発音矯正情
報を示す画像（発音矯正画像）がモニタ１０２等に出力
されるようになっている。

【０１１０】［音声識別・矯正プログラム２２］図１５
は、図１４に示した音声識別・矯正プログラム２２の構
成を示す図である。図１５に示すように、音声識別・矯
正プログラム２２は、音声識別プログラム１６（図３）
および発音矯正プログラム２４から構成される（絞り込
み部１８８は省略）。

【０１１１】［類似単語追加部１８６の変更点］音声識
別・矯正プログラム２２においては、音声識別プログラ
ム１６においてと異なり、類似単語追加部１８６は、発
音矯正プログラム２４の比較部２４０および発音矯正情
報表示部２４２に対して類似単語レコード（図１８）を
出力する。

【０１１２】［制御部１６２の変更点］図１６は、図１
５に示した制御部１６２が表示する発音指示画像を例示
する図である。図１７（Ａ），（Ｂ）はそれぞれ、図１
５に示した単語データベース部１６０が生成する矯正情
報インデックスを例示する図であって、（Ａ）はｒの発
音を矯正するための発音矯正画像を示し、（Ｂ）はｌの
発音を矯正するための発音矯正画像を示す。図１８は、
第２の実施形態において単語データベース部１６０が生
成する類似単語レコードを示す図である。

【０１１３】制御部１６２は、図１６に例示するよう
に、ユーザに発音すべき単語（図１６においては"rea
d"）を示し、発音を促す発音指示画像（図１６において
は「"read"と発音してみて下さい！」というテキストデ
ータを含む画像）をさらに生成してモニタ１０２に表示
し、ユーザに発音を指示した単語（正解単語）を比較部
２４０に対して出力する。また、制御部１６２は、発音
矯正画像表示部２４２から矯正情報コード(CCode;図１
８)が入力された場合に、この矯正情報コードを単語デ
ータベース部１６０に対して出力し、この矯正情報コー
ドが示す矯正情報インデックス（図１７（Ａ），
（Ｂ））を単語データベース部１６０から得る。さら
に、制御部１６２は、この矯正情報インデックスに含ま
れるｎ個のエントリ（ｎは整数；図１７（Ａ），（Ｂ）
においてはｎ＝８）が示す画像データおよびテキストデ
ータを記憶装置１１０から読み出して、発音矯正画像表
示部２４２に対して出力する。

【０１１４】図１９は、図１７（Ａ）に例示した矯正情
報インデックスが示す第１の発音矯正画像を例示する図
である。なお、図１９においては、図示の簡略化のため
に、図１７（Ａ）に例示したエントリ５〜７に対応する
テキストデータは省略されている。また、制御部１６２
は、図１７（Ａ）に例示したような矯正情報インデック
スに含まれるエントリと、図１９に例示するようなエン
トリそれぞれが示す画像データ(Image)およびテキスト
データ(Text)とを対応付けて、記憶装置１１０に記憶す
る。

【０１１５】図１７（Ａ）に例示した矯正情報インデッ
クスは、ユーザのｒの発音を矯正するために用いられ、
発音の矯正すべき点を示すテキストデータ、ｒを発音す
る際の口の形を示す画像データ、ｌを発音する際の口の
形を示す画像データ、ｒを発音するためのアドバイスを
示すテキストデータ、ｒを含む単語の例、ｌを含む単語
の例、ｒとｌとが現れる単語の例を示すテキストデー
タ、および、ｒとｌとが現れる文章の例を示すテキスト
データをそれぞれ示すエントリ（エントリ１〜４，８）
を含む。図１７（Ａ）に例示した矯正情報インデックス
からは、図１９に例示するような発音矯正画像が生成さ
れ、モニタ１０２に表示される。

【０１１６】また、図１７（Ｂ）に例示した矯正情報イ
ンデックスは、ユーザのｌの発音を矯正するために用い
られ、発音の矯正すべき点を示すテキストデータ、ｌを
発音する際の口の形を示す画像データ、ｒを発音する際
の口の形を示す画像データ、ｌを発音するためのアドバ
イスを示すテキストデータ、ｌを含む単語の例、ｒを含
む単語の例、ｒとｌとが現れる単語の例を示すテキスト
データ、および、ｒとｌとが現れる文章の例を示すテキ
ストデータをそれぞれ示すエントリを含む。

【０１１７】［単語データベース部１６０の変更点］単
語データベース部１６０は、ソフトウェア１４において
と異なり、誤り情報コードテーブル（図７）の代わり
に、図１７（Ａ），（Ｂ）に例示したような矯正情報イ
ンデックスを作成し、単語データとして記憶装置１１０
にさらに記憶する。

【０１１８】また、単語データベース部１６０は、図１
８に示すように、矯正情報インデックスのいずれかを示
す矯正情報コード(CCode; correction code)を、誤りコ
ード(ECode;図６)の代わりに類似単語レコードに付加
し、記憶装置１１０に記憶する。また、単語データベー
ス部１６０は、発音矯正画像表示部２４２から制御部１
６２を介して矯正情報コードが入力された場合に、入力
された矯正情報コード（図１８）に対応する矯正情報イ
ンデックス（図１７（Ａ），（Ｂ））を記憶装置１１０
から読み出して、制御部１６２に対して出力する。

【０１１９】［比較部２４０］比較部２４０（図１５）
は、類似単語追加部１８６から入力される類似単語レコ
ード（図１８）が示す類似単語レコードに含まれる類似
単語それぞれと、制御部１６２から入力される正解単語
とを比較し、正解単語が類似単語のいずれかと一致する
か否かを判断する。比較部２４０は、正解単語が類似単
語と一致する場合にはその旨を、一致しない場合にはそ
の旨を発音矯正画像表示部２４２に対して通知する。

【０１２０】［発音矯正画像表示部２４２］発音矯正画
像表示部２４２は、比較部２４０が正解単語のいずれか
と類似単語とが一致すると判定した場合に、類似単語レ
コード（図１８）に付加された矯正情報コード(CCode)
が示す矯正情報インデックス（図１７（Ａ），（Ｂ））
が示す画像データおよびテキストデータの取得を制御部
１６２に要求する。制御部１６２が、この要求に応えて
画像データおよびテキストデータを記憶装置１１０から
読み出し、発音矯正画像表示部２４２に対して出力する
と、発音矯正画像表示部２４２は、これらのデータを、
図１９において符号（ａ）〜（ｅ）を付して例示したよ
うな位置に配置し、発音矯正画像を生成してモニタ１０
２に表示する。

【０１２１】［音声識別・矯正プログラム２２の動作］
以下、音声識別・矯正プログラム２２の動作を説明す
る。図２０は、第２の実施形態における音声識別・矯正
プログラム２２（図１５）の処理（Ｓ２０）を示すフロ
ーチャートである。

【０１２２】図２０において、ステップ２００（Ｓ２０
０）に示すように、ユーザの操作入力に応じて、制御部
１６２が、例えば、図１６に示したように、"read"とい
う単語の発音をユーザに促す発音指示画像をモニタ１０
２に表示する。制御部１６２は、正解単語"read"を比較
部２４０に対して出力する。ユーザが発音指示画像に応
じて"read"と発音すると、音声識別プログラム１６のベ
クトルデータ作成部１８０、ラベルデータ作成部１８
２、候補単語作成部１８４および類似単語追加部１８６
（図１５）は、ユーザが発音した音声を識別し、類似単
語レコードを比較部２４０および発音矯正画像表示部２
４２に対して出力する。

【０１２３】ここで、第１の実施形態において例示した
ように、ユーザが正しく"read"と発音すると、候補単語
作成部１８４は単語"read"を含む候補単語を類似単語追
加部１８６に対して出力し、類似単語追加部１８６は、
単語"lead"等を類似単語として含む類似単語レコード
（図１８）を比較部２４０および発音矯正画像表示部２
４２に対して出力する。反対に、例えば、ユーザが"r"
の発音と"l"の発音とを区別できず、不正確な"read"の
発音を行なうと、候補単語作成部１８４は、単語"read"
の代わりに単語"lead"等を含む候補単語を類似単語追加
部１８６に対して出力し、類似単語追加部１８６は、単
語"read"等を類似単語として含む類似単語レコードを比
較部２４０および発音矯正画像表示部２４２に対して出
力する。

【０１２４】ステップ２０２（Ｓ２０２）において、比
較部２４０は、制御部１６２から入力された正解単語
と、類似単語追加部１８６から入力された類似単語レコ
ードに含まれる類似単語それぞれとを比較し、正解単語
が類似単語のいずれかと一致しない場合には、その旨を
発音矯正画像表示部２４２に通知して"read"の発音の矯
正・学習に関する処理を終了し、例えば次の単語の発音
の矯正・学習に関する処理に進む。これ以外の場合に
は、比較部２４０は、正解単語が類似単語のいずれかと
一致したことを発音矯正画像表示部２４２に通知して、
Ｓ２０４の処理に進む。

【０１２５】ステップ２０４（Ｓ２０４）において、発
音矯正画像表示部２４２は、類似単語レコードから矯正
情報コード(CCode)を得る。さらに、発音矯正画像表示
部２４２は、制御部１６２に対して矯正情報コードを出
力し、発音矯正画像に用いる画像データおよびテキスト
データの取得を要求する。制御部１６２は、発音矯正画
像表示部２４２からの要求に応じて、単語データベース
部１６０から、図１７（Ａ）に例示した矯正情報インデ
ックスを得て、この矯正情報インデックスのエントリ
（エントリ１〜４，８）それぞれが示す画像データおよ
びテキストデータを記憶装置１１０から読み出し、発音
矯正画像表示部２４２に対して出力する。

【０１２６】ステップ２０６（Ｓ２０６）において、発
音矯正画像表示部２４２は、制御部１６２から入力され
た矯正情報インデックスのエントリ（エントリ１〜４，
８）それぞれに対応する画像データおよびテキストデー
タを、それぞれ図１９に例示する位置（ａ）〜（ｅ）に
配置した発音矯正画像を生成し、モニタ１０２に表示
し、"read"に関する処理を終了し、例えば次の単語の発
音の矯正・学習に関する処理に進む。

【０１２７】［変形例］なお、第２の実施形態において
は、発音矯正情報がテキストデータおよび画像データの
みを含む場合を例示したが、発音矯正情報が他の種類の
データを含んでいてもよい。例えば、発音矯正情報に正
しい発音の音声データを含め、発音矯正情報（図１９）
をモニタ１０２に表示するとともに、音声データをスピ
ーカ１０４を介して出力するようにしてもよい。

【０１２８】また、第２の実施形態においては、類似単
語と発音矯正情報コードとを対応付けて管理する場合を
示したが、図６に示した類似単語レコードに含めて管理
するように音声識別・矯正プログラム２２を構成しても
よい。また、第２の実施形態においては、音声識別・矯
正プログラム２２が発音矯正情報のみを出力する場合を
示したが、発音矯正情報および誤り情報の両方を出力す
るように構成してもよい。また、第２の実施形態におい
ては、制御部１６２が発音指示画像をモニタ１０２に表
示し、発音矯正画像表示部２４２が発音矯正情報をモニ
タ１０２に表示する場合を例示したが、これらの構成部
分のいずれかが、これら両方の画像をモニタ１０２に表
示するように音声識別・矯正プログラム２２を構成して
もよい。

【０１２９】また、発音矯正画像（図１９）に表示され
る全ての情報が矯正情報インデックス（図１７（Ａ），
（Ｂ））に登録されている必要はない。例えば、図１７
（Ａ）に示した矯正すべき点および再発音支持のテキス
トデータは、音声識別・矯正プログラム２２（図１５）
の作り方に応じて、矯正情報インデックスに登録されて
いても、あるいは、矯正情報インデックスには登録され
ず、発音矯正画像に予め書き込まれていてもよい。

【０１３０】［第３実施形態］以下、第３の実施形態と
して、第２の実施形態として示した発音矯正方法を応用
した発音学習方法を説明する。この発音学習方法は、図
２０に示した発音識別・矯正プログラム２２の動作を改
良し、図１６および図１９に示した発音指示画像および
発音の基礎を示す発音矯正画像の他に、発展的な学習を
指示する発音矯正画像（図２１〜図２３）をさらに表示
し、ユーザの発音学習の便宜を図ったものである。

【０１３１】図２１〜図２３は、それぞれ第３の実施形
態として示す発音学習方法において用いられる第２〜第
４の発音矯正画像を例示する図である。第３の実施形態
において、発音識別・矯正プログラム２２は、図１６，
１９に示した発音矯正画像に加え、図２１〜図２３に例
示する発音矯正画像を表示する。

【０１３２】図２１に示す第２の発音矯正画像は、例え
ば、発音識別・矯正プログラム２２が、第１の発音矯正
画像（図１９）を見てユーザが"read"を正しく発音した
と判断した場合に表示され、ユーザが正しく"r","l"を
区別して発音しているかを確認するために用いられる。
なお、第２の発音矯正画像は、ユーザが第１の発音矯正
画像に応じてユーザが正しく"read"と発音するまでは表
示されず、ユーザが第２の発音矯正画像に示された単
語"write", "raw", "long", "light"の全てを正しく発
音できるようになるまで繰り返し表示される。また、第
２の発音矯正画像は、第１の発音矯正画像において省略
されていた矯正情報インデックス（図１７（Ａ））のエ
ントリ５，６を含んでいる。

【０１３３】図２２に示す第３の発音矯正画像は、例え
ば、発音識別・矯正プログラム２２が、第２の発音矯正
画像（図２１）内の各単語をユーザが正しく発音したと
判断した場合に表示され、ユーザが"r","l"を区別する
ためのさらに進んだ練習を行なうために用いられる。な
お、第３の発音矯正画像は、ユーザが第２の発音矯正画
像に示された各単語の全てをユーザが正しく発音するま
では表示されず、第３の発音矯正画像に示されたセンテ
ンス"write letters", "great troubleの全てをユーザ
が正しく発音できるようになるまで繰り返し表示され
る。また、第２の発音矯正画像は、第１の発音矯正画像
において省略されていた矯正情報インデックス（図１７
（Ａ））のエントリ７を含んでいる。

【０１３４】図２３に示す第４の発音矯正画像は、例え
ば、発音識別・矯正プログラム２２が、第３の発音矯正
画像（図２２）内のセンテンスの全てをユーザが正しく
発音したと判断した場合に表示され、ユーザが"r","l"
を区別して発音できるようになったことを確認するため
に用いられる。なお、第４の発音矯正画像は、ユーザが
第３の発音矯正画像に示されたセンテンスの全てをユー
ザが正しく発音するまでは表示されず、第４の発音矯正
画像に示されたセンテンス"The river rose several fe
et and finally overflowed its banks."をユーザが正
しく発音できるようになるまで繰り返し表示される。

【０１３５】[音声識別・矯正プログラム２２の動作]以
下、第３の実施形態における音声識別・矯正プログラム
２２の動作を説明する。図２４は、第３の実施形態にお
ける音声識別・矯正プログラム２２（図１５）の動作
（Ｓ３０）を示すフローチャートである。図２５は、図
２４に示した学習項目のリストアップ処理（Ｓ３００）
において作成される学習項目リストを例示する図であ
る。

【０１３６】図２４に示すように、ステップ３００（Ｓ
３００）において、音声識別・矯正プログラム２２は、
図２０に示したように、正解単語と類似単語とを比較
し、類似単語と一致する正解単語を求める。さらに、音
声識別・矯正プログラム２２は、求めた正解単語におい
て、ユーザが苦手とする発音（例えば"r","th"）を決定
し、例えば図２５に例示するように、学習項目としてリ
ストアップする。

【０１３７】ステップ３０２（Ｓ３０２）において、音
声識別・矯正プログラム２２は、Ｓ３００の処理におい
てリストアップした学習項目がまだ学習されずに残って
いるか否かを判断する。音声識別・矯正プログラム２２
は、学習項目が残っている場合にはＳ３０４の処理に進
み、これ以外の場合には処理を終了する。

【０１３８】ステップ３０４（Ｓ３０４）において、音
声識別・矯正プログラム２２は、Ｓ３００の処理におい
てリストアップした学習項目のひとつを取り出す。ステ
ップ３０６（Ｓ３０６）において、音声識別・矯正プロ
グラム２２は、第２の実施形態に示したように、発音指
示画像（図１６）および発音矯正画像（図１９）を表示
し、ユーザに発音を学習させる。

【０１３９】ステップ３０８（Ｓ３０８）において、音
声識別・矯正プログラム２２は、ユーザの音声を識別
し、識別の結果として得られた単語が候補単語と一致す
る場合にはユーザが正しく発音したと判断してＳ３１０
の処理に進み、これ以外の場合にはユーザが正しく発音
しなかったと判断してＳ３０６の処理に戻る。

【０１４０】ステップ３１０（Ｓ３１０）において、音
声識別・矯正プログラム２２は、学習に用いていない応
用問題（第２〜第４の発音矯正画像；図２１〜図２３）
があるか否かを判断する。応用問題が残っている場合に
は発音識別・矯正プログラム２２はＳ３１２の処理に進
み、これ以外の場合にはＳ３０２の処理に戻る。

【０１４１】ステップ３１２（Ｓ３１２）において、音
声識別・矯正プログラム２２は、第２〜第４の発音矯正
画像のいずれかを表示し、ユーザに発音を学習させる。
ステップ３１４（Ｓ３１４）において、音声識別・矯正
プログラム２２は、ユーザが正しく発音できたか否かを
判断し、ユーザの発音が正しい場合にはＳ３１６の処理
に進み、これ以外の場合にはＳ３１２の処理に戻る。

【０１４２】ステップ３１６（Ｓ３１６）において、音
声識別・矯正プログラム２２は、ユーザの発音に、Ｓ３
００の処理においてリストアップされた学習項目以外の
誤りがあるか否かを判断する。このような誤りがある場
合には、音声識別・矯正プログラム２２はＳ３１８の処
理に進み、これ以外の場合にはＳ３１０の処理に戻る。

【０１４３】ステップ３１８（Ｓ３１８）において、音
声識別・矯正プログラム２２は、Ｓ３１６の処理におい
て見つかったユーザの発音上の誤りを学習項目に加え、
Ｓ３１０の処理に戻る。

【０１４４】

【発明の効果】以上説明したように、本発明にかかる音
声識別装置およびその方法によれば、上述した従来技術
の問題点に鑑みてなされたものであり、所定の言語を母
国語としない話者（ノン・ネイティブ）による所定の言
語の話し声に含まれる単語それぞれを識別し、話者が意
図する所定の言語の単語に置換して、正確なテキストデ
ータを作成することができる。

【０１４５】また、本発明にかかる音声識別装置および
その方法によれば、話されている地域が異なる等のため
に、同一の言語の発音が変化したような場合であって
も、いずれの地域の話者による話し声でも、話者が意図
する単語に変換して、正確なテキストデータを作成する
ことができる。また、本発明にかかる音声識別装置およ
びその方法によれば、発音の個人差を補って、常に高い
識別率を保つことができる。

【０１４６】さらに、本発明にかかる発音矯正装置およ
びその方法によれば、本発明にかかる上記音声識別装置
およびその方法の処理の過程で得られるデータを利用し
て話者の発音の問題点を指摘することができ、また、話
者にネイティブスピーカの発音を学習させ、話者の発音
を矯正することができる。また、本発明にかかる発音矯
正装置およびその方法によれば、話者の発音と正確な発
音とを自動的に比較して誤りを指摘することができ、さ
らに、話者がどのように発音を矯正すべきかを示す詳細
な情報を提示し、その発音を矯正することができる。

【図面の簡単な説明】

【図１】本発明にかかる音声識別処理を実現するコンピ
ュータの構成を例示する図である。

【図２】図２は、本発明にかかる音声識別処理を実現す
るソフトウェアの構成を示す図である。

【図３】図２に示した音声識別プログラムの構成を示す
図である。

【図４】単語データのインデックステーブルに含まれる
データを例示する図である。

【図５】単語データの単語レコードに含まれるデータを
例示する図である。

【図６】単語データの類似単語レコードに含まれるデー
タを例示する図である。

【図７】単語データの誤り情報コードテーブルを例示す
る図である。

【図８】候補単語作成部が類似単語追加部に出力する入
力レコード(InWord)のデータ構造を示す図である。

【図９】候補単語作成部が類似単語追加部に出力する入
力レコードマトリクス(InMatrix)のデータ構造を示す図
である。

【図１０】類似単語追加部が絞り込み部に出力する出力
レコード(OutWord)のデータ構造を示す図である。

【図１１】類似単語追加部が絞り込み部に出力する出力
レコードマトリクス(OutMatrix)のデータ構造を示す図
である。

【図１２】コンピュータにおける本発明にかかる音声識
別処理を示すフローチャート図である。

【図１３】図１３は、本発明にかかる音声識別処理およ
び発音矯正方法を実現するコンピュータの構成を示す図
である。

【図１４】図１４は、本発明にかかる音声識別処理およ
び発音矯正方法を実現するソフトウェアを示す図であ
る。

【図１５】図１４に示した音声識別・矯正プログラムの
構成を示す図である。

【図１６】図１６は、図１５に示した制御部が表示する
発音指示画像を例示する図である。

【図１７】図１７（Ａ），（Ｂ）はそれぞれ、図１５に
示した単語データベース部が生成する矯正情報インデッ
クスを例示する図であって、（Ａ）はｒの発音を矯正す
るための発音矯正画像を示し、（Ｂ）はｌの発音を矯正
するための発音矯正画像を示す。

【図１８】図１８は、第２の実施形態において単語デー
タベース部が生成する類似単語レコードを示す図であ
る。

【図１９】図１７（Ａ）に例示した矯正情報インデック
スが示す第１の発音矯正画像を例示する図である。

【図２０】第２の実施形態における音声識別・矯正プロ
グラム（図１５）の処理（Ｓ２０）を示すフローチャー
トである。

【図２１】第３の実施形態として示す発音学習方法にお
いて用いられる第２の発音矯正画像を例示する図であ
る。

【図２２】第３の実施形態として示す発音学習方法にお
いて用いられる第３の発音矯正画像を例示する図であ
る。

【図２３】第３の実施形態として示す発音学習方法にお
いて用いられる第４の発音矯正画像を例示する図であ
る。

【図２４】第３の実施形態における音声識別・矯正プロ
グラム（図１５）の動作（Ｓ３０）を示すフローチャー
トである。

【図２５】図２４に示した学習項目のリストアップ処理
（Ｓ３００）において作成される学習項目リストを例示
する図である。

【符号の説明】

１，２・・・コンピュータ １０・・・コンピュータ本体 １００・・・出力装置 １０２・・・モニタ １０４・・・スピーカ １０６・・・プリンタ １２０，１３０・・・入力装置 １２２・・・マイク １２４・・・音声入力用ボード １２６・・・キーボード １２８・・・マウス １３２・・・画像入力用ボード １１０・・・記憶装置 １４，２０・・・ソフトウェア １４２・・・ハードウェアサポート部 １４４・・・音声デバイスドライバ １４６・・・記憶デバイスドライバ １４８・・・オペレーティングシステム １５０・・・音声インターフェース部 １５２・・・記憶装置インターフェース部 １６・・・音声識別プログラム １６０・・・単語データベース部 １６２・・・制御部 １８・・・音声識別部 １８０・・・ベクトルデータ生成部 １８２・・・ラベル作成部 １８４・・・候補単語作成部 １８６・・・類似単語追加部 １８８・・・絞り込み部 ２２・・・音声識別・矯正プログラム ２４・・・発音矯正プログラム ２４０・・・比較部 ２４２・・・発音矯正画像表示部

Claims (17)

【特許請求の範囲】
1. 【請求項１】話し声に含まれる１つ以上の単語を示す音
   声データから、前記単語それぞれを識別する音声識別装
   置であって、 １つ以上の前記単語の音声データそれぞれに、これら１
   つ以上の音声データそれぞれを識別して得られる１つ以
   上の前記単語の組み合わせの候補（候補単語）の１組以
   上を対応付ける候補単語対応付け手段と、 １つ以上の前記単語の音声データそれぞれに対応付けた
   前記候補単語それぞれに、前記候補単語それぞれの発音
   に対応しうる１つ以上の前記単語の組み合わせ（類似単
   語）の０組以上を対応付ける類似単語対応付け手段と、 １つ以上の前記単語の音声データそれぞれに対応付けた
   前記候補単語、および、前記候補単語それぞれに対応付
   けた前記類似単語のいずれかを選択し、前記単語の音声
   データそれぞれの識別結果とする音声データ識別手段と
   を有する音声識別装置。
2. 【請求項２】前記音声データは、所定の言語の話し声に
   含まれる１つ以上の単語を示し、 前記候補単語対応付け手段は、１つ以上の前記単語の音
   声データそれぞれに、これら１つ以上の音声データそれ
   ぞれを識別して得られる前記所定の言語の候補単語の１
   組以上を対応付け、 前記類似単語対応付け手段は、１つ以上の前記単語の音
   声データそれぞれに対応付けた前記候補単語それぞれ
   に、前記候補単語それぞれの発音に対応しうる前記所定
   の言語の類似単語の０組以上を対応付け、 音声データ識別手段は、１つ以上の前記単語の音声デー
   タそれぞれに対応付けた前記候補単語、および、前記候
   補単語それぞれに対応付けた前記類似単語のいずれかを
   選択し、１つ以上の前記単語の音声データそれぞれの識
   別結果とする請求項１に記載の音声識別装置。
3. 【請求項３】前記所定の言語の話し声の発音は、前記所
   定の言語以外の所定の言語を主に話す話者によってなさ
   れ、 前記話者によって前記所定の言語の単語の１つ以上それ
   ぞれが発音された場合に、前記所定の言語の話し声に含
   まれる単語の音声データの１つ以上それぞれに対応しう
   る前記所定の言語の単語の０組以上を、予め前記所定の
   言語の単語の１つ以上それぞれと対応付けて、前記所定
   の言語の単語の１つ以上それぞれの前記類似単語として
   記憶する類似単語記憶手段を有し、 前記類似単語対応付け手段は、予め前記所定の言語の単
   語の１つ以上それぞれと対応付けて記憶した前記類似単
   語の０組以上を、前記候補単語それぞれに対応付ける請
   求項２に記載の音声識別装置。
4. 【請求項４】前記候補単語対応付け手段は、音声データ
   に対応付けた前記候補単語それぞれの確からしさを示す
   確率データを、音声データに対応付けた前記候補単語そ
   れぞれに付し、 前記音声データ識別手段は、前記確率データの値が所定
   の範囲をとる前記候補単語のみを選択し、前記単語の音
   声データの識別結果とする請求項３に記載の音声識別装
   置。
5. 【請求項５】前記候補単語対応付け手段は、前記類似単
   語それぞれに対応する発音の誤りを示す誤り情報を、音
   声データに対応付けた前記候補単語それぞれに付す請求
   項３に記載の音声識別装置。
6. 【請求項６】所定の言語以外を主に話す話者による前記
   所定の言語の音声に含まれる前記所定の言語の１つ以上
   の単語を示す音声データから、前記所定の言語の単語の
   １つ以上それぞれを識別する音声識別装置であって、 前記所定の言語の単語の音声データの１つ以上それぞれ
   に、これらの音声データの１つ以上それぞれを識別して
   得られる前記所定の言語の単語、および、前記話者が話
   した可能性がある前記所定の言語の単語の１つ以上また
   はこれらのいずれかを対応付ける単語対応付け手段と、 １つ以上の前記単語の音声データそれぞれに対応付けた
   単語のいずれかを選択し、１つ以上の前記単語の音声デ
   ータそれぞれの識別結果とする音声データ識別手段とを
   有する音声識別装置。
7. 【請求項７】話し声に含まれる１つ以上の単語を示す音
   声データから、前記単語それぞれを識別する音声識別方
   法であって、 １つ以上の前記単語の音声データそれぞれに、これらの
   音声データの１つ以上それぞれを識別して得られる１つ
   以上の前記単語の組み合わせの候補（候補単語）の１組
   以上を対応付けるステップと、 １つ以上の前記単語の音声データそれぞれに対応付けた
   前記候補単語それぞれに、前記候補単語それぞれの発音
   に対応しうる１つ以上の前記単語の組み合わせ（類似単
   語）の０組以上を対応付けるステップと、 １つ以上の前記単語の音声データそれぞれに対応付けた
   前記候補単語、および、前記候補単語それぞれに対応付
   けた前記類似単語のいずれかを選択し、前記単語の音声
   データそれぞれの識別結果とするステップとを含む音声
   識別方法。
8. 【請求項８】所定の言語以外を主に話す話者による前記
   所定の言語の音声に含まれる前記所定の言語の１つ以上
   の単語を示す音声データから、前記所定の言語の単語の
   １つ以上それぞれを識別する音声識別方法であって、 前記所定の言語の単語の音声データの１つ以上それぞれ
   に、これらの音声データの１つ以上それぞれを識別して
   得られる前記所定の言語の単語、および、前記話者が話
   した可能性がある前記所定の言語の単語の１つ以上また
   はこれらのいずれかを対応付けるステップと、 １つ以上の前記単語の音声データそれぞれに対応付けた
   単語のいずれかを選択し、１つ以上の前記単語の音声デ
   ータそれぞれの識別結果とするステップとを含む音声識
   別方法。
9. 【請求項９】話し声に含まれる１つ以上の単語を示す音
   声データから、前記単語の１つ以上それぞれを識別する
   音声識別装置において、 １つ以上の前記単語の音声データそれぞれに、これらの
   音声データの１つ以上それぞれを識別して得られる１つ
   以上の前記単語の組み合わせの候補（候補単語）の１組
   以上を対応付ける候補単語対応付けステップと、 １つ以上の前記単語の音声データそれぞれに対応付けた
   前記候補単語それぞれに、前記候補単語それぞれの発音
   に対応しうる１つ以上の前記単語の組み合わせ（類似単
   語）の０組以上を対応付ける類似単語対応付けステップ
   と、 １つ以上の前記単語の音声データそれぞれに対応付けた
   前記候補単語、および、前記候補単語それぞれに対応付
   けた前記類似単語のいずれかを選択し、前記単語の音声
   データそれぞれの識別結果とする音声データ識別ステッ
   プとをコンピュータに実行させるプログラムを記録した
   コンピュータにより読み取り可能な記録媒体。
10. 【請求項１０】前記音声データは、所定の言語の話し声
    に含まれる１つ以上の単語を示し、 前記候補単語対応付けステップにおいて、１つ以上の前
    記単語の音声データそれぞれに、これらの音声データの
    １つ以上それぞれを識別して得られる前記所定の言語の
    候補単語の１組以上を対応付け、 前記類似単語対応付けステップにおいて、１つ以上の前
    記単語の音声データそれぞれに対応付けた前記候補単語
    それぞれに、前記候補単語それぞれの発音に対応しうる
    前記所定の言語の類似単語の０組以上を対応付け、 音声データ識別ステップにおいて、１つ以上の前記単語
    の音声データそれぞれに対応付けた前記候補単語、およ
    び、前記候補単語それぞれに対応付けた前記類似単語の
    いずれかを選択し、前記単語の音声データそれぞれの識
    別結果とする処理をコンピュータに実行させるプログラ
    ムを記録したコンピュータにより読み取り可能な請求項
    ９に記載の記録媒体。
11. 【請求項１１】前記所定の言語の話し声は、前記所定の
    言語以外の所定の言語を主に話す話者によってなされ、 前記話者によって前記所定の言語の単語の１つ以上それ
    ぞれが発音された場合に、前記所定の言語の話し声に含
    まれる単語の音声データの１つ以上それぞれに対応しう
    る前記所定の言語の単語の０組以上を、予め前記所定の
    言語の単語の１つ以上それぞれと対応付けて、前記所定
    の言語の単語の１つ以上それぞれの前記類似単語として
    記憶し、 前記類似単語対応付けステップにおいて、予め前記所定
    の言語の単語の１つ以上それぞれと対応付けて記憶した
    前記類似単語の０組以上を、前記候補単語それぞれに対
    応付ける処理をコンピュータに実行させるプログラムを
    記録したコンピュータにより読み取り可能な請求項１０
    に記載の記録媒体。
12. 【請求項１２】前記候補単語対応付けステップにおい
    て、音声データに対応付けた前記候補単語それぞれの確
    からしさを示す確率データを、音声データに対応付けた
    前記候補単語それぞれに付し、 前記音声データ識別ステップにおいて、前記確率データ
    の値が所定の範囲をとる前記候補単語のみを選択し、前
    記単語の音声データの識別結果とする処理をコンピュー
    タに実行させるプログラムを記録したコンピュータによ
    り読み取り可能な請求項１１に記載の記録媒体。
13. 【請求項１３】前記候補単語対応付けステップにおい
    て、前記候補単語それぞれに対応する発音の誤りを示す
    誤り情報を、音声データに対応付けた前記類似単語それ
    ぞれに付す処理をコンピュータに実行させるプログラム
    を記録したコンピュータにより読み取り可能な請求項１
    １に記載の記録媒体。
14. 【請求項１４】所定の言語以外を主に話す話者による前
    記所定の言語の音声に含まれる前記所定の言語の１つ以
    上の単語を示す音声データから、前記所定の言語の単語
    それぞれを識別する音声識別装置において、 前記所定の言語の単語の音声データの１つ以上それぞれ
    に、これらの音声データの１つ以上それぞれを識別して
    得られる前記所定の言語の単語の１つ以上、および、前
    記話者が話した可能性がある前記所定の言語の単語の１
    つ以上またはこれらのいずれかを対応付ける単語対応付
    けステップと、 １つ以上の前記単語の音声データそれぞれに対応付けた
    単語のいずれかを選択し、１つ以上の前記単語の音声デ
    ータそれぞれの識別結果とする音声データ識別ステップ
    とをコンピュータに実行させるプログラムを記録したコ
    ンピュータにより読み取り可能な記録媒体。
15. 【請求項１５】単語を示す音声データを識別して得られ
    る単語の候補（候補単語）を１個以上、対応付ける候補
    単語対応付け手段と、 音声データに対応付けた前記候補単語それぞれに、前記
    候補単語それぞれの発音に対応しうる単語（類似単語）
    を０個以上、対応付ける類似単語対応付け手段と、 前記音声データが示す単語と、この音声データに対応付
    けられた前記候補単語それぞれに対応付けられた前記類
    似単語とが一致する場合に、前記音声データが示す単語
    と同じ前記類似単語に対応し、前記音声データが示す単
    語の発音を矯正する発音矯正データを出力する発音矯正
    データ出力手段とを有する発音矯正装置。
16. 【請求項１６】単語を示す音声データを識別して得られ
    る単語の候補（候補単語）を１個以上、対応付け、 音声データに対応付けた前記候補単語それぞれに、前記
    候補単語それぞれの発音に対応しうる単語（類似単語）
    を０個以上、対応付け、 前記音声データが示す単語と、この音声データに対応付
    けられた前記候補単語それぞれに対応付けられた前記類
    似単語とが一致する場合に、前記音声データが示す単語
    と同じ前記類似単語に対応し、前記音声データが示す単
    語の発音を矯正する発音矯正データを出力する発音矯正
    方法。
17. 【請求項１７】単語を示す音声データを識別して得られ
    る単語の候補（候補単語）を１個以上、対応付ける候補
    単語対応付けステップと、 音声データに対応付けた前記候補単語それぞれに、前記
    候補単語それぞれの発音に対応しうる単語（類似単語）
    を０個以上、対応付ける類似単語対応付けステップと、 前記音声データが示す単語と、この音声データに対応付
    けられた前記候補単語それぞれに対応付けられた前記類
    似単語とが一致する場合に、前記音声データが示す単語
    と同じ前記類似単語に対応し、前記音声データが示す単
    語の発音を矯正する発音矯正データを出力する発音矯正
    データ出力ステップと処理をコンピュータに実行させる
    プログラムを記録したコンピュータにより読み取り可能
    な記録媒体。