JPH0627971B2 - イントネーション測定装置および語学学習装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、音声のイントネーションを測定するイント
ネーション測定装置およびこの装置を利用したコンピュ
ータ援用による語学学習装置に関する。

〔従来の技術〕

従来より採用されてきた教師中心で訳読法による一斉授
業により語学教育を行うことは、種々の困難が伴う。指
導が平面的となり易く、例えば読解力は付くものの、聴
く、話すまでを含めた、当該言語の使用場所でそのまま
役立つ総合的な語学力を習得するには不適当である。こ
のような欠点を補うために、視聴覚教育システムとして
ＬＬ（Language Laboratory)学習が導入されているが、
主として学習者中心の学習形態であり、未だ充分とはい
えない。

更に、近年、教師・学習者間の連携をも考慮したコンピ
ュータ援用教育システムが注目されている。このコンピ
ュータ援用教育システムとしては CAI（Computer Assis
ted Instruction またはComputer Aided Instruction）
が多人数同時教育の弊害を解消するための学習、特に語
学教育に有効であることが指摘されている。このような
CAIシステムは、学習者各個のレベル、進度に合わせた
個別学習が可能であり、教師側へのフィードバック、学
習者への個人指導が可能となるため、充分活用できれば
大きな成果を期待できる。しかし、このような装置は一
般に大規模で、高価なものが多く、手軽に利用すること
はできなかった。

従来技術による方法では、特に、聴く、話す等の活きた
言語教育を容易に実施できない欠点があった。

〔発明が解決しようとする課題〕

この発明の課題は、語学学習に有効なイントネーション
を早く、しかも正確に測定できるイントネーション測定
装置、およびこの装置を利用して、しかも CAIシステム
の利点をも加味し、個々の使用場所で容易に活用できる
語学学習装置を提供することにある。

〔課題を解決するための手段〕

上記の課題は、この発明により、 入力するアナログ音声信号を所定の標本周波数でデジタ
ル音声信号に順次変換するアナログ・デジタル変換器９
０３と、 順次連続するデジタル入力音声信号を所定個数N づつ切
り出し、この切出区間内で音声信号の周波数分析を高速
フーリエ変換で求め、その際、前記切出区間の両端の音
声信号の飛躍による変換音声信号の振動を故意に強調す
るため、切出区間の両端で極大値を呈し、切出区間の中
心で最小値を呈する窓関数と前記所定数のデジタル入力
音声信号との積をフーリエ変換し、求めた周波数成分か
ら得られるパワー成分を隣接パワー成分と畳み込んだ
後、これ等の畳み込み成分により、ピッチに対応する強
調されたパルス状波形を有する音声信号を各標本化時点
毎に再現する波形処理部９０４と、 前記音声信号の強調されたパルス状波形が交互に正負方
向に出現し、同一方向に複数個のピークがある場合、大
きな方をピッチ周期のピークと見なし、ピッチ周期が一
つ前のピッチ周期の 70 〜 130％の範囲内にあるとして
ピッチを判定するピッチ抽出部９０５と、 を備え、入力された音声信号の変動の基本周波数である
ピッチを各瞬時値について求め、測定したピッチの時間
変化に基づき音声のイントネーションを測定できるイン
トネーション測定装置によって解決されている。

更に、上記の課題は、この発明により、 単語綴りまたは文章を入力する文字入力部３０と、 使用者および教師の音声を電気信号にして入力する音声
入力部８０と、 音声信号を音として出力する音声出力部６０と、 音声特性および各種処理過程を表示画面上に図形ないし
は文字として表示する表示装置５０と、 単語綴り、発音記号、品詞情報、訳語、例文、慣用句等
に対する表示情報を収納する音声付辞書記憶領域Ｄと音
声信号のデータ解析、表示手順等の処理プログラムを収
納する演算処理記憶領域Ｐとから成る記憶装置４０と、 前記辞書記憶領域Ｄ，前記音声出力部６０および前記音
声入力部８０に接続し、入力された音声信号の諸音響特
性を求める音声信号処理部９０と、 前記文字入力部３０，前記表示装置５０，記憶装置４０
の演算処理記憶領域Ｐおよび音声信号処理部９０にイン
ターフェース２０を介して接続し、前記処理プログラム
に従って所要数値演算を実行する演算処理部１０と、 から成り、 前記音声処理部９０に上で規定するイントネーション測
定装置が備えてあり、 単語綴りまたは文章を発声して音声波形、イントネーシ
ョン、アクセント等を表示装置５０に表示しながら発声
を練習する語学学習装置によって解決されている。

〔実施例〕

以下、この発明の実施例を示す添付図を参照して、この
発明による語学学習装置を実施するための学習装置を開
示する。

なお、この実施例は日本人学習者が英語を学習する実施
例について説明しているが、本方法および装置は、当
然、ドイツ語、フランス語、ロシア語、スペイン語、中
国語、ハングル等の言語体系の確立しているいかなる語
学にも適用可能である。殊に、言語が日本語のような高
低アクセントではなく、強弱アクセントであり、従って
イントネーションに重要な意味を有する言語の場合に特
に威力を発揮する。

第１図は、この発明によるコンピュータ援用による語学
学習装置を実施するための学習装置の基本構成を示すブ
ロック図である。図においてＣＰＵ１０には、I/O イン
ターフェース２０を介してキーボードその他の入力装置
３０，記憶装置４０，表示装置５０，スピーカ６０，プ
リンタ７０，音声入力装置８０等が接続されている。記
憶装置４０は、コンピュータの内蔵メモリはもとより、
例えば、フロッピーディスク、ハードディスク、オーデ
ィオおよびビディオの磁気テープ、レーザーディスク、
ＣＤ−ＲＯＭ、ＣＤ−Ｉ等の外部接続記憶媒体を利用し
得るものであり、コンピュータ作動に関する記憶領域Ｐ
と語学教育のための辞書領域Ｄとから構成される。表示
装置５０は、典型的にはコンピュータ付属のモニタ表示
画面を指すが、後述するように、ビデオ映像を利用する
場合等には学習者が見易い補助的表示画面を配設するこ
ともできる。スピーカ６０は、音声出力によってモデル
発生を聴取し、かつ音声入力装置８０から入力された学
習者の発音を再生して確認しまたはそのアクセント、イ
ントネーション等をモデル発生と比較するために使用さ
れる。個人的使用の場合、必要であれば、スピーカ出力
に替えてヘッドセットにより聴取する。プリンタ７０
は、必要に応じて文章または表示画面のハードコピー等
を印字出力するために使用される。なお、記憶装置４０
の辞書領域４０Ｄ，スピーカ６０，音声入力装置８０
は、音声信号処理装置９０を介してI/O インターフェー
ス２０と接続されている。この音声信号処理装置９０
は、辞書内に記憶されているか、あるいは学習者により
入力された音声情報からアクセントまたはイントネーシ
ョンに関する表示情報を取出し、コンピュータに入力る
ための信号処理を実施するものである。

このコンピュータ援用による語学学習装置で重要な役割
を果たす記憶装置４０中の中心をなす音声付辞書記憶領
域Ｄは、単語綴り、発音記号、品詞情報、訳語、例文、
慣用句等を表示画面表示用情報として記憶しておくが、
これ等と対応させて、当該単語および例文の発音練習に
関する音声情報を記憶しておく。この音声情報は、当該
言語を母国語とする、所謂ネイティブスピーカーによる
標準発音により構成されるもので、これを基礎として容
易に発音練習ができる。この場合、辞書内の発音に関す
る情報を音声信号処理装置９０により信号処理して、単
語のアクセントまたは文章のイントネーションが、表示
装置５０上に表示される。このように表示されたアクセ
ントまたはイントネーションの表示に対して、学習者自
身の発音によるアクセント、イントネーション等を比較
・表示等をも含む発音出力と同時に表示するように構成
されている。なお、記憶容量が充分であれば、これ等の
情報を全てデジタル化すると都合がよいが、その一部を
アナログ信号のままとすることもできる。もし、記憶容
量が小さい記憶媒体を使用する場合には、表示用情報と
音声情報とは別個の媒体に記憶しておき、これ等を対応
づけて所定時間内にアクセスし得るように構成すること
もできる。しかし、記憶容量が充分大きくかつランダム
アクセス性の高い記憶媒体が使用できれば、同一記憶媒
体とすることができる。当然、同一記憶媒体の方が装置
全体を小型化し簡潔な構成とすることができる。このよ
うな観点からは、リードライト可能なレーザーディス
ク、ＣＤ−ＲＯＭ，ＣＤ−Ｉもしくはこれに匹敵する記
憶媒体を使用すると都合がよい。

また、会話学習のために、会話形式の例文毎にそれぞれ
ラベル（コード）を付して記憶しておく。これ等の例文
は入力装置から選択のため入力が行われると、コンピュ
ータによる制御の下に所望のラベルの付された例文が適
宜表示画面に表示されると共に、音声として聴覚により
確認することができるように構成されている。この外、
必要に応じて、繰り返し発音練習や、類語・同意語・反
意語等を導入すること、重要部分を伏字として学習者の
解答入力を期待する設問を行うこと等も容易にできる。

第１図の音声信号処理装置９０は、例えば第２図のよう
なプロック図で示される構成により行われる。入力端子
９０１から入力されたアナログ信号である入力音声は低
域濾波器(LPF) ９０２を通過した後、アナログ・デジタ
ル(A/D) 変換器９０３で A/D変換される。A/D 変換回路
９０３は周知の量子化手段をもって音声信号をデジタル
信号に変換するものである。次いで、波形処理回路９０
４で処理した信号をイントネーション抽出アルゴリズム
を実行するピッチ抽出回路９０５で必要な信号として取
り出し、I/O インターフェース２０を介して表示装置５
０に加える。

第３図(A) 〜(D) は、この発明によるコンピュータ援用
語学学習装置で重要なウェイトを占める、辞書内に記憶
されまたは学習者によって入力された発声音声情報から
イントネーションまたはアクセントの表示波形を求める
手順およびその結果を示すものである。第３図(A) は、
A/D 変換回路９０３の出力信号であって、例えば“RIGH
T”の音声信号を量子化した状態を示す。第３図(A) の
波形図はその言葉のアクセントについては明瞭に示され
ているが、必要とするイントネーションについては不明
である。上記“RIGHT”の正しいイントネーションは第
３図(D) のようになるが、音声信号自体は多くの高調波
成分を含んでいるため、第３図(A) の波形からこれを識
別することは困難である。

第３図(A) の波形から第３図(D) のようなイントネーシ
ョン特性を得る方法について説明する。先ず、説明の都
合上、第３図(A) のＡ部分、即ち“RIGHT”の“I”部分
のみに着目してこれを拡大したのが第３図(B) である。
この信号は前述したように高調波成分を多く含み、しか
もそのレベルが基本周波数の信号レベルとの差異を見出
せない値である。この発明による方法によれば、前記波
形処理回路９０４（第２図）で基本周波数成分を強調す
るピーク強調波形処理を行う。

この波形処理を第４図に則して説明する。波形処理のア
ルゴリズムとしては離散的フーリェ変換・同逆変換を変
形した手法を用いた。その手法は下記の通りである。

ｉ．対象音声波形をサンプリングし、 10 点の波形デー
タにハニング(Hanning)窓の位相を 180゜移動した窓を
掛け、離散的フーリェ変換(DET) により各周波数成分を
求める。

ii．各周波数成分の振幅成分を強調し、それ等の総和を
出力とする。即ち、位相角をθ_ｉ，パワーをＰ_ｉとする
と、 ここに、 を求めて出力とする。

iii．サンプリング点を１点移動させる毎に上記ｉ．〜i
i．の処理を繰り返して行う。

このような手順によって第３図(C) で示すように、ピッ
チ周期に相当するピークの強調された波形が得られる。

また、ピッチ抽出回路９０５は上記のように波形処理回
路９０４で強調されたピーク信号を検出してピッチ周期
を抽出するものである。この場合、処理すべき信号がデ
ジタル信号であるため容易に処理できる。その手法は、
下記の条件を付加して行われるが、この関係を第５図と
対応せしめて説明する。

(1)ピッチに相当するピークは音声信号の正方向・負方
向に交互に現れるものとする。

(2)波形のピッチ周期に相当するピークに対し、それ以
外のピークが複数あるときは、レベル差の大きい側のピ
ークをピッチ周期として抽出する。第５図の↑印はピッ
チとしているピークレベル、 は無効としたピークレベルである。また、｜ａ｜＜｜ｂ
｜であるので、負側からピッチを抽出する。

(3)新たに抽出されたピッチ周期が１つ前のピッチ周期
の 70 〜 130％の範囲内になければ無効とする。

このように抽出されたピッチ周期が、第１図のI/O イン
ターフェイス２０を介して表示装置５０に表示される。
この表示状態は、第３図(D) のようになり、時間経過と
共にその周期の変化が表示される。

第６図は、波形処理回路９０４をハード化した系統図の
一例である。この場合Ｗ＝ｅ^{j2 π /5}，また、畳み込み後
の各出力の実部はa₀, a₁, a₂,虚部は b₀, b₁, b₂であ
る。

なお、前記記憶装置４０内の辞書領域Ｄに、音声情報の
一部として、対応する文章または単語の音声情報を基礎
として既に信号処理されたイントネーションまたはアク
セントに関する表示情報を記憶しておき、必要に応じて
表示装置に出力するようにすることもできる。

第７図は、この発明によるコンピュータ援用に基づく語
学学習装置の処理ステップを示すフロー図である。

この動作は、コンピュータを所定手順で作動させて行う
語学学習のスタートに従ってステップＳ１のように、表
示画面に単語学習か否かの質問を表示する。ここでの判
断が YESの場合には、ステップＳ２のようにギーボード
または音声により単語綴りの入力を行う。このステップ
Ｓ２のように：学習者が操作するステップについては二
重枠として区別を行う。このような学習者の入力に対し
てステップＳ３のような当該単語の正確な発音を音声出
力する。同時に表示画面上には、当該単語の綴り、発音
記号、意味およびその単語のアクセント等を表示する。

ステップＳ３のような出力および表示を踏まえてステッ
プＳ４のように学習者が発音練習を繰り返し行う。この
練習にあたって表示画面上に正確な発音波形とアクセン
ト情報を表示し、かつ学習者の発音の音声波形およびア
クセントに関する表示を同時に行い両者を比較しながら
学習者による自己矯正を可能にする。

このような学習が進んだ後：ステップＳ５のように、例
文の音声も必要であるか否かを問い掛ける。これに対し
て NO の場合であればステップＳ１以降を繰り返す。一
方この判断が YESの場合には、ステップＳ６のように例
文の正確な発生を音声出力し、単語の場合と同様に波形
およびイントネーションの情報を表示し、学習者はステ
ップＳ７のように所要の発音練習を行い、この学習が終
り次第ステップＳ１からの操作を繰り返す。

ステップＳ１の判断が NO の場合には、学習者がその旨
の選択に従ってステップＳ８のように学習システムの内
蔵する学習項目を表示する。学習者はステップＳ９のよ
うに表示された学習項目から所望の学習項目を選択す
る。この選択に従って、ステップＳ１０のように、当該
学習項目に関する、アクセントまたはイントネーション
のような音声情報を含む表示を行う。この表示に従っ
て、ステップＳ１１のように、正確な発音による音声出
力および必要に応じてビデオ映像を交え、ヒアリングお
よびスピーキングに重点を置いた語学学習を行う。ここ
では、単語の場合と同様に自己矯正が可能であるような
音声出力および表示を利用することができる。

次いで、このような学習結果を、ステップＳ１２のよう
に、例えば正答率等により学習者に知らせる。この情報
は、必要であれば教師用のファイルに保管することもで
きる。

一通りの学習が進んだところで、ステップＳ１３のよう
にシステムは学習を続けるか否かを問い掛ける。ここで
YESが選択された場合には、ステップＳ８以降を繰り返
す。反対に NO の場合には、ステップＳ１４のように学
習結果を分析して学習者にコメントを与え、語学学習を
終了する。このコメントは、表示画面表示のみならず、
印字出力して学習者に手渡すことができる。

また、第８図はこの発明によるコンピュータ援用による
語学学習装置の初期画面の表示例である。また第９図は
この発明による語学学習装置の単語学習モードで作動時
の表示画面上の表示例である。

更に、第１０図および第１１図はこの発明によるコンピ
ュータ援用語学学習装置の作動時の表示画面上の対話文
例学習の設問表示例を示すものである。第１０図のよう
に正答をキーボードから入力して答えるものや、第１１
図のように誤綴りを指摘・訂正させる等の各種形式が構
成可能である。当然、これに伴って、音声および映像出
力を併用し、活用することができる。

〔発明の効果〕

上に説明したように、この発明のイントネーション測定
装置によれば、語学学習に特に重要なイントネーション
の測定が極めて容易に、しかも早く、正確に行える。殊
に、イントネーションは音声信号のピッチ周期の変動に
起因するため、この発明では実際の音声波形を忠実に再
現するのでなく、ピッチのみを誇張する信号処理により
ピッチ判定が容易になる処置を講じている。これは、比
較的少ない抽出信号系列から高速フーリエ変換およびそ
の逆変換により、イントネーションをリアルタイムで判
定することを可能にしている。

また、この発明によれば、上記イントネーション測定装
置を使用しているため、イントネーション、音声波形、
特にアクセント等を表示画面上でその都度目視できるた
め、これ等の要素を加味した語学学習がリアルタイムで
極めて効果的に行える。

【図面の簡単な説明】

第１図、この発明によるコンピュータ援用による語学学
習装置の基本構成を示すブロック図。 第２図、音声信号処理回路の構成を示すブロック図。 第３図(A) 〜(D) と第４図および第５図、音声信号処理
過程の状態を示す波形図。 第６図、この発明による語学学習装置の動作に関するフ
ローチャート。 第７図〜第１１図、この発明によるコンピュータ援用に
よる語学学習装置の表示画面の例。 図中参照符号： １０：中央処理装置 ２０：I/O インターフェース ３０：入力装置、４０：記憶装置 ５０：表示装置、６０：スピーカ ７０：プリンタ、８０：音声入力装置 ９０：音声信号処理装置 ９０２：低減濾波器(LPF)、９０３：A/D 変換器 ９０４：波形処理回路 ９０５：ピッチ抽出回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 潔 東京都武蔵野市中町３丁目７番３号 ティ アック株式会社内 (56)参考文献 特開 昭61−121077（ＪＰ，Ａ) 特開 昭61−6732（ＪＰ，Ａ) 特開 昭60−201376（ＪＰ，Ａ) 特開 昭58−214185（ＪＰ，Ａ) 特公 平５−15280（ＪＰ，Ｂ２)

Claims (2)

【特許請求の範囲】
1. 【請求項１】入力された音声信号の変動の基本周波数で
   あるピッチを各瞬時値について求め、測定したピッチの
   時間変化に基づき音声のイントネーションを測定でき
   る、音声のイントネーション測定装置において、 入力するアナログ音声信号を所定の標本周波数でデジタ
   ル音声信号に順次変換するアナログ・デジタル変換器
   （９０３）と、 順次連続するデジタル入力音声信号を所定個数 (N)づつ
   切り出し、この切出区間内で音声信号の周波数分析を高
   速フーリエ変換で求め、その際、前記切出区間の両端の
   音声信号の飛躍による変換音声信号の振動を故意に強調
   するため、切出区間の両端で極大値を呈し、切出区間の
   中心で最小値を呈する窓関数と前記所定数のデジタル入
   力音声信号との積をフーリエ変換し、求めた周波数成分
   から得られるパワー成分を隣接パワー成分と畳み込んだ
   後、これ等の畳み込み成分の和をとることにより、ピッ
   チに対応する強調されたパルス状波形を有する音声信号
   を各標本化時点毎に再現する波形処理部（９０４）と、 前記音声信号の強調されたパルス状波形が交互に正負方
   向に出現し、同一方向に複数個のピークがある場合、大
   きな方をピッチ周期のピークと見なし、ピッチ周期が一
   つ前のピッチ周期の 70 〜 130％の範囲内にあるとして
   ピッチを判定するピッチ抽出部（９０５）と、 を備えていることを特徴とするイントネーション測定装
   置。
2. 【請求項２】単語綴りまたは文章を入力する文字入力部
   （３０）と、 使用者および教師の音声を電気信号にして入力する音声
   入力部（８０）と、 音声信号を音として出力する音声出力部（６０）と、 音声特性および各種処理過程を表示画面上に図形ないし
   は文字として表示する表示装置（５０）と、 単語綴り、発音記号、品詞情報、訳語、例文、慣用句等
   に対する表示情報を収納する音声付辞書記憶領域（Ｄ）
   と音声信号のデータ解析、表示手順等の処理プログラム
   を収納する演算処理記憶領域（Ｐ）とから成る記憶装置
   （４０）と、 前記辞書記憶領域（Ｄ），前記音声出力部（６０）およ
   び前記音声入力部（８０）に接続し、入力された音声信
   号の諸音響特性を求める音声信号処理部（９０）と、 前記文字入力部（３０），前記表示装置（５０），記憶
   装置（４０）の演算処理記憶領域（Ｐ）および音声信号
   処理部（９０）にインターフェース（２０）を介して接
   続し、前記処理プログラムに従って所要数値演算を実行
   する演算処理部（１０）と、 から成り、単語綴りまたは文章を発音して音声波形、イ
   ントネーション、アクセント等を表示装置（５０）に表
   示しながら発声を練習する語学学習装置において、 前記音声処理部（９０）に特許請求の範囲第１項で規定
   するイントネーション測定装置が備えてあることを特徴
   とする語学学習装置。