JPS6136239B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は、人間の音声で入力された言語データ
を識別して対応する文字の判断を比較的高速で行
なうための音声認識装置に関する。

印刷技術分野における製版作業に必要なプロセ
スの一つに、原稿に手書きされている文字を判断
して順次読取り、対応する活字を選択する、植
字、文選などのプロセスがある。

従来、このようなプロセスのためには、原稿の
読取りを行なう人間が直接活字を拾つたり、キー
ボードなどを操作して活字を選択したりしてい
た。

しかしながら、この方法では、原稿の読取りは
ともかくとして、活字を拾つたり、キーボードを
操作したりする作業を常に正確に、かつ迅速に行
なうために高度の熟練を要し、それでもなお充分
な作業性を得ることができないという欠点があつ
た。

そこで、これの改善のため、原稿の読取りを人
間により音読で行ない、音声によるデータを電気
的に処理して対応する活字などの選択を自動的に
行なう、例えば音声入力植字装置とでもいうべき
装置が望まれるようになつてきた。

ところで、このような装置を具現するために
は、人間の音声による言語データを判断して対応
する文字を選びだす、いわゆる音声認識装置が必
要であり、そのためには、マイクロコンピユータ
による音声認識装置が知られていた。

このようなマイクロコンピユータによる音声認
識装置の一例を第１図に示す。

図において、１はマイクロホンなどの音声信号
源、２はアナログ信号系における前処理部、３は
Ａ−Ｄ変換器、４はマイクロプロセツサ（以下
CPUという）、５はデータメモリー、６は辞書メ
モリーである。

信号源１からの音声信号は前処理部２によつて
チヤンネル分割、マルチプレクシングなど所定の
前処理が施こされたのちＡ−Ｄ変換器３でデジタ
ル信号化されてCPU４に取込まれる。

CPU４は、音声入力処理フエーズとパターン
マツチング処理フエーズの２種のフエーズで交互
に動作し、単音、単語など所定の区切りをもつた
音声が入力されるごとに、まず音声入力処理フエ
ーズで作動し、所定のアルゴリズムによりデジタ
ル化された音声信号から特徴パラメータを抽出
し、これをパターンマツチング処理に必要な形態
の音声パターンに編集してメモリー５に入れる。

この音声入力処理が終つてデータメモリー５に
音声パターンが入力されると、次にCPU４はパ
ターンマツチング処理フエーズに切換えられ、メ
モリー５に入つている音声パターンを辞書メモリ
ー６にあらかじめ記憶してある音声標準パターン
と比較し、類似度を求め、その類似度の高さから
入力された音声がどの文字に対応するのかを決定
し、音声認識を行なつて結果を出力する。

このパターンマツチング処理により認識結果が
出力されるとCPU４は再び音声入力処理フエー
ズに切換わり、次に音声入力の取込みを許す。

従つて、このような従来の音声認識装置の動作
内容を経時的に示すと第２図のようになり、順次
処理すべき単音又は単語などからなる音声Ａ，Ｂ
………についてそれぞれ音声入力処理フエーズと
パターンマツチング処理フエーズのそれぞれのフ
エーズによつて処理が行なわれることになる。

このため、従来の装置では、例えば音声Ａにつ
いての音声入力処理が終つてもパターンマツチン
グ処理が行なわれている間は、次の音声Ｂの音声
入力処理を行なうことができないから、この間は
音声入力を中断して処理が終るのを待つ必要があ
り、人間による原稿の読上げ速度に匹敵する程度
にまで処理を早くすることができないという欠点
があつた。

また、このため、例えば原稿などを読上げる者
に対してパターンマツチング処理が終了して音声
入力処理が可能になるたびに次の音声の読上げを
許すための何らかの表示がなされ、原稿を読上げ
る者はその表示に従つて次々と音声を入力すると
いう方法が必要になり、従つて、従来の装置では
原稿の読上げにかなりの熟練を要するという欠点
があつた。

本発明の目的は、上記した従来技術の欠点を除
き、音声の入力を続して行ない、速い速度で処理
を行なうことのできる音声認識装置を提供するに
ある。

この目的を達成するため、本発明は、CPUを
マルチ化し、音声入力処理とパターンマツチング
処理に専用化すると共に、パターンマツチング処
理を行なうCPUをさらにマルチ化した点を特徴
とする。

以下、本発明による音声認識装置の実施例を図
面について説明する。

まず、第３図は本発明による音声認識装置の概
念図で、１はマイクロホンなどからなる音声信号
源、２はアナログ信号系における前処理部、３は
Ａ−Ｄ変換器、５はデータメモリー、６は辞書メ
モリー、７は音声入力処理専用のCPU（以下
CPUという）、８はパターンマツチング処理専
用のCPU（以下CPUという）である。

ここで、CPU８は、複数の、例えば３台の
パターンマツチング処理専用のCPU−１，
−２，−３を含み、それらはデータメモリー５
のそれぞれ異なつたメモリーエリアに対応して設
けられ、そして、データメモリー５も、CPU
８に対応して複数の、例えば３個のメモリーエリ
ア、第１エリア、第２エリア、第３エリアに分割
してある。

信号源１からの音声信号は前処理部２によつて
所定の前処理が施こされたのちＡ−Ｄ変換器３で
デジタル信号化されてCPU７に取込まれる。

この過程は第１図の従来例と同じである。

CPU７はデジタル化された音声信号を例え
ば、各単音、又は単語ごとに区切り所定のアルゴ
リズムに従つて処理し、特徴パラメータの抽出、
編集を行なつて音声パターンを得、データメモリ
ー５に書込む。

このとき、Ａ−Ｄ変換器３からの信号のチヤン
ネルに応じてデータメモリー５に書込むエリアを
指定しておく。例えば信号のチヤンネル数が18で
あつたとすれば、これを３分割して６チヤンネル
づつとし、データメモリー５の第１エリアには１
〜６チヤンネルのデータを、第２エリアには７〜
12チヤンネルのデータを、そして第３エリアには
13〜18チヤンネルのデータを書込むようにしてお
く。

CPU８に含まれているCPU−１はデータ
メモリー５の第１エリアから１〜６チヤンネルの
素データを取込み、辞書メモリー６の音声標準パ
ターンと照合して類似度を求め、CPU−２は
第２エリアから７〜12チヤンネルの素データを取
込んで辞書メモリー６の音声標準パターンと照合
して類似度を求め、CPU−３は第３エリアか
ら13〜18チヤンネルの素データを取込んで類似度
を求める。そして、各CPU−１，CPU−
２，CPU−３のそれぞれから得た類似度を合
計し、最大値が得られた音声標準パターンから認
識結果を求めて出力する。

従つて、この本発明による音声認識装置の動作
内容を経時的に示すと第４図のようになり、音声
入力処理専用のプロセツサであるCPU７では
音声入力処理だけが遂行され、パターンマツチン
グ処理専用のプロセツサであるCPU８ではパ
ターンマツチング処理だけが遂行されることにな
る。

そこで、第２図に示した従来例の経時的動作と
第４図に示した本発明の経時的動作を比較してみ
れば明らかなように、本発明によれば音声入力処
理をほぼ連続的に行なうことができるため、人間
による音声の入力をほぼ連続して行なえ、動作が
高速化されることになる。

次に第５図は本発明による音声認識装置の具体
的な一実施例で、Ａ−Ｄ変換器３、CPU７，
CPU８などは第３図と同じである。

図において、９，１０はローカルメモリー（以
下LMという）、１１は共通メモリー（同、
CM）、１２，１３はメモリーインターフエイス
（同、MIF）、１４は共通メモリーバス（同、
CMB）、１５は共通メモリーバス調停機（同、
CMB調停機）である。

LM９，１０は各CPU７およびCPU８に含
まれているCPU−１，CPU−２，CPU−
３のプログラムやそれに対応したテーブル、仮の
フアイルなどCPU７とCPU８に含まれてい
る３台のCPU相互間で受け渡しを必要としない
情報を記憶するもので、勿論LM１０には第３図
で説明した辞書メモリー６と同じメモリー内容も
含まれている。

CM１１はCPU７とCPU８に含まれている
CPU−１，CPU−２，CPU−３の３台の
CPUとの間で受け渡しを必要とする情報、例え
ば第３図でデータメモリー５記憶していた音声パ
ターンなどのデータを記憶するもので、音声パタ
ーンを各チヤンネル群に分割して第１と第２と第
３の３つのエリアに記憶するようになつている。

MIF１２，１３はCPU７、或いはCPU８
に含まれている３台のCPUからのメモリーアド
レスを受け、要求れたアドレスがLM９、或いは
LM１０のメモリー空間に対するものならばこれ
らLM９，１０とCPU７、又はCPU８に含ま
れている３台のCPUのそれぞれと接続し、CM１
１のメモリー空間に対するものであつたときに
は、CMB調停機１５からのCMB利用許可信号の
発生時点で対応するCPU７、或いはCPU８
に含まれている３台のCPUのいずれかをCMB１
４と接続する働きをする。

CMB１４は各CPU，のMIF１２，１３と
CM１１との間を結ぶ線路で、CMB調停機１５の
制御下にあり、各CPU７及びCPU８に含ま
れている３台のCPUはこのCMB１４を時分割で
使用してCM１１にアクセスする。

CMB調停機１５はCPU７とCPU８に含ま
れている３台のCPUによるCM１１の使用が競合
しないように設けられたもので、各CPU７と
CPU８に含まれている３台のCPUがCM１１の
共通メモリー空間にアクセスしようとするときに
は、CMB調停機１５にCMB要求信号を出す。

このときCMB１４がいずれのCPUによつても
使用されていなければ、CMB調停機１５は要求
信号を出しているCPUおよびそれに付随する
MIFに対してCMB利用許可信号を送り、CMB１
４の使用を許可する。

しかして、このときCMB１４が他のCPUによ
つて使用されていたときには、その要求信号を出
したCPUおよびMIFに対して許可信号を出さ
ず、そのCPUを停止状態にし、他のCPUによる
使用が終了した時点で始めて許可信号を発生し、
停止していたCPUの動作を開始させる。なお、
このとき、CMB要求信号に対して優先順位を付
し、優先順位に応じてCMB利用許可信号を発発
するようにしてもよい。

次に動作について説明する。

Ａ−Ｄ変換器３に入力されるアナログ音声信号
は、既に説明したように所定の前処理が行なわれ
たものであり、この前処理は、音声信号を100〜
5000Hzの範囲にわたつて例えば18のチヤンネルに
分割し、ついで２〜10ｍｓを１周期としてマルチ
プレクシングされたものであり、これがＡ−Ｄ変
換器３によつてデジタル信号化されている。

CPU７はこのデジタル音声信号を受入れる
と、まず、正規化、規格化などの前加工を行なつ
てレベルを揃え、サンプル時間、これはサンプル
数と同じであるが、についてのノーマライズが行
なわれる。

ついで、辞書メモリーに記憶されている音声標
準パターンと比較できる形に編集するための入力
処理を行なつてCM１１の共通メモリー空間の第
１エリアに１〜６チヤンネルの素データを、第２
エリアに７〜12チヤンネルの素データを、そして
第３エリアに13〜18チヤンネルの素データをそれ
ぞれ配置する。

この間、CPU７は信号線１（第３図）から
の音声入力の終了が検出されるとCPU８への
音声入力処理終了通知を行ない、その後、CPU
８からのパターンマツチング処理終了通知およ
びCM１１の共通メモリー空間の処理済み空間の
解放通知の受取りを行なう。

このときの音声入力の終了の検出は、例えば、
入力される単音、或いは単語ごとの区切り部分に
現われるレベルの変化などによつて行なうように
なつている。

以上のCPU７の動作と並行してCPU８
は、そこに含まれているそれぞれのCPU−
１，CPU−２，CPU−３によつてCM１１の
共通メモリー空間の第１エリア、第２エリア、第
３エリアのそれぞれから各チヤンネルごとの音声
パターンを取込み、LM１０に記憶してある音声
標準パターンと比較照合し、その結果を結合集計
して類似度を求め、類似度の合計点によつて音を
決定し認識結果を出力する。

即ち、パターンマツチング処理を３台のCPU
−１，CPU−２，CPU−３によつて並列
に実行する。

このときのパターンマツチング処理の中心をな
す音声入力データと辞書データの照合は、単音の
場合は、子音と母音について順次行なわれるもの
であり、これを複数のCPUでパラレルに行なつ
た場合のフローチヤートの一例を示すと第６図の
ようになる。この第６図は、まず子音についての
照合をパラレルで行ない、ついで母音についてパ
ラレルに照合を行なつた場合であるが、反対に、
まず母音についてパラレル照合し、ついで子音に
ついてパラレル照合を行なうようにしてもよい。

その後、CPU７へのパターンマツチング処
理終了およびCM１１内の共通空間の対応する部
分の解放を通知し、ついでCPU７からの音声
入力終了通知の受け取りを行なう。

この間、CMB調停機１５は、CPU７からの
CMB要求信号ａとCPU８に含まれている３台
のCPUからのCMB要求信号ｃに応じてCPU７
とMIF１２にCMB利用許可信号ｂを送るか、或
いはCPU８に含まれている３台のCPUのいず
れかとMIF１３にCMB利用許可信号ｄを送るか
して、CM１４の使用割当てを行ない、CPU７
とCPU８に含まれている３台のCPUによるCM
１１の使用に競合が生じないようにする。

従つて、CPU７のソフトウエアの概要は、 デジタル音声入力信号の受取り 入力された信号の前加工 パターンマツチング処理に必要な音声パター
ンを共通メモリー空間に配置 CPU８への音声入力処理終了通知 CPU８からのパターンマツチング処理終
了通知および共通メモリー空間の対応する部分
の解放通知の受取り となる。

同様に、CPU８のソフトウエアの概要は、 共通メモリー空間から取出した音声パターン
と辞書メモリーの内容との照合 照合結合集計とそれによる認識結果の出力 CPU７へのパターンマツチング処理終了
の通知と共通メモリー空間の対応部分の解放の
通知 CPU７からの音声入力終了通知の受取り となる。

このとき、信号源１からの音声信号入力と
CPU８からの終了通知の間には特に同期が取
られている訳ではないから、これらの間にタイミ
ング的な関係はなく、音声信号入力とCPU８
から終了通知が同時に起ることさえある。

従つて、これらCPU７とCPU８に対する
ソフトウエアの構成は、２本のタスクからなるマ
ルチプログラミング構成とするのが望ましく、こ
れを周知の状態遷移図として表記したのが第７
図、および第８図で、これらの図に従つてアルゴ
リズムを組むようにすればよい。

このように、本発明の実施例によれば、音声入
力処理とパターンマツチング処理を専用のプロセ
ツサで行なうようにすると共に、比較的処理期間
が永く必要なパターンマツチング処理をさらに複
数のプロセツサによりパラレル処理するようにし
たので、音声認識動作を充分に高速化することが
できる。

なお、以上の実施例では、CPU８に含まれ
ているCPUの台数を３台としていたが、これは
単なる例示にすぎず、音声入力処理とパターンマ
ツチング処理とに要する期間の比率に応じて任意
の台数のものとすることができるものであり、従
つてCPU８に含まれるCPUの台数は一般的に
ｎ台と表わすことができる。勿論、このときには
データメモリー５（第３図）、或いはCM１１
（第５図）に設けられるメモリーエリアの数もｎ
になることはいうまでもない。

以上説明したように、本発明によれば、音声入
力をほぼ連続的に行なうことができるから、原稿
などの読上げに熟練を要することがなくなり、し
かも高速で原稿を読上げることができるから、処
理時間が短かくて済み、従来技術の欠点を除いた
実用的な音声認識装置を得ることができる。

【図面の簡単な説明】

第１図はマイクロコンピユータによる音声認識
装置の従来例を示す概念図、第２図はその動作を
示す説明図、第３図は本発明による音声認識装置
の一実施例を示す概念図、第４図はその動作を説
用する説明図、第５図は本発明の具体的な一実施
例を示すブロツク図、第６図はその動作説明用の
フローチヤート、第７図および第８図は本発明の
実施例におけるマイクロプロセツサによる処理を
状態遷移図にて表記した説明図である。 １……音声信号源、２……前処理部、３……Ａ
−Ｄ変換器、５……データメモリー、６……辞書
メモリー、７……音声入力処理専用のマイクロプ
ロセツサ（CPU）、８……パターンマツチング
処理専用のマイクロプロセツサ（CPU）、９，
１０……ローカルメモリー（LM）、１１……共
通メモリー（CM）、１２，１３……メモリーイ
ンターフエイス（MIF）、１４……共通メモリー
バス（CMB）、１５……共通メモリーバス調停機
（CMB調停機）。

Claims (1)

1. 【特許請求の範囲】 １ 音声信号から特徴パラメータの抽出と編集に
   より音声パターンを求める音声入力処理部と、音
   声パターンと音声標準パターンとの類似度を求め
   るパターンマツチング処理部からなる音声認識装
   置において、上記パターンマツチング処理部が複
   数のプロセツサを含み、かつこれら複数のプロセ
   ツサのそれぞれが上記音声入力処理部からの音声
   パターンを複数のチヤンネルに分割したそれぞれ
   のチヤンネルに対応して設けられていることを特
   徴とする音声認識装置。 ２ 特許請求の範囲第１項において、上記音声入
   力処理部とパターンマツチング処理部によるメモ
   リー共用部分に対する競合を防止する共通メモリ
   ーバス調停機能を設けたことを特徴とする音声認
   識装置。