JPS62124600A

JPS62124600A - 音声認識装置

Info

Publication number: JPS62124600A
Application number: JP60265506A
Authority: JP
Inventors: 博松浦; 宏之坪井; 平井　彰一; 洋一竹林
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1985-11-26
Filing date: 1985-11-26
Publication date: 1987-06-05
Anticipated expiration: 2012-04-23
Also published as: JP2603920B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の技術分野〕本発明は入力音声に対する復雑な認識処理を整然と効率
良く行い得る音声認識装置に関する。

〔発明の技術的背景とその問題点〕

近時、音声認識処理技術が発達し、例えば工場の生産ラ
インにおける選別工程の音声入力による制御や、音声に
よる電話サービス等に応用されている。

また最近では、音声入力による文章作成装置、つまり音
声ワードプロセッサの実用化が進められている。

ところが音声は種々の個人的特徴を含み、またその変動
要素も多い。これ故、一般的にその認識処理方式が高度
であり、またＷＩＮである。特に不特定話者を対象とし
、連続発声された音声を認識処理する場合、その認識処
理法が相当複雑化する。

またその認識処理時間が相当長くなることも否めない。

そこで、例えば連続発声された音声に対する文節の切れ
目等をキー操作によってコード入力し、入力音声に対す
る認識処理を支援することが考えられている。更にキー
操作だけによって文字コードを入力することも考えられ
ている。然し乍ら音声を入力し、その入力音声に対する
支援情報をコード入力しても、上述したように上記入力
音声に対する認識処理には時間が掛かる。この為、その
時間的なずれに起因して、例えば処理制御コードに従っ
て入力音声に対する認識候補の言語的な処理を行おうと
しても、その処理対象とする認識候補が求められていな
いことがある等の不具合が生じる。このように理由によ
り、複雑な音声認識処理を整然と効率良く行うことが非
常に困難である等の不具合があった。

〔発明の目的〕

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、入力音声に対する認識処理を整
然と効率良く行うことのできる実用性の高い音声認識装
置を提供することにある。

〔発明の概要〕

本発明は音声を入力すると共に、この入力音声に関する
処理制御コマンドをコード入力して上記入力音声を認識
処理する音声認識装置であって、前記入力音声を分析し
てその認識候補を求める処理と、処理制御コマンドに従
って上記認識候補を８語的処理して前記入力音声に対す
る認識結果を求める処理とを第１および第２のプロセッ
サ系で役割分担させてそれぞれ行なわせると共に、これ
らの各プロセッサが共通にアクセス可能な共有メモリを
設け、この共有メモリの認識候補バッファを介して前記
各プロセッサ間で必要なデータの受渡しを行わせ、また
上記共有メモリの入力順序バッファに前記入力音声の入
力検出コードおよび入力音声に関する処理制御コマンド
、および他の処理により与えられるコード等をその入力
順に格納して、前記各プロセッサによる前記入力音声に
対する認識処理手順を制御するようにしたものである。

〔発明の効果〕

かくして本発明によれば、一連の音声認識処理を第１お
よび第２のプロセッサ系にそれぞれ分散させて担わせ、
これらのプロセッサ間で共有メモリを介して処理データ
の受渡しを行いながら入力音声に対する認識処理をそれ
ぞれ独立に実行するので、入力音声を効率良く認識処理
することができる。また情報の入力順序に従って各プロ
セッサによる認識処理の手順が制御されるので、入力音
声に対する認識処理を整然と実行することが可能となる
。

また複数のプロセッサは、Ｈｇ処理レベルに応じて分散
された処理をそれぞれ個別に実行すれば良いので、各プ
ロセッサに対する負担を軽くすることが可能となり、各
プロセッサとしては比較的安価なものを用いることが可
能となる。しかも、複数のプロセッサによって処理を分
担さ′せるので、そのモジュール化を図ることが可能と
なり、ハードウェアおよびソフトウェアの両面において
、その構成の簡略化を図ることが可能となる等の実用上
多大なる効果が奏せられる。

〔発明の実施例〕

以下、図面を参照して本発明の一実施例につき説明する
。

第１図は実施例装置の概略構成図である。

音声入力部１を介して入力された音声信号はＡ／Ｄ変換
器２を介してディジタル化されて特徴抽出部３に導かれ
る。特徴抽出部３は、例えば１６チヤンネルのバンドパ
スフィルタにより構成されるもので、上記そのフィルタ
出力として前記入力音声の特徴パラメータを順次抽出し
ている。

類似度計算部４は上記入力音声の特徴パラメータを音声
認識辞書と照合し、認識対象カテゴリの特徴に対する上
記特徴パラメータの類似度を、例えば複合類似度法によ
って順次計算している。

そして類似度計算部４で求められた各カテゴリに対する
前記入力音声の特徴パラメータの類似度、および前記特
徴抽出部３で抽出された入力音声の特徴パラメータは、
ＤＭＡコントローラ５の制御を受けて、例えば１フレー
ム（，８ｍ５ｅｃ）周期毎にバス６を介して第１の共有
メモリ７にブロック転送され、例えば第２図に示すよう
に格納される。

尚、ＤＭＡコントローラ５は第１のプロセッサ８の制御
を受けて動作して、上記データ転送を制御するものであ
る。しかしその転送データ量が少ない場合には、上記Ｄ
ＭＡコントローラ５を用いることなく、前記第１のプロ
セッサ８の直接的な制御によって前記類似度および特徴
パラメータの共有メモリ７へのデータ転送が行われる場
合もある。

第１のプロセッサ８は、ローカルメモリ９に格納された
ブロクラムに従って、該ローカルメモリ９を作業領域と
して動作するもので、この第１のプロセッサ８にインタ
ーフェース１０．１１をそれぞれ介して前記特徴抽出部
３および類似度計算部４が接続され、その処理動作が制
御されている。またこの第１のプロセッサ８は、バス交
換回路１２を介して前記バス６に接続されており、前記
共有メモリ７を直接アクセスし得るようになっている。

この第１のプロセッサ８によって、前記共有メモリ１５
に格納されたデータ（特徴パラメータとその類似度）か
ら前記入力音声の、例えば摩擦性、破裂性、無音性、鼻
音性、無声性、有声性等の音響的特徴が１フレーム毎に
抽出されている。そしてこの第１のプロセッサ８によっ
て抽出された音響的特徴は前記共有メモリ７に転送され
、前記特徴パラメータやその類似度と共に格納されるよ
うになっている。

尚、共有メモリ７は、第２図に示すように１項目（１フ
レーム）当り　１９２バイトの情報格納領域を５００項
目分備え、４秒分に亙る入力音声の情報を格納し得るよ
うに構成されている。そして前記特徴抽出部３で求めら
れた特徴情報（特徴パラメータ）、類似度計算部４で計
算された類似度の情報、およびこれらの情報に基いて前
記第１のプロセッサ８で求められた音響的特徴情報がそ
れぞれフレーム毎に格納される。この際、そのフレーム
に対する第１のプロセッサ８による処理が終了してこと
を示すフェーズ情報が、上記共有メモリ７に書込まれる
。

このようにして共有メモリ７には、第１のプロセッサ８
の制御の下で処理された入力音声の分析データが１フレ
ームつづ格納され、常に現在から過去４秒間に亙る分析
データが保有されるようになっている。

また前記第１のプロセッサ８は、上述した如く入力音声
の音響的特徴を抽出した後、その音響的特徴等に従って
前記入力音声に対する音声区間の検出を行っている。そ
してその検出した。１４区間に従って、例えば各音節の
始端を示すコードを発生し、その検出タイミングを音声
の入力タイミングとして上記始端コードを後述する第２
の共有メモリに転送している。

一方、上記バス６にはバス交換回路１３を介して第２の
プロセッサ１４、およびローカルメモ、１月５が接続さ
れている。この第２のプロセッサ１４は、ローカルメモ
リ１５に格納されたプログラムに従って、該ローカルメ
モリ１５を作業領域として動作するものであり、前記共
有メモリ７を直接アクセスし得るように構成されている
。

この第２”のプロセッサ１４によって、上記共有メモリ
７に格納された情報が前記入力音声を１フレーム毎に認
識処理され、その認識候補が求められる。そして第２の
プロセッサ１４は、例えば１フレーム毎に第３位まで認
識候補を求めて後述する第２の共有メモリに転送してい
る。この第２のプロセッサ１４による入力音声のフレー
ム単位での認識処理は、前記フェーズ情報に従って前記
第１のプロセッサ８による入力音声の該当フレームに対
する分析処理が終了していることを確認して行われる。

尚、インターフェース１６を介して上記バス６に接続さ
れたフロッピーディスクドライブ（ＦＤＤ）１７は、例
えば前記音声認識辞書や音声用仮名漢字辞書等を格納し
たものである。このＦ　Ｄ　Ｄ　１７から上記辞書情報
が前記第１および第２のプロセッサ８．１４に読出され
て、前述した特徴パラメータの認識対象カテゴリに対す
る類似度計算や入力音声の音響的特徴の抽出処理、更に
は認識処理による認識候補の抽出等が行われることにな
る。

以上の処理ブロック（第１のプロセッサ系）により、入
力音声の特徴情報の抽出処理と、抽出された特徴情報に
基く入力音声の認１１５＋！ｌ理とが、共有メモリ７を
介する第１のプロセッサ８と第２のプロセッサ１４との
間のデータの受渡しによって相互に連携して行われるよ
うになっている。

つまり第１のプロセッサ８によって入力音声の特徴情報
が求められ、その特徴情報が共有メモリ７に格納される
。そして第２のプロセッサ１４は共有メモリ７に格納さ
れた特徴情報に従ってその入力音声を認識処理し、その
認識候補を求めるようになっている。

ここで前記第１のプロセッサ８と第２のブロセーツサ１
４とによって共有される共有メモリ７は、時分割制御さ
れて上記第１および第２のプロセッサ８．１４によりそ
れぞれアクセスされる。従って第１のプロセッサ８は、
第２のプロセッサ１５の処理動作とは独立に入力音声を
逐次分析処理し、その分析結果（入力音声の特徴情報）
を順次共有メモリ７に格納する。これに対して第２のプ
ロセッサ１５は、共有メモリ７にその特徴情報の全てが
書込まれたフレームに対して、順にそのフレームの入力
音声に対する認識処理を実行することになる。

従って第１および第２のプロセッサ８．１５は、入力音
声に対してバイブライン的に、その分析処理とその分析
結果（特徴情報）に基く認識処理とをそれぞれ実行する
ことになる。

一方、前記バス６にはバスインターフェース１８を介し
て第２のプロセッサ系のバス１９が接続されている。

この第２のプロセッサ系は、バス１９に接続された第２
の共有メモリ２０と、バス交換回路２１を介してバス１
９に接続された第３のプロセッサ２２とそのローカルメ
モリ２３、およびインターフェース２４゜２５をそれぞ
れ介して上記バス１９に接続されたマウス２６とキーボ
ード２７、そしてビデオＲＡＭ２８を介して上記バス１
９に接続されたディスプレイ２９とからなる。

第２の共有メモリ２０は、上述した第１乃至第３のプロ
セッサ８，１５．２２によってそれぞれ共有されるもの
で、例えば第３図に示すように認識候補バッファ２０ａ
と入力順序制御バッファ２０ｂとを備えて構成される。

この認識候補バッファ２０ａは、前記第２のプロセッサ
１５によってフレーム毎に求められた第１位から第３位
の０識候補を順に格納するものである。

また入力順序制御バッファ２０ｂは、前記第１のプロセ
ッサ８によって検出された入力音声の始端検出コード、
およびマウス２Ｇやキーボード２７からコード入力され
る処理制御コマンドをその入力順序に従って順に格納す
るものである。

しかして第３のプロセッサ２２は、ローカルメモリ２３
に格納されたプログラムに従い、該ローカルメモリ２３
を作業領域として動作するもので、前記共有メモリ２０
の認識候補バッファ２０ａに格納された認識候補を順に
読出し、例えば日本語情報辞書や連接辞書を参照して言
語的に検定し、前記入力音声に対する認識結果を求めて
いる。そしてその認識結果を、例えば順次仮名漢字変換
処理して前記ビデオＲＡＭ２Ｂに書込み、該ビデオＲＡ
Ｍ２８上に日本語文章を作成して前記ディスプレイ２９
にて表示している。

即ち、第３のプロセッサ２２は第２の共有メモリ２０を
介して前記第２のプロセッサ１５からの処理データ（認
識候補）を受け、これを言語的に処理してその認識結果
を求めるものとなっている。

ところで第３のプロセッサ２２による前記認識候補の言
語的処理は、前記共有メモリ２０の入力順序制御バッフ
ァ２０ｂに格納されたコード情報に従つて、その手続き
の流れが制御される。

即ち、前述したように入力順序制御バッファ２０ｂには
入力音声の入力タイミングを示す音声始端コード、およ
び前記マウス２Ｇやキーボード２７からコード入力され
た処理制御コマンドや文字コードが、その入力順に格納
されている。この処理制御コマンドは、例えば入力音声
の文節の区切りを指示する情報等からなる。

しかして今、例えば第４図に示すように音声が入力され
、その入力音声に関する処理制御コマンドがマウス２６
やキーボード２７からコード入力されると、上記入力音
声の各音部の始端検出コードと処理制御コードとが、第
５図に示すようにその入力順序に従って入力順序制御バ
ッファ２０６に格納される。

第３のプロセッサ２２は、この入力順序制御バッファ２
０ｂに格納されたコードを順に読出し、そのコードを判
定して前記認識候補バッファ２０ａに格納される認識候
補に対する言語的な認識処理を実行することになる。

尚、認識候補バッファ２０ａに格納される第１位から第
３位までの各音節に対する認識候補は、入力順序制御バ
ッファ２０ｂに格納される始端検出コードにそれぞれ対
応付けられる。

従って第４図および第５図に示される例では、第３のプ
ロセッサ２２は第１音部目の始端コードを得、次にマウ
スキー人力コードを得た場合、前記認識候補バッファ２
０ａに第１音節目の入力音声に対する認識候補が格納さ
れていることを上記始端コードに従って確認しｈ後、上
記マウスキー人力コードに従う言語的処理を実行するこ
とになる。

その後、次のタイミングで入力されたキーボード入力コ
ードに従って、その指示された処理を行うことになる。

　・同様にして第３音節目の始端コードを得た後、例えばマ
ウスキー人力コードで示される文節の区切りを示す情報
を得た場合、第３のプロセッサ２２は上記第３音面目に
対する認ｉＪ候補が認識候補バッファ２０ａに得られた
ことを確認シて、その文節に対する言語的処理を行うこ
とになる。

尚、認識候補バッファ２０ａへの各音節に対する認識候
補の格納の終了は、例えば第２のブロセッ　。

す１４が上記認識候補の格納時に該認識候補バッファ２
０ａに同時に書込む、第２のプロセッサ１４による処理
の終了を示すフェーズ情報を検出する等して確認される
。

以上のようにして本装置では、第１乃至第３のプロセッ
サ８，１４．２２により、入力音声に対する特徴抽出等
の分析処理、この分析処理によって抽出された特徴情報
に基く認識処理、およびその結果水められた認識候補に
対する言語的な処理による認識結果の選択と文章作成処
理が、それぞれ段階的に分担して実行される。しかも各
プロセッサはこれらの処理をバイブライン的に実行し、
共有メモリ７．２０を介してその処理データを受渡しな
がら、その処理を並列的に実行する。

また共有メモリ７．２０に格納されるフェーズ情報に従
って前段のプロセッサによる処理が終了していることを
確認しながら、上述した各処理をそれぞれ独立に実行す
ることになる。従って入力音声に対する複雑な認識処理
を整然と、効率良く実行することが可能となる。　　゛また本装置にあっては、共有メモリ２０の入力順序制御
バッファ２０ｂによって音声の入力タイミングと、その
入力音声に対する処理制御コマンドの入力タイミングと
が管理されているので、処理制御コマンドを入力した時
点と、その処理すべき入力音声に対する認識］候補が得
られるタイミングとの藺に時間的なずれが生じても、そ
の時間的なすわれる。

従って音声を発声入力しながら、その発声に応じて処理
制御コマンドを随一入力しても、その入力順序に従って
上記入力音声が正しく認識処理されることになる。故に
、発声者〈オペレータ〉に対する負担を大幅に軽減して
、自然性良く音声入力による文章作成を行うことが可能
となる。

また前記３つのプロセッサにおけるメモリアドレス空間
の割当てを、例えば第６図に示すように設定しておけば
、各プロセッサは任意に共有メモリ１，２０をアクセス
することが可能となる。そして第１のプロセッサ８と第
２のプロセッサ１４とに共有される共有メモリ７に、例
えば音声Ｋｎ用のフレームデータを格納するようにし、
また第１のプロセラｇ８、第２のプロセッサ１４、およ
び第３のプロセッサ２２によって共有される共有メモリ
７に、例えばシステム制御用のフェイズ情報、認識結果
候補、および入力順序制御情報等を格納するようにすれ
ば、個々のローカルメモリ、および共有メモリにそれぞ
れ格納する情報を最少限に止どめることが可能となる。

そして各プロセッサは、個々に独立に動作してローカル
メモリまたは共有メモリをアクセスすれば良いので、そ
のアクセスの高速化を図り得る等の効果が奏せられる。

従って複数のプロセッサによる音声認識処理の分散化と
、その並列的な処理、および共有メモリを介したパイプ
ライン的な処理とによって、入力音声を整然と、且つ効
率良く実行することが可能となる等の実用上多大なる効
果が奏せられる。

また本装置にあっては、各プロセッサによって音声認識
処理に対する役割が分担されているので、その役割毎に
プロセッサ系のモジュール化を図ることが容易である。

従ってハードウェア構成の簡易化を図り得ると共に、ソ
フトウェア個性の簡略化を図ることも容易であり、シ（
ステムの拡張性に優れている等の効果が奏せられる。

尚、本発明は上述した実施例に限定されるものではない
。ここでは、音声の認識処理を３段階に分けて実行した
が、入力音声の分析処理とその認識処理とは、コード入
力される処理制御コマンドに関係な（実行できることか
らこれらを統合して、その音声認識処理を２段階に分け
て実行するようにしても良い。また複数のプロセッサに
よって共有メモリを時分割に共有する為の制御方式も特
に限定されない。その他、本発明はその要旨を逸脱しな
い範囲で種々変形して実施することができる。

【図面の簡単な説明】

第１図は本発明の一実施例装置の概略構成図、第２図は
実施例装置における第１の共有メモリの構成図、第３図
は実施例装置の第２の共有メモリの構成図、第４図およ
び第５図は入力音声と入力コードに対する入力順序制御
の例を示す図、第６図はプロセッサのメモリアドレス空
間の構成例を示す因である。１・・・音声入力部、２・・・Ａ／Ｄ変換器、３・・・
特徴抽出部、４・・・類似度計算部、５・・・ＤＭＡコ
ントローラ、６・・・バス、７・・・第１の共有メモリ
、８・・・第１のプロセッサ、９・・・ローカルメモリ
、１０．１１・・・インターフェース、１２．１３・・
・バス交換回路、１４・・・第２のプロセッサ、１５・
・・ローカルメモリ、１６・・・ＦＤＤインターフェー
ス、１７・・・ＦＤＤ、１８・・・バスインターフェー
ス、１．９・・・バス、２０・・・第２の共有メモリ、
２１・・・バス交換回路、２２・・・第３のプロセッサ
、２３・・・ローカルメモリ、２４．２５・・・インタ
ーフェース、２６・・・マウス、２７・・・キーボード
、２８・・・ビデオＲＡＭ。２．９・・・ディスプレイ。出願人代理人　弁理士　鈴江武彦第１図第２図第４図

Claims

【特許請求の範囲】

（１）入力音声を認識処理して該入力音声に対する認識
候補を求める第１のプロセッサ系と、この第１のプロセ
ッサ系で求められた認識候補を前記入力音声に関連して
コード入力された処理制御コマンドに従って言語的に処
理してその認識結果を求める第２のプロセッサ系と、前
記第１のプロセッサ系で求められた前記認識候補を格納
して前記第２のプロセッサ系による言語的処理に供する
認識候補バッファ、および前記第１のプロセッサ系で検
出される入力音声の入力検出コードと前記入力音声に関
連してコード入力された処理制御コマンド、および他の
処理により入力されたコードを入力順に格納して前記第
１および第２のプロセッサ系による処理手順の制御に供
する入力順序バッファとを備えた共有メモリとを具備し
てなることを特徴とする音声認識装置。
（２）第１のプロセッサ系は、入力音声の特徴パラメー
タと音声辞書との類似度を計算すると共に、上記入力音
声の音響的特徴を抽出するプロセッサ系と、上記特徴パ
ラメータの時系列とその類似度の情報、およびその音響
的特徴から前記入力音声に対する認識候補を求めるプロ
セッサ系とからなり、これらのプロセッサ系間に共通に
設けられたメモリを介して処理データの送受を行ってそ
れぞれ独立に動作してなるものである特許請求の範囲第
１項記載の音声認識装置。
（３）各プロセッサ系は、共通メモリに格納されたフェ
ーズ情報に従つて相互に同期動作するものである特許請
求の範囲第１項記載の音声認識装置。