JPH07104678B2 - 音声認識システム - Google Patents

Description

【発明の詳細な説明】 （イ） 産業上の利用分野 本発明は音声入力により、音声の結果を文字で表示させ
るための文字情報を登録する音声認識システムに関す
る。

（ロ） 従来の技術 従来の音声認識ワープロ（例えば特開昭60−55434号公
報）はマイクより音声認識ワープロに直接音声を入力し
音節あるいは文節あるいは単語単位に修正編集を行ない
文書作成を行なうものであった。

まず、音声認識を行なうにあたり、音声認識に必要な音
声の標準パターンを作成するため、音声登録を行なう。
次ぎに使用したい単語のうち音声ワープロの辞書にない
単語御の文字列または文字列と音声を音声ワープロの辞
書に登録する。

この時、使用者はまず登録したい単語の文字または文字
列をキーボードを使用して以下の入力処理がなされる。
この時表示装置には入力した単語の文字または文字列が
表示され、正しく表示されていれば単語に対応する音声
を登録する。正しく表示されていなければキーボードを
使用して表示を修正したうえで、単語に対応する音声を
登録する。

音声で文字を入力する従来の音声ワープロの如き音声認
識システムは、任意の単語を音声認識させるために登録
操作を行なう。この時の登録方法を以下に述べる。

使用者は登録したい単語の文字または文字列をキーボー
ドを使用して入力する。この時表示装置には入力した単
語の文字または文字列が表示され、正しく表示されれば
単語に対応する音声を登録する。この方法はキーボード
を使用しなければならず、キーボード操作に不慣れな使
用者にとっては不便である。

（ハ） 発明が解決しようとする問題点 本発明は、かかる点に鑑み、非常に簡単なキー操作で任
意単語登録を行なえるようになした音声認識システムを
提供するものである。

（ニ） 問題点を解決するための手段 本発明の音声認識システムは、音声認識を行なうにあた
り、先ず音声認識に必要な音声の標準パターンを作成す
るため、音声登録を行なう事で認識に必要な最低限の情
報が揃う。次に任意単語の登録を行なうが、この任意単
語の音声登録時にすでに機能する音声認識手段を用いて
任意単語の登録を行なうものである。

（ホ） 作用 本発明システムによれば、任意単語の音声登録時に音声
認識機能を用いるため、キー操作による文字入力を解消
でき、非常に簡単なキー操作で、任意単語の文字列の登
録を行なうことができる。

（ヘ） 実施例 第１図に本発明を採用して音声入力により文章作成する
ディクテーティングマシンの外観図を示し、第２図を該
マシンの機能ブロック図を示す。

第２図に於て、（１）は第１図の本体（100）内に回路
装備された音声認識部であり、その詳細は第３図のブロ
ック図の示す如く、入力音声信号の音圧調整を行う前処
理部（11）［第４図］、該処理部（11）からの音圧調整
済みの音声信号からその音響特徴を示すパラメータを抽
出する特徴抽出部（12）［第５図］、該抽出部（12）か
ら得られる特徴パラメータに基づき入力音声の単語認識
を行う単語認識部（13）［第６図］と文節認識部（14）
［第７図］、及びこれらいずれかの認識部（13）、（1
4）からの認識結果に基づき認識単語文字列、或いは認
識音節文字の候補を作成する候補作成部（15）からな
る。

更に第２図に於て、（２）は第１図に示す如く本体（10
0）に機械的並びに電気的に着脱可能なテープレコーダ
等の登録再生装置、（３）は例えば第１図図示の如きヘ
ッドホンタイプのマイクロホン、（４）は登録再生装置
（２）とマイクロホン（３）と音声認識部（４）とのあ
いだの接続切り換えを行う入力切り換え部［第８図］で
ある。（６）は認識結果に基づき生成した文字列等を表
示するための表示装置、（７）は該ディクテーティング
マシンの各種制御信号を入力するためのキーボード、
（８）は該ディクテーティングマシンで生成された文字
列を記憶する磁気ディスク装置等の記憶装置、（９）は
該記憶装置の文字列を規則合成によりスピーカ（10）か
ら読み上げるための音声合成部である。尚、（５）はマ
イクロプロセッサからなる制御部であり、上記各部の動
作の制御を司っている。

上述の構成のディクテーティングマシンに依る文章作成
方法としては二通りあり、それぞれに就いて以下に詳述
する。

第一の方法は、マイク（３）より生音声を音声認識部
（１）に入力し、音声認識を行ない、入力音声を文字列
に変換し、表示装置（６）に表示し、同時に記憶装置
（８）に結果を記憶する。

第二の方法は、入力したい文章を予め録音再生装置
（２）に録音しておき、この録音再生装置（２）を本装
置に接続し、録音文章を音声認識部（１）に入力するこ
とにより、音声認識を行ない、入力音声を文字列に変換
し、表示装置（６）に表示し、同時に記憶装置（８）に
結果を記憶する。

上述の様に、音声を入力する方法は、二通りあるので、
入力切り換え部（４）において、入力の入り換えを行な
う。また入力切り換え部（４）は、入力の切り換え部の
他に、録音再生装置（２）に録音信号（イ）を録音する
のか、マイク（３）より入力された音声を録音するのか
の切り換えも行なう。

以下に音声録音から文章作成までの動作を順次詳述す
る。

（ｉ） 音声登録処理 音声認識を行なうに先だち、音声認識に必要な音声の標
準パターンを作成するため、音声登録を行なう。

まず、音節登録モードについて述べる。

ここで述べている標準パターンとは、音声認識（１）の
文節認識部（14）でのパターシマッチィング時の基準パ
ターンとなるものであり、具体的には第７図の如き文節
認識部（14）の音節標準パターンメモリ（14d）に格納
される。

本ディクテーティングマシンに音声登録する方法は、ま
ず第７図のスイッチ（14s1）を操作しパラメータバッフ
ァ（14a）と音節認識部（14b）とを接続し、次に述べる
三方法がある。

第一の方法は該マシンの本体（100）にマイク（３）よ
り直接等録音声を入力し、この登録音声を音声認識部
（１）で分析し、標準パターンを作成し、作成した標準
パターンを音節標準パターンメモリ（14d）および記憶
装置（８）に記憶させる方法である。

第二の方法は前もって登録音声を録音しておいた録音再
生装置（２）を本体（100）に接続し、この録音登録音
声を再生することにより登録音声の入力をなし、この入
力した登録音声を音声認識部（１）で分析し、標準パタ
ーンを作成し、作成した標準パターンを音節標準パター
ンメモリ（14d）および記憶装置（８）に記憶させる方
法である。

第三の方法は本マシンの本体（100）にマイク（３）か
ら直接登録音声を入力するが、このとき同時に録音再生
装置（２）を本体（100）に接続しておきこの入力され
た音声を録音再生装置（２）に録音しながら、本体（10
0）側ではマイク（３）からの登録音声の分析を行ない
標準パターンを作成し、作成した標準パターンを記憶装
置（８）に記憶させておく。そして、次にこのマイク
（３）への音声入力が終了すると、これに引き続き、録
音再生装置（２）に録音された音声を再生し、この録音
された登録音声を音声認識部（１）で分析し、標準パタ
ーンを作成し、作成した標準パターンを音節標準パター
ンメモリ（14d）に記憶しておくと同時に、記憶装置
（８）にも上述のマイク（２）からの直接の登録音声の
音節標準パターンと共に記憶させる方法である。

この第３の方法に於ては、録音再生装置（２）に録音し
た音声は録音再生装置（２）の周波数特性を受けていた
め、録音した音声から作成した標準パターンと、マイク
（３）から直接入力した音声より作成した標準パターン
とを比べた場合、両標準パターンの間に違いが現れる。
故に録音音声を認識させるときは、録音音声より作成し
た標準パターンを使用する必要があり、マイク（３）か
ら直接入力した音声を認識させるときは、マイク（３）
から直接入力した音声より作成した標準パターンを使用
する必要があるので、上述の如きの方法をとることによ
って、マイク（３）から直接登録した標準パターンと録
音音声より作成した標準パターンの両パターンを一回の
音声登録操作によって作成し記憶できる。また、一度録
音再生装置（２）に登録音声を録音しておけば標準パタ
ーンを作成していないディクテーティングマシン上にも
登録者の発声入力を必要とせず、この登録音声を再生入
力するだけで、標準パターンが作成できる。また、録音
再生装置（２）に録音音声を録音し、さらにこの録音音
声のあとに文章を録音しておけば、後にこの録音再生装
置（２）を本体（100）に接続し、録音された音声を再
生するだけで音声登録から、文章作成まで、すべて自動
的に行なえる。

尚、音声の標準パターンを作成する為の登録者の発声入
力は、本装置が一定の順序で表示装置（６）に表示する
文字を登録者が読み上げることにより行なわれる。

また、本マシン専用の表示機能をもつ録音再生装置
（２）を使用する場合はこの録音再生装置（２）単独で
携帯する時でもその表示画面に表示さた見出し語に対応
する音声を発声し録音再生装置（２）に録音する事で、
標準パターンの作成が可能となる。

上述の如く、標準パターンを作成するための登録音声を
録音再生装置（２）に登録する場合は、この録音された
登録音声より標準パターンを作成するときにノイズなど
の影響を受け録音音声とこれに対応するべき見出し語と
がずれる可能性があり、以下、第９図に基づき、説明の
ため録音再生装置としてテープレコーダを使用した場合
について述べる。第９図（ａ）はテープレコーダに標準
パターン作成のための登録音声を録音した状態のうち、
見出し語「あ」〜「か」に対応した登録音声“あ”〜
“か”の間のテープの状態を表わしており、ここでは
“え”と“お”の間に［ノイズ］が録音された場合を示
す。第９図（ａ）の様に録音音声と録音音声との間に
［ノイズ］が録音されたテープにより音声登録を行なっ
た場合、１番目に録音された音が“あ”で２番目に登録
された音が“い”という様に、ただ単にテープに録音さ
れた音の順序により、入力された録音音声がどの音節に
対応しているのかを決定していると、［ノイズ」まで登
録音声とみなして見出し語を対応させるので入力された
実際の登録音声と見出し語とがずれてしまう。

ここで、第９図（ｂ）は［ノイズ］を音声と誤認識し、
見出し語「え」のところに［ノイズ］が入力され、見出
し語「お」のところに音節“え”が入力された図であ
る。

この様に登録音声より標準パターンを作成するときにノ
イズなどの影響を受け録音音声と見出し語とがずれる場
合があるため、第９図（ｃ）に示すように、録音音声の
種類を示したキャラクターコード音を、登録音声に対応
させて録音再生装置（２）に録音する。この方法によ
り、“う”と“え”の間に［ノイズ］が録音されていて
も、上述のように、入力された音と見出し語とのずれを
防止する。

このずれを防止する特定周波数のキャラクターコード音
の録音方法を、録音再生装置（２）のテープレコーダが
シングルトラックである場合と、マルチトラックである
場合とにわけて説明する。

まず第10図において、録音方式としてマルチトラックを
もつ録音再生装置を使用する場合について述べる。

録音方式としてマルチトラックをもつ録音再生装置を使
用する場合は同図（ａ）に示すように音声を録音してい
ないトラックに見出し語に対応するキャラクターコード
を録音する。音声認識部（１）では、このキャラクター
コード音より、入力される音声の見出し語を知るととも
に、音声トラックに録音された音のうち、このキャラク
ターコード音が録音された区間t1に録音された音のう
ち、音圧しきい値以上の条件をみたすもののみを音声と
みなし、分析を行なう。

または、同図（ｂ）に示すように、音声の始めと終わり
に見出し語に対応するキャラクターコードを録音し、音
声トラックに録音された音のうち、この音声の始めを示
すキャラクターコード音と、音声の終わりを示すキャラ
クターコード音の間の区間t2に録音された音のうち、音
圧しきい値以上の条件をみたすもののみを音声とみな
し、分析を行なう。

または、同図（ｃ）に示すように、音声の始めに見出し
語に対応するキャラクターコードを録音する。音声トラ
ックに録音された音のうち、この音声の種類を示すキャ
ラクターコード音から、次の見出し語に対応するキャラ
クターコード音までの区間t3に録音された音のうち、音
圧しきい値以上の条件をみたすもののみを音声のみな
し、分析を行なう。

また第二の方法としてシングルトラックの録音再生装置
（２）の場合は、見出し語に対応するキャラクターコー
ドを音声の分析周波数帯域外の音で表わし、音声の録音
されているトラックに音声と共に録音する。この場合の
キャラクターコード音を録音する方法は、上述のマルチ
トラックの場合と同様である。つまり、上述のt1、t2、
t3の区間に録音された音うち、上述と同様の条件をみた
すもののみを音声とみなし、分析を行なう。ただし、音
声と、キャラクターコード音が重なっている同図（ａ）
に示した実施例の場合以外は、キャラクターコード音
に、音声の分析周波数帯域外の音を使用しなくてもよ
い。

次ぎにアルファベット、数字およびカッコや句読点など
予め第６図の如き単語認識部（13）の単語辞書（13d）
にキャラクター登録されている単語に対応する単語標準
パターンを、同図の単語標準パターンメモリ（13c）に
登録する。

まず、所定の操作により、第６図のパラメータバッファ
（13a）と単語標準パターンメモリ（13d）とがスイッチ
（13s1）により接続され、単語登録モードにする。

つぎに、本装置本体（100）の表示装置（６）にアルフ
ァベット、数字およびカッコや句読点などが表示され、
操作者はこれに対応する読みを音声入力する。

音声認識部（１）では、この音声を分析し、単語標準パ
ターンメモリ（13c）に単語標準パターンの登録を行な
う。

上述までの操作により音声認識は可能となる。しかし、
自立語・付属語辞書（14e）および単語辞書（13d）にな
い単語を認識させたいときは、自立語・付属語辞書（14
e）に認識させたい単語を登録するか、単語辞書（13d）
に認識させたい単語を、また単語標準パターンメモリ
（13c）に単語標準パターンを登録する必要がある。た
だし、自立語・付属語辞書（14e）に単語を登録する
か、単語辞書（13d）および単語標準パターンメモリ（1
3c）に、単語および単語標準パターンを登録するかは、
使用者がその単語を文節発声として認識させたいか、単
語発声として認識させたいかによって決定する。

また、自立語・付属語辞書（14e）にはあるが、単語辞
書（13d）になく、それでも単語認識で認識させたい場
合、かかる単語を単語辞書（13d）および単語標準パタ
ーンメモリ（13e）に、単語および単語標準パターンを
登録する必要がある。

以下に任意単語の登録方法について述べる。

単語の登録には、単語を自立語・付属語辞書（14e）に
文字列を登録する登録と、単語を単語標準パターンメモ
リ（13c）に単語標準パターンを登録、および単語辞書
（13d）に文字列を登録する２方法がある。

単語を自立語・付属語辞書（14e）に登録する場合は、
登録したい単語を発声し本装置に入力する。

このとき本装置はこの音声を音声認識部（１）で認識
し、認識結果を表示装置（６）に表示する。使用者はこ
の結果が正しければキーボード（７）の所定のキーを押
し、発声音声を表示装置（６）に表示されている文字列
として自立語・付属語辞書（14e）に登録する。もし、
表示装置（６）に表示された認識結果が正しくなけれ
ば、本装置の音節修正機能により表示装置（６）に表示
された認識結果を修正するか、登録した単語を再発声す
る。また再発声した結果が誤っているときは、再び本装
置の音節修正機能により修正する。上述の操作を表示装
置（６）に表示される文字列が登録したい単語と一致す
るまで繰り返す。

単語を単語標準パターンメモリ（13c）および単語辞書
（13d）に登録する場合は、単語を自立語・付属語辞書
（14e）に登録する場合と同様にまず表示装置（６）に
登録したい文字列を正しく表示させる。次に正しく認識
された文字列と単語標準パターンを、単語辞書（13d）
および単語標準パターンメモリ（13c）にそれぞれ登録
する。

また、自然な発声で入力された音声を認識することは、
現在の音声認識技術のレベルを考えた場合、無理があ
る。現在の音声認識技術のレベルでは、連続音節発声入
力が限度であるため、以下に連続音節発声入力の一実施
例について記す。

連続音節発声入力の場合も、上記の手順と同一である
が、連続音節発声入力の場合は、単語標準パターンも連
続音節発声のパターンとなっているため、登録したい単
語を自然発声で再発声し、単語標準パターンを自然発声
より作成し、単語標準パターンと文字列を単語標準パタ
ーンメモリ（13c）および単語辞書（13d）にそれぞれ登
録する。

以上の操作により、音声認識により文章作成のために必
要なデータを登録できた事となる。

（ii） 文章作成 以下に文章作成の実施例について述べる。

まず、認識動作を行なう場合は、単語認識部（13）のス
イッチ（13s1）は、パラメータバッファ（13a）と単語
判定部（13b）を接続する様に、文節認識部（14）のス
イッチ（14s1）は、パラメータバッファ（14a）と音節
認識部（14b）を接続する様に設定する。

文章作成には二方法がある。

第一の方法は本装置の本体に作成したい文章を音声によ
りマイク（３）から直接入力するオンライン認識方法で
ある。

第二の方法は文章を録音しておいた録音再生装置（２）
を本装置に接続し、録音文章を再生し、認識させるオフ
ライン認識である。

まず、オンライン認識の実施例について述べる。

オンライン認識の場合は、本装置にマイク（３）より直
接文節単位または単語単位に発声した文章を音声入力す
るので、所定の操作により、入力切り換え部（４）でマ
イク（３）と音声認識部（１）を接続する。

また、マイク（３）より入力している音声を録音再生装
置（２）に録音しておきたいときは、録音再生装置
（２）を本体に接続し、入力切り換え部（４）をマイク
（３）の出力と録音再生装置（２）の録音端子とを接続
する。

また同時に、後述の様に無音検出信号が特徴抽出部（1
2）より入力された場合は、文節、または単語区切りを
示すビープ音を録音するよう機能する。

音声認識時は、単語認識部（13）と文節認識部（14）が
起動している。

マイク（３）より入力された音声は、前処理部（11）で
入力音声を音声分析に適した特性になるよう処理を施さ
れ（例えば入力音声の音圧が小さい時は、増幅器により
音圧を増幅したりする処理を行なう）、特徴抽出部（1
2）に送られる。

特徴抽出部（12）では、第５図に示す如く、前処理部
（11）より入力されてきた音声を分析部（12a）で分析
し特徴抽出を行ない、パラメータバッファ（12c）に記
憶する。

同時に、特徴抽出部（12）の分析単位判定部（11b）で
は、分析部（11a）の分析結果より、音節または文節単
位に発声されたあとの無音区間、および文節または単語
単位に発声されたあとに録音されたビープ音（詳細は後
述のオフライン認識の実施例に示す。）の検出を行なっ
ており、無音区間を検出した場合、無音区間検出信号
（ロ）を発声する。

かかる無音区間検出信号（ロ）を受け取ったパラメータ
バッファ（12c）を、記憶している特徴パタメータを単
語認識部（13）と文節認識部（14）に送り、記憶内容を
消去する。

単語認識部（13）に入力された特徴パラメータは、第６
図に示されたパラメータバッファ（13a）に記憶され
る。単語判定部（13b）では、パラメータバッファ（13
a）に記憶された特徴パラメータと単語標準パターンメ
モリ（13c）とを比較し、パラメータバッファ（13a）に
記憶された特徴パラメータと、尤度の大きい単語標準パ
ターンをもつ単語を、単語辞書（13d）より複数語選
び、選ばれた単語の文字列とその尤度値を候補作成部
（15）に送る。

一方、文節認識部（14）に入力された特徴パラメータ
は、パラメータバッファ（14a）に記憶される。音節認
識部（14b）では、パラメータバッファ（14a）に記憶さ
れた特徴パラメータと音節標準パターンメモリ（14d）
とを比較し、パラメータバッファ（13a）に記憶された
特徴パラメータを音節列に変換し、かかる音節列を文節
判定部（14c）へ送る。文節判定部（14c）では入力され
た音節列と自立語・付属語辞書（14e）に登録されてい
る単語を比較し、自立語と付属語を組み合わして尤度の
大きい文節を複数組み作成し、作成した分析の文字列と
その尤度値を候補作成部（15）に送る。

候補選択部（15）は入力された文字列から尤度の大きい
ものを複数個選び、尤度値と単語認識部（13）から送ら
れてきたデータか文節認識部（14）から送られてきたデ
ータかを示すコードを付加し記憶する。同時に、尤度の
最も大きいものの文字列を、表示装置に表示させる信号
を制御部（５）に送る。制御部（５）は、この信号を受
け尤度の最も大きいものの文字列の後に区切記号マーク
「｜」をつけ、例えば第９図（ａ）に入力文章に対して
第９図（ｂ）に示すような形式で表示装置に表示させ
る。同時に候補選択部（15）は制御部（５）に、候補選
択部（15）に記憶された内容を記憶装置（８）に記憶さ
せる信号を送る。制御部（５）はこの信号を受け、候補
選択部（15）に記憶された文字列の後に区切り記号を表
わすコードを付加した形で記憶装置（８）に記憶させ
る。この外部記憶装置に記憶された文字列は、ワープロ
の一次原稿とするため、一般的にはフロッピーディスク
ドライブを用いるが、このとき記憶装置（８）のファイ
ルのフォーマットはワープロのファイルフォーマットに
合わせておく。

また、この無音区間検出信号をうけとった第８図に示す
入力切り換え部（４）の信号発生部（42）は、文章の文
節または単語の区切りを表わすビープ音を発生し、かか
るビープ音をスイッチ（41）に入力する。スイッチ（4
1）は、マイク（３）から入力される音声と、信号発生
部（42）より入力されるビープ音を、録音再生装置
（２）に録音するよう、回路を接続し、録音再生装置
（２）に録音されている文章の文節または単語の区切り
と見なされた無音区間にビープ音を録音する。

次ぎに、オフライン認識の実施例について述べる。

オフライン認識の場合は、本装置に録音再生装置（２）
の録音音声を再生入力することにより文章作成を行なう
ものであるため、まず録音再生装置（２）に文章を録音
する。

また、録音再生装置（２）より音声入力を行なうため、
入力切り換え部（４）により、録音再生装置（２）と音
声認識部（１）を接続する。

文章録音時は、文節単位または単語単位に発声し、文節
および単語間に無音区間を作る。また、第１図に示す如
き本装置専用の録音再生装置（２）を使用する場合は、
文節および単語の区切りを明確にするため、区切りを示
すビープ音を、録音再生装置（２）または本ディクテー
ティングマシン本体に設定されている区切りキー（71）
を押し録音する。

また、単語登録をした単語は、単語単位に発声をおこな
うが、録音再生装置（２）がキャラクター音発生機能を
持ち、かつ入力したい単語に相当するキャラクターをも
っていれば、音声の替わりにそのキャラクター音を録音
してもよい。

また、文章単位の頭だしや文章と文章の間に録音された
ノイズを音声と誤り認識してしまうことを避けるために
文章の始まりと終わりを示す信号を音声と共に録音して
おく。

ただし、この信号の録音方法は、録音再生装置（２）が
マルチトラック方式か否かにより音声登録のところで述
べたように変わる。第11図はマルチトラック方式および
シングルトラック方式で音声帯域外の音を音声と共に録
音する方式の場合の図である。第12図はシングルトラッ
ク方式で音声帯域外のDTME信号等の音を文章の始まる前
に録音し、文章が終了したときに再び録音し、この両信
号の間に文章が録音されているとみなす方法である。

また文章を認識するときは、信号の録音されている前後
t4およびt5の区間をサンプリングし、音声か否かを判定
するため必ずしも文章の始まりと信号の始まり、および
文章の終わりと信号の終わりが一致している必要はな
い。このため、文章を発声するタイミングとキーを押す
タイミングが少々ずれても認識可能である。

次に、録音再生装置（２）を本装置の本体と接続し録音
音声を再生し認識処理を行なうが、この録音音声を認識
させる前に認識速度のモードを、録音音声の再生速度を
速くして、認識時間短縮を行なう早聞き認識のモード
か、通常の再生速度で認識させるモードか、時間的に余
裕があり、高認識率を必要とするときは、二度再生認識
モードのいずれかのモードに設定しておく。

まず早聞き認識モードの実施例を記す。

早聞き認識モードでは、録音音声の再生速度を速くして
いるため、入力音声の特性が、通常の再生速度で再生さ
れた登録音声より作成した、標準パターンとは特性が違
っており、単に再生速度を速くした音声を入力しても、
正確に音声認識を行なえない。

そこで、再生速度を速くした音声を正確に認識するた
め、サンプリング周波数を変更する。以下に、かかる方
法の、実施例を記す。

第５図の特徴抽出部（12）のサンプリング周波数制御部
（12d）は、特徴抽出部（12）の入力音声のサンプリン
グ周波数を音声の標準パターンを作成したときのサンプ
リング周波数の（再生速度／録音速度）倍に設定し、音
声をサンプリングし分析する。特徴抽出部（12）以降の
処理はオンライン認識時の実施例と同様。ただし、録音
再生装置（２）の録音文章に、文節および単語の区切り
を明確にするための区切りを示すビープ音を録音済みの
文章を入力し、特徴抽出部（12）がかかるビープ音を検
出したとき、特徴抽出部（12）は無音区間検出信号の代
わりに、ビープ音検出信号を発生する。受信信号が、無
音区間検出信号でなく、ビープ音検出信号の場合、入力
切り換え部（４）の信号発生部（42）は、文章の文節ま
たは単語の区切りを表わすビープ音の発生は行なわな
い。

また、音声認識部（１）は、単語を示すキャラクター音
を認識した場合は、かかるキャラクター音に対応した単
語を認識結果として出力する。

次に二度再生認識モードの実施例を記す。

本モードは、まず録音音声を再生し本装置に入力する。
このとき音声認識部（１）の前処理部（11）で録音音声
の音圧変動を全て読みとり、このデータを第４図に示す
音圧変動記憶メモリ（11b）に記憶する。次ぎに、再び
録音音声を再生し本装置に入力する。このとき前処理部
（11）では、音圧変動記憶メモリ（11b）に記憶された
データを使用し、特徴抽出部（12）への入力音圧を第18
図に示す如く、音声認識に最も適したレベルにあわせる
よう、AGC回路（11a）の増幅率を調整する。即ち、利得
Ｇを固定利得Ａに制御電圧V_G（可変調整される）を乗じ
たものとする。

また、二度再生認識モードの別の実施例として、多数回
再生認識モードも考えられる。これは、録音文章を多数
回再生入力し、入力のつど、音声認識部（１）における
認識方法を変更することによって認識された結果を比較
し、最も確からしさの尤度の大きいものを、選択する方
法である。

また、録音再生装置（２）に登録用音声を録音しておら
ず、かつ録音再生装置（２）によっては再生速度を速く
した場合の周波数特性と通常の再生速度の場合の周波数
特性が違うものを使用するとき、または音声の標準パタ
ーン作成に使用した録音再生装置（２）と違う周波数特
性をもつ録音再生装置（２）に録音した文章を認識させ
るとき、または音声の標準パターン作成に使用した録音
再生装置（２）と規格上は同じ周波数特性を有するが使
用部品等の誤差の影響をうけ実際の周波数特性が音声の
標準パターン作成に使用した録音再生装置（２）と違っ
ている録音再生装置（２）に録音した文章を認識させる
ときは、以下に述べる周波数特性の影響を補正する機能
を使用する。

まず、録音再生装置（２）の周波数特性を測定する場合
の基準となる基準正弦波信号を基準信号発生部（42）で
発生させ、録音再生装置（２）に録音する。しかる後に
録音されたかかる基準正弦波信号を本装置に再生入力す
る。入力された基準正弦波信号を音声認識部（１）は分
析し、録音された基準正弦波信号と、基準信号発生部
（42）で発生させた基準正弦波信号との周波数特性の差
を求め、録音された基準正弦波信号と、基準信号発生部
（42）で発生された基準正弦波信号との周波数特性の差
を小さくするように、補正をかける。補正をかける手段
は、音声認識部（１）の特徴抽出部（12）の特徴抽出方
法により、多数考えられる。例えば第13図に示したよう
に、直列接続されたバンドパスフィルタ（BPF）と増巾
器（AMP）との並列接続体からなるアナログフィルター
バンク方式とするものであれば、増幅器（AMP）の増幅
率を調整することにより、基準信号発生部（42）で発生
させた基準正弦波信号との周波数特性の差を小さくする
ようにフィルタからの出力を調整する。また、特徴抽出
部（12）の特徴抽出方法として、ディジタルフィルター
をもちいていれば、ディジタルフィルターの特性を決め
ているパラメータを変更すればよい。その他、音声認識
部（１）の特徴抽出部（12）の特徴抽出方法に対応し
て、あらゆる方法が考えられる。

前記までの操作により、音声入力した文章はかな例に変
換された事となる。このかな列変換された文章が入力し
た文章と違っている場合の修正方法を第14図を使用しそ
れぞれの誤りかたに場合分けして以下に述べる。以下の
手順により修正を行なう。

第14図（ａ）は入力文章、同図（ｂ）は入力音声、同図
（ｃ）は認識結果、同図（ｄ）〜（ｂ）は修正過程、同
図（ｉ）は修正結果を表わしている。

まず、単語として発声したものが文節として誤認識され
た場合の修正法について述べる。同図（ｃ）に示したよ
うに単語“C"として発声したものが、文節“しー”とし
て認識された場合、先ずカーソル（Ｘ）を誤った単語の
部分へ移動する［同図（ｄ）ｉ］。次ぎに単語次候補キ
ー（72）を押し単語の次候補を表示させる［同図（ｄ）
ii］。この結果が正しければ次の修正部分へ進む。もし
この結果が誤っていれば、再び単語次候補キー（72）を
押し単語の次候補を表示させる。この操作を正確が表示
されるまで繰り返す。

次ぎに、文節として発声したものが単語として誤認識さ
れた場合の修正法について述べる。文節“い”として発
声したものが、単語“E"として認識された場合、先ずカ
ーソル（Ｘ）を誤った文節の部分へ移動する。次ぎに文
節次候補キー（73）を押し文節の次候補を表示させる。
この結果が正しければ次の修正部分へ進む。

もしこの結果が誤っていれば、文節次候補キー（73）を
押し文節の次候補を表示させる。この操作を正解が表示
されるまで繰り返す。

単語前候補キー（74）を押すことにより単語、文節前候
補キー（75）を押すことにより文節、それぞれの一つ前
の候補を表示させることも出来る。

上述の２通りの修正法で正解が得られないときは音節単
位の修正や、単語または文節または音声を再発声入力す
る。

また、再発生入力時に再び、文節を単語認識したり、単
語を文節認識したりすることを避けるため、候補作成部
（15）を、単語認識部（13）より送られてきた認識結果
のみを認識結果としてみなし、文節認識部（14）より送
られてきた認識結果は、無視するよう外部より制御でき
る。

また、候補作成部（15）を、文節認識部（14）より送ら
れてきた認識結果のみを認識結果としてみなし、単語認
識部（13）より送られてきた認識結果は、無視するよう
外部より制御できる。

上述の次候補キーとは、以下に述べる機能を有するキー
の事であり、第15図を使用し説明する。

本装置の音声認識部（１）では、単語認識と文節認識が
並走しており、単語および文節の両認識結果を求めてい
ることは先に述べたが、この両認識結果より、文節認識
処理の結果を尤度の大きいものから順番に認識結果を表
示装置（６）に表示させるためのキーが文節次候補キー
（73）であり、単語認識処理の結果を尤度の大きいもの
から順番に認識結果を表示装置に表示させるためのキー
が単語次候補キー（72）であり、現在表示装置に表示さ
れている認識結果より、一つ尤度の大きい認識結果を表
示装置（６）に表示するキーが、単語前候補キーおよび
文節前候補キーである。

第15図は候補作成部（15）の候補バッファ（15a）であ
る。この図は、一位の認識結果が、「たんご」であり、
これは単語認識部（13）から送られてきた認識結果であ
ることを（単語）で表わしている。同様に二位の認識結
果が、「たんごを」であり、これは文節認識部（14）か
ら送られてきた認識結果であることを（文節）で表わ
し、三位の認識結果が、「たんごに」であり、これは文
節認識部（14）から送られてきた認識結果であることを
（文節）で表わし、四位の認識結果が、「たんこう」で
あり、これは単語認識部（13）から送られてきた認識結
果であることを（単語）で表わしている。

いま、表示装置（６）には、「たんご」が表示されてい
るとする。かかる状態で文節付次候補キー（73）を押す
と表示装置（６）には「たんごを」が表示される。ま
た、単語次候補キー（72）を押すと表示装置（６）には
「たんのう」が表示される。

また、表示装置（６）には、「たんこう」が表示されて
いる場合に、単語前候補キー（74）を押すと表示装置
（６）には「たんご」が表示され、文節次候補キー（7
3）を押すと表示装置（６）には「たんごに」が表示さ
れる。

次ぎに一文節全体の一括修正方法について述べる。

第14図（ｅ）の例は単語「Ｔ」を「Ａ」と誤認識した例
である。先ずカーソルを修正したい単語へ移動する［同
図（ｅ）ｉ］。

次に単語次候補キー（72）を押し単語の次候補を表示さ
せる［同図（ｅ）ii］。この結果が正しければ次の修正
部分へ進む。もしこの結果が誤っていれば、単語次候補
キー（72）を押し単語の次候補を表示させる。この操作
を正解が表示されるまで繰り返す。正解が表示され無け
れば、再発声を行ない、再入力をおこなう。前単語候補
キー（74）を押すことにより一つ前に表示した単語の候
補を表示させることも出来る。

次ぎに一単語全体の一括修正方法について述べる。

第14図（ｆ）の例は文節「がめんの」を「がいねんの」
と誤認識した例である。先ずカーソルを修正したい文節
へ移動する［同図（ｆ）ｉ］。

次ぎに文節次候補キー（73）を押し文節の次候補を表示
させる［同図（ｆ）ii］。この結果が正しければ次の修
正部分へ進む。もしこの結果が誤っていれば、文節次候
補キー（73）を押し文節の次候補を表示させる。この操
作を正解が表示されるまで繰り返す。正解が表示され無
ければ、再発声を行ない、再入力をおこなう。前文節候
補キー（75）を押すことにより一つ前に表示した文節の
候補を表示させることも出来る。

次ぎに音節単位の修正方法について述べる。

第14図（ｂ）の例は文節「おんせいで」を「おんけい
で」と誤認識した例である。この例は音節「け」を
「せ」に修正する場合であるが、先ずカーソル（Ｘ）を
修正したい音節「け」へ移動し［同図（ｈ）ｉ］、音節
次候補キー（76）を押す。音節次候補キー（76）を押す
ことにより修正したい部分の音節と最も距離が近い音節
が表示される［同図（ｈ）ii］。正解が表示されれば、
次の修正部分へ移動する。もしこの結果が誤っていれ
ば、再度音節次候補キーを押し音節の次候補を表示させ
る。この操作を正解が表示されるまで繰り返す。正解が
表示され無ければ、再発声により再入力を行なう。再入
力の結果が間違っている時は上記の手順により再び修正
する。この操作を正解が表示されるまで繰り返す。

また前音節候補キー（77）を押すことにより音節の一つ
前の候補を表示させることも出来る。

音節を削除したい時［第14図（ｇ）ｉ］は、カーソル
（Ｘ）を修正しない音節へ移動し削除キー（78）を押し
削除する［同図（ｇ）ii）］。

音節を挿入したい時は、カーソルを修正したい音節へ移
動し挿入キー（79）を押し挿入する。

次に第16図を使用し、数音節修正法について記す。

この例は、同図（ａ）の入力文章“かいじょう”を同図
（ｂ）「がんじょう」と誤認識した例である。この場
合、まずカーソル（Ｘ）を修正したい音節にもっていき
［同図（ｃ）］、“かい”と再発声入力する。かかる再
発声入力音声は音声認識部（１）で認識され、認識結果
は表示装置（６）に表示される。認識結果が正しけれ
ば、次の修正部へすすむ。もし、同図（ｄ）に示すよう
に、「かい」を「かえ」と誤認識した場合、単語の場合
は、単語次候補キー（72）を押す。文節の場合は、文節
次候補キー（73）を押す。第16図は単語の場合の例であ
るので、以下単語の修正方法について記す。同図（ｄ）
の状態で、単語次候補キー（72）を押した場合、まず、
制御部（５）は、単語辞書（13d）より、修正前の同図
（ｂ）の認識結果「がんじょう」と再発声後の同図
（ｄ）の認識結果「がえじょう」とを比較し、同一部分
「じょう」をみつける。次に、制御部（５）は、単語辞
書（13d）より、かかる同一部分「じょう」をもつ単語
を選ぶ。同図（ｆ）は単語辞書（13d）の記憶内容を示
しており、同図（ｇ）は記憶内容より選んだ「じょう」
をもつ単語を示している。次に制御部（５）は、同図
（ｇ）に記した単語と、再発声後の認識結果「がえじょ
う」との尤度を計算し、最も尤度値の大きい単語を表示
する［同図（ｅ）］。

次に文節または単語の認識境界誤りを修正する場合につ
いて述べる。

第14図（ｇ）の例は文節「ぶんじょう」を「ん」と
「し」の間に で示す無音区間があると誤認識し、単語「ぶん」と文節
「しょう」というように二つに分けて誤認識した例であ
る。この場合認識境界誤りを修正しなければならない
が、認識境界区切り記号を削除したい場合は、削除した
い認識境界区切り記号にカーソル（Ｘ）を移動し［同図
（ｇ）ｉ］、削除キー（78）を押す［同図（ｇ）ii］。
認識境界区切り記号を挿入したい場合は挿入したい位置
にある音節にカーソル（Ｘ）を移動し挿入キー（79）を
押す。

ただし、後に述べるように録音再生装置（２）の区切り
ビープ音と、記憶装置（８）に記憶された認識結果に付
加された区切り記号は、録音再生装置（２）と記憶装置
（８）の同期をとるための目的となるので、対応はとっ
ておかなければならない。ゆえに、この時記憶装置
（８）に区切り記号が挿入削除されたことを記憶装置
（８）に記憶しておく。

以上の修正手順により、第14図（ｉ）に示すように、文
章を修正する。

認識境界誤り修正を行なった後認識境界誤り修正を行な
った認識単位について、修正手順に従って修正を加え
る。再発声による修正の場合、標準パターンを登録した
人なら誰の音声でも認識できるので文章の録音者でなく
とも修正操作を行なえる。

以上、かな列文章の修正方法を述べたが、修正を補助す
る機能として以下に述べる機能を有する。

表示装置（６）に表示された文字列上のカーソル移動と
表示画面のスクロール機能により、記憶装置（８）より
順次記憶文章を表示画面上に表示できるが、この時画面
上に表示されている部分に対応する音声が録音再生装置
（２）から再生される。

また、上述の機能とは逆の機能も有し、録音再生装置
（２）から再生されている部分に対応した文字列が表示
装置（６）に表示される。

また、上述のどちらの方法の場合も録音文章に録音され
ている区切り記号音と、表示側に記録されている区切り
記号を、同期を取るタイミング信号として使用し、録音
再生装置（２）の再生と表示とがお互いに同期をとりな
がら動作するよう制御している。また、キーボード
（７）、または録音再生装置（２）より再生を止める信
号が入力されたとき、再生を止めるとともに、表示のス
クロールまたはカーソルの移動を止める。

以上の録音再生装置（２）の再生と表示との同期機能に
より、再生音を聞きながら文字列の確認を行なうことが
でき、修正個所の発見を容易にする。

ここで述べている同期のとり方として、再生されている
部分に対応する記憶装置（８）の文字列を表示装置
（６）に表示する方法と、再生されている部分に対応す
る部分より区切り記号一つ遅れた部分のかな列を表示装
置（６）に表示する方法とがある。

この場合、修正のため表示を停止したときには既に録音
音声の修正部分は再生されているため再度修正部分を再
生するためには、再生された文章より修正したい部分の
頭だしを行なう必要がある。そこで、この方法を採用す
る場合は、表示を停止したとき、自動的に録音再生装置
（２）を一つ前の区切り記号までバックトラックする機
能をもたせる。

また、録音再生装置（２）に、テープレコーダを使用し
た場合、再生部分をモータの回転により制御すること
と、テープのたるみなどにより、修正部分に対応した部
分の頭出しが正確に行なえない場合がある。

このような場合は、入力されてくる音声を、一定時間長
だけPCM録音やADPCM録音で記憶しておき、入力された音
声を聞き返したい場合は、PCM録音やADPCM録音音声を聞
き返す機能を付加する。

第17図は上記の、機能の一実施例でありPCM録音のデー
タを記憶しておくPCMデータメモリの図である。図中の
数字01〜05はアドレスを示している。入力音声は、第14
図に記した“わたし｜てん｜しー｜あーる｜てー｜がめ
んの｜ぶんしょうを｜てん｜おんせいで｜しゅうせいし
た｜まる”という、文章である。

上記の、音声が入力されたとき、PCMデータメモリ（D
M）には、01番地に最初の無音区間までの音声“わたし
わ”が記憶される。02番地に２番目の無音区間までの音
声“てん”が記憶される。05番地に５番目の無音区間で
の音声“てー”が記憶される。このとき、PCMアドレス
ポインタ（AP）は、PCMデータメモリに記憶されている
データのうち、１番先に記憶されたデータのアドレスを
記憶しておく。本例では、01が記憶される。

この段階でPCMデータメモリは一杯になる。

次に、音声が入力されたときは、PCMデータメモリ（D
M）に記憶されているデータのうち、１番先に記憶され
たデータのアドレスに、入力された音声を記憶する。本
例では“わたしわ”が記憶されていたアドレス01に“が
めんの”を記憶する。このとき、PCMアドレスポインタ
（AP）は、PCMデータメモリ（DM）に記憶されているデ
ータのうち、１番先に記憶されたデータのアドレスを記
憶しておく。本例では、02が記憶される。

この状態で、PCMデータメモリ（DM）の内容を再生する
場合、PCMアドレスポインタ（AP）の指している、アド
レスから、再生する。本例では、02,03,04,05,01の順番
に再生していく。

かかる方法により、何度でも、正確に素早く、音声を聞
き返すことが可能となる。

また、画面上の認識単位の区切り記号上へカーソル
（Ｘ）を移動し録音音声の頭だしキー（70）を押すこと
により、カーソルが示している認識単位に対応した録音
再生装置（２）側の区切り記号音部分を録音文章より捜
し出し、これに続く文章を再生する機能を有する。

また、認識結果、および修正を終了した文章の確認のた
めには、記憶装置（８）の記憶データを表示装置（６）
に文字列で表示させ、表示画面上に表示された文字列を
目で追い、読まなければならないため、非常に目が疲れ
る。

かかる点に鑑み、本装置は認識結果を記憶させた記憶装
置（８）上の文字列を、音声合成機能により読み上げる
機能をもたせることにより、認識結果、および修正を終
了した文章の確認を音声合成音を聞くことにより行なえ
るようにできる。

この場合も音声合成部（９）と記憶装置（８）と録音再
生装置（２）と表示装置（６）との同期を取るタイミン
グ信号として、区切り記号を使用する。

つまり、音声合成部（９）が記憶装置（８）より読み上
げている部分に相当する文字列が表示装置（６）に表示
され、同期に録音再生装置（２）より録音部分を頭出し
している。この方法により、音声合成音の読み合わせ機
能により誤りを発見し修正のために音声合成の読み合わ
せ機能を停止させたとき、表示装置（６）の表示も録音
再生装置（２）の録音部分も誤り部分を示しており、即
座に修正を行なうことができる。

ここで述べている同期のとり方として、音声合成機能に
より読み上げられている部分に対応する記憶装置のかな
列を表示装置（６）に表示すると同時に、録音再生装置
（２）に録音されている文章より該当する音節部分を再
生する方法と、音声合成機能により読み上げられている
部分に対応する部分より、区切り記号一つ遅れた録音再
生装置（２）に録音されている文章部分再生する方法と
がある。後者の場合、修正のため音声合成を停止したと
き、録音再生装置（２）は修正したい部分より手前で停
止しているため、この状態で再生すれば直ぐに修正部分
の音声を再生できる。前者の場合は修正のため音声合成
を停止したときには既に録音音声の修正部分は再生され
ているため再度修正部分を再生するためにはバックトラ
ックする必要がある。そこで、前者の方法を採用する場
合は表示を停止したとき、自動的に録音再生装置（２）
が一つ前の区切り記号までバックトラックする機能をも
たせるのが好ましい。

（ト） 発明の効果 本発明の音声認識システムによれば、上述の実施例で記
した様に、任意単語の音声録音時に音声認識機能を用い
て任意単語の登録を行なうため、正確に任意単語を発音
するか、非常に良い認識性能を持つ音声認識装置の場
合、登録単語の入力音声を正しく認識した場合は、キー
の操作は、登録キー１回程度の操作でよい。また、誤っ
た認識結果が表示装置上に表示された場合でも、次候補
キーのみを操作することにより、表示装置上の表示を正
しく修正し表示させることができるため、登録操作が非
常に簡単になる。又、文字入力の必要がなくなるので、
この為のキーボードを不要とする事が可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例であるディクテーティングマ
シンの外観図、第２図はディクテーティングマシン構成
図、第３図は音声認識部（１）の構成図、第４図は前処
理部（11）の構成図、第５図は特徴抽出部（12）の構成
図、第６図は単語認識部（13）の構成図、第７図は文節
認識部（14）の構成、第８図は入力切り換え部（４）の
構成図、第９図は見出し語と録音方式とキャラクター音
の関係図、第10図はキャラクター音の録音方法と音声区
間の関係図、第11図は録音再生装置がマルチトラック方
式の場合の録音方法を示す図、第12図は録音再生装置が
シングルトラック方式の場合の録音方法を示す図、第13
図は周波数補正回路例を示す図、第14図は誤認識時の修
正図、第15図は候補作成部（15）内の候補バッファ（15
a）図、第16図は誤認識時の数音節修正例を示す図、第1
7図はPCM録音方法説明図、第18図はAGC動作の説明図で
ある。 （１）……音声認識部、（２）……録音再生装置、
（３）……マイク、（６）……表示装置、（７）……キ
ーボード、（８）……記憶装置、（11）……前処理部、
（12）……特徴抽出部、（13）……単語認識部、（14）
……文節認識部、（11a）……可変利得増巾器、（11b）
……音圧変動メモリ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】単語認識部と音素又は音節認識部とを並設
   し、単語認識部での任意単語認識処理の基準となる任意
   単語の登録時には、音素又は音節認識部にて入力音声を
   音素単位又は音節単位で認識処理を行ない、その認識結
   果である文字列と入力音声とを対応づけて登録単語とし
   て記憶し、単語認識時の基準として使用することを特徴
   とした音声認識システム。