JP3279684B2 - 音声インタフェース・ビルダ・システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】音声合成、音声認識、音声アノテ
ーションなどの音声情報を利用したマン・マシン・イン
タフェースをユーザが自ら作成するアプリケーション・
システムの中に構成するための開発支援システムに関す
る。

【０００２】

【従来の技術】例えば、（１）ネクスト社のＮｅｘｔＳ
ｔｅｐ（Next Inc. 「Interface Builder」 NeXT System
Reference Manual,Chapter 8, 1989）では、音声イン
タフェースをユーザが構成するためのツールとして「サ
ウンド ウィンドウ」と「サウンド インスペクタ」の
２つを用意している。

【０００３】「サウンド ウィンドウ」は各種アプリケ
ーションに用いる音声や音楽などの素材を格納しておく
場所である。「フィールド ウィンドウ」の中に示され
ている「サウンド アイコン」をダブルクリックするこ
とにより「サウンド ウィンドウ」を開く。「サウンド
ウィンドウ」の中にあるいくつかの「サウンド素材ア
イコン」から任意の一つを選び、アプリケーション上に
定義した「ボタン」の上に「マウス」によって持って行
くことにより、その「サウンド素材 アイコン」の持つ
音とその「ボタン」を対応つけることができる。

【０００４】「サウンド インスペクタ」は、ディスク
上に録音されている音を再生したり、新たに録音するた
めのものである。また、波形を表示しており、簡単な編
集（コピー、つなぎあわせ、削除など）も可能にしてい
る。ただし、システムで用意している音はタイトルが灰
色で表示されており、編集は許されていない。「ディレ
クトリ ウィンドウ」より「サウンド ファィル アイ
コン」を「サウンドウィンドウ」の中に持って行くこと
により新たに「サウンド素材 アイコン」を設定し、そ
れをダブル・クリックすると「サウンド インスペク
タ」が開かれる。「サウンド インスペクタ」の中には
「再生」「停止」「録音」「ポーズ」などテープレコー
ダと類似のボタンが表示されており、例えば「再生ボタ
ン」をクリックするとその音が再生される。表示波形の
下には再生音のレベルも表示されている。「ポーズ」を
クリックすると再度クリックするまで録音は中断され
る。

【０００５】ほかの従来技術の事例として、（２）サイ
ディス社のボイスステーション（Robert T. Nicholson,
「Integrating Voice in the Office World」BYTE Maga
zine, 1983,12）の例がある。このシステムは編集可能
な文書に音声の注釈をつけることが可能である。文書に
おいて、音声の注釈を付した個所にスピーカを抽象化し
たアイコンを表示し、このアイコンをクリックすると音
声注釈を処理するウインドウが開かれる。このウィンド
ウは、上述の「サウンドインスペクタ」とほぼ同じよう
な機能を持たせている（ほかに「巻き戻し」、「速送
り」機能がある）。

【０００６】

【発明が解決しようとする課題】しかしながら、前述の
（２）では音声インタフェース機能はくくり付けであ
り、ユーザが任意の音声インタフェースを必要に応じて
作る機能はない。また、（１）では、ユーザがアプリケ
ーションに音を出す機能を付けるための道具を提供して
いるものの、その機能はテープレコーダ的機能である音
声注釈や効果音の付与の範囲に留まっており、音声認識
や音声合成、音声対話等の機能は全くない。

【０００７】これらの従来技術は、ユーザのアプリケー
ションが予め定められた手順に従って音声出力等を順次
行うための、一種の静的な編集技術に留まっている。ダ
イナミックに処理を行う処理手順そのものとしてのアプ
リケーション・システムの中で、その処理手順の一部と
してダイナミックに機能する音声インタフェースを実現
するための開発支援技術とはなっていない。

【０００８】本発明の目的は、音声注釈や効果音の付与
機能のみならず、音声認識や音声合成、音声対話機能を
持つ音声インタフェースをユーザが自由に設計し、ダイ
ナミックに処理を行う処理手順そのものとしてのアプリ
ケーション・システムの中に、その処理手順の一部とし
て音声インタフェース機能を実現できる手段を提供する
ことにある。

【０００９】

【課題を解決するための手段】本発明は、音声処理のた
めのメニューとして、音声合成機能、音声認識機能、及
び音声対話機能のうち少なくとも１つを含む複数の音声
機能を表示し、その音声機能の複数の操作内容を視覚的
に表示する表示手段と、表示されたメニューの中から必
要な音声機能を選択指示し、表示された複数の操作内容
の中から必要な操作を選択指示する入力手段と、選択指
示された音声機能及び操作に応じて、音声処理を行うア
プリケーション・プログラムを作成する情報処理手段と
を備えたものである。

【００１０】具体的には、本発明の音声インタフェース
・ビルダ・システムでは、マルチウィンドウ表示手段を
備え、マルチウィンドウ表示手段を制御して音声インタ
フェースの処理内容や処理手順（音声アノテーション、
音声合成、音声入力（音声コマンド）、音声対話）を視
覚的に表現した複数のウィンドウを作成し、かつこれら
のウィンドウを階層的に、あるいはユーザの指定による
リンク関係が分かるように表示しながら、 Ｉ．外部機能 ユーザが自からのアプリケーション・シ
ステム開発時に、そのプログラムの中に各種音声インタ
フェース機能を付与するためのツール、 II．内部機能 ユーザから見え無い各種の音声処理機
能、 に関する以下に述べる多くの機能の全て、またはその一
部を用意し、それらの選択、組合せ、パラメータの指定
などによりアプリケーション・システムを開発、あるい
は、さらに実行する手段を備えた（開発と実行手段は別
々のシステムであっても良い。この場合、外部機能と内
部機能はその必要のある機能のみを備えていても良
い）。なお、（デフォルト）とあるのは、ユーザが特に
選択を指示しない場合に設定される機能の例を示してい
る。また、実施例では幾つかの共通処理は一つの機能に
まとめている。

【００１１】以下、本発明の実施例に関係する項目を中
心に列挙する。 Ｉ．外部機能（ユーザから見える機能） １．音声出力機能 １．１．出力内容 以下の各種の音声のタイプの出力を選択できる手段を備
えた。

【００１２】（１）予め録音してある音声（効果音を含
む） （録音編集） （２）ユーザが録音した音声（効果音を含む） （録
音編集） （３）ユーザが指定した仕様に基づき作成した効果音
（合成効果音） （４）ユーザが指定した文字列から合成した男声文章音
声 （規則合成） （５）ユーザが指定した文字列から合成した女声文章音
声 （規則合成） （６）ユーザが指定した文字列から合成した男声文書
（多量複数文章）音声 （規則合成） （７）ユーザが指定した文字列から合成した女声文書
（多量複数文章）音声 （規則合成） （８）意味情報から文章を生成し、合成した男声音声
（概念合成） （９）意味情報から文章を生成し、合成した女声音声
（概念合成） １．２．部分音色変更機能 出力音声の一部、例えば括弧の中の部分の音色を変更、
あるいは削除する手段を備えた。（２）−（５） は複
数条件同時設定可能とした。

【００１３】（１）全体一定音色（デフォルト） （２）指定字種記号音色変更（音色ユーザ指定） （３）指定条件範囲音色変更（音色ユーザ指定） （４）指定字種記号部分音声出力削除 （５）指定条件範囲部分音声出力削除 １．３．音声作成タイミング 出力すべき音声を作成する時期として次の二種から選択
する手段を備えた。

【００１４】（１）事前（デフォルト） （２）オンライン 出力すべきデータが変化するような場合には音声出力時
にその時の状況に併せた音声を生成する必要が生じる １．４．記録メディア ハイファイ音楽の出力なども可能にするため音質に見合
った記録メディアを選択できる手段を備えた。

【００１５】（１）ハードディスク（デフォルト） （２）ＣＤ （３）ＬＶＤ １．５．編集機能 必要に応じて出力すべき音声を自由に編集できる手段を
備えた。

【００１６】（１）入れ替え （２）削除 （３）挿入 （４）接続 （５）分割 １．６．出力単位 たとえば、あるウィンドウ内に複数の音声注釈が付され
ている様な場合、一つづつ出力するか、複数個をまとめ
て連続的に出力させるかなどを選択出来る手段を備え
た。

【００１７】（１）単独（デフォルト） （２）指定個数連続 １．７．出力範囲 たとえば、複数個をまとめて連続的に出力させるような
場合、その全文を出力するか、その各々の一部分づつを
出力していくかを選択出来る手段を備えた。

【００１８】（１）指定単位全長（デフォルト） （２）指定単位各頭部分のみ（長さ デフォルト値） （３）指定単位各頭部分のみ（長さ ユーザ指定） （４）指定部分のみ １．８．出力タイミング 音声を何時出力するかを指定する手段を備えた。

【００１９】（１）無条件（デフォルト） （２）ユーザ指定条件を満たした場合 （３）ユーザが出力指示を入力した場合 １．９．出力速度 発声速度を選択できる手段を備えた。

【００２０】（１）普通（デフォルト） （２）早口（ユーザ指定） （３）遅口（ユーザ指定） １．１０．出力レベル 声の大きさを指定できる手段を備えた。

【００２１】（１）一定（デフォルト） （２）一定（ユーザ指定） （３）フェードイン・フェードアウト（条件ユーザ指
定） ２．音声取り込み機能 ２．１．帯域 要求音質の必要度に従い使用する周波数帯域を指定でき
る手段を備えた。

【００２２】（１）一定（デフォルト） （２）ユーザ指定 ２．２．サンプリング周波数 要求音質の必要度に従い使用するサンプリング周波数を
指定できる手段を備えた。必要性能が確保出来るよう
に、指定した周波数帯域により指定できるサンプリング
周波数範囲を自動的に制限する手段も併せ備えた。

【００２３】（１）一定値（デフォルト） （２）ユーザ指定 ２．３．音声切り出し条件 音声部分を取り込む判定条件を指定出来る手段を備え
た。

【００２４】（１）一定値（デフォルト） （２）無条件 （３）ユーザ指定（パワー、継続時間、雑音レベル計測
等） ２．４．音声取り込みタイミング 音声部分を取り込むタイミング条件を指定出来る手段を
備えた。

【００２５】（１）無条件（デフォルト） （２）ユーザ指定条件を満たした場合 （２．３．
（２）など） （３）ユーザが指示を入力した場合 ２．５．音声取り込み終了タイミング 音声部分を取り込み終了タイミング条件を指定出来る手
段を備えた。

【００２６】（１）取り込みメモリ領域がオーバーフロ
ー（デフォルト） （２）ユーザ指定条件を満たした場合 （２．３．
（２）など） （３）ユーザが指示を入力した場合 ２．６．音声取り込み中断 ユーザが指示をした期間取り込みを中断出来る手段を備
えた。

【００２７】 （１）ポーズ（ユーザが指示をした期間取り込み中断） ３．音声アノテーション（注釈）機能 ３．１．注釈付与機能 注釈音声部分を取り込む判定条件など２．に示した各機
能の条件を指定できる手段を備えた。

【００２８】（１）デフォルト条件 （２）ユーザ指定条件 ３．２．注釈再生機能 再生する注釈音声の声の大きさなど１．に示した各機能
の条件を指定できる手段を備えた。

【００２９】（１）デフォルト条件 （２）ユーザ指定条件 ３．３．注釈位置表示・再生起動機能 注釈が付与されている部分の表示やその一時的表示のマ
スク、表示部分をクリックするなど注釈音声を再生する
方法の条件の指定手段を備えた。

【００３０】（１）表示・デフォルト条件再生起動 （２）表示・ユーザ指定条件再生起動 （３）全注釈デフォルト条件再生起動 （４）全注釈ユーザ指定条件再生起動 （５）表示マスク ４．音声認識機能 ４．１．認識内容 認識すべき音声の形式が何かを指定する手段を備えた。

【００３１】（１）単独単語（デフォルト） （２）連続単語 （３）文章 ４．２．話者登録／学習 話者の違いに対処する手法の選択を指定する手段を備え
た。

【００３２】（１）認識単語音声登録（デフォルト） （２）話者学習 （３）不特定話者 ４．３．認識カテゴリの登録機能 認識すべき言葉の内容の登録方法を指定する手段を備え
た。

【００３３】（１）音声による登録（デフォルト） （２）文字列による登録 ４．４．判定条件 認識のための判定条件を指定する手段を備えた。

【００３４】（１）一定（デフォルト） （２）ユーザ指定 ４．５．認識結果の出力 認識結果の出力形式を指定する手段を備えた。

【００３５】（１）一位のみ（デフォルト） （２）ユーザ指定 ４．６．登録カテゴリの評価機能 登録した認識すべき言葉の内容が、誤認識を生じやすい
ものとなっていないかどうかを判定する手段を備えた。

【００３６】（１）音声登録単語の評価 （２）文字列登録単語の評価 ５．言語・意味処理規定機能 ５．１．文体選択機能 取り扱う文体を指定できる手段を備えた。

【００３７】（１）書き言葉 （２）話し言葉 ５．２．単語辞書登録機能 取り扱う単語の読み、品詞、接続情報、意味などを登録
できる手段を備えた。 （１）システム提供基本単語選択（デフォルト） （２）ユーザ登録 ５．３．アクセント情報登録機能 取り扱う単語のアクセント情報を登録する手法の選択手
段を備えた。

【００３８】（１）音声からの自動分析 音声を発声入力し、そのアクセントを自動分析し、登録
する機能 （２）メニュー／キー入力 ６．音声理解 ６．１．タスク設定機能 音声理解機能を利用するアプリケーションの世界を設定
する手段を備えた。

【００３９】（１）メニュー選択 （２）ユーザ指定 ６．２．語彙の設定 音声理解機能を利用するアプリケーションの世界で用い
る語彙を設定する手段を備えた。

【００４０】 （１）システム提供基本単語選択（デフォルト） （２）ユーザ登録 ６．３．理解結果の出力 理解結果を出力形式を設定する手段を備えた。

【００４１】７．対話制御機能 ７．１．対話主導権 対話進行の主導権を設定する手段を備えた。

【００４２】（１）システム主導（デフォルト） （２）ユーザ主導 （３）主導権システム・ユーザ混在 ７．２．対話推移設定機能 対話の順序の条件を設定する手段を備えた。

【００４３】（１）固定順序 （２）動的制御 ７．４．終了条件設定機能 対話の終了条件を設定する手段を備えた。

【００４４】７．５．対話結果の出力 対話により得られた結果を利用するための出力形態など
を設定する手段を備えた。

【００４５】８．電話機能（デフォルト） ８．１．発信メディア 相手を呼び出すための手段を選択する手段を備えた。

【００４６】（１）マウス （２）キーボード （３）音声 ８．２．音声発信機能 音声により相手を呼び出す形態を選択する手段を備え
た。

【００４７】（１）電話帳リストからの選択（相手名） （２）電話番号入力 ８．３．着信表示機能 電話がかかってきたことを示す手段を選択する手段を備
えた。

【００４８】（１）呼出し音（デフォルト） （２）音声表示 （３）文字表示 ８．４．通話開始機能 電話機能を利用開始する手段を選択する手段を備えた。

【００４９】 （１）ハンドセット オンフック（デフォルト） （２）音声認識 ９．音声メール（デフォルト） ９．１．着信情報報告メディア 音声メールが来ていることを示す手段を選択する手段を
備えた。

【００５０】（１）呼出し音（デフォルト） （２）音声表示 （３）文字表示 ９．２．着信情報音声報告機能 着信音声メールに関する情報の出力機能を選択する手段
を備えた。

【００５１】 （１）着信メール件数報告機能（デフォルト） （２）着信メール標題・発信者報告機能 （３）着信時オンライン通報機能 ９．３．着信メール選択メディア 着信音声メールを取り出す手段を選択する手段を備え
た。

【００５２】（１）マウス （２）キーボード （３）音声 ９．４．着信メール音声選択機能 着信音声メールを選択する手段を備えた。

【００５３】（１）メール番号選択（デフォルト） （２）標題選択 （３）発信者選択 （４）全着信メール ９．５．本文音声出力機能 着信音声メールの出力範囲を選択する手段を備えた。

【００５４】（１）全文（デフォルト） （２）先頭部分 １０．話者確認機能 １０．１．確認内容の形式 確認に用いる音声の形式が何かを指定する手段を備え
た。

【００５５】（１）単独単語（デフォルト） （２）連続単語 （３）文章 １０．２．確認内容の登録機能 確認に用いる音声の内容を登録する方法を指定する手段
を備えた。

【００５６】（１）音声による登録（デフォルト） （２）文字列による登録 １０．３．判定条件 確認のための判定条件を指定する手段を備えた。

【００５７】（１）一定（デフォルト） （２）ユーザ指定 １０．４．確認結果の出力 確認結果の出力形式を指定する手段を備えた。

【００５８】（１）確認結果のみ（デフォルト） （２）確認結果と確認の程度 II．内部機能（ユーザから見え無い機能） 以上の機能を実現するために、さらに以下の各手段を備
えた。ただし、以下の機能は、マルチウィンドウ・シス
テムと、音声出力内容の試聴機能を用意する場合の音声
合成機能を除いて、音声インタフェース機能を付与する
段階では必ずしも必要ではない。従って、アプリケーシ
ョン・システムを開発だけ行い、その実行は別装置で行
う場合には、開発装置にはマルチウィンドウ・システム
と音声出力内容の試聴機能を用意する場合の音声合成機
能を除いて、これらの手段を省略することが出来る。

【００５９】１．音声符号化・修飾機能 １．１．情報量圧縮機能（符号化、復号化） １．２．速度変換 １．３．音質変換（男女声変換など） ２．言語処理機能 ２．１．言語別処理機能 ２．２．文字列音声記号変換機能 （規則合成用） （漢字・記号読み、など） ２．３．文章生成機能 （１）文型からの生成 （２）意味からの生成 ３．音声規則合成機能 ３．１．抑揚の付与 （１）アクセントの付与 （２）イントネーションの付与 （３）時間構造の付与 ３．２．音韻情報合成制御信号の合成 ３．３．音声波形の合成 ４．単語音声認識機能 ４．１．認識対象単語音声登録 ４．２．認識（パタンマッチング）機能 ４．３．不特定話者音声認識方式 ４．４．話者学習機能 ４．５．環境雑音対策機能 ５．連続音韻認識機能 ５．１．認識対象単語／文の記号列登録 ５．２．連続音韻認識機能 ５．３．不特定話者音声認識方式 ５．４．話者学習機能 ５．５．環境雑音対策機能 ６．文章理解機能 ６．１．タスク表現法 ６．２．意味表現法 ６．３．認識結果からの入力文の推定 ６．４．意味の理解 ７．通信機能 ８．マルチウィンドウ・システム

【００６０】

【作用】本発明の音声インタフェース・ビルダ・システ
ムでは、ユーザがアプリケーションを開発しながら、必
要に応じてそのアプリケーションシステムの任意の部分
に音声を用いたインタフェース機能を簡単な編集操作で
付与することが出来るようになる。すなわち、マウスな
どのポインティングツールを用いて、メニューに示され
ている様々な音声インタフェース機能の中から任意の機
能を選択しアプリケーションシステムの任意の部分に結
び付けたり、パラメータ値を設定し、その結果をコンパ
イルすることにより、容易に音声インタフェース機能を
付与することができる。

【００６１】これにより、音声注釈や効果音の付与機能
のみならず、音声認識や音声合成、音声対話機能を持つ
音声インタフェースをユーザが自由に設計し、ダイナミ
ックに処理を行う処理手順そのものとしてのアプリケー
ションの中に、その処理手順の一部として音声インタフ
ェース機能を上に実現できる手段を提供することができ
る。

【００６２】

【実施例】以下、図を用いて本発明の実施例を説明す
る。図１は、本発明の一実施例の構成図を示す。

【００６３】図１に示す装置は、文字及び図形、画像な
どを表示する文字図形画像表示手段１０１と、この文字
図形画像表示手段１０１の画面を複数の部分領域（ウィ
ンドウ）に分割し、各ウィンドウを独立した表示手段と
して動作させ、かつ、各ウィンドウにはプルダウンメニ
ュウや、スイッチ、ボタン、ダイアログボックス、エン
トリボックスなどのグラフィック・ユーザ・インタフェ
ース（ＧＵＩ）機能を動作せるマルチウィンドウ表示処
理手段１０２と、このマルチウインドウ表示処理手段１
０２の画面における位置を入力する画面位置入力手段１
０３と、文字を入力する文字入力手段１０４と、これら
の入力手段から入力されたデータをマルチウィンドウ表
示処理手段１０２経由で文字図形画像表示手段１０１に
表示しながらユーザのアプリケーション・システムの作
成を行なう情報処理手段１０５と、その情報処理に使用
する各種データ及びアプリケーション・システムを記憶
する情報処理用記憶手段１０６を備えている。

【００６４】また、マイクロフォン１３１や電話器１３
０、ＶＴＲ１３４、ＣＤ、ＣＶＤ（図示せず）などの音
声入力手段からの入力を選択する音声入力手段選択手段
１０８と、この音声入力手段選択手段１０８からのアナ
ログ音声信号を増幅し、周波数フィルタリングする入力
用フィルタリング手段１０９と、その入力用フィルタリ
ング手段１０９の出力信号をサンプリングし、ディジタ
ル量に変換するディジタル符号化手段１１４と、ディジ
タル量で表現された音声信号からアナログ音声信号に変
換する復号化手段１１５（各種の音声合成装置／方式を
含む）と、その復号化手段１１５の出力信号を増幅し、
周波数フィルタリングする出力用フィルタリング手段１
１１と、スピーカ１３２や電話器（図示せず）などの音
声出力手段を選択する音声出力手段選択手段１１０と、
ディジタル量で表現された音声信号等を記憶する音声処
理用記憶手段１１８と、音声の入出力の制御と音声情報
処理を行なう音声処理手段１１９と、音声処理の条件を
記憶する音声処理条件記憶手段１２１と、アナログ音声
信号を増幅し、周波数フィルタリングする入力用フィル
タリング手段１０９の出力信号を分析して音声の大き
さ、有音・無音の判定結果を一定間隔で出力する有音無
音判定手段１２０と、複数の音声データの管理情報を記
憶する音声データ管理情報記憶手段１２７と、情報処理
手段１０５から音声処理用記憶手段１１８へのアクセス
と音声処理手段１１９から音声処理用記憶手段１１８へ
のアクセスの競合を防止するメモリアクセス競合防止手
段１２３、音声処理手段１１９へのアクセス手段１２
４、音声処理手段１１９から情報処理手段１１９へのア
クセス手段１２５とからなるインタフェース部１２２
と、音声処理用記憶手段１１８内に音声再生条件を記憶
する音声再生条件記憶手段１３５を備えている。

【００６５】また、各手段はデータ及びアドレス、コン
トロールラインからなる主バス１２８または音声バス１
２９によって結合されている。なお、音声処理を行なう
手段をまとめて音声処理系１３６と呼ぶこととする。ま
た、情報処理手段１０５と音声処理手段１１９は一般の
マイクロプロセッサで構成されているものとする。

【００６６】なお、音声情報を符号化したり、時間軸を
伸縮させたり、音質や音色を変換したり、文字列から抑
揚の付与された音声に変換したり、特定話者や不特定話
者の音声を認識して単語コードや文字列に変換したり、
話者認識や話者の音声の特徴を学習して適応的に認識し
たり、環境雑音を処理する、いわゆる音声処理の具体的
処理手法や、音声に関係の不快各種の自然言語処理につ
いては多くの公知例があり、製品も既に幾つも実現さ
れ、当業者に取って実現手法はあきらかであり、また本
発明の対象そのものでもなく、かえって煩雑になるので
記載を省くこととする。これらの処理は音声処理手段１
１９の中で本実施例ではソフトウェアに拠り実現する。
もちろん各々専用ハードウェアで実施しても良い。

【００６７】マルチウィンドウ表示処理手段１０２は、
文字図形画像表示１０１からなる実端末の画面より大き
な論理画面を持つ仮想的な端末と実端末の画面に表示さ
れるウィンドウを対応付けて制御することによって、マ
ルチウィンドウを実現する。具体的には、マルチウィン
ドウ表示処理手段１０２は、情報処理手段１０５の命令
によって仮想端末を生成し、論理的な仮想画面を編集す
る。そして、仮想画面の一部を視野として切り出し、実
端末である文字図形画像表示手段１０１の画面に窓（ウ
ィンドウ）として表示する。さらに、実端末の画面上で
のウィンドウの移動、大きさ変更、仮想平面上の視野移
動等の機能を持ち、仮想端末に対する操作者の前記表示
手段の画面における位置を入力する画面位置入力手段１
０３（マウス等）あるいは文字を入力する文字入力手段
１０４（キーボード等）からの入力を情報処理手段１０
５に渡す。情報処理手段１０５からは、仮想画面の構
成、大きさを自由に設定可能であり、文字、図形、画像
を混在させて表示させ、複数のウィンドウを同時に表示
させることが可能である。これらのマルチウィンドウ表
示処理やグラフィック・ユーザ・インタフェース（ＧＵ
Ｉ）機能についても、既に商品として一般に広く実現さ
れており、ここで改めてその細部を記述する必要はない
であろう。

【００６８】以上に述べた本発明の一実施例にかかるシ
ステムにおいて、ユーザがアプリケーションを開発しな
がら、必要に応じてそのアプリケーションシステムの任
意の部分に音声を用いたインタフェース機能を簡単な編
集操作で付与する手段について以下詳細に説明する。以
下の実施例では、アプリケーション・プログラムの処理
手順をいわゆる構造化プログラミングの記述に向いたＰ
ＡＤで記述しソースプログラムを自動生成するシステム
を用いて説明するが、プログラム処理手順の記述はフロ
ーチャート等の場合も同様である。なお、ＰＡＤで記述
しソースプログラムを自動生成するシステムの例として
は日立製作所のワークステーション２０５０のＳＥＷＢ
等があり、実用化されているので、ここではその内容の
説明は行わない（日立製作所 日立クリエイティブワー
クステーション マニュアル２０５０−３−６０８−１
０等参照）。ただし、以下では説明を簡単にするため上
記のマニュアルの仕様とは多少異なり、簡略化してい
る。

【００６９】図２はＰＡＤを用いてプログラムを開発し
ている状態を示す文字図形画像表示手段１０１の画面の
一例を示す。編集領域２０１にアプリケーション・プロ
グラムの処理手順２０２の例の様に、シンボル領域２０
３からＰＡＤシンボルをマウスで選択し編集しプログラ
ムを作成していく。次のＰＡＤシンボルを付加する位置
２０４は自動的に黒い領域で表示される。自動表示され
ているＰＡＤシンボル付加位置２０４での処理がない場
合は、操作領域２０５の削除コマンド２０６をマウスで
クリックすることにより次の位置にＰＡＤシンボル付加
位置２０４は移動する。後から追加する場合は挿入コマ
ンド２０７と挿入位置をクリックすることによりＰＡＤ
シンボル付加位置２０４が移動する。処理内容２０８は
ＰＡＤの標準仕様にしたがって付加されたシンボルの中
に記述していく。

【００７０】音声インタフェース機能は本実施例では図
３以下に説明するように、ＰＡＤシンボルを付加するの
と同じような手順で行う。

【００７１】図３に於いて、操作領域２０５の制御コマ
ンド３０１をクリックすると制御プルダウンメニュー３
０２が現れる。メニューから音声ＩＢ（インタフェース
ビルダ）３０３を選択すると音声ＩＢ用カスケードメニ
ュー３０４が現れる。音声ＩＢ用カスケードメニュー３
０４から環境設定メニュー３０５以外の音声機能メニュ
ーを選択クリックすると図６の例のようにＰＡＤシンボ
ル付加位置２０４に選択された音声機能が付加される。

【００７２】環境設定メニュー３０５を選択すると、図
４に示すように音声の入出力条件を設定するための音声
入出力条件ダイアログボックス４０１が表示される。音
声入出力条件設定ダイアログボックス４０１には入出力
のサンプリング周波数や折り返し雑音防止等に用いる低
域フィルタや帯域フィルタの特性を指定するデータエン
トリボックスが用意されている。これらの値は予め音声
インタフェースビルダシステムでデフォルト値を与えて
おくと便利である。また、装置の側で固定されている場
合は指定できないよう薄い色で固定値を表示しておくと
よい。更に低域フィルタや帯域フィルタの帯域の上限側
の特性（Ｈ）の指定は折り返し雑音防止のためにサンプ
リング周波数の半分の値より高い値を指定できないよう
にしておくと良い。これらの音声入出力条件は一度指定
すると再指定するまで各音声機能に共通に働く様に構成
した。

【００７３】また、環境設定メニュー３０５には、図が
煩雑になるため記載を省略しているが、使用する機器
（ＣＤ、ＶＴＲ、ＣＶＤなど）の選択を行う項目なども
用意した。これらの各項目は対応する機器を接続してい
るハードウェアの論理番号等の設定も可能なように構成
されている。

【００７４】なお、アプリケーションが実行中に音声の
入出力を中断させたい場合の処理については、実行中に
エスケープ・キーをおすことによって実現するよう、そ
の機能が本インタフェースのコンパイル時に自動的に組
み込まれるよう構成した。

【００７５】（音声出力）次に図５以下を用いて音声出
力機能を組み込む場合を説明する。音声出力メニュー５
０１を選択すると、ＰＡＤシンボル付加位置２０４に図
６に示すように選択された音声機能（音声出力）が付加
されるとともに、図７に示すように音声出力機能選択ダ
イアログボックス７０１が表示される。音声出力機能選
択ダイアログボックス７０１には音声出力方式選択メニ
ューが表示される。

【００７６】（既登録音再生出力）音声出力機能選択ダ
イアログボックス７０１から、図８に示すように「ライ
ブラリ」メニュー８０１を選択すると、ライブラリ選択
ダイアログボックス８０２が表示される。ライブラリ選
択ダイアログボックス８０２から例えば「挨拶 ２」８
０３を選択すると８０４の様にＰＡＤ図の所定の位置に
出力内容「挨拶 ２」が表示される。ライブラリ選択ダ
イアログボックス８０２の「試聴」ボタン８０５をクリ
ックすると「挨拶 ２」の音声を聞いて内容を確認でき
る（音声機能が付加されている装置でプログラム開発を
行っている場合に確認できる。音声機能がない場合は
「試聴」ボタン８０５は薄く表示され、クリックしても
機能しないように構成する）。出力内容が確定した場合
は出力内容確定「ＯＫ」ボタン８０６を、出力方式を変
更したい場合は「キャンセル」ボタン８０７をクリック
する。「キャンセル」ボタン８０７をクリックした場合
は図７の音声出力機能選択状態に戻り、出力内容確定
「ＯＫ」ボタン８０６をクリックした場合は図２のＰＡ
Ｄによるプログラム作成状態に戻る。

【００７７】図７において、図９の様に「ユーザ登録」
メニュー９０１を選択すると、ユーザ登録ダイアログボ
ックス９０２が表示される。既に登録されたものから選
択する場合はユーザ登録リストから選択すれば良い。選
択したものは「試聴」ボタン９０４をクリックすること
により聞くことができる（音声機能が付加されている装
置でプログラム開発を行っている場合に確認できる。音
声機能がない場合は「試聴」ボタン９０４は薄く表示さ
れ、クリックしても機能しないように構成する）。出力
方式を変更したい場合は「キャンセル」ボタン９０５を
クリックする。「キャンセル」ボタン９０５をクリック
した場合は図７の音声出力機能選択状態に戻り、出力内
容確定「ＯＫ」ボタン９０６をクリックした場合は図２
のＰＡＤによるプログラム作成状態に戻る。この視聴機
能は、他の音声出力方式を選択した場合も、同様に付与
する。以下、それらの場合についても同様なので、それ
ぞれでは詳しい説明は繰り返さない。

【００７８】新規に登録する場合は「新規登録」メニュ
ー９０３をクリックすると新規登録ダイアログボックス
９０７が表示される。「標題」エントリボックス９０８
に例えば「ルート音」のような標題をに書き込む。次に
「開始」ボタン９０９をクリックし音響信号を外部より
取り込む。「終了」ボタン９１０をクリックすると取り
込みが終了する。「試聴」ボタン９１１をクリックする
と、取り込んだ音を聞くことができる（音声機能が付加
されている装置でプログラム開発を行っている場合。音
声機能がない場合は「試聴」ボタン９１１は薄く表示さ
れ、クリックしても機能しないように構成する）。登録
が確定した場合は登録内容確定「ＯＫ」ボタン９１２を
クリックすると、新規登録ダイアログボックス９０７は
消え、ユーザ登録ダイアログボックス９０２のユーザ登
録リストに新たに登録した標題が対か表示される。な
お、ユーザが登録したものもライブラリに合わせて表
示、選択できるように構成しても良い。

【００７９】（録音再生）つぎに、アプリケーション・
プログラムが実行中に音声を録音したり再生する出力機
能の付加について説明する。

【００８０】再び、図５の状態から説明しよう。図５の
状態で「録音・再生」メニューを選択すると、図１０の
様な状態になり、録音か再生の機能を選択するためのカ
スケード・メニュー１００１が表示される。「録音」を
選択すると、図１１のように録音終了条件設定ダイアロ
グボックス１１０１が表示される。

【００８１】録音開始は、アプリケーション・プログラ
ムが実行中にこの部分を起動した時点からとする。この
部分の前に録音開始可能なことを示す表示か音声出力を
行うようアプリケーション・プログラムを構成しておけ
ば良い。

【００８２】録音終了条件としては、録音時間（＝メモ
リ容量）か、音声休止時間一定以上か、キーボード等外
部からの信号によるかを選択し、録音時間（＝メモリ容
量）か、音声休止時間の場合はそれぞれ判定条件の時間
等を設定する。音声休止状態の判定は雑音レベルと入力
との関係で行うのが普通である。これらの値は予め音声
インタフェースビルダシステムでデフォルト値を与えて
おくと便利である。録音終了条件の指定は、音声認識等
の音声入力機能や音声アノテーションの機能でも必要で
あり、同様に行うので、それぞれの項での説明は詳しく
は繰り返さない。

【００８３】更に録音された音響信号のファイルに名前
を設定し、「ＯＫ」ボタンをクリックするとＰＡＤに録
音処理１１０２が付加される。ファイル名はアプリケー
ション・プログラム実行中に外部から指定できる様にも
構成されている。例えばファイル名の代わりに「”＃０
０１”−３」などと外部からの入力装置番号とその装置
からの何番目の入力かを指定する。具体的方法はベース
となるプログラム開発手順および処理手順（ここではＰ
ＡＤにおけるもの）と同じようにしておく方がユーザに
とって便利であり、それに合わせて規定することは当業
者には容易である。

【００８４】アプリケーション・プログラムが実行さ
れ、この状態になると、設定されていた条件にしたがっ
て録音入力が実行可能になる。

【００８５】録音されているものを再生する場合は、図
１２の様に再生条件設定ダイアログボックス１２０１に
条件を設定することによりＰＡＤに再生処理機能１２０
２が付加される。再生すべきファイル名も設定する。こ
こでも、ファイル名はアプリケーション・プログラム実
行中に外部から指定できる様にも構成されている。再生
条件の開始時間とは、この処理の状態になってから再生
が開始されるまでの時間遅れの指定を意味する。この値
も予め音声インタフェースビルダシステムでデフォルト
値を与えておくと便利である。また、図面が煩雑になる
ので記載を省略してあるが、再生速度の変更や、声質変
換の指定も再生条件設定の中に組み込んでいる。これら
の機能は次の規則合成出力機能にも用意したが、同様の
内容なので重複を避け、記述を省略する。

【００８６】アプリケーション・プログラムが実行さ
れ、この状態になると、再生条件設定ダイアログボック
ス１２０１の条件にしたがって、指定された録音済みの
音声の再生が実行される。

【００８７】音声出力のタイミング等の指定は、他の音
声出力方式選択の場合も必要であるが、同様に実現すれ
ば良いので詳しい説明は以下繰り返さない。

【００８８】（規則合成出力）次に規則合成機能につい
て説明する。音声出力機能選択ダイアログボックス７０
１から図１３に示すように、「規則合成」メニュー１３
０１を選択すると、図１４に示すように、合成出力すべ
き文章の入っているファイルを指定するファイル指定ダ
イアログボックス１４０１が表示され、ＰＡＤに規則合
成機能１３０２（図１３参照）が付加される。

【００８９】ここで例えばファイル名を１４０２の様に
入力するとＰＡＤにファイル名が１４０３の様に表示さ
れる。そして、別途図１５の様にあらかじめ作られてい
る文章ファイルが、図１６の１６０１に示すように表示
され、同じ画面に再生範囲指定ダイアログボックス１６
０２が表示される。再生範囲指定ダイアログボックス１
６０２は全文を音声合成出力するのか、指定範囲を出力
するのかを選択できる。指定範囲の出力を選択した場
合、選択範囲の始点１６０３と終了点１６０４をマウス
等のポインティングデバイスで指定する。指定の順序は
どちらからでも良く、はさまれた範囲が出力の対象とな
る。指定位置を偶数個指定することにより、文頭より二
つづつの対で、対の数だけ複数個所の指定が可能であ
る。

【００９０】再生範囲の指定を終了した時点でオプショ
ン１４０２を指定し、ＯＫボタン１４０６をクリックす
ると、図１７に示すように、オプションダイアログボッ
クス１７０１が表示される。合成音声の音色を女声２、
発声速度を標準等と指定しＯＫボタン１７０２をクリッ
クすると規則合成機能の付加が終了する。

【００９１】煩雑になるため図１７には記載を省略して
あるが、字種（漢字ひらがなや英数字など）や記号（カ
ッコなど）により声質を変えるよう指定できるように構
成した。また、図面が煩雑になるので表示を省略した
が、アプリケーション・システムが音声出力動作に入る
前に、事前に音声を合成しておき、出力までの応答時間
を短くするための指定や、出力の大きさを指定が出来る
ように構成している。

【００９２】なおオプションの標準条件（デフォルト）
として予めシステムで男声１、発声速度標準等を決めて
おくことにより、オプション１４０５の指定を省略でき
るようにしておくと便利である。また、オプション１４
０５を指定した場合以降変更するまで指定条件を標準条
件に置き換えることも効果的である。また、オプション
条件を複数種指定できるようにし、それのどれかを選択
できる形式も便利である（オプションダイアログボック
スを複数個用意し、おのおのに異なった番号を付け、指
定のない場合は最初の番号とする等）。

【００９３】規則合成に用いる単語辞書の追加機能やア
クセントの付与については、後述の音声理解の項の語彙
登録の部分と同様に行うので、その項で合わせて説明す
る。

【００９４】なお、漢字仮名混じり文などからなる文章
の漢字などに読みを付与し、発音記号に変換したり、音
韻情報、アクセント、イントネーション、音韻などの時
間構造を求め合成器への合成制御信号を生成し、音声に
変換する等の処理は音声合成部で行うものであり、その
方法自体は様々な方法が既に実用化されており、また、
それ自体は本発明の対象ではなく、説明が煩雑になるの
でここでは記述を省略する。

【００９５】（概念合成）次に概念合成機能について説
明する。この機能は、意味や概念を記述する方法、例え
ばリレーショナルデータベース（ＲＤＢ）のような形式
で表現されている情報を、文章の形式に変換し、音声で
出力するものである。

【００９６】音声出力機能選択ダイアログボックス７０
１から図１８に示すように、「概念合成」メニュー１８
０１を選択すると、ＰＡＤに規則合成機能１８０２が付
加され、図１９に示すように、合成出力すべき情報の入
っているファイルを指定するファイル指定ダイアログボ
ックス１９０１が表示される。

【００９７】ここで例えばファイル名を１９０２の様に
入力すると、ＰＡＤにファイル名が１９０３の様に表示
され、この例の場合は「天気予報」の文章が生成され、
合成出力可能となる。

【００９８】リレーショナルデータベース（ＲＤＢ）は
良く知られている技術で、データベース言語ＳＱＬとし
て国際規格ＩＳＯ９０７５−１９８７や日本規格ＪＩＳ
Ｘ３００５−１９８７，アメリカ規格ＡＮＳＩ ｘ．
３．１３５−１９８６等として規定されたものが在る。
例えば簡単な例で、この「天気予報」を示すと、図２０
の様になる。

【００９９】この「天気予報」の例で、文章を生成する
簡単な方法の例としては、「ＸＸ地方、午前中はＸＸ、
午後はＸＸ、夜はＸＸとなりましょう。」という枠組み
の中に順次ＲＤＢで示されている情報を埋め込んで行け
ば文章が生成できる。例えば、「北海道地方、午前中は
晴れ、午後は曇り、夜は雪となりましょう」という文章
が図２０の表から生成される。

【０１００】文章が生成されれば、そのあとの処理は規
則合成と同様に処理可能となる。もちろん、枠組みとな
る文章構造の情報等を積極的に利用すれば、規則合成の
場合必要な文章構造解析の処理は不要となり、むしろ精
度が上がる利点も在り、その性質を積極的に利用すべき
である。音質条件などについても、規則合成と同様にオ
プション指定１９０４等で行えば良い。

【０１０１】なお、様々な情報から文章を生成する技術
については、ＡＩ学会誌の１９９１年に３回にわたって
詳しい解説論文が掲載されており、そこに示されている
様々な手法が対象に応じて利用可能である。

【０１０２】また、種々の文生成法に必要な語彙の新規
登録については、各語彙の文法情報も必要であり、音声
理解の項での語彙登録と合わせて説明する。

【０１０３】（音声入力）次に図２１以下を用いて音声
入力機能を組み込む場合を説明する。音声入力機能２１
０１を選択すると、ＰＡＤシンボル付加位置２２０１に
図２２に示すように選択された音声機能（音声入力）が
付加されるとともに、認識条件設定ダイアロボックス２
２０２が表示される。煩雑になるので同図にはその総て
を示さなかったが、話者条件、語彙登録法、判定条件
（判定域値レベル）、出力形式（コード形式か文字列
か、第何位までの候補を出すか、結果の確度を併せて出
力するか等）等を選定、又は入力する。これにより、例
えば、この後の各項の語彙登録法は、文字列によるもの
か音声によるものか等が決められる。

【０１０４】これらの条件の設定を終わり、「ＯＫ」ボ
タンをクリックすると図２３に示すように音声入力機能
選択ダイアログボックス２３０１が表示される。音声出
力機能選択ダイアログボックス２３０１には音声入力方
式選択メニューが表示される。

【０１０５】（単語認識）図２４の音声入力機能選択ダ
イアログボックス２３０１のメニューから単語認識項目
２４０１を選択するとＰＡＤシンボル付加位置に単語認
識２４０２と表示され、認識語彙テーブル選択ダイアロ
グボックス２４０３が出現する。図２５に示すように、
認識語彙テーブル選択ダイアログボックス２４０３から
「語彙テーブル」２５０１を選択すると、既登録認識語
彙テーブル選択ダイアログボックス２５０２が表示され
る。この既登録認識語彙テーブル選択ダイアログボック
ス２５０２に表示されている既登録認識語彙リストから
例えば「＃１数字」２５０２を選択すると、認識語彙テ
ーブル選択ダイアログボックス２４０３中の選択認識語
彙テーブル名表示領域２５０４に選択された認識語彙リ
スト「＃１数字」が表示されると共に、ＰＡＤシンボル
付加位置にも認識語彙リスト「＃１数字」が表示され
る。選択を確定した場合は、認識語彙テーブル選択確定
「ＯＫ」ボタン２５０６をクリックするとＰＡＤへの単
語機能付加が終了し、表示されていた各ダイアログボッ
クス等が消える。

【０１０６】なお、既登録認識語彙テーブル選択ダイア
ログボックス２５０２に表示されている既登録認識語彙
リストから例えば「＃１数字」２５０２を選択し、既登
録認識語彙テーブル「削除」ボタン２５０７をクリック
すると、「＃１数字」２５０２を既登録認識語彙リスト
から削除することも出来る。

【０１０７】新規に認識語彙リストを登録するする場合
は、図２６に示すように、認識語彙テーブル選択ダイア
ログボックス２４０３の「語彙新規登録」２６０１を選
択すると、認識語彙テーブル新規登録ダイアログボック
ス２６０２が表れる。この認識語彙テーブル新規登録ダ
イアログボックス２６０２には認識語彙テーブル番号入
力領域２６０３に未使用登録認識語彙リスト番号がデフ
ォルトとして表示されている。認識語彙テーブル名入力
領域２６０４に新規登録の認識語彙テーブル名をキーボ
ードから入力し、命名する。認識語彙番号入力領域２６
０５にそのテーブルに登録する語彙の番号を入力する。
初めは＃１の値がデフォルト値戸して表示されており、
変更しない場合は特に入力する必要はない。

【０１０８】次に認識語彙登録入力領域２６０６に登録
する単語をキーボードで入力する。ここでは不特定話者
方式の例として説明するので、キーボードからの文字列
に従い文字単位の標準パタンの接続で単語の標準パタン
が自動的に作成されるよう構成した。これらは既に当業
者には公知であり、冗長となるのでここでは細かな記載
を省略する。例えば、具体的方法は文字単位の隠れマル
コフモデルを接続して任意の単語の隠れマルコフモデル
を作り出し統計的に認識する手法（ＨＭＭ法）などを挙
げることが出来る。

【０１０９】もちろん、認識語彙登録入力領域２６０６
をボタンとして構成し、このボタンをクリックし、それ
と共に音声を入力、その音声を標準パタンとして登録す
る構成とすることによって特定話者方式とすることも可
能である。

【０１１０】新らたに語彙を登録すると、それ迄に登録
されている語彙との間で誤認識が生じやすいかどうかを
自動的に判定し、誤認識の可能性が高い場合は、警告２
６０９等を表示するよう構成した。登録が文字列の場合
は、文字列の一致の度合いで、音声の場合は作成した標
準パタンの間のパタンマッチングの程度で判定すること
が出来る。

【０１１１】この入力が終了し、認識語彙新規登録「Ｏ
Ｋ」ボタン２６０７をクリックすると認識語彙番号入力
領域２６０５の番号は自動的にインクリメントする。

【０１１２】既登録の語彙を削除する場合は、認識語彙
テーブル番号入力領域２６０３と認識語彙番号入力領域
２６０５に削除する単語の番号等を入力し、認識語彙
「削除」ボタン２６０８をクリックすることにより実現
されるよう構成した。

【０１１３】（文章認識）図２４の音声入力機能選択ダ
イアログボックス２３０１のメニューから、図２７に示
すように文章認識項目２７０１を選択すると、ＰＡＤシ
ンボル付加位置に文章認識２７０２と表示され、文章認
識対象文リスト選択ダイアログボックス２７０３が出現
する。

【０１１４】図２８に示すように、文章認識対象文リス
ト選択ダイアログボックス２７０３から「登録済み」２
８０１選択すると、既登録文章認識対象文リスト選択ダ
イアログボックス２８０２が表示される。この既登録文
章認識対象文リスト選択ダイアログボックス２８０２に
表示されている既登録文章認識対象文リストリストから
例えば「＃１挨拶文」２８０３を選択すると、文章認識
対象文リスト選択ダイアログボックス２７０３の選択文
章認識対象文リスト名表示領域２８０４に選択された文
章認識対象文リスト「＃１挨拶文」が表示されると共
に、ＰＡＤシンボル付加位置にも文章認識対象文リスト
「＃１挨拶文」が表示される。選択を確定した場合は、
文章認識対象文リスト選択確定「ＯＫ」ボタン２８０６
をクリックするとＰＡＤへの単語機能付加が終了し、表
示されていた各ダイアログボックス等が消える。

【０１１５】なお、既登録文章認識対象文リスト選択ダ
イアログボックス２８０２に表示されている既登録文章
認識対象文リストから例えば「＃１挨拶文」２８０３を
選択し、既登録文章認識対象文リストの「削除」ボタン
２８０７をクリックすると、「＃１挨拶文」２８０３を
既登録認識語彙リストから削除することも出来る。

【０１１６】新規に文章認識対象文リストを登録する場
合は、図２９に示すように、文章認識対象文リスト選択
ダイアログボックス２７０３の「新規登録」２９０１を
選択すると、図３０に示すように、文章構造定義領域３
００１が表れる。

【０１１７】文章構造定義領域３００１には、予め文章
始点ノード３００２が表示されている。以下、文章構造
の定義の手順の例を説明する。

【０１１８】右側の選択ボックスから中間ノード指定メ
ニュー項目３００３をクリックし、３００４と示す位置
をクリックすると、この位置に中間ノードが表示され
る。次に文章始点ノード３００２と中間ノード３００４
を順にクリックするとアークで両者がつながれ、そこに
語彙群番号、例えば「＃１」３００９が表示される。ア
ークの向きを逆にしたい場合は、そのアークをクリック
後、右側の選択ボックスのアーク方向逆転指示メニュー
項目３０１２をクリックすると、矢印が逆になり、アー
クの方向が逆向きに定義される。文章の終わりを示す語
群には、中間ノードの代わりに、終端ノード指定メニュ
ー項目３００５を用いれば良い。例えば、３００７や３
００６等に示したようにする。この例では、文章は３０
０６でも、３００７でも終了が可能なことを示してい
る。

【０１１９】定義した部分を取り消す場合は、取り消し
たい部分をクリックし、引き続いて、操作「取消し」ボ
タン３０１０をクリックすれば良い。

【０１２０】このようにしてネットワーク構造で定義さ
れた文章は、システムの内部ではリスト構造で表現され
る。このような変換や、処理は現在の計算機システムで
は容易に実現されているものであり、ここで改めて説明
するまでもなかろう。

【０１２１】各アークの語彙群の内容を定義するために
は、そのアークをクリックし、選択ボックス内の語彙群
指定メニュー項目３００８をクリックすると、語彙定義
ダイアログボックス３０１３が表れる。定義済みの単語
リストの後に語彙登録入力領域３０１４が表示される。
定義の仕方などは前述の単語認識における定義の場合な
どと同様である。これらには、語彙登録入力「取消し」
ボタン３０１５や、語彙登録入力終了「ＯＫ」ボタン３
０１６、既登録語彙「削除」ボタン３０１７等を用いれ
ば良い。

【０１２２】文章構造定義領域３００１には文章リスト
番号入力領域３０１９があり、デフォルトとして新規登
録の新しい番号が示されている。既登録のものを修正す
る場合は、ここの番号を修正したい番号に変更すること
によって、その登録済みの文章構造が表示される。これ
により、修正、削除が可能である。文章リスト名入力領
域３０２０には、適当な文章リスト名を入力しておく
と、後の利用に便利である。

【０１２３】（音声理解）図２４の音声入力機能選択ダ
イアログボックス２３０１のメニューから、図３１に示
すように音声理解項目３１０１を選択すると、ＰＡＤシ
ンボル付加位置に音声理解３１０２と表示され、音声理
解対象文リスト選択ダイアログボックス３１０３が出現
する。前述の文章認識の場合と異なる部分は重要語彙の
定義とそれらの語彙の意味的関係を記述する部分であ
る。

【０１２４】登録済のものを選択する手順や削除する手
順は、前述の文章認識の場合と同様なのでここではその
記述を省略する。

【０１２５】登録済のものを修正する場合、および新規
登録の場合も、前述の文章認識の場合と共通の手順を含
む。異なる部分は、語彙の定義とそれらの語彙の意味的
関係を記述する部分である。

【０１２６】先ず、語彙の意味的関係が既に定義されて
いて、それを修正する場合から説明し、次に、語彙の意
味的関係を定義する手順を説明後、重要語とその意味的
関係を関係付ける手順を説明する。

【０１２７】音声理解対象文リスト選択ダイアログボッ
クス３１０３から登録済みの項目を選択すると、図３２
に示すように登録済み音声理解対象文処理ダイアログボ
ックス３２０１が表れる。ここで、登録済み音声理解対
象文用意味ネットワーク（対象アプリケーションの世界
の情報を示す）修正指示項目３２０２を選択すると、登
録済み音声理解対象文用意味ネットワーク選択ダイアロ
グボックス３２０３が表れる。ここから修正したい意味
ネットワーク、例えば「＃１製品案内」３２０４を選択
すると、図３３に示すように音声理解対象文用意味ネッ
トワーク構造定義領域３３０１が表れ、その中に「＃１
製品案内」３２０４に関する意味ネットワークが表示さ
れる。ここには音声理解対象文用意味ネットワーク作成
メニュー項目３３０３も表示され、これを用いて意味ネ
ットワークを作成したり、修正を行う。意味ネットワー
クは、一般関係と具体関係とで概念間が関係付けられて
おり、具体関係については、図面が煩雑になるので省略
して簡単に書いてあるが、実際には「開発」「所在地」
「出発地」等概念間の関係を示す多数の項目を別途リス
トにして示し、それを選択出きるように構成した。
（尚、意味ネットワークに関しては、「概念ネットワー
クを用いた大語彙単語音声認識」電子情報通信学会論文
誌Ｄ−II Ｖｏｌ．Ｊ７２−Ｄ−II Ｎｏ．８ ｐｐ．
１２７０−１２７５ １９８９．８などに詳しい。） 新規に意味ネットワークを登録する場合は、音声理解対
象文用意味ネットワーク構造定義領域３３０１には何も
ネットワークは示されておらず、新に音声理解対象文用
意味ネットワーク作成メニュー項目３３０３を用いて定
義していけば良い。

【０１２８】図３４に意味ネットワークの例を示す。概
念関係定義領域３４０１と事実関係定義領域３４０２か
らなり、概念関係定義領域３４０１の意味ネットワーク
はいわば汎用の辞書に相当し、事実関係定義領域３４０
２はアプリケーションで使用者が用いる具体的意味関係
を定義する領域である。事実関係定義領域３４０２は複
数個用意する個とが出きるよう構成した。概念関係定義
領域３４０１の意味ネットワークは、使用頻度の高いも
のについては、予めデフォルトとして幾つか用意してお
くと良い。この場合は図３２の「コピー」項目を選択
し、表れた登録済み音声理解対象文用意味ネットワーク
選択ダイアログボックス３２０３からコピーしたい意味
ネットワーク、例えば「＃１製品案内」３２０４を選択
し、登録済み音声理解対象文用意味ネットワークの修正
の手順で登録することになる。

【０１２９】次に、語彙群が重要語の場合の意味関係の
指定方法を図３０を用いて説明する。語彙定義ダイアロ
グボックス３０１３を用いて語彙を定義する時に、その
語彙群が重要な語である場合、重要語彙群指定領域３０
１８をクリックして入力音声を理解する上でキーワード
となるべきものであることを指定する。キーワード以外
の語は重要語の指定を行わない。

【０１３０】キーワードとなるべきものであることを指
定すると図３４のような意味ネットワークが表れる。こ
こで、たとえば、「東京」をクリックすると＃２の語彙
群は事実関係定義領域３４０２を介して電機メーカの所
在地としての意味付けがなされ、重要語彙群指定領域３
０１８には「電機メーカ所在地」と表示が変更される。

【０１３１】このように定義された文章を対象として入
力音声を認識した場合、入力音声に例えば「大阪」とい
うキーワードが認識されると、この「大阪」はある電機
メーカの所在地の意味で発声されたと理解し、図３５の
ようにＰＡＤには理解結果が「電機メーカ所在地」であ
ることがわかるように表示される。キーワード以外の認
識された言葉の認識結果は無視される。これにより、キ
ーワードさえ含んでいれば発声者はかなり自由で自然に
発声することが出来る。このプログラムが実行されると
電機メーカ所在地と解釈されて、そのプログラムの中で
利用されることになる。

【０１３２】なお、先に述べた規則合成や概念合成の処
理に用いる語彙の新規登録も、音声理解の場合とほぼ同
様の手順で行う。その場合、単に文字列と重要度だけで
なく、その語のアクセント型や文法的情報（品詞や格関
係など）を合わせて入力するようフォーマットを構成し
ている点が異なり、それにとも内それらの情報を入力す
る手順が加わるが全体としての手順は音声理解の場合と
ほぼ同じであるのでここではその詳細までを記載する必
要はないであろう。

【０１３３】（対話理解）対話理解は、以上に説明して
きた音声理解と音声出力を利用してＰＡＤを用いてアプ
リケーション・プログラムを作るように任意の対話の流
れを構成し、それを一つのサブルーチンの様に構成した
ものを予め用意し、それを利用すれば良い。図３６に示
すように「対話理解」の項３６０１を選択し、音声理解
と同じように、登録されている対話理解の種類のリスト
から必要なものを選択して、アプリケーション・プログ
ラムに３６０２のごとくつけ加える。この結果、例え
ば、図３７に示すように、対話理解の結果が得られる。
この例ではアプリケーション・プログラムが実行される
と、対話の結果、電機メーカとその所在地の情報が得ら
れることとなる。

【０１３４】（話者認識）図３８に示すように、音声Ｉ
Ｂ用カスケードメニューから「話者認識」を選択する
と、ＰＡＤシンボル付加位置２０４に「話者認識」と表
示され、話者認識機能を付加する状態になる。

【０１３５】本実施例での話者認識は、特定話者の単語
認識の機能を利用するが、文章音声などを利用する方
法、それらの内容が予め決まっているものや、内容をと
わない方式の使用も当然ある。また、複数個の単語を用
いる方法もある。これらの機能を用意し、そのいずれか
を選択できるよう構成することも当然可能である。これ
らもメニューで選択できるように構成した（図は省
略）。選択を行わない場合は、単語を用いることをデフ
ォルトとして定義しておく。なお、ここではインタフェ
ースこの構成を問題にしているのであって、話者認識方
法自体を対象とするものではないので、その方法につい
ては記述を省く。

【０１３６】出力としては、その確度も併せて出力でき
るオプションを選択できるよう構成した。例えば、確度
が非常に高い場合は「１」を、全く可能性が無い場合は
「０」年、その程度により、その間の値を出力させる。

【０１３７】また、本実施例では、特定話者の単語認識
と同じ手順で機能を付加するので、ここでは説明を繰り
返さない。両者の違いは、予めシステム内部に設定して
ある認識判定閾値を単語認識より厳しく設定しておき、
同じ単語を発声しても、話者が異なるとリジェクトする
ように構成されている点、及び出力が認識単語を示して
いるのではなく、発声者を示していると解釈する点であ
る。これにより、登録単語の内容が一種の暗証コードと
なっていると共に、話者の違いも判定するので認識性能
を高く実現することが可能になる。

【０１３８】（電話）次に、図３９以下を用いて通信機
能を利用する場合を説明する。まず最初に電話機能につ
いて述べる。制御プルダウンメニュー３０２から電話の
項目を選択すると、電話機能選択メニューボックス３９
０１が現れる。

【０１３９】電話発信する場合は、電話宛先選択メニュ
ー３９０２から相手を選択する事によって相手のアドレ
ス等が発信される。なお、図は煩雑となるので省略して
あるが名前と対で相手のアドレスを併せて表示してもも
ちろん良い。あるいは相手のアドレスを表示させる選択
項目を設けても良い。

【０１４０】表示の範囲に相手の名前が無い場合は
「次」ボタン３９０５をクリックすると、登録されてい
る次の数名の名前が表示される。登録されていない相手
に発信する場合は、新たに登録してから実行する方法
と、「宛先」をクリックしキーボードなどから直接相手
のアドレス等を入力し発信する場合がある。これらの選
択機能はマウスによるクリックの他に、既に説明した音
声機能自体を用いて音声で行ったり、あるいはキーボー
ドでも行えるよう構成しておくと便利である。この様な
機能は次に述べる音声メールでも同様であるばかりでな
く、他の機能の場合にもあてはまることは言うまでもな
い。

【０１４１】新たに登録する場合は、「宛先設定」項目
を選択し、新規宛先設定領域３９０４に相手の名前とア
ドレスなどを入力し、「ＯＫ」ボタンをクリックするこ
とにより実現される。

【０１４２】登録済の者を削除するのは、「削除」ボタ
ンをクリックしてから削除したい名前をクリックする。

【０１４３】電話の到着は、通常の電話のように呼び出
し音により通知されるので、本実施例では電話機能選択
メニューボックス３９０１の図には書いていないが、画
面に着信を知らせる表示や相手の情報を知らせる表示を
用意するとより便利である。

【０１４４】（音声メール）制御プルダウンメニュー３
０２から音声メールの項目を選択すると、図４０に示す
ように音声メール機能選択メニューボックス４００２が
現れる。

【０１４５】音声メールを発信する場合や相手先の登
録、削除等は、電話発信と同様の手順としたので、ここ
ではその説明を省略する。

【０１４６】音声メールが到着している場合は、図には
省略してあるが、その旨を電話の場合と同様画面に表示
すると便利である。着信メール件数、メール標題、発信
者、等を表示するかどうかの選択も出来るように構成し
た。また、新規に到着した場合は直ちにその旨表示する
かどうかの選択も出来るようにした。

【０１４７】音声メールが到着している場合、制御プル
ダウンメニュー３０２から音声メールの項目を選択する
と、到着音声メール表示４００７が表れる。表示されて
いる名前をクリックすると、その音声メールがマイクよ
り出力される。また、図が煩雑になるので、その表示を
省略しているが、各音声メールの先頭部分のみ出力して
聞くモードや、出力後そのメールを消去するか保存する
かを指定するオプション・ボタンも用意している。例え
ば、先頭部分のみ出力して聞くモードについては類似の
構成を後述の音声メモの項に示してある。

【０１４８】音声メールを発信する場合は発信の前に音
声メールを作成しておくと便利である。このために、
「編集」機能４００３を選択し、図４１に示すような編
集画面４１０１を表示し、操作領域４１０１により操作
をしながら音声メールを作成する。編集画面４１０１に
は音声の存在を示すバー４１０２が表示される。バーと
バーの間は音声の間の休止区間を示す。音声を入力した
り挿入するのには「挿入」を選択し、入力や挿入したい
位置、例えば４１０７などをクリックすると音声入力の
ための操作領域４１０５が現れる。「開始」をクリック
すると音声入力動作が始まり、「終了」をクリックする
と入力が終了する。「挿入」の他に「入力」を設けると
更に判り易いが、ここでは図面が煩雑になるので兼用形
式で説明した。

【０１４９】「消去」、「移動」、「複写」等をクリツ
クし、音声の存在を示すバーをクリックすると、その音
声に対しその操作がなされる。なお、「移動」の場合は
移動先の休止区間を指示することが必要である。又「試
聴」を選択すると編集されたメールを聞くことが出来
る。この場合聞きたい範囲を指示する機能も付けておく
と便利である。編集を集利用する場合は「ＯＫ」をクリ
ックする。

【０１５０】（音声メモ）次に音声メモ機能について説
明しする。図４２に文書処理をしている状態を示す。

【０１５１】文書ファイル名称入力領域４２０１に対応
する文書が文書表示領域４２０２に示されており、この
任意の場所に音声でメモを付ける場合を例に説明する。
図４３に示すように、操作領域の「音声メモ」コマンド
４３０１をクリックすると音声メモ関係機能プルダウン
・メニュー４３０２が表れる。

【０１５２】例えば位置４３０４に音声メモを付与した
い場合、音声メモ位置指定機能コマンド４３０３をクリ
ックし音声メモ位置表示４３０４をクリックすると、音
声メモ位置が４３０４の位置に表示されると共に、メモ
の入力が可能となる。

【０１５３】音声メモ内容を編集したい場合は、図４４
に示すように、音声メモ編集機能コマンド項目４４０１
をクリックし、編集したい音声メモの位置表示をクリッ
クすると、音声メモ編集領域４４０２が表示される。音
声メモの編集は音声メールの場合と同様に行うよう構成
したので、ここでの説明は省略する。

【０１５４】記録済の音声メモを読む場合は、読みたい
音声メモの位置表示をクリックすれば良い。また、面内
の全ての音声メモや、ある範囲内の音声メモを連続的に
読み出したり、各音声メモの先頭だけを順次連続的に読
み出したりすることも音声メモ関係機能プルダウン・メ
ニュー４３０２内のコマンドを選択することによって可
能となる。範囲内の音声メモを連続的に読み出す場合
は、「指定範囲再生」をクリックし、先頭と最後の位置
表示をクリックすれば良い。

【０１５５】なお、読み出し中の音声メモの位置表示を
ブリンキング等させるよう構成し、何処のメモを出力し
ているか一目でわかるよう構成した。

【０１５６】音声メモの条件の設定は図４５に示すよう
に、音声メモ条件設定機能コマンド４５０１をクリック
することにより、音声メモ条件設定ウィンドウ４５０２
を表示させ、必要な条件を入力すれば良い。標準的条件
は予めデフォルト値として設定しておくと便利である。
また、図面が狭いため図には記載を省略してあるが、メ
モ音声の最大長や、各音声メモの頭の部分を読みだす場
合の読み出し長さと間隔の置き方等も設定できるように
しておくと便利である。更に、音声メモを付ける文章そ
のものを処理する場合、音声メモの位置表示が目ざわり
になり、作業の望外にならないように、表示を見えなく
する（マスクする）機能を用意した。また、編集作業に
伴い自動的に音声メモの位置及び表示が移動するように
構成した。これは画面上の文字など文書構成要素の一番
位置的に近いものを検出し、それに付随して移動させる
ことによって容易に実現される。

【０１５７】実施例の説明の最初の部分で説明したよう
に、この実施例では、構造化プログラミングの記述法で
あるＰＡＤによりアプリケーシヨン・システムを記述
し、そのＰＡＤによる記述からソースプログラムを自動
的に生成する方式に本発明を組み合わせて実現した。そ
の手順の概要を図４６に示す。すなわち、本発明の音声
インタフェース・ビルダの機能を、ＰＡＤによるアプリ
ケーシヨン・システム記述法に組み込んだものとして構
成し、そのＰＡＤ記述システムを起動し、それを用いて
アプリケーシヨン・システムを記述し、その結果をＣ言
語のソースプログラムに変換生成する。この手順の例と
しては日立製作所のワークステーション２０５０のＳＥ
ＷＢ等があり、実用化されているので、ここではその内
容の説明は行わない（日立製作所 日立クリエイティブ
ワークステーション マニュアル２０５０−３−６０８
−１０等参照）。

【０１５８】図４７はこのシステムから本発明の音声イ
ンタフェース・ビルダを呼び出す手順を示すＰＡＤ図で
ある。この手順に従い音声インタフェース・ビルダを呼
び出すと、更に個別の音声機能をアプリケーシヨン・シ
ステムに設定すのに用いる項目の選択が可能となる。こ
の手順を図４８にＰＡＤ図として示す。以下同様に各個
別の機能ごとに上記の各項目でに述べた手順に従って処
理を実現できるよう構成することにより実現される。

【０１５９】

【発明の効果】本発明の音声インタフェース・ビルダー
・システムでは、ユーザがアプリケーションを開発しな
がら、必要に応じてそのアプリケーションシステムの任
意の部分に音声を用いたインタフェース機能を簡単な編
集操作で付与することが出来るようになった。すなわ
ち、マウスなどのポインティングツールを用いて、メニ
ューに示されている様々な音声インタフェース機能の中
から任意の機能を選択しアプリケーションシステムの任
意の部分に結び付けたり、パラメータ値を設定し、その
結果をコンパイルすることにより、容易に音声インタフ
ェース機能を付与することができた。

【０１６０】これにより、音声注釈や効果音の付与機能
のみならず、音声認識や音声合成、音声対話機能を持つ
音声インタフェースをユーザが自由に設計し、ダイナミ
ックに処理を行う処理手順そのものとしてのアプリケー
ションの中に、その処理手順の一部として音声インタフ
ェース機能を上に実現できる手段を提供することができ
た。

【図面の簡単な説明】

【図１】本発明の一実施例を説明する構成図である。

【図２】ＰＡＤを用いたプログラム開発状態を説明する
ための画面を示す図である。

【図３】ＰＡＤを用いた音声インタフェース機能付加手
順を説明するための画面を示す図である。

【図４】音声インタフェース機能の共通入出力環境条件
設定手順を説明するための画面を示す図である。

【図５】音声出力機能の種類選択手順を説明するための
第１の画面を示す図である。

【図６】音声出力機能の種類選択手順を説明するための
第２の画面を示す図である。

【図７】音声出力機能の種類選択手順を説明するための
第３の画面を示す図である。

【図８】ライブラリ利用音声の出力機能の設定手順を説
明するための画面を示す図である。

【図９】ライブラリにユーザが音声を登録する手順を説
明するための画面を示す図である。

【図１０】録音再生機能の設定手順を説明するための画
面を示す図である。

【図１１】録音条件の設定手順を説明するための画面を
示す図である。

【図１２】再生条件の設定手順を説明するための画面を
示す図である。

【図１３】音声規則合成の機能設定手順を説明するため
の画面を示す図である。

【図１４】音声規則合成すべき文書ファイル指定手順を
説明するための画面を示す図である。

【図１５】音声規則合成すべき文書ファイルの一例を説
明するための画面を示す図である。

【図１６】文書ファイルの音声出力範囲指定手順を説明
するための画面を示す図である。

【図１７】音声規則合成の出力音声の声質を指定する手
順を説明するための画面を示す図である。

【図１８】音声概念合成の機能設定手順を説明するため
の画面を示す図である。

【図１９】音声概念合成すべきデータベース指定手順を
説明するための画面を示す図である。

【図２０】音声概念合成すべきデータベースの一例を説
明するための画面を示す図である。

【図２１】音声入力機能の種類選択手順を説明するため
の第１の画面を示す図である。

【図２２】音声入力機能の種類選択手順を説明するため
の第２の画面を示す図である。

【図２３】音声入力機能の種類選択手順を説明するため
の第３の画面を示す図である。

【図２４】単語認識機能の設定手順を説明するための画
面を示す図である。

【図２５】単語認識の登録済み対象語彙の選択手順を説
明するための画面を示す図である。

【図２６】単語認識の新規対象語彙の登録手順を説明す
るための画面を示す図である。

【図２７】文章認識機能の設定手順を説明するための画
面を示す図である。

【図２８】文章認識の登録済み対象文リストの選択手順
を説明するための画面を示す図である。

【図２９】文章認識の新規対象文リストの登録手順を説
明するための画面を示す図である。

【図３０】文章認識の新規対象文リストの文型及び語彙
の登録手順を説明するための画面を示す図である。

【図３１】音声理解機能の設定手順を説明するための画
面を示す図である。

【図３２】音声理解機能の出力指定ＰＡＤを説明するた
めの画面を示す図である。

【図３３】意味ネットワークの定義手順を説明するため
の図である。

【図３４】意味ネットワークの例を説明するための図で
ある。

【図３５】音声理解の出力結果の表示を説明するための
画面を示す図である。

【図３６】対話理解機能の設定手順を説明するための画
面を示す図である。

【図３７】対話理解の出力結果の表示を説明するための
画面を示す図である。

【図３８】話者認識機能の設定手順を説明するための画
面を示す図である。

【図３９】電話機能の手順を説明するための画面を示す
図である。

【図４０】音声メールの手順を説明するための画面を示
す図である。

【図４１】音声メールの音声編集手順を説明するための
画面を示す図である。

【図４２】文書システムの画面を説明するための図であ
る。

【図４３】音声メモ機能の設定手順を説明するための画
面を示す図である。

【図４４】音声メモの音声編集機能を説明するための画
面を示す図である。

【図４５】音声メモの条件設定機能を説明するための画
面を示す図である。

【図４６】本発明の利用手順を説明するＰＡＤ図であ
る。

【図４７】本発明の処理を起動する手順のＰＡＤ図であ
る。

【図４８】本発明の各機能を設定する手順を説明するＰ
ＡＤ図である。

【符号の説明】

１０１…文字図形画像表示手段、１０２…マルチウィン
ドウ表示処理手段、１０３…画面位置入力手段、１０４
…文字入力手段、１０５…情報処理手段、１０６…情報
処理用記憶手段、１０８…音声入力手段選択手段、１０
９…入力用フィルタリング手段、１１０…音声出力手段
選択手段、１１１…出力用フィルタリング手段、１１４
…デジタル符号化手段、１１５…複合化手段、１１８…
音声処理用記憶手段、１１９…音声処理手段、１２０…
有音無音判定手段、１２１…音声処理条件記憶手段、１
２２…インタフェース部、１２３…メモリアクセス競合
防止手段、１２４…音声処理手段アクセス手段、１２５
…情報処理手段アクセス手段、１２７…音声データ管理
情報記憶手段、１３０…電話器、１３１…マイクロフォ
ン、１３２…スピーカ、１３４…ＶＴＲ、１３５…音声
再生条件記憶手段、１３６…音声処理系、２０１…編集
領域、２０２…アプリケーション・プログラムの処理手
順の表示例、２０３…シンボル領域、２０４…ＰＡＤシ
ンボル付加位置、２０５…操作領域、２０６…削除コマ
ンド、２０７…挿入コマンド、２０８…処理内容、３０
１…制御コマンド、３０２…制御プルダウンメニュー、
３０３…音声ＩＢメニュー、３０４…音声ＩＢ用カスケ
ードメニュー、３０５…環境設定メニュー、４０１…音
声入出力条件設定ダイアログボックス、５０１…音声出
力メニュー、７０１…音声出力機能選択ダイアログボッ
クス、８０１…ライブラリメニュー、８０２…ライブラ
リ選択ダイアログボックス、８０５…「試聴」ボタン、
８０６…出力内容確定「ＯＫ」ボタン、８０７…出力方
式変更用「キャンセル」ボタン、９０２…ユーザ登録ダ
イアログボックス、９０３…「新規登録」メニュー、９
０４…「試聴」ボタン、９０５…「キャンセル」ボタ
ン、９０６…出力内容確定「ＯＫ」ボタン、９０７…新
規登録ダイアログボックス、９０８…新規登録「標題」
エントリボックス、９０９…新規登録「開始」ボタン、
９１０…新規登録「終了」ボタン、９１１…新規登録
「試聴」ボタン、９１２…新規登録内容確定「ＯＫ」ボ
タン、１００１…「録音・再生」選択カスケード・メニ
ュー、１１０１…録音終了条件設定ダイアログボック
ス、１２０１…再生条件設定ダイアログボックス、１３
０１…「規則合成」メニュー、１３０２…規則合成機能
ＰＡＤ表示、１４０１…文章ファイル指定ダイアログボ
ックス、１４０２…文章ファイル名入力領域、１４０３
…文章ファイル名ＰＡＤ表示、１６０１…文章ファイル
表示ウィンドウ、１６０２…再生範囲指定ダイアログボ
ックス、１６０３…選択範囲始点、１６０４…選択範囲
終了点、１７０１…オプションダイアログボックス、１
７０２…ＯＫボタン、１８０１…「概念合成」メニュ
ー、１８０２…規則合成機能ＰＡＤ表示、１９０１…デ
ータファイル指定ダイアログボックス、１９０２…デー
タファイル名入力領域、１９０３…ファイル名ＰＡＤ表
示、２１０１…音声入力メニュー、２３０１…音声入力
機能選択ダイアログボックス、２４０３…認識語彙テー
ブル選択ダイアログボックス、２４０４…認識語彙テー
ブル選択確定「ＯＫ」ボタン、２５０２…既登録認識語
彙テーブル選択ダイアログボックス、２５０４…選択認
識語彙テーブル名表示領域、２５０６…認識語彙テーブ
ル選択、２５０７…既登録認識語彙テーブル「削除」ボ
タン、２６０２…認識語彙テーブル新規登録ダイアログ
ボックス、２６０３…認識語彙テーブル番号入力領域、
２６０４…認識語彙テーブル名入力領域、２６０５…認
識語彙番号入力領域、２６０６…認識語彙登録入力領
域、２６０７…認識語彙新規登録「ＯＫ」ボタン、２６
０８…認識語彙「削除」ボタン、２７０３…文章認識対
象文リスト選択ダイアログボックス、２７０４…文章認
識対象文リスト選択確定「ＯＫ」ボタン、２８０２…既
登録文章認識対象文リスト選択ダイアログボックス、２
８０４…選択文章認識対象文リスト名表示領域、３００
１…文章構造定義領域、３００２…文章始点ノード、３
００３…中間ノード指定メニュー項目、３００５…終端
ノード指定メニュー項目、３００８…語彙群指定メニュ
ー項目、３０１０…操作「取消し」ボタン、３０１１…
文章構造定義終了「ＯＫ」ボタン、３０１２…アーク方
向逆転指示メニュー項目、３０１３…語彙定義ダイアロ
グボックス、３０１４…語彙登録入力領域、３０１５…
語彙登録入力「取消し」ボタン、３０１６…語彙登録入
力終了「ＯＫ」ボタン、３０１７…既登録語彙「削除」
ボタン、３０１８…重要語彙群指定領域、３０１９…文
章リスト番号入力領域、３０２０…文章リスト名入力領
域、３１０３…音声理解対象文リスト選択ダイアログボ
ックス、３１０４…音声理解対象文リスト選択確定「Ｏ
Ｋ」ボタン、３２０１…登録済み音声理解対象文処理ダ
イアログボックス、３２０２…登録済み音声理解対象文
用意味ネットワーク修正指示項目、３２０３…登録済み
音声理解対象文用意味ネットワーク選択ダイアログボッ
クス、３３０１…音声理解対象文用意味ネットワーク構
造定義領域、３３０２…音声理解対象文用意味ネットワ
ーク名入力領域、３３０３…音声理解対象文用意味ネッ
トワーク作成メニュー項目、３４０１…概念関係定義領
域、３４０２…事実関係定義領域、３９０１…電話機能
選択メニューボックス、３９０２…電話宛先選択メニュ
ー、３９０４…新規宛先登録領域、４００２…音声メー
ル機能選択メニューボックス、４００３…音声メール編
集項目、４００４…音声メール条件設定項目、４００７
…到着音声メール表示、４２０１…文書ファイル名称入
力領域、４２０２…文書表示領域、４３０１…「音声メ
モ」コマンド、４３０２…音声メモ関係機能プルダウン
・メニュー、４３０３…音声メモ位置指定機能コマン
ド、４３０４…音声メモ位置表示、４４０１…音声メモ
編集機能コマンド、４４０２…音声メモ編集領域、４５
０１…音声メモ条件設定機能コマンド、４５０２…音声
メモ条件設定ウィンドウ、４５０４…音声メモ条件設定
ＯＫボタン。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−44060（ＪＰ，Ａ) 特開 平３−228125（ＪＰ，Ａ) 特開 平４−170638（ＪＰ，Ａ) 特開 平４−245374（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/16 G06F 3/00 G06F 9/06 G10L 13/00 - 19/00

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】音声処理のためのメニューとして、音声出
   力を行うためのライブラリ選択機能、ライブラリ登録機
   能、効果音合成機能、規則合成機能、及び概念合成機能
   を表示し、音声入力を行うためのメニューとして単語認
   識機能、文章認識機能、音声理解機能、対話理解機能を
   表示し、話者認識を行うための話者認識機能を表示し、
   録音再生のための録音再生機能を表示し、環境設定のた
   めの入出力条件を表示し、前記各機能の複数の操作内容
   を視覚的に表示する表示手段と、 表示されたメニューの中から必要な音声機能を選択指示
   し、表示された複数の操作内容の中から必要な操作を選
   択指示する入力手段と、 選択指示された音声機能及び操作に応じて、音声処理を
   行うアプリケーション・プログラムを作成する情報処理
   手段と、 を備えたことを特徴とする音声インタフェース・ビルダ
   ・システム。
2. 【請求項２】前記情報処理手段は、前記表示手段及び前
   記入力手段を用いて対話的にアプリケーションプログラ
   ムをプログラミングする構造化プログラミング手段と、
   所定の言語を用いてソースプログラムを変換生成する手
   段と、該変換生成したソースプログラムをコンパイルす
   る手段を備えたことを特徴とする請求項１記載の音声イ
   ンタフェース・ビルダ・システム。
3. 【請求項３】 プルダウン・メニュー、スイッチ、ボタ
   ン、ダイアログボックス、エントリボックスなどのグラ
   フィックス・インタフェース（ＧＵＩ）を用い、音声処
   理メニューとして、音声出力を行うためのライブラリ選
   択機能、ライブラリ登録機能、効果音合成機能、規則合
   成機能、及び概念合成機能を表示し、音声入力を行うた
   めのメニューとして単語認識機能、文章認識機能、音声
   理解機能、対話理解機能を表示し、話者認識を行うため
   の話者認識機能を表示し、録音再生のための録音再生機
   能を表示し、環境設定のための入出力条件を表示し、前
   記各機能の複数の操作内容を文字および図形にて視覚的
   に表示する文字図形画像表示手段と、 該文字図形画像表示手段の画面を複数の部分領域（ウィ
   ンドウ）に分割し、ウィンドウを独立して動作させるマ
   ルチウィンドウ表示処理手段と、 前記文字図形画像表示手段のウィンドウ中に表示された
   メニューの中から必要な機能を選択指示し、表示された
   前記各機能の複数の操作内容から必要な操作を選択指示
   するための画像位置入力手段と、 選択指示された機能及び操作に応じて、パラメータ値を
   設定し、その結果をコンパイルして音声処理を行うアプ
   リケーション・プログラムを作成する情報処理手段と、
   を備えたことを特徴とする音声インタフェース・ビルダ
   ・システム。
4. 【請求項４】 さらに音声入力手段と、該音声入力手段か
   らのアナログ音声信号を増幅し、周波数フィルタリング
   する入力用フィルタリング手段と、該入力用フィルタリ
   ング手段の出力信号をサンプリングしディジタル量に変
   換するディジタル符号化手段と、ディジタル量で表され
   ている音声信号をアナログ音声信号に変換する復号化手
   段と、該復号化手段の出力信号を増幅し、周波数フィル
   タリングする出力用フィルタリング手段と、該出力用フ
   ィルタリング手段の出力信号を出力する音声出力手段
   と、前記ディジタル符号化手段の出力信号を認識する音
   声認識手段と、文字を入力するための文字入力手段から
   の出力信号を音声に変換する音声合成手段と、前記ディ
   ジタル符号化手段の出力信号を記憶する音声処理用記憶
   手段と、該音声処理用記憶手段に記憶された音声信号と
   前記文字図形画像表示手段で表示されたデータとを対応
   付ける音声アノテーション（音声注釈）手段とを備え、 前記文字入力手段若しくは前記画像位置入力手段からの
   信号を解析して前記ウィンドウや前記音声機能を選択
   し、前記文字入力手段若しくは前記画像位置入力手段か
   らの信号を解析することにより音声合成機能の付加要求
   か、音声認識機能の付加要求か、話者認識機能の付加要
   求か、音声メール機能の付加要求か、アノテーション機
   能の付加要求かを判断し、 音声合成機能の付加要求であった場合は、前記音声合成
   手段を起動し、音声合成機能の設定条件の設定／変更メ
   ニューと、音声合成機能が付加されていることと、音声
   合成機能の設定条件の設定／変更が可能であることを前
   記文字図形画像表示装置に表示し、 音声認識機能の付加要求であった場合は、前記音声認識
   手段、あるいは前記音声認識手段と前記音声合成手段を
   起動し、音声認識機能の設定条件の設定／変更メニュー
   と、音声認識機能が付加されていることと、音声認識機
   能の設定条件の設定／変更が可能であることを前記文字
   図形画像表示手段に表示し、 話者認識機能の付加要求であった場合は、前記音声認識
   手段を起動し、話者認識機能の設定条件の設定／変更メ
   ニューと、話者認識機能が付加されていることと、話者
   認識機能の設定条件の設定／変更が可能であることを前
   記文字図形画像表示手段に表示し、 音声メール機能の付加要求であった場合は、前記音声合
   成手段を起動し、音声メール機能の設定条件の設定／変
   更メニューと、音声メール機能が付加されていること
   と、音声メール機能の設定条件の設定／変更が可能であ
   ることを前記文字図形画像表示手段に表示し、 音声アノテーション機能の付加要求であった場合は、前
   記音声アノテーション手段を起動し、音声アノテーショ
   ン機能の設定条件の設定／変更メニューと、音声アノテ
   ーション機能が付加されていることと、音声アノテーシ
   ョン機能の設定条件の設定／変更が可能であることを前
   記文字図形画像表示手段に表示する、ことを特徴とする
   請求項３記載の音声インタフェース・ビルダ・システ
   ム。