JPH03163623A - 音声制御コンピュータ・インターフェース - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の技術分野 この発明は音声制御コンピュータインターフェースに関
する。

発明の背景 置は例えばテキストタイプのユーザーインターフェース
（例えばＩＢＭパーソナルコンピュータのディスクオペ
レーティングシステム（ＤＯＳ）のテキストタイプイン
ターフェース）の制御に使用されてきた。

更に音声制Ｉ１はグラフィックのユーザーインターフェ
ース（例えばアイコン，ポップアップウイントウ，マウ
スを含ムアップルマッキントツシュコンピューターで使
用されるグラフィックインター７エース）にも応用され
た。これらの音声制御装置では音声コマンドを使ってキ
ーボードのキーストロークを生成する。

発明の概要 この発明の一つの側面によれは、操作されることによっ
てコンピュータの表示装置上のカーソルの動きを制御し
、表示装置上のカーソルのは置に関連づけられた所望の
アクションを指示するタイプのポインティングデバイス
の機能を音声に代用させる装置であってポインティング
デバイスからの制御信号に応答してコンピューターのオ
ペレーティングシステムがカーソル馨動かし．所望σ）
アクションを支援し、更にコンピューターが英数字千一
ボードを有し．オペレーティングシステムがキーボード
によって特定される所定のフォーマットに従ってキーボ
ードからの制御信号に別途応答する装置において，発声
された音声を認識する音声認識手段と．発声された音声
をキーボードによって特定される所定のフォーマットで
表わされる制御信号に一旦変換することなくオペレーテ
ィングシステムによって支援される所望のアクションχ
直接生成する制御信号に変換する解読手段とを含む装置
が提供される。

更にこの発明のもう一つの側面によれば，発声された音
声χあらかじめ定められたコマンド言語で表現サれ．コ
ンピューターのオペレーティングシステムによって使用
されるコマンドに変換する方法において．発声されたあ
る種の音声は前記オペレーティングシステムがとるアク
ションに対応丁るコマンドに変換し．発声された別の種
の音声はｆｍ記オペレーティングシステムの下で実行さ
れるアプリケーションプログラムにおいて処理されるテ
キストの一部として使用される関連テキストストリング
を運ぶコマンドに変換する方法が提供される。

更にこの発明のもう一つの側面によれば発声された音声
からコマンドへの変換を支援するだめのテーブルを生成
丁る方法であって前記コマンドはコンピューターのオペ
レーティングシステムの制御に使用されて，オペレーテ
ィングシステムの下で実行され，メニューとコントロー
ルボタンを含むアプリケーションプログラムにおいて所
望のアクションを達戊する方法において，前記アプリケ
−ションプログラムの命令シーケンスを構文解釈してメ
エユーのエントリーとコントロールボタンｗｋ別し，前
記テーブル内に前記アプリケーションプログラムでみつ
けられるメニューのエントリーとコントロールボタン毎
にエントリーを含ませ，それぞれのエントリーに前記メ
−Ｓユーのエントリー又はコントロールボタンに対応す
る制御コマンドを含ませる方法が提供される。

この発明のもう一つの特徴によればユーザーが厳密に定
義された栴文を有する正式言語でインスタンスを生戒で
きるようにした方法において、自然言語で表現され，前
記構文に一致しないエントリーのリスト聖グラフィック
表示し、ユーザーに前記リストの中からエントリーを指
示させ．前記指示に応答して前記リストの特定されたエ
ントリーに対応するインスタンス紮自動的に生成する方
法が提供される。

この発明によればユーザーは゛コンピューターのグラフ
ィックインターフェースを容易に制御するコトができる
。オペレーティングシステムがコマンドによってとるこ
とのできるどのようなアクションでも音声によってコマ
ンドすることができる。

コマンドにはマウスやその他の入力によって通常入力さ
れるコマンドの他、キーボードによって通常入力される
コマンドを含み得る。ユーザーは音声をオペレーティン
グシステムがとるアクションに対するコマンドに対応す
る音声とアプリケーションプログラムで使用されるテキ
ストストリングに対応する音声との間で自由に切り替え
ができ，その切り替えがなされたことを特に示す必要は
ない。どのアプリケーションでもアプリケーションを制
御するメニューと制御ボタンについてアプリケーション
の命令シーケンスを自動的に構文解析することにより，
音声インターフェースに応答するものにできる。その他
の特徴．利点は実施例の詳細な説明と特許請求の範囲か
ら明らかである。

実施例 第１図においてアップルマッキントッシュコンピュータ
ー１００オペレーティングシステムであるマヴキンドッ
シュオペレーティングシステム１３２はマウス１３４と
キーボード１３６から受け取ったイベントを処理し．表
示装置１３８上にアイコンウインドウメニュー等を表示
することにより，グラフィックインターアクティブユー
ザーインターフェースを提供する。更にオペレーティン
グシステム１３２はマツクライト（ＭａＣ　ｗｒｉ　ｔ
ｅ！）１３９のようなアプリケーションプログラム，カ
リ”Ｐ　ｚ　Ｌ’一ター（Ｃａｌｃｕｌａｔｏｒ）　１
　３　７のようなデスクトップユーティリティ，その他
種々のプログラムが実行される環境を与える。

更にオペレーティングシステム１３２は音声ナビゲータ
ー音声制御コンビエーターインターフェース１０２から
のイベントを受け．音声によるコンビ１−ター制御を可
能にする。この目的のためユーザーからの音声はマイク
ロフォン１１４に入刀され音声ナビゲーターボックス１
１を介してコンビ．−タ−ｉＯ口ＳＣＳ　Ｉ　（　Ｓｍ
ａｌｌ　ＧｏｍｐｕｔｏｒＳｙｓｔｅｍｓ　Ｉｎｔｅｒ
ｆａｃｅ　）ボートに送られる。音声ナビゲーターボヴ
クス１１２はマイクロフォン１１４からのアナログオー
ディオ信号聖デジタル化し，処理したデジタルオーディ
オ信号をマッキント，シ，．ＳＣＳＩボートに送る。音
声ナビゲーターボックス１１２はオーディオ信号をデジ
タル化するためのアナログ変換５（Ａ／Ｄ），デジタル
サ／プルを圧縮するためのＤＳＰ（デジタル信号処理）
、デジタルサンプルをｓｃｓｉのプロトコルに合わせる
プロトコルインターフェースハードウェアを含む。

音声認識ソフトウエア１２０（マサチューセッツ州ニュ
ートンドラゴンシステムから入手可能）は，マツキント
ッシュオペレーティングシステムの下で動作し、音声制
御ドライバー１２８（これもマツキントヅシュオペレー
ティングシステムの下で動作する。）からの内部コマン
ド１２３によって制御される。音声認識ソフトウェア１
２０を実現するためのアルゴリズム例がベーカーらの米
国特許第４，７８３．８０３号に示されており，本特許
を本書の参考文献と丁る。音声認識ソフトウェア１２０
は入力される圧縮デジタルオーディオ信号’Ｙ処理し．
ユーザーから発生されたそれぞれの音声をあらかじめ記
憶した音声マクロと比較する。

発生した音声があらかじめ記憶した音声マクロと一致す
ることにより音声が認識され、認識された音声に対応す
るコマンドストリング（コマンド列）１２１がテキスト
バヴファ−１２６に送り出される。音声認識ソフトウェ
アから送り出されたコマンドストリング１２１はマツキ
ントッシュオペレーティングシステムに渡すべきコマン
ド（例えばなされるべきメニューの選択又は表示される
べきテキスト），あるいは音声制御ドライバーから発せ
られる内部コマンド１２５を表わす。

認識の際，音声認識ンフトウエア１２０は音声の入力サ
ンプルを音声ファイル１２２にあるマクロと比較する（
本システムではユーザーは発声を短く区切って入力する
ことを要求しており，各発声の終了をシステムが認識で
きろようにしている。）音声ファイルマクロは後述する
学習のプロセスで生成される。一致が見つかると（音声
認識ソフトウツア１２口の認識アルゴリズムによりジャ
ッジされる），ワードリスト１２４（これは音声ファイ
ル１２２に直接関連づけられている。）から音声制御コ
マンドストリング配取り出し，テキストバッファ−１２
６に送る。テキストバツファ一１２６のコマンドストリ
ングは音声！ｌ４御ドライノク１２８へ送られ、このド
ライバー１２８内の音声制御解読器１３０がストリング
に応答する。コマンドストリング１２１はある時には内
部コマンド１２３例えば音声認識ソフトウエアに新しい
音声ファエルマクロ１学習”させるためのコマンドある
いは認識アルゴリズムの感度を調整するためのコマンド
を表わす。この場合音声制御解読器（　Ｖｏｉｃｅ　Ｃ
ｏｎｔｒｏｌ．　Ｉｎｔｅｒｐｒｅｔｅｒ）　１　３　
０は適当な内部コマンド１２３を音声認識ソフトウエア
１２０に送る。その他の場合，コマンドストリングはオ
ペレーティングシステムの操作例えばマウスの移動を表
わす。この場合音声制ｇＡ）解読米１３口はマツキンド
ヴ７ユオペレーティングシステム１ろＯと協同して適当
なアクションを生成する。

それぞれのアプリケーションあるいはデスクトップアク
セサリーはワードリスト１２４及び対応する音声ファイ
ル１２２に関連づけられろ。これらはアプリケーション
あるいはデスクトップアクセサリーケオープンした時に
音声認識ソフトウエアによりとりこまれろ。

音声ファイルは学習モードにある音声認識ソフトウェア
１２０が音声制御ドライバー１２８からの内部コマンド
の制御のもとで生成する。

ワードリストは言語作或（　Ｌａｎｇｕａｇｅ　Ｍａｋ
ｅｒ　）デスクトップアクセサリー１４口が生戒丁る。

言語作或器１４口は音声名とそれに関連する音声制鉤コ
マンドストリングの１言語′を生威し，その言語χワー
ドリストに変換する。音声制御コマン｝”ス｝ｌＪング
ｊｔＴｈＪえば”ＥＳ（Ｅ”　　”ＴＥＸＴ’’　＠Ｍ
Ｆ，ＮＵ　（　ｆｏｎｔ　．　２　）　’であり、音声
制御コマンドセットに含まれる。音声制御コマンドセン
トの構文（シンタックス）は表Ａに示されており，これ
については後で説明する。

音声制［有］及び言語作或ソフトウェアは約３万行リコ
ードを含み，犬部分はＣ言語で書かれており，残りはア
センブリー言語で書かれている。音声制御と言語作戒ソ
フトウエアとをアペンディックスＣとしてマイクロフィ
ッシュに示丁。この音声制御ノフトウェアは７１キント
ヴシュプラス　（Ｍａｃｉｎｔｏｓｈ　Ｐｌｕｓ　）　
　カソノ後（Ｄモｆｋ上−Ｃ，−ｉｆ／ｙし最低１メガ
バイトのＲＡＭ　（ハイバーカード（Ｈｙｐｅｒ　Ｃａ
ｒｄ）かその他の大きなアプリケーションでは２メガバ
イト）とハードディスク及びマツキントッシュオペレー
ティングシステムバージョン６．０１かその後のバージ
ョンのものとともに使用される。

音声制御解読器１３０とオペレーティングシステムとの
やり取りを理解丁７）ためにまずマツキントヴシュオペ
レーティングシステム１　３　２　カ１イベント駆動型
”であることに注目されたい。オペレーティングシステ
ムはイベントキュ（図示せず）Ｙ保持し，マウス１３４
やキーボード１３６のような入力装置がこのキュー（待
ち行列）にイベントを゜記人（　ｐｏｓｔ）　”　Ｌ，
　．これに対してオペレーティングシステムが例えば適
当なテキストエントリーを生成したり，マウスの移動を
行なう。ついでオペレーティングシステム１３２は例え
ばマツキントッシュアプリケーション（例えばマヅクラ
イト１６９やデスクトップアクセサリー例えばカリキュ
レータ−１３７）に対し、−ｖ−ユー上のイベント（あ
る場合）を示すメッセージを渡す。ある動作モードでは
音声制御解読器１３２も同様にオペレーティングシステ
ムのイベントキューにイベントを記入することにより，
オペレーティングシステム（及び同時にランしているア
プリケーションやデスクトップアクセサリー）聖制御す
る。音声制御解読器によって記入されるイベントは代表
的にはマウスの動作かキーボードのキーストロークある
いはその両方に音声コマンドの種類に応じて対応する。

従って音声ナビゲータ装置１０２は付加的なユーザーイ
ンターフェースを提供するものである。場合によっては
音声イベントは表示されるべきテキストストリ／グある
いはアプリケーションプログラムによって処理されるテ
キストに含まれるテキストストリングを構或する。

音声ナビゲーター装置の動作中の任意の時点で音声認識
ソフトウェア１０２を教育して特定のユーザーの音声の
認識を学ばせ，各音声にテキストストリングを関連づけ
させることができろ。このモードでは音声認識ソフトウ
ェア１２０はユーザーに対し認識されるべき音声の名＠
（例えば“ファイル”ページタウン″）のメニューχ表
示する。これらの名前とそれに対応する音声制御コマン
ドストリング（適当なアクシ冒ンｆＩ：３Ａわす。）が
現在のワードリスト１２４に現われる。ユーザーは関心
のある音声名を指定し，ついでその音声名に対応する音
声を発声する。例えば音声名が１ファイル”である時ユ
ーザーは１ファイル”あるいは“ファイルして下さい”
と言う。音声ナピゲーターボックス１２２からこのよう
な音声に対応するデジタルサンプルが音声認識ソフトウ
ェア１２０に送られ，これに対して音声認識ソフトウェ
アはその音声浅表わ丁１マクロ”を生成丁る。

このマクロは音声ファイル１２０に記憶され，その後ワ
ードリスト１２４内の音声名に関連づけられる。通常発
声は２回以上繰り返され，特定の話者の音声の変動を考
慮したマクロが作られる。

発声される音声の意味は音声名に対応する必要はなく，
又音声名のテキストはワードリストに記憶される音声制
御コマンドストリングに対応丁る必要はない。例えばオ
ペレーティングシステムにファイルを保存させるコマン
ドストリングに対する音声名として”ファイル保存”を
使用したとする。この場合これに関連づけられるコマン
ドストリングは”　＠ＭＥＮＵ（ｆ″ｉｌｅ，２）”で
あリエ、コノ音声名に対してユーザーが示す音声は゜残
せ（ｉ　ｍｍｏｒ　ｔａｌ　ｉ　Ｚｅ　）　”でありえ
る。音声認識ソフトウェアと音声制御によりこのような
音声，名前コマンド及びコマンドストリングは音声ファ
イルとワドリスト１２４内において適当に関連づけられ
る。

第２Ａ図において音声ナビゲータの使用するワードリス
ト１２４はオペレーティングシステムの下で動作する言
語作戒デスクアクセサリー１４０にまり生威される。各
ワードリスト１２４は階層構造をとる。すなわちリスト
内のある種の音声名は他の音声名のサブリストにリンク
する。階層構造の現在の使用レベルにある音声名のリス
トのみが認識可能である。（本実施例では階層構造の各
レベルの音声名の数は千程度までもてる。）音声制御の
動作において゜ファイル“のような音声によりスクリー
ン上にファイルのメニューが呼び出されそれより低い階
層構造レベルの音声名の後続リストにリンクする。例え
ばファイルのメニューはそれぞれの音声に関連づけられ
る“保存”゜オープン”や１として保存（ｓａｖｅ　ａ
ｓ）　”のような後続コマンドをリストアップ丁ること
かできる。

言語作成によりユーザーは音声名と関連するコマンドス
トリングの階層的言語聖生成でき言語の階層性を再構或
でき，更に新しい音声語を追加することができる。言語
がユーザーの希望する形になると言語はワードリスト１
２４に変換される。

音声名とコマンドストリングの階層構造は調整できるの
で音声ナピグーター装置の使用者はアプリケーションに
プリセットされたメニューの階層構造には制約されない
。例えばユーザーは“保存゜ノコマンドを音声階Ｎ構造
。）トップレベル［移７ことによりファイルのメニュー
ｗＷひ出さなく１も直接ファイルヶ保存丁ることかでき
る。更に：ーザーは例えば新しい音声名１サヨナラ″馨
作＝てファイルを保存してただちに手続き馨終らせここ
ともできろ。

言語作或１４０の生１１ｉ１２する各言語には音声及乙
音声名に関連づけられるアクション（例えば所５の泣置
でのマウスのクリック、スクリーン上で（テキストのタ
イプ）聖表わすコマンドストリン多も含む。音声ナビゲ
ーター装置の学習をわかりぺ丁く丁るためユーザーは音
声と音声語にユーザーが国連つけたいと思うアクション
を記述するコマンドストリング會特定丁る必要はない。

事実ユーザーは言語作或の言語で記憶されるコマンドス
トリングやその結果としてのワードリスト１２４を知る
必要がなく、それを見ることもない。

５記録“モードにおいて一連のアクション’ａ＝ｆ声名
に関連づけるためにユーザーは単に所望のアクション（
例えばキーボードでテキストをタイプイ／するかマウス
χ所定のメニューにクリヴクすること。）を行なうだけ
でよい。実行されたアクションは適当なコマンドストリ
ングに変換されユーザーが記録モード馨オフに戻した時
点でコマンドストリングは選択した音声名に関連づけら
れる。

百語作或馨使用中ユーザーは音声名馨入力するｆ．Ｊｔ
）／ｌＣ＃−−ホード１４２から音戸名ケタィプインし
てデフォルトテキスト作或手続き１４６（クリップボー
ド上のテキストファイルナ栴文解析するための手続きで
あり，そこではテキストファイル内のそれぞれのワード
に対して一つの音声名が作威され、すべての音声名は同
じ階層レベルからスタートする。）を使用するかあるい
はデフォルトメニュー作或手続き（アプリケーションの
実行可能なコード１４４ケ解析してアプリケーションの
メニュー内のコマンド名に等しい音声名のセットを生＃
：する手続きであり、そこでは名前の初期階層構造はア
プリケーションのメニューの階層構造と等しくなる）を
使用することにより言語４作或することができる。

音声名１：ｒ：キーボードからタイブイン丁るかテキス
トファイル馨構文解析−ｆることによって生成すると音
声名は当初キーストロークに関連づけられ，キーボード
からタイプインした時に名前ケ生成する。したがって名
前“ｔｅｘｔ”はまずキーストロークＴ−Ｅ−Ｘ−ＴＶ
Ｃ関連づけられる。名前ｔアプリケーションに対して実
行可能なコード１４４を購文解析丁ることによって生成
した場合は名前は初めにアプリケーションの対応ｊるメ
ニューコマンドケ実行するコマンドストリングに四連づ
げられる。このような初期コマンドストリングは変更し
たいと思う音声名馨選択し言語作ｇ２記録モードにおく
だけで容易に変更することができる。

言語作或の出力は言語ファイル１４８である。

このファイルには音声名とそれに対応するコマンドスト
リングが含まれる。言語ファイル１４８は７オーマット
化されて音声コンパイラー１５口（ドラゴンシステムか
ら入力可能）に入刀され，音声コンパイラー１５０によ
り言語ファイルは音声認識ソフトウエアが使用するワー
ドリスト１２４に変換される（言語ファイルの構文は本
書の参考文献として音声ナビゲーター開発者レファラン
スマニュアルに示されている）。

第２Ｂ図に示すように学習した音戸σ）それぞれのマク
ロ１４７は音声ファイル１２２に記憶される。対応する
音声名１４９とコマンドストリング１５１は互いに関連
づけられかつ音声に関連づけられワードリスト１２４に
記憶される。ワードリスト１２４は言語作５！１４口に
より生成され修正サレル。音声ファイル１２２は学習モ
ードノ時音声制御ドライバー１２８の制御のもとに音声
認識ソフトウェア１２０により生成され修正される。

第３図に示す音声ナビゲーター装置１０２において音声
ナビゲーターハードウエアボックス１５２には、マイク
ロフォンからのアナログ信号を処理のためにデジタル信
号に変換するアナログデジタル（Ａ／Ｄ）変換器１５４
．デジタル化した信号娶フィルタリングし．圧縮丁るＤ
ＳＰ部１５６、マッ−？ン｝ッシュと通信ｆ７：，ｆ一
めのＳＤＳＴマ家一ジャ１５８及びマイクロフォンを制
御するためのマイクロフォン制御部１６０が含！ｔＬる
。

更に音声ナビゲータ装置は発声検出ルーテン１６４とコ
マンド実行ルーチン１６６ｆｔ含む音声認識ソフトウエ
アドライバー１２０を含む。発声の検出１６４のために
音声ドライバーは音声ナビゲータ一のハードウェアを周
期的にポーリングし（１６８）音声が音声ナビゲーター
ボックス１５２に入力されたかどうかをマイクロフォン
からの信号の振幅にもとすいて判定する。発声が検出さ
れると（１７０）音声ドライノくーは符号化したデジタ
ルサンプル（トークン）の音声バツファーを生成し，コ
マンド実行ドライバー１６６に使用させる。

音声制御ドライバー１２８からのコ１ンドに応答してＣ
１６６）音声認識ドライノくーは検出音声（トークン）
／ターミナル変換１７４により新しい音声χ学ぶことが
できる。トークンは音声のマクロに変換されターぐナル
として音声ファイル１２２（第１図）内に記憶される。

音声認識パターンマッチング１７２も音声ドライバーか
らのコマンドによって動作する。認識中記憶した入力デ
ジタルサンプルのトーク／は認識階層構造の現在レベル
にある音声のマクロと比較される。一致が見つかるとタ
ーミナル／出力変換１７６が実行され，ワードリスト１
２４（第１図）から認識した音声に一連づげられたコマ
ンドストリングが選択される。更に状態管理１７８（例
えば感度制御の変更）も音声ドライバーからのコマンド
によって動作する。

音声制御ドライバー１２８は制御コマンドを介して音声
ドライバー１２０に対するインターフェース１８２、イ
ベント記入とオペレーティングシステムのフックを介し
てマツキントツシュオペレーティングシステム１３２（
第１図）に対するインターフェース１８４．及び表示メ
ニューとプロンプトを介してユーザーに対するインター
フェース１８６を構戚する。

ドライバーに対するインターフェース１８２により音声
制御は音声ドライバーコマンド機能１６６にアクセスす
ることができる。またこのインターフェースにより音声
制御は音声認識装置の状態の監視（１８８）、例えばマ
ッキン｝　ｙ　″ａ　Ｋ渡丁音声キ１−の′４ツフ−ｒ
　　１７０の音声｝−ク７ｆｚｔチェックすることがで
きる。発声がありプロセッサーの時間を使用できる時音
声制御はｓｄｉ−認識１９０のコマンドを発行して音声
ドライバーの認識パターンマッテングルーテン１７２を
呼び出す。

更にドライバーに対するインターフェースはｓｄｉ−出
刀１９２のコマンドを発行して音声ドライバーにあるタ
ーミナル／出力変換ルーチン１７６馨制御し，これによ
り認識された音声を音声制御が使用するコマンドストリ
ングに変換する。コマンドストリングはオペレーティン
グシステムに知らせるべきマウスやキーストロークのイ
ベントを示すかあるいは音声制御自身に対丁るコマンド
（例えば音声制御のイネープル又はディスエーブル）を
表わ丁。

ユーザー〇万から見れば音声制御は感度等の内部パラメ
ーターと新しい音声学習コマンド等の内部コマンドを持
つマツキントッシュのドライバーにすぎない。ユーザー
が音声制御の処理とみる処理は実際には機能に依存して
音声制御か音声ドライバーによって実行される。例えば
音声学習手続きは音声制御の制御のもとに音声ドライノ
くーによって実行される。

マツキントッシュオペレーティングシステムに対するイ
ンターフェース１８４Ｋより音声制御は適宜オペレーテ
ィングシステムを操作する（例えばイベントの記入やイ
ベントキューの変更により）ことができる。マクロ解読
器（Ｍａｃｒｏ　ＩｎｔｅｒＰｒｅ一ｔｅｒ）１９４は
音声ドライバーからテキストノくツファーを介して送ら
れてきたコマンドストリングを取り出し，それを解読し
てとるべきアクションを決定する。これらのコマンドは
表示装置上に表示すべきテキストストリングや実行すべ
きマウスの移動やメニューの選択を表わす。

コマンドストリングの解読を行なう際音声制御はマツキ
ントッシュのイベント−？ユーを操作しなげればならた
い。このタスクはＯＳイベント管理１９６によって実行
される。上述したように音声イベントによって通常はキ
ーボートやマウスに１測連ツケられるイベント馨シミュ
レートすることができる。マウスイベントはマウスハン
ドラー１９８により取り扱われる。マウスイベントはＯ
Ｓイベント管理１９６によって実行される通常のイベン
ト記入ルーチンの外部においてオペレーティングシステ
ムの操作を要求することがあるため別のレベルでのハン
ドリングを必要とする。

マツキントッシュオペレーティングシステム１６２に対
するメインインター７エースはイベントにもとすくもの
であり、音声認識されてマヴキントッシュに渡される大
部分のコマンドで使用される。しかしオペレーティング
システムの状態に対するその他の”フック”があり、こ
れらはマウスの位置決めやマウスの動き等の制御バラメ
ーターに使用される。例えば後述するようにマウスのボ
タン馨下げろ（ダウンさせる）コマンドはイベントを発
生丁るがマウスのボタンを下げた状態に保ち，マウス聖
メニュー上で移動する操作にはオペレーティングシステ
ムのフックを必要とする。

参考として表Ｂに音声ナビゲーターの使用するオペレー
ティングシステムのフックを例示してある。

オペレーティングシステムのフックはトラップフィルタ
ー２００によって実現される。トラップフィルター２０
０は音声制御が使用するフィルターであり，これにより
マツ千ントッシュオペレーティングシステムはＯＳイベ
ントＶｉｌ９６，！−マウスハンドラー１９８が実行す
る制御を受けつげる。

マツキントヴシュオペレーティングシステムのトラップ
はマツキントッシュのリードオンリーメモリー（ＲＯＭ
）におかれ，システム４制＃するためのハイレベルコマ
ンド馨実現する。ハイレベルコマンドの例としてスクリ
ーンにストリングを書くコマンド，ウインドウのズーミ
ング、ウィンンドウ娶スクリーンの正面と背面に移動さ
せるコマンド，マウスボタンの状態をポーリングするコ
マンドがあげられる。音声制御ドライバーがマツキント
ッシュオペレーティングシステムと正しくインターフェ
ースするためにはこのようなオペレ一ティングシステム
のトラップ馨制御して適当なイヘント’￥発生させなげ
ればならない。

例えばメニューイベントヲ発生させるため音声制御はメ
ニュー選択トラップを１とらえる（ｓｅｉ−２８）″（
丁なわちオペレーティングシステムからトラップ制御髪
とる。）。いったん音声制御かトラ７フ゜をとらえると
メニュー選択のためσファフ゜リケーション要求が音声
制のに渡される。このようにして音声制御は適宜オペレ
ーションシステムの出力をプログラムに合わせて修正す
ることができ．それによってシステムの動作ケ所望に制
御することができる。

ユーザーに対するインターフェース１８６はユーザーに
音声制御の動作馨制のさせる。プロンプト２口２はマヴ
キントッシュのスクリーン上に認識された音声の名前を
表示してユーザーに正しい声発が認猷されたかどうかχ
問い合わせることができる。オンライントレーニング２
口４によりユーザーはマツキントッシュχ使用中の好き
な時に現在使用中のワードリスト１２４の音声名をアク
セスすることができる。ユーザーはどの音声名が丁でに
学習済みかどうかを知ることができオンラインの形態で
音声名を再学習させることができる。

（これらの機能は上述したように音声制御が音声ドライ
バーインターフェースを使用すること馨必要とする。）
ユーザーオプション２０６により，種々の音声制御設定
の選択例えば音声認識装置の確カサノレベル（コンフィ
デンスレベル丁なわち音声が認識されたと決定するのに
要する確かさのレベル）の選択が可能である。こ０）．
Ｋうなパラメーターに対する最適値は使用するマイクロ
フォンやユーザーの発生する音声に依存する。

ユーザーに対するインターフェース１８６はマツキント
ッシュのイベントインターフェースを介しては動作しな
い。ユーザーインターフェース１８６は単に音声認識ソ
フトウェアを制御し音声制御ドライバーの状態を制御す
る再帰ループである。

言語作成１４口はアプリケーション分析２１０とイベン
ト記録２１２を含む。アプリケーション分析２１０は上
述したようにアプリケーションの実行可能なコードを構
文解析し，適当なデフォルト音声名とあらかじめプログ
ラムされたコマンドストリングと馨生戚する。アブリケ
ーション分析２１０にはメニューに対応するテキストス
トリングを見つげるために実行可能なコードをサーチ丁
るメニ３一抽出手続き２１４が含まれる。更にアプリケ
ーション分析２１０にはアプリケーションの各メニュー
の項目に対応するコマンドストリング馨生戒丁る制御識
別手続き２１６が含まれろ。

イベント記録２１２はユーザーコマンドを記録し、音声
に対するコマンドストリングを生成するドライバーであ
る。これによりユーザーは上述したように容易にコマン
ドストリングな生成，編集することができ、る。

イベント記録に入力されるイベントの種類にはテキスト
エントリー２１８．マウスイベント２２０（例えばマウ
スをスクリーン上の特定の場所にクリック）．特定のア
プリケーションを制御するために必要なスペシャルイベ
ント２２２及び音声制御ドライバーの動作に関係する音
声イベント２２４が含まれる。

言語作成 第４図に示丁言語作或のメインイベントループ２３０は
マヴキントッシュオペレーティングシステムの他のデス
クアクセサリーで使用されるメインイベントループと同
様の構造をもっている。

“アップルメニュー”からデスクアクセサリーが選択さ
れると１オープン”イベントがアクセサリーに送られる
。又．使用していたアプリケーションが終了したりユー
ザーがメニューを使ってアプリケーションを終了させた
場合には１クローズイベントがアクセサリーに送られる
。その他Ｏ場合アクセサリーには制御イベントが送られ
る。制御イベントのメッセージパラメーターはイベント
の種類を表わしている。第４図に示すように言語作成の
メインイベントループ２６０はイベントタイプの鍼別２
６２から始まる。

イベントがオープンイベントの場合，言語作或は言語作
成が丁でにオーブンされているかどうか馨調べる。（２
３４）言語作戚がすでにオープンされていれば現在の言
語（現在のワードリストにある音声名のリスト）ヲ表示
し（２３６）、言語作或ハオペレーティングシステムに
リターンする。

（２３７）言語作戚が開いてなければ初期化タ行なって
（２３８）オペレーティングシステムに戻る。

（２３９） イベントがクローズイベントの場合，言語作戚は現在の
言語ケ言語ファイルとして保存するかどうかをユ＝ザー
に問い合わせる（２４０）。ユーザーが言語作或に現在
の言語の保存を指示した場合には現在の言語はプロダク
ション書き込みモジュール（２４２）により言語ファイ
ルに変換され，言語作或は終了する（２４４）。現在の
言＠馨保存しない場合，言語作或はそのまま終了する。

イベントが制御イベントの場合，２４６に示すように言
語作成がおかれていろモードに依存する形でイベントに
応答する。この理由は言語作或がイベント（ユーザーが
音声に割り当てようとするマウスの動き，マウスのクリ
ックやテキストエントリー）を記録するユーティリティ
馨もっており．言語作戚ウインドウχ作戚しないイベン
ト聖記録しなげればならないからである。しかし，記録
中でない時は言語作成は言語作戒ウインドウ内のイベン
トのみに応答すべきである。したがって言語作成はある
モードでは応答するイベントでも別のモードでは応答し
ない。

制御イベントは三つの分岐２４８，２５０．２５２のい
づれか１つを通る。すべてのメニューイベントはａＣＣ
Ｍｅｎｕ分岐２５２を通る。（デスクアクセサリーメニ
ュー内で生じたメニューイベントのみが言語作或に渡さ
れる。）言語作成ウインドウに関するすべてのウインド
ウイベントはａｃｃＥｖｅｎｔ分岐２５０を通る。言語
作或に受け取られるその他のイベントは言語作成以外の
デスクトップアクセサリーやアプリケーションに関する
イベントに対応するものであり，アクションを記録する
ためＫ　ａｃｃＲｕｎ分岐２４８に通される。

ａＣＣＲｕｎ分岐２４８ではイベントは記録され，選択
した音声名に関連づけられる。イベントの記録に先だっ
て言語作或は２５４で言語作或が記録モードかどうか馨
チェックする。記録２−ドでなげれば言語作或はそのま
まリターンする（２５６）。

記録モードがオンの場合は２５８で言語作戒はどの記録
モードか宝テエツクする。

記録中言語作成はオペレーティングシステムｉＣマッキ
ントヴ−／：Ｌの所定時間（　ｔｉｃｋ）　（すなわち
１７６０秒毎に）言語作戊χ呼び出させる制御フラグ’
￥たてることによりオベンーティングシステムの制御を
獲得する。

ユーザーが言語作或を対話モードに設定した場合、言語
作或は対話イベン｝（ｆなわちユーザーがモーダル（　
Ｍｏｄａｌ　）対話ボックス内に示されるアクションに
しか応答できないモーダル対話に関するイベント）ｆｆ
記録することができる。これχ達或するためにユーザー
は現在のアプリケーションにアクション（丁なわちマウ
スクリヴク，メ二ュー選択）馨行なって対話ボックス聖
スクリーン上に呼び出す。これによりユーザーは記録聖
初期化して対話ボックスに応答することができるように
なる。モーダル対話ボックスを作る場合に言語作戒が受
け取ったイベントはオペレーティ／グシステムにも渡さ
れる。しかしその他の場合はイベントはオペレーティン
グシステムには渡されない。

言語作成のモーダル対話の記録は対話実行モジ瓢一ル２
６０Ｋよって実行される。

モーダル対話イベントＹ記録していない時は言語作威は
１アクション”モードにおかれ、言語作戊はエディヴト
実行モジュール２６２Ｋ進−１ｒ。

ａＣＣＥｖｅｎｔ分岐ではすべてのイベントはイベント
ハンドラーモジェール２６４に送られる。

ａＣＣＭｅ　ｎｕ　分岐ではデスクアクセサリーデスク
イベントが示すメニューが２６６でテエツクされる。イ
ベントが言語作或メニュー内で発生したイベントの場合
，そのイベントはメニュー処理モジュール２６８に渡さ
れる。他のイベントは無視される。（２７０） 第５図に示すようにエディット実行モジュール２６２は
，ループ２７２．２７４を実行する。アクション記録サ
ブモジュール２７２により記録される。

イベノトキューに記録すべきアクションが残っていろ場
合ループはアクション記録サフモジュールに戻る。イベ
ントキュー内に取り消しアクションが現われた場合（２
７６）．エデ，ト実行はメモリーにある現在の言語馨更
新することなくリターンする（２７７）。取り消しがた
くイベントが終了した場合にはエディット実行はメモリ
ーの言語會更新し，記録モードをオフにし（２７８）、
オペレーティングシステムに戻る（２８０）。

第６図に示すようにアクション記録サブモジュール２７
２では記録モードにおいてユーザーが行なったアクショ
ンが記録される。現在のアプリケーションがイベントキ
ュー上の次のイベントを要求した場合、そのイベントは
アクション記録でチェックされる。空（　ｎｕｌｌ　）
でない各イベント（−ｆなわち各アク７ヨン）はアクシ
ョン記録で処理される。まず２８２でアクションの種類
がテエツクされる。アクションがメニュー馨選択してい
る場合（２８４）選択したメニューが記録される。アク
ションがマウスクリックの場合（２８６）ボタン？ルー
チン（第８図参照）がクリックがボタン（ボタンは正面
クイ／ドクのメニュー選択エリアにある）の内部で生じ
たかどうかを調べる。その場合ボタンは記録される（２
８８）。クリックがボタ／内で生じていない場合はクリ
ックの場所が記録される（２９０）。

その他のアクションは特別のハンドラーによって記録さ
れる。これらのアクションとしてグループアクション２
９２，マウスダウンアクション２９４．マウスアップア
クション２９６、ズームアクション２９８、拡大アクシ
ョン３００．次ウインドウアクション３０２がある。

メニューのアクションの中には選択肢によりポップアッ
プメニ１−（メニュー取り出し）を作るものがある。こ
れらのアクションは適当なポップアップメ＝．−Ｖポッ
プアップ（取り出す）ことによって処理され、これによ
りユーザーは所望の選択肢を選択することができる。移
動アクション３　０　４．　一時停止アクシゴンｉ６．
マクロールアクション３０８，テキストアクション３１
０及び音声アクション６１２はそれぞれのメニューを取
り出し，アクション記録は３１４で（マウスを動か丁こ
とにより）ユーザーの選択したメニュー２チェックする
。メニューの選択がされていない場合はアクションは記
録されない（３１６）。されていれば選択肢が記録され
る（３１８）。

アプリケーションを開始（　ｌａｕｎｃｈ　）させるア
クションもある。この場合３２０で選択したアプリケー
ションを判別する。アプリケーションが選択されていな
ければアクションは記録されず（３２２）選択されてい
れば選択されたアプリケーションが３２４で記録される
。

第７図に示すように対話実行手続き２６０はマツキント
ヴシュコンピューターのモーダル対話の記録を行なう。

モーダル対話中ユーザーはモーダル対話ボックス内のア
クションにしか応答できない。これらのアクションに対
丁る応答を記録するため、対応実行は記録ステップの各
プロセスに対応する複数の段階をもっている。

ユーザーが対話記録を選択する最初の段階で対話実行は
選択肢として１記録（　ｒｅｃｏｒｄ　）　”と“取り
消し（　ｃａｎｃｅｌ　）”をもって言語作成対話ボッ
クス（第２５図参照）をユーザーに提示する。ここでユ
ーザーは現在のアプリケーションと記録Ｔべき対話クリ
ックを行なうまでやりとりできる。この段階では対話実
行の呼び出しは丁べて対話選択３２６を通り，ここで最
初の言語作成対話ボックスが作られ，他のアクシッンは
無視してリターンする。（３２７） 第２の記録段階に進むためユーザーは言語作戒対話ボッ
クスの１記録”ポタンχクリックしてその後の対話の応
答を記録するように指示する。この段階では対話実行の
呼び出しは記録３２８を通り，ボタン？ルーテン３３０
で現在のアプリケーションの対話ボックス内のボタンが
選択されたかどうか聖テエックする。クリックがボタン
内で生じていればボタンを記録して（３３２）対話実行
はリターンする。（３３３）そうでなげればクリックの
位置を記録して（３３４）対話実行はリターンする（３
３５）。

すべてのクリックを記録した後，ユーサーハ言語作戒対
話ボックス内の１取り消し”ボタンをクリヅクする。こ
れにより記録の第三段階に入る。

１取り消し”ボタンのクリックにより対話実行は取り消
し３３６に進み３３８でメモリーの現在の言語を更新し
，リターンする。（３４０）第８図に示すようにボタン
？手続き２８６はマウスクリックイベントがボタン上で
生じたかどうかを判定する。ボタン？はオペレーティン
グシステムから現在のウインドウ制御リスト３４２（現
在のウインドウのすべてのボタンの枠の位置情報を含む
マツキントッシュグローバル．付記Ｂを参照のこと。）
をもらい受けループ６４４から６５０でウインドウ制御
リストを解析する。各制御を３５０でフェッチし３４６
で制御の枠をうる。

５４８で枠を調べてクリックが枠内で生じたかどうかを
判別する。枠内で生じてなければ次の制御を３５０でフ
ェッテしてループを繰り返す。６４４でリストが終了の
時にはクリックがボタン上では生じていないのでノーを
返す．（３５２）クリックが枠内で生じている場合には
６５１で枠に名前がついているかどうかを調べそうであ
ればクリックがボタン上で生じているので６５４でイエ
ス浅返す。枠に名前がついていなければクリックはボタ
ン上で生じていないので３５６でノーを返す。

第９図に示すようにイベントハンドラーモジュ−ｋ２６
４は言語作戚表示ウインドウ内での通常のマツキントッ
シュイベントを取り扱う。言語作戒表示ウインドウは現
在の言語の音声名のリストを表示丁る。第９図に示すよ
うにイベントハンドラーは３５８でイベントがマウスイ
ベントかキーボートイベントかを判別し，その後，言語
作成ウインドウ上の適当なアクシ１ン馨実行する。

マウスイベントにはウインドウの移動３６０，ウインド
ウの拡大６６２，ウインドウのスクロール５６４．ウイ
ンドウ上でのクリック３６８（これにより音声名が選択
される），及びウインドウ上での移動３７０（これは音
声名をスクリーン上のある場所から別の場所に動かすこ
とでありこれによって言語階層構造におげろ音声の位置
が変わることかある。〕が含まれる。ウィンドウ内の音
声名上のダブルクリック３６６はアクションの記録のた
めにその音声名を選択し，エディット実行モジュール聖
起動させる。

キーボードイベントにはカーソルダウン３８口、カーソ
ルアップ３８２，カーソン右３８４，力一ソン左３８６
と共にいわゆる切り取り（ｃｕｔ）３７２、コピー３７
４及びのりづげ（　ｐａｓｔｅ　）３７６のルーテンが
含まれる。マウスでのダブルクリックと同様にキーボー
ドでのリターンキー押しにより現在の音声名が選択され
，その記録がエディット実行３７８により行なわれる。

適当なコマンドハンドラーを呼び出した後イベントハン
ドラーはリターンする（　３８８）。イベントハンドラ
ーモジュールで実行される言語階層構造の変更はクロー
ズと保存操作の時にプロダクション書き込みモジュール
の生成する言語ファイルの階層構造に反映される。

第１口図においてメニュー処理モジュール２６８は言語
作成がサポートするすべてのメニュー選択の制御する。

適当なサブモジュール（第１１Ａ図から第ＩＩＩ図にお
いて詳述する）を呼び出した後メニュー処理はリターン
する（４０８）。

第１１Ａ図に示すように新言語サブモジェール６９０は
，新言語を作或丁る。新言語サブモジ島一ルはまず４１
０で言語作戒がオーブンになっているかどうかをチェッ
クする。オープンになっていれば４１２でユーザーに対
し，現在の言語を言語ファイルとして保存するかどうか
問い合わ・せる。

保存する場合にはプロダクション書き込みモジュール４
１４を呼び出して言語を保存する。次にグローバルワー
ド作戒４１６を呼び出して新しい言語４１８を作成する
。グローバルヮード作或４１６は自動的にいくつかのグ
ローバルな（すべて（７）言語に登場する）音声名とコ
マンドストリングを新言語に入力する。音声名とコマン
ドストリングによりユーザーは音声制御コマンドχ与え
ることができコマンドに例えば”使用できるワードを示
せ”とか１音声の選択肢を示せ”のような音声を対応づ
けることができる。（ユーザーは対応する音声ファイル
に関する音声マクロを学習させることができ又，いった
ん新言語浅保存した後では、既存の音声ファイルの写し
をとることができる。〕第１１Ｂ図に示すオープンサブ
モジュール３９２は編集のために既存の言語配オープン
する。オープンサブモジュール３９２は４２０で言語作
或がオープンしているかどうかテエヴクする。オープン
していれば４２２でユーザーに対し、現在の言語を保存
するかどうか問い合せ、そうであればプロダクション書
き込み４２４を呼び出す。次いでオーブンはユーザーに
対し，選択した言語をオープンするかどうか問い合わせ
る＜４２６）。取り消しの場合オープンはリターンする
（４２８）。そうでなげれば言語を４３０でロードし，
オーブンはリターンする。（４３２） 第１１０図に示す保存サブモジュール６９４はメモリー
の現在の言語馨言語ファイルとしてセーブする。保存は
ユーザーに対し、現在の言語を保存するかどうか問い合
わせる（４３４）。取り消し（保存しない）場合，保存
はリターンする（４ろ６）がそうでなければ保存はプロ
ダクション書き込み４６８ｆｊｒ：呼び出して言語を音
声コンパイラー（第２図）が使用するのに適した状態マ
シーン制御ファイルに変更してリターンする（４４０）
。第１１Ｄ図に示す新アクションサブモジュール３９６
はイベント記録を初期化して新しいシーケンスのアクシ
ョンの記録が開始されるようにする。新アクションはイ
ベント記録χ初期化するために４４２でユーザーに対し
，アクションウインドウを表示し，ユーザーの使用する
ツールパレットを用意してアクシ璽ンの記録を初期化す
る。そして新アクシＮノはリターンする（４４４）。新
アクション開始後のアクションは直接にはオペレーティ
ングシステムに送られず，中間として言語作戚に通され
る。

第１１Ｅ図に示す対話記録サブモジュール６９８は対話
実行モジュール聖介して対話ボックスに対丁る応答を記
録する。対話記録３９８はユーザーをモーダル対話にお
けるアクションの記録へ導く。

そうでなげればユーザーは対話ボックスを呼び出丁アク
ションを行なえなくなる。対話記録は４４６で対話アク
ションウィンドウ（第２５図参照）を表示して記録をオ
ンにし４４８でリターンする。

第１１Ｆ図に示すデフォルトメニュー作或モジュール４
００はアプリケーションの実行可能なコードからデフォ
ルト音声名を抽出し（及びそれに関連するコマンドスト
リングを生戒丁る。）デフォルトメニュー作威４００は
特定のアプリケーションに対する言語な作戒丁る際にユ
ーザーにより最初に選択されるものである。このサブモ
ジュールはアプリケーションの実行可能なコードを見て
，アプリケーションの各メニューコマンドに対する音声
名を生威し、音声名にそのメニューコマンドを選択する
コマンドストリングを関連づける。呼び出された際２デ
フォルトメニ瓢一作成は４５０でアプリケーションの実
行可能なコードからメニューハーヲ得．３Ａ在のメニュ
ーを最初のメニュー（Ｘ＝１）に初期化する。その後名
メニューを操り返し，処理する。すべてのメニューを処
理するとデフォルトメニュー作或はリターンする（４５
４）。

最初のループ４５２，４５６，４５８．４６０では現在
の（Ｘ番目の）メニューハンドルをローケートし，（４
５６）メニューの解析を初期化し，現在のメニューの解
析が終わったかどうかをテエツクし（４５８）．現在の
メニ瓢−を次のメニューに移して処理を繰り返す。第二
ルー１４５８．４６２．４６４では各メニューの名前を
見つけ（４６２）．名前が階層構造かどうか（名前が更
に別のメニ瓢−を指しているかどうか）をチェックする
（４６４）。名前が階層になってｋげればループを繰り
返す。階層になっていれば階層メニューを４６６で取り
出し，第３ループ４７０．４７２を実行する。第３ルー
プでは階層メニューの各項目の名前を取り出し．　（４
７２）すべての階層の項目の名前を取り出したかどうか
をチェック丁る（　４　７０　）。

第１１Ｇ図に示すデフォルトテキスト作成サブモジュー
ル４０２により．ユーザーはクリヴブボード上のテキス
トファイルを音声名のリストに変換することができる。

デフォルトテキスト作成４０２はクリップボード上の各
固有ワードに対する音声名を生成して（４７４）からリ
ターンすル（４７６）。この音声名は音声名をタイプア
ウトするキーボードのエントリーに関連づけられる。例
えばビジネスレターをクリ，プボードからデフォルトテ
キストに写し取ることができる０次に音声をビジネスレ
ターで使用される共通ビジネス用語のそれぞれに関連づ
けることができる。１０通程のビジネスレターを変換し
た後では、ビジネスレターのワードの大部分は音声セッ
トとして記憶されることとなる。

第１１Ｈ図に示すグループアルファべ，トづげサプモジ
ュール４０４によりユーザーは言語で使用する音声名に
アルファベットヲつげることができる（アルファペット
順に並べることができる）。

言語作戒ウインドウ内において（マウス浅一連の音声名
上に動かすことによって作られる）選択した音声名のグ
ループはアルファベットの順序がつけられ（４７８）．
Ｌかる後グループアルファベットづげはリターンする（
４８０）。

第ＩＩＩ図に示す優先サブモジュール４０６によりユー
ザーは標準グラフィックユーザーインターフェースの好
み（優先）例えばフォントのスタイル（４８２）やフォ
ントのサイズ（４８４）を選択することができる。又，
好みサブモジュール４８６によりユーザーは記録したア
クションのマウスの位置を表わ丁距離について選択を行
なうことができる。マウスアクシ曹ンの座標はグローバ
ルウインドウ座標に対する相対座標としてか，アプリケ
ーションウィンドウの座標に対するものとしてとられる
。マウスクリックによりアプリケーションメニ為一が選
択された場合，マウスクリックは常に相対座標にあるの
でウインドウをスクリーン上で動かしてもマウスクリヴ
クの機能は保たれる。

更に好みサブモジュール４８６はマムスアクションを記
録した際，マウスがクリックの場所にとどまったままに
なるかクリックの後でもとの位置に戻るかを決めること
ができる。好みの選択を終了する際，ユーザーに言語作
戒に関丁る現在の好みの設定を更新するかどうか乞問い
合わせる（４８８）。

更新を望む場合には．４９０でファイルを更新して優先
はリターンする（４９２）。そうでなげれば保存するこ
となく優先はそのままオペレーティングシステムに戻る
（４９４）。

第１２図に示すプロダクション書き込みモジュール２４
２はファイル浅保存丁る際に呼ばれる。

プロダクション書き込みは現在の言語馨保存し、それ聖
言語作成アプリケーションで使用するアウトラインプロ
セッサーフォーマットから状態マシーンにもとすく音声
認識ソフトウエアに適した階層構造のテキストフォーマ
ットに変換する。言語ファイルはアプリケーションに関
連づけられ，新しい言語ファイルは音声認識にアプリケ
ーションの種々のコマンドを組み込むためにアプリケー
ション別に生成され．編集される。

プロダクション書き込みモジュールの構或は使用する音
声認識ソフトウエアに依存する。一般にプロダクション
書き込みモジュールは現在の言語を，使用する音声認識
ソフトウエアに適したフォーマットに変換する。第１２
図に示すプロダクション書き込みモジュールの構或はド
ラゴンシステムの音声認識ソフトウエア用の音声コンパ
イラーのシンタックスに適用したものである。

プロダクション書き込みはまず４９４で言語をテストし
、サブレベルがあるかどうか馨判別丁る。

サブレベルがなげればターミナル書き込みサブモジュー
ル４９６がトップレベルの言語を保存し，プロダクショ
ン書き込みはリターンする（４９８）。

言語にサブレベルがある場合，それぞれのサブレベルが
再帰ループによって処理される。言語にルートエントリ
ーがある場合（５００），すなわち現在のレベルにただ
一つの音声名がある場合，プロダクション書き込みは５
０２でストリングＲｏｏｔ＝（”ｉｆｆファイルに書き
込み５１２でサブレベルをチェックする。ルートがなげ
れば５０４でターミナル書き込みを呼び出して言語の現
在のレベルの名前を保存する。次に５０６でストリング
ＴＥＲＭＩＮＡＬ：”馨書き込み、５０８で言語レベル
がターミナルかどうかをチェックし，ターミナルであれ
ばストリング（ｎを書き込む。次にプロダクション書き
込みは５１２で言語に更にサブレベルがあるかどうかを
調べる。サブレベルがなケレハプロダクション書き込み
はリターンする（５１４）サブレベルがあれば再び５１
６でプロダクション書き込みを呼び出して言語のサブレ
ベルについて処理する。サブレベルを処理した後，プロ
ダクション書き込みはストリング＃）”を書き込んでリ
ターンする（５１８）。

第１３図に示丁ターくナル書き込みサブモジュール４９
６は各音声名とそれに関連するコマンドストリングを言
語ファイルに書き込む。ターミナル書き込みはまず５２
０でターミナルかどうかをチェックする。ターミナルで
なければリターンする（５３０）。ターミナルであれば
ターミナル書き込みは５２２で音声名に対応するストリ
ングを言語ファイルに書き込む。次に５２４で関連する
コマンドストリングがあるかどうか紮テエックし、あれ
ばそのコマンドストリング（￥なわち”　Ｏｕｔ−ｐｕ
ｔ”）を言語ファイルに書き込む（５２６）。最後にタ
ーミナル書き込みは５２８でストリング１；ｎを言語フ
ァイルに書き込んでリターンする（　５３０）。

音声制御 音声制御ソフトウエアはオペレーティング●システムと
そのオペレーティング●システム上で走るアプリケーシ
ョンとの間のゲートとして役割を果たす。これは音声制
御にまり生戚されるフィルタ・グロシージャ（　ｆｉｌ
ｔｅｒ　ｐｒＯｃｅｄｕｒ６　）と等シイ，オペレーテ
ィング●システムの次のイベント取得のプロシージャに
マツキントッシュをセットすることにより成し遂げられ
る。この次のイベント取得の手続き次のイヘント要求が
オペレーティング●システムによって，またはアプリケ
ーションによって発生させる毎に実行される。通常，次
のイベント取得の手続きは無効であり，次のイベント要
求は直接，オペレーティング●システムに入る。フィル
タ手続きは要求の度毎に音声制御への制Ｉ１１を適丁。

これにより，音声制御はマウスおよびキーボードのイベ
ントを無視することにより音声機能を実行し、発生され
た命令に対応する新しいイペン｝ｗ生ｇする。

音声制御フィルタ・プロシージャは第１４図に示される
。

初期化５３８の後，１つのイベント（以後・事象と称す
る）がオペレーテイング●システムにより生成される前
に、次の事象取得のフィルタ０プロシージャ５４０が呼
び出される。まず、その事象は無効な事象であるか否か
チェックされる５４２。

無効であれば，入力プロセスモジュール５４４が直接，
呼び出される。プロセス入カモジュール５４４は新しい
音声入力があるか否かチェックし，受け入れられた音声
があれば処理する。人力プロセスの後、音声制御駆動部
は通常のフィルタ処理５４６（￥なわち，他のアプリケ
ーションによりひき起こされるフィルタ制御全て）を通
って、復帰する５４８。次の事象が無効な事象でなげれ
ば，表示は消される５５口。これにより、音声制御は以
前の無効でない機能により発生され得た，（現行の言語
リストのような）いかなる音声制御の表示も消してしま
う。したがって，音声制御により生成されたプロンプト
ウィンドウ（　ｐｒｏｍｐｔ　Ｗｉｎ−ｄＯＷ　）があ
れば，無効でない事象が起きたとき、そのプロンプト・
ウインドウは消される。次にキー押下の事象がテエック
される５５２。認識器はある特別たキー押下の事象によ
り制御（すなわち電源のオンおよびオフ）されるため，
その事象がキー押下の事象であれば，音声制御は更に処
理を行わなければならない。そうでなげれば、音声制御
駆動グロシージャは直接、入力プロセス５４４へ移る。

キー押下の事象が起きれば５５４，適当なときに，認識
器ケ制御するソフトウェア・ラッチがセットされる。こ
れにより、認識器ソフトウェアの起動，認識器の選択機
能の選択または，言語の表示が可能となる。この後，音
声制御駆動は入力プロセスへ移る５４４。

第１５図を参照すると，入刀プロセス・ルーチンは音声
制御駆動の中心である。それは音声ナビゲータ（Ｎａｖ
ｉｇａｔｏｒ）のための音声入力全てを管理する。入力
プロセス●モジュールは１つの事象がオペレーティング
●システムにより処理される度毎に，呼び出される。ま
ず５４６ではセットされる必要のあるラッ−ｒｆ処理さ
れ，マツキントツシネは必要であれば、何回かの遅延時
間だけ待つ。

遅延時間は例えばメニュー処理動作が音声制御により行
われている場合，その処理動作を開始する前にスクリー
ン上にそのメニューが描かれるように設定される。また
，いくつかのアプリケーションはマウスまたはキーボー
ドの事象の間の遅延を必要とする。次に、認識機能が起
動されうると５４８，入力プロセス・ルーチンは認識へ
進む５６２。認識が停止されれば，入力プロセスｔｔ復
帰（リターン）する。

認識ルーチン５６２は発声（すなわち，音声人力となり
うる音）があるか否かチェックするために認識駆動を起
動する。認識された音声入力があれば５６４，入力プロ
セスは垂直でランキング割込みＶＢＬハンドラ５６６を
チェックし，適当なところでそれを停止させる。

垂直プランキング割込みのサイクルはオペレーティング
ーシステムの中ではたいへン低いレベルのサイクルであ
る。スクリーンが更新される度毎にラスターはスクリー
ンの底辺の右から上辺の左へ動いているので，垂直プラ
ンキング割込み時間が発生丁る。このプランキング時間
の間，時間が非常に短かく、優先順位の非常に高いルー
チンが実行されうる。このサイクルはプロセス入力ルー
テンによって，マウス座標を非常にゆっくり加算するこ
とにより連続的にマウスを適当なところへ動かすために
用いられる。これを成し遂げろために．マウスの移動の
事象はＶＢＬの待ち行列上に置かれる。したがって、適
宜，ＶＢＬノ飄ンドラはマウスを動か丁ために停止され
なげればならない。

他の音声入力はそれらがプロセスＱルーテンにより処理
されうるまでブロセヴサのための音声に関連丁る事象を
保持する，音声待ち行列上に置かれる５６８。しかしな
がら，音声が認識されたか否かにかかわらず，プロセス
Ｑ５７０はプロセス入力によりいつも呼び出される。し
たがって，プロセスＱに対して順番を待つ音声事象は最
終的には実行されるが．必ずしも同じプロセス入力サイ
クル中ではない。プロセスＱ’ｋ呼び出した後，プロセ
ス入刀は復帰する５７１。

第１６図を参照すると，認識サブモジュール５６２は音
声ナビゲータ・ボックスにより整列されている符号化さ
れた発声の有無浅チェックシ・発声があればそれの認識
χ試みるために認識駆動を呼び出す。認識部は認識器か
ら戻される命令列（の長さ）により、命令の数を戻す。

５７２において，発声が認識器から戻ってこなげれば、
認識部は認識されなかったこと馨示丁，○の長さを戻丁
（５７４）。発声が、有効であれば．認識部はｓｄｉ一
認識を呼び出し５６７，認識器ソフトウエアにその発声
を認識するように指示する。５７８において，認識され
れば，発声の名前がユーザに対して表示される５８２。

同時に、いかなる終了呼び出しウィンドウ（すなわち，
認識ソフトウエアに応じて音声制御により起動される，
終了呼び出しの選択に関連丁るウィンドウ〕もディスプ
レイから消される。認識されなげれば、マツキントヴシ
Ｓはビープ音を鳴らして５８口、長さＯが戻される５７
４。

認識されると、認識部はその発声に対応する出力列を探
す５８４。出力列があれば，認識部はそれが停止してい
るか否かチェックし５８６，停止していれば５９０、出
力カウントはその出力列の長さにセットされ，その命令
が（″停止せよ“または１起動せよ“なとの）制御命令
で音声命令処理ルーチンにより処理される。

８識された発声に対する出力列がなげれば，または，認
識器が停止していれば．認識部の出力はゼロである（５
８８）。出力カウントが決定された後５９６，認識器の
状態が処理される５９６。こノトキ．ボイス・コントロ
ールの状態フラグが認識部サブルーチンのいづれかによ
って変更されていれば，適宜な処理が開始される。最終
的に認識部は復帰丁る５９８。

第１７図を参照丁ると，音声命令処理モジュールは認識
器を制御する命令を扱う。このモジュールは状態処理ブ
ロック５９６（第１６図）により実行されるべき動作を
行うか，またはその動作にフラグをたてうる。認識器が
停止されるか６００，または起動されれば，適当なフラ
グがセットされ６０２．６口６、命令列の長さとして・
更に動作を行わないよう状態処理に示丁、ゼロが戻され
る６２６，６２８。そうでなげれば，その命令が取消し
６０８（最後の発声を無祝せよ）、第１のレベル６１２
（言語階層の最上層へ行け、すなわち、音声制御状態χ
言語のための基本状態にセットする），ワード・リスト
６１６（現行の言語を示せ）または，音声オプション６
２口であれば、適宜なフラグがセットされ６１０，６１
４，６１８，６２２．認識器の状態が状態処理５９６（
第１６図）により変更されるべきことを示す、−１の列
の長さが戻される６２４，６２８。

第１８図を参照すると，処理Ｑのモジュール５７０は音
声待ち行列から音声人力をひき出し、それを処理する。

６３口において．事象の待ち行列が空であれば，処理Ｑ
は進み，そうでなげれば，処理Ｑは退帰丁る６３２。こ
れは音声の事象が他の事象と共に待ち行列上に置かれて
いると，事象の待ち行列がオーバフローするかもしれな
いからである。６３４において，音声の待ち行列が事象
を持っていれば，処理の行列はメニエ描画または他の関
連する動作のための遅延時間が終了したか否かをテエツ
クする。音声の餘ち行列に事象がなげれば，プロセスＱ
は退帰６３６″′ｆろ。遅延時間が終了したならば，処
理Ｑはゲット・ネクスト（　Ｇｅｔ　Ｎｅｘｔ　）　　
ｋ呼び出し６４２，復帰する６４４。そうでなく，遅延
時間が終了していなければ，プロセスＱは退帰丁る６４
０。

第１９図を参照すると，ゲット・ネクスト●サプモジュ
ール６４２は音声の待ち行列からキャラクタをとり出し
，それらを処理する。６４６において，音声の待ち行列
の中にキャラクタがなげれば，手続きは復帰するのみで
ある６４８。音声の待ち行列にキャラクタがあれば，ゲ
ット●ネクストはそのキャラクタが命令キャラクタであ
るか否かをチェックする６５０。そうであれば，ゲット
・ネクストはテエヴク命令を呼び出す６６０。そうでな
ければ，キャラクタはテキストであり，ゲヴト●ネクス
トは適宜，２次ビヴト（ｍｅｔａｂｉｔｓ）をセット丁
る。

マツキントッシュが一つの事象を配置すると，２次ピッ
ト（表Ｂ参照）は状態キー，選択キーまたは命令キーな
どのキーストロークχ条件付けするだめのフラグとして
用いられる。これらのキーはキーボードにおいて押下さ
れたキャラクタを条件付けし，制御キャラクタを生成す
る。したがって，適当なオペレーティング・システムノ
事象な生戚丁るために，２次ビットは適宜，セットされ
なければならない。２次ビットがセットされると６５２
、キー●ダウンの事象はマツキントッシェの事象待ち行
列に置かれ６５４、キーボードでのキー押下馨シュミレ
ート丁る。これに続き，キーアヴプが事象待ち行列に置
かれ６５６，キーアップ會シュミレート丁る。６５８に
おいて，事象待ち行列の中にまだ，余裕があれば，更に
音声キャラクタが取得され，処理される６４６。そうで
なげれば、ゲット・ネクスト手続きは復帰する６７６。

命令列人刀が単純なキーストロークでな＜．１つの命令
に対応すれば，その列は第１９図に示されるような命令
テエック・プロシージャ６６０により処理される。命令
テエック●プロシージャ６６０において、音声待ち行列
からの次の４つのキャラクタ（４つのキャラクタは全て
の命令列の長さである，表Ａ参照）はフェッテされ６６
２，命令テーブルに比較される６６４。６６６において
，キャラクタが音声命令に等しげれば、その命令は認識
され．処理は命令処理ルーチンにより続行される６６８
。そうでなげれば、そのキャラクタはテキストであると
解釈され，処理は２次ピットのスラップへ復帰する６５
２。

命令処理手続き６６８において，まず，テーブルに対す
る命令処理器のオフセットを計算し，そのテーブルに照
合し，適当な命令ハンドラを呼び出すことにより６７２
，各命令は命令手続きのテーブルに照合される。命令ハ
ンドラを呼び出した後、ゲット・ネクストは入力処理モ
ジュールから直接．抜け出る６７４（ソフトウエアの構
造は命令処理からの復帰は２次ビットのステップへ復帰
するようになっており、それは正しくないであろう）。

命令処理ルーテンに用いられる命令ノ・ンドラは第２０
図に図示されている。各命令ハンドラは第２１Ａ乃至２
１Ｇ図のフロー図により詳細に示されている。命令のた
めの命令文構造（ＳｙｎｔａＸ）　ハ表Ａに詳細に示さ
れている。

第２１Ａ図を参照すると，メニ集命令はメニューを取り
出丁であろう。例えば，　＠ＭＥＮＵ（ａｐｐｌｅ，０
）（ただし％ａｐｐｌｅ　　はアップル・メニューのた
めのメニュ一番号）はアップル・メニ：ＬＹとり出すだ
ろう。また．メニュー命令はそのメニューから１つの項
目を選択する。例えば，＠ｕｇＮｕ（　ａｐｐｌｅ　，
　ｃａｌｃｕｌａｔｏｒ　）　（　ｆ，−だし，　ｃａ
ｌｃｕｌａｔｏｒはアップル●メニュの中の計算器のた
めの項目番号）はアップル●メニュから計算器を選択す
るであろう。メニュ命令はメニューｉｄおよび選択され
たメニューのための項目番号の順番を待つファインド・
ｊ　二．　−　（Ｆｉｎｄ　Ｍｆｉ：ＮＵ）ルーｆ　７
　６　７　８を走らせることにより初期化する。ファイ
ンド・メニエが復帰した後，６８０において，行列待ち
丁るメニ，−がなければ，メニュ命令はメニュ選択と呼
ばれるマツキントッシュの内部トラップのうちの一つを
捕らえる６８２。メニュー選択のトラップはマイ●メニ
ュ選択（　Ｍｙ　Ｍｍｎｕ　Ｓｅｌｅｃｔ）ルーテンと
同じくセットされる６９２。次に、カーソル座標はマウ
スがスクリーン上を動くとき，見えなくなるように消さ
れる６８４。次に，メニュ命令はメニュ●バー上にマウ
ス・ダウン（すなわち，マウスのボタンを押下丁ること
７を置く。

マクス●ダウンがメニュ・バー上に生じると、マツキン
トッシュのオペレーティング●システムはアブリケーシ
ッンのためのメニ瓢事象を発生する。

１つのメニュ事象を受けるアプリケーションの各々はメ
ニエ事象が何であるかを見つけるために，オペレーティ
ング―システムからのサービスを要求する。これを行う
ために，アプリケーションはメニュ選択トラップを出す
。このメニエ選択トラップはスタック上のマウスの位置
を置く。しかし、この場合に，アプリケーションがメニ
ュ選択トラツフ＆発したときに、それは代わりにマイ・
メニュ選択ルーチン６９２Ｋよりサービスされ２これに
より、メニエ命令は現実の座標の場所に所望のメニュ座
律を挿入丁ることかできる。適当なメニュ・バー内にマ
ウス・ダウンを置いた後、メニュ命令は待ち時間を３口
にセットし６８８，この時間の間にオペレーティング・
システムはメニュχ描き，復帰する６９００ マイ・メニュ選択トラップ６９２において，メニュ選択
ブローバル状態は以前の選択されたメニ：Ｌｆｆクリア
するようにリセットされ６９４、所望のメニュｉｄおよ
び項目番号はマツキントッシュのスタック６９６に移さ
れ，所望のメニュ項目馨選択する。

ファインド・メニュ・ルーテン７０口は所望のメニュの
ための命令パラメータを集める７０２。

次に，メニュ名はメニュ名リストに照合される。

７０６において１７ニュ名”の名称を持ったメニュがな
ければ．ファインド・メニュは抜け出る。

そうでなければ、ファインド・メニエは項目名を七〇メ
ニュ内の項目の名称と比べる。７１２において，置かれ
た項目香号がＯより太きければ，ファインド●メニュは
メニュ命令により用いられるためのメニ：Ｌｉｄおよび
項目番号を待ち行列に並べ７１８，復帰する７２０。そ
うでなく，項目番号が０であればファインド・メニュは
内部の音声制御フラグマウスダウン”および“グローバ
ル”フラグを真にセット丁るだげである７１４。これは
音声制御に，マウスの位置は全体的に参照されるべきこ
と，およびマウス・ボタンは制限されるべきことを示し
ている。そして，ファインド・メニＳはポスト・マウス
・ルーテンを呼び出し７１６，それはこれらのフラグを
，オペレーティング●システムのマウス状態馨操作丁る
ために参照丁る。

第２１Ｂ図を参照丁ると，制御命令は１つのメニュ内の
ボタン押下を実行し、アプリケーションのファイル・メ
ニュ内のセーブ命令のような処理動作をひき起こす。こ
れを行うために，制御命叡は制御の列から命令パラメー
タを取り出し７２４，フロント・ウインドウを見つけ７
２６，ウインドウ命令リストを得７２８，その命令名が
その制御リスト内にあるか否かをチェックする７３口。

その制御名が制御リストの中にあれば，制御直交座標が
計算され７６２，ポスト・マウス・ルーチンはマウスを
適当な座標に位置づけ（　ｃｌｉｃｋ）　７３４．制闘
命令は復帰丁る７３６。制■名が見つげられなげれば，
制御命令（ま直接狽帰丁る。

キーパッド命令７３８はマツキントヴシュのキー′４ヴ
ドでの数字人刀をシュミレートする。キーパッドは命令
列のための命令パラメータを見っ゛げ７４０、所望のキ
ーのためのキーコード値を得７４２，ｖ−−−ダウンの
事象をマヅキントヅシュの事象待ち行列に置き７４４、
復帰する７４６。

ズーム命令はフロント・ウィンドウを拡犬／縮小する。

ズームはマウスをフロント・ウインドウと照合するため
にフロント・ウインドウ・ポインタを得７５口、ズーム
・ボックスの位置浅計算し７５２、このズーム・ボック
ス内に位置づけするためにポスト・マウスケ用い７５４
，復帰する７５６。

ローカル・マウス命令７５８は局部的に参照される場所
にマウスを位置付けする。ローカル・マウスは所望のマ
ウス位置のための命令パラメータχ取得し７６０，所望
の座称に位置づけするためにポスト・マウスケ用い７６
２，復帰する７６４。

グローバル・マウス命令は全体的に参照される位置にマ
ウスを位置づける７６６。グローバル●マウスは所望の
マウス位置のための命令パラメータｆｉ取得し７６８．
（ポスト・マウスに、座標がグローバルであることを知
らせるために、）グローバル・フラグを真にセヴトし７
７口、所望の座標に泣置づげ丁るようボスト●マウスヶ
用い７７２、復帰する７７４。

ダプル●クリック（ＤＯｕｂｌｅＣｌｉｃｋ）命令は局
部的に参照される位置にマウスを二回，位置づける。ダ
ブル・クリックは所望のマウス位置のための命令パラメ
ータを取得し７７８．（所望の位置に２回，位置づけを
行うために）ポスト・マウスを２回、呼び出し７８０，
７８２．復帰する７８４。

マウス●ダウ７　（Ｍｏｕｓｅ　Ｄｏｗｎ）命令７８６
はマウス・ボタンを停止にセットする７８６。マウス●
ダウンは（ポスト・マウスニ、マウス●ボタ／は抑えら
れるべきことを知らせるために，）マウスダウン●フラ
グを真にセットし７８８，ボタンをダウンにセヴトする
ためにポスト・マウス聖用い７９０、復帰する７９２。

マウス●アヴブ（　Ｍｏｕｓｅ　Ｕｐ　）　命令はマウ
ス●ボタンを上にセット丁る７９４。マウス・アップハ
（オペレーティング●システムに，マウス●ボタンがセ
ット・アブブされるべきことを知らせるｔ．−メＫ，　
）　ｍｂｓｔａｔｅ　ｇｌａｌａｌ　（表Ｂ参照）馨マ
ウス●ポタ７−アップ（　Ｍｏｕｓｅ　Ｂｕｔｔｏｎ　
ＵＰ　）　ニセットし７９６．（アプリケーションにマ
ウス・ボタンが動作状態になったととχ知らせるために
、マツキントッシェの事象待ち行列に，マウス●アップ
事象馨置き、復帰丁る８００。

第２１Ｄ図浅参照丁ると，スクリーン・ダ２ン（ｓｃｒ
ｅｅｎ　Ｄｏｗｎ）命令８０２は現在のウインドウの内
容ヲ不クロールダウンする。スクロール・ダウンはまず
，フロント・ウインドウの中の垂直ス〕 クロール●バー’ｋ探ス８　０　４。８０６において，
スクロール●バーが見つからなければ，スクリーン・ダ
ウンは復帰するだけである８１４。スクロール・バーが
見つかれば，スクリーン・ダウンは下向き矢印の座標を
計算し、（ポスト・マウスにマウス●ボタンが抑えられ
るべきであることを示す）マウスダウン●フラグを真に
セットし８２４、ポスト・マウスを使ってマウス・ボタ
ンを停止させ８２６，後帰丁る８２８。

スクリーンーレフト（Ｓｃｒｅｅｎ　ｌｅｆｔ）命令ハ
現在のウインドウの内容を左へスクロールする８３ｏ０
スクリーン●レフトはます，フロント●ウィンドウ中の
水平スクロール・バーを探丁８３２。８６４において，
スクロール・バーが見つからなければ，スクリーン・レ
フトは復帰するのみである８４２。

スクロール・バーが見つかれば，スクリーン●レフトは
左矢印の座標を検出し８３６．（ポスト●マウスに，マ
ウス●ボタンが抑えられるべきであることを示す〕マウ
スダウン●フラグを真にセツ｝Ｌ８３８．ボスト●マウ
スを使って、マウス・ボタンを停止させる８４０、復帰
する８４２。

スクリーｙ−ライト（　Ｓｃｒｅｅｎ　Ｒｉｇｈｔ　）
命令は現在のウインドウの内容ｙ５ｔ右へスクロールす
る８４４。スクリーン・ライトはまずフロント・ウイン
ドウ中の水平スクロール●バーＹ探ｊ８４６。

８４８において，スクロール・バーが見っからなげれば
，スクリーン●ライ｝％ま復帰するのみである８５６。

スクロール・バーが見つかれば，スクリーン・ライトは
右矢印の座標を計算し８５口，（ポスト・マウスに，マ
ウス・ボタンが抑えられるべきであることを示−ｆ）マ
ウスダウン＃フラグを真にセットし８５２，ポスト・マ
ウスχ使って，マウス・ボタンを停止させ８５４，復帰
する８５６。

第２１Ｅ図を参照丁ると，ページ・ダウン（ＰａｇｅＤ
ｏｗｎ　）　　命令は現在のウィンドゥの内容を１ぺ−
ジ分．下に動か丁８５８。ページ●ダクンはまず，フロ
ント●ウインドウ内の垂直スクロール●バーヲ探丁８６
０。８６２において、スクロール・バーが見つからなけ
れば，ページ●ダウンは復帰するのみである８６８。ス
クロール●バーが見っかれば，ベージ●ダクンはページ
●ダクン●ボタンの座ｆｌＹ計算し８６４，ポスト・マ
ウスを使ってマウス●ボタンを停止させ８６６．復帰す
る８６８。

ヘーシ●アッフ（　Ｐａｇｅ　Ｕｐ）命令は現在のウィ
ンドウの内容を１ページ分，上に動かす８７ｏ０ベージ
●アップはまず，フロント●クィンドゥ内の垂直スクロ
ール・バーを探す８７２。８７４において．スクロール
●バーが見つからなければ，ヘーシ●アップは復帰する
のみである８８ｏ０スクロール●バーが見つかれば，ペ
ージ●アップはページーアヴプ●ボタンの座標を計算し
８７６．ポスト・マウスを使ってマウス・ボタンを停止
させ８７８，復帰する８８０。

ヘーシ●７７　｝　（ｐａｇｅ　Ｌｅｆｔ）命令は現在
のウィンドウの内容？ｌ−１ページ分．左へ動かす８８
２。

ページ●レフトはまず，フロント●ウィンドゥ内の水平
スクロール●バーを探す８８４．８８６において，スク
ロール。バーが見つからなげれば，ヘーシ●レフトは復
帰するのみである８９２。スクロール・バーが見つかれ
ば、ページ●レフトはページ・レフト・ボタンの座標を
計算し８８８，ポスト●マウスを使ってマウス・ボタン
を停止させ８９０，後帰丁る８９２。

ページ・ライト（　Ｐａｇｅ　Ｒｉｇｈｔ，）命令は現
在のウインドウの内容聖１ページ分，右へ動かす８９４
。

ページ・ライトはまず、フロント・ウインドウ内の水平
スクロール・バー馨探丁８９６。８９８において，スク
ロール●バーが見っからなげれば、ヘーシ●ライトは後
帰丁るのみである９０４。スクロール●バーが見つかれ
ば、ページ・ライトはページ・ライト・ボタンの座標ヲ
計算し９００，ボスト●マウスを使ってマウス●ボタン
を停止させ９０２．復帰する９０４。

第２１Ｆ図を参照丁ると，ムープ（　ＭＯＶｅ　）命令
はマウスをその現在の位置Ｃ’ｌ．Ｘ）から新しい位置
（Ｙ＋δｙ，ｘ＋δｘ）へ動かす９０６。まず，ムーブ
は命令パラメータ９０８を取得し９口８，ムープはマウ
スのスピードをタブレットに合わせてセットし９１０．
（これにより，そうしなげればマウスの動きを制御不可
能としてしまうだろう，マウスの加速を取り消す。）オ
フセット・パラメータ浅現在のマウスの位置に加算し９
１２、新しいカーソル位置とさせ、マウスのスピード馨
リセットし９１４．復帰する９１６。

グローバル座標ヘノ移動（　Ｍｏｖｅ　ｔｏ　Ｇｌｏｂ
ａｌＣｏｏｒｄｉｎａｔｅ　）命令はカーソルを音声制
御命令列により与えられたグローバル座標へ動か丁９１
８。

このムープ●トウ・グローバル（グローバル座標への移
動命令）はまず、命令パラメータ２取得し９２０，位置
パラメータがあるか否が馨テエノク丁る９２２。位置パ
ラメータがあれば，スクリーンの位置座標がフエヴチさ
れる９２４。いづれの場合も，グローバル座棟が計算さ
れ９２６，マウスσ）スヒードはタブレットに合わせて
セヴトされ９２８、マウスの位置は新しい座標にセット
され９６０、カーソルは新しい位置とされ９３２，ムー
ブ・トク・グローバルは復帰する９３４。

局部座標への移動（　Ｍｏｖｅ　ｔｏ　Ｌｏｃａｌ　Ｃ
ｏｏｒｄｉ−ｎａｔｅ）　命令はカーソルを音声制御命
令列により与えられたグローバル座標へ動かす９３６。

このムーブ・トウ・ローカル（局部座標への移動命令フ
はまず，命令パラメータχ取消し９３８，位置パラメー
タを取得し９４０，位置パラメータかあれば，局部位置
座標がフｚ’ｙテされる９４２。いづれの場合も，グロ
ーバル座標が計算され９４４，マウスのスピードはタブ
レットに合わせてセットされ９４８，カーソルは新しい
位置とされ９５口，ムープ・トウ・ローカルは復帰する
９５２。

連続移動（　ＭＯＶｅ　ｃｏｎｔ３ｎｖｏｕｓ　）命令
ハスクリーンのりフレヴシェの度にδｙ，δＸだけ移動
させて，マウスを現在の位置から連続的に動かす９５４
。これはマ？キントッシュの垂直プランキング割込み待
ち行列中に，ＶＢＬ移動（　Ｍｏｖｅ　）ルーチンを挿
入して９５６％復帰する９５８ことにより或しうる。待
ち行列の中に入れれば．ＶＢＬ移動ルーテンはスクリー
ンのりフレッシュの度に実行されるであろう９６０．Ｖ
ＢＬ移動ルーチンは現在のカーソル位置にδｙおよびδ
Ｘの値を単に加算し，そのカーソルχリセットし９６４
．徴帰丁る９６６。

第２１Ｇ図ケ参照すると、オプンヨン・キー停止（　Ｏ
ｐｔｉｏｎ　Ｋ８Ｙ　ＤＯＷｎ　）命令ｋｌ−プ’／　
，　７　１１　＃一χ停止させる９６８。これはキーボ
ード・ビット●マップ内のオプション自キーのビット浅
真にセットし９７口，復帰する９７２ことによりなされ
る。

オプション●キー・アップ（○ｐｔｉｏｎ　Ｋｅｙ　Ｕ
ｐ）命令はオプション●キーを起動する９７４。これは
キーボードのビット●マップ内のオプションー千一のビ
ットを偽にセットし９７６，復帰する９７８ことにより
なされる。

シフト●キー●ダウン（Ｓｔｌｉｆｔ　Ｋｅ’ｊ　ＤＯ
Ｗｎ）命令はシフト●キーを停止させる９８０。これ１
言キーボードのビット●マップ内のシフト●キーのビッ
トを真にセットし９８２，復帰する９８４ことによりな
される。

シフト・キー・アップ（　Ｓｈｉ　ｆｔ　Ｋｅｙ　Ｕｐ
　）命令はシフト・キー浅起動丁る９８６。これはキー
ボードのビット●マップ内のシフト・キーのビットを偽
にセットし９８８，復帰する９９０ことにょりなされる
。

コマンド●キー・ダウｙ　（　Ｃｏｍｍａｎｄ　Ｋｅｙ
　Ｄｏｗｎ）命令は命令キー馨停止させる９９２。これ
はキーボードのビヅト●アップ内の命令キーのビットを
真にセットし９９４，復帰する９９６ことによりなされ
る。

コマンド●キー●アップ（　Ｃｏｍｍａｎｄ　Ｋｅｙ　
Ｕｐ　）命令は命令キーをセヴトアップする９９８。こ
れはキーボードのビヴト●アップ内の命令キーのビット
χ偽にセットしｉｏｏｏ．復帰する１００２ことにより
なされる。

コントｏ　−　Ａ／　ａ　＃　−　ａダウ７　（　Ｃｏ
ｎｔｒｏｌ　ＫｅｙＤＯＷｎ）命令は制御キー馨停止さ
せる１００４。

これはキーボードのビット●アップ内の制御キーのビッ
トを真にセットし１００６．復帰する１００８ことによ
りなされる。

コントロ−　ＩＬｔ　＃　＃−１）　７−，Ｆプ（　Ｃ
ｏｎｔｒｏｌ　ＫｅｙＵｐ）命令は制御キーをセットア
ップする１０１０。

これはキーボードのピット●アップ内の制御キーのビッ
トを偽にセットし１０１２．復帰する１０１４ことによ
りなされる。

ネクスト●ウインドウ（　Ｎｅｘｔ　ＷｉｎｄＯＷ　）
＠令はフロント●ウインドウを後に移動させる１０１６
。

これはフロント●ウインドウをとらえ１０１８．ソれ馨
後に送り１０２０．復帰丁ることによりなされる１０２
２。

イレーズ（ｇｒａｓｅ）命令はスクリーンからのナムテ
ヤーズ（　ｎｕｍｃｈａｒｓ　）　　キャラクタを消去
する。

最新の音声命令によりタイプされるキャラクタの数はボ
イス・コントロールにより保持される。したがって，イ
レーズは最新の音声命令からのキャラクタを消去するで
あろう。これはキーのキーダウン削除の事象を置いて１
０２６．　ｔｉｌｔかれた事象の数がナムテヤーズに等
しいか否かをチェックするループによりなされる。ナム
チャーズの削除が置かれていたならば、イレーズは復帰
丁る１０３０。

キャビタライズ（　Ｃａｐｉ　ｔａｌ　ｉＺｅ　）命令
は次のキーストロークを大文字化する１０３２。これは
キャップス（　ｃａｐｓ　）　　フラグを真にセットし
て１０３４．復帰する（１０３６）　　ことによりなさ
れる。

ラウンチ（　Ｌａｕｎｃｈ　）命令はアプリケーション
へ進む１０′５８。このアプリケーションは１レベルノ
ミ深イフート．トライフ（ｂｏＯｔｄｒｉｖｅ）上ニな
げればならない。これはそのアプリケーションの名称（
　＠ａｐｐｌｅ−ｎａｍｅ″）奮得て１０４０％プー｝
　−　ホｌＪ　．−Ａ　（　ｂｏｏｔ　ｖｏｌｕｍｅ）
上りａｐｐｌｅ　−ｎａｍｅ馨深し１０４２．そして．
１０４４において、そのアプリケーションが見つかれば
，そのボリュームχアプリケーション●フォルダ（ｆｏ
ｌｄ８ｒ）にセットし１０４８．そのアプリケーション
険進む１０５０（その新しいアプリケーションはマツキ
ントッシュの待ち行列をクリアするであろうから，復機
は必要ない）。アプリケーションが見つからなげれば，
ラウンチは復帰するのみである（１０４６）。

第２２図を参照丁ると，ポスト・マウス・ルーテンはマ
ウス停止の事象を，マツキントヴシェの事象待ち行列に
置いて１　０５２．マウスの活動を監視しマウスを停止
させ続けるためにトラップをセット丁ることかできる。

ポスト・マウスの動作はボイス・コントロール●フラグ
のグローバルおよびマウスダウンにより決定され，それ
らはポストマウスを呼び出す前に命令ハンドラによりセ
ットされる。ボスト●マウスの後，アブリケーシ１ンが
１次の事象取得”（　ｇｅｔ−ｎｅｘｔ−ｅｖｅｎｔ）
を行うと，それは事象の待ち行列内のマウスーダクンの
事象を判別し、位置づけ（　ＱｌｉＣｋＳ　）　，　　
マウス●ダウン，または二重の位置づけ（ｄｏｕｂｌｅ
ｌ　ｃｌｉｃｋｓ）のような事象へと導く。

まず，ポスト・マウスはマウスの事象が生成された後，
マウスがその最初の位置に復帰できるように，現在のマ
ウスの位置を保存する１０５４。次に，カーソルはユー
ザがスクリーンを動きまわるマウスを見ないようにする
ために消される１０５６。

次に，グローバル●フラグがチェックされる。

１０５８において．座標がローカルであれば（すなわち
，　ｇｌｏｂａｌ＝ＦＡＬｓＥ）．それらはグローバル
座標に変換される１０６０。次に，マウスのスピードは
（加速問題を壁けるために）タブレットにセットされ１
　０６２．マウス停止がマツキントッシュの事象待ち行
列に置かれる１０６４。１０６６において、マウス・ダ
ウン・フラグが真であれば（′ｆなわち、マウス・ボタ
ンが抑制されていれば）・ゝット●マウスｅダウン（　
Ｓｅｔ　Ｍｏｕｓｅ　Ｄｏｗｎ　）　ル−テンが呼び出
され１０７２．ポスト・マウスは復帰する１０７口。そ
うでなく，マウス・ダウン・フラグが偽であれば，マツ
キントッシュの事象待ち行列にマウス起動の事象を置い
て１０６８，復帰する１０７０ことにより、位置づけ（
ＣｌｉＣｋＳ）が行われる。

第２５図χ参照すると，セット・マウス・ダウ７　（　
ｓｅｔ　Ｍｏｕｓｅ　ｐｏｗｎ）　Ａ／−チンはマツキ
ントッシュのボタン●トラップをマイ●ボタン（　ＭＹ
Ｂｕｔｔｏｎ　）と名付けられたボイス・コントロール
●トラップに置き換えることにより，マウス・ボタン聖
停止させつづける１０７２。マイ・ボタン・トラップは
更に，音声命令を認識し．適宜，マウスの軌線（　ｄｒ
ａｇｓ　）または佇置（ｃｌｉｃｋｓ）ｋ生成丁る。マ
イ●ポタンを開始した後，セットーマウス・タウンはマ
ツキントッシュがマツキントッシェ●プラス（Ｍａｃｉ
ｎｔｏｓｈ　Ｐｌｕｓ）　テあるか否カテ工ヴク丁る１
０７６。マツキントッシュ●プラスの場合、ボスト●イ
ベント●トラップもまた、ボイス・コントロール・マイ
●ボスト●イベント・トラップにリセットされなければ
ならない。（マヅキントヴシ瓢●プラスはマウス・ボタ
ンの状態を判定するために，　ｍｂｓｔａｔｅ　グロー
バル・フラグ馨単にテエツクしないであろう。むしろ、
マツキントッシュ・プラス内のポスト・イベント・トラ
ップはその状態を決めるために実際のマウス・ボタンを
集めるだろううし，マウス・ボタンがセット状態であれ
ば．マウス●アップの事象と置くだろう。したがって、
ボイス・コントロールＫＪＩ’）指示されるとおりに，
マツキントヴシュ−プラスに、マウス●ポタン状態を受
けさせるために、音声処理動作の間，ポスト・イベント
・トラップはマイ・ボスト●イベントートラップと置き
換えられ，それはマウス●ポタンの状態を集めはしない
だろう。）次に，　ｍｂ　Ｓ　ｔａｔｅフラグは（マウ
ス・ボタンがダウンしていることを示す）マウスダウン
にセツされ１０８口、セット・マウス・ダウンは？帰す
る１０８２。

マイーボタン●トラププはマヴキントツシュのボタン・
トラップを置き換え１０８４．　そｈＫ工’ｌ・オペレ
ーティング■システムからのボタン状態のｉ１Ｉｌ１御
馨抽捉丁る。マイ・ボタンが呼び出される度毎に、それ
はマツキントッシュのマウスーボタン状態ビットｍｂｓ
ｔａｔａ　χテエヴクする１０８６。

ｍｂＳｔａｔｅがアップ（動作状態）にセットされてい
たならば，マイ・ボタンはエンド●ポタン　（Ｅｎｄ　
Ｂｕｔｔｏｎ）　ルーチン１１０６へ移り，　ｍｂｓｔ
ａｔｅをアップにセットし１１０８．＠えられているＶ
ＢＬルーテンへ移り１　１　１　０．ボタンおよびポス
ト・イベントのトラップを元のマツキントッシュのトラ
ヴブにリセットし１１１２．マウスのスピード留リセッ
トし，カーソルをマウスに結合させ１１１４．カーソル
馨表示し１１０２．そして復帰する１１０４。

しかしながら、マウス・ボタンがダウン（停止状態）の
ままであれば．マイ・ボタンは（マｑ’？／トッシュが
スクリーン上にメニュー馨描く時間を許容する）待ち時
間が終了したか否か欠テエツクし１０８８．更なる音声
命令を認識するために，認識ルーテン聖呼び出す。更な
る音声命令か認識された後，マイ●ボタンは命令列の長
さに基づいて，その次の処理動作を判定する１０９２。

命令の長さが口より小さければ，次の音声命令はボイス
●コントロール内部命令であり，マクスーボタンはエン
ド●ボタン１１０６’ｆ呼び出丁ことにより解放される
。命令列の長さが口より太きければ．命令は認識され．
その命令は音声の行列に並ばされ１　０９４．その音声
の待ち行列は更なる命令ケ求めてチェックされる１０９
６。何も認識されなげれば（命令列の長さが０），マイ
・ボタンは飛び越して，直接，音声の待ち行列のチェッ
クヘ行＜１０９６。

しかし，音声の待ち行列内に命令があれば，マイ・ボタ
ンはその命令が（マウスの位置づけを行うであろう）マ
ウス移動命令であるか否かチェックする１０９８。マウ
ス移動でなげれば，マウス・ボタンはエンド・ボタンを
呼び出丁ことにより解放される。その命令がマウス移動
であれば、（マウスをひきずる）その命令は実行され１
１００、力一ソルは表示され１１０２．そしてマイ・ポ
タｙｉｔｍ帰丁る。

スクリーン●ディスプレイ 第２４図を参照丁ると，記録動作中σ〕スクリーン表示
が示されている。ユーザは局部マウス●クリック聖記録
しており１１０６．そのクリックはアクション●リスト
１１０８およびアクション・ウインドウ１１１０の中で
示されている。

第２５図馨参照丁ると、会話ボックス宮用いた記録動作
が示されている。手動のプリンタ・フィードのための会
話ボックス１１１２がユーザに会話の記録を促ｆポイス
・コントロール・ラン●モダル会話ボックス１１１４と
共に．ユーザに表示される。ユーザは手動７イード●ボ
タン１１１６に対丁る音χ記録丁る準備をしている。

第２６図を参照すると，ランゲージ●メーカ（　Ｌａｎ
ｇｕａｇｅ　Ｍａｋｅｒ　）のメニ：Ｌ−１１１８が示
されている。

＠２７図を参照すると，ユーザは現在の言語を選択し，
それはポイス●コントロールにより、抜ぎ出し（Ｐｏｐ
−ｕｐ）表示形式で表示されている。

第２８図を参照丁ると，ユーザは発声する名称“アップ
ル”１１２２について発音し、“アップル”のための発
声の再訓練を要求する。ボイス・コントロールは会話ボ
ックス１１２４により応答し，マイクロホン＆Ｃ”アッ
プル”と２回言うようにユーザに求める。

第２９図ケ参照すると．（ボーカル（　Ｖｏｃａｌ　）
によってコンパイルされるべき）ライト・グロダクシ＊
　７　（　ｗｒ　ｉ　ｊｅｔ　Ｐｒｏｄｕｃ　ｔｉ　Ｏ
ｎ　）出力７７イルノためのランゲージ●メーカ表示が
示されている。

ランゲージ・メーカ表示はかなり直観的であることが第
２９図より明らかである。

第３０図を参照丁ると，第２９図に表示されたようなラ
イト●プロダクション出力ファイルのリストが示されて
いる。

他の実施例 本発明の他の実施例も添記の特許請求の範囲内にある。

例えば、音声認識システムにより制御されるグラフィッ
ク●ユーザーインターフェースはアップル・マツキント
ッシュ・コンピュータのものでなくともよい。認識器は
ドラ″′゜シ３テ”ズ（　Ｄｒａｇｏｎ　ｓｙｓｔｅｍ
ｓ　）　Ｋより市販されているもσ〕でなくともよい。

添付の付録Ａはボイス●コントロール命令言語の命令文
規則を示しており、付録Ｂはボイス・ナビゲータ●シス
テムにより用いられろ．マツキントッシュのＯＳグロー
バルズのうちのいくつか會列挙しており，付録Ｃはボイ
ス・ナビゲータの実行可能コードのマイクロフィシュで
あり．付録Ｄはボイス・ナビゲータ●システムのための
開発者用リファレンスーマニュアルであり，付録Ｅはボ
イス・ナビゲータのユーザ用マニュアルであり，これら
全てを本文に参考として組み入れる。

本特許書類の開示ある部分は著作権保護の対象となるも
の（例えば．表のマイクロフィシュ・ユーザ用マニュア
ルおよびリファレンス●マニュアル）を含んでいる。著
作槓者は特許書類または特許開示物が特許商標局の特許
ファイルまたはレコード中にあるりであるから．その特
許書類または特許開示物の．いかなる者による複製にも
異議な唱えないが，そうでなければ，何であれ全ての著
作Ｗ１１ｋ保有丁る。

ｉｔ６ｍｎｕｍ）　ｍｅｎｕｎａｍｅ　　という名称の
メニ瓢の中の．ｔｔｅｍｎｕｍ　　という名称の項目Ｘ
見つげ，それを選択丁る。ｉ　ｔｅｍｎｕｍがＯであれ
ば．メニ＝ＬＹそのまま保つ。

Ｃｔｌｎａｍ６　　という名称の制限を見つげ，その長
方形の中に位置づける。

は０−〜９．−，＋．Ｘ．１．＝．およびクリアのため
の００ 数字千一バヅド上のキーのためにキーダウンケ置く。

ズーム命令一＠ｚｏｏｕ フロント●ウインドウのズームーボックスの中に位置づ
ける。

（ｙ．Ｘ） フロント・ウインドウの局部（ローカル）座標（Ｖ．Ｘ
）に位置づける。

（Ｙ．Ｘ） 現在のスクリーンの全体（グローバル）座標にα置づけ
る。

現在のスクリーンの全体塵標（ｙ．Ｘ）Ｋおいて２回．
発音する。ｙ＝ｘ＝ｏであれは、現在のマウスの僚置に
おいて、２回、位置づける。

マウス・ダウン命令一＠ＭｓｐＮ マウス・ボタンの状態馨ダウン（停止状態）ニセットし
，そのダウンを維持丁るためにトラップをセットアップ
丁る。

マウス・アップ命令一＠ＭＳＵＰ マウス・ボタンの状態渇アヅブ（動作状態）にセットす
る。

フロントーウインドウのスクロール●バーの下向きの矢
印の部分にマウスを位置づける。

フロント●ウインドウのスクロール●バーの上向きの矢
印の部分にマウスを位置づける。

フロント・ウインドウのスクロール・バーの左向きの矢
印の部分にマウス髪位置づける。

フロント●ウインドウのスクロール●バーの右向きの矢
印の部分にマウスケ立置づげる。

フロント●ウインドウのスクロール●バーの下向きの矢
印の部分に位置づけろ。

フロントーウインドウのスクロールーノくーの上向きの
矢印の部分に位置づけろ。

フロント●ウインドウのスクロール●ノくーの左向きの
矢印の部分に位置づけろ。

ページ・ライト命令一＠ＰＧＲＴ フロント●ウインドウのスクロール自ハーノ右向きの矢
印の部分にα置づげろ。

ムー７”　命令ｅ　Ｍ　Ｏ　Ｖ　Ｅ　（　ｔ３　ｙ　，
　Ｊ　Ｘ　）マウスをその現在の位置（Ｙ．Ｘ）から新
しい位直（ｙ＋δｙ．ｘ＋δＸ）へ移丁。ｔこだし，ａ
ｙおよびδＸは画素であり，正または負のいづれの値も
とりうる。

ムープ●コンティニュアス命令−　Ｍ　Ｏ　Ｖ　Ｉ（δ
ｙ．δＸ） マウスを．その現在の位置から連続的に移し、スクリー
ンのりフレッシ．Ｌ０）度毎にδｙ，δＸ移す。

−ＭＯＶＬ　（　ｙ　．　ｘ（，　ｗｉｎｄｏｗｎａｍ
ｅ））　　またはＭＯＶＬ（　ｎ（　．　ｙ．　ｘ（　
．　ｗｉｎｄＯＷｎａｍ８＞＞）　タだＬ，ｎ＝Ｎ，Ｓ
．Ｅ．Ｗ．ＮＥ．ＳＥ，ＳＷ．ＮＷ．Ｃ，Ｇ （Ｙ．Ｘ）まｆｓは（ｎ．Ｖ＋ｙ，ｎ，ｈ−１−Ｘ）ｉ
７ｃｊり与えられる局部座標へカーソルケ移す。

フボー｝　（　ｇｒａｆＦ’ｏｒｔ　）を使用する。

’　ｗｉｎｄｏｗｎａｍｅ”　がなければ，フロント・
ウインドウのグラフボートを使用丁る。

令−＠ＭｏｖＧ＜ｎ．＜ｙ．ｘ＞）たぞし，ｎ＝Ｎ，Ｓ
，Ｅ，Ｗ，ＮＥ，ＳＥ，ＳＷ．ＮＷ，Ｃ，Ｇ（ｙ．Ｘ）
また！’！（ｎ．Ｖ＋ｙ，ｎ．ｈ＋Ｘ）ＦＣ，Ｃり与え
られる全体座標へカーソル馨移す。スクリーンσ）グラ
フボート馨使用する。

オプション・キーを抑制（または保留）する。

オプション●千一を解放する。

シフト・キーを抑制（または保留）する。

シスト・キー馨解放する。

コマンド・キーを抑制（または保留）する。

コマンド●孝−ヲ解放する。

コントロール・キーを抑制（または保留）丁る。

コントロール●千一χ％放−ｆ”　ル。

フロント●ウインドウヲ後ろへ送る。

イレーズ命令一ＱＥＲＡＳ タイプされた最後のナムチャーズ（　ｎｕｍｃｈａｒｓ
）を消去する。

タイプされる、次の文字を大文字化する。

ラウンテ命令一＠ＬＡＵＮ　（ａｐｐｌｉｃａｔｉｏｎ
　−ｎａｍｅ　） ａｐｐｌｉｃａｔｉｏｎ　−　ｎａｍｅ　　という名称
ノアプリケーションへ進ム。このアプリケーションはレ
ベルが１のみ深いプート●ドライブ（　ｂｏｏｔ　ｄｒ
ｉｖｅ）上になげればならない。

ウェイト命令一＠ＷＡＩＴ（ｎｎｎ） 認識において何か他のことを行う前に，ｎｎｎの時間が
経過丁るのを待つ。

表Ｂ：マ１キントッシュのＯＳグローバルズマッキント
ッシュのオペレーティング●システムとのインターフェ
ースケ行うには，特定の低位のメモリ●グローバルズが
ボイス●コントロールにより管理される必要がある。以
下は最も重要なグローバルズＹ認■したものである。更
なる情報は”　Ｉｎｓｉｄｅ　ＭａＯｉｎｔＯＳｈ”，
ＶＯＩＳ，Ｉ−ＶＫ書かれている。

マクス●グローバルズ（　Ｍｏｕｓｅ　Ｇｌｏｂａｌｓ
　）Ｍｔｃｋｅｙ　Ｂｙｔａｓ　ＥＱＵ　ＳＤ６Ａ−　
カーソル値に対丁るボイノタ；マウスの加速な制御する
のに用いられる。マウスが１０画素より多く動かされる
ときは必ずタブレットを指すようにセクトする。

〔ポインタ〕

Ｍ　Ｔｅｍｐ　ｇＱＵ　８８２８一低位のレベルの割込
みのマウス位置；　＠ＭｏｖＩ命令を実行しながら．Ｖ
ＢＬ処理の間，マウスを動かすのに用いられる〇〔ロン
グ〕 Ｍｏｕｓｅ　ＥＱＵ　Ｓ８３０一処理されたマウスの座
橡；　他ｃｖ　ｇＭｏｖｘ命令の全てに対して，マウス
馨動かすのに用いられる。

ＭＢＳｔａｔｅ　ＥＱＵ　　３１７２一現在の７ウス゜
ボタンの状態；　ｉｔｅｍｎａｍｅ　＝＝　０であると
き，＠ＭＳＤＮおよび＠ＭＥＮＵの。め，）．ｆウユタ
ーウ，浅セットするのに用いられる。〔バイト〕キーｅ
ボード●グローバルズ（Ｋｅｙ　ｂｏａｒｄＧＩＯｂｉ
ａｌＳ　） Ｋｅｙ　Ｍａｐ　ＥＱＵ　８１　７４　−−？−ボード
上ノ各キーに対して１ビットが割り当てられた．キーボ
ード●ピヴト●アップ。２次キー（オプション，コマン
ド，シフト，コントロール）χダウンにセットするよう
，そのビットを真にセットする。

〔コロンブス〕

Ｊ（ｒＮＥＦｉｌｔｅｒ　ＥＱＵ　Ｓ２９Ａ−ゲット・
ネクスト●イヘント（　Ｇｅｔ　Ｎｅｘｔ　Ｅｖｅｎｔ
　）７　４　＃夕のプロシージャ（ｐｒｏｃ）　；ゲッ
ト・ネクスト・イベントへの呼び出しを阻止するよう、
ボイス・コントロールのメイン●ループにセットする。

〔ポインタ〕

ｅｖｔＭａｘ　Ｉｌｉ：ＱＵ　ＳＩＲ一事象待ち行列中
の事象の最大数。この数になると，事象を行列中に置く
こと（　Ｐｏｓｔｊｎｇ　）を止める。

ＥｖｅｎｔＱｕｅｕｅ　ＥＱＵ　Ｓ１４Ａ一事象待ち行
列のヘッダ，マツキントツシュの事象待ち行列の（ｆｆ
置。

〔１０バイト〕 タイム●グローバルズ（　Ｔｉｍｅ　ＧＩＯｔ）ａｌｓ
　）Ｔｉｃｋｓ　ＥＱＵ　Ｓ　１　６Ａ一時間カウント
．ブート（１）ＯＯｔ）　　からの時間。ボイス●コン
トロールの動作の間の時間経過を計測丁るのに用いられ
る。

カーソル●グローバルズ（　Ｃｕｒｓｏｒ　Ｇｌｏｂａ
ｌｓ　）ＣｒｓｒＣｏｕｐｌｅ　ＥＱＵ　Ｓ８ＣＦ−　
カーソルはマウスに結合しているか？　＠Ｉ，ＭＳ　Ｅ
　および＠ｃＭｓｇ　Ｋより遠隔人カχ行っているとき
，カーソル聖切り離丁のに用いられろ。

ｃｒｓｒ　Ｎｅｗ　ｇｑｕ　ＳＦ３ＣＦ．一　カー：／
ル｝［ｆｌ゛たか？カーソルを動かした後，新しいカー
ソルと丁る。〔バイト〕 メニュー●クローバ”Ｘ　（Ｍｅｎｕ　Ｇｌ°ｂａｌｓ
）ＭｅｎｕＬｉｓｔ　ＥＱＵ　ＳＡＩ　−現在のｍｅｎ
ｕ　Ｂａｒのリスト構造。この処理は一つのアプリケー
ションに関係丁る全てのメニュ馨見つげるのに参照され
うる。

ウインドウ●グローバルズ（　Ｗｉｎｄｏｗ　ｅｌｏｏ
ａｌｓ）ＷｉｎｄＯＷ　Ｌｉｓｔ　ＥＱＵ　Ｓ９Ｄ６　
−　　０次結合されたウインドウのリスト。このポイン
ターは一つのアプリケーションのための全ての存在丁る
ウインドウの連鎖へ導く。全ての局部命令のためのウイ
ンドウの待ち行列を見つげるのに用いる。

ウインドウーオフセット（　Ｗｉｎｄｏｗ　Ｏｆｆｓｅ
　ｔｓ　）これらの値はウインドウの特性を記述するウ
インドウの記録の中のオフセットである。１つのウイン
ドウが開かれると，これらのオフセットは計算するのに
用いられる。

ｔｈｅ　Ｐｏｒｔ　ＥＱＵ　Ｏ−ＧｒａｆＰｔｒ　；　
＠ＬＭＳＥおよび＠ＭｏｖＬ命令のための局部座標。

ｐｏｒｔＲｅｃｔ　ＥＱＵ　ＳＩＯ−　ボートのレクタ
ング／ｌ／　（　ｒｅｃｔａｎｇｌｅ　）　（　ｒｅｃ
ｔ　）　；　　関連ウインドウは＠ＭＯＶＬ命令を形或
する。

ｃｏｎｔｒｏｌ　Ｌｉｓｔ　ＥＱＵ　１　４０　−　ｉ
つのウインドウに関連する制御を見つげるのに用いられ
る。

００ｎｔｒｌ　Ｔｉｔｌｅ　ｇＱｔＪ　４０−　　ｅｃ
ＴａＬノ命令のための制御タイトル（　Ｔｉｔｌｅ）　
’ｌ比較するのに用いられる。

ＣＯｎｔｌ　Ｒｅｃｔ　ＥＱＵ　８　−　　１つの制御
中のクリックの位置を計算するのに用いられる。

ｎｅｘｔ　ＷｉｎｄＯＷ　ＥＱＵ　１４４−　　＠ＮＥ
ｘＴ命令のための次のウインドウを置くのに用いられる
。

【図面の簡単な説明】

第１図１ま音声ナビゲータ音声制御インターフエイス装
置により使用されるマツキントヅシェコンピュータの吸
能ブロック図、 第２Ａ図は第１図の音声ナビゲータインターフエイスの
使用のためワードリストを作戒するための言語作或の機
能ブロック図， 第２Ｂ図は音声ナビゲータインタフェイスで使用される
音声ファイルとワードリストのフォーマットを示す図， 第６図は音声ナビゲータ装置の組織ブロック図，第４図
は言語作戊メインイベントループのフロー図、 第５図はエディット実行モジ瓢一ルのフロー図，第６図
はアクション記録モジュールのフロー図，第７図はモー
ダル実行モジュールのフロー図，第８囚はイン・ボタン
？モジュールのフロー図、第９図はイベント・ハンドラ
・モジュールのフロー図、 第１０図はドウ・マイ・メニュー・モジュールのフロー
図、 第１１Ａから１ＩＩ図は言語作或メニュー・サブルーチ
ンのフロー図， 第１２図はプロダクション書込みモジュールの７ロー図
， 第１６図はターミナル書込みサブモジュールのフロー図
２ 第１４図は音声制御メイン・ドライバ・ループのフロー
図． 第１５図はインプット・モジュール・プロセスのフロー
図， 第１６図は認識サブモジュールのフロー図，第１７図は
音声制御命令ルーチン・処理のフロー図， 第１８図は処理Ｑモジュールのフロー図，第１９図はネ
ヴクスト●サプモジネールのフロー図． 第２０図は命令ハンドラの図． 第２１Ａ図から第２１Ｇ図は命令ハンドラのフロー図， 第２２図はボスト●マウス●ルーテンのフロー図， 第２′５図はセット・マウス●ダウン・ルーテンのフロ
ー図， 第２４図及び２５図は音声制御のスクリーン表示を例示
する図、 第２６図ないし第２９図は言語メーカのスクリーン表示
を例示する図、及び 第５０図は言語ファイルのリストを示す図である。 １００・・・コンピュータ、　１０２・・・音声ナビゲ
ータ音声制御コンピュータ，　１１２・・・音声ナビゲ
ータホックス，　１２０・・・音声認識ソフトウェア，
１２６・・・テキスト・バッファ、　　１２８・・・音
声ｉｌ１御ドライバ　　１３０・・・音声制御解読器，
１３２・・・マツキントッシュオペレーティングシステ
ム，　　１４０・・・言語作或器。 Ｘ面の浄書（内容に変更なし〉 ２ウ２百フ節 醋萄２６０ ＦＩＧ．　４ ＦＩＧ．　５ 「ＩＣ Ｇ ＦＩＧ．　７ ＦＩＧ．　８ ＦＩＧ．　１０ ＦＩＧ．ｌｌＡ ４７２ Ｅ＝■≧２４２ ＦＩＧ．　１３ ＦＩＧ．　１４ ＦＩＧ．　１５ ＦＩＧ．　１８ ＦＩＧ．　２１Ｃ 衆／ 争ｒｏｏｔ ＤＡ　　ＨＡＮＤＬＥ！２； ＮＥＷ　＝　ｎｅｗ　（　ｓｙｍｂｏｌｄｒａｗｉｎｇ
　）； ＦＩＬＥ一十＋ｌｅ Ｍｌ″Ｖ／ ｏｐｅｎ）； Ｉ−ＤＩτ１ｔ’ｄｉｔ （　ｃｕｔ， Ｃｏｐｙ ｐａｓｔｅ　＞； ＤＡ　ＨＡＮＤＬＥＲ　Ｒ（　ＪＩＬＩ”，−εＤＩＴ
）； ｛ｉ１ｅ． ｎｅｗ； ５ｙｍｏｏ　； ｄ　ｒ＆　Ｗｉ　ｎ　９　＋ ｏｐｅｎ ｅａｉｔ： ｃｕｔＨ ｃｏｐｙ二 ｐａ５ｔｅ ＦＩＧ．　３０ 平成 ２年特許願第１６６５３７号 ２．発明の名称 音声制御コンピュータ・インターフェース３，補正をす
る者 事件との関係

Claims (1)

1. 【特許請求の範囲】 １、操作されることによってコンピュータの表示装置上
   のカーソルの動きを制御し、表示装置上のカーソルの位
   置に関連づけられた所望のアクションを指示するタイプ
   のポインティングデバイスの機能を音声に代用させる装
   置であってポインティングデバイスからの制御信号に応
   答してコンピューターのオペレーティングシステムがカ
   ーソルを動かし所望のアクションを支援し、更にコンピ
   ューターが英数字キーボードを有し、オペレーティング
   システムがキーボードによって特定される所定のフォー
   マットに従ってキーボードからの制御信号に別途応答す
   る装置において、 発声された音声を認識する音声認識手段と、発声された
   音声をキーボードによって特定される所定のフォーマッ
   トで表わされる制御信号にいったん変換することなくオ
   ペレーティングシステムによって支援される所望のアク
   ションを直接生成する制御信号に変換する解読手段と、
   を含む装置。 ２、発声された音声をあらかじめ定められたコマンド言
   語で表現され、コンピューターのオペレーティングシス
   テムによって使用されるコマンドに変換する方法におい
   て、 発声されたある種の音声は前記オペレーティングシステ
   ムがとるアクションに対応するコマンドに変換し、 発声された別の種の音声は前記オペレーティングシステ
   ムの下で実行されるアプリケーシヨンプログラムにおい
   て処理されるテキストの一部として使用される関連テキ
   ストストリングを運ぶコマンドに変換する方法。 ３、発声された音声からコマンドへの変換を支援するた
   めのテーブルを生成する方法であって、前記コマンドは
   コンピュータのオペレーティングシステムの制御に使用
   されて、オペレーティングシステムの下で実行され、メ
   ニューとコントロールボタンを含むアプリケーションプ
   ログラムにおいて所望のアクションを達成する方法にお
   いて、前記アプリケーシヨンプログラムの命令シーケン
   スを構文解析してメニューのエントリーとコントロール
   ボタンを識別し、 前記テーブル内に前記アプリケーションプログラムでみ
   つけられるメニューのエントリーとコントロールボタン
   毎にエントリーを含ませ、それぞれのエントリーに前記
   メニューのエントリー又は、コントロールボタンに対応
   する制御コマンドを含ませる方法。 ４、ユーザーが厳密に定義された構文を有する正式言語
   でインスタンスを生成できるようにした方法において、 自然言語で表現され、前記構文に一致しないエントリー
   のリストをグラフィック表示し、ユーザーに前記リスト
   の中からエントリーを指示させ、 前記指示に応答して前記リストの特定されたエントリー
   に対応するインスタンスを自動的に生成する方法。