JP3363283B2 - 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置におけ
る、複数の入力手段を同時に使用した入力の管理方法、
およびそれを用いた入力信号解析装置に関する。

【０００２】

【従来の技術】従来より、システムの操作を行なう場合
には、周知のグラフィカルユーザインタフェース（ＧＵ
Ｉ）技術に加え、自然言語インタフェースや音声入力イ
ンタフェース技術が知られている。例えば、自然言語イ
ンタフェースに関する技術には、谷らによる「自然言語
インタフェース構築キット：ＩＦ−Ｋｉｔ」（電子情報
通信学会技術報告，ＮＬＣ−９１−６２，Ｖｏｌ．９
１，Ｎｏ．５３４，ｐｐ．２５−３２（１９９２））に
おいて、「入力された日本語文の解析結果である概念依
存構造から検索言語ＳＱＬを生成する。」と記されてい
る。また、音声入力インタフェースに関する技術には、
山本らによる「メニューに基づく音声自然言語入力シス
テム」（第４７回情報処理学会全国大会講演論文集，３
−１６７）において、「メニューには自立語だけを表示
し、ユーザはこの自立語を自由に活用させ、さらに任意
の付属語系列を接続した文節単位での入力を音声で行
う」と記されている。

【０００３】

【発明が解決しようとする課題】従来技術では、あるシ
ステムを操作するために、単一の入力系統から操作指示
命令が入力されている。例えば、従来の自然言語インタ
フェースでは、「Ａ地区のホテルの電話番号を教えて下
さい。」と入力すると、対応するデータベースシステム
の命令が生成されるが、この際、入力の解析は、キーボ
ードなどの単一のインタフェースからの入力信号につい
て行われる。すなわち、従来の自然言語インタフェース
はＧＵＩとシステム上共存しているが、両インタフェー
スからの入力信号を同一機会に受け付け、両方の入力信
号を考慮して解析しているわけではない。また、従来の
音声入力インタフェースにおいても、メニュー選択形式
のＧＵＩと、音声入力インタフェースとを切り換えて、
いずれかからの入力のみを受け付け、解析するのであっ
て、両インタフェースからの入力信号を同一機会に受け
付け、その両方を考慮して解析してはいない。

【０００４】そこで、本発明は、複数の入力手段から入
力された信号である入力情報をまとめて、入力内容を特
定する入力方法および入力情報管理方法と、それらの方
法を用いた入力装置と、該入力装置を備える情報処理シ
ステムとを提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、入力情報に該入力情報の入力時刻を付
し、複数の上記入力情報のうち、該入力情報の上記入力
時刻が近いものをまとめることにより、入力内容を特定
する入力方法が提供される。

【０００６】さらに、本発明では、複数の入力手段を介
して受け付けた複数の入力情報の管理方法であって、入
力情報の入力時刻を認識するステップと、該入力情報
を、あらかじめ定められた解析最小単位になるように分
割または併合して認識結果とするステップと、認識結果
の入力時刻を、入力手段に応じてあらかじめ定められた
推定方法により推定するステップと、複数の入力情報の
うち、その入力情報の入力時刻が近いものをまとめて、
意味解析単位として管理するステップとを有する入力情
報の管理方法が提供される。

【０００７】なお、入力手段のうちの少なくとも一部
が、入力情報とともに該入力情報の入力時刻を上記認識
結果選択部に通知する手段を備える場合は、入力時刻を
認識する手段は、入力時刻が通知されれば、その通知さ
れたものを入力時刻と認識し、通知されなければ、入力
情報の通知を受け付けた時刻を入力時刻として認識する
ようにしてもよい。また、入力手段に入力時刻を通知す
る手段がなければ、入力時刻を認識する手段は、入力情
報の通知を受け付けた時刻を、該入力情報の入力時刻と
して認識することが望ましい。

【０００８】また、上記入力時刻の推定は、例えば、分
割または併合のもととなった入力情報の入力時刻と、あ
らかじめ定められた推定入力速度とを基にして行うこと
ができる。あるいは、該推定方法として、入力操作に関
する情報、入力信号の強弱に関する情報、前記制御手段
に関する情報、および、前記制御対象機器に関する情報
の内、少なくとも一つ以上の情報から、入力時刻を推定
する方法を用いてもよい。

【０００９】上記複数の入力手段としては、例えば、音
声入力装置、タッチパネル、キーボード、マウス、視線
認識装置、および図形認識装置などを用いることができ
る。また、自然言語による入力を受け付けるようにして
もよい。自然言語による入力情報については、自然言語
の時間的属性に基づいて、入力時刻を推定することがで
きる。ここで、自然言語の時間的属性には、該自然言語
の入力操作に関する情報、文字列に関する情報、音声に
関する情報、形態素に関する情報、構文に関する情報、
前記制御手段に関する情報、または、前記制御対象機器
に関する情報などがある。また、自然言語による入力情
報の解析最小単位は、入力情報の段落、文、文節、単
語、形態素、および、音素のいずれかに基づいて決定す
ることができる。

【００１０】さらに、本発明では、これらの方法を用い
た入力装置および情報処理システムが提供される。

【００１１】

【作用】本発明では、記憶装置内に格納された認識結果
から適切な組合せの認識結果を取り出すべく、入力を行
なった時点の時間情報を付与して認識結果を格納してお
き、認識結果を取り出す際に、認識結果を入力した入力
装置に関する情報だけでなく、各認識結果の時間情報を
も考慮して（例えば、入力時刻の近いものを一纏めにし
て）取り出す。これにより、入力時刻や入力装置に必ず
しも束縛されない指示情報が認識結果を単位として、意
味解析の前に一時的に記憶装置に蓄えられる。従って、
この記憶装置から認識結果を選択的に纏め直してから意
味解析を行なうことが可能である。複数の入力装置から
非同期的に操作指示をユーザが入力しても、それらの複
数の操作指示の相互作用的な機能や相補的な機能を意味
解析することが可能である。

【００１２】本発明による入力装置を利用するユーザ
は、複数のインタフェースを具備する入力装置または情
報処理システムに対して、それらのインタフェースを用
い、ユーザの自由意思で、時間的な排他的選択性を意識
せずに、非同期に（いわば思い付いたままに）操作指示
を与えることが可能になる。特に、日常的に使用してい
る自然言語（英語、日本語など）や、マウスやアイコン
を利用したＧＵＩを同時に用いて入力を行う場合、それ
らを組み合わせつつ、自然なタイミングで入力を行うこ
とができ、例えばそれが操作指示であれば、形式言語
（計算機向けに決められた特別な形式のコマンド）に不
慣れなユーザであっても自由に制御対象機器を動作させ
ることができる。

【００１３】以上のように、本発明によれば、ユーザが
複数のインタフェースを同時に（あるいは別個に）利用
したとしても、そこから入力された操作指示の内容を組
み合わせて解析し、その入力された内容を特定すること
ができるという顕著な効果を得ることができる。

【００１４】

【実施例】以下、本実施例を図面を用いて詳細に説明す
る。本実施例は、本発明を、音声認識装置とタッチパネ
ルとキーボードとディスプレイとデータベースシステム
とを備える情報処理システムにおける、出力やデータベ
ースの検索／更新などの操作指示の入力に適用した場合
のものである。本実施例においては、ディスプレイやデ
ータベースシステムを制御対象機器と呼ぶ。

【００１５】本実施例を適用しない場合は、データベー
スシステムから何らかのデータを取り出す手段として、
音声入力、タッチパネル入力、および、キーボード入力
などの入力手段を介して入力された入力信号は、それぞ
れ別個に扱われ、受け付けられる情報の種類に応じて、
いずれの入力手段を介してその入力を受け付けるかがあ
らかじめ定められている。従って、ユーザは、データや
命令を入力するために、入力を行う入力手段を、所定の
手順で順次切り替えなければならない。また、自動的に
入力手段を切り替えるようにプログラムされたシステム
の場合、ユーザは、自動的に行われる入力手段の切り替
えに応じて、意図的に入力方法（音声や手の動作など）
を変更しなければならない。

【００１６】本実施例において、ユーザからの操作指示
とは、音声による自然言語文によって表される指示や、
タッチパネル上のあらかじめ定められた領域に対する接
触によって表わされる指示のことである。例えば、「こ
れを詳細に」と音声で発声しながら、タッチパネル上の
ある位置（例えば、Ｘ座標が１２で、Ｙ座標が２３の位
置）に指で接触するといった入力などが、この操作指示
に含まれる。

【００１７】Ａ．情報処理システムの構成 （１）ハードウエア構成 図２に、本実施例の情報処理システム１２０のハードウ
ェア構成を示す。本実施例の情報処理システム１２０
は、プロセッサ１４と、それに接続する主記憶装置９、
音声認識装置１６、タッチパネル１７、キーボード１
８、ディスプレイ１９およびデータベースシステム１３
と、音声認識装置１６に接続された音声入力装置１５と
を備える。本発明の、主記憶装置９およびプロセッサ１
４のハードウェアは、主記憶装置９に保持されたインス
トラクションを実行できる情報処理装置であれば、大型
の計算機に限らず、ワークステーション、パーソナルコ
ンピュータ、パーソナルデジタルアシスタント（ＰＤ
Ａ）と呼ばれるものであっても良い。

【００１８】各装置９，１３〜１９間の接続は、信号線
により実現される。信号線は有線であると無線であると
を問わないが、本実施例では、各装置は、通信用モデム
および通信回線を介して接続されている。通信用モデム
や通信回線、あるいはそれらを使用する上で必要な通信
規約（プロトコル）については、周知の技術を用いれば
良いので、本明細書においては詳細な説明を省く。

【００１９】データベースシステム１３は、情報処理装
置であり、独自に主記憶装置１３２と中央演算処理装置
（ＣＰＵ）１３１と外部記憶装置１３３とを備える。外
部記憶装置１３３にはデータベースが保持されており、
主記憶装置１３２にあらかじめ保持されたインストラク
ションをＣＰＵ１３１が実行することにより、外部記憶
装置１３３に保持されたデータベースを管理するデータ
ベース管理システムが実現される。なお、データベース
システム１３の外部記憶装置１３３にデータベースを保
持する代わりに、プロセッサ１４と直接接続した外部記
憶装置を設け、ここにデータベースを保持してもよい。
さらに、データベース管理システムの全部または一部に
代えて、主記憶装置９に保持されたデータベース管理用
のプログラムをプロセッサ１４が実行するようにしても
よい。

【００２０】また、音声入力装置１５と音声認識装置１
６とが組み合わされて一装置となっていても構わない。
音声入力装置１５として、本実施例ではマイクロホンを
用いているが、電話端末の受話器など、他の装置を用い
てもよい。さらに、音声認識装置１６の全部または一部
に代えて、主記憶装置９に保持された音声認識用のプロ
グラムをプロセッサ１４が実行するようにしてもよい。

【００２１】本実施例では、入力機器として、音声入力
装置１５、タッチパネル１７、キーボード１８を用いて
いるが、文字認識装置、マウス、自然言語フロントエン
ドプロセッサなど、他の入力機器を用いても良い。

【００２２】また、本実施例における制御対象機器は、
ディスプレイ１９およびデータベースシステム１３であ
るが、この他に、ＶＴＲ（ビデオテープレコーダ）、音
声合成装置、意志決定支援システム、エキスパートシス
テム、オペレーティングシステム、スケジュール管理シ
ステム、アドレス管理システム、ゲームシステム、ナビ
ゲーションシステムなどを接続して、制御対象としても
良い。

【００２３】主記憶装置９は、記憶装置であり、操作指
示の解析に係るインストラクション群である処理プログ
ラムの記憶領域３１と、処理プログラムの実行に際して
使用される一時的記憶領域であるワークエリア３２と、
指示情報テーブル１０と、制御情報テーブル１１とを備
える。

【００２４】プロセッサ１４は、主記憶装置９の処理プ
ログラム記憶領域３１に保持されたインストラクション
を解釈、実行する演算処理装置である。なお、本実施例
のプロセッサ１４は、タイムシェアリングにより複数の
タスクを並行して実行することができる。

【００２５】（２）機能構成 図１に、本実施例における情報処理システム１２０の機
能ブロック図を示す。本実施例の情報処理システム１２
０は、図１に示すように、入力手段群１２１と、出力手
段１２２と、情報処理手段１２３と、データベースシス
テム１３とを備える。情報処理手段１２３は、認識結果
選択部４と、意味解析部５と、コマンド生成部６と、指
示情報テーブル１０と、制御情報テーブル１１と、ワー
クエリア３２と、アプリケーションソフトウエア実行手
段（図示せず）とを備える。

【００２６】ａ．入力手段 入力手段群１２１は、入力を受け付けて、その結果と入
力を受け付けた時刻（以下、タイムスタンプと呼ぶ）と
を認識結果選択部４に出力する、複数の入力手段からな
り、音声認識部１と、タッチパネル部２と、キーボード
部３とを備える。

【００２７】音声認識部１は、音声入力装置１５と音声
認識装置１６とにより実現される。音声入力装置１５
は、マイクロホンを介して音声の入力を受け付けて音声
認識装置１６に通知し、音声認識装置１６は、通知され
た音声の信号を記号列に変換し、その結果と、その入力
のタイムスタンプとを認識結果選択部４に出力する。

【００２８】タッチパネル部２は、タッチパネル１７
と、該タッチパネル１７への接触の始点、終点、軌跡情
報を抽出し、その結果と、その入力のタイムスタンプと
を認識結果選択部４に出力する接触信号処理部（図示せ
ず）とにより実現される。接触信号処理部は、処理プロ
グラム記憶領域３１に保持されたインストラクションを
プロセッサ１４が実行することにより実現される。

【００２９】キーボード部３は、キーボード１８と、該
キーボード１８のキーが押下されたことを検出し、その
結果と、その入力のタイムスタンプとを認識結果選択部
４に出力する押下信号処理部（図示せず）とにより実現
される。押下信号処理部は、処理プログラム記憶領域３
１に保持されたインストラクションをプロセッサ１４が
実行することにより実現される。

【００３０】なお、入力を検出した時刻を正確に認識す
る機能のない入力手段を使用する場合、各認識結果を出
力する時刻や、認識結果選択部４が該認識結果を受け取
った時刻で、このタイムスタンプを代用するようにする
こともできる。また、認識結果毎のタイムスタンプが得
られない場合、ある認識結果の集合を一纏まりとして一
つの時刻で代表するようにしてもよい。これらのような
場合、認識結果選択部４でタイムスタンプを補正するこ
とが望ましい。この補正の方法については後述する。

【００３１】入力手段は、入力を受け付け、その内容を
出力する手段を備えていれば、本実施例に用いることが
できる。すなわち、音声認識装置、タッチパネル、キー
ボードは、市販の製品をそのまま、あるいは、それらを
多少改良した装置を使用して差し支えない。従って、こ
こでは、これらの入力および認識装置それ自体の詳細な
メカニズムの説明は省略する。本発明は、各入力および
認識装置は、これらを並列的・同時的に利用する場合の
方が、より効果的であるけれども、排他的・選択的に利
用しても差し支えない。

【００３２】ｂ．制御対象 本実施例では、入力手段群１２１を介して受け付けられ
た操作指示に応じて、情報処理手段１２３のコマンド生
成部６が指示（コマンド）を発行し、制御対象機器であ
るディスプレイ１９および／またはデータベースシステ
ム１３を操作する。

【００３３】出力手段１２２は、コマンド生成部６から
の表示命令によってディスプレイ上に表示を行なう表示
部７を備える。表示部７は、ディスプレイ１９と、該デ
ィスプレイ１９に、コマンド生成部６から表示を指示さ
れた情報を出力する画像表示部（図示せず）とにより実
現される。画像表示部は、処理プログラム記憶領域３１
に保持されたインストラクションをプロセッサ１４が実
行することにより実現される。なお、画像表示部が表示
命令に従ってディスプレイ１９に表示を行なう処理は周
知の技術を用いることで足りるため、ここでは説明しな
い。また、出力手段１２２に、プリンタなど、他の手段
を備えてもよい。

【００３４】データベースシステム１３は、データベー
ス管理システム部８と、データベース１２とを備える。
上述のように、データベース１２はデータベースシステ
ム１３の外部記憶装置１３３に備えられた記憶領域であ
る。また、データベース管理システム８は、データベー
スシステム１３の主記憶装置１３２にあらかじめ保持さ
れたインストラクションをＣＰＵ１３１が実行すること
により実現される。データベース管理システム１３は、
コマンド生成部６からの指示に応じて、データベース１
２に保持されたデータを更新／検索する。なお、データ
ベース１２のデータ構造、および、データベース管理シ
ステム１３の処理は、いずれも周知の技術を用いること
で足りるため、ここでは説明しない。

【００３５】ｃ．情報処理手段１２３ 情報処理手段１２３の認識結果選択部４と意味解析部５
とコマンド生成部６とアプリケーションソフトウエア実
行手段（図示せず）とは、処理プログラム記憶領域３１
に保持されたインストラクションをプロセッサ１４が実
行することにより実現される。

【００３６】本実施例では、認識結果選択部４、意味解
析部５、コマンド生成部６、およびアプリケーションソ
フトウエア実行手段が、それぞれ、タイムシェアリング
可能なプロセッサ１４によるインストラクションの実行
により実現される。そこで、各部４〜６およびアプリケ
ーションソフトウエア実行手段を、それぞれ独立したプ
ログラムにより実現してもよく、また、マルチプロセス
（マルチタスキング）の手法を用いて、情報処理手段１
２３全体を一つのプログラムの実行により実現し、各部
４〜６を、そのプログラムに含まれるプロセスとして実
現してもよい。

【００３７】また、本実施例では、同一のプロセッサ１
４により各部４〜６のインストラクションが実行される
が、計算機を複数備える分散システムとし、各部４〜６
をそれぞれ異なる計算機により実現してもよい。この場
合、計算機間の接続は、記憶媒体を介して機能的に接続
したものであってもよい。

【００３８】指示情報テーブル１０、制御情報テーブル
１１、およびワークエリア３２は、主記憶装置９に備え
られた記憶領域である。ワークエリア３２、指示情報テ
ーブル１０や制御情報テーブル１１は記憶・読み出しで
きれば、同一の記憶装置に備えられていなくてもよく、
複数の記憶装置を設け、これらの記憶領域を分散しても
よい。

【００３９】認識結果選択部４は、入力手段群１２１か
ら通知された認識結果とタイムスタンプとのペア（以
下、認識情報と呼ぶ）を管理し、それらの情報やユーザ
からの選択に基づいて、該ペアを幾つかの組（以下で
は、この組のことを意味解析単位とも呼ぶ）に纏め、こ
の組毎に意味解析部５に通知する。各組は、単数または
複数の認識情報（認識結果とタイムスタンプとのペア）
で構成されている。

【００４０】もし、装置を安価にしたり、あるいは、高
速に処理したりする等の目的のために、認識結果選択部
４を有しない構成によって本発明を実施することも考え
られる。複数の認識情報をまとめずに、各認識情報をそ
れぞれ意味解析単位とみなすようにすれば、認識結果選
択部４を省略することができるからである。とはいえ、
並列的・同時的な認識結果を取り扱い、自然言語の処理
等の複雑な解析操作を行うシステムにおいては、認識結
果選択部４を備えることが望ましい。あらかじめ認識情
報をまとめておくことで、意味解析部５の処理の負担を
軽減できるからである。

【００４１】意味解析部５は、認識結果選択部４から通
知された意味解析単位を受け付け、指示情報テーブル１
０に保持された情報に基づいてその意味を解析し、その
結果、制御に係る指示情報である意味解析結果をコマン
ド生成部６に出力する。

【００４２】コマンド生成部６は、意味解析部５から通
知された意味解析結果を受け付け、制御情報テーブル１
１に保持された情報に基づいて、制御対象機器７，１３
を制御する信号を生成し、該制御信号を、表示部７また
はデータベース管理システム部８に出力する。なお、以
下では、説明を分かり易くするために、コマンド生成部
６の出力する制御信号が、文字コードセットからなるシ
ーケンス（以下ではコマンド文字列とも呼ぶ）である場
合について説明するが、そうでない制御信号であっても
同様である。例えば、その制御信号が文字列と１対１対
応（または、１対多対応）で変換可能な制御システムで
あるならば、コマンド生成部６と制御対象機器との間に
信号変換処理を組み込めば良い。

【００４３】指示情報テーブル１０は、意味解析単位と
それに対応する操作指示内容との対応テーブルである。
制御情報テーブル１１は、操作指示内容とコマンド文字
列との対応テーブルである。これらのテーブルの具体例
は後述する。いずれのテーブルも、高機能な意味解析や
コマンド生成を行なう場合は、単純な一段の変換ではな
く、多段階に変換する必要もでてくる場合がある。その
場合、各段階ごとにテーブルを用意しておいても構わな
い。単純な操作指示あるいは制限された操作状況におけ
る操作指示として解析する場合は、本実施例のように、
一段階だけでよい。

【００４４】上記複数の認識結果から計算機内部の操作
対象モデルへ同定したり、認識結果からは明示的には得
られない情報を補填したりするといった高度な意味解析
に相当する機能も、この指示情報テーブル１０を多段階
に利用することと本質的に同等である。例えば、機能連
鎖構造のような意味ネットワークを用いて意味ネットワ
ーク上を波及探索し意味表現を得るアルゴリズムである
場合、波及元のノードとそれに接続するリンクの属性や
条件とを意味解析単位と捉え、また、波及先のノードを
操作指示内容と捉えて、適宜情報を伝播できるように後
述の変数記述や関数記述を用いて指示情報テーブル１０
に記述し、波及先のノードを改めて波及元のノードとし
て捉えて、該指示情報テーブル１０を再度利用すること
で波及探索のアルゴリズムは実現できる。

【００４５】アプリケーションソフトウェア実行手段
は、データの加工を行い、結果を表示部７に出力するた
めのアプリケーションソフトウェア（例えば、グラフ表
示ソフトウエア、表計算ソフトウエア、ワードプロセッ
サ、スプレッドシートなどと呼ばれている種のソフトウ
エア）を実行する手段である。なお、アプリケーション
ソフトウエア実行手段は、表示部７に備えられていても
よい。また、グラフ表示等が不要であれば、アプリケー
ションソフトウエア実行手段は、なくても構わない。

【００４６】Ｂ．データ構造 （１）指示情報テーブル１０ 図３に、本実施例における指示情報テーブル１０の具体
例を模式的に示す。指示情報テーブル１０は、意味解析
単位ごとに、意味解析単位を示す情報があらかじめ保持
されている記憶領域２０と、操作指示内容を示す情報が
保持されている記憶領域２１とを備えるテーブルであ
る。具体的には、意味解析単位記憶領域２０には、認識
結果とタイムスタンプのペアである認識情報のまとまり
（意味解析単位）があらかじめ保持されている。また、
操作指示内容記憶領域２１には、該認識情報に対応する
操作指示機能、操作指示条件、および操作指示対象な
ど、コマンド生成部６で意味解析単位に対応したコマン
ドを作成する際に必要となる項目とその値（または、値
を導くための方法（関数など））が保持されている。操
作指示内容２１における各項目とその値は、一部がなく
てもよいし、複数あってもよい。

【００４７】なお、指示情報テーブル１０を複数回利用
することで、意味解析単位から徐々に操作指示内容へ変
換するようなアルゴリズムの場合、意味解析単位記憶領
域２０および操作指示内容記憶領域２１には、認識結果
やタイムスタンプや操作指示機能などが混在して保持さ
れていても構わない。というのは、指示情報テーブル１
０の目的は、意味解析部５において、意味解析単位から
操作指示内容に変換するための情報を提供することにあ
るからであり、その変換の途中でどのようなデータ形式
をとるか、あるいは、どのような情報や印（マーカ）を
一時的に付与（あるいは伝播）しておくかに応じて、図
３で示したもの以外にもいろいろなバリエーションが考
えられよう。とはいえ、説明を簡略にする都合上、本実
施例では、図３に示すように、指示情報テーブル１０
は、意味解析単位記憶領域２０に保持された意味解析単
位と、これに対応する操作指示内容（同じ行の操作指示
内容記憶領域２１に保持されている）とで構成されてい
るものとして説明する。

【００４８】図３に示した指示情報テーブル１０は、第
１行目の意味解析単位記憶領域２０に、音声認識結果
「これを詳細に」とそのタイムスタンプ「１４時２５分
３３秒」のペア（認識情報）、および、タッチパネル認
識結果「（１２（Ｘ座標），２３（Ｙ座標））」とその
タイムスタンプ「１４時２５分３１秒」のペア（認識情
報）という２つの認識情報からなる意味解析単位を保持
しており、同じ行の操作指示内容記憶領域２１には、こ
れらの認識情報に対応して、操作指示機能「表示」と操
作条件「詳細」と操作対象「WORK_TABLE_2」（「WORK_T
ABLE_2」は識別子名）とからなる操作指示内容が格納さ
れている。これらの対応関係は、予め用意しておくこと
が望ましい。

【００４９】また、記憶される意味解析単位には、具体
的な値（（１２，２３）など）を記述してもよいし、こ
れらの値を自由変数あるいは定義域を持つ変数として記
述したり、これらの変数を用いて意味解析単位２０内の
他のペアの値に対して相対的な制限を付加すべく、式
（例えば、「Ｔ＜Ｓ＋４」）を追加的に記述したり、あ
るいは、該変数を用いて操作指示内容２１側に記述すべ
き値（例えば、「WORK_TABLE_2」）を関数として記述し
ても良い。

【００５０】例えば、意味解析単位２０における「１２
（Ｘ座標）」の代わりに変数Ｘを、「２３（Ｙ座標）」
の代わりに変数Ｙを記述し、操作指示内容２１における
操作対象「WORK_TABLE_2」のかわりに関数table_ID(Ｘ,
Ｙ)（この関数は、変数Ｘと変数Ｙを引数とし、返り値
として（例えば、座標（Ｘ，Ｙ）にある）テーブルの識
別子名を返す関数とする）を記述してもよい。このよう
な場合、指示情報テーブル１０を参照する処理は、指示
情報テーブル１０の各項目への単純な文字列照合以外
に、変数や関数をインタプリトする必要があるけれど
も、その代わり記述すべき指示情報テーブル１０のデー
タ量を大幅に減らすことができる場合がある。この参照
時に、数字や変数や関数などのトークンを区別あるいは
照合（例えば、数値「１２」と変数Ｘとをマッチングす
るなど）し、対応する措置（例えば、変数Ｘに数値「１
２」を割り当てるなど）を講じる技術や、関数記述から
実際の処理プログラムを適用し、その結果の値を返す技
術などは、インタプリタやコンパイラなど周知の技術の
全部または一部を利用することが可能であり、ここでは
説明しない。

【００５１】これらの変数や式や関数を駆使した具体的
な例を、図３の第２レコード（第２行目に保持されたレ
コード）に示す。音声認識結果「これを」とそのタイム
スタンプ「変数Ｓ」のペア、音声認識結果「詳細に」と
そのタイムスタンプ「変数Ｔ（但し、Ｔ＜Ｓ＋４）」、
および、タッチパネル認識結果「（変数Ｘ，変数Ｙ）」
とそのタイムスタンプ「変数Ｕ（但し、｜Ｕ−Ｓ｜＜
２）」のペアという３つの認識情報からなる意味解析単
位が２行目の意味解析単位記憶領域２０保持されてお
り、これに対応して、２行目の操作指示内容記憶領域２
１には、操作指示機能「表示」と操作条件「詳細」と操
作対象「table_ID(Ｘ,Ｙ)」とからなる操作指示内容が
予め格納されている。このように変数や制限式、関数を
使うことで、予め決定しておくことが困難な値あるいは
比較的に厳密なマッチングを必要としない値（例えば、
入力時刻の「１４時２５分３３秒」）であっても、指示
情報テーブル１０に所定の意味解析単位と操作指示内容
を記述しておくことができる。以下では、「マッチン
グ」を、「一致」とも表現することがある。

【００５２】なお、ここでは、変数や関数などの記述の
前に符号（例えば、図３では「＠」）を付与しておき、
明示的に他の記述と区別することで、記述上あるいは処
理上の便宜を図るが、このような符号の付加は不可欠で
はない。

【００５３】（２）制御情報テーブル１１ 図４に、本実施例における制御情報テーブル１１の具体
例を模式的に示す。制御情報テーブル１１は、操作指示
内容ごとに、操作指示内容の記憶領域２２とコマンド文
字列の記憶領域２３とを備えるテーブルである。

【００５４】制御情報テーブル１１の目的は、コマンド
生成部６において操作指示内容からコマンド文字列を変
換するために必要となる情報を提供することにあるの
で、その変換の途中でどのようなデータ形式をとるか、
あるいは、どのような情報や印（マーカ）を一時的に付
与（あるいは伝播）しておくかなどによって、いろいろ
なバリエーションが考えられよう。とはいえ、説明を簡
略にする都合上、本実施例では図４に示すように制御情
報テーブル１１は、操作指示内容記憶領域２２とコマン
ド文字列記憶領域２３とで構成されているものとして説
明する。

【００５５】図３に図示された第１レコード（第１行目
に保持されたレコード）の具体例を説明すると、第１レ
コードの操作指示内容（操作指示内容記憶領域２２に保
持された情報）は、操作指示機能「表示」と操作条件
「詳細」と操作対象「＠Ａ」という記述からなる。これ
に対応して、１行目のコマンド文字列記憶領域２３に
は、「Display -detail ＠Ａ」というコマンド文字列が
保持されている。

【００５６】制御情報テーブル１１における各項目の記
述も、指示情報テーブル１０と同様に変数や関数を含ん
だ記述を用いても構わない。この場合、コマンド文字列
２３のことを、特に「コマンドテンプレート」と呼ぶ。

【００５７】意味解析部５とコマンド生成部６の処理方
式が、それぞれ指示情報テーブル１０および制御情報テ
ーブル１１を参照することによる単純な変換処理である
場合には、指示情報テーブル１０の操作指示内容記憶領
域２１に保持された情報と、制御情報テーブル１１の操
作指示内容記憶領域２２に保持された情報とを同一のも
のとみなして、（同一項目がある場合にはその組合せに
注意して）一つのテーブルにしても良い。しかし、通
常、指示情報テーブル１０では、異なる意味解析単位が
同一の操作指示内容に対応する場合が多いので、記憶資
源の消費という観点からは必ずしも有効ではない。

【００５８】また、説明の都合上、操作指示内容および
操作指示内容の記述は可読な文字列を用いているが、本
実施例の主たる目的では計算機内部で処理することがで
きれば良いので、実装上は、「Ａ００１」のような単な
る識別記号であったり、記憶資源上の所在を示すポイン
タであったりしても良い。

【００５９】Ｃ．処理内容 （１）認識結果選択部４の処理 本実施例の解析システム１２０において、入力手段群が
入力を受け付け、受け付けた入力情報とタイムスタンプ
とを、情報処理手段１２３の認識結果選択部４に通知す
ると、通知を受け付けた認識結果選択部４が起動され
る。図５に、本実施例における認識結果選択部４の処理
の概要を示す。

【００６０】（１−１）ステップ４１ 認識情報の通知を受け付けた認識結果選択部４は、最初
に、各入力手段から出力された認識結果（入力情報）と
タイムスタンプとをペアにして、ワークエリア３２に格
納する（ステップ４１）。なお、もし、各入力手段１〜
３が認識結果を出力する際に、合わせてタイムスタンプ
をも通知する機能を備えていない場合には、認識結果選
択部４が、入力手段からの通知を受理した時刻をタイム
スタンプとして通知された認識結果に付与し、認識情報
のペアを作成しても構わない。

【００６１】複数の入力手段からの通知は、非同期に行
われる。従って、本ステップ４１は、他の処理を実行中
にも随時入力を受け付けることができることが望まし
い。そこで、本実施例では、各入力手段から認識情報が
通知されると、認識結果選択部４に割込み処理が発生す
る。この割込み処理において、認識結果選択部４は、主
記憶装置９にあらかじめ確保された記憶領域であるバッ
ファ領域（図示せず）に、受け付けた認識情報を蓄え
る。本ステップ４１の実行において、認識結果選択部４
は、このバッファ領域に蓄えられた未処理の認識情報を
一つ取り出して処理対象とする。このようにすること
で、本実施例では、複数の入力手段からの通知を随時受
け付け、順次処理することができる。

【００６２】（１−２）ステップ４２ 次に、認識結果選択部４は、ワークエリア３２に保持さ
れた認識情報（認識結果とタイムスタンプとのペア）の
内、認識結果を所定の方法で分割または併合し、元の認
識結果をワークエリア３２から除き、必要があれば分割
により生成した新たな認識結果のタイムスタンプを所定
の推定方法で推定し、新たな認識結果とタイムスタンプ
とを認識情報として改めてワークエリア３２に格納す
る。この処理は、分割可能あるいは併合可能な認識結果
がワークエリア３２内になくなるまで繰り返される（ス
テップ４２）。

【００６３】分割した認識結果とペアにするタイムスタ
ンプは、分割する前の認識情報に含まれていたタイムス
タンプと同一の値でも良いが、分割後の新たな認識結果
を正確に処理するためには、分割前の認識情報のタイム
スタンプと認識結果の態様とに基づいて新たに決定した
値とすることが望ましい。

【００６４】所定の分割・併合方法としては、「認識結
果が自然言語文である場合は、形態素解析と構文解析を
用いて、処理後の認識結果が単文節になるように、分割
または併合する」という方法などを予め用意しておく。
ここで、形態素解析や構文解析の方法には、当業者によ
って周知の日本語解析処理や英語解析処理で用いられて
いる処理を用いて構わない。

【００６５】例えば、「こ」という認識結果と「れを」
という認識結果とがワークエリア３２に保持されている
場合、認識結果選択部４は、上記の分割・併合方法によ
って、「これを」に併合され、併合後の認識情報には、
「こ」と「れを」との両者のタイムスタンプのうち、遅
い方がタイムスタンプとして付される。従って、ワーク
エリア３２から、「こ」という認識結果を含む認識情報
と、「れを」という認識結果を含む認識情報とは削除さ
れ、「これを」という認識結果に「れを」のタイムスタ
ンプが付与された認識情報が、ワークエリア３２に格納
される。

【００６６】また、例えば、認識結果が「これを詳細
に」であれば、この認識結果は、上記の分割・併合方法
によって、「これを」と、「詳細に」とに分割される。
従って、ワークエリア３２から、「これを詳細に」とい
う認識結果を含む認識情報は削除され、「これを」とい
う認識結果に推定されたタイムスタンプを付与された認
識情報と、「詳細に」という認識結果に「これを詳細
に」のタイムスタンプが付与された認識情報とが、ワー
クエリア３２に格納される。

【００６７】この他の分割・併合方法としては、イメー
ジスキャナから一括して入力した文字のイメージデータ
を画像認識装置により１文字づつ分割したり、あるいは
文節に併合したり、音声信号の強弱の変化を利用して発
声の纏まりを作るべく分割または併合したり、キーボー
ドやタッチパネルによる連続的な操作（ダブルクリック
に続く移動操作など）をそれぞれの単位的な操作に分割
したり、連続的に変化する情報については、その変位量
に応じて分割または併合したりする場合などがある。

【００６８】入力装置からの時間的に半順序的な分割方
法に限らず、時間的には同時的な信号を分割してもよ
い。例えば、音声と音（例えば、拍手や、物と物とがぶ
つかる音など）と音楽が同時にマイクロホンから入力さ
れた時、それぞれ別の認識結果として分割（または分
別）したり、テレビカメラを入力装置として用いた場合
に、一つの画像データから人の表情と動作を別々に分割
（または抽出）してもよい。

【００６９】分割後の認識結果に対応するタイムスタン
プを推定する方法は、元のタイムスタンプと、元の認識
結果の態様から得られる情報の内、少なくともいずれか
一方に基づいて推定を行なう。本実施例では、あらかじ
め文字の入力速度を推定しておき、この推定された入力
速度（本実施例では１文字／秒）を基に、分割前の入力
終了時刻（分割前の認識情報のタイムスタンプ）から、
分割により新たに生成された認識結果の入力終了時刻を
推定する方法がある。

【００７０】推定される入力速度を、例えば１文字／秒
とすると、認識結果の１文字が１秒に換算される。この
推定方法を利用する場合を、先程の例の続きで説明する
と、認識結果「これを」に対応するタイムスタンプの値
は、元のタイムスタンプ（今の例では「１４時２５分３
３秒」）と、元に認識結果の態様から得られる情報（例
えば、「詳細に」の文字数が３文字であるなど）とか
ら、元のタイムスタンプの値の３秒前の値、すなわち、
「１４時２５分３０秒」と推定される。

【００７１】この他のタイムスタンプ推定方法として
は、入力手段が音声認識装置やキーボードや手書き文字
入力装置である場合は、それぞれ、元の認識結果を構成
する音素の数量やキータッチ数や筆画数など（あるいは
これらの構成要素を複数利用することによって）に基づ
いて、分割後のタイムスタンプを推定する方法などがあ
るので、これらの方法を用いても良い。

【００７２】認識結果の分割の最小単位は、指示情報テ
ーブル１０の意味解析単位記憶領域２０にあらかじめ保
持されている内容に対応する。本実施例では、自然言語
の文字列や音声は概ね文節を最小単位とし、タッチパネ
ルからの位置情報は、座標（すなわち、Ｘ座標とＹ座標
のペア）を最小単位として説明するが、これ以外の単位
（例えば、発音記号、全角文字列、文、ポインティング
の軌跡など）であっても、同様に本発明の処理が適用で
きることは、以下の詳細な説明および明細書から容易に
類推できるであろう。

【００７３】このようにして、認識結果の各部分のタイ
ムスタンプを推定することによって、複数の入力手段か
らの認識結果が同一の操作対象を指している場合、その
照応同定の精度が向上する。すなわち、今の例では、
「これを」が「１４時２５分３０秒」であるのに対し、
タッチパネルを触った時刻が「１４時２５分３１秒」で
あることに基づいて、「これを」の操作対象が座標（１
２，２３）付近のデータを指示していると考えられる。

【００７４】従来技術では正確な認識が困難な入力の例
として、「これをここに」という入力について考える。
入力結果の分割を行わない場合、「これを」に該当する
情報および「ここに」と、それぞれ他の入力手段から得
られた認識結果との照合を、精度よく行うことは困難で
ある。

【００７５】しかし、本実施例では、入力を受け付けた
認識結果（入力情報）「これをここに」を分割し、分割
されて新たに生成した認識結果である「これを」および
「ここに」に、それぞれ適切に補正されたタイムスタン
プを付すので、これらの認識結果と、「これを」により
指示される情報および「ここに」により指示される情報
として他の入力手段から得られる認識結果との照合を精
度よく行うことができる。

【００７６】本実施例では、上述した認識結果の分割お
よび入力時刻の推定は、各入力手段１〜３のいずれの認
識結果に対しても行われる。例えば、認識結果選択部４
は、タッチパネル部２により受け付けられた認識結果に
ついても、タッチパネル１７への接触の軌跡（例えば、
座標の列（１２，２３），（１３，２５），（１４，２
８）など）に含まれるそれぞれの座標ごとにタイムスタ
ンプを推定し、付与する。これによって、「これを」に
対応する座標、「ここに」に対応する座標を適切に決定
することができるようになる。

【００７７】なお、入力手段から得られた認識結果が順
序性を失うことなく複数のより小さな認識結果に分割可
能な場合は、タイムスタンプの割当てはその順序性を反
映して付与することが望ましい。特に、複数の入力手段
から得られた複数の認識結果をそれぞれ順序性を反映し
て付与することで、認識結果のそれぞれの小さな分割後
の認識結果どうしが対応づけやすくなるからである。複
数の入力データの分割を時刻順に並べた時に、順に対応
する可能性が強いという性質を「非交叉性」と呼ぶ。非
交叉性が効果的に反映する入力例としては、音声で「こ
れとこれ」と入力し、指で座標（１２，２３）を指示し
次に座標（１３，２５）を指示したことで得られる軌跡
を入力した場合、音声の前半の「これ」は後半の「こ
れ」よりもタイムスタンプが早く、座標（１２，２３）
は座標（１３，２５）よりもタイムスタンプが早くなる
ようにタイムスタンプを決定（または補正）することに
よって、それぞれ前半どうし、後半どうしが後の意味解
析部５で同一の対象として処理しやすくなる。

【００７８】（１−３）ステップ４３ 次に、認識結果選択部４は、ワークエリア３２に格納さ
れた認識情報が、所定の判断基準により意味解析単位と
して処理すべきか否か判断する（ステップ４３）。意味
解析単位として処理すべきであると判断すれば、認識結
果選択部４は処理をステップ４４に進め、そうでなけれ
ば、処理をステップ４１へ戻す。

【００７９】この判断基準は、具体的には、ワークエリ
ア３２に所定の量のデータが蓄えられたことや、ある入
力手段からの認識結果が到着した（または、途絶えた）
ことや、入力が途絶えて所定の時間（例えば、実行時間
として５秒）が経過したことや、ある特定のキー（リタ
ーンキーなど）が押下されたこと、あるいは、それらの
組合せ的な事象（イベント）などである。これらを契機
として、認識結果選択部４は、ステップ４４以降の処理
を実行する。

【００８０】プログラムとして実現する場合、このイベ
ントは、ウィンドウシステム等で一般に用いられている
（マウスをクリックする等の）事象駆動信号をそのまま
利用して実装しても構わず、何ら特別なものである必要
はない。なお、ステップ４２は、ステップ４３の後で行
なっても構わない。

【００８１】（１−４）ステップ４４ 次に、認識結果選択部４は、ワークエリア３２に保持さ
れた認識情報を意味解析単位ごとに纏め、この意味解析
単位ごとに、その内容を意味解析部５に出力する（ステ
ップ４４）。

【００８２】なお、この意味解析単位は、ただ１つの認
識情報から構成されても構わない。纏めるための基準と
しては、例えば、各認識情報におけるタイムスタンプが
同一の値あるいは、その差が所定の値（例えば、５秒）
以内であるときに、それらの認識情報を同一の意味解析
単位にする。あるいは、選択すべき組の候補をユーザに
提示し、ユーザからの選択指示に基づいて意味解析単位
にする。あるいは、同一の入力手段から出力されたもの
どうしを同一の意味解析単位にする。あるいは、これら
の選択基準を複合した基準を用いて、意味解析単位とす
る。

【００８３】１つの意味解析単位を出力する毎に、残り
の意味解析単位を無視しても構わない。あるいは、残り
の意味解析単位を再び認識結果とタイムスタンプのペア
に戻してワークエリア３２に格納しなおし、次の意味解
析単位を得るために改めてステップ４１から実行し直し
ても構わない。再び利用する場合、ステップ４２からス
テップ４４を実行中に到着してワークエリア３２に格納
されていた新たな認識結果とタイムスタンプとのペアと
マージしても良く、この場合、ステップ４３における経
過時刻（上記例では５秒）を計るタイマによる割込み
が、他に組み合わすべきペアを受理しない内にステップ
４４へ分岐してしまっても、再度ワークエリア３２に戻
されるので、遅着したペアと意味解析単位を構成するこ
とができるという長所が有る。また、変化したシステム
の状況に応じて、ワークエリア３２内の認識結果を操作
（あるいは変形）しても構わない。

【００８４】（２）意味解析部５の処理 図６に、本実施例における意味解析部５の処理の概要を
示す。ステップ４４において認識結果選択部４が意味解
析単位の情報を通知すると、その通知を受けて意味解析
部５が起動される。

【００８５】（２−１）ステップ５１ 意味解析部５は、最初に、指示情報テーブル１０のレコ
ード（意味解析単位と操作指示内容とからなる）のう
ち、認識結果選択部４から通知された意味解析単位に、
意味解析単位記憶領域２０に保持されている意味解析単
位の全部が一致するもの、一部が一致するもの、また
は、関連するものなど少なくとも１つ以上を選択し、そ
れらのうち、最も優先順位の高いものを決定する（ステ
ップ５１）。一部が一致した場合、不一致であった部分
を一致させるべく、さらに別の意味解析単位を探すこと
を繰返しても良い。

【００８６】ここで、一致処理を行なうアルゴリズム
は、簡易には、意味解析単位の記述が文字列として一致
するか否か検査すれば良い。より複雑な場合として、指
示情報テーブル１０内において変数記述やマクロ記述
（別名記述）や一致範囲記述や関数記述などを行なう場
合、それぞれ記述に応じて適切な知識を予め用意してお
くとともに、ステップ５１の一致を検査する前に（ある
いは、ステップ５１に応じて逐次的に）、変数記述やマ
クロ記述などを解析しておく必要がある。

【００８７】とはいえ、この記述に関する知識や解析
は、周知のインタプリタなどで良く利用されている程度
の機能を有するもので構わない。例えば、変数記述「＠
Ｘ」に対して「１２」という数字が一致することができ
たり、マクロ記述「＠近称」に対して「これを」という
文字列が一致することができたり、一致範囲記述「＠２
０〜３０」に対して（その間の数字であるところの）
「２３」という数字が一致することができたり、関数記
述「＠今日」に対して（実際の今日の日付に応じて）
「８月２６日」という文字列が一致することができたり
する。そこで、意味解析部５は、これらの一致を判定で
きさえすれば良い。ここで記号「＠」で始まる記述は、
変数記述やマクロ記述の説明の都合上、区別するために
付与しているが、実際の処理では、別の記号（または、
構文）でも良いし、また、付与しなくとも良い。

【００８８】一致する度合いや関連する度合いとして、
本実施例では、一致または関連の程度に応じて得点付け
することで、意味解析結果の解の候補に対して優先順位
を付ける。なお、複数の解の候補が存在する場合、この
優先順位などに基づいて、外部（ユーザ）に解の正誤を
問いあわせる（確認あるいは、選択を受け付ける）ステ
ップを、本実施例に加えることで、意味解析結果の信頼
性を高めても良い。

【００８９】さらに、意味解析単位記憶領域２０に保持
される記述に、意味解析単位に含まれる認識情報間に介
在する制限に関する記述を追加しても良い。例えば、
「それぞれのタイムスタンプ間が５秒以内である」に相
当する関係式や、「（ある特定の）タイムスタンプの値
の近さ」に応じて一致する度合いの得点が変わるファジ
ィ関数のような制限を記述し、これを利用して、一致す
るか否か、どの程度一致するかを判定して良い。

【００９０】（２−２）ステップ５２ 次に、ステップ５２において、ステップ５１で決定され
た最も優先順位の高いレコードの操作指示内容記憶領域
２１に保持された操作指示内容を、コマンド生成部６に
出力する。

【００９１】なお、本実施例では、意味解析単位記憶領
域２０に保持された情報に変数記述が使われているとき
は、操作指示内容記憶領域２１内で変数の値を参照する
ことができる。例えば、座標の認識結果に関し、指示情
報テーブル１０の各レコードのうちに、意味解析単位記
憶領域２０に変数「＠Ｘ」と変数「＠Ｙ」とを含むもの
があり、変数「＠Ｘ」が「１２」、変数「＠Ｙ」が「２
３」に一致していたときには、操作指示内容の通知は、
該変数を参照する記述「＠Ｘ」を値「１２」として、
「＠Ｙ」を「２３」として行われる。さらに、関数記述
と併用することで、「＠表示物（＠Ｘ，＠Ｙ）」は「＠
表示物（１２，２３）」として扱われる。また、本実施
例では、予め別に定義しておいた関数（今の例では、
「＠表示物」）を呼びだすことにより操作指示内容の構
成要素の具体的データ（処理対象が第１レコードであっ
て、関数「＠表示物」が呼び出された場合は、操作指示
対象「WORK_TABLE_2」）を得ることができる。ステップ
５１の時と同様に、このような変数や関数の扱いも周知
のインタプリタで用いられているのと同様の技術で容易
に実現可能である。

【００９２】（３）コマンド生成部６の処理 図７に、本実施例におけるコマンド生成部６の処理の概
要を示す。ステップ５２において意味解析部５が操作指
示内容の情報を通知すると、その通知を受けてコマンド
生成部６が起動される。

【００９３】（３−１）ステップ６１ コマンド生成部６は、最初に、制御情報テーブル１１に
格納されたレコードのうちから、意味解析部５から出力
された操作指示内容に、操作指示内容記憶領域２２に保
持された情報の全部が一致するもの、または、一部が一
致するもの、または、関連するものなど少なくとも１つ
以上を選択し、それらのうち、最も優先順位の高いレコ
ードを決定する（ステップ６１）。

【００９４】（３−２）ステップ６２ 次に、コマンド生成部６は、ステップ６１で決定された
レコードのコマンド文字列記憶領域２３に保持された情
報を、表示部７またはデータベースシステム部８に出力
する（ステップ６２）。出力の宛先は、出力するコマン
ド文字列の内容に応じて決定される。

【００９５】なお、ステップ６１やステップ６２で行な
われる一致判定に関する方法や、変数記述等の取り扱い
方法は、参照先のテーブルが制御情報テーブル１１であ
るということ以外は、それぞれ、ステップ５１とステッ
プ５２と同様の方法で構わない。特に、本実施例におい
ては、参照先のテーブルを別に指定することによって、
処理上全く同一のルーチンを利用して構わない。

【００９６】Ｄ．機器構成の具体例 本実施例のシステム１２０の機器構成を、さらに具体的
なデータに基づいて詳細に説明する。

【００９７】本実施例では、プロセッサ１４および主記
憶装置９として、ワークステーションを用いる。データ
ベースシステム１３はワークステーション上に実現され
たリレーショナルデータベースシステムを用いる。

【００９８】タッチパネル１７は、ユーザの手などによ
るパネルへの接触（あるいは接触するくらいの接近）に
よって、該接触位置を検出する装置である。透明の静電
容量方式のパネルをディスプレイの表面に据え付けるこ
とにより、ポインティングを主たる目的として用い、パ
ネルからの信号を検出するコントローラをＲＳ−２３２
Ｃを介してワークステーションと接続して用いる。な
お、ＲＳ−２３２Ｃは米国電子工業会（ＥＩＡ）が定め
たコンピュータのインタフェース規格である。キーボー
ド１８やディスプレイ１９は周知のものを使用すれば良
く、特に説明を必要としないであろう。音声入力装置１
５はマイクロホンを用いて、音声認識装置１６へ音声信
号を入力する。音声認識装置１６は、音声に基づく信号
に対応して所定の信号を出力する装置である。

【００９９】上記装置１５〜１９は、所定の機能を具備
すれば良く、他の製品でも代替可能である。例えば、性
能と生産コストの都合から、音声認識装置からイントネ
ーションの解析機能を取り除いた装置であっても本発明
を実施することはできる。

【０１００】また、本実施例では、入力手段として音声
認識装置１６やタッチパネル１７やキーボード１８を用
いて説明するが、これらのすべての装置が必要というわ
けではなく、幾つかの入力手段を備えていれば、本発明
を実施できる。また、同じ理由により、入力手段とし
て、文字認識装置、マウス、データグローブ、データス
ーツによって、自然言語文やデータの入力を行なって
も、本発明を実施することができる。このように実施で
きることは、以下の明細によって明らかになるであろ
う。

【０１０１】さらに、本実施例では、出力手段として、
ディスプレイ１９やデータベースシステム１３を用いて
説明するが、これらのすべての装置が必要という分けで
はなく、幾つかの出力手段を備えていれば、本発明を実
施できる。また、同じ理由により、出力手段として、音
声合成装置やエキスパートシステムや意志決定支援シス
テムやエアコンや電子レンジのように制御信号に基づい
て制御されている装置を出力手段とすることもできる。
このように、他の出力手段を用いても本発明を実施でき
ることは、以下の明細によって明らかになるであろう。

【０１０２】なお、表示部７は、出力装置としてのディ
スプレイの他に、文字やグラフや表を出力するために必
要となる処理を備え、ハードウェア、または、ソフトウ
ェア（例えば、グラフ表示システム、表計算ソフト、ワ
ードプロセッサ、スプレッドシートなどと呼ばれるアプ
リケーションソフトウェア）を用いて実現する。ここで
は、説明の都合上、表示を目的としたコマンドに相当す
る操作指示命令を表示部７に命令することで適当な表示
が行なえると仮定しておく。

【０１０３】同様に、データベースシステム１３につい
ても、検索を目的としたコマンドに相当する操作指示命
令をデータベースシステム１３に命令することでデータ
を検索し、検索結果を取得することができると仮定して
おく。

【０１０４】このように、表示部７やデータベースシス
テム１３は、通常の機能を備えていれば、どのようなも
のでも構わず、市販されているものを用いてもよい。ま
た、コマンドに相当する操作指示命令を備えていない表
示部７やデータベースシステム１３であっても、それぞ
れ表示機能、検索機能に相当する１対１の制御体系が存
在すれば、本発明を実施することは可能であることは以
下の説明から容易に理解されるであろう。

【０１０５】Ｅ．処理の具体例 つぎに、本実施例のシステム１２０における操作指示解
析処理の流れを、具体例を用いて詳細に説明する。な
お、ここでは、「これを詳細に」という音声入力と、
「これ」の内容の指示であるタッチパネル上の座標の入
力とを伴う、表示内容の詳細化の指示を、操作指示の具
体例として用いる。

【０１０６】（１）入力の受け付け 初めに、音声認識部１では、マイクロホンを介して、音
声による「これを詳細に」という入力が受け付けられ
る。音声の入力にはマイクロホンを用いずに、電話受話
器を用いても良い。

【０１０７】次に、該音声認識部１は、入力された音声
を基に、音声認識し、対応する記号列に変換する。例え
ば、音声の音素やアクセントやイントネーションのマッ
チングを音声認識装置が行ない、対応する自然言語文字
列「これを詳細に」を出力する。

【０１０８】音声認識装置は、音声に対して１対１対応
の記号列を出力すれば良く、「コレヲショウサイニ」や
「ｋｏｒｅｗｏｓｙｏｕｓａｎｉ」や「ａｂｃｄｅ
ｆ．．．」であっても構わないし、さらにこの出力をワ
ープロで使われているかな漢字変換処理を施した結果で
ある「これを詳細に」であっても構わない。従って、音
声認識装置は、市販されているような周知の装置を使っ
て構わない。とはいえ、機能的に同質な装置であれば、
すなわち、複数の異なる音声波形に応じて、異なる記号
列を出力する装置であれば、本発明を実施するのに十分
であることは明らかであろう。

【０１０９】ここでは、以下の処理の説明上かな漢字混
じり文「これを詳細に」を出力すると仮定する。しか
し、認識結果選択部４や意味解析部５で必要とする情報
を含む態様のデータであれば、かな漢字混じりの自然言
語文でなくてもよい。例えば、指示情報テーブル１０の
意味解析単位２０とマッチング可能な記号列であればど
のような文字列であっても構わない。

【０１１０】また、音声認識装置は、記憶領域（バッフ
ァ）に情報を蓄えることができるので、ユーザが一音ず
つまたは一単語ずつ区切って発声した入力であっても上
記記号列を出力することができる。記憶領域（バッフ
ァ）については、当業者においては周知の技術であるの
で、詳細な説明は要しないであろう。

【０１１１】さらに、また、音声認識装置は入力に応じ
て一単語ごとに対応する記号列を出力しても構わない。
音声入力装置と音声認識装置は物理的に組み合わされた
ものでも構わない。広く普及しているマイクロホンを使
用する場合には、音声認識装置を別装置として提供した
方が望ましい。この場合、各マイクロホンごとに音声認
識装置を接続しても良いし、以下の処理を実行する計算
機に接続する形態をとっても構わない。

【０１１２】また、音声認識装置は、本実施例のよう
に、マイクロホンからの音声の入力に応じた時刻、例え
ば、一連の入力が完了した時刻に対応するデータを出力
できることが望ましい。ここでは、音声認識装置から、
「１４時２５分３３秒」と出力されると仮定する。タイ
ムスタンプは、入力が完了した時刻である代わりに、入
力を開始した時刻でも良いし、所定の取決めによって決
定される時刻で良いが、説明上、以下では、入力が完了
した時刻の場合を説明する。タイムスタンプが、入力を
完了した時刻でない場合も、それぞれ同様の処理、ある
いは、多少の改良の処理で対応できることは本実施例の
後の説明から明らかになる。

【０１１３】このタイムスタンプは、本実施例の装置が
内部で利用するためのものであり、この例のように可読
な文字列である必要は必ずしもない。従って、計算機内
部で独自にクロックをカウントしたようなものでも構わ
ない。利用の状況によっては年や月や日付やミリ秒やマ
イクロ秒を含む時刻であっても構わないし、逆に時や分
や秒を含んでいなくとも良い。

【０１１４】音声認識装置が時刻に関するデータを出力
しない場合は、音声に対応するデータ（今の例では「こ
れを詳細に」）を受け取ったワークステーションの処理
プログラムの方で、受け取り時刻を付与する。シングル
クロックで動作しているワークステーションであれば、
このクロックを利用することにより一元的な計時を実現
できるので、複数の入力手段が管理すべき時計の同期を
合わせる必要がなくなり、処理が容易になるという長所
がある。音声認識装置など各入力装置とワークステーシ
ョンが通信回線等を介して遠隔地で利用される場合、ユ
ーザからの各入力データがワークステーションへの到着
時刻がずれるような利用環境では、各入力および認識装
置（例えば、音声認識装置）が各認識結果（例えば、音
声認識結果）に対してタイムスタンプを付与することが
望ましい。なお、音声認識装置の一部が、ワークステー
ション上のプログラムとして処理されていても構わな
い。

【０１１５】ユーザは、ディスプレイに備え付けられた
タッチパネル１７を、（通常、指によって）触ることに
より、座標を入力する。これに応じて、タッチパネル部
２は、接触を検出した箇所のＸ座標およびＹ座標を検出
し、この座標データおよび接触時刻「１４時２５分３１
秒」を出力する。なお、ここでは、接触された箇所は、
Ｘ座標が１２、Ｙ座標が２３（以下では、これを簡略し
て（１２，２３）と表記する）であり、その接触時刻は
「１４時２５分３１秒」であったものとして、説明を進
める。

【０１１６】タイムスタンプを取り扱うにあたり、取り
扱い方やシステム構成には先程の音声認識の場合と同様
に幾つかのバリエーションがあるが、これらの取り扱い
方やシステム構成は類推が容易なので、これ以上の説明
は要しないであろう。

【０１１７】これまでに説明してきた音声と指による入
力は、どちらか一方が他方より先行して入力しなければ
ならないという制約はない。本実施例では、これらの２
つ様式（モーダル、または、モダリティとも呼ばれる）
による入力は、非同期的かつ随時的に受け付けられ、同
一時刻に入力されても構わない。

【０１１８】また、それらの入力から認識結果を得る処
理は、それぞれ別のプロセッサを用いて処理してもよ
い。しかし、プロセッサの処理速度は、通常十分に速い
ので、本実施例のように、単一のプロセッサによるマル
チタスク（あるいはマルチプロセス）処理により複数の
モーダルの入力データを処理することもできる。なお、
これらの入力データを、単一のプロセッサにより認識結
果選択部４の処理を実現するためには、割込み処理や排
他処理により、（少なくとも、見かけ上）単一のバッフ
ァリングを行なう必要がある。

【０１１９】本実施例における、２つの様式による入力
操作の外観を、図８に示す。図８に示した例では、ディ
スプレイ１９の表示画面には、アプリケーションソフト
ウェア実行手段によりグラフ表示システムが実行された
結果として、図形２５が表示されている。本実施例で
は、ディスプレイ１９の表示画面の表面に、タッチパネ
ル１７が備え付けられている。タッチパネル１７は透明
であるから、ディスプレイ１９に表示された画像は、タ
ッチパネル１７を透過して外部から視認される。

【０１２０】タッチパネル１７を介しての入力は、この
タッチパネル１７上の任意の点への接触を検出すること
によって受け付けられる。図８に示した例では、タッチ
パネル１７上の点８１（Ｘ座標が１２、Ｙ座標が２３の
位置）が、指８２によって接触されている。これによ
り、点８１の座標（Ｘ座標が１２、Ｙ座標が２３）の入
力が受け付けられたことになる。なお、本実施例では、
この座標は、ディスプレイ１９上に表示された図形２５
のある領域８３にあらかじめ定義された情報を意味す
る。

【０１２１】また、「これを詳細に」という音声が発せ
られると、この音声をマイクロホン１５が検知すること
により、音声の入力も受け付けられる。本実施例では、
この音声による入力と、タッチパネル１７への接触によ
る入力とが同時に行われても、支障なく受け付けられ
る。

【０１２２】ここでは、タッチパネル１７への接触は１
４時２５分３１秒に行われ、「これを詳細に」という音
声入力は１４時２５分３３秒に終了したものとして説明
しているが、この場合、音声認識部１は、「これを詳細
に」という認識結果と「１４時２５分３３秒」というタ
イムスタンプとを、認識情報として認識結果選択部４へ
通知し、タッチパネル部２は、「座標（１２、２３）」
という認識結果と「１４時２５分３１秒」というタイム
スタンプとを、認識情報として認識結果選択部４へ通知
する。

【０１２３】（２）認識結果の選択 認識情報の通知を受け付けた認識結果選択部４は、以上
のようにして入力された２つの様式による認識結果とタ
イムスタンプとのペア（認識情報）を、ワークエリア３
２に格納する（ステップ４１）。このときのワークエリ
アの状態を、図９に模式的に示す。図９に示したよう
に、ワークエリア３２には、認識結果の格納領域２６と
タイムスタンプの格納領域２７とが、入力を受け付けた
認識情報のレコード数分確保され、第１のレコードの認
識結果格納領域２６には「これを詳細に」が、タイムス
タンプ格納領域２７には「１４時２５分３３秒」が、第
２のレコードの認識結果格納領域２６には（１２，２
３）が、タイムスタンプ格納領域２７には「１４時２５
分３１秒」が、それぞれ格納される。

【０１２４】ステップ４２では、認識結果選択部４は、
まず、ワークエリア３２内の認識結果２６に着目し、こ
れがより小さな認識結果に分割可能であるか否かを調べ
る。本実施例では、分割方法として「文節分割」を用い
る。認識結果選択部４は、音声認識の結果である自然言
語文「これを詳細に」に対して形態素解析および構文解
析を行い、小さな文節に分割可能であること、すなわ
ち、認識結果「これを詳細に」は、「これを」と「詳細
に」とに文節分割できることを検出する。

【０１２５】つぎに、認識結果選択部４は、分割によっ
て生じた新たな認識結果のタイムスタンプを推定する。
本実施例では、推定方法として「１文字を１秒として換
算するという推定方法」を用いる。認識結果選択部４
は、認識結果「これを」に対応するタイムスタンプの値
を、元の認識結果「これを詳細に」のタイムスタンプ
（入力終了時刻）である「１４時２５分３３秒」から、
「詳細に」の文字数３文字に相当する時間（３秒間）を
減じて得られる時刻、すなわち、元のタイムスタンプの
値の３秒前である「１４時２５分３０秒」と推定する。
また、認識結果センタ部４は、分割によって生じたもう
一つの認識結果「詳細に」のタイムスタンプは、元の認
識結果のタイムスタンプと同一の「１４時２５分３３
秒」とする。

【０１２６】なお、「文節分割」によって３つ以上に分
割されるような場合でも同様に、順に後方の文節からタ
イムスタンプを決定して行くことができる。また、先程
説明したような、上記以外の分割方法や推定方法を一つ
あるいは複数利用する場合についても、ほぼ同様にし
て、認識結果を分割したり、タイムスタンプを推定した
りすることができることは類推可能であろう。

【０１２７】このようにして認識結果を分割し、さら
に、該認識結果のタイムスタンプを推定すると、認識結
果選択部４は、分割した元の認識情報をワークエリア３
２から削除し、図１０に示すように、分割により増加し
たレコードの分の領域２６，２７を確保して、分割によ
り新たに生成した認識情報のレコードをワークエリア３
２に格納する。

【０１２８】ステップ４１〜４２の処理中（先の通知か
ら５秒以内）に、他の入力についての認識情報が通知さ
れた場合には、認識結果選択部４は、ステップ４３にお
いて、所定の判断基準（本実施例では、５秒以上ユーザ
からの入力がないこと）により、同一意味解析単位とし
て処理すべき認識情報がさらに入力されたものと判断し
て、処理をステップ４１に戻す。

【０１２９】しかし、ここでは、上述した２つの認識結
果以外の入力は行われない場合を例にしているので、先
の通知から５秒以内に新たな通知はない。そこで、認識
結果選択部４は、ステップ４３において、所定の判断基
準（本実施例では、５秒以上ユーザからの入力がないこ
と）により、同一意味解析単位として処理すべき認識情
報はすべて解析したものと判断して、ステップ４４に処
理を進める。

【０１３０】ステップ４３の判断基準としては、入力デ
ータの中にある特定の概念や記号が含まれていることを
理由にステップ４４へ処理を進めるようにしてもよい。
例えば、入力データに「動詞の命令形」が含まれていた
り、音声による入力で語尾が上がっていたり、キーボー
ドからの入力では「。」のキーが押下されたり、リター
ンキーが押下されたりした場合、あるいは、これらを併
用して本ステップの判断基準として設定しても構わな
い。

【０１３１】次に、認識結果選択部４は、ステップ４４
において、タイムスタンプが近い（今の例では、５秒以
内の）認識情報をまとめて意味解析単位として、意味解
析部５へ出力して、処理を終了する。従って、ここで
は、ワークエリア３２に保持された３つの認識情報（図
１０に図示）が、一つの意味解析単位として意味解析部
５へ出力される。

【０１３２】（３）操作指示内容の検出 通知を受けた意味解析部５は、認識結果選択部４の出力
した意味解析単位と、予め用意された指示情報テーブル
１０内の意味解析単位２０とを照合し、一致するレコー
ドを検出する（ステップ５１）。

【０１３３】今、指示情報テーブル１０が、図３に示す
具体的データを保持しているとすると、通知された意味
解析単位は、指示情報テーブル１０の第２レコード（２
行目の領域に保持されたレコード）と一致する。すなわ
ち、認識結果「これを」に対するタイムスタンプ「１４
時２５分３０秒」が「変数Ｓ」に一致（この一致の仕方
は、通常、ユニフィーケーションとも呼ばれている（以
下同様））し、認識結果「詳細に」に対するタイムスタ
ンプ「１４時２５分３３秒」が「変数Ｔ」に一致すると
共に、変数Ｓと変数Ｔの間の関係式「Ｔ＜Ｓ＋４」を満
たし、さらに、タッチパネルからの認識結果として「１
２」が「変数Ｘ」に「２３」が「変数Ｙ」に一致し、該
認識結果に対するタイムスタンプ「１４時２５分３１
秒」が「変数Ｕ」に一致すると共に、変数Ｓと変数Ｕの
間の関係式「｜Ｕ−Ｓ｜＜２」を満たしている。従っ
て、意味解析部５は、通知された意味解析単位と一致す
るものとして、第２レコードを検出する。なお、一致す
る対象は、複数のレコードであってもよいが、その場合
は何らかの方法（例えば、ユーザに選択させる等）で、
この時点あるいはこれ以降の時点で一つに絞ることが望
ましい。そこで、本実施例では、意味解析部５は、複数
のレコードが検出された場合には、一致の度合い等によ
り定められる優先順位に従って、最も高い優先順位を有
するレコードを、つぎのステップ５２の処理対象とす
る。

【０１３４】次に、意味解析部５は、ステップ５１で一
致を検出したレコードの操作指示内容記憶領域２１に保
持されているデータを、コマンド生成部６に出力する
（ステップ５２）。

【０１３５】今の例では、第２レコードの操作指示内容
記憶領域２１には、操作指示機能として「表示」が、操
作指示条件として「詳細」が、操作対象として「＠tabl
eID(＠Ｘ，＠Ｙ)」が、それぞれ保持されている。操作
対象は関数記述してあるが、ステップ５１において、変
数Ｘおよび変数Ｙが、それぞれ、１２、２３であったの
で、この関数は「＠tableID(12,23)」と等価である。さ
らに、予め関数tableIDは、引数の座標に対応して、そ
こにあるテーブルの識別子名を返す関数として用意され
ている。そこで、結果的に操作対象として例えば「WORK
_TABLE_2」を得ることができる。従って、意味解析部５
が実際にコマンド生成部６に通知する操作指示内容は、
操作指示機能が「表示」であり、操作指示条件が「詳
細」であり、操作対象が「WORK_TABLE_2」である。

【０１３６】なお、このような変数参照や関数適用は、
本実施例のようにステップ５２の中で行なっても良い
し、さもなくば、ステップ５２では記号列のまま出力し
後述のコマンド生成部６の中で行なっても良い。

【０１３７】（４）コマンドの生成 操作指示内容の通知を受けたコマンド生成部６は、意味
解析部５で出力された操作指示機能と、予め用意された
制御情報テーブル１１内の操作指示内容２２とを照合
し、一致するものを取り出す（ステップ６１）。

【０１３８】今、制御情報テーブル１１が図４に示す具
体的データを保持しているとすると、通知された操作指
示内容は、制御情報テーブル１１の第１レコード（１行
目の領域に保持されたレコード）に一致する。制御情報
テーブル１１内の記述も先程の指示情報テーブルと同様
に変数記述や式記述や関数記述があってもよい。この例
では、操作対象として「WORK_TABLE_2」が「変数Ａ」に
一致する。そこで、コマンド生成部６は、通知された操
作指示内容と一致するものとして、第１レコードを検出
する。なお、ここで用いている具体例では、検出される
レコードは一つであるが、複数のレコードが検出された
場合には、コマンド生成部６は、一致の度合い等により
定められる優先順位に従って、最も高い優先順位を有す
るレコードを、つぎのステップ６２の処理対象とする。

【０１３９】次に、コマンド生成部６は、ステップ６１
で検出した第１レコードの、コマンド文字列記憶領域２
３に保持されたデータを、表示部７またはデータベース
管理システム部８へ出力する（ステップ６２）。

【０１４０】今の例では、出力されるコマンド文字列
は、「Display -detail ＠Ａ」である。変数Ａを参照す
ることで、該コマンド文字列として、結果的に「Displa
y -detail WORK_TABLE_2」を得ることができる。なお、
コマンド文字列は、表示部７またはデータベース管理シ
ステム部８が管理するデータへのコマンドである。説明
の都合上、ここでは、コマンド文字列「Display -detai
l WORK_TABLE_2」は、識別子「WORK_TABLE_2」なるテー
ブルの持つ情報（属性やカラムデータやセルデータな
ど）を表示出力することを指示する、表示部７へのコマ
ンドであるとする。とはいえ、コマンド生成部６は、制
御対象機器を操作するためのコマンドさえ生成できれば
良く、生成されたコマンド文字列の構文的な正しさや実
行可能性を必ずしも保証する必要はない。

【０１４１】今の例では該操作指示内容を表示部７に対
する表示命令として変換したが、対応するコマンド文字
列２３にＳＱＬ(Structured Query Language)などの検
索言語を記述することでデータベース管理システム部８
への検索／更新命令へ変換することもできる。つまり、
「これを詳細に」という音声と座標（１２，２３）の指
示という入力信号に基づく意味解析の結果である操作指
示内容が同一であっても、制御情報テーブル１１に定義
されたコマンド文字列によって、「表示内容を詳細にす
る」命令を出力したり、「詳細な情報を得るべく検索す
る」命令を出力したりすることができる。

【０１４２】なお、これらの対応関係を両方とも制御情
報テーブル１１に用意しておき、別の手段（例えば、ユ
ーザへの問い合わせ）で、より適切な命令を出力しても
構わない。コマンド文字列が実行できるかどうか、どの
システムで実行すべきか、さらなる記号的変形や信号的
変換が必要かどうかを判断し実行するために、コマンド
生成部６による処理と、表示部７やデータベースシステ
ム１３の処理間に、コマンド文字列についての判断、変
形、変換等の処理を挾んでいてもよい。

【０１４３】（５）コマンドの実行 コマンド文字列の通知を受けた表示部７は、通知された
コマンド文字列に従い、図１１に示すようにディスプレ
イ１９の表示画面に表示する画像を変更する。すなわ
ち、今の例では、表示部７が該コマンドを実行した結
果、ディスプレイの表示が変更されて、表示画面上にウ
インド（すでに表示されている画像の上に重ねて表示さ
れる矩形領域）が表示される。該ウインドには、指示さ
れた領域８３にあらかじめ定義されているデータの詳細
な内容があらかじめ保持されているテーブル（図示せ
ず）の内容が表示される。

【０１４４】Ｆ．本実施例の効果 以上のようにして、本実施例によれば、時間的な同時性
を考慮することで、音声による自然言語文と指による位
置の指定とによる複数のインタフェースからの入力信号
が意味する操作指示内容を相補的に補完しつつ解析し、
制御対象機器（ディスプレイやデータベースシステムな
ど）を操作する制御装置が提供される。

【０１４５】ここで、今の例を用いて「相補的な補完」
について説明する。もし音声だけの入力「これを詳細
に」であった場合は、「これ」がどの対象であるかは特
定が困難であるし、もし座標（１２，２３）の指示だけ
の入力であった場合はその座標が何を指しているか（例
えば、表示物なのか、表示物のより小さな構成要素なの
か、あるいは、ディスプレイ自体なのかなど）、あるい
は、その指示対象を如何に処理すべきなのかは特定が困
難である。しかし、本実施例によれば、両入力情報が操
作指示内容として足りない部分を互いに補いあって解釈
される。このように、互いに足りない部分を補うこと
を、「相補的な補完」と呼ぶ。

【０１４６】本実施例では、入力された情報について、
複数のインタフェースからの入力信号から適切に入力時
刻が推定され、推定された時刻を基にして、複数の入力
手段を介してそれぞれ受け付けられた入力情報を相互に
関連付け、その意味する操作指示内容が相補的に補完し
て解釈される。さらに、解釈された操作指示内容に応じ
て、本実施例では、制御対象機器を制御すべくコマンド
文字列が生成される。従って、本実施例によれば、複数
のインタフェースからの入力情報から適切な単一の操作
対象を同定することができる。

【０１４７】また、本実施例の解析装置を利用するユー
ザは、複数のインタフェースを具備する情報処理システ
ムに対して、それらのインタフェースをユーザの自由意
志で、時間的な排他的選択性を意識せずに、非同期に
（あるいは同時的に）、いわば思い付いたままに操作指
示を与えることができる。従って、本実施例によれば、
マウスやキーボードなど複数のインタフェースを決めら
れた手順で切り替えて操作するという煩雑な手続が不要
であり、日常的に使用している自然言語やＧＵＩを組み
合わせて、任意のタイミング（同時を含む）で操作指示
を入力し、制御対象機器を動作させることができる。

【０１４８】さらに、本実施例では、自然言語の解析手
法を用いるため、形式言語（計算機向きに決められた特
別な形式のコマンド）に習熟する必要がなく、また、任
意のタイミングで入力を受け付けるため、入力の手順に
習熟する必要もない。従って、操作に不慣れなユーザで
あっても、自由に制御対象機器を動作させることができ
る。

【０１４９】以上のように、本実施例によれば、単数あ
るいは複数の入力手段からの複数の様式（モード）を同
時に解析し、制御対象機器を動作させることができるイ
ンタフェース（これは、しばしば、マルチモーダルイン
タフェースと呼ばれることもある）を提供することがで
きる。

【０１５０】なお、本実施例では、意味解析結果および
コマンド生成結果に複数の候補がある場合、最も優先順
位の高いものが選択され、出力されるが、認識結果や意
味解析結果やコマンド生成結果を、それぞれユーザに対
しても出力し、ユーザによる選択を受け付けるようにし
てもよい。このようにすれば、ユーザが誤りを早期に発
見したり、補足的な情報を追加指示したりできるからで
ある。

【０１５１】Ｇ．他の構成例 本実施例では、入力手段群１２１を入力機器として説明
したが、入力手段群１２１と認識結果選択部４と、意味
解析部５と、指示情報テーブル１０とを合わせて、一つ
の入力装置とすることもできる。この場合の機能ブロッ
ク図の例を図１６に示す。

【０１５２】図１６に示した構成例では、情報処理シス
テム１５０は入力装置１５１とコマンド処理装置１５２
とを備える。入力装置１５１は、複数の入力手段１〜３
を有する入力手段群１２１と、認識結果選択部４、意味
解析部５、ワークエリア３２、および指示情報テーブル
１０を備える情報処理手段１２３ａとを備え、複数の入
力手段１〜３より入力された情報を分割および／または
併合し、意味解析単位にまとめて出力する装置である。
コマンド処理装置１５２は、コマンド生成部６、制御情
報テーブル１１、および第２のワークエリア３２ｂを有
する処理実行手段１２３ｂと、出力手段１２２と、デー
タベースシステム１３とを備え、意味解析単位にまとめ
られた操作指示を受け付けて、コマンドを生成し、それ
を出力手段７またはデータベースシステム１２に出力し
て実行させる装置である。コマンド処理装置１５２全体
を、情報処理システム１５０の処理実行手段と考えるこ
ともできる。なお、第２のワークエリア３２ｂが、コマ
ンド生成部６の処理のための一時的記憶領域である。

【０１５３】このような構成を採る場合、入力装置１５
１とコマンド処理装置１５２とを、それぞれ独立した情
報処理装置により実現してもよい。この場合のハードウ
エア構成例を図１７に示す。

【０１５４】図１７に示した構成例では、入出力装置１
５１は、主記憶装置９ａとプロセッサ１４ａと、音声入
力装置１５と、音声認識装置１６と、タッチパネル１７
と、キーボード１８とを備える情報処理装置からなる。
情報処理手段１２ａの構成要素のうち、指示情報テーブ
ル１０およびワークエリア３２は、主記憶装置９ａに確
保された記憶領域であり、認識結果選択部４および意味
解析部５は、主記憶装置９ａの処理プログラム記憶領域
３１ａに保持されたインストラクションをプロセッサ１
４ａが実行することにより実現される。

【０１５５】また、コマンド処理装置１５２は、主記憶
装置９ｂとプロセッサ１４ｂと、ディスプレイ１９と、
データベースシステム１３とを備える情報処理装置から
なる。処理実行手段１２３ｂのうち、第２のワークエリ
ア３２ｂおよび制御情報テーブル１１は、主記憶装置９
ｂに確保された記憶領域であり、コマンド生成部６は、
主記憶装置９ｂの処理プログラム記憶領域３１ｂに保持
されたインストラクションをプロセッサ１４ｂが実行す
ることにより実現される。なお、データベースシステム
１３のＣＰＵ１３１と、コマンド処理装置１５２のプロ
セッサ１４ｂは、同一の装置であってもよい。

【０１５６】Ｈ．他の実施例 上述の説明では、タッチパネル１７と音声入力装置１５
とを介して受け付けられた入力を相補的に補完して解釈
する場合を例に用いたが、他の入力手段を用いて入力を
受け付けてもよい。そこで、つぎに他の入力手段を用い
る場合の例を２つ挙げて説明する。

【０１５７】（１）音声認識装置と視線認識装置 本発明の実施例の変形例として、入力手段に音声認識部
１と視線認識部１４１とを用いる場合について説明す
る。この場合のハードウエア構成を図１２に示し、機能
ブロック図を図１３に示す。本実施例では、図１３に示
すように、入力手段群１２１に、さらに視線認識部１４
１を備える。この視線認識部１４１は、図１２に示す視
線認識装置１４２により実現される。なお、以下の説明
では、前の実施例と同様である箇所は、説明を省略して
いる。

【０１５８】ここで、視線認識装置は、ユーザがどこを
注視しているかを検出する装置である。例えば、ユーザ
の眼球に赤外線を当ててその反射から視線を認識した
り、テレビカメラなどを利用してユーザの顔（特に、
目）を撮影し、その画像データから視線を認識したりす
る。本実施例の視線認識装置は、視線の認識結果を時系
列的に（例えば、０．１秒毎に）取得し、その視線の認
識結果（例えば、座標の値や方向ベクトル）毎に、タイ
ムスタンプを付与して、出力する装置である。

【０１５９】ユーザの視線が或る点から別の点に向かっ
て移動した場合、得られる視線認識結果から、軌跡が得
られる。本実施例では、この軌跡上に存在する対象物に
基づいて、連続的に得られる幾つかの視線認識結果を一
つのデータの単位として併合した場合、例えば、併合後
の認識結果（すなわち、該対象物）に対する時間的属性
（タイムスタンプや時間の範囲）を推定し付与する。よ
り具体的には、軌跡と対象物の輪郭との交点におけるタ
イムスタンプを、先の視線認識結果とタイムスタンプの
ペアから補完的に決定すれば良い。

【０１６０】さらに、このような状況において、同時的
にユーザが音声による指示「これとこれとこれを詳細
に。」を入力したと仮定する。これまでに説明した実施
例と同様にして、タイムスタンプに基づいて、それぞれ
の「これ」を対応する「（視線認識結果の軌跡上の或
る）対象物」として解析することができる。従って、こ
の解析結果に基づいて、対応するコマンドシーケンスが
生成可能である。

【０１６１】このようにして、本実施例によれば、認識
装置が連続的な認識結果を出力するような場合であって
も、これらの認識結果を対象物毎に適切に併合し、さら
に、それらの対象物毎の時間的属性を推定し付与し直す
ことで、この認識結果と、他の認識装置からの認識結果
とを相補的に補完して操作指示内容を解析することがで
きる。

【０１６２】（２）音声認識装置と図形認識装置 本発明の実施例のさらなる変形例として、入力手段に音
声認識部１と図形認識部１４３とを用いる場合について
説明する。この場合のハードウエア構成を図１４に示
し、機能ブロック図を図１５に示す。本実施例では、図
１５に示すように、入力手段群１２１に、さらに図形認
識部１４３を備える。この図形認識部１４３は、図１４
に示す図形認識装置１４４により実現される。なお、以
下の説明では、前の実施例と同様である箇所は、説明を
省略している。

【０１６３】ここで、図形認識装置１４４は、手書きお
よび印刷の文字や図形を認識する装置である。例えば、
ユーザの手にしたペン先の動き（特に、ストローク）に
応じて文字や図形を認識したり、テレビカメラやイメー
ジスキャナなどを利用して取得した画像データから所定
の方式で図形および文字を認識したりする。

【０１６４】本実施例の図形認識装置１４４は、ペン型
の小型イメージスキャナのペン先の移動を検出すること
により、該スキャナの移動した軌跡によって定義される
情報を認識する装置である。すなわち、図形認識装置１
４４は、例えば、イメージスキャナをユーザが手に持
ち、任意の図形や文字をイメージスキャナのペン先で描
いたり、あらかじめ用意された図面や書面上の図形や文
字をなぞることにより、その文字や図形またはなぞられ
た領域にあらかじめ定義されたデータを認識する。さら
に、図形認識装置１４４は、その入力のタイムスタンプ
として、該イメージスキャナが読み取りを開始した時
刻、及び、読み取りを終了した時刻を検出し、認識され
た文字とともに出力する。

【０１６５】ここでは、同時的にユーザが音声による指
示「この地図をこの人にメールしろ。」が入力され、さ
らに、「この地図」との音声入力中にイメージスキャナ
を介して地図の指示入力がされ、「この人」との音声入
力中にアドレス帳などに記載された人名がイメージスキ
ャナを介して入力された場合について説明する。

【０１６６】これまでの説明と同様に、認識結果選択部
４は、各入力手段１，１４３からの認識結果のデータを
分割または併合して、適切に時間的属性を推定し付与し
直す。この場合、地図や人名が複数入力されている場合
でも、時間的属性を用いることで、音声入力のタイムス
タンプと比べて、より近い方の人名へ同定することがで
きる。

【０１６７】因みに、地図を入力した際に余計な文字や
図形をイメージスキャナで取り込んだとしても、音声入
力からのデータと連携させることによって、地図の部分
のみを意味解析の対象として扱うことができる。また、
同様にして、アドレス帳のうち人名以外の文字列や罫線
にユーザの興味がないことも音声入力「この人」の意味
解析から認識されるため、イメージスキャナから入力さ
れる雑多な情報についても、適宜要求されている情報を
選択することができ、適切に意味解析できる。

【０１６８】本実施例によれば、上記のようにユーザが
無意識的に余計なデータを必要となるデータと一緒に入
力してしまった場合でも、入力に係る時間的属性、およ
び、他の入力装置からの情報を利用して適切な認識や解
析を行う方法を提供することができる。

【０１６９】

【発明の効果】本発明によれば、ユーザは、複数のイン
タフェースをユーザの自由意志で、時間的な排他的選択
性を意識せずに、非同期に（あるいは同時的に）、いわ
ば思い付いたままに操作指示を与えることが可能にな
る。また、日常的に使用している自然言語やＧＵＩ等を
組み合わせることにより、言語の形式や入力手順に捕ら
われることなく、自由に操作指示を入力することができ
る。このように、複数の入力手段を介して複数の情報が
入力された場合、本発明のシステムは、入力された複数
の操作指示間の関係を適切に考慮して正しく制御対象機
器を動作させることができる。すなわち、本発明によれ
ば、複数の入力手段にまたがり、個々の入力手段を介す
る情報では意味が不完全または不十分な場合であって
も、複数の入力の操作指示内容を互いに補完すべく意味
解析することで、適切に制御対象機器を制御できる。

【０１７０】さらに、本発明によれば、入力および認識
装置により認識結果が一括して処理された場合でも、認
識結果を分割し、分割後のそれぞれの認識結果に対し
て、その態様に基づいて適切な入力時刻を付与（または
補正）することで、他の入力および認識装置からの認識
結果との照合の精度を高めることができる。

【図面の簡単な説明】

【図１】実施例における機能ブロックを表す図である。

【図２】実施例におけるハードウェア構成図である。

【図３】実施例における指示情報テーブルの具体例を示
す模式図である。

【図４】実施例における制御情報テーブルの具体例を示
す模式図である。

【図５】実施例における認識結果選択部の処理の概要を
示すフローチャートである。

【図６】実施例における意味解析部の処理の概要を示す
フローチャートである。

【図７】実施例におけるコマンド生成部の処理の概要を
示すフローチャートである。

【図８】実施例における入力操作の外観を示す説明図で
ある。

【図９】実施例における分割前の認識情報を保持するワ
ークエリアを示す模式図である。

【図１０】実施例における分割後の認識情報を保持する
ワークエリアを示す模式図である。

【図１１】実施例において、操作指示の結果表示される
画面の例を示す説明図である。

【図１２】実施例におけるハードウェア構成図である。

【図１３】実施例における機能ブロックを表す図であ
る。

【図１４】実施例におけるハードウェア構成図である。

【図１５】実施例における機能ブロックを表す図であ
る。

【図１６】実施例における機能ブロックを表す図であ
る。

【図１７】実施例におけるハードウェア構成図である。

【符号の説明】

１…音声認識部、２…タッチパネル部、３…キーボード
部、４…認識結果選択部、５…意味解析部、６…コマン
ド生成部、７…表示部、８…データベース管理システム
部、９…主記憶装置、９ａ…入力装置の主記憶装置、９
ｂ…コマンド処理装置の主記憶装置、１０…指示情報テ
ーブル、１１…制御情報テーブル、１２…データベー
ス、１３…データベースシステム、１４…プロセッサ、
１４ａ…入力装置のプロセッサ、１４ｂ…コマンド処理
装置のプロセッサ、１５…音声入力装置、１６…音声認
識装置、１７…タッチパネル、１８…キーボード、１９
…ディスプレイ、２５…出力された図形、３１，３１
ａ，３１ｂ…処理プログラム記憶領域、３２…ワークエ
リア、３２ｂ…第２のワークエリア、８１…接触点、８
２…指、８３…図形上の領域、１１１…ウインド、１２
０…情報処理システム、１２１…入力手段群、１２２…
出力手段、１２３，１２３ａ…情報処理手段、１２３ｂ
…処理実行手段、１３１…データベースシステムの中央
演算処理装置（ＣＰＵ）、１３２…データベースシステ
ムの主記憶装置、１３３…データベースシステムの外部
記憶装置、１４１…視線認識部、１４２…視線認識装
置、１４３…図形認識部、１４４…図形認識装置、１５
０…情報処理システム、１５１…入力装置、１５２…コ
マンド処理装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小塚 潔 神奈川県横浜市戸塚区戸塚町5030番地 株式会社日立製作所 ソフトウェア開発 本部内 (56)参考文献 特開 平４−318900（ＪＰ，Ａ) 特開 平６−131437（ＪＰ，Ａ) 特開 平６−332660（ＪＰ，Ａ) 特開 平５−108302（ＪＰ，Ａ) 特開 平８−234789（ＪＰ，Ａ) 風間 一洋，マルチエージェントによ る視聴覚統合モデル，マルチエージェン トと協調計算▲ＩＩＩ▼，日本，株式会 社近代科学社，1994年10月20日，初版, ｐ．27〜34 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/16 G06F 3/14 G06F 3/00 G06F 17/28 G10L 15/24

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】外部からの情報の入力を受け付ける入力手
   段を複数備える入力装置において、 上記入力手段を介して受け付けられた入力情報の入力時
   刻を認識する手段と、 上記入力情報を、あらかじめ定められた解析最小単位に
   なるように分割または併合して認識結果とする手段と、 上記認識結果の入力時刻を、入力手段に応じてあらかじ
   め定められた推定方法により推定する手段と、 上記認識結果のうち、上記入力時刻の近いものをまとめ
   て、意味解析単位として出力する手段とを有する認識結
   果選択部とを備え、 上記複数の入力手段のうちの少なくとも一部は、入力情
   報とともに該入力情報の入力時刻を、上記認識結果選択
   部に通知する手段を備え、 上記入力時刻を認識する手段は、 上記入力手段から、入力情報とともに上記入力時刻が通
   知されれば、該時刻を該入力情報の入力時刻として認識
   し、 上記入力手段から、入力情報とともに入力時刻が通知さ
   れなければ、上記入力情報の通知を受け付けた時刻を入
   力時刻として認識することを特徴とする入力装置。
2. 【請求項２】複数の、外部からの情報の入力を受け付け
   る入力手段と、 上記入力手段を介して受け付けられた一以上の入力情報
   をまとめて意味解析単位とする認識結果選択部と、 上記意味解析単位に応じてあらかじめ定められた指示情
   報を出力する意味解析部と、 上記指示情報に応じてあらかじめ定められた処理を実行
   する処理実行手段とを備え、 上記認識結果選択部は、 上記入力手段を介して受け付けられた入力情報の入力時
   刻を認識する手段と、 上記入力情報を、あらかじめ定められた解析最小単位に
   なるように分割または併合して認識結果とする手段と、 上記認識結果の入力時刻を、入力手段に応じてあらかじ
   め定められた推定方法により推定する手段と、 上記認識結果のうち、上記入力時刻の近いものをまとめ
   て、意味解析単位として上記意味解析部に通知する手段
   とを有し、 上記複数の入力手段のうちの少なくとも一部は、入力情
   報とともに該入力情報の入力時刻を、上記認識結果選択
   部に通知する手段を備え、 上記入力時刻を認識する手段は、 上記入力手段から、入力情報とともに上記入力時刻が通
   知されれば、該時刻を該入力情報の入力時刻として認識
   し、 上記入力手段から、入力情報とともに入力時刻が通知さ
   れなければ、上記入力情報の通知を受け付けた時刻を入
   力時刻として認識することを特徴とする情報処理システ
   ム。
3. 【請求項３】複数の入力手段を介して受け付けた複数の
   入力情報の管理方法において、 上記入力情報の入力時刻を認識するステップと、 上記入力情報を、あらかじめ定められた解析最小単位に
   なるように分割または併合して認識結果とするステップ
   と、 上記認識結果の入力時刻を、入力手段に応じてあらかじ
   め定められた推定方法により推定するステップと、 上記認識結果のうち、上記入力時刻の近いものをまとめ
   て、意味解析単位として管理するステップとを有し、 上記複数の入力手段のうちの少なくとも一部は、入力情
   報とともに該入力情報の入力時刻を、上記認識結果選択
   部に通知し、 上記入力時刻を認識するステップは、 上記入力手段から、入力情報とともに上記入力時刻が通
   知されれば、該時刻を該入力情報の入力時刻として認識
   し、 上記入力手段から、入力情報とともに入力時刻が通知さ
   れなければ、上記入力情報の通知を受け付けた時刻を入
   力時刻として認識するステップであることを特徴とする
   入力情報の管理方法。