JPH07122879B2 - マルチモーダル入力解析装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータの入力装
置、特に、マルチモーダルインタフェースを用いたマル
チモーダル入力解析装置に関するものである。

【０００２】

【従来の技術と解決すべき課題】従来、コンピュータの
入力装置は、キーボードとマウスが主流であった。しか
し、近年のマルチメディアの発展に伴って、新しい入力
装置が多く出現するようになってきた。例えば、音声認
識装置、手書き文字認識装置、ライトペン、タブレッ
ト、更にデータグローブ等がある。これらの入力装置を
コンピュータに接続して、利用者がその局面局面におい
て自分にとって最も都合のよい入力装置を使って、自分
の意図をコンピュータに伝えることができれば、非常に
使いやすいインタフェースといえる。このように複数の
異なる入力モードから、利用者（あるいはシステム）が
任意の入力モードを選択し、組み合わせて、自分の意図
をシステム（あるいは利用者）に伝えることができるイ
ンタフェースのことをマルチモーダルインタフェースと
呼ぶ（参考文献“シナージスティックユースオブダイレ
クトマニピュレーションアンドナチュラルランゲー
ジ”，Ｐ．コーエン他、“Ｓｙｎｅｒｇｉｓｔｉｃ Ｕ
ｓｅ ｏｆ Ｄｉｒｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ
ａｎｄ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ”，Ｐ．
Ｃｏｈｅｎ他、Ｐｒｏｃ．ｏｆ ＣＨＩ−８９，１９８
９）。

【０００３】マルチモーダルインタフェース実現のため
には、異なる入力装置から並行して入力されるデータ列
を解析できることが必要である。現時点でマルチモーダ
ルインタフェース技術に近いものとしては、自然言語処
理技術とグラフィカルユーザインタフェース（ＧＵＩ）
技術があるが、それらは、マルチモーダルインタフェー
ス実現のためには、それぞれ問題があった。

【０００４】自然言語処理技術は、１つの入力モードか
らのデータ列を深く解析する技術であると言える。自然
言語処理では、個々のデータは「単語」に相当する。連
続する単語列からそれらの文としての意味を構築するの
が自然言語処理である。しかしながら、従来の自然言語
処理では、１つの入力モードからのデータ列を解析対象
にしていたので、複数の異なる入力データ列の統合的な
解析については、考慮していなかった。それゆえ、従来
の自然言語処理技術をそのまま使ってマルチモーダルイ
ンタフェースを実現することはできなかった。

【０００５】一方、グラフィカルインタフェース技術の
分野では、近年のウィンドウシステム等の発達により、
複数のメニューが同時に画面上に存在して、任意のメニ
ューを選択すると、それに対応する処理をしてくれるよ
うなイベント駆動型のプログラミングが主流になってい
る（参考文献：“オブジェクト指向ＵＩツールキットＩ
ｎｔｅｒｖｉｅｗｓ”，Ｂｉｔ Ｖｏｌ．２３，Ｎｏ．
１１，Ｐ６９−７７，１９９１）。そこでは、利用者か
らの入力は１つの入力が１つの独立したイベントとして
みなされて処理がなされる。異なる入力手段から並行し
て入力が入ってくる状況は、それぞれ独立したイベント
の処理として記述されるので、その定義は簡潔に書ける
ようになっている。ところが、そこでは、入力データ
は、単位独立で入ってくること、および異なる入力モー
ド間に相互依存の関係がないことが前提である。従っ
て、同一の入力モードからの連続した入力データの並び
方に意味があったり、あるいは、異なる入力モードから
の入力データ間に相互依存の意味があったりする場合の
定義の仕方については、簡潔に記述する方法が提供され
ていないという問題があった。

【０００６】本発明の目的は、複数の入力モードから流
れ込むデータ列を解析して、全体として統一した意味表
現を生成するマルチモーダル入力解析装置を提供するこ
とにある。

【０００７】

【課題を解決するための手段】第１の発明のマルチモー
ダル入力解析装置は、異なる複数の入力モードからそれ
ぞれデータ列が流れ込む装置で、データごとに、実際に
入力された入力開始時刻と入力終了時刻の値の組が付加
されている場合において、入力モードごとに、ある意味
カテゴリがそれを構成する定数値または意味カテゴリの
並びで定義されている解析ルールを保持している解析ル
ール群と、前記解析ルールを参照して、前記入力モード
のデータ列を調べ、前記解析ルール群に記述されている
定数値または意味カテゴリの並びと一致する連続したデ
ータ列を見つけると、対応する意味カテゴリを生成して
前記一致したデータ列と置換し、前記生成された意味カ
テゴリの入力開始時刻として、前記一致したデータ列の
先頭のデータの入力開始時刻を割り当て、また、前記生
成された意味カテゴリの入力終了時刻として、前記一致
したデータ列の最後尾のデータの入力終了時刻を割り当
てて、前記生成された意味カテゴリの入力開始時刻と入
力終了時刻の値の組を生成することを、前記データ列に
対して適用可能な解析ルールがなくなるまで繰り返す入
力パーザと、からなることを特徴とする。

【０００８】第２の発明のマルチモーダル入力解析装置
は、第１の発明において、解析ルール中での定数値にど
の入力モードのデータ列から入力するかを指定するよう
に拡張した解析ルールを保持する解析ルール群を参照し
て、複数の入力モードのデータ列を調べ、前記解析ルー
ルに記述されている指定された入力モードの定数値また
は意味カテゴリの並びと一致するデータ列を見つける
と、対応する意味カテゴリを生成して前記一致したデー
タ列を置換し、前記生成された意味カテゴリの入力開始
時刻として、前記複数の入力モードごとに、前記一致し
たデータ列の当該入力モードのデータ中で先頭のデータ
の入力開始時刻を割り当て、また、前記生成された意味
カテゴリの入力終了時刻として、前記一致したデータ列
の当該入力モードのデータ中で最後尾のデータの入力終
了時刻を割り当てて、前記生成された意味カテゴリの入
力開始時刻と入力終了時刻の値の組を前記複数の入力モ
ードの数だけ生成することを、前記複数入力モードのデ
ータ列に対して適用可能な解析ルールがなくなるまで繰
り返す入力パーザと、からなることを特徴とする。

【０００９】第３の発明のマルチモーダル入力解析装置
は、第２の発明において、生成された意味表現の入力開
始時刻および入力終了時刻の値の組を入力モードごとに
生成する代わりに、前記値の組の入力開始時刻の中で、
最も時間的に早い値を前記生成された意味表現の唯一の
入力開始時刻として保持し、また、前記値の組の入力終
了時刻の中で、最も時間的に遅い値を前記生成された意
味表現の唯一の入力終了時刻として保持するように入力
パーザの機能を拡張したことを特徴とする。

【００１０】第４の発明のマルチモーダル入力解析装置
は、第２の発明において、前記解析ルール群の解析ルー
ル中で定数値または意味カテゴリの入力開始時刻と入力
終了時刻を参照できる表現を持ち、前記入力開始時刻お
よび入力終了時刻を参照して前記解析ルール中に時間的
制約条件を記述できることを付加したことを特徴とす
る。

【００１１】

【作用】まず、マルチモーダルインタフェースの簡単な
例を示す。説明を簡単化するため、入力モードとして
は、マウスのようなポインティングデバイスによる入力
モードと音声入力による自然言語入力モードの２つが存
在する。利用者は、自然言語とマウスで、自分の意図を
システムに伝えることができる。例えば、東京の交通シ
ステムの地図がディスプレイに提示されていたとして、
利用者が、 「ここから、そこまで一番早くいく方法は？」（ａ） と言いながら、地図上の２個所、例えば「東京」と「九
段下」をマウスで指示すると、最初の指示点（「東
京」）が「ここ」のことを意味するものと理解し、次の
指示点（「九段下」）が「そこ」のことを意味するもの
と理解して、上の文を 「「東京から、「九段下」まで一番早くいく方法は？」
（ｂ） とキーボードから入力されたときと同一の解釈をするシ
ステムがマルチモーダルインタフェースを持ったシステ
ムである。

【００１２】自然言語処理の分野ではすでに、（ｂ）の
ような文が与えられたら、その意味を解釈する文法記述
の定義方法やその文法によって入力された文を処理する
解析手法（パーザ）についての手法が確立されている。
しかし、（ａ）のようにマウス入力と自然言語入力が混
合されて１つの意味を構築する文法の定義方法について
はまだ確立されていないし、さらにそのような解析手法
については確立した手法がまだ存在していない。本発明
の立場は、従来の自然言語処理技術を拡張して、マルチ
モーダル入力を解析できるようにするというものであ
る。そのために、自然言語処理における文法記述と文法
記述に基づく入力解析方法をマルチモーダル用に拡張し
ている。拡張内容は次の４つである。

【００１３】１．個別の入力データごとに、実際に入力
された入力開始時刻と入力終了時刻の値の組を付加する
ことを前提としたこと。

【００１４】２．文法記述定義中の個々の意味カテゴリ
について、自動的にその入力開始時刻と入力終了時刻の
値の組を計算するようにしたこと。

【００１５】３．入力モードを複数にしたこと。これに
伴って、文法記述定義中の意味カテゴリに特定の入力モ
ードを指定するようにしたこと。また、文法記述定義中
に出現する意味カテゴリについて、自動的にその入力開
始時刻と入力終了時刻の値の組を個別の入力モードごと
に計算するようにしたこと。

【００１６】４．文法記述定義中の個々の意味カテゴリ
について、自動的にその入力開始時刻と入力終了時刻の
値の組を入力モードごとに計算したあと、個別の入力モ
ードごとの入力開始時刻の中で最も早いものを唯一の入
力開始時刻と定め、入力モードごとの入力終了時刻の中
で最も遅いものを唯一の入力終了時刻と定め、それらを
意味カテゴリの唯一の値の組として保持するようにした
こと。

【００１７】これらのうち、第１の本発明は、（１）と
（２）に相当し、第２の本発明は、（３）に相当し、第
３の本発明は、（４）に相当する。また、第４の本発明
は、（１）と（２）、または（３）、または（４）を前
提として、意味カテゴリごとに計算された入力開始時刻
と入力終了時刻を使って、文法記述中に時間的制約条件
を書けるようにしたものである。文法定義中で、異なる
入力モードの意味カテゴリ間で時間的制約を記述できる
ことは、次のようなメリットがある。例えば、 「ある入力モードのある入力データが、別の入力モード
のある入力データより時間的に早く出現しなくてはなら
ない」（ｃ） などという制約関係が書けることになる。同一の入力モ
ードの入力データ同士の場合には、その出現順序が相対
的に、時間的な順序を表現しているので上のような制約
関係が簡単に書けるが、異なる入力手段から生成される
入力データ間には、相対的な順序関係が存在しないの
で、そのような順序関係をつけるための手段を提供して
やる必要がある。以下、上記の４つの拡張について、そ
れぞれ例を使って説明していく。

【００１８】拡張内容（１）に関しては、個別の入力デ
ータごとに、実際に入力された入力開始時刻と入力終了
時刻の値の組を付加するようにした。これは、自然言語
入力の場合は、単語ごとにその入力開始時刻と入力終了
時刻の値の組を付加することである。例えば、 「ここから、そこまで一番早くいく方法は？」（ｄ） の場合なら、「ここ」（開始：ｔ１，終了：ｔ２）、
「から」（開始：ｔ３，終了：ｔ４）、等のように入力
開始時刻と終了時刻を付加するようにする。

【００１９】拡張内容（２）は、拡張内容（１）の情報
を使って、文法記述定義中の、すべての意味カテゴリに
ついて、自動的にその入力開始時刻と入力終了時刻の値
の組を計算するようにすることである。ここで説明に用
いる文法記述の形式は、自然言語処理の分野で著明なＤ
ｅｆｉｎｉｔｅ Ｃｌａｕｓｅ Ｇｒａｍｍａｒ（ＤＣ
Ｇ）（参考文献：“デフィニットクローズグラマーフォ
ーランゲージアナリシス−アサーベイオブザフォーマリ
ズムスアンドコンパリソンウィズオーブメンテッドトラ
ンジションネットワークス”、Ｆ．ペレイラ＆Ｄ．Ｈ．
Ｄ．ワレン、アーティフィシアルインテリジェンス、
“Ｄｅｆｉｎｉｔｅ Ｃｌａｕｓｅ Ｇｒａｍｍａｒ
ｆｏｒ Ｌａｎｇｕａｇｅ Ａｎａｌｙｓｉｓ − Ａ
Ｓｕｒｖｅｙ ｏｆ ｔｈｅ Ｆｏｒｍａｌｉｓｍｓ
ａｎｄ ａ Ｃｏｍｐａｒｉｓｏｎ ｗｉｔｈ Ａｕ
ｇｍｅｎｔｅｄ Ｔｒａｎｓｉｔｉｏｎ Ｎｅｔｗｏｒ
ｋｓ”，Ｆ．Ｐｅｒｅｉｒａ ａｎｄ Ｄ．Ｈ．Ｄ．Ｗ
ａｒｒｅｎ，Ａｔｒｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇ
ｅｎｃｅ，ｖｏｌ．１３，ｎｏ．３，１９８０）であ
る。しかし、本発明は、文法記述形式をＤＣＧに限定す
るものではない。簡単にＤＣＧによる文法記述定義につ
いて説明しておく。 ｎｏｕｎ＿ｐｈｒａｓｅ→［ｔｈｅ］，ａｄｊｅｃｔｉｖｅ，ｎｏｕｎ （ｅ） ａｄｊｅｃｔｉｖｅ→［ｂｌｕｅ］． （ｆ） ｎｏｕｎ→［ａｐｐｌｅ］． （ｇ） 右向き矢印（→）の左辺は、意味カテゴリであり、矢印
（→）の右辺の定数値、または意味カテゴリの並びが入
力データ中に存在すれば、それらは、全体として左辺の
意味カテゴリを意味する。例えば、（ｅ）式は、定数値
（つまり単語）“ｔｈｅ”、意味カテゴリａｄｊｅｃｔ
ｉｖｅ、意味カテゴリｎｏｕｎの並びがあれば、それら
はまとめて、ｎｏｕｎ＿ｐｈｒａｓｅ（名詞句）である
と解釈できることを示している。ここで、“ｔｈｅ”の
ように“［］”で囲まれているのは、意味カテゴリでは
なく定数値を示している。右辺に出現した意味カテゴリ
は、それ自身が左辺に出現する文法記述を見ると、その
意味カテゴリの定義が見つかる。今、入力文として、
“ｔｈｅ ｂｌｕｅ ａｐｐｌｅ”が入ってくると、
（ｅ）式がマッチする。まず、入力の先頭の“ｔｈｅ”
と（ｅ）式の右辺の先頭の“ｔｈｅ”がマッチし、次
に、入力の“ｂｌｕｅ”と意味カテゴリａｄｊｅｃｔｉ
ｖｅの比較がされる。意味カテゴリａｄｊｅｃｔｉｖｅ
の定義は、（ｆ）式を参照すると“ｂｌｕｅ”と等価で
あることがわかり、“ｂｌｕｅ”同士でマッチする。同
様に、（ｇ）式を参照すると“ａｐｐｌｅ”もマッチす
ることで、“ｔｈｅ ｂｌｕｅ ａｐｐｌｅ”全体で、
ｎｏｕｎ＿ｐｈｒａｓｅを構成することが分かる。

【００２０】今、“ｔｈｅ ｂｌｕｅ ａｐｐｌｅ”か
ら生成されたｎｏｕｎ＿ｐｈｒａｓｅの入力開始時刻と
入力終了時刻を計算しようとすると、 ・ｎｏｕｎ＿ｐｈｒａｓｅの入力開始時刻は、対応する
入力データ列の先頭の入力データの入力開始時刻と等し
い。 ・ｎｏｕｎ＿ｐｈｒａｓｅの入力終了時刻は、対応する
入力データ列の最後尾の入力データの入力終了時刻と等
しい。 という処理をすればよい。今、入力文の形態が、ｔｈｅ
（開始：ｔ１，終了：ｔ２）、ｂｌｕｅ（開始：ｔ３，
終了：ｔ４），ａｐｐｌｅ（開始：ｔ５，終了：ｔ６）
であれば、ｎｏｕｎ＿ｐｈｒａｓｅの入力開始時刻は
「ｔ１」となり入力終了時刻は「ｔ６」となる。

【００２１】拡張内容（３）については、文法記述定義
中の右辺の入力定数値と意味カテゴリに、入力モードを
指定するように文法記述力を拡張している。その表記法
は、 入力モード名：［入力定数値］ となる。意味カテゴリについては、従来通り、意味カテ
ゴリだけをそのまま書けば良い。

【００２２】例えば、名詞については、スクリーン上に
「りんご」や「チーズ」などのオブジェクトのアイコン
が描いてあり、キーボードから名前を入力するかわり
に、その上でマウスのボタンを押すと、そのオブジェク
トの名前を入力データとして生成するインタフェースが
あったとすると、上のｎｏｕｎ＿ｐｈｒａｓｅの定義は
以下のように拡張される。 ｎｏｕｎ＿ｐｈｒａｓｅ→ｋｅｙｂｏａｒｄ：［ｔｈ
ｅ］，ａｄｊｅｃｔｉｖｅ，ｎｏｕｎ ａｄｊｅｃｔｉｖｅ→ｋｅｙｂｏａｒｄ：［ｂｌｕ
ｅ］． ｎｏｕｎ→ｋｅｙｂｏａｒｄ：［ａｐｐｌｅ］． ｎｏｕｎ→ｍｏｕｓｅ：［ａｐｐｌｅ］． ここで、ｋｅｙｂｏａｒｄは、キーボード入力モードか
らの入力を意味し、ｍｏｕｓｅは、マウス入力モードか
らの入力を意味する。ｎｏｕｎの定義が２行あるのは、
ｎｏｕｎの定義としては、どちらか一方を適用させれば
良いという論理ＯＲを意味している。この定義によっ
て、“ｔｈｅ ｂｌｕｅ”までキーボードから入力した
後、キーボードから“ａｐｐｌｅ”とタイプしても、
「りんご」のアイコン上でマウスのボタンを押してもｎ
ｏｕｎ＿ｐｈｒａｓｅとして解釈されることになる。こ
のような文法記述定義を提供することで、複数の入力モ
ードからの入力を混合して１つの意味カテゴリを生成す
ることが可能になる。

【００２３】次に、複数の入力モードの入力データを混
合して生成された意味カテゴリの入力開始時刻と入力終
了時刻の計算方法について述べる。ある意味カテゴリの
入力開始時刻と入力終了時刻の値の組は、入力モードの
数だけ生成される。ここでは、入力モードがｋｅｙｂｏ
ａｒｄとｍｏｕｓｅの２つしかないので、２組生成され
る。それらの計算方法は、 ・意味カテゴリのキーボード入力モードの入力開始時刻
は、この意味カテゴリに対応する入力データ列のうち、
キーボード入力によって供給された入力データ中の先頭
の入力データの入力開始時刻と等しい。また、意味カテ
ゴリのマウス入力モードの入力開始時刻は、この意味カ
テゴリに対応する入力データ列のうち、マウス入力によ
って供給された入力データ中の先頭の入力データの入力
開始時刻と等しい。 ・意味カテゴリのキーボード入力モードの入力終了時刻
は、この意味カテゴリに対応する入力データ列のうち、
キーボード入力によって供給された入力データ中の最後
尾の入力データの入力終了時刻と等しい。また、意味カ
テゴリのマウス入力モードの入力終了時刻は、この意味
カテゴリに対応する入力データ列のうち、マウス入力に
よって供給された入力データ中の最後尾の入力データの
入力終了時刻と等しい。である。

【００２４】拡張内容（４）は、（３）で生成された入
力モードの数だけ存在する入力開始時刻と入力終了時刻
の組の中から、最も早い入力開始時刻と最も遅い入力終
了時刻を取り出して、要求に応じて、それらの値を返す
というものである。例えば、文法定義中の表記方法とし
て、

【００２５】

【外１】

【００２６】と書くと、この文法定義が適用されたとき
に、変数Ｔｉｍｅには、ｎｏｕｎ＿ｐｈｒａｓｅの入力
開始時刻と入力終了時刻が代入されることになる。

【００２７】

【実施例】図１に第１の本発明の実施例を示す。１は、
解析ルール群、２は、入力パーザである。図２に、解析
ルール群１中の解析ルールの形式を示す。矢印（→）の
左辺には、意味カテゴリを持ち、右辺の並びが左辺の意
味カテゴリに対応することを示している。解析ルール群
１を参照して、個別データごとに、実際に入力された入
力開始時刻と入力終了時刻の値の組が付加されている入
力データ列を解析するのが、入力パーザ２である。

【００２８】図３は、入力パーザ２の内部の処理動作を
示すフローチャートである。（１）で、実際に入力され
た入力開始時刻と入力終了時刻の値の組が付加されてい
る入力データ列から、１つずつ入力データを受け取る。
次に、（２）で、解析ルール群１を調べて、入力データ
の並びで、解析ルールの右辺にマッチするものがないか
どうか調べる。右辺が［定数値］の場合には、そのまま
パターンマッチをする。意味カテゴリの場合には、その
意味カテゴリが左辺に出現する解析ルールを参照して、
［定数値］に到達するまで、解析ルールの呼び出しを繰
り返す。ここで、もしも入力列の並びと一致する解析ル
ールの右辺が存在しなければ、この処理全体を終了す
る。もしも、一致する解析ルールが存在すれば、（３）
で、その入力列の並びを一致した解析ルールの左辺の意
味カテゴリと置換する。このとき、左辺の意味カテゴリ
の入力開始時刻として、置換される入力列の先頭の入力
データの入力開始時刻を保持する。また、左辺の意味カ
テゴリの入力終了時刻として、置換される入力列の最後
尾の入力データの入力終了時刻を保持する。そして、
（３）で一部分置換された入力列を対象にして、再び
（２）へ戻ることを繰り返す。

【００２９】図４に第２の本発明の実施例を示す。１１
は、解析ルール群、１２は、入力パーザである。図５
に、解析ルール群１中の解析ルールの形式を示す。矢印
（→）の左辺には、意味カテゴリを持ち、右辺の並びが
左辺の意味カテゴリに対応することを示している。右辺
の定数値には、それぞれ、どの入力モードから入力を受
け取るかを指定する入力モード名が明記されている。

【００３０】解析ルール群１１を参照して、個別データ
ごとに、実際に入力された入力開始時刻と入力終了時刻
の値の組が付加されている入力データ列が異なる入力モ
ードごとに複数存在する状況において、それら複数の入
力データ列を解析するのが、入力パーザ１２である。

【００３１】図６は、入力パーザ１２の内部の処理動作
を示すフローチャートである。まず、（１）で実際に入
力された入力開始時刻と入力終了時刻との値の組が付加
されている複数存在する入力データ列から、１つずつ入
力データを受けとる。次に、（２）で、解析ルール群１
１を調べて、任意の入力モードの入力データの並びで、
解析ルールの右辺にマッチするものがないかどうか調べ
る。右辺が入力モード：［定数値］の場合には、指定さ
れた入力モードの入力データと定数値が一致するかどう
かをパターンマッチさせて調べる。意味カテゴリの場合
には、その意味カテゴリが左辺に出現する解析ルールを
参照して、入力モード：［定数値］に到達するまで、解
析ルールの呼び出しを繰り返す。ここで、もしも入力列
の並びと一致する解析ルールの右辺が存在しなければ、
処理を終了する。もしも、一致する解析ルールが存在す
れば、（３）に進み、その入力列の並びを一致した解析
ルールの左辺の意味カテゴリと置換する。このとき、意
味カテゴリの入力開始時刻として、複数の入力モードご
とに、置換される入力列の当該入力モードのデータ中で
先頭のデータの入力開始時刻を保持する。また、意味カ
テゴリの入力終了時刻として、置換される入力列の当該
入力モードのデータ中で最後尾のデータの入力終了時刻
を保持する。（３）で一部分置換された入力列を対象に
して、再び（２）へ戻る。

【００３２】図７に第３の本発明の実施例を示す。第３
の本発明は、第２の本発明の入力パーザ１２の処理を部
分的に変更したものである。従って、図７は、入力パー
ザ１２のフローチャートである。

【００３３】まず、（１）で実際に入力された入力開始
時刻と入力終了時刻の値の組が付加されている複数存在
する入力データ列から、１つずつ入力データを受け取
る。次に、（２）解析ルール群１１を調べて、任意の入
力モードの入力データの並びで、解析ルールの右辺にマ
ッチするものがないかどうか調べる。右辺が入力モー
ド：［定数値］の場合には、指定された入力モードの入
力データと定数値が一致するかどうかをパターンマッチ
させて調べる。意味カテゴリの場合には、その意味カテ
ゴリが左辺に出現する解析ルールを参照して、入力モー
ド；［定数値］に到達するまで、解析ルールの呼び出し
を繰り返す。もしも入力列の並びと一致する解析ルール
の右辺が存在しなければ、処理を終了する。もしも、一
致する解析ルールが存在すれば、（３）へ移り、その入
力列の並びを一致した解析ルールの左辺の意味カテゴリ
と置換する。このとき、意味カテゴリの入力開始時刻と
して、複数の入力モードごとに、置換される入力列の当
該入力モードのデータ中で先頭のデータの入力開始時刻
を保持する。また、意味カテゴリの入力終了時刻とし
て、置換される入力列の当該入力モードのデータ中で最
後尾のデータの入力終了時刻を保持する。この結果、入
力モードの数だけ、この意味カテゴリの入力開始時刻と
入力終了事項の対が生成される。次に、（４）へ行き、
（３）で生成された意味カテゴリの入力開始時刻と入力
終了時刻の対のそれぞれの入力開始時刻を比較して、最
も時間的に早い値を持つ入力開始時刻を選び出す。ま
た、それぞれの入力開始時刻と比較して、最も時間的に
遅い値を持つ入力終了時刻を選び出し、その対を（３）
で生成された意味カテゴリの唯一の入力開始時刻と入力
終了時刻の対として保存する。そして、（４）で一部分
置換された入力列を対象にして、再び（２）へ戻る。

【００３４】図８に、第４の本発明の実施例を示す。２
１は解析ルール群、２２は、入力パーザである。図９
に、解析ルール群２１中の解析ルールの形式を示す。矢
印（→）の左辺には、意味カテゴリを持ち、右辺の並び
が左辺の意味カテゴリに対応することを示している。右
辺の定数値には、どの入力モードから入力を受けとるか
を指定する入力モード名が明記されている。また、右辺
の任意の定数値または意味カテゴリでは、その定数値ま
たは意味カテゴリの入力開始時刻と入力終了時刻を得る
ことができるような記述が提供されている。その記述
は、

【００３５】

【外２】

【００３６】である、「変数名」で指定された変数に入
力開始時刻と入力終了時刻が代入される。もちろん、文
法記述定義者が時間情報を必要と思わないところでは、
変数名を括りつける必要はない。

【００３７】第４の発明は、第１の発明，第２の発明，
第３の発明のそれぞれの入力パーザが、入力データを解
析時に生成していく、意味カテゴリの入力開始時刻およ
び入力終了時刻を文法記述者の要請に応じて、とりだす
ものである。その処理の詳細は、第１，第２，第３の発
明に応じて少しずつ異なるが、それらは容易に１つから
他が類推できる程度の差であるので、本実施例では、第
２の発明を前提として、第４の発明の動作を説明する。

【００３８】図１０は、入力パーザ２２の内部の処理動
作を示すフローチャートである。まず、（１）で実際に
入力された入力開始時刻と入力終了時刻と値の組が付加
されている複数存在する入力データ列から、１つずつ入
力データを受けとる。

【００３９】次に、（２）解析ルール群１１を調べて、
任意の入力モードの入力データの並びで、解析ルールの
右辺にマッチするものがないかどうか調べる。右辺が入
力モード：［定数値］の場合には、指定された入力モー
ドの入力データと定数値が一致するかどうかをパターン
マッチさせて調べる。意味カテゴリの場合には、その意
味カテゴリが左辺に出現する解析ルールを参照して、入
力モード：［定数値］に到達するまで、解析ルールの呼
び出しを繰り返す。

【００４０】もしも入力列の並びと一致する解析ルール
の右辺が存在しなければ、処理を終了する。もしも、一
致する解析ルールが存在すれば、（３）に移って、その
入力列の並びを一致した解析ルールの左辺の意味カテゴ
リと置換する。このとき、意味カテゴリの入力開始時刻
として、複数の入力モードごとに、置換される入力列の
当該入力モードのデータ中で先頭のデータの入力開始時
刻を保持する。また、意味カテゴリの入力終了時刻とし
て、置換される入力列の当該入力モードのデータ中で最
後尾のデータの入力終了時刻を保持する。この結果、入
力モードの数だけ、この意味カテゴリの入力開始時刻と
入力終了時刻の対が保持される。

【００４１】ここで、（３）で入力列の並びとマッチし
た解析ルールの右辺の定数値または意味カテゴリの中
で、入力開始時刻および入力終了時刻を求める変数を括
り付けられているものがあれば、（４）へ移って、その
定数値または意味カテゴリの入力開始時刻および入力終
了時刻を指定された変数に代入する。

【００４２】（３）で一部分置換された入力列を対象に
して、再び（２）へ戻る。

【００４３】

【発明の効果】第１と第４の発明を使うことで、自然言
語文のように個々のデータ並びに意味があるデータ列を
解析するときに、複数のデータの並びに対応する複合意
味表現の入力開始時刻と入力終了時刻を必要な時に取り
出すことができるので、絶対時間または相対時間をデー
タ列解析の制約条件に使うことができるという効果があ
る。

【００４４】第２または第３の発明と第４の発明を使う
ことで、自然言語文のように個々のデータの並びに意味
があるデータ列が複数存在し、かつそれらの間に関係が
ある状況でそれらの入力データ列を解析するときに、複
数のデータの並びに対応する複合意味表現の入力開始時
刻と入力終了時刻を必要な時に取り出すことができるの
で、絶対時間または相対時間をデータ列解析の制約条件
に使うことができるという効果がある。

【図面の簡単な説明】

【図１】第１の発明の実施例を示す図である。

【図２】解析ルールの形式を示す図である。

【図３】入力パーザの処理動作を示すフローチャートで
ある。

【図４】第２の発明の実施例を示す図である。

【図５】解析ルールの形式を示す図である。

【図６】入力パーザの処理動作を示すフローチャートで
ある。

【図７】第３の発明の実施例における入力パーザの処理
動作を示すフローチャートである。

【図８】第４の発明の実施例を示す図である。

【図９】解析ルールの形式を示す図である。

【図１０】入力パーザの処理動作を示すフローチャート
である。

【符号の説明】

１，１１，２１ 解析ルール群 ２，１２，２２ 入力パーザ

Claims (4)

【特許請求の範囲】
1. 【請求項１】異なる複数の入力モードからそれぞれデー
   タ列が流れ込む装置で、データごとに、実際に入力され
   た入力開始時刻と入力終了時刻の値の組が付加されてい
   る場合において、入力モードごとに、ある意味カテゴリ
   がそれを構成する定数値または意味カテゴリの並びで定
   義されている解析ルールを保持している解析ルール群
   と、前記解析ルールを参照して、前記入力モードのデー
   タ列を調べ、前記解析ルール群に記述されている定数値
   または意味カテゴリの並びと一致する連続したデータ列
   を見つけると、対応する意味カテゴリを生成して前記一
   致したデータ列と置換し、前記生成された意味カテゴリ
   の入力開始時刻として、前記一致したデータ列の先頭の
   データの入力開始時刻を割り当て、また、前記生成され
   た意味カテゴリの入力終了時刻として、前記一致したデ
   ータ列の最後尾のデータの入力終了時刻を割り当てて、
   前記生成された意味カテゴリの入力開始時刻と入力終了
   時刻の値の組を生成することを、前記データ列に対して
   適用可能な解析ルールがなくなるまで繰り返す入力パー
   ザと、からなるマルチモーダル入力解析装置。
2. 【請求項２】請求項１記載のマルチモーダル入力解析装
   置において、解析ルール中での定数値にどの入力モード
   のデータ列から入力するかを指定するように拡張した解
   析ルールを保持する解析ルール群を参照して、複数の入
   力モードのデータ列を調べ、前記解析ルールに記述され
   ている指定された入力モードの定数値または意味カテゴ
   リの並びと一致するデータ列を見つけると、対応する意
   味カテゴリを生成して前記一致したデータ列を置換し、
   前記生成された意味カテゴリの入力開始時刻として、前
   記複数の入力モードごとに、前記一致したデータ列の当
   該入力モードのデータ中で先頭のデータの入力開始時刻
   を割り当て、また、前記生成された意味カテゴリの入力
   終了時刻として、前記一致したデータ列の当該入力モー
   ドのデータ中で最後尾のデータの入力終了時刻を割り当
   てて、前記生成された意味カテゴリの入力開始時刻と入
   力終了時刻の値の組を前記複数の入力モードの数だけ生
   成することを、前記複数入力モードのデータ列に対して
   適用可能な解析ルールがなくなるまで繰り返す入力パー
   ザと、からなるマルチモーダル入力解析装置。
3. 【請求項３】請求項２記載のマルチモーダル入力解析装
   置において、生成された意味表現の入力開始時刻および
   入力終了時刻の値の組を入力モードごとに生成する代わ
   りに、前記値の組の入力開始時刻の中で、最も時間的に
   早い値を前記生成された意味表現の唯一の入力開始時刻
   として保持し、また、前記値の組の入力終了時刻の中
   で、最も時間的に遅い値を前記生成された意味表現の唯
   一の入力終了時刻として保持するように入力パーザの機
   能を拡張したマルチモーダル入力解析装置。
4. 【請求項４】請求項２記載のマルチモーダル入力解析装
   置において、前記解析ルール群の解析ルール中で定数値
   または意味カテゴリの入力開始時刻と入力終了時刻を参
   照できる表現を持ち、前記入力開始時刻および入力終了
   時刻を参照して前記解析ルール中に時間的制約条件を記
   述できることを付加したマルチモーダル入力解析装置。