JPH06266495A - 対話手段によりマン・マシン対話システムに与えられたメッセージのメッセージ解析方法及び装置 - Google Patents

対話手段によりマン・マシン対話システムに与えられたメッセージのメッセージ解析方法及び装置

Info

Publication number
JPH06266495A
JPH06266495A JP5272983A JP27298393A JPH06266495A JP H06266495 A JPH06266495 A JP H06266495A JP 5272983 A JP5272983 A JP 5272983A JP 27298393 A JP27298393 A JP 27298393A JP H06266495 A JPH06266495 A JP H06266495A
Authority
JP
Japan
Prior art keywords
analysis
message
syntax
execution
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5272983A
Other languages
English (en)
Inventor
Favot Jean-Jacques
ファヴォ ジャン−ジャック
Perbet Jean-Noel
ペルベ ジャン−ノエル
Barbier Bruno
バルビエ ブルーノ
Lach Patrick
ラシェ パトリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Avionics SAS
Original Assignee
Thales Avionics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Avionics SAS filed Critical Thales Avionics SAS
Publication of JPH06266495A publication Critical patent/JPH06266495A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

(57)【要約】 【目的】 人と機械との間のマン・マシン対話装置に転
送される事象及び連続的なデータ要素を含むメッセージ
の解析方法及び装置を提供する。 【構成】 シンタックス解析の第１ステップ、意味論解
析の第２ステップ、及び実行解析の第３ステップの連続
的な３ステップを含を備える。前記シンタックス解析は
前記対話手段により与えられたメッセージと所定の対話
形式との一致を評価し、前記意味論解析は前記マン・マ
シン対話装置との対話においてオペレータからの要求の
意味を評価し、前記実行解析は前記意味論解析のステッ
プに基づき実行しようとする動作のパフォーマンスを判
断する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、対話手段によりマン・
マシン対話装置に与えられたメッセージを解析する方法
及び装置に関する。本発明は、特に会話、身振り又はも
のを見る動き等を検出するいくつかの対話手段を備えた
マン・マシン対話装置に適用可能なメッセージ解析方法
及び装置に関する。
【０００２】
【従来の技術】マン・マシン対話システムにおいて、オ
ペレータの動きはマン・マシン対話装置又は入力対話手
段により検知される。例えば、これらの対話手段により
与えられた情報要素の処理にこれらの異なるモジュール
を与えることができる。対話手段は一般的にいくつかの
の型式があるので、提供されたこれらの情報要素はマル
チメディア・メッセージと呼ばれる。例えば、オペレー
タの動きを事象形式により表現し、これらの事象を他の
モジュールにより解析し、最後にこれらを第３のモジュ
ールによりアプリケーションに送出することができる。
【０００３】
【発明が解決しようとする課題】このようなシステムの
一つの限界は、ユーザのあらゆる動きが日付を記入した
事象、即ち時間が有限、局部的かつ間隔の大きな事象の
形式により表わされることである。従って、例えば手又
は注視点の移動のような連続的な情報要素を喪失し、連
続的な動作を管理すること、特に仮想的な物体又は仮想
的な設定の調整を連続的に移動させることを不可能にす
る。
【０００４】従って、これらのマン・マシン対話システ
ムは、特に考慮すべき情報要素の流れが次第に増大し、
かつ決定するために利用できる時間が次第に短くなる航
空機の誘導のようなアプリケーションに用いることが不
可能なものとなる。
【０００５】
【課題を解決するための手段】本発明の目的は、特に、
与えられた時点でオペレータの動きの特徴要素により形
成されたマルチメディア・メッセージをリアル・タイム
で解析できるようにすることにより、前述の欠点を克服
することにある。
【０００６】このために、本発明の目的は、オペレータ
に基づくと共に、対話手段により人と機械との間の対話
システムに転送される事象及び連続的なデータ要素を含
むメッセージの解析方法であって、前記解析方法はシン
タックス解析の第１ステップ、意味論解析の第２ステッ
プ、及び実行解析の第３ステップを含む。前記シンタッ
クス解析は対話手段により与えられるメッセージと所定
の対話形式との一致を評価し、前記意味論解析はオペレ
ータの要求の意味を評価し、かつ前記意味論解析は実行
しようとする動作のパフォーマンスを判断するものであ
る。
【０００７】本発明の目的は、更に、前述の方法を実行
するための装置を提供することである。
【０００８】本発明の他の特徴及び効果は、添付する図
面を参照して、以下の説明から明らかになるであろう。
【０００９】
【実施例】図１は本発明によると解析方法を説明する図
である。この図において、矢印の方向は情報要素の方
向、即ち一方の点から他方の点への情報要素の流れを表
わす。本発明によるメッセージ解析方法の要旨は、連続
的な３つのステップ、即ちシンタックス解析の第１ステ
ップ、意味論解析の第２ステップ、及び実行解析の第３
ステップにおいて、マルチメディア・メッセージの漸次
的な解析を実行することである。このようなマルチメデ
ィア・メッセージは機械上で人の動きの結果であって、
その解析はその意味論の観点を明らかにし、かつこれか
ら実行しようとする対応の動きを導き出すことを可能に
させる。メッセージは、特性、話した語句、手振りによ
りランダムとなる事象により形成され、更に連続的なか
つ非ランダムなデータ要素、特に例えば手の位置又はも
のを見る方向を測定することにより構成される。このメ
ッセージは、例えば周期的に、かつこれらの手段による
要求により解析手段に到達する。メッセージが到達する
速度は、特に人間の大きさに基づくリアル・タイムの印
象を与えるように、かつ連続的な情報要素を損失しない
ように、十分なものでなければならない。このために、
連続した２つのメッセージ間の長さは、例えば１００ｍ
ｓより短くてもよい。
【００１０】図１は本発明による解析の３ステップを示
す。シンタックス解析１、２、３の第１ステップは、当
該技術分野において習熟する者に知られたマン・マシン
対話装置により、与えられるマルチメディア・メッセー
ジ４の意味論解析を実行するものである。図１はマルチ
メディア・メッセージ４がＮメディアにより与えられた
複数の情報要素を含む。各メディアに関する情報は、個
別的に解析される。実際に、シンタックス解析１、２、
３の第１ステップ、意味論解析５の第２ステップ、及び
実行解析６の第３ステップにおいて、第１のシンタック
ス解析１は第１メディアを処理し、第２のシンタックス
解析２は第２メディアを処理し、第Ｎステップのシンタ
ックス解析Ｎは第Ｎメディアを処理する。Ｎは１より大
きい又は１に等しい整数である。
【００１１】次いで、シンタックス解析１、２、３の第
１ステップの結果は、意味論解析５の第２ステップにお
いて解析される。次いで、この第２ステップの結果は実
行解析６の第３ステップにおいて解析される。この最後
の実行解析６のステップは、実行しようとする動作１０
を実行する方法、特にオペレータが相互作用する機械１
２に対して、又はインタフェースを介してオペレータに
対して動作を印加している動作を、動作１０が達成可能
か否か判断する。シンタックス解析１、２、３、意味論
解析５、実行解析６の各ステップは、例えば機械１２か
らの情報要素を用いる。
【００１２】事実７、８のベースは、例えば前述のシン
タックス解析１、２、３；意味論解析５；実行解析６の
３形式のステップ中に、解析手段に情報要素を与える。
例えば、静止事実７は、特に声又は身振り語彙、システ
ム又はシステム状態の一定データ要素に関係する所定の
情報要素を与えるものでもよい。ダイナミック事実８
は、例えば中間的な結果、又はここでも特にシステムの
状態のような一時的なデータ要素に用いられるものでも
よい。例えば、歴史的な記録９は、対話及び動作の進行
を記憶するために用いられる。マルチメディア・メッセ
ージ４の連続的なデータ要素は、事実形式により表わさ
れ、ダイナミック事実８に格納される。この形式の利点
は、シンタックス解析１、２、３；意味論解析５；実行
解析６を飽和させない即ち妨害することはなく、かつこ
れらの連続的なデータ要素のためのシンタックス・レベ
ルでのみ機能するデータ要素が解釈されるべき事象その
もではないことである。これら連続的なデータ要素は事
象、例えば声又は身振りの事象の解釈で機能し、この解
釈はダイナミック事実を使用させるものである。
【００１３】図２は本発明によるメッセージ解析方法に
より用いることができるシンタックス解析の可能態様を
示す。シンタックス解析のステップの役割は、問題の媒
体のために定義された対話形式のうちの一つに一致する
のは、与えられた媒体に基づく事実か、又は対話手段か
を評価することにある。与えられた媒体の各可能対話形
式に対する呼称「シンタックス・ツリー」又は略称する
「ツリー」と、これらツリーの終りで発生する用語に対
する呼称「葉」と、解析された媒体の語彙、例えば声又
は身振りの語彙について１以上のワードの順序付けられ
たシーケンスに対する呼称「語句」とを与える際に、媒
体のシンタックス解析は可能ツリーにおける当該ツリー
の識別に要約され得るものであって、当該ツリーの葉に
ついの順序リストは、要素毎に、受け取ったマルチメデ
ィア・メッセージの語句と同一である。ツリーが一旦識
別されると、解析ステップは属性に関係して語句の各ワ
ードを証明する。この属性は語句におけるワードの関与
を表わす。
【００１４】図２は例えば航空機の誘導に適用した場合
に解析されるべき語句の２例を示す。例えば、シンタッ
クス・ツリーは、対象の型式、対象の名称が続く動作動
詞を有するものとして、対話の可能語句を定める。解析
されるべき第１の語句は、例えば、「レーダ・ページを
閉じよ」であり、第２のセンテンスは「警報ランプを消
せ」である。図２のツリーは、そのシンタックスの有効
性を導き出す第１ステップにおいて解析される。このシ
ンタックスが正しければ、シンタックス解析の第１ステ
ップは、３ワード、即ち動作動詞を表わす第１のワー
ド、対象の名称を表わす第２のワード、及び対象の型式
を表わす第３のワードを送出する。他の型式のシンタッ
クス、即ちシンタックス・ツリーは、解析され、更に大
きな又は小さな数のワードを備えることもできる。
【００１５】例えば、身振り認識手段のような一定の媒
体を使用する場合に、これらの媒体は、以上で定義した
語句に対する解析の特定のモードを必要とすることがあ
り、いくつかのメッセージにわたって分配される。その
ときに、シンタックス解析は逐次実行されてもよく、シ
ンタックス解析ステップの結果は、例えば、ダイナミッ
ク事実ベース８に記憶されてもよい。
【００１６】語句が正しいシンタックスに対応しないと
きは、これを排除し、ユーザは、例えば、音声又は可視
的な信号、又はメッセージにより警告される。
【００１７】図１に示すように、シンタックス解析の第
１ステップはいくつかの独立したシンタックス解析１、
２、３により構成されてもよく、シンタックス解析の数
は媒体又は対話手段に等しく、媒体は各解析に関連され
る。この場合に、シンタックスの観点から、各媒体は他
のものから独立して処理される。これは、特に、人と機
械との間の対話に高度の柔軟性をもたらすことを可能と
するものである。第１ステップの解析に割り付けられた
各解析手段は、この解析、即ち関係する媒体からの情報
に関連したマルチメディア・メッセージの一部を受け取
る。各解析手段は、意味論解析の第２ステップにより処
理されるメッセージを与える。このメッセージには、例
えば、情報をもたらす媒体を識別する部分と共に、語句
のワードに割り付けた意味の属性が含まれる。このよう
なメッセージは、例えば、以下の形式：Ｎｍｅｄｉａ
（Ａｔｂ）（第１ワード）、Ａｔｂ（第２ワード）、Ａ
ｔｂ（第３ワード）を持つことができる。ただし、Ｎｍ
ｅｄｉａは媒体の識別を表わす。
【００１８】Ａｔｂはワードの意味の属性を表わし、例
えば第１、第２、第３のワードが前述のワード、特に
「閉じよ」、「レーダ」、「ページ」である可能性があ
る。異なる媒体に関係する用語は、例えば静止事実７に
格納される。
【００１９】証明された語句は、解析されて受け入れら
れると、本発明による方法の第２ステップを実行するシ
ンタックス解析手段に送出される。
【００２０】意味論解析ステップの役割は、特にシンタ
ックス解析ステップの結果に基づくオペレータの意味を
評価することである。これは、例えば、実行しようとす
る動作と、動作の対象、即ち動作が関係するものと、パ
ラメータにより定義されるアプリケーションの形態とを
識別可能にさせる。意味論解析の結果の内容は、要求の
意味を確立するために十分でないときは、シンタックス
解析は、特に静止事実７、ダイナミック事実８又は歴史
的な記録９に基づく相補的な情報要素を用いることによ
り、その意味の確立を達成しようとすることになる。こ
れは、例えば、対象の指定を機能させる要求に対する場
合があり、そのときに動作の対象はダイナミック事実に
基づいたものであった。更に、これは、歴史的な対話記
録の解析によってのみ意味を見出すことができる省略符
号、即ち前の対話を指す喪失した要素を有する語句を含
む語句の場合でもある。
【００２１】そのときに、意味上で正しい要求は実行解
析のステップにより処理される。この要求は、例えば実
行すべき動作の型式、動作が関係する対象と、考慮すべ
きパラメータのリストとを含む。そのときに、要求は、
例えば以下の形式： （動作、対象、Ｐａｒ１、Ｐａｒ２、…ＰａｒＮ） を有するシーケンスにより、動作解析のステップに送出
されてもよい。
【００２２】動作は動作型式を表わし、対象は関係する
対象を表わし、Ｐａｒ１、Ｐａｒ２、…ＰａｒＮはＮパ
ラメータのリストを表わす。
【００２３】不完全な要求の事象では、マン・マシン対
話装置は、例えば、オペレータに合成音声、テキスト、
又はイメージにより、供給され得る付加的な情報につい
て質問することができる。次いで、歴史的な記録は、特
に要求の中間的な状態を記憶するために利用することが
できる。対話の文脈において意味を持たない要求は、例
えば、誤りメッセージによって禁止される。
【００２４】実行解析のステップの役割は、特にオペレ
ータに対して、又はオペレータが意味論解析のステップ
の終りで対話する機械１２に対して実行しようとする動
作のパフォーマンスを決定することである。この解析
は、特に動作が起きなければならない文脈に関係する。
この文脈は、例えばアプリケーション、又は対話システ
ムの機械の状態に関係する。例えば、前述の要求「レー
ダ・ページを閉じよ」の場合に、実行解析のステップ
は、例えばレーダ・ページが広げられてディスプレイ・
スクリーンに表示されていること、このレーダ・ページ
が進行中の他の動作に関係しないこと、及びこれを閉じ
ることに関して妨げがないことを確認する。
【００２５】達成可能であると判断された動作の場合
に、実行解析のステップは一連の基本的なコマンドを作
成して実行プロセッサに転送する。この動作は、ディス
プレイ・スクリーン上の図形対象について、又は音響に
より実行される。これらのコマンドは、例えば以下の形
式： （Ｃｄｅ、Ｐａｒ１、Ｐａｒ２、…ＰａｒＮ） を有するシーケンスにより転送される。Ｃｄｅは与えら
れたコマンドを表わし、Ｐａｒ１、Ｐａｒ２、…Ｐａｒ
Ｎはパラメータのリストである。
【００２６】達成不能の動作は、例えば、音声又は可視
的な誤りメッセージの送出により禁止される。
【００２７】図３は本発明によるメッセージ解析方法を
実施した装置の可能実施例を示す。これは、入力に対話
手段３１を有する。これらの対話手段３１は、例えば、
声又は身振り確認手段が可能である。身振りは、特にデ
ータ・グローブ、又はオペレータの一部分の他の身振り
により確認されたオペレータの手によるものである。こ
れらの対話手段３１は、更にオペレータが見ている方角
を、例えばオキュロメータ（ｏｃｕｌｏｍｅｔｅｒ）に
より検出可能に、又は電磁センサによりオペレータの頭
又は手の位置を検出可能にさせる。これらの対話手段３
１は、本発明によるメッセージ解析方法のシンタックス
解析１、２、３の第１ステップを実行するシンタックス
解析手段３２に接続されている。これらのシンタックス
解析手段３２は、例えば、声、身振り、及びものを見る
動きのような媒体が存在すると同一数の独立したシンタ
ックス手段を含む。シンタックス解析手段３２は意味論
解析５の第２ステップを実行する意味論解析手段３３に
接続されている。これらの意味論解析手段３３は、実行
解析６の第４ステップを実行する動作解析手段３４に接
続されている。動作解析手段３４は実行解析プロセッサ
３５に接続され、実行解析プロセッサ３５は、例えば、
対話手段３６、音声合成手段又はディスプレイ手段、デ
ィスプレイ・スクリーンに接続されている。これらは、
更に、機械１２にも接続されている。シンタックス解析
手段３２、意味論解析手段３３、動作解析手段３４は、
同一のコンピュータ上の組み込まれても、又は各解析ス
テップに割り付けられているいくつかのコンピュータに
分散されてもよい。静止事実を含むメモリ３７は、シン
タックス解析手段３２、意味論解析手段３３及び動作解
析手段３４に接続されている。同じように、メモリ３８
は、シンタックス解析手段３２、意味論解析手段３３、
動作解析手段３４、動作１１及び対話手段３１に接続さ
れている。マン・マシン対話の歴史的な記録を含むメモ
リ３９は、意味論解析手段３３及び動作解析手段３４に
接続されている。
【００２８】図４は、本発明によるメッセージ解析方法
の実施例を示すもので、その対話手段が、例えば、第１
にスクリーン及び音声合成装置、第２に声、手振りから
なる入力媒体とにより構成されているマン・マシン対話
装置の場合である。前記身振りは、姿勢と、手の位置と
を含む。
【００２９】この装置の使用は、例えば、声、手振り及
び見る動作のようなオペレータの広範な対話手段、並び
に声即ち音声型式の出力情報要素を与えることにより、
複雑なシステムの管理を可能にするように設計されてい
る。１例の使用は航空機の仮想ダッシュボードの管理で
ある。
【００３０】図４の説明は、シンタックス解析の第１ス
テップがシンタックス解析１及び身振りシンタックス解
析２を含むことを示すものであり、それぞれは第１の媒
体として音声、第２の媒体として前述のように定義した
手振りに対応する。必要ならば、身振りは身体の他の部
分に関連させてもよい。意味論解析５及び実行解析６の
他のステップは図１により定義したものと同一である。
同じように、静止事実７及びダイナミック事実ベース８
と共に、歴史的な記録は、図１の説明に従い、これらの
ステップにより定まる。実行解析６のステップにより定
められる動作は、スクリーンにより表示される対象に関
連する動作１１である。実行解析６の第３ステップによ
り発生した動作も声即ち音声合成の手段に、及び機械１
２に関連させてもよい。
【００３１】制作規則を有するシステムとも呼ぶエキス
パート・システムは、例えば本発明によるメッセージ解
析方法の３ステップを実行させ、従って与えられたタイ
ム・スロット内でオペレータ動作を含むマルチメディア
・メッセージの理解を確保することも可能にさせる。適
応する時間は、例えば約１００ｍｓの長さのスロットに
分割される。
【００３２】図４のアプリケーションの場合に、マルチ
メディア・メッセージは、例えばコンピュータ・データ
のリストの形式によりエキスパート・システムに転送さ
れる。このリストは、例えば、順序付けられた一連の音
声ワード、認識された姿勢及び指定された対象識別を含
む。更に、これには、例えば、オペレータの手からスク
リーンまでの距離、又は腕を軸とした手の角度位置が含
まれる。
【００３３】静止事実７は、例えば、図３に示すよう
に、読み出し専用メモリであるメモリ３７に格納されて
いる。これには、例えば、音声辞書、姿勢辞書、及び図
形対象のデフォールト属性、大きさ及び位置が含まれ
る。
【００３４】ダイナミック事実８は読み出し／書き込み
メモリ３８に含まれている。これには、例えば、ディス
プレイ・スクリーンに示されている対象の現在の位置及
び大きさ、指定された対象の識別子、手の最後の位置及
び方向、身振りのシンタックス解析手段の現在状態、特
にそれらの適用性及びそれらの動作に関する媒体の状
態、及び機械１２のパラメータが含まれている。
【００３５】歴史的な記録９はメモリ３９内に格納され
ている。これには、例えば実行解析プロセッサ３５にお
いて進行しているコマンドと、特に初期状態及び現在状
態に関して操作を行なっている対象とを含まれる。
【００３６】音声解析手段は、例えば特にシンタックス
の符号化を可能にする一組の規則と、予め定めたシンタ
ックス・ツリーを検索する機構とを備えている。これ
は、発見されたツリーを意味論解析手段に与える。
【００３７】身振り解析手段は、例えば、有限状態を有
するオートマトンを備えている。オートマトンが機能す
るときは、身振り解析手段は意味論解析手段にメッセー
ジを送出する。送出されたコマンドは、特にシンタック
ス・ツリーに関連されたワードである。例えば取り上げ
る、移動させる、置く、投げる、少なくする又は増加さ
せるのようなワードがある。
【００３８】意味論解析手段は一組の規則を有し、その
規則は、特に実行しようとする動作を統合するように着
信するメッセージの意味を解釈することにある。
【００３９】意味論解析手段は、実行すべき動作、動作
の対象、及び種々の関連するパラメータを表わすメッセ
ージを出力に送出する。意味論解析手段は、特に先に定
義した関連の属性ワードを用いることにより、かつ対話
の文脈からこれらを再構築することにより、動作を識別
する。意味論解析手段は、関連する属性ワードを用いる
ことにより、又は特に指定した対象を含むダイナミック
事実ベースからこれを再構築することにより、動作の対
象を識別する。意味論解析手段は、特に、前述の属性ワ
ードＰａｒ１、Ｐａｒ２を用いることにより、パラメー
タを識別する。意味論解析手段は、例えば、属性を持た
ない全てのワードを除去する。
【００４０】実行解析手段は例えば一組の規則を備えて
おり、その役割は特に意味論解析手段に基づき動作を実
行する方法を解析し、かつ実行解析プロセッサ３５の必
要な基本コマンドを発生することにある。実行解析が以
下の例の要求（ＯＰＥＮ、０、ＲＡＤＡＲ）に関係する
ならば、解析は少なくとも３つの規則を必要とする。Ｏ
ＰＥＮは動作であり、０はパラメータであり、ＲＡＤＥ
Ｒは動作の対象である。第１の規則は、対象ＲＡＤＡＲ
に関連した図形窓が既に開放されている場合を処理し、
第２の規則はこの窓が開放されていない処理する。第３
の規則は要求ＲＡＤＡＲの第３項は窓の名称ではない場
合を処理する。規則を書き込む順序は重要であると思わ
れ、解析は前述の順序における以上の規則を評価するも
のである。第３の規則は、第１の規則及び第２の規則が
失敗したときにのみトリガされることは、実際に考えら
れることである。
【００４１】
【発明の効果】本発明の主な効果は、マン・マシン対話
システムの人間工学的な品質を改良するものであり、特
にこれらのシステムが短時間に多数の情報要素の処理が
できるようにし、対話の輪にオペレータを保持すること
によって更に効率的かつ更に信頼性あるものにし、かつ
経済的にかつ実行が容易であるということにある。
【図面の簡単な説明】
【図１】本発明によるメッセージ解析方法を説明する概
略図である。
【図２】本発明によるメッセージ解析方法のステップの
ツリーを示す図である。
【図３】本発明によるメッセージ解析装置のブロック図
である。
【図４】本発明によるメッセージ解析方法の実施例を示
すブロック図である。
【符号の説明】
１ シンタックス解析媒体１ ２ シンタックス解析媒体２ ３ シンタックス解析媒体Ｎ ４ マルチメディア・メッセージ ５ 意味論解析 ６ 実行解析 ７ 静止事実 ８ ダイナミック事実 ９ 歴史的な記録 １１ 動作 １２ 機械 ３１、３６ 対話手段 ３２ シンタックス解析手段 ３３ 意味論解析手段 ３４ 動作解析手段 ３５ 実行解析プロセッサ ３７、３８、３９ メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャン−ノエル ペルベ フランス国， 33320 エイシネ， アレ デ フォンデフロワド ９番地 (72)発明者 ブルーノ バルビエ フランス国， 33110 ル ブスカ， リ ュ エルネストロワイエ， 21番地 (72)発明者 パトリ ラシェ フランス国， 33200 ボルドー， リュ ド ラ ダウフィン 45番地

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 事象を含むメッセージと、オペレータに
    基づくと共に、対話手段により人と機械との間の対話シ
    ステムへ転送される連続的なデータ要素を解析するメッ
    セージ解析方法において、 シンタックス解析の第１ステップと、意味論解析の第２
    ステップと、実行解析の第３ステップとの連続的な３ス
    テップを含み、前記シンタックス解析は前記対話手段に
    より与えられるメッセーと所定の形式の対話との一致を
    評価し、前記意味論解析はオペレータの要求の意味を評
    価し、前記実行解析は前記意味論解析の第２ステップに
    基づき、実行しようとする動作のパフォーマンスを判断
    するものであることを特徴とするメッセージ解析方法。
  2. 【請求項２】 前記連続的なデータ要素は事実形式によ
    り表わされ、かつダイナミック事実により格納され、情
    報要素を用いる前記シンタックス解析、前記意味論解析
    及び前記実行解析のステップは前記ダイナミック事実に
    基づく情報要素を用いることを特徴とする請求項１記載
    のメッセージ解析方法。
  3. 【請求項３】 情報要素を用いる前記シンタックス解
    析、前記意味論解析及び前記実行解析のステップは、所
    定の情報要素を含む静止事実に基づく情報要素を用いる
    ことを特徴とする請求項１記載のメッセージ解析方法。
  4. 【請求項４】 情報要素を用いる前記シンタックス解
    析、前記意味論解析及び前記実行解析のステップは、対
    話及び動作の進行を記憶する歴史的記録に基づく情報要
    素を用いることを特徴とする請求項１記載のメッセージ
    解析方法。
  5. 【請求項５】 シンタックス解析の前記第１ステップ
    は、音声シンタックス解析及び身振りシンタックス解析
    を含むことを特徴とする請求項１記載のメッセージ解析
    方法。
  6. 【請求項６】 情報要素を用いる前記シンタックス解
    析、前記意味論解析及び前記実行解析のステップは、前
    記機械に基づく情報要素を用いることを特徴とする請求
    項１記載のメッセージ解析方法。
  7. 【請求項７】 前記いずれかの請求項に記載した方法を
    実施した装置において、少なくとも、 入力端の対話手段と、 前記入力対話手段に接続されたシンタックス解析手段
    と、 前記シンタックス解析手段に接続された意味論解析手段
    と、 前記実行解析手段及び前記機械に接続された実行プロセ
    ッサと、 出力端の前記実行プロセッサに接続された対話手段とを
    備えたことを特徴とするメッセージ解析装置。
  8. 【請求項８】 更に、 前記解析手段に接続され、静止事実を含むメモリと、 前記解析手段に接続され、ダイナミック事実を含むメモ
    リと、 前記意味論解析手段及び前記実行解析手段に接続された
    歴史的な記録を含むメモリとを備えてことを特徴とする
    請求項７記載のメッセージ解析装置。
  9. 【請求項９】 入力手段が存在すると同数のシンタック
    ス解析手段を備えていることを特徴とする請求項７記載
    のメッセージ解析装置。
  10. 【請求項１０】 前記各解析手段は作成規則システムに
    より設定されることを特徴とする請求項７記載のメッセ
    ージ解析装置。
JP5272983A 1992-10-06 1993-10-06 対話手段によりマン・マシン対話システムに与えられたメッセージのメッセージ解析方法及び装置 Withdrawn JPH06266495A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9211816A FR2696574B1 (fr) 1992-10-06 1992-10-06 Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine.
FR9211816 1992-10-06

Publications (1)

Publication Number Publication Date
JPH06266495A true JPH06266495A (ja) 1994-09-22

Family

ID=9434174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5272983A Withdrawn JPH06266495A (ja) 1992-10-06 1993-10-06 対話手段によりマン・マシン対話システムに与えられたメッセージのメッセージ解析方法及び装置

Country Status (5)

Country Link
US (1) US5809269A (ja)
EP (1) EP0592280A1 (ja)
JP (1) JPH06266495A (ja)
CA (1) CA2107712A1 (ja)
FR (1) FR2696574B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2744277B1 (fr) * 1996-01-26 1998-03-06 Sextant Avionique Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre
US20050182765A1 (en) * 1996-02-09 2005-08-18 Technology Innovations, Llc Techniques for controlling distribution of information from a secure domain
US6097927A (en) * 1998-01-27 2000-08-01 Symbix, Incorporated Active symbolic self design method and apparatus
US6236968B1 (en) * 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
US7711672B2 (en) * 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US20070294229A1 (en) * 1998-05-28 2007-12-20 Q-Phrase Llc Chat conversation methods traversing a provisional scaffold of meanings
US20070094224A1 (en) * 1998-05-28 2007-04-26 Lawrence Au Method and system for determining contextual meaning for network search applications
US8396824B2 (en) * 1998-05-28 2013-03-12 Qps Tech. Limited Liability Company Automatic data categorization with optimally spaced semantic seed terms
US7418382B1 (en) * 1998-10-02 2008-08-26 International Business Machines Corporation Structure skeletons for efficient voice navigation through generic hierarchical objects
WO2000021074A1 (en) * 1998-10-05 2000-04-13 Lernout & Hauspie Speech Products N.V. Speech controlled computer user interface
US7263489B2 (en) 1998-12-01 2007-08-28 Nuance Communications, Inc. Detection of characteristics of human-machine interactions for dialog customization and analysis
US7082397B2 (en) * 1998-12-01 2006-07-25 Nuance Communications, Inc. System for and method of creating and browsing a voice web
US7941481B1 (en) 1999-10-22 2011-05-10 Tellme Networks, Inc. Updating an electronic phonebook over electronic communication networks
US6807574B1 (en) 1999-10-22 2004-10-19 Tellme Networks, Inc. Method and apparatus for content personalization over a telephone interface
US6970915B1 (en) 1999-11-01 2005-11-29 Tellme Networks, Inc. Streaming content over a telephone interface
US7376586B1 (en) 1999-10-22 2008-05-20 Microsoft Corporation Method and apparatus for electronic commerce using a telephone interface
US6598018B1 (en) * 1999-12-15 2003-07-22 Matsushita Electric Industrial Co., Ltd. Method for natural dialog interface to car devices
US7143039B1 (en) 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7580837B2 (en) 2004-08-12 2009-08-25 At&T Intellectual Property I, L.P. System and method for targeted tuning module of a speech recognition system
US7242751B2 (en) 2004-12-06 2007-07-10 Sbc Knowledge Ventures, L.P. System and method for speech recognition-enabled automatic call routing
US7751551B2 (en) 2005-01-10 2010-07-06 At&T Intellectual Property I, L.P. System and method for speech-enabled call routing
US7412389B2 (en) * 2005-03-02 2008-08-12 Yang George L Document animation system
US7657020B2 (en) 2005-06-03 2010-02-02 At&T Intellectual Property I, Lp Call routing system and method of using the same
US7774713B2 (en) 2005-06-28 2010-08-10 Microsoft Corporation Dynamic user experience with semantic rich objects
US7774202B2 (en) * 2006-06-12 2010-08-10 Lockheed Martin Corporation Speech activated control system and related methods
FR2902543A1 (fr) 2006-06-20 2007-12-21 Alcatel Sa Procede de creation de contenus multimedia pour terminaux mobiles, produit programme d'ordinateur pour la mise en oeuvre d'un tel procede
JP2010506308A (ja) * 2006-10-03 2010-02-25 キューピーエス テック． リミテッド ライアビリティ カンパニー カテゴリ化によるホスト・コンテンツとゲスト・コンテンツの自動マッチングのための機構
TWI331309B (en) * 2006-12-01 2010-10-01 Ind Tech Res Inst Method and system for executing correlative services
FR2938396A1 (fr) * 2008-11-07 2010-05-14 Thales Sa Procede et systeme de spatialisation du son par mouvement dynamique de la source
CN103000052A (zh) * 2011-09-16 2013-03-27 上海先先信息科技有限公司 人机互动的口语对话系统及其实现方法
US9432278B2 (en) * 2013-03-07 2016-08-30 Microsoft Technology Licensing, Llc Simulation of interactions between network endpoints

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
DE3732849A1 (de) * 1987-09-29 1989-04-20 Siemens Ag System-architektur fuer ein akustisches mensch/maschine-dialogsystem
JPH02159674A (ja) * 1988-12-13 1990-06-19 Matsushita Electric Ind Co Ltd 意味解析装置と構文解析装置
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
GB8913048D0 (en) * 1989-06-07 1990-04-25 Marconi Co Ltd Processor
JPH0375860A (ja) * 1989-08-18 1991-03-29 Hitachi Ltd パーソナライズド端末
DE69032645T2 (de) * 1990-04-02 1999-04-08 Koninkl Philips Electronics Nv Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten
JP3009215B2 (ja) * 1990-11-30 2000-02-14 株式会社日立製作所 自然語処理方法および自然語処理システム
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5463696A (en) * 1992-05-27 1995-10-31 Apple Computer, Inc. Recognition system and method for user inputs to a computer system
US5502774A (en) * 1992-06-09 1996-03-26 International Business Machines Corporation Automatic recognition of a consistent message using multiple complimentary sources of information
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US7184959B2 (en) 1998-08-13 2007-02-27 At&T Corp. System and method for automated multimedia content indexing and retrieval
US8131552B1 (en) 2000-11-21 2012-03-06 At&T Intellectual Property Ii, L.P. System and method for automated multimedia content indexing and retrieval

Also Published As

Publication number Publication date
CA2107712A1 (fr) 1994-04-07
US5809269A (en) 1998-09-15
FR2696574B1 (fr) 1994-11-18
EP0592280A1 (fr) 1994-04-13
FR2696574A1 (fr) 1994-04-08

Similar Documents

Publication Publication Date Title
JPH06266495A (ja) 対話手段によりマン・マシン対話システムに与えられたメッセージのメッセージ解析方法及び装置
US6249606B1 (en) Method and system for gesture category recognition and training using a feature vector
EP1126436B1 (en) Speech recognition from multimodal inputs
US5231670A (en) Voice controlled system and method for generating text from a voice controlled input
US5873064A (en) Multi-action voice macro method
JP2572521B2 (ja) スタイラス・ストローク処理方法及びシステム
US7720316B2 (en) Constraint-based correction of handwriting recognition errors
US5995921A (en) Natural language help interface
US5982370A (en) Highlighting tool for search specification in a user interface of a computer system
US6088731A (en) Intelligent assistant for use with a local computer and with the internet
US5857172A (en) Activation control of a speech recognizer through use of a pointing device
US6975983B1 (en) Natural language input method and apparatus
US20090003713A1 (en) Method and apparatus for classifying and ranking interpretations for multimodal input fusion
US11568175B2 (en) Dynamic intent classification based on environment variables
EP1016078A1 (en) Speech recognition computer input and device
US6745165B2 (en) Method and apparatus for recognizing from here to here voice command structures in a finite grammar speech recognition system
Vo A framework and toolkit for the construction of multimodal learning interfaces
JP2000122774A (ja) データ引き渡し装置、方法、及び記録媒体
US20230325148A1 (en) Contextual Assistant Using Mouse Pointing or Touch Cues
Lison et al. Salience-driven contextual priming of speech recognition for human-robot interaction
WO2021070258A1 (ja) 学習データ生成装置、学習データ生成方法、及び、記録媒体
CN111563140A (zh) 一种意图识别方法及装置
KR101989960B1 (ko) 복수 개의 기계학습 모델을 사용한 실시간 필기 인식 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 실시간 필기 인식 시스템
JP7163845B2 (ja) 情報処理装置、およびプログラム
JPH07219586A (ja) 情報処理方法及び装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20001226