JP4012263B2 - アプリケーション間タスクのための多モード自然言語インタフェース - Google Patents
アプリケーション間タスクのための多モード自然言語インタフェース Download PDFInfo
- Publication number
- JP4012263B2 JP4012263B2 JP32136495A JP32136495A JP4012263B2 JP 4012263 B2 JP4012263 B2 JP 4012263B2 JP 32136495 A JP32136495 A JP 32136495A JP 32136495 A JP32136495 A JP 32136495A JP 4012263 B2 JP4012263 B2 JP 4012263B2
- Authority
- JP
- Japan
- Prior art keywords
- application
- input
- user
- computer system
- natural language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
- G06F9/45512—Command shells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般にコンピュータ・システムのユーザ・インタフェースに関し、特にユーザがコンピュータ・システムの複数のアプリケーションに対して会話的及び直観的なアクセスができるようにする多モード自然言語インタフェースに関する。用語の"多モード"は、様々なモードからの入力の組合わせ、例えば話かけ、タイピング、或いは手書きによるユーザからの入力を組合わせることを意味する。
【０００２】
パーソナル・コンピュータの導入以来、その使用方法を簡単にすることが目標であった。この目標は、非常に多くの人々が日常生活及び仕事においてコンピュータを使用し、コンピュータを使用する大多数の人がその使用方法にほとんどトレーニングを受けていないことを認めている。用語"ユーザ・フレンドリ"は、ユーザが最小のトレーニングでアプリケーションを効果的に使用できる、コンピュータで実行されるアプリケーションを表すために作られた造語である。ビジネス業界においてコンピュータを使用する従業員に対するトレーニングは、ビジネスにとって非常に高価な間接費である。
【０００３】
グラフィック・ユーザ・インタフェース（ＧＵＩ）は、ゼロックス社（Xerox Palo Alto Research Center（ＰＡＲＣ））によって導入され、マッキントッシュ・コンピュータによって人気を得た。ＧＵＩは"ポイントアンドクリック"・インタフェースとしてよく述べられる。これは例えばマウス、トラックボールなどのカーソル・ポインティング装置がディスプレイ上のカーソルをアイコン或いはコマンド・バーに移動するために使用され、ユーザは単にマウス・ボタンをクリック、場合によってはダブル・クリックするだけである。これは綿密に組立てられたコマンドをタイプするという、直観的でないプロセスとは対照的である。ＧＵＩはマッキントッシュ・コンピュータのオペレーティング・システム及びＩＢＭのＯＳ／２オペレーティング・システム或いはまもなく販売されるマイクロ・ソフト社のウィンドウズ９５オペレーティング・システムにおいて事実上の標準である。
【０００４】
【発明が解決しようとする課題】
ＧＵＩはコンピュータ・インタフェースにおいて多数の改良が行われたが、ＧＵＩをサポートするオペレーティング・システム下で実行されるアプリケーションを有効に利用するには、これらのオペレーティング・システムで実行されるアプリケーションの効果的使用における手順の知識がまだ必要である。例えばアプリケーション（現アプリケーション）を実行させるユーザは、部分的に現アプリケーションの情報にもとづいて他のアプリケーション（補助アプリケーション）において、ある予期できない作業の実行を望む場合がある。現在、このような作業の実行は時間がかかり、厄介である。ユーザはどのような補助アプリケーションをアクセスすべきなのかの決定が求められ、新しいウィンドウを開き、現アプリケーションから情報を移入し、及び他の関連する作業を実行しなければならない。従って、ＧＵＩがコンピュータ・システムを"ユーザ・フレンドリ"にしてきたのと同じほど重要であるように、益々、増加する多数の人々によるコンピュータの使用を簡単にするために多くの改良を行わなければならない。
【０００５】
本発明の目的は、ユーザからの自然言語による入力を現アプリケーションから選択された情報と組合わせて要求を解釈し、正しい形態の要求を適切なアプリケーションに送って処理させる多モード自然言語インタフェースを提供することである。
【０００６】
【課題を解決するための手段】
本発明によると、多モード自然言語インタフェースが提供されユーザは、入力した自然言語（話かけ、タイピング、或いは手書き）と、ユーザが現在実行中のアプリケーション（現アプリケーション）から何らかの標準手段によって選択された情報とを組合わせることによって、他のアプリケーション（補助アプリケーション）で作業を行うことができる。この場合、現アプリケーションを捨てたり、新しいウィンドウを開いたりする必要もなく、或いは現アプリケーションを実行させる前に補助アプリケーションにおいて何を実行させるかを決める必要もない。
【０００７】
本発明は以下の機能を実行する。１）組合わせられた多モード入力の解析。２）意味解釈（すなわち、構文解析において暗に示された要求の決定）。３）入力に対するシステムの理解をユーザにフィードバックし、要求をはっきりさせるために（例えば、情報の欠如とあいまいさ）ユーザと相互対話を行うダイアログ。４）どのアププリケーションが要求を処理するかの決定、及びアプリケーション・プログラム・インタフェース（ＡＰＩ）・コードの生成。５）適切な応答の提示。機能１）乃至３）は自然言語プロセッサによって、機能４）はアプリケーション・マネージャによって、及び機能５）は応答発生部によって実行される。
【０００８】
本発明によれば、ユーザが与えた多モード（話しかけ、タイピング、手書き）自然言語の入力は、何らかの標準の方法で現アプリケーションから選択された情報と組合わされて使用される。本発明は、アプリケーション間タスクをサポートするユーザ・インタフェースの分野で、自然言語データベース照会及び機械翻訳など、他のアプリケーションで使用された人工知能及びコンピュータ言語学からの技術の独特の組合わせと応用技術を提供する。更に、これらは現最先端のユーザ・インタフェースよりもアプリケーション間タスクのサポートをよく行う。
【０００９】
【発明の実施の形態】
ここで図１を参照すると、本発明が実施される代表的なハードウェア環境が示されている。このハードウェア環境はＩＢＭのＰＳ／２ファミリなどのパーソナル・コンピュータであることができ、ＩＢＭのＯＳ／２オペレーティング・システムなどのマルチタスクをサポートできるオペレーティング・システムを実行する。ハードウェアは中央演算処理装置（ＣＰＵ）１０を有し、これはインテル社のＸ８６アーキテクチャに従うもの、或いはＩＢＭのＰｏｗｅｒＰＣ（登録商標）マイクロプロセッサなどのＲＩＳＣ（reduced instruction set computer）マイクロプロセッサでもよい。ＣＰＵ１０はシステム・バス１２に取り付けられている。またシステム・バス１２には、読み書きできるメモリすなわちランダム・アクセス・メモリ（ＲＡＭ）１４、読取り専用メモリ（ＲＯＭ）１６、入出力（Ｉ／Ｏ）アダプタ１８、及びユーザ・インタフェース・アダプタ２２が取り付けられている。ＲＡＭ１４はアプリケーション・プログラムのコード及びデータを一時記憶でき、一方、ＲＯＭ１６は一般に基本入出力システム（ＢＩＯＳ）のコードを有する。Ｉ／Ｏアダプタ１８は、ここでディスク・ドライブ２０として表される１つ以上の直接アクセス記憶装置（ＤＡＳＤ）に接続されている。ディスク・ドライブ２０は一般にコンピュータのオペレーティング・システム（ＯＳ）及び様々なアプリケーション・プログラムを記憶し、これらのそれぞれがシステム・バス１２を介してＲＡＭ１４に選択的にロードされる。ユーザ・インタフェース・アダプタ２２には、キーボード２４、マウス２６、スピーカ２８、マイクロホン３２や他のユーザ・インタフェース装置（図示なし）が取り付けられている。パーソナル・コンピュータはまたディスプレイ３８を有し、ここでは陰極線管（ＣＲＴ）ディスプレイとして表されているが、液晶ディスプレイ（ＬＣＤ）または他の適当なディスプレイでもよい。ディスプレイ３８は、ディスプレイ・アダプタ３４を介してシステム・バス１２に接続されている。オプションとして通信アダプタ３４がシステム・バス１２及びネットワークに接続されている。ネットワークにはＩＢＭのトークン・リングＬＡＮなどのローカル・エリア・ネットワーク（ＬＡＮ）がある。代わりに、通信アダプタはパーソナル・コンピュータ或いはワークステーションを広域ネットワーク（ＷＡＮ）の１部として電話線に接続するモデムであることができる。
【００１０】
本発明の好ましい実施例は図１に示されるようなハードウェア・プラットホームで実現される。本発明による多モード自然言語インタフェースのアーキテクチャを特定の動作例と共に次に述べる。多モード自然言語インタフェースは、新しいウィンドウを開いたりすることなくユーザが現アプリケーション内から補助アプリケーションにおいてアクションを実行できるように、アプリケーションにリンクされる。用語の"多モード"は様々なモードからの入力を組合わせることを意味する。例えば話しかけ、タイピング或いは手書きなどのユーザからの入力と、ポイントアンドクリック、タッチ及びキーボードによる選択を含む何らかの標準の手段によってユーザが実行中のアプリケーションから選択された入力との組合わせである。
【００１１】
図２を参照するとシステムの基本アーキテクチャが示されている。ユーザ入力は、話しかけ、タイピング、手書き、マウス制御のカーソル、タッチ、或いは他のモードである。図示された例では、音声はマイクロホン３２（図１）を介して入力される。音声入力の"住所を調べる"は音声認識装置４１に与えられ出力される。同時にユーザはまた、例えばキーボード２４、マウス２６、ディスプレイ３８に備えられたタッチ・スクリーン（図示なし）、または他の同様なデバイスによって非音声入力を試みることができる。前述のように多モードの入力では手書き入力が予想され、これはスタイラス及びタブレット（図示なし）或いはマウス２６の手段によって入力される。この非音声入力は、ＯＳ／２オペレーティング・システムのプレゼンテーション・マネージャ（ＰＭ）などのスクリーン・マネージャ４２によって受信される。スクリーン・マネージャ４２はまた、現アプリケーションであるアプリケーションＡのために表示ウィンドウを与える。ここではハード・ディスク２０（図１）のような直接アクセス記憶装置（ＤＡＳＤ）４３からアクセスされている。アプリケーションＡのウィンドウ内には、テキスト或いはグラフィックなどの"中心アイテム"が存在する。
【００１２】
スクリーン・マネージャ４２によって受信された音声認識装置４１の出力及び非音声入力はディスパッチャ４４に送られ、入力を組合わせて最初に自然言語プロセッサ４５に導かれる。自然言語プロセッサ４５は、組合わせた多モードの入力を、ＤＡＳＤ４７及び４８にある文法及び辞書をアクセスして構文解析を行うパーサ４６に向ける。ＤＡＳＤ４７及び４８は、アプリケーションＡが記憶されているハード・ディスク２０と同じでも、異なっていてもよい。構文解析された入力は、同じくＤＡＳＤ４７及び４８の文法と辞書をアクセスする対話マネージャ４９によって更に意味解釈が行われる。自然言語プロセッサ４５はディスパッチャ４４を介してユーザにフィードバックを与え、入力に対するシステムの理解を告げる。必要に応じて自然言語プロセッサ４５はユーザと対話し、要求に欠けている情報或いはあいまいさを明確にする。自然言語プロセッサ４５、パーサ４６及び対話マネージャ４９によって使用された手法は、自然言語照会データベース・システムの分野で一般的なものである。市販の自然言語照会データベース・システムの例は、ＩＢＭの"LanguageAccess"並びにＮＲＩ社の"Natural Language"である。
【００１３】
自然言語プロセッサ４５の出力にもとづいてディスパッチャ４４はアプリケーション・マネージャ５１を呼出し、要求を処理するアプリケーションを決める。従来はユーザがオペレーティング・システムのアプリケーション・マネージャを呼出して、選択されたアプリケーションのためのウィンドウを開き、それからそのウィンドウ内でアプリケーションを実行していた。ユーザは、次に要求された情報をアクセスし、クリップボード機能を使用してその情報を元のアプリケーションのウィンドウにコピーし、ペーストしていた。本発明ではこれらがユーザの介入なしで自動的に全て実行される。例えばアプリケーション・マネージャ５１は、ＤＡＳＤ５２及び５３のアプリケーションＢ乃至Ｚのどれかをアクセス可能である。ここでもＤＡＳＤ５２及び５３は、アプリケーションＡが記憶されているハード・ディスク２０と同じでも、異なっていてもよい。アクセスされたアプリケーションは補助アプリケーションである。アプリケーション・マネージャ５１は、アプリケーションＢ乃至Ｚのどれが要求された情報を有するかを決める。アプリケーション・マネージャ５１は、要求された情報が含まれる住所ファイルを有するデータベース・プログラムは、例えばアプリケーションＢであると判断する。アプリケーション・マネージャ５１は要求の意味論的表現をアプリケーションＢのＡＰＩコード発生部に送り、要求された情報をアクセスするのに必要なアプリケーション・プログラム・インタフェース（ＡＰＩ）・コードを発生させる。これはウィンドウを開くことなしに実行される。補助アプリケーション（例えば、データベース・プログラム）はバックグラウンドで開かれ、ＡＰＩコード（例えば照会）が生成され、要求された情報を検索する。ひとたび情報がアプリケーション・マネージャ５１によってアクセスされると、要求された情報はディスパッチャ４４へ送られ、ディスパッチャ４４は次に情報を応答発生部５４に送る。それから応答発生部５４は要求と現アプリケーションの本質にふさわしい応答を発生する。この応答はシンセサイザ（図示なし）からの合成音声、ポップアップ・ウィンドウのテキスト、現アプリケーションにペーストされたテキスト或いはグラフィック、ビデオ・クリップなどの形態をとり得る。
【００１４】
次に図３の特定例を考える。現アプリケーション（アプリケーションＡ)がワード・プロセッサであると仮定し、ユーザがジョー・スミスに手紙を書いており、キーボード２４でジョー・スミスと名前をタイピング後に"住所を調べる"と音声入力をしたとする。ジョー・スミスのタイプされた名前（"中心アイテム"図１参照）と、話しかけた要求"住所を調べる"の組合わせの多モードの入力は、自然言語プロセッサ４５によって処理され、ディスパッチャ４４によってアプリケーション・マネージャ５１に送られる。これは図３の"質問"の機能ブロック５５によって表される。記述例では、組合わせ入力は、"ジョー・スミスの住所を調べる"である。機能が実行され、ＤＡＳＤ５２のデータベース・プログラムを介して名前／住所ファイルがアクセスされ、ジョー・スミスの住所を検索する。適切な応答は、ワード・プロセッサのアプリケーション（アプリケーションＡ）によって書かれている手紙にジョー・スミスの検索された住所をペーストすることである。
【００１５】
次に図４に示された例を考える。ユーザはジョー・スミスの名前をタイプしたが、今度は住所を要求する代わりにユーザは音声入力"電話"を与える。図４に示された例では複数の可能な答えがある。第１は、ジョー・スミスの電話番号の検索である。しかし、データベースには２つのジョー・スミスがあった場合、最終的な応答が発生する前に明確にしなければならないあいまい性がある。対話マネージャ４９（図２）は、例えばポップアップ・ウィンドウの形でユーザに対して選択肢を与え、その中の１つを選ぶことを要求する。一方、電話帳にジョー・スミスが載っていない場合がある。その場合は、要求を処理するのに十分な情報がないことになる。対話マネージャ４９は電話帳にジョー・スミスが載っていないことをユーザに告げ、"他を調査しますか"など他の情報を求める。この応答は例えばポップアップ・ウィンドウの中でのテキスト表示、或いは合成音声である。最終的に電話番号が見つかると応答は番号そのものを表示するか、通信アダプタ３４（図１）を介してその番号をダイヤルするかのどれかである。
【００１６】
多モード自然言語インタフェースをサポートする機能は、図２で示されるディスパッチャ４４とアプリケーション・マネージャ５１である。ここで図５を参照すると、ディスパッチャの機能が流れ図で説明されている。ユーザ入力Ｉ１と現アプリケーションからの中心アイテムの入力Ｉ２は機能ブロック５６で単に連結され、"ユーザ入力"＋"中心アイテム"となる。自然言語プロセッサ４５で使用される文法と意味解釈の規則は意図する意味が回復されることを保証する。前述のように多種多様な最先端の自然言語処理システムが自然言語プロセッサ４５の機能を実行するのに使用できる。自然言語プロセッサ４５への連結された入力が、自然言語処理の本質的な順序に合わない場合でも、更に自然言語プロセッサは意図された意味を回復する。例えば、連結された入力が"メアリに送信する"＋＜ファイル名＞、すなわち"メアリに送信する財務データ"を意味する場合、自然言語プロセッサ４５は、これを正しい表現"メアリに＜ファイル名＞を送信する"、すなわち"メアリに財務データを送信する"と理解する。なぜなら自然言語プロセッサは不自然な語順を適切な文法規則を与えることによって分析できるからである。非常に利用が簡単である本システムの特徴は、ユーザ入力及び現アプリケーションから供給された入力が時間的順序で、或いは時間的に重複して入力できる点にある。
【００１７】
図６は、機能ブロック５６においてディスパッチャの機能の他のオペレーション例を示す。この場合、ユーザ入力は"電話"であり、アプリケーション入力は"ジョン・スミス"である。ディスパッチャの連結機能は"ジョン・スミスに電話する"を自然言語プロセッサに出力する。
【００１８】
アプリケーション・マネージャ５１の流れ図が図７に示されており、ここでその説明を行う。所与の入力に対し、アプリケーション・マネージャは最初に機能ブロック６１において自然言語プロセッサ４５によって与えられた意味表現（ＳＲ）から全ての概念を見つける。次に機能ブロック６２において意味表現からその各概念と関連づけて登録されている個々のアプリケーションを決定する。この決定は概念／アプリケーション登録テーブル６３を参照することによって行われる。アプリケーションとは無関係な概念もいくつかあるが、それらは考慮する必要はない。このような概念は辞書に設定されたフラグによって識別できる。アプリケーション特有の各概念が概念／アプリケーション登録テーブル６３にそれらの概念と関連して登録されているアプリケーションの名前と共にリストアップされる。論理的には、このテーブル６３は正にテーブルであり、列はアプリケーション名、行は概念名でラベル付けされている。その例が図８に示されている。アプリケーション特有の概念の集合がひとたび決まると、このような各概念は、概念／アプリケーション登録テーブル６３で調べられ、関連する登録されたアプリケーション名の集合が返される。各概念はこのようにアプリケーション名の集合を生成する。これは"概念アプリケーション集合"と呼ばれる。アプリケーション特有の概念毎に概念／アプリケーション登録テーブル６３を調べて関連するアプリケーション名を検索することにより、全ての概念が処理されてしまうと、いくつかの概念アプリケーション集合が得られる。入力の意味表現から導き出された全ての概念アプリケーション集合に含まれる各アプリケーション名が決定される。論理的には、これは単純な集合論理積によって行われる。その結果、入力の意味表現から導き出されたアプリケーション特有の各概念と関連づけて登録されている全てのアプリケーション名の１つの集合（アプリケーション集合）が得られる。
【００１９】
次に機能ブロック６４において、アプリケーション・マネージャは意味表現を該当するアプリケーションＡｉのＡＰＩコード発生部６５に送る。アプリケーション集合に含まれるアプリケーション名は普通は１つだけであるが、２つ以上のこともある。このような場合、入力は全くあいまいであり、システムはディスパッチャを介してユーザに報告するか、単に意味表現を該当する各アプリケーションのＡＰＩコード発生部に供給するか、またはこれらの両方を行う。本アーキテクチャのどの部分もこの選択には関係せず、パラメータが設定されて、特定の環境でのシステムの実際の動作を決める。また、概念／アプリケーション登録テーブル６３に登録されているアプリケーションにとって入力が無意味であれば、アプリケーション集合は空になる。この事象はディスパッチャへ報告され、なお一層の処理、例えばユーザと対話して必要であれば次の行動を決める。１つのアプリケーションが見つかり、意味表現がそのアプリケーションのＡＰＩコード発生部に送られると、次にアプリケーションは要求されたデータを検索するために、機能ブロック６６において、発生されたＡＰＩコードにもとづいて動作する。
【００２０】
本発明は以上の実施例に限らず様々な変更が可能である。
【図面の簡単な説明】
【図１】本発明が実施されるハードウェア構成を示すブロック図である。
【図２】本発明による多モード・システム・アーキテクチャのブロック図である。
【図３】多モード・システム・オペレーションの第１の例のブロック図である。
【図４】多モード・システム・オペレーションの第２の例のブロック図である。
【図５】ディスパッチャにおける多モード言語入力を組合わせる論理を示す流れ図である。
【図６】ディスパッチャにおける多モード言語入力の組合わせ例を示す図である。
【図７】アプリケーション・マネージャの論理を示す流れ図である。
【図８】アプリケーション・マネージャによって使用される概念／アプリケーション登録テーブルの例である。
【符号の説明】
１０ ＣＰＵ
１２ システム・バス
１４ ＲＡＭ
１６ ＲＯＭ
１８ Ｉ／Ｏアダプタ
２０ ディスク・ドライブ
２２ ユーザ・インタフェース・アダプタ
２４ キーボード
２６ マウス
２８ スピーカ
３２ マイクロホン
３４ 通信アダプタ
３６ ディスプレイ・アダプタ
３８ ディスプレイ
４１ 音声認識装置
４２ スクリーン・マネージャ
４３、４７、４８、５２、５３ ＤＡＳＤ
４４ ディスパッチャ
４５ 自然言語プロセッサ
４６ パーサ
４９ 対話マネージャ
５１ アプリケーション・マネージャ
５４ 応答発生部
６３ 概念／アプリケーション登録テーブル
【発明の属する技術分野】
本発明は、一般にコンピュータ・システムのユーザ・インタフェースに関し、特にユーザがコンピュータ・システムの複数のアプリケーションに対して会話的及び直観的なアクセスができるようにする多モード自然言語インタフェースに関する。用語の"多モード"は、様々なモードからの入力の組合わせ、例えば話かけ、タイピング、或いは手書きによるユーザからの入力を組合わせることを意味する。
【０００２】
パーソナル・コンピュータの導入以来、その使用方法を簡単にすることが目標であった。この目標は、非常に多くの人々が日常生活及び仕事においてコンピュータを使用し、コンピュータを使用する大多数の人がその使用方法にほとんどトレーニングを受けていないことを認めている。用語"ユーザ・フレンドリ"は、ユーザが最小のトレーニングでアプリケーションを効果的に使用できる、コンピュータで実行されるアプリケーションを表すために作られた造語である。ビジネス業界においてコンピュータを使用する従業員に対するトレーニングは、ビジネスにとって非常に高価な間接費である。
【０００３】
グラフィック・ユーザ・インタフェース（ＧＵＩ）は、ゼロックス社（Xerox Palo Alto Research Center（ＰＡＲＣ））によって導入され、マッキントッシュ・コンピュータによって人気を得た。ＧＵＩは"ポイントアンドクリック"・インタフェースとしてよく述べられる。これは例えばマウス、トラックボールなどのカーソル・ポインティング装置がディスプレイ上のカーソルをアイコン或いはコマンド・バーに移動するために使用され、ユーザは単にマウス・ボタンをクリック、場合によってはダブル・クリックするだけである。これは綿密に組立てられたコマンドをタイプするという、直観的でないプロセスとは対照的である。ＧＵＩはマッキントッシュ・コンピュータのオペレーティング・システム及びＩＢＭのＯＳ／２オペレーティング・システム或いはまもなく販売されるマイクロ・ソフト社のウィンドウズ９５オペレーティング・システムにおいて事実上の標準である。
【０００４】
【発明が解決しようとする課題】
ＧＵＩはコンピュータ・インタフェースにおいて多数の改良が行われたが、ＧＵＩをサポートするオペレーティング・システム下で実行されるアプリケーションを有効に利用するには、これらのオペレーティング・システムで実行されるアプリケーションの効果的使用における手順の知識がまだ必要である。例えばアプリケーション（現アプリケーション）を実行させるユーザは、部分的に現アプリケーションの情報にもとづいて他のアプリケーション（補助アプリケーション）において、ある予期できない作業の実行を望む場合がある。現在、このような作業の実行は時間がかかり、厄介である。ユーザはどのような補助アプリケーションをアクセスすべきなのかの決定が求められ、新しいウィンドウを開き、現アプリケーションから情報を移入し、及び他の関連する作業を実行しなければならない。従って、ＧＵＩがコンピュータ・システムを"ユーザ・フレンドリ"にしてきたのと同じほど重要であるように、益々、増加する多数の人々によるコンピュータの使用を簡単にするために多くの改良を行わなければならない。
【０００５】
本発明の目的は、ユーザからの自然言語による入力を現アプリケーションから選択された情報と組合わせて要求を解釈し、正しい形態の要求を適切なアプリケーションに送って処理させる多モード自然言語インタフェースを提供することである。
【０００６】
【課題を解決するための手段】
本発明によると、多モード自然言語インタフェースが提供されユーザは、入力した自然言語（話かけ、タイピング、或いは手書き）と、ユーザが現在実行中のアプリケーション（現アプリケーション）から何らかの標準手段によって選択された情報とを組合わせることによって、他のアプリケーション（補助アプリケーション）で作業を行うことができる。この場合、現アプリケーションを捨てたり、新しいウィンドウを開いたりする必要もなく、或いは現アプリケーションを実行させる前に補助アプリケーションにおいて何を実行させるかを決める必要もない。
【０００７】
本発明は以下の機能を実行する。１）組合わせられた多モード入力の解析。２）意味解釈（すなわち、構文解析において暗に示された要求の決定）。３）入力に対するシステムの理解をユーザにフィードバックし、要求をはっきりさせるために（例えば、情報の欠如とあいまいさ）ユーザと相互対話を行うダイアログ。４）どのアププリケーションが要求を処理するかの決定、及びアプリケーション・プログラム・インタフェース（ＡＰＩ）・コードの生成。５）適切な応答の提示。機能１）乃至３）は自然言語プロセッサによって、機能４）はアプリケーション・マネージャによって、及び機能５）は応答発生部によって実行される。
【０００８】
本発明によれば、ユーザが与えた多モード（話しかけ、タイピング、手書き）自然言語の入力は、何らかの標準の方法で現アプリケーションから選択された情報と組合わされて使用される。本発明は、アプリケーション間タスクをサポートするユーザ・インタフェースの分野で、自然言語データベース照会及び機械翻訳など、他のアプリケーションで使用された人工知能及びコンピュータ言語学からの技術の独特の組合わせと応用技術を提供する。更に、これらは現最先端のユーザ・インタフェースよりもアプリケーション間タスクのサポートをよく行う。
【０００９】
【発明の実施の形態】
ここで図１を参照すると、本発明が実施される代表的なハードウェア環境が示されている。このハードウェア環境はＩＢＭのＰＳ／２ファミリなどのパーソナル・コンピュータであることができ、ＩＢＭのＯＳ／２オペレーティング・システムなどのマルチタスクをサポートできるオペレーティング・システムを実行する。ハードウェアは中央演算処理装置（ＣＰＵ）１０を有し、これはインテル社のＸ８６アーキテクチャに従うもの、或いはＩＢＭのＰｏｗｅｒＰＣ（登録商標）マイクロプロセッサなどのＲＩＳＣ（reduced instruction set computer）マイクロプロセッサでもよい。ＣＰＵ１０はシステム・バス１２に取り付けられている。またシステム・バス１２には、読み書きできるメモリすなわちランダム・アクセス・メモリ（ＲＡＭ）１４、読取り専用メモリ（ＲＯＭ）１６、入出力（Ｉ／Ｏ）アダプタ１８、及びユーザ・インタフェース・アダプタ２２が取り付けられている。ＲＡＭ１４はアプリケーション・プログラムのコード及びデータを一時記憶でき、一方、ＲＯＭ１６は一般に基本入出力システム（ＢＩＯＳ）のコードを有する。Ｉ／Ｏアダプタ１８は、ここでディスク・ドライブ２０として表される１つ以上の直接アクセス記憶装置（ＤＡＳＤ）に接続されている。ディスク・ドライブ２０は一般にコンピュータのオペレーティング・システム（ＯＳ）及び様々なアプリケーション・プログラムを記憶し、これらのそれぞれがシステム・バス１２を介してＲＡＭ１４に選択的にロードされる。ユーザ・インタフェース・アダプタ２２には、キーボード２４、マウス２６、スピーカ２８、マイクロホン３２や他のユーザ・インタフェース装置（図示なし）が取り付けられている。パーソナル・コンピュータはまたディスプレイ３８を有し、ここでは陰極線管（ＣＲＴ）ディスプレイとして表されているが、液晶ディスプレイ（ＬＣＤ）または他の適当なディスプレイでもよい。ディスプレイ３８は、ディスプレイ・アダプタ３４を介してシステム・バス１２に接続されている。オプションとして通信アダプタ３４がシステム・バス１２及びネットワークに接続されている。ネットワークにはＩＢＭのトークン・リングＬＡＮなどのローカル・エリア・ネットワーク（ＬＡＮ）がある。代わりに、通信アダプタはパーソナル・コンピュータ或いはワークステーションを広域ネットワーク（ＷＡＮ）の１部として電話線に接続するモデムであることができる。
【００１０】
本発明の好ましい実施例は図１に示されるようなハードウェア・プラットホームで実現される。本発明による多モード自然言語インタフェースのアーキテクチャを特定の動作例と共に次に述べる。多モード自然言語インタフェースは、新しいウィンドウを開いたりすることなくユーザが現アプリケーション内から補助アプリケーションにおいてアクションを実行できるように、アプリケーションにリンクされる。用語の"多モード"は様々なモードからの入力を組合わせることを意味する。例えば話しかけ、タイピング或いは手書きなどのユーザからの入力と、ポイントアンドクリック、タッチ及びキーボードによる選択を含む何らかの標準の手段によってユーザが実行中のアプリケーションから選択された入力との組合わせである。
【００１１】
図２を参照するとシステムの基本アーキテクチャが示されている。ユーザ入力は、話しかけ、タイピング、手書き、マウス制御のカーソル、タッチ、或いは他のモードである。図示された例では、音声はマイクロホン３２（図１）を介して入力される。音声入力の"住所を調べる"は音声認識装置４１に与えられ出力される。同時にユーザはまた、例えばキーボード２４、マウス２６、ディスプレイ３８に備えられたタッチ・スクリーン（図示なし）、または他の同様なデバイスによって非音声入力を試みることができる。前述のように多モードの入力では手書き入力が予想され、これはスタイラス及びタブレット（図示なし）或いはマウス２６の手段によって入力される。この非音声入力は、ＯＳ／２オペレーティング・システムのプレゼンテーション・マネージャ（ＰＭ）などのスクリーン・マネージャ４２によって受信される。スクリーン・マネージャ４２はまた、現アプリケーションであるアプリケーションＡのために表示ウィンドウを与える。ここではハード・ディスク２０（図１）のような直接アクセス記憶装置（ＤＡＳＤ）４３からアクセスされている。アプリケーションＡのウィンドウ内には、テキスト或いはグラフィックなどの"中心アイテム"が存在する。
【００１２】
スクリーン・マネージャ４２によって受信された音声認識装置４１の出力及び非音声入力はディスパッチャ４４に送られ、入力を組合わせて最初に自然言語プロセッサ４５に導かれる。自然言語プロセッサ４５は、組合わせた多モードの入力を、ＤＡＳＤ４７及び４８にある文法及び辞書をアクセスして構文解析を行うパーサ４６に向ける。ＤＡＳＤ４７及び４８は、アプリケーションＡが記憶されているハード・ディスク２０と同じでも、異なっていてもよい。構文解析された入力は、同じくＤＡＳＤ４７及び４８の文法と辞書をアクセスする対話マネージャ４９によって更に意味解釈が行われる。自然言語プロセッサ４５はディスパッチャ４４を介してユーザにフィードバックを与え、入力に対するシステムの理解を告げる。必要に応じて自然言語プロセッサ４５はユーザと対話し、要求に欠けている情報或いはあいまいさを明確にする。自然言語プロセッサ４５、パーサ４６及び対話マネージャ４９によって使用された手法は、自然言語照会データベース・システムの分野で一般的なものである。市販の自然言語照会データベース・システムの例は、ＩＢＭの"LanguageAccess"並びにＮＲＩ社の"Natural Language"である。
【００１３】
自然言語プロセッサ４５の出力にもとづいてディスパッチャ４４はアプリケーション・マネージャ５１を呼出し、要求を処理するアプリケーションを決める。従来はユーザがオペレーティング・システムのアプリケーション・マネージャを呼出して、選択されたアプリケーションのためのウィンドウを開き、それからそのウィンドウ内でアプリケーションを実行していた。ユーザは、次に要求された情報をアクセスし、クリップボード機能を使用してその情報を元のアプリケーションのウィンドウにコピーし、ペーストしていた。本発明ではこれらがユーザの介入なしで自動的に全て実行される。例えばアプリケーション・マネージャ５１は、ＤＡＳＤ５２及び５３のアプリケーションＢ乃至Ｚのどれかをアクセス可能である。ここでもＤＡＳＤ５２及び５３は、アプリケーションＡが記憶されているハード・ディスク２０と同じでも、異なっていてもよい。アクセスされたアプリケーションは補助アプリケーションである。アプリケーション・マネージャ５１は、アプリケーションＢ乃至Ｚのどれが要求された情報を有するかを決める。アプリケーション・マネージャ５１は、要求された情報が含まれる住所ファイルを有するデータベース・プログラムは、例えばアプリケーションＢであると判断する。アプリケーション・マネージャ５１は要求の意味論的表現をアプリケーションＢのＡＰＩコード発生部に送り、要求された情報をアクセスするのに必要なアプリケーション・プログラム・インタフェース（ＡＰＩ）・コードを発生させる。これはウィンドウを開くことなしに実行される。補助アプリケーション（例えば、データベース・プログラム）はバックグラウンドで開かれ、ＡＰＩコード（例えば照会）が生成され、要求された情報を検索する。ひとたび情報がアプリケーション・マネージャ５１によってアクセスされると、要求された情報はディスパッチャ４４へ送られ、ディスパッチャ４４は次に情報を応答発生部５４に送る。それから応答発生部５４は要求と現アプリケーションの本質にふさわしい応答を発生する。この応答はシンセサイザ（図示なし）からの合成音声、ポップアップ・ウィンドウのテキスト、現アプリケーションにペーストされたテキスト或いはグラフィック、ビデオ・クリップなどの形態をとり得る。
【００１４】
次に図３の特定例を考える。現アプリケーション（アプリケーションＡ)がワード・プロセッサであると仮定し、ユーザがジョー・スミスに手紙を書いており、キーボード２４でジョー・スミスと名前をタイピング後に"住所を調べる"と音声入力をしたとする。ジョー・スミスのタイプされた名前（"中心アイテム"図１参照）と、話しかけた要求"住所を調べる"の組合わせの多モードの入力は、自然言語プロセッサ４５によって処理され、ディスパッチャ４４によってアプリケーション・マネージャ５１に送られる。これは図３の"質問"の機能ブロック５５によって表される。記述例では、組合わせ入力は、"ジョー・スミスの住所を調べる"である。機能が実行され、ＤＡＳＤ５２のデータベース・プログラムを介して名前／住所ファイルがアクセスされ、ジョー・スミスの住所を検索する。適切な応答は、ワード・プロセッサのアプリケーション（アプリケーションＡ）によって書かれている手紙にジョー・スミスの検索された住所をペーストすることである。
【００１５】
次に図４に示された例を考える。ユーザはジョー・スミスの名前をタイプしたが、今度は住所を要求する代わりにユーザは音声入力"電話"を与える。図４に示された例では複数の可能な答えがある。第１は、ジョー・スミスの電話番号の検索である。しかし、データベースには２つのジョー・スミスがあった場合、最終的な応答が発生する前に明確にしなければならないあいまい性がある。対話マネージャ４９（図２）は、例えばポップアップ・ウィンドウの形でユーザに対して選択肢を与え、その中の１つを選ぶことを要求する。一方、電話帳にジョー・スミスが載っていない場合がある。その場合は、要求を処理するのに十分な情報がないことになる。対話マネージャ４９は電話帳にジョー・スミスが載っていないことをユーザに告げ、"他を調査しますか"など他の情報を求める。この応答は例えばポップアップ・ウィンドウの中でのテキスト表示、或いは合成音声である。最終的に電話番号が見つかると応答は番号そのものを表示するか、通信アダプタ３４（図１）を介してその番号をダイヤルするかのどれかである。
【００１６】
多モード自然言語インタフェースをサポートする機能は、図２で示されるディスパッチャ４４とアプリケーション・マネージャ５１である。ここで図５を参照すると、ディスパッチャの機能が流れ図で説明されている。ユーザ入力Ｉ１と現アプリケーションからの中心アイテムの入力Ｉ２は機能ブロック５６で単に連結され、"ユーザ入力"＋"中心アイテム"となる。自然言語プロセッサ４５で使用される文法と意味解釈の規則は意図する意味が回復されることを保証する。前述のように多種多様な最先端の自然言語処理システムが自然言語プロセッサ４５の機能を実行するのに使用できる。自然言語プロセッサ４５への連結された入力が、自然言語処理の本質的な順序に合わない場合でも、更に自然言語プロセッサは意図された意味を回復する。例えば、連結された入力が"メアリに送信する"＋＜ファイル名＞、すなわち"メアリに送信する財務データ"を意味する場合、自然言語プロセッサ４５は、これを正しい表現"メアリに＜ファイル名＞を送信する"、すなわち"メアリに財務データを送信する"と理解する。なぜなら自然言語プロセッサは不自然な語順を適切な文法規則を与えることによって分析できるからである。非常に利用が簡単である本システムの特徴は、ユーザ入力及び現アプリケーションから供給された入力が時間的順序で、或いは時間的に重複して入力できる点にある。
【００１７】
図６は、機能ブロック５６においてディスパッチャの機能の他のオペレーション例を示す。この場合、ユーザ入力は"電話"であり、アプリケーション入力は"ジョン・スミス"である。ディスパッチャの連結機能は"ジョン・スミスに電話する"を自然言語プロセッサに出力する。
【００１８】
アプリケーション・マネージャ５１の流れ図が図７に示されており、ここでその説明を行う。所与の入力に対し、アプリケーション・マネージャは最初に機能ブロック６１において自然言語プロセッサ４５によって与えられた意味表現（ＳＲ）から全ての概念を見つける。次に機能ブロック６２において意味表現からその各概念と関連づけて登録されている個々のアプリケーションを決定する。この決定は概念／アプリケーション登録テーブル６３を参照することによって行われる。アプリケーションとは無関係な概念もいくつかあるが、それらは考慮する必要はない。このような概念は辞書に設定されたフラグによって識別できる。アプリケーション特有の各概念が概念／アプリケーション登録テーブル６３にそれらの概念と関連して登録されているアプリケーションの名前と共にリストアップされる。論理的には、このテーブル６３は正にテーブルであり、列はアプリケーション名、行は概念名でラベル付けされている。その例が図８に示されている。アプリケーション特有の概念の集合がひとたび決まると、このような各概念は、概念／アプリケーション登録テーブル６３で調べられ、関連する登録されたアプリケーション名の集合が返される。各概念はこのようにアプリケーション名の集合を生成する。これは"概念アプリケーション集合"と呼ばれる。アプリケーション特有の概念毎に概念／アプリケーション登録テーブル６３を調べて関連するアプリケーション名を検索することにより、全ての概念が処理されてしまうと、いくつかの概念アプリケーション集合が得られる。入力の意味表現から導き出された全ての概念アプリケーション集合に含まれる各アプリケーション名が決定される。論理的には、これは単純な集合論理積によって行われる。その結果、入力の意味表現から導き出されたアプリケーション特有の各概念と関連づけて登録されている全てのアプリケーション名の１つの集合（アプリケーション集合）が得られる。
【００１９】
次に機能ブロック６４において、アプリケーション・マネージャは意味表現を該当するアプリケーションＡｉのＡＰＩコード発生部６５に送る。アプリケーション集合に含まれるアプリケーション名は普通は１つだけであるが、２つ以上のこともある。このような場合、入力は全くあいまいであり、システムはディスパッチャを介してユーザに報告するか、単に意味表現を該当する各アプリケーションのＡＰＩコード発生部に供給するか、またはこれらの両方を行う。本アーキテクチャのどの部分もこの選択には関係せず、パラメータが設定されて、特定の環境でのシステムの実際の動作を決める。また、概念／アプリケーション登録テーブル６３に登録されているアプリケーションにとって入力が無意味であれば、アプリケーション集合は空になる。この事象はディスパッチャへ報告され、なお一層の処理、例えばユーザと対話して必要であれば次の行動を決める。１つのアプリケーションが見つかり、意味表現がそのアプリケーションのＡＰＩコード発生部に送られると、次にアプリケーションは要求されたデータを検索するために、機能ブロック６６において、発生されたＡＰＩコードにもとづいて動作する。
【００２０】
本発明は以上の実施例に限らず様々な変更が可能である。
【図面の簡単な説明】
【図１】本発明が実施されるハードウェア構成を示すブロック図である。
【図２】本発明による多モード・システム・アーキテクチャのブロック図である。
【図３】多モード・システム・オペレーションの第１の例のブロック図である。
【図４】多モード・システム・オペレーションの第２の例のブロック図である。
【図５】ディスパッチャにおける多モード言語入力を組合わせる論理を示す流れ図である。
【図６】ディスパッチャにおける多モード言語入力の組合わせ例を示す図である。
【図７】アプリケーション・マネージャの論理を示す流れ図である。
【図８】アプリケーション・マネージャによって使用される概念／アプリケーション登録テーブルの例である。
【符号の説明】
１０ ＣＰＵ
１２ システム・バス
１４ ＲＡＭ
１６ ＲＯＭ
１８ Ｉ／Ｏアダプタ
２０ ディスク・ドライブ
２２ ユーザ・インタフェース・アダプタ
２４ キーボード
２６ マウス
２８ スピーカ
３２ マイクロホン
３４ 通信アダプタ
３６ ディスプレイ・アダプタ
３８ ディスプレイ
４１ 音声認識装置
４２ スクリーン・マネージャ
４３、４７、４８、５２、５３ ＤＡＳＤ
４４ ディスパッチャ
４５ 自然言語プロセッサ
４６ パーサ
４９ 対話マネージャ
５１ アプリケーション・マネージャ
５４ 応答発生部
６３ 概念／アプリケーション登録テーブル
Claims (8)
- コンピュータ・システムが、ユーザからの自然言語の入力と実行中の現アプリケーションから選択された入力との組合わせによって、ユーザの要求を解釈するための方法であって、
前記コンピュータ・システムで稼働するディスパッチャにより、前記コンピュータ・システムで稼働する音声認識装置、または、前記コンピュータ・システムのキーボード、マウスもしくはタブレットその他の入力装置から前記ユーザからの自然言語の入力を受け取り、前記現アプリケーションから選択された入力を受け取り、前記自然言語の入力と前記選択された入力とを組合わせることにより多モード入力を形成するステップと、
前記コンピュータ・システムで稼働するパーサにより、前記多モード入力の構文を解析するステップと、
前記コンピュータ・システムで稼働する対話マネージャにより、前記パーサにより解析された多モード入力の意味解釈を行って意味表現を生成するステップと、
前記コンピュータ・システムで稼働するアプリケーション・マネージャにより、前記意味表現にもとづいて、前記ユーザの要求を処理すべき補助アプリケーションを決定し、前記補助アプリケーションのアプリケーション・プログラム・インタフェース・コードを発生させ、前記補助アプリケーションを介して要求された情報をアクセスし、前記要求された情報を前記ディスパッチャに供給するステップと、
前記コンピュータ・システムで稼働する応答発生部が、前記ディスパッチャから要求された情報を受け取って、前記ユーザの要求に対する応答を発生するステップと、
を有する、方法。 - 前記対話マネージャにより、前記多モード入力に対する前記コンピュータ・システムの理解をユーザにフィードバックし、ユーザと対話して前記ユーザの要求を明確にするステップを更に有する、請求項１記載の方法。
- 前記ディスパッチャにより、前記ユーザからの自然言語の入力と、前記現アプリケーションから選択された入力とを連結することによって前記多モード入力を形成する請求項２記載の方法。
- 前記アプリケーション・マネージャにより、前記意味表現から全てのアプリケーション特有の概念を見つけ、見つけた概念に関連する全てのアプリケーションを、アプリケーション特有の各概念がアプリケーションと共にリストアップされたテーブルから見つけるステップと、
を更に有する、請求項３記載の方法。 - ユーザからの自然言語の入力と実行中の現アプリケーションから選択された入力との組合わせによって、ユーザの要求を解釈して正しい形態で適当な補助アプリケーションに送って、前記ユーザの要求を処理するコンピュータ・システムであって、
前記ユーザからの自然言語の入力を受け取り、前記現アプリケーションから選択された入力を受け取り、前記自然言語の入力と前記選択された入力とを組み合わせることにより多モード入力を形成するディスパッチャと、
前記多モード入力の構文を解析するパーサと、
前記パーサにより解析された多モード入力の意味解釈を行って意味表現を生成する対話マネージャと、
前記意味表現にもとづいて、前記ユーザの要求を処理すべき補助アプリケーションを決定し、前記補助アプリケーションのアプリケーション・プログラム・インタフェース・コードを発生させ、前記補助アプリケーションを介して要求された情報をアクセスし、前記要求された情報を前記ディスパッチャに供給するアプリケーション・マネージャと、
前記ディスパッチャから前記要求された情報を受け取って、前記ユーザの要求に対する応答を発生する応答発生部と、
を有する、コンピュータ・システム。 - 前記対話マネージャは、前記多モード入力に対する前記コンピュータ・システムの理解をユーザにフィードバックし、ユーザと対話して前記ユーザの要求を明確にする、請求項５記載のコンピュータ・システム。
- 前記ディスパッチャは、前記ユーザからの自然言語の入力と、前記現アプリケーションから選択された入力とを連結することによって前記多モード入力を形成する、請求項６記載のコンピュータ・システム。
- 前記アプリケーション・マネージャは、前記意味表現から全てのアプリケーション特有の概念を見つけ、見つけた概念に関連する全てのアプリケーションを、アプリケーション特有の各概念がアプリケーションと共にリストアップされたテーブルから見つける、請求項７記載のコンピュータ・システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/354,987 US5748974A (en) | 1994-12-13 | 1994-12-13 | Multimodal natural language interface for cross-application tasks |
| US354987 | 1994-12-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08235185A JPH08235185A (ja) | 1996-09-13 |
| JP4012263B2 true JP4012263B2 (ja) | 2007-11-21 |
Family
ID=23395775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32136495A Expired - Lifetime JP4012263B2 (ja) | 1994-12-13 | 1995-12-11 | アプリケーション間タスクのための多モード自然言語インタフェース |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5748974A (ja) |
| JP (1) | JP4012263B2 (ja) |
Families Citing this family (356)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094635A (en) * | 1997-09-17 | 2000-07-25 | Unisys Corporation | System and method for speech enabled application |
| US6556963B1 (en) * | 1997-09-24 | 2003-04-29 | International Business Machines Corporation | User state sensitive system and method for nutrient analysis using natural language interface |
| US6157936A (en) * | 1997-09-30 | 2000-12-05 | Unisys Corp. | Method for extending the hypertext markup language (HTML) to support a graphical user interface control presentation |
| KR980004126A (ko) * | 1997-12-16 | 1998-03-30 | 양승택 | 다국어 웹 문서 검색을 위한 질의어 변환 장치 및 방법 |
| US20020008751A1 (en) * | 1998-03-25 | 2002-01-24 | Stephen L. Spurgeon | Decorating system for edible items |
| US6237053B1 (en) * | 1998-06-30 | 2001-05-22 | Symbol Technologies, Inc. | Configurable operating system having multiple data conversion applications for I/O connectivity |
| EP1101160B1 (en) * | 1998-08-05 | 2003-04-02 | BRITISH TELECOMMUNICATIONS public limited company | Multimodal user interface |
| JP2002523828A (ja) * | 1998-08-24 | 2002-07-30 | ビーシーエル コンピューターズ， インコーポレイテッド | 適応型自然言語インターフェース |
| US6499013B1 (en) * | 1998-09-09 | 2002-12-24 | One Voice Technologies, Inc. | Interactive user interface using speech recognition and natural language processing |
| WO2000021232A2 (en) * | 1998-10-02 | 2000-04-13 | International Business Machines Corporation | Conversational browser and conversational systems |
| US7206849B1 (en) | 1998-10-05 | 2007-04-17 | Symbol Technologies, Inc. | Communication in a wireless communications network when a mobile computer terminal may be unreachable |
| US6246981B1 (en) * | 1998-11-25 | 2001-06-12 | International Business Machines Corporation | Natural language task-oriented dialog manager and method |
| JP2000194559A (ja) * | 1998-12-24 | 2000-07-14 | Canon Inc | 情報処理装置及びその方法、及びそのプログラムを格納した記憶媒体 |
| US6523061B1 (en) | 1999-01-05 | 2003-02-18 | Sri International, Inc. | System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system |
| US6513063B1 (en) | 1999-01-05 | 2003-01-28 | Sri International | Accessing network-based electronic information through scripted online interfaces using spoken input |
| US6757718B1 (en) | 1999-01-05 | 2004-06-29 | Sri International | Mobile navigation of network-based electronic information using spoken input |
| US6742021B1 (en) | 1999-01-05 | 2004-05-25 | Sri International, Inc. | Navigating network-based electronic information using spoken input with multimodal error feedback |
| US6851115B1 (en) | 1999-01-05 | 2005-02-01 | Sri International | Software-based architecture for communication and cooperation among distributed electronic agents |
| US7036128B1 (en) | 1999-01-05 | 2006-04-25 | Sri International Offices | Using a community of distributed electronic agents to support a highly mobile, ambient computing environment |
| US6321198B1 (en) | 1999-02-23 | 2001-11-20 | Unisys Corporation | Apparatus for design and simulation of dialogue |
| DE19937490B4 (de) | 1999-08-07 | 2018-11-29 | Volkswagen Ag | Verfahren und Vorrichtung zur Eingabe von Steuerungsbefehlen für Komfortgeräte, insbesondere in Kraftfahrzeugen |
| AU6630800A (en) | 1999-08-13 | 2001-03-13 | Pixo, Inc. | Methods and apparatuses for display and traversing of links in page character array |
| US6377913B1 (en) * | 1999-08-13 | 2002-04-23 | International Business Machines Corporation | Method and system for multi-client access to a dialog system |
| US7069220B2 (en) * | 1999-08-13 | 2006-06-27 | International Business Machines Corporation | Method for determining and maintaining dialog focus in a conversational speech system |
| EP1079387A3 (en) * | 1999-08-26 | 2003-07-09 | Matsushita Electric Industrial Co., Ltd. | Mechanism for storing information about recorded television broadcasts |
| US6529863B1 (en) * | 1999-08-30 | 2003-03-04 | Lucent Technologies Inc. | Method and apparatus for providing interactive services with multiple interfaces |
| US6609089B1 (en) * | 1999-08-30 | 2003-08-19 | Lucent Technologies Inc. | Method and apparatus for providing interactive services with multiple interfaces |
| US7016827B1 (en) * | 1999-09-03 | 2006-03-21 | International Business Machines Corporation | Method and system for ensuring robustness in natural language understanding |
| US6601026B2 (en) * | 1999-09-17 | 2003-07-29 | Discern Communications, Inc. | Information retrieval by natural language querying |
| US7447635B1 (en) * | 1999-10-19 | 2008-11-04 | Sony Corporation | Natural language interface control system |
| US6510411B1 (en) * | 1999-10-29 | 2003-01-21 | Unisys Corporation | Task oriented dialog model and manager |
| US6622119B1 (en) * | 1999-10-30 | 2003-09-16 | International Business Machines Corporation | Adaptive command predictor and method for a natural language dialog system |
| US7392185B2 (en) | 1999-11-12 | 2008-06-24 | Phoenix Solutions, Inc. | Speech based learning/training system using semantic decoding |
| US7725307B2 (en) * | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
| US9076448B2 (en) * | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
| US7050977B1 (en) * | 1999-11-12 | 2006-05-23 | Phoenix Solutions, Inc. | Speech-enabled server for internet website and method |
| US6513009B1 (en) * | 1999-12-14 | 2003-01-28 | International Business Machines Corporation | Scalable low resource dialog manager |
| US6829603B1 (en) * | 2000-02-02 | 2004-12-07 | International Business Machines Corp. | System, method and program product for interactive natural dialog |
| US6834280B2 (en) | 2000-02-07 | 2004-12-21 | Josiah Lee Auspitz | Systems and methods for determining semiotic similarity between queries and database entries |
| GB0003903D0 (en) | 2000-02-18 | 2000-04-05 | Canon Kk | Improved speech recognition accuracy in a multimodal input system |
| WO2003050799A1 (en) * | 2001-12-12 | 2003-06-19 | International Business Machines Corporation | Method and system for non-intrusive speaker verification using behavior models |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US7962326B2 (en) * | 2000-04-20 | 2011-06-14 | Invention Machine Corporation | Semantic answering system and method |
| US6842892B1 (en) * | 2000-05-15 | 2005-01-11 | Sun Microsystems, Inc. | Automatic generation of an optimized API |
| US6567805B1 (en) * | 2000-05-15 | 2003-05-20 | International Business Machines Corporation | Interactive automated response system |
| US7047196B2 (en) | 2000-06-08 | 2006-05-16 | Agiletv Corporation | System and method of voice recognition near a wireline node of a network supporting cable television and/or video delivery |
| US6957184B2 (en) * | 2000-07-20 | 2005-10-18 | Microsoft Corporation | Context free grammar engine for speech recognition system |
| US7139709B2 (en) * | 2000-07-20 | 2006-11-21 | Microsoft Corporation | Middleware layer between speech related applications and engines |
| US6931376B2 (en) * | 2000-07-20 | 2005-08-16 | Microsoft Corporation | Speech-related event notification system |
| AU2001271940A1 (en) * | 2000-07-28 | 2002-02-13 | Easyask, Inc. | Distributed search system and method |
| US7092928B1 (en) | 2000-07-31 | 2006-08-15 | Quantum Leap Research, Inc. | Intelligent portal engine |
| US6785651B1 (en) * | 2000-09-14 | 2004-08-31 | Microsoft Corporation | Method and apparatus for performing plan-based dialog |
| US7451075B2 (en) * | 2000-12-29 | 2008-11-11 | Microsoft Corporation | Compressed speech lexicon and method and apparatus for creating and accessing the speech lexicon |
| JP2002236681A (ja) * | 2001-02-09 | 2002-08-23 | Inst Of Physical & Chemical Res | 日常言語コンピューティングシステムおよびその方法 |
| US8095370B2 (en) | 2001-02-16 | 2012-01-10 | Agiletv Corporation | Dual compression voice recordation non-repudiation system |
| EP1490790A2 (en) * | 2001-03-13 | 2004-12-29 | Intelligate Ltd. | Dynamic natural language understanding |
| US6996531B2 (en) * | 2001-03-30 | 2006-02-07 | Comverse Ltd. | Automated database assistance using a telephone for a speech based or text based multimedia communication mode |
| FR2824944B1 (fr) * | 2001-05-16 | 2008-09-19 | Mic 2 | Procede de commande vocale et systeme parametrable a commande vocale |
| US20030004706A1 (en) * | 2001-06-27 | 2003-01-02 | Yale Thomas W. | Natural language processing system and method for knowledge management |
| US6868383B1 (en) * | 2001-07-12 | 2005-03-15 | At&T Corp. | Systems and methods for extracting meaning from multimodal inputs using finite-state devices |
| US7069215B1 (en) | 2001-07-12 | 2006-06-27 | At&T Corp. | Systems and methods for extracting meaning from multimodal inputs using finite-state devices |
| US7987151B2 (en) * | 2001-08-10 | 2011-07-26 | General Dynamics Advanced Info Systems, Inc. | Apparatus and method for problem solving using intelligent agents |
| US20030055644A1 (en) * | 2001-08-17 | 2003-03-20 | At&T Corp. | Systems and methods for aggregating related inputs using finite-state devices and extracting meaning from multimodal inputs using aggregation |
| ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
| US6811085B2 (en) * | 2001-10-26 | 2004-11-02 | Symbol Technologies, Inc. | Miniature imager |
| US6891932B2 (en) * | 2001-12-11 | 2005-05-10 | Cisco Technology, Inc. | System and methodology for voice activated access to multiple data sources and voice repositories in a single session |
| US7013275B2 (en) * | 2001-12-28 | 2006-03-14 | Sri International | Method and apparatus for providing a dynamic speech-driven control and remote service access system |
| GB0201174D0 (en) * | 2002-01-18 | 2002-03-06 | British Telecomm | Multi-mode interactive dialogue apparatus and method |
| US7167831B2 (en) * | 2002-02-04 | 2007-01-23 | Microsoft Corporation | Systems and methods for managing multiple grammars in a speech recognition system |
| US8374879B2 (en) | 2002-02-04 | 2013-02-12 | Microsoft Corporation | Systems and methods for managing interactions from multiple speech-enabled applications |
| US7139713B2 (en) * | 2002-02-04 | 2006-11-21 | Microsoft Corporation | Systems and methods for managing interactions from multiple speech-enabled applications |
| US7188066B2 (en) * | 2002-02-04 | 2007-03-06 | Microsoft Corporation | Speech controls for use with a speech system |
| US7603627B2 (en) * | 2002-02-05 | 2009-10-13 | Microsoft Corporation | Systems and methods for creating and managing graphical user interface lists |
| US7257776B2 (en) | 2002-02-05 | 2007-08-14 | Microsoft Corporation | Systems and methods for scaling a graphical user interface according to display dimensions and using a tiered sizing schema to define display objects |
| US7587317B2 (en) * | 2002-02-15 | 2009-09-08 | Microsoft Corporation | Word training interface |
| US7016849B2 (en) * | 2002-03-25 | 2006-03-21 | Sri International | Method and apparatus for providing speech-driven routing between spoken language applications |
| US7398209B2 (en) | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| US8020114B2 (en) * | 2002-06-07 | 2011-09-13 | Sierra Wireless, Inc. | Enter-then-act input handling |
| US7502730B2 (en) * | 2002-06-14 | 2009-03-10 | Microsoft Corporation | Method and apparatus for federated understanding |
| US20040128138A1 (en) * | 2002-06-28 | 2004-07-01 | Andrews Donna B. | Universal type-in line |
| US7693720B2 (en) | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
| US20040044517A1 (en) * | 2002-08-30 | 2004-03-04 | Robert Palmquist | Translation system |
| US8494859B2 (en) * | 2002-10-15 | 2013-07-23 | Gh, Llc | Universal processing system and methods for production of outputs accessible by people with disabilities |
| US7257575B1 (en) * | 2002-10-24 | 2007-08-14 | At&T Corp. | Systems and methods for generating markup-language based expressions from multi-modal and unimodal inputs |
| US7152033B2 (en) * | 2002-11-12 | 2006-12-19 | Motorola, Inc. | Method, system and module for multi-modal data fusion |
| US20040122653A1 (en) * | 2002-12-23 | 2004-06-24 | Mau Peter K.L. | Natural language interface semantic object module |
| US7606714B2 (en) * | 2003-02-11 | 2009-10-20 | Microsoft Corporation | Natural language classification within an automated response system |
| US7669134B1 (en) | 2003-05-02 | 2010-02-23 | Apple Inc. | Method and apparatus for displaying information during an instant messaging session |
| JP4027269B2 (ja) * | 2003-06-02 | 2007-12-26 | キヤノン株式会社 | 情報処理方法及び装置 |
| US20050027539A1 (en) * | 2003-07-30 | 2005-02-03 | Weber Dean C. | Media center controller system and method |
| JP2007514249A (ja) * | 2003-12-16 | 2007-05-31 | スピーチギア，インコーポレイティド | 翻訳機データベース |
| WO2005059712A2 (en) * | 2003-12-17 | 2005-06-30 | Speechgear, Inc. | Translation tool |
| US7401337B2 (en) | 2003-12-19 | 2008-07-15 | International Business Machines Corporation | Managing application interactions using distributed modality components |
| US7409690B2 (en) * | 2003-12-19 | 2008-08-05 | International Business Machines Corporation | Application module for managing interactions of distributed modality components |
| US20050165601A1 (en) * | 2004-01-28 | 2005-07-28 | Gupta Anurag K. | Method and apparatus for determining when a user has ceased inputting data |
| US20050216254A1 (en) * | 2004-03-24 | 2005-09-29 | Gupta Anurag K | System-resource-based multi-modal input fusion |
| US7613666B1 (en) | 2004-04-23 | 2009-11-03 | Microsoft Corporation | Generating a class model from a business vocabulary to represent facts expressible in the business vocabulary |
| US7802231B2 (en) * | 2004-04-30 | 2010-09-21 | Microsoft Corporation | Generating programmatic interfaces from natural language expressions of authorizations for provision of information |
| US7620935B2 (en) * | 2004-04-30 | 2009-11-17 | Microsoft Corporation | Generating programmatic interfaces from natural language expressions of authorizations for request of information |
| US7676754B2 (en) * | 2004-05-04 | 2010-03-09 | International Business Machines Corporation | Method and program product for resolving ambiguities through fading marks in a user interface |
| US7499850B1 (en) | 2004-06-03 | 2009-03-03 | Microsoft Corporation | Generating a logical model of objects from a representation of linguistic concepts for use in software model generation |
| US7613676B2 (en) | 2004-07-27 | 2009-11-03 | Microsoft Corporation | Generating a database model from natural language expressions of business rules |
| US8050907B2 (en) * | 2004-07-30 | 2011-11-01 | Microsoft Corporation | Generating software components from business rules expressed in a natural language |
| US8942985B2 (en) | 2004-11-16 | 2015-01-27 | Microsoft Corporation | Centralized method and system for clarifying voice commands |
| ATE396748T1 (de) | 2004-11-26 | 2008-06-15 | Bae Ro Gmbh & Co Kg | Entkeimungsleuchte |
| US20060136870A1 (en) * | 2004-12-22 | 2006-06-22 | International Business Machines Corporation | Visual user interface for creating multimodal applications |
| US20060155546A1 (en) * | 2005-01-11 | 2006-07-13 | Gupta Anurag K | Method and system for controlling input modalities in a multimodal dialog system |
| WO2006093974A2 (en) * | 2005-03-01 | 2006-09-08 | Irm Llc | Method and system for enterprise data access, annotation and sharing |
| US7703037B2 (en) * | 2005-04-20 | 2010-04-20 | Microsoft Corporation | Searchable task-based interface to control panel functionality |
| US20060253272A1 (en) * | 2005-05-06 | 2006-11-09 | International Business Machines Corporation | Voice prompts for use in speech-to-speech translation system |
| US20060271520A1 (en) * | 2005-05-27 | 2006-11-30 | Ragan Gene Z | Content-based implicit search query |
| US7640160B2 (en) * | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| US20070038641A1 (en) * | 2005-08-09 | 2007-02-15 | John Fawcett | Systems and methods for automated application updating |
| US7620549B2 (en) | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
| US7949529B2 (en) | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
| EP1934971A4 (en) * | 2005-08-31 | 2010-10-27 | Voicebox Technologies Inc | DYNAMIC LANGUAGE SCRIPTURE |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
| US7328199B2 (en) * | 2005-10-07 | 2008-02-05 | Microsoft Corporation | Componentized slot-filling architecture |
| JP4878471B2 (ja) * | 2005-11-02 | 2012-02-15 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| US7822699B2 (en) * | 2005-11-30 | 2010-10-26 | Microsoft Corporation | Adaptive semantic reasoning engine |
| US20070106496A1 (en) * | 2005-11-09 | 2007-05-10 | Microsoft Corporation | Adaptive task framework |
| US7606700B2 (en) * | 2005-11-09 | 2009-10-20 | Microsoft Corporation | Adaptive task framework |
| KR100632400B1 (ko) * | 2005-11-11 | 2006-10-11 | 한국전자통신연구원 | 음성 인식을 이용한 입출력 장치 및 그 방법 |
| US20070130134A1 (en) * | 2005-12-05 | 2007-06-07 | Microsoft Corporation | Natural-language enabling arbitrary web forms |
| US7933914B2 (en) * | 2005-12-05 | 2011-04-26 | Microsoft Corporation | Automatic task creation and execution using browser helper objects |
| US7831585B2 (en) * | 2005-12-05 | 2010-11-09 | Microsoft Corporation | Employment of task framework for advertising |
| US20070136301A1 (en) * | 2005-12-12 | 2007-06-14 | Ip3 Networks | Systems and methods for enforcing protocol in a network using natural language messaging |
| DE102005061365A1 (de) * | 2005-12-21 | 2007-06-28 | Siemens Ag | Verfahren zur Ansteuerung zumindest einer ersten und zweiten Hintergrundapplikation über ein universelles Sprachdialogsystem |
| US20070203869A1 (en) * | 2006-02-28 | 2007-08-30 | Microsoft Corporation | Adaptive semantic platform architecture |
| US7996783B2 (en) * | 2006-03-02 | 2011-08-09 | Microsoft Corporation | Widget searching utilizing task framework |
| US7925975B2 (en) | 2006-03-10 | 2011-04-12 | Microsoft Corporation | Searching for commands to execute in applications |
| US7848917B2 (en) * | 2006-03-30 | 2010-12-07 | Microsoft Corporation | Common word graph based multimodal input |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
| US8756516B2 (en) * | 2006-10-31 | 2014-06-17 | Scenera Technologies, Llc | Methods, systems, and computer program products for interacting simultaneously with multiple application programs |
| US20080155437A1 (en) * | 2006-12-21 | 2008-06-26 | Morris Robert P | Methods, systems, and computer program products for controlling presentation of dynamic content in a presentation element |
| US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| CN101308438B (zh) * | 2007-05-15 | 2012-01-18 | 宏达国际电子股份有限公司 | 多功能装置及其功能的切换方法及其相关电子装置 |
| TWI335528B (en) * | 2007-05-15 | 2011-01-01 | Htc Corp | A device with multiple functions, and a method for switching the functions and related electronic devices thereof |
| ITFI20070177A1 (it) | 2007-07-26 | 2009-01-27 | Riccardo Vieri | Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento. |
| US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
| US8165886B1 (en) | 2007-10-04 | 2012-04-24 | Great Northern Research LLC | Speech interface system and method for control and interaction with applications on a computing system |
| US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
| US8364694B2 (en) | 2007-10-26 | 2013-01-29 | Apple Inc. | Search assistant for digital media assets |
| US20090132506A1 (en) * | 2007-11-20 | 2009-05-21 | International Business Machines Corporation | Methods and apparatus for integration of visual and natural language query interfaces for context-sensitive data exploration |
| US8620662B2 (en) | 2007-11-20 | 2013-12-31 | Apple Inc. | Context-aware unit selection |
| US8140335B2 (en) | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US8219407B1 (en) | 2007-12-27 | 2012-07-10 | Great Northern Research, LLC | Method for processing the output of a speech recognizer |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8327272B2 (en) | 2008-01-06 | 2012-12-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
| US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
| US8289283B2 (en) | 2008-03-04 | 2012-10-16 | Apple Inc. | Language input interface on a device |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US8589161B2 (en) | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
| US20090326925A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Projecting syntactic information using a bottom-up pattern matching algorithm |
| US20090326924A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Projecting Semantic Information from a Language Independent Syntactic Model |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
| US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
| US8355919B2 (en) | 2008-09-29 | 2013-01-15 | Apple Inc. | Systems and methods for text normalization for text to speech synthesis |
| US8583418B2 (en) * | 2008-09-29 | 2013-11-12 | Apple Inc. | Systems and methods of detecting language and natural language strings for text to speech synthesis |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8396714B2 (en) | 2008-09-29 | 2013-03-12 | Apple Inc. | Systems and methods for concatenation of words in text to speech synthesis |
| US8352272B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for text to speech synthesis |
| US8352268B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for selective rate of speech and speech preferences for text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
| US8326637B2 (en) | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US20130219333A1 (en) * | 2009-06-12 | 2013-08-22 | Adobe Systems Incorporated | Extensible Framework for Facilitating Interaction with Devices |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US20110010179A1 (en) * | 2009-07-13 | 2011-01-13 | Naik Devang K | Voice synthesis and processing |
| CN102483917B (zh) * | 2009-07-15 | 2016-03-16 | 谷歌公司 | 针对显示文本的命令 |
| US9502025B2 (en) | 2009-11-10 | 2016-11-22 | Voicebox Technologies Corporation | System and method for providing a natural language content dedication service |
| US9171541B2 (en) | 2009-11-10 | 2015-10-27 | Voicebox Technologies Corporation | System and method for hybrid processing in a natural language voice services environment |
| US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
| US20110110534A1 (en) * | 2009-11-12 | 2011-05-12 | Apple Inc. | Adjustable voice output based on device status |
| US8600743B2 (en) | 2010-01-06 | 2013-12-03 | Apple Inc. | Noise profile determination for voice-related feature |
| US8311838B2 (en) * | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| CN102135849B (zh) * | 2010-01-23 | 2013-06-12 | 国基电子（上海）有限公司 | 一种电子装置及其图形化使用者接口控制方法 |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8983989B2 (en) * | 2010-02-05 | 2015-03-17 | Microsoft Technology Licensing, Llc | Contextual queries |
| US8903794B2 (en) * | 2010-02-05 | 2014-12-02 | Microsoft Corporation | Generating and presenting lateral concepts |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| JP5413673B2 (ja) * | 2010-03-08 | 2014-02-12 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US20110231395A1 (en) * | 2010-03-19 | 2011-09-22 | Microsoft Corporation | Presenting answers |
| US8639516B2 (en) | 2010-06-04 | 2014-01-28 | Apple Inc. | User-specific noise suppression for voice quality improvements |
| US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
| US9104670B2 (en) | 2010-07-21 | 2015-08-11 | Apple Inc. | Customized search or acquisition of digital media assets |
| US8417223B1 (en) | 2010-08-24 | 2013-04-09 | Google Inc. | Advanced voicemail features without carrier voicemail support |
| US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
| US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
| US20120215531A1 (en) * | 2011-02-18 | 2012-08-23 | Nuance Communications, Inc. | Increased User Interface Responsiveness for System with Multi-Modal Input and High Response Latencies |
| US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| WO2012135226A1 (en) * | 2011-03-31 | 2012-10-04 | Microsoft Corporation | Augmented conversational understanding architecture |
| US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
| US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
| US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
| US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
| US9858343B2 (en) | 2011-03-31 | 2018-01-02 | Microsoft Technology Licensing Llc | Personalization of queries, conversations, and searches |
| US9244984B2 (en) | 2011-03-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Location based conversational understanding |
| US9454962B2 (en) | 2011-05-12 | 2016-09-27 | Microsoft Technology Licensing, Llc | Sentence simplification for spoken language understanding |
| US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10672399B2 (en) | 2011-06-03 | 2020-06-02 | Apple Inc. | Switching between text data and audio data based on a mapping |
| US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
| US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US20130074076A1 (en) * | 2011-09-19 | 2013-03-21 | Any.Do Inc. | Automatic task management and resolution systems and methods |
| US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
| US9159322B2 (en) * | 2011-10-18 | 2015-10-13 | GM Global Technology Operations LLC | Services identification and initiation for a speech-based interface to a mobile device |
| US9183835B2 (en) * | 2011-10-18 | 2015-11-10 | GM Global Technology Operations LLC | Speech-based user interface for a mobile device |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US10019994B2 (en) | 2012-06-08 | 2018-07-10 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| JP5853890B2 (ja) * | 2012-07-25 | 2016-02-09 | カシオ計算機株式会社 | ソフトウェア実行制御装置、実行制御方法、及び実行制御プログラム |
| KR102150289B1 (ko) * | 2012-08-30 | 2020-09-01 | 삼성전자주식회사 | 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법 |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
| KR20240132105A (ko) | 2013-02-07 | 2024-09-02 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
| US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
| US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
| US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
| KR20140112910A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 입력 제어 방법 및 이를 지원하는 전자 장치 |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| CN105190607B (zh) | 2013-03-15 | 2018-11-30 | 苹果公司 | 通过智能数字助理的用户培训 |
| AU2014233517B2 (en) | 2013-03-15 | 2017-05-25 | Apple Inc. | Training an at least partial voice command system |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US9195654B2 (en) * | 2013-03-15 | 2015-11-24 | Google Inc. | Automatic invocation of a dialog user interface for translation applications |
| CN112230878B (zh) | 2013-03-15 | 2024-09-27 | 苹果公司 | 对中断进行上下文相关处理 |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| KR101772152B1 (ko) | 2013-06-09 | 2017-08-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3008964B1 (en) | 2013-06-13 | 2019-09-25 | Apple Inc. | System and method for emergency calls initiated by voice command |
| DE102014109121B4 (de) | 2013-07-10 | 2023-05-04 | Gm Global Technology Operations, Llc | Systeme und Verfahren zur Arbitrierung eines Sprachdialogdienstes |
| DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
| JP2015052744A (ja) * | 2013-09-09 | 2015-03-19 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理装置、制御方法、及びプログラム |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9606977B2 (en) * | 2014-01-22 | 2017-03-28 | Google Inc. | Identifying tasks in messages |
| US9631969B1 (en) * | 2014-01-27 | 2017-04-25 | Denny Whalen | High visibility on board digital, semi-trailer scale |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| CN110797019B (zh) | 2014-05-30 | 2023-08-29 | 苹果公司 | 多命令单一话语输入方法 |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9626703B2 (en) | 2014-09-16 | 2017-04-18 | Voicebox Technologies Corporation | Voice commerce |
| US9898459B2 (en) | 2014-09-16 | 2018-02-20 | Voicebox Technologies Corporation | Integration of domain information into state transitions of a finite state transducer for natural language processing |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9747896B2 (en) | 2014-10-15 | 2017-08-29 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
| US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
| US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| WO2016099317A1 (ru) * | 2014-12-19 | 2016-06-23 | Сергей Анатольевич ГОРИШНИЙ | Способ и система визуального управления данными |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| CN105354327A (zh) * | 2015-11-26 | 2016-02-24 | 中山大学 | 一种基于大数据分析的接口api推荐方法及系统 |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10587708B2 (en) | 2016-03-28 | 2020-03-10 | Microsoft Technology Licensing, Llc | Multi-modal conversational intercom |
| US11487512B2 (en) * | 2016-03-29 | 2022-11-01 | Microsoft Technology Licensing, Llc | Generating a services application |
| AU2017249997A1 (en) * | 2016-04-11 | 2018-11-29 | Kiss Digital Media Pty Ltd | Method and system for machine-assisted cross-platform design synchronisation |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US11262909B2 (en) | 2016-06-02 | 2022-03-01 | Myscript | System and method for input recognition linguistic resource management |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| WO2018023106A1 (en) | 2016-07-29 | 2018-02-01 | Erik SWART | System and method of disambiguating natural language processing requests |
| EP3312722A1 (en) * | 2016-10-21 | 2018-04-25 | Fujitsu Limited | Data processing apparatus, method, and program |
| KR20180060328A (ko) | 2016-11-28 | 2018-06-07 | 삼성전자주식회사 | 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버 |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| CN109102802B (zh) | 2017-06-21 | 2023-10-17 | 三星电子株式会社 | 用于处理用户话语的系统 |
| US10747954B2 (en) * | 2017-10-31 | 2020-08-18 | Baidu Usa Llc | System and method for performing tasks based on user inputs using natural language processing |
| US10552410B2 (en) | 2017-11-14 | 2020-02-04 | Mindbridge Analytics Inc. | Method and system for presenting a user selectable interface in response to a natural language request |
| US11599565B2 (en) * | 2018-08-30 | 2023-03-07 | Ncr Corporation | Messaging-enabled travel integration processing |
| KR101993368B1 (ko) * | 2019-04-09 | 2019-06-26 | 삼성전자주식회사 | 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4736296A (en) * | 1983-12-26 | 1988-04-05 | Hitachi, Ltd. | Method and apparatus of intelligent guidance in natural language |
| US5282265A (en) * | 1988-10-04 | 1994-01-25 | Canon Kabushiki Kaisha | Knowledge information processing system |
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| JP3009215B2 (ja) * | 1990-11-30 | 2000-02-14 | 株式会社日立製作所 | 自然語処理方法および自然語処理システム |
| US5442780A (en) * | 1991-07-11 | 1995-08-15 | Mitsubishi Denki Kabushiki Kaisha | Natural language database retrieval system using virtual tables to convert parsed input phrases into retrieval keys |
| US5301326A (en) * | 1991-09-24 | 1994-04-05 | Microsoft Corporation | Method and system for controlling the execution of an application program |
| US5377103A (en) * | 1992-05-15 | 1994-12-27 | International Business Machines Corporation | Constrained natural language interface for a computer that employs a browse function |
| US5390281A (en) * | 1992-05-27 | 1995-02-14 | Apple Computer, Inc. | Method and apparatus for deducing user intent and providing computer implemented services |
-
1994
- 1994-12-13 US US08/354,987 patent/US5748974A/en not_active Expired - Lifetime
-
1995
- 1995-12-11 JP JP32136495A patent/JP4012263B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5748974A (en) | 1998-05-05 |
| JPH08235185A (ja) | 1996-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4012263B2 (ja) | アプリケーション間タスクのための多モード自然言語インタフェース | |
| EP1076288B1 (en) | Method and system for multi-client access to a dialog system | |
| US7188067B2 (en) | Method for integrating processes with a multi-faceted human centered interface | |
| US9466293B1 (en) | Speech interface system and method for control and interaction with applications on a computing system | |
| US7827035B2 (en) | Speech recognition system and method | |
| US5974413A (en) | Semantic user interface | |
| US6208972B1 (en) | Method for integrating computer processes with an interface controlled by voice actuated grammars | |
| KR101004501B1 (ko) | 쿼리에 기초하여 사용자에게 문서의 정보를 렌더링하는 방법, 음성 쿼리에 기초하여 사용자에게 정보를 렌더링하는 방법, 사용자에게 정보를 제공하는 방법, 및 컴퓨터 판독 가능 기록 매체 | |
| US6192339B1 (en) | Mechanism for managing multiple speech applications | |
| US20090313026A1 (en) | Conversational computing via conversational virtual machine | |
| US5897618A (en) | Data processing system and method for switching between programs having a same title using a voice command | |
| US20020059071A1 (en) | Method and apparatus for recognizing from here to here voice command structures in a finite grammar speech recognition system | |
| US6240405B1 (en) | Information processors having an agent function and storage mediums which contain processing programs for use in the information processor | |
| US7430511B1 (en) | Speech enabled computing system | |
| US5946499A (en) | Method and apparatus for processing text inputs from multiple input devices in a plurality of applications | |
| Meng et al. | ISIS: An adaptive, trilingual conversational system with interleaving interaction and delegation dialogs | |
| EP1209660B1 (en) | Voice navigation in web applications | |
| Wyard et al. | A combined speech and visual interface to the BT business catalogue | |
| Normand et al. | of Deliverable: Multimodal interaction techniques | |
| Kurschl et al. | Evaluation of a Mobile Multimodal Application Design-Major Usability Criteria and Usability Test Results. | |
| Dahl | 2 Integrating natural language resources in mobile applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060501 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20070227 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070315 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070320 |
|
| RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20070326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070807 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20070904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070907 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |