JP4171585B2 - ネットワーク調整された会話型サービスを提供するためのシステムおよび方法 - Google Patents
ネットワーク調整された会話型サービスを提供するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP4171585B2 JP4171585B2 JP2000575119A JP2000575119A JP4171585B2 JP 4171585 B2 JP4171585 B2 JP 4171585B2 JP 2000575119 A JP2000575119 A JP 2000575119A JP 2000575119 A JP2000575119 A JP 2000575119A JP 4171585 B2 JP4171585 B2 JP 4171585B2
- Authority
- JP
- Japan
- Prior art keywords
- conversational
- network
- network device
- local
- protocol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000002452 interceptive effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002269 spontaneous effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 43
- 238000007726 management method Methods 0.000 description 13
- 239000008186 active pharmaceutical agent Substances 0.000 description 11
- 238000012546 transfer Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 241000282668 Cebus Species 0.000 description 1
- 241000408659 Darpa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4936—Speech interaction details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/60—Medium conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
- H04M2203/355—Interactive dialogue design tools, features or methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42204—Arrangements at the exchange for service or number selection by voice
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/44—Additional connecting arrangements for providing access to frequently-wanted subscribers, e.g. abbreviated dialling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4931—Directory assistance systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
- Input From Keyboards Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Machine Translation (AREA)
- Navigation (AREA)
- Geophysics And Detection Of Objects (AREA)
- Saccharide Compounds (AREA)
Description
【発明の属する技術分野】
本発明は一般に会話型システムに関し、より詳細には、ネットワーク接続された装置、サーバ、およびアプリケーションの間で会話型関数/リソースを共用するためのシステムおよび方法に関する。
【0002】
【従来の技術】
従来の会話型システム(すなわち、純粋にボイスのI/Oを備えたシステム、またはボイスI/Oを備えたマルチモーダル・システム)は、通常、適したアーキテクチャおよび十分な処理力を有するパーソナル・コンピュータ(PC)およびローカル・計算機に限られている。一方、テレフォニー・アプリケーションでは、会話型システムは通常、サーバ(例えばIVRサーバ)上にあり、従来型のセルラーホンを介してアクセス可能である。このような会話型システムがますます一般的になりつつあるものの、通常、クライアント側とサーバ側のいずれかで、すべての会話型処理が行われる(例えば、すべての構成は完全にローカルであるか、または完全にクライアント/サーバである)。
【0003】
パーベイシブ・コンピューティングの出現に伴い、莫大な数の低リソース・クライアント装置(例えばPDA、スマートホンなど)が相互にネットワーク化されることが予想される。これらのクライアント装置のサイズが小さくなり、ユーザがこのような装置に行わせようと思うタスクが複雑になってきているせいで、ユーザ・インタフェース(UI)がクリティカルな問題となってきている。というのは、このような小さいクライアント装置上の会話型グラフィカル・ユーザ・インタフェース(GUI)は、実用的ではないからである。この理由で、純粋に音声/オーディオのI/O、または音声/オーディオI/Oを備えたマルチモーダルI/Oを提供するには、会話型システムがユーザ・インタフェースの鍵の要素となることが予想される。
【0004】
したがって、携帯クライアント装置における音声組込み会話型アプリケーションが開発されており、成熟しつつある。残念ながらリソースが限られているせいで、このようなクライアント装置は、複雑な会話型サービス、例えば、音声認識(特に語彙サイズが大きいかまたは専門化されているとき、あるいはドメイン特有/アプリケーション特有の言語モデルまたは文法が必要とされるとき)、NLU(自然言語理解)、NLG(自然言語生成)、TTS(テキスト音声合成)、オーディオ取込みおよび圧縮/解凍、再生、ダイアログ生成、ダイアログ管理、話者認識、トピック認識、およびオーディオ/マルチメディア索引付けおよび探索などを行えない場合があることが予想される。例えば、装置のメモリおよびCPU(ならびに他のリソース)の制限により、そのような装置が提供できる会話型能力が制限される可能性がある。
【0005】
さらに、ネットワーク化された装置にこれらの会話型タスクすべてを実行するのに十分な「力」が(CPUおよびメモリの点で)あったとしても、その装置は、適切なタスクを行うための適切な会話型リソース(例えばエンジン)または会話型引き数(すなわちエンジンによって使用されるデータ・ファイル)(文法、言語モデル、語彙ファイル、構文解析、タグ、声紋、TTS規則など)を有しない場合がある。実際、いくつかの会話型関数は、所与のサービスについてあまりに特有かつ固有で、そのためネットワーク上の他の装置または計算機からしか入手可能でないバックエンド情報を必要とするものもある。例えば、クライアント装置上でのNLUサービスおよびNLGサービスは通常、サーバ側の補助を必要とする。というのは、ダイアログを生成するのに必要な会話型引き数または会話型関数の完全なセット(例えばパーサ、タガー、変換機構など)が、格納用メモリ(クライアント装置中で利用可能でない)を大量に必要とするか、またはクライアント側に転送するには大きすぎる(通信帯域幅の点で)からである。この問題は、クライアント装置またはローカル・アプリケーションの有するメモリまたは処理力が、複数言語で音声を処理し会話型関数を実施するのに必要な引き数を格納および処理するには不十分なとき、マルチリンガル・アプリケーションによってさらに悪化する。この代わりにユーザは、このようなタスクを行うためにリモート・サーバに手動で接続しなければならない。
【0006】
クライアントとサーバの間の分散アーキテクチャおよび分散処理に関連する問題はまた、会話型ネットワーキングの新しい方法も必要とする。このような方法は、ネットワークにわたって分散したトラフィックおよびリソースを管理して、ネットワークにわたる会話型対話において各ユーザに対して適切なダイアログ・フローを保証することを含む。
【0007】
【発明が解決しようとする課題】
したがって、ネットワーク化されたリソースをユーザにトランスペアレントな形で使用して、限られたリソースを有するネットワーク装置が複雑かつ特有な会話型タスクを行えるようにするシステムおよび方法が非常に望ましい。
【0008】
【課題を解決するための手段】
本発明は、ネットワーク接続されたサーバおよび装置(およびそれらに対応するアプリケーション)の間で会話型リソースを共用することを実現するためのシステムおよび方法を対象としたものである。本発明の一実施形態によるシステムは、会話型ネットワーク・プロトコル(またはメソッド)を使用してメッセージを通信することによって相互を「会話型に認識している」ようになる、ネットワーク化された複数のサーバ、装置、またはアプリケーション、あるいはそれらすべてを含む。会話型ネットワーク・プロトコル(またはメソッド)は、会話型に認識している各ネットワーク装置が会話型リソースを共用することを可能にし、したがって、ネットワーク装置のうちの1つのインタフェースを介してシームレスな会話型インタフェースを提供する。
【0009】
本発明の一態様によれば、会話型リソースを共用することを実現するためのシステムは、
少なくとも第1および第2のネットワーク装置を含むネットワークを含み、
第1および第2のネットワーク装置はそれぞれ、
会話型リソースのセットと、
会話を管理し、会話型サービスを要求する呼出しを実行するためのダイアログ・マネージャと、
ネットワークを介し会話型プロトコルを使用してメッセージを通信するための通信スタックとを備え、会話型プロトコルによって通信されるメッセージは、第1および第2の装置それぞれに要求された会話型サービスを実施するのに必要なとき、それらのダイアログ・マネージャ間でネットワーク通信を確立して、第1および第2のネットワーク装置の会話型リソースのセットを共用する。
【0010】
本発明によれば、低リソースのクライアント装置がトランスペアレントに、単純なタスクをローカルで行い、かつ、複雑なタスクを、より複雑な会話型能力を有するサーバ(または他の装置)とのバイナリ接続またはアナログ接続で行うことができる。サーバ側の関数(音声認識など)は、通常のIPネットワークまたはLANネットワークを介して実施することができ、かつ、従来型の電話回線、またはパケット交換ネットワークを介したディジタル伝送を介して実施することができ、あるいは、無線ネットワークを介した従来型の無線データ・プロトコルのいずれかを介して実施することもできる。
【0011】
本発明は有利にも、限られたCPU、メモリ、および電力の能力(ならびに限られた会話型リソース)で、成熟した会話型ユーザ・インタフェースまたは任意の装置(パーベイシブ組込み装置など)を提供する。これは、例えば必要な会話型引き数をネットワーク・サーバからダウンロードする必要なしに、低リソースのクライアント装置を使用して複雑な会話型サービスを提供する。ローカル能力により、ユーザは、例えば無線電話プロバイダの受信可能範囲外で、接続を必要とせずにローカル装置を利用することができる。継続接続のコストもまた削減され、そのような継続接続が失われたときの復旧の難しさも軽減することができる。
【0012】
【発明の実施の形態】
本発明が様々な形のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはこれらの組合せにおいて実装できることを理解されたい。好ましくは、本発明はプログラム命令を含むアプリケーションとしてソフトウェア中に実装され、このプログラム命令は、プログラム記憶装置(例えば磁気フロッピー・ディスク、RAM、CD−ROM、ROM、およびフラッシュ・メモリ)上に実体として組み込まれ、1つまたは複数の中央演算処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、およびオーディオ入出力(I/O)インタフェースなどの適したアーキテクチャを備えた任意の装置や計算機で実行することができる。
【0013】
添付の図面に示す要素システム・コンポーネントおよび方法ステップのいくつかはソフトウェア中に実装することが好ましいため、システム・コンポーネント(またはプロセス・ステップ)間のつながりは、本発明をプログラミングする仕方に応じて実際のつながりとは異なる場合があることもさらに理解されたい。当業者なら、本明細書の教示があれば、本発明のこれらおよび類似の実施態様または構成を企図することができるであろう。
【0014】
ここで図1を参照すると、本発明の例示的な実施形態による、ネットワーク化された装置間で会話型リソースおよび会話型引き数(データ・ファイル)を共用することによって会話型サービスを提供するためのシステムがブロック図に示されている。このシステムは、オーディオ/音声入力を処理するため、およびクライアント装置100によって生成されたオーディオ/音声を出力するための音響フロントエンド101を備えたローカル・クライアント装置100を備える。クライアント装置100は、例えばスマートホンまたは任意の音声使用可能PDA(personal digital assistant)とすることができる。クライアント装置100はさらに、音響フロントエンド101によって生成されたかまたは取り込まれた、あるいはその両方がなされた音響特徴または波形あるいはその両方を処理するため、およびユーザに出力するダイアログを生成するための、1つまたは複数のローカル会話型エンジン102も含む。ローカル会話型エンジン102は、例えば、組込み音声認識、話者認識エンジン、TTSエンジン、NLUおよびNLGエンジン、オーディオ取込みおよび圧縮/解凍エンジン、ならびにその他任意のタイプの会話型エンジンを含むことができる。
【0015】
クライアント装置100はさらに、ローカル・ダイアログ・マネージャ103も備え、このローカル・ダイアログ・マネージャ103はタスク管理を行い、システム呼出し(APIまたはプロトコル呼出し)を介して要求された会話型サービスを(ローカルで、またはネットワーク装置を介して)実行すること、ならびにローカルで、かつネットワーク化された装置によってダイアログを管理することの制御および調整をする。より具体的には、以下により詳細に説明するようにダイアログ・マネージャ103は、所与の会話型サービスをクライアント100上でローカルに処理および実行すべきか、あるいはネットワーク接続されたリモート・サーバ(または装置)上で処理および実行すべきかを決定する。この決定は、他のネットワーク化された装置の能力と比較したクライアント100の会話型能力、ならびに要求された会話型サービスを処理するのに必要な可能性のある利用可能なリソースおよび会話型引き数などのファクタに基づく。その他のファクタには、ネットワーク化された装置から結果を受信する際のネットワーク・トラフィックおよび予期される遅延が含まれる。ダイアログ・マネージャ103は、負荷管理やリソース割振りなどのタスク管理およびリソース管理のタスク、ならびにローカル会話型エンジン102と音声使用可能ローカル・アプリケーション104との間のダイアログ管理を行う。
【0016】
一例として図1に示すように、クライアント装置100は、ネットワーク105を介してサーバ106にネットワーク接続され、このサーバ106は、必要に応じてクライアント装置100(あるいはいずれか他のネットワーク装置またはアプリケーション)に会話型サービスを提供するためのサーバ・アプリケーション109ならびにサーバ会話型エンジン107を含む。ローカル・エンジン102と同様、サーバ・エンジン107は、例えば組込み音声認識、TTSエンジン、NLUおよびNLGエンジン、オーディオ取込みおよび圧縮/解凍エンジン、ならびにその他任意のタイプの会話型エンジンを含むことができる。サーバ106は、前述のローカル・ダイアログ・マネージャ103と同様の仕方で動作するサーバ・ダイアログ・マネージャ108を備える。例えば、サーバ・ダイアログ・マネージャ108は、会話型サービスを求めるローカル・ダイアログ・マネージャ103からの要求がサーバ106によって処理および実行されるべきか、あるいはネットワーク接続された別のリモート・サーバまたは装置上で処理および実行されるべきかを決定する。さらに、サーバ・ダイアログ・マネージャ108は、サーバ会話型エンジン107と音声使用可能サーバ・アプリケーション109との間のダイアログを管理する。
【0017】
図1のシステムにはさらに、クライアント装置100およびリモート・サーバ106がサーバ110にネットワーク接続されているのが示されており、このサーバ110は、クライアント100およびサーバ106から必要に応じてアクセス可能な会話型エンジンまたは会話型引き数、あるいはその両方を有する。ネットワーク105は、例えばインターネット、LAN(ローカル・エリア・ネットワーク)、団体イントラネット、PSTN(公衆交換電話網)、または無線ネットワーク(RF(無線周波)を介した無線通信の場合)、またはIR(赤外線)とすることができる。図1にはクライアント/サーバ・システムを示してあり、この用語は当業者には理解されているが、図1のシステムは、会話型関数、引き数、およびリソースを共用することを実現するように、相互を「会話型に認識している」ネットワーク化された複数のサーバ、装置、およびアプリケーションを含むことができることを理解されたい。以下により詳細に説明するが、このような「会話型の認識」は、会話型ネットワーク・プロトコル(またはメソッド)を使用して、メッセージを送信し、それらのメッセージをそれぞれのダイアログ・マネージャによって処理して、ネットワーク化された装置が会話型リソースおよび関数を共用できるようにすることによって達成される。このような会話型調整は、1つのネットワーク装置のインタフェースを介してリモートのサーバ、装置、およびアプリケーションにアクセスするためのシームレスな会話型インタフェースを提供する。
【0018】
具体的には、ネットワーク化された装置間で会話型調整を実現してそれらの会話型関数、リソース、および引き数を共用するために、ネットワーク化された各装置は、会話型プロトコル(またはメソッド)を使用してメッセージを通信し、それらの会話型能力および要件に関する情報を交換する。例えば図1に示すように、クライアント装置100は、会話型プロトコル112、会話型発見/登録/折衝プロトコル113、および音声伝送プロトコル114(または会話型コーディング・プロトコル)を使用してメッセージを送受信するための通信スタック111を備える。同様に、サーバ106も、会話型プロトコル116、会話型発見/登録/折衝プロトコル117、および音声伝送プロトコル118を有するサーバ通信スタック115を備える。
【0019】
簡潔に言うと、会話型プロトコル112、116は、ネットワーク化された装置(例えばクライアント100およびサーバ106)またはアプリケーションが、それらの会話型状態、引き数、およびコンテキストを他のネットワーク装置のダイアログ・マネージャに登録するためのメッセージを送信できるようにするプロトコル(またはメソッド)である。会話型プロトコル112、116はまた、アプレットや、ActiveXコンポーネントや、装置または関連アプリケーションがマスタ/スレーブまたはピア・ツー・ピアの会話型ネットワーク構成においてそのような装置間の会話を調整できるようにするその他の実行可能コードなど、他の情報も装置が交換できるようにする。分散会話型プロトコル112、116は、マスタ/スレーブ会話型ネットワーク、ピア会話型ネットワーク、サイレント・パートナーを含めた、複数の装置またはアプリケーションに関係する会話を調整するための情報の交換を可能にする。ネットワーク化された装置間で分散会話型プロトコルを使用して交換できる情報には、データ・ファイル(引き数)へのポインタ、データ・ファイルおよびその他の会話型引き数の転送(必要なら)、入力に関する通知、出力イベントおよび認識結果、会話型エンジンAPI呼出しおよび結果、状態およびコンテキストの変化とその他のシステム・イベントの通知、登録更新、登録のためのハンドシェーク、折衝更新、折衝のためのハンドシェーク、および要求されたリソースが紛失したときの発見更新が含まれる。
【0020】
(分散)会話型プロトコルはまた、ダイアログ・マネージャがサービス、挙動および会話型アプリケーション、I/OおよびエンジンAPIを分散できるようにする、ダイアログ・マネージャ(DM)プロトコルも含む。例えば、DMプロトコルは以下の情報を交換できるようにする。すなわち、(1)DMアーキテクチャ登録(例えば各DMはローカルDMの集合とすることができる)、(2)関連メタ情報(ユーザ、装置能力、アプリケーション・ニーズなど)へのポインタ、(3)DMネットワーク・トポロジ(例えばマスタ/スレーブ、ピア・ツー・ピア)の折衝、(4)適用可能ならば、すなわちマスタDMによって制御されるエンジンが使用されているなら、データ・ファイル(会話型引き数)、(5)エンジンへの転送またはコンテキストへの追加あるいはその両方のためのユーザ入力やユーザへの出力などのI/Oイベントの通知、(6)認識イベントの通知、(7)エンジンからマスタDMへの処理済み入力の転送、(8)登録済みDMへの、マスタDMの責任の転送、(9)DM処理結果イベント、(10)DM例外、(11)信頼度および不明瞭さの結果、提案されたフィードバックおよび出力、提案された例外状態、提案されたアクション、提案されたコンテキスト変更、および提案された新しいダイアログ状態の転送、(12)決定通知、コンテキスト更新、アクション更新、状態更新など、(13)完了した、失敗した、または中断されたアクションの通知、(14)コンテキスト変更の通知、または(15)アクションによる、データ・ファイル、コンテキスト、および状態の更新であり、あるいはこれらすべてである。
【0021】
例えば、マスタ・スレーブ・ネットワーク構成では、ネットワーク化された装置のうち1つだけが、いずれか所与の時に会話を駆動する。具体的には、マスタ装置(すなわちマスタ装置のダイアログ・マネージャ)が、ネットワーク装置間の会話を管理および調整し、どの装置が所与の会話型サービスまたは会話型関数を実施することになるかを決定する。この決定は、各装置または各アプリケーションから提供されたそれらの会話型能力に関する情報に基づくことができる。この決定はまた、どのスレーブ装置(必要な会話型能力を有する)が最適に所与の会話型関数を実施できるかをマスタが決定することに基づくこともできる。例えばマスタは、音声認識を行ってその結果をマスタに提供するよう複数のスレーブに要求することができる。次いでマスタは、最適な結果を選択することができる。本明細書において音声認識のレベルで述べるものは、分散ダイアログ・マネージャ間のDM(ダイアログ・マネージャ)プロトコルのレベルの機構であることを理解されたい。実際、複数のダイアログ・マネージャ間でダイアログが発生するとき、マスタは、各ダイアログ・マネージャの結果スコアの測定値を得ることになり、それに応じ、音声認識の正確度だけでなくダイアログ(意味)、コンテキスト、および履歴(ならびにユーザの選好、履歴、およびアプリケーションの選好など、検討中の他のアイテム)にも基づいて、どのダイアログ・マネージャが入力を続行するかを知るために決定を行うことになる。
【0022】
ピア・ツー・ピア接続では、各装置が、実施できる関数を決定し、そのようにする要求をログしようとすることになる。このタスクを受け入れた装置は、このようなタスクを行い、次いでその性能のスコアを得る。次いで装置は、それらのスコアに基づいて、どの装置がそのタスクを行うかを折衝する。
【0023】
一実施形態では、分散会話型プロトコル112、116は、RMI(リモート・メソッド呼出し)またはRPC(リモート・プロシージャ呼出し)システム呼出しを介して実施されて、アプリケーションおよび様々な会話型エンジンの間でネットワークを介して呼出しを実施する。当技術分野で周知のように、RPCは、あるアプリケーションがネットワークを横断して別のアプリケーションにサービスを要求できるようにするプロトコルである。同様に、RMIは、分散ネットワーク中でオブジェクトがそれによって対話できるメソッドである。RMIにより、1つまたは複数のオブジェクトを要求と共に渡すことができる。さらに、情報は、CORBAまたはDCOMを介して交換されるオブジェクトに格納するか、または宣言型で(XMLを介するなどによって)呈示することができる。CVM(会話型仮想計算機)シェルによってサポートされる会話型関数を、会話型APIを介して会話型アプリケーションとCVMシェルとの間で分散実装すること、または会話型エンジンAPIを介してCVMと会話型エンジンとの間で分散実装することを達成するために、会話型プロトコル(メソッド)(または分散プロトコル)を使用することができる。会話型エンジンAPIは、コア・エンジンおよびそれらを使用するアプリケーションと、コア・エンジン(ローカルのまたはネットワーク化された、あるいはその両方の)と通信するためのプロトコルとの間のインタフェースである。会話型APIは、会話型に認識しているアプリケーションをフック(hook)するかまたは開発するためのAPIレイヤを提供し、このAPIレイヤは、会話型ユーザ・インタフェースを構築するための土台のクラスおよびコンポーネントを含む。
【0024】
同様に、本発明によるダイアログ・マネージャは、APIを介してアプリケーションおよびエンジン(ローカルのまたはネットワーク化された、あるいはその両方の)と通信することができる。このようにしてダイアログ・マネージャは、あたかもローカル・アプリケーションであるかのようにすべてのリモート・プロシージャ(リモート・エンジンおよびリモート・アプリケーションへの手続き型呼出し)からの結果およびコール・バックに作用し、それにより、例えばアプリケーションおよびリソース(ローカルのまたはネットワーク化された、あるいはその両方の)の間を調停して、アクティブなアプリケーションを優先順位付け、決定し、どの結果をアクティブとみなすかを決定することができる。
【0025】
会話型発見/登録/折衝プロトコル113、117は、ローカル・システムまたは会話型に認識しているネットワーク・システム(すなわち会話型プロトコルを「話す」アプリケーションまたは装置)を「発見」するのに使用されるネットワーク・プロトコル(またはメソッド)である。登録プロトコルは、装置またはアプリケーションがそれらの会話型能力、状態、および引き数を登録できるようにする。折衝プロトコルは、装置がマスタ・スレーブ、ピア・ツー・ピア、またはサイレント・パートナーのネットワークを折衝できるようにする。
【0026】
一実施形態では、発見プロトコルは、「ブロードキャストおよびリッスン」手法を実装して、他の「ブロードキャストおよびリッスン」装置からのリアクションをトリガする。これにより、例えば、動的かつ自発的なネットワーク(以下に考察するBluetoothネットワークおよびホッピング・ネットワークなど)を生み出すことができる。別の実施形態では、異なるネットワーク装置の「アドレス」を登録するデフォルト・サーバ(おそらくはマスタ)設定を使用することができる。この実施形態では、発見は、ネットワーク中の各装置がサーバと通信して、そのような装置にどの装置が接続するかを決定するために登録済み装置のリストをチェックすることである。発見プロトコルを介して交換される情報は、以下の通りである。すなわち、(1)ハンドシェークまたは要求のリッスンに対するブロードキャスト要求、(2)装置識別子の交換、(3)最初の登録に対するハンドル/ポインタの交換、および(4)最初の折衝に対するハンドルの交換である。
【0027】
登録プロトコルを実施する場合の一実施形態では、接続時、装置は、フラグのセットまたは装置特性オブジェクトを交換することにより、それらの会話型能力に関する情報を、事前構成済みのプロトコル(例えばTTS英語、任意のテキスト、音声認識、500ワード+FSG文法、話者なし認識など)で交換することができる。同様に、アプリケーションもエンジン要件リストを交換することができる。マスタ/スレーブのネットワーク構成では、マスタ・ダイアログ・マネージャが、すべてのリストを編集し、関数およびニーズを会話型能力とマッチさせることができる。マスタ装置(ダイアログ・マネージャ)がない場合は、共通サーバを使用して、ネットワーク中の各計算機または装置に会話型情報を送信することができる。登録プロトコルによれば、以下の情報を交換することができる。すなわち、(1)定義および更新イベントを含めた、能力および負荷メッセージ、(2)エンジン・リソース(所与の装置がNLU、DM、NLG、TTS、話者認識、音声認識、圧縮、コーディング、記憶などを含むかどうか)、(3)I/O能力、(4)CPU、メモリ、および負荷能力、(5)データ・ファイルのタイプ(ドメイン特有、辞書、言語モデル、言語など)、(6)ネットワーク・アドレスおよび機能、(7)ユーザに関する情報(定義および更新イベント)、(8)装置、アプリケーション、またはダイアログに対するユーザ選好、(9)カストマイズ、(10)ユーザ経験、(11)ヘルプ、(12)アプリケーション(およびアプリケーション状態)ごとの能力要件(定義および更新イベント)、(13)CUIサービスおよび挙動(ヘルプ・ファイル、範疇、会話型優先度など)に関するメタ情報(定義および更新イベント、通常はテーブルへのポインタを介する)、(14)プロトコル・ハンドシェーク、または(15)トポロジ折衝、あるいはこれらすべてである。
【0028】
登録は、TCP/IP、TCP/IP29、X−10またはCEBusなどの従来の通信プロトコル、および装置間のソケット通信を使用して行うことができる。装置は、分散会話型アーキテクチャを使用して、それらに関連する会話型エンジンおよびダイアログ・マネージャに、それらの会話型引き数(例えばアクティブな語彙、文法および言語モデル、構文解析および変換/タグ付けモデル、声紋、合成規則、ベースフォーム(発音規則)、ボイス・フォント)を通信する。この情報は、ダイアログ・マネージャおよび会話型エンジンへのファイルまたはストリームとして、あるいはURLとして渡される。さらに、装置またはアプリケーションのコンテキスト・スタック/履歴を示すか渡すか指すことによってコンテキスト情報を送信することもでき、コントローラはそれにアクセスしてそのコンテキスト・スタックに追加することができる。装置はまた、それらのマルチモーダルI/OおよびUIの能力(画面/画面なし、オーディオ・イン/アウト機能、キーボードなど)に関する情報も渡す。会話型引き数により、ダイアログ・エンジンは、現在の状態およびコンテキストに基づいてNLUエンジンによる新しい照会の関連性を推定することができる。
【0029】
折衝プロトコルに関しては、ネットワーク装置およびアプリケーションは、各ネットワーク装置のニーズおよび能力の登録時に、折衝中の所与の一時構成を主張することができる。アプリケーションによって構成(すなわちトポロジ)が強いられる場合は、この決定が強いられる。そうでない場合は、マスタまたはスレーブまたはピアになることを要求することができる。要求の計数に基づいて、好ましい構成が決定され、(各装置/アプリケーションが保持する利用可能なリソースのテーブル中にある)すべての装置およびアプリケーションに通信される。システムは、その状態及び要件を変更するときは常に、ネットワーク化された他のダイアログ・マネージャ/リソースに通信して、新しい折衝を開始し、新しい状態およびコンテキスト情報を通信する。
【0030】
音声伝送プロトコル114、118は、装置が圧縮音声またはローカル処理結果をネットワーク上の他の装置およびアプリケーションとの間で送受信できるようにする。会話型エンジン102、107は、音声(または結果)を送信用に圧縮するため、および、ネットワークを介して別の装置またはアプリケーションから得られた圧縮音声(または結果)をローカル処理用に解凍するための圧縮/解凍エンジンを含むことが好ましい。音声伝送プロトコルは、処理に向けてネットワーク化された他の装置、システム、またはアプリケーションとの間で圧縮音声を送受信するために、装置中で実行される音声伝送クライアントによって利用される。装置の音声伝送クライアントは、ネットワークを介して伝送される音声を処理するのに適した圧縮ハードウェアを使用して、圧縮、解凍、および再構築のエンジンと共に動作する。音声コーダが、圧縮音声を知覚的に許容できるかまたは理解できるように再構築すること、および会話型性能(例えば単語エラー率)を最適化することを可能にする。音声は、ネットワーク化されたそれぞれの装置上で、音響信号処理エンジン(オーディオ・サブシステム)および適したオーディオ・ハードウェアを使用して取り込まれる(かつ、特徴に変形される)。さらに、音声を処理するために、圧縮音声ファイル・フォーマットを装置間で送受信することもできる。より具体的には、音声伝送プロトコルは、装置が圧縮音声またはローカル処理結果をネットワーク上の他の装置およびアプリケーションとの間で送受信できるようにする。一実施形態では、送信装置と受信装置との間のハンドシェーク・プロセスの後、データ・ストリーム(パケット・ベース)が受信側に送信される。パケット・ヘッダが、音声(または結果)をエンコードするためのコーディング方式およびコーディング引き数(すなわちサンプリング周波数、特徴特性、次元、フロントエンドに加えられる変形、フロントエンドの性質など)を指定することが好ましい。さらに、誤り訂正情報(例えば、直前のパケットが紛失したか遅延した場合に差動デコーダを訂正するための、直前パケットの最後の特徴ベクトル)、または紛失したパケットを回復(再送)するための適切なメッセージングを導入することもできる。
【0031】
また、ダイアログ・マネージャは、ダイアログ・マネージャ・プロトコルすなわちDMプロトコルを介して通信することができる。DMプロトコルを使用して、どのダイアログ・マネージャがアクティブか、またはどのダイアログ・マネージャが入力を受け取るべきかを複数のダイアログ・マネージャ間で折衝する。ここでの場合、サーバ・リソースは本当に必要なときだけ「ポーリング」されるので、DMプロトコルは変形形態を形成する。すなわち、ローカル・ダイアログ・マネージャは推測的に(アプリオリ)に、その関数をリモートで実施すべきかどうかを決定しようとする。間違いや疑問がある状況で、ダイアログ・マネージャはローカル・エンジンからの推測を待機し、疑問が残る場合に比較するためにサーバをポーリングすることを決定することができる。
【0032】
したがって上の考察に基づけば、ネットワーク・プロトコルが、会話型サービスおよび会話型関数を共用するために調整(または調整されたインタフェース)をネットワーク化された装置間で可能にすることが明らかになるはずである。調整されたインタフェースという用語は、異なるアクター(装置/アプリケーション)すべてが、あたかも会話全体を理解しており、いずれか所与の時間にどれが対象とされているかが適切に分かっているかのように、それらの間で単一の会話を保持できることを意味する。各会話型システムまたはアプリケーションの挙動は、ダイアログ・マネージャ(例えばマスタ・スレーブ・モードでのマスタ)、アプリケーション(どれがマスタ、スレーブ、またはピアかを確定できるもの)、システム・ダイアログ・マネージャ(もしあれば)、アーキテクチャおよび折衝(ピア・ツー・ピア・モードで)によって制御/管理して、各会話型関数を適切なシステム上で、ユーザにはトランスペアレントに実行することができる。いくつかの会話型関数、システム、およびリソースがいくつかのネットワーク化装置(例えばセルラーホン、ページャ、PDA)に備わっている可能性があるにもかかわらず、クライアント装置のユーザにはシームレスな会話型インタフェースが提供される(すなわち、すべての会話型対話が単一の会話型システムを介しているように見える)。
【0033】
調整された会話型システムの一例は、UCA(汎用会話型アプライアンス)と呼ばれるリモート制御装置である。UCAは、会話型に認識しているアプライアンスを発見する。会話型に接続された各アプライアンスは、その会話型引き数(語彙および文法)をUCAに送信することになる。UCAは、このようなアプライアンスに対するマスタとして働き、ユーザによる会話型対話がそのアプライアンスへのコマンドとなったときに適切なアプライアンスを更新する。反対に、コマンドの実行時、またはアプライアンスが状態を変更した時ごとに、アプライアンスはリモート制御装置に更新を送信する。他の会話型能力を(対応する引き数以外に)有しない会話型アプライアンスは、いわゆる「サイレント・パートナー」である。
【0034】
別の実施形態では、サーバまたは基地局が、リモート制御装置(すなわちUCA)によって実施されるオーディオ取込み/圧縮/シッピングを除いたすべての会話型関数を実施することができる。リモート制御装置はまた、いくつかのUIをユーザに提供して、異なるアプライアンスの状態をユーザに知らせることもできる。これは、音声、GUI、あるいはこれらのモーダル性(またはその他)の会話型組合せのいずれかを介して行うことができる。
【0035】
会話型ネットワーク・トポロジは図1のシステムに関して採用することもできるが、好ましいネットワーク・トポロジは、自発的な動的ネットワーキング(すなわち、ある通信範囲内の装置間で自発的に構築されるネットワーク)を実現するものである。このような自発的ネットワーキングは、現在登場しつつある「Bluetooth」ネットワーキング・プロトコルを使用して実施することができ、Bluetoothについては、例えばhttp://www.bluetooth.comに記述されている。簡潔に言えば、Bluetoothとは、その場限りの無線ネットワーク接続性を実現するネットワーク・プロトコルに対するコードネームである。より具体的には、Bluetoothは、特定の範囲内にある装置(スマートホン、セルラーホン、ページャ、PDA、ラップトップ・コンピュータ、モバイル・ユニットなど)の間で短距離無線リンクを実現して、そのような装置間で動的かつ自発的にネットワーク(またはいわゆる「ピコネット」)を確立するプロトコルである。ピコネットとは、ネットワーク接続の残りの間でマスタとして働く各ピコネット中の1つのノードとその場限りの形で接続されたBluetooth使用可能装置(ノード)の集合を言う。2つ以上のピコネットをネットワーク接続すると、いわゆるスキャタネット(scatternet)を形成することができる。
【0036】
本発明によれば、自発的な動的ネットワーキング・プロトコルならどれでも実装できることを理解されたい。例えば、「ホッピング」通信ネットワークに従って実装することができる。
【0037】
次に図2を参照すると、本発明の一態様による、ネットワーク化された装置間で会話型関数を共用することを実現する方法を流れ図に示してある。具体的には、図2には、図1のシステムの動作方法の1つをより詳細に示してある。最初に、例えばディジタル化音声信号の関連特徴をディジタル化し抽出することによって事前処理されたローカル・クライアント装置に、ユーザが音声コマンドを言う(または他の方法で照会を発行する)(ステップ200)。あるいは、ローカル・ダイアログ・マネージャが、ユーザに出力するための合成音声(TTS)を生成する要求をローカル・アプリケーション104から受け取ることもできる(ステップ200)。
【0038】
ローカル処理が利用可能かどうか、例えば音声認識または音声合成がローカルで行えるかどうかについての判定が(ローカル・ダイアログ・マネージャ103を介して)なされる(ステップ201)。この判定のために、ローカル・ダイアログ・マネージャ103は、認識/合成を行わなければならないリモート・サーバを明示的に事前定義できることを理解されたい(例えば、ソケット接続用のIPアドレス、サーブレットを介したサーバ・ベースの記録用のURLアドレス、あるいは直接接続用またはIVRへの接続用の電話番号)。さらに、タスクを行う(または効率的に行う)ための利用可能なリソースまたは引き数をローカル装置が有しないという判定を、アプリケーションによってヘッダ・ファイル中に示されるリソース要件に基づいて、ローカル・アプリケーション104の実行時にダイアログ・マネージャ103によって行うこともできる。さらに、あるコマンドまたは要求された関数で、ダイアログ・マネージャをリモート・サーバに接続させることもできる。例えば、セキュリティ・アプリケーション(例えば話者検証)をサーバ側処理に切り替え、声紋がクライアントに配信されないようにすることができる。さらに、ローカルのカー・ナビゲーション・システムを、電話またはソケット・ベースのサーバを使用してリモート・サーバ側に切り替え、ローカル装置が大量のナビゲーション情報を記憶しなくてもよいようにすることもできる。
【0039】
ローカル処理が利用可能だと判定された場合(ステップ201で肯定判定)、処理は、ローカル・エンジン102を介してローカルで行われる(ステップ202)。一方、ローカル処理が利用可能でないと判定された場合(ステップ201で否定判定)、関連する特徴/波形/情報が、ネットワーク接続されたリモート・サーバに(IP、LAN、Bluetooth、IR、RFを介して、あるいは電話またはIP電話を介して)送信され(ステップ204)、そこで、(おそらくはいくつかのユーザ/サーバ対話によって)リモート処理(例えば音声認識/合成)が行われる(ステップ205)。
【0040】
ローカル・クライアントからネットワーク接続されたリモート・サーバへの音声の送信(またはその逆)は、様々な技術を使用して行えることを理解されたい。例えば、波形をファイル、ストリーム、またはパケットのストリームとして直接送信することができる。また、ADPCMやAPCなどの従来の方法を使用して圧縮波形を送信することもできる。さらに、参照されるG. Ramaswamy他の「Compression Of Acoustic Features For Speech Recognition In Network Environments」Vol. 2、pp.977〜980、Proc. ICASSP、1998に開示されている方法に従って特徴のストリームを送信することもできる。この方法では、受信側での認識(音声認識、話者認識、またはNLU)はできるが、信号の再構築はできない。また、音声の送信は、圧縮した特徴およびピッチ推定に基づくコーディング方法または方式であって、理解できる再生、さらには快適な再生(再生、訂正、人間による次の処理、またはアーカイブ)に十分な質で音声信号を再構築できるようなコーディング方法または方式なら、どれを使用しても行うことができる。このようなコーディング方式は、認識性能を劣化させずに4kbits/秒と5kbits/秒の間の低さのデータ転送率を実現すべきである。その結果、無線モデムまたは無線データ・リンクを介してでも、バックエンド(サーバ)リソースと対話式の交換をリアルタイムで行うことができる。非常に高品質な再生を実現する同様のコーディング方式を使用した他の方式を採用することもできることを理解されたい。また、受信側での劣化を伴わないサーバ側での認識(音声、話者、NLU)と、信号の再構築とを可能にするケプストラ(cepstra)特徴の圧縮およびピッチを可能にする方法ならどれでも本発明に関して利用することができる。この再構築は、後で録音を校正し、誤りを訂正し、あるいはプロセスを人間が監視するために、後でサーバまたはクライアント(ローカルに格納されている場合)から再生するのに有用である。適した圧縮方式(コーディング・プロトコル)ならどれでも使用できることを理解されたい。
【0041】
圧縮またはコーディングの方式(伝送プロトコルまたはコーディング・プロトコル)は、装置間で異なる可能性があることを理解されたい。例えば、入力音声を(クライアントの)オーディオ取込みシステムからネットワーク化されたリソースに送るためのコーディングは、出力音声(例えばプロンプト、再生、またはTTS)をネットワーク化されたリソース(サーバ)からオーディオ出力(クライアント)に送るのに使用されるコーディング・プロトコルとは異なる場合がある。実際、前者の場合では、コーディングはサーバ側で良い認識性能を実現するように最適化されるべきであり、再生のための再構築は重要だが劇的に重要ではない。当然、ビット伝送速度(圧縮率)が重要である。ターゲット・ビット伝送速度に達してそれを維持するために、圧縮率におけるトレードオフを堅固さ(エラー率/特徴歪曲)と知覚品質の間で適合させることができる。また、いくつかの方式を選択して、いくつかのチャネルひずみまたはバックグラウンドひずみに堅固さを加えることもできる。一方、後者のタスク(出力信号)では、理解できることすなわち知覚品質と快適さとのために、あるいはボイスまたはオーディオのいくつかの特別な特徴を保存するためにコーディングを最適化すべきである。
【0042】
ローカル処理(ステップ202)またはリモート処理(ステップ205)の後、処理の結果が許容できるかどうかについて(ローカル・ダイアログ・マネージャ103またはサーバ・ダイアログ・マネージャ108を介して)判定がなされる(ステップ203および206)。処理結果が許容できないと判定された場合(ステップ203またはステップ206で否定判定)、ローカル・クライアントまたはリモート・サーバは、このような処理を行うことのできるサーバに特徴または波形を(IP、LAN、Bluetooth、IR、RFを介して、あるいは電話またはIP電話を介した接続を介して)転送する(ステップ204またはステップ207)。例えば、このような結果が未知であるか誤って認識されたか不明瞭である場合(または各リソース(ローカルまたはサーバ)のダイアログ・マネージャに関連付けられた信頼度基準に基づいて)、音声認識およびNLUの結果の拒否が行われる場合がある。ローカル・システムまたはリモート・システムからサーバ・システムへの自動接続は、ローカル音声デコーダから返された音響およびLM(言語モデル)のスコアのレベルに基づくことができることが好ましい(例えば、これらのスコアが所与のしきい値に満たないと判定されたときにリモート・サーバが接触を受ける)。会話型システムから得られた結果が許容できるか否かを判定する(許容できない場合は別のシステムを考慮する)には、信頼度を、あるいは認識された発話または照会を(ダイアログ中またはダイアログ後に)推定するのに適した基準またはアプローチならどれでも使用できることを理解されたい。
【0043】
TTSの場合も同様に、ローカル・ダイアログ・マネージャおよびリモート・ダイアログ・マネージャ103、108は、テキストの複雑さを調べて、TTSがローカルで行われるかリモートで行われるかを決定することができる。例えば、語に対する発音規則が未知のとき、またはテキストが複雑な構文解析を必要とするときは、TTSはリモートで行われる。別の例は、TTSが異なるアクセント、方言または異なる言語で発音されなければならない場合、あるいは誰かの特定の文を模倣することになっている場合である。
【0044】
処理がリモートで行われた後、結果がローカル・クライアントに(電話、IPアドレス、MAC(メディア・アクセス制御)アドレスなどを介して)送り返される(ステップ208)。出力(すなわちユーザへの音声出力)は、ローカルでもサーバ上でも合成できることを理解されたい。サーバ上で合成が行われる場合、合成音声は、ローカルで解凍されるように圧縮形式で(前述の音声伝送プロトコルを使用して)クライアントに送信することができる。コーディング方式は、音声特徴をクライアントからサーバに送信するのに使用された方式と同じでも、異なってもよいことを理解されたい。別法として音声は、クライアントからサーバへの電話呼出し(コールバック)を介して確立できる接続を使用し、例えば別のアナログPSTN回線を介してサーバから直接に「ブロードキャスト」することもできる。
【0045】
最近になり、認識された音声に対する適切な信頼度基準を確立する取組みが始められている。例えば、NISTおよびDARPAによって組織された米国メリーランド州MITAGSでの「LVCSR Hub5 Workshop」、1996年4月29日〜5月1日では、各語に信頼度レベルを付けるための様々なアプローチが提案された。ある方法は決定ツリーを使用するもので、この決定ツリーは、語依存特徴(訓練発話の量、最小および平均トライフォン(triphone)発生、言語モデル訓練中の発生、音素/レフィーム(lefeme)の数、継続時間、音響スコア(ファスト・マッチまたは詳細マッチ)、音声非音声)、文依存特徴(信号対雑音比、話す速度の推定すなわち1秒間の語数またはレフィーム数または母音数、言語モデルから提供される文可能性、可能性比率、フレームごとの正規化された平均可能性、言語モデル中のトライグラム(trigram)発生)、コンテキスト特徴における語(言語モデル中のトライグラム発生)、ならびに話者プロファイル特徴(アクセント、方言、性別、年齢、話す速度、識別、音響品質、SNRなど)について訓練されている。訓練データに対し、ツリーの葉ごとにエラーの確率が計算される。このようなツリーを構築するためのアルゴリズムは、「Classification and Regression Trees」、Chapman & Hal、1993でBreiman他によって考察されている。認識時、これらの特徴のすべてまたはいくつかを認識中に測定し、各語について決定ツリーを葉の方に進み、そこで信頼度レベルが提供される。また、Neti他の引例「Word Based Confidence Measures As A Guide For Stack Search In Speech Recognition」、ICASSP97、ドイツ、ミュンヘン、1997年4月には、IBMスタック・デコーダから返されるスコアに完全に依拠する方法(ログ可能性、実際には平均増分ログ可能性と、詳細マッチ、ファスト・マッチを使用する)が記載されている。
【0046】
LVCSR議事録では、線形回帰を介した予測子を使用する、別の信頼度レベル推定方法も行われている。使用される予測子は、語の継続時間、言語モデル・スコア、フレームごとの平均音響スコア(最良スコア)、および、トップ選択と同じ語を有するNBESTリストの小部分である。本発明の一実施形態によれば、これら2つのアプローチ(決定ツリーを介して測定される信頼度レベルと、線形予測子を介して測定される信頼度レベル)が組み合わさって、音声認識に限らずどんな変換プロセスにおいても信頼度レベルが系統的に抽出されることを理解されたい。
【0047】
この領域における過去の進歩および発達スピードに基づき、ここで、いくつかの種類の変換で、変換されるコンポーネントに信頼度の値(例えば0から1までの値であって、0は変換が行われず1は確実を意味する)を関連付けることができると言うことができる。コンポーネントは、テキスト、句、語とすることができ、より一般的には、変換する材料のどんな論理ブロックとすることもできる。前述の線形予測子と決定ツリーの結合が、本発明に採用するのが好ましい一方法である。実際、例としては、話者認識エンジンから返されるスコア(ファスト・マッチ・スコアおよび詳細マッチ・スコア、ならびに背景モデルおよびコホートのスコア)の蓄積を使用して、話者が真に正しく認証される信頼度レベルの決定ツリーまたは線形予測子、あるいはその両方を構築することができる。実際のところ、話者識別の場合、これは識別段階で得られた識別に対する検証を行うことになる。
【0048】
リモート・サーバは、TTS規則やベースフォーム、文法などの情報をローカル・クライアントに送信してキャッシュに格納させることができ、したがってローカル装置は、後でこうした情報を使用して同様の要求をローカルで処理できることを理解されたい。ローカル装置は必要なリソースの不足のせいであるタスクを行えない場合があるため、サーバ・ダイアログ・マネージャ108は、ローカル装置がリモート・サーバに接続したときにその会話型能力をリモート・サーバに(前述の登録プロトコルを介して)登録するのに基づいて、こうした処理情報をローカル・クライアントに送信する決定を行うことができる。
【0049】
本発明は、装置が(そのダイアログ・マネージャを介して)実行する会話型関数の量が、それらの関数を適時に実行するのに必要なリソースを装置が提供できないほどの量である状況(例えばシステムによって使用される同時ポートが多すぎるIVR)で実施できることを理解されたい。したがってダイアログ・マネージャは、会話型システム管理および負荷管理を実現するように実施することができ、それによりダイアログ・マネージャは、特定の関数の実行中に別の会話型システムを利用して、要求された関数の処理を継続することを決定することができる。具体的には図3を参照すると、最初にユーザは、例えばディジタル化音声信号の関連特徴をディジタル化および抽出することによって事前処理されたローカル・クライアント装置に音声コマンドを言うことになる(ステップ300)。あるいは、ローカル・ダイアログ・マネージャは、ローカル・アプリケーション104から要求を受け取って、ユーザに出力するための合成音声(TTS)を生成することもできる(ステップ300)。ダイアログ・マネージャは、ローカル処理が行われるべきかどうかを判定する(例えば音声認識の場合でも、ダイアログ管理の場合でも、音声合成の場合でも)(ステップ301)。この判定は、(前述のように)ローカルの会話型能力、引き数、およびリソースだけに依拠するのではなく、利用可能だが制約のあるローカル・リソースを使用して会話型関数を実施する際に導入される可能性のある遅延と比較した場合(ローカル装置とリモート装置が同じ関数を実施できると仮定して)の、ネットワーク・トラフィック輻輳のせいでネットワークが導入するであろう遅延の推定に基づくこともできる。したがって、例えばコマンドおよび制御関数がローカルで/ネットワークを介して遅延される危険にさらされる場合、遅延を最小限に抑えるためにリモートで/ローカルで実行することができる。実際、より長い遅延を扱う可能性のある(例えば、インターネットやオーディオ・ビジュアル探索などの遅延に対応できるバックエンド機能に関連することによる)照会を、リソースまたはコストを最適化する(ローカルのまたはネットワーク化された)システム上で実行することができる。
【0050】
また、ネットワーク化された接続が一時的に利用不可能になった場合、あるいはネットワーク化されたリソースがない場合は、ローカルで実施できるすべての関数が実施されることになる。その他の関数は、延期モードで(後で接続が再確立されたときに)実行できる関数と、不適合な関数とに細分することができる。代表的な例は、口述を介したアドレス帳の更新、電子メールまたはメッセージへの返事、あるいは口述一般である。この場合もアプリケーションは、コマンドがローカルか、あるいは延期されるかを決定できることが好ましい。延期モードを有するピア・ツー・ピアを考慮することも可能であり、この場合、延期モード・マネージャおよびローカル・エンジンが、関数がローカルか延期されるかを決定する。
【0051】
再び図3を参照すると、ローカル処理が適切であるとダイアログ・マネージャが判定した場合(ステップ301で肯定判定)、ダイアログ・マネージャは、必要な会話型エンジンをポートに割り振ることになる(ステップ302)。会話型エンジンをポートに割り振った後で、ダイアログ・マネージャは、元々割り振ったポートによって会話型エンジンが現在使用されていない場合に(例えば話者が現在、聞いているだけで話していないとき)そのエンジンを他のポートに割り振ることができる(ステップ303)。そのローカル・エンジンが再び元々割り振ったポートに必要になったときは、そのローカル・エンジンが利用可能でなければ利用可能な別のエンジンを(ローカルでまたはリモート装置上で)利用することができる(ステップ304)。この動的割当て処理は、ダイアログ・マネージャが関数呼出しの継続時間全体にわたり会話型エンジンを決定して各ポートに割り振る従来の負荷管理とは対照的である。
【0052】
例えば音声をネットワーク・サーバまたはネットワーク装置に送信するための管理および決定は、システム管理/負荷平衡(クライアント上またはサーバ上のダイアログ・マネージャによる)のレベルだけでなく、ネットワークのトラフィックに基づくこともできることを理解されたい。例えば、接続(特にインターネットを介したTCP/IPベースのネットワーク接続)が過負荷であると見なされた場合(ステップ305)、トラフィックに基づいて新しいサーバまたは装置を選択することができる(ステップ306)。この判定は、RSVP(resource reservation protocol)のような、VoIP(Voice Over Internet Protocol)プロトコルなどの会話型プロトコルの最上部で行うことができ、これにより、チャネルが必要なときに関連するサービス品質を適切に予約して接続することができる。そうでない場合は、前述のようにリモート処理が行われ(ステップ307)、その結果が返される。
【0053】
本明細書に述べるシステムおよび方法を、音声使用可能かつ会話型の様々なアプリケーションで実施できることを理解されたい。本発明は、組込み型でパーベイシブなコンピューティングの世界ならびにNLU/NLGダイアログ・システムにおいて増大する要求を満たすのに特に有用である。しかし、本発明が、組込みシステムに限らず様々なアプリケーションに向けて展開できることを理解されたい。以下の例示的な実施形態に、本発明の利点を示す。
【0054】
例えば、スマートホン(例えばPDA(personal digital assistant)機能付きの無線電話)で使用するための市販の組込みネーム・ダイヤラが、代表的なアプリケーションである。例えば、クライアント装置100がネーム・ダイヤラ・ローカル・アプリケーション付きのスマートホンであると仮定する。ユーザは、所望の名前および住所のリストをスマートホンの電子アドレス帳にローカルに格納することになる。次いでユーザは、「...(あり得る修飾子(家、職場、セルラーホン))のだれだれ(氏名)に電話する」などのコマンドを言うことができる。コマンドが(ローカル会話型エンジン102を介して)認識/理解されると、スマートホンは、アドレス帳の中にある人物に関連付けられた電話番号に(ローカル・アプリケーション104を介して)電話をかける。一方、アドレス帳にはないが(したがって認識/理解されないが)より大きな団体(または公衆)の電話帳(リモート・サーバ106中に含まれる)の中にはある名前が発せられたときは、その要求を(特徴または波形で)保管して、リモート・サーバ106に送信し認識させることができる。次いで、リモート・サーバによって直接に、または適切な情報がリモート・サーバから受信されたときにスマートホンによって、電話がかけられる。別法としてユーザは、最初の段階でリモート・サーバに接続され、電話すべき名前を再要求するかまたはさらに情報を要求するためにダイアログを確立することもできる(ホワイト・ページまたはイエロー・ページのサービス・タイプの場合)。
【0055】
本発明の別の有用な適用例は、市販のPointCast(http://www.pointcast.com参照)などの個人情報システムであり、これは、所定のユーザ選好に基づいて、ユーザが例えば株相場、ある主題の特定ニュース、およびその主題に関する最新発表情報を得られるようにするものである。本発明によって構築された個人情報システムでは、ユーザが株(例えばIBM)または主題(例えばケントのグリンピースの生産予想)の情報を得たいと思う場合、ユーザはクライアント装置100に音声要求を言うことになる。「IBM」がローカル語彙(ユーザ・プロファイル)中にある場合は即座にデコードされ、ユーザは、例えば最後の更新(PointCast)で得られた最新の照会を得る。一方、「グリンピース」に関するユーザ要求がローカル・クライアント装置100によって理解されなかった場合は、この要求は(コンテンツ・プロバイダの)リモート・サーバ106に特徴ストリームとして転送され、サーバは、そのような要求をデコードする際により多くのリソースをつぎ込んで関連情報を検索し(これはいずれにしても行われていなければならない)、次いで、そのような情報をローカル・システムに送信することができる。リモート・サーバ・システムが「プッシュ・アプローチ」に従う場合、これは次の更新(例えばPointCast)時に行うことができる。
【0056】
クライアント装置100はまた、例えば会話型カー・ナビゲーションを実現するための音声使用可能PVA(personal vehicle assistant)とすることもできる。例えば、ユーザがCD−ROMをシステムと共に使用したくない場合(スペース不足、電力要件、重量、コスト、衝撃への耐性などの理由で)、ユーザは、ユーザが現在いる地域/場所、最近いた地域/場所、およびユーザが移動したい地域/場所に関連する語彙および地図など、限られた情報を格納することを決定することができる。この例では、ユーザ要求がローカルの語彙と地図のセットにマッチしないときは、その要求をリモート・サーバ106に送信しデコードして(さらには探索を絞り込むためにユーザにプロンプトを返して)、道程および地図(または地図の更新)を自動車にダウンロードすることができる。この場合も、最初はローカルの道しか必要とされないため、このようなアクションは実質上、ユーザにはトランスペアレントとなる(ダウンロードに費用がかかる場合でも)。
【0057】
さらに、本発明によってNLU/FSGシステムを設計することもでき、したがって、ユーザの要求がFSG(有現状態文法)を必要とする場合に、その要求がより複雑かつ自然であるためにリモート・サーバに転送して認識させる必要があるのではない限り、その要求をローカルで処理することができる。
【0058】
団体のネーム・ダイヤラ・サービスは、別の興味深い特徴ももたらす。団体は、その従業員の電話番号のアクティブなデータベースを維持することになる。これらのデータベースは常に最新である。ユーザは、そのローカル情報を団体データベースに同期させることを定期的に選択することができる。これは従来の概念である。しかし、ユーザがネーム・ダイヤラを利用しているときでTCP/IPを介してサーバに接続する必要があるときに同期を(音声認識段階の間に)とり、それによりローカル・ダイヤル情報が常に更新されているようにするができる。同様に、ユーザがユーザのローカル地図に含まれない新しい場所へのナビゲーションに対する情報を要求したとき、システムは、ユーザが移動したい地域に関する音響情報ならびにナビゲーション情報のセットをローカルPVA上にダウンロードすることができる。
【0059】
図1のシステムはまた、会話型ブラウザ・システムと共に実施することもできる。この場合、コンテンツ・プロバイダ(サーバ)から送信される(かつ会話型ブラウザによって処理される)、視覚表示用のHTML(ハイパーテキスト・マークアップ言語)ページに類似した概念のCML(会話型マークアップ言語)ページを使用して、ユーザに呈示すべき会話型UIを記述する。この例では、クライアント装置100のローカル・アプリケーション104またはリモート(IVR)サーバ106のサーバ・アプリケーション109、あるいはその両方を会話型ブラウザとすることができる。コンテンツ・プロバイダまたはアプリケーション開発者(またはプロキシ/トランスコーダ)は、すべてのデータをクライアント装置100に与えてローカルに認識させるのではなく、ユーザが提供すべき所与の項目(例えば、口述を介して埋める、あるフォームまたは自由フォームのNLUまたはFSG入力)がサーバ106上で認識されなければならないと決定することができる(タスクがローカル・リソースには複雑すぎるか、あるいはネットワークを介して非常に多くの情報を送信しなければならなくなるため)。これは例えば、処理を行うことになるサーバを識別するためのURL(uniform resource locator)およびタグをCMLファイル中に設けるか、あるいはアプレット、ActiveXコンポーネント、またはプラグイン(あるいはその変形なら何でも)をCMLページ中にロードすることによってなされる(これは通常、ページの作成者による決定である)。これらのアプレット、ActiveXコンポーネント、またはプラグインは、オーディオを取り込み、おそらくはいくつかの会話型関数を実施し、それを他の関数のための他の装置に送る。この決定は、トランスコーダおよび登録機構によって行うことができ、それによりブラウザは、CMLページのフェッチ先であるサーバに対してその能力を明示的に記述する。トランスコーダを使用してブラウザの能力を追加で考慮し、そのような能力にコンテンツを適合させるとき(この能力は会話型プロキシと呼ばれる)、トランスコーダは、この場合にブラウザの能力に基づいてサーバに宛先変更するためのサーバURLを追加することができる。このような場合、クライアント装置100によって収集された音声は、波形(圧縮済または未圧縮)として、または特徴のストリームとしてリモート・サーバ106またはネットワーク化されたサーバ110に送信することができ、そこで認識(またはNLU/NLG)が行われる。次いで、認識結果をクライアント装置100またはCMLプロバイダ・サーバ(リモート・サーバ106)に送り返し、次のアクション・コースまたは次の処理を決定することができる。この場合も前述のように、所与の入力、メニュー・フォーム、またはダイアログを認識するのに使用されるリソース/エンジン/サーバまたはローカル装置のURLを直接組み込むことのできるアプリケーションによって決定することができる。また本発明は、CMLページがローカル装置100のローカル会話型エンジン102には複雑すぎるサウンドまたはテキストを再生/合成しなければならない状況でも有用である。複雑すぎる部分は、特徴のストリームまたは圧縮波形として、いずれかの特定サーバ(CMLページを提供したサーバでも、そうでなくてもよい)から得ることができる。さらに、マルチリンガル・システムに関し、CMLページが異なる言語に関係する場合、適切な能力を有しないローカル・クライアント装置100は、会話型関数をその言語で実施するようリモート・サーバに要求することができる。
【0060】
会話型調整は、会話型ブラウザを有する分散アプリケーションにおいて採用できることを理解されたい。例えば図4を参照すると、分散システムは、プレゼンテーション・サーバ400と、エンジン・サーバ401と、会話型ブラウザ403を有するクライアント402とを有する。ブラウザ403は、CMLフォームのページをプレゼンテーション・サーバ400から受け取り、CMLページを処理する。CMLページには、どれに音声を送って処理させるかをブラウザ403が決定できるようにする情報を含めることができる。エンジン・サーバ401上には音声サーバが位置する。CMLページがエンジン・サーバ401による音声処理を必要とすると仮定した場合、ブラウザ403は、HTTP(あるいはソケットまたはRMI)を介して音声サーバに通信して(呼出しを送信して)、音声サーバにオーディオを送り、適切なデータ・ファイル命令およびエンジン呼出しを送ることができる。クライアントのブラウザ403は、音声処理を(音声APIおよび音声認識エンジン405を介して)行うためのいくつかのローカル処理能力を有するものと仮定する。前述のように、ローカル音声処理とサーバ側の音声処理との間の移行は、プレゼンテーション・サーバ400から受け取ったCMLページによって決定される。この決定は、コンテンツ・プロバイダによって、または装置への適合によってコーディングすることができる(クライアント402がそのタスクを行えないと判定し、それを既知のまたは発見したサーバまたはトランスコーダに送信する)。
【0061】
図5では、ブラウザ403は、クライアント402からアクセスされるブラウザ・サーバ404上に位置する(ブラウザ・サーバ404は、クライアント402とプレゼンテーション・サーバ400との間の媒介として働く)。この場合もブラウザ403は、ローカル側処理とサーバ側処理のどちらを行うかを決定する。本明細書に述べる会話型コーディングを使用して、オーディオを送ることができる。
【0062】
本発明によれば、低リソースのクライアント装置がトランスペアレントに、単純なタスクをローカルで行い、かつ、複雑なタスクを、より複雑な会話型能力を有するサーバ(または他の装置)とのバイナリ接続またはアナログ接続で行うことができる。サーバ側の関数(音声認識など)は、通常のIPネットワークまたはLANネットワークを介して実施することができ、かつ、従来型の電話回線、またはパケット交換ネットワークを介したディジタル伝送を介して実施することができ、あるいは、無線ネットワークを介した従来型の無線データ・プロトコルのいずれかを介して実施することもできる。アナログ/ディジタル接続の実施形態は、少なくとも2つのシナリオを記述する。第1には、モデムの等価物を実装したバイナリ接続であり、すべての関数はデータ転送関数である。また、サーバ/分散リソースが関係するとき、システムはテレフォニー・サーバをリソースとして呼び出すことができ、音声がネットワークを介して送信される(波形のデータ、またはその変形であるケプストラなどの代わりに)。このようなシナリオの一例は、ローカル音声認識機能(ネーム・ダイヤラおよびディジット・ダイヤラ)との無線接続であり、これは、ボイスによるインターネット閲覧、株/ミューチュアル・ファンド相場の入手、およびボイスによる銀行取引の実施のような他の機能のためのIVRを備えたテレフォニー・サーバに通常の無線接続を介して接続するものである。この機構は、今日、いくつかの音声認識能力を装置上に搭載した既存のセルラーホンで使用することができる。
【0063】
さらに、ネットワークを横断する会話型対話の適切なダイアログ・フローを保証するために、様々な機構を使用して、ネットワークにわたって分散したトラフィックおよびリソースを管理することもできる。このような機構には、会話型プロトコル(前述の)、オーディオ:RecoVC(Recognition Compatible VoCoder)(再生のための再構築を可能にするピッチを伴うコーディング・プロトコル)、アプリケーションおよびメタ情報:分散アプリケーション・プロトコル、発見、登録、折衝、ダイアログ・フローを維持するためのサーバ負荷管理、ダイアログ・フローを維持するためのトラフィック平衡およびルーティング、タスク特徴および能力の要件と会話型引き数使用可能性(データ・ファイル)とに基づくエンジン・サーバ選択、会話型引き数配信:記憶、トラフィック/ルーティングおよびキャッシングが含まれる。
【0064】
例証的な実施形態を添付の図面に関して本明細書に述べたが、本システムおよび方法がこれらの厳密な実施形態に限定されず、当業者なら本発明の範囲または主旨を逸脱することなく他の様々な変形や修正を加えることができることを理解されたい。このような変形および修正はすべて、添付の特許請求の範囲に定義するように本発明の範囲に含めるものとする。
【図面の簡単な説明】
【図1】 本発明の一実施形態による、ネットワーク化された装置間で会話型リソースを共用することによって会話型サービスを提供するためのシステムのブロック図である。
【図2】 本発明の一態様による、ネットワーク化された装置間で会話型リソースを共用することによって会話型サービスを提供するための方法の流れ図である。
【図3】 本発明の別の態様による、ネットワーク化された装置間で会話型リソースを共用することによって会話型サービスを提供するための方法の流れ図である。
【図4】 会話型ブラウザを採用する本発明の別の実施形態による、会話型サービスを提供するための分散システムのブロック図である。
【図5】 会話型ブラウザを採用する本発明の別の実施形態による、会話型サービスを提供するための分散システムのブロック図である。
Claims (24)
- 会話型リソースを共用することを実現するためのシステムであって、
少なくとも第1および第2のネットワーク装置を含むネットワークを含み、
前記第1および第2のネットワーク装置がそれぞれ、
会話型リソースのセットと、
会話を管理し会話型サービスを要求する呼出しを実行するためのダイアログ・マネージャと、
前記ネットワークを介し会話型プロトコルを使用してメッセージを通信するための通信スタックとを備え、前記会話型プロトコルを使用して通信される前記メッセージが、前記第1および第2のネットワーク装置それぞれに要求された会話型サービスを実施するのに必要なとき、前記第1および第2のネットワーク装置の前記ダイアログ・マネージャ間にネットワーク通信を確立して、前記第1および第2のネットワーク装置の前記会話型リソースのセットを共用するシステム。 - 前記第1および第2のネットワーク装置の前記会話型リソースのセットが、音声認識エンジン、話者認識エンジン、TTS(テキスト音声合成)エンジン、NLU(自然言語理解)エンジン、NLG(自然言語生成)エンジン、オーディオ取込みおよび圧縮/解凍エンジン、トピック認識エンジン、オーディオ/マルチメディア索引付けおよび探索エンジン、ならびにこれらの組合せのうち、少なくとも1つを含む、請求項1に記載のシステム。
- 前記会話型プロトコルは、前記第1および第2のネットワーク装置の前記ダイアログ・マネージャがそれぞれの会話型状態、引き数、およびコンテキストを含む情報を交換し、ダイアログ・コンポーネントを交換することができるようにする、請求項1に記載のシステム。
- 前記会話型プロトコルが、前記第1および第2のネットワーク装置の前記ダイアログ・マネージャ間でマスタ/スレーブ・ネットワーク通信とピア・ツー・ピア・ネットワーク通信のうちの一方を調整する、請求項3に記載のシステム。
- 前記会話型プロトコルが発見プロトコルを含み、前記発見プロトコルは、前記第1および第2のネットワーク装置が、ネットワーク上で会話型と認識している装置およびアプリケーションを発見できるようにする、請求項1に記載のシステム。
- 前記発見プロトコルが「ブロードキャストおよびリッスン」方法を実施する、請求項5に記載のシステム。
- 前記発見プロトコルが、少なくとも前記第1のネットワーク装置と前記第2のネットワーク装置の間に動的かつ自発的なネットワークを確立するように実施される、請求項6に記載のシステム。
- 前記会話型プロトコルが、会話型リソース、能力、および要件に関する情報を交換するための登録プロトコルを含む、請求項1に記載のシステム。
- 前記会話型プロトコルが、前記第1のネットワーク装置と前記第2のネットワーク装置の間でそれぞれの前記会話型リソースおよび能力に基づいてネットワーク構成を確立するために情報を交換するための折衝プロトコルを含む、請求項8に記載のシステム。
- 前記ネットワーク構成は、前記第1のネットワーク装置と前記第2のネットワーク装置のうちの一方の前記ダイアログ・マネージャが前記第1のネットワーク装置と前記第2のネットワーク装置の両方の前記会話型リソースを制御するマスタ/スレーブ・ネットワークと、前記第1および第2の装置の前記ダイアログ・マネージャが会話型リソースを制御するために折衝するピア・ツー・ピア・ネットワークのうちの一方を含む、請求項9に記載のシステム。
- 前記会話型プロトコルが、圧縮音声波形、圧縮音声特徴、および圧縮結果のうちの1つを前記第1のネットワーク装置と前記第2のネットワーク装置の間で伝送するための音声伝送プロトコルを含む、請求項1に記載のシステム。
- 会話型リソースを共用することを実現するためのシステムにおいて、
ローカル会話型リソースを備えるクライアントであって、前記ローカル会話型リソースを管理し、会話型サービスを求める要求を処理し、前記会話型サービスを求める要求が前記ローカル会話型リソースを使用して行えるかどうかを判定するためのダイアログ・マネージャを備えるクライアントと、
サーバ会話型リソースを備えるサーバとを含むシステムであって、前記クライアントの前記ダイアログ・マネージャが、前記ローカル会話型リソースを使用して前記要求された会話型サービスを実施できない場合に、前記サーバ会話型リソースを使用して前記要求を処理するために前記サーバにアクセスするシステム。 - 会話型リソースをネットワーク装置間で共用することを実現する方法であって、
会話型サービスを求める要求を第1のネットワーク装置によって受け取るステップと、
前記要求された会話型サービスを、前記第1のネットワーク装置の会話型リソースを使用してローカルで処理するか、少なくとも第2のネットワーク装置の会話型リソースを使用してリモートで処理するか、あるいは前記ローカルの会話型リソースと前記リモートの会話型リソースを両方とも使用してローカルかつリモートで処理するかを、前記第1のネットワーク装置によって決定するステップと、
前記会話型サービスが少なくとも部分的に、前記少なくとも第2のネットワーク装置の前記会話型リソースを使用してリモートで処理されると決定された場合に、前記少なくとも第2のネットワーク装置と通信するステップとを含む方法。 - 前記会話型リソースを共用するために、会話型プロトコルを使用してメッセージを送信して、前記第1のネットワーク装置と前記少なくとも第2のネットワーク装置との間に調整されたネットワーク通信を確立するステップをさらに含む、請求項13に記載の方法。
- 前記決定するステップが、前記要求された会話型サービスを処理するのにローカル会話型リソースが利用可能かどうかを判定するステップを含み、前記方法はさらに、
前記要求された会話型サービスを処理するのに前記ローカル会話型リソースが利用可能であると判定された場合に、前記ローカル会話型リソースを使用して前記要求された会話型サービスを実行するステップと、
前記ローカル処理の結果が許容できるかどうかを判定するステップと、
前記ローカル処理の結果が許容できないと判定された場合に、前記少なくとも第2のネットワーク装置にアクセスして、前記要求された会話型サービスをリモートで処理するステップとを含む、請求項13に記載の方法。 - 前記決定するステップが、前記少なくとも第2のネットワーク装置が前記会話型サービスを処理するよう前記第1のネットワーク装置によって事前指定されているかどうかを判定するステップを含む、請求項13に記載の方法。
- 前記決定するステップが、前記第1のネットワーク装置と前記少なくとも第2のネットワーク装置との間のネットワーク接続使用可能度とネットワーク・トラフィックのうちの一方に基づく、請求項13に記載の方法。
- 前記アクセスするステップが、
前記会話型プロトコルを使用してメッセージを送信することにより、前記少なくとも第2のネットワーク装置とのネットワーク接続を確立するステップと、
前記少なくとも第2のネットワーク装置に圧縮音声特徴と圧縮波形のうちの一方を送信するステップとを含む、請求項14に記載の方法。 - 計算機によって読取り可能なプログラム記憶装置において、ネットワーク装置間で会話型リソースを共用することを実現する方法ステップを実施するために、前記計算機によって実行可能な命令のプログラムを実体として組み入れたプログラム記憶装置であって、前記方法ステップは、
会話型サービスを求める要求を第1のネットワーク装置によって受け取るステップと、
前記要求された会話型サービスを、前記第1のネットワーク装置の会話型リソースを使用してローカルで処理するか、少なくとも第2のネットワーク装置の会話型リソースを使用してリモートで処理するか、あるいはローカルの会話型リソースとリモートの会話型リソースを両方とも使用してローカルかつリモートで処理するかを、前記第1のネットワーク装置によって決定するステップと、
前記会話型サービスが少なくとも部分的に、前記少なくとも第2のネットワーク装置の前記会話型リソースを使用してリモートで処理されると決定された場合に、前記少なくとも第2のネットワーク装置に通信するステップとを含むプログラム記憶装置。 - 前記会話型リソースを共用するために、会話型プロトコルに従ってメッセージを送信して、前記第1のネットワーク装置と前記少なくとも第2のネットワーク装置との間に調整されたネットワーク通信を確立する前記ステップを実施する命令をさらに含む、請求項19に記載のプログラム記憶装置。
- 前記決定するステップを実施する命令が、前記要求された会話型サービスを処理するのに前記ローカル会話型リソースが利用可能かどうかを判定するステップを実施する命令を含み、前記プログラム記憶装置はさらに、
前記要求された会話型サービスを処理するのに前記ローカル会話型リソースが利用可能であると判定された場合に、前記ローカル会話型リソースを使用して前記要求された会話型サービスを実行するステップと、
前記ローカル処理の結果が許容できるかどうかを判定するステップと、
前記ローカル処理の結果が許容できないと判定された場合に、前記少なくとも第2のネットワーク装置にアクセスして、前記要求された会話型サービスをリモートで処理するステップとを実施する命令を含む、請求項19に記載のプログラム記憶装置。 - 前記決定するステップを実施する命令が、前記少なくとも第2のネットワーク装置が前記会話型サービスを処理するよう前記第1のネットワーク装置によって事前指定されているかどうかを判定するステップを実施する命令を含む、請求項19に記載のプログラム記憶装置。
- 前記決定するステップが、前記第1のネットワーク装置と前記少なくとも第2のネットワーク装置との間のネットワーク接続使用可能度とネットワーク・トラフィックのうちの一方に基づく、請求項19に記載のプログラム記憶装置。
- 前記アクセスするステップを実施する命令が、
前記会話型プロトコルを使用して、前記少なくとも第2のネットワーク装置とのネットワーク接続を確立するステップと、
前記少なくとも第2のネットワーク装置に圧縮音声特徴と圧縮波形のうちの一方を送信するステップとを実施する命令を含む、請求項20に記載のプログラム記憶装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10295798P | 1998-10-02 | 1998-10-02 | |
US60/102,957 | 1998-10-02 | ||
US11759599P | 1999-01-27 | 1999-01-27 | |
US60/117,595 | 1999-01-27 | ||
PCT/US1999/022925 WO2000021075A1 (en) | 1998-10-02 | 1999-10-01 | System and method for providing network coordinated conversational services |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002527919A JP2002527919A (ja) | 2002-08-27 |
JP4171585B2 true JP4171585B2 (ja) | 2008-10-22 |
Family
ID=26799924
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000575119A Expired - Fee Related JP4171585B2 (ja) | 1998-10-02 | 1999-10-01 | ネットワーク調整された会話型サービスを提供するためのシステムおよび方法 |
JP2000575249A Pending JP2002527800A (ja) | 1998-10-02 | 1999-10-01 | 会話ブラウザおよび会話システム |
JP2000575021A Expired - Lifetime JP3703082B2 (ja) | 1998-10-02 | 1999-10-01 | 会話型バーチャル・マシンによる会話型コンピューティング |
JP2000575117A Pending JP2003525477A (ja) | 1998-10-02 | 1999-10-01 | 汎用階層オブジェクトを介する効率的なボイス・ナビゲーションのための構造スケルトン |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000575249A Pending JP2002527800A (ja) | 1998-10-02 | 1999-10-01 | 会話ブラウザおよび会話システム |
JP2000575021A Expired - Lifetime JP3703082B2 (ja) | 1998-10-02 | 1999-10-01 | 会話型バーチャル・マシンによる会話型コンピューティング |
JP2000575117A Pending JP2003525477A (ja) | 1998-10-02 | 1999-10-01 | 汎用階層オブジェクトを介する効率的なボイス・ナビゲーションのための構造スケルトン |
Country Status (10)
Country | Link |
---|---|
US (4) | US7418382B1 (ja) |
EP (4) | EP1163576A4 (ja) |
JP (4) | JP4171585B2 (ja) |
KR (4) | KR100430953B1 (ja) |
CN (4) | CN100472500C (ja) |
AT (1) | ATE383640T1 (ja) |
CA (4) | CA2345665C (ja) |
DE (1) | DE69937962T2 (ja) |
IL (5) | IL142363A0 (ja) |
WO (4) | WO2000020962A2 (ja) |
Families Citing this family (701)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003463B1 (en) | 1998-10-02 | 2006-02-21 | International Business Machines Corporation | System and method for providing network coordinated conversational services |
EP1163576A4 (en) * | 1998-10-02 | 2005-11-30 | Ibm | CONVERTIVE CALCULATION VIA CONVERSIONAL VIRTUAL MACHINE |
US6163794A (en) * | 1998-10-23 | 2000-12-19 | General Magic | Network system extensible by users |
US6886047B2 (en) * | 1998-11-13 | 2005-04-26 | Jp Morgan Chase Bank | System and method for managing information retrievals for integrated digital and analog archives on a global basis |
FR2787902B1 (fr) * | 1998-12-23 | 2004-07-30 | France Telecom | Modele et procede d'implementation d'un agent rationnel dialoguant, serveur et systeme multi-agent pour la mise en oeuvre |
WO2001013255A2 (en) | 1999-08-13 | 2001-02-22 | Pixo, Inc. | Displaying and traversing links in character array |
US7330815B1 (en) * | 1999-10-04 | 2008-02-12 | Globalenglish Corporation | Method and system for network-based speech recognition |
US6633846B1 (en) | 1999-11-12 | 2003-10-14 | Phoenix Solutions, Inc. | Distributed realtime speech recognition system |
US7725307B2 (en) | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
US9076448B2 (en) | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
US6665640B1 (en) | 1999-11-12 | 2003-12-16 | Phoenix Solutions, Inc. | Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries |
DE69942507D1 (de) | 1999-12-06 | 2010-07-29 | Ericsson Telefon Ab L M | Intelligente Herstellung von Piconets |
JP2001188784A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 会話処理装置および方法、並びに記録媒体 |
US20010043234A1 (en) * | 2000-01-03 | 2001-11-22 | Mallik Kotamarti | Incorporating non-native user interface mechanisms into a user interface |
US7934206B2 (en) * | 2000-02-11 | 2011-04-26 | Convergent Networks, Inc. | Service level executable environment for integrated PSTN and IP networks and call processing language therefor |
WO2003050799A1 (en) * | 2001-12-12 | 2003-06-19 | International Business Machines Corporation | Method and system for non-intrusive speaker verification using behavior models |
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
AU2001256902A1 (en) * | 2000-05-05 | 2001-11-20 | James Ewing | A method and a system relating to protocol communications within a pre-existing www server framework |
US6769010B1 (en) * | 2000-05-11 | 2004-07-27 | Howzone.Com Inc. | Apparatus for distributing information over a network-based environment, method of distributing information to users, and method for associating content objects with a database wherein the content objects are accessible over a network communication medium by a user |
FR2809204B1 (fr) * | 2000-05-17 | 2003-09-19 | Bull Sa | Interface applicative multiprosseur, ne necessitant pas l'utilisation d'un systeme d'exploitation multiprocesseur |
US7039951B1 (en) | 2000-06-06 | 2006-05-02 | International Business Machines Corporation | System and method for confidence based incremental access authentication |
US7047196B2 (en) | 2000-06-08 | 2006-05-16 | Agiletv Corporation | System and method of voice recognition near a wireline node of a network supporting cable television and/or video delivery |
CA2349021C (en) * | 2000-06-16 | 2010-03-30 | Bayer Corporation | System, method and biosensor apparatus for data communications with a personal data assistant |
US6654722B1 (en) * | 2000-06-19 | 2003-11-25 | International Business Machines Corporation | Voice over IP protocol based speech system |
US6788667B1 (en) * | 2000-06-20 | 2004-09-07 | Nokia Corporation | Wireless access to wired network audio services using mobile voice call |
AU2001277638A1 (en) * | 2000-07-07 | 2002-01-21 | 2020Me Holdings Ltd. | System, method and medium for facilitating transactions over a network |
US7139709B2 (en) | 2000-07-20 | 2006-11-21 | Microsoft Corporation | Middleware layer between speech related applications and engines |
DE60125597T2 (de) * | 2000-08-31 | 2007-05-03 | Hitachi, Ltd. | Vorrichtung für die Dienstleistungsvermittlung |
US6785651B1 (en) * | 2000-09-14 | 2004-08-31 | Microsoft Corporation | Method and apparatus for performing plan-based dialog |
AU2002213338A1 (en) * | 2000-10-16 | 2002-04-29 | Eliza Corporation | Method of and system for providing adaptive respondent training in a speech recognition application |
US7072982B2 (en) | 2000-11-22 | 2006-07-04 | Microsoft Corporation | Universal naming scheme for peer to peer resources |
US7594030B2 (en) | 2000-11-22 | 2009-09-22 | Microsoft Corporation | Locator and tracking service for peer to peer resources |
DE50011222D1 (de) * | 2000-12-04 | 2005-10-27 | Siemens Ag | Verfahren zum Nutzen einer Datenverarbeitungsanlage abhängig von einer Berechtigung, zugehörige Datenverarbeitungsanlage und zugehöriges Programm |
US7016847B1 (en) * | 2000-12-08 | 2006-03-21 | Ben Franklin Patent Holdings L.L.C. | Open architecture for a voice user interface |
GB0030958D0 (en) * | 2000-12-19 | 2001-01-31 | Smart Card Solutions Ltd | Compartmentalized micro-controller operating system architecture |
JP3322262B2 (ja) * | 2000-12-22 | 2002-09-09 | 日本電気株式会社 | 無線携帯端末通信システム |
DE10064661A1 (de) * | 2000-12-22 | 2002-07-11 | Siemens Ag | Kommunikationsanordnung und Verfahren für Kommunikationssysteme mit interaktiver Sprachfunktion |
FI20002860A (fi) * | 2000-12-27 | 2002-06-28 | Nokia Corp | Laiteroolit ja pikoverkkoyhteydet |
US6925645B2 (en) * | 2000-12-29 | 2005-08-02 | Webex Communications, Inc. | Fault tolerant server architecture for collaborative computing |
US6964023B2 (en) | 2001-02-05 | 2005-11-08 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
US7461148B1 (en) * | 2001-02-16 | 2008-12-02 | Swsoft Holdings, Ltd. | Virtual private server with isolation of system components |
EP1233590A1 (en) * | 2001-02-19 | 2002-08-21 | Sun Microsystems, Inc. | Content provider for a computer system |
US7606909B1 (en) * | 2001-02-20 | 2009-10-20 | Michael Ely | Method and apparatus for a business contact center |
GB2372864B (en) * | 2001-02-28 | 2005-09-07 | Vox Generation Ltd | Spoken language interface |
AU2002238961A1 (en) | 2001-03-22 | 2002-10-08 | Canon Kabushiki Kaisha | Information processing apparatus and method, and program |
US7174514B2 (en) * | 2001-03-28 | 2007-02-06 | Siebel Systems, Inc. | Engine to present a user interface based on a logical structure, such as one for a customer relationship management system, across a web site |
US6996531B2 (en) * | 2001-03-30 | 2006-02-07 | Comverse Ltd. | Automated database assistance using a telephone for a speech based or text based multimedia communication mode |
FR2822994B1 (fr) * | 2001-03-30 | 2004-05-21 | Bouygues Telecom Sa | Assistance au conducteur d'un vehicule automobile |
CA2344904A1 (en) * | 2001-04-23 | 2002-10-23 | Bruno Richard Preiss | Interactive voice response system and method |
US7437295B2 (en) | 2001-04-27 | 2008-10-14 | Accenture Llp | Natural language processing for a location-based services system |
US7698228B2 (en) | 2001-04-27 | 2010-04-13 | Accenture Llp | Tracking purchases in a location-based services system |
US7610547B2 (en) * | 2001-05-04 | 2009-10-27 | Microsoft Corporation | Markup language extensions for web enabled recognition |
US7020841B2 (en) | 2001-06-07 | 2006-03-28 | International Business Machines Corporation | System and method for generating and presenting multi-modal applications from intent-based markup scripts |
US7366673B2 (en) * | 2001-06-15 | 2008-04-29 | International Business Machines Corporation | Selective enablement of speech recognition grammars |
US7606712B1 (en) * | 2001-06-28 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | Speech recognition interface for voice actuation of legacy systems |
US7647597B2 (en) * | 2001-06-28 | 2010-01-12 | Microsoft Corporation | Transparent and sub-classable proxies |
US6839896B2 (en) | 2001-06-29 | 2005-01-04 | International Business Machines Corporation | System and method for providing dialog management and arbitration in a multi-modal environment |
JP3997459B2 (ja) | 2001-10-02 | 2007-10-24 | 株式会社日立製作所 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
EP1708470B1 (en) * | 2001-10-03 | 2012-05-16 | Accenture Global Services Limited | Multi-modal callback system |
US7472091B2 (en) | 2001-10-03 | 2008-12-30 | Accenture Global Services Gmbh | Virtual customer database |
US7324947B2 (en) | 2001-10-03 | 2008-01-29 | Promptu Systems Corporation | Global speech user interface |
WO2003030507A2 (en) * | 2001-10-03 | 2003-04-10 | Accenture Global Services Gmbh | Multi-modal messaging and callback with service authorizer and virtual customer database |
US7441016B2 (en) | 2001-10-03 | 2008-10-21 | Accenture Global Services Gmbh | Service authorizer |
US7233655B2 (en) | 2001-10-03 | 2007-06-19 | Accenture Global Services Gmbh | Multi-modal callback |
ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
US7222073B2 (en) | 2001-10-24 | 2007-05-22 | Agiletv Corporation | System and method for speech activated navigation |
US7133830B1 (en) | 2001-11-13 | 2006-11-07 | Sr2, Inc. | System and method for supporting platform independent speech applications |
US8498871B2 (en) * | 2001-11-27 | 2013-07-30 | Advanced Voice Recognition Systems, Inc. | Dynamic speech recognition and transcription among users having heterogeneous protocols |
US20030101054A1 (en) * | 2001-11-27 | 2003-05-29 | Ncc, Llc | Integrated system and method for electronic speech recognition and transcription |
US7302394B1 (en) * | 2001-12-20 | 2007-11-27 | Ianywhere Solutions, Inc. | Front-end device independence for natural interaction platform |
GB2388209C (en) | 2001-12-20 | 2005-08-23 | Canon Kk | Control apparatus |
WO2003063137A1 (en) * | 2002-01-22 | 2003-07-31 | V-Enable, Inc. | Multi-modal information delivery system |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US20030187944A1 (en) * | 2002-02-27 | 2003-10-02 | Greg Johnson | System and method for concurrent multimodal communication using concurrent multimodal tags |
US6807529B2 (en) * | 2002-02-27 | 2004-10-19 | Motorola, Inc. | System and method for concurrent multimodal communication |
US6704396B2 (en) | 2002-02-27 | 2004-03-09 | Sbc Technology Resources, Inc. | Multi-modal communications method |
GB0204768D0 (en) * | 2002-02-28 | 2002-04-17 | Mitel Knowledge Corp | Bimodal feature access for web applications |
FR2840484B1 (fr) * | 2002-05-28 | 2004-09-03 | France Telecom | Protocole de communication entre un module d'application vocale et une plate-forme vocale dans un serveur vocal |
US7398209B2 (en) * | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7822609B2 (en) | 2002-06-14 | 2010-10-26 | Nuance Communications, Inc. | Voice browser with integrated TCAP and ISUP interfaces |
KR20040002031A (ko) * | 2002-06-29 | 2004-01-07 | 주식회사 케이티 | 다수의 응용프로그램들간의 음성인식엔진 공유 방법 |
US7693720B2 (en) | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
AU2002345308A1 (en) * | 2002-07-17 | 2004-02-02 | Nokia Corporation | Mobile device having voice user interface, and a methode for testing the compatibility of an application with the mobile device |
US20040054757A1 (en) * | 2002-09-14 | 2004-03-18 | Akinobu Ueda | System for remote control of computer resources from embedded handheld devices |
US8321427B2 (en) | 2002-10-31 | 2012-11-27 | Promptu Systems Corporation | Method and apparatus for generation and augmentation of search terms from external and internal sources |
US7519534B2 (en) | 2002-10-31 | 2009-04-14 | Agiletv Corporation | Speech controlled access to content on a presentation medium |
EP1569129B1 (en) * | 2002-12-02 | 2019-01-30 | Sony Corporation | Dialogue control device and method, and robot device |
KR20040051285A (ko) * | 2002-12-12 | 2004-06-18 | 삼성전자주식회사 | 애플릿이 링크된 마크업 문서의 디스플레이 방법 및 그시스템 |
US7822612B1 (en) * | 2003-01-03 | 2010-10-26 | Verizon Laboratories Inc. | Methods of processing a voice command from a caller |
US7673304B2 (en) * | 2003-02-18 | 2010-03-02 | Microsoft Corporation | Multithreaded kernel for graphics processing unit |
US7669134B1 (en) | 2003-05-02 | 2010-02-23 | Apple Inc. | Method and apparatus for displaying information during an instant messaging session |
US7249025B2 (en) * | 2003-05-09 | 2007-07-24 | Matsushita Electric Industrial Co., Ltd. | Portable device for enhanced security and accessibility |
JP4891072B2 (ja) * | 2003-06-06 | 2012-03-07 | ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク | ウェブ・ページを音声付勢するためのシステム及び方法 |
WO2005004334A2 (en) | 2003-06-26 | 2005-01-13 | Agile Tv Corporation | Zero-search, zero-memory vector quantization |
US7313528B1 (en) * | 2003-07-31 | 2007-12-25 | Sprint Communications Company L.P. | Distributed network based message processing system for text-to-speech streaming data |
US7383302B2 (en) * | 2003-09-15 | 2008-06-03 | International Business Machines Corporation | Method and system for providing a common collaboration framework accessible from within multiple applications |
US7428273B2 (en) | 2003-09-18 | 2008-09-23 | Promptu Systems Corporation | Method and apparatus for efficient preamble detection in digital data receivers |
US7249348B2 (en) * | 2003-10-21 | 2007-07-24 | Hewlett-Packard Development Company, L.P. | Non-interfering status inquiry for user threads |
US7199802B2 (en) * | 2003-10-24 | 2007-04-03 | Microsoft Corporation | Multiple-mode window presentation system and process |
US7856632B2 (en) * | 2004-01-29 | 2010-12-21 | Klingman Edwin E | iMEM ASCII architecture for executing system operators and processing data operators |
US20050229185A1 (en) * | 2004-02-20 | 2005-10-13 | Stoops Daniel S | Method and system for navigating applications |
US7904059B2 (en) * | 2004-02-25 | 2011-03-08 | Sk Telecom Co., Ltd. | Method and mobile terminal for implementing vector animation interactive service on mobile phone browser |
US7925510B2 (en) * | 2004-04-28 | 2011-04-12 | Nuance Communications, Inc. | Componentized voice server with selectable internal and external speech detectors |
US7596788B1 (en) * | 2004-05-11 | 2009-09-29 | Platform Computing Corporation | Support of non-trivial scheduling policies along with topological properties |
US7761863B2 (en) * | 2004-06-08 | 2010-07-20 | Covia Labs, Inc. | Method system and data structure for content renditioning adaptation and interoperability segmentation model |
US7814502B2 (en) * | 2004-06-14 | 2010-10-12 | Nokia Corporation | Shared landmark user interfaces |
KR100627228B1 (ko) * | 2004-07-01 | 2006-09-25 | 에스케이 텔레콤주식회사 | 기업용 무선 어플리케이션 서비스를 위한 전용 브라우저시스템 및 그 운영방법 |
US7483968B1 (en) * | 2004-07-29 | 2009-01-27 | Emc Corporation | System and method for configuring resource groups |
FI20041075A0 (fi) * | 2004-08-12 | 2004-08-12 | Nokia Corp | Tiedon lähettäminen ryhmälle vastaanottolaitteita |
US8744852B1 (en) * | 2004-10-01 | 2014-06-03 | Apple Inc. | Spoken interfaces |
US7693719B2 (en) * | 2004-10-29 | 2010-04-06 | Microsoft Corporation | Providing personalized voice font for text-to-speech applications |
US8706501B2 (en) * | 2004-12-09 | 2014-04-22 | Nuance Communications, Inc. | Method and system for sharing speech processing resources over a communication network |
US7640162B2 (en) * | 2004-12-14 | 2009-12-29 | Microsoft Corporation | Semantic canvas |
KR100654447B1 (ko) * | 2004-12-15 | 2006-12-06 | 삼성전자주식회사 | 지역별로 존재하는 컨텐츠를 글로벌로 공유하고 거래하는방법 및 시스템 |
US7987244B1 (en) * | 2004-12-30 | 2011-07-26 | At&T Intellectual Property Ii, L.P. | Network repository for voice fonts |
KR100725719B1 (ko) * | 2005-02-04 | 2007-06-08 | 주식회사 유진로봇 | 음성과 태스크 오브젝트 기반의 대화시스템 |
US7490042B2 (en) * | 2005-03-29 | 2009-02-10 | International Business Machines Corporation | Methods and apparatus for adapting output speech in accordance with context of communication |
US9111253B2 (en) * | 2005-04-22 | 2015-08-18 | Sap Se | Groupware time tracking |
US20060271520A1 (en) * | 2005-05-27 | 2006-11-30 | Ragan Gene Z | Content-based implicit search query |
WO2006133547A1 (en) | 2005-06-13 | 2006-12-21 | E-Lane Systems Inc. | Vehicle immersive communication system |
JP4667138B2 (ja) * | 2005-06-30 | 2011-04-06 | キヤノン株式会社 | 音声認識方法及び音声認識装置 |
US8090084B2 (en) * | 2005-06-30 | 2012-01-03 | At&T Intellectual Property Ii, L.P. | Automated call router for business directory using the world wide web |
US7640160B2 (en) * | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7620549B2 (en) | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
EP1934971A4 (en) | 2005-08-31 | 2010-10-27 | Voicebox Technologies Inc | DYNAMIC LANGUAGE SCRIPTURE |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US8073700B2 (en) * | 2005-09-12 | 2011-12-06 | Nuance Communications, Inc. | Retrieval and presentation of network service results for mobile device using a multimodal browser |
US9009046B1 (en) * | 2005-09-27 | 2015-04-14 | At&T Intellectual Property Ii, L.P. | System and method for disambiguating multiple intents in a natural language dialog system |
US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
WO2007044479A2 (en) * | 2005-10-05 | 2007-04-19 | Dun & Bradstreet, Inc. | Modular web-based asp application for multiple products |
US8041800B2 (en) * | 2005-11-08 | 2011-10-18 | International Business Machines Corporation | Automatic orchestration of dynamic multiple party, multiple media communications |
US20070124142A1 (en) * | 2005-11-25 | 2007-05-31 | Mukherjee Santosh K | Voice enabled knowledge system |
JP4829600B2 (ja) * | 2005-11-28 | 2011-12-07 | キヤノン株式会社 | 通信装置及び通信装置の制御方法 |
US9215748B2 (en) | 2005-11-28 | 2015-12-15 | Canon Kabushiki Kaisha | Communication apparatus, control method for communication apparatus, and communication system |
JP2007164732A (ja) * | 2005-12-16 | 2007-06-28 | Crescent:Kk | コンピュータ実行可能なプログラム、および情報処理装置 |
DE102005061365A1 (de) * | 2005-12-21 | 2007-06-28 | Siemens Ag | Verfahren zur Ansteuerung zumindest einer ersten und zweiten Hintergrundapplikation über ein universelles Sprachdialogsystem |
CN100382083C (zh) * | 2005-12-23 | 2008-04-16 | 威盛电子股份有限公司 | 网络会话管理方法及系统 |
US7840964B2 (en) * | 2005-12-30 | 2010-11-23 | Intel Corporation | Mechanism to transition control between components in a virtual machine environment |
KR101204408B1 (ko) * | 2006-01-19 | 2012-11-27 | 삼성전자주식회사 | 유니폼 객체 모델을 이용한 유비쿼터스 서비스/디바이스테스트 방법 및 장치 |
US20070180365A1 (en) * | 2006-01-27 | 2007-08-02 | Ashok Mitter Khosla | Automated process and system for converting a flowchart into a speech mark-up language |
US8078990B2 (en) | 2006-02-01 | 2011-12-13 | Research In Motion Limited | Secure device sharing |
US20070225983A1 (en) * | 2006-03-23 | 2007-09-27 | Theodore Maringo | Worldwide time device |
KR101264318B1 (ko) * | 2006-07-07 | 2013-05-22 | 삼성전자주식회사 | 네트워크 환경에서의 서비스 메뉴 및 서비스 제공방법 및그 서비스 제공장치 |
KR100807307B1 (ko) * | 2006-07-10 | 2008-02-28 | 한국전자통신연구원 | 대화형 음성 인터페이스 시스템 및 그 응답 방법 |
US9976865B2 (en) | 2006-07-28 | 2018-05-22 | Ridetones, Inc. | Vehicle communication system with navigation |
US20100030557A1 (en) | 2006-07-31 | 2010-02-04 | Stephen Molloy | Voice and text communication system, method and apparatus |
US8589869B2 (en) * | 2006-09-07 | 2013-11-19 | Wolfram Alpha Llc | Methods and systems for determining a formula |
US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US7957976B2 (en) | 2006-09-12 | 2011-06-07 | Nuance Communications, Inc. | Establishing a multimodal advertising personality for a sponsor of a multimodal application |
KR100832534B1 (ko) * | 2006-09-28 | 2008-05-27 | 한국전자통신연구원 | 음성 인식을 통한 컨텐츠 정보 서비스 제공 장치 및 그방법 |
US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
US8700014B2 (en) | 2006-11-22 | 2014-04-15 | Bindu Rama Rao | Audio guided system for providing guidance to user of mobile device on multi-step activities |
US8478250B2 (en) | 2007-07-30 | 2013-07-02 | Bindu Rama Rao | Interactive media management server |
US10803474B2 (en) * | 2006-11-22 | 2020-10-13 | Qualtrics, Llc | System for creating and distributing interactive advertisements to mobile devices |
US11256386B2 (en) | 2006-11-22 | 2022-02-22 | Qualtrics, Llc | Media management system supporting a plurality of mobile devices |
US7827033B2 (en) * | 2006-12-06 | 2010-11-02 | Nuance Communications, Inc. | Enabling grammars in web page frames |
US20080140390A1 (en) * | 2006-12-11 | 2008-06-12 | Motorola, Inc. | Solution for sharing speech processing resources in a multitasking environment |
CA2572116A1 (en) * | 2006-12-27 | 2008-06-27 | Ibm Canada Limited - Ibm Canada Limitee | System and method for processing multi-modal communication within a workgroup |
US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
US8843376B2 (en) | 2007-03-13 | 2014-09-23 | Nuance Communications, Inc. | Speech-enabled web content searching using a multimodal browser |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8788620B2 (en) * | 2007-04-04 | 2014-07-22 | International Business Machines Corporation | Web service support for a multimodal client processing a multimodal application |
US8131549B2 (en) | 2007-05-24 | 2012-03-06 | Microsoft Corporation | Personality-based device |
AU2012244080B2 (en) * | 2007-05-24 | 2014-04-17 | Microsoft Technology Licensing, Llc | Personality-based Device |
US9794348B2 (en) * | 2007-06-04 | 2017-10-17 | Todd R. Smith | Using voice commands from a mobile device to remotely access and control a computer |
US8612972B2 (en) * | 2007-06-27 | 2013-12-17 | Microsoft Corporation | Running add-on components in virtual environments |
US20090018818A1 (en) * | 2007-07-10 | 2009-01-15 | Aibelive Co., Ltd. | Operating device for natural language input |
US9264483B2 (en) | 2007-07-18 | 2016-02-16 | Hammond Development International, Inc. | Method and system for enabling a communication device to remotely execute an application |
ITFI20070177A1 (it) | 2007-07-26 | 2009-01-27 | Riccardo Vieri | Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento. |
US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
US8165886B1 (en) | 2007-10-04 | 2012-04-24 | Great Northern Research LLC | Speech interface system and method for control and interaction with applications on a computing system |
US8364694B2 (en) | 2007-10-26 | 2013-01-29 | Apple Inc. | Search assistant for digital media assets |
US8620662B2 (en) | 2007-11-20 | 2013-12-31 | Apple Inc. | Context-aware unit selection |
US8472934B2 (en) * | 2007-11-28 | 2013-06-25 | Nokia Corporation | Portable apparatus, method and user interface |
JP2010020273A (ja) * | 2007-12-07 | 2010-01-28 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US8140335B2 (en) | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9703784B2 (en) * | 2007-12-24 | 2017-07-11 | Sandisk Il Ltd. | Mobile device and method for concurrently processing content according to multiple playlists |
US8219407B1 (en) | 2007-12-27 | 2012-07-10 | Great Northern Research, LLC | Method for processing the output of a speech recognizer |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8327272B2 (en) | 2008-01-06 | 2012-12-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
US8086455B2 (en) * | 2008-01-09 | 2011-12-27 | Microsoft Corporation | Model development authoring, generation and execution based on data and processor dependencies |
US20090198496A1 (en) * | 2008-01-31 | 2009-08-06 | Matthias Denecke | Aspect oriented programmable dialogue manager and apparatus operated thereby |
US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
US8289283B2 (en) | 2008-03-04 | 2012-10-16 | Apple Inc. | Language input interface on a device |
WO2009117820A1 (en) * | 2008-03-25 | 2009-10-01 | E-Lane Systems Inc. | Multi-participant, mixed-initiative voice interaction system |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) * | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
WO2009143187A2 (en) * | 2008-05-19 | 2009-11-26 | Citrix Systems, Inc. | Systems and methods for remoting multimedia plugin calls |
US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US8589161B2 (en) | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
EP3249893A1 (en) * | 2008-06-03 | 2017-11-29 | Whirlpool Corporation | Appliance development toolkit |
US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
WO2009152614A1 (en) | 2008-06-19 | 2009-12-23 | E-Lane Systems Inc. | Communication system with voice mail access and call by spelling functionality |
US20090328062A1 (en) * | 2008-06-25 | 2009-12-31 | Microsoft Corporation | Scalable and extensible communication framework |
CN101621480B (zh) * | 2008-06-30 | 2012-03-28 | 国际商业机器公司 | 呈现服务器和在其中使用的xsl文件处理方法 |
US9652023B2 (en) | 2008-07-24 | 2017-05-16 | Intelligent Mechatronic Systems Inc. | Power management system |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
US8959053B2 (en) * | 2008-08-13 | 2015-02-17 | Alcatel Lucent | Configuration file framework to support high availability schema based upon asynchronous checkpointing |
JP5897240B2 (ja) * | 2008-08-20 | 2016-03-30 | 株式会社ユニバーサルエンターテインメント | 顧客対応システム、並びに会話サーバ |
US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
US8352268B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for selective rate of speech and speech preferences for text to speech synthesis |
US8583418B2 (en) | 2008-09-29 | 2013-11-12 | Apple Inc. | Systems and methods of detecting language and natural language strings for text to speech synthesis |
US8352272B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for text to speech synthesis |
US8396714B2 (en) | 2008-09-29 | 2013-03-12 | Apple Inc. | Systems and methods for concatenation of words in text to speech synthesis |
US8355919B2 (en) | 2008-09-29 | 2013-01-15 | Apple Inc. | Systems and methods for text normalization for text to speech synthesis |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
US8121842B2 (en) | 2008-12-12 | 2012-02-21 | Microsoft Corporation | Audio output of a document from mobile device |
US8914417B2 (en) | 2009-01-07 | 2014-12-16 | International Business Machines Corporation | Apparatus, system, and method for maintaining a context stack |
TW201027378A (en) * | 2009-01-08 | 2010-07-16 | Realtek Semiconductor Corp | Virtual platform and related simulation method |
US8954328B2 (en) * | 2009-01-15 | 2015-02-10 | K-Nfb Reading Technology, Inc. | Systems and methods for document narration with multiple characters having multiple moods |
WO2010084497A1 (en) * | 2009-01-26 | 2010-07-29 | Tomer London | System and method for providing visual content and services to wireless terminal devices in response to a received voice call |
US9529573B2 (en) * | 2009-01-28 | 2016-12-27 | Microsoft Technology Licensing, Llc | Graphical user interface generation through use of a binary file |
US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
US8326637B2 (en) | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
CN101533409B (zh) * | 2009-04-23 | 2011-03-02 | 何海群 | 一种网络浏览器系统和控制方法 |
US8788524B1 (en) | 2009-05-15 | 2014-07-22 | Wolfram Alpha Llc | Method and system for responding to queries in an imprecise syntax |
US8601015B1 (en) | 2009-05-15 | 2013-12-03 | Wolfram Alpha Llc | Dynamic example generation for queries |
WO2010135837A1 (en) * | 2009-05-28 | 2010-12-02 | Intelligent Mechatronic Systems Inc | Communication system with personal information management and remote vehicle monitoring and control features |
US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US9002713B2 (en) * | 2009-06-09 | 2015-04-07 | At&T Intellectual Property I, L.P. | System and method for speech personalization by need |
US8442189B2 (en) * | 2009-06-22 | 2013-05-14 | Avaya Inc. | Unified communications appliance |
US9055151B2 (en) * | 2009-06-22 | 2015-06-09 | Avaya Inc. | Method to set the flag as replied or forwarded to all replied or forwarded voice messages |
EP2446652A4 (en) | 2009-06-27 | 2012-08-29 | Intelligent Mechatronic Sys | INTERNET RADIO INTERFACE FOR VEHICLE |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US9502025B2 (en) | 2009-11-10 | 2016-11-22 | Voicebox Technologies Corporation | System and method for providing a natural language content dedication service |
US9171541B2 (en) * | 2009-11-10 | 2015-10-27 | Voicebox Technologies Corporation | System and method for hybrid processing in a natural language voice services environment |
US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
US20110110534A1 (en) * | 2009-11-12 | 2011-05-12 | Apple Inc. | Adjustable voice output based on device status |
US20110125733A1 (en) * | 2009-11-25 | 2011-05-26 | Fish Nathan J | Quick access utility |
US9978272B2 (en) | 2009-11-25 | 2018-05-22 | Ridetones, Inc | Vehicle to vehicle chatting and communication system |
US20110144976A1 (en) * | 2009-12-10 | 2011-06-16 | Arun Jain | Application user interface system and method |
US8868427B2 (en) * | 2009-12-11 | 2014-10-21 | General Motors Llc | System and method for updating information in electronic calendars |
GB0922608D0 (en) * | 2009-12-23 | 2010-02-10 | Vratskides Alexios | Message optimization |
EP3091535B1 (en) * | 2009-12-23 | 2023-10-11 | Google LLC | Multi-modal input on an electronic device |
JP2011139303A (ja) * | 2009-12-28 | 2011-07-14 | Nec Corp | 通信システム、制御装置、通信制御方法、およびプログラム |
US8600743B2 (en) | 2010-01-06 | 2013-12-03 | Apple Inc. | Noise profile determination for voice-related feature |
US8311838B2 (en) | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
US9665620B2 (en) * | 2010-01-15 | 2017-05-30 | Ab Initio Technology Llc | Managing data queries |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US8645914B2 (en) | 2010-01-22 | 2014-02-04 | AgentSheets, Inc. | Conversational programming |
US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US8433828B2 (en) | 2010-02-26 | 2013-04-30 | Apple Inc. | Accessory protocol for touch screen device accessibility |
US8554948B2 (en) * | 2010-03-03 | 2013-10-08 | At&T Intellectual Property I, L.P. | Methods, systems and computer program products for identifying traffic on the internet using communities of interest |
JP5560814B2 (ja) * | 2010-03-24 | 2014-07-30 | 日本電気株式会社 | 負荷分散システム、負荷分散サーバおよび負荷分散方法 |
US8612932B2 (en) * | 2010-04-18 | 2013-12-17 | Voxeo Corporation | Unified framework and method for call control and media control |
US8776091B2 (en) * | 2010-04-30 | 2014-07-08 | Microsoft Corporation | Reducing feedback latency |
US8484015B1 (en) | 2010-05-14 | 2013-07-09 | Wolfram Alpha Llc | Entity pages |
US8639516B2 (en) | 2010-06-04 | 2014-01-28 | Apple Inc. | User-specific noise suppression for voice quality improvements |
US8352908B2 (en) | 2010-06-28 | 2013-01-08 | International Business Machines Corporation | Multi-modal conversion tool for form-type applications |
US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
US9246914B2 (en) * | 2010-07-16 | 2016-01-26 | Nokia Technologies Oy | Method and apparatus for processing biometric information using distributed computation |
US9104670B2 (en) | 2010-07-21 | 2015-08-11 | Apple Inc. | Customized search or acquisition of digital media assets |
US8812298B1 (en) | 2010-07-28 | 2014-08-19 | Wolfram Alpha Llc | Macro replacement of natural language input |
US8775618B2 (en) * | 2010-08-02 | 2014-07-08 | Ebay Inc. | Application platform with flexible permissioning |
US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
US8688435B2 (en) * | 2010-09-22 | 2014-04-01 | Voice On The Go Inc. | Systems and methods for normalizing input media |
US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
US20120173242A1 (en) * | 2010-12-30 | 2012-07-05 | Samsung Electronics Co., Ltd. | System and method for exchange of scribble data between gsm devices along with voice |
US8930194B2 (en) | 2011-01-07 | 2015-01-06 | Nuance Communications, Inc. | Configurable speech recognition system using multiple recognizers |
US9183843B2 (en) | 2011-01-07 | 2015-11-10 | Nuance Communications, Inc. | Configurable speech recognition system using multiple recognizers |
US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
US9542657B2 (en) * | 2011-02-23 | 2017-01-10 | Avaya Inc. | Method and system for optimizing contact center performance |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US9202465B2 (en) * | 2011-03-25 | 2015-12-01 | General Motors Llc | Speech recognition dependent on text message content |
US8171137B1 (en) * | 2011-05-09 | 2012-05-01 | Google Inc. | Transferring application state across devices |
CN103534696B (zh) * | 2011-05-13 | 2018-02-16 | 微软技术许可有限责任公司 | 针对口语语言理解中的域检测利用查询点击记录 |
US20120317492A1 (en) * | 2011-05-27 | 2012-12-13 | Telefon Projekt LLC | Providing Interactive and Personalized Multimedia Content from Remote Servers |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10672399B2 (en) | 2011-06-03 | 2020-06-02 | Apple Inc. | Switching between text data and audio data based on a mapping |
US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
US9069814B2 (en) | 2011-07-27 | 2015-06-30 | Wolfram Alpha Llc | Method and system for using natural language to generate widgets |
US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US8645978B2 (en) * | 2011-09-02 | 2014-02-04 | Compuverde Ab | Method for data maintenance |
US9734252B2 (en) | 2011-09-08 | 2017-08-15 | Wolfram Alpha Llc | Method and system for analyzing data using a query answering system |
US8645532B2 (en) * | 2011-09-13 | 2014-02-04 | BlueStripe Software, Inc. | Methods and computer program products for monitoring the contents of network traffic in a network device |
US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
US9851950B2 (en) | 2011-11-15 | 2017-12-26 | Wolfram Alpha Llc | Programming in a precise syntax using natural language |
US8595016B2 (en) * | 2011-12-23 | 2013-11-26 | Angle, Llc | Accessing content using a source-specific content-adaptable dialogue |
KR101962126B1 (ko) * | 2012-02-24 | 2019-03-26 | 엘지전자 주식회사 | 음성 인식 결과에 따라 데이터베이스에 액세스하는 멀티미디어 디바이스 및 그 제어 방법 |
CN103295575B (zh) * | 2012-02-27 | 2019-01-25 | 北京三星通信技术研究有限公司 | 一种语音识别方法和客户端 |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US20240046928A1 (en) * | 2012-04-13 | 2024-02-08 | View, Inc. | Controlling optically-switchable devices |
EP2847663A4 (en) * | 2012-05-07 | 2015-12-30 | Citrix Systems Inc | LANGUAGE RECOGNITION SUPPORT FOR REMOTE APPLICATIONS AND DESKTOPS |
US20130304536A1 (en) * | 2012-05-10 | 2013-11-14 | Ebay, Inc. | Harvest Customer Tracking Information |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10395270B2 (en) | 2012-05-17 | 2019-08-27 | Persado Intellectual Property Limited | System and method for recommending a grammar for a message campaign used by a message optimization system |
US10019994B2 (en) | 2012-06-08 | 2018-07-10 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9502029B1 (en) * | 2012-06-25 | 2016-11-22 | Amazon Technologies, Inc. | Context-aware speech processing |
US9495129B2 (en) * | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US20140006318A1 (en) * | 2012-06-29 | 2014-01-02 | Poe XING | Collecting, discovering, and/or sharing media objects |
US8554559B1 (en) * | 2012-07-13 | 2013-10-08 | Google Inc. | Localized speech recognition with offload |
US9710475B1 (en) | 2012-07-16 | 2017-07-18 | Tintri Inc. | Synchronization of data |
EP2875443A4 (en) * | 2012-07-19 | 2016-05-18 | Glance Networks Inc | INTEGRATION OF CO-BROWSING WITH OTHER FORMS OF COMMON INFORMATION USE |
US8577671B1 (en) | 2012-07-20 | 2013-11-05 | Veveo, Inc. | Method of and system for using conversation state information in a conversational interaction system |
US9485330B2 (en) | 2012-07-30 | 2016-11-01 | Tencent Technology (Shenzhen) Company Limited | Web browser operation method and system |
CN103577444B (zh) * | 2012-07-30 | 2017-04-05 | 腾讯科技(深圳)有限公司 | 一种操控浏览器的方法及系统 |
US9465833B2 (en) | 2012-07-31 | 2016-10-11 | Veveo, Inc. | Disambiguating user intent in conversational interaction system for large corpus information retrieval |
US9378073B2 (en) | 2012-08-14 | 2016-06-28 | International Business Machines Corporation | Remote procedure call for a distributed system |
US9384736B2 (en) * | 2012-08-21 | 2016-07-05 | Nuance Communications, Inc. | Method to provide incremental UI response based on multiple asynchronous evidence about user input |
US9405424B2 (en) | 2012-08-29 | 2016-08-02 | Wolfram Alpha, Llc | Method and system for distributing and displaying graphical items |
KR102150289B1 (ko) * | 2012-08-30 | 2020-09-01 | 삼성전자주식회사 | 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법 |
CN102831229A (zh) * | 2012-08-30 | 2012-12-19 | 浙大网新科技股份有限公司 | 适合盲人使用的网页浏览方法 |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US8700396B1 (en) * | 2012-09-11 | 2014-04-15 | Google Inc. | Generating speech data collection prompts |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
US10276157B2 (en) * | 2012-10-01 | 2019-04-30 | Nuance Communications, Inc. | Systems and methods for providing a voice agent user interface |
KR20150063423A (ko) | 2012-10-04 | 2015-06-09 | 뉘앙스 커뮤니케이션즈, 인코포레이티드 | Asr을 위한 개선된 하이브리드 컨트롤러 |
US9035884B2 (en) | 2012-10-17 | 2015-05-19 | Nuance Communications, Inc. | Subscription updates in multiple device language models |
JPWO2014073206A1 (ja) * | 2012-11-07 | 2016-09-08 | 日本電気株式会社 | 情報処理装置、及び、情報処理方法 |
KR101980834B1 (ko) * | 2012-11-28 | 2019-05-21 | 한국전자통신연구원 | 컨텍스트 정보 기반 응용프로그램 관리방법 및 그 장치 |
US9003039B2 (en) | 2012-11-29 | 2015-04-07 | Thales Canada Inc. | Method and apparatus of resource allocation or resource release |
KR101940719B1 (ko) * | 2012-12-14 | 2019-01-23 | 한국전자통신연구원 | 태스크 그래프 기반 대화 처리 시스템의 태스크 그래프 구축 장치 및 방법 |
CN103117058B (zh) * | 2012-12-20 | 2015-12-09 | 四川长虹电器股份有限公司 | 基于智能电视平台的多语音引擎切换系统及方法 |
CN103020278A (zh) * | 2012-12-28 | 2013-04-03 | 深圳创维数字技术股份有限公司 | 一种网页的控制方法及浏览器 |
US9430420B2 (en) | 2013-01-07 | 2016-08-30 | Telenav, Inc. | Computing system with multimodal interaction mechanism and method of operation thereof |
US9922639B1 (en) | 2013-01-11 | 2018-03-20 | Amazon Technologies, Inc. | User feedback for speech interactions |
CN103971687B (zh) * | 2013-02-01 | 2016-06-29 | 腾讯科技(深圳)有限公司 | 一种语音识别系统中的负载均衡实现方法和装置 |
CN113470641B (zh) | 2013-02-07 | 2023-12-15 | 苹果公司 | 数字助理的语音触发器 |
US9817835B2 (en) * | 2013-03-12 | 2017-11-14 | Tintri Inc. | Efficient data synchronization for storage containers |
US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
US9218052B2 (en) | 2013-03-14 | 2015-12-22 | Samsung Electronics Co., Ltd. | Framework for voice controlling applications |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
KR101759009B1 (ko) | 2013-03-15 | 2017-07-17 | 애플 인크. | 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것 |
US9526120B2 (en) | 2013-03-15 | 2016-12-20 | Google Inc. | Techniques for context-based application invocation for short-range wireless communication interactions |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US9348555B2 (en) * | 2013-03-15 | 2016-05-24 | Volkswagen Ag | In-vehicle access of mobile device functions |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
AU2014251347B2 (en) | 2013-03-15 | 2017-05-18 | Apple Inc. | Context-sensitive handling of interruptions |
CN110096712B (zh) | 2013-03-15 | 2023-06-20 | 苹果公司 | 通过智能数字助理的用户培训 |
US9875494B2 (en) | 2013-04-16 | 2018-01-23 | Sri International | Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant |
WO2014183035A1 (en) | 2013-05-10 | 2014-11-13 | Veveo, Inc. | Method and system for capturing and exploiting user intent in a conversational interaction based information retrieval system |
US9431008B2 (en) | 2013-05-29 | 2016-08-30 | Nuance Communications, Inc. | Multiple parallel dialogs in smart phone applications |
WO2014196984A1 (en) * | 2013-06-07 | 2014-12-11 | Nuance Communications, Inc. | Speech-based search using descriptive features of surrounding objects |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
DE112014002747T5 (de) | 2013-06-09 | 2016-03-03 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
JP2016521948A (ja) | 2013-06-13 | 2016-07-25 | アップル インコーポレイテッド | 音声コマンドによって開始される緊急電話のためのシステム及び方法 |
US9311298B2 (en) * | 2013-06-21 | 2016-04-12 | Microsoft Technology Licensing, Llc | Building conversational understanding systems using a toolset |
KR102053820B1 (ko) | 2013-07-02 | 2019-12-09 | 삼성전자주식회사 | 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법 |
US10956433B2 (en) * | 2013-07-15 | 2021-03-23 | Microsoft Technology Licensing, Llc | Performing an operation relative to tabular data based upon voice input |
CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
US10109273B1 (en) | 2013-08-29 | 2018-10-23 | Amazon Technologies, Inc. | Efficient generation of personalized spoken language understanding models |
US9361289B1 (en) * | 2013-08-30 | 2016-06-07 | Amazon Technologies, Inc. | Retrieval and management of spoken language understanding personalization data |
US10628378B2 (en) | 2013-09-03 | 2020-04-21 | Tintri By Ddn, Inc. | Replication of snapshots and clones |
US9495965B2 (en) * | 2013-09-20 | 2016-11-15 | American Institutes For Research | Synthesis and display of speech commands method and system |
CN103474065A (zh) * | 2013-09-24 | 2013-12-25 | 贵阳世纪恒通科技有限公司 | 基于自动分类技术的语音意图判定识别方法 |
WO2015050543A1 (en) * | 2013-10-02 | 2015-04-09 | Empire Technology Development, Llc | Identification of distributed user interface (dui) elements |
CN104598257B (zh) * | 2013-10-30 | 2019-01-18 | 华为技术有限公司 | 远程应用程序运行的方法和装置 |
KR101740332B1 (ko) * | 2013-11-05 | 2017-06-08 | 한국전자통신연구원 | 자동 번역 장치 및 방법 |
US9754591B1 (en) | 2013-11-18 | 2017-09-05 | Amazon Technologies, Inc. | Dialog management context sharing |
US9690854B2 (en) * | 2013-11-27 | 2017-06-27 | Nuance Communications, Inc. | Voice-enabled dialog interaction with web pages |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9558176B2 (en) | 2013-12-06 | 2017-01-31 | Microsoft Technology Licensing, Llc | Discriminating between natural language and keyword language items |
KR101489826B1 (ko) * | 2013-12-30 | 2015-02-04 | 유승우 | 더미 터미널 및 본체 |
CA2939468A1 (en) * | 2014-02-13 | 2015-08-20 | Nec Corporation | Communication system, communication device, communication method, and non-transitory computer readable medium storing program |
SG11201707861UA (en) * | 2014-03-25 | 2017-10-30 | Botanic Tech Inc | Systems and methods for executing cryptographically secure transactions using voice and natural language processing |
US20150278852A1 (en) * | 2014-04-01 | 2015-10-01 | DoubleVerify, Inc. | System And Method For Identifying Online Advertisement Laundering And Online Advertisement Injection |
JP2015207819A (ja) * | 2014-04-17 | 2015-11-19 | 株式会社リコー | 情報処理装置、情報処理システム、通信制御方法およびプログラム |
US9514376B2 (en) * | 2014-04-29 | 2016-12-06 | Google Inc. | Techniques for distributed optical character recognition and distributed machine language translation |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US9990433B2 (en) | 2014-05-23 | 2018-06-05 | Samsung Electronics Co., Ltd. | Method for searching and device thereof |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US11314826B2 (en) | 2014-05-23 | 2022-04-26 | Samsung Electronics Co., Ltd. | Method for searching and device thereof |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
JP2016024212A (ja) * | 2014-07-16 | 2016-02-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
WO2016040769A1 (en) * | 2014-09-14 | 2016-03-17 | Speaktoit, Inc. | Platform for creating customizable dialog system engines |
CN107003996A (zh) | 2014-09-16 | 2017-08-01 | 声钰科技 | 语音商务 |
WO2016044321A1 (en) | 2014-09-16 | 2016-03-24 | Min Tang | Integration of domain information into state transitions of a finite state transducer for natural language processing |
JP6335388B2 (ja) | 2014-09-19 | 2018-05-30 | コンヴィーダ ワイヤレス, エルエルシー | サービス層セッション移転および共有 |
US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9800619B2 (en) * | 2014-10-15 | 2017-10-24 | Ayla Networks, Inc. | Registration framework for connected consumer devices |
WO2016061309A1 (en) | 2014-10-15 | 2016-04-21 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
EP3207452A4 (en) * | 2014-10-15 | 2018-06-20 | Ayla Networks, Inc. | Registration framework for connected consumer devices |
US9648055B2 (en) * | 2014-10-15 | 2017-05-09 | Ayla Networks, Inc. | Applications in a flexible registration framework |
US9813505B2 (en) | 2014-10-15 | 2017-11-07 | Ayla Networks, Inc. | Devices in a flexible registration framework |
WO2016065020A2 (en) * | 2014-10-21 | 2016-04-28 | Robert Bosch Gmbh | Method and system for automation of response selection and composition in dialog systems |
US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9965464B2 (en) * | 2014-12-05 | 2018-05-08 | Microsoft Technology Licensing, Llc | Automatic process guidance |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US10154041B2 (en) * | 2015-01-13 | 2018-12-11 | Microsoft Technology Licensing, Llc | Website access control |
US9854049B2 (en) | 2015-01-30 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for resolving ambiguous terms in social chatter based on a user profile |
US10180985B2 (en) * | 2015-02-19 | 2019-01-15 | At&T Intellectual Property I, L.P. | Apparatus and method for automatically redirecting a search |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9672829B2 (en) * | 2015-03-23 | 2017-06-06 | International Business Machines Corporation | Extracting and displaying key points of a video conference |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US20160321025A1 (en) * | 2015-04-30 | 2016-11-03 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
CN106302089B (zh) * | 2015-05-21 | 2019-06-11 | 阿里巴巴集团控股有限公司 | 会话处理方法和系统 |
US9721569B2 (en) * | 2015-05-27 | 2017-08-01 | Intel Corporation | Gaussian mixture model accelerator with direct memory access engines corresponding to individual data streams |
EP3304440B1 (en) * | 2015-05-27 | 2021-05-19 | Orion Labs | Intelligent agent features for wearable personal communication nodes |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10360911B2 (en) | 2015-06-01 | 2019-07-23 | AffectLayer, Inc. | Analyzing conversations to automatically identify product features that resonate with customers |
US10387573B2 (en) | 2015-06-01 | 2019-08-20 | AffectLayer, Inc. | Analyzing conversations to automatically identify customer pain points |
US10133999B2 (en) | 2015-06-01 | 2018-11-20 | AffectLayer, Inc. | Analyzing conversations to automatically identify deals at risk |
US10110743B2 (en) | 2015-06-01 | 2018-10-23 | AffectLayer, Inc. | Automatic pattern recognition in conversations |
US10324979B2 (en) | 2015-06-01 | 2019-06-18 | AffectLayer, Inc. | Automatic generation of playlists from conversations |
US10679013B2 (en) | 2015-06-01 | 2020-06-09 | AffectLayer, Inc. | IoT-based call assistant device |
US10367940B2 (en) | 2015-06-01 | 2019-07-30 | AffectLayer, Inc. | Analyzing conversations to automatically identify product feature requests |
US10181326B2 (en) | 2015-06-01 | 2019-01-15 | AffectLayer, Inc. | Analyzing conversations to automatically identify action items |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US9407989B1 (en) | 2015-06-30 | 2016-08-02 | Arthur Woodrow | Closed audio circuit |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10504137B1 (en) | 2015-10-08 | 2019-12-10 | Persado Intellectual Property Limited | System, method, and computer program product for monitoring and responding to the performance of an ad |
US9688225B2 (en) * | 2015-10-09 | 2017-06-27 | Livio, Inc. | Methods and systems for a mobile device to emulate a vehicle human-machine interface |
EP3363016A4 (en) * | 2015-10-15 | 2019-05-15 | Interactive Intelligence Group, Inc. | SYSTEM AND METHOD FOR MULTILINGUAL COMMUNICATION SEQUENCING |
RU2018113724A (ru) | 2015-10-21 | 2019-11-21 | ГУГЛ ЭлЭлСи | Сбор параметров и автоматическая генерация диалога в диалоговых системах |
US10691473B2 (en) * | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US11018888B2 (en) * | 2015-12-03 | 2021-05-25 | Whirlpool Corporation | Methods of remote control of appliances |
US10832283B1 (en) | 2015-12-09 | 2020-11-10 | Persado Intellectual Property Limited | System, method, and computer program for providing an instance of a promotional message to a user based on a predicted emotional response corresponding to user characteristics |
CN105551488A (zh) * | 2015-12-15 | 2016-05-04 | 深圳Tcl数字技术有限公司 | 语音控制方法及系统 |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10732783B2 (en) | 2015-12-28 | 2020-08-04 | Microsoft Technology Licensing, Llc | Identifying image comments from similar images |
US10417346B2 (en) * | 2016-01-23 | 2019-09-17 | Microsoft Technology Licensing, Llc | Tool for facilitating the development of new language understanding scenarios |
US9820039B2 (en) | 2016-02-22 | 2017-11-14 | Sonos, Inc. | Default playback devices |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10224026B2 (en) * | 2016-03-15 | 2019-03-05 | Sony Corporation | Electronic device, system, method and computer program |
KR102641971B1 (ko) * | 2016-03-17 | 2024-02-29 | 구글 엘엘씨 | 하이브리드 클라이언트-서버 데이터 제공 |
US9996531B1 (en) * | 2016-03-29 | 2018-06-12 | Facebook, Inc. | Conversational understanding |
US10319371B2 (en) * | 2016-05-04 | 2019-06-11 | GM Global Technology Operations LLC | Disambiguation of vehicle speech commands |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
CN106095593B (zh) | 2016-05-31 | 2019-04-16 | Oppo广东移动通信有限公司 | 一种前、后景应用程序行为同步方法及装置 |
KR101995540B1 (ko) * | 2016-06-03 | 2019-07-15 | 주식회사 허브케이 | 판독/입력 오류 단어 정정 장치 및 방법 |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
EP3437215A4 (en) * | 2016-06-21 | 2019-11-27 | Hewlett-Packard Development Company, L.P. | COMMUNICATION USING MULTIPLE VIRTUAL ASSISTANCE SERVICES |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10331784B2 (en) | 2016-07-29 | 2019-06-25 | Voicebox Technologies Corporation | System and method of disambiguating natural language processing requests |
KR101827773B1 (ko) | 2016-08-02 | 2018-02-09 | 주식회사 하이퍼커넥트 | 통역 장치 및 방법 |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
KR102481881B1 (ko) * | 2016-09-07 | 2022-12-27 | 삼성전자주식회사 | 외부 디바이스를 제어하는 서버 및 그 방법 |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
CN106847272A (zh) * | 2016-12-12 | 2017-06-13 | 北京光年无限科技有限公司 | 与运行应用关联的智能机器人的数据交互方法 |
CN106844453B (zh) * | 2016-12-20 | 2020-09-08 | 江苏瀚远科技股份有限公司 | 一种电子文件格式转换方法 |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
KR102643501B1 (ko) * | 2016-12-26 | 2024-03-06 | 현대자동차주식회사 | 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법 |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10971157B2 (en) | 2017-01-11 | 2021-04-06 | Nuance Communications, Inc. | Methods and apparatus for hybrid speech recognition processing |
US20180247644A1 (en) * | 2017-02-27 | 2018-08-30 | Intel Corporation | Queueing spoken dialogue output |
EP3392884A1 (en) * | 2017-04-21 | 2018-10-24 | audEERING GmbH | A method for automatic affective state inference and an automated affective state inference system |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US10127227B1 (en) * | 2017-05-15 | 2018-11-13 | Google Llc | Providing access to user-controlled resources by automated assistants |
US11436417B2 (en) | 2017-05-15 | 2022-09-06 | Google Llc | Providing access to user-controlled resources by automated assistants |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US11048995B2 (en) | 2017-05-16 | 2021-06-29 | Google Llc | Delayed responses by computational assistant |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
CN107319857A (zh) * | 2017-06-30 | 2017-11-07 | 广东工业大学 | 一种交互镜子及具有该交互镜子的智能家电系统 |
JP6777887B2 (ja) * | 2017-06-30 | 2020-10-28 | 京セラドキュメントソリューションズ株式会社 | リモート通信制御システム、セッション管理システムおよびセッション管理プログラム |
US10503467B2 (en) * | 2017-07-13 | 2019-12-10 | International Business Machines Corporation | User interface sound emanation activity classification |
US20190018545A1 (en) * | 2017-07-13 | 2019-01-17 | International Business Machines Corporation | System and method for rapid financial app prototyping |
KR102419374B1 (ko) * | 2017-07-21 | 2022-07-11 | 삼성전자주식회사 | 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법 |
TWI646529B (zh) * | 2017-07-25 | 2019-01-01 | 雲拓科技有限公司 | 主動聊天裝置 |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
CN109426530B (zh) * | 2017-08-17 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 页面确定方法、装置、服务器和存储介质 |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10957313B1 (en) | 2017-09-22 | 2021-03-23 | Amazon Technologies, Inc. | System command processing |
US10600419B1 (en) * | 2017-09-22 | 2020-03-24 | Amazon Technologies, Inc. | System command processing |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
CN107479906A (zh) * | 2017-09-28 | 2017-12-15 | 电子科技大学 | 基于Cordova的跨平台在线教育移动终端 |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10453454B2 (en) * | 2017-10-26 | 2019-10-22 | Hitachi, Ltd. | Dialog system with self-learning natural language understanding |
CN107767856B (zh) * | 2017-11-07 | 2021-11-19 | 中国银行股份有限公司 | 一种语音处理方法、装置及服务器 |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
KR102279121B1 (ko) * | 2017-12-08 | 2021-07-19 | 구글 엘엘씨 | 스택 데이터 구조 백그라운드의 디지털 어시스턴트 프로세싱 |
CN108008728B (zh) * | 2017-12-12 | 2020-01-17 | 深圳市银星智能科技股份有限公司 | 清洁机器人以及基于清洁机器人的最短路径规划方法 |
US20190180753A1 (en) * | 2017-12-12 | 2019-06-13 | Ca, Inc. | Analysis of collaborative dialog data structures from speech processing computer system |
WO2019125486A1 (en) * | 2017-12-22 | 2019-06-27 | Soundhound, Inc. | Natural language grammars adapted for interactive experiences |
US11443646B2 (en) | 2017-12-22 | 2022-09-13 | Fathom Technologies, LLC | E-Reader interface system with audio and highlighting synchronization for digital books |
US11900928B2 (en) | 2017-12-23 | 2024-02-13 | Soundhound Ai Ip, Llc | System and method for adapted interactive experiences |
US10671251B2 (en) | 2017-12-22 | 2020-06-02 | Arbordale Publishing, LLC | Interactive eReader interface generation based on synchronization of textual and audial descriptors |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
CN108256066B (zh) * | 2018-01-16 | 2022-01-11 | 智言科技(深圳)有限公司 | 端到端层次解码任务型对话系统 |
CN108269205A (zh) * | 2018-01-24 | 2018-07-10 | 成都安信思远信息技术有限公司 | 一种利用云平台的电子数据鉴定系统 |
CN108319912A (zh) * | 2018-01-30 | 2018-07-24 | 歌尔科技有限公司 | 一种唇语识别方法、装置、系统和智能眼镜 |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US11343614B2 (en) | 2018-01-31 | 2022-05-24 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US20190236137A1 (en) * | 2018-01-31 | 2019-08-01 | Microsoft Technology Licensing, Llc | Generating conversational representations of web content |
CN108520748B (zh) * | 2018-02-01 | 2020-03-03 | 百度在线网络技术(北京)有限公司 | 一种智能设备功能引导方法及系统 |
US10891430B2 (en) * | 2018-02-02 | 2021-01-12 | Fuji Xerox Co., Ltd. | Semi-automated methods for translating structured document content to chat-based interaction |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
KR102507249B1 (ko) * | 2018-03-08 | 2023-03-07 | 삼성전자주식회사 | 성능 모드 제어 방법 및 이를 지원하는 전자 장치 |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11056107B2 (en) * | 2018-03-30 | 2021-07-06 | International Business Machines Corporation | Conversational framework |
EP3776246A1 (en) * | 2018-04-19 | 2021-02-17 | Google LLC | Dependency graph conversation modeling for use in conducting human-to-computer dialog sessions with a computer-implemented automated assistant |
CN108614773A (zh) * | 2018-04-24 | 2018-10-02 | 广州链创信息科技有限公司 | 一种手机小程序用展示发布体验系统 |
US11094316B2 (en) * | 2018-05-04 | 2021-08-17 | Qualcomm Incorporated | Audio analytics for natural language processing |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
EP3570189B1 (de) * | 2018-05-14 | 2023-08-09 | Siemens Aktiengesellschaft | Computerimplementiertes verfahren zum bereitstellen eines adaptiven dialogsystems und ein adaptives dialogsystem |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US11076039B2 (en) | 2018-06-03 | 2021-07-27 | Apple Inc. | Accelerated task performance |
US10776582B2 (en) * | 2018-06-06 | 2020-09-15 | International Business Machines Corporation | Supporting combinations of intents in a conversation |
US10811009B2 (en) | 2018-06-27 | 2020-10-20 | International Business Machines Corporation | Automatic skill routing in conversational computing frameworks |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
EP3682345B1 (en) | 2018-08-07 | 2021-11-24 | Google LLC | Assembling and evaluating automated assistant responses for privacy concerns |
US11436215B2 (en) | 2018-08-20 | 2022-09-06 | Samsung Electronics Co., Ltd. | Server and control method thereof |
JP7159355B2 (ja) * | 2018-08-23 | 2022-10-24 | グーグル エルエルシー | マルチアシスタント環境の特性によるアシスタント応答性の規制 |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10762893B2 (en) * | 2018-09-28 | 2020-09-01 | Comcast Cable Communications, Llc | Monitoring of one or more audio/video collection devices |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US10594837B1 (en) | 2018-11-02 | 2020-03-17 | International Business Machines Corporation | Predictive service scaling for conversational computing |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US10770072B2 (en) | 2018-12-10 | 2020-09-08 | International Business Machines Corporation | Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
CN110021291B (zh) * | 2018-12-26 | 2021-01-29 | 创新先进技术有限公司 | 一种语音合成文件的调用方法及装置 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
EP3703342B1 (en) * | 2019-03-01 | 2023-07-26 | ABB Schweiz AG | Dynamic load balancing in network centric process control systems |
WO2020185880A1 (en) * | 2019-03-12 | 2020-09-17 | Beguided, Inc. | Conversational artificial intelligence for automated self-service account management |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
CN111800537B (zh) * | 2019-04-09 | 2021-07-20 | Oppo广东移动通信有限公司 | 终端使用状态的评估方法、装置、存储介质及电子设备 |
CN111857219B (zh) * | 2019-04-25 | 2023-06-30 | 益逻触控系统公司 | 具有三层系统架构的自助服务装置 |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
EP3739491B1 (en) | 2019-05-17 | 2022-07-06 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11526780B2 (en) * | 2019-08-05 | 2022-12-13 | Microsoft Technology Licensing, Llc | Converting nonnative skills for conversational computing interfaces |
US10915227B1 (en) | 2019-08-07 | 2021-02-09 | Bank Of America Corporation | System for adjustment of resource allocation based on multi-channel inputs |
CN110647736A (zh) * | 2019-08-13 | 2020-01-03 | 平安科技(深圳)有限公司 | 插件式坐席系统登录方法、装置、计算机设备及存储介质 |
CN110400564A (zh) * | 2019-08-21 | 2019-11-01 | 科大国创软件股份有限公司 | 一种基于栈的聊天机器人对话管理方法 |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
CN110647305B (zh) * | 2019-09-29 | 2023-10-31 | 阿波罗智联(北京)科技有限公司 | 应用程序的语音交互方法、装置、设备和介质 |
US11062270B2 (en) * | 2019-10-01 | 2021-07-13 | Microsoft Technology Licensing, Llc | Generating enriched action items |
US12020696B2 (en) | 2019-10-21 | 2024-06-25 | Soundhound Ai Ip, Llc | Automatic synchronization for an offline virtual assistant |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
JP7029434B2 (ja) * | 2019-10-23 | 2022-03-03 | サウンドハウンド,インコーポレイテッド | コンピュータによって実行される方法、サーバ装置、情報処理システム、プログラム、およびクライアント端末 |
WO2021096382A2 (ru) * | 2019-11-15 | 2021-05-20 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Институт" (Национальный Исследовательский Университет) (Мфти) | Способ и система управления диалоговым агентом в канале взаимодействия с пользователем |
CN111105289B (zh) * | 2019-11-22 | 2023-05-05 | 北京云杉信息技术有限公司 | 一种基于aop方式的客户端订单取消判断方法及装置 |
US11664044B2 (en) | 2019-11-25 | 2023-05-30 | Qualcomm Incorporated | Sound event detection learning |
EP3836043A1 (en) | 2019-12-11 | 2021-06-16 | Carrier Corporation | A method and an equipment for configuring a service |
WO2021117251A1 (ja) * | 2019-12-13 | 2021-06-17 | 株式会社日立産機システム | 通信モジュール、通信システム及び通信方法 |
CN111223485A (zh) * | 2019-12-19 | 2020-06-02 | 深圳壹账通智能科技有限公司 | 智能交互方法、装置、电子设备及存储介质 |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
CN113035226B (zh) * | 2019-12-24 | 2024-04-23 | 中兴通讯股份有限公司 | 语音通话方法、通信终端和计算机可读介质 |
US11209573B2 (en) | 2020-01-07 | 2021-12-28 | Northrop Grumman Systems Corporation | Radio occultation aircraft navigation aid system |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11550552B2 (en) * | 2020-03-30 | 2023-01-10 | Nuance Communications, Inc. | Development system and method for a conversational application |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
CN114095487B (zh) * | 2020-07-30 | 2024-03-19 | 中移(苏州)软件技术有限公司 | 一种远程任务执行方法、装置及存储介质 |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11514799B2 (en) | 2020-11-11 | 2022-11-29 | Northrop Grumman Systems Corporation | Systems and methods for maneuvering an aerial vehicle during adverse weather conditions |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11410677B2 (en) | 2020-11-24 | 2022-08-09 | Qualcomm Incorporated | Adaptive sound event classification |
CN112527435B (zh) * | 2020-12-08 | 2024-02-13 | 建信金融科技有限责任公司 | 浏览器操作方法及系统 |
US11329933B1 (en) | 2020-12-28 | 2022-05-10 | Drift.com, Inc. | Persisting an AI-supported conversation across multiple channels |
US20220415311A1 (en) * | 2021-06-24 | 2022-12-29 | Amazon Technologies, Inc. | Early invocation for contextual data processing |
US20230197072A1 (en) * | 2021-12-17 | 2023-06-22 | Google Llc | Warm word arbitration between automated assistant devices |
US20230273943A1 (en) * | 2022-02-28 | 2023-08-31 | International Business Machines Corporation | Synchronizing a sensor network and an ontology |
CN115064168B (zh) * | 2022-08-17 | 2022-12-13 | 广州小鹏汽车科技有限公司 | 语音交互方法、服务器和存储介质 |
CN116719649A (zh) * | 2022-09-01 | 2023-09-08 | 荣耀终端有限公司 | 会话通知的提示方法、电子设备及可读存储介质 |
CN116450383A (zh) * | 2023-06-19 | 2023-07-18 | 合肥景云软件工程有限责任公司 | 一种通过网页调用操作系统的方法 |
Family Cites Families (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4787031A (en) * | 1985-01-04 | 1988-11-22 | Digital Equipment Corporation | Computer with virtual machine mode and multiple protection rings |
JPH0673135B2 (ja) * | 1988-03-01 | 1994-09-14 | 工業技術院長 | 自然言語対話処理装置 |
US5282265A (en) * | 1988-10-04 | 1994-01-25 | Canon Kabushiki Kaisha | Knowledge information processing system |
JPH0384652A (ja) * | 1989-08-29 | 1991-04-10 | Personal Joho Kankyo Kyokai | ヒューマンインタフェースのアーキテクチャモデル |
US5333237A (en) * | 1989-10-10 | 1994-07-26 | Hughes Aircraft Company | Hypermedia structured knowledge base system |
JP3235728B2 (ja) * | 1990-02-09 | 2001-12-04 | 沖ソフトウェア株式会社 | 会話制御方式 |
JPH05304567A (ja) * | 1990-04-05 | 1993-11-16 | Texas Instr Inc <Ti> | 遠隔通信システムならびにその遠隔通信サービスプレゼンテーションインターフェース及び遠隔通信ネットワーク |
JPH0410153A (ja) * | 1990-04-27 | 1992-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索システム |
US5133004A (en) * | 1990-05-07 | 1992-07-21 | Unisys Corporation | Digital computer platform for supporting telephone network applications |
US5255305A (en) | 1990-11-01 | 1993-10-19 | Voiceplex Corporation | Integrated voice processing system |
US5274695A (en) * | 1991-01-11 | 1993-12-28 | U.S. Sprint Communications Company Limited Partnership | System for verifying the identity of a caller in a telecommunications network |
JPH0792801B2 (ja) * | 1991-08-02 | 1995-10-09 | 工業技術院長 | 非単調推論方法 |
US5283888A (en) * | 1991-08-27 | 1994-02-01 | International Business Machines Corporation | Voice processing interface unit employing virtual screen communications for accessing a plurality of primed applications |
US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
JP3213056B2 (ja) * | 1992-06-19 | 2001-09-25 | 株式会社日立製作所 | マルチメディア処理装置 |
US5384890A (en) * | 1992-09-30 | 1995-01-24 | Apple Computer, Inc. | Method and apparatus for providing multiple clients simultaneous access to a sound data stream |
FR2696574B1 (fr) * | 1992-10-06 | 1994-11-18 | Sextant Avionique | Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine. |
JPH06131437A (ja) * | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
JPH06149534A (ja) * | 1992-11-13 | 1994-05-27 | Toshiba Corp | 音声画面操作装置 |
US6029188A (en) * | 1993-01-18 | 2000-02-22 | Institute For Personalized Information Environment | Information processing system for an architecture model capable of interfacing with humans and capable of being modified |
US5544228A (en) * | 1993-09-27 | 1996-08-06 | The Walt Disney Company | Method and apparatus for transmission of full frequency digital audio |
US5509060A (en) * | 1993-11-19 | 1996-04-16 | At&T Corp. | Network-accessible intelligent telephone service |
US5748841A (en) * | 1994-02-25 | 1998-05-05 | Morin; Philippe | Supervised contextual language acquisition system |
US5644686A (en) * | 1994-04-29 | 1997-07-01 | International Business Machines Corporation | Expert system and method employing hierarchical knowledge base, and interactive multimedia/hypermedia applications |
JP3408332B2 (ja) * | 1994-09-12 | 2003-05-19 | 富士通株式会社 | ハイパーテキスト読上装置 |
US5682539A (en) * | 1994-09-29 | 1997-10-28 | Conrad; Donovan | Anticipated meaning natural language interface |
US5594789A (en) * | 1994-10-13 | 1997-01-14 | Bell Atlantic Network Services, Inc. | Transaction implementation in video dial tone network |
JPH10508964A (ja) * | 1994-11-08 | 1998-09-02 | バーミア、テクノロジーズ、インコーポレーテッド | 料金設定機能を有するオンラインサービス開発ツール |
JPH08137697A (ja) * | 1994-11-15 | 1996-05-31 | Kobe Steel Ltd | 自律分散型システム |
US6029195A (en) * | 1994-11-29 | 2000-02-22 | Herz; Frederick S. M. | System for customized electronic identification of desirable objects |
US5748974A (en) * | 1994-12-13 | 1998-05-05 | International Business Machines Corporation | Multimodal natural language interface for cross-application tasks |
JP2746218B2 (ja) * | 1995-02-23 | 1998-05-06 | 富士ゼロックス株式会社 | 資源管理装置および資源管理方法 |
US5890123A (en) * | 1995-06-05 | 1999-03-30 | Lucent Technologies, Inc. | System and method for voice controlled video screen display |
US5742845A (en) * | 1995-06-22 | 1998-04-21 | Datascape, Inc. | System for extending present open network communication protocols to communicate with non-standard I/O devices directly coupled to an open network |
JP3729918B2 (ja) * | 1995-07-19 | 2005-12-21 | 株式会社東芝 | マルチモーダル対話装置及び対話方法 |
US5794205A (en) | 1995-10-19 | 1998-08-11 | Voice It Worldwide, Inc. | Voice recognition interface apparatus and method for interacting with a programmable timekeeping device |
JPH10124378A (ja) | 1995-12-01 | 1998-05-15 | Zakuson R & D:Kk | インターネットおよびイントラネット上におけるホームページ上の文書録画支援装置および文書録画支援システム |
AU1566497A (en) * | 1995-12-22 | 1997-07-17 | Rutgers University | Method and system for audio access to information in a wide area computer network |
US6101528A (en) * | 1996-03-27 | 2000-08-08 | Intel Corporation | Method and apparatus for discovering server applications by a client application in a network of computer systems |
US5884262A (en) * | 1996-03-28 | 1999-03-16 | Bell Atlantic Network Services, Inc. | Computer network audio access and conversion system |
IL122647A (en) * | 1996-04-22 | 2002-05-23 | At & T Corp | Method and device for retrieving information using an audio interface |
US5956507A (en) * | 1996-05-14 | 1999-09-21 | Shearer, Jr.; Bennie L. | Dynamic alteration of operating system kernel resource tables |
JPH09319760A (ja) * | 1996-05-30 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索運行システム |
EP1571815A3 (en) * | 1996-06-03 | 2006-10-04 | WorldVoice Licensing, Inc. | Telephonic voice message store and forward method having network address and voice authentication |
JPH1078952A (ja) * | 1996-07-29 | 1998-03-24 | Internatl Business Mach Corp <Ibm> | 音声合成方法、音声合成装置、ハイパーテキストの制御方法及び制御装置 |
US5799063A (en) * | 1996-08-15 | 1998-08-25 | Talk Web Inc. | Communication system and method of providing access to pre-recorded audio messages via the Internet |
JPH10124293A (ja) * | 1996-08-23 | 1998-05-15 | Osaka Gas Co Ltd | 音声指令可能なコンピュータとそれ用の媒体 |
US5850629A (en) * | 1996-09-09 | 1998-12-15 | Matsushita Electric Industrial Co., Ltd. | User interface controller for text-to-speech synthesizer |
EP0863466A4 (en) * | 1996-09-26 | 2005-07-20 | Mitsubishi Electric Corp | INTERACTIVE PROCESSOR |
US5721827A (en) * | 1996-10-02 | 1998-02-24 | James Logan | System for electrically distributing personalized information |
US5915001A (en) * | 1996-11-14 | 1999-06-22 | Vois Corporation | System and method for providing and using universally accessible voice and speech data files |
US5774857A (en) * | 1996-11-15 | 1998-06-30 | Motorola, Inc. | Conversion of communicated speech to text for tranmission as RF modulated base band video |
JP3826239B2 (ja) * | 1996-11-22 | 2006-09-27 | 日本電信電話株式会社 | ハイパーテキスト中継方法及び装置 |
US6282511B1 (en) * | 1996-12-04 | 2001-08-28 | At&T | Voiced interface with hyperlinked information |
US5960399A (en) | 1996-12-24 | 1999-09-28 | Gte Internetworking Incorporated | Client/server speech processor/recognizer |
US6456974B1 (en) * | 1997-01-06 | 2002-09-24 | Texas Instruments Incorporated | System and method for adding speech recognition capabilities to java |
JP2907174B2 (ja) * | 1997-02-04 | 1999-06-21 | 日本電気株式会社 | 監視制御システムのユーザインタフェースシステム |
JPH10222342A (ja) * | 1997-02-06 | 1998-08-21 | Nippon Telegr & Teleph Corp <Ntt> | ハイパーテキスト音声制御方法及び装置 |
JPH10222525A (ja) | 1997-02-07 | 1998-08-21 | Hitachi Ltd | ナビゲーション方法 |
JPH10243048A (ja) * | 1997-02-27 | 1998-09-11 | Nippon Telegr & Teleph Corp <Ntt> | 情報伝送方法及びシステム |
US5987102A (en) * | 1997-03-14 | 1999-11-16 | Efusion, Inc. | Method and apparatus for bridging a voice call including selective provision of information in non-audio to the caller |
US5884266A (en) * | 1997-04-02 | 1999-03-16 | Motorola, Inc. | Audio interface for document based information resource navigation and method therefor |
JP3646471B2 (ja) * | 1997-05-14 | 2005-05-11 | 日本電信電話株式会社 | 情報提供方法及び個人適応情報提供サーバ及び情報提供プログラムを格納した記憶媒体 |
US5897616A (en) * | 1997-06-11 | 1999-04-27 | International Business Machines Corporation | Apparatus and methods for speaker verification/identification/classification employing non-acoustic and/or acoustic models and databases |
US6044347A (en) * | 1997-08-05 | 2000-03-28 | Lucent Technologies Inc. | Methods and apparatus object-oriented rule-based dialogue management |
US6108711A (en) * | 1998-09-11 | 2000-08-22 | Genesys Telecommunications Laboratories, Inc. | Operating system having external media layer, workflow layer, internal media layer, and knowledge base for routing media events between transactions |
US6353824B1 (en) * | 1997-11-18 | 2002-03-05 | Apple Computer, Inc. | Method for dynamic presentation of the contents topically rich capsule overviews corresponding to the plurality of documents, resolving co-referentiality in document segments |
US6157705A (en) * | 1997-12-05 | 2000-12-05 | E*Trade Group, Inc. | Voice control of a server |
US6370508B2 (en) * | 1998-09-11 | 2002-04-09 | Genesys Telecommunications Laboratories, Inc. | Interface engine for managing business processes within a multimedia communication-center |
WO1999049394A1 (en) * | 1998-03-23 | 1999-09-30 | Microsoft Corporation | Application program interfaces in an operating system |
US6859451B1 (en) * | 1998-04-21 | 2005-02-22 | Nortel Networks Limited | Server for handling multimodal information |
US6012030A (en) * | 1998-04-21 | 2000-01-04 | Nortel Networks Corporation | Management of speech and audio prompts in multimodal interfaces |
US6018711A (en) * | 1998-04-21 | 2000-01-25 | Nortel Networks Corporation | Communication system user interface with animated representation of time remaining for input to recognizer |
US6438523B1 (en) * | 1998-05-20 | 2002-08-20 | John A. Oberteuffer | Processing handwritten and hand-drawn input and speech input |
US6397259B1 (en) * | 1998-05-29 | 2002-05-28 | Palm, Inc. | Method, system and apparatus for packet minimized communications |
US6253326B1 (en) * | 1998-05-29 | 2001-06-26 | Palm, Inc. | Method and system for secure communications |
US6269366B1 (en) * | 1998-06-24 | 2001-07-31 | Eastman Kodak Company | Method for randomly combining images with annotations |
US6269336B1 (en) * | 1998-07-24 | 2001-07-31 | Motorola, Inc. | Voice browser for interactive services and methods thereof |
US6119147A (en) * | 1998-07-28 | 2000-09-12 | Fuji Xerox Co., Ltd. | Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space |
DE69906540T2 (de) * | 1998-08-05 | 2004-02-19 | British Telecommunications P.L.C. | Multimodale benutzerschnittstelle |
US6195696B1 (en) * | 1998-10-01 | 2001-02-27 | International Business Machines Corporation | Systems, methods and computer program products for assigning, generating and delivering content to intranet users |
EP1163576A4 (en) * | 1998-10-02 | 2005-11-30 | Ibm | CONVERTIVE CALCULATION VIA CONVERSIONAL VIRTUAL MACHINE |
US6493671B1 (en) | 1998-10-02 | 2002-12-10 | Motorola, Inc. | Markup language for interactive services to notify a user of an event and methods thereof |
US7003463B1 (en) * | 1998-10-02 | 2006-02-21 | International Business Machines Corporation | System and method for providing network coordinated conversational services |
US6615240B1 (en) * | 1998-12-18 | 2003-09-02 | Motive Communications, Inc. | Technical support chain automation with guided self-help capability and option to escalate to live help |
US6523061B1 (en) * | 1999-01-05 | 2003-02-18 | Sri International, Inc. | System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system |
US6851115B1 (en) * | 1999-01-05 | 2005-02-01 | Sri International | Software-based architecture for communication and cooperation among distributed electronic agents |
US7216351B1 (en) * | 1999-04-07 | 2007-05-08 | International Business Machines Corporation | Systems and methods for synchronizing multi-modal interactions |
US6519617B1 (en) * | 1999-04-08 | 2003-02-11 | International Business Machines Corporation | Automated creation of an XML dialect and dynamic generation of a corresponding DTD |
US6636831B1 (en) * | 1999-04-09 | 2003-10-21 | Inroad, Inc. | System and process for voice-controlled information retrieval |
US6529889B1 (en) * | 1999-07-27 | 2003-03-04 | Acappella Software, Inc. | System and method of knowledge architecture |
US6799169B1 (en) * | 1999-08-13 | 2004-09-28 | International Business Machines Corporation | Method and system for modeless operation of a multi-modal user interface through implementation of independent decision networks |
US7069220B2 (en) * | 1999-08-13 | 2006-06-27 | International Business Machines Corporation | Method for determining and maintaining dialog focus in a conversational speech system |
US6377913B1 (en) * | 1999-08-13 | 2002-04-23 | International Business Machines Corporation | Method and system for multi-client access to a dialog system |
US6738803B1 (en) * | 1999-09-03 | 2004-05-18 | Cisco Technology, Inc. | Proxy browser providing voice enabled web application audio control for telephony devices |
US6615172B1 (en) * | 1999-11-12 | 2003-09-02 | Phoenix Solutions, Inc. | Intelligent query engine for processing voice based queries |
US6829603B1 (en) * | 2000-02-02 | 2004-12-07 | International Business Machines Corp. | System, method and program product for interactive natural dialog |
US7415537B1 (en) * | 2000-04-07 | 2008-08-19 | International Business Machines Corporation | Conversational portal for providing conversational browsing and multimedia broadcast on demand |
US6934756B2 (en) * | 2000-11-01 | 2005-08-23 | International Business Machines Corporation | Conversational networking via transport, coding and control conversational protocols |
US6970935B1 (en) * | 2000-11-01 | 2005-11-29 | International Business Machines Corporation | Conversational networking via transport, coding and control conversational protocols |
US6801604B2 (en) * | 2001-06-25 | 2004-10-05 | International Business Machines Corporation | Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources |
US6839896B2 (en) * | 2001-06-29 | 2005-01-04 | International Business Machines Corporation | System and method for providing dialog management and arbitration in a multi-modal environment |
US7398209B2 (en) * | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7349845B2 (en) * | 2003-09-03 | 2008-03-25 | International Business Machines Corporation | Method and apparatus for dynamic modification of command weights in a natural language understanding system |
-
1999
- 1999-10-01 EP EP99950114A patent/EP1163576A4/en not_active Withdrawn
- 1999-10-01 CA CA2345665A patent/CA2345665C/en not_active Expired - Lifetime
- 1999-10-01 EP EP99951722A patent/EP1125279B1/en not_active Expired - Lifetime
- 1999-10-01 CN CNB998116076A patent/CN100472500C/zh not_active Expired - Lifetime
- 1999-10-01 US US09/806,549 patent/US7418382B1/en not_active Expired - Fee Related
- 1999-10-01 IL IL14236399A patent/IL142363A0/xx unknown
- 1999-10-01 JP JP2000575119A patent/JP4171585B2/ja not_active Expired - Fee Related
- 1999-10-01 CA CA002345660A patent/CA2345660C/en not_active Expired - Lifetime
- 1999-10-01 US US09/806,565 patent/US7137126B1/en not_active Expired - Lifetime
- 1999-10-01 WO PCT/US1999/022927 patent/WO2000020962A2/en active IP Right Grant
- 1999-10-01 CN CNB998116173A patent/CN1151488C/zh not_active Expired - Lifetime
- 1999-10-01 JP JP2000575249A patent/JP2002527800A/ja active Pending
- 1999-10-01 CA CA002345662A patent/CA2345662A1/en not_active Abandoned
- 1999-10-01 WO PCT/US1999/022915 patent/WO2000021073A1/en active IP Right Grant
- 1999-10-01 IL IL14080599A patent/IL140805A0/xx unknown
- 1999-10-01 KR KR10-2001-7004207A patent/KR100430953B1/ko not_active IP Right Cessation
- 1999-10-01 AT AT99951722T patent/ATE383640T1/de not_active IP Right Cessation
- 1999-10-01 KR KR1020017004223A patent/KR100620826B1/ko active IP Right Grant
- 1999-10-01 KR KR10-2001-7004228A patent/KR100459299B1/ko not_active IP Right Cessation
- 1999-10-01 DE DE69937962T patent/DE69937962T2/de not_active Expired - Lifetime
- 1999-10-01 EP EP99951713A patent/EP1125277A4/en not_active Withdrawn
- 1999-10-01 WO PCT/US1999/022925 patent/WO2000021075A1/en active IP Right Grant
- 1999-10-01 IL IL14236699A patent/IL142366A0/xx active IP Right Grant
- 1999-10-01 EP EP99950131A patent/EP1133734A4/en not_active Withdrawn
- 1999-10-01 CA CA002345661A patent/CA2345661A1/en not_active Abandoned
- 1999-10-01 IL IL14236499A patent/IL142364A0/xx unknown
- 1999-10-01 KR KR10-2001-7002798A patent/KR100431972B1/ko not_active IP Right Cessation
- 1999-10-01 CN CNB998116181A patent/CN1171200C/zh not_active Expired - Fee Related
- 1999-10-01 JP JP2000575021A patent/JP3703082B2/ja not_active Expired - Lifetime
- 1999-10-01 JP JP2000575117A patent/JP2003525477A/ja active Pending
- 1999-10-01 WO PCT/US1999/023008 patent/WO2000021232A2/en not_active Application Discontinuation
- 1999-10-01 CN CNB998116165A patent/CN1160700C/zh not_active Expired - Lifetime
-
2001
- 2001-04-02 IL IL142366A patent/IL142366A/en not_active IP Right Cessation
-
2006
- 2006-10-23 US US11/551,901 patent/US7729916B2/en not_active Expired - Fee Related
-
2009
- 2009-08-20 US US12/544,473 patent/US8082153B2/en not_active Expired - Fee Related
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4171585B2 (ja) | ネットワーク調整された会話型サービスを提供するためのシステムおよび方法 | |
US9761241B2 (en) | System and method for providing network coordinated conversational services | |
US8886540B2 (en) | Using speech recognition results based on an unstructured language model in a mobile communication facility application | |
US8949130B2 (en) | Internal and external speech recognition use with a mobile communication facility | |
RU2491617C2 (ru) | Способ и устройство для реализации распределенных мультимодальных приложений | |
US8838457B2 (en) | Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility | |
US10056077B2 (en) | Using speech recognition results based on an unstructured language model with a music system | |
US20150073802A1 (en) | Dealing with switch latency in speech recognition | |
US20090030697A1 (en) | Using contextual information for delivering results generated from a speech recognition facility using an unstructured language model | |
US20090030688A1 (en) | Tagging speech recognition results based on an unstructured language model for use in a mobile communication facility application | |
US20090030685A1 (en) | Using speech recognition results based on an unstructured language model with a navigation system | |
US20090030691A1 (en) | Using an unstructured language model associated with an application of a mobile communication facility | |
US20050131704A1 (en) | System and method for providing remote automatic speech recognition and text to speech services via a packet network | |
JP2006146262A (ja) | 自動スピーチ認識サービス提供方法及びシステム並びに媒体 | |
JP7029434B2 (ja) | コンピュータによって実行される方法、サーバ装置、情報処理システム、プログラム、およびクライアント端末 | |
Tsourakis et al. | An architecture for miultiemodal applications over wireless data networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050311 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051115 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20051121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060210 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060327 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060915 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080811 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4171585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |