RU2006102661A - Способ и сервер для обеспечения мультимодального диалога - Google Patents

Способ и сервер для обеспечения мультимодального диалога Download PDF

Info

Publication number
RU2006102661A
RU2006102661A RU2006102661/09A RU2006102661A RU2006102661A RU 2006102661 A RU2006102661 A RU 2006102661A RU 2006102661/09 A RU2006102661/09 A RU 2006102661/09A RU 2006102661 A RU2006102661 A RU 2006102661A RU 2006102661 A RU2006102661 A RU 2006102661A
Authority
RU
Russia
Prior art keywords
multimodal
client
proxy server
resource
standard
Prior art date
Application number
RU2006102661/09A
Other languages
English (en)
Other versions
RU2390958C2 (ru
Inventor
Юрген ЗИНЕЛ (DE)
Юрген ЗИНЕЛ
Хорст РЕССЛЕР (DE)
Хорст РЕССЛЕР
Даниель НОЙБАУЭР (DE)
Даниель НОЙБАУЭР
Original Assignee
Алькатель (Fr)
Алькатель
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Алькатель (Fr), Алькатель filed Critical Алькатель (Fr)
Publication of RU2006102661A publication Critical patent/RU2006102661A/ru
Application granted granted Critical
Publication of RU2390958C2 publication Critical patent/RU2390958C2/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Claims (10)

1. Способ обеспечения мультимодального диалога между мультимодальным приложением (5) и пользователем (6), осуществляющим связь с мультимодальным приложением (5) через клиент (4), выполненный с возможностью обмена документами и представления документов, закодированных в стандартном или расширенном языке гипертекстовой разметки, при этом способ содержит этапы, на которых устанавливают мультимодальный диалог между мультимодальным приложением (5) и пользователем (6) через прокси-сервер (2), взаимодействующий с клиентом (4) посредством обмена информацией, закодированной в стандартном или расширенном языке гипертекстовой разметки;
извлекают, с помощью прокси-сервера (2) по меньшей мере один дополнительный ресурс (71, 72, 73, 31, 32, 33) модальности, запрашиваемый в мультимодальном диалоге; и
компонуют, с помощью прокси-сервера (2), мультимодальное взаимодействие с пользователем (6) на основе взаимодействий (81) с клиентом, основывающихся на стандартном или расширенном языке гипертекстовой разметки, и на основе извлеченных дополнительных ресурсов (71, 72, 73, 31, 32, 33).
2. Способ по п.1, отличающийся тем, что содержит дополнительные этапы, на которых компонуют набор из одного или более запрошенных ресурсов (71, 72, 73) в документ (7), представленный в стандартном или расширенном языке гипертекстовой разметки;
передают документ (7) клиенту (4).
3. Способ по п.2, отличающийся тем, что прокси-сервер (2) создает скрипт (71), предоставляющий ресурс модальности, и компонует скрипт (71) в документ (7).
4. Способ по п.2, отличающийся тем, что прокси-сервер (2) создает скрипт (73) для встраивания обработки мультимодального события в документ (7) и компонует скрипт (73) в документ (7).
5. Способ по п.4, отличающийся тем, что содержит дополнительные этапы, на которых создают обработчик (24) ресурса, который предоставляет интерфейс с прокси-сервером для скрипта (73); и обмениваются сообщениями (93) в соответствии со стандартным или расширенным языком гипертекстовой разметки между скриптом (73), расположенным на клиенте (4), и обработчиком (24) ресурса, расположенным на прокси-сервере (2).
6. Способ по п.1, отличающийся тем, что прокси-сервер (2) извлекает ресурсный модуль (31, 32, 33), в частности модуль распознавания речи, преобразования текста в речь или распознавания рукописного ввода, в соответствии с модальностью, запрошенной в мультимодальном диалоге, инициализирует сеанс (94) между клиентом (4) и извлеченным модулем (31, 32, 33) ресурса и компонует мультимодальное взаимодействие на основе инициализированного сеанса (94).
7. Способ по п.6, отличающийся тем, что содержит дополнительные этапы, на которых создают обработчик (24) ресурса для выбранного ресурсного модуля (31, 32, 33), который предоставляет интерфейс с прокси-сервером для скрипта (73), расположенного на клиенте (4), при этом обработчик (24) ресурса дает возможность скрипту (73) обмениваться информацией с извлеченным ресурсным модулем (31, 32, 33), в частности с модулем распознавания речи, преобразования текста в речь или распознавания рукописного ввода.
8. Способ по п.6, отличающийся тем, что содержит дополнительный этап, на котором создают обработчик (24) ресурса для извлеченного ресурсного модуля (31, 32, 33), причем этот обработчик ресурса осуществляет связь через TCP/IP-соединение с ресурсным модулем (31, 32, 33).
9. Способ по п.6, отличающийся тем, что содержит дополнительный этап, на котором устанавливают RTP-соединение между компонентами (43, 44, 45) клиента (4) и извлеченным ресурсным модулем (31, 32, 33).
10. Прокси-сервер (2) для поддержки мультимодальных диалогов между мультимодальными приложениями (5) и пользователями (6), осуществляющими связь с мультимодальным приложением с помощью соответствующих клиентов (4), выполненных с возможностью обмена документами и представления документов, закодированных в стандартном или расширенном языке гипертекстовой разметки, при этом прокси-сервер содержит менеджер (22) диалога, выполненный с возможностью установления мультимодального диалога между мультимодальным приложением (5) и пользователем (6) через прокси-сервер (2), для взаимодействия с клиентом (4) посредством обмена информацией, закодированной в стандартном или расширенном языке гипертекстовой разметки и для извлечения по меньшей мере одного дополнительного ресурса (71, 72, 73, 31, 32, 33) модальности, запрошенного в мультимодальном диалоге, и компоновщик (23) для компонования мультимодального взаимодействия с пользователем на основе взаимодействий с клиентом (4), основывающихся на стандартном или расширенном языке гипертекстовой разметки, и на основе извлеченных дополнительных ресурсов (71, 72, 73, 31, 32, 33).
RU2006102661/09A 2004-05-18 2005-05-10 Способ и сервер для обеспечения мультимодального диалога RU2390958C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04291272.5 2004-05-18
EP04291272A EP1599007B1 (en) 2004-05-18 2004-05-18 Method and server for providing a multi-modal dialog

Publications (2)

Publication Number Publication Date
RU2006102661A true RU2006102661A (ru) 2007-08-10
RU2390958C2 RU2390958C2 (ru) 2010-05-27

Family

ID=34931109

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2006102661/09A RU2390958C2 (ru) 2004-05-18 2005-05-10 Способ и сервер для обеспечения мультимодального диалога

Country Status (8)

Country Link
US (1) US20050261909A1 (ru)
EP (1) EP1599007B1 (ru)
CN (1) CN100527729C (ru)
AT (1) ATE373380T1 (ru)
DE (1) DE602004008887T2 (ru)
MX (1) MXPA05013745A (ru)
RU (1) RU2390958C2 (ru)
WO (1) WO2005112386A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2491617C2 (ru) * 2007-12-31 2013-08-27 Моторола Мобилити, Инк. Способ и устройство для реализации распределенных мультимодальных приложений
RU2494444C2 (ru) * 2007-12-31 2013-09-27 Моторола Мобилити, Инк. Способы и устройство для осуществления распределенных многомодальных приложений
RU2520391C2 (ru) * 2008-06-24 2014-06-27 Майкрософт Корпорейшн Многомодальная связь через специфичные для модальности интерфейсы

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799464B2 (en) * 2001-12-28 2014-08-05 Motorola Mobility Llc Multi-modal communication using a session specific proxy server
US8181112B2 (en) * 2004-05-21 2012-05-15 Oracle International Corporation Independent portlet rendering
CN100535900C (zh) * 2005-12-06 2009-09-02 国际商业机器公司 用于提供异步门户页的方法和系统
US10332071B2 (en) * 2005-12-08 2019-06-25 International Business Machines Corporation Solution for adding context to a text exchange modality during interactions with a composite services application
US11093898B2 (en) 2005-12-08 2021-08-17 International Business Machines Corporation Solution for adding context to a text exchange modality during interactions with a composite services application
US8259923B2 (en) * 2007-02-28 2012-09-04 International Business Machines Corporation Implementing a contact center using open standards and non-proprietary components
US20070133773A1 (en) 2005-12-08 2007-06-14 International Business Machines Corporation Composite services delivery
JP2008129713A (ja) * 2006-11-17 2008-06-05 Fujitsu Ltd 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム
US8594305B2 (en) 2006-12-22 2013-11-26 International Business Machines Corporation Enhancing contact centers with dialog contracts
US9055150B2 (en) 2007-02-28 2015-06-09 International Business Machines Corporation Skills based routing in a standards based contact center using a presence server and expertise specific watchers
US9247056B2 (en) 2007-02-28 2016-01-26 International Business Machines Corporation Identifying contact center agents based upon biometric characteristics of an agent's speech
US20080205625A1 (en) * 2007-02-28 2008-08-28 International Business Machines Corporation Extending a standardized presence document to include contact center specific elements
US7865544B2 (en) 2007-06-26 2011-01-04 International Business Machines Corporation Method and system for providing XML-based asynchronous and interactive feeds for web applications
US8843849B2 (en) * 2009-11-09 2014-09-23 Blackberry Limited Directional navigation of page content
US20110119389A1 (en) * 2009-11-19 2011-05-19 Microsoft Corporation Transferring multiple communication modalities during a conversation
US8559606B2 (en) * 2010-12-07 2013-10-15 Microsoft Corporation Multimodal telephone calls
US9052796B2 (en) 2012-01-08 2015-06-09 Microsoft Technology Licensing Llc Asynchronous handling of an input stream dedicated to multiple targets
US9537899B2 (en) 2012-02-29 2017-01-03 Microsoft Technology Licensing, Llc Dynamic selection of security protocol
US10262555B2 (en) * 2015-10-09 2019-04-16 Microsoft Technology Licensing, Llc Facilitating awareness and conversation throughput in an augmentative and alternative communication system
CN110399040B (zh) * 2019-07-23 2023-05-12 芋头科技（杭州）有限公司 多模态交互方法、用户端设备、服务器及系统
US11308259B2 (en) * 2020-03-09 2022-04-19 Servicenow, Inc. Web element retargeting

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733218B2 (ja) * 1997-09-30 2006-01-11 キヤノン株式会社 中継装置及びその制御方法及び記憶媒体
US6356533B1 (en) * 1998-08-07 2002-03-12 At&T Corp Apparatus and method for selecting communication modes
DE19910236A1 (de) * 1999-03-09 2000-09-21 Philips Corp Intellectual Pty Verfahren zur Spracherkennung
EP1102498B1 (en) * 1999-11-09 2004-02-25 Nortel Networks Corporation Telephony services in a communications network
US7415537B1 (en) * 2000-04-07 2008-08-19 International Business Machines Corporation Conversational portal for providing conversational browsing and multimedia broadcast on demand
US7072984B1 (en) * 2000-04-26 2006-07-04 Novarra, Inc. System and method for accessing customized information over the internet using a browser for a plurality of electronic devices
US7464381B1 (en) * 2000-05-12 2008-12-09 Oracle International Corporation Content update proxy method
FI20001918A (fi) * 2000-08-30 2002-03-01 Nokia Corp Monimodaalinen sisältö ja automaattinen puheen tunnistus langattomassa tietoliikennejärjestelmässä
US6934756B2 (en) * 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
US7028306B2 (en) * 2000-12-04 2006-04-11 International Business Machines Corporation Systems and methods for implementing modular DOM (Document Object Model)-based multi-modal browsers
GB0108044D0 (en) * 2001-03-30 2001-05-23 British Telecomm Application synchronisation
US20040117804A1 (en) * 2001-03-30 2004-06-17 Scahill Francis J Multi modal interface
US7409349B2 (en) * 2001-05-04 2008-08-05 Microsoft Corporation Servers for web enabled speech recognition
US7711570B2 (en) * 2001-10-21 2010-05-04 Microsoft Corporation Application abstraction with dialog purpose
US7136909B2 (en) * 2001-12-28 2006-11-14 Motorola, Inc. Multimodal communication method and apparatus with multimodal profile
US8799464B2 (en) * 2001-12-28 2014-08-05 Motorola Mobility Llc Multi-modal communication using a session specific proxy server
US6804330B1 (en) * 2002-01-04 2004-10-12 Siebel Systems, Inc. Method and system for accessing CRM data via voice
US7210098B2 (en) * 2002-02-18 2007-04-24 Kirusa, Inc. Technique for synchronizing visual and voice browsers to enable multi-modal browsing
US20030187944A1 (en) * 2002-02-27 2003-10-02 Greg Johnson System and method for concurrent multimodal communication using concurrent multimodal tags
US6704396B2 (en) * 2002-02-27 2004-03-09 Sbc Technology Resources, Inc. Multi-modal communications method
US6807529B2 (en) * 2002-02-27 2004-10-19 Motorola, Inc. System and method for concurrent multimodal communication
US7315613B2 (en) * 2002-03-11 2008-01-01 International Business Machines Corporation Multi-modal messaging
US20030187658A1 (en) * 2002-03-29 2003-10-02 Jari Selin Method for text-to-speech service utilizing a uniform resource identifier
SE0202058D0 (sv) * 2002-07-02 2002-07-02 Ericsson Telefon Ab L M Voice browsing architecture based on adaptive keyword spotting
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
US7260535B2 (en) * 2003-04-28 2007-08-21 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting for call controls
US8311835B2 (en) * 2003-08-29 2012-11-13 Microsoft Corporation Assisted multi-modal dialogue
KR100561228B1 (ko) * 2003-12-23 2006-03-15 한국전자통신연구원 보이스엑스엠엘 문서를 엑스에이치티엠엘플러스보이스문서로 변환하기 위한 방법 및 이를 이용한 멀티모달서비스 시스템
US20060235694A1 (en) * 2005-04-14 2006-10-19 International Business Machines Corporation Integrating conversational speech into Web browsers

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2491617C2 (ru) * 2007-12-31 2013-08-27 Моторола Мобилити, Инк. Способ и устройство для реализации распределенных мультимодальных приложений
RU2494444C2 (ru) * 2007-12-31 2013-09-27 Моторола Мобилити, Инк. Способы и устройство для осуществления распределенных многомодальных приложений
RU2520391C2 (ru) * 2008-06-24 2014-06-27 Майкрософт Корпорейшн Многомодальная связь через специфичные для модальности интерфейсы
US8881020B2 (en) 2008-06-24 2014-11-04 Microsoft Corporation Multi-modal communication through modal-specific interfaces

Also Published As

Publication number Publication date
CN1700692A (zh) 2005-11-23
ATE373380T1 (de) 2007-09-15
US20050261909A1 (en) 2005-11-24
DE602004008887D1 (de) 2007-10-25
EP1599007B1 (en) 2007-09-12
RU2390958C2 (ru) 2010-05-27
WO2005112386A1 (en) 2005-11-24
EP1599007A1 (en) 2005-11-23
DE602004008887T2 (de) 2008-01-17
MXPA05013745A (es) 2006-03-13
CN100527729C (zh) 2009-08-12

Similar Documents

Publication Publication Date Title
RU2006102661A (ru) Способ и сервер для обеспечения мультимодального диалога
JP6776411B2 (ja) パケットベースのデータ通信のデバイス識別子依存オペレーション処理
US7751535B2 (en) Voice browser implemented as a distributable component
US9530415B2 (en) System and method of providing speech processing in user interface
US8204182B2 (en) Dialect translator for a speech application environment extended for interactive text exchanges
US20110067059A1 (en) Media control
US8442563B2 (en) Automated text-based messaging interaction using natural language understanding technologies
DE60225086T2 (de) Webfähige Erkennungsarchitektur
TWI310138B (ru)
US7996229B2 (en) System and method for creating and posting voice-based web 2.0 entries via a telephone interface
Dahl The W3C multimodal architecture and interfaces standard
JP2006121673A (ja) 分散型音声サービス
GB2383918A (en) Collecting user-interest information regarding a picture
US20040220810A1 (en) Web service call flow speech components
KR20110086840A (ko) 개방형 개체 추출 시스템
KR20050045817A (ko) 순차 멀티모달 입력
US20050010422A1 (en) Speech processing apparatus and method
JP2017535852A (ja) コンピュータベースの翻訳システムおよび方法
KR101207435B1 (ko) 대화형 음성인식 서버, 대화형 음성인식 클라이언트 및 대화형 음성인식 방법
US20050246713A1 (en) Interfacing an application server to remote resources using Enterprise Java Beans as interface components
JP2010282612A (ja) Ｔｔｓサーバーを用いたウェブリーダーシステム及びその方法
JP2007035053A (ja) 異なる端末器間のセッション保持方法
US20040019633A1 (en) MIME encoding of values for web procedure calls
Tsai et al. Dialogue session: management using voicexml
JP2009116407A (ja) 情報処理装置及びクライアントサーバシステム

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20180511