KR20010075552A - 네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법 - Google Patents

네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20010075552A
KR20010075552A KR1020017004207A KR20017004207A KR20010075552A KR 20010075552 A KR20010075552 A KR 20010075552A KR 1020017004207 A KR1020017004207 A KR 1020017004207A KR 20017004207 A KR20017004207 A KR 20017004207A KR 20010075552 A KR20010075552 A KR 20010075552A
Authority
KR
South Korea
Prior art keywords
network device
network
chat
conversation
local
Prior art date
Application number
KR1020017004207A
Other languages
English (en)
Other versions
KR100430953B1 (ko
Inventor
매스스테판에이치.
고파라크리쉬난포나니
Original Assignee
포만 제프리 엘
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포만 제프리 엘, 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 포만 제프리 엘
Publication of KR20010075552A publication Critical patent/KR20010075552A/ko
Application granted granted Critical
Publication of KR100430953B1 publication Critical patent/KR100430953B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936—Speech interaction details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/60—Medium conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/355—Interactive dialogue design tools, features or methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42204—Arrangements at the exchange for service or number selection by voice
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/44—Additional connecting arrangements for providing access to frequently-wanted subscribers, e.g. abbreviated dialling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4931—Directory assistance systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres

Abstract

네트워크 연결 장치, 서버 및 응용 프로그램간에 대화원 예컨대, 대화 기능/개요를 자동으로 협동 공유하기 위한 방법 및 시스템에 관한 것이다.
본 발명의 한 특징으로, 대화원을 자동적으로 협동 공유하는 시스템으로서,적어도 제1 네트워크 장치(100) 및 제2 네트워크 장치(106)를 구비하는 네트워크를 구비하고, 상기 제1 네트워크 장치(100) 및 상기 제2 네트워크 장치(106)는,
한 세트의 대화원과(102.107); 대화를 관리하고 대화 서비스를 요구하는 호출을 실행하기 위한 다이알로그 관리자(103,108)와; 상기 네트워크를 통해 대화 프로토콜을 사용하여 메시지를 통신하기 위한 통신 스택(111,115)을 각각 구비하며, 상기 대화 프로토콜을 사용하여 통신된 메시지는 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 다이알로그 관리자간에 상호 네트워크 통신을 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 상기 대화원 세트와 자동적으로 공유하도록 설정하고, 필요하다면, 상기 각각의 요구된 대화원 대화 서비스를 수행하는 대화원 자동 공유 시스템이 있다.

Description

네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING NETWORK COORDINATED CONVERSATIONAL SERVICES}
종래의 대화 시스템(즉, 순수 음성 I/O를 가진 시스템 또는 음성 I/O을 가진 다중 양식 시스템)은 통상 적합한 아키텍쳐 및 충분한 처리 능력을 갖는 퍼스널 컴퓨터(PC) 및 로컬 장치로 제한된다. 한편, 전화 응용 프로그램을 위해, 대화 시스템은 통상 서버(예컨대, IVR 서버)에 배치되고 종래의 전화기 및 셀룰러폰을 통해 억세스할 수 있다. 이 대화 시스템이 점차 인기를 얻고 있을 지라도, 통상 모든 대화 처리는 클라이언트측 또는 서버측(즉, 모든 구성은 완전히 로컬하거나 완전히 클라이언트/서버임)에서 수행되고 있다.
침투력이 강한 컴퓨터가 나타남에 따라, 수억개의 리소스 클라이언트 장치(에컨대, PDA, 스마트폰 등)는 서로 네트워크화될 것이 예상된다. 이들 클라이언트 장치의 크기가 감소하고 사용자가 이 장치를 수행할 것으로 예상되는 작업의 복잡성이 증가함에 따라, 사용자 인터페이스(UI)는 중요한 문제가 되며, 그 이유는 종래의 이 소형 클라이언트 장치의 그래픽 사용자 인터페이스(GUI)가 비실용적이기 때문이다. 이 이유로, 종래의 시스템은 순수 음성/오디오 I/O 또는 음성/오디오 I/O를 갖는 다수 양식 I/O를 공급하도록 사용자 인터페이스의 키 요소가 될 것으로 예상된다.
결과적으로, 휴대형 클라이언트 장치에서 음성 내장된 종래의 응용 프로그램은 개발되어 완성기에 도달하고 있다. 불행하게도, 제한된 리소스때문에, 이 클라이언트 장치는 복잡한 대화 서비스 예컨대, 음성 인식(특히 어휘 크기가 크거나 전문 용어인 경우, 도메인 특수/응용 특수 언어 모델 또는 문법이 필요한 경우), 자연어 인식(NLU), 자연어 생성(NLG), 문자-음성 합성(TTS), 음성 포착 및 압축/해제 엔진, 재생, 다이알로그 생성, 다이알로그 관리, 화자 인식, 주제 인식, 오디오/멀티미디어 인덱싱 및 검색 등을 수행할 수 없다고 예상된다. 예컨대, 장치의 메모리 및 CPU(및 다른 리소스) 제약은 이 장치가 공급할 수 있는 대화 능력을 제한할 수 있다.
또한, 네트워크 장치가 이들 모든 대화 작업을 실행하기 충분히 강력한 경우일지라도, 이 장치는 적합한 작업을 수행하도록 적절한 대화원(예컨대, 엔진) 또는 대화 개요(즉, 엔진에 의해 사용된 데이타 파일)(예컨대, 문법, 언어 모델의 어휘 파일, 파싱, 태그, 음성 지문, TTS 규칙 등)을 구비할 수 없다. 실제로, 일부 대화 기능은 소정 서비스에 적합하고 특수하여 네트워크의 다른 장치 또는 머신으로부터만 가용한 백엔드 정보를 요구할 수 있다. 예컨대, 클라이언트 장치의 NLU 및 NLG 서비스는 통상 서보측 보조가 요구되며, 그 이유는 대화 개요 또는 기능의 완전 세트는 저장을 위해 대용량 메모리(클라이언트 장치에서 가용하지 않음)를 요구하거나 클라이언트측에 전송하기에는 너무 고가(통신 밴드폭 관점에서)인 경우 다이알로그(예컨대, 파서, 태거, 번역기 등)를 생성할 필요가 있기 때문이다. 이 문제는 클라이언트 장치 또는 로컬 응용 프로그램이 복수개의 언어에서 음성을 처리하고 대화 기능을 수행하는데 필요한 개요를 저장하고 처리하도록 불충분한 메모리 또는 처리 능력을 가지는 경우 다수의 음성 응용 프로그램을 더욱 과장하게 된다. 대신에, 사용자는 이 작업을 수행하기 위해 리모트 서버에 수동으로 연결해야 한다.
또한, 분산 아키텍쳐와 클라이언트 및 서버간에 분산된 처리와 관련한 문제는 대화 네트워킹을 위해 새로운 방법을 필요로 한다. 이 방법은 네트워크 양단의 대화 상호 작용에 참여한 각각의 사용자를 위해 적절한 다이알로그 흐름을 보장하도록 네트워크 양단에 분산된 트래픽 및 리소스의 관리를 포함한다.
따라서, 제한된 리소스를 갖는 네트워크 장치가 사용자에게 자동적이고 투명한 방법으로 네트워크된 리소스를 사용하여 복잡한 특수 대화 작업을 자동적으로 수행하도록 허용하는 시스템 및 방법이 바람직하다.
본 발명은 일반적으로 대화 시스템에 관한 것으로, 특히 네트워크 연결 장치, 서버 및 응용 프로그램간에 대화 기능/대화원을 자동으로 협동 공유하기 위한 방법 및 시스템에 관한 것이다.
도 1은 본 발명의 실시예에 따른 네트워크 장치간에 대화원을 자동으로 공유함을 통해 대화 서비스를 제공하는 시스템을 나타내는 블럭도.
도 2는 본 발명의 한 특징을 따라 네트워크 장치간에 대화원을 자동으로 공유함을 통해 대화 서비스를 제공하는 방법을 나타내는 흐름도.
도 3은 본 발명의 다른 특징을 따라 네트워크 장치간에 대화원을 자동으로 공유함을 통해 대화 서비스를 제공하는 방법을 나타내는 흐름도.
도 4는 대화 브라우저를 사용하여 본 발명의 또 다른 특징을 따라 대화 서비스를 제공하는 분산 시스템을 나타내는 블럭도.
도 5는 대화 브라우저를 사용하여 본 발명의 또 다른 특징을 따라 대화 서비스를 제공하는 분산 시스템을 나타내는 블럭도.
본 발명은 네트워크 연결 서버 및 장치(및 해당 응용 프로그램)간에 대화원을 자동으로 협동 공유하는 시스템 및 방법을 관한 것이다. 본 발명의 한 실시예에 따른 시스템은 각각의 대화 인식 네트워크 장치가 자동적으로 대화원을 공유하고 조정 및 동기화된 방법으로 네트워크 장치 중 하나의 인터페이스를 통해 매끄러운대화 인터페이스에 공급하도록 허용하는 대화 네트워크 프로토콜(또는 방법)을 사용하여 메시지를 통신함으로써 서로 "대화로 인식"하게 만들어진 복수개의 네트워크 서버, 장치 및/또는 응용 프로그램을 포함한다.
본 발명의 한 특징에 따르면, 대화원을 자동적으로 협동 공유하는 시스템으로서,
적어도 제1 네트워크 장치 및 제2 네트워크 장치를 구비하는 네트워크를 구비하고,
상기 제1 네트워크 장치 및 상기 제2 네트워크 장치는,
한 세트의 대화원과;
대화를 관리하고 대화 서비스를 요구하는 호출을 실행하기 위한 다이알로그 관리자와;
상기 네트워크를 통해 대화 프로토콜을 사용하여 메시지를 통신하기 위한 통신 스택을 각각 구비하며,
상기 대화 프로토콜을 사용하여 통신된 메시지는 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 다이알로그 관리자간에 상호 네트워크 통신을 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 상기 대화원 세트와 자동적으로 공유하도록 설정한다.
본 발명은 리소스 클라이언트 장치가 로컬한 단순 작업을 투명하게 수행하고, 좀더 복잡한 대화 능력을 갖는 서버( 또는 다른 장치)와 이진 연결 또는 아날로그 연결로 복잡한 작업을 수행하도록 허용한다. 이 서버측 기능(예컨대, 음성 인식)은 통상의 IP 네트워크 또는 LAN 네트워크와 종래의 전화선을 통한 디지탈 전송또는 패킷 스위치 네트워크 또는 무선 네트워크를 통한 임의의 다른 종래의 무선 데이타 프로토콜를 경유하여 수행될 수 있다.
본 발명은 제한된 CPU, 메모리 및 전력 능력(제한된 대화원)을 갖는 임의의 장치(예컨대, 침투할 수 있는 내장 장치)의 전면적인 대화 사용자 인터페이스를 공급하고, 예컨대, 네트워크 서버로부터 필요한 대화 개요를 다운로드하지 않고 리소스 클라이언트 장치를 사용하여 복잡한 대화 서비스를 제공한다. 로컬 능력은 사용자가 연결 예컨대, 무선 전화 공급자의 외부 커버리지를 요구하지 않고 로컬 장치를 사용하도록 허용한다. 또한, 연속적인 연결 비용은 감소하고 이 연속 연결이 끊어진 경우 복원의 어려움은 경감될 수 있다.
본 발명의 특징, 구조 및 이점은 후술하는 바람직한 실시예와 첨부한 도면을 참조하여 기재되고 설명되어 있다.
본 발명은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 그들의 조합의 여러가지 형태로 구현될 수 있다는 것을 이해할 수 있다. 본 발명은 프로그램 스토리지 장치(예컨대, 마그네틱 플로피 디스크, RAM, CDROM, ROM 및 플래시 메모리)에 가시적으로 구현되고 임의의 장치 또는 머신 예컨대, 하나 이상의 중앙 처리 유니트(CPU), 랜덤 억세스 메모리(RAM) 및 오디오 입력/출력(I/O) 인터페이스에 의해 실행가능한 프로그램 명령어를 포함하는 응용 프로그램으로서 소프트웨어에서 구현되는 것이 바람직하다.
첨부한 도면에 도시된 일부 조성 시스템 구성 요소 및 방법은 소프트웨어로 구현되는 것이 바람직하기 때문에, 시스템 구성 요소(또는 프로세스 단계)간에 실제 연결은 본 발명이 프로그램되는 방법에 따라 다를 수 있다. 당해 기술 분야의 통상의 기술적 지식을 가진자라면, 본 명세서에서 설명하고 있는 본 발명과 유사한 실시예 또는 구성을 잘 이해할 수 있다.
도 1을 참조하면, 블럭도는 본 발명의 실시예에 따른 네트워크 장치간에 대화원 및 대화 개요(데이타 파일)를 자동으로 공유함을 통해 대화 서비스를 제공하는 시스템을 나타내고 있다. 이 시스템은 오디오/음성 입력을 처리하고 클라이언트 장치(100)에 의해 생성된 오디오/음성을 출력하기 위한 음향 프론트 엔드(101)을 포함하는 로컬 클라이언트 장치(100)를 포함한다. 이 클라이언트 장치(100)는 예컨대, 스마트폰 또는 음성-인에이블 PDA(personal digital assistant)일 수 있다. 클라이언트 장치(100)는 음성 특징 및/또는 음성 프론트-엔드(101)에 의해 생성 및/또는 포착된 파형을 처리하고 사용자에게 출력을 위한 다이알로그를 생성하기 위해 하나 이상의 로컬 대화 엔진(102)를 더 포함한다. 이 로컬 대화 엔진(102)은 예컨대, 내장된 음성 인식, 화자 인식 엔진, TTS 엔진, NLU 및 NLG 엔진, 오디오 포착 및 압축/해제 엔진과 임의의 다른 형태의 대화 엔진을 포함할 수 있다.
이 클라이언트 장치(100)는 작업 관리를 수행하는 로컬 다이알로그 관리자(103)를 포함하고 시스템 호출(API 또는 프로토콜 호출) 및 네트워크 장치와 다이알로그 로컬 관리를 통해 요구되는 대화 서비스(네트워크 장치를 통하거나 로컬하게)의 실행을 제어하고 조정한다. 특히, 후술하는 바와 같이, 다이알로그 관리자(103)는 소정의 대화 서비스가 클라이언트(100) 또는 리모트 네트워크 연결 서버(또는 장치)에 로컬하게 처리되고 실행될지 여부를 판정한다. 이 판정은 다른 네트워크 장치의 능력과 비교할 때, 클라이언트(100)의 대화 능력와 같은 요소에 기초하고, 요구된 대화 서비스를 처리하기 위한 필요할 수 있는 리소스 및 대화 개요도 가능하다. 다른 요소는 네트워크 트래픽을 포함하고 네트워크 장치로부터 수신 결과의 지연을 한다. 다이알 로그 관리자(103)는 작업 관리 및 리소스 관리 작업 예컨대, 부하 관리 및 리소스 할당을 수행하고, 로컬 대화 엔진(102) 및 음성-인에이블 로컬 응용 프로그램(104)간에 다이알로그를 관리한다.
도 1에 도시한 바와 같이, 클라이언트 장치(104)는 서버 응용 프로그램(109)을 포함하는 서버(106)에 네트워크를 통한 연결을 하고, 필요하다면 클라이언트 장치(100)(또는 임의의 다른 네트워크 장치 또는 응용 프로그램)에 대화 서비스를 제공하는 서버 대화 엔진을 연결한다. 로컬 엔진(102)과 같이, 서버 엔진(107)은 예컨대, 내장된 음성 인식, 화자 인식 엔진, TTS 엔진, NLU 및 NLG 엔진, 오디오 포착 및 압축/해제 엔진과 임의의 다른 형태의 대화 엔진을 포함할 수 있다. 서버(106)는 전술한 바와 같이, 로컬 관리자(103)과 유사한 방법으로 동작하는 서버 다이알로그 관리자(108)를 포함한다. 예컨대, 서버 다이알로그 관리자(108)는 로컬 다이알로그 관리자(103)로부터 대화 서비스에 대한 요구가 서버(106) 또는 다른 리모트 네트워크-연결 서버 또는 장치에 의해 처리되고 실행될지 여부를 판정한다. 또, 서버 다이알로그 관리자(108)는 서버 대화 엔진(107) 및 음성-인에이블 서버 응용 프로그램간에 다이알로그를 관리한다.
도 1의 시스템은 클라이언트 장치(100) 및 대화 엔진 및/또는 필요에 따라 클라이언트(100) 및 서버(106)에 의해 억세스할 수 있는 대화 개요를 갖는 서버(110)에 네트워크 연결된 리모트 서버(106)를 추가로 나타내고 있다. 네트워크(105)는 예컨대, 인터넷, 근거리 통신망(LAN), 통합 인트라넷, 공중 전화 교환망(PSTN) 또는 무선 네트워크(RF(radio frequency) 주파수 또는 IR(infrared)를 통한 무선 통신)일 수 있다. 도 1은 당해 기술 분야의 통상의 기술을 가진 자가 이해할 수 있는 용어로서 클라이언트/서버 시스템을 도시하고 있는 경우라도, 도 1의 시스템은 대화 기능, 개요 및 리소스를 자동적으로 협동 공유하도록 서로 "대화적으로 인식"하는 복수개의 네트워크 서버, 장치 및 응용 프로그램을 포함한다. 후술하는 바와 같이, 이 "대화 인식"은 네트워크 장치가 자동 및 동기 방법으로 대화원 및 대화 기능을 공유하도록 허용하는 각각의 다이알로그 관리자에 의해 처리된 메시지를 전송하도록 대화 네트워크 프로토콜(또는 방법)을 사용하여 달성될 수 있다. 이 대화 조정은 하나의 네트워크 장치의 인터페이스를 통해 리모트 서버, 장치 및 응용 프로그램을 억세스하기 위해 매끄러운대화 인터페이스를 제공한다.
특히, 네트워크 장치간에 대화 조정을 제공하고 대화 기능, 리소스 및 개요를 공유하기 위해, 대화 프로토콜(또는 방법)을 사용하여 각각의 네트워크 장치는 대화 능력 및 요구 사항에 관한 정보를 교환하도록 메시지를 통신한다. 예컨대, 도 1에 도시한 바와 같이, 클라이언트 장치(100)는 대화 프로토콜(112), 대화 디스커버리, 등록 및 협상 프로토콜(113) 및 음성 전송 프로토콜(114)(또는 대화 코딩 프로토콜)을 사용하여 메시지를 송수신하기 위한 통신 스택(111)을 포함한다. 마찬가지로, 서버(106)는 대화 프로토콜(116), 대화 디스커버리, 등록 및 협상 프로토콜(117) 및 음성 전송 프로토콜(118)을 구비하는 통신 스택(115)을 포함한다. 이들 프로토콜(방법)은 본 명세서에 참조되어 있는 "대화형 가상 머신을 통한 대화형 컴퓨터"라는 명칭으로 특허 출원(IBM 문서 번호 YO999-111P)된 대화형 가상 머신(CVM)을 상세히 설명하고 있다.
요약하면, 대화 프로토콜(112, 116)(또는 YO999-111P에서 "분산 대화 프로토콜"로서 명명됨)은 네트워크 장치(예컨대, 클라이언트(100) 및 서버(106)) 또는 응용 프로그램이 대화 상태, 개요 및 구문을 다른 네트워크 장치의 다이알로그 관리자로 등록하기 위한 메시지를 전송하도록 허용하는 프로토콜(또는 방법)이다. 또한, 대화 프로토콜(112,116)은 상기 장치가 다른 정보 예컨대, 애플릿, ActiveX 구성 요소 및 상기 장치 또는 관련 정보가 예컨대, 매스터/슬레이브 또는 P2P 대화 네트워크 구성에서 이들 장치간에 대화를 조정하도록 허용하는 다른 실행가능한 코드를 교환하도록 허용한다. 이 분산 대화 프로토콜(112, 116)은 정보 교환이 다수 장치를 포함하는 대화 또는 매스터/슬레이브 대화 네트워크, 피어간 대화 네트워크, 사일런트 파트너를 포함하는 응용 프로그램을 조정하도록 허용한다. 이 분산 대화 프로토콜을 사용하여 네트워크 장치간에 교환될 수 있는 정보는 데이타 파일(개요)로의 포인터, 데이타 파일의 전송(만일 필요하다면) 및 다른 대화 개요, 입력을 위한 통지, 출력 이벤트 및 인식 결과, 대화 엔진 API 호출 및 결과, 상태 및 구문 변경의 통지와 다른 시스템 이벤트, 등록 업데이트:등록을 위한 핸드셰이크, 협상 업데이트:협상을 위한 핸드셰이크 및 등록원을 분실한 경우 디스커버리 업데이트를 포함한다.
또한, 이 (분산) 대화 프로토콜은 다이알로그 관리자(DM) 프로토콜을 포함하고, 상기 다이알로그 관리자가 서비스, 행동 및 대화 응용 프로그램, I/O 및 엔진 API(예컨대, IBM 문서 번호 YO999-111P에 기재됨)을 분산하도록 허용한다. 예컨대, DM 프로토콜은 후술하는 정보가 (1)DM 아키텍쳐 등록(예컨대, 각각의 DM은 로컬 DM의 집단임), (2)관련 메타 정보로의 포인터(사용자, 장치 능력, 응용 프로그램 니즈 등), (3) DM 네트워크 토폴로지의 협상(예컨대, 매스터/슬레이브, P2P), (4) 응용가능한 경우 데이타 파일(대화 개요), 즉 엔진이 매스터 DM에 의해 제어되어 사용되는 경우), (5) I/O 이벤트 예컨대, 사용자 입력, 엔진으로 전송하기 위해 사용자에게 출력 및/또는 구문의 추가, (6) 인식 이벤트의 통지, (7) 엔진으로부터 매스터 DM으로 처리된 입력을 전송, (8) 등록된 DM으로 매스터 DM의 확실성을 전송, (9) DM 처리 결과 이벤트, (10) DM 예외, (11) 신뢰도 및 모호 결과, 제안된 피드백 및 출력, 제안된 기대 상태, 제안된 행동, 제안된 구문 변경, 제안된 새로운 다이알로그 상태의 전송, (12)판정 통지, 구문 업데이트, 동작 업데이트, 상태 업데이트 등, (13)완성, 고장 또는 방해 동작의 통지, (14) 구문 변경의 통지, 및/또는 (15)데이타 파일, 구문 및 동작에 기초한 상태 업데이트를 교환되도록 허용한다.
예컨대, 매스터-슬레이브 네트워크 구성에서 네트어크 장치 중 단 하나는 소정의 시간에서 대화를 실행한다. 특히, 매스터 장치(즉, 매스터 장치의 다이알로그 관리자)는 네트워크 장치간에 대화를 관리하고 조정하며, 장치가 소정의 대화 서비스 또는 기능을 수행하는지를 판정한다. 이 판정은 대화 능력에 관한 각각의 장치 또는 응용 프로그램에 의해 제공된 정보에 기초할 수 있다. 또한, 이 판정은 슬레이브 장치(필요한 대화 능력을 구비)가 소정의 대화 기능을 적절하게 수행할 수 있는 매스터 판정에 기초할 수 있다. 예컨대, 매스터가 음성 인식을 수행하고 매스터에 결과를 제공하도록 복수의 슬레이브를 요구할 수 있다. 이후 매스터는 적절한 결과를 선택할 수 있다. 명세서에 기재된 음성 인식의 레벨은 분산 다이알로그 관리자간에 DM(다이알로그 관리자) 프로토콜의 레벨에서 메카니즘이라는 것을 이해할 수 있다(IBM 문서 번호 YO999-111P에 기재된 바와 같이). 실제로, 다이알로그가 복수의 다이알로그 관리자간에 발생한 경우, 매스터는 각각의 다이알로그 관리자의 결과 점수의 척도를 획득하고, 판정은 다이알로그 관리자가 음성 인식 정확성, 다이알로그(의미), 구문 및 히스토리(고려 중인 다른 품목, 예컨대, 사용자의 즐겨찾기, 히스토리 및 응용 프로그램의 즐겨찾기)에 기초하여 입력을 진행함에 따라 볼수 있다.
P2P 연결에서, 각 장치는 수행할 수 있는 기능을 판정하고 그렇게 행하도록 요구를 분류하는 시도를 한다. 작업을 수용한 장치는 이 작업을 수행하고 차후 성능에 점수를 부여한다. 이 장치는 그들 점수에 기초한 작업을 수행한다.
일례로, 분산 대화프로토콜(112, 116)은 네트워크를 통해 응용 프로그램 및 상이한 대화 엔진간에 호출을 실행하도록 RMI(remote method invocation) 또는 RPC(remote procedure call)를 통해 구현된다. 종래 기술과 같이, RPC는 하나의 응용 프로그램이 네트워크 양단에 다른 응용 프로그램으로부터 서비스를 요구하도록 허용하는 프로토콜이다. 마찬가지로, RMI는 객체가 분산 네트워크에서 상호 작용할 수 있는 방법이다. 또, 이 정보는 CORTA 또는 DCOM를 통해 교환되는 객체에 저장되거나 서술 방법(예컨대, XML를 통해)으로 제시될 수 있다. 전술한 특허 출원(IBM 문서 번호 YO999-111P)에 설명된 바와 같이, 대화 프로토콜(방법)(또는 분산 프로토콜)은 대화 API를 통한 대화 응용 프로그램 및 CVM 쉘(shell)간 또는 대화 엔진 API를 통한 CVM 및 대화 엔진간에 CVM(conversational virtual machine) 쉘에 의해 지원된 대화 기능의 분산 실행을 달성하기 위해 사용될 수 있다. 대화 엔진 API는 코어 엔진(로컬 및/또는 네트워크)과 통신하도록 그들 및 프로토콜을 사용하여 코어 엔진 및 응용 프로그램간의 인터페이스이다. 대화 API는 대화 인식 응용 프로그램을 연결(hook)하거나 전개하는 API 층을 제공하고, 대화 사용자 인터페이스를 형성하도록 파운데이션 클래스(foundation class) 및 요소를 포함한다.
마찬가지로, 본 발명에 따른 다이알로그 관리자는 응용 프로그램 및 엔진(로컬 및/또는 네트워크)와 API를 통해 통신할 수 있다. 이 방법에서, 다이알로그 관리자는 실제 응용 프로그램을 우선시켜 판정하고, 활성 상태로서 고려한 결과를 판정하도록 예컨대, 응용 프로그램 및 리소스(로컬 및/또는 네트워크)간에 조정하기 위한 로컬 응용 프로그램인 것처럼 결과에 작용하여 모든 리모트 과정으로부터 역호출될 수 있다.
대화 디스커버리, 등록 및 협상 프로토콜(113,117)은 로컬 또는 네트워크 대화 인식 시스템(즉, 대화 프로토콜을 "스피크"하는 응용 프로그램 또는 장치)를 "디스커버"하는 데 사용된 네트워크 프로토콜(또는 방법)이다. 이 등록 프로토콜은 장치 또는 응용 프로그램이 대화 능력, 상태 및 개요를 등록하도록 허용한다. 이 협상 프로토콜은 장치가 매스터-슬레이브, P2P 및 사일런트 파트너 네트워크와 협상하도록 허용한다.
일례로, 디스커버리 프로토콜은 다른 "방송 및 청취" 장치로부터 응답을 개시하도록 "방송 및 청취" 방법을 구현한다. 예컨대, 이것은 다이나믹 및 자발 네트워크(예컨대, 후술하는 블루투스 및 홉핑 네트워크)의 생성을 허용할 수 있다. 다른 예로, 디폴트 서버(가능하면 매스터) 설정은 강이한 네트워크 장치의 "어드레스"를 등록하는데 사용될 수 있다. 일례로, 디스커버리는 이 장치에 연결된 장치를 판정하기 위해 등록 장치의 리스트를 대조하도록 서버와 통신하는 네트워크의 각 장치와 같다. 이 디스커버리 프로토콜를 통해 교환되는 정보는 다음의 (1) 핸드셰이크에 대한 요구 방송 또는 요구에 대한 청취, (2) 장치 식별자의 교환, (3) 초기등록을 위한 핸들(handles)/포인터의 교환 및 (4) 초기 협상을 위한 핸들 교환을 포함한다.
등록 프로토콜을 구현하기 위한 일례로, 연결할 때, 이 장치는 플래그 세트 또는 장치 특성 객체를 교환함으로써 대화 능력에 대한 정보를 사전배치된 프로토콜(예컨대, TTS 영어, 텍스트, 음성 인식, 500워드 + FSG 그래머, 화자 인식 없음 등)과 교환할 수 있다. 마찬가지로, 응용 프로그램은 엔진 요구 리스트를 교환할 수 있다. 매스터/슬레이브 네트워크 구성으로, 매스터 다이알로그 관리자는 모든 리스트를 편집하고 기능 및 니즈를 대화 능력과 일치시킨다. 매스터 장치(다이알로그 관리자)의 결여로, 공통 서버는 네트워크의 각 머신 또는 장치로 대화 정보를 전송하도록 사용될 수 있다. 이 등록 프로토콜은 다음의 정보가 (1) 정의 및 업데이트 이벤트를 포함하는 능력 및 로드 메시지, (2) 엔진 리소스(소정의 장치가 NLU, DM, NLG, TTS, 화자 인식, 음성 인식 압축, 코딩, 스토리지 등), (3) I/O 능력, (4) CPU, 메모리 및 로드 능력, (5) 데이타 파일 형태(도메인 특정, 사전, 언어 모델, 언어 등), (6) 네트워크 어드레스 및 특성, (7) 사용자에 대한 정보(정의 및 업데이트 이벤트), (8) 장치를 위한 사용자 즐겨찾기, (9) 커스토마이제이션(customization), (10) 사용자 경험, (11) 도움말, (12) 응용 프로그램(및 응용 프로그램 상태) 당 능력 요구 사항, (13) CUI 서비스 및 행동을 위한 메타 정보(도움말 파일, 카테고리, 대화 우선성 등)(전형적으로 테이블에 대한 포인터를 통해 정의 및 업데이트 이벤트), (14) 프로토콜 핸드셰이크 및/또는 (15) 토포로지 협상이 교환되도록 허용한다.
등록은 전통적인 통신 프로토콜 예컨대, TCP/IP, TCP/IP 29, X-10 또는 CEBus, 및 소켓 통신을 사용하여 장치간에 수행될 수 있다. 이 장치는 관련 대화 엔진 및 다이알로그 관리자, 대화 개요(예컨대, 실용 어휘, 문법 및 언어 모델, 파싱 및 번역/태깅 모델, 음성 프린트, 합성 순위, 베이스폼(발음 순위) 및 음성 폰트)와 통신하도록 분산 대화 아키텍쳐를 사용한다. 이 정보는 다이알로그 관리자 및 대화 엔진에 대한 파일 또는 스트림으로서 또는 URL로서 패스된다. 또, 구문 정보는 컨트롤러가 구문 스택에 억세스하여 추가할 수 있는 장치 또는 응용 프로그램의 구문 스택/히스토리에 패싱 또는 포인팅을 표지함으로써 전송될 수 있다. 또한, 장치는 다수 양식 I/O 및 UI 능력(스크린/스크린 없음, 능력을 입출력하는 오디오, 키보드 등)에 관한 정보를 패스한다. 대화 개요는 다이알로그 엔진이 현재 상태 및 구문을 기초로 NLU 엔진에 의해 새로운 질의의 관련성을 평가하도록 허용한다.
협상 프로토콜에 대하여, 각각의 네트워크 장치의 니즈 및 능력을 등록할 때, 네트워크 장치 및 응용 프로그램은 협상 중 소정의 리시적인 구성을 위해 제의할 수 있다. 응용 프로그램이 구성(즉, 토폴로지)를 부과하는 경우, 판정은 자동적으로 부과된다. 그렇지 않으면, 매스터 또는 슬레이브 또는 피어(peer)되도록 요구할 수 있다. 요구의 탤리(tally)를 기초하여, 바람직한 구성은 모든 장치 및 응용 프로그램(각 장치/응용 프로그램을 유지 가능한 리소스 테이블에서)으로 판정하여 통신된다. 시스템이 상태 및 요구 사항을 변경할 때마다, 새로운 협상을 개시하고 새로운 상태 및 구문 정보를 통신하도록 다른 네트워크된 다이알로그 관리자/리소스로 통신할 수 있다.
음성 전송 프로토콜(114, 118)은 장치가 네트워크의 다른 장치 및 응용 프로그램으로/으로부터 압축 음성 또는 로컬 프로세싱을 송수신하도록 허용한다. 대화 엔진(102,107)은 로컬 프로세싱을 위한 다른 장치 또는 응용 프로그램으로부터 네트워크를 통해 획득된 음성(또는 결과)을 압축하고 압축 음성(또는 결과)를 해제하기 위한 압축/해제 엔진을 포함한다. 이 음성 전송 프로토콜은 프로세싱을 위한 다른 네트워크 장치, 시스템 또는 응용 프로그램으로/으로부터 압축 음성을 송신/수신하도록 장치에서 실행하는 음성 전송 클라이언트에 의해 이용된다. 이 장치의 음성 전송 클라이언트는 네트워크를 통해 전송된 음성을 처리하기 위해 적당한 압축 하드웨어를 사용하여 압축, 해제 및 재구성 엔진과 병행하여 조작한다. 이 음성 코더는 압축 음성 및 최적화된 대화 성능(예컨대, 워드 에러율)의 수용가능한 또는 합리적인 재구성을 감지하도록 제공한다. 이 음성은 음향 신호 처리 엔진(오디오 서브 시스템) 및 적합한 오디오 하드웨어를 사용하여 각각의 네트워크 장치에 포획(특성으로 변형)된다. 또, 압축 음성 파일 포맷은 음성을 처리하기 위해 장치간에 송수신될 수 있다. 특히, 음성 전송 프로토콜은 장치가 네트워크의 다른 장치 및 응용 프로그램으로/으로부터 압축 음성 또는 로컬 프로세싱 결과를 송수신하도록 허용한다. 일례로, 전송 장치 및 수신 장치간에 핸드셰이크 처리 후에 데이타 스트림(패킷 본위)은 수신기로 전송된다. 패킷 헤더는 음성(또는 결과)을 인코딩하기 위해 코딩 스킴 및 코딩 개요(즉, 샘플링 주파수, 특징 특성, 디멘션, 프론트-엔드에 적용된 변형, 프로느트-엔드의 성질 등)를 규정하는 것이 바람직하다. 또, 에러 보정 정보는 분실 패킷을 복원(재전송)하도록 메시징을 도입(예컨대, 이전 패킷이 분실되거나 지연된 경우 차동 디코더를 보정하도록 이전 패킷의 최종 특성 벡터)하거나 충당할 수 있다.
또, 다이알로그 관리자는 다이알로그 관리자 프로토콜 또는 DM 프로토콜을 통해 통신할 수 있다(전술한 IBM 문서 번호 YO999-111P에 설명된 바와 같이). DM 프로토콜은 다이알로그 관리자가 활성화한 경우 또는 다이알로그 관리자가 입력을 수신한 경우 복수의 다이알로그 관리자간에 협상하도록 사용된다. 현재의 경우, 서버 리소스는 실제로 필요할 때만 "폴(poll)"되고, DM 프로토콜은 변화를 제공하는데, 로컬 다이알로그 관리자 우선 순위(priori)는 기능이 리모트로 수행되는지를 판정하도록 시도되고 있다. 실수가 만들어지거나 의심이 존재하는 경우, 다이알로그 관리자는 로컬 엔진으로부터 평가를 위해 대기하고 의심이 남는 경우에 비교를 위해 서버를 폴하도록 판정될 수 있다.
그러므로, 전술한 설명에 기초하여 네트워크 프로토콜은 대화 서비스 및 기능을 공유하기 위한 네트워크 장치간에 조정(또는 협동 인터페이스)을 제공한다. 협동 인터페이스라는 용어는 이들이 전체 대화를 모두 이해하고 소정의 시간에서 어드레스된 것을 아는 것처럼 단일 대화가 상이한 액터(장치/응용 프로그램)간에 유지될 수 있다는 의미이다. 각 대화형 시스템 또는 응용 프로그램의 행동은 적합한 시스템의 각 대화 기능을 사용자에게 투명한 실행을 하기 위해 다이알로그 관리자(예를 들면, 매스터 슬레이브 모드에서 매스터), 응용 프로그램(매스터, 슬레이브 또는 피어간인지 여부를 설정할 수 있는), 시스템 다이알로그 관리자(어떤 경우에), 아키텍쳐 및 논의(P2P 모드에서)에 의해 제어/관리될 수 있다. 클라이언트 장치의 사용자를 위해, 완벽한 대화형 인터페이스는 특정 대화 기능, 시스템 및 리소스가 수개의 네트워크된 장치(예를 들면, 셀룰러 폰, 페이저 및 PDA)에 제공될 수 있음에도 불구하고 제공된다(즉, 모든 대화형 상호 적용은 단일 대화형 시스템을 통해 나타난다).
협동 대화형 시스템의 한 예(상기 전술한 IBM 문서 번호 YO999-111P에 설명된 바와 같은)는 UCA(universal conversational appliance)로서 칭해진 리모트 컨트롤이다. UCA는 대화로 인식되는 장치를 발견한다. 각 대화로 접속된 장치는 그 대화 개요(어휘 및 문법)를 UCA에 전송할 수 있다. UCA는 이 장치를 위한 매스터로서 작용하고, 사용자와의 대화형 상호 작용이 장치의 코맨드로 발생할 때 적합한 장치를 업데이트할 수 있다. 반대로, 코맨드의 실행 및 장치가 상태를 변경 시간마다, 이것은 리모트 컨트롤에 대한 업데이트를 전송할 수 있다. 다른 대화 능력(해당 개요와 다른)을 갖는 대화형 장치는 "익명의 파트너"로서 불리운다.
다른 실시예에서, 서버 또는 베이스 스테이션은 리모트 컨트롤(또는 UCA)에 의해 실행된 오디오 획득 압축 및 발송(shipping)을 제외한 모든 대화 기능을 실행할 수 있다. 또, 리모트 컨트롤는 다른 장치의 상태를 통지하도록 일부 UI를 사용자에게 제공할 수 있다. 이것은 음성, GUI 또는 이들 형식(및 다른 것)의 대화형 조합을 통해 행해질 수 있다.
종래의 네트워크 토폴로지라도, 도 1의 시스템에 관련하여 사용될 수 있을 양호한 네트워크 토폴로지는 자발적인 동적 네트워킹(예를 들면, 특정 통신 영역 내에 있는 장치간에 자발적으로 설치된 네트워크)을 제공하는 것이다. 이러한 자발적인 네트워킹은 예를 들면, http://www.bluetooth.com에서 설명한 바와 같은 최근에 발생하는 "블루투스" 네트워킹 프로토콜을 사용하여 실행될 수 있다. 요컨대, 블루투스는 애드 혹(ad hoc), 무선 네트워크 연결성을 제공하는 네트워크 프로토콜용 코드명이다. 특히, 블루투스는 이러한 장치간의 네트워크(또는 "피코넷"으로 알려져 있는)를 동적이고 자발적으로 설치하기 위해 특정 범위 내에 있는 장치(스마트폰, 셀룰러 폰, 페이저, PDA, 랩탑 컴퓨터, 모바일 유닛 등과 같은)간의 짧은 범위 무선 라디오 링크를 제공하는 프로토콜이다. 피코넷은 네트워크 접속의 나머지 동안 매스터를 작동하는 각 피코넷에서 한 노드와 애드 혹(ad hoc) 방법에 접속된 블루투스 인에이블 장치(노드)의 집단이라 불리운다. 2개 이상의 피코넷은 스캐터넷으로 알려져 있는 것을 형성하기 위해 네트워크 접속될 수 있다.
자발적인 동적 네트워킹 프로토콜이 본 발명에 따라 실행될 수 있다. 예를 들면, 도 1의 네트워크 토폴로지는 참조 문헌으로서 일반적으로 본 명세서에 기재된 "자동 트래픽 맵핑"이라는 1998년 11월 24일자로 제출된 미합중국 특허 출원 제 09/198,378에 설명된 "홉핑" 통신 네트워크에 따라 실행될 수 있다.
도 2를 참조하면, 흐름도는 본 발명의 한 특징에 따른 네트워크된 장치간에 대화형 기능의 자동 및 합동 공유를 제공하는 방법을 도시한다. 특히, 도 2는 도 1의 시스템의 조작에 대한 방법을 더 상세히 설명한다. 초기에, 사용자는 예를 들면 디지탈된 음성 신호의 관련 특징을 디지탈화하고 발췌함으로써(스텝 200) 미리처리된 로컬 글라이언트 장치에 구두 코맨드를 나타낼 수 있다(또는, 질문하다). 다른 예로, 로컬 다이알로그 관리자는 사용자에 대한 출력용 합성 음성(TTS)을 생성하기위해 로컬 응용 프로그램(104)로부터의 요구를 수신할 수 있다.
판정은 로컬 프로세싱이 사용 가능한지 여부(스텝 201), 예를 들면 음성 인식 또는 음성 합성이 국소적으로 실행될 수 있는 경우에 대해 만들어진다(로컬 다이알로그 관리자(103)를 통해). 이 판정에 대해, 로컬 다이알로그 관리자(103)는 리모트 서버를 명백하게 미리 정의할수 있고, 인식/합성은 발생되어야 한다(예를 들면, 숏컷 접속용 IP어드레스, 서블렛(servlet)을 통한 서버 본위 레코드용 URL 어드레스 또는 IVR로의 직접 접속 또는 접속용 전화 번호). 또, 로컬 장치가 작업을 실행(또는 효과적으로 수행)하도록 사용가능한 리소스 또는 개요를 갖지 않는 판정은 헤더 파일의 응용 프로그램에 의해 표지한 바와 같은 리소스 요구에 기초한 로컬 응용 프로그램(104)의 실행시 다이알로그 관리자(103)에 의해 만들어질 수 있다. 또, 특정 코맨드 또는 요구된 기능은 다이알로그 관리자로 하여금 리모트 서버에 자동적으로 접속시킬 수 있다. 예를 들면, 보안 응용 프로그램(예를 들면, 화자 검증)은 음성 입력이 클라이언트에 분산되지 않도록 서버측 프로세싱에 자동적으로 스위치될 수 있다. 또, 로컬 카 내비게이션 시스템은 로컬 장치가 대량의 내비게이션 정보를 저장할 수 없도록 전화기 또는 숏컷(shortcut) 기초 서버를사용하여 리모트 서버로 자동적으로 스위치될 수 있다.
로컬 프로세싱이 사용가능하다고 판정될 경우(스텝 201에서 긍정적 판정), 프로세싱은 로컬 엔진(102)을 경유하여 국소적으로 실행될 수 있다(스텝 202). 한편, 로컬 프로세싱이 사용되지 않는다고 판정된 경우(스텝 201에서 부정적 판정), 관련 특징/파형/정보는 리모트 네트워크 접속된 서버(스텝 204 : IP, LAN, 블루투스, IR, RF를 경유하거나 전화 또는 IP 전화를 경유하여)로 자동적으로 전송되고, 리모트 프로세싱(예를 들면, 음성 인식/분석)은 실행된다(스텝 205 : 일부 사용자/서버 상호 작용으로).
로컬 클라이언트에서 리모트 네트워크 접속된 서버(또는 등등)까지의 음성 전송이 다양한 기술을 사용하여 실행될 수 있다. 예를 들면, 파일, 스트림 또는 패킷의 스트림으로서 파형의 직접 전송될 수 있다. 또, 압축된 파형은 ADPCM 및 APC와 같은 종래 방법을 사용하여 전송될 수 있다. 또, 특징의 스트림은 참조 문헌으로서 본 명세서에 구체화된 1998년 Proc. ICASSP의 2권 977 - 980 페이지에 지, 라마스콰이 등(G. Ramasqamy et al.)에 의해 "네트워크 환경에서 음성 인식용 음향 특징의 압축"에 설명한 방법에 따라 전송될 수 있다. 이 방법은 신호의 재구성이 아닌 수신기 측의 인식(음성 인식, 화자 인식 또는 NLU)을 허용한다. 또, 음성의 전송은 충분히 감지할 수 있고 심지어 즐거운 재생(재생, 보정, 상세한 휴먼 프로세싱 또는 아치빙)으로 재구성되도록 음성 신호를 허용하는 압축 특성 및 피치 평가에 기초하여 코딩 방법 또는 스킴을 사용하여 수행될 수 있다. 이러한 코딩 스킴은 인식 성능의 저하가 없는 4 kbits/s와 5 kbits/s사이의 낮은 데이타 비율을 제공하여야 한다. 결과적으로, 대화 교환은 무선 모뎀 또는 무선 데이타 링크를 통해 백엔드(서버) 리소스로 실시간 실행될 수 있다. 다른 스킴은 매우 높은 품질로 재생하는 유사한 코딩 스킴을 사용하여 이용될 수 있다. 또, 수신측의 저하가 없는 서버측의 인식(음성, 화자, NLU) 및 신호의 재구성을 허용하는 셉스트라(cepstra) 특징 및 피치를 허용하는 방법은 본 발명에 관련하여 활용될 수 있다. 이 재구성은번역, 에러 정정 또는 프로세스의 휴먼 모니터링의 차후 읽기 방지용 클라이언트(국소적으로 저장된 경우)로부터 재생되거나 서버로부터 차후 재생되는 것이 유용하다. 어떤 적합한 압축 스킴(코딩 프로토콜)이 사용될 수 있음을 알 수 있다.
압축 또는 코딩 스킴(전송 프로토콜 또는 코딩 프로토콜)은 장치간에 변경할 수 있다. 예를 들면, 오디오 획득 시스템(클라이언트의)에서 네트워크된 리소스까지의 입력 음성을 발송하기 위한 코딩은 네트워크된 리소스(서버)에서 오디오 출력(클라이언트)까지의 출력 음성(예를 들면, 프롬프트, 재생 또는 TTS)을 발송하는데 사용된 코딩 프로토콜과 달라질 수 있다. 실제로, 제1 경우에 코딩은 매우 중요하지 않지만, 중요한 재생을 재구성하는 서버 측의 우수한 인식 성능을 갖도록 최적화될 수 있다. 물론, 비트 비율(압축 비율)은 중요하다. 압축율의 트레이드오프는 타겟 비트 비율에 도달하고 유지하기 위한 견고성(에러 비율 - 특성 변형)과 감도간에 어댑트될 수 있다. 또, 특성 스킴은 일부 채널 또는 배경 변형에 에 견고성을 추가하도록 선택될 수 있다. 한편, 후자 작업(출력 신호)을 위해, 코딩은 명료도 또는 감도 및 즐거움을 위해 최적화되거나 음성 또는 오디오의 일부 특정 특성을 보존하도록 최적화될 수 있다.
로컬 프로세싱(스텝 202) 또는 리모트 프로세싱(스텝 205) 중 하나 후에, 판정은 프로세싱 결과가 수용 가능한지 여부(스텝 203 및 206)에 관해서 만들어진다(로컬 다이알로그 관리자(103) 또는 서버 다이알로그 관리자(108)을 경유하여). 프로세싱 결과가 수용할 수 없다고 판정될 경우(단계 203 또는 단계 206에서 부정적 판정), 로컬 클라이언트 또는 리모트 서버는 이러한 프레시싱(스텝 204 및 스텝207)을 실행할 수 있는 서버(IP, LAN, 블루투스, IR, RF를 경유하거나 전화기 또는 IP 전화기를 통한 접속)에 대한 특징 또는 파형을 자동적으로 전송할 수 있다. 예를 들어, 음성 인식 및 NLU용 결과의 거부는 이 결과가 공지되지 않거나 잘못 인식되거나 모호한 경우에(또는 각 리소스(로컬 또는 서버)의 다이알로그 매니저에 관련된 신뢰 측정에 기초) 발생될 수 있다. 로컬 또는 리모트 시스템에서 서버 시스템까지의 자동 접속은 예를 들면 참조 문헌으로서 일반적으로 본 명세서에 기재된 "고속 워드 수용 또는 거부용 디코딩 히스토리 캐쉬에 의존한 개별 또는 화자 클래스를 포함하는 음성 인식용 장치 및 방법"인 이타셰리아 등(Ittycheriah et al.)에 의한 미합중국 특허 출원 5,937,383에서 설명된 기술을 사용하여 로컬 음성 디코더에 의해 복귀한 음향 및 LM(language model) 스코어 레벨에 기초될 수 있는 것이 바람직하다(예컨대, 리모트 서버는 이 스코어가 소정의 임계값이하로 될 때 접속함). 신뢰 또는 인식된 발음 또는 질의(다이알로그 중이나 다이알로그 후)를 평가하도록 적합한 측정 또는 해결 방법은 대화형 시스템에 의해 획득된 결과가 수용 가능한지 여부(다른 시스템이 고려된 경우에)를 판정하는데 사용된다.
마찬가지로, TTS에 대해, 로컬 및 리모트 다이알로그 관리자(103, 108)는 TTS가 로컬하게 또는 리모트하게 실행될 경우를 판정하도록 텍스트의 복잡성을 검사할 수 있다. 예를 들면, TTS는 워드용 발음 규칙이 공지되지 않았거나 텍스트가 복잡한 파싱을 요구할 때 리모트하게 실행될 수 있다. 다른 예는 TTS가 다른 악센트, 방언 또는 다른 언어로 발음되어야 할 경우나 사람의 특정한 문장을 모방하도록 지원하는지 여부이다.
프로세싱이 리모트하게 실행된 후, 결과는 로컬 클라이언트(스텝 208 : 전화기, IP 어드레스, MAC(media access control) 어드레스 등)의 반대로 전송된다. 출력(즉, 사용자에 대한 음성 출력)은 국소적으로 또는 서버에 합성될 수 있다. 합성이 서버에서 실행된 경우, 합성된 음성은 로컬 압축 해제용 클라이언트에 압축 형태(전술한 바와 같은 음성 전송 프로토콜을 사용하여)로 전송될 수 있다. 코딩 스킴은 클라이언트에서 서버까지의 음성 특징을 전송하는데 사용된 스킴으로부터 동일하거나 달라질 수 있다. 다른 예로, 음성은 예를 들면 클라이언트에서 서버(콜백)까지 전화 호출을 통해 설정될 수 있는 접속으로 다른 아날로그 PSTN 라인에 걸쳐 서버에 의해 직접적으로 "방송"될 수 있다.
최근 시도는 인식된 음성에 대한 적합한 신뢰도 측정이 개발되기 시작하고 있다. 예를 들면, NIST 및 DARPA에 의해 조직된 "LVCSR Hub5 Workshop" 1996년 4월 29일 - 5월 1일 MITAGS, MD에서, 다른 해결 방법은 신뢰 레벨을 위해 각 워드의 신뢰 레벨을 부착하는 것이 제안된다. 한가지 방법은 단어 의존 특성(발음 훈련의 양, 최소 및 평균 트라이폰 발생도, 언어 훈련 모델에서의 발생도, 음소(phonemes)/레훼메스(lefemes), 지속 시간, 음향 스코어(빠른 일치 및 세부 일치), 음성 비음성), 문장 의존 특성(신호-노이즈비, 이야기 속도의 평가, 단어 수 또는 시간당 레훼메스 또는 모음, 언어 모델에 의해 제공된 문장 가능성, 가능성비, 프레임당 정규 평균 가능성, 언어 모델에서의 트라이그램 발생도), 구문 특성에서의 어휘(언어 모델에서의 트라이그램 발생도) 및 화자 프로파일 특성(악센트, 방언, 성, 나이, 이야기 속도, ID, 오디오 음질, SNR 등)에 채용된 판정 트리를 사요한다. 에러 확률은 트리의 각 분기에 대한 트레이닝 데이타에서 계산된다. 이러한 트리를 세우는 알고리즘은 1993년 Vhapman & Hai에 "분류 및 후퇴 트리"란 제목으로 브레이만 등(Breiman et al.)에 의해 설명된다. 인식에서, 모든 특징 또는 소정의 특징은 인식시 측정되고, 각 워드용 판정 트리는 신뢰 레벨을 제공하도록 시뢰도 레벨이 제공하는 분기에서 진행된다. 또, 1997년 4월 ICASSP97, Munich, Germany에서 제목이 "음성 인식의 스택 서치용 가이드로서 워드 기초 신뢰 측정"이고, 네트 등(Neti et al.)에 관련하여, IBM 스택 디코더(로그 가능성- 실제 평균 증가 로그 가능성, 상세한 일치, 빠른 일치)에 의해 복귀된 스코어에 전체적으로 의존하는 방법이 기재되어 있다.
LVCSR 프로세싱에서, 신뢰 레벨을 추정하는 다른 방법은 선형 후퇴를 통해 프리딕터를 사용하여 실행된다. 사용된 프리딕터는 워드 지속, 언어 모델 스코어, 프레임 당 평균 음향 스코어(우수 스코어) 및 톱 선택으로서 동일한 워드를 갖는 NBEST 리스트의 일부이다. 본 발명의 한 실시예에 따라, 2가지 해결 방법이 음성 인식에 제한되지 않는 어떤 번역 프로세스에서 신뢰 레벨을 체계적으로 발췌하도록 결합된다.
이 영역에서 과거 프로세스 및 진보 속도에 기초하여, 우리는 몇가지 종류의 번역에 대해, 한 번역은 신뢰값, 예를 들면 0에서 1까지에 관련되는데, 1은 번역이 실행되지 않을 때를 의미하고, 1은 번역되는 임의의 구성 요소를 의미하며, 요소는 텍스트, 어구, 워드 및 일반적으로 번역하는 재료의 어떤 논리적인 블럭일 수 있다. 전술한 바와 같은 선형 프리딕터 및 판정 트리의 결합은 본 발명을 양호하게사용하는 방법이다. 실제로, 예에서, 화자 인식 엔진에 의해 복귀된 스코어(배경 모델 및 코호트(cohorts)의 스코어 뿐만 아니라 빠른 일치 스코어 및 상세한 일치 스코어)의 축적은 화자가 정확하게 확증된 신뢰 레벨의 판정 트리 및/또는 선형 프리딕터를 세우는데 사용될 수 있다. 사실, 화자 확인의 경우에, 이것은 식별 스테이지에 의해 얻어진 식별의 검증을 실행한다.
리모트 서버는 로컬 장치가 이러한 정보를 국소적으로 사용하는 유사한 요구를 순차적으로 처리할 수 있도록 캐쉬의 저장용 로컬 클라이언트에 TTS 룰 또는 베이스폼, 문법 등과 같은 정보를 전송할 수 있다. 로컬 장치가 요구한 리소스의 부족으로 인해 특정 작업를 실행할 수 없기 때문에, 로컬 클라이언트에 이러한 프로세싱 정보를 전송하는 서버 다이알로그 관리자(108)에 의한 판정은 리모트 서버와 접속할때 리모트 서버에 대한 대화 능력의 로컬 장치에 의해 등록(전술한 바와 같은 등록 프로토콜을 통해)에 따라 형성될 수 있다.
본 발명은 장치가 시기적절한 기능 실행(예를 들면, 시스템에 의해 사용된 너무 많은 동기 포트를 갖는 IVR)용으로 필요한 리소스를 제공할 수 없는 장치(다이알로그 관리자를 통해)에 의해 수행된 대화형 기능의 양인 상황에서 실행될 수 있다. 그러므로, 다이알로그 관리자는 대화형 시스템 관리 및 로드 관리를 제공하기 위해 실행될 수 있음으로써, 다이알로그 관리자는 요구된 기능을 계속 처리하기 위해 다른 대화형 시스템을 활용하도록 특별한 기능의 실행중 결정할 수 있다. 특히, 도 3을 참조하면, 초기에 사용자는 예를 들면 디지탈된 음성 신호의 관련 특징을 디지탈화하여 발췌함으로써(스텝 300) 미리 처리된 로컬 클라이언트 장치에 구두 코맨드를 나타낼 수 있다. 다른 예로, 로컬 다이알로그 관리자는 사용자에 대한 출력용 분석 음성(TTS)를 생성하도록(스텝 300) 로컬 응용 프로그램(104)으로부터 요구를 수신할 수 있다. 다이알로그 관리자는 로컬 프로세싱이 실행될 수 있는 경우(스텝 301)(예를 들어, 이것이 음성 인식, 다이알로그 관리 또는 음성 합성 중 하나일 때)를 판정할 수 있다. 이 판정은 로컬 대화 능력, 개요 및 리소스(전술한 바와 같이)에 기초할 뿐만 아니라 지연의 추정에 기초될 수 있고, 네트워크는 사용가능한 단지 제한된 로컬 리소스(로컬 및 리모트 장치는 동일 가능을 수행할 수 있다고 가정한다)를 사용하는 대화형 기능을 수행하도록 소개될 수 있는 가능한 지연에 비교될 때 네트워크 트래픽 정체로 인해 도입될 수 있는 지연의 추정에 기초가 될 수 있다. 그러므로, 예를 들어 코맨드 및 제어 기능은 지연을 최소화하기 위해 리모트/국소적으로 실행될 수 있는 네트워크 상에서 국소적으로 지연될 우려가 있다. 실제로, 긴 지연을 핸들할 수 있는 질의(예를 들면, 인터넷 또는 오디오 시각 서치와 같은 지연을 수용할 수 있는 백엔드 기능에 관련되기 때문에)는 리소스 또는 비용을 최적화하는 시스템에(로컬 또는 네트워크)에 실행될 수 있다.
또, 네트워크된 접속이 임시로 사용불가능한 경우나 네트워크된 리소스 결여된 경우에, 로컬로 실행될 수 있는 모든 기능은 실행될 수 있다. 다른 기능은 지연된 모드(나중에 접속이 재설정될 때) 및 모순된 기능에서 실행될 수 있는 기능으로 세분된다. 전형적인 예는 일반적으로 어드레스 북, 구술을 통한 e-메일 또는 메시지에 대한 응답 또는 구술의 업데이트이다. 또, 양호하게, 응용 프로그램은 코맨드가 로컬인지 지체되는지 여부를 판정한다. 또, 이것은 지체된 모드를 갖는 P2P를고려할 수 있고, 지체된 모드 관리자 및 로컬 엔진은 기능이 로컬인지 지체되었는지를 판정한다.
도 3을 참조하면, 로컬 프로세싱이 정상이라고(스텝 301에서 긍정 판정) 다이알로그 관리자가 판정한 경우, 다이알로그 관리자는 필요한 대화형 엔진을 포트로 할당할 수 있다(스텝 302). 대화형 엔진이 포트에 할당될 때(스텝 303 : 예를 들면 화자가 최근에 말하지 않고 들었을 때), 다이알로그 관리자는 대화형 엔진이 기본적으로 할당된 포트에 의해 최근에 사용되지 않은 경우 다른 포트에 이 엔진을 할당할 수 있다. 로컬 엔진이 다시 기본적으로 할당된 포트에 의해 다시 필요해질 때, 로컬 엔진이 사용가능하지 않을 경우, 다른 사용가능한 엔진(로컬 또는 리모트 디바이스)은 활용될 수 있다(스텝 304). 이 동적 할당 프로세스는 종래의 로드 관리와 대조적으로 다이알로그 관리자가 기능 호출의 전체 지속용으로 각 포트에 대화형 엔진을 판정하고 할당한다.
예를 들면, 음성을 네트워크 서버 또는 장치에 전송하는 관리 및 판정은 시스템 관리/로드 조정(클라이언트 또는 서버의 다이알로그 관리자에 의해)의 레벨 뿐만 아니라 네트워크의 트래픽에 기초될 수 있다. 예를 들면, 접속(특히,인터넷 상의 TCP/IP 본위 네트워크 접속용)이 오버로드된다고 가정하면(스텝 305), 새로운 서버 또는 장치는 트래픽에 기초하여 선택될 수 있다(스텝 306). 이 판정은 RSVP(resource reservation protocols, 채널이 필요할 때, 접속은 관련된 서비스 품질의 적절한 보류에 따라 형성될 수 있다))와 같은 VoIP(Voice Over Internet Protocol)과 같은 종래의 프로토콜을 상부에 형성될 수 있다. 한편, 리모트 프로세싱은 실행되고(스텝 307), 결과는 전술한 바와 같이 복귀될 수 있다.
본 명세서에 설명한 시스템 및 방법은 다양한 음성 인에이블 대화형 응용 프로그램용으로 실행될 수 있다. 본 발명은 NLU/NLG 다이알로그 시스템 뿐만 아니라 내장되고 침투력 있는 컴퓨터 분야에서의 성장 요구를 일치시키는데 사용된다. 그러나, 본 발명은 내장된 시스템에 제한되지 않는 다양한 응용 프로그램용으로 전개될 수 있다. 다음 예시적인 실시예는 본 발명의 장점을 설명한다.
예를 들면, 스마트폰을 사용하여 상업적으로 사용가능한 내장 네임 다이얼러(예를 들어, PDA(personal digital assistant) 능력을 갖는 무선 전화)는 전형적인 응용 프로그램이다. 예를 들면, 클라이언트 장치(100)이 네임 다이얼러 로컬 응용 프로그램을 갖는 스마트폰이라고 가정한다. 사용자는 스마트폰의 전자 어드레스 북에서 목표한 이름 및 주소의 리스트를 로컬로 저장할 수 있다. 그 다음, 사용자는 "가능한 한정자(집, 사무실, 셀 폰)에서 이름과 성을 다이얼하라"라는 코맨드를 나타날 수 있고, 코맨드(로컬 대화형 엔진(102)을 통해서)의 인식/이해시, 스마트폰은 주소록(로컬 응용 프로그램(104)를 통해)에서 그 사람에 관련된 전화 번호를 자동적으로 다이얼할 수 있다. 한편, 이름이 주소록 내에 있지 않다(및 인식/이해되지 않음)고 나타내지만 더 큰 통합된(또는 대중적인) 디렉토리(리모트 서버(106)에 포함된 바와 같은) 내에 있을 때, 요구는 세이브되고(특징 또는 파형으로) 인식용으로 리모트 서버(106)에 전송한다. 그 다음, 다이얼링은 리모트 서버로부터의 적합한 정보를 수신할 때 리모트 서버 또는 스마트폰에 의해 바로 실행될 수 있다. 다른 예로,사용자는 제1 예에서 리모트 서버에 접속될 수 있고, 정보(화이트 또는 옐로우 페이지 형태의 서비스 경우에)용으로 추가 정보를 요구하거나 다이얼된 이름을 재요구하도록 다이알로그를 설정할 수 있다.
본 발명의 다른 사용 가능한 응용 프로그램은 상업적으로 사용가능한 PointCast(http://www.pointcast.com 참조)와 같은 개인 정보 시스템에 관한 것으로, 예를 들면 사용자가 소정의 사용자 즐겨 찾기에 기초하여 주식 시세, 주제 및 정보에 관한 특정 뉴스 및 주제의 최근 공개에 대한 정보를 얻도록 허용한다. 본 발명에 따라 구성된 개인 정보 시스템에 대해, 사용자가 주식(예를 들면, IBM) 또는 서브젝트(예를 들어, 켄트에서 녹색 콩의 생산을 예상)에 대한 정보를 얻기 원할 경우, 사용자는 클라이언트 장치(100)에 음성 요구를 나타낼 수 있다. "IBM"이 로컬 어휘(사용자 프로파일)에 있을 경우, 이것은 즉시 해독될 수 있고, 사용자는 예를 들면 업데이트(PointCast)에서 얻어진 최종 시세를 얻을 수 있다. 한편, "녹색 콩"으로 간주하는 사용자 요구가 로컬 클라이언트 장치(100)에 의해 이해되지 않을 경우, 요구는 자동적으로 리모트 서버(106 : 콘텐츠 프로바이더)에 대한 특징 스트림으로서 전송되고, 서버는 이러한 요구를 디코딩하여 많은 리소스를 더 투자하고 관련된 정보(어디든 가능한)로 회복된 다음, 이러한 정보를 로컬 시스템에 전송한다. 리모트 서버 시스템이 "푸시 접근"을 따르면, 이것은 다음 업데이트(예를 들면, Pointcast)에서 행해질수 있다.
또, 클라이언트 장치(100)는 예를 들어 대화형 카 내비게이션을 제공하는 음성 인에이블 PVA(personal vehivle assistant)일 수 있다. 예를 들어, 사용자가 시스템과 CD-ROM을 사용하기를 원하지 않을 때(공간 부족, 전력 요구, 하중, 비용,쇼크에 대한 저항 등으로 인해), 사용자는 현재 위치되고, 사용자가 최근에 위치되고, 사용자가 여행을 원하는 영역/배치에 관련된 어휘 및 맵과 같은 한정된 정보를 저장하도록 판정할 수 있다. 이 예에서, 사용자 요구가 로컬 어휘 및 맵 세트를 일치시키지 않을 때마다, 요구는 리모트 서버(106)에 자동적으로 전송되고, 사용자에게 여정, 카에 다운로드된 맵(또는 맵 업데이트)을 갖도록 디코드(서치를 좁히기 위해 사용자에게 역으로 프롬프트되더라도)될 수 있다. 다시, 이러한 활동은 로컬 로드가 최고이 필요할 때만 사용자에게 본질적으로 솔직해질 수 있다(고가로 다운로드되더라도).
또, NLU/FSG 시스템은 사용자 요구가 FSG(finite state grammar)를 요구할 경우, 요구는 더 복잡하고 자연적이지 않느한 로컬로 처리됨으로써, 인식용 리모트 서버로 전송하도록 요구한다.
통합 네임-다이얼러 서비스는 다른 흥미로운 특징을 제공한다. 통합은 고용인용 전화 번호의 실제 데이타베이스를 보유할 수 있다. 이들 데이타베이스는 항상 날짜까지이다. 주기적으로 사용자는 통합한 데이타베이스의 로컬 정보를 동기화시키도록 선택할 수 있다. 이것은 전형적인 개념이다. 그러나, 사용자가 네임 다이얼러를 활용하고 TCP/IP를 통해 서버에 접속할 필요가 있을 때, 동기화는 로컬 다이얼링 정보가 항상 업데이트되도록 인식 위상이 행해질 수 있다(음성시). 마찬가지로, 사용자가 사용자의 로컬 맵에 포함되지 않은 새로운 위치에 대한 내비게이션용 정보를 요구할 때, 시스템은 사용자가 여행하기 원하는 영역용 내비게이션 정보 세트 뿐만 아니라 로컬 PVA의 음향 정보를 다운로드할 수 있다.
또, 도 1의 시스템은 참조 문헌으로 본 명세서에 일반적으로 본 명세서에 기재된 "대화형 브라우저 및 대화형 시스템"인 동시에 제출된 IBM 문서 번호 Y0998-392P에 설명된 대화형 브라우저 시스템으로 실행될 수 있고, 시각 디스플레이의 HTML(hypertext markup language) 페이지에 대한 개념과 유사한 CML(conversational markup language) 페이지는 사용자에게 표시되는 대화형 UI를 설명하는데 사용된다. 이 예에서, 대화형 브라우저는 리모트(IVR) 서버(106)에서 클라이언트 장치(100)의 로컬 응용 프로그램(104) 및/또는 서버 응용 프로그램(109)일 수 있다. 이것은 사용자가 제공할 수 있는(예를 들여, 구술을 통해 채우도록 형태 또는 프리 형태의 NLU 또는 FSG) 소정의 항목이 모든 데이타를 로컬 인식용으로 클라이언트 장치(100)에 제공하기보다 서버(106)에 인식된다고 판정하기 위해 콘텐츠 프로바이더 또는 응용 프로그램 개발자(또는 프록시/트랜스코더)용으로 가능하다(작업이 로컬 리소스용으로로는 너무 복잡하거나, 너무 많은 정보가 네트워크를 통해 전송되기 때문에). 예를 들어, 이것은 프로세싱이 발생하는 서버를 표시하도록 CML 파일의 URL(균일 리소스로케이터) 및 태그를 제공하거나 오디오를 포획하고, 가능하게 일부 종래 기능을 실행하며 다른 기능(즉, 다른 페이지에 의해 형성된 전형적인 판정)용 다른 장치에 이것을 발송하는 CML 페이지에 애플렛, Active X 구성 요소 또는 플러그 인(또는 변경)을 로딩함으로써 행해질 수 있다. 이 판정은 IBM 문서 번호 Y0998-392P에 설명한 바와 같은 트랜스코더 및 등록 메카니즘을 자동적으로 실행할 수 있고, 브라우저는 CML 페이지를 페치(fetch)하는 서버의 능력을 명백하게 설명한다. 트랜스코더가 브라우저의 능력을 추가로 고려하고 이러한 능력(이 능력은 대화형 프록시라 칭해진다)에 대한 내용을 적용하는데 사용될 때, 트랜스코더는 브라우저 능력에 기초하여 서버를 재지향하도록 서버 URL을 추가할 수 있다. 이러한 경우에, 클라이언트 장치(100)에 의해 수집된 음성은 인식이 발생하는(또는 NLU/NLG) 리모트 서버(106) 또는 네트워크된 서버(110) 중 하나에 파형(압축되거나 아니거나) 또는 특징의 스트림으로서 전송될 수 있다. 그 다음, 인식 결과는 다음 코스의 동작 또는 프로세싱을 판정하기 위해 클라이언트 장치(100) 또는 CML 프로바이더 서버(리모트 서버(106))으로 역으로 전송될 수 있다. 전술한 바와 같이, 이것은 제공된 입력, 메뉴 형태 또는 다이알로그의 인식용으로 사용되는 리소스/엔진/서버 또는 로컬 장치의 URL를 직접적으로 구체화하는 응용 프로그램에 의해 판정될 수 있다. 또, 본 발명은 CML 페이지가 로컬 장치(102)의 로컬 대화형 엔진(102)용으로 더 복잡해서 사운드 또는 텍스트를 재생/합성해야 하는 환경에서 사용된다. 너무 복잡한 부분은 특정 서버(CML 페이지를 제공한 서버이거나 아니거나)로부터의 특징 스트림 또는 압축된 파형으로서 얻어질 수 있다. 또, 복수의 언어 시스템에 대해, CML 페이지가 다른 언어를 포함할 경우, 적합한 능력이 없는 로컬 클라이언트 장치(100)는 이 언어의 대화형 기능을 실행하도록 리모트 서버를 요구할 수 있다.
대화형 조정은 대화형 브라우저에 대한 분산 응용 프로그램에 사용될 수 있다. 예를 들면, 도 4를 참조하여, 분산된 시스템은 프리젠테이션 서버(400), 엔진 서버(401), 대화형 브라우저(403 : 참조된 Y0998-392P에 설명한 바와 같이)를 갖는 클라이언트(402)를 갖는다. 브라우저(403)는 프리젠테이션 서버(400)로부터 CML의페이지를 수신하고, CML 페이지를 처리한다. CML 페이지는 브라우저(403)가 처리용 음성을 전송하는 것을 판정하도록 허용한 정보를 포함할 수 있다. 음성 서버는 엔진 서버(401)에 배치된다. CML 페이지가 엔진 서버(401)에 의한 음성의 처리를 요구한다고 가정하면, 브라우저(403)는 음성 서버에 오디오를 발송하고 적합한 데이타 파일 명령 및 엔진 호출을 전송하기 위해 HTTP(또는 숏컷 또는 RMI)를 통해 음성 서버에 통신(호출 전송)할 수 있다. 클라이언트의 브라우저(403)는 음성 처리(음성 API 및 음성 인식 엔진(405)를 통해)를 실행하기 위해 소정의 로컬 프로세싱 능력을 갖는다고 가정된다. 전술한 바와 같이, 로컬 음성 프로세싱과 서버측 음성 프로세싱간의 시프트는 프리젠테이션 서버(400)로부터 수신된 CML 페이지에 의해 판정된다. 이 판정은 콘텐츠 프로바이더 또는 장치에 대한 어댑트에 의해 코드될 수 있다(클라이언트(402)는 작업을 실행하여 공지되거나 발견된 서버 또는 트랜스코더에 이것을 전송한다).
도 5에서, 브라우저(403)는 클라이언트(402)에 의해 억세스된 브라우저 서버(404)에 배치된다(브라우저 서버(404)는 클라이언트(402)와 프리젠테이션 서버(400) 사이의 중개자로서 작용한다). 또, 브라우저(403)는 로컬 도는 서버측 프로세싱을 실행하는지를 판정한다. 오디오는 본 명세서에서 설명한 바와 같이 대화형 코딩을 사용하여 발송될 수 있다.
본 발명은 더 복잡한 대화 능력을 갖는 서버(또는 다른 장치)와 이진 또는 아날로그 접속한 복잡한 작업 뿐만 아니라 로컬로 간단한 작업을 명백하게 실행하도록 작은 리소스 클라이언트 장치를 허용한다. 서버측 기능(음성 인식과 같은)은조애 전화선 또는 패킷 스위치된 네트워크상의 디지탈 전송을 통해 또는 무선 네트워크상의 종래의 무선 데이타 프로토콜을 통해서 뿐만 아니라 일반적인 IP 네트워크 또는 LAN 네트워크를 통해 실행될 수 있다. 아날로그/디지탈 접속 실시예는 적어도 2개의 시나리오를 설명한다. 먼저, 이것은 동등한 모뎀으로 실행된 이진접속이고, 모든 기능은 데이타 전송 기능이다. 또, 서버/분산 리소스가 포함될 때, 시스템은 리소스로서 전화 서버를 호출할 수 있고, 음성은 네트워크에 전송된다(이것의 파형 또는 변형 날짜 대신에 예컨대, 셉스트라). 이러한 시나리오의 예는 인터넷을 브라우징하는 음성과 같은 다른 기능의 IVR을 갖는 전화 서버에 대한 일반적인 무선 접속을 통해 접속되어 쇼크/수동 펀드 인용구를 얻고 음성에 의한 은행 거래를 실행하는 로컬 음성 인식 기능(네임 다이얼러 및 디지트 다이얼러)을 갖는 무선 접속이다. 이 메카니즘은 장치의 소정의 음성인식 능력으로 장착된 기존의 셀 전화로 오늘날 사용될 수 있다.
또, 다양한 메카니즘은 네트워크 양단의 대화형 상호 작용의 적합한 다이알로그 흐름을 보장하기 위해 네트워크 양단에 분산된 트래픽 및 리소스를 관리하는데 사용될 수 있다. 이러한 메카니즘은 대화형 프로토콜(전술한 바와 같은), 오디오 : RecoVC(Recognition Compatible VoCoder)(재생용 재구성을 허용하는 피치를 갖는 코딩 프로토콜), 응용 프로그램 및 메타 정보:다이알로그 흐름을 유지하기 위해 분산된 응용 프로토콜, 디스커버리, 등록, 내비게이션, 서버 로드 관리, 다이알로그 흐름을 유지하는 트래픽 조정 및 라우팅, 작업 특징 및 능력 요구 및 대화형 개요 효율성(데이타 파일)에 기초한 엔진 서버 선택, 대화 개요 분산: 저장, 트래픽/라우팅 및 캐싱을 포함한다.
전술한 실시예가 첨부하는 도면을 참조하여 여기에 설명되었을지라도, 본 시스템 및 방법이 이들 정확한 실시예에 한정되지 않고, 다양한 다른 변경 및 수정은 본 발명의 범위 또는 정신으로부터 빗나가지 않고 해당 기술의 당업자에 의해 여기에 영향을 미칠 수 있다고 이해된다. 모든 이러한 변경 및 수정은 첨부하는 청구항에 의해 한정될 때 본 발명의 범위 내에서 포함되도록 의도된다.

Claims (24)

  1. 대화원을 자동적으로 협동 공유하는 시스템으로서,
    적어도 제1 네트워크 장치 및 제2 네트워크 장치를 구비하는 네트워크를 구비하고,
    상기 제1 네트워크 장치 및 상기 제2 네트워크 장치는,
    한 세트의 대화원과;
    대화를 관리하고 대화 서비스를 요구하는 호출을 실행하기 위한 다이알로그 관리자와;
    상기 네트워크를 통해 대화 프로토콜을 사용하여 메시지를 통신하기 위한 통신 스택을 각각 구비하며,
    상기 대화 프로토콜을 사용하여 통신된 메시지는 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 다이알로그 관리자간에 협동 네트워크 통신을 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 상기 대화원 세트와 자동적으로 공유하도록 설정하는 대화원 자동 공유 시스템.
  2. 제1항에 있어서, 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 대화원 세트는 적어도 하나의 음성 인식 엔진, 화자 인식 엔진, 문자-음성 합성(TTS)엔진, 자연어 인식 엔진(NLU), 자연어 생성 엔진(NLG), 음성 포착 및 압축/해제 엔진, 주제 인식 엔진, 오디오/멀티미디어 인덱싱 및 검색 엔진, 및 그들의 조합을포함하는 대화원 자동 공유 시스템.
  3. 제1항에 있어서, 대화 프로토콜은 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 다이알로그 관리자가 각각의 대화 상태, 개요 및 구문을 구비하는 정보를 교환하고 다이알로그 요소를 교환하도록 허용하는 조정 프로토콜을 포함하는 대화원 자동 공유 시스템.
  4. 제3항에 있어서, 조정 프로토콜은 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치의 다이알로그 관리자간에 매스터/슬레이브 및 P2P(peer-to-peer) 네트워크 통신 중 하나를 조정하는 대화원 공유 시스템.
  5. 제1항에 있어서, 대화 프로토콜은 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치가 네트워크의 대화형 인식 장치 및 응용 프로그램을 발견하도록 허용하는 디스커버리 프로토콜을 포함하는 대화원 공유 시스템.
  6. 제5항에 있어서, 디스커버리 프로토콜은 방법론을 구현하고 "방송 및 청취"하는 대화원 공유 시스템.
  7. 제6항에 있어서, 디스커버리 프로토콜은 적어도 상기 제1 네트워크 장치 및 상기 제2 네트워크 장치간에 다이나믹 및 자발성 네트워크를 설정하기 위해 구현되는 대화원 공유 시스템.
  8. 제1항에 있어서, 대화 프로토콜은 대화원, 능력 및 요구 사항에 관한 정보를 교환하기 위해 등록 프로토콜을 포함하는 대화원 공유 시스템.
  9. 제8항에 있어서, 대화 프로토콜은 각각의 대화원 및 능력에 기초한 상기 제1 네트워크 장치 및 제2 네트워크 장치간에 네트워크 구성을 설정하도록 정보를 교환하기 위해 협상 프로토콜을 포함하는 대화원 공유 시스템.
  10. 제9항에 있어서, 네트워크 구성은 매스터/슬레이브 네트워크 중 하나를 포함하고, 상기 제1 네트워크 장치 및 제2 네트워크 장치 중 하나의 다이알로그 관리자는 상기 제1 네트워크 장치 및 제2 네트워크 장치 및 P2P 네트워크 모두의 대화원을 제어하고, 상기 제1 네트워크 장치 및 제2 네트워크 장치의 다이알로그 관리자는 대화원을 제어하기 위해 협상하는 대화원 공유 시스템.
  11. 제1항에 있어서, 대화 프로토콜은 상기 제1 네트워크 장치 및 제2 네트워크 장치간에 압축 음성 파형, 압축 음성 특성 및 압축 결과 중 하나를 전송하기 위한 음성 전송 프로토콜을 포함하는 대화원 공유 시스템.
  12. 대화원을 자동적으로 협동 공유하는 시스템으로서,
    로컬 대화원을 관리하고, 대화 서비스를 위한 요구를 처리하고 대화 서비스를 위한 요구가 상기 로컬 대화원을 사용하여 수행될 수 있는 경우를 판정하기 위한 상기 로컬 대화원 및 다이알로그 관리자을 구비하는 클라이언트와,
    서버 대화원을 구비하는 서버를 포함하고,
    상기 클라이언트의 다이알로그 관리자는 상기 요구된 대화 서비스가 로컬 대화원을 사용하여 수행될 수 없는 경우 상기 서버 대화원을 사용하여 요구를 처리하기 위해 상기 서버에 자동적으로 억세스하는 대화원 자동 공유 시스템.
  13. 네트워크 장치간에 대화원을 자동적으로 협동 공유하기 위한 방법으로서,
    제1 네트워크 장치에 의해 대화 서비스에 대한 요구를 수신하는 단계와,
    상기 제1 네트워크 장치의 대화원을 로컬하게 사용하거나 적어도 제2 네트워크 장치의 대화원을 리모트로 사용하거나 상기 로컬 대화원 및 리모트 대화원 모두를 로컬 및 리모트로 사용하는 것 중 하나인 상기 요구된 대화 서비스 처리 여부를 상기 제1 네트워크 장치에 의해 판정하는 단계와,
    상기 대화 서비스가 적어도 상기 제2 네트워크 장치의 대화원을 사용하여 리모트로 적어도 일부를 처리할 것을 판정하는 경우 상기 적어도 제2 네트워크 장치와 자동적으로 통신하는 단계를 포함하는 방법.
  14. 제13항에 있어서, 대화원을 공유 하기 위한 상기 제1 네트워크 장치 및 적어도 제2 네트워크 장치간에 협동 네트워크 통신을 설정하도록 대화 프로토콜을 사용하여 메시지를 전송하는 단계를 더 포함하는 방법.
  15. 제13항에 있어서, 상기 판정 단계는 로컬 대화원이 요구된 대화 서비스를 처리 가능한지 여부를 판정하기 위한 단계를 구비하고,
    상기 로컬 대화원이 상기 대화 서비스를 처리 가능하다고 판정한 경우 상기 로컬 대화원을 사용하여 상기 요구된 대화 서비스를 실행하는 단계와,
    상기 로컬 처리의 결과가 수용할 수 있는 지를 판정하는 단계와,
    상기 로컬 처리의 결과가 수용될 수 없는 경우 상기 요구된 대화 서비스를 리모트로 처리하도록 상기 적어도 제2 네트워크 장치에 자동적으로 억세스하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서, 상기 판정 단계는 상기 적어도 제2 네트워크 장치가 상기 제1 네트워크 장치에 의해 상기 대화 서비스를 처리하도록 사전 지정되었는지 여부를 판정하는 단계를 포함하는 방법.
  17. 제13항에 있어서, 상기 판정 단계는 상기 제1 네트워크 장치 및 상기 적어도 제2 네트워크 장치간에 네트워크 연결 가능성 및 네트워크 트래픽 중 하나를 기초하는 방법.
  18. 제14항에 있어서, 상기 자동 억세스 단계는 상기 대화 프로토콜을 사용하여메시지를 전송함으로써 상기 적어도 제2 네트워크 장치와 네트워크 연결을 자동적으로 설정하는 단계와,
    압축 음성 특성 및 압축 파형 중 하나를 상기 적어도 제2 네트워크 장치 중 하나로 전송하는 단계를 포함하는 방법.
  19. 장치에 의해 판독가능한 프로그램 스토리지 장치로서,
    네트워크 장치간에 대화원을 자동으로 협동 공유하기 위한 방법을 수행하도록 상기 장치에 의해 실행할 수 있는 프로그램의 명령을 가시적으로 구현하고,
    상기 방법은,
    제1 네트워크 장치에 의해 대화 서비스를 위한 요구를 수신하는 단계와,
    상기 제1 네트워크 장치의 대화원을 로컬하게 사용하거나 적어도 제2 네트워크 장치의 대화원을 리모트로 사용하거나 상기 로컬 대화원 및 리모트 대화원 모두를 로컬 및 리모트로 사용하는 것 중 하나인 상기 요구된 대화 서비스 처리 여부를 상기 제1 네트워크 장치에 의해 판정하는 단계와,
    상기 대화 서비스가 적어도 상기 제2 네트워크 장치의 대화원을 사용하여 리모트로 적어도 일부를 처리할 것을 판정하는 경우 상기 적어도 제2 네트워크 장치와 자동적으로 통신하는 단계를 포함하는 프로그램 스토리지 장치.
  20. 제19항에 있어서, 대화원을 공유하기 위한 상기 제1 네트워크 장치 및 상기 적어도 제2 네트워크 장치간에 협동 네트워크 통신을 설정하도록 대화 프로토콜에따라 메시지를 전송하는 단계를 수행하는 명령어를 더 포함하는 프로그램 스토리지 장치.
  21. 제19항에 있어서, 상기 판정 단계를 수행하는 명령어는 로컬 대화원이 상기 요구된 대화 서비스를 처리 가능한지 여부를 판정하기 위한 명령어를 포함하고,
    상기 프로그램 스토리지 장치는
    상기 로컬 대화원이 상기 요구된 대화 서비스를 처리 가능하다고 판정된 경우 상기 로컬 대화원을 사용하여 상기 요구된 대화 서비스를 실행하는 단계와,
    상기 로컬 처리의 결과가 수용할 수 있는 지를 판정하는 단계와,
    상기 로컬 처리의 결과가 수용될 수 없는 경우 상기 요구된 대화 서비스를 리모트로 처리하도록 상기 적어도 제2 네트워크 장치에 자동적으로 억세스하는 단계를 수행하기 위한 명령어를 더 포함하는 프로그램 스토리지 장치.
  22. 제19항에 있어서, 상기 판정 단계를 수행하기 위한 명령어는 상기 적어도 제2 네트워크 장치가 상기 대화 서비스를 처리하도록 상기 제1 네트워크 장치에 의해 사전 지정되었는지를 판정하는 단계를 수행하기 위한 명령어를 포함하는 방법.
  23. 제19항에 있어서, 상기 판정 단계는 상기 제1 네트워크 장치 및 상기 적어도 제2 네트워크 장치간에 네트워크 연결 가능성 및 네트워크 트래픽 중 하나를 기초하는 프로그램 스토리지 장치.
  24. 제20항에 있어서, 상기 자동 억세스 단계를 수행하기 위한 명령어는 상기 대화 프로토콜을 사용하여 상기 적어도 제2 네트워크 장치와 네트워크 연결을 자동적으로 설정하는 단계와,
    압축 음성 특성 및 압축 파형 중 하나를 상기 적어도 제2 네트워크 장치 중 하나로 전송하는 단계를 수행하는 명령어를 포함하는 방법.
KR10-2001-7004207A 1998-10-02 1999-10-01 네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법 KR100430953B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10295798P 1998-10-02 1998-10-02
US60/102,957 1998-10-02
US11759599P 1999-01-27 1999-01-27
US60/117,595 1999-01-27

Publications (2)

Publication Number Publication Date
KR20010075552A true KR20010075552A (ko) 2001-08-09
KR100430953B1 KR100430953B1 (ko) 2004-05-12

Family

ID=26799924

Family Applications (4)

Application Number Title Priority Date Filing Date
KR10-2001-7004228A KR100459299B1 (ko) 1998-10-02 1999-10-01 대화식 브라우저 및 대화식 시스템
KR10-2001-7002798A KR100431972B1 (ko) 1998-10-02 1999-10-01 통상의 계층 오브젝트를 사용한 효과적인 음성네비게이션용 뼈대 구조 시스템
KR1020017004223A KR100620826B1 (ko) 1998-10-02 1999-10-01 대화형 컴퓨팅 시스템 및 방법, 대화형 가상 머신, 프로그램 저장 장치 및 트랜잭션 수행 방법
KR10-2001-7004207A KR100430953B1 (ko) 1998-10-02 1999-10-01 네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR10-2001-7004228A KR100459299B1 (ko) 1998-10-02 1999-10-01 대화식 브라우저 및 대화식 시스템
KR10-2001-7002798A KR100431972B1 (ko) 1998-10-02 1999-10-01 통상의 계층 오브젝트를 사용한 효과적인 음성네비게이션용 뼈대 구조 시스템
KR1020017004223A KR100620826B1 (ko) 1998-10-02 1999-10-01 대화형 컴퓨팅 시스템 및 방법, 대화형 가상 머신, 프로그램 저장 장치 및 트랜잭션 수행 방법

Country Status (10)

Country Link
US (4) US7418382B1 (ko)
EP (4) EP1125279B1 (ko)
JP (4) JP3703082B2 (ko)
KR (4) KR100459299B1 (ko)
CN (4) CN1160700C (ko)
AT (1) ATE383640T1 (ko)
CA (4) CA2345661A1 (ko)
DE (1) DE69937962T2 (ko)
IL (5) IL142363A0 (ko)
WO (4) WO2000020962A2 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130097513A (ko) * 2012-02-24 2013-09-03 엘지전자 주식회사 음성 인식 결과에 따라 데이터베이스에 액세스하는 멀티미디어 디바이스 및 그 제어 방법
KR20140080717A (ko) * 2012-12-14 2014-07-01 한국전자통신연구원 태스크 그래프 기반 대화 처리 시스템의 태스크 그래프 구축 장치 및 방법
KR20160147950A (ko) * 2014-04-29 2016-12-23 구글 인코포레이티드 분산 광학 문자 인식 및 분산 기계 언어번역을 위한 기법들
KR20170121272A (ko) * 2010-01-15 2017-11-01 아브 이니티오 테크놀로지 엘엘시 데이터 쿼리 관리
KR20170137285A (ko) * 2016-06-03 2017-12-13 주식회사 허브케이 판독／입력 오류 단어 정정 장치 및 방법
WO2018026200A1 (en) * 2016-08-02 2018-02-08 Hyperconnect, Inc. Language translation device and language translation method
KR20190046623A (ko) * 2017-10-26 2019-05-07 가부시키가이샤 히타치세이사쿠쇼 자기-학습 자연 언어 이해를 갖는 다이얼로그 시스템

Families Citing this family (684)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000020962A2 (en) * 1998-10-02 2000-04-13 International Business Machines Corporation Conversational computing via conversational virtual machine
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
US6163794A (en) * 1998-10-23 2000-12-19 General Magic Network system extensible by users
US6886047B2 (en) * 1998-11-13 2005-04-26 Jp Morgan Chase Bank System and method for managing information retrievals for integrated digital and analog archives on a global basis
FR2787902B1 (fr) * 1998-12-23 2004-07-30 France Telecom Modele et procede d'implementation d'un agent rationnel dialoguant, serveur et systeme multi-agent pour la mise en oeuvre
AU6630800A (en) 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US7330815B1 (en) * 1999-10-04 2008-02-12 Globalenglish Corporation Method and system for network-based speech recognition
US6665640B1 (en) 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
ATE471647T1 (de) 1999-12-06 2010-07-15 Ericsson Telefon Ab L M Intelligente herstellung von piconets
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
US20010043234A1 (en) * 2000-01-03 2001-11-22 Mallik Kotamarti Incorporating non-native user interface mechanisms into a user interface
US7934206B2 (en) * 2000-02-11 2011-04-26 Convergent Networks, Inc. Service level executable environment for integrated PSTN and IP networks and call processing language therefor
WO2003050799A1 (en) * 2001-12-12 2003-06-19 International Business Machines Corporation Method and system for non-intrusive speaker verification using behavior models
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
WO2001086896A1 (en) * 2000-05-05 2001-11-15 James Ewing A method and a system relating to protocol communications within a pre-existing www server framework
US6769010B1 (en) * 2000-05-11 2004-07-27 Howzone.Com Inc. Apparatus for distributing information over a network-based environment, method of distributing information to users, and method for associating content objects with a database wherein the content objects are accessible over a network communication medium by a user
FR2809204B1 (fr) * 2000-05-17 2003-09-19 Bull Sa Interface applicative multiprosseur, ne necessitant pas l'utilisation d'un systeme d'exploitation multiprocesseur
US7039951B1 (en) 2000-06-06 2006-05-02 International Business Machines Corporation System and method for confidence based incremental access authentication
US7047196B2 (en) 2000-06-08 2006-05-16 Agiletv Corporation System and method of voice recognition near a wireline node of a network supporting cable television and/or video delivery
CA2689656A1 (en) * 2000-06-16 2001-12-16 Bayer Healthcare Llc System, method and biosensor apparatus for data communications with a personal data assistant
US6654722B1 (en) * 2000-06-19 2003-11-25 International Business Machines Corporation Voice over IP protocol based speech system
US6788667B1 (en) * 2000-06-20 2004-09-07 Nokia Corporation Wireless access to wired network audio services using mobile voice call
WO2002005153A2 (en) * 2000-07-07 2002-01-17 2020Me Holdings Ltd. System, method and medium for facilitating transactions over a network
US7139709B2 (en) 2000-07-20 2006-11-21 Microsoft Corporation Middleware layer between speech related applications and engines
EP1376418B1 (en) * 2000-08-31 2006-12-27 Hitachi, Ltd. Service mediating apparatus
US6785651B1 (en) * 2000-09-14 2004-08-31 Microsoft Corporation Method and apparatus for performing plan-based dialog
US20020059072A1 (en) * 2000-10-16 2002-05-16 Nasreen Quibria Method of and system for providing adaptive respondent training in a speech recognition application
US7594030B2 (en) 2000-11-22 2009-09-22 Microsoft Corporation Locator and tracking service for peer to peer resources
US7072982B2 (en) 2000-11-22 2006-07-04 Microsoft Corporation Universal naming scheme for peer to peer resources
DE50011222D1 (de) * 2000-12-04 2005-10-27 Siemens Ag Verfahren zum Nutzen einer Datenverarbeitungsanlage abhängig von einer Berechtigung, zugehörige Datenverarbeitungsanlage und zugehöriges Programm
US7016847B1 (en) * 2000-12-08 2006-03-21 Ben Franklin Patent Holdings L.L.C. Open architecture for a voice user interface
GB0030958D0 (en) * 2000-12-19 2001-01-31 Smart Card Solutions Ltd Compartmentalized micro-controller operating system architecture
DE10064661A1 (de) * 2000-12-22 2002-07-11 Siemens Ag Kommunikationsanordnung und Verfahren für Kommunikationssysteme mit interaktiver Sprachfunktion
JP3322262B2 (ja) * 2000-12-22 2002-09-09 日本電気株式会社 無線携帯端末通信システム
FI20002860A (fi) * 2000-12-27 2002-06-28 Nokia Corp Laiteroolit ja pikoverkkoyhteydet
US6925645B2 (en) * 2000-12-29 2005-08-02 Webex Communications, Inc. Fault tolerant server architecture for collaborative computing
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7461148B1 (en) * 2001-02-16 2008-12-02 Swsoft Holdings, Ltd. Virtual private server with isolation of system components
EP1233590A1 (en) * 2001-02-19 2002-08-21 Sun Microsystems, Inc. Content provider for a computer system
US7606909B1 (en) * 2001-02-20 2009-10-20 Michael Ely Method and apparatus for a business contact center
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
EP1405169B1 (en) 2001-03-22 2006-11-15 Canon Kabushiki Kaisha Information processing apparatus and method, and program product
US7174514B2 (en) * 2001-03-28 2007-02-06 Siebel Systems, Inc. Engine to present a user interface based on a logical structure, such as one for a customer relationship management system, across a web site
US6996531B2 (en) * 2001-03-30 2006-02-07 Comverse Ltd. Automated database assistance using a telephone for a speech based or text based multimedia communication mode
FR2822994B1 (fr) * 2001-03-30 2004-05-21 Bouygues Telecom Sa Assistance au conducteur d'un vehicule automobile
CA2344904A1 (en) * 2001-04-23 2002-10-23 Bruno Richard Preiss Interactive voice response system and method
US7437295B2 (en) 2001-04-27 2008-10-14 Accenture Llp Natural language processing for a location-based services system
US7698228B2 (en) 2001-04-27 2010-04-13 Accenture Llp Tracking purchases in a location-based services system
US7610547B2 (en) * 2001-05-04 2009-10-27 Microsoft Corporation Markup language extensions for web enabled recognition
US7020841B2 (en) 2001-06-07 2006-03-28 International Business Machines Corporation System and method for generating and presenting multi-modal applications from intent-based markup scripts
US7366673B2 (en) * 2001-06-15 2008-04-29 International Business Machines Corporation Selective enablement of speech recognition grammars
US7606712B1 (en) * 2001-06-28 2009-10-20 At&T Intellectual Property Ii, L.P. Speech recognition interface for voice actuation of legacy systems
US7647597B2 (en) * 2001-06-28 2010-01-12 Microsoft Corporation Transparent and sub-classable proxies
US6839896B2 (en) * 2001-06-29 2005-01-04 International Business Machines Corporation System and method for providing dialog management and arbitration in a multi-modal environment
JP3997459B2 (ja) * 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US7233655B2 (en) 2001-10-03 2007-06-19 Accenture Global Services Gmbh Multi-modal callback
US7441016B2 (en) 2001-10-03 2008-10-21 Accenture Global Services Gmbh Service authorizer
US7324947B2 (en) 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7472091B2 (en) 2001-10-03 2008-12-30 Accenture Global Services Gmbh Virtual customer database
ATE335354T1 (de) * 2001-10-03 2006-08-15 Accenture Global Services Gmbh Mehrfachmodales nachrichtenübertragungsrückrufsystem mit dienstauthorisierer und virtueller kundendatenbank
EP1708470B1 (en) * 2001-10-03 2012-05-16 Accenture Global Services Limited Multi-modal callback system
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7222073B2 (en) 2001-10-24 2007-05-22 Agiletv Corporation System and method for speech activated navigation
US7133830B1 (en) 2001-11-13 2006-11-07 Sr2, Inc. System and method for supporting platform independent speech applications
US8498871B2 (en) * 2001-11-27 2013-07-30 Advanced Voice Recognition Systems, Inc. Dynamic speech recognition and transcription among users having heterogeneous protocols
US20030101054A1 (en) * 2001-11-27 2003-05-29 Ncc, Llc Integrated system and method for electronic speech recognition and transcription
GB2388209C (en) * 2001-12-20 2005-08-23 Canon Kk Control apparatus
US7302394B1 (en) * 2001-12-20 2007-11-27 Ianywhere Solutions, Inc. Front-end device independence for natural interaction platform
US20060168095A1 (en) * 2002-01-22 2006-07-27 Dipanshu Sharma Multi-modal information delivery system
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6704396B2 (en) 2002-02-27 2004-03-09 Sbc Technology Resources, Inc. Multi-modal communications method
US20030187944A1 (en) * 2002-02-27 2003-10-02 Greg Johnson System and method for concurrent multimodal communication using concurrent multimodal tags
US6807529B2 (en) * 2002-02-27 2004-10-19 Motorola, Inc. System and method for concurrent multimodal communication
GB0204768D0 (en) * 2002-02-28 2002-04-17 Mitel Knowledge Corp Bimodal feature access for web applications
FR2840484B1 (fr) * 2002-05-28 2004-09-03 France Telecom Protocole de communication entre un module d'application vocale et une plate-forme vocale dans un serveur vocal
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7822609B2 (en) 2002-06-14 2010-10-26 Nuance Communications, Inc. Voice browser with integrated TCAP and ISUP interfaces
KR20040002031A (ko) * 2002-06-29 2004-01-07 주식회사 케이티 다수의 응용프로그램들간의 음성인식엔진 공유 방법
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
US7809578B2 (en) * 2002-07-17 2010-10-05 Nokia Corporation Mobile device having voice user interface, and a method for testing the compatibility of an application with the mobile device
US20040054757A1 (en) * 2002-09-14 2004-03-18 Akinobu Ueda System for remote control of computer resources from embedded handheld devices
US7519534B2 (en) 2002-10-31 2009-04-14 Agiletv Corporation Speech controlled access to content on a presentation medium
US8793127B2 (en) 2002-10-31 2014-07-29 Promptu Systems Corporation Method and apparatus for automatically determining speaker characteristics for speech-directed advertising or other enhancement of speech-controlled devices or services
CN1720520B (zh) * 2002-12-02 2010-05-05 索尼株式会社 对话控制设备和方法,以及机器人设备
KR20040051285A (ko) * 2002-12-12 2004-06-18 삼성전자주식회사 애플릿이 링크된 마크업 문서의 디스플레이 방법 및 그시스템
US7822612B1 (en) * 2003-01-03 2010-10-26 Verizon Laboratories Inc. Methods of processing a voice command from a caller
US7673304B2 (en) 2003-02-18 2010-03-02 Microsoft Corporation Multithreaded kernel for graphics processing unit
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US7249025B2 (en) * 2003-05-09 2007-07-24 Matsushita Electric Industrial Co., Ltd. Portable device for enhanced security and accessibility
EP1631899A4 (en) * 2003-06-06 2007-07-18 Univ Columbia SYSTEM AND METHOD FOR LANGUAGE ACTIVATION OF WEB SITES
EP1654806A4 (en) 2003-06-26 2007-01-17 Agile Tv Corp NULL SEARCH, NULL MEMORY VECTOR QUANTIZATION
US7313528B1 (en) * 2003-07-31 2007-12-25 Sprint Communications Company L.P. Distributed network based message processing system for text-to-speech streaming data
US7383302B2 (en) * 2003-09-15 2008-06-03 International Business Machines Corporation Method and system for providing a common collaboration framework accessible from within multiple applications
US7428273B2 (en) 2003-09-18 2008-09-23 Promptu Systems Corporation Method and apparatus for efficient preamble detection in digital data receivers
US7249348B2 (en) * 2003-10-21 2007-07-24 Hewlett-Packard Development Company, L.P. Non-interfering status inquiry for user threads
US7199802B2 (en) * 2003-10-24 2007-04-03 Microsoft Corporation Multiple-mode window presentation system and process
US7856632B2 (en) * 2004-01-29 2010-12-21 Klingman Edwin E iMEM ASCII architecture for executing system operators and processing data operators
US20050229185A1 (en) * 2004-02-20 2005-10-13 Stoops Daniel S Method and system for navigating applications
US7904059B2 (en) * 2004-02-25 2011-03-08 Sk Telecom Co., Ltd. Method and mobile terminal for implementing vector animation interactive service on mobile phone browser
US7925510B2 (en) * 2004-04-28 2011-04-12 Nuance Communications, Inc. Componentized voice server with selectable internal and external speech detectors
US7596788B1 (en) * 2004-05-11 2009-09-29 Platform Computing Corporation Support of non-trivial scheduling policies along with topological properties
US20050289265A1 (en) * 2004-06-08 2005-12-29 Daniel Illowsky System method and model for social synchronization interoperability among intermittently connected interoperating devices
US7814502B2 (en) * 2004-06-14 2010-10-12 Nokia Corporation Shared landmark user interfaces
KR100627228B1 (ko) * 2004-07-01 2006-09-25 에스케이 텔레콤주식회사 기업용 무선 어플리케이션 서비스를 위한 전용 브라우저시스템 및 그 운영방법
US7398471B1 (en) * 2004-07-29 2008-07-08 Emc Corporation System and method for the administration of resource groups
FI20041075A0 (fi) 2004-08-12 2004-08-12 Nokia Corp Tiedon lähettäminen ryhmälle vastaanottolaitteita
US8744852B1 (en) * 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
US7693719B2 (en) * 2004-10-29 2010-04-06 Microsoft Corporation Providing personalized voice font for text-to-speech applications
US8706501B2 (en) * 2004-12-09 2014-04-22 Nuance Communications, Inc. Method and system for sharing speech processing resources over a communication network
US7640162B2 (en) * 2004-12-14 2009-12-29 Microsoft Corporation Semantic canvas
KR100654447B1 (ko) * 2004-12-15 2006-12-06 삼성전자주식회사 지역별로 존재하는 컨텐츠를 글로벌로 공유하고 거래하는방법 및 시스템
US7987244B1 (en) * 2004-12-30 2011-07-26 At&T Intellectual Property Ii, L.P. Network repository for voice fonts
KR100725719B1 (ko) * 2005-02-04 2007-06-08 주식회사 유진로봇 음성과 태스크 오브젝트 기반의 대화시스템
US7490042B2 (en) * 2005-03-29 2009-02-10 International Business Machines Corporation Methods and apparatus for adapting output speech in accordance with context of communication
US9111253B2 (en) * 2005-04-22 2015-08-18 Sap Se Groupware time tracking
US20060271520A1 (en) * 2005-05-27 2006-11-30 Ragan Gene Z Content-based implicit search query
US7689253B2 (en) 2005-06-13 2010-03-30 E-Lane Systems, Inc. Vehicle immersive communication system
US8090084B2 (en) * 2005-06-30 2012-01-03 At&T Intellectual Property Ii, L.P. Automated call router for business directory using the world wide web
JP4667138B2 (ja) * 2005-06-30 2011-04-06 キヤノン株式会社 音声認識方法及び音声認識装置
US7640160B2 (en) * 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
WO2007027989A2 (en) 2005-08-31 2007-03-08 Voicebox Technologies, Inc. Dynamic speech sharpening
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
US9009046B1 (en) * 2005-09-27 2015-04-14 At&T Intellectual Property Ii, L.P. System and method for disambiguating multiple intents in a natural language dialog system
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7708196B2 (en) * 2005-10-05 2010-05-04 Dun And Bradstreet Corporation Modular web-based ASP application for multiple products
US8041800B2 (en) * 2005-11-08 2011-10-18 International Business Machines Corporation Automatic orchestration of dynamic multiple party, multiple media communications
US20070124142A1 (en) * 2005-11-25 2007-05-31 Mukherjee Santosh K Voice enabled knowledge system
US9215748B2 (en) 2005-11-28 2015-12-15 Canon Kabushiki Kaisha Communication apparatus, control method for communication apparatus, and communication system
JP4829600B2 (ja) * 2005-11-28 2011-12-07 キヤノン株式会社 通信装置及び通信装置の制御方法
JP2007164732A (ja) * 2005-12-16 2007-06-28 Crescent:Kk コンピュータ実行可能なプログラム、および情報処理装置
DE102005061365A1 (de) * 2005-12-21 2007-06-28 Siemens Ag Verfahren zur Ansteuerung zumindest einer ersten und zweiten Hintergrundapplikation über ein universelles Sprachdialogsystem
CN100382083C (zh) * 2005-12-23 2008-04-16 威盛电子股份有限公司 网络会话管理方法及系统
US7840964B2 (en) * 2005-12-30 2010-11-23 Intel Corporation Mechanism to transition control between components in a virtual machine environment
KR101204408B1 (ko) * 2006-01-19 2012-11-27 삼성전자주식회사 유니폼 객체 모델을 이용한 유비쿼터스 서비스/디바이스테스트 방법 및 장치
US20070180365A1 (en) * 2006-01-27 2007-08-02 Ashok Mitter Khosla Automated process and system for converting a flowchart into a speech mark-up language
US8078990B2 (en) 2006-02-01 2011-12-13 Research In Motion Limited Secure device sharing
US20070225983A1 (en) * 2006-03-23 2007-09-27 Theodore Maringo Worldwide time device
KR101264318B1 (ko) * 2006-07-07 2013-05-22 삼성전자주식회사 네트워크 환경에서의 서비스 메뉴 및 서비스 제공방법 및그 서비스 제공장치
KR100807307B1 (ko) * 2006-07-10 2008-02-28 한국전자통신연구원 대화형 음성 인터페이스 시스템 및 그 응답 방법
US9976865B2 (en) 2006-07-28 2018-05-22 Ridetones, Inc. Vehicle communication system with navigation
US20100030557A1 (en) 2006-07-31 2010-02-04 Stephen Molloy Voice and text communication system, method and apparatus
US8589869B2 (en) * 2006-09-07 2013-11-19 Wolfram Alpha Llc Methods and systems for determining a formula
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7957976B2 (en) * 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
KR100832534B1 (ko) * 2006-09-28 2008-05-27 한국전자통신연구원 음성 인식을 통한 컨텐츠 정보 서비스 제공 장치 및 그방법
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8478250B2 (en) 2007-07-30 2013-07-02 Bindu Rama Rao Interactive media management server
US8700014B2 (en) 2006-11-22 2014-04-15 Bindu Rama Rao Audio guided system for providing guidance to user of mobile device on multi-step activities
US10803474B2 (en) 2006-11-22 2020-10-13 Qualtrics, Llc System for creating and distributing interactive advertisements to mobile devices
US11256386B2 (en) 2006-11-22 2022-02-22 Qualtrics, Llc Media management system supporting a plurality of mobile devices
US7827033B2 (en) * 2006-12-06 2010-11-02 Nuance Communications, Inc. Enabling grammars in web page frames
US20080140390A1 (en) * 2006-12-11 2008-06-12 Motorola, Inc. Solution for sharing speech processing resources in a multitasking environment
CA2572116A1 (en) * 2006-12-27 2008-06-27 Ibm Canada Limited - Ibm Canada Limitee System and method for processing multi-modal communication within a workgroup
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US8843376B2 (en) 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8788620B2 (en) * 2007-04-04 2014-07-22 International Business Machines Corporation Web service support for a multimodal client processing a multimodal application
AU2012244080B2 (en) * 2007-05-24 2014-04-17 Microsoft Technology Licensing, Llc Personality-based Device
US8131549B2 (en) * 2007-05-24 2012-03-06 Microsoft Corporation Personality-based device
US9794348B2 (en) 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
US8612972B2 (en) 2007-06-27 2013-12-17 Microsoft Corporation Running add-on components in virtual environments
US20090018818A1 (en) * 2007-07-10 2009-01-15 Aibelive Co., Ltd. Operating device for natural language input
US9264483B2 (en) 2007-07-18 2016-02-16 Hammond Development International, Inc. Method and system for enabling a communication device to remotely execute an application
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US8472934B2 (en) * 2007-11-28 2013-06-25 Nokia Corporation Portable apparatus, method and user interface
JP2010020273A (ja) * 2007-12-07 2010-01-28 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9703784B2 (en) * 2007-12-24 2017-07-11 Sandisk Il Ltd. Mobile device and method for concurrently processing content according to multiple playlists
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8086455B2 (en) * 2008-01-09 2011-12-27 Microsoft Corporation Model development authoring, generation and execution based on data and processor dependencies
US20090198496A1 (en) * 2008-01-31 2009-08-06 Matthias Denecke Aspect oriented programmable dialogue manager and apparatus operated thereby
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
AU2009227944B2 (en) * 2008-03-25 2014-09-11 E-Lane Systems Inc. Multi-participant, mixed-initiative voice interaction system
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
EP2279602B1 (en) * 2008-05-19 2013-07-31 Citrix Systems, Inc. Systems and methods for remoting multimedia plugin calls
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
EP3249893A1 (en) * 2008-06-03 2017-11-29 Whirlpool Corporation Appliance development toolkit
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US8838075B2 (en) 2008-06-19 2014-09-16 Intelligent Mechatronic Systems Inc. Communication system with voice mail access and call by spelling functionality
US20090328062A1 (en) * 2008-06-25 2009-12-31 Microsoft Corporation Scalable and extensible communication framework
CN101621480B (zh) * 2008-06-30 2012-03-28 国际商业机器公司 呈现服务器和在其中使用的xsl文件处理方法
US9652023B2 (en) 2008-07-24 2017-05-16 Intelligent Mechatronic Systems Inc. Power management system
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US8959053B2 (en) * 2008-08-13 2015-02-17 Alcatel Lucent Configuration file framework to support high availability schema based upon asynchronous checkpointing
JP5897240B2 (ja) * 2008-08-20 2016-03-30 株式会社ユニバーサルエンターテインメント 顧客対応システム、並びに会話サーバ
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8121842B2 (en) * 2008-12-12 2012-02-21 Microsoft Corporation Audio output of a document from mobile device
US8914417B2 (en) * 2009-01-07 2014-12-16 International Business Machines Corporation Apparatus, system, and method for maintaining a context stack
TW201027378A (en) * 2009-01-08 2010-07-16 Realtek Semiconductor Corp Virtual platform and related simulation method
US8498866B2 (en) * 2009-01-15 2013-07-30 K-Nfb Reading Technology, Inc. Systems and methods for multiple language document narration
WO2010084497A1 (en) * 2009-01-26 2010-07-29 Tomer London System and method for providing visual content and services to wireless terminal devices in response to a received voice call
US9529573B2 (en) * 2009-01-28 2016-12-27 Microsoft Technology Licensing, Llc Graphical user interface generation through use of a binary file
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
CN101533409B (zh) * 2009-04-23 2011-03-02 何海群 一种网络浏览器系统和控制方法
US8788524B1 (en) 2009-05-15 2014-07-22 Wolfram Alpha Llc Method and system for responding to queries in an imprecise syntax
US8601015B1 (en) 2009-05-15 2013-12-03 Wolfram Alpha Llc Dynamic example generation for queries
WO2010135837A1 (en) * 2009-05-28 2010-12-02 Intelligent Mechatronic Systems Inc Communication system with personal information management and remote vehicle monitoring and control features
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9002713B2 (en) 2009-06-09 2015-04-07 At&T Intellectual Property I, L.P. System and method for speech personalization by need
US8442189B2 (en) * 2009-06-22 2013-05-14 Avaya Inc. Unified communications appliance
US9055151B2 (en) * 2009-06-22 2015-06-09 Avaya Inc. Method to set the flag as replied or forwarded to all replied or forwarded voice messages
US9667726B2 (en) 2009-06-27 2017-05-30 Ridetones, Inc. Vehicle internet radio interface
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
WO2011059997A1 (en) 2009-11-10 2011-05-19 Voicebox Technologies, Inc. System and method for providing a natural language content dedication service
US9171541B2 (en) * 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US20110110534A1 (en) * 2009-11-12 2011-05-12 Apple Inc. Adjustable voice output based on device status
US9978272B2 (en) 2009-11-25 2018-05-22 Ridetones, Inc Vehicle to vehicle chatting and communication system
US20110125733A1 (en) * 2009-11-25 2011-05-26 Fish Nathan J Quick access utility
US20110144976A1 (en) * 2009-12-10 2011-06-16 Arun Jain Application user interface system and method
US8868427B2 (en) * 2009-12-11 2014-10-21 General Motors Llc System and method for updating information in electronic calendars
EP3091535B1 (en) * 2009-12-23 2023-10-11 Google LLC Multi-modal input on an electronic device
GB0922608D0 (en) * 2009-12-23 2010-02-10 Vratskides Alexios Message optimization
JP2011139303A (ja) * 2009-12-28 2011-07-14 Nec Corp 通信システム、制御装置、通信制御方法、およびプログラム
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8645914B2 (en) * 2010-01-22 2014-02-04 AgentSheets, Inc. Conversational programming
DE112011100329T5 (de) 2010-01-25 2012-10-31 Andrew Peter Nelson Jerram Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8433828B2 (en) 2010-02-26 2013-04-30 Apple Inc. Accessory protocol for touch screen device accessibility
US8554948B2 (en) * 2010-03-03 2013-10-08 At&T Intellectual Property I, L.P. Methods, systems and computer program products for identifying traffic on the internet using communities of interest
JP5560814B2 (ja) * 2010-03-24 2014-07-30 日本電気株式会社 負荷分散システム、負荷分散サーバおよび負荷分散方法
US8612932B2 (en) * 2010-04-18 2013-12-17 Voxeo Corporation Unified framework and method for call control and media control
US8776091B2 (en) * 2010-04-30 2014-07-08 Microsoft Corporation Reducing feedback latency
US8484015B1 (en) 2010-05-14 2013-07-09 Wolfram Alpha Llc Entity pages
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8352908B2 (en) 2010-06-28 2013-01-08 International Business Machines Corporation Multi-modal conversion tool for form-type applications
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9246914B2 (en) * 2010-07-16 2016-01-26 Nokia Technologies Oy Method and apparatus for processing biometric information using distributed computation
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8812298B1 (en) 2010-07-28 2014-08-19 Wolfram Alpha Llc Macro replacement of natural language input
US8775618B2 (en) * 2010-08-02 2014-07-08 Ebay Inc. Application platform with flexible permissioning
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8688435B2 (en) * 2010-09-22 2014-04-01 Voice On The Go Inc. Systems and methods for normalizing input media
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US20120173242A1 (en) * 2010-12-30 2012-07-05 Samsung Electronics Co., Ltd. System and method for exchange of scribble data between gsm devices along with voice
US8930194B2 (en) 2011-01-07 2015-01-06 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US9183843B2 (en) 2011-01-07 2015-11-10 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9542657B2 (en) * 2011-02-23 2017-01-10 Avaya Inc. Method and system for optimizing contact center performance
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9202465B2 (en) * 2011-03-25 2015-12-01 General Motors Llc Speech recognition dependent on text message content
US8171137B1 (en) 2011-05-09 2012-05-01 Google Inc. Transferring application state across devices
WO2012158572A2 (en) * 2011-05-13 2012-11-22 Microsoft Corporation Exploiting query click logs for domain detection in spoken language understanding
US20120317492A1 (en) * 2011-05-27 2012-12-13 Telefon Projekt LLC Providing Interactive and Personalized Multimedia Content from Remote Servers
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US9069814B2 (en) 2011-07-27 2015-06-30 Wolfram Alpha Llc Method and system for using natural language to generate widgets
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8645978B2 (en) * 2011-09-02 2014-02-04 Compuverde Ab Method for data maintenance
US9734252B2 (en) 2011-09-08 2017-08-15 Wolfram Alpha Llc Method and system for analyzing data using a query answering system
US8645532B2 (en) * 2011-09-13 2014-02-04 BlueStripe Software, Inc. Methods and computer program products for monitoring the contents of network traffic in a network device
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9851950B2 (en) 2011-11-15 2017-12-26 Wolfram Alpha Llc Programming in a precise syntax using natural language
US8595016B2 (en) * 2011-12-23 2013-11-26 Angle, Llc Accessing content using a source-specific content-adaptable dialogue
CN103295575B (zh) * 2012-02-27 2019-01-25 北京三星通信技术研究有限公司 一种语音识别方法和客户端
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9552130B2 (en) * 2012-05-07 2017-01-24 Citrix Systems, Inc. Speech recognition support for remote applications and desktops
US20130304536A1 (en) * 2012-05-10 2013-11-14 Ebay, Inc. Harvest Customer Tracking Information
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10395270B2 (en) 2012-05-17 2019-08-27 Persado Intellectual Property Limited System and method for recommending a grammar for a message campaign used by a message optimization system
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9502029B1 (en) * 2012-06-25 2016-11-22 Amazon Technologies, Inc. Context-aware speech processing
US20140006318A1 (en) * 2012-06-29 2014-01-02 Poe XING Collecting, discovering, and/or sharing media objects
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US8554559B1 (en) * 2012-07-13 2013-10-08 Google Inc. Localized speech recognition with offload
US9710475B1 (en) 2012-07-16 2017-07-18 Tintri Inc. Synchronization of data
EP2875443A4 (en) * 2012-07-19 2016-05-18 Glance Networks Inc INTEGRATION OF CO-BROWSING WITH OTHER FORMS OF COMMON INFORMATION USE
US8577671B1 (en) * 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
US9485330B2 (en) 2012-07-30 2016-11-01 Tencent Technology (Shenzhen) Company Limited Web browser operation method and system
CN103577444B (zh) * 2012-07-30 2017-04-05 腾讯科技（深圳）有限公司 一种操控浏览器的方法及系统
US9465833B2 (en) 2012-07-31 2016-10-11 Veveo, Inc. Disambiguating user intent in conversational interaction system for large corpus information retrieval
US9378073B2 (en) 2012-08-14 2016-06-28 International Business Machines Corporation Remote procedure call for a distributed system
US9384736B2 (en) * 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input
US9405424B2 (en) 2012-08-29 2016-08-02 Wolfram Alpha, Llc Method and system for distributing and displaying graphical items
KR102150289B1 (ko) * 2012-08-30 2020-09-01 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
CN102831229A (zh) * 2012-08-30 2012-12-19 浙大网新科技股份有限公司 适合盲人使用的网页浏览方法
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US8700396B1 (en) * 2012-09-11 2014-04-15 Google Inc. Generating speech data collection prompts
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US10276157B2 (en) * 2012-10-01 2019-04-30 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
KR20150063423A (ko) 2012-10-04 2015-06-09 뉘앙스 커뮤니케이션즈, 인코포레이티드 Asr을 위한 개선된 하이브리드 컨트롤러
US9035884B2 (en) * 2012-10-17 2015-05-19 Nuance Communications, Inc. Subscription updates in multiple device language models
JPWO2014073206A1 (ja) * 2012-11-07 2016-09-08 日本電気株式会社 情報処理装置、及び、情報処理方法
KR101980834B1 (ko) * 2012-11-28 2019-05-21 한국전자통신연구원 컨텍스트 정보 기반 응용프로그램 관리방법 및 그 장치
US9003039B2 (en) 2012-11-29 2015-04-07 Thales Canada Inc. Method and apparatus of resource allocation or resource release
CN103117058B (zh) * 2012-12-20 2015-12-09 四川长虹电器股份有限公司 基于智能电视平台的多语音引擎切换系统及方法
CN103020278A (zh) * 2012-12-28 2013-04-03 深圳创维数字技术股份有限公司 一种网页的控制方法及浏览器
US9430420B2 (en) 2013-01-07 2016-08-30 Telenav, Inc. Computing system with multimodal interaction mechanism and method of operation thereof
US9922639B1 (en) * 2013-01-11 2018-03-20 Amazon Technologies, Inc. User feedback for speech interactions
CN103971687B (zh) * 2013-02-01 2016-06-29 腾讯科技（深圳）有限公司 一种语音识别系统中的负载均衡实现方法和装置
KR102118209B1 (ko) 2013-02-07 2020-06-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9817835B2 (en) * 2013-03-12 2017-11-14 Tintri Inc. Efficient data synchronization for storage containers
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9218052B2 (en) 2013-03-14 2015-12-22 Samsung Electronics Co., Ltd. Framework for voice controlling applications
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
KR101904293B1 (ko) 2013-03-15 2018-10-05 애플 인크. 콘텍스트-민감성 방해 처리
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9526120B2 (en) 2013-03-15 2016-12-20 Google Inc. Techniques for context-based application invocation for short-range wireless communication interactions
US9348555B2 (en) * 2013-03-15 2016-05-24 Volkswagen Ag In-vehicle access of mobile device functions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR102014665B1 (ko) 2013-03-15 2019-08-26 애플 인크. 지능형 디지털 어시스턴트에 의한 사용자 트레이닝
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
WO2014183035A1 (en) 2013-05-10 2014-11-13 Veveo, Inc. Method and system for capturing and exploiting user intent in a conversational interaction based information retrieval system
US9431008B2 (en) * 2013-05-29 2016-08-30 Nuance Communications, Inc. Multiple parallel dialogs in smart phone applications
EP3005348B1 (en) * 2013-06-07 2020-03-11 Nuance Communications, Inc. Speech-based search using descriptive features of surrounding objects
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9311298B2 (en) * 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
KR102053820B1 (ko) 2013-07-02 2019-12-09 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
US10776375B2 (en) * 2013-07-15 2020-09-15 Microsoft Technology Licensing, Llc Retrieval of attribute values based upon identified entities
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10109273B1 (en) 2013-08-29 2018-10-23 Amazon Technologies, Inc. Efficient generation of personalized spoken language understanding models
US9361289B1 (en) * 2013-08-30 2016-06-07 Amazon Technologies, Inc. Retrieval and management of spoken language understanding personalization data
US10628378B2 (en) 2013-09-03 2020-04-21 Tintri By Ddn, Inc. Replication of snapshots and clones
US9495965B2 (en) * 2013-09-20 2016-11-15 American Institutes For Research Synthesis and display of speech commands method and system
CN103474065A (zh) * 2013-09-24 2013-12-25 贵阳世纪恒通科技有限公司 基于自动分类技术的语音意图判定识别方法
WO2015050543A1 (en) * 2013-10-02 2015-04-09 Empire Technology Development, Llc Identification of distributed user interface (dui) elements
CN104598257B (zh) 2013-10-30 2019-01-18 华为技术有限公司 远程应用程序运行的方法和装置
KR101740332B1 (ko) * 2013-11-05 2017-06-08 한국전자통신연구원 자동 번역 장치 및 방법
US9754591B1 (en) * 2013-11-18 2017-09-05 Amazon Technologies, Inc. Dialog management context sharing
US9690854B2 (en) * 2013-11-27 2017-06-27 Nuance Communications, Inc. Voice-enabled dialog interaction with web pages
US9558176B2 (en) 2013-12-06 2017-01-31 Microsoft Technology Licensing, Llc Discriminating between natural language and keyword language items
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR101489826B1 (ko) * 2013-12-30 2015-02-04 유승우 더미 터미널 및 본체
US10057355B2 (en) * 2014-02-13 2018-08-21 Nec Corporation Communication system, communication device, communication method, and non-transitory computer readable medium storing program
CA2980707A1 (en) * 2014-03-25 2015-10-01 Botanic Technologies, Inc. Systems and methods for executing cryptographically secure transactions using voice and natural language processing
US20150278852A1 (en) * 2014-04-01 2015-10-01 DoubleVerify, Inc. System And Method For Identifying Online Advertisement Laundering And Online Advertisement Injection
JP2015207819A (ja) * 2014-04-17 2015-11-19 株式会社リコー 情報処理装置、情報処理システム、通信制御方法およびプログラム
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US11314826B2 (en) 2014-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method for searching and device thereof
US9990433B2 (en) 2014-05-23 2018-06-05 Samsung Electronics Co., Ltd. Method for searching and device thereof
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016024212A (ja) * 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
CN107003996A (zh) 2014-09-16 2017-08-01 声钰科技 语音商务
WO2016044321A1 (en) 2014-09-16 2016-03-24 Min Tang Integration of domain information into state transitions of a finite state transducer for natural language processing
CN112217905B (zh) * 2014-09-19 2024-03-29 康维达无线有限责任公司 服务层会话迁移和共享
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9800619B2 (en) * 2014-10-15 2017-10-24 Ayla Networks, Inc. Registration framework for connected consumer devices
EP3207452A4 (en) * 2014-10-15 2018-06-20 Ayla Networks, Inc. Registration framework for connected consumer devices
WO2016061309A1 (en) 2014-10-15 2016-04-21 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US9813505B2 (en) 2014-10-15 2017-11-07 Ayla Networks, Inc. Devices in a flexible registration framework
US9648055B2 (en) * 2014-10-15 2017-05-09 Ayla Networks, Inc. Applications in a flexible registration framework
WO2016065020A2 (en) * 2014-10-21 2016-04-28 Robert Bosch Gmbh Method and system for automation of response selection and composition in dialog systems
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9965464B2 (en) * 2014-12-05 2018-05-08 Microsoft Technology Licensing, Llc Automatic process guidance
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US10154041B2 (en) * 2015-01-13 2018-12-11 Microsoft Technology Licensing, Llc Website access control
US9854049B2 (en) 2015-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for resolving ambiguous terms in social chatter based on a user profile
US10180985B2 (en) * 2015-02-19 2019-01-15 At&T Intellectual Property I, L.P. Apparatus and method for automatically redirecting a search
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9672829B2 (en) * 2015-03-23 2017-06-06 International Business Machines Corporation Extracting and displaying key points of a video conference
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US20160321025A1 (en) * 2015-04-30 2016-11-03 Kabushiki Kaisha Toshiba Electronic apparatus and method
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
CN106302089B (zh) * 2015-05-21 2019-06-11 阿里巴巴集团控股有限公司 会话处理方法和系统
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10110430B2 (en) * 2015-05-27 2018-10-23 Orion Labs Intelligent agent features for wearable personal communication nodes
US9721569B2 (en) * 2015-05-27 2017-08-01 Intel Corporation Gaussian mixture model accelerator with direct memory access engines corresponding to individual data streams
US10360911B2 (en) 2015-06-01 2019-07-23 AffectLayer, Inc. Analyzing conversations to automatically identify product features that resonate with customers
US10324979B2 (en) 2015-06-01 2019-06-18 AffectLayer, Inc. Automatic generation of playlists from conversations
US10133999B2 (en) 2015-06-01 2018-11-20 AffectLayer, Inc. Analyzing conversations to automatically identify deals at risk
US10181326B2 (en) 2015-06-01 2019-01-15 AffectLayer, Inc. Analyzing conversations to automatically identify action items
US10110743B2 (en) 2015-06-01 2018-10-23 AffectLayer, Inc. Automatic pattern recognition in conversations
US10387573B2 (en) 2015-06-01 2019-08-20 AffectLayer, Inc. Analyzing conversations to automatically identify customer pain points
US10367940B2 (en) 2015-06-01 2019-07-30 AffectLayer, Inc. Analyzing conversations to automatically identify product feature requests
US10679013B2 (en) 2015-06-01 2020-06-09 AffectLayer, Inc. IoT-based call assistant device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10504137B1 (en) 2015-10-08 2019-12-10 Persado Intellectual Property Limited System, method, and computer program product for monitoring and responding to the performance of an ad
US9688225B2 (en) * 2015-10-09 2017-06-27 Livio, Inc. Methods and systems for a mobile device to emulate a vehicle human-machine interface
CA3005710C (en) * 2015-10-15 2021-03-23 Interactive Intelligence Group, Inc. System and method for multi-language communication sequencing
KR102112814B1 (ko) * 2015-10-21 2020-05-19 구글 엘엘씨 다이얼로그 시스템들에서의 파라미터 수집 및 자동 다이얼로그 생성
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US11018888B2 (en) * 2015-12-03 2021-05-25 Whirlpool Corporation Methods of remote control of appliances
US10832283B1 (en) 2015-12-09 2020-11-10 Persado Intellectual Property Limited System, method, and computer program for providing an instance of a promotional message to a user based on a predicted emotional response corresponding to user characteristics
CN105551488A (zh) * 2015-12-15 2016-05-04 深圳Tcl数字技术有限公司 语音控制方法及系统
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10732783B2 (en) 2015-12-28 2020-08-04 Microsoft Technology Licensing, Llc Identifying image comments from similar images
US10417346B2 (en) * 2016-01-23 2019-09-17 Microsoft Technology Licensing, Llc Tool for facilitating the development of new language understanding scenarios
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10224026B2 (en) * 2016-03-15 2019-03-05 Sony Corporation Electronic device, system, method and computer program
US10404835B2 (en) * 2016-03-17 2019-09-03 Google Llc Hybrid client-server data provision
US9996531B1 (en) * 2016-03-29 2018-06-12 Facebook, Inc. Conversational understanding
US10319371B2 (en) * 2016-05-04 2019-06-11 GM Global Technology Operations LLC Disambiguation of vehicle speech commands
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
CN106095593B (zh) 2016-05-31 2019-04-16 Oppo广东移动通信有限公司 一种前、后景应用程序行为同步方法及装置
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US11200891B2 (en) * 2016-06-21 2021-12-14 Hewlett-Packard Development Company, L.P. Communications utilizing multiple virtual assistant services
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10331784B2 (en) 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
KR102481881B1 (ko) 2016-09-07 2022-12-27 삼성전자주식회사 외부 디바이스를 제어하는 서버 및 그 방법
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
CN106847272A (zh) * 2016-12-12 2017-06-13 北京光年无限科技有限公司 与运行应用关联的智能机器人的数据交互方法
CN106844453B (zh) * 2016-12-20 2020-09-08 江苏瀚远科技股份有限公司 一种电子文件格式转换方法
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
KR102643501B1 (ko) * 2016-12-26 2024-03-06 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10971157B2 (en) 2017-01-11 2021-04-06 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
US20180247644A1 (en) * 2017-02-27 2018-08-30 Intel Corporation Queueing spoken dialogue output
EP3392884A1 (en) * 2017-04-21 2018-10-24 audEERING GmbH A method for automatic affective state inference and an automated affective state inference system
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10127227B1 (en) * 2017-05-15 2018-11-13 Google Llc Providing access to user-controlled resources by automated assistants
US11436417B2 (en) 2017-05-15 2022-09-06 Google Llc Providing access to user-controlled resources by automated assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US11048995B2 (en) 2017-05-16 2021-06-29 Google Llc Delayed responses by computational assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN107319857A (zh) * 2017-06-30 2017-11-07 广东工业大学 一种交互镜子及具有该交互镜子的智能家电系统
JP6777887B2 (ja) * 2017-06-30 2020-10-28 京セラドキュメントソリューションズ株式会社 リモート通信制御システム、セッション管理システムおよびセッション管理プログラム
US20190018545A1 (en) * 2017-07-13 2019-01-17 International Business Machines Corporation System and method for rapid financial app prototyping
KR102419374B1 (ko) * 2017-07-21 2022-07-11 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
TWI646529B (zh) * 2017-07-25 2019-01-01 雲拓科技有限公司 主動聊天裝置
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
CN109426530B (zh) * 2017-08-17 2022-04-05 阿里巴巴集团控股有限公司 页面确定方法、装置、服务器和存储介质
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10957313B1 (en) 2017-09-22 2021-03-23 Amazon Technologies, Inc. System command processing
US10600419B1 (en) * 2017-09-22 2020-03-24 Amazon Technologies, Inc. System command processing
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
CN107479906A (zh) * 2017-09-28 2017-12-15 电子科技大学 基于Cordova的跨平台在线教育移动终端
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CN107767856B (zh) * 2017-11-07 2021-11-19 中国银行股份有限公司 一种语音处理方法、装置及服务器
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
WO2019112626A1 (en) * 2017-12-08 2019-06-13 Google Llc System for securing a personal digital assistant with stacked data structures
CN108008728B (zh) * 2017-12-12 2020-01-17 深圳市银星智能科技股份有限公司 清洁机器人以及基于清洁机器人的最短路径规划方法
US20190180753A1 (en) * 2017-12-12 2019-06-13 Ca, Inc. Analysis of collaborative dialog data structures from speech processing computer system
US11443646B2 (en) 2017-12-22 2022-09-13 Fathom Technologies, LLC E-Reader interface system with audio and highlighting synchronization for digital books
US11900928B2 (en) 2017-12-23 2024-02-13 Soundhound Ai Ip, Llc System and method for adapted interactive experiences
US10671251B2 (en) 2017-12-22 2020-06-02 Arbordale Publishing, LLC Interactive eReader interface generation based on synchronization of textual and audial descriptors
WO2019125486A1 (en) * 2017-12-22 2019-06-27 Soundhound, Inc. Natural language grammars adapted for interactive experiences
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
CN108256066B (zh) * 2018-01-16 2022-01-11 智言科技（深圳）有限公司 端到端层次解码任务型对话系统
CN108269205A (zh) * 2018-01-24 2018-07-10 成都安信思远信息技术有限公司 一种利用云平台的电子数据鉴定系统
CN108319912A (zh) * 2018-01-30 2018-07-24 歌尔科技有限公司 一种唇语识别方法、装置、系统和智能眼镜
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US20190236137A1 (en) * 2018-01-31 2019-08-01 Microsoft Technology Licensing, Llc Generating conversational representations of web content
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
CN108520748B (zh) * 2018-02-01 2020-03-03 百度在线网络技术（北京）有限公司 一种智能设备功能引导方法及系统
US10891430B2 (en) * 2018-02-02 2021-01-12 Fuji Xerox Co., Ltd. Semi-automated methods for translating structured document content to chat-based interaction
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
KR102507249B1 (ko) * 2018-03-08 2023-03-07 삼성전자주식회사 성능 모드 제어 방법 및 이를 지원하는 전자 장치
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11056107B2 (en) * 2018-03-30 2021-07-06 International Business Machines Corporation Conversational framework
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
WO2019203859A1 (en) * 2018-04-19 2019-10-24 Google Llc Dependency graph conversation modeling for use in conducting human-to-computer dialog sessions with a computer-implemented automated assistant
CN108614773A (zh) * 2018-04-24 2018-10-02 广州链创信息科技有限公司 一种手机小程序用展示发布体验系统
US11094316B2 (en) * 2018-05-04 2021-08-17 Qualcomm Incorporated Audio analytics for natural language processing
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
EP3570189B1 (de) * 2018-05-14 2023-08-09 Siemens Aktiengesellschaft Computerimplementiertes verfahren zum bereitstellen eines adaptiven dialogsystems und ein adaptives dialogsystem
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10776582B2 (en) * 2018-06-06 2020-09-15 International Business Machines Corporation Supporting combinations of intents in a conversation
US10811009B2 (en) 2018-06-27 2020-10-20 International Business Machines Corporation Automatic skill routing in conversational computing frameworks
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
EP3682345B1 (en) 2018-08-07 2021-11-24 Google LLC Assembling and evaluating automated assistant responses for privacy concerns
US11436215B2 (en) 2018-08-20 2022-09-06 Samsung Electronics Co., Ltd. Server and control method thereof
KR102586990B1 (ko) * 2018-08-23 2023-10-10 구글 엘엘씨 멀티-어시스턴트 환경의 특성에 따른 어시스턴트 응답성 규정하기
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10762893B2 (en) 2018-09-28 2020-09-01 Comcast Cable Communications, Llc Monitoring of one or more audio/video collection devices
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10594837B1 (en) 2018-11-02 2020-03-17 International Business Machines Corporation Predictive service scaling for conversational computing
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US10770072B2 (en) 2018-12-10 2020-09-08 International Business Machines Corporation Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN110021291B (zh) * 2018-12-26 2021-01-29 创新先进技术有限公司 一种语音合成文件的调用方法及装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
EP3703342B1 (en) * 2019-03-01 2023-07-26 ABB Schweiz AG Dynamic load balancing in network centric process control systems
WO2020185880A1 (en) * 2019-03-12 2020-09-17 Beguided, Inc. Conversational artificial intelligence for automated self-service account management
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN111800537B (zh) * 2019-04-09 2021-07-20 Oppo广东移动通信有限公司 终端使用状态的评估方法、装置、存储介质及电子设备
CN111857219B (zh) * 2019-04-25 2023-06-30 益逻触控系统公司 具有三层系统架构的自助服务装置
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11640504B2 (en) 2019-05-17 2023-05-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11526780B2 (en) * 2019-08-05 2022-12-13 Microsoft Technology Licensing, Llc Converting nonnative skills for conversational computing interfaces
US10915227B1 (en) 2019-08-07 2021-02-09 Bank Of America Corporation System for adjustment of resource allocation based on multi-channel inputs
CN110647736A (zh) * 2019-08-13 2020-01-03 平安科技（深圳）有限公司 插件式坐席系统登录方法、装置、计算机设备及存储介质
CN110400564A (zh) * 2019-08-21 2019-11-01 科大国创软件股份有限公司 一种基于栈的聊天机器人对话管理方法
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110647305B (zh) * 2019-09-29 2023-10-31 阿波罗智联(北京)科技有限公司 应用程序的语音交互方法、装置、设备和介质
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
JP7029434B2 (ja) * 2019-10-23 2022-03-03 サウンドハウンド，インコーポレイテッド コンピュータによって実行される方法、サーバ装置、情報処理システム、プログラム、およびクライアント端末
WO2021096382A2 (ru) * 2019-11-15 2021-05-20 Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Институт" (Национальный Исследовательский Университет) (Мфти) Способ и система управления диалоговым агентом в канале взаимодействия с пользователем
CN111105289B (zh) * 2019-11-22 2023-05-05 北京云杉信息技术有限公司 一种基于aop方式的客户端订单取消判断方法及装置
US11664044B2 (en) 2019-11-25 2023-05-30 Qualcomm Incorporated Sound event detection learning
EP3836043A1 (en) 2019-12-11 2021-06-16 Carrier Corporation A method and an equipment for configuring a service
WO2021117251A1 (ja) * 2019-12-13 2021-06-17 株式会社日立産機システム 通信モジュール、通信システム及び通信方法
CN111223485A (zh) * 2019-12-19 2020-06-02 深圳壹账通智能科技有限公司 智能交互方法、装置、电子设备及存储介质
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN113035226B (zh) * 2019-12-24 2024-04-23 中兴通讯股份有限公司 语音通话方法、通信终端和计算机可读介质
US11209573B2 (en) 2020-01-07 2021-12-28 Northrop Grumman Systems Corporation Radio occultation aircraft navigation aid system
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11494166B2 (en) 2020-03-30 2022-11-08 Nuance Communications, Inc. Omni-channel conversational application development system and method
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
CN114095487B (zh) * 2020-07-30 2024-03-19 中移(苏州)软件技术有限公司 一种远程任务执行方法、装置及存储介质
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11514799B2 (en) 2020-11-11 2022-11-29 Northrop Grumman Systems Corporation Systems and methods for maneuvering an aerial vehicle during adverse weather conditions
US11410677B2 (en) 2020-11-24 2022-08-09 Qualcomm Incorporated Adaptive sound event classification
CN112527435B (zh) * 2020-12-08 2024-02-13 建信金融科技有限责任公司 浏览器操作方法及系统
US11329933B1 (en) 2020-12-28 2022-05-10 Drift.com, Inc. Persisting an AI-supported conversation across multiple channels
US20220415311A1 (en) * 2021-06-24 2022-12-29 Amazon Technologies, Inc. Early invocation for contextual data processing
US20230197072A1 (en) * 2021-12-17 2023-06-22 Google Llc Warm word arbitration between automated assistant devices
CN115064168B (zh) * 2022-08-17 2022-12-13 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质
CN116719649A (zh) * 2022-09-01 2023-09-08 荣耀终端有限公司 会话通知的提示方法、电子设备及可读存储介质
CN116450383A (zh) * 2023-06-19 2023-07-18 合肥景云软件工程有限责任公司 一种通过网页调用操作系统的方法

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4787031A (en) * 1985-01-04 1988-11-22 Digital Equipment Corporation Computer with virtual machine mode and multiple protection rings
JPH0673135B2 (ja) * 1988-03-01 1994-09-14 工業技術院長 自然言語対話処理装置
US5282265A (en) * 1988-10-04 1994-01-25 Canon Kabushiki Kaisha Knowledge information processing system
JPH0384652A (ja) * 1989-08-29 1991-04-10 Personal Joho Kankyo Kyokai ヒューマンインタフェースのアーキテクチャモデル
US5333237A (en) * 1989-10-10 1994-07-26 Hughes Aircraft Company Hypermedia structured knowledge base system
JP3235728B2 (ja) * 1990-02-09 2001-12-04 沖ソフトウェア株式会社 会話制御方式
JPH05304567A (ja) * 1990-04-05 1993-11-16 Texas Instr Inc <Ti> 遠隔通信システムならびにその遠隔通信サービスプレゼンテーションインターフェース及び遠隔通信ネットワーク
JPH0410153A (ja) * 1990-04-27 1992-01-14 Nippon Telegr & Teleph Corp <Ntt> 情報検索システム
US5133004A (en) * 1990-05-07 1992-07-21 Unisys Corporation Digital computer platform for supporting telephone network applications
US5255305A (en) 1990-11-01 1993-10-19 Voiceplex Corporation Integrated voice processing system
US5274695A (en) * 1991-01-11 1993-12-28 U.S. Sprint Communications Company Limited Partnership System for verifying the identity of a caller in a telecommunications network
JPH0792801B2 (ja) * 1991-08-02 1995-10-09 工業技術院長 非単調推論方法
US5283888A (en) 1991-08-27 1994-02-01 International Business Machines Corporation Voice processing interface unit employing virtual screen communications for accessing a plurality of primed applications
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
JP3213056B2 (ja) * 1992-06-19 2001-09-25 株式会社日立製作所 マルチメディア処理装置
US5384890A (en) * 1992-09-30 1995-01-24 Apple Computer, Inc. Method and apparatus for providing multiple clients simultaneous access to a sound data stream
FR2696574B1 (fr) * 1992-10-06 1994-11-18 Sextant Avionique Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine.
JPH06131437A (ja) * 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
JPH06149534A (ja) * 1992-11-13 1994-05-27 Toshiba Corp 音声画面操作装置
US6029188A (en) * 1993-01-18 2000-02-22 Institute For Personalized Information Environment Information processing system for an architecture model capable of interfacing with humans and capable of being modified
US5544228A (en) * 1993-09-27 1996-08-06 The Walt Disney Company Method and apparatus for transmission of full frequency digital audio
US5509060A (en) * 1993-11-19 1996-04-16 At&T Corp. Network-accessible intelligent telephone service
US5748841A (en) * 1994-02-25 1998-05-05 Morin; Philippe Supervised contextual language acquisition system
US5644686A (en) * 1994-04-29 1997-07-01 International Business Machines Corporation Expert system and method employing hierarchical knowledge base, and interactive multimedia/hypermedia applications
JP3408332B2 (ja) * 1994-09-12 2003-05-19 富士通株式会社 ハイパーテキスト読上装置
US5682539A (en) * 1994-09-29 1997-10-28 Conrad; Donovan Anticipated meaning natural language interface
US5594789A (en) * 1994-10-13 1997-01-14 Bell Atlantic Network Services, Inc. Transaction implementation in video dial tone network
EP0792493B1 (en) * 1994-11-08 1999-08-11 Vermeer Technologies, Inc. An online service development tool with fee setting capabilities
JPH08137697A (ja) * 1994-11-15 1996-05-31 Kobe Steel Ltd 自律分散型システム
US6029195A (en) * 1994-11-29 2000-02-22 Herz; Frederick S. M. System for customized electronic identification of desirable objects
US5748974A (en) * 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
JP2746218B2 (ja) * 1995-02-23 1998-05-06 富士ゼロックス株式会社 資源管理装置および資源管理方法
US5890123A (en) * 1995-06-05 1999-03-30 Lucent Technologies, Inc. System and method for voice controlled video screen display
US5742845A (en) * 1995-06-22 1998-04-21 Datascape, Inc. System for extending present open network communication protocols to communicate with non-standard I/O devices directly coupled to an open network
JP3729918B2 (ja) * 1995-07-19 2005-12-21 株式会社東芝 マルチモーダル対話装置及び対話方法
US5794205A (en) * 1995-10-19 1998-08-11 Voice It Worldwide, Inc. Voice recognition interface apparatus and method for interacting with a programmable timekeeping device
JPH10124378A (ja) * 1995-12-01 1998-05-15 Zakuson R & D:Kk インターネットおよびイントラネット上におけるホームページ上の文書録画支援装置および文書録画支援システム
AU1566497A (en) * 1995-12-22 1997-07-17 Rutgers University Method and system for audio access to information in a wide area computer network
US6101528A (en) * 1996-03-27 2000-08-08 Intel Corporation Method and apparatus for discovering server applications by a client application in a network of computer systems
US5884262A (en) * 1996-03-28 1999-03-16 Bell Atlantic Network Services, Inc. Computer network audio access and conversion system
CA2224712A1 (en) * 1996-04-22 1997-10-30 At&T Corp. Method and apparatus for information retrieval using audio interface
US5956507A (en) * 1996-05-14 1999-09-21 Shearer, Jr.; Bennie L. Dynamic alteration of operating system kernel resource tables
JPH09319760A (ja) * 1996-05-30 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 情報検索運行システム
EP1571815A3 (en) * 1996-06-03 2006-10-04 WorldVoice Licensing, Inc. Telephonic voice message store and forward method having network address and voice authentication
JPH1078952A (ja) * 1996-07-29 1998-03-24 Internatl Business Mach Corp <Ibm> 音声合成方法、音声合成装置、ハイパーテキストの制御方法及び制御装置
US5799063A (en) * 1996-08-15 1998-08-25 Talk Web Inc. Communication system and method of providing access to pre-recorded audio messages via the Internet
JPH10124293A (ja) * 1996-08-23 1998-05-15 Osaka Gas Co Ltd 音声指令可能なコンピュータとそれ用の媒体
US5850629A (en) * 1996-09-09 1998-12-15 Matsushita Electric Industrial Co., Ltd. User interface controller for text-to-speech synthesizer
EP0863466A4 (en) * 1996-09-26 2005-07-20 Mitsubishi Electric Corp INTERACTIVE PROCESSOR
US5721827A (en) * 1996-10-02 1998-02-24 James Logan System for electrically distributing personalized information
US5915001A (en) * 1996-11-14 1999-06-22 Vois Corporation System and method for providing and using universally accessible voice and speech data files
US5774857A (en) * 1996-11-15 1998-06-30 Motorola, Inc. Conversion of communicated speech to text for tranmission as RF modulated base band video
JP3826239B2 (ja) * 1996-11-22 2006-09-27 日本電信電話株式会社 ハイパーテキスト中継方法及び装置
US6282511B1 (en) * 1996-12-04 2001-08-28 At&T Voiced interface with hyperlinked information
US5960399A (en) 1996-12-24 1999-09-28 Gte Internetworking Incorporated Client/server speech processor/recognizer
US6456974B1 (en) * 1997-01-06 2002-09-24 Texas Instruments Incorporated System and method for adding speech recognition capabilities to java
JP2907174B2 (ja) * 1997-02-04 1999-06-21 日本電気株式会社 監視制御システムのユーザインタフェースシステム
JPH10222342A (ja) * 1997-02-06 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> ハイパーテキスト音声制御方法及び装置
JPH10222525A (ja) * 1997-02-07 1998-08-21 Hitachi Ltd ナビゲーション方法
JPH10243048A (ja) * 1997-02-27 1998-09-11 Nippon Telegr & Teleph Corp <Ntt> 情報伝送方法及びシステム
US5987102A (en) * 1997-03-14 1999-11-16 Efusion, Inc. Method and apparatus for bridging a voice call including selective provision of information in non-audio to the caller
US5884266A (en) * 1997-04-02 1999-03-16 Motorola, Inc. Audio interface for document based information resource navigation and method therefor
JP3646471B2 (ja) * 1997-05-14 2005-05-11 日本電信電話株式会社 情報提供方法及び個人適応情報提供サーバ及び情報提供プログラムを格納した記憶媒体
US5897616A (en) * 1997-06-11 1999-04-27 International Business Machines Corporation Apparatus and methods for speaker verification/identification/classification employing non-acoustic and/or acoustic models and databases
US6044347A (en) * 1997-08-05 2000-03-28 Lucent Technologies Inc. Methods and apparatus object-oriented rule-based dialogue management
US6108711A (en) * 1998-09-11 2000-08-22 Genesys Telecommunications Laboratories, Inc. Operating system having external media layer, workflow layer, internal media layer, and knowledge base for routing media events between transactions
US6353824B1 (en) * 1997-11-18 2002-03-05 Apple Computer, Inc. Method for dynamic presentation of the contents topically rich capsule overviews corresponding to the plurality of documents, resolving co-referentiality in document segments
US6157705A (en) * 1997-12-05 2000-12-05 E*Trade Group, Inc. Voice control of a server
US6370508B2 (en) * 1998-09-11 2002-04-09 Genesys Telecommunications Laboratories, Inc. Interface engine for managing business processes within a multimedia communication-center
US6671745B1 (en) * 1998-03-23 2003-12-30 Microsoft Corporation Application program interfaces and structures in a resource limited operating system
US6012030A (en) * 1998-04-21 2000-01-04 Nortel Networks Corporation Management of speech and audio prompts in multimodal interfaces
US6859451B1 (en) * 1998-04-21 2005-02-22 Nortel Networks Limited Server for handling multimodal information
US6018711A (en) * 1998-04-21 2000-01-25 Nortel Networks Corporation Communication system user interface with animated representation of time remaining for input to recognizer
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US6253326B1 (en) * 1998-05-29 2001-06-26 Palm, Inc. Method and system for secure communications
US6397259B1 (en) * 1998-05-29 2002-05-28 Palm, Inc. Method, system and apparatus for packet minimized communications
US6269366B1 (en) * 1998-06-24 2001-07-31 Eastman Kodak Company Method for randomly combining images with annotations
US6269336B1 (en) 1998-07-24 2001-07-31 Motorola, Inc. Voice browser for interactive services and methods thereof
US6119147A (en) * 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
DE69906540T2 (de) * 1998-08-05 2004-02-19 British Telecommunications P.L.C. Multimodale benutzerschnittstelle
US6195696B1 (en) * 1998-10-01 2001-02-27 International Business Machines Corporation Systems, methods and computer program products for assigning, generating and delivering content to intranet users
US6470317B1 (en) 1998-10-02 2002-10-22 Motorola, Inc. Markup language to allow for billing of interactive services and methods thereof
US7003463B1 (en) * 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
WO2000020962A2 (en) * 1998-10-02 2000-04-13 International Business Machines Corporation Conversational computing via conversational virtual machine
US6615240B1 (en) * 1998-12-18 2003-09-02 Motive Communications, Inc. Technical support chain automation with guided self-help capability and option to escalate to live help
US6523061B1 (en) * 1999-01-05 2003-02-18 Sri International, Inc. System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system
US6851115B1 (en) * 1999-01-05 2005-02-01 Sri International Software-based architecture for communication and cooperation among distributed electronic agents
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
US6519617B1 (en) * 1999-04-08 2003-02-11 International Business Machines Corporation Automated creation of an XML dialect and dynamic generation of a corresponding DTD
US6636831B1 (en) * 1999-04-09 2003-10-21 Inroad, Inc. System and process for voice-controlled information retrieval
US6529889B1 (en) * 1999-07-27 2003-03-04 Acappella Software, Inc. System and method of knowledge architecture
US6377913B1 (en) * 1999-08-13 2002-04-23 International Business Machines Corporation Method and system for multi-client access to a dialog system
US6799169B1 (en) * 1999-08-13 2004-09-28 International Business Machines Corporation Method and system for modeless operation of a multi-modal user interface through implementation of independent decision networks
US7069220B2 (en) * 1999-08-13 2006-06-27 International Business Machines Corporation Method for determining and maintaining dialog focus in a conversational speech system
US6738803B1 (en) * 1999-09-03 2004-05-18 Cisco Technology, Inc. Proxy browser providing voice enabled web application audio control for telephony devices
US6615172B1 (en) * 1999-11-12 2003-09-02 Phoenix Solutions, Inc. Intelligent query engine for processing voice based queries
US6829603B1 (en) * 2000-02-02 2004-12-07 International Business Machines Corp. System, method and program product for interactive natural dialog
US7415537B1 (en) * 2000-04-07 2008-08-19 International Business Machines Corporation Conversational portal for providing conversational browsing and multimedia broadcast on demand
US6934756B2 (en) * 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
US6970935B1 (en) * 2000-11-01 2005-11-29 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
US6801604B2 (en) * 2001-06-25 2004-10-05 International Business Machines Corporation Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
US6839896B2 (en) * 2001-06-29 2005-01-04 International Business Machines Corporation System and method for providing dialog management and arbitration in a multi-modal environment
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7349845B2 (en) * 2003-09-03 2008-03-25 International Business Machines Corporation Method and apparatus for dynamic modification of command weights in a natural language understanding system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170121272A (ko) * 2010-01-15 2017-11-01 아브 이니티오 테크놀로지 엘엘시 데이터 쿼리 관리
KR101877481B1 (ko) * 2010-01-15 2018-07-11 아브 이니티오 테크놀로지 엘엘시 데이터 쿼리 관리
KR20130097513A (ko) * 2012-02-24 2013-09-03 엘지전자 주식회사 음성 인식 결과에 따라 데이터베이스에 액세스하는 멀티미디어 디바이스 및 그 제어 방법
KR20140080717A (ko) * 2012-12-14 2014-07-01 한국전자통신연구원 태스크 그래프 기반 대화 처리 시스템의 태스크 그래프 구축 장치 및 방법
KR20160147950A (ko) * 2014-04-29 2016-12-23 구글 인코포레이티드 분산 광학 문자 인식 및 분산 기계 언어번역을 위한 기법들
KR20170137285A (ko) * 2016-06-03 2017-12-13 주식회사 허브케이 판독／입력 오류 단어 정정 장치 및 방법
WO2018026200A1 (en) * 2016-08-02 2018-02-08 Hyperconnect, Inc. Language translation device and language translation method
US10824820B2 (en) 2016-08-02 2020-11-03 Hyperconnect, Inc. Language translation device and language translation method
KR20190046623A (ko) * 2017-10-26 2019-05-07 가부시키가이샤 히타치세이사쿠쇼 자기-학습 자연 언어 이해를 갖는 다이얼로그 시스템

Also Published As

Publication number Publication date
IL142363A0 (en) 2002-03-10
JP2002527919A (ja) 2002-08-27
KR100431972B1 (ko) 2004-05-22
CN1321296A (zh) 2001-11-07
CA2345665A1 (en) 2000-04-13
EP1133734A2 (en) 2001-09-19
EP1163576A4 (en) 2005-11-30
US20070043574A1 (en) 2007-02-22
CN1160700C (zh) 2004-08-04
CA2345661A1 (en) 2000-04-13
IL142366A (en) 2008-11-26
US7729916B2 (en) 2010-06-01
JP2002526855A (ja) 2002-08-20
EP1125279A4 (en) 2005-02-23
US8082153B2 (en) 2011-12-20
US7137126B1 (en) 2006-11-14
US7418382B1 (en) 2008-08-26
JP2002527800A (ja) 2002-08-27
EP1125279B1 (en) 2008-01-09
WO2000020962A3 (en) 2000-07-13
CN1151488C (zh) 2004-05-26
KR100430953B1 (ko) 2004-05-12
JP4171585B2 (ja) 2008-10-22
JP3703082B2 (ja) 2005-10-05
EP1125277A4 (en) 2002-02-20
JP2003525477A (ja) 2003-08-26
WO2000021073A1 (en) 2000-04-13
CA2345662A1 (en) 2000-04-13
CA2345665C (en) 2011-02-08
CN100472500C (zh) 2009-03-25
KR20010073105A (ko) 2001-07-31
CA2345660A1 (en) 2000-04-13
CN1323435A (zh) 2001-11-21
WO2000020962A2 (en) 2000-04-13
KR20010085878A (ko) 2001-09-07
WO2000021075A1 (en) 2000-04-13
WO2000021232A2 (en) 2000-04-13
DE69937962T2 (de) 2008-12-24
IL142364A0 (en) 2002-03-10
CN1171200C (zh) 2004-10-13
KR100459299B1 (ko) 2004-12-03
EP1133734A4 (en) 2005-12-14
EP1125277A1 (en) 2001-08-22
WO2000021232A3 (en) 2000-11-02
CN1342290A (zh) 2002-03-27
CA2345660C (en) 2006-01-31
WO2000021075A9 (en) 2000-06-08
EP1125279A1 (en) 2001-08-22
ATE383640T1 (de) 2008-01-15
DE69937962D1 (de) 2008-02-21
KR100620826B1 (ko) 2006-09-13
US20090313026A1 (en) 2009-12-17
EP1163576A2 (en) 2001-12-19
CN1321295A (zh) 2001-11-07
IL140805A0 (en) 2002-02-10
KR20020004931A (ko) 2002-01-16
IL142366A0 (en) 2002-03-10

Similar Documents

Publication Publication Date Title
KR100430953B1 (ko) 네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법
US9761241B2 (en) System and method for providing network coordinated conversational services
US6856960B1 (en) System and method for providing remote automatic speech recognition and text-to-speech services via a packet network
US8874447B2 (en) Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US6970935B1 (en) Conversational networking via transport, coding and control conversational protocols
CN102792294B (zh) 自然语言语音服务环境中的混合处理的系统及方法
JP3936718B2 (ja) インターネットコンテンツのアクセスに関するシステム及び方法
EP2008193B1 (en) Hosted voice recognition system for wireless devices
US8209184B1 (en) System and method of providing generated speech via a network
US20070043868A1 (en) System and method for searching for network-based content in a multi-modal system using spoken keywords
US20060276230A1 (en) System and method for wireless audio communication with a computer
US20090187410A1 (en) System and method of providing speech processing in user interface
CN107004407A (zh) 增强型语音端点确定
US20120004910A1 (en) System and method for speech processing and speech to text
JP2005151553A (ja) ボイス・ポータル
Tsourakis et al. An architecture for miultiemodal applications over wireless data networks
JP2011139303A (ja) 通信システム、制御装置、通信制御方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070402

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee