KR101922744B1 - 위치-기반 대화 해석 기법 - Google Patents

위치-기반 대화 해석 기법 Download PDF

Info

Publication number
KR101922744B1
KR101922744B1 KR1020137025540A KR20137025540A KR101922744B1 KR 101922744 B1 KR101922744 B1 KR 101922744B1 KR 1020137025540 A KR1020137025540 A KR 1020137025540A KR 20137025540 A KR20137025540 A KR 20137025540A KR 101922744 B1 KR101922744 B1 KR 101922744B1
Authority
KR
South Korea
Prior art keywords
voice
query
environmental context
based query
location
Prior art date
Application number
KR1020137025540A
Other languages
English (en)
Other versions
KR20140025361A (ko
Inventor
래리 폴 헤크
마두수단 친사쿤타
데이비드 미트비
리자 스티펠만
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/077,368 external-priority patent/US9298287B2/en
Priority claimed from US13/077,303 external-priority patent/US9858343B2/en
Priority claimed from US13/077,431 external-priority patent/US10642934B2/en
Priority claimed from US13/077,233 external-priority patent/US20120253789A1/en
Priority claimed from US13/077,455 external-priority patent/US9244984B2/en
Priority claimed from US13/076,862 external-priority patent/US9760566B2/en
Priority claimed from US13/077,396 external-priority patent/US9842168B2/en
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140025361A publication Critical patent/KR20140025361A/ko
Application granted granted Critical
Publication of KR101922744B1 publication Critical patent/KR101922744B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Stored Programmes (AREA)

Abstract

본 발명에 따르면 위치-기반 대화 해석이 제공된다. 사용자로부터 쿼리를 수신하면, 쿼리와 연관된 환경적 맥락이 생성된다. 쿼리는 이 환경적 맥락에 따라 해석될 수 있다. 해석된 쿼리는 실행될 수 있으며 쿼리와 연관된 적어도 하나의 결과가 사용자에게 제공될 수 있다.

Description

위치-기반 대화 해석 기법{LOCATION-BASED CONVERSATIONAL UNDERSTANDING}
위치-기반 대화 해석은 환경적 맥락을 활용하여 쿼리 실행 및 결과들을 향상시키는 메커니즘을 제공한다. 종래의 음석 인식 프로그램들은 한 사용자로부터 다른 사용자로의 정보(예컨대, 음성 어조(speech utterance), 지리적 데이터, 소정 위치들의 음향적 환경, 특정 위치로부터 만들어지는 전형적인 쿼리들)를 활용하여 새로운 사용자들 및/또는 기존 사용자들로부터 새로운 쿼리들의 품질과 정확성을 향상시키는 기법을 가지지 않았다. 어떤 경우는 대화 해석에 있어 유사하거나 잠재적으로 관련된 쿼리들을 이용하지 못하고 음성-텍스트 변환이 행해져야만 했다.
음성-텍스트 변환(즉, 음성 인식)은 컴퓨팅 시스템에 의해 처리될 수 있는 음성 표현의 텍스트 표현으로의 변환을 포함할 수 있다. 음향 모델링 및/또는 언어 모델링이 현대적인 통계-기반 음성 인식 알고리즘에서 사용될 수 있다. 'Hidden Markov model(HMMs)'은 많은 종래의 시스템에서 널리 사용되고 있다. HMMs는 심볼이나 퀀티티(quantities)의 시퀀스를 출력할 수 있는 통계적 모델들을 포함할 수 있다. HMMs는 음성 신호를 단편적인 정적 신호(piecewise stationary signal) 또는 짧은 시간 동안 정적 신호(short-time stationary signal)로 볼 수 있기 때문에 음성 인식에 사용될 수 있다. 짧은 시간(예컨대, 10 밀리초) 동안에, 음성은 정적 프로세스로 근사될 수 있다. 그러므로 음성은 많은 확률론적 용도를 위해 Markov 모델로 고려될 수 있다.
이 개요는 아래에서 상세한 설명에서 더 설명할 일부 선택된 개념들을 단순한 형태로 소개하기 위해 제공된다. 이 개요는 청구된 주제의 핵심 특징 또는 필수 특징을 식별하기 위한 것이 아니고, 청구된 주제의 범위를 제한하는데 사용되려는 것도 아니다.
위치-기반 대화 해석이 제공된다. 사용자로부터 쿼리를 수신하면, 쿼리와 연관된 환경적 맥락이 생성된다. 쿼리는 이 환경적 맥락에 따라 해석될 수 있다. 해석된 쿼리는 실행될 수 있으며 쿼리와 연관된 적어도 하나의 결과가 사용자에게 제공될 수 있다.
전술한 일반적 설명 및 후술할 상세한 설명은 모두 예시이며 예시적인 용도로만 사용된 것이다. 따라서, 전술한 일반적 설명 및 후술할 상세한 설명은 제한적인 의미로 고려되어서는 안된다. 오히려, 다른 특징 또는 변형이 여기에 설명된 것에 더하여 제공될 수 있다. 예를 들어, 실시예들은 상세한 설명에 기술된 다양한 특징들의 조합들 또는 하위 조합들에 대한 것일 수 있다.
첨부된 도면들은 본 명세서에 통합되어 본 명세서의 일부를 이루며, 본 발명의 다양한 실시예를 도시한다. 도면에서,
도 1은 동작 환경에 대한 블록도이다.
도 2는 위치-기반 대화 해석을 제공하는 방법에 대한 흐름도이다.
도 3은 컴퓨팅 장치를 포함하는 시스템의 블록도이다.
후술하는 상세한 설명은 첨부된 도면들을 참조한다. 가능한 경우, 동일한 참조번호가 도면 및 후술할 설명에서 동일하거나 유사한 구성 요소들을 지칭한다. 본 발명의 실시예들이 기술되었지만, 변경, 적응 및 다른 구현들이 가능하다. 예를 들어, 도면에 도시된 요소들에 대한 대체, 추가 또는 변경이 있을 수 있으며, 여기에 개시된 방법들이 개시된 방법들이 개시된 방법들에 단계를 대체, 재구성, 추가하는 것에 의해 변경될 수 있다. 따라서, 후술할 상세한 설명은 발명을 한정하는 것이 아니다. 발명의 적절한 범위는 첨부된 청구범위에 의해 정의된다.
위치-기반 대화 해석이 제공된다. 예를 들어, 변환 및 변환된 진술에 포함된 쿼리 결과의 정확성을 향상시키기 위하여 복수의 사용자들로부터의 정보를 서로 연관시키는 음성-텍스트 변환 시스템이 제공될 수 있다. 본 발명의 실시예에 따라, 개인 보조 프로그램(personal assistant program)은 복수의 위치에서 사용자들로부터의 음성-기반 쿼리들을 수신할 수 있다. 각각의 쿼리들에 대해 음향적 및/또는 환경적 특성들이 분석되며, 이러한 특성들은 저장되고 그 쿼리가 수신된 위치와 연관될 수 있다. 예를 들어, 지하철역에 있는 사용자로부터 수신된 쿼리는 군중들이나 지하철에 의한 배경음 및/또는 타일 벽의 음향적 에코의 존재를 탐지할 수 있다. 그리고 나서 이 특성들이 그 위치에서 수신되는 장래의 쿼리들로부터는 필터링(filitered out)되도록 나타냄으로서, 그 쿼리들의 변환에 더 큰 정확성을 허용할 수 있다. 본 발명의 실시예들에 따라, 예를 들어 사용자의 GPS(Global Positioning System) 위치, 사용자와 연관된 지역 코드, 사용자와 연관된 우편번호 및/또는 사용자가 랜드마크(예컨대, 기차역, 체육관, 박물관, 오피스 빌딩 등)에 가까운 정도 등에 의해 위치가 정의될 수 있다.
쿼리를 처리하는 것은 그 쿼리를 음향 모델(acoustic model)에 따라 조정하는 것을 포함할 수 있다. 예를 들어, 음향 모델은 특정 위치에 존재한다고 알려진 배경음을 포함할 수 있다. 음향 모델을 적용하는 것은 쿼리로 하여금 관계없는 소리를 무시함으로서 좀 더 정확하게 변환될 수 있도록 해준다. 음향 모델은 또한 쿼리와 연관된 어떠한 결과들의 디스플레이를 변경할 수 있게 해줄 수 있다. 예를 들어, 특정한 시끄러운 환경에서, 결과들을 오디오보다는 스크린에 디스플레이되도록 할 수 있다. 환경적 맥락은 음성-텍스트 변환을 돕기 위해 해석 모델과도 연관될 수 있다. 예를 들어, 해석 모델은 HMM(Hidden Markov Model)을 포함할 수 있다. 환경적 맥락은 쿼리를 실행하는 것을 돕기 위해 시맨틱 모델(semantic model)과 더 연관될 수 있다. 예를 들어, 시맨틱 모델은 온톨로지(ontology)를 포함할 수 있다.
또한, 쿼리의 주제는 미래의 쿼리들에 대한 결과를 향상시키는데 사용될 수 있다. 예를 들어, 지하철역에 있는 사용자들이 "다음은 언제인가?"라는 쿼리를 주면, 개인 보조 프로그램은 몇몇 쿼리들을 거치는 동안, 사용자가 원하는 것이 다음 기차가 언제 도착하는가라는 것을 판단할 수 있다. 이것은 처음 사용자로부터의 쿼리에 대한 추가 설명을 요청하고, 장래에 사용하기 위해 그 설명을 저장하는 것에 의해 달성될 수 있다. 다른 예로서, 만약 한 사용자가 "다음은 언제인가?"라는 쿼리를 주고 다른 사용자가 "다음 기차는 언제인가?"라는 쿼리를 주면, 프로그램은 이들 쿼리들을 관련짓고 두 사용자 모두 동일한 정보를 요청하고 있다는 가정을 할 수 있다.
도 1은 위치-기반 대화 해석을 제공하는 동작 환경 (100)의 블록도이다. 동작 환경(100)은 개인 보조 프로그램 (112), 음성-텍스트 변환기 (114) 및 맥락 데이터베이스(116)를 포함하는 음성 대화 시스템(spoken dialog system, SDS)(110)을 포함할 수 있다. 개인 보조 프로그램(112)은 제1 위치(140)에서 제1 복수의 사용자들(130(A)-(C)) 및/또는 제2 위치(160)에서 제2 복수의 사용자들(150(A)-(C))로부터 네트워크(120)를 통해 쿼리들을 수신할 수 있다. 맥락 데이터베이스(116)는 제1 복수의 사용자들(130(A)-(C)) 및/또는 제2 복수의 사용자들(150(A)-(C))과 같은 사용자들로부터 수신된 쿼리들과 연관된 맥락 데이터를 저장할 수 있다. 맥락 데이터는 음향적 및/또는 환경적 특성들과 쿼리 주제, 쿼리의 시간/날짜, 사용자 세부사항, 및/또는 쿼리가 만들어진 장소와 같은 쿼리 맥락 정보를 포함할 수 있다. 본 발명의 실시예들에 따르면, 네트워크(120)는 예를 들어, 사설 데이터 네트워크(예컨대 인트라넷), 셀룰러 데이터 네트워크, 및/또는 인터넷과 같은 공용 네트워크를 포함할 수 있다.
에이전트(agent)는 음성 대화 시스템(SDS)과 연관될 수 있다. 이러한 시스템들은 사람들이 그들의 목소리로 컴퓨터들과 상호작용을 할 수 있도록 해준다. SDS를 동작시키는 주요 컴포넌트는 다이얼로그 관리자(dialog manager)를 포함할 수 있는데, 이 컴포넌트는 사용자와의 다이얼로그-기반 대화를 관리한다. 다이얼로그 관리자는 음성 인식이나 자연어 해석 컴포넌트 출력들, 이전 차례의 대화에서의 맥락, 사용자 문맥, 및/또는 지식 베이스(예컨대 검색 엔진)로부터 반환된 결과들과 같은 복수의 입력 소스들로부터의 조합을 통해 사용자의 의도를 판단할 수 있다. 의도를 판단한 후에, 다이얼로그 관리자는 최종 결과들을 사용자에게 디스플레이하거나 및/또는 그들의 의도를 만족시키기 위한 사용자와의 다이얼로그를 계속하는 것과 같은 행동을 취할 수 있다. 음성 대화 시스템은 위치 및/또는 음성-기반 입력들을 처리하기 위한 음성 언어 해석 모델과 연관된 음향 모델과 같은 복수의 대화 해석 모델을 포함할 수 있다.
도 2는 위치-기반 대화 해석을 제공하기 위한 본 발명의 실시예에 따른 방법(200)과 연관된 일반적인 단계들의 흐름도이다. 방법(200)은 도 3과 관련하여 아래에서 더 자세히 설명될 컴퓨팅 장치(300)를 사용하여 구현될 수 있다. 방법(200)의 단계들을 구현하는 방법이 이하에서 더 상세히 설명될 것이다. 방법(200)은 시작 블록(205)에서 시작하여 컴퓨팅 장치(300)가 한 위치에 있는 사용자로부터 음성-기반 쿼리를 수신할 수 있는 단계(210)로 진행한다. 예를 들어, 사용자(130(A))는 셀룰러 전화기와 같은 장치를 통해 쿼리를 SDS(110)로 송신할 수 있다.
방법(200)은 단계(210)로부터 단계(215)로 진행하여 위치와 연관된 환경적 맥락이 메모리 저장장치에 존재하는지 여부를 컴퓨팅 장치(300)가 판단하도록 한다. 예를 들어, SDS(110)는 쿼리가 수신된 위치(예컨대, 제1 위치(140))를 식별하고, 그 위치와 연관된 환경적 맥락이 맥락 데이터베이스(116)에 존재하는지 여부를 판단할 수 있다.
만약 그 위치와 연관된 맥락이 존재하지 않는다면, 방법(200)은 단계(220)로 진행하여 컴퓨팅 장치(300)가 음성-기반 쿼리에서의 적어도 하나의 음향 간섭(acoustic interference)을 식별하도록 한다. 예를 들어, SDS(110)는 쿼리의 오디오를 분석하고 사용자(130(A)) 주변의 많은 군중들 및/또는 지나가는 기차와 연관된 것과 같은 배경 잡음을 식별할 수 있다.
그리고 나서 방법(200)은 단계(225)로 나아가 컴퓨팅 장치(300)가 음성-기반 쿼리와 연관된 적어도 하나의 주제를 식별하도록 한다. 예를 들어, 쿼리가 "다음 도착은 언제인가?"라는 질문을 포함한다면, SDS(110)는 사용자가 기차역에 있을 때 기차 시간표를 쿼리의 주제로 식별할 수 있다.
그리고 나서 방법(200)은 단계(230)으로 진행하여 컴퓨팅 장치(300)가 메모리 저장장치에 저장하기 위해 위치와 연관된 새로운 환경적 맥락을 생성하도록 한다. 예를 들어, SDS(110)는 식별된 음향 간섭 및 쿼리 주제를 사용자의 위치와 연관된 것으로 맥락 데이터베이스(116)에 저장할 수 있다.
만약 위치와 연관된 맥락이 존재한다면, 방법(200)은 단계(235)로 진행하여 컴퓨팅 장치(300)가 그 위치와 연관된 환경적 맥락을 로딩하도록 한다. 예를 들어, SDS(110)는 전술한 것과 같이 환경적 맥락을 맥락 데이터베이스(116)로부터 로딩할 수 있다.
단계(240)에서 환경적 맥락을 생성하거나 또는 단계(235)에서 맥락을 로딩한 후에, 방법(200)은 단계(240)로 진행하여 컴퓨팅 장치(300)가 환경적 맥락에 따라 음성-기반 쿼리를 텍스트-기반 쿼리로 변환하도록 한다. 예를 들어, SDS(110)는 환경적 맥락과 연관된 적어도 하나의 음향 간섭을 제거하는 필터를 적용하는 것에 의해 음성-기반 쿼리를 텍스트-기반 쿼리로 변환할 수 있다.
그리고 나서 방법(200)은 단계(245)로 진행하여 컴퓨팅 장치(300)가 환경적 맥락에 따라 텍스트-기반 쿼리를 실행하도록 한다. 예를 들어, SDS(110)는 환경적 맥락과 연관된 적어도 하나의 주제와 연관하여 검색 영역(예컨대, 기차 시간표) 내에서 쿼리(예컨대, "다음 도착은 언제인가?")를 실행할 수 있다.
그리고 나서 방법(200)은 단계(250)로 진행하여 컴퓨팅 장치(300)가 실행된 텍스트-기반 쿼리의 적어도 하나의 결과를 사용자에게 제공하도록 한다. 예를 들어, SDS(110)는 디스플레이를 위해 사용자(130(A))와 연관된 장치(예컨대, 셀룰러 전화기)에 결과를 전송할 수 있다. 그리고 나서 방법(200)은 단계(255)에서 종료된다.
본 발명에 따른 일 실시예는 위치-기반 대화 해석을 제공하는 시스템을 포함할 수 있다. 시스템은 메모리 저장장치와 메모리 저장장치에 결합된 프로세싱 유닛을 포함할 수 있다. 프로세싱 유닛은 사용자로부터 쿼리를 수신하여, 그 쿼리와 연관된 환경적 맥락을 생성하고, 그 쿼리를 환경적 맥락에 따라 해석하고, 해석된 쿼리를 실행하고, 쿼리의 적어도 하나의 결과를 사용자에게 제공할 수 있다. 쿼리는, 예를 들어, 프로세싱 유닛이 이를 컴퓨터-판독가능 텍스트로 변환하는 음성 쿼리를 포함할 수 있다. 본 발명의 실시예들에 따라, 음성-텍스트 변환은 해석 모델 및/또는 시맨틱 모델과 연관된 시맨틱 개념들과 연관된 다양한 가능한 용어들에 대한 통계적 가중치를 주는 것을 포함하는 Hidden Markov 모델 알고리즘을 활용할 수 있다. 프로세싱 유닛은, 예를 들어, 그 위치로부터 수신된 적어도 하나의 이전 쿼리에 따라 적어도 하나의 예측된 단어에 대한 통계적 가중치를 증가시키거나, 그 통계적 가중치를 환경적 맥락의 일부로서 저장할 수 있다.
환경적 맥락은 그 쿼리가 수신된 위치와 연관된 음향 모델을 포함할 수 있다. 프로세싱 유닛은 음향 모델에 따라 음성-기반 쿼리의 적어도 하나의 배경음에 따라 쿼리를 조정할 수 있다. 예를 들어, 주어진 위치(예컨대, 기차역)로부터 수신된 음성 쿼리들에 배경음(예컨대, 기차의 기적소리)이 존재한다는 것이 알려져 있을 수 있다. 배경음은 탐지되고, 음의 높이(pitch), 진폭 및 다른 음향 특성들이 측정될 수 있다. 쿼리는 그런 소리들을 무시하도록 조정될 수 있고, 그 소리는 그 위치로부터의 미래의 쿼리들에 적용되기 위해 계산되고 저장될 수 있다. 프로세싱 유닛은 또한 제2 사용자로부터 제2 음성-기반 쿼리를 수신하여 갱신된 음향 모델에 따라 동일한 배경음을 제거하도록 쿼리를 조정할 수 있다. 프로세싱 유닛은 또 복수의 사용자들로부터의 복수의 쿼리들과 연관된 환경적 맥락들을 종합하여 그 위치와 연관된 종합된 환경적 맥락들(aggregated environmental contexts)로서 저장할 수 있다.
본 발명에 따른 다른 실시예는 위치-기반 대화 해석을 제공하는 시스템을 포함할 수 있다. 시스템은 메모리 저장장치와 메모리 저장장치에 결합된 프로세싱 유닛을 포함할 수 있다. 프로세싱 유닛은 한 위치에 있는 사용자로부터 음성-기반 쿼리를 수신하고, 그 위치와 연관된 환경적 맥락을 로딩하고, 음성-기반 쿼리를 환경적 맥락에 따라 텍스트로 변환하고, 환경적 맥락에 따라 변환된 쿼리를 실행하고, 실행된 쿼리와 연관된 적어도 하나의 결과를 사용자에게 제공할 수 있다. 환경적 맥락은, 예를 들어, 적어도 하나의 이전 쿼리의 시간, 적어도 하나의 이전 쿼리의 날짜, 적어도 하나의 이전 쿼리의 주제, 온톨로지를 포함하는 시맨틱 모델, 해석 모델, 그 위치의 음향 모델을 포함할 수 있다. 프로세싱 유닛은 또한 그 위치와 연관된 알려진 음향 간섭에 따라 쿼리를 조정할 수 있다. 프로세싱 유닛은 또한 복수의 사용자로부터 수신된 복수의 쿼리들에 따라 종합된 복수의 위치와 연관된 복수의 환경적 맥락들을 저장할 수 있다. 프로세싱 유닛은 또한 사용자로부터 변환된 텍스트에 대한 교정을 수신하고 그 교정에 따라 환경적 맥락을 갱신할 수 있다. 프로세싱 유닛은 또한 제2 위치에 있는 사용자로부터 제2 음성-기반 쿼리를 수신하고, 제2 위치와 연관된 제2 환경적 맥락을 로딩하고, 제2 음성-기반 쿼리를 제2 환경적 맥락에 따라 텍스트로 변환하고, 변환된 쿼리를 제2 환경적 맥락에 따라 실행하고, 실행된 쿼리와 연관된 적어도 하나의 제2 결과를 사용자에게 제공할 수 있다.
본 발명에 의한 또다른 실시예는 맥락-이해(context-aware) 환경을 제공하는 시스템을 포함한다. 시스템은 메모리 저장장치와 메모리 저장장치에 결합된 프로세싱 유닛을 포함할 수 있다. 프로세싱 유닛은 한 위치에 있는 사용자로부터 음성-기반 쿼리를 수신하고 그 위치와 연관된 환경적 맥락이 메모리 저장장치에 존재하는지 여부를 판단한다. 환경적 맥락이 존재하지 않는다는 판단에 응답하여, 프로세싱 유닛은 음성-기반 쿼리 내의 적어도 하나의 음향 간섭을 식별하고, 그 음성-기반 쿼리와 연관된 적어도 하나의 주제를 식별하고, 메모리 저장장치에 저장할 그 위치와 연관된 새로운 환경적 맥락을 생성한다. 환경적 맥락이 존재한다는 판단에 응답하여, 프로세싱 유닛은 그 환경적 맥락을 로딩한다. 그리고 나서 프로세싱 유닛은 환경적 맥락에 따라 음성-기반 쿼리를 텍스트-기반 쿼리로 변환하고 (환경적 맥락에 따라 음성-기반 쿼리를 텍스트-기반 쿼리로 변환하는 것은 그 환경적 맥락과 연관된 적어도 하나의 음향 간섭을 제거하는 필터를 적용하는 것을 포함함), 텍스트-기반 쿼리를 환경적 맥락에 따라 실행하며 (환경적 맥락에 따라 텍스트-기반 쿼리를 실행하는 것은 적어도 하나의 음향 간섭이 음향 모델과 연관되고 적어도 하나의 식별된 주제가 환경적 맥락과 연관된 시맨틱 모델과 연관된 쿼리를 실행하는 것을 포함함), 실행된 텍스트-기반 쿼리의 적어도 하나의 결과를 사용자에게 제공할 수 있다.
도 3은 컴퓨팅 장치(300)를 포함하는 시스템의 블록도이다. 본 발명의 실시예에 따르면, 전술한 메모리 저장장치와 프로세싱 유닛은 도 3의 컴퓨팅 장치(300)와 같은 컴퓨팅 장치에 구현될 수 있다. 하드웨어, 소프트웨어, 또는 펌웨어의 어떠한 적절한 조합이라도 메모리 저장장치와 프로세싱 유닛을 구현하기 위해 사용될 수 있다. 예를 들어, 메모리 저장장치와 프로세싱 유닛은 컴퓨팅 장치(300)와 함께 구현되거나, 또는 컴퓨팅 장치(300)와 결합된 다른 어떤 컴퓨팅 장치(318)와 함께 구현될 수 있다. 전술한 시스템, 장치, 및 프로세서들은 예시적인 것으로 이와 다른 시스템, 장치, 및 프로세서가 본 발명의 실시예에 따라 전술한 메모리 저장장치와 프로세싱 유닛을 포함할 수 있다. 게다가, 컴퓨팅 장치(300)는 상술한 대로 시스템(100)에 대한 운영 환경을 포함할 수 있다. 시스템(100)은 다른 환경에서 동작할 수 있으며 본 컴퓨터 장치(300)에 제한되지 않는다.
도 3을 참조하면, 본 발명의 실시예에 따른 시스템은 컴퓨팅 장치(300)와 같은 컴퓨팅 장치를 포함한다. 기본적인 구성에서, 컴퓨팅 장치(300)는 적어도 하나의 프로세싱 유닛(302)과 시스템 메모리(304)를 포함할 수 있다. 구성 및 컴퓨팅 장치의 유형에 따라, 시스템 메모리(304)는, 휘발성(예컨대, 랜덤 액세스 메모리(RAM)), 비휘발성(예컨대, 판독 전용 메모리(ROM)), 플래시 메모리, 또는 어떤 조합이라도 포함할 수 있으며 이에 제한되지 않는다. 시스템 메모리(304)는 운영 체제(305), 하나 이상의 프로그램 모듈(306)을 포함할 수 있고, 개인 보조 프로그램(112)을 포함할 수 있다. 운영 체제(305)는, 예를 들면, 컴퓨팅 장치(300)의 동작을 제어하는 데 적합할 수 있다. 게다가, 본 발명의 실시예는 그래픽 라이브러리, 다른 운영 체제, 또는 다른 애플리케이션 프로그램과 함께 실시될 수 있으며 어떤 특정한 프로그램 또는 시스템으로 제한되지 않는다. 이 기본적인 구성이 도 3에서 점선(308)내의 컴포넌트들로서 도시되어 있다.
컴퓨팅 장치(300)는 부가적인 특징 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(300)는 또한 자기 디스크, 광학 디스크, 또는 테이프와 같은 추가적인 (착탈식 및/또는 고정식) 데이터 저장 장치를 포함할 수 있다. 그러한 추가적인 저장장치들이 도 3에서 착탈식 저장장치(309)와 고정식 저장장치(310)로 도시되어 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보를 저장하기 위한 어떤 방법 또는 기술이 구현된 휘발성 및 비휘발성, 착탈식 및 고정식 매체를 포함할 수 있다. 시스템 메모리(304), 착탈식 저장장치(309), 및 고정식 저장장치(310)는 모두 컴퓨터 저장 매체(즉, 메모리 저장장치)의 예시이다. 컴퓨터 저장 매체는, RAM, ROM, 전자적으로 지울 수 있는 판독-전용 메모리(EEPROM), 플래시 메모리나 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치나 다른 자기 저장장치, 또는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(300)에 의해 접속될 수 있는 어떠한 다른 매체를 포함하며, 이에 제한되지 않는다. 그러한 어떠한 컴퓨터 저장 매체라도 장치(300)의 부분이 될 수 있다. 컴퓨팅 장치(300)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 입력 장치(들)(312)를 포함할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(314)도 포함될 수 있다. 전술한 장치들은 예시적인 것이며 다른 것들도 사용될 수 있다.
컴퓨팅 장치(300)는 또한 장치(300)로 하여금 예를 들어 인터넷이나 인트라넷과 같은 분산 컴퓨팅 환경의 네트워크를 통하는 것과 같이 다른 컴퓨팅 장치(318)와 통신하도록 해주는 통신 접속부(316)를 포함할 수 있다. 통신 접속부(316)는 통신 매체의 한 에시이다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파나 다른 전송 메커니즘과 같은 변조된 데이터 신호의 다른 데이터에 의해 구현되며, 어떠한 정보 전달 매체라도 포함한다. "변조된 데이터 신호"라는 용어는 하나 이상의 특성 집합을 가지거나 신호 중에 정보를 암호화하는 등의 방식으로 변화된 신호를 기술할 수 있다. 예시로서, 통신 매체는 유선 네트워크나 직접-유선 연결과 같은 유선 매체, 음파, 라디오 주파수(RF), 적외선, 또는 다른 무선 매체와 같은 무선 매체를 포함하며, 이에 제한되지 않는다. 여기서 사용되는 컴퓨터 판독가능 매체라는 용어는 저장 매체와 통신 매체 모두를 포함한다.
전술한 바와 같이, 시스템 메모리(304)에 운영 체제(305)를 포함하는 몇몇 프로그램 모듈과 데이터 파일이 저장될 수 있다. 프로세싱 유닛(302)에서 실행되는 동안, 프로그래밍 모듈(306)(예컨대, 개인 보조 프로그램(112))은 예를 들어, 전술한 대로 방법(200)의 단계 중의 하나 이상을 포함하는 프로세스를 수행할 수 있다. 전술된 프로세스는 예시적인 것이며, 프로세싱 유닛(302)은 이와 다른 프로세스들을 수행할 수 있다. 본 발명의 실시예들에 따라 사용될 수 있는 다른 프로그래밍 모듈들은 전자 메일 및 연락처 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드쉬트 애플리케이션, 데이터베이스 애플리케이션, 슬라이드 프레젠테이션 애플리케이션, 드로잉 또는 컴퓨터-보조 애플리케이션 프로그램 등을 포함할 수 있다.
일반적으로, 본 발명의 실시예들에 따라, 프로그램 모듈들은 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 특정 과제를 수행할 수 있거나 특정 추상 데이터 유형을 구현할 수 있는 다른 유형의 구조체를 포함한다. 게다가, 본 발명의 실시예들은 휴대용 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그래머블 소비자 가전, 미니컴퓨터, 메인프레임 컴퓨터 등의 다른 컴퓨터 시스템 구성들에서 실시될 수 있다. 본 발명의 실시예들은 또한 통신 네트워크를 통해 연결된 원격 프로세싱 장치들에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 지역 및 원격 메모리 저장장치 양쪽에 위치할 수 있다.
게다가, 본 발명의 실시예들은 이산 전자 소자(discrete electronic element)를 포함하는 전기 회로, 논리 게이트를 포함하는 패키징된 또는 통합된 전기 칩, 마이크로프로세서를 활용하는 회로, 또는 전자 소자나 마이크로프로세서를 포함하는 단일 칩 상에서 실시될 수 있다. 본 발명의 실시예들은 또한 기계적, 광학적, 유체의 또는 양자 기술을 포함하는 그러나 이에 제한되지 않는, 예를 들어, AND, OR, 및 NOT과 같은 논리적 동작을 수행할 수 있는 다른 기술들을 사용하여 실시될 수 있다. 이에 더하여, 본 발명의 실시예들은 범용 목적 컴퓨터나 또는 어떤 다른 회로나 시스템 내에서 실시될 수 있다.
본 발명의 실시예들은, 컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체와 같은, 예를 들어, 컴퓨터 프로세스(메소드), 컴퓨팅 시스템, 또는 제조품으로 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 프로세스를 실행하기 위한 명령어들의 컴퓨터 프로그램을 인코딩한 컴퓨터 저장 매체일 수 있다. 컴퓨터 프로그램 제품은 또한 컴퓨팅 시스템에 의해 판독가능한 전파 신호나 캐리어이고 컴퓨터 프로세스를 실행하기 위한 명령어들의 컴퓨터 프로그램을 인코딩한 것일 수 있다. 따라서, 본 발명은 하드웨어 및/또는 (펌웨어, 레지던트 애플리케이션, 마이크로-코드 등을 포함하는) 소프트웨어에서 구현될 수 있다. 바꿔 말하면, 본 발명의 실시예들은 명령어 실행 시스템에 의해 사용되거나 그에 연결된 매체에서 구현되는 컴퓨터-사용가능 또는 컴퓨터-판독가능 프로그램 코드를 가진 컴퓨터에서 사용가능한 또는 컴퓨터-판독가능한 저장 매체 상의 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체는 명령어 실행 프로그램, 기구 또는 장치에 의해 사용되거나 그에 연결되는 프로그램을 포함하고, 저장하고, 통신하고, 전파하고, 또는 전송하는 어떠한 매체라도 될 수 있다.
컴퓨터-사용가능 또는 컴퓨터-판독가능 매체는, 예를 들어, 전기, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 기구, 장치, 또는 전파 매체일 수 있으나, 이에 제한되지 않는다. 더 구체적인 컴퓨터-판독가능 매체의 예로는 (비한정적 목록임) 하나 이상의 전선들을 포함하는 전기적 접속부, 포터블 컴퓨터 디스켓, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 지울 수 있는 프로그램가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 및 포터블 컴팩트 디스크 판독 전용 메모리(CD-ROM)가 있다. 컴퓨터-사용가능 또는 컴퓨터 판독가능 매체는 프로그램이 인쇄된 종이나 다른 적합한 매체일 수도 있음을 주목해야 하는데, 프로그램이 종이나 다른 매체의 예컨대 광학적 스캐닝을 통해 전기적으로 캡춰되고, 그리고 나서 컴파일되고, 해석되고, 또는 필요한 경우 적절한 방법으로 처리되어, 컴퓨터 메모리에 저장될 수 있기 때문이다.
본 발명의 실시예들은, 예를 들어, 본 발명의 실시예들에 따른 방법, 시스템, 및 컴퓨터 프로그램 제품의 블록도 및/또는 동작 도시를 참조하여 전술되었다. 블록들에 기록된 기능/동작들은 플로우차트에 도시된 것과 다른 순서대로 수행될 수도 있다. 예를 들어, 연관된 기능/동작들에 따라 연속으로 보이는 두 블록들이 사실은 사실상 동시에 실행되거나 블럭들이 때로는 반대 순서로 실행될 수도 있다.
본 발명의 몇몇 실시예들이 기술되었지만, 다른 실시예들이 존재할 수 있다. 그리고, 비록 본 발명의 실시예들이 메모리 및 다른 저장 매체에 저장된 데이터와 연관된 것으로 기술되었지만, 데이터는 하드디스크, 플로피디스크, CD-ROM, 인터넷으로부터의 전송파, RAM이나 ROM의 다른 형태들과 같은 보조적인 저장장치와 같은 다른 유형의 컴퓨터-판독가능 매체에 저장되거나 그로부터 판독될 수도 있다. 게다가, 본 명세서에 개시된 방법들의 단계들은 본 발명을 벗어나지 않으면서 단계들을 재정렬하거나 및/또는 단계들을 삽입 또는 삭제하는 것을 포함하는 임의의 방식으로도 수정될 수 있다.
여기에 포함된 코드의 저작권을 포함한 모든 권리는 출원인에게 부여된 출원인의 재산이다. 출원인은 여기에 포함된 코드의 모든 권리를 보유하고 보존하며, 등록된 특허의 재생과 연계되어서만 그에 대한 재생을 허용하며, 다른 용도로는 허용하지 않는다.
본 명세서는 여러 실시예들을 포함하지만, 본 발명의 범위는 후술될 청구범위에 의해 규정된다. 또한, 본 명세서는 구조적 특징 및/또는 방법적 동작을 특정하는 언어로서 기술되었지만, 청구범위는 전술한 특징 또는 동작으로 한정되는 것이 아니다. 오히려, 전술된 특정한 특징들과 동작들은 본 발명의 실시예들의 예시로서 개시된 것이다.

Claims (18)

  1. 위치-기반 대화 해석을 제공하는 방법으로서,
    컴퓨팅 장치가 사용자로부터 음성-기반 쿼리를 수신하는 단계와,
    상기 사용자의 위치와 연관된 환경적 맥락이 메모리 저장장치에 존재하는지 여부를 판단하는 단계와,
    상기 환경적 맥락이 존재하지 않는다고 판단되면,
    상기 음성-기반 쿼리 내의 적어도 하나의 음향 간섭(acoustic interference)을 식별하고,
    상기 음성-기반 쿼리와 연관된 적어도 하나의 주제를 식별하고,
    상기 음성-기반 쿼리와 연관된 상기 식별된 적어도 하나의 음향 간섭 및 상기 식별된 적어도 하나의 주제를 포함하는 환경적 맥락을 생성하고,
    상기 환경적 맥락을 상기 메모리 저장장치에 저장하는 단계와,
    상기 환경적 맥락이 존재한다고 판단되면, 상기 사용자의 위치와 연관된 환경적 맥락을 로딩하는 단계와,
    상기 환경적 맥락에 포함된 특성에 따라 상기 음성-기반 쿼리를 해석하는 단계와,
    텍스트-기반 쿼리를 생성하는 단계 - 상기 텍스트 기반 쿼리를 생성하는 단계는
    상기 음성-기반 쿼리의 주제(subject)를 판단하는 단계와,
    상기 음성-기반 쿼리의 주제와 종합된 환경적 맥락(aggregated environmental context)을 서로 연관시키는 단계를 포함함 - 와,
    상기 텍스트-기반 쿼리를 실행하는 단계와,
    상기 텍스트-기반 쿼리의 적어도 하나의 결과를 상기 사용자에게 제공하는 단계를 포함하는
    위치-기반 대화 해석 제공 방법.
  2. 제 1 항에 있어서,
    상기 음성-기반 쿼리에 음성-텍스트 변환을 수행하는 단계를 더 포함하는
    위치-기반 대화 해석 제공 방법.
  3. 제 1 항에 있어서,
    상기 음성-기반 쿼리를 해석하는 단계는 한 위치로부터 수신된 적어도 하나의 이전 쿼리에 따라 적어도 하나의 대화 해석 모델을 조정하는 단계를 포함하는
    위치-기반 대화 해석 제공 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 대화 해석 모델은 상기 음성-기반 쿼리가 수신된 위치와 연관된 음향 모델(acoustic model)을 포함하는
    위치-기반 대화 해석 제공 방법.
  5. 제 4 항에 있어서,
    상기 음성-기반 쿼리를 해석하는 단계는 상기 음향 모델에 따라 상기 음성-기반 쿼리와 연관된 적어도 하나의 배경음(background sound)에 기초하여 상기 음성-기반 쿼리를 조정하는 단계를 더 포함하는
    위치-기반 대화 해석 제공 방법.
  6. 제 5 항에 있어서,
    상기 배경음은 상기 음성-기반 쿼리 내에서 측정되는
    위치-기반 대화 해석 제공 방법.
  7. 제 6 항에 있어서,
    상기 배경음을 상기 위치와 연관된 음향 특성(acoustic characteristic)으로서 저장하는 단계를 더 포함하는
    위치-기반 대화 해석 제공 방법.
  8. 제 1 항에 있어서,
    상기 위치와 연관된 상기 종합된 환경적 맥락을 저장하는 단계를 더 포함하는
    위치-기반 대화 해석 제공 방법.
  9. 제 8 항에 있어서,
    제 2 사용자로부터 제 2 음성-기반 쿼리를 수신하는 단계와,
    상기 종합된 환경적 맥락에 따라 상기 제 2 음성-기반 쿼리를 해석하는 단계를 더 포함하는
    위치-기반 대화 해석 제공 방법.
  10. 제 8 항에 있어서,
    상기 음성-기반 쿼리를 해석하는 단계는 상기 위치로부터 수신된 상기 위치와 연관된 상기 종합된 환경적 맥락에 따라 적어도 하나의 예상된 시맨틱 개념(semantic concept)의 통계적 가중치를 증가시키는 단계를 포함하는
    위치-기반 대화 해석 제공 방법.
  11. 실행될 경우 위치-기반 대화 해석을 제공하는 방법을 수행하는 명령어의 집합을 저장한, 전파 데이터 신호를 포함하지 않는 유형의 컴퓨터-판독가능 저장 장치로서,
    상기 명령어의 집합에 의해 실행되는 상기 방법은,
    한 위치에 있는 사용자로부터 음성-기반 쿼리를 수신하는 단계와,
    상기 사용자의 위치와 연관된 환경적 맥락이 메모리 저장장치에 존재하는지 여부를 판단하는 단계와,
    상기 환경적 맥락이 존재하지 않는다고 판단되면,
    상기 음성-기반 쿼리 내의 적어도 하나의 음향 간섭(acoustic interference)을 식별하고,
    상기 음성-기반 쿼리와 연관된 적어도 하나의 주제를 식별하고,
    상기 음성-기반 쿼리와 연관된 상기 식별된 적어도 하나의 음향 간섭 및 상기 식별된 적어도 하나의 주제를 포함하는 환경적 맥락을 생성하고,
    상기 환경적 맥락을 상기 메모리 저장장치에 저장하는 단계와,
    상기 환경적 맥락이 존재한다고 판단되면, 상기 위치와 연관된 종합된 환경적 맥락을 로딩하는 단계 - 상기 종합된 환경적 맥락은 특성을 포함함 - 와,
    상기 환경적 맥락에 포함된 특성에 따라 상기 음성-기반 쿼리를 해석하는 단계와,
    텍스트-기반 쿼리를 생성하는 단계 - 상기 텍스트-기반 쿼리를 생성하는 단계는
    상기 음성-기반 쿼리의 주제를 판단하는 단계와,
    상기 음성-기반 쿼리의 주제와 상기 종합된 환경적 맥락을 서로 연관시키는 단계를 포함함 - 와,
    상기 종합된 환경적 맥락에 따라 상기 텍스트-기반 쿼리를 실행하는 단계와,
    상기 실행된 텍스트-기반 쿼리와 연관된 적어도 하나의 결과를 상기 사용자에게 제공하는 단계를 포함하는
    유형의 컴퓨터-판독가능 저장 장치.
  12. 제 11 항에 있어서,
    상기 종합된 환경적 맥락은
    적어도 하나의 이전 쿼리의 시간, 적어도 하나의 이전 쿼리의 날짜, 적어도 하나의 이전 쿼리의 주제, 온톨로지(ontology)를 포함하는 시맨틱 모델, 해석 모델, 및 상기 위치의 음향 모델 중 적어도 하나를 포함하는
    유형의 컴퓨터-판독가능 저장 장치.
  13. 제 11 항에 있어서,
    상기 방법은
    복수의 사용자로부터 수신된 복수의 쿼리에 따라 종합된 복수의 위치에 연관된 복수의 환경적 맥락을 저장하는 단계를 더 포함하는
    유형의 컴퓨터-판독가능 저장 장치.
  14. 제 11 항에 있어서,
    상기 방법은,
    상기 사용자로부터 상기 텍스트-기반 쿼리에 대한 교정을 수신하는 단계와,
    상기 교정에 따라 상기 종합된 환경적 맥락을 갱신하는 단계를 더 포함하는
    유형의 컴퓨터-판독가능 저장 장치.
  15. 제 14 항에 있어서,
    상기 종합된 환경적 맥락을 갱신하는 단계는 장래의 쿼리에 적용하기 위해 상기 교정의 적어도 하나의 단어와 연관된 확률(probability)을 수정하는 단계를 포함하는
    유형의 컴퓨터-판독가능 저장 장치.
  16. 제 11 항에 있어서,
    상기 위치는 상기 사용자의 GPS(Global Positioning System) 위치, 상기 사용자와 연관된 지역 코드, 상기 사용자와 연관된 우편번호 및 랜드마크에 대한 상기 사용자의 인접도(proximity) 중 적어도 하나에 의해 정의되는
    유형의 컴퓨터-판독가능 저장 장치.
  17. 제 11 항에 있어서,
    상기 방법은,
    제 2 위치에서 상기 사용자로부터의 제 2 음성-기반 쿼리를 수신하는 단계와,
    상기 제 2 위치와 연관된 제 2 환경적 맥락을 로딩하는 단계와,
    상기 제 2 환경적 맥락에 따라 상기 제 2 음성-기반 쿼리를 텍스트로 변환하는 단계와,
    상기 제 2 환경적 맥락에 따라 상기 변환된 쿼리를 실행하는 단계와,
    상기 실행된 쿼리와 연관된 적어도 하나의 제 2 결과를 상기 사용자에게 제공하는 단계를 더 포함하는
    유형의 컴퓨터-판독가능 저장 장치.
  18. 위치-기반 대화 해석을 제공하는 시스템으로서,
    메모리 저장장치와,
    상기 메모리 저장장치와 결합된 프로세싱 유닛을 포함하되,
    상기 프로세싱 유닛은,
    한 위치에 있는 사용자로부터 음성-기반 쿼리를 수신하고,
    상기 위치와 연관된 환경적 맥락이 상기 메모리 저장장치에 존재하는지 여부를 판단하고,
    상기 환경적 맥락이 존재하지 않는다고 판단되면,
    상기 음성-기반 쿼리 내의 적어도 하나의 음향 간섭(acoustic interference)을 식별하고,
    상기 음성-기반 쿼리와 연관된 적어도 하나의 주제를 식별하고,
    상기 위치와 연관된 특성을 포함하는 새로운 환경적 맥락을 생성 - 상기 적어도 하나의 음향 간섭은 음향 모델과 연관되고, 상기 적어도 하나의 식별된 주제는 시맨틱 모델과 연관됨 - 하고,
    상기 환경적 맥락을 상기 메모리 저장장치에 저장하고,
    상기 환경적 맥락이 존재한다고 판단되면, 상기 환경적 맥락을 로딩하고,
    상기 환경적 맥락에 포함된 특성에 따라 상기 음성-기반 쿼리를 해석하고,
    텍스트-기반 쿼리를 생성 - 상기 텍스트-기반 쿼리를 생성하는 것은 상기 음성-기반 쿼리의 주제와 상기 환경적 맥락을 서로 연관시키는 것을 포함함 - 하고,
    상기 환경적 맥락에 따라 상기 텍스트-기반 쿼리를 실행하고,
    상기 실행된 텍스트-기반 쿼리의 적어도 하나의 결과를 상기 사용자에게 제공하도록 동작하는
    위치-기반 대화 해석을 제공하는 시스템.
KR1020137025540A 2011-03-31 2012-03-27 위치-기반 대화 해석 기법 KR101922744B1 (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US13/076,862 2011-03-31
US13/077,303 2011-03-31
US13/077,368 2011-03-31
US13/077,455 2011-03-31
US13/077,368 US9298287B2 (en) 2011-03-31 2011-03-31 Combined activation for natural user interface systems
US13/077,303 US9858343B2 (en) 2011-03-31 2011-03-31 Personalization of queries, conversations, and searches
US13/077,233 2011-03-31
US13/077,431 US10642934B2 (en) 2011-03-31 2011-03-31 Augmented conversational understanding architecture
US13/077,233 US20120253789A1 (en) 2011-03-31 2011-03-31 Conversational Dialog Learning and Correction
US13/077,431 2011-03-31
US13/077,455 US9244984B2 (en) 2011-03-31 2011-03-31 Location based conversational understanding
US13/077,396 2011-03-31
US13/076,862 US9760566B2 (en) 2011-03-31 2011-03-31 Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US13/077,396 US9842168B2 (en) 2011-03-31 2011-03-31 Task driven user intents
PCT/US2012/030730 WO2012135210A2 (en) 2011-03-31 2012-03-27 Location-based conversational understanding

Publications (2)

Publication Number Publication Date
KR20140025361A KR20140025361A (ko) 2014-03-04
KR101922744B1 true KR101922744B1 (ko) 2018-11-27

Family

ID=46931884

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020137025540A KR101922744B1 (ko) 2011-03-31 2012-03-27 위치-기반 대화 해석 기법
KR1020137025586A KR101963915B1 (ko) 2011-03-31 2012-03-27 강화된 대화 이해 아키텍처
KR20137025578A KR20140014200A (ko) 2011-03-31 2012-03-27 구어체 대화 학습 및 정정

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020137025586A KR101963915B1 (ko) 2011-03-31 2012-03-27 강화된 대화 이해 아키텍처
KR20137025578A KR20140014200A (ko) 2011-03-31 2012-03-27 구어체 대화 학습 및 정정

Country Status (5)

Country Link
EP (6) EP2691870A4 (ko)
JP (4) JP6087899B2 (ko)
KR (3) KR101922744B1 (ko)
CN (8) CN102737096B (ko)
WO (7) WO2012135229A2 (ko)

Families Citing this family (210)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10032127B2 (en) 2011-02-18 2018-07-24 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
EP2883204B1 (en) 2012-08-10 2020-10-07 Nuance Communications, Inc. Virtual agent communication for electronic devices
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN113470641B (zh) 2013-02-07 2023-12-15 苹果公司 数字助理的语音触发器
WO2014134093A1 (en) * 2013-03-01 2014-09-04 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9436287B2 (en) * 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9728184B2 (en) 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
US9589565B2 (en) * 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US9311298B2 (en) 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US20150170053A1 (en) * 2013-12-13 2015-06-18 Microsoft Corporation Personalized machine learning models
CN104714954A (zh) * 2013-12-13 2015-06-17 中国电信股份有限公司 基于上下文理解的信息搜索方法和系统
US20170017501A1 (en) 2013-12-16 2017-01-19 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US10015770B2 (en) 2014-03-24 2018-07-03 International Business Machines Corporation Social proximity networks for mobile phones
US9529794B2 (en) 2014-03-27 2016-12-27 Microsoft Technology Licensing, Llc Flexible schema for language model customization
US20150278370A1 (en) * 2014-04-01 2015-10-01 Microsoft Corporation Task completion for natural language input
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9355640B2 (en) * 2014-06-04 2016-05-31 Google Inc. Invoking action responsive to co-presence determination
US9717006B2 (en) 2014-06-23 2017-07-25 Microsoft Technology Licensing, Llc Device quarantine in a wireless network
JP6275569B2 (ja) * 2014-06-27 2018-02-07 株式会社東芝 対話装置、方法およびプログラム
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9811352B1 (en) 2014-07-11 2017-11-07 Google Inc. Replaying user input actions using screen capture images
US10146409B2 (en) * 2014-08-29 2018-12-04 Microsoft Technology Licensing, Llc Computerized dynamic splitting of interaction across multiple content
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
KR102188268B1 (ko) * 2014-10-08 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016065020A2 (en) 2014-10-21 2016-04-28 Robert Bosch Gmbh Method and system for automation of response selection and composition in dialog systems
KR102329333B1 (ko) * 2014-11-12 2021-11-23 삼성전자주식회사 질의를 처리하는 장치 및 방법
US9836452B2 (en) * 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discriminating ambiguous expressions to enhance user experience
EP3243200B1 (en) 2015-01-05 2021-05-19 Google LLC Processing of multimodal user input
US10572810B2 (en) 2015-01-07 2020-02-25 Microsoft Technology Licensing, Llc Managing user interaction for input understanding determinations
WO2016129767A1 (ko) * 2015-02-13 2016-08-18 주식회사 팔락성 온라인 사이트 링크방법
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US9792281B2 (en) * 2015-06-15 2017-10-17 Microsoft Technology Licensing, Llc Contextual language generation by leveraging language understanding
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10249297B2 (en) 2015-07-13 2019-04-02 Microsoft Technology Licensing, Llc Propagating conversational alternatives using delayed hypothesis binding
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
KR20170033722A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 사용자의 발화 처리 장치 및 방법과, 음성 대화 관리 장치
US10262654B2 (en) * 2015-09-24 2019-04-16 Microsoft Technology Licensing, Llc Detecting actionable items in a conversation among participants
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10970646B2 (en) * 2015-10-01 2021-04-06 Google Llc Action suggestions for user-selected content
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
KR102393928B1 (ko) * 2015-11-10 2022-05-04 삼성전자주식회사 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
WO2017090954A1 (en) * 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
KR102502569B1 (ko) 2015-12-02 2023-02-23 삼성전자주식회사 시스템 리소스 관리를 위한 방법 및 장치
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9905248B2 (en) 2016-02-29 2018-02-27 International Business Machines Corporation Inferring user intentions based on user conversation data and spatio-temporal data
US9978396B2 (en) 2016-03-16 2018-05-22 International Business Machines Corporation Graphical display of phone conversations
US10587708B2 (en) 2016-03-28 2020-03-10 Microsoft Technology Licensing, Llc Multi-modal conversational intercom
US11487512B2 (en) 2016-03-29 2022-11-01 Microsoft Technology Licensing, Llc Generating a services application
US10158593B2 (en) * 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant
US10945129B2 (en) * 2016-04-29 2021-03-09 Microsoft Technology Licensing, Llc Facilitating interaction among digital personal assistants
US10409876B2 (en) * 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
CN109219812B (zh) * 2016-06-03 2023-12-12 微软技术许可有限责任公司 口语对话系统中的自然语言生成
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10282218B2 (en) * 2016-06-07 2019-05-07 Google Llc Nondeterministic task initiation by a personal assistant module
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10216269B2 (en) * 2016-06-21 2019-02-26 GM Global Technology Operations LLC Apparatus and method for determining intent of user based on gaze information
CA3033724A1 (en) * 2016-08-23 2018-03-01 Illumina, Inc. Semantic distance systems and methods for determining related ontological data
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10446137B2 (en) 2016-09-07 2019-10-15 Microsoft Technology Licensing, Llc Ambiguity resolving conversational understanding system
US10503767B2 (en) * 2016-09-13 2019-12-10 Microsoft Technology Licensing, Llc Computerized natural language query intent dispatching
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9940390B1 (en) * 2016-09-27 2018-04-10 Microsoft Technology Licensing, Llc Control system using scoped search and conversational interface
CN107885744B (zh) * 2016-09-29 2023-01-03 微软技术许可有限责任公司 对话式的数据分析
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
JP6697373B2 (ja) 2016-12-06 2020-05-20 カシオ計算機株式会社 文生成装置、文生成方法及びプログラム
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN110249326B (zh) * 2017-02-08 2023-07-14 微软技术许可有限责任公司 自然语言内容生成器
US10643601B2 (en) * 2017-02-09 2020-05-05 Semantic Machines, Inc. Detection mechanism for automated dialog systems
US10586530B2 (en) 2017-02-23 2020-03-10 Semantic Machines, Inc. Expandable dialogue system
CN110301004B (zh) * 2017-02-23 2023-08-08 微软技术许可有限责任公司 可扩展对话系统
US10798027B2 (en) * 2017-03-05 2020-10-06 Microsoft Technology Licensing, Llc Personalized communications using semantic memory
US10237209B2 (en) * 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10664533B2 (en) * 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10679192B2 (en) * 2017-05-25 2020-06-09 Microsoft Technology Licensing, Llc Assigning tasks and monitoring task performance based on context extracted from a shared contextual graph
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10742435B2 (en) * 2017-06-29 2020-08-11 Google Llc Proactive provision of new content to group chat participants
US11132499B2 (en) 2017-08-28 2021-09-28 Microsoft Technology Licensing, Llc Robust expandable dialogue system
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10546023B2 (en) * 2017-10-03 2020-01-28 Google Llc Providing command bundle suggestions for an automated assistant
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
CN110019718B (zh) * 2017-12-15 2021-04-09 上海智臻智能网络科技股份有限公司 修改多轮问答系统的方法、终端设备以及存储介质
US11341422B2 (en) 2017-12-15 2022-05-24 SHANGHAI XIAOl ROBOT TECHNOLOGY CO., LTD. Multi-round questioning and answering methods, methods for generating a multi-round questioning and answering system, and methods for modifying the system
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10839160B2 (en) * 2018-01-19 2020-11-17 International Business Machines Corporation Ontology-based automatic bootstrapping of state-based dialog systems
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
KR102635811B1 (ko) * 2018-03-19 2024-02-13 삼성전자 주식회사 사운드 데이터를 처리하는 시스템 및 시스템의 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10685075B2 (en) 2018-04-11 2020-06-16 Motorola Solutions, Inc. System and method for tailoring an electronic digital assistant query as a function of captured multi-party voice dialog and an electronically stored multi-party voice-interaction template
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
WO2019236581A1 (en) * 2018-06-04 2019-12-12 Disruptel, Inc. Systems and methods for operating an output device
WO2020044990A1 (ja) 2018-08-29 2020-03-05 パナソニックＩｐマネジメント株式会社 電力変換システム及び蓄電システム
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111428721A (zh) * 2019-01-10 2020-07-17 北京字节跳动网络技术有限公司 词语释义的确定方法、装置、设备及存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
AU2021226758B2 (en) * 2020-02-25 2023-07-20 Liveperson, Inc. Intent analysis for call center response generation
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11783827B2 (en) 2020-11-06 2023-10-10 Apple Inc. Determining suggested subsequent user actions during digital assistant interaction
EP4174848A1 (en) * 2021-10-29 2023-05-03 Televic Rail NV Improved speech to text method and system
CN116644810B (zh) * 2023-05-06 2024-04-05 国网冀北电力有限公司信息通信分公司 一种基于知识图谱实现的电网故障风险处置方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212641A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 音声入力システム及び音声入力システムを備えた端末装置
US20070038436A1 (en) * 2005-08-10 2007-02-15 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5265014A (en) * 1990-04-10 1993-11-23 Hewlett-Packard Company Multi-modal user interface
US5748974A (en) * 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
CN1313972A (zh) * 1998-08-24 2001-09-19 Bcl计算机有限公司 自适应的自然语言接口
US6499013B1 (en) * 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
US6332120B1 (en) * 1999-04-20 2001-12-18 Solana Technology Development Corporation Broadcast speech recognition system for keyword monitoring
JP3530109B2 (ja) * 1999-05-31 2004-05-24 日本電信電話株式会社 大規模情報データベースに対する音声対話型情報検索方法、装置および記録媒体
WO2000073900A1 (en) * 1999-06-01 2000-12-07 Jacquez Geoffrey M Help system for a computer related application
US6598039B1 (en) * 1999-06-08 2003-07-22 Albert-Inc. S.A. Natural language interface for searching database
JP3765202B2 (ja) * 1999-07-09 2006-04-12 日産自動車株式会社 対話型情報検索装置、コンピュータを用いた対話型情報検索方法及び対話型情報検索処理を行うプログラムを記録したコンピュータ読取り可能な媒体
JP2001125896A (ja) * 1999-10-26 2001-05-11 Victor Co Of Japan Ltd 自然言語対話システム
US7050977B1 (en) * 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
JP2002024285A (ja) * 2000-06-30 2002-01-25 Sanyo Electric Co Ltd ユーザ支援方法およびユーザ支援装置
JP2002082748A (ja) * 2000-09-06 2002-03-22 Sanyo Electric Co Ltd ユーザ支援装置
US7197120B2 (en) * 2000-12-22 2007-03-27 Openwave Systems Inc. Method and system for facilitating mediated communication
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
JP2003115951A (ja) * 2001-10-09 2003-04-18 Casio Comput Co Ltd 話題情報提供システムおよび話題情報提供方法
US7224981B2 (en) * 2002-06-20 2007-05-29 Intel Corporation Speech recognition of mobile devices
US7693720B2 (en) * 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
EP1411443A1 (en) * 2002-10-18 2004-04-21 Hewlett Packard Company, a Delaware Corporation Context filter
JP2004328181A (ja) * 2003-04-23 2004-11-18 Sharp Corp 電話機及び電話網システム
WO2004102417A1 (en) * 2003-05-16 2004-11-25 Docomo Communications Laboratories Europe Gmbh Personalized service selection
JP4441782B2 (ja) * 2003-05-14 2010-03-31 日本電信電話株式会社 情報提示方法及び情報提示装置
JP2005043461A (ja) * 2003-07-23 2005-02-17 Canon Inc 音声認識方法及び音声認識装置
KR20050032649A (ko) * 2003-10-02 2005-04-08 (주)이즈메이커 인공생명을 학습시키는 방법 및 시스템
US7747601B2 (en) * 2006-08-14 2010-06-29 Inquira, Inc. Method and apparatus for identifying and classifying query intent
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
JP4434972B2 (ja) * 2005-01-21 2010-03-17 日本電気株式会社 情報提供システム、情報提供方法及びそのプログラム
ATE510259T1 (de) * 2005-01-31 2011-06-15 Ontoprise Gmbh Abbilden von web-diensten auf ontologien
GB0502259D0 (en) * 2005-02-03 2005-03-09 British Telecomm Document searching tool and method
CN101120341A (zh) * 2005-02-06 2008-02-06 凌圭特股份有限公司 以自然语言进行移动式信息访问的方法和设备
US7409344B2 (en) * 2005-03-08 2008-08-05 Sap Aktiengesellschaft XML based architecture for controlling user interfaces with contextual voice commands
US20060206333A1 (en) * 2005-03-08 2006-09-14 Microsoft Corporation Speaker-dependent dialog adaptation
US7734557B2 (en) * 2005-04-05 2010-06-08 The Board Of Trustees Of Leland Stanford Junior University Methods, software, and systems for knowledge base coordination
US7991607B2 (en) * 2005-06-27 2011-08-02 Microsoft Corporation Translation and capture architecture for output of conversational utterances
US7640160B2 (en) * 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US7627466B2 (en) * 2005-11-09 2009-12-01 Microsoft Corporation Natural language interface for driving adaptive scenarios
US20070136222A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Question and answer architecture for reasoning and clarifying intentions, goals, and needs from contextual clues and content
US20070143410A1 (en) * 2005-12-16 2007-06-21 International Business Machines Corporation System and method for defining and translating chat abbreviations
CN100373313C (zh) * 2006-01-12 2008-03-05 广东威创视讯科技股份有限公司 一种用于交互式输入设备的智能识别编码方法
US8209407B2 (en) * 2006-02-10 2012-06-26 The United States Of America, As Represented By The Secretary Of The Navy System and method for web service discovery and access
CA2652150A1 (en) * 2006-06-13 2007-12-21 Microsoft Corporation Search engine dash-board
US20080005068A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US8204739B2 (en) * 2008-04-15 2012-06-19 Mobile Technologies, Llc System and methods for maintaining speech-to-speech translation in the field
CN1963752A (zh) * 2006-11-28 2007-05-16 李博航 基于自然语言的电子设备人机交互操作界面技术
WO2008067676A1 (en) * 2006-12-08 2008-06-12 Medhat Moussa Architecture, system and method for artificial neural network implementation
US20080172359A1 (en) * 2007-01-11 2008-07-17 Motorola, Inc. Method and apparatus for providing contextual support to a monitored communication
US20080172659A1 (en) 2007-01-17 2008-07-17 Microsoft Corporation Harmonizing a test file and test configuration in a revision control system
US20080201434A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20090076917A1 (en) * 2007-08-22 2009-03-19 Victor Roditis Jablokov Facilitating presentation of ads relating to words of a message
US7720856B2 (en) * 2007-04-09 2010-05-18 Sap Ag Cross-language searching
US8762143B2 (en) * 2007-05-29 2014-06-24 At&T Intellectual Property Ii, L.P. Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition
US7788276B2 (en) * 2007-08-22 2010-08-31 Yahoo! Inc. Predictive stemming for web search with statistical machine translation models
KR101524889B1 (ko) * 2007-08-31 2015-06-01 마이크로소프트 코포레이션 간접 화법 내에서의 시맨틱 관계의 식별
US8165886B1 (en) * 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8504621B2 (en) * 2007-10-26 2013-08-06 Microsoft Corporation Facilitating a decision-making process
JP2009116733A (ja) * 2007-11-08 2009-05-28 Nec Corp アプリケーション検索システム、アプリケーション検索方法、モニタ端末、検索サーバおよびプログラム
JP5158635B2 (ja) * 2008-02-28 2013-03-06 インターナショナル・ビジネス・マシーンズ・コーポレーション パーソナル・サービス支援のための方法、システム、および装置
US20090234655A1 (en) * 2008-03-13 2009-09-17 Jason Kwon Mobile electronic device with active speech recognition
CN101499277B (zh) * 2008-07-25 2011-05-04 中国科学院计算技术研究所 一种服务智能导航方法和系统
US8874443B2 (en) * 2008-08-27 2014-10-28 Robert Bosch Gmbh System and method for generating natural language phrases from user utterances in dialog systems
JP2010128665A (ja) * 2008-11-26 2010-06-10 Kyocera Corp 情報端末及び会話補助プログラム
JP2010145262A (ja) * 2008-12-19 2010-07-01 Pioneer Electronic Corp ナビゲーション装置
US8326637B2 (en) * 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
JP2010230918A (ja) * 2009-03-26 2010-10-14 Fujitsu Ten Ltd 検索装置
US8700665B2 (en) * 2009-04-27 2014-04-15 Avaya Inc. Intelligent conference call information agents
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
KR101622111B1 (ko) * 2009-12-11 2016-05-18 삼성전자 주식회사 대화 시스템 및 그의 대화 방법
KR101007336B1 (ko) * 2010-06-25 2011-01-13 한국과학기술정보연구원 온톨로지 기반 개인화 서비스 시스템 및 방법
US20120253789A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Conversational Dialog Learning and Correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212641A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 音声入力システム及び音声入力システムを備えた端末装置
US20070038436A1 (en) * 2005-08-10 2007-02-15 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech

Also Published As

Publication number Publication date
WO2012135157A3 (en) 2013-01-10
WO2012135791A2 (en) 2012-10-04
EP2691877A2 (en) 2014-02-05
JP2017123187A (ja) 2017-07-13
CN102750311B (zh) 2018-07-20
EP2691870A2 (en) 2014-02-05
CN102737096A (zh) 2012-10-17
EP2691949A2 (en) 2014-02-05
WO2012135218A2 (en) 2012-10-04
CN102737101B (zh) 2018-09-04
CN106383866A (zh) 2017-02-08
EP2691875A2 (en) 2014-02-05
KR20140025362A (ko) 2014-03-04
JP2014512046A (ja) 2014-05-19
WO2012135218A3 (en) 2013-01-03
WO2012135157A2 (en) 2012-10-04
EP2691885A1 (en) 2014-02-05
JP6105552B2 (ja) 2017-03-29
EP2691870A4 (en) 2015-05-20
JP6087899B2 (ja) 2017-03-01
EP2691876A4 (en) 2015-06-10
WO2012135791A3 (en) 2013-01-10
CN102737096B (zh) 2017-08-25
CN106383866B (zh) 2020-05-05
CN102737101A (zh) 2012-10-17
KR20140025361A (ko) 2014-03-04
KR101963915B1 (ko) 2019-03-29
EP2691949A4 (en) 2015-06-10
CN102750271A (zh) 2012-10-24
CN102737104B (zh) 2017-05-24
CN102737104A (zh) 2012-10-17
WO2012135229A3 (en) 2012-12-27
CN102750270A (zh) 2012-10-24
WO2012135783A3 (en) 2012-12-27
WO2012135226A1 (en) 2012-10-04
CN102750271B (zh) 2017-10-17
CN102750311A (zh) 2012-10-24
EP2691876A2 (en) 2014-02-05
CN102750270B (zh) 2017-06-09
KR20140014200A (ko) 2014-02-05
JP2014509757A (ja) 2014-04-21
CN102737099B (zh) 2017-12-19
JP6305588B2 (ja) 2018-04-04
EP2691877A4 (en) 2015-06-24
JP2014515853A (ja) 2014-07-03
WO2012135783A2 (en) 2012-10-04
WO2012135229A2 (en) 2012-10-04
EP2691885A4 (en) 2015-09-30
CN102737099A (zh) 2012-10-17
WO2012135210A2 (en) 2012-10-04
EP2691875A4 (en) 2015-06-10
WO2012135210A3 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
KR101922744B1 (ko) 위치-기반 대화 해석 기법
US10049667B2 (en) Location-based conversational understanding
US11727917B1 (en) Silent phonemes for tracking end of speech
US11024307B2 (en) Method and apparatus to provide comprehensive smart assistant services
US11450313B2 (en) Determining phonetic relationships
Reddy et al. Speech to text conversion using android platform
US20210210100A1 (en) Voice command processing for locked devices
US9594744B2 (en) Speech transcription including written text
Sheikhan et al. Using DTW neural–based MFCC warping to improve emotional speech recognition
KR20230107860A (ko) 실제 노이즈를 사용한 음성 개인화 및 연합 트레이닝
KR101699252B1 (ko) 음성 인식을 위한 특징 파라미터 추출 방법 및 이를 이용하는 음성 인식 장치
Mukherjee et al. RECAL—A language identification system
Sahu et al. A study on automatic speech recognition toolkits
Gupta et al. Desktop Voice Assistant
KR20160062254A (ko) 음성 인식 오류에 강인한 의미 추론 방법 및 이를 위한 장치
Liu et al. A Chinese small vocabulary offline speech recognition system based on pocketsphinx in android platform
Pise et al. Implementation of translation system using embedded platform
Room Speech Recognition
KR101483945B1 (ko) 의미 분석이 가능한 음성 인식 방법 및 이를 위한 음성 인식 장치
Charaniya et al. Speech Interface for Geo-spatial Visualization
Singireddy et al. User-Based Voice Assistance To Perform System Tasks
Bernsen et al. Building Usable Spoken Dialogue Systems. Some Approaches
Gupta et al. Speech Recognition System

Legal Events

Date Code Title Description
N231 Notification of change of applicant
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant