KR20020064149A - 오디오 사용자 인터페이스를 통한 데이터베이스 조회결과의 효율적인 제공 - Google Patents

오디오 사용자 인터페이스를 통한 데이터베이스 조회결과의 효율적인 제공 Download PDF

Info

Publication number
KR20020064149A
KR20020064149A KR1020020001413A KR20020001413A KR20020064149A KR 20020064149 A KR20020064149 A KR 20020064149A KR 1020020001413 A KR1020020001413 A KR 1020020001413A KR 20020001413 A KR20020001413 A KR 20020001413A KR 20020064149 A KR20020064149 A KR 20020064149A
Authority
KR
South Korea
Prior art keywords
database
database query
aui
query
query result
Prior art date
Application number
KR1020020001413A
Other languages
English (en)
Other versions
KR100541907B1 (ko
Inventor
킴벌리에이. 캠블
제임스알. 루이스
바네사브이. 마이클리니
자볼로쯔까야마가리타
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20020064149A publication Critical patent/KR20020064149A/ko
Application granted granted Critical
Publication of KR100541907B1 publication Critical patent/KR100541907B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results

Abstract

AUI를 통해 데이터베이스 조회 결과들을 제공하기 위한 시스템은 적어도 하나의 데이터베이스에서의 데이터베이스 조회 오퍼레이션을 관리하기 위한 데이터베이스 관리자를 포함할 수 있다. 데이터베이스 조회 오퍼레이션은 데이터베이스 조회 결과 아이템들을 생성할 수 있다. 시스템은 데이터베이스 조회 오퍼레이션과 동시에 AUI를 통해 데이터베이스 조회 결과 아이템들의 제공을 관리하기 위한 다이얼로그 관리자를 더 포함할 수 있다. 주목할 만한 것은, AUI가 데이터베이스 조회 결과 아이템들을 가청 음성(audible speech)으로 변환하기 위한 텍스트-음성 프로세서(text-to-speech processor); 및 음성 입력을 다이얼로그 관리자가 인식할 수 있는 텍스트로 변환하기 위한 음성 인식 엔진을 포함할 수 있다는 점이다. AUI는 바지-인 설비(barge-in facility)를 더 포함할 수 있다. 본 발명의 한 양상에서, 시스템은 또한 데이터베이스 조회 오퍼레이션으로부터의 데이터베이스 조회 결과 아이템들을 저장하기 위한 큐; 및 데이터베이스 조회 아이템들의 큐 삽입 및 큐로부터의 제거를 관리하기 위한 큐 관리자를 포함할 수 있다.

Description

오디오 사용자 인터페이스를 통한 데이터베이스 조회 결과의 효율적인 제공{EFFICIENT PRESENTATION OF DATABASE QUERY RESULTS THROUGH AUDIO USER INTERFACES}
본 발명은 음성 인식 분야에 관한 것으로, 특히, 오디오 사용자 인터페이스로 데이터베이스 조회 결과들을 제공하는 것에 관한 것이다.
정보를 사용자들에게 제공하기 위한 효과적인 방법들을 설계하는 것은 애플리케이션 개발자들의 흥미를 돋을 수 있다. 전화와 같은 비가시적인 매체에서, 이러한 문제점들은 보다 더 복잡해질 수 있다. 특히, 오디오 사용자 인터페이스("AUI")에서는, 사용자에게 정보를 주거나 또는 사용자 음성 입력의 정확한 문맥상 이해를 확증하기 위한 가시적인 피드백이 유효하지 않다. 또한, 음성 정보를 청취하고 이해하는 것은 동일한 정보를 가시적으로 이해하는 것에 비해 전형적으로 보다 많은 시간이 소모되고 사용자들에게는 더 불편할 수 있다. AUI와 관련된 문제점들은 정보를 제공하기 위해 텍스트-음성 기술이 사용될 때 더 악화될 수 있다. 또한, 가청 정보 제공을 제어하고 조작하기 위해 음성 인식을 사용하는 것도 또한 문제점을 나타낼 수 있다.
종래의 AUI들은 전화 인터페이스를 통해 조회 결과 집합들이 들을 수 있게재생될 수 있는 음성 데이터베이스 조회들을 처리하도록 구성되어 왔다. 전화를 통해 데이터베이스 조회 결과들을 제공하기 위해 전형적으로 사용되는 도 4a의 플로우챠트에 도시된 방법은 일련의 동시 실행 프로시져들을 포함한다. 상기 프로시져들은 데이터베이스를 조회하고, 데이터베이스로부터 조회 결과 아이템들을 검색하며, 조회 결과 아이템들을 사용자에게 재생될 수 있는 가청 사운드 샘플들로 변환하고, 사용자에게 가청 사운드 샘플들을 재생해 주고, 재생된 결과들에 대한 사용자 응답을 수신하는 것을 포함할 수 있다. 조회 결과들은 통상 다음과 같이 제공될 수 있다: "<결과 1>에 대해서는 '1'이라고 말하라; "<결과 2>에 대해서는 '2'라고 말하라; ... "<결과 n>에 대해서는 'n'이라고 말하라. 전형적으로, 데이터베이스 조회 오퍼레이션이 완료되고, 전체 집합의 조회 결과들이 수신되고, 결과들이 음성으로 변환되며, 음성 변환 결과들이 사용자에게 재생된 후에만 사용자는 애플리케이션을 통해 제어를 다시 획득한다.
데이터베이스 조회가 정보를 획득해서 사용자에게 제공하는 프로세스의 단계들 중 오직 한 단계이지만, 결과적으로 데이터베이스 조회 및 결과의 음성 제공을 모두 야기할 수 있는 잠재성이 AUI를 설계하는데 있어 중요한 역할을 할 수 있다. 도 4b는 종래의 데이터베이스 조회 프로세스를 시간 흐름에 따라 도시한 블록도이다. 도 4b에 도시된 바와 같이, 데이터베이스 정보에 대한 종래의 전화 인터페이스로는, 데이터베이스 탐색 오퍼레이션이 완료될 때까지 조회 결과들이 요청 사용자에게 제공되지 않는다. 그러나, 대규모 데이터베이스를 포함하는 복잡한 조회들은 사용자가 전화 인터페이스를 통해 임의의 응답을 수신할 수 있기 전에 긴 지연들을 야기할 수 있다. 이러한 긴 지연들은 유용성(usability) 문제점들을 야기할 수 있다. 특히, 사용자들은 간단히 전화를 끊는다. 또한, 요청된 정보가 조회 결과 리스트의 초반부 가까이에 위치했지만, 전체 조회 결과 리스트가 컴파일될 때까지 사용자가 기다리도록 강요되는 경우와 같은 비능률적인 경우가 야기될 수 있다. 이러한 경우에, 사용자는 완료 전에 조회 오퍼레이션을 방해할 수 없다. 따라서, AUI를 통해 데이터베이스를 조회할 때 야기되는 문제점들을 해결할 필요가 있다.
오디오 사용자 인터페이스(AUI)를 통해 데이터베이스 조회 결과들을 제공하기 위한 방법은 데이터베이스 조회 오퍼레이션을 개시하는 단계를 포함할 수 있다. 이러한 오퍼레이션은 적어도 하나의 데이터베이스로부터 다수의 데이터베이스 조회 결과 아이템들을 검색할 수 있게 해준다. 상기 방법은 각각의 조회 결과 아이템이 적어도 하나의 데이터베이스에서 발견될 때 각각의 조회 결과 아이템을 AUI를 통해 제공하는 단계를 더 포함할 수 있다. 주목할 만한 것은 이러한 제공 단계가 데이터베이스 조회 오퍼레이션과 동시에 발생할 수 있다는 것이다.
상기 방법은 제공 단계 중에 AUI를 통해 음성 응답을 검출하는 단계를 더 포함할 수 있다. 음성 응답은 AUI를 통해 제공된 조회 결과 아이템의 음성 선택일 수 있다. 상기 방법은 검출에 응답해서 데이터베이스 조회 오퍼레이션을 종료하는 단계를 포함할 수 있다. 또한, 본 방법은 데이터베이스 조회 오퍼레이션을 종료하는 커맨드를 제공 단계 중에 검출하는 단계; 및 검출에 응답해서, 데이터베이스 조회 오퍼레이션을 종료하는 단계를 포함할 수 있다. 주목할만한 것은 커맨드가 음성 커맨드일 수 있다는 점이다.
본 방법은 각각의 조회 결과 아이템이 발견될 때 데이터 구조에 각각의 결과 아이템을 삽입하는 단계를 더 포함할 수 있다. 제공 단계는 데이터베이스 조회 오퍼레이션과 무관하게 그러나 동시에 데이터 구조에 포함된 각각의 조회 결과 아이템을 제공하는 단계를 포함할 수 있다. 주목할만한 것은 데이터 구조가 리스트, 스택 및 데이터베이스로 구성된 그룹으로부터 선택된 데이터 구조일 수 있다는 점이다. 마지막으로, AUI는 전화 인터페이스일 수 있다.
AUI를 통해 데이터베이스 조회 결과들을 제공하기 위한 시스템은 적어도 하나의 데이터베이스에서의 데이터베이스 조회 오퍼레이션을 관리하기 위한 데이터베이스 관리자를 포함할 수 있다. 데이터베이스 조회 오퍼레이션은 데이터베이스 조회 결과 아이템들을 생성할 수 있다. 시스템은 데이터베이스 조회 오퍼레이션과 동시에 AUI를 통해 데이터베이스 조회 결과 아이템들의 제공을 관리하기 위한 다이얼로그 관리자를 더 포함할 수 있다. 주목할 만한 것은, AUI가 데이터베이스 조회 결과 아이템들을 가청 음성으로 변환하기 위한 텍스트-음성 프로세서; 및 음성을 다이얼로그 관리자가 인식할 수 있는 텍스트로 변환하기 위한 음성 인식 엔진을 포함할 수 있다는 점이다. AUI는 바지-인 설비(barge-in facility)를 더 포함할 수 있다. 본 발명의 한 양상에서, 시스템은 또한 데이터베이스 조회 오퍼레이션으로부터의 데이터베이스 조회 결과 아이템들을 저장하기 위한 큐; 및 데이터베이스 조회 아이템들의 큐 삽입 및 큐로부터의 제거를 관리하기 위한 큐 관리자를 포함할 수 있다.
도 1a는 오디오 사용자 인터페이스로 데이터베이스 조회 결과들을 효율적으로 제공하기 위한 시스템의 개략도.
도 1b는 큐 관리자를 포함하는 도 1a의 시스템의 개략도.
도 2a는 도 1a의 시스템의 시간 흐름에 따른 블록도.
도 2b는 도 1a의 시스템의 시간 흐름에 따른 이벤트 도면.
도 3은 도 1b의 시스템의 시간 흐름에 따른 이벤트 도면.
도 4a는 오디오 사용자 인터페이스로 데이터베이스 조회 결과들을 제공하기 위한 종래의 프로세스를 도시한 플로우챠트.
도 4b는 오디오 사용자 인터페이스로 데이터베이스 조회 결과들을 제공하기 위한 종래의 시스템의 시간 흐름에 따른 블록도.
<도면의 주요 부분에 대한 부호의 설명>
102A, 102B, 203B, 301 : 데이터베이스 관리자
103B, 305 : 큐 관리자
104A, 104B, 201B, 309 : 다이얼로그 관리자
106A, 106B : 데이터베이스
108A, 108B : 오디오 사용자 인터페이스(AUI)
110A, 110B : 사용자
112A, 112B : 컴퓨터 통신 네트워크
본 발명의 구성에 따라, 데이터베이스 조회는 오디오 사용자 인터페이스("AUI")를 통한 조회 결과 제공과 동시에 실행될 수 있다. 특히, 데이터베이스 조회는 제1 매칭 레코드가 검색되고 이어서 연속 매칭 레코드들이 수반되는 'GetFirst/GetNext'를 근거로 실행될 수 있다. 레코드가 데이터베이스 조회와 매치하는 데이터베이스에서 발견될 때마다, 레코드는 조회 결과 아이템으로서 AUI를 통해 사용자에게 제공될 수 있다. 중요한 것은 데이터베이스 조회로부터 야기되는 각각의 조회 결과 아이템이 각각의 레코드 매치가 발생할 때마다 사용자에게 AUI를 통해 제공될 수 있다는 점이다. 따라서, 사용자는 사용자가 적합한 매칭 레코드를 식별할 때 데이터베이스 조회 오퍼레이션을 종료할 수 있다.
주목할 만한 것은, 본 발명의 양호한 실시예에서, 데이터베이스 조회 오퍼레이션을 완료하는데 필요한 총 시간이 조회 결과들이 제공되는 AUI를 갖는 종래의 데이터베이스 조회 시스템에서 데이터베이스 조회 오퍼레이션을 완료하는데 필요한 총 시간을 초과하지 않는다는 점이다. 특히, 극단적으로, 희망 레코드가 데이터베이스의 최종 매칭 레코드들 중 하나일 때, 조회를 실행하는데 소모된 시간은 종래의 방법의 시간에 도달할 수 있다. 대조적으로, 희망 레코드가 데이터베이스의 제1 레코드들 중 하나이면, 본 발명은 2 또는 그 이상의 인수(factor)로 데이터베이스 조회 오퍼레이션을 완료하는데 필요한 총 시간을 감소시킨다. 이하의 공식은 사용자들이 평균 수의 조회 세션들에서 소모되는 최대 시간을 추정하는데 사용될 수 있다:
tmax = (tprompt + tuser) * nitem
여기서, tprompt는 AUI를 통해 텍스트-음성 변환 조회 결과 아이템을 재생하는 평균 시간이고, tuser는 각각의 재생 조회 결과 아이템에 대한 사용자 응답 시간이고, nitem은 조회 결과로서 매치된 레코드들의 평균 수이다. 본 발명은 tdb > tamx일 때 종래의 방법들에 비해 사용자 생산성을 증가시키는데, 여기서, tdb는 평균 복잡성의 데이터베이스 조회를 규정하는 데이터베이스의 전체 조회(full query)를 실행하기 위한 평균 시간이다. 본 발명의 한 양상에서, 2-컴포넌트 모델이 AUI를 통해 데이터베이스 조회 결과들을 제공하기 위한 시스템을 형성하는데 사용될 수 있다. 2-컴포넌트 모델을 구현한 AUI를 통해 데이터베이스 조회 결과들을 제공하기 위한 시스템이 도 1a의 개략도로서 도시되어 있다. 본 발명에 따른 2-컴포넌트 모델 베이스 시스템은 컴퓨터 통신 네트워크(112A)를 통해 서로 통신할 수 잇도록 각각 연결되어 있는 데이터베이스 관리자(102A) 및 다이얼로그 관리자(104A)를 포함할 수 있다. 그러나, 본 발명은 이로써만 제한되지 않고, 데이터베이스 관리자(102A) 및 다이얼로그 관리자(104A)는 예를 들어 공유 메모리와 같은 다른 수단을 통해 통신할 수도 있다.
데이터베이스 관리자(102A)는 데이터베이스 조회 프로세스를 실행 및 관리할 수 있다. 따라서, 데이터베이스 관리자(102A)는 적어도 하나의 데이터베이스(106A)에 통신할 수 있도록 연결될 수 있다. 이에 비해, 다이얼로그 관리자(104A)는 데이터베이스 결과 아이템들이 사용자(110A)에게 들을 수 있게 제공될 수 있는 AUI(108A)에 통신적으로 연결될 수 있다. 주목할 만한 것은,사용자(110A)가 전화 핸드셋, 마이크로폰/스피커 결합물 등과 같은 입출력 장치(도시되지 않음)를 통해 AUI(108A)와 상호 동작할 수 있다는 점이다. 중요한 점은, 다이얼로그 관리자(104A)가 다이얼로그 관리자(104A)의 오퍼레이션을 데이터베이스 관리자(102A)의 오퍼레이션과 동기화할 수 있다는 점이다.
오퍼레이션에서, 사용자(110A)는 AUI(108A)를 통해 데이터베이스 조회를 들을 수 있게 요청할 수 있다. 예를 들어, 사용자(110A)는 상점의 모든 매장들의 전화 디렉토리를 요청할 수 있다. AUI(108A)는 가청 요청을 음성-텍스트 변환해서 다이얼로그 관리자(104A)에게 송신할 수 있다. 다이얼로그 관리자(104A)는 AUI(108A)로부터 요청을 수신해서 데이터베이스 관리자(102A)에 의해 인식 가능하게 적합한 데이터베이스 조회를 공식화할 수 있다. 본 일례에서, 데이터베이스 조회는 특정 상점의 모든 매장 전화 기재 사항들(departmental telephone entries)을 요청할 수 있다.
다이얼로그 관리자(104A)는 데이터베이스(106A)에 대한 조회를 적용할 수 있는 데이터베이스 관리자(102A)에게 데이터베이스 조회를 발송할 수 있다. 데이터베이스 관리자(102A)가 데이터베이스 조회로부터 야기된 조회 매치를 수신할 때, 데이터베이스 관리자(102A)는 다이얼로그 관리자(104A)에게 대응 조회 결과 아이템을 발송할 수 있다. 따라서, 본 일례에서, 매장 전화 기재 사항이 데이터베이스로부터 검색될 때, 매장 전화 기재 사항은 다이얼로그 관리자(104A)에게 발송될 수 있다. 다이얼로그 관리자(104A)는 그 후 조회 결과 아이템을 사용자(110A)에게 제공되기에 적합한 가청 형태로 텍스트-음성 변환할 수 있는 AUI(108A)에게 조회 결과 아이템을 송신할 수 있다. 이러한 경우에, AUI는 검색된 매장 전화 기재 사항을 들을 수 있게 제공할 수 있다.
사용자(110A)가 제공된 조회 결과가 희망 조회 결과라고 결정하면, 사용자(110A)는 데이터베이스 조회 종료를 요청할 수 있다. 이에 응답해서 다이얼로그 관리자(104A)는 데이터베이스 관리자(102A)에게 데이터베이스 조회를 종료하도록 통보할 수 있다. 따라서, 본 일례에서, 검색된 매장 전화 기재 사항이 희망 전화 기재 사항이면, 사용자(110A)는 기재 사항을 선택해서 조회가 종료되게 할 수 있다. 이에 비해, 사용자(110A)가 본 조회 결과가 희망 조회 결과가 아니라고 결정하면, 사용자(110A)는 데이터베이스 조회를 계속하라고 요청할 수 있고, 이에 응답해서 다이얼로그 관리자(104A)는 데이터베이스 관리자(102A)에게 데이터베이스 조회를 계속하라고 통보할 수 있다. 따라서, 데이터베이스 관리자(102A)는 다음 조회 매치를 다이얼로그 관리자(104A)에게 발송할 수 있다. 본 일례에서, 다른 매장 전화 기재 사항이 사용자(110A)에게 들을 수 있게 제공될 수 있다. 주목할 만한 것은, 프로세스가 모든 조회 매치들이 다이얼로그 관리자(104A)에서 수신될 때까지 또는 사용자가 데이터베이스 조회 종료를 요청할 때까지 반복될 수 있다는 점이다.
도 2a는 2-컴포넌트 구성의 오퍼레이션을 도시한 시간 진행에 따른 블록도이다. 도 2a에 도시된 바와 같이, 도 4b의 종래의 조회 프로세스와 대조적으로, 본 발명의 AUI(108A)를 통한 조회 결과 제공은 데이터베이스 조회의 실행과 동시에 발생할 수 있다. 특히, 사용자는 데이터베이스 조회를 공식화할 수 있고, 따라서,증분 조회 결과들이 데이터베이스 조회 실행과 동시에 사용자에게 제공될 수 있다. 도 2b는 다이얼로그 관리자(201B)와 데이터베이스 관리자(203B) 간의 오퍼레이션 동시 작용을 더 도시한 시간 흐름에 따른 이벤트 도면이다. 도 2b에 도시된 바와 같이, 데이터베이스 관리자(203B)는 GetFirst/GetNext 데이터베이스 조회를 개시할 수 있다. 시간 기간(202B) 중에, 데이터베이스 관리자(203B)는 데이터베이스 조회와 매치하는 데이터베이스에서 제1 레코드를 탐색할 수 있다. 접점(204B)에서, 데이터베이스 관리자(203B)는 제1 매칭 레코드를 발견할 수 있고 접점(206B)에서 조회 결과 아이템을 다이얼로그 관리자(201B)에게 보고할 수 있다. 조회 결과 아이템을 수신할 때, 시간 기간(208B) 중에, 다이얼로그 관리자(201B)는 AUI가 사용자가 들을 수 있게 조회 결과 아이템을 재생하게 할 수 있다.
조회 결과 아이템을 재생하는 동안, 다이얼로그 관리자(201B)는 사용자가 음성 커맨드로 조회 결과 아이템의 재생을 방해할 수 있는 사용자 "바지-인(barge-in)"을 허용할 수 있다. 따라서, 시간 기간(208B) 중에, 사용자는 완료될 때까지 재생이 계속되도록 허용하고, 데이터베이스 조회 오퍼레이션이 계속되는 것을 허용하고, 완료될 때까지 재생이 계속되도록 허용해서, 결과적으로 탐색을 종료하거나, 또는 탐색을 바지-인 및 종료할 수 있다. 주목할 만한 것은, 바지-인 설비가 제공되지 않는 경우, "사용자 응답 대기" 펑션이 "프롬프트 플레이" 펑션에 이어서 발생할 수 있다는 점이다. 접점(210B)에서, 데이터베이스 조회는 종료되거나 또는 계속될 수 있다. 데이터베이스 조회가 계속되면, 시간 기간(212B) 중에, 데이터베이스 관리자(203B)는 다음 매칭 레코드에 대한 데이터베이스 탐색을 계속할 수 있다. 본 프로세스는 데이터베이스에서 더 이상의 매칭 레코드들이 없을 때까지 또는 사용자가 데이터베이스 조회를 종료할 때까지 계속될 수 있다.
데이터베이스 조회를 실행해도 주요한 지연을 야기하지 않는 데이터베이스에 있어서, 2-컴포넌트 구성은 AUI로 조회 결과 집합을 제공하는 효율성이 떨어지게 하지 않는다. 또한, 2-컴포넌트 구성은 사용자들이 조회 프로세스를 제어할 수 있고 조회 오퍼레이션을 종료할 수 있다는 장점을 갖는다. 다시 말해서, 데이터베이스 조회 프로세스가 완료되기 전에 희망 조회 결과 아이템이 사용자(110A)에 의해 선택되었을 때 도 1a의 데이터베이스 관리자(102A)는 조회 프로세스를 계속하지 않는다. 조회 결과 아이템은 즉시 사용자(110A)에게 제공될 수 있고, 또는 조회 결과 아이템은 프롬프트가 플레이되고 응답이 수신되는 동안 지연될 수 있다. 조회 결과 아이템이 즉시 제공되면(데이터베이스 조회가 매치를 발견할 때), 오디오 프롬프트들 간의 최소 분리를 제공하기 위해 잠깐 멈춤이 AUI(108A)를 통해 가청 제공에 도입될 수 있다. 다른 경우에, 데이터베이스 조회 프로세스는 조회 결과 아이템이 AUI(108A)를 통해 제공되는 동안 계속될 수 있다.
2-컴포넌트 구성의 데이터베이스 조회 및 제공 프로세스는 다이얼로그 관리자가 탐색 인식 세션에서 사용자와 상호 동작하는 동안 데이터베이스 조회의 임의의 지연들을 제거함으로써 개선될 수 있다. 이러한 경우에, 조회 결과 제공이 데이터베이스 조회 보다 길 수 있는데 이는 사용자에 따른 각각의 세션(프롬프트 플레이 및 사용자 응답 프로세싱)이 다음 데이터베이스 조회들과 동시에 실행되기 때문이다. 이러한 조건은 탐색 결과들을 누적하고 그에 대한 액세스를 동기화하는메카니즘을 필요로 한다. 이러한 해결책으로서, 공유 큐(큐 관리자 컴포넌트에 의해 관리됨)가 2개의 오퍼레이션들(데이터베이스 조회 및 조회 결과 제공)을 동기화하는데 사용된다.
도 1b는 데이터베이스 관리자(102B) 및 다이얼로그 관리자(104B)와 함께 큐 관리자(103B)가 포함된 일례의 3-컴포넌트 구성을 도시한 것이다. 도 1a에 도시된 2-컴포넌트 구성과 대조적으로, 도 1b의 3-컴포넌트 구성에서, 데이터베이스 조회로부터의 각각의 조회 결과 아이템은 큐 관리자(103B)에게 전달된다. 데이터베이스 조회가 완료될 때까지 또는 데이터베이스 조회가 다이얼로그 관리자(104A)에 의해 방해될 때까지, 즉, 사용자(110B)가 조회 결과 아이템을 선택하거나 데이터베이스 조회를 취소할 때까지 큐 관리자(103B)는 다이얼로그 관리자(104B)에게 큐 결과들의 전달을 동기화해서 데이터를 조회 결과 큐(101B)에 저장한다.
도 3은 3-컴포넌트 구성의 오퍼레이션을 도시한 시간 진행에 따른 이벤트 도면이다. 도 3에 도시된 바와 같이, 데이터베이스 관리자(301)는 GetFirst/GetNext 데이터베이스 조회를 개시할 수 있다. 시간 기간(302) 중에, 데이터베이스 관리자(301)는 데이터베이스 조회와 매치하는 데이터베이스에서 제1 레코드를 탐색할 수 있다. 접점(304)에서, 데이터베이스 관리자(301)는 제1 매칭 레코드를 발견할 수 있고 조회 결과 아이템을 접점(306)에서 큐 관리자(305)를 통해 큐에 삽입할 수 있다. 중요한 점은, 데이터베이스 관리자(301)가 시간 기간(307) 중에 다음 매칭 레코드 탐색을 계속할 수 있다는 점이다. 예를 들어, 접점(308)에서, 데이터베이스 관리자(301)가 다음 매칭 레코드를 발견할 때, 다른 조회 결과 아이템이접점(310)에서 큐 관리자(305)를 통해 큐에 삽입될 수 있다. 본 프로세스는 데이터베이스에 더 이상 매치되는 레코드들이 없을 때까지 또는 사용자가 조회 오퍼레이션을 종료할 때까지 계속될 수 있다.
동시에, 다이얼로그 관리자(309)는 조회 결과 아이템이 큐에 삽입될 때까지 대기할 수 있다. 이어서, 접점(312)에서, 조회 결과 아이템은 큐 관리자(305)를 통해 큐로부터 제거될 수 있고 사용자에게 들을 수 있게 제공될 수 있다. 전과 같이, 바지-인 설비가 유용한 경우에, 사용자는 조회 결과 아이템의 재생을 방해할 수 있다. 사용자가 조회 오퍼레이션을 종료하지 않으면, 다이얼로그 관리자(309)는 큐로부터 다음 유효 조회 결과 아이템을 검색할 수 있다. 본 프로세스는 더 이상의 매칭 레코드들이 데이터베이스에 존재하지 않기 때문에 큐에 아이템들이 남아 있지 않을 때까지 또는 사용자가 데이터베이스 조회 오퍼레이션을 종료할 때까지 계속될 수 있다.
주목할 만한 것은, 2개의 컴포넌트들 간의 공유 리소스를 지원하는 것은 동기화를 위해 귀중한 CPU 시간을 요구하지 않는다는 점이다. 특히, 임의의 컴포넌트에 의한 큐에 대한 탐색이 실행되지 않기 때문에 CPU 시간이 요구되지 않는다. 또한, 데이터베이스 관리자는 조회 결과 요소를 큐(초반부)에 추가하도록 구성된 유일한 컴포넌트이다. 마지막으로, 다이얼로그 관리자는 큐(단부)로부터 조회 결과 요소를 제거하도록 구성된 유일한 컴포넌트이다. 큐가 요소들을 갖고 있지 않거나 또는 하나의 요소만을 갖고 있을 때, 또한 데이터베이스 관리자 및 다이얼로그 관리자 모두가 큐에 액세스하고자 시도할 때 약간의 추가 동기화 시간이 필요할수도 있다. 큐 관리자가 모든 동기화 태스크들을 실행하자 마자, 큐의 모든 오퍼레이션들은 컴포넌트들에게 명백하고 임의의 추가 분석을 요구하지 않는다.
본 발명은 종래 기술에 비해 몇몇 장점들을 갖는다. 첫째, 조회 실행 및 데이터 제공에 있어서 보다 적은 시간이 소모된다. 둘째, 사용자가 조회 프로세스를 제어할 수 있고 필요한 경우 방해할 수도 있다. 셋째, 프로세스는 "인간 환경 공학적으로 편안할(ergonomically comfortable)" 수 있다 - 긴 탐색 중에, 사용자는 각각의 아이템 매칭 후에 프롬프트를 수신함으로써 시스템이 태스크를 실행중이라는 명백한 통보를 획득한다. 또한, 정보가 (이해하기 어려울 수 있는) 잠정적으로 긴 리스트의 다수의 아이템들이 아닌 개별 아이템들로서 사용자에게 제공된다.
주목할 만한 것은, 본 발명이 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 결합물로 구현될 수 있다는 점이다. 본 발명의 방법은 하나의 컴퓨터 시스템의 집중 방식으로 또는 상이한 소자들이 몇몇 상호 접속 컴퓨터 시스템들에 걸쳐 산포되어 있는 분산 방식으로 구현될 수 있다. 본 명세서에 기술된 방법들을 실행하기에 적합한 컴퓨터 시스템 또는 다른 장치라면 어떠한 종류이든 적합하다. 하드웨어 및 소프트웨어의 전형적인 결합물은 로드 및 실행될 때 본 명세서에 기술된 방법들을 실행하도록 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다.
본 발명은 또한 본 명세서에 기술된 방법들의 구현을 가능케 하는 모든 기능들을 포함하고, 컴퓨터 시스템에 로드될 때 상기 방법들을 실행할 수 있는 컴퓨터 프로그램 제품에 내장될 수도 있다. 컴퓨터 프로그램 수단 또는 현재 문맥의 컴퓨터 프로그램은 정보 처리 기능을 갖는 시스템이 a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 물질 형태로의 재생성 중 하나 또는 둘다 후에 또는 직접 특정 펑션을 실행할 수 있게 하도록 의도된 한 집합의 명령들의 임의의 언어, 코드 또는 표기법으로 된 임의의 표현을 의미한다.
상술된 명세서는 본 발명의 양호한 실시예들을 도시하고 기술했지만, 본 발명은 본 명세서에 기재된 정밀한 구성으로만 제한되는 것이 아님을 알 것이다. 본 발명은 원리 또는 기본적인 특성들에서 벗어나지 않은 다른 특정 형태들로 구현될 수도 있다. 따라서, 본 발명의 원리를 나타내는데 있어서는, 상술된 명세서가 아닌 이하의 청구항들을 참조해야만 한다.
본 발명은 종래 기술에 비해 몇몇 장점들을 갖는다. 첫째, 조회 실행 및 데이터 제공에 있어서 보다 적은 시간이 소모된다. 둘째, 사용자가 조회 프로세스를 제어할 수 있고 필요한 경우 방해할 수도 있다. 셋째, 프로세스는 인간 환경 공학적으로 편안할 수 있다 - 긴 탐색 중에, 사용자는 각각의 아이템 매칭 후에 프롬프트를 수신함으로써 시스템이 태스크를 실행중이라는 명백한 통보를 획득한다. 또한, 정보가 이해하기 어려울 수 있는 잠정적으로 긴 리스트의 다수의 아이템들이 아닌 개별 아이템들로서 사용자에게 제공된다.

Claims (20)

  1. 오디오 사용자 인터페이스(AUI)를 통해 데이터베이스 조회 결과들을 제공하기 위한 방법에 있어서,
    적어도 하나의 데이터베이스로부터 다수의 데이터베이스 조회 결과 아이템들을 검색하는 데이터베이스 조회 오퍼레이션을 개시하는 단계; 및,
    각각의 상기 조회 결과 아이템이 상기 적어도 하나의 데이터베이스에서 발견될 때 각각의 상기 조회 결과 아이템을 AUI를 통해 제공하는 단계
    를 포함하고, 상기 제공 단계는 상기 데이터베이스 조회 오퍼레이션과 동시에 발생하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 제공 단계 중에 상기 AUI를 통해 음성 응답을 검출하는 단계 -상기 음성 응답은 상기 AUI를 통해 제공된 상기 조회 결과 아이템을 선택함-;
    상기 검출에 응답하여, 상기 데이터베이스 조회 오퍼레이션을 종료하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 제공 단계 중에 상기 데이터베이스 조회 오퍼레이션을 종료하는 커맨드를 검출하는 단계; 및
    상기 검출에 응답하여, 상기 데이터베이스 조회 오퍼레이션을 종료하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 커맨드가 음성 커맨드인 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    각각의 조회 결과 아이템이 발견될 때 데이터 구조에 각각의 상기 결과 아이템을 삽입하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 제공 단계는 상기 데이터베이스 조회 오퍼레이션과 무관하게 그러나 동시에 상기 데이터 구조에 포함된 각각의 조회 결과 아이템을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 데이터 구조가 리스트, 스택 및 데이터베이스로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 AUI는 전화 인터페이스(telephony interface)인 것을 특징으로 하는 방법.
  9. 오디오 사용자 인터페이스(AUI)를 통해 데이터베이스 조회 결과들을 제공하기 위한 시스템에 있어서,
    적어도 하나의 데이터베이스에서의 데이터베이스 조회 오퍼레이션을 관리하기 위한 데이터베이스 관리자 -상기 데이터베이스 조회 오퍼레이션은 데이터베이스 조회 결과 아이템들을 생성함-; 및
    상기 데이터베이스 조회 오퍼레이션과 동시에 AUI를 통해 상기 데이터베이스 조회 결과 아이템들의 제공을 관리하기 위한 다이얼로그 관리자
    를 포함하는 것을 특징으로 하는 시스템.
  10. 제9항에 있어서,
    상기 AUI는
    상기 데이터베이스 조회 결과 아이템들을 가청 음성(audible speech)으로 변환하기 위한 텍스트-음성 프로세서(text-to-speech processor); 및
    음성 입력을 상기 다이얼로그 관리자가 인식할 수 있는 텍스트로 변환하기 위한 음성 인식 엔진
    을 포함하는 것을 특징으로 하는 시스템.
  11. 제10항에 있어서,
    상기 AUI가 바지-인 설비(barge-in facility)를 더 포함하는 것을 특징으로 하는 시스템.
  12. 제9항에 있어서,
    상기 데이터베이스 조회 오퍼레이션으로부터의 데이터베이스 조회 결과 아이템들을 저장하기 위한 큐(queue); 및
    데이터베이스 조회 아이템들의 큐로의 삽입 및 큐로부터의 제거를 관리하기 위한 큐 관리자
    를 더 포함하는 것을 특징으로 하는 시스템.
  13. 머신(machine)이 이하의 단계들을 실행하도록 하기 위해 머신에 의해 실행 가능한 다수의 코드 섹션들을 갖는 컴퓨터 프로그램이 AUI를 통해 데이터베이스 조회 결과들을 제공하기 위해 저장되어 있는 머신 판독 가능 스토리지에 있어서,
    적어도 하나의 데이터베이스로부터 다수의 데이터베이스 조회 결과 아이템들을 검색하는 데이터베이스 조회 오퍼레이션을 개시하는 단계; 및,
    각각의 상기 조회 결과 아이템이 상기 적어도 하나의 데이터베이스에서 발견될 때, AUI를 통해 각각의 상기 조회 결과 아이템을 제공하는 단계
    를 포함하며, 상기 제공 단계는 상기 데이터베이스 조회 오퍼레이션과 동시에 발생하는 것을 특징으로 하는 머신 판독 가능 스토리지.
  14. 제13항에 있어서,
    상기 제공 단계 중에 상기 AUI를 통해 음성 응답을 검출하는 단계 -상기 음성 응답은 AUI를 통해 제공된 상기 조회 결과 아이템을 선택함-; 및
    상기 검출에 응답하여, 상기 데이터베이스 조회 오퍼레이션을 종료하는 단계
    를 더 포함하는 것을 특징으로 하는 머신 판독 가능 스토리지.
  15. 제14항에 있어서,
    상기 데이터베이스 조회 오퍼레이션을 종료하는 커맨드를 상기 제공 단계 중에 검출하는 단계; 및
    상기 검출에 응답하여, 상기 데이터베이스 조회 오퍼레이션을 종료하는 단계
    를 더 포함하는 것을 특징으로 하는 머신 판독 가능 스토리지.
  16. 제15항에 있어서,
    상기 커맨드가 음성 커맨드인 것을 특징으로 하는 머신 판독 가능 스토리지.
  17. 제13항에 있어서,
    각각의 조회 결과 아이템이 발견될 때 데이터 구조에 각각의 결과 아이템을 삽입하는 단계를 더 포함하는 것을 특징으로 하는 머신 판독 가능 스토리지.
  18. 제17항에 있어서,
    상기 제공 단계는 상기 데이터베이스 조회 오퍼레이션과 무관하게 그러나 동시에 상기 데이터 구조에 포함된 각각의 조회 결과 아이템을 제공하는 단계를 포함하는 것을 특징으로 하는 머신 판독 가능 스토리지.
  19. 제13항에 있어서,
    상기 데이터 구조가 리스트, 스택 및 데이터베이스로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 머신 판독 가능 스토리지.
  20. 제13항에 있어서,
    상기 AUI가 전화 인터페이스인 것을 특징으로 하는 머신 판독 가능 스토리지.
KR1020020001413A 2001-02-01 2002-01-10 오디오 사용자 인터페이스를 통한 데이터베이스 조회결과의 효율적인 제공 KR100541907B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/775,285 2001-02-01
US09/775,285 US7117442B1 (en) 2001-02-01 2001-02-01 Efficient presentation of database query results through audio user interfaces

Publications (2)

Publication Number Publication Date
KR20020064149A true KR20020064149A (ko) 2002-08-07
KR100541907B1 KR100541907B1 (ko) 2006-01-10

Family

ID=25103933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020001413A KR100541907B1 (ko) 2001-02-01 2002-01-10 오디오 사용자 인터페이스를 통한 데이터베이스 조회결과의 효율적인 제공

Country Status (4)

Country Link
US (1) US7117442B1 (ko)
JP (1) JP3800518B2 (ko)
KR (1) KR100541907B1 (ko)
TW (1) TWI304538B (ko)

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412392B2 (en) 2008-10-02 2016-08-09 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251113A1 (de) 2002-11-02 2004-05-19 Philips Intellectual Property & Standards Gmbh Verfahren zum Betrieb eines Spracherkennungssystems
US20060085387A1 (en) * 2004-10-20 2006-04-20 Inernational Business Machines Corporation Optimization-based data content determination
KR20080063041A (ko) * 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US9236047B2 (en) 2010-05-21 2016-01-12 Microsoft Technology Licensing, Llc Voice stream augmented note taking
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
CN106909603A (zh) * 2016-08-31 2017-06-30 阿里巴巴集团控股有限公司 搜索信息处理方法及装置
US10311875B2 (en) 2016-12-22 2019-06-04 Soundhound, Inc. Full-duplex utterance processing in a natural language virtual assistant
US20220093093A1 (en) * 2020-09-21 2022-03-24 Amazon Technologies, Inc. Dialog management for multiple users

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121470A (en) * 1990-02-01 1992-06-09 Intellimetrics Instrument Corporation Automated interactive record system
JPH04158476A (ja) * 1990-10-22 1992-06-01 Sharp Corp 音声対話装置
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface
JP3378595B2 (ja) 1992-09-30 2003-02-17 株式会社日立製作所 音声対話システムおよびその対話進行制御方法
JPH0778183A (ja) 1993-06-25 1995-03-20 Ricoh Co Ltd デ−タベ−ス検索システム
DE4432632A1 (de) 1994-09-14 1996-03-21 Philips Patentverwaltung System zum Ausgeben von Sprachinformation in Rekation auf eingegebene Sprachsignale
JPH08263252A (ja) 1995-03-20 1996-10-11 Sanyo Electric Co Ltd 次画面選択方法
US5799279A (en) * 1995-11-13 1998-08-25 Dragon Systems, Inc. Continuous speech recognition of text and commands
AU1566497A (en) * 1995-12-22 1997-07-17 Rutgers University Method and system for audio access to information in a wide area computer network
KR970049417A (ko) * 1995-12-30 1997-07-29 김광호 오디오 파일 데이터 베이스 구축 방법, 검색 방법 및 이에 적합한 장치
JPH09325789A (ja) 1996-05-31 1997-12-16 Ricoh Co Ltd 音声合成装置及び音声合成装置を備えた情報検索システム
JPH1063296A (ja) 1996-08-20 1998-03-06 Canon Inc 自然言語処理装置および方法
US6100891A (en) * 1998-06-09 2000-08-08 Teledirect International, Inc. Call center agent interface and development tool
US6539080B1 (en) * 1998-07-14 2003-03-25 Ameritech Corporation Method and system for providing quick directions
US6941273B1 (en) * 1998-10-07 2005-09-06 Masoud Loghmani Telephony-data application interface apparatus and method for multi-modal access to data applications
JP3629384B2 (ja) 1999-06-29 2005-03-16 シャープ株式会社 情報選択装置及び記録媒体
US6492999B1 (en) * 1999-02-25 2002-12-10 International Business Machines Corporation Connecting and optimizing audio input devices
KR19990046451A (ko) * 1999-03-13 1999-07-05 정명덕 이동통신망을이용한정보조회시스템및조회방법
JP2000339321A (ja) * 1999-05-25 2000-12-08 Nippon Telegr & Teleph Corp <Ntt> 関連情報随時自動送信装置及び方法並びに関連情報随時自動送信プログラムを記録した記録媒体
JP2001022756A (ja) * 1999-07-05 2001-01-26 Pfu Ltd 音声対話型情報検索システムおよび記録媒体
KR20010091662A (ko) * 2000-03-17 2001-10-23 강민구 전화 접속이 가능한 웹 기반 정보 제공 방법 및 그 장치
US6920425B1 (en) * 2000-05-16 2005-07-19 Nortel Networks Limited Visual interactive response system and method translated from interactive voice response for telephone utility
KR100381605B1 (ko) * 2000-08-07 2003-05-12 최중인 Ａｒｓ 음성 웹 호스팅 서비스 시스템 및 그 방법

Cited By (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9412392B2 (en) 2008-10-02 2016-08-09 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services

Also Published As

Publication number Publication date
JP3800518B2 (ja) 2006-07-26
TWI304538B (en) 2008-12-21
JP2002304409A (ja) 2002-10-18
US7117442B1 (en) 2006-10-03
KR100541907B1 (ko) 2006-01-10

Similar Documents

Publication Publication Date Title
KR100541907B1 (ko) 오디오 사용자 인터페이스를 통한 데이터베이스 조회결과의 효율적인 제공
US10121475B2 (en) Computer-implemented system and method for performing distributed speech recognition
US7447638B1 (en) Speech input disambiguation computing method
US7188067B2 (en) Method for integrating processes with a multi-faceted human centered interface
EP1806735B1 (en) System and method for performing distributed speech recognition
US8064573B2 (en) Computer generated prompting
US6208972B1 (en) Method for integrating computer processes with an interface controlled by voice actuated grammars
EP1506666B1 (en) Dynamic content generation for voice messages
US20060020471A1 (en) Method and apparatus for robustly locating user barge-ins in voice-activated command systems
US8180025B2 (en) Methods and apparatus for enforcing caller listening behavior on interactive voice response applications
US7433823B1 (en) Speech input disambiguation computing system
JP3810551B2 (ja) 音声認識システム、コールセンタシステム、音声認識方法及び記録媒体
JPH1125112A (ja) 対話音声処理方法及び装置、記録媒体
KR20010052414A (ko) 식별 가능한 이름들의 라이브러리를 갖는 자동 어텐던트
US20050120867A1 (en) Interactive voice response method and apparatus
JP2001249930A (ja) 協調的応答型情報提供方法および装置
US20040203665A1 (en) Method for dialing telecommunication connections

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091203

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee