KR101066732B1 - 음성 문법들 내에 포함되어 있는 내용으로부터 이용 가능한음성 명령들을 포함하는 동적 도움말 - Google Patents

음성 문법들 내에 포함되어 있는 내용으로부터 이용 가능한음성 명령들을 포함하는 동적 도움말 Download PDF

Info

Publication number
KR101066732B1
KR101066732B1 KR1020070010302A KR20070010302A KR101066732B1 KR 101066732 B1 KR101066732 B1 KR 101066732B1 KR 1020070010302 A KR1020070010302 A KR 1020070010302A KR 20070010302 A KR20070010302 A KR 20070010302A KR 101066732 B1 KR101066732 B1 KR 101066732B1
Authority
KR
South Korea
Prior art keywords
help
voice
grammar
speech
application
Prior art date
Application number
KR1020070010302A
Other languages
English (en)
Other versions
KR20070093326A (ko
Inventor
제럴드 매튜 매코브
데이빗 재라밀로
순선 애티버니챠야평
Original Assignee
뉘앙스 커뮤니케이션즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뉘앙스 커뮤니케이션즈, 인코포레이티드 filed Critical 뉘앙스 커뮤니케이션즈, 인코포레이티드
Publication of KR20070093326A publication Critical patent/KR20070093326A/ko
Application granted granted Critical
Publication of KR101066732B1 publication Critical patent/KR101066732B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다중 모드 애플리케이션들을 포함하는, 음성-인에이블형 애플리케이션들(voice-enabled applications)에 도움말(help)을 제공하기 위한 방법은 음성-인에이블형 애플리케이션과 연관된 하나 이상의 음성 문법을 식별하는 단계를 포함할 수 있다. 도움말 필드들(help fields)이 음성 문법 내에 정의될 수 있다. 도움말 필드들은 음성-인에이블형 애플리케이션을 위해 이용 가능한 음성 명령들을 포함할 수 있다. 음성 문법이 음성-인에이블형 애플리케이션에 의한 사용을 위해 활성화될 때, 이용 가능한 음성 명령들이 음성-인에이블형 애플리케이션의 사용자에게 제시될 수 있다. 제시되는 음성 명령들은 도움말 필드들로부터 획득될 수 있다.

Description

음성 문법들 내에 포함되어 있는 내용으로부터 이용 가능한 음성 명령들을 포함하는 동적 도움말{DYNAMIC HELP INCLUDING AVAILABLE SPEECH COMMANDS FROM CONTENT CONTAINED WITHIN SPEECH GRAMMARS}
도 1은 여기에 개시되는 발명 구성들의 실시예에 따른 하나 이상의 음성 문법들의 도움말 필드들에 포함되어 있는 내용으로부터 음성-인에이블형 애플리케이션들(voice-enabled applications)에 도움말을 제공하는 시스템의 개략도이다.
도 2는 여기에 개시되는 발명 구성들의 실시예에 따른 음성 문법들 내에 포함되어 있는 도움말 필드들을 사용해서 음성-인에이블형 애플리케이션 내에 도움말을 동적으로 제공하기 위한 방법의 흐름도이다.
도 3은 여기에 개시되는 발명 구성들의 태양에 따른 문법들 및 연관된 음성 명령 도움말을 동적으로 활성화하기 위한 방법의 흐름도이다.
도 4는 여기에 개시되는 발명 구성들의 실시예에 따른 도움말 필드들을 포함하는 샘플 문법의 코드 일례이다.
도 5는 여기에 개시되는 발명 구성들의 실시예에 따른 문법을 참조하는 음성-인에이블형 애플리케이션의 코드 일례이다.
도 6은 여기에 개시되는 발명 구성들의 실시예에 따른 음성 문법을 위한 샘플 도움말 마크업의 코드 일례이다.
도 7은 여기에 개시되는 발명 구성들의 실시예에 따른 다중 모드 브라우저 및 도움말 창을 나타내는 그래픽 사용자 인터페이스이다.
도 8은 서비스 에이전트(service agent)가 여기에 개시되는 발명 구성들의 실시예에 따른 활성 문법들로부터 유도되는 음성 명령 도움말을 사용하는 시스템을 구성할 수 있는 방법의 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110 : 컴퓨팅 장치
114 : 음성-인에이블형 애플리케이션
116 : 애플리케이션을 위한 도움말
120 : 음성 문법 데이터 저장 공간
124 : 문법의 단어들
126 : 도움말 필드들
130 : 전역적 문법
132 : 페이지-레벨 문법
134 : 문맥-감지 문법
150, 152 : 콘딧
본 발명은 음성 프로세싱 분야에 관한 것으로서, 보다 구체적으로는, 음성 문법들 내에 이용 가능한 음성 명령들을 포함하는 문법 특정 도움말(grammar specific help)을 배치하는 것에 관한 것이다.
다중 모드 상호 작용들은, 그를 통해 사용자가 인터페이싱할 수 있는 다수의 중복되는 상호 작용 모드들을 가진 컴퓨팅 인터페이스를 통해 발생한다. 다중 모드 인터페이스를 위한 통상적인 모드들로는 GUI(graphical user interface) 모드 및 음성 모드를 들 수 있다. 입력과 출력 모두가 어느 하나의 모드를 통해 송수신될 수 있다.
음성 모드는, 다중 모드 애플리케이션이 제한된 또는 불편한 입/출력 주변 장치들이 부착되어 있는 컴퓨팅 장치에서 실행될 때, 특히 중요할 수 있다. 이것은 특히 이동식, 내장형 및 착용식 컴퓨팅 장치들의 경우에 해당된다.
예를 들어, 많은 스마트폰들이 터치스크린 GUI 및 음성 인터페이스를 포함한다. 음성 인터페이스는 텍스트로 자동 변환되어, 이메일 애플리케이션 또는 워드 프로세싱 애플리케이션과 같은, 애플리케이션에 배치되는 구두 입력(spoken input)을 수신할 수 있다. 장치의 GUI 모드에 포함되어 있는 터치스크린 입력 메커니즘을 사용해서 텍스트 메시지를 입력하고자 시도하는 것보다, 이러한 구두 입력 메커니즘이 사용자에게 훨씬 더 용이할 수 있다. 추가적으로, 본 장치는 (휴대용 장치의 이동성 특징으로 인한) 비교적 작은 스크린을 판독하기 어려운 환경에서 또는 디스플레이 스크린을 판독하는 것이 지나치게 산만한 상황에서 이용될 수도 있다. 이런 상황들에서, 텍스트 출력은 음성으로 변환되어 가청적으로 사용자에게 제시될 수 있다.
다중 모드 애플리케이션들을 이용함에 있어서의 한가지 어려움은 허용되는 음성 명령들에 관한 것이다. 상이한 명령들이 다중 모드 애플리케이션의 상태에 따라 선택적으로 이용 가능할 수 있다. 다른 음성 명령들은 애플리케이션 상태와 무관하게 이용 가능할 수 있다. 음성 명령들 중 상이한 음성 명령들은 애플리케이션을 위한 전역적 명령들(global commands)로 간주될 수 있고, 이용 가능한 다른 음성 명령들은 애플리케이션의 디스플레이된 창 또는 페이지에 의존하는 페이지-레벨 명령들일 수 있으며, 또 다른 음성 명령들은 현재적으로 인터페이스 포커스를 소유 중인 인터페이스 항목에 의존하는 문맥 특정 명령들일 수 있다. 전역적 명령들은 비교적 정적일 수 있는 한편, 페이지-레벨 명령들 및 문맥-특정 명령들은 동적일 수 있다. 다중 모드 애플리케이션은 이러한 명령들의 상이한 유형들 모두에 대해 도움말을 제공해야 한다.
다중 모드 애플리케이션들에 대해 도움말을 제공하기 위한 현재 기술들은 다중 모드 애플리케이션에 링크되어 있는 코드내의 도움말 및 다중 모드 애플리케이션 내에서 발생하는 이벤트들을 고유하게 구성하는 전통적인 코딩 기술들을 이용한다. 예를 들어, 도움말은 애플리케이션을 위한 일반적인 도움말 파일(general help file)내에 통합될 수 있다. 이러한 접근 방법에서의 한가지 문제점은, (이용 가능한 음성 명령들이 애플리케이션 상태에 따라 변할 수 있으므로) 음성 명령들 및 도움말 코드가 애플리케이션의 비교적 깊은 레벨에서 통합된다는 것이다. 애플리케이션에 대해 코드 변경들이 수행될 때, 도움말 파일들로의 링크들도 변경되고 테스트되어야 한다. 추가적으로, 음성 명령들을 문법적으로 해석하는데 사용되는 음성 문 법이 변경될 경우에도, 다중 모드 애플리케이션 및 연관된 도움말 파일들에 대한 대응되는 변경들이 수행되어야 한다.
애플리케이션/도움말/문법 동기화를 유지함에 있어서의 문제들은 소프트웨어 기능성을 잘 정의된 인터페이스들을 가진 이산 유닛들로 부품화하는, SOA(service oriented architecture) 기술들과 같은, 소프트웨어 개발 기술들이 출현하는 것에 의해 악화된다. SOA에서, 상이한 그룹들 및/또는 컴파니들은 통상적으로 다른 그룹들 및/또는 컴파니들에 의해 독자적으로 개발된 코드 유닛들과 조합될 수 있는 코드 유닛들을 제공하는 것에 집중한다. 자동적으로 제어되는 개발 환경 대신에, SOA는 독자적으로 개발된 많은 소프트웨어 구축 블록들로부터 통합된 소프트웨어 제품들을 발생시키는 분산 개발 환경을 권장한다. SOA는 향상된 마케팅 시점, 대규모 소프트웨어 재이용, 및 적절한 업그레이드 진행의 이점들을 가질 수 있다. SOA는 전통적인 소프트웨어 설계 방법들에 이의를 제기할 수도 있다. 예를 들어, SOA 소프트웨어 유닛들을 저레벨 코드 종속성들(low-level code dependencies)을 가진 소프트웨어와 통합하기는 어려울 수도 있다.
음성-인에이블형 다중 모드 애플리케이션들 내에서 도움말을 구현하기 위한 새로운 접근 방법이 필요하다. 새로운 접근 방법은 이상적으로, SOA 기반 기술들을 포함하는, 임의의 소프트웨어 기술들을 사용해서 개발된 다중 모드 애플리케이션들과 함께 동작할 수 있을 것이다. 더 나아가, 본 접근 방법은, 음성-인에이블형 애플리케이션 및/또는 음성 문법들이 업데이트됨에 따른 업데이트 및 유지 보수가 용이할 것이다. 더 나아가, 최적의 접근 방법은, 하나의 도움말 기술이 상이한 플랫 폼들을 위해 개발된 음성-인에이블형 및 다중 모드 애플리케이션들 모두에 이용될 수 있도록 하기 위해, 도움말 파일들이 상이한 애플리케이션들에 걸쳐 이식되는 것을 허용하는 것일 것이다.
음성 명령들과 연관된 도움말 파일들이 여기에 개시되는 발명 구성들의 실시예에 따른 음성 문법들 내에서 구현되는 소프트웨어 솔루션이 제공된다. 좀더 구체적으로, 동적으로 활성화 가능한 문법들이 도움말 필드들을 포함할 수 있다. 도움말 필드들은, 문법이 활성 상태일 때에 이용 가능한 도움말 명령들, 각각의 도움말 명령을 위한 하나 이상의 일례들, 및 관련된 문법 특정 도움말을 특정할 수 있다. 음성 문법들은 음성-인에이블형 애플리케이션에 의해 이용될 수 있다. 그러한 음성-인에이블형 일 애플리케이션이, 다중 모드 웹 브라우저에 의해 렌더링될 수 있는 마크업을 사용해서 구현되는 다중 모드 애플리케이션이다. 문법들, 애플리케이션, 및/또는 웹 브라우저 사이에는, 그를 통해 도움말 이벤트들 및 도움말 관련 데이터 페이로드들이 전달될 수 있는 콘딧(conduit)이 확립될 수 있다. 활성 문법(active grammar)으로부터 추출된 도움말 정보가 시각적으로 및/또는 가청적으로 제시될 수 있다. 일 실시예에서는, 문법들 내에 도움말 필드들을 매입하고 이러한 도움말 필드들을 음성-인에이블형 애플리케이션의 인터페이스 요소들로 통합하는 것을 용이하게 하는 소프트웨어 개발 환경의 일부로서 마법사가 포함될 수도 있다.
본 발명은 여기에서 제시되는 논거와 일치하는 다수 태양들에 따라 구현될 수 있다. 예를 들어, 본 발명의 일 태양은 음성-인에이블형 애플리케이션들에 도움 말을 제공하기 위한 방법을 포함할 수 있다. 본 방법은 음성-인에이블형 애플리케이션과 연관된 하나 이상의 음성 문법을 식별하는 단계를 포함할 수 있다. 도움말 필드들은 음성 문법 내에 정의될 수 있다. 도움말 필드들은 음성-인에이블형 애플리케이션을 위해 이용 가능한 음성 명령들을 포함할 수 있다. 음성 문법은 음성-인에이블형 애플리케이션에 의한 사용을 위해 활성화될 수 있다. 이용 가능한 음성 명령들이 음성-인에이블형 애플리케이션의 사용자에게 제시될 수 있다. 제시되는 음성 명령들은 도움말 필드들로부터 획득될 수 있다.
본 발명의 다른 태양은 SRGS(Speech Recognition Grammar Specification) 메타태그들(metatags)을 사용해서 구현되는 하나 이상의 도움말 필드를 가진 음성 문법을 포함할 수 있다. 도움말 필드는 음성-인에이블형 애플리케이션에 의해 사용되는 내용(content)을 포함할 수 있다. 도움말 필드들은, 음성-인에이블형 애플리케이션의 사용자에게 음성 문법과 연관된 음성 명령들을 위한 도움말을 제공하는 도움말 데이터를 포함할 수 있다.
본 발명의 또 다른 태양은 음성-인에이블형 애플리케이션에 도움말을 제공하기 위한 시스템을 포함할 수 있다. 본 시스템은 문법 마법사, 문법 마법사에 의해 발생되는 하나 이상의 문법, 및 다중 모드 애플리케이션을 포함할 수 있다. 문법 마법사는 음성 문법의 이용 가능한 음성 명령들과 연관된 도움말 내용을 특정할 수 있다. 발생된 문법은 문법의 단어들 및 단어들을 위한 도움말 내용이 포함되어 있는 도움말 필드들을 포함할 수 있다. 다중 모드 애플리케이션은 도움말 인터페이스를 포함할 수 있다. 다중 모드 애플리케이션은, 연관된 문법이 동적으로 활성화되 는 런타임시에, 도움말 인터페이스 내에 도움말 내용을 동적으로 로딩할 수 있다.
본 발명의 다양한 태양들은, 여기에서 설명되는 기능들을 구현하도록 컴퓨팅 장비를 제어하기 위한 프로그램으로서 또는 컴퓨팅 장비가 여기에 개시되는 단계들에 대응되는 프로세스들을 수행하는 것을 가능하게 하기 위한 프로그램으로서 구현될 수 있다는 것에 주의해야 한다. 이 프로그램은 프로그램을 자기 디스크, 광학 디스크, 반도체 메모리, 또는 임의의 다른 기록 매체에 저장하는 것에 의해 제공될 수도 있다. 또한, 이 프로그램은 반송파를 통해 전달되는 디지털 인코딩 신호로서 제공될 수도 있다. 설명된 프로그램은 단일 프로그램일 수 있거나, 각각이 단일 컴퓨팅 장치내에서 상호 작용하거나 네트워크 공간을 가로질러 분산 방식으로 상호 작용하는 다수의 서브프로그램들로서 구현될 수도 있다.
여기에서 설명되는 방법들은 서비스 에이전트 및/또는 서비스 요청에 응답하여 서비스 에이전트에 의해 조작되는 머신에 의해 적어도 부분적으로 수행되는 방법들일 수 있다는 것에도 주의해야 한다.
현재적으로는 바람직스럽지만, 도시되어 있는 정확한 구성들 및 수단들로 본 발명이 제한되는 것은 아닌 것으로 이해되는 실시예들이 도면들에 도시되어 있다.
(발명의 상세한 설명)
도 1은 여기에 개시되는 발명 구성들의 실시예에 따른 하나 이상의 음성 문법들의 도움말 필드들에 포함되어 있는 내용으로부터 음성-인에이블형 애플리케이션에 도움말을 제공하는 시스템(100)의 개략도이다. 시스템(100)은 음성 문법 데이터 저장 공간(120)으로부터 하나 이상의 음성 문법들을 수신하는 컴퓨팅 장치(110)를 포함할 수 있다.
컴퓨팅 장치(110)는 음성-인에이블형 애플리케이션(114)을 제시할 수 있고 애플리케이션을 위한 도움말(116)을 제공할 수 있는 임의 장치를 포함할 수 있다. 컴퓨팅 장치(110)는, 마이크로폰 및 스피커와 같은, (도시되어 있지 않은) 하나 이상의 오디오 변환기들에 프로그램에 따라 부착될 수 있다. 오디오 변환기는 장치(110)의 내장 컴포넌트로서 구현될 수 있거나, USB(Universal Serial Bus) 포트를 통해 링크되어 있는 장치와 같은, 통신 가능하게 링크되어 있는 주변 장치로서 구현될 수도 있다. 컴퓨팅 장치(110)는 컴퓨터, 태블릿 PC, 노트북, PDA(personal data assistant), 스마트폰, 미디어 플레이어, 디지털 엔터테인먼트 시스템, 홈 오디오 비디오 시스템, 착용식 컴퓨팅 장치 등을 포함할 수 있지만, 이것으로 한정되는 것은 아니다.
일 실시예에서, 음성-인에이블형 애플리케이션(114)은 GUI(graphical user interface) 및 음성 인터페이스를 가진 다중 모드 애플리케이션일 수 있다. 부가적으로, 음성-인에이블형 애플리케이션(114)은 마크업 언어로 구현될 수 있고, 보이스-기반 브라우저 또는 다중 모드 브라우저일 수 있는 브라우저 내에서 렌더링될 수 있다.
도움말(116)은, 음성-인에이블형 애플리케이션(114)이 인식할 수 있는 명령들 및/또는 문구들을 제시하는 섹션을 포함할 수 있다. 허용되는 음성 명령들의 하나 이상의 일례들도 도움말(116)에 의해 제공될 수 있다. 음성-인에이블형 애플리 케이션(114)을 위해 이용 가능한 음성 명령들이 변경됨에 따라, 도움말(116)의 내용은 대응되는 방식으로 자동적으로 변경된다. 도움말(116)은 애플리케이션(114)과 유사한 방식으로 구현될 수 있다. 예를 들어, 애플리케이션(114)이 브라우저 내에서 렌더링될 마크업으로 구현될 때, 도움말(116)도 마크업으로 구현될 수 있다. 본 발명은 브라우저-기반 실시예들로 제한되지 않는다. 애플리케이션(114) 및 도움말(116)은 장치(110)에 의해 지원되는 임의 방식으로 구현될 수 있다.
음성 문법 데이터 저장 공간(120)은 하나 이상의 음성 문법들을 포함할 수 있다. 각각이 상황에 따라 활성화되는, 음성 문법들의 상이한 유형들이 포함될 수 있다. 예를 들어, 연관된 애플리케이션(140)이 실행될 때마다 활성화될 수 있는 하나 이상의 전역적 문법들(130)이 포함될 수 있다. 페이지-레벨 문법(132) 및 문맥-감지 문법(134)이 음성-인에이블형 애플리케이션(114)의 상태에 기초해서 선택적으로 그리고 동적으로 활성화될 수 있다.
각각의 페이지-레벨 문법(132)은 음성-인에이블형 애플리케이션(114)의 페이지, 스크린, 또는 애플리케이션 세그먼트에 따라 동적으로 활성화/비활성화될 수 있다. 예를 들어, 음성-인에이블형 애플리케이션(114)이 웹 브라우저 내에서 실행 중인 일련의 웹 페이지들로서 구현되는 경우, 활성 웹 페이지들에 따라 상이한 페이지-레벨 문법들(132)이 활성화/비활성화될 수 있다.
문맥-감지 문법들(context-sensitive grammars)(134)은, 음성-인에이블형 애플리케이션(114)의 현재적으로 주목받고 있는 요소들에 의존할 수 있다. 포커스가 변함에 따라, 문맥-감지 문법들(134)도 변할 수 있다. 예를 들어, 음성-인에이블형 워드 프로세싱 애플리케이션에서, 음성 명령 "copy word"는, 현재적으로 주목받고 있는 단어가 클립보드로 복사되게 할 수 있다. 상이한 단어가 주목받고 있는 경우, 동일한 음성 명령에 응답하여, 상이한 내용이 복사된다. 부가적으로, 포커스가 워드 프로세싱 애플리케이션의 텍스트 영역으로부터 파일 저장 영역으로 이동하는 경우, 텍스트 조작들을 위한 문맥-감지 문법(134)과 연관된 명령들은 자동적으로 비활성화될 수 있다. 활성 음성 문법들, 음성-인에이블형 애플리케이션(114)의 상태, 및 이용 가능한 음성 명령들 사이에는 직접적인 관계가 존재한다는 것을 알 수 있어야 한다.
좀더 구체적으로, 데이터 저장 공간(120)의 음성 문법의 각각은 문법의 하나 이상의 단어들(124) 및 하나 이상의 도움말 필드들(126)을 포함할 수 있다. 도움말 필드들(126)은 문법의 단어들(124) 중 연관된 단어들을 위한 음성 명령들에 대한 도움말 및 일례들을 제공한다. 데이터 저장 공간(120)으로부터 상이한 문법들이 활성화/비활성화될 때, 새로운 단어들(124)이 콘딧(150)을 가로질러 음성-인에이블형 애플리케이션(114)으로 전달된다. 통상적으로, 이것은 새로운 문법을 로딩/언로딩하는 것에 의해 발생한다. 처음에는 부분적인 문법들이 로딩될 수 있고 필요에 따라 콘딧(150)을 통해 추가적인 정보가 획득될 수 있는 스트리밍 기술들(streaming technologies)도 이용될 수 있다.
도움말 콘딧(152)을 통해 도움말 필드들(126)과 애플리케이션을 위한 도움말(116) 사이에서도 데이터가 전달될 수 있다. 애플리케이션을 위한 도움말(116)은 선택적으로 활성화 및/또는 비활성화될 수 있다. 도움말(116)이 비활성화되는 경우 라면, 도움말 필드들(126)과 연관된 단어들(124)이 로딩되는 경우라 하더라도, 도움말 필드들(126)로부터의 내용은 불필요하다. 도움말(116)이 활성화되는 경우, 도움말 활성화 이벤트가 도움말 콘딧(152)을 통해 전달될 수 있고, 그에 따라, 활성 문법들을 위한 적당한 도움말 패킷들이 전달될 수 있다. 결과적으로, 도움말(116)은, 필요에 따라, 적합한 도움말 필드들(126)로부터의 내용으로 동적으로 채워질 수 있다.
예상되는 일 실시예에서, 개발 장치(140)에 상주하는 문법 개발 애플리케이션(142)은 데이터 저장 공간(120)의 문법들의 생성을 용이하게 하는데 사용될 수 있다. 문법 개발 애플리케이션(142)은 개발자에게 도움말 내용을 생각나게 하는 문법 마법사(144)를 포함할 수 있다. 제공되는 도움말 내용 및 도움말 일례들은 도움말 필드들(126) 내에 자동적으로 배치될 수 있다.
문법 마법사(144)는 문법 트리의 자동적인 탐색(automatic traversal)에 기초해서 도움말 내용이 자동적으로 발생되게 하기 위한 옵션을 제공할 수 있다. 예를 들어, 도움말 일례는 문법 트리 경로의 제1 대안을 선택하는 것에 의해 문법 마법사(144)에 의해 자동적으로 발생될 수 있다. 이와 마찬가지로, 문법 마법사는 연관된 문법의 단어들에 기초해서 시각적인 및/또는 가청적인 도움말 내용을 자동적으로 발생시킬 수 있다. 예를 들어, 문법이 XHTML + Voice(X+V) 다중 모드 마크업의 일부로서 특정된다면, 문법 마법사(144)는 개발자 제공 정보에 기초해서 X+V 마크업의 시각적 및/또는 가청적 세그먼트를 위한 도움말 필드들(126)을 자동적으로 채울 수 있다.
도 2는 여기에 개시되는 발명 구성들의 실시예에 따른 음성 문법들 내에 포함되어 있는 도움말 필드들을 사용해서 음성-인에이블형 애플리케이션 내에 도움말을 동적으로 제공하기 위한 방법(200)의 흐름도이다. 이 방법(200)은 시스템(100)의 맥락에서 수행될 수 있다.
방법(200)은, 음성-인에이블형 애플리케이션이 인스턴스화될 수 있는 단계 205에서 시작할 수 있다. 단계 210에서는, 애플리케이션을 위한 전역적 음성 문법이 로딩될 수 있다. 전역적 문법은 이용 가능한 음성 명령들을 특정하는 하나 이상의 도움말 필드들을 포함할 수 있다. 단계 215에서는, 전역적 문법의 도움말 필드들로부터 도움말 내용이 로딩될 수 있다.
단계 220에서는, 애플리케이션 페이지가 로딩될 수 있다. 단계 225에서는, 애플리케이션 페이지를 위한 페이지-레벨 문법이 선택적으로 로딩될 수 있다. 애플리케이션의 일부 페이지들은 페이지-레벨 문법과 연관되지 않을 수도 있기 때문에, 이 단계는 선택적이다. 단계 230에서는, 페이지-레벨 문법이 로딩된다면, 문법 도움말 필드들로부터의 도움말 내용이 로딩될 수 있다.
단계 240에서는, 애플리케이션 포커스가 판정될 수 있다. 이러한 애플리케이션 포커스는 문맥-감지 문법과 연관될 수 있다. 선택할 수 있는 단계 245에서는, 비활성화되는 문맥-문법이 기존의 애플리케이션 포커스와 연관되어 있다면, 문맥-감지 문법은 동적으로 로딩될 수 있다. 단계 250에서는, 문맥-감지 문법내의 문법 도움말 필드들로부터의 도움말 내용이 로딩될 수 있다.
단계 255에서는, 상이한 포커스가 존재하는지를 판정하기 위한 점검이 수행 될 수 있다. 그렇지 않다면, 본 방법은 단계 255에서 단계 265로 건너뛸 수 있다. 그렇다면, 본 방법은 단계 255로부터, 현재적 활성의 문맥-감지 문법 및 연관된 도움말 내용이 언로딩될 수 있는 단계 260으로 진행한다. 언로딩되거나 비활성화되는 문맥-감지 문법은 새로운 포커스에 적용될 수 없는 문맥-감지 문법일 수 있다. 새로운 문맥-감지 문법 및 관련된 도움말 또한 이 시점에서 활성화/로딩될 수 있다.
단계 265에서는, 음성-인에이블형 애플리케이션을 위한 새로운 페이지가 로딩되었는지의 여부가 판정될 수 있다. 그렇지 않다면, 본 방법은 단계 275로 건너뛸 수 있다. 그렇다면, 본 방법은, 더 이상 적합하지 않은 현재적 활성의 페이지-레벨 문법 및 연관된 도움말이 자동적으로 언로딩될 수 있는 단계 270으로 진행할 수 있다. 새로운 페이지-레벨 문법이 새로운 페이지를 위해 존재한다면, 문법 및 연관된 도움말 내용이 이 시점에서 활성화/로딩될 수 있다.
단계 275에서는, 음성-인에이블형 애플리케이션이 여전히 사용되고 있는지의 여부 또는 (이 또한 음성-인에이블형 애플리케이션일 수 있는) 새로운 애플리케이션이 선행의 음성-인에이블형 애플리케이션을 대체했는지의 여부에 대한 판정이 수행될 수 있다. 예를 들어, 음성-인에이블형 애플리케이션이 브라우저 내에서 렌더링될 수 있고, 상이한 애플리케이션과 연관된 URL이 음성-인에이블형 애플리케이션을 대체하도록 선택될 수 있다.
상이한 애플리케이션이 선택되지 않았거나 음성-인에이블형 애플리케이션이 어떤 이유에서든 활성 상태를 유지한다면, 본 방법은 단계 275에서, 애플리케이션에 대한 점검이 수행될 수 있는 단계 255로 진행할 수 있고, 본 방법은 앞서 설명 된 바와 같이 진행할 수 있다. 음성-인에이블형 애플리케이션이, 상이한 애플리케이션을 로딩하는 것과 같은, 어떤 이유에서든, 폐쇄되는 경우, 본 방법은 단계 275에서 단계 280으로 진행할 수 있다. 단계 280에서는, 음성-인에이블형 애플리케이션을 위한 현재적인 활성 문법들 및 연관된 도움말 내용이 언로딩될 수 있다.
도 3은 여기에 개시되는 발명 구성들의 태양에 따른 문법들 및 연관된 음성 명령 도움말을 동적으로 활성화하기 위한 방법(300)의 흐름도이다. 이 방법(300)은 시스템(100)의 맥락에서 수행될 수 있다. 방법(300)은, 문법들이 다중 모드 브라우저에 의해 렌더링되는 X+V와 같은 음성-인에이블형 마크업과 연관되어 있다고 가정한다. 이들 특정 세부 사항들은 예상되는 일 실시예에만 적용된다는 것과 이러한 사실에 의해 다른 구현 명세에 기초한 파생 실시예들이 예상되고 당업자에 의해 구현될 수 있다는 것이 이해될 수 있어야 한다.
방법(300)은, 다중 모드 브라우저의 음성 도움말이 처음에는 비활성화될 수 있는 단계 305에서 시작할 수 있다. 음성 도움말은 사용자에게 이용 가능한 음성 명령들의 리스트를 가청적으로, 시각적으로, 또는 양자의 방법으로 제시하도록 설계될 수 있다. 단계 310에서는, 애플리케이션의 X+V 페이지가 다중 모드 브라우저로 로딩될 수 있다. 단계 315에서는, 도움말 콘딧이 애플리케이션과 브라우저 사이에 확립될 수 있다. 도움말 콘딧은 그를 통해, 도움말 내용을 포함하는, 도움말 이벤트 데이터 및 도움말 데이터 패키지들을 포함하지만, 그것으로 한정되는 것은 아닌, 데이터가 전달될 수 있는 통신 링크일 수 있다.
단계 320에서는, 음성-인에이블형 애플리케이션의 활성화 상태가 달라질 수 있다. 단계 325에서는, 애플리케이션과 연관된 음성 문법들이 새로운 활성화 상태를 위해 적절하게 동적으로 로딩/언로딩될 수 있다. 단계 330에서는, 도움말이 활성이라면, 도움말 내용을 포함하는 데이터 페이로드들이 도움말 콘딧을 통해 전달될 수 있다. 데이터 페이로드들은 다중 모드 브라우저의 음성 도움말에 대한 도움말 내용을 활성 문법들에 대응하도록 업데이트할 수 있다.
단계 340에서, 사용자는 현재적으로 비활성화되어야 하는 도움말인 음성 도움말을 활성화할 수 있다. 예를 들어, 사용자는 음성-인에이블형 애플리케이션에 "help" 또는 "what can I say"를 발화할 수 있다. 사용자는 GUI로부터 음성 도움말을 인에이블하기 위한 도움말 옵션을 선택할 수도 있다. 도움말 요청은 도움말 콘딧을 통해 음성-인에이블형 애플리케이션으로 전달될 수 있다. 단계 345에서, 도움말 요청은, 모든 활성 문법들을 위한 도움말 내용이 수집되게 하는 도움말 이벤트를 트리거할 수 있다. 다시 말해, 모든 활성 문법들 내에 포함되어 있는 도움말 필드들이 쿼링(querying)될 수 있고 도움말 내용이 추출될 수 있다.
단계 350에서는, 특정의 도움말 템플릿을 특정하도록 설계된 도움말 필드들 중 하나 이상으로부터의 내용을 사용해서 도움말 템플릿이 식별될 수 있다. 도움말 템플릿은, 다중 모드 브라우저가 렌더링할 수 있는 X+V 페이지일 수 있다. 도움말 템플릿은 도움말 필드들로부터 획득되는 도움말 내용으로 동적으로 채워질 수 있다.
단계 355에서는, 채워진 도움말 템플릿으로부터 도움말 페이지가 발생될 수 있다. 단계 360에서, 도움말 페이지는 시각적으로 및/또는 음성 도움말로서 가청적으로 제시될 수 있다. 도움말 페이지의, 특히 음성 인터페이스들을 위한 도움말 페이지의 제시는 애플리케이션 특정 정보의 제시를 일시적으로 비활성화 또는 보류할 수 있다. 단계 365에서, 사용자 명령은 도움말 정보의 제시를 인터럽트할 수 있고, 애플리케이션 포커스를 앞서 보류된 애플리케이션 상태로 되돌릴 수 있다. 예를 들어, 사용자 명령 "exit help"는 가청적으로 제시되는 도움말 발화(utterance)를 멈추게 할 수 있고, 애플리케이션을 위한 음성 인터페이스를 도움말 이전 상태로 되돌릴 수 있다.
단계 370에서는, 하나 이상의 애플리케이션 문법이 선택적으로 변경될 수 있다. 예를 들어, 문맥-특정 또는 페이지-레벨 문법이 애플리케이션의 변경된 상태에 따라 변경될 수 있다. 문법이 단계 370에서 변경되면, 본 방법은 단계 370에서, 음성 문법 및 연관된 도움말 내용이 애플리케이션 상태에 따라 동적으로 업데이트될 수 있는 단계 320으로 루핑할 수 있다. 단계 370에서 문법의 변화가 판정되지 않으면, 애플리케이션은, 애플리케이션 태스크가 수행될 수 있는 단계 375로 진행할 수 있다. 본 방법은, 도움말 내용 및/또는 음성 문법 조정들이 수행될 것을 요구하는 문법 변화들이 발생하는지를 점검하기 위해, 단계 375에서 단계 370으로 주기적으로 루핑할 수 있다.
도 4는 여기에 개시되는 발명 구성들의 실시예에 따른 도움말 필드들을 포함하는 샘플 문법(400)의 코드 일례이다. 문법(400)은 시스템(100)의 데이터 저장 공간(120)에 저장되는 문법의 가능한 일례이다. 문법(400)은 음료 쿼링 애플리케이션(beverage querying application)을 위한 문법을 나타낸다. 문법(400)은 그래픽 문법 트리들(410, 420, 430)로서 표현될 수 있다. 문법(400)은 문법(440)에 의해 좀더 상세하게 표현될 수 있다.
문법(400)은 예시적인 목적들을 위해 제공될 뿐이라는 것과 본 발명이 도 4에 포함되어 있는 세부 사항들로 한정되는 것으로 해석되어서는 안된다는 것을 알 수 있어야 한다. 그 대신, 당업자라면, 도 4에 도시되어 있는 샘플로부터, 내장된 도움말 필드들의 일반적인 원리를 이해할 수 있고, 일반적인 원리를 구현 명세(implementation specifics)에 상관없이 임의의 음성 문법에 적용할 수 있다.
문법 트리(410)는 음료 브랜치(421)를 나타낸다. 예상되는 음료 주문 머리말들(413)은 "I would like", "I want", 및 "<please> give me"를 포함할 수 있다. 부정 관사(415)에는 그 뒤에 음료의 사이즈(416) 및 유형(417)이 수반될 것이 예상된다. 음료 사이즈(416)는 "small" 사이즈(424) 및 "large"의 사이즈 카테고리들(422)을 포함할 수 있다. 사이즈(424)는 "medium" 또는 "regular"의 중간 사이즈 지시자(424)를 포함할 수 있다. 유형(417)은 "coffee", "milk, soft drink type"(434), 및 "lemonade"의 음료 유형들을 포함할 수 있다. 소프트 드링크 유형(434)은 "soda", "pop", 및 "cola"를 포함할 수 있다.
문법(440)은 SRGS 문법 표준들에 따른 XML 기반 문법이다. 문법(440)은 앞서 설명된 문법 트리들(410, 420, 430)을 가진 음성 문법을 가능하게 할 수 있다. 문법(440)은 도움말 필드들(442) 및 일례(446)도 포함할 수 있다. 일 실시예에서는, 소프트웨어 개발 도구로부터 호출되는 마법사(144)가 도움말 필드들(442) 및 일례(446)를 포함하는 문법(440)을 생성하는데 사용될 수 있다.
도움말 필드들(442)은 설명(443), 식별자(444), 및 교육 방법(445)의 상술을 허용한다. 설명(description)(443)은 "What would you like to drink?"와 같은, 음성 응답이 예상되는 음성 프롬프트를 지시할 수 있다. 식별자(444)는, 문법(440)이 전역적, 페이지-레벨, 또는 문맥-감지 문법인지를 마킹하는데 사용될 수 있다. 교육 방법(instructional method)(445)은 문법(440)을 위해 이용 가능한 음성 명령들을 제공하는 도움말 페이지의 위치를 참조할 수 있다.
문법(440)에서, 도움말 필드들(442)은 SRGS 메타태그들로서 구현된다. 좀더 구체적으로, 도움말 필드들은 DCMI(Dublin Core Metadata Initiative)의 표준들에 따른다. 도움말 태그들(442)이 이러한 소정의 구성으로 한정되는 것은 아니다. (도시되어 있지 않은) 다른 실시예들에서, 도움말 태그들(442)은 다양한 방식들로 그리고 SRGS 메타태그들을 위한 다른 표준들을 포함하는 다른 표준들에 따라 구현될 수 있다.
일례(446)는, "I would like a medium coffee"와 같은, 음료 주문(beverage request)이 진술되어야 하는 방법의 샘플을 제공한다. 다수 일례들(446)이 문법에 포함될 수 있고, 음성-인에이블형 애플리케이션의 사용자에게 선택적으로 제시될 수 있다. 일 실시예에서는, 문법(440) 내에서 일례(446)가 제공되지 않으면, 문법 트리의 일 경로를 탐색하는 것에 의해 하나가 동적으로 발생될 수 있다. 예를 들어, 문법 트리(410-430)가 선택되는 각각의 선택으로부터 제1 항목이 선택되면, 동적으로 구성되는 일례는 "I would like a small coffee"일 수 있다. 다른 실시예에서는, 마법사(144)가 동일한 방식으로 문법 개발자를 위한 일례(446)를 자동적으로 발생시키는데 사용될 수 있다. 마법사 발생 일례는 문법(440) 자체내에 포함될 수 있는데, 여기에서, 그것은 문법 개발자에 의해 원하는 바에 따라 변경될 수 있다.
도 5는 여기에 개시되는 발명 구성들의 실시예에 따른 문법(400)을 참조하는 음성-인에이블형 애플리케이션의 코드 일례(500)이다. 예시된 바와 같이, 음성-인에이블형 애플리케이션은 X+V 코드로 구현되고, 다중 모드 브라우저에 의해 렌더링될 수 있다. 코드 라인(510)은, 문법 "beverage.grxml"이 활성될 수 있다는 것을 나타낸다. 일 실시예에서, 문법 프롬프트(520 및/또는 522)는 활성화된 문법 내에 포함되어 있는 설명 도움말 태그(543)로부터 자동적으로 추출될 수 있다. 소프트웨어 개발 도구는 자동적으로 추출된 설명 도움말 태그(443)를, 코드 일례(500)가 발생되었을 때의 적합한 코드 위치에 배치하는데 사용될 수 있다.
도 6은 여기에 개시되는 발명 구성들의 실시예들에 따른 문법(400)을 위한 도움말의 코드 일례(600)이다. 일례(600)는 일례(500)를 위한 다중 모드 도움말 페이지 help/drinkhelp.mxml이다. help/drinkhelp.mxml 파일은 템플릿일 수 있다. 도움말 내용들은 도움말 이벤트의 사용자 트리거링에 응답하여 직접적으로 help/drinkhelp.mxml 페이지 내에 동적으로 배치될 수 있다. 예를 들어, 보이스 프롬프트(620) 및 프롬프트 일례(622)가 드링크 형태의 보이스 xml 블록에 추가될 수 있다. 부가적으로, 시각적 프롬프트(626) 및 시각적 일례(628)가 X+V 페이지의 바디(body)에 추가될 수 있다. 내용들이, 매크로 확장을 사용해서 도움말 내용을 정적 페이지에 동적으로 추가하는 것과 같은, 다양한 방식들로 템플릿에 추가될 수 있다.
특히, VoiceXML은 시스템 문법 내에 자동적으로 포함되는 하나의 음성 명령으로서 "help"를 포함한다. 따라서, 사용자가 도움말(help)을 얘기할 때, 보이스 인터프리터에 의해 도움말 이벤트가 발생될 수 있다. 음성-인에이블형 애플리케이션이나, X+V의 경우, 다중 모드 브라우저가 도움말 이벤트를 수신할 때, 도움말은 템플릿 문서내의 내용으로서 액세스되고 배치된다. 템플릿 문서는, 교육 방법(445)에 의한 것과 같이, 문법 내에서 특정될 수 있다.
도 7은 여기에 개시되는 발명 구성들의 실시예에 따른 다중 모드 브라우저(710) 및 도움말(720) 창을 나타내는 그래픽 사용자 인터페이스(700)이다.
다중 모드 브라우저(710)는 다중 모드 애플리케이션을 렌더링할 수 있다. 다중 모드 애플리케이션은, X+V와 같은, 마크업 언어로 기입될 수 있다. 다중 모드 애플리케이션은, 애플리케이션이 액세스될 때 로딩되는 연관된 전역적 문법(711)을 가질 수 있다. 하나 이상의 페이지-레벨 문법들(712)도 동적으로 활성화/비활성화될 수 있다. 부가적으로, 문맥-감지 문맥들(714 및 716)은 애플리케이션 상태에 따라 선택적으로 활성화될 수 있다. 예를 들어, 다중 모드 애플리케이션에서, 하나의 문맥-감지 문법(714)은 어카운트 요약 문맥을 위해 활성화/로딩될 수 있고, 다른 문맥-감지 문법(716)은 특정 어카운트 문맥을 위해 활성화/로딩될 수 있다.
도움말 창(710)은 다수의 보이스 명령들을 포함할 수 있다. 도움말 창(710)은 음성 문법들 내에 포함되어 있는 및/또는 음성 문법들에 의해 특정되는 도움말 내용을 사용해서 이용 가능한 음성 명령들로서 자동적으로 로딩될 수 있다. 다시 말해, 도움말 창(710)에 등장하는 음성 명령들은 하나 이상의 음성 문법들 내에 포 함되어 있는 도움말 필드들로부터 자동적으로 그리고 동적으로 채워질 수 있다. 하나 이상의 전역적 문법들, 하나 이상의 페이지-레벨 문법들, 및 하나 이상의 문맥 감지 문법들과 같은, 다수 음성 문법들이 동시에 활성일 수도 있다. 사용자는, 정확하게 진술된 음성 명령의 일례로써 가청적으로 및/또는 시각적으로 제시될 창(710)으로부터, 이용 가능한 명령들 중 어느 하나를 선택할 수 있다. 도움말 일례는 활성 음성 문법들 내에 포함되어 있는 도움말 필드들로부터 추출될 수 있다.
일 실시예에서는, 상이한 음성 명령들이, 음성 명령이 연관되는 문법들의 유형에 따라 순서화될 수 있다. 예를 들어, 전역적(722) 명령들은 전역적 문법과 연관될 수 있고; 페이지-레벨(724) 명령들은 페이지-레벨 문법과 연관될 수 있으며; 문맥-감지(726) 명령들은 하나 이상의 문맥-감지 문법들과 연관될 수 있다.
도움말(720)은 상이한 명령들을 확장 가능한 계층 구조로서 나타내지만, 명령들을 위한 다양한 다른 구성들 중 어느 하나가 이용될 수도 있다. 예를 들어, 거의 사용되지 않는 명령들은 "display all" 또는 "more" 명령을 선택한 이후에만 선택 가능한 기록 사용(historical usage)에 따라, 명령들이 제공될 수도 있다. 상이한 구성에서는, 사용자들이 좀더 문맥 특정 명령들에 관심이 많을 것이라는 가정하에, 문맥-감지 명령들이 먼저 디스플레이되고, 페이지-레벨 명령들이 수반되며, 전역적 명령들이 수반될 수 있다. 사용자가 원하는 바에 따라 도움말 창(720)의 외관을 구성할 수 있도록 하기 위해, 사용자 구성 가능 옵션이 제공될 수도 있다.
도 8은 서비스 에이전트가 여기에 개시되는 발명 구성들의 실시예에 따른 활성 문법들로부터 유도되는 음성 명령 도움말을 사용하는 시스템을 구성할 수 있는 방법(800)의 흐름도이다. 방법(800)은 시스템(100)의 맥락에서 수행될 수 있다.
방법(800)은, 소비자가 서비스 요청을 개시할 때, 단계 805에서 시작할 수 있다. 서비스 요청은, 서비스 에이전트가 기존 문법들 및/또는 애플리케이션들을 문법 내장 도움말을 인에이블하도록 변경하기 위한 요청일 수 있다. 서비스 요청은, 소비자와 연관된 개발자들이, X+V 애플리케이션들과 같은, 다중 모드 애플리케이션들을 구성할 수 있도록 트레이닝하기 위한 것일 수 있다. 서비스 요청은, 기술자가 기존 시스템의 문제점을 수리하는 것일 수도 있다.
단계 810에서는, 서비스 요청에 응답할 휴먼 에이전트(human agent)가 선택될 수 있다. 단계 815에서, 휴먼 에이전트는 소비자의 현재 시스템 및/또는 문제점을 분석할 수 있고, 그에 따라 해결책을 개발할 수 있다. 해결책은, 예를 들어, 휴먼 에이전트가 다중 모드 애플리케이션 프로세스의 단계를 통해 소프트웨어 개발자를 안내하는 단계를 수반할 수 있다.
단계 820에서, 휴먼 에이전트는 하나 이상의 컴퓨팅 장치들을 사용해서 방법(300)의 단계들을 수행하거나 컴퓨터 장치로 하여금 방법(300)의 단계들을 수행하게 할 수 있다. 예를 들어, 에이전트는 소프트웨어 개발자와 코-브라우징(co-browsing)할 수 있고 소프트웨어 개발자에게 문법 마법사를 이용해서 문법 필드들 내에 도움말을 포함시키는 방법을 보여줄 수 있다.
선택할 수 있는 단계 825에서, 휴먼 에이전트는, 소비자 또는 소비자의 클라이언트들이 방법(300)의 하나 이상의 단계들을 나중에 수행할 수 있는 방식으로 소비자의 컴퓨팅 장치를 구성할 수 있다. 예를 들어, 서비스 에이전트는 하나 이상의 문법들 또는 도움말 템플릿들을 확립할 수 있고, 문법들에 포함되어 있는 도움말 내용이 음성-인에이블형 애플리케이션에 제공될 수 있도록, 음성-인에이블형 애플리케이션을 구성할 수 있다. 단계 830에서, 휴먼 에이전트는 서비스 활동들을 완료할 수 있다.
휴먼 에이전트가 소비자의 컴퓨터를 조정하기 위해 소비자 위치로 물리적으로 이동할 수도 있겠지만, 물리적 이동이 불필요할 수도 있다는 것에 주의해야 한다. 예를 들어, 휴먼 에이전트는 문제점들을 경험하고 있는 소비자에게 전화 기반 소비자 지원(telephone based customer support)을 제공할 수도 있다.
본 발명은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수도 있다. 본 발명은 일 컴퓨터 시스템에서의 중앙 집중 방식으로 또는 서로 접속되어 있는 수개의 컴퓨터 시스템들을 통해 상이한 요소들이 흩어져 있는 분산 방식으로 실현될 수도 있다. 여기에서 설명되는 방법들을 수행하도록 적응되어 있는 임의 종류의 컴퓨터 시스템 또는 다른 장치가 적합하다. 하드웨어와 소프트웨어의 통상적인 조합은, 로딩되고 실행될 때, 컴퓨터 시스템이 여기에서 설명되는 방법들을 수행하도록, 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 갖춘 범용 컴퓨터 시스템일 수 있다.
본 발명은, 여기에서 설명되는 방법들의 구현을 가능하게 하는 모든 사양들을 구비하는 그리고, 컴퓨터 시스템으로 로딩될 때, 이 방법들을 수행할 수 있는 컴퓨터 프로그램 제품에 내장될 수도 있다. 본 맥락의 컴퓨터 프로그램은, 정보 프로세싱 능력을 가진 시스템으로 하여금 직접적으로 또는 다음 중: a) 다른 언어 코 드 또는 표기법으로의 변환; 및 b) 상이한 소재 형태의 재생 중 어느 하나나 양자 이후에 소정 기능을 수행하게 하기 위한 명령어들의 세트에 대한, 임의 언어, 코드 또는 표기법의, 임의 표현을 의미한다.
본 발명은, 그것에 관한 정신 또는 본질적인 속성들로부터 벗어나지 않으면서, 다른 형태들로 구현될 수도 있다. 따라서, 본 발명의 범위를 지시하는 참조는, 상기 명세서에 대해서가 아니라, 다음의 청구항들에 대해 이루어져야 한다.
따라서, 본 발명에 따르면, 다중 모드 애플리케이션들을 포함하는, 음성-인에이블형 애플리케이션들 내에서 도움말을 구현하기 위한 새로운 접근 방법이 제시된다.

Claims (21)

  1. 음성-인에이블형 애플리케이션들(voice-enabled applications)에 대한 도움말(help)을 제공하기 위한 방법으로서,
    적어도 하나의 프로세서를 이용하여, 상기 음성-인에이블형 애플리케이션에 의한 사용을 위해 음성 문법을 활성화하는 단계 - 상기 음성 문법은 상기 음성 문법에서 정의되는 적어도 하나의 도움말 필드를 갖고, 상기 적어도 하나의 도움말 필드는, 상기 음성-인에이블형 애플리케이션과의 상호 작용 방식에 관한 사용자 불확실성에 관련하여 상기 음성-인에이블형 애플리케이션의 사용자에게 제공될 수 있는 도움말에 관한 주제를 정의함 -; 및
    상기 음성-인에이블형 애플리케이션의 상기 사용자에게 이용가능한 음성 명령들을 제시하는 단계를 포함하고,
    상기 이용가능한 음성 명령들은 상기 적어도 하나의 도움말 필드로부터 획득되고,
    상기 음성 문법을 포함하는 복수의 음성 문법은 동시에 활성화되고, 각각의 상기 복수의 음성 문법은 각각의 음성 문법에서 정의되는 적어도 하나의 도움말 필드를 갖고, 상기 적어도 하나의 도움말 필드 각각은 상기 음성-인에이블형 애플리케이션의 상기 사용자에게 제공될 수 있는 도움말에 관한 주제를 정의하고,
    상기 이용가능한 음성 명령들을 제시하는 단계는 각각의 상기 복수의 음성 문법과 연관된 이용가능한 음성 명령들을 제시하는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 음성 문법의 활성화 상태는 상기 음성-인에이블형 애플리케이션의 상태에 기초해서 런타임시에 동적으로 변화하고, 상기 적어도 하나의 도움말 필드와 연관된 도움말의 이용가능성은 상기 음성 문법의 상기 활성화 상태에 따라 동적으로 변화하는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 복수의 음성 문법은, 문맥-특정 문법(context-sensitive grammar), 페이지-레벨 문법(page-level grammer) 및 전역적 문법 (global grammer)을 포함하는 문법 타입들의 그룹에서 선택된 적어도 두 개의 서로 다른 타입의 문법들을 포함하는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  5. 제4항에 있어서,
    상기 적어도 두 개의 서로 다른 타입의 문법들은 상기 그룹에서 선택된 적어도 세 개의 서로 다른 타입의 문법들을 포함하는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  6. 제1항에 있어서,
    상기 음성-인에이블형 애플리케이션은 다중 모드 애플리케이션(multimodal application)이고,
    상기 이용가능한 음성 명령들을 제시하는 단계는, 상기 이용가능한 음성 명령들을 상기 음성-인에이블형 애플리케이션의 상기 사용자에게 시각적으로 제시하는 단계를 포함하는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  7. 제6항에 있어서,
    상기 이용가능한 음성 명령이 시각적으로 제시되는 윈도우는, 수신된 음성 명령에 응답하여 선택적으로 디스플레이되는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  8. 제1항에 있어서,
    상기 이용가능한 음성 명령들을 제시하는 단계는, 수신된 도움말-인에이블형 음성 명령에 응답하여 상기 이용가능한 음성 명령들을 상기 음성-인에이블형 애플리케이션의 상기 사용자에게 들리도록(audibly) 제시하는 단계를 포함하는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  9. 제8항에 있어서,
    상기 음성-인에이블형 애플리케이션은, 그래픽 사용자 인터페이스를 갖는 다중 모드 애플리케이션인, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 도움말 필드는, 상기 이용가능한 음성 명령들 중 하나의 음성 명령에 각각 대응하는 복수의 예시 발화(utterance)를 포함하고, 상기 제시하는 단계는, 상기 사용자에게 상기 예시 발화들을 제시하는 단계를 더 포함하고, 상기 제시된 예시 발화들은 상기 적어도 하나의 도움말 필드로부터 획득되는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  11. 제10항에 있어서,
    상기 음성 문법은 SRGS 기반의 문법이며, 상기 적어도 하나의 도움말 필드는 적어도 하나의 SRGS 메타태그를 이용하는 상기 SRGS 기반의 문법 내에 저장되는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  12. 제1항에 있어서,
    상기 음성-인에이블형 애플리케이션은 다중 모드 브라우저 내에서 실행하는 다중 모드 애플리케이션인, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  13. 제12항에 있어서,
    상기 음성-인에이블형 애플리케이션은 다중 모드 마크업 언어로 쓰여진, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  14. 음성-인에이블형 애플리케이션들(voice-enabled applications)에 대한 도움말(help)을 제공하기 위한 방법으로서,
    적어도 하나의 프로세서를 이용하여, 상기 음성-인에이블형 애플리케이션에 의한 사용을 위해 음성 문법을 활성화하는 단계 - 상기 음성 문법은 상기 음성 문법에서 정의되는 적어도 하나의 도움말 필드를 갖고, 상기 적어도 하나의 도움말 필드는, 상기 음성-인에이블형 애플리케이션과의 상호 작용 방식에 관한 사용자 불확실성에 관련하여 상기 음성-인에이블형 애플리케이션의 사용자에게 제공될 수 있는 도움말에 관한 주제를 정의함 -; 및
    상기 음성-인에이블형 애플리케이션의 상기 사용자에게 이용가능한 음성 명령들을 제시하는 단계를 포함하고,
    상기 이용가능한 음성 명령들은 상기 적어도 하나의 도움말 필드로부터 획득되고,
    상기 음성-인에이블형 애플리케이션은 다중 모드 브라우저 내에서 실행하는 다중 모드 애플리케이션이고,
    상기 다중 모드 애플리케이션과 상기 다중 모드 브라우저 간의 도움말 콘딧(conduit)을 확립하는 단계를 더 포함하고,
    상기 도움말 콘딧을 통해 데이터 페이로드들(payloads)이 전달되는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  15. 제1항에 있어서,
    상기 적어도 하나의 도움말 필드 내에 내용(contents)을 위치시키는 수단을 개발자들(developers)에게 제공하는 개발 마법사(development wizard)를 제공하는 단계를 더 포함하는 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  16. 제1항에 있어서,
    상기 단계들 중 적어도 하나는, 적어도 하나의 머신에 의해 실행가능한 복수의 코드 섹션들을 갖는 적어도 하나의 컴퓨터 프로그램에 따라 상기 적어도 하나의 머신에 의해 수행되는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  17. 제1항에 있어서,
    상기 단계들 중 적어도 하나는, 서비스 에이전트 및 상기 서비스 에이전트에 의해 조작되는 컴퓨팅 장치 중 적어도 하나에 의해 수행되고, 상기 단계들은 서비스 요청에 응답하여 수행되는, 음성-인에이블형 애플리케이션들에 대한 도움말을 제공하기 위한 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020070010302A 2006-03-13 2007-01-31 음성 문법들 내에 포함되어 있는 내용으로부터 이용 가능한음성 명령들을 포함하는 동적 도움말 KR101066732B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/375,417 2006-03-13
US11/375,417 US8311836B2 (en) 2006-03-13 2006-03-13 Dynamic help including available speech commands from content contained within speech grammars

Publications (2)

Publication Number Publication Date
KR20070093326A KR20070093326A (ko) 2007-09-18
KR101066732B1 true KR101066732B1 (ko) 2011-09-21

Family

ID=38480043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070010302A KR101066732B1 (ko) 2006-03-13 2007-01-31 음성 문법들 내에 포함되어 있는 내용으로부터 이용 가능한음성 명령들을 포함하는 동적 도움말

Country Status (4)

Country Link
US (1) US8311836B2 (ko)
JP (1) JP2007249200A (ko)
KR (1) KR101066732B1 (ko)
CN (1) CN101038743B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135599A1 (ko) * 2018-01-05 2019-07-11 삼성전자 주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8670987B2 (en) * 2007-03-20 2014-03-11 Nuance Communications, Inc. Automatic speech recognition with dynamic grammar rules
US8019606B2 (en) * 2007-06-29 2011-09-13 Microsoft Corporation Identification and selection of a software application via speech
US8010364B2 (en) * 2007-10-31 2011-08-30 At&T Intellectual Property I, L.P. System and method for applying probability distribution models to dialog systems in the troubleshooting domain
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US9047869B2 (en) * 2008-04-07 2015-06-02 Nuance Communications, Inc. Free form input field support for automated voice enablement of a web page
US8831950B2 (en) * 2008-04-07 2014-09-09 Nuance Communications, Inc. Automated voice enablement of a web page
US8543404B2 (en) * 2008-04-07 2013-09-24 Nuance Communications, Inc. Proactive completion of input fields for automated voice enablement of a web page
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8793119B2 (en) * 2009-07-13 2014-07-29 At&T Intellectual Property I, L.P. System and method for generating manually designed and automatically optimized spoken dialog systems
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
CN102158549A (zh) * 2011-03-03 2011-08-17 山东浪潮齐鲁软件产业股份有限公司 一种对通用帮助url按模块进行统一注册维护、调用转发的方法
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9487167B2 (en) * 2011-12-29 2016-11-08 Intel Corporation Vehicular speech recognition grammar selection based upon captured or proximity information
CN103999152A (zh) * 2011-12-29 2014-08-20 英特尔公司 利用动态语法元素集的语音识别
US8972567B2 (en) 2012-02-08 2015-03-03 Sage Software, Inc. Selectively triggering execution of services in a computing environment
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2013191599A1 (en) * 2012-06-18 2013-12-27 Telefonaktiebolaget Lm Ericsson (Publ) Methods and nodes for enabling and producing input to an application
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102070196B1 (ko) 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US10042603B2 (en) * 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
KR20140089861A (ko) 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9190074B1 (en) * 2013-01-30 2015-11-17 Google Inc. Multi-level voice menu
US9368113B2 (en) * 2013-01-30 2016-06-14 Google Inc. Voice activated features on multi-level voice menu
US9530410B1 (en) 2013-04-09 2016-12-27 Google Inc. Multi-mode guard for voice commands
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10186262B2 (en) 2013-07-31 2019-01-22 Microsoft Technology Licensing, Llc System with multiple simultaneous speech recognizers
CN104597625A (zh) * 2013-10-30 2015-05-06 富泰华工业（深圳）有限公司 智能眼镜
CN103744361A (zh) * 2013-12-06 2014-04-23 南通芯迎设计服务有限公司 一种基于无线传感器网络技术的智能家居系统
KR20150066156A (ko) * 2013-12-06 2015-06-16 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR102297519B1 (ko) 2014-02-25 2021-09-03 삼성전자주식회사 서버 및 이의 가이드 문장 생성 방법
US9502031B2 (en) * 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9584619B2 (en) * 2014-08-21 2017-02-28 Sap Se Business web applications lifecycle management with multi-tasking ability
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US20160225369A1 (en) * 2015-01-30 2016-08-04 Google Technology Holdings LLC Dynamic inference of voice command for software operation from user manipulation of electronic device
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049670B2 (en) * 2016-06-06 2018-08-14 Google Llc Providing voice action discoverability example for trigger term
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US20180025725A1 (en) * 2016-07-22 2018-01-25 Lenovo (Singapore) Pte. Ltd. Systems and methods for activating a voice assistant and providing an indicator that the voice assistant has assistance to give
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
KR102532300B1 (ko) * 2017-12-22 2023-05-15 삼성전자주식회사 어플리케이션 실행 방법 및 이를 위한 장치
CN109584879B (zh) 2018-11-23 2021-07-06 华为技术有限公司 一种语音控制方法及电子设备
US11574634B2 (en) * 2019-11-27 2023-02-07 Google Llc Interfacing with applications via dynamically updating natural language processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006474A1 (en) * 2002-02-07 2004-01-08 Li Gong Dynamic grammar for voice-enabled applications
US20050075884A1 (en) * 2003-10-01 2005-04-07 Badt Sig Harold Multi-modal input form with dictionary and grammar

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438659A (en) * 1992-10-08 1995-08-01 Hewlett-Packard Company Object-action user interface management system
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US5819225A (en) * 1996-05-30 1998-10-06 International Business Machines Corporation Display indications of speech processing states in speech recognition system
US5727129A (en) * 1996-06-04 1998-03-10 International Business Machines Corporation Network system for profiling and actively facilitating user activities
US5933139A (en) * 1997-01-31 1999-08-03 Microsoft Corporation Method and apparatus for creating help functions
US6144938A (en) * 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US6269336B1 (en) * 1998-07-24 2001-07-31 Motorola, Inc. Voice browser for interactive services and methods thereof
US6434524B1 (en) * 1998-09-09 2002-08-13 One Voice Technologies, Inc. Object interactive user interface using speech recognition and natural language processing
ATE245845T1 (de) * 1998-09-30 2003-08-15 Lernout & Hauspie Speechprod Graphische benutzerschnittstelle zur navigation in grammatiken eines spracherkennungssystems
US6490564B1 (en) * 1999-09-03 2002-12-03 Cisco Technology, Inc. Arrangement for defining and processing voice enabled web applications using extensible markup language documents
JP2001296881A (ja) * 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
DE10110977C1 (de) * 2001-03-07 2002-10-10 Siemens Ag Bereitstellen von Hilfe-Informationen in einem Sprachdialogsystem
US7242752B2 (en) * 2001-07-03 2007-07-10 Apptera, Inc. Behavioral adaptation engine for discerning behavioral characteristics of callers interacting with an VXML-compliant voice application
GB2388209C (en) * 2001-12-20 2005-08-23 Canon Kk Control apparatus
US6882974B2 (en) * 2002-02-15 2005-04-19 Sap Aktiengesellschaft Voice-control for a user interface
AU2003225577A1 (en) * 2002-02-18 2003-09-09 Kirusa, Inc. A technique for synchronizing visual and voice browsers to enable multi-modal browsing
US7177816B2 (en) * 2002-07-05 2007-02-13 At&T Corp. System and method of handling problematic input during context-sensitive help for multi-modal dialog systems
US7890336B2 (en) * 2003-01-13 2011-02-15 Northwestern University Interactive task-sensitive assistant
US7260535B2 (en) * 2003-04-28 2007-08-21 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting for call controls
US20050010418A1 (en) * 2003-07-10 2005-01-13 Vocollect, Inc. Method and system for intelligent prompt control in a multimodal software application
US20050039108A1 (en) 2003-08-15 2005-02-17 International Business Machines Corporation Fast tag entry in a multimodal markup language editor
US7302392B1 (en) * 2003-10-07 2007-11-27 Sprint Spectrum L.P. Voice browser with weighting of browser-level grammar to enhance usability
US20050273487A1 (en) * 2004-06-04 2005-12-08 Comverse, Ltd. Automatic multimodal enabling of existing web content
US20060287858A1 (en) * 2005-06-16 2006-12-21 Cross Charles W Jr Modifying a grammar of a hierarchical multimodal menu with keywords sold to customers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006474A1 (en) * 2002-02-07 2004-01-08 Li Gong Dynamic grammar for voice-enabled applications
US20050075884A1 (en) * 2003-10-01 2005-04-07 Badt Sig Harold Multi-modal input form with dictionary and grammar

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135599A1 (ko) * 2018-01-05 2019-07-11 삼성전자 주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
US11720324B2 (en) 2018-01-05 2023-08-08 Samsung Electronics Co., Ltd. Method for displaying electronic document for processing voice command, and electronic device therefor

Also Published As

Publication number Publication date
JP2007249200A (ja) 2007-09-27
US20070213984A1 (en) 2007-09-13
US8311836B2 (en) 2012-11-13
CN101038743A (zh) 2007-09-19
CN101038743B (zh) 2012-06-27
KR20070093326A (ko) 2007-09-18

Similar Documents

Publication Publication Date Title
KR101066732B1 (ko) 음성 문법들 내에 포함되어 있는 내용으로부터 이용 가능한음성 명령들을 포함하는 동적 도움말
US7650284B2 (en) Enabling voice click in a multimodal page
US9983849B2 (en) Voice command-driven database
Reddy et al. Speech to text conversion using android platform
US20060136222A1 (en) Enabling voice selection of user preferences
US7890333B2 (en) Using a WIKI editor to create speech-enabled applications
US7487440B2 (en) Reusable voiceXML dialog components, subdialogs and beans
US7546382B2 (en) Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US8996384B2 (en) Transforming components of a web page to voice prompts
RU2352979C2 (ru) Синхронное понимание семантических объектов для высокоинтерактивного интерфейса
JP2009059378A (ja) ダイアログを目的とするアプリケーション抽象化のための記録媒体及び方法
US20070233495A1 (en) Partially automated technology for converting a graphical interface to a speech-enabled interface
JP2003131772A (ja) Ｗｅｂで使用可能な認識のためのマークアップ言語拡張部
US7496511B2 (en) Method and apparatus for using locale-specific grammars for speech recognition
JP6625772B2 (ja) 検索方法及びそれを用いた電子機器
JP4467226B2 (ja) ウェブ対応音声認識用サーバの方法および記録媒体
JP2003067177A (ja) ウェブ対応認識アーキテクチャを有するシステムおよびその方法
US7937687B2 (en) Generating voice extensible markup language (VXML) documents
Salvador et al. Requirement engineering contributions to voice user interface
US7373598B2 (en) Method and apparatus for facilitating globalization of voice applications
US7360155B2 (en) Structured datatype expansion framework
Moemeka et al. Leveraging cortana and speech
Jaeyeol et al. Android platform for English tutoring
Tóth et al. Creating XML Based Scalable Multimodal Interfaces for Mobile Devices
Islam et al. Voice command based android java code generator

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140825

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160909

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee