KR100464877B1 - 게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한시스템 및 방법 - Google Patents

게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한시스템 및 방법 Download PDF

Info

Publication number
KR100464877B1
KR100464877B1 KR10-2002-0026521A KR20020026521A KR100464877B1 KR 100464877 B1 KR100464877 B1 KR 100464877B1 KR 20020026521 A KR20020026521 A KR 20020026521A KR 100464877 B1 KR100464877 B1 KR 100464877B1
Authority
KR
South Korea
Prior art keywords
command
menu
character
commands
user
Prior art date
Application number
KR10-2002-0026521A
Other languages
English (en)
Other versions
KR20020088058A (ko
Inventor
세쓰씨.에이치. 루이시
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 인코포레이티드
Publication of KR20020088058A publication Critical patent/KR20020088058A/ko
Application granted granted Critical
Publication of KR100464877B1 publication Critical patent/KR100464877B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Optics & Photonics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

게임 시스템에서, 사용자는 음성 명령을 사용하여 게임 환경에 있는 캐릭터들의 동작을 제어한다. 학습 모드(learning mode)에서, 가용 음성 명령들은 디스플레이 장치상의 명령 메뉴에 디스플레이된다. 비-학습 모드(non-learning mode)에서, 가용 음성 명령들은 디스플레이되지 않는다. 화자-독립형 문맥 의존형(context-sensitive) 음성 인식 모듈은 가용 음성 명령들의 어휘를 포함한다. 음성 명령들의 사용은 제어 장치로부터 입력과 결합되어 게임 환경에 있는 캐릭터 또는 캐릭터들의 동작들을 제어한다.

Description

게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한 시스템 및 방법{SYSTEM AND METHOD FOR MENU-DRIVEN VOICE CONTROL OF CHARACTERS IN A GAME ENVIRONMENT}
본 발명은 일반적으로 전자 오락 시스템에 관한 것이고, 좀더 자세하게는, 게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한 시스템 및 방법에 관한 것이다.
게임 시스템과 같은 전자 오락 시스템에서, 사용자는 전형적으로 소정 유형의 수동 조작되는 제어 장치를 사용하여 게임 프로그램과 상호 작용한다. 통상적인 제어 장치는 버튼, 조이스틱, 스위치, 키보드 및 이것들의 조합이다. 소정의 게임 시스템은, 운전 시뮬레이션용 조향 휠과 페달 및 비행 시뮬레이션용 스틱과 페달과 같은, 특별히 설계된 제어 장치를 사용한다.
각각의 게임 시스템은 전형적으로 시스템상에서 플레이가 가능한 대다수 게임용으로 단일 디자인의 수동 조작되는 제어 장치를 사용하고, 버튼 또는 키스트로크(keystroke)는 각각의 게임에 대해 다른 의도로 부여된다. 하나의 게임에서, 특정 버튼이 펀치에 해당할 수 있는 반면에, 다른 게임에서, 동일 버튼은 어뢰 발사에 해당한다. 제어 장치의 이와 같은 사용은 특정 게임 환경의 관계에 있어서 사용자에게 매우 직관적이지 않다.
수동 조작되는 제어 장치의 사용은 사용자가 어떤 버튼 또는 키가 특정 작용에 지정되는지를 기억할 것을 요구한다. 복잡한 게임에 대해서는, 버튼 또는 키스트로크의 조합의 수가 매우 커질 수 있다. 많은 게임에서, 사용자는 단일 캐릭터의 행동만을 제어한다. 사용자가 캐릭터 그룹을 제어하는 게임에서, 캐릭터들은 그룹으로서 행동하여서, 결과적으로 캐릭터 그룹은 단일 캐릭터와 같이 행동한다. 사용자가 수동 조작되는 제어 장치를 독립적으로 사용하여 다수의 캐릭터를 제어하는 것은 가능할 수 있으나, 배우고 사용하기에 매우 복잡하고 어렵다.
본 발명에 따라, 게임 환경에서 캐릭터들의 메뉴-방식 음성 제어를 구현하기 위한 시스템 및 방법이 개시된다. 본 발명의 시스템은 게임 소프트웨어 및 음성 인식 모듈을 포함한다. 음성 인식 모듈은 화자-독립형이며 가용 명령 단어 또는 구의 어휘를 가진 문맥 의존형으로 게임 환경에서 캐릭터 또는 캐릭터들의 동작을 제어한다. 사용자는 어휘의 명령을 마이크로폰에 말하여, 게임 환경에서 캐릭터 또는 캐릭터들의 동작들을 제어한다.
학습(learning) 모드에서, 가용 명령들의 메뉴가 사용자에게 디스플레이된다. 1단계(level 1) 명령 메뉴는 제어하기 위한 가용 캐릭터들을 도시한다. 2단계 명령 메뉴는 1단계 메뉴에서 선택된 캐릭터 또는 캐릭터들에 대한 가용 동작을 도시한다. 2단계에서 가용 동작은 게임의 현재 상태에 좌우된다. 3단계 명령 메뉴는 2단계에서 선택된 캐릭터 동작에 대한 가용 옵션을 도시한다. 3단계 메뉴에서 가용 옵션은 또한 게임의 현재 상태에 좌우된다.
비학습(non-learning) 모드에서, 가용 명령들의 메뉴는 사용자에게 디스플레이되지 않는다. 사용자는 음성 인식 모듈의 어휘에서 기억된 명령을 말한다. 음성 인식 모듈은 문맥-의존형이다; 음성 인식 묘듈은 1단계 명령이 이전에 입력되지 않았다면, 2단계 명령에 반응하지 않고, 2단계 명령이 이전에 입력되지 않았다면, 3단계 명령에 반응하지 않을 것이다. 그러므로, 사용자는 구두 문장형 명령(행위자에 동작을 더함)을 입력하여 게임 환경에서 캐릭터 및 캐릭터들을 제어한다.
도 1은 발명에 따라, 전자 오락 시스템의 일 실시예의 블럭도;
도 2는 발명에 따라, 도 1의 메인 메모리의 일 실시예의 블럭도;
도 3A는 발명에 따라, 디스플레이 장치의 1단계 메뉴 명령 화면의 실시예의 도표;
도 3B는 발명에 따라, 디스플레이 장치의 2단계 메뉴 명령 화면의 실시예의 도표;
도 3C는 발명에 따라, 디스플레이 장치의 3단계 메뉴 명령 화면의 실시예의 도표; 및
도 4는 발명의 실시예에 따라, 캐릭터의 메뉴-방식 음성 명령에 대한 방법의 순서도.
<도면의 주요 참조 부호에 대한 간단한 설명>
110 : 메인 메모리 112 : CPU
114 : GPU 116 : IOP
118 : IOP 메모리 120 : 제어기 인터페이스
212 : 게임 소프트웨어 214 : 음성 인식 모듈
도 1은 발명에 따른 전자 오락 시스템(100)의 일 실시예의 블럭도이다. 시스템(100)은 메인 메모리(110), 중앙 처리 장치(CPU)(112), 벡터 처리 장치((VUO)(111) 및 (VU1)(113)), 그래픽 처리 장치(GPU)(114), 입력/출력 처리기(IOP)(116), IOP 메모리(118), 제어기 인터페이스(120), 메모리 카드(122), 범용 직렬 버스(USB) 인터페이스(124), 및 IEEE 1394 인터페이스(126)를 포함하지만, 이에 제한되지 않는다. 시스템(100)은 또한 운영 체계 판독 전용 메모리(OS ROM)(128), 음향 처리 장치(SPU)(132), 광학 디스크 제어 장치(134), 및 하드 디스크 드라이브(136)를 포함하며, 버스(146)를 통하여 IOP(116)에 연결된다. 시스템(100)은 바람직하게 전자 게임용 콘솔(console)이다; 하지만, 시스템(100)은 또한 범용 컴퓨터, 셋-톱 박스(set-top box), 또는 휴대형(hand-held) 게임용 장치로서 구현될 수 있다.
CPU(112), VUO(111), VU1(113), GPU(114), 및 IOP(116)은 시스템 버스(144)를 통하여 소통한다. CPU(112)는 전용 버스(142)를 통하여 메인 메모리(110)와 소통한다. VU1(113) 및 GPU(114)는 또한 전용 버스(140)를 통하여 소통한다. CPU(112)는 OS ROM(128) 및 메인 메모리(110)에 저장된 프로그램들을 실행시킨다. 메인 메모리(110)는 사전-저장된 프로그램들을 포함하며 또한 광학 디스크 제어 장치(134)를 사용하여 CD-ROM, DVD-ROM, 또는 다른 광학 디스크(도시되지 않음)로부터 IOP(116)을 통하여 전송된 프로그램들을 포함한다. IOP(116)는 CPU(112) VU0(111), VU1(113), GPU(114) 및 시스템의 다른 장치들, 이를 테면 제어기 인터페이스간의 데이타 교환을 제어한다.
GPU(114)는 CPU(112) 및 VU0(111)로부터 명령들을 인출하여 디스플레이 장치(도시되지 않음)상의 디스플레이에 이미지를 생성시킨다. VU1(113)은 대상(object)을 3차원 좌표에서 2차원 좌표로 변환시키고, GPU(114)로 2차원 좌표를 전송한다. SPU(132)는 명령들을 실행시켜 오디오 장치(도시되지 않음)에 출력되는 음향 신호들을 생성시킨다.
시스템(100)의 사용자는 제어기 인터페이스(120)를 통하여 CPU(112)로 명령들을 제공한다. 예를 들면, 사용자는 메모리 카드(122)에 일정한 게임 정보를 저장시키기 위해 CPU(112)에 명령을 하거나 소정의 특정 행동을 실행시키기 위해 게임상의 캐리터에 명령을 한다. 다른 장치들은 USB 인터페이스(124) 및 IEEE 1394 인터페이스(126)를 통하여 시스템(100)에 연결된다. 바람직한 실시예에서, USB 마이크로폰(도시되지 않음)은 USB 인터페이스(124)에 연결되어 사용자가 음성 명령을 시스템(100)에 제공가능케한다.
도 2는 발명에 따른 도 1의 메인 메모리(110)의 일 실시예의 블럭도이다. 메인 메모리(110)는 광학 디스크 제어 장치(134)의 광학 디스크로부터 메인 메모리(110)로 로드된, 게임 소프트웨어(121) 및 음성 인식 모듈(214)을 포함하지만 이에 제한되지 않는다. 게임 소프트웨어(212)는 시스템(100)의 사용자가 게임을플레이시키는 것을 허용하는 CPU(112), VU0(111), VU1(113), 및 SPU(132)에 의해 실행가능한 명령들을 포함한다. 도 2 실시예에서, 게임 소프트웨어(212)는 사용자가 3개-캐릭터-팀(three-character team)의 보병을 제어하는 전투 시뮬레이션 게임이다. 다른 실시예에서, 게임 소프트웨어(212)는 롤플레잉 게임(RPG), 비행 시뮬레이션 게임, 및 도시 건설 시뮬레이션 게임을 포함하는 임의의 다른 유형의 게임이지만 이에 제한되지 않는다.
음성 인식 모듈(214)은 CPU(112)에 의해 실행되는 화자-독립형, 문맥 의존형 음성 인식기이다. 대안의 실시예에서, IOP(116)는 음성 인식 모듈(214)을 실행시킨다. 음성 인식 모듈(214)은 게임 소프트웨어(212)의 명령에 행당하는 명령들의 어휘를 포함한다. 상기 명령들은 단일 단어 명령 및 다중 단어 명령들을 포함한다. 입력 음성 신호(발음)가 상기 어휘의 명령에 부합할 때, 음성 인식 모듈(214)이 게임 소프트웨어(212)에 통지하고, 그후 적절한 명령들을 CPU(112)에 제공한다.
시스템(100) 및 게임 소프트웨어(212)의 사용자는 1개 이상의 명령들을 마이크로폰 및 USB 인터페이스(124)를 통하여 입력하여 게임 소프트웨어(212)의 캐릭터의 동작을 제어한다. 구두 명령들은 제어기 명령들과 함께 사용되는 것이 바람직하다; 그러나, 게임 소프트웨어(212)의 다른 실시예들은 구두 명령만을 구현한다.
도 3A는 발명에 따라 시스템에 연결된 디스플레이 장치(310)상의 1단계 메뉴 명령 화면(322)의 일 실시예의 블럭도이다. 상기 1단계 메뉴(330)는 3개의 1단계 명령 항목들, 팀 항목(332), 알파(alpha) 항목(334), 및 브라보(bravo) 항목(336)을 포함한다. 비록 3개의 1단계 명령 항목들이 도시되어 있지만, 게임소프트웨어(212)는 다수의 1단계 명령 항목들을 사용할 수 있다. 1단계 메뉴 명령 화면(322)은 언제 사용자가 이러한 기능에 제공된 상기 제어기 상의 버튼 또는 다른 장치를 작동시키고 그후 해제시켜야 하는가를 나타낸다. 1단계 메뉴 명령 화면(322)은 또한 1단계 메뉴(330)의 기초를 이루는 현재 게임 화면(도시되지 않음)을 포함한다. 1단계 메뉴(330)는 1단계 명령에 대한 가용 선택사항을 사용자에게 가리키기 위해 디스플레이 장치(310)상에 나타낸다.
게임 소프트웨어(212)의 도 2 실시예에서, 사용자는 버튼을 작동시키거나 또는 조이스틱을 조작하는 것과 같은 제어 작용을 이용하여 팀 리더의 동작을 제어한다. 사용자는 구두 명령을 입력하여 2개 캐릭터 팀의 동작을 제어한다. 팀 항목(332)은 동작을 수행하는 2개 캐릭터 팀의 멤버들을 선택하는 팀 명령의 가용도를 나타낸다. 알파 항목(334)은 동작을 수행하는 1개 멤버, 알파를 선택하는 명령의 가용도을 나타낸다. 브라보 항목(336)은 동작을 수행하는 1개 멤버, 브라보를 선택하는 명령의 가용도를 나타낸다.
사용자는 단어 "팀(team)"을 마이크로폰에 말하여 팀 항목(332)을 선택하며, 단어 "알파(alpha)"를 말하여 알파 항목(334)을 선택하고, 단어 "브라보(bravo)"를 말하여 브라보 항목(336)을 선택한다. 음성 인식 모듈(214)이 1단계 명령중 하나를 인식할 때, 게임 소프트웨어(212)에 통지하여, 그후 2단계 메뉴 명령 화면을 디스플레이한다.
도 3B는 발명에 따라 디스플레이 장치(310)상의 2단계 메뉴 명령 화면(324)의 일 실시예의 블럭도이다. 도 3B 실시예에서, 사용자는 "팀"을 마이크로폰에 구두로 하여 팀 항목(332)을 선택한다. 2단계 메뉴 명령 화면(324)은 2단계 메뉴(340)를 나타낸다. 2단계 메뉴(34)는 기존에 선택된 1단계 명령(팀 항목(322)) 및 3개의 2단계 명령: 위치 정지 항목(342), 전개(deploy) 항목(344), 및 발사 항목(346)을 포함한다. 비록 3개의 2단계 명령 항목들이 도시되어 있지만, 게임 소프트웨어(212)는 임의의 수의 2단계 명령 항목들을 사용할 수 있다.
2단계 메뉴(34)는 2개 캐릭터 팀에 대한 가용 명령들을 나타낸다. 상기 가용 명령들은 게임의 현재 상태에 좌우된다. 예를 들면, 사용자가 구두로 위치 정지 항목(332)을 선택하면, 그후 2개 캐릭터 팀이 게임 환경에서 그들의 위치를 정지한다. 다음 사용자가 구두로 팀 항목(332)을 선택하면, 위치 정지 항목(342)이 사라지고 대신 다음 항목(도시되지 않음)이 나타난다.
팀 항목(332)과 위치 정지 항목(342)의 조합이 완전한 명령이므로, 화면(324)이 디스플레이되어 있는 동안 사용자가 "위치 정지"를 말하면, 게임 소프트웨어(212)는 그후 디스플레잉 화면(324)을 정지시키고 선택된 캐릭터들이 게임 환경에서 선택된 동작을 수행하도록 한다(팀의 두 멤버들이 그들의 위치를 정지한다). 유사하게, 팀 항목(332)과 발사 항목(346)의 조합이 완전한 명령이므로, 화면(324)이 디스플레이되어 있는 동안 사용자가 "발사"를 말하면, 게임 소프트웨어(212)는 그후 디스플레잉 화면(324)을 정지시키고 선택된 캐릭터들이 게임 환경에서 선택된 동작을 수행하도록 한다(팀이 두 멤버들이 그들의 무기를 발사한다). 팀 항목(332)과 전개 항목(344)의 조합은 완전한 명령이 아니다. 화면(324)이 디스플레이되어 있는 동안 사용자가 "전개"를 말하면, 게임 소프트웨어(212)는 그후 3단계 메뉴 명령 화면을 디스플레이한다.
도 3C는 본 발명에 따른, 디스플레이 장치(310)상의 3단계 메뉴 명령 화면(326)의 일 실시예의 블럭도이다. 3단계 메뉴 명령 화면(326)은 기 선택된 1단계 명령(팀 항목(332)), 기 선택된 2단계 명령(디플로이(344)) 및 2개의 3단계 명령: 파쇄(frag) 항목(352) 및 연막(smoke) 항목(354)을 포함하는 3단계 메뉴(350)를 도시한다. 게임 소프트웨서(212)의 도 2 실시예에서, 2개 캐릭터 팀의 보병들은 파쇄(fragment(frag)) 수류탄들 및 연막 수류탄(smoke grenades)들을 전개시킬 수 있다. 비록 2개의 3단계 명령들만이 도시되어 있지만, 게임 소프트웨어(212)는 임의의 수의 3단계 명령들을 포함할 수 있다.
팀 항목(332), 전개 항목(344), 및 파쇄 항목(352)의 조합은 완벽한 명령이어서, 사용자가 화면(326)이 디스플레이되는 동안 "파쇄(frag)"를 말하면, 소프트웨어 모듈(212)이 화면(326)을 디스플레이하는 것을 멈추고 선택된 캐릭터들이 게임 환경에서 선택된 동작을 이행하도록 한다(팀의 두 멤버들 모두 파쇄 수류탄을 전개시킨다.). 팀 항목(332), 전개 항목(344) 및 연막 항목(354)의 조합은 완벽한 명령어여서, 사용자가 화면(326)이 디스플레이되는 동안 "연막(smoke)"을 말하면, 소프트웨어 모듈(212)은 화면(326)을 디스플레이하는 것을 멈추고 선택된 캐릭터들이 게임 환경에서 선택된 동작을 이행하도록 한다(팀의 두 멤버들 모두는 연막 수류탄을 전개시킨다).
도 3C에는 비록 3개의 메뉴 단계들만이 도시되어 있지만, 임의의 갯수의 메뉴 단계들이 본 발명의 범위내에 있다. 바람직한 실시예에 있어, 메뉴 단계들의 수는 다양한 명령어 조합들의 용이한 사용 및 학습(learning)을 용이하게 하기 위해 3개이다. 일단, 사용자가 모든 다양한 명령어 조합들을 학습 또는 기억했다면, 사용자는 명령 메뉴들을 사용하지 않고 게임을 플레이할 수 있다(비-학습 모드).
도 2와 연계하여 상기된 바와 같이, 음성 인식 모듈(214)은 문맥 의존형(context-sensitive)이다. 예를 들면, 단어 "전개(deploy)"는 음성 인식 모듈(214)의 어휘이다. 그러나, 음성 인식 모듈(214)은 "팀" 또는 "알파" 같은 1단계 명령의 문맥의 단어 "전개"만을 인지할 것이다. 달리 말하자면, 음성 인식 모듈(214)은 1단계 명령이 입력되지 않으면 입력 2단계 명령에 반응하지 않을 것이고, 2단계 명령이 입력되지 않으면 입력 3단계 명령에 반응하지 않을 것이다. 그러므로, 음성 인식 모듈(214)은 게임 소프트웨어(212)가 게임 환경에서 캐릭터들의 동작을 제어하기 위해 사용하는 문장형 명령어들(행위자(actor)에 동작(action)을 더함)을 인지한다.
비록, 도3A-3C가 명령 메뉴(330,340,350)들을 좌에서 우로 분기하는 분기 메뉴(branching menus)들로서 도시하고 있지만, 사용자에 가용 명령들을 디스플레이하기 위한 임의의 다른 구성도 본 발명의 범위내에 있다.
도 4는 본 발명의 일 실시예에 따라, 캐릭터들의 메뉴-방식 음성 명령을 위한 방법 단계들의 순서도이다. 먼저, 단계(412)에서, 게임 소프트웨어(212)는 사용자가 음성 명령 기능성에 할당된 제어기 버튼을 작동시켰는지를 판정한다. 그렇지 않다면, 게임 소프트웨어(212)가 제어기 버튼 신호들을 계속해서 모니터링한다. 버튼이 작동되었다면, 단계(414)에서, 게임 소프트웨어(212)는 버튼이 해제되었는지를 판정한다. 버튼이 해제되었다면, 방법은 단계(416)에서 학습 모드를 계속한다. 버튼이 해제되지 않았다면, 방법은 단계(428)에서 비-학습 모드를 계속한다.
단계(416)에서, 게임 소프트웨어(212)는 1단계 메뉴 명령 화면상에 1단계 명령들을 디스플레이시킨다. 그 다음에, 단계(418)에서, 음성 인식 모듈(214)은 사용자가 1단계 명령을 구두로 입력했는지를 판정한다. 그렇지 않다면, 방법은 단계(416)으로 복귀된다. 사용자가 1단계 명령을 구두로 입력했다면, 단계(420)에서, 게임 소프트웨어(212)는 2단계 메뉴 명령 화면상에 2단계 명령들을 디스플레이시킨다. 단계(422)에서, 음성 인식 모듈(214)은 사용자가 2단계 명령을 구두로 입력했는지 판정한다. 그렇지 않다면, 방법은 단계(420)로 복귀된다. 사용자가 2단계 명령을 구두로 입력했다면, 방법은 단계(242)에서 계속된다.
입력 2단계 명령이 3단계 명령들과 연계되지 않았다면, 단계(438)에서, 게임 소프트웨어(212)가 명령들을 실행함으로써, 게임 환경에서의 캐릭터 또는 캐릭터들은 선택된 동작을 이행한다. 입력 2단계 명령이 3단계 명령들과 연계되었다면, 단계(426)에서, 소프트웨어 모듈(212)은 3단계 명령들을 3단계 메뉴 명령 화면상에 디스플레이시킨다. 단계(428)에서, 음성 인식 모듈(214)은 사용자가 3단계 명령을 구두로 입력했는지 판정한다. 그렇지 않다면, 방법은 단계(424)로 복귀한다. 사용자가 3단계 명령을 구두로 입력했다면, 단계(438)에서 게임 소프트웨어(212)가 명령들을 수행하여, 게임 환경내의 캐릭터 또는 캐릭터들이 선택된 동작을 이행한다.
비-학습 모드에서는, 각 단계의 가용 명령들이 사용자에게 디스플레이되지 않는다. 단계(430)에서, 음성 인식 모듈(214)은 사용자가 1단계 명령을 구두로 입력했는지를 판정한다. 그렇지 않으면, 음성 인식 모듈(214)은 1단계 명령에 대한 청취를 계속한다. 사용자가 1단계 명령을 구두로 입력했다면, 단계(432)에서 음성인식 모듈(214)은 사용자가 2단계 명령을 구두로 입력했는지를 판정한다. 그렇지 않다면, 음성 인식 모듈(214)은 2단계 명령 청취를 계속한다. 사용자가 2단계 명령을 입력했다면, 방법은 단계(434)로 계속된다.
입력 2단계 명령이 3단계 명령들과 연계되지 않았다면, 방법은 게임 소프트웨어(212)가 명령어들을 실행하는 단계(438)에서 계속되어, 게임 환경내의 캐릭터 또는 캐릭터들이 선택된 동작을 이행한다. 입력 2단계 명령이 3단계 명령들과 연계되었다면, 단계(436)에서, 음성 인식 모듈(214)은 사용자가 3단계 명령을 구두로 입력했는지 판정한다. 사용자가 3단계 명령을 구두로 입력하지 않았다면, 음성 인식 모듈(214)은 3단계 명령을 계속해서 청취한다. 사용자가 3단계 명령을 구두로 입력했다면, 단계(438)에서 게임 소프트웨어(212)는 명령을 수행하여, 게임 환경내의 캐릭터 또는 캐릭터들이 선택된 동작을 이행한다.
비-학습 모드에서, 사용자는 그 또는 그녀가 음성 명령어들을 캐릭터 또는 캐릭터들에 실질적으로 제공하는 것처럼 게임 환경을 경험하여, 게임플레이가 보다 직관적이고 사실적이게 한다. 게임 소프트웨어(212)의 일 실시예에서, 사용자가 구두 명령을 캐릭터들 중 하나에 제공한 이후에, 명령의 녹화된 확인응답 또는 다른 가청 응답이 스피커 또는 헤드셋(도시되지 않음)을 통해 사용자에게 재생된다.
상기된 바와 같이 본 발명에 따라, 게임 시스템에서, 사용자는 음성 명령을사용하여 게임 환경에 있는 캐릭터들의 동작을 제어할 수 있으며, 음성 명령들의 사용은 제어 장치로부터 입력과 결합되어 게임 환경에 있는 캐릭터 또는 캐릭터들의 동작들을 제어할 수 있다.

Claims (30)

  1. 사용자로부터 다수의 단계(level)중 각 단계의 선택에 부합하는 구두 명령을 수신할 수 있는 마이크로폰;
    메모리에 저장되어 상기 구두 명령을 인식하도록 구성된 음성 인식 모듈; 및
    메모리에 저장되어 적어도 한개 캐릭터의 동작을 제어하기 위해서, 다수의 단계에 대한 구두 명령의 조합인 완전한 명령에 응답하도록 구성된 소프트웨어;
    를 포함하는 것을 특징으로 하는 캐릭터의 음성 제어 시스템.
  2. 제 1 항에 있어서, 상기 소프트웨어는 디스플레이 장치상에 가용 명령들의 메뉴를 디스플레이하는 것을 특징으로 하는 시스템.
  3. 제 1 항에 있어서, 상기 소프트웨어는 제어 장치로부터의 신호에 응답하여 디스플레이 장치상에 가용한 1단계 명령들중 1단계 메뉴를 디스플레이하는 것을 특징으로 하는 시스템.
  4. 제 3 항에 있어서, 상기 소프트웨어는 사용자에 의해 표명된 1단계 명령을 인식하는 음성 인식 모듈에 응답하여 디스플레이 장치상에 가용한 2단계 명령들중 2단계 메뉴를 디스플레이하는 것을 특징으로 하는 시스템.
  5. 제 4 항에 있어서, 상기 소프트웨어는 완전한 명령으로서 사용자에 의해 표명된 1단계 명령과 2단계 명령의 조합을 인식하는 음성 인식 모듈에 응답하여 적어도 한개 캐릭터의 동작들을 제어하는 것을 특징으로 하는 시스템.
  6. 제 4 항에 있어서, 상기 소프트웨어는 사용자에 의해 표명된 2단계 명령을 인식하는 음성 인식 모듈에 응답하여 디스플레이 장치상에 가용한 3단계 명령의 3단계 메뉴를 디스플레이하는 것을 특징으로 하는 시스템.
  7. 제 6 항에 있어서, 상기 소프트웨어는 완전한 명령으로서 사용자에 의해 표명된 1단계 명령, 2단계 명령 및 3단계 명령의 조합을 인식하는 음성 인식 모듈에 응답하여 적어도 한개 캐릭터의 동작을 제어하는 것을 특징으로 하는 시스템.
  8. 제 1 항에 있어서, 제 2 캐릭터의 동작들을 제어하기 위해 소프트웨어에 명령들을 입력하기 위한 제어 장치를 더 포함하는 것을 특징으로 하는 시스템.
  9. 제 8 항에 있어서, 사용자가 제어 장치를 사용하여 제 2 캐릭터의 동작을 제어하며 구두 명령을 사용하여 적어도 1개 캐릭터의 동작을 제어하는 것을 특징으로 하는 시스템.
  10. 제 1 항에 있어서, 상기 완전한 명령은 적어도 제 1 단어 및 제 2 단어로 이루어지며, 상기 제 1 단어는 다수의 단계중 제 1 단계에 대한 선택과 연관된 제 1 구두 명령에 부합하며, 제 2 단어는 다수의 단계중 제 2 단계에 대한 선택과 연관된 제 2 구두 명령에 부합하는 것을 특징으로 하는 시스템.
  11. 다수의 단계중 1개 단계에 부합하는 다수의 명령 메뉴를 사용자에게 디스플레이하는 단계;
    다수의 명령 메뉴중 각 메뉴로부터 명령에 부합하는 다수의 발음을 인식하는 단계; 및
    다수의 발음이 다수의 명령 메뉴중 적어도 2개의 메뉴로부터 명령의 조합인 완전한 명령에 부합되면 적어도 한개의 캐릭터가 동작을 실행하는 단계;
    를 포함하는 것을 특징으로 하는 적어도 1개 캐릭터 제어 방법.
  12. 제 11 항에 있어서, 상기 다수의 명령 메뉴중 하나의 메뉴는 가용 캐릭터의 메뉴를 포함하는 것을 특징으로 하는 방법.
  13. 제 11 항에 있어서, 상기 다수의 명령 메뉴중 적어도 한개 메뉴는 적어도 1개 캐릭터에 대한 가용 동작의 메뉴를 포함하며, 가용 동작의 메뉴에 있는 항목들은 게임 환경의 상태에 좌우되는 것을 특징으로 하는 방법.
  14. 제 11 항에 있어서, 다수의 발음 인식 단계는 다수의 발음의 문맥을 검토하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제 11 항에 있어서, 상기 완전한 명령은 적어도 2개 단어를 포함하는 것을 특징으로 하는 방법.
  16. 제 11 항에 있어서, 상기 완전한 명령은 문장형 명령인 것을 특징으로 하는 방법.
  17. 다수의 단계중 하나의 단계에 부합하는 다수의 명령 메뉴를 사용자에게 디스플레이하는 단계;
    상기 다수의 명령 메뉴중 각 메뉴로부터 명령에 부합하는 다수의 발음을 인식하는 단계; 및
    다수의 발음이 다수의 명령 메뉴중 적어도 2개의 메뉴로부터 명령의 조합인 완전한 명령에 부합되면 적어도 한개의 캐릭터가 동작을 실행하는 단계;
    를 실행함으로써 적어도 1개 캐릭터를 제어하기 위한 명령들을 포함하는 컴퓨터-판독 매체.
  18. 제 17 항에 있어서, 상기 다수의 명령 메뉴중 한개의 메뉴는 가용 캐릭터의 메뉴를 포함하는 것을 특징으로 하는 컴퓨터-판독 매체.
  19. 제 17 항에 있어서, 상기 다수의 명령 메뉴중 적어도 한개 메뉴는 적어도 1개 캐릭터에 대한 가용 동작의 메뉴를 포함하며, 가용 동작의 메뉴에 있는 항목들은 게임 환경의 상태에 좌우되는 것을 특징으로 하는 컴퓨터-판독 매체.
  20. 제 17 항에 있어서, 상기 다수의 발음 인식 단계는 다수의 발음의 문맥을 검토하는 단계를 포함하는 것을 특징으로 하는 컴퓨터-판독 매체.
  21. 제 17 항에 있어서, 상기 완전한 명령은 적어도 2개 단어를 포함하는 것을 특징으로 하는 컴퓨터-판독 매체.
  22. 제 17 항에 있어서, 상기 완전한 명령은 문장형 명령인 것을 특징으로 하는 컴퓨터-판독 매체.
  23. 다수의 단계중 한개 단계에 부합하는 다수의 명령 메뉴를 사용자에게 디스플레이하는 수단;
    상기 다수의 명령중 각 메뉴로부터 명령에 부합하는 다수의 발음을 인식하는 수단; 및
    다수의 발음이 다수의 명령 메뉴중 적어도 2개의 메뉴로부터 명령의 조합인 완전한 명령에 부합되면 적어도 한개의 캐릭터가 동작을 실행하게 하는 수단;
    을 포함하는 것을 특징으로 하는 캐릭터 제어 시스템.
  24. 제 23 항에 있어서, 상기 다수의 명령 메뉴중 한개 메뉴는 가용 캐릭터의 메뉴를 포함하는 것을 특징으로 하는 시스템.
  25. 제 23 항에 있어서, 상기 다수의 명령 메뉴중 적어도 한개의 메뉴는 적어도 한개의 캐릭터에 대한 가용 동작의 메뉴를 포함하며, 가용 동작의 메뉴에 있는 항목들은 게임 환경의 상태에 좌우되는 것을 특징으로 하는 시스템.
  26. 제 23 항에 있어서, 상기 다수의 발음 인식 수단은 다수의 발음의 문맥을 검토하는 것을 특징으로 하는 시스템.
  27. 제 23 항에 있어서, 상기 완전한 명령은 적어도 2개 단어를 포함하는 것을 특징으로 하는 시스템.
  28. 제 27 항에 있어서, 상기 완전한 명령은 문장형 명령인 것을 특징으로 하는 시스템.
  29. 제 23 항에 있어서, 상기 다수의 발음 인식 수단은 화자-독립형, 문맥 의존형 음성 인식기인 것을 특징으로 하는 시스템.
  30. 제 23 항에 있어서, 상기 다수의 명령 메뉴는 분기 메뉴로서 사용자에게 디스플레이되는 것을 특징으로 하는 시스템.
KR10-2002-0026521A 2001-05-14 2002-05-14 게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한시스템 및 방법 KR100464877B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/859,034 2001-05-14
US09/859,034 US7085722B2 (en) 2001-05-14 2001-05-14 System and method for menu-driven voice control of characters in a game environment

Publications (2)

Publication Number Publication Date
KR20020088058A KR20020088058A (ko) 2002-11-25
KR100464877B1 true KR100464877B1 (ko) 2005-01-06

Family

ID=25329828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0026521A KR100464877B1 (ko) 2001-05-14 2002-05-14 게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한시스템 및 방법

Country Status (6)

Country Link
US (4) US7085722B2 (ko)
EP (1) EP1262955B1 (ko)
JP (2) JP2003047768A (ko)
KR (1) KR100464877B1 (ko)
CN (1) CN1385783A (ko)
DE (1) DE60235674D1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9833707B2 (en) 2012-10-29 2017-12-05 Sony Interactive Entertainment Inc. Ambient light control and calibration via a console
US10128914B1 (en) 2017-09-06 2018-11-13 Sony Interactive Entertainment LLC Smart tags with multiple interactions
US10486069B2 (en) 2007-09-05 2019-11-26 Sony Interactive Entertainment America Llc Ranking of user-generated game play advice
US10561942B2 (en) 2017-05-15 2020-02-18 Sony Interactive Entertainment America Llc Metronome for competitive gaming headset

Families Citing this family (288)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013255A2 (en) 1999-08-13 2001-02-22 Pixo, Inc. Displaying and traversing links in character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
FR2823896B1 (fr) * 2001-04-23 2003-10-24 E Bourgeois Ets Simulateur de vol adapte a une famille d'aeronefs
US7085722B2 (en) * 2001-05-14 2006-08-01 Sony Computer Entertainment America Inc. System and method for menu-driven voice control of characters in a game environment
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US20030083881A1 (en) * 2001-11-01 2003-05-01 Shu-Ming Liu Voice input module that stores personal data
US7099829B2 (en) * 2001-11-06 2006-08-29 International Business Machines Corporation Method of dynamically displaying speech recognition system information
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8133115B2 (en) 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
US20050169252A1 (en) * 2004-02-03 2005-08-04 Andrew Riggs Game controller including an integrated communicator
KR100576555B1 (ko) * 2004-03-25 2006-05-08 (주)이진공작 사용자의 참여 및 대화가 가능한 텔레비전 방송을 통한에이 알 에스 게임 서비스 장치 및 방법
DE102005014486B4 (de) * 2004-03-31 2009-04-09 Honda Motor Co., Ltd. Fahrrad-Simulationsvorrichtung
JP4452541B2 (ja) 2004-04-01 2010-04-21 本田技研工業株式会社 シミュレーション装置
US7976385B2 (en) * 2004-05-11 2011-07-12 Mattel, Inc. Game controller with sensitivity adjustment
US7704135B2 (en) * 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US20060046845A1 (en) * 2004-08-26 2006-03-02 Alexandre Armand Device for the acoustic control of a game system and application
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
US9083798B2 (en) 2004-12-22 2015-07-14 Nuance Communications, Inc. Enabling voice selection of user preferences
US8090584B2 (en) 2005-06-16 2012-01-03 Nuance Communications, Inc. Modifying a grammar of a hierarchical multimodal menu in dependence upon speech command frequency
US7917365B2 (en) 2005-06-16 2011-03-29 Nuance Communications, Inc. Synchronizing visual and speech events in a multimodal application
US7636126B2 (en) 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
TWI278762B (en) * 2005-08-22 2007-04-11 Delta Electronics Inc Method and apparatus for speech input
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
US7848314B2 (en) 2006-05-10 2010-12-07 Nuance Communications, Inc. VOIP barge-in support for half-duplex DSR client on a full-duplex network
US9208785B2 (en) 2006-05-10 2015-12-08 Nuance Communications, Inc. Synchronizing distributed speech recognition
US8332218B2 (en) 2006-06-13 2012-12-11 Nuance Communications, Inc. Context-based grammars for automated speech recognition
US7676371B2 (en) 2006-06-13 2010-03-09 Nuance Communications, Inc. Oral modification of an ASR lexicon of an ASR engine
US8279171B2 (en) * 2006-07-06 2012-10-02 Panasonic Corporation Voice input device
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8145493B2 (en) 2006-09-11 2012-03-27 Nuance Communications, Inc. Establishing a preferred mode of interaction between a user and a multimodal application
US8374874B2 (en) 2006-09-11 2013-02-12 Nuance Communications, Inc. Establishing a multimodal personality for a multimodal application in dependence upon attributes of user interaction
US8086463B2 (en) 2006-09-12 2011-12-27 Nuance Communications, Inc. Dynamically generating a vocal help prompt in a multimodal application
US8073697B2 (en) 2006-09-12 2011-12-06 International Business Machines Corporation Establishing a multimodal personality for a multimodal application
US7957976B2 (en) 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
US7827033B2 (en) 2006-12-06 2010-11-02 Nuance Communications, Inc. Enabling grammars in web page frames
US8612230B2 (en) 2007-01-03 2013-12-17 Nuance Communications, Inc. Automatic speech recognition with a selection list
KR100780531B1 (ko) * 2007-01-10 2007-11-30 한국문화콘텐츠진흥원 구화 교육용 게임 시스템
US8069047B2 (en) 2007-02-12 2011-11-29 Nuance Communications, Inc. Dynamically defining a VoiceXML grammar in an X+V page of a multimodal application
US7801728B2 (en) 2007-02-26 2010-09-21 Nuance Communications, Inc. Document session replay for multimodal applications
US8150698B2 (en) 2007-02-26 2012-04-03 Nuance Communications, Inc. Invoking tapered prompts in a multimodal application
US7809575B2 (en) 2007-02-27 2010-10-05 Nuance Communications, Inc. Enabling global grammars for a particular multimodal application
US7822608B2 (en) 2007-02-27 2010-10-26 Nuance Communications, Inc. Disambiguating a speech recognition grammar in a multimodal application
US8938392B2 (en) 2007-02-27 2015-01-20 Nuance Communications, Inc. Configuring a speech engine for a multimodal application based on location
US8713542B2 (en) 2007-02-27 2014-04-29 Nuance Communications, Inc. Pausing a VoiceXML dialog of a multimodal application
US7840409B2 (en) 2007-02-27 2010-11-23 Nuance Communications, Inc. Ordering recognition results produced by an automatic speech recognition engine for a multimodal application
US9208783B2 (en) 2007-02-27 2015-12-08 Nuance Communications, Inc. Altering behavior of a multimodal application based on location
US8843376B2 (en) 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
US7945851B2 (en) 2007-03-14 2011-05-17 Nuance Communications, Inc. Enabling dynamic voiceXML in an X+V page of a multimodal application
US8515757B2 (en) 2007-03-20 2013-08-20 Nuance Communications, Inc. Indexing digitized speech with words represented in the digitized speech
US8670987B2 (en) 2007-03-20 2014-03-11 Nuance Communications, Inc. Automatic speech recognition with dynamic grammar rules
US8909532B2 (en) 2007-03-23 2014-12-09 Nuance Communications, Inc. Supporting multi-lingual user interaction with a multimodal application
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8788620B2 (en) 2007-04-04 2014-07-22 International Business Machines Corporation Web service support for a multimodal client processing a multimodal application
US8725513B2 (en) 2007-04-12 2014-05-13 Nuance Communications, Inc. Providing expressive user interaction with a multimodal application
US8862475B2 (en) 2007-04-12 2014-10-14 Nuance Communications, Inc. Speech-enabled content navigation and control of a distributed multimodal browser
US8328637B2 (en) * 2007-06-21 2012-12-11 Microsoft Corporation Combat action selection using situational awareness
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9108108B2 (en) 2007-09-05 2015-08-18 Sony Computer Entertainment America Llc Real-time, contextual display of ranked, user-generated game play advice
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
AU2009201191A1 (en) 2008-03-26 2009-10-15 Aristocrat Technologies Australia Pty Limited A gaming machine
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US8229081B2 (en) 2008-04-24 2012-07-24 International Business Machines Corporation Dynamically publishing directory information for a plurality of interactive voice response systems
US9349367B2 (en) 2008-04-24 2016-05-24 Nuance Communications, Inc. Records disambiguation in a multimodal application operating on a multimodal device
US8121837B2 (en) 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
US8082148B2 (en) 2008-04-24 2011-12-20 Nuance Communications, Inc. Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise
US8214242B2 (en) 2008-04-24 2012-07-03 International Business Machines Corporation Signaling correspondence between a meeting agenda and a meeting discussion
AU2009201551A1 (en) 2008-05-02 2009-11-19 Aristocrat Technologies Australia Pty Limited A gaming system and a method of monitoring a gaming device
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
JP5349860B2 (ja) * 2008-08-07 2013-11-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11287939B2 (en) 2008-10-09 2022-03-29 Aristocrat Technologies Australia Pty Limited Gaming system and gaming system processor module
AU2009222627B2 (en) 2008-10-09 2011-07-21 Aristocrat Technologies Australia Pty Limited Gaming system and gaming system processor module
US11385758B2 (en) 2008-10-09 2022-07-12 Aristocrat Technologies Australia Pty Limited Gaming system and gaming system processor module
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US8380513B2 (en) 2009-05-19 2013-02-19 International Business Machines Corporation Improving speech capabilities of a multimodal application
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US8290780B2 (en) 2009-06-24 2012-10-16 International Business Machines Corporation Dynamically extending the speech prompts of a multimodal application
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9737796B2 (en) 2009-07-08 2017-08-22 Steelseries Aps Apparatus and method for managing operations of accessories in multi-dimensions
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
US8510117B2 (en) 2009-07-09 2013-08-13 Nuance Communications, Inc. Speech enabled media sharing in a multimodal application
US8416714B2 (en) 2009-08-05 2013-04-09 International Business Machines Corporation Multimodal teleconferencing
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US10912991B2 (en) * 2009-12-09 2021-02-09 Sony Interactive Entertainment LLC Portable game controller settings
US8523673B1 (en) * 2009-12-14 2013-09-03 Markeith Boyd Vocally interactive video game mechanism for displaying recorded physical characteristics of a player in a virtual world and in a physical game space via one or more holographic images
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
DE112011100329T5 (de) 2010-01-25 2012-10-31 Andrew Peter Nelson Jerram Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US20120032779A1 (en) * 2010-08-04 2012-02-09 Nokia Corporation Method and apparatus for accessing content within a device
DE112010005802T5 (de) * 2010-08-09 2013-05-16 Mitsubishi Electric Corporation Informationsverarbeitungseinheit
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8562434B2 (en) 2011-01-16 2013-10-22 Google Inc. Method and system for sharing speech recognition program profiles for an application
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
CN102671381A (zh) * 2011-03-08 2012-09-19 德信互动科技（北京）有限公司 基于声控的游戏实现装置和方法
CN102671383A (zh) * 2011-03-08 2012-09-19 德信互动科技（北京）有限公司 基于声控的游戏实现装置和方法
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US9911349B2 (en) * 2011-06-17 2018-03-06 Rosetta Stone, Ltd. System and method for language instruction using visual and/or audio prompts
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9256396B2 (en) * 2011-10-10 2016-02-09 Microsoft Technology Licensing, Llc Speech recognition for context switching
CN103127718A (zh) * 2011-11-30 2013-06-05 北京德信互动网络技术有限公司 基于声控的游戏实现装置和方法
KR102022318B1 (ko) 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
CN103366743A (zh) * 2012-03-30 2013-10-23 北京千橡网景科技发展有限公司 操作语音命令的方法和装置
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP5306518B1 (ja) * 2012-06-08 2013-10-02 株式会社 ディー・エヌ・エー ゲームを提供する装置
US10019994B2 (en) 2012-06-08 2018-07-10 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
FI124994B (fi) 2012-06-29 2015-04-15 Tribe Studios Oy Epälineaarisen tietokonepelin parannettu rakenne
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
CN102855873A (zh) * 2012-08-03 2013-01-02 海信集团有限公司 一种控制电子设备的方法及电子设备
KR101987255B1 (ko) * 2012-08-20 2019-06-11 엘지이노텍 주식회사 음성 인식 장치 및 이의 음성 인식 방법
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US9433856B2 (en) 2012-10-26 2016-09-06 Infosys Limited Methods for synthesizing a voice guiding signal to a gaming controller and devices thereof
US10373615B2 (en) * 2012-10-30 2019-08-06 Google Technology Holdings LLC Voice control user interface during low power mode
EP2941769B1 (en) * 2013-01-04 2019-05-08 Kopin Corporation Bifurcated speech recognition
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
KR101904293B1 (ko) 2013-03-15 2018-10-05 애플 인크. 콘텍스트-민감성 방해 처리
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9604147B2 (en) 2013-03-15 2017-03-28 Steelseries Aps Method and apparatus for managing use of an accessory
US9687730B2 (en) 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9423874B2 (en) 2013-03-15 2016-08-23 Steelseries Aps Gaming accessory with sensory feedback device
US11151899B2 (en) 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
US20140329589A1 (en) * 2013-05-03 2014-11-06 Steelseries Aps Method and apparatus for configuring a gaming environment
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10258886B2 (en) 2013-09-04 2019-04-16 Nvidia Corporation Dynamic interface control device mapping when game sharing
US11130055B2 (en) 2013-09-04 2021-09-28 Nvidia Corporation System and method for granting remote access to a video game executed on a video game console or network client
WO2015063610A2 (en) * 2013-11-04 2015-05-07 Intralot S.A. -Integrated Lottery Systems And Services Computer systems and computer-implemented methods for conducting and playing personalized games based on vocal and non-vocal game entries
US9698999B2 (en) * 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US20160078864A1 (en) * 2014-09-15 2016-03-17 Honeywell International Inc. Identifying un-stored voice commands
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US10252171B2 (en) * 2015-04-02 2019-04-09 Nvidia Corporation System and method for cooperative game control
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US11416212B2 (en) * 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN106056989B (zh) * 2016-06-23 2018-10-16 广东小天才科技有限公司 一种语言学习方法及装置、终端设备
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553212B2 (en) * 2016-10-05 2020-02-04 Gentex Corporation Vehicle-based remote control system and method
CN106528137A (zh) * 2016-10-11 2017-03-22 深圳市天易联科技有限公司 与虚拟角色对话的方法及装置
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US11698927B2 (en) 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
WO2020068202A2 (en) * 2018-06-27 2020-04-02 Cubic Corporation Phonic fires trainer
CN109360561A (zh) * 2018-11-13 2019-02-19 东软集团股份有限公司 语音控制方法及系统、存储介质、语音模块、主控系统
CN109646952A (zh) * 2018-12-14 2019-04-19 北京智明星通科技股份有限公司 一种互动游戏界面显示方法、装置及终端
CN109857363B (zh) * 2019-01-17 2021-10-22 腾讯科技（深圳）有限公司 一种音效播放的方法以及相关装置
CN109741745A (zh) * 2019-01-28 2019-05-10 中国银行股份有限公司 一种交易导航方法及装置
CN112742024B (zh) * 2020-08-20 2023-02-10 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、设备及存储介质
CN111957044A (zh) * 2020-09-04 2020-11-20 网易（杭州）网络有限公司 多人对抗游戏的角色控制方法、装置和电子设备
CN113707144B (zh) * 2021-08-24 2023-12-19 深圳市衡泰信科技有限公司 一种高尔夫模拟器的控制方法及系统
CN114931747B (zh) * 2022-07-25 2022-10-14 深圳市景创科技电子股份有限公司 一种游戏控制器和智能语音控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05293252A (ja) * 1992-04-07 1993-11-09 Robert M Best 音声対立を利用する対話ビデオゲーム方法
KR960018998A (ko) * 1994-11-21 1996-06-17 아이리니 코스터라키스 대화식 컴퓨터 게임기
JPH1170273A (ja) * 1997-08-18 1999-03-16 Tatsumin Ryu ゲームプログラムを制御するための音声を用いる方法およびそれを利用したゲーム機のコントローラ
KR20000072753A (ko) * 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
JP2001029649A (ja) * 1999-07-21 2001-02-06 Taito Corp 音声認識により音声視覚表示を行うゲーム機
KR20010079324A (ko) * 2001-07-06 2001-08-22 신호철 유,무선 네트웍게임상의 음성인식 시스템

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58195957A (ja) * 1982-05-11 1983-11-15 Casio Comput Co Ltd 音声によるプログラム実行方式
US4757525A (en) * 1982-09-29 1988-07-12 Vmx, Inc. Electronic audio communications system with voice command features
US5274560A (en) * 1990-12-03 1993-12-28 Audio Navigation Systems, Inc. Sensor free vehicle navigation system utilizing a voice input/output interface for routing a driver from his source point to his destination point
DE69327751D1 (de) * 1992-07-21 2000-03-09 Pioneer Electronic Corp Plattenspieler und Methode zur Informationswiedergabe
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US5617407A (en) * 1995-06-21 1997-04-01 Bareis; Monica M. Optical disk having speech recognition templates for information access
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
GB9602701D0 (en) 1996-02-09 1996-04-10 Canon Kk Image manipulation
JP3933698B2 (ja) * 1996-07-11 2007-06-20 株式会社セガ 音声認識装置、音声認識方法及びこれを用いたゲーム機
CN1103076C (zh) 1997-05-30 2003-03-12 刘达民 利用语音讯号控制游戏软件的方法及装置
JP3829014B2 (ja) * 1998-06-03 2006-10-04 株式会社コナミデジタルエンタテインメント ビデオゲーム装置
US7251315B1 (en) * 1998-09-21 2007-07-31 Microsoft Corporation Speech processing for telephony API
TW495710B (en) * 1998-10-15 2002-07-21 Primax Electronics Ltd Voice control module for control of game controller
JP2000181676A (ja) 1998-12-11 2000-06-30 Nintendo Co Ltd 画像処理装置
JP2000229172A (ja) 1999-02-10 2000-08-22 Konami Co Ltd ゲームシステムおよびゲーム用プログラムが記録されたコンピュータ読み取り可能な記憶媒体
US6529876B1 (en) * 1999-03-26 2003-03-04 Stephen H. Dart Electronic template medical records coding system
JP4258890B2 (ja) 1999-05-26 2009-04-30 株式会社デンソー 音声認識装置、その装置を用いたナビゲーションシステム
US6554707B1 (en) 1999-09-24 2003-04-29 Nokia Corporation Interactive voice, wireless game system using predictive command input
US6571208B1 (en) * 1999-11-29 2003-05-27 Matsushita Electric Industrial Co., Ltd. Context-dependent acoustic models for medium and large vocabulary speech recognition with eigenvoice training
JP2002222436A (ja) * 2000-11-22 2002-08-09 Sony Computer Entertainment Inc オブジェクト制御方法、コンピュータに実行させるためのオブジェクト制御処理プログラム、コンピュータに実行させるためのオブジェクト制御処理プログラムを記録したコンピュータ読み取り可能な記録媒体、オブジェクト制御処理プログラムを実行するプログラム実行装置
US6928433B2 (en) * 2001-01-05 2005-08-09 Creative Technology Ltd Automatic hierarchical categorization of music by metadata
US7085722B2 (en) * 2001-05-14 2006-08-01 Sony Computer Entertainment America Inc. System and method for menu-driven voice control of characters in a game environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05293252A (ja) * 1992-04-07 1993-11-09 Robert M Best 音声対立を利用する対話ビデオゲーム方法
KR960018998A (ko) * 1994-11-21 1996-06-17 아이리니 코스터라키스 대화식 컴퓨터 게임기
JPH1170273A (ja) * 1997-08-18 1999-03-16 Tatsumin Ryu ゲームプログラムを制御するための音声を用いる方法およびそれを利用したゲーム機のコントローラ
JP2001029649A (ja) * 1999-07-21 2001-02-06 Taito Corp 音声認識により音声視覚表示を行うゲーム機
KR20000072753A (ko) * 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
KR20010079324A (ko) * 2001-07-06 2001-08-22 신호철 유,무선 네트웍게임상의 음성인식 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486069B2 (en) 2007-09-05 2019-11-26 Sony Interactive Entertainment America Llc Ranking of user-generated game play advice
US9833707B2 (en) 2012-10-29 2017-12-05 Sony Interactive Entertainment Inc. Ambient light control and calibration via a console
US9950259B2 (en) 2012-10-29 2018-04-24 Sony Interactive Entertainment Inc. Ambient light control and calibration via a console
US10561942B2 (en) 2017-05-15 2020-02-18 Sony Interactive Entertainment America Llc Metronome for competitive gaming headset
US10128914B1 (en) 2017-09-06 2018-11-13 Sony Interactive Entertainment LLC Smart tags with multiple interactions
US10541731B2 (en) 2017-09-06 2020-01-21 Sony Interactive Entertainment LLC Smart tags with multiple interactions

Also Published As

Publication number Publication date
EP1262955A2 (en) 2002-12-04
US7085722B2 (en) 2006-08-01
DE60235674D1 (de) 2010-04-29
KR20020088058A (ko) 2002-11-25
JP2003047768A (ja) 2003-02-18
CN1385783A (zh) 2002-12-18
US20100029387A1 (en) 2010-02-04
EP1262955B1 (en) 2010-03-17
US20060190270A1 (en) 2006-08-24
US7233904B2 (en) 2007-06-19
US20070244704A1 (en) 2007-10-18
US7877262B2 (en) 2011-01-25
EP1262955A3 (en) 2004-03-03
US20020169617A1 (en) 2002-11-14
JP2006099125A (ja) 2006-04-13
US7613616B2 (en) 2009-11-03

Similar Documents

Publication Publication Date Title
KR100464877B1 (ko) 게임 환경에서 캐릭터의 메뉴-방식 음성 제어를 위한시스템 및 방법
KR100534502B1 (ko) 음성인식장치,음성인식방법및이것을이용한게임기
JPH04266781A (ja) ビデオゲーム方法および装置
US20060040718A1 (en) Audio-visual games and game computer programs embodying interactive speech recognition and methods related thereto
US20100041479A1 (en) Voice command game controlling apparatus and method of the same
JP2001079265A (ja) ゲーム装置
JP2010063475A (ja) 音声コマンドゲーム制御の装置およびその方法
EP2154678A1 (en) Voice command game controlling apparatus and method of the same
JP2003024625A (ja) ビデオゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲームのプログラム及びビデオゲーム処理方法及びビデオゲーム処理装置
JP2002085834A (ja) ゲーム装置
JP2005027885A (ja) 単音音声コントロールによる制御装置
JPH06315572A (ja) 音声ゲーム機
JP2002159740A (ja) 音声指令によるビデオゲーム装置の制御方法
JP4476255B2 (ja) ゲームプログラム、ゲーム装置及びゲーム制御方法
US20050009604A1 (en) Monotone voice activation device
JP4993592B2 (ja) ゲーム装置、ゲームの進行方法、およびゲーム進行プログラム
US20240066415A1 (en) Speech assistance apparatus and method
US20240091648A1 (en) Systems and methods for controlling dialogue complexity in video games
JP2001296877A (ja) 音声による会話を行うプログラム実行装置、そのためのプログラム
JP3996174B2 (ja) ゲーム装置、ゲームの進行方法、およびゲーム進行プログラム
JP2023012965A (ja) 音声ユーザインターフェースプログラム、記録媒体、音声ユーザインターフェース処理方法
Spöhrer A History of Disability and Voice-Enabled Gaming from the 1970s to Intelligent Personal Assistants
JP2001224851A (ja) 音声認識ゲーム装置
CN117679732A (zh) 游戏交互方法、装置、设备和计算机可读存储介质
JPH07175567A (ja) 入力装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121210

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131210

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141209

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151207

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20161209

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 14