KR19990044544A

KR19990044544A - 음성 인식 장치, 음성 인식 방법 및 이것을 이용한 게임기

Info

Publication number: KR19990044544A
Application number: KR1019980701792A
Authority: KR
Inventors: 다꾸야 나까지마; 가즈히코 하마다
Original assignee: 이리마지리 쇼우이치로; 가부시키가이샤 세가 엔터프라이세스
Priority date: 1996-07-11
Filing date: 1997-07-11
Publication date: 1999-06-25
Also published as: CN1171650C; EP0850673B1; WO1998002223A1; TW356548B; CN1197404A; EP0850673A4; KR100534502B1; EP0850673A1; US6529875B1; JP3933698B2; DE69725270D1

Abstract

음성에 의해 게임을 즐기기 위해, 주변 기기로서 이용되는 음성 인식 장치 및 음성 인식 방법을 제공한다. 음성 입력 수단(7)과, 게임기용 제어부(2b)와, 음성 입력 수단(7)의 음성 신호 출력과 미리 정해진 음성 인식용 사전(61b, 61c)의 데이타를 비교함으로써 플레이어의 음성을 인식함과 동시에, 인식 결과와 제어부(2b)의 출력 신호에 기초하여 게임에 관한 제어 신호를 생성하는 음성 인식부(61)를 구비한다.

Description

음성 인식 장치, 음성 인식 방법 및 이것을 이용한 게임기

최근 컴퓨터 기술의 진보에 따라 컴퓨터 그래픽스 기술을 이용한 비디오 게임기가 널리 이용되어져 왔다. 최근 다종 다양한 게임 소프트웨어가 개발되어 있기 때문에, 이 종류의 가정용의 비디오 게임 장치는 오락으로서 매우 인기가 높다. 이 종류의 비디오 게임기에서는 컨트롤러의 버튼을 조작함으로써, 캐릭터를 움직이거나, 게임 화면을 전환하거나 하고 있다.

이와 같이 종래의 비디오 게임기에 있어서, 게임의 지시는 전부 플레이어가 컨트롤러의 스위치를 조작하여 행하도록 되어 있었다.

그런데, 인간에게 있어서 가장 자연스러운 커뮤니케이션 수단은 음성이다. 이 때문에, 인간의 음성을 인식하고, 이 인식 결과에 기초하여 기계를 제어하고자 하는 시도가 각종 행해지고 있다. 예를 들면, 차나 로보트 등을 인간의 음성에 의해 제어하려고 하거나, 음성에 의한 지시에 의해 각종 전자 장치를 제어하려고 하고 있었다.

그러나, 종래의 음성 인식 장치를 비디오 게임기에 적용하려고 한 경우, 일반적인 전자 장치의 경우와 달리 게임기의 특성에 있던 장치가 아니면 안되어, 그대로의 적용은 불가능하다. 예를 들면, 게임기의 컨트롤러의 버튼을 누를 때에, 단순히 1회 누룰 뿐만 아니라, 길게 누르거나 반복하여 누름으로써 캐릭터의 동작의 정도를 바꾸거나, 다른 버튼과 동시에 누름으로써 특별한 동작을 시켜야만 한다. 또한, 응답이 좋은 점도 중요하다. 한편, 게임의 종류에 따라서는 인식의 정밀도는 그다지 중요하지 않고, 오히려 좀처럼 인식할 수 없는 것 자체가 게임의 재미로 통하는 경우도 있다.

결국, 플레이어가 게임을 즐기기 위해서는, 종래의 음성 인식 장치의 경우와는 다른 특유의 성능·기능을 구비할 필요가 있다. 이 종류의 요구를 만족하는 음성 인식 장치는 종래에는 알려져 있지 않았다.

본 발명은 이러한 과제를 해결하기 위해 이루어진 것으로, 게임에 알맞는 음성 인식 장치 및 음성 인식 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 상기 음성 인식 장치 또는 음성 인식 방법을 이용한 게임기를 제공하는 것을 목적으로 한다.

〈발명의 개시〉

본 발명에 따른 음성 인식 장치는, 게임기의 주변 장치로서 이용되는 음성 인식 장치에 있어서, 음성 입력 수단과, 상기 음성 입력 수단의 음성 신호 출력과 미리 정해진 음성 인식용 사전(辭典) 데이타를 비교함으로써 플레이어의 음성을 인식함과 동시에, 인식 결과에 기초하여 게임에 관한 제어 신호를 생성하는 음성 인식부를 구비하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 음성 인식부는 상기 음성 인식용 사전으로서, 불특정 화자(話者)용으로 미리 설정된 불특정 화자 음성 인식용 사전 및 플레이어에 의해 설정되는 특정 화자 음성 인식용 사전을 구비하고, 동작의 초기 상태에서 상기 불특정 화자 음성 인식용 사전을 선택하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 음성 인식부는 복수의 플레이어 각각에 대응하는 복수의 특정 화자 음성 인식용 사전을 구비하고, 플레이어의 조작에 의해 이들 특정 화자 음성 인식용 사전으로부터 인식 처리에 사용하는 사전을 선택하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 음성 인식부에 접속되는 게임기용 제어부를 구비하고, 상기 음성 인식부는 음성의 인식 결과와 상기 제어부의 제어 신호를 조합시켜 게임에 관한 제어 신호를 생성하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 제어부는 통상의 동작을 시키는 제어 신호를 출력하고, 상기 음성 인식부는 특수한 동작을 시키는 제어 신호를 생성하는 것이다.

통상의 동작이란, 플레이어가 통상 행하는 게임에서의 동작(예를 들면, 킥한다, 점프한다 등)이다. 특수한 동작이란, 상기 제어부의 신호와 상기 음성 신호와의 조합에 의해 가능하게 되는 특유의 동작이다. 예를 들면, 격투기 게임에 있어서, 큰 소리 + A 버튼 조작에 의해, 그 때의 동일한 무예를 반복하는 동작이나, 복수의 버튼을 동시에 누른 경우에만 나오게 하는 특정의 치명적인 타격이다.

본 발명에 따른 음성 인식 장치는, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도 및 상기 음성 신호의 상태를 나타낸 값을 출력함과 동시에, 상기 음성 인식부는 게임에서의 동작의 종류를 선택하기 위해 상기 유사도에 기초하여 음성 인식을 행하는 제1 동작 모드와, 동작의 상태를 설정하기 위해 음성 인식을 행하지 않고 상기 음성 신호의 상태를 측정하는 제2 동작 모드를 구비하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 일부 또는 전체의 평균 음량 레벨로 하고, 이 평균 음량 레벨에 기초하여 동작의 상태를 설정하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 피크 음량 레벨로 하고, 이 피크 음량 레벨에 기초하여 동작의 상태를 설정하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 상승 시간으로 하고, 이 상승 시간에 기초하여 동작의 상태를 설정하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 제2 모드에서, 상기 음성 신호의 상태를 신호의 지속 시간으로 하고, 이 지속 시간에 기초하여 동작의 상태를 설정하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 제2 모드에서 상기 음성 신호의 상태를 음성의 종류로 하고, 이 음성의 종류에 기초하여 동작의 상태를 설정하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도 및 그 음량 레벨을 출력하고, 이 음량 레벨을 미리 정해진 리젝트 레벨에 기초하여 평가하고, 평가 결과에 기초하여 상기 음성 인식부의 인식 결과를 리젝트하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 리젝트 레벨을 게임의 종류 또는 게임 스테이지별로 설정하는 것이다.

본 발명에 따른 음성 인식 장치는, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도에 기초하여 인식함과 동시에, 인식 결과에 기초하여 생성된 제어 신호에 의한 게임에서의 동작의 상태를 상기 유사도에 따라 변화시키는 것이다.

본 발명에 따른 게임기는, 제어용 주변 기기로서 상기 음성 인식 장치를 구비하는 것이다.

본 발명에 따른 음성 인식 방법은, 음성 신호를 수신하는 제1 스텝과, 상기 음성 신호와 미리 정해진 음성 인식용 사전의 데이타를 비교함으로써 플레이어의 음성을 인식하는 제2 스텝과, 상기 제2 스텝의 인식 결과에 기초하여 게임에 관한 제어 신호를 생성하는 제3 스텝을 구비하는 것이다.

본 발명에 따른 음성 인식 방법은, 게임기용 제어부로부터 제어 신호를 수신하는 제4 스텝을 구비하고, 상기 제3 스텝에서, 상기 제2 스텝에 의한 음성의 인식 결과와 상기 제4 스텝에 의한 제어 신호를 조합시켜 게임에 관한 제어 신호를 생성하는 것이다.

본 발명은 입력된 음성을 인식하는 음성 인식 장치, 음성 인식 방법 및 이것을 이용한 게임기에 관한 것이다.

도 1은 본 발명의 실시 형태 1에 따른 비디오 게임기를 이용한 게임 시스템의 외관도

도 2는 본 발명의 실시 형태 1에 따른 비디오 게임기의 기능 블럭도.

도 3은 본 발명의 실시 형태 1에 따른 음성 인식부의 기능 블럭도.

도 4는 본 발명의 실시 형태 1에 따른 비디오 게임기를 이용한 게임 시스템의 사용 상태의 설명도.

도 5는 본 발명의 실시 형태 1에 따른 음성 인식부의 동작을 설명하기 위한 플로우차트.

도 6은 본 발명의 실시 형태 1에 따른 음성 인식부의 동작을 설명하기 위한 음성 파형의 개략도.

도 7은 본 발명의 실시 형태 1에 따른 음성 인식부의 동작을 설명하기 위한 음성 파형의 개략도.

〈발명을 실시하기 위한 최선의 형태〉

(형태 1.)

도 1은 본 발명의 실시 형태에 따른 음성 인식 장치를 이용한 비디오 게임기의 외관도이다. 이 도면에서, 비디오 게임기 본체(1)는 대체로 상자형을 이루고, 그 내부에는 게임 처리용 기판 등이 설치되어 있다. 또한, 비디오 게임기 본체(1)의 전면(前面)에는, 2개의 커넥터(2a)가 설치되어 있고, 이들 중 한쪽 커넥터(2a)에는 게임 조작용의 PAD(2b)가 케이블(2c)을 통해 접속되어 있다. 다른쪽의 커넥터(2a)에는 음성 인식부(6)가 접속되어 있다. 음성 인식부(6)에는 PAD(2b)와 함께 플레이어의 음성을 청취하기 위한 마이크(7)가 접속되어 있다. 2명의 플레이어가 게임을 즐기는 경우에는 2개의 PAD(2b)가 사용된다. 도 1의 마이크(7)는 헤드셋트형이지만, 다른 형식의 마이크여도 상관없다. 또, 2개의 커넥터(2a)의 양쪽에 음성 인식부(6)를 접속하는 것도 가능하다.

비디오 게임기 본체(1)의 상부에는 게임 프로그램, 음성 인식 동작이 기억된 기억 매체로서의 ROM 카트리지 접속용의 카트리지 I/F(1a), CD-ROM 판독용의 CD-ROM 드라이브(1b)가 설치되어 있다. 비디오 게임기 본체(1)의 배면에는, 도시되어 있지 않지만, 비디오 출력 단자 및 오디오 출력 단자가 설치되어 있다. 이 비디오 출력 단자는 케이블(4a)을 통해 TV 수상기(5)의 비디오 입력 단자에 접속됨과 동시에, 오디오 출력 단자는 케이블(4b)을 통해 TV 수상기(5)의 오디오 입력 단자에 접속되어 있다. 이와 같은 비디오 게임기에 있어서, 사용자가 PAD(2b)를 조작함으로써 TV 수상기(5)에 투영된 화면을 보면서 게임을 행할 수 있다.

도 2는 본 실시 형태에 따른 TV 게임기의 개요를 나타낸 블럭도이다. 또, 도 2에서 음성 인식부(6) 및 마이크(7)의 표시는 생략하고 있다. 이 화상 처리 장치는 장치 전체의 제어를 행하는 CPU 블럭(10), 게임 화면의 표시 제어를 행하는 비디오 블럭(11), 효과음 등을 생성하는 사운드 블럭(12), CD-ROM의 판독을 행하는 서브 시스템(13) 등으로 구성되어 있다.

CPU 블럭(10)은 SCU(System Control Unit: 100), 메인 CPU(101), RAM(102), ROM(103), 카트리지 I/F(1a), 서브 CPU(104), CPU 버스(103) 등으로 구성되어 있다. 메인 CPU(101)는 장치 전체의 제어를 행하는 것이다. 이 메인 CPU(101)는 내부에 DSP(Digital Signal Processor)와 마찬가지의 연산 기능을 구비하고, 어플리케이션 소프트를 고속으로 실행할 수 있다. RAM(102)은 메인 CPU(101)의 워크 영역으로서 사용되는 것이다. ROM(103)에는 초기화 처리용의 이니셜 프로그램 등이 기록되어 있다. SCU(100)는 버스(105, 106, 107)를 제어함으로써 메인 CPU(101), VDP(120, 130), DSP(140), CPU(141) 등의 사이에서의 데이타 입출력을 원활하게 행하는 것이다. 또한, SCU(100)는 내부에 DMA 컨트롤러를 구비하고, 게임 중의 스프라이트 데이타(Sprite Data)를 비디오 블럭(11) 내의 VRAM으로 전송할 수 있다. 이에 따라, 게임 등의 어플리케이션 소프트를 고속으로 실행하는 것이 가능하다. 카트리지 I/F(1a)는 ROM 카트리지의 형태로 공급되는 어플리케이션 소프트를 입력하기 위한 것이다.

서브 CPU(104)는 SMPC(System Manager & Peripheral Control)라고 불리는 것으로, 메인 CPU(101)으로부터의 요구에 따라 PAD(2b)로부터 페리페럴(peripheral) 데이타를 커넥터(2a)를 통해 수집하는 기능 등을 구비하고 있다. 메인 CPU(101)는 서브 CPU(104)로부터 수신한 페리페럴 데이터에 기초하여, 예를 들면 게임 화면 중의 야수를 이동시키는 등의 처리를 행하는 것이다. 커넥터(2a)에는 PAD, 조이스틱, 키보드 등 중 임의의 페리페럴이 접속 가능하다. 서브 CPU(104)는 커넥터(2a: 본체측 단자)에 접속된 페리페럴의 종류를 자동적으로 인식하고, 페리페럴의 종류에 따른 통신 방식에 따라 페리페럴 데이타 등을 수집하는 기능을 구비하고 있다.

비디오 블럭(11)은 비디오 게임의 폴리건(polygon) 데이타로 이루어지는 캐릭터 등의 묘화를 행하는 VDP(Video Display Processor: 120), 배경 화면의 묘화, 폴리건 화상 데이타 및 배경 화상의 합성, 클리핑 처리 등을 행하는 VDP(130)를 구비하고 있다. VDP(120)는 VRAM(121) 및 프레임 버퍼(122, 123)에 접속되어 있다. 비디오 게임기의 캐릭터를 나타내는 폴리건의 묘화 데이타는 메인 CPU(101)로부터 SCU(100)를 통해 VDP(120)로 전송되고, VRAM(121)에 기록된다. VRAM(121)에 기록된 묘화 데이타는 예를 들면, 16 또는 8비트/pixel의 형식으로 묘화용 프레임 버퍼(122 또는 123)에 묘화된다. 묘화된 프레임 버퍼(122 또는 123)의 데이타는 VDP(130)로 전송된다. 묘화를 제어하는 정보는 메인 CPU(101)로부터 SCI(100)를 통해 VDP(120)에 제공된다. 그리고, VDP(120)는 이 지시에 따라 묘화 처리를 실행한다.

VDP(130)는 VRAM(131)에 접속되고, VDP(130)로부터 출력된 화상 데이타는 메모리(132)를 통해 인코더(160)로 출력되는 구성으로 되어 있다. 인코더(160)는 이 화상 데이타에 동기 신호 등을 부가함으로써 영상 신호를 생성하고, TV 수상기(5)로 출력한다. 이에 따라, TV 수상기(5)에 소정의 게임 화면이 표시된다.

사운드 블럭(12)은 PCM 방식 또는 FM 방식에 따라서 음성 합성을 행하는 DSP(140)와, 이 DSP(140)의 제어 등을 행하는 CPU(141)로 구성되어 있다. DSP(140)에 의해 생성된 음성 데이타는 D/A 컨버터(170)에 의해 2채널의 신호로 변환된 후에 스피커(5b)로 출력된다.

서브 시스템(13)은 CD-ROM 드라이브(1b), CD I/F(180), CPU(181), MPEG AUDIO(182), MPEG VIDEO(183) 등으로 구성되어 있다. 이 서브 시스템(13)은 CD-ROM의 형태로 공급되는 어플리케이션 소프트의 판독, 동화상의 재생 등을 행하는 기능을 구비하고 있다. CD-ROM 드라이브(1b)는 CD-ROM으로부터 데이타를 판독하는 것이다. CPU(181)는 CD-ROM 드라이브(1b)의 제어, 판독된 데이타의 오류 정정 등의 처리를 행하는 것이다. CD-ROM으로부터 판독된 데이타는, CD I/F(180), 버스(106), SCU(100)를 통해 메인 CPU(101)에 공급되고, 어플리케이션 소프트로서 이용된다. 또한, MPEG AUDIO(182), MPEG VIDEO(183)는 MPEG 규격(Motion Picture Expert Group)에 의해 압축된 데이타를 복원하는 디바이스이다. 이들 MPEG AUDIO(182), MPEG VIDEO(183)를 이용하여 CD-ROM에 기록된 MPEG 압축 데이타의 복원을 행함으로써, 동화상의 재생을 행할 수 있게 된다.

도 3은 음성 인식부(6)의 내부 구성을 나타낸 블럭도이다. 음성 인식부(6)는 자기의 소리의 등록이 필요 없이, 누구의 소리라도 인식할 수 있는 불특정 화자용에 대응한 워드 스포팅 기능을 갖는 이산 단어(태양, 바다 등 단독으로 이용하는 단어)의 음성 인식서브 시스템이다. 이 도면에서, 커넥터(62)는 케이블(2c)을 통해 도 2의 커넥터(2a)에 접속된다. 또한, 커넥터(63, 64)에는 각각 PAD(2b), 마이크(7)가 접속된다. 커넥터(62 ∼ 64)는 음성 인식용 LSI(61: 모델명 RL5C288, 주식회사 리코 제조)에 접속되어 있다. 음성 인식용 LSI(61)는 마이크(7)로부터 입력되는 음성 신호에 기초하여 음성 인식 처리를 행함과 동시에, PAD(2b)로부터의 데이타를 본체측의 CPU 블럭(10)에 전달한다. 또한, PAD(2b)의 제어 데이타와 음성 인식 결과를 융합하는 처리도 행한다. 또한, 확장 포트(커넥터: 63)에 대응 페리페럴을 접속함으로써 음성과 메뉴얼의 동시 조작이 가능해진다. 음성 인식용 LSI(61)는 음성 인식 처리의 파라메터 데이타 등을 기억하는 데이타 레지스터(61a), 음성 인식을 위한 표준 패턴이 기억되는 표준 패턴 메모리(61b) 및 특정 화자의 음성 인식을 위한 특정 패턴 메모리(61c)를 구비한다.

음성 인식부(6)는 미리 각 단어별로 다수 화자의 스펙트럼 계열을 분류(클러스터화)하여, 각 클러스터의 중심, 또는 각 클러스터에 속하는 음성의 평균 스펙트럼계열을 표준 패턴(멀티 템플릿)으로서 가지고 있다. 입력 음성에 대해 모든 표준 패턴과 매칭을 행하고, 유사도를 계산한다. 유사도란, 인식 결과에 포함되는 데이타로서, 사용자가 발성한 음성과 인식 결과의 단어와의 거리를 나타낸다. 값이 클수록 유사하다. 유사도가 높은 표준 패턴의 단어를 인식 결과로서 출력한다. 또, 표준 패턴의 사전 데이타는 게임기(1)측으로부터 다운 로드된다. 또한, 인식 결과로서 단어의 유사도와 함께 음량 취득치도 출력된다. 음량 취득치는 입력 음성의 레벨을 나타내는 값이고, 이에 따라 사용자가 발성한 음성의 크기를 계측할 수 있다. 값이 클수록 음량이 큰 것을 나타낸다.

음성 인식부(6)는 다음과 같은 특징을 갖는다.

인식 타입: 이산 발성 단어, 화자 타입: 불특정 화자, 특징량: 메르켑스트럼, 인식 방식 : DST 모델, 인식 단어수: 불특정 화자에 대해 표준 30단어(단, 총 모라수에 따라서 인식 단어수가 변화), 인식 처리 시간 : 발성 종료 후 0. 2초 이상(어플리케이션에 의해 변경 가능), 단어 발성 길이 : 0. 15 ∼ 2. 00초(불필요어를 포함한다), 클러스터링 방식 : 비트 할당 방식, 클러스터수 : 최대 16, 리젝트 레벨 : 8단계[0(저레벨) ∼ 7(고레벨)], 워드 커넥션: 최소 30가지(단, 모라수에 따라서는 조합수는 변화한다), 마이크 증폭기 게인 : 가변.

도 4는 이 게임기(1)와 음성 인식부(6)를 사용한 시스템의 구성예이다. 상세는 후술하지만, 플레이어(PLAYER)는 TV 수상기(5)의 화면을 보면서 PAD(2b)를 조작하거나, 마이크(7)를 향해 커맨드를 보냄으로써 여러가지 조작을 행한다.

도 5는 음성 인식의 기본 처리의 플로우차트이다. 또, 이하의 설명에서, 「단어」란 문법적으로 엄격한 의미에서의 단어를 나타내는 것이 아니라, 사람의 이름이나 숫자 등의 짧은 것이나, 글이나 문장 등의 긴 것을 포함해 음성 인식시의 한 단위를 「단어」라고 표기한다.

우선, 인식 커맨드를 데이타 레지스터(61a)에 셋트한다(스텝 S10).

다음에, 음성 인식용 LSI(61)로부터 인식 결과가 출력될 때까지 기다린다(스텝 S11).

인식 커맨드를 수신한 음성 인식용 LSI(61)는 소정 레벨 이상의 음량의 음성이 일정 시간 계속하면, 인식 결과를 데이타 레지스터(61a)에 저장함과 동시에, 인식 결과가 출력된 것을 게임기 본체(10)에 알린다.

인식 결과가 출력되면, 데이타 레지스터(61a)로부터 복수의 표준 패턴 중에 가장 근접한 인식 순위 1위의 단어와 인식 득점을 판독한다(스텝 S12). 인식 득점은 입력 음성과 인식 순위 1위의 단어와의 유사도를 득점에 의해 나타낸 것이다. 인식 득점이 높을수록 입력 음성과 유사하다는 것을 나타내고 있다.

다음에, 더욱 상세한 데이타가 필요한지의 여부를 판단하고(스텝 S13), 데이타가 필요하지 않으면 스텝 S10으로 복귀한다.

데이타가 필요하면, 넥스트 커맨드를 데이타 레지스터(61a)에 셋트한다(스텝 S14). 넥스트 커맨드에 의해 음성 인식용 LSI(61)는 인식 단어 발성시의 음량 데이타를 데이타 레지스터(61a)에 저장한다. 게임기 본체(10)는 데이타 레지스터(61a)로부터 음량 데이타를 판독한다(스텝 S15).

다음에, 더욱 상세한 데이타가 필요한지의 여부를 판단하고(스텝 S16), 데이타가 필요하지 않으면 스텝 S10으로 복귀한다.

데이타가 필요하면, 넥스트 커맨드를 데이타 레지스터(61a)에 셋트한다(스텝 S17). 넥스트 커맨드에 의해 음성 인식용 LSI(61)는 인식 순위 2위의 단어와 인식 득점을 데이타 레지스터(61a)에 저장한다. 게임기 본체(10)는 데이타 레지스터(61a)로부터 인식 순위 2위의 단어와 인식 득점을 판독한다(스텝 S18).

다음에, 더욱 상세한 데이타가 필요한지의 여부를 판단하고(스텝 S19), 데이타가 필요하지 않으면 스텝 S10으로 복귀한다.

데이타가 필요하면, 넥스트 커맨드를 데이타 레지스터(61a)에 셋트한다(스텝 S20). 넥스트 커맨드에 의해 음성 인식용 LSI(61)는 인식 순위 3위의 단어와 인식 득점을 데이타 레지스터(61a)에 저장한다. 게임기 본체(10)는 데이타 레지스터(61a)로부터 인식 순위 3위의 단어와 인식 득점을 판독한다(스텝 S21).

이와 같이 하여, 음성 인식용 LSI(61)로부터 인식 결과로서 인식 순위 1위의 단어와 인식 득점을 얻을 수 있어, 필요에 따라서 넥스트 커맨드에 의해 더욱 상세한 인식 결과의 데이타를 얻을 수 있다.

이상의 음성 인식 처리에 의해, 음성 인식부(6)는 다음과 같은 기능을 갖는다.

·디폴트 불특정 화자 음성 인식 기능

음성 인식부(6)는 소정의 시퀀스로 디폴트 인식 모드와 노멀 인식 모드(후술)를 전환한다. 디폴트 인식 모드는 장치의 전원 투입 직후에 표시되는 CD-ROM 등을 조작하기 위한 초기 화면을 음성에 의해 조작하는 것을 목적으로 한 모드이다. 음성 인식용 LSI(61)에 내장되는 도시하지 않은 ROM에 PAD(2b)의 각 버튼에 대응한 단어 사전을 갖고, 대응한 단어가 인식된 경우에는 각 버튼에 대응한 비트를 액티브(0)로 한다. 이 모드에 의해, 전원 투입 직후 등에 초기 설정하거나, CD-ROM을 이용한 게임 스타트 등을 음성을 통해 행할 수 있다.

단어 사전과 대응 버튼의 관계를 이하에 나타낸다.

디폴트 단어 사전과 대응 버튼의 관계

패드 버튼 단어 사전

Right 없음

Left 없음

Down 없음

Start 「게임 스타트」

A 버튼 「결정」

C 버튼 「C 버튼」

B 버튼 「취소」

R 버튼 「전진」

X 버튼 「반복」

Y 버튼 「정지」

Z 버튼 「재생」

L 버튼 「후진]

·노멀 불특정 화자 음성 인식 기능

사전을 게임기(1)의 CD-ROM으로 로드하고, 인식을 행하는 게임에서의 사용을 목적으로 한 모드이다. 사전 데이타 로드 커맨드를 발행하고, 사전을 CD-ROM으로 음성 인식용 LSI(61) 내의 도시하지 않은 RAM에 로드하고, 인식 개시 커맨드를 발행하는 것(후술의 리젝트 레벨과 사용 클러스터의 설정이 필요)에 의해 인식 동작을 개시한다. 인식 정지 커맨드를 발행함으로써 인식 동작을 정지시킬 수 있다.

이 경우, 사전 데이타의 다운 로드는 파워온 또는 리셋트시에 자동적으로 행할 수 있다. 음성 인식부(6)에 파워온 리셋트가 걸리면, CD-ROM으로부터 시스템 내장 RAM에 데이타를 자동으로 전송한다. 그 후, 표준 패드 데이타와의 치환을 행한다. 이와 같이 다운 로드를 자동적으로 행하면, 외부 조작이 불필요하기 때문에, 미대응의 어플리케이션을 사용할 때도 표준 데이타를 어플리케이션으로 사용할 수 있다. 또한, 표준 데이타를 미리 시스템에 구비하여 공용함으로써 각종어플리케이션의 데이타량 삭감 및 어플리케이션 작성자의 부담의 경감을 꾀할 수 있다.

·워드 스포팅 기능

음성 인식부(6)는 워드 스포팅 기능을 갖고, 「앗 펀치」의 「앗」 등의 불필요어를 포함한 단어로부터 사전에 있는 단어를 분리할 수 있다.

·캣치업 기능

음성 인식부(6)는 표준 패턴 메모리(61b)에 기초하여 불특정 화자 음성 인식을 채용하고 있다. 그러나, 개성이 강한 발음을 하는 사용자 또는 특정한 단어에 따라서는 인식하기 어려운 경우가 있을지도 모른다. 그래서, 인식하기 어려운 단어를 사용자 개별의 음성 등록으로 치환함으로써, 인식율의 향상을 꾀할 수도 있다. 이 경우, 특정 화자 음성 인식으로 된다.

구체적 순서는 다음과 같이 행한다. 데이타 레지스터(61a)로 음성 데이타 전송 커맨드를 발행한다. 다음에, 마이크(7)에 원하는 음성을 입력한다. 그리고, 입력된 음성을 특정 패턴 메모리(61c)에 저장한다.

·마이크 게인 변경 기능

마이크(7)의 게인을 변경할 수 있다. 데이타 레지스터(61a)로 게인 설정 커맨드를 발행함으로써 설정을 행한다. 이 기능에 의해, 화자의 발성 음량, 주위의 소음 등에 따라 적절한 인식을 행할 수 있다.

·리얼 타임 음량 출력 기능

노멀 인식 모드에는, 음성 레벨을 리얼 타임(20㎳마다)으로 출력하는 음 스위치 모드와 통상의 음성 인식을 행하는 인식 모드의 2개가 있다. 전자의 리얼 타임 음량 출력 모드에서는, 단순히 음성 레벨을 출력할 뿐이므로, 고속의 처리가 가능하다. 모드 음량 출력 커맨드를 발행함으로써, 8bit(0 ∼ 255)의 음성 레벨 신호를 출력한다.

이 모드의 용도로서, 다음과 같은 것이 고려된다.

마이크(7) 또는 PAD(2b)로부터의 커맨드 입력 후에, 그 커맨드에 의한 조작의 정도를 음성 레벨 신호로 결정한다. 예를 들면, 화면 상의 캐릭터에 「전진」을 명령한 후에, 그 이동 속도를 빨리 하기 위해 플레이어에게 「빨리, 빨리 」라고 외치도록 한다. 또는, 화면 상의 캐릭터의 울고 웃는 등의 표정을 짓게 할 때, 어느 정도 심한 표정으로 하는지를 플레이어의 「앗」하는 외침 소리의 크기로 결정하도록 한다. 또는, 화면 상의 캐릭터가 위험 지대를 걷고 있을 때에, 적 캐릭터의 돌연의 출현 등의 돌발적인 위험 상태가 발생될 때, 플레이어가 「위험하다」든지 「꺅」등의 외침 소리를 지를 때에는 그 크기에 따라, 캐릭터가 움직이는 스피드를 느리게 하거나, 태세를 취하게 하거나, 자세를 낮게 하거나, 기절시키거나 한다.

또한, 음성 레벨에 따라 정도를 바꿀 뿐만 아니라, 동작의 종류를 바꾸도록 할 수도 있다. 예를 들면, 화면 상의 캐릭터에 「전진」이라고 명령한 후에 「가라」라고 작은 소리로 명령할 때에는 캐릭터는 걷기 시작하고, 한편, 「걸어!!」라고 외칠 때에는 캐릭터는 점프하거나, 비행 능력이 있으면 하늘을 날거나 할 수도 있다.

결국, 음성 레벨에 의해 동작의 정도를 증가 또는 감소시키도록 제어하거나, 어떤 임계치를 초과하였는지의 여부에 따라 동작의 종류를 바꾸도록 하는 것이 고려된다.

·리젝트 기능

음성 인식시에 음성 인식용 LSI(61)로부터 유사도와 동시에 출력되는 득점(레벨)이 일정 레벨 이하일 때에, 그 인식 결과를 기각하는 기능이다. 예를 들면, 득점 < (리젝트 레벨+1)*8일 때, 그 인식 순위 1위인 유사도의 결과는 출력되지 않는다. 리젝트 레벨은 예를 들면 2정도이다. 이 기능에 의해, 예를 들면 화자 이외의 사람의 소리나 노이즈 등에 의해 잘못 인식하는 것을 방지할 수 있다.

·클러스터 기능

이것은 한 장면의 30단어를 최대 16의 그룹으로 나누고, 임의의 그룹(복수 선택 가능)을 선택하여 인식을 행함으로써 인식율 및 인식 속도를 향상시키는 기능이다.

예를 들면, 롤 플레잉 게임(RPG)의 전투 장면에서 잘 이용되는 주문 등을 인식하기 위해, 주문 각각의 종류별로 공격 마법(클러스터 1), 회복 마법(클러스터 2), 직접 공격(클러스터 3), 기타 (클러스터 4), 직종(클러스터 5)이라는 클러스터를 만든다. 그리고, 전투 장면의 경과별로 순서대로 적절하게 클러스터를 선택해 간다.

전투를 개시하기 전에는, 직종(클러스터 5) 중의 언어 중 어느 하나라고 인식한다. 인식 결과가 「전사」이면, 다음은 당연히 무기를 갖고 직접 공격하는 것으로 되기 때문에, 직접 공격(클러스터 3)부터 인식한다. 한편, 직종의 인식 결과가 「마법사」일 때에는, 공격 마법(클러스터 1)부터 인식한다.

이와 같이, 전회의 인식 결과에 기초하여, 장면별로 관련이 깊은 적당한 클러스터를 선택하고, 음성 신호가 이 선택된 클러스터의 언어 중 어느 하나라고 판정한다. 이 방법에 의하면, 정말로 무관한 언어라고 오인할 우려가 적어져서, 인식의 신뢰성이 높아짐과 동시에, 유사도를 구하는 인식 처리를 행하는 대상이 그 선택된 클러스터 내에 한정되므로 처리 연산 횟수가 감소하고, 따라서 처리 속도의 점에서도 유리하다.

·워드 커넥션 기능

연속으로 발성한 2단어를 1조로서 인식 결과를 출력하는 기능이다. 1단어째의 유사도와 2단어째의 유사도의 합계가 높은 것을 출력한다. 이 경우, 미리 2단어의 결합 데이타를 사전에 넣어 둘 필요가 있다.

예를 들면, 사전에, 원숭이, 공격, 꿩, 방어, 개, 마법, 도깨비, 도피한다, 모모타로(momotaro)의 어휘가 존재하고, 또한 결합 데이타로서 원숭이-공격, 원숭이-방어, 원숭이- 도피한다, 꿩-공격, 꿩-방어, 꿩- 도피한다, 개-공격, 개-방어, 개- 도피한다, 가 저장되어 있게 한다. 이와 같이, 사전 내에 단어와 이들 결합 데이타가 저장되어 있다.

이 경우, 사용자가 「원숭이, 공격」 (사이를 약간 두는 것)이라고 발성하였다고 한다면, 이 때의 음성 인식부(6)의 동작은 (9어로부터 3어를 선택한 순열 *2가지 중의) 예를 들면 다음 케이스와 같이 된다.

케이스 1

1단어째 유사도 2단어째 유사도 인식 결과

1위 원숭이 1위 공격

2위 꿩 2위 마법 원숭이- 공격

3위 도깨비 3위 도피한다

케이스 2

1단어째 유사도 2단어째 유사도 인식 결과

1위 꿩 1위 공격

2위 원숭이 2위 마법 꿩- 공격

3위 도깨비 3위 도피한다

케이스 3

1단어째 유사도 2단어째 유사도 인식 결과

1위 도깨비 1위 공격

2위 원숭이 2위 마법 원숭이- 공격

3위 개 3위 도피한다

케이스 4

1단어째 유사도 2단어째 유사도 인식 결과

1위 도깨비 1위 마법

2위 원숭이 2위 공격 원숭이-공격

3위 개 3위 도피한다

이상의 워드 커넥션 기능 사용시, 음성 인식부(6)는 유사도 1 ∼ 3위의 후보 중에서 출력을 선택한다. 1단어째 유사도 1, 2, 3위의 단어와 2단어째 유사도 1, 2, 3위의 조합에서 합계의 유사도가 큰 것이 선택된다. 그러나, 케이스 3, 4와 같이 유사도 1위에 결합 데이타를 갖지 않는 단어가 올 때에는, 이것을 기각하여 결합 데이타를 우선적으로 출력한다.

다음에, 음성 인식부를 이용한 게임기의 동작에 대해 설명한다.

이 종류의 게임기는 통상, 패드(2b)의 버튼에 의해 조작되지만, 이것에 대신하거나 또는 이것과 겸해서 음성 인식 장치를 이용함으로써 새로운 사용 방법이 가능하게 된다. 음량차의 요인을 식별할 수 있으면, 이것과 음성 인식을 조합함으로써, 새로운 플레이가 가능하게 된다.

보통의 음성 인식이라고 발음된 음성이 인식 데이타와 일치했는지 여부의 판단을 행하고, 그 결과를 출력할 뿐이지만, 이것에 더욱 발음된 음성이 어느 기준보다 컸는지, 그렇지 않으면 작았는지의 판단 결과를 부가함으로써 응용 범위를 넓힐 수 있다. 이 구체예에 대해서는 후술한다.

발생된 소리는, 마이크로폰(7)을 통해 음성 및 음량을 인식하는 음성 인식부(6)로 전송되고, 여기서 인식 데이타의 비교 및 음량 기준치의 비교를 행하고, 그 결과를 게임기 본체(1)로 전송한다. 게임기 본체(1)에서는 그 결과에 따라 여러가지의 동작을 행한다. 또, 게임기 본체(1)로부터 음성 인식부(6)에 대해, 음량 기준치의 셋트를 할 수 있다. 또한, 음량 기준치는 조정 가능한 디폴트치를 가지고 있다.

다음에, 음성 인식과 음량치와의 조합에 의한 동작의 구체예에 대해, 게임기의 경우를 예로 들어 설명한다.

<음성 레벨에 의해 동작의 정도를 제어>

예를 들면, 화면 상의 캐릭터에 「전진」을 명령한 후에, 그 이동 속도를 빨리 하기 위해 플레이어에게 「빨리, 빨리」라고 외치게 한다. 또는, 화면 상의 캐릭터의 울고 웃는 등의 표정을 짓게 할 때, 어느 정도 격렬한 표정으로 하는지를 플레이어의 「앗」하는 외침 소리의 크기로 결정하도록 한다. 또는, 화면 상의 캐릭터가 위험 지대를 걷고 있을 때에, 적 캐릭터의 돌연의 출현 등의 돌발적인 위험 상태가 발생될 때, 플레이어가 「위험하다」든지 「꺅」 등의 외침 소리를 지를 때에, 그 크기에 따라서, 캐릭터가 움직이는 스피드를 느리게 하거나, 태세를 취하게 하거나, 자세를 낮게 하거나, 기절시키거나 한다. 또는 음량에 의해 강한 킥을 내보내거나, 그렇지 않으면 약한 킥을 내보내는 것을 선택한다.

그런데, 음량 레벨의 의미로서 상호 다른 몇개의 취할 수 있는 방법이 가능하다. 플레이어가 소리내는 방법은 다양하지만, 개념적으로 취할 수 있는 도 6 및 도 7과 같은 예가 고려된다. 이들 도면의 종축은 음량 레벨이고, 횡축은 시간이다. 도 6에서, 최초의 음량이 가장 크고, 서서히 내려 가고 있다. 「꺅」이라는 비명과 같은 흥분 상태의 소리는 이와 같이 변화한다고 생각된다. 이것에 대해, 도 7에서 서서히 음량이 커져 이윽고 피크를 맞이하고, 그 후 서서히 음량이 작아지고 있다. 통상의 음성은 이와 같이 변화한다고 생각된다.

음량 레벨을 다음과 같이 정의한다.

(1) 평균 음량

도 6 및 도 7의 신호 전체에 대한 평균을 구하고, 이것을 (평균) 음량으로 한다.

구체적으로는, 마이크의 입력 신호에 대해 적분 회로를 적용할 수 있다. 평균 음량은 소리가 통상의 상태인지 흥분 상태인지에 관계없이 소리 전체(음량× 지속 시간)의 값을 나타내므로, 캐릭터가 움직이는 스피드와 같이, 생각보다도 단순한 동작의 정도를 제어하는 용도에 적절하다.

(2) 피크 음량

신호의 피크치(도 6 및 도 7의 점 P)의 레벨 Δy를 구하고, 이것을 피크 음량으로 한다. 구체적으로는, 샘플 홀드 회로를 이용하여 신호를 샘플링하면서, 최대치를 계속해서 유지할 수 있다. 피크 음량은 최대의 음량을 나타내기 때문에, 복수의 플레이어 사이에서 소리의 크기를 판단하는 등의 용도에 적절하다.

(3) 상승 시간

신호의 피크까지의 시간(도 6 및 도 7의 Δt)을 구하고, 이것을 상승 시간으로 한다. 상술한 피크 홀드 회로의 홀드 시각을 알게 됨으로써 간단히 구할 수 있다. 또는, 상승의 각도θ, Δy/Δt에서 상승 시간을 정의하도록 할 수도 있다. 이것은 미분 회로에 의해 실현된다. 상승 시간은, 말하자면 소리의 긴박도에 대응한다고 생각되기 때문에, 예를 들면 상승이 급한 때에는 캐릭터에 태세를 취하도록 하거나 후퇴 행동을 시키거나 하고, 상승이 급하지 않을 때에는 캐릭터를 빠르게 걷게 하도록 하는 것이 고려된다.

(4) 지속 시간

신호의 지속 시간(도 6 및 도 7의 T)을 구하고, 이것을 지속 시간으로 한다. 구체적으로는, 도시하지 않은 타이머에 의해, 음성 신호 중에 미리 정해진 임계치 이상의 레벨의 계속 시간을 계측한다. 지속 시간은 단순히 소리의 길이를 판단하는 경우에 적용할 수 있다.

<음성 레벨에 의해 동작의 종류를 제어>

또한, 음성 레벨에 의해 정도를 바꿀 뿐만 아니라, 동작의 종류를 바꾸도록 할 수도 있다. 예를 들면, 화면 상의 캐릭터에 「전진」이라고 명령한 후에 「가라」라고 작은 소리로 명령할 때에는, 캐릭터는 걷기 시작하고, 한편 「가-!!」라고 외칠 때에는, 캐릭터는 점프하거나, 비행 능력이 있으면 하늘을 날거나 할 수도 있다.

결국, 음성 레벨에 의해 동작의 정도를 증가 또는 감소시키도록 제어하거나, 어떤 임계치를 초과했는지의 여부에 따라 동작의 종류를 바꾸도록 하는 것이 생각된다.

<음성의 종류에 의해 동작의 종류를 제어>

아이의 소리와 어른의 소리, 또는 남성의 소리와 여성의 소리를 구별하여, 이 결과에 기초하여 조작을 바꿀 수도 있다. 예를 들면, 아이의 캐릭터와 어른의 캐릭터가 혼재하고 있을 때, 소리의 종류에 따라서 아이 또는 어른의 캐릭터만을 조작한다. 남성과 여성의 경우도 마찬가지이다. 이와 같이 제어하면, 복수의 플레이어가 동시에 소리를 낼 때라도 플레이가 가능해져서, 게임에 융통성이 넓어진다.

그런데, 아이의 소리와 어른의 소리는 그 주파수 분포의 점에서 다르기 때문에 식별 가능하다. 예를 들면, 푸리에 변환하여 주파수 분포를 구함으로써, 또는 간단하게 복수의 필터의 출력을 비교함으로써 식별할 수 있다. 남성의 소리와 여성의 소리도 주파수 분포의 점에서 다르기 때문에 마찬가지의 수단으로 식별할 수 있다.

<기타>

상술한 음성 레벨 또는/및 음성의 종류와, 조작 패드(2b)의 버튼 조작과의 조합에 의해 특유의 동작을 시킬 수 있다. 예를 들면, 큰 소리 + A 버튼 조작에 의해, 그 때의 동일한 무예를 반복하도록 제어하는 것이 고려된다. 또한, 복수의 버튼을 동시에 누른 경우에 어떤 치명적인 타격이 나오게 하는 격투 게임과 같은 경우, 어떤 버튼에는 음성 입력을, 그 밖의 버튼에는 통상의 패드 입력을 할당하면, 음성과 패드 입력의 조합에 의해서, 패드만을 사용한 키 입력에 비해, 보다 간단한 입력으로 마찬가지의 키 입력을 행할 수 있다.

또, 상기한 음성 레벨을 이용하는 경우에 있어서, 상술한 리얼 타임 음량 출력 기능을 이용할 수도 있다. 즉, 음성 인식 모드와 리얼 타임 음량 출력 모드를 조합시킨다. 우선, 음성 인식을 행하여 대응하는 동작을 시킨 후, 리얼 타임 음량 출력 모드로 들어 가, 음성 레벨만을 출력한다. 이와 같이 하면 응답이 매우 좋게 된다.

이상과 같이, 본 발명의 실시 형태에 의하면, 작게 발생된 말에 대해서는 적은 움직임, 크게 발생된 말에 대해서는 큰 움직임과 같이, 발성 음량에 기초하여 움직임의 정도를 제어할 수 있다. 또한, 발성 음량에 기초하여 동작의 종류를 제어할 수 있다. 또한, 음성의 종류에 기초하여 동작의 종류를 제어할 수 있다.

형태 2.

상기 발명의 실시 형태 1의 장치는 종래의 제어 장치인 패드외에, 음성 인식 장치를 조합시킴으로써 조작에 깊이를 갖게 한 것이다. 이것에 대해, 패드를 음성 인식 장치로 치환할 수도 있다.

도 3의 음성 인식부(6)는 상술한 바와 같이, 디폴트 불특정 화자 음성 인식 기능 및 노멀 불특정 화자 음성 인식 기능을 가지고 있다. 따라서, 전원을 투입한 직후의 디폴트 상태에서도 소정의 음성과 패드의 버튼이 대응하기 때문에, 음성 인식에 대응하지 않은 소프트에서도 음성 인식 장치를 이용할 수 있다. 또한, 노멀 불특정 화자 음성 인식 기능의 사전 데이타 로드 커맨드를 발행하여 사전을 CD-ROM으로부터 다운 로드함으로써, 패드의 버튼과 음성 인식 결과와의 관계에 대해, 그 소프트 특유의 대응을 취할 수 있다.

다음에, 노멀 특정 화자 음성 인식 기능을 이용할 때의 처리 동작에 대해 설명한다.

우선, 음성 인식부(6)는 사전 데이타 로드 커맨드를 발행함으로써, CD-ROM으로부터 사전 데이타를 다운 로드한다.

다음에, 사전 데이타에 기초하여 패드(2b)의 버튼과 소정의 음성의 대응 관계를 정한다. 우선, 최초로 본체의 키 스위치에 대응시키는 음성을 음성 데이타 RAM에 정의한다. 예를 들면, 「전진」이라는 음성이 입력되면, 「위」를 나타내는 키 데이타를 출력하도록 정의된다. 이와 같은 상태에서, 도 1의 구성의 마이크로폰으로「전진」의 음성이 입력되면, 그 데이타를 디지탈 데이타로서 음성 비교부에 저장한 후에, 음성 데이타 RAM 중에 동일한 데이타가 존재하는지의 여부를 판정한다. 만일, 마이크로폰으로 입력된 음성과, 음성 데이타 RAM 중에 동일한 데이타가 존재하면, 그 데이타에 따라서 「위」를 나타내는 키 데이타가 게임기 본체(1)로 송신된다.

음성 신호가 입력되면, 음성 인식부(6)는 음성을 인식하고, 상기한 대응 관계에 기초하여, 통상의 게임 패드 조작에 대응하는 키 데이타를 게임기 본체(1)로 출력한다. 예를 들면, 「게임 스타트」라고 말하면, 스타트 버튼이 눌러질 때와 동일한 신호를 출력한다. 또, 패드 상의 각 버튼에 대해 플레이어가 좋아하는 음성을 등록하는 것도 가능하다. 예를 들면, 그것을 위한 전용의 커맨드를 입력하고, 패드데이타의 각각 원하는 단어를 선택 또는 입력하여 등록할 수 있다. 이 때, TV 화면 상에서 문자를 선택하면 불특정 화자 음성 인식이 가능하게 되고, 마이크(7)로부터 원하는 단어를 입력하면 특정 화자 인식이 가능하게 된다(캣치업 기능).

지금까지의 게임기로의 데이타 입력 장치에서는 손이나 손가락 등을 사용하여 게임 패드에 부착된 스위치를 누름으로써, 게임기 본체로의 데이타 입력을 행하고 있었지만, 이상의 방법에 의하면, 음성에 의한 입력이라도 마찬가지로 게임을 제어할 수 있다.

또한, 음성 인식부(6)를 이용하면, 게임 패드를 이용한 경우와는 다른 플레이 방법이 가능하다. 통상, 격투 게임 등에서 난도가 높은 무예가 나올 때, 고도한 패드 조작이 요구되지만, 음성 인식부(6)를 이용한 경우, 고도한 음성 입력(말이 빠르거나 어려운 발음 등)을 하지 않으면 무예가 나오지 않게 한다. 또한, 상술의 음성 레벨이나 음성 종류의 식별을 조합시킬 수도 있다.

이와 같이, 음성을 사용하여 키 입력을 행함으로써, 보다 게임에 친밀감을 갖게 할 수 있게 된다. 예를 들면, 권투 게임 등에서 A 버튼이 좌측 펀치, B 버튼이 우측 펀치라고 하는 키 할당으로 되어 있을 때, A, B 버튼을 사용하여 펀치가 나오는 것보다도, 「좌측, 우측」이라고 하는 음성으로 펀치를 나오게 하는 쪽이 게임이 백열한다.

발명의 실시 형태 3.

음성 인식부(6)는 음성 인식 후에 인식 단어 번호와 유사도를 출력한다. 그런데, 인식 개시 커맨드 발행시에 리젝트 레벨이 설정되어 있는 경우, 인식 결과의 유사도가 설정치보다 낮을 때는 결과를 출력하지 않는 것이 가능하다. 이 기능에 의해, 예를 들면 말하는 사람 이외의 사람의 소리나 노이즈 등에 의해 잘못 인식하는 것을 방지할 수 있다.

오인식을 방지하는 것 외에도, 리젝트 레벨에는 다음과 같은 응용 방법이 있다.

장면의 상황에 따라 리젝트 레벨을 바꾼다.

예를 들면, 어드벤쳐 게임에서 어떤 오인식이 발생되면 플레이어가 죽게 되는 게임 오버가 된다라는 장면에서는, 리젝트 레벨을 높게 설정한다. 이와 같이 하면, 응답 속도를 희생으로 하더라도 출력 결과의 확실성이 향상된다.

한편, 게임의 진행에 별로 관계없는 부분은 리젝트 레벨을 내림으로써, 출력결과의 확실성은 저하하지만, 응답을 좋게 할 수 있다.

이러한 설정 방법을 게임 개발자가 임의로 행할 수 있으므로, 패드를 이용하는 경우와 비교하여 여러가지 제어가 가능하게 된다.

발명의 실시 형태 4.

음성 인식부(6)는 음성 인식 후에 인식 단어 번호와 유사도를 출력한다. 따라서, 유사도를 이용하여 동작의 정도나 동작의 종류를 제어할 수도 있다.

예를 들면, 어떤 단어가 인식될 때, 음성 인식부(6)가 출력하는 유사도의 크기에 기초하여, 응답에 차를 둔다. 예를 들면, 유사도 80점의 펀치의 위력은 강력하게 하고, 한편 10점의 펀치의 위력은 약하게 한다. 이와 같이, 유사도에 의해 펀치의 위력은 다르게 한다. 그렇게 하면, 불특정 화자 음성 인식을 행하는 경우, 플레이어의 발음에 의해 캐릭터의 동작, 게임의 진행이 다르게 되어, 플레이어는 표준 데이타의 음성에 맞춘 쪽이 유리해진다. 이러한 관점(누가 가장 표준 발음을 할 수 있는지, 음성 인식에 적절한 발음을 할 수 있는지 등)으로부터 게임을 즐기는 것도 가능하게 된다. 따라서, 게임을 즐기는 방법에 깊이가 더해진다.

또, 발명의 실시 형태 1에서 설명한 음성 레벨의 관계에서 설명한 구체예에 대해, 이 실시 형태 4의 유사도에 의한 제어의 사고 방식을 적용하는 것도 가능하다.

발명의 실시 형태 5.

이상의 실시 형태에서 음성 인식부를 중심으로 설명하였지만, 이 음성 인식부를 이용하여 행하는 게임에 대해 설명한다.

(1) 동물 조교 어시스트 액션 게임

음성 인식을 사용하여, 개, 고양이, 말 등의 동물들과의 커뮤니케이션을 즐기는 게임이다.

하나의 캐릭터뿐만 아니라, 복수의 캐릭터를 직접 또는 간접적으로 조작할 수 있다고 하는 음성 인식이 아니고는 할 수 없는 게임이다. 이 종류의 게임을 버튼 조작으로 행하면 시시하고, 실제와 마찬가지로 「말을 건다」라는 조작이 적절하다.

또한, 실제의 조교에 있어서 동물이 좀처럼 말하는 것을 듣지 못하는 경우가 있다. 음성 인식이 잘 되지 않는 경우가 있어도, 이 때의 안타까움 자체도 게임성에 포함되므로, 재미가 오히려 증가한다. 말을 걸 때의 캐릭터의 리액션의 다채로움이 재미있다.

또는, 플레이어가 수행하고 있는 원숭이, 꿩, 개 등의 동물들이 멋대로 돌아다니는 액션 게임도 고려된다. 모모타로 동화와 같이, 플레이어는 필드 상에 있는 동물들에게 실제로 말을 거는 것으로 친구가 될 수 있다. 예를 들면, 동물을 친구로 하기 위해서는 친구로 하고 싶은 동물이 플레이어의 캐릭터를 보고 있을 때에 아무것이나 좋으니까 말을 건다. 예를 들면, 개라면 「멍멍아! 멍멍아! 멍멍아! 」와 같이 몇번이나 말을 걸고 있으면 그 소리에 반응하게 된다. 그래서, 먹이를 주면 그 동물은 플레이어의 친구가 되어 준다.

플레이어가 걸어가면 동물은 뒤에서 따라 오지만, 무엇인가 흥미가 있는 것을 찾아내면 멈춰 서거나, 그 쪽으로 행하거나 한다. 그러한 경우에는, 「멍멍아! 빨리 와! 」 등의 소리를 질러 돌아오게 한다.

동물들은 항상 여러가지의 움직임을 하고 있다. 플레이어가 동물이 있는 동작에 대해 몇번이나 동일한 말을 걸면 동물은 그 말에 대해서는 어느 동작을 반드시 하도록 된다. 이것을 거듭하여 플레이어는 차차 동물을 조종할 수 있게 되어 간다.

또는, 트랩, 적을 클리어해 가는 액션 게임도 고려된다. 양 기르기가 양들을 몰아내는 것과 같은 게임이다.

이 게임에서는 여러가지 트랩이 준비되어 있지만, 플레이어는 동물을 조종함에 따라, 트랩을 클리어해 간다. 플레이어가 간단히 알아차리는 트랩이라도 동물은 걸려 버리므로 그것을 가르친다. 동료의 동물이 증가할수록 어렵다. 트랩을 클리어하여 앞으로 진행하기 때문에, 어떤 동물을 어떻게 하여 사용하는지를 플레이어에게 생각케 한다.

또는, 열대어 사육 게임, 비단 잉어 사육 게임 등이다. 소리에만 한하지 않고 손을 두드리는 등의 동작을 통해 물고기들을 모은다. 손을 두드리는 방법을 고안함으로써, 물고기가 여러가지 동작을 하도록 프로그램해 놓으면 재미를 즐기는 방법이 가능해진다.

(2) 다수인 빨리 맞추기 퀴즈

퀴즈 게임기로 행하는 퀴즈 프로그램이다. 복수의 참가자가 있어, 게임기가 순서대로 문제를 내서 참가자 사이에서 득점을 겨루는 게임이다. 이 경우, 대답의 어휘가 (1) (2) ···이거나 (가) (나) ···등으로 한정되기 때문에, 처리 속도의 점에서 유리하다.

(3) 아이의 교육 게임

아이의 캐릭터에 말을 기억시키거나, 예의 범절을 가르치거나 한다. 이 종류의 게임은 커뮤니케이션이 목적이고, 음성을 사용하면 보다 재미가 증대된다.

(4) 플라이트 시뮬레이션 게임

무기 등의 장비의 선택, 서브파일럿으로의 명령에 음성 인식부를 이용하면 보다 실감적이다.

(5) 마작 게임

치, 론, 파핀 등을 발성하여 손을 선택한다.

(6) 기타

장기 게임(투료, 말의 위치 결정 등), 테이블 게임, 파티 게임(마우스 대신의 대화식 게임), 남파(헌팅) 게임(그녀, 차한지 마시지 않을래요? OK 등), 드라이브 게임(무선의 교환), RPG (롤 플레잉 게임)의 쇼트컷트, 대화식 가상 가족 게임(노인용), 전국(戰國) 시뮬레이션 등이 고려된다.

또한, 기억 매체는 얼마간의 물리적 수단에 의해 정보(주로 디지탈 데이타, 프로그램)가 기록되어 있는 이미 기술한 CD-ROM, 카트리지 등으로서, 컴퓨터, 전용 프로세서 등의 처리 장치에 소정의 기능을 행하게 할 수 있는 것이다. 결국, 얼마간의 수단으로 컴퓨터에 프로그램을 다운 로드하고, 소정의 기능을 실행시킬 수 있다.

예를 들면, 플로피 디스크, 하드 디스크, 자기 테이프, 광자기 디스크, CD-ROM, DVD, ROM 카트리지, 배터리 백업 기능을 갖는 RAM 메모리 카트리지, 플래쉬 메모리 카트리지, 불휘발성 RAM 카트리지 등을 포함한다.

또한, 전화 회선 등의 유선 통신 매체, 마이크로파 회선 등의 무선 통신 매체등의 통신 매체, 인터넷 등의 통신 매체 기억 매체에 포함된다.

이상과 같이 본 발명에 의하면 게임기의 주변 장치로서 이용되는 음성 인식 장치로서, 음성 입력 수단과, 상기 음성 입력 수단의 음성 신호 출력과 미리 정해진 음성 인식용 사전의 데이타를 비교함으로써 플레이어의 음성을 인식함과 동시에, 인식 결과에 기초하여 게임에 관한 제어 신호를 생성하는 음성 인식부를 구비하므로, 게임의 플레이어는 음성에 의한 플레이가 가능하게 된다.

또한, 본 발명에 의하면, 상기 음성 인식부는 상기 음성 인식용 사전으로서, 불특정 화자용으로 미리 설정된 불특정 화자 음성 인식용 사전 및 플레이어에 의해 설정되는 특정 화자 음성 인식용 사전을 구비하고, 동작의 초기 상태에서 상기 불특정 화자 음성 인식용 사전을 선택하므로, 특정 화자에 대응할 수 없는 게임 소프트에 대해서도 불특정 화자 음성 인식에 의해 음성에 의한 플레이가 가능하게 된다. 전용 소프트웨어에 한하지 않고 많은 소프트웨어에 대응할 수 있어, 본 장치의 적용 범위가 넓어진다.

또한, 본 발명에 의하면, 상기 음성 인식부는 복수의 플레이어 각각에 대응하는 복수의 특정 화자 음성 인식용 사전을 구비하고, 플레이어의 조작에 의해 이들 특정 화자 음성 인식용 사전으로부터 인식 처리에 사용하는 사전을 선택하므로, 적당한 사전에 의해 특정 화자 음성 인식을 할 수 있어, 음성 인식의 정밀도가 향상된다.

또한, 본 발명에 의하면, 상기 음성 인식부에 접속되는 게임기용 제어부를 구비하고, 상기 음성 인식부는 음성의 인식 결과와 상기 제어부의 제어 신호를 조합하여 게임에 관한 제어 신호를 생성하므로, 통상의 패드 등과 음성 인식을 조합하여 여러가지 조작이 가능해져서, 재미에 깊이가 더해진다.

또한, 본 발명에 의하면, 상기 제어부는 통상의 동작을 시키는 제어 신호를 출력하고, 상기 음성 인식부는 특수한 동작을 시키는 제어 신호를 생성하므로, 통상의 패드 등에서는 어렵던 특수한 동작을 실행시키기 쉬어진다.

또한, 본 발명에 의하면, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도 및 상기 음성 신호의 상태를 나타낸 값을 출력함과 동시에, 상기 음성 인식부는 게임에서의 동작의 종류를 선택하기 위해 상기 유사도에 기초하여 음성 인식을 행하는 제1 동작 모드와, 동작의 상태를 설정하기 위해 음성 인식을 행하지 않고 상기 음성 신호의 상태를 측정하는 제2 동작 모드를 구비하고, 제2 동작 모드의 처리를 고속으로 행할 수 있으므로, 응답이 신속하게 되어 게임 조작에 있어서 유리하다.

또한, 본 발명에 의하면, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도 및 그 음량 레벨을 출력하고, 이 음량 레벨을 미리 정해진 리젝트 레벨에 기초하여 평가하고, 평가 결과에 기초하여 상기 음성 인식부의 인식 결과를 리젝트하므로, 적절하게 인식할 수 없는 경우의 인식을 회피하여 잘못된 인식을 감소시킬 수 있다.

또한, 본 발명에 의하면, 상기 리젝트 레벨을 게임의 종류 또는 게임 스테이지별로 설정하므로, 장면에 따라서 적당한 리젝트 레벨을 설정할 수 있어 게임 플레이에 있어 편리하다.

또한, 본 발명에 의하면, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도에 기초하여 인식함과 동시에, 인식 결과에 기초하여 생성된 제어 신호에 의한 게임에서의 동작의 상태를 상기 유사도에 따라서 변화시키므로, 플레이어의 발음에 의해 캐릭터의 동작, 게임의 진행이 다르게 되어, 게임을 즐기는 방법에 깊이가 가해진다.

Claims

게임기의 주변 장치로서 이용되는 음성 인식 장치에 있어서,

음성 입력 수단, 및

상기 음성 입력 수단의 음성 신호 출력과 미리 정해진 음성 인식용 사전의 데이타를 비교함으로써 플레이어의 음성을 인식함과 동시에, 인식 결과에 기초하여 게임에 관한 제어 신호를 생성하는 음성 인식부

를 구비하고,

상기 음성 인식부는 상기 음성 인식용 사전으로서, 불특정 화자(話者)용으로 미리 설정된 불특정 화자 음성 인식용 사전 및 플레이어에 의해 설정되는 특정 화자 음성 인식용 사전을 구비하고, 동작의 초기 상태에서 상기 불특정 화자 음성 인식용 사전을 선택하는 것을 특징으로 하는 음성 인식 장치.
제1항에 있어서, 상기 음성 인식부는 복수의 플레이어 각각에 대응하는 복수의 특정 화자 음성 인식용 사전을 구비하고, 플레이어의 조작에 의해 이들 특정 화자 음성 인식용 사전으로부터 인식 처리에 사용하는 사전을 선택하는 것을 특징으로 하는 음성 인식 장치.
제1항 또는 제2항에 있어서, 상기 음성 인식부에 접속되는 게임기용 제어부를 구비하고, 상기 음성 인식부는 음성의 인식 결과와 상기 제어부의 제어 신호를 조합하여 게임에 관한 제어 신호를 생성하는 것을 특징으로 하는 음성 인식 장치.
제2항에 있어서, 상기 제어부는 통상의 동작을 시키는 제어 신호를 출력하고, 상기 음성 인식부는 특수한 동작을 시키는 제어 신호를 생성하는 것을 특징으로 하는 음성 인식 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도 및 상기 음성 신호의 상태를 나타내는 값을 출력함과 동시에, 상기 음성 인식부는 게임에서의 동작의 종류를 선택하기 위해 상기 유사도에 기초하여 음성 인식을 행하는 제1 동작 모드와, 동작의 상태를 설정하기 위해서 음성 인식을 행하지 않고 상기 음성 신호의 상태를 측정하는 제2 동작 모드를 구비하는 것을 특징으로 하는 음성 인식 장치.
제5항에 있어서, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 일부 또는 전체의 평균 음량 레벨로 하고, 이 평균 음량 레벨에 기초하여 동작의 상태를 설정하는 것을 특징으로 하는 음성 인식 장치.
제5항에 있어서, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 피크 음량 레벨로 하고, 이 피크 음량 레벨에 기초하여 동작의 상태를 설정하는 것을 특징으로 하는 음성 인식 장치.
제5항에 있어서, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 상승 시간으로 하고, 이 상승 시간에 기초하여 동작의 상태를 설정하는 것을 특징으로 하는 음성 인식 장치.
제5항에 있어서, 상기 제2 모드에서 상기 음성 신호의 상태를 신호의 지속 시간으로 하고, 이 지속 시간에 기초하여 동작의 상태를 설정하는 것을 특징으로 하는 음성 인식 장치.
제5항에 있어서, 상기 제2 모드에서 상기 음성 신호의 상태를 음성의 종류로 하고, 이 음성의 종류에 기초하여 동작의 상태를 설정하는 것을 특징으로 하는 음성 인식 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도 및 그 음량 레벨을 출력하고, 이 음량 레벨을 미리 정해진 리젝트 레벨에 기초하여 평가하고, 평가 결과에 기초하여 상기 음성 인식부의 인식 결과를 리젝트하는 것을 특징으로 하는 음성 인식 장치.
제11항에 있어서, 상기 리젝트 레벨을 게임의 종류 또는 게임 스테이지별로 설정하는 것을 특징으로 하는 음성 인식 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 음성 인식부는 상기 음성 입력 수단의 음성 신호 출력과 상기 음성 인식용 사전의 내용과의 유사 정도를 나타내는 유사도에 기초하여 인식함과 동시에, 인식 결과에 기초하여 생성된 제어 신호에 의한 게임에서의 동작의 상태를 상기 유사도에 따라 변화시키는 것을 특징으로 하는 음성 인식 장치.
제어용 주변 기기로서, 청구항 제1항 내지 제13항 중 어느 한 항에 기재된 음성 인식 장치를 구비하는 게임기.
음성 신호를 수신하는 제1 스텝,

상기 음성 신호와 미리 정해진 음성 인식용 사전의 데이타를 비교함으로써 플레이어의 음성을 인식하는 제2 스텝, 및

상기 제2 스텝의 인식 결과에 기초하여 게임에 관한 제어 신호를 생성하는 제3 스텝

을 구비하는 음성 인식 방법.
제15항에 있어서, 게임기용 제어부로부터 제어 신호를 수신하는 제4 스텝을 구비하고, 상기 제3 스텝에 있어서, 상기 제2 스텝에 의한 음성의 인식 결과와 상기 제4 스텝에 의한 제어 신호를 조합하여 게임에 관한 제어 신호를 생성하는 것을 특징으로 하는 음성 인식 방법.
상기 음성 인식부의 음성 인식 동작을 실현하는 프로그램이 기억된 매체.