KR20180110207A - 제어 장치, 제어 방법, 및 정보 기억 매체 - Google Patents

제어 장치, 제어 방법, 및 정보 기억 매체 Download PDF

Info

Publication number
KR20180110207A
KR20180110207A KR1020187027929A KR20187027929A KR20180110207A KR 20180110207 A KR20180110207 A KR 20180110207A KR 1020187027929 A KR1020187027929 A KR 1020187027929A KR 20187027929 A KR20187027929 A KR 20187027929A KR 20180110207 A KR20180110207 A KR 20180110207A
Authority
KR
South Korea
Prior art keywords
voice
information
execution
recognition
present
Prior art date
Application number
KR1020187027929A
Other languages
English (en)
Inventor
게이고 다무라
후미아키 히사마츠
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20180110207A publication Critical patent/KR20180110207A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221Announcement of recognition results
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

음성 인식에 의한 처리의 실행이 불가할 경우에, 접수하는 음성의 인식이 성공했을 때, 음성 인식에 의한 처리의 실행이 불가함을 유저가 인식할 수 있는 제어 장치, 제어 방법, 프로그램 및 정보 기억 매체를 제공한다. 음성 접수부(74)는 음성을 접수한다. 실행부(78)는 음성의 인식 결과에 따른 처리를 실행한다. 출력 제어부(80)는 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어한다. 음성 인식의 성공에 따라, 당해 음성의 인식 결과에 따른 처리의 실행, 또는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보의 출력 제어 중 어느 하나가 실행된다.

Description

제어 장치, 제어 방법, 및 정보 기억 매체{CONTROL APPARATUS, CONTROL METHOD, AND INFORMATION STORAGE MEDIUM}
본 발명은 제어 장치, 제어 방법, 프로그램 및 정보 기억 매체에 관한 것이다.
유저가 입력한 음성을 접수하여, 당해 음성의 인식 결과에 따른 커맨드를 특정하고, 당해 커맨드에 따른 처리를 실행하는 기술이 존재한다.
예를 들어 보이스 채팅 프로그램이나 보이스 메시지 프로그램 등과 같은 음성에 관한 프로그램이 실행되고 있을 경우에는, 입력되는 음성의 인식 결과에 따른 처리가, 유저의 의도에 반하여 실행될 우려가 있다. 또한 오퍼레이팅 시스템 등의 시스템 프로그램에서도 시스템 프로그램과는 별도로 실행되는 게임 프로그램에서도 음성의 인식 결과에 따른 처리의 실행이 가능한 경우에는 커맨드가 경합할 우려가 있다. 또한 실행되는 게임 프로그램에 따라서는 게임의 세계관을 유지하기 위해 음성의 인식 결과에 따른 처리가 실행되지 않는 것이 바람직할 경우가 있다. 예를 들어 이상과 같은 경우에는, 음성 인식에 의한 처리의 실행이 불가하게 되는 것이 바람직하다.
그리고 음성 인식에 의한 처리의 실행이 불가할 경우에, 접수하는 음성의 인식이 성공했을 때, 음성 인식에 의한 처리의 실행이 불가함을 유저가 인식할 수 있으면 편리하다. 그러나 이와 같을 때, 음성 인식에 의한 처리의 실행이 불가함을 유저가 인식할 수 있는 기술은 종래에 없었다.
본 발명은 상기 과제를 감안하여 이루어진 것이며, 그 목적 중 하나는, 음성 인식에 의한 처리의 실행이 불가할 경우에, 접수하는 음성의 인식이 성공했을 때, 음성 인식에 의한 처리의 실행이 불가함을 유저가 인식할 수 있는 제어 장치, 제어 방법, 프로그램 및 정보 기억 매체를 제공하는 데 있다.
상기 과제를 해결하기 위해서, 본 발명에 따른 제어 장치는, 음성을 접수하는 음성 접수부와, 상기 음성의 인식 결과에 따른 처리를 실행하는 실행부와, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 출력 제어부를 포함하고, 상기 음성 인식의 성공에 따라, 당해 음성의 인식 결과에 따른 처리의 실행, 또는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보의 출력 제어 중 어느 하나가 실행된다.
또한, 본 발명에 따른 제어 방법은, 음성을 접수하는 스텝과, 상기 음성의 인식 결과에 따른 처리를 실행하는 스텝과, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 스텝을 포함하고, 상기 음성 인식의 성공에 따라, 당해 음성의 인식 결과에 따른 처리의 실행, 또는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보의 출력 제어 중 어느 하나가 행해진다.
또한, 본 발명에 따른 프로그램은, 음성을 접수하는 수순, 상기 음성의 인식 결과에 따른 처리를 실행하는 수순, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 수순을 컴퓨터에 실행시키고, 상기 음성 인식의 성공에 따라, 당해 음성의 인식 결과에 따른 처리의 실행, 또는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보의 출력 제어 중 어느 하나가 행해진다.
또한, 본 발명에 따른 정보 기억 매체는, 음성을 접수하는 수순, 상기 음성의 인식 결과에 따른 처리를 실행하는 수순, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 수순을 컴퓨터에 실행시키고, 상기 음성 인식의 성공에 따라, 당해 음성의 인식 결과에 따른 처리의 실행, 또는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보의 출력 제어 중 어느 하나가 실행되는 프로그램을 기억한 컴퓨터 판독 가능한 정보 기억 매체이다.
본 발명의 일 형태에서는, 상기 음성의 인식 결과에 따른 처리의 실행으로서, 입력해야 할 음성을 안내하는 정보의 출력 제어가 행해진다.
또한, 본 발명의 일 형태에서는, 음성 인식에 의한 처리의 실행 가부를 제어하는 실행 가부 제어부를 더 포함하고, 상기 출력 제어부는, 상기 음성의 인식이 성공했을 때, 음성 인식에 의한 처리의 실행이 불가해지도록 제어되는 경우에는 당해 인식의 성공에 따라서 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어한다.
이 형태에서는, 실행되고 있는 프로그램으로부터 음성 인식에 의한 처리의 실행 가부를 제어하는 제어 정보를 접수하는 제어 정보 접수부를 더 포함하고, 상기 실행 가부 제어부는, 상기 제어 정보 접수부가 접수하는 상기 제어 정보에 기초하여, 상기 음성의 인식 결과에 따른 처리의 실행 가부를 제어해도 된다.
또한, 상기 제어 정보 접수부는, 실행되고 있는 복수의 프로그램으로부터 상기 제어 정보를 접수하고, 상기 복수의 프로그램 중 적어도 하나가, 상기 제어 장치에서 실행되는 시스템 프로그램과는 별도로 실행되는 게임 프로그램이어도 된다.
또는, 상기 출력 제어부에 의해 출력되도록 제어되는, 상기 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보에는, 상기 제어 정보를 출력한 프로그램이 나타나 있어도 된다.
또한, 상기 실행부는, 컨트롤러로부터 접수하는 조작 입력에 따라, 상기 음성의 인식 결과에 따라서 실행되지 않도록 제어되고 있는 처리를 실행해도 된다.
또한, 상기 실행 가부 제어부는, 복수의 커맨드 중 일부에 대하여 음성 인식에 의한 당해 커맨드에 따른 처리의 실행이 불가해지도록 제어하고, 상기 출력 제어부는, 상기 음성의 인식 결과로서 상기 일부인 커맨드가 특정될 때, 당해 커맨드의 특정에 따라서 당해 커맨드에 따른 처리가 실행되지 않는 것을 나타내는 정보가 출력되도록 제어해도 된다.
도 1은 본 발명의 일 실시 형태에 따른 정보 처리 시스템의 전체 구성의 일례를 도시하는 도면이다.
도 2는 본 발명의 일 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 도면이다.
도 3은 플레이 화면의 일례를 도시하는 도면이다.
도 4는 플레이 화면의 일례를 도시하는 도면이다.
도 5는 플레이 화면의 일례를 도시하는 도면이다.
도 6은 본 발명의 일 실시 형태에 따른 정보 처리 장치에서 동작하는 프로그램의 일례를 설명하는 설명도이다.
도 7은 제어 정보의 값과 보이스 커맨드 실행 가부 정보의 값 사이의 관계의 일례를 도시하는 도면이다.
도 8은 본 발명의 일 실시 형태에 따른 정보 처리 장치에서 실현되는 기능의 일례를 도시하는 기능 블록도이다.
도 9는 본 발명의 일 실시 형태에 따른 정보 처리 장치에서 실행되는 처리의 흐름의 일례를 나타내는 흐름도이다.
이하, 본 발명의 일 실시 형태에 대하여 도면에 기초하여 상세하게 설명한다.
도 1은 본 발명의 일 실시 형태에 따른 정보 처리 시스템(10)의 전체 구성의 일례를 도시하는 도면이다. 도 1에 도시하는 바와 같이, 본 실시 형태에 따른 정보 처리 시스템(10)은 정보 처리 장치(12)와 디스플레이(14)와 카메라 마이크 유닛(16)과 컨트롤러(18)를 포함하고 있다.
본 실시 형태에 따른 정보 처리 장치(12)는, 예를 들어 게임 콘솔 등과 같은 엔터테인먼트 장치 등의 컴퓨터이며, 예를 들어 도 2에 도시하는 바와 같이, 제어부(20), 기억부(22), 통신부(24), 입출력부(26)를 포함하고 있다. 제어부(20)는, 예를 들어 정보 처리 장치(12)에 인스톨되는 프로그램에 따라서 동작하는 CPU 등의 프로그램 제어 디바이스이다. 본 실시 형태에 따른 제어부(20)에는, CPU로부터 공급되는 그래픽 커맨드나 데이터에 기초하여 프레임 버퍼에 화상을 묘화하는 GPU(Graphics Processing Unit)도 포함되어 있다. 기억부(22)는, 예를 들어 ROM이나 RAM 등의 기억 소자나 하드디스크 드라이브 등이다. 기억부(22)에는, 제어부(20)에 의해 실행되는 프로그램 등이 기억된다. 또한, 본 실시 형태에 따른 기억부(22)에는, GPU에 의해 화상이 묘화되는 프레임 버퍼의 영역이 확보되어 있다. 통신부(24)는, 예를 들어 이더넷(등록 상표) 모듈이나 무선 LAN 모듈 등의 통신 인터페이스 등이다. 입출력부(26)는 HDMI(등록 상표)(High-Definition Multimedia Interface) 포트나 USB 포트 등의 입출력 포트이다.
본 실시 형태에 따른 디스플레이(14)는 액정 디스플레이 등이며, 정보 처리 장치(12)가 생성하는 화면 등을 표시시킨다. 또한, 본 실시 형태에 따른 디스플레이(14)는 정보 처리 장치(12)가 생성하는 음성 데이터가 나타내는 음성을 출력하는 스피커도 구비하고 있다. 본 실시 형태에 따른 카메라 마이크 유닛(16)은, 예를 들어 피사체를 촬상한 화상을 정보 처리 장치(12)에 출력하는 카메라(16a) 및 주위의 음성을 취득하여 당해 음성을 음성 데이터로 변환하여 정보 처리 장치(12)에 출력하는 마이크(16b)를 포함하고 있다.
정보 처리 장치(12)와 디스플레이(14)는, 예를 들어 AV 케이블이나, HDMI 케이블 등을 통하여 접속되어 있다. 정보 처리 장치(12)와 카메라 마이크 유닛(16)은, 예를 들어 USB 케이블이나, AV 케이블이나, HDMI 케이블 등을 통하여 접속되어 있다.
본 실시 형태에 따른 컨트롤러(18)는 정보 처리 장치(12)에 대한 조작 입력을 행하기 위한 조작 입력 장치이다. 본 실시 형태에 따른 컨트롤러(18)에는, 예를 들어 버튼, 터치 패널, 조작 스틱 등의 조작자가 설치되어 있다. 또한, 본 실시 형태에 따른 컨트롤러(18)는, 각속도를 검출하는 자이로 센서, 가속도를 검출하는 가속도 센서 등의 센서를 구비하고 있다. 또한, 본 실시 형태에 따른 컨트롤러(18)는 잭을 구비하고 있고, 당해 잭에 마이크가 구비하는 플러그를 삽입함으로써, 당해 마이크에 의한 음성 입력도 행할 수 있게 되어 있다. 컨트롤러(18)에 삽입된 마이크에 입력된 음성은 컨트롤러(18)에 의해 음성 데이터로 변환되어서 정보 처리 장치(12)에 출력된다.
본 실시 형태에서는, 카메라 마이크 유닛(16)이 구비하는 마이크(16b) 또는 컨트롤러(18)에 접속된 마이크에 유저가 음성을 입력함으로써, 정보 처리 장치(12)는 당해 음성을 인식한다. 그리고 본 실시 형태에 따른 정보 처리 장치(12)에서는, 인식이 성공한 경우에, 당해 정보 처리 장치(12)에 입력되는 음성(당해 정보 처리 장치(12)가 접수하는 음성)의 인식 결과에 따른 커맨드의 특정이 가능하게 되어 있다. 그리고 본 실시 형태에 따른 정보 처리 장치(12)는 특정된 커맨드에 따른 처리를 실행한다. 이와 같이 하여 본 실시 형태에서는, 유저는 음성에 의해 정보 처리 장치(12)에 대한 조작을 행할 수 있게 되어 있다. 또한 본 실시 형태에서는, 컨트롤러(18)의 잭에 마이크의 플러그가 삽입되어 있을 때에는, 당해 마이크에 입력된 음성의 인식 결과를 카메라 마이크 유닛(16)이 구비하는 마이크(16b)에 입력된 음성의 인식 결과보다도 우선하여 취급하게 되어 있다.
또한 본 실시 형태에 따른 정보 처리 장치(12)는 음성에 의한 소정의 커맨드의 입력이 불가한 통상 상태 또는 음성에 의한 소정의 커맨드의 입력이 가능한 음성 인식 상태 중 어느 한 실행 상태에서 각종 처리를 실행한다. 그리고 유저는 정보 처리 장치(12)의 실행 상태를 적절히 전환할 수 있게 되어 있다.
또한 유저는, 버튼을 누르거나, 조작 스틱을 기울이거나 함으로써, 컨트롤러(18)를 사용하여 각종 조작 입력을 행할 수 있다. 그리고 본 실시 형태에서는, 컨트롤러(18)는 조작 입력에 대응지어지는 입력 데이터를 정보 처리 장치(12)에 출력한다.
또한, 본 실시 형태에 따른 컨트롤러(18)는 USB 포트를 구비하고 있다. 컨트롤러(18)는 USB 케이블로 정보 처리 장치(12)와 접속함으로써, 입출력부(26)를 통하여 유선으로 입력 데이터를 정보 처리 장치(12)에 출력할 수 있다. 또한, 본 실시 형태에 따른 컨트롤러(18)는 무선 통신 모듈 등을 구비하고 있고, 통신부(24)를 통하여 무선으로 입력 데이터를 정보 처리 장치(12)에 출력할 수 있게 되어 있다.
도 3은 본 실시 형태에 따른 정보 처리 장치(12)의 유저가 플레이하는 게임의 플레이 내용을 도시하는 플레이 화면(30)의 일례를 도시하는 도면이다. 본 실시 형태에서는, 도 3에 예시하는 플레이 화면(30)이 디스플레이(14)에 표시되어 있을 때에는, 정보 처리 장치(12)는 상술한 통상 상태이다.
여기에서 예를 들어 정보 처리 장치(12)가, 예를 들어 「음성 인식 개시」 등과 같은, 음성 인식을 개시하기 위한 주어진 어구를 나타내는 음성을 접수했다고 하자. 이하, 음성 인식을 개시하기 위한 음성을 나타내는 주어진 어구를 매직 워드라 부르기로 한다. 그러면 본 실시 형태에서는, 표시되어 있는 플레이 화면(30)이 도 4에 도시하는 상태로 전환된다. 도 4에 도시하는 상태에서는, 플레이 화면(30)에, 입력해야 할 음성을 유저에게 안내하기 위한 음성 입력 안내 화상(32)이 배치되어 있다. 음성 입력 안내 화상(32)에는, 커맨드를 나타내는 어구가 배치되어 있다. 본 실시 형태에서는, 이렇게 플레이 화면(30)에 음성 입력 안내 화상(32)이 배치되어 있을 때에는, 정보 처리 장치(12)는 상술한 음성 인식 상태이다.
본 실시 형태에서는, 플레이 화면(30)에 음성 입력 안내 화상(32)이 배치되어 있을 때에는, 유저가 음성 입력 안내 화상(32)에 배치되어 있는 어구를 나타내는 음성을 입력하면, 정보 처리 장치(12)는 당해 음성의 인식 결과에 기초하여 당해 음성이 나타내는 커맨드를 특정한다. 그리고 정보 처리 장치(12)는 당해 커맨드에 따른 처리를 실행한다. 예를 들어 도 4의 예에서는 정보 처리 장치(12)가 「홈 화면」이라는 어구를 나타내는 음성을 접수했을 때에는, 디스플레이(14)에 표시된 화면은, 정보 처리 장치(12)에서 실행되는 프로그램을 선택하는 메뉴가 배치된 홈 화면으로 전환된다.
또한, 본 실시 형태에 따른 정보 처리 장치(12)에서는, 음성 입력 안내 화상(32)에 어구가 배치되어 있지 않은 커맨드에 대해서도 당해 커맨드를 나타내는 음성이 입력된 경우에는, 당해 커맨드에 따른 처리가 실행된다. 예를 들어 도 4에 예시하는 플레이 화면(30)이 표시되어 있을 때, 「스크린 샷을 찍는다」라는 어구를 나타내는 음성을 접수했을 때에는, 플레이 화면(30)의 표시 내용을 정지 화상으로서 캡처한 캡처 화상이 정보 처리 장치(12)의 기억부(22)에 보존된다.
또한 본 실시 형태에 따른 정보 처리 장치(12)는 음성 인식에 의한 처리의 실행이 불가해지도록 제어할 수 있게 되어 있다. 이렇게 제어되고 있을 경우에는, 도 3에 예시하는 플레이 화면(30)이 표시되어 있을 때 정보 처리 장치(12)가 매직 워드를 나타내는 음성을 접수하면, 표시되어 있는 플레이 화면(30)은 도 5에 도시하는 상태로 전환된다. 도 5에 도시하는 상태에서는 플레이 화면(30)에는, 입력해야 할 음성을 유저에게 안내하기 위한 음성 입력 안내 화상(32)은 배치되지 않고, 그 대신에, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 안내 정보(34)가 배치된다. 이 경우에는, 정보 처리 장치(12)는 음성 인식 상태로는 되지 않는다. 그 때문에 정보 처리 장치(12)가, 예를 들어 「홈 화면」 등과 같은 소정의 커맨드를 나타내는 음성을 접수해도, 당해 커맨드에 따른 처리는 실행되지 않는다.
또한 예를 들어 음성 인식에 의한 처리의 실행이 불가해지도록 제어되고 있을 경우에, 도 3에 예시하는 플레이 화면(30)이 표시되어 있을 때, 「홈 화면」 등과 같은 소정의 커맨드를 나타내는 음성을 접수했다고 하자. 이 경우에 대해서도 매직 워드를 나타내는 음성이 입력된 경우와 마찬가지로, 도 5에 예시하는 바와 같이 표시되어 있는 플레이 화면(30)에 안내 정보(34)가 배치된다. 그리고 이 경우에는, 당해 커맨드에 따른 처리는 실행되지 않는다.
이하, 도 6을 참조하면서 상술한 제어에 대하여 재차 설명한다.
도 6은 본 실시 형태에 따른 정보 처리 장치(12)에서 동작하는 프로그램의 일례를 설명하는 설명도이다. 도 6에 예시하는 바와 같이, 본 실시 형태에 따른 정보 처리 장치(12)에는, 시스템 프로그램(40)과 게임 프로그램(42)이 인스톨되어 있다. 본 실시 형태에서는 시스템 프로그램(40)과 게임 프로그램(42)은 독립되어 있고, 게임 프로그램(42)은 시스템 프로그램(40)상에서 동작한다. 본 실시 형태에서는 상술한 홈 화면은, 정보 처리 장치(12)가 시스템 프로그램(40)을 실행함으로써 생성되어 디스플레이(14)에 표시된다. 또한 본 실시 형태에서는 도 3 내지 도 5에 예시하는 플레이 화면(30)은 정보 처리 장치(12)가 게임 프로그램(42)을 실행함으로써 생성되어 디스플레이(14)에 표시된다.
도 6에 도시하는 바와 같이, 본 실시 형태에 따른 시스템 프로그램(40)은, 예를 들어 시스템 애플리케이션 모듈(50), 포커스 관리 모듈(52), 포트 관리 모듈(54), 오디오 드라이버(56), 음성 인식 엔진(58), 출력 모듈(60)을 포함하여 구성되어 있다. 또한 본 실시 형태에 따른 시스템 프로그램(40)에는, 다른 모듈이 포함되어 있어도 된다.
시스템 애플리케이션 모듈(50)은, 본 실시 형태에서는 예를 들어, 시스템 프로그램(40)의 일부로서 포함되어 있는 애플리케이션 프로그램이다. 그리고 시스템 애플리케이션 모듈(50)은, 본 실시 형태에서는 예를 들어, 보이스 채팅 서브 모듈(50a)과, 보이스 메세지 서브 모듈(50b)을 포함하고 있다. 보이스 채팅 서브 모듈(50a)은, 정보 처리 장치(12)의 유저가 다른 유저와의 음성에 의한 채팅을 행하기 위한 모듈이다. 보이스 메세지 서브 모듈(50b)은, 마이크로부터 입력되는 음성의 녹음이나, 녹음된 음성의 재생을 행하기 위한 모듈이다.
그리고 본 실시 형태에 따른 보이스 채팅 서브 모듈(50a)은, 보이스 채팅 서브 모듈(50a)이 실행되고 있을 때, 보이스 채팅 서브 모듈(50a)의 실행 상황을 나타내는 스테이터스 정보를 포트 관리 모듈(54)에 출력한다. 본 실시 형태에서는 예를 들어, 보이스 채팅 서브 모듈(50a)은, 당해 보이스 채팅 서브 모듈(50a)에 의한 유저 간의 보이스 채팅이 개시되었을 때, 값이 「1」인 스테이터스 정보를 포트 관리 모듈(54)에 출력한다. 한편, 보이스 채팅 서브 모듈(50a)은, 당해 보이스 채팅 서브 모듈(50a)에 의한 유저 간의 보이스 채팅이 종료되었을 때, 값이 「0」인 스테이터스 정보를 포트 관리 모듈(54)에 출력한다.
또한 본 실시 형태에 따른 보이스 메세지 서브 모듈(50b)은, 보이스 메세지 서브 모듈(50b)이 실행되고 있을 때, 보이스 메세지 서브 모듈(50b)의 실행 상황을 나타내는 스테이터스 정보를 포트 관리 모듈(54)에 출력한다. 본 실시 형태에서는 예를 들어, 보이스 메세지 서브 모듈(50b)은, 당해 보이스 메세지 서브 모듈(50b)에 의한 음성의 녹음 또는 재생이 개시되었을 때, 값이 「1」인 스테이터스 정보를 포트 관리 모듈(54)에 출력한다. 한편, 보이스 메세지 서브 모듈(50b)은, 당해 보이스 메세지 서브 모듈(50b)에 의한 음성의 녹음 또는 재생이 종료되었을 때, 값이 「0」인 스테이터스 정보를 포트 관리 모듈(54)에 출력한다.
포커스 관리 모듈(52)은, 본 실시 형태에서는 예를 들어, 화면의 포커스 상태를 관리하기 위한 프로그램이다. 본 실시 형태에 따른 정보 처리 장치(12)는 시스템 프로그램(40)과 게임 프로그램(42)의 양쪽을 동시에 실행하는 것이 가능하다. 이 경우 본 실시 형태에서는, 어느 한쪽의 프로그램이 생성하는 화면이 포커스된다. 예를 들어, 도 3 내지 도 5에 예시하는 플레이 화면(30)이 디스플레이(14)에 표시되어 있는 경우에는, 당해 플레이 화면(30)이 포커스되어 있는 상태라고 할 수 있다. 그리고 본 실시 형태에서는, 유저가 소정의 조작을 행함으로써, 게임 프로그램(42)이 생성하는 화면을 포커스시킬 것인지, 시스템 프로그램(40)이 생성하는 화면을 포커스시킬 것인지를 전환할 수 있게 되어 있다. 또한 본 실시 형태에서는, 화면이 포커스되어 있는 프로그램은 포어그라운드에서 실행되고, 화면이 포커스되어 있지 않은 프로그램은 백그라운드에서 실행된다.
그리고 포커스 관리 모듈(52)은, 본 실시 형태에서는 예를 들어, 화면의 포커스 상태를 나타내는 포커스 상태 정보를 포트 관리 모듈(54)에 출력한다. 본 실시 형태에서는 예를 들어, 포커스 관리 모듈(52)은, 게임 프로그램(42)이 생성하는 화면이 포커스 되었을 때, 값이 「1」인 포커스 상태 정보를 포트 관리 모듈에 출력한다. 한편, 포커스 관리 모듈(52)은, 시스템 프로그램(40)이 생성하는 화면이 포커스되었을 때, 값이 「0」인 포커스 상태 정보를 포트 관리 모듈에 출력한다.
또한 본 실시 형태에서는, 게임 프로그램(42)은 음성 인식에 의한 처리의 실행이 가능 또는 불가해지도록 요구하는 가불가 요구 정보를 포트 관리 모듈(54)에 출력할 수 있게 되어 있다. 본 실시 형태에서는 예를 들어, 게임 프로그램(42)은, 음성 인식에 의한 처리의 실행이 불가해지도록 요구할 때에는 값이 「1」인 가불가 요구 정보를 포트 관리 모듈(54)에 출력한다. 한편, 게임 프로그램(42)은, 음성 인식에 의한 처리의 실행이 가능해지도록 요구할 때에는 값이 「0」인 가불가 요구 정보를 포트 관리 모듈(54)에 출력한다. 예를 들어 게임 프로그램(42)에 따라서는, 실행되는 게임의 세계관을 유지하기 위해 음성의 인식 결과에 따른 처리가 실행되지 않는 것이 바람직할 경우가 있다. 또한 예를 들어 음성의 인식 결과에 따른 처리의 실행이 가능한 게임 프로그램(42)에 대해서는, 시스템 프로그램(40)과 커맨드가 경합할 우려가 있다. 예를 들어 이상과 같은, 음성의 인식 결과에 따른 처리가 실행되지 않는 것이 바람직한 상황이 발생했을 때에는, 값이 「1」인 가불가 요구 정보가 포트 관리 모듈(54)에 출력되도록 하면 된다. 또한 예를 들어 음성의 인식 결과에 따른 처리가 실행되지 않는 것이 바람직한 상황이 아니게 되었을 때에는, 값이 「0」인 가불가 요구 정보가 포트 관리 모듈(54)에 출력되도록 하면 된다. 또한 본 실시 형태에서는, 값이 「1」 또는 「0」인 가불가 요구 정보가 출력되는 타이밍은 게임 프로그램(42)에 있어서 자유롭게 실장할 수 있게 되어 있다.
포트 관리 모듈(54)은, 본 실시 형태에서는 예를 들어, 음성 인식에 의한 처리의 실행의 가부를 제어하는 제어 정보를 접수하는 프로그램이다. 예를 들어 상술한, 스테이터스 정보, 포커스 상태 정보, 가불가 요구 정보가, 당해 제어 정보에 상당한다.
본 실시 형태에서는, 포트 관리 모듈(54)은 정보 처리 장치(12)에서 실행되고 있는 프로그램이나 모듈로부터 출력되는 제어 정보를 접수했을 때, 당해 제어 정보를 유지한다. 그리고 포트 관리 모듈(54)은 유지되고 있는 제어 정보와는 상이한 값의 제어 정보를 접수했을 때에는, 유지되고 있는 제어 정보의 값을 접수한 제어 정보의 값으로 갱신한다.
그 때문에 본 실시 형태에서는 예를 들어, 유저 간의 보이스 채팅이 행해지고 있는 기간에는, 보이스 채팅 서브 모듈(50a)로부터 출력된 스테이터스 정보의 값으로서 「1」이 유지된다. 한편, 유저 간의 보이스 채팅이 행해지지 않는 기간에는, 보이스 채팅 서브 모듈(50a)로부터 출력된 스테이터스 정보의 값으로서 「0」이 유지된다. 또한 예를 들어, 음성의 녹음 또는 재생이 행해지고 있는 기간에는, 보이스 메세지 서브 모듈(50b)로부터 출력된 스테이터스 정보의 값으로서 「1」이 유지된다. 한편 음성의 녹음 또는 재생이 행해지지 않는 기간에는, 보이스 메세지 서브 모듈(50b)로부터 출력된 스테이터스 정보의 값으로서 「0」이 유지된다.
또한 본 실시 형태에서는 예를 들어, 게임 프로그램(42)이 생성하는 화면이 포커스되어 있는 상태인 기간에는, 포커스 상태 정보의 값으로서 「1」이 유지된다. 한편, 시스템 프로그램(40)이 생성하는 화면이 포커스되어 있는 상태인 기간에는, 포커스 상태 정보의 값으로서 「0」이 유지된다.
또한 본 실시 형태에서는 예를 들어, 게임 프로그램(42)으로부터 음성 인식에 의한 처리의 실행이 불가해지도록 요구되고 있는 기간에는, 가불가 요구 정보의 값으로서 「1」이 유지된다. 한편, 게임 프로그램(42)으로부터 음성 인식에 의한 처리의 실행이 가능해지도록 요구되고 있는 기간에는, 가불가 요구 정보의 값으로서 「0」이 유지된다.
그리고 본 실시 형태에서는, 유지되고 있는 어느 한 제어 정보의 값의 갱신에 따라, 유지되고 있는 제어 정보의 값에 기초하는 보이스 커맨드 실행 가부 정보의 값의 결정 및, 결정된 보이스 커맨드 실행 가부 정보의 값의 오디오 드라이버(56)로의 출력이 행해진다. 본 실시 형태에서는, 값이 「1」인 보이스 커맨드 실행 가부 정보는, 음성 인식에 의한 처리의 실행이 불가함을 나타내고, 값이 「0」인 보이스 커맨드 실행 가부 정보는, 음성 인식에 의한 처리의 실행이 가능함을 나타내기로 한다. 본 실시 형태에서는, 값이 「1」인 보이스 커맨드 실행 가부 정보가 출력되면, 후술하는 바와 같이 음성 인식에 의한 처리의 실행이 불가해지도록 제어된다. 한편, 값이 「0」인 보이스 커맨드 실행 가부 정보가 출력되면, 후술하는 바와 같이 음성 인식에 의한 처리의 실행이 가능해지도록 제어된다.
도 7은 제어 정보의 값과 보이스 커맨드 실행 가부 정보의 값 사이의 관계의 일례를 도시하는 도면이다. 도 7에 도시하는 바와 같이 본 실시 형태에서는, 유지되고 있는 스테이터스 정보의 값 중 적어도 하나가 「1」일 경우에는, 보이스 커맨드 실행 가부 정보의 값은 「1」로 결정된다. 이와 같이 하여 본 실시 형태에서는, 유저 간의 보이스 채팅, 음성의 녹음, 음성의 재생 중 어느 하나가 행해지고 있는 기간에는, 음성 인식에 의한 처리의 실행이 불가해지도록 제어되게 된다.
또한 도 7에 도시하는 바와 같이 본 실시 형태에서는, 유지되고 있는 스테이터스 정보의 값이 모두 0일 경우에는, 유지되고 있는 포커스 상태 정보의 값과 가불가 요구 정보의 값의 양쪽이 「1」일 경우에, 보이스 커맨드 실행 가부 정보의 값은 「1」로 결정된다. 이와 같이 하여 본 실시 형태에서는, 게임 프로그램(42)이 생성하는 화면이 포커스되어 있고, 게임 프로그램(42)으로부터 음성 인식에 의한 처리의 실행이 불가해지도록 요구되어 있을 경우에는, 음성 인식에 의한 처리의 실행이 불가해지도록 제어되게 된다.
그리고 본 실시 형태에서는, 유지되고 있는 스테이터스 정보의 값이 모두 0이며, 유지되고 있는 포커스 상태 정보의 값과 가불가 요구 정보의 값 중 어느 하나가 「0」일 경우에는, 보이스 커맨드 실행 가부 정보의 값은 「0」으로 결정된다.
오디오 드라이버(56)는, 본 실시 형태에서는 예를 들어, 정보 처리 장치(12)에 마이크(16b)나 컨트롤러(18)에 접속된 마이크를 통하여 입력된 음성을 접수하는 드라이버이다. 본 실시 형태에서는 예를 들어, 마이크(16b)나 컨트롤러(18)에 접속된 마이크는, 접수한 음성을 음성 데이터로 변환한다. 그리고 오디오 드라이버(56)는, 이와 같이 하여 변환된 음성 데이터를 접수한다. 그리고 오디오 드라이버(56)는, 접수한 음성 데이터를 음성 인식 엔진(58)에 출력한다. 또한 오디오 드라이버(56)는, 포트 관리 모듈(54)로부터 보이스 커맨드 실행 가부 정보를 접수했을 때, 당해 보이스 커맨드 실행 가부 정보를 음성 인식 엔진(58)에 출력한다.
또한 본 실시 형태에서는, 오디오 드라이버(56)는 접수한 음성 데이터를, 당해 음성 데이터를 이용하는 프로그램에도 출력한다. 당해 음성 데이터는, 여기에서는 예를 들어, 보이스 채팅 서브 모듈(50a)이나 보이스 메세지 서브 모듈(50b)로 출력된다. 보이스 채팅 서브 모듈(50a)은, 예를 들어 유저 간의 보이스 채팅이 행해지고 있는 기간에는, 오디오 드라이버(56)로부터 접수하는 음성 데이터를 예를 들어 보이스 채팅의 상대인 유저가 사용하는 정보 처리 장치(12)에 출력한다. 또한 보이스 메세지 서브 모듈(50b)은, 예를 들어 음성의 녹음이 행해지고 있는 기간에는, 오디오 드라이버(56)로부터 접수하는 음성 데이터를 기억부(22)에 기억시킨다. 또한 예를 들어 오디오 드라이버(56)는, 접수한 음성 데이터를 게임 프로그램(42)에 출력해도 된다. 그리고 게임 프로그램(42)이 오디오 드라이버(56)로부터 접수하는 음성 데이터를 사용하여 당해 게임 프로그램(42)에 있어서의 각종 처리를 실행해도 된다.
음성 인식 엔진(58)은, 예를 들어 공지된 음성 인식 엔진(58)이며, 오디오 드라이버(56)로부터 접수한 음성 데이터를 인식하고, 당해 음성 데이터가 나타내는 음성의 인식이 성공했을 경우에는, 음성의 인식 결과에 따른 커맨드를 특정한다. 또한 음성 인식 엔진(58)은, 오디오 드라이버(56)로부터 출력되는 보이스 커맨드 실행 가부 정보를 접수한다.
그리고 음성 인식 엔진(58)은, 음성의 인식이 성공했을 때, 접수한 보이스 커맨드 실행 가부 정보의 값이 「1」인 경우에는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 출력 제어 정보를 출력 모듈(60)에 출력한다.
한편, 음성 인식 엔진(58)은, 음성의 인식이 성공했을 때, 접수한 보이스 커맨드 실행 가부 정보의 값이 「0」인 경우에는, 특정된 커맨드를 나타내는 커맨드 정보를 포트 관리 모듈(54)에 출력한다.
본 실시 형태에서는, 포트 관리 모듈(54)은, 커맨드 정보에 기초하여 당해 커맨드 정보가 나타내는 커맨드에 따른 처리를 실행해야 할 프로그램을 특정 가능하게 되어 있다. 그리고 본 실시 형태에서는, 포트 관리 모듈(54)은, 커맨드 정보를 음성 인식 엔진(58)으로부터 접수하면, 당해 커맨드 정보가 나타내는 커맨드에 따른 처리를 실행해야 할 프로그램에 당해 커맨드 정보를 출력한다. 그리고 당해 커맨드 정보를 포트 관리 모듈(54)로부터 접수한 프로그램은, 당해 커맨드 정보가 나타내는 커맨드에 따른 처리를 실행한다.
출력 모듈(60)은, 본 실시 형태에서는 예를 들어, 음성 인식 엔진(58)으로부터 상술한 출력 제어 정보를 접수했을 때, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 프로그램이다. 출력 모듈(60)은, 예를 들어 음성 인식 엔진(58)으로부터 상술한 출력 제어 정보를 접수했을 때, 도 5에 예시하는 안내 정보(34)가 디스플레이(14)에 표시되도록 제어한다. 또한 출력 모듈(60)이, 음성 인식 엔진(58)으로부터 상술한 출력 제어 정보를 접수했을 때, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 음성을, 예를 들어 디스플레이(14)가 구비하는 스피커로부터 음성 출력하도록 해도 된다.
이상과 같이 하여 본 실시 형태에 따르면, 음성 인식에 의한 처리의 실행이 불가할 경우에, 접수하는 음성의 인식이 성공했을 때, 음성 인식에 의한 처리의 실행이 불가함을 유저가 인식할 수 있게 된다.
또한, 포트 관리 모듈(54)이, 보이스 커맨드 실행 가부 정보를, 오디오 드라이버(56)를 경유하지 않고 음성 인식 엔진(58)에 직접 출력하도록 해도 된다.
또한 예를 들어, 음성 인식 엔진(58)이 시스템 애플리케이션 모듈(50)로부터 스테이터스 정보를 직접 접수해도 된다. 또한 예를 들어 음성 인식 엔진(58)이 포커스 관리 모듈(52)로부터 포커스 상태 정보를 직접 접수해도 된다. 또한 예를 들어 음성 인식 엔진(58)이 게임 프로그램(42)으로부터 가불가 요구 정보를 직접 접수해도 된다.
이하, 음성 인식에 의한 처리의 실행이 불가함을 유저에게 인식시키는 제어에 대해서, 정보 처리 장치(12)에서 실장되는 기능 및 정보 처리 장치(12)에서 실행되는 처리에 대하여 재차 설명한다.
도 8은 음성 인식에 의한 처리의 실행이 불가함을 유저에게 인식시키는 제어에 대해서, 본 실시 형태에 따른 정보 처리 장치(12)에서 실장되는 기능의 일례를 나타내는 기능 블록도이다. 또한, 본 실시 형태에 따른 정보 처리 장치(12)에서, 도 8에 나타내는 기능 전부가 실장될 필요는 없고, 또한, 도 8에 나타내는 기능 이외의 기능이 실장되어 있어도 상관없다.
본 실시 형태에 따른 정보 처리 장치(12)는, 도 8에 나타내는 바와 같이, 기능적으로는 예를 들어, 제어 정보 접수부(70), 실행 가부 제어부(72), 음성 접수부(74), 음성 인식부(76), 실행부(78), 출력 제어부(80)를 포함하고 있다. 제어 정보 접수부(70), 실행 가부 제어부(72), 음성 인식부(76), 실행부(78)는, 제어부(20)를 주로 하여 실장된다. 음성 접수부(74)는, 입출력부(26)를 주로 하여 실장된다. 출력 제어부(80)는, 입출력부(26)를 주로 하여 실장된다.
제어 정보 접수부(70), 실행 가부 제어부(72)의 기능은, 예를 들어 도 6에 있어서의 포트 관리 모듈(54)에 실장되는 기능에 상당한다. 음성 접수부(74)의 기능은, 예를 들어 도 6에 있어서의 오디오 드라이버(56)에 실장되는 기능에 상당한다. 음성 인식부(76)의 기능은, 예를 들어 도 6에 있어서의 음성 인식 엔진(58)에 실장되는 기능에 상당한다. 실행부(78)의 기능은, 도 6에 있어서의 포트 관리 모듈(54)에 의해 출력되는 커맨드 정보의 출력처인 프로그램에 실장되는 기능에 상당한다. 출력 제어부(80)의 기능은, 예를 들어 도 6에 있어서의 출력 모듈(60)에 실장되는 기능에 상당한다.
그리고, 이상의 기능은, 컴퓨터인 정보 처리 장치(12)에 인스톨된, 이상의 기능에 대응하는 지령을 포함하는 프로그램을 제어부(20)에서 실행함으로써 실장되어 있다. 이 프로그램은, 예를 들어 광 디스크, 자기 디스크, 자기 테이프, 광자기 디스크, 플래시 메모리 등의 컴퓨터 판독 가능한 정보 기억 매체를 통하여, 또는, 인터넷 등의 통신 수단을 통하여 정보 처리 장치(12)에 공급된다.
제어 정보 접수부(70)는, 본 실시 형태에서는, 정보 처리 장치(12)에서 실행되고 있는 프로그램으로부터 음성 인식에 의한 처리의 실행 가부를 제어하는 제어 정보를 접수한다. 제어 정보 접수부(70)는, 예를 들어 스테이터스 정보, 포커스 정보, 가불가 요구 정보를 접수한다. 이와 같이, 제어 정보 접수부(70)는, 예를 들어 보이스 채팅 서브 모듈(50a), 보이스 메세지 서브 모듈(50b), 포커스 관리 모듈(52), 게임 프로그램(42) 등과 같은, 실행되고 있는 복수의 프로그램으로부터 제어 정보를 접수해도 된다. 또한 이와 같이, 제어 정보를 출력하는 복수의 프로그램 중 적어도 하나가, 정보 처리 장치(12)에서 실행되는 시스템 프로그램(40)과는 별도로 실행되는 게임 프로그램(42)이어도 된다.
실행 가부 제어부(72)는, 본 실시 형태에서는 음성 인식에 의한 처리의 실행 가부를 제어한다. 실행 가부 제어부(72)는, 제어 정보 접수부(70)가 접수하는 제어 정보에 기초하여, 음성 인식에 의한 처리의 실행 가부를 제어해도 된다. 이렇게 하면, 정보 처리 장치(12)에서 실행되고 있는 프로그램이 음성 인식에 의한 처리의 실행 가부를 제어할 수 있게 된다. 실행 가부 제어부(72)는, 예를 들어 상술한 바와 같이, 보이스 커맨드 실행 가부 정보를 생성하여 음성 인식부(76)에 출력한다.
음성 접수부(74)는, 본 실시 형태에서는 음성을 접수한다.
음성 인식부(76)는, 본 실시 형태에서는 음성 접수부(74)가 접수하는 음성을 인식한다. 본 실시 형태에서는, 음성 인식부(76)는 음성의 인식에 성공했을 때에는, 실행 가부 제어부(72)에 의한 제어에 따라, 상술한 출력 제어 정보의 출력 제어부(80)로의 출력, 또는, 상술한 커맨드 정보의 실행부(78)로의 출력을 행한다. 본 실시 형태에서는, 예를 들어 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 불가해지도록 제어되는 경우에는, 출력 제어 정보를 출력 제어부(80)에 출력한다. 한편, 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 가능해지도록 제어되는 경우에는, 음성의 인식 결과에 따른 커맨드를 특정하고, 당해 특정되는 커맨드를 나타내는 커맨드 정보를 실행부(78)에 출력한다.
실행부(78)는, 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 가능해지도록 제어되는 경우에는, 음성 인식부(76)에 의한 음성의 인식이 성공 했을 때, 음성의 인식 결과에 따른 처리를 실행한다. 실행부(78)는, 예를 들어 음성 인식부(76)로부터 커맨드 정보를 접수하는 경우에는, 당해 커맨드 정보가 나타내는 커맨드에 따른 처리를 실행한다.
또한, 음성에 의한 입력이 가능한 커맨드가, 예를 들어 소정의 버튼의 누름 조작 등과 같은 컨트롤러(18)에 대한 조작에 의해서도 입력 가능해도 상관없다. 그리고, 실행부(78)가, 컨트롤러(18)로부터 접수하는 조작 입력에 따라, 음성에 의한 입력도 가능한 커맨드에 따른 처리를 실행해도 된다. 또한 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 불가해지도록 제어될 경우에, 실행부(78)가 컨트롤러(18)로부터 접수하는 조작 입력에 따라, 음성의 인식 결과에 따라서 실행되지 않도록 제어되고 있는 처리를 실행해도 된다. 또한 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 가능해지도록 제어될 경우에, 실행부(78)가 컨트롤러(18)로부터 접수하는 조작 입력에 따라, 음성에 의한 입력도 가능한 커맨드에 따른 처리를 실행해도 된다.
출력 제어부(80)는 음성 인식부(76)에 의한 음성의 인식이 성공했을 때, 음성 인식에 의한 처리의 실행이 불가해지도록 제어되는 경우에는, 당해 인식의 성공에 따라서 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어한다. 출력 제어부(80)는, 예를 들어 음성 인식부(76)로부터 출력 제어 정보를 접수하는 경우에는, 도 5에 예시하는 안내 정보(34)를 디스플레이(14)에 표시시킨다. 또한 출력 제어부(80)가 출력되도록 제어하는 안내 정보에, 제어 정보를 출력한 프로그램이 나타나 있어도 된다. 이렇게 하면, 유저는, 음성 인식에 의한 처리의 실행이 불가한 원인이 되고 있는 프로그램을 인식할 수 있다.
또한 실행 가부 제어부(72)는, 복수의 커맨드 중 일부에 대해 음성 인식에 의한 당해 커맨드에 따른 처리의 실행이 불가해지도록 제어해도 된다. 또한 출력 제어부(80)는, 처리의 실행이 불가해지도록 제어되고 있는 커맨드가 음성의 인식 결과로서 특정될 때, 당해 커맨드의 특정에 따라서 당해 커맨드에 따른 처리가 실행되지 않는 것을 나타내는 정보가 출력되도록 제어해도 된다. 예를 들어 도 6의 예에 있어서, 음성 인식 엔진(58)이 보이스 채팅 서브 모듈(50a)로부터 값이 「1」인 스테이터스 정보를 직접 접수했다고 하자. 이 경우에, 보이스 채팅 서브 모듈(50a)에서 실행되는 처리에 대해서는, 음성 인식에 따른 처리의 실행이 불가해지도록 제어되어도 된다. 그리고 다른 프로그램에서 실행되는 처리에 대해서는, 음성 인식에 따른 처리의 실행이 가능해지도록 제어되어도 된다. 이렇게 하면, 일부의 커맨드에 대하여 음성 인식에 따른 처리의 실행이 불가해지도록 제어되어도 다른 커맨드에 대해서는 음성 인식에 의한 입력이 가능해진다.
여기서, 음성 접수부(74)가 접수하는 음성의 음성 인식부(76)에 의한 인식이 성공한 경우에, 본 실시 형태에 따른 정보 처리 장치(12)에서 실행되는 처리의 흐름의 일례를, 도 9에 예시하는 흐름도를 참조하면서 설명한다.
먼저, 음성 인식부(76)는, 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 불가해지도록 제어되고 있는지 여부를 확인한다(S101). S101에 나타내는 처리에서는, 상술한 예에서는 음성 인식 엔진(58)이 오디오 드라이버(56)로부터 접수한 보이스 커맨드 실행 가부 정보의 값이 「1」이거나 「0」인지를 확인한다.
그리고, 음성 인식에 의한 처리의 실행이 불가해지도록 제어되고 있을 경우에는(S101: "예"), 출력 제어부(80)가 도 5에 예시하는 안내 정보(34) 등과 같은, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어한다(S102). 그리고 본 처리예에 나타내는 처리는 종료된다.
한편, 실행 가부 제어부(72)에 의해 음성 인식에 의한 처리의 실행이 가능해지도록 제어되고 있을 경우에는(S101: "아니오"), 음성 인식부(76)가 음성 인식이 성공한 음성에 따른 커맨드를 특정한다(S103). 그리고, 실행부(78)가 S103에 나타내는 처리에서 특정된 커맨드에 따른 처리를 실행한다(S104). 그리고 본 처리예에 나타내는 처리는 종료된다.
또한, 본 발명은 상술한 실시 형태에 한정되는 것은 아니다.
예를 들어 본 실시 형태는, 유저가, 당해 유저가 플레이한 게임이나, 다른 유저가 플레이하고 있는 게임 또는 플레이한 게임 등을 시청하고 있는 장면에 응용되어도 된다. 예를 들어 유저가 게임의 플레이를 시청하고 있을 때, 음성의 인식 결과에 따른 처리가 실행되지 않는 것이 바람직한 씬이 표시되는 경우가 있다. 예를 들어 이 상황에서 접수하는 음성의 인식이 성공했을 때, 상술한 바와 같이 하여 음성 인식에 의한 처리의 실행이 불가함을 유저가 인식할 수 있도록 해도 된다.
또한 예를 들어, 정보 처리 장치(12)가, 카메라(16a)나 마이크(16b)를 구비한 휴대형 게임 장치여도 된다. 또한, 정보 처리 장치(12)는, 퍼스널 컴퓨터, 태블릿 단말기, 스마트폰 등이어도 상관없다.
또한 예를 들어, 정보 처리 장치(12)가 복수의 채널의 프로그램이 표시 가능하고 음성에 의해 표시되는 채널을 전환할 수 있는 헤드 마운트 디스플레이여도 상관없다. 예를 들어 당해 헤드 마운트 디스플레이가 음성을 접수하고, 당해 음성의 인식에 성공했다고 하자. 이 경우에, 음성 인식에 의한 처리의 실행이 불가해지도록 제어되는 경우에는 당해 인식의 성공에 따라서 음성 인식에 의한 채널을 전환하는 것이 불가함을 나타내는 정보가 당해 헤드 마운트 디스플레이에 출력되도록 해도 된다.
또한, 정보 처리 장치(12), 디스플레이(14), 카메라 마이크 유닛(16)의 역할 분담은 상술한 것에 한정되지 않는다. 또한, 정보 처리 장치(12)가 복수의 하우징으로 구성되어 있어도 된다.
또한, 상기 구체적인 문자열이나 도면 중의 구체적인 문자열은 예시이며, 이 문자열에는 한정되지 않는다.

Claims (1)

  1. 음성을 접수하는 음성 접수부와,
    상기 음성의 인식 결과에 따른 처리를 실행하는 실행부와,
    음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보가 출력되도록 제어하는 출력 제어부를 포함하고,
    상기 음성 인식의 성공에 따라, 당해 음성의 인식 결과에 따른 처리의 실행, 또는, 음성 인식에 의한 처리의 실행이 불가함을 나타내는 정보의 출력 제어 중 어느 하나가 실행되는 것을 특징으로 하는 제어 장치.
KR1020187027929A 2014-10-24 2015-05-26 제어 장치, 제어 방법, 및 정보 기억 매체 KR20180110207A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-217764 2014-10-24
JP2014217764 2014-10-24
PCT/JP2015/065133 WO2016063564A1 (ja) 2014-10-24 2015-05-26 制御装置、制御方法、プログラム及び情報記憶媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177007237A Division KR102111983B1 (ko) 2014-10-24 2015-05-26 제어 장치, 제어 방법, 및 정보 기억 매체

Publications (1)

Publication Number Publication Date
KR20180110207A true KR20180110207A (ko) 2018-10-08

Family

ID=55760616

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177007237A KR102111983B1 (ko) 2014-10-24 2015-05-26 제어 장치, 제어 방법, 및 정보 기억 매체
KR1020187027929A KR20180110207A (ko) 2014-10-24 2015-05-26 제어 장치, 제어 방법, 및 정보 기억 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177007237A KR102111983B1 (ko) 2014-10-24 2015-05-26 제어 장치, 제어 방법, 및 정보 기억 매체

Country Status (6)

Country Link
US (1) US10434412B2 (ko)
EP (1) EP3211638B1 (ko)
JP (1) JP6259530B2 (ko)
KR (2) KR102111983B1 (ko)
CN (1) CN107077846B (ko)
WO (1) WO2016063564A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521723B2 (en) 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
WO2018155810A1 (ko) * 2017-02-21 2018-08-30 삼성전자 주식회사 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
CA3058360A1 (en) 2017-03-29 2018-10-04 Legochem Biosciences, Inc. Pyrrolobenzodiazepine dimer prodrug and ligand-linker conjugate compound of the same
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
KR20200084802A (ko) 2019-01-03 2020-07-13 주식회사 레고켐 바이오사이언스 안전성이 향상된 피롤로벤조디아제핀 이량체 화합물 및 이의 용도
WO2020141923A2 (ko) 2019-01-03 2020-07-09 주식회사 레고켐 바이오사이언스 안전성이 향상된 피롤로벤조디아제핀 이량체 화합물 및 이의 용도
CN112581969A (zh) * 2019-09-29 2021-03-30 百度在线网络技术(北京)有限公司 语音控制方法、装置、电子设备和可读存储介质
CN112581945A (zh) * 2019-09-29 2021-03-30 百度在线网络技术(北京)有限公司 语音控制方法、装置、电子设备和可读存储介质

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02272624A (ja) 1989-04-13 1990-11-07 Nec Corp 聴覚情報入力管理方式
JP3725566B2 (ja) 1992-12-28 2005-12-14 株式会社東芝 音声認識インターフェース
DE69326431T2 (de) 1992-12-28 2000-02-03 Toshiba Kawasaki Kk Spracherkennungs-Schnittstellensystem, das als Fenstersystem und Sprach-Postsystem verwendbar ist
JPH10222337A (ja) 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JPH11265190A (ja) * 1998-03-18 1999-09-28 Ricoh Co Ltd 音楽演奏装置
US6108592A (en) * 1998-05-07 2000-08-22 International Business Machines Corporation Voice-controlled motorized wheelchair with sensors and displays
JPH11337362A (ja) * 1998-05-29 1999-12-10 Clarion Co Ltd ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP2001222293A (ja) * 2000-02-08 2001-08-17 Ishida Co Ltd 商品処理装置
US6928329B1 (en) 2000-02-29 2005-08-09 Microsoft Corporation Enabling separate chat and selective enablement of microphone
KR20030024904A (ko) * 2001-06-22 2003-03-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 스피치-제어 수단 및 스피치-제어 수단의 기능을테스트하는 테스트 수단을 구비한 장치
US7369997B2 (en) * 2001-08-01 2008-05-06 Microsoft Corporation Controlling speech recognition functionality in a computing device
WO2003021943A1 (fr) 2001-08-28 2003-03-13 Matsushita Electric Industrial Co., Ltd. Procede pour recevoir des diffusions
JP2003162295A (ja) * 2001-11-27 2003-06-06 Kenwood Corp 車載用音声認識装置
US20040203520A1 (en) * 2002-12-20 2004-10-14 Tom Schirtzinger Apparatus and method for application control in an electronic device
JP4107093B2 (ja) 2003-01-30 2008-06-25 株式会社日立製作所 対話型端末装置及び対話アプリケーション提供方法
JP2004233794A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 音声認識装置、及び音声認識方法
JP2005027885A (ja) 2003-07-24 2005-02-03 ▲黄▼賢達 単音音声コントロールによる制御装置
US7931537B2 (en) * 2005-06-24 2011-04-26 Microsoft Corporation Voice input in a multimedia console environment
JP5062171B2 (ja) 2006-03-23 2012-10-31 日本電気株式会社 音声認識システム、音声認識方法および音声認識用プログラム
CN101141722B (zh) * 2006-09-05 2012-07-11 北京三星通信技术研究有限公司 基于用户语音特征的安全手机及实现方法
JP4940887B2 (ja) * 2006-10-20 2012-05-30 富士通株式会社 音声入力支援プログラム、音声入力支援装置、音声入力支援方法
CN101327373B (zh) * 2007-06-18 2010-10-13 柳州市蓝海科技有限公司 娱乐健身机
US8165886B1 (en) * 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8264422B1 (en) * 2007-11-08 2012-09-11 Sprint Communications Company L.P. Safe head-up display of information
US8123615B2 (en) * 2008-02-14 2012-02-28 Aruze Gaming America, Inc. Multiplayer gaming machine capable of changing voice pattern
JP2010057085A (ja) * 2008-08-29 2010-03-11 Canon Inc Tv受信装置及びその制御方法
US8412531B2 (en) 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
KR20110010939A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 휴대용 단말기에서 음성 인식 성능을 향상시키기 위한 장치 및 방법
US8995625B2 (en) 2009-09-30 2015-03-31 T-Mobile Usa, Inc. Unified interface and routing module for handling audio input
US9111538B2 (en) 2009-09-30 2015-08-18 T-Mobile Usa, Inc. Genius button secondary commands
KR20110064263A (ko) * 2009-12-07 2011-06-15 엘지이노텍 주식회사 캡션 데이터를 이용한 시청 제한장치 및 방법
JP5136586B2 (ja) * 2010-03-31 2013-02-06 ブラザー工業株式会社 通信装置、通信方法、および通信プログラム
US9949221B2 (en) * 2011-07-27 2018-04-17 Sharp Kabushiki Kaisha Devices for multi-cell communications
WO2013022218A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
US9256396B2 (en) * 2011-10-10 2016-02-09 Microsoft Technology Licensing, Llc Speech recognition for context switching
WO2013061857A1 (ja) * 2011-10-25 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡手術システム
KR20130068303A (ko) 2011-12-15 2013-06-26 포항공과대학교 산학협력단 음성 명령 수행장치, 이를 구비한 이동 단말기 및 음성 명령 수행방법
JP5974498B2 (ja) * 2012-01-24 2016-08-23 株式会社デンソー 車車間通信装置
JP2012185861A (ja) 2012-07-03 2012-09-27 Toshiba Corp 操作装置及び操作方法
KR101995428B1 (ko) * 2012-11-20 2019-07-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN104050966B (zh) * 2013-03-12 2019-01-01 百度国际科技(深圳)有限公司 终端设备的语音交互方法和使用该方法的终端设备
CN103198831A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法与移动终端装置
CN103309618A (zh) * 2013-07-02 2013-09-18 姜洪明 移动操作系统
US9316400B2 (en) 2013-09-03 2016-04-19 Panasonic Intellctual Property Corporation of America Appliance control method, speech-based appliance control system, and cooking appliance
JP5955299B2 (ja) * 2013-11-08 2016-07-20 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
US9589567B2 (en) * 2014-06-11 2017-03-07 Honeywell International Inc. Plant control system using voice as a control mechanism

Also Published As

Publication number Publication date
EP3211638A4 (en) 2018-06-13
CN107077846B (zh) 2021-03-16
CN107077846A (zh) 2017-08-18
EP3211638B1 (en) 2023-11-29
US10434412B2 (en) 2019-10-08
EP3211638A1 (en) 2017-08-30
US20170239567A1 (en) 2017-08-24
KR102111983B1 (ko) 2020-05-18
JP6259530B2 (ja) 2018-01-10
JPWO2016063564A1 (ja) 2017-05-25
WO2016063564A1 (ja) 2016-04-28
KR20170042737A (ko) 2017-04-19

Similar Documents

Publication Publication Date Title
KR102111983B1 (ko) 제어 장치, 제어 방법, 및 정보 기억 매체
US10063804B2 (en) Display apparatus and method for controlling display of display apparatus
US10869079B2 (en) Apparatus and control method for displaying content of peripheral device
JP5955299B2 (ja) 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
JP6405316B2 (ja) エンタテインメント装置、表示制御方法、プログラム及び情報記憶媒体
JP6229071B2 (ja) 制御装置、制御方法、プログラム及び情報記憶媒体
JP6383409B2 (ja) 案内装置、案内方法、プログラム及び情報記憶媒体
CN107430856B (zh) 信息处理系统和信息处理方法
US10867603B2 (en) Audio-video reproduction device setup using interview-based voice control
US10691405B2 (en) Sound control apparatus, sound control method, and program
KR101579292B1 (ko) 범용 음성인식 제어 장치 및 제어 방법
US20190324708A1 (en) Sound outputting apparatus, head-mounted display, sound outputting method, and program
JP6216892B2 (ja) キャプチャ装置、キャプチャ方法、プログラム及び情報記憶媒体
EP4345817A1 (en) Display device and operating method thereof
KR20230143872A (ko) 전자 장치 및 그 동작 방법
CN114489550A (zh) 投屏控制方法、投屏器及存储介质
KR20140039757A (ko) 디스플레이장치 및 그 제어방법

Legal Events

Date Code Title Description
A107 Divisional application of patent