JP5161188B2 - Information processing apparatus, processing method, and program - Google Patents

Information processing apparatus, processing method, and program Download PDF

Info

Publication number
JP5161188B2
JP5161188B2 JP2009239699A JP2009239699A JP5161188B2 JP 5161188 B2 JP5161188 B2 JP 5161188B2 JP 2009239699 A JP2009239699 A JP 2009239699A JP 2009239699 A JP2009239699 A JP 2009239699A JP 5161188 B2 JP5161188 B2 JP 5161188B2
Authority
JP
Japan
Prior art keywords
user
voice
unit
instruction input
request message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009239699A
Other languages
Japanese (ja)
Other versions
JP2011086193A (en
Inventor
将史 竹廣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2009239699A priority Critical patent/JP5161188B2/en
Publication of JP2011086193A publication Critical patent/JP2011086193A/en
Application granted granted Critical
Publication of JP5161188B2 publication Critical patent/JP5161188B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するプログラムに関する。   The present invention relates to an information processing apparatus suitable for estimating whether or not a user can listen to audio output, a processing method, and a program for realizing these on a computer.

従来から、対話型シュミレーションゲームにおいて、キャラクタとの会話に臨場感を与えるための様々な工夫がなされている。例えば、特許文献1では、キャラクタとの会話において、キャラクタが発する台詞を画面に文字で表示すると共に、音声で出力する技術が開示されている。   Conventionally, in the interactive simulation game, various ideas have been made to give a sense of reality to the conversation with the character. For example, Patent Document 1 discloses a technique for displaying a speech uttered by a character on a screen in a conversation with the character and outputting the speech.

特許第3125006号公報Japanese Patent No. 3125006

ゲームの内容によっては、プレイヤが音声で台詞を聞いている場合には、文字の表示を停止した方が臨場感が増すことがある。したがって、プレイヤが音声を聴取しているか否かを簡易に判定したいという要望がある。   Depending on the contents of the game, when the player listens to the speech by voice, it may be more realistic to stop displaying the characters. Therefore, there is a desire to easily determine whether or not the player is listening to the sound.

本発明は、上記のような課題を解決するもので、ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。   The present invention solves the above-described problems, and is an information processing apparatus suitable for estimating whether or not a user can listen to audio output, a processing method, and a program for realizing these on a computer The purpose is to provide.

本発明の第1の観点に係る情報処理装置は、再生部と、表示部と、受付部と、推定部とを備え、以下のように構成する。   An information processing apparatus according to a first aspect of the present invention includes a reproduction unit, a display unit, a reception unit, and an estimation unit, and is configured as follows.

再生部は、ユーザに指示入力を求める旨の要求音声を再生する。   The reproduction unit reproduces a request voice for requesting an instruction input from the user.

例えば、「ボタンを押して下さい。」という、ユーザに何らかの指示入力を求める音声が再生される。   For example, a voice requesting the user to input some instruction such as “Please press a button” is reproduced.

表示部は、要求音声が再生された後に、ユーザに指示入力を求める旨の要求メッセージを表示する。   The display unit displays a request message for requesting the user to input an instruction after the request voice is reproduced.

例えば、上記音声が再生された後に、画面に「ボタンを押して下さい。」というメッセージが表示される。   For example, after the sound is reproduced, a message “Please press the button” is displayed on the screen.

受付部は、ユーザからの指示入力を受け付ける。   The accepting unit accepts an instruction input from the user.

例えば、受付部は、ユーザによるボタンの押圧を指示入力として受け付ける。   For example, the reception unit receives a button press by the user as an instruction input.

推定部は、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示された後に指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。   When the instruction input is received before the request message is displayed, the estimation unit estimates that the user is listening to the voice. When the instruction input is received after the request message is displayed, the user Estimated not listening.

例えば、「ボタンを押して下さい。」という音声が再生された後で、かつ「ボタンを押して下さい。」というメッセージが画面に表示される前に、ユーザがいずれかのボタンを押圧した場合、ユーザは音声を聴取していると推定される。一方、「ボタンを押して下さい。」という音声が再生され、「ボタンを押して下さい。」という文字が画面に表示された後に、ユーザがボタンを押圧した場合、ユーザは音声を聴取していないと推定される。   For example, if the user presses any button after the sound “Please press the button” is played and before the message “Press the button” is displayed on the screen, It is presumed that he is listening to audio. On the other hand, if the user presses the button after the voice “Please press the button” is played and the text “Press the button” is displayed on the screen, it is assumed that the user is not listening to the voice. Is done.

本発明によれば、ユーザが音声出力を聴取できているか否かを推定することができる。   According to the present invention, it can be estimated whether or not the user can listen to the audio output.

本発明の第2の観点に係る処理装置は、再生部と、表示部と、受付部と、推定部とを備え、以下のように構成する。   The processing apparatus according to the second aspect of the present invention includes a reproduction unit, a display unit, a reception unit, and an estimation unit, and is configured as follows.

再生部は、ユーザに第1の種類の指示入力を求める旨の要求音声を再生する。   The reproduction unit reproduces a request voice for requesting the user to input a first type instruction.

例えば、「Aボタンを押して下さい。」というような、ユーザに所定の指示入力を求める音声が再生される。   For example, a voice requesting a user to input a predetermined instruction such as “Please press button A” is reproduced.

表示部は、音声が再生された後に、ユーザに第2の種類の指示入力を求める旨の要求メッセージを表示する。   The display unit displays a request message for requesting the user to input a second type of instruction after the sound is reproduced.

例えば、上記音声が再生された後に、上記要求音声と異なる指示入力を求める旨のメッセージ「Bボタンを押して下さい。」が、画面に表示される。   For example, after the sound is reproduced, a message “Please press button B” is displayed on the screen to request an instruction input different from the requested sound.

受付部は、ユーザからの指示入力を受け付ける。   The accepting unit accepts an instruction input from the user.

例えば、受付部は、ユーザによる“Aボタン”や“Bボタン”の押圧を指示入力として受け付ける。   For example, the accepting unit accepts pressing of the “A button” or “B button” by the user as an instruction input.

推定部は、要求メッセージが表示される前に第1の種類の指示入力が受け付けられ、かつ、要求メッセージが表示された後に第2の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示される前に第1の種類の指示入力が受け付けられず、かつ、要求メッセージが表示された後に第2の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。   When the first type instruction input is received before the request message is displayed and the second type instruction input is received after the request message is displayed, the estimating unit listens to the voice. If the first type instruction input is not accepted before the request message is displayed and the second type instruction input is accepted after the request message is displayed, the user Presumes that he is not listening.

例えば、ユーザが、「Bボタンを押して下さい。」というメッセージが画面に表示される前に、「Aボタンを押して下さい。」という音声に従い“Aボタン”を押圧し、かつ「Bボタンを押して下さい。」というメッセージが画面に表示された後に、ユーザが“Bボタン”を押圧した場合、ユーザは音声を聴取していると推定される。一方、ユーザが、「Bボタンを押して下さい。」というメッセージが画面に表示される前に、「Aボタンを押して下さい。」という音声に従って“Aボタン”を押圧せず、かつ「Bボタンを押して下さい。」というメッセージが画面に表示された後に、ユーザが“Bボタン”を押圧した場合、ユーザは音声を聴取していないと推定される。これにより、画面にメッセージが表示される前に誤って指示入力をしたことにより、ユーザが音声を聴取していると推定されることを防ぐことができる。   For example, before the message “Press B button” is displayed on the screen, the user presses “A button” according to the voice “Press A button” and “Press B button” When the user presses the “B button” after the message “.” Is displayed on the screen, it is estimated that the user is listening to the voice. On the other hand, before the message “Please press B button” is displayed on the screen, the user does not press “A button” according to the voice “Please press A button” and “Press B button”. If the user presses the “B button” after the message “Please,” is displayed on the screen, it is estimated that the user is not listening to the voice. Thereby, it is possible to prevent the user from being estimated to be listening to the voice by erroneously inputting an instruction before the message is displayed on the screen.

本発明によれば、音声と画面のメッセージとにおいて、異なる要求をすることによって、より一層正確にユーザが音声出力を聴取できているか否かを推定することができる。   According to the present invention, it is possible to estimate whether or not the user can listen to the voice output more accurately by making different requests for the voice and the message on the screen.

また、情報処理装置は、ユーザに提示すべき情報を取得する取得部をさらに備え、ユーザは音声を聴取していると推定された場合、再生部は取得された情報に対応付けられる情報音声を再生し、ユーザは音声を聴取していないと推定された場合、表示部は取得された情報に対応付けられる情報メッセージを表示してもよい。   In addition, the information processing apparatus further includes an acquisition unit that acquires information to be presented to the user, and when it is estimated that the user is listening to the voice, the reproduction unit outputs the information voice associated with the acquired information. When it is estimated that the user has not listened to the sound, the display unit may display an information message associated with the acquired information.

例えば、英語学習ゲームにおいて、取得部は、ユーザに提示する英語の問題文をデータベース等から取得し、ユーザが音声を聴取していると推定部により推定された場合は、問題文を音声で再生し、ユーザが音声を聴取していないと推定部により推定された場合は、問題文を文字で画面に表示する。   For example, in an English learning game, the acquisition unit acquires an English question sentence to be presented to the user from a database or the like, and if the estimation unit estimates that the user is listening to the voice, reproduces the question sentence in voice When the estimation unit estimates that the user is not listening to the voice, the question sentence is displayed on the screen in characters.

本発明によれば、ユーザが聴取可能か否かに応じて、提示するコンテンツを選択することができる。   According to the present invention, it is possible to select content to be presented depending on whether or not the user can listen.

本発明の第3の観点に係る処理方法は、再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、再生工程と、表示工程と、受付工程と、推定工程とを備え、以下のように構成される。   A processing method according to a third aspect of the present invention is a processing method executed by an information processing device including a reproduction unit, a display unit, a reception unit, and an estimation unit, and includes a reproduction step, a display step, The receiving step and the estimating step are configured as follows.

再生工程において、再生部が、ユーザに指示入力を求める旨の要求音声を再生する。    In the reproduction step, the reproduction unit reproduces a request voice requesting an instruction input from the user.

表示工程において、表示部が、要求音声が再生された後に、ユーザに指示入力を求める旨の要求メッセージを表示する。   In the display step, the display unit displays a request message for requesting the user to input an instruction after the request voice is reproduced.

受付工程において、受付部が、ユーザからの指示入力を受け付ける。   In the reception process, the reception unit receives an instruction input from the user.

推定工程において、推定部が、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示された後に指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。   In the estimation process, when the estimation unit receives an instruction input before the request message is displayed, the user estimates that the user is listening to the voice, and the instruction input is received after the request message is displayed. , It is assumed that the user is not listening to audio.

本発明の第4の観点に係る処理方法は、再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、再生工程と、表示工程と、受付工程と、推定工程とを備え、以下のように構成される。   The processing method which concerns on the 4th viewpoint of this invention is a processing method which an information processing apparatus provided with a reproducing part, a display part, a reception part, and an estimation part performs, Comprising: A reproduction process, a display process, The receiving step and the estimating step are configured as follows.

再生工程において、再生部が、ユーザに第1の種類の指示入力を求める旨の要求音声を再生する。   In the reproduction step, the reproduction unit reproduces a request voice for requesting the user to input a first type instruction.

表示工程において、表示部が、要求音声が再生された後に、ユーザに第2の種類の指示入力を求める旨の要求メッセージを表示する。   In the display step, the display unit displays a request message for requesting the user to input a second type of instruction after the request voice is reproduced.

受付工程において、受付部が、ユーザからの指示入力を受け付ける。   In the reception process, the reception unit receives an instruction input from the user.

推定工程において、推定部が、要求メッセージが表示される前に第1の種類の指示入力が受け付けられ、かつ、要求メッセージが表示された後に第2の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示される前に第1の種類の指示入力が受け付けられず、かつ、要求メッセージが表示された後に第2の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。   In the estimation step, when the estimation unit receives the first type instruction input before the request message is displayed and receives the second type instruction input after the request message is displayed, the user Estimates that the user is listening to the voice, the first type of instruction input is not accepted before the request message is displayed, and the second type of instruction input is accepted after the request message is displayed. If it is, the user is assumed not to listen to the sound.

本発明のその他の観点に係るプログラムは、コンピュータを上記情報処理装置として機能させ、コンピュータに上記処理方法を実行させるように構成される。   A program according to another aspect of the present invention is configured to cause a computer to function as the information processing apparatus and cause the computer to execute the processing method.

また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。   The program of the present invention can be recorded on a computer-readable information storage medium such as a compact disk, flexible disk, hard disk, magneto-optical disk, digital video disk, magnetic tape, and semiconductor memory.

本発明によれば、ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するためのプログラムを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the information processing apparatus suitable for estimating whether the user can listen to audio | voice output, the processing method, and the program for implement | achieving these with a computer can be provided.

本発明の実施の形態に係る情報処理装置が実現される典型的な携帯型情報処理装置の概要構成を示す模式図である。It is a schematic diagram which shows the general | schematic structure of the typical portable information processing apparatus with which the information processing apparatus which concerns on embodiment of this invention is implement | achieved. 本発明の処理方法が実現される携帯型情報処理装置の外観を示す図である。It is a figure which shows the external appearance of the portable information processing apparatus with which the processing method of this invention is implement | achieved. 第1の実施形態に係る情報処理装置の機能構成を示す説明図である。It is explanatory drawing which shows the function structure of the information processing apparatus which concerns on 1st Embodiment. 第1の実施形態に係る情報処理装置が再生する要求音声の例を示す図である。It is a figure which shows the example of the request | requirement audio | voice reproduced | regenerated by the information processing apparatus which concerns on 1st Embodiment. 第1の実施形態に係る情報処理装置が表示する要求メッセージの例を示す図である。It is a figure which shows the example of the request message which the information processing apparatus which concerns on 1st Embodiment displays. 第1の実施形態に係る情報処理装置の各部が行う処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process which each part of the information processing apparatus which concerns on 1st Embodiment performs. 情報音声を再生するモードを説明するためのフローチャートである。It is a flowchart for demonstrating the mode which reproduces | regenerates information audio | voice. 第1の実施形態に係る情報処理装置が再生する情報音声の例を示す図である。It is a figure which shows the example of the information audio | voice reproduced | regenerated by the information processing apparatus which concerns on 1st Embodiment. 情報メッセージを表示するモードを説明するためのフローチャートである。It is a flowchart for demonstrating the mode which displays an information message. 第1の実施形態に係る情報処理装置が表示する情報メッセージの例を示す図である。It is a figure which shows the example of the information message which the information processing apparatus which concerns on 1st Embodiment displays. 第2の実施形態に係る情報処理装置が再生する要求音声の例を示す図である。It is a figure which shows the example of the request | requirement audio | voice reproduced | regenerated by the information processing apparatus which concerns on 2nd Embodiment. 第2の実施形態に係る情報処理装置が表示する要求メッセージの例を示す図である。It is a figure which shows the example of the request message which the information processing apparatus which concerns on 2nd Embodiment displays. 第2の実施形態に係る情報処理装置の各部が行う処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process which each part of the information processing apparatus which concerns on 2nd Embodiment performs. 第2の実施形態に係る情報処理装置の各部が行う処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process which each part of the information processing apparatus which concerns on 2nd Embodiment performs.

以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の携帯型情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であれば、これらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。   Embodiments of the present invention will be described below. In the following, in order to facilitate understanding, an embodiment in which the present invention is realized using a portable information processing device for games will be described, but the embodiment described below is for explanation, It is not intended to limit the scope of the present invention. Accordingly, those skilled in the art can employ embodiments in which each or all of these elements are replaced with equivalent ones, and these embodiments are also included in the scope of the present invention.

(実施形態1)
図1は、本発明の実施形態に係る情報処理装置が実現される携帯型情報処理装置1の概要構成を示す模式図である。また、図2は本発明の実施形態に係る携帯型情報処理装置1の外観図を示す。以下、これらの図を参照して説明する。
(Embodiment 1)
FIG. 1 is a schematic diagram showing a schematic configuration of a portable information processing device 1 in which an information processing device according to an embodiment of the present invention is realized. FIG. 2 is an external view of the portable information processing apparatus 1 according to the embodiment of the present invention. Hereinafter, description will be given with reference to these drawings.

携帯型情報処理装置1は、処理制御部10と、コネクタ11と、カートリッジ12と、無線通信部13と、通信コントローラ14と、サウンドアンプ15と、スピーカ16と、マイク17と、操作キー18と、第1の表示部19と、第2の表示部20と、タッチパネル21と、を備える。   The portable information processing apparatus 1 includes a processing control unit 10, a connector 11, a cartridge 12, a wireless communication unit 13, a communication controller 14, a sound amplifier 15, a speaker 16, a microphone 17, and operation keys 18. , A first display unit 19, a second display unit 20, and a touch panel 21.

処理制御部10は、CPU(Central Processing Unit)コア10aと、画像処理部10bと、VRAM(Video Random Access Memory)10cと、WRAM(Work RAM)10dと、LCD(Liquid Crystal Display)コントローラ10eと、タッチパネルコントローラ10fと、を備える。   The processing control unit 10 includes a CPU (Central Processing Unit) core 10a, an image processing unit 10b, a VRAM (Video Random Access Memory) 10c, a WRAM (Work RAM) 10d, an LCD (Liquid Crystal Display) controller 10e, A touch panel controller 10f.

CPUコア10aは、携帯型情報処理装置1全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。具体的には、カートリッジ12がコネクタ11に装着された状態で、カートリッジ12内のROM(Read Only Memory)12aに記憶されたプログラムやデータを読み出して、所定の処理を実行する。   The CPU core 10a controls the operation of the entire portable information processing apparatus 1, is connected to each component, and exchanges control signals and data. Specifically, a program and data stored in a ROM (Read Only Memory) 12a in the cartridge 12 are read out with the cartridge 12 mounted in the connector 11, and predetermined processing is executed.

画像処理部10bは、カートリッジ12内のROM 12aから読み出されたデータやCPUコア10aにて処理されたデータを加工処理した後、これをVRAM 10cに格納する。   The image processing unit 10b processes the data read from the ROM 12a in the cartridge 12 and the data processed by the CPU core 10a, and stores the processed data in the VRAM 10c.

VRAM 10cは、表示用の情報を記憶するフレームメモリであり、画像処理部10b等により加工された画像情報を記憶する。
WRAM 10dは、CPUコア10aがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
The VRAM 10c is a frame memory that stores information for display, and stores image information processed by the image processing unit 10b and the like.
The WRAM 10d stores work data and the like necessary for the CPU core 10a to execute various processes according to the program.

LCDコントローラ10eは、第1の表示部19および第2の表示部20を制御し、所定の表示用画像を表示させる。例えば、LCDコントローラ10eは、VRAM 10cに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、第1の表示部19に出力する。また、LCDコントローラ10eは、第2の表示部20に所定の指示アイコン等を表示する。   The LCD controller 10e controls the first display unit 19 and the second display unit 20 to display a predetermined display image. For example, the LCD controller 10 e converts the image information stored in the VRAM 10 c into a display signal at a predetermined synchronization timing and outputs the display signal to the first display unit 19. The LCD controller 10e displays a predetermined instruction icon or the like on the second display unit 20.

タッチパネルコントローラ10fは、タッチペン24やユーザの指によるタッチパネル21への接触(タッチ)を検出する。例えば、第2の表示部20に所定の指示アイコン等が表示されている状態で、タッチパネル21上の接触およびその位置等を検出する。   The touch panel controller 10f detects a touch (touch) on the touch panel 21 by the touch pen 24 or the user's finger. For example, in the state where a predetermined instruction icon or the like is displayed on the second display unit 20, a contact on the touch panel 21 and its position are detected.

コネクタ11は、カートリッジ12と脱着自在に接続可能な端子であり、カートリッジ12が接続された際に、カートリッジ12との間で所定のデータを送受信する。   The connector 11 is a terminal that can be detachably connected to the cartridge 12, and transmits / receives predetermined data to / from the cartridge 12 when the cartridge 12 is connected.

カートリッジ12は、ROM 12aと、RAM(Random Access Memory)12bと、を備える。
ROM 12aには、ゲームを実現するためのプログラムおよびゲームに付随する画像データや音声データ等が記録される。
RAM 12bには、ゲームの進行状況等を示す種々のデータが記憶される。
The cartridge 12 includes a ROM 12a and a RAM (Random Access Memory) 12b.
The ROM 12a stores a program for realizing the game, image data and sound data associated with the game, and the like.
The RAM 12b stores various data indicating the progress of the game.

無線通信部13は、他の携帯型情報処理装置1の無線通信部13との間で、無線通信を行うユニットであり、図示せぬアンテナ(内蔵アンテナ等)を介して所定のデータを送受信する。
なお、無線通信部13は、所定のアクセスポイントとの間で、無線LAN通信を行うこともできる。また、無線通信部13には、固有のMAC(Media Access Control)アドレスが採番されている。
The wireless communication unit 13 is a unit that performs wireless communication with the wireless communication unit 13 of another portable information processing apparatus 1 and transmits / receives predetermined data via an antenna (not shown) (not shown). .
The wireless communication unit 13 can also perform wireless LAN communication with a predetermined access point. The wireless communication unit 13 is assigned a unique MAC (Media Access Control) address.

通信コントローラ14は、無線通信部13を制御し、所定のプロトコルに沿って、処理制御部10と他の携帯型情報処理装置1の処理制御部10との間で行われる通信の仲立ちをする。   The communication controller 14 controls the wireless communication unit 13 and mediates communication performed between the processing control unit 10 and the processing control unit 10 of another portable information processing device 1 according to a predetermined protocol.

サウンドアンプ15は、処理制御部10にて生成された音声信号を増幅し、スピーカ16に供給する。   The sound amplifier 15 amplifies the audio signal generated by the processing control unit 10 and supplies it to the speaker 16.

スピーカ16は、例えば、ステレオスピーカ等からなり、サウンドアンプ15にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。   The speaker 16 is composed of, for example, a stereo speaker, and outputs predetermined music sound, sound effect, and the like according to the audio signal amplified by the sound amplifier 15.

マイク17は、ユーザの声等のアナログ信号を受け付け、受け付けられた信号は、処理制御部10でミキシング等の処理がなされる。   The microphone 17 receives an analog signal such as a user's voice, and the received signal is subjected to processing such as mixing by the processing control unit 10.

操作キー18は、携帯型情報処理装置1に適宜配置されたボタン、例えば図2に示すような、Aボタン22、Bボタン23、方向キー25等から構成され、ユーザの操作に従って、所定の指示入力を受け付ける。操作キー18には、音量を調節するためのボタンや、つまみ等も含まれる。   The operation key 18 includes buttons appropriately arranged on the portable information processing apparatus 1, for example, an A button 22, a B button 23, a direction key 25, and the like as shown in FIG. Accept input. The operation key 18 includes a button for adjusting the volume, a knob, and the like.

第1の表示部19および、第2の表示部20は、LCD等からなり、LCDコントローラ10eに制御され、ゲーム画像等を適宜表示する。
なお、第2の表示部20は、タッチパネル21の接触によりユーザから操作指示を入力させるための指示アイコン等を表示する。
The 1st display part 19 and the 2nd display part 20 consist of LCD etc., are controlled by the LCD controller 10e, and display a game image etc. suitably.
Note that the second display unit 20 displays an instruction icon or the like for inputting an operation instruction from the user by touching the touch panel 21.

タッチパネル21は、第2の表示部20の前面に重畳して配置され、タッチペンやユーザの指の接触による入力を受け付ける。
タッチパネル21は、例えば、感圧式のタッチセンサパネル等からなり、ユーザの指等の圧力を検出し、接触状態および接触状態から非接触状態への移行等を検出する。なお、タッチパネル21は、他に静電容量の変化等から、ユーザの指等の接触を検出してもよい。
The touch panel 21 is disposed so as to be superimposed on the front surface of the second display unit 20 and receives an input by touch of a touch pen or a user's finger.
The touch panel 21 includes, for example, a pressure-sensitive touch sensor panel and the like, detects the pressure of the user's finger and the like, and detects the contact state and the transition from the contact state to the non-contact state. In addition, the touch panel 21 may detect contact with a user's finger or the like from a change in capacitance or the like.

図3は、本実施形態に係る情報処理装置の機能構成を示す図である。以下、本図を参照して説明する。
本実施形態に係る情報処理装置200は、再生部201と、表示部202と、受付部203と、推定部204と、取得部205と、から構成される。
FIG. 3 is a diagram illustrating a functional configuration of the information processing apparatus according to the present embodiment. Hereinafter, a description will be given with reference to FIG.
The information processing apparatus 200 according to the present embodiment includes a reproduction unit 201, a display unit 202, a reception unit 203, an estimation unit 204, and an acquisition unit 205.

再生部201は、ユーザに指示入力を求める旨の音声(要求音声)を再生する。例えば、図4に示すように、「ボタンを押して下さい。」といった、ユーザに何らかの操作入力を求める音声301を再生する。
したがって、CPUコア10a、サウンドアンプ15、及びスピーカ16が協働して、再生部201として機能する。
The playback unit 201 plays back a sound (requested sound) requesting the user to input an instruction. For example, as shown in FIG. 4, a sound 301 that asks the user for some operation input such as “Please press a button” is reproduced.
Therefore, the CPU core 10a, the sound amplifier 15, and the speaker 16 cooperate to function as the playback unit 201.

表示部202は、再生部201が要求音声を再生した後、ユーザに指示入力を求める旨のメッセージ(要求メッセージ)を表示する。例えば、図5に示すように、「ボタンを押してください。」といった、ユーザに何らかの操作入力を求めるメッセージを第1の表示部19等に表示する。
したがって、CPUコア10a、VRAM 10c、LCDコントローラ10e、第1の表示部19、及び第2の表示部20が協働して、表示部202として機能する。
The display unit 202 displays a message (request message) requesting the user to input an instruction after the reproduction unit 201 reproduces the requested sound. For example, as shown in FIG. 5, a message for requesting the user to make some operation input such as “Please press a button” is displayed on the first display unit 19 or the like.
Accordingly, the CPU core 10a, the VRAM 10c, the LCD controller 10e, the first display unit 19, and the second display unit 20 work together to function as the display unit 202.

受付部203は、ユーザからの指示入力を受け付ける。例えば、ユーザによるAボタン22等の押圧操作や、タッチパネル21への接触を受け付ける。
したがって、CPUコア10a、操作キー18、タッチパネルコントローラ10f、及びタッチパネル21が協働して、受付部203として機能する。
The accepting unit 203 accepts an instruction input from the user. For example, a pressing operation by the user such as the A button 22 or a touch on the touch panel 21 is accepted.
Therefore, the CPU core 10a, the operation key 18, the touch panel controller 10f, and the touch panel 21 cooperate to function as the receiving unit 203.

推定部204は、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定する。一方、要求メッセージが表示された後に指示入力が受け付けられた場合、推定部204は、ユーザは音声を聴取していないと推定する。
したがって、CPUコア10aが推定部204として機能する。
When the instruction input is received before the request message is displayed, the estimation unit 204 estimates that the user is listening to the voice. On the other hand, when the instruction input is received after the request message is displayed, the estimation unit 204 estimates that the user is not listening to the voice.
Therefore, the CPU core 10a functions as the estimation unit 204.

取得部205は、ユーザに提示すべき情報を取得する。そして、ユーザが音声を聴取していると推定部204により推定された場合、再生部201は取得部205が取得した情報に対応付けられる音声(情報音声)を再生する。一方、ユーザが音声を聴取していないと推定部204により推定された場合は、表示部202は、取得部205が取得した情報に対応付けられるメッセージ(情報メッセージ)を表示する。例えば、取得部205は、コネクタ11に接続されたカートリッジ12のROM 12aから、ユーザに提示する情報を取得し、取得した情報をWRAM 10dに一時保存する。推定部204により、ユーザの聴取状況が推定されると、再生部201又は表示部202は、WRAM 10dに保存された情報に対応付けられる音声やメッセージを再生又は表示する。
したがって、CPUコア10a及びWRAM 10dが協働して、取得部205として機能する。
The acquisition unit 205 acquires information to be presented to the user. When the estimation unit 204 estimates that the user is listening to the voice, the playback unit 201 plays back the voice (information voice) associated with the information acquired by the acquisition unit 205. On the other hand, when the estimation unit 204 estimates that the user is not listening to the voice, the display unit 202 displays a message (information message) associated with the information acquired by the acquisition unit 205. For example, the acquisition unit 205 acquires information to be presented to the user from the ROM 12a of the cartridge 12 connected to the connector 11, and temporarily stores the acquired information in the WRAM 10d. When the estimation unit 204 estimates the listening state of the user, the reproduction unit 201 or the display unit 202 reproduces or displays a voice or a message associated with information stored in the WRAM 10d.
Therefore, the CPU core 10a and the WRAM 10d cooperate to function as the acquisition unit 205.

以下、情報処理装置200の各部が行う動作について説明する。情報処理装置200に電源が投入され、ユーザによってプログラムが開始されると、CPUコア10aは、図6のフローチャートに示す処理を開始する。以下、ユーザによって開始されるプログラムは音声や文字で提示された内容に対して会話を行う英語学習ゲームとする。   Hereinafter, operations performed by each unit of the information processing apparatus 200 will be described. When the information processing apparatus 200 is turned on and the program is started by the user, the CPU core 10a starts the processing shown in the flowchart of FIG. Hereinafter, the program started by the user is assumed to be an English learning game in which conversation is performed with respect to contents presented by voice or characters.

まず、再生部201は、ユーザに指示入力を求める要求音声を再生する(ステップS601)。そして、CPUコア10aは、受付部203が指示入力を受け付けたか否かを判断する(ステップS602)。例えば、再生部201は、図4に示すように、“ボタンを押して下さい。”という要求音声301を再生し(ステップS601)、ユーザが要求音声301を聴取していずれかのボタンを押圧する(受付部203が押圧操作を受け付ける)と、CPUコア10aは、受付部203が指示入力を受け付けたと判断する(ステップS602;Yes)。一方、ユーザがボタンを押圧しなかった場合、指示入力を受け付けなかったと判断する(ステップS602;No)。なお、CPUコア10aは、再生部201による要求音声の再生から所定の時間が経過した場合には、ユーザにより指示入力がされたとしても指示入力を受け付けなかったと判断するようにしてもよい。   First, the reproducing unit 201 reproduces a request voice for requesting an instruction input from the user (step S601). Then, the CPU core 10a determines whether or not the receiving unit 203 has received an instruction input (step S602). For example, as shown in FIG. 4, the reproduction unit 201 reproduces a request voice 301 “Please press a button” (step S601), and the user listens to the request voice 301 and presses any button ( When the receiving unit 203 receives a pressing operation, the CPU core 10a determines that the receiving unit 203 has received an instruction input (step S602; Yes). On the other hand, when the user does not press the button, it is determined that the instruction input is not accepted (step S602; No). Note that the CPU core 10a may determine that the instruction input is not accepted even if the instruction is input by the user when a predetermined time has elapsed since the reproduction of the requested sound by the reproducing unit 201.

CPUコア10aが指示入力を受け付けたと判断すると(ステップS602;Yes)、推定部204は、ユーザが音声を聴取していると推定する(ステップS603)。そして、推定部204によりユーザが音声を聴取していると推定されると、CPUコア10aは、取得部205により取得された情報を当該情報に対応する情報音声で再生するモードを選択し、再生処理を開始する(ステップS604、図7)。   When the CPU core 10a determines that the instruction input has been received (step S602; Yes), the estimation unit 204 estimates that the user is listening to the voice (step S603). When the estimation unit 204 estimates that the user is listening to the audio, the CPU core 10a selects a mode for reproducing the information acquired by the acquisition unit 205 with the information audio corresponding to the information, and reproduces the information. Processing is started (step S604, FIG. 7).

ステップS604においては、例えば、以下のような処理が行われる。
まず、取得部205は、ユーザに提示する情報を取得する(ステップS701)。例えば、取得部205は、カートリッジ12のROM 12aからユーザに提示する問題文等(例えば、「次の文に答えて下さい。“How are you?”」)を取得する(ステップS701)。再生部201は、取得部205により取得された情報に対応する情報音声をカートリッジ12のROM 12aから読み込み、又は、取得された情報に基づいて情報音声を音声合成により作成し、当該情報音声を再生する(ステップS702)。例えば、再生部201は、「次の文に答えて下さい。“How are you?”」に対応する音声303(図8)を再生する。これに対して、図8に示すように、ユーザはタッチパネル21にタッチペン24で答えを入力し、受付部203は当該入力を受け付ける(ステップS703)。
上記情報音声で再生するモードにおける処理は、ユーザによりゲーム終了の指示等を情報処理装置200が受け付けるまで繰り返される。
In step S604, for example, the following processing is performed.
First, the acquisition unit 205 acquires information to be presented to the user (step S701). For example, the acquisition unit 205 acquires a problem sentence or the like to be presented to the user from the ROM 12a of the cartridge 12 (for example, “Please answer the following sentence.“ How are you? ””) (Step S701). The reproduction unit 201 reads information audio corresponding to the information acquired by the acquisition unit 205 from the ROM 12a of the cartridge 12, or creates information audio by voice synthesis based on the acquired information, and reproduces the information audio (Step S702). For example, the playback unit 201 “Please answer the following sentence.“ How are you? ” The audio | voice 303 (FIG. 8) corresponding to "" is reproduced | regenerated. On the other hand, as shown in FIG. 8, the user inputs an answer to the touch panel 21 with the touch pen 24, and the receiving unit 203 receives the input (step S703).
The process in the mode of reproducing with the information voice is repeated until the information processing apparatus 200 receives an instruction to end the game or the like by the user.

一方、CPUコア10aが指示入力を受け付けなかったと判断すると(ステップS602;No)、表示部202は、ユーザに指示入力を求める要求メッセージを表示する(ステップS605)。そして、CPUコア10aは、要求メッセージが表示された後に、受付部203が指示入力を受け付けたか否かを判断する(ステップS606)。例えば、表示部202は、図5のように“ボタンを押して下さい。”という要求メッセージ302を表示し(ステップS605)、ユーザが要求メッセージ302を読み、いずれかのボタンを押圧する(受付部203が押圧操作を受け付ける)と、CPUコア10aは、指示入力を受け付けたと判断する(ステップS606;Yes)。一方、ユーザがボタンを押圧しなかった場合、指示入力を受け付けなかった判断する(ステップS606;No)。   On the other hand, when the CPU core 10a determines that the instruction input has not been received (step S602; No), the display unit 202 displays a request message for requesting the instruction input from the user (step S605). Then, after the request message is displayed, the CPU core 10a determines whether or not the receiving unit 203 has received an instruction input (step S606). For example, the display unit 202 displays a request message 302 “please press the button” as shown in FIG. 5 (step S605), and the user reads the request message 302 and presses any button (accepting unit 203). CPU core 10a determines that an instruction input has been received (step S606; Yes). On the other hand, when the user does not press the button, it is determined that the instruction input is not accepted (step S606; No).

CPUコア10aが指示入力を受け付けたと判断すると(ステップS606;Yes)推定部204は、ユーザは音声を聴取していないと推定する(ステップS607)。推定部204によりユーザが音声を聴取していないと推定されると、CPUコア10aは、取得部205により取得された情報を当該情報に対応する情報メッセージで表示するモードを選択し、表示処理を開始する(ステップS608、図9)。   When the CPU core 10a determines that the instruction input has been received (step S606; Yes), the estimation unit 204 estimates that the user is not listening to the voice (step S607). When the estimation unit 204 estimates that the user is not listening to the sound, the CPU core 10a selects a mode for displaying the information acquired by the acquisition unit 205 in an information message corresponding to the information, and performs display processing. Start (step S608, FIG. 9).

ステップS608においては、例えば、以下のような処理が行われる。
まず、取得部205は、ユーザに提示する情報を取得する(ステップS901)。例えば、取得部205は、カートリッジ12のROM 12aからユーザに提示する問題文等(例えば、「次の文に答えて下さい。“How are you?”」)を取得する(ステップS901)。表示部202は、当該情報に対応する情報メッセージを表示する(ステップS902)。例えば、表示部202は、図10に示すように、「次の文に答えて下さい。“How are you?”」というメッセージ304を第2の表示部20に表示する(ステップS902)。これに対して、図10に示すように、ユーザはタッチパネルにタッチペン24で答えを入力し、受付部203は当該入力を受け付ける(ステップS903)。
上記情報メッセージで表示するモードにおける処理は、ユーザによりゲーム終了の指示等を情報処理装置200が受け付けるまで繰り返される。
In step S608, for example, the following processing is performed.
First, the acquisition unit 205 acquires information to be presented to the user (step S901). For example, the acquisition unit 205 acquires a problem sentence or the like to be presented to the user from the ROM 12a of the cartridge 12 (for example, “Please answer the following sentence.“ How are you? ””) (Step S901). The display unit 202 displays an information message corresponding to the information (step S902). For example, as shown in FIG. 10, the display unit 202 reads “Please answer the following sentence.“ How are you? The message 304 “” is displayed on the second display unit 20 (step S902). On the other hand, as shown in FIG. 10, the user inputs an answer to the touch panel with the touch pen 24, and the receiving unit 203 receives the input (step S903).
The processing in the mode displayed by the information message is repeated until the information processing apparatus 200 receives an instruction to end the game or the like by the user.

一方、CPUコア10aが指示入力を受け付けなかったと判断した場合(ステップS606;No)、ステップS601に戻る。   On the other hand, when it is determined that the CPU core 10a has not received an instruction input (step S606; No), the process returns to step S601.

本実施形態によれば、ユーザが音声出力を聴取できているか否かを推定することができる。また、ユーザが聴取可能か否かに応じて、提示するコンテンツを選択することができる。   According to the present embodiment, it can be estimated whether or not the user can listen to the audio output. Moreover, the content to be presented can be selected depending on whether the user can listen.

(実施形態2)
本実施形態の情報処理装置は、要求音声と要求メッセージとでユーザに異なる指示入力を求める。
本実施形態の情報処理装置は、実施形態1と同様に上記携帯型情報処理装置1において実現される。また、本実施形態の情報処理装置は実施形態1と同様の構成を有するが、再生部201、表示部202、推定部204において異なる機能を有する。
(Embodiment 2)
The information processing apparatus according to the present embodiment requests different instruction inputs from the user for the request voice and the request message.
The information processing apparatus according to the present embodiment is realized in the portable information processing apparatus 1 as in the first embodiment. The information processing apparatus according to the present embodiment has the same configuration as that of the first embodiment, but has different functions in the playback unit 201, the display unit 202, and the estimation unit 204.

再生部201は、ユーザに第1の種類の指示入力を求める旨の要求音声を再生する。例えば、図11に示すように、「Aボタンを押して下さい。」といった、ユーザに所定の操作入力を求める音声305を再生する。
したがって、CPUコア10a、サウンドアンプ15及びスピーカ16が協働して、再生部201として機能する。
The reproducing unit 201 reproduces a request voice for requesting the user to input a first type instruction. For example, as shown in FIG. 11, a voice 305 for requesting a predetermined operation input from the user, such as “Press A button”, is reproduced.
Therefore, the CPU core 10a, the sound amplifier 15 and the speaker 16 cooperate to function as the reproducing unit 201.

表示部202は、再生部201が要求音声を再生した後、ユーザに第2の種類の指示入力を求める旨の要求メッセージを表示する。例えば、図12に示すように、「Bボタンを押してください。」といった、要求音声と異なる操作入力を求めるメッセージ306を第1の表示部19等に表示する。
したがって、CPUコア10a、VRAM 10c、LCDコントローラ10e、第1の表示部19、及び第2の表示部20が協働して、表示部202として機能する。
The display unit 202 displays a request message for requesting the user to input a second type of instruction after the reproduction unit 201 reproduces the requested sound. For example, as shown in FIG. 12, a message 306 for requesting an operation input different from the requested voice, such as “Please press the B button”, is displayed on the first display unit 19 or the like.
Accordingly, the CPU core 10a, the VRAM 10c, the LCD controller 10e, the first display unit 19, and the second display unit 20 work together to function as the display unit 202.

推定部204は、要求メッセージが表示される前に第1の種類の指示入力が受け付けられ、かつ、要求メッセージが表示された後に第2の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していると推定する。一方、要求メッセージが表示される前に第1の種類の指示入力が受け付けられず、かつ、要求メッセージが表示された後に第2の種類の指示入力が受け付けられた場合、推定部204はユーザは音声を聴取していないと推定する。
したがって、CPUコア10aは推定部204として機能する。
When the first type instruction input is received before the request message is displayed and the second type instruction input is received after the request message is displayed, the estimating unit 204 utters a voice. Presume that you are listening. On the other hand, when the first type instruction input is not received before the request message is displayed and the second type instruction input is received after the request message is displayed, the estimation unit 204 determines that the user Presume that you are not listening to audio.
Therefore, the CPU core 10a functions as the estimation unit 204.

以下、情報処理装置200の各部が行う動作について説明する。情報処理装置200に電源が投入され、ユーザによってプログラムが開始されると、CPUコア10aは、図13のフローチャートに示す処理を開始する。以下、ユーザによって開始されるプログラムは、実施形態1と同様に、英語学習ゲームとする。   Hereinafter, operations performed by each unit of the information processing apparatus 200 will be described. When the information processing apparatus 200 is turned on and the program is started by the user, the CPU core 10a starts the process shown in the flowchart of FIG. Hereinafter, the program started by the user is an English learning game as in the first embodiment.

再生部201は、ユーザに第1の種類の指示入力を求める要求音声を再生する(ステップS1301)。そして、CPUコア10aは、受付部203が第1の種類の指示入力を受け付けたか否かを判断し、判断結果をWRAM 10d等に記憶する(ステップS1302)。例えば、再生部201は、図11に示すように、“Aボタンを押して下さい。”という要求音声305を再生し(ステップS1301)、ユーザが要求音声305を聴取してAボタンを押圧する(受付部203が押圧操作を受け付ける)と、CPUコア10aは、第1の種類の指示入力を受け付けたと判断し、“第1の種類の指示入力有り”という判断結果をWRAM 10dに記憶する(ステップS1302)。一方、ユーザがAボタンを押圧しなかった場合、CPUコア10aは、第1の種類の指示入力を受け付けなかったと判断し、“第1の種類の指示入力無し”という判断結果をWRAM 10dに記憶する(ステップS1302)。   The reproducing unit 201 reproduces a request voice that requests the user to input a first type instruction (step S1301). Then, the CPU core 10a determines whether or not the receiving unit 203 has received the first type instruction input, and stores the determination result in the WRAM 10d or the like (step S1302). For example, as shown in FIG. 11, the reproduction unit 201 reproduces a request voice 305 “Please press the A button” (step S1301), and the user listens to the request voice 305 and presses the A button (acceptance). When the unit 203 accepts the pressing operation), the CPU core 10a determines that the first type instruction input has been received, and stores the determination result “the first type instruction input is present” in the WRAM 10d (step S1302). ). On the other hand, if the user does not press the A button, the CPU core 10a determines that the first type instruction input has not been received, and stores the determination result “no first type instruction input” in the WRAM 10d. (Step S1302).

CPUコア10aが、受付部203が第1の種類の指示入力を受け付けたか否かを判断した後、表示部202は、ユーザに第2の種類の指示入力を求める要求メッセージを表示する(ステップS1303)。そして、CPUコア10aは、受付部203が第2の種類の指示入力を受け付けたか否かを判断し、判断結果をWRAM 10d等に記憶する(ステップS1304)。例えば、表示部202は、図12に示すように、“Bボタンを押して下さい。”という要求メッセージ306を表示し(ステップS1303)、ユーザが要求メッセージ306を読み、Bボタンを押圧する(受付部203が押圧操作を受け付ける)と、CPUコア10aは、第2の種類の指示入力を受け付けたと判断し、“第2の種類の指示入力有り”という判断結果をWRAM 10dに記憶する(ステップS1304)。一方、ユーザがBボタンを押圧しなかった場合、CPUコア10aは、第2の種類の指示入力を受け付けなかった判断し、第2の種類の指示入力無し”という判断結果をWRAM 10dに記憶する(ステップS1304)。   After the CPU core 10a determines whether the receiving unit 203 has received the first type of instruction input, the display unit 202 displays a request message for requesting the second type of instruction input to the user (step S1303). ). Then, the CPU core 10a determines whether or not the receiving unit 203 has received the second type of instruction input, and stores the determination result in the WRAM 10d or the like (step S1304). For example, as shown in FIG. 12, the display unit 202 displays a request message 306 “Please press the B button” (step S1303), and the user reads the request message 306 and presses the B button (accepting unit). When the CPU 203 accepts the pressing operation), the CPU core 10a determines that the second type instruction input has been received, and stores the determination result “the second type instruction input is present” in the WRAM 10d (step S1304). . On the other hand, if the user does not press the B button, the CPU core 10a determines that the second type instruction input has not been received, and stores the determination result “no second type instruction input” in the WRAM 10d. (Step S1304).

そして、CPUコア10aは、WRAM 10dに記憶された判断結果から、どの指示入力が受け付けたかを判断する(ステップS1305)。CPUコア10aが第1の種類の指示入力及び第2の種類の指示入力を受け付けたと判断した場合(ステップS1305;第1及び第2の種類)、推定部204は、ユーザが音声を聴取していると推定する(ステップS1306)。そして、推定部204によりユーザが音声を聴取していると推定されると、CPUコア10aは、取得部205により取得された情報を当該情報に対応する情報音声で再生するモードを選択し、再生処理を開始する(ステップS1307)。ステップS1307では、図6のステップS604と同様の処理が行われる。   Then, the CPU core 10a determines which instruction input is received from the determination result stored in the WRAM 10d (step S1305). When the CPU core 10a determines that the first type instruction input and the second type instruction input are received (step S1305; first and second types), the estimation unit 204 allows the user to listen to the voice. (Step S1306). When the estimation unit 204 estimates that the user is listening to the audio, the CPU core 10a selects a mode for reproducing the information acquired by the acquisition unit 205 with the information audio corresponding to the information, and reproduces the information. Processing is started (step S1307). In step S1307, processing similar to that in step S604 in FIG. 6 is performed.

一方、CPUコア10aが第2の種類の指示入力のみを受け付けたと判断した場合(ステップS1305;第2の種類)、推定部204は、ユーザは音声を聴取していないと推定する(ステップS1308)。そして、推定部204によりユーザが音声を聴取していないと推定されると、CPUコア10aは、取得部205により取得された情報を当該情報に対応する情報メッセージで再生するモードを選択し、表示処理を開始する(ステップS1309)。ステップS1309では、図6のステップS608と同様の処理が行われる。   On the other hand, when the CPU core 10a determines that only the second type instruction input has been received (step S1305; second type), the estimation unit 204 estimates that the user is not listening to the voice (step S1308). . When the estimation unit 204 estimates that the user is not listening to the sound, the CPU core 10a selects a mode for reproducing the information acquired by the acquisition unit 205 with an information message corresponding to the information, and displays the information. Processing is started (step S1309). In step S1309, processing similar to that in step S608 in FIG. 6 is performed.

ユーザから第1の種類の指示入力及び対する第2の種類の指示入力のいずれも受け付けなかった場合、又は第1の種類の指示入力のみを受け付けた場合(ステップS1305;第1の種類又は無し)、ステップS1301に戻り、再生部201が再びユーザに第1の種類の指示入力を求める音声を再生する。   When neither the first type instruction input nor the second type instruction input is received from the user, or only the first type instruction input is received (step S1305; first type or none) Returning to step S1301, the playback unit 201 plays back the sound that requests the user to input the first type of instruction again.

なお、ステップS1302からステップS1305までの処理を、以下に示すような処理(図14参照)に置き換えてもよい。   Note that the processing from step S1302 to step S1305 may be replaced with processing as shown below (see FIG. 14).

再生部201が、ユーザに第1の種類の指示入力を求める要求音声を再生した後(ステップS1301)、CPUコア10aは、受付部203が第1の種類の指示入力を受け付けたか否かを判断する(ステップS1401)。CPUコア10aが指示入力を受け付けたと判断した場合(ステップS1401;Yes)、表示部202は、ユーザに第2の種類の指示入力を求める要求メッセージを表示する(ステップS1402)。そして、要求メッセージが表示された後、CPUコア10aは、受付部203が第2の種類の指示入力を受け付けたか否かを判断する(ステップS1403)。CPUコア10aが第2の種類の指示入力を受け付けたと判断した場合(ステップS1403;Yes)、推定部204は、ユーザが音声を聴取していると推定する(ステップS1306)。   After the reproducing unit 201 reproduces the request voice for requesting the first type instruction input from the user (step S1301), the CPU core 10a determines whether or not the receiving unit 203 has received the first type instruction input. (Step S1401). When the CPU core 10a determines that the instruction input has been received (step S1401; Yes), the display unit 202 displays a request message for requesting the second type of instruction input to the user (step S1402). After the request message is displayed, the CPU core 10a determines whether or not the receiving unit 203 has received the second type instruction input (step S1403). When it is determined that the CPU core 10a has received the second type of instruction input (step S1403; Yes), the estimation unit 204 estimates that the user is listening to sound (step S1306).

要求音声が再生された後、CPUコアa10が第1の種類の指示入力を受け付けたと判断しなかった場合(ステップS1401;No)、ステップS1402と同様に、表示部202は、ユーザに第2の種類の指示入力を求める要求メッセージを表示する(ステップS1404)。要求メッセージが表示された後、CPUコア10aは、受付部203が第2の種類の指示入力を受け付けたか否かを判断する(ステップS1405)。そして、CPUコア10aが第2の種類の指示入力を受け付けたと判断した場合(ステップS1405;Yes)、推定部204は、ユーザは音声を聴取していないと推定する(ステップS1308)。   If the CPU core a10 does not determine that the first type instruction input has been received after the requested voice is reproduced (step S1401; No), the display unit 202 prompts the user for the second type as in step S1402. A request message for requesting input of type is displayed (step S1404). After the request message is displayed, the CPU core 10a determines whether or not the receiving unit 203 has received the second type instruction input (step S1405). If the CPU core 10a determines that the second type of instruction input has been received (step S1405; Yes), the estimation unit 204 estimates that the user is not listening to sound (step S1308).

ステップS1403やステップS1405において、CPUコア10aが第2の種類の指示入力を受け付けたと判断しなかった場合(ステップS1403;No、ステップS1405;No)、ステップS1301に戻り、再生部201が再びユーザに第1の種類の指示入力を求める音声を再生する。   In step S1403 or step S1405, if the CPU core 10a does not determine that the second type of instruction input has been received (step S1403; No, step S1405; No), the process returns to step S1301, and the playback unit 201 returns to the user again. The sound for requesting the first type instruction is reproduced.

本実施形態によれば、音声と画面のメッセージとにおいて、異なる要求をすることによって、より一層正確にユーザが音声出力を聴取できているか否かを推定することができる。   According to the present embodiment, it is possible to estimate whether or not the user can listen to the voice output more accurately by making different requests for the voice and the message on the screen.

本発明によれば、ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するためのプログラムを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the information processing apparatus suitable for estimating whether the user can listen to audio | voice output, the processing method, and the program for implement | achieving these with a computer can be provided.

1 携帯型情報処理装置
10 処理制御部
10a CPUコア
10b 画像処理部
10c VRAM
10d WRAM
10e LCDコントローラ
10f タッチパネルコントローラ
11 コネクタ
12 カートリッジ
12a ROM
12b RAM
13 無線通信部
14 通信コントローラ
15 サウンドアンプ
16 スピーカ
17 マイク
18 操作キー
19 第1の表示部
20 第2の表示部
21 タッチパネル
22 Aボタン
23 Bボタン
24 タッチペン
25 方向キー
200 情報処理装置
201 再生部
202 表示部
203 受付部
204 推定部
205 取得部
301、303、305 音声
302、304、306 メッセージ
DESCRIPTION OF SYMBOLS 1 Portable information processing apparatus 10 Processing control part 10a CPU core 10b Image processing part 10c VRAM
10d WRAM
10e LCD controller 10f Touch panel controller 11 Connector 12 Cartridge 12a ROM
12b RAM
DESCRIPTION OF SYMBOLS 13 Wireless communication part 14 Communication controller 15 Sound amplifier 16 Speaker 17 Microphone 18 Operation key 19 1st display part 20 2nd display part 21 Touch panel 22 A button 23 B button 24 Touch pen 25 Direction key 200 Information processing apparatus 201 Playback part 202 Display unit 203 Reception unit 204 Estimation unit 205 Acquisition unit 301, 303, 305 Voice 302, 304, 306 Message

Claims (7)

ユーザに指示入力を求める旨の要求音声を再生する再生部と、
前記要求音声が再生された後に、前記ユーザに指示入力を求める旨の要求メッセージを表示する表示部と、
前記ユーザからの指示入力を受け付ける受付部と、
前記要求メッセージが表示される前に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示された後に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部と、
を備えることを特徴とする情報処理装置。
A playback unit that plays back a request voice requesting the user to input an instruction;
A display unit for displaying a request message for requesting the user to input an instruction after the request voice is reproduced;
A receiving unit for receiving an instruction input from the user;
If the instruction input is received before the request message is displayed, it is estimated that the user is listening to the voice. If the instruction input is received after the request message is displayed, the user Is an estimator that estimates that it is not listening to speech,
An information processing apparatus comprising:
ユーザに第1の種類の指示入力を求める旨の要求音声を再生する再生部と、
前記要求音声が再生された後に、前記ユーザに第2の種類の指示入力を求める旨の要求メッセージを表示する表示部と、
前記ユーザからの指示入力を受け付ける受付部と、
前記要求メッセージが表示される前に前記第1の種類の指示入力が受け付けられ、かつ、前記要求メッセージが表示された後に前記第2の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示される前に前記第1の種類の指示入力が受け付けられず、かつ、前記要求メッセージが表示された後に前記第2の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部と、
を備えることを特徴とする情報処理装置。
A reproduction unit that reproduces a request voice for requesting the user to input a first type of instruction;
A display unit for displaying a request message for requesting the user to input a second type of instruction after the request voice is reproduced;
A receiving unit for receiving an instruction input from the user;
If the first type instruction input is received before the request message is displayed, and the second type instruction input is received after the request message is displayed, the user speaks a voice. The first type instruction input is not accepted before the request message is displayed, and the second type instruction input is accepted after the request message is displayed. The estimation unit for estimating that the user is not listening to the voice,
An information processing apparatus comprising:
請求項1又は2に記載の情報処理装置であって、
前記ユーザに提示すべき情報を取得する取得部を
さらに備え、
前記ユーザは音声を聴取していると推定された場合、前記再生部は前記取得された情報に対応付けられる情報音声を再生し、
前記ユーザは音声を聴取していないと推定された場合、前記表示部は前記取得された情報に対応付けられる情報メッセージを表示する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 1 or 2,
An acquisition unit for acquiring information to be presented to the user;
When it is estimated that the user is listening to the voice, the playback unit plays back the information voice associated with the acquired information,
When it is estimated that the user is not listening to sound, the display unit displays an information message associated with the acquired information.
再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、
前記再生部が、ユーザに指示入力を求める旨の要求音声を再生する再生工程と、
前記表示部が、前記要求音声が再生された後に、前記ユーザに指示入力を求める旨の要求メッセージを表示する表示工程と、
前記受付部が、前記ユーザからの指示入力を受け付ける受付工程と、
前記推定部が、前記要求メッセージが表示される前に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示された後に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定工程と、
を備えることを特徴とする処理方法。
A processing method executed by an information processing device including a reproduction unit, a display unit, a reception unit, and an estimation unit,
A reproduction step in which the reproduction unit reproduces a request voice requesting an instruction input from a user;
A display step in which the display unit displays a request message for requesting an instruction input to the user after the request voice is reproduced;
A receiving step in which the receiving unit receives an instruction input from the user;
If the instruction input is received before the request message is displayed, the estimation unit estimates that the user is listening to the voice, and the instruction input is received after the request message is displayed. The estimation step for estimating that the user is not listening to the voice;
A processing method comprising:
再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、
前記再生部が、ユーザに第1の種類の指示入力を求める旨の要求音声を再生する再生工程と、
前記表示部が、前記要求音声が再生された後に、前記ユーザに第2の種類の指示入力を求める旨の要求メッセージを表示する表示工程と、
前記受付部が、前記ユーザからの指示入力を受け付ける受付工程と、
前記推定部が、前記要求メッセージが表示される前に前記第1の種類の指示入力が受け付けられ、かつ、前記要求メッセージが表示された後に前記第2の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示される前に前記第1の種類の指示入力が受け付けられず、かつ、前記要求メッセージが表示された後に前記第2の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定工程と、
を備えることを特徴とする処理方法。
A processing method executed by an information processing device including a reproduction unit, a display unit, a reception unit, and an estimation unit,
A reproducing step in which the reproducing unit reproduces a request voice requesting a user to input a first type of instruction;
A display step in which the display unit displays a request message for requesting the user to input a second type of instruction after the request voice is reproduced;
A receiving step in which the receiving unit receives an instruction input from the user;
When the estimation unit receives the first type instruction input before the request message is displayed, and receives the second type instruction input after the request message is displayed, It is assumed that the user is listening to the voice, the first type instruction input is not accepted before the request message is displayed, and the second type is displayed after the request message is displayed. When the instruction input is accepted, the estimation step for estimating that the user is not listening to the voice,
A processing method comprising:
コンピュータを、
ユーザに指示入力を求める旨の要求音声を再生する再生部、
前記要求音声が再生された後に、前記ユーザに指示入力を求める旨の要求メッセージを表示する表示部、
前記ユーザからの指示入力を受け付ける受付部、
前記要求メッセージが表示される前に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示された後に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部、
として機能させることを特徴とするプログラム。
Computer
A playback unit for playing back a request voice requesting an instruction input from a user;
A display unit for displaying a request message for requesting the user to input an instruction after the requested voice is reproduced;
A receiving unit for receiving an instruction input from the user;
If the instruction input is received before the request message is displayed, it is estimated that the user is listening to the voice. If the instruction input is received after the request message is displayed, the user Is an estimator that estimates that no speech is being heard,
A program characterized by functioning as
コンピュータを、
ユーザに第1の種類の指示入力を求める旨の要求音声を再生する再生部、
前記要求音声が再生された後に、前記ユーザに第2の種類の指示入力を求める旨の要求メッセージを表示する表示部、
前記ユーザからの指示入力を受け付ける受付部、
前記要求メッセージが表示される前に前記第1の種類の指示入力が受け付けられ、かつ、前記要求メッセージが表示された後に前記第2の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示される前に前記第1の種類の指示入力が受け付けられず、かつ、前記要求メッセージが表示された後に前記第2の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部、
として機能させることを特徴とするプログラム。
Computer
A playback unit for playing back a request voice requesting the user to input a first type of instruction;
A display unit for displaying a request message for requesting the user to input a second type of instruction after the request voice is reproduced;
A receiving unit for receiving an instruction input from the user;
If the first type instruction input is received before the request message is displayed, and the second type instruction input is received after the request message is displayed, the user speaks a voice. The first type instruction input is not accepted before the request message is displayed, and the second type instruction input is accepted after the request message is displayed. An estimation unit that estimates that the user is not listening to audio,
A program characterized by functioning as
JP2009239699A 2009-10-16 2009-10-16 Information processing apparatus, processing method, and program Active JP5161188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009239699A JP5161188B2 (en) 2009-10-16 2009-10-16 Information processing apparatus, processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009239699A JP5161188B2 (en) 2009-10-16 2009-10-16 Information processing apparatus, processing method, and program

Publications (2)

Publication Number Publication Date
JP2011086193A JP2011086193A (en) 2011-04-28
JP5161188B2 true JP5161188B2 (en) 2013-03-13

Family

ID=44079075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009239699A Active JP5161188B2 (en) 2009-10-16 2009-10-16 Information processing apparatus, processing method, and program

Country Status (1)

Country Link
JP (1) JP5161188B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013061A1 (en) * 2018-07-11 2020-01-16 ソニー株式会社 Information processing device and information processing method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04273743A (en) * 1991-02-28 1992-09-29 Tamura Electric Works Ltd Telephone system
JPH09218766A (en) * 1996-02-09 1997-08-19 Toshiba Corp Device for outputting information and its method
JP3261967B2 (en) * 1996-02-26 2002-03-04 富士ゼロックス株式会社 Language information processing device
JP2003122199A (en) * 2001-10-17 2003-04-25 Ricoh Co Ltd Input device for office machine
JP2006224525A (en) * 2005-02-18 2006-08-31 Ricoh Co Ltd Image forming apparatus
JP2008009808A (en) * 2006-06-30 2008-01-17 Sanyo Electric Co Ltd Information processor
JP2008152445A (en) * 2006-12-15 2008-07-03 Murata Mach Ltd Voice guidance device and network composite machine
WO2008084575A1 (en) * 2006-12-28 2008-07-17 Mitsubishi Electric Corporation Vehicle-mounted voice recognition apparatus
JP2008257363A (en) * 2007-04-02 2008-10-23 Toyota Motor Corp Operation support device
JP5092713B2 (en) * 2007-11-27 2012-12-05 ブラザー工業株式会社 Information processing program and information processing apparatus

Also Published As

Publication number Publication date
JP2011086193A (en) 2011-04-28

Similar Documents

Publication Publication Date Title
JP6322830B2 (en) Information processing apparatus, information processing program, information processing system, and information processing method
TWI436264B (en) Dynamic interpretation of user input in a portable electronic device
KR20100000336A (en) Apparatus and method for processing multimedia contents
TW200813811A (en) Selective muting of applications
KR20140006503A (en) Method and apparatus for recording and playing of user voice of mobile terminal
JP2016114673A (en) Electronic equipment and program
JP4500730B2 (en) Karaoke device and electronic sample device
JP5161188B2 (en) Information processing apparatus, processing method, and program
Katz The persistence of analogue
JP2023134548A (en) Voice processing apparatus, voice processing method, and voice processing program
JP2001022370A (en) Voice guidance device
JP2015111217A (en) Voice output device and program
TW201351293A (en) Entertainment and educational optical reader system
JP2008032787A (en) Language learning system and program for language learning system
JP4581052B2 (en) Recording / reproducing apparatus, recording / reproducing method, and program
JP4972111B2 (en) Audio playback device, playback method, and program
JP2006012257A (en) Composition selection device, composition selection system and composition selection method
JP7225955B2 (en) ELECTRONIC DEVICE, FUNCTION SELECTION METHOD AND PROGRAM
JP2010169925A (en) Speech processing device, chat system, speech processing method and program
JP3978465B2 (en) Recording / playback device
JP4294712B1 (en) Audio processing apparatus, audio processing method, and program
JP4100429B2 (en) Karaoke equipment
JP7379808B2 (en) recording device
KR101562901B1 (en) System and method for supporing conversation
WO2010084590A1 (en) Musical composition outputting device, musical composition reproducing device, musical composition outputting method, musical composition outputting program, and, musical information transmission program and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121213

R150 Certificate of patent or registration of utility model

Ref document number: 5161188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250