WO2016136044A1 - 情報処理システムおよび情報処理方法 - Google Patents

情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
WO2016136044A1
WO2016136044A1 PCT/JP2015/081751 JP2015081751W WO2016136044A1 WO 2016136044 A1 WO2016136044 A1 WO 2016136044A1 JP 2015081751 W JP2015081751 W JP 2015081751W WO 2016136044 A1 WO2016136044 A1 WO 2016136044A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
unit
information
sound
voice recognition
Prior art date
Application number
PCT/JP2015/081751
Other languages
English (en)
French (fr)
Inventor
真一 河野
祐平 滝
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015033059A external-priority patent/JP2016156877A/ja
Priority claimed from JP2015059566A external-priority patent/JP2016180778A/ja
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15883334.3A priority Critical patent/EP3264413B1/en
Priority to US15/548,977 priority patent/US10522140B2/en
Publication of WO2016136044A1 publication Critical patent/WO2016136044A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Definitions

  • This disclosure relates to an information processing system and an information processing method.
  • a technique for obtaining a result of speech recognition processing by performing speech recognition processing on sound information collected by a microphone is known.
  • the result of the speech recognition process is output in a manner that can be perceived by the user.
  • the voice recognition process for sound information collected by a microphone can be started with a start operation input from the user as a trigger (see, for example, Patent Document 1).
  • the output control unit is configured to cause the output unit to output a start condition of a voice recognition process performed by the voice recognition unit on the sound information input from the sound collection unit, and the output control unit includes the output control unit, There is provided an information processing system that dynamically changes the start condition of the voice recognition processing to be output to an output unit.
  • the output unit includes outputting a start condition of a voice recognition process performed by the voice recognition unit on the sound information input from the sound collection unit, and causing the output unit to output the sound recognition process.
  • An information processing method including dynamically changing the start condition of the speech recognition process is provided.
  • FIG. 3 is a block diagram illustrating a functional configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. It is a figure which shows the example of a screen transition until it detects the starting trigger of a speech recognition process from the display of an initial screen. It is a figure which shows the example of the screen transition after the remaining time until a speech recognition process is started as a start condition until a speech recognition process is started. It is a figure which shows the example of a screen transition after the information regarding user operation required in order to start a speech recognition process is output as a start condition until a speech recognition process is started.
  • the remaining time until the voice recognition process is started is dynamically shortened based on past sound information collected at a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. It is a figure for demonstrating the example to do.
  • the remaining time until the voice recognition process is started is dynamically shortened based on past sound information collected at a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. It is a figure for demonstrating the example to do.
  • the remaining time until the voice recognition process is started is dynamically lengthened based on past sound information collected at a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. It is a figure for demonstrating the example to do.
  • the remaining time until the voice recognition process is started is dynamically lengthened based on past sound information collected at a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. It is a figure for demonstrating the example to do. It is a figure which shows the example of the display information when the remaining time until a speech recognition process is started becomes short. It is a figure which shows the example of the display information when the remaining time until a speech recognition process is started becomes long.
  • Flow of operation for dynamically changing the start condition to be output to the output unit based on past sound information collected in a predetermined time from when the activation trigger is detected in the past to when the voice recognition process is started It is a flowchart which shows the example of.
  • Flow of operation for dynamically changing the start condition to be output to the output unit based on past sound information collected in a predetermined time from when the activation trigger is detected in the past to when the voice recognition process is started It is a flowchart which shows the example of. It is a figure which shows the example of the correspondence of a filler and its audio
  • FIG. 3 is a block diagram illustrating a functional configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. It is a figure which shows the example of the screen transition displayed during execution of the speech recognition process from the display of an initial screen. It is a figure for demonstrating the function detail of the information processing system which concerns on embodiment of this indication. It is another figure for demonstrating the function detail of the information processing system which concerns on embodiment of this indication.
  • FIG. 10 is a flowchart illustrating an example of the overall operation flow of the information processing system according to the embodiment of the present disclosure. It is a figure which shows the modification of the display form by an output part. 10 is a flowchart illustrating an example of the overall operation flow of the information processing system according to the embodiment of the present disclosure. It is a figure which shows the modification of the system configuration
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different numerals after the same reference numerals. However, when it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given.
  • FIG. 1 is a diagram for explaining speech recognition processing in a general system.
  • a voice voice or speech
  • a sound are used separately.
  • the utterance indicates a state in which the user is uttering sound
  • the silence indicates a state in which sound information is collected with a volume smaller than the threshold.
  • system when an operation for selecting a speech recognition start operation object G14A for starting speech recognition processing is input from a user, Such an operation is detected as an activation trigger for the voice recognition process, and a sound collection start screen G91A is displayed (time T91A).
  • the sound collection start screen G91A is displayed, the user starts speaking (time T92A), and the system performs sound recognition processing on the collected sound information while collecting sound with the microphone (S91A).
  • a silent state is started. Then, the system detects a section (hereinafter also referred to as a “silent section”) MaA in which the duration of the sound information collected by the microphone continues to reach a predetermined target time that is below the reference volume. (Time T94A), a predetermined execution operation is executed based on the result of the speech recognition process performed on the sound information collected in the utterance section HaA (S92A).
  • the execution operation based on the result of the speech recognition process is not particularly limited.
  • the execution operation based on the result of the speech recognition process includes an operation of outputting a search result corresponding to a character string as a result of the speech recognition process, an operation of outputting a character string as a result of the speech recognition process, Any one of an operation of outputting the processing result candidate obtained in the process and an operation of outputting a character string for replying to the utterance content extracted from the character string as a result of the speech recognition process may be included.
  • the method of extracting the utterance content from the character string as a result of the speech recognition process is not limited.
  • a technique for extracting utterance contents from a character string as a result of speech recognition processing is performed by performing natural language processing (for example, language analysis, semantic analysis, etc.) on a character string as a result of speech recognition processing.
  • the content may be extracted.
  • the system displays a screen G92A indicating that the execution operation is being processed.
  • the system displays a screen G93A indicating the result of the execution operation.
  • “collar”, “bid”, and “kick” are included in the screen G93A showing the result of the execution operation as a search result corresponding to the character string as the result of the speech recognition process.
  • the voice recognition process is started before the voice recognition process start condition is output. Therefore, when there is a user who considers the utterance content after performing the operation of selecting the voice recognition start operation object G14A, the sound information collected before the start of the utterance is also subject to the voice recognition process. The voice recognition process may be affected.
  • the sound information collected before the start of the utterance there may be fillers or extra utterances uttered by the user.
  • the filler means a word that is sandwiched between the utterances between the utterances, such as “um”, “that”, “well”.
  • noise or the like may exist in the sound information collected before the start of utterance.
  • the noise may mean sound information obtained by excluding a user's voice from sound information input from the sound collection unit 120A.
  • the result of the speech recognition process for the sound information collected before the start of utterance may affect the speech recognition process for the sound information collected after the utterance is started.
  • voice recognition processing is performed based on sound information collected before the start of utterance and a silent section is detected before the start of utterance
  • an execution operation based on the result of the voice recognition processing is started before the start of utterance. There is also a possibility that.
  • the present specification proposes a technique for outputting the start condition of the voice recognition process before the voice recognition process is started. Furthermore, if a certain start condition is output regardless of the situation, it is difficult to start the voice recognition process flexibly according to the situation. Therefore, in the present specification, a technique capable of flexibly starting the speech recognition processing according to the situation is proposed.
  • FIG. 2 is a diagram illustrating a configuration example of the information processing system 10A according to the embodiment of the present disclosure.
  • the information processing system 10A according to the embodiment of the present disclosure includes an image input unit 110A, an operation input unit 115A, a sound collection unit 120A, and an output unit 130A.
  • the information processing system 10A can perform a voice recognition process on a voice uttered by a user UA (hereinafter also simply referred to as “user”).
  • the image input unit 110A has a function of inputting an image.
  • the image input unit 110A includes two cameras embedded in the table TblA.
  • the number of cameras included in the image input unit 110A is not particularly limited as long as it is one or more. In such a case, the position where each of the one or more cameras included in the image input unit 110A is provided is not particularly limited.
  • the one or more cameras may include a monocular camera or a stereo camera.
  • the operation input unit 115A has a function of inputting an operation of the user UA.
  • the operation input unit 115A includes one camera suspended from the ceiling that exists above the table TblA.
  • the position where the camera included in the operation input unit 115A is provided is not particularly limited.
  • the camera may include a monocular camera or a stereo camera.
  • the operation input unit 115A may not be a camera as long as it has a function of inputting the operation of the user U.
  • the operation input unit 115A may be a touch panel or a hardware button.
  • the output unit 130A has a function of displaying a screen on the table TblA.
  • the output unit 130A is suspended from the ceiling above the table TblA.
  • the position where the output unit 130A is provided is not particularly limited.
  • the output unit 130A may be a projector capable of projecting a screen onto the top surface of the table TblA.
  • the output unit 130A may be a display of another form. May be.
  • the display surface of the screen may be other than the top surface of the table TblA.
  • the display surface of the screen may be a wall, a building, a floor surface, the ground, or a ceiling.
  • the display surface of the screen may be a non-planar surface such as a curtain fold, or may be a surface in another place.
  • the output unit 130A has a display surface
  • the display surface of the screen may be the display surface of the output unit 130A.
  • the sound collection unit 120A has a function of collecting sound.
  • the sound collection unit 120A includes a total of six microphones including three microphones existing above the table TblA and three microphones existing on the upper surface of the table TblA.
  • the number of microphones included in the sound collection unit 120A is not particularly limited as long as it is one or more. In such a case, the position where each of the one or more microphones included in the sound collection unit 120A is provided is not particularly limited.
  • the arrival direction of the sound can be estimated based on sound information collected by each of the plurality of microphones. If the sound collection unit 120A includes a microphone having directivity, the direction of arrival of sound can be estimated based on sound information collected by the microphone having directivity.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the information processing system 10A according to the embodiment of the present disclosure.
  • an information processing system 10A according to an embodiment of the present disclosure includes an image input unit 110A, an operation input unit 115A, a sound collection unit 120A, an output unit 130A, and an information processing device 140A (hereinafter referred to as “information processing device 140A”). , Also referred to as “control unit 140 ⁇ / b> A”).
  • the information processing apparatus 140A executes control of each unit of the information processing system 10A. For example, the information processing apparatus 140A generates information output from the output unit 130A. Further, for example, the information processing apparatus 140A reflects information input by the image input unit 110A, the operation input unit 115A, and the sound collection unit 120A in information output from the output unit 130A. As shown in FIG. 3, the information processing apparatus 140A includes an input image acquisition unit 141A, a sound information acquisition unit 142A, an operation detection unit 143A, a recognition control unit 144A, a voice recognition unit 145A, and an output control unit 146A. With. Details of these functional blocks will be described later.
  • the information processing apparatus 140A may be configured by, for example, a CPU (Central Processing Unit).
  • a CPU Central Processing Unit
  • the processing device can be configured by an electronic circuit.
  • FIG. 4 is a diagram illustrating an example of screen transition from the display of the initial screen to the detection of the activation trigger for the voice recognition process.
  • the output control unit 146A displays an initial screen G10-1A.
  • a recognition field which is a display column for a voice recognition start operation object G14A for starting voice recognition processing and a character string obtained by the voice recognition processing (hereinafter also referred to as “recognized character string”).
  • a character string display field G11A is included.
  • the initial screen G10-1A includes a delete all operation object G12A for deleting all recognized character strings and a confirm operation object G13A for confirming recognized character strings.
  • the initial screen G10-1A also includes a forward movement operation object G15A for returning the cursor position in the recognized character string to the front, a backward movement operation object G16A for moving the cursor position in the recognized character string backward, and a character at the cursor position.
  • a deletion operation object G17A for deleting a word is included.
  • the operation is detected by the operation detection unit 143A as a start trigger of the voice recognition process.
  • the output control unit 146A outputs a voice recognition process start condition when a voice recognition process activation trigger is detected.
  • an operation for selecting the speech recognition start operation object G14A will be described as an example as a start trigger for the speech recognition process, but the start trigger for the speech recognition process is not limited to this example.
  • the activation trigger for the speech recognition process may be an operation of pressing a hardware button for activating the speech recognition process.
  • the voice recognition process may be started between the start of pressing the hardware button and the release of pressing (Push To Talk type).
  • the activation trigger for the voice recognition process may be an execution of a voice recognition process activation command (for example, an utterance “voice”).
  • the voice recognition process activation trigger is a predetermined voice recognition process activation gesture (for example, raising a hand, swinging a hand down, moving a face (for example, nodding, tilting the face to the left or right, etc.)). May be.
  • the activation trigger of the voice recognition process may include that the sound information whose voice likelihood exceeds the threshold is acquired from the sound collection unit 120A.
  • FIG. 5 is a diagram showing an example of screen transition from when the remaining time until the voice recognition process is started as a start condition until the voice recognition process is started.
  • the output control unit 146A starts outputting the remaining time notification screen G21-1A (time T11A).
  • the remaining time notification screen G21-1A includes a remaining time G23-1A until the voice recognition process is started and a cancel object G22A for stopping the output of the start condition.
  • the output control unit 146A decreases the remaining time G23-1A as time elapses. For example, the output control unit 146A causes the remaining time notification screen G21-2A including the remaining time G23-2A after being reduced from the remaining time G23-1A to be output. Subsequently, when the remaining time until the voice recognition process is started becomes zero and the start condition is satisfied (time T12A), the output control unit 146A stops outputting the start condition (time T13A). When the output of the start condition is stopped, the user starts speaking toward the sound collection unit 120A (time T14A).
  • the output control unit 146A displays a predetermined object (hereinafter also referred to as “display object”) MuA.
  • the display object MuA may be stationary or may have movement.
  • the moving direction DeA of the display object MuA may be determined according to the arrival direction from the sound source of the uttered voice by the user to the sound collection unit 120A.
  • the estimation method of the arrival direction of the uttered voice by the user is not particularly limited.
  • the recognition control unit 144A utters one arrival direction that matches or is similar to the finger direction (for example, the direction from the base of the finger to the fingertip) of the user who performed the operation of selecting the voice recognition start operation object G14A. It may be estimated as the voice arrival direction. The similarity range may be determined in advance.
  • the finger direction may be obtained by analyzing the input image.
  • the recognition control unit 144A may estimate the arrival direction of the sound input by the sound collection unit 120A as the arrival direction of the uttered voice by the user.
  • the arrival direction of the sound input first among the plurality of arrival directions may be estimated as the arrival direction of the uttered voice by the user.
  • One arrival direction that matches or is similar to the direction of the finger of the user who has performed the operation of selecting the recognition start operation object G14A may be estimated as the arrival direction of the uttered voice by the user.
  • the recognition control unit 144A may estimate the arrival direction of the sound input by the sound collecting unit 120A at the highest volume among the plurality of arrival directions as the arrival direction of the uttered voice by the user. In this way, the arrival direction of the uttered voice by the user can be estimated.
  • the recognition control unit 144A may acquire the sound input by the sound collection unit 120A from a direction other than the arrival direction of the uttered voice by the user as noise. Therefore, the noise may include an output sound from the information processing system 10A.
  • FIG. 5 shows an example in which the output control unit 146A moves the display object MuA in the direction of arrival of the uttered voice (movement direction DeA) by the user.
  • movement direction DeA movement direction
  • the user can intuitively understand that his / her speech is being collected by the sound collection unit 120A.
  • the movement of the display object MuA is not limited to such movement.
  • FIG. 5 shows an example in which the movement destination of the display object MuA is the voice recognition start operation object G14A.
  • the movement destination of the display object MuA is not limited to this example.
  • FIG. 5 shows an example in which the output control unit 146A moves the circular display object MuA that appears one after another according to the sound collection by the sound collection unit 120A.
  • the display mode of the display object MuA is shown. Is not limited to such an example.
  • the output control unit 146A may control various parameters of the display object MuA based on predetermined information corresponding to the sound information (for example, sound quality, sound volume, etc. of the sound information).
  • the sound information used at this time may be sound information from the direction of arrival of the uttered voice by the user.
  • the parameter of the display object MuA may include at least one of the shape, transparency, color, size, and movement of the display object MuA.
  • a technique described in a patent document Japanese Patent Laid-Open No. 2010-38943 can be employed as a technique for evaluating the likelihood of sound from sound information.
  • a method for evaluating the likelihood of sound from sound information a method described in a patent document (Japanese Patent Laid-Open No. 2007-328228) can be adopted.
  • the speech likelihood evaluation is performed by the output control unit 146A, but the speech likelihood evaluation may be performed by a server (not shown).
  • the recognition control unit 144A causes the voice recognition unit 145A to start voice recognition processing on the sound information acquired by the sound information acquisition unit 142A.
  • the timing for starting the speech recognition process is not limited.
  • the recognition control unit 144A may cause the voice recognition unit 145A to start after the sound information whose voice likelihood exceeds a predetermined threshold is collected, or the display object MuA reaches the voice recognition start operation object G14A. Then, the voice recognition unit 145A may start the voice recognition process for the sound information corresponding to the display object MuA.
  • cancellation object G22A when a user wants to cancel the start of a speech recognition process.
  • the operation is input as an output stop operation by the operation input unit 115A, and the output detection operation is detected by the operation detection unit 143A.
  • the output control unit 146A stops the output of the start condition.
  • the example in which the remaining time until the voice recognition process is started is output as the start condition.
  • information related to a user operation necessary for starting the speech recognition process is output as a start condition.
  • FIG. 6 is a diagram illustrating an example of screen transition from when information related to a user operation necessary for starting the voice recognition process is output as a start condition until the voice recognition process is started.
  • the output control unit 146A starts outputting the utterance start confirmation screen G24-1A (time T11A).
  • the utterance start confirmation screen G24-1A includes a speech recognition processing start object G25-1A and a cancellation object G22A as information related to user operations necessary for starting the speech recognition processing.
  • the operation is input by the operation input unit 115A and detected by the operation detection unit 143A.
  • the output control unit 146A stops outputting the start condition (time T13A).
  • the output of the start condition is stopped, the user starts speaking toward the sound collection unit 120A (time T14A). Subsequent operations can be executed in the same manner as in the example in which the remaining time until the voice recognition process already described is started is output as the start condition.
  • the example in which the information related to the user operation necessary for starting the voice recognition process is output as the start condition has been described.
  • the user collects sound information (for example, filler and extra utterances) collected before the start of utterance as shown in FIG. 5 and FIG. It is possible to reduce the influence on the recognition process.
  • the output control unit 146A dynamically changes the start condition of the voice recognition process to be output to the output unit 130A.
  • the voice recognition process can be started flexibly according to the situation.
  • the output control unit 146A may dynamically change the start condition of the speech recognition process to be output to the output unit 130A based on predetermined information.
  • Specified information is not particularly limited.
  • First, an example will be described in which the start condition to be output to the output unit 130A is dynamically changed based on sound information input from the sound collection unit 120A after the activation trigger for the speech recognition process is detected.
  • FIG. 7 is a diagram for explaining an example in which the start condition is dynamically changed based on the sound information input from the sound collection unit 120A after the activation trigger for the speech recognition process is detected.
  • the operation detection unit 143A As shown in FIG. 7, when an operation for selecting the voice recognition start operation object G14A by the user is input by the operation input unit 115A, the operation is detected by the operation detection unit 143A as a start trigger of the voice recognition process (time). T10A).
  • the output control unit 146A causes the output unit 130A to output based on the first type of sound information included in the sound information input from the sound collection unit 120A. To change dynamically.
  • the first type of sound information is not particularly limited.
  • the first type of sound information may include at least noise. This is because the noise may interfere with the voice recognition process for the user's utterance.
  • the description will be continued by taking as an example the case where the first type of sound information is noise.
  • the output control unit 146A preferably changes the start condition to information related to user operation necessary for starting the speech recognition process.
  • the output control unit 146A may output the utterance start confirmation screen G24-1A when the noise level exceeds the first threshold value n1A.
  • the speech start confirmation screen G24-1A includes a speech recognition processing start object G25-1A and a cancellation object G22A as information related to user operations necessary for starting the speech recognition processing. Yes.
  • the operation is input by the operation input unit 115A and detected by the operation detection unit 143A.
  • the output control unit 146A stops outputting the start condition (time T13A). The subsequent operation is as described above.
  • the output control unit 146A starts at the remaining time until the voice recognition process is started when the volume of the noise is lower than the first threshold value n1A and the noise level is higher than the second threshold value n2A. It is better to change the conditions.
  • the remaining time notification screen G21-1A includes a remaining time G23-1A until the voice recognition process is started and a cancellation object G22A for stopping the output of the start condition.
  • the output control unit 146A stops outputting the start condition (time T13A). The start condition output is stopped. The subsequent operation is as described above.
  • the output control unit 146A omits outputting the start condition to the output unit 130A when the noise level falls below the second threshold value n2A.
  • the noise level when the noise level is equal to the first threshold value n1A, it is handled in the same manner as when the noise level is equal to or lower than the first threshold value n1A and when the noise level is equal to or higher than the second threshold value n2A. However, it may be handled in the same manner as when the noise level exceeds the first threshold value n1A. Further, in the above, when the noise level is equal to the second threshold value n2A, it is handled in the same manner as when the noise level is equal to or lower than the first threshold value n1A and when the noise level is equal to or higher than the second threshold value n2A. However, it may be handled in the same manner as when the noise level is lower than the second threshold value n2A.
  • the output control unit 146A may cause the output unit 130A to output predetermined display information as a start condition.
  • 8 and 9 are diagrams illustrating an example in which display information is output to the output unit 130A as a start condition.
  • FIG. 8 shows an example in which the display contents gradually appear in the voice recognition start operation object G14A (time T31A to time T36A).
  • FIG. 9 shows an example in which the color of the voice recognition start operation object G14A is gradually changed (time T41A to time T46A).
  • the output control unit 146A may cause the output unit 130A to output predetermined audio information as a start condition.
  • 10 and 11 are diagrams illustrating an example in which audio information is output to the output unit 130A as a start condition.
  • FIG. 10 shows an example in which voice information notifying the start timing (time T54A) of voice recognition processing is output from time T51A to time T54A.
  • FIG. 11 shows an example in which voice information that informs the start timing (time T64A) of the voice recognition process is output from time T61A to time T64A.
  • the start condition to be output to the output unit 130A is dynamically determined based on the sound information input from the sound collection unit 120A after the activation trigger of the voice recognition process is detected.
  • the operation flow to be changed will be described.
  • the flowcharts of FIGS. 12 and 13 dynamically change the start condition to be output to the output unit 130A based on the sound information input from the sound collection unit 120A after the activation trigger of the speech recognition process is detected. Since this is merely an example of the flow of operation, the flow of such operation is not limited to the examples shown in the flowcharts of FIGS.
  • the operation detection unit 143A detects the activation trigger for the voice recognition processing (S11A), and the sound information v1A is input from the sound collection unit 120A (S12A). Subsequently, the output control unit 146A dynamically determines the start condition of the speech recognition process based on the noise (S13A).
  • the details of the operation for dynamically determining the start condition of the speech recognition process based on noise will be described with reference to FIG.
  • the output control unit 146A acquires the sound information v1A (S131A), and when the noise level of the sound information v1A exceeds the threshold value n1A (“Yes” in S132A), the modal UI (in the above example, the utterance start) It is determined to output the confirmation screen G24-1A) (S133A).
  • the output control unit 146A proceeds to S134A, and if the noise level of the sound information v1A is lower than the threshold value n2A (in S134A) “Yes”), it is determined not to output the start condition (S135A), and if the noise level of the sound information v1A does not fall below the threshold value n2A (“No” in S134A), the timer UI (remaining time notification screen G21- 1A) is determined to be output (S136A).
  • the output control unit 146A shifts the operation to S18A.
  • the output control unit 146A outputs the start condition (S15A).
  • the operation detection unit 143A detects the output stop trigger of the start condition (S16A).
  • the output stop trigger of the start condition can include an operation that the start condition is satisfied and an operation of selecting the cancel object G22A for stopping the output of the start condition.
  • the output control unit 146A stops outputting the start condition. If the start condition is not satisfied (“No” in S17A), the voice recognition unit 145A ends the operation without starting the voice recognition process (S19A). On the other hand, when the start condition is satisfied (“Yes” in S17A), the voice recognition unit 145A starts the voice recognition process (S18A).
  • FIGS. 14 and 15 show the time until the voice recognition process is started based on the past sound information collected at a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. It is a figure for demonstrating the example which shortens remaining time dynamically.
  • the operation is used as a start trigger for the speech recognition process. It is detected by the operation detection unit 143A (time T10A).
  • the output control unit 146A starts accumulating the sound information input from the sound collection unit 120A and starts outputting the remaining time notification screen G21-1A (time T11A).
  • the remaining time notification screen G21-1A includes the remaining time G23-1A until the voice recognition process is started and the cancel object G22A for stopping the output of the start condition.
  • the output control unit 146A decreases the remaining time G23-1A as time elapses. For example, the output control unit 146A causes the remaining time notification screen G21-2A including the remaining time G23-2A after being reduced from the remaining time G23-1A to be output. Subsequently, when the remaining time until the voice recognition process is started becomes zero and the start condition is satisfied (time T12A), the output control unit 146A stops outputting the start condition (time T13A).
  • the output control unit 146A ends the accumulation of the sound information input from the sound collection unit 120A.
  • the sound information accumulated in this way is used as the past sound information in the next speech recognition process.
  • the user starts speaking toward the sound collection unit 120A (time T14A). Subsequent operations can be executed in the same manner as in the example in which the remaining time until the voice recognition process already described is started is output as the start condition.
  • the operation detection unit 143A detects the activation trigger (time T10A).
  • the output control unit 146A acquires the accumulated past sound information, starts accumulating the sound information input from the sound collecting unit 120A, and displays the remaining time notification screen
  • the output of G21-1A is started (time T11A).
  • the output control unit 146A dynamically changes the start condition to be output to the output unit 130A based on the second type of sound information included in the past sound information.
  • the second type of sound information is not particularly limited.
  • the second type of sound information may include at least noise. This is because the noise may interfere with the voice recognition process for the user's utterance.
  • the description will be continued by taking as an example the case where the second type of sound information is noise.
  • the noise level was lower than the threshold until the start condition output was stopped after the start trigger of the speech recognition processing was detected.
  • the noise level at the time of the first voice recognition process acquired at the time of the second voice recognition process is smaller than the threshold value.
  • the output control unit 146A shortens the remaining time until the voice recognition process to be output as the start condition is started compared to the time of the first voice recognition process.
  • the output control unit 146A sets the remaining time G23-1A until the voice recognition process is started as “3” seconds in the first voice recognition process.
  • the time is shortened to “1” seconds.
  • the remaining time G23-1A until the voice recognition process is started is immediately shortened during the second voice recognition process, but the state where the noise level is smaller than the threshold value continues several times.
  • the remaining time G23-1A until the voice recognition process is started may be shortened.
  • the operation starts the speech recognition process. It is detected by the operation detection unit 143A as a trigger (time T10A).
  • the output control unit 146A starts accumulating the sound information input from the sound collection unit 120A during the accumulated second speech recognition process (time T11A).
  • the noise level is lower than the threshold until the start condition output is stopped after the start trigger of the speech recognition process is detected.
  • the noise level at the time of the second day speech recognition processing acquired at the time of the third speech recognition processing is smaller than the threshold value.
  • the output control unit 146A shortens the remaining time until the voice recognition process to be output as the start condition is started compared to the time of the voice recognition process on the second day.
  • the output control unit 146A sets the remaining time G23-1A until the voice recognition process is started as “1” seconds at the time of the voice recognition process on the second day.
  • the output of the remaining time notification screen G21-1A is omitted.
  • the output of the remaining time notification screen G21-1A is immediately omitted at the time of the third speech recognition process.
  • the output of the notification screen G21-1A may be omitted.
  • FIG. 16 and FIG. 17 show the time until the voice recognition process is started based on the past sound information collected at a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. It is a figure for demonstrating the example which lengthens remaining time dynamically.
  • the operation is used as a start trigger for the speech recognition process. It is detected by the operation detection unit 143A (time T10A).
  • the output control unit 146A starts accumulating the sound information input from the sound collection unit 120A and starts outputting the remaining time notification screen G21-1A (time T11A). . Subsequent operations can be executed in the same manner as in the example in which the remaining time until the voice recognition process already described is started is output as the start condition.
  • the operation detection unit 143A detects the activation trigger (time T10A).
  • the output control unit 146A acquires the accumulated past sound information, starts accumulating the sound information input from the sound collecting unit 120A, and displays the remaining time notification screen
  • the output of G21-1A is started (time T11A).
  • the noise level was larger than the threshold until the start condition output was stopped after the start trigger of the speech recognition processing was detected.
  • the noise level at the time of the first voice recognition process acquired at the time of the second voice recognition process is larger than the threshold value.
  • the output control unit 146A makes the remaining time until the voice recognition process to be output as the start condition is started longer than that in the first voice recognition process.
  • the output control unit 146A sets the remaining time G23-1A until the voice recognition process is started as “3” seconds at the time of the first voice recognition process.
  • the second speech recognition process it is set to “5” seconds.
  • the remaining time G23-1A until the voice recognition process is started is immediately increased during the second voice recognition process, but the state in which the noise level is larger than the threshold value continues several times. For the first time, the remaining time G23-1A until the voice recognition process is started may be longer.
  • the operation is activated by the speech recognition process. It is detected by the operation detection unit 143A as a trigger (time T10A).
  • the output control unit 146A starts accumulating the sound information input from the sound collection unit 120A during the accumulated second speech recognition process (time T11A).
  • the noise level is higher than the threshold until the start condition output is stopped after the start trigger of the speech recognition process is detected.
  • the noise level at the time of the voice recognition process on the second day acquired at the time of the third voice recognition process is larger than the threshold value.
  • the output control unit 146A makes the remaining time until the voice recognition process to be output as the start condition is started longer than that in the voice recognition process on the second day.
  • the output control unit 146A sets the remaining time G23-1A until the voice recognition process is started as “5” seconds at the time of the voice recognition process on the second day.
  • the utterance start confirmation screen G24-2A is output.
  • the utterance start confirmation screen G24-2A is immediately output at the time of the third speech recognition process.
  • the utterance start confirmation screen is not displayed until the state where the noise level is greater than the threshold value is continued a plurality of times.
  • G24-2A may be output.
  • the remaining time until the voice recognition process is started may change.
  • the output unit 130A is based on past sound information collected in a predetermined time from when the activation trigger is detected in the past until the voice recognition process is started.
  • the flow of the operation for dynamically changing the start condition to be output to will be described.
  • the flowcharts of FIGS. 20 and 21 are output to the output unit 130A based on past sound information collected in a predetermined time after the activation trigger is detected in the past until the voice recognition process is started. Since this is merely an example of an operation flow for dynamically changing the starting condition to be performed, the operation flow is not limited to the examples shown in the flowcharts of FIGS. 20 and 21.
  • the operation detection unit 143A detects the activation trigger of the voice recognition process (S21A). Further, if there is past sound information h1A, the output control unit 146A acquires the past sound information h1 (S22A), and starts acquiring the sound information v1A from the sound collection unit 120A (S23A). Subsequently, the output control unit 146A dynamically determines the start condition of the speech recognition process according to the past sound information h1A (S24A).
  • the details of the operation for dynamically determining the start condition of the speech recognition process based on the past sound information h1A will be described with reference to FIG.
  • the output control unit 146A acquires the past sound information h1A (S241A), and acquires the timeout value t1A (in the above example, the remaining time G23-1A until the voice recognition process is started) (S242A). . Subsequently, when the volume of the past sound information h1A exceeds the threshold value m1A (“Yes” in S243A), the output control unit 146A shifts the operation to S244A. On the other hand, when the volume of the past sound information h1A does not exceed the threshold value m1A (“No” in S243A), the output control unit 146A shifts the operation to S248A.
  • the output control unit 146A When the operation is shifted to S244A, the output control unit 146A, when the timeout value t1A exceeds the threshold value t_maxA (“Yes” in S244A), the modal UI (in the above example, the utterance start confirmation screen G24- 1A) is output (S245A), and if the timeout value t1A does not exceed the threshold value t_maxA (“No” in S244A), the timeout value t1A is increased (S246A), and the timeout value t1A is set. It is determined to output the timer UI (in the above, the remaining time notification screen G21-1A) (S247A).
  • the output control unit 146A determines not to output the start condition when the timeout value t1A is lower than the threshold value t_minA (“Yes” in S248A) (S251A). If the timeout value t1A is not less than the threshold value t_minA (“No” in S248A), the timeout value t1A is decreased (S249A), and the timer UI (the remaining time notification screen G21 in the above) is set with the timeout value t1A. -1A) is determined to be output (S247A).
  • the output control unit 146A shifts the operation to S30A.
  • the output control unit 146A outputs the start condition (S26A).
  • the operation detection unit 143A detects the output stop trigger of the start condition (S27A).
  • the output stop trigger of the start condition can include an operation that the start condition is satisfied and an operation of selecting the cancel object G22A for stopping the output of the start condition.
  • the output control unit 146A stops outputting the start condition, and stores the continuously acquired sound information v1A as past sound information h1A (S28A). If the start condition is not satisfied (“No” in S29A), the voice recognition unit 145A ends the operation without starting the voice recognition process (S31A). On the other hand, when the start condition is satisfied (“Yes” in S29A), the voice recognition unit 145A starts the voice recognition process (S30A).
  • the start condition to be output to the output unit 130A is dynamically changed based on the past sound information collected in a predetermined time from when the activation trigger is detected in the past until the voice recognition process is started. An example was explained.
  • FIG. 22 is a diagram illustrating an example of a correspondence relationship between a filler and its speech waveform. As shown in FIG. 22, information in which fillers and their speech waveforms are associated with each other is stored in advance. When the voice waveform is included in the sound information input from the sound collection unit 120A, a filler corresponding to the voice waveform is acquired as a result of the voice recognition process.
  • FIG. 23 is a diagram for explaining an example in which the operation is different depending on whether or not the sound information input from the sound collection unit 120A includes a filler.
  • the output control unit 146A starts outputting the remaining time notification screen G21-1A (time T11A).
  • the recognition control unit 144A starts accumulating sound information input from the sound collection unit 120A.
  • the recognition control unit 144A determines whether the recognition result of the sound information P1A accumulated until the start condition is satisfied is a filler. If it is a filler, the voice recognition process is performed by the voice recognition unit 145A by excluding P1A accumulated until the start condition is satisfied from the sound information P2A accumulated so far. On the other hand, if the recognition result is not a filler, the recognition control unit 144A performs the speech recognition processing without excluding P1A accumulated until the start condition is satisfied from the sound information P2A accumulated up to the present time. To do. Further, when the start condition is satisfied (time T12A), the output control unit 146A stops outputting the start condition (time T13A). The subsequent operation is as described above.
  • the output control unit 146A may dynamically change the start condition to be output to the output unit 130A based on the number of arrival directions of sound information whose sound quality exceeds a threshold value to the sound collection unit 120A. This is because if the number of directions of arrival of sound information whose sound quality exceeds the threshold exceeds the predetermined value, the speech recognition process may be difficult.
  • the output control unit 146A may output the utterance start confirmation screen G24-1A when the number of arrival directions of sound information whose sound quality exceeds the threshold exceeds the predetermined value. Good. Further, the output control unit 146A may cause the remaining time notification screen G21-1A to be output when the number of arrival directions of sound information whose sound quality exceeds the threshold value to the sound collection unit 120A is equal to or less than a predetermined value. .
  • the predetermined value is not limited, but may be “1”.
  • FIG. 24 is a diagram illustrating a first modification of the configuration of the information processing system 10A.
  • the output unit 130A may be included in the mobile terminal.
  • the kind of portable terminal is not specifically limited, A tablet terminal may be sufficient, a smart phone may be sufficient, and a mobile phone may be sufficient.
  • the output unit 130A may be a television device
  • the information processing device 140A may be a game machine
  • the operation input unit 115A may be a controller that operates the game machine.
  • the sound collection unit 120A and the output unit 130A may be connected to the operation input unit 115A.
  • the image input unit 110A and the sound collection unit 120A may be connected to the information processing apparatus 140A.
  • the operation input unit 115A, the sound collection unit 120A, and the output unit 130A may be provided in a smartphone connected to the information processing apparatus 140A.
  • the sound collecting unit 120A may be provided in a television apparatus.
  • FIGS. 29 to 32 are diagrams showing a third modification of the configuration of the information processing system 10A.
  • the information processing system 10A may be mounted on an in-vehicle navigation system that can be attached to an automobile and used by a user UA who is driving the automobile.
  • the information processing system 10A may be mounted on a mobile terminal and used by a user UA who is driving a car.
  • the type of mobile terminal is not particularly limited.
  • the image input unit 110A, the operation input unit 115A, and the output unit 130A are provided by a mobile terminal, and the sound collection unit 120A is a user UA. It may be a microphone that can be attached to the body.
  • the information processing system 10A may be mounted on a vehicle-mounted navigation system built in a vehicle and used by a user UA who is driving the vehicle.
  • FIG. 33 is a block diagram illustrating a hardware configuration example of the information processing system 10A according to the embodiment of the present disclosure.
  • the information processing system 10A includes a CPU (Central Processing unit) 901A, a ROM (Read Only Memory) 903A, and a RAM (Random Access Memory) 905A.
  • the information processing system 10A may include a host bus 907A, a bridge 909A, an external bus 911A, an interface 913A, an input device 915A, an output device 917A, a storage device 919A, a drive 921A, a connection port 923A, and a communication device 925A.
  • the information processing system 10A may include an imaging device 933A and a sensor 935A as necessary.
  • the information processing system 10A may include a processing circuit called a DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901A.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901A functions as an arithmetic processing unit and a control unit, and controls the overall operation or a part of the information processing system 10A according to various programs recorded in the ROM 903A, the RAM 905A, the storage device 919A, or the removable recording medium 927A.
  • the ROM 903A stores programs used by the CPU 901A, calculation parameters, and the like.
  • the RAM 905A temporarily stores programs used in the execution of the CPU 901A, parameters that change as appropriate during the execution, and the like.
  • the CPU 901A, the ROM 903A, and the RAM 905A are connected to each other by a host bus 907A configured by an internal bus such as a CPU bus. Further, the host bus 907A is connected to an external bus 911A such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909A.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915A is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915A may include a microphone that detects a user's voice.
  • the input device 915A may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929A such as a mobile phone corresponding to the operation of the information processing system 10A.
  • the input device 915A includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901A. The user operates the input device 915A to input various data and instruct processing operations to the information processing system 10A.
  • an imaging device 933A described later can also function as an input device by imaging a user's hand movement, a user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917A is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917A includes, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a projector, a hologram display device, an audio output device such as a speaker and headphones, As well as a printer device.
  • the output device 917A outputs the result obtained by the processing of the information processing system 10A as video such as text or an image, or outputs it as audio such as voice or sound.
  • the output device 917A may include a light or the like to brighten the surroundings.
  • the storage device 919A is a data storage device configured as an example of a storage unit of the information processing system 10A.
  • the storage device 919A includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919A stores programs executed by the CPU 901A, various data, various data acquired from the outside, and the like.
  • the drive 921A is a reader / writer for a removable recording medium 927A such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing system 10A.
  • the drive 921A reads information recorded on the attached removable recording medium 927A and outputs the information to the RAM 905A.
  • the drive 921A writes a record in the mounted removable recording medium 927A.
  • connection port 923A is a port for directly connecting the device to the information processing system 10A.
  • the connection port 923A may be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923A may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • Various data can be exchanged between the information processing system 10A and the external connection device 929A by connecting the external connection device 929A to the connection port 923A.
  • the communication device 925A is a communication interface configured with, for example, a communication device for connecting to the communication network 931A.
  • the communication device 925A can be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925A may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925A transmits and receives signals and the like with a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931A connected to the communication device 925A is a wired or wireless network, such as the Internet, home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933A uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933A may capture a still image or may capture a moving image.
  • the sensor 935A is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935A acquires information about the state of the information processing system 10A itself, such as the attitude of the housing of the information processing system 10A, and information about the surrounding environment of the information processing system 10A, such as brightness and noise around the information processing system 10A.
  • the sensor 935A may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • An information processing system 10A is provided that includes a control unit 146A, and the output control unit 146A dynamically changes a start condition of a speech recognition process to be output to the output unit 130A. According to such a configuration, it is possible to flexibly start the voice recognition process according to the situation.
  • the speech recognition process can be started after the user determines the utterance content. Further, according to such a configuration, it is possible to exclude noise included in the collected sound information from the target of speech recognition processing. In addition, the success rate of the speech recognition process can be improved by presenting the user with the start conditions of the speech recognition process.
  • the output unit 130A may be a display provided in a wearable terminal (for example, a watch, glasses, etc.) other than the head mounted display.
  • the output unit 130A may be a display used in the healthcare field.
  • the output control unit 146A generates display control information for causing the output unit 130A to display the display content, and outputs the generated display control information to the output unit 130A, whereby the display content is displayed on the output unit 130A.
  • the output unit 130A can be controlled.
  • the contents of the display control information may be changed as appropriate according to the system configuration.
  • the program for realizing the information processing apparatus 140A may be a web application.
  • the display control information may be realized by a markup language such as HTML (HyperText Markup Language), SGML (Standard Generalized Markup Language), XML (Extensible Markup Language), or the like.
  • the position of each component is not particularly limited as long as the operation of the information processing system 10A described above is realized.
  • the image input unit 110A, the operation input unit 115A, the sound collection unit 120A, the output unit 130A, and the information processing device 140A may be provided in different devices connected via a network.
  • the information processing apparatus 140A corresponds to a server such as a web server or a cloud server, for example, and the image input unit 110A, the operation input unit 115A, the sound collection unit 120A, and the output unit 130A are connected to the server. It may correspond to a client connected via
  • the constituent elements of the information processing apparatus 140A may not be accommodated in the same apparatus.
  • some of the input image acquisition unit 141A, the sound information acquisition unit 142A, the operation detection unit 143A, the recognition control unit 144A, the voice recognition unit 145A, and the output control unit 146A are part of the information processing device 140A. May be present on different devices.
  • the voice recognition unit 145A is a server different from the information processing apparatus 140A including the input image acquisition unit 141A, the sound information acquisition unit 142A, the operation detection unit 143A, the recognition control unit 144A, and the output control unit 146A. May be present.
  • An output control unit that causes the output unit to output a start condition of voice recognition processing performed by the voice recognition unit on the sound information input from the sound collecting unit;
  • the output control unit dynamically changes the start condition of the voice recognition processing to be output to the output unit;
  • Information processing system (2)
  • the output control unit causes the output unit to output the start condition when a start trigger of the voice recognition process is detected.
  • the information processing system according to (1) (3)
  • the information processing system includes a recognition control unit that causes the voice recognition unit to start the voice recognition processing when the start condition is satisfied.
  • the output control unit stops the output of the start condition when the start condition is satisfied or when an output stop operation of the start condition is detected,
  • the output control unit dynamically changes the start condition of the voice recognition processing to be output to the output unit based on predetermined information.
  • the output control unit dynamically changes the start condition to be output to the output unit based on sound information input from the sound collection unit after the activation trigger is detected.
  • the output control unit dynamically changes the start condition to be output to the output unit based on the first type of sound information included in the sound information input from the sound collection unit.
  • the output control unit changes the start condition to information related to a user operation necessary to start the voice recognition process when the volume of the first type of sound information exceeds a first threshold.
  • the information processing system according to (7). The output control unit changes the start condition to a remaining time until the voice recognition process is started when a volume of the first type of sound information is lower than the first threshold.
  • the information processing system according to (8). (10) The output control unit omits outputting the start condition to the output unit when the volume of the sound information of the first type is lower than a second threshold value that is smaller than the first threshold value;
  • the first type of sound information includes at least noise.
  • the output control unit sets the start condition to be output to the output unit based on past sound information collected at a predetermined time from when the activation trigger is detected in the past to when the voice recognition process is started. Change dynamically, The information processing system according to (6). (13) The output control unit dynamically changes the start condition to be output to the output unit based on the second type of sound information included in the past sound information. The information processing system according to (12). (14) When the volume of the second type of sound information exceeds a threshold, the output control unit determines the remaining time until the voice recognition process to be output as the start condition is started at the time of the previous voice recognition process. Longer than, The information processing system according to (13).
  • the output control unit uses the remaining time until the voice recognition process to be output as the start condition is started as the previous voice recognition process. Shorter than time, The information processing system according to (14).
  • the second type of sound information includes at least noise.
  • the output control unit dynamically changes the start condition to be output to the output unit based on the number of arrival directions of sound information whose sound quality exceeds a threshold value to the sound collection unit.
  • the output control unit causes the output unit to output at least one of predetermined display information and predetermined audio information as the start condition.
  • the recognition control unit starts speech recognition processing before the start condition is satisfied, and when the start condition is satisfied, if the filler is included in the result of the speech recognition processing, it corresponds to the filler. Causing the voice recognition unit to start voice recognition processing on the sound information after the part to be removed is excluded.
  • a predetermined execution operation is executed based on the recognition result of the voice recognition processing performed on the sound collection information.
  • An information processing apparatus includes an output control unit that causes the output unit to output a start condition.
  • the speech recognition unit starts a predetermined execution operation based on the recognition result of the speech recognition process performed by the speech recognition unit on the collected sound information collected by the sound collection unit.
  • An information processing method is provided that includes causing an output unit to output a start condition for the output.
  • the voice recognition unit starts a predetermined execution operation based on the recognition result of the voice recognition process performed by the voice recognition unit on the collected sound information collected by the sound collection unit.
  • a program for causing an information processing apparatus to include an output control unit that causes the output unit to output a start condition for output.
  • a technique is provided that allows the user to easily grasp the timing at which the execution operation is started.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 34 is a diagram for explaining speech recognition processing in a general system.
  • an utterance indicates a state in which the volume of collected sound information is larger than a threshold value.
  • silence indicates a state where sound is collected with a volume of collected sound information that is lower than a threshold.
  • voice recognition processing is performed while collecting sound (S101B).
  • a screen G91B indicating that sound is being collected is displayed.
  • a silent section hereinafter also referred to as a “silent section”
  • a silent section detection notification is made from the system (S103B).
  • a predetermined execution operation is executed based on the recognition result of the voice recognition process performed on the collected sound information collected in the utterance section HaB.
  • the execution operation based on the recognition result of the voice recognition processing is not particularly limited.
  • the execution operation based on the recognition result of the speech recognition processing includes an operation for outputting a search result corresponding to a character string of the recognition result, an operation for outputting a character string of the recognition result, and a recognition result obtained in the recognition result recognition process. Any one of an operation of outputting a candidate and an operation of outputting a character string for replying to the utterance content extracted from the character string of the recognition result may be included.
  • the method for extracting the utterance content from the recognition result character string is not limited.
  • the utterance content is extracted by performing natural language processing (for example, language analysis, semantic analysis, etc.) on the recognition result character string. Good.
  • a screen G92B indicating that the execution operation process is in progress is displayed.
  • the system notifies the voice recognition process end (S105B).
  • a screen G93B showing the result of the execution operation is displayed.
  • Screen G93B showing the result of the execution operation includes “collar”, “bid”, and “kick” as search results corresponding to the character string of the recognition result.
  • FIG. 35 is another diagram for explaining speech recognition processing in a general system.
  • the user may not be aware of the switching.
  • the execution operation may start before the sound actually spoken by the user is collected. . Furthermore, it may be difficult for the user to grasp the timing of the switching.
  • the user may utter (speech section HbB).
  • speech section HbB the cancellation of the silent state is detected (S111B), the silent state cancellation notification is made (S112B), and the screen G91B indicating that the sound is being collected continues to be displayed, but the voice uttered in the utterance section HbB is executed. Loss of opportunity that may not be reflected in After that, when the user stops speaking, the silent section MbB is detected (S104B), and the same operation is similarly performed when the silent section is detected.
  • FIG. 36 is a diagram illustrating a configuration example of the information processing system 10B according to the embodiment of the present disclosure.
  • the information processing system 10B according to the embodiment of the present disclosure includes an image input unit 110B, an operation input unit 115B, a sound collection unit 120B, and an output unit 130B.
  • the information processing system 10 ⁇ / b> B can perform voice recognition processing on a voice uttered by a user UB (hereinafter, also simply referred to as “user”). In the following description, a voice (voice or speech) and a sound are used separately.
  • the image input unit 110B has a function of inputting an image.
  • the image input unit 110B includes two cameras embedded in the table TblB.
  • the number of cameras included in the image input unit 110B is not particularly limited as long as it is one or more.
  • the position where each of the one or more cameras included in the image input unit 110B is provided is not particularly limited.
  • the one or more cameras may include a monocular camera or a stereo camera.
  • the operation input unit 115B has a function of inputting a user U operation.
  • the operation input unit 115B includes one camera suspended from the ceiling existing above the table TblB.
  • the position where the camera included in the operation input unit 115B is provided is not particularly limited.
  • the camera may include a monocular camera or a stereo camera.
  • the operation input unit 115B may not be a camera as long as it has a function of inputting the operation of the user UB, and may be a touch panel or a hardware button, for example.
  • the output unit 130B has a function of displaying a screen on the table TblB.
  • the output unit 130B is suspended from the ceiling above the table TblB.
  • the position where the output unit 130B is provided is not particularly limited.
  • the output unit 130B may be a projector capable of projecting a screen onto the top surface of the table TblB.
  • the output unit 130B may be a display of another form. May be.
  • the display surface of the screen may be other than the top surface of the table TblB.
  • the display surface of the screen may be a wall, a building, a floor, a ground, a ceiling, and others It may be the surface at the location.
  • the display surface of the screen may be the display surface of the output unit 130B.
  • the sound collection unit 120B has a function of collecting sound.
  • the sound collection unit 120B includes a total of six microphones including three microphones existing above the table TblB and three microphones existing on the upper surface of the table TblB.
  • the number of microphones included in the sound collection unit 120B is not particularly limited as long as it is one or more. In such a case, the position where each of the one or more microphones included in the sound collection unit 120B is provided is not particularly limited.
  • the arrival direction of the sound can be estimated based on the sound collection information collected by each of the plurality of microphones. Further, if the sound collection unit 120B includes a microphone having directivity, the arrival direction of the sound can be estimated based on sound collection information collected by the microphone having directivity.
  • FIG. 37 is a block diagram illustrating a functional configuration example of the information processing system 10B according to the embodiment of the present disclosure.
  • the information processing system 10B according to the embodiment of the present disclosure includes an image input unit 110B, an operation input unit 115B, a sound collection unit 120B, an output unit 130B, and an information processing device 140B (hereinafter referred to as “information processing device 140B”). , Also referred to as “control unit 140B”).
  • the information processing apparatus 140B executes control of each unit of the information processing system 10B. For example, the information processing apparatus 140B generates information output from the output unit 130B. Further, for example, the information processing apparatus 140B reflects information input by the image input unit 110B, the operation input unit 115B, and the sound collection unit 120B in information output from the output unit 130B. As shown in FIG. 37, the information processing apparatus 140B includes an input image acquisition unit 141B, a sound collection information acquisition unit 142B, an operation detection unit 143B, a recognition control unit 144B, a voice recognition unit 145B, and an output control unit. 146B. Details of these functional blocks will be described later.
  • the information processing device 140B may be configured by, for example, a CPU (Central Processing Unit).
  • a CPU Central Processing Unit
  • the processing device can be configured by an electronic circuit.
  • FIG. 38 is a diagram illustrating an example of screen transition displayed during the execution of the voice recognition process from the initial screen display.
  • the output control unit 146B displays an initial screen G10-1B.
  • the initial screen G10-1B includes a recognition character string that is a display column for a voice recognition start operation object G14B for starting voice recognition, and a character string obtained by voice recognition (hereinafter also referred to as “recognized character string”).
  • a display field G11B is included.
  • the initial screen G10-1B includes a delete all operation object G12B for deleting all recognized character strings and a confirm operation object G13B for confirming recognized character strings.
  • the initial screen G10-1B also includes a moving operation object G15B for returning the cursor position in the recognized character string to the front, a moving operation object G16B for moving the cursor position in the recognized character string backward, and the character or word at the cursor position.
  • Delete operation object G17B for deleting.
  • the output control unit 146B displays the sound collection start screen G10-3B.
  • the output control unit 146B displays the sound collection start screen G10-3B, the user starts speaking toward the sound collection unit 120B.
  • the output control unit 146B displays a predetermined object (hereinafter, “also called “display object.”) MuB is displayed.
  • the display object MuB may be stationary or may have a movement as shown on the screen G10-4B.
  • the moving direction DeB of the display object MuB may be determined according to the arrival direction from the sound source of the uttered voice by the user to the sound collection unit 120B.
  • the estimation method of the arrival direction of the uttered voice by the user is not particularly limited.
  • the recognition control unit 144B utters one arrival direction that matches or is similar to the finger direction (for example, the direction from the base of the finger to the fingertip) of the user who performed the operation of selecting the voice recognition start operation object G14B. It may be estimated as the voice arrival direction. The similarity range may be determined in advance.
  • the finger direction may be obtained by analyzing the input image.
  • the recognition control unit 144B may estimate the arrival direction of the sound input by the sound collection unit 120B as the arrival direction of the uttered voice by the user.
  • the arrival direction of the sound input first among the plurality of arrival directions may be estimated as the arrival direction of the uttered voice by the user.
  • One arrival direction that matches or is similar to the direction of the finger of the user who has performed the operation of selecting the recognition start operation object G14B may be estimated as the arrival direction of the uttered voice by the user.
  • the recognition control unit 144B may estimate the arrival direction of the sound input by the sound collecting unit 120B at the highest volume among the plurality of arrival directions as the arrival direction of the speech voice by the user. In this way, the arrival direction of the uttered voice by the user can be estimated. On the other hand, the recognition control unit 144B may acquire, as noise, sound input by the sound collection unit 120B from a direction other than the arrival direction of the uttered voice by the user.
  • FIG. 38 shows an example in which the output control unit 146B moves the display object MuB in the direction of arrival of the uttered voice by the user (movement direction DeB).
  • the user can intuitively grasp that his / her speech is being collected by the sound collection unit 120B.
  • the movement of the display object MuB is not limited to such movement.
  • FIG. 38 shows an example in which the movement destination of the display object MuB is the voice recognition start operation object G14B.
  • the movement destination of the display object MuB is not limited to this example.
  • FIG. 38 shows an example in which the output control unit 146B moves the circular display objects MuB that appear one after another in response to the sound collection by the sound collection unit 120B, but the display mode of the display object MuB is shown. Is not limited to such an example.
  • the output control unit 146B may control various parameters of the display object MuB based on predetermined information corresponding to the sound collection information (for example, sound quality, sound volume, etc. of the sound collection information).
  • the sound collection information used at this time may be sound collection information from the direction of arrival of the uttered voice by the user.
  • the parameter of the display object MuB may include at least one of the shape, transparency, color, size, and movement of the display object Mu.
  • the recognition control unit 144B causes the voice recognition unit 145B to start voice recognition for the sound collection information acquired by the sound collection information acquisition unit 142B.
  • the timing for starting speech recognition is not limited.
  • the recognition control unit 144B may cause the voice recognition unit 145B to start voice recognition for the sound collection information corresponding to the display object MuB after the display object MuB reaches the voice recognition start operation object G14B.
  • FIG. 39 is a diagram for describing functional details of the information processing system 10B according to the embodiment of the present disclosure. As shown in FIG. 39, when the user starts speaking and collected sound information whose sound quality exceeds a predetermined threshold is collected, the speech recognition process is started, and the output control unit 146B displays the display object MuB. (Time T10B).
  • the output control unit 146B causes the output unit 130B to output the start of the duration (eg, timeout bar G21-1B) (time T12B). Then, the output control unit 146B causes the output unit 130B to output a start condition for the execution operation to be started by the voice recognition unit 145B (time T13B). According to this configuration, the user can easily grasp the timing at which the execution operation is started.
  • the start condition information regarding the remaining time until the duration of silence reaches the target time may be displayed.
  • the information regarding the remaining time may include a display object (timeout bar G21-2B) indicating the ratio of the remaining time to the target time.
  • the information regarding the remaining time may include the remaining time itself.
  • the start condition may include information related to a user operation necessary for starting the execution operation.
  • the output control unit 146B starts the start condition as shown in the timeout bar G21-3B. Is updated (time T14B). At this time, sound quality may be taken into consideration. That is, the output control unit 146B may update the start condition when new sound collection information whose sound quality exceeds a predetermined sound quality is not collected before the silent duration reaches the target time.
  • the output control unit 146B stops the output of the start condition (timeout bar G21-4B) by the output unit 130B (time T15B), The output unit 130B is made to output that the silent duration has reached the target time (time T16B).
  • “Please wait” is displayed on the speech recognition start operation object G22B.
  • the recognition control unit 144B causes the voice recognition unit 145B to perform voice recognition processing, but causes the voice recognition unit 145B to start an execution operation when the duration of silence has reached the target time.
  • FIG. 40 is another diagram for describing the functional details of the information processing system 10B according to the embodiment of the present disclosure.
  • the example shown in FIG. 40 is different from the example shown in FIG. 39 in that new sound collection information whose sound volume exceeds the reference sound volume is collected before the silent duration reaches the target time. is there.
  • the user resumes speaking (time T21B), and the output control unit 146B collects new sound collection information whose volume exceeds the reference volume before the silent duration has reached the target time.
  • time T22B the output of the start condition (timeout bar G21-3B) is stopped.
  • the output control unit 146B determines that the start condition (time-out bar G21-3B) is detected when new sound collection information whose sound quality exceeds the predetermined sound quality is collected before the silent duration has reached the target time. ) May be stopped.
  • the output control unit 146B displays the display object MuB.
  • the output control unit 146B does not have to output the start condition to the output unit 130B when the target time is shorter than the predetermined reference time. Further, the output control unit 146B may control the length of the remaining time according to the amount of the recognition result. For example, it is considered that the result of the speech recognition process becomes unsuitable for the execution operation based on the recognition result of the speech recognition process as the amount increases. Therefore, the output control unit 146B may shorten the remaining time as the result of the voice recognition process increases.
  • the output control unit 146B may cause the output unit 130B to output predetermined display information as a start condition.
  • 41 and 42 are diagrams illustrating an example in which display information is output to the output unit 130B as a start condition.
  • FIG. 41 shows an example in which the display contents included in the speech recognition start operation object G14B are gradually deleted.
  • FIG. 42 shows an example in which the color of the voice recognition start operation object G14B is gradually changed.
  • the output control unit 146B may cause the output unit 130B to output predetermined display information as a start condition.
  • 43 and 44 are diagrams illustrating an example in which audio information is output to the output unit 130B as a start condition.
  • FIG. 43 shows an example in which voice information notifying the start timing (time T54B) of voice recognition processing is output from time T51B to time T54B.
  • FIG. 44 shows an example in which voice information that informs the start timing (time T64B) of the voice recognition process is output from time T61B to time T64B.
  • FIG. 45 is a flowchart showing an example of the overall operation flow of the information processing system 10B according to the embodiment of the present disclosure. Note that the flowchart of FIG. 45 is merely an example of the overall operation flow of the information processing system 10B according to the embodiment of the present disclosure, and thus the overall operation of the information processing system 10B according to the embodiment of the present disclosure. The flow is not limited to the example shown in the flowchart of FIG.
  • the output control unit 146B When a sound-like sound is detected (S121B), the output control unit 146B outputs that a sound is being input (S122B). When silence is not detected (“No” in S123B), the output control unit 146B shifts the operation to S122B, but when silence is detected (“Yes” in S123B), the output control unit 146B outputs that silence has been detected. (S124B), the start condition of the execution operation is output (S125B).
  • the output control unit 146B stops outputting the start condition (S127B), and shifts the operation to S122B, but no sound-like sound is detected. In this case (“No” in S126B), the start condition is updated and output again (S128B). Subsequently, when the start condition is not satisfied (“No” in S129B), the output control unit 146B shifts the operation to S126B, but when the start condition is satisfied (“Yes” in S129B), The start of the execution operation is output (S130B), and the result of the execution operation is output (S131B).
  • FIG. 46 is a diagram showing a modification of the display form by the output unit 130B.
  • the output unit 130B may be included in the mobile terminal.
  • the kind of portable terminal is not specifically limited, A tablet terminal may be sufficient, a smart phone may be sufficient, and a mobile phone may be sufficient.
  • the output unit 130B is a projector capable of projecting a screen onto the top surface of the table TblB.
  • the configuration of the information processing system 10B is not limited to such an example.
  • 47 to 50 are diagrams showing a first modification of the system configuration of the information processing system 10B.
  • the output unit 130B may be a television device
  • the information processing device 140B may be a game machine
  • the operation input unit 115B may be a controller that operates the game machine.
  • the sound collection unit 120B and the output unit 130B may be connected to the operation input unit 115B.
  • the image input unit 110B and the sound collection unit 120B may be connected to the information processing apparatus 140B.
  • the operation input unit 115B, the sound collection unit 120B, and the output unit 130B may be provided in a smartphone connected to the information processing device 140B.
  • the sound collection unit 120B may be provided in a television device.
  • FIG. 51 is a block diagram illustrating a hardware configuration example of the information processing system 10B according to the embodiment of the present disclosure.
  • the information processing system 10B includes a CPU (Central Processing unit) 901B, a ROM (Read Only Memory) 903B, and a RAM (Random Access Memory) 905B.
  • the information processing system 10B may include a host bus 907B, a bridge 909B, an external bus 911B, an interface 913B, an input device 915B, an output device 917B, a storage device 919B, a drive 921B, a connection port 923B, and a communication device 925B.
  • the information processing system 10B may include an imaging device 933B and a sensor 935B as necessary.
  • the information processing system 10B may include a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901B.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901B functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing system 10B according to various programs recorded in the ROM 903B, the RAM 905B, the storage device 919B, or the removable recording medium 927B.
  • the ROM 903B stores programs used by the CPU 901B, calculation parameters, and the like.
  • the RAM 905B temporarily stores programs used in the execution of the CPU 901B, parameters that change as appropriate during the execution, and the like.
  • the CPU 901B, the ROM 903B, and the RAM 905B are connected to each other by a host bus 907B configured by an internal bus such as a CPU bus. Further, the host bus 907B is connected to an external bus 911B such as a PCI (Peripheral Component Interconnect / Interface) bus via the bridge 909B.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915B is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915B may include a microphone that detects the user's voice.
  • the input device 915B may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929B such as a mobile phone that supports the operation of the information processing system 10B.
  • the input device 915B includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901B.
  • the user operates the input device 915B to input various data or instruct processing operations to the information processing system 10B.
  • An imaging device 933B described later can also function as an input device by imaging a user's hand movement, a user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger
  • the output device 917B is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917B includes, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a display device such as a projector, a hologram display device, an audio output device such as a speaker and headphones, As well as a printer device.
  • the output device 917B outputs the result obtained by the processing of the information processing system 10B as video such as text or an image, or outputs it as audio such as voice or sound.
  • the output device 917B may include a light or the like to brighten the surroundings.
  • the storage device 919B is a data storage device configured as an example of a storage unit of the information processing system 10B.
  • the storage device 919B includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919B stores programs executed by the CPU 901B, various data, various data acquired from the outside, and the like.
  • the drive 921B is a reader / writer for a removable recording medium 927B such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing system 10B.
  • the drive 921B reads the information recorded on the mounted removable recording medium 927B and outputs it to the RAM 905B. Further, the drive 921B writes a record to the mounted removable recording medium 927B.
  • connection port 923B is a port for directly connecting the device to the information processing system 10B.
  • the connection port 923B can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923B may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • Various data can be exchanged between the information processing system 10B and the external connection device 929B by connecting the external connection device 929B to the connection port 923B.
  • the communication device 925B is a communication interface configured with a communication device for connecting to the communication network 931B, for example.
  • the communication device 925B can be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925B may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925B transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931B connected to the communication device 925B is a wired or wireless network, such as the Internet, home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933B uses, for example, various elements such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933B may capture a still image, or may capture a moving image.
  • the sensor 935B is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935B acquires information about the state of the information processing system 10B itself, such as the attitude of the information processing system 10B, and information about the surrounding environment of the information processing system 10B, such as brightness and noise around the information processing system 10B. To do.
  • the sensor 935B may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the predetermined execution operation based on the recognition result of the speech recognition process performed by the speech recognition unit 145B on the sound collection information collected by the sound collection unit 120B Is provided with an output control unit 146B that causes the output unit 130B to output a start condition for the voice recognition unit 145B to start. According to this configuration, the user can easily grasp the timing at which the execution operation is started.
  • the display form by the output unit 130B is not limited to the above example.
  • the output unit 130B may be a display provided in a wearable terminal (for example, a watch, glasses, etc.) other than the head mounted display.
  • the output unit 130B may be a display provided in an in-vehicle navigation system.
  • the output unit 130B may be a display used in the healthcare field.
  • the output control unit 146B generates display control information for causing the output unit 130B to display the display content, and outputs the generated display control information to the output unit 130B, so that the display content is displayed on the output unit 130B.
  • the output unit 130B can be controlled.
  • the contents of the display control information may be changed as appropriate according to the system configuration.
  • the program for realizing the information processing apparatus 140B may be a web application.
  • the display control information may be realized by a markup language such as HTML (HyperText Markup Language), SGML (Standard Generalized Markup Language), XML (Extensible Markup Language), or the like.
  • the position of each component is not particularly limited as long as the operation of the information processing system 10B described above is realized.
  • the image input unit 110B, the operation input unit 115B, the sound collection unit 120B, the output unit 130B, and the information processing device 140B may be provided in different devices connected via a network.
  • the information processing apparatus 140B corresponds to a server such as a web server or a cloud server, for example, and the image input unit 110B, the operation input unit 115B, the sound collection unit 120B, and the output unit 130B are connected to the server. It may correspond to a client connected via
  • the input image acquisition unit 141B, the sound collection information acquisition unit 142B, the operation detection unit 143B, the recognition control unit 144B, the voice recognition unit 145B, and the output control unit 146B are part of the information processing device 140B. It may be present in a different device.
  • the voice recognition unit 145B is a server different from the information processing apparatus 140B including the input image acquisition unit 141B, the sound collection information acquisition unit 142B, the operation detection unit 143B, the recognition control unit 144B, and the output control unit 146B. May be present.
  • a start condition for starting a predetermined execution operation by the voice recognition unit based on the recognition result of the voice recognition process performed by the voice recognition unit on the collected sound information collected by the sound collecting unit is set as an output unit.
  • Output control unit to output An information processing apparatus comprising: (2) The information processing apparatus includes a recognition control unit that causes the voice recognition unit to perform the voice recognition process. The information processing apparatus according to (1). (3) The recognition control unit causes the voice recognition unit to start the execution operation when the start condition is satisfied. The information processing apparatus according to (2). (4) The recognition control unit performs the execution operation when the duration of the volume of the sound collection information continuously below a reference volume reaches a predetermined target time after the voice recognition process is started.
  • the information processing apparatus includes information regarding a remaining time until the duration reaches the target time.
  • the information processing apparatus according to (4).
  • the information on the remaining time includes at least one of a predetermined display object indicating the ratio of the remaining time to the target time and the remaining time itself.
  • the information processing apparatus according to (5).
  • the output control unit when the volume of the sound collection information continues from the start of the voice recognition processing and the duration that falls below a reference volume reaches a predetermined target time, the output condition of the start condition by the output unit Stop the output, The information processing apparatus according to (2) or (3).
  • the output control unit causes the output unit to output the start of the duration when the volume of the sound collection information falls below the reference volume after the voice recognition process is started.
  • the information processing apparatus according to any one of (4) to (7).
  • the output control unit updates the start condition output by the output unit when new sound collection information whose volume exceeds the reference volume is not collected before the duration reaches the target time.
  • the information processing apparatus according to any one of (4) to (8).
  • the output control unit determines the start condition output by the output unit when new sound collection information whose sound quality exceeds a predetermined sound quality is not collected before the duration time reaches the target time. Update, The information processing apparatus according to any one of (4) to (8).
  • the output control unit stops output of the start condition by the output unit when new sound collection information whose volume exceeds the reference volume is collected before the duration time reaches the target time. , The information processing apparatus according to any one of (4) to (8). (12) The output control unit outputs the start condition by the output unit when new sound collection information having a sound quality exceeding a predetermined sound quality is collected before the duration time reaches the target time. To stop, The information processing apparatus according to any one of (4) to (8). (13) The output control unit does not cause the output unit to output the start condition when the target time is shorter than a predetermined reference time. The information processing apparatus according to any one of (4) to (12). (14) The output control unit controls the length of the remaining time according to the amount of the recognition result.
  • the information processing apparatus causes the sound recognition processing to be performed on the sound collection information when the sound quality of the sound collection information exceeds a threshold.
  • the information processing apparatus according to any one of (2) to (14).
  • the output control unit causes the output unit to output at least one of predetermined display information and predetermined audio information as the start condition.
  • the information processing apparatus according to any one of (1) to (15).
  • the execution operation includes an operation of outputting a search result corresponding to the character string of the recognition result, an operation of outputting the character string of the recognition result, an operation of outputting a recognition result candidate obtained in the recognition result recognition process, and Including any one of operations for outputting a character string for replying to the utterance content extracted from the character string of the recognition result,
  • the information processing apparatus according to any one of (1) to (16).
  • the start condition includes information related to a user operation necessary to start the execution operation.
  • the information processing apparatus according to any one of (1) to (3).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】音声認識処理を状況に応じて柔軟に開始させることが可能な技術が提供されることが望まれる。 【解決手段】集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させる出力制御部を備え、前記出力制御部は、前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更する、情報処理システムが提供される。

Description

情報処理システムおよび情報処理方法
　本開示は、情報処理システムおよび情報処理方法に関する。
　近年、マイクロフォンによって集音された音情報に対して音声認識処理を施して音声認識処理の結果を得る技術が知られている。音声認識処理の結果は、ユーザに知覚可能な態様によって出力される。例えば、マイクロフォンによって集音された音情報に対する音声認識処理は、ユーザから開始操作が入力されたことをトリガとして開始され得る（例えば、特許文献１参照。）。
特開２００４－０９４０７７号公報
　ここで、マイクロフォンによって集音された音情報に対する音声認識処理の開始される条件が不変である場合には、音声認識処理を状況に応じて柔軟に開始させることが困難である。そこで、音声認識処理を状況に応じて柔軟に開始させることが可能な技術が提供されることが望まれる。
　本開示によれば、集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させる出力制御部を備え、前記出力制御部は、前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更する、情報処理システムが提供される。
　本開示によれば、集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させることを含み、プロセッサにより前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更することを含む、情報処理方法が提供される。
　以上説明したように本開示によれば、音声認識処理を状況に応じて柔軟に開始させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
一般的なシステムにおける音声認識処理を説明するための図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示すブロック図である。 初期画面の表示から音声認識処理の起動トリガを検出するまでの画面遷移の例を示す図である。 音声認識処理が開始されるまでの残り時間が開始条件として出力されてから音声認識処理が開始されるまでの画面遷移の例を示す図である。 音声認識処理を開始させるために必要なユーザ操作に関する情報が開始条件として出力されてから音声認識処理が開始されるまでの画面遷移の例を示す図である。 音声認識処理の起動トリガが検出された後に集音部から入力された音情報に基づいて、開始条件を動的に変更する例を説明するための図である。 開始条件として表示情報を出力部に出力させる例を示す図である。 開始条件として表示情報を出力部に出力させる例を示す図である。 開始条件として音声情報を出力部に出力させる例を示す図である。 開始条件として音声情報を出力部に出力させる例を示す図である。 音声認識処理の起動トリガが検出された後に集音部から入力された音情報に基づいて、出力部に出力させる開始条件を動的に変更する動作の流れの例を示すフローチャートである。 音声認識処理の起動トリガが検出された後に集音部から入力された音情報に基づいて、出力部に出力させる開始条件を動的に変更する動作の流れの例を示すフローチャートである。 過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、音声認識処理が開始されるまでの残り時間を動的に短くする例を説明するための図である。 過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、音声認識処理が開始されるまでの残り時間を動的に短くする例を説明するための図である。 過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、音声認識処理が開始されるまでの残り時間を動的に長くする例を説明するための図である。 過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、音声認識処理が開始されるまでの残り時間を動的に長くする例を説明するための図である。 音声認識処理が開始されるまでの残り時間が短くなった場合における表示情報の例を示す図である。 音声認識処理が開始されるまでの残り時間が長くなった場合における表示情報の例を示す図である。 過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、出力部に出力させる開始条件を動的に変更する動作の流れの例を示すフローチャートである。 過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、出力部に出力させる開始条件を動的に変更する動作の流れの例を示すフローチャートである。 フィラーとその音声波形との対応関係の例を示す図である。 集音部から入力される音情報にフィラーが含まれているか否かによって動作を異ならせる例を説明するための図である。 情報処理システムの構成の変形例１を示す図である。 情報処理システムの構成の変形例２を示す図である。 情報処理システムの構成の変形例２を示す図である。 情報処理システムの構成の変形例２を示す図である。 情報処理システムの構成の変形例２を示す図である。 情報処理システムの構成の変形例３を示す図である。 情報処理システムの構成の変形例３を示す図である。 情報処理システムの構成の変形例３を示す図である。 情報処理システムの構成の変形例３を示す図である。 情報処理システムのハードウェア構成例を示すブロック図である。 一般的なシステムにおける音声認識処理を説明するための図である。 一般的なシステムにおける音声認識処理を説明するための他の図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示すブロック図である。 初期画面の表示から音声認識処理の実行中に表示される画面遷移の例を示す図である。 本開示の実施形態に係る情報処理システムの機能詳細について説明するための図である。 本開示の実施形態に係る情報処理システムの機能詳細について説明するための他の図である。 開始条件として表示情報を出力部に出力させる例を示す図である。 開始条件として表示情報を出力部に出力させる例を示す図である。 開始条件として音声情報を出力部に出力させる例を示す図である。 開始条件として音声情報を出力部に出力させる例を示す図である。 本開示の実施形態に係る情報処理システムの全体的な動作の流れの例を示すフローチャートである。 出力部による表示形態の変形例を示す図である。 本開示の実施形態に係る情報処理システムの全体的な動作の流れの例を示すフローチャートである。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　０．背景
　１．本開示の実施形態
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．情報処理システムの機能詳細
　　１．４．システム構成の変形例
　　１．５．ハードウェア構成例
　２．むすび
　＜０．背景＞
　まず、図面を参照しながら本開示の実施形態の背景を説明する。図１は、一般的なシステムにおける音声認識処理を説明するための図である。以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。また、発話は、ユーザが音声を発している状態を示し、無音は、閾値よりも小さい音量によって音情報が集音されている状態を示す。
　図１に示すように、一般的なシステム（以下、単に「システム」とも言う。）は、音声認識処理を開始させるための音声認識開始操作オブジェクトＧ１４Ａを選択する操作がユーザから入力されると、かかる操作を音声認識処理の起動トリガとして検出し、集音開始画面Ｇ９１Ａを表示する（時刻Ｔ９１Ａ）。集音開始画面Ｇ９１Ａが表示されると、ユーザは発話を開始し（時刻Ｔ９２Ａ）、システムはマイクロフォンによって集音しつつ、集音された音情報に対する音声認識処理を行う（Ｓ９１Ａ）。
　発話区間ＨａＡが終了すると（時刻Ｔ９３Ａ）、無音状態が開始される。そして、システムは、マイクロフォンによって集音される音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した区間（以下、「無音区間」とも言う。）ＭａＡが検出されると（時刻Ｔ９４Ａ）、発話区間ＨａＡにおいて集音された音情報に対して施される音声認識処理の結果に基づいて所定の実行動作を実行する（Ｓ９２Ａ）。
　ここで、音声認識処理の結果に基づく実行動作は特に限定されない。例えば、音声認識処理の結果に基づく実行動作は、音声認識処理の結果としての文字列に応じた検索結果を出力させる動作、音声認識処理の結果としての文字列を出力させる動作、音声認識処理の過程において得られた処理結果候補を出力させる動作、音声認識処理の結果の文字列から抽出される発話内容に返答するための文字列を出力させる動作のいずれか一つを含んでよい。
　ここで、音声認識処理の結果としての文字列から発話内容を抽出する手法は限定されない。例えば、音声認識処理の結果としての文字列から発話内容を抽出する手法は、音声認識処理の結果としての文字列に対して自然言語処理（例えば、言語解析、意味解析など）を施すことによって発話内容が抽出されてよい。
　システムは、実行動作の処理中には、実行動作の処理中である旨を示す画面Ｇ９２Ａを表示する。そして、システムは、実行動作が終了すると（時刻Ｔ９５Ａ）、実行動作の結果を示す画面Ｇ９３Ａを表示する。図１に示した例においては、実行動作の結果を示す画面Ｇ９３Ａに、音声認識処理の結果としての文字列に応じた検索結果として、「襟」「競り」「蹴り」が含まれている。
　以上に説明したように、一般的なシステムにおいては、音声認識処理の開始条件が出力されないうちに音声認識処理が開始されてしまう。そのため、音声認識開始操作オブジェクトＧ１４Ａを選択する操作を行った後に発話内容を考えるユーザが存在した場合などには、発話開始までに集音された音情報も音声認識処理の対象となってしまい、音声認識処理に影響を与えてしまう可能性がある。
　例えば、発話開始までに集音される音情報の中には、ユーザ自身によって発せられるフィラーや余計な発話などが存在し得る。フィラーは、「ええと」「あの」「まあ」などといった言葉のように、発話と発話との合間にユーザによって挟み込まれる言葉を意味する。また、発話開始までに集音される音情報の中には、雑音なども存在し得る。なお、上記したように、雑音は、集音部１２０Ａから入力される音情報からユーザの発する音声を除いた音情報を意味してよい。
　また、発話開始までに集音された音情報に対する音声認識処理の結果が、発話が開始されてから集音された音情報に対する音声認識処理に影響を与えてしまう場合もあり得る。また、発話開始までに集音された音情報に基づいて音声認識処理がなされ、発話開始までに無音区間が検出されてしまった場合、発話開始前に音声認識処理の結果に基づく実行動作が始まってしまう可能性もある。
　そこで、本明細書においては、音声認識処理が開始される前に音声認識処理の開始条件を出力させる技術を提案する。さらに、仮に状況に依らず一定の開始条件を出力させるようにした場合には、音声認識処理を状況に応じて柔軟に開始させることが困難である。そこで、本明細書においては、音声認識処理を状況に応じて柔軟に開始させることが可能な技術を提案する。
　以上、本開示の実施形態の背景を説明した。
　＜１．本開示の実施形態＞
　［１．１．システム構成例］
　続いて、図面を参照しながら本開示の実施形態に係る情報処理システム１０Ａの構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１０Ａの構成例を示す図である。図２に示したように、本開示の実施形態に係る情報処理システム１０Ａは、画像入力部１１０Ａと、操作入力部１１５Ａと、集音部１２０Ａと、出力部１３０Ａとを備える。情報処理システム１０Ａは、ユーザＵＡ（以下、単に「ユーザ」とも言う。）によって発せられた音声に対して音声認識処理を行うことが可能である。
　画像入力部１１０Ａは、画像を入力する機能を有する。図２に示した例では、画像入力部１１０Ａは、テーブルＴｂｌＡに埋め込まれた２つのカメラを含んでいる。しかし、画像入力部１１０Ａに含まれるカメラの数は１以上であれば特に限定されない。かかる場合、画像入力部１１０Ａに含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。
　操作入力部１１５Ａは、ユーザＵＡの操作を入力する機能を有する。図２に示した例では、操作入力部１１５Ａは、テーブルＴｂｌＡの上方に存在する天井から吊り下げられた１つのカメラを含んでいる。しかし、操作入力部１１５Ａに含まれるカメラが設けられる位置は特に限定されない。また、カメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。また、操作入力部１１５ＡはユーザＵの操作を入力する機能を有していればカメラでなくてもよく、例えば、タッチパネルであってもよいし、ハードウェアボタンであってもよい。
　出力部１３０Ａは、テーブルＴｂｌＡに画面を表示する機能を有する。図２に示した例では、出力部１３０Ａは、テーブルＴｂｌＡの上方に天井から吊り下げられている。しかし、出力部１３０Ａが設けられる位置は特に限定されない。また、典型的には、出力部１３０Ａは、テーブルＴｂｌＡの天面に画面を投影することが可能なプロジェクタであってよいが、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。
　なお、本明細書では、テーブルＴｂｌＡの天面が画面の表示面となる場合を主に説明するが、画面の表示面は、テーブルＴｂｌＡの天面以外であってもよい。例えば、画面の表示面は、壁であってもよいし、建物であってもよいし、床面であってもよいし、地面であってもよいし、天井であってもよい。あるいは、画面の表示面は、カーテンのヒダなどの非平面であってもよいし、他の場所にある面であってもよい。また、出力部１３０Ａが表示面を有する場合には、画面の表示面は、出力部１３０Ａが有する表示面であってもよい。
　集音部１２０Ａは、集音する機能を有する。図２に示した例では、集音部１２０Ａは、テーブルＴｂｌＡの上方に存在する３つのマイクロフォンとテーブルＴｂｌＡの上面に存在する３つのマイクロフォンとの合計６つのマイクロフォンを含んでいる。しかし、集音部１２０Ａに含まれるマイクロフォンの数は１以上であれば特に限定されない。かかる場合、集音部１２０Ａに含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。
　ただし、集音部１２０Ａが、複数のマイクロフォンを含んでいれば、複数のマイクロフォンそれぞれによって集音された音情報に基づいて音の到来方向が推定され得る。また、集音部１２０Ａが指向性を有するマイクロフォンを含んでいれば、指向性を有するマイクロフォンによって集音された音情報に基づいて音の到来方向が推定され得る。
　以上、本開示の実施形態に係る情報処理システム１０Ａの構成例について説明した。
　［１．２．機能構成例］
　続いて、本開示の実施形態に係る情報処理システム１０Ａの機能構成例について説明する。図３は、本開示の実施形態に係る情報処理システム１０Ａの機能構成例を示すブロック図である。図３に示したように、本開示の実施形態に係る情報処理システム１０Ａは、画像入力部１１０Ａと、操作入力部１１５Ａと、集音部１２０Ａと、出力部１３０Ａと、情報処理装置１４０Ａ（以下、「制御部１４０Ａ」とも言う。）と、を備える。
　情報処理装置１４０Ａは、情報処理システム１０Ａの各部の制御を実行する。例えば、情報処理装置１４０Ａは、出力部１３０Ａから出力する情報を生成する。また、例えば、情報処理装置１４０Ａは、画像入力部１１０Ａ、操作入力部１１５Ａおよび集音部１２０Ａそれぞれが入力した情報を、出力部１３０Ａから出力する情報に反映させる。図３に示したように、情報処理装置１４０Ａは、入力画像取得部１４１Ａと、音情報取得部１４２Ａと、操作検出部１４３Ａと、認識制御部１４４Ａと、音声認識部１４５Ａと、出力制御部１４６Ａとを備える。これらの各機能ブロックについての詳細は、後に説明する。
　なお、情報処理装置１４０Ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてもよい。情報処理装置１４０ＡがＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成され得る。
　以上、本開示の実施形態に係る情報処理システム１０Ａの機能構成例について説明した。
　［１．３．情報処理システムの機能詳細］
　続いて、本開示の実施形態に係る情報処理システム１０Ａの機能詳細について説明する。図４は、初期画面の表示から音声認識処理の起動トリガを検出するまでの画面遷移の例を示す図である。図４を参照すると、出力制御部１４６Ａは、初期画面Ｇ１０－１Ａを表示させている。初期画面Ｇ１０－１Ａには、音声認識処理を開始させるための音声認識開始操作オブジェクトＧ１４Ａ、音声認識処理によって得られた文字列（以下、「認識文字列」とも言う。）の表示欄である認識文字列表示欄Ｇ１１Ａが含まれる。
　また、初期画面Ｇ１０－１Ａには、認識文字列を全部削除するための全削除操作オブジェクトＧ１２Ａ、認識文字列を確定するための確定操作オブジェクトＧ１３Ａが含まれる。また、初期画面Ｇ１０－１Ａには、認識文字列におけるカーソル位置を前に戻すための前方移動操作オブジェクトＧ１５Ａ、認識文字列におけるカーソル位置を後ろに進めるための後方移動操作オブジェクトＧ１６Ａ、カーソル位置の文字または単語を削除するための削除操作オブジェクトＧ１７Ａが含まれる。
　まず、画面Ｇ１０－２Ａに示すように、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、音声認識処理の開始条件を出力させる。なお、ここでは、音声認識処理の起動トリガとして音声認識開始操作オブジェクトＧ１４Ａを選択する操作を例に挙げて説明するが、音声認識処理の起動トリガは、かかる例に限定されない。
　例えば、音声認識処理の起動トリガは、音声認識処理を起動するためのハードウェアボタンを押下する操作であってもよい。このとき、音声認識処理は、ハードウェアボタンの押下開始から押下解除までの間に起動されてもよい（Ｐｕｓｈ　Ｔｏ　Ｔａｌｋ型）。あるいは、音声認識処理の起動トリガは、音声認識処理の起動コマンド（例えば、「音声」という発話など）の実行であってもよい。
　あるいは、音声認識処理の起動トリガは、所定の音声認識処理の起動ジェスチャ（例えば、手の振り上げ、手の振り下ろし、顔の動き（例えば、うなずき、左右に顔を傾ける動作など）など）であってもよい。また、音声認識処理の起動トリガは、音声らしさが閾値を上回る音情報が集音部１２０Ａから取得されたことを含んでもよい。
　まず、音声認識処理が開始されるまでの残り時間が開始条件として出力される例を説明する。
　図５は、音声認識処理が開始されるまでの残り時間が開始条件として出力されてから音声認識処理が開始されるまでの画面遷移の例を示す図である。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、残り時間通知画面Ｇ２１－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。残り時間通知画面Ｇ２１－１Ａには、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａと開始条件の出力を停止させるための取り消しオブジェクトＧ２２Ａとが含まれている。
　続いて、出力制御部１４６Ａは、時間の経過に伴って残り時間Ｇ２３－１Ａを減らしていく。例えば、出力制御部１４６Ａは、残り時間Ｇ２３－１Ａから減らされた後の残り時間Ｇ２３－２Ａを含んだ残り時間通知画面Ｇ２１－２Ａを出力させる。続いて、出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間がゼロになり開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件の出力を停止させる（時刻Ｔ１３Ａ）。開始条件の出力が停止されると、ユーザは集音部１２０Ａに向かって発話を開始する（時刻Ｔ１４Ａ）。
　集音部１２０Ａによって集音された音情報が音情報取得部１４２Ａによって取得されると、出力制御部１４６Ａは、所定のオブジェクト（以下、「表示オブジェクト」とも言う。）ＭｕＡを表示させる。表示オブジェクトＭｕＡは、静止していてもよいし、動きを有していてもよい。例えば、表示オブジェクトＭｕＡが動きを有する場合、表示オブジェクトＭｕＡの移動方向ＤｅＡは、ユーザによる発話音声の音源から集音部１２０Ａへの到来方向に応じて決まってよい。なお、ユーザによる発話音声の到来方向の推定手法も特に限定されない。
　例えば、認識制御部１４４Ａは、音声認識開始操作オブジェクトＧ１４Ａを選択する操作を行ったユーザの指方向（例えば、指の根元から指先への方向）に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。類似範囲はあらかじめ定められていてよい。また、指方向は入力画像を解析することによって取得されてよい。
　あるいは、認識制御部１４４Ａは、集音部１２０Ａによって入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。音の到来方向が複数あった場合には、複数の到来方向のうち最初に入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよいし、複数の到来方向のうち音声認識開始操作オブジェクトＧ１４Ａを選択する操作を行ったユーザの指方向に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。
　あるいは、認識制御部１４４Ａは、複数の到来方向のうち集音部１２０Ａによって最も大きな音量で入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。このようにしてユーザによる発話音声の到来方向が推定され得る。一方において、認識制御部１４４Ａは、ユーザによる発話音声の到来方向以外の方向から集音部１２０Ａによって入力された音を雑音として取得してよい。したがって、雑音には、情報処理システム１０Ａからの出力音も含まれ得る。
　また、図５には、出力制御部１４６Ａが、ユーザによる発話音声の到来方向（移動方向ＤｅＡ）に表示オブジェクトＭｕＡを移動させる例が示されている。これによって、ユーザは自分の発話音声が集音部１２０Ａによって集音されていることを直感的に把握することが可能となる。しかし、表示オブジェクトＭｕＡの動きは、かかる動きに限定されない。また、図５には、表示オブジェクトＭｕＡの移動先が、音声認識開始操作オブジェクトＧ１４Ａである例が示されている。しかし、表示オブジェクトＭｕＡの移動先は、かかる例に限定されない。
　また、図５には、出力制御部１４６Ａが、集音部１２０Ａによる集音に応じて次々と出現した円形状の表示オブジェクトＭｕＡを移動させる例が示されているが、表示オブジェクトＭｕＡの表示態様はかかる例に限定されない。例えば、出力制御部１４６Ａは、音情報に応じた所定の情報（例えば、音情報の音声らしさ、音量など）に基づいて表示オブジェクトＭｕＡの各種パラメータを制御してよい。このときに用いられる音情報は、ユーザによる発話音声の到来方向からの音情報であるとよい。また、表示オブジェクトＭｕＡのパラメータは、表示オブジェクトＭｕＡの形状、透明度、色、サイズおよび動きのうち、少なくともいずれか一つを含んでもよい。
　なお、音情報から音声らしさを評価する手法は特に限定されない。例えば、音情報から音声らしさを評価する手法として、特許文献（特開２０１０－３８９４３号公報）に記載されている手法を採用することも可能である。また、例えば、音情報から音声らしさを評価する手法として、特許文献（特開２００７－３２８２２８号公報）に記載されている手法を採用することも可能である。ここでは、音声らしさの評価が、出力制御部１４６Ａによって行われる例を説明するが、音声らしさの評価は、図示しないサーバによって行われてもよい。
　認識制御部１４４Ａは、開始条件が満たされると、音情報取得部１４２Ａによって取得された音情報に対する音声認識処理を音声認識部１４５Ａに開始させる。音声認識処理を開始させるタイミングは限定されない。例えば、認識制御部１４４Ａは、音声らしさが所定の閾値を超える音情報が集音されてから、音声認識部１４５Ａに開始させてもよいし、表示オブジェクトＭｕＡが音声認識開始操作オブジェクトＧ１４Ａに到達してから、表示オブジェクトＭｕＡに対応する音情報に対する音声認識処理を音声認識部１４５Ａに開始させてもよい。
　なお、ユーザは音声認識処理の開始を取り消したい場合には、取り消しオブジェクトＧ２２Ａを選択すればよい。ユーザが、取り消しオブジェクトＧ２２Ａを選択すると、かかる操作は、出力停止操作として操作入力部１１５Ａによって入力され、操作検出部１４３Ａによって出力停止操作が検出される。操作検出部１４３Ａによって出力停止操作が検出されると、出力制御部１４６Ａは、開始条件の出力を停止させる。
　以上、音声認識処理が開始されるまでの残り時間が開始条件として出力される例を説明した。続いて、音声認識処理を開始させるために必要なユーザ操作に関する情報が開始条件として出力される例を説明する。
　図６は、音声認識処理を開始させるために必要なユーザ操作に関する情報が開始条件として出力されてから音声認識処理が開始されるまでの画面遷移の例を示す図である。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、発話開始確認画面Ｇ２４－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。発話開始確認画面Ｇ２４－１Ａには、音声認識処理を開始させるために必要なユーザ操作に関する情報としての音声認識処理開始オブジェクトＧ２５－１Ａと取り消しオブジェクトＧ２２Ａとが含まれている。
　続いて、ユーザによって音声認識処理開始オブジェクトＧ２５－１Ａを選択する操作がなされると（発話開始確認画面Ｇ２４－２Ａ）、その操作が操作入力部１１５Ａによって入力され、操作検出部１４３Ａによって検出される。出力制御部１４６Ａは、音声認識処理開始オブジェクトＧ２５－１Ａを選択する操作が検出されて開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件の出力を停止させる（時刻Ｔ１３Ａ）。開始条件の出力が停止されると、ユーザは集音部１２０Ａに向かって発話を開始する（時刻Ｔ１４Ａ）。以降の動作は、既に説明した音声認識処理が開始されるまでの残り時間が開始条件として出力される例と同様に実行され得る。
　以上、音声認識処理を開始させるために必要なユーザ操作に関する情報が開始条件として出力される例を説明した。音声認識処理の開始条件が出力されることによって、ユーザは、図５および図６にも示されるように、発話開始までに集音される音情報（例えば、フィラーや余計な発話など）が音声認識処理に与える影響を低減することが可能となる。
　このようにして開始条件が出力され得るが、開始条件が不変である場合には、音声認識処理を状況に応じて柔軟に開始させることが困難である。そこで、本開示の実施形態において、出力制御部１４６Ａは、出力部１３０Ａに出力させる音声認識処理の開始条件を動的に変更する。かかる構成によって、音声認識処理を状況に応じて柔軟に開始させることが可能となる。例えば、出力制御部１４６Ａは、所定の情報に基づいて、出力部１３０Ａに出力させる音声認識処理の開始条件を動的に変更すればよい。
　所定の情報は特に限定されない。まず、音声認識処理の起動トリガが検出された後に集音部１２０Ａから入力された音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する例を説明する。図７は、音声認識処理の起動トリガが検出された後に集音部１２０Ａから入力された音情報に基づいて、開始条件を動的に変更する例を説明するための図である。
　図７に示すように、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、集音部１２０Ａから入力された音情報に含まれる第１の種類の音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する。
　ここで、第１の種類の音情報は特に限定されない。例えば、第１の種類の音情報は、少なくとも雑音を含んでよい。雑音は、ユーザの発話に対する音声認識処理の妨げになる可能性があるからである。ここでは、第１の種類の音情報が雑音である場合を例として説明を続ける。
　一つ目として、雑音の音量（以下、「雑音レベル」とも言う。）が第１の閾値ｎ１Ａを上回る場合には、ユーザの発話に対する音声認識処理の成功率は低めであるため、ユーザに音声認識処理の開始タイミングを入力させるのが望ましいと考えられる。そこで、出力制御部１４６Ａは、雑音レベルが第１の閾値ｎ１Ａを上回る場合には、音声認識処理を開始させるために必要なユーザ操作に関する情報に開始条件を変更するのがよい。
　より具体的には、出力制御部１４６Ａは、雑音レベルが第１の閾値ｎ１Ａを上回る場合には、発話開始確認画面Ｇ２４－１Ａを出力させるのがよい。上記した例と同様に、発話開始確認画面Ｇ２４－１Ａには、音声認識処理を開始させるために必要なユーザ操作に関する情報としての音声認識処理開始オブジェクトＧ２５－１Ａと取り消しオブジェクトＧ２２Ａとが含まれている。
　続いて、ユーザによって音声認識処理開始オブジェクトＧ２５－１Ａを選択する操作がなされると、その操作が操作入力部１１５Ａによって入力され、操作検出部１４３Ａによって検出される。出力制御部１４６Ａは、音声認識処理開始オブジェクトＧ２５－１Ａを選択する操作が検出されて開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件の出力を停止させる（時刻Ｔ１３Ａ）。以降の動作は、既に説明した通りである。
　二つ目として、雑音レベルが第１の閾値ｎ１Ａ以下である場合、かつ、雑音レベルが（第１の閾値ｎ１Ａより小さい）第２の閾値ｎ２Ａ以上である場合には、ユーザの発話に対する音声認識処理の成功率は中程度であるため、所定時間の経過後に自動的に音声認識処理を開始させるのが望ましいと考えられる。そこで、出力制御部１４６Ａは、雑音の音量が第１の閾値ｎ１Ａを下回る場合、かつ、雑音レベルが第２の閾値ｎ２Ａを上回る場合には、音声認識処理が開始されるまでの残り時間に開始条件を変更するのがよい。
　上記した例と同様に、残り時間通知画面Ｇ２１－１Ａには、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａと開始条件の出力を停止させるための取り消しオブジェクトＧ２２Ａとが含まれている。出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間がゼロになり開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件の出力を停止させる（時刻Ｔ１３Ａ）。開始条件の出力が停止される。以降の動作は、既に説明した通りである。
　三つ目として、雑音レベルが第２の閾値ｎ２Ａを下回る場合には、ユーザの発話に対する音声認識処理の成功率は高めであるため、開始条件を出力させずに音声認識処理が開始されるのが望ましい。そこで、出力制御部１４６Ａは、雑音レベルが第２の閾値ｎ２Ａを下回る場合には、開始条件を出力部１３０Ａに出力させることを省略するのが望ましい。
　なお、上記では、雑音レベルが第１の閾値ｎ１Ａと等しい場合は、雑音レベルが第１の閾値ｎ１Ａ以下である場合、かつ、雑音レベルが第２の閾値ｎ２Ａ以上である場合と同様に扱われたが、雑音レベルが第１の閾値ｎ１Ａを上回る場合と同様に扱われてもよい。また、上記では、雑音レベルが第２の閾値ｎ２Ａと等しい場合は、雑音レベルが第１の閾値ｎ１Ａ以下である場合、かつ、雑音レベルが第２の閾値ｎ２Ａ以上である場合と同様に扱われたが、雑音レベルが第２の閾値ｎ２Ａを下回る場合と同様に扱われてもよい。
　出力制御部１４６Ａは、開始条件として所定の表示情報を出力部１３０Ａに出力させてよい。図８および図９は、開始条件として表示情報を出力部１３０Ａに出力させる例を示す図である。図８には、音声認識開始操作オブジェクトＧ１４Ａに表示内容を徐々に出現させる例が示されている（時刻Ｔ３１Ａ～時刻Ｔ３６Ａ）。また、図９には、音声認識開始操作オブジェクトＧ１４Ａの色を徐々に変化させていく例が示されている（時刻Ｔ４１Ａ～時刻Ｔ４６Ａ）。
　また、出力制御部１４６Ａは、開始条件として所定の音声情報を出力部１３０Ａに出力させてもよい。図１０および図１１は、開始条件として音声情報を出力部１３０Ａに出力させる例を示す図である。図１０には、時刻Ｔ５１Ａから時刻Ｔ５４Ａまでに、音声認識処理の開始タイミング（時刻Ｔ５４Ａ）を知らせる音声情報が出力される例が示されている。また、図１１には、時刻Ｔ６１Ａから時刻Ｔ６４Ａまでに、音声認識処理の開始タイミング（時刻Ｔ６４Ａ）を知らせる音声情報が出力される例が示されている。
　続いて、図１２および図１３を参照しながら、音声認識処理の起動トリガが検出された後に集音部１２０Ａから入力された音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する動作の流れについて説明する。なお、図１２および図１３のフローチャートは、音声認識処理の起動トリガが検出された後に集音部１２０Ａから入力された音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する動作の流れの例に過ぎないため、かかる動作の流れは、図１２および図１３のフローチャートに示された例に限定されない。
　まず、図１２に示すように、操作検出部１４３Ａは、音声認識処理の起動トリガを検出し（Ｓ１１Ａ）、集音部１２０Ａから音情報ｖ１Ａが入力される（Ｓ１２Ａ）。続いて、出力制御部１４６Ａは、音声認識処理の開始条件を雑音に基づいて動的に決定する（Ｓ１３Ａ）。ここで、図１３を参照しながら、音声認識処理の開始条件を雑音に基づいて動的に決定する動作の詳細を説明する。まず、出力制御部１４６Ａは、音情報ｖ１Ａを取得し（Ｓ１３１Ａ）、音情報ｖ１Ａの雑音レベルが閾値ｎ１Ａを上回る場合には（Ｓ１３２Ａにおいて「Ｙｅｓ」）、モーダルＵＩ（上記した例では、発話開始確認画面Ｇ２４－１Ａ）を出力させることを決定する（Ｓ１３３Ａ）。
　一方、出力制御部１４６Ａは、音情報ｖ１Ａの雑音レベルが閾値ｎ１Ａを上回らない場合（Ｓ１３２Ａにおいて「Ｎｏ」）、Ｓ１３４Ａに進み、音情報ｖ１Ａの雑音レベルが閾値ｎ２Ａを下回る場合には（Ｓ１３４Ａにおいて「Ｙｅｓ」）、開始条件を出力させないことを決定し（Ｓ１３５Ａ）、音情報ｖ１Ａの雑音レベルが閾値ｎ２Ａを下回らない場合には（Ｓ１３４Ａにおいて「Ｎｏ」）、タイマＵＩ（残り時間通知画面Ｇ２１－１Ａ）を出力させることを決定する（Ｓ１３６Ａ）。
　図１２に戻って説明を続ける。出力制御部１４６Ａは、開始条件の出力を省略すると決定した場合には（Ｓ１４Ａにおいて「Ｙｅｓ」）、Ｓ１８Ａに動作を移行させる。一方、出力制御部１４６Ａは、開始条件の出力を省略しないと決定した場合には（Ｓ１４Ａにおいて「Ｎｏ」）、開始条件を出力させる（Ｓ１５Ａ）。その後、操作検出部１４３Ａは、開始条件の出力停止トリガを検出する（Ｓ１６Ａ）。開始条件の出力停止トリガには、開始条件が満たされたことと開始条件の出力を停止させるための取り消しオブジェクトＧ２２Ａを選択する操作とが含まれ得る。
　続いて、出力制御部１４６Ａは、開始条件の出力を停止させる。そして、音声認識部１４５Ａは、開始条件が満たされていない場合には（Ｓ１７Ａにおいて「Ｎｏ」）、音声認識処理を開始させずに（Ｓ１９Ａ）、動作を終了させる。一方、音声認識部１４５Ａは、開始条件が満たされた場合には（Ｓ１７Ａにおいて「Ｙｅｓ」）、音声認識処理を開始させる（Ｓ１８Ａ）。
　以上においては、音声認識処理の起動トリガが検出された後に集音部１２０Ａから入力された音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する例について説明した。
　続いて、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する例を説明する。図１４および図１５は、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、音声認識処理が開始されるまでの残り時間を動的に短くする例を説明するための図である。
　図１４の上段に示すように、初回の音声認識処理時において、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、集音部１２０Ａから入力された音情報の蓄積を開始し、残り時間通知画面Ｇ２１－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。上記したように、残り時間通知画面Ｇ２１－１Ａには、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａと開始条件の出力を停止させるための取り消しオブジェクトＧ２２Ａとが含まれている。
　続いて、出力制御部１４６Ａは、時間の経過に伴って残り時間Ｇ２３－１Ａを減らしていく。例えば、出力制御部１４６Ａは、残り時間Ｇ２３－１Ａから減らされた後の残り時間Ｇ２３－２Ａを含んだ残り時間通知画面Ｇ２１－２Ａを出力させる。続いて、出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間がゼロになり開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件の出力を停止させる（時刻Ｔ１３Ａ）。
　開始条件の出力が停止されると、出力制御部１４６Ａは、集音部１２０Ａから入力された音情報の蓄積を終了する。このようにして蓄積された音情報は、過去の音情報として次回の音声認識処理時に利用される。そして、ユーザは集音部１２０Ａに向かって発話を開始する（時刻Ｔ１４Ａ）。以降の動作は、既に説明した音声認識処理が開始されるまでの残り時間が開始条件として出力される例と同様に実行され得る。
　続いて、図１４の下段に示すように、二回目の音声処理時において、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、蓄積されている過去の音情報を取得し、集音部１２０Ａから入力された音情報の蓄積を開始し、残り時間通知画面Ｇ２１－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。
　このとき、出力制御部１４６Ａは、過去の音情報に含まれる第２の種類の音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する。ここで、第２の種類の音情報は特に限定されない。例えば、第２の種類の音情報は、少なくとも雑音を含んでよい。雑音は、ユーザの発話に対する音声認識処理の妨げになる可能性があるからである。ここでは、第２の種類の音情報が雑音である場合を例として説明を続ける。
　ここで、図１４の上段にも示すように、初回の音声認識処理時においては、音声認識処理の起動トリガが検出されてから開始条件の出力が停止されるまで、雑音レベルが閾値より小さかった場合を想定する。かかる場合、二回目の音声認識処理時において取得される初回の音声認識処理時における雑音レベルは閾値より小さいこととなる。かかる場合には、出力制御部１４６Ａは、開始条件として出力させる音声認識処理が開始されるまでの残り時間を、初回の音声認識処理時よりも短くする。
　より具体的には、図１４を参照すると、出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａを、初回の音声認識処理時においては「３」秒としているのに対し、二回目の音声認識処理時においては「１」秒と短くしている。なお、図１４に示した例では、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａが二回目の音声認識処理時に直ちに短くなっているが、雑音レベルが閾値より小さい状態が複数回続いて初めて、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａが短くなってもよい。
　続いて、図１５に示すように、三回目の音声認識処理時において、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、蓄積されている二回目の音声認識処理時に集音部１２０Ａから入力された音情報の蓄積を開始する（時刻Ｔ１１Ａ）。
　ここで、図１４の下段にも示すように、二回目の音声認識処理時においては、音声認識処理の起動トリガが検出されてから開始条件の出力が停止されるまで、雑音レベルが閾値より小さかった場合を想定する。かかる場合、三回目の音声認識処理時において取得される二日目の音声認識処理時における雑音レベルは閾値より小さいこととなる。かかる場合には、出力制御部１４６Ａは、開始条件として出力させる音声認識処理が開始されるまでの残り時間を、二日目の音声認識処理時よりも短くする。
　より具体的には、図１５を参照すると、出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａを、二日目の音声認識処理時においては「１」秒としているのに対し、三回目の音声認識処理時においては、残り時間通知画面Ｇ２１－１Ａの出力を省略している。なお、図１５に示した例では、残り時間通知画面Ｇ２１－１Ａの出力が三回目の音声認識処理時に直ちに省略されているが、雑音レベルが閾値より小さい状態が複数回続いて初めて、残り時間通知画面Ｇ２１－１Ａの出力が省略されてもよい。
　続いて、音声認識処理が開始されるまでの残り時間を動的に長くする例を説明する。図１６および図１７は、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、音声認識処理が開始されるまでの残り時間を動的に長くする例を説明するための図である。
　図１６の上段に示すように、初回の音声認識処理時において、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５によって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、集音部１２０Ａから入力された音情報の蓄積を開始し、残り時間通知画面Ｇ２１－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。以降の動作は、既に説明した音声認識処理が開始されるまでの残り時間が開始条件として出力される例と同様に実行され得る。
　続いて、図１６の下段に示すように、二回目の音声処理時において、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、蓄積されている過去の音情報を取得し、集音部１２０Ａから入力された音情報の蓄積を開始し、残り時間通知画面Ｇ２１－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。
　ここで、図１６の上段にも示すように、初回の音声認識処理時においては、音声認識処理の起動トリガが検出されてから開始条件の出力が停止されるまで、雑音レベルが閾値より大きかった場合を想定する。かかる場合、二回目の音声認識処理時において取得される初回の音声認識処理時における雑音レベルは閾値より大きいこととなる。かかる場合には、出力制御部１４６Ａは、開始条件として出力させる音声認識処理が開始されるまでの残り時間を、初回の音声認識処理時よりも長くする。
　より具体的には、図１６を参照すると、出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａを、初回の音声認識処理時においては「３」秒としているのに対し、二回目の音声認識処理時においては「５」秒と長くしている。なお、図１６に示した例では、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａが二回目の音声認識処理時に直ちに長くなっているが、雑音レベルが閾値より大きい状態が複数回続いて初めて、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａが長くなってもよい。
　続いて、図１７に示すように、三回目の音声認識処理時において、ユーザによる音声認識開始操作オブジェクトＧ１４Ａを選択する操作が操作入力部１１５Ａによって入力されると、その操作が音声認識処理の起動トリガとして操作検出部１４３Ａによって検出される（時刻Ｔ１０Ａ）。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、蓄積されている二回目の音声認識処理時に集音部１２０Ａから入力された音情報の蓄積を開始する（時刻Ｔ１１Ａ）。
　ここで、図１６の下段にも示すように、二回目の音声認識処理時においては、音声認識処理の起動トリガが検出されてから開始条件の出力が停止されるまで、雑音レベルが閾値より大きかった場合を想定する。かかる場合、三回目の音声認識処理時において取得される二日目の音声認識処理時における雑音レベルは閾値より大きいこととなる。かかる場合には、出力制御部１４６Ａは、開始条件として出力させる音声認識処理が開始されるまでの残り時間を、二日目の音声認識処理時よりも長くする。
　より具体的には、図１７を参照すると、出力制御部１４６Ａは、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａを、二日目の音声認識処理時においては「５」秒としているのに対し、三回目の音声認識処理時においては、発話開始確認画面Ｇ２４－２Ａを出力させている。なお、図１７に示した例では、三回目の音声認識処理時に直ちに発話開始確認画面Ｇ２４－２Ａを出力させているが、雑音レベルが閾値より大きい状態が複数回続いて初めて、発話開始確認画面Ｇ２４－２Ａが出力されてもよい。
　ここで、上記したように、音声認識処理が開始されるまでの残り時間は変化し得る。このとき、音声認識処理が開始されるまでの残り時間の変化とともに出力部１３０Ａに出力される表示情報も変化させるのがよい。そうすれば、ユーザにとっても、開始条件が変更されたことを容易に把握することが可能となる。
　図１８は、音声認識処理が開始されるまでの残り時間が短くなった場合における表示情報の例を示す図である。図１８に示すように、音声認識開始操作オブジェクトＧ１４Ａに表示内容を徐々に出現させる例において、出力制御部１４６Ａは、表示内容の出現速度を高くするようにしてもよい（時刻Ｔ３１Ａ～時刻Ｔ３３Ａ）。また、図１９は、音声認識処理が開始されるまでの残り時間が長くなった場合における表示情報の例を示す図である。図１９に示すように、音声認識開始操作オブジェクトＧ１４Ａに表示内容を徐々に出現させる例において、出力制御部１４６Ａは、表示内容の出現速度を低くするようにしてもよい（時刻Ｔ３１Ａ～時刻Ｔ３８Ａ）。
　続いて、図２０および図２１を参照しながら、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する動作の流れについて説明する。なお、図２０および図２１のフローチャートは、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する動作の流れの例に過ぎないため、かかる動作の流れは、図２０および図２１のフローチャートに示された例に限定されない。
　まず、図２０に示すように、操作検出部１４３Ａは、音声認識処理の起動トリガを検出する（Ｓ２１Ａ）。また、出力制御部１４６Ａは、過去の音情報ｈ１Ａがあれば過去の音情報ｈ１を取得し（Ｓ２２Ａ）、集音部１２０Ａから音情報ｖ１Ａの取得を開始する（Ｓ２３Ａ）。続いて、出力制御部１４６Ａは、音声認識処理の開始条件を過去の音情報ｈ１Ａに応じて動的に決定する（Ｓ２４Ａ）。ここで、図２１を参照しながら、音声認識処理の開始条件を過去の音情報ｈ１Ａに基づいて動的に決定する動作の詳細を説明する。
　まず、出力制御部１４６Ａは、過去の音情報ｈ１Ａを取得し（Ｓ２４１Ａ）、タイムアウト値ｔ１Ａ（上記した例では、音声認識処理が開始されるまでの残り時間Ｇ２３－１Ａ）を取得する（Ｓ２４２Ａ）。続いて、出力制御部１４６Ａは、過去の音情報ｈ１Ａの音量が閾値ｍ１Ａを上回っている場合には（Ｓ２４３Ａにおいて「Ｙｅｓ」）、Ｓ２４４Ａに動作を移行させる。一方、出力制御部１４６Ａは、過去の音情報ｈ１Ａの音量が閾値ｍ１Ａを上回っていない場合には（Ｓ２４３Ａにおいて「Ｎｏ」）、Ｓ２４８Ａに動作を移行させる。
　Ｓ２４４Ａに動作が移行された場合、出力制御部１４６Ａは、タイムアウト値ｔ１Ａが閾値ｔ＿ｍａｘＡを上回っている場合には（Ｓ２４４Ａにおいて「Ｙｅｓ」）、モーダルＵＩ（上記した例では、発話開始確認画面Ｇ２４－１Ａ）を出力させることを決定し（Ｓ２４５Ａ）、タイムアウト値ｔ１Ａが閾値ｔ＿ｍａｘＡを上回っていない場合には（Ｓ２４４Ａにおいて「Ｎｏ」）、タイムアウト値ｔ１Ａを増加させ（Ｓ２４６Ａ）、タイムアウト値ｔ１Ａが設定されたタイマＵＩ（上記では、残り時間通知画面Ｇ２１－１Ａ）を出力させることを決定する（Ｓ２４７Ａ）。
　一方、Ｓ２４８Ａに動作が移行された場合、出力制御部１４６Ａは、タイムアウト値ｔ１Ａが閾値ｔ＿ｍｉｎＡを下回っている場合には（Ｓ２４８Ａにおいて「Ｙｅｓ」）、開始条件を出力させないことを決定し（Ｓ２５１Ａ）、タイムアウト値ｔ１Ａが閾値ｔ＿ｍｉｎＡを下回っていない場合には（Ｓ２４８Ａにおいて「Ｎｏ」）、タイムアウト値ｔ１Ａを減少させ（Ｓ２４９Ａ）、タイムアウト値ｔ１Ａが設定されたタイマＵＩ（上記では、残り時間通知画面Ｇ２１－１Ａ）を出力させることを決定する（Ｓ２４７Ａ）。
　図２０に戻って説明を続ける。出力制御部１４６Ａは、開始条件の出力を省略すると決定した場合には（Ｓ２５Ａにおいて「Ｙｅｓ」）、Ｓ３０Ａに動作を移行させる。一方、出力制御部１４６Ａは、開始条件の出力を省略しないと決定した場合には（Ｓ２５Ａにおいて「Ｎｏ」）、開始条件を出力させる（Ｓ２６Ａ）。その後、操作検出部１４３Ａは、開始条件の出力停止トリガを検出する（Ｓ２７Ａ）。開始条件の出力停止トリガには、開始条件が満たされたことと開始条件の出力を停止させるための取り消しオブジェクトＧ２２Ａを選択する操作とが含まれ得る。
　続いて、出力制御部１４６Ａは、開始条件の出力を停止させ、継続的に取得した音情報ｖ１Ａを過去の音情報ｈ１Ａとして保存する（Ｓ２８Ａ）。そして、音声認識部１４５Ａは、開始条件が満たされていない場合には（Ｓ２９Ａにおいて「Ｎｏ」）、音声認識処理を開始させずに（Ｓ３１Ａ）、動作を終了させる。一方、音声認識部１４５Ａは、開始条件が満たされた場合には（Ｓ２９Ａにおいて「Ｙｅｓ」）、音声認識処理を開始させる（Ｓ３０Ａ）。
　以上、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更する例を説明した。
　以上においては、集音部１２０Ａから入力される音情報にフィラーが含まれているか否かに依らずに動作する例を説明したが、集音部１２０Ａから入力される音情報にフィラーが含まれているか否かによって動作を異ならせてもよい。まず、フィラーの例について説明する。図２２は、フィラーとその音声波形との対応関係の例を示す図である。図２２に示すように、フィラーとその音声波形とが対応付けられてなる情報があらかじめ記憶されている。この音声波形が集音部１２０Ａから入力される音情報に含まれる場合、この音声波形に対応するフィラーが音声認識処理の結果として取得される。
　図２３は、集音部１２０Ａから入力される音情報にフィラーが含まれているか否かによって動作を異ならせる例を説明するための図である。出力制御部１４６Ａは、音声認識処理の起動トリガが検出されると、残り時間通知画面Ｇ２１－１Ａの出力を開始させる（時刻Ｔ１１Ａ）。このとき、認識制御部１４４Ａは、集音部１２０Ａから入力される音情報の蓄積を開始する。
　続いて、認識制御部１４４Ａは、開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件が満たされるまでに蓄積された音情報Ｐ１Ａの認識結果がフィラーであるか否かを判断し、認識結果がフィラーである場合、現時点までに蓄積された音情報Ｐ２Ａから開始条件が満たされるまでに蓄積されたＰ１Ａを除外して音声認識処理を音声認識部１４５Ａに行わせる。一方、認識制御部１４４Ａは、認識結果がフィラーではない場合、現時点までに蓄積された音情報Ｐ２Ａから開始条件が満たされるまでに蓄積されたＰ１Ａを除外せずに音声認識処理を音声認識部１４５に行わせる。また、出力制御部１４６Ａは、開始条件が満たされると（時刻Ｔ１２Ａ）、開始条件の出力を停止させる（時刻Ｔ１３Ａ）。以降の動作は、既に説明した通りである。
　以上、出力部１３０Ａに出力させる開始条件を動的に変更する例を説明したが、開始条件を動的に変更する例は、上記した例に限定されない。例えば、出力制御部１４６Ａは、音声らしさが閾値を超える音情報の集音部１２０Ａへの到来方向の数に基づいて、出力部１３０Ａに出力させる開始条件を動的に変更してもよい。音声らしさが閾値を超える音情報の集音部１２０Ａへの到来方向の数が所定値を超える場合には、音声認識処理が困難になる可能性があるからである。
　そこで、例えば、出力制御部１４６Ａは、音声らしさが閾値を超える音情報の集音部１２０Ａへの到来方向の数が所定値を超える場合には、発話開始確認画面Ｇ２４－１Ａを出力させてもよい。また、出力制御部１４６Ａは、音声らしさが閾値を超える音情報の集音部１２０Ａへの到来方向の数が所定値以下である場合には、残り時間通知画面Ｇ２１－１Ａを出力させてもよい。所定値は限定されないが、「１」であってもよい。
　以上、本開示の実施形態に係る情報処理システム１０Ａの機能詳細について説明した。
　［１．４．システム構成の変形例］
　上記においては、出力部１３０ＡがテーブルＴｂｌＡの天面に画面を投影することが可能なプロジェクタである例について説明した。しかし、情報処理システム１０Ａのシステム構成は、かかる例に限定されない。以下では、情報処理システム１０Ａのシステム構成の変形例について説明する。図２４は、情報処理システム１０Ａの構成の変形例１を示す図である。図２４に示すように、情報処理システム１０Ａが携帯端末である場合に、出力部１３０Ａは、携帯端末に備わっていてもよい。携帯端末の種類は特に限定されず、タブレット端末であってもよいし、スマートフォンであってもよいし、携帯電話であってもよい。
　また、図２５～図２８は、情報処理システム１０Ａの構成の変形例２を示す図である。図２５～図２８に示すように、出力部１３０Ａは、テレビジョン装置であり、情報処理装置１４０Ａは、ゲーム機であり、操作入力部１１５Ａは、ゲーム機を操作するコントローラであってよい。
　また、図２５に示すように、集音部１２０Ａおよび出力部１３０Ａは、操作入力部１１５Ａに接続されていてもよい。また、図２６に示すように、画像入力部１１０Ａおよび集音部１２０Ａは、情報処理装置１４０Ａに接続されていてもよい。また、図２７に示すように、操作入力部１１５Ａ、集音部１２０Ａおよび出力部１３０Ａは、情報処理装置１４０Ａに接続されたスマートフォンに備えられていてもよい。また、図２８に示すように、集音部１２０Ａは、テレビジョン装置に備えられていてもよい。
　また、図２９～図３２は、情報処理システム１０Ａの構成の変形例３を示す図である。図２９に示すように、情報処理システム１０Ａは、自動車に取り付け可能な車載向けナビゲーションシステムに搭載され、自動車を運転中のユーザＵＡによって利用されてもよい。また、図３０に示すように、情報処理システム１０Ａは、携帯端末に搭載され、自動車を運転中のユーザＵＡによって利用されてもよい。上記したように、携帯端末の種類は特に限定されない。
　また、図３１に示すように、情報処理システム１０Ａのうち、画像入力部１１０Ａと、操作入力部１１５Ａと、出力部１３０Ａとは、携帯端末によって備えられており、集音部１２０Ａは、ユーザＵＡの身体に取り付け可能なマイクロフォンであってもよい。また、図３２に示すように、情報処理システム１０Ａは、自動車に内蔵されている車載向けナビゲーションシステムに搭載され、自動車を運転中のユーザＵＡによって利用されてもよい。
　［１．５．ハードウェア構成例］
　次に、図３３を参照して、本開示の実施形態に係る情報処理システム１０Ａのハードウェア構成について説明する。図３３は、本開示の実施形態に係る情報処理システム１０Ａのハードウェア構成例を示すブロック図である。
　図３３に示すように、情報処理システム１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１Ａ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３Ａ、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５Ａを含む。また、情報処理システム１０Ａは、ホストバス９０７Ａ、ブリッジ９０９Ａ、外部バス９１１Ａ、インターフェース９１３Ａ、入力装置９１５Ａ、出力装置９１７Ａ、ストレージ装置９１９Ａ、ドライブ９２１Ａ、接続ポート９２３Ａ、通信装置９２５Ａを含んでもよい。さらに、情報処理システム１０Ａは、必要に応じて、撮像装置９３３Ａ、およびセンサ９３５Ａを含んでもよい。情報処理システム１０Ａは、ＣＰＵ９０１Ａに代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１Ａは、演算処理装置および制御装置として機能し、ＲＯＭ９０３Ａ、ＲＡＭ９０５Ａ、ストレージ装置９１９Ａ、またはリムーバブル記録媒体９２７Ａに記録された各種プログラムに従って、情報処理システム１０Ａ内の動作全般またはその一部を制御する。ＲＯＭ９０３Ａは、ＣＰＵ９０１Ａが使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５Ａは、ＣＰＵ９０１Ａの実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１Ａ、ＲＯＭ９０３Ａ、およびＲＡＭ９０５Ａは、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７Ａにより相互に接続されている。さらに、ホストバス９０７Ａは、ブリッジ９０９Ａを介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１Ａに接続されている。
　入力装置９１５Ａは、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５Ａは、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５Ａは、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１０Ａの操作に対応した携帯電話などの外部接続機器９２９Ａであってもよい。入力装置９１５Ａは、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１Ａに出力する入力制御回路を含む。ユーザは、この入力装置９１５Ａを操作することによって、情報処理システム１０Ａに対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３Ａも、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７Ａは、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７Ａは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７Ａは、情報処理システム１０Ａの処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７Ａは、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９Ａは、情報処理システム１０Ａの記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９Ａは、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９Ａは、ＣＰＵ９０１Ａが実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１Ａは、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７Ａのためのリーダライタであり、情報処理システム１０Ａに内蔵、あるいは外付けされる。ドライブ９２１Ａは、装着されているリムーバブル記録媒体９２７Ａに記録されている情報を読み出して、ＲＡＭ９０５Ａに出力する。また、ドライブ９２１Ａは、装着されているリムーバブル記録媒体９２７Ａに記録を書き込む。
　接続ポート９２３Ａは、機器を情報処理システム１０Ａに直接接続するためのポートである。接続ポート９２３Ａは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３Ａは、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３Ａに外部接続機器９２９Ａを接続することで、情報処理システム１０Ａと外部接続機器９２９Ａとの間で各種のデータが交換され得る。
　通信装置９２５Ａは、例えば、通信ネットワーク９３１Ａに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５Ａは、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５Ａは、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５Ａは、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５Ａに接続される通信ネットワーク９３１Ａは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３Ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３Ａは、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５Ａは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５Ａは、例えば情報処理システム１０Ａの筐体の姿勢など、情報処理システム１０Ａ自体の状態に関する情報や、情報処理システム１０Ａの周辺の明るさや騒音など、情報処理システム１０Ａの周辺環境に関する情報を取得する。また、センサ９３５Ａは、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、情報処理システム１０Ａのハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
　＜２．むすび＞
　以上説明したように、本開示の実施形態によれば、集音部１２０Ａから入力された音情報に対して音声認識部１４５Ａによって施される音声認識処理の開始条件を出力部１３０Ａに出力させる出力制御部１４６Ａを備え、出力制御部１４６Ａは、出力部１３０Ａに出力させる音声認識処理の開始条件を動的に変更する、情報処理システム１０Ａが提供される。かかる構成によれば、音声認識処理を状況に応じて柔軟に開始させることが可能となる。
　また、かかる構成によれば、音声認識処理の開始前に発話内容をユーザに考えさせることが可能となる。換言すれば、発話内容をユーザに決めさせてから音声認識処理を開始させることが可能となる。また、かかる構成によれば、集音された音情報に含まれる雑音などを音声認識処理の対象から除外することが可能となる。また、音声認識処理の開始条件をユーザに提示することによって、音声認識処理の成功率を向上させることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記においては、情報処理システム１０Ａのシステム構成例およびシステム構成の変形例を説明したが、情報処理システム１０Ａのシステム構成例は、これらの例に限定されない。例えば、出力部１３０Ａは、ヘッドマウントディスプレイ以外のウェアラブル端末（例えば、時計、眼鏡など）に備わるディスプレイであってもよい。また、例えば、出力部１３０Ａは、ヘルスケア分野において利用されるディスプレイであってもよい。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置１４０Ａが有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、出力制御部１４６Ａは、出力部１３０Ａに表示内容を表示させるための表示制御情報を生成し、生成した表示制御情報を出力部１３０Ａに出力することで、当該表示内容が出力部１３０Ａに表示されるように出力部１３０Ａを制御することが可能である。かかる表示制御情報の内容はシステム構成にあわせて適宜変更されてよい。
　具体的な一例として、情報処理装置１４０Ａを実現するためのプログラムは、ウェブアプリケーションであってもよい。かかる場合、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ　Ｇｅｎｅｒａｌｉｚｅｄ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。
　なお、上述した情報処理システム１０Ａの動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像入力部１１０Ａ、操作入力部１１５Ａおよび集音部１２０Ａと出力部１３０Ａと情報処理装置１４０Ａとは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、情報処理装置１４０Ａが、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、画像入力部１１０Ａ、操作入力部１１５Ａおよび集音部１２０Ａと出力部１３０Ａとが当該サーバにネットワークを介して接続されたクライアントに相当し得る。
　また、情報処理装置１４０Ａが有するすべての構成要素が同一の装置に収まっていなくてもよい。例えば、入力画像取得部１４１Ａと、音情報取得部１４２Ａと、操作検出部１４３Ａと、認識制御部１４４Ａと、音声認識部１４５Ａと、出力制御部１４６Ａとのうち、一部は情報処理装置１４０Ａとは異なる装置に存在していてもよい。例えば、音声認識部１４５Ａは、入力画像取得部１４１Ａと、音情報取得部１４２Ａと、操作検出部１４３Ａと、認識制御部１４４Ａと、出力制御部１４６Ａとを備える情報処理装置１４０Ａとは異なるサーバに存在していてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させる出力制御部を備え、
　前記出力制御部は、前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更する、
　情報処理システム。
（２）
　前記出力制御部は、前記音声認識処理の起動トリガが検出された場合に、前記開始条件を前記出力部に出力させる、
　前記（１）に記載の情報処理システム。
（３）
　前記情報処理システムは、前記開始条件が満たされた場合に、前記音声認識処理を前記音声認識部に開始させる認識制御部を備える、
　前記（１）または（２）に記載の情報処理システム。
（４）
　前記出力制御部は、前記開始条件が満たされた場合または前記開始条件の出力停止操作が検出された場合に、前記開始条件の出力を停止させる、
　前記（１）～（３）のいずれか一項に記載の情報処理システム。
（５）
　前記出力制御部は、所定の情報に基づいて、前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更する、
　前記（２）に記載の情報処理システム。
（６）
　前記出力制御部は、前記起動トリガが検出された後に前記集音部から入力された音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
　前記（５）に記載の情報処理システム。
（７）
　前記出力制御部は、前記集音部から入力された前記音情報に含まれる第１の種類の音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
　前記（６）に記載の情報処理システム。
（８）
　前記出力制御部は、前記第１の種類の音情報の音量が第１の閾値を上回る場合には、前記音声認識処理を開始させるために必要なユーザ操作に関する情報に前記開始条件を変更する、
　前記（７）に記載の情報処理システム。
（９）
　前記出力制御部は、前記第１の種類の音情報の音量が前記第１の閾値を下回る場合には、前記音声認識処理が開始されるまでの残り時間に前記開始条件を変更する、
　前記（８）に記載の情報処理システム。
（１０）
　前記出力制御部は、前記第１の種類の音情報の音量が前記第１の閾値より小さい第２の閾値を下回る場合には、前記開始条件を前記出力部に出力させることを省略する、
　前記（８）または（９）に記載の情報処理システム。
（１１）
　前記第１の種類の音情報は、少なくとも雑音を含む、
　前記（７）～（１０）のいずれか一項に記載の情報処理システム。
（１２）
　前記出力制御部は、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
　前記（６）に記載の情報処理システム。
（１３）
　前記出力制御部は、前記過去の音情報に含まれる第２の種類の音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
　前記（１２）に記載の情報処理システム。
（１４）
　前記出力制御部は、前記第２の種類の音情報の音量が閾値を上回る場合には、前記開始条件として出力させる前記音声認識処理が開始されるまでの残り時間を、前回の音声認識処理時よりも長くする、
　前記（１３）に記載の情報処理システム。
（１５）
　前記出力制御部は、前記第２の種類の音情報の音量が前記閾値を下回る場合には、前記開始条件として出力させる前記音声認識処理が開始されるまでの残り時間を、前回の音声認識処理時よりも短くする、
　前記（１４）に記載の情報処理システム。
（１６）
　前記第２の種類の音情報は、少なくとも雑音を含む、
　前記（１３）～（１５）のいずれか一項に記載の情報処理システム。
（１７）
　前記出力制御部は、音声らしさが閾値を超える音情報の前記集音部への到来方向の数に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
　前記（１）に記載の情報処理システム。
（１８）
　前記出力制御部は、前記開始条件として所定の表示情報および所定の音声情報のうち少なくともいずれか一方を前記出力部に出力させる、
　前記（１）～（１７）のいずれか一項に記載の情報処理システム。
（１９）
　前記認識制御部は、前記開始条件が満たされる前から音声認識処理を開始させ、前記開始条件が満たされた場合に、前記音声認識処理の結果にフィラーが含まれる場合には、前記フィラーに対応する部分が除外された後の音情報に対する音声認識処理を前記音声認識部に開始させる、
　前記（３）に記載の情報処理システム。
（２０）
　集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させることを含み、
　プロセッサにより前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更することを含む、
　情報処理方法。
　続いて、他の実施形態について説明する。説明は以下の順序で行うものとする。
　３．背景
　４．本開示の実施形態
　　４．１．システム構成例
　　４．２．機能構成例
　　４．３．情報処理システムの機能詳細
　　４．４．表示形態の変形例
　　４．５．システム構成の変形例
　　４．６．ハードウェア構成例
　５．むすび
　＜３．背景＞
　近年、マイクロフォンによって集音された情報（以下、単に「集音情報」とも言う。）に対して音声認識処理を行うことによって認識結果を得る技術が存在する。例えば、ユーザが音声認識処理を停止させるための停止操作のタイミングを誤ったとしても、音声認識処理される集音情報の終端が短くなってしまう可能性を低減する技術が開示されている（例えば、特開２００４－９４０７７号公報参照）。
　ここで、集音情報に対して施される音声認識処理の認識結果に基づいて所定の実行動作が実行される。しかし、ユーザは実行動作が開始されるタイミングを把握するのが困難なことがある。そこで、実行動作が開始されるタイミングをユーザに容易に把握させるための技術が提供されることが望まれる。
　本開示によれば、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、を備える、情報処理装置が提供される。
　本開示によれば、プロセッサにより、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させること、を含む、情報処理方法が提供される。
　本開示によれば、コンピュータを、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、を備える情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、実行動作が開始されるタイミングをユーザに容易に把握させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
　図３４は、一般的なシステムにおける音声認識処理を説明するための図である。以下の説明において、発話は、集音された集音情報の音量が閾値よりも大きい状態を示す。また、無音は、集音された集音情報の音量が閾値よりも小さい音量によって集音されている状態を示す。
　図３４に示すように、一般的なシステムにおいて、集音しつつ音声認識処理を行う（Ｓ１０１Ｂ）。まず、発話区間ＨａＢにおいては、集音中である旨の画面Ｇ９１Ｂが表示される。そして、音声認識処理が開始されてから集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した区間（以下、「無音区間」とも言う。）が検出されると（Ｓ１０２Ｂ）、システムから無音区間検出通知がなされる（Ｓ１０３Ｂ）。無音区間検出通知がなされると、発話区間ＨａＢにおいて集音された集音情報に対して施される音声認識処理の認識結果に基づいて所定の実行動作が実行される。
　ここで、音声認識処理の認識結果に基づく実行動作は特に限定されない。例えば、音声認識処理の認識結果に基づく実行動作は、認識結果の文字列に応じた検索結果を出力させる動作、認識結果の文字列を出力させる動作、認識結果の認識過程において得られた認識結果候補を出力させる動作、認識結果の文字列から抽出される発話内容に返答するための文字列を出力させる動作のいずれか一つを含んでよい。認識結果の文字列から発話内容を抽出する手法は限定されないが、例えば、認識結果の文字列に対して自然言語処理（例えば、言語解析、意味解析など）を施すことによって発話内容が抽出されてよい。
　実行動作の処理中には、実行動作の処理中である旨を示す画面Ｇ９２Ｂが表示される。そして、音声認識処理が終了すると（Ｓ１０４Ｂ）、システムから音声認識処理終了通知がなされる（Ｓ１０５Ｂ）。音声認識処理終了通知がなされると、実行動作の結果を示す画面Ｇ９３Ｂが表示される。実行動作の結果を示す画面Ｇ９３Ｂには、認識結果の文字列に応じた検索結果として、「襟」「競り」「蹴り」が含まれている。
　図３５は、一般的なシステムにおける音声認識処理を説明するための他の図である。ここで、図３５のようにして、集音中である旨の画面Ｇ９１Ｂから実行動作の処理中である旨を示す画面Ｇ９２Ｂに切り替わっても、その切り替えにユーザは気づかないこともある。また、ユーザが発話しようとしたときには、集音中である旨の画面Ｇ９１Ｂが表示されていても、実際にユーザが発した音声が集音されるまでに、実行動作が始まってしまうこともある。さらに、その切り替えのタイミングをユーザが把握することが難しいこともある。
　そのため、図３５に示すように、無音区間ＭａＢが検出されて実行動作が始まっても、ユーザが発話してしまうことがある（発話区間ＨｂＢ）。その場合、無音状態の解除が検出され（Ｓ１１１Ｂ）、無音状態解除通知がなされ（Ｓ１１２Ｂ）、集音中である旨の画面Ｇ９１Ｂが表示され続けるが、発話区間ＨｂＢに発せられた音声は実行動作に反映されないという機会損失が生じ得る。その後、ユーザが発話を止めると、無音区間ＭｂＢが検出され（Ｓ１０４Ｂ）、同様の動作が無音区間検出時の動作が同様に実行される。
　＜４．本開示の実施形態＞
　［４．１．システム構成例］
　続いて、図面を参照しながら本開示の実施形態に係る情報処理システム１０Ｂの構成例について説明する。図３６は、本開示の実施形態に係る情報処理システム１０Ｂの構成例を示す図である。図３６に示したように、本開示の実施形態に係る情報処理システム１０Ｂは、画像入力部１１０Ｂと、操作入力部１１５Ｂと、集音部１２０Ｂと、出力部１３０Ｂとを備える。情報処理システム１０Ｂは、ユーザＵＢ（以下、単に「ユーザ」とも言う。）によって発せられた音声に対して音声認識処理を行うことが可能である。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。
　画像入力部１１０Ｂは、画像を入力する機能を有する。図３６に示した例では、画像入力部１１０Ｂは、テーブルＴｂｌＢに埋め込まれた２つのカメラを含んでいる。しかし、画像入力部１１０Ｂに含まれるカメラの数は１以上であれば特に限定されない。かかる場合、画像入力部１１０Ｂに含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。
　操作入力部１１５Ｂは、ユーザＵの操作を入力する機能を有する。図３６に示した例では、操作入力部１１５Ｂは、テーブルＴｂｌＢの上方に存在する天井から吊り下げられた１つのカメラを含んでいる。しかし、操作入力部１１５Ｂに含まれるカメラが設けられる位置は特に限定されない。また、カメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。また、操作入力部１１５ＢはユーザＵＢの操作を入力する機能を有していればカメラでなくてもよく、例えば、タッチパネルであってもよいし、ハードウェアボタンであってもよい。
　出力部１３０Ｂは、テーブルＴｂｌＢに画面を表示する機能を有する。図３６に示した例では、出力部１３０Ｂは、テーブルＴｂｌＢの上方に天井から吊り下げられている。しかし、出力部１３０Ｂが設けられる位置は特に限定されない。また、典型的には、出力部１３０Ｂは、テーブルＴｂｌＢの天面に画面を投影することが可能なプロジェクタであってよいが、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。
　なお、本明細書では、テーブルＴｂｌＢの天面が画面の表示面となる場合を主に説明するが、画面の表示面は、テーブルＴｂｌＢの天面以外であってもよい。例えば、画面の表示面は、壁であってもよいし、建物であってもよいし、床面であってもよいし、地面であってもよいし、天井であってもよいし、他の場所にある面であってもよい。また、出力部１３０Ｂが表示面を有する場合には、画面の表示面は、出力部１３０Ｂが有する表示面であってもよい。
　集音部１２０Ｂは、集音する機能を有する。図３６に示した例では、集音部１２０Ｂは、テーブルＴｂｌＢの上方に存在する３つのマイクロフォンとテーブルＴｂｌＢの上面に存在する３つのマイクロフォンとの合計６つのマイクロフォンを含んでいる。しかし、集音部１２０Ｂに含まれるマイクロフォンの数は１以上であれば特に限定されない。かかる場合、集音部１２０Ｂに含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。
　ただし、集音部１２０Ｂが、複数のマイクロフォンを含んでいれば、複数のマイクロフォンそれぞれによって集音された集音情報に基づいて音の到来方向が推定され得る。また、集音部１２０Ｂが指向性を有するマイクロフォンを含んでいれば、指向性を有するマイクロフォンによって集音された集音情報に基づいて音の到来方向が推定され得る。
　以上、本開示の実施形態に係る情報処理システム１０Ｂの構成例について説明した。
　［４．２．機能構成例］
　続いて、本開示の実施形態に係る情報処理システム１０Ｂの機能構成例について説明する。図３７は、本開示の実施形態に係る情報処理システム１０Ｂの機能構成例を示すブロック図である。図３７に示したように、本開示の実施形態に係る情報処理システム１０Ｂは、画像入力部１１０Ｂと、操作入力部１１５Ｂと、集音部１２０Ｂと、出力部１３０Ｂと、情報処理装置１４０Ｂ（以下、「制御部１４０Ｂ」とも言う。）と、を備える。
　情報処理装置１４０Ｂは、情報処理システム１０Ｂの各部の制御を実行する。例えば、情報処理装置１４０Ｂは、出力部１３０Ｂから出力する情報を生成する。また、例えば、情報処理装置１４０Ｂは、画像入力部１１０Ｂ、操作入力部１１５Ｂおよび集音部１２０Ｂそれぞれが入力した情報を、出力部１３０Ｂから出力する情報に反映させる。図３７に示したように、情報処理装置１４０Ｂは、入力画像取得部１４１Ｂと、集音情報取得部１４２Ｂと、操作検出部１４３Ｂと、認識制御部１４４Ｂと、音声認識部１４５Ｂと、出力制御部１４６Ｂとを備える。これらの各機能ブロックについての詳細は、後に説明する。
　なお、情報処理装置１４０Ｂは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてもよい。情報処理装置１４０ＢがＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成され得る。
　以上、本開示の実施形態に係る情報処理システム１０Ｂの機能構成例について説明した。
　［４．３．情報処理システムの機能詳細］
　続いて、本開示の実施形態に係る情報処理システム１０Ｂの機能詳細について説明する。図３８は、初期画面の表示から音声認識処理の実行中に表示される画面遷移の例を示す図である。図３８を参照すると、出力制御部１４６Ｂは、初期画面Ｇ１０－１Ｂを表示させている。初期画面Ｇ１０－１Ｂには、音声認識を開始させるための音声認識開始操作オブジェクトＧ１４Ｂ、音声認識によって得られた文字列（以下、「認識文字列」とも言う。）の表示欄である認識文字列表示欄Ｇ１１Ｂが含まれる。
　また、初期画面Ｇ１０－１Ｂには、認識文字列を全部削除するための全削除操作オブジェクトＧ１２Ｂ、認識文字列を確定するための確定操作オブジェクトＧ１３Ｂが含まれる。また、初期画面Ｇ１０－１Ｂには、認識文字列におけるカーソル位置を前に戻すための移動操作オブジェクトＧ１５Ｂ、認識文字列におけるカーソル位置を後ろに進めるための移動操作オブジェクトＧ１６Ｂ、カーソル位置の文字または単語を削除するための削除操作オブジェクトＧ１７Ｂが含まれる。
　まず、画面Ｇ１０－２Ｂに示すように、ユーザが音声認識開始操作オブジェクトＧ１４Ｂを選択する操作を行い、音声認識開始操作オブジェクトＧ１４Ｂを選択する操作が操作入力部１１５Ｂによって入力されると、操作検出部１４３Ｂによって検出され、出力制御部１４６Ｂは、集音開始画面Ｇ１０－３Ｂを表示させる。出力制御部１４６Ｂが集音開始画面Ｇ１０－３Ｂを表示させると、ユーザは集音部１２０Ｂに向かって発話を開始する。
　集音中画面Ｇ１０－４Ｂに示すように、集音部１２０Ｂによって集音された集音情報が集音情報取得部１４２Ｂによって取得されると、出力制御部１４６Ｂは、所定のオブジェクト（以下、「表示オブジェクト」とも言う。）ＭｕＢを表示させる。表示オブジェクトＭｕＢは、静止していてもよいし、画面Ｇ１０－４Ｂに示したように動きを有していてもよい。例えば、表示オブジェクトＭｕＢが動きを有する場合、表示オブジェクトＭｕＢの移動方向ＤｅＢは、ユーザによる発話音声の音源から集音部１２０Ｂへの到来方向に応じて決まってよい。なお、ユーザによる発話音声の到来方向の推定手法も特に限定されない。
　例えば、認識制御部１４４Ｂは、音声認識開始操作オブジェクトＧ１４Ｂを選択する操作を行ったユーザの指方向（例えば、指の根元から指先への方向）に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。類似範囲はあらかじめ定められていてよい。また、指方向は入力画像を解析することによって取得されてよい。
　あるいは、認識制御部１４４Ｂは、集音部１２０Ｂによって入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。音の到来方向が複数あった場合には、複数の到来方向のうち最初に入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよいし、複数の到来方向のうち音声認識開始操作オブジェクトＧ１４Ｂを選択する操作を行ったユーザの指方向に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。
　あるいは、認識制御部１４４Ｂは、複数の到来方向のうち集音部１２０Ｂによって最も大きな音量で入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。このようにしてユーザによる発話音声の到来方向が推定され得る。一方において、認識制御部１４４Ｂは、ユーザによる発話音声の到来方向以外の方向から集音部１２０Ｂによって入力された音をノイズとして取得してよい。
　また、図３８には、出力制御部１４６Ｂが、ユーザによる発話音声の到来方向（移動方向ＤｅＢ）に表示オブジェクトＭｕＢを移動させる例が示されている。これによって、ユーザは自分の発話音声が集音部１２０Ｂによって集音されていることを直感的に把握することが可能となる。しかし、表示オブジェクトＭｕＢの動きは、かかる動きに限定されない。また、図３８には、表示オブジェクトＭｕＢの移動先が、音声認識開始操作オブジェクトＧ１４Ｂである例が示されている。しかし、表示オブジェクトＭｕＢの移動先は、かかる例に限定されない。
　また、図３８には、出力制御部１４６Ｂが、集音部１２０Ｂによる集音に応じて次々と出現した円形状の表示オブジェクトＭｕＢを移動させる例が示されているが、表示オブジェクトＭｕＢの表示態様はかかる例に限定されない。例えば、出力制御部１４６Ｂは、集音情報に応じた所定の情報（例えば、集音情報の音声らしさ、音量など）に基づいて表示オブジェクトＭｕＢの各種パラメータを制御してよい。このときに用いられる集音情報は、ユーザによる発話音声の到来方向からの集音情報であるとよい。また、表示オブジェクトＭｕＢのパラメータは、表示オブジェクトＭｕの形状、透明度、色、サイズおよび動きのうち、少なくともいずれか一つを含んでもよい。
　なお、集音情報から音声らしさを評価する手法は特に限定されない。例えば、集音情報から音声らしさを評価する手法として、特許文献（特開２０１０－３８９４３号公報）に記載されている手法を採用することも可能である。また、例えば、集音情報から音声らしさを評価する手法として、特許文献（特開２００７－３２８２２８号公報）に記載されている手法を採用することも可能である。ここでは、音声らしさの評価が、出力制御部１４６Ｂによって行われる例を説明するが、音声らしさの評価は、図示しないサーバによって行われてもよい。
　認識制御部１４４Ｂは、集音情報取得部１４２Ｂによって取得された集音情報に対する音声認識を音声認識部１４５Ｂに開始させる。音声認識を開始させるタイミングは限定されない。例えば、認識制御部１４４Ｂは、表示オブジェクトＭｕＢが音声認識開始操作オブジェクトＧ１４Ｂに到達してから、表示オブジェクトＭｕＢに対応する集音情報に対する音声認識を音声認識部１４５Ｂに開始させてよい。
　以上、初期画面の表示から音声認識処理の実行中に表示される画面遷移の例について説明した。図３９は、本開示の実施形態に係る情報処理システム１０Ｂの機能詳細について説明するための図である。図３９に示すように、ユーザが発話を開始し、音声らしさが所定の閾値を超える集音情報が集音されると、音声認識処理が開始され、出力制御部１４６Ｂは、表示オブジェクトＭｕＢを表示させる（時刻Ｔ１０Ｂ）。
　ユーザが発話を終了し（時刻Ｔ１１Ｂ）、無音が検出されると、出力制御部１４６Ｂは、継続時間の開始（例えば、タイムアウトバーＧ２１－１Ｂ）を出力部１３０Ｂに出力させる（時刻Ｔ１２Ｂ）。そして、出力制御部１４６Ｂは、実行動作が音声認識部１４５Ｂによって開始されるための開始条件を出力部１３０Ｂに出力させる（時刻Ｔ１３Ｂ）。かかる構成によれば、実行動作が開始されるタイミングをユーザに容易に把握させることが可能となる。
　開始条件としては、無音の継続時間が目標時間に達するまでの残り時間に関する情報が表示されてもよい。残り時間に関する情報は、図３９に示すように、目標時間に対する残り時間の割合を示す表示オブジェクト（タイムアウトバーＧ２１－２Ｂ）を含んでもよい。あるいは、残り時間に関する情報は、残り時間自体を含んでもよい。あるいは、開始条件は、実行動作を開始させるために必要なユーザ操作に関する情報を含んでもよい。
　続いて、出力制御部１４６Ｂは、無音の継続時間が目標時間に達する前に、音量が基準音量を超える新たな集音情報が集音されない場合、タイムアウトバーＧ２１－３Ｂに示すように、開始条件を更新する（時刻Ｔ１４Ｂ）。このとき、音声らしさが考慮されてもよい。すなわち、出力制御部１４６Ｂは、無音の継続時間が目標時間に達する前に、音声らしさが所定の音声らしさを超える新たな集音情報が集音されない場合、開始条件を更新してもよい。
　出力制御部１４６Ｂは、無音の継続時間が目標時間に達した場合（開始条件が満たされた場合）、出力部１３０Ｂによる開始条件（タイムアウトバーＧ２１－４Ｂ）の出力を停止させ（時刻Ｔ１５Ｂ）、無音の継続時間が目標時間に達した旨を出力部１３０Ｂに出力させる（時刻Ｔ１６Ｂ）。図３９に示した例では、音声認識開始操作オブジェクトＧ２２Ｂに「お待ちください」を表示させている。また、認識制御部１４４Ｂは、音声認識処理を音声認識部１４５Ｂに行わせるが、無音の継続時間が目標時間に達した場合に、実行動作を音声認識部１４５Ｂに開始させる。
　図４０は、本開示の実施形態に係る情報処理システム１０Ｂの機能詳細について説明するための他の図である。図４０に示した例において、図３９に示した例と異なる点は、無音の継続時間が目標時間に達しないうちに、音量が基準音量を超える新たな集音情報が集音される点である。図４０に示すように、ユーザが発話を再開し（時刻Ｔ２１Ｂ）、出力制御部１４６Ｂは、無音の継続時間が目標時間に達しないうちに、音量が基準音量を超える新たな集音情報が集音された場合（時刻Ｔ２２Ｂ）、開始条件（タイムアウトバーＧ２１－３Ｂ）の出力を停止させる。
　音声らしさが考慮されてもよい。すなわち、出力制御部１４６Ｂは、無音の継続時間が目標時間に達しないうちに、音声らしさが所定の音声らしさを超える新たな集音情報が集音された場合、開始条件（タイムアウトバーＧ２１－３Ｂ）の出力を停止してもよい。音声認識処理が再開されると（時刻Ｔ２３Ｂ）、出力制御部１４６Ｂは、表示オブジェクトＭｕＢを表示させる。
　なお、出力制御部１４６Ｂは、目標時間が所定の基準時間よりも短い場合には、開始条件を出力部１３０Ｂに出力させなくてもよい。また、出力制御部１４６Ｂは、認識結果の量に応じて、残り時間の長さを制御してもよい。例えば、音声認識処理の結果は、分量が多くなるにつれて音声認識処理の認識結果に基づく実行動作に適さなくなると考えられる。そのため、出力制御部１４６Ｂは、音声認識処理の結果が多くなるほど残り時間の長さを短くしてもよい。
　出力制御部１４６Ｂは、開始条件として所定の表示情報を出力部１３０Ｂに出力させてよい。図４１および図４２は、開始条件として表示情報を出力部１３０Ｂに出力させる例を示す図である。図４１には、音声認識開始操作オブジェクトＧ１４Ｂに含まれる表示内容を徐々に消去する例が示されている。また、図４２には、音声認識開始操作オブジェクトＧ１４Ｂの色を徐々に変化させていく例が示されている。
　また、出力制御部１４６Ｂは、開始条件として所定の表示情報を出力部１３０Ｂに出力させてもよい。図４３および図４４は、開始条件として音声情報を出力部１３０Ｂに出力させる例を示す図である。図４３には、時刻Ｔ５１Ｂから時刻Ｔ５４Ｂまでに、音声認識処理の開始タイミング（時刻Ｔ５４Ｂ）を知らせる音声情報が出力される例が示されている。また、図４４には、時刻Ｔ６１Ｂから時刻Ｔ６４Ｂまでに、音声認識処理の開始タイミング（時刻Ｔ６４Ｂ）を知らせる音声情報が出力される例が示されている。
　以上、本開示の実施形態に係る情報処理システム１０Ｂの機能詳細について説明した。
　続いて、本開示の実施形態に係る情報処理システム１０Ｂの全体的な動作の流れについて説明する。図４５は、本開示の実施形態に係る情報処理システム１０Ｂの全体的な動作の流れの例を示すフローチャートである。なお、図４５のフローチャートは、本開示の実施形態に係る情報処理システム１０Ｂの全体的な動作の流れの例に過ぎないため、本開示の実施形態に係る情報処理システム１０Ｂの全体的な動作の流れは、図４７のフローチャートに示された例に限定されない。
　まず、出力制御部１４６Ｂは、音声らしい音が検出されると（Ｓ１２１Ｂ）、音声が入力されていることを出力させる（Ｓ１２２Ｂ）。出力制御部１４６Ｂは、無音が検出されない場合には（Ｓ１２３Ｂにおいて「Ｎｏ」）、Ｓ１２２Ｂに動作を移行するが、無音が検出された場合（Ｓ１２３Ｂにおいて「Ｙｅｓ」）、無音検出したことを出力させ（Ｓ１２４Ｂ）、実行動作の開始条件を出力する（Ｓ１２５Ｂ）。
　続いて、出力制御部１４６Ｂは、音声らしい音が検出されると（Ｓ１２６Ｂにおいて「Ｙｅｓ」）、開始条件の出力を停止させ（Ｓ１２７Ｂ）、Ｓ１２２Ｂに動作を移行させるが、音声らしい音が検出されない場合には（Ｓ１２６Ｂにおいて「Ｎｏ」）、開始条件を更新して出力させ直す（Ｓ１２８Ｂ）。続いて、出力制御部１４６Ｂは、開始条件が満たされない場合には（Ｓ１２９Ｂにおいて「Ｎｏ」）、Ｓ１２６Ｂに動作を移行させるが、開始条件が満たされた場合には（Ｓ１２９Ｂにおいて「Ｙｅｓ」）、実行動作を開始することを出力させ（Ｓ１３０Ｂ）、実行動作の結果を出力させる（Ｓ１３１Ｂ）。
　以上、情報処理システム１０Ｂの全体的な動作の流れについて説明した。
　［４．４．表示形態の変形例］
　上記においては、出力部１３０ＢがテーブルＴｂｌＢの天面に画面を投影することが可能なプロジェクタである例について説明した。しかし、出力部１３０Ｂによる表示形態は、かかる例に限定されない。以下では、出力部１３０Ｂによる表示形態の変形例について説明する。図４６は、出力部１３０Ｂによる表示形態の変形例を示す図である。図４６に示すように、情報処理システム１０Ｂが携帯端末である場合に、出力部１３０Ｂは、携帯端末に備わっていてもよい。携帯端末の種類は特に限定されず、タブレット端末であってもよいし、スマートフォンであってもよいし、携帯電話であってもよい。
　［４．５．システム構成の変形例］
　上記においては、出力部１３０ＢがテーブルＴｂｌＢの天面に画面を投影することが可能なプロジェクタである例について説明した。しかし、情報処理システム１０Ｂの構成は、かかる例に限定されない。図４７～図５０は、情報処理システム１０Ｂのシステム構成の変形例１を示す図である。図４７～図５０に示すように、出力部１３０Ｂは、テレビジョン装置であり、情報処理装置１４０Ｂは、ゲーム機であり、操作入力部１１５Ｂは、ゲーム機を操作するコントローラであってよい。
　また、図４７に示すように、集音部１２０Ｂおよび出力部１３０Ｂは、操作入力部１１５Ｂに接続されていてもよい。また、図４８に示すように、画像入力部１１０Ｂおよび集音部１２０Ｂは、情報処理装置１４０Ｂに接続されていてもよい。また、図４９に示すように、操作入力部１１５Ｂ、集音部１２０Ｂおよび出力部１３０Ｂは、情報処理装置１４０Ｂに接続されたスマートフォンに備えられていてもよい。また、図５０に示すように、集音部１２０Ｂは、テレビジョン装置に備えられていてもよい。
　［４．６．ハードウェア構成例］
　次に、図５１を参照して、本開示の実施形態に係る情報処理システム１０Ｂのハードウェア構成について説明する。図５１は、本開示の実施形態に係る情報処理システム１０Ｂのハードウェア構成例を示すブロック図である。
　図５１に示すように、情報処理システム１０Ｂは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１Ｂ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３Ｂ、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５Ｂを含む。また、情報処理システム１０Ｂは、ホストバス９０７Ｂ、ブリッジ９０９Ｂ、外部バス９１１Ｂ、インターフェース９１３Ｂ、入力装置９１５Ｂ、出力装置９１７Ｂ、ストレージ装置９１９Ｂ、ドライブ９２１Ｂ、接続ポート９２３Ｂ、通信装置９２５Ｂを含んでもよい。さらに、情報処理システム１０Ｂは、必要に応じて、撮像装置９３３Ｂ、およびセンサ９３５Ｂを含んでもよい。情報処理システム１０Ｂは、ＣＰＵ９０１Ｂに代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１Ｂは、演算処理装置および制御装置として機能し、ＲＯＭ９０３Ｂ、ＲＡＭ９０５Ｂ、ストレージ装置９１９Ｂ、またはリムーバブル記録媒体９２７Ｂに記録された各種プログラムに従って、情報処理システム１０Ｂ内の動作全般またはその一部を制御する。ＲＯＭ９０３Ｂは、ＣＰＵ９０１Ｂが使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５Ｂは、ＣＰＵ９０１Ｂの実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１Ｂ、ＲＯＭ９０３Ｂ、およびＲＡＭ９０５Ｂは、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７Ｂにより相互に接続されている。さらに、ホストバス９０７Ｂは、ブリッジ９０９Ｂを介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１Ｂに接続されている。
　入力装置９１５Ｂは、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５Ｂは、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５Ｂは、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１０Ｂの操作に対応した携帯電話などの外部接続機器９２９Ｂであってもよい。入力装置９１５Ｂは、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１Ｂに出力する入力制御回路を含む。ユーザは、この入力装置９１５Ｂを操作することによって、情報処理システム１０Ｂに対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３Ｂも、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７Ｂは、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７Ｂは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７Ｂは、情報処理システム１０Ｂの処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７Ｂは、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９Ｂは、情報処理システム１０Ｂの記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９Ｂは、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９Ｂは、ＣＰＵ９０１Ｂが実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１Ｂは、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７Ｂのためのリーダライタであり、情報処理システム１０Ｂに内蔵、あるいは外付けされる。ドライブ９２１Ｂは、装着されているリムーバブル記録媒体９２７Ｂに記録されている情報を読み出して、ＲＡＭ９０５Ｂに出力する。また、ドライブ９２１Ｂは、装着されているリムーバブル記録媒体９２７Ｂに記録を書き込む。
　接続ポート９２３Ｂは、機器を情報処理システム１０Ｂに直接接続するためのポートである。接続ポート９２３Ｂは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３Ｂは、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３Ｂに外部接続機器９２９Ｂを接続することで、情報処理システム１０Ｂと外部接続機器９２９Ｂとの間で各種のデータが交換され得る。
　通信装置９２５Ｂは、例えば、通信ネットワーク９３１Ｂに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５Ｂは、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５Ｂは、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５Ｂは、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５Ｂに接続される通信ネットワーク９３１Ｂは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３Ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３Ｂは、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５Ｂは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５Ｂは、例えば情報処理システム１０Ｂの筐体の姿勢など、情報処理システム１０Ｂ自体の状態に関する情報や、情報処理システム１０Ｂの周辺の明るさや騒音など、情報処理システム１０Ｂの周辺環境に関する情報を取得する。また、センサ９３５Ｂは、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、情報処理システム１０Ｂのハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
　＜５．むすび＞
　以上説明したように、本開示の実施形態によれば、集音部１２０Ｂによって集音された集音情報に対して音声認識部１４５Ｂによって施される音声認識処理の認識結果に基づく所定の実行動作が音声認識部１４５Ｂによって開始されるための開始条件を出力部１３０Ｂに出力させる出力制御部１４６Ｂ、を備える、情報処理装置１４０Ｂが提供される。かかる構成によれば、実行動作が開始されるタイミングをユーザに容易に把握させることが可能となる。
　また、かかる構成によれば、実行動作の間にユーザに発話させる可能性を低減することが可能となる。また、かかる構成によれば、発話が有効になるタイミングをユーザに把握させることが可能となるため、複数の文章の音声入力を行わせることが容易になることが期待される。また、かかる構成によれば、実行動作がなされるタイミングをユーザに意識させながらユーザに発話を行わせることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記においては、出力部１３０Ｂによる表示形態の変形例を説明したが、出力部１３０Ｂによる表示形態は、上記した例に限定されない。例えば、出力部１３０Ｂは、ヘッドマウントディスプレイ以外のウェアラブル端末（例えば、時計、眼鏡など）に備わるディスプレイであってもよい。また、例えば、出力部１３０Ｂは、車載向けナビゲーションシステムに備わるディスプレイであってもよい。また、例えば、出力部１３０Ｂは、ヘルスケア分野において利用されるディスプレイであってもよい。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理システム１０Ｂが有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、出力制御部１４６Ｂは、出力部１３０Ｂに表示内容を表示させるための表示制御情報を生成し、生成した表示制御情報を出力部１３０Ｂに出力することで、当該表示内容が出力部１３０Ｂに表示されるように出力部１３０Ｂを制御することが可能である。かかる表示制御情報の内容はシステム構成にあわせて適宜変更されてよい。
　具体的な一例として、情報処理装置１４０Ｂを実現するためのプログラムは、ウェブアプリケーションであってもよい。かかる場合、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ　Ｇｅｎｅｒａｌｉｚｅｄ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。
　なお、上述した情報処理システム１０Ｂの動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像入力部１１０Ｂ、操作入力部１１５Ｂおよび集音部１２０Ｂと出力部１３０Ｂと情報処理装置１４０Ｂとは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、情報処理装置１４０Ｂが、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、画像入力部１１０Ｂ、操作入力部１１５Ｂおよび集音部１２０Ｂと出力部１３０Ｂとが当該サーバにネットワークを介して接続されたクライアントに相当し得る。
　また、情報処理装置１４０Ｂが有するすべての構成要素が同一の装置に収まっていなくてもよい。例えば、入力画像取得部１４１Ｂと、集音情報取得部１４２Ｂと、操作検出部１４３Ｂと、認識制御部１４４Ｂと、音声認識部１４５Ｂと、出力制御部１４６Ｂとのうち、一部は情報処理装置１４０Ｂとは異なる装置に存在していてもよい。例えば、音声認識部１４５Ｂは、入力画像取得部１４１Ｂと、集音情報取得部１４２Ｂと、操作検出部１４３Ｂと、認識制御部１４４Ｂと、出力制御部１４６Ｂとを備える情報処理装置１４０Ｂとは異なるサーバに存在していてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、
　を備える、情報処理装置。
（２）
　前記情報処理装置は、前記音声認識処理を前記音声認識部に行わせる認識制御部を備える、
　前記（１）に記載の情報処理装置。
（３）
　前記認識制御部は、前記開始条件が満たされた場合に、前記実行動作を前記音声認識部に開始させる、
　前記（２）に記載の情報処理装置。
（４）
　前記認識制御部は、前記音声認識処理が開始されてから前記集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した場合に、前記実行動作を前記音声認識部に開始させる、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記開始条件は、前記継続時間が前記目標時間に達するまでの残り時間に関する情報を含む、
　前記（４）に記載の情報処理装置。
（６）
　前記残り時間に関する情報は、前記目標時間に対する前記残り時間の割合を示す所定の表示オブジェクトおよび前記残り時間自体のうち少なくともいずれか一方を含む、
　前記（５）に記載の情報処理装置。
（７）
　前記出力制御部は、前記音声認識処理が開始されてから前記集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した場合に、前記出力部による前記開始条件の出力を停止させる、
　前記（２）または（３）に記載の情報処理装置。
（８）
　前記出力制御部は、前記音声認識処理が開始されてから前記集音情報の音量が前記基準音量を下回った場合に、前記継続時間の開始を前記出力部に出力させる、
　前記（４）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記出力制御部は、前記継続時間が前記目標時間に達する前に、音量が前記基準音量を超える新たな集音情報が集音されない場合、前記出力部によって出力されている前記開始条件を更新する、
　前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記出力制御部は、前記継続時間が前記目標時間に達する前に、音声らしさが所定の音声らしさを超える新たな集音情報が集音されない場合、前記出力部によって出力されている前記開始条件を更新する、
　前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１１）
　前記出力制御部は、前記継続時間が前記目標時間に達しないうちに、音量が前記基準音量を超える新たな集音情報が集音された場合、前記出力部による前記開始条件の出力を停止させる、
　前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１２）
　前記出力制御部は、前記継続時間が前記目標時間に達しないうちに、音声らしさが所定の音声らしさを超える新たな集音情報が集音された場合、前記出力部による前記開始条件の出力を停止させる、
　前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１３）
　前記出力制御部は、前記目標時間が所定の基準時間よりも短い場合には、前記開始条件を前記出力部に出力させない、
　前記（４）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記出力制御部は、前記認識結果の量に応じて、前記残り時間の長さを制御する、
　前記（５）または（６）に記載の情報処理装置。
（１５）
　前記認識制御部は、前記集音情報の音声らしさが閾値を超える場合に、前記集音情報に対して前記音声認識処理を行わせる、
　前記（２）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記出力制御部は、前記開始条件として所定の表示情報および所定の音声情報のうち少なくともいずれか一方を前記出力部に出力させる、
　前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記実行動作は、前記認識結果の文字列に応じた検索結果を出力させる動作、前記認識結果の文字列を出力させる動作、前記認識結果の認識過程において得られた認識結果候補を出力させる動作および前記認識結果の文字列から抽出される発話内容に返答するための文字列を出力させる動作のいずれか一つを含む、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記開始条件は、前記実行動作を開始させるために必要なユーザ操作に関する情報を含む、
　前記（１）～（３）のいずれか一項に記載の情報処理装置。
（１９）
　プロセッサにより、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させること、
　を含む、情報処理方法。
（２０）
　コンピュータを、
　集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、
　を備える情報処理装置として機能させるためのプログラム。
　１０Ａ　　情報処理システム
　１１０Ａ　画像入力部
　１１５Ａ　操作入力部
　１２０Ａ　集音部
　１３０Ａ　出力部
　１４０Ａ　情報処理装置（制御部）
　１４１Ａ　入力画像取得部
　１４２Ａ　集音情報取得部
　１４３Ａ　操作検出部
　１４４Ａ　認識制御部
　１４５Ａ　音声認識部
　１４６Ａ　出力制御部
　１０Ｂ　　情報処理システム
　１１０Ｂ　画像入力部
　１１５Ｂ　操作入力部
　１２０Ｂ　集音部
　１３０Ｂ　出力部
　１４０Ｂ　情報処理装置（制御部）
　１４１Ｂ　入力画像取得部
　１４２Ｂ　音情報取得部
　１４３Ｂ　操作検出部
　１４４Ｂ　認識制御部
　１４５Ｂ　音声認識部
　１４６Ｂ　出力制御部
　Ｇ１０Ｂ　初期画面
　Ｇ１１Ｂ　認識文字列表示欄
　Ｇ１２Ｂ　全削除操作オブジェクト
　Ｇ１３Ｂ　確定操作オブジェクト
　Ｇ１５Ｂ　前方移動操作オブジェクト
　Ｇ１６Ｂ　後方移動操作オブジェクト
　Ｇ１７Ｂ　削除操作オブジェクト

Claims (20)

  1. 　集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させる出力制御部を備え、
    　前記出力制御部は、前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更する、
    　情報処理システム。
  2. 　前記出力制御部は、前記音声認識処理の起動トリガが検出された場合に、前記開始条件を前記出力部に出力させる、
    　請求項１に記載の情報処理システム。
  3. 　前記情報処理システムは、前記開始条件が満たされた場合に、前記音声認識処理を前記音声認識部に開始させる認識制御部を備える、
    　請求項１に記載の情報処理システム。
  4. 　前記出力制御部は、前記開始条件が満たされた場合または前記開始条件の出力停止操作が検出された場合に、前記開始条件の出力を停止させる、
    　請求項１に記載の情報処理システム。
  5. 　前記出力制御部は、所定の情報に基づいて、前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更する、
    　請求項２に記載の情報処理システム。
  6. 　前記出力制御部は、前記起動トリガが検出された後に前記集音部から入力された音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
    　請求項５に記載の情報処理システム。
  7. 　前記出力制御部は、前記集音部から入力された前記音情報に含まれる第１の種類の音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
    　請求項６に記載の情報処理システム。
  8. 　前記出力制御部は、前記第１の種類の音情報の音量が第１の閾値を上回る場合には、前記音声認識処理を開始させるために必要なユーザ操作に関する情報に前記開始条件を変更する、
    　請求項７に記載の情報処理システム。
  9. 　前記出力制御部は、前記第１の種類の音情報の音量が前記第１の閾値を下回る場合には、前記音声認識処理が開始されるまでの残り時間に前記開始条件を変更する、
    　請求項８に記載の情報処理システム。
  10. 　前記出力制御部は、前記第１の種類の音情報の音量が前記第１の閾値より小さい第２の閾値を下回る場合には、前記開始条件を前記出力部に出力させることを省略する、
    　請求項８に記載の情報処理システム。
  11. 　前記第１の種類の音情報は、少なくとも雑音を含む、
    　請求項７に記載の情報処理システム。
  12. 　前記出力制御部は、過去に起動トリガが検出されてから音声認識処理が開始されるまでの所定の時間に集音された過去の音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
    　請求項６に記載の情報処理システム。
  13. 　前記出力制御部は、前記過去の音情報に含まれる第２の種類の音情報に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
    　請求項１２に記載の情報処理システム。
  14. 　前記出力制御部は、前記第２の種類の音情報の音量が閾値を上回る場合には、前記開始条件として出力させる前記音声認識処理が開始されるまでの残り時間を、前回の音声認識処理時よりも長くする、
    　請求項１３に記載の情報処理システム。
  15. 　前記出力制御部は、前記第２の種類の音情報の音量が前記閾値を下回る場合には、前記開始条件として出力させる前記音声認識処理が開始されるまでの残り時間を、前回の音声認識処理時よりも短くする、
    　請求項１４に記載の情報処理システム。
  16. 　前記第２の種類の音情報は、少なくとも雑音を含む、
    　請求項１３に記載の情報処理システム。
  17. 　前記出力制御部は、音声らしさが閾値を超える音情報の前記集音部への到来方向の数に基づいて、前記出力部に出力させる前記開始条件を動的に変更する、
    　請求項１に記載の情報処理システム。
  18. 　前記出力制御部は、前記開始条件として所定の表示情報および所定の音声情報のうち少なくともいずれか一方を前記出力部に出力させる、
    　請求項１に記載の情報処理システム。
  19. 　前記認識制御部は、前記開始条件が満たされる前から音声認識処理を開始させ、前記開始条件が満たされた場合に、前記音声認識処理の結果にフィラーが含まれる場合には、前記フィラーに対応する部分が除外された後の音情報に対する音声認識処理を前記音声認識部に開始させる、
    　請求項３に記載の情報処理システム。
  20. 　集音部から入力された音情報に対して音声認識部によって施される音声認識処理の開始条件を出力部に出力させることを含み、
    　プロセッサにより前記出力部に出力させる前記音声認識処理の前記開始条件を動的に変更することを含む、
    　情報処理方法。
PCT/JP2015/081751 2015-02-23 2015-11-11 情報処理システムおよび情報処理方法 WO2016136044A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15883334.3A EP3264413B1 (en) 2015-02-23 2015-11-11 Information processing system and method
US15/548,977 US10522140B2 (en) 2015-02-23 2015-11-11 Information processing system and information processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-033059 2015-02-23
JP2015033059A JP2016156877A (ja) 2015-02-23 2015-02-23 情報処理装置、情報処理方法およびプログラム
JP2015059566A JP2016180778A (ja) 2015-03-23 2015-03-23 情報処理システムおよび情報処理方法
JP2015-059566 2015-03-23

Publications (1)

Publication Number Publication Date
WO2016136044A1 true WO2016136044A1 (ja) 2016-09-01

Family

ID=56788161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081751 WO2016136044A1 (ja) 2015-02-23 2015-11-11 情報処理システムおよび情報処理方法

Country Status (3)

Country Link
US (1) US10522140B2 (ja)
EP (1) EP3264413B1 (ja)
WO (1) WO2016136044A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108630202A (zh) * 2017-03-21 2018-10-09 株式会社东芝 语音识别装置、语音识别方法以及语音识别程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591413B1 (ko) * 2016-11-16 2023-10-19 엘지전자 주식회사 이동단말기 및 그 제어방법
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635497A (ja) * 1992-07-16 1994-02-10 Nippon Telegr & Teleph Corp <Ntt> 音声入力装置
JP2003177789A (ja) * 2001-12-12 2003-06-27 Matsushita Electric Ind Co Ltd 音声入力装置
WO2007077703A1 (ja) * 2006-01-06 2007-07-12 Pioneer Corporation 音声認識装置、表示方法及び表示処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58190994A (ja) * 1982-05-01 1983-11-08 日産自動車株式会社 車両用音声認識装置
JP3426176B2 (ja) * 1999-12-27 2003-07-14 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置、方法、コンピュータ・システム及び記憶媒体
US8244536B2 (en) * 2003-08-27 2012-08-14 General Motors Llc Algorithm for intelligent speech recognition
JP2013080015A (ja) * 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
US9886968B2 (en) * 2013-03-04 2018-02-06 Synaptics Incorporated Robust speech boundary detection system and method
US9349386B2 (en) * 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
US20140365225A1 (en) * 2013-06-05 2014-12-11 DSP Group Ultra-low-power adaptive, user independent, voice triggering schemes
CN110096253B (zh) * 2013-07-11 2022-08-30 英特尔公司 利用相同的音频输入的设备唤醒和说话者验证
US9418651B2 (en) * 2013-07-31 2016-08-16 Google Technology Holdings LLC Method and apparatus for mitigating false accepts of trigger phrases
TWI601032B (zh) * 2013-08-02 2017-10-01 晨星半導體股份有限公司 應用於聲控裝置的控制器與相關方法
US9502028B2 (en) * 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
US9940949B1 (en) * 2014-12-19 2018-04-10 Amazon Technologies, Inc. Dynamic adjustment of expression detection criteria

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635497A (ja) * 1992-07-16 1994-02-10 Nippon Telegr & Teleph Corp <Ntt> 音声入力装置
JP2003177789A (ja) * 2001-12-12 2003-06-27 Matsushita Electric Ind Co Ltd 音声入力装置
WO2007077703A1 (ja) * 2006-01-06 2007-07-12 Pioneer Corporation 音声認識装置、表示方法及び表示処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108630202A (zh) * 2017-03-21 2018-10-09 株式会社东芝 语音识别装置、语音识别方法以及语音识别程序
CN108630202B (zh) * 2017-03-21 2021-12-03 株式会社东芝 语音识别装置、语音识别方法以及记录介质

Also Published As

Publication number Publication date
EP3264413A1 (en) 2018-01-03
EP3264413B1 (en) 2020-10-21
EP3264413A4 (en) 2018-10-17
US20180033430A1 (en) 2018-02-01
US10522140B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN108829235B (zh) 语音数据处理方法和支持该方法的电子设备
US10725733B2 (en) Information processing apparatus, information processing method, and program
EP3192072B1 (en) Dynamic thresholds for always listening speech trigger
CN107430856B (zh) 信息处理系统和信息处理方法
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016218852A (ja) 情報処理装置および情報処理方法、並びにプログラム
WO2016152200A1 (ja) 情報処理システムおよび情報処理方法
US20200075008A1 (en) Voice data processing method and electronic device for supporting same
WO2016136044A1 (ja) 情報処理システムおよび情報処理方法
JP6772839B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20190068133A (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
CN107148614B (zh) 信息处理设备、信息处理方法和程序
WO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP6575518B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP2016156877A (ja) 情報処理装置、情報処理方法およびプログラム
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
JP2016189121A (ja) 情報処理装置、情報処理方法およびプログラム
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
JP2016180778A (ja) 情報処理システムおよび情報処理方法
JPWO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
CN112558915A (zh) 语音播报的方法及装置、电子设备、介质和产品
WO2018056169A1 (ja) 対話装置、処理方法、プログラム
US20220393993A1 (en) Information processing apparatus, information processing system, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883334

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015883334

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE