WO2018193826A1 - 情報処理装置、情報処理方法、音声出力装置、および音声出力方法 - Google Patents

情報処理装置、情報処理方法、音声出力装置、および音声出力方法 Download PDF

Info

Publication number
WO2018193826A1
WO2018193826A1 PCT/JP2018/014200 JP2018014200W WO2018193826A1 WO 2018193826 A1 WO2018193826 A1 WO 2018193826A1 JP 2018014200 W JP2018014200 W JP 2018014200W WO 2018193826 A1 WO2018193826 A1 WO 2018193826A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
audio
noise
difficulty
audio output
Prior art date
Application number
PCT/JP2018/014200
Other languages
English (en)
French (fr)
Inventor
広 岩瀬
真里 斎藤
真一 河野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18788090.1A priority Critical patent/EP3614692A4/en
Priority to JP2019513538A priority patent/JP6977768B2/ja
Priority to US16/492,249 priority patent/US11232781B2/en
Publication of WO2018193826A1 publication Critical patent/WO2018193826A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/005—Tone control or bandwidth control in amplifiers of digital signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Definitions

  • the present technology relates to an information processing device, an information processing method, an audio output device, and an audio output method, and in particular, an information processing device, an information processing method, and an audio output that enable a user to listen to an utterance from a home agent device.
  • the present invention relates to an apparatus and an audio output method.
  • Patent Document 1 discloses an electronic device that determines the volume of a speaker based on the ambient volume acquired from a microphone.
  • home voice assistant devices (home agent devices) for speaking to users have been provided.
  • This technology has been made in view of such a situation, and enables a user to listen to an utterance from a home agent device wherever the user is.
  • the information processing apparatus is based on an image acquired in a device capable of outputting sound to the user and noise from a predetermined noise source, from the device at the user's position.
  • a processing unit is provided that outputs information indicating difficulty in hearing the voice.
  • An information processing method is based on an image acquired in a device capable of outputting sound to a user and noise from a predetermined noise source, from the device at the position of the user. Outputting information indicating difficulty in hearing the voice.
  • the sound is heard from the device at the position of the user.
  • Information indicating difficulty is output.
  • the voice output device is difficult to hear the voice from the own device at the position of the user, which is generated based on an image acquired by the own device and noise from a predetermined noise source.
  • An audio output control unit that controls the output of the audio by generating a parameter that determines the characteristics of the audio that is output to the user by using the information indicating the accuracy.
  • the voice output method is difficult to hear the voice from the own device at the position of the user, which is generated based on an image acquired in the own device and noise from a predetermined noise source.
  • the step of controlling the output of the sound by generating a parameter that determines the characteristics of the sound that is output to the user by using the information indicating the soundness.
  • the output of the sound is controlled by using the information to generate a parameter that determines the characteristics of the sound output to the user.
  • FIG. 1 shows a user 10 and a voice output device 20 that speaks to the user 10.
  • the voice output device 20 is configured as a home voice assistant device (home agent device).
  • the user 10 may not be able to hear or miss the utterance from the audio output device 20 depending on the state of occurrence of these environmental sounds and the location of the user.
  • the output volume is manually adjusted by the user touching the device directly, such as turning or touching the dial, or by a voice command based on the user's utterance.
  • the user is in a place where the home agent device cannot be touched, or when the user's utterance is not recognized by the home agent device due to noise, it is difficult to adjust the volume with such a manual.
  • the utterance of the home agent device itself may become noise in the home.
  • an excessively loud sound may be output.
  • the user may not be able to hear the speech due to the performance limit of the output device.
  • the user when the user concentrates on work such as housework, the user may not be aware of the utterance from the home agent device and may not notice the utterance itself.
  • FIG. 2 illustrates a functional configuration example of the audio output device 20 according to the first embodiment to which the present technology is applied.
  • the voice output device 20 recognizes the positions of the user 10 and the noise source 30, and estimates the difficulty of hearing the voice at the position of the user 10 based on the positional relationship between the user 10, the voice output device 20, and the noise source 30. To do. And the audio
  • the audio output device 20 is configured as the above-described home agent device, but can be configured as a general device that includes a microphone and a camera and outputs audio toward the user 10.
  • the voice output device 20 includes a voice input device 51, a noise detection processing unit 52, a sensor device 53, an image recognition engine 54, a difficulty of hearing estimation unit 55, a voice output control unit 56, a notification utterance text 57, a voice synthesis engine 58, and an output.
  • An audio signal processing unit 59 and an audio reproduction device 60 are provided.
  • the audio input device 51 includes a plurality of microphones (microphone arrays). A sound emitted from the noise source 30 is input to the voice input device 51. The voice input device 51 supplies input voice data corresponding to the input sound to the noise detection processing unit 52.
  • the noise detection processing unit 52 detects the direction of the noise source 30 and the volume of noise from the direction based on the input voice data from the voice input device 51.
  • the noise detection processing unit 52 supplies information indicating the detected direction of the noise source 30 and the volume of the noise to the difficulty of hearing estimation unit 55. Further, the noise detection processing unit 52 supplies information indicating the detected direction of the noise source 30 to the image recognition engine 54.
  • the sensor device 53 includes a stereo camera and a depth sensor.
  • the image captured by the sensor device 53 and the depth information (distance information) of the subject in the image are supplied to the image recognition engine 54.
  • the image recognition engine 54 detects the direction of the user 10 to be uttered and the distance to the user 10 based on the image and depth information from the sensor device 53. Further, the image recognition engine 54, based on the image and depth information from the sensor device 53 and the information indicating the direction of the noise source 30 from the noise detection processing unit 52, the object (noise source 30) in that direction. Detect the distance. Information indicating the direction of the user 10, the distance to the user 10, and the distance to the noise source 30 is supplied to the difficulty of hearing estimation unit 55.
  • the difficulty of hearing estimation unit 55 estimates the difficulty of hearing the voice from the voice output device 20 at the user's position based on the information from the noise detection processing unit 52 and the information from the image recognition engine 54.
  • the difficulty of hearing estimation unit 55 supplies information indicating the difficulty of hearing to the voice output control unit 56.
  • the voice output control unit 56 uses the information indicating the difficulty of hearing from the difficulty of hearing estimation unit 55 to generate a voice parameter that determines the characteristics of the voice to be output to the user 10.
  • the audio signal processing unit 59 and the audio reproduction device 60 are supplied.
  • a part of the speech parameters is supplied to the speech synthesis engine 58 together with the notification speech text 57 indicating the speech content.
  • the speech synthesis engine 58 generates speech signals by performing speech synthesis using the speech parameters from the speech output control unit 56 and the notification utterance text 57.
  • the speech synthesis engine 58 supplies the generated speech signal to the output speech signal processing unit 59.
  • the output audio signal processing unit 59 performs signal processing on the audio signal from the audio synthesis engine 58 using the audio parameter from the audio output control unit 56, and supplies the audio signal to the audio reproduction device 60.
  • the audio playback device 60 is configured to include a speaker.
  • the audio reproduction device 60 outputs sound according to the audio signal from the output audio signal processing unit 59 at a volume based on the audio parameter from the audio output control unit 56.
  • step S11 the noise detection processing unit 52 detects the direction of the noise source 30 based on the input voice data from the voice input device 51, and performs sound source separation for acquiring only the voice component in the detected direction. Thus, the volume of noise from that direction is detected.
  • a method for detecting the direction of a sound source using a plurality of microphones such as the voice input device 51
  • a method using a cross-correlation function is generally used. Although a detailed description is omitted, it is possible to detect the arrival time difference (delay) between the two microphones having the maximum value of the cross-correlation function, and to estimate the arrival direction of the sound wave based on this time difference.
  • beam forming technology can be applied to sound source separation that acquires only the sound component in the detected direction.
  • the noise level is calculated from the level of the acquired voice component.
  • the root mean square (RMS) of the amplitude value of the audio signal in a predetermined unit time for example, one frame time of an image captured by the camera constituting the sensor device 53.
  • the number of noise sources is not limited to one, and there may be a plurality of noise sources.
  • the number of noise sources is not limited to one, and there may be a plurality of noise sources.
  • the level of the sound component in each direction subdivided by sound source separation may be calculated, and the noise amount may be calculated using a plurality of peaks exceeding the threshold.
  • step S12 the image recognition engine 54 detects the direction of the user 10 to be uttered and the distance to the user 10 using face recognition based on the image and depth information supplied from the sensor device 53.
  • the image recognition engine 54 detects the face of the user 10 from the image from the sensor device 53 based on the face of the user 10 registered in advance.
  • the image recognition engine 54 calculates the direction (angle) of the user 10 from the detected face position in the image, and calculates the distance from the user 10 from the depth information at the detected face position in the image. To do.
  • the distance from the user 10 may be calculated based on the size of the detected face.
  • step S13 the image recognition engine 54 detects the distance from the noise source 30 based on the information indicating the direction of the noise source 30 from the noise detection processing unit 52.
  • the image recognition engine 54 learns in advance objects (people, televisions, audio equipment, speakers, air conditioners, windows, etc.) that can be noise sources.
  • objects people, televisions, audio equipment, speakers, air conditioners, windows, etc.
  • the image recognition engine 54 uses the depth information at the position of the object in the image. The distance from the noise source 30 is calculated.
  • the noise detection processing unit 52 may detect the angle in the vertical direction as the direction of the noise source 30 in addition to the angle in the horizontal direction.
  • the image recognition engine 54 calculates the distance from the noise source 30 from the depth information at coordinates in the image determined by the horizontal angle and the vertical angle of the noise source 30.
  • the representative value (maximum value, minimum value) of depth information in the coordinates in the image determined by the horizontal angle of the noise source , Average value, etc.) may be used to calculate the distance from the noise source 30.
  • step S ⁇ b> 14 the difficulty of hearing estimation unit 55 calculates a difficulty of hearing indicating the difficulty of hearing at the position of the user 10 based on the positional relationship between the user 10 and the noise source 30.
  • the noise volume (noise level) at the position of the home agent device (voice output device 20) detected by the noise detection processing unit 52 is N s
  • the image recognition engine 54 It is assumed that the detected distance to the user 10 is D su and the distance to the noise source 30 is D ns .
  • the user 10 and the noise source 30 viewed from the audio output device 20 calculated from the direction of the noise source 30 detected by the noise detection processing unit 52 and the direction of the user 10 detected by the image recognition engine 54.
  • the angle difference is assumed to be ⁇ s .
  • the hearing difficulty estimation unit 55 calculates a distance D nu between the noise source 30 and the user 10 by using the following equation according to the cosine theorem.
  • the difficulty of hearing estimation unit 55 calculates the angle difference ⁇ u between the sound output device 20 and the noise source 30 as viewed from the user 10 by using the following equation according to the cosine theorem.
  • the listening difficulty estimating unit 55 a distance based on the sound pressure attenuation characteristics of the point sound source by using the following formula to calculate the noise level N u at the position of the user 10.
  • the noise level N u at the position of the user 10 calculated as described above, the angle difference ⁇ u between the audio output device 20 and the noise source 30 viewed from the user 10, and the distance between the audio output device 20 and the user 10 D su can be regarded as an intelligibility score indicating the difficulty in hearing the audio from the audio output device 20 at the position of the user 10, respectively.
  • Noise level N u at the position of the user 10 the larger the value, the sound masking from the agent device according to the noise, hearing difficulty increases.
  • the angle difference ⁇ u between the audio output device 20 and the noise source 30 viewed from the user 10 takes a value of 0 ° to 180 °, and the larger the value, the easier it is to hear due to the cocktail party effect by sound image separation. In other words, as the value of the angle difference theta u decreases, hearing difficulty increases.
  • hearing difficulty estimating unit 55 three with a parameter, and calculates a difficulty score S u interviews show a hearing difficulty at the position of the user 10.
  • the noise detection processing unit 52 determines the direction of each of the noise sources 30 and 40 and the volume of noise from each direction. To detect. In this case, the noise level N u at the position of the user 10 and the angle difference ⁇ u between the sound output device 20 and the noise source viewed from the user 10 are calculated for each noise source.
  • the noise level N u and the angle difference ⁇ u are calculated for each noise source, so that ⁇ N u1 , N u2 , N u3 ,..., N un , ⁇ , ⁇ u1 , ⁇ u2 , ⁇ u3 ,..., ⁇ un ⁇ are obtained.
  • the variable c is for calculating a term (square root term) also hearing difficulty when no score S u about noise, a variable which is proportional to the distance D su.
  • the angle component term f ( ⁇ ui ) is expressed by the following equation.
  • the angle component term f ( ⁇ ui ) is an example of a function in which the angle difference ⁇ ui takes a maximum value at 0 ° and takes a minimum value at 180 °.
  • variable a is a weighting factor of the influence due to the angle difference ⁇ ui
  • variable b is a weighting factor of the influence due to noise not depending on the angle difference ⁇ ui .
  • the variables a and b each take a value of 0 or more, and it is desirable that a + b ⁇ 1.0.
  • a 1.0
  • the f ( ⁇ ui) 1.0 regardless of the theta ui.
  • variables a, b, and c described above may be converted into API (Application Programming Interface) as setting parameters of the difficulty of hearing estimation unit 55 and configured to be controllable from the outside.
  • API Application Programming Interface
  • Such has been listening difficulty score S u calculated in is supplied to the sound output control unit 56.
  • step S15 the audio output control unit 56 uses the of difficulty hearing calculated by hearing difficulty estimating unit 55 score S u, generates audio parameters to determine the characteristics of the sound to be output to the user 10.
  • the audio parameters described below are generated.
  • volume V 0 Calculated so that the volume (output sound pressure) increases in proportion to the difficulty of hearing score Su and is supplied to the audio playback device 60.
  • the volume V 0 is calculated using, for example, the following equation.
  • variable k v is a proportional coefficient of the added sound volume.
  • the volume V 0 has an upper limit on the volume V max determined by the restriction of the audio reproduction device 60.
  • variables k v and V max described above may be converted into APIs as setting parameters of the audio output control unit 56 and controlled from the outside.
  • the variables k v and V max may be set by estimating the user's auditory characteristics from attribute information such as the user's age. Specifically, since the audible range as the age increases (dynamic range) is narrowed, the higher age of the user, increasing the k v, it is set so as to decrease the V max.
  • the pitch P 0 is calculated using, for example, the following equation.
  • the variable k p is a proportional coefficient of the addition pitch.
  • the pitch P 0 has an upper limit of the pitch P max that allows the voice synthesis engine 58 to maintain a natural voice quality.
  • the Lombard effect In a noisy environment, it is known as a Lombard effect that a person naturally raises his / her voice so that the other person can easily hear the content of the utterance.
  • a person increases the volume and pitch (basic frequency, formant frequency) of a voice. Therefore, for the pitch P 0 , the Lombard effect is simulated by increasing the set pitch of the speech synthesis engine 58.
  • variables P d , k p , and P max described above may be converted into APIs as setting parameters of the audio output control unit 56 and controlled from the outside.
  • the speech rate R0 is calculated using, for example, the following equation.
  • variable kr is a proportional coefficient of the added speech rate.
  • the upper limit of the speech rate R 0 is the speech rate R max that can be heard by the speech synthesis engine 58.
  • variables R d , k r , and R max described above may be converted into APIs as setting parameters of the audio output control unit 56 and controlled from the outside.
  • Frequency F 0 a parameter for emphasizing the high frequency range of the synthesized voice signal, calculated as the lowest frequency of the high frequency emphasizing signal processing, and supplied to the output audio signal processing unit 59.
  • the band above the frequency F 0 is emphasized.
  • Gain G 0 same as the frequency F 0, a parameter for emphasizing the high frequency speech synthesized speech signal, is in proportion to the hearing difficulty score S u calculated as the gain is increased , And supplied to the output audio signal processing unit 59.
  • Gain G 0 is calculated, for example using the following formula.
  • the variable k g is a proportional coefficient of gain.
  • the gain G 0 has an upper limit of a gain G max that does not lose high-frequency emphasis processing and does not lose the naturalness of the voice.
  • variables k g and G max described above may be converted into APIs as setting parameters of the audio output control unit 56 together with the frequency F 0 and may be controlled from the outside.
  • the noise detection processing unit 52 acquires noise spectrum information, and the voice output control unit 56 performs masking of the synthesized voice to be masked based on the noise spectrum information.
  • the band may be estimated, and the output audio signal processing unit 59 may perform processing for increasing the level of the band.
  • intonation (intonation) I 0 the reference become intonation I d (offset with respect to the reference intonation speech engine 58), is in proportion to the hearing difficulty score S u calculated as intonation decreases
  • the notification speech text 57 is supplied to the speech synthesis engine 58.
  • Intonation I 0 is calculated using, for example, the following equation.
  • the variable k i is a proportional coefficient of intonation.
  • the inflection I 0 has an inflection I min restricted by the speech synthesis engine 58 as a lower limit.
  • Some speech synthesis engines allow you to set the amount of speech inflection. In a noisy environment, the phrase when the inflection is reduced is masked by noise, making it difficult to hear the entire spoken sentence. Therefore, by making the utterance flat as the volume of the noise increases, the ease of hearing can be improved. ).
  • variables I d , k i , and I min described above may be converted into APIs as setting parameters of the audio output control unit 56 and controlled from the outside.
  • Accent A 0 relative accent a reference A d (offset to the standard accented speech synthesis engine 58), an accent in proportion to the hearing difficulty score S u is calculated as stronger, notification speech Along with the text 57, it is supplied to the speech synthesis engine 58.
  • Accent A 0 is calculated using, for example, the following equation.
  • variable k a is a proportionality coefficient of accent.
  • Accent A 0 has an upper limit that is accent A max restricted by speech synthesis engine 58.
  • Some speech synthesis engines allow you to set the strength of utterance accents. In a noisy environment, increasing the accent increases the intelligibility of the words in the accent phrase unit, improving the ease of listening (on the other hand, increasing the accent too much makes the utterance unnatural) to become so, so as to adapt the hearing difficulty score S u).
  • variables A d , k a , and A max described above may be converted into APIs as setting parameters of the audio output control unit 56 and controlled from the outside.
  • the voice parameters are generated as described above.
  • Each variable used to generate the speech parameters described above are API as with setting parameters hearing difficulty score S u, a user context other than the noise (such as parameters tailored to the age, sex attribute of the user)
  • a process for adapting the audio output characteristics may be performed.
  • step S ⁇ b> 16 the speech synthesis engine 58 determines that the speech parameters (pitch P 0 , speech rate R 0 , inflection I 0 , and so on) supplied from the speech output control unit 56 together with the notification speech text 57.
  • a speech signal is generated by performing speech synthesis using the accent A 0 ).
  • step S ⁇ b> 17 the output audio signal processing unit 59 uses the audio parameters (frequency F 0 and gain G 0 ) from the audio output control unit 56 to perform high-frequency emphasis on the audio signal generated by the audio synthesis engine 58. Apply signal processing.
  • signal processing using a high shelf filter that amplifies a band above a specific frequency is performed.
  • the noise detection processing unit 52 acquires noise spectrum information, and the voice output control unit 56 masks the voice to be masked based on the noise spectrum information.
  • the synthesized sound band may be estimated, and the output audio signal processing unit 59 may perform processing to increase the level of the band.
  • step S18 the audio reproduction device 60 adjusts the output volume of the speaker based on the audio parameter (volume V 0 ) from the audio output control unit 56, and follows the audio signal from the output audio signal processing unit 59. Output audio.
  • the hearing difficulty estimation unit 55 is in the direction with the least noise for the user 10. May be detected, and the audio reproduction device 60 may localize the sound image of the sound according to the sound signal in that direction.
  • the home agent device can reliably notify the user of an utterance such as a notification to be transmitted at that time.
  • the home agent device performs voice output adapted to the user to be uttered, the volume of the sound output from the home agent device becomes too high and masks other environmental sounds in the home. Can be prevented.
  • utterances from home agent devices mask the sounds that people are listening to at home, or deprive people who are concentrating on other things in a quiet environment. It is possible to prevent noise for users who are not. For example, it is possible to avoid utterances from home agent devices becoming noise that masks voices and music on TV, conversations between people, and obstructing children's study and sleep. In addition, personal privacy at home can be protected.
  • DLNA registered trademark
  • Digital Living Network Alliance Digital Living Network Alliance
  • FIG. 6 shows a configuration example of a system in which a home agent device and an external device are linked.
  • an audio output device 120 as a home agent device includes an alarm device 130A, an intercom 130B, a fixed phone 130C, a refrigerator 130D, a microwave oven 130E, a vacuum cleaner 130F, a PC (personal computer) 130G, and a television as external devices. It is connected to the John receiver 130H, the game machine 130I, the smartphone 130J, the headphones 130K, and the audio device 130L via a network such as a wireless LAN.
  • Each of the alarm device 130A to the audio device 130L is a device on which a sound reproduction device capable of outputting sound such as a speaker is mounted.
  • the alarm device 130A to the audio device 130L transmit information representing the state of the device, such as user operation, operating status, and sensing result, to the audio output device 120. Further, the alarm device 130A to the audio device 130L output the sound by receiving the sound signal transmitted from the sound output device 120.
  • FIG. 6 shows a state where the voice from the audio device 130L becomes noise and the utterance from the voice output device 120 is not transmitted to the user 10.
  • the noise (difficulty of hearing) at the position of the user 10 is large, and the user 10 can hear even if the characteristics of the sound output from the sound output device 120 are maximally adapted to the difficulty of hearing. If it is determined that the voice output device 120 is not capable, the audio output device 120 supplies an audio signal to an external device capable of speaking to the user 10 among the alarm devices 130A to 130L, and the external device outputs the audio. .
  • the external device capable of speaking to the user 10 is estimated that the user 10's behavior (what is concentrated) is estimated from the usage state, and the user 10 is conscious.
  • the external device 130 when it is not necessary to distinguish the alarm device 130A to the audio device 130L, they are simply referred to as the external device 130. Note that the number of external devices 130 that cooperate with the audio output device 120 may be plural as shown in FIG. 6 or one.
  • FIG. 7 illustrates a functional configuration example of the audio output device 120 and the external device 130 according to the second embodiment to which the present technology is applied.
  • the audio output device 120 includes a state reception unit 151 and an audio transmission unit 152 in addition to the same configuration as the audio output device 20 of FIG.
  • the external device 130 includes a state acquisition unit 161, a state transmission unit 162, an audio reception unit 163, and an audio reproduction device 164.
  • the image recognition engine 54 detects the position (distance and direction) of each of the plurality of external devices 130 and supplies the information to the difficulty of hearing estimation unit 55.
  • the external device 130 is provided with a unique marker on its surface.
  • the image recognition engine 54 performs image recognition on the image captured by the sensor device 53 during setup for linking the audio output device 120 and the external device 130, and detects each marker.
  • the image recognition engine 54 calculates the direction (angle) of the external device 130 from the detected position of the marker in the image, and calculates the distance from the external device 130 from the depth information of the position. This process is not limited to the setup, but may be performed at a timing immediately before the audio output device 120 performs the notification utterance.
  • the voice input device 51 collects the sound for position detection output by the external device 130 in a noise-free environment, and the noise detection processing unit 52
  • the image recognition engine 54 may calculate the direction (angle) of the external device 130 and the distance to the external device 130 by detecting the direction of the sound for position detection.
  • the difficulty of hearing estimation unit 55 indicates the difficulty of hearing the sound from each of the external devices 130 at the position of the user 10 using information indicating the distance and angle from each of the external devices 130 from the image recognition engine 54.
  • An intelligibility score Se is calculated.
  • the distance from the external device 130 is D se
  • the angle difference between the user 10 and the external device 130 as viewed from the audio output device 120 is ⁇ se .
  • Other values are the same as those shown in FIG.
  • the difficulty of hearing estimation unit 55 calculates the distance D eu between the external device 130 and the user 10 using the following equation by the cosine theorem.
  • the difficulty of hearing estimation unit 55 calculates the angle difference ⁇ ue between the audio output device 20 and the external device 130 as viewed from the user 10 by using the following equation according to the cosine theorem.
  • the difficulty of hearing estimation unit 55 calculates the angle difference ⁇ e between the external device 130 and the noise source 30 as viewed from the user 10.
  • the noise source 30 and the external device 130 are on the same side with respect to the line connecting the audio output device 120 and the user 10
  • the noise level N u at the position of the user 10 and the angle difference ⁇ e between the external device 130 and the noise source 30 viewed from the user 10 are calculated for each noise source.
  • ⁇ N u1, N u2, N u3, ⁇ , N un, ⁇ , ⁇ e1, ⁇ e2, ⁇ e3, ⁇ , ⁇ en ⁇ are obtained.
  • Hearing difficulty score S e is calculated by the same method as hearing difficulty score S u voice from the voice output device 20 at the position of the user 10 described above. Hearing difficulty score S e is close distance between the position and the external device 130 of the user 10, as the direction of the noise source 30 and an external device 130 different, take a smaller value.
  • Such has been listening difficulty score S e calculated in is supplied to the sound output control unit 56.
  • the difficulty of hearing score Se is calculated for each external device 130, so that ⁇ S e1 , S e2 , S e3 ,. ., S em ⁇ is obtained and supplied to the audio output control unit 56.
  • hearing difficulty score S e of the external device 130 to that position by the image recognition engine 54 is not detected, hearing difficulty score S u of the audio output device 20 May be substituted.
  • the state acquisition unit 161 of the external device 130 determines whether or not the consciousness of the user 10 is concentrated on the external device 130 from the usage status of the external device 130, and sets a consciousness level indicating the degree. This is supplied to the status transmission unit 162.
  • the consciousness level is divided into three levels of levels 2, 1 and 0, and the greater the number, the higher the degree of consciousness of the user 10 concentrated on the external device 130.
  • Level 2 indicates a state in which the user 10 is operating or working near the external device 130.
  • the following states can be considered.
  • -The keyboard and mouse are operated on the PC.
  • the controller In the game machine, the controller is operated and the user 10 is playing.
  • the user 10 is talking on a fixed telephone or intercom.
  • the rice cooker is in operation and its lid is opened.
  • a handy vacuum cleaner is in operation.
  • Level 1 indicates a state in which the user 10 is passively receiving audio from the external device 130.
  • the following states can be considered.
  • -Video and audio are output on the TV.
  • -Audio is output on the radio.
  • Music is being played on the audio device.
  • Level 0 indicates a state in which the consciousness of the user 10 is not suitable for the external device 130, and the state as described above is not detected.
  • the state transmission unit 162 transmits the level of consciousness from the state acquisition unit 161 to the audio output device 120 via a network such as a wireless LAN.
  • the state reception unit 151 of the audio output device 120 receives the consciousness level transmitted from the external device 130 via the network, and supplies it to the audio output control unit 56.
  • the status acquisition unit 161 acquires only information indicating the usage status of the external device 130, the status transmission unit 162 transmits the information to the audio output device 120, and the audio output device 120 (status receiving unit 151) side.
  • the determination of the consciousness level may be performed.
  • the audio output control unit 56 of the audio output device 120 from listening difficulty estimating unit 55, the voice of the listening difficulty score S u from the voice output device 120 at the position of the user 10, and the position of the user 10 , A notification utterance is performed based on the difficulty of hearing ⁇ S e1 , S e2 , S e3 ,..., S em ⁇ from each external device 130 and the level of consciousness from the state receiving unit 151.
  • a device (hereinafter referred to as an audio output device) is determined.
  • the audio output control unit 56 determines that the external device 130 is an audio output device
  • the audio parameter subjected to the signal processing in the output audio signal processing unit 59 is the audio parameter generated in the audio output control unit 56. Along with (sound volume V 0 ), it is supplied to the voice transmitter 152.
  • the audio transmission unit 152 transmits the audio signal from the output audio signal processing unit 59 together with the audio parameters from the audio output control unit 56 to the external device 130 determined as the audio output device via a network such as a wireless LAN. To do.
  • the audio receiving unit 163 of the external device 130 receives the audio signal and the audio parameter from the audio output device 120 and supplies them to the audio reproduction device 164.
  • the audio reproduction device 164 is configured in the same manner as the audio reproduction device 60, and outputs audio according to the audio signal from the audio output device 120 at a volume based on the audio parameter (volume V 0 ) from the audio output device 120. To do.
  • step S51 the audio output control section 56, the volume V 0 calculated using the hearing difficulty score S u, compared with the volume V max determined by the constraints of the audio playback device 60, the audio reproduction device volume V 0 It is determined whether or not the upper limit (volume V max ) of the output volume of 60 is exceeded. If it is determined that the volume V 0 exceeds the upper limit, the process proceeds to step S52.
  • step S52 the audio output control unit 56 determines whether or not the external device 130 of the consciousness level 2 exists based on the consciousness level of each external device 130 supplied from the state reception unit 151. If it is determined that there is an external device 130 of consciousness level 2, the process proceeds to step S53.
  • step S53 the audio output control unit 56, from the external device 130 of the consciousness level 2, to select the external device 130 that hearing difficulty score S e is minimized, the process proceeds to step S59.
  • step S53 determines that there is no external device 130 of consciousness level 2
  • the process proceeds to step S54.
  • step S54 the audio output control unit 56 determines whether or not the external device 130 of the consciousness level 1 exists based on the consciousness level of each external device 130 supplied from the state receiving unit 151. If it is determined that there is an external device 130 of consciousness level 1, the process proceeds to step S55.
  • step S ⁇ b > 55 the audio output control unit 56 selects the external device 130 having the smallest difficulty in hearing score Se from the external devices 130 of the consciousness level 1.
  • step S56 the audio output control unit 56 compares the listening difficulty score S u interviews difficulty score S e and the own device in the external device 130 is selected (audio output device 120), the external device 130 hearing difficulty score S e is equal to or hearing difficulty score S or u is smaller than the own device. If listening difficulty score S e is determined to be listening difficulty score S u smaller, the process proceeds to step S59.
  • step S54 if the external device 130 of the consciousness level 1 is determined not to exist, or it is determined in step S56, not less than hearing difficulty score S e is listening difficulty score S u and (large) If YES, the process proceeds to step S57.
  • step S57 the audio output control section 56, the entire external device 130 that is linked to the sound output apparatus 120, selects the external apparatus 130 that hearing difficulty score S e is minimized.
  • step S58 the audio output control unit 56 compares the listening difficulty score S u interviews difficulty score S e and the own device in the external device 130 is selected (audio output device 120), the external device 130 hearing difficulty score S e is equal to or hearing difficulty score S or u is smaller than the own device. If listening difficulty score S e is determined to be listening difficulty score S u smaller, the process proceeds to step S59.
  • step S59 the audio output control unit 56 determines the external device 130 selected in step S53, S55, or S57 as the audio output device.
  • step S51 if the volume V 0 is determined not to exceed the upper limit, or, in step S58, the case where it is judged not smaller than hearing difficulty score S e is listening difficulty score S u and (large) The process proceeds to step S60.
  • step S60 the audio output control unit 56 determines its own device (audio output device 120) as the audio output device.
  • the sound volume is linked according to the location of the user.
  • the notification utterance can be reliably transmitted to the user via the external device.
  • the notification utterance is ensured by outputting the sound from the external device that the user is aware of. Can tell the user.
  • the notification utterance can be reliably transmitted to the user without waiting for the notification utterance with high urgency until the noise level becomes low or the user is easily aware of the utterance from the home agent device.
  • the audio output device may be dynamically switched following the change in the position of the user. it can.
  • the processing up to the calculation of S em ⁇ is performed not only at the start timing of the speech output device but also in real time during the speech, and the calculated difficulty level score Su and ⁇ S e1 , S e2 , S e3 ,..., S em ⁇ are supplied to the audio output control unit 56.
  • the time granularity of processing performed in real time during the speech of the audio output device is, for example, the imaging frame rate of the camera constituting the sensor device 53 (that is, the time granularity of recognition processing of the image recognition engine 54).
  • the frame rate is 30 fps
  • the difficulty level of hearing S u and ⁇ S e1 , S e2 , S e3 ,..., S em ⁇ are calculated every 1/30 seconds during which the audio output device is speaking. Is supplied to the audio output control unit 56.
  • the audio output control section 56 not only the timing of the utterance start of the audio output devices, hearing difficulty of the audio output device 120 also during the utterance are updated in real time the score S u and the external device 130 for each of the listening difficulty score ⁇ S
  • the sound output device determination process described with reference to FIG. 10 is executed using e1 , Se2 , Se3 ,..., Sem ⁇ .
  • the voice output is changed when the deafness difficulty score Su and ⁇ S e1 , S e2 , S e3 ,..., S em ⁇ change.
  • the device determined by the device determination process is switched.
  • FIG. 11 shows an example of switching the audio output device when a speech audio file is transmitted from the audio output device 120 to the audio output device.
  • the audio output device 120 instructs the external device A to stop (interrupt) audio output.
  • the external device A starts fade-out of audio output from the timing of receiving the audio output stop instruction, and stops audio output by completing the fade-out over several seconds.
  • the audio output device 120 simultaneously with the audio output stop instruction to the external device A, the speech audio file to the external device B and the output start time offset in the file (the time when the external device A was instructed to stop audio output) To instruct the external device B to start sound output.
  • the external device B starts fade-in from the position specified by the output start time offset of the utterance voice file, and starts voice output by completing the fade-in over several seconds.
  • FIG. 12 shows an example of switching the voice output device when streaming the uttered voice from the voice output device 120 to the voice output device.
  • the audio output device 120 starts fade-out of audio streaming to the external device A and simultaneously starts fade-in of audio streaming to the external device B.
  • the audio output device 120 completes the switching of the audio output device by completing the fade out of the audio streaming to the external device A and the fade in of the audio streaming to the external device B over several seconds.
  • FIG. 13 shows an example of switching the voice output device when the voice output device 120 broadcasts the speech voice to all external devices.
  • the audio output device 120 instructs to stop the audio output to the external device A and start the audio output to the external device B at the same time.
  • the external device A starts fade-out of audio output
  • the external device B starts fade-in of audio output.
  • the external device A completes the fade-out and the external device B completes the fade-in, whereby the switching of the audio output device is completed.
  • the home agent device since the user does not exist in the vicinity of the home agent device, the home agent device cannot detect the user, and when the external device located in the vicinity of the user detects the user, the external device is set as the audio output device. It can also be determined.
  • the home agent apparatus can not detect the user, since the position of the user is unknown, it can not be calculated hearing difficulty score S u at the location of the user, the S e.
  • listening difficulty score S u of the audio output device 120, and, a hearing difficulty score S e of the external device 130 does not detect the user, V 0> V Set to a large value to be max . Furthermore, a hearing difficulty score S e of the external device 130 that detected the user, hearing difficulty score S u of the audio output device 120, and, hearing difficulty for external device 130 does not detect the user score S Set to a value smaller than e . That is, the hearing difficulty score for the external device 130 that detected the user is made smaller than the hearing difficulty score for the other devices.
  • the external device 130 that has detected the user is determined as the audio output device. Speech voice is output.
  • the home agent device is installed in the living room on the first floor, but there is no one in the living room, the user is in the bedroom on the second floor, and it is installed in a PC (external device) installed in the bedroom.
  • a camera detects a user.
  • the PC is determined as the voice output device, and the uttered voice is not output from the home agent device, but the uttered voice is output from the PC.
  • the notification utterance can be reliably transmitted to the user in the bedroom on the second floor.
  • the home agent device (sound output device 120) may be able to detect that headphones or earphones are connected to an external device determined to be a sound output device. In this case, the uttered voice is output from both the external device and the home agent device.
  • the above-described configuration ensures that the notification utterance is transmitted to the user. be able to.
  • a sound effect may be added to the beginning of the utterance.
  • the sound effect is output also from the external device so that the user can recognize that the notification utterance of the home agent device is output.
  • the content of the notification utterance text may be changed between when the voice is output from the home agent device and when the voice is output from the external device.
  • the utterance output from the home agent device main body is "update”
  • the utterance output from the external device is "update home agent device” To do.
  • the utterance output from the home agent device itself should be “Look at the screen” and the utterance output from the external device should be “in front of the home agent device”. Please look at a certain screen. " At this time, additional information is projected by a projector provided in the home agent device.
  • the uttered voice may be output from all the external devices.
  • the notification information may be presented by means other than voice.
  • the text of the notification message is displayed on a screen of a visual presentation device provided in the home agent device or a television receiver as an external device.
  • the external device is a smartphone, notification may be performed by the vibration function.
  • a voice of raised is determined characteristics of hearing difficulty score S u of the audio output device 120, is speech repeated You may do it. Furthermore, when the consent action is not detected, in order from the low external device of hearing difficulty score S e, it may be speech is performed.
  • the audio output device 120 transmits audio data and image data obtained by sensing the device itself or the external device 130 to a server on the cloud 200.
  • an intelligibility score (information indicating intelligibility) is calculated.
  • the calculated difficulty level score is transmitted to the audio output device 120.
  • the voice output device 120 uses the difficulty of hearing from the server on the cloud 200 to perform processing after generation of voice parameters in the same manner as in the above-described embodiment.
  • FIG. 15 illustrates a functional configuration example of the server according to the third embodiment to which the present technology is applied.
  • the audio output device 120 is connected to the server 220 via the network 210.
  • the server 220 includes a noise detection processing unit 52, an image recognition engine 54, a hearing difficulty estimation unit 55, and a communication unit 251.
  • the communication unit 251 receives audio data and image data transmitted from the audio output device 120 via the network 210.
  • the processing performed by the noise detection processing unit 52, the image recognition engine 54, and the hearing difficulty estimation unit 55 is a so-called Web API processing.
  • information indicating difficulty in hearing the audio output device 120 and the external device 130 is calculated and output based on the audio data and the image data from the audio output device 120.
  • the communication unit 251 transmits information indicating difficulty in hearing to the voice output device 120 via the network 210.
  • the information indicating the difficulty of hearing includes, in addition to the difficulty of hearing the score of each device, the noise level at the user's position, the angle difference between each device and the noise source viewed from the user, and between each device and the user. It is assumed that at least one of parameters representing each distance is included.
  • FIG. 16 shows an example of information indicating difficulty in hearing obtained as a Web API processing result.
  • JSON JavaScript Object Notation
  • Data 311 to 314 represent information indicating difficulty in listening to voice from the home agent device.
  • Data 311 shows a hearing difficulty score S u of the home agent apparatus, the value is set to 4.05.
  • the data 312 indicates the distance D su between the home agent device and the user, and the value is 5 (m).
  • the data 313 indicates the noise level N u1 of the first noise source at the user's position and the angle difference ⁇ u1 between the home agent device and the first noise source as viewed from the user, and the values are 0, respectively. .8 and 20 (°).
  • the data 314 indicates the noise level N u2 of the second noise source at the user's position and the angle difference ⁇ u2 between the home agent device and the second noise source viewed from the user, and the values are 0, respectively. .5 and 130 (°).
  • Data 321 to 324 represent information indicating difficulty in listening to sound from the first external device.
  • the data 321 indicates the difficulty of hearing score Se1 of the first external device, and its value is 1.35.
  • the data 322 indicates the distance D eu between the first external device and the user, and the value is 3 (m).
  • the data 323 indicates the noise level N u1 of the first noise source at the position of the user and the angle difference ⁇ e1 between the first external device and the first noise source as viewed from the user, and the values are It is set to 0.8 and 30 (°), respectively.
  • the data 324 indicates the noise level N u2 of the second noise source at the position of the user, and the angle difference ⁇ e2 between the first external device and the second noise source as viewed from the user, and the value is The values are 0.5 and 110 (°), respectively.
  • Data 331 to 334 represent information indicating difficulty in listening to sound from the second external device.
  • Data 331 shows a hearing difficulty score S e2 of the second external device, the value is set to 6.28.
  • the data 332 indicates the distance D eu between the second external device and the user, and the value is 8 (m).
  • the data 333 indicates the noise level N u1 of the first noise source at the position of the user and the angle difference ⁇ e2 between the second external device and the first noise source viewed from the user, and the values are It is set to 0.8 and 70 (°), respectively.
  • the data 334 indicates the noise level N u2 of the second noise source at the position of the user and the angle difference ⁇ e2 between the second external device and the second noise source as viewed from the user, and the values are They are 0.5 and 10 (°), respectively.
  • either the audio output device 120 or the external device 130 is determined as the audio output device and outputs the audio.
  • the first external device having the closest distance to the user and the smallest difficulty in hearing score is determined as the audio output device.
  • the present technology can be applied to a device that outputs sound to a specific person outdoors.
  • the characteristics of the synthesized speech should be controlled adaptively according to the surrounding noise conditions and the location of passersby and people who are standing still and watching the digital signage. it can.
  • translated synthesized speech can be output so that the other party can hear it reliably.
  • the noise level at the user's position is set to the minimum value of the level of the sound component in each direction subdivided by the sound source separation by the noise detection processing unit 52, and the direction of the noise source is Add the same direction as the main body of the audio output device. As a result, it is possible to perform voice output control in consideration of difficulty in hearing due to the noise of crowds.
  • a noise source having an angle difference ⁇ u of 0 ° and a noise level N u of the minimum noise level in each direction observed at the position of the sound output device is represented by by adding a noise source, calculates the hearing difficulty score S u at the location of the user.
  • a processing unit that outputs information indicating difficulty in hearing sound from the device at the position of the user based on an image acquired in a device capable of outputting sound to the user and noise from a predetermined noise source
  • An information processing apparatus comprising: (2) The processing unit calculates, as the information, a noise level at the position of the user, an angle difference between the device and the noise source as viewed from the user, and a hearing calculated using a distance between the device and the user.
  • the information processing apparatus according to (1), wherein a difficulty score is output.
  • the processing unit outputs, as the information, parameters representing a noise level at the position of the user, an angle difference between the device and the noise source viewed from the user, and a distance between the device and the user.
  • the information processing apparatus includes, as the information, a noise level at the position of the user, an angle difference between the device and the noise source viewed from the user, and a parameter representing a distance between the device and the user, and The information processing apparatus according to (1), wherein at least one of the difficulty of hearing scores calculated using them is output.
  • the processing unit calculates, for each noise source, a noise level at the position of the user and an angle difference between the device and the noise source viewed from the user.
  • Information processing apparatus in any one of thru
  • the processing unit further outputs other information indicating difficulty in listening to the sound from the other device at the user's position based on the position of another device connected to the device and capable of outputting sound.
  • the information processing apparatus according to any one of (1) to (5).
  • a voice output control that controls the output of the voice by generating a parameter that determines the characteristics of the voice that is output to the user, using the information that indicates difficulty in hearing the voice at the user's position.
  • the information processing apparatus according to (7) further including a unit.
  • the audio output control unit outputs audio to the other device connected to the device and capable of outputting audio when the volume of the audio determined by the parameter exceeds the upper limit of the outputable volume.
  • the sound output control unit determines the other device as the sound output device based on a usage state of the other device by the user.
  • the sound output control unit determines the other device that is closer to the user as the sound output device.
  • the sound output control unit determines the other device having a larger angle difference from the noise source as viewed from the user as the sound output device.
  • the audio output device is a parameter representing a noise level at the position of the user, an angle difference between the own device and the noise source as seen from the user, and a distance between the own device and the user.
  • the information includes a noise level at the position of the user, an angle difference between the own device and the noise source as viewed from the user, a parameter indicating a distance between the own device and the user, and the parameters
  • An audio output method including a step of controlling the output of the audio by generating a parameter for determining a characteristic of the audio to be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術は、ユーザがどこにいてもホームエージェント機器からの発話を聞き取れるようにする情報処理装置、情報処理方法、音声出力装置、および音声出力方法に関する。 音声出力装置は、ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、ユーザの位置での機器からの音声の聞き取り難さを示す情報を出力する。本技術は、ユーザに対して発話を行う家庭用の音声アシスタントデバイスに適用することができる。

Description

情報処理装置、情報処理方法、音声出力装置、および音声出力方法
　本技術は、情報処理装置、情報処理方法、音声出力装置、および音声出力方法に関し、特に、ユーザがホームエージェント機器からの発話を聞き取ることができるようにする情報処理装置、情報処理方法、音声出力装置、および音声出力方法に関する。
　従来、周囲の環境に応じて、出力する音声の音量を制御する機器がある。例えば、特許文献１には、マイクロホンから取得した周囲音量に基づいて、スピーカの音量を決定する電子機器が開示されている。
　また近年、ユーザに対して発話を行う家庭用の音声アシスタントデバイス（ホームエージェント機器）が提供されている。
特開２００９－２２６１６９号公報
　しかしながら、家庭内には、人が生活する上での様々な環境音が存在する。これらの環境音の発生状況およびユーザの居場所によっては、ユーザは、ホームエージェント機器からの発話を聞き取れなかったり、聞き逃したりする可能性があった。
　本技術は、このような状況に鑑みてなされたものであり、ユーザがどこにいてもホームエージェント機器からの発話を聞き取ることができるようにするものである。
　本技術の第１の側面の情報処理装置は、ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報を出力する処理部を備える。
　本技術の第１の側面の情報処理方法は、ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報を出力するステップを含む。
　本技術の第１の側面においては、ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報が出力される。
　本技術の第２の側面の音声出力装置は、自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する音声出力制御部を備える。
　本技術の第２の側面の音声出力方法は、自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される前記音声の特性を決定するパラメータを生成することで、前記音声の出力を制御するステップを含む。
　本技術の第２の側面においては、自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される前記音声の特性を決定するパラメータを生成することで、前記音声の出力が制御される。
　本技術によれば、ユーザがどこにいてもホームエージェント機器からの発話を聞き取ることが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
家庭内での環境音について説明する図である。 本技術を適用した音声出力装置の機能構成例を示すブロック図である。 音声出力処理について説明するフローチャートである。 ユーザ、音声出力装置、および騒音源の位置関係を示す図である。 聞き取り難さスコアの角度成分項について説明する図である。 外部機器との連携について説明する図である。 音声出力装置および外部機器の機能構成例を示すブロック図である。 ユーザ、音声出力装置、騒音源、および外部機器の位置関係を示す図である。 ユーザ、音声出力装置、騒音源、および外部機器の位置関係を示す図である。 音声出力機器決定処理について説明するフローチャートである。 音声出力機器の切り替えの一例を示す図である。 音声出力機器の切り替えの一例を示す図である。 音声出力機器の切り替えの一例を示す図である。 クラウドコンピューティングへの適用について説明する図である。 本技術を適用したサーバの機能構成例を示すブロック図である。 ＷｅｂＡＰＩ処理結果の例を示す図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．家庭内での環境音について
　２．第１の実施の形態（ホームエージェント機器単体）
　３．第２の実施の形態（ホームエージェント機器と外部機器との連携）
　４．第３の実施の形態（クラウドコンピューティングへの適用）
　５．その他（屋外で利用される機器への適用）
＜１．家庭内での環境音について＞
　図１には、ユーザ１０と、ユーザ１０に対して発話を行う音声出力装置２０が示されている。音声出力装置２０は、家庭用の音声アシスタントデバイス（ホームエージェント機器）として構成される。
　図１に示されるように、家庭内には、人が生活する上での様々な環境音（テレビの音声、他者の会話、赤ん坊の泣き声、音楽、航空機の騒音など）が存在する。これらの環境音の発生状況およびユーザの居場所によっては、ユーザ１０は、音声出力装置２０からの発話を聞き取れなかったり、聞き逃したりする可能性があった。
　従来のホームエージェント機器においては、ダイヤルを回したりタッチするなど、ユーザがその機器を直接触れるか、または、ユーザの発話による音声コマンドにより、出力される音量がマニュアルで調整されていた。ユーザがホームエージェント機器に触れられない場所にいる場合や、騒音によりユーザの発話がホームエージェント機器に認識されない場合には、このようなマニュアルでの音量調整は困難となる。
　一方で、マニュアルでの音量調整で音量を上げた場合、家庭内では、ホームエージェント機器の発話自体が騒音となるおそれがある。特に、ユーザの位置や環境音の状況が変化した場合には、必要以上に大きな音が出力されてしまうことがある。
　また、騒音量とユーザの位置との関係によっては、ホームエージェント機器の出力音量を最大にしても、出力デバイスの性能限界により、ユーザが発話を聞き取ることができない場合がある。
　さらに、ユーザが、家事などの作業に集中している場合、ホームエージェント機器からの発話に意識が向かず、発話自体に気づかないこともある。
　そこで、以下においては、ユーザがどこにいてもホームエージェント機器からの発話を聞き取ることができるようにする実施の形態について説明する。
＜２．第１の実施の形態＞
（音声出力装置の機能構成例）
　図２は、本技術を適用した第１の実施の形態の音声出力装置２０の機能構成例を示している。
　音声出力装置２０は、ユーザ１０および騒音源３０の位置を認識し、ユーザ１０、音声出力装置２０、および騒音源３０の位置関係に基づいて、ユーザ１０の位置での音声の聞き取り難さを推定する。そして、音声出力装置２０は、推定した聞き取り難さに適応するようにその特性を調整した音声を出力する。
　なお、音声出力装置２０は、上述したホームエージェント機器として構成されるものとするが、マイクロホンおよびカメラを備え、ユーザ１０に向けて音声を出力する機器全般として構成することが可能である。
　音声出力装置２０は、音声入力デバイス５１、騒音検出処理部５２、センサデバイス５３、画像認識エンジン５４、聞き取り難さ推定部５５、音声出力制御部５６、通知発話テキスト５７、音声合成エンジン５８、出力音声信号処理部５９、および音声再生デバイス６０を備えている。
　音声入力デバイス５１は、複数のマイクロホン（マイクロホンアレイ）により構成される。音声入力デバイス５１には、騒音源３０から発せられる音が入力される。音声入力デバイス５１は、入力された音に対応する入力音声データを、騒音検出処理部５２に供給する。
　騒音検出処理部５２は、音声入力デバイス５１からの入力音声データに基づいて、騒音源３０の方向と、その方向からの騒音の音量を検出する。騒音検出処理部５２は、検出した騒音源３０の方向および騒音の音量それぞれを示す情報を、聞き取り難さ推定部５５に供給する。また、騒音検出処理部５２は、検出した騒音源３０の方向を示す情報を、画像認識エンジン５４に供給する。
　センサデバイス５３は、ステレオカメラおよびデプスセンサにより構成される。センサデバイス５３により撮像された画像と、その画像内の被写体の深度情報（距離情報）とが、画像認識エンジン５４に供給される。
　画像認識エンジン５４は、センサデバイス５３からの画像および深度情報に基づいて、発話対象となるユーザ１０の方向およびユーザ１０との距離を検出する。また、画像認識エンジン５４は、センサデバイス５３からの画像および深度情報と、騒音検出処理部５２からの騒音源３０の方向を示す情報とに基づいて、その方向にある物体（騒音源３０）との距離を検出する。ユーザ１０の方向、ユーザ１０との距離、騒音源３０との距離それぞれを示す情報は、聞き取り難さ推定部５５に供給される。
　聞き取り難さ推定部５５は、騒音検出処理部５２からの情報と、画像認識エンジン５４からの情報とに基づいて、ユーザの位置での音声出力装置２０からの音声の聞き取り難さを推定する。聞き取り難さ推定部５５は、その聞き取り難さを示す情報を、音声出力制御部５６に供給する。
　音声出力制御部５６は、聞き取り難さ推定部５５からの聞き取り難さを示す情報を用いて、ユーザ１０に向けて出力する音声の特性を決定する音声パラメータを生成し、音声合成エンジン５８、出力音声信号処理部５９、および音声再生デバイス６０に供給する。なお、一部の音声パラメータは、発話内容を示す通知発話テキスト５７とともに、音声合成エンジン５８に供給される。
　音声合成エンジン５８は、音声出力制御部５６からの音声パラメータおよび通知発話テキスト５７を用いて音声合成を行うことで音声信号を生成する。音声合成エンジン５８は、生成した音声信号を出力音声信号処理部５９に供給する。
　出力音声信号処理部５９は、音声出力制御部５６からの音声パラメータを用いて、音声合成エンジン５８からの音声信号に信号処理を施し、音声再生デバイス６０に供給する。
　音声再生デバイス６０は、スピーカを含むようにして構成される。音声再生デバイス６０は、音声出力制御部５６からの音声パラメータに基づいた音量で、出力音声信号処理部５９からの音声信号に従った音声を出力する。
（音声出力処理の流れ）
　次に、図３のフローチャートを参照して、音声出力装置２０による音声出力処理の流れについて説明する。
　ステップＳ１１において、騒音検出処理部５２は、音声入力デバイス５１からの入力音声データに基づいて、騒音源３０の方向を検出し、また、検出された方向の音声成分だけを取得する音源分離を行うことで、その方向からの騒音の音量を検出する。
　音声入力デバイス５１のような複数のマイクロホンを用いて音源の方向を検出する手法としては、例えば相互相関関数を用いた手法が一般的に用いられている。詳細な説明は省略するが、この相互相関関数の最大値をとる２つのマイクロホンの到達時間差（遅延）を検出し、この時間差に基づいて音波の到達方向を推定することができる。
　また、検出された方向の音声成分だけを取得する音源分離には、ビームフォーミングの技術を適用することができる。
　そして、取得された音声成分のレベルから騒音量が算出される。騒音量の算出には、所定の単位時間（例えば、センサデバイス５３を構成するカメラが撮像する画像の１フレーム時間）での音声信号の振幅値の二乗平均平方根（ＲＭＳ）が用いられる。
　なお、騒音源は１つに限らず、複数あってもよい。この場合、音源の方向の検出の際には、相互相関関数の最大値だけではなく所定の閾値を超える複数のピークをとる時間差を用いるようにする。また、音源分離により細分化された各方向の音声成分のレベルを算出し、閾値を超える複数のピークを用いて騒音量を算出するようにしてもよい。
　ステップＳ１２において、画像認識エンジン５４は、センサデバイス５３から供給されてくる画像および深度情報に基づいて、顔認識を用いて、発話対象となるユーザ１０の方向およびユーザ１０との距離を検出する。
　具体的には、画像認識エンジン５４は、あらかじめ登録されているユーザ１０の顔に基づいて、センサデバイス５３からの画像からユーザ１０の顔を検出する。また、画像認識エンジン５４は、画像内における検出された顔の位置からユーザ１０の方向（角度）を算出するとともに、画像内における検出された顔の位置における深度情報からユーザ１０との距離を算出する。
　なお、ユーザ１０との距離は、検出された顔の大きさに基づいて算出されるようにしてもよい。
　続いて、ステップＳ１３において、画像認識エンジン５４は、騒音検出処理部５２からの騒音源３０の方向を示す情報に基づいて、騒音源３０との距離を検出する。
　具体的には、画像認識エンジン５４は、騒音源となり得る物体（人、テレビ、オーディオ機器、スピーカ、エアーコンディショナ、窓など）をあらかじめ学習している。そして、画像認識エンジン５４は、センサデバイス５３からの画像において、騒音検出処理部５２からの情報で示される方向に、上述した物体を認識した場合、画像内でのその物体の位置における深度情報から騒音源３０との距離を算出する。
　なお、騒音検出処理部５２において、騒音源３０の方向として、水平方向の角度に加えて、垂直方向の角度が検出されるようにしてもよい。この場合、画像認識エンジン５４は、騒音源３０の水平方向の角度と垂直方向の角度で決まる画像内での座標における深度情報から、騒音源３０との距離を算出する。
　また、騒音源の方向に物体を認識できず、垂直方向の角度も検出されない場合には、騒音源の水平方向の角度で決まる画像内での座標における深度情報の代表値（最大値、最小値、平均値など）を用いて、騒音源３０との距離を算出するようにしてもよい。
　ステップＳ１４において、聞き取り難さ推定部５５は、ユーザ１０および騒音源３０との位置関係に基づいて、ユーザ１０の位置での聞き取り難さを示す聞き取り難さスコアを算出する。
　ここで、図４に示されるように、騒音検出処理部５２により検出された、ホームエージェント機器（音声出力装置２０）の位置での騒音の音量（騒音レベル）をＮｓ、画像認識エンジン５４により検出されたユーザ１０との距離をＤｓｕ、騒音源３０との距離をＤｎｓとする。
　また、騒音検出処理部５２により検出された騒音源３０の方向と、画像認識エンジン５４により検出されたユーザ１０の方向とから算出される、音声出力装置２０からみたユーザ１０と騒音源３０との角度差をθｓとする。
　まず、聞き取り難さ推定部５５は、余弦定理により、以下の式を用いて、騒音源３０とユーザ１０との距離Ｄｎｕを算出する。
Figure JPOXMLDOC01-appb-M000001
　次に、聞き取り難さ推定部５５は、余弦定理により、以下の式を用いて、ユーザ１０からみた音声出力装置２０と騒音源３０との角度差θｕを算出する。
Figure JPOXMLDOC01-appb-M000002
　そして、聞き取り難さ推定部５５は、距離による点音源の音圧減衰特性に基づいて、以下の式を用いて、ユーザ１０の位置での騒音レベルＮｕを算出する。
Figure JPOXMLDOC01-appb-M000003
　以上のように算出された、ユーザ１０の位置での騒音レベルＮｕ、ユーザ１０からみた音声出力装置２０と騒音源３０との角度差θｕ、および、音声出力装置２０とユーザ１０との距離Ｄｓｕは、それぞれ個々に、ユーザ１０の位置での音声出力装置２０からの音声の聞き取り難さを示す聞き取り難さスコアとみなすことができる。
　ユーザ１０の位置での騒音レベルＮｕは、その値が大きくなるほど、騒音によるエージェント機器からの音声のマスキングによって、聞き取り難さが増す。
　ユーザ１０からみた音声出力装置２０と騒音源３０との角度差θｕは、０°乃至１８０°の値をとり、その値が大きくなるほど、音像分離によるカクテルパーティ効果によって、聞き取りやすくなる。すなわち、角度差θｕの値が小さくなるほど、聞き取り難さが増す。
　音声出力装置２０とユーザ１０との距離Ｄｓｕは、その値が大きくなるほど、距離による音の減衰によって、聞き取り難さが増す。
　ここではさらに、聞き取り難さ推定部５５が、これら３つのパラメータを用いて、ユーザ１０の位置での聞き取り難さを示す聞き取り難さスコアＳｕを算出するものとする。
　なお、図４に示されるように、騒音源３０に加えて騒音源４０が存在する場合、騒音検出処理部５２は、騒音源３０，４０それぞれの方向と、それぞれの方向からの騒音の音量を検出する。この場合、ユーザ１０の位置での騒音レベルＮｕと、ユーザ１０からみた音声出力装置２０と騒音源との角度差θｕとは、騒音源毎に算出される。
　したがって、ｎ個の騒音源が存在する場合、騒音レベルＮｕと角度差θｕとが騒音源毎に算出されることで、｛Ｎｕ１，Ｎｕ２，Ｎｕ３，・・・，Ｎｕｎ，｝，｛θｕ１，θｕ２，θｕ３，・・・，θｕｎ｝が得られる。
　この場合、聞き取り難さ推定部５５は、以下の式を用いて、３つのパラメータそれぞれがユーザ１０の位置での聞き取り難さに与える影響を考慮した聞き取り難さスコアＳｕを算出する（ｉ＝１，２，３，・・・，ｎ）。
Figure JPOXMLDOC01-appb-M000004
　音声出力装置２０からの音声は距離Ｄｓｕに比例して音圧が減衰するため、最初に距離Ｄｓｕが乗算される。なお、変数ｃは、騒音に関する項（平方根項）がない場合にも聞き取り難さスコアＳｕを算出するための、距離Ｄｓｕに比例した変数である。
　複数音源の音圧加算は二乗和平方根で求められることが一般的に知られている。そこで、騒音に関する項として、複数の騒音源の騒音レベルＮｕｉに、角度差θｕｉに依存する角度成分項ｆ（θｕｉ）を乗じて二乗和平方根をとったものを用いる。
　なお、角度成分項ｆ（θｕｉ）は、以下の式で示される。
Figure JPOXMLDOC01-appb-M000005
　角度成分項ｆ（θｕｉ）は、図５に示されるように、角度差θｕｉが０°で最大値をとり、１８０°で最小値をとる関数の一例である。
　式中、変数ａは、角度差θｕｉによる影響の重み係数であり、変数ｂは、角度差θｕｉによらない騒音による影響の重み係数である。変数ａ，ｂは、それぞれ０以上の値をとり、ａ＋ｂ≦１．０となることが望ましい。例えば、ａ＝１．０，ｂ＝０とした場合、θｕｉ＝０°でｆ（θｕｉ）＝１．０となり、θｕｉ＝１８０°でｆ（θｕｉ）＝０となる。また、ａ＝０，ｂ＝１．０とした場合、θｕｉによらずｆ（θｕｉ）＝１．０となる。
　なお、上述した変数ａ，ｂ，ｃは、聞き取り難さ推定部５５の設定パラメータとしてＡＰＩ（Application Programming Interface）化され、外部から制御可能な構成としてもよい。
　このようにして算出された聞き取り難さスコアＳｕは、音声出力制御部５６に供給される。
　ステップＳ１５において、音声出力制御部５６は、聞き取り難さ推定部５５により算出された聞き取り難さスコアＳｕを用いて、ユーザ１０に向けて出力する音声の特性を決定する音声パラメータを生成する。ここでは、以下で説明する音声パラメータが生成されるものとする。
　（１）音量Ｖ０：聞き取り難さスコアＳｕに比例して音量（出力音圧）が大きくなるようにして算出され、音声再生デバイス６０に供給される。
　音量Ｖ０は、例えば以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000006
　式中、変数ｋｖは、加算音量の比例係数である。また、音量Ｖ０は、音声再生デバイス６０の制約により決まる音量Ｖｍａｘを上限とする。
　なお、上述した変数ｋｖ，Ｖｍａｘは、音声出力制御部５６の設定パラメータとしてＡＰＩ化され、外部から制御可能な構成としてもよい。例えば、ユーザの年齢などの属性情報からユーザの聴覚特性を推定することで、変数ｋｖ，Ｖｍａｘを設定するようにしてもよい。具体的には、年齢が高くなるにつれ可聴域（ダイナミックレンジ）が狭まるため、ユーザの年齢が高い程、ｋｖを大きく、Ｖｍａｘを小さくするように設定する。
　（２）高さ（ピッチ）Ｐ０：基準となるピッチＰｄ（音声合成エンジン５８の基準ピッチに対するオフセット）に対して、聞き取り難さスコアＳｕに比例してピッチが高くなるようにして算出され、通知発話テキスト５７とともに音声合成エンジン５８に供給される。
　ピッチＰ０は、例えば以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000007
　式中、変数ｋｐは、加算ピッチの比例係数である。また、ピッチＰ０は、音声合成エンジン５８で自然な声質を維持できるピッチＰｍａｘを上限とする。
　騒音の大きい環境下では、人は相手に発話内容を聞き取りやすくするよう、自然に声を張り上げることが、ロンバード効果として知られている。ロンバード効果では、人は声の音量やピッチ（基本周波数、フォルマント周波数）を上げるとされる。そこで、ピッチＰ０については、音声合成エンジン５８の設定ピッチを上げることで、ロンバード効果をシミュレートするようにする。
　なお、上述した変数Ｐｄ，ｋｐ，Ｐｍａｘは、音声出力制御部５６の設定パラメータとしてＡＰＩ化され、外部から制御可能な構成としてもよい。
　（３）発話速度Ｒ０：基準となる発話速度Ｒｄ（音声合成エンジン５８の基準発話速度に対するオフセット）に対して、聞き取り難さスコアＳｕに比例して発話速度が高くなるようにして算出され、通知発話テキスト５７とともに音声合成エンジン５８に供給される。
　発話速度Ｒ０は、例えば以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000008
　式中、変数ｋｒは、加算発話速度の比例係数である。また、発話速度Ｒ０は、音声合成エンジン５８で聞き取ることができる発話速度Ｒｍａｘを上限とする。
　騒音の大きい環境下では、発話速度を高めたほうが（やや早口のほうが）発話文全体のまとまりを認知しやすく、間延び感が解消されて内容を理解しやすくなる。ただし、発話速度が高すぎると、語句自体を聞き取れなくなるため、発話速度Ｒｍａｘで制限されるようにする。
　なお、上述した変数Ｒｄ，ｋｒ，Ｒｍａｘは、音声出力制御部５６の設定パラメータとしてＡＰＩ化され、外部から制御可能な構成としてもよい。
　（４）周波数Ｆ０：音声合成された音声信号の高域を強調するためのパラメータであり、高域強調の信号処理の最低周波数として算出され、出力音声信号処理部５９に供給される。高域強調の信号処理においては、周波数Ｆ０より上の帯域が強調される。
　（５）ゲインＧ０：周波数Ｆ０と同様、音声合成された音声信号の高域を強調するためのパラメータであり、聞き取り難さスコアＳｕに比例してゲインが大きくなるようにして算出され、出力音声信号処理部５９に供給される。
　ゲインＧ０は、例えば以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000009
　式中、変数ｋｇは、ゲインの比例係数である。また、ゲインＧ０は、高域強調処理を欠けすぎて音声の声としての自然さが失われない程度のゲインＧｍａｘを上限とする。
　高域のレベルを上げることによって、マスキングされている子音が強調されて音韻を知覚しやすくなり、音声の明瞭度が高まることが一般的に知られている。また、音声の高域（子音）のエネルギーは低く、自然界の一般的な騒音はピンクノイズに似た低域が高く高域が低いスペクトルを有するため、音量を上げすぎずに声の明瞭度を高めるには、高域強調が効果的となる。
　なお、上述した変数ｋｇ，Ｇｍａｘは、周波数Ｆ０とともに、音声出力制御部５６の設定パラメータとしてＡＰＩ化され、外部から制御可能な構成としてもよい。
　また、高域強調の他の例として、騒音検出処理部５２が、騒音のスペクトル情報を取得し、音声出力制御部５６が、その騒音のスペクトル情報に基づいて、マスキングされる音声合成の音の帯域を推定し、出力音声信号処理部５９が、その帯域のレベルを上げる処理を行うようにしてもよい。
　（６）抑揚（イントネーション）Ｉ０：基準となる抑揚Ｉｄ（音声合成エンジン５８の基準抑揚に対するオフセット）に対して、聞き取り難さスコアＳｕに比例して抑揚が小さくなるようにして算出され、通知発話テキスト５７とともに音声合成エンジン５８に供給される。
　抑揚Ｉ０は、例えば以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000010
　式中、変数ｋｉは、抑揚の比例係数である。また、抑揚Ｉ０は、音声合成エンジン５８で制約される抑揚Ｉｍｉｎを下限とする。
　音声合成エンジンの中には、発話の抑揚の大きさを設定できるものがある。騒音の大きい環境下では、抑揚が下がったときの語句がノイズにマスキングされ、発話文全体が聞き取り難くなる。そのため、騒音の音量が大きくなるほど平坦な発話にすることで、聞き取りやすさを改善することができる（一方で、騒音が小さく聞き取りやすい環境下では、抑揚がついていた方が発話内容を理解しやすい）。
　なお、上述した変数Ｉｄ，ｋｉ，Ｉｍｉｎは、音声出力制御部５６の設定パラメータとしてＡＰＩ化され、外部から制御可能な構成としてもよい。
　（７）アクセントＡ０：基準となるアクセントＡｄ（音声合成エンジン５８の基準アクセントに対するオフセット）に対して、聞き取り難さスコアＳｕに比例してアクセントが強くなるようにして算出され、通知発話テキスト５７とともに音声合成エンジン５８に供給される。
　アクセントＡ０は、例えば以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000011
　式中、変数ｋａは、アクセントの比例係数である。また、アクセントＡ０は、音声合成エンジン５８で制約されるアクセントＡｍａｘを上限とする。
　音声合成エンジンの中には、発話のアクセントの強さを設定できるものがある。騒音の大きい環境下では、アクセントを強めることによりアクセント句単位での語句の了解度が高くなり、聞き取りやすさを改善することができる（一方で、アクセントを強めすぎると発話の不自然さが目立つようになるため、聞き取り難さスコアＳｕに適応するようにする）。
　なお、上述した変数Ａｄ，ｋａ，Ａｍａｘは、音声出力制御部５６の設定パラメータとしてＡＰＩ化され、外部から制御可能な構成としてもよい。
　以上のようにして、音声パラメータが生成される。
　なお、上述した音声パラメータの生成に用いられる各変数は、聞き取り難さスコアＳｕとともに設定パラメータとしてＡＰＩ化され、騒音以外のユーザのコンテキスト（ユーザの年齢・性別・属性に合わせたパラメータなど）に音声出力特性を適応させる処理が行われるようにしてもよい。
　さて、図３のフローチャートに戻り、ステップＳ１６において、音声合成エンジン５８は、音声出力制御部５６から通知発話テキスト５７とともに供給された音声パラメータ（ピッチＰ０、発話速度Ｒ０、抑揚Ｉ０、およびアクセントＡ０）を用いて音声合成を行うことで音声信号を生成する。
　ステップＳ１７において、出力音声信号処理部５９は、音声出力制御部５６からの音声パラメータ（周波数Ｆ０およびゲインＧ０）を用いて、音声合成エンジン５８により生成された音声信号に、高域強調の信号処理を施す。
　ここでは、例えば、特定の周波数より上の帯域を増幅させるハイシェルフフィルタを用いた信号処理が行われる。また、高域強調の他の例として、上述したように、騒音検出処理部５２が、騒音のスペクトル情報を取得し、音声出力制御部５６が、騒音のスペクトル情報に基づいて、マスキングされる音声合成の音の帯域を推定し、出力音声信号処理部５９が、その帯域のレベルを上げる処理を行うようにしてもよい。
　そして、ステップＳ１８において、音声再生デバイス６０は、音声出力制御部５６からの音声パラメータ（音量Ｖ０）に基づいてスピーカの出力音量を調整し、出力音声信号処理部５９からの音声信号に従った音声を出力する。
　なお、音声再生デバイス６０がアレイスピーカを含むように構成され、波面合成によってユーザ１０に対して任意の音像を提示できる場合には、聞き取り難さ推定部５５が、ユーザ１０にとって最も騒音の少ない方向を検出し、音声再生デバイス６０が、その方向に、音声信号に従った音声の音像を定位させるようにしてもよい。
　以上の処理によれば、ユーザがどこにいてもホームエージェント機器からの発話を聞き取ることが可能となる。
　特に、ユーザがスピーカから遠い位置にいて音量調整の操作を行えないときであっても、ホームエージェント機器が、そのときに伝えるべき通知などの発話を確実にユーザに伝えることができる。
　また、ホームエージェント機器が発話対象となるユーザに適応した音声出力を行うので、ホームエージェント機器から出力される音声の音量が大きくなりすぎて、家庭内の他の環境音をマスクしてしまうことを防ぐことができる。
　具体的には、ホームエージェント機器からの発話が、家庭内で人が聞いている音をマスクしたり、静かな環境の中で他の事に集中している人の意識を奪うなど、発話対象ではないユーザにとって騒音になることを防ぐことができる。例えば、ホームエージェント機器からの発話が、テレビの音声や音楽、人同士の会話をマスクする騒音となったり、子供の勉強や睡眠を阻害することを避けることができる。また、家庭内での個人のプライバシーを保護することもできる。
＜３．第２の実施の形態＞
　近年、家電機器のＩｏＴ（Internet of Things）化や、家庭内におけるＷｉ－Ｆｉなどの無線ＬＡＮ環境の普及により、ホームエージェント機器が、家電機器を一括してコントロールする方向にある。
　また、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）などの接続方式で音声コンテンツのストリーミングを行い、他の機器でその音声コンテンツを再生する家庭内ネットワークの環境が整いつつある。
　そこで、以下においては、ホームエージェント機器と外部機器とが連携した実施の形態について説明する。
（ホームエージェント機器と外部機器との連携）
　図６は、ホームエージェント機器と外部機器とが連携したシステムの構成例を示している。
　図６においては、ホームエージェント機器としての音声出力装置１２０が、外部機器としての警報機１３０Ａ、インターホン１３０Ｂ、固定電話１３０Ｃ、冷蔵庫１３０Ｄ、電子レンジ１３０Ｅ、掃除機１３０Ｆ、ＰＣ（パーソナルコンピュータ）１３０Ｇ、テレビジョン受像機１３０Ｈ、ゲーム機１３０Ｉ、スマートフォン１３０Ｊ、ヘッドホン１３０Ｋ、およびオーディオ機器１３０Ｌと、無線ＬＡＮなどのネットワークを介して接続されている。
　警報機１３０Ａ乃至オーディオ機器１３０Ｌはそれぞれ、スピーカなどの音声出力が可能な音声再生デバイスが搭載された機器である。
　警報機１３０Ａ乃至オーディオ機器１３０Ｌは、ユーザによる操作や稼働状況、センシング結果など、自機器の状態を表す情報を、音声出力装置１２０に送信する。また、警報機１３０Ａ乃至オーディオ機器１３０Ｌは、音声出力装置１２０から送信されてくる音声信号を受信することで、音声を出力する。
　図６においては、オーディオ機器１３０Ｌからの音声が騒音となり、音声出力装置１２０からの発話がユーザ１０に伝わらない様子が示されている。
　このように、ユーザ１０の位置での騒音（聞き取り難さ）が大きく、音声出力装置１２０から出力される音声の特性を、その聞き取り難さに最大限に適応してもユーザ１０が聞き取ることができないと判断された場合、音声出力装置１２０が、警報機１３０Ａ乃至オーディオ機器１３０Ｌのうち、ユーザ１０への発話が可能な外部機器に対して音声信号を供給し、その外部機器が音声を出力する。
　図６の例では、ユーザ１０への発話が可能な外部機器は、その使用状況からユーザ１０の行動（何に集中しているか）を推定し、ユーザ１０の意識が向いていると判定されたテレビジョン受像機１３０Ｈ、ユーザ１０との距離がより近い掃除機１３０Ｆ、騒音源と異なる方向にある冷蔵庫１３０Ｄとされている。
　ここで以下において、警報機１３０Ａ乃至オーディオ機器１３０Ｌを、それぞれ区別する必要がない場合、単に、外部機器１３０ということとする。なお、音声出力装置１２０と連携する外部機器１３０は、図６に示されるように複数であってもよいし、１つであってもよい。
（音声出力装置および外部機器の機能構成例）
　図７は、本技術を適用した第２の実施の形態の音声出力装置１２０および外部機器１３０の機能構成例を示している。
　音声出力装置１２０は、図２の音声出力装置２０と同様の構成に加え、状態受信部１５１および音声送信部１５２を備えている。また、外部機器１３０は、状態取得部１６１、状態送信部１６２、音声受信部１６３、および音声再生デバイス１６４を備えている。
　以下においては、第１の実施の形態と異なる構成および動作について説明する。
　画像認識エンジン５４は、複数の外部機器１３０それぞれの位置（距離および方向）を検出し、その情報を聞き取り難さ推定部５５に供給する。
　例えば、外部機器１３０は、その表面にそれぞれ固有のマーカが付されるようにする。画像認識エンジン５４は、音声出力装置１２０と外部機器１３０とをリンクするセットアップの際にセンサデバイス５３により撮像された画像に対して画像認識を行い、それぞれのマーカを検出する。画像認識エンジン５４は、検出されたマーカの画像内の位置から外部機器１３０の方向（角度）を算出するとともに、その位置の深度情報から外部機器１３０との距離を算出する。この処理は、セットアップの際に限らず、音声出力装置１２０が通知発話を行う直前のタイミングで行われるようにしてもよい。
　また、上述したようなマーカを用いない処理として、セットアップの際に、音声入力デバイス５１が、騒音のない環境において外部機器１３０が出力した位置検出用の音を集音し、騒音検出処理部５２が、位置検出用の音の方向を検出することで、画像認識エンジン５４が、外部機器１３０の方向（角度）および外部機器１３０との距離を算出するようにしてもよい。
　聞き取り難さ推定部５５は、画像認識エンジン５４からの、外部機器１３０それぞれとの距離および角度を示す情報を用いて、ユーザ１０の位置での外部機器１３０それぞれからの音声の聞き取り難さを示す聞き取り難さスコアＳｅを算出する。
　ここで、図８に示されるように、外部機器１３０との距離をＤｓｅ、音声出力装置１２０からみたユーザ１０と外部機器１３０との角度差をθｓｅとする。その他の値は、図４に示される値と同様である。
　まず、聞き取り難さ推定部５５は、余弦定理により、以下の式を用いて、外部機器１３０とユーザ１０との距離Ｄｅｕを算出する。
Figure JPOXMLDOC01-appb-M000012
　次に、聞き取り難さ推定部５５は、余弦定理により、以下の式を用いて、ユーザ１０からみた音声出力装置２０と外部機器１３０との角度差θｕｅを算出する。
Figure JPOXMLDOC01-appb-M000013
　さらに、聞き取り難さ推定部５５は、ユーザ１０からみた外部機器１３０と騒音源３０との角度差θｅを算出する。
　ここで、図８に示されるように、音声出力装置１２０からみたユーザ１０と騒音源３０との角度差θｓと、音声出力装置１２０からみたユーザ１０と外部機器１３０との角度差θｓｅの符号が異なる（音声出力装置１２０とユーザ１０とを結ぶ線分に対して、騒音源３０と外部機器１３０とが異なる側にある）場合、ユーザ１０からみた外部機器１３０と騒音源３０との角度差は、θｅ＝θｕｅ＋θｕで示される。
　一方、図９に示されるように、音声出力装置１２０からみたユーザ１０と騒音源３０との角度差θｓと、音声出力装置１２０からみたユーザ１０と外部機器１３０との角度差θｓｅの符号が同じ（音声出力装置１２０とユーザ１０とを結ぶ線分に対して、騒音源３０と外部機器１３０とが同じ側にある）場合、ユーザ１０からみた外部機器１３０と騒音源３０との角度差は、θｅ＝｜θｕｅ－θｕ｜で示される。
　なお、ｎ個の騒音源が存在する場合、ユーザ１０の位置での騒音レベルＮｕと、ユーザ１０からみた外部機器１３０と騒音源３０との角度差θｅとは、騒音源毎に算出され、｛Ｎｕ１，Ｎｕ２，Ｎｕ３，・・・，Ｎｕｎ，｝，｛θｅ１，θｅ２，θｅ３，・・・，θｅｎ｝が得られる。
　この場合、聞き取り難さ推定部５５は、以下の式を用いて、聞き取り難さスコアＳｅを算出する（ｉ＝１，２，３，・・・，ｎ）。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　聞き取り難さスコアＳｅは、上述で説明したユーザ１０の位置での音声出力装置２０からの音声の聞き取り難さスコアＳｕと同様の手法により算出される。聞き取り難さスコアＳｅは、ユーザ１０の位置と外部機器１３０との距離が近く、騒音源３０と外部機器１３０の方向が異なるほど、小さい値をとる。
　このようにして算出された聞き取り難さスコアＳｅは、音声出力制御部５６に供給される。
　また、ｍ個の外部機器１３０が音声出力装置１２０にリンクされている場合、聞き取り難さスコアＳｅが外部機器１３０毎に算出されることで、｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝が得られ、音声出力制御部５６に供給される。なお、音声出力装置１２０にリンクされているものの、画像認識エンジン５４によってその位置が検出されなかった外部機器１３０についての聞き取り難さスコアＳｅは、音声出力装置２０についての聞き取り難さスコアＳｕで代替されるようにしてもよい。
　図７に戻り、外部機器１３０の状態取得部１６１は、外部機器１３０の使用状況などから、ユーザ１０の意識が外部機器１３０に集中しているか否かを判定し、その度合いを示す意識レベルを状態送信部１６２に供給する。
　意識レベルは、以下に示すように、レベル２，１，０の３段階に分けられ、数字が大きいほど、ユーザ１０の意識が外部機器１３０に集中している度合いが高いものとする。
　レベル２は、ユーザ１０が外部機器１３０に近接して操作したり作業している最中の状態を示し、例えば、以下のような状態が考えらえる。
　・ＰＣにおいて、キーボードやマウスが操作されている。
　・ゲーム機において、コントローラが操作されており、ユーザ１０がプレイ中である。
　・固定電話機やインターホンにおいて、ユーザ１０が通話中である。
　・冷蔵庫において、ドアが開かれている。
　・炊飯器が稼働中で、そのふたが開けられている。
　・ハンディ型の掃除機が稼働中である。
　レベル１は、ユーザ１０が外部機器１３０から受動的に音声を受けている状態を示し、例えば、以下のような状態が考えらえる。
　・テレビにおいて、映像および音声が出力されている。
　・ラジオにおいて、音声が出力されている。
　・オーディオ機器において、音楽が再生されている。
　レベル０は、ユーザ１０の意識が外部機器１３０へ向いていない状態を示し、上述したような状態が検出されない状態とされる。
　状態送信部１６２は、状態取得部１６１からの意識レベルを、無線ＬＡＮなどのネットワークを介して、音声出力装置１２０に送信する。
　一方、音声出力装置１２０の状態受信部１５１は、外部機器１３０からネットワークを介して送信されてくる意識レベルを受信し、音声出力制御部５６に供給する。
　なお、状態取得部１６１が外部機器１３０の使用状況を示す情報のみを取得して、状態送信部１６２がその情報を音声出力装置１２０に送信し、音声出力装置１２０（状態受信部１５１）側で、意識レベルの判定が行われるようにしてもよい。
　さて、音声出力装置１２０の音声出力制御部５６は、聞き取り難さ推定部５５からの、ユーザ１０の位置での音声出力装置１２０からの音声の聞き取り難さスコアＳｕ、および、ユーザ１０の位置での外部機器１３０それぞれからの音声の聞き取り難さスコア｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝と、状態受信部１５１からの意識レベルとに基づいて、通知発話を行う機器（以下、音声出力機器という）を決定する。
　そして、音声出力制御部５６によって、外部機器１３０が音声出力機器に決定された場合、出力音声信号処理部５９において信号処理が施された音声信号が、音声出力制御部５６において生成された音声パラメータ（音量Ｖ０）とともに、音声送信部１５２に供給される。
　音声送信部１５２は、出力音声信号処理部５９からの音声信号を、音声出力制御部５６からの音声パラメータとともに、無線ＬＡＮなどのネットワークを介して、音声出力機器に決定された外部機器１３０に送信する。
　外部機器１３０の音声受信部１６３は、音声出力装置１２０からの音声信号および音声パラメータを受信し、音声再生デバイス１６４に供給する。
　音声再生デバイス１６４は、音声再生デバイス６０と同様にして構成され、音声出力装置１２０からの音声パラメータ（音量Ｖ０）に基づいた音量で、音声出力装置１２０からの音声信号に従った音声を出力する。
（音声出力機器決定処理）
　ここで、図１０のフローチャートを参照して、音声出力制御部５６によって実行される音声出力機器決定処理の詳細について説明する。図１０の処理は、通知発話が行われるタイミング（直前）で開始される。
　ステップＳ５１において、音声出力制御部５６は、聞き取り難さスコアＳｕを用いて算出した音量Ｖ０と、音声再生デバイス６０の制約により決まる音量Ｖｍａｘとを比較し、音量Ｖ０が音声再生デバイス６０の出力音量の上限（音量Ｖｍａｘ）を超えるか否かを判定する。音量Ｖ０が上限を超えると判定された場合、処理はステップＳ５２に進む。
　ステップＳ５２において、音声出力制御部５６は、状態受信部１５１から供給された、外部機器１３０それぞれの意識レベルに基づいて、意識レベル２の外部機器１３０が存在するか否かを判定する。意識レベル２の外部機器１３０が存在すると判定された場合、処理はステップＳ５３に進む。
　ステップＳ５３において、音声出力制御部５６は、意識レベル２の外部機器１３０の中から、聞き取り難さスコアＳｅが最小となる外部機器１３０を選択し、処理はステップＳ５９に進む。
　一方、ステップＳ５３において、意識レベル２の外部機器１３０が存在しないと判定された場合、処理はステップＳ５４に進む。
　ステップＳ５４において、音声出力制御部５６は、状態受信部１５１から供給された、外部機器１３０それぞれの意識レベルに基づいて、意識レベル１の外部機器１３０が存在するか否かを判定する。意識レベル１の外部機器１３０が存在すると判定された場合、処理はステップＳ５５に進む。
　ステップＳ５５において、音声出力制御部５６は、意識レベル１の外部機器１３０の中から、聞き取り難さスコアＳｅが最小となる外部機器１３０を選択する。
　ステップＳ５６において、音声出力制御部５６は、選択された外部機器１３０の聞き取り難さスコアＳｅと自装置（音声出力装置１２０）の聞き取り難さスコアＳｕとを比較し、その外部機器１３０の聞き取り難さスコアＳｅが自装置の聞き取り難さスコアＳｕより小さいか否かを判定する。聞き取り難さスコアＳｅが聞き取り難さスコアＳｕより小さいと判定された場合、処理はステップＳ５９に進む。
　さて、ステップＳ５４において、意識レベル１の外部機器１３０が存在しないと判定された場合、または、ステップＳ５６において、聞き取り難さスコアＳｅが聞き取り難さスコアＳｕより小さくない（大きい）と判定された場合、処理はステップＳ５７に進む。
　ステップＳ５７において、音声出力制御部５６は、音声出力装置１２０にリンクされている全外部機器１３０から、聞き取り難さスコアＳｅが最小となる外部機器１３０を選択する。
　ステップＳ５８において、音声出力制御部５６は、選択された外部機器１３０の聞き取り難さスコアＳｅと自装置（音声出力装置１２０）の聞き取り難さスコアＳｕとを比較し、その外部機器１３０の聞き取り難さスコアＳｅが自装置の聞き取り難さスコアＳｕより小さいか否かを判定する。聞き取り難さスコアＳｅが聞き取り難さスコアＳｕより小さいと判定された場合、処理はステップＳ５９に進む。
　ステップＳ５９において、音声出力制御部５６は、ステップＳ５３，Ｓ５５，またはＳ５７において選択された外部機器１３０を音声出力機器に決定する。
　一方、ステップＳ５１において、音量Ｖ０が上限を超えないと判定された場合、または、ステップＳ５８において、聞き取り難さスコアＳｅが聞き取り難さスコアＳｕより小さくない（大きい）と判定された場合、処理はステップＳ６０に進む。
　ステップＳ６０において、音声出力制御部５６は、自装置（音声出力装置１２０）を音声出力機器に決定する。
　このようにして、自装置の聞き取り難さスコアＳｕと、外部機器１３０それぞれの聞き取り難さスコアＳｅおよび意識レベルとに基づいて、通知発話を行う音声出力機器が決定される。
　以上の構成および処理によれば、出力すべき音声の音量が、ホームエージェント機器の音声再生デバイス（スピーカ）の性能限界を超えた場合であっても、ユーザの居場所に応じて、リンクされている外部機器を介して、通知発話を確実にユーザに伝えることができる。
　また、ユーザが他の事に集中していて、ホームエージェント機器からの発話に気づきにくい状況であっても、ユーザの意識が向いている外部機器から音声を出力することにより、通知発話を確実にユーザに伝えることができる。
　さらに、緊急性の高い通知発話を、騒音レベルが低くなったり、ユーザがホームエージェント機器からの発話に気づきやすい状況になるまで待つことなく、通知発話を確実にユーザに伝えることができる。
（ホームエージェント機器の発話中にユーザが移動する場合の例）
　本実施の形態においては、音声出力機器（ホームエージェント機器または外部機器）の発話中にユーザが移動する場合、ユーザの位置の変化に追従して音声出力機器を動的に切り替えるようにすることもできる。
　この場合、音声入力デバイス５１およびセンサデバイス５３によるセンシングから、音声出力装置１２０の聞き取り難さスコアＳｕおよびｍ個の外部機器１３０毎の聞き取り難さスコア｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝の算出までの処理が、音声出力機器の発話開始のタイミングのみではなく、発話中もリアルタイムに行われ、算出された聞き取り難さスコアＳｕおよび｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝が音声出力制御部５６に供給される。
　音声出力機器の発話中にリアルタイムに行われる処理の時間粒度は、例えば、センサデバイス５３を構成するカメラの撮像フレームレート（すなわち、画像認識エンジン５４の認識処理の時間粒度）とされる。フレームレートが例えば３０ｆｐｓである場合、音声出力機器が発話中の１／３０秒毎に、聞き取り難さスコアＳｕおよび｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝が算出され、音声出力制御部５６に供給される。
　音声出力制御部５６は、音声出力機器の発話開始のタイミングのみではなく、発話中もリアルタイムに更新される音声出力装置１２０の聞き取り難さスコアＳｕおよび外部機器１３０毎の聞き取り難さスコア｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝を用いて、図１０を参照して説明した音声出力機器決定処理を実行する。
　音声出力機器に決定された機器の発話中にユーザ１０が移動することによって、聞き取り難さスコアＳｕおよび｛Ｓｅ１，Ｓｅ２，Ｓｅ３，・・・，Ｓｅｍ｝が変化すると、音声出力機器決定処理により決定される機器が切り替わる。
　ここで、図１１乃至図１３を参照して、音声出力機器が、外部機器Ａから外部機器Ｂに切り替わる例について説明する。
　図１１は、音声出力装置１２０から音声出力機器へ発話音声のファイルが送信される場合の音声出力機器の切り替えの例を示している。
　音声出力装置１２０は、外部機器Ａに対して音声出力停止（中断）を指示する。外部機器Ａは、音声出力停止指示を受けたタイミングから、音声出力のフェードアウトを開始し、数秒にかけてフェードアウトを完了することで、音声出力を停止する。
　一方で、音声出力装置１２０は、外部機器Ａに対する音声出力停止指示と同時に、外部機器Ｂに発話音声のファイルとファイル内の出力開始時間オフセット（外部機器Ａに音声出力停止を指示した時刻）とを送信することで、外部機器Ｂに対して音声出力開始を指示する。外部機器Ｂは、発話音声のファイルの、出力開始時間オフセットで指定される位置からフェードインを開始し、数秒にかけてフェードインを完了することで、音声出力を開始する。
　図１２は、音声出力装置１２０から音声出力機器へ発話音声のストリーミングを行う場合の音声出力機器の切り替えの例を示している。
　音声出力装置１２０は、外部機器Ａへの音声ストリーミングのフェードアウトを開始すると同時に、外部機器Ｂへの音声ストリーミングのフェードインを開始する。音声出力装置１２０は、数秒にかけて、外部機器Ａへの音声ストリーミングのフェードアウトと、外部機器Ｂへの音声ストリーミングのフェードインとを完了することで、音声出力機器の切り替えが完了する。
　図１３は、音声出力装置１２０から全ての外部機器へ発話音声をブロードキャストする場合の音声出力機器の切り替えの例を示している。
　外部機器Ａ，Ｂの両方に発話音声がブロードキャストされている状態で、音声出力装置１２０は、外部機器Ａに対する音声出力停止と、外部機器Ｂに対する音声出力開始を同時に指示する。指示を受けたタイミングから、外部機器Ａは音声出力のフェードアウトを開始し、外部機器Ｂは音声出力のフェードインを開始する。数秒にかけて、外部機器Ａがフェードアウトを、外部機器Ｂがフェードインを、それぞれ完了することで、音声出力機器の切り替えが完了する。
（ホームエージェント機器がユーザを検出できない場合の例）
　本実施の形態においては、ユーザがホームエージェント機器周辺に存在しないため、ホームエージェント機器がユーザを検出できず、ユーザの近傍に位置する外部機器がユーザを検出した場合、その外部機器を音声出力機器に決定するようにすることもできる。
　ホームエージェント機器がユーザを検出できない場合、ユーザの位置が不明となるので、ユーザの位置での聞き取り難さスコアＳｕ，Ｓｅを算出することができない。
　そこで、聞き取り難さスコア算出の例外処理として、音声出力装置１２０についての聞き取り難さスコアＳｕ、および、ユーザを検出していない外部機器１３０についての聞き取り難さスコアＳｅを、Ｖ０＞Ｖｍａｘとなる大きい値に設定する。さらに、ユーザを検出した外部機器１３０についての聞き取り難さスコアＳｅを、音声出力装置１２０についての聞き取り難さスコアＳｕ、および、ユーザを検出していない外部機器１３０についての聞き取り難さスコアＳｅより小さい値に設定する。すなわち、ユーザを検出した外部機器１３０についての聞き取り難さスコアを、それ以外の機器についての聞き取り難さスコアより小さくする。
　このような聞き取り難さスコアの設定により、図１０を参照して説明した音声出力機器決定処理において、ユーザを検出した外部機器１３０が音声出力機器に決定されるようになり、その外部機器１３０から発話音声が出力される。
　例えば、１階のリビングにホームエージェント機器が設置されているものの、リビングには誰もおらず、２階の寝室にユーザがおり、その寝室に設置されているＰＣ（外部機器）に設けられているカメラがユーザを検出したとする。この場合、そのＰＣが音声出力機器に決定され、ホームエージェント機器からは発話音声が出力されず、そのＰＣから発話音声が出力される。これにより、２階の寝室にいるユーザに、通知発話を確実に伝えることができる。
（その他の変形例）
　本実施の形態において、ホームエージェント機器（音声出力装置１２０）が、音声出力機器に決定された外部機器にヘッドホンやイヤホンが接続されていることを検知できるようにしてもよい。この場合、その外部機器とホームエージェント機器の両方から発話音声が出力されるようにする。
　ヘッドホンやイヤホンは外部に音声を放射できないので、ユーザが、その外部機器に接続されているヘッドホンやイヤホンを装着していない場合であっても、上述した構成により、通知発話を確実にユーザに伝えることができる。
　発話の冒頭に効果音を付与するようにしてもよい。この場合、外部機器からもその効果音が出力されるようにして、ホームエージェント機器の通知発話が出力されることをユーザに認識させるようにする。
　ホームエージェント機器からの音声出力時と、外部機器からの音声出力時とで、通知発話テキストの内容を変えるようにしてもよい。
　例えば、ホームエージェント機器本体の状態を通知する場合、ホームエージェント機器本体から出力される発話を「アップデートを行います」とし、外部機器から出力される発話を「ホームエージェント機器のアップデートを行います」とする。
　また、ユーザの位置に応じて追加の情報を提供する場合、ホームエージェント機器本体から出力される発話を「画面を見てください」とし、外部機器から出力される発話を「ホームエージェント機器の前にある画面を見てください」とする。このとき、ホームエージェント機器が備えるプロジェクタで追加の情報が投影されるようにする。
　外部機器が備えるカメラにより撮像された画像からユーザの位置が検出されなかった場合、その外部機器全てから発話音声が出力されるようにしてもよい。
　騒音レベルが非常に大きく、聞き取り難さスコアが一定の値を超える場合、音声以外の手段で通知情報の提示が行われるようにしてもよい。例えば、ホームエージェント機器が備える視覚提示デバイスや、外部機器としてのテレビジョン受像機などの画面に、通知メッセージのテキストが表示されるようにする。また、外部機器がスマートフォンである場合には、そのバイブレーション機能により通知が行われるようにしてもよい。
　特に緊急性の高い通知は、ユーザの声やジェスチャーによる了解行動が検知されるまで、音声出力装置１２０の聞き取り難さスコアＳｕを高くして決定された特性の音声で、発話が繰り返し行われるようにしてもよい。さらに、了解行動が検知されない場合には、聞き取り難さスコアＳｅの低い外部機器から順番に、発話が行われるようにしてもよい。
＜４．第３の実施の形態＞
　本技術は、クラウドコンピューティングへ適用することもできる。
　例えば、図１４に示されるように、音声出力装置１２０は、自装置や外部機器１３０のセンシングにより得られた音声データおよび画像データを、クラウド２００上のサーバに送信する。
　クラウド２００上のサーバにおいては、上述した実施の形態と同様にして、聞き取り難さスコア（聞き取り難さを示す情報）が算出される。算出された聞き取り難さスコアは、音声出力装置１２０に送信される。
　音声出力装置１２０は、クラウド２００上のサーバからの聞き取り難さスコアを用いて、上述した実施の形態と同様にして、音声パラメータの生成以降の処理を行う。
（サーバの機能構成例）
　図１５は、本技術を適用した第３の実施の形態のサーバの機能構成例を示している。
　図１５に示されるように、音声出力装置１２０は、ネットワーク２１０を介して、サーバ２２０と接続される。
　サーバ２２０は、騒音検出処理部５２、画像認識エンジン５４、聞き取り難さ推定部５５、および通信部２５１を備えている。
　通信部２５１は、音声出力装置１２０からネットワーク２１０を介して送信されてくる音声データおよび画像データを受信する。
　騒音検出処理部５２、画像認識エンジン５４、および聞き取り難さ推定部５５によって行われる処理は、いわゆるＷｅｂＡＰＩ化された処理となる。この処理により、音声出力装置１２０からの音声データおよび画像データに基づいて、音声出力装置１２０および外部機器１３０の聞き取り難さを示す情報が算出され、出力される。
　通信部２５１は、聞き取り難さを示す情報を、ネットワーク２１０を介して音声出力装置１２０に送信する。
　ここで、聞き取り難さを示す情報は、各機器の聞き取り難さスコアの他、ユーザの位置での騒音レベル、ユーザからみた各機器と騒音源との角度差、および、各機器とユーザとの距離それぞれを表すパラメータの少なくともいずれかを含むものとする。
　図１６は、ＷｅｂＡＰＩ処理結果として得られる聞き取り難さを示す情報の例を示している。
　図１６の例では、２つの騒音源と２つの外部機器が存在する場合の聞き取り難さを示す情報が、ＪＳＯＮ（JavaScript Object Notation）形式で記述されている。
　データ３１１乃至３１４は、ホームエージェント機器からの音声の聞き取り難さを示す情報を表している。
　データ３１１は、ホームエージェント機器の聞き取り難さスコアＳｕを示しており、その値は４．０５とされる。
　データ３１２は、ホームエージェント機器とユーザとの距離Ｄｓｕを示しており、その値は５（ｍ）とされる。
　データ３１３は、ユーザの位置での第１の騒音源の騒音レベルＮｕ１、および、ユーザからみたホームエージェント機器と第１の騒音源との角度差θｕ１を示しており、その値はそれぞれ０．８および２０（°）とされる。
　データ３１４は、ユーザの位置での第２の騒音源の騒音レベルＮｕ２、および、ユーザからみたホームエージェント機器と第２の騒音源との角度差θｕ２を示しており、その値はそれぞれ０．５および１３０（°）とされる。
　データ３２１乃至３２４は、第１の外部機器からの音声の聞き取り難さを示す情報を表している。
　データ３２１は、第１の外部機器の聞き取り難さスコアＳｅ１を示しており、その値は１．３５とされる。
　データ３２２は、第１の外部機器とユーザとの距離Ｄｅｕを示しており、その値は３（ｍ）とされる。
　データ３２３は、ユーザの位置での第１の騒音源の騒音レベルＮｕ１、および、ユーザからみた第１の外部機器と第１の騒音源との角度差θｅ１を示しており、その値はそれぞれ０．８および３０（°）とされる。
　データ３２４は、ユーザの位置での第２の騒音源の騒音レベルＮｕ２、および、ユーザからみた第１の外部機器と第２の騒音源との角度差θｅ２を示しており、その値はそれぞれ０．５および１１０（°）とされる。
　データ３３１乃至３３４は、第２の外部機器からの音声の聞き取り難さを示す情報を表している。
　データ３３１は、第２の外部機器の聞き取り難さスコアＳｅ２を示しており、その値は６．２８とされる。
　データ３３２は、第２の外部機器とユーザとの距離Ｄｅｕを示しており、その値は８（ｍ）とされる。
　データ３３３は、ユーザの位置での第１の騒音源の騒音レベルＮｕ１、および、ユーザからみた第２の外部機器と第１の騒音源との角度差θｅ２を示しており、その値はそれぞれ０．８および７０（°）とされる。
　データ３３４は、ユーザの位置での第２の騒音源の騒音レベルＮｕ２、および、ユーザからみた第２の外部機器と第２の騒音源との角度差θｅ２を示しており、その値はそれぞれ０．５および１０（°）とされる。
　以上のような処理結果が、音声出力装置１２０に返されることで、音声出力装置１２０または外部機器１３０のいずれかが、音声出力機器に決定されて音声を出力する。
　図１６の例においては、ユーザとの距離が最も近く、聞き取り難さスコアが最も小さい第１の外部機器が、音声出力機器に決定されると考えられる。
＜５．その他＞
　以上においては、本技術を、家庭内で利用されるホームエージェント機器に適用した例について説明したが、屋外で利用される機器に適用されるようにしてもよい。
　具体的には、本技術を、屋外において特定の人に対して音声を出力する機器に適用することができる。
　例えば、本技術をデジタルサイネージに適用した場合、その周囲の騒音状況と、通行人やそのデジタルサイネージを立ち止まって見ている人の位置とに応じて、合成音声の特性を適応的に制御することできる。
　また、本技術を携帯型の自動翻訳機に適用した場合、相手に確実に聞こえるように、翻訳された合成音声を出力することができる。
　さらに、本技術をインターホンの室外機に適用した場合、音声合成は用いないものの、相手の周囲の騒音状況と、相手の位置とに応じて、高域強調と音量とを適応的に調整することができる。
　なお、屋内においては、特定の方向からの入力音声ではない、雑踏による騒音が大きい。このため、仮想的な騒音源として、ユーザの位置での騒音レベルを、騒音検出処理部５２による音源分離により細分化された各方向の音声成分のレベルの最小値とし、騒音源の方向を、音声出力機器本体と同じ方向としたものを追加する。これにより、雑踏の騒音による聞き取り難さを考慮した音声出力制御を行うことができる。
　具体的には、図４において、角度差θｕを０°とし、騒音レベルＮｕを音声出力機器の位置で観測された各方向の騒音レベルの最小値とした騒音源を、雑踏による騒音の騒音源として追加することで、ユーザの位置での聞き取り難さスコアＳｕを算出する。
　また、屋外においては、緊急車両のサイレンや、街頭での宣伝・演説など、特定の方向からの騒音も存在する。屋外では、家庭内と比較して、カメラが撮像した画像によって騒音源までの距離を検出することが難しいことが想定される。そこで、屋外では、家庭内と比較して、騒音源が遠い位置にあることを踏まえて、音声出力機器から騒音源までの距離Ｄｎｓが検出されなかった場合、騒音源までの距離Ｄｎｓを無限遠と仮定する。この場合、図４において、θｕ＝１８０°－θｓ，Ｎｕ＝Ｎｓとして、ユーザの位置での聞き取り難さスコアＳｕを算出する。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は以下のような構成をとることができる。
（１）
　ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報を出力する処理部
　を備える情報処理装置。
（２）
　前記処理部は、前記情報として、前記ユーザの位置での騒音レベル、前記ユーザからみた前記機器と前記騒音源との角度差、および、前記機器と前記ユーザとの距離を用いて算出される聞き取り難さスコアを出力する
　（１）に記載の情報処理装置。
（３）
　前記処理部は、前記情報として、前記ユーザの位置での騒音レベル、前記ユーザからみた前記機器と前記騒音源との角度差、および、前記機器と前記ユーザとの距離それぞれを表すパラメータを出力する
　（１）に記載の情報処理装置。
（４）
　前記処理部は、前記情報として、前記ユーザの位置での騒音レベル、前記ユーザからみた前記機器と前記騒音源との角度差、および、前記機器と前記ユーザとの距離それぞれを表すパラメータ、並びに、それらを用いて算出される聞き取り難さスコアの少なくともいずれかを出力する
　（１）に記載の情報処理装置。
（５）
　前記処理部は、前記騒音源が複数ある場合、前記騒音源毎に、前記ユーザの位置での騒音レベル、および、前記ユーザからみた前記機器と前記騒音源との角度差を算出する
　（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記処理部は、前記機器に接続された音声出力可能な他の機器の位置に基づいて、前記ユーザの位置での前記他の機器からの音声の聞き取り難さを示す他の情報をさらに出力する
　（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記機器として、前記ユーザに向けて音声を出力するように構成される
　（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記ユーザの位置での音声の聞き取り難さを示す前記情報を用いて、前記ユーザに向けて出力される音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する音声出力制御部をさらに備える
　（７）に記載の情報処理装置。
（９）
　前記音声出力制御部は、前記パラメータにより決定される前記音声の音量が、出力可能な音量の上限を超える場合、前記機器に接続された音声出力可能な他の機器を、前記音声を出力する音声出力機器に決定する
　（８）に記載の情報処理装置。
（１０）
　前記音声出力制御部は、前記ユーザによる前記他の機器の使用状況に基づいて、前記他の機器を、前記音声出力機器に決定する
　（９）に記載の情報処理装置。
（１１）
　前記音声出力制御部は、前記ユーザとの距離がより近い前記他の機器を、前記音声出力機器に決定する
　（９）に記載の情報処理装置。
（１２）
　前記音声出力制御部は、前記ユーザからみた前記騒音源との角度差がより大きい前記他の機器を、前記音声出力機器に決定する
　（９）に記載の情報処理装置。
（１３）
　ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報を出力する
　ステップを含む情報処理方法。
（１４）
　自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する音声出力制御部
　を備える音声出力装置。
（１５）
　前記情報は、前記ユーザの位置での騒音レベル、前記ユーザからみた前記自装置と前記騒音源との角度差、および前記自装置と前記ユーザとの距離を用いて算出される聞き取り難さスコアである
　（１４）に記載の音声出力装置。
（１６）
　前記情報は、前記ユーザの位置での騒音レベル、前記ユーザからみた前記自装置と前記騒音源との角度差、および、前記自装置と前記ユーザとの距離それぞれを表すパラメータである
　（１４）に記載の音声出力装置。
（１７）
　前記情報は、前記ユーザの位置での騒音レベル、前記ユーザからみた前記自装置と前記騒音源との角度差、および、前記自装置と前記ユーザとの距離それぞれを表すパラメータ、並びに、それらを用いて算出される聞き取り難さスコアの少なくともいずれかである
　（１４）に記載の音声出力装置。
（１８）
　自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される前記音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する
　ステップを含む音声出力方法。
　２０　音声出力装置，　５１　音声入力デバイス，　５２　騒音検出処理部，　５３　センサデバイス，　５４　画像認識エンジン，　５５　聞き取り難さ推定部，　５６　音声出力制御部，　５７　通知発話テキスト，　５８　音声合成エンジン，　５９　出力音声信号処理部，　６０　音声再生デバイス，　１２０　音声出力装置，　１３０　外部機器，　２００　クラウド，　２１０　ネットワーク，　２２０　サーバ

Claims (18)

  1. 　ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報を出力する処理部
    　を備える情報処理装置。
  2. 　前記処理部は、前記情報として、前記ユーザの位置での騒音レベル、前記ユーザからみた前記機器と前記騒音源との角度差、および、前記機器と前記ユーザとの距離を用いて算出される聞き取り難さスコアを出力する
    　請求項１に記載の情報処理装置。
  3. 　前記処理部は、前記情報として、前記ユーザの位置での騒音レベル、前記ユーザからみた前記機器と前記騒音源との角度差、および、前記機器と前記ユーザとの距離それぞれを表すパラメータを出力する
    　請求項１に記載の情報処理装置。
  4. 　前記処理部は、前記情報として、前記ユーザの位置での騒音レベル、前記ユーザからみた前記機器と前記騒音源との角度差、および、前記機器と前記ユーザとの距離それぞれを表すパラメータ、並びに、それらを用いて算出される聞き取り難さスコアの少なくともいずれかを出力する
    　請求項１に記載の情報処理装置。
  5. 　前記処理部は、前記騒音源が複数ある場合、前記騒音源毎に、前記ユーザの位置での騒音レベル、および、前記ユーザからみた前記機器と前記騒音源との角度差を算出する
    　請求項２に記載の情報処理装置。
  6. 　前記処理部は、前記機器に接続された音声出力可能な他の機器の位置に基づいて、前記ユーザの位置での前記他の機器からの音声の聞き取り難さを示す他の情報をさらに出力する
    　請求項１に記載の情報処理装置。
  7. 　前記機器として、前記ユーザに向けて音声を出力するように構成される
    　請求項１に記載の情報処理装置。
  8. 　前記ユーザの位置での音声の聞き取り難さを示す前記情報を用いて、前記ユーザに向けて出力される音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する音声出力制御部をさらに備える
    　請求項７に記載の情報処理装置。
  9. 　前記音声出力制御部は、前記パラメータにより決定される前記音声の音量が、出力可能な音量の上限を超える場合、前記機器に接続された音声出力可能な他の機器を、前記音声を出力する音声出力機器に決定する
    　請求項８に記載の情報処理装置。
  10. 　前記音声出力制御部は、前記ユーザによる前記他の機器の使用状況に基づいて、前記他の機器を、前記音声出力機器に決定する
    　請求項９に記載の情報処理装置。
  11. 　前記音声出力制御部は、前記ユーザとの距離がより近い前記他の機器を、前記音声出力機器に決定する
    　請求項９に記載の情報処理装置。
  12. 　前記音声出力制御部は、前記ユーザからみた前記騒音源との角度差がより大きい前記他の機器を、前記音声出力機器に決定する
    　請求項９に記載の情報処理装置。
  13. 　ユーザに向けて音声出力可能な機器において取得された画像と所定の騒音源からの騒音とに基づいて、前記ユーザの位置での前記機器からの音声の聞き取り難さを示す情報を出力する
    　ステップを含む情報処理方法。
  14. 　自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する音声出力制御部
    　を備える音声出力装置。
  15. 　前記情報は、前記ユーザの位置での騒音レベル、前記ユーザからみた前記自装置と前記騒音源との角度差、および前記自装置と前記ユーザとの距離を用いて算出される聞き取り難さスコアである
    　請求項１４に記載の音声出力装置。
  16. 　前記情報は、前記ユーザの位置での騒音レベル、前記ユーザからみた前記自装置と前記騒音源との角度差、および、前記自装置と前記ユーザとの距離それぞれを表すパラメータである
    　請求項１４に記載の音声出力装置。
  17. 　前記情報は、前記ユーザの位置での騒音レベル、前記ユーザからみた前記自装置と前記騒音源との角度差、および、前記自装置と前記ユーザとの距離それぞれを表すパラメータ、並びに、それらを用いて算出される聞き取り難さスコアの少なくともいずれかである
    　請求項１４に記載の音声出力装置。
  18. 　自装置において取得された画像と所定の騒音源からの騒音とに基づいて生成された、ユーザの位置での前記自装置からの音声の聞き取り難さを示す情報を用いて、前記ユーザに向けて出力される前記音声の特性を決定するパラメータを生成することで、前記音声の出力を制御する
    　ステップを含む音声出力方法。
PCT/JP2018/014200 2017-04-17 2018-04-03 情報処理装置、情報処理方法、音声出力装置、および音声出力方法 WO2018193826A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18788090.1A EP3614692A4 (en) 2017-04-17 2018-04-03 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, VOICE OUTPUT DEVICE AND VOICE OUTPUT METHOD
JP2019513538A JP6977768B2 (ja) 2017-04-17 2018-04-03 情報処理装置、情報処理方法、音声出力装置、および音声出力方法
US16/492,249 US11232781B2 (en) 2017-04-17 2018-04-03 Information processing device, information processing method, voice output device, and voice output method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017081035 2017-04-17
JP2017-081035 2017-04-17

Publications (1)

Publication Number Publication Date
WO2018193826A1 true WO2018193826A1 (ja) 2018-10-25

Family

ID=63855785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014200 WO2018193826A1 (ja) 2017-04-17 2018-04-03 情報処理装置、情報処理方法、音声出力装置、および音声出力方法

Country Status (4)

Country Link
US (1) US11232781B2 (ja)
EP (1) EP3614692A4 (ja)
JP (1) JP6977768B2 (ja)
WO (1) WO2018193826A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116054A1 (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 信号処理装置及び信号処理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420567B1 (ko) * 2017-12-19 2022-07-13 삼성전자주식회사 음성 인식 장치 및 방법
US11043204B2 (en) * 2019-03-18 2021-06-22 Servicenow, Inc. Adaptable audio notifications
JP7382261B2 (ja) * 2020-03-19 2023-11-16 株式会社日立製作所 情報処理装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154679A (ja) * 1999-11-30 2001-06-08 Sony Corp 音響信号出力制御装置および音響信号出力制御方法、並びに記録媒体
JP2009226169A (ja) 2008-03-25 2009-10-08 Olympus Medical Systems Corp 撮像システムおよび撮像システムのメンテナンス方法。
JP2010200280A (ja) * 2009-02-27 2010-09-09 Canon Inc 出力システム、出力制御装置、出力制御方法、及びプログラム
JP2012255852A (ja) * 2011-06-08 2012-12-27 Panasonic Corp テレビジョン装置
US20160301373A1 (en) * 2015-04-08 2016-10-13 Google Inc. Dynamic Volume Adjustment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9224395B2 (en) * 2008-07-02 2015-12-29 Franklin S. Felber Voice detection for automatic volume controls and voice sensors
US10147439B1 (en) * 2017-03-30 2018-12-04 Amazon Technologies, Inc. Volume adjustment for listening environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154679A (ja) * 1999-11-30 2001-06-08 Sony Corp 音響信号出力制御装置および音響信号出力制御方法、並びに記録媒体
JP2009226169A (ja) 2008-03-25 2009-10-08 Olympus Medical Systems Corp 撮像システムおよび撮像システムのメンテナンス方法。
JP2010200280A (ja) * 2009-02-27 2010-09-09 Canon Inc 出力システム、出力制御装置、出力制御方法、及びプログラム
JP2012255852A (ja) * 2011-06-08 2012-12-27 Panasonic Corp テレビジョン装置
US20160301373A1 (en) * 2015-04-08 2016-10-13 Google Inc. Dynamic Volume Adjustment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116054A1 (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 信号処理装置及び信号処理方法
JP2020092358A (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 信号処理装置及び信号処理方法
US11212613B2 (en) * 2018-12-06 2021-12-28 Panasonic Intellectual Property Management Co., Ltd. Signal processing device and signal processing method
JP7194897B2 (ja) 2018-12-06 2022-12-23 パナソニックＩｐマネジメント株式会社 信号処理装置及び信号処理方法

Also Published As

Publication number Publication date
EP3614692A1 (en) 2020-02-26
EP3614692A4 (en) 2020-04-29
US11232781B2 (en) 2022-01-25
JP6977768B2 (ja) 2021-12-08
US20200051546A1 (en) 2020-02-13
JPWO2018193826A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
JP6977768B2 (ja) 情報処理装置、情報処理方法、音声出力装置、および音声出力方法
EP2715725B1 (en) Processing audio signals
JP2019518985A (ja) 分散したマイクロホンからの音声の処理
CN113905320B (zh) 为考虑语音检测而调节声音回放的方法和系统
WO2011158506A1 (ja) 補聴器、信号処理方法及びプログラム
US12003673B2 (en) Acoustic echo cancellation control for distributed audio devices
CN108235181B (zh) 在音频处理装置中降噪的方法
EP3777114B1 (en) Dynamically adjustable sidetone generation
JP2021511755A (ja) 音声認識オーディオシステムおよび方法
JP2023120182A (ja) オーディオデバイスのコーディネーション
CN109841223B (zh) 一种音频信号处理方法、智能终端及存储介质
CN115482830B (zh) 语音增强方法及相关设备
WO2022253003A1 (zh) 语音增强方法及相关设备
US20240323608A1 (en) Dynamics processing across devices with differing playback capabilities
WO2008075305A1 (en) Method and apparatus to address source of lombard speech
RU2818982C2 (ru) Управление акустической эхокомпенсацией для распределенных аудиоустройств
JP2019537071A (ja) 分散したマイクロホンからの音声の処理
US20230217201A1 (en) Audio filter effects via spatial transformations
US20240087597A1 (en) Source speech modification based on an input speech characteristic
WO2021239254A1 (en) A own voice detector of a hearing device
CN116783900A (zh) 基于子带域声学回声消除器的声学状态估计器
CN114187920A (zh) 一种头戴设备及其远场声音处理方法、装置及系统
KR20230113853A (ko) 오디오 소스 지향성에 기초한 심리음향 강화
CN115580678A (zh) 一种数据处理方法、装置和设备
JP2016019263A (ja) 音声通信装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18788090

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019513538

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018788090

Country of ref document: EP

Effective date: 20191118