WO2020054141A1 - 乗物の音声システム及び音声出力方法 - Google Patents

乗物の音声システム及び音声出力方法 Download PDF

Info

Publication number
WO2020054141A1
WO2020054141A1 PCT/JP2019/021572 JP2019021572W WO2020054141A1 WO 2020054141 A1 WO2020054141 A1 WO 2020054141A1 JP 2019021572 W JP2019021572 W JP 2019021572W WO 2020054141 A1 WO2020054141 A1 WO 2020054141A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
vehicle
sound
information
voice
Prior art date
Application number
PCT/JP2019/021572
Other languages
English (en)
French (fr)
Inventor
昌範 衣畑
大輔 河合
昭平 寺井
久之輔 河田
拡俊 志村
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to EP19861086.7A priority Critical patent/EP3852098A4/en
Priority to US17/269,149 priority patent/US11557275B2/en
Publication of WO2020054141A1 publication Critical patent/WO2020054141A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to an audio system and an audio output method for a vehicle that is driven while the driver is exposed to the outside of the vehicle.
  • the noise perceived by the driver during traveling is relatively large and the dynamic range of the noise is large.
  • a response delay occurs in voice generation because noise analysis processing and the like are required.
  • the output of the voice that is easy for the driver to hear may be delayed due to the delay of the voice output with respect to the acquisition of the noise.
  • an object of the present invention is to prevent voice incompatibility due to a response delay of voice generation with respect to noise, and to make it easier for a driver to hear voice.
  • a sound system for a vehicle is a sound system for a vehicle in which a driver drives in a state where the driver is exposed to the outside of the vehicle, and a noise estimation for estimating a future noise state based on information on a noise generation factor. And a voice control unit that changes the attribute of the voice output to the driver according to the estimated noise state.
  • the noise state is estimated based on the information on the noise generation factor, it is possible to predict the future noise state more predictably than in the case of detecting the noise itself. For this reason, even in a driver-exposed vehicle (open vehicle) in which the dynamic change in the noise state is severe, it is possible to prevent the incompatibility of the sound due to the response delay of the sound generation with respect to the noise. This makes it easier for the driver to hear the voice and to recognize the information represented by the voice.
  • the information regarding the noise generation factor may be information regarding a generation factor of at least one of a driving sound generated from the vehicle itself, a traveling sound generated by traveling of the vehicle, and an environmental sound generated around the vehicle.
  • the configuration it is possible to predictively estimate a state of noise based on a sound having a large influence as a noise generation factor in a vehicle of a driver-exposed type, and it is easier for a driver to hear than other types of noise.
  • the effect of the improvement can be enhanced.
  • the information on the noise generation factor may be information on a generation factor of a plurality of sounds among the driving sound, the traveling sound, and the environmental sound.
  • the configuration it is possible to predictively estimate a noise state based on a plurality of noise generating factors having a large influence as a noise generating factor in a driver-exposed vehicle, thereby improving the driver's audibility. Can be further increased.
  • the noise estimation unit may estimate a noise level based on information on the noise generation factor, and the audio control unit may change the attribute of the audio according to the estimated noise level.
  • the effect of improving the audibility of the driver can be enhanced by changing the attribute of the voice in consideration of the noise level that greatly affects the hearing of the driver by the driver.
  • the noise estimating unit estimates a future noise state based on a time change of the noise generation factor, and the voice control unit changes the attribute of the voice according to the estimated future noise level. Is also good.
  • the noise estimation unit may be configured to estimate the noise state based on operation information on a driver's vehicle operation.
  • the configuration it is possible to estimate a driving sound generated from the vehicle itself and a noise change of a running sound generated by traveling of the vehicle based on the operation information of the driver, and an influence of a delay on voice generation. Can be suppressed, and the effect of improving the driver's audibility can be enhanced.
  • the vehicle may further include a location noise obtaining unit that obtains noise generation information of a location where the vehicle travels, and the noise estimation unit may determine the noise state according to the noise generation information of the location.
  • the noise can be more appropriately estimated by considering the noise change caused by the location where the vehicle travels.
  • the sound control unit may determine a sentence length of the sound as the attribute according to the estimated noise state.
  • a sound output method for a vehicle is a sound output method for a vehicle that is driven in a state where the driver is exposed to the outside of the vehicle, and outputs the sound to the driver based on information about a noise generation factor. Change the attribute of the sound to be played.
  • voice incompatibility due to a response delay of voice generation for noise is prevented, and the driver can easily hear voice.
  • FIG. 1 is a block diagram of an audio system for a motorcycle according to an embodiment.
  • FIG. 1 is a block diagram of a sound system 1 for a motorcycle according to the embodiment.
  • the audio system 1 is suitable for a vehicle that is driven in a state where the driver is exposed to the outside (that is, a driver-exposed vehicle).
  • a motorcycle is illustrated as a preferred example of the vehicle. .
  • the audio system 1 includes the audio controller 2.
  • the audio controller 2 has a processor, a volatile memory, a nonvolatile memory, an I / O interface, and the like in terms of hardware, and a predetermined audio program is stored in the nonvolatile memory.
  • the voice controller 2 may be a control device mounted on a motorcycle, but in the present embodiment, the voice controller 2 is a portable information terminal (for example, a smartphone) attached to the motorcycle. That is, the processor, the volatile memory, the nonvolatile memory, the I / O interface, and the like of the audio controller 2 are built in the portable information terminal, and the audio program is installed in the portable information terminal.
  • the portable information terminal may be carried by a motorcycle driver, or may be installed in a motorcycle holder.
  • the voice input device 3 is connected to the input side of the voice controller 2, and the voice output device 4 is connected to the output side of the voice controller 2.
  • the audio input device 3 is, for example, a microphone.
  • the audio output device 4 is, for example, a speaker or an earphone.
  • the connection of the audio input device 3 and the audio output device 4 to the audio controller 2 may be a wireless connection (for example, Bluetooth (registered trademark)) or a wired connection.
  • the voice controller 2 includes a voice recognition unit 5, an information processing unit 6, and a voice generation unit 7 in terms of software.
  • the sound generator 7 is connected to a sound source data unit 8.
  • the voice recognition unit 5, the information processing unit 6, and the voice generation unit 7 are realized by the processor performing arithmetic processing using the volatile memory based on the voice program stored in the nonvolatile memory.
  • the voice recognition unit 5 recognizes the voice of the driver input from the voice input device 3 and digitizes the voice as text.
  • a publicly known speech recognition technology is used for the speech recognition of the speech recognition unit 5. That is, the speech recognition unit 5 converts the features (for example, frequency characteristics and the like) of the speech input from the speech input device 3 into phonemes by using the acoustic model, and outputs the language model (for example, a word dictionary or a grammar dictionary). To convert the combination of phonemes into text (input text).
  • the information processing unit 6 performs a predetermined process on the input text recognized by the voice recognition unit 5, and generates an output text (response text). For example, the information processing unit 6 provides a conversation function. Specifically, the information processing unit 6 performs a syntactic analysis on the input text and then performs a semantic analysis, and refers to a conversation engine having a rule for determining an output text for the input text, and determines a meaning of the input text. Output the optimal output text.
  • the information processing unit 6 performs predetermined processing on vehicle information based on information of sensors mounted on the vehicle in addition to CAN information described later or CAN information, position information of the GPS sensor 14 and the like, navigation information, map information, weather information, and the like. And the output text may be generated prior to the driver's utterance. As described above, the sound generation timing by the information processing unit 6 may be realized by an arbitrary predetermined timing.
  • FIG. 1 illustrates a mode in which the information processing unit 6 is realized by the voice controller 2
  • the information processing unit 6 is connected to an external computer (server) connected to the voice controller 2 via a communication network (for example, the Internet). It may be realized. That is, the input text recognized by the voice recognition unit 5 is transmitted to the external computer via the communication network, and the external computer performs predetermined processing to generate the output text, and the generated output text May be transmitted to the voice controller 2 via the communication network and input to the voice generation unit 7.
  • the voice recognition unit 5 and / or the voice generation unit 7 may be realized by the voice controller 2 or may be realized by an external computer.
  • the sound generation unit 7 converts the output text input from the information processing unit 6 into sound to generate sound, and causes the sound output unit 4 to output the generated sound.
  • a response voice output voice
  • a response delay may occur in voice generation by analyzing and comprehending the content of voice input from the driver, or searching and extracting appropriate information to be output as voice.
  • the voice controller 2 has a function for making it easy for the driver to recognize the voice and / or the information represented by the voice.
  • the audio controller 2 is connected to a vehicle control device (ECU) (not shown) mounted on the motorcycle via the I / O interface so as to be able to communicate information.
  • a wireless transceiver is provided for each of the I / O interface of the voice controller 2 and the vehicle control device, and the voice controller 2 and the vehicle control device exchange information with each other via the wireless transceiver. Can send and receive.
  • the voice controller 2 can obtain, via the wireless transceiver, detection values of various sensors provided on the motorcycle and operation command values of actuators provided on the motorcycle.
  • various electrical components (including actuators, sensors, and control devices) mounted on the motorcycle are connected by a bus connection circuit according to the CAN communication standard, which is an in-vehicle communication network.
  • the wireless transceiver mounted on the motorcycle is connected via the bus connection circuit.
  • CAN information which is information transmitted and received by the bus connection circuit of the motorcycle, can also be transmitted to the audio controller 2.
  • the wireless transceivers can transmit and receive information to and from each other by being configured according to a standard conforming to Bluetooth (registered trademark).
  • the accelerator controller 11, the engine speed sensor 12, the vehicle speed sensor 13, the GPS sensor 14, the map information database 15, and the weather information acquisition unit 16 are connected to the input side of the voice controller 2.
  • the accelerator sensor 11, the engine speed sensor 12, and the vehicle speed sensor 13 are mounted on a motorcycle, and are connected to the voice controller 2 via CAN.
  • the GPS sensor 14 may be mounted on a motorcycle or may be mounted on a portable information terminal (voice controller 2).
  • the map information database 15 and the weather information acquisition device 16 may be provided in a motorcycle, may be provided in a portable information terminal (voice controller 2), or may be an external device connected via the communication network. It may be provided in a computer.
  • the accelerator sensor 11 detects an operation amount of an accelerator of a motorcycle operated by a driver. That is, the accelerator sensor 11 detects the accelerator operation amount as operation information regarding the driver's vehicle operation.
  • the engine rotation speed sensor 12 detects the rotation speed of the engine of the motorcycle. When the motor of the motorcycle is an electric motor, the engine rotation speed sensor 12 may be a rotation speed sensor that detects the rotation speed of the electric motor, or the voice controller 2 refers to a detection signal of the rotation speed sensor. It may not be.
  • the vehicle speed sensor 13 detects the traveling speed of the motorcycle, and detects, for example, the rotation speed of the driven wheel of the motorcycle.
  • the ⁇ ⁇ ⁇ GPS sensor 14 detects the position of the motorcycle using GPS (Global Positioning System).
  • the map information database 15 has map information and information indicating the relationship between the position on the map and the existence of noise-related objects (for example, highways, tunnels, cobblestones, gravel roads, and the like).
  • the weather information acquiring unit 16 acquires weather information indicating a relationship between a position on a map and a weather type from an external information source (for example, a weather information server) via a communication network.
  • the voice controller 2 further includes a location noise acquisition unit 17, a noise estimation unit 18, and a voice control unit 19 in terms of software.
  • the location noise obtaining unit 17, the noise estimating unit 18, and the voice control unit 19 are realized by the processor performing arithmetic processing using the volatile memory based on the voice program stored in the nonvolatile memory.
  • the location noise obtaining unit 17 obtains noise generation information of a location where the motorcycle runs based on information received from the GPS sensor 14, the map information database 15, and the weather information obtaining unit 16. For example, the location noise acquisition unit 17 compares the vehicle position detected by the GPS sensor 14 with the map information database 15 so that the noise-related object is located on the map and on the path from the vehicle position. Determine if it exists. When it is determined that the noise-related object is present, the location noise obtaining unit 17 determines a noise state (for example, a noise level) caused by the noise-related object (for example, an expressway, a tunnel, a cobblestone, a gravel road, and the like). And frequency characteristics) based on a predetermined rule (for example, a correspondence table or the like) and output to the noise estimating unit 18.
  • a noise state for example, a noise level
  • the noise-related object for example, an expressway, a tunnel, a cobblestone, a gravel road, and the like.
  • frequency characteristics based on a pre
  • the noise estimating unit 18 is based on the information on the generation factors of the driving noise generated from the motorcycle itself, the generation factors of the traveling sound generated by the running of the motorcycle, and the generation factors of the environmental sound generated around the motorcycle. And the state of noise (eg, level and frequency characteristics) felt by the driver of the motorcycle.
  • the noise generation factor means a factor that affects the generation of the noise, not the detected noise itself.
  • ⁇ ⁇ Factors that cause the drive noise generated by the motorcycle itself include an increase in the amount of accelerator operation by the driver, an increase in the engine speed, and the like.
  • the cause of the running noise generated by the running of the motorcycle includes an increase in the running speed of the motorcycle.
  • the cause of the environmental sound generated around the motorcycle is a change in the surrounding environment of the motorcycle, such as a change in road surface conditions (for example, cobblestones, gravel roads, etc.), the presence of a tunnel or a highway, and other traveling around the motorcycle. Vehicle sounds, rain sounds, and the like.
  • the noise estimation unit 18 estimates a noise state based on information output from the accelerator sensor 11, the engine rotation speed sensor 12, the vehicle speed sensor 13, and the location noise acquisition unit 17.
  • the noise estimating unit 18 refers to the time change (increase or decrease) of the accelerator operation amount detected by the accelerator sensor 11, so that the vehicle drive sound (for example, engine intake sound, combustion explosion sound, (E.g., exhaust noise, gear collision noise, vehicle body vibration noise caused by engine vibration) will increase or decrease, or will the running noise (wind noise) generated by the motorcycle running in the near future increase or decrease? May be estimated. That is, the noise estimating unit 18 can estimate in advance noise changes such as a driving sound generated from the motorcycle itself and a running sound generated by running the motorcycle based on the operation information of the driver.
  • the vehicle drive sound for example, engine intake sound, combustion explosion sound, (E.g., exhaust noise, gear collision noise, vehicle body vibration noise caused by engine vibration) will increase or decrease, or will the running noise (wind noise) generated by the motorcycle running in the near future increase or decrease? May
  • the vehicle driving sound is a sound generated from the vehicle itself even when the engine is running, even when the vehicle is stopped, and is generally proportional to the engine speed. Therefore, the noise estimating unit 18 determines the current engine speed from the engine speed detected by the engine speed sensor 12 based on a predetermined rule (for example, a table describing the correspondence between the engine speed and the drive sound). May be estimated. Specifically, the noise estimation unit 18 may increase the estimated noise level as the engine speed increases.
  • a predetermined rule for example, a table describing the correspondence between the engine speed and the drive sound.
  • the running noise (wind noise, road noise, vehicle vibration noise caused by running vibration, etc.) generated by the running of the motorcycle is a sound that is generated even when the engine is stopped while the motorcycle is running, and is generally the running speed of the motorcycle. Is proportional to Therefore, the noise estimation unit 18 estimates the current traveling sound from the traveling speed detected by the vehicle speed sensor 13 based on a predetermined rule (for example, a table describing the correspondence between the traveling speed and the traveling sound). You may. Specifically, the noise estimation unit 18 may increase the estimated noise level as the traveling speed of the motorcycle increases.
  • the environmental sound generated around the motorcycle is a sound generated due to a change in the surrounding environment of the motorcycle. Therefore, the noise estimating unit 18 may estimate the environmental sound based on information on the surrounding environment (for example, road surface conditions, existence of a tunnel or an expressway, sounds of other vehicles traveling around, rain sounds, and the like). Specifically, the noise estimation unit 18 may increase the noise level to be estimated as the surrounding environment changes so that the environmental sound tends to increase.
  • the surrounding environment for example, road surface conditions, existence of a tunnel or an expressway, sounds of other vehicles traveling around, rain sounds, and the like.
  • the voice control unit 19 changes the attribute of the voice generated by the voice generation unit 7 according to the noise state estimated by the noise estimation unit 18.
  • the attributes of the sound include a frequency characteristic, a sentence length, a sound output timing by the sound output device 4, and the like.
  • the audio controller 19 determines the frequency characteristics of the audio to be generated by the audio generator 7 (e.g., pitch, sound length (speed), Tone, etc.) and adjusts to a voice that is easy for the driver to hear based on the Lombard effect. Further, the voice control unit 19 changes the frequency characteristics of the voice generated by the voice generation unit 7 in accordance with the frequency characteristics of the noise estimated by the noise estimation unit 18 and adjusts the frequency characteristics so that the driver can easily hear the voice. Is also good.
  • the frequency characteristics of the audio to be generated by the audio generator 7 e.g., pitch, sound length (speed), Tone, etc.
  • the voice control unit 19 may adjust the sentence length of the voice generated by the voice generation unit 7 as the noise level estimated by the noise estimation unit 18 increases. This makes it easier for the driver to recognize the meaning of the voice than when the sentence length of the voice is long. Further, when the noise estimating unit 18 predicts a sharp rise in the noise level, the voice control unit 19 may suppress the voice output until predicting a decrease in the noise level. As a result, the sound output in a state where the noise level is high is suppressed, so that oversight can be prevented.
  • the sound control unit 19 may change the output timing of the sound when the noise level estimated by the noise estimation unit 18 becomes larger than a predetermined value. That is, when the noise level estimated by the noise estimation unit 18 becomes larger than the predetermined value, the audio control unit 19 suspends the output of the audio from the audio output unit 4 to the audio generation unit 7, and the location noise acquisition unit 17. Specifying a point in time when the noise level is predicted to be less than the predetermined value in the near future based on the information obtained in step (1), and when the point is reached, causes the sound output unit 4 to output the sound held by the sound output unit 4. You may do so. According to this, the driver can easily recognize the voice while maintaining the sound quality in a natural state.
  • the predetermined value may be changed according to the importance of the output voice. That is, when the importance of the output voice is low, the predetermined value is increased (the threshold is relaxed), and when the importance of the output voice is high, the predetermined value is reduced (the threshold is reduced). The predetermined value may be changed so as to be stricter.
  • the noise state is estimated based on the information on the noise generation factor, the noise state can be predicted more than in the case where the noise itself is detected. Therefore, even in a motorcycle or the like in which the dynamic change in the noise state is severe, it is possible to prevent the incompatibility of the sound due to the delay in the response of the sound generation to the noise. This makes it easier for the driver to hear the voice and to easily recognize the information represented by the voice. Also, since the noise level is estimated based on information about the noise generation factors instead of actually measuring the noise level itself, even if there is no sound collection sensor for actually measuring the noise, the driver can easily hear the voice information. Can be.
  • a future change in the noise state is estimated based on the information on the noise generation factor.
  • the attribute of the sound may be changed based on a future temporal change of the estimated noise state. For example, when it is estimated that the future noise state after the sound generation will increase due to a response delay of the sound generation, the attribute of the sound is changed in consideration of the delay so that the sound is easy to hear.
  • the response time for generating the sound generation is grasped in advance (for example, preset or measured), and when the increase width of the estimated noise per unit time exceeds a predetermined increase threshold,
  • the noise attribute after the response time has elapsed may be estimated to increase, and the audio attribute may be changed so as to increase the level of the output audio so that the user can easily hear the noise even if there is noise. If the estimated reduction in noise per unit time exceeds a predetermined reduction threshold, it is estimated that the noise after the response time has elapsed will be small, and the level of the output sound will be easy to hear even if there is noise. May be changed to lower the voice attribute.
  • the information on the noise generation factor may be information that causes a temporal noise change that affects the audibility of the output sound by the driver.
  • the driver's operation amount as information on the noise generation factor, it is possible to predict the noise change before the noise change affects the actual audibility.
  • the noise change is predicted before the change occurs as noise (particularly vehicle driving sound).
  • the voice attribute can be changed according to the prediction.
  • the driver's operation amount information on the time change of operation start / operation end / operation such as brake operation, clutch operation, gear operation, etc., in addition to the accelerator operation amount, can be used for noise estimation. These also make it easy to predict the noise change after the operation and change the voice attribute.
  • the operation amounts of these drivers can be detected by existing sensors provided in the vehicle.
  • the time change of the vehicle state as information on the noise generation factor, it is possible to predict the noise change before the noise change affects the actual audibility.
  • the vehicle state for example, a time change of the engine speed can be used. When the temporal change of the engine speed suddenly rises and exceeds a predetermined value, it is possible to predict a sudden rise in noise (particularly vehicle driving sound and running sound). In this way, a sudden noise change may be predicted, and the voice attribute may be changed according to the prediction.
  • the time change of the vehicle state in addition to the time change of the engine speed, the time change of the throttle opening, the vehicle speed, the front wheel speed, the rear wheel speed, the acceleration / deceleration, the gear ratio, etc., that is, the time differential value can be used. it can. With these, it is also possible to predict the noise change and change the voice attribute.
  • vehicle states can be detected by existing sensors provided on the vehicle.
  • a future noise change may be predicted based on the traveling route, the traveling speed, and the road surface condition stored in advance, and the attribute of the output sound may be changed according to the prediction.
  • the attribute of the output sound may be changed according to the predicted noise change.
  • the noise especially the environmental sound
  • the attribute of the output sound may be changed so that it is easy to hear.
  • the attribute of the output sound may be changed in accordance with the prediction, for example, when a change in the weather, for example, future rainy weather running is predicted.
  • the future sounds of the driving sound, the running sound, and the environmental sound are predicted based on the noise generation factors, and the attribute of the output sound is changed based on the predicted noise.
  • the attribute of the output sound may be changed based on at least one of the environmental sound and the environmental sound.
  • the attribute of the output sound is changed based on the noise generation factors of a plurality of sounds among the driving sound, the running sound, and the environmental sound, so that the sound attribute can be comprehensively changed based on the noise.
  • the sound attribute is changed based on the noise level.
  • the case where the sound attribute is changed based on a sound index other than the sound level is also included in the present invention.
  • the motorcycle may further include a sound collection sensor that measures a noise level.
  • a sound collection sensor that measures a noise level.
  • the voice controller 2 only needs to be able to generate voice for transmitting information to the driver when a predetermined condition is satisfied. If not present, it is included in the present invention.
  • a driver-exposed vehicle means a vehicle in which at least the driver's head is not covered by the body of the vehicle body.
  • the present invention can be suitably applied to buggy vehicles, small planing boats, snowmobiles, boats, open cars, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

乗物の音声システムは、運転者が乗物外部に露出した状態で運転する乗物の音声システムであって、騒音発生要因に関する情報に基づいて将来の騒音状態を推定する騒音推定部と、前記推定された騒音状態に応じて、運転者に向けて出力する音声の属性を変更する音声制御部と、を備える。

Description

乗物の音声システム及び音声出力方法
　本発明は、運転者が車両外部に露出した状態で運転する乗物の音声システム及び音声出力方法に関する。
　運転者に対する各種案内を音声で行うシステムにおいて、周囲の騒音レベルを実測し、その入力された騒音の周波数特性に応じて特定の周波数を強調した音声を生成することが提案されている（例えば、特許文献１参照）。
特開２０１５－２１５５２８号公報
　しかし、運転者が車両外部に露出した状態で運転する車両、たとえば自動二輪車では、走行中に運転者が感じる騒音は比較的大きく、騒音の動的変化幅も激しい。騒音を実測する方法では、騒音の分析処理等が必要であるために音声生成に応答遅れが生じる。騒音の動的変化が激しい場合には、騒音取得に対する音声出力の遅延が生じることによって、運転者が聞き取りやすい音声の出力が遅れる場合がある。
　そこで本発明は、騒音に対する音声生成の応答遅れによる音声不適合を防止し、運転者が音声を聞き取りやすくすることを目的とする。
　本発明の一態様に係る乗物の音声システムは、運転者が乗物外部に露出した状態で運転する乗物の音声システムであって、騒音発生要因に関する情報に基づいて将来の騒音状態を推定する騒音推定部と、前記推定された騒音状態に応じて、運転者に向けて出力する音声の属性を変更する音声制御部と、を備える。
　前記構成によれば、騒音発生要因に関する情報に基づいて騒音状態を推定するので、騒音自体を検出する場合に比べて、将来の騒音状態を予測的に知ることができる。そのため、騒音状態の動的変化が激しい運転者露出型の乗物（開放乗物）においても、騒音に対する音声生成の応答遅れによる音声不適合を防止できる。これによって、運転者が音声を聞き取り易くしたり、音声が表す情報を認識し易くすることができる。
　前記騒音発生要因に関する情報は、乗物自体から発生する駆動音、乗物が走行することで生じる走行音、及び乗物周囲で生じる環境音の少なくとも１つの音の発生要因に関する情報であってもよい。
　前記構成によれば、運転者露出型の乗物における騒音発生要因として影響の大きい音に基づく騒音の状態を予測的に推定することができ、他の種類の騒音に比べて、運転者の聞き取り易さ向上の効果を高めることができる。
　前記騒音発生要因に関する情報は、前記駆動音、前記走行音及び前記環境音のうち、複数の音の発生要因に関する情報であってもよい。
　前記構成によれば、運転者露出型の乗物における騒音発生要因として影響の大きい複数の音の発生要因に基づいて騒音状態を予測的に推定することができ、運転者の聞き取り易さ向上の効果を更に高めることができる。
　前記騒音推定部は、前記騒音発生要因に関する情報に基づいて騒音レベルを推定し、前記音声制御部は、前記推定された騒音レベルに応じて前記音声の前記属性を変更する構成としてもよい。
　前記構成によれば、運転者による音声の聞き取りに大きく影響する騒音レベルを考慮して音声の属性を変更することで、運転者の聞き取り易さ向上の効果を高めることができる。
　前記騒音推定部は、前記騒音発生要因の時間変化に基づいて将来の騒音状態を推定し、前記音声制御部は、前記推定した将来の騒音レベルに応じて前記音声の前記属性を変更する構成としてもよい。
　前記構成によれば、予測する将来の騒音状態に基づくことで、音声生成にかかる遅延の影響を抑えることができ、運転者の聞き取り易さ向上の効果を高めることができる。
　前記騒音推定部は、運転者の車両操作に関する操作情報に基づいて前記騒音状態を推定する構成としてもよい。
　前記構成によれば、運転者の操作情報に基づくことで、乗物自体から発生する駆動音、乗物が走行することで生じる走行音の騒音変化を推測することができ、音声生成にかかる遅延の影響を抑えることができ、運転者の聞き取り易さ向上の効果を高めることができる。
　前記乗物が走行するロケーションの騒音発生情報を取得するロケーション騒音取得部を更に備え、前記騒音推定部は、前記ロケーションの騒音発生情報に応じて前記騒音状態を決定する構成としてもよい。
　前記構成によれば、車両が走行するロケーションに起因する騒音変化を考慮することにより、騒音をより好適に推定できる。
　前記音声制御部は、前記推定された騒音状態に応じて、前記属性としての前記音声のセンテンス長さを決定する構成としてもよい。
　前記構成によれば、音質を変化させる場合に比べて自然な音を維持することができ、運転者による音声の認識し易さを高めることができる。
　本発明の一態様に係る乗物の音声出力方法は、運転者が乗物外部に露出した状態で運転する乗物の音声出力方法であって、騒音発生要因に関する情報に基づいて、運転者に向けて出力する音声の属性を変更する。
　本発明によれば、騒音に対する音声生成の応答遅れによる音声不適合が防止され、運転者が音声を聞き取りやすくなる。
実施形態に係る自動二輪車の音声システムのブロック図である。
　以下、図面を参照して実施形態を説明する。
　図１は、実施形態に係る自動二輪車の音声システム１のブロック図である。音声システム１は、運転者が外部に露出した状態で運転する乗物（即ち、運転者露出型の乗物）に適当されるものであり、本実施形態では当該乗物の好適例として自動二輪車を例示する。
　音声システム１は、音声コントローラ２を備える。音声コントローラ２は、ハードウェア面において、プロセッサ、揮発性メモリ、不揮発性メモリ及びＩ／Ｏインターフェース等を有し、不揮発性メモリには所定の音声プログラムが保存されている。音声コントローラ２は自動二輪車に搭載された制御デバイスであってもよいが、本実施形態では、音声コントローラ２は自動二輪車に付随する携帯情報端末（例えば、スマートフォン）である。即ち、音声コントローラ２の前記プロセッサ、前記揮発性メモリ、前記不揮発性メモリ及び前記Ｉ／Ｏインターフェース等は、前記携帯情報端末に内蔵されたものであり、前記音声プログラムは、前記携帯情報端末にインストールされたアプリケーションプログラムである。前記携帯情報端末は、自動二輪車の運転者が所持してもよいし、自動二輪車のホルダに設置されてもよい。
　音声コントローラ２の入力側には音声入力器３が接続され、音声コントローラ２の出力側には音声出力器４が接続されている。音声入力器３は、例えばマイクロフォンである。音声出力器４は、例えばスピーカー又はイヤフォンである。音声コントローラ２に対する音声入力器３及び音声出力器４の接続は、無線接続（例えば、Bluetooth（登録商標））でも有線接続でもよい。
　音声コントローラ２は、ソフトウェア面において、音声認識部５、情報処理部６及び音声生成部７を有する。音声生成部７には、音源データ部８が接続される。音声認識部５、情報処理部６及び音声生成部７は、前記不揮発性メモリに保存された前記音声プログラムに基づいて前記プロセッサが前記揮発性メモリを用いて演算処理することで実現される。
　音声認識部５は、音声入力器３から入力された運転者が発する音声を認識し、テキストとしてデジタル化するものである。音声認識部５の音声認識には、公知の音声認識技術が用いられる。即ち、音声認識部５は、音響モデルを用いることにより、音声入力器３から入力された音声の特徴（例えば、周波数特性等）を音素に変換し、言語モデル（例えば、単語辞書や文法辞書）を用いることにより、その音素の組合せをテキスト（入力テキスト）に変換する。
　情報処理部６は、音声認識部５で認識された入力テキストに対して所定の処理を行い、出力テキスト（応答テキスト）を生成する。例えば、情報処理部６は、会話機能を提供する。具体的には、情報処理部６は、前記入力テキストに対して構文解析を行ってから意味解析を行い、入力テキストに対する出力テキストの決定ルールを有する会話エンジンを参照し、前記入力テキストの意味に最適な出力テキストを出力する。
　情報処理部６は、後述のＣＡＮ情報又はＣＡＮ情報以外に車両に搭載されるセンサの情報に基づく車両情報、ＧＰＳセンサ１４等の位置情報、ナビゲーション情報、地図情報、天気情報等に対して、所定の処理を行い、運転者の発話より先に出力テキストを生成してもよい。このように、情報処理部６による音声生成タイミングは、予め定める任意のタイミングによって実現されてもよい。
　図１では情報処理部６が音声コントローラ２により実現される態様を図示したが、情報処理部６は、音声コントローラ２に通信ネットワーク（例えば、インターネット）を介して接続される外部コンピュータ（サーバ）により実現されてもよい。即ち、音声認識部５で認識された前記入力テキストを前記通信ネットワークを介して前記外部コンピュータに送信し、前記外部コンピュータが所定の処理を行って前記出力テキストを生成し、前記生成された出力テキストを前記通信ネットワークを介して音声コントローラ２に送信して音声生成部７に入力してもよい。また、音声認識部５及び／又は音声生成部７も同様に、音声コントローラ２により実現されてもよいし、外部コンピュータにより実現されてもよい。
　音声生成部７は、情報処理部６から入力された出力テキストを音に変換することで音声を生成し、その生成された音声を音声出力器４に出力させる。このようにして、運転者が音声入力器３に対して発話（入力音声）すると、音声認識部５、情報処理部６及び音声生成部７を介して音声出力器４から応答音声（出力音声）が運転者の耳に向けて返される。そのため、音声入力器３への音声入力から音声出力器４での音声出力までには、音声認識部５及び情報処理部６での処理時間により時間を要し、音声生成に応答遅れが生じる可能性がある。例えば、運転者からの音声入力内容を分析・把握したり、音声出力すべき適切な情報を検索・抽出したりすることで、音声生成に応答遅れが生じる場合がある。
　そこで以下詳述するように、音声コントローラ２は、運転者が音声及び／又は音声が表す情報を認識し易くするための機能を備える。
　音声コントローラ２は、そのＩ／Ｏインターフェースによって、自動二輪車に搭載された図示しない車両制御装置（ＥＣＵ）と情報通信可能に接続されている。本実施形態では、音声コントローラ２のＩ／Ｏインターフェースと前記車両制御装置との夫々に無線送受信機が設けられ、音声コントローラ２と前記車両制御装置とは前記無線送受信機を介して互いの情報を送受信できる。例えば、音声コントローラ２は、前記無線送受信機を介して、自動二輪車に設けた各種センサの検出値、自動二輪車に設けたアクチュエータの動作指令値を取得することができる。本実施形態では、自動二輪車に搭載される各種の電装部品（アクチュエータ、センサ、制御装置を含む）が、車内通信ネットワークであるＣＡＮ通信規格に従ったバス接続回路によって接続される。自動二輪車に搭載される無線送受信機は、前記バス接続回路に介在して接続される。これによって、自動二輪車のバス接続回路によって送受信される情報であるCAN情報を、音声コントローラ２へも伝達することができる。例えば、各無線送受信機は、Bluetooth（登録商標）に従った規格に従って構成されることで、互いに情報を送受信可能となる。
　音声コントローラ２の入力側には、アクセルセンサ１１、エンジン回転速度センサ１２、車速センサ１３、ＧＰＳセンサ１４、地図情報データベース１５及び天気情報取得器１６が接続されている。アクセルセンサ１１、エンジン回転速度センサ１２及び車速センサ１３は、自動二輪車に搭載されており、ＣＡＮを介して音声コントローラ２に接続されている。ＧＰＳセンサ１４は、自動二輪車に搭載されたものでもよいし、携帯情報端末（音声コントローラ２）に搭載されたものでもよい。地図情報データベース１５及び天気情報取得器１６は、自動二輪車に設けられたものでもよいし、携帯情報端末（音声コントローラ２）に設けられたものでもよいし、前記通信ネットワークを介して接続される外部コンピュータに設けられたものでもよい。
　アクセルセンサ１１は、運転者が操作する自動二輪車のアクセルの操作量を検出する。即ち、アクセルセンサ１１は、運転者の車両操作に関する操作情報としてアクセル操作量を検出する。エンジン回転速度センサ１２は、自動二輪車のエンジンの回転速度を検出する。なお、エンジン回転速度センサ１２は、自動二輪車の原動機が電動モータである場合には、電気モータの回転速度を検出する回転速度センサとしてもよいし、音声コントローラ２が回転速度センサの検出信号を参照しないものとしてもよい。車速センサ１３は、自動二輪車の走行速度を検出するもので、例えば、自動二輪車の従動輪の回転速度を検出する。
　ＧＰＳセンサ１４は、ＧＰＳ（Global Positioning System）を利用して自動二輪車の位置を検出する。地図情報データベース１５は、地図情報を有すると共に、地図上における位置と騒音関連物（例えば、高速道路、トンネル、石畳、砂利道等）の存在との関係を示す情報を有する。天気情報取得器１６は、地図上の位置と天気の種類との関係を示す天気情報を外部情報源（例えば、天気情報サーバ）から通信ネットワークを介して取得する。
　音声コントローラ２は、ソフトウェア面において、ロケーション騒音取得部１７、騒音推定部１８及び音声制御部１９を更に有する。ロケーション騒音取得部１７、騒音推定部１８及び音声制御部１９は、前記不揮発性メモリに保存された前記音声プログラムに基づいて前記プロセッサが前記揮発性メモリを用いて演算処理することで実現される。
　ロケーション騒音取得部１７は、ＧＰＳセンサ１４、地図情報データベース１５及び天気情報取得器１６から受信した情報に基づいて、自動二輪車が走行するロケーションの騒音発生情報を求める。例えば、ロケーション騒音取得部１７は、ＧＰＳセンサ１４で検出される自車位置を地図情報データベース１５に照合することで、地図上の自車位置及び自車位置からの進路上に前記騒音関連物が存在するか否かを判定する。ロケーション騒音取得部１７は、前記騒音関連物が存在すると判定される場合には、前記騒音関連物（例えば、高速道路、トンネル、石畳、砂利道等）に起因する騒音状態（例えば、騒音のレベル及び周波数特性）を所定の規則（例えば、対応表等）に基づいて決定して騒音推定部１８に出力する。
　騒音推定部１８は、自動二輪車自体から発生する駆動音の発生要因と、自動二輪車が走行することで生じる走行音の発生要因と、自動二輪車の周囲で生じる環境音の発生要因とに関する情報に基づき、自動二輪車の運転者が感じる騒音の状態（例えば、レベル及び周波数特性）を推定する。ここで、騒音の発生要因は、検出される騒音自体ではなく、騒音の発生に影響する要因を意味する。
　自動二輪車自体から発生する駆動音の発生要因としては、運転者のアクセル操作量の増加、エンジン回転速度の増加等が挙げられる。自動二輪車が走行することで生じる走行音の発生要因としては、自動二輪車の走行速度の増加が挙げられる。自動二輪車の周囲で生じる環境音の発生要因は、自動二輪車の周囲環境の変化であり、例えば路面状態（例えば、石畳、砂利道等）の変化、トンネルや高速道路の存在、周囲走行する他の車両の音、雨音等が挙げられる。
　具体的には、騒音推定部１８は、アクセルセンサ１１、エンジン回転速度センサ１２、車速センサ１３及びロケーション騒音取得部１７から出力される情報に基づいて騒音状態を推定する。騒音推定部１８は、アクセルセンサ１１で検出されるアクセル操作量の時間変化（増加傾向又は減少傾向）を参照することで、近い将来に乗物駆動音（例えば、エンジンの吸気音、燃焼爆発音、排気音、歯車衝突音、エンジン振動に起因する車体振動音等）が大きくなるか小さくなるか、近い将来に自動二輪車が走行することで生じる走行音（風切り音）が大きくなるか小さくなるか等を推定してもよい。即ち、騒音推定部１８は、運転者の操作情報に基づくことで、自動二輪車自体から発生する駆動音、自動二輪車が走行することで生じる走行音等の騒音変化を事前に推測できる。
　前記乗物駆動音は、エンジンが駆動していれば走行停止状態でも乗物自体から発生する音であり、一般にエンジン回転速度に比例する。そのため、騒音推定部１８は、所定の規則（例えば、エンジン回転速度と駆動音との対応関係を記述したテーブル等）に基づいて、エンジン回転速度センサ１２で検出されるエンジン回転速度から現在のエンジンの駆動音を推定してもよい。具体的には、騒音推定部１８は、エンジン回転速度が増加するにつれて、推定する騒音レベルを増加させてもよい。
　自動二輪車が走行することで生じる走行音（風切り音、ロードノイズ、走行振動に起因する車体振動音等）は、走行中であればエンジン停止状態でも発生する音であり、一般に自動二輪車の走行速度に比例する。そのため、騒音推定部１８は、所定の規則（例えば、走行速度と走行音との対応関係を記述したテーブル等）に基づいて、車速センサ１３で検出される走行速度から現在の走行音を推定してもよい。具体的には、騒音推定部１８は、自動二輪車の走行速度が増加するにつれて、推定する騒音レベルを増加させてもよい。
　前記自動二輪車の周囲で生じる環境音は、自動二輪車の周囲環境の変化により発生する音である。そのため、騒音推定部１８は、周囲環境（例えば、路面状態、トンネルや高速道路の存在、周囲走行する他の車両の音、雨音等）に関する情報に基づいて環境音を推定してもよい。具体的には、騒音推定部１８は、環境音が大きくなる傾向に周囲環境が変化するにつれて、推定する騒音レベルを増加させてもよい。
　音声制御部１９は、騒音推定部１８で推定された騒音状態に応じて、音声生成部７で生成される音声の属性を変更する。音声の属性としては、周波数特性、センテンス長さ、音声出力器４による音声出力タイミング等が挙げられる。騒音に応じて、音声の属性を適切に変化させることで、騒音が生じているなかでも、生成した音声の情報を運転者に聞き取りやすくすることができる。
　例えば、音声制御部１９は、騒音推定部１８で推定される騒音レベルが大きくなるにつれて、音声生成部７に生成させる音声の周波数特性（例えば、音の高さ、音の長さ（スピード）、音色等）を変化させ、ロンバート効果に基づいて、運転者が聞き取り易い音声に調節する。また、音声制御部１９は、騒音推定部１８で推定される騒音の周波数特性に応じて、音声生成部７に生成される音声の周波数特性を変化させ、運転者が聞き取り易い音声に調節してもよい。
　音声制御部１９は、騒音推定部１８で推定される騒音レベルが大きくなるにつれて、音声生成部７で生成される音声のセンテンス長さを短縮化するように調節してもよい。これによれば、音声のセンテンス長さが長い場合に比べ、音声が意味する内容を運転者が認識し易くなる。また、騒音推定部１８が騒音レベルの急上昇を予測した場合には、騒音レベルの減少を予測するまで、音声制御部１９は音声出力を抑えるようにしてもよい。これによって、騒音レベルが高い状態での音声出力が抑えられることで、聞き漏らしを防ぐことができる。
　音声制御部１９は、騒音推定部１８で推定される騒音レベルが所定値よりも大きくなると、音声の出力タイミングを変更してもよい。即ち、音声制御部１９は、騒音推定部１８で推定される騒音レベルが所定値よりも大きくなると、音声生成部７に音声出力器４から音声を出力させるのを保留し、ロケーション騒音取得部１７で求められた情報に基づいて近い将来に騒音レベルが所定値未満になると予測される時点を特定し、その時点に到達すると音声出力器４が保留していた音声を音声出力器４から出力させるようにしてもよい。これによれば、音質を自然な状態に維持しながらも、運転者が音声を認識し易くなる。
　なお、音声の出力開始後であっても、騒音レベルが所定値以上になった場合には、音声出力の中止又は中断を行い、騒音レベルが所定値未満となった時点で音声出力を再生し直し又は再開させてもよい。また、前記所定値は、出力される音声の重要度に応じて変更されてもよい。即ち、前記出力される音声の重要度が低い場合には、前記所定値を大きく（閾値を緩和）し、前記出力される音声の重要度が高い場合には、前記所定値を小さく（閾値を厳しく）するように、前記所定値を変更してもよい。
　以上に説明した構成によれば、騒音発生要因に関する情報に基づいて騒音状態を推定するので、騒音自体を検出する場合に比べて、騒音状態を予測的に知ることができる。そのため、騒音状態の動的変化が激しい自動二輪車等においても、騒音に対する音声生成の応答遅れによる音声不適合を防止できる。これによって、運転者が音声を聞き取り易くして、音声が表す情報を認識し易くすることができる。また、騒音レベルそのものを実測するのではなく騒音発生要因に関する情報に基づいて騒音レベルを推定するので、騒音を実測するための集音センサが無い場合も、運転者が音声情報を聞き取り易くすることができる。
　上述したように、騒音発生要因に関する情報に基づいて、騒音状態の将来の変化が推定されることが好ましい。推定した騒音状態の将来の時間変化に基づいて、音声の属性が変更されるとよい。例えば、音声生成の応答遅れにより、音声生成後の将来の騒音状態が大きくなることが推定される場合には、その遅れを考慮して音声が聞き取りやすいように音声の属性を変更する。更に具体的には、音声生成を生成するための応答時間を予め把握（例えば、事前設定または計測）し、推定される騒音の単位時間当たりの増加幅が予め定める増加閾値を超える場合には、応答時間経過後の騒音状が大きくなると推定して、騒音があっても聞きやすいように出力音声のレベルを高めるよう音声属性を変更させてもよい。また、推定された騒音の単位時間当たりの減少幅が予め定める減少閾値を超える場合には、応答時間経過後の騒音が小さくなると推定して、騒音があっても聞きやすいように出力音声のレベルを下げるよう音声属性を変更させてもよい。
　本実施形態では、騒音発生要因に関する情報は、運転者による出力音声の聞き取りやすさに影響するような時間的な騒音変化を生じる情報であるとよい。例えば、運転者の操作量を騒音発生要因に関する情報とすることで、騒音変化が実際の聞き取り易さに影響が生じる前に、騒音変化を予測することができる。例えば、アクセル操作量を変化させてから実際にエンジン回転数が変化するまでに時間的な遅れが生じることから、騒音（特に乗物の駆動音）として変化が生じる前に騒音変化を予測し、その予測に応じて音声属性を変化させることができる。また、運転者の操作量として、アクセル操作量のほか、ブレーキ操作、クラッチ操作、ギア操作などの操作開始・操作終了・操作の時間変化の情報を騒音推定に用いることができる。これらによっても、操作後の騒音変化を予測して、音声属性を変化させやすい。これらの運転者の操作量は、車両に設けられる既存のセンサによって検出することができる。
　また例えば、車両状態の時間変化を騒音発生要因に関する情報とすることで、騒音変化が実際の聞き取り易さに影響が生じる前に、騒音変化を予測することができる。車両状態としては、例えば、エンジン回転数の時間変化を用いることができる。エンジン回転数の時間変化が急上昇して所定値を越えた場合には、騒音（特に乗物の駆動音、走行音）の急上昇を予測することができる。このようにして急な騒音変化を予測して、予測に応じて音声属性を変化させてもよい。車両状態の時間変化として、エンジン回転数の時間変化のほか、スロットル開度、車速、前輪回転数、後輪回転数、加減速度、変速比などの時間変化、即ち、時間微分値を用いることができる。これらによっても騒音変化を予測して、音声属性を変化させることができる。これらの車両状態は、車両に設けられる既存のセンサによって検出することができる。
　また、走行経路と走行速度と予め記憶される路面状態とに基づいて、将来の騒音変化を予測し、予測に応じて出力音声の属性を変化させてもよい。トンネル進入が予測されたり、高速道路への進路変更が予測される場合には、予測される騒音変化に応じて、出力音声の属性を変化させてもよい。例えば、将来のトンネル進入、高速道路走行から騒音（特に環境音）が大きくなると予想して聞き取りやすく出力音声の属性を変化させてもよい。また天候の変化、例えば将来の雨天走行を予想して、予測に応じて出力音声の属性を変化させてもよい。
　本実施形態では、騒音発生要因に基づいて、駆動音、走行音および環境音の将来の音を予測し、その予測した騒音に基づいて、出力音声の属性を変更したが、駆動音、走行音及び環境音の少なくとも１つに基づいて、出力音声の属性を変更してもよい。好ましくは、駆動音、走行音及び環境音のうち複数の音の騒音発生要因に基づいて出力音声の属性を変更することで、総合的に騒音に基づいて音声属性を変化させることができる。
　また、将来の騒音の音圧レベルを対数値（デジベル）による騒音値に変換することで、運転者の認識する騒音として判断しやすい。更に、運転者の聞こえやすさを考慮して音の周波数ごとに補正した出力音声に変更することで、人間の聴覚として認識する騒音としてより判断しやすい。騒音レベルに応じて、音声の周波数特性を変化させることで、運転者の聞き取りやすい出力音声を生成することができる。なお、本実施形態では、騒音レベルに基づいて音声属性を変更したが、騒音レベル以外の音の指標に基づいて、音声属性を変更する場合も本発明に含まれる。
　また、自動二輪車は、騒音レベルを測定する集音センサを更に備えてもよい。これによって騒音レベルの検出精度を高めることができ、さらに聞き取りやすい音声情報を提供することができる。音声コントローラ２は、予め定める条件を満足する場合に運転者への情報発信のための音声生成が可能であればよく、運転者の発した音声を認識する機能や、公衆回線への通信機能がない場合も、本発明に含まれる。運転者露出型の乗物は、少なくとも運転者の頭部が、車体のボディによって覆われていない乗物を意味する。自動二輪車のほか、バギー車、小型滑走艇、雪上車、ボート、オープンカーなどにも本発明を好適に適用することができる。
　１　音声システム
　１７　ロケーション騒音取得部
　１８　騒音推定部
　１９　音声制御部

Claims (9)

  1. 　運転者が乗物外部に露出した状態で運転する乗物の音声システムであって、
    　騒音発生要因に関する情報に基づいて将来の騒音状態を推定する騒音推定部と、
    　前記推定された騒音状態に応じて、運転者に向けて出力する音声の属性を変更する音声制御部と、を備える、乗物の音声システム。
  2. 　前記騒音発生要因に関する情報は、乗物自体から発生する駆動音、乗物が走行することで生じる走行音、及び乗物周囲で生じる環境音の少なくとも１つの音の発生要因に関する情報である、請求項１に記載の乗物の音声システム。
  3. 　前記騒音発生要因に関する情報は、前記駆動音、前記走行音及び前記環境音のうち、複数の音の発生要因に関する情報である、請求項２に記載の乗物の音声システム。
  4. 　前記騒音推定部は、前記騒音発生要因に関する情報に基づいて騒音レベルを推定し、
    　前記音声制御部は、前記推定された騒音レベルに応じて前記音声の前記属性を変更する、請求項１乃至３のいずれか１項に記載の乗物の音声システム。
  5. 　前記騒音推定部は、前記騒音発生要因の時間変化に基づいて将来の騒音状態を推定し、
    　前記音声制御部は、前記推定した将来の騒音レベルに応じて前記音声の前記属性を変更する、請求項１乃至４のいずれか１項に記載の乗物の音声システム。
  6. 　前記騒音推定部は、運転者の車両操作に関する操作情報に基づいて前記騒音状態を推定する、請求項１乃至４のいずれかに記載の乗物の音声システム。
  7. 　前記乗物が走行するロケーションの騒音発生情報を取得するロケーション騒音取得部を更に備え、
    　前記騒音推定部は、前記ロケーションの騒音発生情報に応じて前記騒音状態を決定する、請求項２乃至４のいずれか１項に記載の乗物の音声システム。
  8. 　前記音声制御部は、前記推定された騒音状態に応じて、前記属性としての前記音声のセンテンス長さを決定する、請求項１乃至７のいずれか１項に記載の乗物の音声システム。
  9. 　運転者が乗物外部に露出した状態で運転する乗物の音声出力方法であって、
    　騒音発生要因に関する情報に基づいて、運転者に向けて出力する音声の属性を変更する、乗物用の音声出力方法。
PCT/JP2019/021572 2018-09-11 2019-05-30 乗物の音声システム及び音声出力方法 WO2020054141A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19861086.7A EP3852098A4 (en) 2018-09-11 2019-05-30 AUDIO SYSTEM FOR VEHICLE AND AUDIO OUTPUT METHOD
US17/269,149 US11557275B2 (en) 2018-09-11 2019-05-30 Voice system and voice output method of moving machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018169349A JP7240116B2 (ja) 2018-09-11 2018-09-11 乗物の音声システム及び音声出力方法
JP2018-169349 2018-09-11

Publications (1)

Publication Number Publication Date
WO2020054141A1 true WO2020054141A1 (ja) 2020-03-19

Family

ID=69777790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021572 WO2020054141A1 (ja) 2018-09-11 2019-05-30 乗物の音声システム及び音声出力方法

Country Status (4)

Country Link
US (1) US11557275B2 (ja)
EP (1) EP3852098A4 (ja)
JP (1) JP7240116B2 (ja)
WO (1) WO2020054141A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210201929A1 (en) * 2018-05-31 2021-07-01 Sony Corporation Information processing apparatus, information processing method, and program
US11615801B1 (en) * 2019-09-20 2023-03-28 Apple Inc. System and method of enhancing intelligibility of audio playback

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265466A (ja) * 1992-03-18 1993-10-15 Nissan Motor Co Ltd 能動型振動制御装置及び能動型騒音制御装置
JP2002140800A (ja) * 2000-11-02 2002-05-17 Yamaha Motor Co Ltd 自動二輪車の情報提供装置
JP2002314637A (ja) * 2001-04-09 2002-10-25 Denso Corp 雑音低減装置
JP2002351485A (ja) * 2001-05-28 2002-12-06 Matsushita Electric Ind Co Ltd 電子メール読み上げ装置
JP2005062713A (ja) * 2003-08-20 2005-03-10 Alpine Electronics Inc 音声補正装置
JP2008170980A (ja) * 2006-12-12 2008-07-24 Mitsubishi Electric Corp 車載用ガイダンス装置
JP2009157065A (ja) * 2007-12-26 2009-07-16 Pioneer Electronic Corp 音声出力装置、音声出力方法、音声出力プログラムおよび記録媒体
JP2009175558A (ja) * 2008-01-25 2009-08-06 Kawasaki Heavy Ind Ltd 音響装置および音響制御装置
JP2015215528A (ja) 2014-05-13 2015-12-03 日本電信電話株式会社 音声強調装置、音声強調方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764594A (ja) * 1993-08-27 1995-03-10 Ricoh Co Ltd 音声認識装置
US6360187B1 (en) * 1999-06-28 2002-03-19 Ford Global Technologies, Inc. Ambient adjusted volume control for in-vehicles messages
JP2002091488A (ja) 2000-01-31 2002-03-27 Matsushita Electric Ind Co Ltd 車載ナビゲーション装置
JP3843956B2 (ja) * 2002-05-14 2006-11-08 トヨタ自動車株式会社 車載バッテリのファン制御方法およびファン制御装置
JP2005122042A (ja) 2003-10-20 2005-05-12 Toyota Motor Corp 音声認識装置、音声認識方法、音声合成装置、音声合成方法、音声認識システム、音声合成システム、音声認識合成装置、およびナビゲーションシステム、ならびに移動体
JP2006090988A (ja) * 2004-09-27 2006-04-06 Fujitsu Ten Ltd ナビゲーション装置
DE102006001730A1 (de) * 2006-01-13 2007-07-19 Robert Bosch Gmbh Beschallungsanlage, Verfahren zur Verbesserung der Sprachqualität und/oder Verständlichkeit von Sprachdurchsagen sowie Computerprogramm
JP2008061113A (ja) * 2006-09-01 2008-03-13 Pioneer Electronic Corp 音響装置及び音量感補正方法
EP2474974A1 (en) * 2009-09-02 2012-07-11 Fujitsu Limited Voice reproduction device and voice reproduction method
US20120268294A1 (en) * 2011-04-20 2012-10-25 S1Nn Gmbh & Co. Kg Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit
KR101866774B1 (ko) * 2011-12-22 2018-06-19 삼성전자주식회사 휴대용 단말기에서 음량을 조절하기 위한 장치 및 방법
JP2016109498A (ja) * 2014-12-04 2016-06-20 三菱電機株式会社 環境予測システム及び環境予測方法
US10670417B2 (en) * 2015-05-13 2020-06-02 Telenav, Inc. Navigation system with output control mechanism and method of operation thereof
US20170004827A1 (en) * 2015-06-30 2017-01-05 Siemens Energy, Inc. Data Collection and Reporting System and Method
DE102015122245A1 (de) * 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs mit einerZustandsüberwachungseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
US10324683B2 (en) * 2016-12-27 2019-06-18 Harman International Industries, Incorporated Control for vehicle sound output
EP3605434A4 (en) * 2017-03-27 2020-02-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265466A (ja) * 1992-03-18 1993-10-15 Nissan Motor Co Ltd 能動型振動制御装置及び能動型騒音制御装置
JP2002140800A (ja) * 2000-11-02 2002-05-17 Yamaha Motor Co Ltd 自動二輪車の情報提供装置
JP2002314637A (ja) * 2001-04-09 2002-10-25 Denso Corp 雑音低減装置
JP2002351485A (ja) * 2001-05-28 2002-12-06 Matsushita Electric Ind Co Ltd 電子メール読み上げ装置
JP2005062713A (ja) * 2003-08-20 2005-03-10 Alpine Electronics Inc 音声補正装置
JP2008170980A (ja) * 2006-12-12 2008-07-24 Mitsubishi Electric Corp 車載用ガイダンス装置
JP2009157065A (ja) * 2007-12-26 2009-07-16 Pioneer Electronic Corp 音声出力装置、音声出力方法、音声出力プログラムおよび記録媒体
JP2009175558A (ja) * 2008-01-25 2009-08-06 Kawasaki Heavy Ind Ltd 音響装置および音響制御装置
JP2015215528A (ja) 2014-05-13 2015-12-03 日本電信電話株式会社 音声強調装置、音声強調方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3852098A4

Also Published As

Publication number Publication date
US20220114999A1 (en) 2022-04-14
EP3852098A1 (en) 2021-07-21
EP3852098A4 (en) 2022-06-15
JP7240116B2 (ja) 2023-03-15
JP2020042163A (ja) 2020-03-19
US11557275B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
US11003414B2 (en) Acoustic control system, apparatus and method
JP4134989B2 (ja) 車載用音響機器
US9870703B2 (en) Pedestrian warning system providing adjustable acoustic indications
US20160019904A1 (en) Adaptive Vehicle State-Based Hands-Free Phone Noise Reduction With Learning Capability
KR101526407B1 (ko) 차량용 가상 엔진음 시스템 및 그 제어 방법
KR20180130672A (ko) 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
US20100204987A1 (en) In-vehicle speech recognition device
US20160019890A1 (en) Vehicle State-Based Hands-Free Phone Noise Reduction With Learning Capability
WO2020054141A1 (ja) 乗物の音声システム及び音声出力方法
JP6704168B2 (ja) 疑似エンジン音制御装置及び疑似エンジン音制御方法
JP2016090681A (ja) 車両用音声対話装置
JP2002314637A (ja) 雑音低減装置
CN110366852B (zh) 信息处理设备、信息处理方法和记录介质
CN113212299A (zh) 车辆用声音生成装置
JP4016529B2 (ja) 雑音抑圧装置，音声認識装置及び車両用ナビゲーション装置
CN117425586A (zh) 声音体验发生器
US11542744B2 (en) Agent device, agent device control method, and storage medium
WO2023074655A1 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP7287291B2 (ja) 情報処理装置、プログラム、及び、情報処理方法
WO2023074654A1 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP5333264B2 (ja) 報知音制御装置および報知音制御方法
JP4190735B2 (ja) 音声認識方法および装置とナビゲーション装置
US20230025991A1 (en) Information processing apparatus, method, and vehicle
CN117087535A (zh) 一种电动汽车低速报警器控制系统、控制方法及介质
JP2005263102A (ja) 移動体制御装置およびナビゲーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19861086

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019861086

Country of ref document: EP

Effective date: 20210412