WO2021024678A1 - 自動車の加速制御システム、方法、プログラム - Google Patents

自動車の加速制御システム、方法、プログラム Download PDF

Info

Publication number
WO2021024678A1
WO2021024678A1 PCT/JP2020/026532 JP2020026532W WO2021024678A1 WO 2021024678 A1 WO2021024678 A1 WO 2021024678A1 JP 2020026532 W JP2020026532 W JP 2020026532W WO 2021024678 A1 WO2021024678 A1 WO 2021024678A1
Authority
WO
WIPO (PCT)
Prior art keywords
acceleration control
voice recognition
word
driver
automobile
Prior art date
Application number
PCT/JP2020/026532
Other languages
English (en)
French (fr)
Inventor
岩田治幸
Original Assignee
岩田治幸
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 岩田治幸 filed Critical 岩田治幸
Publication of WO2021024678A1 publication Critical patent/WO2021024678A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to an automobile acceleration control technique. More specifically, it relates to acceleration control systems, methods and programs for preventing the occurrence of traffic accidents due to incorrect accelerator and brake depression.
  • the term "misstepping” is used from the viewpoint of easy understanding, but the accelerator or brake is not limited to the pedal type but also includes the button type.
  • the term "stepping error" in the present invention means a pressing error.
  • an electric vehicle of a type in which braking is performed only by the accelerator without using a brake it simply means an erroneous operation of the accelerator.
  • the present invention of controlling the acceleration of an automobile by using voice recognition can also be applied to automatic driving.
  • the present invention relates to an acceleration control system, a method, and a program for preventing the occurrence of a traffic accident due to a malfunction of the automatic driving system, not a mistake in stepping on the accelerator and the brake.
  • Patent Document 1 based on the pedaling force of the accelerator pedal acquired by the pedaling force detecting means, it is determined whether or not the driver mistakes the accelerator pedal for the brake pedal, and it is determined that the driver has mistakenly stepped on the accelerator pedal. , Techniques for decelerating or stopping the vehicle are described.
  • Patent Document 2 describes a technique of detecting a load applied to a backrest or a steering wheel, determining an erroneous operation, and controlling a deceleration means.
  • Patent Document 3 words uttered by the driver in an emergency are registered in advance, and in the throttle valve fully open state, that is, in the accelerator fully open state, the driver utters the words uttered in an emergency with a loud voice equal to or higher than the reference value.
  • a technique for determining that an erroneous operation of the accelerator pedal has occurred is described.
  • Patent Document 4 describes a remote control system for operating an automobile.
  • Japanese Unexamined Patent Publication No. 2015-625 Japanese Unexamined Patent Publication No. 2013-233893 Japanese Unexamined Patent Publication No. 2004-100058 Japanese Unexamined Patent Publication No. 2017-147626
  • Patent Document 1 is ambiguous as a criterion for determining a mistake in pedaling because the force for depressing the pedal changes depending on the physical condition of the driver and the like.
  • the change in pedaling force is caused by the commands from the motor cortex of the brain, which will be described later, transmitted to the muscles through the motor nervous system, so that the language center is not involved. The same applies to the technique disclosed in Patent Document 2.
  • Patent Document 1 and Patent Document 2 still have a risk of malfunction or erroneous operation, and although theoretically possible, they are uncertain and unreliable in an actual abnormal situation. Certainly, even in the present invention, the probability that the driver makes a mistake is not zero. However, by multiplying the probability that the driver mistakes the accelerator and the brake by the probability of making a mistake, the probability of accelerating when it should not be accelerated can be significantly reduced.
  • Patent Document 3 may not be able to make a voice at the time of humor, so it is very doubtful whether it functions properly in an emergency. It is extremely difficult to say the pre-registered words in a loud voice in an emergency, and if there is such a psychological margin, it may be possible to re-depress the accelerator pedal to the brake pedal.
  • the driver is not required to speak out at the time of humor, but to speak out in normal times, contrary to the technique disclosed in Patent Document 3. I did. Since the present invention makes it a habit to speak words in normal times rather than in an emergency, it can be said that the present invention is based on an idea or motive opposite to the technique disclosed in Patent Document 3. It should be noted that Patent Document 3 does not describe that words that are normally spoken are registered in advance, learning as in the present invention is performed, and acceleration is not possible in normal times unless the registered or learned words are spoken. However, no suggestion was made.
  • the means for detecting the state of the accelerator pedal described in Patent Document 3 is to read the signal from the throttle position sensor, and if the throttle valve is in the fully open state, it is determined that the accelerator is in the fully open state. It is judged that the accelerator is not in the fully open state, and the equipment is different from the so-called accelerator position sensor (APS: Accelerator Position Sensor). Therefore, it was not an indispensable accelerator position sensor for the electronically controlled throttle (DBW: Drive-By-Wire) that is widely used at present.
  • APS Accelerator Position Sensor
  • DBW Drive-By-Wire
  • the present invention for example, whether or not the throttle valve may be opened from the fully closed state of the throttle valve is determined based on the utterance of the driver. That is, the throttle valve should not be opened further unless the driver speaks a specific word. Therefore, in the present invention, the means for detecting the state of the accelerator pedal described in Patent Document 3 is unnecessary. Therefore, the present invention can be realized more easily than the technique disclosed in Patent Document 3.
  • the remote control system for operating an automobile described in Patent Document 4 certainly does not cause the problem of incorrect depression of the accelerator pedal and the brake pedal.
  • the fingers that operate the remote control controller and the commands from the motor cortex of the brain, which will be described later, are transmitted to the muscles through the motor nervous system, so reliability as in the present invention can be achieved. It cannot be guaranteed.
  • the probability of accelerating when it should not be accelerated can be significantly reduced by multiplying the probability of the driver erroneously operating the remote control controller by the probability of making a mistake.
  • the present invention can solve the problems of the prior art, can be realized more easily, and has high reliability, and is a traffic accident due to a mistake in stepping on the accelerator and the brake or a malfunction of the automatic driving system.
  • the object is to provide an acceleration control system, a method, and a program for preventing the occurrence of the above.
  • the acceleration control system first devised to solve the above problems is an automobile acceleration control system, which includes a voice recognition means for recognizing a voice emitted in the automobile, and the voice recognition means is registered in advance. It is characterized in that the vehicle can be accelerated only when it recognizes the words that have been learned or the words that have the characteristics learned in advance.
  • the present invention captures the aging of the driver, which is one of the causes of missteps on the accelerator and brake, especially from the aspect of functional deterioration of the nervous system including the brain. That is, the mistake of stepping on the accelerator and the brake is regarded as the result of the command from the brain to step on the brake being mistakenly transmitted to the muscles of the foot as the command to step on the accelerator.
  • the motor cortex controls motor functions including the production of meaningless voices, and Broca's area, which is called the motor language center, speaks meaningful words. It has been clarified that it plays a role of speaking.
  • the intention to depress the brake is to depress the accelerator, or the intention to depress the accelerator is to depress the brake.
  • the intention to utter a word it is usually not possible for an intention to utter a word to move a limb, or an intention to move a limb to utter a word.
  • the present invention pays attention to this point and controls the accelerator so that the automobile can accelerate only when the driver utters a word registered in advance in the acceleration control system according to the present invention or a word learned in advance by the computer.
  • the accelerator cannot be accelerated unless the driver utters a pre-registered word or a pre-learned word.
  • the present invention enables an elderly driver to drive without fear of accidentally stepping on the accelerator and brake, the present invention can also be said to be a driving assistance technique for an elderly driver.
  • the words having the characteristics learned in advance by the computer constitute a learning data set by inputting the voice data of the words uttered by the driver when the accelerator is depressed and outputting the state in which the accelerator is depressed.
  • the voice waveform data of the word "acceleration" uttered by the driver is divided, for example, at intervals of 25 ms, and each division is performed.
  • Two-dimensional input data can be generated by arranging the spectra obtained by Fourier transforming the intervals in chronological order. This is used as input data of a convolutional neural network (CNN: Convolutional neural network), for example, when deep learning is performed.
  • CNN Convolutional neural network
  • the neural network used in the present invention may be of any type and structure as long as it can be used for speech recognition.
  • a recurrent neural network (RNN: Recurrent Neural Network) may be used when learning a long word.
  • voice waveform data called "acceleration" is divided at intervals of 25 ms, for example, and a Fourier transform spectrum is analyzed for each divided section to analyze phonemes such as ka, so, and ku. It is also conceivable to decompose the phonemes into the above and compare the obtained phoneme sequence with the acoustic model and the language model to obtain the most probable words as the recognition result.
  • the voice recognition means in the present invention is not limited to the voice recognition means using a neural network, and includes a wide range of technologies such as a hidden Markov model (HMM: Heidden Markov Model) that can recognize words uttered by a driver. ..
  • HMM hidden Markov model
  • the acceleration control system according to the present invention may function only in the low speed range in consideration of the actual accident occurrence situation.
  • the low speed range in this case can be defined as, for example, 10 km / h or less when starting from a stopped state, 20 km / h or less when decelerating and stopping from a running state, and the like.
  • the driver may be able to preset the speed range in which the acceleration control system according to the present invention functions.
  • the acceleration control system is an acceleration control system for an automobile, and recognizes that the driver has uttered a word having a characteristic of the driver's utterance when the accelerator is depressed, which has been learned in advance. It is characterized in that the vehicle is provided with a voice recognition means so that the vehicle can accelerate only when the voice recognition means recognizes the word.
  • the acceleration control system according to claim 2 is such that the vehicle can be accelerated only before a certain period of time elapses after the voice recognition means recognizes the word in the acceleration control system according to claim 1. It is characterized by having made it.
  • the fixed time is set to, for example, 10 seconds. Further, it may be freely adjusted.
  • the acceleration control system according to claim 3 is the acceleration control system according to claim 1, wherein the vehicle operates only after the voice recognition means recognizes the word and before the vehicle decelerates at a constant speed. It is characterized by being able to accelerate.
  • the constant speed is set to, for example, 10 km / h. Further, it may be freely adjusted.
  • the acceleration control system according to claim 4 is characterized in that, in the acceleration control system according to any one of claims 1 to 3, the voice recognition means performs the learning by using a neural network.
  • the acceleration control system according to claim 5 is the acceleration control system according to any one of claims 1 to 4, wherein the throttle valve in the engine vehicle is opened according to the loudness or the number of voices of the driver. It is characterized in that it is possible to control the fuel injection amount of the fuel injector or the frequency or amplitude of the AC power supplied to the motor in an electric vehicle.
  • the voice recognition means is built in a mobile terminal, and the mobile terminal and the automobile are wirelessly connected to each other. It is characterized by being done.
  • the voice recognition function of various mobile terminals such as smartphones, tablet terminals, and wearable terminals can be used, leading to cost reduction. It is considered that the system is connected to the system by a cable instead of wirelessly, but in the present invention, the voice recognition function of the car navigation system can also be used.
  • the acceleration control system according to claim 7 is characterized in that, in the acceleration control system according to any one of claims 1 to 6, a means for identifying a word having the highest recognition accuracy from a plurality of the words is provided. And.
  • the means for identifying the word with the highest recognition accuracy from the plurality of words is to accumulate a data set consisting of voice waveform input data and output data related to accelerator depression for recognition accuracy verification and separately for learning. deep. Next, the recognition accuracy for each word is calculated and compared using this verification data set. Then, identify the word that gives the highest recognition accuracy. As a result, it becomes possible to recommend the word with the highest recognition accuracy to the driver in a vehicle which is generally noisy and has a small SN ratio.
  • the next-developed acceleration control method is an acceleration control method for an automobile, which includes a voice recognition step for recognizing a voice emitted in the automobile, and the voice recognition step contains pre-registered words or pre-learned features. It is characterized in that the automobile can be accelerated only when it recognizes the words it has.
  • the acceleration control method according to claim 8 is an acceleration control method for an automobile, and recognizes that the driver has uttered a word having a characteristic of the driver's utterance when the accelerator is depressed, which has been learned in advance. It is characterized in that the vehicle can be accelerated only when the voice recognition step includes the voice recognition step and recognizes the word.
  • the acceleration control method according to claim 9 is the acceleration control method according to claim 8, so that the automobile can be accelerated only before a certain period of time has elapsed after the voice recognition step recognizes the word. It is characterized by having made it.
  • the acceleration control method according to claim 10 is the acceleration control method according to claim 8, wherein the automobile moves at a constant speed only after the voice recognition step recognizes the word and before the automobile decelerates at a constant speed. It is characterized by being able to accelerate.
  • the acceleration control method according to claim 11 is characterized in that, in the acceleration control method according to any one of claims 8 to 10, the voice recognition step performs the learning using a neural network.
  • the acceleration control method according to claim 12 is the acceleration control method according to any one of claims 8 to 11, in which the throttle valve in the engine vehicle is opened according to the loudness or the number of voices of the driver. It is characterized in that the fuel injection amount of the fuel injector or the frequency or amplitude of the AC power supplied to the motor in the electric vehicle is controlled.
  • the voice recognition step uses a mobile terminal, and the mobile terminal and the automobile are wirelessly connected to each other. It is characterized by that.
  • the program according to claim 15 is a program for causing a computer to execute the acceleration control method according to any one of claims 8 to 14.
  • the acceleration control method according to any one of claims 8 to 14 can be executed in the computer.
  • FIG. 1 is an explanatory diagram showing an example of a system configuration of an acceleration control system according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing an example of a system configuration of an acceleration control system according to an embodiment of the present invention when a throttle controller is used.
  • FIG. 3 is an explanatory diagram showing an example of a voice recognition means according to an embodiment of the present invention when DNN is used.
  • FIG. 4 is an explanatory diagram showing an example of acceleration control according to the loudness of vocalization.
  • FIG. 5 is an explanatory diagram showing an example of the relationship between the vocalization timing and the acceleration control when acceleration can be performed only before a certain period of time elapses.
  • FIG. 1 is an explanatory diagram showing an example of a system configuration of an acceleration control system according to an embodiment of the present invention when a throttle controller is used.
  • FIG. 3 is an explanatory diagram showing an example of a voice recognition means according to an embodiment of the present invention when DNN is used.
  • FIG. 4
  • FIG. 6 is an explanatory diagram showing an example of the relationship between the vocalization timing and the acceleration control when acceleration can be performed only before decelerating at a constant speed.
  • FIG. 7 is an explanatory diagram showing an example of a flowchart of the program according to the present invention.
  • FIG. 1 is an example of the system configuration of the acceleration control system according to the present invention.
  • the voice recognition means 1 can also utilize the voice recognition function of a mobile terminal or a car navigation system.
  • the ECU 5 is wirelessly connected to a smartphone, a tablet terminal, a wearable terminal, or the like.
  • the car navigation system and the ECU 5 are connected by a cable or wirelessly.
  • the throttle controller 8 as shown in FIG. In this case, the accelerator opening signal is changed according to the recognition result by the voice recognition means 1.
  • a voice recognition program may be incorporated in the ECU 5 and the throttle controller 8 in the case of an engine vehicle, and in the inverter in the case of an electric vehicle, and a microphone 2 may be connected thereto.
  • the APS3 detects the depression of the accelerator pedal 4 with a sensor. Upon receiving the output signals from the voice recognition means 1 and the APS 3, the ECU 5 electrically transmits information to the throttle motor of the electronically controlled throttle valve 6 to open and close the valve, and controls the output of the engine 7. In the case of an electric vehicle, the engine 7 is replaced with a motor, and the electronically controlled throttle valve 6 is replaced with an inverter.
  • a conventional mechanical control mechanical wire method
  • DBW Drive-By-Wire
  • the accelerator wire is used to open and close the throttle valve.
  • information is electrically transmitted from the accelerator position sensor (APS: Accelerator Position Sensor) to the engine control unit (ECU: Electronic Control Unit) and the throttle motor to open and close the valve.
  • APS Accelerator Position Sensor
  • ECU Electronic Control Unit
  • the voice recognition means 1 does not recognize the pre-registered words or the words having the characteristics learned in advance
  • the former mechanically and the latter electrically cut off the information transmission from the accelerator pedal 4 to the throttle valve. Perform processing.
  • the ECU 5 performs this process.
  • FIG. 2 is an example of a system configuration when the throttle controller 8 is used.
  • the throttle controller 8 is an electronic component that controls the accelerator response of a vehicle equipped with an electronically controlled throttle, and is provided between the accelerator and the ECU 5 to change the engine output by changing the opening signal of the accelerator. ..
  • the throttle controller 8 can be attached by turning on the coupler, and is generally used to improve the accelerator response. However, as in the present invention, the accelerator information is transmitted to the ECU 5 only in a certain case. It is also possible to program. In the present invention, the throttle controller 8 is programmed so that the voice recognition means 1 transmits a signal from the APS 3 to the ECU 5 only when it recognizes a word registered in advance or a word having a feature learned in advance. In the case of an electric vehicle, for example, an inverter cuts off or controls the power supply to the motor.
  • the opening degree of the throttle valve or the power supply to the motor when the driver depresses the accelerator pedal 4 is controlled according to the voice of the driver.
  • FIG. 3 is an explanatory diagram showing a processing flow when a neural network is used in the voice recognition means 1.
  • a voice section is detected as a preprocessing of the voice recognition means 1. If it is in a quiet car, it is possible to detect the voice waveform by zero intersection. However, in a vehicle with a lot of noise and a small SN ratio, model compensation using a probability distribution model is generally required.
  • a deep neural network (DNN: Deep Neural Network), a recurrent neural network (RNN: Recurrent Neural Network), or the like can be used.
  • the voice recognition means 1 of the present invention may be in any form as long as it can recognize the words spoken when the driver tries to accelerate.
  • a general convolutional neural network 15 including an input layer 12, a convolutional layer 13, a pooling layer 14, a fully connected layer 16, and an output layer 17 is adopted. As the number of intermediate layers is increased, the accuracy is improved but the calculation cost is increased.
  • the image obtained by converting the voice waveform data 10 into the spectrogram (voiceprint) 11 is used as the learning input data, and the teacher signal is 1.0 when the accelerator pedal 4 is depressed, and the teacher signal is 0.0 in other cases.
  • the recognition accuracy can be improved while accumulating learning data while continuing the operation for a long time. It is also possible to switch between the learning mode and the operation mode so that learning can be performed collectively when the vehicle is not running, for example, when parking at night.
  • the voice waveform data 10 can also be directly input to the input layer 12. However, since better results can be obtained by extracting features in advance, in this embodiment, an image obtained by converting the voice waveform data 10 into a spectrogram (voiceprint) 11 is used as input data.
  • one output unit is used to output whether or not to accelerate.
  • the phoneme strings output in time series are compared with the language model, and the most probable word is used as the recognition result. Since the speech recognition in the present invention is not a speech recognition that continuously recognizes a large-scale vocabulary, but only recognizes one or several words, the recognition accuracy required even in a small-scale convolutional neural network can be obtained. Obtainable.
  • the spectrogram (voiceprint) 11 is input to the trained convolutional neural network 15, and the output signal of the output unit is transmitted to the ECU or the throttle controller 18.
  • FIG. 4 is an explanatory diagram showing an example of acceleration control according to the loudness of vocalization.
  • the upper part of FIG. 4 shows a case where the driver 9 utters a pre-registered word or a word having a pre-learned feature with a normal loud voice.
  • the lower part of FIG. 4 shows a case where the driver 9 utters a pre-registered word or a pre-learned characteristic word in a loud voice.
  • the car 18 was in the same position at time t, but when it made a loud voice, it reached farther at time t + 1.
  • the opening degree of the throttle valve in the engine vehicle As a result of controlling the opening degree of the throttle valve in the engine vehicle, the fuel injection amount of the fuel injector, or the frequency or amplitude of the AC power supplied to the motor in the electric vehicle according to the loudness of the voice of the driver 9, a loud voice is emitted. This is because it accelerates more when it is done.
  • the opening degree of the accelerator may be kept constant and controlled only according to the loudness of the utterance, or may be controlled according to the product of the loudness of the utterance and the opening degree of the accelerator.
  • the number of utterances is also controlled so as to accelerate as the number of utterances increases.
  • FIG. 5 is an explanatory diagram showing an example of the relationship between the vocalization timing and the acceleration control when acceleration can be performed only before a certain period of time elapses.
  • the vehicle 18 can be accelerated only after a certain period of time has elapsed after the voice recognition means 1 recognizes the word.
  • the vehicle 18 accelerates by the first vocalization and the depression of the accelerator. From this point until a certain time t 0 , for example, 10 seconds elapses, the automobile 18 accelerates simply by depressing the accelerator without vocalization. However, after a certain period of time t 0 has passed, the automobile 18 cannot be accelerated only by depressing the accelerator, and can be accelerated again when the accelerator is depressed with vocalization.
  • FIG. 6 is an explanatory diagram showing an example of the relationship between the vocalization timing and the acceleration control when acceleration can be performed only before decelerating at a constant speed.
  • the vehicle 18 can be accelerated only before the vehicle 18 decelerates at a constant speed. The vehicle 18 accelerates by the first vocalization and the depression of the accelerator. Then, if the accelerator is depressed again before the accelerator is released and deceleration is started, further acceleration can be achieved.
  • the vehicle decelerates at a constant speed for example, 10 km / h by stepping on the brake, the automobile 18 cannot accelerate unless the accelerator is depressed, and the vehicle 18 may accelerate again when the accelerator is depressed with the vocalization. it can.
  • FIG. 7 is an explanatory diagram showing an example of a flowchart of the program according to the present invention.
  • the program can be automatically executed when the engine 7 is started, or the driver 9 can be executed at an arbitrary timing (S1).
  • APS3 detects the depression of the accelerator (S2). If a certain amount of time has passed or a certain speed is decelerated after the voice recognition means 1 recognizes a word registered in advance or a word having a characteristic learned in advance when the accelerator depression is detected, the vehicle is driven. 18 makes it impossible to accelerate (S3, S4). On the contrary, it is possible to accelerate before a certain time elapses or before decelerating at a certain speed (S3, S4).
  • AI Artificial Intelligence
  • Voice recognition means Microphone 3 APS 4 Accelerator pedal 5 ECU 6 Electronically controlled throttle valve 7 Engine 8 Throttle controller 9 Driver 10 Voice waveform data 11 Spectrogram (voiceprint) 12 Input layer 13 Convolutional layer 14 Pooling layer 15 Convolutional neural network 16 Fully connected layer 17 Output layer 18 ECU or throttle controller 19 Automobile

Abstract

従来技術に比べて、より簡易に実現することができ、かつ、信頼性の高い、アクセル及びブレーキの踏み間違い又は自動運転システムの誤作動等による交通事故の発生を防止するための加速制御システム、方法、プログラムを提供する。自動車の加速制御システムであって、前記自動車内において発せられる音声を認識する音声認識手段を備え、前記音声認識手段が、予め登録した言葉又は予め学習した特徴を有する言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする加速制御システム。前記自動車内において発せられる音声を認識する音声認識ステップを含み、前記音声認識ステップが、予め登録した言葉又は予め学習した特徴を有する言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする加速制御方法。コンピュータに前記加速制御方法を実行させるためのプログラム。

Description

自動車の加速制御システム、方法、プログラム
本発明は、自動車の加速制御技術に関する。より詳しくは、アクセル及びブレーキの踏み間違いによる交通事故の発生を防止するための加速制御システム、方法、プログラムに関する。尚、本発明では、解り易さの観点から、踏み間違いという用語を用いるが、アクセル又はブレーキは、ペダル式の場合に限定されるものではなくボタン式の場合も含む。ボタン式の場合には、本発明における踏み間違いという用語は、押し間違いを意味するものとする。又、ブレーキを用いないでアクセルのみで制動するタイプの電気自動車においては、単にアクセルの誤操作を意味するものとする。尚、音声認識を用いて自動車の加速を制御する本発明は、自動運転にも適用できる。この場合、本発明は、アクセル及びブレーキの踏み間違いではなく、自動運転システムの誤作動による交通事故の発生を防止するための加速制御システム、方法、プログラムに関する。
最近、自動車のアクセル及びブレーキを踏み間違えたことに起因する交通事故が多発している。この原因の一つにドライバーの高齢化が指摘されている。尚、本発明は、この高齢化を、特に脳を含む神経系の機能低下という側面から捉えている。今後は更に高齢化が進み、こうした交通事故の増加が予想され、対策は喫緊の課題とされている。この点、アクセル及びブレーキの踏み間違いによる交通事故の発生を防止するための技術は、これまでに多数提案されている。
例えば、特許文献1に、踏力検出手段により取得されたアクセルペダルの踏力に基づいて、運転者がアクセルペダルをブレーキペダルと踏み間違えているか否かを判定し、踏み間違えていると判定された場合、車両を減速又は停止させる技術が記載されている。
又、特許文献2に、背もたれやステアリングに加わる荷重を検出して、誤操作を判定し、減速手段を制御する技術が記載されている。
又、特許文献3に、運転者が緊急時に発する言葉をあらかじめ登録しておき、スロットル弁全開状態、すなわち、アクセル全開状態において、運転者が基準値以上の大きな声で前記緊急時に発する言葉を発したときに、アクセルペダルの誤操作があったものと判定する技術が記載されている。
又、センサで障害物を検知して加速を抑制する技術は既に実用化している。
更に、アクセルペダルを踏み込む以外の方法で自動車の加速制御をする技術として、例えば、特許文献4に、自動車を操作対象とする遠隔操作システムが記載されている。
特開2015-625号公報 特開2013-233893号公報 特開2004-100058号公報 特開2017-147626号公報
しかしながら、アクセル及びブレーキの踏み間違いによる交通事故の発生を防止するための従来技術には、以下のような問題点がある。
まず、特許文献1に開示された技術は、ペダルを踏み込む力は運転者の体調等によって変化するため、踏み間違いの判断基準として曖昧である。又、ペダルを踏み込む力の変化は、後述する脳の運動野からの指令が運動神経系を通って筋肉に伝わることによって生じるので、言語中枢は関与しない。特許文献2に開示された技術についても同様である。
特許文献1や特許文献2に開示された技術は、誤作動・誤操作の虞は依然としてあり、理論上は可能であっても実際の異常事態においては不確かであり信頼性が低い。確かに、本発明においても、運転者が言い間違いをする確率はゼロではない。しかし、運転者がアクセルとブレーキを踏み間違える確率に言い間違える確率を乗じることにより、加速すべきではないときに加速してしまう確率を大幅に低減することができる。
又、特許文献3に開示された技術については、咄嗟のときには声が出ない場合もあるため、緊急時に正しく機能するのか甚だ疑問である。緊急時に大きな声で予め登録した言葉を発することは極めて困難であり、そのような心理的余裕があるのであれば、アクセルペダルからブレーキペダルに踏み直すことも可能ではないかと考えられる。
これに対して、本発明では、運転者に対して、咄嗟のときに声を出すことを求めるのではなく、特許文献3に開示された技術とは逆に、平常時に声を出すことを求めるようにした。本発明は、緊急時ではなく平常時に言葉を発する習慣をつけるものであるから、特許文献3に開示された技術とは正反対の発想ないし動機に基づくものといえる。尚、特許文献3には、平常時に発する言葉を予め登録したり、本発明におけるような学習をしたり、登録若しくは学習した言葉を発しない限り平常時に加速できないようにするという内容の記載は無かったし、示唆もされていなかった。
又、特許文献3に記載のアクセルペダルの状態を検出する手段とは、スロットルポジションセンサからの信号を読み込み、スロットル弁が全開状態であれば、アクセル全開状態と判断し、そうでない場合には、アクセル全開状態にはないと判断するというものであり、所謂アクセルポジションセンサ(APS:Accelerator Position Sensor)とは異なる装備であった。したがって、現在広く普及している電子制御スロットル(DBW:Drive-By-Wire)に不可欠なアクセルポジションセンサではなかった。
これに対して、本発明では、例えば、スロットル弁全閉状態からスロットル弁を開いても良いか否かを運転者の発声に基づいて判断する。すなわち、運転者が特定の言葉を発しない限り、スロットルバルブを更に開かないようにする。したがって、本発明においては、特許文献3に記載のアクセルペダルの状態を検出する手段は不要である。よって、本発明は、特許文献3に開示された技術に比べて、より簡易に実現することができる。
尚、センサで障害物を検知して加速を抑制する技術は既に実用化している。しかし、自動車に対して直角でない障害物や構造上検知し難い障害物等、検知できない場合があり信頼性が十分とはいえない。又、このような場合に、自動車と障害物の間にいる人を轢いてしまう虞が無いとはいえない。
又、特許文献4に記載の自動車を操作対象とする遠隔操作システムは、確かに、アクセルペダル及びブレーキペダルの踏み間違いという問題は生じない。しかし、遠隔操作コントローラを操作するのは手指であり、後述する脳の運動野からの指令が運動神経系を通って筋肉に伝わるので、言語中枢は関与しないため、本発明におけるような信頼性を担保できるものではない。一方、本発明では、運転者が遠隔操作コントローラを誤って操作する確率に言い間違える確率を乗じることにより、加速すべきではないときに加速してしまう確率を大幅に低減することができる。
以上の従来技術の殆どは、運転者による操作、すなわち、脳の運動野や運動神経系の働きの結果生じる運転者の動きから、アクセル及びブレーキの踏み間違いを検知するものであった。こうした従来技術は、同じ手足の運動に基づいて判定を行うため、運転者自身による誤操作だけでなく、センサの誤検知も生じ易い。この点、本発明では、運転者による特定の言葉の発声をも条件とするため誤検知が生じ難い。
又、自動車を運転している時間を、アクセル及びブレーキを踏み間違えていない時間と踏み間違えている時間とに分けた場合に、以上の従来技術はいずれも、踏み間違えている時間に着目して、アクセルを制限したり、ブレーキを作動させたり、警報を発したりするものであった。したがって、アクセル及びブレーキを踏み間違えていない時間をも含めてアクセルを制限しようとする技術は従来存在しなかった。自動車は本来、人や物が高速に移動するために発明され、アクセルは自動車を加速させるための手段であり、自動車を減速又は停止させるのは専らブレーキの役割と考えられてきた。したがって、運転者が特定の言葉を発声すること等を加速の条件にして、平常時も含めて常にアクセルを制限しようとすることについては、その動機に乏しかったといえる。
そこで、本発明は、かかる従来技術の問題点を解決して、より簡易に実現することができ、かつ、信頼性の高い、アクセル及びブレーキの踏み間違い又は自動運転システムの誤作動等による交通事故の発生を防止するための加速制御システム、方法、プログラムを提供することを課題とするものである。
上記課題を解決するために、最初に考案した加速制御システムは、自動車の加速制御システムであって、前記自動車内において発せられる音声を認識する音声認識手段を備え、前記音声認識手段が、予め登録した言葉又は予め学習した特徴を有する言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする。
本発明は、アクセル及びブレーキの踏み間違いの原因の一つであるドライバーの高齢化を、特に脳を含む神経系の機能低下という側面から捉えている。すなわち、アクセル及びブレーキの踏み間違いを、ブレーキを踏み込めという脳からの指令が誤ってアクセルを踏み込めという指令として足の筋肉に伝わった結果として捉える。
この点、脳の機能に関する研究分野において、運動野が、意味のない声を発することを含む運動機能を司り、運動性言語中枢と呼ばれるブローカ野(Broca’s area)が、意味のある言葉を発声する役割をしていることが解明されている。
オートマチック車の場合、一般的には、同じ右足を使ってアクセル又はブレーキを踏み込むように設計されている。したがって、アクセルを踏み込もうとする場合も、ブレーキを踏み込もうとする場合も、いずれの場合においても、脳の運動野からの指令は同じ運動神経系を通って伝達されるものと考えられる。
アクセル及びブレーキを踏み間違える場合に、脳から筋肉に至るどの段階において誤りが生じるのかは明らかではない。しかし、意味のある言葉を発声する場合と手足を動かす場合とでは、指令を出す脳の部位、指令を伝達する運動神経系、使う筋肉のいずれもが異なっていることは明らかである。
したがって、ブレーキを踏み込むつもりがアクセルを踏み込んでしまったり、アクセルを踏み込むつもりがブレーキを踏み込んでしまったりすることは起こり得る。一方、言葉を発声するつもりが手足を動かしてしまったり、手足を動かすつもりが言葉を発声してしまったりするということは通常起こり得ない。
そこで、本発明は、この点に着目し、本発明に係る加速制御システムに予め登録した言葉又はコンピュータが予め学習した言葉を運転者が発声したときに限り、自動車が加速できるようにアクセルを制御する。すなわち、たとえ運転者がアクセルを踏み込んだとしても、予め登録した言葉又は予め学習した言葉を運転者が発声しない限り加速できないようにする。つまり、運転者が確信をもって自動車を加速させようとする場合を除き、加速できないようにするのである。これは、一見不便なようにも思え、便利さを追及する自動車の技術開発思想に反しているようにも思える。しかし、高齢化が進行し、高齢運転者の運転免許証返納の必要性が叫ばれている状況においては、多少の不便が生じたとしても止むを得ないものと考える。運転免許証返納はQOL(Quality Of Life)の大幅な低下に繋がりかねないからである。尚、本発明によって高齢運転者がアクセル及びブレーキの踏み間違いを恐れることなく運転できるようになるという意味においては、本発明は高齢運転者にとっての運転補助技術ということもできる。
又、何らかの原因で、心神喪失若しくは耗弱状態又は呂律が回らないような状態に陥った場合においては勿論のこと、慌てて普段通りの発声ができないような場合においても加速できないようにすることができるので、てんかん等の持病があったり薬を服用していたりする運転者や、ただ単に慌て易い性格の運転者にとっても非常に有益な技術である。この点において、特許文献3に開示された技術には問題があった。
本発明において、コンピュータが予め学習した特徴を有する言葉とは、アクセルを踏み込んだときに運転者が発声した言葉の音声データを入力、アクセルを踏み込んだ状態を出力として、学習用データセットを構成し、この学習用データセットに対して機械学習又は深層学習を行った結果に対して入力した場合に、アクセルを踏み込んだという出力が得られるような入力音声データである言葉を意味する。
例えば、運転者がアクセルペダルを踏み込むときは、いつも「加速」という言葉を発するようにする場合、運転者が発声した「加速」という言葉の音声波形データを、例えば25ms間隔で分割し、各分割区間についてフーリエ変換をしたスペクトルを時系列で並べると二次元の入力データを生成することができる。これを、例えば深層学習を行う場合には、畳み込みニューラルネットワーク(CNN:Convolutional neural network)の入力データとする。次に、教師信号として、アクセルペダルを踏み込んだ場合には1.0を、その他の場合には0.0を与えて学習用データセットを生成し、誤差逆伝播法(Backpropagation)を用いて学習する。これによって得られた学習済みのニューラルネットワークに対して、運転者の音声データに基づき生成した入力データを入力したときに、出力ユニットが予め定めるしきい値以上の値を出力すれば、運転者が「加速」と発声したと認識する。尚、本発明で用いるニューラルネットワークは、音声認識に用いることができるものであれば、その種類・構造を問わない。
尚、音声データは時系列データであり始点と終点が定まっていないため、長い言葉を学習する場合には、リカレントニューラルネットワーク(RNN:Recurrent Neural Network)を用いるようにしてもよい。
又、ニューラルネットワークを用いない音声認識手段としては、例えば「加速」という音声波形データを例えば25ms間隔で分割し、各分割区間についてフーリエ変換をしたスペクトルを解析してka・so・ku等の音素に分解し、得られた音素の並びを、音響モデル及び言語モデルと比較することによって最も確からしい言葉を認識結果とする方法も考えられる。
本発明における音声認識手段は、ニューラルネットワークを用いた音声認識手段に限定されず、隠れマルコフモデル(HMM:Heidden Markov Model)等、運転者が発声した言葉を認識することができる技術は広く含まれる。
尚、本発明に係る加速制御システムは、現実の事故発生状況を踏まえ、低速域においてのみ機能するようにしてもよい。この場合の低速域は、例えば、停車状態から発進する場合には時速10km以下、走行状態から減速停止する場合には時速20km以下等と定義することができる。又、本発明に係る加速制御システムが機能する速度域を運転者が予め設定できるようにしてもよい。
次に、請求項1記載の加速制御システムは、自動車の加速制御システムであって、予め学習したアクセルを踏み込むときの運転者の発声の特徴を有する言葉を前記運転者が発声したことを認識する音声認識手段を備え、前記音声認識手段が前記言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする。
これにより、同乗者が発した言葉と運転者が発した言葉を混同することを防止できるようになる。例えば、運転者が加速することを意図していないときに誤ってアクセルを踏み込んでしまった場合に、仮に、同乗者が混乱して「加速して」等と発したとしても、自動車が加速してしまうような事態を防止できるようになる。
次に、請求項2記載の加速制御システムは、請求項1に記載の加速制御システムにおいて、前記音声認識手段が前記言葉を認識した後に、一定時間経過する前に限り、前記自動車が加速できるようにしたことを特徴とする。尚、一定時間は、例えば、10秒に設定する。又、自由に調節できるようにしてもよい。
これにより、例えば高速道路において、運転者が何回かに分けてアクセルペダルを踏み込んで加速することを意図しているような場合に、運転者が前記言葉を発しなければならない頻度を予め調節することができるようになる。又、運転者が前記言葉を発してから一定時間経過後にパーキングエリア等に入ったような場合に、運転者が意図しないのに加速してしまうことを防止できるようになる。
次に、請求項3記載の加速制御システムは、請求項1に記載の加速制御システムにおいて、前記音声認識手段が前記言葉を認識した後に、前記自動車が一定速度減速する前に限り、前記自動車が加速できるようにしたことを特徴とする。尚、一定速度は、例えば、時速10kmに設定する。又、自由に調節できるようにしてもよい。
これにより、例えば高速道路において、運転者が何回かに分けてアクセルペダルを踏み込んで加速することを意図しているような場合に、運転者が前記言葉を発しなければならない頻度を予め調節することができるようになる。又、減速してパーキングエリア等に入ったような場合に、運転者が意図しないのに加速してしまうことを防止できるようになる。
次に、請求項4記載の加速制御システムは、請求項1から3のいずれかに記載の加速制御システムにおいて、前記音声認識手段がニューラルネットワークを用いて前記学習を行うことを特徴とする。
これにより、高精度な音声認識を実現できるとともに、汎化性が高くロバストな処理が可能になりシステムの信頼性を向上させることができるようになる。
次に、請求項5記載の加速制御システムは、請求項1から4のいずれかに記載の加速制御システムにおいて、前記運転者の発声の大きさ又は回数に応じて、エンジン車におけるスロットルバルブの開度若しくはフューエルインジェクターの燃料噴射量又は電気自動車におけるモーターに供給する交流電力の周波数若しくは振幅を制御できるようにしたことを特徴とする。
これにより、加速するか否かだけでなく、どれだけ加速するのかに関しても、踏み間違いを防止できるようになる。例えば、少しだけ加速することを意図していたにも関わらず誤って強くアクセルペダルを踏み込んでしまったような場合に、大きな声で「加速」等と発声していない限り、急加速しないようにすることができる。
次に、請求項6記載の加速制御システムは、請求項1から5のいずれかに記載の加速制御システムにおいて、前記音声認識手段が携帯端末に内蔵され、前記携帯端末と前記自動車が無線で連接されることを特徴とする。
これにより、スマートフォン、タブレット型端末、ウェアラブル端末等の各種携帯端末の音声認識機能を利用できるようになり、低コスト化につながる。尚、無線ではなくケーブルでシステムに連接することになると考えられるが、本発明においては、カーナビゲーションシステムの音声認識機能を利用することもできる。
請求項7記載の加速制御システムは、請求項1から6のいずれかに記載の加速制御システムにおいて、複数の前記言葉の中から最も高い認識精度が得られる言葉を特定する手段を備えることを特徴とする。
複数の前記言葉の中から最も高い認識精度が得られる言葉を特定する手段は、音声波形入力データとアクセル踏み込みに関する出力データからなるデータセットを認識精度検証用として、学習用とは別に蓄積しておく。次に、この検証用データセットを用いて、それぞれの言葉に対する認識精度を算出し、比較する。そして、最も高い認識精度が得られる言葉を特定する。これにより、一般に雑音が多くSN比が小さな車内において、最も認識精度が高い言葉を運転者に対して推奨することができるようになる。
次に考案した加速制御方法は、自動車の加速制御方法であって、前記自動車内において発せられる音声を認識する音声認識ステップを含み、前記音声認識ステップが、予め登録した言葉又は予め学習した特徴を有する言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする。
次に、請求項8記載の加速制御方法は、自動車の加速制御方法であって、予め学習したアクセルを踏み込むときの運転者の発声の特徴を有する言葉を前記運転者が発声したことを認識する音声認識ステップを含み、前記音声認識ステップが前記言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする。
次に、請求項9記載の加速制御方法は、請求項8に記載の加速制御方法において、前記音声認識ステップが前記言葉を認識した後に、一定時間経過する前に限り、前記自動車が加速できるようにしたことを特徴とする。
次に、請求項10記載の加速制御方法は、請求項8に記載の加速制御方法において、前記音声認識ステップが前記言葉を認識した後に、前記自動車が一定速度減速する前に限り、前記自動車が加速できるようにしたことを特徴とする。
次に、請求項11記載の加速制御方法は、請求項8から10のいずれかに記載の加速制御方法において、前記音声認識ステップがニューラルネットワークを用いて前記学習を行うことを特徴とする。
次に、請求項12記載の加速制御方法は、請求項8から11のいずれかに記載の加速制御方法において、前記運転者の発声の大きさ又は回数に応じて、エンジン車におけるスロットルバルブの開度若しくはフューエルインジェクターの燃料噴射量又は電気自動車におけるモーターに供給する交流電力の周波数若しくは振幅を制御するようにしたことを特徴とする。
次に、請求項13記載の加速制御方法は、請求項8から12のいずれかに記載の加速制御方法において、前記音声認識ステップが携帯端末を用い、前記携帯端末と前記自動車が無線で連接されることを特徴とする。
請求項14記載の加速制御方法は、請求項8から13のいずれかに記載の加速制御方法において、複数の前記言葉の中から最も高い認識精度が得られる言葉を特定するステップを含むことを特徴とする。
次に、請求項15記載のプログラムは、コンピュータに請求項8から14のいずれかに記載の加速制御方法を実行させるためのプログラムである。
これにより、請求項8から14のいずれかに記載の加速制御方法をコンピュータにおいて実行させることができるようになる。
アクセル及びブレーキの踏み間違い等による交通事故の発生を、従来技術よりも簡易に、かつ、高い信頼性をもって防止することができる。
図1は、本発明の実施形態に係る加速制御システムのシステム構成の一例を示す説明図である。 図2は、スロットルコントローラを用いる場合の、本発明の実施形態に係る加速制御システムのシステム構成の一例を示す説明図である。 図3は、DNNを用いる場合の、本発明の実施形態に係る音声認識手段の一例を示す説明図である。 図4は、発声の大きさに応じた加速制御の一例を示す説明図である。 図5は、一定時間経過する前に限り加速できるようにした場合の発声タイミングと加速制御の関係の一例を示す説明図である。 図6は、一定速度減速する前に限り加速できるようにした場合の発声タイミングと加速制御の関係の一例を示す説明図である。 図7は、本発明に係るプログラムのフローチャートの一例を示す説明図である。
以下に、本発明の最良の実施の形態に係る自動車の加速制御システム、方法、プログラムの実施例について図面を参照しながら説明する。可能な限り、同一部分には同一符号を付し、重複する説明を省略する。又、課題を解決するための手段に記載した内容及び公知技術文献における記載と重複する内容はできるだけ省略する。
図1は、本発明に係る加速制御システムのシステム構成の一例である。音声認識手段1は、携帯端末やカーナビの音声認識機能を活用することもできる。例えば、携帯端末の場合、スマートフォン、タブレット型端末、ウェアラブル端末等とECU5を無線で連接する。又、カーナビの場合、カーナビとECU5をケーブル又は無線で連接する。又、図2に示すようにスロットルコントローラ8を用いることも考えられる。この場合、音声認識手段1による認識結果に応じてアクセルの開度信号を変化させるようにする。更には、エンジン車の場合はECU5やスロットルコントローラ8、電気自動車の場合はインバーターに音声認識プログラムを組み込み、これにマイク2を接続する構成も考えられる。
APS3は、アクセルペダル4の踏み込みをセンサで検知する。ECU5は、音声認識手段1及びAPS3からの出力信号を受けて、電子制御スロットルバルブ6のスロットルモーターに電気的に情報を伝達しバルブを開閉し、エンジン7の出力を制御する。尚、電気自動車の場合には、エンジン7はモーターに、電子制御スロットルバルブ6はインバーターに置き換えられる。
スロットルバルブの開閉には、従来からある機械式制御(メカニカルワイヤー方式)や現在広く普及している電子制御スロットル(DBW:Drive-By-Wire)が用いられる。機械式制御の場合には、アクセルワイヤーを用いてスロットルバルブを開閉する。電子制御スロットルの場合には、アクセルポジションセンサ(APS:Accelerator Position Sensor)からエンジンコントロールユニット(ECU:Electronic Control Unit)、スロットルモーターに電気的に情報を伝達しバルブを開閉する。
音声認識手段1が、予め登録した言葉又は予め学習した特徴を有する言葉を認識しない場合には、前者では機械的に、後者では電気的に、アクセルペダル4からスロットルバルブへの情報伝達を遮断する処理を行う。図1の実施例では、ECU5において、この処理を行うようにしている。
尚、最近では、スロットルコントローラと呼ばれる装置が安価で販売されており、これを用いることによって、容易にアクセル情報を遮断することができる。図2は、スロットルコントローラ8を用いる場合のシステム構成の一例である。スロットルコントローラ8とは、電子制御スロットル搭載車のアクセルレスポンスを制御する電子部品のことであり、アクセルとECU5の間に備え、アクセルの開度信号を変化させることによってエンジン出力を変化させるものである。
スロットルコントローラ8は、カプラーオンで取り付けが可能であり、一般的には、アクセルレスポンスを良くするために用いられるが、本発明におけるように、一定の場合に限りアクセル情報をECU5に伝達するようにプログラムすることも可能である。本発明では、音声認識手段1が、予め登録した言葉又は予め学習した特徴を有する言葉を認識したときに限りAPS3からの信号をECU5に伝達するように、スロットルコントローラ8をプログラムする。尚、電気自動車の場合には、例えばインバーターにおいてモーターへの電力供給を遮断ないし制御する。
このようにして、運転者の音声に応じて、運転者がアクセルペダル4を踏み込んだ時のスロットルバルブの開度又はモーターへの電力供給を制御する。
図3は、音声認識手段1においてニューラルネットワークを用いる場合の処理の流れを示す説明図である。音声認識手段1の前処理として音声区間を検出する。静かな車内であれば音声波形の零交差による検出も可能である。しかし、一般に雑音が多くSN比が小さな車内では、確率分布モデルを用いたモデル補償等が必要である。
ニューラルネットワークとしては、ディープニューラルネットワーク(DNN:Deep Neural Network)やリカレントニューラルネットワーク(RNN:Recurrent Neural Network)等を用いることができる。本発明の音声認識手段1は、運転者が加速しようとするときに発する言葉を認識することができるものであれば、その形態を問わない。本実施例では、入力層12、畳込み層13、プーリング層14、全結合層16、出力層17からなる一般的な畳込みニューラルネットワーク15を採用する。尚、中間層を多層にする程、精度は向上するが計算コストが増大する。
本実施例では、音声波形データ10をスペクトログラム(声紋)11に変換した画像を学習用入力データとし、アクセルペダル4を踏み込んだときは教師信号1.0、その他のときは教師信号0.0として、逐次、学習用データセットを構成しながら、学習を行う。これによって、長時間運転を続けるうちに学習用データを蓄積しつつ、認識精度を向上させることができる。又、学習モードと運用モードを切り替え可能にして、走行していない時、例えば、夜間駐車中等にまとめて学習を行うこともできる。尚、入力層12に音声波形データ10を直接入力することもできる。しかし、事前に特徴抽出をする方が良い結果が得られるため、本実施例では、音声波形データ10をスペクトログラム(声紋)11に変換した画像を入力データとする。
本実施例における畳込みニューラルネットワーク15では、出力ユニットを一つにして、加速するのか否かを出力する。出力ユニットは複数にすることもできる。例えば、二つにして、一方を加速する場合に、他方を加速しない場合に対応させることもできる。又、リカレントニューラルネットワークの場合には、音素の数だけ出力ユニットを用意して、時系列で出力した音素列を言語モデルと照合して最も確からしい言葉を認識結果とする。本発明における音声認識は、大規模語彙を連続して認識させるような音声認識ではなく、一つないし数個の言葉を認識させるに過ぎないので、小規模畳込みニューラルネットワークでも必要な認識精度を得ることができる。
本実施例では、学習済みの畳込みニューラルネットワーク15に、スペクトログラム(声紋)11を入力し、出力ユニットの出力信号をECU又はスロットルコントローラ18に送信する。
図4は、発声の大きさに応じた加速制御の一例を示す説明図である。図4の上段は、運転者9が普通の大きさの声で、予め登録した言葉又は予め学習した特徴を有する言葉を発した場合を表している。図4の下段は、運転者9が大きな声で、予め登録した言葉又は予め学習した特徴を有する言葉を発した場合を表している。自動車18は時刻tにおいて同じ位置にあったが、大きな声を発した場合の方が時刻t+1において、より遠くまで到達している。運転者9の発声の大きさに応じて、エンジン車におけるスロットルバルブの開度若しくはフューエルインジェクターの燃料噴射量又は電気自動車におけるモーターに供給する交流電力の周波数若しくは振幅を制御する結果、大きな声を発した場合の方がより大きく加速されるからである。この際、アクセルの開度を一定にして発声の大きさのみに応じて制御するようにしてもよいし、発声の大きさとアクセルの開度の積に応じて制御するようにしてもよい。発声回数についても、回数が多いほど加速するように制御する。
図5は、一定時間経過する前に限り加速できるようにした場合の発声タイミングと加速制御の関係の一例を示す説明図である。音声認識手段1が前記言葉を認識した後に、一定時間経過する前に限り、自動車18が加速できるようにする。最初の発声及びアクセル踏み込みによって自動車18は加速する。この時点から一定時間t、例えば10秒間経過するまでの間は、発声を伴わなくてもアクセルを踏み込むだけで自動車18は加速する。しかし、一定時間tを経過した後は、アクセルを踏み込むだけでは自動車18は加速できず、発声とともにアクセルを踏み込んだときに再び加速することができる。
図6は、一定速度減速する前に限り加速できるようにした場合の発声タイミングと加速制御の関係の一例を示す説明図である。音声認識手段1が前記言葉を認識した後に、自動車18が一定速度減速する前に限り、自動車18が加速できるようにする。最初の発声及びアクセル踏み込みによって自動車18は加速する。そして、アクセル踏み込みを解除して減速を始める前に再びアクセルを踏み込むと、更に加速することができる。しかし、ブレーキを踏むなどして、一定速度、例えば時速10km減速した場合には、アクセルを踏み込んでも発声を伴わない限り自動車18は加速できず、発声とともにアクセルを踏み込んだときに再び加速することができる。
図7は、本発明に係るプログラムのフローチャートの一例を示す説明図である。エンジン7を始動するとプログラムが自動的に実行されるようにしたり、あるいは、任意のタイミングで運転者9が実行できるようにしたりすることができる(S1)。次に、APS3によってアクセルの踏み込みを検知する(S2)。アクセルの踏み込みを検知した時点が、音声認識手段1が予め登録した言葉又は予め学習した特徴を有する言葉を認識した後に、一定時間経過していたり、一定速度減速していたりした場合には、自動車18は加速できないようにする(S3、S4)。反対に、一定時間経過する前又は一定速度減速する前であれば、加速できるようにする(S3、S4)。
幼い子供達をはじめとする多くの人々の安心安全につながる。高齢者ドライバーの運転免許証返納等に伴うQOL低下の防止とともに、超高齢化社会における経済活力の維持につながる可能性がある。又、人工知能(AI:Artificial Intelligence)の活用分野が更に拡がる可能性がある。
  1 音声認識手段
2 マイク
3 APS
4 アクセルペダル
5 ECU
6 電子制御スロットルバルブ
7 エンジン
8 スロットルコントローラ
9 運転者
10 音声波形データ
11 スペクトログラム(声紋)
12 入力層
13 畳込み層
14 プーリング層
15 畳込みニューラルネットワーク
16 全結合層
17 出力層
18 ECU又はスロットルコントローラ
19 自動車
 

Claims (15)

  1. 自動車の加速制御システムであって、
    予め学習したアクセルを踏み込むときの運転者の発声の特徴を有する言葉を前記運転者が発声したことを認識する音声認識手段を備え、
    前記音声認識手段が前記言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする加速制御システム。
  2. 前記音声認識手段が前記言葉を認識した後に、一定時間経過する前に限り、前記自動車が加速できるようにしたことを特徴とする請求項1に記載の加速制御システム。
  3. 前記音声認識手段が前記言葉を認識した後に、前記自動車が一定速度減速する前に限り、前記自動車が加速できるようにしたことを特徴とする請求項1に記載の加速制御システム。
  4. 前記音声認識手段がニューラルネットワークを用いて前記学習を行うことを特徴とする請求項1から3のいずれかに記載の加速制御システム。
  5. 前記運転者の発声の大きさ又は回数に応じて、エンジン車におけるスロットルバルブの開度若しくはフューエルインジェクターの燃料噴射量又は電気自動車におけるモーターに供給する交流電力の周波数若しくは振幅を制御できるようにしたことを特徴とする請求項1から4のいずれかに記載の加速制御システム。
  6. 前記音声認識手段が携帯端末に内蔵され、前記携帯端末と前記自動車が無線で連接されることを特徴とする請求項1から5のいずれかに記載の加速制御システム。
  7. 複数の前記言葉の中から最も高い認識精度が得られる言葉を特定する手段を備えることを特徴とする請求項1から6のいずれかに記載の加速制御システム。
  8. 自動車の加速制御方法であって、
    予め学習したアクセルを踏み込むときの運転者の発声の特徴を有する言葉を前記運転者が発声したことを認識する音声認識ステップを含み、
    前記音声認識ステップが前記言葉を認識したときに限り、前記自動車が加速できるようにしたことを特徴とする加速制御方法。
  9. 前記音声認識ステップが前記言葉を認識した後に、一定時間経過する前に限り、前記自動車が加速できるようにしたことを特徴とする請求項8に記載の加速制御方法。
  10. 前記音声認識ステップが前記言葉を認識した後に、前記自動車が一定速度減速する前に限り、前記自動車が加速できるようにしたことを特徴とする請求項8に記載の加速制御方法。
  11. 前記音声認識ステップがニューラルネットワークを用いて前記学習を行うことを特徴とする請求項8から10のいずれかに記載の加速制御方法。
  12. 前記運転者の発声の大きさ又は回数に応じて、エンジン車におけるスロットルバルブの開度若しくはフューエルインジェクターの燃料噴射量又は電気自動車におけるモーターに供給する交流電力の周波数若しくは振幅を制御するようにしたことを特徴とする請求項8から11のいずれかに記載の加速制御方法。
  13. 前記音声認識ステップが携帯端末を用い、前記携帯端末と前記自動車が無線で連接されることを特徴とする請求項8から12のいずれかに記載の加速制御方法。
  14. 複数の前記言葉の中から最も高い認識精度が得られる言葉を特定するステップを含むことを特徴とする請求項8から13のいずれかに記載の加速制御方法。
  15. コンピュータに請求項8から14のいずれかに記載の加速制御方法を実行させるためのプログラム。
PCT/JP2020/026532 2019-08-05 2020-07-07 自動車の加速制御システム、方法、プログラム WO2021024678A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-143457 2019-08-05
JP2019143457A JP6644455B1 (ja) 2019-08-05 2019-08-05 自動車の加速制御システム、方法、プログラム

Publications (1)

Publication Number Publication Date
WO2021024678A1 true WO2021024678A1 (ja) 2021-02-11

Family

ID=69412080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026532 WO2021024678A1 (ja) 2019-08-05 2020-07-07 自動車の加速制御システム、方法、プログラム

Country Status (2)

Country Link
JP (1) JP6644455B1 (ja)
WO (1) WO2021024678A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243745B1 (ko) 2019-07-09 2021-04-23 장윤우 단열 창호 시스템 및 그 시공 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005280584A (ja) * 2004-03-30 2005-10-13 Toyota Industries Corp 車両の誤操作防止装置
JP2010059820A (ja) * 2008-09-02 2010-03-18 Toyota Motor Corp 駆動力制御装置
JP2014041450A (ja) * 2012-08-22 2014-03-06 Mitsubishi Motors Corp 運転支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5037018B2 (ja) * 2006-01-31 2012-09-26 ヤマハ発動機株式会社 音声認識装置および音声認識方法
JP2019073242A (ja) * 2017-10-19 2019-05-16 株式会社カーメイト チャイルドシート

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005280584A (ja) * 2004-03-30 2005-10-13 Toyota Industries Corp 車両の誤操作防止装置
JP2010059820A (ja) * 2008-09-02 2010-03-18 Toyota Motor Corp 駆動力制御装置
JP2014041450A (ja) * 2012-08-22 2014-03-06 Mitsubishi Motors Corp 運転支援装置

Also Published As

Publication number Publication date
JP2021024415A (ja) 2021-02-22
JP6644455B1 (ja) 2020-02-12

Similar Documents

Publication Publication Date Title
EP2045140B1 (en) Adjustment of vehicular elements by speech control
JP4682714B2 (ja) 対話システム
US20190016344A1 (en) Method for adjusting at least one operating parameter of a transportation vehicle, system for adjusting at least one operating parameter of a transportation vehicle, and transportation vehicle
US9196248B2 (en) Voice-interfaced in-vehicle assistance
US8560313B2 (en) Transient noise rejection for speech recognition
US20120209609A1 (en) User-specific confidence thresholds for speech recognition
JP7235441B2 (ja) 音声認識装置及び音声認識方法
JP6677126B2 (ja) 車両用対話制御装置
WO2021024678A1 (ja) 自動車の加速制御システム、方法、プログラム
US20230373467A1 (en) Setting change assist apparatus
CN109102801A (zh) 语音识别方法和语音识别装置
CN114969247A (zh) 问答系统及其控制方法
JPH11119792A (ja) 音声認識機能付き機器制御装置および音声認識装置
CN113157080A (zh) 用于车辆的指令输入方法、存储介质、系统及车辆
US11273778B1 (en) Vehicle voice user interface
US11404075B1 (en) Vehicle voice user interface
JP3384165B2 (ja) 音声認識装置
US20230419965A1 (en) Emotion detection in barge-in analysis
CN114194122B (zh) 一种安全提示系统及汽车
KR102491119B1 (ko) 차량용 음성 인식 장치, 이를 이용한 차량 문제상황 처리 방법 및 컴퓨터 프로그램
JPS59180600A (ja) 車載用音声認識制御装置
CN111559341A (zh) 汽车声纹识别控制系统及其控制方法
KR102527346B1 (ko) 차량용 음성 인식 장치, 이를 이용한 차량의 주행상태를 고려한 응답 제공 방법 및 컴퓨터 프로그램
CN110880321B (zh) 基于语音的智能刹车方法、装置、设备及存储介质
CA1294356C (en) Voice actuated vehicle speed control system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20849686

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20849686

Country of ref document: EP

Kind code of ref document: A1