WO2021210088A1 - 収集システム、収集装置、その方法、およびプログラム - Google Patents

収集システム、収集装置、その方法、およびプログラム Download PDF

Info

Publication number
WO2021210088A1
WO2021210088A1 PCT/JP2020/016537 JP2020016537W WO2021210088A1 WO 2021210088 A1 WO2021210088 A1 WO 2021210088A1 JP 2020016537 W JP2020016537 W JP 2020016537W WO 2021210088 A1 WO2021210088 A1 WO 2021210088A1
Authority
WO
WIPO (PCT)
Prior art keywords
passenger
sensor
data
unit
vehicle
Prior art date
Application number
PCT/JP2020/016537
Other languages
English (en)
French (fr)
Inventor
小林　和則
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022514913A priority Critical patent/JPWO2021210088A1/ja
Priority to US17/918,291 priority patent/US20230154484A1/en
Priority to PCT/JP2020/016537 priority patent/WO2021210088A1/ja
Publication of WO2021210088A1 publication Critical patent/WO2021210088A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit

Definitions

  • the present invention relates to a method of collecting sensor information acquired by a sensor installed in a vehicle such as an automobile.
  • the car is equipped with various sensors. For example, there are various functions such as a function to detect objects and people in front using camera images, object detection using LiDER (light detection and ringing), surrounding object detection using microphones or ultrasonic sensors, GPS and speedometers, etc.
  • a sensor is provided (see Non-Patent Document 1). Utilizing these sensors, safety functions and autonomous driving systems are being developed.
  • automobiles are connected to mobile networks to collect sensor information and use it for the development of safety functions and autonomous driving systems.
  • An object of the present invention is to provide a collection system, a collection device, a method, and a program for efficiently collecting data of an abnormal state (hereinafter, also referred to as "abnormal data") important for safety functions and automatic driving. ..
  • the collection system collects anomalous data acquired by a vehicle or a sensor attached to a passenger on the vehicle.
  • the collection system includes a passenger sensor unit that senses passengers, and a judgment acquisition unit that acquires abnormal data from data related to vehicles excluding passengers based on sensor information that is data acquired by the passenger sensor unit.
  • the determination acquisition unit determines the danger based on the action taken by a human when the danger is detected or the changing biological information, and the time determined to be dangerous is continuous with the time before or after the time.
  • the data acquired by the sensor at a predetermined length of time is acquired as abnormal data.
  • the collecting device is one or more data acquired by a vehicle or one or more sensors attached to a passenger in the vehicle. Collect sensor information.
  • the collection device is a voice recognition unit that performs voice recognition using the voice signal picked up by the sound collection unit attached to the vehicle or the passenger on the vehicle, and when a human detects danger in the voice recognition result. If the voice recognition result contains words that are spoken, if the speech recognition results do not include words that are spoken when a human detects a danger, the transmission data selection unit that selects more sensor information and the selection via the communication line are selected. It includes a data transmission unit that transmits sensor information to a data collection server.
  • the collection system collects anomalous data acquired by a vehicle or a sensor attached to a passenger on the vehicle.
  • the collection system determines whether the sound pick-up unit that picks up the acoustic signal emitted from the outside of the space where the passenger of the vehicle stays and the picked-up signal contains crushing, and determines that the crushing is included. It includes a time and a determination acquisition unit that acquires data acquired by the sensor as abnormal data at a predetermined length of time that is continuous before or after the time.
  • FIG. 1 shows a functional block diagram of the collection system according to the first embodiment
  • FIG. 2 shows a processing flow thereof.
  • the collection system 100 includes a collection device 110 installed in the automobile 90, N sensors 130-n, and a data collection server 140 installed in the data center 80.
  • the collection device 110 and the data collection server 140 are connected via a communication line.
  • the collection device 110 includes an abnormality detection unit 111, a transmission data selection unit 112, and a data transmission unit 113.
  • Communication lines include, for example, mobile networks.
  • the N sensors 130-n convert the target physical and chemical phenomena into electrical signals and data (sensor information) that can be handled by the collection device 110 (S130), and output them to the collection device 110. do.
  • the collection device 110 receives N sensor information and transmits the abnormality data included in the N sensor information to the data collection server 140 (S110).
  • the data collection server 140 receives and stores the abnormal data (S140).
  • the abnormal data stored in the data collection server 140 can be used when developing a safety function or an automatic driving system. Since an existing data server can be used as the data collection server 140, the description thereof will be omitted below.
  • the collection device is, for example, a special device configured by loading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. Is.
  • the collecting device executes each process under the control of the central processing unit, for example.
  • the data input to the collection device and the data obtained by each process are stored in the main storage device, for example, and the data stored in the main storage device is read out to the central processing unit as needed and used for other processing devices. Used for processing.
  • At least a part of each processing unit of the collecting device may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the collection device can be configured by, for example, a main storage device such as RAM (Random Access Memory) or middleware such as a relational database or a key-value store.
  • a main storage device such as RAM (Random Access Memory) or middleware such as a relational database or a key-value store.
  • middleware such as a relational database or a key-value store.
  • each storage unit does not necessarily have to be provided inside the collection device, and is configured by an auxiliary storage device composed of semiconductor memory elements such as a hard disk, an optical disk, or a flash memory, and is outside the collection device. It may be configured to prepare for.
  • N sensors 130-n are attached to the inside or outside of the automobile 90, or to the passenger in the automobile.
  • the sensor 130-n can convert the target physical and chemical phenomena into electrical signals and data (sensor information) that can be handled by the collecting device 110 and output them to the collecting device 110. Anything may be used, for example, a camera, a microphone, a GPS, a speedometer, or a biological sensor such as a brain wave sensor or a heart rate sensor that senses biological information of a passenger in a car 90.
  • a sensor that outputs predetermined information using output values of a camera, microphone, GPS, speedometer, or the like may be used.
  • a sensor that detects an object using and ranging), a sensor that detects an surrounding object using a microphone or an ultrasonic sensor, or the like may be used.
  • the N sensors 130-n are connected to the collecting device 110 by wire or wirelessly, and the collecting device 110 can receive the sensor information output by the N sensors 130-n.
  • At least one of the N sensors 130-n is a microphone.
  • the Nth sensor 130-N is used as a microphone.
  • the microphone may be installed in a place where the sound emitted by the passenger inside the automobile 90 can be easily picked up, or may be attached to the passenger's head like a headset. The point is that the microphone should be able to pick up the sound emitted by the passenger.
  • the microphone collects the voice emitted by the passenger and outputs a voice signal.
  • the collection device 110 receives N sensor information and transmits the abnormality data included in the N sensor information to the data collection server 140.
  • N sensor information receives N sensor information and transmits the abnormality data included in the N sensor information to the data collection server 140.
  • the data collection server 140 receives N sensor information and transmits the abnormality data included in the N sensor information to the data collection server 140.
  • the abnormality detection unit 111 receives an audio signal picked up by a microphone as an input, detects an abnormality using the audio signal (S111), and outputs a detection result.
  • the N sensors 130-n include a microphone, and the N sensor information includes an audio signal picked up by the microphone.
  • three examples of abnormality detection will be given.
  • FIG. 3 shows a functional block diagram of the abnormality detection unit according to the detection example 1, and FIG. 4 shows an example of the processing flow.
  • the abnormality detection unit 111 includes a voice recognition unit 111A and an abnormality word detection unit 111B.
  • the voice recognition unit 111A receives the voice signal as an input, performs voice recognition using the voice signal (S111A), and outputs the voice recognition result.
  • the abnormal word detection unit 111B receives the voice recognition result as an input, and determines whether or not the voice recognition result includes a word (hereinafter, also referred to as an abnormal word) that is emitted when a human detects a danger (S111B). Output the judgment result. This determination result corresponds to the detection result which is the output value of the abnormality detection unit 111.
  • abnormal words are stored in advance in a storage unit (not shown), and the abnormal word detecting unit 111B determines whether or not the stored abnormal words match at least a part of the voice recognition result, and matches the stored abnormal words. If an abnormal word exists, it is determined to be an abnormal state. Examples of abnormal words include “dangerous”, “surprised”, “ah”, and "stop".
  • FIG. 5 shows a functional block diagram of the abnormality detection unit according to the detection example 2, and FIG. 6 shows an example of the processing flow.
  • the abnormality detection unit 111 includes a volume estimation unit 111C and an abnormality volume detection unit 111D.
  • the volume estimation unit 111C takes an audio signal as an input, calculates the level of the audio signal (S111C), and outputs the level.
  • the abnormal volume detection unit 111D takes a level as an input, and if the level is equal to or higher than a preset level (threshold value) or is higher than the threshold value, it determines that it is in an abnormal state (S111D) and outputs a determination result. This determination result corresponds to the detection result which is the output value of the abnormality detection unit 111.
  • the detection example 1 and the detection example 2 may be combined. For example, if both become abnormal, the abnormal state is set, or if either of them becomes an abnormal state, the abnormal state is set.
  • the abnormality is detected based on the voice emitted by a human, but the abnormality is not limited to the voice, and the action performed when the human detects the abnormality, the change in the biological signal, etc. are used.
  • Abnormality may be detected.
  • human behavior and changes in biological information are used as sensors for detecting abnormalities.
  • sensors other than microphones may be used to obtain information from humans.
  • an acceleration sensor or millimeter-wave radar attached to a seat or the like detects quick movements of the body caused by surprise when an abnormality is detected.
  • a pressure sensor attached to the steering wheel detects that the strength of gripping the steering wheel has increased.
  • a sensor that senses these passengers is also referred to as a passenger sensor unit.
  • FIG. 7 shows a functional block diagram of the abnormality detection unit according to the detection example 3, and FIG. 8 shows an example of the processing flow.
  • the abnormality detection unit 111 includes the horn detection unit 111E.
  • the microphone may be installed inside or outside the automobile 90, which easily collects the horn sound of the own vehicle or another vehicle. In this detection example, the microphone picks up an acoustic signal emitted from outside the space in which the passenger stays.
  • the horn detection unit 111E receives an audio signal as an input, detects the presence or absence of horns of the own vehicle or another vehicle from the audio signal (S111E), and outputs the horn. If there is a horn, it is determined to be an abnormal state.
  • FIG. 9 shows a functional block diagram of Example 1 of the horn detection unit 111E
  • FIG. 10 shows an example of the processing flow.
  • the horn detection unit 111E includes a frequency analysis unit 111E-1, a likelihood calculation unit 111E-2, and a threshold value determination unit 111E-3.
  • the frequency analysis unit 111E-1 takes an audio signal as an input and converts the audio signal in the time domain into an audio signal in the frequency domain. As a conversion method, a Fourier transform or the like is used. The frequency analysis unit 111E-1 outputs a signal based on the audio signal in the frequency domain. As the signal based on the audio signal in the frequency domain, the audio signal itself in the frequency domain, the power spectrum, the mel spectrum, and the like can be considered. For example, the frequency analysis unit 111E-1 converts the power of the audio signal in the frequency domain into a power spectrum by calculating the power of the audio signal in the frequency domain, or averages the audio signal in the frequency domain on a logarithmic scale to obtain the mel spectrum.
  • the likelihood calculation unit 111E-2 takes a signal based on an audio signal in the frequency domain as an input, collectively inputs one frame or a plurality of frames to the neural network, obtains a likelihood indicating the presence or absence of a cracking sound, and outputs the likelihood.
  • the neural network is a model trained using a signal based on an audio signal in the frequency domain and a label indicating whether or not the horn is sounded as training data. Further, the neural network is a model that takes a signal based on a voice signal in the frequency domain as an input and outputs a likelihood indicating the presence or absence of a horn sound.
  • the threshold value determination unit 111E-3 takes the likelihood as an input, and if the likelihood is equal to or higher than a preset threshold value or if the likelihood is greater than the threshold value, it determines that the state is abnormal (S111E-3), and determines the determination result. Output.
  • FIG. 11 shows a functional block diagram of Example 2 of the horn detection unit 111E
  • FIG. 12 shows an example of the processing flow.
  • the horn detection unit 111E includes a frequency analysis unit 111E-1, a horn frequency spectrum storage unit 111E-4, a correlation calculation unit 111E-5, and a threshold value determination unit 111E-6.
  • an audio signal including a cracking sound is converted into an audio signal in the frequency domain in advance, a representative example of a signal based on the audio signal in the frequency domain is prepared, and stored in the cracking frequency spectrum storage unit 111E-4. Keep it. In this embodiment, a plurality of representative examples shall be prepared.
  • the frequency analysis unit 111E-1 obtains and outputs a signal based on the audio signal in the frequency domain (S111E-1) in the same manner as described above.
  • the correlation calculation unit 111E-5 receives a signal based on the audio signal in the frequency region, and the signal based on the audio signal in the frequency region and the audio in the frequency region including the crush sound stored in the crush frequency spectrum storage unit 111E-4. Correlation with typical examples of signals based on signals is calculated (S111E-5), and the correlation value is output.
  • the threshold value determination unit 111E-6 receives the correlation value of each representative example, and when any of the correlation values is larger than the preset threshold value, detects it as an abnormal state (S111E-6) and outputs it.
  • the transmission data selection unit 112 inputs N sensor information and the detection result, and when the abnormal state is detected, selects and outputs more sensor information than when the abnormal state is not detected (S112). For example, when the abnormality detection unit 111 does not detect the abnormality state, the transmission data selection unit 112 selects only the sensor information having a small amount of data and outputs it to the data transmission unit 113. Alternatively, the transmission data selection unit 112 does not have to output all the sensor information to the data transmission unit 113. Further, when the abnormality detection unit 111 detects an abnormality state, the transmission data selection unit 112 outputs all the sensor information or more information than the sensor information when the abnormality detection unit 111 is not, to the data transmission unit 113. ..
  • the sensor information when the abnormal state is detected corresponds to the abnormal data. By doing so, detailed sensor information can be collected by the data collection server 140 only in the case of an abnormal state. In addition, when it is not in an abnormal state, the amount of data transmitted is small, so that the amount of communication on the communication line can be reduced.
  • the transmission data selection unit 112 selects only the sensor information acquired at a predetermined time t2 after the time t 0 when the abnormal state is detected as the abnormal data.
  • the abnormality detection unit 111 and the transmission data selection unit 112 are collectively referred to as a judgment acquisition unit.
  • the determination acquisition unit acquires abnormal data from the data related to the vehicle excluding the passenger, based on the sensor information which is the data acquired by the passenger sensor unit. More specifically, the determination acquisition unit determines the danger based on the behavior taken by a human when the danger is detected or the changing biological information, and the time determined to be dangerous is continuous with the time before or after the time.
  • the data acquired by the sensor at a predetermined length of time is acquired as abnormal data.
  • the data transmission unit 113 receives the sensor information selected by the transmission data selection unit 112 and transmits it to the data collection server 140 via the communication line (S113).
  • FIG. 13 shows a functional block diagram of the collection system according to the second embodiment
  • FIG. 14 shows an example of the processing flow.
  • the collection system 200 includes a collection device 210 installed in the automobile 90, N sensors 130-n, and a data collection server 140 installed in the data center 80.
  • the collection device 210 includes an abnormality detection unit 111, a transmission data selection unit 112, a data transmission unit 113, and a delay unit 214.
  • the delay unit 214 receives N sensor information as input, delays N sensor information by a preset delay amount t1, and outputs the N sensor information. By doing so, it is possible to transmit the sensor information before the time when the abnormality is detected to the data collection server 140.
  • the time when the voice recognition result includes a word that is spoken when a human detects a danger is t 0 , the delay amount is t 1, and the detection result indicating that the transmission data selection unit 112 has detected an abnormal state is set.
  • the transmission data selection unit 112 and the sensor information acquired at the predetermined time t1 minute before the time t 0 when the abnormal state is detected is selected. Only the sensor information acquired at the predetermined time t2 minutes after the time t 0 is selected as the abnormality data.
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • the distribution of this program is carried out, for example, by selling, transferring, renting, etc., a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via the network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be.
  • the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本発明は、安全機能や自動運転にとって重要な異常状態のデータを効率良く収集する技術を提供する。収集システムは、搭乗者をセンシングする搭乗者センサ部と、搭乗者センサ部で取得したデータであるセンサ情報に基づき、搭乗者を除く乗り物に係るデータのなかから異常データを取得する判定取得部と、を有し、判定取得部は、危険を察知したとき人間がとる行動、若しくは変化する生体情報に基づいて危険を判定し、危険と判定された時間と、当該時間と前若しくは後ろで連続する所定の長さの時間にセンサで取得されたデータを異常データとして取得する。

Description

収集システム、収集装置、その方法、およびプログラム
　本発明は、自動車等の乗り物に設置されたセンサで取得したセンサ情報の収集方法に関する。
　自動車では様々なセンサが備わっている。例えば、カメラの映像を用いて前方の物体や人を検知する機能や、LiDER(light detection and ranging)を使った物体検知、マイクロホンまたは超音波センサによる周囲の物体検知、GPSや速度計など、様々なセンサが備わっている(非特許文献１参照)。これらのセンサを活用して、安全機能や自動運転のシステム開発が行われている。
　また、自動車をモバイルネットワークと接続して、センサ情報を収集し、安全機能や自動運転のシステム開発に利用することが行われている。
「走行車両からの大量のセンサデータを収集・処理するための階層化クラウドとその応用に関する研究開発」、[online]、[令和2年4月2日検索]、インターネット<URL:https://www.soumu.go.jp/main_content/000525417.pdf>
　しかしながら、画像カメラやLiDERなど、出力データ量の多いセンサが多数ある場合、モバイルネットワークの容量の制限により、すべてのデータを収集することができなくなるという問題がある。
　本発明は、安全機能や自動運転にとって重要な異常状態のデータ(以下、「異常データ」ともいう)を効率良く収集する収集システム、収集装置、その方法、およびプログラムを提供することを目的とする。
　上記の課題を解決するために、本発明の一態様によれば、収集システムは、乗り物または乗り物に乗っている搭乗者に取り付けられたセンサで取得した異常データを収集する。収集システムは、搭乗者をセンシングする搭乗者センサ部と、搭乗者センサ部で取得したデータであるセンサ情報に基づき、搭乗者を除く乗り物に係るデータのなかから異常データを取得する判定取得部と、を有し、判定取得部は、危険を察知したとき人間がとる行動、若しくは変化する生体情報に基づいて危険を判定し、危険と判定された時間と、当該時間と前若しくは後ろで連続する所定の長さの時間にセンサで取得されたデータを異常データとして取得する。
　上記の課題を解決するために、本発明の他の態様によれば、収集装置は、乗り物または乗り物に乗っている搭乗者に取り付けられた1つ以上のセンサで取得したデータである1つ以上のセンサ情報を収集する。収集装置は、乗り物または乗り物に乗っている搭乗者に取り付けられた収音部で収音した音声信号を用いて音声認識を行う音声認識部と、音声認識結果に人間が危険を察知したときに発する言葉が含まれている場合、音声認識結果に人間が危険を察知したときに発する言葉が含まれていない場合より多くのセンサ情報を選択する送信データ選択部と、通信回線を介して選択したセンサ情報をデータ収集サーバに送信するデータ送信部と、を含む。
　上記の課題を解決するために、本発明の他の態様によれば、収集システムは、乗り物または乗り物に乗っている搭乗者に取り付けられたセンサで取得した異常データを収集する。収集システムは、乗り物の搭乗者が滞在する空間の外部から発せられる音響信号を収音する収音部と、収音された信号にクラクションが含まれるか判定し、クラクションが含まれると判定された時間と、当該時間と前若しくは後ろで連続する所定の長さの時間にセンサで取得されたデータを異常データとして取得する判定取得部と、を含む。
　本発明によれば、従来よりも異常データを効率良く収集することができるという効果を奏する。
第一実施形態に係る収集システムの機能ブロック図。 第一実施形態に係る収集システムの処理フローの例を示す図。 検出例１に係る異常検出部の機能ブロック図。 検出例１に係る異常検出部の処理フローの例を示す図。 検出例２に係る異常検出部の機能ブロック図。 検出例２に係る異常検出部の処理フローの例を示す図。 検出例３に係る異常検出部の機能ブロック図。 検出例３に係る異常検出部の処理フローの例を示す図。 クラクション検出部の例１の機能ブロック図。 クラクション検出部の例１の処理フローの例を示す図。 クラクション検出部の例２の機能ブロック図。 クラクション検出部の例２の処理フローの例を示す図。 第二実施形態に係る収集システムの機能ブロック図。 第二実施形態に係る収集システムの処理フローの例を示す図。 本手法を適用するコンピュータの構成例を示す図。
　以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態＞
　図１は第一実施形態に係る収集システムの機能ブロック図を、図２はその処理フローを示す。
　収集システム１００は、自動車９０内に設置された収集装置１１０と、N個のセンサ１３０－ｎと、データセンタ８０内に設置されたデータ収集サーバ１４０とを含む。収集装置１１０とデータ収集サーバ１４０とは通信回線を介して接続されている。収集装置１１０は、異常検出部１１１と、送信データ選択部１１２と、データ送信部１１３とを含む。通信回線は、例えば、モバイルネットワークを含む。
　N個のセンサ１３０－ｎは、それぞれ対象とする物理的、化学的な現象を収集装置１１０で取り扱うことのできる電気信号やデータ（センサ情報）に変換して（Ｓ１３０）、収集装置１１０に出力する。
　収集装置１１０は、N個のセンサ情報を受け取り、N個のセンサ情報の中に含まれる異常データをデータ収集サーバ１４０に送信する（Ｓ１１０）。データ収集サーバ１４０は、異常データを受け取り、記憶しておく（Ｓ１４０）。データ収集サーバ１４０に記憶された異常データは、安全機能や自動運転のシステム開発時に利用することができる。データ収集サーバ１４０としては、既存のデータサーバを利用することができるため、以降では説明を省略する。
　収集装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。収集装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。収集装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。収集装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。収集装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも収集装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、収集装置の外部に備える構成としてもよい。
　以下、各部について説明する。
＜N個のセンサ１３０－ｎ＞
　N個のセンサ１３０－ｎは、自動車９０の内部もしくは外部、または自動車に乗っている搭乗者に取り付けられる。Nはセンサ１３０－ｎの個数を表し、１以上の整数の何れかであり、n=1,2,…,Nである。前述の通り、センサ１３０－ｎは、対象とする物理的、化学的な現象を収集装置１１０で取り扱うことのできる電気信号やデータ（センサ情報）に変換し、収集装置１１０に出力できるものであればどのようなものでもよく、例えば、カメラ、マイクロホン、GPS、速度計等や、自動車９０に乗車している搭乗者の生体情報を感知する脳波センサ、心拍センサ等の生体センサである。また、カメラ、マイクロホン、GPS、速度計等の出力値を用いて所定の情報を出力するセンサでもよく、例えば、カメラの映像を用いて前方の物体や人を検知するセンサや、LiDER(light detection and ranging)を使った物体検知を行うセンサ、マイクロホンまたは超音波センサによる周囲の物体検知を行うセンサなどでもよい。N個のセンサ１３０－ｎは有線または無線で収集装置１１０と接続されており、収集装置１１０はN個のセンサ１３０－ｎの出力するセンサ情報を受け取ることができる。
　本実施形態では、N個のセンサ１３０－ｎのうちの少なくとも1つはマイクロホンである。図１ではN番目のセンサ１３０－Ｎをマイクロホンとしている。そのマイクロホンは、自動車９０の内部の搭乗者が発した音声を収音しやすい場所に設置してもよいし、ヘッドセットのように搭乗者の頭部に取り付けてもよい。要は、そのマイクロホンで搭乗者が発した音声を収音することができればよい。マイクロホンは、搭乗者が発した音声を収音し、音声信号を出力する。
＜収集装置１１０＞
　収集装置１１０は、N個のセンサ情報を受け取り、N個のセンサ情報の中に含まれる異常データをデータ収集サーバ１４０に送信する。以下、収集装置１１０内の各部について説明する。
＜異常検出部１１１＞
　異常検出部１１１は、マイクロホンで収音した音声信号を入力とし、音声信号を用いて異常を検出し(Ｓ１１１)、検出結果を出力する。なお、前述の通り、N個のセンサ１３０－ｎの中にはマイクロホンが含まれ、N個のセンサ情報の中にはマイクロホンで収音した音声信号が含まれる。以下、異常検出の３つの例を挙げる。
（検出例１:異常ワードに基づき異常を検出）
　図３は検出例１に係る異常検出部の機能ブロック図を、図４はその処理フローの例を示す。異常検出部１１１は、音声認識部１１１Ａと異常ワード検出部１１１Ｂとを含む。
　音声認識部１１１Ａは、音声信号を入力とし、音声信号を用いて音声認識を行い（Ｓ１１１Ａ）、音声認識結果を出力する。
　異常ワード検出部１１１Ｂは、音声認識結果を入力とし、音声認識結果に人間が危険を察知したときに発する言葉（以下、異常ワードともいう）が含まれているか否かを判定し（Ｓ１１１Ｂ）、判定結果を出力する。この判定結果が異常検出部１１１の出力値である検出結果に相当する。
　例えば、図示しない記憶部に予め様々な異常ワードを格納しておき、異常ワード検出部１１１Ｂは、格納した異常ワードと音声認識結果の少なくとも一部とが一致するか否かを判定し、一致する異常ワードが存在する場合に、異常状態と判定する。異常ワードの例としては、「あぶない」、「びっくりした」、「あっ」、「止まって」等が考えられる。
（検出例２:音量に基づき異常を検出）
　図５は検出例２に係る異常検出部の機能ブロック図を、図６はその処理フローの例を示す。異常検出部１１１は、音量推定部１１１Ｃと異常音量検出部１１１Ｄとを含む。
　音量推定部１１１Ｃは、音声信号を入力とし、音声信号のレベルを計算し（Ｓ１１１Ｃ）、レベルを出力する。
　異常音量検出部１１１Ｄは、レベルを入力とし、レベルが予め設定したレベル（閾値）以上の場合、または、レベルが閾値よりも大きい場合、異常状態と判定し（Ｓ１１１Ｄ）、判定結果を出力する。この判定結果が異常検出部１１１の出力値である検出結果に相当する。
　なお、検出例１と検出例２とを組み合わせてもよい。例えば、両方で異常状態となった場合に異常状態とするか、どちらかが異常状態となった場合に異常状態とする。
　検出例１，２ではそれぞれ人間が発した音声に基づいて異常の検出を行っているが、音声に限定されず、人間が異常を検知したときに行う所作や、生体信号の変化等を用いて異常の検出を行ってもいい。言い換えると、異常を検知するためのセンサとして人間の行動や生体情報の変化を用いてるといえる。人間から情報を取得するためにマイクロホン以外のセンサを用いてもいいことは先に記載した通りである。例えば、シートなどに取り付けられた加速度センサやミリ波レーダにより、異常を検知した際の驚きなどにより生じる体の素早い動きを検知する。また、例えば、ハンドルに取り付けられた圧力センサにより、ハンドルを握る強さが強くなったことを検知する。これらの搭乗者をセンシングするセンサを搭乗者センサ部ともいう。
（検出例３:クラクション音に基づき異常を検出）
　図７は検出例３に係る異常検出部の機能ブロック図を、図８はその処理フローの例を示す。異常検出部１１１は、クラクション検出部１１１Ｅを含む。この検出方法を採用する場合、マイクロホンは、自車または他車のクラクション音を収音しやすい自動車９０の内部または外部に設置するとよい。この検出例では、マイクロホンは、搭乗者が滞在する空間の外部から発せられる音響信号を収音する。
　クラクション検出部１１１Ｅは、音声信号を入力とし、音声信号から、自車または他車のクラクションの有無を検出し（Ｓ１１１Ｅ）、出力する。なお、クラクションがある場合に異常状態と判定する。
　（クラクション検出部１１１Ｅの例１）
　図９はクラクション検出部１１１Ｅの例１の機能ブロック図を、図１０はその処理フローの例を示す。クラクション検出部１１１Ｅは、周波数分析部１１１Ｅ－１、尤度算出部１１１Ｅ－２および閾値判定部１１１Ｅ－３を含む。
　周波数分析部１１１Ｅ－１は、音声信号を入力とし、時間領域の音声信号を周波数領域の音声信号に変換する。変換方法としては、フーリエ変換などが用いられる。周波数分析部１１１Ｅ－１は、周波数領域の音声信号に基づく信号を出力する。周波数領域の音声信号に基づく信号としては、周波数領域の音声信号自体、パワースペクトルやメルスペクトル等が考えられる。例えば、周波数分析部１１１Ｅ－１は、周波数領域の音声信号のパワーを計算することでパワースペクトルに変換したり、周波数領域の音声信号を対数スケールで平均してメルスペクトルを求めたりする。
　尤度算出部１１１Ｅ－２は、周波数領域の音声信号に基づく信号を入力とし、１フレームまたは複数フレーム分まとめて、ニューラルネットワークに入力し、クラクション音の有無を示す尤度を求め、出力する。ニューラルネットワークは、周波数領域の音声信号に基づく信号と、クラクションが鳴らされているか否かを示すラベルとを学習データとして学習されたモデルである。また、ニューラルネットワークは、周波数領域の音声信号に基づく信号を入力とし、クラクション音の有無を示す尤度を出力するモデルである。
　閾値判定部１１１Ｅ－３は、尤度を入力とし、尤度が予め設定した閾値以上の場合、または、尤度が閾値よりも大きい場合、異常状態と判定し（Ｓ１１１Ｅ－３）、判定結果を出力する。
　（クラクション検出部１１１Ｅの例２）
　図１１はクラクション検出部１１１Ｅの例２の機能ブロック図を、図１２はその処理フローの例を示す。クラクション検出部１１１Ｅは、周波数分析部１１１Ｅ－１と、クラクション周波数スペクトル保存部１１１Ｅ－４と、相関計算部１１１Ｅ－５と、閾値判定部１１１Ｅ－６とを含む。
　検出処理に先立ち、あらかじめクラクション音を含む音声信号を周波数領域の音声信号に変換し、周波数領域の音声信号に基づく信号の代表例を用意しておき、クラクション周波数スペクトル保存部１１１Ｅ－４に保存しておく。本実施形態では、複数の代表例を用意しておくものとする。
　周波数分析部１１１Ｅ－１は、前述と同様に、周波数領域の音声信号に基づく信号を得（Ｓ１１１Ｅ－１）、出力する。
　相関計算部１１１Ｅ－５は、周波数領域の音声信号に基づく信号を受け取り、周波数領域の音声信号に基づく信号と、クラクション周波数スペクトル保存部１１１Ｅ－４に保存されているクラクション音を含む周波数領域の音声信号に基づく信号の代表例との相関をそれぞれ計算し（Ｓ１１１Ｅ－５）、相関値を出力する。
　閾値判定部１１１Ｅ－６は、各代表例の相関値を受け取り、何れかの相関値があらかじめ設定した閾値よりも大きい場合に、異常状態として検出し（Ｓ１１１Ｅ－６）、出力する。
＜送信データ選択部１１２＞
　送信データ選択部１１２は、N個のセンサ情報と検出結果とを入力とし、異常状態を検出した場合、異常状態を検出していない場合より多くのセンサ情報を選択し（Ｓ１１２）、出力する。例えば、送信データ選択部１１２は、異常検出部１１１で異常状態が検出されない場合に、センサ情報のうちデータ量の少ないものだけを選択し、データ送信部１１３に出力する。もしくは、送信データ選択部１１２は、すべてのセンサ情報をデータ送信部１１３に出力しなくてもよい。また、送信データ選択部１１２は、異常検出部１１１で異常状態が検出された場合は、すべてのセンサ情報、もしくは、異常状態でないときのセンサ情報よりも多い情報を、データ送信部１１３に出力する。異常状態が検出されたときのセンサ情報が異常データに相当する。このようにすることで、異常状態である場合のみ、詳細なセンサ情報をデータ収集サーバ１４０で収集することができる。また、異常状態以外の時は、少ないデータ送信となることから、通信回線の通信量を少なくすることができる。
　例えば、送信データ選択部１１２は、異常状態を検出した時刻t0の後の所定の時間t2に取得したセンサ情報のみを異常データとして選択する。
　異常検出部１１１と送信データ選択部１１２とを合わせて、判定取得部ともいう。判定取得部は、搭乗者センサ部で取得したデータであるセンサ情報に基づき、搭乗者を除く乗り物に係るデータのなかから異常データを取得する。より詳しく説明すると、判定取得部は、危険を察知したとき人間がとる行動、若しくは変化する生体情報に基づいて危険を判定し、危険と判定された時間と、その時間と前若しくは後ろで連続する所定の長さの時間にセンサで取得されたデータを異常データとして取得する。
＜データ送信部１１３＞
　データ送信部１１３は、送信データ選択部１１２で選択されたセンサ情報を受け取り、通信回線を介してデータ収集サーバ１４０に送信する（Ｓ１１３）。
＜効果＞
　以上の構成により、従来よりも異常データを効率良く収集することができるという効果を奏する。
＜第二実施形態＞
　第一実施形態と異なる部分を中心に説明する。
　図１３は第二実施形態に係る収集システムの機能ブロック図を、図１４はその処理フローの例を示す。
　収集システム２００は、自動車９０内に設置された収集装置２１０と、N個のセンサ１３０－ｎと、データセンタ８０内に設置されたデータ収集サーバ１４０とを含む。収集装置２１０は、異常検出部１１１と、送信データ選択部１１２と、データ送信部１１３と、遅延部２１４とを含む。
＜遅延部２１４＞
　遅延部２１４は、N個のセンサ情報を入力とし、あらかじめ設定した遅延量t1だけN個のセンサ情報を遅延させ、出力する。このようにすることで、異常を検出した時点よりも以前のセンサ情報をデータ収集サーバ１４０に送信することができる。遅延量は、センサごとで異なっていてもよく、例えば、n番目のセンサの遅延量をt1(n)とし、t1=(t1(1),t1(2),…,t(N))とする。
　例えば、音声認識結果に人間が危険を察知したときに発する言葉が含まれていた時刻をt0とし、遅延量をt1とし、送信データ選択部１１２が異常状態を検出したことを示す検出結果を受け取った際に時間t1+t2分のセンサ情報を選択する構成とすることで、送信データ選択部１１２は、異常状態を検出した時刻t0の前の所定の時間t1分に取得したセンサ情報と、時刻t0の後の所定の時間t2分に取得したセンサ情報のみを異常データとして選択する。
　なお、第一実施形態の検出例１の異常ワードを検出する際に想定される異常ワードの長さよりも遅延量t1を大きくすることで、音声認識結果に人間が危険を察知したときに発する言葉が含まれていた時間とその前に収集されたセンサ情報を異常データとして選択することができる。さらに、t2=0とすることで、音声認識結果に人間が危険を察知したときに発する言葉が含まれていた時間とその前に収集されたセンサ情報のみを異常データとして選択することができる。検出例２の異常音量、検出例３のクラクションについても同様である。
＜効果＞
　このような構成とすることで、第一実施形態と同様の効果を得ることができ、さらに、異常を検出した時点よりも以前のセンサ情報をデータ収集サーバに送信することができる。
＜その他の変形例＞
　本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　上述の各種の処理は、図１５に示すコンピュータの記憶部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 　乗り物または乗り物に乗っている搭乗者に取り付けられたセンサで取得した異常データを収集する収集システムであって、
    　前記搭乗者をセンシングする搭乗者センサ部と、
    　前記搭乗者センサ部で取得したデータであるセンサ情報に基づき、前記搭乗者を除く前記乗り物に係るデータのなかから異常データを取得する判定取得部と、を有し、
    　前記判定取得部は、危険を察知したとき人間がとる行動、若しくは変化する生体情報に基づいて危険を判定し、危険と判定された時間と、当該時間と前若しくは後ろで連続する所定の長さの時間に前記センサで取得されたデータを異常データとして取得する、
    　収集システム。
  2. 　請求項１の収集システムであって、
    　前記搭乗者センサ部が用いるセンサは、前記搭乗者が発した音声を収音するマイクロホンであり、
    　前記判定取得部は、収音された音声に対して音声認識を行い、人間が危険を察知したときに発する言葉が含まれていた場合危険と判定する、
    　収集システム。
  3. 　請求項１の収集システムであって、
    　前記搭乗者センサ部が用いるセンサは、前記搭乗者が発した音声を収音するマイクロホンであり、
    　前記判定取得部は、収音された音声の大きさが所定の閾値以上であった場合、異常であると判定する、
    　収集システム。
  4. 　乗り物または乗り物に乗っている搭乗者に取り付けられた1つ以上のセンサで取得したデータである1つ以上のセンサ情報を収集する収集装置であって、
    　乗り物または乗り物に乗っている搭乗者に取り付けられた収音部で収音した音声信号を用いて音声認識を行う音声認識部と、
    　音声認識結果に人間が危険を察知したときに発する言葉が含まれている場合、音声認識結果に人間が危険を察知したときに発する言葉が含まれていない場合より多くのセンサ情報を選択する送信データ選択部と、
    　通信回線を介して選択した前記センサ情報をデータ収集サーバに送信するデータ送信部と、
    　を含む収集装置。
  5. 　乗り物または乗り物に乗っている搭乗者に取り付けられたセンサで取得した異常データを収集する収集システムであって、
    　前記乗り物の搭乗者が滞在する空間の外部から発せられる音響信号を収音する収音部と、
    　収音された信号にクラクションが含まれるか判定し、クラクションが含まれると判定された時間と、当該時間と前若しくは後ろで連続する所定の長さの時間に前記センサで取得されたデータを異常データとして取得する判定取得部と、を含む、
    　収集システム。
  6. 　乗り物または乗り物に乗っている搭乗者に取り付けられたセンサで取得した異常データを収集する収集方法であって、
    　搭乗者センサ部が、前記搭乗者をセンシングする搭乗者センシングステップと、
    　判定取得部が、前記搭乗者センサステップで取得したデータであるセンサ情報に基づき、前記搭乗者を除く前記乗り物に係るデータのなかから異常データを取得する判定取得ステップと、を有し、
    　前記判定取得ステップは、危険を察知したとき人間がとる行動、若しくは変化する生体情報に基づいて危険を判定し、危険と判定された時間と、当該時間と前若しくは後ろで連続する所定の長さの時間に前記センサで取得されたデータを異常データとして取得する、
    　収集方法。
  7. 　乗り物または乗り物に乗っている搭乗者に取り付けられた1つ以上のセンサで取得したデータである1つ以上のセンサ情報を収集する収集方法であって、
    　音声認識部が、乗り物または乗り物に乗っている搭乗者に取り付けられた収音ステップで収音した音声信号を用いて音声認識を行う音声認識ステップと、
    　送信データ選択部が、音声認識結果に人間が危険を察知したときに発する言葉が含まれている場合、音声認識結果に人間が危険を察知したときに発する言葉が含まれていない場合より多くのセンサ情報を選択する送信データ選択ステップと、
    　データ送信部が、通信回線を介して選択した前記センサ情報をデータ収集サーバに送信するデータ送信ステップと、
    　を含む収集方法。
  8. 　請求項４の収集装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/016537 2020-04-15 2020-04-15 収集システム、収集装置、その方法、およびプログラム WO2021210088A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022514913A JPWO2021210088A1 (ja) 2020-04-15 2020-04-15
US17/918,291 US20230154484A1 (en) 2020-04-15 2020-04-15 Collection system, collection apparatus, method and program for the same
PCT/JP2020/016537 WO2021210088A1 (ja) 2020-04-15 2020-04-15 収集システム、収集装置、その方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/016537 WO2021210088A1 (ja) 2020-04-15 2020-04-15 収集システム、収集装置、その方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021210088A1 true WO2021210088A1 (ja) 2021-10-21

Family

ID=78083654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016537 WO2021210088A1 (ja) 2020-04-15 2020-04-15 収集システム、収集装置、その方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230154484A1 (ja)
JP (1) JPWO2021210088A1 (ja)
WO (1) WO2021210088A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055272A (ja) * 2008-08-27 2010-03-11 Yazaki Corp 車両用情報記録システム及び車両用情報記録方法
JP2012113609A (ja) * 2010-11-26 2012-06-14 Fujitsu Ten Ltd データ記録装置、及び、データ記録方法
JP2018101400A (ja) * 2016-12-20 2018-06-28 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ 自律走行車の個人運転好みの認識方法及びシステム
JP2018131015A (ja) * 2017-02-14 2018-08-23 株式会社デンソー 電子制御装置
JP2019040506A (ja) * 2017-08-28 2019-03-14 株式会社デンソーテン 車載用装置、通信システム、収集装置および通信方法
JP2020052863A (ja) * 2018-09-28 2020-04-02 株式会社デンソーテン 車両監視装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180286232A1 (en) * 2017-03-31 2018-10-04 David Shau Traffic control using sound signals
KR20190101909A (ko) * 2018-02-23 2019-09-02 주식회사 비트센싱 위험물 감지를 위한 차량용 레이더 시스템
JP7063005B2 (ja) * 2018-02-27 2022-05-09 トヨタ自動車株式会社 運転支援方法、車両、及び運転支援システム
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055272A (ja) * 2008-08-27 2010-03-11 Yazaki Corp 車両用情報記録システム及び車両用情報記録方法
JP2012113609A (ja) * 2010-11-26 2012-06-14 Fujitsu Ten Ltd データ記録装置、及び、データ記録方法
JP2018101400A (ja) * 2016-12-20 2018-06-28 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ 自律走行車の個人運転好みの認識方法及びシステム
JP2018131015A (ja) * 2017-02-14 2018-08-23 株式会社デンソー 電子制御装置
JP2019040506A (ja) * 2017-08-28 2019-03-14 株式会社デンソーテン 車載用装置、通信システム、収集装置および通信方法
JP2020052863A (ja) * 2018-09-28 2020-04-02 株式会社デンソーテン 車両監視装置

Also Published As

Publication number Publication date
JPWO2021210088A1 (ja) 2021-10-21
US20230154484A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
CN110991289B (zh) 异常事件的监测方法、装置、电子设备及存储介质
EP3675121B1 (en) Computer-implemented interaction with a user
KR101810539B1 (ko) 교통사고 판단 장치 및 방법
CN113380272A (zh) 基于音频的紧急车辆检测与追踪
JP2022096601A (ja) 車両のオーディオ‐ビジュアルおよび協調的認識
US10528047B1 (en) Method and system for monitoring user activity
Sathyanarayana et al. Information fusion for robust ‘context and driver aware’active vehicle safety systems
KR102314824B1 (ko) 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법
US9571057B2 (en) Altering audio signals
US11928390B2 (en) Systems and methods for providing a personalized virtual personal assistant
JP7256086B2 (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
CN112420033A (zh) 车载装置以及处理话语的方法
JP7371751B2 (ja) 集音放音方法
JP6775712B2 (ja) 情報収集装置、サーバ装置、及び情報収集方法
WO2021210088A1 (ja) 収集システム、収集装置、その方法、およびプログラム
US11498576B2 (en) Onboard device, traveling state estimation method, server device, information processing method, and traveling state estimation system
JP7456498B2 (ja) 置き去り検知方法、置き去り検知装置、およびプログラム
CN115497462A (zh) 基于客户驱动的噪声诊断辅助的自动化深度学习
CN109977753B (zh) 一种预警方法及车辆
US11145196B2 (en) Cognitive-based traffic incident snapshot triggering
US20240001842A1 (en) System and method of capturing physiological anomalies utilizing a vehicle seat
CN117657170B (zh) 一种新能源汽车智能安全和整车控制方法及系统
US11768283B2 (en) Sound source distance estimation
US10861452B2 (en) Object authentication device and object authentication method
RU2699415C1 (ru) Система и способ обнаружения портативного устройства

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20930913

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022514913

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20930913

Country of ref document: EP

Kind code of ref document: A1