WO2019130789A1 - 音源検知システム及び音源検知方法 - Google Patents

音源検知システム及び音源検知方法 Download PDF

Info

Publication number
WO2019130789A1
WO2019130789A1 PCT/JP2018/040058 JP2018040058W WO2019130789A1 WO 2019130789 A1 WO2019130789 A1 WO 2019130789A1 JP 2018040058 W JP2018040058 W JP 2018040058W WO 2019130789 A1 WO2019130789 A1 WO 2019130789A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
sound source
vehicle
processing device
microphones
Prior art date
Application number
PCT/JP2018/040058
Other languages
English (en)
French (fr)
Inventor
徳田　肇道
牧　直史
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2019130789A1 publication Critical patent/WO2019130789A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present disclosure relates to a sound source detection system and a sound source detection method for detecting a sound source using a plurality of microphones.
  • an emergency vehicle warning device shown in Patent Document 1 As a conventional example for detecting an emergency vehicle, an emergency vehicle warning device shown in Patent Document 1 is known. This emergency vehicle warning device receives sound waves at a plurality of microphones installed outside the vehicle. The emergency vehicle warning device determines that the vehicle is an emergency vehicle and activates the alarm when the level of the input signal obtained by the band-pass filter passes only the component of the center frequency corresponding to the frequency of the siren sound of the emergency vehicle Let
  • the siren sound detection apparatus shown to patent document 2 is known as a prior art example for detecting a siren sound.
  • This siren sound detection device picks up the surrounding sound with a sensor unit installed on the roof of the vehicle body when the vehicle is driving automatically, and first detects a high speed siren sound with a short time sound signal, Next, a precise siren sound detection is performed with a long-time audio signal.
  • Patent Document 1 when there is a siren sound having a specific frequency, the driver can usually judge the emergency vehicle by activating the alarm.
  • the alarm may not reach the driver's ear and the driver may not notice the emergency vehicle.
  • the driver can not judge in which direction the emergency vehicle is. Therefore, it is difficult for the driver to quickly grasp the surrounding situation.
  • Patent Document 1 since the service for monitoring the driver while driving is not considered by the remote service in the remote service, even if the monitor for the remote service watches the driver, the monitoring is performed even if the alarm is activated. It was difficult for the person to understand the surrounding situation and to give instructions to the emergency vehicle to give way.
  • Patent Document 2 the service of watching the driver while driving is not taken into consideration in the remote service by the supervisor, so according to the technology disclosed in Patent Document 2, the siren sound can be determined.
  • a siren sound is detected, it has not been communicated to the driver in the car or the remote watcher. Further, as in Patent Document 1, there is a problem that it can not be detected in which direction the sound source is present.
  • the present disclosure is devised in view of the above-described conventional situation, detects a sound source such as a predetermined alarm sound or a notification sound notifying the presence of an emergency vehicle around the host vehicle, and detects the driver around the host vehicle Alternatively, it is an object of the present invention to provide a sound source detection system and a sound source detection method which allow a remote observer to quickly grasp.
  • a sound source such as a predetermined alarm sound or a notification sound notifying the presence of an emergency vehicle around the host vehicle
  • the present disclosure is a sound source detection system in which a sound collection device attached to a mobile body and a voice processing device are communicably connected, and the sound collection device has a plurality of microphones, and the sound collection device includes A sound signal picked up by each is sent to the voice processing device, and the voice processing device detects the presence or absence of a sound source of a predetermined sound around the moving body based on the sound signal sent from the sound collection device.
  • a sound source detection system is provided, which detects and detects at least the sound source, and outputs at least information indicating presence or absence of the sound source to a display device.
  • the present disclosure is a sound source detection method using a sound source detection system in which a sound collection device attached to a mobile body and a voice processing device are communicably connected, and the sound collection device includes a plurality of microphones. A sound signal picked up by each of the plurality of microphones is sent to the voice processing device, the voice processing device, based on the sound signal sent from the sound collection device, surrounding the moving body
  • the sound source detection method the presence or absence of a sound source of a predetermined sound is detected, and when the sound source is detected, information indicating at least the presence or absence of the sound source is output to a display device.
  • a sound source such as a predetermined alarm sound or an alarm sound notifying the presence of an emergency vehicle around the host vehicle, and to make the driver or a remote supervisor quickly grasp the surrounding environment of the host vehicle. be able to.
  • FIG. 1 shows the whole structure of the sound source detection system which concerns on Embodiment 1.
  • Diagram showing the hardware configuration of the sound source detection system Block diagram showing an example of the internal configuration of the microphone array in detail
  • Block diagram showing an example of the internal configuration of the speech processing apparatus in detail
  • a diagram showing an example of an operation outline of a surround reproduction unit Flow chart for explaining an example of a sound source detection operation procedure according to the first embodiment
  • Sectional drawing which shows the structure of the microphone array which concerns on Embodiment 1
  • the attachment structure to the roof of a vehicle body Sectional drawing which shows the structure of the microphone array which concerns on the modification 2
  • the attachment structure to the roof of a vehicle body Flow chart for explaining an example of a sound source detection operation procedure according to the second embodiment
  • FIG. 1 is a diagram showing an entire configuration of a sound source detection system 5 according to a first embodiment.
  • the sound source detection system 5 is mounted on, for example, a vehicle 3 which is an autonomous vehicle that performs autonomous driving.
  • the sound source detection system 5 detects a target sound (see below) emitted around the vehicle 3 using the microphone array MA, and displays an image showing the sound source of the target sound on the display device 60 (see below).
  • the sound collected by the microphone array MA is reproduced.
  • the sound source detection system 5 includes the microphone array MA, the audio processing device 10, the display device 60, and the speaker system 70.
  • the microphone array MA is attached to, for example, the roof of the vehicle body of the vehicle 3 (that is, the upper portion of the body of the vehicle body), and picks up a sound including a target sound generated outside the vehicle.
  • the target sound is a sound to be detected by the sound source detection system 5, for example, a siren sound generated by an emergency vehicle such as a fire engine or an ambulance, other vehicles (emergency vehicle or general It is a preset sound such as a horn sound of a vehicle (including the vehicle), a warning sound of a level crossing, etc. in which a pattern of sound (for example, the frequency of sound, including temporal change of sound pressure level) is determined. Details of the structure of the microphone array MA and the mounting structure to the vehicle body will be described later with reference to FIGS. 7 to 9.
  • the voice processing device 10 performs signal processing on the sound collected by the microphone array MA to calculate the direction and distance from the vehicle 3 to the sound source, and generates a sound source detection image GZ (see FIG. 2). Further, the sound processing device 10 generates sound data for reproducing the environment of the sound field around the vehicle 3 in the cabin of the vehicle 3 based on the signal of the sound collected by the microphone array MA.
  • the display device 60 displays the sound source detection image GZ generated by the voice processing device 10.
  • the display device 60 may be, for example, a monitor provided in an on-vehicle PC as an in-vehicle display, a part of a panel meter provided on an instrument panel, or a display provided in a car navigation system. It may be a TV display.
  • the display device 60 is described on the assumption that a monitor installed in the compartment of the vehicle 3 is used, for example, a taxi vehicle or a vehicle operated by an elderly person etc. It may be a monitoring monitor installed in a monitoring room using a remote service to monitor the safety of the person.
  • the speaker system 70 reproduces the environment of the sound field around the vehicle 3 in the compartment of the vehicle 3 by performing surround reproduction based on the sound data generated by the sound processing device 10.
  • the sound processing apparatus 10 reproduces surround sound using, for example, four speakers, but stereo sound may be reproduced by two speakers. Also, surround sound may be reproduced by eight speakers.
  • the number of speakers is not particularly limited.
  • the vehicle 3 may be installed in a remote monitoring room from the vehicle 3 in order to watch the driver using the above-described remote service. The same environment as that of the passenger compartment of the vehicle may be established.
  • FIG. 2 is a diagram showing an outline of a hardware configuration of the sound source detection system 5.
  • the microphone array MA includes eight microphones M1, M2, M3, M4, M5, M6, M7, and M8, eight amplifiers PA1, PA2, PA3, PA4, PA5, PA6, PA7, PA8, and eight A / A.
  • the configuration includes D converters A1, A2, A3, A4, A5, A6, A7, A8, a processor 29, and a communication unit 26.
  • the processor 29 inputs the sound collected by each of the microphones M1 to M8 through the corresponding amplifiers PA1 to PA8 and A / D converters A1 to A8, respectively, and compresses the sound data of each input sound. Functions as a compression processing unit 25. Details of the configuration of the microphone array MA will be described later with reference to FIG.
  • the audio processing apparatus 10 includes a communication unit 31, an operation unit 32, and a memory 38, in addition to a target sound detection unit 30 that detects a target sound, and a surround reproduction unit 50 that performs surround reproduction.
  • the target sound detection unit 30 and the surround reproduction unit 50 are functional units that are executed by the processor 19.
  • the target sound detection unit 30 calculates the presence or absence of a sound source emitting the target sound, the type of the sound source, the direction of the sound source, and the distance to the sound source from the sounds emitted around the vehicle 3.
  • examples of the target sound include a siren sound emitted by an emergency vehicle such as an ambulance, a fire engine, and a police car, a horn sound generated by another vehicle, and an alarm sound of a level crossing.
  • the siren sound emitted by the emergency vehicle the sound pattern (for example, the frequency of sound, time change of sound pressure level, etc.) differs depending on the type of sound source, that is, the type of vehicle such as an ambulance, fire engine or police car.
  • the display device 60 displays the sound source detection image GZ and the alarm message based on the detection result of the target sound detection unit 30.
  • the alarm message as shown in FIG. 2, “detection: alarm sound!” Is displayed.
  • the sound source detection image GZ is depicted with the vehicle 3 on which the microphone array MA is mounted as the center position o, and further, the respective concentric circles cc separated by 10 m, 20 m and 30 m from the center position o and the target from the center position o It is an image including an arrow ar representing up to a sound source ss that emits a sound. The direction and length of the arrow ar correspond to the direction of the sound source ss and the distance to the sound source ss, respectively.
  • the mark representing the sound source ss represents the type of the sound source, and when represented as a circle, for example, the sound source ss represents an ambulance which is an example of an emergency vehicle.
  • the sound source ss may represent a fire engine or a police car, which is an example of an emergency vehicle.
  • the sound source ss may be represented by a mark of a different display mode such as color, shape, or blink.
  • the sound source detection image GZ shown in FIG. 2 it is shown that an ambulance having a sound source ss exists in the vicinity of a distance 25 m diagonally forward to the right from the vehicle 3.
  • the surround reproduction unit 50 uses a speaker system 70 to reproduce multi-channel (here, four channels) audio signals in order to reproduce the environment of the sound field around the sound collected by the microphone array MA in the vehicle compartment of the vehicle 3. Output to
  • the speaker system 70 is configured to include four amplifiers 75, 76, 77, 78 and four speakers 71, 72, 73, 74.
  • the speakers 71 and 72 are respectively arranged on the left and right of the instrument panel of the vehicle, and the speakers 73 and 74 are arranged on the left and right of the rear seat of the vehicle Be done.
  • the four speakers 71 to 74 perform surround reproduction to the driver dv of the vehicle and the observer in the monitoring room, and reproduce the sound field of the sound collected by the microphone array MA.
  • the speakers 71 and 72 are arranged at the center and right of the instrument panel, and the speakers 73 and 74 are arranged at the center and right of the rear seat. It may be arranged.
  • the detailed configuration of the voice processing device 10 will be described later with reference to FIG.
  • FIG. 3 is a block diagram showing in detail an example of the internal configuration of the microphone array MA.
  • the microphone array MA transmits sound data of sound collected by the microphones M1, M2, M3, M4, M5, M6, M7, and M8 to the voice processing apparatus 10.
  • the microphone array MA includes a plurality of amplifiers PA1, PA2, PA3, PA4, PA5, PA7, PA8, and amplifiers PA1 to PA8 which amplify output signals of the microphones M1 to M8 and the microphones M1 to M8, respectively. It includes a plurality of A / D converters A1, A2, A3, A4, A5, A6, A7, A8 for converting analog signals to be output into digital signals, a compression processing unit 25, and a communication unit 26, respectively.
  • the microphones M1 to M8 are arranged concentrically at predetermined intervals (for example, uniform intervals) circumferentially along the periphery of the housing 20.
  • a small-sized MEMS (Micro Electro Mechanical Systems) microphone is used as the microphones M1 to M8.
  • An electret condenser microphone (ECM: Electret Condenser Microphone) may be used.
  • the number of microphones is not limited to eight, and may be any number (specifically, two or more) capable of determining the sound source direction.
  • the compression processing unit 25 generates sound data subjected to compression processing based on digital audio signals output from the A / D converters A1 to A8.
  • the communication unit 26 transmits the sound data generated by the compression processing unit 25 to the audio processing device 10 via a USB (Universal Serial Bus) cable sc3.
  • the compression processing unit 25 generates a packet of the sound data subjected to compression processing, and the communication unit 26 transmits the packet of the sound data to the voice processing device 10 via a vehicle-mounted network (CAN: Controller Area Network). May be Further, the communication unit 26 may transmit sound data to the voice processing apparatus 10 by near field wireless communication such as Bluetooth (registered trademark).
  • the microphone array MA amplifies the output signals of the microphones M1 to M8 by the amplifiers PA1 to PA8, and converts them into digital audio signals by the A / D converters A1 to A8. Thereafter, the microphone array MA generates sound data compressed by the compression processing unit 25 and transmits the sound data to the audio processing device 10.
  • FIG. 4 is a block diagram showing an example of the internal configuration of the speech processing apparatus 10 in detail.
  • the audio processing device 10 is configured of, for example, a vehicle-mounted PC, an electronic control unit (ECU), or the like, and includes the target sound detection unit 30, the operation unit 32, the communication unit 31, the memory 38, and the surround reproduction unit 50.
  • ECU electronice control unit
  • the operation unit 32 is a user interface (UI: User Interface) for notifying the target sound detection unit 30 and the surround reproduction unit 50 of the content of the input operation by the driver, and for example, a mouse, a keyboard, a switch, a touch pad, etc. It consists of a pointing device.
  • UI User Interface
  • the operation unit 32 inputs the direction in which the speakers 71 to 74 are arranged as the directivity combining direction.
  • the communication unit 31 receives sound data transmitted from the microphone array MA, and has a configuration including a USB interface.
  • the communication unit 31 may be configured to include a Bluetooth (registered trademark) interface or a network interface (NIC: Network Interface Card).
  • NIC Network Interface Card
  • the voice processing device 10 can be connected to a network, and can communicate sound data as packet data to a remotely installed speaker system.
  • the memory 38 stores sound data collected by the microphone array MA. Further, in the memory 38, patterns (sound patterns) of sound data for detecting a target sound are registered in advance. When the sound source emitting the target sound is an emergency vehicle, for example, the frequency and sound pressure of the siren sound to be used are different in a fire engine, an ambulance, a police car, and the like. The memory 38 registers patterns of these target sounds (for example, frequency of sound, time change of sound pressure level, etc.). In addition, the memory 38 stores the arrangement direction of the speakers 71 to 74 input through the operation unit 32. Furthermore, the memory 38 records sound data in which directivity is formed in the direction in which the four speakers are arranged by the surround reproduction unit 50.
  • the target sound detection unit 30 detects a target sound.
  • the sound source direction detection unit 34, the directivity processing unit 63, the frequency analysis unit 64, the detection unit 65, the detection result determination unit 66, the scan control unit 67, and the detection direction The configuration includes a control unit 68 and an output control unit 35.
  • the sound source direction detecting unit 34 uses, for example, sound data of sound around the vehicle 3 collected by the microphone array MA according to a known whitening cross correlation method (CSP (Cross-power Spectrum Phase analysis) method). Estimate the position.
  • CSP Cross correlation method
  • the sound source direction detection unit 34 divides the periphery of the vehicle 3 into a plurality of blocks and the sound is collected by the microphone array MA, there is a sound exceeding a threshold such as sound pressure or volume for each block. It is possible to roughly estimate the sound source position around the vehicle 3 as the pointing range by determining whether or not it is.
  • the directivity processing unit 63 performs a process of extracting sound data whose directivity direction is a predetermined direction, for the sound collected by the microphones M1 to M8 within the directivity range in which the sound source position is roughly estimated.
  • the frequency analysis unit 64 performs frequency analysis processing on the sound data extracted and processed in the pointing direction by the directivity processing unit 63.
  • this frequency analysis process the frequency included in the sound data in the pointing direction and the sound pressure thereof are detected. That is, as the detected sound data (detection sound data), the detected sound frequency and the sound pressure pattern of each frequency (detection sound pattern) can be obtained.
  • the detection unit 65 compares the pattern of the detection sound obtained as a result of the frequency analysis processing by the frequency analysis unit 64 with the pattern of the predetermined sound registered in advance in the pattern memory of the memory 38.
  • the detection unit 65 determines, for example, whether or not the sound patterns of the two are similar.
  • the detection unit 65 detects a sound source emitting the target sound, assuming that the sound patterns are similar.
  • the detection result determination unit 66 instructs the detection direction control unit 68 to shift to detection of the sound source in the next undecided directivity direction.
  • the detection result determination unit 66 notifies the output control unit 35 of the detection result of the sound source.
  • the detection result includes information on the detected sound source.
  • the information on the sound source that emits the target sound includes the type of the sound source (in the case of an emergency vehicle, a fire engine, an ambulance, a police car, etc.), as well as position information (for example, direction and distance information) of the sound source.
  • the detection result determination unit 66 calculates the distance from the microphone array MA to the emergency vehicle that is the sound source by performing back calculation from the attenuation of the volume of the target sound collected by the microphone array MA.
  • the detection direction control unit 68 controls the direction for detecting the sound source emitting the target sound in the sound collection space based on the instruction from the detection result determination unit 66. For example, the detection direction control unit 68 sets an arbitrary direction of the directivity range including the sound source position estimated by the sound source direction detection unit 34 in the entire sound collection space as a detection direction.
  • the scan control unit 67 instructs the directivity processing unit 63 to emphasize the detection direction set by the detection direction control unit 68 as the directivity direction.
  • the directivity processing unit 63 emphasizes the data of the sound collected by the microphone array MA by forming directivity with respect to the directivity direction instructed from the scan control unit 67.
  • the directivity processing unit 63 sets the initial position within the directivity range including the sound source position estimated by the sound source direction detection unit 34 as the directivity direction.
  • the pointing direction is successively set by the detection direction control unit 68 at predetermined intervals in the pointing range.
  • the output control unit 35 generates a sound source detection image GZ based on the type of the sound source emitting the target sound and position information (for example, direction and distance information), and outputs the generated sound detection image GZ to the display device 60.
  • the display device 60 displays the sound source detection image GZ output from the output control unit 35.
  • the output control unit 35 also outputs a detection signal indicating that the target sound has been detected to the surround reproduction unit 50.
  • the surround reproduction unit 50 reproduces the sound field using the speaker system 70 when the target sound is detected by the target sound detection unit 30, and includes a directivity synthesis unit 51 and a reproduction unit 52.
  • FIG. 5 is a diagram showing an example of an operation outline of the surround reproduction unit 50. As shown in FIG.
  • the directivity synthesis unit 51 emphasizes the directivity direction in the direction in which the target sound is emitted from the sound collected by the eight microphones M1 to M8 of the microphone array MA, starting from the position of the microphone array MA.
  • Process (beam forming) The technology relating to beam forming is a known technology as shown, for example, in Japanese Patent Application Laid-Open No. 2014-143678 and Japanese Patent Application Laid-Open No. 2015-029241.
  • the directivity synthesis unit 51 inputs the direction in which the speakers 71 to 74 are arranged as the directivity synthesis direction, and the microphone array MA is applied to sound data collected by each of the microphones M1 to M8 of the microphone array MA. In order to emphasize (amplify) the voice in the direction in which each of the speakers 71 to 74 is arranged from the position of (1), sound data in which directivity in the direction is formed is generated.
  • the delay-sum method When the delay-sum method is used as the enhancement processing of sound, for example, there is a difference in arrival time until sound waves emitted from a sound source reach the microphones M1 to M8 and are collected. That is, a delay occurs between the microphones M1 to M8.
  • the microphone array MA reaches the sound data of the sound collected by the microphones M1, M2, M3, ..., M8 at the respective microphones M1, M2, M3, ..., M8 at each delay unit (not shown). After the phases of all the sound waves are aligned by giving a delay time corresponding to the time difference, sound data after delay processing is added in an adder (not shown). Thereby, directivity of sound data is formed in the direction of a predetermined angle. Further, by changing the delay time set in the delay unit, the directivity of the collected sound data can be easily changed.
  • the reproduction unit 52 generates audio signals to the speakers 71 to 74 based on sound data of four directions in which directivity is formed in the direction in which the four speakers 71 to 74 are arranged, and the amplifiers 75 to 78 Output.
  • the amplifiers 75 to 78 respectively amplify the audio signals to the speakers 71 to 74 and output the amplified signals to the four speakers 71 to 74.
  • the four speakers 71 to 74 surround-reproduce the sound in the four directions of the audio signals amplified by the amplifiers 75 to 78, and reproduce the environment of the sound field around the sound collected by the microphone array MA.
  • FIG. 6 is a flowchart for explaining an example of a sound source detection operation procedure according to the first embodiment. This sound source detection operation procedure is executed by each device constituting the sound source detection system 5.
  • the microphone array MA picks up sounds around the vehicle 3 (S1).
  • the target sound detection unit 30 performs processing to detect whether the target sound is included in the collected voice (S2).
  • the detection process of the target sound is performed by the sound source direction detection unit 34, the directivity processing unit 63, the frequency analysis unit 64, and the detection unit 65 of the target sound detection unit 30.
  • the detection unit 65 detects the target sound by comparing the pattern of the predetermined sound registered in advance in the memory 38 with the pattern of the sound collected by the microphone array MA.
  • the detection result determination unit 66 determines whether the target sound has been detected as a result of the detection processing of the target sound in step S2 (S3). When the target sound is not detected (S3, NO), the process of the sound source detection system 5 proceeds to step S9.
  • the detection result determination unit 66 determines the direction of the sound source emitting the target sound (S4).
  • the direction of the sound source is acquired from the detection direction controlled by the detection direction control unit 68 as described above.
  • the detection result determination unit 66 sets the direction in which the target sound picked up by the microphone array MA is the strongest sound source direction.
  • the detection result determination unit 66 determines the distance of the sound source emitting the target sound (S5). As described above, the distance from the vehicle 3 to the sound source ss is calculated based on the sound pressure level of the target sound. Since the sound pressure level of the target sound is substantially constant, the detection result determination unit 66 calculates the distance to the sound source by backward calculation from the attenuation of the volume of the target sound collected by the microphone array MA.
  • the output control unit 35 generates a sound source detection image GZ (see FIG. 2) based on the type, direction, and distance of the sound source ss that emits the target sound, and outputs the image to the display device 60 (S6).
  • the display device 60 displays the sound source detection image GZ on the screen.
  • the surround reproduction processing by the surround reproduction unit 50 is performed in parallel with the processing in the steps S4 to S6.
  • the directivity synthesis unit 51 adds each sound data collected by the microphones M1 to M8, performs directivity formation processing to emphasize voice in the direction in which the speakers 71 to 74 are arranged, and performs directivity in each direction. Sound data forming a sex is generated, and sounds heard from each direction are extracted (S7).
  • the reproduction unit 52 outputs audio signals to the speakers 71 to 74 to the amplifiers 75 to 78 based on the four sound data whose directivity is formed in the direction in which the four speakers 71 to 74 are arranged (S8) .
  • the amplifiers 75 to 78 respectively amplify the audio signals to the speakers 71 to 74 and output the amplified signals to the four speakers 71 to 74.
  • the four speakers 71 to 74 perform surround reproduction centered on the position of the driver and reproduce the sound field of the sound collected by the microphone array MA.
  • the speech processing device 10 determines whether the sound source detection operation is to be ended (S9).
  • the end of the sound source detection operation is performed, for example, when there is a user operation, an elapse of a predetermined time, an engine stop by turning off the ignition of the vehicle 3, or the like.
  • the processing of the sound source detection system 5 returns to the processing of step S1.
  • the sound processing device 10 ends the sound source detection operation (S9, YES)
  • the operation of the sound source detection system 5 is ended as it is.
  • the microphone array MA (an example of a sound collection device) attached to the vehicle 3 (an example of a moving body) and the voice processing device 10 are communicably connected.
  • the microphone array MA has eight microphones M1 to M8 (an example of a plurality of microphones), and sends sound signals collected by each of the eight microphones M1 to M8 to the audio processing device 10.
  • the voice processing device 10 detects the presence or absence of the sound source ss of the target sound (an example of the default sound) around the vehicle 3 based on the sound signal sent from the microphone array MA.
  • the sound processing device 10 When the sound processing device 10 detects the sound source ss, the sound processing device 10 outputs, to the display device 60, information indicating at least the presence or absence of the sound source ss.
  • the sound source detection system 5 can detect a sound source such as a predetermined alarm sound or a notification sound notifying the presence of an emergency vehicle around the host vehicle with high accuracy, and the driver or remote monitoring of the surrounding environment of the host vehicle Can be quickly grasped by That is, the driver of the vehicle 3 can detect the presence or absence of the sound source emitting the target sound around the vehicle 3.
  • a sound source such as a predetermined alarm sound or a notification sound notifying the presence of an emergency vehicle around the host vehicle with high accuracy
  • the driver or remote monitoring of the surrounding environment of the host vehicle Can be quickly grasped by That is, the driver of the vehicle 3 can detect the presence or absence of the sound source emitting the target sound around the vehicle 3.
  • the driver visually and intuitively approaches the emergency vehicle by looking at the sound source detection image GZ2 displayed on the display device 60. You can check it instantly. Therefore, even in the vehicle interior that is difficult to hear by closing the window, it is possible to reliably detect the target sound emitted around the vehicle 3 without opening the window.
  • the voice processing device 10 acquires the direction of the sound source ss viewed from the vehicle 3 based on the sound signal sent from the microphone array MA.
  • the voice processing device 10 outputs an arrow ar indicating the direction of the sound source ss viewed from the vehicle 3 to the display device 60. Thereby, the driver can know the direction of the sound source, can grasp the situation outside the vehicle, and can pay attention to the direction of the sound source.
  • the sound processing device 10 acquires the distance from the vehicle 3 to the sound source ss based on the sound signal sent from the microphone array MA.
  • the voice processing device 10 outputs, to the display device 60, an arrow ar indicating the distance from the vehicle 3 to the sound source ss by a length. Thereby, the driver can know the distance from the vehicle to the sound source, can further grasp the situation outside the vehicle, and can judge whether or not the sound source is rapidly approaching.
  • the sound processing device 10 detects a sound source of a predetermined sound emitting different target sounds around the vehicle 3, the sound processing device 10 outputs a sound source ss indicating the type of the sound source ss by a mark to the display device 60.
  • a sound source ss indicating the type of the sound source ss by a mark to the display device 60. This identifies the type of sound source that emits the target sound around the outside of the vehicle (such as a siren sound emitted by an emergency vehicle such as an ambulance, fire engine or police car, a screeching sound emitted by another vehicle, or an alarm sound at a crossing). it can.
  • the sound processing device 10 detects the sound source ss, the sound signal in which the directivity is formed in different directions from the predetermined number starting from the microphone array MA using the sound signal sent from the microphone array MA Are audio-outputted from the same number of speakers 71 to 74 as arranged corresponding to each of the predetermined number of directions.
  • the driver can hear the target sounds heard from the four speakers instantly, and can aurally confirm the approach of the sound source such as the emergency vehicle.
  • the target sound emitted by the sound source can be surround-reproduced, and a sense of reality is created in the vehicle interior of the vehicle 3, which is useful for the judgment of a habit. Therefore, even in the vehicle compartment which is difficult to hear by closing the window, it is possible to reliably detect the target sound emitted around the vehicle without opening the window.
  • the audio processing device 10 generates data (sound data) of sound signals in which directivity is formed in different directions from a predetermined number starting from the microphone array MA, and records the data in the memory 38 (recording unit).
  • data sound data
  • the audio processing device 10 generates data (sound data) of sound signals in which directivity is formed in different directions from a predetermined number starting from the microphone array MA, and records the data in the memory 38 (recording unit).
  • the vehicle 3 is an autonomous driving vehicle that operates autonomously.
  • the sound source detection system 5 autonomously generates an emergency by the autonomous driving vehicle even when the driver does not notice a siren sound such as an emergency vehicle, for example, in the case of the autonomous vehicle where the driver is not riding or is riding As it is possible to prevent an accident or the like with a vehicle, it is possible to contribute to compliance with traffic rules by an autonomous vehicle.
  • the microphone array MA is attached to the outside of the vehicle body of the vehicle 3. Thereby, the sound around the vehicle can be collected with high sensitivity.
  • a microphone is attached to the outside of the vehicle body, for example, to the roof of the vehicle body, and it is conventionally performed to pick up the sound emitted around the vehicle.
  • the microphone is attached to the outside of the vehicle body, it is required to improve the environmental resistance of the microphone.
  • direct sunlight to a microphone may cause the performance of the microphone to deteriorate due to ultraviolet light, so it is necessary to improve weatherability.
  • thermal stability needs to be enhanced so that fluctuations in temperature (eg, -10 ° C. to + 40 ° C.) do not cause the microphone to malfunction.
  • it is necessary to improve windproof waterproofness so that the sound receiving surface of the microphone is not directly damaged by wind and rain, and water droplets are not accumulated to deteriorate the sound collection performance of the microphone.
  • the microphone because it is attached to the outside of the car body that vibrates during traveling, it is necessary to prevent the sound collection performance of the microphone from being affected, for example, the vibration from the car body is transmitted to the microphone and the vibration sound is detected.
  • the microphone needs to be detachable from the vehicle body so that it can be removed at the time of inspection, replacement, nonuse, and the like.
  • FIG. 7 is a cross-sectional view showing the structure of the microphone array MA and the mounting structure of the vehicle body to the roof 3z according to the first embodiment.
  • the microphone array MA has a housing 20 that houses eight microphones M1 to M8 and a substrate 21z on which the signal processing unit 21 is mounted.
  • the housing 20 has an aluminum frame 223 and a metal mesh 222, and is formed into a substantially cylindrical shape.
  • the aluminum frame 223 has a structure in which a box member 223z, a cover member 223y, and a support member 223x are joined.
  • the cover member 223y is formed in a cylindrical lid.
  • the surface of the cover member 223y facing the roof 3z is open.
  • a universal joint 224 that is, a universal joint
  • a box member 223z and a sealing member 227 are disposed inside the cover member 223y.
  • the box member 223z encloses the substrate 21z and is attached to the lower surface of the cover member 223y.
  • the universal joint 224 has an upper member 224a, a connecting rod 224b and a lower member 224c.
  • the upper member 224a is variable with respect to the lower member 224c in any direction via the connecting rod 224b.
  • the orientation of the universal joint 224 is adjusted such that the attitude of the microphone array MA is substantially horizontal or horizontal with respect to the curved surface of the roof 3z.
  • the number of universal joints is four, but may be any number such as two or eight.
  • the upper member 224a is attached to the lower surface of the cover member 223y.
  • the lower member 224c is formed, for example, of a weather-resistant stainless steel as a yoke, and forms a magnetic circuit with a magnet 225 disposed on the lower surface thereof.
  • Connect to The silicone rubber 226 is a protective member for preventing the roof 3z from being damaged by the magnet 225, such as scratches. Furthermore, the silicone rubber 226 enhances the adhesion between the microphone array MA main body and the roof 3z. With the above configuration, the microphone array MA is detachable with respect to the roof 3z.
  • the stainless steel as an example of the lower member 224c may be either a magnetic material or a nonmagnetic material.
  • the sealing material 227 fills the inside of the cover member 223y with, for example, an independent foam sponge and, together with the silicone rubber 226, prevents the weather from coming in from the surface of the roof 3z and entering the microphones M1 to M8.
  • the sealing material 227 can also reduce wind noise coming around from the surface (lower surface) opposite to the sound collection holes of the microphones M1 to M8.
  • the support member 223x is composed of a vertical member 223x1 rising from the upper surface of the cover member 223y, and a skewing member 223x2 obliquely extending upward from the tip of the vertical member 223x1.
  • One microphones M1 to M8 (in FIG. 7, the microphones M1 and M5 are drawn) are attached to the upper surface of the skewing member 223x2.
  • the sound receiving surfaces of the microphones M1 to M8 attached to the upper surface of the skewing member 223x2 are inclined outward from the center of the microphone array MA.
  • a waterproof film mcv is attached to the sound receiving surfaces of the microphones M1 to M8 to make it easy to repel water droplets.
  • a windshield member 228 is provided on the surface of the cover member 223y to which the support member 223x is joined.
  • the windshield member 228 is formed of, for example, a continuous foam sponge, so that sound from the outside can be transmitted to the surface of the sound collection hole side of the microphones M1 to M8, but the weather does not directly hit the microphones M1 to M8. Reduce intrusions.
  • the metal mesh 222 is attached to the outside of the cover member 223y so as to cover the cover member 223y.
  • the metal mesh 222 prevents the windshield 228 from falling off from the cover member 223y, and protects the microphone array MA from lightning strikes and static electricity.
  • the attachment of the metal mesh 222 is fixed, for example, by engaging a locking piece formed on the metal mesh 222 with an engagement hole formed on the cover member 223y.
  • the metal mesh 222 and the cover member 223y may be fixed by screwing with a screw.
  • holes are formed in the surface of the support member 223x to which the microphones M1 to M8 are attached, and the signal lines sc2 of the microphones M1 to M8 are led to the side of the substrate 21z through the holes.
  • a sealing material is filled in the gap between the signal line sc2 and the hole, and a waterproof packing 231 is formed.
  • the signal line sc2 from the microphones M1 to M8 is inserted, and a hole for being connected to the substrate 21z is formed.
  • a sealing material is filled in the gap between the signal line sc2 and the hole to form a waterproof packing 232.
  • a hole through which the USB cable sc1 from the substrate 21z is inserted is formed on the lower surface of the box member 223z, and the USB cable sc1 from the substrate 21z is guided to the roof 3z side through this hole.
  • the USB cable sc1 includes a power supply line and a signal line.
  • a sealing material is filled in the gap between the USB cable sc1 and the hole to form a waterproof packing 233.
  • a USB waterproof connector 234 is attached to the surface of the roof 3z.
  • a USB cable sc1 connected to the substrate 21z is detachably connected to one side of the USB waterproof connector 234.
  • USB cable sc3 connected to the audio processing device 10 in the vehicle compartment is connected.
  • the USB cable sc1 the USB waterproof connector 234 and the USB cable sc3 are omitted.
  • the environmental resistance of the microphones M1 to M8 accommodated in the microphone array MA attached to the outside of the vehicle body is improved. It can.
  • sunlight does not directly strike the microphones M1 to M8 by the windshield member 228, and performance degradation of the microphone due to ultraviolet light can be suppressed.
  • the microphones M1 to M8 use a wide MEMS microphone with a working temperature range (for example, 1% or less change in sensitivity at -40 ° C to + 100 ° C), temperature fluctuations (-10 ° C to + 40 ° C)
  • the microphones M1 to M8 operate normally even in the presence of.
  • the windshields 228 make it difficult for the microphones M1 to M8 to be exposed directly to wind and rain.
  • the sealing material 227 can prevent wind and rain from entering the microphones M1 to M8 from the roof 3z side.
  • the sealing material 227 can also reduce wind noise coming around from the surface (lower surface) opposite to the sound collection holes of the microphones M1 to M8.
  • the substrate 21z is sealed in a box member 223z. Therefore, the windproof waterproofness of the microphone array MA can be remarkably enhanced so that the sound collecting performance of the microphone is not deteriorated.
  • the support members 223x supporting the microphones M1 to M8 are inclined outward from the center of the microphone array MA, even if water droplets exuding from the windshield 228 adhere to the microphones M1 to M8, the inclinations are also inclined. It is easy to flow downward along the surface. As a result, water droplets do not collect on the sound receiving surfaces of the microphones M1 to M8, and a decrease in sound collection performance can be suppressed.
  • the elastic silicone rubber 226 intervenes in the attachment of the microphone array MA to the roof 3z of the vehicle body, it is difficult for the vibrations from the vehicle body which vibrate during traveling to be transmitted to the microphones M1 to M8. Further, the adhesion between the microphone array MA and the roof 3z is enhanced by the silicone rubber 226, and the propagation of vibration is further suppressed. Further, the cover member 223y to which the support member 223x supporting the microphones M1 to M8 is joined is attached to the roof 3z through the universal joint 224. Therefore, the cover member 223y can be finely adjusted to be horizontal with respect to the curved roof 3z. Thereby, the sound collection performance of the microphone array MA can be kept constant.
  • the lower member 224c is formed of a weather-resistant stainless steel as a yoke, and forms a magnetic circuit with the magnet 225 disposed on the lower surface thereof, and attracts the roof 3z with magnetic force via the silicon rubber 226, making it detachable Link.
  • the silicone rubber 226 is a protective member for preventing the roof 3z from being damaged by the magnet 225, such as scratches. Furthermore, the silicone rubber 226 enhances the adhesion between the microphone array MA main body and the roof 3z.
  • the microphone array MA can be easily removed from the roof 3z at the time of regular inspection, replacement, nonuse, and the like.
  • FIG. 8 is a cross-sectional view showing the structure of the microphone array MA and the mounting structure of the vehicle body to the roof 3z according to the first modification.
  • the housing 20A of the microphone array MA according to the modification 1 differs from the housing 20 according to the first embodiment described above in the structure of the aluminum frame.
  • the same reference numerals are given to the same structure as that of the case 20 according to the first embodiment described above, and the description will be simplified or omitted.
  • the aluminum frame 223A is formed in a substantially dome shape.
  • the peripheral edge portion of the ceiling surface of the aluminum frame 223A is formed into a tapered surface which becomes lower toward the outside.
  • a partition plate 223m is provided which partitions the upper and lower spaces. In the space above the partition plate 223 m, the microphones M 1 to M 8 and the substrate 21 z are disposed.
  • a windshield 228 is interposed between the outside of the aluminum frame 223A and the metal mesh 222.
  • the microphones M1 to M8 (in FIG. 8, the microphones M1 and M5 are drawn) are attached to the periphery of the ceiling surface of the aluminum frame 223A.
  • the sound receiving surfaces of the microphones M1 to M8 are exposed from the holes formed on the ceiling surface of the aluminum frame 223A.
  • a waterproof film mcv is attached to the sound receiving surfaces of the microphones M1 to M8. Further, since the space above the partition plate 223m is sealed by the ceiling surface of the aluminum frame 223A and the sound receiving surfaces of the microphones M1 to M8, no filler is present in this space.
  • the signal lines sc2 from the microphones M1 to M8 are connected to the substrate 21z disposed in the sealed space.
  • the substrate 21z is attached to the upper surface of the partition plate 223m via a spacer (not shown).
  • a universal joint 224 is disposed in the space under the partition plate 223 m.
  • the number of universal joints 224 is the same as that of the first embodiment described above.
  • the upper member 224a of the universal joint 224 is attached to the lower surface thereof so as to support the partition plate 223m.
  • the space under the partition plate 223 m is filled with the sealing material 227 as in the first embodiment described above.
  • a hole through which the USB cable sc1 from the substrate 21z is inserted is formed on the lower surface of the partition plate 223m, and the USB cable sc1 from the substrate 21z is guided to the roof 3z side through this hole.
  • a sealing material is filled in the gap between the USB cable sc1 and the hole to form a waterproof packing 232k.
  • a USB waterproof connector 234 is attached to the surface of the roof 3z.
  • a USB cable sc1 connected to the substrate 21z is detachably connected to one side of the USB waterproof connector 234.
  • a USB cable sc3 connected to the audio processing device 10 in the vehicle compartment is connected.
  • the first modification can simplify the shape of the aluminum frame 223A and can be easily manufactured. Moreover, since the filler does not exist in the space above the partition plate 223 m, the amount of the windshield 228 can be reduced.
  • FIG. 9 is a cross-sectional view showing the structure of the microphone array MA and the mounting structure of the vehicle body to the roof 3z according to the second modification.
  • the board 21z on which the signal processing unit 21 is mounted is the inner side of the vehicle body as compared with the case 20 according to the first embodiment described above and the case 20A according to the first modification. That is, they are different from being disposed on the back side of the roof 3z.
  • the same reference numerals are given to the same structure as the case 20 according to the first embodiment described above or the case 20A according to the first modification, and the description will be simplified or omitted.
  • the housing 20B has a shape that is wider in the radial direction and thinner than the housing 20A according to the first embodiment described above and the housing 20A according to the first modification.
  • the structure of the aluminum frame is different.
  • the aluminum frame 223B is formed into a cylindrical lid.
  • An inclined surface 223B1 to which the microphones M1 to M8 are attached is formed on the top surface of the aluminum frame 223B.
  • the slope portion 223B1 is inclined to be lower toward the outside. The sound receiving surfaces of the microphones M1 to M8 attached to the slope portion 223B1 guide the attached water droplets downward as in the first embodiment and the first modification described above.
  • a waterproof connector 234A (for example, a hermetic connector) is provided on the surface of the roof 3z.
  • a signal line sc2 connected to the microphones M1 to M8 is connected to one side of the waterproof connector 234A.
  • a signal line sc4 connected to the signal processing unit 21 mounted on the substrate 21z disposed inside the vehicle body is connected.
  • the second modification eliminates the need to provide a space for sealing the substrate 21z outside the vehicle body, so the thickness of the housing 20B can be formed thin. . This improves the appearance of the appearance and the design. Further, the specification of the environmental resistance required of the signal processing unit 21 mounted on the substrate 21z can be lowered, leading to a reduction in the cost of parts.
  • Second Embodiment In the first embodiment, an example in which one kind of target sound is included in the sound collected by the microphone array MA has been described. In the second embodiment, an example in which a plurality of types of target sounds are included in the sound collected by the microphone array MA will be described.
  • the sound source detection system of the second embodiment has almost the same configuration as that of the first embodiment.
  • the description of the same components as in the first embodiment is simplified or omitted by using the same reference numerals.
  • FIG. 10 is a flowchart for explaining an example of a sound source detection operation procedure according to the second embodiment.
  • the same step processing as that of the sound source detection operation procedure (see FIG. 6) according to the first embodiment is denoted by the same reference numeral to simplify or omit the description.
  • the microphone array MA picks up sounds around the vehicle 3 (S1).
  • the target sound detection unit 30 performs processing to detect whether the target sound is included in the collected voice (S2).
  • the detection result determination unit 66 determines whether or not multiple types of target sounds have been detected as a result of the target sound detection process in step S2 (S3A). If plural types of target sounds have not been detected (S3A, NO), the detection result determination unit 66 determines whether one type of target sound has been detected (S3B). When one type of target sound is not detected (S3B, NO), the process of the sound source detection system 5 proceeds to step S9. On the other hand, when one type of target sound is detected in step S3B (S3B, YES), the processes after step S4 of the sound source detection operation procedure according to the first embodiment are performed.
  • the detection result determination unit 66 determines the direction of a sound source emitting a plurality of types of target sounds (S4A).
  • the direction of the sound source is acquired from the detection direction controlled by the detection direction control unit 68 as described above.
  • the detection result determination unit 66 sets the direction in which the target sound picked up by the microphone array MA is the strongest sound source direction.
  • the detection result determination unit 66 extracts target sounds by direction for a plurality of types of target sounds and separates them separately (S4B). Furthermore, the detection result determination unit 66 determines the distance to the sound source emitting the individual target sound (S5A). As described above, the distance from the vehicle 3 to the sound source ss is calculated based on the sound pressure level of the target sound. Since the sound pressure level of the target sound is substantially constant, the detection result determination unit 66 calculates the distance to the sound source by backward calculation from the attenuation of the volume of the target sound collected by the microphone array MA.
  • the output control unit 35 generates a sound source detection image GZ based on the type, direction, and distance of the sound source ss that emits the individual target sound, and outputs the generated sound source detection image GZ to the display device 60 (S6A).
  • a plurality of types of target sounds are detected, marks representing a plurality of sound sources ss are displayed in the sound source detection image GZ.
  • the output control unit 35 may generate two sound source detection images, for example, when the number of sound source detection images GZ corresponding to the number of sound sources is two, for example.
  • the display device 60 displays the sound source detection image GZ on the screen.
  • step S3A When a plurality of types of target sounds are detected in step S3A, or when one type of target sound is detected in step S3, as in the first embodiment, the processing is parallel to the processing in steps S4A to S6A or S4 to S6. Then, the surround reproduction unit 50 performs the processes of steps S7 and S8 as in the first embodiment. After the processes of steps S6, S6A, and S8, the speech processing apparatus 10 proceeds to the process of step S9.
  • the sound processing device 10 detects the sound sources ss of a plurality of different target sounds (predetermined sounds) around the vehicle 3, the type of each sound source ss Is output to the display device 60.
  • the types of sound sources a siren sound emitted by an emergency vehicle such as an ambulance, a fire engine, a police car, a screeching sound emitted by other vehicles, The alarm sound of the level crossing etc. can be identified. Therefore, the driver can visually confirm the approach of a plurality of emergency vehicles as an example by looking at the sound source detection image displayed on the display device. In addition, the driver can hear siren sounds emitted by a plurality of emergency vehicles by surround reproduction.
  • siren sound of emergency vehicle and horn noise from other vehicles which are sudden sounds are exemplified as target sounds, but alarm sounds of crossings and crossings are not limited to these. It may include sounds, guidance sounds emitted when a visually impaired person crosses a pedestrian crossing, and the like.
  • the microphone array has a detachable structure to the vehicle body, but may be installed and fixed to the vehicle body without being removed from the vehicle body. Also, the microphone array may be attached to any place such as a bonnet or a rear door as well as the roof of the vehicle body.
  • the present disclosure detects a sound source such as a predetermined alarm sound or a notification sound notifying the presence of an emergency vehicle around the host vehicle, and detects the sound source causing the driver or a remote supervisor to quickly grasp the surrounding environment of the host vehicle. It is useful as a system and a sound source detection method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

音源検知システム（５）では、車両（３）に取り付けられたマイクアレイ（ＭＡ）と音声処理装置（１０）とが通信可能に接続される。マイクアレイ（ＭＡ）は、８個のマイクロホン（Ｍ１～Ｍ８）を有し、８個のマイクロホン（Ｍ１～Ｍ８）のそれぞれにより収音された音信号を音声処理装置（１０）に送る。音声処理装置（１０）は、マイクアレイ（ＭＡ）から送られた音信号に基づいて、車両（３）の周囲において対象音の音源の有無を検知する。音声処理装置（１０）は、音源を検知した場合に、少なくとも音源の有無を示す情報を表示装置（６０）に出力する。

Description

音源検知システム及び音源検知方法
　本開示は、複数のマイクを用いて音源を検知する音源検知システム及び音源検知方法に関する。
　一般的に、車両の走行中にサイレン音を鳴動する救急車や消防車等の緊急車両が自車両に接近してきた場合、運転者は、進路を譲る必要があり、そのように対応することが多い。また、他の車両がクラクション音を鳴らした場合、運転者は、警告もしくは危険の内在する状況を察知する。このようなサイレン音やクラクション音等の突発的な音が発生した場合、運転者は、速やかに周囲の状況を把握しようとする。また、遠隔サービスで運転者を見守る場合、監視者は、常に見守り対象となる車両の周囲の状況を把握しなければならない。
　緊急車両を検知するための従来例として、特許文献１に示す緊急自動車警告装置が知られている。この緊急自動車警告装置は、車外に設置した複数のマイクにおいて音波を受信する。緊急自動車警告装置は、緊急自動車のサイレン音の周波数に対応する中心周波数の成分のみを帯域フィルタによって通過させた入力信号のレベルが設定値以上である場合、緊急車両と判断して警報器を作動させる。
　また、サイレン音を検知するための従来例として、特許文献２に示すサイレン音検知装置が知られている。このサイレン音検知装置は、車両が自動運転を行う際、車体のルーフに設置されたセンサユニットで周囲の音声を収音し、最初に短時間の音声信号で高速なサイレン音の検知を行い、次に長時間の音声信号で精密なサイレン音の検知を行う。
日本国特公平２－３０５６０号公報 米国特許出願公開第２０１６／０１５５４５２号明細書
　しかし、緊急車両が近づいて来ても、例えば車両の窓を閉め切った車室内では、外からの音が窓に遮られて聞き取りにくく、運転者が気付かないケースも想定される。
　例えば特許文献１では、特定の周波数を有するサイレン音があった場合、警報器が作動することで、通常、運転者は、緊急車両を判断できる。しかし、車室内の状況によっては、例えば大音量で音楽を聴いているような状況では、警報音が運転者の耳に届かず、運転者が緊急車両に気付かないこともある。また、警報音に気付いたとしても、運転者はどの方向に緊急車両があるのか判断できない。従って、運転者は、周囲の状況を速やかに把握することが難しい。また、特許文献１では遠隔サービスで監視者が運転中の運転者を見守るサービスのことは考慮されていないため、遠隔サービスの監視者が運転者を見守る場合、警報器を作動させても、監視者は周囲の状況が分からず、緊急車両に進路を譲るように指導することは難しかった。
　また、同様に特許文献２では遠隔サービスで監視者が運転中の運転者を見守るサービスのことは考慮されていないため、特許文献２に開示の技術によればサイレン音の判別は可能であるが、サイレン音が検知された場合、車内の運転者や遠隔の監視者に伝えることをしていない。また、特許文献１と同様、どの方向に音源があるのか検知することはできないという課題があった。
　本開示は、上述した従来の状況に鑑みて案出され、自車両の周囲で既定の警報音もしくは緊急車両の存在を知らせる報知音等の音源を検知し、自車両の周囲の状況を運転者もしくは遠隔の監視者に速やかに把握させる音源検知システム及び音源検知方法を提供することを目的とする。
　本開示は、移動体に取り付けられた収音装置と音声処理装置とが通信可能に接続された音源検知システムであって、前記収音装置は、複数のマイクを有し、前記複数のマイクのそれぞれにより収音された音信号を前記音声処理装置に送り、前記音声処理装置は、前記収音装置から送られた前記音信号に基づいて、前記移動体の周囲において既定音の音源の有無を検知し、前記音源を検知した場合に、少なくとも前記音源の有無を示す情報を表示装置に出力する、音源検知システムを提供する。
　また、本開示は、移動体に取り付けられた収音装置と音声処理装置とが通信可能に接続された音源検知システムを用いた音源検知方法であって、前記収音装置は、複数のマイクを有し、前記複数のマイクのそれぞれにより収音された音信号を前記音声処理装置に送り、前記音声処理装置は、前記収音装置から送られた前記音信号に基づいて、前記移動体の周囲において既定音の音源の有無を検知し、前記音源を検知した場合に、少なくとも前記音源の有無を示す情報を表示装置に出力する、音源検知方法を提供する。
　本開示によれば、自車両の周囲で既定の警報音もしくは緊急車両の存在を知らせる報知音等の音源を検知でき、自車両の周囲の状況を運転者もしくは遠隔の監視者に速やかに把握させることができる。
実施の形態１に係る音源検知システムの全体構成を示す図 音源検知システムのハードウェア構成の概略を示す図 マイクアレイの内部構成の一例を詳細に示すブロック図 音声処理装置の内部構成の一例を詳細に示すブロック図 サラウンド再生部の動作概要の一例を示す図 実施の形態１に係る音源検知動作手順の一例を説明するフローチャート 実施の形態１に係るマイクアレイの構造及び車体のルーフへの取付構造を示す断面図 変形例１に係るマイクアレイの構造及び車体のルーフへの取付構造を示す断面図 変形例２に係るマイクアレイの構造及び車体のルーフへの取付構造を示す断面図 実施の形態２に係る音源検知動作手順の一例を説明するフローチャート
　以下、添付図面を適宜参照しながら、本開示に係る音源検知システム及び音源検知方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
　図１は、実施の形態１に係る音源検知システム５の全体構成を示す図である。音源検知システム５は、例えば自律運転する自動運転車である車両３に搭載される。音源検知システム５は、マイクアレイＭＡを用いて、車両３の周囲で発せられる対象音（後述参照）を検知し、その対象音の音源を示す画像を表示装置６０（後述参照）に表示するとともに、マイクアレイＭＡにより収音された音を再生する。音源検知システム５は、マイクアレイＭＡと、音声処理装置１０と、表示装置６０と、スピーカシステム７０とを含む構成である。
　マイクアレイＭＡは、例えば車両３の車体のルーフ（つまり、車体のボディ上部）に取り付けられ、車外で発生した対象音を含む音を収音する。ここで、本明細書において、対象音とは、音源検知システム５による検知対象となる音であり、例えば消防車や救急車等の緊急車両から鳴動されるサイレン音、他の車両（緊急車両や一般車両も含む）のクラクション音、踏切の警報音等、予め音のパターン（例えば、音の周波数、音圧レベルの時間変化を含む）が決められている既定音である。マイクアレイＭＡの構造及び車体への取付構造の詳細については、図７～図９を用いて後述する。
　音声処理装置１０は、マイクアレイＭＡにより収音された音を信号処理することで、車両３から音源までの方向及び距離を算出し、音源検知画像ＧＺ（図２参照）を生成する。また、音声処理装置１０は、マイクアレイＭＡにより収音された音の信号に基づき、車両３の車室内に車両３の周囲の音場の環境を再現するための音データを生成する。
　表示装置６０は、音声処理装置１０により生成された音源検知画像ＧＺを表示する。表示装置６０は、例えば車載ディスプレイとして、車載ＰＣが備えるモニタでもよいし、インストルメントパネルに設けられたパネルメータの一部でもよいし、カーナビゲーションが備えるディスプレイでもよいし、車室内に設置されたＴＶディスプレイでもよい。なお、ここでは、表示装置６０は、説明を分かり易くするために、車両３の車室内に設置されるモニタを想定して説明するが、例えば、タクシー車両や高齢者が運転する車両等において運転者の安全を見守るために、遠隔サービスを利用した監視室内に設置された監視モニタでもよい。
　スピーカシステム７０は、音声処理装置１０により生成された音データを基にサラウンド再生を行うことで、車両３の車室内に車両３の周囲の音場の環境を再現する。実施の形態１では、音声処理装置１０は、例えば４つのスピーカを用いてサラウンド音を再生しているが、２つのスピーカでステレオ音を再生してもよい。また、８つのスピーカでサラウンド音を再生してもよい。スピーカの数は特に限定されない。なお、スピーカシステム７０は、車両３の車室内に設置されることを想定しているが、上述した遠隔サービスを利用して運転者を見守るために、車両３から遠隔の監視室内に、車両３の車室内の環境と同一の環境が構築されるように設置されてもよい。
　図２は、音源検知システム５のハードウェア構成の概略を示す図である。マイクアレイＭＡは、８個のマイクロホンＭ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６，Ｍ７，Ｍ８、８個のアンプＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４，ＰＡ５，ＰＡ６，ＰＡ７，ＰＡ８、８個のＡ／Ｄ変換器Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８、プロセッサ２９、及び通信部２６を含む構成である。プロセッサ２９は、マイクロホンＭ１～Ｍ８のそれぞれにより収音された音を、それぞれ対応するアンプＰＡ１～ＰＡ８及びＡ／Ｄ変換器Ａ１～Ａ８を介してそれぞれ入力し、入力した各音声の音データを圧縮する圧縮処理部２５として機能する。マイクアレイＭＡの構成の詳細については、図３で後述する。
　音声処理装置１０は、対象音を検知する対象音検知部３０、サラウンド再生を行うサラウンド再生部５０の他、通信部３１、操作部３２、及びメモリ３８を有する。対象音検知部３０及びサラウンド再生部５０は、プロセッサ１９により実行される機能部である。
　対象音検知部３０は、車両３の周囲で発せられる音の中から、対象音を発する音源の有無、音源の種類、音源の方向、及び音源までの距離を算出する。上述したように、対象音としては、例えば救急車、消防車、パトカー等の緊急車両が発するサイレン音や、他の車両が発するクラクション音、踏切の警報音が挙げられる。緊急車両が発するサイレン音については、音源の種類、つまり救急車、消防車、パトカー等の車両の種類によって、音のパターン（例えば、音の周波数、音圧レベルの時間変化等）が異なる。
　表示装置６０は、対象音検知部３０の検知結果を基に、音源検知画像ＧＺ及び警報メッセージを表示する。警報メッセージの一例として、図２に示すように、「検知：警報音！」が表示される。また、音源検知画像ＧＺは、マイクアレイＭＡが装着された車両３を中心位置ｏとして描写され、更に、中心位置ｏから距離１０ｍ，２０ｍ，３０ｍ離れたそれぞれの同心円ｃｃと、中心位置ｏから対象音を発する音源ｓｓまでを表す矢印ａｒとを含む画像である。矢印ａｒの向き及び長さは、それぞれ音源ｓｓの方向及び音源ｓｓまでの距離に相当する。音源ｓｓを表すマークは、音源の種類を表しており、一例として円形で表される場合、音源ｓｓが緊急車両の一例である救急車を表す。また、音源ｓｓを表すマークが矩形、星形で表される場合、音源ｓｓはそれぞれ緊急車両の一例である消防車、パトカーを表してもよい。また、クラクション音を発する他の車両である場合、音源ｓｓは、色、形状、ブリンク等の異なる表示態様のマークで表されてもよい。図２に示す音源検知画像ＧＺでは、車両３から前方斜め右方向かつ距離２５ｍ付近に音源ｓｓである救急車が存在することが示される。
　サラウンド再生部５０は、マイクアレイＭＡにより収音された音の周囲の音場の環境を車両３の車室内において再現するために、マルチチャネル（ここでは、４チャネル）の音声信号をスピーカシステム７０に出力する。
　スピーカシステム７０は、４つのアンプ７５，７６，７７，７８及び４つのスピーカ７１，７２，７３，７４を含む構成である。車室内の四隅に配置される、４つのスピーカ７１～７４のうち、スピーカ７１，７２は、それぞれ車両のインストルメントパネルの左右に配置され、スピーカ７３，７４は、車両の後部座席の左右に配置される。４つのスピーカ７１～７４は、車両の運転者ｄｖや監視室の監視者に対しサラウンド再生を行い、マイクアレイＭＡにより収音された音の音場を再現する。なお、運転者ｄｖの位置を中心に、より正確にスピーカを配置する場合、スピーカ７１，７２は、インストルメントパネルの中央と右に配置され、スピーカ７３，７４は、後部座席の中央と右に配置されるようにしてもよい。なお、音声処理装置１０の詳細な構成については、図４で後述する。
　図３は、マイクアレイＭＡの内部構成の一例を詳細に示すブロック図である。マイクアレイＭＡは、それぞれのマイクロホンＭ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６，Ｍ７，Ｍ８により収音された音の音データを音声処理装置１０に送信する。マイクアレイＭＡは、複数のマイクロホンＭ１～Ｍ８、複数のマイクロホンＭ１～Ｍ８の出力信号をそれぞれ増幅する複数のアンプＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４，ＰＡ５，ＰＡ６，ＰＡ７，ＰＡ８、各アンプＰＡ１～ＰＡ８から出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８、圧縮処理部２５、及び通信部２６を含む。
　マイクロホンＭ１～Ｍ８は、筐体２０の周縁に沿って円周方向に、同心円状に予め決められた間隔（例えば均一な間隔）で配置されている。マイクロホンＭ１～Ｍ８には、例えば、小型のＭＥＭＳ（Micro Electro Mechanical Systems）マイクが用いられる。なお、エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられてもよい。また、マイクロホンの数は、８個に限らず、音源方向を判別可能な任意の数（具体的には、２以上）でよい。
　圧縮処理部２５は、Ａ／Ｄ変換器Ａ１～Ａ８から出力されるデジタル音声信号を基に、圧縮処理された音データを生成する。通信部２６は、圧縮処理部２５で生成された音データを、ＵＳＢ（Universal Serial Bus）ケーブルｓｃ３を介して音声処理装置１０に送信する。なお、圧縮処理部２５は、圧縮処理された音データのパケットを生成し、通信部２６は、音データのパケットを、車載ネットワーク（ＣＡＮ：Controller Area Network）を介して音声処理装置１０に送信してもよい。また、通信部２６は、Bluetooth（登録商標）等の近距離無線通信により音声処理装置１０に音データを送信してもよい。
　このように、マイクアレイＭＡは、マイクロホンＭ１～Ｍ８の出力信号をアンプＰＡ１～ＰＡ８で増幅し、Ａ／Ｄ変換器Ａ１～Ａ８でデジタル音声信号に変換する。その後、マイクアレイＭＡは、圧縮処理部２５で圧縮処理された音データを生成し、この音データを音声処理装置１０に送信する。
　図４は、音声処理装置１０の内部構成の一例を詳細に示すブロック図である。音声処理装置１０は、例えば車載ＰＣやＥＣＵ（Electronic Control Unit）等で構成され、対象音検知部３０、操作部３２、通信部３１、メモリ３８及びサラウンド再生部５０を含む構成である。
　操作部３２は、運転者の入力操作の内容を対象音検知部３０やサラウンド再生部５０に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード、スイッチ、タッチパッド等のポインティングデバイスで構成される。例えば、操作部３２は、スピーカ７１～７４が配置された方向を指向性の合成方向として入力する。
　通信部３１は、マイクアレイＭＡから送信される音データを受信するものであり、ＵＳＢインタフェースを含む構成を有する。なお、通信部３１は、Bluetooth（登録商標）インタフェースやネットワークインタフェース（ＮＩＣ：Network Interface Card）を含む構成でもよい。通信部３１がＮＩＣを含む場合、音声処理装置１０は、ネットワークに接続可能であり、遠隔に設置されたスピーカシステムに音データをパケットデータとして通信可能である。
　メモリ３８は、マイクアレイＭＡにより収音された音データを記憶する。また、メモリ３８には、予め対象音を検知するための音データのパターン（音パターン）が登録されている。対象音を発する音源が緊急車両である場合、例えば、消防車、救急車、パトカー等では、それぞれ使用するサイレン音の周波数及び音圧が異なる。メモリ３８は、これらの対象音のパターン（例えば、音の周波数、音圧レベルの時間変化等）を登録している。また、メモリ３８は、操作部３２を介して入力されたスピーカ７１～７４の配置方向を記憶する。更に、メモリ３８は、サラウンド再生部５０によって４つのスピーカが配置された方向に指向性を形成した音データを記録する。
　対象音検知部３０は、対象音を検知するものであり、音源方向検知部３４、指向性処理部６３、周波数分析部６４、検知部６５、検知結果判定部６６、走査制御部６７、検知方向制御部６８及び出力制御部３５を含む構成である。
　音源方向検知部３４は、例えば公知の白色化相互相関法（ＣＳＰ（Cross-power Spectrum Phase analysis）法）に従って、マイクアレイＭＡにより収音された車両３の周囲の音声の音データを用いて音源位置を推定する。ＣＳＰ法では、音源方向検知部３４は、車両３の周囲を複数のブロックに分割し、マイクアレイＭＡで音が収音されると、ブロック毎に音圧又は音量等の閾値を超える音があるか否かを判定することで、車両３の周囲の音源位置を指向範囲として概略的に推定できる。
　指向性処理部６３は、音源位置が概略的に推定された指向範囲内の、マイクロホンＭ１～Ｍ８により収音された音に対し、所定の方向を指向方向とする音データの抽出処理を行う。
　周波数分析部６４は、指向性処理部６３によって指向方向に抽出処理された音データに対し、周波数分析処理を行う。この周波数分析処理では、指向方向の音データに含まれる周波数及びその音圧が検知される。つまり、検知された音データ（検知音データ）として、検知された音の周波数及び各周波数の音圧のパターン（検知音のパターン）が得られる。
　検知部６５は、周波数分析部６４による周波数分析処理の結果として得られた検知音のパターンと、メモリ３８のパターンメモリに予め登録された既定音のパターンとを比較する。検知部６５は、例えば両者の音のパターンが近似するか否かを判定する。
　両者の音のパターンが近似するか否かは、例えば以下のように判断される。複数の周波数のうち、検知音データに含まれる少なくとも２つの周波数の音圧がそれぞれ閾値を超える場合、音パターンが近似しているとして、検知部６５は、対象音を発する音源を検知する。
　検知結果判定部６６は、対象音を発する音源が存在しないと判定された場合、次の未判定の指向方向での音源の検知に移行するように検知方向制御部６８に指示する。検知結果判定部６６は、指向方向の走査の結果、対象音を発する音源が存在すると判定された場合、音源の検知結果を出力制御部３５に通知する。なお、この検知結果には、検知された音源の情報が含まれる。対象音を発する音源の情報には、音源の種類（緊急車両の場合、消防車、救急車、パトカー等）の他、音源の位置情報（例えば方向及び距離情報）が含まれる。ここで、緊急車両が発するサイレン音の音圧レベルは、ほぼ一定である。検知結果判定部６６は、マイクアレイＭＡで収音された対象音の音量の減衰から逆算して、マイクアレイＭＡから音源である緊急車両までの距離を算出する。
　検知方向制御部６８は、検知結果判定部６６からの指示に基づいて、収音空間において対象音を発する音源を検知するための方向を制御する。例えば検知方向制御部６８は、収音空間全体の中で、音源方向検知部３４により推定された音源位置を含む指向範囲の任意の方向を検知方向として設定する。
　走査制御部６７は、検知方向制御部６８により設定された検知方向を指向方向として強調処理するよう、指向性処理部６３に対して指示する。
　指向性処理部６３は、走査制御部６７から指示された指向方向に対して指向性を形成することで、マイクアレイＭＡにより収音された音のデータを強調処理する。なお、初期設定では、指向性処理部６３は、音源方向検知部３４によって推定された音源位置を含む指向範囲内の初期位置を指向方向とする。指向方向は、検知方向制御部６８により、指向範囲の中で所定間隔毎に次々に設定される。
　出力制御部３５は、対象音を発する音源の種類及び位置情報（例えば方向及び距離情報）を基に、音源検知画像ＧＺを生成し、表示装置６０に出力する。表示装置６０は、出力制御部３５から出力された音源検知画像ＧＺを表示する。
　また、出力制御部３５は、対象音を検知したことを示す検知信号をサラウンド再生部５０に出力する。サラウンド再生部５０は、対象音検知部３０によって対象音が検知されると、スピーカシステム７０を用いて音場を再現するものであり、指向性合成部５１及び再生部５２を有する。図５は、サラウンド再生部５０の動作概要の一例を示す図である。
　指向性合成部５１は、マイクアレイＭＡの８個のマイクロホンＭ１～Ｍ８で収音された音の中から、マイクアレイＭＡの位置を起点とし、対象音が発する方向に指向方向を形成して強調処理（ビームフォーミング）する。ビームフォーミングに関する技術は、例えば日本国特開２０１４－１４３６７８号公報や日本国特開２０１５－０２９２４１号公報等に示されるように、公知の技術である。
　指向性合成部５１は、スピーカ７１～７４が配置された方向を指向性の合成方向として入力し、マイクアレイＭＡの各マイクロホンＭ１～Ｍ８のそれぞれにより収音された音データに対し、マイクアレイＭＡの位置から各スピーカ７１～７４のそれぞれが配置された方向への音声を強調（増幅）するために、その方向への指向性を形成した音データを生成する。
　音声の強調処理として、遅延和方式を用いる場合、例えば、音源から発した音波は、各マイクロホンＭ１～Ｍ８にそれぞれ到達して収音されるまでに到達時間差がある。つまり、マイクロホンＭ１～Ｍ８の間で遅延が生じる。
　マイクアレイＭＡは、各マイクロホンＭ１，Ｍ２，Ｍ３，…，Ｍ８により収音された音の音データに対し、各遅延器（図示略）において、各マイクロホンＭ１，Ｍ２，Ｍ３，…，Ｍ８における到達時間差に対応する遅延時間を与えて全ての音波の位相を揃えた後、加算器（図示略）において遅延処理後の音データを加算する。これにより、所定角度の方向に音データの指向性が形成される。また、遅延器に設定される遅延時間を変更することで、収音した音データの指向性を容易に可変できる。
　再生部５２は、４つのスピーカ７１～７４が配置された方向に指向性を形成した４つの方向の音データを基に、各スピーカ７１～７４への音声信号を生成し、アンプ７５～７８に出力する。アンプ７５～７８は、スピーカ７１～７４への音声信号をそれぞれ増幅した後、４つのスピーカ７１～７４に出力する。４つのスピーカ７１～７４は、アンプ７５～７８で増幅された４つの方向の音声信号による音声をサラウンド再生し、マイクアレイＭＡが収音した音声の周囲の音場の環境を再現する。
　次に、実施の形態１に係る音源検知システム５の動作を説明する。
　図６は、実施の形態１に係る音源検知動作手順の一例を説明するフローチャートである。この音源検知動作手順は、音源検知システム５を構成する各装置により実行される。
　図６において、マイクアレイＭＡは、車両３の周囲の音を収音する（Ｓ１）。対象音検知部３０は、収音した音声に対象音が含まれるか否かを検知する処理を行う（Ｓ２）。この対象音の検知処理は、対象音検知部３０の音源方向検知部３４、指向性処理部６３、周波数分析部６４及び検知部６５によって行われる。検知部６５は、予めメモリ３８に登録された既定音のパターンと、マイクアレイＭＡで収音された音のパターンとを比較することで、対象音の検知処理を行う。
　検知結果判定部６６は、ステップＳ２における対象音の検知処理の結果、対象音を検知したか否かを判別する（Ｓ３）。対象音を検知しなかった場合（Ｓ３、ＮＯ）、音源検知システム５の処理はステップＳ９に進む。
　ステップＳ３で対象音を検知した場合（Ｓ３、ＹＥＳ）、検知結果判定部６６は、対象音を発する音源の方向を判定する（Ｓ４）。音源の方向は、前述したように、検知方向制御部６８によって制御される検知方向から取得される。検知結果判定部６６は、検知方向制御部６８によって制御される検知方向に指向性形成処理を行った結果、マイクアレイＭＡで収音された対象音が最も強く聞こえる方向を音源方向とする。
　更に、検知結果判定部６６は、対象音を発する音源の距離を判定する（Ｓ５）。車両３から音源ｓｓまでの距離は、前述したように、対象音の音圧レベルを基に算出される。対象音の音圧レベルはほぼ一定であるので、検知結果判定部６６は、マイクアレイＭＡで収音された対象音の音量の減衰から逆算して音源までの距離を算出する。
　出力制御部３５は、対象音を発する音源ｓｓの種類、方向及び距離を基に、音源検知画像ＧＺ（図２参照）を生成し、表示装置６０に出力する（Ｓ６）。表示装置６０は、出力制御部３５からの音源検知画像ＧＺを入力すると、画面に音源検知画像ＧＺを表示する。
　また、ステップＳ３で対象音を検知した場合、上記ステップＳ４～Ｓ６の処理と並行して、サラウンド再生部５０によるサラウンド再生処理が行われる。指向性合成部５１は、マイクロホンＭ１～Ｍ８により収音された各音データを加算し、スピーカ７１～７４が配置された方向への音声を強調する指向性形成処理を行い、各方向への指向性を形成した音データを生成し、それぞれの方向から聞こえる音を抽出する（Ｓ７）。
　再生部５２は、４つのスピーカ７１～７４が配置された方向に指向性を形成した４つの音データを基に、各スピーカ７１～７４への音声信号をアンプ７５～７８に出力する（Ｓ８）。アンプ７５～７８は、スピーカ７１～７４への音声信号をそれぞれ増幅した後、４つのスピーカ７１～７４に出力する。４つスピーカ７１～７４は、運転者の位置を中心するサラウンド再生を行い、マイクアレイＭＡで収音された音の音場を再現する。
　ステップＳ６及びステップＳ８の処理後、音声処理装置１０は、音源検知動作を終了するか否かを判別する（Ｓ９）。音源検知動作の終了は、例えば、ユーザ操作、所定時間の経過、車両３のイグニッションのオフによるエンジン停止等があった場合に行われる。音声処理装置１０は音源検知動作を終了しない場合（Ｓ９、ＮＯ）、音源検知システム５の処理はステップＳ１の処理に戻る。一方、音声処理装置１０は音源検知動作を終了する場合（Ｓ９、ＹＥＳ）、音源検知システム５の動作はそのまま終了する。
　以上により、実施の形態１の音源検知システム５では、車両３（移動体の一例）に取り付けられたマイクアレイＭＡ（収音装置の一例）と音声処理装置１０とが通信可能に接続される。マイクアレイＭＡは、８個のマイクロホンＭ１～Ｍ８（複数のマイクの一例）を有し、８個のマイクロホンＭ１～Ｍ８のそれぞれにより収音された音信号を音声処理装置１０に送る。音声処理装置１０は、マイクアレイＭＡから送られた音信号に基づいて、車両３の周囲において対象音（既定音の一例）の音源ｓｓの有無を検知する。音声処理装置１０は、音源ｓｓを検知した場合に、少なくとも音源ｓｓの有無を示す情報を表示装置６０に出力する。
　これにより、音源検知システム５は、自車両の周囲で既定の警報音もしくは緊急車両の存在を知らせる報知音等の音源を高精度に検知でき、自車両の周囲の状況を運転者もしくは遠隔の監視者に速やかに把握させることができる。つまり、車両３の運転者は、車両３の周囲で対象音を発する音源の有無を検知できる。音源として、例えば救急車や消防車等の緊急車両が近付いて来た場合、運転者は、表示装置６０に表示された音源検知画像ＧＺ２を見ることで、視覚的かつ直感的に緊急車両の接近を瞬時に確認できる。したがって、窓を閉め切って聞きづらくなった車室内でも、窓を開けておくこと無く、車両３の周囲で発せられた対象音を確実に検知できるようになる。
　また、音声処理装置１０は、マイクアレイＭＡから送られた音信号に基づいて、車両３から見た音源ｓｓの方向を取得する。音声処理装置１０は、車両３から見た音源ｓｓの方向を向きで示す矢印ａｒを表示装置６０に出力する。これにより、運転者は、音源の方向を知ることができ、車両の外の状況を把握でき、音源の方向に注意を向けることができる。
　また、音声処理装置１０は、マイクアレイＭＡから送られた音信号に基づいて、車両３から音源ｓｓまでの距離を取得する。音声処理装置１０は、車両３から音源ｓｓまでの距離を長さで示す矢印ａｒを表示装置６０に出力する。これにより、運転者は、車両から音源までの距離を知ることができ、車両の外の状況をより一層把握でき、音源が急接近しているのか否かを判断できる。
　また、音声処理装置１０は、車両３の周囲において異なる対象音を発する既定音の音源を検知した場合に、音源ｓｓの種類をマークで示す音源ｓｓを表示装置６０に出力する。これにより、車両の外の周囲で対象音を発する音源の種類（救急車、消防車、パトカー等の緊急車両が発するサイレン音や、他の車両が発するクラクション音や、踏切の警報音等）を特定できる。
　また、音声処理装置１０は、音源ｓｓを検知した場合に、マイクアレイＭＡから送られた音信号を用いて、マイクアレイＭＡを起点とした既定数の異なる方向にそれぞれ指向性を形成した音信号を、既定数の方向のそれぞれに対応して配置された既定数と同数のスピーカ７１～７４から音声出力する。これにより、運転者は、４つのスピーカから聞こえる対象音を聞くことで、聴覚的に緊急車両等の音源の接近を瞬時に確認できる。また、音源が発する対象音をサラウンド再生することができ、車両３の車室内に臨場感が生まれ、咄嗟の判断に役立つ。したがって、窓を閉め切って聞きづらくなった車室内でも、窓を開けておくことなく、車両の周囲で発せられた対象音を確実に検知できるようになる。
　また、音声処理装置１０は、マイクアレイＭＡを起点とした既定数の異なる方向にそれぞれ指向性を形成した音信号のデータ（音データ）を生成してメモリ３８（記録部）に記録する。このように、メモリが４つのスピーカが配置された方向に指向性を形成した音データを記録しておくことで、後日、交通事故（例えば、緊急車両との接触事故）が発生した場合に、警察関係者等による事故発生当時の音声による状況確認を効果的に支援できる。
　また、車両３は自律運転する自動運転車である。これにより、音源検知システム５は、例えば運転者が乗車していないもしくは乗車している自動運転車において、運転者が緊急車両等のサイレン音に気付かない場合でも、自動運転車によって自律的に緊急車両との接触事故等を防ぐことが可能となるので、自動運転車による交通ルールの遵守に貢献できる。
　また、マイクアレイＭＡは、車両３の車体の外側に取り付けられる。これにより、車両の周囲の音を感度良く収音できる。
（マイクアレイの構造及びルーフへの取付構造）
　次に、実施の形態１に係るマイクアレイＭＡの構造、並びにマイクアレイＭＡの車両３のルーフ３ｚへの取付構造を説明する。
　例えば特許文献１にも開示されているように、マイクロホンを車体の外側、例えば車体のルーフに取り付け、車両の周囲で発する音を収音することは従来から行われている。車体の外側にマイクロホンを取り付ける場合、マイクロホンの耐環境性を高めることが求められる。
　例えば、マイクロホンに日光が直接当たることで、紫外線によるマイクロホンの性能劣化が懸念されるので、対候性を高める必要がある。また、気温の変動（例えば、－１０℃～＋４０℃）によってマイクロホンが動作不良を起こさないように、熱的安定性を高める必要がある。また、風雨に直接晒されて、マイクロホンの受音面が損傷したり、水滴が溜まってマイクロホンの収音性能が低下したりしないように、防風防水性を高める必要がある。また、走行中に振動する車体の外側に取り付けられるので、車体からの振動がマイクロホンに伝わり、振動音を検知する等、マイクロホンの収音性能に影響を与えないようにする必要がある。また、マイクロホンは、点検時、交換時、不使用時等に取り外せるように、車体に対し着脱自在にしておく必要がある。
　そこで、実施の形態１に係るマイクアレイＭＡの構造は、上記要求を満たすように設計されている。図７は、実施の形態１に係るマイクアレイＭＡの構造及び車体のルーフ３ｚへの取付構造を示す断面図である。マイクアレイＭＡは、８個のマイクロホンＭ１～Ｍ８と、信号処理部２１が実装された基板２１ｚとを収容する筐体２０を有する。筐体２０は、アルミフレーム２２３と金属メッシュ２２２とを有し、略円筒状に成形される。アルミフレーム２２３は、ボックス部材２２３ｚと、カバー部材２２３ｙと、支持部材２２３ｘとが接合された構造を有する。
　カバー部材２２３ｙは、筒状の蓋部に形成される。カバー部材２２３ｙの、ルーフ３ｚと対向する面は、開放される。カバー部材２２３ｙの内側には、ユニバーサルジョイント２２４（つまり、自在継手）、ボックス部材２２３ｚ、及び封止材２２７が配置される。
　ボックス部材２２３ｚは、基板２１ｚを密閉するように収容し、カバー部材２２３ｙの下面に取り付けられる。ユニバーサルジョイント２２４は、上部部材２２４ａ、連接棒２２４ｂ及び下部部材２２４ｃを有する。上部部材２２４ａは、下部部材２２４ｃに対し、連接棒２２４ｂを介して任意の向きに可変自在である。マイクアレイＭＡをルーフ３ｚの表面に取り付ける際、湾曲しているルーフ３ｚの表面に対しマイクアレイＭＡの姿勢が地面に対して略水平もしくは水平になるように、ユニバーサルジョイント２２４の向きが調整される。なお、ここでは、ユニバーサルジョイントの数は、４個であるが、２個や８個等、任意の数でよい。
　上部部材２２４ａは、カバー部材２２３ｙの下面に取り付けられる。下部部材２２４ｃは、例えば耐候性を有するステンレス材でヨークとして成形され、その下面に配置されたマグネット２２５とともに磁気回路を形成し、シリコンゴム２２６を介して、磁力でルーフ３ｚと引き付け合い、着脱可能に連結する。シリコンゴム２２６は、ルーフ３ｚがマグネット２２５により傷などのダメージを受けないための保護部材である。なおかつ、シリコンゴム２２６は、マイクアレイＭＡ本体とルーフ３ｚとの密着性を高める。以上の構成により、マイクアレイＭＡは、ルーフ３ｚに対し着脱自在である。なお、下部部材２２４ｃの例としてのステンレス材は、磁性材、非磁性材のいずれでもよい。
　封止材２２７は、例えば独立発泡スポンジでカバー部材２２３ｙの内側を充填し、シリコンゴム２２６とともに、ルーフ３ｚの表面から風雨が廻り込んでマイクロホンＭ１～Ｍ８側に侵入することを防ぐ。封止材２２７は、マイクロホンＭ１～Ｍ８の収音孔とは反対側にある面（下面）から回り込む風雑音も低減できる。
　支持部材２２３ｘは、カバー部材２２３ｙの上面から立ち上がった垂直部材２２３ｘ１と、垂直部材２２３ｘ１の先端から斜め上方に延びた斜行部材２２３ｘ２とからなる。斜行部材２２３ｘ２の上面には、１つのマイクロホンＭ１～Ｍ８（図７では、マイクロホンＭ１，Ｍ５が描画される）が取り付けられる。斜行部材２２３ｘ２の上面に取り付けられた、マイクロホンＭ１～Ｍ８の受音面は、マイクアレイＭＡの中央から外側に向かって傾斜した状態となる。また、マイクロホンＭ１～Ｍ８の受音面には、防水膜ｍｃｖが貼付されており、水滴をはじき易くしている。これにより、マイクロホンＭ１～Ｍ８の受音面に水滴が付着した場合、水滴は、マイクロホンＭ１～Ｍ８の受音面に沿って下方に流れ易くなる。従って、マイクロホンＭ１～Ｍ８において、表面張力による水滴が受音面に溜まりにくくなり、マイクロホンの収音性能の低下を抑制できる。
　また、支持部材２２３ｘが接合されたカバー部材２２３ｙの面には、風防材２２８が設けられる。風防材２２８は、例えば連続発泡スポンジで成形され、外部からの音をマイクロホンＭ１～Ｍ８の収音孔側の面に伝達可能としながら、風雨が直接にマイクロホンＭ１～Ｍ８に当たらないように、その侵入を低減する。また、カバー部材２２３ｙを覆うように、金属メッシュ２２２がカバー部材２２３ｙの外側に取り付けられる。金属メッシュ２２２は、風防材２２８がカバー部材２２３ｙから脱落することを防ぐとともに、落雷や静電気からマイクアレイＭＡを保護する。金属メッシュ２２２の取付は、例えば、金属メッシュ２２２に形成された係止片が、カバー部材２２３ｙに形成された係合孔と係合することで、固定される。なお、金属メッシュ２２２とカバー部材２２３ｙは、ねじで螺合することで固定されてもよい。
　また、マイクロホンＭ１～Ｍ８が取り付けられる支持部材２２３ｘの面には、孔が形成されており、マイクロホンＭ１～Ｍ８の信号線ｓｃ２はこの孔を通して基板２１ｚ側に導かれる。信号線ｓｃ２と孔との隙間には、シーリング材が充填され、防水パッキン２３１が形成される。また、カバー部材２２３ｙとボックス部材２２３ｚが重なる面には、マイクロホンＭ１～Ｍ８からの信号線ｓｃ２が挿通され、基板２１ｚに接続されるための孔が形成される。信号線ｓｃ２とこの孔との隙間には、シーリング材が充填され、防水パッキン２３２が形成される。
　また、ボックス部材２２３ｚの下面には、基板２１ｚからのＵＳＢケーブルｓｃ１が挿通される孔が形成されており、基板２１ｚからのＵＳＢケーブルｓｃ１はこの孔を通してルーフ３ｚ側に導かれる。ＵＳＢケーブルｓｃ１は、電源線及び信号線を含む。ＵＳＢケーブルｓｃ１と孔との隙間には、シーリング材が充填され、防水パッキン２３３が形成される。また、ルーフ３ｚの表面には、ＵＳＢ防水コネクタ２３４が取り付けられている。ＵＳＢ防水コネクタ２３４の片側には、基板２１ｚに繋がるＵＳＢケーブルｓｃ１が着脱自在に接続される。一方、ＵＳＢ防水コネクタ２３４の反対側には、車室内の音声処理装置１０に繋がるＵＳＢケーブルｓｃ３が接続される。なお、基板２１ｚに実装された信号処理部２１と音声処理装置１０とが近距離無線通信により接続される場合、ＵＳＢケーブルｓｃ１，ＵＳＢ防水コネクタ２３４及びＵＳＢケーブルｓｃ３は省かれる。
　以上により、実施の形態１に係るマイクアレイＭＡの構造及び車体のルーフ３ｚへの取付構造では、車体の外側に取り付けられるマイクアレイＭＡに収容されるマイクロホンＭ１～Ｍ８の耐環境性を高めることができる。例えば、風防材２２８によってマイクロホンＭ１～Ｍ８に日光が直接当たらなくなり、紫外線によるマイクロホンの性能劣化を抑制できる。また、マイクロホンＭ１～Ｍ８には、使用温度範囲（例えば、－４０℃～＋１００℃で感度の変化１％以下）の広いＭＥＭＳマイクが採用されているので、気温の変動（－１０℃～＋４０℃）があっても、マイクロホンＭ１～Ｍ８は正常に動作する。また、風防材２２８によってマイクロホンＭ１～Ｍ８が風雨に直接晒されにくくなる。また、封止材２２７によってルーフ３ｚ側からマイクロホンＭ１～Ｍ８への風雨の廻り込みも防止できる。封止材２２７は、マイクロホンＭ１～Ｍ８の収音孔とは反対側にある面（下面）から回り込む風雑音も低減できる。また、基板２１ｚは、ボックス部材２２３ｚに密封されている。従って、マイクロホンの収音性能が低下しないように、マイクアレイＭＡの防風防水性を著しく高めることができる。また、マイクロホンＭ１～Ｍ８を支持する支持部材２２３ｘは、マイクアレイＭＡの中心から外側に向かって傾斜しているので、マイクロホンＭ１～Ｍ８に風防材２２８から染み出た水滴が付着しても、傾斜面に沿って下方に流れ易くなる。これにより、マイクロホンＭ１～Ｍ８の受音面に水滴が溜まらず、収音性能の低下が抑えられる。
　また、マイクアレイＭＡの車体のルーフ３ｚへの取付には、弾力性を有するシリコンゴム２２６が介在しているので、走行中に振動する車体からの振動がマイクロホンＭ１～Ｍ８に伝わりにくくなる。また、シリコンゴム２２６によってマイクアレイＭＡとルーフ３ｚとの密着性が高まり、より一層振動の伝搬が抑えられる。また、マイクロホンＭ１～Ｍ８を支持する支持部材２２３ｘが接合されたカバー部材２２３ｙは、ユニバーサルジョイント２２４を介してルーフ３ｚに取り付けられる。従って、湾曲しているルーフ３ｚに対し、カバー部材２２３ｙを水平方向になるように微調整できる。これにより、マイクアレイＭＡの収音性能を一定に保つことができる。
　下部部材２２４ｃは、耐候性を有するステンレス材でヨークとして成形され、その下面に配置されたマグネット２２５とともに磁気回路を形成し、シリコンゴム２２６を介して、磁力でルーフ３ｚと引き付け合い、着脱可能に連結する。シリコンゴム２２６は、ルーフ３ｚがマグネット２２５により傷などのダメージを受けないための保護部材である。なおかつ、シリコンゴム２２６は、マイクアレイＭＡ本体とルーフ３ｚとの密着性を高める。
　また、ユニバーサルジョイント２２４の下部部材２２４ｃとマグネット２２５とが磁気回路を形成して、シリコンゴム２２６を介してルーフ３ｚと引き付け合って連結しているので、下部部材２２４ｃ、マグネット２２５及びシリコンゴム２２６はルーフ３ｚから切り離し可能であり、マイクアレイＭＡは、車体から着脱自在となる。従って、定期点検時、交換時、不使用時等において、マイクアレイＭＡをルーフ３ｚから容易に取り外すことができる。
　（変形例１）
　図８は、変形例１に係るマイクアレイＭＡの構造及び車体のルーフ３ｚへの取付構造を示す断面図である。変形例１に係るマイクアレイＭＡの筐体２０Ａでは、上述した実施の形態１に係る筐体２０と比べ、アルミフレームの構造が異なる。なお、上述した実施の形態１に係る筐体２０と同一の構造については同一の符号を付与して説明を簡略化又は省略する。
　アルミフレーム２２３Ａは、略ドーム状に成形される。アルミフレーム２２３Ａの天井面の周縁部は、外側に向かって低くなるようなテーパ面に形成される。アルミフレーム２２３Ａの内側には、上下の空間を仕切る仕切り板２２３ｍが設けられる。仕切り板２２３ｍの上側の空間には、マイクロホンＭ１～Ｍ８及び基板２１ｚが配置される。アルミフレーム２２３Ａの外側と金属メッシュ２２２との間には、風防材２２８が介在する。
　マイクロホンＭ１～Ｍ８（図８では、マイクロホンＭ１，Ｍ５が描画される）は、アルミフレーム２２３Ａの天井面の周縁部に取り付けられる。マイクロホンＭ１～Ｍ８の受音面は、アルミフレーム２２３Ａの天井面に形成された孔から露出している。マイクロホンＭ１～Ｍ８の受音面には、防水膜ｍｃｖが貼付されている。また、仕切り板２２３ｍの上側の空間は、アルミフレーム２２３Ａの天井面とマイクロホンＭ１～Ｍ８の受音面とで密封されるので、この空間には、充填材が存在しない。マイクロホンＭ１～Ｍ８からの信号線ｓｃ２は、密閉された空間に配置された基板２１ｚに接続される。
　基板２１ｚは、仕切り板２２３ｍの上面にスペーサ（図示略）を介して取り付けられる。仕切り板２２３ｍの下側の空間には、ユニバーサルジョイント２２４が配置される。ユニバーサルジョイント２２４の数は、上述した実施の形態１と同様である。ユニバーサルジョイント２２４の上部部材２２４ａは、仕切り板２２３ｍを支持するように、その下面に取り付けられる。また、仕切り板２２３ｍの下側の空間は、上述した実施の形態１と同様、封止材２２７で充填される。
　また、仕切り板２２３ｍの下面には、基板２１ｚからのＵＳＢケーブルｓｃ１が挿通される孔が形成されており、基板２１ｚからのＵＳＢケーブルｓｃ１はこの孔を通してルーフ３ｚ側に導かれる。ＵＳＢケーブルｓｃ１と孔との隙間には、シーリング材が充填され、防水パッキン２３２ｋが形成される。また、ルーフ３ｚの表面には、ＵＳＢ防水コネクタ２３４が取り付けられている。ＵＳＢ防水コネクタ２３４の片側には、基板２１ｚに繋がるＵＳＢケーブルｓｃ１が着脱自在に接続される。一方、ＵＳＢ防水コネクタ２３４の反対側には、車室内の音声処理装置１０に繋がるＵＳＢケーブルｓｃ３が接続される。
　このように、変形例１では、上述した実施の形態１と同様の効果がある他、アルミフレーム２２３Ａの形状を単純化でき、製造し易くなる。また、仕切り板２２３ｍの上側の空間に充填剤が存在しなくなるので、風防材２２８の量を少なくすることができる。
（変形例２）
　図９は、変形例２に係るマイクアレイＭＡの構造及び車体のルーフ３ｚへの取付構造を示す断面図である。変形例２に係るマイクアレイＭＡの筐体２０Ｂでは、上述した実施の形態１に係る筐体２０及び変形例１に係る筐体２０Ａと比べ、信号処理部２１を実装した基板２１ｚが車体の内側、つまりルーフ３ｚの裏側に配置されることが異なる。なお、上述した実施の形態１に係る筐体２０あるいは変形例１に係る筐体２０Ａと同一の構造については同一の符号を付与して説明を簡略化又は省略する。
　変形例２では、筐体２０Ｂは、上述した実施の形態１に係る筐体２０及び変形例１に係る筐体２０Ａと比べ、径方向の面が広く、厚さが薄い形状を有する。また、アルミフレームの構造が異なる。アルミフレーム２２３Ｂは、円筒状の蓋部に成形される。アルミフレーム２２３Ｂの上面には、マイクロホンＭ１～Ｍ８が取り付けられる斜面部２２３Ｂ１が形成される。この斜面部２２３Ｂ１は、外側に向かうほど低くなるように傾斜している。この斜面部２２３Ｂ１に取り付けられたマイクロホンＭ１～Ｍ８の受音面は、上述した実施の形態１及び変形例１と同様、付着した水滴を下方に導く。
　また、斜面部２２３Ｂ１には、マイクロホンＭ１～Ｍ８の信号線ｓｃ２が挿通される孔が形成される。マイクロホンＭ１～Ｍ８からの信号線ｓｃ２は、この孔を通してルーフ３ｚ側に導かれる。ルーフ３ｚの面には、防水コネクタ２３４Ａ（例えば、ハーメチックコネクタ）が設けられる。防水コネクタ２３４Ａの片側には、マイクロホンＭ１～Ｍ８に繋がる信号線ｓｃ２が接続される。防水コネクタ２３４Ａの反対側には、車体の内側に配置された基板２１ｚに実装された信号処理部２１に繋がる信号線ｓｃ４が接続される。
　このように、変形例２では、上述した実施の形態１と同様の効果がある他、基板２１ｚを密閉する空間を車体の外側に設ける必要がなくなるので、筐体２０Ｂの厚さを薄く成形できる。これにより、外観の見栄えが良くなり、デザイン性が向上する。また、基板２１ｚに実装された信号処理部２１に要求される耐環境性の仕様を下げることができ、部品コストの低下に繋がる。
（実施の形態２）
　実施の形態１では、マイクアレイＭＡにより収音された音に１種類の対象音が含まれる例を説明した。実施の形態２では、マイクアレイＭＡにより収音された音に複数種類の対象音が含まれる例を説明する。
　また、実施の形態２の音源検知システムは実施の形態１とほぼ同一の構成を有する。実施の形態１と同一の構成要素については同一の符号を用いることで、その説明を簡略化又は省略する。
　図１０は、実施の形態２に係る音源検知動作手順の一例を説明するフローチャートである。図１０の説明において、実施の形態１に係る音源検知動作手順（図６参照）と同一のステップ処理については同一の符号を付すことで、その説明を簡略化又は省略する。
　図１０において、マイクアレイＭＡは、車両３の周囲の音を収音する（Ｓ１）。対象音検知部３０は、収音した音声に対象音が含まれるか否かを検知する処理を行う（Ｓ２）。
　検知結果判定部６６は、ステップＳ２における対象音の検知処理の結果、複数種類の対象音を検知したか否かを判別する（Ｓ３Ａ）。複数種類の対象音を検知しなかった場合（Ｓ３Ａ、ＮＯ）、検知結果判定部６６は、１種類の対象音を検知したか否かを判別する（Ｓ３Ｂ）。１種類の対象音も検知していない場合（Ｓ３Ｂ、ＮＯ）、音源検知システム５の処理はステップＳ９に進む。一方、ステップＳ３Ｂで１種類の対象音を検知した場合（Ｓ３Ｂ、ＹＥＳ）、実施の形態１に係る音源検知動作手順のステップＳ４以降の処理が行われる。
　ステップＳ３Ａで複数種類の対象音を検知した場合（Ｓ３Ａ、ＹＥＳ）、検知結果判定部６６は、複数種類の対象音を発する音源の方向を判定する（Ｓ４Ａ）。音源の方向は、前述したように、検知方向制御部６８によって制御される検知方向から取得される。検知結果判定部６６は、検知方向制御部６８によって制御される検知方向に指向性形成処理を行った結果、マイクアレイＭＡで収音された対象音が最も強く聞こえる方向を音源方向とする。
　検知結果判定部６６は、複数種類の対象音に対し、方向別の対象音を抽出して個別に分離する（Ｓ４Ｂ）。更に、検知結果判定部６６は、個別の対象音を発する音源までの距離をそれぞれ判定する（Ｓ５Ａ）。車両３から音源ｓｓまでの距離は、前述したように、対象音の音圧レベルを基に算出される。対象音の音圧レベルはほぼ一定であるので、検知結果判定部６６は、マイクアレイＭＡで収音された対象音の音量の減衰から逆算して音源までの距離を算出する。
　出力制御部３５は、個別の対象音を発する音源ｓｓの種類、方向及び距離を基に、音源検知画像ＧＺを生成し、表示装置６０に出力する（Ｓ６Ａ）。複数種類の対象音が検知された場合、音源検知画像ＧＺには、複数の音源ｓｓを表すマークが表示される。なお、出力制御部３５は、音源の数に対応する枚数の音源検知画像ＧＺ、例えば音源が２つである場合に２枚の音源検知画像を生成してもよい。表示装置６０は、出力制御部３５からの音源検知画像ＧＺを入力すると、画面に音源検知画像ＧＺを表示する。
　また、ステップＳ３Ａで複数種類の対象音を検知した場合、あるいは、ステップＳ３で１種類の対象音を検知した場合、実施の形態１と同様、上記ステップＳ４Ａ～Ｓ６ＡあるいはＳ４～Ｓ６の処理と並行して、サラウンド再生部５０は、実施の形態１と同様、ステップＳ７、Ｓ８の処理を行う。ステップＳ６、Ｓ６Ａ、Ｓ８の処理後、音声処理装置１０は、ステップＳ９の処理に進む。
　以上により、実施の形態２に係る音源検知システム５では、音声処理装置１０は、車両３の周囲において複数の異なる対象音（既定音）の音源ｓｓを検知した場合に、それぞれの音源ｓｓの種類を示す情報を表示装置６０に出力する。これにより、車両の周囲で複数の対象音を発する複数の音源がある場合でも、音源の種類（救急車、消防車、パトカー等の緊急車両が発するサイレン音や、他の車両が発するクラクション音や、踏切の警報音等）を特定できる。したがって、運転者は、表示装置に表示された音源検知画像を見ることで、視覚的に一例として複数の緊急車両の接近を確認できる。また、運転者は、複数の緊急車両が発するサイレン音をサラウンド再生で聞くことができる。
　以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　例えば、上述した実施の形態では、対象音として、突発的な音である、緊急車両のサイレン音や他の車両からクラクション音、踏切の警報音を例示したが、これらに限らず、工事現場の音や、視覚障害者が横断歩道を渡る時に発せられる誘導音等を含めてもよい。
　また、上述した実施の形態では、マイクアレイは、車体に着脱自在な構造を有していたが、車体から取り外されることなく、車体に設置して固定されてもよい。また、マイクアレイは、車体のルーフに限らず、ボンネットやリアドア等、任意の場所に取り付けられてもよい。
　なお、本出願は、２０１７年１２月２８日出願の日本特許出願（特願２０１７－２５４８９３）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、自車両の周囲で既定の警報音もしくは緊急車両の存在を知らせる報知音等の音源を検知し、自車両の周囲の状況を運転者もしくは遠隔の監視者に速やかに把握させる音源検知システム及び音源検知方法として有用である。
５　音源検知システム
１０　音声処理装置
３０　対象音検知部
５０　サラウンド再生部
６０　表示装置
７０　スピーカシステム
７１～７４　スピーカ
Ｍ１～Ｍ８　マイクロホン
ＭＡ　マイクアレイ
ｓｓ　音源

Claims (9)

  1. 　移動体に取り付けられた収音装置と音声処理装置とが通信可能に接続された音源検知システムであって、
    　前記収音装置は、
    　複数のマイクを有し、前記複数のマイクのそれぞれにより収音された音信号を前記音声処理装置に送り、
    　前記音声処理装置は、
    　前記収音装置から送られた前記音信号に基づいて、前記移動体の周囲において既定音の音源の有無を検知し、
    　前記音源を検知した場合に、少なくとも前記音源の有無を示す情報を表示装置に出力する、
    　音源検知システム。
  2. 　前記音声処理装置は、
    　前記収音装置から送られた前記音信号に基づいて、前記移動体から見た前記音源の方向を取得し、
    　前記移動体から見た前記音源の方向を示す情報を前記表示装置に出力する、
    　請求項１に記載の音源検知システム。
  3. 　前記音声処理装置は、
    　前記収音装置から送られた前記音信号に基づいて、前記移動体から前記音源までの距離を取得し、
    　前記移動体から前記音源までの距離を示す情報を前記表示装置に出力する、
    　請求項１に記載の音源検知システム。
  4. 　前記音声処理装置は、
    　前記移動体の周囲において複数の異なる既定音の音源を検知した場合に、それぞれの前記音源の種類を示す情報を前記表示装置に出力する、
    　請求項１～３のうちいずれか一項に記載の音源検知システム。
  5. 　前記音声処理装置は、
    　前記音源を検知した場合に、前記収音装置から送られた前記音信号を用いて、前記収音装置を起点とした既定数の異なる方向にそれぞれ指向性を形成した音信号を、前記既定数の方向のそれぞれに対応して配置された前記既定数と同数のスピーカから音声出力する、
    　請求項１に記載の音源検知システム。
  6. 　前記音声処理装置は、
    　前記収音装置を起点とした既定数の異なる方向にそれぞれ指向性を形成した音信号のデータを生成して記録部に記録する、
    　請求項５に記載の音源検知システム。
  7. 　前記移動体は、自律運転する自動運転車である、
    　請求項１～６のうちいずれか一項に記載の音源検知システム。
  8. 　前記移動体は、車両であり、
    　前記収音装置は、前記車両の車体の外側に取り付けられる、
    　請求項１～７のうちいずれか一項に記載の音源検知システム。
  9. 　移動体に取り付けられた収音装置と音声処理装置とが通信可能に接続された音源検知システムを用いた音源検知方法であって、
    　前記収音装置は、
    　複数のマイクを有し、前記複数のマイクのそれぞれにより収音された音信号を前記音声処理装置に送り、
    　前記音声処理装置は、
    　前記収音装置から送られた前記音信号に基づいて、前記移動体の周囲において既定音の音源の有無を検知し、
    　前記音源を検知した場合に、少なくとも前記音源の有無を示す情報を表示装置に出力する、
    　音源検知方法。
PCT/JP2018/040058 2017-12-28 2018-10-29 音源検知システム及び音源検知方法 WO2019130789A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-254893 2017-12-28
JP2017254893A JP2019121887A (ja) 2017-12-28 2017-12-28 音源検知システム及び音源検知方法

Publications (1)

Publication Number Publication Date
WO2019130789A1 true WO2019130789A1 (ja) 2019-07-04

Family

ID=67063081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040058 WO2019130789A1 (ja) 2017-12-28 2018-10-29 音源検知システム及び音源検知方法

Country Status (2)

Country Link
JP (1) JP2019121887A (ja)
WO (1) WO2019130789A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2763309C1 (ru) * 2021-03-22 2021-12-28 Павел Романович Громов Адаптивный способ активного гашения шума в салоне автомобиля и устройство для его реализации
US11360181B2 (en) * 2019-10-31 2022-06-14 Pony Ai Inc. Authority vehicle movement direction detection
US11768283B2 (en) 2021-05-03 2023-09-26 Waymo Llc Sound source distance estimation
WO2023204076A1 (ja) * 2022-04-18 2023-10-26 ソニーグループ株式会社 音響制御方法及び音響制御装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7276472B2 (ja) 2019-09-09 2023-05-18 日本電信電話株式会社 集音放音方法
DE102021203087A1 (de) 2021-03-29 2022-09-29 Zf Friedrichshafen Ag Kompression von Audiodaten im Fahrzeug
JP2022160232A (ja) * 2021-04-06 2022-10-19 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092482A (ja) * 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
JP2014116648A (ja) * 2012-12-06 2014-06-26 Jvc Kenwood Corp 音源方向表示装置、音源方向表示方法、音源方向送信方法、及び音源方向表示プログラム
JP2015118438A (ja) * 2013-12-17 2015-06-25 みこらった株式会社 自動運転車

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092482A (ja) * 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
JP2014116648A (ja) * 2012-12-06 2014-06-26 Jvc Kenwood Corp 音源方向表示装置、音源方向表示方法、音源方向送信方法、及び音源方向表示プログラム
JP2015118438A (ja) * 2013-12-17 2015-06-25 みこらった株式会社 自動運転車

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360181B2 (en) * 2019-10-31 2022-06-14 Pony Ai Inc. Authority vehicle movement direction detection
RU2763309C1 (ru) * 2021-03-22 2021-12-28 Павел Романович Громов Адаптивный способ активного гашения шума в салоне автомобиля и устройство для его реализации
US11768283B2 (en) 2021-05-03 2023-09-26 Waymo Llc Sound source distance estimation
WO2023204076A1 (ja) * 2022-04-18 2023-10-26 ソニーグループ株式会社 音響制御方法及び音響制御装置

Also Published As

Publication number Publication date
JP2019121887A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
WO2019130789A1 (ja) 音源検知システム及び音源検知方法
US10536791B2 (en) Vehicular sound processing system
US10351148B2 (en) System and method for sound direction detection in a vehicle
JP6627361B2 (ja) 運転情報記録装置、運転情報再生装置、制御装置、運転情報記録方法、及び運転情報記録プログラム
US10506838B2 (en) Augmented audio enhanced perception system
CN108058663B (zh) 车辆声音处理系统
JP2008035472A (ja) 車内外音響伝送システム
US10219571B1 (en) In helmet sensors providing blind spot awareness
US20020186201A1 (en) Vehicle tracking and identification of emergency/law enforcement vehicles
US20130208111A1 (en) Flight recorder
KR20140091552A (ko) 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이
KR20180066509A (ko) 후방 차량의 시각화 정보 제공 장치 및 방법
JP2015022453A (ja) 緊急車両報知システム
KR101384781B1 (ko) 이상 음원 탐지 장치 및 방법
EP3128497A1 (en) Device for alerting on the approaching of emergency vehicles
TW201731307A (zh) 聽力輔助系統及電子裝置
US20210306752A1 (en) Information Processing Apparatus, Information Processing Method, And Video Sound Output System
CN110031976A (zh) 一种具有报警功能的眼镜及其控制方法
US20220227308A1 (en) Systems and methods for a piezoelectric diaphragm transducer for automotive microphone applications
KR100470437B1 (ko) 감시시스템에서의 음원 탐지 및 위치 제어방법
JPWO2020039678A1 (ja) ヘッドアップディスプレイ装置
US20210061185A1 (en) Systems And Methods For A Piezoelectric Diaphragm Transducer For Automotive Microphone Applications
KR20170054714A (ko) 자동차 외부의 소음을 감지한 경고음 송출 시스템 및 그 방법
KR101844181B1 (ko) 전달력이 향상된 도로용 스피커를 이용한 도로 정보 방송 시스템
WO2020031696A1 (ja) 情報処理装置及び情報処理方法、並びに映像音声出力システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18895511

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18895511

Country of ref document: EP

Kind code of ref document: A1