WO2017200300A2 - 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 - Google Patents

소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 Download PDF

Info

Publication number
WO2017200300A2
WO2017200300A2 PCT/KR2017/005128 KR2017005128W WO2017200300A2 WO 2017200300 A2 WO2017200300 A2 WO 2017200300A2 KR 2017005128 W KR2017005128 W KR 2017005128W WO 2017200300 A2 WO2017200300 A2 WO 2017200300A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
sound
acoustic
signal
noise source
Prior art date
Application number
PCT/KR2017/005128
Other languages
English (en)
French (fr)
Other versions
WO2017200300A3 (ko
Inventor
김영기
Original Assignee
(주)에스엠인스트루먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스엠인스트루먼트 filed Critical (주)에스엠인스트루먼트
Publication of WO2017200300A2 publication Critical patent/WO2017200300A2/ko
Publication of WO2017200300A3 publication Critical patent/WO2017200300A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52044—Scan converters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G03B41/02—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film
    • G03B41/04—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator
    • G03B41/06—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator with rotating reflecting member
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B81—MICROSTRUCTURAL TECHNOLOGY
    • B81B—MICROSTRUCTURAL DEVICES OR SYSTEMS, e.g. MICROMECHANICAL DEVICES
    • B81B2201/00—Specific applications of microelectromechanical systems
    • B81B2201/02—Sensors
    • B81B2201/0292—Sensors not provided for in B81B2201/0207 - B81B2201/0285
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Definitions

  • the present invention relates to a noise source visualization data accumulation display method and an acoustic camera system.
  • Patent No. 10-1213539 (SM Instruments, Inc.) owned by the applicant of the present invention, which is a prior art, is configured by mounting a plurality of MEMS microphones on a printed circuit board, wherein the MEMS microphones are arranged in a radial direction.
  • an acoustic sensing device using a MEMS microphone array characterized by having two to ten wings extending.
  • Applicant's patent registration No. 10-1471299 (SM Instruments) of the present invention of the prior art, and the front body is disposed so that the acoustic sensing unit of the MEMS microphone facing forward;
  • the MEMS microphones in which a sound sensing unit is exposed to the front body while being fixed to a substrate;
  • An image photographing unit exposing a photographing lens through the lens hole of the front body;
  • a handle part which forms 2 to 30 wing parts and is spaced apart from each other by 2 to 50 MEMS microphones on one wing part W, and protrudes rearwardly while being fixed to an edge or a rear body of the front body;
  • Posts a mobile sound camera, characterized in that further comprises a.
  • the microphone array beamformer is a method for locating a noise source.
  • the microphone array beamformer measures sound waves generated from a noise source using a plurality of microphone sensors, and visualizes the distribution of the noise source through signal processing. That's how. According to the characteristics of the signal received from each microphone, it is reconstructed into a signal generated at a specific originating position to measure its sound pressure level, and the measured sound pressure level is shown as a spatial distribution to estimate the position of the noise source.
  • Acoustic camera measurement technique has been developed for the research purpose of special field, but it is being applied to the research / development stage of each industry according to the advantage of intuitively confirming the distribution of noise source.
  • Patent Registration 10-2009-0047507 Applicant: SM Instruments Co., Ltd.
  • the present invention is to provide an acoustic camera system that can effectively display noise and noise generated at different moments at different points to be easily recognized by the user.
  • the present invention is to provide a noise source visualization data accumulation display method and an acoustic camera system that solves this problem.
  • the present invention accumulates and displays the noise generated at different moments at different points in machinery, electronic devices, automobiles, etc. on a single screen, so that the positions of the plurality of noise sources can be clearly understood and the degree of noise of the noise sources is sequentially. It is possible to display, and to provide a sound source visualization data accumulation display method and an acoustic camera system capable of excluding the effect of external noise on the sound field visualization screen by a unique triggering or effective data screening method.
  • At least two sound field visualized images are generated by beamforming acoustic signals acquired at different moments using a plurality of microphone arrays, and then mapping them on one optical image to accumulate them. Display.
  • the method for accumulating and displaying the noise source visualization data includes MEMS sound sensor 10 and spaced at equal intervals on a curved surface or a plane to detect sound signals of a noise source, and the MEMS sound sensor 10.
  • Sound and image signals including an audio signal acquisition unit 20 for converting the sound signal received from the digital signal to the central processing unit 40 and a photographing lens 30 for capturing an optical image of the noise source.
  • an initial signal acquisition step (S20) in which the sound and image signal acquisition means (100) acquires an audio signal and an image of a noise source;
  • the central processing unit 40 is first based on the sound signals acquired during a first time frame (T1) calculating the beam power (P ij) for each branch to generate the first sound data (D1), and said imaging lens (30
  • a cumulative signal acquisition step (S50) of acquiring the acoustic signal of the noise source by the sound signal acquisition unit (20) during the second time frame (T2) which is later in time than the first time frame (T1); Cumulative signal analysis step S60 by the central processing unit 40 to generate the second sound data (D2) by calculating the beam power (P ij
  • the central processing unit calculates a value calculated by utilizing a difference value of at least two beam power values selected from among beam power values of each point calculated based on an acoustic signal acquired during one time frame.
  • the value is larger than the preset value, it is preferable to treat the sound data as valid sound data and to superimpose the image data to display the image data or to use it as a trigger signal for data storage.
  • the central processing unit has a difference between the maximum value P max and the minimum value P min among the beam power Pij values is greater than the preset reference value ⁇ P1 or the maximum value ( When the difference between P max ) and the average value P mean is larger than the preset reference value DELTA P2, it is preferable to treat the sound data as valid sound data, display the image data and superimpose them, or use as a trigger signal for data storage.
  • the central processing unit determines that the effective noise is generated when the standard deviation value of the beam power Pij calculated at each point calculated based on the acquired acoustic signal during one time frame is larger than the preset reference. It is handled and superimposed on the image data to be superimposed, or used as a trigger signal for data storage.
  • an acoustic camera system that can effectively display the noise and noise generated at different moments at different points to be easily recognized by the user.
  • the noise source visualization data accumulating display method and the acoustic camera system of the present invention are triggered by the difference between the components of the acoustic data matrix of one frame measured in one time zone and whether or not effective noise has occurred in the target noise source.
  • the noise source to be measured and analyzed is triggered when the background noise caused by ambient noise increases at the moment when there is no noise, and it is not displayed because the noise characteristic of the analysis is buried by unwanted noise (background noise). I solved the problem.
  • the noise source visualization data accumulation display method and the acoustic camera system of the present invention can display the noise generated at different moments at different points in machinery, electronic devices, automobiles, etc. on one screen to clearly identify the positions of a plurality of noise sources.
  • the noise level of the noise source can be displayed in order, and by the unique triggering or effective data selection method, the effect of external noise other than the noise source area can be excluded on the sound field visualization screen.
  • 1A and 1B are explanatory diagrams of a beam forming concept.
  • FIG. 2 is a configuration diagram of a sound source visualization data accumulation display acoustic camera system
  • FIG. 3 is a flowchart illustrating a method of accumulating noise source visualization data.
  • FIG. 4A (Over All Level: 45.1 dB) and FIG. 4B (Over All Level: 57.7 dB) are two sound data (Beam Power Level) frames measured and analyzed at different times at the same position.
  • a sound data frame obtained by subtracting an average value from beam power level values (matrix element value, P ij ) of sound data represented by the matrixes of FIGS. 5A and 5B.
  • FIG. 5C is an acoustic data frame showing an average of each matrix element value of the acoustic data frame of FIGS. 5A and 5B;
  • Fig. 6A is a cumulative display method sound and image data mapping image of noise source visualization data.
  • 6B is a sound and image mapping image in which noise source visualization data is cumulatively displayed in one image according to the present invention
  • At least two sound field visualized images are generated by beamforming acoustic signals acquired at different moments using a plurality of microphone arrays, and then mapping them on one optical image to accumulate them. Display.
  • the method for accumulating and displaying the noise source visualization data includes MEMS sound sensor 10 and spaced at equal intervals on a curved surface or a plane to detect sound signals of a noise source, and the MEMS sound sensor 10.
  • Sound and image signals including an audio signal acquisition unit 20 for converting the sound signal received from the digital signal to the central processing unit 40 and a photographing lens 30 for capturing an optical image of the noise source.
  • an initial signal acquisition step (S20) in which the sound and image signal acquisition means (100) acquires an audio signal and an image of a noise source;
  • the central processing unit 40 is first based on the sound signals acquired during a first time frame (T1) calculating the beam power (P ij) for each branch to generate the first sound data (D1), and said imaging lens (30
  • a cumulative signal acquisition step (S50) of acquiring the acoustic signal of the noise source by the sound signal acquisition unit (20) during the second time frame (T2) which is later in time than the first time frame (T1); Cumulative signal analysis step S60 by the central processing unit 40 to generate the second sound data (D2) by calculating the beam power (P ij
  • the central processing unit calculates a value calculated by utilizing a difference value of at least two beam power values selected from among beam power values of each point calculated based on an acoustic signal acquired during one time frame.
  • the value is larger than the preset value, it is preferable to treat the sound data as valid sound data and to superimpose the image data to display the image data or to use it as a trigger signal for data storage.
  • the central processing unit has a difference between the maximum value P max and the minimum value P min among the beam power Pij values is greater than the preset reference value ⁇ P1 or the maximum value ( When the difference between P max ) and the average value P mean is larger than the preset reference value DELTA P2, it is preferable to treat the sound data as valid sound data, display the image data and superimpose them, or use as a trigger signal for data storage.
  • the central processing unit determines that the effective noise is generated when the standard deviation value of the beam power Pij calculated at each point calculated based on the acquired acoustic signal during one time frame is larger than the preset reference. It is handled and superimposed on the image data to be superimposed, or used as a trigger signal for data storage.
  • 1A and 1B are explanatory diagrams of a beam forming concept.
  • the beamforming technique can be described by the following equation.
  • yi (t) is the signal measured at the i-th microphone and z (t) beam power.
  • yi (t) is the signal measured at the i-th microphone and z (t) beam power.
  • the size of the noise source can be expressed by the following formula.
  • FIG. 1A and 1B are schematic diagrams of a beam forming concept
  • FIG. 2 is a schematic diagram of a noise camera visualization data accumulation display
  • FIG. 3 is a flowchart illustrating a method of accumulating noise sources visualization data
  • FIG. (Over All Level: 57.7dB) is the beam power level value (matrix element value) of two acoustic data frames measured at different times at the same position and analyzed by the matrix of FIGS. 5A and 5B.
  • P ij which is an acoustic data frame obtained by subtracting the average value
  • FIG. 5C is an acoustic data frame obtained by averaging each matrix element value of the acoustic data frame of FIGS. 5A and 5B
  • FIG. 6A is a method of accumulating noise source visualization data.
  • image data mapping image FIG. 6B is a sound and image mapping image obtained by accumulating and displaying noise source visualization data in one image according to the present invention.
  • the noise source visualization data accumulation display method of the present invention the step (S10), the initial signal acquisition step (S20) and the initial analysis step of providing a sound and image signal acquisition means 100 It comprises a (S30) and the initial display step (S40), cumulative signal acquisition step (S50), cumulative signal analysis step (S60) and cumulative display step (S70).
  • step (S10) of providing the sound and image signal acquisition means 100 spaced at regular intervals on the curved surface or on the plane of the noise source MEMS sound detection sensors 10 for detecting sound signals, and sound signal acquisition unit 20 for converting sound signals received from the MEMS sound detection sensors 10 into digital signals and transmitting them to the central processing unit 40.
  • a photographing lens 30 for capturing an optical image of the noise source.
  • MEMS micro electro mechanical system
  • ADC analog pulse density modulation
  • the sound and image signal acquisition means 100 acquires the sound signal and the image of the noise source.
  • the sound signal acquisition unit 20 may measure at consecutive time intervals without a pause (only data of a time interval recognized as valid data by the analysis decision of the central processing unit is displayed and stored thereafter).
  • the central processing unit 40 in the first sound data generation step, the central processing unit 40 generates a beam Powell level matrix for each point of the noise source as shown in FIG. 4A.
  • the central processing unit 40 calculates beam power P ij of each point based on the sound signal acquired during the first time frame T1, and generates first sound data. Image data is generated based on the signal of the lens 30.
  • the acoustic data may be acoustic values in the form of a matrix generated based on the beam power Pij level itself at each point or the beam power Pij level at each point.
  • the beam power (P ij) the sound levels of the resulting matrix form the basis of the level is heard.
  • G., FIG. 5 (a, b) and the like may be a value obtained by subtracting the average value from the beam power (P ij) the level of each point, .
  • the value may be divided into a maximum value, an average value, an overall level, or a normalized value by using the maximum value, the average value, the overall level, or the like.
  • the initial presentation step S40 displays the first image of FIG. 6A.
  • the display unit 50 visually expresses the first sound data and the image data calculated by the central processing unit 40 by overlaying them in an overlapped manner.
  • the MEMS sound detection sensors 10 and the sound signal acquisition unit 20 are second in time after the first time frame T1 in time. Acquire the sound signal of the noise source. In fact, the acoustic signal acquisition unit 20 will measure at consecutive time intervals without a pause (only data of the time intervals recognized as valid data by the analysis decision of the central processing unit is displayed or stored later).
  • the CPU 40 in the cumulative signal analysis step S60, the CPU 40 generates an acoustic matrix as shown in FIG. 4B.
  • the central processing unit 40 generates cumulative acoustic data by calculating beam power Pij at each point based on the acoustic signals acquired during the second time frame T2.
  • the acoustic data may be acoustic values in the form of a matrix generated based on the beam power Pij level itself at each point or the beam power Pij level at each point.
  • the beam power (P ij) the sound levels of the resulting matrix form the basis of the level is heard.
  • the 5 (a, b) and the like may be a value obtained by subtracting the average value from the beam power (P ij) the level of each point, .
  • the value may be divided into a maximum value, an average value, an overall level, or a normalized value by using the maximum value, the average value, the overall level, or the like.
  • the display unit 50 may display the second sound data D2 and the initial sound data D1 or the fifth, fourth, third and second acoustic data D2, D3, D4, and D5 and initial acoustic data D1 are mapped and displayed on one optical image.
  • the central processing unit 40 may generate the acoustic matrix M3 calculated by using the second acoustic data D2 and the initial acoustic data D1, and map them on the optical image for display. can do.
  • the acoustic matrix M calculated using the second acoustic data D2 and the initial acoustic data D1 is an average of the data of FIGS. 5A and 5B (in this case, an operation means averaging).
  • steps S50, S60, and S70 may be repeated, for example, once to ten times and in some cases much more times to express the degree of noise source generation at different times on one screen.
  • the central processing unit 40 selects at least two of the beam power Pij values of each point calculated based on the acoustic signal acquired during one time frame.
  • the value calculated by utilizing the difference value of the beam power value is larger than the preset value, it can be treated as valid sound data, and can be superimposed and displayed on the image data or used as a triggering signal for data storage.
  • the central processing unit 40 may determine a difference between the maximum value P max and the minimum value P min among the beam power Pij values in advance.
  • the central processing unit 40 determines that the effective noise is generated when the standard deviation value of the beam power Pij of each point calculated based on the acoustic signal acquired during one time frame is larger than the preset reference. It may be treated as sound data, and may be mapped to image data to be superimposed, or used as a triggering signal for data storage.
  • the noise source visualization data accumulation display method of the present invention MEMS sound sensor 10, the sound signal acquisition unit 20, the photographing lens 30 and the central processing unit 40 and It is configured to include a display unit 50.
  • MEMS sound sensor 10 is disposed on a curved or flat surface (not shown) spaced at regular intervals to detect the sound signal of the noise source.
  • the sound signal acquisition unit 20 converts the sound signals received from the MEMS sound detection sensors 10 into digital signals and transmits them to the central processing unit 40.
  • the photographing lens 30 photographs an optical image of the noise source.
  • the central processing unit 40 generates sound data by calculating the beam power Pij of each point based on the sound signals acquired during the time frame, and generates image data based on the signal of the photographing lens 30.
  • the unit 50 visually expresses by overlaying and overlaying the sound data and the image data calculated by the central processing unit 40.
  • the central processing unit 40 beam-forms the sound signals acquired at different moments using the MEMS sound sensor 10 and the sound signal acquisition unit 20 to generate at least two sound field visualization images, and then photographs them. It maps and displays on one optical image obtained from the lens 30.
  • the central processing unit 40 may generate at least two acoustic data by beamforming the acoustic signals acquired at different moments, normalize them, and then map and accumulate them on the optical image.
  • an acoustic camera system that can effectively display the noise and noise generated at different moments at different points to be easily recognized by the user.
  • the noise source visualization data accumulating display method and the acoustic camera system of the present invention are triggered by the difference between the components of the acoustic data matrix of one frame measured in one time zone and whether or not effective noise has occurred in the target noise source.
  • the noise source to be measured and analyzed is triggered when the background noise caused by ambient noise increases at the moment when there is no noise, and it is not displayed because the noise characteristic of the analysis is buried by unwanted noise (background noise). I solved the problem.
  • the noise source visualization data accumulation display method and the acoustic camera system of the present invention can display the noise generated at different moments at different points in machinery, electronic devices, automobiles, etc. on one screen to clearly identify the positions of a plurality of noise sources.
  • the noise level of the noise source can be displayed in order, and by the unique triggering or effective data selection method, the effect of external noise other than the noise source area can be excluded on the sound field visualization screen.

Abstract

본 발명 MEMS 음향 감지 센서(10)들과, 수신된 음향신호를 중앙처리부(40)로 송신하는 음향신호 습득부(20)와, 상기 소음원의 광학 영상을 촬영하는 촬영 렌즈(30),를 포함하여 구성된 음향 및 화상 신호 습득수단(100)를 제공하는 단계(S10)와; 제1 시간프레임(T1) 동안에, 상기 음향 및 화상 신호 습득수단(100)이 소음원의 음향 신호와 영상을 습득하는 초기 신호습득 단계(S20)와; 상기 중앙처리부(40)가 빔 파워(Pij)를 계산하여 제1 음향 데이터를 생성하고, 상기 촬영 렌즈(30)의 신호를 기초로 영상 데이터를 생성하는 초기 분석 단계(S30)와; 디스플레이부(50)가 제1 음향 데이터와 화상 데이터를 코디네이션하여 중첩적으로 표출하는 초기 표출 단계(S40)와; 상기 제1 시간프레임(T1)보다 시간적으로 이후인 제2 시간프레임(T2) 동안에 상기 음향신호 습득부(20)가 소음원의 음향 신호를 습득하는 누적 신호습득 단계(S50)와; 상기 중앙처리부(40)가 제2 시간프레임(T2) 동안에 습득된 음향 신호를 기초로 누적 음향 데이터를 생성하는 누적 신호 분석 단계(S60)와; 상기 디스플레이부(50)가 상기 누적 음향 데이터를 상기 초기 음향 데이터와 화상 데이터가 중첩 표시된 영상 위에 표출하는 누적 표출 단계(S70);를 포함하여 구성되는 것을 특징으로 하는 소음원 가시화 데이터 누적 표시방법에 관한 것이다.

Description

소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
본 발명은 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템에 관한 것이다.
음향카메라는 소리를 시각화하는 첨단계측장비로, 멀티미디어 정보 통신기기, 가전, 자동차, 건설 등 다양한 분야에서 필요로 하는 신기술 장비이다. 종래 기술인 본 발명의 출원인 소유의 등록특허 제10-1213539호((주)에스엠인스트루먼트)는, 복수개의 MEMS 마이크로폰을 인쇄회로기판(Print Circuit Board)에 탑재하여 구성되되, 상기 MEMS 마이크로폰은 반경방향으로 확장되는 2 ~ 10개의 날개부를 가지는 것을 특징으로 하는 멤스 마이크로폰 어레이를 이용한 음향감지장치를 게시한다.
종래 기술인 본 발명의 출원인 소유의 등록특허 등록특허 제10-1471299호((주)에스엠인트루먼트)는, MEMS 마이크로폰들의 음향감지부가 전방을 향하게 배치되는 전방몸체와; 기판(substrate)에 고정된 상태에서 음향감지부가 상기 전방몸체에 노출되는 상기 MEMS 마이크로폰들과; 상기 MEMS 마이크로폰들이 장착되는 기판과; 상기 전방몸체의 렌즈홀을 통하여 촬영렌즈가 노출되는 영상촬영부와; 상기 전방몸체의 후면측에 상기 기판이 위치된 상태에서 상기 기판의 후측과 영상촬영부의 후측을 감싸는 후방몸체;을 포함하여 구성되고, 상기 MEMS 마이크로폰들은 반경방향으로 직선 또는 곡선 또는 나선 형상으로 확장되는 2 ~ 30개의 날개부를 형성하며, 하나의 상기 날개부(W)에2 ~ 50개의 MEMS 마이크로폰들이 이격되어 배열되고, 상기 전방몸체의 변두리 또는 후방몸체에 고정된 상태에서 후방으로 돌출되는 손잡이부;를 더 포함하여 구성되는 것을 특징으로 하는 이동식 음향 카메라를 게시한다.
전술한 바와 같이, 마이크로폰 어레이 빔포머 (Microphone Array Beamformer)는 소음원 위치규명 방법의 하나로, 다수의 마이크로폰 센서를 이용하여 소음원에서 발생하는 음파를 측정하고 이에 대한 신호처리를 통하여 소음원의 분포를 사진처럼 가시화 하는 방법이다. 각 마이크로폰에서 수신되는 신호의 특성에 따라 특정 발신위치에서 발생한 신호로 재구성하여 이의 음압크기를 측정하고, 측정된 음압레벨을 공간상의 분포로 도시하여 소음원의 위치를 추정하는 방식을 사용한다. 음향카메라의 측정 기법은 특수 분야의 연구목적으로 개발이 되어졌으나, 소음원의 분포를 직관적으로 확인할 수 있는 장점에 따라 산업 각 분야의 연구/개발단계에서의 활용으로 확대 적용되고 있다.
<관련 선행 기술>
등록특허 10-0838239(특허권자 : (주)에스엠인스트루먼트)
등록특허 10-2009-0047507 (출원인 : (주)에스엠인스트루먼트)
등록특허 10-051120(출원인 : 한국과학기술원)
등록특허 : 10-0217872(출원인 : 한국과학기술원)
본 발명은 서로 다른 지점에서 다른 순간에 발생하는 소음, 이음을 효과적으로 발견하여 사용자가 쉽게 인식할 수 있도록 표시할 수 있는 음향카메라 시스템을 제공하기 위한 것이다.
단순 음압의 크기를 이용한 트리거링 기법을 사용하였을 경우, 측정 분석 대상이 되는 소음원은 소음 발생이 없는 순간에 주변 소음에 의한 백그라운드 소음이 커져을 때 트리거링이 되어 원하지 않는 소음(백그라운드 소음)에 의해 분석 대상 소음 특성이 묻혀서 표시되지 않는 문제점이 발생하는 데 본 발명은 이러한 문제점을 해결한 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템을 제공하기 위한 것이다.
본 발명은 기계류, 전자 장치류, 자동차 등에서 다른 지점 다른 순간에 발생하는 소음을 하나의 화면에 누적 표시하여 복수개의 소음원의 위치를 명확하게 파악할 수 있을 뿐 아니라 소음원의 소음(Noise)정도를 순서로 표시할 수 있으며, 고유의 트리거링 또는 유효 데이터 선별법에 의해 소음원 영역이 아닌 외부 소음의 영향을 음장 가시화 화면 상에서 배제할 수 있는 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템을 제공하기 위한 것이다.
본 발명의 소음원 가시화 데이터 누적 표시방법은 복수개의 마이크로폰 어레이를 사용하여 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음장 가시화 영상을 생성한 후 이를 하나의 광학 화상 상에 맵핑하여 누적하여 표시한다.
본 발명의 소음원 가시화 데이터 누적 표시방법은 곡면상 또는 평면상에 균일한 간격으로 이격되게 배치되어 소음원의 음향신호를 감지하는 MEMS 음향 감지 센서(10)들과, 상기 MEMS 음향 감지 센서(10)들로부터 수신된 음향신호를 디지털신호로 변환하고 중앙처리부(40)로 송신하는 음향신호 습득부(20)와, 상기 소음원의 광학 영상을 촬영하는 촬영 렌즈(30),를 포함하여 구성된 음향 및 화상 신호 습득수단(100)를 제공하는 단계(S10)와; 제1 시간프레임(T1) 동안에, 상기 음향 및 화상 신호 습득수단(100)이 소음원의 음향 신호와 영상을 습득하는 초기 신호습득 단계(S20)와; 상기 중앙처리부(40)가 제1 시간프레임(T1) 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 제1 음향 데이터(D1)를 생성하고, 상기 촬영 렌즈(30)의 신호를 기초로 영상 데이터를 생성하는 초기 분석 단계(S30)와; 디스플레이부(50)가 상기 중앙처리부(40)에서 연산된 제1 음향 데이터(D1)와 화상 데이터를 코디네이션하여 오버레이(Over Lay)하여 시각적으로 표출하는 초기 표출 단계(S40)와; 상기 제1 시간프레임(T1)보다 시간적으로 이후인 제2 시간프레임(T2) 동안에 상기 음향신호 습득부(20)가 소음원의 음향 신호를 습득하는 누적 신호습득 단계(S50)와; 상기 중앙처리부(40)가 제2 시간프레임(T2) 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 제2 음향 데이터(D2)를 생성하는 누적 신호 분석 단계(S60)와; 상기 디스플레이부(50)가 제2 음향 데이터(D2)와 초기 음향 데이터(D1), 또는 제2 음향 데이터(D2)와 초기 음향 데이터(D1)를 활용하여 연산된 음향 매트릭스(M3)를 화상 데이터에 맵핑(Over Lay, Mapping)하여 시각적으로 표출하는 누적 표출 단계(S70);를 포함하여 구성된다.
초기 분석 단계 또는 누적 신호 분석 단계에서, 중앙처리부는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워 값들중에서 선택된 적어도 두개의 빔 파워값의 차이값을 활용하여 계산된 값이 미리 설정된 값보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나 데이터 저장의 트리거링 신호로 삼는 것이 바람직하다.
초기 분석 단계 또는 누적 신호 분석 단계에서, 중앙처리부는 빔 파워(Pij) 값들중 최대값(Pmax)과 최소값(Pmin)의 차이가 미리 설정된 기준값(△P1)보다 크거나, 최대값(Pmax)과 평균값(Pmean)의 차이가 미리 설정된 기준값(△P2)보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼는 것이 바람직하다.
중앙처리부는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워(Pij) 값들의 표준편차값이 미리 설정된 기준 보다 큰 경우에 유효한 소음이 발생하였다고 판단하여 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼는다.
본 발명에 따르는 경우, 서로 다른 지점에서 다른 순간에 발생하는 소음, 이음을 효과적으로 발견하여 사용자가 쉽게 인식할 수 있도록 표시할 수 있는 음향카메라 시스템이 제공된다.
본 발명의 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템은 하나의 시간대에서 측정한 한 프레임의 음향 데이터 매트릭스의 구성 요소 간의 차이값으로 대상 소음원에서 유효한 소음이 발생하였느지 여부로 트리거링을 실시하거나 이 경우에만 유효데이터로 취급하여, 측정 분석 대상이 되는 소음원은 소음 발생이 없는 순간에 주변 소음에 의한 백그라운드 소음이 커졌을 때 트리거링이 되어 원하지 않는 소음(백그라운드 소음)에 의해 분석 대상 소음 특성이 묻혀서 표시되지 않는 문제점을 해결하였다.
본 발명의 본 발명의 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템은 기계류, 전자 장치류, 자동차 등에서 다른 지점 다른 순간에 발생하는 소음을 하나의 화면에 누적 표시하여 복수개의 소음원의 위치를 명확하게 파악할 수 있을 뿐 아니라 소음원의 소음(Noise)정도를 순서로 표시할 수 있으며, 고유의 트리거링 또는 유효 데이터 선별법에 의해 소음원 영역이 아닌 외부 소음의 영향을 음장 가시화 화면 상에서 배제할 수 있는 유리한 효과를 갖는다.
도 1a, 도 1b는 빔 포밍 개념 설명도.
도 2는 소음원 가시화 데이터 누적 표시 음향 카메라 시스템 구성도.
도 3은 소음원 가시화 데이터 누적 표시방법 흐름도.
도 4a(Over All Level : 45.1dB), 도 4b(Over All Level : 57.7dB)는 동일한 위치에서 서로 다른 시간에 측정 분석된 두개의 음향 데이터(Beam Power Level) 프레임.
도 5a, 도 5b의 행렬로 표시된 음향 데이터의 빔 파워 레벨값(행렬요소값, Pij)에서 평균값을 뺀 음향 데이터 프레임.
도 5c는 도 5a, 도 5b의 음향 데이터 프레임의 각 행렬 요소값을 평균하여 도시한 음향 데이터 프레임.
도 6a는 소음원 가시화 데이터를 누적 표시전 방법 음향 및 화상 데이터 맵핑 영상.
도 6b는 본 발명에 따라 소음원 가시화 데이터를 하나의 화상에 누적 표시한 음향 및 화상 맵핑 영상.
본 발명의 소음원 가시화 데이터 누적 표시방법은 복수개의 마이크로폰 어레이를 사용하여 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음장 가시화 영상을 생성한 후 이를 하나의 광학 화상 상에 맵핑하여 누적하여 표시한다.
본 발명의 소음원 가시화 데이터 누적 표시방법은 곡면상 또는 평면상에 균일한 간격으로 이격되게 배치되어 소음원의 음향신호를 감지하는 MEMS 음향 감지 센서(10)들과, 상기 MEMS 음향 감지 센서(10)들로부터 수신된 음향신호를 디지털신호로 변환하고 중앙처리부(40)로 송신하는 음향신호 습득부(20)와, 상기 소음원의 광학 영상을 촬영하는 촬영 렌즈(30),를 포함하여 구성된 음향 및 화상 신호 습득수단(100)를 제공하는 단계(S10)와; 제1 시간프레임(T1) 동안에, 상기 음향 및 화상 신호 습득수단(100)이 소음원의 음향 신호와 영상을 습득하는 초기 신호습득 단계(S20)와; 상기 중앙처리부(40)가 제1 시간프레임(T1) 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 제1 음향 데이터(D1)를 생성하고, 상기 촬영 렌즈(30)의 신호를 기초로 영상 데이터를 생성하는 초기 분석 단계(S30)와; 디스플레이부(50)가 상기 중앙처리부(40)에서 연산된 제1 음향 데이터(D1)와 화상 데이터를 코디네이션하여 오버레이(Over Lay)하여 시각적으로 표출하는 초기 표출 단계(S40)와; 상기 제1 시간프레임(T1)보다 시간적으로 이후인 제2 시간프레임(T2) 동안에 상기 음향신호 습득부(20)가 소음원의 음향 신호를 습득하는 누적 신호습득 단계(S50)와; 상기 중앙처리부(40)가 제2 시간프레임(T2) 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 제2 음향 데이터(D2)를 생성하는 누적 신호 분석 단계(S60)와; 상기 디스플레이부(50)가 제2 음향 데이터(D2)와 초기 음향 데이터(D1), 또는 제2 음향 데이터(D2)와 초기 음향 데이터(D1)를 활용하여 연산된 음향 매트릭스(M3)를 화상 데이터에 맵핑(Over Lay, Mapping)하여 시각적으로 표출하는 누적 표출 단계(S70);를 포함하여 구성된다.
초기 분석 단계 또는 누적 신호 분석 단계에서, 중앙처리부는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워 값들중에서 선택된 적어도 두개의 빔 파워값의 차이값을 활용하여 계산된 값이 미리 설정된 값보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나 데이터 저장의 트리거링 신호로 삼는 것이 바람직하다.
초기 분석 단계 또는 누적 신호 분석 단계에서, 중앙처리부는 빔 파워(Pij) 값들중 최대값(Pmax)과 최소값(Pmin)의 차이가 미리 설정된 기준값(△P1)보다 크거나, 최대값(Pmax)과 평균값(Pmean)의 차이가 미리 설정된 기준값(△P2)보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼는 것이 바람직하다.
중앙처리부는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워(Pij) 값들의 표준편차값이 미리 설정된 기준 보다 큰 경우에 유효한 소음이 발생하였다고 판단하여 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼는다.
도 1a, 도 1b는 빔 포밍 개념 설명도이다. 빔형성 기법을 다음의 수식을 통해 설명할 수 있다. yi(t)는 i번째 마이크로폰에서 측정된 신호이고, z(t) 빔출력이다. M개의 마이크로폰에 측정된 각각의 신호에서 가상 음원 방향으로의 시간지연을 주어 센서에 따라 가중치를 곱한 뒤 신호를 더하게 되면 빔파워을 얻을 수 있다. 실제 음원과 가상 음원과 방향이 일치하면 신호가 증폭된다. 이러한 방법으로 소음원의 위치를 추정할 수 있다. 빔파워를 아래와 같이 수식으로 표현 할 수 있다.
Figure PCTKR2017005128-appb-I000001
임의의 위치에 가상 소음원이 존재 할 경우 소음원의 크기를 아래와 같이 수식으로 표현할 수 있다.
Figure PCTKR2017005128-appb-I000002
Figure PCTKR2017005128-appb-I000003
Figure PCTKR2017005128-appb-I000004
도 1a, 도 1b는 빔 포밍 개념 설명도, 도 2는 소음원 가시화 데이터 누적 표시 음향 카메라 시스템 구성도, 도 3은 소음원 가시화 데이터 누적 표시방법 흐름도, 도 4a(Over All Level : 45.1dB), 도 4b(Over All Level : 57.7dB)는 동일한 위치에서 서로 다른 시간에 측정 분석된 두개의 음향 데이터(Beam Power Level) 프레임, 도 5a, 도 5b의 행렬로 표시된 음향 데이터의 빔 파워 레벨값(행렬요소값, Pij)에서 평균값을 뺀 음향 데이터 프레임, 도 5c는 도 5a, 도 5b의 음향 데이터 프레임의 각 행렬 요소값을 평균하여 도시한 음향 데이터 프레임, 도 6a는 소음원 가시화 데이터를 누적 표시전 방법 음향 및 화상 데이터 맵핑 영상, 도 6b는 본 발명에 따라 소음원 가시화 데이터를 하나의 화상에 누적 표시한 음향 및 화상 맵핑 영상이다.
도 2 내지 도 6에 도시된 바와 같이, 본 발명의 소음원 가시화 데이터 누적 표시방법은, 음향 및 화상 신호 습득수단(100)를 제공하는 단계(S10)와 초기 신호습득 단계(S20)와 초기 분석 단계(S30)와 초기 표출 단계(S40)와 누적 신호습득 단계(S50)와 누적 신호 분석 단계(S60)와 누적 표출 단계(S70)를 포함하여 구성된다.
<단계 S10, S20>
도 2(a, b), 도 3에 도시된 바와 같이, 음향 및 화상 신호 습득수단(100)를 제공하는 단계(S10)에서, 곡면상 또는 평면상에 균일한 간격으로 이격되게 배치되어 소음원의 음향신호를 감지하는 MEMS 음향 감지 센서(10)들과, 상기 MEMS 음향 감지 센서(10)들로부터 수신된 음향신호를 디지털신호로 변환하고 중앙처리부(40)로 송신하는 음향신호 습득부(20)와, 상기 소음원의 광학 영상을 촬영하는 촬영 렌즈(30),를 포함하여 구성된 장치가 제공된다.
여기서, MEMS 음향 감지 센서(10)들과 관련하여 미세전자기계시스템(MEMS, Micro Electro Mechanical System)은 반도체 제조 공정을 응용해 마이크로미터 크기의 초미세 기계부품과 전자회로를 동시에 집적하는 기술이다. MEMS 마이크로폰은 박막에 작용하는 압력에 의한 박막의 기계적 변형을 박막의 센서에 장착된 적극 사이의 정전용량의 변화로 측정하며 일반 콘덴서 마이크로폰과 동일한 동작원리를 가지고 있다. MEMS 마이크로폰은 아날로그 신호를 ADC를 이용하여 바로 디지털 PDM(Pulse Density Modulation)으로 측정하기 때문에 아날로그센서를 이용하여 측정 시 필요한 별도 고가의 ADC 측정 장치가 필요 없다는 장점을 가지고 있다.
초기 신호습득 단계(S20)에서, 제1 시간프레임(T1) 동안에, 음향 및 화상 신호 습득수단(100)이 소음원의 음향 신호와 영상을 습득한다. 실제로 음향신호 습득부(20)는 휴지기 없이 연속되는 시간 간격으로 측정할 수 있다.(차후 중앙처리부의 분석 판단에 의해 유효 데이터로 인정된 시간 구간의 데이터만 표시 저장됨).
<단계 S30, S40>
일실시예(도 4a, 도 6a)에 있어서, 제1 음향 데이터 생성 단계에서 중앙처리부(40)는 도 4a에 도시된 바와 같은 소음원의 각 지점에 대한 빔 파월 레벨 매트릭스를 생성한다. 초기 분석 단계(S30)에서 중앙처리부(40)가 제1 시간프레임(T1) 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 제1 음향 데이터를 생성하고, 상기 촬영 렌즈(30)의 신호를 기초로 영상 데이터를 생성한다.
여기서 음향 데이터란 각 지점의 빔 파워(Pij) 레벨 그 자체, 또는 각 지점의 빔 파워(Pij) 레벨을 기초로 하여 생성된 매트릭스 형태의 음향 수치일 수 있다. 여기서 빔 파워(Pij) 레벨을 기초로 하여 생성된 매트릭스 형태의 음향 수치란 예를들어서, 도 5(a, b)와 같이 각 지점의 빔 파워(Pij) 레벨로부터 평균값을 뺀 값일 수 있다. 또는 최대값, 평균값, 오버올 레벨 등으로 나누거나 최대값, 평균값, 오버올 레벨 등을 활용하여 노르말라이징(Normalizing)한 값일 수 있다.
일실시예(도 6a-T1)에 있어서, 초기 표출 단계(S40)는 도 6a의 첫번째 영상을 표출한다. 초기 표출 단계(S40)에서, 디스플레이부(50)가 중앙처리부(40)에서 연산된 제1 음향 데이터와 화상 데이터를 코디네이션하여 중첩적으로 오버레이(Over Lay)하여 시각적으로 표출한다.
<단계 S50>
일실시예에 있어서, 누적 신호습득 단계(S50)에서, MEMS 음향 감지 센서(10)들과 음향신호 습득부(20)는 제1 시간프레임(T1)보다 시간적으로 이후인 제2 시간프레임(T2) 동안에 소음원의 음향 신호를 습득한다. 실제로 음향신호 습득부(20)는 휴지기 없이 연속되는 시간 간격으로 측정할 것이다(차후 중앙처리부의 분석 판단에 의해 유효 데이터로 인정된 시간 구간의 데이터만 표시되거나 저장됨).
<단계 S60>
일실시예(도 4b, 도 6a-T2)에 있어서, 누적 신호 분석 단계(S60)에서 중앙처리부(40)는 도 4b와 같은 음향 매트릭스를 생성한다. 중앙처리부(40)는 제2 시간프레임(T2) 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 누적 음향 데이터를 생성한다. 여기서 음향 데이터란 각 지점의 빔 파워(Pij) 레벨 그 자체, 또는 각 지점의 빔 파워(Pij) 레벨을 기초로 하여 생성된 매트릭스 형태의 음향 수치일 수 있다. 여기서 빔 파워(Pij) 레벨을 기초로 하여 생성된 매트릭스 형태의 음향 수치란 예를들어서, 도 5(a, b)와 같이 각 지점의 빔 파워(Pij) 레벨로부터 평균값을 뺀 값일 수 있다. 또는 최대값, 평균값, 오버올 레벨 등으로 나누거나 최대값, 평균값, 오버올 레벨 등을 활용하여 노르말라이징(Normalizing)한 값일 수 있다.
<단계 S70>
일실시예(도 5c, 도 6b)에 있어서,
도 6b에 도시된 바와 같이, 누적 표출 단계(S70)에서, 디스플레이부(50)가 제2 음향 데이터(D2)와 초기 음향 데이터(D1)를 또는 제5, 4 3, 2 음향 데이터(D2, D3, D4, D5)와 초기 음향 데이터(D1)를 하나의 광학 화상 상에 맵핑하여 표시한다.
여기서, 도 5c와 같이, 중앙처리부(40)는 제2 음향 데이터(D2)와 초기 음향 데이터(D1)를 활용하여 연산된 음향 매트릭스(M3)를 생성할 수 있고 이를 광학 화상 상에 맵핑하여 표시할 수 있다. 도 5c에서 제2 음향 데이터(D2)와 초기 음향 데이터(D1)를 활용하여 연산된 음향 매트릭스(M)란, 도 5a와 도 5b의 데이터를 평균(이때 연산이란 평균하는 작업을 의미함)한 Mij를 말한다.
Figure PCTKR2017005128-appb-I000005
이후, 단계 S50, S60, S70은 예를들어, 1회 ~ 10회 반복되고 어떤 경우에는 훨씬 다 많은 횟수로 반복되어 다른 시간대의 소음원 발생 정도를 하나의 화면상에 표실할 수 있을 것이다.
<유효 데이터 판단, 트리거링>
초기 분석 단계(S30) 또는 누적 신호 분석 단계(S60)에서, 중앙처리부(40)는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워(Pij) 값들중에서 선택된 적어도 두개의 빔 파워값의 차이값을 활용하여 계산된 값이 미리 설정된 값보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나 데이터 저장의 트리거링 신호로 삼을 수 있다. 초기 분석 단계(S30) 또는 누적 신호 분석 단계(S60)에서, 중앙처리부(40)는 빔 파워(Pij) 값들중 최대값(Pmax)과 최소값(Pmin)의 차이가 미리 설정된 기준값(△P1)보다 크거나, 최대값(Pmax)과 평균값(Pmean)의 차이가 미리 설정된 기준값(△P2)보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼을 수 있다. 중앙처리부(40)는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워(Pij) 값들의 표준편차값이 미리 설정된 기준 보다 큰 경우에 유효한 소음이 발생하였다고 판단하여 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼을 수 있다.
도 2 내지 도 6에 도시된 바와 같이, 본 발명의 소음원 가시화 데이터 누적 표시방법은, MEMS 음향 감지 센서(10)들과 음향신호 습득부(20)와 촬영 렌즈(30)와 중앙처리부(40와 디스플레이부(50)를 포함하여 구성된다. 도 2b에 도시된 바와 같이 MEMS 음향 감지 센서(10)들은 곡면상 또는 평면상(미도시)에 균일한 간격으로 이격되게 배치되어 소음원의 음향신호를 감지한다. 음향신호 습득부(20)는 MEMS 음향 감지 센서(10)들로부터 수신된 음향신호를 디지털신호로 변환하고 중앙처리부(40)로 송신한다.
촬영 렌즈(30)는 소음원의 광학 영상을 촬영한다. 중앙처리부(40는 시간프레임 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 음향 데이터를 생성하고, 촬영 렌즈(30)의 신호를 기초로 영상 데이터를 생성한다. 디스플레이부(50)는 중앙처리부(40)에서 연산된 음향 데이터와 화상 데이터를 코디네이션하여 중첩적으로 오버레이(Over Lay)하여 시각적으로 표출한다.
이때, 중앙처리부(40)는 MEMS 음향 감지 센서(10)들과 음향신호 습득부(20)를 사용하여 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음장 가시화 영상을 생성한 후 촬영 렌즈(30)로부터 얻어진 하나의 광학 화상 상에 맵핑하여 표시한다. 중앙처리부(40)는 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음향 데이터를 생성한 후 이를 노멀라이징(Normalizing)한 후 광학 화상 상에 맵핑하여 누적하여 표시할 수 있다.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.
본 발명에 따르는 경우, 서로 다른 지점에서 다른 순간에 발생하는 소음, 이음을 효과적으로 발견하여 사용자가 쉽게 인식할 수 있도록 표시할 수 있는 음향카메라 시스템이 제공된다.
본 발명의 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템은 하나의 시간대에서 측정한 한 프레임의 음향 데이터 매트릭스의 구성 요소 간의 차이값으로 대상 소음원에서 유효한 소음이 발생하였느지 여부로 트리거링을 실시하거나 이 경우에만 유효데이터로 취급하여, 측정 분석 대상이 되는 소음원은 소음 발생이 없는 순간에 주변 소음에 의한 백그라운드 소음이 커졌을 때 트리거링이 되어 원하지 않는 소음(백그라운드 소음)에 의해 분석 대상 소음 특성이 묻혀서 표시되지 않는 문제점을 해결하였다.
본 발명의 본 발명의 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템은 기계류, 전자 장치류, 자동차 등에서 다른 지점 다른 순간에 발생하는 소음을 하나의 화면에 누적 표시하여 복수개의 소음원의 위치를 명확하게 파악할 수 있을 뿐 아니라 소음원의 소음(Noise)정도를 순서로 표시할 수 있으며, 고유의 트리거링 또는 유효 데이터 선별법에 의해 소음원 영역이 아닌 외부 소음의 영향을 음장 가시화 화면 상에서 배제할 수 있는 유리한 효과를 갖는다.

Claims (7)

  1. 복수개의 마이크로폰 어레이를 사용하여 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음향 데이터(D1, D2)를 생성한 후,
    두개 이상의 음향 데이터들 또는 이들로부터 가공된 음향 데이터(M3) 중에서 선택된 하나를 하나의 광학 화상 상에 맵핑하여 표시하는 것을 소음원 가시화 데이터 누적 표시방법.
  2. 제1항에 있어서,
    음향 및 화상 신호 습득수단(100)를 제공하는 단계(S10)와, 초기 신호습득 단계(S20)와, 초기 분석 단계(S30)와, 초기 표출 단계(S40)와, 누적 신호습득 단계(S50)와, 누적 신호 분석 단계(S60),
    를 포함하여 구성되는 것을 특징으로 하는 소음원 가시화 데이터 누적 표시방법.
  3. 제1항 또는 제2항에 있어서,
    초기 분석 단계(S30) 또는 누적 신호 분석 단계(S60)에서,
    중앙처리부(40)는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워(Pij) 값들중에서 선택된 적어도 두개의 빔 파워값의 차이값을 활용하여 계산된 값이 미리 설정된 값보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나 데이터 저장의 트리거링 신호로 삼는 것을 특징으로 하는 소음원 가시화 데이터 누적 표시방법.
  4. 제3항에 있어서,
    초기 분석 단계(S30) 또는 누적 신호 분석 단계(S60)에서,
    중앙처리부(40)는 빔 파워(Pij) 값들중 최대값(Pmax)과 최소값(Pmin)의 차이가 미리 설정된 기준값(△P1)보다 크거나,
    최대값(Pmax)과 평균값(Pmean)의 차이가 미리 설정된 기준값(△P2)보다 큰 경우에 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼는 것을 특징으로 하는 소음원 가시화 데이터 누적 표시방법.
  5. 제4항에 있어서,
    상기 중앙처리부(40)는 하나의 시간프레임 동안에 습득된 음향 신호를 기초로 계산된 각 지점의 빔 파워(Pij) 값들의 표준편차값이 미리 설정된 기준 보다 큰 경우에 유효한 소음이 발생하였다고 판단하여 유효한 음향 데이터로 취급하여 화상 데이터에 맵핑하여 중첩 표시하거나, 데이터 저장의 트리거링 신호로 삼는 것을 특징으로 하는 소음원 가시화 데이터 누적 표시방법.
  6. 음향 카메라 시스템에 있어서,
    곡면상 또는 평면상에 균일한 간격으로 이격되게 배치되어 소음원의 음향신호를 감지하는 MEMS 음향 감지 센서(10)들과,
    상기 MEMS 음향 감지 센서(10)들로부터 수신된 음향신호를 디지털신호로 변환하고 중앙처리부(40)로 송신하는 음향신호 습득부(20)와,
    상기 소음원의 광학 영상을 촬영하는 촬영 렌즈(30)와,
    시간프레임 동안에 습득된 음향 신호를 기초로 각 지점의 빔 파워(Pij)를 계산하여 음향 데이터를 생성하고, 촬영 렌즈(30)의 신호를 기초로 영상 데이터를 생성하는 상기 중앙처리부(40와,
    상기 중앙처리부(40)에서 연산된 음향 데이터와 화상 데이터를 코디네이션하여 중첩적으로 오버레이(Over Lay)하여 시각적으로 표출하는 디스플레이부(50),
    를 포함하여 구성되되,
    상기 중앙처리부(40)는 상기 MEMS 음향 감지 센서(10)들과 음향신호 습득부(20)를 사용하여 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음향 데이터를 생성한 후 상기 촬영 렌즈(30)로부터 얻어진 하나의 광학 화상 상에 누적 음향 데이터(D2)와 초기 음향 데이터(D1), 또는 누적 음향 데이터(D2)와 초기 음향 데이터(D1)를 활용하여 연산된 음향 매트릭스(M)를 맵핑하여 표시하는 것을 소음원 가시화 데이터 누적 표시 음향 카메라 시스템.
  7. 제6항에 있어서,
    상기 중앙처리부(40)는 서로 다른 순간에 취득된 음향신호를 빔 포밍하여 적어도 두개 이상의 음향 데이터를 생성한 후 이들을 노멀라이징(Normalizing)한 후 중첩하여 광학 화상 상에 맵핑하여 표시하는 것을 소음원 가시화 데이터 누적 표시 음향 카메라 시스템.
PCT/KR2017/005128 2016-05-18 2017-05-17 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 WO2017200300A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160060542A KR20170130041A (ko) 2016-05-18 2016-05-18 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
KR10-2016-0060542 2016-05-18

Publications (2)

Publication Number Publication Date
WO2017200300A2 true WO2017200300A2 (ko) 2017-11-23
WO2017200300A3 WO2017200300A3 (ko) 2018-01-04

Family

ID=57284159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005128 WO2017200300A2 (ko) 2016-05-18 2017-05-17 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템

Country Status (4)

Country Link
US (1) US10446172B2 (ko)
KR (1) KR20170130041A (ko)
CN (1) CN106124040B (ko)
WO (1) WO2017200300A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694937A (zh) * 2017-04-05 2018-10-23 陈荣伟 一种数字视音频监控系统中音频可视化监控的方法
US20180335503A1 (en) * 2017-05-19 2018-11-22 Magna Electronics Inc. Vehicle system using mems microphone module
US11099075B2 (en) * 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
DE102019118379A1 (de) * 2018-07-12 2020-03-05 Fanuc Corporation Rauschquellenüberwachungsvorrichtung und Rauschquellenüberwachungsverfahren
KR20200032324A (ko) 2018-09-18 2020-03-26 한국철도기술연구원 소음특성 분석 시스템 및 이를 이용한 소음특성 분석 방법
KR102210041B1 (ko) * 2019-10-01 2021-02-01 (주)에스엠인스트루먼트 Cctv 연계형 음향 시각화 시스템
KR20210129942A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 이음 검사 장치 및 그 검사 방법
WO2022056327A1 (en) 2020-09-11 2022-03-17 Fluke Corporation System and method for acoustic imaging with an accumulated-time view
JP7459779B2 (ja) * 2020-12-17 2024-04-02 トヨタ自動車株式会社 音源候補抽出システムおよび音源探査方法
US20230012392A1 (en) * 2021-07-12 2023-01-12 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Exterior Microphone Camera System

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1874603A (en) * 1927-01-26 1932-08-30 Freeman H Owens Combined motion picture and sound camera
US3895339A (en) * 1974-03-29 1975-07-15 Westinghouse Electric Corp Acoustic camera apparatus
KR100217872B1 (ko) 1996-11-22 1999-09-01 윤덕용 이동음원의 홀로그램을 측정하여 음향특성을 영상화하는 시스템 및 방법
JP4115864B2 (ja) * 2003-03-20 2008-07-09 東日本旅客鉄道株式会社 移動体のノイズ測定装置、方法及びプログラム
US20090033748A1 (en) * 2005-06-15 2009-02-05 Nikon Corporation Electronic camera system, electronic camera, cradle, image accumulation device, and program
CN2821546Y (zh) * 2005-07-11 2006-09-27 中国船舶重工集团公司第七一一研究所 声像测量仪
KR20070068138A (ko) * 2005-12-26 2007-06-29 재단법인 포항산업과학연구원 동영상 방식 음향카메라
KR100838239B1 (ko) * 2007-04-17 2008-06-17 (주)에스엠인스트루먼트 음질 표시 장치, 음질 표시 방법, 음질 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
KR100903566B1 (ko) * 2007-08-03 2009-06-23 김영기 인자 측정 및 표시 방법, 인자 측정 및 표시 장치, 인자측정 및 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 및 음향 스캐너
DE102007041280B3 (de) * 2007-08-31 2008-11-13 Wacker Construction Equipment Ag Anordnung und Verfahren zum Überwachen eines Betonverdichtungsprozesses mit einer Schallkamera
KR20090122131A (ko) * 2008-05-22 2009-11-26 경희대학교 산학협력단 영상 및 음향 정보를 이용한 누설감시장치
TWI389579B (zh) * 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
KR101059081B1 (ko) 2009-05-29 2011-08-24 (주)에스엠인스트루먼트 이동 소음원 가시화 장치 및 가시화 방법
KR100962552B1 (ko) * 2010-01-20 2010-06-11 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
JP5654402B2 (ja) * 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
KR101213540B1 (ko) * 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
KR101203269B1 (ko) * 2011-11-16 2012-11-21 한국해양연구원 저주파 및 고주파를 선택적으로 운용하는 정밀수중탐사용 수중초음파카메라 및 그 작동방법
KR101282673B1 (ko) * 2011-12-09 2013-07-05 현대자동차주식회사 음원 위치 추정 방법
DK2838711T3 (en) * 2012-04-16 2016-09-05 Vestas Wind Sys As A method of making a composite part and an apparatus for making a composite part
JP5367134B1 (ja) * 2012-07-19 2013-12-11 日東紡音響エンジニアリング株式会社 騒音識別装置及び騒音識別方法
KR101471299B1 (ko) * 2013-08-19 2014-12-10 (주)에스엠인스트루먼트 이동식 음향 카메라
CN103516969A (zh) * 2013-08-23 2014-01-15 Sm器械株式会社 移动式声学照相机及制造方法
US9736580B2 (en) * 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
CN104883482A (zh) * 2015-05-15 2015-09-02 萨姆株式会社 机械类状态监视用多频道超声波声学摄像机

Also Published As

Publication number Publication date
KR20170130041A (ko) 2017-11-28
US10446172B2 (en) 2019-10-15
WO2017200300A3 (ko) 2018-01-04
CN106124040A (zh) 2016-11-16
US20170337938A1 (en) 2017-11-23
CN106124040B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
WO2017200300A2 (ko) 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
WO2013024926A1 (ko) 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
WO2018212574A1 (ko) 이동식 초음파 영상 설비 진단 장치
WO2014101281A1 (zh) 检测设备中镜头的光轴偏移的装置和方法
KR101213539B1 (ko) 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
WO2014098363A1 (ko) 스마트폰용 피부 상태 측정장치
CN114414963A (zh) 一种变电站域故障智能监测的声学成像定位系统及方法
WO2012124852A1 (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
KR101962198B1 (ko) 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
KR101070329B1 (ko) 영상촬영수단을 갖는 휴대용 초음파 부분방전 측정 장치 및 이를 이용한 부분방전 측정 방법
KR101471300B1 (ko) 이동식 음향 카메라 제조 방법
WO2014204049A1 (ko) 이동식 음원 추적 센서 및 제조방법
WO2018212573A1 (ko) 방사 초음파 가시화 방법 및 방사 초음파 가시화 방법을 수행하는 프로그램이 기록된 전자적 기록 매체
CN115184746A (zh) 一种基于多种成像方式的局部放电检测设备、系统及方法
WO2017023151A1 (ko) 이미지 처리 장치
KR101471299B1 (ko) 이동식 음향 카메라
RU174044U1 (ru) Аудиовизуальный многоканальный детектор наличия голоса
WO2017073804A1 (ko) 디지털 사이니지 이상 검출 방법 및 이를 위한 장치
CN109031926B (zh) 一种摄像装置成像延时时间的测量装置及方法
WO2022250219A1 (ko) 이상 음원 결정 방법 및 ai 음향 영상 카메라
KR20100117793A (ko) 음원 분석 장치
CN102325295B (zh) 基于机器视觉技术的音响检测与补偿方法
KR20150008329A (ko) 음원 추적 센서를 이용한 시뮬레이션 방법 및 장치
WO2021215600A1 (ko) 열화상 카메라를 탑재한 휴대용 초음파 가시화 장치
WO2017104972A1 (ko) Mems 음향센서를 이용한 전방향 음향카메라 및 전방향 음향 시각화 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17799657

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 17799657

Country of ref document: EP

Kind code of ref document: A2