KR20210035273A - 음향 데이터를 분석하고 디스플레이하기 위한 시스템 및 방법 - Google Patents
음향 데이터를 분석하고 디스플레이하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210035273A KR20210035273A KR1020217005735A KR20217005735A KR20210035273A KR 20210035273 A KR20210035273 A KR 20210035273A KR 1020217005735 A KR1020217005735 A KR 1020217005735A KR 20217005735 A KR20217005735 A KR 20217005735A KR 20210035273 A KR20210035273 A KR 20210035273A
- Authority
- KR
- South Korea
- Prior art keywords
- acoustic
- display
- image data
- scene
- analysis system
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 147
- 238000003384 imaging method Methods 0.000 claims abstract description 167
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 183
- 238000002156 mixing Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 2
- 230000008569 process Effects 0.000 description 59
- 238000003491 array Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 38
- 238000004422 calculation algorithm Methods 0.000 description 36
- 238000005259 measurement Methods 0.000 description 33
- 238000012800 visualization Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 10
- 238000007689 inspection Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000001351 cycling effect Effects 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013079 data visualisation Methods 0.000 description 3
- 230000005672 electromagnetic field Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000002464 physical blending Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 231100000871 behavioral problem Toxicity 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007728 cost analysis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
- G01H3/10—Amplitude; Power
- G01H3/12—Amplitude; Power by electric means
- G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/02—Gearings; Transmission mechanisms
- G01M13/028—Acoustic or vibration analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/04—Bearings
- G01M13/045—Acoustic or vibration analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
- G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/38—Investigating fluid-tightness of structures by using light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0257—Hybrid positioning
- G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/56—Display arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Controls And Circuits For Display Device (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
일부 시스템은 음향 신호를 수신하도록 구성된 음향 센서 어레이, 전자기 방사를 수신하도록 구성된 전자기 이미징 도구, 사용자 인터페이스, 디스플레이 및 프로세서를 포함한다. 프로세서는 전자기 이미징 도구로부터 전자기 데이터를 수신하고 음향 센서 어레이로부터 음향 데이터를 수신할 수 있다. 프로세서는 수신된 음향 데이터에 기초하여 장면의 음향 이미지 데이터를 생성하고, 결합된 음향 이미지 데이터 및 전자기 이미지 데이터를 포함하는 디스플레이 이미지를 생성하고, 디스플레이 상에 디스플레이 이미지를 제공할 수 있다. 프로세서는 사용자 인터페이스로부터 주석 입력을 수신하고 수신된 주석 입력에 기초하여 디스플레이 이미지를 업데이트할 수 있다. 프로세서는 수신된 음향 신호와 연관된 하나 이상의 음향 파라미터를 결정하고 음향 신호와 연관된 중요도를 결정하도록 구성될 수 있다. 사용자는 결정된 중요도 정보 또는 기타 결정된 정보로 디스플레이 이미지에 주석을 달 수 있다.
Description
본 출원은 2018년 7월 24일에 출원된 미국 특허출원번호 제62/702,716호의 우선권을 주장하며, 이는 원용에 의해 그 전체로서 본원에 포함된다.
현재 이용 가능한 음향 이미징 디바이스는 다양한 요인으로 인해 다양한 주파수 감도 제한을 갖는 음향 센서 어레이 구성을 포함한다. 예를 들어, 일부 음향 이미징 디바이스는 약 20Hz 내지 약 20kHz의 음향 주파수 범위에 반응하도록 설계되었다. 다른 디바이스(예를 들어, 초음파 디바이스)는 약 38kHz 내지 약 45kHz의 음향 주파수 범위에 반응하도록 설계되었다.
그러나, 전형적으로 20Hz 내지 20kHz 주파수 범위에서 동작하도록 설계된 음향 이미징 디바이스는, 예를 들어, 최대 약 50kHz 또는 그 이상의 높은 주파수를 효과적으로 검출하거나 이미지화할 수 없다. 마찬가지로, 20kHz에서부터 50kHz 주파수 범위에서 작동하도록 설계된 음향 또는 초음파 디바이스는, 낮은 주파수, 예를 들어, 20kHz 이하를 효과적으로 검출하거나 및/또는 이미지화할 수 없다. 이는 여러 이유가 있을 수 있다. 예를 들어, 낮은(예를 들어, 가청) 주파수에 최적화된 센서 어레이는 전형적으로 더 높은(예를 들어, 초음파) 주파수에 최적화된 센서 어레이보다 더 멀리 떨어져 있는 개별 센서들을 포함한다.
하드웨어 문제에 더하여 또는 대안으로, 음향 이미징의 다른 계산 알고리즘 및 방법은 종종 다른 주파수 및/또는 목표에 대한 다른 거리를 갖는 음향 신호에 더 적합하며, 이는, 특히, 경험이 없는 사용자가 없는 장면을 음향적으로 이미지화하는 최선의 방법을 결정하기 어렵게 한다.
상이한 음향 주파수 범위를 이미징하는 것에서 이러한 불일치는 공기를 통한 상이한 주파수 및 파장의 음파의 전파 배후의 물리학에 부분적으로 기인한다. 특정 어레이 방위, 어레이 크기, 및 계산 방법은 일반적으로 상이한 주파수 특성(예를 들어, 가청 주파수, 초음파 주파수 등)을 갖는 음향 신호에 더 적합할 수 있다.
유사하게, 상이한 어레이 속성 및/또는 계산 방법이 목표에 대해 상이한 거리에 있는 음향 장면에 더 적합할 수 있다. 예를 들어, 매우 가까운 거리에 있는 목표에 대한 근거리 음향 홀로그래피, 먼 거리에 있는 목표에 대한 다양한 음향 빔포밍(acoustic beamforming) 방법이 있다.
이에 따라, 음향 어레이를 사용하는 (예를 들어, 음향 이미징을 위한) 음향 검사는, 광범위한 장비를 필요로 할 수 있는데, 예를 들어 상이한 주파수 범위를 갖는 음향 신호의 분석을 위한 장비 뿐만 아니라, 음향 분석을 수행하는데 상이한 하드웨어 및 계산 기술이 적절한 시기를 이해하는 전문 지식을 필요로 할 수 있다. 따라서, 음향 검사에 시간과 비용이 많이 들 수 있으며, 이러한 검사를 수행하려면 전문가가 필요할 수 있다.
예를 들어, 사용자는 음향 분석을 수행하기 위해 다양한 하드웨어 및/또는 소프트웨어를 수동으로 선택해야할 수도 있다. 그러나, 경험이 없는 분석가는 주어진 음향 분석 및/또는 음향 장면에 대해 선호하는 하드웨어 및 소프트웨어 조합을 알 수 없다. 또한, 장면 내에서 관심 소리를 분리하는 것은, 특히 어수선한 장면에서 자체적인 문제를 제공할 수 있으며, 경험이 없는 사용자에게는 지루하고 좌절감을 줄 수 있다. 예를 들어, 특히 시끄러운 환경에서, 주어진 음향 장면은 관심 음향 신호를 모호하게 할 수 있는 주파수, 세기, 또는 기타 특성을 포함하는 음향 신호를 포함할 수 있다.
종래의 시스템은 종종 사용자가 관심 소리를 분석하기 위해 검사 전에 관심있는 다양한 음향 파라미터를 수동으로 식별하도록 요구한다. 그러나, 경험이 없는 사용자는 다양한 관심 소리를 가장 잘 분리 및/또는 식별하는 방법을 모를 수 있다.
추가적으로, 동일한 물체 또는 장면을 검사하는 동안 여러 이미징 기술(예를 들어, 가시광, 적외광, 자외광, 음향, 또는 기타 이미징 기술)이 함께 사용되는 경우, 다양한 이미징 기술을 수행하는데 사용되는 도구의 물리적 배치 또는 기타 설정(예를 들어, 초점 위치)이 분석에 영향을 미칠 수 있다. 예를 들어, 각 이미징 디바이스의 다른 위치 및/또는 초점 위치는 결과 이미지가 잘못 정렬될 수 있는 시차 에러(parallax error)를 초래할 수 있다. 이로 인해, 장면 내의 관심 영역 및/또는 문제 영역, 서류상 에러(documentation errors), 및 문제의 오진을 적절히 위치화(localize)하지 못할 가능성을 초래할 수 있다. 예를 들어, 음향 이미지 데이터와 관련하여, 음향 이미지 데이터가 다른 이미징 기술(예를 들어, 가시광 및/또는 적외선 이미지 데이터)의 이미지 데이터와 관련하여 어긋나면, 관심 음향 신호의 위치 또는 소스를 식별하기 어려울 수 있다.
기존의 초음파 테스트 및 검사 도구는 수신 센서(들)를 향해 소리를 집중시키는 것을 돕기 위해 포물선 접시(parabolic dish)를 사용하거나, 이를 사용하지 않고 초음파 센서(들)를 사용한다.
특정 주파수의 소리가 검출되면, 전형적으로 상승 또는 하강 수치로 표시되거나, 디바이스의 디스플레이에 주파수 또는 데시벨 레벨 그래프로 표시된다. 이는 많은 사용자에게 매우 혼란스럽고 직관적이지 않을 수 있다. 어떠한 라이브 장면의 이미지 또는 소리의 시각화는 가능하지 않다.
특정 소리를 분리, 위치를 파악하고, 분석하는 것은 지루한 프로세스가 될 수 있으며, 많은 최종 사용자에게 혼란을 줄 수 있다. 디바이스와 사람 사이의 복잡하고 직관적이지 않은 인터페이스는 디바이스의 효과적인 사용에 장애가 될 수 있으며, 및/또는 디바이스 상에서 심지어 기본 기능을 작동하기 위해서도 추가 교육이 필요할 수 있다.
고급 음향 이미징 디바이스는 장면의 정지 또는 라이브 가시적인 이미지와 통합된 소리의 가색(false-color)의 가시적인 시각적 표현을 생성하는 능력을 가지고 있다. 이러한 디바이스에서도 소리의 적절한 시각화를 위해 선택 및 조절 제어가 중요하다. 그러나, 종래의 제어는 고도로 훈련된 음향 기술자 및 전문가가 사용하도록 개발되었다. 이러한 제어는 일반 사용자에게 직관적이지 않은 경우가 종종 있으며, 적절한 선택 및 시각화 파라미터 제어에 대한 혼동을 일으킬 수 있다. 훈련 정도가 낮은 사람들이 이러한 제어를 사용하는 것은 번거로울 수 있으며, 파라미터 선택에 에러가 발생하고, 궁극적으로는 열악한 음향 시각화를 유도할 수 있다.
더욱이, 적절한 분석 및 보고 활동을 수행하기 위해 이 방법에서도 추가 컨텍스트 정보가 종종 필요하다. 종래의 초음파 검사 디바이스 또는 음향 이미저(imager)로 검사 중인 장면에 대한 추가 컨텍스트 정보를 수집하고자 하는 기술자는 전형적으로 별개의 카메라 또는 디바이스로 사진을 촬영해야 하고, 및/또는 노트를 기록하거나 PC, 태블릿, 스마트폰 또는 기타 모바일 디바이스와 같은 별도의 디바이스에 노트를 저장해야 한다. 그런 다음 이러한 보조 노트는 수동으로 동기화되어야 하거나 초음파 도구 또는 음향 이미저의 데이터와 일치시켜야 한다. 이는 상당한 시간이 소요될 수 있으며 올바른 데이터를 해당 보조 컨텍스트 정보와 일치시킬 때 에러가 발생하기 쉽다.
본 개시의 일부 양태는 음향 분석 시스템에 관한 것이다. 시스템은 복수의 음향 센서 요소를 포함하는 음향 어레이를 포함할 수 있고, 복수의 음향 센서 요소 각각은 음향 장면으로부터 음향 신호를 수신하고, 수신된 음향 신호에 기초하여 음향 데이터를 출력하도록 구성될 수 있다.
시스템은 목표 장면으로부터 전자기 방사를 수신하고, 수신된 전자기 방사를 나타내는 전자기 이미지 데이터를 출력하도록 구성된 전자기 이미징 도구를 포함할 수 있다. 전자기 이미징 도구는 가시광 및/또는 근적외선 스펙트럼을 포함하는 범위와 같은 파장의 제1 파로부터 전자기 방사를 검출하도록 구성될 수 있다. 일부 시스템에서, 전자기 이미징 시스템은 가시광 카메라 모듈 및/또는 적외선 카메라 모듈을 포함할 수 있다.
시스템은 사용자 인터페이스, 디스플레이 및 프로세서를 포함할 수 있다. 프로세서는 음향 센서 어레이, 전자기 이미징 도구, 사용자 인터페이스 및 디스플레이와 통신할 수 있다.
일부 시스템에서, 프로세서는 전자기 이미징 도구로부터 전자기 데이터를 수신하고 음향 센서 어레이로부터 음향 데이터를 수신하도록 구성될 수 있다. 프로세서는 또한 수신된 음향 데이터에 기초하여 장면의 음향 이미지 데이터를 생성할 수 있으며; 결합된 음향 이미지 데이터 및 전자기 이미지 데이터를 포함하는 디스플레이 이미지를 생성하고; 그리고 디스플레이 상에 디스플레이 이미지를 제시한다. 일부 실시예에서, 프로세서는 사용자 인터페이스로부터 주석 입력을 수신하고, 수신된 주석 입력에 기초하여 디스플레이 상의 디스플레이 이미지를 업데이트할 수 있다. 주석 입력은 터치 스크린을 통해 수신된 자유형 주석; 아이콘의 선택 또는 미리 정의된 형태, 및/또는 영숫자 입력을 포함할 수 있다.
일부 시스템에서, 프로세서는 수신된 음향 신호와 연관된 하나 이상의 음향 파라미터를 결정하고, 예를 들어 하나 이상의 음향 파라미터와 하나 이상의 미리 결정된 임계값의 비교에 기초하여, 음향 신호와 연관된 중요도(criticality)를 결정하도록 구성된다. 일부 실시예에서, 프로세서는 또한 결정된 중요도에 기초하여 디스플레이 이미지를 업데이트할 수 있다. 사용자는 결정된 중요도 정보로 이미지에 주석을 달 수 있다. 사용자는 목표값까지의 거리와 같은 결정된 정보로 이미지에 유사하게 주석을 달 수 있다.
하나 이상의 예시에 대한 세부 사항은 첨부된 도면 및 이하의 설명에 개시된다. 다른 특징, 목적, 및 이점은 설명, 도면, 및 청구범위로부터 명백해질 것이다.
도 1a 및 도 1b는 예시적인 음향 이미징 디바이스의 전면 및 후면도를 도시한다.
도 2는 음향 분석 시스템의 예시의 구성 요소를 예시하는 기능 블록도이다.
도 3a, 도 3b, 및 도 3c는 음향 분석 시스템 내의 예시적인 음향 센서 어레이의 구성의 개략도를 도시한다.
도 4a 및 도 4b는 가시광 이미지 데이터 및 음향 이미지 데이터의 프레임의 생성 시 시차 에러의 개략도를 도시한다.
도 5a 및 도 5b는 가시광 이미지와 음향 이미지 사이의 시차 보정을 도시한다.
도 5c 및 도 5d는 도 5a 및 도 5b의 색상화된 버전이다.
도 6은 음향 이미지 데이터 및 전자기 이미지 데이터를 결합한 최종 이미지를 생성하기 위한 예시적인 방법을 도시하는 프로세스의 흐름도이다.
도 7은 수신된 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 예시적인 프로세스를 도시하는 프로세스의 흐름도이다.
도 8은 음향 이미징 프로세스 동안 사용하기 위한 적절한 알고리즘 및 센서 어레이를 결정하기 위한 예시적인 룩업 테이블을 도시한다.
도 9a는 음향 장면에서 시간에 따른 수신된 이미지 데이터의 주파수 컨텐츠의 예시적인 플롯(plot)이다.
도 9b는 음향 신호를 방출하는 복수의 위치를 포함하는 예시적인 장면을 도시한다.
도 9c는 복수의 미리 정의된 주파수 범위에서 복수의 결합된 음향 및 가시광 이미지 데이터를 도시한다.
도 10a 및 도 10b는 가시광 이미지 데이터 및 음향 이미지 데이터를 결합한 예시적인 디스플레이 이미지이다.
도 11a 및 도 11b는 음향 장면에서 음향 데이터의 주파수 대 시간의 예시적인 플롯을 도시한다.
도 12a, 도 12b, 및 도 12c는 음향 이미지 데이터를 데이터베이스에 저장된 히스토리컬 음향 이미지 데이터(historical acoustic image data)와 비교하는 여러 예시적인 방법을 도시한다.
도 13은 수신된 음향 이미지 데이터를 객체 진단을 위한 데이터베이스와 비교하는 예시적인 동작을 도시하는 프로세스의 흐름도이다.
도 14는 기울기 팔레트화 방식(gradient palettization scheme) 사용한 음향 데이터의 시각화를 도시한다.
도 15는 음영 처리된 복수의 동심원(concentric circles)를 사용한 음향 데이터의 시각화를 도시한다.
도 16은 비수치(non-numeric) 정보 및 영숫자(alphanumeric) 정보를 모두 포함하는 예시적인 시각화를 도시한다.
도 17은 비수치 정보 및 영숫자 정보를 모두 포함하는 또 다른 예시적인 시각화를 도시한다.
도 18은 비수치 정보 및 영숫자를 쓴 정보를 모두 포함하는 또 다른 예시적인 시각화를 도시한다.
도 19은 상이한 음향 파라미터 값을 나타내는 상이한 크기 및 색상의 표시자를 도시하는 예시적인 시각화를 도시한다.
도 20은 대응하는 위치로부터 음향 신호에 의해 표시되는 심각도를 나타내는 상이한 색상을 갖는 복수의 표시자를 도시하는 예시적인 시각화를 도시한다.
도 21은 미리 결정된 조건을 충족하는 음향 신호를 구별하는 방식으로 도시한 장면 내에 복수의 위치에 표시자를 포함하는 장면을 도시한다.
도 22는 장면 내에서 인식된 음향 프로파일을 나타내는 디스플레이 이미지 내에 위치된 복수의 아이콘을 포함하는 디스플레이 이미지를 도시한다.
도 23은 동심원 및 각 음향 신호와 연관된 음향 세기를 나타내는 영숫자 정보를 사용하는 복수의 표시자를 통해 음향 데이터를 도시하는 또 다른 예시적인 디스플레이 이미지를 도시한다.
도 24는 표시된 음향 신호와 연관된 추가 영숫자 정보 및 표시자를 갖는 예시적인 디스플레이 이미지를 도시한다.
도 25a는 디스플레이 이미지 내의 표시자가 선택된 디스플레이와 장면을 향해 레이저를 방출하는 레이저 포인터를 포함하는 시스템을 도시한다.
도 25b는 도 25의 시스템 뷰에 도시된 디스플레이를 도시한다.
도 26은 음향 이미지 데이터를 표현하는 기울기 팔레트화 방식을 가지고 음향 이미지 블렌딩 제어(blending control)를 포함하는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 27은 음향 이미지 데이터를 표현하는 동심원 팔레트화 방식을 가지고 음향 이미지 블렌딩 제어를 포함하는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 28은 하나 이상의 필터 조건을 충족하는 장면에서의 위치를 나타내는 동심원 팔레트화를 갖는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 29는 하나 이상의 필터 조건을 충족하는 장면에서의 위치를 나타내는 동심원 팔레트화를 갖는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 30은 각각 상이한 필터 조건을 충족하는 장면에서의 위치를 나타내는 기울기 팔레트화를 각각 갖는 2개의 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 31은 디스플레이 이미지 및 가상 키보드를 포함하는 디스플레이 인터페이스를 도시한다.
도 32는 사용자가 착용할 수 있고 디스플레이 이미지를 디스플레이할 수 있는 안경에 내장된 디스플레이를 도시한다.
도 33a 및 도 33b는 음향 센서 어레이의 포인팅에 기초한 동적 세기를 갖는 표시자를 포함하는 동적 디스플레이 이미지를 도시한다.
도 34는 장면에서 식별된 공기 누출로 인한 잠재적인 중요도 및 잠재적 손실 비용에 대해 사용자 또는 기술자에게 표시를 제공하는 예시적인 디스플레이 이미지를 도시한다.
도 35는 디스플레이 상의 자유 형식의 주석으로 디스플레이 이미지에 주석을 추가하는 사용자의 예시를 도시한다.
도 36은 명령 및 관련 위치 정보를 포함하는 주석이 달린 디스플레이 이미지의 예시를 도시한다.
도 37은 사용자가 디스플레이 상에 아이콘 주석으로 디스플레이 이미지에 주석을 추가하는 예시를 도시한다.
도 38은 디스플레이 상에 형상 주석으로 디스플레이 이미지에 주석을 추가하는 사용자의 예시를 도시한다.
도 39는 디스플레이 상에 형태 및 아이콘 주석을 포함하는 주석이 달린 디스플레이 이미지의 예시를 도시한다.
도 40은 디스플레이 이미지를 포함하는 인터페이스 및 디스플레이 이미지의 우측에 복수의 주파수 범위를 포함하는 다중 파라미터 데이터 시각화를 도시한다.
도 41은 디스플레이 이미지 및 디스플레이 이미지의 하부 에지를 따라 위치된 복수의 주파수 범위를 포함하는 주파수 정보의 다중 파라미터 표현을 포함하는 인터페이스를 도시한다.
도 42는 복수의 주파수 대역에 대한 주파수 정보 및 복수의 주파수 대역에 대한 피크 값을 포함하는 디스플레이 이미지를 도시한다.
도 43은 복수의 주파수에 대한 세기 정보를 도시하는 다중 파라미터 표현을 포함하는 디스플레이 이미지를 도시한다.
도 44는 팔레트화된 주파수 범위의 세트를 포함하는 다중 파라미터 표현을 도시하며, 여기서 팔레트화는 각 주파수 범위가 속하는 데시벨 범위를 나타낸다.
도 45는 심각도에 따라 팔레트화된 상이한 주파수 범위 및 표시자를 도시하는 다중 파라미터 표현을 포함하는 예시적인 디스플레이 이미지를 도시한다.
도 46은 디스플레이 이미지 상의 다중 파라미터 표현에서 복수의 주파수 범위 각각에 대한 세기(dB) 대 시간 추세를 도시한다.
도 2는 음향 분석 시스템의 예시의 구성 요소를 예시하는 기능 블록도이다.
도 3a, 도 3b, 및 도 3c는 음향 분석 시스템 내의 예시적인 음향 센서 어레이의 구성의 개략도를 도시한다.
도 4a 및 도 4b는 가시광 이미지 데이터 및 음향 이미지 데이터의 프레임의 생성 시 시차 에러의 개략도를 도시한다.
도 5a 및 도 5b는 가시광 이미지와 음향 이미지 사이의 시차 보정을 도시한다.
도 5c 및 도 5d는 도 5a 및 도 5b의 색상화된 버전이다.
도 6은 음향 이미지 데이터 및 전자기 이미지 데이터를 결합한 최종 이미지를 생성하기 위한 예시적인 방법을 도시하는 프로세스의 흐름도이다.
도 7은 수신된 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 예시적인 프로세스를 도시하는 프로세스의 흐름도이다.
도 8은 음향 이미징 프로세스 동안 사용하기 위한 적절한 알고리즘 및 센서 어레이를 결정하기 위한 예시적인 룩업 테이블을 도시한다.
도 9a는 음향 장면에서 시간에 따른 수신된 이미지 데이터의 주파수 컨텐츠의 예시적인 플롯(plot)이다.
도 9b는 음향 신호를 방출하는 복수의 위치를 포함하는 예시적인 장면을 도시한다.
도 9c는 복수의 미리 정의된 주파수 범위에서 복수의 결합된 음향 및 가시광 이미지 데이터를 도시한다.
도 10a 및 도 10b는 가시광 이미지 데이터 및 음향 이미지 데이터를 결합한 예시적인 디스플레이 이미지이다.
도 11a 및 도 11b는 음향 장면에서 음향 데이터의 주파수 대 시간의 예시적인 플롯을 도시한다.
도 12a, 도 12b, 및 도 12c는 음향 이미지 데이터를 데이터베이스에 저장된 히스토리컬 음향 이미지 데이터(historical acoustic image data)와 비교하는 여러 예시적인 방법을 도시한다.
도 13은 수신된 음향 이미지 데이터를 객체 진단을 위한 데이터베이스와 비교하는 예시적인 동작을 도시하는 프로세스의 흐름도이다.
도 14는 기울기 팔레트화 방식(gradient palettization scheme) 사용한 음향 데이터의 시각화를 도시한다.
도 15는 음영 처리된 복수의 동심원(concentric circles)를 사용한 음향 데이터의 시각화를 도시한다.
도 16은 비수치(non-numeric) 정보 및 영숫자(alphanumeric) 정보를 모두 포함하는 예시적인 시각화를 도시한다.
도 17은 비수치 정보 및 영숫자 정보를 모두 포함하는 또 다른 예시적인 시각화를 도시한다.
도 18은 비수치 정보 및 영숫자를 쓴 정보를 모두 포함하는 또 다른 예시적인 시각화를 도시한다.
도 19은 상이한 음향 파라미터 값을 나타내는 상이한 크기 및 색상의 표시자를 도시하는 예시적인 시각화를 도시한다.
도 20은 대응하는 위치로부터 음향 신호에 의해 표시되는 심각도를 나타내는 상이한 색상을 갖는 복수의 표시자를 도시하는 예시적인 시각화를 도시한다.
도 21은 미리 결정된 조건을 충족하는 음향 신호를 구별하는 방식으로 도시한 장면 내에 복수의 위치에 표시자를 포함하는 장면을 도시한다.
도 22는 장면 내에서 인식된 음향 프로파일을 나타내는 디스플레이 이미지 내에 위치된 복수의 아이콘을 포함하는 디스플레이 이미지를 도시한다.
도 23은 동심원 및 각 음향 신호와 연관된 음향 세기를 나타내는 영숫자 정보를 사용하는 복수의 표시자를 통해 음향 데이터를 도시하는 또 다른 예시적인 디스플레이 이미지를 도시한다.
도 24는 표시된 음향 신호와 연관된 추가 영숫자 정보 및 표시자를 갖는 예시적인 디스플레이 이미지를 도시한다.
도 25a는 디스플레이 이미지 내의 표시자가 선택된 디스플레이와 장면을 향해 레이저를 방출하는 레이저 포인터를 포함하는 시스템을 도시한다.
도 25b는 도 25의 시스템 뷰에 도시된 디스플레이를 도시한다.
도 26은 음향 이미지 데이터를 표현하는 기울기 팔레트화 방식을 가지고 음향 이미지 블렌딩 제어(blending control)를 포함하는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 27은 음향 이미지 데이터를 표현하는 동심원 팔레트화 방식을 가지고 음향 이미지 블렌딩 제어를 포함하는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 28은 하나 이상의 필터 조건을 충족하는 장면에서의 위치를 나타내는 동심원 팔레트화를 갖는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 29는 하나 이상의 필터 조건을 충족하는 장면에서의 위치를 나타내는 동심원 팔레트화를 갖는 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 30은 각각 상이한 필터 조건을 충족하는 장면에서의 위치를 나타내는 기울기 팔레트화를 각각 갖는 2개의 표시자를 포함하는 디스플레이 이미지를 도시한다.
도 31은 디스플레이 이미지 및 가상 키보드를 포함하는 디스플레이 인터페이스를 도시한다.
도 32는 사용자가 착용할 수 있고 디스플레이 이미지를 디스플레이할 수 있는 안경에 내장된 디스플레이를 도시한다.
도 33a 및 도 33b는 음향 센서 어레이의 포인팅에 기초한 동적 세기를 갖는 표시자를 포함하는 동적 디스플레이 이미지를 도시한다.
도 34는 장면에서 식별된 공기 누출로 인한 잠재적인 중요도 및 잠재적 손실 비용에 대해 사용자 또는 기술자에게 표시를 제공하는 예시적인 디스플레이 이미지를 도시한다.
도 35는 디스플레이 상의 자유 형식의 주석으로 디스플레이 이미지에 주석을 추가하는 사용자의 예시를 도시한다.
도 36은 명령 및 관련 위치 정보를 포함하는 주석이 달린 디스플레이 이미지의 예시를 도시한다.
도 37은 사용자가 디스플레이 상에 아이콘 주석으로 디스플레이 이미지에 주석을 추가하는 예시를 도시한다.
도 38은 디스플레이 상에 형상 주석으로 디스플레이 이미지에 주석을 추가하는 사용자의 예시를 도시한다.
도 39는 디스플레이 상에 형태 및 아이콘 주석을 포함하는 주석이 달린 디스플레이 이미지의 예시를 도시한다.
도 40은 디스플레이 이미지를 포함하는 인터페이스 및 디스플레이 이미지의 우측에 복수의 주파수 범위를 포함하는 다중 파라미터 데이터 시각화를 도시한다.
도 41은 디스플레이 이미지 및 디스플레이 이미지의 하부 에지를 따라 위치된 복수의 주파수 범위를 포함하는 주파수 정보의 다중 파라미터 표현을 포함하는 인터페이스를 도시한다.
도 42는 복수의 주파수 대역에 대한 주파수 정보 및 복수의 주파수 대역에 대한 피크 값을 포함하는 디스플레이 이미지를 도시한다.
도 43은 복수의 주파수에 대한 세기 정보를 도시하는 다중 파라미터 표현을 포함하는 디스플레이 이미지를 도시한다.
도 44는 팔레트화된 주파수 범위의 세트를 포함하는 다중 파라미터 표현을 도시하며, 여기서 팔레트화는 각 주파수 범위가 속하는 데시벨 범위를 나타낸다.
도 45는 심각도에 따라 팔레트화된 상이한 주파수 범위 및 표시자를 도시하는 다중 파라미터 표현을 포함하는 예시적인 디스플레이 이미지를 도시한다.
도 46은 디스플레이 이미지 상의 다중 파라미터 표현에서 복수의 주파수 범위 각각에 대한 세기(dB) 대 시간 추세를 도시한다.
도 1a 및 도 1b는 예시적인 음향 이미징 디바이스의 전면 및 후면도를 도시한다. 도 1a는 음향 센서 어레이(104) 및 전자기 이미지 도구(106)를 지지하는 하우징(102)을 갖는 음향 이미징 디바이스(100)의 전면을 도시한다. 일부 실시예에서, 음향 센서 어레이(104)는 복수의 음향 센서 요소를 포함하고, 복수의 음향 센서 요소 각각은 음향 장면으로부터 음향 신호를 수신하고, 수신된 음향 신호에 기초하여 음향 데이터를 출력하도록 구성된다. 전자기 이미징 도구(106)는 목표 장면으로부터 전자기 방사를 수신하고, 수신된 전자기 방사를 나타내는 전자기 이미지 데이터를 출력하도록 구성될 수 있다. 전자기 이미징 도구(106)는 가시광, 적외선, 자외선 등과 같은 복수의 파장 범위 중 하나 이상에서 전자기 방사를 검출하도록 구성될 수 있다.
예시된 예시에서, 음향 이미징 디바이스(100)는 주변 광 센서(108) 및 GPS와 같은 위치 센서(116)를 포함한다. 디바이스(100)는 일부 실시 예에서 레이저 거리 측정기(laser distance meter)를 포함하는 레이저 포인터(110)를 포함한다. 디바이스(100)는 장면을 향해 가시광 방사선을 방출하도록 구성될 수 있는 토치(112) 및 장면을 향해 적외 방사를 방출하도록 구성될 수 있는 적외선 조명기(118)를 포함한다. 일부 예시에서, 디바이스(100)는 임의의 범위의 파장에 걸쳐 장면을 조명하기 위한 조명기를 포함할 수 있다. 디바이스(100)는 생성된 이미지를 색상 이미지와 같은 장면에 투사하도록 구성될 수 있는 이미지 리 프로젝터(reprojector)와 같은 프로젝터(114) 및/또는 예를 들어 장면의 깊이 프로파일을 결정하기 위해 장면에 일련의 도트를 투사하도록 구성된 도트 프로젝터(dot projector)를 더 포함한다.
도 1b는 음향 이미징 장치(100)의 후면을 도시한다. 도시된 바와 같이, 디바이스는 이미지 또는 다른 데이터를 제공할 수 있는 디스플레이(120)를 포함한다. 일부 예시에서, 디스플레이(120)는 터치스크린 디스플레이를 포함한다. 음향 이미징 디바이스(100)는 사용자에게 오디오 피드백 신호를 제공할 수 있는 스피커와 음향 이미징 디바이스(100)와 외부 디바이스 간의 무선 통신을 가능하도록 하는 무선 인터페이스(124)를 포함한다. 디바이스는 사용자로 하여금 음향 이미징 디바이스(100)와 인터페이스 할 수 있도록, 하나 이상의 버튼, 노브, 다이얼, 스위치, 또는 다른 인터페이스 구성 요소를 포함할 수 있는 컨트롤(126)을 더 포함한다. 일부 예시에서, 컨트롤(126) 및 터치스크린 디스플레이는 결합되어 음향 이미징 디바이스(100)의 사용자 인터페이스를 제공한다.
다양한 실시예에서, 음향 이미징 디바이스는 도 1a 내지 도 1b의 실시예에 도시된 모든 요소를 포함할 필요가 없다. 하나 이상의 예시된 구성 요소가 음향 이미징 디바이스로부터 제외될 수 있다. 일부 예에서, 도 1a 내지 도 1b의 실시 예에 도시된 하나 이상의 구성 요소는 음향 이미징 시스템의 일부로서 포함될 수 있지만 하우징(102)과는 별개로 포함될 수 있다. 이러한 구성요소는 예를 들어 무선 인터페이스(124)를 사용하여 유선 또는 무선 통신 기술을 통해 음향 이미징 시스템의 다른 구성요소와 통신할 수 있다.
도 2는 음향 분석 시스템(200)의 예시의 구성 요소를 도시하는 기능 블록도이다. 도 2의 예시적인 음향 분석 시스템(200)은 음향 센서 어레이(202)에 배치된 마이크로폰, MEMS, 트랜스듀서 등과 같은 복수의 음향 센서를 포함할 수 있다. 이러한 배치는 1 차원, 2 차원 또는 3 차원 일 수 있다. 다양한 예시에서 음향 센서 어레이는 임의의 적절한 크기와 모양으로 설정할 수 있다. 일부 예시에서, 음향 센서 어레이(202)는, 예를 들어, 수직 칼럼 및 수평 로우로 배치된 센서 요소의 어레이와 같이 격자 패턴으로 배치된 복수의 음향 센서를 포함한다. 다양한 예에서, 음향 센서 어레이(202)는, 예를 들어 8 x 8, 16 x 16, 32 x 32, 64 x 64, 128 x 128, 256 x 256 등의 수평 로우에 의한 수직 칼럼의 어레이를 포함할 수 있다. 다른 예시가 또한 가능하며, 다양한 센서 어레이가 반드시 칼럼과 동일한 수의 로우를 포함할 필요는 없다. 일부 실시 예에서, 이러한 센서는, 예를 들어 인쇄 회로 기판(PCB) 기판과 같은 기판 상에 위치될 수 있다.
도 2에 도시된 구성에서, 음향 센서 어레이(202)와 통신하는 프로세서(212)는 복수의 음향 센서 각각으로부터 음향 데이터를 수신할 수 있다. 음향 분석 시스템(200)의 예시적인 동작 동안, 프로세서(212)는 음향 이미지 데이터를 생성하기 위해 음향 센서 어레이(202)와 통신할 수 있다. 예를 들어, 프로세서(212)는 음향 센서 어레이에 배치된 복수의 음향 센서 각각으로부터 수신 된 데이터를 분석하고 음향 신호의 소스로 음향 신호를 "역 전파"하여 음향 장면을 결정하도록 구성될 수 있다. 일부 실시예에서, 프로세서(212)는 2 차원 장면에 걸친 음향 신호의 다양한 소스 위치 및 세기를 식별함으로써 음향 이미지 데이터의 디지털 "프레임"을 생성할 수 있다. 음향 이미지 데이터의 프레임을 생성함으로써, 프로세서(212)는 실질적으로 주어진 시점에서 목표 장면의 음향 이미지를 캡쳐한다. 일부 예시에서, 프레임은 음향 이미지를 구성하는 복수의 픽셀을 포함하며, 각 픽셀은 음향 신호가 역 전파된 소스 장면의 일부를 나타낸다.
프로세서(212)를 포함하는 음향 분석 시스템(200) 내의 프로세서로 설명된 구성 요소는 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processors, DSP), 주문형 집적 회로(application specific integrated circuits, ASIC), 필드 프로그래밍 가능 게이트 어레이(field programmable gate arrays, FPGA), 프로그래밍 가능 논리 회로 등과 같은 하나 이상의 프로세서 단독으로 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 프로세서(212)는 또한 프로세서(212)에 의해 실행될 때 음향 분석 시스템(200) 및 프로세서(212)로 하여금 본 개시에서 그들에 기인한 기능을 수행하도록 하는 프로그램 명령 및 관련 데이터를 저장하는 메모리를 포함할 수 있다. 메모리는 RAM, ROM, CD-ROM, 하드 또는 플로피 자기 디스크, EEPROM 등과 같은 임의의 고정 또는 제거 가능한 자기, 광학 또는 전기 매체를 포함할 수 있다. 메모리는 또한 메모리 업데이트 또는 메모리 용량의 증가를 제공하는데 사용될 수 있는 제거 가능한 메모리 부분을 포함할 수 있다. 제거 가능한 메모리는 또한 음향 이미지 데이터가 다른 컴퓨팅 장치로 쉽게 전송되도록 할 수 있거나 또는 음향 분석 시스템(200)이 다른 애플리케이션에서 사용되기 전에 제거되도록 할 수 있다. 프로세서(212)는 또한 컴퓨터 또는 다른 전자 시스템의 일부 또는 모든 구성요소를 단일 칩으로 통합하는 시스템 온 칩으로 구현될 수 있다. 프로세서(212) (프로세싱 회로)는 처리된 데이터를 디스플레이(214) 또는 다른 출력/제어 디바이스(218)에 통신하도록 구성될 수 있다.
일부 실시예에서, 음향 센서 어레이(202)의 음향 센서는 음향 이미지를 표현하기 위해 각 음향 센서에 의해 수신된 음향 신호에 대응하는 일련의 신호를 생성한다. 음향 센서 어레이(202)를 구성하는 모든 로우를 스캔함으로써 각 음향 센서의 신호를 획득하는 때 음향 이미지 데이터의 "프레임"이 생성된다. 일부 예시에서, 프로세서(212)는 음향 이미지 데이터의 비디오 표현(예를 들어, 30Hz, 또는 60Hz)을 생성하기에 충분한 속도로 음향 이미지 프레임을 획득할 수 있다. 특정 회로에 독립적으로, 음향 분석 시스템(200)은 사용자에 의해 디스플레이되거나, 저장되거나, 전송되거나 또는 다른 방식으로 이용될 수 있는 출력을 제공하기 위해 목표 장면의 음향 프로파일을 나타내는 음향 데이터를 조작하도록 구성될 수 있다.
일부 실시예에서, 음향 이미지 데이터를 생성하기 위해 수신된 음향 신호를 "역 전파"하는 것은, 예를 들어 프로세서를 통해 음향 센서 어레이(202)의 복수의 음향 센서에서 수신된 신호를 분석하는 것을 포함한다. 다양한 예들에서, 역 전파를 수행하는 것은, 예를 들어 하나 이상의 어레이 내의 개별 센서들의 간격 및 배치를 포함하는 목표까지의 거리, 주파수, 소리 세기(예를 들어, dB 레벨) 센서 어레이 크기/구성을 포함하는 하나 이상의 파라미터의 함수이다. 일부 실시예에서, 이러한 파라미터는 예를 들어 메모리에서 시스템 내에 사전 프로그래밍될 수 있다. 예를 들어, 음향 센서 어레이(202) 속성은 특히 음향 센서 어레이(202)와 연관된 내부 메모리 또는 메모리와 같은 메모리에 저장될 수 있다. 목표까지의 거리와 같은 다른 파라미터는 다양한 방법으로 수신될 수 있다. 예를 들어, 일부 예시에서, 음향 분석 시스템(200)은 프로세서(212)와 통신하는 거리 측정 도구(204)를 포함한다. 거리 측정 도구는 거리 측정 도구(204)로부터 목표 장면의 특정 위치까지의 거리를 나타내는 거리 정보를 제공하도록 구성될 수 있다. 다양한 거리 측정 도구는 레이저 거리 측정기 또는 다른 광학 또는 오디오 거리 측정 디바이스와 같은 공지된 다른 거리 측정 디바이스를 포함할 수 있다. 추가적으로 또는 대안 적으로, 거리 측정 도구는 3차원 깊이 데이터를 생성하도록 구성될 수 있어서, 목표 장면의 각 부분이 연관된 거리-목표(distance-target) 값을 갖도록 할 수 있다. 따라서, 일부 예들에서, 본 명세서에서 사용되는 목표까지의 거리 측정은 목표 장면 내의 각 위치까지의 거리에 대응할 수 있다. 이러한 3 차원 깊이 데이터는, 예를 들어, 목표 장면의 상이한 뷰를 갖는 복수의 이미징 도구를 통해 또는 다른 공지된 거리 스캐닝 도구를 통해 생성될 수 있다. 일반적으로, 다양한 실시 예에서, 거리 측정 도구는 레이저 거리 측정, 능동 음파 거리 측정, 수동 초음파 거리 측정, LIDAR 거리 측정, RADAR 거리 측정, 밀리미터파 거리 측정 등을 포함하지만 이에 제한되지 않는 하나 이상의 거리 측정 기능을 수행하는데 사용될 수 있다.
거리 측정 도구(204)로부터의 거리 정보는 역 전파 계산에 사용될 수 있다. 추가적으로 또는 대안적으로, 시스템(200)은 사용자가 목표 파라미터까지의 거리를 수동으로 입력할 수 있는 사용자 인터페이스(216)를 포함할 수 있다. 예를 들어, 사용자는 음향 신호를 생성하는 것으로 의심되는 구성 요소까지의 거리가 알려져 있거나, 또는 거리 측정 도구(204)로 측정하기 어려운 경우에 목표 값까지의 거리를 시스템(200)에 입력할 수 있다.
예시된 실시 예에서, 음향 분석 시스템(200)은 목표 장면을 나타내는 이미지 데이터를 생성하기 위한 전자기 이미징 도구(203)를 포함한다. 예시적인 전자기 이미징 도구는 목표 장면으로부터 전자기 방사를 수신하고 수신된 전자기 방사를 나타내는 전자기 이미지 데이터를 생성하도록 구성될 수 있다. 일부 예시에서, 전자기 이미징 도구(203)는 적외 방사, 가시광 방사선 및 자외선 방사선과 같은 전자기 스펙트럼 내의 특정 범위의 파장을 나타내는 전자기 이미지 데이터를 생성하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 전자기 타이밍 도구(203)는 예를 들어 가시광 카메라 모듈(206)과 같은 전자기 스펙트럼에서 특정 파장 범위를 나타내는 이미지 데이터를 생성하도록 구성된 하나 이상의 카메라 모듈을 포함할 수 있다.
가시광 카메라 모듈은 일반적으로 잘 공지되어 있다. 예를 들어 다양한 가시광 카메라 모듈은 스마트 폰 및 기타 여러 디바이스에 포함되어 있다. 일부 실시예에서, 가시광 카메라 모듈(206)은 목표 장면으로부터 가시광 에너지를 수신하고, 가시광 에너지 데이터, 예를 들어, 가시광 이미지의 형태로 디스플레이(214)상에서 디스플레이될 수 있고 및/또는 메모리에 저장될 수 있는 가시광 에너지 데이터를 생성하기 위해 가시광 센서에 가시광 에너지를 집중시키도록 구성될 수 있다. 가시광 카메라 모듈(206)은 본 명세서에서 모듈에 기인한 기능을 수행하기 위한 임의의 적절한 구성요소를 포함할 수 있다. 도 2의 예시에서, 가시광 카메라 모듈(206)은 가시광 렌즈 어셈블리(208) 및 가시광 센서(210)를 포함하는 것으로 도시되어 있다. 이러한 일부 실시예에서, 가시광 렌즈 어셈블리(208)는 목표 장면에 의해 방출된 가시광 에너지를 취하고 가시광 에너지를 가시광 센서(210)에 집중시키는 적어도 하나의 렌즈를 포함한다. 가시광 센서(210)는 예를 들어 CMOS 검출기, CCD 검출기, PIN 다이오드, 애벌랜치 포토 다이오드 등과 같은 복수의 가시광 센서 요소를 포함할 수 있다. 가시광 센서(210)는 디스플레이(214)에 가시광 이미지로 변환되고 디스플레이될 수 있는 전기 신호를 생성함으로써 집중된 에너지에 반응한다. 일부 예에서, 가시광 모듈(206)은 사용자에 의해 구성 가능하고, 예를 들어 다양한 형식으로 디스플레이(214)에 출력을 제공할 수 있다. 가시광 카메라 모듈(206)은 다양한 조명 또는 다른 작동 조건 또는 사용자 선호도를 위한 보상 기능을 포함할 수 있다. 가시광 카메라 모듈은 다양한 포맷 (예를 들어, RGB, CYMK, YCbCr 등)의 데이터를 포함할 수 있는 이미지 데이터를 포함하는 디지털 출력을 제공할 수 있다.
일부 예시적인 가시광 카메라 모듈(206)의 작동에서, 목표 장면으로부터 수신된 광학 에너지는 가시광 렌즈 어셈블리(208)를 통과할 수 있으며, 가시광 센서(210)에 초점이 맞춰질 수 있다. 광학 에너지가 가시광 센서(210)의 가시광 센서 소자에 충돌하는 경우, 광 검출기 내의 광자가 방출되어 검출 전류로 변환될 수 있다. 프로세서(212)는 이러한 검출 전류를 처리하여 목표 장면의 가시광 이미지를 형성할 수 있다.
음향 분석 시스템(200)을 사용하는 동안, 프로세서(212)는 가시광 이미지를 생성하기 위해 캡처된 목표 장면으로부터 가시광 데이터를 생성하도록 가시광 카메라 모듈(206)을 제어할 수 있다. 가시광 데이터는 캡처된 목표 장면의 다른 부분과 연관된 색상(들) 및/또는 캡쳐된 목표 장면의 다른 부분과 연관된 광의 크기를 나타내는 광도 데이터(luminosity data)를 포함할 수 있다. 프로세서(212)는 음향 분석 시스템(200)의 각 가시광 센서 요소의 응답을 한 번에 측정함으로써 가시광 이미지 데이터의 "프레임"을 생성할 수 있다. 가시광 데이터의 프레임을 생성함으로써, 프로세서(212)는 주어진 시점에서 목표 장면의 가시광 이미지를 캡처한다. 프로세서(212)는 또한 음향 분석 시스템(200)의 각 가시광 센서 요소의 응답을 반복적으로 측정하여 목표 장면의 동적 가시광 이미지(예를 들어, 비디오 표현)를 생성할 수 있다. 일부 예시에서, 가시광 카메라 모듈(206)은 자신의 전용 프로세서 또는 가시광 카메라 모듈(206)을 동작시킬 수 있는 다른 회로(예를 들어, ASIC)를 포함할 수 있다. 이러한 일부 실시예에서, 전용 프로세서는 프로세서(212)에 가시광 이미지 데이터 (예를 들어, RGB 이미지 데이터)를 제공하기 위해 프로세서(212)와 통신한다. 대안적인 실시 예에서, 가시광 카메라 모듈(206)을 위한 전용 프로세서는 프로세서(212)에 통합될 수 있다.
가시광 카메라 모듈(206)의 각 센서 요소가 센서 픽셀로 기능하면서, 프로세서(212)는 각 센서 요소의 전기적 응답을, 예를 들어, 디스플레이(214)상의 시각화를 위해 및/또는 메모리에 저장하기 위해 처리될 수 있는 시간 다중화된 전기 신호로 변환함으로써 목표 장면으로부터 가시광의 2 차원 이미지 또는 그림 표현을 생성할 수 있다.
프로세서(212)는 캡쳐된 목표 장면의 가시광 이미지의 적어도 일부를 디스플레이하도록 디스플레이(214)를 제어할 수 있다. 일부 예시에서, 프로세서(212)는 가시광 카메라 모듈(206)의 각 센서 요소의 전기적 응답이 디스플레이(214)상의 단일 픽셀과 연관되도록 디스플레이(214)를 제어한다. 다른 예시들에서, 프로세서(212)는 가시광 카메라 모듈(206)에 센서 요소가 있는 것보다 디스플레이(214) 상에 디스플레이되는 픽셀이 더 많거나 더 적도록 가시광 이미지의 해상도를 증가 또는 감소시킬 수 있다. 프로세서(212)는 전체 가시광 이미지(예를 들어, 음향 분석 시스템(200)에 의해 캡쳐된 목표 장면의 모든 부분) 또는 전체 가시광 이미지(예를 들어, 음향 분석 시스템(200)에 의해 캡쳐된 전체 목표 장면의 더 작은 포트) 보다 적게 디스플레이하도록 디스플레이(214)를 제어할 수 있다.
일부 실시예에서, 프로세서(212)는 음향 분석 시스템(200)에 의해 캡쳐된 가시광 이미지의 적어도 일부 및 음향 센서 어레이(202)를 통해 생성된 음향 이미지의 적어도 일부를 동시에 디스플레이하도록 디스플레이(214)를 제어할 수 있다. 이러한 동시 디스플레이는 운영자가 가시광 이미지에 디스플레이된 특징을 참조하여 음향 이미지에 동시에 디스플레이되는 음향 신호의 소스를 보는데 도움이 될 수 있다는 점에서 유용할 수 있다. 다양한 예시들에서, 프로세서(212)는 가시광 이미지 및 음향 이미지를 나란히 배치, 픽처-인-픽처 배치 (이미지 중 하나가 이미지 중 다른 하나를 둘러싸고 있음), 또는 가시광 및 음향 이미지가 동시에 디스플레이되는 임의의 적절한 다른 배치로 디스플레이하도록 디스플레이(214)를 제어할 수 있다.
예를 들어, 프로세서(212)는 디스플레이(214)를 제어하여 가시광 이미지 및 음향 이미지를 결합된 배치로 디스플레이할 수 있다. 이러한 배치에서, 가시광 이미지의 픽셀 또는 픽셀 세트가 대상 장면의 일부를 나타내는 경우에, 음향 이미지에 해당 픽셀 또는 픽셀 세트가 존재하며, 이는 대상 장면의 실질적으로 동일한 부분을 나타낸다. 다양한 실시예에서, 음향 및 가시광 이미지의 크기 및/또는 해상도는 동일할 필요가 없다. 이에 따라, 음향 또는 가시광 이미지 중 다른 하나의 단일 픽셀에 대응하는 음향 또는 가시광 이미지 중 하나의 픽셀 세트, 또는 상이한 크기의 픽셀 세트가 존재할 수 있다. 유사하게, 가시광 또는 음향 이미지 중 하나에 픽셀이 존재할 수 있으며, 이는 다른 이미지의 픽셀 세트에 대응한다. 따라서, 본 명세서에서 사용된 대응은 일대일 픽셀 관계를 필요로 하지 않으나, 불일치하는 크기의 픽셀 또는 픽셀 그룹을 포함할 수 있다. 이미지 중 하나를 업 샘플링(up-sampling) 또는 다운 샘플링(down-sampling), 또는 픽셀을 대응하는 픽셀 세트의 평균 값으로 결합하는 것과 같은 불일치하는 크기의 이미지 영역의 다양한 조합 기술이 수행될 수 있다. 다른 예시들은 공지되어 있으며, 본 명세서 범위 내에 있다.
따라서, 대응하는 픽셀은 직접적인 일대일 관계를 가질 필요가 없다. 오히려, 일부 실시예에서, 단일 음향 픽셀은 복수의 대응하는 가시광 픽셀을 갖거나, 가시광 픽셀은 복수의 대응하는 음향 픽셀을 갖는다. 추가적으로 또는 대안적으로, 일부 실시예에서, 모든 가시광 픽셀이 대응하는 음향 픽셀을 갖는 것은 아니며, 그 반대도 마찬가지이다. 이러한 실시예는, 예를 들어 이전에 기술한 픽처-인-픽처 유형 디스플레이를 나타낼 수 있다. 따라서, 대응하는 음향 픽셀과 마찬가지로 가시광 픽셀은 가시광 이미지 내에서 동일한 픽셀 좌표를 반드시 가질 필요는 없을 것이다. 따라서, 본 명세서에서 사용되는 바와 같이, 대응하는 픽셀은 일반적으로 목표 장면의 실질적으로 동일한 부분으로부터의 정보를 포함하는 임의의 이미지(예를 들어, 가시광 이미지, 음향 이미지, 결합된 이미지, 디스플레이 이미지 등)로부터의 픽셀을 지칭한다. 이러한 픽셀은 이미지 간에서 일대일 관계를 가질 필요는 없으며 그들 각각의 이미지 내에서 유사한 좌표 위치를 가질 필요도 없다.
유사하게, 대응하는 픽셀 (즉, 목표 장면의 동일한 부분을 나타내는 픽셀)을 갖는 이미지는 대응하는 이미지로 지칭될 수 있다. 따라서, 일부 그러한 배치에서, 대응하는 가시광 이미지 및 음향 이미지는 대응하는 픽셀에서 서로의 위에 중첩(superimposed)될 수 있다. 운영자는 사용자 인터페이스(216)와 상호 작용하여 디스플레이(214)에 디스플레이된 이미지 중 하나 또는 둘 모두의 투명도 또는 불투명도를 제어할 수 있다. 예를 들어, 운영자는 사용자 인터페이스(216)와 상호 작용하여 음향 이미지를 완전히 투명하고 완전히 불투명한 것 사이에서 조정할 수 있으며, 또한 가시광 이미지도 완전히 투명하고 완전히 불투명한 것 사이에서 조정할 수 있다. 알파 블렌딩된 배치(alpha-blended arrangement)로 지칭될 수 있는 이러한 예시적인 결합된 배치는 운영자가 음향 전용 이미지와 가시광 전용 이미지의 극단 사이에서 두 이미지의 임의의 중첩 조합의 음향 전용 이미지, 가시광 전용 이미지를 디스플레이하도록 조정할 수 있게 한다. 프로세서(212)는 또한 장면 정보를 경보 데이터 등과 같은 다른 데이터와 결합할 수도 있다. 일반적으로, 가시광과 음향 이미지의 알파 블렌딩된 조합은 음향 100 %와 가시광 0 %에서부터 음향 0 %와 가시광 100 %까지 중 어디에서든 구성할 수 있다. 일부 실시예에서, 블렌딩의 양은 카메라 사용자에 의해 조정될 수 있다. 따라서, 일부 실시예에서, 블렌딩된 이미지는 100 % 가시광과 100 % 음향 사이에서 조정될 수 있다.
추가로, 일부 실시예에서, 프로세서(212)는 사용자 인터페이스(216) 및/또는 출력/제어 디바이스(218)로부터 명령을 해석하고 실행할 수 있다. 더욱이, 입력 신호는 프로세서(212)에서 발생하는 가시광 및/또는 음향 이미지 데이터의 처리를 변경하는 데 사용될 수 있다.
운영자는 버튼, 키, 또는 사용자로부터 입력을 수신하기 위한 다른 메커니즘을 포함할 수 있는 사용자 인터페이스(216)를 통해 음향 분석 시스템(200)과 상호 작용할 수 있다. 운영자는 디스플레이(214)를 통해 음향 분석 시스템(200)으로부터 출력을 수신할 수 있다. 디스플레이(214)는 임의의 허용 가능한 팔레트 또는 색 구성표(color scheme)로 음향 이미지 및/또는 가시광 이미지를 디스플레이하도록 구성될 수 있고, 팔레트는 예를 들어 사용자 제어에 응답하여 변할 수 있다. 일부 실시예에서, 음향 이미지 데이터는 장면의 상이한 위치로부터 다양한 크기의 음향 데이터를 표현하기 위해 팔레트에 제시될 수 있다. 예를 들어, 일부 예시들에서, 디스플레이(214)는 그레이스케일(grayscale)과 같은 단색 팔레트로 음향 이미지를 디스플레이하도록 구성된다. 다른 예시들에서, 디스플레이(214)는 예를 들어, 호박색(amber), 아이언 보우(ironbow), 청-적색(blue-red), 또는 다른 고대비 색 구성표와 같은 색상 팔레트로 음향 이미지를 디스플레이하도록 구성된다. 그레이스케일 및 색상 팔레트 디스플레이의 조합 또한 고려된다. 일부 예시들에서, 그러한 정보를 디스플레이하도록 구성되는 디스플레이는 그러한 이미지 데이터를 생성하고 제시하기 위한 처리 능력을 포함할 수 있다. 다른 예들에서, 그러한 정보를 디스플레이하도록 구성되는 것은 프로세서(212)와 같은 다른 구성요소들로부터 이미지 데이터를 수신하는 능력을 포함할 수 있다. 예를 들어, 프로세서(212)는 디스플레이될 각각의 픽셀에 대한 값 (예를 들어, RGB 값, 그레이 스케일 값 또는 다른 디스플레이 옵션)을 생성할 수 있다. 디스플레이(214)는 이러한 정보를 수신하고 각각의 픽셀을 시각적 디스플레이로 매핑할 수 있다.
프로세서(212)는 음향 이미지의 적어도 일부와 가시광 이미지의 적어도 일부를 임의의 적절한 배치로 동시에 디스플레이할 수 있도록 디스플레이(214)를 제어할 수 있지만, PIP(picture-in-picture) 배치는 인접한 배치에서 동일한 장면의 대응하는 가시 이미지를 디스플레이함으로써 운영자가 음향 이미지의 초점을 쉽게 맞추고 및/또는 음향 이미지를 해석하는 데 도움이 될 수 있다.
전원 (미도시)은 음향 분석 시스템(200)의 다양한 구성 요소에 작동 전력을 전달한다. 다양한 예시에서, 전원 공급 장치는 충전식 또는 비충전식 배터리, 및 발전 회로, AC 전원, 유도식 전원 픽업(inductive power pick-up), 광전지 전원(photovoltaic power source) 또는 임의의 기타 적절한 전원 공급 구성요소를 포함할 수 있다. 재충전 가능한 배터리 및/또는 디바이스를 작동하기 위해 전력을 제공하도록 구성된 또 다른 구성 요소와 같은 전원 공급 구성 요소의 조합도 또한 가능하다.
음향 분석 시스템(200)의 동작 중에, 프로세서(212)는 메모리에 저장된 프로그램 정보와 연관된 명령의 도움으로 음향 센서 어레이(202) 및 가시광 카메라 모듈(206)을 제어하여 대상 장면의 가시광 이미지 및 음향 이미지를 생성한다. 프로세서(212)는 또한 디스플레이(214)를 제어하여 가시광 이미지 및/또는 음향 분석 시스템(200)에 의해 생성된 음향 이미지를 디스플레이한다.
언급한 바와 같이, 일부 상황에서는 음향 이미지에서 목표 장면의 실제 (가시적) 특징들 사이에서 이를 식별하고 구별하는 것이 어려울 수 있다. 가시광 정보로 음향 이미지를 보충하는 것 외에도, 일부 실시예에서, 목표 장면 내에서 가시적 에지를 강조하는 것이 유용할 수 있다. 일부 실시예에서, 공지된 에지 검출 방법은 목표 장면의 가시광 이미지에 대해 수행될 수 있다. 음향 이미지와 가시광 이미지 사이의 대응 관계 때문에, 대상 장면에서 가시적 에지를 나타내는 것으로 결정된 가시광 픽셀은 음향 이미지에서 가시적 에지를 나타내는 음향 픽셀에도 대응한다. 본 명세서에서 사용된 바와 같이, "에지"는 물체의 물리적 경계를 지칭할 필요는 없지만 가시광 이미지에서 충분히 날카로운 기울기를 지칭할 수 있다는 것을 이해할 것이다. 예시는 물체의 물리적 경계, 물체 내의 색상 변화, 장면을 가로 지르는 그림자 등을 포함할 수 있다.
일반적으로 가시광 카메라 모듈(206)을 포함하는 도 2에 대해 기술한 바와 같이, 일부 예에서, 음향 분석 시스템(200)의 전자기 이미징 도구(203)는 다양한 스펙트럼을 나타내는 이미지 데이터를 생성할 수 있는 이미징 도구를 추가로 또는 대안적으로 포함할 수 있다. 예를 들어, 다양한 예에서, 전자기 이미징 도구(203)는 적외선 이미지 데이터, 가시광 이미지 데이터, 자외선 이미지 데이터, 또는 임의의 다른 유용한 파장, 또는 이들의 조합을 생성할 수 있는 하나 이상의 도구를 포함할 수 있다. 일부 실시 예에서, 음향 이미징 시스템은 적외선 렌즈 어셈블리 및 적외선 센서 어레이를 갖는 적외선 카메라 모듈을 포함할 수 있다. 예를 들어, 2015 년 8 월 27 일에 출원 된 미국 특허 제 14 / 837,757 호 “열 가시성 결합 이미지 및 카메라를 위한 에지 향상”에 설명된 것과 같은 적외선 카메라 모듈과의 인터페이스를 위한 추가 구성 요소가 포함될 수 있으며, 이는 본 출원의 양수인에게 할당되며 원용에 의해 그 전체로서 본 출원에 포함된다.
일부 예시들에서, 둘 이상의 데이터 스트림이 디스플레이를 위해 블렌딩될 수 있다. 예를 들어, 가시광 카메라 모듈(206), 음향 센서 어레이(202) 및 적외선 카메라 모듈 (도 2에 도시되지 않음)을 포함하는 예시적인 시스템은 가시광 (VL) 이미지 데이터, 적외선 (IR) 이미지 데이터 및 음향 (acoustic) 이미지 데이터의 블렌드를 포함하는 출력 이미지를 생성하도록 구성될 수 있다. 예시적인 블렌딩 방식에서, 디스플레이 이미지는 α × IR + β × VL + γ × 음향으로 표현될 수 있으며, 여기서 α + β + γ = 1이다. 일반적으로, 디스플레이를 위해 임의의 수의 데이터 스트림이 결합될 수 있다. 다양한 실시 예에서, α, β 및 γ와 같은 블렌딩 비율은 사용자에 의해 설정될 수 있다. 추가적으로 또는 대안적으로, 설정된 디스플레이 프로그램은, 예를 들어 본 출원의 양수인에게 할당되며 원용에 의해 그 전체로서 본 출원에 포함되는 "레이저 포인터를 포함하는 가시광 및 적외선 결합 이미지 카메라"라는 제목의 미국 특허 제7,538,326호에 기술된 바와 같이, 경보 조건 (예를 들어, 하나 이상의 데이터 스트림에서 하나 이상의 값이 미리 결정된 임계 값을 충족함) 또는 기타 조건에 기초하여 상이한 이미지 데이터 스트림을 포함하도록 구성될 수 있다.
도 2와 관련하여 기술된 음향 분석 시스템(200)의 하나 이상의 구성 요소는 휴대용 (예를 들어, 초소형(handheld)) 음향 분석 도구에 포함될 수 있다. 예를 들어, 일부 실시예에서, 휴대용 음향 분석 도구는 음향 분석 도구에 구성 요소를 수용하도록 구성된 하우징(230)을 포함할 수 있다. 일부 예시에서, 시스템(200)의 하나 이상의 구성 요소는 음향 분석 도구의 하우징(230) 외부에 위치될 수 있다. 예를 들어, 일부 실시예에서, 프로세서(212), 디스플레이(214), 사용자 인터페이스(216) 및/또는 출력 제어 디바이스(218)는 음향 분석 도구의 하우징 외부에 위치될 수 있고, 예를 들어 무선 통신(예를 들어, Bluetooth 통신, Wi-Fi 등)을 통해 다양한 다른 시스템 구성 요소와 통신할 수 있다. 음향 분석 도구 외부의 이러한 구성 요소는 예를 들어 컴퓨터, 스마트폰, 태블릿, 웨어러블 디바이스 등과 같은 외부 디바이스를 통해 제공될 수 있다. 추가적으로 또는 대안적으로, 음향 분석 도구와 관련하여 마스터 또는 슬레이브 디바이스로 작동하도록 구성된 다른 테스트 및 측정 또는 데이터 수집 도구는 음향 분석 도구 외부의 음향 분석 시스템의 다양한 구성 요소를 유사하게 제공할 수 있다. 외부 디바이스는 유선 및/또는 무선 연결을 통해 휴대용 음향 분석 도구와 통신할 수 있으며, 다양한 처리, 디스플레이 및/또는 인터페이스 단계를 수행하는 데 사용될 수 있다.
일부 실시예에서, 이러한 외부 디바이스는 휴대용 음향 분석 도구에 수용된 구성 요소와 같은 중복 기능을 제공할 수 있다. 예를 들어, 일부 실시예에서, 음향 분석 도구는 음향 이미지 데이터를 디스플레이하기 위한 디스플레이를 포함할 수 있고, 저장 및/또는 디스플레이를 위해 이미지 데이터를 외부 디바이스에 통신하도록 추가로 구성될 수 있다. 유사하게, 일부 실시예에서, 사용자는 음향 분석 도구 자체로 수행될 수 있는 하나 이상의 기능을 수행하기 위해 스마트 폰, 태블릿, 컴퓨터 등에서 실행되는 애플리케이션("앱")을 통해 음향 분석 도구와 인터페이싱할 수 있다.
도 3a는 음향 분석 시스템 내의 음향 센서 어레이의 예시적인 구성의 개략도이다. 예시된 예시에서, 음향 센서 어레이(302)는 복수의 제1 음향 센서 (흰색으로 표시됨) 및 복수의 제2 음향 센서(음영 처리됨)를 포함한다. 제1 음향 센서는 제1 어레이(320)에 배치되고, 제2 음향 센서는 제2 어레이(322)에 배치된다. 일부 예에서, 제1 어레이(320) 및 제2 어레이(322)는 음향 이미지 데이터를 생성하기 위한 음향 신호를 수신하기 위해 선택적으로 사용될 수 있다. 예를 들어, 일부 구성에서 특정 음향 센서 어레이의 특정 음향 주파수에 대한 감도는 음향 센서 요소 사이의 거리의 함수이다.
일부 구성에서, 센서 요소(예를 들어, 제2 어레이(322))는 서로 더 가깝게 이격되어 더 이격된 센서 요소(예를 들어, 제1 어레이 320)보다 고주파 음향 신호(예를 들어, 20kHz와 100kHz 사이의 초음파 신호와 같이 20kHz보다 큰 주파수를 갖는 소리)를 더 잘 해결할 수 있다. 유사하게, 추가로 이격된 센서 요소(예를 들어, 제1 어레이(320))는 보다 밀접하게 이격된 센서 요소(예를 들어, 제2 어레이(322))보다 저주파 음향 신호 (예를 들어, <20kHz)를 검출하는데 더 적합할 수 있다. 초 저주파 주파수(<20Hz), 가청 주파수(약 20Hz ~ 20kHz), 초음파 주파수 (20kHz ~ 100kHz)와 같은 다양한 주파수 범위의 음향 신호를 검출하기 위해 서로 이격된 센서 요소를 가지는 다양한 음향 센서 어레이가 제공될 수 있다.
일부 실시예에서, 특정 주파수 대역의 검출을 최적화하기 위해 부분 어레이 (예를 들어, 어레이(320)로부터의 모든 다른 음향 센서 요소)가 사용될 수 있다.
추가적으로, 일부 예에서, 일부 음향 센서 요소는 저주파 또는 고주파수와 같은 상이한 주파수 특성을 갖는 음향 신호를 검출하는데 더 적합할 수 있다. 따라서, 일부 실시예에서, 추가로 이격된 센서 요소를 갖는 제1 어레이(320)와 같은 저주파 음향 신호를 검출하도록 구성된 어레이는 저주파 음향 신호를 검출하기에 더 적합한 제1 음향 센서 요소를 포함할 수 있다. 유사하게, 제2 어레이(322)와 같은 고주파 음향 신호를 검출하도록 구성된 어레이는 고주파 음향 신호를 검출하기에 더 적합한 제2 음향 센서 요소를 포함할 수 있다. 따라서, 일부 예들에서, 음향 센서 요소들의 제1 어레이(320) 및 제2 어레이(322)는 상이한 유형의 음향 센서 요소들을 포함할 수 있다. 대안적으로, 일부 실시예에서, 제1 어레이(320) 및 제2 어레이(322)는 동일한 유형의 음향 센서 요소를 포함할 수 있다.
따라서, 예시적인 실시예에서, 음향 센서 어레이(302)는 제1 어레이(320) 및 제2 어레이(322)와 같은 복수의 음향 센서 요소 어레이를 포함할 수 있다. 일부 실시예에서, 어레이는 개별적으로 또는 조합하여 사용될 수 있다. 예를 들어, 일부 예들에서, 사용자는 음향 이미징 절차를 수행하기 위해 제1 어레이(320)를 사용하거나, 제2 어레이(322)를 사용하거나, 또는 제1 어레이(320)와 제2 어레이(322)를 동시에 사용하도록 선택할 수 있다. 일부 예들에서, 사용자는 사용자 인터페이스를 통해 사용될 어레이(들)를 선택할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 음향 분석 시스템은 수신된 음향 신호 또는 예상 주파수 범위 등과 같은 다른 입력 데이터의 분석에 기초하여 사용할 어레이(들)를 자동으로 선택할 수 있다. 일반적으로 직사각형 격자로 배치된 2 개의 어레이(제1 어레이(320) 및 제2 어레이(322))를 일반적으로 포함하는 도 3a에 도시된 구성 동안, 복수의 음향 센서 요소는 임의의 형상의 임의의 개수의 이산 어레이(discrete array)로 그룹화될 수 있음을 이해할 것이다. 더욱이, 일부 실시 예에서, 하나 이상의 음향 센서 요소는 동작을 위해 선택될 수 있는 다수의 별개의 어레이에 포함될 수 있다. 본 명세서의 다른 곳에서 기술된 바와 같이, 다양한 실시예에서, 장면으로부터 음향 이미지 데이터를 설정하기 위해 음향 신호를 역 전파하는 프로세스는 음향 센서 요소의 배치에 기초하여 수행된다. 따라서, 음향 센서의 배치는 음향 이미지 생성 기술을 수행하기 위해 프로세서에 의해 알려 지거나 그렇지 않으면 액세스 가능할 수 있다.
도 3a의 음향 분석 시스템은 음향 센서 어레이(302) 내에 위치된 거리 측정 도구(304) 및 카메라 모듈(306)을 더 포함한다. 카메라 모듈(306)은 전자기 이미징 도구(예를 들어, 203)의 카메라 모듈을 나타낼 수 있으며, 가시광 카메라 모듈, 적외선 카메라 모듈, 자외선 카메라 모듈 등을 포함할 수 있다. 또한, 도 3a에 도시되지는 않았지만, 음향 분석 시스템은 카메라 모듈(306)과 동일한 유형 또는 상이한 유형의 하나 이상의 추가 카메라 모듈을 포함할 수 있다. 예시된 예에서, 거리 측정 도구(304) 및 카메라 모듈(306)은 제1 어레이(320) 및 제2 어레이(322)의 음향 센서 요소의 격자 내에 위치된다. 제1 어레이(320) 및 제2 어레이(322) 내의 격자 사이트 사이에 배치되는 것으로 도시되긴 하였지만, 일부 실시 예에서, 하나 이상의 구성 요소(예를 들어, 카메라 모듈(306) 및/또는 거리 측정 도구(304))는 제1 어레이(320) 및/또는 제2 어레이(322)의 대응하는 하나 이상의 격자 사이트에 위치될 수 있다. 이러한 일부 실시예에서, 구성 요소(들)는 격자 배치에 따라 전형적으로 그러한 위치에 있을 음향 센서 요소 대신에 격자 사이트에 위치될 수 있다.
본 명세서의 다른 곳에서 기술된 바와 같이, 음향 센서 어레이는 임의의 다양한 구성으로 배치된 음향 센서 요소를 포함할 수 있다. 도 3b 및 도 3c는 예시적인 음향 센서 어레이 구성을 나타내는 개략도이다. 도 3b는 대략 정사각형 격자로 균일하게 이격된 복수의 음향 센서 요소를 포함하는 음향 센서 어레이(390)를 도시한다. 거리 측정 도구(314)와 카메라 어레이(316)는 음향 센서 어레이(390) 내에 위치된다. 예시된 예에서, 음향 센서 어레이(390)의 음향 센서 요소는 동일한 유형의 센서이지만, 일부 실시 예에서, 상이한 유형의 음향 센서 요소가 어레이(390)에서 사용될 수 있다.
도 3c는 복수의 음향 센서 어레이를 나타낸다. 음향 센서 어레이(392, 394, 396)는 각각 다른 형태의 어레이로 배치된 복수의 음향 센서 요소를 포함한다. 도 3c의 예에서, 음향 센서 어레이(392, 394, 396)는 다양한 크기의 센서 어레이를 생성하기 위해 개별적으로 또는 임의의 조합으로 함께 사용될 수 있다. 예시된 실시예에서, 어레이(396)의 센서 요소는 어레이(392)의 센서 요소보다 서로 더 가깝게 이격된다. 일부 예시들에서, 어레이(396)는 고주파 음향 데이터를 감지하도록 설계되는 반면, 어레이(392)는 저주파 음향 데이터를 감지하도록 설계된다.
다양한 실시예에서, 어레이(392, 394 및 396)는 동일하거나 상이한 유형의 음향 센서 요소를 포함할 수 있다. 예를 들어, 음향 센서 어레이(392)는 음향 센서 어레이(396)의 센서 소자보다 낮은 주파수 동작 범위를 갖는 센서 요소를 포함할 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 일부 예들에서, 상이한 음향 센서 어레이(예를 들어, 392, 394, 396)는 다양한 작동 모드(예를 들어, 이미지화 될 상이한 원하는 주파수 스펙트럼) 동안 선택적으로 꺼지고 켜질 수 있다. 추가적으로 또는 대안적으로, 다양한 음향 센서 요소(예를 들어, 하나 이상의 센서 어레이 내의 음향 센서 요소의 일부 또는 전부)는 원하는 시스템 동작에 따라 인에이블(enabled) 또는 디스에이블(disabled) 될 수 있다. 예를 들어, 일부 음향 이미징 프로세스에서 많은 수의 센서 요소(예를 들어, 센서 어레이(396)와 같이 고밀도로 배치된 센서 요소)의 데이터가 음향 이미지 데이터 해상도를 약간 향상시키는 반면, 각 센서 요소에서 수신된 데이터로부터 음향 이미지 데이터를 추출하는데 필요한 처리 비용이 발생한다. 즉, 일부 예들에서, (예를 들어, 많은 수의 음향 센서 요소들로부터의) 다수의 입력 신호를 처리하는데 필요한 증가된 처리 요구 (예를 들어, 비용, 처리 시간, 전력 소비 등)는 추가 데이터 스트림에 의해 제공되는 임의의 추가 신호 해상도와 부정적으로 비교된다. 따라서, 일부 실시예에서 원하는 음향 이미징 동작에 따라 하나 이상의 음향 센서 요소로부터의 데이터를 디스에이블하거나 무시하는 것이 가치가 있을 수 있다.
도 3a 내지 도 3b의 시스템과 유사하게, 도 3c는 음향 센서 어레이(392, 394, 396) 내에 위치한 거리 측정 도구(314) 및 카메라 어레이(316)를 포함한다. 일부 예에서, (예를 들어, 카메라 어레이(316)로부터 전자기 스펙트럼의 상이한 부분을 이미징하는 데 사용되는) 추가 카메라 어레이와 같은 추가 구성 요소는 음향 센서 어레이 (392, 394 및 396) 내에 유사하게 위치될 수 있다. 도 3a 내지 도 2c에 도시된 하나 이상의 음향 센서 어레이 내에 위치된 바와 같이, 거리 측정 도구 및/또는 하나 이상의 이미징 도구 (예를 들어, 가시광 카메라 모듈, 적외선 카메라 모듈, 자외선 센서 등)는 음향 센서 어레이 외부에 위치될 수 있다는 것을 이해할 것이다.
이러한 일부 예시에서, 음향 센서 어레이(들) 외부에 위치된 거리 측정 도구 및/또는 하나 이상의 이미징 도구는, 음향 이미징 도구, 예를 들어 음향 센서 어레이(들)를 수용하는 하우징에 의해 지원되거나, 또는 음향 이미지 도구의 하우징 외부에 위치될 수 있다.
일부 예들에서, 음향 센서 어레이 및 카메라 모듈과 같은 이미징 도구의 일반적인 오정렬은 음향 센서 어레이 및 이미징 도구에 의해 생성된 해당 이미지 데이터의 오정렬로 이어질 수 있다. 도 4a는 가시광 이미지 데이터 및 음향 이미지 데이터의 프레임 생성 시 시차 에러의 개략도를 도시한다. 일반적으로 시차 에러는 수직, 수평 또는 둘 다일 수 있다. 예시된 실시예에서, 음향 센서 어레이(420) 및 이미징 도구는 가시광 카메라 모듈(406)을 포함한다. 가시광 이미지 프레임(440)은 가시광 카메라 모듈(406)의 시야(441)에 따라 캡처되는 것으로 도시되고, 음향 이미지 프레임(450)은 음향 센서 어레이(420)의 시야(451)에 따라 캡처되는 것으로 도시된다.
도시된 바와 같이, 가시광 이미지 프레임(440)과 음향 이미징 프레임(450)은 서로 정렬되지 않는다. 일부 실시예에서, 프로세서(예를 들어, 도 2의 프로세서(212))는 가시광 이미지 데이터 및 음향 이미지 데이터를 정렬하기 위해 가시광 이미지 프레임(440) 및 음향 이미지 프레임(450) 중 하나 또는 둘 다를 조작하도록 구성된다. 이러한 조작은 하나의 이미지 프레임을 다른 프레임에 대해 이동시키는 것을 포함할 수 있다. 이미지 프레임이 서로에 대해 이동되는 양은, 예를 들어 가시광 카메라 모듈(406) 및/또는 음향 센서 어레이(420)로부터 목표까지의 거리를 포함하는 다양한 요인에 기초하여 결정될 수 있다. 이러한 거리 데이터는, 예를 들어 거리 측정 도구(404)를 사용하거나 사용자 인터페이스(예를 들어, 216)를 통해 거리값을 수신하여 결정될 수 있다.
도 4B는 도 4a와 유사한 개략도이나, 장면의 가시광 이미지를 포함한다. 도 4b의 예에서, 가시광 이미지(442)는 복수의 전력선과 지지 타워의 장면을 도시한다. 음향 이미지(452)는 그러한 위치로부터 오는 높은 크기의 음향 데이터를 나타내는 복수의 위치(454, 456, 458)를 포함한다. 도시된 바와 같이, 가시광 이미지(442) 및 음향 이미지(452)는 모두 동시에 디스플레이된다. 그러나, 두 이미지의 관찰은 가시광 이미지(442)의 임의의 특정 구조와 일치하지 않는 것으로 보이는 위치(458)에서 적어도 하나의 음향 이미지의 국부적 최대치(local maximum)를 도시한다. 따라서, 두 이미지를 모두 관찰하는 사람은 음향 이미지(452)와 가시광 이미지(442) 사이에 오정렬(예를 들어, 시차 에러)이 있다는 결론을 내릴 수 있다.
도 5a 및 도 5b는 가시광 이미지와 음향 이미지 간의 시차 에러를 도시한다. 도 4b와 유사하게, 도 5a는 가시광 이미지 (542) 및 음향 이미지 (552)를 도시한다. 음향 이미지(552)는 위치 554, 556 및 558에서 국부적 최대치를 포함한다. 볼 수 있는 바와 같이, 위치 554 및 558의 최대값은 가시광 이미지의 어떤 구조와도 일치하지 않는 것으로 보인다. 도 5b의 예에서. 가시광 이미지(542)와 음향 이미지(552)는 서로에 대해 등록된다. 음향 이미지의 위치 554, 556 및 558에서의 국부적 최대치는 이제 가시광 이미지(542) 내의 다양한 위치와 일치하는 것으로 보인다.
사용 중에, 운영자는 (예를 들어, 디스플레이 (214)를 통해) 도 5b의 표현을 볼 수 있으며, 수신된 음향 신호의 소스일 가능성이 있는 가시적 장면(542)에서 대략적인 위치를 결정할 수 있다. 이러한 신호는 장면에서 다양한 구성 요소의 음향 시그니처에 관한 정보를 결정하기 위해 추가로 처리될 수 있다. 다양한 실시 예에서, 주파수 콘텐츠, 주기성, 진폭 등과 같은 음향 파라미터는 음향 이미지의 다양한 위치에 대해 분석될 수 있다. 이러한 파라미터가 다양한 시스템 구성 요소와 연관될 수 있도록, 가시광 데이터에 오버레이될 때, 음향 이미지 데이터는 가시광 이미지에서 객체의 다양한 속성(예를 들어, 성능 특성)을 분석하는 데 사용될 수 있다.
도 5c 및 5d는 도 5a 및 도 5b의 색상화된 버전이다. 도 5a 및 도 5b에 도시 된 바와 같이, 더 쉽게는 도 5c 및 5d의 색상화된 표현에서 볼 수 있듯이, 위치 554, 556 및 558은 색상의 원형 기울기를 도시한다. 본 명세서의 다른 곳에서 설명 된 바와 같이, 음향 이미지 데이터는 음향 이미지 데이터의 각 픽셀이 대응하는 위치의 음향 세기에 기초하여 색상화되는 팔레타이징 방식(palettization scheme)에 따라 시각적으로 표현 될 수 있다. 따라서, 도 5a 내지 5d의 예시적인 표현에서, 위치(554, 556, 558)의 원형 기울기는 일반적으로 역전파된 수신 음향 신호에 기초한 이미징 평면의 음향 세기의 기울기를 나타낸다.
도 4a, 4b, 5a-5d의 예시적인 설명은 음향 이미지 데이터 및 가시광 이미지 데이터에 대해 기술되며, 이러한 프로세스는 다양한 전자기 이미지 데이터로 유사하게 수행될 수 있다는 것이 이해될 것이다. 예를 들어, 본 명세서의 다른 곳에서 설명된 바와 같이, 다양한 실시예에서, 다양한 이러한 프로세스는 음향 이미지 데이터와 가시광 이미지 데이터, 적외선 이미지 데이터, 자외선 이미지 데이터 등 중 하나 이상의 조합을 사용하여 수행될 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 음향 이미지를 형성하기 위한 음향 신호의 역전파는 목표 값까지의 거리에 기초될 수 있다. 즉, 일부 예시들에서, 역전파 계산은 거리에 기초할 수 있고, 음향 센서 어레이로부터 그 거리에 위치된 2 차원 음향 장면을 결정하는 것을 포함할 수 있다. 2 차원 이미징 평면이 주어지면, 평면의 소스로부터 나오는 구형 음파는 일반적으로 단면이 원형으로 나타나고, 도 5a 및 도 5b에 도시된 바와 같이 세기에서 방사형 감쇠가 있다.
이러한 일부 예시들에서, 역전파 계산에 사용되는 거리-목표(distance-to-target)에 위치되지 않는 데이터를 나타내는 음향 장면의 일부는, 장면에서 하나 이상의 소리의 위치의 부정확성과 같은 음향 이미지 데이터의 에러를 초래할 것이다. 이러한 에러는 음향 이미지가 다른 이미지 데이터 (예를 들어, 가시광, 적외선 또는 자외선 이미지 데이터와 같은 전자기 이미지 데이터)와 동시에 디스플레이될 때(예를 들어, 블랜딩, 결합 등), 음향 이미지 데이터 및 기타 이미지 데이터 사이의 시차 에러를 일으킬 수 있다. 따라서, 일부 실시예에서, (예를 들어, 도 5a 및 5b에 도시된 바와 같이) 시차 에러를 보정하기 위한 일부 기술은 음향 이미지 데이터를 생성하기 위한 역 전파 계산에 사용되는 거리-목표값을 조정하는 것을 포함한다.
일부 경우에, 시스템은 제1 거리-목표 값을 사용하여 역전파 프로세스를 수행하고, 그리고 음향 이미지 데이터와 다른 데이터 스트림이 정렬되지 않을 수 있는 도 5a에 도시된 것과 같은 디스플레이 이미지를 디스플레이하도록 구성될 수 있다. 그 후, 음향 분석 시스템은 역전파에 사용되는 거리-목표 값을 조정하고 역 전파를 다시 수행하고 새로운 음향 이미지 데이터로 디스플레이 이미지를 업데이트 할 수 있다. 이 프로세스는, 사용자가 디스플레이에서 결과 디스플레이 이미지를 관찰하는 동안 음향 분석 시스템이 복수의 거리-목표 값을 순환하는 것과 함께 반복할 수 있다. 거리-목표 값이 변경하는 것에 따라, 사용자는 도 5b에 도시된 디스플레이 이미지로부터 도 5에 도시된 디스플레이 이미지로의 점진적인 전환을 관찰할 수 있다. 이러한 경우에, 사용자는 음향 이미지 데이터가 전자기 이미지 데이터와 같은 다른 데이터 스트림에 적절하게 등록된 것처럼 보일 때 시각적으로 관찰할 수 있다. 사용자는 음향 이미지 데이터가 적절하게 등록된 것처럼 보인다는 신호를 음향 분석 시스템에 보낼 수 있는데, 이 신호는 가장 최근의 역 전파를 수행하는데 사용된 거리-목표값이 대략적으로 정확하고, 해당 거리값을 정확한 거리-목표값으로 메모리에 저장할 수 있다는 것을 시스템에 알린다. 유사하게, 사용자는 음향 이미지 데이터가 적절하게 등록된 것을 관찰할 때까지 업데이트된 역전파 프로세스에서 새로운 거리 값을 사용하여 디스플레이 이미지가 업데이트됨에 따라 수동으로 거리-목표 값을 조정할 수 있다. 사용자는 음향 분석 시스템에 현재 목표까지의 거리를 현재 거리-목표로 저장하도록 선택할 수 있다.
일부 예시들에서, 시차 에러를 보정하는 것은 다른 이미지 데이터(예를 들어, 전자기 이미지 데이터)에 대한 음향 이미지 데이터의 위치를 미리 결정된 양만큼 그리고 거리-목표 데이터에 기초하여 미리 결정된 방향으로 조정하는 것을 포함할 수 있다. 일부 실시예에서, 이러한 조정은 음향 신호를 식별된 거리-목표로 역 전파함으로써 음향 이미지 데이터를 생성하는 것과는 독립적이다.
일부 실시예에서, 음향 이미지 데이터를 생성하고 음향 이미지 데이터와 다른 이미지 데이터 사이의 시차 에러를 감소시키는 데 사용되는 것 외에도, 거리-목표 값이 다른 결정을 위해 사용될 수 있다. 예를 들어, 일부 예들에서, 프로세서 (예를 들어, 212)는 미국 특허 번호 7,538,326에 기술된 바와 같이 적외선 이미지와 같은 이미지에 초점을 맞추거나 사용자가 초점을 맞추는 것을 돕기 위해 목표 값까지 거리를 사용할 수 있으며, 이는 원용에 의해 전체로서 본원에 포함된다. 여기에 기술된 바와 같이, 이것은 가시광 이미지 데이터와 적외선 이미지 데이터 사이의 시차 에러를 보정하기 위해 유사하게 사용될 수 있다. 따라서, 일부 예에서, 적외선 이미지 데이터 및 가시광 이미지 데이터와 같은 전자기 이미징 데이터에 음향 이미지 데이터를 등록하기 위해 거리 값이 사용될 수 있다.
본원의 다른 곳에서 설명 된 바와 같이, 일부 예시에서, 거리 측정 도구(예를 들어, 204)는 음향 이미지 데이터를 생성하고 등록하기 위해 프로세서(예를 들어, 212)에 의해 사용될 수 있는 거리 정보를 제공하도록 구성된다. 일부 실시 예에서, 거리 측정 도구는 거리가 측정되는 위치에서 목표 장면 상으로 광을 방출하도록 구성된 레이저 거리 측정기를 포함한다. 이러한 일부 예에서, 레이저 거리 측정기는 가시 스펙트럼에서 광을 방출할 수 있으므로, 사용자는 거리 측정기가 장면의 원하는 부분까지의 거리를 측정하는지 보장하기 위해 물리적 장면에서 레이저 스폿을 볼 수 있다. 추가적으로 또는 대안적으로, 레이저 거리 측정기는 하나 이상의 이미징 구성 요소 (예를 들어, 카메라 모듈)가 민감한 스펙트럼에서 광을 방출하도록 구성된다. 따라서, 분석 도구(예를 들어, 디스플레이 (214)를 통해)를 통해 목표 장면을 보는 사용자는 레이저가 표적 장면에서 정확한 위치까지의 거리를 측정하고 있음을 보장하기 위해 장면에서 레이저 스폿을 관찰할 수 있다. 일부 예들에서, 프로세서(예를 들어, 212)는 (예를 들어, 레이저 거리 측정기와 음향 센서 어레이 사이의 알려진 거리 기반 시차 관계에 기초하여) 현재 거리 값에 기초하여 디스플레이된 이미지에서 레이저 스폿이 음향 장면에 위치될 위치를 나타내는 참조 마크를 생성하도록 구성될 수 있다. 참조 마크 위치는 실제 레이저 마크의 위치와 비교될 수 있으며 (예를 들어, 디스플레이에서 그래픽적으로 및/또는 목표 장면에서 물리적으로), 장면은 참조 마크와 레이저가 일치할 때까지 조정될 수 있다. 이러한 프로세스는 미국 특허 번호 제7,538,326호에 기술된 적외선 등록 및 초점 기술과 유사하게 수행될 수 있으며, 이는 원용에 의해 그 전체로서 본원에 포함된다.
도 6은 음향 이미지 데이터와 전자기 이미지 데이터를 결합한 최종 이미지를 생성하기 위한 예시적인 방법을 보여주는 프로세스 흐름도이다. 본 방법은 음향 센서 어레이를 통해 음향 신호를 수신(680)하는 단계 및 거리 정보를 수신 (682)하는 단계를 포함한다. 거리 정보는, 예를 들어, 거리 측정 디바이스 및/또는 사용자 인터페이스를 통해, 예를 들어 수동 입력을 통해 또는 관찰된 등록에 기초하여 거리가 결정되는 거리 조정 프로세스의 결과로서 수신될 수 있다.
방법은 음향 장면을 나타내는 음향 이미지 데이터를 결정하기 위해 수신된 음향 신호를 역 전파(684)하는 단계를 더 포함한다. 본 명세서의 다른 곳에서 설명된 바와 같이, 역전파는 수신된 음향 신호의 소스 패턴을 결정하기 위해 수신된 거리 정보와 결합하여 음향 센서 어레이의 복수의 센서 요소에서 수신된 복수의 음향 신호를 분석하는 것을 포함할 수 있다.
도 6의 방법은 전자기 이미지 데이터를 캡처(686)하는 단계, 및 전자기 이미지 데이터에 음향 이미지 데이터를 등록(688)하는 단계를 더 포함한다. 일부 실시예에서, 전자기 이미지 데이터에 음향 이미지 데이터를 등록하는 단계는 음향 이미지 데이터를 생성하기 위한 역전파 단계의 일부로서 수행(684)된다. 다른 예들에서, 전자기 이미지 데이터에 음향 이미지 데이터를 등록하는 것은 음향 이미지 데이터의 생성과는 별개로 수행된다.
도 6의 방법은 디스플레이 이미지를 생성하기 위해 음향 이미지 데이터와 전자기 이미지 데이터를 결합(690)하는 단계를 포함한다. 본 명세서의 다른 곳에서 설명된 바와 같이, 전자기 이미지 데이터와 음향 이미지 데이터를 결합하는 것은 전자기 이미지 데이터와 음향 이미지 데이터를 알파 블렌딩하는 것을 포함할 수 있다. 이미지 데이터를 결합하는 것은 PIP 모드 또는 특정 조건(예를 들어, 경보 조건)이 충족되는 위치에서와 같이 하나의 이미지 데이터 세트를 다른 것 위에 오버레이하는 것을 포함할 수 있다. 디스플레이 이미지는, 예를 들어, 음향 센서 어레이를 지지하는 하우징에 의해 지지되는 디스플레이 및/또는 외부 디바이스(예를 들어, 스마트 폰, 태블릿, 컴퓨터 등)의 디스플레이와 같은 센서 어레이와 분리된 디스플레이를 통해 사용자에게 제공될 수 있다.
추가적으로 또는 대안적으로, 디스플레이 이미지는 나중에 볼 수 있도록 로컬(예를 들어, 온-보드) 메모리 및/또는 원격 메모리에 저장될 수 있다. 일부 실시예에서, 저장된 디스플레이 이미지는 블렌딩 비율, 역전파 거리 또는 이미지를 생성하는데 사용되는 다른 파라미터와 같은 디스플레이 이미지 속성의 향후 조정을 허용하는 메타 데이터를 포함할 수 있다. 일부 예에서, 원시 음향 신호 데이터(raw acoustic signal data) 및/또는 전자기 이미지 데이터는 후속 처리 또는 분석을 위해 디스플레이 이미지와 함께 저장될 수 있다.
음향 이미지 데이터와 전자기 이미지 데이터를 결합하여 최종 이미지를 생성하는 방법으로 도시하였으나, 도 6의 방법은 가시광 이미지 데이터, 적외선 이미지 데이터, 자외선 이미지 데이터 등과 같은 전자기 스펙트럼의 임의의 부분에 걸쳐있는 하나 이상의 이미지 데이터 세트와 음향 이미지 데이터를 결합하는 데 사용될 수 있다는 것이 이해될 것이다. 이러한 일부 예시에서, 가시광 이미지 데이터 및 적외선 이미지 데이터와 같은 다수의 이미지 데이터 세트는 둘 다 음향 이미지 데이터와 결합되어 도 6에 대해 기술된 것과 유사한 방법을 통해 디스플레이 이미지를 생성할 수 있다.
일부 예시들에서, 센서 어레이를 통해 음향 신호를 수신하는 단계(680)는 음향 신호를 수신할 음향 센서 어레이를 선택하는 단계를 포함할 수 있다. 예를 들어, 도 3a 내지 도 3c에 대해 기술된 바와 같이, 음향 분석 시스템은 다양한 주파수의 음향 신호 분석에 적합할 수 있는 복수의 음향 센서 어레이를 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 예시에서 상이한 음향 센서 어레이는 상이한 거리에서 전파되는 음향 신호를 분석하는 데 유용할 수 있다. 일부 실시 예에서, 상이한 어레이는 서로 내부에 끼워넣어질(nested) 수 있다. 추가적으로 또는 대안적으로, 부분 어레이는 음향 이미지 신호를 수신하기 위해 선택적으로 사용될 수 있다.
예를 들어, 도 3a는 제1 어레이(320) 및 제1 어레이 내에 끼워넣어진 제 2 어레이(322)를 도시한다. 예시적인 실시예에서, 제1 어레이(320)는 음향 신호를 수신하고 제1 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하도록 구성된 (예를 들어, 이격된) 센서 어레이를 포함할 수 있다. 제2 어레이(322)는, 예를 들어, 제2 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하기 위해 단독으로 또는 제1 어레이(320)의 전부 또는 일부와 조합하여 사용되도록 구성된 제 2 센서 어레이를 포함할 수 있다.
유사하게, 도 3c는 제 1 어레이(392), 제 1 어레이(392) 내에 적어도 부분적으로 끼워넣어진 제 2 어레이(394), 및 제 1 어레이(392) 및 제 2 어레이 (394) 내에 적어도 부분적으로 끼워넣어진 제 3 어레이(396)를 도시한다. 일부 실시예에서, 제 1 어레이(392)는 음향 신호를 수신하고 제 1 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하도록 구성될 수 있다. 제 2 어레이 (394)는 음향 신호를 수신하고 제 2 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하기 위해 제 1 어레이 (392)의 전부 또는 일부와 함께 사용될 수 있다. 제 3 어레이 (396)는 제 2 어레이 (394)의 전부 또는 일부와 함께, 및/또는 음향 신호를 수신하고 제 3 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하기 위해 제 1 어레이 (392)의 전부 또는 일부와 함께 단독으로 사용될 수 있다.
일부 실시예에서, 끼워넣어진 어레이 구성에서, 하나의 어레이로부터의 음향 센서 요소는 일반적으로 제 1 어레이(392)의 요소 사이에 있는 제 3 어레이 (396)의 요소와 같이 음향 센서 요소 사이에 위치될 수 있다. 이러한 일부 예들에서, 끼워넣어진 어레이(예를 들어, 제 3 어레이(396))의 음향 센서 요소들은 그것이 끼워넣어지는 어레이(예를 들어, 제1 어레이(392))의 음향 센서 요소들과 동일한 평면에, 앞 또는 뒤에 위치될 수 있다.
다양한 구현에서, 고주파 음향 신호를 감지하는데 사용되는 어레이는 일반적으로 개별 센서 사이에 더 짧은 거리를 필요로 한다. 따라서, 도 3c와 관련하여, 예를 들어, 제 3 어레이(396)는 고주파 음향 신호를 포함하는 음향 이미징 프로세스를 수행하기에 더 적합할 수 있다. 다른 센서 어레이 (예를 들어, 제 1 어레이(392))는 저주파 신호를 포함하는 음향 이미징 프로세스를 수행하기에 충분할 수 있으며, 어레이(396)와 비교할 때 더 적은 수의 음향 센서 요소로부터 신호를 처리하는 컴퓨팅 요구를 감소시키기 위해 사용될 수 있다. 따라서, 일부 예에서, 고주파 센서 어레이는 저주파 센서 어레이 내에 끼워넣어질 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 그러한 어레이는 일반적으로 개별적으로 (예를 들어, 활성 어레이 사이의 스위칭을 통해) 또는 함께 작동될 수 있다.
분석을 위해 예상/원하는 주파수 스펙트럼에 기초하여 적절한 센서 어레이를 선택하는 것에 추가로 또는 대안적으로, 일부 예시들에서, 상이한 센서 어레이가 목표 장면에 대한 상이한 거리에서 음향 이미징 프로세스를 수행하기에 더 적합할 수 있다. 예를 들어, 일부 실시예에서 음향 센서 어레이와 목표 장면 사이의 거리가 작으면 음향 센서 어레이의 외부 센서 요소는 더 중앙에 위치한 센서 요소보다 목표 장면으로부터 훨씬 덜 유용한 음향 정보를 수신할 수 있다.
한편, 음향 센서 어레이와 대상 장면 사이의 거리가 먼 경우, 근접한 음향 센서 요소는 별도로 유용한 정보를 제공하지 못할 수 있다. 즉, 제 1 음향 센서 요소와 제 2 음향 센서 요소가 서로 가깝고 대상 장면이 일반적으로 먼 경우, 제 2 음향 센서 요소는 제 1 음향 센서 요소와 상이한 의미있는 임의의 정보를 제공하지 않을 수 있다. 따라서, 이러한 제 1 및 제 2 센서 요소로부터의 데이터 스트림은 중복될 수 있고 분석을 위한 처리 시간 및 리소스를 불필요하게 소비할 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 어떤 센서 어레이가 음향 이미징을 수행하는데 가장 적합할 수 있는지에 영향을 미치는 것 외에도, 수신된 음향 신호로부터 음향 이미지 데이터를 결정하기 위해 역전파를 수행하는데 목표까지의 거리가 사용될 수 있다. 그러나, 역전파 알고리즘에 대한 입력 값인 것 외에도 거리-목표는 사용할 적절한 역전파 알고리즘을 선택하기 위해 사용될 수 있다. 예를 들어, 일부 예들에서, 먼 거리에서, 구형 전파 음파(spherically-propagating sound waves)는 음향 센서 어레이의 크기에 비해 실질적으로 평면인 것으로 근사화될 수 있다. 따라서, 일부 실시예에서, 거리-목표가 멀 때, 수신된 음향 신호의 역전 파는 음향 빔 포밍 계산(acoustic beamforming calculation)을 포함할 수 있다. 그러나 음파의 소스에 가까우면 음파의 평면 근사가 적절하지 않을 수 있다. 따라서, 근거리 음향 홀로그래피와 같은 다른 역 전파 알고리즘이 사용될 수 있다.
설명된 바와 같이, 거리-목표 메트릭은 능동 센서 어레이(들) 결정, 역 전파 알고리즘 결정, 역 전파 알고리즘 수행, 및/또는 전자기 이미지 데이터 (예를 들어, 가시광, 적외선 등)로 결과 음향 이미지를 등록하는 것과 같은 음향 이미징 프로세스에서 다양한 방식으로 사용될 수 있다.
도 7은 수신된 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 예시적인 프로세스를 보여주는 프로세스 흐름도이다. 도 7은, 예를 들어, 거리 측정 디바이스로부터 거리 정보를 수신(780) 하거나 사용자 인터페이스를 통하는 것과 같이 입력된 거리 정보를 포함한다. 상기 방법은 수신된 거리 정보에 기초하여 음향 이미징을 수행하기 위한 하나 이상의 음향 센서 어레이(들)를 선택(782)하는 단계를 더 포함한다. 설명된 바와 같이, 다양한 예에서, 선택된 어레이(들)는 단일 어레이, 다중 어레이의 조합, 또는 하나 이상의 어레이의 일부를 포함할 수 있다.
도 7은 수신된 거리 정보에 기초하여 음향 이미징을 수행하기 위한 처리 방식을 선택하는 단계(784)를 더 포함한다. 일부 예시들에서, 처리 방식을 선택하는 것은 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 역 전파 알고리즘을 선택하는 것을 포함할 수 있다.
음향 이미징을 수행하기 위한 음향 센서 어레이를 선택하고(782) 및 처리 방식을 선택(784)한 후, 방법은 선택된 음향 센서 어레이를 통해 음향 신호를 수신하는 단계(786)를 포함한다. 이후, 수신된 음향 신호는 음향 이미지 데이터를 결정하기 위해 거리 및 선택된 처리 방식을 사용하여 역 전파(788)된다.
다양한 실시예에서, 도 7의 단계는 사용자, 음향 분석 시스템(예를 들어, 프로세서(212)를 통해), 또는 이들의 조합에 의해 수행될 수 있다. 예를 들어, 일부 실시예에서, 프로세서는 거리 측정 도구 및/또는 사용자 입력을 통해 거리 정보(780)를 수신하도록 구성될 수 있다. 일부 예시에서, 사용자는 거리 정보로 사용할 측정된 거리를 무시(override)하는 값을 입력할 수 있는데, 예를 들어, 만일 물체까지의 거리가 알려져 있고 및/또는 거리 측정 도구를 통해 분석하기 어려운 경우 (예를 들어, 작은 물체 크기 및/또는 목표까지의 먼 거리 등)가 있을 수 있다.
프로세서는, 예를 들어 룩업 테이블 또는 다른 데이터베이스를 사용하여 수신된 거리 정보에 기초하여 음향 이미징을 수행하기 위한 적절한 음향 센서 어레이를 자동으로 선택하도록 추가로 구성될 수 있다. 일부 실시예에서, 음향 센서 어레이를 선택하는 것은 원하는 음향 센서 어레이를 달성하기 위해 하나 이상의 음향 센서 요소를 인에이블 및/또는 디스에이블하는 것을 포함한다.
유사하게, 일부 예시들에서, 프로세서는 수신된 거리 정보에 기초하여 음향 이미징을 수행하기 위한 처리 방식(예를 들어, 역 전파 알고리즘)을 자동으로 선택하도록 구성될 수 있다. 이러한 일부 예에서, 이것은 메모리에 저장된 복수의 공지된 처리 방식으로부터 하나를 선택하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 처리 방식을 선택하는 것은 원하는 처리 방식에 도달하도록 단일 알고리즘의 부분을 조정하는 것에 해당할 수 있다. 예를 들어, 일부 실시예에서, 단일 역전파 알고리즘은 (예를 들어, 거리 정보에 기초하여) 복수의 용어 및 변수를 포함할 수 있다. 이러한 일부 예시들에서, 처리 방식을 선택(784)하는 것은 하나 이상의 항에 대한 계수를 조정하는 것(예를 들어, 다양한 계수를 0 또는 1로 설정하는 것 등)과 같은 단일 알고리즘에서 하나 이상의 값을 정의하는 것을 포함할 수 있다.
따라서, 일부 실시예에서, 음향 이미징 시스템은 수신된 거리 데이터에 기초한 처리 방식(예를 들어, 역 전파 알고리즘) 및/또는 선택된 음향 센서 어레이 를 제안함으로써 및/또는 자동으로 구현함으로써 음향 이미징 프로세스의 여러 단계를 자동화할 수 있다. 이를 통해 음향 이미징 프로세스를 가속화, 개선 및 단순화하여 음향 이미징 프로세스를 수행하기 위한 음향 이미징 전문가의 요구 사항을 제거할 수 있다. 따라서, 다양한 예들에서, 음향 이미징 시스템은 이러한 파라미터를 자동으로 구현하고, 이러한 파라미터가 구현될 예정임을 사용자에게 알리고, 사용자에게 이러한 파라미터를 구현할 권한을 요청하고, 사용자가 수동으로 입력할 수 있도록 이러한 파라미터를 제안하는 등의 작업을 수행할 수 있다.
이러한 파라미터(예를 들어, 처리 방식, 센서 어레이)의 자동 선택 및/또는 제안은 다른 형태의 이미지 데이터, 처리 속도 및 음향 이미지 데이터의 분석과 관련하여 음향 이미지 데이터의 위치를 최적화하는데 유용할 수 있다. 예를 들어, 본 문서의 다른 곳에서 설명된 바와 같이, 정확한 역 전파 결정(예를 들어, 적절한 알고리즘 및/또는 정확한 거리 메트릭(metric) 사용)은 음향 이미지 데이터와 기타 (예를 들어, 가시광, 적외선 등) 이미지 데이터 사이의 시차 에러를 감소시킬 수 있다. 또한, 음향 분석 시스템에 의해 자동으로 선택되거나 제안될 수 있는 적절한 알고리즘 및/또는 센서 어레이를 이용하는 것은 열 이미지 데이터의 정확도를 최적화할 수 있어서, 수신된 음향 데이터의 분석을 가능하게 한다.
설명된 바와 같이, 일부 예시들에서, 음향 분석 시스템은 수신된 거리 정보에 기초하여 음향 이미징 프로세스를 수행하기 위한 알고리즘 및/또는 센서 어레이를 자동으로 선택하도록 구성될 수 있다. 이러한 일부 실시예에서, 시스템은 음향 이미지 데이터를 결정하기 위해 사용할 복수의 역전파 알고리즘 및 음향 센서 어레이를 결정하기 위해, 예를 들어 메모리에 저장된 룩업 테이블을 포함한다. 도 8은 음향 이미징 프로세스 동안 사용하기 위한 적절한 알고리즘 및 센서 어레이를 결정하기 위한 예시적인 룩업 테이블을 도시한다.
예시된 예시에서, 도 8의 룩업 테이블은 어레이 1, 어레이 2, …, 어레이 N과 같은 서로 다른 어레이를 나타내는 N 개의 칼럼을 포함한다. 다양한 예에서, 각 어레이는 배치된 고유한 음향 센서 요소의 세트를 포함한다. 상이한 어레이는 격자로 배치된 센서 요소(예를 들어, 도 3c의 어레이(392) 및 어레이(396))를 포함할 수 있다. 룩업 테이블 내의 어레이는 또한 하나 이상의 그러한 격자로부터의 센서 요소의 조합을 포함할 수 있다. 일반적으로, 일부 실시예에서, 어레이 1, 어레이 2, …, 어레이 N 각각은 음향 센서 요소의 고유한 조합에 대응한다. 이러한 조합 중 일부는 특정 격자에 배치된 센서 요소의 전체 세트를 포함할 수 있거나, 또는 특정 격자에 배치된 센서 요소의 서브 세트를 포함할 수 있다. 음향 센서 요소의 임의의 다양한 조합은 룩업 테이블에서 센서 어레이로 사용할 수 있는 가능한 옵션이다.
도 8의 룩업 테이블은 알고리즘 1, 알고리즘 2, …, 알고리즘 M과 같은 서로 다른 알고리즘을 나타내는 M 개의 로우를 더 포함한다. 일부 예시에서, 상이한 알고리즘은 수신된 음향 신호의 역 전파 분석을 수행하기 위한 상이한 프로세스를 포함할 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 일부 예에서, 일부 상이한 알고리즘은 역 전파 결과를 수정하기 위한 상이한 계수 및/또는 항을 갖는 동안 서로 유사할 수 있다.
도 8의 예시적인 룩업 테이블은 M × N 항목을 포함한다. 일부 실시예에서, 이러한 룩업 테이블을 이용하는 음향 분석 시스템은 수신된 거리 정보를 분석하고 거리 정보를 M × N 빈들(bins) 중 하나로 분류하도록 구성되며, 여기서 각각의 빈은 도 8의 룩업 테이블의 항목에 대응한다. 이러한 예시에서, 음향 분석 시스템이 거리 정보를 수신하는 경우, 시스템은 거리 정보가 있는 빈에 대응하는 룩업 테이블에서 항목(i, j)을 찾을 수 있고, 음향 이미징 프로세스 동안 사용할 적절한 알고리즘 및 센서 어레이를 결정할 수 있다. 예를 들어, 수신된 거리 정보가 항목(i, j)와 연관된 빈에 대응하는 경우 음향 분석 시스템은 음향 이미징 프로세스를 위해 알고리즘 i 및 어레이 j를 사용하여 자동으로 이용하거나 제안할 수 있다.
이러한 다양한 예시들에서, 거리 정보 빈은 균일한 크기의 거리 범위에 대응할 수 있으며, 예를 들어, 1 피트 내의 거리에 대응하는 제 1 빈, 1 피트와 2 피트 사이의 거리에 대응하는 제 2 빈 등이 있다. 다른 예시에서, 빈은 균일한 크기의 거리 폭(span)에 대응할 필요가 없다. 추가적으로, 일부 실시예에서, M × N보다 적은 빈이 사용될 수 있다. 예를 들어, 일부 실시예에서, 특정 어레이 (예를 들어, 어레이 y)와 함께 사용되지 않는 알고리즘 (예를 들어, 알고리즘 x)이 있을 수 있다. 따라서, 그러한 예시에서, M × N 룩업 테이블의 항목(x, y)에 대응하는 거리 정보 빈은 없을 것이다.
일부 실시예에서, 채워진 거리 빈에 대한 통계적 분석은 목표 장면 내에서 가장 일반적인 거리 또는 거리 범위를 식별하는 데 사용될 수 있다. 이러한 일부 실시예에서, 가장 높은 개수의 대응 위치 (예를 들어, 음향 신호를 갖는 가장 높은 개수의 위치)를 갖는 거리 빈은 도 7의 프로세스에서 거리 정보로서 사용될 수 있다. 즉, 일부 실시 예에서, 이용되는 음향 센서 어레이 및/또는 처리 방식은 목표 장면에서 다양한 물체의 거리 분포의 통계적 분석을 기반으로 구현 및/또는 추천될 수 있다. 이는 장면의 음향 이미징에 사용되는 센서 어레이 및/또는 처리 방식이 음향 장면 내에서 가장 많은 개수의 위치에 적합할 가능성을 높일 수 있다.
추가적으로 또는 대안적으로, 거리 정보 이외의 파라미터는 음향 이미지 데이터를 생성하는데 사용할 적절한 센서 어레이 및/또는 처리 방식을 선택하는데 사용될 수 있다. 본원의 다른 곳에서 설명된 바와 같이, 다양한 센서 어레이는 특정 주파수 및/또는 주파수 대역에 민감하도록 구성될 수 있다. 일부 예시들에서, 유사한 상이한 역 전파 계산이 상이한 음향 신호 주파수 콘텐츠에 따라 사용될 수 있다. 따라서, 일부 예시들에서, 하나 이상의 파라미터가 처리 방식 및/또는 음향 센서 어레이를 결정하는데 사용될 수 있다.
일부 실시예에서, 음향 분석 시스템은 수신된 음향 신호 처리/분석의 다양한 파라미터를 초기에 분석하는 데 사용될 수 있다. 다시 도 7을 참조하면, 음향 이미지 데이터를 생성하는 방법은 음향 신호를 수신하는 단계(786) 이후, 수신된 신호의 주파수 콘텐츠를 분석하는 단계(790)를 포함할 수 있다. 이러한 일부 예시들에서, 음향 센서 어레이(들) 및/또는 처리 방식이 (예를 들어, 각각 단계(782) 및/또는 단계(784)를 통해) 선택되었다면, 방법은, 예를 들어, 분석된 주파수 콘텐츠에 기초하여 선택된 어레이(들)를 업데이트하는 단계 및/또는 선택된 처리 방식을 업데이트하는 단계(792)를 포함할 수 있다.
센서 어레이(들) 및/또는 처리 방식을 업데이트 한 후, 방법은 업데이트된 파라미터를 사용하여 다양한 동작을 수행할 수 있다. 예를 들어, 선택된 센서 어레이(들)(790)가 분석된 주파수 콘텐츠에 기초하여 업데이트(792)되면, (새로) 선택된 음향 센서 어레이(786)로부터 새로운 음향 신호가 수신될 수 있으며, 이는 음향 이미지 데이터를 결정하기 위해 다시 역전파될 수 있다(788). 대안적으로, 처리 방식이 업데이트(792)되면, 이미 캡처된 음향 신호는 업데이트된 음향 이미지 데이터를 결정하기 위해 업데이트된 처리 방식에 따라 역 전파될 수 있다. 처리 방식과 센서 어레이(들)가 모두 업데이트되면, 새로운 음향 신호는 업데이트된 센서 어레이를 사용하여 수신될 수 있으며, 업데이트된 처리 방식에 따라 역 전파될 수 있다.
일부 실시 예에서, 음향 분석 시스템은 수신된 음향 신호의 주파수 콘텐츠를 분석(790)하지 않고 주파수 정보를 수신(778)할 수 있다. 예를 들어, 일부 예에서, 음향 분석 시스템은 미래 음향 분석을 위해 원하는 또는 예상되는 주파수 범위에 관한 정보를 수신할 수 있다. 이러한 일부 예시에서, 원하는 또는 예상되는 주파수 정보는 하나 이상의 센서 어레이 및/또는 주파수 정보에 가장 적합한 처리 방식을 선택하는 데 사용될 수 있다. 이러한 일부 예시들에서, 음향 센서 어레이(들)를 선택하는 단계(782) 및/또는 처리 방식을 선택하는 단계(784)들은 수신된 거리 정보에 추가로 또는 대안적으로 수신된 주파수 정보에 기초될 수 있다.
일부 예시들에서, 수신된 음향 신호(예를 들어, 음향 센서 요소를 통해 수신 된)는 예를 들어 음향 분석 시스템의 프로세서(예를 들어, 210)를 통해 분석될 수 있다. 이러한 분석은 주파수, 세기, 주기성, 겉보기 근접성(apparent proximity) (예를 들어, 수신된 음향 신호에 기초하여 추정된 거리), 측정된 근접성(measured proximity) 또는 이들의 임의의 조합과 같은 음향 신호의 하나 이상의 속성을 결정하는 데 사용될 수 있다. 일부 예시들에서, 음향 이미지 데이터는 예를 들어 특정 주파수 콘텐츠, 주기성 등을 갖는 음향 신호를 나타내는 음향 이미지 데이터만을 보여주기 위해 필터링될 수 있다. 일부 예시에서, 임의의 수의 이러한 필터가 동시에 적용될 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 음향 비디오 데이터와 유사하게, 음향 이미지 데이터의 일련의 프레임이 시간에 따라 캡처될 수 있다. 추가적으로 또는 대안적으로, 음향 이미지 데이터가 반복적으로 생성되지 않는다 하더라도, 일부 예에서는 음향 신호가 반복적으로 샘플링되고 분석된다. 따라서 반복되는 음향 이미지 데이터의 생성(예를 들어, 비디오)의 유무에 관계없이 주파수와 같은 음향 데이터의 파라미터는 시간에 따라 모니터링될 수 있다.
도 9a는 음향 장면에서 시간에 따라 수신된 이미지 데이터의 주파수 콘텐츠의 예시적인 플롯이다. 도시된 바와 같이, 도 9a의 플롯으로 표현되는 음향 장면은 일반적으로 주파수 1, 주파수 2, 주파수 3 및 주파수 4로 표시된 4 개의 지속 주파수를 포함한다. 대상 장면의 주파수 콘텐츠와 같은 주파수 데이터는, 예를 들어, 고속 푸리에 변환(FFT) 또는 기타 알려진 주파수 분석 방법을 사용하여 수신된 음향 신호를 처리하는 것을 통해 결정될 수 있다.
도 9b는 음향 신호를 방출하는 복수의 위치를 포함하는 예시적인 장면을 도시한다. 예시된 이미지에서, 음향 이미지 데이터는 가시광 이미지 데이터와 결합되어 위치 910, 920, 930, 940에 있는 음향 신호를 도시한다. 일부 실시 예에서, 음향 분석 시스템은 임의의 검출된 주파수 범위의 음향 이미지 데이터를 디스플레이하도록 구성된다. 예를 들어, 예시적인 실시 예에서, 위치(910)는 주파수 1을 포함하는 음향 이미지 데이터를 포함하고, 위치(920)는 주파수 2를 포함하는 음향 이미지 데이터를 포함하고, 위치(930)는 주파수 3을 포함하는 음향 이미지 데이터를 포함하고, 위치(940)는 주파수 4를 포함하는 음향 이미지 데이터를 포함한다.
그러한 일부 예들에서, 주파수 범위를 나타내는 음향 이미지 데이터를 디스플레이하는 것은 선택 가능한 동작 모드이다. 유사하게, 일부 실시 예에서, 음향 분석 시스템은 미리 결정된 주파수 대역 내에서만 주파수를 나타내는 음향 이미지 데이터를 디스플레이하도록 구성된다. 이러한 일부 예들에서, 미리 결정된 주파수 범위를 나타내는 음향 이미지 데이터를 디스플레이하는 것은 음향 이미지 데이터를 생성할 음향 신호를 수신하기 위한 하나 이상의 음향 센서 어레이를 선택하는 것을 포함한다. 이러한 어레이는 선택적 주파수 범위를 수신하도록 구성될 수 있다. 유사하게, 일부 예들에서, 음향 이미지 데이터를 생성하기 위해 사용되는 주파수 콘텐츠를 제한하기 위해 하나 이상의 필터가 사용될 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 넓은 범위의 주파수를 나타내는 정보를 포함하는 음향 이미지 데이터는 음향 이미지 데이터가 미리 결정된 조건을 만족하는 경우(예를 들어, 미리 결정된 주파수 범위 내에 있는 경우)에만 분석되고 디스플레이에 표시될 수 있다.
도 9c는 복수의 사전 정의된 주파수 범위에서 복수의 결합된 음향 및 가시광 이미지 데이터를 도시한다. 제1 이미지는 주파수 1의 주파수 콘텐츠를 포함하는 제 1 위치(910)의 음향 이미지 데이터를 포함한다. 제 2 이미지는 주파수 2의 주파수 콘텐츠를 포함하는 제 2 위치(920)의 음향 이미지 데이터를 포함한다. 제 3 이미지는 주파수 3의 주파수 콘텐츠를 포함하는 제 3 위치(930)의 음향 이미지 데이터를 포함한다. 제 4 이미지는 주파수 4의 주파수 콘텐츠를 포함하는 제 4 위치(940)의 음향 이미지 데이터를 포함한다.
일 실시 예에서, 사용자는 주파수 1, 주파수 2, 주파수 3 또는 주파수 4를 포함하는 범위와 같은 다양한 주파수 범위를 선택하여 선택된 주파수 범위 이외의 주파수 콘텐츠를 나타내는 음향 이미지 데이터를 필터링할 수 있다. 따라서, 이러한 예시들에서, 제 1, 제 2, 제 3 또는 제 4 이미지 중 임의의 것은 사용자에 의해 선택되는 원하는 주파수 범위의 결과로서 디스플레이될 수 있다.
추가적으로 또는 대안적으로, 일부 예시들에서, 음향 분석 시스템은 각각이 상이한 주파수 콘텐츠를 갖는 복수의 디스플레이 이미지 사이를 순환할 수 있다. 예를 들어, 도 9c에 관하여, 예시적인 실시예에서, 음향 분석 시스템은 도 9c의 화살표로 도시된 바와 같이, 제 1, 제 2, 제 3 및 제 4 이미지를 순서대로 디스플레이할 수 있다.
일부 예들에서, 디스플레이 이미지는 이미지에 디스플레이되는 주파수 콘텐츠를 나타내는 텍스트 또는 다른 디스플레이를 포함할 수 있어서, 사용자가 이미지의 어느 위치가 특정 주파수 콘텐츠를 나타내는 음향 이미지 데이터를 포함하는지 관찰할 수 있다. 예를 들어, 도 9c에 관하여, 각각의 이미지는 음향 이미지 데이터에 표현된 주파수의 텍스트 표현을 도시할 수 있다. 도 9b와 관련하여, 복수의 주파수 범위를 보여주는 이미지는 음향 이미지 데이터를 포함하는 각 위치에서의 주파수 콘텐츠의 표시를 포함할 수 있다. 이러한 일부 예들에서, 사용자는 예를 들어, 사용자 인터페이스를 통해 음향 장면에서 그 위치에 존재하는 주파수 콘텐츠를 보기 위해 이미지에서 위치를 선택할 수 있다. 예를 들어, 사용자는 제 1 위치(910)를 선택할 수 있고, 음향 분석 시스템은 제 1 위치(예를 들어, 주파수 1)의 주파수 콘텐츠를 제시할 수 있다. 따라서, 다양한 예들에서, 사용자는, 예를 들어 장면에서 특정 주파수 콘텐츠에 해당하는 부분을 보는 것에 의해 및/또는 다양한 위치에 어떤 주파수 콘텐츠가 존재하는지 보는 것에 의해, 음향 장면의 주파수 콘텐츠를 분석하기 위해 음향 분석 시스템을 사용할 수 있다.
예시적인 음향 이미징 동작 동안, 주파수에 의해 음향 이미지 데이터를 필터링하는 것은, 예를 들어 배경 또는 다른 중요하지 않은 소리로부터 이미지 혼란(clutter)을 감소시키는데 도움이 될 수 있다. 예시적인 음향 이미징 절차에서, 사용자는 산업 환경에서 바닥 소음과 같은 배경 소리를 제거하기를 원할 수 있다. 그러한 경우에, 배경 노이즈는 대부분 저주파 노이즈를 포함할 수 있다. 따라서, 사용자는 미리 결정된 주파수(예를 들어, 10kHz)보다 큰 음향 신호를 나타내는 음향 이미지 데이터를 표시하도록 선택할 수 있다. 다른 예에서, 사용자는 (예를 들어, 도 5a-5d에 도시된 바와 같이) 전송 라인으로부터의 코로나 방전(corona discharge)과 같은 특정 범위 내에서 일반적으로 음향 신호를 방출하는 특정 물체를 분석하기를 원할 수 있다.
이러한 예에서, 사용자는 음향 이미징을 위해 특정 주파수 범위(예를 들어, 코로나 방전에 대해 11kHz 내지 14kHz 사이)를 선택할 수 있다. 일부 예시에서, 음향 분석 시스템은 수신된 음향 신호의 세기와 연관된 정보를 분석 및/또는 제시하는데 사용될 수 있다. 예를 들어, 일부 실시예에서, 수신된 음향 신호를 역 전파하는 것은 음향 장면의 복수의 위치에서 음향 세기 값을 결정하는 것을 포함할 수 있다. 일부 예시들에서, 전술한 주파수와 유사하게, 음향 신호의 세기가 하나 이상의 미리 결정된 요구 사항을 충족하면 음향 이미지 데이터는 디스플레이 이미지에만 포함된다.
이러한 다양한 실시 예에서, 디스플레이 이미지는 미리 결정된 임계값 (예를 들어, 15dB)을 초과하는 음향 신호, 미리 결정된 임계값(예를 들어, 100dB) 미만의 음향 신호, 또는 미리 결정된 세기 범위 내(예를 들어, 15dB ~ 40dB)의 음향 신호를 나타내는 음향 이미지 데이터를 포함할 수 있다. 일부 실시예에서, 임계값은 평균 음향 세기로부터의 표준 편차 초과 또는 미만과 같이 음향 장면의 통계적 분석에 기초될 수 있다.
주파수 정보와 관련하여 전술한 바와 유사하게, 일부 실시예에서, 하나 이상의 세기 요구 사항을 만족하는 음향 신호를 나타내도록 음향 이미지 데이터를 제한하는 것은 수신된 음향 신호를 필터링하는 것을 포함하여서, 음향 이미지 데이터를 생성하기 위해 미리 결정된 조건을 만족하는 수신된 신호만이 사용되는 것이다. 다른 예시에서, 음향 이미지 데이터는 디스플레이되는 음향 이미지 데이터를 조정하기 위해 필터링된다.
추가적으로 또는 대안적으로, 일부 실시예에서, 음향 장면 내의 위치에서의 음향 세기는 시간에 따라 (예를 들어, 비디오 음향 이미지 표현과 함께 또는 디스플레이 이미지를 반드시 업데이트하지 않고 배경 분석하는 것을 통해) 모니터링될 수 있다. 이러한 일부 예시들에서, 음향 이미지 데이터를 디스플레이하기 위한 미리 결정된 요구 사항은 이미지 내의 위치에서 음향 세기의 변화량 또는 변화율을 포함할 수 있다.
도 10a 및 도 10b는 결합된 가시광 이미지 데이터와 음향 이미지 데이터를 포함하는 예시적인 디스플레이 이미지이다. 도 10a는 복수의 위치 (1010, 1020, 1030, 1040, 1050, 1060, 1070, 1080 및 1090)에 도시된 음향 이미지 데이터를 포함하는 디스플레이 이미지를 도시한다. 일부 예시에서, 세기값은 팔레트화 될 수 있는데, 여기서 세기값은 미리 정해진 팔레트화 방식에 기초하여 색상이 할당된다. 예시적인 실시예에서, 세기값은 세기 범위(예를 들어, 10dB - 20dB, 20dB - 30dB 등)에 따라 분류될 수 있다. 각 세기 범위는 팔레트화 방식에 따라 특정 색상과 연관될 수 있다. 음향 이미지 데이터는 복수의 픽셀을 포함할 수 있으며, 각 픽셀은 음향 이미지 데이터의 픽셀에 의해 표현되는 세기가 속하는 세기 범위와 연관된 색상으로 색상화된다. 색상에 의해 구별되는 것에 추가로 또는 대안적으로, (예를 들어, 음향 이미지 데이터가 다른 이미지 데이터에 오버레이되는 이미지 오버레이에서) 투명도 등과 같은 다른 속성에 따라 상이한 세기가 구별될 수 있다.
음향 세기의 변화율과 같은 추가 파라미터가 또한 팔레트화될 수 있다. 세기와 유사하게, 음향 세기 변화율의 다양화는 팔레트화될 수 있어서 다른 속도 및/또는 음향 세기 변화의 양을 나타내는 장면의 일부가 다른 색상으로 디스플레이되도록 할 수 있다.
예시된 예에서, 음향 이미지 데이터는 세기 팔레트에 따라 팔레트화되어서, 상이한 음향 신호 세기를 나타내는 음향 이미지 데이터가 상이한 색상 및/또는 음영으로 도시된다. 예를 들어, 위치(1010 및 1030)의 음향 이미지 데이터는 제1 세기의 팔레트화된 표현을 도시하고, 위치(1040, 1060 및 1080)은 제2 세기의 팔레트화된 표현을 도시하고, 위치(1020, 1050, 1070 및 1090)은 제3 세기의 팔레트화된 표현을 도시한다. 도 10a의 예시적인 표현에 도시된 바와 같이, 음향 이미지 데이터의 팔레트화된 표현을 도시하는 각각의 위치는 중심으로부터 바깥쪽으로 연장되는 색상 기울기를 갖는 원형 패턴을 도시한다. 이는 신호가 음향 신호의 소스로부터 전파됨에 따라 음향 세기가 감소하기 때문일 수 있다.
도 10a의 예시에서, 음향 이미지 데이터는 가시광 이미지 데이터와 결합되어 디스플레이 이미지를 생성하며, 이는, 예를 들어 디스플레이를 통해 사용자에게 제공될 수 있다. 사용자는 가시적 장면에서 어떤 위치가 음향 신호를 생성하는지, 그리고 그러한 신호의 세기를 보기 위해 도 10a의 디스플레이 이미지를 볼 수 있다. 따라서, 사용자는 소리를 생성하는 위치를 빠르고 쉽게 관찰하고, 장면의 다양한 위치로부터 나오는 소리의 세기를 비교할 수 있다.
본 명세서의 다른 곳에서 주파수에 대해 설명된 것과 유사하게, 일부 실시 예에서, 음향 이미지 데이터는 대응하는 음향 신호가 미리 결정된 세기 조건을 충족하는 경우에만 제시될 수 있다. 도 10b는 도 10a의 디스플레이 이미지와 유사한 예시적인 디스플레이 이미지를 도시하며, 도 10b는 가시광 이미지 데이터 및 미리 결정된 임계값 초과의 음향 신호를 나타내는 음향 이미지를 포함한다. 도시된 바와 같이, 도 10a의 위치 1010, 1020, 1030, 1040, 1050, 1060, 1070, 1080 및 1090는 음향 이미지 데이터를 포함하고, 위치 1020, 1050, 1070, 1090만이 미리 결정된 조건을 만족하는 음향 신호를 나타내는 음향 이미지 데이터를 포함한다.
예시적인 시나리오에서, 도 10a는 각각의 위치(1010-990)에서 노이즈 플로어 임계값 초과의 모든 음향 이미지 데이터를 포함할 수 있는 반면, 도 10b는 도 10a와 동일한 장면을 보여주긴 하지만 40dB 보다 큰 세기를 갖는 음향 이미지 데이터만 도시한다. 이는 사용자가 환경(예를 들어, 도 10a 및 도 10b의 목표 장면에서)에서 어떤 소리의 소스가 특정 소리(예를 들어, 장면에서 가장 큰 소리)에 기여하는지 식별하는 것을 도울 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 세기 임계값 (예를 들어, 40dB)과 직접 비교되는 것에 추가로 또는 대안으로, 이러한 일부 예시에서, 음향 이미지 데이터를 디스플레이하기 위한 미리 결정된 요건은 이미지의 한 위치에서 음향 세기의 변화량 또는 변화율을 포함할 수 있다. 그러한 일부 예시에서, 음향 이미지 데이터는 주어진 위치에서 음향 세기의 변화율 또는 변화량이 미리 결정된 조건(예를 들어, 미리 결정된 범위 내에서 임계 값보다 크거나, 임계 값보다 작은 경우 등)을 만족하는 경우에만 제시될 수 있다.
일부 실시예에서, 음향 세기의 변화량 또는 변화율은 세기 음향 이미지 데이터로서 또는 이와 함께 팔레트화되거나 디스플레이될 수 있다. 예를 들어, 예시적인 실시예에서, 음향 이미지 데이터를 포함할 위치를 결정하기 위한 임계 값으로서 변화율이 사용되는 경우, 음향 이미지 데이터는 디스플레이를 위한 팔레트화 된 세기 변화율 메트릭을 포함할 수 있다.
일부 예시들에서, 사용자는 디스플레이될 음향 이미지 데이터에 대한 세기 요건(예를 들어, 최소값, 최대값, 범위, 변화율, 변화량 등)을 수동으로 설정할 수 있다. 본 명세서의 다른 곳에서 논의된 바와 같이, 세기 요구 사항만을 충족하는 음향 이미지 데이터를 포함하는 것은 음향 이미지 데이터 생성 동안 (예를 들어, 수신된 음향 신호 필터링을 통해) 달성될 수 있고, 및/또는 설정된 요구 사항을 충족하지 않는 음향 신호를 나타내는 생성된 음향 이미지 데이터를 디스플레이하지 않음으로써 수행될 수 있다.
이러한 일부 예시에서, 세기값에 따라 디스플레이 이미지를 필터링하는 것은 음향 이미지 데이터 및 가시광 이미지 데이터가 캡처되고 메모리에 저장된 후에 수행될 수 있다. 즉, 메모리에 저장된 데이터는 미리 정의된 세기 조건 등을 충족하는 음향 이미지 데이터만 보여주는 것과 같이 임의의 수의 필터링 파라미터를 포함하는 디스플레이 이미지를 생성하는데 사용될 수 있다.
일부 예들에서, 음향 이미지의 세기에 대한 하한을 설정하는 것(예를 들어, 미리 결정된 세기를 초과하는 음향 신호를 나타내는 음향 이미지 데이터만 디스플레이하는 것)은 원치 않는 배경 또는 주변 소리 및/또는 음향 이미지 데이터로부터의 소리 반사를 포함하는 것을 제거할 수 있다. 다른 경우에, 음향 이미지의 세기에 대한 상한을 설정하는 것(예를 들어, 미리 결정된 세기 미만의 음향 신호를 나타내는 음향 이미지 데이터만 표시하는 것)은 이러한 큰 소리에 의해 일반적으로 가려지는 음향 신호를 관찰하기 위해 음향 이미지 데이터에서의 예상되는 큰 소리가 포함되는 것을 제거할 수 있다.
여러 디스플레이 기능이 가능하다. 예를 들어, 도 9c와 관련하여 논의된 주파수 분석/디스플레이와 유사하게, 음향 분석 시스템은 복수의 디스플레이 이미지를 통해 순환할 수 있으며, 각각은 상이한 세기 요건을 만족하는 음향 이미지 데이터를 도시한다. 유사하게, 일부 예시에서, 사용자는 주어진 범위의 음향 세기를 갖는 음향 이미지 데이터에서의 위치를 보기 위해 일련의 음향 세기 범위를 스크롤 할 수 있다.
음향 데이터를 분석하는데에 사용될 수 있는 또 다른 파라미터는 음향 신호의 주기성 값이다. 도 11a 및 도 11b는 음향 장면에서 음향 데이터의 주파수 대 시간의 예시적인 플롯을 도시한다. 도 11a의 플롯에 도시된 바와 같이, 음향 데이터는 제 1 주기성을 갖는 주파수 X에서의 신호, 제 2 주기성을 갖는 주파수 Y에서의 신호, 및 제 3 주기성을 갖는 주파수 Z에서의 신호를 포함한다. 예시된 예시에서, 상이한 주파수를 갖는 음향 신호는 음향 신호에 상이한 주기성을 또한 포함할 수 있다.
이러한 일부 예시들에서, 음향 신호들은 주파수 콘텐츠에 추가로 또는 대안 적으로 주기성에 기초하여 필터링될 수 있다. 예를 들어, 일부 예시에서, 음향 장면에서 음향 신호의 다중 소스는 특정 주파수에서 음향 신호를 생성할 수 있다. 사용자가 음향 이미징을 위해 하나의 그러한 소리 소스를 분리하기를 원한다면, 사용자는 음향 데이터와 연관된 주기성에 기초하여 최종 디스플레이 이미지로부터 음향 이미지 데이터를 포함하거나 제외하도록 선택할 수 있다.
도 11b는 음향 신호의 주파수 대 시간의 플롯을 보여준다. 도시된 바와 같이, 주파수는 시간이 지남에 따라 거의 선형적으로 증가한다. 그러나, 도시된 바와 같이, 신호는 시간이 지남에 따라 거의 일정한 주기성을 포함한다. 따라서, 이러한 신호는 선택된 디스플레이 파라미터에 따라 음향 이미지에 나타나거나 나타나지 않을 수 있다. 예를 들어, 신호는 특정 시점에서 디스플레이되는 주파수 기준을 충족할 수 있지만, 다른 시점에서는 디스플레이되는 주파수 범위를 벗어날 수 있다. 그러나, 사용자는 주파수 콘텐츠에 관계없이 신호의 주기성에 기초하여 음향 이미지 데이터로부터 이러한 신호를 포함하거나 제외하도록 선택할 수 있다.
일부 예시들에서, 특정 주기성의 음향 신호를 추출하는 것은 목표 장면의 특정 부분(예를 들어, 특정 주기성에서 전형적으로 동작하는 장비의 특정 부분 또는 유형)을 분석하는 데 도움이 될 수 있다.
예를 들어, 관심 물체가 특정 주기(예를 들어, 초당 1 회)로 작동하는 경우, 이와 구별되는 주기성을 갖는 신호를 제외하는 것은 관심 물체의 음향 분석을 향상시킬 수 있다. 예를 들어, 도 11b을 참조하면, 만일 관심 물체가 주기성 4에서 작동하면, 분석을 위해 주기성 4를 가지는 신호를 분리시키는 것은 관심 물체에 대한 개선된 분석을 획득할 수 있다. 예를 들어, 관심 물체는, 도 11b에 도시된 바와 같이 주기성 4를 가지지만 증가하는 주파수를 갖는 소리를 방출할 수 있다. 이는 물체의 속성이 변경될 수 있으며 (예를 들어, 증가된 토크 또는 부하 등) 검사되어야 한다는 것을 의미할 수 있다.
예시적인 음향 이미징 프로세스에서, 배경 소음(예를 들어, 산업 환경의 바닥 소음, 실외 환경의 바람 등)은 일반적으로 주기적이지 않은 반면, 장면 내의 특정 관심 물체(예를 들어, 일정한 간격으로 작동하는 기계)는 주기적인 음향 신호를 방출한다. 따라서, 사용자는 배경 신호를 제거하고 관심있는 음향 데이터를 보다 명확하게 나타내기 위해, 음향 이미지로부터 비주기적 음향 신호를 제외하도록 선택할 수 있다. 다른 예시들에서, 사용자는 일정한 톤의 소스를 찾고 있을 수 있고, 따라서 일정한 톤의 보기를 모호하게 할 수 있는 음향 이미지 데이터로부터 주기 신호를 제외하도록 선택할 수 있다. 일반적으로, 사용자는 특정 주기 초과, 특정 주기 미만, 또는 원하는 주기성 범위 내에 있는 음향 신호를 음향 이미지 데이터에 포함하도록 선택할 수 있다. 다양한 예시에서, 주기성은 주기적 신호 사이의 시간 길이 또는 주기적 신호의 발생 빈도에 의해 식별될 수 있다. 도 11b에 도시된 주파수와 유사하게, 주어진 주기성 (예를 들어, 그 주기성에서 작동하는 관심 물체로 인한)에서의 세기 분석은 물체로부터의 음향 신호가 시간에 따라 어떻게 변하는지 추적하기 위해 유사하게 사용될 수 있다. 일반적으로, 일부 실시예에서, 주기성은 주파수, 세기 등과 같은 다양한 파라미터에 대한 변화율 분석을 수행하는 데 사용될 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 일부 예시에서, 목표 장면의 다양한 부분은 음향 이미징 센서로부터의 다른 거리와 연관될 수 있다. 예를 들어, 일부 실시예에서, 거리 정보는 장면의 다양한 부분에 관한 3차원 깊이 정보를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자는 (예를 들어, 레이저 거리 도구를 사용하여) 장면의 복수 위치와 연관된 거리 값을 측정하거나 수동으로 입력할 수 있다. 일부 예시에서, 장면의 다양한 부분에 대한 이러한 상이한 거리 값은 해당 위치에서 특정 거리값을 수용하기 위해 그러한 위치에서 역 전파 계산을 조정하는데 사용될 수 있다.
추가적으로 또는 대안적으로, 장면의 다른 부분이 다른 거리값과 연관되는 경우, 음향 센서 어레이로부터의 근접성(예를 들어, 측정된 근접성 및/또는 겉보기 근접성)은 이러한 부분 사이의 또 다른 차별화 가능한 파라미터 일 수 있다. 예를 들어, 도 10b와 관련하여, 위치(1020, 1050, 1070 및 1090)는 각각 다른 거리값과 연관되어 있다. 일부 예시에서, 본 명세서의 다른 곳에서 논의된 주파수 또는 주기성과 유사하게, 사용자는 디스플레이 상의 음향 이미지 데이터를 포함할 특정 거리 범위를 선택할 수 있다. 예를 들어, 사용자는 미리 정해진 거리보다 더 가깝거나, 미리 정해진 거리보다 더 멀거나, 또는 미리 정해진 거리 범위 내에서 음향 신호를 나타내는 음향 이미지 데이터만을 디스플레이하도록 선택할 수 있다.
또한, 일부 실시예에서, 도 9c의 주파수에 관하여 설명된 것과 유사하게, 음향 분석 시스템은 복수의 거리 범위를 순환하도록 구성될 수 있으며, 현재 거리 범위를 충족하는 목표 장면의 한 위치에서 방출되는 음향 신호를 나타내는 음향 이미지 데이터만 도시한다. 이러한 다양한 디스플레이를 순환하는 것은 사용자가 서로 다른 음향 신호 간의 정보를 시각적으로 구별하는 데 도움이 될 수 있다. 예를 들어, 어떤 경우에는 물체가 연관된 전자기 이미징 도구 (예를 들어, 가시광 카메라 모듈)의 시선에서 서로 가깝게 보일 수 있으므로, 이러한 물체의 전자기 이미지 데이터와 결합된 음향 이미지 데이터는 구별하기 어렵다. 그러나, 물체가 깊이 차이에 의해 분리된 경우 음향 이미지 데이터의 상이한 깊이 범위를 순환하는 것은 음향 데이터의 각 소스를 서로 분리하는데 사용될 수 있다.
일반적으로, 음향 분석 시스템은 하나 이상의 미리 정의된 파라미터를 충족하는 음향 신호를 나타내는 음향 이미지 데이터를 포함하거나 및/또는 제외하기 위해 다양한 설정을 적용하도록 구성될 수 있다. 일부 예시에서, 음향 분석 시스템은 이러한 신호를 표현하는 음향 이미지 데이터를 디스플레이하기 위해, 예를 들어 디스플레이 이미지에 디스플레이하기 위해, 음향 신호에 의해 충족되어야 하는 복수의 조건을 선택하는데 사용될 수 있다.
예를 들어, 도 10a 내지 도 10b과 관련하여, 도 10a에서 도시된 장면의 임계 세기를 초과하는 음향 신호만 도 10b에 도시되어 있다. 그러나 추가 또는 대체 제한이 가능하다. 예를 들어, 일부 실시예에서, 사용자는 음향 이미지 데이터를 추가로 필터링하여 음향 이미지 데이터가 미리 결정된 주파수 범위 내의 주파수 콘텐츠 및/또는 미리 결정된 주기성을 갖는 음향 신호에 대해서만 도시되도록 할 수 있다. 예시적인 실시예에서, 미리 결정된 주파수 및/또는 관심의 주기성으로 제한하여, 음향 이미지 데이터는 1020 및 1090과 같은 추가 위치로부터 제거될 수 있다.
일반적으로, 사용자는 세기, 주파수, 주기성, 겉보기 근접성, 측정된 근접성, 음압, 입자 속도, 입자 변위, 음력(sound power), 소리 에너지(sound energy), 소리 에너지 밀도, 소리 노출, 피치(pitch), 진폭, 밝기, 고조파(harmonics), 그러한 파라미터의 변화율 등과 같은 파라미터를 포함하여 디스플레이 이미지로부터 음향 이미지 데이터를 포함하거나 제외하기 위한 임의의 수의 음향 데이터 요구 사항을 적용할 수 있다. 추가적으로, 일부 실시예에서, 사용자는 AND, OR, XOR 등과 같은 임의의 적절한 논리적 조합을 사용하여 요구 사항을 결합할 수 있다. 예를 들어, 사용자는 (미리 결정된 임계값 이상의 세기) AND (미리 결정된 범위 내의 주파수)를 갖는 음향 신호만을 디스플레이하고자 할 수 있다.
추가로 또는 대안적으로, 음향 분석 시스템은 도 9c에서 복수의 주파수를 통한 순환에 관하여 도시된 바와 같이 목표 장면의 상이한 부분을 예시하기 위해 하나 이상의 파라미터 범위를 통해 순환하도록 구성될 수 있다. 일반적으로, 하나 이상의 파라미터가 이러한 방식으로 순환될 수 있다. 예를 들어, 파라미터(예를 들어, 세기)는 복수의 범위(예를 들어, 10dB - 20dB 및 20dB - 30dB)로 분리될 수 있으며, 음향 분석 시스템은 이러한 범위를 순환하여 제1 범위에 속하는 모든 음향 이미지 데이터를 디스플레이한 다음, 제2 범위에 속하는 모든 음향 이미지 데이터를 디스플레이할 수 있다.
유사하게, 일부 실시예에서, 음향 분석 시스템은 끼워넣어진 범위를 순환함으로써 파라미터 요건을 결합하도록 구성될 수 있다. 예를 들어, 예시적인 실시예에서, 제1 세기 범위 그리고 제1 주파수 범위를 만족하는 음향 이미지 데이터가 디스플레이될 수 있다. 디스플레이된 주파수 범위는 디스플레이된 음향 이미지 데이터를 제1 세기 범위를 만족하는 음향 신호로 제한하면서 이를 통해 순환될 수 있다. 주파수 범위를 통해 순환한 후, 세기 범위가 제2 세기 범위로 업데이트될 수 있어서, 디스플레이된 음향 이미지 데이터가 제2 세기 범위 및 제 1 주파수 범위를 만족하도록 할 수 있다. 제1 세기 범위를 통합하는 프로세스와 유사하게, 주파수 범위는 제2 세기 범위를 유지하면서 유사하게 순환될 수 있다. 이러한 프로세스는 주파수 범위와 세기 범위의 모든 조합이 충족될 때까지 계속될 수 있다. 유사한 이러한 프로세스가 복수의 파라미터 중 임의의 것에 대해 수행될 수 있다.
추가적으로 또는 대안적으로, 일부 실시예에서, 음향 분석 시스템은 음향 장면에서 복수의 소리를 식별하고 구별하도록 구성될 수 있다. 예를 들어, 도 9b와 관련하여, 음향 분석 시스템은 위치 910, 920, 930 및 940에서 4개의 개별 소리를 식별하도록 구성될 수 있다. 시스템은 복수의 디스플레이를 통해 순환하도록 구성될 수 있으며, 각 디스플레이는 임의의 파라미터값에 반드시 의존하는 것은 아니지만 도 9c에 도시된 것과 유사하게 단일 개별 위치에서 음향 이미지 데이터를 도시한다. 유사하게, 개별 위치에서 음향 이미지 데이터 사이의 이러한 순환은 하나 이상의 파라미터 요구 사항이 디스플레이되는 음향 이미지 데이터를 제한한 후에 수행될 수 있다.
예를 들어, 도 10a 및 도 10b에 관련하여, 세기 임계값이 적용되기 전에, 음향 분석 시스템은 복수의 음향 이미지 장면(예를 들어, 가시광 이미지 데이터를 가지는 음향 이미지 장면을 포함하는 디스플레이 이미지)을 순환할 수 있으며, 여기서 각 장면은 하나의 위치에서 음향 이미지 데이터를 포함한다. 일부 실시 예에서, 도 10a의 예시에 설명된 것에 따라, 10 개의 개별 이미지의 주기, 각 이미지는 위치 1010, 1020, 1030, 1040, 1050, 1060. 1070, 1080 및 1090 중 상이한 위치에 있는 이미지 데이터를 포함한다. 그러나, 일부 실시예에 따르면, 임계값보다 큰 세기를 갖는 위치만 디스플레이되도록 (예를 들어, 도 10b에서와 같이) 세기 필터가 적용된 후, 음향 분석 시스템은 필터링 임계값을 충족하는 위치에 해당하는 이미지를 순환하기만 하도록 순환 프로세스를 업데이트할 수 있다. 즉, 도 10b에 관련하여, 순환 프로세스는 각각 위치 1020, 1050, 1070 및 1090에서 이산 음향 이미지 데이터를 각각 도시하는 4 개의 이미지 사이에서만 순환하도록 업데이트 할 수 있다.
따라서, 다양한 실시예에서, 어느 음향 이미지 데이터가 도시되는지를 제한하기 위해 하나 이상의 필터를 적용하기 전 또는 후에 음향 이미지 데이터를 포함하는 목표 장면의 각각의 위치는 복수의 순환 디스플레이 이미지 중 하나에 도시된다. 개별 음향 소스 위치의 이러한 순환 디스플레이는 이미지를 보는 사용자가 특정 소리의 소스를 식별하는 데 도움을 줄 수 있다. 일부 실시예에서, 순환의 각 이미지는 음향 데이터의 단일 소스만을 포함하고, 이러한 일부 실시예에서 주파수 콘텐츠, 세기, 주기성, 겉보기 근접성 등과 같은 음향 데이터의 하나 이상의 파라미터를 더 포함한다.
특정 조건을 만족하는 음향 이미지 데이터를 도시하는 이미지 사이의 순환에 추가로 또는 대안적으로, 일부 예시에서, 음향 신호 소스의 위치는 음향 이미지 데이터에서 검출될 수 있고 다른 음향 신호와 분리된 음향 이미지 데이터에서 디스플레이될 수 있다. 예를 들어, 도 10a과 관련하여, 일부 실시예에서, 위치 (1010-990) 각각으로부터 발산되는 음향 신호를 나타내는 음향 이미지 데이터가 식별되고 순환될 수 있다. 예를 들어, 예시적인 동작 프로세스에서, 위치(1010-990) 중 하나에서 음향 이미지 데이터를 포함하는 디스플레이 이미지는 음향 신호의 각 소스의 개별 분석을 위해 자동으로 또는 사용자의 지시로 순환될 수 있다. 다양한 실시예에서, 순환하는 동안 음향 이미지 데이터의 상이한 위치가 디스플레이되는 순서는 위치, 근접성, 세기, 주파수 콘텐츠 등과 같은 다양한 파라미터에 의존할 수 있다.
추가적으로 또는 대안적으로, 일부 예시에서, 개별 위치로부터의 음향 이미지 데이터는 하나 이상의 미리 결정된 조건을 충족하는 음향 이미지 데이터만을 분리하기 위해 하나 이상의 필터를 적용한 후에 순환될 수 있다. 예를 들어, 도 10b와 관련하여, 위치(1020, 1050, 1070 및 1090)는 미리 결정된 세기 요건을 충족하는 음향 신호를 나타내는 음향 이미지 데이터를 포함하는 것으로 도시된다. 일부 실시예에서, 이러한 디스플레이 요건은 음향 신호의 소스 위치를 통한 개별 순환에 적용될 수 있다. 예를 들어, 도 10b를 더욱 참조하면, 음향 세기 조건을 만족하는 위치(1020, 1050, 1070, 1090) 중 단 하나의 위치의 이미지 데이터를 포함하는 디스플레이 이미지는 각 위치에서 개별 분석을 위해 순환될 수 있다.
도 10a 및 도 10b를 참조하는 예시적인 프로세스에서, 장면으로부터 수집된 음향 이미지 데이터는 일반적으로 위치(1010, 1020, 1030, 1040, 1050, 1060, 1070, 1080 및 1090)에서 도 10a에 도시될 수 있다. 이러한 위치는 다양한 세기, 주파수 콘텐츠, 주기성 등과 같은 다양한 음향 파라미터를 갖는 음향 신호를 나타내는 음향 이미지 데이터를 포함할 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 사용자는 최소 음향 세기를 갖는 음향 신호와 같은 하나 이상의 특정 음향 파라미터를 갖는 음향 신호를 분리하기를 원할 수 있다. 이러한 조건을 충족하지 않는 음향 신호를 나타내는 음향 이미지 데이터는, 예를 들어, 도 10b에 도시된 바와 같이 위치 1020, 1050, 1070 및 1090에서 음향 이미지 데이터를 남기는 것처럼, 이미지로부터 제외될 수 있다. 그러나, 사용자는 디스플레이 조건을 충족(예를 들어, 임계값 이상의 세기를 가짐)하는 특정 소리의 소스를 추가로 식별하기를 원할 수 있다.
따라서, 사용자는 각각의 소리의 소스 위치를 보고 개별적으로 분석하기 위해 위치(1020, 1050, 1070, 1090)와 연관된 음향 이미지 데이터를 하나씩 디스플레이하도록 선택할 수 있다. 다양한 실시예에서, 사용자는 그러한 위치를 수동으로 순환하도록 선택할 수 있거나, 또는 프로세서는 개별 위치의 음향 이미지 데이터를 순차적으로 디스플레이하기 위해 디스플레이 이미지를 자동으로 업데이트 할 수 있다. 이는 사용자가 관심이 없는 음향 신호를 추가로 제거하고 무시하는데 도움이 될 수 있지만, 이미지에 적용된 하나 이상의 필터링 파라미터를 충족하게 한다.
세기와 관련하여 기술된 것과 도 10a 및 도 10b에서, 일반적으로 복수의 위치로부터 선택된 단일 위치의 음향 이미지 데이터를 포함하는 디스플레이 이미지는 개별 분석을 위해 하나씩 순환될 수 있다. 대표적인 음향 이미지 데이터가 포함된 복수의 위치는 음향 장면에서 음향 신호의 소스에 해당하는 전체 위치의 세트일 수 있거나, 또는, 예를 들어 하나 이상의 조건을 충족하는 음향 신호를 갖는 위치만을 포함하는, 그러한 위치의 서브 세트일 수 있다. 이러한 조건은 세기, 주파수 콘텐츠, 주기성, 근접성 등과 같은 임의의 하나 이상의 음향 파라미터에 의존할 수 있으며, 미리 결정된 값 미만, 미리 결정된 값 초과 또는 미리 결정된 범위 내에 있는 다양한 파라미터에 기초하여 충족될 수 있다.
다양한 예시들에서, 디스플레이 이미지에 음향 이미지 데이터를 선택적으로 포함하도록 디스플레이 이미지를 수정하는 것은 다양한 방식으로 수행될 수 있다. 일부 실시예에서, (예를 들어, 전자기 이미지 데이터 및 음향 이미지 데이터를 포함하는) 디스플레이 이미지는 실시간 이미지일 수 있으며, 여기서 전자기 이미지 데이터 및 음향 이미지 데이터는 장면의 변화를 반영하기 위해 지속적으로 업데이트된다. 일부 예시들에서, 음향 이미지 데이터가 디스플레이 이미지에 포함되는지 여부를 결정하기 위해 특정 조건이 사용될 때, 수신된 음향 신호는 업데이트된 실시간 이미지의 다양한 위치에 음향 이미지 데이터를 포함할지 여부를 결정하기 위해 분석된다. 즉, 새로 수신된 음향 신호와 전자기 방사를 기초로 새로운 디스플레이 이미지가 생성됨에 따라, 디스플레이 이미지의 구성은 어떤 음향 신호가 디스플레이 이미지에 배치된 특정 조건(예를 들어, 세기 임계값 등)을 충족하는지 결정하기 위해 음향 신호 분석에 의존할 수 있다.
그 다음, 디스플레이 이미지는 그러한 조건에 따라 적절한 경우에만 음향 이미지 데이터를 포함하여 생성될 수 있다.
다른 예시에서, 디스플레이 이미지는 이전에 캡처된 음향 데이터 및 전자기 이미지 데이터와 같이 메모리에 저장된 데이터로부터 생성될 수 있다. 이러한 일부 예시에서, 이전에 획득된 음향 데이터는 음향 이미지 데이터에 배치될 다양한 조건에 대해 분석되고, 이러한 조건을 충족하는 위치에서 이전에 캡쳐된 음향 데이터가 전자기 이미지 데이터와 결합된다. 이러한 실시예에서, 단일 장면은, 예를 들어 상이한 음향 파라미터를 분석함으로써, 다양한 방식으로 보여질 수 있다. 이전에 캡처된 음향 이미지 데이터를 나타내는 디스플레이 이미지는 디스플레이 이미지의 다양한 위치에 음향 이미지 데이터를 포함할지 여부에 대해 디스플레이 이미지에 배치된 임의의 업데이트된 조건에 기초하여 업데이트될 수 있다.
일부 실시예에서, 디스플레이 이미지에 음향 이미지 데이터를 선택적으로 포함하는데 사용되는 하나 이상의 음향 파라미터는 디스플레이 이미지 및/또는 이미지 캡처 기술을 수정하는데 사용될 수 있다. 예를 들어, 실시간 이미징 예시에서, 디스플레이에 음향 이미지 데이터를 포함할지 여부를 결정하기 위한 다양한 조건은 거리-목표 (예를 들어, 겉보기 거리 또는 측정된 거리) 및/또는 주파수 콘텐츠를 포함할 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 이러한 파라미터 중 일부는 음향 센서 어레이를 선택하고 및/또는 음향 이미지 데이터를 생성하기 위한 처리 방식에서 사용될 수 있다. 따라서, 이러한 일부 예시에서, 음향 이미지 데이터가 하나 이상의 미리 결정된 조건을 충족하는 이러한 파라미터에 기초하여만 표현되는 경우, 음향 센서 어레이 및/또는 음향 이미지 데이터를 생성하기 위한 처리 방식은 이러한 조건에 기초하여 선택될 수 있다.
예를 들어, 예시적인 실시예에서, 음향 이미지 데이터가 해당 음향 신호가 제 1 주파수 범위 내의 주파수 콘텐츠를 포함하는 위치의 실시간 이미지에만 포함되어야 하는 경우, 하나 이상의 음향 센서 어레이는 제1 주파수 범위에 가장 적합한 음향 신호를 획득하기 위해 선택될 수 있다. 마찬가지로, 음향 신호의 소스가 제1 거리 범위 내에 있는 위치의 실시간 이미지에만 음향 이미지 데이터가 포함되어야 하는 경우, 하나 이상의 음향 센서 어레이는 제1 거리 범위의 음향 이미징에 가장 적합한 음향 신호를 획득하기 위해 선택될 수 있다. 추가적으로 또는 대안적으로, 기술된 바와 같이, 예를 들어 도 6에 관하여, 음향 이미지 데이터를 생성하기 위한 처리 방식은 원하는 주파수 또는 거리 조건에 따라 선택될 수 있다. 그러한 선택된 음향 이미징 센서 어레이(들) 및 처리 방식은 후속적으로 포함된 음향 이미지 데이터를 최적화하기 위해 음향 신호를 수신하고 업데이트된 실시간 디스플레이 이미지에 대한 음향 이미지 데이터를 생성하는데 사용될 수 있다.
유사하게, 디스플레이 이미지가 이전에 메모리에 저장된 히스토리컬 데이터로부터 생성되는 일부 실시예에서, 디스플레이 이미지에 음향 이미지 데이터를 포함할 위치를 결정하는 다양한 조건은 음향 장면을 나타내는 음향 이미지 데이터를 업데이트하는데 사용될 수 있다. 예를 들어, 일부 실시예에서, 메모리에 저장된 데이터는 음향 신호가 수신 된 시점부터 음향 센서 어레이(들)에 의해 수신된 원시 음향 데이터를 포함한다. 디스플레이 이미지의 다양한 위치 (예를 들어, 원하는 거리 및/또는 주파수 범위)에 음향 이미지 데이터가 포함되는지 여부를 결정하기 위한 조건에 따라 처리 방식 (예를 들어, 역 전파 알고리즘)은 디스플레이하려는 원하는 파라미터에 최적화된 음향 이미지 데이터를 생성하기 위해 메모리에 저장된 원시 데이터와 함께 사용하기 위해 선택될 수 있다.
가시광 이미지 데이터 및 음향 이미지 데이터를 사용하여 일반적으로 설명되고 도시되었지만, 도 9a 내지 도 9c, 도 10a 및 도 10b와 관련하여 설명된 프로세스는 임의의 다양한 전자기 이미지 데이터를 포함하여 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 다양한 실시 예에서, 가시광 이미지 데이터 대신 적외선 이미지 데이터 또는 자외선 이미지 데이터로 유사한 프로세스가 수행될 수 있다. 추가적으로 또는 대안적으로, 전자기 스펙트럼의 조합은 블렌딩된 적외선 이미지 데이터 및 가시광 이미지 데이터와 같은 이러한 프로세스에 사용될 수 있다. 일반적으로, 다양한 예들에서, 음향 이미지 데이터는 (예를 들어, 대응하는 음향 신호가 하나 이상의 미리 결정된 파라미터를 충족할 때 포함되는) 전자기 이미지 데이터의 임의의 조합을 조합하여 선택적으로 도시될 수 있다.
일부 실시예에서, 음향 분석 시스템은 하나 이상의 음향 신호 및/또는 음향 이미지 데이터를 데이터베이스, 예를 들어 로컬 메모리 및/또는 외부 또는 원격 디바이스로부터 액세스할 수 있도록 저장하도록 구성된다. 이러한 음향 신호는 정상 동작 동안 음향 장면을 나타내는 음향 이미지 데이터 및/또는 주파수 데이터, 세기 데이터, 주기성 데이터 등과 같은 음향 장면과 연관된 다른 파라미터를 포함 할 수 있다. 다양한 예에서, 데이터베이스 장면은 음향 이미지 데이터 및/또는 광범위한 장면 (예를 들어, 공장) 및/또는 보다 구체적인 장면 (예를 들어, 특정 물체)을 나타내는 다른 음향 파라미터(예를 들어, 세기, 주파수, 주기성 등)을 포함할 수 있다.
일부 실시예에서, 데이터베이스 장면은 특정 장비 모델과 같은 특정 유형의 장비에 일반적일 수 있다. 추가적으로 또는 대안적으로, 데이터베이스 장면은 심지어 이러한 물체가 동일한 물체의 상이한 인스턴스 (예를 들어, 동일한 모델인 두 개의 개별 머신) 인 경우에도 개별 물체에 특정될 수 있다. 유사하게, 데이터베이스 장면은 예를 들어 물체의 특정 작동 상태를 포함하여 더 특정될 수 있다. 예를 들어, 특정 물체에 여러 작동 모드가 있는 경우 데이터베이스는 각 작동 모드에 대해 하나씩 이러한 물체의 여러 장면을 포함할 수 있다.
다양한 실시 예에서, 데이터베이스 장면은 단일 음향 이미지 및/또는 연관된 음향 파라미터일 수 있다. 다른 예시에서, 데이터베이스 장면은 복수의 이전에 캡처된 음향 이미지 및/또는 연관된 파라미터로부터 형성된 합성 데이터를 포함할 수 있다. 일반적으로 데이터베이스 장면 (예를 들어, 음향 이미지 및/또는 파라미터)은 정상 작동 중에 장면의 음향 표현을 포함할 수 있다. 일부 예시에서, 데이터베이스는 예를 들어 대응하는 가시광 이미지, 적외선 이미지, 자외선 이미지 또는 이들의 조합과 같은 장면과 연관된 다른 요소를 포함할 수 있다. 일부 실시예에서, 데이터베이스 생성 및/또는 비교는 2016 년 6 월 23 일에 출원된 미국 특허 출원 번호 제15/190,792호 "열 변칙 검출(THERMAL ANOMALY DETECTION)"에 기술된 적외선 이미지 데이터의 데이터베이스 생성 및 비교와 유사하게 수행될 수 있으며, 이는 본 출원의 양수인에게 할당되며 원용에 의해 그 전체로서 본원에 포함된다. 일부 실시예에서, 데이터베이스는 장면 내의 물체가 올바르게 작동하는 동안 장면의 음향 이미지 데이터 및/또는 하나 이상의 연관된 음향 파라미터 (예를 들어, 주파수, 세기, 주기성 등)를 캡처함으로써 생성될 수 있다. 이러한 일부 예시에서, 사용자는 캡처된 데이터베이스 이미지에 태그를 지정하여 이미지를 하나 이상의 물체, 위치, 장면 등과 연관시킬 수 있으므로, 캡처된 음향 이미지 및/또는 관련 파라미터(들)은 향후 데이터베이스 분석 및 비교를 위해 식별될 수 있다.
새로 생성된 음향 이미지 데이터는 음향 장면의 음향 프로파일이 전형적인 운영 표준 내에 있는지 여부를 결정하기 위해 데이터베이스에 저장된 음향 이미지 데이터와 비교될 수 있다. 추가적으로 또는 대안적으로, 라이브 음향 장면 및/또는 새로 생성된 음향 이미지로부터의 세기, 주파수, 주기성 등과 같은 음향 파라미터는 데이터베이스의 유사한 파라미터와 비교될 수 있다.
현재 음향 이미지 데이터와 데이터베이스에 저장된 히스토리컬 음향 이미지 데이터 (예를 들어, 이전에 캡쳐된 이미지, 복수의 이전에 캡쳐된 이미지로부터 생성 된 합성 이미지, 공장에서 제공된 예상 이미지 등)를 비교하는 것은 복수의 방법으로 수행될 수 있다. 도 12a-도 12c는 음향 이미지 데이터를 데이터베이스에 저장된 히스토리컬 음향 이미지 데이터와 비교하기위한 여러 예시적인 방법을 도시한다. 도 12a는 음향 시야(1212)를 갖는 음향 센서 어레이(1202) 및 전자기 시야(1214)를 갖는 전자기 이미징 도구(1204)를 포함하는 음향 이미징 도구 (1200)를 도시한다. 도시된 바와 같이, 전자기 시야(1214) 및 음향 시야(1212)는 관심 물체(1222)을 포함하는 목표 장면(1220)을 포함한다. 일부 실시예에서, 음향 이미징 도구(1200)는 관심 물체(1222)가 전자기 시야(1214) 및 음향 시야(1212)에 있도록 위치에 영구적으로 고정된다. 일부 실시예에서, 음향 이미징 도구(1200)는 유도 또는 기생 전력을 통해 전력을 공급받을 수 있거나, 또는 건물의 AC 주 전력에 배선 될 수 있거나, 또는 물체(1222)를 지속적으로 모니터링하도록 구성될 수 있다.
고정 음향 이미징 도구(1200)는 물체(1222)의 음향 및/또는 전자기 이미지 데이터를 주기적으로 캡처하도록 구성될 수 있다. 음향 이미징 도구(1200)는 일반적으로 제자리에 고정되기 때문에, 서로 다른 시간에 캡처된 이미지는 거의 동일한 시점에서 촬영될 것이다. 일부 예시들에서, 음향 이미징 도구(1200)를 통해 캡처된 음향 이미지 데이터는 예를 들어 음향 장면의 변칙(anomaly) 또는 이상(abnormality)을 검출하기 위해 대략 동일한 장면을 나타내는 음향 이미지 데이터의 데이터베이스와 비교될 수 있다. 이는 예를 들어, 참고로 포함된 미국 특허 출원 제15/190,792호에 기술된 바와 같이 수행될 수 있다.
도 12b는, 예를 들어 휴대용 음향 이미징 도구 상의 예시적인 디스플레이를 도시한다. 디스플레이(1230)는 1232 및 1234의 두 섹션을 포함한다. 예시된 예시에서, 섹션(1234)은 관심 물체의 데이터베이스 이미지(1244)를 도시하는 반면, 섹션(1232)은 물체의 실시간 음향 이미지 데이터의 라이브 디스플레이(1242)를 포함한다. 이러한 나란히 보기에서, 사용자는 (예를 들어, 데이터베이스 이미지(1244)에 도시된 바와 같이) 전형적인 음향 신호와 현재 실시간 이미지(1242) 간의 임의의 차이를 보기 위해 라이브 이미지(1242)를 데이터베이스 이미지(1244)와 비교할 수 있다. 유사하게, 사용자는 라이브 이미지(1242)가 데이터베이스 이미지(1244)와 대략적으로 일치하는지 비교할 수 있다. 그렇다면, 사용자는 데이터베이스 이미지(1244)에 대한 추가 분석 및/또는 비교를 위해 라이브 음향 이미지를 캡처할 수 있다.
도 12c는, 예를 들어 휴대용 음향 이미징 도구상의 다른 예시적인 디스플레이를 도시한다. 도 12c의 디스플레이(1250)는 동일한 디스플레이(1252) 상의 데이터베이스 이미지(1254) 및 라이브 이미지(1256)를 도시한다. 도 12c의 예시에서, 사용자는 차이를 보기 위해 라이브 이미지(1256)의 음향 이미지 데이터를 데이터베이스 이미지(1254)의 음향 이미지 데이터와 유사하게 비교할 수 있다. 추가적으로, 사용자는 추가 분석 및 비교를 하기위해 라이브 이미지(1256)의 물체를 데이터베이스 이미지(1254)의 물체와 정렬하기 위해 음향 이미징 도구의 정렬을 조정할 수 있다.
도 12a 내지 도 12c의 프로세스의 결과로서, 라이브 및/또는 최근에 캡처된 음향 이미지는, 예컨대 데이터베이스로부터, 이전 음향 이미지 데이터와 비교될 수 있다. 일부 예에서, 이러한 프로세스는 자동화된 비교를 위해 라이브 및/또는 최근 캡처된 음향 이미지를 데이터베이스 이미지와 함께 등록하는데 사용될 수 있다. 데이터베이스 이미지와 유사한 유리한 지점으로부터 음향 이미지 데이터를 "재 캡처"하는데 사용될 수 있는 다른 프로세스는 2011 년 12 월 20 일에 출원된 미국 특허 출원 번호 제13/331,633호 "적외선 재촬영용 열적 이미징 카메라(THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY)", 2011 년 12 월 20 일에 출원된 미국 특허 출원 번호 제13/331,644호 “적외선 재촬영용 열적 이미징 카메라 (THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY)”, 및 2011 년 12 월 23 일에 출원된 미국 특허 출원 번호 제13/336,607호 "적외선 재촬영용 열적 이미징 카메라"에 기술되어 있으며, 각각은 즉시 본 출원의 양수인에게 할당되며 원용에 의해 전체로서 본원에 포함된다.
실시간 음향 이미지 데이터 및/또는 음향 시그니처를 비슷한 장면/물체의 대응하는 음향 이미지 및/또는 음향 시그니처와 비교하는 것은 장면/물체의 작동 상태에 대한 빠르고 단순화된 분석을 제공하기 위해 사용될 수 있다. 예를 들어, 비교는 음향 장면 내의 특정 위치가 전형적인 작동 동안과는 다른 세기 또는 주파수 스펙트럼을 갖는 음향 신호를 방출하고 있음을 나타낼 수 있으며, 이는 문제를 나타낼 수 있다. 마찬가지로 장면의 위치는 전형적으로 무음인 음향 신호를 방출할 수 있다. 추가적으로 또는 대안적으로, 데이터베이스로부터의 라이브 장면과 히스토릭한 장면의 전체 음향 시그니처의 비교는 일반적으로 주파수 콘텐츠, 음향 세기 등과 같은 장면의 음향 파라미터의 변화를 나타낼 수 있다.
일부 예시에서, 음향 분석 시스템은 최근/실시간 음향 장면을 데이터베이스와 비교하도록 구성된다. 일부 실시예에서, 음향 분석 시스템은 최근/실시간 장면과 데이터베이스 장면 사이의 차이를 특성화하고 비교에 기초하여 현재 장면에서 하나 이상의 가능한 문제를 진단하도록 구성된다. 예를 들어, 일부 실시예에서, 사용자는 음향 데이터베이스와 비교하기 위해 관심 물체 또는 목표 장면을 미리 선택할 수 있다. 음향 분석 시스템은 장면을 분석하기 위해 선택된 물체/장면에 기초하여 데이터베이스 이미지 및/또는 다른 파라미터를 최근/현재 이미지 및/또는 다른 파라미터와 비교할 수 있다. 데이터베이스로부터 선택된 물체/장면에 기초하여, 음향 분석 시스템은 데이터베이스 이미지/파라미터와 최근/현재 이미지/파라미터 간의 하나 이상의 차이를 식별할 수 있으며, 식별된 차이(들)를 차이의 하나 이상의 가능한 원인과 연관시킬 수 있다.
일부 예시에서, 음향 분석 시스템은 복수의 진단 정보로 사전 프로그래밍될 수 있으며, 예를 들어 데이터베이스 이미지/파라미터 및 최근/현재 이미지/파라미터 간의 다양한 차이를 원인 및/또는 원인에 대한 해결책과 연관시킨다. 추가적으로 또는 대안적으로, 사용자는 예를 들어 진단 데이터의 저장소로부터 이러한 진단 정보를 로드할 수 있다. 이러한 데이터는, 예를 들어 음향 분석 시스템의 제조업체, 관심 물체의 제조업체 등에 의해 제공될 수 있다. 또 다른 예시에서, 음향 분석 시스템은 예를 들어 하나 이상의 기계 학습 프로세스를 통해 진단 정보를 추가로 또는 대안적으로 학습할 수 있다. 이러한 일부 예시들에서, 사용자는 전형적인 장면으로부터의 음향 편차를 관찰한 후 목표 장면에서 하나 이상의 문제를 진단할 수 있고, 하나 이상의 문제 및/또는 하나 이상의 해결책을 나타내는 데이터를 음향 분석 시스템에 입력할 수 있다. 시스템은 시간이 지남에 따라 여러 데이터 항목을 통해 최근/현재 이미지 및/또는 파라미터와 데이터베이스에 저장된 이미지 사이의 상이한 불일치를 특정 문제 및/또는 해결책과 연관시키는 것을 학습하도록 구성될 수 있다. 문제 진단 및/또는 제안된 해결책 결정 시, 음향 분석 시스템은 예를 들어 디스플레이를 통해 사용자에게 의심되는 문제 및/또는 제안된 해결책을 출력하도록 구성될 수 있다. 이러한 디스플레이는 휴대용 음향 검사 도구 또는 원격 디바이스 (예를 들어, 사용자의 스마트폰, 태블릿, 컴퓨터 등)에 있을 수 있다. 추가적으로 또는 대안적으로, 잠재적인 문제 및/또는 해결책을 나타내는 이러한 디스플레이는 예를 들어 네트워크를 통해 오프 사이트 운영자(off-site operator)/시스템 모니터와 같은 원격 사이트로 통신될 수 있다.
일부 예시적인 진단 특성화에서, 음향 분석 시스템은 작동 기계에 추가적인 윤활이 필요함을 나타내는 특정 주기적인 삐걱거리는 소리를 관찰할 수 있다. 마찬가지로, 일정한 높은-피치의(high-pitched) 신호는 목표 장면에서 가스 또는 공기 누출을 나타낼 수 있다. 다른 문제는 유사하게 분석 중인 물체 내의 베어링 파손과 같은 인식 가능한 음향 시그니처를 가질 수 있으므로 음향 이미징 시스템 (예를 들어, 휴대용 음향 이미징 도구)을 통해 음향 시그니처를 보는 것은 시스템 또는 물체의 어떠한 이상을 진단하는데 도움이 될 수 있다.
수신된 음향 신호를 베이스라인(예를 들어, 음향 이미지 데이터 및/또는 데이터베이스로부터의 파라미터)과 비교하고, 진단 정보를 수행하고, 및/또는 보정 조치를 제안할 수 있는 음향 분석 시스템은, 숙련된 전문가가 장면의 음향 데이터를 분석을 수행할 필요성을 제거할 수 있다. 오히려 음향 데이터를 분석하는 경험이 제한적이거나 전혀 없는 시스템 운영자가 음향 검사 및 분석을 수행할 수 있다.
도 13은 물체 진단을 위해 수신된 음향 이미지 데이터를 데이터베이스와 비교하는 예시적인 동작을 보여주는 프로세스 흐름도이다. 본 방법은 관심 목표의 선택을 수신하는 단계(1380) 및 데이터베이스로부터 관심 목표의 베이스 라인 음향 이미지 및/또는 음향 파라미터를 검색하는 단계(1382)를 포함한다. 예를 들어, 사용자는 특정 관심 물체의 음향 분석을 수행하기를 원할 수 있으며, 데이터베이스의 사용 가능한 베이스 라인 음향 이미지 및/또는 파라미터를 갖는 미리 정의된 물체의 목록으로부터 그러한 물체를 선택할 수 있다.
방법은, 예를 들어 휴대용 음향 이미징 도구를 사용하여 관심 목표를 나타내는 음향 이미지 데이터 및 연관된 파라미터를 캡처하는 단계(1384)를 더 포함한다. 음향 이미지 데이터 및 연관된 파라미터를 캡처(1384)한 후, 방법은 캡처된 음향 이미지 데이터 및/또는 연관된 파라미터를 검색된 베이스라인 이미지 및/또는 파라미터와 비교하는 단계(1386)를 포함한다.
도 13은 캡처된 음향 이미지 데이터 및/또는 파라미터가 베이스라인으로부터 충분히 벗어나면(1388), 비교에 기초하여 관심 목표의 동작 문제를 진단하는 단계(1390)를 더 포함한다. 본 방법은 가능한 문제의 표시 및/또는 보정 조치를 사용자에게 표시하는 단계(1392)를 더 포함할 수 있다. 일부 실시예에서, 비교 디스플레이, 예를 들어, 현재 음향 이미지 데이터 및 베이스 라인 음향 이미지 데이터 사이의 차이를 도시하는 차이 이미지는 추가적으로 또는 대안적으로 사용자에게 디스플레이될 수 있다.
일부 그러한 예시에서, 베이스라인으로부터의 편차가 있는지를 결정하는 것(1388)은 캡처된 데이터의 하나 이상의 음향 파라미터를 베이스라인 데이터의 유사 파라미터와 비교하는 것, 및 캡처된 것과 베이스라인 파라미터 사이의 차이가 미리 결정된 임계값을 초과하는지를 결정하는 것을 포함한다. 다양한 예시에서, 상이한 파라미터는 상이한 임계값을 포함할 수 있고, 그러한 임계값은 절대 임계값, 통계적 임계값 등일 수 있다. 일부 실시예에서, 비교는 위치 별로 수행될 수 있고, 장면 내의 위치의 서브 세트에 대해 수행될 수 있다.
예를 들어, 도 9b에 관련하여, 음향 이미지 데이터를 포함하고 물체에 나타나는 위치(예를 들어, 위치 910, 940)만 물체의 동작에 대해 분석될 수 있다. 이러한 예시에서, 비교될 각각의 위치 (예를 들어, 910 및 940)에서 상이한 음향 파라미터가 캡처된 이미지와 데이터베이스 이미지 사이에서 개별적으로 비교된다. 예를 들어, 캡처된 데이터 및/또는 연관된 파라미터를 데이터베이스로부터의 것과 비교하는 것은, 도 9b를 참조하면, 캡처된 이미지에서 위치(910)의 주파수, 세기 및 주기성을 데이터베이스 이미지에서 위치(910)의 주파수, 세기, 및 주기성과 각각 비교하는 것을 포함한다. 캡처된 이미지와 데이터베이스 이미지 사이의 위치(940)에서 유사한 비교가 수행될 수 있다. 설명된 바와 같이, 각 비교는 베이스라인으로부터 충분한 편차가 있는지 결정하기 위한(1388) 다른 메트릭을 포함할 수 있다.
작동 문제를 진단하고(1390), 가능한 문제의 표시 및/또는 보정 조치를 디스플레이하는 것(1392)은 캡처된 이미지 데이터와 베이스라인 이미지 데이터 간의 비교 및/또는 파라미터 간의 비교의 조합에 기초하여 수행될 수 있다. 일부 예시에서, 이러한 진단은 주어진 위치에서 여러 파라미터의 비교를 결합하는 것과 같은 다차원 분석을 포함할 수 있다. 예를 들어, 예시적인 실시예에서, 특정 조건은 제1 임계값보다 큰 베이스라인으로부터의 주파수 편차 및 제 2 임계 값보다 큰 베이스라인으로부터의 세기 편차 모두에 의해 표시될 수 있다.
일부 예시에서, 심지어 가능한 문제 및/또는 보정 조치의 표시를 디스플레이(1392)한 후에도, 프로세스는 새로운 음향 이미지 데이터 및 연관된 파라미터를 캡처(1384)하고 비교 및 진단 프로세스를 반복하는 것을 포함할 수 있다. 따라서, 사용자는 식별된 문제를 교정(rectify)하고 및/또는 물체의 음향 시그니처를 베이스라인과 일치시키기 위해 취해진 보정 조치가 물체의 음향 시그니처를 효과적으로 변경하는지 여부를 관찰할 수 있다.
일부 실시예에서, 만일, 캡처된 데이터를 베이스라인 데이터와 비교(1386)한 후, 베이스라인으로부터 충분한 편차가 없으면(1388), 프로세스는, 물체의 현재 음향 시그니처에 기초하여 물체가 정상적으로 작동하고 있다는 결론으로 종료(1394)될 수 있다. 추가적으로 또는 대안적으로, 관심 물체의 새로운 음향 이미지 데이터 및 연관된 파라미터가 캡처(1384)될 수 있고, 비교 및 진단 프로세스가 반복될 수 있다. 일부 예시에서, 예를 들어, 도 12a의 음향 이미징 도구(1200)를 포함하는 고정된 음향 분석 시스템을 사용하여 연속 반복 분석이 수행될 수 있다.
음향 데이터 (예를 들어, 이미지 데이터 및/또는 다른 음향 파라미터)의 비교는 사용자가 물체가 올바르게 기능하는지 여부를 보다 쉽게 식별하고 그렇지 않은 경우 물체의 문제를 진단하는 데 도움을 줄 수 있다. 일부 예시에서, 베이스라인과 비교하는 것은 사용자가 예상되는 작동 소리 또는 물체의 작동 문제와 관련이 없을 수 있는 바닥/배경 소리와 같은 장면에서 "정상적인" 소리를 무시하는 데 도움이 될 수 있다.
작동 중에, 음향 이미지 데이터 및/또는 연관된 음향 파라미터를 관찰하거나 현재 음향 장면과 데이터베이스 음향 장면 간의 비교 결과를 관찰하는 것은 사용자에게 추가 검사를 위한 관심 위치를 나타낼 수 있다. 예를 들어, 데이터베이스 이미지로부터의 편차를 도시하는 비교 음향 이미지는 비정상적으로 작동하는 장면에서 하나 이상의 위치를 나타낼 수 있다. 유사하게, 예상치 못한 하나 이상의 위치에서 음향 시그니처를 가지는 음향 이미지를 보는 것은 사용자에게 관심 위치를 나타낼 수 있다. 예를 들어, 도 10b를 참조하면, 음향 이미징 시스템의 디스플레이 상의 도 10b를 관찰하는 사용자는 특정 위치(예를 들어, 1020)에서 예상치 못하게 방출되는 음향 신호가 있다는 것을 인식할 수 있으며, 또는 유사하게, 베이스라인 이미지와의 비교는 해당 위치에서 음향 신호의 예상치 못한 파라미터(예를 들어, 예상치 못한 주파수, 세기 등)를 나타낸다는 것을 인식할 수 있다.
이러한 일부 예시들에서, 사용자는 비정상적인 위치에 대해 더 면밀하게 검사하기 위해 그러한 위치에 더 가까이 이동할 수 있다. 물체에 더 가까이 이동하면, 음향 어레이와 목표 위치 사이의 새로운 거리를 반영하기 위해 거리-목표 값이 업데이트될 수 있다. 음향 센서 어레이 및/또는 역전파 알고리즘은 업데이트 거리-목표에 기초하여 업데이트될 수 있다. 추가적으로 또는 대안적으로, 더 가까운 위치로부터 업데이트된 음향 분석은 목표로부터 음향 신호의 상이한 분석을 생성할 수 있다. 예를 들어, 고주파 음향 신호 (예를 들어, 초음파 신호)는 음향 신호의 소스로부터 비교적 짧은 거리에 걸쳐 감쇠하는 경향이 있다. 따라서, 사용자가 추가 검사를 위해 목표에 더 가까이 다가가면, 추가 신호(예를 들어, 고주파 신호)가 음향 센서 어레이에 보일 수 있다. 관찰 가능한 장면의 이러한 명백한 변화는 음향 센서 어레이 및/또는 음향 이미징에 사용되는 역 전파 알고리즘을 조정하는 것을 가져올 수도 있다.
이에 따라, 음향 이미징에 사용되는 센서 어레이 및/또는 역전파 알고리즘은 사용자가 관심 물체 또는 영역에 더 가까이 이동할 때 한 번 이상 업데이트될 수 있다. 각 업데이트는 상이한 센서 어레이 및/또는 역전파 알고리즘을 사용하여 먼 거리에서 관찰 가능하지 않을 수 있는 관심 물체 또는 영역에 대한 추가 세부 정보를 제공할 수 있다. 예를 들어, 더 넓은 장면의 초기 관찰을 기초하여 관심 물체 또는 영역에 더 가까이 이동하면, 환경의 배경 소리에 비해 관심있는 음향 신호의 음향 세기를 더 높일 수 있다.
일부 실시예에서, 음향 분석 시스템(예를 들어, 휴대용 음향 이미징 도구)은 사용자가 장면 내에서 물체 또는 관심 영역에 더 가깝게 이동하도록 촉구할 수 있다. 예를 들어, 현재 음향 이미지를 베이스라인 데이터베이스 이미지와 비교할 때, 음향 분석 시스템은 베이스 라인으로부터 벗어나는 장면에서 하나 이상의 위치를 식별할 수 있다. 음향 분석 시스템은, 예를 들어 디스플레이를 통해 사용자에게 이러한 하나 이상의 위치를 강조 표시하고, 추가 분석을 위해 사용자가 식별된 위치(들)에 더 가까이 이동하도록 제안할 수 있다. 일부 예시에서, 음향 분석 시스템은 물체의 하위 구성 요소 또는 환경 내의 특정 물체와 같은 식별된 위치를 데이터베이스에 저장된 자체 베이스라인 프로파일을 갖는 것으로 분류할 수 있다. 시스템은 사용자가 추가 검사를 위해 더 가까이 이동할 때 식별된 위치의 추가 분석을 용이하게 하기 위해 분류된 위치의 그러한 프로파일을 제안 및/또는 구현하도록 구성될 수 있다.
여기에 설명된 시스템 및 프로세스는, 음향 검사의 속도, 효율성, 정확성 및 완전성을 개선하는데 사용될 수 있다. 다양한 자동화된 조치 및/또는 제안(예를 들어, 센서 어레이, 역전파 알고리즘 등)은 경험이 없는 사용자가 음향 장면의 철저한 음향 검사를 수행할 수 있을 때까지 검사의 용이성을 높일 수 있다. 또한. 이러한 프로세스는 전체 시스템, 개별 물체, 및 개별 물체의 하위 구성 요소와 같은 광범위한 장면을 분석하는 데 사용될 수 있다. 음향 장면의 베이스라인 음향 데이터의 사전 정의된 및/또는 사용자 생성된 프로파일은 경험이 없는 사용자도 캡처된 음향 데이터의 이상을 식별하는 데 도움을 줄 수 있다.
가시광, 적외선 및/또는 자외선 이미지 데이터와 같은 다른 데이터 스트림에 음향 이미지 데이터를 등록하는 것은, 음향 이미지 데이터에서 표현되는 음향 신호를 방출하는 물체에 대한 추가 컨텍스트 및 세부 사항을 제공할 수 있다. 음향 센서 어레이와 거리 측정 도구(예를 들어, 레이저 거리 측정기(a laser distance finder))를 결합하는 것은 사용자가 음향 이미징 프로세스 동안 사용할 적절한 거리-목표 값을 빠르고 쉽게 결정하는 것을 도울 수 있다. 다양한 예시에서, 음향 센서 어레이, 거리 측정 도구, 프로세서, 메모리 및 하나 이상의 추가 이미징 도구 (예를 들어, 가시광 카메라 모듈, 적외선 카메라 모듈 등)는 복수의 장면의 효율적인 음향 분석을 제공할 수 있는 휴대용 음향 이미징 도구의 단일 하우징으로 지원될 수 있다. 이러한 휴대용 음향 이미징 도구는 여러 관심 물체의 빠른 분석을 위해 장면으로부터 장면으로 이동될 수 있다. 마찬가지로, 휴대용 도구를 사용하여, 사용자는 추가 검사 또는 분석을 위해 장면 내에서 관심 위치에 더 가까이 이동할 수 있다.
음향 이미징을 수행하고 음향 이미지 데이터를 생성하고 디스플레이하기 위한 다양한 시스템 및 방법이 본 명세서에 기술된다. 예시적인 시스템은, 음향 장면으로부터 음향 신호를 수신하고 수신된 음향 신호에 기초하여 음향 데이터를 출력하도록 구성된 복수의 음향 센서 요소를 포함하는 음향 센서 어레이를 포함할 수 있다.
시스템은 목표 장면으로부터 전자기 방사를 수신하고 수신된 전자기 방사를 나타내는 전자기 이미지 데이터를 출력하도록 구성된 전자기 이미징 도구를 포함할 수 있다. 이러한 이미징 도구는 적외선 이미징 도구, 가시광 이미징 도구, 자외선 이미징 도구 등 또는 이들의 조합을 포함할 수 있다.
시스템은 음향 센서 어레이 및 전자기 이미징 도구와 통신하는 프로세서를 포함할 수 있다. 프로세서는 전자기 이미징 도구로부터 전자기 이미지 데이터를 수신하고 음향 센서 어레이로부터 음향 데이터를 수신하도록 구성될 수 있다. 프로세서는 수신된 음향 데이터, 및 목표까지의 거리를 나타내는 수신된 거리 정보, 예를 들어 역전파 계산을 통해 수신된 거리 정보에 기초하여 장면의 음향 이미지 데이터를 생성하도록 구성될 수 있다. 음향 이미지 데이터는 본 명세서의 다른 곳에서 기술된 것과 같은 팔레트 또는 색 구성표에 의한 것과 같은 음향 데이터의 시각적 표현을 포함할 수 있다.
프로세서는 생성된 음향 이미지 데이터와 수신된 전자기 이미지 데이터를 결합하여 음향 이미지 데이터와 전자기 이미지 데이터를 모두 포함하는 디스플레이 이미지를 생성하고, 디스플레이 이미지를 디스플레이에 통신하도록 구성될 수 있다. 음향 이미지 데이터와 전자기 이미지 데이터를 결합하는 것은, 예를 들어 수신된 거리 정보에 기초하여, 음향 이미지 데이터와 전자기 이미지 데이터 사이의 시차 에러를 보정하는 것을 포함할 수 있다.
일부 예시들에서, 거리 정보는 프로세서와 통신하는 거리 측정 도구로부터 수신될 수 있다. 거리 측정 도구는, 예를 들어 레이저 거리 측정 디바이스와 같은 광학 거리 측정 디바이스 및/또는 음향 거리 측정 디바이스를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자는, 예를 들어 사용자 인터페이스를 통해 수동으로 거리 정보를 입력할 수 있다.
시스템은 주파수, 데시벨 레벨, 주기성, 거리 등과 같은 선택된 파라미터 또는 이들의 조합에 기초하여 소리 또는 소리 프로파일과 같은 관심 지점의 위치를 식별하는데 도움이 되는 레이저 포인터를 포함할 수 있다. 이러한 레이저 포인터는 디스플레이 상에 디스플레이되는 것처럼 적절한 소리 시각화를 사용하여 장면의 시야를 정확히 찾아 정렬하는데 사용될 수 있다. 이는 검사 대상 물체가 음향 이미징 디바이스에 상대적인 거리에 있거나 디스플레이 상의 소리의 시각화가 실제 장면에 상대적으로 명확하지 않은 환경에서 유용할 수 있다.
일부 예시들에서, 레이저 포인터는 디스플레이 상에서 시각화될 수 있다. 이러한 시각화는 실제 장면에서 레이저 포인터를 나타내는 디스플레이 상에 레이저 포인터 지점(예를 들어, 프로세서를 통해)을 생성하는 것을 포함할 수 있다. 일부 예시들에서, 레이저 포인터의 위치는, 예를 들어, 실제 장면에 대한 디스플레이 상의 위치를 더 잘 결정하기 위해 장면에서 레이저 포인터를 나타내는 아이콘 또는 또다른 정렬된 디스플레이 마커를 사용하여 디스플레이 상에서 향상될 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 열적 이미징 시스템은, 예컨대 음향 이미지 데이터를 생성하는 것에 의해, 하나 이상의 음향 센서에 의해 생성된 음향 데이터의 (예를 들어, 팔레트화된) 거짓-색(false-color), 기호, 또는 기타 비수치적 시각적 표현을 생성하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 시스템은 스피커, 헤드폰, 유선 또는 원격 통신 헤드셋 등을 통해 사용자에게 오디오 피드백을 제공할 수 있다. 이러한 오디오 또는 헤테로다인 오디오(heterodyne audio)의 전송은 검출되고 디스플레이된 소리의 시각적 표현과 동기화될 수 있다.
다양한 예시에서, 음향 데이터는, 예를 들어 이러한 데이터의 이해를 용이하게 하고 시청자가 시각화되는 소리의 특성에 대해 잘못된 가정을 하는 것을 방지하기 위해 다양한 방식으로 시각화될 수 있다. 일부 예시에서 다양한 유형의 시각화는 시각화된 소리의 직관적인 이해를 제공할 수 있다.
일부 실시예에서, 생성된 디스플레이는 시각화되는 소리에 관한 정보의 철저한 프리젠테이션을 제공하기 위해 상황별 수치 및/또는 영숫자 데이터를 갖는 비수치적 시각적 표현을 포함하며, 이는 사용자가 하나 이상의 적절한 조치의 과정을 결정 및/또는 구현하는데 도움이 될 수 있다.
다양한 비수치적 그래픽 표현 (예를 들어, 기호, 팔레트화 등) 및 영숫자 정보를 포함하는 다양한 디스플레이 특징이 결합될 수 있다. 일부 실시예에서, 장면의 주어진 표현에 존재하는 디스플레이 특징은, 예를 들어 복수의 선택 가능한 설정으로부터 사용자에 의해 맞춤화될 수 있다. 추가적으로 또는 대안적으로, 디스플레이 특징의 미리 설정된 조합은 사용자에 의해 디스플레이 이미지에 원하는 정보 조합이 자동으로 포함되도록 선택될 수 있다. 다양한 실시예에서, 디스플레이 이미지의 양태는, 예를 들어 (예를 들어, 터치스크린을 통해 제공되는) 가상 인터페이스 및/또는 물리적 제어를 통해 사용자에 의해 조정 가능하다.
도 14는 기울기 팔레트화 방식을 사용한 음향 데이터의 시각화를 도시한다. 도시된 바와 같이, 음향 파라미터 (예를 들어, 세기)는 기울기 팔레트화 방식을 통해 도시된다. 예시적인 기울기 팔레트화 방식에서, 파라미터값은 팔레트화 방식에 따라 그와 관련된 고유한 색상을 가질 것이다. 주어진 픽셀에서 파라미터 값이 변경되면, 일반적으로 새로운 파라미터값을 나타내기 위해 해당 픽셀과 연관된 색상이 변경된다. 도 14의 예시에 도시된 바와 같이, 음향 파라미터 값은 위치 232, 234, 236에서 음향 신호의 중앙 위치에서 방사 상으로 변경되는 것으로 나타난다. 기울기 팔레트화의 다른 예시는 2017 년 11 월 2 일에 출원된 미국 특허 출원 번호 제15/802,153호에 기술되어 있으며, 이는 본 출원의 양수인에게 양도되었다.
도 15는 음영 처리된 복수의 동심원을 사용하는 음향 데이터의 시각화를 도시한다. 이러한 일부 예에서, 파라미터 값과 연관된 색상을 갖는 기울기 팔레트화 방식과는 반대로, 도 15에 도시된 동심원의 각각의 단색은 그 색상과 연관된 값의 범위 내에서 음향 파라미터 값을 갖는 픽셀을 나타낼 수 있다. 예시된 예시에서, 위치(332, 334, 336)에서 음향 신호와 연관된 음향 파라미터(예를 들어, 세기)는 음향 신호의 중심으로부터 방사상으로 변경된다. 예시적인 팔레트화 방식에서, 빨간색으로 표시된 픽셀은 파라미터 값의 제1 범위 내의 음향 파라미터 값을 나타내고, 노란색으로 표시된 픽셀은 파라미터 값의 제2 범위 내의 음향 파라미터 값을 나타내고, 녹색으로 표시된 픽셀은 파라미터 값의 제3 범위 내의 음향 파라미터 값을 나타내나, 추가 또는 대체 색상, 패턴 등을 포함하는 다른 디스플레이 기술도 가능하다. 다양한 실시예에서, 값의 범위는 10dB 내지 20dB의 세기값과 같은 절대 범위에 대응할 수 있거나, 또는 최대 세기의 90 % 내지 100 % 사이의 세기값과 같은 상대적인 범위일 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 전자기 이미지 데이터 및 음향 이미지 데이터를 포함하는 디스플레이 이미지는 음향 신호의 시각적 표시 및 음향 신호와 연관된 하나 이상의 파라미터의 영숫자 표현을 모두 포함할 수 있다. 도 16은 비수치 정보(예를 들어, 파라미터 값 범위를 통한 팔레트화) 및 영숫자 정보를 모두 보여주는 예시적인 시각화를 도시한다. 예시된 예시에서, 영숫자 소리 세기값 라벨은 팔레트화된 음향 이미지 데이터 (예를 들어, 세기 데이터)를 갖는 3 개의 위치 각각과 연관된다. 도시된 바와 같이, 음향 신호는 영숫자 정보(각각 1612, 1614, 1616)뿐만 아니라 그와 연관된 음향 파라미터(1602, 1604, 1606)를 나타내는 대응하는 시각적 표시자를 갖는다. 예시적인 실시예에서, 영숫자 정보는 팔레트화된 음향 데이터가 디스플레이되는 위치와 연관된 최대 세기값과 같은 수치값을 제공할 수 있다. 일부 예시에서, 사용자는 팔레트화 및/또는 영숫자 데이터를 디스플레이할 하나 이상의 위치를 선택할 수 있다. 예를 들어, 사용자는 장면 내의 하나 이상의 음향 신호와 연관된 음향 파라미터의 영숫자 표현을 사용하여 디스플레이 이미지에 주석을 달도록 선택할 수 있다.
일부 예시들에서, 영숫자 정보는 장면의 주어진 위치에서 음향 신호와 연관된 복수의 파라미터 (예를 들어, 음향 파라미터)를 나타낼 수 있다. 도 17은 비숫자 정보 (예를 들어, 파라미터 값 범위를 통한 팔레트화) 및 영숫자 정보를 모두 포함하는 예시적인 시각화를 도시한다. 예시된 예시에서, 소리 세기값 및 대응하는 주파수 값(예를 들어, 평균 주파수 또는 피크 주파수)은 각각 표시자 1702, 1704, 1706을 통해 도시된 팔레트화된 음향 데이터(예를 들어, 세기 데이터)를 갖는 세 위치 각각과 연관된 영숫자 정보(1712, 1714, 1716)에 도시된다. 도 16과 관련하여 논의된 것과 유사하게, 다양한 위치에서 이러한 다양한 데이터를 포함하는 것은 사용자에 의해 개시될 수 있다. 예를 들어, 사용자는 장면 내의 하나 이상의 음향 신호와 연관된 하나 이상의 음향 파라미터의 영숫자 표현을 사용하여 디스플레이 이미지에 주석을 달도록 선택할 수 있다.
도 18은 비숫자 정보(예를 들어, 파라미터값 범위를 통한 팔레트화) 및 영숫자 정보 모두를 보여주는 또 다른 예시적인 시각화를 도시한다. 예시된 예시에서, 거리 측정은 각각 표시자(1802, 1804, 1806)를 통해 도시된 팔레트화된 음향 데이터(예를 들어, 세기 데이터)를 갖는 3 개의 위치 각각과 연관된 영숫자 정보(1812, 1814, 1816)와 함께 포함된다. 도 16과 관련하여 논의된 바와 유사하게, 다양한 위치에서 다양한 이러한 다양한 데이터를 포함하는 것은 예를 들어 디스플레이 이미지 주석의 일부로서 사용자에 의해 선택될 수 있다.
일부 예시에서, 비숫자 표현은 복수의 음향 파라미터와 관련된 정보를 통신하는 데 사용될 수 있다. 예를 들어, 도 19는 상이한 음향 파라미터 값을 나타내는 상이한 크기 및 색상의 표시자(1902, 1904, 1906) (이 경우에는 원)를 보여주는 예시적인 시각화를 도시한다. 예시적인 실시예에서, 표시자의 크기는 주어진 위치에서 음향 신호의 세기에 대응하는 반면, 표시자의 색상은 피크 또는 평균 주파수에 해당한다. 예시적인 실시예에서, 표시자 크기는, 하나의 표시자의 크기를 다른 표시 자의 크기와 비교하는 것이 표시자와 연관된 위치에서 표현된 음향 파라미터 값들 사이의 상대적인 차이를 나타내도록 상대값을 도시할 수 있다. 추가적으로 또는 대안적으로, 절대적 또는 상대적 음향 파라미터값을 제공하기 위해 영숫자 정보가 포함될 수 있다.
일부 실시예에서, 색상화된 표시자는 하나 이상의 검출된 음향 신호 및/또는 베이스라인 파라미터로부터의 편차의 양과 같은 연관 음향 파라미터의 심각도를 나타내는데 사용될 수 있다. 도 20은 대응하는 위치로부터의 음향 신호에 의해 표시되는 심각도를 나타내는 상이한 색상을 갖는 복수의 표시자(2002, 2004, 2006)을 도시하는 예시적인 시각화를 도시한다. 예를 들어, 예시적인 실시예에서, 빨간색 표시자는 하나 이상의 음향 파라미터(예를 들어, 전형적인 작동 조건의 베이스라인과 같은 베이스라인과 비교할 때)에 기초한 임계 심각도를 나타내고, 노란색 표시자는 중간 정도의 심각도를 나타내고, 녹색 표시자는 경미한 심각도를 나타낸다. 다른 예에서, 다른 색 구성표 또는 외관 특성 (예를 들어, 표시자 투명도, 표시자 크기 등)이 음향 신호의 심각도를 시각적으로 구별하기 위해 사용될 수 있다. 예시된 예시에서, 표시자(2004)는 가장 높은 심각도 수준을 나타내고, 표시자(2006)는 그 다음으로 가장 심각한 수준을, 표시자(2002)는 가장 덜 심각한 음향 신호를 나타낸다.
본 명세서의 다른 곳에서 설명된 바와 같이, 다양한 실시예에서, 하나 이상의 음향 파라미터는 예를 들어, 팔레트화된 색상 또는 그레이 스케일 디스플레이를 통해 음향 장면의 시각적 표현 상에 디스플레이될 수 있다. 일부 실시예에서, 시스템은 식별된 주파수 범위, 세기 범위, 거리 범위 등과 같은 하나 이상의 음향 조건을 충족하는 장면에서 하나 이상의 위치를 식별하도록 구성될 수 있다. 일부 예시들에서, 음향 프로파일(예를 들어, 특정 세트의 조건 또는 파라미터를 만족시키는 것)에 대응하는 다양한 위치가 식별될 수 있다. 그러한 식별된 위치는 디스플레이 이미지를 생성하는데 사용되는 음향 이미지 데이터 팔레트화 방식과 구별되는 방식으로 제시될 수 있다. 예를 들어, 도 21은 장면 내의 복수의 위치에서 표시자를 포함하는 장면을 도시한다. 표시자(2101, 2102, 2103, 2104 및 2105)는 장면 내에 배치된다. 표시자(2103, 2104 및 2105)는 예를 들어 스케일(2110)에 대응하는 하나 이상의 음향 파라미터의 값을 나타내는 팔레트화된 음향 이미지 데이터를 포함한다. 표시자(2101 및 2102)는 위치(2103, 2104 및 2105)에 나타나는 팔레트화 방식과 구별할 수 있는 고유한 표현 방식을 갖는 것으로 도시된다. 이러한 실시예에서, 사용자는 하나 이상의 원하는 조건을 만족하는 이미지에서 이러한 위치를 빠르고 쉽게 식별할 수 있다. 이러한 일부 예시들에서, 사용자는, 예를 들어 2110과 같은 스케일로부터 값들의 범위의 선택에 기초하여 구별되는 방식으로 디스플레이하기 위한 하나 이상의 원하는 조건을 선택할 수 있다.
추가적으로 또는 대안적으로, 특정 사운드 프로파일의 조건을 충족하는 위치는 대응하는 음향 프로파일과 같은 충족된 조건을 나타내는 아이콘으로 제공될 수 있다. 예를 들어, 도 22는 장면 내에서 음향 프로파일을 인식한 디스플레이 이미지 표시 내에 위치된 복수의 아이콘(2202, 2204, 2206, 2208)을 도시한다. 도 22에 도시된 예시적인 프로파일은 베어링 마모, 공기 누출 및 전기 아크를 포함한다. 이러한 프로파일은 이러한 프로파일로 분류되기 위해 그러한 프로파일과 연관된 하나 이상의 파라미터 세트를 만족하는 음향 신호에 의해 식별될 수 있다.
도 23은 각각의 음향 신호와 연관된 음향 세기를 나타내는 동심원 및 영숫자 정보를 사용하여 복수의 표시자(2302, 2304, 2306)를 통해 음향 데이터를 보여주는 또 다른 예시적인 디스플레이를 도시한다. 본 명세서의 다른 곳에서 설명된 바와 같이, 일부 예에서, 표시자의 크기는 대응하는 위치에 존재하는 하나 이상의 음향 파라미터를 나타낼 수 있다. 일부 실시예에서, 표시자는 단색일 수 있고, 표시자 크기, 선 두께, 선 유형 (예를 들어, 실선, 점선 등)과 같은 하나 이상의 다른 방식으로 음향 파라미터를 나타낼 수 있다.
일부 예시에서, 디스플레이는 사용자에 의해 이루어진 선택에 기초한 영숫자 정보를 포함할 수 있다. 예를 들어, 일부 실시예에서, (예를 들어, 프로세서를 통한) 시스템은 그러한 위치의 (예를 들어, 사용자 인터페이스를 통해) 디스플레이 상의 표시자의 사용자 선택에 응답하여 특정 위치에 위치된 음향 신호의 하나 이상의 음향 파라미터를 나타내는 정보를 포함할 수 있다. 도 24는 표시자 및 표현된 음향 신호와 연관된 추가 영숫자 정보를 갖는 예시적인 디스플레이 이미지를 도시한다. 예시에서, 디스플레이 상의 표시자(2402)는 추가 분석을 위해 선택(예를 들어, 터치스크린 입력을 통한 것과 같은 선택을 나타낼 수 있는 십자선을 통해 표시되는)될 수 있다. 디스플레이는 표시자에 해당하는 위치와 연관된 데이터 목록을 포함하는 영숫자 정보(2404)를 도시하며, 여기에는 피크 세기와 해당 주파수, 주파수 범위, 위치 측정까지의 거리, 그 위치로부터의 음향 신호에 의해 표시되는 임계 수준이 포함된다.
일부 예에서, 디스플레이 이미지는 장면에서 대응하는 복수의 음향 신호를 나타내는 복수의 표시자를 포함할 수 있다. 일부 실시예에서, 그러한 경우에, 사용자는 (예를 들어, 터치스크린 또는 다른 사용자 인터페이스를 통해) 하나 이상의 표시자를 선택할 수 있고, 선택을 검출하는 것에 응답하여, 프로세서는 음향 신호에 관한 추가 정보를 제시할 수 있다. 이러한 추가 정보는 하나 이상의 음향 파라미터의 영숫자를 포함할 수 있다. 일부 예시들에서, 그러한 추가 정보는 다수의 음향 신호에 대해 동시에 디스플레이될 수 있다. 다른 예시에서, 주어진 음향 신호에 대한 이러한 추가 정보는 다른 음향 신호가 선택될 때 숨겨진다.
본원의 다른 곳에서 설명된 바와 같이, 일부 예시에서 시스템은 레이저 포인터를 포함할 수 있다. 일부 예시에서, 레이저 포인터는 고정된 방위를 가질 수 있거나, 예를 들어 프로세서를 통해 제어 가능한, 조정 가능한 포인팅을 가질 수 있다. 일부 예시에서, 시스템은 이미지에서 선택된 위치와 연관된 목표 장면의 위치에 레이저 포인터를 조준하도록 구성될 수 있다. 도 25a는 표시자(2502)가 선택되는 도 24에 도시된 디스플레이와 같은 디스플레이를 포함하는 (일부 예시에서, 초소형(handheld) 도구로 구현되는) 시스템을 도시한다. 레이저 포인터(2504)는 장면을 향해 레이저 빔(2506)을 방출하고, 여기서 레이저는 이미지에서 선택된 표시자(2502)의 위치에 대응하는 장면에 레이저 스팟(2508)을 생성한다. 이는 사용자가 환경에서 선택된 및/또는 분석된 음향 신호의 위치를 시각화하는 데 도움이 될 수 있다. 일부 실시예에서, 레이저 스팟(2508)은 전자기 이미징 도구에 의해 검출 가능하고, 디스플레이된 표시자(2502) 및 음향 파라미터 정보를 포함하는 영숫자 정보(2512)와 함께 디스플레이에서 볼 수 있다. 일부 예시에서, 음향 이미징 시스템은 장면에서 레이저의 위치를 검출 또는 예측하고 레이저 위치의 시각적 표시(2510)를 제공하도록 구성된다. 도 25b는 도 25a의 시스템 뷰에 도시된 것과 같은 디스플레이 이미지를 도시한다.
레이저 포인터가 고정된 방위를 갖는 실시예에서, 사용자는 레이저 위치의 시각적 표시를 가지는 디스플레이 이미지를 피드백으로 볼 수 있으므로 사용자는 선택된 음향 신호와 일치하도록 레이저의 포인팅을 조정할 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 음향 이미지 데이터는 디스플레이 이미지에서의 프레젠테이션을 위해 전자기 이미지 데이터와 결합될 수 있다. 일부 예시들에서, 음향 이미지 데이터는 전자기 이미지 데이터의 다양한 양태들이 도 27에 의해 완전히 가려지지 않도록 조정 가능한 투명도를 포함 할 수 있으며, 여기서 도 26은 장면의 한 위치에서 표시자(2602)에 의해 표현되는 음향 이미지 데이터를 도시하며, 여기서 표시자(2602)는 기울기 팔레트화 방식을 포함한다. 시스템은 전자기 이미지 데이터 및 음향 이미지 데이터를 포함하는 디스플레이 데이터를 제공하도록 구성된 음향 이미징 도구와 통합되거나 분리될 수 있는 디스플레이 디바이스를 포함할 수 있다.
일부 실시예에서, 디바이스(예를 들어, 초소형 음향 이미징 도구)는 물리적 블렌딩 제어(2614)(예를 들어, 사용자 인터페이스의 일부로 포함될 수 있는 하나 이상의 버튼, 노브, 슬라이더 등) 및/또는 터치스크린 또는 다른 가상 구현 인터페이스를 통하는 것과 같은 가상 블렌딩 제어(2604)를 포함할 수 있다. 일부 실시 예에서, 이러한 기능은 스마트 폰, 태블릿, 컴퓨터 등과 같은 외부 디스플레이 디바이스에 의해 제공될 수 있다.
도 27은 부분적으로 투명한 동심원 팔레트화 방식을 포함하는 디스플레이 이미지를 위한 가상 및/또는 물리적 블렌딩 제어 도구를 도시한다. 도 26에 대해 설명된 것과 유사하게, 표시자(2702)는 장면 내의 음향 신호를 나타낼 수 있다. 음향 이미징 시스템은 디스플레이 이미지 내에서 음향 이미지 데이터 (예를 들어, 표시자(2702))의 투명도를 조정하는 데 사용될 수 있는 물리적 블렌딩 제어(2714) 및/또는 가상 블렌딩 제어(2704)를 포함할 수 있다.
추가적으로 또는 대안적으로, 물리적 및/또는 가상 인터페이스가 하나 이상의 디스플레이 파라미터를 조정하는데 사용될 수 있다. 예를 들어, 일부 실시 예에서, 본 명세서의 다른 곳에서 설명된 바와 같이, 하나 이상의 조건을 만족하는 음향 이미지 데이터를 선택적으로 디스플레이하기 위해 하나 이상의 필터가 적용될 수 있다. 도 28은 (예를 들어, 하나 이상의 대응하는 임계값 또는 미리 결정된 조건을 충족하는 하나 이상의 음향 또는 다른 파라미터를 갖는) 하나 이상의 필터를 만족하는 장면에서의 위치를 나타내는 기울기 팔레트를 갖는 표시자(2802)를 포함하는 장면을 도시한다. 다양한 예들에서, 필터링은 물리적 제어(2814)(예를 들어, 하나 이상의 버튼, 노브, 스위치 등을 통해) 및/또는 가상 제어(2804)(예를 들어, 터치스크린)를 통해 선택 및/또는 조정될 수 있다. 예시된 예시에서, 필터는 음향 파라미터의 미리 정의된 범위(2806) 내에 속하는 음향 파라미터(예를 들어, 주파수)를 갖는 음향 신호들에 대해서만 음향 이미지 데이터를 디스플레이하는 것을 포함한다. 도시된 바와 같이, 미리 정의된 범위(2806)는 가능한 필터 범위(2816)의 서브 세트이다. 일부 예시에서, 사용자는, 필터의 효과를 조정하기 위해, 예를 들어 가상(2804) 또는 물리적(2814) 제어를 통해, 미리 정의된 범위(2806)의 한계를 조정할 수 있다.
도 29는 부분적으로 투명한 동심원 팔레트화 방식을 포함하는 디스플레이 이미지에 대한 가상 및/또는 물리적 필터 조정을 도시한다. 도시된 바와 같이, 표시자(2902)는 필터에 기초하여 값의 미리 결정된 범위(2906) 내에 속하는 음향 파라미터에 기초하여 장면 내에서 도시된다. 필터는, 예를 들어 가상(2904) 및/또는 물리적(2914) 제어를 통해 값의 범위(2916) 내에서 조정 가능할 수 있다.
일부 실시예에서, 팔레트화 된 음향 이미지 데이터를 포함하는 디스플레이 이미지를 맞춤화하기 위해 복수의 필터가 이용될 수 있다. 도 30은 제1 표시자와 제2 표시자를 도시하는 디스플레이 이미지를 도시한다. 본 명세서의 다른 곳에서 설명된 바와 같이, 하나 이상의 필터가 디스플레이 이미지에 적용되어 (예를 들어, 물리적 필터 제어 및/또는 가상 필터 제어를 통해) 디스플레이된 데이터를 맞춤화 할 수 있다. 도 30의 예시된 예에서, 필터링은 제1 필터 범위(3006) 및 제2 필터 범위(3008)를 설정하는 것을 포함한다. 일부 예시에서, 필터 범위는 값(3016)의 범위 내에서, 예를 들어 가상(3004) 및/또는 물리적(3014) 제어를 통해 조정 가능할 수 있다.
이러한 필터 범위는 주파수, 진폭, 근접성 등과 같은 다양한 임의의 파라미터들 중 임의의 것을 나타낼 수 있다. 도시된 바와 같이, 제1 필터 범위 및 제2 필터 범위는 각각 색상(일부 예에서는 사용자에 의해 조정될 수 있음)과 연관되며, 표시자(3002, 3012)는 해당하는 음향 신호가 각 필터 범위와 연관된 하나 이상의 필터 조건을 충족하는 이미지의 위치에 배치된다. 도시된 바와 같이, 제1 표시자(3002)는 (더 어두운 음영으로 표시된) 제1 필터 범위(3006)를 만족하는 음향 신호를 나타내고, 제2 표시자(3012)는 (더 밝은 음영으로 표시된) 제2 필터 범위(3008)를 만족하는 음향 신호를 나타낸다. 따라서, 사용자는 다양한 조건을 만족하는 음향 데이터를 가지는 장면에서 한 번에 위치들을 신속하게 파악할 수 있으며, 어느 위치가 어떤 조건을 만족하는지 식별할 수도 있다.
일부 예시들에서, 음향 이미징 도구 또는 외부 디스플레이 디바이스와 같은 디스플레이 디바이스는 도 31에 도시된 바와 같이 입력 디바이스로서 가상 키보드를 포함할 수 있다. 도 31은 장면에서 음향 신호의 하나 이상의 음향 파라미터를 나타내는 표시자(3102)를 포함하는 디스플레이 인터페이스를 도시한다. 디스플레이 이미지에 영숫자 정보(3112)를 추가하는데 사용될 수 있는 가상 키보드(3110)가 디스플레이에 포함된다. 이러한 가상 키보드를 이용하는 것은 사용자가 다양한 검사 메모, 라벨, 날짜/시간 스탬프 또는 이미지와 함께 저장될 수 있는 기타 데이터와 같은 맞춤화된 주석을 입력하게 할 수 있다. 다양한 예시에서, 가상 키보드는 디스플레이 이미지와 연관된 메타데이터에 저장되는 것에 의하는 것과 같이 이미지 데이터에 포함되고 및/또는 이미지 데이터에 첨부되는 텍스트를 추가하는데 사용될 수 있다.
음향 이미지 데이터 및 영숫자 데이터, 하나 이상의 전자기 스펙트럼으로부터의 이미지 데이터, 심볼 등과 같은 다른 데이터의 다양한 조합을 포함하는 디스플레이 이미지를 제공하기 위해 다양한 디바이스가 사용될 수 있다. 일부 예시에서, 초소형 음향 이미징 도구는 디스플레이 이미지를 제공하기 위한 내장 디스플레이를 포함할 수 있다. 다른 예시에서, 디스플레이될 정보 또는 디스플레이를 생성하기 위해 처리되는 데이터(예를 들어, 원시 센서 데이터)는 디스플레이를 위해 외부 디바이스에 통신될 수 있다. 이러한 외부 디바이스는, 예를 들어 스마트폰, 태블릿, 컴퓨터, 웨어러블 디바이스 등을 포함할 수 있다. 일부 실시예에서, 디스플레이 이미지는 증강 현실 유형 디스플레이에서 실시간 전자기 이미지 데이터(예를 들어, 가시광 이미지 데이터)와 조합하여 제공된다.
도 32는 사용자가 착용할 수 있는 안경(3210)에 내장된 디스플레이를 도시한다. 일부 예시에서, 안경은 "테스트 및 측정 도구에 내장 또는 부착된 이미징 도구로부터 이미지의 디스플레이"라는 명칭의 미국 특허 공개 번호 제20160076937호에 기술된 것과 같은 하나 이상의 내장된 이미징 도구를 포함할 수 있으며, 이는 본 출원의 양수인에게 할당되며 관련 부분은 원용에 의해 본 명세서에 포함된다. 이러한 일부 예시에서, 통합 디스플레이는 실시간 디스플레이 이미지(3220)를 도시할 수 있다. 예를 들어, 디스플레이는 사용자에게 추가된 정보를 제공하기 위해 사용자가 향하는 장면을 나타내는 전자기 이미지 데이터(예를 들어, 가시광 이미지 데이터)를 도시할 수 있으며 동시에 (예를 들어, 표시자(3202) 등을 포함하는) 음향 이미지 데이터 등과 같은 하나 이상의 추가 데이터 스트림을 (예를 들어, 블렌딩, 오버레이 등을 통해) 디스플레이할 수 있다. 일부 실시예에서, 도 32에 도시된 것과 같은 안경은 투명한 디스플레이 화면을 포함하여 디스플레이에 어떠한 디스플레이 이미지도 제공되지 않을 때, 사용자에게는 실시간 가시광 이미지 데이터가 제공되는 대신에 사용자는 안경을 통해 그 눈으로 직접 장면을 볼 수 있다. 이러한 일부 예시에서, 음향 이미지 데이터, 영숫자 데이터 등과 같은 추가 데이터는 사용자의 시야에서 투명하지 않은 디스플레이(otherwise-transparent display) 상에 디스플레이될 수 있어서, 사용자는 디스플레이를 통해 장면의 시야에 그러한 데이터를 추가하여 볼 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 다양한 예에서, 디스플레이 이미지에 제시된 다양한 데이터는 다른 데이터 스트림과의 블렌딩 (예를 들어, 음향 이미지 데이터와 가시광 이미지 데이터의 블렌딩)을 포함하여 다양한 방식으로 결합될 수 있다. 일부 예들에서, 블렌딩의 세기는 단일 디스플레이 이미지 내의 상이한 위치들 사이에서 변할 수 있다. 일부 실시 예에서, 사용자는 복수의 위치 (예를 들어, 검출된 음향 신호의 복수의 표시자 각각) 각각의 블렌딩 비율을 수동으로 조정할 수 있다. 추가적으로 또는 대안적으로, 블렌딩은 주파수, 진폭, 근접성 등과 같은 하나 이상의 파라미터의 함수일 수 있다.
일부 실시예에서, 음향 이미징 도구는, 검출된 음향 신호를 방출하는 복수의 위치 각각에서 센서 어레이가 가리키는 정도를 식별하고 그리고 이에 따라 해당 음향 이미지 데이터를, 예를 들어 가시광 이미지와 블렌딩하도록 구성될 수 있다. 도 33a는 음향 장면에서 음향 신호를 나타내는 제1 표시자(3302) 및 제2 표시자(3304)를 포함하는 예시적인 디스플레이를 도시한다. 도 33a에서, 음향 센서는, 제2 표시자(3304)의 위치에 대응하는 파이프 2와 비교할 때 제1 표시자(3302)의 위치에 대응하는 파이프 1을 더 직접적으로 가리킨다. 이와 같이, 도 33a의 디스플레이 방식에서, 제1 표시자(3302)는 제2 표시자(3304)보다 더 두드러지게 디스플레이 된다 (예를 들어, 더 높은 블렌딩 계수 또는 더 낮은 투명도를 가짐). 반대로, 도 33b에서, 음향 센서는 제1 표시자(3302)의 위치에 대응하는 파이프 1과 비교할 때 제2 표시자(3304)의 위치에 대응하는 파이프 2를 더 직접적으로 가리킨다. 이와 같이, 도 33b의 디스플레이 방식에서, 제2 표시자(3304)는 제1 표시자(3302)보다 더 두드러지게 표시된다 (예를 들어, 더 높은 블렌딩 계수 또는 더 낮은 투명도를 가짐). 일반적으로, 일부 실시예에서, 음향 이미징 시스템은 센서가 (예를 들어, 음향 이미지 데이터의 표시 자에 대응하는) 주어진 위치에서 가리키는 정도를 나타내는 메트릭을 결정하고 이에 따라 그러한 위치에 대응하는 블렌딩 비율(예를 들어, 가르키는 정도가 클수록 더 높은 블렌딩 비율에 대응함)을 결정할 수 있다.
일부 예시에서, 프로세서는 장면에서 검출된 소리 프로파일을 저장할 수 있다. 예를 들어, 예시적인 실시예에서, 사용자는 하나 이상의 파라미터에 대응하는 소리 프로파일로서 (예를 들어, 음향 이미지 데이터로서 디스플레이된) 검출된 음향 데이터를 저장할 수 있다. 이러한 일부 예에서, 그러한 소리 프로파일은 공기 누출 등의 존재와 같은 장면의 하나 이상의 특성에 따라 라벨링되고 및/또는 이와 연관될 수 있다. 추가적으로 또는 대안적으로, 미리 정의된 소리 프로파일은 음향 이미징 시스템의 공장 조립 중에 시스템 메모리에 로드될 수 있고 및/또는 음향 이미징 시스템으로 다운로드되거나 그렇지 않으면 통신될 수 있다.
일부 예시에서, 소리 프로파일은 장면에 존재하는 하나 이상의 소리를 포함할 수 있다. 다양한 소리 프로파일은 주파수, 데시벨 레벨, 주기성, 거리 등(예를 들어, 예시적인 소리 프로파일은 해당 프로필과 연관된 미리 결정된 범위 내의 주파수 값 및 미리 결정된 범위 내의 주기성을 포함할 수 있음)과 같은 하나 이상의 음향 파라미터에 의해 정의될 수 있다. 소리 프로파일은 장면에서 하나 이상의 소리에 의해 정의될 수 있으며, 일부 예시에서, 복수의 소리 각각은 주파수, 데시벨 레벨, 주기성, 거리 등과 같은 하나 이상의 파라미터에 의해 정의될 수 있다. 주어진 프로필의 여러 소리는 유사한 파라미터 (예를 들어, 각각의 주파수 범위 및 주기성 범위를 갖는 두 개의 소리)로 식별될 수 있거나, 또는 상이한 파라미터 (예를 들어, 해당 주파수 범위를 갖는 하나의 소리, 및 대응하는 데시벨 레벨 범위와 최대 거리 값을 갖는 다른 소리)로 식별될 수 있다.
일부 예에서, 시스템은 음향 장면에서 하나 이상의 소리가 알려진 소리 프로파일에 대응하는 경우와 같이 소리 프로파일에 관한 통지를 제공하도록 구성될 수 있다. 예를 들어, 통지는 인식된 소리 프로파일을 사용자 또는 기술자에게 경고할 수 있다. 추가적으로 또는 대안적으로, 시스템은 인식된 소리 프로파일에 기초하여 음향 이미지 데이터, 전자기 이미지 데이터 및/또는 디스플레이 이미지에 주석을 달도록 구성될 수 있다. 통지는 가청 소리, 디스플레이 화면의 시각화, LED 광 등을 포함할 수 있다.
일부 예시에서, 시스템 프로세서는 예를 들어 하나 이상의 소리 프로파일의 관점에서 음향 시그니처의 중요도를 분석하도록 구성될 수 있다. (예를 들어, 소리 프로파일과 관련하여) 음향 데이터와 시스템 작동의 중요도 사이의 대응은 예를 들어 기계 학습 및/또는 사용자 입력에 기초하여 학습될 수 있다.
일부 예시에서, 프로세서는, 예를 들어 검출된 시그니처의 중요도에 대해, 장면을 분석하기 위해 음향 장면의 데이터를 하나 이상의 알려진 소리 프로파일 패턴과 비교하도록 구성될 수 있다. 다양한 예시에서, 프로세서는 잠재적인 중요도에 기초하여 사용자에게 통지하도록 구성될 수 있다. 이는, 예를 들어 식별된 음향 시그니처를 하나 이상의 저장된 베이스라인, 사용자가 정의한 임계값과 비교한 상대값, 및/또는 기계 학습 알고리즘 및/또는 인공 지능 프로그래밍을 통해 자동적으로 결정된 값과 비교하는 것(예를 들어, 과거 성능과 에러 및 대응하는 히스토리컬 음향 시그니처를 기초함)에 기초될 수 있다.
이러한 다양한 예시에서, 프로세서는 하나 이상의 소리 프로파일에 대한 음향 장면을 분석하고 장면 또는 장면의 물체에 대해 발견된 소리 프로파일의 영향을 추정하도록 구성될 수 있다. 영향을 추정하는 것은 소리 프로파일의 잠재적인 중요도 및/또는 음향 신호와 연관된 잠재적인 비용 또는 이익 손실을 포함할 수 있다. 일부 예시에서, (예를 들어, 프로세서를 통해) 시스템은 (예를 들어, 음향 시그니처를 음향 장면에서 공기 누출과 연관된 하나 이상의 소리 프로파일과 비교함으로써) 장면에서 하나 이상의 공기 누출을 인식하도록 구성될 수 있다. 이러한 일부 예시에서, 시스템은 검출된 공기 누출의 개수, 그러한 하나 이상의 공기 누출의 심각도 및/또는 그러한 하나 이상의 누출의 수리와 연관된 추정된 비용 절감과 같은 다양한 데이터를 자동으로 계산 및/또는 보고할 수 있다. 일부 예시에서, 비용 추정치는 검출된 누출과 연관된 사전 프로그래밍된 값 및/또는 사용자 입력값에 기초될 수 있다. 예시적인 적용에서, 시스템은 적절하게 해결되지 않으면 단위 시간 당 (예를 들어, 시간 당) 압축된 공기 누출의 비용 영향을 결정하도록 구성될 수 있다.
일 예시에서, 음향 이미징 시스템은 압력, 오리피스 직경(orifice diameter) 또는 누설률과 같은 음향 장면의 공기 누출에 관한 다양한 정보를 결정하도록 구성될 수 있다. 일부 예시에서, 하나 이상의 이러한 값이 사용자에 의해 입력될 수 있으며, 나머지 값(들)이 계산될 수 있다. 예를 들어, 일 예시에서, 사용자는 특정 공기 라인과 연관된 압력값을 입력할 수 있으며, 입력된 압력 정보를 사용하여, 시스템은 장면으로부터의 음향 데이터에 기초하여 오리피스 직경 및 누출율을 결정하도록 구성될 수 있다. 이러한 결정은 예를 들어 메모리에 저장된 룩업 테이블 및/또는 방정식을 사용하여 수행될 수 있다.
예시적인 시나리오에서, 검출된 소리 프로파일은 1/4” 직경의 오리피스를 통해 100 PSIG에서의 공기 누출과 연관될 수 있다. 일부 실시예에서, 이러한 저장된 소리 프로파일에 액세스 할 수 있는 음향 이미징 시스템은 음향 장면에서 그러한 프로파일을 인식하고 예를 들어 룩업 테이블에 기초하여 그러한 누출과 연관된 시간 당 비용을 추정하도록 프로그래밍될 수 있다. 유사한 예시에서, 검출된 소리 프로파일은 (예를 들어, 수동 입력을 통해) 입력된 100 PSIG의 압력에 기초하여 ¼ "직경의 오리피스와 연관될 수 있다. 이러한 저장된 소리 프로파일에 액세스할 수 있는 음향 이미징 시스템은 음향 장면에서 그러한 프로파일을 인식하고 예를 들어 룩업 테이블에 기초하여 그러한 누출과 관련된 시간당 비용을 추정하도록 프로그래밍 될 수 있다.
일부 예시에서, 음향 이미징 시스템은 방정식 및/또는 룩업 테이블에 기초하여 복수의 검출된 누출을 고치기 위한 비용 절감 분석을 수행하도록 구성될 수 있다. 일부 예시에서, 그러한 방정식 및/또는 룩업 테이블은 식별된 누출의 비용 분석을 수행하기 위해 음향 이미징 시스템에 의해 메모리에 저장되거나 그렇지 않으면 액세스될 수 있다.
예시적인 구현에서, 음향 이미징 시스템은 예를 들어 장면 또는 공장을 검사하는 동안 환경에서 검출된 하나 이상의 누출을 특성화하도록 구성될 수 있다. 이러한 특성화는, 예를 들어 이러한 누출에 대응하는 저장된 음향 프로파일에 기초하여 수행될 수 있다. 검출된 누출(예를 들어, 결정된 누출율)은 그러한 누출을 수정하는 비용 절감을 계산하는데에 사용될 수 있다. 예를 들어, 음향 이미징 시스템은 존재하는 누출의 개수와 그러한 누출과 연관된 누출율을 결정하고 그러한 누출과 연관된 비용 절감을 계산하기 위해 사용될 수 있다.
예시에서, 비용 절감은 이하 방정식(1)에 도시된 대로, 누출의 개수, 누출율 (cfm), 누출과 연관된 에너지 양 (예를 들어, kW/cfm), 작동 시간 수, 및 에너지 당 비용 (예를 들어, $/kWh)을 곱하여 계산될 수 있다.
비용 절감 ($) = 누출의 개수 × 누출율 (cfm) × kW/cfm × # 시간 × $ / kWh (1)
음향 이미징 시스템은 누출의 개수와 그러한 누출과 연관된 누출율 (예를 들어, cfm)을 결정하는데에 사용될 수 있다. 다른 파라미터는 시스템에 미리 프로그래밍되거나 (예를 들어, kW/cfm 단위의 공기 생성 당 에너지), 데이터베이스를 통해 액세스하거나 (예를 들어, $/kWh 단위의 에너지의 현재 비용), 또는 시스템에 의해 가정될 수 있다 (예를 들어, 평균 동작 개수의 시간). 시스템은 이러한 누출을 수정하는 것과 연관된 비용 절감을 계산하도록 프로그래밍될 수 있다.
예시에서, 시스템은 90 PSIG에서 1/32"의 100 개의 누출, 90 PSIG에서 1/16"의 50 개의 누출, 및 100 PSIG에서 1/4"의 10 개의 누출을 갖는다. 연간 작동 시간을 7000 시간, 총 전기 요금은 $ 0.05 / kWh, 압축된 공기 생성의 요구 사항을 약 18kW / 100cfm이라고 가정하면, 방정식 (1)에 따라 각 누출과 연관된 비용 절감은 다음과 같다:
1/32” 누출로 인한 비용 절감 = 100 x 1.5 x 0.61 x 0.18 x 7000 x 0.05 = $ 5,765
1/16” 누출로 인한 비용 절감 = 50 x 5.9 x 0.61 x 0.18 x 7000 x 0.05 = $ 11,337
1/4" 누출로 인한 비용 절감 = 10 x 104 x 0.61 x 0.18 x 7000 x 0.05 = $ 39,967
예시에서 언급한 바와 같이, 1/4"의 10 개의 누출을 제거함으로써 절감되는 비용은 전체 절감의 거의 70 %를 차지한다. 누출이 식별되면, 일부 예에서, 음향 이미징 시스템은 누출을 분석하고 고쳐진 경우 더 높은 비용을 절감할 수 있는 누출을 식별할 수 있도록 구성될 수 있다. 일부 예시에서, 시스템은 더 높은 비용 절감으로 누출의 순위를 매기거나 우선 순위를 매길 수 있으며 이러한 순위 또는 우선 순위를 사용자에게 제공할 수 있다. 추가로 또는 대안적으로, 시스템은 식별된 누출 중 하나 이상의 비용 절감에 관한 통지를 사용자에게 제공하도록 구성될 수 있다.
도 34는 장면에서 식별된 공기 누출로 인한 잠재적인 중요도 및 잠재적인 손실 비용에 대해 사용자 또는 기술자에게 표시를 제공하는 예시적인 디스플레이 이미지를 도시한다. 예시적인 실시예에서, 음향 이미징 시스템은, 예를 들어 음향 장면에 존재하는 누출과 연관된 알려진 소리 프로파일과 유사한 음향 신호의 인식을 통해 음향 장면에서 누출의 존재를 (예를 들어, 프로세서를 통해) 검출한다. 시스템은, 예를 들어 검출된 음향 신호에 대응하는 하나 이상의 소리 프로파일을 결정함으로써 식별된 누출의 중요도를 확인하기 위해 검출된 음향 신호를 분석하도록 구성될 수 있다.
본 명세서의 다른 곳에서 기술된 바와 같이, 일부 예시에서, 음향 이미지 데이터는 결정된 중요도에 따라 팔레트화 될 수 있다. 일부 실시예에서, 음향 데이터의 중요도는 하나 이상의 소리 프로파일에 따라 결정될 수 있다. 예를 들어, 사용자는 누출 검출 작동 모드를 선택할 수 있으며, 여기서 음향 이미징 시스템은 장면 내 음향 데이터의 중요도를 결정하기 위해 누출과 연관된 하나 이상의 소리 프로파일과 관련하여 음향 데이터를 분석한다.
전술한 바와 같이, 시스템은 하나 이상의 방정식 및/또는 룩업 테이블을 통하는 것과 같이 하나 이상의 누출과 연관된 수치적 비용을 계산하도록 구성될 수 있다. 예시적인 실시예에서, 시스템은 예를 들어, 그러한 누출과 연관된 소리 프로파일에 기초하여 누출과 연관된 크기 및 압력을 식별할 수 있고, 이어서 룩업 테이블 및/또는 방정식을 통해 그러한 누출과 연관된 단위 시간당 비용을 계산할 수 있다.
도 34의 예시된 예에서. 중요도 및 단위 시간당 비용($/년)은 음향 장면의 복수 위치 각각과 연관된다. 예시된 실시예에서, 이러한 위치는 중요도에 따라 팔레트화되고 각 위치에 대한 누출 중요도 정보를 사용자에게 제공하는 디스플레이 이미지를 형성하기 위해 가시광 이미지 데이터와 결합된 복수의 표시자(3410, 3412, 3414)를 포함하는 음향 이미지 데이터를 통해 도시된다. 이러한 중요도는 예를 들어 본 명세서에 설명된 하나 이상의 대응하는 소리 프로파일에 대한 음향 장면의 분석에 의해 결정될 수 있다.
다양한 실시예에서, 다양한 중요도 및/또는 잠재적 손실 비용의 누출은 다양한 색상, 형태, 크기, 불투명도(opacity) 등을 포함하는 음향 이미지 데이터로 표현될 수 있다. 유사하게, 하나 이상의 아이콘은 (예를 들어, 특정 소리 프로파일에 대응하는) 특정 누출 또는 누출에 대한 비용 또는 중요도의 범위를 나타내는데 사용될 수 있다. 추가적으로 또는 대안적으로, 비용/년 등과 같은 영숫자 정보가 대응하는 누출의 위치에 근접하게 포함될 수 있다. 도 34의 디스플레이 이미지는 각 중요도와 연관된 대략적인 비용을 도시하는 통지(3420)를 더 포함한다. 이러한 값은, 예를 들어 특정 공기 누출을 나타내는 메모리에 저장된 프로파일의 관점에서 장면에서 검출된 각 음향 신호와 연관된 음향 파라미터에 기초하여 계산될 수 있다.
일부 예시에서, 장면의 적절한 분석 및 보고 활동을 수행하기 위해 추가적인 컨텍스트 정보가 유용하거나 필요하다. 예를 들어, 일부 작업 중에, 장면을 음향적으로 이미징할 때, 사용자 또는 기술자는 검사 중인 장면에 대한 컨텍스트 정보를 기록하고자 할 수 있다. 이전 시스템에서, 이 작업을 수행하려면, 사용자 또는 기술자가 별도의 카메라 또는 디바이스로 사진을 찍거나, 메모를 작성하거나, 또는 별도의 디바이스를 사용하여 메모를 기록해야만 했다. 이러한 메모는, 음향 이미징 디바이스로부터 데이터와 수동으로 동기화되어야 하며, 잠재적으로 데이터 수집, 기억, 및 불일치 오류를 유발하고, 또한 잠재적으로 분석 또는 보고를 수행할 때 에러를 유발할 수 있다.
일부 실시예에서, 본 명세서에 따른 음향 이미징 시스템은 목표 장면의 음향 데이터를 캡처한 다음 이를 목표 장면에 관련된 정보와 연관시킬 수 있다. 목표 장면과 관련된 그러한 정보는 장면, 장면의 주변, 및/또는 장면의 위치의 주변의 하나 이상의 물체에 관한 세부 사항을 포함할 수 있다. 일부 실시예에서, 관련 정보는 이미지, 오디오 레코딩, 또는 비디오 레코딩의 형태로 캡처될 수 있으며 장면을 나타내는 음향 데이터(예를 들어, 음향 데이터 자체와 함께, 해당 음향 이미지 데이터를 포함하는 디스플레이 이미지와 함께 등)와 연관될 수 있다. 일부 예시에서, 관련 정보는 정보가 나타내는 것에 대한 더 큰 이해를 제공하기 위해 음향 데이터와 연관된다. 예를 들어, 관련 정보는 목표 장면 또는 목표 장면의 물체에 관한 세부 사항을 포함할 수 있다.
일부 예에서, 시스템은 일반적으로 장면 또는 장면의 물체와 관련된 정보를 수집하기 위해 하나 이상의 디바이스를 포함할 수 있다. 하나 이상의 그러한 디바이스는 카메라, 위치 결정 디바이스, 시계, 타이머, 및/또는 온도 센서, 전자기 센서, 습도 센서 등과 같은 다양한 센서를 포함할 수 있다. 일부 예시에서, 음향 이미징 시스템은 주석 정보를 수집하기 위해 이미지 및/또는 비디오 획득을 위해 구성될 수 있는 (예를 들어, 음향 이미징 디바이스의 하우징에 내장된) 카메라를 포함할 수 있다. 이러한 내장된 카메라는 음향 이미지 데이터 또는 음향 이미징 디바이스에 의해 획득된 임의의 다른 데이터에 추가되거나 그렇지 않으면 저장될 수 있는 사진 또는 비디오 주석을 생성할 수 있다.
일부 예시들에서, 그러한 내장된 카메라는 본 명세서의 다른 곳에서 설명된 바와 같이 디스플레이를 위한 음향 이미지 데이터와 결합될 수 있는 전자기 이미징 데이터를 생성하도록 구성될 수 있다. 일부 실시예에서, 음향 이미징 시스템은 음향 데이터, 음향 이미지 데이터, 전자기 이미지 데이터, 주석 데이터 (예를 들어, 센서 데이터, 이미지/비디오 주석 데이터 등)와 같은 다양한 정보를 타임 스탬프와 함께 저장하도록 구성될 수 있다. 일부 예시에서, 음향 이미징 시스템은 나중에 디바이스 및 소프트웨어 모두에서 관련 정보를 디스플레이 및/또는 기록하도록 구성될 수 있다. 관련 정보는 디스플레이 상에 디스플레이되고, 및/또는, 예를 들어, 저장된 디스플레이 이미지 또는 음향 이미지 파일과 함께 메타 데이터로 저장될 수 있다.
일부 실시예에 따르면, 음향 이미징 시스템에 내장된 카메라, 이미지 획득 또는 비디오 획득 디바이스의 사용을 통해 이러한 디바이스는 1차 음향 데이터, 결합된 전자기 및 음향 이미지 데이터, 및/또는 임의의 오디오 레코딩과 함께 추가된 및/또는 저장될 수 있는 사진 또는 비디오 주석을 생성하는 데 이용될 수 있다.
일부 예시에서, 사용자 또는 기술자는 예를 들어 사용자 인터페이스 (예를 들어, 터치 스크린, 하나 이상의 버튼 등)를 통해 디스플레이에 도시된 음향 이미징 시스템에 의해 수집된 음향 이미지 데이터 또는 기타 데이터에 주석을 달 수 있다. 예를 들어, 일부 예시에서, 사용자 또는 기술자는 데이터를 기록하는 동안 또는 이전에 수집된 데이터를 재생하는 동안 데이터에 주석을 달기 위해 디스플레이 상에 주석을 사용할 수 있다.
일부 예시에서, 음향 이미징 시스템은 시스템 사용으로부터 스크린 상 상호 작용을 통해 (예를 들어, 음향 이미지 데이터 및/또는 전자기 이미지 데이터를 포함하는) 디스플레이 이미지에 주석을 달 수 있다. 이러한 일부 예시에서, 디바이스는 1차 음향 이미지 데이터와 함께 모든 관련 주석 정보를 저장할 수 있고, 사후 데이터의 동기화 또는 매칭에 대한 어떠한 필요도 무시할 수 있다. 이러한 구현은 사람의 메모리 관련 에러를 줄이거나 제거할 수 있으며, 이는 1 차 및 2 차 데이터의 잘못된 쌍을 초래할 수 있다.
사용자에 의해 (예를 들어, 사용자 인터페이스를 통해) 추가될 수 있는 다양한 디스플레이 상의 주석은, 디스플레이 상의 드로잉 (예를 들어, 자유형), 디스플레이 상의 텍스트 및 글쓰기, 디스플레이 상의 형태 생성, 디스플레이 상의 물체의 이동, 디스플레이 상의 미리 구성된 마커의 배치, 디스플레이 상의 미리 구성된 텍스트, 명령 또는 메모, 디스플레이 상의 미리 구성된 형태, 디스플레이 상의 미리 구성된 도면 또는 일러스트레이션, 디스플레이 상의 미리 구성되거나 미리 프로그래밍된 아이콘, 또는 디스플레이 상의 하나 이상의 음향 파라미터의 시각화를 포함할 수 있지만 이에 제한되지는 않는다.
일부 예시에서, 음향 이미징 디바이스는 수집된 (예를 들어, 라이브 또는 이전에 수집된) 음향 이미지 데이터 및/또는 전자기 이미지 데이터를 도시할 수 있는 디스플레이를 포함할 수 있다. 사용자는 디스플레이에 통합된 제어 또는 터치 인터페이스를 통해 이러한 이미지에 주석을 달 수 있다.
도 35는 사용자가 디스플레이 이미지에 디스플레이 상의 주석과 함께 주석을 다는 예시를 도시한다. 도 35의 예시에서, 3 개의 음향 신호는 이러한 음향 신호와 연관된 음향 데이터를 나타내는 팔레트화 된 표시자를 통해 디스플레이 이미지의 대응하는 위치에 도시된다. 도시된 바와 같이, 일부 예시에서, 사용자는 디스플레이 이미지의 일부를 강조하거나 강조하기 위해 자유형 형태(3540)를 그림으로써 디스플레이 이미지에 주석을 달 수 있다. 이 예시에서, 사용자는 자유형 그림(3540)으로 가장 중앙의 소리를 둘러쌈으로써 디스플레이 이미지에 주석을 단다. 예시된 예시는 또한 원으로 표시된 소리와 연관된 구성 요소와 같은 디스플레이 이미지에서 하나 이상의 구성 요소를 식별하거나 설명하는데 사용될 수 있는 텍스트(3522) 형태의 추가 주석 정보를 도시한다. 예를 들어, 예시된 예에서, 원으로 표시된 소리의 명백한 소스("메인 라인(2B-28)")의 라벨이 디스플레이 이미지에 추가된다. 이러한 텍스트는 손으로 쓰여지거나 (예를 들어, 터치 스크린 인터페이스를 통해) 타이핑(예를 들어, 가상 키보드 또는 시스템과 통신하는 물리적 키보드를 통해) 될 수 있다.
도 36은 명령 및 관련 위치 정보를 포함하는 주석이 달린 디스플레이 이미지의 예시를 도시한다. 이 도면에서는, 텍스트 정보 및 사용자에게 수행할 작업을 명령하는 그래픽 표시와 함께 2개의 소리가 디스플레이 이미지에 도시된다. 사용자는 미래의 사용자에게 그러한 위치의 음향 검사를 수행하는 동안 하나 이상의 작업을 수행하도록 명령하거나 상기시키기 위해 도시된 대로 이미지에 주석을 달 수 있다.
도 36에 도시된 것과 같은 주석이 달린 이미지를 생성할 때, 사용자는 미리 구성된 마커(예를 들어, 화살표 3640) 및/또는 손으로 쓰여진 텍스트(3642)를 삽입함으로써 디스플레이 이미지에 주석을 달 수 있다. 예를 들어, 예시된 예시에서, 사용자는 장면에서 밸브 스위치를 향하도록 포인팅된 화살표(3640) 및 "먼저 메인 밸브를 차단"하라는 텍스트 명령(3642)을 삽입함으로써 디스플레이 이미지에 주석을 달았다.
도 37은 사용자가 디스플레이 이미지에 디스플레이 상의 주석과 함께 주석을 다는 예시를 도시한다. 이 예시에서 단일 음향 신호는 디스플레이 이미지 상의 대응하는 표시자를 통해 도시된다. 예시된 예시는 공기 누출 아이콘과 같은 미리 프로그래밍된 아이콘(3740)을 디스플레이 이미지에 삽입함으로써 디스플레이 이미지에 주석을 추가하는 사용자를 도시한다. 이러한 아이콘은 사용자에 의해 선택될 수 있고, 및/또는 (예를 들어, 히스토리컬 소리 프로파일과 비교하여) 하나 이상의 인식된 특성 소리에 기초하여 시스템에 의해 추천되고, 식별된 소리에 의해 배치될 수 있다. 또한, 사용자는 자유형 라벨, 미리 정의된 형태 등과 같이 관찰된 음향 신호의 가능한 소스를 식별하거나 라벨을 지정하기 위해 이미지에 주석을 달 수 있다.
도 38은 사용자가 디스플레이 이미지에 디스플레이 상의 주석과 함께 주석을 다는 예시를 도시한다. 도면에서, 단일 음향 신호는 디스플레이 이미지 상의 대응하는 표시자를 통해 도시된다. 도시된 바와 같이, 사용자는 이미지에 형태(3840)를 삽입함으로써 디스플레이 이미지에 주석을 달 수 있다. 예시된 예시에서, 사용자는 음향 이미지 데이터로부터 가능한 소리의 소스를 도시하기 위해 디스플레이 이미지의 왼쪽에 있는 구성 요소 주위에 상자(3840)를 추가한다. 이러한 박스(3840)는 미리 정의된 형태(예를 들어, 위치를 조정할 수 있고 크기 조절이 가능한 직사각형)로 선택될 수 있다. 다른 형태가 사용될 수 있으며, 사용자가 원하는 대로 디스플레이 이미지에 주석을 달기 위해 크기와 위치가 지정될 수 있다.
일부 예시에서, 상이한 유형의 라벨이 디스플레이에 결합될 수 있다. 예를 들어, 도 39는 장면 내의 구성 요소를 둘러싸는 직사각형(3940) 뿐만 아니라 장면 내의 음향 신호를 나타내는 음향 이미지 데이터의 표시자에 근접한 디스플레이 이미지 상에 위치된 아이콘 라벨(3942)을 도시한다. 다양한 주석 조합이 가능하다. 일부 실시예에서, 예를 들어 특정 소리 프로파일이 장면에서 인식될 때 주석이 디스플레이 이미지에 자동으로 추가된다. 일부 예시에서, 시스템은 인식된 소리 프로파일의 관점에서 디스플레이 이미지에 주석을 달도록 사용자에게 촉구할 수 있다.
추가적으로 또는 대안적으로, 일부 예시에서, 사용자는 음향 장면과 연관된 음향 파라미터를 나타내는 시각적 또는 텍스트 정보를 포함함으로써 이미지에 주석을 달도록 선택할 수 있다. 예를 들어, 사용자는 사용자 인터페이스 (예를 들어, 터치 스크린 또는 물리적 제어)를 통해 장면과 연관된 하나 이상의 음향 파라미터를 도시하기 위한 특정 유형의 디스플레이를 선택할 수 있다. 사용자는 검출된 누출과 같은 장면의 일부와 연관된 비용 또는 중요도 표시에 관한 정보를 포함하도록 이미지에 유사하게 주석을 달 수 있다.
주석은 디스플레이 이미지의 라이브 표현에 포함된 및/또는 단일 캡처된 디스플레이 이미지에 포함된, 예를 들어 메모리에 저장된, 디스플레이 특징을 포함할 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 다양한 실시예에서, 음향 이미징 디바이스는 검출된 소리를 디스플레이, 위치를 확인하고, 설명하고 및 분석하기 위해 임의의 수의 상이한 방법을 사용할 수 있다. 시각화 방법은 디스플레이되는 가시적인 배경을 수용하기 위해 다양한 레벨의 투명도 조정과 함께 다양한 유형의 색상 형태, 아이콘을 포함할 수 있다. 디바이스 상의 음향 시각화를 위한 파라미터 제어를 단순화함으로써 또는 이러한 제어를 더 직관적으로 만듦으로써, 사용자는 더 적은 시간과 더 적은 훈련으로 더 나은 시각화 결과를 더 쉽게 달성할 수 있다. 응용 프로그램 및 사용자 요구에 따라 다양한 시각화 파라미터 제어의 방법이 구현될 수 있다. 이러한 방법 중 다수는, 소리 시각화 및 현지화에 대해, 특정 개별적인 수준의 교육 및 훈련에 따라 사용하도록 맞춤화될 수 있으므로, 다양한 유형의 애플리케이션 및 조직에서 더 적응할 수 있는 디바이스를 제공한다. 본 명세서의 다른 곳에서 설명된 바와 같이, 일부 예시에서, 사용자는 디스플레이 이미지에 특정 데이터 시각화 방식을 포함함으로써 디스플레이 이미지에 주석을 달도록 선택할 수 있다.
도 40은 디스플레이 이미지(4002) 및 디스플레이 이미지의 우측에 복수의 주파수 범위를 포함하는 다중 파라미터 데이터 시각화(4040)를 포함하는 인터페이스를 도시한다. 일부 예시에서, 사용자는 (예를 들어, 터치 스크린 및/또는 다른 인터페이스를 통해) 복수의 디스플레이된 주파수 범위로부터 하나 이상의 주파수 범위를 선택할 수 있으며, 예를 들어 음향 이미지 데이터를 필터링하고 선택된 주파수 범위(들)와 연관된 주파수 콘텐츠(예를 들어, 특정 크기 초과의 주파수 콘텐츠)를 갖는 음향 이미지 데이터를 디스플레이하기 위함이다. 예시된 예시에서, 2 개의 주파수 범위(4042 및 4044)가 선택된다. 디스플레이 이미지에서 대응하는 표시자(4010, 4012)는 화면 상에 디스플레이되는 복수의 주파수 범위에서 대응하는 주파수 범위를 만족하는 음향 신호를 갖는 장면에서의 위치를 나타낸다. 예시된 예에서, 주파수 범위(4022) 및 대응하는 표시자(4010)는 밝은 음영으로 표시되고, 주파수 범위(4044) 및 대응하는 표시자(4012)는 더 어두운 음영으로 표시된다. 일반적으로, 일부 실시예에서, 주파수 범위를 충족하는 장면의 음향 신호는 주파수 범위로서 대응하는 시각적 표현을 갖는 표시자를 통해 표현될 수 있다.
일반적으로, 주파수 범위는 오른손 맞춤, 왼손 맞춤, 하단 맞춤, 상단 맞춤 축 또는 중심 축과 같은 다양한 방식으로 디스플레이될 수 있다. 다양한 실시예에서, 주파수 범위는 매 1kHz (예를 들어, 1kHz-2kHz; 2kHz-3kHz 등) 등을 포함하여 임의의 정도의 해상도로 나눌 수 있다. 이러한 주파수 범위는 모두 동일한 크기이거나 동일한 주파수 범위에 걸쳐있을 필요는 없다. 일부 예시에서, 다중-파라미터 표현(4040)에서 디스플레이된 주파수 범위의 물리적 크기(예를 들어, 폭)는 상대적인 양의 주파수 콘텐츠, 음향 장면에서 이러한 주파수의 진폭, 이러한 주파수의 근접성과 같은 하나 이상의 파라미터에 대응한다.
다양한 실시예에서, 주파수 범위는 터치 스크린 상호 작용을 통한 가상 제어 및/또는 사용자가 원하는 범위 바(들)이 강조될 때까지 버튼 누름을 통해 위, 아래, 왼쪽, 오른쪽으로 스크롤한 다음 선택될 수 있는 방향성 패드와 같은 물리적 제어 메커니즘 상에서 선택될 수 있다. 일부 예에서, 다중 범위는 사용자에 의해 선택되거나 선택 취소될 수 있다.
일부 실시예에서, 다양한 주파수 범위와 연관된 디스플레이 이미지(4002) 상의 주파수 바(예를 들어, 4042, 4044)는 실시간 디스플레이 이미지에서 범위의 데시벨 레벨에 따라 상승 및 하강한다. 다양한 예시에서, 범위의 데시벨 레벨은 피크 데시벨 레벨, 평균 데시벨 레벨, 최소 데시벨 레벨, 시간-기반 평균 데시벨 레벨 등과 같은 여러 방법으로 결정될 수 있다. 일부 실시예에서, 각 주파수 범위와 연관된 데시벨 레벨은 시간에 따라 추적될 수 있다. 시간에 따른 추적은 주어진 간격에서와 같이 복수의 시간 각각에서 주파수 정보를 저장하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 시간에 따른 주파수 데이터를 추적하는 것은 시간(예를 들어, 특정 기간, 작동 세션 등)에 따른 각 주파수 범위에서 관찰된 피크 데시벨 레벨을 추적하는 것을 포함할 수 있다. 피크 레벨은 다양한 방법으로 계산될 수 있다.
주파수 정보의 표시는 현재/최근 주파수 정보에 추가하여 피크 주파수 데이터를 포함할 수 있다. 도 41은 디스플레이 이미지(4102) 및 디스플레이 이미지의 하부 에지를 따라 위치된 복수의 주파수 범위를 포함하는 주파수 정보의 다중 파라미터 표현(4140)을 포함하는 인터페이스를 도시한다. 도 41에 도시된 바와 같이, 디스플레이 이미지의 하단에 디스플레이되는 주파수 정보는 (도 41의 예에서 데시벨로 측정된) 복수의 주파수 범위에 대한 진폭 정보(예를 들어, 4150)를 포함한다. 일부 예시에서 최대 데시벨 레벨은 하나 이상의 주파수 범위에서 디스플레이된다. 일부 경우에, 최대 데시벨 레벨을 도시하는 주파수 범위는 사용자에 의해 선택 가능하다. 피크 마커(4152)는 최대 데시벨 레벨을 나타내는 다중 파라미터 표현(4140)에 남아있을 수 있고, 대조 색상, 바(bar) 캡, 화살표, 기호 또는 숫자값과 같은 임의의 수 또는 가능한 방식으로 표현될 수 있다. 일부 예시에서, 데이터 시각화에 도시된 최대 데시벨 레벨은 선택된 측정의 시작 이후 5 초 이내, 30 분 이내 등과 같은 일정 기간 동안 검출된 최대 값을 포함한다. 일부 예시에서, 사용자는 이전 최대 값이 무시되도록 최대 값 디스플레이를 재설정 할 수 있다.
다양한 실시예에서, 디스플레이 이미지에 포함된 주파수 대역은 사용자에 의해 조정될 수 있거나, 또는 프로그래밍된 알고리즘 또는 기계 학습을 통해 디바이스에 의해 자동으로 결정될 수 있다. 다양한 예에서, 주파수 대역은 동일한 크기 및 분포를 가질 수 있고, 상이한 크기일 수도 있으며, 히스토그램 등화(equalized)될 수 있거나, 또는 임의의 수의 조합된 방법에 의해 결정될 수 있다.
도 42는 도 41에 도시된 것과 유사한 복수의 주파수 대역에 대한 주파수 정보 및 복수의 주파수 대역에 대한 피크 값을 포함하는 디스플레이 이미지를 도시한다. 도 42의 예시에서, 세기 및 주파수 정보를 포함하는 다중 파라미터 표현(4240)이 화면의 오른쪽 부분에 도시되고, 진폭 정보(예를 들어, 4250)가 오른쪽 정렬된 축과 함께 수평으로 도시된다. 도 41에 도시된 것과 유사하게, 다중 파라미터 표현(4240)은 일정 기간 동안 하나 이상의 주파수 범위에 대한 피크 진폭을 나타내는 피크 마커(4242)를 포함한다.
일부 예시에서, 데시벨 레벨은 예를 들어 거울 이미지에서 중심 축의 오른쪽 및 왼쪽으로 증가한다. 유사하게, 데시벨 레벨 피크도 거울 이미지에 나타날 수 있다.
중심축에 대해 이러한 미러링된 데시벨 정보가 도 43에 도시되어 있다. 도 43의 디스플레이 이미지는 복수의 주파수에 대한 세기 정보를 도시하는 다중 파라미터 표현(4340)을 포함한다. 이러한 미러 축 표현은 사용자가 주파수 범위 선택에서 중요할 수 있는 작은 변화 또는 낮은 데시벨 레벨 변화를 더 잘 식별할 수 있도록 한다.
도 41 및 도 42와 유사하게, 도 43의 다중 파라미터 표현(4340)은 일정 기간 동안 하나 이상의 주파수 범위(4350)에 대한 피크 진폭을 나타내는 피크 마커(4352)를 포함한다.
일부 실시예에서, 하나 이상의 주파수 범위는 그러한 주파수 범위에서의 데시벨 레벨과 같은 그러한 주파수 범위에 관한 추가 정보를 나타내기 위해 팔레트화 될 수 있다. 도 44는 팔레트화 된 주파수 범위 세트를 포함하는 다중 파라미터 표현(4440)을 도시하며, 여기서 팔레트화는 각 주파수 범위가 속하는 데시벨 범위를 나타낸다. 예를 들어, 예시적인 실시예에서, 흰색으로 도시된 주파수 범위(예를 들어, 4450)는 0-20dB 이내이고, 밝은 회색(예를 들어, 4450)으로 도시된 주파수 범위는 21-40dB 이내이며, 짙은 회색은 41-100dB 이내이다. 일부 예시에서, 팔레트화는 절대값이 아닌 상대값에 대응하며, 예를 들어, 흰색으로 도시된 주파수 범위는 "낮은" 세기를 갖는 것으로 간주되고, 밝은 회색으로 도시된 주파수 범위는 "보통" 세기를 갖는 것으로 간주되며, 진한 회색으로 도시된 주파수 범위는 "높은" 세기를 가진 것으로 간주된다. 예시적인 실시예에서, 세기 측면에서 주파수 범위의 하단 1/3은 흰색으로 라벨링되고, 세기 측면에서 주파수 범위의 중간 1/3은 밝은 회색으로 라벨링되며, 세기 측면에서 주파수 범위의 가장 높은 1/3은 진한 회색으로 라벨링된다. 다른 예시에서, 최대 세기의 1/3까지 세기를 갖는 주파수 범위는 흰색으로 도시되고, 최대 세기의 1/3과 2/3 사이의 세기를 갖는 주파수 범위는 밝은 회색으로 표시되며, 최대 세기의 2/3와 최대 세기 사이의 세기를 갖는 주파수 범위는 진한 회색으로 표시된다. 일부 예시에서, 디스플레이된 주파수 정보에 도시된 팔레트화 방식은 음향 이미지 데이터에 존재하는 하나 이상의 표시자에서도 사용될 수 있다. 일반적으로, 다양한 색상 또는 (예를 들어, 다양한 패턴, 투명도 등을 통한) 기타 시각화 방식이 사용될 수 있다.
일부 예시에서, 주파수 범위는 각각의 주파수 범위에서 검출된 음향 데이터의 심각성 측면에서 팔레트화될 수 있다. 예를 들어, 일부 예시에서 진한 회색으로 도시된 주파수 범위는 매우 심각한 것으로 간주되고, 밝은 회색으로 도시된 주파수 범위는 중간 정도 심각한 것으로 간주되며, 흰색으로 표시된 주파수 범위는 경미한 심각도를 나타내는 것으로 간주된다. 상술한 바와 유사하게, 일부 예시에서, 음향 이미지 데이터에 존재하는 하나 이상의 표시자는 음향 장면의 하나 이상의 위치에서 유사한 팔레트화 심각도 표시를 포함할 수 있다.
도 45는 심각도에 따라 팔레트화 된 상이한 주파수 범위 및 표시자(4510, 4512, 4514)를 도시하는 다중 파라미터 표현(4540)을 포함하는 예시적인 디스플레이 이미지를 도시한다. 다양한 예시에서, 서로 다른 심각도 레벨에 대응하는 색상은 디바이스에 의해 자동적으로 설정되거나 사용자에 의해 수동적으로 설정될 수 있다.
본원의 다른 곳에서 설명된 바와 같이, 일부 예시들에서, 주파수 세기 데이터는 시간에 따라 저장되거나 추적될 수 있다. 일부 실시예에서, 세기 대 시간 정보는 다중 파라미터 표현에서 하나 이상의 주파수 범위 각각에 대해 디스플레이 될 수 있다. 도 46은 다중 파라미터 표현(4640)에서 복수의 주파수 범위(예를 들어, 4650) 각각에 대한 세기 (dB 단위) 대 시간 추세를 도시한다. 예를 들어, 일부 예시에서, 세기 대 시간에 추가하여, 피크 마커(예를 들어, 4652)를 통하는 것과 같이 하나 이상의 주파수 범위 중 하나 이상에 대한 피크 세기 정보가 다중 파라미터 표현(4640)에 또한 디스플레이될 수도 있다. 도 46에 도시된 바와 같이, 다중 파라미터 표현(4640)은 시간 축을 포함하고, 복수의 음향 주파수 또는 음향 주파수 범위(예를 들어, 4650) 각각에 대해 시간에 따른 음향 주파수 또는 음향 주파수 범위에 대응하는 세기 정보를 나타낸다.
본 명세서에 설명된 바와 같은 다양한 프로세스는 하나 이상의 프로세서가 그러한 프로세스를 수행하도록 하기 위한 실행 가능한 명령을 포함하는 비 일시적 컴퓨터 판독 가능한 매체로서 구현될 수 있다. 시스템은 예를 들어 프로세서에 통합되거나 프로세서로부터 외부에 있는 메모리에 저장된 명령에 기초하여 이러한 프로세스를 수행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 경우에 따라 다양한 구성 요소가 시스템 전체에 배포될 수 있다. 예를 들어, 시스템은 복수의 분배 프로세서를 포함할 수 있으며, 각각은 시스템에 의해 실행되는 전체 프로세스의 적어도 일부를 실행하도록 구성된다. 추가로, 본 명세서에 설명된 다양한 특징 및 기능은, 예를 들어 초소형 음향 이미징 도구 또는 다양한 분리 및/또는 분리 가능한 구성 요소를 갖는 분배 시스템으로 구현되는 단일 음향 이미징 시스템으로 결합될 수 있음을 알 수 있을 것이다.
본 명세서에 설명된 구성 요소의 다양한 기능들은 결합될 수 있다. 일부 실시예에서, 본 출원에 설명된 특징은 문서 번호(attorney docket number) 56581.178.2를 가지고 2019 년 7 월 24 일에 출원된 PCT 출원 "음향 데이터를 투사하고 디스플레이하기 위한 시스템 및 방법"에 설명된 특징과 결합될 수 있으며, 이는 본 출원의 양수인에게 할당되고 원용에 의해 본원에 참조로 포함된다. 일부 실시예에서, 본 출원에 설명된 특징은 문서 번호 56581.179.2를 가지고 2019 년 7 월 24 일에 출원된 PCT 출원 "음향 이미지 태깅 및 링크를 위한 시스템 및 방법"에 설명된 기능과 결합될 수 있으며, 이는 본 출원의 양수인에게 할당되며 원용에 의해 본원에 참조로 포함된다. 일부 실시예에서, 본 출원에 설명된 특징은 문서 번호 56581.180.2를 가지고 2019 년 7 월 24 일에 출원된 PCT 출원 "탈착 가능하고 부착 가능한 음향 이미징 센서를 위한 시스템 및 방법"에 설명된 특징과 결합될 수 있으며, 이는 본 출원의 양수인에게 할당되고 원용에 의해 본원에 참조로 포함된다. 일부 실시예에서, 본 출원에 설명된 특징은 문서 번호 56581.182.2를 가지고 2019 년 7 월 24 일에 출원된 PCT 출원 "목표 장면으로부터 음향 시그니처를 표현하기 위한 시스템 및 방법"에 설명된 특징과 결합될 수 있으며, 이는 본 출원의 양수인에게 할당되고 원용에 의해 본원에 참조로 포함된다.
다양한 실시예가 설명되었다. 이러한 예시는 비 제한적이며 어떤 식으로든 본 발명의 범위를 정의하거나 제한하지 않는다.
Claims (39)
- 음향 분석 시스템으로서,
복수의 음향 센서 요소를 포함하는 음향 센서 어레이로서, 상기 복수의 음향 센서 요소의 각각은 음향 장면으로부터 음향 신호를 수신하고, 수신된 음향 신호에 기초하여 음향 데이터를 출력하도록 구성되는, 음향 센서 어레이;
목표 장면으로부터 전자기 방사를 수신하고, 수신된 전자기 방사를 나타내는 전자기 이미지 데이터를 출력하도록 구성된 전자기 이미징 도구;
사용자 인터페이스;
디스플레이; 및
상기 음향 센서 어레이, 상기 전자기 이미징 도구, 상기 사용자 인터페이스, 및 상기 디스플레이와 통신하는 프로세서로서, 상기 프로세서는,
상기 전자기 이미징 도구로부터 전자기 이미지 데이터를 수신하고,
상기 음향 센서 어레이로부터 음향 데이터를 수신하고,
수신된 음향 데이터에 기초하여 장면의 음향 이미지 데이터를 생성하고,
결합된 음향 이미지 데이터 및 전자기 이미지 데이터를 포함하는 디스플레이 이미지를 생성하며,
상기 디스플레이 이미지를 상기 디스플레이 상에 제시하고,
상기 사용자 인터페이스로부터 주석 입력을 수신하며, 그리고
수신된 주석 입력에 기초하여 상기 디스플레이 상의 디스플레이 이미지를 업데이트하도록 구성된, 프로세서
를 포함하는, 음향 분석 시스템. - 제1항에 있어서,
상기 사용자 인터페이스는 터치 스크린을 포함하고,
상기 수신된 주석 입력은 상기 터치 스크린을 통해 수신된 자유형 주석을 포함하는,
음향 분석 시스템. - 제1항 또는 제2항에 있어서,
상기 프로세서와 통신하는 메모리를 더 포함하고,
상기 메모리는 하나 이상의 아이콘을 포함하며,
상기 수신된 주석 입력은,
상기 메모리에 저장된 아이콘의 선택, 및
상기 디스플레이 이미지 상에 아이콘의 위치를 설정하는 입력을 포함하는,
음향 분석 시스템. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 주석 입력은,
미리 정의된 형태의 선택,
상기 미리 정의된 형태의 크기를 설정하는 입력, 및
상기 디스플레이 이미지 내에서 미리 정의된 형태의 위치를 설정하는 입력을 포함하는,
음향 분석 시스템. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 프로세서는 상기 음향 장면에 존재하는 음향 신호의 위치를 검출하도록 구성되고,
수신된 주석 입력에 기초하여 상기 디스플레이 상의 디스플레이 이미지를 업데이트하는 것은,
상기 디스플레이 이미지에 상기 음향 신호의 위치에 위치된 표시자를 포함하는 것, 그리고
상기 표시자의 투명도와 연관된 수신된 주석 입력에 응답하여 상기 디스플레이 이미지 내의 표시자의 투명도를 조절하는 것을 포함하는,
음향 분석 시스템. - 제5항에 있어서,
상기 디스플레이 이미지 내의 표시자의 투명도를 조절하는 것은,
상기 전자기 이미징 데이터와 상기 음향 이미지 데이터의 블렌딩에 대응하는 블렌딩 비율을 조절하는 것을 포함하는,
음향 분석 시스템. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 프로세서는,
상기 음향 장면에 존재하는 음향 신호의 위치를 검출하고, 그리고
상기 음향 신호와 연관된 음향 파라미터를 결정하도록 구성되며,
상기 수신된 주석 입력은 상기 음향 파라미터와 연관된 값들의 범위의 선택을 수신하는 것을 포함하고,
수신된 주석 입력에 기초하여 상기 디스플레이 상의 디스플레이 이미지를 업데이트하는 것은, 상기 음향 신호와 연관된 음향 파라미터가 상기 음향 파라미터와 연관된 값의 선택된 범위 내에 있는 경우에만 상기 디스플레이 이미지에 상기 음향 신호의 위치에 위치된 표시자를 포함하는,
음향 분석 시스템. - 제7항에 있어서,
상기 수신된 주석 입력은 상기 음향 파라미터와 연관된 값들의 복수의 범위의 선택을 수신하는 것을 포함하고,
수신된 주석 입력에 기초하여 상기 디스플레이 상의 디스플레이 이미지를 업데이트하는 것은, 상기 음향 신호와 연관된 음향 파라미터가 상기 음향 파라미터와 연관된 값들의 선택된 복수의 범위 중 어느 범위에 있는 경우에만 상기 디스플레이 이미지에 상기 음향 신호의 위치에 위치된 표시자를 포함하는,
음향 분석 시스템. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 프로세서는,
상기 음향 장면에 존재하는 음향 신호의 위치를 검출하고, 그리고
상기 음향 신호와 연관된 목표까지의 거리를 결정하도록 구성되며,
상기 디스플레이 이미지는 상기 음향 신호의 위치에 위치된 표시자를 포함하고, 그리고
수신된 주석 입력에 기초하여 상기 디스플레이 상의 디스플레이 이미지를 업데이트하는 것은,
상기 음향 신호의 위치에 위치된 표시자에 근접하여, 상기 음향 신호와 연관된 목표까지의 거리를 표시하는 주석을 포함시키는 것을 포함하는,
음향 분석 시스템. - 제9항에 있어서,
상기 프로세서는,
상기 음향 신호와 연관된 하나 이상의 음향 파라미터를 결정하고, 그리고
상기 음향 파라미터와 하나의 미리 결정된 임계값 또는 복수의 미리 결정된 임계값과의 비교에 기초하여 상기 음향 신호와 연관된 중요도를 결정하도록 구성되며,
수신된 주석 입력에 기초하여 상기 디스플레이 상의 디스플레이 이미지를 업데이트하는 것은,
상기 음향 신호의 위치에 위치된 표시자에 근접하여, 상기 음향 신호와 연관된 하나 이상의 음향 파라미터 및 중요도를 표시하는 주석을 포함시키는 것을 포함하는,
음향 분석 시스템. - 제9항 또는 제10항에 있어서,
장면을 향해 레이저를 방출하도록 구성된 레이저 포인터를 포함하고, 그리고 상기 목표 장면까지의 거리를 나타내는 정보를 프로세서에 제공하는, 레이저 거리 센서를 더 포함하고,
상기 디스플레이 이미지는 상기 목표 장면 내의 레이저 포인터의 위치를 도시하는 레이저 표시자를 더 포함하는,
음향 분석 시스템. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 주석 입력은,
영숫자 주석을 정의하는 영숫자 입력, 및
상기 디스플레이 이미지에 상기 영숫자 주석의 위치를 설정하는 입력을 포함하는,
음향 분석 시스템. - 제12항에 있어서,
상기 영숫자 입력은 미리 정의된 영숫자 주석 옵션의 목록으로부터 영숫자 주석의 선택을 포함하는,
음향 분석 시스템. - 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 프로세서는,
상기 음향 장면 내의 복수의 음향 신호를 검출하고,
복수의 검출된 음향 신호의 각각과 연관된 제1 음향 파라미터를 결정하도록 더 구성되며,
상기 사용자 인터페이스로부터 주석 입력을 수신하는 것은, 상기 제1 음향 파라미터를 나타내는 정보를 포함하도록 상기 디스플레이 이미지를 업데이트하는 명령을 수신하는 것을 포함하고,
수신된 주석 입력에 기초하여 상기 디스플레이 이미지를 업데이트하는 것은,
디스플레이 이미지 상에 검출된 음향 신호의 각각과 연관된 결정된 제1 음향 파라미터를 나타내는 표시를 포함시키는 것을 포함하는,
음향 분석 시스템. - 제14항에 있어서,
상기 디스플레이 상에 검출된 음향 신호의 각각과 연관된 결정된 제1 음향 파라미터를 나타내는 표시는, 각각의 음향 신호의 위치에 위치되고 단일 색상을 포함하는 이소음향(isoacoustic) 표시자를 포함하고, 상기 단일 색상은 상기 제1 음향 파라미터와 연관된 값의 범위 또는 특정 값을 나타내는,
음향 분석 시스템. - 제15항에 있어서,
각 이소음향 표시자의 단일 색상은 제1 음향 파라미터의 중요도 레벨을 나타내는,
음향 분석 시스템. - 제15항 또는 제16항에 있어서,
상기 프로세서는 복수의 검출된 음향 신호 각각과 연관된 제2 음향 파라미터를 결정하도록 구성되고,
각 이소음향 표시자는 제1 음향 파라미터 및 제2 음향 파라미터의 범위 또는 특정 값을 나타내는,
음향 분석 시스템. - 제14항 내지 제17항 중 어느 한 항에 있어서,
상기 프로세서는 복수의 검출된 음향 신호 각각과 연관된 제2 음향 파라미터를 결정하도록 구성되고,
상기 표시는 복수의 검출된 음향 신호 각각에 대해, 각각의 검출된 음향 신호와 연관된 제1 음향 파라미터 및 제2 음향 파라미터의 영숫자 표현을 포함하는,
음향 분석 시스템. - 제14항 내지 제18항 중 어느 한 항에 있어서,
상기 표시는,
복수의 검출된 음향 신호 각각에 대해, 검출된 음향 신호에 대응하는 음향 장면의 위치에서 디스플레이 이미지 상에 위치된 표시자로서, 상기 음향 신호의 제1 음향 파라미터를 나타내는 시각적 특성을 가지는, 표시자, 및
상기 음향 장면 내에서 제1 음향 파라미터와 제2 음향 파라미터 사이의 관계를 도시하는 다중-파라미터 표현을 포함하는,
음향 분석 시스템. - 제19항에 있어서,
상기 다중-파라미터 표현은 시간에 따른 상기 제1 음향 파라미터와 상기 제2 음향 파라미터 사이의 관계의 진화를 도시하는 시간 축을 포함하는,
음향 분석 시스템. - 제19항 또는 제20항에 있어서,
상기 다중-파라미터 표현은 상기 음향 장면 내의 복수의 주파수 또는 주파수 범위와 연관된 음향 세기의 그래픽 표현을 포함하는,
음향 분석 시스템. - 제1항 내지 제21항 중 어느 한 항에 있어서,
하나 이상의 소리 프로파일을 포함하는 메모리를 더 포함하고,
각 소리 프로파일은 상기 하나 이상의 소리에 대응하는 하나 이상의 음향 파라미터에 의해 정의되며,
상기 프로세서는,
수신된 음향 데이터를 분석하고,
수신된 음향 데이터가 메모리에 저장된 소리 프로파일 중 하나와 일치하면, 상기 디스플레이 이미지에 상기 소리 프로파일과 연관된 주석을 달도록 구성되고,
상기 수신된 주석 입력은 상기 음향 장면 내에 존재하는 소리 프로파일을 검출하기 위한 명령을 포함하는,
음향 분석 시스템. - 제22항에 있어서,
상기 주석은 일치된 소리 프로파일에 기초하여 상기 음향 장면의 검출된 조건의 표시를 포함하는,
음향 분석 시스템. - 제23항에 있어서,
검출된 조건은 공기 누출을 포함하는,
음향 분석 시스템. - 제24항에 있어서,
상기 표시는 공기 누출의 영숫자 주석을 포함하는,
음향 분석 시스템. - 제25항에 있어서,
상기 프로세서는 상기 공기 누출과 연관된 비용을 결정하도록 더 구성되고,
상기 영숫자 주석은 상기 공기 누출과 연관된 비용의 표현을 포함하는,
음향 분석 시스템. - 제24항 내지 제26항 중 어느 한 항에 있어서,
상기 표시는 상기 공기 누출을 나타내는 아이콘 주석을 포함하는,
음향 분석 시스템. - 음향 분석 시스템으로서,
복수의 음향 센서 요소를 포함하는 음향 센서 어레이로서, 상기 복수의 음향 센서 요소의 각각은 음향 장면으로부터 음향 신호를 수신하고, 수신된 음향 신호에 기초하여 음향 데이터를 출력하도록 구성되는, 음향 센서 어레이;
소리 프로파일을 포함하는 메모리로서, 상기 소리 프로파일은 제1 음향 파라미터 및 상기 제1 음향 파라미터와 연관된 미리 결정된 제1 조건을 포함하는, 메모리;
디스플레이; 및
상기 음향 센서 어레이, 상기 디스플레이, 및 상기 메모리와 통신하는 프로세서로서, 상기 프로세서는,
상기 음향 센서 어레이로부터 음향 데이터를 수신하고,
수신된 음향 데이터가 메모리에 저장된 소리 프로파일과 일치하는지 여부를 결정하고, 그리고
상기 수신된 음향 데이터가 메모리에 저장된 소리 프로파일과 일치하면, 상기 디스플레이 상의 표시를 통해, 수신된 음향 데이터가 메모리에 저장된 소리 프로파일과 일치함을 표시하도록 구성되며, 상기 표시는 일치된 소리 프로파일과 관련된 정보를 포함하는, 프로세서
를 포함하는, 음향 분석 시스템. - 제28항에 있어서,
수신된 음향 데이터가 소리 프로파일과 일치하는지 여부를 결정하는 것은,
상기 수신된 음향 데이터가 상기 제1 음향 파라미터와 연관된 미리 결정된 제1 조건을 만족하는 음향 신호를 포함하는지 여부를 결정하는 것을 포함하는,
음향 분석 시스템. - 제28항 또는 제29항에 있어서,
상기 소리 프로파일은 제2 음향 파라미터 및 상기 제2 음향 파라미터와 연관된 미리 결정된 제2 조건을 포함하는,
음향 분석 시스템. - 제30항에 있어서,
수신된 음향 데이터가 제1 음향 파라미터와 연관된 미리 결정된 제1 조건 및 상기 제2 음향 파라미터와 연관된 미리 결정된 제2 조건을 만족하는 음향 신호를 포함하면, 상기 수신된 음향 데이터는 소리 프로파일과 일치하는,
음향 분석 시스템. - 제31항에 있어서,
상기 제1 음향 파라미터는 주파수를 포함하고, 상기 미리 결정된 제1 조건은 주파수의 범위를 포함하며, 상기 제2 음향 파라미터는 세기를 포함하고, 상기 미리 결정된 제2 조건은 임계 세기를 포함하여서,
수신된 음향 데이터가 상기 주파수의 범위 내의 주파수와 상기 임계 세기보다 큰 세기를 가지는 음향 신호를 포함하면, 상기 수신된 음향 데이터는 소리 프로파일과 일치하는,
음향 분석 시스템. - 제30항 내지 제32항 중 어느 한 항에 있어서,
수신된 음향 데이터가 제1 음향 파라미터와 연관된 미리 결정된 제1 조건을 만족하는 제1 음향 신호 및 상기 제2 음향 파라미터와 연관된 미리 결정된 제2 조건을 만족하는 제2 음향 신호를 포함하면, 상기 수신된 음향 데이터는 소리 프로파일과 일치하는,
음향 분석 시스템. - 음향 분석 시스템으로서,
복수의 음향 센서 요소를 포함하는 음향 센서 어레이로서, 상기 복수의 음향 센서 요소의 각각은 음향 장면으로부터 음향 신호를 수신하고, 수신된 음향 신호에 기초하여 음향 데이터를 출력하도록 구성되는, 음향 센서 어레이;
목표 장면으로부터 전자기 방사를 수신하고, 수신된 전자기 방사를 나타내는 전자기 이미지 데이터를 출력하도록 구성된 전자기 이미징 도구로서, 전자기 방사를 검출하도록 구성된, 전자기 이미징 도구;
디스플레이; 및
상기 음향 센서 어레이, 상기 전자기 이미징 도구, 및 상기 디스플레이와 통신하는 프로세서로서, 상기 프로세서는,
상기 전자기 이미징 도구로부터 전자기 이미지 데이터를 수신하고,
상기 음향 센서 어레이로부터 음향 데이터를 수신하고,
수신된 음향 데이터에 기초하여 장면의 음향 이미지 데이터를 생성하며,
결합된 음향 이미지 데이터 및 전자기 이미지 데이터를 포함하는 디스플레이 이미지를 생성하며, 그리고
상기 디스플레이 이미지를 상기 디스플레이 상에 제시하도록 구성되는, 프로세서를 포함하고,
상기 디스플레이 이미지는,
상기 검출된 음향 신호에 대응하는 음향 장면의 위치에서 디스플레이 이미지 상에 위치된 표시자로서, 상기 음향 신호의 음향 파라미터를 나타내는 시각적 특성을 가지는, 표시자, 및
음향 주파수 범위 또는 복수의 음향 주파수 각각에 대응하는 수신된 음향 데이터를 나타내는 세기 정보를 포함하는 다중-파라미터 표현을 포함하는,
음향 분석 시스템. - 제34항에 있어서,
상기 다중-파라미터 표현은, 시간 축을 포함하고, 상기 음향 주파수 범위 또는 복수의 음향 주파수 각각에 대해, 시간에 따른 음향 주파수 또는 음향 주파수 범위에 대응하는 세기 정보를 나타내는,
음향 분석 시스템. - 제34항 또는 제35항에 있어서,
상기 프로세서와 통신하는 사용자 인터페이스를 더 포함하고,
상기 프로세서는,
상기 사용자 인터페이스를 통해, 복수의 음향 주파수 또는 음향 주파수 범위 중 하나 이상의 선택을 수신하고, 그리고
선택된 하나 이상의 음향 주파수 또는 음향 주파수 범위 내의 주파수 컨텐츠를 포함하는 음향 신호를 갖는 음향 장면에서의 위치를 결정하도록 구성되며,
생성된 음향 이미지 데이터는 선택된 하나 이상의 음향 주파수 또는 음향 주파수 범위 내의 주파수 컨텐츠를 포함하는 음향 신호를 갖는 결정된 위치에서만 정보를 포함하는,
음향 분석 시스템. - 제34항 내지 제36항 중 어느 한 항에 있어서,
상기 다중-파라미터 표현은 복수의 음향 주파수 또는 음향 주파수 범위 각각에 대해, 현재 음향 세기값의 표시 및 최대 음향 세기값의 표현을 포함하는,
음향 분석 시스템. - 제37항에 있어서,
상기 최대 음향 세기값은 복수의 음향 주파수 또는 음향 주파수 범위 각각에 대해, 미리 정의된 기간 동안 관찰된 최대 음향 세기를 나타내는,
음향 분석 시스템. - 제34항 내지 제36항 중 어느 한 항에 있어서,
상기 표시자 및/또는 다중-파라미터 표현은, 음향 장면 내의 위치 및/또는 상기 음향 장면 내의 미리 결정된 음향 주파수 또는 음향 주파수의 범위에서 음향 데이터의 중요도를 나타내는 중요도 정보를 포함하는,
음향 분석 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862702716P | 2018-07-24 | 2018-07-24 | |
| US62/702,716 | 2018-07-24 | ||
| PCT/US2019/043224 WO2020023627A1 (en) | 2018-07-24 | 2019-07-24 | Systems and methods for analyzing and displaying acoustic data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210035273A true KR20210035273A (ko) | 2021-03-31 |
Family
ID=67539638
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217005734A KR20210035881A (ko) | 2018-07-24 | 2019-07-24 | 목표 장면으로부터 음향 시그니처를 나타내기 위한 시스템 및 방법 |
| KR1020217005731A KR20210034661A (ko) | 2018-07-24 | 2019-07-24 | 음향 이미지를 태깅하고 링크하기 위한 시스템 및 방법 |
| KR1020217005735A KR20210035273A (ko) | 2018-07-24 | 2019-07-24 | 음향 데이터를 분석하고 디스플레이하기 위한 시스템 및 방법 |
| KR1020217005733A KR20210034076A (ko) | 2018-07-24 | 2019-07-24 | 음향 데이터를 투사하고 디스플레이하기 위한 시스템 및 방법 |
| KR1020217005732A KR20210033532A (ko) | 2018-07-24 | 2019-07-24 | 탈착 가능하고 부착 가능한 음향 이미징 센서를 위한 시스템 및 방법 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217005734A KR20210035881A (ko) | 2018-07-24 | 2019-07-24 | 목표 장면으로부터 음향 시그니처를 나타내기 위한 시스템 및 방법 |
| KR1020217005731A KR20210034661A (ko) | 2018-07-24 | 2019-07-24 | 음향 이미지를 태깅하고 링크하기 위한 시스템 및 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217005733A KR20210034076A (ko) | 2018-07-24 | 2019-07-24 | 음향 데이터를 투사하고 디스플레이하기 위한 시스템 및 방법 |
| KR1020217005732A KR20210033532A (ko) | 2018-07-24 | 2019-07-24 | 탈착 가능하고 부착 가능한 음향 이미징 센서를 위한 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (6) | US11960002B2 (ko) |
| EP (5) | EP3827227A1 (ko) |
| JP (6) | JP7403526B2 (ko) |
| KR (5) | KR20210035881A (ko) |
| CN (5) | CN112739996A (ko) |
| WO (5) | WO2020023627A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220170653A (ko) | 2021-06-23 | 2022-12-30 | 한국전력공사 | 초음파 가시화와 위상분해 분석을 적용한 부분방전 진단 방법 및 장치 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11209306B2 (en) | 2017-11-02 | 2021-12-28 | Fluke Corporation | Portable acoustic imaging tool with scanning and analysis capability |
| WO2020023627A1 (en) | 2018-07-24 | 2020-01-30 | Fluke Corporation | Systems and methods for analyzing and displaying acoustic data |
| DE102020107181B4 (de) | 2020-03-16 | 2023-09-07 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Vorrichtung und deren verwendung zum orten von schallquellen durch beamforming |
| KR20230065299A (ko) | 2020-09-11 | 2023-05-11 | 플루커 코포레이션 | 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법 |
| KR20230066045A (ko) | 2020-09-11 | 2023-05-12 | 플루커 코포레이션 | 세그먼트화에 의한 파노라마 음향 이미지 생성 및 음향 이미징 디바이스 가상화를 위한 시스템 및 방법 |
| EP4009126B1 (en) * | 2020-12-04 | 2024-05-08 | United Grinding Group Management AG | Method of operating a machine for a production facility |
| KR102487086B1 (ko) * | 2021-01-19 | 2023-01-10 | 국방과학연구소 | 가변형 선측배열 소나 시스템, 이를 포함하는 수중운동체 및 수중운동체의 동작 방법 |
| CN113759314A (zh) * | 2021-09-01 | 2021-12-07 | 浙江讯飞智能科技有限公司 | 一种声源可视化方法、装置、系统和计算机可读存储介质 |
| US20230115216A1 (en) * | 2021-10-09 | 2023-04-13 | Theon Technologies, Inc. | Utilization Of Coordinate Systems For Compression And Encryption |
| WO2023149963A1 (en) | 2022-02-01 | 2023-08-10 | Landscan Llc | Systems and methods for multispectral landscape mapping |
| CN114858271B (zh) * | 2022-07-05 | 2022-09-23 | 杭州兆华电子股份有限公司 | 一种声音探测用的阵列放大方法 |
| KR102523631B1 (ko) | 2022-09-19 | 2023-04-19 | 주식회사 창성에이스산업 | 가스누출 및 화재발생 감지시스템 |
| CN115899598B (zh) * | 2022-11-17 | 2024-06-21 | 浙江英集动力科技有限公司 | 一种融合听觉和视觉特征的供热管网状态监测方法及系统 |
| CN117452336B (zh) * | 2023-10-25 | 2024-06-04 | 东北大学 | 一种无人机声事件检测定位装置 |
Family Cites Families (146)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3592534A (en) | 1969-04-07 | 1971-07-13 | Bell & Howell Co | Audiovisual display system |
| JPS5939341B2 (ja) | 1979-07-04 | 1984-09-22 | 富士重工業株式会社 | 車両運搬車 |
| DE3233059C2 (de) | 1982-09-06 | 1985-03-21 | Oerlikon-Boehringer GmbH, 7320 Göppingen | Tiefbohrmaschine |
| US4662222A (en) | 1984-12-21 | 1987-05-05 | Johnson Steven A | Apparatus and method for acoustic imaging using inverse scattering techniques |
| NL9201787A (nl) * | 1992-10-14 | 1994-05-02 | Jacobus Lambertus Van Merkstei | Lokalisatie van storingen. |
| US6006175A (en) | 1996-02-06 | 1999-12-21 | The Regents Of The University Of California | Methods and apparatus for non-acoustic speech characterization and recognition |
| JP2830839B2 (ja) | 1996-05-10 | 1998-12-02 | 日本電気株式会社 | 距離計測装置 |
| US7085387B1 (en) | 1996-11-20 | 2006-08-01 | Metcalf Randall B | Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources |
| JP3678016B2 (ja) | 1998-09-01 | 2005-08-03 | いすゞ自動車株式会社 | 音源探索方法 |
| DE19844870A1 (de) | 1998-09-30 | 2000-04-20 | Bruno Stieper | Verfahren zum Darstellen eines Schallfeldes |
| US20040021031A1 (en) | 1998-11-16 | 2004-02-05 | Dan Klaus | Device for traversing a flexible linear product for spooling |
| US6239348B1 (en) | 1999-09-10 | 2001-05-29 | Randall B. Metcalf | Sound system and method for creating a sound event based on a modeled sound field |
| US7092882B2 (en) | 2000-12-06 | 2006-08-15 | Ncr Corporation | Noise suppression in beam-steered microphone array |
| CN1287741C (zh) | 2001-07-31 | 2006-12-06 | 皇家菲利浦电子有限公司 | 经食道的以及经鼻、食道的超声成像系统 |
| US6907799B2 (en) | 2001-11-13 | 2005-06-21 | Bae Systems Advanced Technologies, Inc. | Apparatus and method for non-destructive inspection of large structures |
| DE10200561B4 (de) | 2002-01-09 | 2006-11-23 | Eads Deutschland Gmbh | Radarsystem mit einem phasengesteuerten Antennen-Array |
| US6901028B2 (en) | 2002-03-14 | 2005-05-31 | Input/Output, Inc. | Marine seismic survey apparatus with graphical user interface and real-time quality control |
| US7093974B2 (en) | 2002-03-13 | 2006-08-22 | Ulrich Kienitz | Radiometer with digital imaging system |
| JP2004021031A (ja) | 2002-06-18 | 2004-01-22 | Olympus Corp | カメラ |
| EP1551303A4 (en) | 2002-05-16 | 2009-03-18 | Karmanos B A Cancer Inst | COMBINED DIAGNOSTIC METHOD AND SYSTEM AND ULTRASONIC TREATMENT SYSTEM INCLUDING NON-INVASIVE THERMOMETRY, CONTROL AND AUTOMATION OF ABLATION |
| JP2004077277A (ja) | 2002-08-19 | 2004-03-11 | Fujitsu Ltd | 音源位置の可視化表示方法および音源位置表示装置 |
| CA2496785C (en) * | 2002-08-30 | 2011-11-22 | Nittobo Acoustic Engineering Co., Ltd. | Sound source search system |
| WO2004032351A1 (en) | 2002-09-30 | 2004-04-15 | Electro Products Inc | System and method for integral transference of acoustical events |
| GB0229059D0 (en) | 2002-12-12 | 2003-01-15 | Mitel Knowledge Corp | Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle |
| DE10304215A1 (de) * | 2003-01-30 | 2004-08-19 | Gesellschaft zur Förderung angewandter Informatik eV | Verfahren und Vorrichtung zur bildgebenden Darstellung von akustischen Objekten sowie ein entsprechendes Computerprogramm-Erzeugnis und ein entsprechendes computerlesbares Speichermedium |
| US7538326B2 (en) | 2004-12-03 | 2009-05-26 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
| KR100677554B1 (ko) | 2005-01-14 | 2007-02-02 | 삼성전자주식회사 | 비임형성 방식을 이용한 녹음 장치 및 그 방법 |
| US20070189544A1 (en) | 2005-01-15 | 2007-08-16 | Outland Research, Llc | Ambient sound responsive media player |
| US8253619B2 (en) | 2005-02-15 | 2012-08-28 | Techtronic Power Tools Technology Limited | Electromagnetic scanning imager |
| EP1910996A1 (en) | 2005-02-23 | 2008-04-16 | Lyncee Tec S.A. | Wave front sensing method and apparatus |
| DE102005030326B4 (de) | 2005-06-29 | 2016-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals |
| US7996212B2 (en) | 2005-06-29 | 2011-08-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device, method and computer program for analyzing an audio signal |
| JP4983207B2 (ja) | 2006-01-30 | 2012-07-25 | 日産自動車株式会社 | 異音対策確認装置および異音対策確認方法 |
| US7532541B2 (en) * | 2006-02-23 | 2009-05-12 | Fev Engine Technology, Inc | Object detection using acoustic imaging |
| CN100489851C (zh) * | 2006-04-29 | 2009-05-20 | 上海杰图软件技术有限公司 | 构建全景电子地图服务的方法 |
| US20080119716A1 (en) | 2006-05-17 | 2008-05-22 | Olga Boric-Lubecke | Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems |
| DE102006052451B4 (de) | 2006-07-24 | 2008-05-08 | Siemens Ag | Verfahren zum Betrieb eines dezentralen Datennetzes |
| EP1936404B1 (en) | 2006-12-18 | 2008-12-10 | Aloka Co., Ltd. | Ultrasound diagnosis apparatus |
| US7798967B2 (en) | 2006-12-19 | 2010-09-21 | Aloka Co., Ltd. | Ultrasound diagnosis apparatus |
| CN107126182B (zh) * | 2007-01-19 | 2020-06-16 | 桑尼布鲁克健康科学中心 | 用于成像探头的扫描机构 |
| US8395496B2 (en) | 2007-03-29 | 2013-03-12 | Shiv P Joshi | Miniature modular wireless sensor |
| CN100505837C (zh) * | 2007-05-10 | 2009-06-24 | 华为技术有限公司 | 一种控制图像采集装置进行目标定位的系统及方法 |
| CN101079947A (zh) * | 2007-05-17 | 2007-11-28 | 孟均 | 一种影像采集系统 |
| US8638362B1 (en) * | 2007-05-21 | 2014-01-28 | Teledyne Blueview, Inc. | Acoustic video camera and systems incorporating acoustic video cameras |
| ATE554481T1 (de) | 2007-11-21 | 2012-05-15 | Nuance Communications Inc | Sprecherlokalisierung |
| JP5050935B2 (ja) | 2008-03-06 | 2012-10-17 | 日本電気株式会社 | ソーナー受信装置 |
| DK2277021T3 (da) * | 2008-04-25 | 2020-08-17 | Stichting Technische Wetenschappen | Acoustic holography |
| CN101290347B (zh) | 2008-06-13 | 2011-04-27 | 清华大学 | 用规则声阵列和单摄像机获取静止声源声场图像的方法 |
| US8446254B2 (en) | 2008-11-03 | 2013-05-21 | Thingmagic, Inc. | Methods and apparatuses for RFID tag range determination |
| JP2010133964A (ja) * | 2008-12-04 | 2010-06-17 | Honda Motor Co Ltd | 音源位置推定システム |
| TWI389579B (zh) | 2009-04-27 | 2013-03-11 | Univ Nat Chiao Tung | Acoustic camera |
| WO2010148141A2 (en) | 2009-06-16 | 2010-12-23 | University Of Florida Research Foundation, Inc. | Apparatus and method for speech analysis |
| JP2011015050A (ja) | 2009-06-30 | 2011-01-20 | Nittobo Acoustic Engineering Co Ltd | ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム |
| US8121618B2 (en) * | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
| US9084045B2 (en) | 2009-12-11 | 2015-07-14 | Sorama Holding B.V. | Acoustic transducer assembly |
| JP2011163776A (ja) | 2010-02-04 | 2011-08-25 | Ono Sokki Co Ltd | 音源モニタリング装置 |
| KR20140015165A (ko) | 2010-04-16 | 2014-02-06 | 주식회사 유.이 시스템즈 | 탑재된 초음파 주파수 스펙트럼 및 이미지 생성 |
| JP5553672B2 (ja) * | 2010-04-26 | 2014-07-16 | キヤノン株式会社 | 音響波測定装置および音響波測定方法 |
| CN201718024U (zh) * | 2010-05-07 | 2011-01-19 | 中国科学院声学研究所 | 一种平面螺旋形传声器阵列 |
| JP2012021969A (ja) | 2010-06-18 | 2012-02-02 | Panasonic Electric Works Co Ltd | 部屋、配線器具 |
| EP2413115A1 (en) | 2010-07-30 | 2012-02-01 | Technische Universiteit Eindhoven | Generating a control signal based on acoustic data |
| KR101219746B1 (ko) | 2010-08-24 | 2013-01-10 | 서울대학교산학협력단 | 탄성 매질에서의 주파수 영역 역시간 구조보정을 이용한 지하구조의 영상화 장치 및 방법 |
| WO2012063103A1 (en) | 2010-11-12 | 2012-05-18 | Nokia Corporation | An Audio Processing Apparatus |
| KR101736911B1 (ko) * | 2010-12-07 | 2017-05-19 | 한국전자통신연구원 | 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법 |
| JP2012133250A (ja) | 2010-12-24 | 2012-07-12 | Sony Corp | 音情報表示装置、音情報表示方法およびプログラム |
| JP5702160B2 (ja) | 2011-01-20 | 2015-04-15 | 中部電力株式会社 | 音源推定方法及び音源推定装置 |
| US9176990B2 (en) | 2011-03-04 | 2015-11-03 | Fluke Corporation | Visual image annotation, tagging of infrared images, and infrared image linking |
| US20160025993A1 (en) | 2014-07-28 | 2016-01-28 | Apple Inc. | Overlapping pattern projector |
| KR101213540B1 (ko) | 2011-08-18 | 2012-12-18 | (주)에스엠인스트루먼트 | 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라 |
| US20130155249A1 (en) | 2011-12-20 | 2013-06-20 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
| US20130155248A1 (en) | 2011-12-20 | 2013-06-20 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
| US20130162835A1 (en) | 2011-12-23 | 2013-06-27 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
| US9495591B2 (en) | 2012-04-13 | 2016-11-15 | Qualcomm Incorporated | Object recognition using multi-modal matching scheme |
| KR101204499B1 (ko) | 2012-05-25 | 2012-11-26 | 주식회사 서울산전 | 영상기능이 부가된 전력설비진단용 초음파 진단장치 |
| JP2013250111A (ja) * | 2012-05-31 | 2013-12-12 | Ono Sokki Co Ltd | 音源探査装置 |
| US9599632B2 (en) | 2012-06-22 | 2017-03-21 | Fitbit, Inc. | Fitness monitoring device with altimeter |
| TW201412092A (zh) * | 2012-09-05 | 2014-03-16 | Acer Inc | 多媒體處理系統及音訊信號處理方法 |
| CN102879080B (zh) | 2012-09-11 | 2014-10-15 | 上海交通大学 | 基于图像识别定位和声学传感器阵列测量的声场分析方法 |
| CN103686136A (zh) * | 2012-09-18 | 2014-03-26 | 宏碁股份有限公司 | 多媒体处理系统及音频信号处理方法 |
| WO2014064689A1 (en) | 2012-10-22 | 2014-05-01 | Tomer Goshen | A system and methods thereof for capturing a predetermined sound beam |
| US20140115055A1 (en) * | 2012-10-23 | 2014-04-24 | Dean Kenneth Jackson | Co-relating Visual Content with Geo-location Data |
| US9247367B2 (en) | 2012-10-31 | 2016-01-26 | International Business Machines Corporation | Management system with acoustical measurement for monitoring noise levels |
| US9260958B2 (en) | 2012-12-20 | 2016-02-16 | Schlumberger Technology Corporation | System and method for acoustic imaging using a transducer array |
| FR3000862B1 (fr) | 2013-01-08 | 2015-01-09 | ACB Engineering | Dispositifs passifs d'acquisition acoustique large bande et systemes passifs d'imagerie acoustique large bande. |
| CN103226038B (zh) * | 2013-01-08 | 2014-09-17 | 中科声相（天津）科技有限公司 | 一种可拼拆式无浮线传感器阵列 |
| JP6061693B2 (ja) | 2013-01-18 | 2017-01-18 | 株式会社日立パワーソリューションズ | 異常診断装置およびこれを用いた異常診断方法 |
| CA2898750C (en) * | 2013-01-25 | 2018-06-26 | Hai HU | Devices and methods for the visualization and localization of sound |
| EP2973556B1 (en) | 2013-03-13 | 2018-07-11 | Kopin Corporation | Noise cancelling microphone apparatus |
| US20140267757A1 (en) | 2013-03-15 | 2014-09-18 | Fluke Corporation | Parallax correction in thermal imaging cameras |
| EP2973071B1 (en) | 2013-03-15 | 2020-05-06 | Fluke Corporation | Automatic recording and graphing of measurement data |
| US20140269163A1 (en) | 2013-03-15 | 2014-09-18 | Navico, Inc. | Sonar Multi-Function Display With Built-In Chirp Processing |
| US9654704B2 (en) | 2013-03-15 | 2017-05-16 | Infrared Integrated Systems, Ltd. | Apparatus and method for multispectral imaging with three dimensional overlaying |
| CN105191345B (zh) | 2013-03-29 | 2016-11-02 | 日产自动车株式会社 | 声源探测用麦克风支承装置 |
| KR102080746B1 (ko) | 2013-07-12 | 2020-02-24 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
| JP6342136B2 (ja) | 2013-10-15 | 2018-06-13 | 三菱重工業株式会社 | レーダ装置 |
| GB2519347A (en) | 2013-10-18 | 2015-04-22 | Pole Star Space Applic Ltd | Method and apparatus for tracking and checking compliance of vessels such as ships |
| US9635456B2 (en) | 2013-10-28 | 2017-04-25 | Signal Interface Group Llc | Digital signal processing with acoustic arrays |
| US9798030B2 (en) | 2013-12-23 | 2017-10-24 | General Electric Company | Subsea equipment acoustic monitoring system |
| JP2015152316A (ja) * | 2014-02-10 | 2015-08-24 | 株式会社小野測器 | 音源可視化装置 |
| FR3018023B1 (fr) | 2014-02-25 | 2017-07-07 | Micro Db | Dispositif d’identification de sources acoustiques |
| US9697465B2 (en) | 2014-04-30 | 2017-07-04 | Google Technology Holdings LLC | Drawing an inference of a usage context of a computing device using multiple sensors |
| JP6218090B2 (ja) | 2014-05-09 | 2017-10-25 | パナソニックＩｐマネジメント株式会社 | 指向性制御方法 |
| US9892328B2 (en) | 2014-06-18 | 2018-02-13 | Mobileye Vision Technologies Ltd. | Hazard detection from a camera in a scene with moving shadows |
| AU2015292238B2 (en) | 2014-07-23 | 2020-05-21 | The Australian National University | Planar sensor array |
| KR101866609B1 (ko) * | 2014-07-28 | 2018-06-12 | 두산중공업 주식회사 | 지능형 소음감시장치 및 이를 이용한 소음감시방법 |
| US20160073087A1 (en) | 2014-09-10 | 2016-03-10 | Lenovo (Singapore) Pte. Ltd. | Augmenting a digital image with distance data derived based on acoustic range information |
| US20160076937A1 (en) | 2014-09-17 | 2016-03-17 | Fluke Corporation | Display of images from an imaging tool embedded or attached to a test and measurement tool |
| CN106852189B (zh) * | 2014-10-24 | 2019-09-27 | 弗兰克公司 | 底层墙体结构探测器和红外相机 |
| CN104361586A (zh) * | 2014-10-31 | 2015-02-18 | 国网上海市电力公司 | 基于全景图的电力杆塔维护与预警系统 |
| EP3225280A4 (en) | 2014-11-26 | 2018-06-20 | Attibe Beauty Co., Ltd. | Ultrasonic wave generating device and procedure method using same |
| US20160165341A1 (en) | 2014-12-05 | 2016-06-09 | Stages Pcs, Llc | Portable microphone array |
| US9736580B2 (en) * | 2015-03-19 | 2017-08-15 | Intel Corporation | Acoustic camera based audio visual scene analysis |
| US10028053B2 (en) | 2015-05-05 | 2018-07-17 | Wave Sciences, LLC | Portable computing device microphone array |
| JP6247397B2 (ja) | 2015-05-07 | 2017-12-13 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 物体を検出するシステムおよび方法 |
| KR101687825B1 (ko) | 2015-05-18 | 2016-12-20 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
| US20160364960A1 (en) | 2015-06-09 | 2016-12-15 | Elwha Llc | Systems and methods for ultrasonically induced tactile stimuli in an entertainment system |
| US20170225033A1 (en) * | 2015-06-23 | 2017-08-10 | Ipcomm Llc | Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback |
| GB2540225A (en) * | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Distributed audio capture and mixing control |
| US20170010359A1 (en) * | 2015-07-09 | 2017-01-12 | Deca System, Inc. | Golf device with gps and laser rangefinder functionalities |
| JP5939341B1 (ja) | 2015-07-14 | 2016-06-22 | パナソニックＩｐマネジメント株式会社 | モニタリングシステム及びモニタリング方法 |
| US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
| JP6543844B2 (ja) | 2015-08-27 | 2019-07-17 | 本田技研工業株式会社 | 音源同定装置および音源同定方法 |
| US10042038B1 (en) | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
| KR101678203B1 (ko) * | 2015-09-08 | 2016-12-07 | (주)에스엠인스트루먼트 | 전방향 음장을 전방향 영상에 중첩하여 표현하는 mems 음향센서를 이용한 전방향 음향 시각화 장치 |
| CN205067744U (zh) | 2015-10-23 | 2016-03-02 | 河海大学 | 一种范围可调式移动终端控制型障碍物探测系统 |
| JP6665379B2 (ja) | 2015-11-11 | 2020-03-13 | 株式会社国際電気通信基礎技術研究所 | 聴覚支援システムおよび聴覚支援装置 |
| US20170150254A1 (en) * | 2015-11-19 | 2017-05-25 | Vocalzoom Systems Ltd. | System, device, and method of sound isolation and signal enhancement |
| US10008028B2 (en) | 2015-12-16 | 2018-06-26 | Aquifi, Inc. | 3D scanning apparatus including scanning sensor detachable from screen |
| US10408933B1 (en) | 2016-01-08 | 2019-09-10 | Johnson Outdoors Inc. | Sonar imaging system with lateral target placement and multiple color display |
| KR20170098089A (ko) | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
| US20170281982A1 (en) | 2016-03-31 | 2017-10-05 | Family Health International | Methods and systems for generating an occlusion using ultrasound |
| JP2017207399A (ja) | 2016-05-19 | 2017-11-24 | 株式会社小野測器 | 音源探査装置及び音源探査方法 |
| US10375325B2 (en) | 2016-06-23 | 2019-08-06 | Fluke Corporation | Thermal anomaly detection |
| FI129137B (en) * | 2016-09-22 | 2021-08-13 | Noiseless Acoustics Oy | ACOUSTIC CAMERA AND METHOD FOR DETECTING ACOUSTIC EMISSIONS FROM VARIOUS LOCATIONS AND EQUIPMENT |
| JP6610640B2 (ja) | 2016-10-28 | 2019-11-27 | Ｊｆｅスチール株式会社 | 位置認識方法およびシステム、ならびに異常判定方法およびシステム |
| KR102625247B1 (ko) * | 2016-11-11 | 2024-01-16 | 삼성전자주식회사 | 카메라와 음향 부품을 포함하는 전자 장치 |
| EP3611933A1 (en) | 2017-01-05 | 2020-02-19 | Harman Becker Automotive Systems GmbH | Active noise reduction earphones |
| JP7159208B2 (ja) | 2017-05-08 | 2022-10-24 | マシモ・コーポレイション | ドングルを使用することによって医療システムをネットワークコントローラとペアリングするためのシステム |
| GB201710093D0 (en) | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Audio distance estimation for spatial audio processing |
| US11209306B2 (en) | 2017-11-02 | 2021-12-28 | Fluke Corporation | Portable acoustic imaging tool with scanning and analysis capability |
| US20190129027A1 (en) | 2017-11-02 | 2019-05-02 | Fluke Corporation | Multi-modal acoustic imaging tool |
| US11099075B2 (en) | 2017-11-02 | 2021-08-24 | Fluke Corporation | Focus and/or parallax adjustment in acoustic imaging using distance information |
| US11617492B2 (en) * | 2017-11-27 | 2023-04-04 | Optecks, Llc | Medical three-dimensional (3D) scanning and mapping system |
| WO2019231630A1 (en) * | 2018-05-31 | 2019-12-05 | Shure Acquisition Holdings, Inc. | Augmented reality microphone pick-up pattern visualization |
| WO2020023627A1 (en) | 2018-07-24 | 2020-01-30 | Fluke Corporation | Systems and methods for analyzing and displaying acoustic data |
| US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
-
2019
- 2019-07-24 WO PCT/US2019/043224 patent/WO2020023627A1/en unknown
- 2019-07-24 EP EP19749983.3A patent/EP3827227A1/en active Pending
- 2019-07-24 JP JP2021504180A patent/JP7403526B2/ja active Active
- 2019-07-24 US US17/262,497 patent/US11960002B2/en active Active
- 2019-07-24 US US17/262,495 patent/US20210311187A1/en not_active Abandoned
- 2019-07-24 JP JP2021504177A patent/JP7417587B2/ja active Active
- 2019-07-24 CN CN201980062573.8A patent/CN112739996A/zh active Pending
- 2019-07-24 CN CN201980062594.XA patent/CN112739997A/zh active Pending
- 2019-07-24 CN CN201980062571.9A patent/CN112739995A/zh active Pending
- 2019-07-24 CN CN201980062609.2A patent/CN112703376A/zh active Pending
- 2019-07-24 WO PCT/US2019/043233 patent/WO2020023631A1/en unknown
- 2019-07-24 EP EP19758838.7A patent/EP3827230A1/en active Pending
- 2019-07-24 JP JP2021504179A patent/JP7493491B2/ja active Active
- 2019-07-24 EP EP19755722.6A patent/EP3827229A1/en active Pending
- 2019-07-24 US US17/262,485 patent/US20210310856A1/en active Pending
- 2019-07-24 US US17/262,488 patent/US11965958B2/en active Active
- 2019-07-24 CN CN201980062572.3A patent/CN112703375A/zh active Pending
- 2019-07-24 WO PCT/US2019/043230 patent/WO2020023629A1/en unknown
- 2019-07-24 KR KR1020217005734A patent/KR20210035881A/ko unknown
- 2019-07-24 WO PCT/US2019/043237 patent/WO2020023633A1/en unknown
- 2019-07-24 JP JP2021504176A patent/JP7488250B2/ja active Active
- 2019-07-24 EP EP19749542.7A patent/EP3827226A1/en not_active Withdrawn
- 2019-07-24 KR KR1020217005731A patent/KR20210034661A/ko unknown
- 2019-07-24 WO PCT/US2019/043217 patent/WO2020023622A1/en unknown
- 2019-07-24 KR KR1020217005735A patent/KR20210035273A/ko unknown
- 2019-07-24 US US17/262,502 patent/US11762089B2/en active Active
- 2019-07-24 JP JP2021504173A patent/JP2021532355A/ja not_active Withdrawn
- 2019-07-24 EP EP19749987.4A patent/EP3827228A1/en active Pending
- 2019-07-24 KR KR1020217005733A patent/KR20210034076A/ko active Search and Examination
- 2019-07-24 KR KR1020217005732A patent/KR20210033532A/ko unknown
-
2023
- 2023-09-15 US US18/468,530 patent/US20240118416A1/en active Pending
-
2024
- 2024-01-05 JP JP2024000575A patent/JP2024041847A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220170653A (ko) | 2021-06-23 | 2022-12-30 | 한국전력공사 | 초음파 가시화와 위상분해 분석을 적용한 부분방전 진단 방법 및 장치 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210035273A (ko) | 음향 데이터를 분석하고 디스플레이하기 위한 시스템 및 방법 | |
| US20220146668A1 (en) | Multi-modal acoustic imaging tool | |
| US11913829B2 (en) | Portable acoustic imaging tool with scanning and analysis capability | |
| CN109756720B (zh) | 使用距离信息的声学成像中的焦点和/或视差调整 | |
| KR20230065299A (ko) | 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법 |