KR20230065299A - 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법 - Google Patents

누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20230065299A
KR20230065299A KR1020237011687A KR20237011687A KR20230065299A KR 20230065299 A KR20230065299 A KR 20230065299A KR 1020237011687 A KR1020237011687 A KR 1020237011687A KR 20237011687 A KR20237011687 A KR 20237011687A KR 20230065299 A KR20230065299 A KR 20230065299A
Authority
KR
South Korea
Prior art keywords
acoustic
image data
signal
acoustic signal
image
Prior art date
Application number
KR1020237011687A
Other languages
English (en)
Inventor
딜리파 프라바카르
마이클 디. 스튜어트
Original Assignee
플루커 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 플루커 코포레이션 filed Critical 플루커 코포레이션
Publication of KR20230065299A publication Critical patent/KR20230065299A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G01S15/8925—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being a two-dimensional transducer configuration, i.e. matrix or orthogonal linear arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/449—Statistical methods not provided for in G01N29/4409, e.g. averaging, smoothing and interpolation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/10—Number of transducers
    • G01N2291/106—Number of transducers one or more transducer arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

음향 분석 시스템은, 타겟 장면으로부터 음향 신호를 수신하고, 수신된 음향 신호에 기반하여 음향 데이터를 출력하는 음향 센서 어레이를 포함한다. 프로세서는, 상이한 시점에서의 타겟 장면을 나타내는 복수의 음향 데이터 세트를 음향 센서 어레이로부터 수신한다. 프로세서는 복수의 음향 데이터 세트에 의해 표현되는 타겟 장면 내의 하나 이상의 위치를 결정하고, 하나 이상의 위치 각각은 타겟 장면으로부터 방출되는 음향 신호의 위치이다. 각각의 음향 신호에 대해, 프로세서는 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하고, 복수의 음향 데이터 세트에 기반하여 누적-시간 음향 이미지 데이터를 생성하고, 디스플레이 상에 제시하기 위한 누적-시간 디스플레이 이미지를 생성한다. 누적-시간 디스플레이 이미지 내에서, 간헐적 음향 신호로 분류된 음향 신호는 연속적 음향 신호로 분류된 음향 신호와 구별된다.

Description

누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법
일부 영역 모니터링 응용분야의 경우, 문제가 일정 기간에 걸쳐서만 명백해지는 영역을 모니터링하는 것이 필요할 수 있다. 때때로, 이러한 문제는 간헐적일 수 있고, 주기적인 점검으로는 놓칠 수 있다.
일부 경우에서, 음향 영상화 시스템의 시야 내의 다양한 특징부들은 다양한 음향 시그니처들을 가지는데, 이는 해당 시야의 개별 부분을 분석하기 어렵게 만들 수 있다. 예를 들어, 타겟 장면(target scene)의 제1 부분은, 정상적으로 작동할 때에도 일반적으로 시끄러운 제1 장비 부분을 포함하는 한편, 타겟 장면의 제2 부분은 일반적으로 제1 장비 부분보다 훨씬 더 조용하지만 오작동 중에는 더 시끄러워지는 제2 장비 부분을 포함할 수 있다. 제1 장비 부분으로부터 방출되는 더 큰 소리의 예상되는 존재 때문에 오작동을 검출하는 것이 어려울 수 있다.
도 1a 및 도 1b는 예시적인 음향 영상화 디바이스의 정면도 및 배면도를 도시한다.
도 2는 음향 분석 시스템의 일 실시예의 구성요소를 예시하는 기능 블록도이다.
도 3a, 도 3b, 도 3c, 및 도 3d는 음향 분석 시스템 내의 예시적인 음향 센서 어레이 구성의 개략도를 도시한다.
도 4a 및 도 4b는 가시광선 이미지 데이터 및 음향 이미지 데이터의 프레임의 생성 시 시차 오류의 개략도를 도시한다.
도 5a 및 도 5b는 가시광선 이미지와 음향 이미지 사이의 시차 수정을 도시한다.
도 6은 음향 이미지 데이터와 전자기 이미지 데이터를 결합한 최종 이미지를 생성하기 위한 예시적인 방법을 도시하는 프로세스 흐름도이다.
도 7은 수신된 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 예시적인 프로세스를 도시하는 프로세스 흐름도이다.
도 8은 음향 영상화 프로세스 동안 사용하기 위한 적절한 알고리즘 및 센서 어레이를 결정하기 위한 예시적인 룩업 테이블을 도시한다.
도 9a는 음향 장면에서 시간에 따른 수신된 이미지 데이터의 주파수 성분의 예시적인 플롯이다.
도 9b는 음향 신호를 방출하는 복수의 위치를 포함하는 예시적인 장면을 도시한다.
도 9c는 복수의 미리 정의된 주파수 범위에서 결합된 복수의 음향 및 가시광선 이미지 데이터를 도시한다.
도 10a 및 도 10b는 결합된 가시광선 이미지 데이터 및 음향 이미지 데이터를 포함하는 예시적인 디스플레이 이미지이다.
도 11a 및 도 11b는 음향 장면에서 음향 데이터의 주파수 대 시간의 예시적인 플롯을 도시한다.
도 12는 타겟 음향 장면에서 사운드의 예시적인 시각화를 도시한다.
도 13은 타겟 음향 장면에서 사운드의 예시적인 시각화를 도시한다.
도 14는 타겟 음향 장면에서 사운드의 예시적인 시각화 및 주석을 도시한다.
도 1a 및 도 1b는 예시적인 음향 영상화 디바이스의 정면도 및 배면도를 도시한다. 도 1a는, 음향 센서 어레이(104) 및 전자기 영상화 툴(tool)(106)을 지지하는 하우징(102)을 갖는 음향 영상화 디바이스(100)의 전방 측부를 도시한다. 일부 실시형태에서, 음향 센서 어레이(104)는 복수의 음향 센서 요소를 포함하고, 복수의 음향 센서 요소 각각은 음향 장면(acoustic scene)으로부터 방출되는 음향 신호를 수신하고(예를 들어, 수동적으로) 수신된 음향 신호에 기반하여 음향 데이터를 출력하도록 구성된다. 전자기 영상화 툴(106)은 타겟 장면으로부터 전자기 복사를 수신하고 수신된 전자기 복사를 나타내는 전자기 이미지 데이터를 출력하도록 구성될 수 있다. 전자기 영상화 툴(106)은, 가시광선, 적외선, 자외선 등과 같은 복수의 파장 범위 중 하나 이상의 전자기 복사를 검출하도록 구성될 수 있다.
예시된 실시예에서, 음향 영상화 디바이스(100)는 주변광 센서(108) 및 위치 센서(116), 예를 들어, GPS를 포함한다. 디바이스(100)는, 일부 실시형태에서, 레이저 거리 측정기를 포함하는 레이저 포인터(110)를 포함한다. 디바이스(100)는, 장면을 향해 가시광선 복사를 방출하도록 구성될 수 있는 토치(112), 및 장면을 향해 적외선 복사를 방출하도록 구성될 수 있는 적외선 조명기(118)를 포함한다. 일부 실시예에서, 디바이스(100)는 임의의 범위의 파장에 걸쳐 장면을 조명하기 위한 조명기를 포함할 수 있다. 장치(100)는, 생성된 이미지, 예를 들어, 컬러화된 이미지를 장면 상에 투영하도록 구성될 수 있는, 이미지 리프로젝터(reprojector)와 같은 프로젝터(114), 및/또는 예를 들어, 장면의 깊이 프로파일을 결정하기 위해 일련의 도트를 장면에 투영하도록 구성된 도트 프로젝터를 더 포함한다.
도 1b는 음향 영상화 디바이스(100)의 후방 측부를 도시한다. 도시된 바와 같이, 디바이스는, 이미지 또는 다른 데이터를 제시할 수 있는 디스플레이(120)를 포함한다. 일부 실시예에서, 디스플레이(120)는 터치스크린 디스플레이를 포함한다. 음향 영상화 디바이스(100)는, 사용자에게 오디오 피드백 신호를 제공할 수 있는 스피커, 및 음향 영상화 디바이스(100)와 외부 디바이스 사이의 무선 통신을 가능하게 하는 무선 인터페이스(124)를 포함한다. 디바이스는, 사용자가 음향 영상화 디바이스(100)와 인터페이스할 수 있게 하는 하나 이상의 버튼, 노브(knob), 다이얼, 스위치, 또는 기타 인터페이스 구성요소를 포함할 수 있는 컨트롤(126)을 더 포함한다. 일부 실시예에서, 컨트롤(126) 및 터치스크린 디스플레이는 음향 영상화 디바이스(100)의 사용자 인터페이스를 제공하도록 결합된다.
다양한 실시형태에서, 음향 영상화 디바이스는 도 1a 및 도 1b의 실시형태에 도시된 모든 요소를 포함할 필요는 없다. 하나 이상의 예시된 구성요소는 음향 영상화 디바이스로부터 제외될 수 있다. 일부 실시예에서, 도 1a 및 도 1b의 실시형태에 도시된 하나 이상의 구성요소는 음향 영상화 시스템의 일부로서 포함될 수 있지만, 하우징(102)과는 별도로 포함될 수 있다. 이러한 구성요소는, 예를 들어, 무선 인터페이스(124)를 사용하여 유선 또는 무선 통신 기술을 통해 음향 영상화 시스템의 다른 구성요소와 통신할 수 있다.
도 2는 음향 분석 시스템(200)의 일 실시예의 구성요소를 예시하는 기능 블록도이다. 도 2의 예시적인 음향 분석 시스템(200)은 공기를 통해 이동하는 음향 신호를 캡처하기 위해 음향 센서 어레이(202)에 배열된 마이크로폰, MEMS, 트랜스듀서 등과 같은 복수의 음향 센서를 포함할 수 있다. 이러한 어레이는 1차원, 2차원, 또는 3차원일 수 있다. 다양한 실시예에서, 음향 센서 어레이는 임의의 적절한 크기 및 형상을 정의할 수 있다. 일부 실시예에서, 음향 센서 어레이(202)는, 예를 들어, 수직 열 및 수평 행으로 배열된 센서 요소의 어레이와 같은 그리드 패턴으로 배열된 복수의 음향 센서를 포함한다. 다양한 실시예에서, 음향 센서 어레이(202)는, 예를 들어, 8 × 8, 16 × 16, 32 × 32, 64 × 64, 128 × 128, 256 × 256 등의 수직 열 × 수평 행의 어레이를 포함할 수 있다. 다른 실시예가 가능하고, 다양한 센서 어레이가 반드시 열과 동일한 수의 행을 포함할 필요는 없다. 일부 실시형태에서, 이러한 센서는, 예를 들어, 인쇄 회로 기판(PCB) 기판과 같은 기판 상에 위치될 수 있다.
도 2에 도시된 구성에서, 음향 센서 어레이(202)와 통신되는 프로세서(212)는 복수의 음향 센서 각각으로부터 음향 데이터를 수신할 수 있다. 음향 분석 시스템(200)의 예시적인 작동 동안, 프로세서(212)는 음향 이미지 데이터를 생성하기 위해 음향 센서 어레이(202)와 통신할 수 있다. 예를 들어, 프로세서(212)는, 음향 센서 어레이에 배열된 복수의 음향 센서 각각으로부터 수신된 데이터를 분석하도록, 그리고 음향 신호를 음향 신호의 소스에 "역전파(back propagating)"함으로써 음향 장면을 결정하도록 구성될 수 있다. 일부 실시형태에서, 프로세서(212)는 2차원 장면에 걸쳐 음향 신호의 다양한 소스 위치 및 강도를 식별함으로써 음향 이미지 데이터의 디지털 "프레임"을 생성할 수 있다. 음향 이미지 데이터의 프레임을 생성함으로써, 프로세서(212)는 실질적으로 주어진 시점에서 타겟 장면의 음향 이미지를 캡처한다. 일부 실시예에서, 프레임은 음향 이미지를 구성하는 복수의 픽셀을 포함하고, 여기서 각각의 픽셀은 음향 신호가 역전파된 소스 장면의 일 부분을 나타낸다.
프로세서(212)를 포함하여, 음향 분석 시스템(200) 내에서 프로세서로서 설명된 구성요소는 하나 이상의 프로세서로서, 예를 들어, 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(DSP: digital signal processor), 특정 용도 지향 집적 회로(ASIC: application specific integrated circuit), 현장 프로그래머블 게이트 어레이(FPGA: field programmable gate arrays), 프로그래머블 로직 회로 등을 단독으로 또는 임의의 적절한 조합으로 하여 구현될 수 있다. 프로세서(212)는 또한, 프로세서(212)에 의해 실행될 때, 음향 분석 시스템(200) 및 프로세서(212)가 본 개시내용에서 이들에게 부여된 기능을 수행하게 하는 프로그램 명령어 및 관련 데이터를 저장하는 메모리를 포함할 수 있다. 메모리는, 고정식 또는 착탈식 자기, 광학, 또는 전기 매체, 예를 들어, RAM, ROM, CD-ROM, 하드 또는 플로피 자기 디스크, EEPROM 등을 포함할 수 있다. 메모리는 또한, 메모리 업데이트 또는 메모리 용량 증가를 제공하는 데 사용될 수 있는 착탈식 메모리 부분을 포함할 수 있다. 제거 가능한 메모리는 또한, 음향 이미지 데이터가 다른 컴퓨팅 장치로 쉽게 전송되는 것을 허용하거나, 또는 음향 분석 시스템(200)이 다른 애플리케이션에서 사용되기 전에 제거되는 것을 허용할 수 있다. 프로세서(212)는 또한, 컴퓨터 또는 다른 전자 시스템의 일부 또는 모든 구성요소를 단일 칩으로 통합하는 시스템 온 칩(System on Chip)으로서 구현될 수 있다. 프로세서(212)(처리 회로)는 처리된 데이터를 디스플레이(214) 또는 다른 출력/제어 디바이스(218)에 통신하도록 구성될 수 있다.
일부 실시형태에서, 음향 센서 어레이(202)의 음향 센서는 각각의 음향 센서에 의해 공기를 통해 수신된 음향 신호에 대응하는 일련의 신호를 생성하여 음향 이미지를 표현한다. 음향 이미지 데이터의 "프레임"은, 음향 센서 어레이(202)를 구성하는 모든 행을 스캐닝함으로써 각각의 음향 센서로부터의 신호가 획득될 때, 생성된다. 일부 실시예에서, 프로세서(212)는 음향 이미지 데이터의 비디오 표현(예를 들어, 30 ㎐ 또는 60 ㎐)을 생성하기에 충분한 속도로 음향 이미지 프레임을 획득할 수 있다. 특정 회로와 무관하게, 음향 분석 시스템(200)은, 사용자에 의해 디스플레이, 저장, 전송, 또는 다른 방식으로 활용될 수 있는 출력을 제공하도록 타겟 장면의 음향 프로파일을 나타내는 음향 데이터를 조작하게끔 구성될 수 있다.
일부 실시형태에서, 음향 이미지 데이터를 생성하기 위해 수신된 음향 신호의 "역전파"는, 예를 들어, 프로세서를 통해 음향 센서 어레이(202)의 복수의 음향 센서에서 수신된 신호를 분석하는 것을 포함한다. 다양한 실시예에서, 역전파 수행은 타겟까지의 거리, 주파수, 사운드 강도(예를 들어, dB 레벨) 센서 어레이 치수/구성(예: 하나 이상의 어레이 내 개별 센서들의 간격 및 배열을 포함함)을 포함한 하나 이상의 파라미터의 함수이다. 일부 실시형태에서, 이러한 파라미터는 시스템 안으로, 예를 들어 메모리에 미리 프로그램될 수 있다. 예를 들어, 음향 센서 어레이(202) 특성은, 특히 음향 센서 어레이(202)와 연관된 내부 메모리 또는 메모리와 같은 메모리에 저장될 수 있다.
타겟까지의 거리와 같은 다른 파라미터는 다양한 방법으로 수신될 수 있다. 예를 들어, 일부 실시예에서, 음향 분석 시스템(200)은 프로세서(212)와 통신하는 거리 측정 툴(204)을 포함한다. 거리 측정 툴은 거리 측정 툴(204)로부터 타겟 장면의 특정 위치까지의 거리를 나타내는 거리 정보를 제공하도록 구성될 수 있다. 다양한 거리 측정 툴은 레이저 거리 측정기 또는 다른 알려진 거리 측정 디바이스, 예를 들어, 다른 광학 또는 오디오 거리 측정 디바이스를 포함할 수 있다. 추가적으로 또는 대안적으로, 거리 측정 툴은, 타겟 장면의 각각의 부분이 연관된 타겟까지의 거리 값을 갖도록 3차원 깊이 데이터를 생성하게끔 구성될 수 있다. 따라서, 일부 실시예에서, 본원에서 사용되는 타겟 측정까지의 거리는 타겟 장면 내의 각각의 위치까지의 거리에 대응할 수 있다. 이러한 3차원 깊이 데이터는, 예를 들어, 타겟 장면의 서로 다른 뷰를 갖는 복수의 영상화 툴을 통해, 또는 다른 알려진 거리 스캐닝 툴을 통해 생성될 수 있다. 일반적으로, 다양한 실시형태에서, 거리 측정 툴은, 레이저 거리 측정, 능동 음파 거리 측정, 수동 초음파 거리 측정, LIDAR 거리 측정, RADAR 거리 측정, 밀리미터파 거리 측정 등을 포함하되 이에 한정되지 않는 하나 이상의 거리 측정 기능을 수행하기 위해서 사용될 수 있다.
거리 측정 툴(204)로부터의 거리 정보는 역전파 계산에 사용될 수 있다. 추가적으로 또는 대안적으로, 시스템(200)은, 사용자가 수동으로 타겟까지의 거리 파라미터(distance to target parameter)를 입력(enter)할 수 있는 사용자 인터페이스(216)를 포함할 수 있다. 예를 들어, 사용자는, 음향 신호를 생성하는 것으로 의심되는 구성요소까지의 거리가 알려져 있거나, 거리 측정 툴(204)로 측정하기가 어려운 경우, 타겟까지의 거리 값을 시스템(200)에 입력할 수 있다.
예시된 실시형태에서, 음향 분석 시스템(200)은, 타겟 장면을 나타내는 이미지 데이터를 생성하기 위한 전자기 영상화 툴(203)을 포함한다. 예시적인 전자기 영상화 툴은 타겟 장면으로부터 전자기 복사를 수신하고 수신된 전자기 복사를 나타내는 전자기 이미지 데이터를 생성하도록 구성될 수 있다. 일부 실시예에서, 전자기 영상화 툴(203)은, 적외선 복사, 가시광선 복사, 및 자외선 복사와 같은, 전자기 스펙트럼 내의 파장의 특정 범위를 나타내는 전자기 이미지 데이터를 생성하도록 구성될 수 있다. 예를 들어, 일부 실시형태에서, 전자기 타이밍 툴(203)은, 전자기 스펙트럼의 특정 범위의 파장을 나타내는 이미지 데이터를 생성하도록 구성된 하나 이상의 카메라 모듈, 예를 들어, 가시광선 카메라 모듈(206)을 포함할 수 있다.
가시광선 카메라 모듈은 일반적으로 잘 알려져 있다. 예를 들어, 다양한 가시광선 카메라 모듈은 스마트폰 및 기타 수많은 디바이스에 포함되어 있다. 일부 실시형태에서, 가시광선 카메라 모듈(206)은 타겟 장면으로부터 가시광선 에너지를 수신하도록, 그리고 가시광선 에너지 데이터의 생성을 위한 가시광선 센서 상에 가시광선 에너지를 포커싱시키도록 구성될 수 있으며, 예를 들어, 이 가시광선 에너지 데이터는 가시광선 이미지의 형태로 디스플레이(214)에 디스플레이될 수 있고/있거나 메모리에 저장될 수 있다. 가시광선 카메라 모듈(206)은, 본원에서 이 모듈에 부여된 기능을 수행하기 위한 임의의 적합한 구성요소를 포함할 수 있다. 도 2의 실시예에서, 가시광선 카메라 모듈(206)은, 가시광선 렌즈 조립체(208) 및 가시광선 센서(210)를 포함하는 것으로서 예시된다. 일부 이러한 실시형태에서, 가시광선 렌즈 조립체(208)는, 타겟 장면에 의해 방출된 가시광선 에너지를 취하고 이 가시광선 에너지를 가시광선 센서(210) 상에 포커싱시키는 적어도 하나의 렌즈를 포함한다. 가시광선 센서(210)는, 예를 들어, CMOS 검출기, CCD 검출기, PIN 다이오드, 애벌랜치 포토 다이오드(avalanche photo diode) 등과 같은 복수의 가시광선 센서 요소를 포함할 수 있다. 가시광선 센서(210)는 디스플레이(214) 상에 가시광선 이미지로 변환되어 디스플레이될 수 있는 전기 신호를 생성함으로써 포커싱된 에너지에 응답한다. 일부 실시예에서, 가시광선 모듈(206)은 사용자에 의해 구성 가능하고, 출력을, 예를 들어, 디스플레이(214)에 다양한 포맷으로 제공할 수 있다. 가시광선 카메라 모듈(206)은 조명 또는 기타 작동 조건 또는 사용자 선호도를 변경하기 위한 보상 기능을 포함할 수 있다. 가시광선 카메라 모듈은, 이미지 데이터를 포함한 디지털 출력을 제공할 수 있으며, 이미지 데이터는 다양한 포맷(예를 들어, RGB, CYMK, YCbCr 등)의 데이터를 포함할 수 있다.
일부 예시적인 가시광선 카메라 모듈(206)의 작동에서, 타겟 장면으로부터 수신된 광 에너지는 가시광선 렌즈 조립체(208)를 통과하여 가시광선 센서(210)에 포커싱될 수 있다. 광 에너지가 가시광선 센서(210)의 가시광선 센서 요소에 충돌할 때, 광검출기 내의 광자가 방출되어 검출 전류로 변환될 수 있다. 프로세서(212)는 타겟 장면의 가시광선 이미지를 형성하기 위해 이러한 검출 전류를 프로세싱할 수 있다.
음향 분석 시스템(200)의 사용 동안, 프로세서(212)는, 가시광선 이미지를 생성하기 위해 캡처된 타겟 장면으로부터 가시광선 데이터를 생성하도록 가시광선 카메라 모듈(206)을 제어할 수 있다. 가시광선 데이터는 캡처된 타겟 장면의 다른 부분과 연관된 컬러(들) 및/또는 캡처된 타겟 장면의 다른 부분과 연관된 광의 크기를 나타내는 광도 데이터를 포함할 수 있다. 프로세서(212)는 음향 분석 시스템(200)의 각각의 가시광선 센서 요소의 응답을 한 번에 측정함으로써 가시광선 이미지 데이터의 "프레임"을 생성할 수 있다. 가시광선 데이터의 프레임을 생성함으로써, 프로세서(212)는 주어진 시점에서 타겟 장면의 가시광선 이미지를 캡처한다. 프로세서(212)는 또한, 타겟 장면의 동적 가시광선 이미지(예를 들어, 비디오 표현)를 생성하도록 음향 분석 시스템(200)의 각각의 가시광선 센서 요소의 응답을 반복적으로 측정할 수 있다. 일부 실시예에서, 가시광선 카메라 모듈(206)은 가시광선 카메라 모듈(206)을 작동할 수 있는 자체 전용 프로세서 또는 기타 회로(예를 들어, ASIC)를 포함할 수 있다. 이러한 일부 실시형태에서, 전용 프로세서는, 가시광선 이미지 데이터(예를 들어, RGB 이미지 데이터)를 프로세서(212)에 제공하기 위해 프로세서(212)와 통신한다. 대안적인 실시형태에서, 가시광선 카메라 모듈(206)을 위한 전용 프로세서가 프로세서(212) 안에 통합될 수 있다.
센서 픽셀로 기능하는 가시광선 카메라 모듈(206)의 각각의 센서 요소에 의해, 프로세서(212)는, 각각의 센서 요소의 전기적 응답을, 예를 들어, 디스플레이(214) 상에 시각화하기 위해 그리고/또는 메모리에 저장하기 위해 프로세싱될 수 있는 시간 다중화 전기 신호로 변환함으로써, 타겟 장면으로부터의 가시광선의 2차원 이미지 또는 픽쳐 표현을 생성할 수 있다.
프로세서(212)는 캡처된 타겟 장면의 가시광선 이미지의 적어도 일 부분을 디스플레이하도록 디스플레이(214)를 제어할 수 있다. 일부 실시예에서, 프로세서(212)는, 가시광선 카메라 모듈(206)의 각각의 센서 요소의 전기적 응답이 디스플레이(214) 상의 단일 픽셀과 연관되도록 디스플레이(214)를 제어한다. 다른 실시예에서, 프로세서(212)는, 가시광선 카메라 모듈(206)에 있는 센서 요소보다 더 많은 또는 더 적은 픽셀이 디스플레이(214) 상에 디스플레이되도록 가시광선 이미지의 해상도를 증가시키거나 감소시킬 수 있다. 프로세서(212)는, 전체 가시광선 이미지(예를 들어, 음향 분석 시스템(200)에 의해 캡처된 타겟 장면의 모든 부분) 또는 전체 가시광선 이미지보다 더 작은 이미지(예를 들어, 음향 분석 시스템(200)에 의해 캡처된 전체 타겟 장면의 더 작은 부분)를 디스플레이하도록 디스플레이(214)를 제어할 수 있다.
일부 실시형태에서, 프로세서(212)는, 음향 분석 시스템(200)에 의해 캡처된 가시광선 이미지의 적어도 일 부분 및 음향 센서 어레이(202)를 통해 생성된 음향 이미지의 적어도 일 부분을 동시에 디스플레이하도록 디스플레이(214)를 제어할 수 있다. 이러한 동시 디스플레이는, 작업자가 가시광선 이미지에 디스플레이된 특징부를 참조하여 음향 이미지에 동시에 디스플레이되는 음향 신호의 소스를 관찰하는 것을 도울 수 있다는 점에서, 유용할 수 있다. 일부 경우에서, 프로세서(212)는, 전자기(예를 들어, 가시광선) 이미지 데이터 내의 하나 이상의 특징부를 인식하도록, 그리고 하나 이상의 인식된 특징부에 기반하여 음향 이미지 데이터의 적어도 일 부분을 지정(식별 또는 묘사)하도록 구성된다. 다양한 실시예에서, 프로세서(212)는 디스플레이(214)가 가시광선 이미지 및 음향 이미지를 사이드-바이-사이드(side-by-side) 배열로, 픽처-인-픽처(PIP: picture-in-picture) 배열(이미지들 중 하나가 이미지들 중 나머지 이미지를 둘러쌈)로, 또는 다른 적절한 배열(가시광선과 음향 이미지가 동시에 디스플레이됨)로 디스플레이하도록 제어할 수 있다.
예를 들어, 프로세서(212)는 디스플레이(214)가 가시광선 이미지와 음향 이미지를 결합된 배열로 디스플레이하도록 제어할 수 있다. 이러한 배열에서, 타겟 장면의 일 부분을 나타내는 가시광선 이미지의 픽셀 또는 픽셀 세트의 경우, 타겟 장면의 실질적으로 동일한 일 부분을 나타내는, 음향 이미지에 대응하는 픽셀 또는 픽셀 세트가 존재한다. 다양한 실시형태에서, 음향 및 가시광선 이미지의 크기 및/또는 해상도는 동일할 필요가 없습니다. 따라서, 음향 또는 가시광선 이미지들 중 하나의 단일 픽셀에 대응하는, 음향 또는 가시광선 이미지들 중 다른 하나의 픽셀 집합이 존재할 수 있거나, 또는 다른 사이즈의 픽셀 집합이 존재할 수 있다. 유사하게, 가시광선 이미지 또는 음향 이미지 중 하나에 있는 픽셀 세트에 대응하는 다른 이미지의 일 픽셀이 존재할 수 있다. 따라서, 본원에서 사용되는 바와 같이, 대응은 일대일 픽셀 관계를 요구하지 않고, 미스매칭(mismatched) 크기의 픽셀들 또는 픽셀 그룹들을 포함할 수 있다. 이미지의 미스매칭 크기 영역들의 다양한 조합 기법, 예를 들어, 이미지들 중 하나를 업샘플링하거나 다운샘플링하거나, 또는 픽셀을 대응하는 픽셀 집합의 평균값과 결합하는 것이 수행될 수 있다. 다른 예들이 알려져 있고, 본 개시내용의 범위 내에 있다.
따라서, 대응하는 픽셀들은 직접적인 일대일 관계를 가질 필요가 없다. 오히려, 일부 실시형태에서, 단일 음향 픽셀은 복수의 대응하는 가시광선 픽셀을 갖거나, 또는 하나의 가시광선 픽셀은 복수의 대응하는 음향 픽셀을 갖는다. 추가로 또는 대안적으로, 일부 실시형태에서, 모든 가시광선 픽셀이 대응하는 음향 픽셀을 갖는 것은 아니며, 그 반대도 마찬가지이다. 이러한 실시형태는, 예를 들어, 이전에 논의된 바와 같은 픽처-인-픽처 유형 디스플레이를 나타낼 수 있다. 따라서, 가시광선 픽셀은, 대응하는 음향 픽셀과, 가시광선 이미지 내에서 동일한 픽셀 좌표를 반드시 가질 필요는 없다. 따라서, 본원에서 사용되는 바와 같이, 대응하는 픽셀은 일반적으로, 타겟 장면의 실질적으로 동일한 부분으로부터의 정보를 포함하는 임의의 이미지(예를 들어, 가시광선 이미지, 음향 이미지, 조합된 이미지, 디스플레이 이미지 등)로부터의 픽셀을 지칭한다. 이러한 픽셀들은 이미지들 간에 일대일 관계를 가질 필요가 없고, 이들 각각의 이미지 내에서 유사한 좌표 위치를 가질 필요가 없다.
유사하게, 대응하는 픽셀들(즉, 타겟 장면의 동일한 부분을 나타내는 픽셀)을 갖는 이미지는 대응하는 이미지로서 지칭될 수 있다. 따라서, 일부 이러한 배열에서, 대응하는 가시광선 이미지 및 음향 이미지는 대응하는 픽셀에서 서로의 상부에 중첩될 수 있다. 작업자는 사용자 인터페이스(216)와 상호작용하여, 디스플레이(214) 상에 디스플레이된 이미지들 중 하나 또는 둘 다의 투명도 또는 불투명도를 제어할 수 있다. 예를 들어, 작업자는 사용자 인터페이스(216)와 상호 작용하여 완전히 투명한 것과 완전히 불투명한 것 사이에서 음향 이미지를 조정할 수 있고, 완전히 투명한 것과 완전히 불투명한 것 사이에서 가시광선 이미지를 조정할 수 있다. 알파-블렌드 배열로 지칭될 수 있는 이러한 예시적인 결합된 배열은, 디스플레이(214)가 음향 전용 이미지, 가시광선 전용 이미지, 음향 전용 이미지와 가시광선 전용 이미지의 극단들 사이에 있는 두 이미지의 임의의 중첩 조합을 디스플레이하게끔 작업자가 조정하는 것을 허용한다. 프로세서(212)는 또한 장면 정보를, 경보 데이터 등과 같은 다른 데이터와 결합할 수 있다. 일반적으로, 가시광선과 음향 이미지의 알파-블렌드 조합은 100% 음향 및 0% 가시광선으로부터 0% 음향 및 100% 가시광선까지의 어느 곳을 포함할 수 있다. 일부 실시형태에서, 블렌딩의 양은 카메라의 사용자에 의해서 조정될 수 있다. 따라서, 일부 실시형태에서, 블렌드된 이미지는 100% 가시광선과 100% 음향 사이에서 조정될 수 있다.
추가로, 일부 실시형태에서, 프로세서(212)는 사용자 인터페이스(216) 및/또는 출력/제어 디바이스(218)로부터의 커맨드를 해석하고 실행할 수 있다. 또한, 입력 신호는 프로세서(212)에서 발생하는 가시광선 및/또는 음향 이미지 데이터의 처리를 변경하는 데 사용될 수 있다.
작업자는, 버튼, 키 또는 사용자로부터 입력을 수신하기 위한 다른 메커니즘을 포함할 수 있는 사용자 인터페이스(216)를 통해 음향 분석 시스템(200)과 상호작용할 수 있다. 작업자는 디스플레이(214)를 통해 음향 분석 시스템(200)으로부터 출력을 수신할 수 있다. 디스플레이(214)는 음향 이미지 및/또는 가시광선 이미지를 임의의 수용 가능한 팔레트(palette) 또는 색채 조합(color scheme)으로 디스플레이하도록 구성될 수 있고, 팔레트는, 예를 들어, 사용자 제어에 따라 달라질 수 있다. 일부 실시형태에서, 음향 이미지 데이터는 장면의 서로 다른 위치들로부터의 다양한 크기의 음향 데이터를 나타내기 위해 팔레트에 제시될 수 있다. 예를 들어, 일부 실시예에서, 디스플레이(214)는 음향 이미지를 단색 팔레트, 예를 들어, 그레이스케일로 디스플레이하도록 구성된다. 다른 실시예에서, 디스플레이(214)는 음향 이미지를 컬러 팔레트, 예를 들어, 호박색, 아이언보우, 청적색, 또는 다른 고콘트라스트 색채 조합으로 디스플레이하도록 구성된다. 그레이스케일 및 컬러 팔레트 디스플레이의 조합이 또한 고려된다. 일부 실시예에서, 이러한 정보를 디스플레이하도록 구성된 디스플레이는 이러한 이미지 데이터를 생성하고 제시하기 위한 프로세싱 기능을 포함할 수 있다. 다른 실시예에서, 이러한 정보를 디스플레이하도록 구성되는 것은 프로세서(212)와 같은 다른 구성요소로부터 이미지 데이터를 수신하는 기능을 포함할 수 있다. 예를 들어, 프로세서(212)는 디스플레이될 각각의 픽셀에 대한 값(예를 들어, RGB 값, 그레이스케일 값, 또는 다른 디스플레이 옵션)을 생성할 수 있다. 디스플레이(214)는 이러한 정보를 수신하고, 각각의 픽셀을 시각적 디스플레이로 매핑할 수 있다.
프로세서(212)는 디스플레이(214)가 음향 이미지의 적어도 일 부분 및 가시광선 이미지의 적어도 일 부분을 임의의 적절한 배열로 동시에 디스플레이하도록 제어할 수 있지만, 픽처-인-픽처 배열은, 동일한 장면의 대응하는 가시광선 이미지를 인접한 정렬로 디스플레이함으로써 작업자가 음향 이미지에 포커싱하고/하거나 해석하는 것을 도울 수 있다.
전원 공급 장치(미도시)는 작동 전력을 음향 분석 시스템(200)의 다양한 구성요소에 전달한다. 다양한 실시예에서, 전원 공급 장치는 재충전 가능 또는 재충전 불가능 배터리 및 발전 회로, AC 전원, 유도 전원 픽업, 광기전 전원, 또는 임의의 다른 적절한 전원 공급 구성요소를 포함할 수 있다. 재충전가능한 배터리와, 디바이스를 작동시키고/시키거나 재충전가능한 배터리를 충전하기 위해 전력을 제공하도록 구성된 다른 구성요소와 같은 전원 공급 구성요소들의 조합이 또한 가능하다.
음향 분석 시스템(200)의 작동 중에, 프로세서(212)는, 메모리에 저장된 프로그램 정보와 연관된 명령어의 도움으로 음향 센서 어레이(202) 및 가시광선 카메라 모듈(206)이 타겟 장면의 가시광선 이미지 및 음향 이미지를 생성하도록 제어한다. 프로세서(212)는 디스플레이(214)가 가시광선 이미지 및/또는 음향 분석 시스템(200)에 의해 생성된 음향 이미지를 디스플레이하도록 추가로 제어한다.
언급된 바와 같이, 어떤 상황에서는, 음향 이미지에서 타겟 장면의 현실 세계(가시적) 특징부들을 식별하고 구별하는 것이 어려울 수 있다. 가시광선 정보로 음향 이미지를 보충하는 것 외에도, 일부 실시형태에서, 타겟 장면 내의 가시적 에지를 강조하는 것이 유용할 수 있다. 일부 실시형태에서, 알려진 에지 검출 방법은 타겟 장면의 가시광선 이미지 상에서 수행될 수 있다. 음향 이미지와 가시광선 이미지 사이의 대응 관계 때문에, 타겟 장면에서 가시적 에지를 나타내도록 결정된 가시광선 픽셀은 음향 이미지에서 또한 가시적 에지를 나타내는 음향 픽셀에 대응한다. 본원에서 사용되는 "에지"는 객체의 물리적 경계를 지칭할 필요는 없고, 가시광선 이미지에서 충분히 예리한 기울기를 지칭할 수 있다는 것이 이해될 것이다. 예는 객체의 물리적 경계, 객체 내의 컬러 변화, 장면 전체의 그림자 등을 포함할 수 있다.
도 2와 관련하여 가시광선 카메라 모듈(206)을 포함하는 것으로서 일반적으로 설명되지만, 일부 예에서, 음향 분석 시스템(200)의 전자기 영상화 툴(203)은 추가적으로 또는 대안적으로 다양한 스펙트럼을 나타내는 이미지 데이터를 생성할 수 있는 영상화 툴을 포함할 수 있다. 예를 들어, 다양한 실시예에서, 전자기 영상화 툴(203)은, 적외선 이미지 데이터, 가시광선 이미지 데이터, 자외선 이미지 데이터, 또는 임의의 다른 유용한 파장, 또는 이들의 조합을 생성할 수 있는 하나 이상의 툴을 포함할 수 있다. 일부 실시형태에서, 음향 영상화 시스템은, 적외선 렌즈 조립체 및 적외선 센서 어레이를 갖는 적외선 카메라 모듈을 포함할 수 있다. 예를 들어, 2015년 8월 27일자로 출원된, 발명의 명칭이 "EDGE ENHANCEMENT FOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS"인 미국 특허 출원 제14/837,757호에 설명된 것과 같은, 적외선 카메라 모듈과 인터페이스하기 위한 추가적인 구성요소가 포함될 수 있으며, 이 출원은 본 출원의 양수인에게 양도되고, 이의 전체가 참조로 포함된다.
일부 실시예에서, 둘 이상의 데이터 스트림은 디스플레이를 위해 블렌드될 수 있다. 예를 들어, 가시광선 카메라 모듈(206), 음향 센서 어레이(202), 및 적외선 카메라 모듈(도 2에 도시되지 않음)을 포함하는 예시적인 시스템은, 가시광(VL) 이미지 데이터, 적외선(IR) 이미지 데이터, 및 음향(Acoustic) 이미지 데이터의 블렌드를 포함하는 출력 이미지를 생성하도록 구성될 수 있다. 예시적인 블렌딩 방식에서, 디스플레이 이미지는 다음과 같이 표현될 수 있다: α × IR + β × VL + γ × Acoustic, 여기서 α + β + γ = 1. 일반적으로, 임의의 수의 데이터 스트림들이 디스플레이를 위해 결합될 수 있다. 다양한 실시형태에서, α, β 및 γ와 같은 블렌딩 비율은 사용자에 의해 설정될 수 있다. 추가적으로 또는 대안적으로, 세트 디스플레이 프로그램은, 경보 조건(예를 들어, 하나 이상의 데이터 스트림에서 하나 이상의 값이 사전 결정된 임계값을 충족함) 또는 기타 조건에 따라 다른 이미지 데이터 스트림을 포함하도록 구성될 수 있으며, 예를 들어, 이러한 조건은, 발명의 명칭이 "VISIBLE LIGHT AND IR COMBINED IMAGE CAMERA WITH A LASER POINTER"인 미국 특허 제7,538,326호에서 설명되며, 이 특허는 본 출원의 양수인에게 양도되며, 이로써 이의 전체가 참조로 포함된다.
도 2의 예는 추가적인 센서(250)를 더 포함한다. 추가적인 센서(250)는 프로세서에 보조 데이터를 제공하도록 구성될 수 있다. 이러한 데이터는 음향 분석 시스템(200)과 연관된 하나 이상의 환경 또는 다른 상황적 파라미터에 관련된 정보를 포함할 수 있다. 예를 들어, 일부 경우에서, 추가적인 센서(250)는 습도 센서, 온도 센서, 위치 센서(예를 들어, GPS 센서), 하나 이상의 방향 센서, 전류 센서, 전압 센서, 또는 기타 적절한 센서를 포함할 수 있다. 센서(250)가 도 2에 도시되지만, 일반적으로, 음향 분석 시스템은 이와 연관되고 프로세서와 통신하는 임의의 수의 추가적인 센서를 포함할 수 있다.
도 2와 관련하여 설명된 음향 분석 시스템(200)의 하나 이상의 구성요소는 휴대용(예를 들어, 핸드헬드) 음향 분석 툴에 포함될 수 있다. 예를 들어, 일부 실시형태에서, 휴대용 음향 분석 툴은 음향 분석 툴의 구성요소를 수용하도록 구성된 하우징(230)을 포함할 수 있다. 일부 실시예에서, 시스템(200)의 하나 이상의 구성요소는 음향 분석 툴의 하우징(230) 외부에 위치될 수 있다. 예를 들어, 일부 실시형태에서, 프로세서(212), 디스플레이(214), 사용자 인터페이스(216), 및/또는 출력 제어 디바이스(218)는 음향 분석 툴의 하우징 외부에 위치될 수 있고, 예를 들어, 무선 통신(예를 들어, 블루투스 통신, Wi-Fi 등)을 통해 다양한 다른 시스템 구성요소와 통신할 수 있다. 음향 분석 툴 외부의 이러한 구성요소는, 예를 들어, 컴퓨터, 스마트폰, 태블릿, 웨어러블 장치 등과 같은 외부 디바이스를 통해 제공될 수 있다. 추가적으로 또는 대안적으로, 음향 분석 툴에 대해 마스터 또는 슬레이브 디바이스로 작동하도록 구성된 다른 테스트 및 측정 또는 데이터 획득 툴은 유사하게 음향 분석 툴 외부의 음향 분석 시스템의 다양한 구성요소를 제공할 수 있다. 외부 디바이스는 휴대용 음향 분석 툴과 유선 및/또는 무선 연결을 통해 통신할 수 있고, 다양한 프로세싱, 디스플레이 및/또는 인터페이스 단계를 수행하는 데 사용할 수 있다. 예를 들어, 일부 실시형태에서, 하나 이상의 추가 센서(예를 들어, 추가 센서(250))는 음향 분석 시스템(200)의 하나 이상의 구성요소 외부(예를 들어, 하우징(230) 외부)에 위치될 수 있고, 프로세서(212)와 무선으로 통신할 수 있다.
일부 실시형태에서, 이러한 외부 디바이스는 휴대용 음향 분석 툴에 하우징된 구성요소로서 중복 기능을 제공할 수 있다. 예를 들어, 일부 실시형태에서, 음향 분석 툴은 음향 이미지 데이터를 디스플레이하기 위한 디스플레이를 포함할 수 있고, 저장 및/또는 디스플레이를 위해 이미지 데이터를 외부 디바이스에 통신하도록 더 구성될 수 있다. 유사하게, 일부 실시형태에서, 사용자는 음향 분석 툴 자체로 실행될 수 있는 하나 이상의 기능을 수행하기 위해, 스마트폰, 태블릿, 또는 컴퓨터 등에서 실행되는 애플리케이션("앱")을 통해 음향 분석 툴과 함께 인터페이스할 수 있다.
도 3a는 음향 분석 시스템 내의 음향 센서 어레이의 예시적인 구성의 개략도이다. 예시된 실시예에서, 음향 센서 어레이(302)는 복수의 제1 음향 센서(흰색으로 도시됨) 및 복수의 제2 음향 센서(음영 처리됨)를 포함한다. 제1 음향 센서는 제1 어레이(320)로 배열되고, 제2 음향 센서는 제2 어레이(322)로 배열된다. 일부 실시예에서, 제1 어레이(320) 및 제2 어레이(322)는, 예를 들어, 수동적으로 공기를 통해 음향 신호를 수신하고, 대응하는 음향 이미지 데이터를 생성하기 위해 선택적으로 사용될 수 있다. 예를 들어, 일부 구성에서, 특정 음향 주파수에 대한 특정 음향 센서 어레이의 감도는 음향 센서 요소들 사이의 거리의 함수이다.
일부 구성에서, 서로 더 가깝게 배치된 센서 요소들(예를 들어, 제2 어레이(322))은, 더 높은 주파수의 음향 신호(예: 20 ㎑ 내지 100 ㎑ 사이의 초음파 신호와 같은, 20 ㎑보다 더 큰 주파수를 갖는 소리)를, 더 멀리 이격된 센서 요소들(예를 들어, 제1 어레이(320))보다 더 잘 해상(resolve)할 수 있다. 마찬가지로, 더 이격된 센서 요소들(예를 들어, 제1 어레이(320))은 더 가깝게 이격된 센서 요소들(예를 들어, 제2 어레이(322))보다, 더 낮은 주파수 음향 신호(예: 20 ㎑ 미만)를 검출하는 데 더 적합할 수 있다. 초저주파 주파수(< 20 ㎐), 가청 주파수(약 20 ㎐ 내지 20 ㎑), 초음파 주파수(20 ㎑ 내지 100 ㎑)와 같은 다양한 주파수 범위의 음향 신호를 검출하기 위해 서로 이격된 센서 요소들을 갖는 다양한 음향 센서 어레이가 제공될 수 있다. 일부 실시형태에서, 특정 주파수 대역의 검출을 최적화하기 위해 부분 어레이(예를 들어, 어레이(320)로부터의 다른 모든 음향 센서 요소)가 사용될 수 있다.
추가로, 일부 실시예에서, 일부 음향 센서 요소는 저주파수 또는 고주파수와 같은 상이한 주파수 특성을 갖는 음향 신호를 검출하는 데 더 적합할 수 있다. 따라서, 일부 실시형태에서, 더 이격된 센서 요소를 갖는 제1 어레이(320)와 같은, 저주파 음향 신호를 검출하도록 구성된 어레이는 저주파 음향 신호를 검출하는 데 더 적합한 제1 음향 센서 요소를 포함할 수 있다. 유사하게, 제2 어레이(322)와 같은, 더 높은 주파수의 음향 신호를 검출하도록 구성된 어레이는 고주파 음향 신호를 검출하기에 더 적합한 제2 음향 센서 요소를 포함할 수 있다. 따라서, 일부 실시예에서, 음향 센서 요소들의 제1 어레이(320) 및 제2 어레이(322)는 상이한 유형의 음향 센서 요소를 포함할 수 있다. 대안적으로, 일부 실시형태에서, 제1 어레이(320) 및 제2 어레이(322)는 동일한 유형의 음향 센서 요소를 포함할 수 있다.
따라서, 예시적인 실시형태에서, 음향 센서 어레이(302)는 제1 어레이(320) 및 제2 어레이(322)와 같은 복수의 음향 센서 요소 어레이를 포함할 수 있다. 일부 실시형태에서, 어레이들은 개별적으로 또는 결합하여 사용될 수 있다. 예를 들어, 일부 실시예에서, 사용자는 음향 영상화 절차를 수행하기 위해 제1 어레이(320)를 사용하거나, 제2 어레이(322)를 사용하거나, 또는 제1 어레이(320)와 제2 어레이(322)를 동시에 사용하도록 선택할 수 있다. 일부 실시예에서, 사용자는 사용자 인터페이스를 통해 사용될 어레이를 선택할 수 있다. 추가적으로 또는 대안적으로, 일부 실시형태에서, 음향 분석 시스템은, 수신된 음향 신호 또는 예상 주파수 범위 등과 같은 다른 입력 데이터의 분석에 기반하여 사용할 어레이(들)를 자동적으로 선택할 수 있다. 도 3a에 도시된 구성은 일반적으로 직사각형 격자로 배열된 2개의 어레이(제1 어레이(320) 및 제2 어레이(322))를 포함하지만, 복수의 음향 센서 요소가 임의의 형상의 임의의 수의 개별 어레이로 그룹화될 수 있다는 것이 이해될 것이다. 더욱이, 일부 실시형태에서, 하나 이상의 음향 센서 요소는 작동을 위해 선택될 수 있는 다수의 별개의 어레이에 포함될 수 있다. 본원의 다른 곳에서 설명된 바와 같이, 다양한 실시형태에서, 장면으로부터의 음향 이미지 데이터를 확립하기 위해 음향 신호를 역전파하기 위한 프로세스는 음향 센서 요소들의 배열에 기반하여 수행된다. 따라서, 음향 센서들의 배열은 음향 이미지 생성 기술을 수행하기 위해 프로세서에 의해 알려지거나 다른 방식으로 접근 가능할 수 있다.
도 3a의 음향 분석 시스템은 음향 센서 어레이(302) 내에 위치된 거리 측정 툴(304) 및 카메라 모듈(306)을 더 포함한다. 카메라 모듈(306)은 전자기 영상화 툴(예를 들어, 203)의 카메라 모듈을 나타낼 수 있고, 가시광선 카메라 모듈, 적외선 카메라 모듈, 자외선 카메라 모듈 등을 포함할 수 있다. 추가로, 도 3a에 도시되지 않았지만, 음향 분석 시스템은 카메라 모듈(306)과 동일한 유형 또는 다른 유형의 하나 이상의 추가 카메라 모듈을 포함할 수 있다. 예시된 실시예에서, 거리 측정 툴(304) 및 카메라 모듈(306)은 제1 어레이(320) 및 제2 어레이(322)의 음향 센서 요소들의 격자 내에 위치된다. 제1 어레이(320)와 제2 어레이(322) 내의 격자 사이트들 사이에 배치되는 것으로 도시되어 있지만, 일부 실시형태에서, 하나 이상의 구성요소(예를 들어, 카메라 모듈(306) 및/또는 거리 측정 툴(304))은 제1 어레이(320) 및/또는 제2 어레이(322)의 대응하는 하나 이상의 격자 사이트에 위치될 수 있다. 이러한 일부 실시형태에서, 구성요소(들)는, 전형적으로 격자 배열에 따른 이러한 위치에 있을 수 있는 음향 센서 요소 대신에 격자 사이트에 위치될 수 있다.
본원의 다른 곳에서 설명된 바와 같이, 음향 센서 어레이는, 공기를 통해, 타겟 장면 내에 또는 그 근처에 위치된 음향 소스로부터 방출된 음향 신호를 수신하기 위해 다양한 구성 중 어느 하나로 배열된 음향 센서 요소들을 포함할 수 있다. 도 3b 및 도 3c는 예시적인 음향 센서 어레이 구성을 예시하는 개략도이다. 도 3b는 대략 정사각형 격자로 균일하게 이격된 복수의 음향 센서 요소를 포함하는 음향 센서 어레이(390)를 도시한다. 거리 측정 툴(314) 및 카메라 어레이(316)는 음향 센서 어레이(390) 내에 위치된다. 예시된 실시예에서, 음향 센서 어레이(390)의 음향 센서 요소는 동일한 유형의 센서이지만, 일부 실시형태에서는, 상이한 유형들의 음향 센서 요소들이 어레이(390)에서 사용될 수 있다.
도 3c는 복수의 음향 센서 어레이를 도시한다. 음향 센서 어레이(392, 394, 396) 각각은 상이한 형상의 어레이로 배열된 복수의 음향 센서 요소를 포함한다. 도 3c의 실시예에서, 음향 센서 어레이(392, 394, 및 396)는 다양한 크기의 센서 어레이를 생성하기 위해 개별적으로 또는 임의의 조합으로 함께 사용될 수 있다. 예시된 실시형태에서, 어레이(396)의 센서 요소들은 어레이(392)의 센서 요소들보다 더 가깝게 서로 이격된다. 일부 실시예에서, 어레이(396)는 더 높은 주파수의 음향 신호를 감지하도록 설계되는 한편, 어레이(392)는 더 낮은 주파수의 음향 신호를 감지하도록 설계된다.
다양한 실시형태에서, 어레이(392, 394, 및 396)는 동일하거나 상이한 유형의 음향 센서 요소들을 포함할 수 있다. 예를 들어, 음향 센서 어레이(392)는 음향 센서 어레이(396)의 센서 요소보다 더 낮은 주파수 작동 범위를 갖는 센서 요소를 포함할 수 있다.
본원의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 상이한 음향 센서 어레이(예를 들어, 392, 394, 396)는 다양한 작동 모드(예를 들어, 이미지화될 다양한 원하는 주파수 스펙트럼) 동안 선택적으로 꺼지고 켜질 수 있다. 추가적으로 또는 대안적으로, 다양한 음향 센서 요소(예를 들어, 하나 이상의 센서 어레이에 있는 일부 또는 모든 음향 센서 요소)는 원하는 시스템 작동에 따라 활성화 또는 비활성화할 수 있다. 예를 들어, 일부 음향 영상화 프로세스에서, 많은 수의 센서 요소들(예를 들어, 센서 어레이(396)에서와 같이 고밀도로 배열된 센서 요소들)로부터의 데이터가 음향 이미지 데이터 해상도를 약간 향상시키는 반면, 각각의 센서 요소에서 수신된 데이터로부터 음향 이미지 데이터를 추출하는 것은 필요한 처리 비용이 든다. 즉, 일부 실시예에서, 많은 수의 입력 신호(예를 들어, 다수의 음향 센서 요소들로부터의)를 처리하는 데 필요한 증가된 처리 요구(예를 들어, 비용, 처리 시간, 소비 전력 등)는 추가 데이터 스트림에 의해 제공되는 임의의 추가 신호 해상도와 부정적으로 비교된다. 따라서, 일부 실시형태에서, 원하는 음향 영상화 동작에 따라 하나 이상의 음향 센서 요소로부터의 데이터를 비활성화하거나 무시하는 것이 가치 있을 수 있다.
도 3a 및 도 3b의 시스템과 유사하게, 도 3c의 시스템은 음향 센서 어레이(392, 394, 396) 내에 위치된 카메라 어레이(316) 및 거리 측정 툴(314)을 포함한다. 일부 실시예에서, 추가 카메라 어레이(예를 들어, 카메라 어레이(316)로부터의 전자기 스펙트럼의 다른 부분을 영상화하기 위해 사용됨)와 같은 추가 구성요소는 음향 센서 어레이(392, 394, 396) 내에 유사하게 위치될 수 있다. 도 3a 내지 도 3c에서 하나 이상의 음향 센서 어레이 내에 위치되는 것으로서 도시되지만, 거리 측정 툴 및/또는 하나 이상의 영상화 툴(예를 들어, 가시광선 카메라 모듈, 적외선 카메라 모듈, 자외선 센서 등)은 음향 센서 어레이(들) 외부에 위치될 수 있다는 것이 이해될 것이다. 이러한 일부 실시예에서, 거리 측정 툴 및/또는 음향 센서 어레이(들) 외부에 위치된 하나 이상의 영상화 툴은, 음향 영상화 툴에 의해, 예를 들어, 음향 센서 어레이(들)를 수용하는 하우징에 의해 지지될 수 있거나, 또는, 음향 영상화 툴의 하우징 외부에 위치될 수 있다.
도 3a 내지 도 3c는 예시적인 음향 센서 어레이 구성을 제공하지만, 다른 음향 센서 어레이 구성이 사용될 수 있다. 음향 센서 어레이 구성은, 격자형 패턴, 동심원, 해바라기 어레이, 정돈된 원형 어레이 등으로 배열된 음향 센서와 같은 다양한 형상 및 패턴을 포함할 수 있다. 도 3d는, 음향 센서들(395)이 정돈된 원형 어레이 구성으로 배열되는 예시적인 실시형태를 제공한다. 도 3d에 도시된 바와 같은 정돈된 원형 어레이는, 음향 센서들 사이에 균일한 거리를 갖기보다는 음향 센서들 사이에 다양한 거리를 제공할 수 있다. 이러한 확인은 음향 센서 어레이의 다양한 부분들을 사용하여 음향 센서 어레이가 더 넓은 범위의 주파수를 식별하는 데 도움이 될 수 있다. 예를 들어, 음향 센서가 서로 더 가까울수록, 더 높은 주파수를 더 잘 검출할 수 있고, 유사하게 음향 센서가 서로 멀리 떨어져 있을수록, 더 낮은 주파수를 더 잘 검출할 수 있다. 따라서, 음향 센서들 사이에 다양한 거리(어떤 것은 더 가깝고 어떤 것은 더 멀음)를 갖는 것은 더 넓은 범위의 주파수에 대해 더 나은 검출을 제공하는 데 도움이 될 수 있다. 또한, 도 3d의 정돈된 원형 어레이는 어레이의 다른 부분들에 대한 도달 시간 대 사운드의 위치의 차이를 제공할 수 있고, 따라서 음향 센서 어레이를 포커싱하고/하거나 음향 신호가 방출되는 위치를 결정하는 데 도움이 된다. 또한 정돈된 원형 어레이는 존재할 수 있는 공간 앨리어싱(aliasing) 및 사이드로브(sidelobe)를 해결하는 데 도움이 될 수 있다.
일부 실시예에서, 카메라 모듈과 같은 영상화 툴과 음향 센서 어레이의 일반적인 오정렬은 음향 센서 어레이와 영상화 툴에 의해 생성된 대응하는 이미지 데이터의 오정렬을 초래할 수 있다. 도 4a는 가시광선 이미지 데이터 및 음향 이미지 데이터의 프레임의 생성 시 시차 오류의 개략도를 도시한다. 일반적으로, 시차 오류는 수직, 수평 또는 둘 다일 수 있다. 예시된 실시형태에서, 음향 센서 어레이(420), 및 가시광선 카메라 모듈(406)을 포함하는 영상화 툴. 가시광선 이미지 프레임(440)은 가시광선 카메라 모듈(406)의 시야(441)에 따라 캡처되는 것으로 도시되는 한편, 음향 이미지 프레임(450)은 음향 센서 어레이(420)의 시야(451)에 따라 캡처되는 것으로서 도시된다.
도시된 바와 같이, 가시광선 이미지 프레임(440)과 음향 영상화 프레임(450)은 서로 정렬되지 않는다. 일부 실시형태에서, 프로세서(예를 들어, 도 2의 프로세서(212))는, 가시광선 이미지 데이터와 음향 이미지 데이터를 정렬하기 위해 가시광선 이미지 프레임(440)과 음향 이미지 프레임(450) 중 하나 또는 모두를 조작하도록 구성된다. 이러한 조작은 하나의 이미지 프레임을 다른 것에 대해 시프트시키는 것을 포함할 수 있다. 이미지 프레임이 서로에 대해 시프트되는 양은, 예를 들어, 가시광선 카메라 모듈(406) 및/또는 음향 센서 어레이(420)로부터 타겟까지의 거리를 포함하여 다양한 인자에 기반하여 결정될 수 있다. 이러한 거리 데이터는, 예를 들어, 거리 측정 툴(404)을 사용하거나, 사용자 인터페이스(예를 들어, 216)를 통해 거리 값을 수신하여 결정될 수 있다.
도 4b는 도 4a의 것과 유사하나, 장면의 가시광선 이미지를 포함하는 개략도이다. 도 4b의 실시예에서, 가시광선 이미지(442)는 복수의 전력선과 지지 타워의 장면을 도시한다. 음향 이미지(452)는 복수의 위치(454, 456, 458)를 포함하는데, 이는 이러한 위치로부터 나오는 높은 크기의 음향 데이터를 나타낸다. 도시된 바와 같이, 가시광선 이미지(442)와 음향 이미지(452)가 동시에 디스플레이된다. 그러나, 두 이미지의 관찰은 가시광선 이미지(442)의 임의의 특정 구조와 일치하지 않는 것으로 보이는 위치(458)에서 적어도 하나의 음향 이미지 로컬 최대값을 보여준다. 따라서, 두 이미지를 모두 관찰하는 사람은 음향 이미지(452)와 가시광선 이미지(442) 사이에 오정렬(예를 들어, 시차 오류)이 있다고 결론을 내릴 수 있다.
도 5a 및 도 5b는 가시광선 이미지와 음향 이미지 사이의 시차 수정을 도시한다. 도 4b와 유사한 도 5a는 가시광선 이미지(542) 및 음향 이미지(552)를 도시한다. 음향 이미지(552)는 위치(554, 556, 558)에서 로컬 최대값을 포함한다. 알 수 있는 바와 같이, 위치 554 및 558에서의 최대값은 가시광선 이미지의 임의의 구조체와 일치하지 않는 것으로 보인다. 도 5b의 실시예에서, 가시광선 이미지(542)와 음향 이미지(552)가 서로에 대해 맞춰진다. 음향 이미지의 위치(554, 556, 558)에서 로컬 최대값은 이제 가시광선 이미지(542) 내의 다양한 위치와 일치하는 것으로 보인다.
사용하는 동안, 작업자는 (예를 들어, 디스플레이(214)를 통해) 도 5b의 표현을 보고 수신된 음향 신호의 소스일 가능성이 있는 가시적 장면(542)의 대략적인 위치를 결정할 수 있다. 이러한 신호는 장면의 다양한 구성요소의 음향 시그니처에 관한 정보를 결정하기 위해 추가로 처리될 수 있다. 다양한 실시형태에서, 주파수 성분, 주기성, 진폭 등과 같은 음향 파라미터가 음향 이미지의 다양한 위치에 대해 분석될 수 있다. 이러한 파라미터가 다양한 시스템 구성요소와 연관될 수 있도록 가시광선 데이터 상에 중첩될 때, 음향 이미지 데이터는 가시광선 이미지 내의 객체의 다양한 속성(예를 들어, 성능 특성)을 분석하기 위해 사용될 수 있다.
도 5a 및 도 5b에 도시된 바와 같이, 위치(554, 556, 및 558)는 원형 그레디언트를 도시한다. 본원의 다른 곳에서 설명된 바와 같이, 음향 이미지 데이터는 대응하는 위치에서의 음향 강도에 기반하여 음향 이미지 데이터의 각각의 픽셀이 컬러화되는 팔레트화 방식에 따라 시각적으로 표현될 수 있다. 따라서, 도 5a 및 도 5b의 예시적인 표현에서, 위치(554, 556, 558)의 원형 그레디언트는 일반적으로 역전파 수신된 음향 신호에 기반한 영상화 평면에서의 음향 세기의 그레디언트를 나타낸다.
도 4a, 도 4b, 도 5a 및 도 5b의 예시적인 예시가 음향 이미지 데이터 및 가시광선 이미지 데이터에 대해 설명되지만, 이러한 프로세스는 다양한 전자기 이미지 데이터에 대해 유사하게 수행될 수 있다는 것이 이해될 것이다. 예를 들어, 본원의 다른 곳에서 설명된 바와 같이, 다양한 실시형태에서, 이러한 다양한 프로세스는, 가시광선 이미지 데이터, 적외선 이미지 데이터, 자외선 이미지 데이터 등 중 하나 이상과 음향 이미지 데이터의 조합을 사용하여 수행될 수 있다.
본원의 다른 곳에서 설명된 바와 같이, 일부 실시형태에서, 음향 이미지를 형성하기 위한 음향 신호의 역전파는 타겟까지의 거리 값에 기반할 수 있다. 즉, 일부 실시예에서, 역전파 계산은 거리에 기반할 수 있고, 음향 센서 어레이로부터 이 거리에 위치된 2차원 음향 장면을 결정하는 것을 포함할 수 있다. 2차원 영상화 평면을 고려하면, 평면의 소스로부터 발산되는 구형 음파는 일반적으로 단면이 원형으로 나타나고, 도 5a 및 도 5b에 도시된 바와 같이 강도가 반경방향으로 감소된다.
이러한 일부 실시예에서, 역전파 계산에 사용된 타겟까지의 거리에 위치되지 않은 데이터를 나타내는 음향 장면의 부분은 장면에서 하나 이상의 소리의 위치의 부정확성과 같은 음향 이미지 데이터의 오류를 초래할 것이다. 이러한 오류는, 음향 이미지가 다른 이미지 데이터(예를 들어, 가시광선, 적외선, 또는 자외선 이미지 데이터와 같은 전자기 이미지 데이터)와 동시에(예를 들어, 블렌드, 결합 등) 디스플레이될 때, 음향 이미지 데이터와 다른 이미지 데이터 사이의 시차 오류로 이어질 수 있다. 따라서, 일부 실시형태에서, 시차 오류를 수정하기 위한 일부 기술(예를 들어, 도 5a 및 5b에 도시된 바와 같이)은 음향 이미지 데이터를 생성하기 위한 역전파 계산에 사용되는 타겟까지의 거리 값을 조정하는 것을 포함한다.
일부 경우에서, 시스템은, 제1 타겟까지의 거리 값을 사용하여 역전파 프로세스를 수행하도록, 그리고 음향 이미지 데이터와 다른 데이터 스트림이 정렬되지 않을 수 있는 도 5a에 도시된 것과 같은 디스플레이 이미지를 디스플레이하도록 구성될 수 있다. 다음으로, 음향 분석 시스템은 역전파를 위해 사용되는 타겟까지의 거리 값을 조정하고, 역전파를 다시 수행하고, 디스플레이 이미지를 새로운 음향 이미지 데이터로 업데이트할 수 있다. 이 프로세스는, 사용자가 디스플레이 상의 결과적인 디스플레이 이미지를 관찰하는 동안, 음향 분석 시스템이 복수의 타겟까지의 거리 값들에 걸쳐 순환하면서 반복될 수 있다. 타겟까지의 거리 값이 변함에 따라, 사용자는 도 5a에 도시된 디스플레이 이미지로부터 도 5b에 도시된 디스플레이 이미지로의 점진적인 전이를 관찰할 수 있다. 일부 이러한 경우에, 사용자는, 음향 이미지 데이터가 전자기 이미지 데이터와 같은 다른 데이터 스트림과 적절하게 맞춰진 것으로 나타나는 때를 시각적으로 관찰할 수 있다. 사용자는 음향 이미지 데이터가 적절하게 맞춰진 것으로 나타나는 신호를 음향 분석 시스템에 보내어, 가장 최근의 역전파를 수행하는 데 사용된 타겟까지의 거리 값이 대략적으로 정확하다는 것과 이 거리 값을 타겟까지의 올바른 거리로서 메모리에 저장할 수 있다는 것을 시스템에 나타낼 수 있다. 유사하게, 사용자는, 디스플레이 이미지가 업데이트된 역전파 프로세스에서 새로운 거리 값을 사용하여 업데이트됨에 따라, 음향 이미지 데이터가 적절하게 맞춰진 것을 사용자가 관찰할 때까지, 타겟까지의 거리 값을 수동으로 조정할 수 있다. 사용자는 음향 분석 시스템에서의 현재의 타겟까지의 거리를 현재의 타겟까지의 거리로서 저장하는 것을 선택할 수 있다.
일부 실시예에서, 시차 오류를 수정하는 것은, 다른 이미지 데이터(예를 들어, 전자기 이미지 데이터)에 대한 음향 이미지 데이터의 위치를 타겟까지의 거리 데이터에 기반하여 미리 정해진 방향으로, 그리고 미리 정해진 양만큼 조정하는 것을 포함할 수 있다. 일부 실시형태에서, 이러한 조정은 음향 신호를 식별된 타겟까지의 거리에 역전파함으로써 음향 이미지 데이터를 생성하는 것과 무관하다.
일부 실시형태에서, 음향 이미지 데이터를 생성하고 음향 이미지 데이터와 다른 이미지 데이터 사이의 시차 오류를 줄이는 데 사용되는 것 외에도, 타겟까지의 거리 값은 다른 결정을 위해 사용될 수 있다. 예를 들어, 일부 실시예에서, 프로세서(예를 들어, 프로세서(212))는, 참조에 의해서 포함되는 미국 특허 제7,538,326호에 설명된 바와 같이, 적외선 이미지와 같은 이미지에 포커싱하거나 사용자가 포커싱하는 것을 돕기 위해 타겟까지의 거리 값을 사용할 수 있다. 이 특허에 설명된 바와 같이, 이것은 가시광선 이미지 데이터와 적외선 이미지 데이터 사이의 시차 오류를 수정하기 위해 유사하게 사용될 수 있다. 이런 식으로, 일부 실시예에서, 적외선 이미지 데이터 및 가시광선 이미지 데이터와 같은 전자기 이미지 데이터와 음향 이미지 데이터를 맞추기 위해 거리 값이 사용될 수 있다.
본원의 다른 곳에서 설명된 바와 같이, 거리 측정 툴(예를 들어, 거리 측정 툴(204))은, 음향 이미지 데이터를 생성 및 등록하기 위해 프로세서(예를 들어, 프로세서(212))에 의해 사용될 수 있는 거리 정보를 제공하도록 구성된다. 일부 실시형태에서, 거리 측정 툴은 타겟 장면 상에 거리가 측정되는 위치에 광을 방출하도록 구성된 레이저 거리 측정기를 포함한다. 이러한 일부 실시예에서, 레이저 거리 측정기는 가시 스펙트럼의 광을 방출하여, 사용자가 물리적 장면에서 레이저 스폿을 볼 수 있으므로, 거리 측정기가 장면의 원하는 부분까지의 거리를 측정하고 있다는 것을 보장할 수 있다. 추가적으로 또는 대안적으로, 레이저 거리 측정기는, 하나 이상의 영상화 구성요소(예를 들어, 카메라 모듈)가 감응하는 스펙트럼의 광을 방출하도록 구성된다. 따라서, 분석 툴을 통해(예를 들어, 디스플레이(214)를 통해), 타겟 장면을 관찰하는 사용자는 장면에서 레이저 스폿을 관찰하여 레이저가 타겟 장면의 올바른 위치까지의 거리를 측정하고 있다는 것을 보장할 수 있다. 일부 실시예에서, 프로세서(예를 들어, 212)는 현재 거리 값에 기반하여(예를 들어, 레이저 거리 측정기와 음향 센서 어레이 사이의 알려진 거리 기반 시차 관계에 기반하여) 레이저 스폿이 음향 장면에서 위치될 위치를 나타내는 참조 마크를 디스플레이된 이미지에서 생성하도록 구성될 수 있다. 참조 마크 위치는 실제 레이저 마크의 위치(예를 들어, 디스플레이 상에 그래픽으로 그리고/또는 타겟 장면에 물리적으로)와 비교될 수 있고, 레퍼런스 마크와 레이저가 일치할 때까지 장면이 조정될 수 있다. 이러한 프로세스는, 참조에 의해서 포함된 미국 특허 제7,538,326호에 설명된 적외선 등록 및 포커싱 기술과 유사하게 수행될 수 있다.
도 6은 음향 이미지 데이터와 전자기 이미지 데이터를 결합한 최종 이미지를 생성하기 위한 예시적인 방법을 도시하는 프로세스 흐름도이다. 이 방법은, 음향 센서 어레이(680)를 통해 음향 신호를 수신하는 단계, 및 거리 정보를 수신하는 단계(682)를 포함한다. 거리 정보는, 예를 들어, 거리 측정 디바이스 및/또는, 수동 입력과 같은 사용자 인터페이스를 통해, 또는 관찰된 등록에 기반하여 거리가 결정되는 거리 조정 프로세스의 결과로서 수신될 수 있다.
이 방법은, 음향 장면을 나타내는 음향 이미지 데이터를 결정하기 위해 수신된 음향 신호를 역전파하는 단계(684)를 더 포함한다. 본원의 다른 곳에서 설명된 바와 같이, 역전파는, 수신된 음향 신호의 소스 패턴을 결정하기 위해 수신된 거리 정보와 함께 음향 센서 어레이의 복수의 센서 요소에서 수신된 복수의 음향 신호를 분석하는 것을 포함할 수 있다.
도 6의 방법은, 전자기 이미지 데이터를 캡처하는 단계(686), 및 전자기 이미지 데이터와 음향 이미지 데이터를 맞추는 단계(688)를 더 포함한다. 일부 실시형태에서, 전자기 이미지 데이터와 음향 이미지 데이터를 맞추는 단계는 음향 이미지 데이터를 생성하기 위한 역전파 단계의 일부로서 행해진다(684). 다른 실시예에서, 전자기 이미지 데이터와 음향 이미지 데이터를 맞추는 단계는 음향 이미지 데이터의 생성과 별도로 행해진다.
도 6의 방법은 디스플레이 이미지를 생성하기 위해 음향 이미지 데이터를 전자기 이미지 데이터와 결합하는 단계를 포함한다(690). 본원의 다른 곳에서 설명된 바와 같이, 전자기 이미지 데이터와 음향 이미지 데이터를 결합하는 단계는 전자기 이미지 데이터와 음향 이미지 데이터를 알파 블렌딩(alpha blending)하는 단계를 포함할 수 있다. 이미지 데이터를 결합하는 단계는, 픽처-인-픽처 모드 또는 특정 조건(예를 들어, 경보 조건)이 충족되는 위치에서와 같이, 하나의 이미지 데이터 세트를 다른 이미지 데이터 세트에 오버레이(overlay)하는 단계를 포함할 수 있다. 디스플레이 이미지는, 예를 들어, 음향 센서 어레이를 지지하는 하우징에 의해 지지되는 디스플레이를 통해, 그리고/또는 외부 디바이스의 디스플레이와 같은, 센서 어레이와 분리된 디스플레이를 통해 사용자에게 제공될 수 있다(예를 들어, 스마트폰, 태블릿, 컴퓨터 등).
추가적으로 또는 대안적으로, 디스플레이 이미지는 미래의 관찰을 위해서 로컬(예를 들어, 온보드) 메모리 및/또는 원격 메모리에 저장될 수 있다. 일부 실시형태에서, 저장된 디스플레이 이미지는, 블렌딩 비율, 역전파 거리, 또는 이미지를 생성하는 데 사용되는 기타 파라미터와 같은 디스플레이 이미지 속성의 미래의 조정을 허용하는 메타데이터를 포함할 수 있다. 일부 실시예에서, 원시 음향 신호 데이터 및/또는 전자기 이미지 데이터는 후속 처리 또는 분석을 위해 디스플레이 이미지와 함께 저장할 수 있다.
도 6의 방법은, 음향 이미지 데이터와 전자기 이미지 데이터를 결합하여 최종 이미지를 생성하기 위한 방법으로서 도시되나, 가시광선 이미지 데이터, 적외선 이미지 데이터, 자외선 이미지 데이터 등과 같은 전자기 스펙트럼의 임의의 부분에 걸친 이미지 데이터의 하나 이상의 세트와 음향 이미지 데이터를 결합하는 데 사용될 수 있다는 것이 이해될 것이다. 이러한 일부 실시예에서, 가시광선 이미지 데이터 및 적외선 이미지 데이터와 같은 이미지 데이터의 다수의 세트는 모두 도 6과 관련하여 설명된 것과 유사한 방법을 통해 디스플레이 이미지를 생성하기 위해 음향 이미지 데이터와 결합될 수 있다.
일부 실시예에서, 센서 어레이(680)를 통해 음향 신호를 수신하는 단계는 음향 신호를 수신할 음향 센서 어레이를 선택하는 단계를 포함할 수 있다. 예를 들어, 도 3a 내지 도 3c와 관련하여 설명된 바와 같이, 음향 분석 시스템은, 다양한 주파수의 음향 신호를 분석하는 데 적합할 수 있는 복수의 음향 센서 어레이를 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 서로 다른 음향 센서 어레이는 서로 다른 거리로부터 전파되는 음향 신호를 분석하는 데 유용할 수 있다. 일부 실시형태에서, 서로 다른 어레이는 서로 포개질(nested) 수 있다. 추가적으로 또는 대안적으로, 부분 어레이는 음향 이미지 신호를 수신하기 위해 선택적으로 사용할 수 있다.
예를 들어, 도 3a는 제1 어레이(320)와, 제1 어레이 내에 포개진 제2 어레이(322)를 도시한다. 예시적인 실시형태에서, 제1 어레이(320)는, 음향 신호를 수신하고 제1 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하도록 구성된(예를 들어, 이격된) 센서 어레이를 포함할 수 있다. 제2 어레이(322)는, 예를 들어, 제2 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하기 위해 단독으로 또는 제1 어레이(320)의 전부 또는 일부와 조합하여 사용되도록 구성된 제2 센서 어레이를 포함할 수 있다.
유사하게, 도 3c는 제1 어레이(392), 제1 어레이(392) 내에 적어도 부분적으로 포개진 제2 어레이(394), 및 제1 어레이(392)와 제2 어레이(394) 내에 적어도 부분적으로 포개진 제3 어레이(396)를 도시한다. 일부 실시형태에서, 제1 어레이(392)는, 음향 신호를 수신하고 제1 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하도록 구성될 수 있다. 제2 어레이(394)는, 음향 신호를 수신하고 제2 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하기 위해 제1 어레이(392)의 전부 또는 일부와 함께 사용될 수 있다. 제3 어레이(396)는, 음향 신호를 수신하고 제3 주파수 범위의 주파수에 대한 음향 이미지 데이터를 생성하기 위해 제1 어레이(392)의 전부 또는 일부와 함께, 그리고/또는 제2 어레이(394)의 전부 또는 일부와 함께, 그리고/또는 단독으로 사용될 수 있다.
일부 실시형태에서, 포개진 어레이 구성에서, 하나의 어레이로부터의 음향 센서 요소는 음향 센서 요소들 사이에 위치될 수 있으며, 예를 들어, 제3 어레이(396)의 요소는 일반적으로 제1 어레이(392)의 요소들 사이에 있다. 이러한 일부 실시예에서, 포개진 어레이(예를 들어, 제3 어레이(396))의 음향 센서 요소는, 이것이 포개진 어레이(예를 들어, 제1 어레이(392))의 음향 센서 요소와 동일한 평면에, 이의 앞에, 또는 이의 뒤에 위치될 수 있다.
다양한 구현예에서, 더 높은 주파수의 음향 신호를 감지하는 데 사용되는 어레이는 일반적으로 개별 센서들 사이에 더 적은 거리를 필요로 한다. 따라서, 도 3c와 관련하여, 예를 들어, 제3 어레이(396)는 더 높은 주파수 음향 신호를 관여시키는 음향 영상화 프로세스를 수행하는 데 더 적합할 수 있다. 다른 센서 어레이(예를 들어, 제1 어레이(392))는 더 낮은 주파수 신호를 관여시키는 음향 영상화 프로세스를 수행하기 위해 충분할 수 있고, 어레이(396)와 비교할 때 더 적은 수의 음향 센서 요소로부터의 신호를 프로세싱하는 계산 요구를 감소시키기 위해 사용될 수 있다. 따라서, 일부 실시예에서, 고주파 센서 어레이는 저주파 센서 어레이 내에 포개질 수 있다. 본원의 다른 곳에서 설명된 바와 같이, 일반적으로 이러한 어레이들은 개별적으로(예를 들어, 활성 어레이들 사이의 스위칭을 통해) 또는 함께 작동될 수 있다.
분석을 위한 예상된/원하는 주파수 스펙트럼을 기반으로 적절한 센서 어레이를 선택하는 것에 추가적으로 또는 이에 대안적으로, 일부 실시예에서, 타겟 장면에 대한 상이한 거리에서 음향 영상화 프로세스를 수행하는 데 상이한 센서 어레이들이 더 적합할 수 있다. 예를 들어, 일부 실시형태에서, 음향 센서 어레이와 타겟 장면 사이의 거리가 작은 경우, 음향 센서 어레이의 외측 센서 요소는 더 중앙에 위치된 센서 요소보다 타겟 장면으로부터 상당히 덜 유용한 음향 정보를 수신할 수 있다.
반면에, 음향 센서 어레이와 타겟 장면 사이의 거리가 큰 경우, 밀접하게 이격된 음향 센서 요소들은 별도로 유용한 정보를 제공하지 않을 수 있다. 즉, 제1 음향 센서 요소와 제2 음향 센서 요소가 서로 가깝고 타겟 장면이 일반적으로 멀리 떨어져 있는 경우, 제2 음향 센서 요소는 제1 음향 센서 요소와 의미 있게 다른 정보를 제공하지 않을 수 있다. 따라서, 이러한 제1 및 제2 센서 요소로부터의 데이터 스트림은 중복될 수 있고, 불필요하게 분석을 위해 처리 시간 및 리소스를 소모할 수 있다.
어떤 센서 어레이가 음향 영상화를 수행하는 데 가장 적합할 수 있는지에 영향을 미치는 것 외에도, 본원의 다른 곳에서 설명된 바와 같이, 타겟까지의 거리는 또한, 수신된 음향 신호로부터 음향 이미지 데이터를 결정하기 위한 역전파를 수행하는 데 사용될 수 있다. 그러나, 타겟까지의 거리는, 역전파 알고리즘으로의 입력 값이 되는 것 외에도, 사용할 적절한 역전파 알고리즘을 선택하기 위해서 사용될 수 있다. 예를 들어, 일부 실시예에서, 먼 거리에서, 구형으로 전파되는 음파는 음향 센서 어레이의 크기와 비교하여 실질적으로 평면인 것으로 근사화될 수 있다. 따라서, 일부 실시형태에서, 타겟까지의 거리가 클 때, 수신된 음향 신호의 역전파는 음향 빔포밍(acoustic beamforming) 계산을 포함할 수 있다. 그러나, 음파의 소스에 더 가까우면, 음파의 평면 근사가 적합하지 않을 수 있다. 따라서, 근거리 음향 홀로그래피와 같은 다른 역전파 알고리즘이 사용될 수 있다.
기술된 바와 같이, 타겟까지의 거리 메트릭은 음향 영상화 프로세스에서 다양한 방식으로, 예를 들어, 활성 센서 어레이(들)를 결정하는 것, 역전파 알고리즘을 결정하는 것, 역전파 알고리즘을 수행하는 것, 및/또는 결과적인 음향 이미지와 전자기 이미지 데이터를 맞추는 것(예를 들어, 가시광선, 적외선 등)에 사용될 수 있다. 도 7은 수신된 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 예시적인 프로세스를 도시하는 프로세스 흐름도이다.
도 7의 프로세스는, 예를 들어, 거리 측정 디바이스로부터 거리 정보를, 또는 사용자 인터페이스를 통해 입력된 거리 정보를 수신하는 것(780)을 포함한다. 방법은 수신된 거리 정보에 기반하여 음향 영상화를 수행하기 위해 하나 이상의 음향 센서 어레이(들)를 선택하는 단계(782)를 더 포함한다. 설명된 바와 같이, 다양한 실시예에서, 선택된 어레이(들)은 단일 어레이, 다수의 어레이의 조합, 또는 하나 이상의 어레이의 부분들을 포함할 수 있다.
도 7의 방법은 수신된 거리 정보에 기반하여 음향 영상화를 수행하기 위한 프로세싱 방식을 선택하는 단계(784)를 더 포함한다. 일부 실시예에서, 프로세싱 방식을 선택하는 단계는 음향 신호로부터 음향 이미지 데이터를 생성하기 위한 역전파 알고리즘을 선택하는 단계를 포함할 수 있다.
음향 영상화를 수행하기 위한 음향 센서 어레이(782) 및 프로세싱 방식(784)을 선택한 후, 방법은 선택된 음향 센서 어레이(786)를 통해 음향 신호를 수신하는 단계를 포함한다. 수신된 음향 신호는 다음으로, 음향 이미지 데이터를 결정하기 위해 거리 및 선택된 프로세싱 방식을 사용하여 역전파된다(788).
다양한 실시형태에서, 도 7의 단계들은 사용자, 음향 분석 시스템(예를 들어, 프로세서(212)를 통해) 또는 이들의 조합에 의해 수행될 수 있다. 예를 들어, 일부 실시형태에서, 프로세서는 거리 측정 툴 및/또는 사용자 입력을 통해 거리 정보를 수신(780)하도록 구성될 수 있다. 일부 실시예에서, 사용자는, 예를 들어, 객체까지의 거리가 알려져 있고/있거나 거리 측정 툴을 통해 분석하기 어려운 경우(예를 들어, 작은 객체 크기 및/또는 타겟까지의 먼 거리 등), 거리 정보로서 사용하기 위해 측정된 거리를 재정의하는 값을 입력할 수 있다. 프로세서는, 예를 들어, 룩업 테이블 또는 다른 데이터베이스를 사용하여, 수신된 거리 정보에 기반하여 음향 영상화를 수행하기 위해 적절한 음향 센서 어레이를 자동으로 선택하도록 더 구성될 수 있다. 일부 실시형태에서, 음향 센서 어레이를 선택하는 단계는 원하는 음향 센서 어레이를 달성하기 위해 하나 이상의 음향 센서 요소를 활성화 및/또는 비활성화하는 단계를 포함한다.
유사하게, 일부 실시예에서, 프로세서는 수신된 거리 정보를 기반으로 음향 영상화를 수행하기 위한 프로세싱 방식(예를 들어, 역전파 알고리즘)을 자동으로 선택하도록 구성될 수 있다. 이러한 일부 실시예에서, 이것은 메모리에 저장된 복수의 공지된 프로세싱 방식으로부터 하나를 선택하는 단계를 포함할 수 있다. 추가적으로 또는 대안적으로, 프로세싱 방식을 선택하는 단계는 원하는 프로세싱 방식에 도달하기 위해 단일 알고리즘의 부분을 조정하는 단계와 같을 수 있다. 예를 들어, 일부 실시형태에서, 단일 역전파 알고리즘은 복수의 용어 및 변수(예를 들어, 거리 정보에 기반함)를 포함할 수 있다. 이러한 일부 실시예에서, 프로세싱 방식을 선택하는 단계(784)는, 하나 이상의 항에 대한 계수를 조정하는 단계(예를 들어, 다양한 계수를 0 또는 1로 설정하는 단계 등)와 같이 단일 알고리즘에서 하나 이상의 값을 정의하는 단계를 포함할 수 있다.
따라서, 일부 실시형태에서, 음향 영상화 시스템은, 수신된 거리 데이터를 기반으로 선택된 음향 센서 어레이 및/또는 프로세싱 방식(예를 들어, 역전파 알고리즘)을 제안하고/하거나 자동으로 구현함으로써, 음향 영상화 프로세스의 여러 단계를 자동화할 수 있다. 이를 통해 음향 영상화 프로세스를 가속화, 개선 및 단순화하여, 음향 영상화 프로세스를 수행하기 위한 음향 영상화 전문가를 필요로 하는 요건을 없앨 수 있다. 따라서, 다양한 실시예에서, 음향 영상화 시스템은 자동으로 이러한 파라미터를 구현하고, 이러한 파라미터가 구현되려고 한다는 것을 사용자에게 통지하고, 이러한 파라미터를 구현하기 위한 허가를 사용자에게 요청하고, 사용자에 의한 수동 입력을 위해 이러한 파라미터를 제안하는 것 등을 할 수 있다.
이러한 파라미터(예를 들어, 프로세싱 방식, 센서 어레이)의 자동 선택 및/또는 제안은 다른 형태의 이미지 데이터, 프로세싱 속도, 및 음향 이미지 데이터의 분석과 관련하여 음향 이미지 데이터의 위치 측정(localization)을 최적화하는 데 유용할 수 있다. 예를 들어, 본원의 다른 곳에서 설명된 바와 같이, 정확한 역전파 결정(예를 들어, 적절한 알고리즘 및/또는 정확한 거리 메트릭 사용)은 음향 이미지 데이터와 다른 (예를 들어, 가시광선, 적외선 등과 같은 전자기) 이미지 데이터 간의 시차 오류를 감소시킬 수 있다. 추가로, 음향 분석 시스템에 의해 자동으로 선택되거나 제안될 수 있는 적절한 알고리즘 및/또는 센서 어레이를 활용하는 것은 열화상 데이터의 정확도를 최적화할 수 있어, 수신된 음향 데이터의 분석을 허용할 수 있다.
설명된 바와 같이, 일부 실시예에서, 음향 분석 시스템은, 수신된 거리 정보에 기반하여 음향 영상화 프로세스를 수행하기 위한 알고리즘 및/또는 센서 어레이를 자동으로 선택하도록 구성될 수 있다. 이러한 일부 실시형태에서, 시스템은 음향 이미지 데이터를 결정하기 위해 복수의 역전파 알고리즘 및 음향 센서 어레이 중 어느 것을 사용할지를 결정하기 위한, 예를 들어, 메모리에 저장된 룩업 테이블을 포함한다. 도 8은 음향 영상화 프로세스 동안 사용하기 위한 적절한 알고리즘 및 센서 어레이를 결정하기 위한 예시적인 룩업 테이블을 도시한다.
예시된 실시예에서, 도 8의 룩업 테이블은 N 개의 열을 포함하며, 이들 각각은, 어레이 1, 어레이 2, …, 어레이 N과 같은 상이한 어레이를 나타낸다. 다양한 실시예에서, 각각의 어레이는 배열된 음향 센서 요소들의 고유한 세트를 포함한다. 상이한 어레이는 격자로 배열된 센서 요소를 포함할 수 있다(예를 들어, 도 3c의 어레이(392) 및 어레이(396)). 룩업 테이블 내의 어레이는 또한 하나 이상의 이러한 격자로부터의 센서 요소들의 조합을 포함할 수 있다. 일반적으로, 일부 실시형태에서, 어레이 1, 어레이 2, ..., 어레이 N 각각은 음향 센서 요소의 고유한 조합에 대응한다. 이러한 조합 중 일부는 특정 격자에 배열된 센서 요소의 전체 세트를 포함할 수 있거나, 또는 특정 격자에 배열된 센서 요소의 서브세트를 포함할 수 있다. 음향 센서 요소의 다양한 조합 중 임의의 것은 룩업 테이블에서 센서 어레이로서 사용을 위한 가능한 옵션이다.
도 8의 룩업 테이블은 M개의 행을 더 포하며, 각각의 행은, 알고리즘 1, 알고리즘 2, …, 알고리즘 M과 같은 상이한 알고리즘을 나타낸다. 일부 실시예에서, 상이한 알고리즘은, 수신된 음향 신호의 역전파 분석을 수행하기 위한 상이한 프로세스를 포함할 수 있다. 본원의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 일부 상이한 알고리즘들은, 역전파 결과를 수정하기 위한 상이한 계수 및/또는 항을 가지면서 서로 유사할 수 있다.
도 8의 예시적인 룩업 테이블은 M×N 엔트리를 포함한다. 일부 실시형태에서, 이러한 룩업 테이블을 활용하는 음향 분석 시스템은 수신된 거리 정보를 분석하도록, 그리고 거리 정보를 M × N 빈(bin)들 중 하나 안으로 분류하도록 구성되며, 여기서 각각의 빈은 도 8의 룩업 테이블의 엔트리에 대응한다. 이러한 실시예에서, 음향 분석 시스템이 거리 정보를 수신할 때, 시스템은, 거리 정보가 있는 빈에 대응하는 룩업 테이블에서의 엔트리(i, j)를 찾을 수 있고, 음향 영상화 프로세스 중에 사용을 위한 적절한 알고리즘과 센서 어레이를 결정할 수 있다. 예를 들어, 수신된 거리 정보가 엔트리(i, j)와 연관된 빈에 대응하는 경우, 음향 분석 시스템은 자동으로, 음향 영상화 프로세스를 위해 알고리즘 i 및 어레이 j를 활용하거나 이를 사용할 것을 제안할 수 있다.
이러한 다양한 실시예에서, 거리 정보 빈은 균일한 크기의 거리 범위에 대응할 수 있으며, 예를 들어, 제1 빈은 1피트 이내의 거리에 대응하고, 제2 빈은 1피트 내지 2피트 사이의 거리에 대응하는 등이다. 다른 실시예에서, 빈은 균일한 크기의 거리 범위에 대응할 필요는 없다. 추가로, 일부 실시형태에서, M × N 미만의 빈이 사용될 수 있다. 예를 들어, 일부 실시형태에서, 특정 어레이(예를 들어, 어레이 y)와 함께 사용되지 않는 알고리즘(예를 들어, 알고리즘 x)이 있을 수 있다. 따라서, 이러한 실시예에서, M × N 룩업 테이블의 엔트리(x, y)에 대응하는 대응 거리 정보 빈이 없을 것이다.
일부 실시형태에서, 채워진 거리 빈에 대한 통계적 분석은 타겟 장면 내에서 가장 공통적인 거리 또는 거리 범위를 식별하기 위해 사용될 수 있다. 그러한 일부 실시형태에서, 가장 많은 수의 대응하는 위치(예를 들어, 음향 신호를 갖는 가장 많은 수의 위치)를 갖는 거리 빈은 도 7의 프로세스에서 거리 정보로서 사용될 수 있다. 즉, 일부 실시형태에서, 활용된 음향 센서 어레이 및/또는 프로세싱 방식은 타겟 장면에서 다양한 객체의 거리 분포의 통계적 분석에 기반하여 구현되고/되거나 추천될 수 있다. 이것은, 장면의 음향 영상화에 사용되는 센서 어레이 및/또는 프로세싱 방식이 음향 장면 내의 가장 많은 수의 위치에 적합할 가능성을 높일 수 있다.
추가적으로 또는 대안적으로, 음향 이미지 데이터를 생성하는 데 사용할 적절한 센서 어레이 및/또는 프로세싱 방식을 선택하기 위해 거리 정보 이외의 파라미터가 사용될 수 있다. 본원의 다른 곳에서 설명된 바와 같이, 다양한 센서 어레이는, 특정 주파수 및/또는 주파수 대역에 감응하도록 구성될 수 있다. 일부 실시예에서, 유사하나 상이한 역전파 계산들이 상이한 음향 신호 주파수 성분에 따라 사용될 수 있다. 따라서, 일부 실시예에서, 프로세싱 방식 및/또는 음향 센서 어레이를 결정하기 위해 하나 이상의 파라미터가 사용될 수 있다.
일부 실시형태에서, 음향 분석 시스템은 수신된 음향 신호 처리/분석의 다양한 파라미터를 초기에 분석하기 위해서 사용될 수 있다. 다시 도 7을 참조하면, 음향 이미지 데이터를 생성하기 위한 방법은, 음향 신호를 수신하는 단계(786) 후에, 수신된 신호의 주파수 성분을 분석하는 단계(790)를 포함할 수 있다. 이러한 일부 실시예에서, 음향 센서 어레이(들) 및/또는 프로세싱 방식이 선택되면(예를 들어, 각각 단계(782) 및/또는 단계(784)를 통해), 방법은, 예를 들어, 분석된 주파수 성분에 기반하여, 선택된 어레이(들)를 업데이트하고/하거나 선택된 프로세싱 방식을 업데이트하는 단계(792)를 포함할 수 있다.
방법은, 센서 어레이(들) 및/또는 프로세싱 방식을 업데이트하는 단계 후, 업데이트된 파라미터를 사용하여 다양한 작동을 수행할 수 있다. 예를 들어, 선택된 센서 어레이(들)가 주파수 성분 분석(790)에 기반하여 업데이트되면(792), 새로운 음향 신호는 (새롭게) 선택된 음향 센서 어레이로부터 수신될 수 있고(786), 이는 다음으로 음향 이미지 데이터를 결정하기 위해 역전파될 수 있다(788). 대안적으로, 프로세싱 방식이 792에서 업데이트되면, 이미 캡처된 음향 신호는 업데이트된 음향 이미지 데이터를 결정하기 위해 업데이트된 프로세싱 방식에 따라 역전파될 수 있다. 프로세싱 방식과 센서 어레이(들) 모두가 업데이트되는 경우, 업데이트된 센서 어레이를 사용하여 새로운 음향 신호가 수신될 수 있고, 업데이트된 프로세싱 방식에 따라 역전파될 수 있다.
일부 실시형태에서, 음향 분석 시스템은, 수신된 음향 신호의 주파수 성분을 분석하지(790) 않고 주파수 정보를 수신(778)할 수 있다. 예를 들어, 일부 실시예에서, 음향 분석 시스템은 향후 음향 분석을 위해 원하는 또는 예상되는 주파수 범위에 관한 정보를 수신할 수 있다. 이러한 일부 실시예에서, 원하는 또는 예상되는 주파수 정보는 하나 이상의 센서 어레이 및/또는 주파수 정보에 가장 잘 맞는 프로세싱 방식을 선택하는 데 사용될 수 있다. 이러한 일부 실시예에서, 음향 센서 어레이(들)를 선택하는 단계(782) 및/또는 프로세싱 방식을 선택하는 단계(784)는 수신된 거리 정보에 더하여 또는 대안적으로 수신된 주파수 정보에 기반할 수 있다.
일부 실시예에서, 수신된 음향 신호(예를 들어, 음향 센서 요소를 통해 수신됨)는, 예를 들어, 음향 분석 시스템의 프로세서(예를 들어, 210)를 통해 분석될 수 있다. 이러한 분석은, 주파수, 강도, 주기성, 겉보기 근접성(예를 들어, 수신된 음향 신호를 기반으로 추정된 거리), 측정된 근접성, 또는 이들의 임의의 조합과 같은 음향 신호의 하나 이상의 특성을 결정하는 데 사용될 수 있다. 일부 실시예에서, 음향 이미지 데이터는, 예를 들어, 특정 주파수 성분, 주기성 등을 갖는 음향 신호를 나타내는 음향 이미지 데이터만을 나타내도록 필터링될 수 있다. 일부 실시예에서, 임의의 수의 이러한 필터는 동시에 적용될 수 있다.
본원의 다른 곳에서 설명된 바와 같이, 일부 실시형태에서, 음향 비디오 데이터와 마찬가지로 일련의 음향 이미지 데이터의 프레임이 경시적으로 캡처될 수 있다. 추가적으로 또는 대안적으로, 음향 이미지 데이터가 반복적으로 생성되지 않더라도, 일부 실시예에서, 음향 신호가 반복적으로 샘플링되어 분석된다. 따라서, 반복적인 음향 이미지 데이터 생성(예를 들어, 비디오)을 사용하거나 사용하지 않고, 주파수와 같은 음향 데이터의 파라미터는 경시적으로 모니터링될 수 있다.
도 9a는 음향 장면에서 시간에 따른 수신된 이미지 데이터의 주파수 성분의 예시적인 플롯이다. 도시된 바와 같이, 도 9a의 플롯에 의해 표현된 음향 장면은 일반적으로 주파수 1, 주파수 2, 주파수 3, 및 주파수 4로 라벨링된, 4개의 경시적으로 지속된 주파수를 포함한다. 타겟 장면의 주파수 성분과 같은 주파수 데이터는, 예를 들어, 고속 푸리에 변환(FFT: Fast Fourier Transform) 또는 다른 알려진 주파수 분석의 방법을 사용하여 수신된 음향 신호를 프로세싱하여 결정될 수 있다.
도 9b는 음향 신호를 방출하는 복수의 위치를 포함하는 예시적인 장면을 도시한다. 예시된 이미지에서, 음향 이미지 데이터는 가시광선 이미지 데이터와 결합되고, 위치들(910, 920, 930, 및 940)에 존재하는 음향 신호를 도시한다. 일부 실시형태에서, 음향 분석 시스템은 임의의 검출된 주파수 범위의 음향 이미지 데이터를 디스플레이하도록 구성된다. 예를 들어, 예시적인 실시형태에서, 위치(910)는 주파수 1을 포함하는 음향 이미지 데이터를 포함하고, 위치(920)는 주파수 2를 포함하는 음향 이미지 데이터를 포함하고, 위치(930)는 주파수 3을 포함하는 음향 이미지 데이터를 포함하고, 위치(940)는 주파수 4를 포함하는 음향 이미지 데이터를 포함한다.
이러한 일부 실시예에서, 음향 이미지 데이터 대표 주파수 범위를 디스플레이하는 것은 선택 가능한 작동 모드이다. 유사하게, 일부 실시형태에서, 음향 분석 시스템은 미리 정해진 주파수 대역 내에서만 주파수를 나타내는 음향 이미지 데이터를 디스플레이하도록 구성된다. 이러한 일부 실시예에서, 미리 정해진 주파수 범위를 나타내는 음향 이미지 데이터를 디스플레이하는 단계는, 음향 신호를 수신하기 위한 하나 이상의 음향 센서 어레이로서, 이로부터 음향 이미지 데이터가 생성되는 음향 센서 어레이를 선택하는 단계를 포함한다. 이러한 어레이는 선택적인 주파수 범위를 수신하도록 구성될 수 있다. 유사하게, 일부 실시예에서, 음향 이미지 데이터를 생성하기 위해서 사용되는 주파수 성분을 한정하기 위해 하나 이상의 필터가 사용될 수 있다. 추가적으로 또는 대안적으로, 일부 실시형태에서, 광범위한 주파수를 나타내는 정보를 포함하는 음향 이미지 데이터는, 음향 이미지 데이터가 미리 정해진 조건을 만족하는 경우(예를 들어, 미리 정해진 주파수 범위에 속함)에만, 분석되어 디스플레이 상에 보여질 수 있다.
도 9c는 복수의 미리 정의된 주파수 범위에서 결합된 복수의 음향 및 가시광선 이미지 데이터를 도시한다. 제1 이미지는, 주파수 1의 주파수 성분을 포함하는 제1 위치(910)의 음향 이미지 데이터를 포함한다. 제2 이미지는 주파수 2의 주파수 성분을 포함하는 제2 위치(920)의 음향 이미지 데이터를 포함한다. 제3 이미지는 주파수 3의 주파수 성분을 포함하는 제3 위치(930)의 음향 이미지 데이터를 포함한다. 제4 이미지는 주파수 4의 주파수 성분을 포함하는 제4 위치(940)의 음향 이미지 데이터를 포함한다.
예시적인 실시형태에서, 사용자는, 선택된 주파수 범위 이외의 주파수 성분을 나타내는 음향 이미지 데이터를 필터링하기 위해 주파수 1, 주파수 2, 주파수 3, 또는 주파수 4를 포함하는 범위들과 같은 다양한 주파수 범위를 선택할 수 있다. 따라서, 이러한 실시예에서, 제1, 제2, 제3, 또는 제4 이미지 중 임의의 이미지는 원하는 주파수 범위가 사용자에 의해 선택된 결과로서 디스플레이될 수 있다.
추가적으로 또는 대안적으로, 일부 실시예에서, 음향 분석 시스템은, 각각이 상이한 주파수 성분을 갖는 복수의 디스플레이 이미지들 사이에서 순환할 수 있다. 예를 들어, 도 9c와 관련하여, 예시적인 실시형태에서, 음향 분석 시스템은 도 9c에서 화살표로 도시된 바와 같이 제1, 제2, 제3 및 제4 이미지를 순서대로 디스플레이할 수 있다.
일부 실시예에서, 디스플레이 이미지는, 어떤 위치가 특정 주파수 성분을 나타내는 음향 이미지 데이터를 포함하는지를 사용자가 관찰할 수 있도록 이미지에 디스플레이되는 주파수 성분을 나타내는 텍스트 또는 다른 디스플레이를 포함할 수 있다. 예를 들어, 도 9c와 관련하여, 각각의 이미지는 음향 이미지 데이터에 표현된 주파수의 텍스트 표현을 도시할 수 있다. 도 9b와 관련하여, 복수의 주파수 범위를 나타내는 이미지는 음향 이미지 데이터를 포함하는 각 위치에서의 주파수 성분의 표시를 포함할 수 있다. 이러한 일부 실시예에서, 사용자는 음향 장면의 일 위치에 존재하는 주파수 성분을 보기 위해, 예를 들어, 사용자 인터페이스를 통해 이미지의 해당 위치를 선택할 수 있다. 예를 들어, 사용자는 제1 위치(910)를 선택할 수 있고, 음향 분석 시스템은 제1 위치의 주파수 성분(예를 들어, 주파수 1)을 제시할 수 있다. 따라서, 다양한 실시예에서, 사용자는, 예를 들어 장면에서 특정 주파수 성분에 대응하는 위치를 관찰함으로써, 그리고/또는 다양한 위치에 어떤 주파수 성분이 존재하는지를 관찰함으로써 음향 장면의 주파수 성분을 분석하기 위해 음향 분석 시스템을 사용할 수 있다.
예시적인 음향 영상화 동작 동안, 음향 이미지 데이터를 주파수로 필터링하는 것은, 예를 들어, 배경 또는 다른 중요하지 않은 소리로부터 이미지 클러터를 감소시키는 것을 도울 수 있다. 예시적인 음향 영상화 절차에서, 사용자는 산업 환경에서 플로어 소음(floor noise)과 같은 배경음을 제거하기를 원할 수 있다. 일부 이러한 경우에, 배경 소음은 주로 저주파 소음을 포함할 수 있다. 따라서 사용자는 미리 정해진 주파수(예를 들어, 10 ㎑)보다 더 큰 음향 신호를 나타내는 음향 이미지 데이터를 표시하도록 선택할 수 있다. 다른 실시예에서, 사용자는, 일반적으로 송전 선로(예를 들어, 도 5a 및 도 5b에 도시된 바와 같이)로부터의 코로나 방전과 같이, 특정 범위 내의 음향 신호를 방출하는 특정 객체를 분석하기를 원할 수 있다. 이러한 실시예에서, 사용자는 음향 영상화를 위해 특정 주파수 범위(예를 들어, 코로나 방전의 경우 11 ㎑와 14 ㎑ 사이)를 선택할 수 있다.
일부 실시예에서, 음향 분석 시스템은 수신된 음향 신호의 강도와 연관된 정보를 분석하고/하거나 제시하기 위해서 사용될 수 있다. 예를 들어, 일부 실시형태에서, 수신된 음향 신호를 역전파하는 것은, 음향 장면의 복수의 위치에서 음향 강도 값을 결정하는 것을 포함할 수 있다. 일부 실시예에서, 상술된 주파수와 유사하게, 음향 이미지 데이터는, 음향 신호의 강도가 하나 이상의 미리 정해진 요건을 충족시키는 경우에만, 디스플레이 이미지에 포함된다.
이러한 다양한 실시형태에서, 디스플레이 이미지는 미리 정해진 임계값(예를 들어, 15 dB) 초과의 음향 신호, 미리 정해진 임계값(예를 들어, 100 dB) 미만의 음향 신호, 또는 미리 정해진 강도 범위(예를 들어, 15 dB 내지 40 dB) 내의 음향 신호를 나타내는 음향 이미지 데이터를 포함할 수 있다. 일부 실시형태에서, 임계값은, 평균 음향 강도로부터의 표준 편차 위 또는 아래와 같은, 음향 장면의 통계적 분석을 기반으로 할 수 있다.
주파수 정보에 대해 위에서 설명된 것과 유사하게, 일부 실시형태에서, 하나 이상의 강도 요건을 만족하는 음향 신호를 나타내도록 음향 이미지 데이터를 제한하는 것은, 미리 정해진 조건을 만족하는 수신된 신호만이 음향 이미지 데이터를 생성하기 위해서 사용되도록, 수신된 음향 신호를 필터링하는 것을 포함할 수 있다. 다른 실시예에서, 음향 이미지 데이터는 어떤 음향 이미지 데이터가 디스플레이될지를 조정하도록 필터링된다.
추가적으로 또는 대안적으로, 일부 실시형태에서, 음향 장면 내의 위치에서의 음향 강도는 시간 경과에 따라 모니터링될 수 있다(예를 들어, 비디오 음향 이미지 표현과 함께 또는 반드시 디스플레이 이미지를 업데이트하는 것 없이 배경 분석을 통해). 이러한 일부 실시예에서, 음향 이미지 데이터를 디스플레이하기 위한 미리 정해진 요건은 이미지 내의 일 위치에서 음향 강도의 변화량 또는 변화율을 포함할 수 있다.
도 10a 및 도 10b는 결합된 가시광선 이미지 데이터 및 음향 이미지 데이터를 포함하는 예시적인 디스플레이 이미지이다. 도 10a는 복수의 위치(1010, 1020, 1030, 1040, 1050, 1060, 1070, 1080, 및 1090)에서 보여지는 음향 이미지 데이터를 포함하는 디스플레이 이미지를 도시한다. 일부 실시예에서, 강도 값은, 예를 들어, 팔레트화될 수 있으며, 여기서 음향 강도 값은 미리 정해진 팔레트화 방식에 기반하여 컬러를 할당받는다. 예시적인 실시형태에서, 강도 값들은 강도 범위들(예를 들어, 10dB 내지 20dB, 20dB 내지 30dB 등)에 따라 분류될 수 있다. 각각의 강도 범위는 팔레트화 방식에 따라 특정 컬러와 연관될 수 있다. 음향 이미지 데이터는 복수의 픽셀을 포함할 수 있으며, 각각의 픽셀은 음향 이미지 데이터의 픽셀에 의해 표현되는 강도가 속하는 강도 범위와 연관된 컬러로 컬러화된다. 컬러에 의해서 구별되는 것에 추가로 또는 이에 대안적으로, 상이한 강도들은, 투명도(예를 들어, 음향 이미지 데이터가 다른 이미지 데이터 위에 오버레이되는 이미지 오버레이에서) 등과 같은 다른 특성에 따라 구별될 수 있다.
음향 강도의 변화율과 같은, 추가적인 파라미터는 또한 팔레트화될 수 있다. 강도와 유사하게, 다양한 음향 강도의 변화율 및/또는 음향 강도 변화량을 나타내는 장면의 부분들이 다양한 컬러로 디스플레이되도록 음향 강도의 변화율을 팔레트화할 수 있다.
예시된 실시예에서, 음향 이미지 데이터는, 상이한 음향 신호 강도를 나타내는 음향 이미지 데이터가 상이한 컬러 및/또는 음영으로 나타나도록 강도 팔레트에 따라 팔레트화된다. 예를 들어, 위치(1010 및 1030)의 음향 이미지 데이터는 제1 강도의 팔레트화된 표현을 나타내고, 위치(1040, 1060, 및 1080)는 제2 강도의 팔레트화된 표현을 나타내고, 위치(1020, 1050, 1070, 및 1090)는 제3 강도의 팔레트화된 표현을 나타낸다. 도 10a의 예시적인 표현에 도시된 바와 같이, 음향 이미지 데이터의 팔레트화된 표현을 나타내는 각각의 위치는 중심으로부터 외측으로 확장되는 컬러 그레디언트를 갖는 원형 패턴을 나타낸다. 이것은, 신호가 음향 신호의 소스로부터 전파됨에 따른 음향 강도의 감소로 인한 것일 수 있다.
도 10a의 실시예에서, 음향 이미지 데이터는, 예를 들어, 디스플레이를 통해 사용자에게 제시될 수 있는 디스플레이 이미지를 생성하기 위해 가시광선 이미지 데이터와 결합된다. 사용자는 가시적 장면의 어느 위치가 음향 신호를 생성하고 있는지, 및 이러한 신호의 강도를 관찰하기 위해 도 10a의 디스플레이 이미지를 관찰할 수 있다. 따라서, 사용자는 어떤 위치가 소리를 생성하고 있는지 빠르고 쉽게 관찰하고, 장면 내 다양한 위치들로부터 나오는 소리의 강도들과 비교할 수 있다.
본원의 다른 곳에서 주파수와 관련하여 설명된 것과 유사하게, 일부 실시형태에서, 음향 이미지 데이터는, 대응하는 음향 신호가 미리 정해진 강도 조건을 충족시키는 경우에만 제공될 수 있다. 도 10b는, 도 10a의 디스플레이 이미지와 유사한, 그리고 미리 정해진 임계값을 넘는 음향 신호를 나타내는 음향 이미지 및 가시광선 이미지 데이터를 포함하는 예시적인 디스플레이 이미지를 도시한다. 도시된 바와 같이, 음향 이미지 데이터를 포함하는 도 10a의 위치들(1010, 1020, 1030, 1040, 1050, 1060, 1070, 1080, 및 1090) 중 단지 위치들(1020, 1050, 1070, 및 1090)만이, 미리 정해진 조건을 충족시키는 음향 신호를 나타내는 음향 이미지 데이터를 포함한다.
예시적인 시나리오에서, 도 10a는 위치들(1010-990) 각각에서 노이즈 플로어 임계값을 넘는 모든 음향 이미지 데이터를 포함할 수 있는 한편, 도 10b는 도 10a와 동일한 장면을 나타내지만, 40dB보다 더 큰 강도를 갖는 음향 이미지 데이터만을 도시한다. 이것은 사용자가 환경에서(예를 들어, 도 10a 및 10b의 타겟 장면에서) 특정 소리(예를 들어, 장면에서 가장 큰 소리)에 소리의 어떤 소스가 기여하고 있는지를 식별하는 데 도움이 될 수 있다.
강도 임계값(예를 들어, 40 dB)과 직접적으로 비교하는 것에 추가로 또는 이에 대안적으로, 본원의 다른 곳에서 설명된 바와 같이, 일부 이러한 실시예에서, 음향 이미지 데이터를 디스플레이하기 위한 미리 정해진 요건은 이미지 내의 일 위치에서 음향 강도의 변화량 또는 변화율을 포함할 수 있다. 이러한 일부 실시예에서, 음향 이미지 데이터는 주어진 위치에서의 음향 강도의 변화율 또는 변화량이 미리 정해진 조건(예를 들어, 임계값 초과, 임계값 미만, 미리 정해진 범위 내 등)을 만족하는 경우에만 제시될 수 있다. 일부 실시형태에서, 음향 강도의 변화량 또는 변화율은 팔레트화되어 강도 음향 이미지 데이터로서 또는 이와 함께 디스플레이될 수 있다. 예를 들어, 예시적인 실시형태에서, 음향 이미지 데이터를 포함할 위치를 결정하기 위해 변화율이 임계값으로서 사용될 때, 음향 이미지 데이터는 디스플레이를 위한 팔레트화 강도 변화율 메트릭을 포함할 수 있다.
일부 실시예에서, 사용자는 디스플레이될 음향 이미지 데이터에 대한 강도 요건(예를 들어, 최소값, 최대값, 범위, 변화율, 변화량 등)을 수동으로 설정할 수 있다. 본원의 다른 곳에서 논의된 바와 같이, 강도 요건만을 충족시키는 음향 이미지 데이터를 포함하는 것은 음향 이미지 데이터 생성 중에(예를 들어, 수신된 음향 신호의 필터링을 통해) 달성될 수 있고/있거나, 설정된 요건(들)을 충족시키지 않는 음향 신호를 나타내는 생성된 음향 이미지 데이터를 디스플레이하지 않음으로써 수행될 수 있다. 이러한 일부 실시예에서, 강도 값에 따라 디스플레이 이미지를 필터링하는 것은, 음향 이미지 데이터 및 가시광선 이미지 데이터가 캡처되어 메모리에 저장된 후에, 수행될 수 있다. 즉, 메모리에 저장된 데이터는, 미리 정의된 강도 조건 등을 충족시키는 음향 이미지 데이터만을 보여주는 것과 같이, 임의의 수의 필터링 파라미터를 포함하는 디스플레이 이미지를 생성하는 데 사용될 수 있다.
일부 실시예에서, 음향 이미지의 강도에 대한 하한을 설정하는 것(예를 들어, 미리 정해진 세기를 넘는 음향 신호를 나타내는 음향 이미지 데이터만을 디스플레이하는 것)은, 바람직하지 않은 배경 또는 주변 사운드 및/또는 사운드 반사의 포함을 음향 이미지 데이터로부터 제거할 수 있다. 다른 예에서, 음향 이미지의 강도에 대한 상한을 설정하는 것(예를 들어, 미리 정해진 강도 미만의 음향 신호를 나타내는 음향 이미지 데이터만을 디스플레이하는 것)은, 일반적으로 이러한 큰 소리에 의해 가려지는 음향 신호를 관찰하기 위해 음향 이미지 데이터 내의 예상되는 큰 소리의 포함을 제거할 수 있다.
여러 디스플레이 기능이 가능하다. 예를 들어, 도 9c에 대해 논의된 주파수 분석/디스플레이와 유사하게, 일부 실시예에서, 음향 분석 시스템은, 각각 다른 강도 요건을 만족하는 음향 이미지 데이터를 보여주는 복수의 디스플레이 이미지들에 걸쳐 순환할 수 있다. 유사하게, 일부 실시예에서, 사용자는, 주어진 범위의 음향 강도를 갖는 음향 이미지 데이터 내의 위치를 관찰하기 위해 일련의 음향 강도 범위를 스크롤할 수 있다.
음향 데이터를 분석하는 데 사용될 수 있는 다른 매개 변수는 음향 신호의 주기성 값이다. 도 11a 및 도 11b는 음향 장면에서 음향 데이터의 주파수 대 시간의 예시적인 플롯을 도시한다. 도 11a의 플롯에 도시된 바와 같이, 음향 데이터는 제1 주기성을 갖는 주파수 X의 신호, 제2 주기성을 갖는 주파수 Y의 신호, 및 제3 주기성을 갖는 주파수 Z의 신호를 포함한다. 예시된 실시예에서, 상이한 주파수들을 갖는 음향 신호들은 또한, 음향 신호에 상이한 주기성을 포함할 수 있다.
이러한 일부 실시예에서, 음향 신호는 주파수 성분에 추가로 또는 대안적으로 주기성을 기반으로 필터링될 수 있다. 예를 들어, 일부 실시예에서, 음향 장면에서 음향 신호의 다수의 소스는 특정 주파수의 음향 신호를 생성할 수 있다. 사용자가 음향 영상화를 위해 하나의 이러한 소리 소스를 분리하려는 경우, 사용자는 음향 데이터와 연관된 주기성에 기반하여 음향 이미지 데이터를 최종 디스플레이 이미지로부터 제외하거나 포함하는 것을 선택할 수 있다.
도 11b는 음향 신호의 주파수 대 시간의 플롯을 도시한다. 도시된 바와 같이, 주파수는 경시적으로 대략 선형적으로 증가한다. 그러나 도시된 바와 같이, 신호는 경시적으로 거의 일정한 주기성을 포함한다. 따라서, 이러한 신호는 선택된 디스플레이 파라미터에 따라 음향 이미지에 나타날 수도 있고 나타나지 않을 수도 있다. 예를 들어, 신호는 어떤 시점에서, 디스플레이되기 위한 주파수 기준을 충족할 수 있지만, 다른 시점에서는, 디스플레이되는 주파수 범위 밖에 있을 수 있다. 그러나, 사용자는 주파수 성분에 관계없이 신호의 주기성에 따라 음향 이미지 데이터로부터 이러한 신호를 제외하거나 포함하는 것을 선택할 수 있다.
일부 실시예에서, 특정 주기성의 음향 신호를 추출하는 것은 타겟 장면의 특정 부분(예를 들어, 일반적으로 어떤 주기로 작동하는 특정 장비 부분 또는 특정 유형의 장비)을 분석하는 데 도움이 될 수 있다. 예를 들어, 관심 대상인 객체가 어떤 주기성(예를 들어, 1초에 한 번)으로 작동하는 경우, 이로부터 구별되는 주기성을 갖는 신호를 제외하는 것은 관심 대상인 객체의 음향 분석을 향상시킬 수 있다. 예를 들어, 도 11b를 참조하여, 관심의 대상인 객체가 주기성 4로 작동하면, 분석을 위해 주기성 4를 갖는 신호를 분리하는 것은 관심의 대상인 객체의 향상된 분석을 산출할 수 있다. 예를 들어, 관심 대상인 객체는, 도 11b에 도시된 바와 같이, 주기성 4를 갖지만, 증가하는 주파수를 갖는 소리를 방출할 수 있다. 이것은, 객체의 특성이 변경되고 있을 수 있고(예를 들어, 증가된 토크 또는 로드 등) 검사되어야 한다는 것을 암시할 수 있다.
예시적인 음향 영상화 프로세스에서, 배경 소음(예를 들어, 산업 환경의 플로어 소음, 실외 환경의 바람 등)은 일반적으로 주기적이지 않은 한편, 장면 내에서 관심 대상인 어떤 객체는 주기적인 음향 신호를 방출한다(예를 들어, 일정한 간격으로 작동하는 기계). 따라서, 사용자는 배경 신호를 제거하고 관심 대상인 음향 데이터를 보다 명확하게 제시하기 위해 음향 이미지로부터 비주기적인 음향 신호를 제외하는 것을 선택할 수 있다. 다른 실시예에서, 사용자는 일정한 톤의 소스를 찾고 있을 수 있고, 따라서 일정한 톤을 관찰하기 어렵게 할 수 있는 주기 신호를 음향 이미지 데이터로부터 제외하는 것을 선택할 수 있다. 일반적으로, 사용자는 어떤 주기성을 넘는, 어떤 주기성 미만인, 또는 원하는 주기성 범위 내에 있는 음향 신호를 음향 이미지 데이터에 포함하는 것을 선택할 수 있다. 다양한 실시예들에서, 주기성은 주기적 신호들 사이의 시간 길이, 또는 주기적 신호들의 발생의 빈도에 의해 식별될 수 있다. 도 11b에 도시된 바와 같은 주파수와 유사하게, 주어진 주기성(예를 들어, 해당 주기성에서 작동하는 관심 대상인 객체로 인한)에서의 강도의 분석은 객체로부터의 음향 신호가 경시적으로 어떻게 변화하는지를 추적하기 위해 유사하게 사용될 수 있다. 일반적으로, 일부 실시형태에서, 주기성은 주파수, 강도 등과 같은 다양한 파라미터에 대한 변화율 분석을 수행하는 데 사용될 수 있다.
일부 실시형태에서, 장면 내의 다양한 위치는, 음향 이미지 데이터가 캡처됨에 따라, 연속/진행 중인 음향 신호를 방출할 수 있다. 이러한 실시형태에서, 음향 분석 시스템(예를 들어, 음향 영상화 디바이스(100), 음향 분석 시스템(200))은 연속적이거나 진행 중인 음향 신호를 캡처하고 본원에 설명된 것과 같은 음향 이미지 데이터를 통해 음향 신호를 사용자에게 제공할 수 있다. 도 12는, 연속 음향 신호를 방출하는 2개의 위치, 즉 위치(1220 및 1225)를 포함하는 예시적인 타겟 장면(1210)을 제공한다. 예시된 실시예에서, 음향 이미지 데이터는 전자기 이미지 데이터와 결합되고, 위치들(1220 및 1225)에 존재하는 음향 신호를 나타낸다.
그러나, 일부 경우에서, 타겟 장면 내의 일부 위치(예를 들어, 타겟 장면(1210))는, 음향 분석 시스템에 의해 정기적으로 캡처되지 않을 수 있으며 간헐적인 음향 신호를 방출할 수 있다. 따라서 이러한 신호는, 사용자가 장면을 검사하는 주어진 시간에 사용자에게 디스플레이되는 음향 이미지 데이터에 표현되지 않을 수 있다. 이는 음향 영상화를 통해서는 검출 가능할 어떤 문제를 나타내는 음향 신호와 같은 관심 대상인 음향 신호를 검사 시에는 그 음향 신호가 존재하지 않았기 때문에 검출하지 못하는 결과를 초래할 수 있다.
일부 실시형태에서, 캡처된 모든 음향 신호(예를 들어, 연속적인 음향 신호 및 간헐적인 음향 신호)는 연속적인 음향 신호 또는 간헐적인 음향 신호로 분류되는 것과 같이 분류될 수 있다. 이러한 실시형태는 검출된 음향 신호를, 신호가 더 이상 존재하지 않거나 현재 존재하지 않는 경우(예를 들어, 간헐적인 음향 신호)에도, 추적하도록 구성된 시스템을 포함할 수 있다. 또한, 시스템은 간헐적인 음향 신호들을 나타내는 정보를 포함하는 음향 이미지를, 검사 시 음향 신호들 중 하나 이상이 존재하지 않더라도, 생성할 수 있다. 이러한 실시형태는 추가 데이터를 사용자에게 제공할 수 있고, 예를 들어, 검사 순간에 존재하지 않기 때문에 검출되지 않는 관심 대상인 음향 신호의 수를 감소시킬 수 있다.
도 13은, 음향 분석 시스템이 간헐적 음향 신호에 관한 정보를 캡처하고 디스플레이하도록 구성된 예시적인 실시형태를 제공한다. 도시된 바와 같이, 타겟 장면(1210)은 간헐적인 음향 신호를 방출하는 위치(1330 및 1335)를 추가로 포함한다. 간헐적인 음향 신호는, 방출된 후에 불규칙하게 된, 드물게 된, 그리고/또는 관심 대상이 된 음향 신호를 포함할 수 있다. 예를 들어, 위치(1335)에서와 같이 모터에 철거덕거리는 또는 쾅쾅거리는 소음이 존재하는 경우, 소음이 일시적으로 멈춘 후에도 그리고/또는 소음 및/또는 작동의 일시 중지 동안에도 소음의 시각화를 제공하는 것이 유리할 수 있다. 예시적인 시나리오에서, 위치(1335)로부터 방출된 음향 신호는, 음향 타겟 장면이 사용자에 의해 관찰되지 않은 기간 동안(예를 들어, 밤새, 점심 시간 동안, 이와 달리 사용자가 집중하지 않았던 동안 등) 발생되었을 수 있고, 달리 누락되었을 수 있다. 추가적으로 또는 대안적으로, 간헐적인 음향 신호는, 장비(예를 들어, 모터 또는 기타 기계류)의 시동 또는 종료와 같은 음향 파라미터의 급격한 변화를 갖는 음향 신호를 포함할 수 있다.
본원의 다른 곳에서 언급된 바와 같이, 일부 실시형태에서, 캡처된 모든 음향 신호들(예를 들어, 위치(1220, 1225, 1330, 및 1335)로부터 방출되는 음향 신호들)은 신호가 연속적인지 간헐적인지에 따라 자동으로 분류될 수 있다. 일부 실시형태에서, 음향 신호는 음향 신호의 주기성 및/또는 음향 신호가 타겟 장면 내에 존재하는/존재하지 않는 시간의 비율에 기반하여 자동으로 분류될 수 있다. 예를 들어, 음향 신호(예를 들어, 위치들(1220 및 1225)로부터 방출되는 음향 신호)가 캡처된 음향 이미지 데이터(예를 들어, 음향 이미지 프레임)의 전부 또는 대부분에 존재하는 경우, 이러한 음향 신호는 자동으로 연속 음향 신호로서 분류될 수 있다. 유사하게, 드물게, 간헐적으로, 그리고/또는 불규칙하게 발생되는 음향 신호는 자동으로 간헐적인 소리로서 분류될 수 있다(예를 들어, 위치들(1330 및 1335)로부터 방출되고 있는 음향 신호들). 음향 신호는 또한, 사용자에 의해, 예를 들어, 사용자 인터페이스를 통해, 수동으로 분류될 수 있다. 일부 실시형태에서, 사용자 인터페이스는 음향 센서 어레이 위 또는 근처와 같은 음향 분석 시스템용 하우징 내에 포함될 수 있다. 추가적으로 또는 대안적으로, 사용자 인터페이스는, 음향 분석 시스템용 하우징, 예를 들어, 중앙 서버 룸 외부에서, 별도의 스마트 기기(예를 들어, 컴퓨터, 전화, 태블릿) 등에 위치될 수 있다.
본원에서 논의된 바와 같이, 음향 분석 시스템은 음향 데이터 등을 저장하기 위해 메모리를 포함하거나, 외부 메모리에 연결될 수 있다. 이것은, 음향 데이터 또는 음향 이미지 데이터가 생성된 음향 신호를 분류(예를 들어, 음향 신호를 간헐적 음향 신호, 연속적 음향 신호 등으로 분류)하기 위해 일정 기간 동안 음향 데이터 또는 음향 이미지 데이터를 저장하는 것을 포함할 수 있다. 일부 실시형태에서, 데이터는, 캡처 시간, 위치, 타겟 장면에 대한 정보 등과 같은 음향 데이터/음향 이미지 데이터와 함께 저장(예를 들어, 메타데이터로서)될 수 있다. 추가적으로 또는 대안적으로, 이러한 데이터는 음향 데이터 내의 음향 신호에 대한 추가 식별 정보를 포함할 수 있다. 예를 들어, 데이터는, 음향 신호가 수신되는 동안 특정 위치 또는 타겟 장면 내에서 발생된 이벤트(예를 들어, 모터 시동/정지, 파이프를 통한 유량 등)의 로그(log)를 포함할 수 있다. 추가 실시예에서, 이벤트의 로그 내에 포함된 다양한 이벤트는 음향 데이터 내에 표현된 음향 신호와 연관될 수 있다. 일부 실시형태에서, 본원에서 논의된 바와 같이, 보조 데이터는 추가 센서로부터의 데이터(예를 들어, 전자기 센서, 전류 센서, 전압 센서, 온도 센서, 습도 센서, 위치 데이터, 날씨 데이터 등)와 같은 음향 데이터와 함께 캡처되고/되거나 수신될 수 있다. 이러한 실시예에서, 보조 데이터 또는 이의 서브세트는 이벤트의 로그와 함께 저장될 수 있거나, 분석 중에, 예컨대 이벤트의 로그를 검토할 때에, 사용될 수 있다.
일부 상황에서, 분류(예를 들어, 연속적인 음향 신호, 간헐적인 음향 신호 등)에 따라 음향 신호를 구별하는 것이 유리할 수 있다. 도 13에 도시된 바와 같이, 다양한 연속 음향 신호(예를 들어, 위치(1220 및 1225)로부터 방출되는 음향 신호)는 밝은 톤으로 도시되는 반면, 다양한 간헐적 음향 신호(예를 들어, 위치(1330 및 1335)로부터 방출되는 음향 신호)는 어두운 톤으로 도시된다. 상이한 컬러, 음영, 투명도, 형상, 크기, 기호 등을 사용하는 것과 같이, 다양한 다른 구별되는 특성이 사용되어, 연속적인 음향 신호와 간헐적인 음향 신호를 시각적으로 구별할 수 있다. 추가적으로 또는 대안적으로, 음향 신호들은 본원에 설명된 필터 시스템과 유사한 이들의 분류에 의해서 필터링될 수 있다. 예를 들어, 특정 유형(예를 들어, 연속적, 간헐적)으로서 분류된 음향 신호는 디스플레이 상에 디스플레이되고/되거나, 특정 유형으로서 분류된 음향 신호는 생략될 수 있다(예를 들어, 디스플레이되지 않음). 예를 들어, 일부 실시예에서, 사용자는 기존의 실시간 디스플레이 모드(간헐적인 소리가 그 시점에 존재하지 않으면 누락될 수 있음)와 누적 시간 보기 사이에서 전환할 수 있으며, 누적 시간 보기에서는, 간헐적인 사운드가 그 시점에 존재하지 않더라도 가시적일 수 있다.
유사하게, 특정 분류의 음향 신호(예를 들어, 연속적, 간헐적)와 같은 특정 음향 신호는 확대되거나 강조될 수 있다. 일부 실시형태에서, 음향 신호들은, 다른 음향 신호를 배제한 상태에서 이들을 제시함으로써, 또는 다른 음향 신호들을 이들이 사용자에게 덜 방해가 되도록 디스플레이함으로써(예를 들어, 상이한 팔레트화 방식을 사용, 예를 들어, 더 흐릿한 컬러를 사용, 이러한 신호의 시각화를 더 투명하게 함, 이러한 신호를 보여주는 더 작은 표시기를 사용 등), 강조될 수 있다. 예를 들어, 위치(1335)로부터 방출되는 음향 신호는 위치(1225)로부터 방출되는 음향 신호와 유사한 일부 속성을 가질 수 있다(예를 들어, 유사한 강도 및/또는 주파수). 그러나 위치(1335)로부터 방출되는 음향 신호는 간헐적 음향 신호로서 분류되므로, 위치(1335)에서의 음향 신호를 나타내는 음향 이미지 데이터는 연속적인 음향 신호와 비교하여 구별되는 방식으로 제시될 수 있다. 예를 들어, 간헐적인 음향 신호는 연속적인 음향 신호와 비교할 때 시각적 우선 순위를 제공하도록 팔레트화될 수 있다(예를 들어, 상이한 컬러 팔레트에서 더 크게 표시되는 것, 더 생생한 컬러를 포함하는 것, 대응하는 전자기 이미지와의 다른 수준의 블렌딩 등).
추가적으로 또는 대안적으로, 간헐적 음향 신호는 음향 신호가 지속되는 시간의 양에 기반하여 서로 구별될 수 있다. 예를 들어, 간헐적 음향 신호는 간헐적 음향 신호가 존재하는 시간의 양 및/또는 간헐적 음향 신호가 존재하는 시간의 백분율에 기반하여 서로 구별될 수 있다. 예를 들어, 더 자주 또는 더 오래 존재하는 간헐적인 음향 신호(예를 들어, 주어진 시간 프레임 내)는 더 생생한 컬러로 팔레트화되거나, 더 크게 보여지거나, 상이한 레벨에서 대응하는 전자기 이미지와 블렌딩될 수 있는 등이다.
음향 신호는, 하나 이상의 기타 음향 파라미터(예를 들어, 강도, 주파수, 주기성, 겉보기 근접성, 측정된 근접성, 소리 압력, 입자 속도, 입자 변위, 소리 파워, 소리 에너지, 소리 에너지 밀도, 소리 노출, 피치, 진폭, 휘도, 고조파, 임의의 이러한 파라미터의 변화율, 기본 주파수, 기본 주파수의 고조파 등)에 의해서 뿐만 아니라, 분류 유형(예를 들어, 연속적, 간헐적)을 사용하여 필터링될 수 있다. 또한, 사용자는, AND, OR, XOR 등과 같은 적절한 논리 조합을 사용하여 요건들을 결합시킬 수 있다. 예를 들어, 사용자는 간헐적 음향 신호로서 분류되는 것과 미리 정해진 임계값 초과의 강도를 갖는 것이 AND 결합된 음향 신호만을 디스플레이하기를 원할 수 있다. 추가적으로 또는 대안적으로, 음향 분석 시스템은, 도 9c의 주파수에 대해 도시되고 본원의 다른 곳에서 설명된 바와 같이, 복수의 분류들에 걸쳐 순환하도록 구성될 수 있다. 일반적으로, 순환은, 특정 분류(예를 들어, 연속적, 간헐적)인, 타겟 장면의 위치로부터 방출된 음향 신호들을 나타내는 음향 이미지 데이터를 보여주는 것만을 포함할 수 있다. 다양한 디스플레이들에 걸친 이러한 순환은 사용자가 상이한 음향 신호들 사이의 정보를 시각적으로 구별하는 것을 도울 수 있다.
일부 실시형태에서, 다른 센서(예를 들어, 전자기 센서, 전류 센서, 전압 센서, 온도 센서, 습도 센서, 위치 데이터, 날씨 데이터 등)로부터의 보조 데이터는 음향 신호의 검출 및 진단을 강화하기 위해서 사용될 수 있다. 본원에 설명된 바와 같이, 보조 데이터는, 음향 이미지 데이터와 블렌딩되고/되거나, 음향 이미지 데이터와 오버레이되는 것과 같이, 음향 이미지 데이터와 동시에 디스플레이될 수 있다. 예를 들어, 보조 데이터가 전자기 이미지 데이터를 포함하는 실시형태에서, 전자기 이미지 데이터는, 예를 들어, 본원에 설명된 기술을 사용하여, 음향 이미지 데이터와 블렌딩될 수 있다. 추가적으로 또는 대안적으로, 습도 데이터, 위치 데이터, 전압/전류 데이터 등과 같은 다른 데이터는, 디스플레이 상에 오버레이될 수 있고/있거나, 음향 이미지 데이터와 함께 다른 방식으로 디스플레이될 수 있다. 또한, 다른 센서로부터의 데이터의 변화는 장면 내의 발생 또는 조건을 진단하기 위해 검출된 음향 신호(예를 들어, 음향 시그니처)의 변화와 결합하여 사용될 수 있다.
일부 경우에서, 음향 분석 시스템은 타겟 장면으로부터 적외선 복사 및/또는 온도 정보를 검출하기 위한 적외선 카메라 모듈을 포함할 수 있다. 적외선 데이터 및/또는 온도 데이터의 변화는, 음향 데이터만으로부터 이용 가능한 것보다 더 나은 진단을 제공하기 위해 검출된 음향 신호와 함께 사용될 수 있다. 일부 실시형태에서, 온도의 증가는 특정 위치로부터 방출되는 음향 신호와 상관될 수 있다. 예를 들어, 회전 장비의 비정상적인 온도는 샤프트, 베어링, 또는 와인딩 문제를 나타낼 수 있다. 음향 신호 분석과 함께 이러한 비정상적인 열 시그니처는 이슈가 존재하는지를 결정하고/하거나 이슈를 추가로 식별하는 데 도움이 될 수 있다. 유사하게, 일부 경우에서, 음향 분석 시스템은 타겟 장면으로부터 가시광선 스펙트럼 내의 전자기 복사를 검출하는 가시광선 카메라 모듈을 포함할 수 있다. 가시광선 이미지 데이터의 변화는 더 나은 진단을 제공하기 위해 검출된 음향 신호와 함께 사용될 수 있다. 예를 들어, 음향 신호는, 알려진 장비 등과 같은, 타겟 장면 내의 특정 객체와 연관될 수 있다. 따라서, 가시광선 이미지 데이터는, 잠재적으로 원래 음향 시그니처를 가리거나 수정할 수 있는 객체의 검출을 기반으로 음향 신호의 분석을 조정하는 데 사용될 수 있다(예를 들어, 장비의 한 부분의 음향 신호 특성이 존재하나, 전자기 이미지 데이터에서 이러한 장비가 가려진 경우). 예를 들어, 시스템은, 분석을 위한 폐색 영역으로부터 음향 이미지 데이터를 제거하거나 수정하도록 구성될 수 있다.
음향 분석 시스템은 타겟 장면 내에서 관심 대상인 위치 및/또는 관심 대상이 아닌 위치를 결정하도록 구성될 수 있다. 관심 대상인 위치는 타겟 장면 내에 포함된 하나 이상의 객체 및/또는 영역, 예를 들어, 관심 대상인 음향 신호를 방출하는 객체 및/또는 영역을 포함할 수 있다. 일부 실시예에서, 음향 분석 시스템은, 예를 들어, 사용자 인터페이스를 통해 사용자로부터 타겟 장면 내의 관심 대상인 위치에 관한 정보를 수신할 수 있다. 일부 실시형태에서, 사용자는 디스플레이의 다양한 부분을 하이라이트함으로써(예를 들어, 마우스, 키패드, 스타일러스/손가락을 통해서, 터치스크린을 통해서, 등등), 관심 대상인 위치들을 마킹할 수 있다. 일부 실시형태에서, 사용자는 관심 대상인 위치를 결정하기 위해 다양한 기하학적 형상을 제공하거나, 자유형 방법 등을 사용할 수 있다. 일부 실시예에서, 전자기 영상화 센서(예를 들어, 적외선 카메라 모듈, 가시광선 카메라 모듈 등)와 같은 다른 센서로부터의 정보는 타겟 장면 내에서 관심 대상인 위치 또는 관심 대상이 아닌 위치를 결정하는 데 사용될 수 있다. 예를 들어, 일부 실시형태에서, 사용자는, 장면의 전자기 이미지 데이터를 참조하면서 디스플레이 상에서 하나 이상의 이러한 위치를 선택함으로써 장면 내의 하나 이상의 관심 대상인 위치를 식별할 수 있다. 장면의 부분들을 식별하는 다양한 실시예가 미국 특허 제9,232,142호에 설명되며, 이 특허는 본원의 양수인에게 양도되고, 참조로 포함된다. 일부 실시예에서, 사용자는, 예를 들어, 전체 시야 또는 이미지 데이터의 전체 범위를 관심 대상인 위치로서 선택하는 것을 포함하여, 임의의 크기의 관심 대상인 위치를 선택할 수 있다. 일부 경우에서, 사용자 또는 시스템은 전체 시야보다 더 작은, 관심 대상인 위치를 정의할 수 있다.
관심 대상인 위치에서 방출되는 음향 신호는 관심 대상이 아닌 위치에서 방출되는 음향 신호로부터 구별될 수 있다. 일부 실시형태에서, 관심 대상인 위치에 대한 음향 신호는 관심 대상이 아닌 위치와 상이하게 팔레트화(예를 들어, 다양한 컬러, 불투명도, 크기)될 수 있다. 추가 실시예에서, 음향 분석 시스템은 관심 대상인 위치에 대한 음향 이미지 데이터를 사용자에게 제공하고, 관심 대상이 아닌 위치에 대한 음향 이미지 데이터를 제공하지 않도록 구성될 수 있다. 예를 들어, 위치(1220, 1225, 1330, 및 1335)는 타겟 장면 내의 관심 대상인 위치로 간주될 수 있다. 위치들(1225 및 1335)은 모터들을 포함할 수 있고, 위치들(1220 및 1330)은 배관 및/또는 전기 장비를 포함할 수 있다. 이러한 위치에서의 손상이 유해할 수 있기 때문에, 이러한 위치에 임의의 손상이 존재하는지 여부를 결정하는 것이(예를 들어, 제시된 음향 시그니처를 통해) 사용자에게 중요할 수 있다. 대조적으로, 예시된 실시예에서, 위치(1358)는 에어 벤트를 포함한다. 일부 실시형태에서, 위치(1358)의 에어 벤트로부터 발산되는 소음(예를 들어, 냉난방 ON 시 덜거덕거림, 에어 벤트로부터 상류/하류에서의 에코)은 사용자에게 관심의 대상이 아닐 수 있고, 따라서 사용자에게 제시되는 음향 이미지 데이터로부터 제외될 수 있다.
설명된 바와 같이, 일부 실시형태에서, 위치들은, 사용자가 사용자 인터페이스를 사용하여 음향 타겟 장면 내에 포함된 위치들을 지정하는 것과 같이, 사용자로부터의 입력에 기반하여 관심 대상으로 간주될 수 있다. 추가적으로 또는 대안적으로, 위치는 하나 이상의 경보 조건이 충족되는지 여부에 따라 관심 대상으로 간주될 수 있다.
경보 조건은, 예를 들어, 음향 파라미터에 대한 다양한 임계값을 포함할 수 있다. 예를 들어, 경보 조건은, 미리 정의된 강도 레벨 초과 및/또는 미리 정의된 강도 레벨 미만의 강도를 갖는 임의의 음향 신호가 경보 조건을 만족하도록 하는 강도(예를 들어, dB) 임계값을 포함할 수 있다. 추가적으로 또는 대안적으로, 강도, 주파수, 주기성, 겉보기 근접성, 측정된 근접성, 예상 거리, 소리 압력, 입자 속도, 입자 변위, 소리 파워, 소리 에너지, 소리 에너지 밀도, 소리 노출, 피치, 진폭, 휘도, 고조파, 이러한 파라미터의 변화율, 등과 같은 다양한 음향 파라미터는 경보 조건 내에 포함될 수 있다.
일부 실시형태에서, 경보 조건은 히스테리시스 구성요소를 포함할 수 있다. 예를 들어, 일부 실시형태에서, 경보 조건은 음향 파라미터(예를 들어, 주어진 주파수 범위에 대한 강도)가 임계값(예를 들어, dB로)을 주어진 시간 프레임 내에서 미리 정해진 횟수 충족시키는 경우 충족된다. 예시적인 일 실시형태에서, 음향 분석 시스템은, 미리 정해진 주파수 범위 내의 음향 강도가 미리 정해진 강도 임계값을 하루에 10회 넘게 충족시키는 경우 경보 조건을 검출할 수 있다. 다른 횟수 및 기간이 가능하다. 일부 실시형태에서, 이러한 횟수와 기간은 사용자에 의해서 선택될 수 있다. 일부 실시예에서, 다수의 이러한 경보 조건이 동시에 사용될 수 있다. 예를 들어, 경보 조건은, 음향 강도가 제1 임계값인 제1 미리 정해진 횟수를 충족시키는 경우에 충족될 수 있지만, 음향 강도가 제2 임계값인 제2 미리 정해진 횟수를 충족시키는 경우에도 충족될 수 있다. 예를 들어, 미리 정해진 강도 임계값을 하루에 10회 넘게 충족시키는 경보 조건 외에, 강도가 더 높은 제2 미리 정해진 강도 임계값을 하루에 5회 충족시키는 경우의 경보 조건도 검출될 수 있다.
일부 실시예에서, 하나 이상의 경보 조건은 타겟 장면 내의 관심 대상인 위치에 적용될 수 있다. 예를 들어, 일부 실시형태에서, 관심 대상인 위치는 정의될 수 있고(예를 들어, 사용자 인터페이스로부터의 입력을 통해), 하나 이상의 경보 조건이 이에 적용될 수 있다. 이러한 일부 실시예에서, 이러한 경보 조건은 관심 대상인 위치 외부의 위치에 있는 경보 조건이 아니지만, 다른 위치는 연관된 경보 조건을 유사하게 포함할 수 있다.
일부 실시형태에서, 사용자 인터페이스를 통해 하나 이상의 경보 조건이 수신될 수 있다. 예를 들어, 사용자는 하나 이상의 경보 조건을 정의하기 위해 하나 이상의 대응하는 음향 파라미터와 연관된 하나 이상의 임계값 조건을 설정할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 음향 분석 시스템은, 시간이 지남에 따라 타겟 장면으로부터 정보(예를 들어, 음향 신호)를 샘플링하도록, 그리고 하나 이상의 경보 조건을 확립하도록 구성될 수 있다. 예를 들어, 시스템은 타겟 장면으로부터 정보를 샘플링하여 타겟 장면 내의 일반적인 작동(예를 들어, 일반적인 음향 강도 값)을 확립할 수 있다. 이러한 일반적인 값은 하나 이상의 경보 조건을 확립하는 데 사용될 수 있다. 일부 실시예에서, 사용자는 시스템에게 타겟 장면을 샘플링하여 하나 이상의 경보 조건을 확립하도록 명령할 수 있다.
일부 실시예에서, 경보 조건은 다수의 임계값 또는 충족되어야 할 다른 조건, 예를 들어, 미리 정해진 주기성 미만인 동안 미리 정해진 강도 초과, 하루 중 특정 시간(예를 들어, 오후 8시에서 오전 6시까지) 동안 미리 정해진 강도 미만 등의 음향 신호를 포함할 수 있다. 일부 실시예에서, 경보 조건은 상호의존적일 수 있다. 예를 들어, 예시적인 일 실시형태에서, 임계 강도는 주파수에 따라 증가할 수 있고/있거나, 거리에 따라 감소될 수 있다. 추가적으로 또는 대안적으로, 경보 조건은, 특정 기간 동안 하나 이상의 임계값, 또는, 일정 기간 내 또는 특정 시간 백분율 동안 특정 횟수 등의 충족을 포함할 수 있다.
일부 실시예에서, 하나 이상의 임계값 또는 조건이 경보의 심각도를 결정할 수 있다. 예를 들어, 일부 실시형태에서, 임계 강도(예를 들어, dB 레벨) 초과로 등록된 임의의 음향 신호는 경보 조건을 충족할 수 있지만, 다양한 다른 파라미터, 예를 들어, 방출된 음향 신호의 위치, 주파수, 음향 시그니처, 다른 센서로부터의 보조 데이터 등은 경보의 심각도를 결정할 수 있다. 일부 실시형태에서, 경보들은, 본원에서 논의된 것과 같이, 사용자에게 제시될 때 심각도에 따라 구별될 수 있다.
또한, 경보 조건은 패턴 검출, 음향 시그니처로부터의 편차, 알려진 음향 시그니처(예를 들어, 알려진 문제의 음향 시그니처)의 존재, 기계 학습 알고리즘 등에 기반할 수 있다. 예를 들어, 다양한 장비(예를 들어, 모터 또는 기타 기계)는 시동, 정지 등과 같은 다양한 이벤트 중에 음향 신호를 방출할 수 있다. 이러한 실시예에서, 음향 분석 시스템은 다양한 이벤트를 식별할 수 있고, 이러한 이벤트에 대한 규칙적인 음향 신호로부터의 편차는 경보 조건일 수 있다.
일부 실시형태에서, 경보 조건은 음향 센서 어레이 이외의 센서로부터의 보조 데이터와 같은 추가 데이터와 연관된 하나 이상의 임계값을 포함할 수 있다. 이러한 가능한 센서 중 일부는 본원에서 논의된다. 일부 실시형태에서, 경보 조건을 결정할 때 음향 데이터와 보조 데이터 간의 알려진 관계가 사용될 수 있다. 예를 들어, 와이어의 코로나 방전과 연관된 경보 임계값은 일정 기간 동안 검출된 코로나 방전의 수에 기반할 수 있다. 이러한 일부 실시예에서, 임계값을 충족시키는 데 필요한, 검출된 코로나 방전의 수는 추가 요인에 따라 달라질 수 있다. 예를 들어, 일부 실시형태에서, 경보 조건을 만족하는 검출된 방전의 수는, 주변 환경의 습도 및/또는 온도, 방전과 연관된 전압 및/또는 전류 등에 기반할 수 있다. 이러한 일부 실시예에서, 특정 수의 코로나 방전 이벤트는 습도가 높을 때 정상적이거나 예상될 수 있지만, 습도가 더 낮을 때, 동일한 수의 검출된 코로나 방전 이벤트가 오작동하는 장비를 가리킬 수 있다. 따라서, 다중 모드 경보 조건을 사용하는 것은 시스템이 예상된 조건 또는 예상치 못한 조건을 구별하는 것을 도울 수 있다. 다중 모드 경보 조건의 다른 예는, 예를 들어, 하루의 시간 및/또는 연도에 기반한 경보 조건을 포함한다. 예를 들어, 일부 경우에서, 음향 분석 시스템은 하루(예를 들어, 매일, 매주 등) 내의 제1 기간에 대한 제1 경보 조건, 및 제1 기간 이외의 시간에 대한 제2 경보 조건으로 프로그래밍될 수 있다. 일반적으로, 대응하는 기간에 걸쳐 임의의 수의 경보 프로필이 적용될 수 있다.
추가적으로 또는 대안적으로, 일부 실시예에서, 경보 심각도는 하나 이상의 추가 센서로부터의 보조 데이터에 기반하여 조정될 수 있다. 예를 들어, 코로나 방전 예와 관련하여, 경보 조건의 심각도를 결정하는 데 습도가 사용될 수 있다. 예시적인 일 실시형태에서, 증가된 습도는 경보의 심각도를 감소시킬 수 있고/있거나, 감소된 습도는 경보의 심각도를 높일 수 있다.
일부 실시예에서, 최근 임계값은, 본원의 다른 곳에서 논의된 것과 같은 간헐적인 신호에 기반하여 경보 조건을 생성하기 위해서 사용될 수 있다. 예를 들어, 본원에 설명된 바와 같이, 일부 실시예에서, 음향 분석 시스템은, 실시간으로 존재하지 않지만 이전에 검출된 간헐적인 음향 신호를 나타내는 음향 이미지 데이터를 갖는 디스플레이 이미지를 생성하고, 디스플레이할 수 있다. 일부 실시형태에서, 이러한 간헐적 신호는, 예를 들어, 미리 정해진 시간 범위 내에서 발생되면서, 경보 조건을 충족할 수 있다. 시스템은, 예를 들어, 음향 이미지 데이터를 생성하거나 관찰하는 시점에 음향 신호가 존재하지 않더라도, 경보 조건을 만족하는 신호와 같은 이러한 음향 신호를 나타내는 음향 이미지 데이터를 포함하도록 구성될 수 있다. 유사하게, 이러한 타이밍(예를 들어, 최근) 임계값은 다중 모드 경보의 파라미터로서 사용될 수 있다. 예를 들어, 일부 실시형태에서, 시스템은, 음향 신호가 최근 임계값 내(예를 들어, 지난 1일 이내, 지난 1시간 이내 등)의 임계 강도를 충족시키는 경우, 경보 조건을 검출하도록 구성될 수 있다.
일부 실시예에서, 경보 조건은 타겟 장면 내의 위치에 따라 다를 수 있다. 경보 조건의 위치는 특정 타겟 장면에 대해, 타겟 장면의 일부에 대해, 일반화될 수 있거나, 타겟 장면 내의 특정 영역/객체에 연결될 수 있거나, 등등일 수 있다.
일부 실시형태에서, 경보 조건은 사용자에 의해서, 예를 들어, 본원에서 논의된 바와 같은 사용자 인터페이스를 통해서 지정될 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 경보 조건은 음향 분석 시스템에 의해 지정될 수 있다. 유사하게, 사용자 및/또는 음향 분석 시스템은 하나 이상의 경보 조건이 적용되는 하나 이상의 위치를 지정할 수 있다. 예시적인 일 실시형태에서, 사용자는 장면 내의 객체(예를 들어, 모터, 개스킷, 팬, 파이프 등)를 식별하고, 각각의 이러한 객체와 연관된 위치에 대해 대응하는 경보 조건을 제공할 수 있다. 유사하게, 일부 실시형태에서, 음향 분석 시스템은 장면 내의 다양한 객체/영역을 식별하고, 이에 따라 경보 조건을 적용할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 사용자는 다양한 객체에 대해 미리 정해진 경보 조건 리스트로부터 하나 이상의 경보 조건을 선택할 수 있다.
음향 분석 시스템은, 경보 조건이 충족될 때, 사용자에게 알리도록 구성될 수 있다. 일부 실시형태에서, 하나 이상의 경보 조건을 만족하는 음향 신호는 관심 대상인 음향 신호로 간주되어, 디스플레이를 통해 사용자에게 디스플레이될 수 있다. 이러한 실시형태에서, 음향 분석 시스템은, 관심 대상인 음향 신호(예를 들어, 하나 이상의 경보 조건을 충족시키는 음향 시그니처)를 디스플레이하지만 다른 소리(예를 들어, 하나 이상의 경보 조건을 충족시키지 않은 음향 시그니처)를 디스플레이하지 않도록 구성될 수 있다. 추가적으로 또는 대안적으로, 관심 대상인 음향 신호는 디스플레이 이미지에, 경보 조건을 만족하지 않는 음향 신호를 나타내는 음향 이미지 데이터와 구별되는 방식으로 제시될 수 있다.
일부 실시형태에서, 음향 분석 시스템은 관심 대상인 음향 신호들을 서로 구별할 수 있다. 예를 들어, 하나 이상의 경보 조건은 제1 심각도 레벨에 대응할 수 있으며, 이는 사용자에게 관심 대상인 음향 신호일 수 있는 음향 신호에 대응할 수 있다. 하나 이상의 다른 경보 조건은, 문제가 될 수 있는 음향 신호에 대응하는 제2 심각도 레벨, 및/또는 매우 문제가 있고 즉각적인 주의가 필요할 수 있는 음향 신호에 대응하는 제3 심각도 레벨에 대응할 수 있다. 이러한 일부 실시예에서, 다양한 심각도 레벨의 경보 조건들을 충족시키는 음향 신호들은 상이한 경보 조건 또는 심각도 레벨을 충족시키는 음향 신호와 구별되는 방식으로 제시될 수 있다.
일부 실시형태에서, 음향 분석 시스템은, 음향 신호가 하나 이상의 경보 조건을 충족할 때와 같이 경보 조건이 충족될 때 사용자에게 통지하도록 구성될 수 있다. 알림은, 디스플레이 상의 알림, 톤(tone), 및/또는 진동과 같은, 시각적, 청각적, 그리고/또는 전략적 알림을 포함할 수 있다. 일부 실시형태에서, 경보 조건을 만족하는 음향 신호를 제시하는 음향 이미지 데이터는, 경보 조건을 만족하지 않는 음향 신호를 나타내는 음향 이미지 데이터와 구별되는 방식으로 디스플레이 이미지 상에 제시될 수 있다. 다양한 실시예에서, 경보 조건을 만족하는 음향 신호를 구별하는 것은 상이한 팔레트화, 불투명도, 컬러의 강도, 주기적인 깜박임 등을 제공하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 경보 조건을 만족하는 음향 신호는 음향 이미지 데이터를 통해 디스플레이 상에 제시될 수 있는 반면, 경보 조건을 만족하지 않는 음향 신호는 디스플레이 상에 제시되지 않는다. 본원에서 논의된 바와 같이, 일부 실시형태에서, 사용자는, 음향 분석 시스템과 통합된 사용자 인터페이스, 디스플레이 등을 통해 알림을 받을 수 있다. 추가적으로 또는 대안적으로, 운영 관리 시스템, 전산화된 유지 보수 관리 시스템, 스마트 기기(예를 들어, 태블릿, 폰, 웨어러블, 컴퓨터 등) 등을 통해, 중앙 스테이션과 같은, 원격 위치에 전송되는 알림과 같은 다른 알림 메커니즘이 사용될 수 있다.
일부 실시형태에서, 경보 조건의 위치는 디스플레이 상에서, 예를 들어, 경보 조건에 대한 음향 이미지의 일부에 또는 이 근처에서 라벨링될 수 있다. 추가적으로 또는 대안적으로, 경보 조건을 충족시키는 음향 신호는 디스플레이, 사용자 인터페이스 등에서 라벨링될 수 있다. 도 14는 경보 정보를 도시하는 예시적인 음향 이미지를 도시한다. 도 14의 실시예에 도시된 바와 같이, 라벨(1430 및 1435) 각각은 관심 대상인 위치로부터 방출되는 음향 신호의 다양한 속성을 나타내는 표시를 포함한다. 다양한 실시예에서, 유사한 이러한 라벨은 다음과 같은 정보를 포함할 수 있다: 제목/간단한 설명(예를 들어, 파이프 개스킷, 모터 1); 음향 파라미터에 대한 하나 이상의 값(예를 들어, dB 레벨, 주파수 등); 음향 파라미터에 대한 역사적 최소값/최대값; 하나 이상의 경보 조건(예를 들어, 최소값, 최대값 등); 경보 조건이 충족된 한 번 이상의 경우와 같은 경보 이력. 영역/객체가 다중 경보 조건을 포함하는 실시형태에서, 라벨은 이러한 다수의 경보 조건을 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자는, 예를 들어, 사용자 인터페이스를 통해 각각의 경보 조건을 토글할 수 있다. 유사하게, 일부 실시형태에서, 음향 분석 시스템은 복수의 그러한 라벨들에 걸쳐 순환하도록 구성되어, 라벨들을 순서대로 사용자에게 제공할 수 있다.
본원에서 언급된 바와 같이, 일부 경우에서, 경보 조건은, 타겟 장면 내의 관심 대상인 위치에 적용될 수 있다. 예를 들어, 일부 실시형태에서, 음향 분석 시스템은, 경보 조건과 연관된 관심 대상인 위치 내에서 경보 조건이 검출된 경우에만, 사용자에게 경보 조건을 통지하도록 구성된다.
본원에 설명된 구성요소의 다양한 기능이 결합될 수 있다. 일부 실시형태에서, 본원에 설명된 특징은, 각각 2019년 7월 24일에 출원되고, 본 출원의 양수인에게 양도되고, 참조에 의해 본원에 포함되는 다음 출원들에 설명된 특징과 결합될 수 있다:
WIPO 공개 번호 WO2020/023622를 갖는, 발명의 명칭이 "SYSTEMS AND METHODS FOR PROJECTING AND DISPLAYING ACOUSTIC DATA"인 PCT 특허 출원;
WIPO 공개 번호 WO2020/023633을 갖는, 발명의 명칭이 "SYSTEMS AND METHODS FOR TAGGING AND LINKING ACOUSTIC IMAGES"인 PCT 특허 출원;
WIPO 공개 번호 WO2020/023631을 갖는, 발명의 명칭이 "SYSTEMS AND METHODS FOR DETACHABLE AND ATTACHABLE ACOUSTIC IMAGING SENSORS"인 PCT 특허 출원;
WIPO 공개 번호 WO2020/023627을 갖는, 발명의 명칭이 "SYSTEMS AND METHODS FOR ANALYZING AND DISPLAYING ACOUSTIC DATA"인 PCT 특허 출원; 및
WIPO 공개 번호 WO2020/023629를 갖는, 발명의 명칭이 "SYSTEMS AND METHODS FOR REPRESENTING ACOUSTIC SIGNATURES FROM A TARGET SCENE"인 PCT 특허 출원.
추가적으로 또는 대안적으로, 본 개시내용의 특징은, 본 출원과 동시에 출원되고 본 출원의 양수인에게 양도된 다음 특허 출원 중 하나 이상(각각 참조로 본원에 포함됨)에 설명된 특징과 결합될 수 있다:
2020년 9월 11일자로 출원되고, 발명의 명칭이 "SYSTEMS AND METHODS FOR GENERATING PANORAMIC AND/OR SEGMENTED ACOUSTIC IMAGES"인 미국 출원 제63/077,441호; 및
2020년 9월 11일자로 출원되고, 발명의 명칭이 "SYSTEMS AND METHODS FOR GENERATING PANORAMIC AND/OR SEGMENTED ACOUSTIC IMAGES"인 미국 출원 제63/077,449호.
다양한 실시형태가 설명되었다. 이러한 실시예들은 비제한적인 것이지, 결코 본 발명의 범위를 정의하거나 한정하는 것이 아니다.
예를 들어, 본원에 설명된 음향 분석 시스템의 다양한 실시형태는 다음 특징들 중 임의의 것을 개별적으로 또는 임의의 조합으로 포함할 수 있다: 복수의 음향 센서 소자를 포함하는 음향 센서 어레이 - 복수의 음향 센서 소자 각각은 타겟 장면으로부터 음향 신호를 수신하도록, 그리고 수신된 음향 신호에 기반하여 음향 데이터를 출력하도록 구성됨 -; 디스플레이; 음향 센서 어레이 및 디스플레이와 통신되는 프로세서 - 프로세서는, 음향 센서 어레이로부터 복수의 음향 데이터 세트를 수신하도록 - 복수의 음향 데이터 세트 각각은 상이한 시점에서 타겟 장면을 나타냄 -, 복수의 음향 데이터 세트에 의해 표현되는 타겟 장면 내의 하나 이상의 위치를 결정하도록 - 하나 이상의 위치 각각은 타겟 장면으로부터 방출되는 음향 신호의 위치임 -, 각각의 음향 신호에 대해 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하도록, 복수의 음향 데이터 세트에 기반하여 누적-시간 음향 이미지 데이터를 생성하도록, 간헐적 음향 신호로 분류된 음향 신호와 연속적 음향 신호로 분류된 음향 신호를 구별하여 누적-시간 음향 이미지 데이터를 포함하는 누적-시간 디스플레이 이미지를 생성하도록, 그리고 누적-시간 디스플레이 이미지를 디스플레이 상에 제시하도록 구성됨 -.
일부 경우에서, 프로세서는, 간헐적 음향 신호로 분류된 각각의 음향 신호에 대해, 간헐적 음향 신호가 존재하는 복수의 음향 데이터 세트 각각에서 간헐적 음향 신호에 대한 하나 이상의 음향 파라미터를 평균화함으로써 정규화된 간헐적 음향 신호를 계산하도록 더 구성된다. 하나 이상의 음향 파라미터의 평균화는 음향 신호의 강도 레벨의 평균화를 포함할 수 있다.
음향 분석 시스템은 다음을 개별적으로 또는 임의의 조합으로 더 포함한다: 하우징; 하우징이 음향 센서 어레이 및 프로세서를 수용하도록 구성되는 것; 하우징이 디스플레이를 더 포함하는 것; 디스플레이가 하우징 외부에 있는 것; 프로세서가 각각의 음향 신호에 대해 음향 신호에 대한 주기성을 결정하도록 더 구성되는 것, 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하는 것은 음향 신호의 결정된 주기성에 기반하는 것.
음향 분석 시스템은, 프로세서가 음향 신호를 분석하여 복수의 음향 데이터 세트에서 음향 신호가 존재하는 시간과 음향 신호가 존재하지 않는 시간의 비율을 결정하도록 더 구성될 수 있으며, 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하는 것은 복수의 음향 데이터 세트에서 음향 신호가 존재하는 시간과 음향 신호가 존재하지 않는 시간의 비율에 기반한다. 일부 경우에서, 프로세서는, 음향 이미지의 세트가 캡처된 시간 동안 타겟 장면에서 발생된 이벤트를 포함하는 이벤트의 로그를 수신하도록, 그리고 이벤트의 로그 내의 하나 이상의 이벤트를 음향 데이터의 세트의 음향 신호와 연관시키도록 더 구성된다. 이벤트의 로그는 하나 이상의 추가 센서로부터의 데이터를 더 포함할 수 있다. 일부 경우에서, 음향 분석 시스템의 프로세서는 음향 센서 어레이로부터 수신된 음향 데이터에 기반하여 실시간 음향 이미지 데이터를 생성하도록, 실시간 음향 이미지 데이터를 포함하는 실시간 디스플레이 이미지를 생성하도록, 그리고 디스플레이 상에 누적-시간 디스플레이 이미지를 제시하는 것과 실시간 디스플레이 이미지를 제시하는 것 사이를 토글하도록 구성될 수 있다. 음향 분석 시스템은 사용자 인터페이스를 더 포함할 수 있으며, 여기서 프로세서는, 사용자 인터페이스로부터 수신된 커맨드에 응답하여 디스플레이 상에 누적-시간 디스플레이 이미지를 제시하는 것과 실시간 디스플레이 이미지를 제시하는 것 사이를 토글하도록 구성된다.
다양한 실시형태에서, 음향 이미지를 생성하는 방법은, 복수의 음향 데이터 세트를 수신하는 단계 - 복수의 음향 데이터 세트 각각은 상이한 시점에서 타겟 장면을 나타냄 -; 타겟 장면 내로부터 방출되는 음향 신호를 포함하는 타겟 내의 하나 이상의 위치를 결정하는 단계; 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하는 단계; 상기 복수의 음향 데이터 세트에 기반하여 누적-시간 음향 이미지 데이터를 생성하는 단계; 및 누적-시간 음향 이미지 데이터를 포함하는 누적-시간 디스플레이 이미지를 생성하는 단계를 포함할 수 있고, 간헐적 음향 신호로 분류된 음향 신호는 연속적 음향 신호로서 분류된 음향 신호와 구별되는 방식으로 누적-시간 디스플레이 이미지 내에 제시된다.
추가적인 특징은 하기의 것을 개별적으로 또는 임의의 조합으로 포함한다: 누적-시간 음향 이미지 데이터를 생성하는 단계가, 간헐적 음향 신호로 분류된 음향 신호 각각에 대해, 복수의 음향 데이터 세트에 걸쳐 간헐적 음향 신호에 대한 하나 이상의 음향 파라미터를 평균화함으로써 정규화된 간헐적 음향 신호를 계산하는 단계를 더 포함하는 것; 타겟 장면 내의 관심 대상인 하나 이상의 위치를 결정하는 단계 - 누적-시간 디스플레이 이미지를 생성하는 단계는 관심 대상인 하나 이상의 위치를 관심 대상인 위치로 간주되지 않는 위치와 시각적으로 구별하는 단계를 포함함 -; 전자기 이미지 데이터를 수신하는 단계 - 전자기 이미지 데이터는 타겟 장면으로부터의 전자기 복사를 나타냄 - 와, 수신된 전자기 이미지 데이터에 기반하여 관심 대상인 하나 이상의 위치를 결정하는 단계를 더 포함하는 것; 하나 이상의 음향 신호 각각에 대해 음향 신호에 대한 주기성을 결정하는 단계 - 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로서 분류하는 것은 음향 신호의 주기성에 기반함 - 를 더 포함하는 것.
다양한 실시형태는, 복수의 음향 데이터 세트에서 음향 신호가 존재하지 않는 시간에 대한 각각의 음향 신호가 존재하는 시간의 비율을 결정하는 단계 - 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하는 단계는 복수의 음향 데이터 세트에서 음향 신호가 존재하는 시간의 음향 신호가 존재하지 않는 시간에 대한 비율에 기반함 -; 하나 이상의 경보 조건을 결정하는 단계 - 하나 이상의 경보 조건 각각은 음향 파라미터에 대한 임계값을 포함함 -; 수신된 음향 신호를 하나 이상의 경보 조건과 비교하는 단계; 및 수신된 음향 신호가 경보 조건을 만족하는 경우 알림을 제공하는 단계를 더 포함하며, 디스플레이 이미지를 생성하는 단계는 타겟 장면 내의 위치에 대한 하나 이상의 라벨을 생성하는 단계 - 하나 이상의 라벨 각각은, 제목, 위치에 대한 간략한 설명, 음향 파라미터에 대한 하나 이상의 현재 값, 위치에 대한 하나 이상의 경보 조건, 및/또는 경보 이력에 관한 정보를 포함함 - 를 더 포함하고, 복수의 음향 이미지 데이터 세트 중 가장 최근의 음향 이미지 데이터 세트에 기반하여 실시간 디스플레이 이미지를 생성하고, 실시간 디스플레이 이미지와 누적-시간 디스플레이 이미지 사이를 토글링하는 단계를 더 포함한다.
상술된 다양한 실시형태들은 또 다른 추가의 실시형태를 제공하도록 결합될 수 있다. 본원에서 참조되고/되거나 출원서 데이터 시트(Application Data Sheet)에 열거된 모든 미국 및 외국 특허, 특허 출원 공개, 및 비특허 간행물은 그 전체 내용이 참조로 본원에 포함된다. 실시형태들의 태양은, 필요한 경우, 다양한 특허, 출원 및 간행물의 개념을 사용하여 또 다른 추가의 실시 형태를 제공하도록 변형될 수 있다.
상기에 상술된 설명에 비추어 실시 형태들에 대해 이들 및 다른 변경들이 이루어질 수 있다. 일반적으로, 하기 청구범위에서, 사용되는 용어는 청구범위를 본 명세서 및 청구범위에 개시된 구체적인 실시 형태들로 제한하는 것으로 해석되어서는 안 되며, 그러한 청구범위의 자격이 주어지는 등가물의 전체 범주와 함께 모든 가능한 실시 형태들을 포함하는 것으로 해석되어야 한다. 따라서, 청구범위는 본 개시내용에 의해 제한되지 않는다.

Claims (18)

  1. 음향 분석 시스템으로서,
    타겟 장면으로부터 하나 이상의 음향 신호를 수신하도록, 그리고 상기 하나 이상의 음향 신호에 기반하여 음향 데이터를 출력하도록 구성된 음향 센서 어레이; 및
    상기 음향 센서 어레이와 통신되는 프로세서를 포함하며, 상기 프로세서는,
    상기 음향 센서 어레이로부터 복수의 음향 데이터 세트를 수신하고 - 상기 복수의 음향 데이터 세트 각각은 상이한 시점에서의 상기 타겟 장면을 나타냄 -,
    상기 복수의 음향 데이터 세트에 의해 표현되는 상기 타겟 장면 내의 하나 이상의 위치를 결정하고 - 상기 하나 이상의 위치 각각은 상기 타겟 장면으로부터 방출되는 음향 신호의 위치임 -,
    각각의 음향 신호에 대해, 상기 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하고,
    상기 복수의 음향 데이터 세트에 기반하여 누적-시간 음향 이미지 데이터를 생성하고, 그리고
    상기 누적-시간 음향 이미지 데이터를 포함하는, 디스플레이 상에 제시를 위한 누적-시간 디스플레이 이미지를 생성하도록 구성되며,
    상기 누적-시간 디스플레이 이미지 내에서, 간헐적 음향 신호로서 분류된 음향 신호는 연속적 음향 신호로서 분류되는 음향 신호와 구별되는, 음향 분석 시스템.
  2. 제1항에 있어서, 상기 프로세서는, 간헐적 음향 신호로 분류된 상기 음향 신호 각각에 대해, 상기 간헐적 음향 신호가 존재하는 상기 복수의 음향 데이터 세트 각각에서, 상기 간헐적 음향 신호에 대한 음향 파라미터들 중 하나 이상을 평균화함으로써 정규화된 간헐적 음향 신호를 계산하도록 더 구성된, 음향 분석 시스템.
  3. 제2항에 있어서, 상기 음향 파라미터들 중 하나 이상을 평균화하는 것은 상기 음향 신호의 강도 레벨을 평균화하는 것을 포함하는, 음향 분석 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 음향 신호 각각에 대해, 상기 프로세서는,
    상기 음향 신호에 대한 주기성을 결정하고, 그리고
    상기 음향 신호를 상기 음향 신호의 상기 주기성에 기반하여 간헐적 음향 신호 또는 연속적 음향 신호로 분류하도록 더 구성된, 음향 분석 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 음향 신호 각각에 대해, 상기 프로세서는,
    상기 음향 신호가 상기 복수의 음향 데이터 세트에 존재하지 않는 시간에 대한 상기 음향 신호가 존재하는 시간의 비율을 결정하기 위해 상기 음향 신호를 분석하고, 그리고
    상기 음향 신호를 상기 복수의 음향 데이터 세트에서 상기 음향 신호가 존재하는 시간과 음향 신호가 존재하지 않는 시간의 비율에 기반하여 간헐적 음향 신호 또는 연속적 음향 신호로 분류하도록 더 구성된, 음향 분석 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 음향 데이터 세트가 캡처된 시간 동안 상기 타겟 장면에서 발생된 이벤트를 포함하는 이벤트의 로그(log)를 수신하고; 그리고
    상기 이벤트의 로그 내의 하나 이상의 이벤트를 상기 음향 데이터 세트의 음향 신호와 연관시키도록 더 구성된, 음향 분석 시스템.
  7. 제6항에 있어서, 상기 이벤트의 로그는 상기 음향 분석 시스템과 연관된 하나 이상의 환경적 또는 상황적(contextual) 파라미터와 관련된 하나 이상의 추가 센서로부터의 데이터를 포함하는, 음향 분석 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 음향 센서 어레이로부터 수신된 음향 데이터에 기반하여 실시간 음향 이미지 데이터를 생성하고,
    상기 실시간 음향 이미지 데이터를 포함하는 실시간 디스플레이 이미지를 생성하고, 그리고
    상기 누적-시간 디스플레이 이미지와 상기 실시간 디스플레이 이미지를 상기 디스플레이 상에 제시하는 것 사이를 토글(toggle)하도록 더 구성된, 음향 분석 시스템.
  9. 제8항에 있어서, 상기 음향 분석 시스템은 사용자 인터페이스를 더 포함하며, 상기 프로세서는, 상기 사용자 인터페이스로부터 수신된 커맨드(command)에 응답하여, 상기 디스플레이 상에 상기 누적-시간 디스플레이 이미지를 제시하는 것과 상기 실시간 디스플레이 이미지를 제시하는 것 사이를 토글하도록 구성된, 음향 분석 시스템.
  10. 음향 이미지를 생성하는 방법으로서,
    복수의 음향 데이터 세트를 수신하는 단계 - 상기 복수의 음향 데이터 세트 각각은 상이한 시점에서의 타겟 장면을 나타냄 -;
    음향 신호를 방출하는 상기 타겟 장면 내의 하나 이상의 위치를 결정하는 단계;
    상기 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하는 단계;
    상기 복수의 음향 데이터 세트에 기반하여 누적-시간 음향 이미지 데이터를 생성하는 단계; 및
    상기 누적-시간 음향 이미지 데이터를 포함하는 누적-시간 디스플레이 이미지를 생성하는 단계를 포함하고,
    간헐적 음향 신호로 분류된 음향 신호는 연속적 음향 신호로 분류된 음향 신호와 구별되는 방식으로 상기 누적-시간 디스플레이 이미지 내에서 제시되는, 방법.
  11. 제10항에 있어서, 누적-시간 음향 이미지 데이터를 생성하는 단계는,
    간헐적 음향 신호로 분류된 상기 음향 신호 각각에 대해, 복수의 음향 데이터 세트에 걸쳐 상기 간헐적 음향 신호에 대한 음향 파라미터들 중 하나 이상을 평균화함으로써 정규화된 간헐적 음향 신호를 계산하는 단계를 포함하는, 방법.
  12. 제10항 또는 제11항에 있어서, 상기 타겟 장면 내의 관심 대상인 하나 이상의 위치를 결정하는 단계를 더 포함하고, 상기 누적-시간 디스플레이 이미지를 생성하는 단계는 관심 대상인 상기 하나 이상의 위치를 관심 대상인 위치가 아닌 위치와 시각적으로 구별하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 타겟 장면으로부터의 전자기 복사를 나타내는 전자기 이미지 데이터를 수신하는 단계; 및
    상기 전자기 이미지 데이터에 기반하여 상기 타겟 장면 내의 관심 대상인 상기 하나 이상의 위치를 결정하는 단계를 더 포함하는 방법.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 음향 신호 각각에 대해, 상기 음향 신호에 대한 주기성을 결정하는 단계를 더 포함하고,
    음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로서 분류하는 단계는 상기 음향 신호의 상기 주기성에 기반하는, 방법.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 복수의 음향 데이터 세트에서 각각의 음향 신호가 존재하지 않는 시간에 대한 상기 음향 신호가 존재하는 시간의 비율을 결정하는 단계를 더 포함하고, 음향 신호를 간헐적 음향 신호 또는 연속적 음향 신호로 분류하는 단계는 상기 복수의 음향 데이터 세트에서 상기 음향 신호가 존재하지 않는 시간에 대한 상기 음향 신호가 존재하는 시간의 상기 비율에 기반하는, 방법.
  16. 제10항 내지 제15항 중 어느 한 항에 있어서,
    하나 이상의 경보 조건을 결정하는 단계 - 상기 하나 이상의 경보 조건 각각은 음향 파라미터에 대한 임계값을 포함함 -;
    상기 하나 이상의 경보 조건에서 상기 음향 신호를 임계값과 비교하는 단계; 및
    음향 신호가 상기 하나 이상의 경보 조건 중 일 경보 조건을 만족하는 경우 통지를 제공하는 단계를 더 포함하는, 방법.
  17. 제16항에 있어서, 상기 누적-시간 디스플레이 이미지를 생성하는 단계는, 상기 타겟 장면 내의 위치에 대한 하나 이상의 라벨(label)을 생성하는 단계 - 상기 하나 이상의 라벨 각각은 제목에 관한 정보, 상기 위치에 대한 간략한 설명, 음향 파라미터에 대한 하나 이상의 현재 값, 상기 위치에 대한 하나 이상의 경보 조건, 및/또는 경보 이력을 포함함 -, 및
    디스플레이 상의 제시를 위한 상기 누적-시간 디스플레이 이미지에 상기 하나 이상의 라벨을 포함시키는 단계를 포함하는, 방법.
  18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    상기 복수의 음향 이미지 데이터 세트 중 가장 최근의 음향 이미지 데이터 세트에 기반하여 실시간 디스플레이 이미지를 생성하는 단계; 및
    디스플레이에서 상기 실시간 디스플레이 이미지와 상기 누적-시간 디스플레이 이미지의 제시 사이를 토글하는 단계를 더 포함하는, 방법.
KR1020237011687A 2020-09-11 2021-09-10 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법 KR20230065299A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063077445P 2020-09-11 2020-09-11
US63/077,445 2020-09-11
PCT/US2021/049965 WO2022056327A1 (en) 2020-09-11 2021-09-10 System and method for acoustic imaging with an accumulated-time view

Publications (1)

Publication Number Publication Date
KR20230065299A true KR20230065299A (ko) 2023-05-11

Family

ID=78086931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237011687A KR20230065299A (ko) 2020-09-11 2021-09-10 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US11953592B2 (ko)
EP (1) EP4211493A1 (ko)
JP (1) JP2023542645A (ko)
KR (1) KR20230065299A (ko)
CN (1) CN116249914A (ko)
WO (1) WO2022056327A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230065299A (ko) * 2020-09-11 2023-05-11 플루커 코포레이션 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778082A (en) 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
EP1768102B1 (en) 2004-07-09 2011-03-02 Nippon Telegraph And Telephone Corporation Sound signal detection system and image signal detection system
US7538326B2 (en) 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
EP2271073B1 (en) 2009-07-01 2018-03-07 Fluke Corporation Thermography methods
JP2012021969A (ja) 2010-06-18 2012-02-02 Panasonic Electric Works Co Ltd 部屋、配線器具
JP5832182B2 (ja) 2011-07-19 2015-12-16 キヤノン株式会社 音響信号受信装置およびイメージング装置
JP5822667B2 (ja) 2011-11-15 2015-11-24 株式会社インテック 情報提供システム、音響信号出力装置、コンピュータ用プログラム、携帯機器用プログラム、データ伝送方法及び情報取得方法
US20130155248A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130155249A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130162835A1 (en) 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
JP6367691B2 (ja) 2014-11-17 2018-08-01 日本電信電話株式会社 報知音感知・識別装置、報知音感知・識別方法、報知音感知・識別プログラム
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
KR20170130041A (ko) 2016-05-18 2017-11-28 (주)에스엠인스트루먼트 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
SG10201703098TA (en) 2017-04-13 2018-11-29 Kent Microwave Devices Indoor Positioning System
US20190129027A1 (en) * 2017-11-02 2019-05-02 Fluke Corporation Multi-modal acoustic imaging tool
US11099075B2 (en) * 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
WO2020023627A1 (en) 2018-07-24 2020-01-30 Fluke Corporation Systems and methods for analyzing and displaying acoustic data
CN110082756A (zh) 2019-05-11 2019-08-02 王志东 基于本底做概率识别的区域智能监控系统及其识别方法
KR20230065299A (ko) * 2020-09-11 2023-05-11 플루커 코포레이션 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법
KR20230066045A (ko) * 2020-09-11 2023-05-12 플루커 코포레이션 세그먼트화에 의한 파노라마 음향 이미지 생성 및 음향 이미징 디바이스 가상화를 위한 시스템 및 방법

Also Published As

Publication number Publication date
US11953592B2 (en) 2024-04-09
EP4211493A1 (en) 2023-07-19
US20220082691A1 (en) 2022-03-17
CN116249914A (zh) 2023-06-09
WO2022056327A1 (en) 2022-03-17
JP2023542645A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
JP7417587B2 (ja) 音響データを分析及び表示するためのシステム及び方法
US20220146668A1 (en) Multi-modal acoustic imaging tool
US11913829B2 (en) Portable acoustic imaging tool with scanning and analysis capability
CN109756720B (zh) 使用距离信息的声学成像中的焦点和/或视差调整
US11953592B2 (en) System and method for acoustic imaging with an accumulated-time view
US20220082692A1 (en) System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation