JP7488250B2 - 音響データを投射および表示するためのシステム及び方法 - Google Patents

音響データを投射および表示するためのシステム及び方法 Download PDF

Info

Publication number
JP7488250B2
JP7488250B2 JP2021504176A JP2021504176A JP7488250B2 JP 7488250 B2 JP7488250 B2 JP 7488250B2 JP 2021504176 A JP2021504176 A JP 2021504176A JP 2021504176 A JP2021504176 A JP 2021504176A JP 7488250 B2 JP7488250 B2 JP 7488250B2
Authority
JP
Japan
Prior art keywords
acoustic
image data
scene
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021504176A
Other languages
English (en)
Other versions
JP2021532356A (ja
Inventor
マイケル・ディー・スチュアート
ディレパ・プラバカール
ジョセフ・ブイ・フェランテ
スコット・エム・ツカマキ
ダーウィン・シー・ウィット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fluke Corp
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of JP2021532356A publication Critical patent/JP2021532356A/ja
Application granted granted Critical
Publication of JP7488250B2 publication Critical patent/JP7488250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/02—Gearings; Transmission mechanisms
    • G01M13/028—Acoustic or vibration analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Description

関連出願の相互参照
本出願は、２０１８年７月２４日に出願された米国特許出願第６２／７０２，７１６号の優先権を主張し、ここにその内容全体が引用により組み入れられる。
現在入手可能な音響撮像装置は、様々なファクターに起因して各種の周波数感度制限を有する音響センサアレイ構成を含んでいる。例えば、ある音響撮像装置は、ほぼ２０Ｈｚとほぼ２０ｋＨｚの間の音響周波数範囲において反応するように設計されている。他の機器(例えば、超音波機器)は、ほぼ３８ｋＨｚとほぼ４５ｋＨｚの間の音響周波数範囲において反応するように設計されている。
しかしながら、２０Ｈｚから２０ｋＨｚの周波数範囲内で作動するように一般的に設計された音響撮像装置は、たとえば、ほぼ５０ｋＨｚまで若しくはそれ以上の高周波数を有効に検出又は撮像することができない。同様に、２０ｋＨｚから５０ｋＨｚの周波数範囲内で作動するように設計された音響機器又は超音波機器は、たとえば、２０ｋＨｚ若しくはそれ以下の低周波数を有効に検出及び／又は撮像することができない。このことは様々な理由のためである。例えば、低周波数(例えば、可聴周波数)用に最適化されたセンサアレイは、高周波数(例えば、超音波周波数)用に最適化されたセンサアレイが行うよりもはるかにかけ離れた個々のセンサを概して含んでいる。
ハードウェアの懸念に加えて、又は、それとは別に、音響撮像の異なる計算アルゴリズムと方法は、ターゲットと異なる周波数及び／又は異なる距離を有する音響信号により高い適性があることが多く、特に未経験のユーザが、これらなしでシーンを音響的に撮像するための最良の方法を決定することを困難にしている。
異なる音響周波数範囲を撮像する場合のこのような不一致は、異なる周波数及び波長の音波の空気中の伝搬の背後の物理現象にある程度起因している。あるアレイの配向とアレイサイズと計算方法は、一般に、異なる周波数(例えば、可聴周波数や超音波周波数など)特性を有する音響信号により高い適性がある。
同様に、異なるアレイ特性及び／又は計算方法は、ターゲットへの異なる距離にある各音響シーンにとってより高い適性がありうる。例えば、非常に近い距離にあるターゲット用の近接場音響ホログラフィ、より遠い距離にあるターゲット用の各種音響ビーム形成方法です。
したがって、(例えば、音響撮像用の)音響アレイを用いた音響点検は、例えば、異なる周波数範囲を有する音響信号の分析のために広範な装備と、音響分析を行うためにいつ異なるハードウェアと計算技術が適切となるのかを理解する専門的技術を必要とすることがある。このことは、音響点検に時間とコストを強度にかけることとなり、そのような点検をするために専門家を必要とすることがある。
例えば、ユーザは、音響分析をするために手動で各種のハードウェア及び／又はソフトウェアを選択することを余儀なくされることがある。しかしながら、経験のない分析者は、与えられた分析及び／又は音響シーンにとってハードウェアとソフトウェアの好適な組み合わせを知ることは不可能である場合がある。その上、シーン内から目標の音を分離することは、特に煩雑なシーンにおいては、それ自体難題を提供することであり、経験のないユーザにとってつまらないいらいらを示すことになるかもしれない。例えば、特に雑音環境の下で、所定の音響シーンは、目標の音響信号を不明瞭にするいくつもの周波数や強度や他の特性を含む音響信号を含んでいることがある。
従来のシステムは、目標の音を分析するために点検に先立ち、ユーザに目標の各種の音響パラメータを手動で特定することをたびたび要求していた。しかし、経験のないユーザは、目標の各種の音をもっともよく分離及び／又は特定する方法を知らないことがある。
その上、複数の撮像技術(例えば、可視光撮像技術、赤外線撮像技術、紫外線撮像技術、可聴撮像技術若しくは他の撮像技術)が同じ対象又はシーンを点検しているときに協調して使用されている場合、異なる撮像技術を実施するために用いられるツールの物理的な配置及び又は他のセッテング(例えば、フォーカス位置)は分析に強い影響を与えることがある。例えば、各撮像機器の異なる位置及び／又はフォーカス位置は、結果的に視差となり、結果として生じる画像はずれて並置されることがある。このことは、シーン内の目標の領域及び／又は問題領域、ドキュメンテーションエラー、問題の誤診を適切に突き止めることを結果的にできなくしてしまうことがある。例えば、音響画像データに関して、音響画像データが他の撮像技術(例えば、可視光画像データ及び／又は赤外線画像データ)から画像データに関してずれている場合には、目標の音響信号の位置又は音源を特定することは難しいことがある。
既存の超音波試験及び点検ツールは、受信中のセンサに音を収束させるときに役立たせるために、パラボラディッシュを使用するか若しくはそれを使用しないで、超音波センサを用いている。特定周波数の音が検出された時、機器のディスプレイ上で、それは上昇若しくは降下する数値として、若しくは、周波数又はデシベルレベルグラフ上で表示される。このことは、多くのユーザにとって、非常に紛らわしく且つ非直感的でありうる。ライブシーンの画像又は音の視覚化は利用できない。
特定の音を分離し、その場所を突き止め、分析することは、冗長なプロセスであり、多くのエンドユーザにとって困惑させられることがある。ライブビデオ背景若しくは静止画背景とともに単独の音若しくは複数の音が視覚化されている非数値視覚化技術を採用している上等な音響撮像装置は、上質な画質を生成するためにビデオカメラ若しくはスチルカメラの性能に依存している。環境がダークである場合、若しくは、点検ターゲットが機器からある程度離れて配置されている場合、画質は劣化するか、及び／若しくは、表示された画像の視野が現実の目標ターゲットに関連して不正確になることがある。このことは、問題のある品質や実用性の画像やデータを生成したり保存したりする機器につながりうる。
その上、ある場合には、ある距離にわたって音が解放空間を伝わることがあり、様々な物体から反射することがある。このことはさらに音源の場所を突き止め特定することを複雑にしている。
本開示のある態様は、音響撮像システムに関する。システムは、複数の音響センサ要素からなる音響センサアレイであって、各音響センサ要素がシーンから音響信号を受信するとともに該音響信号に基づき音響データを出力するように構成されうる音響センサアレイを具備していることがある。
システムは、前記シーンに向かって電磁放射を放射するように構成されている一又はそれ以上の照明器を含んでいることがある。一又はそれ以上の照明器は、一又はそれ以上の波長範囲を含む電磁放射を放射するように構成されていることがある。
システムは、前記シーンから電磁放射を受信し、該電磁放射を示す電磁画像データを出力するように構成された電磁撮像ツールを含んでいることがある。電磁撮像ツールは、可視光スペクトラム及び／又は近接赤外光スペクトラムを含む範囲のような波長範囲から電磁放射を検出するように構成されていることがある。あるシステムにおいては、電磁撮像システムは、可視光カメラモジュール及び／又は赤外光カメラモジュールを具備していることがある。
システムは、距離測定ツールを含んでいることがある。距離測定ツールは、ターゲットへの距離を示す距離情報を提供するように構成されていることがある。あるシステムにおいては、距離測定ツールは、レーザポインタを含んでもよい。
システムは、ディスプレイとプロセッサを含むことがある。プロセッサは、音響センサアレイと、照明器と、電磁撮像ツールと、距離測定ツールと、ディスプレイと通信可能である。システムは、音響センサアレイと、照明器と、電磁撮像ツールと、ディスプレイと、プロセッサを支持するハウジングとを備えることがあり、音響センサアレイと電磁撮像ツールはハウジングの第1のサイドにあるが、ディスプレイは前記ハウジングの第1のサイドとは反対側のハウジングの第2のサイドにある。
あるシステムにおいては、プロセッサは、照明器を介して前記シーンに照明を当て、電磁撮像ツールから該シーンを示す電磁画像データを受信し、距離測定ツールからターゲットへの距離を示す距離情報を受信するように構成されていることがある。ある実施形態においては、照明器が、電磁撮像ツールによって受信された波長の範囲と少なくともその一部が重複する一又はそれ以上の波長の電磁放射を放射することがある。
あるシステムにおいては、プロセッサは、音響データと距離情報に基づき、シーンの音響画像データを生成し、組み合わされた音響画像データと電磁画像データからなるディスプレイ画像を生成するように構成されることがある。プロセッサは、ディスプレイ画像をディスプレイに送ることがある。
システムは、プロセッサと通信する周囲光センサを含むことがある。あるシステムにおいては、プロセッサは、周囲光センサから周囲光量を示すデータを受信するように構成されていることがある。あるシステムにおいては、プロセッサは、所定の閾値以下である周囲光量に応じて、照明器にターゲットシーンに照明を当てさせ、及び／又は、所定の閾値以下である周囲光量に応じて、ユーザに勧めてターゲットシーンに照明を当てさせるように構成されることがある。
ある例では、プロセッサは、シーン内の各種音響信号の奥行を決定し、決められた奥行を示すシーンの表示を生成するように構成されることがある。このような表示は、２次元間取り図（例えば、シーンのトップダウン図）上、若しくは、シーンの３次元体積表現内の音響画像データを含むことを含むことがある。
一又はそれ以上の例の詳細が、添付の図面と以下の説明に記載されている。他の特徴や目的や効果は、明細書や図面や特許請求の範囲から明らかとなるでしょう。
図１Ａは、例示的な音響撮像装置の正面図および背面図を示す。 図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。
図２は、音響分析システムの一例の構成要素を示す機能ブロック図である。
図３Ａは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 図３Ｂは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 図３Ｃは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。 図４Ｂは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
図５Ａは、可視光画像と音響画像との間の視差補正を示す。 図５Ｂは、可視光画像と音響画像との間の視差補正を示す。
図５Ｃは、図５Ａ及び図５Ｂの着色されたバージョンである。 図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。
図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
図８は、音響撮像プロセス中に使用するための適切なアルゴリズムおよびセンサアレイを決定するための例示的なルックアップテーブルを示す。
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。
図９Ｃは、複数の前待って定義された周波数範囲での複数の組み合わされた音響および可視光画像データを示す。
図１０Ａは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。 図１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
図１１Ａは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。 図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
図１２Ａは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。 図１２Ｂは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。 図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。
図１６は、非数値情報と英数字情報の両方を含む視覚化例を示す。
図１７は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
図１８は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
図１９は、異なる音響パラメータ値を表す異なるサイズと色のインジケータを示す例示的な視覚化を示す。
図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータを示す例示的な視覚化を示す。
図２１は、所定の条件を満たす音響信号を区別して示す、シーン内の複数の位置におけるインジケータを含むシーンを示す。
図２２は、シーン内で認識された音響プロファイルを示す、ディスプレイ画像内に配置された複数のアイコンを含むディスプレイ画像を示す。
図２３は、各音響信号に関連して音響強度を表す、同心円と英数字情報を使用する複数のインジケータを介して音響データを示す別の例示的なディスプレイ画像を示す。
図２４は、表示された音響信号に関連するインジケータおよび追加の英数字情報を有する例示的なディスプレイ画像を示す。
図２５Ａは、ディスプレイ画像内のインジケータが選択されるディスプレイと、シーンに向かってレーザを放射するレーザポインタとを含むシステムを示す。
図２５Ｂは、図２５のシステムビューに示されるディスプレイを示す。
図２６は、音響画像データを表すグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
図２７は、音響画像データを表す同心円調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
図２８は、一又はそれ以上のフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するインジケータを含むディスプレイ画像を示す。
図２９は、一又はそれ以上のフィルタ条件を満たすシーン内の位置を示す同心円調色を有するインジケータを含むディスプレイ画像を示す。
図３０は、２つのインジケータを含むディスプレイ画像であって、それぞれのインジケータが異なるフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するディスプレイ画像を示す。
図３１は、ディスプレイ画像および仮想キーボードを含むディスプレイインタフェースを示す。
図３２は、ユーザが着用してディスプレイ画像を表示することができるアイウェアに組み込まれたディスプレイを示す。
図３３Aは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。 図３３Ｂは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。
図３４Ａは、シーンに向かってレーザを放射している音響撮像装置を示す。
図３４Ｂは、可視光画像データと音響画像データ並びにシーン内のレーザスポットの具象的な視覚化を含む例示のディスプレイ画像を示す。
図３５Ａは、照明のない、シーン音響画像データと電磁画像データを表すディスプレイ画像を示す。
図３５Ｂは、可視光照明器を用いて取り込まれたシーンの画像を示す。
図３５Ｃは、近赤外線照明器を用いて取り込まれたシーンの画像を示す。
図３６は、システムがレーザポインタを差し向けることができるシーン内の位置をユーザが選択可能な実施例を示す。
図３７は、３つの音を特定するために一又はそれ以上のレーザポインタが使用されている非限定実施形態を示す。
図３８は、ディスプレイ画像内の位置に向かって音響画像データを投射するプロジェクタシステムを示す。
図３９は、複数の音のそれぞれの音源に向かって複数の音を示す音響画像データを投射するプロジェクタシステムを有する音響撮像装置を示す。
図４０は、音響画像データが具象的なエリアマップにマップ化される例示の実施形態を示す。
図４１は、Ｘ－Ｙエリアにマップ化され、間取り図レイアウト上に置かれた複数の音を示す。
図４２は、音響画像データが体積空間にマップ化されている例示の実施形態を示す。
図４３は、対応する複数のインジケータを介して示される、複数の検出音の３次元位置を含む音響画像データの体積表示を示すディスプレイを含む音響撮像装置を示す。
図４４は、シーンにドットパターンを投射するドットプロジェクションシステムを含む音響撮像システムを示す。
図４５は、シーンの３次元表示にマップ化された音響画像データの視覚化を含む例示のディスプレイ画像を示す。
図１Ａ及び図１Ｂは、例示的な音響撮像装置の正面図及び背面図を示す。図１Ａは、音響センサアレイ１０４及び電磁撮像ツール１０６を支持する筐体１０２を有する音響撮像装置１００の前面を示す。ある実施形態では、音響センサアレイ１０４は、複数の音響センサ要素を含み、複数の音響センサ要素のそれぞれは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成されている。電磁撮像ツール１０６は、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成され得る。電磁撮像ツール１０６は、可視光、赤外線、紫外線などの複数の範囲の波長のうちの一又はそれ以上の電磁放射を検出するように構成され得る。
図示の例では、音響撮像装置１００は、周囲光センサ１０８と、ＧＰＳなどの位置センサ１１６とを含む。装置１００はレーザポインタ１１０を含み、これは、ある実施形態では、レーザ距離計を含む。装置１００は、シーンに向けて可視光放射を放出するように構成され得るトーチ１１２と、シーンに向けて赤外線放射を放出するように構成され得る赤外線照射器１１８とを含む。ある例では、装置１００は、任意の範囲の波長にわたってシーンを照射するための照射器を含むことがある。装置１００は、生成された画像を着色画像などのシーンに投射するように構成できる画像リプロジェクタなどのプロジェクタ１１４、及び／又は、例えば、シーンの深度プロファイルを判定するために、一連のドットをシーンに投射するように構成されたドットプロジェクタをさらに含む。
図１Ｂは、音響撮像装置１００の裏側を示す。図示されたように、装置は、画像又は他のデータを表示することができるディスプレイ１２０を含む。ある例では、ディスプレイ１２０は、タッチスクリーンディスプレイを含む。音響撮像装置１００は、音声フィードバック信号をユーザに提供することができるスピーカと、音響撮像装置１００と外部装置との間の無線通信を可能にすることができる無線インタフェース１２４とを含む。装置は、ユーザが音響撮像装置１００と接続することを可能にするために、一又はそれ以上のボタン、ノブ、ダイヤル、スイッチ、又は他のインタフェース構成要素を含むことができる制御１２６をさらに含む。ある例では、制御１２６とタッチスクリーンディスプレイが組み合わさって、音響撮像装置１００のユーザインタフェースを提供する。
様々な実施形態では、音響撮像装置は、図１Ａ及び図１Ｂの実施形態に示されるすべての要素を含む必要はない。図示された一又はそれ以上の構成要素は、音響撮像装置から除外することができる。ある例では、図１Ａ及び図１Ｂの実施形態に示された一又はそれ以上の構成要素は、音響撮像システムの一部として含まれ得るが、筐体１０２とは別個に含まれ得る。そのような構成要素は、例えば、無線インタフェース１２４を使用して、有線又は無線通信技術を介して音響撮像システムの他の構成要素と通信することができる。
図２は、音響分析システム２００の一例の構成要素を示す機能ブロック図である。図２の例示的な音響分析システム２００は、音響センサアレイ２０２内に配置されたマイクロフォン、ＭＥＭＳ、トランスデューサなどの複数の音響センサを含むことができる。このようなアレイは、１次元、２次元、又は３次元であり得る。様々な例において、音響センサアレイは、任意の適切なサイズ及び形状を定義することができる。ある例では、音響センサアレイ２０２は、例えば、垂直列及び水平行に配置されたセンサ要素のアレイなどのグリッドパターンに配置された複数の音響センサを含む。様々な例において、音響センサアレイ２０２は、例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６などの水平行×垂直列のアレイを含むことができる。他の例も可能であり、様々なセンサアレイに列と同じ数の行を含める必要はない。ある実施形態では、そのようなセンサは、例えば、プリント回路基板（ＰＣＢ）基板などの基板上に配置することがある。
図２に示される構成では、音響センサアレイ２０２と通信するプロセッサ２１２は、複数の音響センサのそれぞれから音響データを受信することができる。音響分析システム２００の例示的な動作中に、プロセッサ２１２は、音響センサアレイ２０２と通信して、音響画像データを生成することができる。例えば、プロセッサ２１２は、音響センサアレイに配置された複数の音響センサのそれぞれから受信したデータを分析し、音響信号を音響発生源に「バックプロパゲーション」することによって音響シーンを決定するように構成され得る。ある実施形態では、プロセッサ２１２は、２次元シーン全体にわたる音響信号の様々な発生源位置及び強度を特定することによって、音響画像データのデジタル「フレーム」を生成することができる。音響画像データのフレームを生成することによって、プロセッサ２１２は、実質的に所与の時点でのターゲットシーンの音響画像を取り込む。ある例では、フレームは、音響画像を構成する複数のピクセルを含み、各ピクセルは、音響信号がバックプロパゲーションされた発生源シーンの一部を表す。
プロセッサ２１２を含む音響分析システム２００内でプロセッサとして説明される構成要素は、一又はそれ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジック回路等の、単独若しくは任意に適切に組み合わされた、一又はそれ以上のプロセッサとして実装され得る。プロセッサ２１２は、また、プロセッサ２１２によって実行されると、音響分析システム２００及びプロセッサ２１２をして本開示においてそれらに起因する機能を実行させるプログラム命令及び関連データを記憶するメモリを含むこともある。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ－ＲＯＭ、ハードディスク又はフロッピー磁気ディスク、ＥＥＰＲＯＭなどの固定又は取り外し可能な磁気、光学、又は電気媒体を含み得る。メモリは、また、メモリの更新又はメモリ容量の増加を提供するために使用され得る取り外し可能なメモリ部分を含み得る。リムーバブルメモリは、また、音響画像データを別のコンピューティング装置に容易に転送し得ること、若しくは、音響分析システム２００が別の用途で使用される前に音響画像データを除去し得ることを可能にする。プロセッサ２１２は、また、コンピュータ又は他の電子システムの一部又はすべての構成要素を単一のチップに統合するシステムオンチップとして実装されることもある。プロセッサ２１２（処理回路）は、処理されたデータをディスプレイ２１４又は他の出力／制御装置２１８に通信するように構成され得る。
ある実施形態では、音響センサアレイ２０２内の音響センサは、各音響センサによって受信された音響信号に対応する一連の信号を生成して、音響画像を表す。音響画像データの「フレーム」は、音響センサアレイ２０２を構成するすべての行をスキャンすることによって各音響センサからの信号が取得されるときに生成される。ある例では、プロセッサ２１２は、音響画像データのビデオ表現（例えば、３０Ｈｚ、又は６０Ｈｚ）を生成するのに十分な速度で音響画像フレームを取得することができる。特定の回路とは独立して、音響分析システム２００は、ターゲットシーンの音響プロファイルを表す音響データを操作して、ユーザによって表示、保存、送信、又は他の方法で利用できる出力を提供するように構成され得る。
ある実施形態では、音響画像データを生成するための受信音響信号の「バックプロパゲーション」は、例えばプロセッサを介して、音響センサアレイ２０２内の複数の音響センサで受信信号を分析することを含む。様々な例において、バックプロパゲーションの実行は、ターゲットまでの距離、周波数、音の強度（例えば、ｄＢレベル）例えば、一又はそれ以上のアレイ内の個々のセンサの間隔及び配置を含むセンサアレイの寸法／構成を含む、一又はそれ以上のパラメータの関数である。ある実施形態では、そのようなパラメータは、システムに、例えば、メモリ内に事前にプログラムされることがある。例えば、音響センサアレイ２０２の特性は、内部メモリ又は特に音響センサアレイ２０２に関連するメモリなどのメモリに記憶することができる。ターゲットまでの距離などの他のパラメータは、様々な方法で受信することができる。例えば、ある例では、音響分析システム２００は、プロセッサ２１２と通信する距離測定ツール２０４を含む。距離測定ツールは、距離測定ツール２０４からターゲットシーン内の特定の位置までの距離を表す距離情報を提供するように構成され得る。様々な距離測定ツールは、レーザ距離計又は他の光学的又は音声的距離測定装置などの他の既知の距離測定装置を含むことがある。追加的又は代替的に、距離測定ツールは、ターゲットシーンの各部分が関連するターゲットまでの距離値を有するような３次元深度データを生成するように構成され得る。したがって、ある例では、本明細書で使用されるターゲットまでの距離測定は、ターゲットシーン内の各位置までの距離に対応することができる。そのような３次元深度データは、例えば、ターゲットシーンの異なるビューを有する複数の撮像ツールを介して、又は、他の既知の距離走査ツールを介して生成することができる。一般に、様々な実施形態では、距離測定ツールが使用され、レーザ距離測定、アクティブ音波距離測定、パッシブ超音波距離測定、ＬＩＤＡＲ距離測定、ＲＡＤＡＲ距離測定、ミリ波距離測定などを含むがこれらに限定されない一又はそれ以上の距離測定機能を実行することができる。
距離測定ツール２０４からの距離情報は、バックプロパゲーション計算に使用することができる。その上若しくはそれとは別に、システム２００は、ユーザがターゲットまでの距離パラメータを手動で入力することができるユーザインタフェース２１６を含むことがある。例えば、ユーザは、音響信号を生成することが疑われる構成要素までの距離が既知であるか、又は距離測定ツール２０４で測定することが困難である場合に、システム２００にターゲットまでの距離値を入力し得る。
図示の実施形態では、音響分析システム２００は、ターゲットシーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。ある例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、及び紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、ある実施形態では、電磁撮像ツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された一又はそれ以上のカメラモジュールを含むことができる。
可視光カメラモジュールは一般的によく知られている。例えば、スマートフォンやその他の多くの装置には、様々な可視光カメラモジュールが含まれている。ある実施形態では、可視光カメラモジュール２０６は、ターゲットシーンから可視光エネルギーを受け取り、例えば、ディスプレイ２１４上に可視光画像の形態で表示されるか、及び／又は、メモリに保存されうる可視光エネルギーデータを生成するために、可視光エネルギーを可視光センサに集中するように構成され得る。可視光カメラモジュール２０６は、ここでモジュールに起因する機能を実行するための任意の適切な構成要素を含むことができる。図２の例では、可視光カメラモジュール２０６は、可視光レンズアセンブリ２０８及び可視光センサ２１０を含むものとして示されている。あるそのような実施形態では、可視光レンズアセンブリ２０８は、ターゲットシーンによって放出された可視光エネルギーを受け取り、可視光エネルギーを可視光センサ２１０に集中させる少なくとも１つのレンズを含む。可視光センサ２１０は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランシェフォトダイオードなどの複数の可視光センサ要素を含むことができる。可視光センサ２１０は、変換され、ディスプレイ２１４上に可視光画像として表示され得る電気信号を生成することによって、集中されたエネルギーに応答する。ある例では、可視光モジュール２０６は、ユーザによって構成可能であり、例えば、様々なフォーマットでディスプレイ２１４に出力を提供することができる。可視光カメラモジュール２０６は、照射若しくは他の動作条件の変更又はユーザの好みに対する補償機能を含み得る。可視光カメラモジュールは、画像データを含むデジタル出力を提供することができ、画像データは、様々なフォーマット（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）のデータを含み得る。
ある例示的な可視光カメラモジュール２０６の動作において、ターゲットシーンから受け取られた光エネルギーは、可視光レンズアセンブリ２０８を通過し、可視光センサ２１０に収束され得る。光エネルギーが可視光センサ２１０の可視光センサ要素に衝突すると、光検出器内の光子が放出され、検出電流に変換され得る。プロセッサ２１２は、この検出電流を処理して、ターゲットシーンの可視光画像を形成することができる。
音響分析システム２００の使用中、プロセッサ２１２は、可視光カメラモジュール２０６を制御して、可視光画像を作成するために、取り込まれたターゲットシーンから可視光データを生成することができる。可視光データは、取り込まれたターゲットシーンの異なる部分に関連する色（複数可）及び／又は取り込まれたターゲットシーンの異なる部分に関連する光の大きさを示す光度データを含み得る。プロセッサ２１２は、音響分析システム２００の各可視光センサ要素の応答を一回測定することによって、可視光画像データの「フレーム」を生成することができる。可視光データのフレームを生成することによって、プロセッサ２１２は、所与の時点でのターゲットシーンの可視光画像を取り込む。プロセッサ２１２は、また、音響分析システム２００の各可視光センサ要素の応答を繰り返し測定して、ターゲットシーンの動的可視光画像（例えば、動画表現）を生成し得る。ある例では、可視光カメラモジュール２０６は、可視光カメラモジュール２０６を動作させることができるそれ自体の専用プロセッサ又は他の回路（例えば、ＡＳＩＣ）を含み得る。あるそのような実施形態では、専用プロセッサは、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２１２に提供するためにプロセッサ２１２と通信する。擦れに代わる実施形態では、可視光カメラモジュール２０６用の専用プロセッサをプロセッサ２１２と統合されることがある。
可視光カメラモジュール２０６の各センサ要素がセンサピクセルとして機能することにより、プロセッサ２１２は、各センサ要素の電気的応答を、例えば、ディスプレイ２１４での視覚化及び／又はメモリへの保存のために、処理され得る時間多重化電気信号に変換することによって、ターゲットシーンからの可視光の２次元画像又はピクチャ表現を生成することができる。
プロセッサ２１２は、ディスプレイ２１４を制御して、取り込まれたターゲットシーンの可視光画像の少なくとも一部を表示するようにすることができる。ある例では、プロセッサ２１２はディスプレイ２１４を制御して、可視光カメラモジュール２０６の各センサ要素の電気的応答がディスプレイ２１４上の単一のピクセルに関連付けられる。他の例では、プロセッサ２１２は、可視光画像の解像度を増加又は減少させて、可視光カメラモジュール２０６内のセンサ要素よりも多く又は少ないピクセルがディスプレイ２１４に表示されるようにし得る。プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像全体（例えば、音響分析システム２００によって取り込まれたターゲットシーンのすべての部分）又は可視光画像全体よりも少なく（例えば、音響分析システム２００によって取り込まれたターゲットシーン全体より少ない部分）表示し得る。
ある実施形態では、プロセッサ２１２はディスプレイ２１４を制御して、音響分析システム２００によって取り込まれた可視光画像の少なくとも一部と、音響センサアレイ２０２を介して生成された音響画像の少なくとも一部とを同時に表示させることができる。そのような同時表示は、オペレータが可視光画像に表示された特徴を参照して、音響画像に同時に表示された音響信号の発生源を見るのを助け得るという点で有用であり得る。様々な例において、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を並べて、画像の一方が他方の画像を取り囲むピクチャ・イン・ピクチャ配置で、又は、可視光と音響画像が同時に表示されるその他の適切な配置で表示することがあり得る。
例えば、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を組み合わせた配置で表示することができる。そのような配置では、ターゲットシーンの一部を表す可視光画像内のピクセル又はピクセルのセットについて、ターゲットシーンの実質的に同じ部分を表す、音響画像内の対応するピクセル又はピクセルのセットが存在する。様々な実施形態において、音響画像及び可視光画像のサイズ及び／又は解像度は、同じである必要はない。したがって、音響画像又は可視光画像の一方の単一のピクセルに対応する音響画像又は可視光画像の他方のピクセルのセット、若しくは、異なるサイズのピクセルのセットが存在し得る。同様に、可視光画像又は音響画像の一方に、他方の画像のピクセルのセットに対応するピクセルが存在することがある。したがって、ここに使用されるように、対応関係は、１対１のピクセル関係であることを必要としないが、一致しないサイズのピクセル又はピクセルのグループを含み得る。画像の一方をアップサンプリング若しくはダウンサンプリングする、又は、ピクセルを対応するピクセルのセットの平均値と組み合わせるなど、画像の一致しないサイズの領域の様々な組み合わせ技術が行われ得る。他の例は既知であり、本開示の範囲内である。
したがって、対応するピクセルは直接１対１の関係を持つ必要はない。むしろ、ある実施形態では、単一の音響ピクセルが複数の対応する可視光ピクセルを有するか、又は、単一の可視光ピクセルが複数の対応する音響ピクセルを有する。その上又はそれとは別に、ある実施形態では、すべての可視光ピクセルが対応する音響ピクセルを有するわけではなく、又はその逆も成り立つ。そのような実施形態は、例えば、前述のようなピクチャ・イン・ピクチャタイプのディスプレイを示し得る。したがって、可視光ピクセルは、対応する音響ピクセルがそうであるように、可視光画像内で必ずしも同じピクセル座標を有するとは限らない。したがって、ここで使用される場合、対応するピクセルは、一般に、ターゲットシーンの実質的に同じ部分からの情報を含む任意の画像（例えば、可視光画像、音響画像、結合画像、ディスプレイ画像など）からのピクセルを指す。このようなピクセルは、画像間に１対１の関係を持つ必要はなく、それぞれの画像内で同様の座標位置を持つ必要もない。
同様に、対応するピクセル（すなわち、ターゲットシーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、あるそのような配置では、対応する可視光画像と音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と接して、ディスプレイ２１４に表示される画像の一方又は両方の透明性又は不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と接して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータにディスプレイ２１４を調整して、音響画像のみと可視光画像のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響画像のみの画像、可視光画像のみの画像を表示させることを可能にし得る。プロセッサ２１２は、また、シーン情報を、警報データなどの他のデータと組み合わせることも可能である。一般に、可視光画像と音響画像のアルファブレンドされた組み合わせは、１００％の音響と０％の可視光から０％の音響と１００％の可視光までのどこでも含むことができる。ある実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、ある実施形態では、ブレンドされた画像は、１００％の可視光と１００％の音響との間で調整することができる。
さらに、ある実施形態では、プロセッサ２１２は、ユーザインタフェース２１６、及び／又は出力／制御装置２１８からのコマンドを解釈及び実行することができる。さらに、入力信号が用いられて、プロセッサ２１２で発生する可視光及び／又は音響画像データの処理を変更し得る。
オペレータは、ボタン、キー、又はユーザからの入力を受信するための別の機構を含み得るユーザインタフェース２１６を介して、音響分析システム２００と対話し得る。オペレータは、ディスプレイ２１４を介して音響分析システム２００からの出力を受信し得る。ディスプレイ２１４は、任意の許容可能な調色又は配色で音響画像及び／又は可視光画像を表示するように構成されることがあり、調色は、例えば、ユーザ制御に応答して変化し得る。ある実施形態では、音響画像データは、シーン内の異なる位置からの様々な大きさの音響データを表すために調色に提示され得る。例えば、ある例では、ディスプレイ２１４は、グレースケールなどの単色調色で音響画像を表示するように構成される。他の例では、ディスプレイ２１４は、例えば、琥珀色、アイアンボー（ｉｒｏｎｂｏｗ）、青赤、又は他の高コントラストの配色などのカラーパレットで音響画像を表示するように構成される。グレースケール表示とカラーパレット表示の組み合わせも考えられる。ある例では、そのような情報を表示するように構成されているディスプレイは、そのような画像データを生成及び提示するための処理能力を含み得る。他の例では、そのような情報を表示するように構成されることは、プロセッサ２１２などの他の構成要素から画像データを受信する機能を含み得る。例えば、プロセッサ２１２は、表示される各ピクセルの値（例えば、ＲＧＢ値、グレースケール値、又は他の表示オプション）を生成し得る。ディスプレイ２１４は、そのような情報を受信し、各ピクセルを視覚的表示にマッピングし得る。
プロセッサ２１２は、ディスプレイ２１４を制御して、音響画像の少なくとも一部と可視光画像の少なくとも一部を任意の適切な配置で同時に表示することができるが、ピクチャ・イン・ピクチャ配置は、同じシーンの対応する可視画像を隣接するアライメントで表示することにより、オペレータが容易に音響画像の焦点を合わせ、及び／又は解釈するのを助ける。
電源（図示せず）は、音響分析システム２００の様々な構成要素に動作電力を供給する。様々な例において、電源は、充電式又は非充電式電池及び発電回路、ＡＣ電源、誘導電力ピックアップ、光起電電源、又は任意の他の適切な電源構成を含み得る。充電式電池と、装置を動作させるため、及び／又は充電式電池を充電するための電力を提供するように構成された別の構成要素のような電力供給構成要素の組み合わせも可能である。
音響分析システム２００の動作中、プロセッサ２１２は、メモリに記憶されているプログラム情報に関連する命令の助けを借りて、音響センサアレイ２０２及び可視光カメラモジュール２０６を制御して、ターゲットシーンの可視光画像及び音響画像を生成させる。プロセッサ２１２は、さらに、ディスプレイ２１４を制御して、音響分析システム２００によって生成された可視光画像及び／又は音響画像を表示させる。
前述のように、状況によっては、音響画像内のターゲットシーンの実際の（目に見える）特徴を特定して区別することが難しいことがある。音響画像を可視光情報で補足することに加えて、ある実施形態では、ターゲットシーン内の可視輪郭を強調することが有用であり得る。ある実施形態では、既知の輪郭検出方法が、ターゲットシーンの可視光画像に対して実行することができる。音響画像と可視光画像との間の対応関係のために、ターゲットシーンの可視輪郭を表すと決定された可視光ピクセルは、音響画像の可視輪郭も表す音響ピクセルに対応する。ここで使用される「輪郭（ｅｄｇｅ）」は、物体の物理的境界を指す必要はないが、可視光画像の十分に鋭いグラデーションを指し得ることが理解されよう。例としては、物体の物理的な境界、物体内の色の変化、シーン全体の陰影などを含み得る。
可視光カメラモジュール２０６を含むものとして図２に関して一般的に説明されているが、ある例では、音響分析システム２００の電磁撮像ツール２０３は、様々なスペクトルを表す画像データを生成することができる撮像ツールをその上若しくはそれとは別に含むことができる。例えば、様々な例において、電磁撮像ツール２０３は、赤外線画像データ、可視光画像データ、紫外線画像データ、又は任意の他の有用な波長、若しくはそれらの組み合わせを生成することができる一又はそれ以上のツールを含むことができる。ある実施形態では、音響撮像システムは、赤外線レンズアセンブリと赤外線センサアレイを有する赤外線カメラモジュールを含むことができる。例えば、赤外線カメラモジュールとインタフェースするための追加の構成要素を含めることができ、例えば、２０１５年８月２７日に出願され、「熱視覚化可能に結合された画像とカメラのための輪郭強調（ＥＤＧＥ ＥＮＨＡＮＣＥＭＥＮＴ ＦＯＲ ＴＨＥＲＭＡＬ－ＶＩＳＩＢＬＥ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥＳ ＡＮＤ ＣＡＭＥＲＡＳ）」と題された米国特許出願第１４／８３７，７５７号に記載されているものなどであるが、これは本出願の譲受人に譲受され、参照によりその全体が組み込まれる。
ある例では、２つ以上のデータストリームが、表示のためにブレンドされることがある。例えば、可視光カメラモジュール２０６、音響センサアレイ２０２、及び赤外線カメラモジュール（図２には示されていない）を含む例示的なシステムは、可視光（ＶＬ）画像データ、赤外線（ＩＲ）画像データ、及び音響（Ａｃｏｕｓｔｉｃ）画像データのブレンドを含む出力画像を生成するように構成され得る。例示的なブレンド技術では、ディスプレイ画像は、α × ＩＲ ＋ β × ＶＬ ＋ γ×音響、ただしα＋β＋γ＝１である式によって表すことができる。一般に、任意の数のデータストリームが、表示のために組み合わされる。様々な実施形態において、α、β、及びγなどのブレンド比は、ユーザによって設定することができる。その上若しくはそれとは別に、設定された表示プログラムは、例えば、「レーザポインタを有する可視光及び赤外光結合画像カメラ（ＶＩＳＩＢＬＥ ＬＩＧＨＴ ＡＮＤ ＩＲ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥ ＣＡＭＥＲＡ ＷＩＴＨ Ａ ＬＡＳＥＲ ＰＯＩＮＴＥＲ）」と題された米国特許第７，５３８，３２６号に記載された様な、警報条件（例えば、一又はそれ以上のデータストリーム内の一又はそれ以上の値が所定の閾値を満たす）又は他の条件に基づいて、異なる画像データストリームを含むように構成されることができ、このことは本出願の譲受人に譲受され、参照によりその全体が組み込まれる。
図２に関して説明された音響分析システム２００の一又はそれ以上の構成要素は、携帯型（例えば、手持ち式）音響分析ツールに含めることができる。例えば、ある実施形態では、携帯型音響分析ツールは、音響分析ツール内に構成要素を収容するように構成された筐体２３０を含むことができる。ある例では、システム２００の一又はそれ以上の構成要素は、音響分析ツールの筐体２３０の外部に配置することができる。例えば、ある実施形態では、プロセッサ２１２、ディスプレイ２１４、ユーザインタフェース２１６、及び／又は出力制御装置２１８は、音響分析ツールの筐体の外部に配置することができ、例えば無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ－Ｆｉなど）を介して様々な他のシステム構成要素と通信することができる。音響分析ツールの外部にあるそのような構成要素は、例えば、コンピュータ、スマートフォン、タブレット、ウェアラブル装置などの外部装置を介して提供することができる。その上若しくはそれとは別に、音響分析ツールに関してマスター又はスレーブ装置として機能するように構成された他の試験及び測定又はデータ収集ツールは、音響分析ツールの外部の音響分析システムの様々な構成要素を同様に提供することができる。外部装置は、有線及び／又は無線接続を介して携帯型音響分析ツールと通信でき、様々な処理、表示、及び／又はインタフェースのステップを実行するために使用できる。
ある実施形態では、そのような外部装置は、携帯型音響分析ツールに収容された構成要素として冗長機能を提供することができる。例えば、ある実施形態では、音響分析ツールは、音響画像データを表示するためのディスプレイを含むことができ、さらに、記憶及び／又は表示のために画像データを外部装置に通信するように構成され得る。同様に、ある実施形態では、音響分析ツール自体で実行することもできる一又はそれ以上の機能を実行するために、ユーザは、スマートフォン、タブレット、コンピュータなどで実行されているアプリケーション（「アプリ」）を介して音響分析ツールとインタフェースし得る。
図３Ａは、音響分析システム内の音響センサアレイの例示的な構成の概略図である。図示の例では、音響センサアレイ３０２は、複数の第１の音響センサ（白で示されている）及び複数の第２の音響センサ（陰影付き）を含む。第１の音響センサは、第１のアレイ３２０に配置され、第２の音響センサは、第２のアレイ３２２に配置される。ある例では、第１のアレイ３２０及び第２のアレイ３２２は、選択的に使用されて、音響画像データを生成するための音響信号を受信することができる。例えば、ある構成では、特定の音響周波数に対する特定の音響センサアレイの感度は、音響センサ要素間の距離の関数である。
ある構成では、より近接して間隔を置いたセンサ要素（例えば、第２のアレイ３２２）は、さらに間隔を置いたセンサ要素（例えば、第１のアレイ３２０）よりも高周波音響信号（例えば、２０ｋＨｚ～１００ｋＨｚの超音波信号など、２０ｋＨｚを超える周波数を有する音）をよりよく分解することができる。同様に、より間隔の広いセンサ要素（例えば、第１のアレイ３２０）は、より間隔の狭いセンサ要素（例えば、第２のアレイ３２２）よりも、より低い周波数の音響信号（例えば、２０ｋＨｚ未満）を検出するのにより適し得る。超低周波数（２０Ｈｚ未満）、可聴周波数（約２０Ｈｚ～２０ｋＨｚ）、超音波周波数（２０ｋＨｚ～１００ｋＨｚ）などの様々な周波数範囲の音響信号を検出するために、センサ要素を互いに離して配置した様々な音響センサアレイが提供され得る。ある実施形態では、特定の周波数帯域の検出を最適化するために、部分アレイ（例えば、アレイ３２０以外のすべての音響センサ要素）が使用され得る。
さらに、ある例では、ある音響センサ要素は、低周波数又は高周波数などの異なる周波数特性を有する音響信号を検出するのにより適していることがある。したがって、ある実施形態では、例えば、さらに間隔を置いたセンサ要素を有する第１のアレイ３２０などの低周波数音響信号を検出するために構成されたアレイは、低周波数音響信号を検出するのにより適した第１の音響センサ要素を含み得る。同様に、第２のアレイ３２２などのより高い周波数の音響信号を検出するように構成されたアレイは、高周波音響信号を検出するのにより適した第２の音響センサ要素を含み得る。したがって、ある例では、音響センサ要素の第１のアレイ３２０及び第２のアレイ３２２は、異なるタイプの音響センサ要素を含み得る。あるいは、ある実施形態では、第１のアレイ３２０及び第２のアレイ３２２は、同じタイプの音響センサ要素を含むことができる。
したがって、例示的な実施形態では、音響センサアレイ３０２は、第１のアレイ３２０と第２のアレイ３２２などの複数の音響センサ要素アレイを含むことができる。ある実施形態では、アレイは、個別に又は組み合わせて使用することができる。例えば、ある例では、ユーザは、音響撮像手順を実行するために、第１のアレイ３２０を使用するか、第２のアレイ３２２を使用するか、又は、第１のアレイ３２０と第２のアレイ３２２の両方を同時に使用するかを選択し得る。ある例では、ユーザは、ユーザインタフェースを介してどのアレイ（複数可）を使用するかを選択し得る。その上若しくはそれ以外に、ある実施形態では、音響分析システムは、受信した音響信号の分析、又は、予想される周波数範囲などの他の入力データなどに基づいて、使用するアレイ（複数可）を自動的に選択し得る。図３Ａに示される構成は、概して、長方形の格子状に概ね配置された２つのアレイ（第１のアレイ３２０と第２のアレイ３２２）を含むが、複数の音響センサ要素が、任意の形状の任意の数の個別のアレイにグループ化できることが理解されよう。さらに、ある実施形態では、一又はそれ以上の音響センサ要素を、動作のために選択することができる複数の別個のアレイに含めることができる。本明細書の他の個所で説明するように、様々な実施形態では、シーンからの音響画像データを確立するために音響信号をバックプロパゲーションするプロセスは、音響センサ要素の配置に基づいて実行される。したがって、音響センサの配置は、音響画像生成技術を実行するために、プロセッサによって既知であるか、そうでなければアクセス可能であり得る。
図３Ａの音響分析システムは、音響センサアレイ３０２内に配置された距離測定ツール３０４とカメラモジュール３０６をさらに含んでいる。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表してみいいし、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含んでもよい。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプ若しくは異なるタイプの一又はそれ以上の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４及びカメラモジュール３０６は、第１のアレイ３２０と第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０と第２のアレイ３２２内の格子サイト間に配置されるように示されているが、ある実施形態では、一又はそれ以上の構成要素（例えば、カメラモジュール３０６及び／又は距離測定ツール３０４）は、第１のアレイ３２０及び／又は第２のアレイ３２２内の対応する一又はそれ以上の格子サイトに配置することができる。あるそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
本明細書の他の個所で説明されているように、音響センサアレイは、様々な構成のいずれかに配置された音響センサ要素を含むことができる。図３Ｂ及び３Ｃは、例示的な音響センサアレイ構成を示す概略図である。図３Ｂは、ほぼ正方形の格子内に等間隔に配置された複数の音響センサ要素を含む音響センサアレイ３９０を示している。距離測定ツール３１４及びカメラアレイ３１６は、音響センサアレイ３９０内に配置されている。図示の例では、音響センサアレイ３９０内の音響センサ要素は同じタイプのセンサであるが、ある実施形態では、異なるタイプの音響センサ要素をアレイ３９０内で使用することができる。
図３Ｃは、複数の音響センサアレイを示している。音響センサアレイ３９２、３９４、及び３９６は、それぞれ、異なる形状のアレイに配置された複数の音響センサ要素を含んでいる。図３Ｃの例では、音響センサアレイ３９２、３９４、及び３９６を別々に又は一緒に任意の組み合わせで使用して、様々なサイズのセンサアレイを作成することができる。図示の実施形態では、アレイ３９６のセンサ要素は、アレイ３９２のセンサ要素よりも互いに接近して配置されている。ある例では、アレイ３９６は、高周波音響データを感知するように設計されており、アレイ３９２は、低周波数音響データを感知するように設計されている。
様々な実施形態では、アレイ３９２、３９４、及び３９６は、同じ又は異なるタイプの音響センサ要素を含むことができる。例えば、音響センサアレイ３９２は、音響センサアレイ３９６のセンサ要素の周波数動作範囲よりも低い周波数動作範囲を有するセンサ要素を含むことができる。
本明細書の他の個所で説明するように、ある例では、異なる音響センサアレイ（例えば、３９２、３９４、３９６）は、様々な動作モード（例えば、撮像される異なる所望の周波数スペクトル）中に選択的にターンオフ及びターンオンにすることができる。その上若しくはそれとは別に、様々な音響センサ要素（例えば、一又はそれ以上のセンサアレイ内の音響センサ要素の一部又はすべて）は、所望のシステム動作に従って有効化又は無効化されることが可能である。例えば、ある音響撮像プロセスでは、多数のセンサ要素（例えば、センサアレイ３９６内のように高密度に配置されたセンサ要素）からのデータは、音響画像データの解像度をわずかに改善するが、各センサ要素で受信したデータから音響画像データを抽出するには必要な処理の費用がかかる。すなわち、ある例では、（例えば、多数の音響センサ要素からの）多数の入力信号を処理するために必要な増加した処理負担（例えば、コスト、処理時間、電力消費などにおいて）は、追加のデータストリームによって提供される任意の追加の信号解像度と否定的に比較される。したがって、ある実施形態では、所望の音響撮像動作に応じて、一又はそれ以上の音響センサ要素からのデータを無効化又は無視することに価値があることがある。
図３Ａ及び３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、及び３９６内に配置された距離測定ツール３１４及びカメラアレイ３１６を含んでいる。ある例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を撮像するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、及び３９６内に同様に配置され得る。図３Ａ～図３Ｃには、一又はそれ以上の音響センサアレイ内に配置されるように示されているが、距離測定ツール及び／又は一又はそれ以上の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。あるそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツール及び／又は一又はそれ以上の撮像ツールは、音響撮像ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、又は音響撮像ツールの筐体の外部に配置できる。
ある例では、音響センサアレイと、カメラモジュールなどの撮像ツールの一般的な不整合は、音響センサアレイ及び撮像ツールによって生成された対応する画像データの重ね合わせ不良につながることがある。図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。一般に、視差エラーは垂直、水平、又はその両方であることがある。図示の実施形態では、音響センサアレイ４２０と、可視光カメラモジュール４０６を含む撮像ツールである。可視光画像フレーム４４０は、可視光カメラモジュール４０６の視野４４１に従って取り込まれて示され、一方、音響画像フレーム４５０は、音響センサアレイ４２０の視野４５１に従って取り込まれているように示されている。
示されるように、可視光画像フレーム４４０と音響撮像フレーム４５０は、互いに整列されていない。ある実施形態では、プロセッサ（例えば、図２のプロセッサ２１２）は、可視光画像データと音響画像データを整列させるために、可視光画像フレーム４４０と音響画像フレーム４５０の一方又は両方を操作するように構成される。そのような操作は、一方の画像フレームを他方に対してシフトすることを含み得る。画像フレームが互いに対してシフトされる量は、例えば、可視光カメラモジュール４０６及び／又は音響センサアレイ４２０からのターゲットまでの距離を含む、様々な要因に基づいて決定することができる。そのような距離データは、例えば、距離測定ツール４０４を使用して、又は 、ユーザインタフェース（例えば、２１６）を介して距離値を受信することによって決定することができる。
図４Ｂは、図４Ａのものと同様の概略図であるが、シーンの可視光画像を含んでいる。図４Ｂの例では、可視光画像４４２は、複数の電力線及び支持タワーのシーンを示している。音響画像４５２は、複数の位置４５４、４５６、４５８を含み、そのような位置はそこから来る高マグニチュード音響データを示している。図示されるように、可視光画像４４２と音響画像４５２は両方とも同時に表示される。しかしながら、両方の画像の観察は、可視光画像４４２の特定の構造と一致していないように見える位置４５８で少なくとも１つの音響画像極大値を示している。したがって、両方の画像を観察する人は、音響画像４５２と可視光画像４４２との間に重ね合わせ不良（例えば、視差エラー）があると結論付けることができる。
図５Ａ及び５Ｂは、可視光画像と音響画像との間の視差補正を示す。図５Ａは、図４Ｂと同様に、可視光画像５４２及び音響画像５５２を示す。音響画像５５２は、位置５５４、５５６、及び５５８における極大値を含む。見て分かるように、位置５５４と５５８での最大値は、可視光画像のいずれの構造とも一致していないように見える。図５Ｂの例では、可視光画像５４２と音響画像５５２は、互いに関して重ね合わされている。音響画像の位置５５４、５５６、及び５５８の極大値は、可視光画像５４２内の様々な位置と一致するように見える。
使用中、オペレータは、図５Ｂの表現を（例えば、ディスプレイ２１４を介して）見て、受信した音響信号の発生源である可能性が高い可視シーン５４２内のおおよその位置を決定し得る。このような信号は、シーン内の様々な構成要素の音響シグネチャに関する情報を決定するために、さらに処理することができる。様々な実施形態において、周波数コンテンツ、周期性、振幅などの音響パラメータは、音響画像内の様々な位置に関して分析することができる。そのようなパラメータを様々なシステム構成要素に関連付けることができるように可視光データにオーバレイする場合、音響画像データが使用されて、可視光画像内の物体の様々な特性（例えば、性能特性）を分析し得る。
図５Ｃ及び図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。図５Ａ及び図５Ｂに示され、図５Ｃ及び図５Ｄの着色された表現でより容易に見られるように、位置５５４、５５６、及び５５８は、色の円形グラデーションを示す。本明細書の他の個所で説明するように、音響画像データは調色技術に従って視覚的に表すことができ、音響画像データの各ピクセルは、対応する位置での音響強度に基づいて着色される。したがって、図５Ａ～図５Ｄの例示的な表現では、位置５５４、５５６、５５８の円形グラデーションは、一般に、バックプロパゲーションされた受信音響信号に基づく撮像平面における音響強度のグラデーションを表している。
図４Ａ、図４Ｂ、図５Ａ～図５Ｄの例示的な図は、音響画像データ及び可視光画像データに関して説明されているが、そのようなプロセスは、様々な電磁画像データを用いて同様に実行できることが理解されよう。例えば、本明細書の他の個所で説明するように、様々な実施形態において、様々なそのようなプロセスは、音響画像データと、一又はそれ以上の可視光画像データ、赤外線画像データ、紫外線画像データなどとの組み合わせを使用して実行することができる。
本明細書の他の個所で説明するように、ある実施形態では、音響画像を形成するための音響信号のバックプロパゲーションは、ターゲットまでの距離値に基づくことができる。すなわち、ある例では、バックプロパゲーション計算は、距離に基づくことができ、音響センサアレイからその距離に位置する２次元音響シーンを決定することを含むことができる。２次元撮像平面が与えられると、平面内の発生源から発する球形の音波は、一般に、断面が円形に見え、図５Ａ～図５Ｂに示されるように、強度が半径方向に減衰する。
あるそのような例では、バックプロパゲーション計算で使用されるターゲットまでの距離に位置しないデータを表す音響シーンの部分は、シーンにおける一又はそれ以上の音の位置の不正確さなど、音響画像データにエラーをもたらす。このようなエラーは、音響画像が他の画像データ（例えば、可視光、赤外線、又は紫外線画像データなどの電磁画像データ）と同時に表示される場合（例えば、ブレンドされる、組み合わされるなどした場合）、音響画像データとその他の画像データとの間の視差エラーにつながることがある。したがって、ある実施形態では、（例えば、図５Ａ及び図５Ｂに示されるように）視差エラーを補正するためのある技術は、音響画像データを生成するためのバックプロパゲーション計算で使用されるターゲットまでの距離値を調整することを含む。
ある場合、システムは、第１のターゲットまでの距離値を使用してバックプロパゲーションプロセスを実行し、音響画像データと別のデータストリームが整列されない可能性がある図５Ａに示されるようなディスプレイ画像を表示するように構成されることがある。その後、音響分析システムは、バックプロパゲーションに使用されるターゲットまでの距離値を調整し、バックプロパゲーションを再度実行し、新しい音響画像データでディスプレイ画像を更新することができる。このプロセスは繰り返すことができ、ユーザがディスプレイ上で結果として得られるディスプレイ画像を観察しながら、音響分析システムが複数のターゲットまでの距離値を通じて反復する。ターゲットまでの距離値が変化するにつれて、ユーザは、図５Ａに示されるディスプレイ画像から図５Ｂに示されるディスプレイ画像への漸進的な遷移を観察し得る。あるそのような場合、ユーザは、音響画像データが電磁画像データなどの別のデータストリームに適切に重ね合わされたように見えるときを視覚的に観察し得る。ユーザは、音響画像データが適切に重ね合わされたように見えることを音響分析システムに通知して、最新のバックプロパゲーションを実行するために使用されたターゲットまでの距離値がほぼ正しいことをシステムに示すことがあり、その距離の値をターゲットまでの正しい距離としてメモリに保存し得る。同様に、ユーザは、音響画像データが適切に重ね合わされていることを確認するまで、更新されたバックプロパゲーションプロセスで新しい距離値を使用してディスプレイ画像が更新されるときに、ユーザはターゲットまでの距離値を手動で調整し得る。ユーザは、音響分析システムにおけるターゲットまでの現在の距離を、ターゲットまでの現在の距離として保存することを選択し得る。
ある例では、視差エラーを修正することは、他の画像データ（例えば、電磁画像データ）に対する音響画像データの位置を、ターゲットまでの距離データに基づいて所定の量及び所定の方向に調整することを含み得る。ある実施形態では、そのような調整は、音響信号を特定されたターゲットまでの距離にバックプロパゲーションすることによる音響画像データの生成とは無関係である。
ある実施形態では、音響画像データを生成し、音響画像データと他の画像データとの間の視差エラーを低減するために使用されることに加えて、ターゲットまでの距離値が他の決定のためにもちられることがある。例えば、ある例では、プロセッサ（例えば、２１２）は、参照により組み込まれる米国特許第７，５３８，３２６号に記載されているように、赤外線画像などの画像に焦点を合わせるか、又は、焦点を合わせる際にユーザを支援するために、ターゲットまでの距離値を使用することができる。そこに記載されているように、これは、可視光画像データと赤外線画像データとの間の視差エラーを補正するために同様に使用することができる。したがって、ある例では、距離値を使用して、音響画像データを、赤外線画像データや可視光画像データなどの電磁画像データに重ね合わせることができる。
本明細書の他の個所で説明するように、ある例では、距離測定ツール（例えば、２０４）は、音響画像データを生成及び重ね合わせるためにプロセッサ（例えば、２１２）によって使用できる距離情報を提供するように構成される。ある実施形態では、距離測定ツールは、距離が測定される位置でターゲットシーンに光を放出するように構成されたレーザ距離計を備える。あるそのような例では、レーザ距離計は可視スペクトル内の光を放出することができるため、ユーザは物理的シーンのレーザスポットを見て、距離計がシーンの所望の部分までの距離を測定していることを確認できる。その上若しくはそれとは別に、レーザ距離計は、一又はそれ以上の撮像構成要素（例えば、カメラモジュール）が高感度であるスペクトル内の光を放出するように構成される。したがって、分析ツールを介して（例えば、ディスプレイ２１４を介して）ターゲットシーンを見ているユーザは、シーン内のレーザスポットを観察して、レーザがターゲットシーン内の正しい位置までの距離を測定していることを確認し得る。ある例では、プロセッサ（例えば、２１２）は、現在の距離値に基づいて（例えば、レーザ距離計と音響センサアレイと間の既知の距離ベースの視差関係に基づいて）、レーザスポットが音響シーン内に配置される位置を表すディスプレイ画像内に参照マークを生成するように構成され得る。参照マークの位置は、（例えば、ディスプレイ上にグラフィカルに、及び／又はターゲットシーン内で物理的に）実際のレーザマークの位置と比較でき、参照マークとレーザが一致するまでシーンを調整できる。そのようなプロセスは、参照により組み込まれる米国特許第７，５３８，３２６号に記載されている赤外線重ね合わせ及び焦点技術と同様に実行することができる。
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。この方法は、音響センサアレイを介して音響信号を受信する工程（６８０）と、距離情報を受信する工程（６８２）を含んでいる。距離情報は、例えば、手動入力を介して、又は、観察された重ね合わせに基づいて距離が決定される距離調整プロセスの結果としてなど、距離測定装置及び／又はユーザインタフェースを介して受信することができる。
この方法は、受信した音響信号をバックプロパゲーションして、音響シーンを表す音響画像データを決定することをさらに含む（６８４）。本明細書の他の個所で説明するように、バックプロパゲーションは、受信した距離情報と組み合わせて、音響センサアレイ内の複数のセンサ要素で受信した複数の音響信号を分析して、受信音響信号の発生源パターンを決定することを含むことができる。
図６の方法は、電磁画像データを取り込む工程（６８６）と、音響画像データに電磁画像データを重ね合わせる工程（６８８）をさらに含む。ある実施形態では、音響画像データに電磁画像データを重ねわせることは、音響画像データを生成するためのバックプロパゲーションステップの一部として行われる（６８４）。他の例では、音響画像データに電磁画像データを重ね合わせることは、音響画像データの生成とは別個に行われる。
図６の方法は、ディスプレイ画像を生成するために、音響画像データを電磁画像データと組み合わせる工程（６９０）を含む。本明細書の他の個所で説明するように、電磁画像データと音響画像データとを組み合わせることは、電磁画像データと音響画像データとをアルファブレンドすることを含み得る。画像データを組み合わせることは、ピクチャ・イン・ピクチャモードのような、一方の画像データセットを他方の画像データセットにオーバレイすること、若しくは、特定の条件（警報条件など）が満たされる位置に画像データセットをオーバレイすることを含んでいる。ディスプレイ画像は、例えば、音響センサアレイを支持する筐体によって支持されるディスプレイを介して、及び／又は、外部装置（例えば、スマートフォン、タブレット、コンピュータなど）のディスプレイなどの、センサアレイとは別個のディスプレイを介して、ユーザに提示され得る。
その上若しくはそれとは別に、ディスプレイ画像は、将来見るためにローカル（例えば、オンボード）メモリ及び／又はリモートメモリに保存することができる。ある実施形態では、保存されたディスプレイ画像は、ブレンド比、バックプロパゲーション距離、若しくは画像を生成するために使用される他のパラメータなどのディスプレイ画像特性の将来の調整を可能にするメタデータを含むことができる。ある例では、生の音響信号データ及び／又は電磁画像データは、その後の処理又は分析のためにディスプレイ画像と共に保存することができる。
音響画像データと電磁画像データとを組み合わせて最終画像を生成する方法として示されているが、音響画像データを、可視光画像データ、赤外線画像データ、紫外線画像データなどの電磁スペクトルの任意の部分にまたがる画像データの一又はそれ以上のセットと組み合わせるために図６の方法が使用され得ることが理解されよう。あるそのような例では、可視光画像データ及び赤外線画像データなどの画像データの複数のセットを両方とも音響画像データと組み合わせて、図６に関して説明したのと同様の方法を介してディスプレイ画像を生成することができる。
ある例では、センサアレイを介して音響信号を受信する（６８０）ことは、音響信号を受信するための音響センサアレイを選択するステップを含むことができる。例えば、図３Ａ～図Ｃに関して説明したように、音響分析システムは、変化していく周波数の音響信号を分析するのに適し得る複数の音響センサアレイを含むことができる。その上若しくはそれとは別に、ある例では、異なる音響センサアレイは、異なる距離から伝搬する音響信号を分析するのに有用であり得る。ある実施形態では、異なるアレイを互いに入れ子にすることができる。その上若しくはそれとは別に、部分アレイを選択的に使用して、音響画像信号を受信することができる。
例えば、図３Ａは、第１のアレイ３２０と、第１のアレイ内に入れ子にされた第２のアレイ３２２を示す。例示的な実施形態では、第１のアレイ３２０は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように（例えば、間隔を置いて）構成されたセンサアレイを含むことができる。第２のアレイ３２２は、例えば、第２の周波数範囲の周波数の音響画像データを生成するために、単独で、若しくは、第１のアレイ３２０の全部又は一部と組み合わせて使用されるように構成された第２のセンサアレイを含むことができる。
同様に、図３Ｃは、第１のアレイ３９２、第１のアレイ３９２内に少なくとも部分的に入れ子にされた第２のアレイ３９４、並びに第１のアレイ３９２及び第２のアレイ３９４内に少なくとも部分的に入れ子にされた第３のアレイ３９６を示す。ある実施形態では、第１のアレイ３９２は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように構成され得る。第２のアレイ３９４は、音響信号を受信し、第２の周波数範囲の周波数の音響画像データを生成するために、第１のアレイ３９２の全部又は一部と共に使用することができる。第３のアレイ３９６は、音響信号を受信し、第３の周波数範囲の周波数の音響画像データを生成するために、単独で、第２のアレイ３９４の全部又は一部と共に、及び／又は第１のアレイ３９２の全部又は一部と共に使用することができる。
ある実施形態では、入れ子にされたアレイ構成において、１つのアレイからの音響センサ要素は、例えば、一般に、第１のアレイ３９２の要素の間にある第３のアレイ３９６の要素のように、音響センサ要素の間に配置されることがある。あるそのような例では、入れ子にされたアレイ（例えば、第３のアレイ３９６）内の音響センサ要素は、それが入れ子にされているアレイ（例えば、第１のアレイ３９２）内の音響センサ要素と同じ平面、前、若しくは後ろに配置され得る。
様々な実装において、より高い周波数の音響信号を感知するために使用されるアレイは、一般に、個々のセンサ間のより短い距離を必要とする。したがって、図３Ｃに関して、例えば、第３のアレイ３９６は、高周波音響信号を含む音響撮像プロセスを実行するのにより適していることがある。他のセンサアレイ（例えば、第１のアレイ３９２）は、より低い周波数信号を含む音響撮像プロセスを実行するのに十分であることがあり、アレイ３９６と比較した場合、より少ない音響センサ要素からの信号を処理する計算要求を低減するために使用され得る。したがって、ある例では、高周波センサアレイは、低周波センサアレイ内に入れ子にされ得る。本明細書の他の個所で説明されているように、そのようなアレイは、一般に、個別に（例えば、アクティブなアレイ間の切り替えを介して）又は、一緒に作動し得る。
分析のために予想される／望ましい周波数スペクトルに基づいて適切なセンサアレイを選択することに加えて、又は、その代わりに、ある例では、異なるセンサアレイが、ターゲットシーンまでの異なる距離で音響撮像プロセスを実行するのにより適していることがある。例えば、ある実施形態では、音響センサアレイとターゲットシーンとの間の距離が小さい場合、音響センサアレイ内の外側のセンサ要素は、より中央に配置されたセンサ要素よりも著しく少ない有用な音響情報をターゲットシーンから受信することがある。
他方、音響センサアレイとターゲットシーンとの間の距離が大きい場合、近接して配置された音響センサ要素は、単独では有用な情報を提供しないことがある。すなわち、第１及び第２の音響センサ要素が互いに接近しており、ターゲットシーンが一般に遠くにある場合、第２の音響センサ要素は、第１の音響センサ要素と有意に異なる情報を提供しないことがある。したがって、そのような第１及び第２のセンサ要素からのデータストリームは冗長であり、分析のために処理時間及びリソースを不必要に消費することがある。
本明細書の他の個所で説明するように、どのセンサアレイが音響撮像を実行するのに最も適しているかに影響を与えることに加えて、ターゲットまでの距離は、受信した音響信号から音響画像データを決定するためのバックプロパゲーションを実行する際にも使用できる。ただし、バックプロパゲーションアルゴリズムへの入力値であることに加えて、ターゲットまでの距離は、使用する適切なバックプロパゲーションアルゴリズムを選択するのに、使用し得る。例えば、ある例では、遠距離では、球形に伝搬する音波は、音響センサアレイのサイズと比較して実質的に平面であるように近似され得る。したがって、ある実施形態では、ターゲットまでの距離が大きい場合、受信した音響信号のバックプロパゲーションは、音響ビームフォーミング計算を含むことができる。ただし、音波の発生源に近い場合、音波の平面近似は適切でないことがある。したがって、近接場音響ホログラフィなど、種々のバックプロパゲーションアルゴリズムを使用し得る。
説明したように、ターゲットまでの距離メトリックは、アクティブなセンサアレイ（複数可）の決定、バックプロパゲーションアルゴリズムの決定、バックプロパゲーションアルゴリズムの実行、及び／又は、得られた音響画像を電磁画像データ（例えば、可視光、赤外線など）に重ね合わせることなど、音響撮像プロセスで様々な方法で使用できる。図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
図７のプロセスは、例えば、距離測定装置から距離情報を受信すること（７８０）、若しくは、ユーザインタフェースを介してなど、入力された距離情報を受信することを含む。この方法は、受信した距離情報に基づいて音響撮像を実行するための一又はそれ以上の音響センサアレイ（複数可）を選択する工程（７８２）をさらに含む。説明したように、様々な例において、選択されたアレイは、単一のアレイ、複数のアレイの組み合わせ、あるいは一又はそれ以上のアレイの一部を含むことができる。
図７の方法は、受信した距離情報に基づいて音響撮像を実行するための処理技術を選択する工程（７８４）をさらに含む。ある例では、処理技術の選択は、音響信号から音響画像データを生成するためのバックプロパゲーションアルゴリズムの選択を含むことができる。
音響撮像を実行するために、音響センサアレイを選択し（７８２）、そして、処理技術を選択した（７８４）後で、方法は、選択された音響センサアレイを介して音響信号を受信する工程（７８６）を含む。次に、受信した音響信号は、距離と選択された処理技術を使用してバックプロパゲーションされ、音響画像データを決定する（７８８）。
様々な実施形態では、図７の各工程は、ユーザ、音響分析システム（例えば、プロセッサ２１２を介して）、又はそれらの組み合わせによって実行することができる。例えば、ある実施形態では、プロセッサは、距離測定ツール及び／又はユーザ入力を介して距離情報を受信する（７８０）ように構成され得る。ある例では、例えば、物体までの距離が、既知であるか、及び／又は、距離測定ツールを介して分析することが困難である場合（例えば、小さい物体サイズ及び／又はターゲットまでの長い距離など）、ユーザは、距離情報として使用するために測定距離を上書きする値を入力することができる。プロセッサは、例えば、ルックアップテーブル又は他のデータベースを使用して、受信した距離情報に基づいて音響撮像を実行するために適切な音響センサアレイを自動的に選択するようにさらに構成され得る。ある実施形態では、音響センサアレイを選択することは、所望の音響センサアレイを利用するために、一又はそれ以上の音響センサ要素を有効化及び／又は無効化することを含む。
同様に、ある例では、プロセッサは、受信した距離情報に基づいて音響撮像を実行するための処理技術（例えば、バックプロパゲーションアルゴリズム）を自動的に選択するように構成され得る。あるそのような例では、これは、メモリに記憶された複数の既知の処理技術から１つを選択することを含むことができる。その上若しくはそれとは別に、処理技術を選択することは、所望の処理技術に到達するために単一のアルゴリズムの一部を調整することになり得る。例えば、ある実施形態では、単一のバックプロパゲーションアルゴリズムは、（例えば、距離情報に基づいて）複数の項及び変数を含み得る。あるそのような例では、処理技術（７８４）を選択することは、一又はそれ以上の項の係数を調整する（例えば、様々な係数をゼロ又は１に設定するなど）など、単一のアルゴリズムにおいて一又はそれ以上の値を定義することを含み得る。
したがって、ある実施形態では、音響撮像システムは、受信した距離データに基づいて、選択された音響センサアレイ及び／又は処理技術（例えば、バックプロパゲーションアルゴリズム）を提案及び／又は自動的に実装することによって、音響撮像プロセスのいくつかの工程を自動化することができる。これにより、音響撮像プロセスを高速化、改善、及び簡素化することができ、音響撮像プロセスを実行するための音響撮像の専門家が必要でなくなる。したがって、様々な例において、音響撮像システムは、そのようなパラメータを自動的に実装し、そのようなパラメータが実装されようとしていることをユーザに通知し、そのようなパラメータを実装する許可をユーザに求め、ユーザによる手動入力のためにそのようなパラメータを提案することができる。
そのようなパラメータ（例えば、処理技術、センサアレイ）の自動選択及び／又は提案は、他の形態の画像データ、処理速度、及び音響画像データの分析に関して音響画像データの位置限定を最適化するのに有用であり得る。例えば、本明細書の他の個所で説明されるように、正確なバックプロパゲーション決定（例えば、適切なアルゴリズム及び／又は正確な距離メトリックを使用すること）は、音響画像データと他の（例えば、可視光、赤外線などの電磁）画像データとの間の視差エラーを低減することができる。さらに、音響分析システムによって自動的に選択又は提案され得るような適切なアルゴリズム及び／又はセンサアレイを利用することは、熱画像データの精度を最適化して、受信した音響データの分析を可能にし得る。
説明したように、ある例では、音響分析システムは、受信した距離情報に基づいて音響撮像プロセスを実行するためのアルゴリズム及び／又はセンサアレイを自動的に選択するように構成され得る。あるそのような実施形態では、システムは、例えばメモリに記憶された、音響画像データを決定するための、複数のバックプロパゲーションアルゴリズム及び音響センサアレイのどれを使用するか決定するためのルックアップテーブルを含む。図８は、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを決定するための例示的なルックアップテーブルを示す。
図示の例では、図８のルックアップテーブルは、それぞれが異なるアレイのアレイ１、アレイ２、…、アレイＮを表すＮ個の列を含む。様々な例において、各アレイは、配置された音響センサ要素の固有のセットを含む。異なるアレイは、格子に配置されたセンサ要素を含み得る（例えば、図３Ｃのアレイ３９２及びアレイ３９６）。ルックアップテーブル内のアレイは、一又はそれ以上のそのような格子からのセンサ要素の組み合わせを含めることもできる。一般に、ある実施形態では、アレイ１、アレイ２、…、アレイＮのそれぞれは、音響センサ要素の一意の組み合わせに対応する。そのような組み合わせのいくつかは、特定の格子に配置されたセンサ要素のセット全体を含むことができるか、若しくは、特定の格子に配置されたセンサ要素のサブセットを含むことができる。音響センサ要素の様々な組み合わせのいずれも、ルックアップテーブル内のセンサアレイとして使用するための可能な選択肢である。
図８のルックアップテーブルはＭ行をさらに含み、それぞれは異なるアルゴリズムのアルゴリズム１、アルゴリズム２、…、アルゴリズムＭを表す。ある例では、異なるアルゴリズムは、受信した音響信号のバックプロパゲーション分析を実行するための異なるプロセスを含み得る。本明細書の他の個所で説明するように、ある例では、ある異なるアルゴリズムは、バックプロパゲーション結果を修正するための異なる係数及び／又は項を有しながら、互いに類似し得る。
図８の例示的なルックアップテーブルは、Ｍ×Ｎエントリを含む。ある実施形態では、そのようなルックアップテーブルを利用する音響分析システムは、受信した距離情報を分析し、距離情報をＭ×Ｎビンの１つに分類するように構成され、各ビンは、図８のルックアップテーブルのエントリに対応する。このような例では、音響分析システムが距離情報を受信すると、システムは、距離情報が存在するビンに対応するルックアップテーブルでエントリ（ｉ、ｊ）を見つけ、音響撮像プロセスの間に使用する適切なアルゴリズム及びセンサアレイを決定できる。例えば、受信した距離情報がエントリ（ｉ、ｊ）に関連付けられたビンに対応する場合、音響分析システムは、音響撮像プロセスのためにアルゴリズムｉとアレイｊの使用を自動的に利用又は提案できる。
様々なそのような例において、距離情報ビンは、均一なサイズの距離範囲に対応することができ、例えば、第１のビンは１フィート以内の距離に対応し、第２のビンは１～２フィートの距離に対応するなどである。他の例では、ビンは均一なサイズの距離スパンに対応する必要はない。さらに、ある実施形態では、Ｍ×Ｎ未満のビンを使用することができる。例えば、ある実施形態では、特定のアレイ（例えば、アレイｙ）とともにこれまで使用されたことのないアルゴリズム（例えば、アルゴリズムｘ）が存在し得る。したがって、このような例では、Ｍ×Ｎルックアップテーブルのエントリ（ｘ、ｙ）に対応する、対応距離情報ビンはない。
ある実施形態では、ポピュレートされた距離ビンに関する統計分析が使用されて、ターゲットシーン内で最も普通の距離又は距離範囲を特定することができる。あるそのような実施形態では、最大数の対応する位置（例えば、音響信号に関して最大数の位置）を有する距離ビンが、図７のプロセスにおける距離情報として使用されることがある。すなわち、ある実施形態では、利用された音響センサアレイ及び／又は処理技術は、ターゲットシーン内の様々な物体の距離分布の統計分析に基づいて実装及び／又は推奨され得る。これは、シーンの音響撮像に使用されるセンサアレイ及び／又は処理技術が、音響シーン内の最大数の位置に適切である蓋然性を高めることを可能にする。
その上若しくはそれとは別に、距離情報以外のパラメータは、音響画像データの生成に使用する適切なセンサアレイ及び／又は処理技術を選択するために使用され得る。本明細書の他の個所で説明されているように、様々なセンサアレイは、特定の周波数及び／又は周波数帯域に好感度であるように構成され得る。ある例では、同様の異なるバックプロパゲーション計算が、異なる音響信号周波数コンテンツに従って使用され得る。したがって、ある例では、一又はそれ以上のパラメータが、処理技術及び／又は音響センサアレイを決定するために使用されることがある。
ある実施形態では、音響分析システムは、受信した音響信号処理／分析の様々なパラメータを最初に分析するために使用されることがある。図７に戻って参照すると、音響画像データを生成するための方法は、音響信号を受信した（７８６）後、受信信号の周波数コンテンツを分析する工程（７９０）を含むことができる。あるそのような例では、音響センサアレイ（複数可）及び／又は処理技術が選択されている場合（例えば、それぞれ工程７８２及び／又は７８４を介して）、方法は、分析された周波数コンテンツに基づいて、選択されたアレイ（複数可）を更新する、及び／又は、選択された処理技術を更新する工程（７９２）を含むことができる。
センサアレイ（複数可）及び／又は処理技術を更新した後、方法は更新されたパラメータを使用して様々なアクションを実行できる。例えば、選択されたセンサアレイが、分析された周波数コンテンツ（７９０）に基づいて更新された場合（７９２）、新しい音響信号は、（新たに）選択された音響センサアレイ（７８６）から受信することができ、その後、音響画像データを決定するためにバックプロパゲーションされることができる（７８８）。あるいは、処理技術が７９２で更新される場合、既に捕捉された音響信号は、更新された処理技術に従ってバックプロパゲーションされて、更新された音響画像データを決定することができる。処理技術とセンサアレイの両方が更新された場合、新しい音響信号は、更新されたセンサアレイを使用して受信されることができ、更新された処理技術に従ってバックプロパゲーションされることができる。
ある実施形態では、音響分析システムは、受信した音響信号の周波数コンテンツを分析すること（７９０）なく、周波数情報を受信すること（７７８）ができる。例えば、ある例では、音響分析システムは、将来の音響分析のために、所望の又は予想される周波数範囲に関する情報を受信することができる。あるそのような例では、所望の又は予想される周波数情報が、該周波数情報に最も適合する一又はそれ以上のセンサアレイ及び／又は処理技術を選択するために使用されることがある。あるそのような例では、音響センサアレイ（複数可）を選択する工程（７８２）及び／又は処理技術を選択する工程（７８４）は、受信した距離情報に加えて、又はその代わりに、受信周波数情報に基づくことがある。
ある例では、受信した音響信号（例えば、音響センサ要素を介して受信した）は、例えば、音響分析システムのプロセッサ（例えば、２１０）を介して分析され得る。このような分析は、周波数、強度、周期性、見かけの近接度（例えば、受信した音響信号に基づいて推定される距離）、測定された近接度、若しくは、それらの任意の組み合わせなど、音響信号の一又はそれ以上の特性を決定するために使用されることがある。ある例では、音響画像データは、例えば、特定の周波数コンテンツ、周期性などを有する音響信号を表す音響画像データのみを表示するために、フィルタ処理されることがある。ある例では、そのようなフィルタをいくつでも同時に適用することができる。
本明細書の他の個所で説明するように、ある実施形態では、音響ビデオデータと同様に、音響画像データの一連のフレームが経時的に取り込むことがある。その上若しくはそれとは別に、音響画像データが繰り返し生成されない場合でも、ある例では、音響信号が繰り返しサンプリングされ、分析される。したがって、繰り返される音響画像データ生成（例えば、ビデオ）の有無にかかわらず、周波数などの音響データのパラメータが経時的に監視され得る。
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。図示されるように、図９Ａのプロットによって表される音響シーンは、一般に、周波数１、周波数２、周波数３、及び周波数４としてラベル付けされた、経時的な４つの持続周波数を含む。ターゲットシーンの周波数コンテンツなどの周波数データは、例えば、高速フーリエ変換（ＦＦＴ）又は他の既知の周波数分析方法を使用して、受信した音響信号を処理することによって、決定され得る。
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。図示の画像では、音響画像データが可視光画像データと組み合わされて、位置９１０、９２０、９３０、及び９４０に存在する音響信号を示している。ある実施形態では、音響分析システムは、任意の検出された周波数範囲の音響画像データを表示するように構成されている。例えば、例示的な実施形態では、位置９１０は、周波数１を含む音響画像データを含み、位置９２０は、周波数２を含む音響画像データを含み、位置９３０は、周波数３を含む音響画像データを含み、位置９４０は、周波数４を含む音響画像データを含む。
あるそのような例では、音響画像データの代表的な周波数範囲を表示することは、選択可能な動作モードである。同様に、ある実施形態では、音響分析システムは、所定の周波数帯域内の周波数のみを表す音響画像データを表示するように構成される。あるそのような例では、所定の周波数範囲を表す音響画像データを表示することは、そこから音響画像データを生成するための音響信号を受信するための一又はそれ以上の音響センサアレイを選択することを含む。このようなアレイは、選択的な周波数範囲を受信するように構成され得る。同様に、ある例では、一又はそれ以上のフィルタが、音響画像データを生成するために使用される周波数コンテンツを制限するために、使用されることがある。その上若しくはそれとは別に、ある実施形態では、広範囲の周波数を表す情報を含む音響画像データが分析され、音響画像データが所定の条件（例えば、所定の周波数範囲内にある）を満たす場合にのみ、ディスプレイに表示することができる。
図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響及び可視光画像データを示している。第１の画像は、周波数１の周波数コンテンツを含む第１の位置９１０での音響画像データを含んでいる。第２の画像は、周波数２の周波数コンテンツを含む第２の位置９２０での音響画像データを含んでいる。第３の画像は、周波数３の周波数コンテンツを含む第３の位置９３０での音響画像データを含んでいる。第４の画像は、周波数４の周波数コンテンツを含む第４の位置９４０での音響画像データを含んでいる。
例示的な実施形態では、ユーザは、選択された周波数範囲以外の周波数コンテンツを表す音響画像データをフィルタ処理するために、周波数１、周波数２、周波数３、又は周波数４を含む範囲などの様々な周波数範囲を選択することができる。したがって、そのような例では、第１、第２、第３、又は第４の画像のいずれかが、ユーザによって選択された所望の周波数範囲の結果として表示され得る。
その上若しくはそれとは別に、ある例では、音響分析システムは、それぞれが異なる周波数コンテンツを有する複数のディスプレイ画像間を循環表示し得る。例えば、図９Ｃに関して、例示的な実施形態では、音響分析システムは、図９Ｃの矢印によって示されるような、第１、第２、第３、及び第４の画像を表示することができる。
ある例では、ディスプレイ画像は、画像に表示されている周波数コンテンツを表すテキスト又は他の表示を含むことができ、ユーザは、画像内のどの位置が特定の周波数コンテンツを表す音響画像データを含むかを観察できる。例えば、図９Ｃに関して、各画像は、音響画像データで表される周波数のテキスト表現を示し得る。図９Ｂに関して、複数の周波数範囲を示す画像は、音響画像データを含む各位置での周波数コンテンツの表示を含み得る。あるそのような例では、ユーザは、例えば、ユーザインタフェースを介して画像内の位置を選択することができ、その位置に存在する周波数コンテンツを音響シーンで見ることがある。例えば、ユーザは、第１の位置９１０を選択することがあり、音響分析システムは、第１の位置の周波数コンテンツ（例えば、周波数１）を提示し得る。したがって、様々な例において、シーン内のどこが特定の周波数コンテンツに対応するかを見ることによって、及び／又は、様々な位置にどの周波数コンテンツが存在するかを見ることによってなど、ユーザは音響シーンの周波数コンテンツを分析するために音響分析システムを使用することができる。
例示的な音響撮像操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景若しくは他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。あるそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ～図５Ｄに示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ～１４ｋＨｚ）を選択し得る。
ある例では、音響分析システムは、受信した音響信号の強度に関連する情報を分析及び／又は提示するために、使用されることがある。例えば、ある実施形態では、受信した音響信号をバックプロパゲーションすることは、音響シーン内の複数の位置での音響強度値を決定することを含むことができる。ある例では、上記の周波数と同様に、音響信号の強度が一又はそれ以上の所定の要件を満たす場合にのみ、音響画像データがディスプレイ画像に含まれる。
様々なそのような実施形態では、ディスプレイ画像は、所定の閾値（例えば、１５ｄＢ）を超える音響信号、所定の閾値（例えば、１００ｄＢ）を下回る音響信号、又は所定の強度範囲内の音響信号（例えば、１５ｄＢ～４０ｄＢ）を表す音響画像データを含むことができる。ある実施形態では、閾値は、平均音響強度からの標準偏差より上か、又は、下など、音響シーンの統計分析に基づくことができる。
周波数情報に関して上記と同様に、ある実施形態では、一又はそれ以上の強度要件を満たす音響信号を表すように音響画像データを制限することは、所定の条件を満たす受信信号のみが音響画像データを生成するために使用されるように、受信した音響信号をフィルタ処理することを含むことができる。他の例では、音響画像データは、どの音響画像データが表示されるかを調整するためにフィルタ処理される。
その上若しくはそれとは別に、ある実施形態では、（例えば、ビデオ音響画像表現と組み合わせて、又は、必ずしもディスプレイ画像を更新することなく背景分析を介して）、音響シーン内の位置での音響強度が経時的に監視され得る。あるそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量又は率を含み得る。
図１０Ａ及び１０Ｂは、組み合わされた可視光画像データ及び音響画像データを含む例示的なディスプレイ画像である。図１０Ａは、複数の位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０で示される音響画像データを含むディスプレイ画像を示している。ある例では、強度値は調色されることができ、例えば、音響強度値は、所定の調色技術に基づいて色を割り当てられる。例示的な実施形態では、強度値は、強度範囲（例えば、１０ｄＢ～２０ｄＢ、２０ｄＢ～３０ｄＢなど）に従って分類され得る。各強度範囲は、調色技術に従って特定の色に関連付けられ得る。音響画像データは、複数のピクセルを含むことができ、各ピクセルは、音響画像データのピクセルによって表される強度が入る強度範囲に関連する色で着色される。色によって区別されることに加えて、又はその代わりに、異なる強度は、（例えば、音響画像データが他の画像データにオーバレイされる画像オーバレイにおいて）透明度などの他の特性に従って区別することができる。
音響強度の変化率など、別のパラメータも調色されることがある。強度と同様に、音響強度の変化率の変化は、音響強度変化の異なる率及び／又は量を示すシーンの部分が異なる色で表示されるように、調色することができる。
図示の例では、音響画像データは、強度パレットに従って調色され、その結果、異なる音響信号強度を表す音響画像データは、異なる色及び／又は陰影で示される。例えば、位置１０１０及び１０３０での音響画像データは、第１の強度の調色された表現を示し、位置１０４０、１０６０、及び１０８０は、第２の強度の調色された表現を示し、位置１０２０、１０５０、１０７０、及び１０９０は、第３の強度の調色された表現を示している。図１０Ａの例示的な表現に示されるように、音響画像データの調色された表現を示す各位置は、中心から外側に延びる色のグラデーションを有する円形パターンを示している。これは、信号が音響信号の発生源から伝播するときの音響強度の減衰が原因であることがある。
図１０Ａの例では、音響画像データは、可視光画像データと組み合わされて、ディスプレイ画像を生成し、これは、例えば、ディスプレイを介してユーザに提示され得る。ユーザは、可視シーン内のどの位置が音響信号を生成しているか、並びに、そのような信号の強度を見るために、図１０Ａのディスプレイ画像を見ることができる。したがって、ユーザは、どの位置が音を発しているのかを迅速かつ容易に観察し、シーン内の様々な位置から来る音の強度を比較し得る。
本明細書の他の個所で周波数に関して説明したのと同様に、ある実施形態では、音響画像データは、対応する音響信号が所定の強度条件を満たす場合にのみ提示され得る。図１０Ｂは、図１０Ａのディスプレイ画像と同様に例示的なディスプレイ画像を示し、可視光画像データ及び所定の閾値を超える音響信号を表す音響画像を含む。図示されるように、音響画像データを含む図１０Ａの位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうち、位置１０２０、１０５０、１０７０、及び１０９０のみが、所定の条件を満たす音響信号を表す音響画像データを含んでいる。
例示的なシナリオでは、図１０Ａは、位置１０１０～１０９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内（例えば、図１０Ａ及び１０Ｂのターゲットシーン内）のどの音源が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのを役立たせることを可能にする。
本明細書の他の位置で説明されるように、強度閾値（例えば、４０ｄＢ）と直接比較されることに加えて、又はその代わりに、あるそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量又は率を含むことがある。あるそのような例では、音響画像データは、所与の位置での音響強度の変化率又は変化量が所定の条件を満たす場合（例えば、閾値よりも大きい、閾値よりも小さい、所定の範囲内など）にのみ提示され得る。ある実施形態では、音響強度の変化の量又は率は、強度音響画像データとして、又は、強度音響画像データと組み合わせて、調色して表示することができる。例えば、例示的な実施形態では、変化率が、音響画像データを含む位置を決定するための閾値として使用される場合、音響画像データは、表示のための調色された強度変化率メトリックを含むことができる。
ある例では、ユーザは、表示される音響画像データの強度要件（例えば、最小値、最大値、範囲、変化率、変化量など）を手動で設定し得る。ここの他の場所で論じられるように、この強度要件を満たすのみ音響画像データを含むことは、音響画像データ生成中に（例えば、受信した音響信号をフィルタ処理することによって）達成することができ、及び／又は、設定された要件（複数可）を満たさない音響信号を表す生成された音響画像データを表示しないことによって実行できる。あるそのような例では、強度値に従ってディスプレイ画像をフィルタ処理することは、音響画像データ及び可視光画像データが取り込まれ、メモリに記憶された後に実行され得る。すなわち、メモリに記憶されたデータは、例えば、事前定義された強度条件を満たす音響画像データのみを表示するなど、任意の数のフィルタ処理パラメータを含むディスプレイ画像を生成するために使用することができる。
ある例では、音響画像の強度の下限を設定すること（例えば、所定の強度を超える音響信号を表す音響画像データのみを表示すること）は、音響画像データから望ましくないバックグラウンド又は周囲の音及び／又は音の反射を含むことを排除することができる。他の例では、音響画像の強度の上限を設定すること（例えば、所定の強度未満の音響信号を表す音響画像データのみを表示すること）は、大きな音で通常隠されている音響信号を観察するために、音響画像データに予想されるそのような大きな音を含めることを排除することができる。
いくつかの表示機能が可能である。例えば、図９Ｃに関して説明した周波数分析／表示と同様に、ある例では、音響分析システムは、それぞれが異なる強度要件を満たす音響画像データを示す複数のディスプレイ画像を循環表示することができる。同様に、ある例では、ユーザは、所与の範囲の音響強度を有する音響画像データ内の位置を見るために、一連の音響強度範囲をスクロールし得る。
音響データの分析に使用できるもう１つのパラメータは、音響信号の周期性値である。図１１Ａ及び１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。図１１Ａのプロットに示されるように、音響データは、第１の周期性を有する周波数Ｘの信号、第２の周期性を有する周波数Ｙの信号、及び第３の周期性を有する周波数Ｚの信号を含む。図示の例では、異なる周波数を有する音響信号は、また、音響信号に異なる周期性を含むこともある。
あるそのような例では、音響信号は、周波数コンテンツに加えて、又はその代わりに周期性に基づいてフィルタ処理することができる。例えば、ある例では、音響シーン内の音響信号の複数の発生源が、特定の周波数で音響信号を生成することがある。ユーザが音響撮像のためにそのような音源の１つを分離したい場合、ユーザは、音響データに関連する周期性に基づいて、音響画像データを最終ディスプレイ画像に含めるか除外するかを選択し得る。
図１１Ｂは、音響信号の周波数対時間のプロットを示す。図示されているように、周波数は時間と共にほぼ直線的に増加する。ただし、図示されているように、信号には時間の経過と共にほぼ一定の周期性が含まれる。したがって、そのような信号は、選択された表示パラメータに応じて、音響画像に現れるか、若しくは現れないことがある。例えば、信号は、ある時点で表示される周波数基準を満たしているが、他の時点では、表示される周波数範囲外にあることがある。しかしながら、ユーザは、周波数コンテンツに関係なく、信号の周期性に基づいて、そのような信号を含めるか、又は、音響画像データから除外するかを選択することができる。
ある例では、特定の周期性の音響信号を抽出することは、ターゲットシーンの特定の部分（例えば、通常特定の周期性で動作する特定の装置又は装置のタイプ）を分析するのに役立ち得る。例えば、目標のある物体が特定の周期性（例えば、１秒に１回）で動作する場合、これとは異なる周期性を持つ信号を除外することは、目標の物体の音響分析を改善できる。例えば、図１１Ｂを参照すると、目標のある物体が周期性４で動作する場合、分析のために周期性４を有する信号を分離することは、目標のある物体の改善された分析を生じさせることがある。例えば、目標のある物体は、周期性４を有するが、図１１Ｂに示されるように周波数が増加する音を発し得る。これは、物体の特性が変化している（例えば、トルクや負荷の増加など）可能性があることを意味していることがあり、点検する必要がある。
例示的な音響撮像プロセスでは、（例えば、産業環境でのフロアノイズ、屋外環境での風などの）バックグラウンドノイズは一般に周期的ではないが、シーン内の目標のある特定の物体は周期的な音響信号を放出する（例えば、一定の間隔で動作する機械）。したがって、ユーザは、バックグラウンド信号を除去し、目標の音響データをより明確に提示するために、音響画像から非周期的な音響信号を除外することを選択し得る。他の例では、ユーザは、一定のトーンの発生源を見つけようとすることがあり、したがって、一定のトーンの表示を不明瞭にすることがある音響画像データから周期信号を除外することを選択し得る。一般に、ユーザは、特定の周期性より上、特定の周期性より下、若しくは周期性の所望の範囲内にある音響信号を音響画像データに含めることを選択し得る。様々な例において、周期性は、周期的信号間の時間の長さ、若しくは周期的信号の発生頻度のいずれかによって特定され得る。図１１Ｂに示される周波数と同様に、所与の周期性での強度の分析（例えば、その周期性で動作する目標のある物体による）が、物体からの音響信号が時間と共にどのように変化するかを追跡するために、使用されることがある。一般に、ある実施形態では、周期性は、周波数、強度などの様々なパラメータの変化率分析を実行するために、使用され得る。
本明細書の他の個所で説明するように、ある例では、ターゲットシーンの様々な部分は、音響撮像センサからの異なる距離に関連付けられることができる。例えば、ある実施形態では、距離情報は、シーン内の様々な部分に関する３次元の深さ情報を含むことができる。その上若しくはそれとは別に、ユーザは、シーン内の複数の位置に関連付けられた距離値を（例えば、レーザ距離ツールで）測定するか、若しくは手動で入力することができることがある。ある例では、シーンの様々な部分のそのような異なる距離値は、そのような位置でのバックプロパゲーション計算を調整して、その位置での特定の距離値に対応するために、使用され得る。
その上若しくはそれとは別に、シーンの異なる部分が異なる距離値に関連付けられている場合、音響センサアレイからの近接度（例えば、測定された近接度及び／又は見かけの近接度）は、そのような部分間の別の区別可能なパラメータであり得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、及び１０９０は、それぞれ、異なる距離値に関連付けられている。ある例では、ここの他の場所で説明されている周波数又は周期性と同様に、ユーザは、音響画像データをディスプレイに含める特定の距離範囲を選択することができる。例えば、ユーザは、所定の距離よりも近い、所定の距離より遠い、若しくは所定の距離範囲内の音響信号を表す音響画像データのみを表示するように選択し得る。
さらに、ある実施形態では、図９Ｃの周波数に関して説明したのと同様に、音響分析システムは、複数の距離範囲を循環表示して、現在の距離範囲を満たすターゲットシーン内の位置から放出された音響信号を表す音響画像データのみを示すように構成することがある。様々な表示のそのような循環表示は、異なる音響信号間の情報をユーザが視覚的に区別することに役立たせることができる。例えば、場合によっては、関連する電磁撮像ツール（例えば、可視光カメラモジュール）からの視線から物体が互いに接近しているように見えることがあり、したがって、そのような物体の電磁画像データと組み合わされた音響画像データは、区別するのが難しい。しかし、物体が深度差によって分離されている場合は、音響画像データの異なる深度範囲の循環表示は、音響データの各発生源を他の発生源から分離するために使用されることができる。
一般に、音響分析システムは、一又はそれ以上の事前定義されたパラメータを満たす音響信号を表す音響画像データを含める及び／又は除外するために、様々な設定を適用するように構成され得る。ある例では、音響分析システムは、音響信号が、例えば、ディスプレイ画像内で表示されていることを示す音響画像データのために、該音響信号によって満たされねばならない複数の条件を選択するために使用され得る。
例えば、図１０Ａ及び１０Ｂに関して、図１０Ａのシーンにおける閾値強度を超える音響信号のみが図１０Ｂに示されている。ただし、追加若しくは代替の制限が可能である。例えば、ある実施形態では、ユーザは、音響画像データをさらにフィルタ処理して、音響画像データが、所定の周波数範囲内の周波数コンテンツを有する、及び／又は、所定の周期性を有する音響信号についてのみ示されるようにし得る。例示的な実施形態では、所定の周波数及び／又は目標の周期性に限定して、音響画像データは、１０２０及び１０９０などの追加の位置から排除され得る。
一般に、ユーザは、強度、周波数、周期性、見かけの近接度、測定された近接度、音圧、粒子速度、粒子変位、音響出力、音エネルギー、音エネルギー密度、音響曝露量、ピッチ、振幅、輝度、倍音、そのようなパラメータの変化率などのパラメータを含む、音響画像データを含めるか、又は、ディスプレイ画像から除外するために任意の数の音響データ要件を適用できる。さらに、ある実施形態では、ユーザは、ＡＮＤ、ＯＲ、ＸＯＲなどの任意の適切な論理的組み合わせを使用して要件を組み合わせ得る。例えば、ユーザは、（所定の閾値を超える強度）ＡＮＤ（所定の範囲内の周波数）を有する音響信号のみを表示したいことがある。
その上若しくはそれとは別に、音響分析システムは、図９Ｃの複数の周波数の循環表示に関して示されるように、ターゲットシーンの異なる部分を示すために一又はそれ以上のパラメータ範囲を循環表示するように構成され得る。一般に、一又はそれ以上のパラメータは、このような方法で循環表示され得る。例えば、パラメータ（例えば強度）は、複数の範囲（例えば、１０ｄＢ～２０ｄＢと２０ｄＢ～３０ｄＢ）に分割され、音響分析システムはそのような範囲を循環表示でき、第１の範囲にあるすべての音響画像データを表示し、次に第２の範囲にあるすべての音響画像データを表示する。
同様に、ある実施形態では、音響分析システムは、入れ子にされた範囲を循環表示することによってパラメータ要件を組み合わせるように構成され得る。例えば、例示的な実施形態では、第１の強度範囲ＡＮＤ第１の周波数範囲を満たす音響画像データが、表示され得る。表示される音響画像データを第１の強度範囲を満たす音響信号に制限しながら、表示される周波数範囲は循環表示され得る。周波数範囲を循環表示した後、強度範囲を第２の強度範囲に更新して、表示された音響画像データが第２の強度範囲及び第１の周波数範囲を満たすようにすることができる。第１の強度範囲を組み込むプロセスと同様に、周波数範囲は、第２の強度範囲を維持しながら同様に循環表示され得る。このプロセスは、周波数範囲と強度範囲のすべての組み合わせが満たされるまで続けることができる。同様のそのようなプロセスは、複数のパラメータのいずれかに対して実行することができる。
その上若しくはそれとは別に、ある実施形態では、音響分析システムは、音響シーン内の複数の音を特定及び区別するように構成され得る。例えば、図９Ｂに関して、音響分析システムは、位置９１０、９２０、９３０、及び９４０で４つの個別の音を特定するように構成され得る。システムは、それぞれが必ずしもパラメータ値に依存する必要はないが、図９Ｃに示されるのと同様に、単一の個別の位置で音響画像データを示している複数の表示を循環するように構成することができる。同様に、個々の位置での音響画像データ間のそのような循環表示は、一又はそれ以上のパラメータ要件が表示された音響画像データを制限した後に実行することができる。
例えば、図１０Ａ及び１０Ｂに関して、強度閾値が適用される前に、音響分析システムは、各シーンが単一の位置にある音響画像データを含んでいる（例えば、可視光画像データを伴う音響画像シーンを含むディスプレイ画像としての）複数の音響画像シーンを循環表示してもよい。ある実施形態では、図１０Ａの図示の例によれば、１０個の別個の画像の循環表示であり、各画像は、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうちの異なる１つでの画像データを含んでいる。しかしながら、ある実施形態によれば、閾値を超える強度を有する位置のみが表示されるように強度フィルタが適用された後（例えば、図１０Ｂのように）、音響分析システムは、フィルタ処理の閾値を満たす位置に対応する画像のみを循環表示するように循環表示プロセスを更新し得る。すなわち、図１０Ｂに関して、循環表示プロセスは、それぞれが位置１０２０、１０５０、１０７０、及び１０９０でそれぞれ個別の音響画像データを示す４つの画像間でのみ循環表示するように更新されることがある。
したがって、様々な実施形態では、どの音響画像データが表示されるかを制限するために一又はそれ以上のフィルタを適用する前又はその後のいずれかで、音響画像データを含むターゲットシーン内の各位置が、複数の循環表示ディスプレイ画像のうちの１つに示される。個々の音響発生源位置のそのような循環表示は、特定の音響発生源を特定する際に画像を見るユーザを支援することができる。ある実施形態では、循環内の各画像は、音響データの単一の発生源のみを含み、あるそのような実施形態では、周波数コンテンツ、強度、周期性、見かけの近接度などの音響データの一又はそれ以上のパラメータをさらに含む。
特定の条件を満たす音響画像データを示す画像間の循環表示に加えて、又はその代わりに、ある例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、ある実施形態では、位置１０１０～１０９０のそれぞれから発生する音響信号を表す音響画像データは、特定され、循環表示され得る。例えば、例示的な動作プロセスでは、位置１０１０～１０９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的に又はユーザの指示で、循環表示され得る。様々な実施形態において、循環表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
その上若しくはそれとは別に、ある例では、個々の位置からの音響画像データは、一又はそれ以上のフィルタを適用して一又はそれ以上の所定の条件を満たす音響画像データのみを分離した後に循環表示され得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、及び１０９０は、所定の強度要件を満たす音響信号を表す音響画像データを含むものとして示されている。ある実施形態では、そのような表示要件は、音響信号の発生源位置の個々の循環表示に適用することができる。例えば、図１０Ｂをさらに参照すると、音響強度条件を満たす位置１０２０、１０５０、１０７０、及び１０９０のうちの１つのみからの画像データを含むディスプレイ画像は、各位置での個々の分析のために循環表示されることができる。
図１０Ａ及び１０Ｂを参照する例示的なプロセスでは、シーンから収集された音響画像データは、一般に、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０で図１０Ａに示され得る。そのような位置は、様々な強度、周波数コンテンツ、周期性などのような様々な音響パラメータを有する音響信号を表す音響画像データを含むことがある。
本明細書の他の個所で説明するように、ユーザは、最小の音響強度を有する音響信号などの、一又はそれ以上の特定の音響パラメータを有する音響信号を分離することを望むことがある。そのような条件を満たさない音響信号を表す音響画像データは、画像から除外することができ、例えば、図１０Ｂに示されるような、位置１０２０、１０５０、１０７０、及び１０９０の音響画像データを捨てることができる。しかしながら、ユーザは、表示条件（例えば、閾値を超える強度を有する）を満たす特定の音の発生源をさらに特定したいことがある。したがって、ユーザは、各音の発生源の位置を見て、個々に分析するために、位置１０２０、１０５０、１０７０、及び１０９０に関連付けられた音響画像データを１つずつ表示することを選択し得る。様々な実施形態では、ユーザが、そのような位置を手動で循環表示することを選択することがあるか、若しくは、プロセッサが、ディスプレイ画像を自動的に更新して個々の位置の音響画像データを順次表示するようにすることがある。これは、目標とはしないが、画像に適用される１つ以上のフィルタ処理パラメータを偶然満たす音響信号をユーザがさらに排除して無視するのに役立つことがある。
強度並びに図１０Ａ及び１０Ｂに関して説明されているが、一般に、複数の位置から選択された単一の位置からの音響画像データを含むディスプレイ画像は、個々の分析のために１つずつ循環表示することができる。典型的な音響画像データが含まれる複数の位置は、音響シーン内の音響信号の発生源に対応する位置のセット全体であるか、又は、例えば、一又はそれ以上の条件を満たす音響信号を有する位置のみを含むそのような位置のサブセットであり得る。そのような条件は、強度、周波数コンテンツ、周期性、近接度などの任意の一又はそれ以上の音響パラメータに依存することがあり、所定の値未満、所定の値を超える、若しくは、所定の値の範囲内にある様々なパラメータに基づいて満たされることがある。
様々な例において、ディスプレイ画像に音響画像データを選択的に含めるようにディスプレイ画像を修正することは、様々な方法で行うことができる。ある実施形態では、（例えば、電磁画像データ及び音響画像データを含む）ディスプレイ画像は、リアルタイム画像であることができ、この場合、電磁画像データ及び音響画像データは、シーンの変化を反映するように継続的に更新される。ある例では、音響画像データがディスプレイ画像に含まれるかどうかを決定するために特定の条件が使用される場合、受信した音響信号が分析されて、更新されたリアルタイム画像の様々な位置で音響画像データを含んでいるか否かを判定する。すなわち、新たに受信した音響信号及び電磁放射に基づいて新しいディスプレイ画像が生成されるとき、ディスプレイ画像の構築は、どの音響信号がディスプレイ画像に認められた特定の条件（例えば、強度閾値など）を満たすかを決定するための音響信号の分析に依存することができる。ディスプレイ画像は、そして、そのような条件に従って適切な場合にのみ、音響画像データを含んで生成され得る。
他の例では、ディスプレイ画像は、以前に取り込まれた音響データ及び電磁画像データなどの、メモリに記憶されたデータから生成され得る。あるそのような例では、以前に取得された音響データが、音響画像データに認められる様々な条件に関して分析され、以前に取り込まれた音響データがそのような条件を満たす位置で電磁画像データと組み合わされる。そのような実施形態では、単一のシーンは、例えば、異なる音響パラメータを分析することによって、多くの方法で見ることができる。以前に取り込まれた音響画像データを表すディスプレイ画像は、ディスプレイ画像の様々な位置に音響画像データを含めるかどうかについて、ディスプレイ画像に認められた更新された条件に基づいて更新することができる。
ある実施形態では、音響画像データをディスプレイ画像に選択的に含めるために使用される一又はそれ以上の音響パラメータが使用されて、ディスプレイ画像及び／又は画像取り込み技術を変更し得る。例えば、リアルタイム撮像例では、音響画像データを表示に含めるかどうかを決定するための様々な条件は、ターゲットまでの距離（例えば、見かけの距離若しくは測定された距離）及び／又は周波数コンテンツを含み得る。本明細書の他の個所で説明するように、あるそのようなパラメータは、音響センサアレイ及び／又は音響画像データを生成するための処理技術を選択する際に使用することができる。したがって、あるそのような例では、音響画像データが一又はそれ以上の所定の条件を満たすそのようなパラメータに基づいてのみ表される場合、音響センサアレイ及び／又は音響画像データを生成するための処理技術は、そのような条件に基づいて選択され得る。
例えば、例示的な実施形態では、音響画像データが、対応する音響信号が第１の周波数範囲内の周波数コンテンツを含む位置のリアルタイム画像にのみ含まれるべきである場合、第１の周波数範囲に最適な音響信号を取得するために、一又はそれ以上の音響センサアレイが選択され得る。同様に、音響画像データが、音響信号の発生源が第１の距離範囲内にある位置でリアルタイム画像にのみ含まれるべきである場合、第１の距離範囲での音響撮像用に最適な音響信号を取得するために、一又はそれ以上の音響センサアレイが選択され得る。その上若しくはそれとは別に、例えば、図６に関して説明したように、音響画像データを生成するための処理技術は、所望の周波数又は距離条件に基づいて選択することができる。そのような選択された音響撮像センサアレイ及び処理技術は、その後、音響信号を受信し、含まれる音響画像データを最適化するために、更新されたリアルタイムディスプレイ画像の音響画像データを生成するために使用され得る。
同様に、ディスプレイ画像が以前にメモリに記憶された履歴データから生成されるある実施形態では、ディスプレイ画像に音響画像データを含める位置を決定する様々な条件が、音響シーンを表す音響画像データを更新するために用いられ得る。例えば、ある実施形態では、メモリに記憶されたデータは、音響信号が受信されたときから音響センサアレイによって受信された生の音響データを含む。音響画像データがディスプレイ画像の様々な位置に含まれるかどうかを決定するための条件（例えば、所望の距離及び／又は周波数範囲）に基づいて、表示する所望のパラメータに最適化された音響画像データを生成するために、メモリに記憶された生データと共に使用するために処理技術（例えば、バックプロパゲーションアルゴリズム）が選択されることがある。
可視光画像データ及び音響画像データを使用して一般的に説明及び示されているけれども、図９Ａ～図９Ｃ、図１０Ａ及び図１０Ｂに関して説明されたプロセスは、様々な電磁画像データのいずれかを含めて使用されうることが理解されよう。例えば、様々な実施形態において、同様のプロセスは、可視光画像データの代わりに、赤外線画像データ若しくは紫外線画像データを用いて実行され得る。その上若しくはそれとは別に、電磁スペクトルの組み合わせは、混合された赤外線画像データと可視光画像データなどのそのようなプロセスで使用することができる。一般に、様々な例において、音響画像データは、電磁画像データの任意の組み合わせと組み合わせて、選択的に示される（例えば、対応する音響信号が一又はそれ以上の所定のパラメータを満たすときに含まれる）ことがある。
ある実施形態では、音響分析システムは、一又はそれ以上の音響信号及び／又は音響画像データを、例えば、ローカルメモリ内の、及び／又は、外部又はリモート装置からアクセス可能なデータベースに記憶するように構成される。そのような音響信号は、通常の動作中の音響シーンを表す音響画像データ、及び／又は、周波数データ、強度データ、周期性データなどの音響シーンに関連する他のパラメータを含むことができる。様々な例において、データベースシーンは、広いシーン（例えば、工場）及び／又はより具体的なシーン（例えば、特定の物体）を表す音響画像データ及び／又は他の音響パラメータ（例えば、強度、周波数、周期性など）を含むことができる。
ある実施形態では、データベースシーンは、特定のモデルの装置など、特定のタイプの装置に一般的（ｇｅｎｅｒｉｃ）であり得る。その上若しくはそれとは別に、データベースシーンは、異なる物体が同じ物体の異なる例（例えば、同じモデルである２つの別個のマシーン）である場合でも、個々の物体に対しては特有（ｓｐｅｃｉｆｉｃ）であり得る。同様に、データベースシーンは、例えば、物体の特定の動作状態を含めると、より特有８ｓｐｅｉｆｉｃ）となりうる。例えば、特定の物体が複数の操作モードを有する場合、データベースは、そのような物体の複数のシーンを、動作モードごとに１つずつ含めることができる。
様々な実施形態では、データベースシーンは、単一の音響画像及び／又は関連する音響パラメータであり得る。他の例では、データベースシーンは、以前に取り込まれた複数の音響画像及び／又は関連するパラメータから形成された複合データを含むことができる。一般に、データベースシーン（例えば、音響画像及び／又はパラメータ）は、通常の動作中のシーンの音響表現を含むことができる。ある例では、データベースは、例えば、対応する可視光画像、赤外線画像、紫外線画像、又はそれらの組み合わせなど、シーンに関連する他の要素を含むことができる。ある実施形態では、データベースの生成及び／又は比較は、本出願の譲受人に譲受され、その全体が参照により本明細書に組み込まれる２０１６年６月２３日に出願され、「熱異常検出（ＴＨＥＲＭＡＬ ＡＮＯＭＡＬＹ ＤＥＴＥＣＴＩＯＮ）」と題された米国特許出願第１５／１９０，７９２号に記載されている赤外線画像データのデータベース生成及び比較と同様に実行することができる。ある実施形態では、データベースは、シーン内の物体が正しく動作している間に、シーンの音響画像データ及び／又は一又はそれ以上の関連する音響パラメータ（例えば、周波数、強度、周期性など）を取り込むことによって生成することができる。あるそのような例では、ユーザは、取り込まれたデータベース画像にタグを付けて、画像を一又はそれ以上の物体、位置、シーンなどに関連付けることがあり、その結果、取り込まれた音響画像及び／又は関連するパラメータ（複数可）が、将来データベース分析及び比較において特定され得る。
新しく生成された音響画像データは、データベースに記憶されている音響画像データと比較され、音響シーンの音響プロファイルが典型的な動作基準内にあるかどうかを判定できる。その上若しくはそれとは別に、ライブ音響シーン及び／又は新しく生成された音響画像からの強度、周波数、周期性などの音響パラメータが、データベース内の同様のパラメータと比較されることがある。
現在の音響画像データをデータベースに記憶された音響画像履歴データ（例えば、以前に取り込まれた画像、複数の以前に取り込まれた画像から生成された合成画像、工場提供の予想される画像など）と比較することは、複数の方法で実行できる。図１２Ａ～図１２Ｃは、音響画像データをデータベースに記憶された音響画像履歴データと比較するための複数の例示的な方法を示している。図１２Ａは、音響視野１２１２を有する音響センサアレイ１２０２と、電磁視野１２１４を有する電磁撮像ツール１２０４とを含む音響撮像ツール１２００を示している。図示されるように、電磁視野１２１４及び音響視野１２１２は、目標物体１２２２を含むターゲットシーン１２２０を含む。ある実施形態では、音響撮像ツール１２００は、目標物体１２２２が電磁視野１２１４及び音響視野１２１２内にあるような位置に恒久的に固定されている。ある実施形態では、音響撮像ツール１２００は、誘導電力又は寄生電力を介して電力を供給され得るか、建物内のＡＣ主電力に配線され得るか、若しくは、物体１２２２を継続的に監視するように構成され得る。
固定された音響撮像ツール１２００は、物体１２２２の音響及び／又は電磁画像データを周期的に取り込むように構成され得る。音響撮像ツール１２００がほぼ決まった位置に固定されているため、異なる時間に取り込まれた画像は、ほぼ同じ地点からのものである。ある例では、音響撮像ツール１２００を介して取り込まれた音響画像データは、例えば、音響シーンの異常を検出するために、ほぼ同じシーンを表す音響画像データのデータベースと比較され得る。これは、例えば、参照により組み込まれる米国特許出願第１５／１９０，７９２号に記載されているように実施され得る。
図１２Ｂは、例えば、手持ち式音響撮像ツール上の例示的なディスプレイを示す。ディスプレイ１２３０は、２つのセクション、１２３２と１２３４を含む。図示の例では、セクション１２３４は、目標物体のデータベース画像１２４４を示し、一方セクション１２３２は、物体のリアルタイム音響画像データのライブ画像１２４２を含む。そのような並列表示では、ユーザは、（例えば、データベース画像１２４４に示される）典型的な音響信号と現在のリアルタイム画像１２４２との間の差異を見るために、ライブ画像１２４２をデータベース画像１２４４と比較することができる。同様に、ユーザは、ライブ画像１２４２がデータベース画像１２４４とほぼ一致するかどうかを比較することができる。そうである場合、ユーザは、データベース画像１２４４とのさらなる分析及び／又は比較のために、ライブ音響画像を取り込むことができる。
図１２Ｃは、例えば、手持ち式音響撮像ツール上の別の例示的なディスプレイを示す。図１２Ｃのディスプレイ１２５０は、同じディスプレイ１２５２上のデータベース画像１２５４とライブ画像１２５６を示す。図１２Ｃの例では、ユーザは、差異を示すために、ライブ画像１２５６内の音響画像データをデータベース画像１２５４内の音響画像データと同様に比較することができる。さらに、ユーザは、さらなる分析と比較のために、ライブ画像１２５６内の物体をデータベース画像１２５４内の物体と整列するために、音響撮像ツールのアライメントを調整し得る。
図１２Ａ～図１２Ｃのプロセスの結果として、ライブ及び／又は最近取り込まれた音響画像は、データベースなどからの以前の音響画像データと比較されることがある。ある例では、そのようなプロセスは、自動比較のために、ライブ及び／又は最近取り込まれた音響画像をデータベース画像と重ね合わせするために用いられる。データベース画像と同様の地点から音響画像データを「再取り込み」するために使用できる他のプロセスは、２０１１年１２月２０日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３１，６３３号、２０１１年１２月２０日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３１，６４４号、並びに、２０１１年１２月２３日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３６，６０７号に記載されているが、それぞれは本出願の譲受人に譲受されており、その全体が参照により組み込まれている。
リアルタイムの音響画像データ及び／又は音響シグネチャを、比較可能なシーン／物体の対応する音響画像及び／又は音響シグネチャと比較することが、シーン／物体の動作状態の迅速かつ単純化された分析を提供するために使用されることがある。例えば、比較は、音響シーン内の特定の位置が、典型的な動作中とは異なる強度又は周波数スペクトルを有する音響信号を放出していることを示すことがあり、これは、問題を示していることがある。同様に、シーン内の位置は、典型的には無音の音響信号を放出していることがある。その上若しくはそれとは別に、ライブシーンとデータベースからの履歴シーンの全体的な音響シグネチャの比較は、一般に、周波数コンテンツ、音響強度などのシーン内の音響パラメータの変化を示すことがありうる。
ある例では、音響分析システムは、最近／リアルタイムの音響シーンをデータベースと比較するように構成されている。ある実施形態では、音響分析システムは、最近／リアルタイムシーンとデータベースシーンとの間の差異を特徴付け、比較に基づいて現在のシーンで起こり得る一又はそれ以上の問題を診断するように構成される。例えば、ある実施形態では、ユーザは、音響データベースと比較するための、目標物体又はターゲットシーンを事前に選択し得る。音響分析システムは、選択された物体／シーンに基づいて、データベース画像及び／又は他のパラメータを最近／現在の画像及び／又は他のパラメータと比較して、シーンを分析することができる。データベースから選択された物体／シーンに基づいて、音響分析システムは、データベース画像／パラメータと最近／現在の画像／パラメータとの間の一又はそれ以上の差異を特定し、特定された差異（複数可）を一又はそれ以上の差異の考えられる原因に関連付けることができ得る。
ある例では、音響分析システムは、複数の診断情報により事前にプログラムされることができ、例えば、データベース画像／パラメータと、最近／現在の画像／パラメータとの間の様々な差異を、考えられる原因及び／又は原因の解決策と関連付ける。その上若しくはそれとは別に、ユーザは、例えば、診断データのリポジトリからそのような診断情報をロードし得る。そのようなデータは、例えば、音響分析システムの製造業者、目標物体の製造業者などによって提供され得る。さらに別の例では、音響分析システムは、例えば、一又はそれ以上の機械学習プロセスを介して、診断情報をその上若しくはそれとは別に学習することができる。あるそのような例では、ユーザは、典型的なシーンからのシーンの音響逸脱を観察した後、ターゲットシーンの一又はそれ以上の問題を診断し、一又はそれ以上の問題及び／又は一又はそれ以上の解決策を表すデータを音響分析システムに入力し得る。システムは、時間の経過と共に、複数のデータエントリを介して、最近／現在の画像及び／又はパラメータと、データベースに保存されているものとの間の様々な不一致を、特定の問題及び／又は解決策に関連付けることを学習するように構成できる。問題を診断し、及び／又は、提案された解決策を決定すると、音響分析システムは、例えば、ディスプレイを介して、疑わしい問題及び／又は提案された解決策をユーザに出力するように構成され得る。このようなディスプレイは、手持ち式音響点検ツール又はリモート装置（例えば、ユーザのスマートフォン、タブレット、コンピュータなど）に配置できる。その上若しくはそれとは別に、潜在的な問題及び／又は解決策を示すそのようなディスプレイは、例えば、ネットワークを介して、オフサイトのオペレータ／システムモニタなどのリモートサイトに通信することができる。
ある例の診断特性では、音響分析システムは、動作中の機械に追加の注油が必要であることを示す特定の周期的なきしみ音を観察することがある。同様に、一定の高音の信号は、ターゲットシーンでのガス又は空気の漏れを示している可能性がある。他の問題も同様に、分析中の物体内のベアリングの破損など、認識可能な音響シグネチャがあることがあり、音響撮像システム（手持ち式音響撮像ツールなど）を介して音響シグネチャを見ると、システム又は物体の異常を診断するのに役立つことがある。
受信した音響信号を基準（例えば、音響画像データ及び／又はデータベースからのパラメータ）と比較し、診断情報を実行し、及び／又は是正措置を提案することができる音響分析システムは、シーンの音響データを経験豊富な専門家が分析する必要をなくすことができる。むしろ、音響点検及び分析は、音響データの分析の経験が限られているか、又は全くないシステムオペレータによって実行することができる。
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。この方法は、目標ターゲットの選択を受信し（１３８０）、データベースから目標ターゲットの基準音響画像及び／又は音響パラメータを取得すること（１３８２）を含む。例えば、ユーザは、億票の特定の物体の音響分析を実行することを望むことがあり、利用可能な基準音響画像及び／又はデータベースで利用可能なパラメータを有する物体の事前定義されたリストからそのような物体を選択し得る。
この方法は、例えば、手持ち式音響撮像ツールを使用して、目標ターゲットを表す音響画像データ及び関連するパラメータを取り込む工程（１３８４）をさらに含む。音響画像データ及び関連するパラメータを取り込んだ（１３８４）後、この方法は、取り込まれた音響画像データ及び／又は関連するパラメータを、取得された基準画像及び／又はパラメータと比較すること（１３８６）を含む。
図１３の方法は、取り込まれた音響画像データ及び／又はパラメータが基準から十分に逸脱している場合（１３８８）、比較に基づいて関心のあるターゲットの動作問題を診断すること（１３９０）をさらに含む。この方法は、起こり得る問題及び／又は是正措置の表示をユーザに表示するステップをさらに含むことができる（１３９２）。ある実施形態では、比較表示、例えば、現在の音響画像データと基準音響画像データとの間の差を示す差分画像が、その上若しくはそれとは別にユーザに表示され得る。
あるそのような例では、基準（１３８８）からの逸脱があるかどうかを判定することは、取り込まれたデータの一又はそれ以上の音響パラメータを基準データ内の同様のパラメータと比較し、取り込まれたパラメータと基準パラメータとの間の差異が所定の閾値を超えるかどうかを判定することを含む。様々な例において、異なるパラメータは、異なる閾値を含むことがあり、そのような閾値は、絶対閾値、統計的閾値などであり得る。ある実施形態では、比較は、位置ごとに行うことができ、シーン内の位置のサブセットに対して実行し得る。
例えば、図９Ｂに関して、音響画像データを含み、物体上に現れる位置（例えば、位置９１０と９４０）のみが、物体の動作に関して分析されることが可能である。そのような例では、比較される各位置（例えば、９１０と９４０）での異なる音響パラメータが、取り込まれた画像とデータベース画像との間で個別に比較される。例えば、取り込まれたデータ及び／又は関連するパラメータをデータベースからのものと比較することは、図９Ｂを参照して、取り込まれた画像内の位置９１０の周波数、強度、及び周期性をそれぞれ、データベース画像内の位置９１０の周波数、強度、及び周期性と比較することを含むことができる。同様の比較は、取り込まれた画像とデータベース画像との間の位置９４０で実行され得る。説明したように、各比較は、基準からの十分な逸脱があるかどうかを判定する（１３８８）ための異なるメトリックを含むことができる。
動作の問題を診断（１３９０）し、起こり得る問題及び／又は是正措置の指示（１３９２）を表示することは、取り込まれた画像データと基準画像データ及び／又はパラメータと間の比較の組み合わせに基づいて実行することができる。ある例では、そのような診断は、所定の位置での複数のパラメータの比較を組み合わせるなどの多次元分析を含むことができる。例えば、例示的な実施形態では、特定の条件は、第１の閾値よりも大きい基準からの周波数の逸脱と、第２の閾値よりも大きい基準からの強度の逸脱の両方によって示され得る。
ある例では、起こり得る問題及び／又は是正措置の指示を表示した（１３９２）後でも、プロセスは、新しい音響画像データ及び関連するパラメータを取り込み（１３８４）、比較及び診断プロセスを繰り返すことを含むことがある。したがって、ユーザは、取られた是正措置が特定された問題を修正するために物体の音響シグネチャを効果的に変更しているかどうか、及び／又は、物体の音響シグネチャを基準に一致させているかどうかを観察し得る。
ある実施形態では、取り込まれたデータを基準データと比較した（１３８６）後で、基準からの十分な逸脱がない（１３８８）場合、プロセスは、物体の現在の音響シグネチャに基づいて、物体は正常に動作しているとの結論とともに終了し得る（１３９４）。その上若しくはそれとは別に、目標ターゲットの新しい音響画像データ及び関連するパラメータを取り込むことができ（１３８４）、比較及び診断プロセスが繰り返されることができる。ある例では、継続的な繰り返し分析が、例えば、図１２Ａの音響撮像ツール１２００を含む、固定された音響分析システムを使用して実行され得る。
音響データ（例えば、画像データ及び／又は他の音響パラメータ）の比較は、ユーザを物体が正しく機能しているかどうかをより簡単に特定させ、そうでない場合は物体の問題を診断するのに役立つ。ある例では、基準との比較が、物体の操作上の問題とは無関係であり得る予想される動作音やフロア／バックグラウンド音など、シーン内の「通常の」音をユーザが無視するのに役立つ。
動作中、音響画像データ及び／又は関連する音響パラメータの観察、あるいは現在の音響シーンとデータベースの音響シーンとの間の比較の結果の観察は、さらなる点検のために目標位置をユーザに示し得る。例えば、データベース画像からの逸脱を示す比較音響画像は、異常に動作しているシーン内の一又はそれ以上の位置を示し得る。同様に、予期しない一又はそれ以上の位置で音響シグネチャを有する音響画像を見ることは、目標位置をユーザに示すことができる。例えば、図１０Ｂを参照すると、音響撮像システムのディスプレイ上で図１０Ｂを観察しているユーザは、特定の位置（例えば、１０２０）が予期せぬ音響信号を放出していることに気付くことがあり、又は同様に、基準画像との比較は、その位置での音響信号の予期しないパラメータ（例えば、予期しない周波数、強度など）を示す。
あるそのような例では、異常がないか位置をより綿密に点検するために、ユーザはそのような位置に近づくことがある。物体に近づくと、ターゲットまでの距離値が更新され、音響アレイとターゲット位置との間の新しい距離が反映され得る。音響センサアレイ及び／又はバックプロパゲーションアルゴリズムは、更新されたターゲットまでの距離に基づいて更新され得る。その上若しくはそれとは別に、より近い位置からの更新された音響分析は、ターゲットからの音響信号の異なる分析をもたらすことがある。例えば、高周波音響信号（例えば、超音波信号）は、音響信号の発生源から比較的短い距離にわたって減衰する傾向がある。したがって、ユーザがさらなる点検のためにターゲットに近づくと、追加の信号（例えば、高周波信号）が音響センサアレイにとって可視であることがある。観察可能なシーンにおけるそのような明らかな変化はまた、音響撮像に使用される音響センサアレイ及び／又はバックプロパゲーションアルゴリズムの調整をもたらすことがある。
したがって、音響撮像に使用されるセンサアレイ及び／又はバックプロパゲーションアルゴリズムは、ユーザが目標物体又は領域に近づくにつれて、１回又はそれ以上の回数で更新されることがある。各更新は、異なるセンサアレイ及び／又はバックプロパゲーションアルゴリズムを使用して、遠くからは観察できなかった可能性のある目標物体又は領域に関する追加の詳細を提供することができる。例えば、より広いシーンの初期の観察に基づいて、目標物体又は領域に近づくと、環境内のバックグラウンド音と比較して、目標の音響信号の音響強度を高めることもできる。
ある実施形態では、音響分析システム（例えば、手持ち式音響撮像ツール）は、シーン内の目標物体又は領域により近く移動するようにユーザに促すことがある。例えば、現在の音響画像を基準データベース画像と比較すると、音響分析システムは、基準から逸脱するシーン内の一又はそれ以上の位置を特定することができる。音響分析システムは、例えば、ディスプレイを介して、そのような一又はそれ以上の位置をユーザに強調表示し、さらなる分析のために、ユーザが特定された位置に近づくことを提案し得る。ある例では、音響分析システムは、環境内の物体の副構成要素又は特定の物体などの特定された位置を、データベースに記憶された独自の基準プロファイルを有するものとして分類することができる。システムは、分類された位置のそのようなプロファイルを提案及び／又は実施して、ユーザが追加の点検のために近づくときに特定された位置のさらなる分析を容易にするように構成され得る。
本明細書に記載のシステム及びプロセスは、音響点検の速度、効率、精度、及び徹底性を改善するために使用することができる。様々な自動化されたアクション及び／又は提案（例えば、センサアレイ、バックプロパゲーションアルゴリズムなど）は、経験の浅いユーザが音響シーンの徹底的な音響点検を実行し得るという点で、点検の容易さを向上することを可能にする。さらに、このようなプロセスは、システム全体、個々の物体、そして、個々の物体の副構成要素など、幅広いシーンを分析するのに使用され得る。音響シーンの基準音響データの事前定義及び／又はユーザ生成のプロファイルは、経験の浅いユーザでも、取り込まれた音響データの異常を特定するのに役立つことができる。
音響画像データを可視光、赤外線、及び／又は紫外線画像データなどの他のデータストリームに重ね合わせることは、音響画像データ内で表される音響信号を放出している物体に追加のコンテキスト及び詳細を提供することができる。音響センサアレイと距離測定ツール（レーザ距離ファインダーなど）を組み合わせることは、音響撮像プロセスで使用する適切なターゲットまでの距離値をすばやく簡単に決定するときにユーザに役立つことがある。様々な例において、音響センサアレイ、距離測定ツール、プロセッサ、メモリ、及び一又はそれ以上の追加の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュールなど）は、複数のシーンの効率的な音響分析を提供できる手持ち式音響撮像ツールの単一の筐体によって支持され得る。このような手持ち式音響撮像ツールは、複数の目標物体を迅速に分析するために、シーンからシーンに移動されることがある。同様に、手持ち式ツールを使用すると、ユーザはシーン内の幕表位置に近づいて、さらなる点検又は分析をすることができる。
本明細書では、音響撮像を実行し、音響画像データを生成及び表示するための様々なシステム及び方法がここに説明されている。例示的なシステムは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成された複数の音響センサ要素を含む音響センサアレイを含むことができる。
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことができる。そのような撮像ツールは、赤外線撮像ツール、可視光撮像ツール、紫外線撮像ツールなど、若しくはそれらの組み合わせを含むことができる。
システムは、音響センサアレイと電磁撮像ツールと通信するプロセッサを含むことができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するように構成され得る。プロセッサは、例えば、バックプロパゲーション計算を介して、受信した音響データと、ターゲットまでの距離を表す受信した距離情報に基づいて、シーンの音響画像データを生成するように構成され得る。音響画像データは、本明細書の他の場所で説明されているような調色若しくは配色などによる音響データの視覚的表現を含むことができる。
プロセッサは、生成された音響画像データと受信した電磁画像データとを組み合わせて、音響画像データと電磁画像データの両方を含むディスプレイ画像を生成し、ディスプレイ画像をディスプレイに通信するように構成され得る。音響画像データと電磁画像データとの組み合わせは、例えば、受信した距離情報に基づいて、音響画像データと電磁画像データとの間の視差エラーを補正することを含むことができる。
ある例では、距離情報は、プロセッサと通信する距離測定ツールから受信することができる。距離測定ツールは、例えば、レーザ距離測定装置などの光学距離測定装置、及び／又は音響距離測定装置を含むことができる。その上若しくはそれとは別に、ユーザは、例えば、ユーザインタフェースを介して、手動で距離情報を入力することができる。
システムは、周波数、デシベルレベル、周期性、距離など、若しくはそれらの組み合わせなどの選択されたパラメータに基づいて、音又は音プロファイルなどの目標ポイントの位置を特定するのを助けるためのレーザポインタを含むことができる。このようなレーザポインタは、シーンの視野をディスプレイに表示される適切な音の視覚化と正確に合わせるとともに、整列するために使用されることがある。これは、点検下の物体が音響撮像装置に対して離れている環境、若しくは、ディスプレイ上の音の視覚化が実際のシーンに対してどこにあるかが明確でない場合に役立つ。
ある例では、レーザポインタは、ディスプレイ上に視覚化され得る。そのような視覚化は、実際のシーンにおけるレーザポインタを表すディスプレイ上に（例えば、プロセッサを介して）レーザポインタスポットを生成することを含むことができる。ある例では、レーザポインタの位置は、例えば、シーン内のレーザポインタを表すアイコン又は別の整列されたディスプレイマーカによりディスプレイ上で強調され、実際のシーンに対するディスプレイ上の位置をより適切に決定することができる。
本明細書の他の個所で説明するように、熱画像システムは、音響画像データを作成することなどによって、一又はそれ以上の音響センサによって生成された音響データの偽色（例えば、調色された）、記号、又は他の非数値視覚表現を作成するように構成され得る。その上若しくはそれとは別に、システムは、スピーカ、ヘッドホン、有線又はリモート通信ヘッドセットなどを介して、ユーザに音声フィードバックを提供することができる。このような音声又はヘテロダイン音声の送信は、検出及び表示された音の視覚的表現に同期させることができる。
様々な例において、音響データは、例えば、そのようなデータの理解を容易にし、視聴者が視覚化される音の性質について誤った想定をすることを防ぐために、様々な方法で視覚化することができる。ある例では、異なるタイプの視覚化が、視覚化された音の直感的な理解を提供することを可能にする。
ある実施形態では、生成されたディスプレイは、視覚化されている音に関する情報の完全な提示を提供するために、数値及び／又は英数字のコンテキストデータを伴う非数値視覚表現を含み、これは、ユーザが一又はそれ以上の適切な行動方針を決定及び／又は実施するのを支援することを可能にする。
様々な非数値グラフィック表現（例えば、記号、調色など）や英数字情報を含む様々な表示特徴は、組み合わせることができる。ある実施形態では、所定のシーン表現に存在する表示特徴は、例えば、複数の選択可能な設定から、ユーザによってカスタマイズされ得る。その上若しくはそれとは別に、表示特徴の事前設定された組み合わせは、ユーザにより選択されて、ディスプレイ画像に情報の所望の組み合わせを自動的に含めることを可能にする。様々な実施形態では、ディスプレイ画像の態様は、例えば、仮想インタフェース（例えば、タッチスクリーンを介して提供される）及び／又は物理的制御を介して、ユーザによって調整可能である。
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。図示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置１４３２、１４３４、１４３６において、音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に譲受された米国特許出願第１５／８０２，１５３号に記載されている。
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。あるそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円のそれぞれの同一色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置１５３２、１５３４、１５３６における音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化している。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加又は代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ～２０ｄＢの間の強度値などの絶対範囲に対応することができるか、又は最大強度の９０％～１００％の間の強度値などの相対範囲であり得る。
本明細書の他の個所で説明するように、ある実施形態では、電磁画像データと音響画像データを含むディスプレイ画像は、音響信号の視覚的表示と音響信号に関連する一又はそれ以上のパラメータの英数字表現の両方を含むことができる。図１６は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を示す例示的な視覚化を示している。図示の例では、英数字音強度値ラベルが、調色された音響画像データ（例えば、強さのデータ）を有する３つの位置のそれぞれに関連付けられている。図示されているように、音響信号は、それに関連する音響パラメータ（１６０２、１６０４、１６０６）、と英数字情報（それぞれ、１６１２、１６１４、１６１６）を表す対応する視覚的インジケータを有する。例示的な実施形態では、英数字情報は、調色された音響データが表示される位置に関連する最大強度値などの数値を提供することができる。ある例では、ユーザは、調色及び／又は英数字データを表示するための一又はそれ以上の位置を選択し得る。例えば、ユーザは、シーン内の一又はそれ以上の音響信号に関連する音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
ある例では、英数字情報は、シーン内の所与の位置での音響信号に関連する複数のパラメータ（例えば、音響パラメータ）を表すことができる。図１７は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を含む視覚化の例を示している。図示の例では、音の強度値と対応する周波数値（例えば、平均周波数又はピーク周波数）が、それぞれインジケータ１７０２、１７０４、１７０６を介して示される調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１７１２、１７１４、１７１６に示されている。図１６に関して説明したのと同様に、様々な位置での様々なそのようなデータの包含は、ユーザによって開始されることができる。例えば、ユーザは、シーン内の一又はそれ以上の音響信号に関連する一又はそれ以上の音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
図１８は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を示す別の例示的な視覚化を示している。図示の例では、距離測定が、それぞれインジケータ１８０２、１８０４、１８０６を介して示される、調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１８１２、１８１４、１８１６と共に含まれている。図１６に関して説明したのと同様に、様々な位置に様々なそのようなデータを含めることは、例えば、ディスプレイ画像注釈の一部として、ユーザによって選択され得る。
ある例では、非数値表現が、複数の音響パラメータに関連する情報を伝達するために使用されることがある。例えば、図１９は、異なる音響パラメータ値を表す異なるサイズと色のインジケータ１９０２、１９０４、１９０６（この場合、円）を示す例示的な視覚化を示している。例示的な実施形態では、インジケータのサイズは、所与の位置での音響信号の強度に対応し、インジケータの色は、ピーク又は平均周波数に対応している。例示的な実施形態では、あるインジケータのサイズを別のインジケータのサイズと比較することが、インジケータに関連付けられた位置で表される音響パラメータ値間の相対差を表すように、インジケータサイズは相対値を示すことができる。その上若しくはそれとは別に、英数字情報は、絶対的又は相対的な音響パラメータ値を提供するために、含められ得る。
ある実施形態では、色付きインジケータが、一又はそれ以上の検出された音響信号、及び／又は、基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すために使用されることがある。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示している。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）一又はそれ以上の音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色はインジケータは軽度の重大度を表す。他の例では、他の配色又は外観特性（例えば、インジケータの透明度、インジケータのサイズなど）が、音響信号の重大度を視覚的に区別するために使用されることがある。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表している。
本明細書の他の個所で説明するように、様々な実施形態では、一又はそれ以上の音響パラメータが、例えば、調色されたカラーディスプレイ又はグレースケールディスプレイによって、音響シーンの視覚的表現に表示されることがある。ある実施形態では、システムは、特定された周波数範囲、強度範囲、距離範囲などのような、一又はそれ以上の音響条件を満たすシーン内の一又はそれ以上の位置を特定するように構成され得る。ある例では、（例えば、特定のセットの条件又はパラメータを満たす）音響プロファイルに対応する様々な位置が特定され得る。そのような特定された位置は、ディスプレイ画像を作成する際に他の方法で使用される音響画像データ調色技術とは異なる方法で提示され得る。例えば、図２１は、シーン内の複数の位置におけるインジケータを含むシーンを示している。インジケータ２１０１、２１０２、２１０３、２１０４、及び２１０５は、シーン内に配置される。インジケータ２１０３、２１０４、及び２１０５は、例えば、スケール２１１０に対応する一又はそれ以上の音響パラメータの値を表す、調色された音響画像データを含んでいる。インジケータ２１０１及び２１０２は、位置２１０３、２１０４、及び２１０５に現れる調色技術と区別できる独特の提示技術を有することが示されている。そのような実施形態では、ユーザは、一又はそれ以上の所望の条件を満たす画像内のそれらの位置を迅速かつ容易に特定し得る。あるそのような例では、ユーザは、例えば、２１１０などのスケールからの値の範囲の選択に基づいて、区別できる方法で表示するための一又はそれ以上の所望の条件を選択し得る。
その上若しくはそれとは別に、特定の音響プロファイルの条件を満たす位置は、対応する音響プロファイルなど、満たされた条件を表すアイコンで提示することができる。例えば、図２２は、シーン内の認識された音響プロファイルを示すディスプレイ画像内に配置された複数のアイコン２２０２、２２０４、２２０６、２２０８を示している。図２２に示される例示的なプロファイルは、ベアリングの摩耗、空気漏れ、及び電気アーク放電を含む。そのようなプロファイルは、そのようなプロファイルに分類されるために、そのようなプロファイルに関連付けられた一又はそれ以上のパラメータのセットを満たす音響信号によって特定され得る。
図２３は、各音響信号に関連する音響強度を表す同心円と英数字情報を使用して、複数のインジケータ２３０２、２３０４及び２３０６を介した音響データを示す別の例示的なディスプレイ画像を示している。本明細書の他の位置で説明するように、ある例では、インジケータのサイズは、対応する位置に存在する一又はそれ以上の音響パラメータを表すことができる。ある実施形態では、インジケータは単色であることがあり、インジケータサイズ、線の太さ、線のタイプ（例えば、実線、破線など）などによって、一又はそれ以上の他の方法で音響パラメータを示すことができる。
ある例では、ディスプレイは、ユーザによって行われた選択に基づく英数字情報を含むことができる。例えば、ある実施形態では、システムは（例えば、プロセッサを介して）、そのような位置での（例えば、ユーザインタフェースを介した）ディスプレイ上のインジケータのユーザ選択に応答して特定の位置に位置する音響信号の一又はそれ以上の音響パラメータを表す情報を含むことができる。図２４は、表示された音響信号に関連するインジケータ及び追加の英数字情報を有する例示的なディスプレイ画像を示している。一例では、ディスプレイ上のインジケータ２４０２は、さらなる分析のために選択され得る（例えば、十字線を介して表され、これは、タッチスクリーン入力を介するなど、選択を示すことができる）。ディスプレイは、ピーク強度及び対応する周波数、周波数範囲、位置までの測定距離、並びにその位置からの音響信号によって示される臨界レベルを含む、インジケータに対応する位置に関連するデータのリストを含む英数字情報２４０４を示している。
ある例では、ディスプレイ画像は、シーン内の対応する複数の音響信号を表す複数のインジケータを含むことができる。ある実施形態では、そのような場合、ユーザは、一又はそれ以上のインジケータを（例えば、タッチスクリーン又は他のユーザインタフェースを介して）選択することがあり、選択の検出に応答して、プロセッサは、音響信号に関する追加情報を提示し得る。このような追加情報には、一又はそれ以上の音響パラメータの英数字を含めることができる。ある例では、そのような追加情報は、複数の音響信号に対して同時に表示することができる。他の例では、所与の音響信号に関するそのような追加情報は、別の音響信号が選択されるときに隠される。
本明細書の他の場所で説明されているように、ある例では、システムはレーザポインタを含むことができる。ある例では、レーザポインタは、固定された方向を有することができるか、若しくは、例えば、プロセッサを介して制御可能な調整可能なポインティングを有することができる。ある例では、システムは、画像内の選択された位置に関連付けられたターゲットシーン内の位置にレーザポインタを向けるように構成され得る。図２５Ａは、インジケータ２５０２が選択されている、図２４に示されているディスプレイなどのディスプレイを含むシステム（ある例では、手持ち式ツールとして具体化されている）を示している。レーザポインタ２５０４は、シーンに向かってレーザビーム２５０６を放射し、レーザは、画像内の選択されたインジケータ２５０２の位置に対応してシーン内にレーザスポット２５０８を作成する。これは、ユーザが環境内の選択及び／又は分析された音響信号の位置を視覚化するのに役立たせることができる。ある実施形態では、レーザスポット２５０８は、電磁撮像ツールによって検出可能であり、表示されたインジケータ２５０２と、音響パラメータ情報を含む英数字情報２５１２と共にディスプレイ上に見ることができる。ある例では、音響撮像システムは、シーン内のレーザの位置を検出又は予測し、レーザ位置の視覚的表示２５１０を提供するように構成されている。図２５Ｂは、図２５Ａのシステムビューに示されるようなディスプレイ画像を示している。
レーザポインタが固定された向きを有する実施形態では、ユーザは、レーザ位置を視覚的に示すディスプレイ画像をフィードバックとして見ることができ、その結果、ユーザは、選択された音響信号と一致するようにレーザの照準を調整することができる。
本明細書の他の個所で説明するように、ある実施形態では、音響画像データを電磁画像データと組み合わせて、ディスプレイ画像で提示することができる。ある例では、音響画像データは、電磁画像データの様々な側面が完全に隠されないように調整可能な透明度を含むことができ、図２６は、シーン内のある位置でインジケータ２６０２によって表される音響画像データを示し、インジケータ２６０２は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を含んでいる。システムは、音響撮像ツールと一体若しくは別個である表示装置であって、電磁画像データと音響画像データを含む表示データを提示するように構成された表示装置を含むことができる。
ある実施形態では、装置（例えば、手持ち式音響撮像ツール）は、物理的ブレンド制御２６１４（例えば、ユーザインタフェースの一部として含まれ得る一又はそれ以上のボタン、ノブ、スライダーなど）及び／又はタッチスクリーン若しくは他の仮想的に実装されたインタフェースを介するなどの仮想ブレンド制御２６０４を含むことができる。ある実施形態では、そのような機能は、スマートフォン、タブレット、コンピュータなどの外部ディスプレイ装置によって提供され得る。
図２７は、部分的に透明な同心円調色技術を含む、ディスプレイ画像のための仮想及び／又は物理的ブレンド制御ツールを示している。図２６に関する説明と同様に、インジケータ２７０２は、シーン内の音響信号を表すことができる。音響撮像システムは、ディスプレイ画像内の音響画像データ（例えば、インジケータ２７０２）の透明度を調整するために使用することができる物理的ブレンド制御２７１４及び／又は仮想ブレンド制御２７０４を含むことができる。
その上若しくはそれとは別に、物理的及び／又は仮想インタフェースが、一又はそれ以上の表示パラメータを調整するために使用され得る。例えば、ある実施形態では、一又はそれ以上のフィルタが、本明細書の他の場所で説明するような、一又はそれ以上の条件を満たす音響画像データを選択的に表示するために、適用され得る。図２８は、一又はそれ以上のフィルタを満たすシーン内の位置を示す（例えば、一又はそれ以上の対応する閾値又は所定の条件を満たす一又はそれ以上の音響又は他のパラメータを有する）グラデーション調色を有するインジケータ２８０２を含むシーンを示している。様々な例において、フィルタ処理は、物理的制御２８１４（例えば、一又はそれ以上のボタン、ノブ、スイッチなどを介して）及び／又は仮想制御２８０４（例えば、タッチスクリーン）を介して選択及び／又は調整され得る。図示の例では、フィルタは、音響パラメータの事前定義された範囲２８０６内にある音響パラメータ（例えば、周波数）を有する音響信号のみの音響画像データを表示することを含む。図示されているように、事前定義された範囲２８０６は、可能なフィルタ範囲２８１６のサブセットである。ある例では、ユーザは、例えば、仮想２８０４又は物理２８１４的制御を介して、フィルタ効果を調整するために、事前定義された範囲２８０６の制限を調整し得る。
図２９は、部分的に透明な同心円調色技術を含む、ディスプレイ画像の仮想及び／又は物理的なフィルタ調整を示している。図示されるように、インジケータ２９０２は、フィルタに基づく値の所定の範囲２９０６内にある音響パラメータに基づいて、シーン内に示される。フィルタは、例えば、仮想２９０４及び／又は物理的な２９１４制御を介して、値の範囲２９１６内で調整可能であり得る。
ある実施形態では、複数のフィルタが、調色された音響画像データを含むディスプレイ画像をカスタマイズするために利用されることがある。図３０は、第１のインジケータと第２のインジケータを示すディスプレイ画像を示している。本明細書の他の個所で説明するように、一又はそれ以上のフィルタが、（例えば、物理的フィルタ制御及び／又は仮想フィルタ制御を介して）ディスプレイ画像に適用され、表示されたデータをカスタマイズすることができる。図３０の図示の例では、フィルタ処理は、第１のフィルタ範囲３００６と第２のフィルタ範囲３００８を確立することを含んでいる。ある例では、フィルタ範囲は、例えば、仮想３００４及び／又は物理的３０１４制御を介して、値の範囲３０１６内で調整可能であり得る。
このようなフィルタ範囲は、周波数、振幅、近接度など、様々なパラメータのいずれかを表すことができる。図示されているように、第１のフィルタ範囲と第２のフィルタ範囲はそれぞれ色に関連付けられ（ある例では、ユーザによって調整可能である）、インジケータ３００２、３０１２は、対応する音響信号が各フィルタ範囲に関連付けられる一又はそれ以上のフィルタ条件を満たす画像内の位置に配置される。図示されているように、第１のインジケータ３００２は、第１のフィルタ範囲３００６（暗い陰影で示される）を満たす音響信号を表し、第２のインジケータ３０１２は、第２のフィルタ範囲３００８（明るい陰影で示される）を満たす音響信号を表している。したがって、ユーザは、どの位置がどの条件を満たすかを特定しながらも、同時に様々な条件を満たす音響データを有するシーン内の位置を迅速に特定することができ得る。
ある例では、音響撮像ツール又は外部ディスプレイ装置などのディスプレイ装置は、図３１に示されるような入力装置として仮想キーボードを含むことができる。図３１は、シーン内の音響信号の一又はそれ以上の音響パラメータを表すインジケータ３１０２を含むディスプレイインタフェースを示している。仮想キーボード３１１０がディスプレイに含まれており、これを使用して、英数字情報３１１２をディスプレイ画像に追加することができる。このような仮想キーボードを利用することは、画像と共に保存できる様々な点検メモ、ラベル、日付／タイムスタンプ、又はその他のデータなど、カスタマイズされた注釈をユーザに入力させることを可能にする。様々な例において、仮想キーボードが使用されて、画像データに含まれる、及び／又は、ディスプレイ画像に関連付けられたメタデータに記憶されることなどによって画像データに追加されるテキストを追加することができる。
様々な装置が使用されて、音響画像データと、英数字データ、一又はそれ以上の電磁スペクトルからの画像データ、記号などの他のデータとの様々な組み合わせを含むディスプレイ画像を提示することがある。ある例では、手持ち式音響撮像ツールは、ディスプレイ画像を提示するためのビルトインディスプレイを含むことができる。他の例では、表示されるべき情報、若しくは、表示を生成するために処理されるデータ（例えば、生のセンサデータ）は、表示のために外部装置に通信され得る。そのような外部装置は、例えば、スマートフォン、タブレット、コンピュータ、ウェアラブル装置などを含むことができる。ある実施形態では、ディスプレイ画像は、拡張されたリアルティタイプのディスプレイにおいて、リアルタイムの電磁画像データ（例えば、可視光画像データ）と組み合わせて提示される。
図３２は、ユーザに着用され得るアイウェア３２１０に組み込まれたディスプレイを示している。ある例では、アイウェアは、関連部分が参照により本明細書に組み込まれる「試験及び測定ツールに組み込まれるか、若しくは、付属される撮像ツールからの画像表示（ＤＩＳＰＬＡＹ ＯＦ ＩＭＡＧＥＳ ＦＲＯＭ ＡＮ ＩＭＡＧＩＮＧ ＴＯＯＬ ＥＭＢＥＤＤＥＤ ＯＲ ＡＴＴＡＣＨＥＤ ＴＯ Ａ ＴＥＳＴ ＡＮＤ ＭＥＡＳＵＲＥＭＥＮＴ ＴＯＯＬ）」と題され、本出願の譲受人に譲受された米国特許公開第２０１６００７６９３７号に記載されるような一又はそれ以上の組み込まれた撮像ツールを含むことができる。あるそのような例では、統合ディスプレイは、リアルタイムディスプレイ画像３２２０を表示することができる。例えば、ディスプレイは、ユーザが向いているシーンを表す電磁画像データ（例えば、可視光画像データ）を表示することができ、同時に（例えば、ブレンド、オーバレイなどを介して）、音響画像データ（例えば、インジケータ３２０２を含む）などの一又はそれ以上の追加のデータストリームを表示して、ユーザに追加情報を提供することができる。ある実施形態では、図３２に示されるようなアイウェアは、透明な表示画面を含み、その結果、ディスプレイ画像がディスプレイに提供されない場合、ユーザは、リアルタイム可視光画像データを提示されるのではなく、アイウェアを通して自分の目で直接シーンを見ることができる。あるそのような例では、音響画像データ、英数字データなどの追加のデータが、ユーザの視野内の他の透明なディスプレイに表示して、ユーザは、ディスプレイを介してシーンの自分の視野に加えてそのようなデータを見ることができる。
本明細書の他の個所で説明するように、様々な例において、ディスプレイ画像に提示される様々なデータは、他のデータストリームとのブレンド（例えば、音響画像データと可視光画像データとのブレンド）を含む様々な方法で組み合わせることができる。ある例では、ブレンドの強さは、単一のディスプレイ画像内の異なる位置間で異なる可能性がある。ある実施形態では、ユーザは、複数の位置のそれぞれ（例えば、検出された音響信号の複数のインジケータのそれぞれ）のブレンド比を手動で調整することができる。その上若しくはそれとは別に、ブレンドは、周波数、振幅、近接度などのような一又はそれ以上のパラメータの関数であり得る。
ある実施形態では、音響撮像ツールは、センサアレイが検出された音響信号を放出している複数の位置のそれぞれを指している程度を特定し、対応する音響画像データを、例えば、可視光画像データとブレンドするように構成され得る。図３３Ａは、音響シーンにおける音響信号を表す第１のインジケータ３３０２と第２のインジケータ３３０４を含む例示的なディスプレイを示している。図３３Ａでは、音響センサは、第２のインジケータ３３０４の位置に対応するパイプ２と比較した場合、第１のインジケータ３３０２の位置に対応するパイプ１をより直接的に指している。したがって、図３３Ａの表示技術では、第１のインジケータ３３０２は、第２のインジケータ３３０４よりも目立つように表示される（例えば、より高いブレンド係数又はより低い透明度を有する）。逆に、図３３Ｂで、音響センサは、第１のインジケータ３３０２の位置に対応するパイプ１と比較した場合、第２のインジケータ３３０４の位置に対応するパイプ２をより直接的に指している。したがって、図３３Ｂの表示技術では、第２のインジケータ３３０４は、第１のインジケータ３３０２よりも目立つように表示される（例えば、より高いブレンド係数又はより低い透明度を有する）。一般に、ある実施形態では、音響撮像システムは、センサが所与の位置に向けられている程度を示すメトリックを決定し（例えば、音響画像データのインジケータに対応して）、それに応じた位置に対応するブレンド比を調整することができる（例えば、照準の程度が大きいほど、対応してブレンド率が高くなる）。
本明細書では、音響撮像を実行し、音響画像データを生成及び表示するための様々なシステムや方法が説明されている。例示的なシステムは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成された複数の音響センサ要素を含む音響センサアレイを含むことができる。
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことができる。そのような撮像ツールは、赤外線撮像ツール、可視光撮像ツール、紫外線撮像ツールなど、若しくはそれらの組み合わせを含むことができる。
システムは、音響センサアレイと電磁撮像ツールと通信するプロセッサを含むことができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するように構成され得る。プロセッサは、例えば、バックプロパゲーション計算を介して、受信した音響データ及びターゲットまでの距離を表す受信した距離情報に基づいて、シーンの音響画像データを生成するように構成され得る。音響画像データは、本明細書の他の場所で説明されているような調色又は配色技術などによる音響データの視覚的表現を含むことができる。
プロセッサは、生成された音響画像データと受信した電磁画像データとを組み合わせて、音響画像データと電磁画像データの両方を含むディスプレイ画像を生成し、ディスプレイ画像をディスプレイに通信するように構成され得る。音響画像データと電磁画像データとの組み合わせは、例えば、受信した距離情報に基づいて、音響画像データと電磁画像データとの間の視差エラーを補正することを含むことがある。
ある例では、距離情報は、プロセッサと通信している距離測定ツール(例えば、図１の１１０)から受信され得る。距離測定ツールは、例えば、レーザ距離測定装置などの光学的距離測定装置及び／又は音響距離測定装置を含むことがある。その上若しくはそれとは別に、ユーザは、例えば、ユーザインタフェース(例えば、制御部１２６及び／又はタッチスクリーンディスプレイ)を介して、距離情報を手動で入力することができる。
ある実施形態では、音響撮像システムは、周波数、デシベルレベル、周期性、距離など、若しくはそれらの組み合わせなどの選択されたパラメータに基づいて、音又は音プロファイルなどの目標ポイントの位置を特定するのを助けるためのレーザポインタを含むことができる。図３４Aは、シーンに向かってレーザを放射している音響撮像装置を示している。様々な実施形態において、レーザポインタは、ユーザにより手動で作動されるか、及び／又は、音響撮像ツールのプロセッサを介するなどして、システムにより自動的に制御されることがある。
図３４Ａに示されているように、レーザポインタ３４０４を含む音響撮像装置３４１２は、シーン３４１０内の少なくとも一つの目標ポイント３４０８に向かって（例えば、音３４０２に向かって）レーザビーム３４０６を放射することができる。レーザポインタ３４０４は、目標ポイントの位置を正確に合わせて特定するか、及び／又は、シーンの視野をディスプレイ上に表示される適切な音の視覚化に整列させるために使用されることがある。これは、点検下の物体が音響撮像装置に対して離れている環境、若しくは、ディスプレイ上の音の視覚化が実際のシーンに対してどこにあるかが明確でない場合に役立つことがある。ある場合、レーザポインタは、音響撮像装置のプロセッサと通信することができ、プロセッサは、さらに、レーザポインタがターゲットシーンに向かってレーザを放射させるように構成されることもある。
ある例では、レーザポインタは、ディスプレイ上のグラフィカルインジケータなどによりディスプレイ上で視覚化され得る。そのような視覚化は、（例えば、プロセッサを介して)実際のシーンにおいてレーザポインタを表すレーザポインタスポットを発生することを含むことがある。レーザポインタの位置は、実際のシーンに対するディスプレイ上の位置をよりよく決定するために、例えば、シーン内のレーザポインタを表すアイコン又は整列された他のディスプレイマーカによって、ディスプレイ上で強調されることもある。
図３４Bは、可視光画像データと音響画像データ並びにシーン内のレーザスポットの具象的な視覚化を含む例示のディスプレイ画像を示している。図示のように、ディスプレイ画像は、可視光画像データ３４２０を含む電磁画像データと、シーン内の音３４０２を表すインジケータ３４２２を含む音響画像データを含んでいる。図示のように、画像は、さらに、シーン内でレーザ３４０６がシーン内に存在している場所を示すマーカー３４２４を含んでいる。図示のように、マーカー３４２４は、インジケータ３４２２と整列しており、レーザ３４０６が音源３４０２に近くにあることを示している。
本明細書で図示及び説明されているように、シーンを照明する光がほとんどないか全くないときにはシーンを理解することが難しいことがある。画像及び動画取り込み特性を改善するために、可視光照明器や近赤外線放射器などの照明器が使用されて、シーンを照明することがある。したがって、システムは、その上若しくはそれとは別に、一又はそれ以上の照明器を含むことができ、システムプロセッサは照明器を介してターゲットシーンを照明するように構成され得る。そのような照明器は、ターゲットシーンに向かって、一若しくはそれ以上の波長又は波長範囲（例えば、波長帯域）で電磁放射を放出するように構成され得る。ある例では、システムは、フラッシュライト又はトーチライトなどの可視光照明器を含み、可視光スペクトラムの光でシーンを照明することがある。システムは、その上若しくはそれとは別に、近赤外線放出器などの可視光スペクトラム以外の電磁放射を放射するように構成された一又はそれ以上の照明器を含むことがある。そのような照明は、システムに対し、貧弱な撮像条件においてシーンの画像及び動画の取り込み特性に関して別の特性と改善された性能を付与することができる。
ある例では、電磁撮像ツールは、照明されたシーンを表す電磁画像データを発生するために、(例えば、可視光放射や近赤外線放射などの)一又はそれ以上の関連する照明器から放射された電磁放射に対応する電磁放射を検出するように構成されることがある。図３５A ～図３５Cは、様々な照明タイプ及び／又は照明量を有する、シーンの電磁画像データと音響画像データを含むディスプレイ画像の表示を示している。
図３５Ａは、照明のない、音響画像データと電磁画像データを含むシーン３５１０を表すディスプレイ画像を示している。図３５Ｂは、可視光照明器を用いて取り込まれたシーン３５１０の画像を図示している。図３５Ｃは、近赤外線照明器を用いて取り込まれたシーン３５１０の画像を図示している。
図示されているように、図３５Ａに示されたディスプレイ画像は、音響画像データを表すインジケータ３５０４を含んではいるが、図３５Ａで非照明状態にあるシーン３５１０の電磁画像データは理解することが難しく、電磁画像データによって提供され得る追加のコンテキストを減少している。
図３５Ａ～図３５Ｃに図示されているように、照明を当てられたシーン３５１０は、シーン内の音響信号を表すインジケータ３５０４に関連した位置並びにその周囲の領域などの目標ポイントのより良い視覚化を提供するのに役立つことがある。図３５Ａにおいては、照明は存在しない。インジケータ３５０４は、引き継き、ディスプレイ画像内に明確に表示され検出された音響信号を表しているけれども、音響信号源周りの位置若しくは環境などの関連する音響信号についての情報を決定することは難しいかも知れない。シーンをよりよく視覚化するために、(例えば、可視光照明器、関する近赤外線照明器及び／又はなどの)照明器は、シーンについての情報をより多く提供するために使用され得る。図３５Ｂと図３５Ｃに示されているように、照明器はより多くのコンテキストをシーンに提供し、音響画像データによって表された音響信号についてのより多くの情報を提供した、
ある実施形態では、システムは、可視光スペクトルと近赤外線スペクトルの両方などの複数のスペクトルに亘る電磁放射を放射するように構成された単独の照明器を含むことがある。その上若しくはそれとは別に、システムは、異なるスペクトルの電磁放射を放射するように構成された複数の照明器を含むことができる。同様に、ある例では、システムは、可視光と近赤外光の両方などの複数のスペクトルに亘る電磁放射を検出することができる単独の電磁撮像ツールを含むことがある。その上若しくはそれとは別に、異なる電磁放射スペクトルに反応する複数の電磁撮像ツールが使用されることがある。
図３５Ａ～図３５Ｃに必ずしも示されているわけではないけれども、異なるシーンに (例えば、可視光や近赤外光の) 異なる波長の照明器を使用することは有利であるかもしれない。ある例では、ユーザは、可視光照明器と、近赤外線照明器と、可視光及び近赤外線照明器と、照明なしの間を手動で切り替えることができる。ある例では、システムは、一又はそれ以上の照明器を使って瞬間的な写真フラッシュとして機能させることを可能にする。
ある実施形態では、システムは、周囲光センサを含み、シーン内の周囲光のレベルに関する情報を集めることができる。そのような光レベル情報は、ユーザに対して表示されるか、及び／又はプロセッサにより使用されて、画像視覚化や表示や取り込みを改善するために、可視光照明器及び／又は近赤外線照明器などの一又はそれ以上の照明器を自動的に作動させることができる。ある実施形態では、プロセッサは、所定の閾値以下の周囲光量に応じて、照明器にターゲットシーンを照明させるように構成させ得る。その上若しくはそれとは別に、プロセッサは、所定の閾値以下の周囲光量に応じて、ユーザに対し、ターゲットシーンを照明するように勧めるように構成されることもある。様々な例では、一若しくはそれ以上の電磁照明器からの照明は、手動で、及び／又は、自動で、行われることができる。
ある例では、距離測定ツール及び／又は電磁撮像ツールは、音響センサアレイの外周辺内に配置されることがある。距離測定ツールや電磁撮像ツールや音響センサアレイやプロセッサやディスプレイやレーザポインタや一又はそれ以上の照明器(例えば、可視光照明器及び／又は近赤外線照明器)及び／又は周囲光センサなどの各種の構成部品が、例えば手持ちツールの単独のハウジングによって支持され得る。他の例では、一又はそれ以上の構成部品が、ハウジングとは別個に配置された外部ディスプレイなどの他の構成部品に外部配置されることがある。
ある例では、本明細書に記載したような音響撮像システムは、一又はそれ以上のレーザポインタを含むことができ、ある実施形態では、一又はそれ以上の対応するスキャンニング機構が、例えば、シーンの周囲でシステムレーザポインタを操作するために、対応するレーザポインタの照準を調節するように構成された。
レーザポインタの結合によって、音響撮像システムは、表示された適切な音視覚化とシーンの視野と正確に合わせるとともに、整列することができる。これは、点検下の物体が音響撮像装置に対して離れている状況、若しくは、ディスプレイ上の音の視覚化が実際のシーンに対してどこにあるかが明確でない場合に特に役立つ。ある例では、レーザポインタは、レーザ距離メータとしても機能することがある。
ある例では、一又はそれ以上のレーザポインタが、電動アクチュエータに取り付けられてスキャンニングプロセスを援助する。一又はそれ以上のレーザが利用されて、シーン内の目標ポイントの一又はそれ以上の位置を特定するのを支援することができる。例えば、ある実施形態では、ユーザは、目標ポイントを選択し(例えば、仮想又は物理的なユーザインタフェースを介して音響画像データ内の目標位置を選択し)、そして、スキャンニング機構（例えば、電動アクチュエータ）は、レーザポインタに命じて選択された目標ポイントに標準を合わせるように構成され得る。様々な例では、ユーザは、ディスプレイ若しくはシステムに組み込まれた制御セットを介して選択された目標ポイントを伝えることができる。その上若しくはそれとは別に、ユーザは複数の目標ポイントを選択できる。あるそのような例では、レーザポインタがそのような複数のポイント間をスキャンすることができ、及び／又は、複数のレーザポインタが複数の目標ポイントを（例えば、同時に）特定するために使用され得る。様々な実施が、単独の高速スキャンニングレーザデザインや複数のレーザデザインを含んでいることがある。
ある例では、音響撮像システムは、自動的に、一若しくはそれ以上の選択された及び／又は所定の、周波数、デシベルレベル、周期性、距離などのパラメータを満たす音などの目標ポイントを特定し、そして、レーザポインタに命じてシーン内の目標位置に向かってレーザを放射することができる。ある例では、単数又は複数のレーザポインタが、ユーザ選択パラメータ若しくは予めプログラムされた一又はそれ以上のパラメータのセット（例えば、一又はそれ以上の危険若しくは閾値条件を満たすパラメータ）に基づいて、音若しくは音プロファイルに向けられる。
複数の目標位置がシーン内に存在する例では、単独のレーザポインタを複数位置の間に移動することにより、複数の目標位置それぞれにレーザが放射されて、レーザが複数の特定された位置に向かって連続して放射され得る。その上若しくはそれとは別に、複数のレーザポインタは、複数の目標位置に向かって同時にレーザを放射するために使用されることがある。例えば、複数の目標位置のそれぞれが同時に特定され得るか、若しくは、目標位置のサブセットが同時に特定され得る。
ある実施形態では、一又はそれ以上のレーザポインタが、ディスプレイ上で視覚化されるか、又は、本明細書の他の個所に記載されたように、実際のシーンに対するディスプレイ上の位置をよりよく決定するために、例えば、具体的なアイコン又は整列された他のディスプレイマーカの使用によって、強調されることがある。
ある実施形態では、一又はそれ以上のレーザがユーザに表示された音響画像データ(例えば、一又はそれ以上の目標位置)を選択させることができることがある。この選択は、(例えば、システムプロセッサを介して)処理され得る入力を提供して、レーザシステム（一又はそれ以上のレーザと一又はそれ以上の対応するアクチュエータ）に、実際のシーンにおいて実際の音源を位置決めするために、それがどこに投射されるべきかについての情報を提供することを可能にする。ある例では、このことは、装置のスクリーン上に表示された音の位置決め及び視覚化時に（例えば、音響画像データを位置決めし、音響画像データを一又はそれ以上の追加のデータストリームに重ね合わせる時に）使用されるような三角法により成し遂げられることがある。ある実施形態では、レーザ距離メータから得られた情報がその位置決めと方位に対して細かい改善点を提供することがある。
ある実施形態では、一又はそれ以上のレーザポインタに加えて若しくはそれとは別に、音響撮像システムは、 例えば、音がシーン内で発生されている表面又はエリア、及び／又は、音が反射されているシーンの表面に音響画像データを投射するように、シーン上に一又はそれ以上の画像データセットの視覚化表現を投射するように構成された(例えば、プロジェクタ１１４を含む) プロジェクションシステムを含むことができる。プロジェクションシステムは、音響撮像装置に取り付けることができ、音響撮像装置と通信する別のプロジェクタ装置でありうる。例示された実施態様では、プロジェクションシステムは音響撮像装置に組み込まれたピコプロジェクタを含むことができる。
ある例では、プロジェクションシステムはシーンの一又はそれ以上の部分に音響画像データを投射することができる。ある実施形態では、ユーザは、シーンにおいてプロジェクションシステムが適切なデータ（例えば、音響画像データ）を投射する、（例えば、視覚化された若しくは他の方法で分析された音響画像データに基づいて）シーン内の単数又は複数の目標ポイントを選択することができる。その上若しくはそれとは別に、システムは、検出された音又は（例えば、一又はそれ以上の閾値を満たす周波数、デシベルレベル、周期性、距離などの選択されたパラメータのような）一又はそれ以上の所定の条件を満たす音プロファイルなどの一又はそれ以上の目標ポイントにシーン上において音響画像データを自動的に投射するように構成され得る。様々な例で、プロジェクションシステムは、その上若しくはそれとは別に、ユーザ選択パラメータ若しくは予めプログラムされたアルゴリズムに基づいて音響画像データを投射するように構成されることがある。
様々な例で、プロジェクションシステムは、リアルタイムで画像データを投射するか、及び／又は、ディスプレイ上に存在する音響画像データ表示を投射するように構成されている。ある例では、プロジェクションシステムは、シーンの静止画表現若しくは動画ループを投射することができる。ある例では、プロジェクションシステムは、例えば、画像認識ラインメント技術を用いて後でシーンの一又はそれ以上の位置に画像データを投射するように構成されることがある。ある実施形態では、プロジェクションシステムは、音響信号の(例えば、周波数、デシベルレベル、周期性、距離などの）音響パラメータを表すカラー調色（ｃｏｌｏｒ ｐａｌｅｔｔｉｚａｔｉｏｎ）を含む、音響信号の決められた位置に向かって、光を投射することができる。
本明細書の別の個所に記載されているように、レーザポインタはシーン内の音を特定するために使用され得る。ある実施例に従って、音響撮像ツールは、まず、周囲環境から音響信号と電磁データを受信する。音響データと電磁データは、プロセッサに伝えられ、例えば、音響画像データと電磁画像データを含むディスプレイ画像を生成することができる。
図３６は、システムがレーザポインタを差し向けることができるシーン内の位置をユーザが選択できる例示された実施例を示している。図示されているように、例示の実施態様では、ユーザは、(例えば、ディスプレイ３６１６上のタッチインタフェース、及び／又は、一又はそれ以上の物理的制御部３６１４を介して)ディスプレイ３６１６に存在する複数のインジケータ(音３６８２，３６８４，３６８６にそれぞれ対応する３６７２，３６７４，３６７６)のうちの一つを選択することができる。図３６に示された例において、ユーザは、ディスプレイ上のインジケータ３６７６を選択しているが、それはレーザポインタ３６０４の操縦を喚起し(例えば、対応する電動アクチュエータを介して)シーン内の音３６８６に標準を合わせて、レーザ３６０６を音３６８６に向かって放射する。図示されていないけれども、ユーザは、その後異なるインジケータ(例えば、３６７２又は３６７４)を選択して、レーザポインタの操縦を喚起しシーン内の異なる音(例えば、音３６８２又は音３６８４)に標準を合わせることができる。
ある実施形態では、シーン内の複数のポイントを特定することが有利であることがある。図３７は、３つの音(音３７８２，３７８４及び３７８６)を特定するために一又はそれ以上のレーザポインタが使用されている非限定実施形態を示している。図３７に関して、音響撮像システム３７１２は、一又はそれ以上のレーザポインタ３７０４に命じて、(例えば、一又はそれ以上の対応する電動アクチュエータを介して)特定された複数の音源に向かって一又はそれ以上の対応するレーザ３７０６を向ける。この特定の例において、音響撮像装置は、音源３７７２，３７７４及び３７７６を特定し、レーザポインタ３７０４に命じて、シーン内の音３７８２、３７８４及び３７８６にレーザ３７０６の標準を合わせる。ある例において、複数のレーザポインタ３７０４は、シーン内の対応する複数の位置に向かってレーザ３７０６を放射する。その上若しくはそれとは別に、一又はそれ以上のレーザポインタ３７０４は、様々な位置の間で移動して、異なる時間において異なる位置に向ける。
ある例では、音響撮像システムは、シーン内で検出されたすべての音の位置にレーザを向けるように構成されることがある。他の例では、レーザは、一又はそれ以上の条件(例えば、周波数、デシベルレベル、周期性、距離など）を満たす音響パラメータを有する音の位置に向けられるようにすることができる。その上若しくはそれとは別に、ユーザは、(例えば、ディスプレイ３７１６上のタッチインタフェース、及び／又は、一又はそれ以上の物理的制御部３７１４を介して)複数の音を選択できる。ユーザによる複数の音の選択は、レーザポインタの操縦を喚起して、実際のシーン内の選択音(例えば、音３７８２，３７８４及び３７８６)に向けることができる。別の実施形態において、ユーザは、その後異なる音若しくは異なる音サブセットを選択して、実際のシーン内の異なる音に向けたレーザポインタの操縦を喚起することができる。
ある実施態様では、レーザポインタを使用することに加えて、若しくはそれは別に、実際のシーンにディスプレイ画像内の音響画像を投射するために、プロジェクションシステムを用いることが有利であることがある。図３８は、ユーザ選択に基づいてディスプレイ画像３８１６内の位置に向かって音響画像データ３８２０を投射するプロジェクタシステム３８１８を示している。本明細書の別の個所に記載されているように、ディスプレイ画像３８１６が生成されユーザに提供される。図示されているように、ユーザはシーン上で音３８８２を発生している位置に対応するディスプレイ画像３８１６上の位置(例えば、インジケータ３８７２)を選択するが、それは音響撮像装置３８１２を喚起して音３８８２がそこから湧き出るシーンの位置に音３８８２を表す音響画像データ３８２０を投射する。音響撮像装置３８１２は、リプロジェクタ３８１８を介してそのような音響画像データを投射することができる。図示されてはいないけれども、ユーザは、その後、異なる音(例えば、音３８８４)に対応する異なる位置(例えば、インジケータ３８７４)を選択し、システムを喚起してシーン内の異なる音(例えば、音３８８４)に向かってデータを投射することができる。
ある実施態様では、単数若しくは複数のプロジェクタシステムを介して、シーン内の複数のポイントを特定することが有利なことがある。図３９は、そのような音の発生源に向かって音３９８２と３９８４を表す音響画像データ３９２０Aと３９２０Bを投射するプロジェクタシステム３９１８を有する音響撮像装置３９１２を示している。ある実施形態では、位置３９７２と３９７４からの音響画像データは、音響画像データ内で特定されていて、音響画像データは音３９８２と３９８４に関連するシーン内の位置に対応するものに投射される。ある例では、プロジェクタシステムは、検出された音響信号に関連して、シーン内のすべての位置に、音響画像データを投射するように構成されることがある。他の例では、音響画像データは、一又はそれ以上の所定の条件(例えば、周波数やデシベルレベルや周期性や距離など)を満たす一又はそれ以上のパラメータを有する音響信号を有する位置及び／若しくは一又はそれ以上の所定の条件に基づいてユーザが選択した一又はそれ以上のパラメータ若しくは音プロファイルに合致する音響信号を有する位置に向かって投射されることができる。
ある例では、位置３９７２と３９７４からの音響画像データは、そのような位置に関連して生成された音響画像データに基づいて特定されることがあり、音響画像データ３９２０Aと３９２０B がプロジェクタシステム３９１８により音３９８２と３９８４に関連した実際のシーンの対応する位置に投射される。その上若しくはそれとは別に、ユーザは、音響画像データを投射するところに向う複数の音を(例えば、タッチインタフェース及び／又は一若しくはそれ以上の制御を介して)選択することができる。ユーザによる複数の音の選択は、プロジェクタシステムを喚起して、音３９８２と３９８４に向かって投射される音響画像データ３９２０Ａや３９２０Ｂのような、シーン内の対応する位置に音響画像データを向けることができる。別の実施形態では、ユーザは、異なる音又は異なる音サブセットを選択し、プロジェクタシステムを喚起して、音響画像データを実際のシーン内の異なる音に向かって投射することができる。
本明細書の別の個所に記載されているように、様々な例において、音響撮像システム(例えば、手持ちの音響撮像ツール)は、音響シーン内の一若しくはそれ以上の音響信号の位置を特定するように構成されることがある。ある例では、そのようなシステムは、一若しくはそれ以上のレーザポインタを含み、一若しくはそれ以上の特定された音響信号に対応するシーン内の位置に向かってレーザポインタを投射するように構成されることがある。その上若しくはそれとは別に、ある実施形態では、音響撮像システムは、レーザ距離メータやパッシブ音響信号三角法（ｐａｓｓｉｖｅ ａｃｏｕｓｔｉｃ ｓｉｇｎａｌ ｔｒｉａｎｇｕｌａｔｉｏｎ）やアクティブ音響信号三角法（ａｃｔｉｖｅ ａｃｏｕｓｔｉｃ ｓｉｇｎａｌ ｔｒｉａｎｇｕｌａｔｉｏｎ）若しくはこれらのいずれかのある組み合わせなどにより、シーン内の一若しくはそれ以上の位置のターゲットまでの距離を決定するように構成されることがある。
例えば、図３６図３７に関連して、本明細書の他の個所で記載されているように、音響撮像システムは、一若しくはそれ以上の音響信号を検出し、ライブ又はスチールビデオ画像を介して(例えば、ディスプレイ画像内の音響画像データを生成し／表示することを介して)そのような音を視覚化し、例えば、一又はそれ以上のユーザ選択パラメータに基づいて音源に対し一又はそれ以上のレーザポインタを向けるように構成され得る。ある例では、そのようなレーザポインタは、シーン内の複数の位置のそれぞれにおけるターゲットまでに距離情報を提供することができる。ある実施形態では、音響撮像システムは、一又はそれ以上のレーザ距離測定情報や音響ビーム三角法などを用いて、体積空間（例えば、Ｘ－Ｙ－Ｚ空間）内のそのような位置の所在個所を算出するように構成されることがある。
システムは、一又はそれ以上の音源の決定された位置に基づく音響信号又は音源の決定された位置と距離に基づく反射の具象的エリアマップ又は具象的体積空間マップを決定するように構成されることがある。
ある実施形態では、ターゲットへの距離情報を含めそのような位置は、エリアマップ(例えば、Ｘ－Ｙ投射平面図)及び／又は体積空間マップ(例えば、Ｘ－Ｙ－Ｚ３次元表示）などの具象的なマップ上にレイアウトされ得る。ある例では、ユーザは音響信号の一又はそれ以上の発生源の位置を示す複数の視野から選択することができる。
ある例では、具象的エリアマップ又は具象的体積空間マップが以後の利用のために記憶させるか、及び／又は、音響撮像装置のディスプレイ上に表現され得る。ある実施形態では、様々なディスプレイモードが、具象的エリアマップ又は具象的体積空間マップのいずれかの視覚化のために利用可能であり得る。ある例では、ユーザは、選ばれた具象的エリアマップ若しくは具象的体積空間マップに基づき視覚化を手動で選択又は選択解除することができる。例えば、ある実施形態では、ユーザは他の音響信号を遮断している間に音響信号を視覚化するエリア又は体積空間を手動で定義することができる。その上若しくはそれとは別に、ユーザは、一又はそれ以上の音響信号(例えば、本明細書の他の個所に記載されたように生成された音響画像データ)を選択して、エリア又は体積空間表示内に含めるか若しくは排除することができる。ある例では、ユーザは一又はそれ以上の音響信号を選択して、エリアマップ若しくは体積空間マップが選択された音響信号の位置を少なくとも含むように少なくとも最小のエリア又は体積空間境界を定義することができる。ある例では、音響撮像装置は、周波数、デシベルレベル、周期性、距離などに関する条件のような、一又はそれ以上の条件を満たす一又はそれ以上のパラメータを有する音に基づいて、エリア内又は体積空間内の音を視覚化するように構成されることがある。
ある実施形態では、音響撮像システムは、近赤外光や可視光などを用いた「ドットプロジェクションシステム」を利用して、例えば、シーン全体の三次元プロファイルを定義するように構成されることがある。例示のドットプロジェクションシステムは、「オーバーラッピングパターンプロジェクタ（OVERLAPPING ＰATTERN PROJECTOR）」と題され、２０１４年７月２8日に出願された米国特許公報第２０１６００２５９９３号に記載されている。
その上若しくはそれとは別に、システムは、「視差補正を伴うマルチスペクトラル撮像のための装置と方法（ＡＰＰＡＲＡＴＵＳ ＡND METHOD FOR MULTISPECTRAL IMAGING WITH PARAＬＬＡＸ CORRECTION）」と題され、InfraRed Integrated System, Ltd社に譲受され、その関連部分が参照により本明細書に組み込まれた、２０１４年３月１３日に出願された米国特許第９７２９８０３号に記載されたような様々な方法のいずれかを使用して、シーンの三次元プロファイルを定義することができる。ある実施形態では、シーン内にみられるシーン構造の三次元表示は音響画像データ及び／又は電磁画像データと同期され、そして、ディスプレイ上に表示されるか又は以後の観察のために記憶されることがある。
ある例では、ユーザは (例えば、シーンの決定された三次元プロファイルのような) 関連する体積空間画像データを有するか若しくは有しない体積空間表示内において、若しくは、複数の異なる平面透視図からの（例えば、音響センサアレイの透視図からの又はＸ－Ｙ「間取り図」からの）二次元ビューなどにおいて、音響画像データを見るための方法を選択することができる。
本明細書に記載されているように、ある実施形態では、例示の音響撮像ツールは、ハウジングによって支持されているセンサアレイとレーザポインタ／レーザ距離メータとドットプロジェクタ(例えば、可視光ドットパターン若しくは近赤外線ドットパターンを放射する)とフラッシュライト／トーチを含むことができる。音響撮像ツールは、ディスプレイと(例えば、ユーザからの入力を受信するための)複数のインタフェース制御を含むことができる。ある実施形態では、音響撮像システムは、シーン上に、図３８と図３９に示されたように、画像データ(例えば、音響画像データ)を投射し、例えば、シーンの奥行プロファイルを決定するためにシーン上にドットパターンを放射するように構成されたプロジェクションシステムを含んでいる。
図４０は、音響画像データが、例えば、X-Y平面のような具象的なエリアマップにマップ化される例示の実施形態を示している。図示された例では、音響撮像システム４０１２は音響シーンから(例えば、プロセッサを介して)音４０８２、４０８４、４０８６をX-Y平面上にマップ化し、例えば、本明細書の他の個所に記載されているような決定された位置に基づいて二次元位置マップを生成することができる。図示されているように、音４０８２、４０８４、４０８６は、それぞれ、音響撮像装置４０１２のディスプレイ４０１６上にインジケータ４０７２、４０７４、４０７８を介して示されている。そのようなデータは、それぞれ、二次元位置４０９２、４０９４、４０９８にマップ化される。二次元エリアにマップ化されたデータは、例えば、調色されて本明細書の他の個所に記載されたような一又はそれ以上の音響パラメータを示す音響画像データを含むことができる。X-Y平面に加えて若しくはそれとは別に、極座標などの様々な他の座標系が使用され得ることは認識される。
二次元位置マップは、間取り図レイアウト、建築図面、CAD図面などの対応する二次元表示又は寸法図及びシーン表示の上に置かれることがある。ある実施形態では、ユーザは音響画像データの二次元マップを回転でき、及び／又は回転され得る音響画像データの二次元マップをズームイン／ズームアウトすることができ、異なる視点を提供し得る。
図４１は、Ｘ－Ｙエリアにマップ化され、間取り図レイアウト上に置かれた音４１７２、４１７４、４１７６を示している。そのような間取り図レイアウトは、トップダウンビューを示すか、又は、エリア内の他の構成要素の位置を示すことができる。
図４１は、音４１７２、４１７４、４１７６をX-Yエリアにマップ化し、マップ化された音を間取り図レイアウト４１２４上に置いた音響システム４１１６のディスプレイ４１１２を示している。そのような間取り図レイアウトは、トップダウンビューを示すか、又は、エリア内の他の構成要素の位置を示すことができる。
ある実施形態では、二次元マップに加えて若しくはそれに代わって、体積空間マップのような三次元マップ上に音をマップ化することが有利なことがある。図４２は、音響画像データが体積空間にマップ化されている例示の実施形態を示している。図示の例では、音響撮像システム４２１６は、体積X-Y-Z空間に音４２８２、４２８４、４２８６をマップ化している。ある例では、そのような音は音響撮像装置４２１２のディスプレイ４２１６上に示されるように、それぞれ、インジケータ４２７２、４２７４、４２７６によって示される音響画像データ内にみられることがある。図示された体積空間マッピングはデカルト座標で示されているけれども、円筒座標や球座標などのような様々な他の座標系が利用され得ることは認識される。
ある実施形態では、音響画像データの体積空間座標が、例えば、音響画像データ及び／又はディスプレイ画像に関連して、メモリ内に保存されることがある。ある実施形態では、音響データの表示は、図４３に示された体積空間表示に示されているように、体積空間表示内に見られ得る。図４３は、インジケータ４３７２、４３７４、４３７６を介して示される、検出音の３次元位置を含む音響画像データの体積空間表示を示すディスプレイ４３１６を含む音響撮像装置４３１２を示している。ある例では、そのような音響データは、音響画像データに関連して本明細書の他の個所に記載されているように、調色される。ある実施形態では、ユーザは、体積空間表示上で回転及び／又はズームイン／ズームアウトすることができ、音響信号の位置関係を点検することができる。図４２には示されていないけれども、 (例えば、図４１に示されるような) 間取り図レイアウトのようなシーンの二次元表示がX-Y-ZビューのX-Y 平面内に含められ、体積空間表示に追加のコンテキストを提供することができ得る。
ある実施形態では、あらかじめ決められたモデルを使用するよりかむしろシーンの二次元若しくは三次元のモデルを生成することの方が望ましいか若しくはそうしなければならないことがある。図４４は、例えば、近赤外線スペクトルや可視光スペクトルなどの波長を用いて、シーンにドットパターン４４２８を投射するドットプロジェクションシステム４４１８を使用することができる音響撮像システム４４１２を示している。音響撮像装置は、ドットパターン４４２８を分析して、シーンの三次元モデルを作成するように構成されることがある。
さらに、音響撮像システムは、本明細書の他の個所に記載された方法を用いてX-Y-Z空間内の特定音４４８２、４４８４、４４８６の位置を算出するように構成されることがある。音響撮像システムは、特定音の体積空間位置とシーンの三次元モデルを組み合わせて、シーン内の音の位置決めすることができる。ある例では、システムは、シーンの三次元表示内に位置決めされた音響画像データを表示するように構成されることがある。
図４５は、シーンの３次元表示にマップ化された音響画像データの視覚化を含む例示のディスプレイ画像を示している。ある例では、シーンの三次元モデル視覚化が、図４４に関連してそして本明細書の他の個所において記載されたようなドットプロジェクタを用いて、若しくは他の技術を介して、生成され得る。図示されているように、音響撮像装置４５１２は、音響画像データの体積空間表示を含むディスプレイ画像を表示するディスプレイ４５１６を含んでいる。体積空間画像データは、例えば、ドットプロジェクション分析に基づいて、三次元にマップ化された可視光画像データである電磁画像データの三次元ビューを含む三次元表示４５５０を含んでいる。インジケータ４５８２、４５８４、４５８６は、検出された音響信号に対応する位置でディスプレイ画像内に含まれている。本明細書の他の個所において記載されているように、そのような位置は、例えば、バックプロパゲーション技術などを介して決定され、そして、音響画像データは一若しくはそれ以上の音響パラメータの調色表現を含むことができる。
そのようなディスプレイ画像は、ユーザがシーン内でインジケータによって表された音響信号の位置(奥行を含めて)を視覚化するのを支援することができる。ある例では、三次元表示ビューが、例えば、回転及び／又はズームを介して、修正されて、ユーザがシーンの異なる部分を点検することを可能にする。
様々な実施形態では、本明細書に記載されている三次元表示は、手持ちの音響撮像ツールのような音響撮像システムを介して、リアルタイムで生成され得る。その上若しくはそれとは別に、音響データのような音響撮像システムから集められたデータ、ターゲットまでの距離データ、シーンの体積空間プロファイルを表す体積空間データなどは、メモリに保存され、後で分析され／視覚化され得る。ある実施形態では、そのようなデータは、スマートフォン、タブレット、コンピュータ若しくは他の処理／表示装置のような、処理及び／又は表示のための外部装置に通信され得る。
本明細書に記載の様々なプロセスは、一又はそれ以上のプロセッサをそのようなプロセスに実行させるための実行可能命令を含む非一時的なコンピュータ可読媒体として具体化することができる。システムは、例えば、プロセッサと一体の、若しくは、プロセッサの外部のメモリに記憶された命令に基づいて、そのようなプロセスを実行するように構成された一又はそれ以上のプロセッサを含むことができる。場合によっては、様々な構成要素がシステム全体に分散されることが可能である。例えば、システムは、複数の分散プロセッサを含むことができ、各構成されたプロセッサは、システムによって実行されるプロセス全体の少なくとも一部を実行する。さらに、本明細書に記載の様々な特徴及び機能が、例えば、手持ち式音響撮像ツール又は様々な別個の及び／又は分離可能な構成要素を有する分散システムとして具体化される単一の音響撮像システムに組み合わせることができることが理解されよう。
本明細書に記載の構成要素の様々な機能は組み合わされることが可能である。ある実施形態では、本出願に記載されている特徴は、「音響画像にタグ付けし、関連付けするシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＴＡＧＧＩＮＧ ＡＮＤ ＬＩＮＫＩＮＧ ＡＣＯＵＳＴＩＣ ＩＭＡＧＥＳ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１７９．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「着脱自在の音響撮像センサのためのシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＴＡＣＨＡＢＬＥ ＡＮＤ ＡＴＴＡＣＨＡＢＬＥ ＡＣＯＵＳＴＩＣ ＩＭＡＧＩＮＧ ＳＥＮＳＯＲＳ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８０．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「音響データを分析及び表示するシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＮＡＬＹＺＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＡＣＯＵＳＴＩＣ ＤＡＴＡ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８１．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「ターゲットシーンからの音響シグネチャを表示するシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＲＥＰＲＥＳＥＮＴＩＮＧ ＡＣＯＵＳＴＩＣ ＳＩＧＮＡＴＵＲＥＳ ＦＲＯＭ Ａ ＴＡＲＧＥＴ ＳＣＥＮＥ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８２．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。
様々な実施形態が説明されてきた。このような例は非限定的であり、いかなる方法でも本発明の範囲を限定又は制限するものではない。

Claims (11)

  1. 複数の音響センサ要素からなる音響センサアレイであって、該複数の音響センサ要素がシーンから音響信号を受信するとともに該音響信号に基づき音響データを出力するように構成されている音響センサアレイと、
    前記シーンに向かって電磁放射を放射するように構成されている照明器であって、前記シーンに向かう電磁放射の放射を制御するユーザの入力に従い、第１の範囲の波長又は該第１の範囲の波長とは異なる第２の範囲の波長若しくは前記第１の範囲の波長と前記第２の範囲の波長の双方を含む電磁放射を放射するように構成された照明器と、
    前記シーンから電磁放射を受信し、該電磁放射を示す電磁画像データを出力するように構成された電磁撮像ツールであって、可視光カメラモジュールと赤外光カメラモジュールを具備するとともに、前記第１の範囲の波長と前記第２の範囲の波長を含む電磁放射を検出するように構成された電磁撮像ツールと、
    ターゲットへの距離を示す距離情報を提供するように構成された距離測定ツールであって、距離が測定される前記シーン内の位置に向かって、前記可視光カメラモジュール又は前記赤外光カメラモジュールの少なくとも一方によって検出可能であって前記電磁放射を示す前記電磁画像データとして出力可能な、前記第１の範囲の波長又は前記第２の範囲の波長を有する光を放出する距離測定ツールと、
    ディスプレイと、
    前記音響センサアレイと、前記照明器と、前記電磁撮像ツールと、前記距離測定ツールと、前記ディスプレイと通信するプロセッサと、
    前記音響センサアレイと、前記照明器と、前記電磁撮像ツールと、前記ディスプレイと、前記プロセッサを支持するハウジングとを備え、
    前記音響センサアレイと前記電磁撮像ツールは前記ハウジングの前面側にあるが、前記ディスプレイは前記ハウジングの前記前面側とは反対の前記ハウジングの裏面側にあり、
    前記プロセッサは、前記照明器を介して前記シーンに照明を当て、前記電磁撮像ツールから前記シーンを示す電磁画像データを受信し、前記距離測定ツールから前記ターゲットへの距離を示す距離情報を受信し、前記音響データと該距離情報に基づき前記シーンの音響画像データを生成し、組み合わされた音響画像データと電磁画像データからなるディスプレイ画像であって、距離測定ツールが光を放出する前記シーン内の位置の可視的目印を含むディスプレイ画像を生成し、該ディスプレイ画像をディスプレイに伝えるように構成された音響分析のためのシステム。
  2. 第１の範囲の波長が、近赤外光を含む請求項１に記載のシステム。
  3. 第１の範囲の波長が、可視光を含む請求項１又は２に記載のシステム。
  4. 照明器が、第１の範囲の波長内で電磁放射を放射するように構成された第１の照明器と第２の範囲の波長内で電磁放射を放射するように構成された第２の照明器を具備する請求項１に記載のシステム。
  5. さらに、プロセッサと通信する周囲光センサを具備し、該プロセッサが該周囲光センサから周囲光量を示すデータを受信するように構成されている請求項１～４のいずれか一つに記載のシステム。
  6. プロセッサが、所定の閾値以下である周囲光量に応じて、照明器に前記シーンに照明を当てさせるように構成されている請求項５に記載のシステム。
  7. プロセッサが、所定の閾値以下である周囲光量に応じて、ユーザに勧めて前記シーンに照明を当てさせるように構成されている請求項５又は６に記載のシステム。
  8. さらに、プロセッサと通信するレーザポインタを具備し、該プロセッサが該レーザポインタに前記シーンに向けてレーザを放射させるように構成されている請求項１～７のいずれか一つに記載のシステム。
  9. 距離測定ツールが、レーザポインタを含んでいる請求項８に記載のシステム。
  10. プロセッサが前記シーン内のレーザの位置を決定し、前記シーン内のレーザの位置を示すグラフィカルインジケータをディスプレイ画像内に提供するように構成されている請求項８又は９に記載のシステム。
  11. 電磁撮像ツールが、音響センサアレイの中心に位置している請求項１～１０のいずれか一つに記載のシステム。
JP2021504176A 2018-07-24 2019-07-24 音響データを投射および表示するためのシステム及び方法 Active JP7488250B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862702716P 2018-07-24 2018-07-24
US62/702,716 2018-07-24
PCT/US2019/043217 WO2020023622A1 (en) 2018-07-24 2019-07-24 Systems and methods for projecting and displaying acoustic data

Publications (2)

Publication Number Publication Date
JP2021532356A JP2021532356A (ja) 2021-11-25
JP7488250B2 true JP7488250B2 (ja) 2024-05-21

Family

ID=67539638

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2021504176A Active JP7488250B2 (ja) 2018-07-24 2019-07-24 音響データを投射および表示するためのシステム及び方法
JP2021504177A Active JP7417587B2 (ja) 2018-07-24 2019-07-24 音響データを分析及び表示するためのシステム及び方法
JP2021504173A Withdrawn JP2021532355A (ja) 2018-07-24 2019-07-24 音響画像にタグを付けて関連付けるためのシステム及び方法
JP2021504180A Active JP7403526B2 (ja) 2018-07-24 2019-07-24 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法
JP2021504179A Active JP7493491B2 (ja) 2018-07-24 2019-07-24 標的シーンからの音響シグネチャを表すためのシステムおよび方法
JP2024000575A Pending JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2021504177A Active JP7417587B2 (ja) 2018-07-24 2019-07-24 音響データを分析及び表示するためのシステム及び方法
JP2021504173A Withdrawn JP2021532355A (ja) 2018-07-24 2019-07-24 音響画像にタグを付けて関連付けるためのシステム及び方法
JP2021504180A Active JP7403526B2 (ja) 2018-07-24 2019-07-24 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法
JP2021504179A Active JP7493491B2 (ja) 2018-07-24 2019-07-24 標的シーンからの音響シグネチャを表すためのシステムおよび方法
JP2024000575A Pending JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Country Status (6)

Country Link
US (7) US11960002B2 (ja)
EP (5) EP3827227A1 (ja)
JP (6) JP7488250B2 (ja)
KR (5) KR20210035273A (ja)
CN (5) CN112739995A (ja)
WO (5) WO2020023633A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
EP3827227A1 (en) 2018-07-24 2021-06-02 Fluke Corporation Systems and methods for projecting and displaying acoustic data
EP3891477A2 (en) 2018-12-03 2021-10-13 Sonelite Inc. Multi-wavefield flow sensing devices and related methods
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
DE102020107181B4 (de) 2020-03-16 2023-09-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und deren verwendung zum orten von schallquellen durch beamforming
KR20230065299A (ko) 2020-09-11 2023-05-11 플루커 코포레이션 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법
EP4211494A2 (en) 2020-09-11 2023-07-19 Fluke Corporation System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation
EP4009126B1 (en) * 2020-12-04 2024-05-08 United Grinding Group Management AG Method of operating a machine for a production facility
KR102487086B1 (ko) * 2021-01-19 2023-01-10 국방과학연구소 가변형 선측배열 소나 시스템, 이를 포함하는 수중운동체 및 수중운동체의 동작 방법
KR20220170653A (ko) 2021-06-23 2022-12-30 한국전력공사 초음파 가시화와 위상분해 분석을 적용한 부분방전 진단 방법 및 장치
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
US20230115216A1 (en) * 2021-10-09 2023-04-13 Theon Technologies, Inc. Utilization Of Coordinate Systems For Compression And Encryption
AU2022439107A1 (en) 2022-02-01 2024-09-19 Landscan Llc Systems and methods for multispectral landscape mapping
CN114858271B (zh) * 2022-07-05 2022-09-23 杭州兆华电子股份有限公司 一种声音探测用的阵列放大方法
KR102523631B1 (ko) 2022-09-19 2023-04-19 주식회사 창성에이스산업 가스누출 및 화재발생 감지시스템
CN115899598B (zh) * 2022-11-17 2024-06-21 浙江英集动力科技有限公司 一种融合听觉和视觉特征的供热管网状态监测方法及系统
DE102023100701B3 (de) * 2023-01-13 2024-02-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Akustik-thermisches Verfahren und Vorrichtung zur Bestimmung von Undichtigkeiten in einer Gebäudehülle
CN117452336B (zh) * 2023-10-25 2024-06-04 东北大学 一种无人机声事件检测定位装置
CN118248169B (zh) * 2024-05-20 2024-08-16 广东力创信息技术有限公司 一种基于音频数据的燃气泄漏识别方法以及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075014A (ja) 1998-09-01 2000-03-14 Isuzu Motors Ltd 音源探索方法
JP2004021031A (ja) 2002-06-18 2004-01-22 Olympus Corp カメラ
US20040264542A1 (en) 2002-03-13 2004-12-30 Raytek, Inc. Radiometer with digital imaging system
WO2006060746A3 (en) 2004-12-03 2007-03-01 Infrared Solutions Inc Visible light and ir combined image camera with a laser pointer
WO2009130243A2 (en) 2008-04-25 2009-10-29 Stichting Voor De Technische Wetenschappen Acoustic holography
JP2011015050A (ja) 2009-06-30 2011-01-20 Nittobo Acoustic Engineering Co Ltd ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム
JP2013250111A (ja) 2012-05-31 2013-12-12 Ono Sokki Co Ltd 音源探査装置
JP2016515698A (ja) 2013-03-15 2016-05-30 フルークコーポレイションＦｌｕｋｅ Ｃｏｒｐｏｒａｔｉｏｎ 分離した無線モバイル装置を用いて赤外線画像に可視的な視聴覚の注釈付け
WO2018055232A1 (en) 2016-09-22 2018-03-29 Noiseless Acoustics Oy An acoustic camera and a method for revealing acoustic emissions from various locations and devices
JP2018077837A (ja) 2016-10-28 2018-05-17 Ｊｆｅスチール株式会社 位置認識方法およびシステム、ならびに異常判定方法およびシステム

Family Cites Families (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3592534A (en) 1969-04-07 1971-07-13 Bell & Howell Co Audiovisual display system
JPS5939341B2 (ja) 1979-07-04 1984-09-22 富士重工業株式会社 車両運搬車
DE3233059C2 (de) 1982-09-06 1985-03-21 Oerlikon-Boehringer GmbH, 7320 Göppingen Tiefbohrmaschine
US4662222A (en) 1984-12-21 1987-05-05 Johnson Steven A Apparatus and method for acoustic imaging using inverse scattering techniques
NL9201787A (nl) 1992-10-14 1994-05-02 Jacobus Lambertus Van Merkstei Lokalisatie van storingen.
US6006175A (en) 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
JP2830839B2 (ja) 1996-05-10 1998-12-02 日本電気株式会社 距離計測装置
US7085387B1 (en) 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
DE19844870A1 (de) 1998-09-30 2000-04-20 Bruno Stieper Verfahren zum Darstellen eines Schallfeldes
US20040021031A1 (en) 1998-11-16 2004-02-05 Dan Klaus Device for traversing a flexible linear product for spooling
US6239348B1 (en) 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
US7092882B2 (en) 2000-12-06 2006-08-15 Ncr Corporation Noise suppression in beam-steered microphone array
WO2003011139A1 (en) 2001-07-31 2003-02-13 Koninklijke Philips Electronics N.V. Transesophageal and transnasal, transesophageal ultrasound imaging systems
US6907799B2 (en) 2001-11-13 2005-06-21 Bae Systems Advanced Technologies, Inc. Apparatus and method for non-destructive inspection of large structures
DE10200561B4 (de) 2002-01-09 2006-11-23 Eads Deutschland Gmbh Radarsystem mit einem phasengesteuerten Antennen-Array
US6901028B2 (en) 2002-03-14 2005-05-31 Input/Output, Inc. Marine seismic survey apparatus with graphical user interface and real-time quality control
WO2003096883A2 (en) 2002-05-16 2003-11-27 Barbara Ann Karmanos Cancer Institute Combined diagnostic and therapeutic ultrasound system
JP2004077277A (ja) 2002-08-19 2004-03-11 Fujitsu Ltd 音源位置の可視化表示方法および音源位置表示装置
JP4368798B2 (ja) * 2002-08-30 2009-11-18 日東紡音響エンジニアリング株式会社 音源探査システム
AU2003275290B2 (en) 2002-09-30 2008-09-11 Verax Technologies Inc. System and method for integral transference of acoustical events
GB0229059D0 (en) 2002-12-12 2003-01-15 Mitel Knowledge Corp Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle
DE10304215A1 (de) * 2003-01-30 2004-08-19 Gesellschaft zur Förderung angewandter Informatik eV Verfahren und Vorrichtung zur bildgebenden Darstellung von akustischen Objekten sowie ein entsprechendes Computerprogramm-Erzeugnis und ein entsprechendes computerlesbares Speichermedium
KR100677554B1 (ko) 2005-01-14 2007-02-02 삼성전자주식회사 비임형성 방식을 이용한 녹음 장치 및 그 방법
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US8253619B2 (en) 2005-02-15 2012-08-28 Techtronic Power Tools Technology Limited Electromagnetic scanning imager
WO2006090320A1 (en) 2005-02-23 2006-08-31 Lyncee Tec S.A. Wave front sensing method and apparatus
DE102005030326B4 (de) 2005-06-29 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals
US7996212B2 (en) 2005-06-29 2011-08-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for analyzing an audio signal
JP4983207B2 (ja) 2006-01-30 2012-07-25 日産自動車株式会社 異音対策確認装置および異音対策確認方法
US7532541B2 (en) 2006-02-23 2009-05-12 Fev Engine Technology, Inc Object detection using acoustic imaging
CN100489851C (zh) * 2006-04-29 2009-05-20 上海杰图软件技术有限公司 构建全景电子地图服务的方法
US20080119716A1 (en) 2006-05-17 2008-05-22 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems
DE102006052451B4 (de) 2006-07-24 2008-05-08 Siemens Ag Verfahren zum Betrieb eines dezentralen Datennetzes
EP1936404B1 (en) 2006-12-18 2008-12-10 Aloka Co., Ltd. Ultrasound diagnosis apparatus
US7798967B2 (en) 2006-12-19 2010-09-21 Aloka Co., Ltd. Ultrasound diagnosis apparatus
EP2111165B8 (en) * 2007-01-19 2017-10-04 Sunnybrook Health Sciences Centre Imaging probe with combined ultrasound and optical means of imaging
US8395496B2 (en) * 2007-03-29 2013-03-12 Shiv P Joshi Miniature modular wireless sensor
CN100505837C (zh) * 2007-05-10 2009-06-24 华为技术有限公司 一种控制图像采集装置进行目标定位的系统及方法
CN101079947A (zh) * 2007-05-17 2007-11-28 孟均 一种影像采集系统
US8638362B1 (en) 2007-05-21 2014-01-28 Teledyne Blueview, Inc. Acoustic video camera and systems incorporating acoustic video cameras
EP2063419B1 (en) 2007-11-21 2012-04-18 Nuance Communications, Inc. Speaker localization
JP5050935B2 (ja) 2008-03-06 2012-10-17 日本電気株式会社 ソーナー受信装置
CN101290347B (zh) * 2008-06-13 2011-04-27 清华大学 用规则声阵列和单摄像机获取静止声源声场图像的方法
US8446254B2 (en) 2008-11-03 2013-05-21 Thingmagic, Inc. Methods and apparatuses for RFID tag range determination
US8416957B2 (en) * 2008-12-04 2013-04-09 Honda Motor Co., Ltd. Audio source detection system
TWI389579B (zh) 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
WO2010148141A2 (en) 2009-06-16 2010-12-23 University Of Florida Research Foundation, Inc. Apparatus and method for speech analysis
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
WO2011069964A1 (en) 2009-12-11 2011-06-16 Sorama Holding B.V. Acoustic transducer assembly
JP2011163776A (ja) 2010-02-04 2011-08-25 Ono Sokki Co Ltd 音源モニタリング装置
US8707785B2 (en) 2010-04-16 2014-04-29 U.E. Systems, Inc. On-board ultrasonic frequency spectrum and image generation
JP5553672B2 (ja) * 2010-04-26 2014-07-16 キヤノン株式会社 音響波測定装置および音響波測定方法
CN201718024U (zh) * 2010-05-07 2011-01-19 中国科学院声学研究所 一种平面螺旋形传声器阵列
JP2012021969A (ja) 2010-06-18 2012-02-02 Panasonic Electric Works Co Ltd 部屋、配線器具
EP2413115A1 (en) 2010-07-30 2012-02-01 Technische Universiteit Eindhoven Generating a control signal based on acoustic data
KR101219746B1 (ko) 2010-08-24 2013-01-10 서울대학교산학협력단 탄성 매질에서의 주파수 영역 역시간 구조보정을 이용한 지하구조의 영상화 장치 및 방법
EP2638694A4 (en) 2010-11-12 2017-05-03 Nokia Technologies Oy An Audio Processing Apparatus
KR101736911B1 (ko) * 2010-12-07 2017-05-19 한국전자통신연구원 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법
JP2012133250A (ja) 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
JP5702160B2 (ja) 2011-01-20 2015-04-15 中部電力株式会社 音源推定方法及び音源推定装置
US9176990B2 (en) 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
US20160025993A1 (en) 2014-07-28 2016-01-28 Apple Inc. Overlapping pattern projector
KR101213540B1 (ko) 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
US20130155248A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130155249A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130162835A1 (en) 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
US9495591B2 (en) 2012-04-13 2016-11-15 Qualcomm Incorporated Object recognition using multi-modal matching scheme
KR101204499B1 (ko) 2012-05-25 2012-11-26 주식회사 서울산전 영상기능이 부가된 전력설비진단용 초음파 진단장치
US9964747B2 (en) * 2012-06-11 2018-05-08 Helmholtz Zentrum Munchen Deutsches Forschungszentrum Fur Gesundheit Und Umwelt (Gmbh) Imaging system and method for imaging an object
US9599632B2 (en) 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
TW201412092A (zh) * 2012-09-05 2014-03-16 Acer Inc 多媒體處理系統及音訊信號處理方法
CN102879080B (zh) 2012-09-11 2014-10-15 上海交通大学 基于图像识别定位和声学传感器阵列测量的声场分析方法
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理系统及音频信号处理方法
WO2014064689A1 (en) 2012-10-22 2014-05-01 Tomer Goshen A system and methods thereof for capturing a predetermined sound beam
US20140115055A1 (en) * 2012-10-23 2014-04-24 Dean Kenneth Jackson Co-relating Visual Content with Geo-location Data
US9247367B2 (en) 2012-10-31 2016-01-26 International Business Machines Corporation Management system with acoustical measurement for monitoring noise levels
US9260958B2 (en) 2012-12-20 2016-02-16 Schlumberger Technology Corporation System and method for acoustic imaging using a transducer array
CN103226038B (zh) * 2013-01-08 2014-09-17 中科声相（天津）科技有限公司 一种可拼拆式无浮线传感器阵列
FR3000862B1 (fr) 2013-01-08 2015-01-09 ACB Engineering Dispositifs passifs d'acquisition acoustique large bande et systemes passifs d'imagerie acoustique large bande.
JP6061693B2 (ja) 2013-01-18 2017-01-18 株式会社日立パワーソリューションズ 異常診断装置およびこれを用いた異常診断方法
WO2014113891A1 (en) * 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
CN105229737B (zh) * 2013-03-13 2019-05-17 寇平公司 噪声消除麦克风装置
US9729803B2 (en) 2013-03-15 2017-08-08 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with parallax correction
US20140267757A1 (en) 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
US20140269163A1 (en) 2013-03-15 2014-09-18 Navico, Inc. Sonar Multi-Function Display With Built-In Chirp Processing
CN105191345B (zh) * 2013-03-29 2016-11-02 日产自动车株式会社 声源探测用麦克风支承装置
KR102080746B1 (ko) 2013-07-12 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP6342136B2 (ja) 2013-10-15 2018-06-13 三菱重工業株式会社 レーダ装置
GB2519347A (en) 2013-10-18 2015-04-22 Pole Star Space Applic Ltd Method and apparatus for tracking and checking compliance of vessels such as ships
US9635456B2 (en) 2013-10-28 2017-04-25 Signal Interface Group Llc Digital signal processing with acoustic arrays
US9798030B2 (en) 2013-12-23 2017-10-24 General Electric Company Subsea equipment acoustic monitoring system
JP2015152316A (ja) * 2014-02-10 2015-08-24 株式会社小野測器 音源可視化装置
FR3018023B1 (fr) 2014-02-25 2017-07-07 Micro Db Dispositif d’identification de sources acoustiques
US9697465B2 (en) 2014-04-30 2017-07-04 Google Technology Holdings LLC Drawing an inference of a usage context of a computing device using multiple sensors
JP6218090B2 (ja) 2014-05-09 2017-10-25 パナソニックＩｐマネジメント株式会社 指向性制御方法
EP2958054B1 (en) 2014-06-18 2024-07-03 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
EP3172541A4 (en) 2014-07-23 2018-03-28 The Australian National University Planar sensor array
KR101866609B1 (ko) * 2014-07-28 2018-06-12 두산중공업 주식회사 지능형 소음감시장치 및 이를 이용한 소음감시방법
US20160073087A1 (en) 2014-09-10 2016-03-10 Lenovo (Singapore) Pte. Ltd. Augmenting a digital image with distance data derived based on acoustic range information
US20160076937A1 (en) 2014-09-17 2016-03-17 Fluke Corporation Display of images from an imaging tool embedded or attached to a test and measurement tool
CN106852189B (zh) * 2014-10-24 2019-09-27 弗兰克公司 底层墙体结构探测器和红外相机
CN104361586A (zh) * 2014-10-31 2015-02-18 国网上海市电力公司 基于全景图的电力杆塔维护与预警系统
EP3225280A4 (en) 2014-11-26 2018-06-20 Attibe Beauty Co., Ltd. Ultrasonic wave generating device and procedure method using same
US20160165341A1 (en) 2014-12-05 2016-06-09 Stages Pcs, Llc Portable microphone array
US9736580B2 (en) 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
US10028053B2 (en) 2015-05-05 2018-07-17 Wave Sciences, LLC Portable computing device microphone array
WO2016176854A1 (en) 2015-05-07 2016-11-10 SZ DJI Technology Co., Ltd. System and method for detecting an object
KR101687825B1 (ko) 2015-05-18 2016-12-20 현대자동차주식회사 차량 및 그 제어 방법
US20160364960A1 (en) 2015-06-09 2016-12-15 Elwha Llc Systems and methods for ultrasonically induced tactile stimuli in an entertainment system
US20170225033A1 (en) * 2015-06-23 2017-08-10 Ipcomm Llc Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback
GB2540226A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio microphone array and locator configuration
US20170010359A1 (en) * 2015-07-09 2017-01-12 Deca System, Inc. Golf device with gps and laser rangefinder functionalities
JP5939341B1 (ja) 2015-07-14 2016-06-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
JP6543844B2 (ja) 2015-08-27 2019-07-17 本田技研工業株式会社 音源同定装置および音源同定方法
US10042038B1 (en) 2015-09-01 2018-08-07 Digimarc Corporation Mobile devices and methods employing acoustic vector sensors
KR101678203B1 (ko) * 2015-09-08 2016-12-07 (주)에스엠인스트루먼트 전방향 음장을 전방향 영상에 중첩하여 표현하는 mems 음향센서를 이용한 전방향 음향 시각화 장치
CN205067744U (zh) 2015-10-23 2016-03-02 河海大学 一种范围可调式移动终端控制型障碍物探测系统
JP6665379B2 (ja) 2015-11-11 2020-03-13 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
US20170150254A1 (en) * 2015-11-19 2017-05-25 Vocalzoom Systems Ltd. System, device, and method of sound isolation and signal enhancement
US10008028B2 (en) 2015-12-16 2018-06-26 Aquifi, Inc. 3D scanning apparatus including scanning sensor detachable from screen
US10408933B1 (en) 2016-01-08 2019-09-10 Johnson Outdoors Inc. Sonar imaging system with lateral target placement and multiple color display
KR20170098089A (ko) 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20170281982A1 (en) 2016-03-31 2017-10-05 Family Health International Methods and systems for generating an occlusion using ultrasound
JP2017207399A (ja) 2016-05-19 2017-11-24 株式会社小野測器 音源探査装置及び音源探査方法
US10375325B2 (en) 2016-06-23 2019-08-06 Fluke Corporation Thermal anomaly detection
KR102625247B1 (ko) * 2016-11-11 2024-01-16 삼성전자주식회사 카메라와 음향 부품을 포함하는 전자 장치
EP3611933A1 (en) 2017-01-05 2020-02-19 Harman Becker Automotive Systems GmbH Active noise reduction earphones
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
GB201710093D0 (en) * 2017-06-23 2017-08-09 Nokia Technologies Oy Audio distance estimation for spatial audio processing
US20190129027A1 (en) 2017-11-02 2019-05-02 Fluke Corporation Multi-modal acoustic imaging tool
US11099075B2 (en) 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
WO2019104329A1 (en) * 2017-11-27 2019-05-31 Optecks, Llc Medical three-dimensional (3d) scanning and mapping system
US11494158B2 (en) * 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3827227A1 (en) 2018-07-24 2021-06-02 Fluke Corporation Systems and methods for projecting and displaying acoustic data
US10694167B1 (en) * 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075014A (ja) 1998-09-01 2000-03-14 Isuzu Motors Ltd 音源探索方法
US20040264542A1 (en) 2002-03-13 2004-12-30 Raytek, Inc. Radiometer with digital imaging system
JP2004021031A (ja) 2002-06-18 2004-01-22 Olympus Corp カメラ
WO2006060746A3 (en) 2004-12-03 2007-03-01 Infrared Solutions Inc Visible light and ir combined image camera with a laser pointer
WO2009130243A2 (en) 2008-04-25 2009-10-29 Stichting Voor De Technische Wetenschappen Acoustic holography
JP2011015050A (ja) 2009-06-30 2011-01-20 Nittobo Acoustic Engineering Co Ltd ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム
JP2013250111A (ja) 2012-05-31 2013-12-12 Ono Sokki Co Ltd 音源探査装置
JP2016515698A (ja) 2013-03-15 2016-05-30 フルークコーポレイションＦｌｕｋｅ Ｃｏｒｐｏｒａｔｉｏｎ 分離した無線モバイル装置を用いて赤外線画像に可視的な視聴覚の注釈付け
WO2018055232A1 (en) 2016-09-22 2018-03-29 Noiseless Acoustics Oy An acoustic camera and a method for revealing acoustic emissions from various locations and devices
JP2018077837A (ja) 2016-10-28 2018-05-17 Ｊｆｅスチール株式会社 位置認識方法およびシステム、ならびに異常判定方法およびシステム

Also Published As

Publication number Publication date
US11965958B2 (en) 2024-04-23
JP2021532358A (ja) 2021-11-25
CN112739996A (zh) 2021-04-30
US20210310856A1 (en) 2021-10-07
WO2020023633A1 (en) 2020-01-30
US20210310857A1 (en) 2021-10-07
WO2020023631A1 (en) 2020-01-30
JP7493491B2 (ja) 2024-05-31
CN112703375A (zh) 2021-04-23
JP2021532355A (ja) 2021-11-25
US11960002B2 (en) 2024-04-16
KR20210034076A (ko) 2021-03-29
CN112703376A (zh) 2021-04-23
WO2020023627A1 (en) 2020-01-30
JP7403526B2 (ja) 2023-12-22
US11762089B2 (en) 2023-09-19
US20240264305A1 (en) 2024-08-08
KR20210034661A (ko) 2021-03-30
US20240118416A1 (en) 2024-04-11
EP3827227A1 (en) 2021-06-02
JP2021532359A (ja) 2021-11-25
JP2021532357A (ja) 2021-11-25
JP7417587B2 (ja) 2024-01-18
KR20210035881A (ko) 2021-04-01
KR20210035273A (ko) 2021-03-31
US20210311188A1 (en) 2021-10-07
JP2021532356A (ja) 2021-11-25
WO2020023622A1 (en) 2020-01-30
KR20210033532A (ko) 2021-03-26
US20210293953A1 (en) 2021-09-23
EP3827226A1 (en) 2021-06-02
CN112739997A (zh) 2021-04-30
EP3827228A1 (en) 2021-06-02
EP3827229A1 (en) 2021-06-02
CN112739995A (zh) 2021-04-30
WO2020023629A1 (en) 2020-01-30
JP2024041847A (ja) 2024-03-27
US20210311187A1 (en) 2021-10-07
CN112739997B (zh) 2024-08-23
EP3827230A1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
JP7488250B2 (ja) 音響データを投射および表示するためのシステム及び方法
US20220146668A1 (en) Multi-modal acoustic imaging tool
US11913829B2 (en) Portable acoustic imaging tool with scanning and analysis capability
CN109756720B (zh) 使用距离信息的声学成像中的焦点和/或视差调整

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220414

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240401

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240509

R150 Certificate of patent or registration of utility model

Ref document number: 7488250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150