JP7403526B2 - 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法 - Google Patents

取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法 Download PDF

Info

Publication number
JP7403526B2
JP7403526B2 JP2021504180A JP2021504180A JP7403526B2 JP 7403526 B2 JP7403526 B2 JP 7403526B2 JP 2021504180 A JP2021504180 A JP 2021504180A JP 2021504180 A JP2021504180 A JP 2021504180A JP 7403526 B2 JP7403526 B2 JP 7403526B2
Authority
JP
Japan
Prior art keywords
acoustic
sensor
image data
imaging
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021504180A
Other languages
English (en)
Other versions
JP2021532359A (ja
Inventor
マイケル・ディー・スチュアート
ディレパ・プラバカール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fluke Corp
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of JP2021532359A publication Critical patent/JP2021532359A/ja
Application granted granted Critical
Publication of JP7403526B2 publication Critical patent/JP7403526B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/02—Gearings; Transmission mechanisms
    • G01M13/028—Acoustic or vibration analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Description

関連出願の相互参照
本出願は、２０１８年７月２４日に出願された米国特許出願第６２／７０２，７１６号に対する優先権を主張し、その全内容が参照により本明細書に組み込まれる。
現在利用可能な音響撮像装置は、様々な要因のために様々な周波数感度制限がある音響センサアレイ構成を含む。例えば、一部の音響撮像装置は、約２０Ｈｚ～約２０ｋＨｚの音響周波数の範囲に応答するように設計されている。他の装置（超音波装置など）は、約３８ｋＨｚ～約４５ｋＨｚの範囲の音響周波数に応答するように設計されている。
しかし、一般に２０Ｈｚ～２０ｋＨｚの周波数範囲で動作するように設計された音響撮像装置は、例えば約５０ｋＨｚ以上のより高い周波数を効果的に検出または画像化することはできない。同様に、２０ｋＨｚ～５０ｋＨｚの周波数範囲で動作するように設計された音響または超音波装置は、例えば２０ｋＨｚ以下の低周波数を効果的に検出および／または画像化できない。これには様々な理由が考えられる。例えば、低い（例えば可聴）周波数用に最適化されたセンサアレイには、通常、高い（例えば超音波）周波数用に最適化されたセンサアレイよりも離れた個々のセンサが含まれている。
ハードウェアの懸念に加えて、または代わりに、音響撮像の異なる計算アルゴリズムおよび方法は、標的と異なる周波数および／または異なる距離を有する音響信号により適していることが多く、特に経験の浅いユーザが、シーンを音響的に画像化するための最良の方法を決定することを困難にする。
異なる音響周波数範囲の画像化におけるこのような不一致は、部分的には、空気中の異なる周波数および波長の音波の伝搬の背後にある物理学に起因する。特定のアレイの向き、アレイのサイズ、および計算方法は、一般に、異なる周波数特性（例えば、可聴周波数、超音波周波数など）を持つ音響信号に適している。
同様に、様々なアレイ特性および／または計算方法は、標的までの様々な距離にある音響シーンに適し得る。例えば、非常に近い距離にある標的の近接場音響ホログラフィ、より遠い距離にある標的の様々な音響ビームフォーミング方法である。
したがって、音響アレイを使用した音響検査（例えば、音響撮像用）は、例えば、異なる周波数範囲を有する音響信号の分析のための広範囲の装置、ならびに異なるハードウェアおよび計算技術が音響分析の実行に適切であるときを理解する専門知識を必要とすることがある。これにより、音響検査に時間とコストがかかり、専門家がそのような検査を実行する必要が生じ得る。
例えば、ユーザは、音響分析を実行するために様々なハードウェアおよび／またはソフトウェアを手動で選択することを余儀なくされることがある。しかし、経験の浅い分析者は、所与の音響分析および／または音響シーンに適したハードウェアとソフトウェアの好ましい組み合わせを知ることができないことがある。さらに、関心のある音をシーン内から分離することは、特に雑然としたシーンでそれ自体の課題を提供する可能性があり、経験の浅いユーザにとっては退屈で思い通りにいかない可能性がある。例えば、所与の音響シーン、特にノイズの多い環境では、関心のある音響信号を不明瞭にし得る任意の数の周波数、強度、またはその他の特性を含む音響信号を含み得る。
従来のシステムでは、多くの場合、関心のある音を分析するために、検査の前に関心のあるさまざまな音響パラメータをユーザが手動で特定する必要がある。しかし、経験の浅いユーザは、興味のあるさまざまなサウンドを最適に分離および／または識別する方法を知らない可能性がある。
さらに、複数の画像技術（例えば、可視光、赤外線、紫外線、音響、または他の画像化技術）が、同じ物体またはシーンを検査しながら並行して使用される場合、様々な画像化技術を実行するために使用されるツールの物理的な配置、および／または他の設定（例えば、焦点位置）は、分析に影響を与える可能性がある。例えば、各画像化装置の異なる位置および／または焦点位置は視差エラーをもたらす可能性があり、結果として生じる画像がずれる可能性がある。これにより、シーン内の関心領域や問題領域を適切に位置特定できなくなったり、ドキュメントのエラーが発生したり、問題の誤診が発生したりすることがある。例えば、音響画像データに関して、音響画像データが他の画像化技術（例えば、可視光および／または赤外線画像データ）からの画像データに対して位置ずれである場合、関心のある音響信号の位置または発生源を特定することは困難である可能性がある。
既存の超音波試験および検査ツールは、受信センサに向かって音を集中させるのを助けるために、パラボラディッシュの使用の有無にかかわらず、超音波センサ（複数可）を採用している。特定の周波数の音が検出されると、通常、装置のディスプレイ上に上昇または下降する数値として、または周波数もしくはデシベルレベルのグラフに表示される。これは非常に紛らわしく、多くのユーザにとって直感的ではない可能性がある。ライブシーンの画像や音の視覚化は利用できない。
特定の音を分離、位置特定、および分析することは、退屈なプロセスである可能性があり、多くのエンドユーザにとって混乱を招く可能性がある。適切な分析およびレポート活動を実行するために、追加のコンテキスト情報が必要になることがよくある。高度な音響撮像装置は、シーンの静止画像またはライブ可視画像と統合された音の疑似色の視覚的表現を生成する機能を有する。ただし、異なるセンサ構成とセンサの数とは、多くの場合、異なる用途や性能の異なるレベルが必要な場合に好まれる。
近接場音響ホログラフィ、遠隔場ビームフォーミング、超音波検査、赤外線検査、および／または超音波検査を含む異なる用途を実行することを望む技術者は、異なるセンサ構成を持つ音響画像を使用しなければならない。例えば、複数の音波検査用には近接場音響ホログラフィを使って1つの装置、複数の超音波検査用には遠隔場音響ビームフォーミングを使って別の装置をユーザは必要とするかもしれない。これは、ユーザにとって費用および時間の両方がかかる可能性がある。
開示のいくつかの態様は、音響撮像システムに関する。システムは、対象シーンからの電磁放射を受信し、その受信された電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含み得る。
システムは、通信インタフェース、電磁撮像ツールおよび通信インタフェースと通信するプロセッサ、および筐体を含んでもよい。一部のシステムでは、通信インタフェースは、第１のセンサヘッドおよびプロセッサ間の通信を提供してもよい。一部のシステムでは、筐体がプロセッサおよび通信インタフェースを支持してもよい。
システムは、第１の音響センサアレイに配置された第１の複数の音響センサ要素を有する第１のセンサヘッドを含んでもよい。一部のシステムでは、通信インタフェースは、プロセッサと通信し、筐体に統合され取り外し可能に第１のセンサヘッドの受け手となるように構成されたドッキングポートを備えてもよい。第１のセンサヘッドは、通信インタフェースのドッキングポートとインタフェースする取り外し可能に構成されたドッキング機構を備えてもよい。いくつかの例では、センサヘッドは、電磁画像ツール、可撓な曲がり首を持つ首、伸縮部を有する首、および／または無線通信インタフェースを備えてもよい。
一部のシステムは、第２の音響センサアレイに配置された第２の複数の音響センサ要素を有する第２のセンサヘッドなどの追加のセンサヘッドを含んでもよい。第２のセンサヘッドは、通信インタフェースと交換可能に接続可能でもよい。一部のシステムでは、第２のセンサヘッドは、第１のセンサヘッドに交換可能に接続可能でもよい。
一部のシステムでは、プロセッサは、電磁波ツールから電磁画像データを受信し、音響センサアレイ(例えば第１のセンサヘッドに関連付けられた第１の音響センサアレイおよび／または第２のセンサヘッドに関連付けられた第２の音響センサアレイ)から音響データを受信するように構成することができる。プロセッサは、受信された音響データから音響画像データを生成し、生成された音響画像データと受信された電磁画像データとを組み合わせて、音響画像データと電磁データとを含む表示画像を生成するように構成することもできる。
添付の図面および以下の説明に記載された１つまたは複数の例の詳細である。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
図１Ａは、例示的な音響撮像装置の正面図および背面図を示す。 図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。
図２は、音響分析システムの一例の構成要素を示す機能ブロック図である。
図３Ａは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 図３Ｂは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 図３Ｃは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。 図４Ｂは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
図５Ａは、可視光画像と音響画像との間の視差補正を示す。 図５Ｂは、可視光画像と音響画像との間の視差補正を示す。
図５Ｃは、図５Ａ及び図５Ｂの着色されたバージョンである。 図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。
図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
図８は、音響撮像プロセス中に使用するための適切なアルゴリズムおよびセンサアレイを決定するための例示的なルックアップテーブルを示す。
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。
図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響および可視光画像データを示す。
図１０Ａは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。 図１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
図１１Ａは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。 図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
図１２Ａは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。 図１２Ｂは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。 図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。
図１４は、音響撮像ツールと複数の音響センサ要素とを含むセンサヘッドの例示的な実施形態を示す。
図１５は、スライドイン式取り付け用に構成された例示的なセンサヘッドおよび音響撮像ツールを示す。
図１６は、センターセンサ部とこのセンターセンサ部に取り付け機構を介して接続された複数の折り畳み式の第２のセンサ部とを有する例示的な音響センサヘッドを示す。
図１７は、１つ以上の対応する第２のセンサ部の受け手となるように取り外し可能に構成され得る１つ以上の取り付け機構を含むセンターセンサ部を有する例示的な音響センサを示す。
図１８は、可撓な「曲がり首」部を含むセンサヘッドアセンブリを示す。
図１９は、伸展部を介してセンサアレイを支えるハンドルを含む杖型センサヘッドアセンブリを示す。
図２０は、音響撮像装置と音響センサヘッドとを含む例示的なシステムを示す。
図１Ａおよび図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。図１Ａは、音響センサアレイ１０４および電磁撮像ツール１０６を支持する筐体１０２を有する音響撮像装置１００の前面を示す。いくつかの実施形態では、音響センサアレイ１０４は、複数の音響センサ要素を含み、複数の音響センサ要素のそれぞれは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成される。電磁撮像ツール１０６は、標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成され得る。電磁撮像ツール１０６は、可視光、赤外線、紫外線などの複数の範囲の波長のうちの１つまたは複数の電磁放射を検出するように構成され得る。
図示の例では、音響撮像装置１００は、周囲光センサ１０８と、ＧＰＳなどの位置センサ１１６とを含む。装置１００はレーザポインタ１１０を含み、これはいくつかの実施形態では、レーザ距離計を含む。装置１００は、シーンに向けて可視光放射を放出するように構成され得るトーチ１１２と、シーンに向けて赤外線放射を放出するように構成され得る赤外線照射器１１８とを含む。いくつかの例では、装置１００は、任意の範囲の波長にわたってシーンを照射するための照射器を含むことができる。装置１００は、生成された画像を着色画像などのシーンに投影するように構成できる画像リプロジェクタなどのプロジェクタ１１４、および／または、例えば、シーンの深度プロファイルを判定するために、一連のドットをシーンに投影するように構成されたドットプロジェクタをさらに含む。
図１Ｂは、音響撮像装置１００の裏側を示す。示されるように、装置は、画像または他のデータを提示することができるディスプレイ１２０を含む。いくつかの例では、ディスプレイ１２０は、タッチスクリーンディスプレイを含む。音響撮像装置１００は、音声フィードバック信号をユーザに提供することができるスピーカと、音響撮像装置１００と外部装置との間の無線通信を可能にすることができる無線インタフェース１２４とを含む。装置は、ユーザが音響撮像装置１００と接続することを可能にするために、１つまたは複数のボタン、ノブ、ダイヤル、スイッチ、または他のインタフェース構成要素を含むことができる制御装置１２６をさらに含む。いくつかの例では、制御装置１２６とタッチスクリーンディスプレイが組み合わさって、音響撮像装置１００のユーザインタフェースを提供する。
様々な実施形態では、音響撮像装置は、図１Ａおよび図１Ｂの実施形態に示されるすべての要素を含む必要はない。１つまたは複数の図示された構成要素は、音響撮像装置から除外することができる。いくつかの例では、図１Ａおよび図１Ｂの実施形態に示される１つまたは複数の構成要素は、音響撮像システムの一部として含まれ得るが、筐体１０２とは別個に含まれ得る。そのような構成要素は、例えば、無線インタフェース１２４を使用して、有線または無線通信技術を介して音響撮像システムの他の構成要素と通信することができる。
図２は、音響分析システム２００の一例の構成要素を示す機能ブロック図である。図２の例示的な音響分析システム２００は、音響センサアレイ２０２内に配置されたマイクロフォン、ＭＥＭＳ、トランスデューサなどの複数の音響センサを含むことができる。このようなアレイは、１次元、２次元、または３次元であり得る。様々な例において、音響センサアレイは、任意の適切なサイズおよび形状を定義することができる。いくつかの例では、音響センサアレイ２０２は、例えば、垂直列および水平行に配置されたセンサ要素のアレイなどのグリッドパターンに配置された複数の音響センサを含む。様々な例において、音響センサアレイ２０２は、例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６などの水平行および垂直列のアレイを含むことができる。他の例も可能であり、様々なセンサアレイに列と同じ数の行を含める必要はない。いくつかの実施形態では、そのようなセンサは、例えば、プリント回路基板（ＰＣＢ）基板などの基板上に配置することができる。
図２に示される構成では、音響センサアレイ２０２と通信するプロセッサ２１２は、複数の音響センサのそれぞれから音響データを受信することができる。音響分析システム２００の例示的な動作中に、プロセッサ２１２は、音響センサアレイ２０２と通信して、音響画像データを生成することができる。例えば、プロセッサ２１２は、音響センサアレイに配置された複数の音響センサのそれぞれから受信したデータを分析し、音響信号を音響発生源に「逆伝播（ｐｒｏｐａｇａｔｉｎｇ）」することによって音響シーンを決定するように構成され得る。いくつかの実施形態では、プロセッサ２１２は、２次元シーン全体にわたる音響信号の様々な発生源位置および強度を特定することによって、音響画像データのデジタル「フレーム」を生成することができる。音響画像データのフレームを生成することによって、プロセッサ２１２は、実質的に所与の時点での標的シーンの音響画像を取り込む。いくつかの例では、フレームは、音響画像を構成する複数のピクセルを含み、各ピクセルは、音響信号がバックプロパゲーションされた発生源シーンの一部を表す。
プロセッサ２１２を含む音響分析システム２００内のプロセッサとして説明される構成要素は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジック回路等の、単独または任意の適切な組み合わせなどの、１つまたは複数のプロセッサとして実装され得る。プロセッサ２１２はまた、プロセッサ２１２によって実行されると、音響分析システム２００およびプロセッサ２１２に本開示においてそれらに起因する機能を実行させるプログラム命令および関連データを記憶するメモリを含み得る。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ－ＲＯＭ、ハードディスクまたはフロッピー磁気ディスク、ＥＥＰＲＯＭなどの固定または取り外し可能な磁気、光学、または電気媒体を含み得る。メモリはまた、メモリの更新またはメモリ容量の増加を提供するために使用され得る取り外し可能なメモリ部分を含み得る。リムーバブルメモリはまた、音響画像データが別のコンピューティング装置に容易に転送されること、または音響分析システム２００が別の用途で使用される前に除去されることを可能にし得る。プロセッサ２１２はまた、コンピュータまたは他の電子システムの一部またはすべての構成要素を単一のチップに統合するシステムオンチップとして実装され得る。プロセッサ２１２（処理回路）は、処理されたデータをディスプレイ２１４または他の出力制御装置２１８に通信するように構成され得る。
いくつかの実施形態では、音響センサアレイ２０２内の音響センサは、音響画像を表すために、各音響センサによって受信された音響信号に対応する一連の信号を生成する。音響画像データの「フレーム」は、音響センサアレイ２０２を構成するすべての行をスキャンすることによって各音響センサからの信号が取得されるときに生成される。いくつかの例では、プロセッサ２１２は、音響画像データのビデオ表現（例えば、３０Ｈｚ、または６０Ｈｚ）を生成するのに十分な速度で音響画像フレームを取得することができる。特定の回路とは独立して、音響分析システム２００は、標的シーンの音響プロファイルを表す音響データを操作して、ユーザが表示、保存、送信、または他の方法で利用できる出力を提供するように構成され得る。
いくつかの実施形態では、音響画像データを生成するための受信音響信号の「バックプロパゲーション」は、例えばプロセッサを介して、音響センサアレイ２０２内の複数の音響センサで受信信号を分析することを含む。様々な例において、バックプロパゲーションの実行は、標的までの距離、周波数、音の強度（例えば、ｄＢレベル）例えば、１つまたは複数のアレイ内の個々のセンサの間隔および配置を含むセンサアレイの寸法／構成を含む、１つまたは複数のパラメータの関数である。いくつかの実施形態では、そのようなパラメータは、例えばメモリ内のシステムに事前にプログラムすることができる。例えば、音響センサアレイ２０２の特性は、内部メモリまたは特に音響センサアレイ２０２に関連するメモリなどのメモリに記憶することができる。標的までの距離などの他のパラメータは、様々な方法で受信することができる。例えば、いくつかの例では、音響分析システム２００は、プロセッサ２１２と通信する距離測定ツール２０４を含む。距離測定ツールは、距離測定ツール２０４から標的シーン内の特定の位置までの距離を表す距離情報を提供するように構成され得る。様々な距離測定ツールは、レーザ距離計または他の光学的または音声的距離測定装置などの他の既知の距離測定装置を含むことができる。追加的または代替的に、距離測定ツールは、標的シーンの各部分が関連する標的までの距離値を有するように３次元深度データを生成するように構成され得る。したがって、いくつかの例では、本明細書で使用される標的測定までの距離は、標的シーン内の各位置までの距離に対応することができる。そのような３次元深度データは、例えば、標的シーンの異なるビューを有する複数の画像化ツールを介して、または他の既知の距離走査ツールを介して生成することができる。一般に、様々な実施形態では、距離測定ツールを使用して、レーザ距離測定、アクティブ音波距離測定、パッシブ超音波距離測定、ＬＩＤＡＲ距離測定、ＲＡＤＡＲ距離測定、ミリ波距離測定などを含むがこれらに限定されない１つまたは複数の距離測定機能を実行することができる。
距離測定ツール２０４からの距離情報は、バックプロパゲーション計算に使用することができる。追加的または代替的に、システム２００は、ユーザが標的パラメータまでの距離を手動で入力することができるユーザインタフェース２１６を含むことができる。例えば、ユーザは、音響信号を生成することが疑われる構成要素までの距離が既知であるか、または距離測定ツール２０４で測定することが困難である場合に、システム２００に標的値までの距離を入力し得る。
図示の実施形態では、音響分析システム２００は、標的シーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。いくつかの例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、および紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、いくつかの実施形態では、電磁タイミングツール（電磁撮像ツール）２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された１つまたは複数のカメラモジュールを含むことができる。
可視光カメラモジュールは一般的によく知られている。例えば、スマートフォンやその他の多くの装置には、様々な可視光カメラモジュールが含まれている。いくつかの実施形態では、可視光カメラモジュール２０６は、標的シーンから可視光エネルギーを受け取り、例えば、ディスプレイ２１４上および／またはメモリに保存された可視光画像の形態で表示することができる可視光エネルギーデータを生成するために、可視光エネルギーを可視光センサに集中するように構成され得る。可視光カメラモジュール２０６は、本明細書のモジュールに起因する機能を実行するための任意の適切な構成要素を含むことができる。図２の例では、可視光カメラモジュール２０６は、可視光レンズアセンブリ２０８および可視光センサ２１０を含むものとして示されている。いくつかのそのような実施形態では、可視光レンズアセンブリ２０８は、標的シーンによって放出された可視光エネルギーを受け取り、可視光エネルギーを可視光センサ２１０に集中させる少なくとも１つのレンズを含む。可視光センサ２１０は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランシェフォトダイオードなどの複数の可視光センサ要素を含むことができる。可視光センサ２１０は、変換され、ディスプレイ２１４上に可視光画像として表示され得る電気信号を生成することによって、集中されたエネルギーに応答する。いくつかの例では、可視光カメラモジュール２０６は、ユーザによって構成可能であり、例えば、様々なフォーマットで２１４を表示するための出力を提供することができる。可視光カメラモジュール２０６は、様々な照射もしくは他の動作条件またはユーザの好みに対する補償機能を含み得る。可視光カメラモジュールは、画像データを含むデジタル出力を提供することができ、画像データは、様々なフォーマット（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）のデータを含み得る。
いくつかの例示的な可視光カメラモジュール２０６の動作において、標的シーンから受け取られた光エネルギーは、可視光レンズアセンブリ２０８を通過し、可視光センサ２１０に集中され得る。光エネルギーが可視光センサ２１０の可視光センサ要素に当たると、光検出器内の光子が放出され、検出電流に変換され得る。プロセッサ２１２は、この検出電流を処理して、標的シーンの可視光画像を形成することができる。
音響分析システム２００の使用中、プロセッサ２１２は、可視光カメラモジュール２０６を制御して、可視光画像を作成するために、取り込まれた標的シーンから可視光データを生成することができる。可視光データは、取り込まれた標的シーンの異なる部分に関連する色（複数可）および／または取り込まれた標的シーンの異なる部分に関連する光の大きさを示す光度データを含み得る。プロセッサ２１２は、音響分析システム２００の各可視光センサ要素の応答を一回測定することによって、可視光画像データの「フレーム」を生成することができる。可視光データのフレームを生成することによって、プロセッサ２１２は、所与の時点での標的シーンの可視光画像を取り込む。プロセッサ２１２はまた、音響分析システム２００の各可視光センサ要素の応答を繰り返し測定して、標的シーンの動的可視光画像（例えば、動画表現）を生成し得る。いくつかの例では、可視光カメラモジュール２０６は、可視光カメラモジュール２０６を動作させることができるそれ自体の専用プロセッサまたは他の回路（例えば、ＡＳＩＣ）を含み得る。いくつかのそのような実施形態では、専用プロセッサは、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２１２に提供するためにプロセッサ２１２と通信する。代替の実施形態では、可視光カメラモジュール２０６用の専用プロセッサをプロセッサ２１２に統合し得る。
可視光カメラモジュール２０６の各センサ要素がセンサピクセルとして機能することにより、プロセッサ２１２は、各センサ要素の電気的応答を、例えば、ディスプレイ２１４での視覚化および／またはメモリへの保存のために、処理され得る時間多重化電気信号に変換することによって、標的シーンからの可視光の２次元画像またはピクチャ表現を生成することができる。
プロセッサ２１２は、取り込まれた標的シーンの可視光画像の少なくとも一部を表示するようにディスプレイ２１４を制御し得る。いくつかの例では、プロセッサ２１２はディスプレイ２１４を制御して、可視光カメラモジュール２０６の各センサ要素の電気的応答がディスプレイ２１４上の単一のピクセルに関連付ける。他の例では、プロセッサ２１２は、可視光画像の解像度を増加または減少させて、可視光カメラモジュール２０６内のセンサ要素よりも多くまたは少ないピクセルがディスプレイ２１４に表示されるようにし得る。プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像全体（例えば、音響分析システム２００によって取り込まれた標的シーンのすべての部分）または可視光画像全体よりも少なく（例えば、音響分析システム２００によって取り込まれた標的シーン全体より少ない部分）表示し得る。
いくつかの実施形態では、プロセッサ２１２はディスプレイ２１４を制御して、音響分析システム２００によって取り込まれた可視光画像の少なくとも一部と、音響センサアレイ２０２を介して生成された音響画像の少なくとも一部とを同時に表示させ得る。そのような同時表示は、オペレータが可視光画像に表示された特徴を参照して、音響画像に同時に表示された音響信号の発生源を見るのを助け得るという点で有用であり得る。様々な例において、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を並べて、ピクチャ・イン・ピクチャ配置で表示することがあり、画像の一方が他方の画像を取り囲む、または可視光と音響画像が同時に表示されるその他の適切な配置であり得る。
例えば、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を組み合わせた配置で表示し得る。そのような配置では、標的シーンの一部を表す可視光画像内のピクセルまたはピクセルのセットについて、標的シーンの実質的に同じ部分を表す、音響画像内の対応するピクセルまたはピクセルのセットが存在する。様々な実施形態において、音響画像および可視光画像のサイズおよび／または解像度は、同じである必要はない。したがって、音響画像または可視光画像の一方の単一のピクセルに対応する音響画像または可視光画像の他方のピクセルのセット、または異なるサイズのピクセルのセットが存在し得る。同様に、可視光画像または音響画像の一方に、他方の画像のピクセルのセットに対応するピクセルが存在することがある。したがって、本明細書で使用されるように、対応することは、１対１のピクセル関係を必要としないが、ピクセルの一致しないサイズまたはピクセルのグループを含み得る。画像の１つをアップサンプリングもしくはダウンサンプリングする、またはピクセルを対応するピクセルのセットの平均値と組み合わせるなど、画像の一致しないサイズの領域の様々な組み合わせ技術を実行し得る。他の例は既知であり、本開示の範囲内である。
したがって、対応するピクセルは直接１対１の関係を持つ必要はない。むしろ、いくつかの実施形態では、単一の音響ピクセルが複数の対応する可視光ピクセルを有するか、または可視光ピクセルが複数の対応する音響ピクセルを有する。追加的または代替的に、いくつかの実施形態では、すべての可視光ピクセルが対応する音響ピクセルを有するわけではなく、またはその逆も成り立つ。そのような実施形態は、例えば、前述のようなピクチャ・イン・ピクチャタイプのディスプレイを示し得る。したがって、可視光ピクセルは、対応する音響ピクセルがそうであるように、可視光画像内で必ずしも同じピクセル座標を有するとは限らない。したがって、本明細書で使用される場合、対応するピクセルは、一般に、標的シーンの実質的に同じ部分からの情報を含む任意の画像（例えば、可視光画像、音響画像、結合画像、表示画像など）からのピクセルを指す。このようなピクセルは、画像間に１対１の関係を持つ必要はなく、それぞれの画像内で同様の座標位置を持つ必要もない。
同様に、対応するピクセル（すなわち、標的シーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、いくつかのそのような配置では、対応する可視光画像および音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と対話して、ディスプレイ２１４に表示される画像の一方または両方の透明性または不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と対話して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータがディスプレイ２１４を調整して、音響のみの画像と可視光のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響のみの画像、可視光のみの画像を表示することを可能にし得る。プロセッサ２１２はまた、シーン情報を、警報データなどの他のデータと組み合わせ得る。一般に、可視光と音響画像のアルファブレンドされた組み合わせは、１００％の音響と０％の可視光から０％の音響と１００％の可視光までのどこでも含むことができる。いくつかの実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、いくつかの実施形態では、ブレンドされた画像は、１００％の可視光と１００％の音響との間で調整することができる。
さらに、いくつかの実施形態では、プロセッサ２１２は、ユーザインタフェース２１６、および／または出力制御装置２１８からのコマンドを解釈および実行することができる。さらに、入力信号を使用して、プロセッサ２１２で発生する可視光および／または音響画像データの処理を変更し得る。
オペレータは、ボタン、キー、またはユーザからの入力を受信するための別の機構を含み得るユーザインタフェース２１６を介して、音響分析システム２００と対話し得る。オペレータは、ディスプレイ２１４を介して音響分析システム２００からの出力を受信し得る。ディスプレイ２１４は、任意の許容可能なパレットまたは配色で音響画像および／または可視光画像を表示するように構成されることがあり、パレットは、例えば、ユーザ制御に応答して変化し得る。いくつかの実施形態では、音響画像データは、シーン内の異なる位置からの様々な大きさの音響データを表すためにパレットに提示することができる。例えば、いくつかの例では、ディスプレイ２１４は、グレースケールなどの単色パレットで音響画像を表示するように構成される。他の例では、ディスプレイ２１４は、例えば、琥珀色、アイアンボー（ironbow）、青赤、または他の高コントラストの配色などのカラーパレットで音響画像を表示するように構成される。グレースケール表示とカラーパレット表示の組み合わせも考えられる。いくつかの例では、そのような情報を表示するように構成されているディスプレイは、そのような画像データを生成および提示するための処理能力を含み得る。他の例では、そのような情報を表示するように構成されることは、プロセッサ２１２などの他の構成要素から画像データを受信する機能を含み得る。例えば、プロセッサ２１２は、表示される各ピクセルの値（例えば、ＲＧＢ値、グレースケール値、または他の表示オプション）を生成し得る。ディスプレイ２１４は、そのような情報を受信し、各ピクセルを視覚的表示にマッピングし得る。
プロセッサ２１２は、ディスプレイ２１４を制御して、音響画像の少なくとも一部と可視光画像の少なくとも一部を任意の適切な配置で同時に表示することができるが、ピクチャ・イン・ピクチャ配置は、同じシーンの対応する可視画像を隣接して揃えて表示することにより、オペレータが容易に音響画像の焦点を合わせ、および／または解釈するのを助ける。
電源（図示せず）は、音響分析システム２００の様々な構成要素に動作電力を供給する。様々な例において、電源は、充電式または非充電式電池および発電回路、ＡＣ電源、誘導電力ピックアップ、光起電電源、または任意の他の適切な電源構成要素を含み得る。充電式電池と、装置を動作させるため、および／または充電式電池を充電するための電力を提供するように構成された別の構成要素などの電力供給構成要素との組み合わせも可能である。
音響分析システム２００の動作中、プロセッサ２１２は、メモリに記憶されているプログラム情報に関連する命令の助けを借りて、音響センサアレイ２０２および可視光カメラモジュール２０６を制御して、標的シーンの可視光画像および音響画像を生成させる。プロセッサ２１２はさらに、ディスプレイ２１４を制御して、音響分析システム２００によって生成された可視光画像および／または音響画像を表示させる。
前述のように、状況によっては、音響画像内の標的シーンの実際の（目に見える）特徴を特定して区別することが難しいことがある。音響画像を可視光情報で補足することに加えて、いくつかの実施形態では、標的シーン内の可視輪郭を強調することが有用であり得る。いくつかの実施形態では、既知の輪郭検出方法は、標的シーンの可視光画像に対して実行することができる。音響画像と可視光画像との間の対応する関係のために、標的シーンの可視輪郭を表すと決定された可視光ピクセルは、音響画像の可視輪郭も表す音響ピクセルに対応する。本明細書で使用される場合、「輪郭（ｅｄｇｅ）」は、物体の物理的境界を指す必要はないが、可視光画像の十分に鋭いグラデーションを指し得ることが理解されよう。例としては、物体の物理的な境界、物体内の色の変化、シーン全体の陰影などを含み得る。
可視光カメラモジュール２０６を含むものとして図２に関して一般的に説明されているが、いくつかの例では、音響分析システム２００の電磁撮像ツール２０３は、様々なスペクトルを表す画像データを生成することができる画像化ツールを追加的または代替的に含むことができる。例えば、様々な例において、電磁撮像ツール２０３は、赤外線画像データ、可視光画像データ、紫外線画像データ、または任意の他の有用な波長、またはそれらの組み合わせを生成することができる１つまたは複数のツールを含むことができる。いくつかの実施形態では、音響撮像システムは、赤外線レンズアセンブリおよび赤外線センサアレイを有する赤外線カメラモジュールを含むことができる。例えば、赤外線カメラモジュールとインタフェースするための追加の構成要素を含めることができ、例えば、２０１５年８月２７日に出願され、「ＥＤＧＥ ＥＮＨＡＮＣＥＭＥＮＴ ＦＯＲ ＴＨＥＲＭＡＬ－ＶＩＳＩＢＬＥ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥＳ ＡＮＤ ＣＡＭＥＲＡＳ」と題された米国特許出願第１４／８３７，７５７号に記載されているものなどであるが、これは本出願の譲受人に譲渡され、参照によりその全体が本明細書に組み込まれる。
いくつかの例では、２つ以上のデータストリームをブレンドして表示することができる。例えば、可視光カメラモジュール２０６、音響センサアレイ２０２、および赤外線カメラモジュール（図２には示されていない）を含む例示的なシステムは、可視光（ＶＬ）画像データ、赤外線（ＩＲ）画像データ、および音響（Ａｃｏｕｓｔｉｃ）画像データのブレンドを含む出力画像を生成するように構成され得る。例示的なブレンド技術では、表示画像は、α×ＩＲ＋β×ＶＬ＋γ×Ａｃｏｕｓｔｉｃによって表すことができ、α＋β＋γ＝１である。一般に、任意の数のデータストリームを組み合わせて表示できる。様々な実施形態において、α、β、およびγなどのブレンド比は、ユーザによって設定することができる。追加的または代替的に、設定された表示プログラムは、例えば、米国特許に記載されているように、警報条件（例えば、１つまたは複数のデータストリーム内の１つまたは複数の値が所定の閾値を満たす）または他の条件に基づいて異なる画像データストリームを含むように構成されることができ、例えば、「ＶＩＳＩＢＬＥ ＬＩＧＨＴ ＡＮＤ ＩＲ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥ ＣＡＭＥＲＡ ＷＩＴＨ Ａ ＬＡＳＥＲ ＰＯＩＮＴＥＲ」と題された米国特許第７，５３８，３２６号に記載され、これは本出願の譲受人に譲渡され、参照によりその全体が本明細書に組み込まれる。
図２に関して説明された音響分析システム２００の１つまたは複数の構成要素は、携帯型（例えば、手持ち式）音響分析ツールに含めることができる。例えば、いくつかの実施形態では、携帯型音響分析ツールは、音響分析ツール内に構成要素を収容するように構成された筐体２３０を含むことができる。いくつかの例では、システム２００の１つまたは複数の構成要素は、音響分析ツールの筐体２３０の外部に配置することができる。例えば、いくつかの実施形態では、プロセッサ２１２、ディスプレイ２１４、ユーザインタフェース２１６、および／または出力制御装置２１８は、音響分析ツールの筐体の外部に配置することができ、例えば無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ［登録商標］通信、Ｗｉ－Ｆｉ［登録商標］など）を介して様々な他のシステム構成要素と通信することができる。音響分析ツールの外部にあるそのような構成要素は、例えば、コンピュータ、スマートフォン、タブレット、ウェアラブル装置などの外部装置を介して提供することができる。追加的または代替的に、音響分析ツールに関してマスターまたはスレーブ装置として機能するように構成された他の試験および測定またはデータ収集ツールは、音響分析ツールの外部の音響分析システムの様々な構成要素を同様に提供することができる。外部装置は、有線および／または無線接続を介して携帯型音響分析ツールと通信でき、様々な処理、表示、および／またはインタフェースのステップを実行するために使用できる。
いくつかの実施形態では、そのような外部装置は、携帯型音響分析ツールに収容された構成要素として冗長機能を提供することができる。例えば、いくつかの実施形態では、音響分析ツールは、音響画像データを表示するためのディスプレイを含むことができ、さらに、記憶および／または表示のために画像データを外部装置に通信するように構成され得る。同様に、いくつかの実施形態では、ユーザは、スマートフォン、タブレット、コンピュータなどで実行されるアプリケーション（「アプリ」）を介して音響分析ツールとインタフェースして、音響分析ツール自体で実行することもできる１つまたは複数の機能を実行し得る。
図３Ａは、音響分析システム内の音響センサアレイの例示的な構成の概略図である。図示の例では、音響センサアレイ３０２は、複数の第１の音響センサ（白で示されている）および複数の第２の音響センサ（陰影付き）を含む。第１の音響センサは、第１のアレイ３２０に配置され、第２の音響センサは、第２のアレイ３２２に配置される。いくつかの例では、第１のアレイ３２０および第２のアレイ３２２を選択的に使用して、音響画像データを生成するための音響信号を受信することができる。例えば、いくつかの構成では、特定の音響周波数に対する特定の音響センサアレイの感度は、音響センサ要素間の距離の関数である。
いくつかの構成では、より近接して間隔を置いたセンサ要素（例えば、第２のアレイ３２２）は、さらに間隔を置いたセンサ要素（例えば、第１のアレイ３２０）よりも高周波音響信号（例えば、２０ｋＨｚ～１００ｋＨｚの超音波信号など、２０ｋＨｚを超える周波数を有する音）をよりよく分解することができる。同様に、より間隔の広いセンサ要素（例えば、第１のアレイ３２０）は、より間隔の狭いセンサ要素（例えば、第２のアレイ３２２）よりも、より低い周波数の音響信号（例えば、２０ｋＨｚ未満）を検出するのにより適し得る。超低周波数（２０Ｈｚ未満）、可聴周波数（約２０Ｈｚ～２０ｋＨｚ）、超音波周波数（２０ｋＨｚ～１００ｋＨｚ）などの様々な周波数範囲の音響信号を検出するために、センサ要素を互いに離して配置した様々な音響センサアレイを提供できる。いくつかの実施形態では、特定の周波数帯域の検出を最適化するために、部分アレイ（例えば、アレイ３２０以外のすべての音響センサ要素）を使用することができる。
さらに、いくつかの例では、いくつかの音響センサ要素は、低周波数または高周波数などの異なる周波数特性を有する音響信号を検出するのにより適していることがある。したがって、いくつかの実施形態では、低周波数音響信号を検出するために構成されたアレイ、例えば、さらに間隔を置いたセンサ要素を有する第１のアレイ３２０などは、低周波数音響信号を検出するのにより適した第１の音響センサ要素を含み得る。同様に、第２のアレイ３２２などのより高い周波数の音響信号を検出するように構成されたアレイは、高周波音響信号を検出するのにより適した第２の音響センサ要素を含み得る。したがって、いくつかの例では、音響センサ要素の第１のアレイ３２０および第２のアレイ３２２は、異なるタイプの音響センサ要素を含み得る。あるいは、いくつかの実施形態では、第１のアレイ３２０および第２のアレイ３２２は、同じタイプの音響センサ要素を含むことができる。
したがって、例示的な実施形態では、音響センサアレイ３０２は、第１のアレイ３２０および第２のアレイ３２２などの複数の音響センサ要素アレイを含むことができる。いくつかの実施形態では、アレイは、個別にまたは組み合わせて使用することができる。例えば、いくつかの例では、ユーザは、音響撮像手順を実行するために、第１のアレイ３２０を使用するか、第２のアレイ３２２を使用するか、または第１のアレイ３２０と第２のアレイ３２２の両方を同時に使用するかを選択し得る。いくつかの例では、ユーザは、ユーザインタフェースを介してどのアレイ（複数可）を使用するかを選択し得る。追加的または代替的に、いくつかの実施形態では、音響分析システムは、受信した音響信号の分析、または予想される周波数範囲などの他の入力データに基づいて、使用するアレイ（複数可）を自動的に選択し得る。図３Ａに示される構成は、概して、長方形の格子に概ね配置された２つのアレイ（第１のアレイ３２０および第２のアレイ３２２）を含むが、複数の音響センサ要素は、任意の形状の任意の数の個別のアレイにグループ化できることが理解されよう。さらに、いくつかの実施形態では、１つまたは複数の音響センサ要素を、動作のために選択することができる複数の別個のアレイに含めることができる。本明細書の他の場所で説明されているように、様々な実施形態では、シーンから音響画像データを確立するために音響信号をバックプロパゲーションするプロセスは、音響センサ要素の配置に基づいて実行される。したがって、音響センサの配置は、音響画像生成技術を実行するために、プロセッサによって既知であるか、そうでなければアクセス可能であり得る。
図３Ａの音響分析システムは、距離測定ツール３０４と、音響センサアレイ３０２内に配置されたカメラモジュール３０６とをさらに含む。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表すことができ、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含むことができる。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプまたは異なるタイプの１つまたは複数の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４およびカメラモジュール３０６は、第１のアレイ３２０および第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０および第２のアレイ３２２内の格子サイト間に配置されるように示されているが、いくつかの実施形態では、１つまたは複数の構成要素（例えば、カメラモジュール３０６および／または距離測定ツール３０４は、第１のアレイ３２０および／または第２のアレイ３２２内の対応する１つまたは複数の格子に配置することができる。いくつかのそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
本明細書の他の場所で説明されているように、音響センサアレイは、様々な構成のいずれかに配置された音響センサ要素を含むことができる。図３Ｂおよび図３Ｃは、例示的な音響センサアレイ構成を示す概略図である。図３Ｂは、ほぼ正方形の格子内に等間隔に配置された複数の音響センサ要素を含む音響センサアレイ３９０を示す。距離測定ツール３１４およびカメラアレイ３１６は、音響センサアレイ３９０内に配置されている。図示の例では、音響センサアレイ３９０内の音響センサ要素は同じタイプのセンサであるが、いくつかの実施形態では、異なるタイプの音響センサ要素をアレイ３９０内で使用することができる。
図３Ｃは、複数の音響センサアレイを示す。音響センサアレイ３９２、３９４、および３９６はそれぞれ、異なる形状のアレイに配置された複数の音響センサ要素を含む。図３Ｃの例では、音響センサアレイ３９２、３９４、および３９６を別々にまたは一緒に任意の組み合わせで使用して、様々なサイズのセンサアレイを作成することができる。図示の実施形態では、アレイ３９６のセンサ要素は、アレイ３９２のセンサ要素よりも互いに接近して配置されている。いくつかの例では、アレイ３９６は、高周波音響データを感知するように設計されており、アレイ３９２は、低周波数音響データを感知するように設計されている。
様々な実施形態では、アレイ３９２、３９４、および３９６は、同じまたは異なるタイプの音響センサ要素を含むことができる。例えば、音響センサアレイ３９２は、音響センサアレイ３９６のセンサ要素の周波数動作範囲よりも低い周波数動作範囲を有するセンサ要素を含むことができる。
本明細書の他の場所で説明されているように、いくつかの例では、異なる音響センサアレイ（例えば、３９２、３９４、３９６）は、様々な動作モード（例えば、画像化される異なる所望の周波数スペクトル）中に選択的にオフおよびオンにすることができる。追加的または代替的に、様々な音響センサ要素（例えば、１つまたは複数のセンサアレイ内の音響センサ要素の一部またはすべて）は、所望のシステム動作に従って有効化または無効化することができる。例えば、いくつかの音響撮像プロセスでは、多数のセンサ要素（例えば、センサアレイ３９６内のように高密度に配置されたセンサ要素）からのデータは、音響画像データの解像度をわずかに改善するが、各センサ要素で受信したデータから音響画像データを抽出する必要な処理を代償とする。すなわち、いくつかの例では、（例えば、多数の音響センサ要素からの）多数の入力信号を処理するために必要な増加した処理要求（例えば、コスト、処理時間、電力消費などにおいて）は、追加のデータストリームによって提供される任意の追加の信号解像度と否定的に比較される。したがって、いくつかの実施形態では、所望の音響撮像動作に応じて、１つまたは複数の音響センサ要素からのデータを無効化または無視することが価値があることがある。
図３Ａおよび図３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、および３９６内に配置された距離測定ツール３１４およびカメラアレイ３１６を含む。いくつかの例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を画像化するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、および３９６内に同様に配置され得る。図３Ａ～図３Ｃには、１つまたは複数の音響センサアレイ内に配置されて示されるが、距離測定ツールおよび／または１つまたは複数の画像化ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。いくつかのそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツールおよび／または１つまたは複数の画像化ツールは、音響撮像ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、または音響撮像ツールの筐体の外部に配置できる。
いくつかの例では、音響センサアレイおよびカメラモジュールなどの画像化ツールの一般的な位置ずれは、音響センサアレイおよび画像化ツールによって生成された対応する画像データの位置ずれにつながることがある。図４Ａは、可視光画像データおよび音響画像データのフレームの生成における視差エラーの概略図を示す。一般に、視差エラーは垂直、水平、またはその両方であることがある。図示の実施形態では、音響センサアレイ４２０と、可視光カメラモジュール４０６を含む画像化ツールとが示されている。可視光画像フレーム４４０は、可視光カメラモジュール４０６の視野４４１に従って取り込まれて示され、一方、音響画像フレーム４５０は、音響センサアレイ４２０の視野４５１に従って取り込まれているように示されている。
示されるように、可視光画像フレーム４４０と音響画像フレーム４５０は、互いに整列されていない。いくつかの実施形態では、プロセッサ（例えば、図２のプロセッサ２１２）は、可視光画像データと音響画像データを整列させるために、可視光画像フレーム４４０と音響画像フレーム４５０の一方または両方を操作するように構成される。そのような操作は、一方の画像フレームを他方に対してシフトすることを含み得る。画像フレームが互いに対してシフトされる量は、例えば、可視光カメラモジュール４０６および／または音響センサアレイ４２０からの標的までの距離を含む、様々な要因に基づいて決定することができる。そのような距離データは、例えば、距離測定ツール４０４を使用して、またはユーザインタフェース（例えば、２１６）を介して距離値を受信することによって決定することができる。
図４Ｂは、図４Ａのものと同様の概略図であるが、シーンの可視光画像を含む。図４Ｂの例では、可視光画像４４２は、複数の電力線および支持タワーのシーンを示す。音響画像４５２は、複数の位置４５４、４５６、４５８を含み、そのような位置から来る高マグニチュード音響データを示す。示されるように、可視光画像４４２および音響画像４５２は両方とも同時に表示される。しかしながら、両方の画像の観察は、可視光画像４４２の特定の構造と一致していないように見える位置４５８で少なくとも１つの音響画像極大値を示している。したがって、両方の画像を観察する人は、音響画像４５２と可視光画像４４２との間に位置ずれ（例えば、視差エラー）があると結論付け得る。
図５Ａおよび図５Ｂは、可視光画像と音響画像との間の視差補正を示す。図５Ａは、図４Ｂと同様に、可視光画像５４２および音響画像５５２を示す。音響画像５５２は、位置５５４、５５６、および５５８に極大値を含む。見て分かるように、位置５５４および５５８での最大値は、可視光画像のいずれの構造とも一致していないように見える。図５Ｂの例では、可視光画像５４２および音響画像５５２は、互いに関して位置合わせされている。音響画像の位置５５４、５５６、および５５８の極大値は、可視光画像５４２内の様々な位置と一致するように見える。
使用中、オペレータは、図５Ｂの表現を（例えば、ディスプレイ２１４を介して）見て、受信した音響信号の発生源である可能性が高い可視シーン（可視光画像）５４２内のおおよその位置を決定し得る。このような信号は、シーン内の様々な構成要素の音響署名に関する情報を決定するために、さらに処理することができる。様々な実施形態において、周波数コンテンツ、周期性、振幅などの音響パラメータは、音響画像内の様々な位置に関して分析することができる。そのようなパラメータを様々なシステム構成要素に関連付けることができるように可視光データにオーバレイする場合、音響画像データを使用して、可視光画像内の物体の様々な特性（例えば、性能特性）を分析し得る。
図５Ｃおよび図５Ｄは、図５Ａおよび図５Ｂの着色されたバージョンである。図５Ａおよび図５Ｂに示され、図５Ｃおよび図５Ｄの着色された表現でより容易に見られるように、位置５５４、５５６、および５５８は、色の円形グラデーションを示す。本明細書の他の場所で説明されているように、音響画像データは調色技術に従って視覚的に表すことができ、音響画像データの各ピクセルは、対応する位置での音響強度に基づいて着色される。したがって、図５Ａ～図５Ｄの例示的な表現では、位置５５４、５５６、５５８の円形グラデーションは、一般に、バックプロパゲーションされた受信音響信号に基づく画像化平面における音響強度のグラデーションを表す。
図４Ａ、図４Ｂ、図５Ａ～図５Ｄの例示的な図は、音響画像データおよび可視光画像データに関して説明されているが、そのようなプロセスは、様々な電磁画像データを用いて同様に実行できることが理解されよう。例えば、本明細書の他の場所で説明されているように、様々な実施形態において、様々なそのようなプロセスは、音響画像データと、１つまたは複数の可視光画像データ、赤外線画像データ、紫外線画像データなどとの組み合わせを使用して実行することができる。
本明細書の他の場所で説明されているように、いくつかの実施形態では、音響画像を形成するための音響信号のバックプロパゲーションは、標的値までの距離に基づくことができる。すなわち、いくつかの例では、バックプロパゲーション計算は、距離に基づくことができ、音響センサアレイからその距離に位置する２次元音響シーンを決定することを含むことができる。２次元画像化平面が与えられると、平面内の発生源から発する球形の音波は、一般に、断面が円形に見え、図５Ａ～図５Ｂに示されるように、強度が半径方向に減衰する。
いくつかのそのような例では、バックプロパゲーション計算で使用される標的までの距離に位置しないデータを表す音響シーンの部分は、シーンにおける１つまたは複数の音の位置の不正確など、音響画像データにエラーをもたらす。このようなエラーは、音響画像が他の画像データ（例えば、可視光、赤外線、または紫外線画像データなどの電磁画像データ）と同時に表示される場合（例えば、ブレンドされる、組み合わされるなど）、音響画像データとその他の画像データとの間の視差エラーにつながることがある。したがって、いくつかの実施形態では、視差エラーを補正するためのいくつかの技術（例えば、図５Ａおよび図５Ｂに示されるように）は、音響画像データを生成するためのバックプロパゲーション計算で使用される標的までの距離値を調整することを含む。
場合によっては、システムは、第１の標的までの距離値を使用してバックプロパゲーションプロセスを実行し、音響画像データおよび別のデータストリームが整列されない可能性がある図５Ａに示されるような表示画像を表示するように構成され得る。その後、音響分析システムは、バックプロパゲーションに使用される標的までの距離値を調整し、バックプロパゲーションを再度実行し、新しい音響画像データで表示画像を更新することができる。このプロセスを繰り返すことができ、ユーザがディスプレイ上で結果として得られる表示画像を観察しながら、音響分析システムは複数の標的までの距離値を繰り返し表示する。標的までの距離値が変化するにつれて、ユーザは、図５Ａに示される表示画像から図５Ｂに示される表示画像への漸進的な遷移を観察し得る。そのような場合、ユーザは、音響画像データが電磁画像データなどの別のデータストリームに適切に位置合わせされているように見えるときを視覚的に観察し得る。ユーザは、音響画像データが適切に位置合わせされているように見えることを音響分析システムに通知して、最新のバックプロパゲーションを実行するために使用された標的までの距離値がほぼ正しいことをシステムに示すことがあり、その距離の値を標的までの正しい距離としてメモリに保存し得る。同様に、ユーザが音響画像データが適切に位置合わせされていることを確認するまで、更新されたバックプロパゲーションプロセスで新しい距離値を使用して表示画像が更新されるときに、ユーザは標的までの距離値を手動で調整し得る。ユーザは、音響分析システムにおける標的までの現在の距離を、標的までの現在の距離として保存することを選択し得る。
いくつかの例では、視差エラーを修正することは、他の画像データ（例えば、電磁画像データ）に対する音響画像データの位置を、標的までの距離データに基づいて所定の量および所定の方向に調整することを含み得る。いくつかの実施形態では、そのような調整は、音響信号を特定された標的までの距離にバックプロパゲーションすることによる音響画像データの生成とは無関係である。
いくつかの実施形態では、音響画像データを生成し、音響画像データと他の画像データとの間の視差エラーを低減するために使用されることに加えて、標的までの距離値を他の決定に使用することができる。例えば、いくつかの例では、プロセッサ（例えば、２１２）は、参照により組み込まれる米国特許第７，５３８，３２６号に記載されているように、赤外線画像などの画像に焦点を合わせるか、または焦点を合わせる際にユーザを支援するために、目標値までの距離を使用することができる。そこに記載されているように、これは、可視光画像データと赤外線画像データとの間の視差エラーを補正するために同様に使用することができる。したがって、いくつかの例では、距離値を使用して、音響画像データを、赤外線画像データおよび可視光画像データなどの電磁画像データに位置合わせすることができる。
本明細書の他の場所で説明されているように、いくつかの例では、距離測定ツール（例えば、２０４）は、音響画像データを生成および位置合わせするためにプロセッサ（例えば、２１２）によって使用できる距離情報を提供するように構成される。いくつかの実施形態では、距離測定ツールは、距離が測定される位置で標的シーンに光を放出するように構成されたレーザ距離計を備える。いくつかのそのような例では、レーザ距離計は可視スペクトル内の光を放出することができるため、ユーザは物理的シーンのレーザスポットを見て、距離計がシーンの所望の部分までの距離を測定していることを確認できる。追加的または代替的に、レーザ距離計は、１つまたは複数の画像化構成要素（例えば、カメラモジュール）が高感度であるスペクトル内の光を放出するように構成される。したがって、分析ツールを介して（例えば、ディスプレイ２１４を介して）標的シーンを見るユーザは、シーン内のレーザスポットを観察して、レーザが標的シーン内の正しい位置までの距離を測定していることを確認し得る。いくつかの例では、プロセッサ（例えば、２１２）は、現在の距離値に基づいて（例えば、レーザ距離計と音響センサアレイと間の既知の距離ベースの視差関係に基づいて）、レーザスポットが音響シーン内に配置される位置を表す表示画像内に参照マークを生成するように構成され得る。参照マークの位置は、実際のレーザマークの位置と比較でき（例えば、ディスプレイ上にグラフィカルに、および／または標的シーン内で物理的に）、参照マークとレーザが一致するまでシーンを調整できる。そのようなプロセスは、参照により組み込まれる米国特許第７，５３８，３２６号に記載されている赤外線位置合わせおよび焦点技術と同様に実行することができる。
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。この方法は、音響センサアレイ（６８０）を介して音響信号を受信し、距離情報（６８２）を受信するステップを含む。距離情報は、例えば、手動入力を介して、または観察された位置合わせに基づいて距離が決定される距離調整プロセスの結果としてなど、距離測定装置および／またはユーザインタフェースを介して受信することができる。
この方法は、受信した音響信号をバックプロパゲーションして、音響シーンを表す音響画像データを決定することをさらに含む（６８４）。本明細書の他の場所で説明されているように、バックプロパゲーションは、受信した距離情報と組み合わせて、音響センサアレイ内の複数のセンサ要素で受信した複数の音響信号を分析して、受信音響信号の発生源パターンを決定することを含むことができる。
図６の方法は、電磁画像データ（６８６）を取り込み、音響画像データを電磁画像データ（６８８）に位置合わせするステップをさらに含む。いくつかの実施形態では、音響画像データを電磁画像データに位置合わせすることは、音響画像データを生成するためのバックプロパゲーションステップの一部として行われる（６８４）。他の例では、音響画像データを電磁画像データに位置合わせすることは、音響画像データの生成とは別個に行われる。
図６の方法は、表示画像（６９０）を生成するために、音響画像データを電磁画像データと組み合わせるステップを含む。本明細書の他の場所で説明されているように、電磁画像データと音響画像データとを組み合わせることは、電磁画像データと音響画像データとをアルファブレンドすることを含み得る。画像データを組み合わせることは、ピクチャ・イン・ピクチャモードまたは特定の条件（警報条件など）が満たされる位置などで、一方の画像データセットをもう一方の画像データセットにオーバレイすることが含まれる。表示画像は、例えば、音響センサアレイを支持する筐体によって支持されるディスプレイを介して、および／または外部装置（例えば、スマートフォン、タブレット、コンピュータなど）のディスプレイなどの、センサアレイとは別個のディスプレイを介して、ユーザに提示することができる。
追加的または代替的に、表示画像は、将来見るためにローカル（例えば、オンボード）メモリおよび／またはリモートメモリに保存することができる。いくつかの実施形態では、保存された表示画像は、ブレンド比、バックプロパゲーション距離、または画像を生成するために使用される他のパラメータなどの表示画像特性の将来の調整を可能にするメタデータを含むことができる。いくつかの例では、生の音響信号データおよび／または電磁画像データは、その後の処理または分析のために表示画像と共に保存することができる。
音響画像データと電磁画像データとを組み合わせて最終画像を生成する方法として示されているが、図６の方法を使用して、音響画像データを、可視光画像データ、赤外線画像データ、紫外線画像データなどの電磁スペクトル音響画像データの任意の部分にまたがる画像データの１つまたは複数のセットと組み合わせることができることが理解されよう。いくつかのそのような例では、可視光画像データおよび赤外線画像データなどの画像データの複数のセットを両方とも音響画像データと組み合わせて、図６に関して説明したのと同様の方法を介して表示画像を生成することができる。
いくつかの例では、センサアレイ（６８０）を介して音響信号を受信することは、音響信号を受信するための音響センサアレイを選択するステップを含むことができる。説明したように、例えば、図３Ａ～図３Ｃに関して、音響分析システムは、様々な周波数の音響信号を分析するのに適し得る複数の音響センサアレイを含むことができる。追加的または代替的に、いくつかの例では、異なる音響センサアレイは、異なる距離から伝搬する音響信号を分析するのに有用であり得る。いくつかの実施形態では、異なるアレイを互いに入れ子にすることができる。追加的または代替的に、部分アレイを選択的に使用して、音響画像信号を受信することができる。
例えば、図３Ａは、第１のアレイ３２０および第１のアレイ内に入れ子にされた第２のアレイ３２２を示す。例示的な実施形態では、第１のアレイ３２０は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように（例えば、間隔を置いて）構成されたセンサアレイを含むことができる。第２のアレイ３２２は、例えば、第２の周波数範囲の周波数の音響画像データを生成するために、単独で、または第１のアレイ３２０の全部または一部と組み合わせて使用されるように構成された第２のセンサアレイを含むことができる。
同様に、図３Ｃは、第１のアレイ３９２、第１のアレイ３９２内に少なくとも部分的に入れ子にされた第２のアレイ３９４、ならびに第１のアレイ３９２および第２のアレイ３９４内に少なくとも部分的に入れ子にされた第３のアレイ３９６を示す。いくつかの実施形態では、第１のアレイ３９２は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように構成され得る。第２のアレイ３９４は、音響信号を受信し、第２の周波数範囲の周波数の音響画像データを生成するために、第１のアレイ３９２の全部または一部と共に使用することができる。第３のアレイ３９６は、音響信号を受信し、第３の周波数範囲の周波数の音響画像データを生成するために、単独で、第２のアレイ３９４の全部または一部と共に、および／または第１のアレイ３９２の全部または一部と共に使用することができる。
いくつかの実施形態では、入れ子にされたアレイ構成において、１つのアレイからの音響センサ要素は、例えば、一般に、第１のアレイ３９２の要素の間にある第３のアレイ３９６の要素などの、音響センサ要素の間に配置されることがある。いくつかのそのような例では、入れ子にされたアレイ（例えば、第３のアレイ３９６）内の音響センサ要素は、それが入れ子にされているアレイ（例えば、第１のアレイ３９２）内の音響センサ要素と同じ平面、前、または後ろに配置され得る。
様々な実装において、より高い周波数の音響信号を感知するために使用されるアレイは、一般に、個々のセンサ間のより短い距離を必要とする。したがって、図３Ｃに関して、例えば、第３のアレイ３９６は、高周波音響信号を含む音響撮像プロセスを実行するのにより適していることがある。他のセンサアレイ（例えば、第１のアレイ３９２）は、より低い周波数信号を含む音響撮像プロセスを実行するのに十分であることがあり、アレイ３９６と比較した場合、より少ない音響センサ要素からの信号を処理する計算要求を低減するために使用され得る。したがって、いくつかの例では、高周波センサアレイは、低周波センサアレイ内に入れ子にされ得る。本明細書の他の場所で説明されているように、そのようなアレイは、一般に、個別に（例えば、アクティブなアレイ間の切り替えを介して）または一緒に操作し得る。
分析のために予想される／望ましい周波数スペクトルに基づいて適切なセンサアレイを選択することに加えて、またはその代わりに、いくつかの例では、異なるセンサアレイが、標的シーンまでの異なる距離で音響撮像プロセスを実行するのにより適していることがある。例えば、いくつかの実施形態では、音響センサアレイと標的シーンとの間の距離が小さい場合、音響センサアレイ内の外側のセンサ要素は、より中央に配置されたセンサ要素よりも著しく少ない有用な音響情報を標的シーンから受信することがある。
他方、音響センサアレイと標的シーンとの間の距離が大きい場合、近接して配置された音響センサ要素は、別個に有用な情報を提供しないことがある。すなわち、第１および第２の各音響センサ要素が互いに接近しており、標的シーンが一般に遠くにある場合、第２の音響センサ要素は、第１の音響センサ要素と有意に異なる情報を提供しないことがある。したがって、そのような第１および第２の各センサ要素からのデータストリームは冗長であり、分析のために処理時間および資源を不必要に消費することがある。
本明細書の他の場所で説明されているように、どのセンサアレイが音響撮像を実行するのに最も適しているかに影響を与えることに加えて、標的までの距離は、受信した音響信号から音響画像データを決定するためのバックプロパゲーションを実行する際にも使用できる。ただし、バックプロパゲーションアルゴリズムへの入力値であることに加えて、標的までの距離を使用して、使用する適切なバックプロパゲーションアルゴリズムを選択し得る。例えば、いくつかの例では、遠距離では、球形に伝搬する音波は、音響センサアレイのサイズと比較して実質的に平面であるように近似され得る。したがって、いくつかの実施形態では、標的までの距離が大きい場合、受信した音響信号のバックプロパゲーションは、音響ビームフォーミング計算を含むことができる。ただし、音波の発生源に近い場合、音波の平面近似は適切でないことがある。したがって、近接場音響ホログラフィなど、様々なバックプロパゲーションアルゴリズムを使用し得る。
説明したように、標的までの距離メトリックは、アクティブなセンサアレイ（複数可）の決定、バックプロパゲーションアルゴリズムの決定、バックプロパゲーションアルゴリズムの実行、および／または得られた音響画像を電磁画像データ（例えば、可視光、赤外線など）に位置合わせすることなど、音響撮像プロセスで様々な方法で使用できる。図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
図７のプロセスは、例えば、距離測定装置から距離情報を受信すること、またはユーザインタフェースを介してなど、入力された距離情報を受信することを含む（７８０）。この方法は、受信した距離情報に基づいて音響撮像を実行するための１つまたは複数の音響センサアレイ（複数可）を選択するステップ（７８２）をさらに含む。説明したように、様々な例において、選択されたアレイは、単一のアレイ、複数のアレイの組み合わせ、あるいは１つまたは複数のアレイの一部を含むことができる。
図７の方法は、受信した距離情報に基づいて音響撮像を実行するための処理技術を選択するステップ（７８４）をさらに含む。いくつかの例では、処理技術の選択は、音響信号から音響画像データを生成するためのバックプロパゲーションアルゴリズムの選択を含むことができる。
音響撮像を実行するための音響センサアレイ（７８２）および処理技術（７８４）を選択した後、方法は、選択された音響センサアレイ（７８６）を介して音響信号を受信するステップを含む。次に、受信した音響信号は、距離および選択された処理技術を使用してバックプロパゲーションされ、音響画像データを決定する（７８８）。
様々な実施形態では、図７のステップは、ユーザ、音響分析システム（例えば、プロセッサ２１２を介して）、またはそれらの組み合わせによって実行することができる。例えば、いくつかの実施形態では、プロセッサは、距離測定ツールおよび／またはユーザ入力を介して距離情報を受信する（７８０）ように構成され得る。いくつかの例では、例えば、物体までの距離が、既知であるか、および／または距離測定ツールを介して分析することが困難である場合（例えば、小さい物体サイズおよび／または標的までの長い距離など）、ユーザは、距離情報として使用するために測定距離を上書きする値を入力することができる。プロセッサは、例えば、ルックアップテーブルまたは他のデータベースを使用して、受信した距離情報に基づいて音響撮像を実行するための適切な音響センサアレイを自動的に選択するようにさらに構成され得る。いくつかの実施形態では、音響センサアレイを選択することは、所望の音響センサアレイを達成するために、１つまたは複数の音響センサ要素を有効化および／または無効化することを含む。
同様に、いくつかの例では、プロセッサは、受信した距離情報に基づいて音響撮像を実行するための処理技術（例えば、バックプロパゲーションアルゴリズム）を自動的に選択するように構成され得る。いくつかのそのような例では、これは、メモリに記憶された複数の既知の処理技術から１つを選択することを含むことができる。追加的または代替的に、処理技術を選択することは、所望の処理技術に到達するために単一のアルゴリズムの一部を調整することになり得る。例えば、いくつかの実施形態では、単一のバックプロパゲーションアルゴリズムは、（例えば、距離情報に基づいて）複数の項および変数を含み得る。いくつかのそのような例では、処理技術を選択すること（７８４）は、１つまたは複数の項の係数を調整する（例えば、様々な係数をゼロまたは１に設定するなど）など、単一のアルゴリズムにおいて１つまたは複数の値を定義することを含み得る。
したがって、いくつかの実施形態では、音響撮像システムは、受信した距離データに基づいて、選択された音響センサアレイおよび／または処理技術（例えば、バックプロパゲーションアルゴリズム）を提案および／または自動的に実装することによって、音響撮像プロセスのいくつかのステップを自動化することができる。これにより、音響撮像プロセスを高速化、改善、および簡素化でき、音響撮像の専門家が音響撮像プロセスを実行する必要がなくなる。したがって、様々な例において、音響撮像システムは、そのようなパラメータを自動的に実装し、そのようなパラメータが実装されようとしていることをユーザに通知し、そのようなパラメータを実装する許可をユーザに求め、ユーザによる手動入力のためにそのようなパラメータを提案することができる。
そのようなパラメータ（例えば、処理技術、センサアレイ）の自動選択および／または提案は、他の形態の画像データ、処理速度、および音響画像データの分析に関して音響画像データの局在化を最適化するのに有用であり得る。例えば、本明細書の他の場所で説明されているように、正確なバックプロパゲーション決定（例えば、適切なアルゴリズムおよび／または正確な距離メトリックを使用する）は、音響画像データと他の（例えば、可視光、赤外線などの電磁）画像データとの間の視差エラーを低減することができる。さらに、音響分析システムによって自動的に選択または提案され得るような適切なアルゴリズムおよび／またはセンサアレイを利用することにより、熱画像データの精度を最適化して、受信した音響データの分析を可能にし得る。
説明したように、いくつかの例では、音響分析システムは、受信した距離情報に基づいて音響撮像プロセスを実行するためのアルゴリズムおよび／またはセンサアレイを自動的に選択するように構成され得る。いくつかのそのような実施形態では、システムは、例えばメモリに記憶された、音響画像データを決定するための、複数のバックプロパゲーションアルゴリズムおよび音響センサアレイのどれを使用するか決定するためのルックアップテーブルを含む。図８は、音響撮像プロセス中に使用するための適切なアルゴリズムおよびセンサアレイを決定するための例示的なルックアップテーブルを示す。
図示の例では、図８のルックアップテーブルは、それぞれが異なるアレイのアレイ１、アレイ２、．．．、アレイＮを表すＮ個の列を含む。様々な例において、各アレイは、配置された音響センサ要素の固有のセットを含む。異なるアレイは、格子に配置されたセンサ要素を含み得る（例えば、図３Ｃのアレイ３９２およびアレイ３９６）。ルックアップテーブル内のアレイには、１つまたは複数のそのような格子からのセンサ要素の組み合わせを含めることもできる。一般に、いくつかの実施形態では、アレイ１、アレイ２、．．．、アレイＮのそれぞれは、音響センサ要素の一意の組み合わせに対応する。そのような組み合わせのいくつかは、特定の格子に配置されたセンサ要素のセット全体を含むことができるか、または特定の格子に配置されたセンサ要素のサブセットを含むことができる。音響センサ要素の様々な組み合わせのいずれも、ルックアップテーブル内のセンサアレイとして使用するための可能な選択肢である。
図８のルックアップテーブルはＭ行をさらに含み、それぞれは異なるアルゴリズムのアルゴリズム１、アルゴリズム２、．．．、アルゴリズムＭを表す。いくつかの例では、異なるアルゴリズムは、受信した音響信号のバックプロパゲーション分析を実行するための異なるプロセスを含み得る。本明細書の他の場所で説明されているように、いくつかの例では、いくつかの異なるアルゴリズムは、バックプロパゲーション結果を修正するための異なる係数および／または項を有しながら、互いに類似し得る。
図８の例示的なルックアップテーブルは、Ｍ×Ｎエントリを含む。いくつかの実施形態では、そのようなルックアップテーブルを利用する音響分析システムは、受信した距離情報を分析し、距離情報をＭ×Ｎビンの１つに分類するように構成され、各ビンは、図８のルックアップテーブルのエントリに対応する。このような例では、音響分析システムが距離情報を受信すると、システムは、距離情報が存在するビンに対応するルックアップテーブルでエントリ（ｉ、ｊ）を見つけ、音響撮像プロセスの間に使用する適切なアルゴリズムおよびセンサアレイを決定できる。例えば、受信した距離情報がエントリ（ｉ、ｊ）に関連付けられたビンに対応する場合、音響分析システムは、音響撮像プロセスのためにアルゴリズムｉおよびアレイｊの使用を自動的に利用または提案できる。
様々なそのような例において、距離情報ビンは、均一なサイズの距離範囲に対応することができ、例えば、第１のビンは１フィート以内の距離に対応し、第２のビンは１～２フィート間の距離に対応するなどである。他の例では、ビンは均一なサイズの距離スパンに対応する必要はない。さらに、いくつかの実施形態では、Ｍ×Ｎ未満のビンを使用することができる。例えば、いくつかの実施形態では、特定のアレイ（例えば、アレイｙ）でこれまで使用されたことのないアルゴリズム（例えば、アルゴリズムｘ）が存在し得る。したがって、このような例では、Ｍ×Ｎルックアップテーブルのエントリ（ｘ、ｙ）に対応する、対応する距離情報ビンはない。
いくつかの実施形態では、追加された距離ビンに関する統計分析を使用して、標的シーン内の最も一般的な距離または距離範囲を特定することができる。いくつかのそのような実施形態では、最大数の対応する位置（例えば、音響信号を伴う最大数の位置）を有する距離ビンを、図７のプロセスにおける距離情報として使用することができる。すなわち、いくつかの実施形態では、利用された音響センサアレイおよび／または処理技術は、標的シーン内の様々な物体の距離分布の統計分析に基づいて実装および／または推奨され得る。これは、シーンの音響撮像に使用されるセンサアレイおよび／または処理技術が、音響シーン内の最大数の位置に適切である可能性を高めることができる。
追加的または代替的に、距離情報以外のパラメータを使用して、音響画像データの生成に使用する適切なセンサアレイおよび／または処理技術を選択することができる。本明細書の他の場所で説明されているように、様々なセンサアレイは、特定の周波数および／または周波数帯域に好感度であるように構成され得る。いくつかの例では、同様の異なるバックプロパゲーション計算を、異なる音響信号周波数コンテンツに従って使用することができる。したがって、いくつかの例では、１つまたは複数のパラメータを使用して、処理技術および／または音響センサアレイを決定することができる。
いくつかの実施形態では、音響分析システムを使用して、受信した音響信号処理／分析の様々なパラメータを最初に分析することができる。図７を参照すると、音響画像データを生成するための方法は、音響信号（７８６）を受信した後、受信信号の周波数コンテンツを分析する（７９０）ステップを含むことができる。いくつかのそのような例では、音響センサアレイ（複数可）および／または処理技術が選択されている場合（例えば、それぞれステップ７８２および／または７８４を介して）、方法は、分析された周波数コンテンツに基づいて、選択されたアレイ（複数可）を更新するステップ、および／または、選択された処理技術（７９２）を更新するステップを含むことができる。
センサアレイ（複数可）および／または処理技術を更新した後、方法は更新されたパラメータを使用して様々なアクションを実行できる。例えば、選択されたセンサアレイが、分析された周波数コンテンツ（７９０）に基づいて更新された場合（７９２）、新しい音響信号は、（新たに）選択された音響センサアレイから受信することができ（７８６）、その後、音響画像データを決定するためにバックプロパゲーションされることができる（７８８）。あるいは、処理技術が７９２で更新される場合、既に捕捉された音響信号は、更新された処理技術に従ってバックプロパゲーションされて、更新された音響画像データを決定することができる。処理技術とセンサアレイの両方が更新された場合、新しい音響信号は、更新されたセンサアレイを使用して受信されることができ、更新された処理技術に従ってバックプロパゲーションされることができる。
いくつかの実施形態では、音響分析システムは、受信した音響信号の周波数コンテンツを分析することなく（７９０）、周波数情報（７７８）を受信することができる。例えば、いくつかの例では、音響分析システムは、将来の音響分析のために、所望のまたは予想される周波数範囲に関する情報を受信することができる。いくつかのそのような例では、所望のまたは予想される周波数情報を使用して、１つまたは複数のセンサアレイおよび／または周波数情報に最も適合する処理技術を選択することができる。いくつかのそのような例では、音響センサアレイ（７８２）を選択するステップおよび／または処理技術（７８４）を選択するステップは、受信した距離情報に加えて、または代わりに、受信周波数情報に基づくことができる。
いくつかの例では、受信した音響信号（例えば、音響センサ要素を介して受信した）は、例えば、音響分析システムのプロセッサ（例えば、２１０）を介して分析され得る。このような分析を使用して、周波数、強度、周期性、見かけの近接度（例えば、受信した音響信号に基づいて推定される距離）、測定された近接度、またはそれらの任意の組み合わせなど、音響信号の１つまたは複数の特性を決定することができる。いくつかの例では、音響画像データをフィルタ処理して、例えば、特定の周波数コンテンツ、周期性などを有する音響信号を表す音響画像データのみを表示することができる。いくつかの例では、そのようなフィルタをいくつでも同時に適用することができる。
本明細書の他の場所で説明されているように、いくつかの実施形態では、音響ビデオデータと同様に、音響画像データの一連のフレームを経時的に取り込むことができる。追加的または代替的に、音響画像データが繰り返し生成されない場合でも、いくつかの例では、音響信号が繰り返しサンプリングされ、分析される。したがって、繰り返される音響画像データ生成（例えば、ビデオ）の有無にかかわらず、周波数などの音響データのパラメータを経時的に監視することができる。
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。示されるように、図９Ａのプロットによって表される音響シーンは、一般に、周波数１、周波数２、周波数３、および周波数４としてラベル付けされた、経時的な４つの持続した周波数を含む。標的シーンの周波数コンテンツなどの周波数データは、受信した音響信号を処理することによって、例えば、高速フーリエ変換（ＦＦＴ）または他の既知の周波数分析方法を使用して決定できる。
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。図示の画像では、音響画像データが可視光画像データと組み合わされて、位置９１０、９２０、９３０、および９４０に存在する音響信号を示している。いくつかの実施形態では、音響分析システムは、任意の検出された周波数範囲の音響画像データを表示するように構成される。例えば、例示的な実施形態では、位置（第１の位置）９１０は、周波数１を含む音響画像データを含み、位置（第２の位置）９２０は、周波数２を含む音響画像データを含み、位置（第３の位置）９３０は、周波数３を含む音響画像データを含み、位置（第４の位置）９４０は、周波数４を含む音響画像データを含む。
いくつかのそのような例では、音響画像データの代表的な周波数範囲を表示することは、動作の選択可能なモードである。同様に、いくつかの実施形態では、音響分析システムは、所定の周波数帯域内の周波数のみを表す音響画像データを表示するように構成される。いくつかのそのような例では、所定の周波数範囲を表す音響画像データを表示することは、音響画像データを生成するための音響信号を受信するための１つまたは複数の音響センサアレイを選択することを含む。このようなアレイは、選択的な周波数範囲を受信するように構成できる。同様に、いくつかの例では、１つまたは複数のフィルタを使用して、音響画像データを生成するために使用される周波数コンテンツを制限することができる。追加的または代替的に、いくつかの実施形態では、音響画像データが所定の条件を満たす（例えば、所定の周波数範囲内にある）場合にのみ、広範囲の周波数を表す情報を含む音響画像データを分析し、ディスプレイに表示することができる。
図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響および可視光画像データを示す。第１の画像は、周波数１の周波数コンテンツを含む第１の位置９１０での音響画像データを含む。第２の画像は、周波数２の周波数コンテンツを含む第２の位置９２０での音響画像データを含む。第３の画像は、周波数３の周波数コンテンツを含む第３の位置９３０での音響画像データを含む。第４の画像は、周波数４の周波数コンテンツを含む第４の位置９４０での音響画像データを含む。
例示的な実施形態では、ユーザは、選択された周波数範囲以外の周波数コンテンツを表す音響画像データをフィルタ処理するために、周波数１、周波数２、周波数３、または周波数４を含む範囲などの様々な周波数範囲を選択し得る。したがって、そのような例では、第１、第２、第３、または第４の画像のいずれかが、ユーザによって選択された所望の周波数範囲の結果として表示され得る。
追加的または代替的に、いくつかの例では、音響分析システムは、それぞれが異なる周波数コンテンツを有する複数の表示画像間で繰り返し表示し得る。例えば、図９Ｃに関して、例示的な実施形態では、音響分析システムは、図９Ｃの矢印によって示されるような、第１、第２、第３、および第４の画像を順番に表示し得る。
いくつかの例では、表示画像は、画像に表示されている周波数コンテンツを表すテキストまたは他の表示を含むことができ、ユーザは、画像内のどの位置が特定の周波数コンテンツを表す音響画像データを含むかを観察できる。例えば、図９Ｃに関して、各画像は、音響画像データで表される周波数のテキスト表現を示し得る。図９Ｂに関して、複数の周波数範囲を示す画像は、音響画像データを含む各位置での周波数コンテンツの表示を含み得る。いくつかのそのような例では、ユーザは、例えば、ユーザインタフェースを介して画像内の位置を選択することがあり、その位置に存在する周波数コンテンツを音響シーンで見ることがある。例えば、ユーザは、第１の位置９１０を選択することがあり、音響分析システムは、第１の位置の周波数コンテンツ（例えば、周波数１）を提示し得る。したがって、様々な例において、シーン内のどこが特定の周波数コンテンツに対応するかを見ることによって、および／または様々な位置にどの周波数コンテンツが存在するかを見ることによってなど、ユーザは音響シーンの周波数コンテンツを分析するために音響分析システムを使用することができる。
例示的な音響撮像操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景または他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。いくつかのそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ～図５Ｄに示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ～１４ｋＨｚ）を選択し得る。
いくつかの例では、音響分析システムを使用して、受信した音響信号の強度に関連する情報を分析および／または提示することができる。例えば、いくつかの実施形態では、受信した音響信号をバックプロパゲーションすることは、音響シーン内の複数の位置での音響強度値を決定することを含むことができる。いくつかの例では、上記の周波数と同様に、音響信号の強度が１つまたは複数の所定の要件を満たす場合にのみ、音響画像データが表示画像に含まれる。
様々なそのような実施形態では、表示画像は、所定の閾値（例えば、１５ｄＢ）を超える音響信号、所定の閾値（例えば、１００ｄＢ）を下回る音響信号、または所定の強度範囲内の音響信号（例えば、１５ｄＢ～４０ｄＢ）を表す音響画像データを含むことができる。いくつかの実施形態では、閾値は、平均音響強度からの標準偏差より上または下など、音響シーンの統計分析に基づくことができる。
周波数情報に関して上記と同様に、いくつかの実施形態では、１つまたは複数の強度要件を満たす音響信号を表すように音響画像データを制限することは、所定の条件を満たす受信信号のみが音響画像データを生成するために使用されるように、受信した音響信号をフィルタ処理することを含むことができる。他の例では、音響画像データは、どの音響画像データが表示されるかを調整するためにフィルタ処理される。
追加的または代替的に、いくつかの実施形態では、音響シーン内の位置での音響強度を経時的に監視することができる（例えば、ビデオ音響画像表現と組み合わせて、または必ずしも表示画像を更新することなく背景分析を介して）。いくつかのそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量または率を含み得る。
図１０Ａおよび図１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的な表示画像である。図１０Ａは、複数の位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０で示される音響画像データを含む表示画像を示す。いくつかの例では、強度値は調色されることができ、例えば、音響強度値は、所定の調色技術に基づいて色を割り当てられる。例示的な実施形態では、強度値は、強度範囲（例えば、１０ｄＢ～２０ｄＢ、２０ｄＢ～３０ｄＢなど）に従って分類することができる。各強度範囲は、調色技術に従って特定の色に関連付けることができる。音響画像データは、複数のピクセルを含むことができ、各ピクセルは、音響画像データのピクセルによって表される強度が入る強度範囲に関連する色で着色される。色によって区別されることに加えて、またはその代わりに、異なる強度は、透明度（例えば、音響画像データが他の画像データにオーバレイされる画像オーバレイにおいて）などの他の特性に従って区別することができる。
音響強度の変化率など、追加のパラメータも調色されることがある。強度と同様に、音響強度の変化率の変化は、音響強度変化の異なる率および／または量を示すシーンの部分が異なる色で表示されるように、調色することができる。
図示の例では、音響画像データは、強度パレットに従って調色され、その結果、異なる音響信号強度を表す音響画像データは、異なる色および／または陰影で示される。例えば、位置１０１０および１０３０での音響画像データは、第１の強度の調色された表現を示し、位置１０４０、１０６０、および１０８０は、第２の強度の調色された表現を示し、位置１０２０、１０５０、１０７０、および１０９０は、第３の強度の調色された表現を示す。図１０Ａの例示的な表現に示されるように、音響画像データの調色された表現を示す各位置は、中心から外側に延びる色のグラデーションを有する円形パターンを示す。これは、信号が音響信号の発生源から伝播するときの音響強度の減衰が原因であることがある。
図１０Ａの例では、音響画像データは、可視光画像データと組み合わされて、表示画像を生成し、これは、例えば、ディスプレイを介してユーザに提示され得る。ユーザは、可視シーン内のどの位置が音響信号を生成しているか、およびそのような信号の強度を見るために、図１０Ａの表示画像を見ることができる。したがって、ユーザは、どの位置が音を発しているのかを迅速かつ容易に観察し、シーン内の様々な位置から来る音の強度を比較し得る。
本明細書の他の場所の周波数に関して説明されたことと同様に、いくつかの実施形態では、音響画像データは、対応する音響信号が所定の強度条件を満たす場合にのみ提示され得る。図１０Ｂは、図１０Ａの表示画像と同様に例示的な表示画像を示し、可視光画像データおよび所定の閾値を超える音響信号を表す音響画像を含む。示されるように、音響画像データを含む図１０Ａの位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０のうち、位置１０２０、１０５０、１０７０、および１０９０のみが、所定の条件を満たす音響信号を表す音響画像データを含む。
例示的なシナリオでは、図１０Ａは、位置１０１０～１０９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内のどの音源（例えば、図１０Ａおよび１０Ｂの標的シーン内）が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのに役立つ。
本明細書の他の位置で説明されるように、強度閾値（例えば、４０ｄＢ）と直接比較されることに加えて、またはその代わりに、いくつかのそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量または率を含み得る。いくつかのそのような例では、音響画像データは、所与の位置での音響強度の変化率または変化量が所定の条件を満たす場合にのみ提示され得る（例えば、閾値よりも大きい、閾値よりも小さい、所定の範囲内など）。いくつかの実施形態では、音響強度の変化の量または率は、強度音響画像データとして、または強度音響画像データと組み合わせて、調色して表示することができる。例えば、例示的な実施形態では、変化率が、音響画像データを含む位置を決定するための閾値として使用される場合、音響画像データは、表示のための調色された強度変化率メトリックを含むことができる。
いくつかの例では、ユーザは、表示される音響画像データの強度要件（例えば、最小値、最大値、範囲、変化率、変化量など）を手動で設定し得る。本明細書の他の場所で論じられているように、強度要件のみを満たす音響画像データを含むことは、音響画像データ生成中に（例えば、受信した音響信号をフィルタ処理することによって）達成することができ、および／または、設定された要件（複数可）を満たさない音響信号を表す生成された音響画像データを表示しないことによって実行できる。いくつかのそのような例では、強度値に従って表示画像をフィルタ処理することは、音響画像データおよび可視光画像データが取り込まれ、メモリに記憶された後に実行され得る。すなわち、メモリに記憶されたデータを使用して、事前定義された強度条件を満たすなどの音響画像データのみを表示するなど、任意の数のフィルタ処理パラメータを含む表示画像を生成することができる。
いくつかの例では、音響画像の強度の下限を設定すること（例えば、所定の強度を超える音響信号を表す音響画像データのみを表示すること）は、音響画像データから望ましくないバックグラウンドまたは周囲の音および／または音の反射を含むことを排除することができる。他の例では、音響画像の強度の上限を設定すること（例えば、所定の強度未満の音響信号を表す音響画像データのみを表示すること）は、そのような大きな音で通常隠されている音響信号を観察するために、音響画像データに予想される大きな音を含めることを排除することができる。
いくつかの表示機能が可能である。例えば、図９Ｃに関して説明した周波数分析／表示と同様に、いくつかの例では、音響分析システムは、それぞれが異なる強度要件を満たす音響画像データを示す複数の表示画像を繰り返し表示することができる。同様に、いくつかの例では、ユーザは、所与の範囲の音響強度を有する音響画像データ内の位置を見るために、一連の音響強度範囲をスクロールし得る。
音響データの分析に使用できるもう１つのパラメータは、音響信号の周期性値である。図１１Ａおよび図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。図１１Ａのプロットに示されるように、音響データは、第１の周期性を有する周波数Ｘの信号、第２の周期性を有する周波数Ｙの信号、および第３の周期性を有する周波数Ｚの信号を含む。図示の例では、異なる周波数を有する音響信号はまた、音響信号に異なる周期性を含み得る。
いくつかのそのような例では、音響信号は、周波数コンテンツに加えて、または代わりに周期性に基づいてフィルタ処理することができる。例えば、いくつかの例では、音響シーン内の音響信号の複数の発生源が、特定の周波数で音響信号を生成することがある。ユーザが音響撮像のためにそのような音源の１つを分離したい場合、ユーザは、音響データに関連する周期性に基づいて、音響画像データを最終表示画像に含めるか除外するかを選択し得る。
図１１Ｂは、音響信号の周波数対時間のプロットを示す。示されているように、周波数は時間と共にほぼ直線的に増加する。ただし、示されているように、信号には時間の経過と共にほぼ一定の周期性が含まれる。したがって、そのような信号は、選択された表示パラメータに応じて、音響画像に現れる、または現れないことがある。例えば、信号は、ある時点で表示される周波数基準を満たしているが、他の時点では、表示される周波数範囲外にあることがある。しかしながら、ユーザは、周波数コンテンツに関係なく、信号の周期性に基づいて、音響画像データからそのような信号を含めるか除外するかを選択することができる。
いくつかの例では、特定の周期性の音響信号を抽出することは、標的シーンの特定の部分（例えば、通常特定の周期性で動作する特定の装置または装置のタイプ）を分析するのに役立ち得る。例えば、関心のある物体が特定の周期性（例えば、１秒に１回）で動作する場合、これとは異なる周期性を持つ信号を除外すると、関心のある物体の音響分析を改善できる。例えば、図１１Ｂを参照すると、関心のある物体が周期性４で動作する場合、分析のために周期性４を有する信号を分離することにより、関心のある物体の分析が改善され得る。例えば、関心のある物体は、周期性４を有するが、図１１Ｂに示されるように周波数が増加する音を発し得る。これは、物体の特性が変化している可能性があることを意味していることがあり（例えば、トルクや負荷の増加など）、検査する必要がある。
例示的な音響撮像プロセスでは、バックグラウンドノイズ（例えば、産業環境でのフロアノイズ、屋外環境での風など）は一般に周期的ではないが、シーン内の関心のある特定の物体は周期的な音響信号を放出する（例えば、一定の間隔で動作する機械）。したがって、ユーザは、バックグラウンド信号を除去し、関心のある音響データをより明確に提示するために、音響画像から非周期的な音響信号を除外することを選択し得る。他の例では、ユーザは、一定のトーンの発生源を見つけようとすることがあり、したがって、一定のトーンの表示を不明瞭にすることがある音響画像データから周期信号を除外することを選択し得る。一般に、ユーザは、特定の周期性より上、特定の周期性より下、または周期性の所望の範囲内にある音響信号を音響画像データに含めることを選択し得る。様々な例において、周期性は、周期的信号間の時間の長さ、または周期的信号の発生頻度のいずれかによって特定され得る。図１１Ｂに示される周波数と同様に、所与の周期性での強度の分析（例えば、その周期性で動作する関心のある物体による）を同様に使用して、物体からの音響信号が時間と共にどのように変化するかを追跡することができる。一般に、いくつかの実施形態では、周期性を使用して、周波数、強度などの様々なパラメータの変化率分析を実行することができる。
本明細書の他の場所で説明されているように、いくつかの例では、標的シーンの様々な部分を、音響撮像センサからの異なる距離に関連付けることができる。例えば、いくつかの実施形態では、距離情報は、シーン内の様々な部分に関する３次元の深さ情報を含むことができる。追加的または代替的に、ユーザは、シーン内の複数の位置に関連付けられた距離値を測定する（例えば、レーザ距離ツールを使用する）か、または手動で入力することができることがある。いくつかの例では、シーンの様々な部分のそのような異なる距離値を使用して、そのような位置でのバックプロパゲーション計算を調整して、その位置での特定の距離値に対応することができる。
追加的または代替的に、シーンの異なる部分が異なる距離値に関連付けられている場合、音響センサアレイからの近接度（例えば、測定された近接度および／または見かけの近接度）は、そのような部分間の別の区別可能なパラメータであり得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、および１０９０は、それぞれ、異なる距離値に関連付けられている。いくつかの例では、本明細書の他の場所で説明されている周波数または周期性と同様に、ユーザは、音響画像データをディスプレイに含める特定の距離範囲を選択することができる。例えば、ユーザは、所定の距離よりも近い、所定の距離より遠い、または所定の距離範囲内の音響信号を表す音響画像データのみを表示するように選択し得る。
さらに、いくつかの実施形態では、図９Ｃの周波数に関して説明したのと同様に、音響分析システムは、複数の距離範囲を繰り返し表示するように構成でき、現在の距離範囲を満たす標的シーン内の位置から放出された音響信号を表す音響画像データのみを示す。様々な表示をこのように繰り返し表示させることで、ユーザは様々な音響信号間の情報を視覚的に区別することができる。例えば、場合によっては、関連する電磁撮像ツール（例えば、可視光カメラモジュール）からの視線から物体が互いに接近しているように見えることがあり、したがって、そのような物体の電磁画像データと組み合わされた音響画像データは、区別するのは難しい。しかし、物体が深度差によって分離されている場合は、音響画像データの異なる深度範囲を繰り返し表示して、音響データの各発生源を他の発生源から分離することができる。
一般に、音響分析システムは、１つまたは複数の事前定義されたパラメータを満たす音響信号を表す音響画像データを含めるおよび／または除外するために、様々な設定を適用するように構成され得る。いくつかの例では、音響分析システムを使用して、そのような信号を表す音響画像データが、例えば、表示画像に表示されるために、音響信号が満たさなければならない複数の条件を選択することができる。
例えば、図１０Ａおよび１０Ｂに関して、図１０Ａのシーンにおける閾値強度を超える音響信号のみが図１０Ｂに示されている。ただし、追加または代替の制限が可能である。例えば、いくつかの実施形態では、ユーザは、音響画像データをさらにフィルタ処理して、音響画像データが、所定の周波数範囲内の周波数コンテンツを有する、および／または所定の周期性を有する音響信号についてのみ示されるようにし得る。例示的な実施形態では、所定の周波数および／または関心のある周期性に限定して、音響画像データは、１０２０および１０９０などの追加の位置から排除され得る。
一般に、ユーザは、強度、周波数、周期性、見かけの近接度、測定された近接度、音圧、粒子速度、粒子変位、音圧、音響エネルギー、音響エネルギー密度、音響曝露、ピッチ、振幅、輝度、高調波、そのようなパラメータの変化率などのパラメータを含む、表示画像から音響画像データを含めるまたは除外するための任意の数の音響データ要件を適用できる。さらに、いくつかの実施形態では、ユーザは、ＡＮＤ、ＯＲ、ＸＯＲなどの任意の適切な論理的組み合わせを使用して要件を組み合わせ得る。例えば、ユーザは、（所定の閾値を超える強度）ＡＮＤ（所定の範囲内の周波数）を有する音響信号のみを表示したいことがある。
追加的または代替的に、音響分析システムは、図９Ｃの複数の周波数を繰り返し表示することに関して示されるように、標的シーンの異なる部分を示すために１つまたは複数のパラメータ範囲を繰り返し表示するように構成され得る。一般に、１つまたは複数のパラメータをこのような方法で繰り返し表示することができる。例えば、パラメータ（例えば強度）を複数の範囲（例えば、１０ｄＢ～２０ｄＢおよび２０ｄＢ～３０ｄＢ）に分割でき、音響分析システムはそのような範囲を繰り返し表示して、第１の範囲にあるすべての音響画像データを表示し、次に第２の範囲にあるすべての音響画像データを表示するなどである。
同様に、いくつかの実施形態では、音響分析システムは、入れ子にされた範囲を繰り返し表示することによってパラメータ要件を組み合わせるように構成され得る。例えば、例示的な実施形態では、第１の強度範囲ＡＮＤ第１の周波数範囲を満たす音響画像データを表示することができる。表示される音響画像データを第１の強度範囲を満たす音響信号に制限しながら、表示される周波数範囲は繰り返し表示され得る。周波数範囲を繰り返し表示した後、表示された音響画像データが第２の強度範囲および第１の周波数範囲を満たすように、強度範囲を第２の強度範囲に更新することができる。第１の強度範囲を組み込むプロセスと同様に、周波数範囲は、第２の強度範囲を維持しながら同様に繰り返し表示され得る。このプロセスは、周波数範囲と強度範囲のすべての組み合わせが満たされるまで続けることができる。同様のそのようなプロセスは、複数のパラメータのいずれかに対して実行することができる。
追加的または代替的に、いくつかの実施形態では、音響分析システムは、音響シーン内の複数の音を特定および区別するように構成され得る。例えば、図９Ｂに関して、音響分析システムは、位置９１０、９２０、９３０、および９４０で４つの個別の音を特定するように構成され得る。システムは、複数の表示を繰り返し表示させるように構成することができ、各表示は、必ずしもパラメータ値に依存する必要はないが、図９Ｃに示されるのと同様に、単一の個別の位置で音響画像データを示す。同様に、個々の位置での音響画像データ間のそのような繰り返し表示は、１つまたは複数のパラメータ要件が表示される音響画像データを制限した後に実行することができる。
例えば、図１０Ａおよび図１０Ｂに関して、強度閾値が適用される前に、音響分析システムは、複数の音響画像シーンを繰り返し表示させることができ（例えば、可視光画像データを伴う音響画像シーンを含む表示画像として）、各シーンには、単一の位置にある音響画像データが含まれている。いくつかの実施形態では、１０個の別個の画像の繰り返し表示である図１０Ａの図示の例によれば、各画像は、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０のうちの異なる１つでの画像データを含む。しかしながら、いくつかの実施形態によれば、閾値を超える強度を有する位置のみが表示されるように強度フィルタが適用された後（例えば、図１０Ｂのように）、音響分析システムは、フィルタ処理の閾値を満たす位置に対応する画像のみを繰り返し表示するように繰り返し表示プロセスを更新し得る。すなわち、図１０Ｂに関して、繰り返し表示プロセスは、４つの画像間でのみ繰り返し表示するように更新されることがあり、それぞれは、位置１０２０、１０５０、１０７０、および１０９０でそれぞれ個別の音響画像データを示す。
したがって、様々な実施形態では、どの音響画像データが表示されるかを制限するために１つまたは複数のフィルタを適用する前または後のいずれかで、音響画像データを含む標的シーン内の各位置が、複数の繰り返し表示画像のうちの１つに示される。個々の音響発生源位置のそのような周期的な表示は、特定の音響発生源を特定する際に画像を見るユーザを支援することができる。いくつかの実施形態では、サイクル内の各画像は、音響データの単一の発生源のみを含み、いくつかのそのような実施形態では、周波数コンテンツ、強度、周期性、見かけの近接度などの音響データの１つまたは複数のパラメータをさらに含む。
特定の条件を満たす音響画像データを示す画像間の繰り返し表示に加えて、またはその代わりに、いくつかの例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、いくつかの実施形態では、位置１０１０～１０９０のそれぞれから発生する音響信号を表す音響画像データを特定し、繰り返し表示させることができる。例えば、例示的な動作プロセスでは、位置１０１０～１０９０の１つでの音響画像データを含む表示画像は、音響信号の各発生源の個々の分析のために、自動的にまたはユーザの指示で繰り返し表示することができる。様々な実施形態において、繰り返し表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
追加的または代替的に、いくつかの例では、個々の位置からの音響画像データは、１つまたは複数のフィルタを適用した後に繰り返し表示して、１つまたは複数の所定の条件を満たす音響画像データのみを分離することができる。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、および１０９０は、所定の強度要件を満たす音響信号を表す音響画像データを含むものとして示されている。いくつかの実施形態では、そのような表示要件は、音響信号の発生源位置の個々の繰り返し表示に適用することができる。例えば、図１０Ｂをさらに参照すると、音響強度条件を満たす位置１０２０、１０５０、１０７０、および１０９０のうちの１つのみからの画像データを含む表示画像は、各位置での個々の分析のために繰り返し表示することができる。
図１０Ａおよび図１０Ｂを参照する例示的なプロセスでは、シーンから収集された音響画像データは、一般に、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０で図１０Ａに示され得る。そのような位置は、様々な強度、周波数コンテンツ、周期性などなどの様々な音響パラメータを有する音響信号を表す音響画像データを含むことができる。
本明細書の他の場所で説明されているように、ユーザは、最小の音響強度を有する音響信号など、１つまたは複数の特定の音響パラメータを有する音響信号を分離することを望むことがある。そのような条件を満たさない音響信号を表す音響画像データは、画像から除外することができ、例えば、図１０Ｂに示されるように、位置１０２０、１０５０、１０７０、および１０９０の音響画像データを放置することができる。しかしながら、ユーザは、表示条件を満たす（例えば、閾値を超える強度を有する）特定の音の発生源をさらに特定したいことがある。したがって、ユーザは、各音の発生源の位置を見て、個々に分析するために、位置１０２０、１０５０、１０７０、および１０９０に関連付けられた音響画像データを１つずつ表示することを選択し得る。様々な実施形態では、ユーザは、そのような位置を手動で繰り返し表示することを選択することがあるか、またはプロセッサは、個々の位置の音響画像データを順次表示するように表示画像を自動的に更新し得る。これは、関心がないが、画像に適用される１つ以上のフィルタ処理パラメータを満たす音響信号をユーザがさらに排除して無視するのに役立つことがある。
強度および図１０Ａおよび図１０Ｂに関して説明されているが、一般に、複数の位置から選択された単一の位置からの音響画像データを含む表示画像は、個々の分析のために１つずつ繰り返し表示することができる。代表的な音響画像データが含まれる複数の位置は、音響シーン内の音響信号の発生源に対応する位置のセット全体であるか、または、例えば、１つまたは複数の条件を満たす音響信号を有する位置のみを含むそのような位置のサブセットであり得る。そのような条件は、強度、周波数コンテンツ、周期性、近接度などの任意の１つまたは複数の音響パラメータに依存することができ、所定の値未満、所定の値を超える、または所定の値の範囲内にある様々なパラメータに基づいて満たすことができる。
様々な例において、表示画像に音響画像データを選択的に含めるように表示画像を修正することは、様々な方法で行うことができる。いくつかの実施形態では、表示画像（例えば、電磁画像データおよび音響画像データを含む）は、リアルタイム画像であることができ、この場合、電磁画像データおよび音響画像データは、シーンの変化を反映するように継続的に更新される。いくつかの例では、音響画像データが表示画像に含まれるかどうかを決定するために特定の条件が使用される場合、受信した音響信号が分析されて、更新されたリアルタイム画像の様々な位置での音響画像データが含まれるかどうかが判定される。すなわち、新たに受信した音響信号および電磁放射に基づいて新しい表示画像が生成されるとき、表示画像の構築は、どの音響信号が表示画像に置かれた特定の条件（例えば、強度閾値など）を満たすかを決定するための音響信号の分析に依存することができる。次に、そのような条件に従って適切な場合にのみ、音響画像データを含む表示画像を生成することができる。
他の例では、表示画像は、以前に取り込まれた音響データおよび電磁画像データなどの、メモリに記憶されたデータから生成することができる。いくつかのそのような例では、以前に取得された音響データは、音響画像データに置かれる様々な条件に関して分析され、以前に取り込まれた音響データがそのような条件を満たす位置で電磁画像データと組み合わされる。そのような実施形態では、単一のシーンは、例えば、異なる音響パラメータを分析することによって、多くの方法で見ることができる。以前に取り込まれた音響画像データを表す表示画像は、表示画像の様々な位置に音響画像データを含めるかどうかについて、表示画像に置かれた更新された条件に基づいて更新することができる。
いくつかの実施形態では、音響画像データを表示画像に選択的に含めるために使用される１つまたは複数の音響パラメータを使用して、表示画像および／または画像取り込み技術を変更し得る。例えば、リアルタイム画像化の例では、音響画像データを表示に含めるかどうかを決定するための様々な条件は、標的までの距離（例えば、見かけの距離または測定された距離）および／または周波数コンテンツを含み得る。本明細書の他の場所で説明されているように、いくつかのそのようなパラメータは、音響センサアレイおよび／または音響画像データを生成するための処理技術を選択する際に使用することができる。したがって、いくつかのそのような例では、音響画像データが１つまたは複数の所定の条件を満たすそのようなパラメータに基づいてのみ表される場合、音響画像データを生成するための音響センサアレイおよび／または処理技術は、そのような条件に基づいて選択され得る。
例えば、例示的な実施形態では、音響画像データが、対応する音響信号が第１の周波数範囲内の周波数コンテンツを含む位置のリアルタイム画像にのみ含まれる場合、第１の周波数範囲に最適な音響信号を取得するために、１つまたは複数の音響センサアレイを選択することができる。同様に、音響画像データが、音響信号の発生源が第１の距離範囲内にある位置でリアルタイム画像にのみ含まれる場合、１つまたは複数の音響センサアレイを選択して、第１の距離範囲での音響撮像用に最適な音響信号を取得することができる。追加的または代替的に、例えば、図６に関して説明したように、音響画像データを生成するための処理技術は、所望の周波数または距離条件に基づいて選択することができる。そのような選択された音響撮像センサアレイ（複数可）および処理技術は、その後、音響信号を受信し、含まれる音響画像データを最適化するために、更新されたリアルタイム表示画像の音響画像データを生成するために使用され得る。
同様に、表示画像が以前にメモリに記憶された履歴データから生成されるいくつかの実施形態では、表示画像に音響画像データを含める位置を決定する様々な条件を使用して、音響シーンを表す音響画像データを更新することができる。例えば、いくつかの実施形態では、メモリに記憶されたデータは、音響信号が受信されたときから音響センサアレイ（複数可）によって受信された生の音響データを含む。音響画像データが表示画像の様々な位置に含まれるかどうかを決定するための条件（例えば、所望の距離および／または周波数範囲）に基づいて、表示する所望のパラメータに最適化された音響画像データを生成するために、メモリに記憶された生データと共に使用するための処理技術（例えば、バックプロパゲーションアルゴリズム）を選択することができる。
可視光画像データおよび音響画像データを使用して一般的に説明および示されているが、図９Ａ～図９Ｃ、図１０Ａおよび図１０Ｂに関して説明されたプロセスは、様々な電磁画像データのいずれかを含めて使用できることが理解されよう。例えば、様々な実施形態において、同様のプロセスは、可視光画像データの代わりに、赤外線画像データまたは紫外線画像データを用いて実行され得る。追加的または代替的に、電磁スペクトルの組み合わせは、混合された赤外線画像データおよび可視光画像データなどのそのようなプロセスで使用することができる。一般に、様々な例において、音響画像データは、電磁画像データの任意の組み合わせと組み合わせて選択的に示すことができる（例えば、対応する音響信号が１つまたは複数の所定のパラメータを満たすときに含まれる）。
いくつかの実施形態では、音響分析システムは、１つまたは複数の音響信号および／または音響画像データをデータベース、例えば、ローカルメモリに、および／または外部またはリモート装置からアクセス可能に記憶するように構成される。そのような音響信号は、通常の動作中の音響シーンを表す音響画像データ、および／または周波数データ、強度データ、周期性データなどの音響シーンに関連する他のパラメータを含むことができる。様々な例において、データベースシーンは、広いシーン（例えば、工場）および／またはより具体的なシーン（例えば、特定の物体）を表す音響画像データおよび／または他の音響パラメータ（例えば、強度、周波数、周期性など）を含むことができる。
いくつかの実施形態では、データベースシーンは、特定のモデルの装置など、特定のタイプの装置に一般的であり得る。追加的または代替的に、データベースシーンは、そのような異なる物体が同じ物体の異なるインスタンスである場合でも、個々の物体に固有であり得る（例えば、同じモデルである２つの別個のマシン）。同様に、データベースシーンは、例えば、物体の特定の動作状態を含めて、より具体的にすることができる。例えば、特定の物体に複数の操作モードがある場合、データベースには、そのような物体の複数のシーンを、動作モードごとに１つずつ含めることができる。
様々な実施形態では、データベースシーンは、単一の音響画像および／または関連する音響パラメータであり得る。他の例では、データベースシーンは、以前に取り込まれた複数の音響画像および／または関連するパラメータから形成された複合データを含むことができる。一般に、データベースシーン（例えば、音響画像および／またはパラメータ）は、通常の動作中のシーンの音響表現を含むことができる。いくつかの例では、データベースは、例えば、対応する可視光画像、赤外線画像、紫外線画像、またはそれらの組み合わせなど、シーンに関連する他の要素を含むことができる。いくつかの実施形態では、データベースの生成および／または比較は、本出願の譲受人に割り当てられ、その全体が参照により本明細書に組み込まれる２０１６年６月２３日に出願され、「ＴＨＥＲＭＡＬ ＡＮＯＭＡＬＹ ＤＥＴＥＣＴＩＯＮ」と題された米国特許出願第１５／１９０，７９２号に記載されている赤外線画像データのデータベース生成および比較と同様に実行することができる。いくつかの実施形態では、データベースは、シーン内の物体が正しく動作している間に、シーンの音響画像データおよび／または１つまたは複数の関連する音響パラメータ（例えば、周波数、強度、周期性など）を取り込むことによって生成することができる。いくつかのそのような例では、ユーザは、取り込まれたデータベース画像にタグを付けて、画像を１つまたは複数の物体、位置、シーンなどに関連付けることがあり、その結果、取り込まれた音響画像および／または関連するパラメータ（複数可）が、将来のデータベース分析および比較において特定され得る。
新しく生成された音響画像データは、データベースに記憶されている音響画像データと比較して、音響シーンの音響プロファイルが一般的な動作基準内にあるかどうかを判定できる。追加的または代替的に、ライブ音響シーンおよび／または新しく生成された音響画像からの強度、周波数、周期性などの音響パラメータを、データベース内の同様のパラメータと比較することができる。
データベースに記憶された現在の音響画像データを過去の音響画像データ（例えば、以前に取り込まれた画像、複数の以前に取り込まれた画像から生成された合成画像、工場提供の予想される画像など）と比較することは、複数の方法で実行できる。図１２Ａ～図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。図１２Ａは、音響視野１２１２を有する音響センサアレイ１２０２と、電磁視野１２１４を有する電磁撮像ツール１２０４とを含む音響撮像ツール１２００を示す。示されるように、電磁視野１２１４および音響視野１２１２は、関心のある物体１２２２を含む標的シーン１２２０を含む。いくつかの実施形態では、音響撮像ツール１２００は、関心のある物体１２２２が電磁視野１２１４および音響視野１２１２内にあるような位置に恒久的に固定されている。いくつかの実施形態では、音響撮像ツール１２００は、誘導電力または寄生電力を介して電力を供給され得るか、建物内のＡＣ主電力に配線され得るか、または物体１２２２を継続的に監視するように構成され得る。
固定された音響撮像ツール１２００は、物体１２２２の音響および／または電磁画像データを周期的に取り込むように構成され得る。音響撮像ツール１２００は一般に定位置に固定されているため、異なる時間に取り込まれた画像は、ほぼ同じ視点からのものである。いくつかの例では、音響撮像ツール１２００を介して取り込まれた音響画像データは、例えば、音響シーンの異常を検出するために、ほぼ同じシーンを表す音響画像データのデータベースと比較され得る。これは、例えば、参照により組み込まれる米国特許出願第１５／１９０，７９２号に記載されているように実施することができる。
図１２Ｂは、例えば、手持ち式音響撮像ツール上の例示的なディスプレイを示す。ディスプレイ１２３０は、２つのセクション、１２３２および１２３４を含む。図示の例では、セクション１２３４は、関心のある物体のデータベース画像１２４４を示し、セクション１２３２は、物体のリアルタイム音響画像データのライブ画像１２４２を含む。そのような並列表示では、ユーザは、（例えば、データベース画像１２４４に示される）典型的な音響信号と現在のリアルタイム画像１２４２との間の差異を表示するために、ライブ画像１２４２をデータベース画像１２４４と比較することができる。同様に、ユーザは、ライブ画像１２４２がデータベース画像１２４４とほぼ一致するかどうかを比較することができる。そうである場合、ユーザは、データベース画像１２４４とのさらなる分析および／または比較のために、ライブ音響画像を取り込むことができる。
図１２Ｃは、例えば、手持ち式音響撮像ツール上の別の例示的なディスプレイを示す。図１２Ｃのディスプレイ１２５０は、同じディスプレイ１２５２上のデータベース画像１２５４およびライブ画像１２５６を示す。図１２Ｃの例では、ユーザは、差異を表示するために、ライブ画像１２５６内の音響画像データをデータベース画像１２５４内の音響画像データと同様に比較することができる。さらに、ユーザは、さらなる分析および比較のために、ライブ画像１２５６内の物体をデータベース画像１２５４内の物体と揃えるために、音響撮像ツールの位置合わせを調整し得る。
図１２Ａ～図１２Ｃのプロセスの結果として、ライブおよび／または最近取り込まれた音響画像は、データベースなどからの以前の音響画像データと比較することができる。いくつかの例では、そのようなプロセスを使用して、自動比較のために、ライブおよび／または最近取り込まれた音響画像をデータベース画像と位置合わせすることができる。データベース画像と同様の視点から音響画像データを「再取り込み」するために使用できる他のプロセスは、２０１１年１２月２０日に出願され、「ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ」と題された米国特許出願第１３／３３１，６３３号、２０１１年１２月２０日に出願され、「ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ」と題された米国特許出願第１３／３３１，６４４号、および２０１１年１２月２３日に出願され、「ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ」と題された米国特許出願第１３／３３６，６０７号に記載され、それぞれは本出願の譲受人に譲渡されており、その全体が参照により組み込まれている。
リアルタイムの音響画像データおよび／または音響署名を、比較可能なシーン／物体の対応する音響画像および／または音響署名と比較することを使用して、シーン／物体の動作状態の迅速かつ単純化された分析を提供することができる。例えば、比較は、音響シーン内の特定の位置が、通常の動作中とは異なる強度または周波数スペクトルを有する音響信号を放出していることを示すことがあり、これは、問題を示し得る。同様に、シーン内の位置は、通常は無音の音響信号を放出していることがある。追加的または代替的に、ライブシーンとデータベースからの履歴シーンの全体的な音響署名の比較は、一般に、周波数コンテンツ、音響強度などのシーン内の音響パラメータの変化を示すことができる。
いくつかの例では、音響分析システムは、最近／リアルタイムの音響シーンをデータベースと比較するように構成されている。いくつかの実施形態では、音響分析システムは、最近／リアルタイムシーンとデータベースシーンとの間の差異を特徴付け、比較に基づいて現在のシーンで起こり得る１つまたは複数の問題を診断するように構成される。例えば、いくつかの実施形態では、ユーザは、音響データベースと比較するための、関心のある物体または標的シーンを事前に選択し得る。音響分析システムは、選択された物体／シーンに基づいて、データベース画像および／または他のパラメータを最近／現在の画像および／または他のパラメータと比較して、シーンを分析することができる。データベースから選択された物体／シーンに基づいて、音響分析システムは、データベース画像／パラメータと最近／現在の画像／パラメータとの間の１つまたは複数の差異を特定し、特定された差異（複数可）を１つまたは複数の差異の考えられる原因に関連付けることができ得る。
いくつかの例では、音響分析システムは、複数の診断情報を使用して事前にプログラムすることができ、例えば、データベース画像／パラメータと、最近／現在の画像／パラメータとの間の様々な差異を、考えられる原因および／または原因の解決策と関連付ける。追加的または代替的に、ユーザは、例えば、診断データのリポジトリからそのような診断情報をロードし得る。そのようなデータは、例えば、音響分析システムの製造業者、関心のある物体の製造業者などによって提供され得る。さらに別の例では、音響分析システムは、例えば、１つまたは複数の機械学習プロセスを介して、診断情報を追加的または代替的に学習することができる。いくつかのそのような例では、ユーザは、典型的なシーンからのシーンの音響逸脱を観察した後、標的シーンの１つまたは複数の問題を診断し、１つまたは複数の問題および／または１つまたは複数の解決策を表すデータを音響分析システムに入力し得る。システムは、時間の経過と共に、複数のデータエントリを介して、最近／現在の画像および／またはパラメータと、データベースに保存されているものとの間の様々な不一致を、特定の問題および／または解決策に関連付けることを学習するように構成できる。問題を診断し、および／または提案された解決策を決定すると、音響分析システムは、例えば、ディスプレイを介して、疑わしい問題および／または提案された解決策をユーザに出力するように構成され得る。このようなディスプレイは、手持ち式音響検査ツールまたはリモート装置（例えば、ユーザのスマートフォン、タブレット、コンピュータなど）に配置できる。追加的または代替的に、潜在的な問題および／または解決策を示すそのようなディスプレイは、例えばネットワークを介して、オフサイトのオペレータ／システムモニタなどのリモートサイトに通信することができる。
いくつかの例の診断特性では、音響分析システムは、動作中の機械に追加の潤滑が必要であることを示し得る特定の周期的なきしみ音を観察し得る。同様に、一定の高音の信号は、標的シーンでのガスまたは空気の漏れを示している可能性がある。他の問題も同様に、分析中の物体内のベアリングの破損など、認識可能な音響署名があることがあり、音響撮像システム（手持ち式音響撮像ツールなど）を介して音響署名を見ると、システムまたは物体の異常を診断するのに役立つことがある。
受信した音響信号を基準（例えば、音響画像データおよび／またはデータベースからのパラメータ）と比較し、診断情報を実行し、および／または是正措置を提案することができる音響分析システムは、シーンの音響データを経験豊富な専門家が分析する必要をなくすことができる。むしろ、音響検査および分析は、音響データの分析の経験が限られているか、または全く経験のないシステムオペレータによって実行することができる。
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。この方法は、関心のある標的の選択を受信し（１３８０）、データベースから関心のある標的の基準音響画像および／または音響パラメータを取得すること（１３８２）を含む。例えば、ユーザは、関心のある特定の物体の音響分析を実行することを望むことがあり、利用可能な基準音響画像および／またはデータベースで利用可能なパラメータを有する物体の事前定義されたリストからそのような物体を選択し得る。
この方法は、例えば、手持ち式音響撮像ツールを使用して、関心のある標的を表す音響画像データおよび関連するパラメータを取り込むステップ（１３８４）をさらに含む。音響画像データおよび関連するパラメータを取り込んだ後（１３８４）、この方法は、取り込まれた音響画像データおよび／または関連するパラメータを、取得された基準画像および／またはパラメータと比較する（１３８６）ことを含む。
図１３の方法は、取り込まれた音響画像データおよび／またはパラメータが基準から十分に逸脱している場合（１３８８）、比較に基づいて関心のある標的の動作問題を診断すること（１３９０）をさらに含む。この方法は、起こり得る問題および／または是正措置の表示をユーザに表示するステップをさらに含むことができる（１３９２）。いくつかの実施形態では、比較表示、例えば、現在の音響画像データと基準音響画像データとの間の差を示す差分画像を、追加的または代替的にユーザに表示することができる。
いくつかのそのような例では、基準からの逸脱があるかどうかを判定する（１３８８）ことは、取り込まれたデータの１つまたは複数の音響パラメータを基準データ内の同様のパラメータと比較し、取り込まれたパラメータと基準パラメータとの間の差異が所定の閾値を超えるかどうかを判定することを含む。様々な例において、異なるパラメータは、異なる閾値を含むことがあり、そのような閾値は、絶対閾値、統計的閾値などであり得る。いくつかの実施形態では、比較は、位置ごとに行うことができ、シーン内の位置のサブセットに対して実行し得る。
例えば、図９Ｂに関して、音響画像データを含み、物体上に現れる位置（例えば、位置９１０および９４０）のみが、物体の動作に関して分析されることが可能である。そのような例では、比較される各位置（例えば、９１０および９４０）での異なる音響パラメータが、取り込まれた画像とデータベース画像との間で個別に比較される。例えば、取り込まれたデータおよび／または関連するパラメータをデータベースからのものと比較することは、図９Ｂを参照して、取り込まれた画像内の位置９１０の周波数、強度、および周期性をそれぞれ、データベース画像内の位置９１０の周波数、強度、および周期性と比較することを含むことができる。同様の比較は、取り込まれた画像とデータベース画像との間の位置９４０で実行することができる。説明したように、各比較は、基準からの十分な逸脱があるかどうかを判定する（１３８８）ための異なるメトリックを含むことができる。
動作の問題を診断し（１３９０）、起こり得る問題および／または是正措置の表示を表示する（１３９２）ことは、取り込まれた画像データと基準画像データおよび／またはパラメータと間の比較の組み合わせに基づいて実行することができる。いくつかの例では、そのような診断は、所与の位置での複数のパラメータの比較を組み合わせるなどの多次元分析を含むことができる。例えば、例示的な実施形態では、特定の条件は、第１の閾値よりも大きい基準からの周波数の逸脱と、第２の閾値よりも大きい基準からの強度の逸脱の両方によって示され得る。
いくつかの例では、起こり得る問題および／または是正措置の表示を表示した後でも（１３９２）、プロセスは、新しい音響画像データおよび関連するパラメータを取り込み（１３８４）、比較および診断プロセスを繰り返すことを含み得る。したがって、ユーザは、特定された問題を修正するため、および／または物体の音響署名を基準に一致させるために、取られた是正措置が物体の音響署名を効果的に変更しているかどうかを観察し得る。
いくつかの実施形態では、取り込まれたデータを基準データと比較した後（１３８６）、基準からの十分な逸脱がない場合（１３８８）、プロセスは、物体の現在の音響署名に基づいて、物体は正常に動作しているとの結論で終了し得る（１３９４）。追加的または代替的に、関心のある標的の新しい音響画像データおよび関連するパラメータを取り込むことができ（１３８４）、比較および診断プロセスを繰り返すことができる。いくつかの例では、継続的な繰り返し分析は、例えば、図１２Ａの音響撮像ツール１２００を含む、固定された音響分析システムを使用して実行することができる。
音響データ（例えば、画像データおよび／または他の音響パラメータ）の比較は、物体が正しく機能しているかどうかをより簡単にユーザが特定し、そうでない場合は物体の問題を診断するのに役立つ。いくつかの例では、基準と比較すると、物体の操作上の問題とは無関係であり得る予想される動作音やフロア／バックグラウンド音など、シーン内の「通常の」音をユーザが無視するのに役立つ。
動作中、音響画像データおよび／または関連する音響パラメータの観察、あるいは現在の音響シーンとデータベースの音響シーンとの間の比較の結果の観察は、さらなる検査のために関心のある位置をユーザに示し得る。例えば、データベース画像からの逸脱を示す比較音響画像は、異常に動作しているシーン内の１つまたは複数の位置を示し得る。同様に、予期しない１つまたは複数の位置で音響署名を有する音響画像を見ることは、関心のある位置をユーザに示し得る。例えば、図１０Ｂを参照すると、音響撮像システムのディスプレイ上で図１０Ｂを観察しているユーザは、特定の位置（例えば、１０２０）が予期せぬ音響信号を放出していることに気付くことがあり、または同様に、基準画像との比較は、その位置での音響信号の予期しないパラメータ（例えば、予期しない周波数、強度など）を示す。
いくつかのそのような例では、異常がないか位置をより綿密に検査するために、ユーザはそのような位置に近づくことがある。物体に近づくと、標的までの距離値が更新され、音響アレイと標的位置との間の新しい距離が反映され得る。音響センサアレイおよび／またはバックプロパゲーションアルゴリズムは、更新された標的までの距離に基づいて更新され得る。追加的または代替的に、より近い位置からの更新された音響分析は、標的からの音響信号の異なる分析をもたらすことがある。例えば、高周波音響信号（例えば、超音波信号）は、音響信号の発生源から比較的短い距離にわたって減衰する傾向がある。したがって、ユーザがさらなる検査のために標的に近づくと、追加の信号（例えば、高周波信号）が音響センサアレイに可視であることがある。観察可能なシーンにおけるそのような明らかな変化はまた、音響撮像に使用される音響センサアレイおよび／またはバックプロパゲーションアルゴリズムの調整をもたらすことがある。
したがって、音響撮像に使用されるセンサアレイおよび／またはバックプロパゲーションアルゴリズムは、ユーザが関心のある物体または領域に近づくにつれて、１回または複数回更新することができる。各更新は、異なるセンサアレイおよび／またはバックプロパゲーションアルゴリズムを使用して、遠くからは観察できなかった可能性のある関心のある物体または領域に関する追加の詳細を提供することがある。例えば、より広いシーンの初期の観察に基づいて、関心のある物体または領域に近づくと、環境内のバックグラウンド音と比較して、関心のある音響信号の音響強度を高めることもできる。
いくつかの実施形態では、音響分析システム（例えば、手持ち式音響撮像ツール）は、シーン内の関心のある物体または領域により近く移動するようにユーザに促すことができる。例えば、現在の音響画像を基準データベース画像と比較すると、音響分析システムは、基準から逸脱するシーン内の１つまたは複数の位置を特定し得る。音響分析システムは、例えば、ディスプレイを介して、そのような１つまたは複数の位置をユーザに強調表示し、さらなる分析のために、ユーザが特定された位置に近づくことを提案し得る。いくつかの例では、音響分析システムは、環境内の物体の副構成要素または特定の物体などの特定された位置を、データベースに記憶された独自の基準プロファイルを有するものとして分類することができる。システムは、分類された位置のそのようなプロファイルを提案および／または実施して、ユーザが追加の検査のために近づくときに特定された位置のさらなる分析を容易にするように構成され得る。
本明細書に記載のシステムおよびプロセスは、音響検査の速度、効率、精度、および徹底性を改善するために使用することができる。様々な自動化されたアクションおよび／または提案（例えば、センサアレイ、バックプロパゲーションアルゴリズムなど）により、検査の容易さが向上し、経験の浅いユーザが音響シーンの徹底的な音響検査を実行し得る。さらに、このようなプロセスを使用して、システム全体、個々の物体、個々の物体の副構成要素など、幅広いシーンを分析できる。音響シーンの基準音響データの事前定義および／またはユーザ生成のプロファイルは、経験の浅いユーザでも、取り込まれた音響データの異常を特定するのに役立つ。
音響画像データを可視光、赤外線、および／または紫外線画像データなどの他のデータストリームに位置合わせすると、音響画像データで表される音響信号を放出している物体に追加のコンテキストおよび詳細を提供できる。音響センサアレイと距離測定ツール（レーザ距離ファインダーなど）を組み合わせることで、ユーザが音響撮像プロセスで使用する適切な標的までの距離値をすばやく簡単に決定することを支援できる。様々な例において、音響センサアレイ、距離測定ツール、プロセッサ、メモリ、および１つまたは複数の追加の画像化ツール（例えば、可視光カメラモジュール、赤外線カメラモジュールなど）は、複数のシーンの効率的な音響分析を提供できる手持ち式音響撮像ツールの単一の筐体によって支持され得る。このような手持ち式音響撮像ツールは、シーン間を移動して、関心のある複数の物体を迅速に分析できる。同様に、手持ち式ツールを使用すると、ユーザはシーン内の関心のある位置に近づいて、さらに検査または分析することができる。
様々な音響撮像システムは、１つ以上のセンサアレイ内のセンサによって検出された音響信号(極超音速、可聴、および／または超音波)の疑似色、記号的、あるいはその他非数値的な視覚的表現を作成するように構成されてもよい。そのようなシステムの中には、スピーカ、ヘッドホン、ヘッドセット(有線または遠隔送信)、などを介して受信した音響信号の音声フィードバックをユーザに提供可能なものもある。そのような例では、音声フィードバックは、受信した音響信号に基づいて受信音声信号またはヘテロダイン信号の再生を含む。実際の音声またはヘテロダイン音声の伝送は、検出され、表示されている音響の視覚的表現に同期される。
例示的な音響撮像システムは、検出された音を表示、局在化、説明、および分析するために、任意の数の異なる方法を用いることができる。視覚化方法は、様々なタイプの色付きの形、アイコンを、一緒に表示される可視背景に適合するための様々なレベルの透明度調整とともに含むことがある。
本明細書の他の場所に説明されているように、いくつかの実施形態において、音響撮像システムは、アレイに配置された複数の音響センサ要素を含むことができる。場合によっては、異なる音響センサ要素と同様に、異なるアレイの形やサイズが、例えば、周波数範囲、標的までの距離などに基づいて、異なる種類の音響信号の感知により効果的であり得る。よって、用途によっては、特定の周波数に感度を持つ音響画像が求められ、および／または特定のセンサ構成の使用がより良い結果を生み出す。
いくつかの実施形態では、音響撮像システムは、それぞれ複数の音響センシング要素を有しこのシステムに交換可能に統合される複数の音響センサヘッドを備えてもよい。音響センサヘッドは、音響撮像ツールとワイヤレスで(例えばワイヤレス無線モジュールを介して)および／または有線通信を経由させて通信するように構成されてもよい。いくつかの実施形態では、音響撮像ツールは、例えば、異なる用途および使用のため、異なるセンサヘッドを受け入れるように設計および構成されてもよい。これは、ツールのユーザに対してより多くの柔軟性を提供でき、より優れたデータ収集および分析機能が可能とし、完全に別々のツールが使用されたときに発生する時間と費用とを削減することができる。
いくつかの例において、１つ以上のセンサヘッドは主音響撮像装置に直接取り付けることができる。追加的または代替的に、１つ以上のセンサヘッドは、主装置の付属品として独立して使用されてもよい。そのような例では、センサヘッド（複数可）と主装置とは有線接続、および／または、主装置およびセンサヘッド（複数可）内の１つ以上のワイヤレス無線要素経由での無線通信を介して通信することができる。いくつかの実施形態において、センサヘッドアセンブリ内の無線は、主音響撮像装置に無線で接続されることが可能な有線の(例えば、ＵＳＢベースの)無線「ドングル」とワイヤレスで通信してもよい。
図１４は、音響撮像ツール１４１２と複数の音響センサ要素１４３０とを含むセンサヘッド１４２２の例示的な実施形態を示す。音響撮像ツール１４１２は、センサヘッド１４２２の個別のドッキング機構１４２０の受け手となるためのドッキングポート１４１０を備える。ドッキングポート１４１０へのドッキング機構１４２０の取り付けは、音響センサ要素１４３０とプロセッサなどの音響撮像ツール１４１２との間の通信を提供することができる。
図１４は、センサヘッドの第１の側面上にあるドッキング機構１４２０と第１とは反対の第２の側面上にある音響センサ要素１４３０とを有する円形状のセンサヘッドを描写している。センサヘッド１４２２は円形として示されているが、各センサヘッドは、長方形、円形、三角形、またはその他任意の適切な形状の様々な形のいずれかであってもよい。
いくつかの例では、センサヘッド１４２２および／または音響撮像ツール１４１２は、このツールにセンサヘッドを固定するための１つ以上の取り付け要素を備えてもよい。このような取り付け要素は、ラッチ、ロック、摩擦適合要素、ねじ、クリップ、面ファスナー、または音響撮像ツールにセンサヘッドを固定するためのその他適切な要素を含んでもよい。いくつかの例では、音響センサヘッド上のドッキング機構は、音響撮像ツールのドッキングポートと係合するように構成された１つ以上の取り付け要素の１つとして働き、音響センサヘッドのドッキング機構の受け手となるための対応する取り付け要素として機能することができる。様々な実施形態では、音響撮像ツールへの音響センサヘッドの取り付けは、音響センサヘッドの要素(例えば、ドッキング機構１４２０)を音響撮像ツールの受け口(例えば、ドッキングポート１４１０)に差し込むことを含めてもよい。他の例では、取り付けは、音響撮像装置の筐体の一側面から所定の位置に音響センサヘッドをスライドさせることを含めてもよい。音響撮像ツールとセンサヘッドとの間の通信は、有線(例えば、電気的な接続)またはワイヤレス接続(例えば、Ｂｌｕｅｔｏｏｔｈ[登録商標])を含んでもよい。
図１５は、スライドイン式取り付け用に構成された例示的なセンサヘッド１５２２および音響撮像ツール１５１２を示す。図示されるように、音響撮像ツールの筐体は、音響センサヘッド１５２２の１つ以上の対応する嵌合機能１５２７のエッジの受け手となるように構成された１つ以上のスライドレール１５１７を含んでもよい。いくつかの実施形態では、音響撮像ツール１５１２はまた、音響センサヘッドが音響撮像ツール筐体のスライドレール（複数可）を介してスライド可能に受け取られたときに音響センサヘッド上で対応するドッキング機構１５２０の受け手となるように構成されたドッキングポート１５１０を含んでもよい。
図１５は、第１の側面上にあるドッキング機構１５２０および嵌合機能１５２７と第１と反対側の第２の側面上にある音響センサ要素１５３０とを有する矩形状のセンサヘッドを描写している。センサヘッド１５２２は矩形として示されているが、各センサヘッドは、長方形、円形、三角形、またはその他任意の適切な形状の様々な形のいずれかであってもよい。
いくつかの例では、取り付け可能な音響センサヘッドは、例えば、音響センサ要素のアレイのサイズ、形状またはその両方を大きくするおよび／または追加的なアレイ構成を組み込むために伸展可能であってもよい。音響センサ要素のアレイのサイズ、形状またはその両方を変更すると、場所、環境を変更し、あるいは異なる音響パラメータ（例えば、周波数範囲、周期性、振幅）の音を探すときなどに役立つ。図１６は、センターセンサ部１６２２と、センターセンサ部１６２２に取り付け機構ｌ６２９ａ～ｄを介して接続された複数の折り畳み式の第２のセンサ部ｌ６３２ａ～ｄとを有する例示的な音響センサヘッドを示す。いくつかの例では、取り付け機構ｌ６２９ａ～ｄは、折り畳みヒンジまたはその他の可撓で、折り畳み可能な、または他の準拠部材を含むことができる。
図示されるように、センターセンサ部１６２２は、例えば、音響撮像装置のドッキングポートに個別に係合するためのドッキング機構１６２０を含む。いくつかの実施形態において、取り付け機構ｌ６２９ａ～ｄは、第２のセンサ部ｌ６３２ａ～ｄとドッキング機構１６２０との間の通信を提供する。追加的または代替的に、いくつかの実施形態では、第２のセンサ部ｌ６３２ａ～ｄは、センターセンサ部１６２２および／または音響撮像装置とワイヤレスで通信することができる。
いくつかの実施形態では、第２のセンサは、本明細書で議論される種々な取り付け機構のいずれかを経由するなど、取り付け可能であってもよい。図１７は、対応する相補的な取り付け機構１７２８ａ～ｄを介して１つ以上の対応する第２のセンサ部ｌ７３２ａ～ｄの受け手となるように取り外し可能に構成され得る１つ以上の取り付け機構ｌ７２９ａ～ｄを含むセンターセンサ部１７２２を有する例示的な音響センサを示す。
図示されるように、センターセンサ部１７２２は、例えば、音響撮像装置のドッキングポートに個別に係合するためのドッキング機構１７２０を含む。いくつかの実施形態では、それぞれの取り付け機構ｌ７２８ａ～ｄおよびｌ７２９ａ～ｄは、第２のセンサ部（複数可）がこのような取り付け機構を介してセンターセンサ部に取り付けられたときに、第２のセンサ部ｌ７３２ａ～ｄとドッキング機構１７２０との間の通信を提供する。追加的または代替的に、いくつかの実施形態では、第２のセンサ部ｌ７３２ａ～ｄは、センターセンサ部１７２２および／または音響撮像装置とワイヤレスで通信することができる。
一般に、種々な例において、取り外し可能な音響センサヘッドは主センサ部とセンサ動作中に選択的に使用できる１つ以上の第２のセンサ部とを含むことができる。このような第２のセンサ部は、主センサ部に取り外し可能に取り付けられてもよく、それから折り畳み可能であり、および／または主センサ部から伸展可能である。いくつかの例では、取り付けられ、または所定位置に折り畳まれると、そのようなセンサは自動的に有効にされ、例えば、システムプロセッサに音響情報を提供する。他の実施形態では、ユーザは、そのような１つ以上の第２のセンサ部を起動するために手動で選択してもよい。様々な例では、任意の数の第２のセンサ部が主センサ部に取り付けられ、および／またはそれから折り畳み可能にされてもよい。
いくつかの実施形態では、取り付け可能なセンサヘッドは、音響撮像ツール筐体に取り付けるためのドッキング機構を含むことができ、ここで、センサアレイは、センサヘッドがドッキング機構を介してその音響撮像ツール筐体に取り付けられているとき、音響撮像ツール筐体に対して移動可能である。例えば、図１８は、センサアレイ１８２２にドッキング機構１８２０を取り付ける可撓な「曲がり首」部１８２４を含むセンサヘッドアセンブリを示す。センサヘッドアセンブリが音響撮像ツールに取り付けられているとき（例えば、ドッキング機構１８２０を介して、音響撮像ツールのドッキングポートに係合している）、「曲がり首」部１８２４は、センサアレイ１８２２の操縦性を向上させることができる。
いくつかの状況では、高電圧または高熱用途での安全性、あるいはアクセスが困難な場所などのため、センサヘッドとユーザにより保持される音響撮像ツールとの距離を長くすることが好ましい。図１９は、伸展部１９４５を介してセンサアレイ１９２２を支持するハンドル１９７８を含む杖型センサヘッドアセンブリを示す。いくつかの例では、伸展部は、伸縮可能でもよい。
本明細書の他の場所で説明されているように、いくつかの例では、音響センサヘッドは、有線または無線を介して音響撮像ツールと通信するように構成されてもよい。図２０は、音響撮像装置と音響センサヘッドとを含む例示的なシステムを示す。図示されるように、音響撮像装置２０１２はドッキングポート２０１０と無線通信インタフェース２０１４とを含む。
音響センサヘッド２０５０は、ハンドル２０７８と、複数の音響センサ要素を含むセンサアレイ２０２２と、ハンドルおよびセンサアレイ間で延びる伸展２０４５とを備える。ケーブル２００３は、ドッキングポート２０１０とインタフェースするように構成されたドッキング機構２０２０にハンドル２０７８を接続する。センサヘッド２０５０は、音響撮像装置２０１２の無線通信インタフェース２０１４とワイヤレスで無線通信するように構成された無線通信インタフェース２０８０を含む。
動作中、例えば、ドッキング機構２０２０およびドッキングポート２０１０を介して、あるいは無線通信インタフェース２０８０および２０１４を介して、音響撮像装置２０１２は、音響センサアレイ２０２２上の音響センサ要素から音響データを受信することができる。音響撮像装置は、本明細書の他の場所で説明されているように、例えば、音響画像データを生成するといった動作をすることができる。
種々な例において、音響撮像システムは、例えば、異なる音響感知能力および特性を有する複数の交換可能なセンサヘッドを備える。
いくつかの例では、１つ以上の音響センサヘッドは、その中に集積された電磁撮像ツールを含む。センサヘッドのセンサアレイと音響撮像装置との間の有線または無線の通信は、音響データおよびその撮像装置への電磁画像データを通信するように構成されてよい。追加的または代替的に、いくつかの例では、有線または無線の通信を介してセンサヘッド(例えば、複数のセンサヘッドのもの)と通信するように構成された音響撮像装置は、一体型の電磁撮像ツールを含めてもよい。
本明細書に記載の様々なプロセスは、そのようなプロセスを実行するために１つまたは複数のプロセッサを引き起こすための実行可能命令を含む非一時的なコンピュータ可読媒体として具体化することができる。システムは、例えば、プロセッサと一体の、またはプロセッサの外部のメモリに記憶された命令に基づいて、そのようなプロセスを実行するように構成された１つまたは複数のプロセッサを含むことができる。場合によっては、様々な構成要素をシステム全体に分散させることができる。例えば、システムは、複数の分散プロセッサを含むことができ、各構成されたプロセッサは、システムによって実行されるプロセス全体の少なくとも一部を実行する。さらに、本明細書に記載の様々な特徴および機能を、例えば、手持ち式音響撮像ツールまたは様々な別個のおよび／または分離可能な構成要素を有する分散システムとして具体化される単一の音響撮像システムに組み合わせることができることが理解されよう。
種々の実施形態が記載されてきた。そのような例は、非限定的であり、いかなる方法でも本発明の範囲を定義または限定するものではない。さらに、本明細書に記載されている様々な特徴および機能を単一の音響撮像システムに組み合わせることができ、例えば、手持ち式音響撮像ツールまたは様々な分離型若しくは分離可能なコンポーネントを有する分散システムとして具現化できることが認識されるであろう。
本明細書に記載された構成要素の様々な機能を組み合わせることができる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＪＥＣＴＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＡＣＯＵＳＴＩＣ ＤＡＴＡ」と題された、弁護士整理番号５６５８１．１７８．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に譲渡され、参照により本明細書に組み込まれる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＮＡＬＹＺＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＡＣＯＵＳＴＩＣ ＤＡＴＡ」と題された、弁護士整理番号５６５８１．１８１．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に譲渡され、参照により本明細書に組み込まれる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＲＥＰＲＥＳＥＮＴＩＮＧ ＡＣＯＵＳＴＩＣ ＳＩＧＮＡＴＵＲＥＳ ＦＲＯＭ Ａ ＴＡＲＧＥＴ ＳＣＥＮＥ」と題された、弁護士整理番号５６５８１．１８２．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に譲渡され、参照により本明細書に組み込まれる。
様々な実施形態が説明されてきた。このような例は非限定的であり、いかなる方法でも本発明の範囲を定義または制限するものではない。

Claims (14)

  1. ドッキングポートを有する音響撮像ツールと、
    前記ドッキングポートに取り外し可能に接続されるドッキング機構を有する取り外し可能な音響センサヘッドであって、第１の音響センサアレイに配置された複数の第１の音響センサ要素を有する主センサ部を含む音響センサヘッドと、
    通信インタフェースと、
    該通信インタフェースを介して、前記取り外し可能な音響センサヘッドと通信するとともに、前記複数の第１の音響センサ要素から第１の音響データを受信するプロセッサとを備える、音響撮像のためのシステムであって、
    前記取り外し可能な音響センサヘッドが、第２のセンサ部を前記主センサ部に取り付けて、該第２のセンサ部から第２の音響データを受信するための取り付け機構を有する音響撮像のためのシステム。
  2. 前記第２のセンサ部が、第２の音響センサアレイに配置された複数の第２の音響センサ要素を有し、前記第２のセンサ部は、前記取り外し可能な音響センサヘッドによる前記プロセッサへの通信のために前記第２の音響データを前記取り外し可能な音響センサヘッドと通信するように構成された請求項１に記載の音響撮像のためのシステム。
  3. さらに、前記プロセッサと前記通信インタフェースを支持する筐体を具備し、
    前記ドッキングポートが、前記筐体に統合されて、前記取り外し可能な音響センサヘッドの受け手となるように取り外し可能に構成された請求項１に記載の音響撮像のためのシステム。
  4. 前記取り付け機構が、複数の第2のセンサ部を前記主センサ部に取り付けるように構成されており、前記取り外し可能な音響センサヘッドが、該複数の第２のセンサ部のそれぞれから前記第２の音響データを受信するとともに、前記通信インタフェースを介して、前記第２の音響データを前記プロセッサと通信するように構成されている請求項１に記載の音響撮像のためのシステム。
  5. 前記第２のセンサ部が、前記取り付け機構を介して、前記主センサ部に取り外し自在に取り付け可能である請求項１に記載の音響撮像のためのシステム。
  6. 前記取り付け機構が、
    前記第２のセンサ部が折り畳まれてこの第２のセンサ部が少なくとも前記主センサ部の一部と重なる第１の位置と、前記第２のセンサ部が折り畳まれずにこの第２のセンサ部が前記主センサ部に隣接して位置付けられる第２の位置との間で前記第２のセンサ部が位置決め可能になるようにした折り畳みヒンジを備える請求項１に記載の音響撮像のためのシステム。
  7. 前記取り外し可能な音響センサヘッドが第１の取り外し可能な音響センサヘッドであるとともに、更に、第２の取り外し可能な音響センサヘッドを備え、前記第１と第２の取り外し可能な音響センサヘッドが前記ドッキングポートと互いに交換可能に接続可能であるとともに、前記通信インタフェースを介して、前記プロセッサと通信するように構成されている請求項１に記載の音響撮像のためのシステム。
  8. 更に、電磁放射を受信し、該電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを備え、
    前記プロセッサが、
    該電磁撮像ツールから電磁画像データを受信し、少なくとも前記第１の音響データから音響画像データを生成し、該音響画像データと前記電磁画像データを組み合わせて前記音響画像データと前記電磁画像データからなる表示画像を生成するように構成された請求項１～７の何れか一項に記載の音響撮像のためのシステム。
  9. 前記取り外し可能な音響センサヘッドが、前記電磁撮像ツールを備える請求項８に記載の音響撮像のためのシステム。
  10. 前記プロセッサが、作動時に、
    第1のシーンから複数の第1の音響信号を受信している前記音響センサヘッドに応じて、前記主センサ部から第１の音響データを受け取るとともに、第２のシーンから複数の第２の音響信号を受信している前記音響センサヘッドに応じて、前記第２のセンサ部から第２の音響データを受け取る請求項１～９の何れか１項に記載の音響撮像のためのシステム。
  11. 主センサ部に配列された第１の音響センサアレイを有する取り外し可能な音響センサヘッドに、該取り外し可能な音響センサヘッドが撮像機器に接続されたときに、前記取り外し可能な音響センサヘッドのドッキング機構を受容するドッキングポートを有する撮像機器を接続することと、
    第２の音響センサアレイを有する第２のセンサ部を、前記主センサ部の取り付け機構に接続することと、
    前記取り外し可能な音響センサヘッドの第1の音響センサアレイから第1の音響データを受信することと、
    前記第２のセンサ部の前記第２の音響センサアレイから第２の音響データを受信することと、
    からなる音響撮像のための方法。
  12. 更に、前記第１の音響センサアレイから受信した前記第１の音響データから第１の音響画像データを生成することと、
    該第１の音響画像データと前記撮像機器からの第１の電磁画像データを組み合わせて、第１の視覚的に表示可能な画像を生成することと、
    前記第２の音響センサアレイから受信した第２の音響データから第２の音響画像データを生成することと、
    該第２の音響画像データと前記撮像機器からの第２の電磁画像データを組み合わせて、第２の視覚的に表示可能な画像を生成することとを具備する請求項１１に記載の音響撮像のための方法。
  13. 更に、前記第２のセンサ部が折り畳まれてこの第２のセンサ部が少なくとも前記主センサ部の一部と重なる第１の位置と、前記第２のセンサ部が折り畳まれずにこの第２のセンサ部が前記主センサ部に隣接して位置付けられる第２の位置との間で前記第２のセンサ部が位置決め可能になるようにした折り畳みヒンジを備える前記取付け機構を用いて、第２のセンサ部を、前記取り外し可能な音響センサヘッドの主センサ部から伸展することと、からなる請求項１１に記載の音響撮像のための方法。
  14. 更に、前記第１の音響センサアレイを有する取り外し可能な音響センサヘッドから前記撮像機器を分離することと、
    他の音響センサアレイを有する他の取り外し可能な音響センサヘッドに前記撮像機器を接続することと、
    からなる、請求項1１に記載の音響撮像のための方法。
JP2021504180A 2018-07-24 2019-07-24 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法 Active JP7403526B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862702716P 2018-07-24 2018-07-24
US62/702,716 2018-07-24
PCT/US2019/043233 WO2020023631A1 (en) 2018-07-24 2019-07-24 Systems and methods for detachable and attachable acoustic imaging sensors

Publications (2)

Publication Number Publication Date
JP2021532359A JP2021532359A (ja) 2021-11-25
JP7403526B2 true JP7403526B2 (ja) 2023-12-22

Family

ID=67539638

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2021504176A Active JP7488250B2 (ja) 2018-07-24 2019-07-24 音響データを投射および表示するためのシステム及び方法
JP2021504177A Active JP7417587B2 (ja) 2018-07-24 2019-07-24 音響データを分析及び表示するためのシステム及び方法
JP2021504173A Withdrawn JP2021532355A (ja) 2018-07-24 2019-07-24 音響画像にタグを付けて関連付けるためのシステム及び方法
JP2021504180A Active JP7403526B2 (ja) 2018-07-24 2019-07-24 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法
JP2021504179A Active JP7493491B2 (ja) 2018-07-24 2019-07-24 標的シーンからの音響シグネチャを表すためのシステムおよび方法
JP2024000575A Pending JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2021504176A Active JP7488250B2 (ja) 2018-07-24 2019-07-24 音響データを投射および表示するためのシステム及び方法
JP2021504177A Active JP7417587B2 (ja) 2018-07-24 2019-07-24 音響データを分析及び表示するためのシステム及び方法
JP2021504173A Withdrawn JP2021532355A (ja) 2018-07-24 2019-07-24 音響画像にタグを付けて関連付けるためのシステム及び方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021504179A Active JP7493491B2 (ja) 2018-07-24 2019-07-24 標的シーンからの音響シグネチャを表すためのシステムおよび方法
JP2024000575A Pending JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Country Status (6)

Country Link
US (7) US11960002B2 (ja)
EP (5) EP3827227A1 (ja)
JP (6) JP7488250B2 (ja)
KR (5) KR20210035273A (ja)
CN (5) CN112739995A (ja)
WO (5) WO2020023633A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
EP3827227A1 (en) 2018-07-24 2021-06-02 Fluke Corporation Systems and methods for projecting and displaying acoustic data
EP3891477A2 (en) 2018-12-03 2021-10-13 Sonelite Inc. Multi-wavefield flow sensing devices and related methods
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
DE102020107181B4 (de) 2020-03-16 2023-09-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und deren verwendung zum orten von schallquellen durch beamforming
KR20230065299A (ko) 2020-09-11 2023-05-11 플루커 코포레이션 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법
EP4211494A2 (en) 2020-09-11 2023-07-19 Fluke Corporation System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation
EP4009126B1 (en) * 2020-12-04 2024-05-08 United Grinding Group Management AG Method of operating a machine for a production facility
KR102487086B1 (ko) * 2021-01-19 2023-01-10 국방과학연구소 가변형 선측배열 소나 시스템, 이를 포함하는 수중운동체 및 수중운동체의 동작 방법
KR20220170653A (ko) 2021-06-23 2022-12-30 한국전력공사 초음파 가시화와 위상분해 분석을 적용한 부분방전 진단 방법 및 장치
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
US20230115216A1 (en) * 2021-10-09 2023-04-13 Theon Technologies, Inc. Utilization Of Coordinate Systems For Compression And Encryption
AU2022439107A1 (en) 2022-02-01 2024-09-19 Landscan Llc Systems and methods for multispectral landscape mapping
CN114858271B (zh) * 2022-07-05 2022-09-23 杭州兆华电子股份有限公司 一种声音探测用的阵列放大方法
KR102523631B1 (ko) 2022-09-19 2023-04-19 주식회사 창성에이스산업 가스누출 및 화재발생 감지시스템
CN115899598B (zh) * 2022-11-17 2024-06-21 浙江英集动力科技有限公司 一种融合听觉和视觉特征的供热管网状态监测方法及系统
DE102023100701B3 (de) * 2023-01-13 2024-02-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Akustik-thermisches Verfahren und Vorrichtung zur Bestimmung von Undichtigkeiten in einer Gebäudehülle
CN117452336B (zh) * 2023-10-25 2024-06-04 东北大学 一种无人机声事件检测定位装置
CN118248169B (zh) * 2024-05-20 2024-08-16 广东力创信息技术有限公司 一种基于音频数据的燃气泄漏识别方法以及相关装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028980A (ja) 2002-01-09 2004-01-29 Eads Deutschland Gmbh 位相制御式アンテナサブシステム
JP2004077277A (ja) 2002-08-19 2004-03-11 Fujitsu Ltd 音源位置の可視化表示方法および音源位置表示装置
KR101204499B1 (ko) 2012-05-25 2012-11-26 주식회사 서울산전 영상기능이 부가된 전력설비진단용 초음파 진단장치
JP2014137323A (ja) 2013-01-18 2014-07-28 Hitachi Power Solutions Co Ltd 異常診断装置およびこれを用いた異常診断方法
JP2015078845A (ja) 2013-10-15 2015-04-23 三菱重工業株式会社 レーダ装置
CN205067744U (zh) 2015-10-23 2016-03-02 河海大学 一种范围可调式移动终端控制型障碍物探测系统
JP5939341B1 (ja) 2015-07-14 2016-06-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
JP2017092732A (ja) 2015-11-11 2017-05-25 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
US20170178392A1 (en) 2015-12-16 2017-06-22 Aquifi, Inc. 3d scanning apparatus including scanning sensor detachable from screen
JP2017519967A (ja) 2015-05-07 2017-07-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 物体を検出するシステムおよび方法
JP2017530580A (ja) 2014-07-23 2017-10-12 ジ・オーストラリアン・ナショナル・ユニバーシティー 平面センサーアレイ
JP2017207399A (ja) 2016-05-19 2017-11-24 株式会社小野測器 音源探査装置及び音源探査方法
JP2018500075A (ja) 2014-11-26 2018-01-11 アティーブ ビューティー カンパニー リミテッドＡＴＴＩＢＥ Ｂｅａｕｔｙ ＣＯ． ＬＴＤ． 超音波生成装置及びこれを利用した施術方法

Family Cites Families (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3592534A (en) 1969-04-07 1971-07-13 Bell & Howell Co Audiovisual display system
JPS5939341B2 (ja) 1979-07-04 1984-09-22 富士重工業株式会社 車両運搬車
DE3233059C2 (de) 1982-09-06 1985-03-21 Oerlikon-Boehringer GmbH, 7320 Göppingen Tiefbohrmaschine
US4662222A (en) 1984-12-21 1987-05-05 Johnson Steven A Apparatus and method for acoustic imaging using inverse scattering techniques
NL9201787A (nl) 1992-10-14 1994-05-02 Jacobus Lambertus Van Merkstei Lokalisatie van storingen.
US6006175A (en) 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
JP2830839B2 (ja) 1996-05-10 1998-12-02 日本電気株式会社 距離計測装置
US7085387B1 (en) 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
JP3678016B2 (ja) 1998-09-01 2005-08-03 いすゞ自動車株式会社 音源探索方法
DE19844870A1 (de) 1998-09-30 2000-04-20 Bruno Stieper Verfahren zum Darstellen eines Schallfeldes
US20040021031A1 (en) 1998-11-16 2004-02-05 Dan Klaus Device for traversing a flexible linear product for spooling
US6239348B1 (en) 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
US7092882B2 (en) 2000-12-06 2006-08-15 Ncr Corporation Noise suppression in beam-steered microphone array
WO2003011139A1 (en) 2001-07-31 2003-02-13 Koninklijke Philips Electronics N.V. Transesophageal and transnasal, transesophageal ultrasound imaging systems
US6907799B2 (en) 2001-11-13 2005-06-21 Bae Systems Advanced Technologies, Inc. Apparatus and method for non-destructive inspection of large structures
US6901028B2 (en) 2002-03-14 2005-05-31 Input/Output, Inc. Marine seismic survey apparatus with graphical user interface and real-time quality control
US7093974B2 (en) 2002-03-13 2006-08-22 Ulrich Kienitz Radiometer with digital imaging system
JP2004021031A (ja) 2002-06-18 2004-01-22 Olympus Corp カメラ
WO2003096883A2 (en) 2002-05-16 2003-11-27 Barbara Ann Karmanos Cancer Institute Combined diagnostic and therapeutic ultrasound system
JP4368798B2 (ja) * 2002-08-30 2009-11-18 日東紡音響エンジニアリング株式会社 音源探査システム
AU2003275290B2 (en) 2002-09-30 2008-09-11 Verax Technologies Inc. System and method for integral transference of acoustical events
GB0229059D0 (en) 2002-12-12 2003-01-15 Mitel Knowledge Corp Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle
DE10304215A1 (de) * 2003-01-30 2004-08-19 Gesellschaft zur Förderung angewandter Informatik eV Verfahren und Vorrichtung zur bildgebenden Darstellung von akustischen Objekten sowie ein entsprechendes Computerprogramm-Erzeugnis und ein entsprechendes computerlesbares Speichermedium
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
KR100677554B1 (ko) 2005-01-14 2007-02-02 삼성전자주식회사 비임형성 방식을 이용한 녹음 장치 및 그 방법
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US8253619B2 (en) 2005-02-15 2012-08-28 Techtronic Power Tools Technology Limited Electromagnetic scanning imager
WO2006090320A1 (en) 2005-02-23 2006-08-31 Lyncee Tec S.A. Wave front sensing method and apparatus
DE102005030326B4 (de) 2005-06-29 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals
US7996212B2 (en) 2005-06-29 2011-08-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for analyzing an audio signal
JP4983207B2 (ja) 2006-01-30 2012-07-25 日産自動車株式会社 異音対策確認装置および異音対策確認方法
US7532541B2 (en) 2006-02-23 2009-05-12 Fev Engine Technology, Inc Object detection using acoustic imaging
CN100489851C (zh) * 2006-04-29 2009-05-20 上海杰图软件技术有限公司 构建全景电子地图服务的方法
US20080119716A1 (en) 2006-05-17 2008-05-22 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems
DE102006052451B4 (de) 2006-07-24 2008-05-08 Siemens Ag Verfahren zum Betrieb eines dezentralen Datennetzes
EP1936404B1 (en) 2006-12-18 2008-12-10 Aloka Co., Ltd. Ultrasound diagnosis apparatus
US7798967B2 (en) 2006-12-19 2010-09-21 Aloka Co., Ltd. Ultrasound diagnosis apparatus
EP2111165B8 (en) * 2007-01-19 2017-10-04 Sunnybrook Health Sciences Centre Imaging probe with combined ultrasound and optical means of imaging
US8395496B2 (en) * 2007-03-29 2013-03-12 Shiv P Joshi Miniature modular wireless sensor
CN100505837C (zh) * 2007-05-10 2009-06-24 华为技术有限公司 一种控制图像采集装置进行目标定位的系统及方法
CN101079947A (zh) * 2007-05-17 2007-11-28 孟均 一种影像采集系统
US8638362B1 (en) 2007-05-21 2014-01-28 Teledyne Blueview, Inc. Acoustic video camera and systems incorporating acoustic video cameras
EP2063419B1 (en) 2007-11-21 2012-04-18 Nuance Communications, Inc. Speaker localization
JP5050935B2 (ja) 2008-03-06 2012-10-17 日本電気株式会社 ソーナー受信装置
EP2277021B1 (en) 2008-04-25 2020-05-13 Stichting voor de Technische Wetenschappen Acoustic holography
CN101290347B (zh) * 2008-06-13 2011-04-27 清华大学 用规则声阵列和单摄像机获取静止声源声场图像的方法
US8446254B2 (en) 2008-11-03 2013-05-21 Thingmagic, Inc. Methods and apparatuses for RFID tag range determination
US8416957B2 (en) * 2008-12-04 2013-04-09 Honda Motor Co., Ltd. Audio source detection system
TWI389579B (zh) 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
WO2010148141A2 (en) 2009-06-16 2010-12-23 University Of Florida Research Foundation, Inc. Apparatus and method for speech analysis
JP2011015050A (ja) 2009-06-30 2011-01-20 Nittobo Acoustic Engineering Co Ltd ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
WO2011069964A1 (en) 2009-12-11 2011-06-16 Sorama Holding B.V. Acoustic transducer assembly
JP2011163776A (ja) 2010-02-04 2011-08-25 Ono Sokki Co Ltd 音源モニタリング装置
US8707785B2 (en) 2010-04-16 2014-04-29 U.E. Systems, Inc. On-board ultrasonic frequency spectrum and image generation
JP5553672B2 (ja) * 2010-04-26 2014-07-16 キヤノン株式会社 音響波測定装置および音響波測定方法
CN201718024U (zh) * 2010-05-07 2011-01-19 中国科学院声学研究所 一种平面螺旋形传声器阵列
JP2012021969A (ja) 2010-06-18 2012-02-02 Panasonic Electric Works Co Ltd 部屋、配線器具
EP2413115A1 (en) 2010-07-30 2012-02-01 Technische Universiteit Eindhoven Generating a control signal based on acoustic data
KR101219746B1 (ko) 2010-08-24 2013-01-10 서울대학교산학협력단 탄성 매질에서의 주파수 영역 역시간 구조보정을 이용한 지하구조의 영상화 장치 및 방법
EP2638694A4 (en) 2010-11-12 2017-05-03 Nokia Technologies Oy An Audio Processing Apparatus
KR101736911B1 (ko) * 2010-12-07 2017-05-19 한국전자통신연구원 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법
JP2012133250A (ja) 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
JP5702160B2 (ja) 2011-01-20 2015-04-15 中部電力株式会社 音源推定方法及び音源推定装置
US9176990B2 (en) 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
US20160025993A1 (en) 2014-07-28 2016-01-28 Apple Inc. Overlapping pattern projector
KR101213540B1 (ko) 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
US20130155248A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130155249A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130162835A1 (en) 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
US9495591B2 (en) 2012-04-13 2016-11-15 Qualcomm Incorporated Object recognition using multi-modal matching scheme
JP2013250111A (ja) * 2012-05-31 2013-12-12 Ono Sokki Co Ltd 音源探査装置
US9964747B2 (en) * 2012-06-11 2018-05-08 Helmholtz Zentrum Munchen Deutsches Forschungszentrum Fur Gesundheit Und Umwelt (Gmbh) Imaging system and method for imaging an object
US9599632B2 (en) 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
TW201412092A (zh) * 2012-09-05 2014-03-16 Acer Inc 多媒體處理系統及音訊信號處理方法
CN102879080B (zh) 2012-09-11 2014-10-15 上海交通大学 基于图像识别定位和声学传感器阵列测量的声场分析方法
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理系统及音频信号处理方法
WO2014064689A1 (en) 2012-10-22 2014-05-01 Tomer Goshen A system and methods thereof for capturing a predetermined sound beam
US20140115055A1 (en) * 2012-10-23 2014-04-24 Dean Kenneth Jackson Co-relating Visual Content with Geo-location Data
US9247367B2 (en) 2012-10-31 2016-01-26 International Business Machines Corporation Management system with acoustical measurement for monitoring noise levels
US9260958B2 (en) 2012-12-20 2016-02-16 Schlumberger Technology Corporation System and method for acoustic imaging using a transducer array
CN103226038B (zh) * 2013-01-08 2014-09-17 中科声相（天津）科技有限公司 一种可拼拆式无浮线传感器阵列
FR3000862B1 (fr) 2013-01-08 2015-01-09 ACB Engineering Dispositifs passifs d'acquisition acoustique large bande et systemes passifs d'imagerie acoustique large bande.
WO2014113891A1 (en) * 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
CN105229737B (zh) * 2013-03-13 2019-05-17 寇平公司 噪声消除麦克风装置
US9729803B2 (en) 2013-03-15 2017-08-08 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with parallax correction
US20140267757A1 (en) 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
JP6586076B2 (ja) 2013-03-15 2019-10-02 フルークコーポレイションＦｌｕｋｅ Ｃｏｒｐｏｒａｔｉｏｎ 分離した無線モバイル装置を用いて赤外線画像に可視的な視聴覚の注釈付け
US20140269163A1 (en) 2013-03-15 2014-09-18 Navico, Inc. Sonar Multi-Function Display With Built-In Chirp Processing
CN105191345B (zh) * 2013-03-29 2016-11-02 日产自动车株式会社 声源探测用麦克风支承装置
KR102080746B1 (ko) 2013-07-12 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
GB2519347A (en) 2013-10-18 2015-04-22 Pole Star Space Applic Ltd Method and apparatus for tracking and checking compliance of vessels such as ships
US9635456B2 (en) 2013-10-28 2017-04-25 Signal Interface Group Llc Digital signal processing with acoustic arrays
US9798030B2 (en) 2013-12-23 2017-10-24 General Electric Company Subsea equipment acoustic monitoring system
JP2015152316A (ja) * 2014-02-10 2015-08-24 株式会社小野測器 音源可視化装置
FR3018023B1 (fr) 2014-02-25 2017-07-07 Micro Db Dispositif d’identification de sources acoustiques
US9697465B2 (en) 2014-04-30 2017-07-04 Google Technology Holdings LLC Drawing an inference of a usage context of a computing device using multiple sensors
JP6218090B2 (ja) 2014-05-09 2017-10-25 パナソニックＩｐマネジメント株式会社 指向性制御方法
EP2958054B1 (en) 2014-06-18 2024-07-03 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
KR101866609B1 (ko) * 2014-07-28 2018-06-12 두산중공업 주식회사 지능형 소음감시장치 및 이를 이용한 소음감시방법
US20160073087A1 (en) 2014-09-10 2016-03-10 Lenovo (Singapore) Pte. Ltd. Augmenting a digital image with distance data derived based on acoustic range information
US20160076937A1 (en) 2014-09-17 2016-03-17 Fluke Corporation Display of images from an imaging tool embedded or attached to a test and measurement tool
CN106852189B (zh) * 2014-10-24 2019-09-27 弗兰克公司 底层墙体结构探测器和红外相机
CN104361586A (zh) * 2014-10-31 2015-02-18 国网上海市电力公司 基于全景图的电力杆塔维护与预警系统
US20160165341A1 (en) 2014-12-05 2016-06-09 Stages Pcs, Llc Portable microphone array
US9736580B2 (en) 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
US10028053B2 (en) 2015-05-05 2018-07-17 Wave Sciences, LLC Portable computing device microphone array
KR101687825B1 (ko) 2015-05-18 2016-12-20 현대자동차주식회사 차량 및 그 제어 방법
US20160364960A1 (en) 2015-06-09 2016-12-15 Elwha Llc Systems and methods for ultrasonically induced tactile stimuli in an entertainment system
US20170225033A1 (en) * 2015-06-23 2017-08-10 Ipcomm Llc Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback
GB2540226A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio microphone array and locator configuration
US20170010359A1 (en) * 2015-07-09 2017-01-12 Deca System, Inc. Golf device with gps and laser rangefinder functionalities
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
JP6543844B2 (ja) 2015-08-27 2019-07-17 本田技研工業株式会社 音源同定装置および音源同定方法
US10042038B1 (en) 2015-09-01 2018-08-07 Digimarc Corporation Mobile devices and methods employing acoustic vector sensors
KR101678203B1 (ko) * 2015-09-08 2016-12-07 (주)에스엠인스트루먼트 전방향 음장을 전방향 영상에 중첩하여 표현하는 mems 음향센서를 이용한 전방향 음향 시각화 장치
US20170150254A1 (en) * 2015-11-19 2017-05-25 Vocalzoom Systems Ltd. System, device, and method of sound isolation and signal enhancement
US10408933B1 (en) 2016-01-08 2019-09-10 Johnson Outdoors Inc. Sonar imaging system with lateral target placement and multiple color display
KR20170098089A (ko) 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20170281982A1 (en) 2016-03-31 2017-10-05 Family Health International Methods and systems for generating an occlusion using ultrasound
US10375325B2 (en) 2016-06-23 2019-08-06 Fluke Corporation Thermal anomaly detection
FI129137B (en) 2016-09-22 2021-08-13 Noiseless Acoustics Oy ACOUSTIC CAMERA AND METHOD FOR DETECTING ACOUSTIC EMISSIONS FROM VARIOUS LOCATIONS AND EQUIPMENT
JP6610640B2 (ja) 2016-10-28 2019-11-27 Ｊｆｅスチール株式会社 位置認識方法およびシステム、ならびに異常判定方法およびシステム
KR102625247B1 (ko) * 2016-11-11 2024-01-16 삼성전자주식회사 카메라와 음향 부품을 포함하는 전자 장치
EP3611933A1 (en) 2017-01-05 2020-02-19 Harman Becker Automotive Systems GmbH Active noise reduction earphones
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
GB201710093D0 (en) * 2017-06-23 2017-08-09 Nokia Technologies Oy Audio distance estimation for spatial audio processing
US20190129027A1 (en) 2017-11-02 2019-05-02 Fluke Corporation Multi-modal acoustic imaging tool
US11099075B2 (en) 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
WO2019104329A1 (en) * 2017-11-27 2019-05-31 Optecks, Llc Medical three-dimensional (3d) scanning and mapping system
US11494158B2 (en) * 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3827227A1 (en) 2018-07-24 2021-06-02 Fluke Corporation Systems and methods for projecting and displaying acoustic data
US10694167B1 (en) * 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028980A (ja) 2002-01-09 2004-01-29 Eads Deutschland Gmbh 位相制御式アンテナサブシステム
JP2004077277A (ja) 2002-08-19 2004-03-11 Fujitsu Ltd 音源位置の可視化表示方法および音源位置表示装置
KR101204499B1 (ko) 2012-05-25 2012-11-26 주식회사 서울산전 영상기능이 부가된 전력설비진단용 초음파 진단장치
JP2014137323A (ja) 2013-01-18 2014-07-28 Hitachi Power Solutions Co Ltd 異常診断装置およびこれを用いた異常診断方法
JP2015078845A (ja) 2013-10-15 2015-04-23 三菱重工業株式会社 レーダ装置
JP2017530580A (ja) 2014-07-23 2017-10-12 ジ・オーストラリアン・ナショナル・ユニバーシティー 平面センサーアレイ
JP2018500075A (ja) 2014-11-26 2018-01-11 アティーブ ビューティー カンパニー リミテッドＡＴＴＩＢＥ Ｂｅａｕｔｙ ＣＯ． ＬＴＤ． 超音波生成装置及びこれを利用した施術方法
JP2017519967A (ja) 2015-05-07 2017-07-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 物体を検出するシステムおよび方法
JP5939341B1 (ja) 2015-07-14 2016-06-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
CN205067744U (zh) 2015-10-23 2016-03-02 河海大学 一种范围可调式移动终端控制型障碍物探测系统
JP2017092732A (ja) 2015-11-11 2017-05-25 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
US20170178392A1 (en) 2015-12-16 2017-06-22 Aquifi, Inc. 3d scanning apparatus including scanning sensor detachable from screen
JP2017207399A (ja) 2016-05-19 2017-11-24 株式会社小野測器 音源探査装置及び音源探査方法

Also Published As

Publication number Publication date
US11965958B2 (en) 2024-04-23
JP2021532358A (ja) 2021-11-25
CN112739996A (zh) 2021-04-30
US20210310856A1 (en) 2021-10-07
WO2020023633A1 (en) 2020-01-30
US20210310857A1 (en) 2021-10-07
WO2020023631A1 (en) 2020-01-30
JP7493491B2 (ja) 2024-05-31
CN112703375A (zh) 2021-04-23
JP2021532355A (ja) 2021-11-25
US11960002B2 (en) 2024-04-16
KR20210034076A (ko) 2021-03-29
CN112703376A (zh) 2021-04-23
WO2020023627A1 (en) 2020-01-30
JP7488250B2 (ja) 2024-05-21
US11762089B2 (en) 2023-09-19
US20240264305A1 (en) 2024-08-08
KR20210034661A (ko) 2021-03-30
US20240118416A1 (en) 2024-04-11
EP3827227A1 (en) 2021-06-02
JP2021532359A (ja) 2021-11-25
JP2021532357A (ja) 2021-11-25
JP7417587B2 (ja) 2024-01-18
KR20210035881A (ko) 2021-04-01
KR20210035273A (ko) 2021-03-31
US20210311188A1 (en) 2021-10-07
JP2021532356A (ja) 2021-11-25
WO2020023622A1 (en) 2020-01-30
KR20210033532A (ko) 2021-03-26
US20210293953A1 (en) 2021-09-23
EP3827226A1 (en) 2021-06-02
CN112739997A (zh) 2021-04-30
EP3827228A1 (en) 2021-06-02
EP3827229A1 (en) 2021-06-02
CN112739995A (zh) 2021-04-30
WO2020023629A1 (en) 2020-01-30
JP2024041847A (ja) 2024-03-27
US20210311187A1 (en) 2021-10-07
CN112739997B (zh) 2024-08-23
EP3827230A1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
JP7403526B2 (ja) 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法
EP3480618B1 (en) Multi-modal acoustic imaging tool
US11913829B2 (en) Portable acoustic imaging tool with scanning and analysis capability
CN109756720B (zh) 使用距离信息的声学成像中的焦点和/或视差调整

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220414

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231212

R150 Certificate of patent or registration of utility model

Ref document number: 7403526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150