WO2025041256A1 - 音響計測装置、音響計測システム、音響計測方法及びプログラム - Google Patents

音響計測装置、音響計測システム、音響計測方法及びプログラム Download PDF

Info

Publication number
WO2025041256A1
WO2025041256A1 PCT/JP2023/030122 JP2023030122W WO2025041256A1 WO 2025041256 A1 WO2025041256 A1 WO 2025041256A1 JP 2023030122 W JP2023030122 W JP 2023030122W WO 2025041256 A1 WO2025041256 A1 WO 2025041256A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
vibration direction
signal
information
continuous signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/030122
Other languages
English (en)
French (fr)
Inventor
稜 白川
志織 杉本
陽光 曽我部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/030122 priority Critical patent/WO2025041256A1/ja
Publication of WO2025041256A1 publication Critical patent/WO2025041256A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for

Definitions

  • the present invention relates to an acoustic measurement device, an acoustic measurement system, an acoustic measurement method, and a program.
  • Visual microphone technology is an example of an optical acoustic measurement technology based on image processing (see, for example, non-patent document 1). Visual microphone technology is a technology that restores surrounding sounds from images.
  • Visual microphone technology requires expensive high-speed cameras.
  • the sampling rate of high-speed cameras is about 10 KHz for mid-range models. This sampling rate does not reach the 44.1 KHz sampling rate of typical microphones. As a result, the range of sounds that can be measured by mid-range models may be limited.
  • visual microphone technology requires wavelet transformation of large amounts of image data, which results in an extremely large amount of time calculations. As a result, visual microphone technology has the problem that it is difficult to perform measurements in real time.
  • the present invention aims to provide an acoustic measurement device, an acoustic measurement system, an acoustic measurement method, and a program that can achieve high-resolution, high-speed optical acoustic measurement while keeping costs down.
  • One aspect of the present invention is an acoustic measurement device that includes an observation unit that observes vibrations of a subject caused by sound based on event information indicating a luminance change for each pixel in an image of the subject and outputs vibration information indicating the observed vibrations, an analysis unit that analyzes the vibration direction of the subject based on the vibration information and outputs vibration direction information indicating the analyzed vibration direction, a signal generation unit that generates a continuous signal from the vibration information taking into account the vibration direction indicated by the vibration direction information and outputs the generated continuous signal, and a measurement unit that measures acoustics by performing signal analysis on the continuous signal.
  • Another aspect of the present invention is an acoustic measurement system that includes an event camera that captures an image of a subject and outputs event information that indicates a change in luminance for each pixel in an image of the subject; an observation unit that observes vibrations of the subject caused by sound based on the event information and outputs vibration information that indicates the observed vibrations; an analysis unit that analyzes the vibration direction of the subject based on the vibration information and outputs vibration direction information that indicates the analyzed vibration direction; a signal generation unit that generates a continuous signal from the vibration information taking into account the vibration direction indicated by the vibration direction information and outputs the generated continuous signal; and a measurement unit that measures acoustics by performing signal analysis on the continuous signal.
  • Another aspect of the present invention is an acoustic measurement method having an observation step of observing vibrations of a subject caused by sound based on event information indicating a luminance change for each pixel in an image of the subject, and outputting vibration information indicating the observed vibrations; an analysis step of analyzing the vibration direction of the subject based on the vibration information, and outputting vibration direction information indicating the analyzed vibration direction; a signal generation step of generating a continuous signal from the vibration information, taking into account the vibration direction indicated by the vibration direction information, and outputting the generated continuous signal; and a measurement step of measuring acoustics by performing signal analysis on the continuous signal.
  • Another aspect of the present invention is an acoustic measurement method having an output step in which an event camera captures an image of a subject and outputs event information indicating a luminance change for each pixel in an image of the subject; an observation step in which an acoustic measurement device observes vibrations of the subject caused by sound based on the event information and outputs vibration information indicating the observed vibrations; an analysis step in which the acoustic measurement device analyzes the vibration direction of the subject based on the vibration information and outputs vibration direction information indicating the analyzed vibration direction; a signal generation step in which the acoustic measurement device generates a continuous signal from the vibration information taking into account the vibration direction indicated by the vibration direction information and outputs the generated continuous signal; and a measurement step in which the acoustic measurement device measures sound by performing signal analysis on the continuous signal.
  • Another aspect of the present invention is a program for causing a computer to execute an observation step of observing vibrations of a subject caused by sound based on event information indicating a luminance change for each pixel in an image of the subject, and outputting vibration information indicating the observed vibrations; an analysis step of analyzing the vibration direction of the subject based on the vibration information, and outputting vibration direction information indicating the analyzed vibration direction; a signal generation step of generating a continuous signal from the vibration information, taking into account the vibration direction indicated by the vibration direction information, and outputting the generated continuous signal; and a measurement step of measuring sound by performing signal analysis on the continuous signal.
  • the present invention makes it possible to achieve high-resolution, high-speed optical acoustic measurement while keeping costs down.
  • FIG. 1 is a block diagram showing a functional configuration of an acoustic measurement system 1 according to a first embodiment of the present invention.
  • 4 is a flowchart showing the operation of the acoustic measurement system 1 according to the first embodiment of the present invention.
  • FIG. 11 is a block diagram showing a functional configuration of an acoustic measurement system 1a according to a second embodiment of the present invention.
  • 10 is a flowchart showing the operation of an acoustic measurement system 1a according to a second embodiment of the present invention.
  • the following describes an acoustic measurement device, an acoustic measurement system, an acoustic measurement method, and a program according to an embodiment of the present invention.
  • the acoustic measurement system in each embodiment described below uses an event camera to observe the vibration of a subject caused by sound as event information.
  • An event camera is a special camera that outputs the brightness change for each pixel of an image of a subject as an event.
  • the maximum sampling rate of an event camera is 1 MHz, which has a much higher time resolution than a high-speed camera (in the mid-range).
  • an event camera has the characteristic of having excellent data efficiency, since it outputs each pixel asynchronously.
  • event cameras are cheaper devices than high-speed cameras.
  • the acoustic measurement system in each embodiment described below analyzes the vibration direction of a subject by calculating an optical flow for observed event information.
  • Optical flow is a vector representation of the movement of an object in a visual representation (generally a digital image that is continuous in time).
  • the acoustic measurement system generates a continuous signal based on the analyzed vibration direction and event information.
  • the acoustic measurement system performs frequency analysis such as a short-time Fourier transform on the generated continuous signal to estimate the frequency contained in the vibration and the phase of the frequency signal.
  • the acoustic measurement system also estimates the intensity of each frequency signal by using an amplitude estimate based on the optical flow calculated in the above analysis of the vibration direction, or the number of events occurring per unit time.
  • the acoustic measurement system adds up each frequency signal taking into account the estimated intensity and phase.
  • the acoustic measurement system in each embodiment can measure acoustics.
  • the acoustic measurement system can achieve high-resolution, high-speed optical acoustic measurement while keeping costs such as device costs and maintenance costs down.
  • Fig. 1 is a block diagram showing the functional configuration of the acoustic measurement system 1 in the first embodiment of the present invention.
  • the acoustic measurement system 1 includes an acoustic measurement device 10 and an event camera 20.
  • the acoustic measurement device 10 includes a vibration information acquisition unit 11, a vibration direction analysis unit 12, a continuous signal generation unit 13, and a signal analysis unit 14.
  • the vibration direction analysis unit 12, the continuous signal generation unit 13, and the signal analysis unit 14 function as an acoustic analysis unit.
  • the event camera 20 captures an image of a subject.
  • the event camera 20 generates event information that indicates the luminance change for each pixel in the image of the subject, and outputs the generated event information to the sound measurement device 10.
  • the event information acquired by the acoustic measuring device 10 is not limited to event information generated by capturing images using the event camera 20, but may be event information generated by a simulator that converts general video images, etc., into event information.
  • the vibration information acquisition unit 11 of the acoustic measurement device 10 acquires event information output from the event camera 20.
  • the vibration information acquisition unit 11 observes the vibration of the subject caused by the sound based on the acquired event information.
  • the vibration information acquisition unit 11 outputs information indicating the observed vibration (hereinafter referred to as "vibration information") to the vibration direction analysis unit 12.
  • the vibration information acquisition unit 11 generates vibration information, for example, by extracting (extracting) event information corresponding to vibrations caused by sound from the acquired event information. Any method can be used as a method for extracting (extracting) event information corresponding to vibrations caused by sound. Note that the vibration information acquisition unit 11 may be configured to generate vibration information by processing the acquired event information. In this case, any method can be used as a method for processing the event information.
  • the vibration information acquisition unit 11 is not necessary.
  • the event information output by the event camera 20 is information equivalent to vibration information.
  • An environment where only vibrations caused by sound can be observed is, for example, an environment where only subjects affected by sound (which vibrate due to sound) are photographed in a stationary state.
  • the vibration direction analysis unit 12 acquires the vibration information output from the vibration information acquisition unit 11.
  • the vibration direction analysis unit 12 analyzes the vibration direction of the subject by calculating the optical flow for the acquired vibration information. Note that while general conventional technology can be used to calculate the optical flow, further improvement in measurement accuracy can be expected by calculating the optical flow assuming vibration.
  • the vibration direction analysis unit 12 outputs information indicating the analyzed vibration direction of the subject (hereinafter referred to as "vibration direction information”) and the vibration information to the continuous signal generation unit 13.
  • the continuous signal generating unit 13 acquires the vibration direction information and vibration information output from the vibration direction analyzing unit 12.
  • the continuous signal generating unit 13 generates a continuous signal from the acquired vibration information, taking into account the vibration direction based on the acquired vibration direction information.
  • the continuous signal generation unit 13 generates a pulse signal in response to the occurrence of an event at a certain time in a single pixel.
  • the positive and negative polarity of the pulse signal generated here is determined according to the direction of vibration.
  • the continuous signal generation unit 13 generates a continuous signal by adding up the generated pulse signals in the time direction.
  • the continuous signal generation unit 13 outputs the generated continuous signal to the signal analysis unit 14.
  • the signal analysis unit 14 acquires the continuous signal output from the continuous signal generation unit 13.
  • the signal analysis unit 14 measures the sound by performing signal analysis on the acquired continuous signal.
  • the signal analysis unit 14 performs frequency analysis such as a short-time Fourier transform on the acquired continuous signal.
  • the signal analysis unit 14 estimates the frequency contained in the vibration and the phase of the frequency signal.
  • the signal analysis unit 14 also estimates the intensity of each frequency signal by determining the amplitude based on the optical flow calculated by the vibration direction analysis unit 12.
  • the signal analysis unit 14 measures the sound by adding up each frequency signal taking into account the estimated intensity and phase.
  • the signal analysis unit 14 outputs information indicating the measured sound (hereinafter referred to as "measured sound information") to an external device.
  • the external device here is, for example, a storage device that stores the measured sound information, or a speaker that outputs sound based on the measured sound information.
  • FIG. 2 is a flowchart showing the operation of the sound measuring system 1 in the first embodiment of the present invention.
  • the operation of the sound measuring system 1 shown in the flowchart of Fig. 2 is started, for example, when the event camera 20 receives an instruction to capture an image of a subject.
  • the event camera 20 captures an image of a subject (step S01).
  • the event camera 20 generates event information that indicates the luminance change for each pixel in the image of the subject, and outputs the generated event information to the sound measuring device 10 (step S02).
  • the vibration information acquisition unit 11 of the acoustic measurement device 10 observes the vibration of the subject caused by the sound based on the acquired event information (step S03).
  • the vibration information acquisition unit 11 outputs vibration information indicating the observed vibration to the vibration direction analysis unit 12.
  • the vibration direction analysis unit 12 analyzes the vibration direction of the subject by calculating the optical flow for the acquired vibration information (step S04). Note that while general conventional technology can be used to calculate the optical flow, further improvement in measurement accuracy can be expected by calculating the optical flow assuming vibration.
  • the vibration direction analysis unit 12 outputs information indicating the analyzed vibration direction of the subject (hereinafter referred to as "vibration direction information") and the vibration information to the continuous signal generation unit 13.
  • the continuous signal generating unit 13 generates a pulse signal in response to the occurrence of an event at a certain time in a single pixel, taking into account the vibration direction (step S05).
  • the continuous signal generating unit 13 generates a continuous signal by adding up the generated pulse signals in the time direction (step S06).
  • the continuous signal generating unit 13 outputs the generated continuous signal to the signal analyzing unit 14.
  • the signal analysis unit 14 performs frequency analysis such as a short-time Fourier transform on the acquired continuous signal.
  • the signal analysis unit 14 estimates the frequency contained in the vibration and the phase of the frequency signal (step S07).
  • the signal analysis unit 14 also estimates the intensity of each frequency signal by determining the amplitude based on the optical flow calculated by the vibration direction analysis unit 12 (step S08).
  • the signal analysis unit 14 measures the sound by adding up each frequency signal taking into account the estimated intensity and phase (step S09).
  • the signal analysis unit 14 outputs the measured acoustic information to an external device (step S10). This completes the operation of the acoustic measurement system 1 shown in the flowchart of FIG. 2.
  • the acoustic measurement system 1 in the first embodiment generates event information using the event camera 20 and observes vibrations of a subject caused by sound.
  • the acoustic measurement system 1 analyzes the vibration direction of the subject based on the vibration information.
  • the acoustic measurement system 1 generates a continuous signal from the vibration information, taking into account the vibration direction.
  • the acoustic measurement system 1 measures sound by performing signal analysis on the generated continuous signal.
  • the acoustic measurement system 1 in the first embodiment uses the event camera 20, so there is no need for an expensive high-speed camera, and costs such as equipment costs and maintenance costs can be reduced.
  • the acoustic measurement system 1 in the first embodiment uses the event camera 20, it can ensure a maximum sampling rate of 1 MHz, and can obtain extremely high time resolution compared to high-speed cameras. This value is sufficient even when compared to the typical sampling rate of acoustic signals, which is 44.1 KHz.
  • the event camera 20 provides excellent data efficiency because it outputs asynchronously at each pixel. For these reasons, the acoustic measurement system 1 in the first embodiment is not limited in the range of sounds that can be measured.
  • the acoustic measurement system 1 in the first embodiment does not need to perform time-intensive processing such as wavelet transform on a large amount of image data, so it is possible to suppress an increase in the amount of time required for calculation. As a result, the acoustic measurement system 1 in the first embodiment also makes it easy to perform measurements in real time.
  • the acoustic measurement system 1 in the first embodiment of the present invention can achieve high-resolution, high-speed optical acoustic measurement while keeping costs down.
  • Fig. 3 is a block diagram showing the functional configuration of the acoustic measurement system 1a in the second embodiment of the present invention.
  • the acoustic measurement system 1a includes an acoustic measurement device 10a and an event camera 20.
  • the acoustic measurement device 10a includes a vibration information acquisition unit 11, a vibration direction analysis unit 12, a continuous signal generation unit 13a, and a signal analysis unit 14a.
  • the vibration direction analysis unit 12, the continuous signal generation unit 13a, and the signal analysis unit 14a function as an acoustic analysis unit.
  • the configuration of the event camera 20 shown in FIG. 3 is similar to the configuration of the event camera 20 of the acoustic measurement system 1 in the first embodiment shown in FIG. 1 described above, and therefore a description thereof will be omitted.
  • the configurations of the vibration information acquisition unit 11 and vibration direction analysis unit 12 of the acoustic measurement device 10 shown in FIG. 3 are similar to the configurations of the vibration information acquisition unit 11 and vibration direction analysis unit 12 of the acoustic measurement device 10 in the acoustic measurement system 1 in the first embodiment shown in FIG. 1 described above, and therefore a description thereof will be omitted.
  • the continuous signal generating unit 13a acquires the vibration direction information and vibration information output from the vibration direction analyzing unit 12.
  • the continuous signal generating unit 13a generates a continuous signal from the acquired vibration information, taking into account the vibration direction based on the acquired vibration direction information.
  • the continuous signal generating unit 13a calculates the number of events occurring for each section in a single pixel, in accordance with the sampling rate of the sound being measured, while taking into account the vibration direction.
  • the continuous signal generating unit 13a generates a continuous signal by integrating the number of events occurring calculated for each section across all sections. Note that calculations can also be performed for multiple pixels in order to increase the number of samples.
  • the continuous signal generating unit 13a outputs the generated continuous signal to the signal analyzing unit 14a.
  • the signal analysis unit 14a acquires the continuous signal output from the continuous signal generation unit 13a.
  • the signal analysis unit 14a measures the sound by performing signal analysis on the acquired continuous signal.
  • the signal analysis unit 14a performs frequency analysis such as a short-time Fourier transform on the acquired continuous signal.
  • the signal analysis unit 14a estimates the frequency contained in the vibration and the phase of the frequency signal. Furthermore, based on the assumption that a large amplitude indicates a large number of event occurrences, the signal analysis unit 14a estimates the intensity obtained from the generated continuous signal as the intensity of the frequency signal.
  • the signal analysis unit 14a measures the sound by adding up the frequency signals taking into account the estimated intensity and phase.
  • the signal analysis unit 14a outputs measured acoustic information indicating the measured acoustic sound to an external device.
  • the external device here is, for example, a storage device that stores the measured acoustic information, or a speaker that outputs sound based on the measured acoustic information.
  • FIG. 4 is a flowchart showing the operation of the sound measuring system 1a according to the second embodiment of the present invention.
  • the operation of the sound measuring system 1a shown in the flowchart of Fig. 4 is started, for example, when the event camera 20 receives an instruction to capture an image of a subject.
  • step S11 to step S14 shown in FIG. 4 the operation of the acoustic measurement system 1a from step S11 to step S14 shown in FIG. 4 is similar to the operation of the acoustic measurement system 1 in the first embodiment from step S01 to step S04 shown in FIG. 2 described above, and therefore will not be described.
  • the continuous signal generating unit 13a calculates the number of occurrences of events for each section in accordance with the sampling rate of the sound being measured, taking into account the vibration direction, for a single pixel (step S15).
  • the continuous signal generating unit 13a generates a continuous signal by integrating the number of occurrences of events calculated for each section across all sections (step S16).
  • the continuous signal generating unit 13a outputs the generated continuous signal to the signal analyzing unit 14a.
  • the signal analysis unit 14a performs frequency analysis such as a short-time Fourier transform on the acquired continuous signal.
  • the signal analysis unit 14a estimates the frequency contained in the vibration and the phase of the frequency signal (step S17).
  • the signal analysis unit 14a also estimates the intensity obtained from the generated continuous signal as the intensity of the frequency signal (step S18).
  • the signal analysis unit 14a measures the sound by adding up the frequency signals taking into account the estimated intensity and phase (step S19).
  • the signal analysis unit 14a outputs the measured acoustic information to an external device (step S20). This completes the operation of the acoustic measurement system 1a shown in the flowchart of FIG. 4.
  • the acoustic measurement system 1a in the second embodiment generates event information using the event camera 20 and observes vibrations of the subject caused by sound.
  • the acoustic measurement system 1a analyzes the vibration direction of the subject based on the vibration information.
  • the acoustic measurement system 1a generates a continuous signal from the vibration information, taking into account the vibration direction.
  • the acoustic measurement system 1a measures the sound by performing signal analysis on the generated continuous signal.
  • the acoustic measurement system 1a in the second embodiment uses the event camera 20, so there is no need for an expensive high-speed camera, and costs such as equipment costs and maintenance costs can be reduced.
  • the acoustic measurement system 1a in the second embodiment uses the event camera 20, it can ensure a maximum sampling rate of 1 MHz, and can obtain extremely high time resolution compared to high-speed cameras. This value is sufficient even when compared to the typical sampling rate of acoustic signals, which is 44.1 KHz. Furthermore, the event camera 20 provides asynchronous output for each pixel, resulting in excellent data efficiency. For these reasons, the acoustic measurement system 1a in the second embodiment is not limited in the range of sounds that can be measured.
  • the acoustic measurement system 1a in the second embodiment of the present invention can achieve high-resolution, high-speed optical acoustic measurement while keeping costs down.
  • the acoustic measurement device includes an observation unit, an analysis unit, a signal generation unit, and a measurement unit.
  • the acoustic measurement device is acoustic measurement device 10, 10a in the embodiment
  • the observation unit is vibration information acquisition unit 11 in the embodiment
  • the analysis unit is vibration direction analysis unit 12 in the embodiment
  • the signal generation unit is continuous signal generation unit 13, 13a in the embodiment
  • the measurement unit is signal analysis unit 14, 14a in the embodiment.
  • the analysis unit may analyze the vibration direction by calculating the optical flow for the vibration information.
  • the above-mentioned program may be a program for realizing part of the above-mentioned function, or may be a program that can realize the above-mentioned function in combination with a program already recorded in the computer system, or may be a program that is realized using a programmable logic device such as an FPGA (Field Programmable Gate Array).
  • a programmable logic device such as an FPGA (Field Programmable Gate Array).

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

音響計測装置は、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測部と、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析部と、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成部と、前記連続信号に対して信号解析を行うことにより音響を計測する計測部とを備える。

Description

音響計測装置、音響計測システム、音響計測方法及びプログラム
　本発明は、音響計測装置、音響計測システム、音響計測方法及びプログラムに関する。
　画像処理に基づく光学的な音響計測の技術として、ビジュアルマイクロフォン技術がある（例えば、非特許文献1参照）。ビジュアルマイクロフォン技術は、映像から周囲の音を復元する技術である。
A. Davis, M. Rubinstein, N. Wadhwa, G. J. Mysore, F. Durand and W. T. Freeman, "The Visual Microphone: Passive Recovery of Sound from Video," 2014, ［令和５年８月１０日検索］， インターネット（URL: https://people.csail.mit.edu/mrub/papers/VisualMic_SIGGRAPH2014.pdf）
　ビジュアルマイクロフォン技術は、高価なハイスピードカメラを必要とする。ハイスピードカメラのサンプリングレートは、ミドルレンジの機種の場合、１０［ＫＨｚ］程度である。このサンプリングレートは、一般的なマイクロフォンのサンプリングレートである４４．１［ＫＨｚ］には及ばない。そのため、ミドルレンジの機種では、計測可能な音域が限定される可能性がある。さらに、ビジュアルマイクロフォン技術は、大量の画像データ対してウェーブレット変換を行うことから、時間計算量が非常に多くなる。そのため、ビジュアルマイクロフォン技術では、リアルタイムでの計測が困難であるという課題があった。
　上記事情に鑑み、本発明は、コストを抑えつつ、高分解能かつ高速な光学的音響計測を実現することができる音響計測装置、音響計測システム、音響計測方法及びプログラムを提供することを目的とする。
　本発明の一態様は、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測部と、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析部と、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成部と、前記連続信号に対して信号解析を行うことにより音響を計測する計測部と、を備える音響計測装置である。
　また、本発明の一態様は、被写体を撮影し、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を出力するイベントカメラと、前記イベント情報に基づいて音に起因する被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測部と、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析部と、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成部と、前記連続信号に対して信号解析を行うことにより音響を計測する計測部と、を備える音響計測システムである。
　また、本発明の一態様は、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測ステップと、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析ステップと、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成ステップと、前記連続信号に対して信号解析を行うことにより音響を計測する計測ステップと、を有する音響計測方法である。
　また、本発明の一態様は、イベントカメラが、被写体を撮影し、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を出力する出力ステップと、音響計測装置が、前記イベント情報に基づいて音に起因する被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測ステップと、音響計測装置が、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析ステップと、音響計測装置が、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成ステップと、音響計測装置が、前記連続信号に対して信号解析を行うことにより音響を計測する計測ステップと、を有する音響計測方法である。
　また、本発明の一態様は、コンピュータに、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測ステップと、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析ステップと、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成ステップと、前記連続信号に対して信号解析を行うことにより音響を計測する計測ステップと、実行させるためのプログラムである。
　本発明により、コストを抑えつつ、高分解能かつ高速な光学的音響計測を実現することが可能になる。
本発明の第１の実施形態における音響計測システム１の機能構成を示すブロック図である。 本発明の第１の実施形態における音響計測システム１の動作を示すフローチャートである。 本発明の第２の実施形態における音響計測システム１ａの機能構成を示すブロック図である。 本発明の第２の実施形態における音響計測システム１ａの動作を示すフローチャートである。
　以下、本発明の実施形態における音響計測装置、音響計測システム、音響計測方法及びプログラムについて説明する。
　以下に説明する各実施形態における音響計測システムは、イベントカメラを用いて音に起因する被写体の振動をイベント情報として観測する。なお、イベントカメラは、被写体が撮影された映像の画素ごとの輝度変化をイベントとして出力する特殊カメラである。一般的に、イベントカメラの最大サンプリングレートは、１［ＭＨｚ］であり、（ミドルレンジ帯の）ハイスピードカメラと比べて時間分解能が非常に高い。さらに、イベントカメラは、各画素で非同期に出力を行うため、データ効率に優れるという特徴がある。加えて、イベントカメラは、ハイスピードカメラと比較してデバイスが安価である。
　以下に説明する各実施形態における音響計測システムは、観測されたイベント情報に対してオプティカルフローを計算することにより、被写体の振動方向を解析する。オプティカルフローとは、視覚表現（一般的には、時間的に連続するデジタル画像）の中における物体の動きをベクトルで表したものである。音響計測システムは、解析された振動方向とイベント情報とに基づいて連続信号を生成する。音響計測システムは、生成された連続信号に対して短時間フーリエ変換等の周波数解析を行い、振動に含まれる周波数、及びその周波数信号の位相を推定する。また、音響計測システムは、上記の振動方向の解析において計算されたオプティカルフローに基づく振幅の推定、もしくは、単位時間当たりのイベント発生数を用いることで、各周波数信号の強度を推定する。音響計測システムは、推定された強度及び位相を考慮して各周波数信号を足し合わせる。
　このような構成を備えることで、各実施形態における音響計測システムは、音響の計測を行うことができる。これにより、音響計測システムは、装置コストや保守コスト等のコストを抑えつつ、高分解能かつ高速な光学的音響計測を実現することができる。
　なお、以下に説明する各実施形態の音響計測システムにおいて、互いに同一の機能を有する構成部には同一の符号を付し、その機能に関する繰り返しの説明を省略することがある。
＜第１の実施形態＞
　以下、本発明の第１の実施形態における音響計測システム１について図面を参照しながら詳しく説明する。
［音響計測システムの機能構成］
　以下、音響計測システム１の機能構成について説明する。図１は、本発明の第１の実施形態における音響計測システム１の機能構成を示すブロック図である。図１に示されるように、音響計測システム１は、音響計測装置１０と、イベントカメラ２０とを含んで構成される。また、図１に示されるように、音響計測装置１０は、振動情報取得部１１と、振動方向解析部１２と、連続信号生成部１３と、信号解析部１４とを含んで構成される。図１に示されるように、振動方向解析部１２、連続信号生成部１３、及び信号解析部１４は、音響解析部として機能する。
　イベントカメラ２０は、被写体を撮影する。イベントカメラ２０は、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を生成し、生成されたイベント情報を音響計測装置１０へ出力する。
　なお、音響計測装置１０が取得するイベント情報は、イベントカメラ２０での撮影によって生成されたイベント情報に限られるものではなく、一般の動画像等をイベント情報に変換するシミュレータによって生成されたイベント情報であってもよい。
　音響計測装置１０の振動情報取得部１１は、イベントカメラ２０から出力されたイベント情報を取得する。振動情報取得部１１は、取得されたイベント情報に基づいて、音に起因する被写体の振動を観測する。振動情報取得部１１は、観測された振動を示す情報（以下、「振動情報」という。）を振動方向解析部１２へ出力する。
　振動情報取得部１１は、例えば、取得されたイベント情報から音に起因する振動に相当するイベント情報を抽出（抜粋）することで振動情報を生成する。音に起因する振動に相当するイベント情報を抽出（抜粋）する方法としては、任意の方法を用いることができる。なお、振動情報取得部１１は、取得されたイベント情報を加工することで振動情報を生成する構成であってもよい。この場合、イベント情報を加工する方法としては、任意の方法を用いることができる。
　なお、音に起因する振動のみをイベントカメラ２０によって直接観測することが可能な環境である場合には、振動情報取得部１１は不要である。この場合、イベントカメラ２０が出力するイベント情報は、振動情報に相当する情報になるからである。なお、音に起因する振動のみを観測可能な環境とは、例えば、音が影響を与える（音によって振動する）被写体のみが、静止した状態で撮影されるような環境等である。
　振動方向解析部１２は、振動情報取得部１１から出力された振動情報を取得する。振動方向解析部１２は、取得された振動情報に対してオプティカルフローを計算することにより、被写体の振動方向を解析する。なお、オプティカルフローの計算には、一般的な従来技術を用いることができるが、振動を仮定したオプティカルフローの計算を行うことによってさらなる計測精度の向上が期待できる。振動方向解析部１２は、解析された被写体の振動方向を示す情報（以下、「振動方向情報」という。）と振動情報とを連続信号生成部１３へ出力する。
　連続信号生成部１３は、振動方向解析部１２から出力された振動方向情報と振動情報とを取得する。連続信号生成部１３は、取得された振動方向情報に基づく振動方向を考慮して、取得された振動情報から連続信号を生成する。
　より具体的には、連続信号生成部１３は、単一の画素において、ある時刻におけるイベントの発生に応じてパルス信号を生成する。なお、ここで生成されるパルス信号の正負は、振動の方向に応じて決定される。連続信号生成部１３は、生成されたパルス信号を時間方向に足し合わせることによって連続信号を生成する。連続信号生成部１３は、生成された連続信号を信号解析部１４へ出力する。
　信号解析部１４は、連続信号生成部１３から出力された連続信号を取得する。信号解析部１４は、取得された連続信号に対して信号解析を行うことにより、音響を計測する。
　より具体的には、信号解析部１４は、取得された連続信号に対して短時間フーリエ変換等の周波数解析を行う。信号解析部１４は、振動に含まれる周波数、及びその周波数信号の位相を推定する。また、信号解析部１４は、振動方向解析部１２よって計算されたオプティカルフローに基づいて振幅を求めることにより、各周波数信号の強度を推定する。信号解析部１４は、推定された強度及び位相を考慮して各周波数信号を足し合わせることによって音響を計測する。
　信号解析部１４は、計測された音響を示す情報（以下、「計測音響情報」という。）を外部の装置へ出力する。ここでいう外部の装置とは、例えば、計測音響情報を記憶する記憶装置、又は計測音響情報に基づく音を出力するスピーカ等である。
［音響計測システムの動作］
　以下、音響計測システム１の動作の一例について説明する。図２は、本発明の第１の実施形態における音響計測システム１の動作を示すフローチャートである。図２のフローチャートが示す音響計測システム１の動作は、例えば、イベントカメラ２０が被写体の撮影指示を受けた際に開始される。
　イベントカメラ２０は、被写体を撮影する（ステップＳ０１）。イベントカメラ２０は、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を生成し、生成されたイベント情報を音響計測装置１０へ出力する（ステップＳ０２）。
　音響計測装置１０の振動情報取得部１１は、取得されたイベント情報に基づいて、音に起因する被写体の振動を観測する（ステップＳ０３）。振動情報取得部１１は、観測された振動を示す振動情報を振動方向解析部１２へ出力する。
　振動方向解析部１２は、取得された振動情報に対してオプティカルフローを計算することにより、被写体の振動方向を解析する（ステップＳ０４）。なお、オプティカルフローの計算には、一般的な従来技術を用いることができるが、振動を仮定したオプティカルフローの計算を行うことによってさらなる計測精度の向上が期待できる。振動方向解析部１２は、解析された被写体の振動方向を示す情報（以下、「振動方向情報」という。）と振動情報とを連続信号生成部１３へ出力する。
　連続信号生成部１３は、単一の画素において、ある時刻におけるイベントの発生に応じて、振動方向を考慮してパルス信号を生成する（ステップＳ０５）。連続信号生成部１３は、生成されたパルス信号を時間方向に足し合わせることによって連続信号を生成する（ステップＳ０６）。連続信号生成部１３は、生成された連続信号を信号解析部１４へ出力する。
　信号解析部１４は、取得された連続信号に対して短時間フーリエ変換等の周波数解析を行う。信号解析部１４は、振動に含まれる周波数、及びその周波数信号の位相を推定する（ステップＳ０７）。また、信号解析部１４は、振動方向解析部１２よって計算されたオプティカルフローに基づいて振幅を求めることにより、各周波数信号の強度を推定する（ステップＳ０８）。信号解析部１４は、推定された強度及び位相を考慮して各周波数信号を足し合わせることによって音響を計測する（ステップＳ０９）。
　信号解析部１４は、計測音響情報を外部の装置へ出力する（ステップＳ１０）。以上で、図２のフローチャートが示す音響計測システム１の動作が終了する。
　以上説明したように、第１の実施形態における音響計測システム１は、イベントカメラ２０を用いてイベント情報を生成し、音に起因する被写体の振動を観測する。音響計測システム１は、振動情報に基づいて被写体の振動方向を解析する。音響計測システム１は、振動方向を考慮して、振動情報から連続信号を生成する。音響計測システム１は、生成された連続信号に対して信号解析を行うことにより、音響を計測する。
　このように、第１の実施形態における音響計測システム１は、イベントカメラ２０を用いるため、高価なハイスピードカメラを必要とせず、装置コストや保守コスト等のコストを抑えることができる。
　また、第１の実施形態における音響計測システム１は、イベントカメラ２０を用いるため、最大１［ＭＨｚ］サンプリングレートを確保することができ、ハイスピードカメラと比べて非常に高い時間分解能を得ることができる。この値は、一般的な音響信号のサンプリングレートである４４．１［ＫＨｚ］と比較しても十分な値である。さらに、イベントカメラ２０は、各画素で非同期に出力を行うため、データ効率に優れる。以上のことから、第１の実施形態における音響計測システム１は、計測可能な音域が限定されない。
　また、第１の実施形態における音響計測システム１は、大量の画像データ対してウェーブレット変換等の時間計算量の多い処理を行う必要がないため、時間計算量の増大を抑えることができる。これにより、第１の実施形態における音響計測システム１によれば、リアルタイムでの計測も容易になる。
　このような構成を備えることで、本発明の第１の実施形態における音響計測システム１は、コストを抑えつつ、高分解能かつ高速な光学的音響計測を実現することができる。
＜第２の実施形態＞
　以下、本発明の第２の実施形態における音響計測システム１ａについて図面を参照しながら詳しく説明する。
［音響計測システムの機能構成］
　以下、音響計測システム１ａの機能構成について説明する。図３は、本発明の第２の実施形態における音響計測システム１ａの機能構成を示すブロック図である。図３に示されるように、音響計測システム１ａは、音響計測装置１０ａと、イベントカメラ２０とを含んで構成される。また、図３に示されるように、音響計測装置１０ａは、振動情報取得部１１と、振動方向解析部１２と、連続信号生成部１３ａと、信号解析部１４ａとを含んで構成される。図３に示されるように、振動方向解析部１２、連続信号生成部１３ａ、及び信号解析部１４ａは、音響解析部として機能する。
　図３に示されるイベントカメラ２０の構成は、前述の図１に示される第１の実施形態における音響計測システム１のイベントカメラ２０の構成と同様であるため、説明を省略する。また、図３に示される音響計測装置１０の振動情報取得部１１及び振動方向解析部１２の構成は、前述の図１に示される第１の実施形態における音響計測システム１の音響計測装置１０の振動情報取得部１１及び振動方向解析部１２の構成と同様であるため、説明を省略する。
　連続信号生成部１３ａは、振動方向解析部１２から出力された振動方向情報と振動情報とを取得する。連続信号生成部１３ａは、取得された振動方向情報に基づく振動方向を考慮して、取得された振動情報から連続信号を生成する。
　より具体的には、連続信号生成部１３ａは、単一の画素において、振動方向を考慮しながら、計測する音響のサンプリングレートに合わせた区間ごとのイベントの発生数を計算する。連続信号生成部１３ａは、区間ごとに計算されたイベントの発生数を、全区間で統合することによって連続信号を生成する。なお、サンプル数の増強を目的として、複数画素での計算も可能である。連続信号生成部１３ａは、生成された連続信号を信号解析部１４ａへ出力する。
　信号解析部１４ａは、連続信号生成部１３ａから出力された連続信号を取得する。信号解析部１４ａは、取得された連続信号に対して信号解析を行うことにより、音響を計測する。
　より具体的には、信号解析部１４ａは、取得された連続信号に対して短時間フーリエ変換等の周波数解析を行う。信号解析部１４ａは、振動に含まれる周波数、及びその周波数信号の位相を推定する。また、信号解析部１４ａは、振幅が大きいならばイベント発生数が多いという仮定に基づいて、生成された連続信号から得られる強度をそのまま周波数信号の強度として推定する。信号解析部１４ａは、推定された強度及び位相を考慮して各周波数信号を足し合わせることによって音響を計測する。
　信号解析部１４ａは、計測された音響を示す計測音響情報を外部の装置へ出力する。ここでいう外部の装置とは、例えば、計測音響情報を記憶する記憶装置、又は計測音響情報に基づく音を出力するスピーカ等である。
［音響計測システムの動作］
　以下、音響計測システム１ａの動作の一例について説明する。図４は、本発明の第２の実施形態における音響計測システム１ａの動作を示すフローチャートである。図４のフローチャートが示す音響計測システム１ａの動作は、例えば、イベントカメラ２０が被写体の撮影指示を受けた際に開始される。
　なお、図４に示されるステップＳ１１からステップＳ１４までの音響計測システム１ａの動作は、前述の図２に示されるステップＳ０１からステップＳ０４までの第１の実施形態における音響計測システム１の動作と同様であるため、説明を省略する。
　連続信号生成部１３ａは、単一の画素において、振動方向を考慮しながら、計測する音響のサンプリングレートに合わせた区間ごとのイベントの発生数を計算する（ステップＳ１５）。連続信号生成部１３ａは、区間ごとに計算されたイベントの発生数を、全区間で統合することによって連続信号を生成する（ステップＳ１６）。連続信号生成部１３ａは、生成された連続信号を信号解析部１４ａへ出力する。
　信号解析部１４ａは、取得された連続信号に対して短時間フーリエ変換等の周波数解析を行う。信号解析部１４ａは、振動に含まれる周波数、及びその周波数信号の位相を推定する（ステップＳ１７）。また、信号解析部１４ａは、生成された連続信号から得られる強度をそのまま周波数信号の強度として推定する（ステップＳ１８）。信号解析部１４ａは、推定された強度及び位相を考慮して各周波数信号を足し合わせることによって音響を計測する（ステップＳ１９）。
　信号解析部１４ａは、計測音響情報を外部の装置へ出力する（ステップＳ２０）。以上で、図４のフローチャートが示す音響計測システム１ａの動作が終了する。
　以上説明したように、第２の実施形態における音響計測システム１ａは、イベントカメラ２０を用いてイベント情報を生成し、音に起因する被写体の振動を観測する。音響計測システム１ａは、振動情報に基づいて被写体の振動方向を解析する。音響計測システム１ａは、振動方向を考慮して、振動情報から連続信号を生成する。音響計測システム１ａは、生成された連続信号に対して信号解析を行うことにより、音響を計測する。
　このように、第２の実施形態における音響計測システム１ａは、イベントカメラ２０を用いるため、高価なハイスピードカメラを必要とせず、装置コストや保守コスト等のコストを抑えることができる。
　また、第２の実施形態における音響計測システム１ａは、イベントカメラ２０を用いるため、最大１［ＭＨｚ］サンプリングレートを確保することができ、ハイスピードカメラと比べて非常に高い時間分解能を得ることができる。この値は、一般的な音響信号のサンプリングレートである４４．１［ＫＨｚ］と比較しても十分な値である。さらに、イベントカメラ２０は、各画素で非同期に出力を行うため、データ効率に優れる。以上のことから、第２の実施形態における音響計測システム１ａは、計測可能な音域が限定されない。
　また、第２の実施形態における音響計測システム１ａは、大量の画像データ対してウェーブレット変換等の時間計算量の多い処理を行う必要がないため、時間計算量の増大を抑えることができる。これにより、第２の実施形態における音響計測システム１ａによれば、リアルタイムでの計測も容易になる。
　このような構成を備えることで、本発明の第２の実施形態における音響計測システム１ａは、コストを抑えつつ、高分解能かつ高速な光学的音響計測を実現することができる。
　上述した実施形態によれば、音響計測装置は、観測部と、解析部と、信号生成部と、計測部とを備える。例えば、音響計測装置は、実施形態における音響計測装置１０，１０ａであり、観測部は、実施形態における振動情報取得部１１であり、解析部は、実施形態における振動方向解析部１２であり、信号生成部は、実施形態における連続信号生成部１３，１３ａであり、計測部は、実施形態における信号解析部１４，１４ａである。
　上記の観測部は、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する被写体の振動を観測し、観測された振動を示す振動情報を出力する。上記の解析部は、振動情報に基づいて被写体の振動方向を解析し、解析された振動方向を示す振動方向情報を出力する。信号生成部は、振動方向情報が示す振動方向を考慮して、振動情報から連続信号を生成し、生成された連続信号を出力する。計測部は、連続信号に対して信号解析を行うことにより音響を計測する。
　なお、上記の音響計測装置において、解析部は、振動情報に対してオプティカルフローを計算することによって振動方向を解析するようにしてもよい。
　なお、上記の音響計測装置において、信号生成部は、単一の画素において、ある時刻におけるイベントの発生に応じて生成するパルス信号であって、前記パルス信号の正負を振動方向に応じて決定し、生成されたパルス信号を時間方向に足し合わせることによって連続信号を生成するようにしてもよい。
　なお、上記の音響計測装置において、信号生成部は、単一の画素において、振動方向を考慮しながら、計測する音響のサンプリングレートに合わせた区間ごとのイベントの発生数を計算し、区間ごとのイベントの発生数を全区間で統合することによって連続信号を生成するようにしてもよい。
　また、上述した実施形態によれば、音響計測システムは、イベントカメラと、観測部と、解析部と、信号生成部と、計測部とを備える。例えば、音響計測システムは、実施形態における音響計測システム１，１ａであり、イベントカメラは、実施形態におけるイベントカメラ２０であり、観測部は、実施形態における振動情報取得部１１であり、解析部は、実施形態における振動方向解析部１２であり、信号生成部は、実施形態における連続信号生成部１３，１３ａであり、計測部は、実施形態における信号解析部１４，１４ａである。
　上記のイベントカメラは、被写体を撮影し、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を出力する。上記の観測部は、イベント情報に基づいて音に起因する被写体の振動を観測し、観測された振動を示す振動情報を出力する。上記の解析部は、振動情報に基づいて被写体の振動方向を解析し、解析された振動方向を示す振動方向情報を出力する。信号生成部は、振動方向情報が示す振動方向を考慮して、振動情報から連続信号を生成し、生成された連続信号を出力する。計測部は、連続信号に対して信号解析を行うことにより音響を計測する。
　上述した実施形態における音響計測装置１０，１０ａの構成の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）などのプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
１，１ａ…音響計測システム、１０，１０ａ…音響計測装置、１１…振動情報取得部、１２…振動方向解析部、１３，１３ａ…連続信号生成部、１４，１４ａ…信号解析部、２０…イベントカメラ

Claims (8)

  1. 　被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測部と、
    　前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析部と、
    　前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成部と、
    　前記連続信号に対して信号解析を行うことにより音響を計測する計測部と、
    　を備える音響計測装置。
  2. 　前記解析部は、前記振動情報に対してオプティカルフローを計算することによって前記振動方向を解析する
    　請求項１に記載の音響計測装置。
  3. 　前記信号生成部は、単一の前記画素において、ある時刻におけるイベントの発生に応じて生成するパルス信号であって、前記パルス信号の正負を前記振動方向に応じて決定し、生成された前記パルス信号を時間方向に足し合わせることによって前記連続信号を生成する
    　請求項１又は２に記載の音響計測装置。
  4. 　前記信号生成部は、単一の前記画素において、前記振動方向を考慮しながら、計測する前記音響のサンプリングレートに合わせた区間ごとのイベントの発生数を計算し、前記区間ごとの前記イベントの発生数を全区間で統合することによって前記連続信号を生成する
    　請求項１又は２に記載の音響計測装置。
  5. 　被写体を撮影し、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を出力するイベントカメラと、
    　前記イベント情報に基づいて音に起因する被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測部と、
    　前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析部と、
    　前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成部と、
    　前記連続信号に対して信号解析を行うことにより音響を計測する計測部と、
    　を備える音響計測システム。
  6. 　被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測ステップと、
    　前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析ステップと、
    　前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成ステップと、
    　前記連続信号に対して信号解析を行うことにより音響を計測する計測ステップと、
    　を有する音響計測方法。
  7. 　イベントカメラが、被写体を撮影し、被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報を出力する出力ステップと、
    　音響計測装置が、前記イベント情報に基づいて音に起因する被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測ステップと、
    　音響計測装置が、前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析ステップと、
    　音響計測装置が、前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成ステップと、
    　音響計測装置が、前記連続信号に対して信号解析を行うことにより音響を計測する計測ステップと、
    　を有する音響計測方法。
  8. 　コンピュータに、
    　被写体が撮影された映像の画素ごとの輝度変化を示すイベント情報に基づいて音に起因する前記被写体の振動を観測し、観測された前記振動を示す振動情報を出力する観測ステップと、
    　前記振動情報に基づいて前記被写体の振動方向を解析し、解析された前記振動方向を示す振動方向情報を出力する解析ステップと、
    　前記振動方向情報が示す前記振動方向を考慮して、前記振動情報から連続信号を生成し、生成された前記連続信号を出力する信号生成ステップと、
    　前記連続信号に対して信号解析を行うことにより音響を計測する計測ステップと、
    　実行させるためのプログラム。
PCT/JP2023/030122 2023-08-22 2023-08-22 音響計測装置、音響計測システム、音響計測方法及びプログラム Pending WO2025041256A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030122 WO2025041256A1 (ja) 2023-08-22 2023-08-22 音響計測装置、音響計測システム、音響計測方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030122 WO2025041256A1 (ja) 2023-08-22 2023-08-22 音響計測装置、音響計測システム、音響計測方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2025041256A1 true WO2025041256A1 (ja) 2025-02-27

Family

ID=94731987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030122 Pending WO2025041256A1 (ja) 2023-08-22 2023-08-22 音響計測装置、音響計測システム、音響計測方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2025041256A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190622A1 (ja) * 2021-03-08 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190622A1 (ja) * 2021-03-08 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
Davis et al. The visual microphone: Passive recovery of sound from video
US10129658B2 (en) Method and apparatus for recovering audio signals from images
CN110068388A (zh) 一种基于视觉和盲源分离的振动检测方法
CN111277833B (zh) 一种基于多通带滤波器的多目标微小振动视频放大方法
CN108414240B (zh) 一种检测机器异常振动的方法与装置
CN103794221B (zh) 信号处理装置和方法
JP2019062527A (ja) エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別
WO2021036662A1 (zh) 信号处理方法、装置及相关产品
US12413805B2 (en) Systems and methods for high-rate composite video acquisition
WO2025041256A1 (ja) 音響計測装置、音響計測システム、音響計測方法及びプログラム
US12425741B2 (en) Systems and methods for motion detection, quantification, and/or measurement with exposure correction in video-based time-series signals
CN108964998B (zh) 一种网络实体行为奇异性检测方法及装置
JP5534870B2 (ja) 音源推定用画像の作成装置
US20070269112A1 (en) Image processing apparatus and image processing program
WO2023105548A1 (ja) 分類装置、分類方法、およびプログラム
JPWO2023105548A5 (ja)
Kotus et al. Application of fast cameras to string vibrations recording
Orak et al. Monitoring cantilever beam with a vision-based algorithm and smartphone
KR101438073B1 (ko) 이미지 처리를 통한 객체의 동적 특성 분석 장치 및 이를 위한 방법
US20250211934A1 (en) Computer system, method, and program
US12445727B2 (en) Acoustic eavesdropping using a smartphone camera
Samuelson et al. Visio-Acoustic Data Fusion for Structural Health Monitoring Applications
JP2024165819A (ja) 情報処理システム、情報処理方法及びプログラム
JP3967163B2 (ja) 画像生成方法および装置、画像処理方法および装置並びにプログラム
US12607541B2 (en) Robust predictive maintenance method for machinery using measured vibration data and estimated sound data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23949717

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025541209

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025541209

Country of ref document: JP