WO2022259768A1 - 音響アクティブセンサ装置 - Google Patents

音響アクティブセンサ装置 Download PDF

Info

Publication number
WO2022259768A1
WO2022259768A1 PCT/JP2022/018059 JP2022018059W WO2022259768A1 WO 2022259768 A1 WO2022259768 A1 WO 2022259768A1 JP 2022018059 W JP2022018059 W JP 2022018059W WO 2022259768 A1 WO2022259768 A1 WO 2022259768A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
sensor device
camera unit
active sensor
acoustic
Prior art date
Application number
PCT/JP2022/018059
Other languages
English (en)
French (fr)
Inventor
俊之 松村
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN202280037322.6A priority Critical patent/CN117378221A/zh
Priority to JP2023527555A priority patent/JPWO2022259768A1/ja
Publication of WO2022259768A1 publication Critical patent/WO2022259768A1/ja
Priority to US18/529,327 priority patent/US20240103161A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521—Constructional features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534—Details of non-pulse systems
    • G01S7/536—Extracting wanted echo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
    • H04R9/02—Details
    • H04R9/025—Magnetic circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
    • H04R9/06—Loudspeakers

Definitions

  • the present disclosure relates to acoustically active sensor devices.
  • Patent Document 1 discloses a display device capable of simulatively displaying sound pressure in a sound field space to be measured.
  • the display device includes a display body having a plurality of displaceable parts and representing the sound field space, a plurality of microphones arranged in the sound field space, and the A plurality of driving units for displacing each part of the display according to the output of each microphone is provided.
  • Patent Document 1 it is possible to acquire the position information of the object by detecting the direction of arrival of the sound, but it is not possible to acquire the image information of the object at the same time.
  • An object of the present disclosure is to obtain an acoustic active sensor device capable of acquiring image information of an object as well as position information of the object with high precision.
  • an acoustic active sensor device includes a camera unit, an acoustic actuator having a sound generation section that generates sound, and a reflected sound of the sound generated by the sound generation section.
  • a sound detection unit having a plurality of microphones for detection, wherein the sound generation unit and the sound detection unit are arranged on the outer peripheral side of the camera unit.
  • FIG. 1 is a plan view schematically showing the configuration of an acoustically active sensor device according to a first embodiment of the present disclosure
  • FIG. 1 is a cross-sectional view schematically showing a cross-sectional structure of an acoustically active sensor device according to a first embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining a beamforming method using delay sum
  • FIG. 3 is a plan view schematically showing the configuration of an acoustically active sensor device according to a second embodiment of the present disclosure
  • FIG. 10 is a plan view schematically showing the configuration of an acoustically active sensor device according to a third embodiment of the present disclosure
  • FIG. 11 is a cross-sectional view schematically showing a cross-sectional structure of an acoustic active sensor device according to a fourth embodiment of the present disclosure
  • 4 is a plan view schematically showing the configuration of a frame and microphones
  • FIG. 11 is a plan view schematically showing a modification of the configuration of the frame and microphone
  • An acoustic active sensor device capable of acquiring position information of an object in space by emitting sound from a speaker into space and detecting reflected sound from the object with a microphone is known.
  • the positional relationship (especially the angle) with the target object will differ between the camera unit and the microphone array, resulting in deviation. Therefore, the position of the object included in the image captured by the camera unit does not match the position information detected by the microphone array, and as a result, it is difficult to obtain the image information of the object with high accuracy. is.
  • the present inventor arranged a camera unit in the center of the device, and arranged a microphone array concentrically around the camera unit, so that the central axis of the microphone array and the camera unit.
  • the inventors have found that the central axis of the object can be matched with the central axis of the object, and thereby the image information of the object can be obtained with high accuracy, and the present disclosure has been conceived.
  • An acoustic active sensor device includes a camera unit, an acoustic actuator having a sound generation unit that generates sound, and a plurality of microphones that detect reflected sound of the sound generated by the sound generation unit. and a detection unit, wherein the sound generation unit and the sound detection unit are arranged on the outer peripheral side of the camera unit.
  • the central axes of the sound generating section, the sound detecting section, and the camera unit can be aligned. . Therefore, the positional relationship with the object is common among the sound generator, the sound detector, and the camera unit. Therefore, the position of the object included in the image captured by the camera unit can be accurately specified based on the position information detected by the sound detection unit, and as a result, the image information of the object can be obtained with high accuracy. It is possible to obtain
  • the sound generator and the sound detector are arranged concentrically around the camera unit.
  • the sound generating section has an annular diaphragm centered on the camera unit.
  • the sound generating section has an annular diaphragm centered on the camera unit, it is possible to radiate the detection sound from the diaphragm whose central axis coincides with that of the sound detecting section and the camera unit. becomes.
  • the sound detection section includes a first microphone array arranged outside the sound generation section.
  • the first microphone array by arranging the first microphone array outside the sound generating section (on the side opposite to the camera unit), it is possible to configure the first microphone array with a large number of microphones.
  • the distance between the plurality of microphones forming the first microphone array can be widened, it is advantageous for analysis of reflected sounds containing low-frequency components.
  • the sound detection section includes a second microphone array arranged inside the sound generation section.
  • the second microphone array by arranging the second microphone array inside the sound generating section (on the same side as the camera unit), it is possible to narrow the distance between the plurality of microphones constituting the second microphone array. , which is advantageous for analyzing reflected sounds containing high-frequency components.
  • the acoustic actuator further includes a magnetic circuit that generates a magnetic flux for vibrating the sound generating section, a hole is formed in a central portion of the magnetic circuit in a plan view, and the camera unit is positioned within the hole.
  • the front end portion of the camera unit protrudes forward from the front end portion of the sound generation portion with respect to the front traveling direction of the sound generated by the sound generation portion.
  • the front end portion of the camera unit protrudes forward from the front end portion of the sound generating portion, so that the front end portion of the camera unit is used to control the directivity of the detection sound emitted from the sound generating portion. It is possible to function as a diffuser of
  • FIG. 1 is a plan view schematically showing the configuration of an acoustic active sensor device 1 according to the first embodiment of the present disclosure.
  • 2 is a cross-sectional view schematically showing a cross-sectional structure with respect to positions along line II-II shown in FIG.
  • the acoustic active sensor device 1 includes a camera unit 2, an acoustic actuator, and a sound detection section 4.
  • the camera unit 2 has a lens group, an image sensor such as a CCD or CMOS, and a signal processing circuit (all not shown).
  • the acoustic actuator has a sound generator 3, a magnetic circuit 5, a bobbin 7, and a voice coil 8.
  • the sound generator 3 has an inner edge 3A, an outer edge 3B, and a diaphragm 3C.
  • the inner edge 3A, the outer edge 3B, and the diaphragm 3C are all annular, and are concentrically arranged from the inside in the order of the inner edge 3A, the diaphragm 3C, and the outer edge 3B centering on the central axis of the camera unit 2. It is
  • the material of the inner edge 3A and the outer edge 3B is elastomer or the like, and the material of the diaphragm 3C is metal, resin, paper, fabric, or the like.
  • the inner edge 3A has its inner peripheral edge fixed to the support member 6A, and its outer peripheral edge fixed to the inner peripheral edge of the diaphragm 3C by adhesion or the like.
  • the material of the support member 6A is resin or the like.
  • the outer edge 3B has its outer peripheral edge fixed to the frame 6B, and its inner peripheral edge fixed to the outer peripheral edge of the diaphragm 3C by adhesion or the like.
  • the material of the frame 6B is resin or the like.
  • a cylindrical bobbin 7 is fixed by adhesion or the like to the back surface of the diaphragm 3C (the surface opposite to the radiation direction of the detected sound).
  • a voice coil 8 made of copper wire, silver wire, or the like is wound around the bobbin 7 .
  • the magnetic circuit 5 has a plate 5A, a magnet 5B, and a yoke 5C.
  • a voice coil 8 is arranged in the gap between the outer surface of the plate 5A and the inner surface of the end of the yoke 5C. As a result, the voice coil 8 is positioned within the magnetic field generated by the magnet 5B.
  • the direction of the magnetic flux of the magnetic field generated by the magnet 5B is the horizontal direction of the paper surface within the gap.
  • the direction of the current flowing through the voice coil 8 is the frontward direction or the depthward direction of the paper surface in the gap. Therefore, the voice coil 8 moves in the vertical direction in the drawing due to the current flowing through the voice coil 8. The light is emitted toward the space (in FIG. 2, the space above the plane of the paper).
  • a hole 10 is formed through each member in the central portion (central portion in plan view) of the support member 6A, the plate 5A, the magnet 5B, and the yoke 5C. placed through.
  • the sound detection unit 4 has a microphone board 4A and a microphone 4C.
  • a through hole 4B is formed in the microphone substrate 4A, and the sound detection surface of the microphone 4C is exposed in the through hole 4B.
  • the rear surface of the microphone 4C (the surface opposite to the sound detection surface) is fixed to the frame 6B.
  • FIG. 7 is a plan view schematically showing the configuration of the frame 6B and the microphone 4C. 1 and 7, the microphone substrate 4A has an annular shape and is arranged concentrically with the diaphragm 3C around the central axis of the camera unit 2. As shown in FIG. That is, the sound generator 3 and the sound detector 4 are arranged concentrically around the camera unit 2 on the outer peripheral side thereof.
  • the sound detection unit 4 has a plurality of microphones 4C arranged side by side at equal intervals along the circumferential direction of the ring, and the plurality of microphones 4C constitute a first microphone array.
  • the first microphone array is arranged outside the ring of the diaphragm 3C (on the side opposite to the camera unit 2).
  • FIG. 8 is a plan view schematically showing a modification of the configuration of the frame 6B and microphone 4C.
  • a plurality of inner microphones 4C1 and a plurality of outer microphones 4C2 are alternately arranged in a double annular shape. As a result, the interval between the adjacent microphones 4C1 and 4C2 can be made smaller than the microphone size, and as a result, the analysis frequency can be increased.
  • the acoustic active sensor device 1 radiates the detection sound generated by the sound generation unit 3 toward the space, and the sound reflected from the object located in the space is received by the plurality of microphones of the sound detection unit 4. Detect by 4C. Further, the acoustic active sensor device 1 acquires the position information of the object including the distance and direction by analyzing the detection result of the reflected sound by signal processing. As signal processing for specifying the position of the object, for example, a beamforming method using delay sums, which will be described later, can be used. Further, the acoustic active sensor device 1 captures an image of the space with the camera unit 2, and identifies the position of the object included in the captured image based on the position information detected by the sound detection unit 4. Get image information of an object.
  • FIG. 3 is a diagram for explaining the beamforming method based on the sum of delays.
  • FIG. 3 shows an example using eight microphones.
  • a delay element is connected after each microphone, and outputs from all the delay elements are added by an adder.
  • the delay time Dn in each delay element is calculated using the speed of light c, the distance d between the microphones, and the angle ⁇ between the front direction of the microphone array and the arrival direction of the reflected sound.
  • an acoustic beam is formed by adding all the outputs after aligning the phases of the incident waves with the delay element connected to the rear stage of each microphone. Then, by scanning the space while changing the angle ⁇ , the arrival direction of the reflected sound (that is, the position of the object) is specified.
  • the signal processing for identifying the position of the object is not limited to the beamforming method using the sum of delays, and other algorithms may be used.
  • the sound generating section 3 and the sound detecting section 4 are arranged on the outer peripheral side of the camera unit 2 so that the sound generating section 3, the sound detecting section 4, and each center axis of the camera unit 2 can be matched. Therefore, the positional relationship with the object is common among the sound generator 3 , the sound detector 4 , and the camera unit 2 . Therefore, the position of the object included in the image captured by the camera unit 2 can be accurately specified based on the position information detected by the sound detection unit 4, and as a result, the image information of the object can be obtained. It is possible to acquire with high accuracy.
  • the acoustically active sensor device 1 by arranging the sound generating section 3 and the sound detecting section 4 concentrically around the camera unit 2, the sound generating section 3, the sound detecting section 4, And it is possible to completely match the center axes of the camera units 2 .
  • the sound generator 3 has the ring-shaped diaphragm 3C centered on the camera unit 2, so that the sound detector 4 and the camera unit 2 and the central axis It is possible to radiate the detection sound from the diaphragm 3C with the same .
  • the first microphone array by arranging the first microphone array outside the sound generating section 3 (on the side opposite to the camera unit 2), the first It becomes possible to construct a microphone array. Moreover, since the distance between the plurality of microphones 4C constituting the first microphone array can be widened, it is advantageous for analysis of reflected sounds containing low-frequency components.
  • the hole 10 is formed in the central portion of the magnetic circuit 5 in plan view, and the camera unit 2 is inserted through the hole 10, whereby the acoustic active sensor device 1, the camera unit 2 can be arranged in the center.
  • FIG. 4 is a plan view schematically showing the configuration of the acoustic active sensor device 1 according to the second embodiment of the present disclosure.
  • An acoustically active sensor device 1 according to the second embodiment includes a sound detection section 9 in place of the sound detection section 4 shown in FIG.
  • the sound detection unit 9 has a microphone board 9A and a microphone 9C.
  • a through hole 9B is formed in the microphone substrate 9A, and the sound detection surface of the microphone 9C is exposed in the through hole 9B.
  • the reflected sound from the object reaches the microphone 9C via the through hole 9B, and the microphone 9C detects the reflected sound.
  • the back surface of the microphone 9C (the surface opposite to the sound detection surface) is fixed to the support member 6A.
  • the microphone board 9A has an annular shape and is arranged concentrically with the diaphragm 3C with the central axis of the camera unit 2 as the center. That is, the sound generator 3 and the sound detector 9 are arranged concentrically around the camera unit 2 on the outer peripheral side thereof.
  • the sound detection unit 9 has a plurality of microphones 9C arranged side by side at equal intervals along the circumferential direction of the ring, and the plurality of microphones 9C constitute a second microphone array.
  • the second microphone array is arranged inside the ring of the diaphragm 3C (on the same side as the camera unit 2).
  • the acoustic active sensor device 1 by arranging the second microphone array inside the sound generating section 3, the distance between the plurality of microphones 9C constituting the second microphone array can be narrowed. This is advantageous for analysis of reflected sounds containing high-frequency components.
  • FIG. 5 is a plan view schematically showing the configuration of the acoustic active sensor device 1 according to the third embodiment of the present disclosure.
  • the acoustically active sensor device 1 according to the third embodiment includes a sound detection section 9 shown in FIG. 4 in addition to the sound detection section 4 shown in FIG.
  • the first microphone array arranged outside the sound generating section 3 and the second microphone array arranged inside the sound generating section 3 are provided. This is advantageous for analysis of reflected sounds containing low frequency components and high frequency components.
  • FIG. 6 is a cross-sectional view schematically showing the cross-sectional structure of the acoustic active sensor device 1 according to the fourth embodiment of the present disclosure.
  • the front end of the camera unit 2 protrudes forward (upward in FIG. 6) than the front end of the sound generator 3 (upper end in FIG. 6).
  • the front end of the camera unit 2 protrudes forward from the front end of the sound generator 3 , so that the front end of the camera unit 2 radiates from the sound generator 3 . It is possible to function as a diffuser for controlling the directivity of the detected sound.
  • the present disclosure is particularly useful for application to object detection systems using acoustically active sensor devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

音響アクティブセンサ装置は、カメラユニットと、音を発生する音発生部を有する音響アクチュエータと、音発生部が発生した音の反射音を検出する複数のマイクを有する音検出部と、を備える。音発生部及び音検出部は、カメラユニットを中心としてその外周側に配置されている。

Description

音響アクティブセンサ装置
　本開示は、音響アクティブセンサ装置に関する。
　下記特許文献１には、測定対象となる音場空間内の音圧を模擬的に表示可能な表示装置が開示されている。当該表示装置は、変位可能な複数の部位を有し上記音場空間を表現する表示体と、上記音場空間内に配設された複数のマイクと、各マイクの配設位置に対応した上記表示体の各部位を、各マイクの出力に応じて変位させる複数の駆動部とを備える。
　特許文献１によると、音の到来方向の検出によって対象物の位置情報を取得することはできるが、同時にその対象物の画像情報を取得することはできない。
特開平９－８１０６６号公報
　本開示は、対象物の位置情報とともに当該対象物の画像情報を高精度に取得することが可能な音響アクティブセンサ装置を得ることを目的とする。
　上記課題を解決するために、本開示の一態様に係る音響アクティブセンサ装置は、カメラユニットと、音を発生する音発生部を有する音響アクチュエータと、前記音発生部が発生した音の反射音を検出する複数のマイクを有する音検出部と、を備え、前記音発生部及び前記音検出部は、前記カメラユニットを中心としてその外周側に配置されている。
本開示の第１実施形態に係る音響アクティブセンサ装置の構成を模式的に示す平面図である。 本開示の第１実施形態に係る音響アクティブセンサ装置の断面構造を模式的に示す断面図である。 遅延和によるビームフォーミング法を説明するための図である。 本開示の第２実施形態に係る音響アクティブセンサ装置の構成を模式的に示す平面図である。 本開示の第３実施形態に係る音響アクティブセンサ装置の構成を模式的に示す平面図である。 本開示の第４実施形態に係る音響アクティブセンサ装置の断面構造を模式的に示す断面図である。 フレーム及びマイクの構成を模式的に示す平面図である。 フレーム及びマイクの構成の変形例を模式的に示す平面図である。
　（本開示の基礎となった知見）
　スピーカから空間に向けて音を放射し、対象物からの反射音をマイクで検出することにより、空間内における対象物の位置情報を取得可能な音響アクティブセンサ装置が知られている。
　音響アクティブセンサ装置にカメラを搭載し、当該カメラによって空間を撮影することにより、対象物の位置情報のみならずその画像情報を取得することが可能となる。
　しかし、例えばカメラユニットとマイクアレイとを横に並べて配置したのでは、対象物との位置関係（特に角度）がカメラユニットとマイクアレイとで相違し、それに起因して偏差が生じる。従って、カメラユニットによって撮影された画像に含まれている対象物の位置と、マイクアレイによって検出した位置情報とが一致せず、その結果、対象物の画像情報を高精度に取得することが困難である。
　このような課題を解決するために、本発明者は、カメラユニットを装置の中央に配置し、当該カメラユニットを中心としてマイクアレイを同心円状に配置することにより、マイクアレイの中心軸とカメラユニットの中心軸とを一致させることができ、それによって対象物の画像情報を高精度に取得できるとの知見を得て、本開示を想到するに至った。
　次に、本開示の各態様について説明する。
　本開示の一態様に係る音響アクティブセンサ装置は、カメラユニットと、音を発生する音発生部を有する音響アクチュエータと、前記音発生部が発生した音の反射音を検出する複数のマイクを有する音検出部と、を備え、前記音発生部及び前記音検出部は、前記カメラユニットを中心としてその外周側に配置されている。
　この態様によれば、音発生部及び音検出部を、カメラユニットを中心としてその外周側に配置することにより、音発生部、音検出部、及びカメラユニットの各中心軸を一致させることができる。そのため、対象物との位置関係が、音発生部、音検出部、及びカメラユニット間で共通する。従って、カメラユニットによって撮影された画像に含まれている対象物の位置を、音検出部によって検出した位置情報に基づいて正確に特定することができ、その結果、対象物の画像情報を高精度に取得することが可能となる。
　上記態様において、前記音発生部及び前記音検出部は、前記カメラユニットを中心として同心円状に配置されている。
　この態様によれば、カメラユニットを中心として音発生部及び音検出部を同心円状に配置することにより、音発生部、音検出部、及びカメラユニットの各中心軸を完全に一致させることが可能となる。
　上記態様において、前記音発生部は、前記カメラユニットを中心とした円環状の振動板を有する。
　この態様によれば、音発生部がカメラユニットを中心とした円環状の振動板を有することにより、音検出部及びカメラユニットと中心軸が一致する振動板から探信音を放射することが可能となる。
　上記態様において、前記音検出部は、前記音発生部より外側に配置された第１のマイクアレイを含む。
　この態様によれば、第１のマイクアレイを音発生部より外側（カメラユニットと反対側）に配置することにより、多数のマイクによって第１のマイクアレイを構成することが可能となる。また、第１のマイクアレイを構成する複数のマイク同士の間隔を広げることができるため、低周波成分を含む反射音の分析に有利となる。
　上記態様において、前記音検出部は、前記音発生部より内側に配置された第２のマイクアレイを含む。
　この態様によれば、第２のマイクアレイを音発生部より内側（カメラユニットと同じ側）に配置することにより、第２のマイクアレイを構成する複数のマイク同士の間隔を狭めることができるため、高周波成分を含む反射音の分析に有利となる。
　上記態様において、前記音響アクチュエータは、前記音発生部を振動させるための磁束を発生する磁気回路をさらに有し、前記磁気回路の平面視中央部には孔部が形成されており、前記カメラユニットは前記孔部内に配置されている。
　この態様によれば、磁気回路の平面視中央部に孔部を形成し、当該孔部にカメラユニットを挿通することにより、音響アクティブセンサ装置の中央部にカメラユニットを配置することが可能となる。
　上記態様において、前記音発生部が発生した音の正面進行方向に関して、前記カメラユニットの前端部は前記音発生部の前端部より前方に突出している。
　この態様によれば、カメラユニットの前端部が音発生部の前端部より前方に突出することにより、カメラユニットの前端部を、音発生部から放射される探信音の指向性を制御するためのディフューザとして機能させることが可能となる。
　以下、本開示の実施形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
　なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施形態において、各々の内容を組み合わせることもできる。
　（第１実施形態）
　図１は、本開示の第１実施形態に係る音響アクティブセンサ装置１の構成を模式的に示す平面図である。また、図２は、図１に示したラインＩＩ－ＩＩに沿った位置に関する断面構造を模式的に示す断面図である。
　音響アクティブセンサ装置１は、カメラユニット２、音響アクチュエータ、及び音検出部４を備えている。
　カメラユニット２は、レンズ群、ＣＣＤ又はＣＭＯＳ等のイメージセンサ、及び信号処理回路（いずれも図略）を有している。
　音響アクチュエータは、音発生部３、磁気回路５、ボビン７、及びボイスコイル８を有している。
　音発生部３は、内側エッジ３Ａ、外側エッジ３Ｂ、及び振動板３Ｃを有している。内側エッジ３Ａ、外側エッジ３Ｂ、及び振動板３Ｃはいずれも円環状であり、カメラユニット２の中心軸を中心として、内側から内側エッジ３Ａ、振動板３Ｃ、及び外側エッジ３Ｂの順に同心円状に配置されている。内側エッジ３Ａ及び外側エッジ３Ｂの材質はエラストマー等であり、振動板３Ｃの材質は金属、樹脂、紙、又は織物等である。
　内側エッジ３Ａは、その内周縁が支持部材６Ａに固定されており、その外周縁が振動板３Ｃの内周縁に接着等によって固定されている。支持部材６Ａの材質は樹脂等である。
　外側エッジ３Ｂは、その外周縁がフレーム６Ｂに固定されており、その内周縁が振動板３Ｃの外周縁に接着等によって固定されている。フレーム６Ｂの材質は樹脂等である。
　振動板３Ｃの裏面（探信音の放射方向とは反対側の面）には、筒状のボビン７が接着等によって固定されている。ボビン７には、銅線又は銀線等のボイスコイル８が巻装されている。
　磁気回路５は、プレート５Ａ、マグネット５Ｂ、及びヨーク５Ｃを有している。プレート５Ａの外面とヨーク５Ｃの端部の内面との隙間に、ボイスコイル８が配置されている。これにより、マグネット５Ｂが発生する磁界内にボイスコイル８が位置することになる。
　図２において、マグネット５Ｂが発生する磁界の磁束の向きは、上記隙間内において紙面の左右方向である。また、ボイスコイル８を流れる電流の向きは、上記隙間内において紙面の手前方向又は奥行き方向である。従って、ボイスコイル８に電流が流れることによってボイスコイル８は紙面の上下方向に移動し、その結果、振動板３Ｃの振動に起因して発生した探信音が、音響アクティブセンサ装置１の前方の空間（図２では紙面の上方向の空間）に向けて放射されることになる。
　また、支持部材６Ａ、プレート５Ａ、マグネット５Ｂ、及びヨーク５Ｃの中央部（平面視中央部）には、各部材を貫通する孔部１０が形成されており、カメラユニット２は孔部１０内に挿通して配置されている。
　音検出部４は、マイク基板４Ａ及びマイク４Ｃを有している。マイク基板４Ａには貫通孔４Ｂが形成されており、マイク４Ｃの音検出面は貫通孔４Ｂ内に露出している。これにより、対象物からの反射音は貫通孔４Ｂを介してマイク４Ｃに到達し、マイク４Ｃは当該反射音を検出する。また、マイク４Ｃの裏面（音検出面と反対側の面）は、フレーム６Ｂに固定されている。
　図７は、フレーム６Ｂ及びマイク４Ｃの構成を模式的に示す平面図である。図１，７を参照して、マイク基板４Ａは円環状であり、カメラユニット２の中心軸を中心として、振動板３Ｃと同心円状に配置されている。つまり、音発生部３及び音検出部４は、カメラユニット２を中心としてその外周側に同心円状に配置されている。音検出部４は、円環の周方向に沿って等間隔に並設された複数のマイク４Ｃを有しており、これら複数のマイク４Ｃによって第１のマイクアレイが構成される。本実施形態の例では、第１のマイクアレイは、振動板３Ｃの円環よりも外側（カメラユニット２とは反対側）に配置されている。なお、マイク４Ｃには超音波センサも含まれる。図８は、フレーム６Ｂ及びマイク４Ｃの構成の変形例を模式的に示す平面図である。内側の複数のマイク４Ｃ１と外側の複数のマイク４Ｃ２とが、２重の円環状となって互い違いに配置されている。これにより、隣接するマイク４Ｃ１，４Ｃ２同士の間隔をマイクサイズより小さくでき、その結果、分析周波数を高くすることが可能となる。
　本実施形態に係る音響アクティブセンサ装置１は、音発生部３が発生した探信音を空間に向けて放射し、空間内に所在する対象物からの反射音を音検出部４の複数のマイク４Ｃによって検出する。また、音響アクティブセンサ装置１は、信号処理によって反射音の検出結果を解析することにより、距離及び方向を含む対象物の位置情報を取得する。対象物の位置を特定するための信号処理としては、例えば、後述する遅延和によるビームフォーミング法を使用することができる。また、音響アクティブセンサ装置１は、カメラユニット２によって空間を撮影し、撮影画像に含まれている対象物の位置を、音検出部４によって検出した上記位置情報に基づいて特定することにより、対象物の画像情報を取得する。
　図３は、遅延和によるビームフォーミング法を説明するための図である。図３では８個のマイクを用いた例が示されている。各マイクの後段には遅延素子が接続されており、全ての遅延素子からの出力が加算器によって加算される。各遅延素子における遅延時間Ｄｎは、光速ｃ、マイク間の距離ｄ、及び、マイクアレイの正面方向と反射音の到来方向との成す角度θを用いて、
　Ｄｎ＝ｄｎ（ｎ＋１）ｃｏｓθ／ｃ
で表される。
　このように、遅延和によるビームフォーミング法では、各マイクの後段に接続された遅延素子によって入射波の位相を揃えた後に全出力を加算することにより、音響ビームを形成する。そして、角度θを変化させながら空間をスキャンすることによって、反射音の到来方向（つまり対象物の位置）を特定する。なお、対象物の位置を特定するための信号処理としては、遅延和によるビームフォーミング法に限らず、他のアルゴリズムが使用されても良い。
　本実施形態に係る音響アクティブセンサ装置１によれば、音発生部３及び音検出部４を、カメラユニット２を中心としてその外周側に配置することにより、音発生部３、音検出部４、及びカメラユニット２の各中心軸を一致させることができる。そのため、対象物との位置関係が、音発生部３、音検出部４、及びカメラユニット２間で共通する。従って、カメラユニット２によって撮影された画像に含まれている対象物の位置を、音検出部４によって検出した位置情報に基づいて正確に特定することができ、その結果、対象物の画像情報を高精度に取得することが可能となる。
　また、本実施形態に係る音響アクティブセンサ装置１によれば、カメラユニット２を中心として音発生部３及び音検出部４を同心円状に配置することにより、音発生部３、音検出部４、及びカメラユニット２の各中心軸を完全に一致させることが可能となる。
　また、本実施形態に係る音響アクティブセンサ装置１によれば、音発生部３がカメラユニット２を中心とした円環状の振動板３Ｃを有することにより、音検出部４及びカメラユニット２と中心軸が一致する振動板３Ｃから探信音を放射することが可能となる。
　また、本実施形態に係る音響アクティブセンサ装置１によれば、第１のマイクアレイを音発生部３より外側（カメラユニット２と反対側）に配置することにより、多数のマイク４Ｃによって第１のマイクアレイを構成することが可能となる。また、第１のマイクアレイを構成する複数のマイク４Ｃ同士の間隔を広げることができるため、低周波成分を含む反射音の分析に有利となる。
　また、本実施形態に係る音響アクティブセンサ装置１によれば、磁気回路５の平面視中央部に孔部１０を形成し、当該孔部１０にカメラユニット２を挿通することにより、音響アクティブセンサ装置１の中央部にカメラユニット２を配置することが可能となる。
　（第２実施形態）
　図４は、本開示の第２実施形態に係る音響アクティブセンサ装置１の構成を模式的に示す平面図である。第２実施形態に係る音響アクティブセンサ装置１は、図１に示した音検出部４に代えて、音検出部９を備えて構成されている。
　音検出部９は、マイク基板９Ａ及びマイク９Ｃを有している。マイク基板９Ａには貫通孔９Ｂが形成されており、マイク９Ｃの音検出面は貫通孔９Ｂ内に露出している。これにより、対象物からの反射音は貫通孔９Ｂを介してマイク９Ｃに到達し、マイク９Ｃは当該反射音を検出する。また、図４には表れないが、マイク９Ｃの裏面（音検出面と反対側の面）は、支持部材６Ａに固定されている。
　マイク基板９Ａは円環状であり、カメラユニット２の中心軸を中心として、振動板３Ｃと同心円状に配置されている。つまり、音発生部３及び音検出部９は、カメラユニット２を中心としてその外周側に同心円状に配置されている。音検出部９は、円環の周方向に沿って等間隔に並設された複数のマイク９Ｃを有しており、これら複数のマイク９Ｃによって第２のマイクアレイが構成される。本実施形態の例では、第２のマイクアレイは、振動板３Ｃの円環よりも内側（カメラユニット２と同じ側）に配置されている。
　本実施形態に係る音響アクティブセンサ装置１によれば、第２のマイクアレイを音発生部３より内側に配置することにより、第２のマイクアレイを構成する複数のマイク９Ｃ同士の間隔を狭めることができるため、高周波成分を含む反射音の分析に有利となる。
　（第３実施形態）
　図５は、本開示の第３実施形態に係る音響アクティブセンサ装置１の構成を模式的に示す平面図である。第３実施形態に係る音響アクティブセンサ装置１は、図１に示した音検出部４に加えて、図４に示した音検出部９を備えて構成されている。
　本実施形態に係る音響アクティブセンサ装置１によれば、音発生部３より外側に配置された第１のマイクアレイと、音発生部３より内側に配置された第２のマイクアレイとを備えることにより、低周波成分及び高周波成分を含む反射音の分析に有利となる。
　（第４実施形態）
　図６は、本開示の第４実施形態に係る音響アクティブセンサ装置１の断面構造を模式的に示す断面図である。
　本実施形態において、カメラユニット２の前端部（図６では上端部）は、音発生部３の前端部（図６では上端部）より前方（図６では上方）に突出している。
　本実施形態に係る音響アクティブセンサ装置１によれば、カメラユニット２の前端部が音発生部３の前端部より前方に突出することにより、カメラユニット２の前端部を、音発生部３から放射される探信音の指向性を制御するためのディフューザとして機能させることが可能となる。
　本開示は、音響アクティブセンサ装置を用いた物体検知システムへの適用が特に有用である。

Claims (7)

  1. 　カメラユニットと、
    　音を発生する音発生部を有する音響アクチュエータと、
    　前記音発生部が発生した音の反射音を検出する複数のマイクを有する音検出部と、
    を備え、
    　前記音発生部及び前記音検出部は、前記カメラユニットを中心としてその外周側に配置されている、音響アクティブセンサ装置。
  2. 　前記音発生部及び前記音検出部は、前記カメラユニットを中心として同心円状に配置されている、請求項１に記載の音響アクティブセンサ装置。
  3. 　前記音発生部は、前記カメラユニットを中心とした円環状の振動板を有する、請求項１又は２に記載の音響アクティブセンサ装置。
  4. 　前記音検出部は、前記音発生部より外側に配置された第１のマイクアレイを含む、請求項１～３のいずれか一つに記載の音響アクティブセンサ装置。
  5. 　前記音検出部は、前記音発生部より内側に配置された第２のマイクアレイを含む、請求項１～４のいずれか一つに記載の音響アクティブセンサ装置。
  6. 　前記音響アクチュエータは、前記音発生部を振動させるための磁束を発生する磁気回路をさらに有し、
    　前記磁気回路の平面視中央部には孔部が形成されており、
    　前記カメラユニットは前記孔部内に配置されている、請求項１～５のいずれか一つに記載の音響アクティブセンサ装置。
  7. 　前記音発生部が発生した音の正面進行方向に関して、前記カメラユニットの前端部は前記音発生部の前端部より前方に突出している、請求項１～６のいずれか一つに記載の音響アクティブセンサ装置。
PCT/JP2022/018059 2021-06-11 2022-04-18 音響アクティブセンサ装置 WO2022259768A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280037322.6A CN117378221A (zh) 2021-06-11 2022-04-18 声响有源传感器装置
JP2023527555A JPWO2022259768A1 (ja) 2021-06-11 2022-04-18
US18/529,327 US20240103161A1 (en) 2021-06-11 2023-12-05 Acoustic active sensor device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021097889 2021-06-11
JP2021-097889 2021-06-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/529,327 Continuation US20240103161A1 (en) 2021-06-11 2023-12-05 Acoustic active sensor device

Publications (1)

Publication Number Publication Date
WO2022259768A1 true WO2022259768A1 (ja) 2022-12-15

Family

ID=84425938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018059 WO2022259768A1 (ja) 2021-06-11 2022-04-18 音響アクティブセンサ装置

Country Status (4)

Country Link
US (1) US20240103161A1 (ja)
JP (1) JPWO2022259768A1 (ja)
CN (1) CN117378221A (ja)
WO (1) WO2022259768A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274475A (ja) * 2002-03-18 2003-09-26 Citizen Electronics Co Ltd 多機能型マイクロスピーカ
US20050253957A1 (en) * 2004-05-13 2005-11-17 Stefan Gustavsson Mobile electronic apparatus with camera that takes pictures through lens in speaker
US20060269080A1 (en) * 2004-10-15 2006-11-30 Lifesize Communications, Inc. Hybrid beamforming
US20100110283A1 (en) * 2008-10-30 2010-05-06 Samsung Electronics Co., Ltd. Camera lens module-integrated speaker assembly
JP2015118386A (ja) * 2012-12-27 2015-06-25 パナソニックＩｐマネジメント株式会社 音声処理システム及び音声処理方法
JP2016054455A (ja) * 2014-09-04 2016-04-14 パナソニックＩｐマネジメント株式会社 マイクアレイ調整装置及びマイクアレイ調整方法
US20160148057A1 (en) * 2014-11-26 2016-05-26 Hanwha Techwin Co., Ltd. Camera system and operating method of the same
US20210112363A1 (en) * 2016-12-30 2021-04-15 Zte Corporation Data processing method and apparatus, acquisition device, and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274475A (ja) * 2002-03-18 2003-09-26 Citizen Electronics Co Ltd 多機能型マイクロスピーカ
US20050253957A1 (en) * 2004-05-13 2005-11-17 Stefan Gustavsson Mobile electronic apparatus with camera that takes pictures through lens in speaker
US20060269080A1 (en) * 2004-10-15 2006-11-30 Lifesize Communications, Inc. Hybrid beamforming
US20100110283A1 (en) * 2008-10-30 2010-05-06 Samsung Electronics Co., Ltd. Camera lens module-integrated speaker assembly
JP2015118386A (ja) * 2012-12-27 2015-06-25 パナソニックＩｐマネジメント株式会社 音声処理システム及び音声処理方法
JP2016054455A (ja) * 2014-09-04 2016-04-14 パナソニックＩｐマネジメント株式会社 マイクアレイ調整装置及びマイクアレイ調整方法
US20160148057A1 (en) * 2014-11-26 2016-05-26 Hanwha Techwin Co., Ltd. Camera system and operating method of the same
US20210112363A1 (en) * 2016-12-30 2021-04-15 Zte Corporation Data processing method and apparatus, acquisition device, and storage medium

Also Published As

Publication number Publication date
CN117378221A (zh) 2024-01-09
US20240103161A1 (en) 2024-03-28
JPWO2022259768A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
JP4522348B2 (ja) スピーカ装置
JP4932836B2 (ja) 音源の位置の決定
CN101855914B (zh) 声源的位置确定
US20120327115A1 (en) Signal-enhancing Beamforming in an Augmented Reality Environment
JP4797330B2 (ja) ロボット
JP5423370B2 (ja) 音源探査装置
US20160007108A1 (en) Grating only optical microphone
US20210058702A1 (en) One-dimensional array microphone with improved directivity
US20160161588A1 (en) Body-mounted multi-planar array
US20180020303A1 (en) Loudspeaker
WO2022259768A1 (ja) 音響アクティブセンサ装置
CN117242791A (zh) 扬声器
JP4117910B2 (ja) 特に拡声装置用の録音装置
JPH06284492A (ja) スピーカの振動検出装置
JP2009188617A (ja) 収音装置
JP4193041B2 (ja) ３次元インテンシティプローブ、同プローブを用いた３次元音源方向検知装置及び３次元音源方向対面制御装置
JP2001119783A (ja) マイクロフォン付ビデオカメラ
Kerstens et al. Widening the directivity patterns of ultrasound transducers using 3-D-printed baffles
JP5532250B2 (ja) 音の伝搬状態を可視化する装置
CN108933983B (zh) 扬声器
JP2001157298A (ja) 光学式マイクロホンおよびその製造方法
JP2004080173A (ja) 指向性マイクロホン
KR102543865B1 (ko) 스피커 장치
JP2014236346A (ja) 収音システム
JP2001245187A (ja) マイクロフォン付ビデオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22819954

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023527555

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280037322.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22819954

Country of ref document: EP

Kind code of ref document: A1