JP6598064B2 - 物体検出装置、物体検出システム、及び物体検出方法 - Google Patents

物体検出装置、物体検出システム、及び物体検出方法 Download PDF

Info

Publication number
JP6598064B2
JP6598064B2 JP2015195231A JP2015195231A JP6598064B2 JP 6598064 B2 JP6598064 B2 JP 6598064B2 JP 2015195231 A JP2015195231 A JP 2015195231A JP 2015195231 A JP2015195231 A JP 2015195231A JP 6598064 B2 JP6598064 B2 JP 6598064B2
Authority
JP
Japan
Prior art keywords
directivity
moving object
object detection
acoustic data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015195231A
Other languages
English (en)
Other versions
JP2017067666A (ja
JP2017067666A5 (ja
Inventor
啓二 平田
直也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015195231A priority Critical patent/JP6598064B2/ja
Priority to PCT/JP2016/003857 priority patent/WO2017056380A1/ja
Priority to US15/762,299 priority patent/US20180259613A1/en
Publication of JP2017067666A publication Critical patent/JP2017067666A/ja
Publication of JP2017067666A5 publication Critical patent/JP2017067666A5/ja
Application granted granted Critical
Publication of JP6598064B2 publication Critical patent/JP6598064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/8022Systems for determining direction or deviation from predetermined direction using the Doppler shift introduced by the relative motion between source and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20Position of source determined by a plurality of spaced direction-finders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Emergency Alarm Devices (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、物体を検出する物体検出装置、物体検出システム、及び物体検出方法に関する。
従来、各方向の音を検出する音検出部を用いて、物体の存在の検知と、物体の飛来方向の検知が可能な飛来飛行物体監視装置が知られている(例えば特許文献1参照)。
特開2006−168421号公報
特許文献1に記載された飛来飛行物体監視装置では、監視対象飛行物体の検出精度が不十分である。
本開示は、上記事情に鑑みてなされたものであり、物体の検出精度を向上できる物体検出装置、物体検出システム、及び物体検出方法を提供する。
本開示の物体検出装置は、無指向性の複数のマイクロホンを含むマイクロホンアレイと、前記マイクロホンアレイにより収音された第1の音響データを処理するプロセッサと、を備え、前記プロセッサは、前記第1の音響データに基づいて、指向性の方向を順次変更して、任意の方向に指向性を有する複数の第2の音響データを生成し、前記第2の音響データの音圧レベル及び周波数成分を解析し、前記任意の方向のうちの第1の方向に指向性を有する前記第2の音響データの周波数成分に含まれる特定周波数の音圧レベルが第1の所定値以上である場合、前記第1の方向に物体が存在すると判定し、前記特定周波数での音圧レベルの時間変化に基づいて、前記物体の接近を検出し、前記物体の接近が検出され、前記特定周波数の音圧レベルが前記第1の所定値よりも大きい第2の所定値以上である場合、前記物体が所定のエリアに存在すると判定する。
本開示によれば、物体の検出精度を向上できる。
第1の実施形態における物体検出システムの概略構成例を示す模式図 第1の実施形態における物体検出システムの構成例を示すブロック図 メモリに登録されている移動物体の音パターンの一例を示すタイミングチャート 周波数分析処理の結果得られる音響データの周波数変化の一例を示すタイミングチャート 監視エリア内で指向範囲を走査して、移動物体を検出する様子の一例を示す模式図 移動物体が検出された第1の指向範囲内で指向方向を走査して、移動物体を検出する様子の一例を示す模式図 第1の実施形態における移動物体の検出処理手順の第1動作例を示すフローチャート 第1の実施形態における移動物体の検出処理手順の第2動作例を示すフローチャート 第1の実施形態における全方位カメラにより撮像された全方位画像の一例を示す模式図 第1の実施形態の変形例における物体検出システムの構成を示すブロック図 第1の実施形態の変形例における移動物体の検出処理手順を示すフローチャート 第2の実施形態における物体検出システムの概略構成例を示す模式図 第2の実施形態における物体検出システムの構成例を示すブロック図 距離検出方法の一例を説明するためのタイミングチャート 第2の実施形態における物体検出システムによる動作例を示すフローチャート 第2の実施形態における全方位カメラにより撮像された全方位画像の一例を示す模式図 第3の実施形態における物体検出システムの概略構成例を示す模式図 第3の実施形態における物体検出システムの構成例を示すブロック図 第3の実施形態における物体検出システムによる動作例を示すフローチャート 第3の実施形態におけるPTZカメラで撮像された画像の一例を示す模式図 第4の実施形態における物体検出システムの概略構成例を示す模式図 第4の実施形態における物体検出システムの構成例を示すブロック図 第4の実施形態における物体検出システムによる動作例を示すフローチャート 第5の実施形態における物体検出システムの概略構成例を示す模式図 第5の実施形態における物体検出システムの構成例を示すブロック図 2台の音源検出装置を用いて移動物体までの距離を検出する方法の一例を説明するための模式図 第5の実施形態における物体検出システムによる動作例を示すフローチャート
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(本開示の一形態を得るに至った経緯)
特許文献1に記載された飛来飛行物体監視装置では、音検出部として指向性マイクが用いられる。この飛行物体監視装置は、1つの指向性マイクが旋回されたり、複数の指向性マイクが監視領域をカバーする各方向に向けて設置されたりすることで、各方向の音を検出する。
1つの指向性マイクが旋回される場合、旋回する時間が必要であり、同時刻での各方向の音検出が困難である。そのため、旋回中に物体が移動すると、物体の検出精度が低下する。
複数の指向性マイクが監視領域をカバーする各方向に向けて設置される場合、指向性マイクであるために物体検出が困難な領域(例えば隣り合う指向性マイク同士がカバーできない領域)が発生することがある。この領域に物体が位置する場合、物体の検出精度が低下する。
以下、物体の検出精度を向上できる物体検出装置、物体検出システム及び物体検出方法について説明する。
(第1の実施形態)
[構成等]
図1は、第1の実施形態における物体検出システム5の概略構成を示す模式図である。物体検出システム5は、移動物体dnを検出する。移動物体dnは、検出対象物(対象物)の一例である。移動物体dnとして、例えば、ドローン、ラジコンヘリコプタ、無人偵察機が挙げられる。
本実施形態では、移動物体dnとして、複数のロータ(回転翼)を搭載したマルチコプタ型のドローンを例示する。マルチコプタ型のドローンでは、一般にロータの羽の枚数が2枚の場合、特定周波数に対し2倍の周波数の高調波、さらにはその逓倍の周波数の高調波を発生する。同様に、ロータの羽の枚数が3枚の場合、特定周波数に対し3倍の周波数の高調波、さらにはその逓倍の周波数の高調波を発生する。ロータの羽の枚数が4枚以上の場合も同様である。
物体検出システム5は、音源検出装置30と、制御ボックス10と、モニタ50と、を含む構成を有する。音源検出装置30は、マイクアレイMA及び全方位カメラCAを有する。
音源検出装置30は、マイクアレイMAを用いて、自装置が設置された収音空間(収音エリア)における全方位の音響を収音する。音源検出装置30は、中央に開口部が形成された筐体15と、マイクアレイMAと、を有する。音響は、例えば、機械的な音、音声、その他の音を広く含む。
マイクアレイMAは、筐体15の開口部の周囲に円周方向に沿って同心円状に予め決められた間隔(例えば均一な間隔)で配置された、複数の無指向性のマイクロホンM1〜M8を含む。マイクロホンとして、例えばエレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられる。マイクアレイMAは、収音した音響の音響データを、マイクアレイMAの後段の構成部へ送る。尚、上記の各マイクロホンM1〜M8の配列は、一例であり、他の配列や形状であってもよい。
また、マイクアレイMAは、複数のマイクロホンM1〜Mn(例えばn=8)、及び複数のマイクロホンM1〜Mnの出力信号をそれぞれ増幅する複数の増幅器(アンプ)を有する。各増幅器から出力されるアナログ信号は、後述するA/D変換器31でそれぞれデジタル信号に変換される。
尚、全方位マイクにおけるマイクロホンの数は、8個に限られず、他の数(例えば16個、32個)であってもよい。
マイクアレイMAの筐体15の開口部の内側には、全方位カメラCAが収容される。全方位カメラCAは、全方位画像を撮像可能な魚眼レンズを搭載したカメラである。全方位カメラCAは、例えば、音源検出装置30が設置された撮像空間(撮像エリア)を撮像可能な監視カメラとして機能する。つまり、全方位カメラCAは、垂直方向:180°、水平方向:360°の画角を有し、例えば半天球である監視エリア8(図5参照)を撮像エリアとして撮像する。
音源検出装置30では、全方位カメラCAが筐体15の開口部の内側に組み込まれることで、全方位カメラCAとマイクアレイMAとが同軸に配置される。このように、全方位カメラCAの光軸とマイクアレイMAの中心軸とが一致することで、軸周方向(水平方向)における撮像エリアと収音エリアとは略同一となり、画像位置と収音位置とが同じ座標系で表現可能となる。
尚、音源検出装置30は、上空から飛来する移動物体dnを検出するために、例えば、天地方向の上向きが収音面及び撮像面となるように、取り付けられる。
音源検出装置30は、マイクアレイMAで収音された全方位の音響に対し任意の方向に指向性を形成(ビームフォーミング)し、その指向方向の音響を強調する。尚、マイクアレイMAによって収音される音響をビームフォーミングするための音響データの指向性制御処理に関する技術は、例えば参考特許文献1,2に示されるように、公知の技術である。
(参考特許文献1:特開2014−143678号公報、参考特許文献2:特開2015−029241号公報)
音源検出装置30は、全方位カメラCAを用いて、撮像に伴う撮像信号を処理し、全方位画像を生成する。
制御ボックス10は、音源検出装置30により収音された音響に基づく画像と、全方位カメラCAにより撮像された画像に基づく画像と、に基づいて、所定の情報を例えばモニタ50へ出力する。例えば、制御ボックス10は、全方位画像や検出された移動物体dnの音源方向画像sp1(図9参照)をモニタ50に表示させる。制御ボックス10は、例えば、PC(Personal Computer)やサーバで構成される。
モニタ50は、全方位カメラCAで撮像された全方位画像を表示する。また、モニタ50は、全方位画像に音源方向画像sp1を重畳した合成画像を生成して表示する。尚、モニタ50は、制御ボックス10と一体の装置として構成されてもよい。
図1では、音源検出装置30、全方位カメラCA、及び制御ボックス10は、ネットワークを介することなく、制御ボックス10にそれぞれの装置が接続され、データが伝送されている。つまり、各装置は、通信インタフェースを有する。尚、ネットワークを介して各装置が相互にデータ通信可能に接続されてもよい。ネットワークは、有線ネットワーク(例えばイントラネット、インターネット、有線LAN(Local Area Network))でもよいし、無線ネットワーク(例えば無線LAN)でもよい。
図2は物体検出システム5の構成を示すブロック図である。
音源検出装置30は、イメージセンサ21、撮像信号処理部22、及びカメラ制御部23を備える。音源検出装置30は、マイクアレイMA、A/D変換器31、バッファメモリ32、指向性処理部33、周波数分析部34、対象物検出部35、検出結果判定部36、走査制御部37、及び検出方向制御部38を備える。
イメージセンサ21、撮像信号処理部22、及びカメラ制御部23は、全方位カメラCAとして動作し、画像信号を処理する系(画像処理系)に属する。A/D変換器31、バッファメモリ32、指向性処理部33、周波数分析部34、対象物検出部35、検出結果判定部36、走査制御部37、及び検出方向制御部38は、音響信号を処理する系(音響処理系)に属する。
尚、プロセッサ25がメモリ32Aに保持されたプログラムを実行することで、撮像信号処理部22及びカメラ制御部23の各機能を実現する。プロセッサ26がメモリ32Aに保持されたプログラムを実行することで、指向性処理部33、周波数分析部34、対象物検出部35、検出結果判定部36、走査制御部37、及び検出方向制御部38の各機能を実現する。
イメージセンサ21は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子である。イメージセンサ21は、魚眼レンズを通して撮像面に結像した画像(全方位画像)を撮像する。
撮像信号処理部22は、イメージセンサ21で撮像された画像の信号を電気信号に変換し、各種画像処理を行う。カメラ制御部23は、全方位カメラCAの各部を制御し、例えばイメージセンサ21にタイミング信号を供給する。
A/D変換器31は、マイクアレイMAの各マイクロホンM1〜M8からそれぞれ出力される音響信号に対し、A/D変換(アナログデジタル変換)を行い、デジタル値の音響データを生成して出力する。A/D変換器31は、マイクロホンの数と同数設けられる。
バッファメモリ32は、RAM(Random Access Memory)等により構成される。バッファメモリ32は、マイクアレイMAの各マイクロホンM1〜M8で収音され、A/D変換器31でデジタル値に変換された音響データを一時的に記憶する。バッファメモリ32は、マイクロホンの数と同数設けられる。
メモリ32Aは、プロセッサ26に接続され、ROM(Read Only Memory)やRAMにより構成される。メモリ32Aは、例えば、各種データ、設定情報、プログラムを保持する。メモリ32Aは、個々の移動物体dnに固有な音パターンが登録されたパターンメモリを有する。
図3は、メモリ32Aに登録されている移動物体dnの音パターンの一例を示すタイミングチャートである。
図3に示す音パターンは、周波数パターンの組み合わせであり、マルチコプタ型の移動物体dnに搭載された4つのロータの回転等によって発生する4つの周波数f1,f2,f3,f4の音を含む。各周波数は、例えば、各ロータに軸支された複数枚の羽の回転に伴って発生する音の周波数である。
図3では、斜線で示された周波数の領域が、音圧の高い領域である。尚、音パターンは、複数の周波数の音の数や音圧だけでなく、その他の音情報を含んでもよい。例えば、各周波数の音圧の比率を表す音圧比等が挙げられる。ここでは、一例として移動物体dnの検出は、音パターンに含まれる、各周波数の音圧が閾値を超えているか否かによって判断される。
指向性処理部33は、無指向性のマイクロホンM1〜M8で収音された音響データを用い、前述した指向性形成処理(ビームフォーミング)を行い、任意の方向を指向方向とする音響データの抽出処理を行う。また、指向性処理部33は、任意の方向の範囲を指向範囲とする音響データの抽出処理を行う。指向範囲は、隣接する指向方向を複数含む範囲であり、指向方向と比較すると、ある程度の指向方向の広がりを含むことを意図する。
周波数分析部34は、指向性処理部33によって指向範囲又は指向方向に抽出処理された音響データに対し、周波数分析処理を行う。この周波数分析処理では、指向方向又は指向範囲の音響データに含まれる周波数及びその音圧が検出される。
図4は周波数分析処理の結果得られる音響データの周波数変化を示すタイミングチャートである。
図4では、音響データとして、4つの周波数f11,f12,f13,f14及び各周波数の音圧が得られる。図中、不規則に変化する各周波数の変動は、例えば、移動物体dnを姿勢制御する際、僅かに変化するロータ(回転翼)の回転によって起こる。
対象物検出部35は、移動物体dnの検出処理を行う。移動物体dnの検出処理では、対象物検出部35は、周波数分析処理の結果得られた音パターン(図4参照)(周波数f11〜f14)と、メモリ32Aのパターンメモリに予め登録された音パターン(図3参照)(周波数f1〜f4)と、を比較する。対象物検出部35は、両者の音パターンが近似するか否かを判定する。
両者のパターンが近似するか否かは、例えば、以下のように判断される。4つの周波数f1,f2,f3,f4のうち、音響データに含まれる、少なくとも2つの周波数の音圧がそれぞれ閾値を超える場合、音パターンが近似しているとして、対象物検出部35は、移動物体dnを検出する。尚、他の条件を満たした場合に移動物体dnが検出されてもよい。
検出結果判定部36は、移動物体dnが存在しないと判定された場合、指向範囲の大きさを変更せずに、次の指向範囲での移動物体dnの検出に移行するよう、検出方向制御部38へ指示する。
検出結果判定部36は、指向範囲の走査の結果、移動物体dnが存在すると判定された場合、物体検出するためのビームフォーミングの範囲を縮小するよう検出方向制御部38に対して指示する。つまり、検出結果判定部36は、指向範囲から指向方向にビームフォーミングの範囲を変更するよう指示する。尚、指向範囲を複数段階設け、移動物体dnが検出される度に、段階的にビームフォーミングの範囲が縮小されてもよい。
検出結果判定部36は、指向方向の走査の結果、移動物体dnが存在すると判定された場合、移動物体dnの検出結果をシステム制御部40に通知する。尚、この検出結果には、検出された移動物体dnの情報が含まれる。移動物体dnの情報には、例えば、移動物体dnの識別情報、収音空間における移動物体dnの位置情報(方向情報)が含まれる。
ビームフォーミングの範囲を可変とすることで、音源検出装置30は、物質の検出動作の効率を向上できる。ビームフォーミングの範囲の情報やビームフォーミングの範囲の縮小方法の情報は、例えばメモリ32Aに保持される。
検出方向制御部38は、検出結果判定部36からの指示に基づいて、収音空間において移動物体dnを検出する方向を制御する。例えば、検出方向制御部38は、収音空間全体において、任意の方向や範囲を検出方向や検出範囲として設定する。
走査制御部37は、検出方向制御部38により設定された検出範囲や検出方向を指向範囲や指向方向としてビームフォーミングするよう、指向性処理部33に対して指示する。
指向性処理部33は、走査制御部37から指示された指向範囲や指向方向(例えば走査における次の指向範囲)に対して、ビームフォーミングする。
制御ボックス10は、システム制御部40を備える。尚、制御ボックス10が有するプロセッサ45がメモリ46に保持されたプログラムを実行することで、システム制御部40の機能を実現する。
システム制御部40は、音源検出装置30の画像処理系、音響処理系、及びモニタ50の連携動作を制御する。例えば、システム制御部40は、検出結果判定部36からの移動物体dnの情報に基づいて、全方位カメラCAで得られた画像に移動物体dnの位置を示す画像等を重畳し、その合成画像をモニタ50に出力する。
[動作等]
次に、物体検出システム5による移動物体dnの検出動作について説明する。
ここでは、第1動作と第2動作について説明する。第1動作は、移動物体dnから発せられる音の音圧からその存在を検出する際、音源検出装置30によるビームフォーミングの範囲を2段階に分けて、収音エリアを走査する動作である。つまり、指向範囲で走査した後、指向方向で走査される。第2動作は、音源検出装置30によるビームフォーミングの範囲を一定にして、収音エリアを走査する動作である。つまり、最初から指向方向で走査される。尚、収音エリアが監視エリア8と同じであることを例示するが、収音エリアが監視エリア8と同じでなくてもよい。
(第1動作例)
第1動作例では、音源検出装置30は、指向範囲BF1を考慮して移動物体dnを検出する。つまり、指向性処理部33が、監視エリア8でマイクアレイMAによって収音された音響データに対し、指向範囲BF1に向けてビームフォーミングする。また、移動物体dnが存在する第1の指向範囲dr1内において、マイクアレイMAによって収音された音響データに対し、指向方向BF2に向けてビームフォーミングする。
図5は、監視エリア8を走査して、任意の指向範囲BF1において移動物体dnを検出する様子を示す模式図である。
図5では、プロセッサ26は、複数の指向範囲BF1から任意の指向範囲BF1を、監視エリア8内で順に走査する。例えば、プロセッサ26は、監視エリア8内の第1の指向範囲dr1において移動物体dnを検出した場合、検出された第1の指向範囲dr1内に移動物体dnが存在すると判定する。そして、プロセッサ26は、第1の指向範囲dr1よりも狭い任意の指向方向BF2を、第1の指向範囲dr1内において順に走査する。
図6は、第1の指向範囲drを走査して、任意の指向方向BF2において移動物体dnを検出する様子を示す模式図である。
図6では、プロセッサ26は、移動物体dnが検出された第1の指向範囲dr1内で、複数の指向方向BF2から任意の指向方向BF2を順に走査する。例えば、対象物検出部35は、第1の指向範囲dr1内の第1の指向方向dr2において特定周波数の音圧が所定値th1以上であることを検出すると、第1の指向方向dr2に移動物体dnが存在すると判定する。
図7は、音源検出装置30による移動物体dnの検出処理手順の第1動作例を示すフローチャートである。
まず、指向性処理部33は、指向範囲BF1を初期位置に設定する(S1)。この初期位置では、任意の指向範囲BF1を走査対象の指向範囲に設定する。また、指向性処理部33は、指向範囲BF1を任意の大きさに設定してもよい。
指向性処理部33は、マイクアレイMAで収音され、A/D変換器31でデジタル値に変換された音響データがバッファメモリ32に一時的に記憶された(バッファされた)か否かを判定する(S2)。記憶されていない場合、指向性処理部33は、S1の処理に戻る。
音響データがバッファメモリ32に記憶されると、指向性処理部33は、監視エリア8に対し、任意の指向範囲BF1(1回目は初期設定の指向範囲)にビームフォーミングし、この指向範囲BF1の音響データを抽出する(S3)。
周波数分析部34は、指向範囲BF1に抽出処理された音響データの周波数及びその音圧を検出する(周波数分析処理)(S4)。
対象物検出部35は、メモリ32Aのパターンメモリに登録された音パターンと、周波数分析処理の結果得られた音パターンと、を比較する(移動物体dnの検出処理)(S5)。
検出結果判定部36は、この比較の結果をシステム制御部40へ通知するとともに、検出方向制御部38へ検出方向移行について通知する(検出結果判定処理)(S6)。
例えば、対象物検出部35は、周波数分析処理の結果得られた音パターンと、メモリ32Aのパターンメモリに登録されている4つの周波数f1,f2,f3,f4と、を比較する。対象物検出部35は、比較の結果、両音パターンにおいて同じ周波数を少なくとも2つ有し、かつ、これらの周波数の音圧が所定値th1以上である場合、両者の音パターンが近似し、移動物体dnが存在すると判定する。
尚、ここでは、少なくとも2つの周波数が一致している場合を想定したが、対象物検出部35は、1つの周波数が一致し、この周波数の音圧が所定値th1以上である場合、近似していると判定してもよい。
また、対象物検出部35は、各周波数に対し、許容される周波数の誤差を設定し、この誤差範囲内の周波数は同じ周波数であるとして、上記近似の有無を判定してもよい。
また、対象物検出部35は、周波数及び音圧の比較に加えて、各周波数の音の音圧比が略一致することを判定条件に加えて判定してもよい。この場合、判定条件が厳しくなるので、音源検出装置30は、検出された移動物体dnを予め登録された対象物(移動物体dn)であるとして特定し易くなり、移動物体dnの検出精度を向上できる。
検出結果判定部36は、S6の結果、移動物体dnが存在するか存在しないかを判別する(S7)。尚、S6とS7は、1つの処理でもよい。
移動物体dnが存在しない場合、走査制御部37は、監視エリア8内における走査対象の指向範囲BF1を次の範囲に移動させる(S8)。
尚、監視エリア8で指向範囲BF1を順番に移動させる順序は、例えば、監視エリア8内で外側の円周から内側の円周に向かうように、又は内側の円周から外側の円周に向かうように、螺旋状(渦巻状)の順序でもよい。
このように、音源検出装置30は、ある程度の指向方向の広がりを有する指向範囲BF1を監視エリア8内で走査することで、監視エリア8内に移動物体dnが存在するか否かの判定に要する時間を短縮できる。
また、一筆書きのように連続して走査するのではなく、監視エリア8内に予め位置を設定しておき、任意の順序で各位置に指向範囲BF1が移動してもよい。これにより、音源検出装置30は、例えば、移動物体dnが侵入し易い位置から検出処理を開始でき、検出処理を効率化できる。
走査制御部37は、監視エリア8における全方位の走査を完了したか否かを判定する(S9)。全方位の走査が完了していない場合、指向性処理部33は、S3の処理に戻り、同様の動作を行う。つまり、指向性処理部33は、S8で移動された位置の指向範囲にビームフォーミングし、この指向範囲の音響データを抽出処理する。
一方、S7で移動物体dnが存在すると判定された場合、指向性処理部33は、移動物体dnが検出された第1の指向範囲dr1内(図5参照)で、任意の指向方向BF2(1回目は初期設定の指向方向)にビームフォーミングし、この指向方向BF2の音響データを抽出処理する(S10)。
周波数分析部34は、上記の指向方向BF2に抽出処理された音響データの周波数及びその音圧を検出する(周波数分析処理)(S11)。
対象物検出部35は、メモリ32Aのパターンメモリに登録された音パターンと、周波数分析処理の結果得られた音パターンと、を比較する。対象物検出部35は、この比較の結果、音パターン同士が近似していると判定された場合、移動物体dnが存在すると判定し、音パターン同士が近似していないと判定された場合、移動物体dnが存在しないと判定する(移動物体dnの検出処理)(S12)。
例えば、周波数分析処理の結果得られた音パターンと、メモリ32Aのパターンメモリに登録されている4つの周波数f1,f2,f3,f4と、において、同じ周波数を少なくとも2つ有し、かつ、これらの周波数の音圧が所定値th2以上である場合、対象物検出部35は、両者の音パターンが近似し、移動物体dnが存在すると判定する。尚、所定値th2は、例えば所定値th1以上である。
このように、音パターンに登録されている周波数と同じ周波数を持つ音響データの音圧が所定値th2以上である場合、検出結果判定部36は、移動物体dnが存在すると判定する。その他の判定方法は、S5と同様である。
検出結果判定部36は、対象物検出部35による比較の結果をシステム制御部40へ通知するとともに、検出方向制御部38へ検出方向移行について通知する(検出結果判定処理)(S13)。
S13において移動物体dnが存在する場合、検出結果判定部36は、システム制御部40に移動物体dnが存在する旨(移動物体dnの検出結果)を通知する。尚、移動物体dnの検出結果の通知は、1つの指向方向の検出処理が終了したタイミングでなく、1つの指向範囲BF1における指向方向の走査が完了した後や全方位走査完了した後にまとめて行われてもよい。
走査制御部37は、第1の指向範囲dr1内において、任意の指向方向BF2を次の走査対象の方向に移動させる(S14)。
検出結果判定部36は、第1の指向範囲dr1内の走査を完了するか否かを判別する(S15)。第1の指向範囲dr1内の走査を完了していない場合、指向性処理部33は、S10の処理に戻る。
S15で第1の指向範囲dr1内の走査を完了する場合、指向性処理部33は、S8の処理に進み、S9で監視エリア8における全方位の走査を完了するまで、上記処理を繰り返す。これにより、音源検出装置30は、1つの移動物体dnが検出されても、他にも存在する可能性のある移動物体dnの検出を続行するので、複数の移動物体dnの検出が可能である。
S9で全方位の走査が完了すると、指向性処理部33は、バッファメモリ32に一時的に記憶された、マイクアレイMAで収音された音響データを消去する(S16)。
音響データの消去後、プロセッサ26は、移動物体dnの検出処理を終了するか否かを判定する(S17)。この移動物体dnの検出処理の終了は、所定のイベントに応じて行われる。例えば、プロセッサ26が、S6やS13で移動物体dnが検出されなかった回数をメモリ32Aに保持し、この回数が所定回数以上となった場合に、図7の移動物体dnの検出処理を終了してもよい。また、タイマによるタイムアップや、制御ボックス10が有するUI(User Interface)(不図示)に対するユーザの操作に基づいて、プロセッサ26が、図7の移動物体dnの検出処理を終了してもよい。また、音源検出装置30の電源がオフとなる場合に、終了してもよい。
尚、S4、S11では、周波数分析部34は、周波数を分析するとともに、その周波数の音圧も計測する。検出結果判定部36は、周波数分析部34によって測定された音圧レベルが時間経過とともに徐々に大きくなっていると、音源検出装置30に対して移動物体dnが接近していると判定してもよい。
例えば、時刻t11で測定された所定の周波数の音圧レベルが、時刻t11よりも後の時刻t12で測定された同じ周波数の音圧レベルよりも小さい場合、時間経過とともに音圧が大きくなっており、移動物体dnが接近していると判定されてもよい。また、3回以上にわたって音圧レベルを測定し、統計値(分散値、平均値、最大値、最小値、等)の推移に基づいて、移動物体dnが接近していると判定されてもよい。
また、測定された音圧レベルが警戒レベルである所定値th3以上である場合に、検出結果判定部36が、移動物体dnが警戒エリアに侵入したと判定してもよい。
尚、所定値th3は、例えば所定値th2以上である。警戒エリアは、例えば監視エリア8と同じエリア、又は監視エリア8に含まれ監視エリア8よりも狭いエリアである。警戒エリアは、例えば、移動物体dnの侵入が規制されたエリアである。また、移動物体dnの接近判定や侵入判定は、システム制御部40により実行されてもよい。
(第2動作例)
第2動作例では、音源検出装置30は、監視エリア8において、指向範囲BF1を考慮せず、指向方向BF2を順に走査して移動物体dnを検出する。
図8は、音源検出装置30による移動物体dnの検出処理手順の第2動作例を示すフローチャートである。図7に示した第1動作例と同一の処理については、同一のステップ番号を付すことで、その説明を省略する。
まず、指向性処理部33は、指向方向BF2を初期位置に設定する(S1A)。この初期位置では、任意の指向方向BF2を走査対象の指向方向に設定する。
S2において、マイクアレイMAにより収音された音響データがバッファメモリ32に一時的に記憶されると、指向性処理部33は、監視エリア8における任意の指向方向BF2(1回目は初期設定の指向方向)にビームフォーミングし、この指向方向BF2の音響データを抽出処理する(S3A)。
S7において、検出結果判定部36は、対象物検出部35による移動物体dnの存在の判定結果に従い、移動物体dnが存在しない場合、走査制御部37は、監視エリア8内における走査対象の指向方向BF2を次の方向に移動させる(S8A)。
一方、S7において、移動物体dnが存在する場合、検出結果判定部36は、システム制御部40に移動物体dnが存在する旨(移動物体dnの検出結果)を通知する(S7A)。この後、S8の処理に進む。尚、移動物体dnの検出結果の通知は、1つの指向方向の検出処理が終了したタイミングでなく、全方位走査完了した後にまとめて行われてもよい。
このように、第2動作例では、音源検出装置30は、指向範囲BF1を用いた走査と指向方向BF2を用いた走査とを切り替えなく済み、処理を簡単化できる。
図9は全方位カメラCAにより撮像された全方位画像GZ1を示す模式図である。
図9では、全方位画像GZ1には、ビルBlの谷間から飛来する移動物体dnが含まれる。モニタ50は、例えば、移動物体dnの機械音を音源とする音源方向画像sp1が、全方位画像GZ1に重畳(オーバーレイ)するように、表示される。ここでは、音源方向画像sp1は、矩形の点線枠で示される。尚、モニタ50は、音源方向画像sp1を表示する代わりに、全方位画像GZ1上における移動物体dnの位置座標を表示する等により、位置情報を示してもよい。音源方向画像sp1の生成や重畳に係る処理は、例えばシステム制御部40により行われる。
[効果等]
このように、第1の実施形態の物体検出システム5は、音源検出装置30を備える。音源検出装置30は、無指向性の複数のマイクロホンM1〜M8を含むマイクアレイMA(マイクロホンアレイ)と、マイクアレイMAにより収音された第1の音響データを処理するプロセッサ26と、を備える。プロセッサ26は、第1の音響データに基づいて、指向方向BF2(指向性の方向)を順次変更して、任意の指向方向BF2に指向性を有する複数の第2の音響データを生成し、第2の音響データの音圧レベル及び周波数成分を解析する。プロセッサ26は、任意の指向方向BF2のうちの第1の指向方向dr2に指向性を有する第2の音響データの周波数成分に含まれる特定周波数の音圧レベルが所定値th2以上である場合、第1の指向方向dr2に移動物体dnが存在すると判定する。音源検出装置30は、物体検出装置の一例である。移動物体dnは、物体の一例である。
これにより、音源検出装置30は、無指向性のマイクロホンを用いることで、例えば音源検出装置30を回転することなく、移動物体dnからの音響を収音できる。また、音源検出装置30は、音源検出装置30が一度に全方位の音響を収音するので、各方位の収音時間の差がなくなり、同じタイミングでの音響を検出できる。また、物体検出が困難な領域が発生し難くなるので、音源検出装置30は、物体検出の感度を向上できる。従って、音源検出装置30は、移動物体dnの検出精度を向上できる。
また、プロセッサ26は、第1の音響データに基づいて、指向範囲BF1を順次変更し、任意の指向範囲BF1に指向性を有する複数の第3の音響データを生成してもよい。プロセッサ26は、任意の指向範囲BF1のうちの第1の指向範囲dr1に指向性を有する第3の音響データの周波数成分に含まれる特定周波数の音圧レベルが所定値th1以上である場合、指向範囲BF1の走査から指向方向BF2の走査に切り替えてもよい。つまり、プロセッサ26は、第1の音響データに基づいて、指向方向BF2を順次変更して、第1の指向範囲dr1に含まれる任意の指向方向BF2に指向性を有する複数の第2の音響データを生成してもよい。プロセッサ26は、任意の指向方向BF2のうちの第1の指向方向dr2に指向性を有する第2の音響データの周波数成分に含まれる特定周波数の音圧レベルが所定値th2以上である場合、第1の指向方向dr2に移動物体dnが存在すると判定してもよい。尚、指向範囲BF1は、方向範囲の一例である。
これにより、音源検出装置30は、指向範囲BF1の走査後に指向方向BF2を走査することで、スキャン(走査)効率が向上し、スキャン時間を短縮できる。
また、プロセッサ26は、第1の指向方向dr2に指向性を有する音響データの音圧レベル及び周波数成分の音パターンが、所定のパターンに近似する場合、第1の指向方向dr2に移動物体dnが存在すると判定してもよい。所定のパターンは、例えば、メモリ32Aに記憶された音パターンである。
これにより、音源検出装置30は、移動物体dnが発する音の特性(音パターン)が予め分かっている場合、移動物体dnを特定でき、更に移動物体dnの検出精度が向上できる。
また、プロセッサ26は、移動物体dnが発する、メモリ32Aに登録された特定周波数での音圧レベルが時間の経過とともに大きくなる場合、移動物体dnの接近を検出してもよい。また、プロセッサ26は、移動物体dnの接近が検出され、特定周波数の音圧レベルが所定値th3以上である場合、移動物体dnが警戒エリアに存在すると判定してもよい。警戒エリアは、所定のエリアの一例である。
これにより、音源検出装置30は、移動物体dnの接近を表示等により通知できる。
また、物体検出システム5は、音源検出装置30、全方位カメラCA、制御ボックス10、及びモニタ50を備えてもよい。音源検出装置30は、移動物体dnの存在の判定結果を制御ボックス10へ送信する。全方位カメラCAは、全方位の画角を有する画像を撮像する。モニタ50は、制御ボックス10の制御により、全方位カメラCAにより撮像された全方位画像に、第1の指向方向dr2に存在すると判定された移動物体dnの位置情報を重畳して表示する。全方位カメラCAは、第1のカメラの一例である。制御ボックス10は、制御装置の一例である。移動物体dnの位置情報は、例えば音源方向画像sp1である。
これにより、物体検出システム5は、例えば、監視エリア8に対する移動物体dnの位置を視覚的に確認できる。
(第1の実施形態の変形例)
図10は、第1の実施形態の変形例における物体検出システム5Aの構成を示すブロック図である。物体検出システム5Aは、物体検出システム5と比較すると、音源検出装置30の代わりに音源検出装置30Aを備える。音源検出装置30Aは、音源検出装置30と比較すると、新たに音源方向検出部39を有する。
音源方向検出部39は、公知の白色化相互相関法(CSP(Cross−power Spectrum Phase analysis)法)に従って、音源位置を推定する。
CSP法では、音源方向検出部39は、監視エリア8を複数のブロックに分割し、マイクアレイMAで音響が収音されると、ブロック毎に閾値を超える音響があるか否かを判定することで、監視エリア8内の音響位置を推定する。
CSP法により音源位置を推定する処理は、先述した、指向範囲BF1を走査して移動物体dnを検出する処理に相当する。従って、変形例では、音源方向検出部39が音源位置を推定すると、推定された音源位置(第1の指向範囲dr1に相当)内で指向方向BF2を走査し、第1の指向方向dr2に移動物体dnを検出する。
図11は、変形例における音源検出装置30による移動物体dnの検出処理手順を示すフローチャートである。図11において、図7又は図8と同一の処理については、同一のステップ番号を付すことで、その説明を省略する。変形例では、指向範囲BF1の走査に関する、図7に示したS1、S3〜S9が省かれる。
まず、指向性処理部33が、マイクアレイMAにより収音され、A/D変換器31により音響データをデジタル値に変換され、この音響データがバッファメモリ32に記憶されたか否かを判定する(S2)。音響データが記憶されていない場合、S2が反復される。
音響データがバッファメモリ32に記憶されると、音源方向検出部39は、この音響データを用いて、CSP法により音源位置を推定する(S2A)。
音源方向検出部39は、音源位置を推定した結果、音源としての移動物体dnが検出されたか否かを判別する(S2B)。
音源が検出されなかった場合、音源検出装置30は、バッファメモリ32に記憶された音響データを消去する(S16)。
音源が検出された場合、プロセッサ26は、音源位置(指向範囲dr)における指向方向BF2にビームフォーミングして順に走査し、移動物体dnを検出する(S10〜S14,S9)。
このように、音源検出装置30Aでは、プロセッサ26は、CSP法に従って、第1の指向範囲dr1に移動物体dnが存在するか否かを判定してもよい。これにより、音源検出装置30Aは、指向範囲BF1の走査を省略でき、スキャン効率を向上でき、スキャン時間を短縮できる。
(第2の実施形態)
第2の実施形態では、移動物体dnまでの距離を測定する測距装置が搭載された場合を示す。
[構成等]
図12は、第2の実施形態における物体検出システム5Bの概略構成を示す模式図である。物体検出システム5Bにおいて、第1の実施形態の物体検出システム5,5Aと同一の構成要素については同一の符号を付し、その説明を省略又は簡略化する。
物体検出システム5Bは、第1の実施形態と同様、音源検出装置30又は30A、制御ボックス10及びモニタ50を含み、更に測距装置60を含む構成を有する。
測距装置60は、検出された移動物体dnまでの距離を測定する。距離の測定方法として、例えば、TOF(Time Of Flight)法が用いられる。TOF法では、超音波やレーザ光を移動物体dnに向けて投射し、その反射波や反射光を受信するまでの時間から距離を測定する。ここでは、超音波を用いる場合を例示する。
図13は、物体検出システム5Bの構成を示すブロック図である。測距装置60は、超音波センサ61、超音波スピーカ62、受信回路63、パルス送信回路64、距離検出部66、測距制御部67及びPTユニット65を有する。尚、プロセッサ68が所定のプログラムを実行することで、距離検出部66及び測距制御部67の機能を実現する。
尚、レーザ光を用いる場合には、超音波センサ61及び超音波スピーカ62の代わりに、非可視光センサ及び非可視光レーザダイオードが用いられる。非可視光は、例えば赤外光又は紫外光を含む。
超音波スピーカ62は、PTユニット65の駆動により超音波の投射方向を変更し、移動物体dnに向けて超音波を投射する。超音波は、例えばパルス状に投射される。
超音波センサ61は、超音波スピーカ62によって投射され、移動物体dnで反射された反射波を受信する。
受信回路63は、超音波センサ61からの信号を信号処理し、距離検出部66へ送る。
パルス送信回路64は、測距制御部67の制御により、超音波スピーカ62から投射されるパルス状の超音波を生成し、超音波スピーカ62へ送る。
PTユニット65は、超音波スピーカ62をパン(P)方向及びチルト(T)方向に旋回させるモータ等を含む駆動機構を有する。
距離検出部66は、測距制御部67による制御により、受信回路63からの信号を基に、移動物体dnまでの距離を検出する。例えば、距離検出部66は、超音波スピーカ62から超音波が送信された送信時刻と、超音波センサ61により反射波が受信された受信時刻と、を基に、移動物体dnまでの距離を検出し、測距制御部67へ距離の検出結果を出力する。
図14は、距離検出方法を説明するためのタイミングチャートである。
図14では、投射される超音波のパルス信号(送信パルス)と、移動物体dnで反射された超音波のパルス信号(受信パルス)と、の時間差が示されている。投射タイミングt1と受光タイミングt2との差分を時間差Δtとすると、距離検出部66は、例えば(式1)に従って、移動物体dnまでの距離Lを算出する。
距離L=音速C×時間差Δt/2 ・・・(式1)
尚、音速Cは、乾燥空気の温度Tを用いて、例えば(式2)で求められる。
音速C=331.5+0.6T ・・・(式2)
測距制御部67は、測距装置60の各部を統括する。測距制御部67は、距離検出部66によって検出された移動物体dnまでの距離の情報を、制御ボックス10へ送信する。測距制御部67は、制御ボックス10から移動物体dnが存在する方向(指向方向に相当)の情報を受信し、移動物体dnに向けて超音波スピーカ62が向くように、PTユニット65が旋回するよう指示する。
制御ボックス10は、移動物体dnが警戒エリアに侵入したか否かを判定するための警戒距離が登録されたメモリ46を有する。システム制御部40は、距離検出部66で検出された移動物体dnまでの距離が、メモリ46に登録された警戒距離以内であるか否かを判定する。また、システム制御部40は、移動物体dnまでの距離の情報を含むように、全方位カメラCAで撮像された画像をモニタ50に表示させてもよい。
[動作等]
次に、物体検出システム5Bの動作例について説明する。
図15は、物体検出システム5Bの動作例を示すフローチャートである。ここでは、音源検出装置が音源検出装置30であることを例示するが、音源検出装置30Aでも同様である(以下同様)。
まず、物体検出システム5Bは、音源検出装置30による移動物体dnの検出処理を行う(S21)。S21の処理は、例えば、図7、図8又は図11で示された処理である。
システム制御部40は、音源検出装置30から移動物体dnの検出結果を受信すると、モニタ50に移動物体dnの検出結果を表示させる(S22)。移動物体dnが検出された場合、モニタ50には、例えば図9に示したように、移動物体dnが発生させる機械音を音源とする音源方向画像sp1が、全方位画像GZ1に重畳して表示される。
システム制御部40は、音源検出装置30からの移動物体dnの検出結果を基に、移動物体dnが検出されたか否かを判定する(S23)。移動物体dnが検出されていない場合、システム制御部40は、S21の処理に戻る。
S23で移動物体dnが検出された場合、システム制御部40は、検出された移動物体dnの位置の情報を測距装置60に通知する(S24)。ここでは、移動物体dnの位置は、音源検出装置30に対する移動物体dnの方向に相当し、第1の指向方向dr2に相当する。
測距制御部67は、PTユニット65を駆動し、超音波スピーカ62の向きを、通知された移動物体dnの方向となるように指示する(S25)。
距離検出部66は、測距制御部67の制御により、移動物体dnまでの距離を検出する(S26)。尚、測距装置60から移動物体dnまでの距離は、音源検出装置30から移動物体dnまでの距離と同程度である。距離検出部66は、例えば、超音波スピーカ62から移動物体dnに向けて超音波を投射してから、反射波が超音波センサ61で受信されるまでの時間に基づいて、移動物体dnまでの距離を測定する。
システム制御部40は、測定された移動物体dnまでの距離が、メモリ46に記憶された警戒距離以内であるか否かを判別する(S27)。
警戒距離以内である場合、システム制御部40は、モニタ50に、移動物体dnの警戒エリアへの侵入を通知する(S28)。モニタ50は、移動物体dnの侵入の通知を受けると、移動物体dnが警戒エリアに進入したことを示す情報を表示する。これにより、ユーザは、移動物体dnの侵入が通知されたモニタ50の画面を見て、緊急性の高い事態が発生したことを認識できる。
S28の処理後、システム制御部40は、S21に戻る。
一方、S27で測定された移動物体dnまでの距離が警戒距離を以上である場合、システム制御部40は、図15の各種処理(移動物体dnの存在や移動物体dnまでの距離の検出処理、移動物体dnの侵入判定処理)を終了するか否かを判別する(S29)。
図15の各種処理を終了しない場合、システム制御部40は、S21の処理に戻り、図15の各種処理を繰り返す。一方、S29で図15の各種処理を終了する場合、物体検出システム5Bは、図15の処理を終了する。例えば、制御ボックス10の電源がオフとなる場合に、終了してもよい。
尚、システム制御部40は、モニタ50に、音源方向画像sp1を全方位画像GZ1に重畳して表示させるとともに、移動物体dnまでの距離情報を表示させてもよい。
この場合、例えば、システム制御部40は、移動物体dnまでの距離に基づいて、音源方向画像sp1の表示形態を変えてもよい。また、システム制御部40は、警戒エリア内に移動物体dnが存在するか否かに基づいて、音源方向画像sp1の表示形態を変えてもよい。表示形態は、例えば、表示色、大きさ、形状、音源方向画像sp1の種類、を含む。また、距離情報は、座標情報でもよい。
図16は、全方位カメラCAにより撮像された全方位画像GZ1を示す模式図である。
図16では、図9と同様、全方位画像GZ1に、ビルBlの谷間から飛来する移動物体dnが含まれている。例えば、移動物体dnの音源方向画像sp1は、警戒エリア内に移動物体dnが所在する旨を示す表示形態(図中、ハッチングで表す)により、全方位画像GZ1に音源方向画像sp1が重畳して表示されてもよい。また、移動物体dnまでの距離(図16では「15m 接近中」)を示す文字情報が表示されてもよい。
[効果等]
このように、測距装置60は、PTユニット65の駆動により測距方向を変更し、マイクアレイMAを基点として第1の指向方向dr2に存在する移動物体dnまでの距離を検出してもよい。測距装置60は、距離の検出結果を制御ボックス10へ送信してもよい。制御ボックス10は、検出された距離が警戒距離以内である場合、移動物体dnが警戒エリアに存在すると判定してもよい。PTユニット65は、アクチュエータの一例である。
尚、システム制御部40の機能は、プロセッサが所定のプログラムを実行することで実現される。警戒距離は、所定距離の一例である。警戒エリアは、所定のエリアの一例である。
これにより、物体検出システム5Bは、音源検出装置30により検出された移動物体dnまでの距離を検出できる。また、モニタ50に全方位画像GZ1及び音源方向画像sp1が移動物体dnまでの距離に応じた表示態様で表示されることで、ユーザは、移動物体dnの位置(収音空間における3次元位置)を視認できる。更に、ユーザは、移動物体dnの警戒エリアへの接近度合いを認識でき、必要に応じて監視体制を強化できる。
(第3の実施形態)
第3の実施形態では、測距装置60の他、PTZカメラが搭載された場合を示す。
[構成等]
図17は第3の実施形態における物体検出システム5Cの概略構成を示す模式図である。物体検出システム5Cにおいて、第1,第2の実施形態の物体検出システム5、5A,5Bと同一の構成要素については、同一の符号を付し、その説明を省略又は簡略化する。
物体検出システム5Cは、第2の実施形態と同様、音源検出装置30又は30A、制御ボックス10、モニタ50、及び測距装置60を含み、更にPTZカメラ70を含む構成を有する。
PTZカメラ70は、撮像方向をパン(P)方向及びチルト(T)方向に旋回自在であり、ズーム倍率(Z)を可変自在なカメラである。PTZカメラ70は、例えば監視カメラとして用いられる。
図18は、物体検出システム5Cの構成を示すブロック図である。PTZカメラ70は、ズームレンズ71、イメージセンサ72、撮像信号処理部73、カメラ制御部74、及びPTZ制御ユニット75を有する。尚、プロセッサ77が所定のプログラムを実行することで、撮像信号処理部73及びカメラ制御部74の各機能を実現する。
ズームレンズ71は、鏡筒(図示せず)に内蔵され、ズーム倍率を変更可能なレンズである。ズームレンズ71は、PTZ制御ユニット75の駆動により、ズーム倍率を変更する。また、鏡筒は、PTZ制御ユニット75の駆動により、パン方向及びチルト方向に旋回する。
イメージセンサ72は、CCDやCMOS等の固体撮像素子である。撮像信号処理部73は、イメージセンサ72で撮像された信号を電気信号に変換し、各種画像処理を行う。
撮像信号処理部73は、イメージセンサ72で撮像された画像の信号を電気信号に変換し、各種画像処理を行う。カメラ制御部74は、PTZカメラ70の各部の動作を統括し、例えばイメージセンサ72にタイミング信号を供給する。
PTZ制御ユニット75は、鏡筒のパン方向及びチルト方向を変更し、ズームレンズ71のズーム倍率を変更するためのモータ等の駆動機構を有する。
[動作等]
次に、物体検出システム5Cの動作例について説明する。
図19は、物体検出システム5Cの動作例を示すフローチャートである。ここでは、第2の実施形態の図15の処理と同一の処理については、同一のステップ番号を付すことで、その説明を省略又は簡略化する。
S23において移動物体dnが検出されると、システム制御部40は、検出された移動物体dnの位置の情報を、PTZカメラ70及び測距装置60に通知する(S24A)。ここでは、移動物体dnの位置は、音源検出装置30に対する移動物体dnの方向に相当し、第1の指向方向dr2に相当する。
移動物体dnの位置の情報の通知を受けると、PTZカメラ70は、PTZ制御ユニット75の駆動により、移動物体dnの方向に撮像方向を変更する。また、ズームレンズ71は、PTZ制御ユニット75の駆動により、移動物体dnが所定の大きさで撮像されるようにズーム倍率を変更する(S24B)。
イメージセンサ72は、ズームレンズ71を介して撮像された画像データを取得する(S24C)。この画像データは、必要に応じて画像処理され、システム制御部40へ送信される。
システム制御部40は、PTZカメラ70から画像データを取得すると、取得した画像データに基づく画像をモニタ50に表示させる(S24D)。
図20は、PTZカメラ70により撮像された画像を示す模式図である。
PTZカメラ70で撮像されたPTZ画像GZ2には、ビルBlの上方に飛来した移動物体dnが含まれる。ズームレンズ71は、PTZ制御ユニット75の駆動により、移動物体dnの大きさが画角に対して所定の大きさになるように、ズーム倍率を変更する。ズーム倍率の変更によって、移動物体dnを含むPTZ画像GZ2の一部である、矩形aで囲まれる部分が拡大表示される。拡大表示され拡大画像GZLには、移動物体dnの大きさが矩形の枠(縦Lg×横Wd)で示されている。
S24Dの処理後のS25以降の処理は、第2の実施形態と同様である。
S29において、システム制御部40が、図19の各種処理(移動物体dnの存在や移動物体dnまでの距離の検出処理、移動物体dnの表示処理、移動物体dnの侵入判定処理)を終了するか否かを判定する。図19の各種処理を終了しない場合、システム制御部40は、S21の処理に戻る。一方、図19の各種処理を終了する場合、システム制御部40は、図19の処理を終了する。
尚、システム制御部40は、移動物体dnまでの距離と、表示されたPTZ画像GZ2又は拡大画像GZLに占める移動物体dnの大きさと、に基づいて、移動物体dnの大きさを推定してもよい。制御ボックス10のメモリ46が、検出対象の物体の大きさとして想定されるサイズ情報(サイズ範囲の情報)を予め保持しておいてもよい。
また、システム制御部40が、推定された移動物体dnの大きさが、メモリ46に保持されたサイズ範囲に含まれる場合に、移動物体dnが検出対象物であると更に推定してもよい。この場合、物体検出システム5Bは、実際の移動物体dnの大きさを大まかに認識でき、例えば移動物体dnの機種の特定を容易化できる。
[効果等]
このように、PTZカメラ70は、PTZ制御ユニット75の駆動により撮像方向を変更して、第1の指向方向dr2に存在する移動物体dnを撮像してもよい。また、制御ボックス10は、PTZカメラ70により撮像されたPTZ画像GZ2における移動物体dnの領域の大きさと、マイクアレイMAから移動物体dnまでの距離と、に基づいて、移動物体dnの大きさを推定してもよい。移動物体dnの大きさが所定の大きさに含まれる場合、移動物体dnが検出対象物であると判定してもよい。PTZ制御ユニット75は、アクチュエータの一例である。
これにより、物体検出システム5Bは、移動物体dnを主とした画像を取得できる。そのため、ユーザは、移動物体dnの特徴を容易に視認できる。また、物体検出システム5Bは、移動物体dnが発する音響の他に、移動物体dnの大きさを基に検出対象物か否かを推定できるので、移動物体dnの検出精度を一層向上できる。
(第4の実施形態)
第4の実施形態では、第3の実施形態と同様にPTZカメラ70が搭載され、測距装置60が省かれた物体検出システムを示す。
[構成等]
図21は、第4の実施形態における物体検出システム5Dの概略構成を示す模式図である。物体検出システム5Dにおいて、第1〜第3の実施形態の物体検出システム5,5A,5B,5Cと同一の構成要素については、同一の符号を付し、その説明を省略又は簡略化する。
物体検出システム5Dは、音源検出装置30又は30A、制御ボックス10、及びモニタ50、及びPTZカメラ70を含む構成を有する。
[動作等]
次に、物体検出システム5Dの動作例について説明する。
図23は物体検出システム5Dの動作例を示すフローチャートである。図23の処理は、第3の実施形態の図19に示したフローチャートにおける、S25〜S28の処理を省いて行われる。
即ち、S23において移動物体dnが検出されると、システム制御部40は、検出された移動物体dnの位置の情報を、PTZカメラ70に通知する(S24A1)。S24Dにおいて、システム制御部40が、PTZカメラ70で撮像された画像をモニタ50に表示させると、S29において、システム制御部40が、図23の各種処理(移動物体dnの検出処理や移動物体dnの表示処理))を終了するか否かを判定する。図23の各種処理を終了しない場合、システム制御部40は、S21の処理に戻る。一方、移動物体dnの各種処理を終了する場合、システム制御部40は、図23の処理を終了する。
[効果等]
このように、移動物体dnが検出されると、物体検出システム5Bは、PTZカメラ70で撮像される画像に、移動物体dnを大きく映し出すことができる。そのため、ユーザは、移動物体dnの特徴を容易に視認できる。
(第5の実施形態)
第5の実施形態では、複数台(例えば2台)の音源検出装置を備える物体検出システムを示す。
[構成等]
図24は、第5の実施形態における物体検出システム5Eの概略構成を示す模式図である。物体検出システム5Eにおいて、第1〜第4の実施形態の物体検出システム5,5A,5B,5C,5Dと同一の構成要素については、同一の符号を付し、その説明を省略又は簡略化する。
第5の実施形態の物体検出システム5Eは、例えば、施設内の管理室に設置された監視装置90と通信可能に接続される。例えば、制御ボックス10Aが監視装置90と有線通信又は無線通信可能に接続される。
物体検出システム5Eは、複数台(例えば2台)の音源検出装置30(30B,30C)、制御ボックス10A、及びPTZカメラ70を含む構成を有する。
監視装置90は、ディスプレイ91、無線通信装置92等を有するコンピュータ装置を含む構成を有する。監視装置90は、例えば、物体検出システム5Eから送信される画像を表示する。これにより、監視者が、監視装置90を用いて監視エリア8を監視可能である。
図25は、物体検出システム5Eの構成を示すブロック図である。音源検出装置30Bは、マイクアレイMA1で収音された全方位の音響に対してビームフォーミングし、その指向方向の音響を強調する。音源検出装置30Cは、マイクアレイMA2で収音された全方位の音響に対してビームフォーミングし、その指向方向の音響を抽出する。
尚、音源検出装置30B,30Cの構成及び動作は、先述の実施形態の音源検出装置30と同様である。
システム制御部40は、音源検出装置30Bで移動物体dnが検出された指向方向(図26の角度β)、及び音源検出装置30Cで移動物体dnが検出された指向方向(図26の角度γ)を基に、移動物体dnまでの距離を算出する。
尚、図24〜図26では、音源検出装置30B,30Cが備える全方位カメラCAの図示が省略されているが、第1〜第4の実施形態と同様に、音源検出装置30B,30Cは、全方位カメラCAを備える。
図26は、2台の音源検出装置30B,30Cを用いて移動物体dnまでの距離を検出する方法を説明する模式図である。
マイクアレイMA1とマイクアレイMA2との間の距離が、長さL[m]と既知であるとする。この場合、システム制御部40は、マイクアレイMA1から移動物体dnまでの距離l1、及びマイクアレイMA2から移動物体dnまでの距離l2を、例えば、三角法を用いて、それぞれ(式3),(式4)により算出する。
l1 = L× sinγ / sinα ・・・(式3)
l2 = L× sinβ / sinα ・・・(式4)
制御ボックス10Aは、システム制御部40と、無線通信部55と、を有する。無線通信部55は、監視装置90の無線通信装置92と通信可能に無線接続される。無線通信部55は、監視装置90に対し、例えば、移動物体dnの位置(検出方向)、移動物体dnまでの距離、及びPTZカメラ70で撮像された画像データを送信する。また、無線通信部55は、例えば、監視装置90からの遠隔操作信号を受信し、システム制御部40に送る。
[動作等]
次に、物体検出システム5Eの動作例について説明する。
図27は物体検出システム5Eの動作例を示すフローチャートである。図27において、第3の実施形態の図19と同一の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。
まず、第1の音源検出装置としての音源検出装置30Bが、第1の実施形態における図7又は図11に示された処理を行う(S21)。
制御ボックス10Aでは、システム制御部40が、音源検出装置30Bからの移動物体dnの検出結果を受信すると、無線通信部55が、監視装置90に移動物体dnの検出結果を送信する(S22A)。監視装置90は、物体検出システム5Eから移動物体dnの検出結果を受信すると、ディスプレイ91に表示する。
S23で移動物体dnが検出されなかった場合、システム制御部40は、S21の処理に戻る。
S23で移動物体dnが検出されると、システム制御部40は、移動物体dnの位置の情報を、PTZカメラ70に通知する(S24A1)。
システム制御部40は、PTZカメラ70からS24Cで得られた画像を取得すると、この画像を監視装置90に送信する(S24E)。
同様に、第2の音源検出装置としての音源検出装置30Cが、第1の実施形態における図7又は図11で示された処理を行う(S21A)。
制御ボックス10Aでは、システム制御部40が、音源検出装置30Cからの移動物体dnの検出結果を受信すると、無線通信部55が、監視装置90に移動物体dnの検出結果を送信する(S22B)。
システム制御部40は、音源検出装置30Cからの検出結果を基に、移動物体dnが検出されたか否かを判定する(S23A)。移動物体dnが検出された場合、システム制御部40は、移動物体dnの検出結果から、移動物体dnの位置の情報を取得する。
S23Aで移動物体dnが検出されなかった場合、システム制御部40は、S21の処理に戻る。
S23Aで移動物体dnが検出されると、システム制御部40は、音源検出装置30Bにより検出された移動物体dnの検出方向に基づいて、音源検出装置30Bに対する音源検出装置30C及び移動物体dnのなす角度β(図26参照)を算出する(S25A)。同様に、システム制御部40は、音源検出装置30Cにより検出された移動物体dnの検出方向に基づいて、音源検出装置30Cに対する音源検出装置30B及び移動物体dnのなす角度γ(図26参照)を算出する(S25A)。
システム制御部40は、S25Aで求めた角度β,γと、マイクアレイMA1とマイクアレイMA2との間の距離Lと、に基づいて、例えば(式3),(式4)に従って、距離l1及び距離l2を算出する(S26A)。距離l1は、音源検出装置30Bから移動物体dnまでの距離である。距離l2は、音源検出装置30Cから移動物体dnまでの距離である。
システム制御部40は、距離l1又は距離l2が警戒距離lm以内であるか否かを判定する(S27A)。また、システム制御部40は、距離l1及び距離l2に基づく距離l3が警戒距離lm以内であるか否かを判定してもよい。
距離l1〜l3のいずれかが警戒距離lm以内である場合、システム制御部40は、無線通信部55を介して監視装置90に移動物体dnが侵入したことを通知する(S28A)。
尚、距離l1及び距離l2の両方が警戒距離lm以内である場合に、システム制御部40が、移動物体dnが侵入したと判定してもよい。
S28Aの処理後、システム制御部40は、S21の処理に戻る。
一方、距離l1〜l3のいずれもが警戒距離lmを超える場合、システム制御部40は、図27の各種処理(移動物体dnの存在や移動物体dnまでの距離の検出処理、移動物体dnの侵入判定処理)を終了するか否かを判定する(S29)。
図27の検出処理を終了しない場合、システム制御部40は、S21の処理に戻り、図27の各種処理を繰り返す。一方、S29で図27の各種処理を終了する場合、物体検出システム5Eは、図27の処理を終了する。
[効果等]
このように、物体検出システム5Eは、マイクアレイMA1を用いて移動物体dnを検出する音源検出装置30Bと、マイクアレイMA2を用いて移動物体dnを検出する音源検出装置30Cと、を備えてもよい。制御ボックス10Aは、音源検出装置30Bにより検出された移動物体dnが存在する指向方向と、音源検出装置30Cにより検出された移動物体dnが存在する指向方向と、音源検出装置30B,30C間の距離Lと、に基づいて、音源検出装置30B又は音源検出装置30Cから移動物体dnまでの距離l1,l2を導出してもよい。システム制御部40は、導出された距離l1,l2が警戒距離lm以内である場合、移動物体dnが警戒エリアに存在すると判定してもよい。音源検出装置30B,30Cは、物体検出装置の一例である。
これにより、物体検出システム5Eは、複数台のマイクアレイMA1,MA2を備えることで、測距装置が省略されても、移動物体dnまでの距離を測定できる。また、物体検出システム5Eは、移動物体dnまでの距離が警戒距離以内である場合、移動物体dnが近くにあることをユーザに知らせることができる。また、複数台のマイクアレイMA1,MA2を用いることで、移動物体dnが発生する音響の収音エリアを拡大できる。
また、監視装置90は、例えば、移動物体dnまでの距離が所定距離以内となった場合、例えば警戒エリアに移動物体dnが侵入したとして、アラートを出力してもよい。アラートは、表示、音声、振動等、様々な方法により行われてもよい。
(他の実施形態)
以上のように、本開示における技術の例示として、第1〜第5の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、各実施形態を組み合わせてもよい。
第1〜第5の実施形態では、物体(対象物)として、移動物体dnを例示したが、移動物体dnは無人飛行物体でも有人飛行物体でもよい。また、移動物体dnは、空間を飛行する物体に限らず、地面に沿うように移動する物体でもよい。更には、物体は、移動しない静止物体であってもよい。また、静止物体に対し、第1〜第5の実施形態の物体検出システム5,5A〜5Eのいずれかを搭載した運搬装置が移動することで、静止物体と物体検出システムとの相対的な位置関係を変化させ、静止物体を検出してもよい。
第1〜第5の実施形態では、移動物体dnが発する音には、可聴周波数帯域(20Hz〜20kHz)の音、又は、可聴周波数帯域の範囲外の音である超音波(20kHz以上)や超低周波音(20Hz以下)の音、を含む。
第1〜第5の実施形態では、マイクアレイMA、制御ボックス10,10A、モニタ50等が個々に独立した装置として構成され、物体検出システムがこれらを含むことを例示した。尚、マイクアレイMA、制御ボックス10,10A、モニタ50等を単一の筐体内に収容した物体検出装置として実現されてもよい。このような物体検出装置は、可搬型の装置として利便性を有する。
第1〜第5の実施形態では、プロセッサ25,26,26B,26Cが音源検出装置に設けられることを例示したが、制御ボックス10,10Aに設けられてもよい。
第1〜第5の実施形態では、音源検出装置30,30A,30B,30Cが全方位カメラCAを備えることを例示したが、音源検出装置30と全方位カメラCAとが別体として構成されてもよい。また、全方位カメラCAが省略されてもよい。
第1〜第5の実施形態では、音源検出装置30におけるマイクアレイMAと音響信号を処理するプロセッサ26とが同じ筐体に設けられることを例示したが、別の筐体に設けられてもよい。例えば、マイクアレイMAが音源検出装置30に含まれ、プロセッサ26が制御ボックス10,10Aに含まれてもよい。
第1〜第5の実施形態では、天地方向の上向きが収音面及び撮像面となるように音源検出装置30が取り付けられることを例示したが、他の向きに音源検出装置30が取り付けられてもよい。例えば、天地方向と直交する横向きが収音面及び撮像面となるように、音源検出装置30が取り付けられてもよい。
第5の実施形態では、移動物体dnの検出結果や移動物体dnの侵入通知が監視装置90に対して行われることを例示したが、第1〜第4の実施形態と同様に、モニタ50に対して行われてもよい。
第5の実施形態では、音源検出装置30が2台であることを例示したが、音源検出装置30の台数は、例えば音源検出装置30が設置されるエリアの警戒レベルに合わせて決定されてもよい。例えば、警戒レベルが高い程、音源検出装置30の設置台数を増やし、警戒レベルが低い程、音源検出装置30の設置台数を減らしてもよい。
第5の実施形態では、監視装置90が物体検出システム5Eとは別に設けられることを例示したが、監視装置90が物体検出システム5Eに含まれてもよい。
第1〜第5の実施形態では、プロセッサは、物理的にどのように構成してもよい。また、プログラム可能なプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。プロセッサは、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第1〜第5の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで1つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材(コンデンサ等)で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、1つの半導体チップを構成してもよい。
本開示は、物体の検出精度を向上できる物体検出装置、物体検出システム、及び物体検出方法等に有用である。
5,5A,5B,5C,5D,5E 物体検出システム
8 監視エリア
10,10A 制御ボックス
21,72 イメージセンサ
22,73 撮像信号処理部
23,74 カメラ制御部
25,26,26B,26C,45,68,77 プロセッサ
30,30A,30B,30C 音源検出装置
31 A/D変換器
32 バッファメモリ
32A,46 メモリ
33 指向性処理部
34 周波数分析部
35 対象物検出部
36 検出結果判定部
37 走査制御部
38 検出方向制御部
39 音源方向検出部
40 システム制御部
50 モニタ
55 無線通信部
60 測距装置
61 超音波センサ
62 超音波スピーカ
63 受信回路
64 パルス送信回路
65 PTユニット
66 距離検出部
67 測距制御部
70 PTZカメラ
71 ズームレンズ
72 イメージセンサ
73 撮像信号処理部
74 カメラ制御部
75 PTZ制御ユニット
90 監視装置
91 ディスプレイ
92 無線通信装置
BF1,dr1 指向範囲
BF2,dr2 指向方向
Bl ビル
CA 全方位カメラ
dn 移動物体
GZ1 全方位画像
GZ2 PTZ画像
GZL 拡大画像
Lg 縦
MA,MA1,MA2 マイクアレイ
M1〜M8 マイクロホン
sp1 音源方向画像
Wd 幅

Claims (10)

  1. 無指向性の複数のマイクロホンを含むマイクロホンアレイと、
    前記マイクロホンアレイにより収音された第1の音響データを処理するプロセッサと、
    を備え、
    前記プロセッサは、
    前記第1の音響データに基づいて、指向性の方向を順次変更して、任意の方向に指向性を有する複数の第2の音響データを生成し、
    前記第2の音響データの音圧レベル及び周波数成分を解析し、
    前記任意の方向のうちの第1の方向に指向性を有する前記第2の音響データの周波数成分に含まれる特定周波数の音圧レベルが第1の所定値以上である場合、前記第1の方向に物体が存在すると判定し、
    前記特定周波数での音圧レベルの時間変化に基づいて、前記物体の接近を検出し、
    前記物体の接近が検出され、前記特定周波数の音圧レベルが前記第1の所定値よりも大きい第2の所定値以上である場合、前記物体が所定のエリアに存在すると判定する、物体検出装置。
  2. 請求項1に記載の物体検出装置であって、
    前記プロセッサは、
    前記第1の音響データに基づいて、指向性の方向範囲を順次変更して、任意の方向範囲に指向性を有する複数の第3の音響データを生成し、
    前記任意の方向範囲のうちの第1の方向範囲に指向性を有する前記第3の音響データの周波数成分に含まれる前記特定周波数の音圧レベルが第の所定値以上である場合、前記第1の音響データに基づいて、指向性の方向を順次変更して、前記第1の方向範囲に含まれる任意の方向に指向性を有する複数の前記第2の音響データを生成し、
    前記任意の方向のうちの前記第1の方向に指向性を有する前記第2の音響データの周波数成分に含まれる前記特定周波数の音圧レベルが前記第1の所定値以上である場合、前記第1の方向に物体が存在すると判定する、物体検出装置。
  3. 請求項1に記載の物体検出装置であって、
    前記プロセッサは、
    白色化相互相関法に従って、任意の方向範囲のうちの第1の方向範囲に物体が存在すると判定し、
    前記第1の方向範囲に含まれる任意の方向に指向性を有する複数の前記第2の音響データを生成し、
    前記任意の方向のうちの前記第1の方向に指向性を有する前記第2の音響データの周波数成分に含まれる前記特定周波数の音圧レベルが前記第1の所定値以上である場合、前記第1の方向に物体が存在すると判定する、物体検出装置。
  4. 請求項1〜3のいずれか1項に記載の物体検出装置であって、
    前記プロセッサは、前記第1の方向に指向性を有する前記第2の音響データの音圧レベル及び周波数成分が所定のパターンに近似する場合、前記第1の方向に物体が存在すると判定する、物体検出装置。
  5. 物体検出装置、第1のカメラ、制御装置、及びモニタを備える物体検出システムであって、
    前記物体検出装置は、
    無指向性の複数のマイクロホンを含むマイクロホンアレイにより音響を収音し、
    前記マイクロホンアレイにより収音された第1の音響データに基づいて、指向性の方向を順次変更して、任意の方向に指向性を有する複数の第2の音響データを生成し、
    前記第2の音響データの音圧レベル及び周波数成分を解析し、
    前記任意の方向のうちの第1の方向に指向性を有する前記第2の音響データの周波数成分に含まれる特定周波数の音圧レベルが第1の所定値以上である場合、前記第1の方向に物体が存在すると判定し、
    前記特定周波数での音圧レベルの時間変化に基づいて、前記物体の接近を検出し、
    前記物体の接近が検出され、前記特定周波数の音圧レベルが前記第1の所定値よりも大きい第2の所定値以上である場合、前記物体が所定のエリアに存在すると判定し、
    前記物体の存在の判定結果を前記制御装置へ送信し、
    前記第1のカメラは、全方位の画角を有する画像を撮像し、
    前記モニタは、前記制御装置の制御により、前記第1のカメラにより撮像された画像データに、前記第1の方向に存在すると判定された物体の位置情報を重畳して表示する、物体検出システム。
  6. 請求項に記載の物体検出システムであって、更に、
    測距方向を変更可能な第1のアクチュエータを備える測距装置を備え、
    前記測距装置は、
    前記第1のアクチュエータの駆動により測距方向を変更し、前記マイクロホンアレイから前記第1の方向に存在する物体までの距離を検出し、
    前記距離の検出結果を前記制御装置へ送信し、
    前記制御装置は、検出された距離が所定距離以内である場合、前記物体が所定のエリアに存在すると判定する、物体検出システム。
  7. 請求項に記載の物体検出システムであって、更に、
    前記物体検出装置は、
    第1の前記マイクロホンアレイを用いて物体を検出する第1の物体検出装置と、
    第2の前記マイクロホンアレイを用いて前記物体を検出する第2の物体検出装置と、
    を含み、
    前記制御装置は、
    前記第1の物体検出装置により検出された前記物体が存在する第2の方向と、前記第2の物体検出装置により検出された前記物体が存在する第3の方向と、前記第1の物体検出装置と前記第2の物体検出装置との間の距離と、に基づいて、前記第1の物体検出装置又は前記第2の物体検出装置から前記物体までの距離を導出し、
    導出された距離が所定距離以内である場合、前記物体が所定のエリアに存在すると判定する、物体検出システム。
  8. 請求項またはに記載の物体検出システムであって、更に、
    撮像方向を変更可能な第2のアクチュエータを備える第2のカメラを備え、
    前記第2のカメラは、前記第2のアクチュエータの駆動により撮像方向を変更して、前記第1の方向に存在する物体を撮像し、
    前記モニタは、前記制御装置の制御により、前記第2のカメラにより撮像された画像を表示する、物体検出システム。
  9. 請求項に記載の物体検出システムであって、
    前記制御装置は、
    前記第2のカメラにより撮像された画像における前記物体の領域の大きさと、前記マイクロホンアレイから前記物体までの距離と、に基づいて、前記物体の大きさを推定し、
    前記物体の大きさが所定の大きさの範囲に含まれる場合、前記物体が検出対象物であると判定する、物体検出システム。
  10. 無指向性の複数のマイクロホンを含むマイクロホンアレイを用いて物体を検出する物体検出方法であって、
    前記マイクロホンアレイにより収音された第1の音響データに基づいて、指向性の方向を順次変更して、任意の方向に指向性を有する複数の第2の音響データを生成し、
    前記第2の音響データの音圧レベル及び周波数成分を解析し、
    前記任意の方向のうちの第1の方向に指向性を有する前記第2の音響データの周波数成分に含まれる特定周波数の音圧レベルが第1の所定値以上である場合、前記第1の方向に物体が存在すると判定し、
    前記特定周波数での音圧レベルの時間変化に基づいて、前記物体の接近を検出し、
    前記物体の接近が検出され、前記特定周波数の音圧レベルが前記第1の所定値よりも大きい第2の所定値以上である場合、前記物体が所定のエリアに存在すると判定する、物体検出方法。
JP2015195231A 2015-09-30 2015-09-30 物体検出装置、物体検出システム、及び物体検出方法 Active JP6598064B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015195231A JP6598064B2 (ja) 2015-09-30 2015-09-30 物体検出装置、物体検出システム、及び物体検出方法
PCT/JP2016/003857 WO2017056380A1 (ja) 2015-09-30 2016-08-24 物体検出装置、物体検出システム、及び物体検出方法
US15/762,299 US20180259613A1 (en) 2015-09-30 2016-08-24 Object detection device, object detection system and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015195231A JP6598064B2 (ja) 2015-09-30 2015-09-30 物体検出装置、物体検出システム、及び物体検出方法

Publications (3)

Publication Number Publication Date
JP2017067666A JP2017067666A (ja) 2017-04-06
JP2017067666A5 JP2017067666A5 (ja) 2018-11-15
JP6598064B2 true JP6598064B2 (ja) 2019-10-30

Family

ID=58422854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015195231A Active JP6598064B2 (ja) 2015-09-30 2015-09-30 物体検出装置、物体検出システム、及び物体検出方法

Country Status (3)

Country Link
US (1) US20180259613A1 (ja)
JP (1) JP6598064B2 (ja)
WO (1) WO2017056380A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10351262B1 (en) 2016-08-05 2019-07-16 Amazon Technologies, Inc. Static inverse desymmetrized propellers
US10370093B1 (en) * 2016-11-16 2019-08-06 Amazon Technologies, Inc. On-demand drone noise measurements
WO2019003716A1 (ja) * 2017-06-27 2019-01-03 共栄エンジニアリング株式会社 集音装置、指向性制御装置及び指向性制御方法
JP6879144B2 (ja) * 2017-09-22 2021-06-02 沖電気工業株式会社 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
JP6977448B2 (ja) * 2017-09-27 2021-12-08 沖電気工業株式会社 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
JP6916130B2 (ja) * 2018-03-02 2021-08-11 株式会社日立製作所 話者推定方法および話者推定装置
US10795018B1 (en) * 2018-08-29 2020-10-06 Amazon Technologies, Inc. Presence detection using ultrasonic signals
US11402499B1 (en) 2018-08-29 2022-08-02 Amazon Technologies, Inc. Processing audio signals for presence detection
WO2020101362A1 (en) * 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Method for recording multimedia file and electronic device thereof
US11564036B1 (en) 2020-10-21 2023-01-24 Amazon Technologies, Inc. Presence detection using ultrasonic signals with concurrent audio playback
CN112289012A (zh) * 2020-10-28 2021-01-29 上海闻泰信息技术有限公司 提醒方法、装置、蓝牙耳机及存储介质
WO2023013022A1 (ja) * 2021-08-06 2023-02-09 三菱電機ビルソリューションズ株式会社 設置位置特定システム及び設置位置特定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8900985A (nl) * 1989-04-20 1990-11-16 Hollandse Signaalapparaten Bv Akoestische detektie-inrichting.
JP2002135642A (ja) * 2000-10-24 2002-05-10 Atr Onsei Gengo Tsushin Kenkyusho:Kk 音声翻訳システム
JP4580189B2 (ja) * 2004-05-28 2010-11-10 セコム株式会社 センシング装置
JP4996453B2 (ja) * 2007-12-28 2012-08-08 株式会社Ihi 狙撃手検知装置
JP5253278B2 (ja) * 2009-04-08 2013-07-31 株式会社東芝 多次元データ識別装置、多次元データ識別方法、及び信号到来方向推定装置
US8787114B1 (en) * 2010-09-13 2014-07-22 The Boeing Company Audio surveillance system
JP2012202958A (ja) * 2011-03-28 2012-10-22 Ono Sokki Co Ltd 騒音源同定システム

Also Published As

Publication number Publication date
US20180259613A1 (en) 2018-09-13
JP2017067666A (ja) 2017-04-06
WO2017056380A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6598064B2 (ja) 物体検出装置、物体検出システム、及び物体検出方法
JP5979458B1 (ja) 無人飛行体検知システム及び無人飛行体検知方法
US10791395B2 (en) Flying object detection system and flying object detection method
US20160148057A1 (en) Camera system and operating method of the same
JP6865371B2 (ja) モニタリングシステム及びモニタリング方法
JP5189536B2 (ja) 監視装置
US9560440B2 (en) Apparatus and method for detecting location of moving body, lighting apparatus, air conditioning apparatus, security apparatus, and parking lot management apparatus
WO2017163688A1 (en) Monitoring system and monitoring method
JP6588413B2 (ja) 監視装置および監視方法
JP2018101987A (ja) 監視エリアの音源表示システム及び音源表示方法
WO2013137958A2 (en) Sonar system for automatically detecting location of devices
JP2017092938A (ja) 音源検知システム及び音源検知方法
JP6644561B2 (ja) 飛行物体監視システム
KR20170054752A (ko) 음향 수신부를 이용한 음원 추적 장치 및 방법
WO2019225147A1 (ja) 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム
WO2018020965A1 (ja) 無人飛行体検知システム及び無人飛行体検知方法
JP6664119B2 (ja) モニタリングシステム及びモニタリング方法
TW201318421A (zh) 控制攝影機裝置的系統及方法
JP2017175473A (ja) モニタリングシステム及びモニタリング方法
US20160073087A1 (en) Augmenting a digital image with distance data derived based on acoustic range information
JP2020006793A (ja) 収音機能付き無人航空機
JP2002344957A (ja) 画像監視装置
JP6679371B2 (ja) 物体検知装置
del Va et al. Spatial and frequency characterization of the noise generated by the propellers of Unmanned Aerial Vehicles (UAV) in acoustic localization tasks
CN116033116A (zh) 投影设备的控制方法、装置及投影设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R151 Written notification of patent or utility model registration

Ref document number: 6598064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151