JP6672037B2 - Target object detection device - Google Patents
Target object detection device Download PDFInfo
- Publication number
- JP6672037B2 JP6672037B2 JP2016064257A JP2016064257A JP6672037B2 JP 6672037 B2 JP6672037 B2 JP 6672037B2 JP 2016064257 A JP2016064257 A JP 2016064257A JP 2016064257 A JP2016064257 A JP 2016064257A JP 6672037 B2 JP6672037 B2 JP 6672037B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- radar
- object detection
- unit
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 91
- 238000012544 monitoring process Methods 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 68
- 230000005236 sound signal Effects 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 15
- 230000035559 beat frequency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Landscapes
- Burglar Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本発明は、所定の監視領域内に存在する対象物体(例えばドローン等の飛行物体)を検知する対象物体検知装置に関する。 The present invention relates to a target object detection device that detects a target object (for example, a flying object such as a drone) existing in a predetermined monitoring area.
近年、ドローンと呼ばれる小型で無人のマルチコプターが実用化され、農薬散布や施設点検などさまざまな用途に有効利用されている。 In recent years, small and unmanned multicopters called drones have been put to practical use, and are effectively used for various purposes such as spraying pesticides and inspecting facilities.
一方で、盗撮や危険物運搬などドローンを悪用した犯罪も懸念されつつあり、このようなドローンが監視領域内への侵入を早期に検出するシステムも現れ始めている。 On the other hand, crimes abusing drones, such as voyeurism and transporting dangerous goods, are also becoming a concern, and systems that detect such drones entering the surveillance area at an early stage are beginning to appear.
従来、例えば下記特許文献1や特許文献2に開示されるように、音を発しながら飛行する飛行物体の監視目的として互いに不得手とする部分を補完する、もしくは誤検知を防止させるためにレーダ及びそのセンサを組み合わせて複合的に判定しようとするものが知られている。
Conventionally, as disclosed in, for example,
上記特許文献1には、レーダ装置において音響アレイを付加し、レーダの死角から接近する飛行物体を音響アレイで捉えることにより早期警戒が可能なことが記載されている。また、特許文献2には、目標物体の種類に応じて目標物体の特定にレーダ信号処理と音響信号処理のいずれかが最適な情報源であるか判定を行うことが記載されている。
上記特許文献1,2は、レーダまたは音響アレイのいずれかの出力結果を用いて判定を行うものであるが、両者の結果を統合して検知物体の判定を行う場合、高速の飛行物体などでは、レーダで物体を検知後、音響アレイの指向性を検知方向に制御してもレーダで検知した物体は既に検知位置に存在しないと正しい判定ができない。
The
また、複数の物体が検知されている場合は、レーダによる対象物体か否かの判定及び物体の方向へ指向性を制御して対象物体か否かの判定を各々行うと、処理に遅延が発生する可能性がある。 In addition, when a plurality of objects are detected, if the radar determines whether or not the object is a target object and controls the directivity in the direction of the object to determine whether the object is the target object, a delay occurs in processing. there's a possibility that.
本発明は、上記課題を解決しようとするものであり、監視領域内に存在する対象物を失報することなく、また監視領域の騒音源を誤報として検知することなく、対象物体の位置を精度良く求めることが可能な対象物体検知装置を提供することを目的としている。 An object of the present invention is to solve the above-described problems, and to accurately detect the position of a target object without losing a target object existing in the monitoring region and without detecting a noise source in the monitoring region as a false report. It is an object of the present invention to provide a target object detection device that can be obtained well.
上記した目的を達成するために、本発明に係る対象物体検知装置は、所定の送信波を送信し、前記送信波に対する反射波から少なくとも物体までの距離と方向を検知可能な物体検知手段と、
空間上に複数配置された音響信号入力手段と、
前記複数の音響信号入力手段に入力した複数の音響信号を時刻情報と共に現在から遡った過去所定時間分記憶する記憶手段と、
前記複数の音響信号を処理して音源方向を特定する音響信号処理手段と、
を備えた対象物体検知装置であって、
前記音響信号処理手段は、前記物体検知手段が物体を検知すると、検知時刻を取得し、前記記憶手段に記憶された前記検知時刻における前記音響信号を処理して音源方向を特定し、前記検知した物体の方向と前記特定した音源方向が略一致すると対象物体があると判定することを特徴とする。
In order to achieve the above object, the target object detection device according to the present invention transmits a predetermined transmission wave, and an object detection unit capable of detecting at least a distance and a direction to an object from a reflected wave with respect to the transmission wave,
Sound signal input means arranged in a plurality of spaces,
Storage means for predetermined past time period storage going back from the current with time information a plurality of acoustic signals input to the plurality of acoustic signal input means,
Sound signal processing means for processing the plurality of sound signals to identify a sound source direction,
An object detection device comprising:
Said sound signal processing means, when said object detecting means detects the object, obtains the detection time, and processes the acoustic signal in said stored detection time in the storage means to identify the sound source direction, and the detection When the direction of the object substantially matches the specified sound source direction, it is determined that there is a target object.
また、本発明に係る対象物体検知装置は、前記物体検知手段が、方位角方向にビーム幅が狭く仰角方向にビーム幅が広い電波を送受信するアンテナと、前記アンテナを所定周期で回転させる回転機構とを備え、前記アンテナから送信された送信波に対する反射波から検知物体までの距離と方位角及び、仰角範囲を特定可能であり、
前記音響信号処理手段が、前記仰角範囲内で、前記音響信号を遅延和処理により生成した遅延和信号が最大となる仰角において、当該遅延和信号が閾値以上であると対象物体があると判定してもよい。
Further, the object detecting device according to the present invention may be configured such that the object detecting means includes an antenna for transmitting and receiving a radio wave having a narrow beam width in an azimuth direction and a wide beam width in an elevation direction, and a rotation mechanism for rotating the antenna at a predetermined cycle. With the distance and azimuth from the reflected wave to the detection object for the transmitted wave transmitted from the antenna, and the elevation range can be specified,
The sound signal processing means determines that the target object is present when the delay sum signal is equal to or larger than a threshold value at an elevation angle at which the delay sum signal generated by performing the delay sum process on the audio signal is within the elevation angle range. You may.
さらに、本発明に係る対象物体検知装置は、前記物体検知手段が、仰角範囲が異なる複数のアンテナを備え、前記物体を検知したアンテナに基づき仰角範囲を設定してもよい。 Furthermore, in the target object detection device according to the present invention, the object detection means may include a plurality of antennas having different elevation ranges, and set the elevation range based on the antenna that has detected the object.
また、本発明に係る対象物体検知装置は、前記閾値の値が遠方ほど小さくなるよう設定され、
前記音響信号処理手段が、前記物体検知手段から距離情報を取得し、当該距離において設定された閾値と前記遅延和信号を比較して対象物体の有無を判定してもよい。
Further, the target object detection device according to the present invention, the value of the threshold is set to be smaller the further away,
The sound signal processing means may acquire distance information from the object detection means, and may determine the presence or absence of the target object by comparing a threshold set at the distance with the delay sum signal.
さらに、本発明に係る対象物体検知装置は、さらに撮像方向が可変可能な撮像部を備え、検知すべき対象物体が複数検知されているときは、前記対象物体ごとに監視優先度を定め、当該監視優先度が高い対象物体の現在の位置情報を前記物体検知手段から取得して前記撮像部の撮像方向を制御してもよい。 Furthermore, the target object detection device according to the present invention further includes an imaging unit capable of changing the imaging direction, and when a plurality of target objects to be detected are detected, a monitoring priority is determined for each of the target objects, The current position information of the target object having a high monitoring priority may be acquired from the object detection unit to control the imaging direction of the imaging unit.
本発明の対象物体検知装置によれば、物体検知手段は、所定の送信波を送信し、送信波に対する反射波から少なくとも物体までの距離と方向を検知する。音響信号入力手段は、空間上に複数配置され、監視領域から音響信号を取得する。記憶手段は、複数の音響信号入力手段に入力した音響信号を時刻情報と共に現在から遡った過去所定時間分記憶する。音響信号処理手段は、複数の音響信号を処理して音源方向を特定するものであり、物体検知手段が物体を検知すると、検知時刻を取得し、記憶手段に記憶された検知時刻における音響信号を処理して音源方向を特定し、検知物体の方向と特定した音源方向が略一致すると対象物体があると判定する。かかる構成により、監視領域から取得した複数の音響信号を時刻情報と共に現在から遡った過去所定時間分だけ記憶手段に記憶しておき、物体検知手段にて物体を検知したときに、この物体を検知した検知時刻に対応する記憶手段の音響信号を処理して検知時刻における音源方向を特定し、物体を検知した方向と特定した音源方向が略一致したときに対象物体があると判定するので、対象物体を失報することなく、また監視領域の騒音源を誤報として検知することなく、対象物体の位置を精度良く求めることができる。 According to the target object detection device of the present invention, the object detection means transmits a predetermined transmission wave and detects at least a distance and a direction from the reflected wave to the transmission wave to the object. A plurality of sound signal input units are arranged in the space, and acquire sound signals from the monitoring area. The storage unit stores the sound signals input to the plurality of sound signal input units together with the time information for a predetermined past time that is retroactive from the present. The sound signal processing means is for processing a plurality of sound signals to specify a sound source direction, and when the object detection means detects an object, acquires the detection time and outputs the sound signal at the detection time stored in the storage means. The sound source direction is specified by the processing, and when the direction of the detected object substantially matches the specified sound source direction, it is determined that the target object is present. With such a configuration, a plurality of acoustic signals acquired from the monitoring area are stored in the storage unit together with time information for a predetermined past time that is retroactive from the present, and when the object is detected by the object detection unit, the object is detected. The sound source direction at the detection time is specified by processing the acoustic signal of the storage means corresponding to the detected detection time, and it is determined that the target object is present when the direction in which the object is detected substantially matches the specified sound source direction. The position of the target object can be obtained with high accuracy without losing the object and without detecting the noise source in the monitoring area as a false report.
また、本発明の対象物体検知装置によれば、物体検知手段は、方位角方向にビーム幅が狭く仰角方向にビーム幅が広い電波を送受信するアンテナと、アンテナを所定周期で回転させる回転機構とを備え、アンテナから送信された送信波に対する反射波から検知物体までの距離と方位角及び、仰角範囲を特定する。音響信号処理手段は、物体検知手段が特定した仰角範囲内で、音響信号を遅延和処理により生成した遅延和信号が最大となる仰角において、遅延和信号が閾値以上であると対象物体があると判定する。かかる構成により、アンテナから送信される送信波に対する反射波から検知物体までの距離、方位角及び仰角範囲を特定し、特定した仰角範囲内における遅延和信号が最大となる仰角で遅延和信号が閾値以上のときに監視領域内に対象物体が存在すると判定することができる。 Further, according to the target object detection device of the present invention, the object detection means includes an antenna for transmitting and receiving radio waves having a narrow beam width in the azimuth direction and a wide beam width in the elevation direction, and a rotation mechanism for rotating the antenna at a predetermined cycle. The distance, the azimuth, and the elevation angle range from the reflected wave to the detection object with respect to the transmission wave transmitted from the antenna are specified. The sound signal processing means, within the elevation angle range specified by the object detection means, at the elevation angle where the delay sum signal generated by the delay sum processing of the sound signal is the largest, and when the delay sum signal is equal to or greater than the threshold, the target object is present judge. With this configuration, the distance, the azimuth, and the elevation angle range from the reflected wave to the detection object with respect to the transmission wave transmitted from the antenna are specified, and the delay sum signal is thresholded at the elevation angle at which the delay sum signal within the specified elevation angle range becomes the maximum. At this time, it can be determined that the target object exists in the monitoring area.
さらに、本発明の対象物体検知装置によれば、物体検知手段は、仰角範囲が異なる複数のアンテナを備え、物体を検知したアンテナに基づき仰角範囲を設定する。かかる構成により、仰角範囲が異なるアンテナを多段構成とすることで仰角探索範囲を限定することができる。 Further, according to the target object detection device of the present invention, the object detection means includes a plurality of antennas having different elevation ranges, and sets the elevation range based on the antenna that has detected the object. With this configuration, the elevation angle search range can be limited by forming the antennas having different elevation angle ranges in a multi-stage configuration.
また、本発明の対象物体検知装置によれば、閾値の値が遠方ほど小さくなるよう設定される。そして、音響信号処理手段は、物体検知手段から距離情報を取得し、取得した距離において設定された閾値と遅延和信号を比較して対象物体の有無を判定する。かかる構成により、遠方ほど小さくなるように閾値を設定しておき、物体検知手段から距離情報を取得し、取得した距離情報の距離に対応する閾値と遅延和信号とを比較することで対象物体の有無を判定することができる。 Further, according to the target object detection device of the present invention, the threshold value is set so as to decrease as the distance increases. Then, the sound signal processing unit acquires the distance information from the object detection unit, and compares the threshold set at the acquired distance with the delay sum signal to determine the presence or absence of the target object. With such a configuration, a threshold value is set so as to become smaller as the distance increases, distance information is acquired from the object detection means, and the threshold value corresponding to the distance of the acquired distance information is compared with the delay sum signal to obtain the target object. The presence or absence can be determined.
さらに、本発明の対象物体検知装置によれば、撮像方向が可変可能な撮像部を備え、検知すべき対象物体が複数検知されているときは、対象物体ごとに監視優先度を定め、この監視優先度が高い対象物体の現在の位置情報を物体検知手段から取得して撮像部の撮像方向を制御する。かかる構成により、対象物体が複数検知された場合に、監視優先度が高い対象物体の現在の位置情報を物体検知手段から取得して撮像部の撮像方向を制御することができる。 Further, according to the target object detection device of the present invention, the image pickup unit is provided with a variable imaging direction, and when a plurality of target objects to be detected are detected, a monitoring priority is set for each target object. The current position information of the high-priority target object is acquired from the object detection means, and the imaging direction of the imaging unit is controlled. With this configuration, when a plurality of target objects are detected, the current position information of the target objects having a high monitoring priority can be acquired from the object detection unit and the imaging direction of the imaging unit can be controlled.
以下、本発明を実施するための形態について、添付した図面の図1〜5を参照しながら詳細に説明する。 Hereinafter, an embodiment for carrying out the present invention will be described in detail with reference to FIGS.
[本発明の概要について]
本発明は、所定の監視領域内に存在する所定レベル以上の音響信号を発しながら移動する物体を対象物体(例えばドローン等の飛行物体)とし、これを検知する対象物体検知装置に関するものである。
[Overview of the present invention]
The present invention relates to a target object detection device that detects an object that is present in a predetermined monitoring area and moves while emitting an acoustic signal of a predetermined level or higher as a target object (for example, a flying object such as a drone).
対象物体検知装置にレーダとマイクアレイを備え、これら双方で物体を検知すると、対象である検知物体(音を出して移動する物体)を検知したとして警報を出力する場合、検知物体をレーダで検知後に、検知方向にマイクアレイの指向性を制御して物体の有無を判定しようとしても検知物体が既に他の場所へ移動してしまうと、対象物体と判定できない可能性がある。 The target object detection device is equipped with a radar and a microphone array, and when an object is detected by both of them, an alarm is output when a target object (a moving object that emits sound) is detected, and the detected object is detected by the radar. Later, even if an attempt is made to determine the presence or absence of an object by controlling the directivity of the microphone array in the detection direction, if the detected object has already moved to another location, it may not be possible to determine the target object.
そこで、本発明の対象物体検知装置は、マイクアレイを構成するマイクロホンで所定時間データ(音響信号)のバッファリングを実行しておき、レーダが物体を検知すると、マイクアレイがレーダから物体の検知時刻を取得し、バッファリングされたデータを処理して物体の検知時刻における音源方向を特定し、レーダが検知した物体の方向と特定した音源方向とが略一致すれば対象物体があると判定する機能を有する。 Therefore, the target object detection device of the present invention performs buffering of data (sound signal) for a predetermined time by the microphones constituting the microphone array, and when the radar detects the object, the microphone array detects the object detection time from the radar. A function that processes the buffered data, specifies the sound source direction at the detection time of the object, and determines that the target object is present if the direction of the object detected by the radar substantially matches the specified sound source direction. Having.
[対象物体検知装置の構成について]
図1に示すように、本実施の形態の対象物体検知装置1は、物体検知部2、音響信号入力部3、撮像部4、制御部5、表示部6を含んで概略構成される。
[About configuration of target object detection device]
As shown in FIG. 1, a target
対象物体検知装置1は、図2の点線で示す円aの中心に設置され、半球面を監視範囲Eとしている。対象物体検知装置1は、物体検知部2により監視範囲E内の対象物体Wを検知したと判定すると、物体検知部2の近傍に設置された撮像部4により対象物体Wを含む撮像が行われる。以下、対象物体Wを飛行物体として説明する。
The target
[物体検知部(監視用レーダ)]
物体検知部2は、監視範囲E内の飛行物体Wを検知する監視用レーダで構成される。監視用レーダ2は、監視領域の所定箇所に固定設置され、複数のレーダを組み合わせて半球面の監視範囲Eを監視する構成としている。
[Object detection unit (monitoring radar)]
The
監視用レーダ2は、レーダから送信される送受信波として周波数変調された連続波を使用して測距を行うFM−CW方式を採用し、所定周期(例えば1回転/1秒)で方位角方向に所定の水平ビーム幅(例えば2度)のビームを360度回転させ、所定周期(例えば3ms)ごとに電波を送受信することで、飛行物体Wの方位角を検知できる。
The
また、監視用レーダ2の回転速度は、レーダの最大検知距離(例えば100m)に応じて決定されるビームの往復時間と比較して、アンテナが停止しているとみなせるほど小さい速度に設定される。
Further, the rotation speed of the
仰角方向は、斜め上方、及び上空方向に水平ビーム幅より広い送信ビーム(例えば60度)を放射し、斜め上方に送信した領域を上下に分割した領域からの電波を受信する2つの受信アンテナ、及び上空方向からの受信波を受信する2つの受信アンテナ(例えば30度)を用いて監視領域内に侵入した飛行物体Wからの反射波を受信する。 Two receiving antennas that radiate a transmission beam (for example, 60 degrees) wider than the horizontal beam width in the diagonally upward direction and the sky direction in the elevation direction, and receive radio waves from a vertically divided area that is transmitted diagonally upward, And a reflected wave from the flying object W that has entered the monitoring area by using two receiving antennas (for example, 30 degrees) that receive a received wave from the sky direction.
監視用レーダ2は、レーダ方式としてはFM−CW方式が採用することで、レーダを中心とした飛行物体Wの方位角、物体までの距離、速度、受信強度、検知した受信アンテナが監視する仰角範囲の情報が取得できる。
The
さらに監視用レーダ2の構成について図3を参照しながら説明する。ここでの監視用レーダ2は、斜方監視用レーダと天面監視用レーダによる2つのレーダ装置を組み合わせて半球面の監視範囲Eを監視する構成としている。以下、2つのレーダ装置にFM−CWレーダを用いた場合を例にとって説明する。
Further, the configuration of the
図3は2つのレーダ装置で構成される監視領域のイメージを示している。固定位置に設置されたFM−CWレーダは、図3に示すように、斜め上方、及び上空方向のそれぞれに送信ビームT1,T2を放射し、斜め上方に送信した領域を上下に分割した領域からの電波R1を受信する2つの受信アンテナ、及び上空方向からの電波R2を受信する2つの受信アンテナを用いて監視領域内に存在する飛行物体Wからの反射ビームを受信する。 FIG. 3 shows an image of a monitoring area composed of two radar devices. As shown in FIG. 3, the FM-CW radar installed at the fixed position emits transmission beams T1 and T2 obliquely upward and in the sky direction, respectively. The reflected beam from the flying object W existing in the monitoring area is received by using two receiving antennas for receiving the radio wave R1 and the two receiving antennas for receiving the radio wave R2 from above.
ここでは、FM−CWレーダの原理の詳細な説明については省略するが、その概略について説明すると、監視用レーダ2としてのFM−CWレーダは、送信アンテナ、複数の受信アンテナ、送受信装置、A/D変換器、信号処理装置を含んで構成される。
Although the detailed description of the principle of the FM-CW radar is omitted here, the FM-CW radar as the
各部について説明すると、送信アンテナは、送信ビームを前方に放射する。仰角範囲の異なる複数の受信アンテナは、送信ビームの範囲あるいは、送信ビームの範囲を分割した監視領域からの電波を受信する。送受信装置は、FM−CW送信波を生成し、また受信ビームを信号処理装置で処理可能な周波数に変換する。A/D変換器は、送受信装置が出力する受信ビーム強度をデジタル変換する。信号処理装置は、A/D変換器が出力する受信ビーム強度から監視領域にある飛行物体Wの相対距離、相対速度、及び受信ビーム中の飛行物体Wからの反射ビーム成分の強度を求める。 Describing each part, the transmission antenna radiates a transmission beam forward. The plurality of receiving antennas having different elevation ranges receive radio waves from a transmission beam range or a monitoring area obtained by dividing the transmission beam range. The transmission / reception device generates an FM-CW transmission wave and converts the reception beam into a frequency that can be processed by the signal processing device. The A / D converter converts the received beam intensity output from the transmission / reception device into a digital signal. The signal processing device obtains the relative distance and relative velocity of the flying object W in the monitoring area from the intensity of the received beam output from the A / D converter, and the intensity of the reflected beam component from the flying object W in the received beam.
さらに説明すると、信号処理装置では、A/D変換器から入力した反射ビームの信号の周波数分析を行い、各周波数における信号強度を演算する。次に、信号強度が閾値以上となる周波数を求めて、その周波数を飛行物体Wからの反射ビーム成分の周波数とする。そして、求めた飛行物体Wからの反射ビーム成分の周波数と、送信ビームの周波数の差を演算してビート周波数を算出し、このビート周波数から飛行物体Wの相対距離、相対速度を演算して出力する。また、信号処理装置は、回転させているレーダがどの位置で飛行物体Wを検知したかに基づいて方位角を出力する。さらに、信号処理装置は、複数ある受信アンテナの内、いずれかで受信したかを出力する。これにより、仰角範囲を求めることができる。 More specifically, the signal processing device analyzes the frequency of the reflected beam signal input from the A / D converter, and calculates the signal strength at each frequency. Next, a frequency at which the signal intensity is equal to or higher than the threshold is obtained, and the frequency is set as the frequency of the reflected beam component from the flying object W. Then, the beat frequency is calculated by calculating the difference between the calculated frequency of the reflected beam component from the flying object W and the frequency of the transmission beam, and the relative distance and relative speed of the flying object W are calculated and output from the beat frequency. I do. In addition, the signal processing device outputs an azimuth angle based on at which position the rotating radar has detected the flying object W. Further, the signal processing device outputs which one of the plurality of receiving antennas has received the signal. Thereby, the elevation angle range can be obtained.
尚、監視用レーダ2は、監視領域に存在する飛行物体Wの相対距離、相対速度、及び受信ビーム中の飛行物体Wからの反射ビーム成分の強度などの飛行物体Wに関する各種情報を取得できればよく、図3に示すFM−CWレーダに限定されるものではない。例えば、他のレーダ方式として、2周波CW、パルスドップラレーダを適用することができる。また、レーダ以外のセンサとして、走査型のレーザエリアセンサを適用することもできる。
The
[音響信号入力部]
音響信号入力部3は、複数のマイクロホンからなるマイクアレイ、マイクアンプ、多チャンネルA/D変換器などを含んで構成される。
[Acoustic signal input section]
The sound
図4はマイクアレイの入力部のイメージ図を示す。マイクアレイのマイクロホンは、音源の3次元的な空間位置を測定するため、3個のマイクロホンと、これら3個のマイクロホンと同一面ない1個のマイクロホンの計4個のマイクロホンを最低限必要とする。図4は三角推の各辺上に複数のマイクロホンMを所定間隔で配置した例を示している。 FIG. 4 shows an image diagram of the input section of the microphone array. In order to measure the three-dimensional spatial position of the sound source, the microphones in the microphone array require a minimum of four microphones, three microphones and one microphone that is not flush with these three microphones. . FIG. 4 shows an example in which a plurality of microphones M are arranged at predetermined intervals on each side of the triangulation.
尚、マイクロホンの数は、多ければノイズ抑圧性能、方向検出精度が向上し、監視用レーダ2との監視距離に応じて適宜設定される。
Note that the number of microphones increases as noise suppression performance and direction detection accuracy improve, and is appropriately set according to the monitoring distance from the
また、マイクロホンの入力部は、図4の形状に限定されることはなく、例えば球面状とし、この球面にマイクロホンを配置するようにしてもよい。 Further, the input unit of the microphone is not limited to the shape shown in FIG. 4, but may be, for example, a spherical shape, and the microphone may be arranged on this spherical surface.
監視領域内の音響信号取得手段であるマイクロホンは、無指向性のコンデンサマイクを採用することができる。 An omni-directional condenser microphone can be used as a microphone that is an acoustic signal acquisition unit in the monitoring area.
また、マイクロホンの間隔は、飛行物体Wが発生する音響信号の主要周波数帯域(波長)との関係で十分に方向推定が可能な値(位相差が生じ易い)に設定される。 In addition, the distance between the microphones is set to a value (a phase difference is likely to occur) in which the direction can be sufficiently estimated in relation to the main frequency band (wavelength) of the acoustic signal generated by the flying object W.
音響信号入力部3は、マイクロホンが取得した音響信号をマイクアンプで増幅した後にA/D変換器によりデジタル信号に変換して制御部5に出力する。
The sound
[撮像部]
撮像部4は、パン、チルト、ズーム機能を備えた高解像度、高感度のカメラで構成される。撮像部4は、監視領域を撮像可能な位置に固定設置され、制御部5の制御により、パン、チルト及びズームが可能であり、目標の飛行物体Wが画面中央に映し出せるように撮像範囲が可変される。
[Imaging unit]
The imaging unit 4 is configured by a high-resolution, high-sensitivity camera having pan, tilt, and zoom functions. The imaging unit 4 is fixedly installed at a position where the monitoring area can be imaged, and can be panned, tilted, and zoomed under the control of the
撮像部4は、監視用レーダ2と連動し、監視用レーダ2で検知した飛行物体Wの位置情報に基づく制御部5の制御により、飛行物体Wが画像中心になるように旋回台を旋回、上下方向を調整し、撮像画像を制御部5を介して表示部6に送信し、モニタ表示する。
The imaging unit 4 is linked with the
尚、音響信号入力部3と撮像部4は、監視用レーダ2の上部または下部、あるいは監視用レーダ2近傍の別の場所に設置されてもよい。また、監視用レーダ2、音響信号入力部3及び撮像部4の相対位置は、対象物体検知装置1の後述の記憶部5bとは異なる不図示の記憶部に記憶されている。
The acoustic
[制御部]
制御部5は、監視用レーダ2の出力(各レーダ出力)、音響信号入力部3の出力(マイクアレイの出力)を信号処理して飛行物体W(例えばドローン)と判定すると、撮像部4が撮像したカメラ画像を表示部6へ出力するものであり、レーダ信号処理部5a、記憶部5b、音響信号処理部5c、判定部5dを含んで構成される。
[Control unit]
When the
上記各処理部は1つの装置内に含んで構成されるようにしてもよいし、複数の離れた装置内に各々制御部を設けて実現するようにしてもよい。例えば、監視用レーダ2と監視用レーダ2の信号を処理するレーダ信号処理部5aを含む制御部で構成する装置と、マイクアレイとマイクアレイの信号を処理する音響信号処理部5cを含む制御部で構成する装置を通信網を介して接続し本対象物体検知装置1を実現するようにしてもよい。この場合、2つの装置間で伝送遅延が生じても、監視用レーダ2で飛行物体Wを検知した検知時刻情報を検知情報と共に音響信号処理部5c側へ送信することで飛行物体Wを検知した時刻における音響信号の有無を確認できる。
Each of the processing units may be configured to be included in one device, or may be realized by providing a control unit in a plurality of separated devices. For example, a control unit including a
(レーダ信号処理部)
レーダ信号処理部5aは、監視用レーダ2が出力した情報からノイズ除去処理等を行い、監視用レーダ2が出力した信号の強度、大きさ、速度などから飛行物体Wである可能性があるか否かの判定を行う。
(Radar signal processing unit)
The radar
(記憶部)
記憶部5bは、音響信号入力部3のマイクアレイの各マイクロホンが取得した音響信号に、音響信号を取得した時刻情報を関連付け、現在から遡った過去一定期間分のデータを一時記憶するリングバッファとして機能するメモリで構成され、メモリの容量がフルになると古いデータから消去される。
(Storage unit)
The
尚、バッファサイズはレーダ信号処理部5aでの処理遅延時間、レーダ信号処理部5aと音響信号処理部5cを別々の装置して実現した場合の伝送遅延時間などの遅延時間に基づき少なくとも設定される。或いは監視領域内に複数の飛行物体Wが検知されている場合に優先順位に基づいて飛行物体Wの出現から消失までを追跡してから、他の飛行物体Wの追跡を開始してもよいように、ある程度の余裕を持ってバッファサイズを設定するようにしてもよい。
Note that the buffer size is set at least based on a processing delay time in the radar
(音響信号処理部)
音響信号処理部5cは、音響信号入力部3のマイクアレイの出力信号を処理して音源方向の特定を行う。この音源方向の特定を行うための音源方向特定処理は、相関関数、遅延和アレイ、高分解能法などが知られている(大賀、山崎、金田共著”音響システムとディジタル処理”電子情報通信学会、1995年、pp.199-200)。
(Acoustic signal processing unit)
The sound
ここでは遅延和アレイを用いた場合を例にとって、その原理について説明する。説明を簡単にするため、間隔dで直線上に配置されたマイクロホンM1 〜Mm に対し、音源がθL の方向から到来すると、基準となるマイクロホンM1 で受音される信号と他のマイクロホンで受音される信号の間には(m−1)(dsinθL )/cの遅延が発生する。 Here, the principle will be described using a case where a delay-and-sum array is used as an example. For the sake of simplicity, when the sound source arrives from the direction of θ L with respect to the microphones M 1 to M m arranged on a straight line at an interval d, the signal received by the reference microphone M 1 and another signal A delay of (m−1) (dsin θ L ) / c occurs between signals received by the microphone.
各マイクロホンから受音した信号に各々遅延を付加すると、各マイクロホンから受音した信号が同相化され、この同相化された信号を加算すると、音源方向θL から到来する信号が強調される。一方でθL 以外から到来する信号は、同相化されないため加算しても強調されない。これにより、指向性を音源方向に向けるように制御できる。直線ではなく三次元的に配置されたマイクアレイの場合もマイクロホン位置が既知であるため、幾何学的に特定方向から到来する信号を同相化することができる。 The addition of each delay received sound signals from the microphones, signals received sound from the microphones are in phase with, adding the in-phase coded signal, the signal arriving from the sound source direction theta L is emphasized. On the other hand, signals arriving from sources other than θ L are not in-phased and are not emphasized even when added. Thereby, the directivity can be controlled to be directed to the sound source direction. Also in the case of a microphone array arranged three-dimensionally instead of a straight line, the microphone position is known, so that signals arriving from a specific direction can be geometrically in-phase.
ここで、目的の方向θL を走査して、マイクアレイの出力信号を監視し、出力信号が最大となった角度が音源方向と特定できる。 Here, the output signal of the microphone array is monitored by scanning the target direction θ L , and the angle at which the output signal becomes maximum can be specified as the sound source direction.
本発明においては、レーダ信号処理部5aから、飛行物体Wの検知情報として、方位角と、どの受信アンテナが検知したかに基づき仰角範囲の情報が取得される。
In the present invention, information on the elevation angle range is acquired from the radar
そして、記憶部5bに記憶された監視用レーダ2で検知した時刻情報に対応する各マイクロホンの信号に対し、方位角は監視用レーダ2から取得した値を用い、仰角方向は検知した受信アンテナが監視する角度範囲の中で走査してマイクアレイの出力信号を監視し、パワーが最大となった角度を仰角として特定する。
Then, for the signal of each microphone corresponding to the time information detected by the
このように、音響信号処理部5cでは、レーダ信号処理部5aから取得した方位角と仰角範囲情報を取得することで走査範囲を絞ることができ、処理が高速化できる。また、複数の音源が存在する場合であっても、対象である飛行物体Wの方向のみ音源の有無を判定すればよく、処理の高速化を図ることができる。
As described above, the acoustic
(判定部)
判定部5dは、レーダ信号処理部5aで検知した飛行物体Wの方向に、音響信号入力部3のマイクアレイの出力信号である遅延和信号が所定値以上であれば対象である飛行物体Wを検知したと判定する。
(Judgment unit)
The
具体的に、判定部5dは、遅延和処理された遅延和信号の最大振幅値、或いは所定期間内のパワー平均値が所定の閾値を超えるか否かで音響信号の有無を判定する。
Specifically, the
尚、音響信号は距離に応じて減衰するため、上記閾値は、マイクロアレイからの距離に応じて小さくなるように設定されるのが望ましい。通常、マイクアレイによる遅延和処理では音源方向が特定できるが音源までの距離は特定できない。しかし、距離情報を監視用レーダ2から取得することで、遅延和信号出力が、当該距離に応じて設定された閾値を越えていると音響信号があると判定できる。この距離に応じて設定される閾値は、音響信号の距離減衰の理論値に基づいて設定されてもよいし、マイクアレイの設定環境に応じた実験値に基づいて設定されるようにしてもよい。
Since the sound signal is attenuated according to the distance, it is desirable that the threshold value is set so as to decrease according to the distance from the microarray. Normally, in the delay-and-sum processing by the microphone array, the sound source direction can be specified, but the distance to the sound source cannot be specified. However, by acquiring the distance information from the
[表示部]
表示部6は、制御部5と接続されて監視卓に設置され、監視用レーダ2で検知した付近のカメラ画像を表示するモニタである。
[Display]
The display unit 6 is a monitor that is connected to the
表示部6は、監視用レーダ2が監視領域内で飛行物体Wを検知すると、制御部5の制御により、監視用レーダ2近傍の撮像部4が撮像したカメラ画像を表示させる。その際、制御部5は、監視用レーダ2から取得した飛行物体Wの位置情報に基づき撮像部4のパン・チルト・ズーム制御(以下、PTZ制御と言う)を行い、検知した飛行物体Wが画面中央に映し出せるようにする。
When the
[対象物体検知装置の動作について]
次に、上記のように構成される対象物体検知装置1における制御部5の動作について図5のフローチャートを参照しながら説明する。
[Operation of target object detection device]
Next, the operation of the
尚、ここでは、監視領域内に進入した人工的な飛行物体であって、有人無人を問わず、自律的或いは人が操作するものであり、飛行時に音響信号を発生させる飛行物体を対象物体Wとする。具体的な対象物体Wとしては、例えばドローン等のマルチコプター、ヘリコプター、ラジコン飛行機等が上げられる。 Here, an artificial flying object that has entered the monitoring area, whether manned or unmanned, is operated autonomously or by a person, and is a flying object that generates an acoustic signal during flight. And Specific examples of the target object W include a multicopter such as a drone, a helicopter, and a radio control airplane.
まず、制御部5は、監視用レーダ2が飛行物体Wを検知しているか否かを判定する(S101)。尚、監視用レーダ2が複数の飛行物体Wを検知している場合は、監視領域内に存在する重要監視ポイントにより近い飛行物体Wから処理を行う。
First, the
制御部5のレーダ信号処理部5aは、監視用レーダ2が反射波より飛行物体Wを検知すると(S101−Y)、レーダ信号処理として、監視用レーダ2からのレーダ信号に対してノイズ除去処理を行う(S102)。その後、検知した飛行物体Wの飛行速度、大きさ等から明らかに鳥や、ビニール袋等の飛来物は非対象物体として除外する。
When the
制御部5は、S102の処理の結果、対象物体である飛行物体Wの可能性があるかを判定し(S103)、飛行物体Wの大きさが所定以上である等の判定条件を満たし、対象物体である飛行物体Wの可能性がある場合はS104に進み、非対象物体とした飛行物体Wの場合はS107に進む。
As a result of the processing in S102, the
制御部5は、対象物体である飛行物体Wの可能性があると判定すると(S103−Y)、レーダ信号処理部5aから検知した飛行物体Wの距離情報、方位角、複数ある受信アンテナのいずれが受信したかの情報(受信領域を特定する情報)を取得する。また、制御部5は、対象物体である飛行物体Wの可能性があると判定した時刻情報もあわせて取得する。
When determining that there is a possibility that the flying object W is the target object (S103-Y), the
続いて、制御部5は、飛行物体Wを検知した時刻情報に対応するマイクロホンの入力信号を記憶部5bから読み出す。この読み出したマイクロホンの入力信号に対し、監視用レーダ2から取得した方位角、仰角範囲の情報に基づき、仰角範囲で遅延和処理により角度を走査させ、マイクアレイの出力が最大となる角度を飛行物体Wの仰角として特定する(S104)。
Subsequently, the
制御部5は、監視用レーダ2で求めた方位角、S104で遅延和処理により求めた仰角で特定される方向においてマイクアレイの遅延和信号の最大振幅値、或いは所定期間内のパワー平均値が所定の閾値を超えるか否かで音響信号の有無を判定する(S105)。
The
尚、上記閾値は、監視用レーダ2から取得した距離情報に基づき選択され、前述したように、マイクアレイからの距離に応じて小さくなるように設定される。
The threshold value is selected based on the distance information acquired from the
制御部5は、S103の監視用レーダ2による判定結果、S105のマイクアレイによる判定結果により、検知した飛行物体が対象物体であると判定すると(S105−Y)、優先的に警戒すべきか否かの優先順位を設定する(S106)。本例では、最初に検知した物体の優先順位を1位とする。仮に、他に優先順位が設定されている物体がある場合は、いずれの物体が優先的に警戒すべきかを判定し、優先順位を設定する。
When the
尚、優先順位の設定は、監視領域内に存在する重要監視ポイントへの距離、接近速度等に応じて比較し、設定される。 The priority order is set by comparing the distance to an important monitoring point existing in the monitoring area, the approach speed, and the like.
制御部5は、優先順位が設定されるか(S106)、対象物体である飛行物体Wの可能性がないと判定すると(S103−N)、監視領域内に他の飛行物体Wが有るか否かを判定する(S107)。制御部5は、監視領域内に他の飛行物体Wがあり、監視領域内に複数の飛行物体Wがあると判定すると(S107−Y)、S102へ戻る。
If the
制御部5は、監視領域内に他の飛行物体Wが無いと判定すると(S107−N)、監視領域内に存在する検知すべき対象物体の中で最も優先的に警戒すべき飛行物体Wの情報を撮像部4へ送る(S108)。その際、撮像部4に送信する情報は、現在の飛行物体Wの位置情報である。
When determining that there is no other flying object W in the monitoring area (S107-N), the
撮像部4は、制御部5から現在の飛行物体Wの位置情報を取得すると、優先的に警戒すべき飛行物体Wの位置等に応じてカメラを飛行物体Wの検知方向にPTZ制御し、撮像を行う。このとき撮像した画像は、表示部6に表示、或いは記憶部5bに記憶する。
When acquiring the current position information of the flying object W from the
ところで、上述した処理において、新たな飛行物体Wが検知された場合には、更新処理として、飛行物体Wの優先順位が設定される。また、更新処理では、既に検知済みであり継続検知している飛行物体Wが消失、移動等により優先順位が変更していないかが判定される。そして、最優先の警戒対象の飛行物体Wが変更されていると、その情報(位置情報等)を撮像部4へ送る。 By the way, in the above-described processing, when a new flying object W is detected, the priority of the flying object W is set as the update processing. In the update processing, it is determined whether the flying object W that has already been detected and continuously detected has not been changed in priority due to disappearance, movement, or the like. Then, when the flying object W of the highest priority is changed, the information (position information and the like) is sent to the imaging unit 4.
このように、本実施の形態の対象物体検知装置は、監視領域から取得した複数の音響信号を時刻情報とともに記憶部5bに記憶しておき、監視用レーダ2にて物体を検知したときに、この物体を検知対象として検知した検知時刻に対応する記憶部5bの音響信号を処理して検知時刻における音源方向を特定し、物体を検知した方向と特定した音源方向とが略一致したときに対象物体があると判定する。これにより、対象物体を失報することなく、かつ監視領域の騒音源を誤報として検知することなく、対象物体の位置を精度良く求めることができる。
As described above, the target object detection device according to the present embodiment stores the plurality of acoustic signals acquired from the monitoring area in the
以上、本発明に係る対象物体検知装置の最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。 As described above, the best mode of the target object detection device according to the present invention has been described, but the present invention is not limited by the description and the drawings according to this mode. That is, it goes without saying that all other forms, examples, operation techniques, and the like made by those skilled in the art based on this form are included in the scope of the present invention.
1 対象物体検知装置
2 物体検知部(監視用レーダ)
3 音響信号入力部
4 撮像部
5 制御部
5a レーダ信号処理部
5b 記憶部
5c 音響信号処理部
5d 判定部
6 表示部
E 監視範囲
M マイクロホン
W 対象物体(飛行物体)
1 Target
Claims (5)
空間上に複数配置された音響信号入力手段と、
前記複数の音響信号入力手段に入力した複数の音響信号を時刻情報と共に現在から遡った過去所定時間分記憶する記憶手段と、
前記複数の音響信号を処理して音源方向を特定する音響信号処理手段と、
を備えた対象物体検知装置であって、
前記音響信号処理手段は、前記物体検知手段が物体を検知すると、検知時刻を取得し、前記記憶手段に記憶された前記検知時刻における前記音響信号を処理して音源方向を特定し、前記検知した物体の方向と前記特定した音源方向が略一致すると対象物体があると判定することを特徴とする対象物体検知装置。 An object detection unit that transmits a predetermined transmission wave and that can detect a distance and a direction of at least an object from a reflected wave with respect to the transmission wave,
Sound signal input means arranged in a plurality of spaces,
Storage means for predetermined past time period storage going back from the current with time information a plurality of acoustic signals input to the plurality of acoustic signal input means,
Sound signal processing means for processing the plurality of sound signals to identify a sound source direction,
An object detection device comprising:
Said sound signal processing means, when said object detecting means detects the object, obtains the detection time, and processes the acoustic signal in said stored detection time in the storage means to identify the sound source direction, and the detection A target object detection device that determines that there is a target object when the direction of the object and the specified sound source direction substantially match.
前記音響信号処理手段は、前記仰角範囲内で、前記音響信号を遅延和処理により生成した遅延和信号が最大となる仰角において、当該遅延和信号が閾値以上であると対象物体があると判定する請求項1に記載の対象物体検知装置。 The object detecting means includes an antenna for transmitting and receiving radio waves having a narrow beam width in the azimuth direction and a wide beam width in the elevation direction, and a rotation mechanism for rotating the antenna at a predetermined cycle, and a transmission wave transmitted from the antenna. It is possible to specify the distance and azimuth angle from the reflected wave to the detection object, and the elevation angle range,
The sound signal processing means determines that there is a target object when the delay sum signal is equal to or larger than a threshold value at an elevation angle at which the delay sum signal generated by performing the delay sum processing on the audio signal is maximum within the elevation angle range. The target object detection device according to claim 1.
前記音響信号処理手段は、前記物体検知手段から距離情報を取得し、当該距離において設定された閾値と前記遅延和信号を比較して対象物体の有無を判定する請求項2または3に記載の対象物体検知装置。 The value of the threshold is set to be smaller as the distance increases,
4. The object according to claim 2, wherein the sound signal processing unit acquires distance information from the object detection unit, and determines the presence or absence of the target object by comparing a threshold set at the distance with the delay sum signal. 5. Object detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016064257A JP6672037B2 (en) | 2016-03-28 | 2016-03-28 | Target object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016064257A JP6672037B2 (en) | 2016-03-28 | 2016-03-28 | Target object detection device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017181100A JP2017181100A (en) | 2017-10-05 |
JP2017181100A5 JP2017181100A5 (en) | 2019-04-04 |
JP6672037B2 true JP6672037B2 (en) | 2020-03-25 |
Family
ID=60004343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016064257A Active JP6672037B2 (en) | 2016-03-28 | 2016-03-28 | Target object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6672037B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877468A (en) * | 1994-09-08 | 1996-03-22 | Ono Denki Kk | Monitor device |
JPH08201514A (en) * | 1995-01-26 | 1996-08-09 | Matsushita Electric Ind Co Ltd | Ultrasonic distance measuring instrument |
JP2980076B2 (en) * | 1997-09-30 | 1999-11-22 | 日本電気株式会社 | Automatic object classification device, automatic object classification method, and storage medium recording automatic object classification program |
JP2003098254A (en) * | 2001-09-26 | 2003-04-03 | Mitsubishi Electric Corp | Device for identifying target |
JP2006168421A (en) * | 2004-12-13 | 2006-06-29 | Toshiba Corp | Flying object monitoring device |
JP5242452B2 (en) * | 2009-02-27 | 2013-07-24 | 株式会社熊谷組 | Sound source estimation method and apparatus |
US9250315B2 (en) * | 2009-03-04 | 2016-02-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collision avoidance system and method |
IL212674A0 (en) * | 2011-05-04 | 2011-07-31 | Yaacov Frucht | System and method for detecting an intrusion |
-
2016
- 2016-03-28 JP JP2016064257A patent/JP6672037B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017181100A (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1441318B1 (en) | Security system | |
JP5710000B2 (en) | Object detection device | |
WO2017135371A1 (en) | Multicopter with radar system | |
US20190339384A1 (en) | System and method of radar-based obstacle avoidance for unmanned aerial vehicles | |
US10460585B2 (en) | RFID directed video snapshots capturing targets of interest | |
US5652588A (en) | Surveillance system including a radar device and electro-optical sensor stations | |
JP7200641B2 (en) | COMMUNICATION CONTROL METHOD, COMMUNICATION CONTROL DEVICE, AND COMMUNICATION CONTROL PROGRAM | |
KR101793942B1 (en) | Apparatus for tracking sound source using sound receiving device and method thereof | |
KR20150003893U (en) | An Automated System for Military Surveillance and Security utilizing RADAR and DRONE | |
JP6644561B2 (en) | Flying object monitoring system | |
JP6840566B2 (en) | Object detector | |
JP6672038B2 (en) | Target object detection device | |
US20200278444A1 (en) | Determining relevant signals using multi-dimensional radar signals | |
CA2520091C (en) | Detection system, method for detecting objects and computer program therefor | |
JP6672037B2 (en) | Target object detection device | |
JP6679371B2 (en) | Object detection device | |
JP6679357B2 (en) | Flying object monitoring system | |
JP6660192B2 (en) | Flying object monitoring system | |
JP6679372B2 (en) | Object detection device | |
JP7306030B2 (en) | Target motion estimation device and target motion estimation method | |
KR101627617B1 (en) | System and method for searching location using rf radar | |
JP6391528B2 (en) | Sensor system | |
JP2017135549A (en) | Flying object monitoring system | |
KR101736340B1 (en) | underwater target tracking system | |
KR101279371B1 (en) | Attack system and method for controlling thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6672037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |