WO2020188697A1 - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
WO2020188697A1
WO2020188697A1 PCT/JP2019/011160 JP2019011160W WO2020188697A1 WO 2020188697 A1 WO2020188697 A1 WO 2020188697A1 JP 2019011160 W JP2019011160 W JP 2019011160W WO 2020188697 A1 WO2020188697 A1 WO 2020188697A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
detected
monitoring system
radar device
foreign matter
Prior art date
Application number
PCT/JP2019/011160
Other languages
English (en)
French (fr)
Inventor
亮喜 原本
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to PCT/JP2019/011160 priority Critical patent/WO2020188697A1/ja
Priority to JP2021506850A priority patent/JPWO2020188697A1/ja
Publication of WO2020188697A1 publication Critical patent/WO2020188697A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system that automatically detects and photographs an object existing in the monitoring area.
  • a monitoring system that automatically detects an object (for example, a foreign substance) existing in the monitoring area by a radar device has been put into practical use.
  • Such a monitoring system is effective for monitoring areas where access to people is restricted, such as airport runways and highways.
  • Patent Document 1 when an object is detected within the detection range, it is determined whether or not the object is a moving body based on the radar detection result, and when it is determined that the object is a moving body, An invention is disclosed in which the radar operation is stopped from the time when the reflected received power by the object exceeds a preset threshold value until the time calculated based on the moving speed of the object elapses.
  • FIG. 1 shows an outline of a surveillance system in which a radar device and a camera are linked.
  • the monitoring system of FIG. 1 has a configuration in which a foreign object R detected by the radar device 10 is photographed by the camera 20 and the image is displayed on the monitor 30.
  • the shooting range of the camera 20 is the shaded range indicated by X1 and X2.
  • the runway at the airport is provided with a slope that gradually descends from the center line of the runway to the left and right in order to improve drainage.
  • the terrain of the monitoring area is not limited to a flat surface, and the terrain of the monitoring area may have undulations.
  • the directional control of a general camera does not consider the undulations of the terrain. For this reason, the camera is simply pointed at the point where the foreign matter is detected by the radar device, but depending on the terrain, the foreign matter R may come off from the camera image (monitor 30) as shown in FIG. There is concern that mistakes will occur. Further, even if the foreign matter R is photographed, a photographing error may occur in which the image is not photographed in the center of the monitor 30. It is considered that such a shooting error is likely to occur when the shooting magnification is increased in order to obtain a magnified image of a foreign substance.
  • the present invention has been made in view of the above-mentioned conventional circumstances, and provides a monitoring system capable of reducing shooting errors when shooting an object detected by a radar device with a camera. With the goal.
  • the monitoring system is configured as follows. That is, in a monitoring system that photographs an object detected in a monitoring area by a radar device with a camera, the camera control device that controls the camera so as to photograph a point where the object is detected by the radar device is provided.
  • the camera control device is characterized in that the depression angle of the camera is adjusted based on the terrain height of the point where the object is detected.
  • the camera control device may be further configured to adjust the direction angle of the camera based on the coordinates on the two-dimensional plane of the point where the object is detected.
  • the camera control device may be configured to adjust the shooting magnification of the camera based on the distance in the three-dimensional space from the camera to the object.
  • the camera control device may be configured to acquire the terrain height of the point where the object is detected by using the map data in which the terrain height of the monitoring area is set.
  • the terrain height is set in block units obtained by dividing the monitoring area into a mesh shape, and the camera control device determines the terrain height of the block including the point where the object is detected. It may be configured to be acquired from the map data.
  • the monitoring system may be further configured to include a monitor for displaying an image taken by the camera.
  • the present invention it is possible to provide a monitoring system capable of reducing shooting errors when shooting an object detected by a radar device with a camera.
  • FIG. 1 It is a figure which shows the outline of the surveillance system which interlocked the radar device and the camera. It is a figure explaining the problem of the monitoring system of FIG. It is a figure which shows the schematic structure of the monitoring system which concerns on one Embodiment of this invention. It is a figure which shows the flowchart example of the camera control by the monitoring system of FIG. It is a figure which shows the positional relationship between a radar device and a foreign matter. It is a figure explaining the direction angle adjustment of a camera by the monitoring system of FIG. It is a figure explaining the depression angle adjustment of a camera by the monitoring system of FIG.
  • FIG. 3 shows a schematic configuration of a monitoring system according to an embodiment of the present invention.
  • the monitoring system of this example includes a radar device 10, a camera 20, a monitor 30, and a signal processing device 40.
  • the radar device 10 transmits a transmitted wave (radar signal) toward the monitoring area, receives the reflected wave by the reflecting object, and processes the signal, so that a foreign substance (for example, a screw or the like) existing in the monitoring area is dropped. Object) is detected.
  • a millimeter wave radar or the like that uses radio waves in the millimeter wave band can be used.
  • the camera 20 is detected by the radar device 10 by adjusting the azimuth (rotation in the plane direction), the depression angle (rotation in the vertical direction), and the imaging magnification under the control of the signal processing device 40. Take a picture of a foreign object.
  • a pan head type camera mounted on an electric pan head that rotates horizontally and vertically may be used.
  • the radar device 10 and the camera 20 are arranged in the vicinity of the monitoring area.
  • one radar device 10 and one camera 20 are arranged to face each other so as to sandwich the monitoring area from both sides, but the number and position of the radar device 10 and the camera 20 are arbitrary. .. That is, the radar device 10 and the camera 20 may be arranged so as to cover the entire monitoring area.
  • the radar device 10 and the camera 20 may be arranged adjacent to each other on one side of the monitoring area.
  • the monitor 30 receives the video data output from the camera 20 and displays the video in real time. As a result, the user can recognize the foreign matter existing in the monitoring area only by looking at the display on the monitor 30.
  • a recording device for recording the video data output from the camera 20 may be provided, the video data may be read from the recording device in response to an instruction from the user, and the video may be displayed on the monitor 30.
  • the signal processing device 40 controls the operation of the camera 20 based on the detection result of the radar device 10.
  • the radar device 10 detects a foreign matter existing in the monitoring area
  • the radar device 10 outputs a foreign matter detection signal (step S10).
  • the foreign matter detection signal includes, for example, the direction angle ⁇ of the foreign matter as seen from the radar device 10, and the distance L from the radar device 10 to the foreign matter.
  • the direction angle ⁇ is the angle of the foreign matter with respect to the reference line extending from the radar device 10 in a predetermined direction (for example, the north direction).
  • the direction angle ⁇ can be calculated from, for example, the angle at which the radar device 10 receives the reflected wave with respect to the transmitted wave.
  • the distance L is the distance in the three-dimensional space from the radar device 10 to the foreign matter.
  • the distance L can be calculated, for example, based on the time from the transmission of the transmitted wave to the reception of the reflected wave. Further, in the case of the FM-CW (Frequency Modified Continuous Wave) type radar device, the distance L can be calculated from the bandwidth and the repetition time of the radar sweep.
  • FM-CW Frequency Modified Continuous Wave
  • the signal processing device 40 calculates the coordinates of the point where the foreign matter is located based on the foreign matter detection signal (step S12). Assuming that the installation height of the radar device 10 is H, the radar device 10 and the foreign matter have a positional relationship as shown in FIG. 5, so that the distance from the radar device 10 to the foreign matter on the two-dimensional plane is sqrt (L ⁇ ). 2-H ⁇ 2). Further, assuming that the distance on the two-dimensional plane is L'and the coordinates of the installation position of the radar device 10 are (0,0), the coordinates (x1, y1) of the foreign matter are (L'* cos ⁇ , L'*. sin ⁇ ). In the above operation, “sqrt ()” is a function for calculating the square root, " ⁇ ” is a power operator, and "*" is a multiplication operator.
  • the radar device 10 calculates the distance L from the radar device 10 to the foreign matter and outputs it to the signal processing device 40.
  • the radar device 10 calculates the information necessary for calculating the distance L (for example, the time T) from the transmission of the transmitted wave to the reception of the reflected wave may be output, and the signal processing device 40 may calculate the distance L using the information.
  • the radar device 10 may calculate the coordinates (x1, y1) of the point where the foreign matter exists and output the foreign matter to the signal processing device 40.
  • the signal processing device 40 acquires the terrain height (ground height) at the point where the foreign matter is located (step S14).
  • the topographical height of the point where the foreign matter is located can be obtained from the map data including the topographical height.
  • the map data for example, as shown in FIG. 3, it is possible to use data in which the terrain height is set in block units in which the monitoring area is divided into a mesh (mesh) shape.
  • the topographical height of the block including the coordinates (x1, y1) of the point where the foreign matter exists may be obtained from the map data.
  • the map data is not limited to the format in which the terrain height is set for each block in which the monitoring area is divided into a mesh shape, and may be in a format in which the terrain height at a desired point can be acquired.
  • the signal processing device 40 adjusts the direction angle (rotation in the plane direction) of the camera 20 (step S16).
  • the adjustment of the azimuth angle of the camera 20 will be specifically described with reference to FIG.
  • the direction angle ⁇ of the foreign matter seen from the camera 20 is 90 + atan ((x2-x1) / (y2-y1)).
  • the distance Ls from the camera 20 to the foreign object on the two-dimensional plane is sqrt ((x2-x1) ⁇ 2 + (y2-y1) ⁇ 2).
  • the direction angle ⁇ is the angle of the foreign matter with respect to the reference line extending from the camera 20 in a predetermined direction (for example, the north direction).
  • Atan () is a function for calculating the reciprocal of the tangent (arc tangent).
  • the signal processing device 40 outputs a control signal for rotating the camera 20 in the plane direction so that the camera 20 faces the direction angle ⁇ obtained by the above calculation.
  • the signal processing device 40 adjusts the depression angle (rotation in the vertical direction) of the camera 20 (step S18).
  • the signal processing device 40 outputs a control signal for rotating the camera 20 in the vertical direction so that the camera 20 faces the depression angle ⁇ c obtained by the above calculation.
  • the signal processing device 40 adjusts the photographing magnification of the camera 20 (step S20).
  • the shooting magnification of the camera 20 is adjusted by using the distance Ls'in the three-dimensional space from the camera 20 to the foreign object. From the positional relationship of FIG. 7, the distance Ls'is sqrt (L' ⁇ 2 + H ⁇ 2).
  • the signal processing device 40 outputs a control signal for moving the focal length of the lens so that the point at the distance Ls' obtained by the above calculation can be magnified and photographed.
  • the signal processing device 40 outputs a control signal for causing the camera 20 to perform shooting (step S22).
  • the monitoring system of this example captures the radar device 10 that detects the foreign matter existing in the monitoring area, the camera 20 that captures the foreign matter detected by the radar device 10, and the image taken by the camera 20.
  • a monitor 30 for displaying and a signal processing device 40 for controlling the operation of the camera 20 are provided.
  • the signal processing device 40 adjusts the direction angle of the camera 20 based on the coordinates on the two-dimensional plane of the point where the foreign matter is detected, and the camera 20 is based on the topographical height of the point where the foreign matter is detected.
  • the depression angle of the camera 20 is adjusted, and the shooting magnification of the camera 20 is adjusted based on the distance from the camera 20 to the foreign object in the three-dimensional space.
  • the foreign matter detected by the radar device 10 deviates from the image of the camera 20 or deviates from the center of the monitor 30. Can be reduced. Moreover, the foreign matter detected by the radar device 10 can be photographed at a high magnification. In other words, even if the object detection range of the radar device 10 is wide, or even if the object detection range of the radar device 10 is far from the camera 20, the undulations of the terrain are based on the position information of the foreign matter detected by the radar device 10. Therefore, even if the camera 20 is zoomed in at a high magnification, the foreign matter can be photographed more reliably. Therefore, foreign matter existing in the monitoring area can be quickly confirmed without a person entering the monitoring area, and appropriate measures such as removing the foreign matter can be taken.
  • the radar device 10 corresponds to the radar device according to the present invention
  • the camera 20 corresponds to the camera according to the present invention
  • the monitor 30 corresponds to the monitor according to the present invention
  • the signal processing device 40 corresponds to the camera control device according to the present invention.
  • one radar device 10 and one camera 20 are installed in the monitoring area, but a plurality of radar devices 10 may be installed, or a plurality of cameras 20 may be installed. May be good. Further, when a plurality of cameras 20 are installed, one signal processing device 40 may be provided for one camera 20, or one signal processing device 40 may provide a plurality of cameras 20. You may control it. Further, when one signal processing device 40 controls one camera 20, the camera 20 and the signal processing device 40 may be integrally configured (for example, the signal processing device 40 is built in the camera 20). Good.
  • the monitoring system of this example is supposed to be used for monitoring areas where access to people is restricted, such as airport runways and highways, but it is not limited to such applications. , Can be used for monitoring various areas.
  • the present invention has been described in detail above, it goes without saying that the present invention is not limited to the above configuration and may be realized by a configuration other than the above. Further, the present invention stores, for example, a method or method for executing the process according to the present invention, a program for realizing such a method or method by a computer having hardware resources such as a processor or memory, and the program. It can also be provided as a storage medium or the like.
  • the present invention can be used in a monitoring system that automatically detects and captures foreign matter existing in the monitoring area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

レーダー装置により検出された物体をカメラで撮影する際の撮影ミスを低減することが可能な監視システムを提供する。　本例の監視システムは、監視エリア内に存在する異物を検出するレーダー装置１０と、レーダー装置１０により検出された異物を撮影するカメラ２０と、カメラ２０により撮影された映像を表示するモニタ３０と、カメラ２０の動作を制御する信号処理装置４０とを備える。そして、信号処理装置４０が、異物が検出された地点の２次元平面上の座標に基づいて、カメラ２０の方向角を調整し、異物が検出された地点の地形高さに基づいて、カメラ２０の俯角を調整し、カメラ２０から異物までの３次元空間上の距離に基づいて、カメラ２０の撮影倍率を調整する。

Description

監視システム及び監視方法
　本発明は、監視エリア内に存在する物体を自動的に検出して撮影する監視システムに関する。
　従来、監視エリア内に存在する物体（例えば、異物）をレーダー装置により自動的に検出する監視システムが実用されている。このような監視システムは、空港の滑走路や高速道路などのように、人の立ち入りが規制されるエリアの監視に有効である。
　このような監視システムに関し、これまでに種々の発明が提案されている。例えば、特許文献１には、検出範囲内で物体を検知した場合に、レーダー検出結果に基づいて、物体が移動体であるか否かを判定し、移動体であると判定された場合に、物体による反射受信電力が予め設定された閾値を超えた時点から、物体の移動速度に基づいて算出された時間が経過するまで、レーダー動作を停止する発明が開示されている。
国際公開第２０１８／２３５３９７
　近年、レーダー装置とカメラを連動させることで、監視エリア内に存在する異物を自動的に検出して撮影する監視システムが検討されている。図１には、レーダー装置とカメラを連動させた監視システムの概要を示してある。図１の監視システムは、レーダー装置１０により検出された異物Ｒをカメラ２０で撮影し、その映像をモニタ３０に表示する構成となっている。なお、図１及び後述する図２においてカメラ２０の撮影範囲をＸ１、Ｘ２で示す網掛け範囲とする。
　例えば、空港の滑走路は、水捌けをよくするために、滑走路の中心線から左右に向かって徐々に下がる勾配を設けてある。このように、監視エリアの地形は平面とは限られず、監視エリアの地形に起伏がある場合もある。ここで、一般的なカメラの方向制御では、地形の起伏を考慮していない。このため、レーダー装置によって異物が検出された地点に単純にカメラを向けて撮影することになるが、地形によっては、図２に示すようにカメラ映像（モニタ３０）ら異物Ｒが外れてしまう撮影ミスが発生することが懸念される。また、異物Ｒが撮影されてもモニタ３０の中央に撮影されない撮影ミスが発生する場合も考えられる。このような撮影ミスは、異物の拡大映像を得るために撮影倍率を大きくする場合に発生しやすいと考えられる。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、レーダー装置により検出された物体をカメラで撮影する際の撮影ミスを低減することが可能な監視システムを提供することを目的とする。
　上記目的を達成するために、本発明では、監視システムを以下のように構成した。
　すなわち、レーダー装置により監視エリア内で検出された物体をカメラで撮影する監視システムにおいて、前記レーダー装置により前記物体が検出された地点を撮影するように前記カメラを制御するカメラ制御装置を備え、前記カメラ制御装置は、前記物体が検出された地点の地形高さに基づいて、前記カメラの俯角を調整することを特徴とする。
　このように、レーダー装置により物体（例えば、異物）が検出された地点の地形高さを考慮してカメラの俯角を調整することで、カメラ映像から異物が外れてしまう撮影ミスの発生を低減することが可能となる。
　ここで、前記カメラ制御装置は更に、前記物体が検出された地点の２次元平面上の座標に基づいて、前記カメラの方向角を調整する構成としてもよい。
　また、前記カメラ制御装置は更に、前記カメラから前記物体までの３次元空間上の距離に基づいて、前記カメラの撮影倍率を調整する構成としてもよい。
　また、前記カメラ制御装置は、前記監視エリアについての地形高さが設定された地図データを使用して、前記物体が検出された地点の地形高さを取得する構成としてもよい。
　また、前記地図データには、前記監視エリアをメッシュ状に分割したブロック単位で地形高さが設定されており、前記カメラ制御装置は、前記物体が検出された地点を含むブロックの地形高さを前記地図データから取得する構成としてもよい。
　また、前記監視システムは更に、前記カメラにより撮影された映像を表示するモニタを備えた構成としてもよい。
　本発明によれば、レーダー装置により検出された物体をカメラで撮影する際の撮影ミスを低減することが可能な監視システムを提供することができる。
レーダー装置とカメラを連動させた監視システムの概要を示す図である。 図１の監視システムの問題点を説明する図である。 本発明の一実施形態に係る監視システムの概略的な構成を示す図である。 図３の監視システムによるカメラ制御のフローチャート例を示す図である。 レーダー装置と異物の位置関係を示す図である。 図３の監視システムによるカメラの方向角調整について説明する図である。 図３の監視システムによるカメラの俯角調整について説明する図である。
　本発明の一実施形態に係る監視システムについて、図面を参照して説明する。
　図３には、本発明の一実施形態に係る監視システムの概略的な構成を示してある。本例の監視システムは、レーダー装置１０と、カメラ２０と、モニタ３０と、信号処理装置４０とを備えている。
　レーダー装置１０は、監視エリア内に向けて送信波（レーダー信号）を送出し、反射物による反射波を受信して信号処理することで、監視エリア内に存在する異物（例えば、ネジ等の落下物）を検出する。レーダー装置１０としては、ミリ波帯の電波を用いるミリ波レーダーなどを使用することができる。
　カメラ２０は、信号処理装置４０による制御の下で、方向角の調整（平面方向の回転）、俯角の調整（上下方向の回転）、及び撮影倍率の調整を行って、レーダー装置１０により検出された異物を撮影する。カメラ２０としては、例えば、水平回転及び垂直回転を行う電動雲台に搭載される雲台型カメラを使用してもよい。
　レーダー装置１０及びカメラ２０は、監視エリアの近傍に配置される。図３の例では、監視エリアを両側から挟み込むように、各１台のレーダー装置１０とカメラ２０を互いに対向させて配置してあるが、レーダー装置１０とカメラ２０の台数や位置は任意である。すなわち、レーダー装置１０及びカメラ２０は、監視エリアを全体的にカバーできる配置であればよい。例えば、レーダー装置１０とカメラ２０を、監視エリアの片側に互いに隣接させて配置してもよい。
　モニタ３０は、カメラ２０から出力される映像データを受信し、その映像をリアルタイムに表示する。これにより、ユーザはモニタ３０の表示を見るだけで、監視エリア内で存在する異物を認識することが可能となる。なお、カメラ２０から出力される映像データを記録する記録装置を設けておき、ユーザからの指示に応じて記録装置から映像データを読み出し、その映像をモニタ３０に表示させるようにしてもよい。
　信号処理装置４０は、レーダー装置１０による検出結果に基づいて、カメラ２０の動作を制御する。以下、図４のフローチャートを参照して、具体的に説明する。
　レーダー装置１０は、監視エリア内に存在する異物を検出すると、異物検出信号を出力する（ステップＳ１０）。異物検出信号には、例えば、レーダー装置１０から見た異物の方向角φと、レーダー装置１０から異物までの距離Ｌとが含まれる。
　方向角φは、レーダー装置１０から所定方向（例えば、北方向）に延びる基準線に対する異物の角度である。方向角φは、例えば、レーダー装置１０が送信波に対する反射波を受信した角度から算出することができる。
　距離Ｌは、レーダー装置１０から異物までの３次元空間上の距離である。距離Ｌは、例えば、送信波を送信してから反射波を受信するまでの時間に基づいて算出することができる。また、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式のレーダー装置の場合は、レーダー掃引の帯域幅と繰り返し時間から距離Ｌを算出することもできる。
　信号処理装置４０は、レーダー装置１０から出力される異物検出信号を受信すると、その異物検出信号に基づいて、異物がある地点の座標を計算する（ステップＳ１２）。レーダー装置１０の設置高さをＨとすると、レーダー装置１０と異物は図５に示すような位置関係であることから、レーダー装置１０から異物までの２次元平面上の距離は、sqrt（Ｌ＾２－Ｈ＾２）となる。また、この２次元平面上の距離をＬ’とし、レーダー装置１０の設置位置の座標を（０，０）とすると、異物の座標（ｘ１，ｙ１）は、（Ｌ’＊cosφ，Ｌ’＊sinφ）となる。上記の演算において、「sqrt（）」は平方根を計算する関数であり、「＾」はべき乗の演算子であり、「＊」は乗算の演算子である。
　なお、上記の説明では、レーダー装置１０が、レーダー装置１０から異物までの距離Ｌを計算して信号処理装置４０に出力しているが、レーダー装置１０が、距離Ｌの計算に必要な情報（例えば、送信波を送信してから反射波を受信するまでの時間Ｔ）を出力し、信号処理装置４０が、その情報を用いて距離Ｌの算出を行ってもよい。あるいは、レーダー装置１０が、異物がある地点の座標（ｘ１，ｙ１）まで計算して信号処理装置４０に出力してもよい。
　次いで、信号処理装置４０は、異物がある地点の地形高さ（地面の高さ）を取得する（ステップＳ１４）。異物がある地点の地形高さは、地形高さを含む地図データから取得することができる。地図データとしては、例えば図３に示すように、監視エリアをメッシュ（網目）状に分割したブロック単位で地形高さが設定されたものを使用することができる。この場合には、地図データから、異物がある地点の座標（ｘ１，ｙ１）を含むブロックの地形高さを取得すればよい。なお、地図データは、監視エリアをメッシュ状に分割したブロック単位で地形高さを設定した形式のものに限られず、所望地点の地形高さを取得できる形式のものであればよい。
　次いで、信号処理装置４０は、カメラ２０の方向角の調整（平面方向の回転）を行う（ステップＳ１６）。図６を参照して、カメラ２０の方向角の調整について具体的に説明する。カメラ２０の設置位置の座標を（ｘ２，ｙ２）とすると、カメラ２０から見た異物の方向角θは、９０＋atan（（ｘ２－ｘ１）／（ｙ２－ｙ１））となる。また、カメラ２０から異物までの２次元平面上の距離Ｌｓは、sqrt（（ｘ２－ｘ１）＾２＋（ｙ２－ｙ１）＾２）となる。ここで、方向角θは、カメラ２０から所定方向（例えば、北方向）に延びる基準線に対する異物の角度である。また、上記の演算において、「atan（）」はタンジェントの逆数（アークタンジェント）を計算する関数である。信号処理装置４０は、上記のような演算により得られた方向角θをカメラ２０が向くように、カメラ２０を平面方向に回転させる制御信号を出力する。
　次いで、信号処理装置４０は、カメラ２０の俯角の調整（上下方向の回転）を行う（ステップＳ１８）。図７を参照して、カメラ２０の俯角の調整について具体的に説明する。カメラ２０が設置されている地点の地形高さを基準（＝０）として、カメラ２０の設置高さをＨｃ、異物がある地点の地形高さを－Ｈｒとすると、カメラ２０の俯角θｃは、atan（（Ｈｃ＋Ｈｒ）／Ｌｓ）となる。信号処理装置４０は、上記のような演算により得られた俯角θｃをカメラ２０が向くように、カメラ２０を上下方向に回転させる制御信号を出力する。
　次いで、信号処理装置４０は、カメラ２０の撮影倍率の調整を行う（ステップＳ２０）。カメラ２０の撮影倍率の調整は、カメラ２０から異物までの３次元空間上の距離Ｌｓ’を用いて行う。図７の位置関係より、距離Ｌｓ’は、sqrt（Ｌ’＾２＋Ｈ＾２）となる。信号処理装置４０は、上記のような演算により得られた距離Ｌｓ’の地点を拡大して撮影できるようにレンズの焦点距離を移動させる制御信号を出力する。
　次いで、信号処理装置４０は、カメラ２０に撮影を実行させる制御信号を出力する（ステップＳ２２）。
　以上のように、本例の監視システムは、監視エリア内に存在する異物を検出するレーダー装置１０と、レーダー装置１０により検出された異物を撮影するカメラ２０と、カメラ２０により撮影された映像を表示するモニタ３０と、カメラ２０の動作を制御する信号処理装置４０とを備える。そして、信号処理装置４０が、異物が検出された地点の２次元平面上の座標に基づいて、カメラ２０の方向角を調整し、異物が検出された地点の地形高さに基づいて、カメラ２０の俯角を調整し、カメラ２０から異物までの３次元空間上の距離に基づいて、カメラ２０の撮影倍率を調整する構成となっている。
　このような構成によれば、監視エリアの地形に起伏があったとしても、レーダー装置１０により検出された異物がカメラ２０の映像から外れてしまう、または、モニタ３０の中央から外れてしまう撮影ミスの発生を低減することができる。しかも、レーダー装置１０により検出された異物を高倍率で撮影することができる。換言すると、レーダー装置１０の物体検出範囲が広い場合、あるいは、カメラ２０からレーダー装置１０の物体検出範囲が遠い場合であっても、レーダー装置１０が検出した異物の位置情報に基づいて地形の起伏を考慮するので、カメラ２０を高倍率にズームしてもその異物をより確実に撮影することができる。したがって、監視エリアに人が立ち入ることなく、監視エリア内に存在する異物を速やかに確認することができ、異物を除去する等の適切な対応をとることが可能となる。
　ここで、本例の監視システムにおいて、レーダー装置１０は、本発明に係るレーダー装置に対応し、カメラ２０は、本発明に係るカメラに対応し、モニタ３０は、本発明に係るモニタに対応し、信号処理装置４０は、本発明に係るカメラ制御装置に対応している。
　なお、本例では、監視エリアに対してレーダー装置１０とカメラ２０を１台ずつ設置してあるが、複数台のレーダー装置１０を設置してもよいし、複数台のカメラ２０を設置してもよい。また、複数台のカメラ２０を設置する場合には、１台のカメラ２０に対して１台の信号処理装置４０を設けてもよいし、１台の信号処理装置４０が複数台のカメラ２０を制御してもよい。また、１台の信号処理装置４０が１台のカメラ２０を制御する場合には、カメラ２０と信号処理装置４０を一体的に構成（例えば、カメラ２０に信号処理装置４０を内蔵）してもよい。
　また、本例の監視システムは、空港の滑走路や高速道路などのように、人の立ち入りが規制されるエリアの監視に使用することを想定しているが、このような用途に限定されず、種々のエリアの監視に使用することが可能である。
　以上、本発明について詳細に説明したが、本発明は上記のような構成に限定されるものではなく、上記以外の構成により実現してもよいことは言うまでもない。
　また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
　本発明は、監視エリア内に存在する異物を自動的に検出して撮影する監視システムに利用することができる。
　１０：レーダー装置、　２０：カメラ、　３０：モニタ、　４０：信号処理装置

Claims (7)

  1. 　レーダー装置により監視エリア内で検出された物体をカメラで撮影する監視システムにおいて、
    　前記レーダー装置により前記物体が検出された地点を撮影するように前記カメラを制御するカメラ制御装置を備え、
    　前記カメラ制御装置は、前記物体が検出された地点の地形高さに基づいて、前記カメラの俯角を調整することを特徴とする監視システム。
  2. 　請求項１に記載の監視システムにおいて、
    　前記カメラ制御装置は更に、前記物体が検出された地点の２次元平面上の座標に基づいて、前記カメラの方向角を調整することを特徴とする監視システム。
  3. 　請求項１又は請求項２に記載の監視システムにおいて、
    　前記カメラ制御装置は更に、前記カメラから前記物体までの３次元空間上の距離に基づいて、前記カメラの撮影倍率を調整することを特徴とする監視システム。
  4. 　請求項１乃至請求項３のいずれかに記載の監視システムにおいて、
    　前記カメラ制御装置は、前記監視エリアについての地形高さが設定された地図データを使用して、前記物体が検出された地点の地形高さを取得することを特徴とする監視システム。
  5. 　請求項４に記載の監視システムにおいて、
    　前記地図データには、前記監視エリアをメッシュ状に分割したブロック単位で地形高さが設定されており、
    　前記カメラ制御装置は、前記物体が検出された地点を含むブロックの地形高さを前記地図データから取得することを特徴とする監視システム。
  6. 　請求項１乃至請求項５のいずれかに記載の監視システムにおいて、
    　前記カメラにより撮影された映像を表示するモニタを更に備えたことを特徴とする監視システム。
  7. 　レーダー装置により監視エリア内で検出された物体をカメラで撮影する監視方法において、
    　前記レーダー装置により前記物体が検出された地点を撮影するように前記カメラを制御するカメラ制御装置が、前記物体が検出された地点の地形高さに基づいて、前記カメラの俯角を調整することを特徴とする監視方法。
PCT/JP2019/011160 2019-03-18 2019-03-18 監視システム及び監視方法 WO2020188697A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/011160 WO2020188697A1 (ja) 2019-03-18 2019-03-18 監視システム及び監視方法
JP2021506850A JPWO2020188697A1 (ja) 2019-03-18 2019-03-18

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011160 WO2020188697A1 (ja) 2019-03-18 2019-03-18 監視システム及び監視方法

Publications (1)

Publication Number Publication Date
WO2020188697A1 true WO2020188697A1 (ja) 2020-09-24

Family

ID=72520689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011160 WO2020188697A1 (ja) 2019-03-18 2019-03-18 監視システム及び監視方法

Country Status (2)

Country Link
JP (1) JPWO2020188697A1 (ja)
WO (1) WO2020188697A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185430A1 (ja) * 2021-03-03 2022-09-09 株式会社日立国際電気 レーダーシステム及び物体検知方法
WO2022217809A1 (zh) * 2021-04-13 2022-10-20 华为技术有限公司 摄像机、拍摄方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095434A (ja) * 1995-06-22 1997-01-10 Tokimec Inc カメラ指向装置
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2006270404A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮影制御装置、撮影制御方法および撮影制御プログラム
JP2007184780A (ja) * 2006-01-06 2007-07-19 Ihi Aerospace Co Ltd 遠隔監視装置
JP2011164071A (ja) * 2010-02-15 2011-08-25 Fujitsu Ltd 目標物管理装置および目標物管理方法
JP2014006188A (ja) * 2012-06-26 2014-01-16 Toshiba Denpa Products Kk レーダ監視システム、映像取得方法及び映像取得プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095434A (ja) * 1995-06-22 1997-01-10 Tokimec Inc カメラ指向装置
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2006270404A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮影制御装置、撮影制御方法および撮影制御プログラム
JP2007184780A (ja) * 2006-01-06 2007-07-19 Ihi Aerospace Co Ltd 遠隔監視装置
JP2011164071A (ja) * 2010-02-15 2011-08-25 Fujitsu Ltd 目標物管理装置および目標物管理方法
JP2014006188A (ja) * 2012-06-26 2014-01-16 Toshiba Denpa Products Kk レーダ監視システム、映像取得方法及び映像取得プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185430A1 (ja) * 2021-03-03 2022-09-09 株式会社日立国際電気 レーダーシステム及び物体検知方法
JP7449443B2 (ja) 2021-03-03 2024-03-13 株式会社日立国際電気 レーダーシステム及び物体検知方法
WO2022217809A1 (zh) * 2021-04-13 2022-10-20 华为技术有限公司 摄像机、拍摄方法、系统及装置

Also Published As

Publication number Publication date
JPWO2020188697A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US10237478B2 (en) System and method for correlating camera views
US7884849B2 (en) Video surveillance system with omni-directional camera
EP2652948B1 (en) Zooming factor computation
US20120242782A1 (en) Image capture device and image processing method
US8189962B2 (en) Image processing apparatus
KR102112000B1 (ko) 레이더 기반 해상교량 및 해안시설물 충돌 경보 시스템
US11195252B2 (en) System and method for rectifying a wide-angle image
WO2020188697A1 (ja) 監視システム及び監視方法
EP1838086B1 (en) Omni-directional stereo camera and method of controlling thereof
JPH06124340A (ja) 車両用画像処理装置
EP3846464A1 (en) Spherical image processing method and apparatus, and server
US11132814B2 (en) Information processing apparatus, information processing method, and storage medium
CN105120242A (zh) 一种全景摄像机与高速球机智能联动方法和装置
JP2010136099A (ja) 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
CN105741261B (zh) 一种基于四摄像头的平面多目标定位方法
WO2018103233A1 (zh) 基于虚拟现实技术的观景方法、装置及系统
CN107071347B (zh) 一种无线定位设备的调整方法以及前端设备
US10733774B2 (en) Device and method of displaying heat map on perspective drawing
KR102001594B1 (ko) 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법
US20130155290A1 (en) Method and System for Image Centering during Zooming
WO2023051027A1 (zh) 一种用于获取目标对象的实时图像信息的方法与设备
EP3758351A1 (en) A system and method of scanning an environment using multiple scanners concurrently
CN106598078B (zh) 一种云台摄像机的图像处理方法及设备
JP4301051B2 (ja) 港湾監視システム
EP3148180B1 (en) Image processing method and video camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920125

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506850

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920125

Country of ref document: EP

Kind code of ref document: A1