JP6551088B2 - Camera control apparatus, camera control method, program and monitoring system - Google Patents

Camera control apparatus, camera control method, program and monitoring system Download PDF

Info

Publication number
JP6551088B2
JP6551088B2 JP2015179262A JP2015179262A JP6551088B2 JP 6551088 B2 JP6551088 B2 JP 6551088B2 JP 2015179262 A JP2015179262 A JP 2015179262A JP 2015179262 A JP2015179262 A JP 2015179262A JP 6551088 B2 JP6551088 B2 JP 6551088B2
Authority
JP
Japan
Prior art keywords
camera
imaging
area
camera image
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015179262A
Other languages
Japanese (ja)
Other versions
JP2017055325A (en
Inventor
渡辺　孝弘
孝弘 渡辺
孝宏 前
孝宏 前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2015179262A priority Critical patent/JP6551088B2/en
Publication of JP2017055325A publication Critical patent/JP2017055325A/en
Application granted granted Critical
Publication of JP6551088B2 publication Critical patent/JP6551088B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラ制御装置、カメラ制御方法、プログラムおよび監視システムに関する。   The present invention relates to a camera control device, a camera control method, a program, and a monitoring system.

従来、移動物体（以下、単に「動体」とも言う。）を追尾する技術として様々な技術が開示されている。例えば、過去に動体を追尾した結果に基づいて動体の移動方向を予測し、予測した動体の移動方向に応じた撮像範囲が撮像されるようにＰＴＺ（パン・チルト・ズーム）カメラ（以下、「可動カメラ」とも言う。）を制御する技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、動体追尾の遅延を低減することが可能となる。   Conventionally, various techniques have been disclosed as techniques for tracking a moving object (hereinafter also simply referred to as “moving object”). For example, the moving direction of the moving object is predicted based on the result of tracking the moving object in the past, and a PTZ (pan / tilt / zoom) camera (hereinafter, “ A technology for controlling a movable camera is disclosed (for example, see Patent Document 1). According to such a technique, it is possible to reduce the delay in tracking moving objects.

しかしながら、１台の可動カメラだけを利用する技術は、動体の移動範囲が広域になるほど、動体を追尾するのに適さなくなる可能性が高まる。なぜなら、動体の移動範囲が広域になるほど、広い画角のレンズを用いて動体を追尾する必要性が高まるが、レンズの画角が広くなってしまうと、可動カメラの映像サイズに対する動体サイズが小さくなりやすくなってしまうからである。   However, in the technology that uses only one movable camera, the wider the moving range of the moving body, the more likely it is that it becomes unsuitable for tracking the moving body. This is because, as the moving range of the moving object becomes wider, the need to track the moving object using a lens with a wide angle of view increases. However, if the angle of view of the lens becomes wide, the moving object size with respect to the image size of the movable camera decreases. It is because it becomes easy to become.

そこで、固定カメラによって撮像された映像（以下、「広域カメラ映像」とも言う。）を表示させ、表示された広域カメラ映像から動体が存在する位置を指定位置として指定し、指定位置に基づいて検出された動体を可動カメラで追尾する技術が存在する。かかる技術によれば、可動カメラのレンズ画角を抑えることができるため、可動カメラの映像サイズに対する動体サイズが小さくなることを抑えることができる。   Therefore, the image captured by the fixed camera (hereinafter also referred to as “wide-area camera image”) is displayed, the position where the moving object is present is specified as the specified position from the displayed wide-area camera image, and detection is performed based on the specified position. There is a technique for tracking the moving object with a movable camera. According to this technology, the lens angle of view of the movable camera can be suppressed, and therefore, the reduction in moving object size with respect to the image size of the movable camera can be suppressed.

特開２００６−２２９３２２号公報JP, 2006-229322, A

しかしながら、固定カメラが単眼カメラである場合には、広域カメラ映像において物体の位置が指定されても、奥行き方向における物体の位置が不明な場合がある。さらに、固定カメラと可動カメラとは異なる位置に設置され、固定カメラと可動カメラとの間には視差が存在する場合がある。このような場合、可動カメラの撮像範囲の所望する位置に物体が映らないことがある。したがって、広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させることが望まれる。   However, when the fixed camera is a monocular camera, even if the position of the object is specified in the wide area camera image, the position of the object in the depth direction may be unknown. Furthermore, the fixed camera and the movable camera may be installed at different positions, and parallax may exist between the fixed camera and the movable camera. In such a case, an object may not be reflected at a desired position in the imaging range of the movable camera. Therefore, it is desirable to improve the control accuracy of the imaging range of the movable camera according to the designated position with respect to the wide area camera image.

上記問題を解決するために、本発明のある観点によれば、広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、カメラ制御装置が提供される。
In order to solve the above problems, according to one aspect of the present invention, an operation acquiring unit for acquiring an operation on a wide area camera image captured by a wide area camera, and a flight on the wide area camera image with the operation on the wide area camera image. A camera control unit that controls an imaging range of a movable camera installed at a position different from the wide-area camera according to the designated position, in the case of a designation operation for designating a position where an object is present as a designated position; The virtual screen is imaged as a virtual imaging area on the wide area camera image when it is assumed that a virtual screen having a known three-dimensional position exists in the real space, and the camera control unit determines the range of the virtual imaging area If the designated position exists in the image capturing area, the imaging range is determined based on the designated position and the three-dimensional position of the virtual screen. Control, the camera control apparatus is provided.

前記カメラ制御部は、前記可動カメラの前記撮像範囲を制御するための撮像パラメータを前記指定位置に基づいて取得し、前記撮像パラメータと前記仮想スクリーンの前記三次元位置とに基づいて前記可動カメラの前記撮像範囲を制御してよい。   The camera control unit acquires an imaging parameter for controlling the imaging range of the movable camera based on the designated position, and based on the imaging parameter and the three-dimensional position of the virtual screen, The imaging range may be controlled.

前記カメラ制御部は、前記撮像パラメータと前記広域カメラ映像における位置との組み合わせを１または複数有するキャリブレーションデータに基づいて、前記指定位置に応じた撮像パラメータを取得してよい。   The camera control unit may acquire an imaging parameter corresponding to the designated position based on calibration data having one or more combinations of the imaging parameter and a position in the wide-area camera image.

前記カメラ制御装置は、前記キャリブレーションデータを生成するキャリブレーション処理部を備え、前記キャリブレーション処理部は、前記仮想スクリーンと前記広域カメラ映像における前記仮想撮像領域とに基づいて前記キャリブレーションデータのうち前記仮想撮像領域に対応するデータを生成してよい。   The camera control device includes a calibration processing unit that generates the calibration data, and the calibration processing unit includes the calibration data based on the virtual screen and the virtual imaging region in the wide-area camera image. Data corresponding to the virtual imaging area may be generated.

前記キャリブレーション処理部は、実空間に存在する所定の対象物が前記広域カメラ映像に実物撮像領域として撮像される場合、前記所定の対象物と前記広域カメラ映像における前記実物撮像領域とに基づいて前記キャリブレーションデータのうち前記実物撮像領域に対応するデータを生成してよい。   When a predetermined object existing in real space is imaged as an actual imaging area in the wide area camera image, the calibration processing unit is based on the predetermined object and the actual imaging area in the wide area camera image. Of the calibration data, data corresponding to the real imaging region may be generated.

前記カメラ制御部は、前記指定位置に基づいて前記広域カメラ映像から物体位置を認識し、前記キャリブレーションデータに基づいて前記物体位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御してよい。   The camera control unit recognizes an object position from the wide-area camera image based on the designated position, acquires an imaging parameter corresponding to the object position based on the calibration data, and captures the imaging based on the imaging parameter The range may be controlled.

前記物体は、空を背景として飛行する航空機であり、前記広域カメラは、飛行場を被写体として前記広域カメラ映像を撮像し、前記仮想スクリーンは、前記飛行場の滑走路の進行方向に沿って存在すると仮定されてよい。   It is assumed that the object is an aircraft flying with the sky as a background, the wide area camera captures the wide area camera image with an airfield as a subject, and the virtual screen exists along the traveling direction of the airfield runway May be done.

前記カメラ制御部は、前記キャリブレーションデータに基づいて前記指定位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御してよい。   The camera control unit may acquire an imaging parameter corresponding to the designated position based on the calibration data, and may control the imaging range based on the imaging parameter.

前記仮想スクリーンは、平面または曲面であってよい。   The virtual screen may be flat or curved.

三次元位置が既知である他の仮想スクリーンが実空間に存在すると仮定した場合に前記他の仮想スクリーンが前記広域カメラ映像に他の仮想撮像領域として撮像され、前記カメラ制御部は、前記他の仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記他の仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御してよい。   When it is assumed that another virtual screen having a known three-dimensional position exists in the real space, the other virtual screen is imaged as another virtual imaging region in the wide-area camera image, and the camera control unit When the designated position exists within the range of the virtual imaging area, the imaging range may be controlled based on the designated position and the three-dimensional position of the other virtual screen.

また、本発明の他の観点によれば、広域カメラによって撮像された広域カメラ映像に対する操作を取得することと、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御することと、を含み、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御すること、を含む、カメラ制御方法が提供される。
Further, according to another aspect of the present invention, acquiring an operation on a wide area camera image captured by a wide area camera and a position where an object on which the operation on the wide area camera image flies in the wide area camera image is present. A designated operation for designating as a designated position, controlling an imaging range of a movable camera installed at a position different from the wide-area camera according to the designated position, and the three-dimensional position is known If it is assumed that a virtual screen exists in the real space, the virtual screen is imaged as a virtual imaging area in the wide area camera image, and if the designated position exists in the range of the virtual imaging area, the designated position and the designated position There is provided a camera control method including controlling the imaging range based on the three-dimensional position of a virtual screen.

また、本発明の他の観点によれば、コンピュータを、広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、カメラ制御装置として機能させるためのプログラムが提供される。
Further, according to another aspect of the present invention, there is provided an operation acquiring unit for acquiring an operation on a wide area camera image captured by a wide area camera, and an object on which the operation on the wide area camera image flies in the wide area camera image. If there is a designation operation for designating a position exists as a designated position, and a camera control unit for controlling in accordance with the designated position an imaging range of the movable camera installed in a position different from the wide area camera The virtual screen is imaged as a virtual imaging area in the wide-area camera image when it is assumed that a virtual screen whose three-dimensional position is known exists in the real space, and the camera control unit When the designated position exists, the imaging range is controlled based on the designated position and the three-dimensional position of the virtual screen. To program to function as a camera control apparatus is provided.

また、本発明の他の観点によれば、表示制御装置とカメラ制御装置とを有する監視システムにおいて、前記カメラ制御装置は、広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御し、前記表示制御装置は、前記可動カメラによって撮像された可動カメラ映像を表示部に表示させる表示制御部を備える、監視システムが提供される。




According to another aspect of the present invention, in a monitoring system having a display control device and a camera control device, the camera control device includes an operation acquisition unit that acquires an operation on a wide-area camera image captured by the wide-area camera; When the operation on the wide area camera image is a designating operation for specifying a position where an object to fly in the wide area camera image exists as a specified position, imaging of a movable camera installed at a position different from the wide area camera A camera control unit that controls a range according to the designated position, and assuming that a virtual screen having a known three-dimensional position exists in real space, the virtual screen is used as a virtual imaging region in the wide-area camera image. The image is captured, and the camera control unit determines the designated position if the designated position is within the range of the virtual imaging area. And the display range is controlled based on the three-dimensional position of the virtual screen, and the display control device includes a display control unit that displays a movable camera image captured by the movable camera on a display unit. Is provided.




前記表示制御装置は、前記可動カメラ映像に物体が適正に映っているか否かを判断する適正判断部と、前記可動カメラ映像に前記物体が適正に映っていないと判断された場合に、所定の警告が出力されるように制御する出力制御部と、を備えてよい。   The display control device is configured to determine whether or not the object is properly reflected in the movable camera image; and when it is determined that the object is not properly reflected in the movable camera image, An output control unit that controls to output a warning.

前記適正判断部は、前記物体のサイズおよび位置の少なくともいずれか一方に基づいて、前記可動カメラ映像に前記物体が適正に映っているか否かを判断してよい。   The appropriateness determination unit may determine whether the object is properly displayed in the movable camera image based on at least one of the size and the position of the object.

以上説明したように本発明によれば、広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させることが可能となる。   As described above, according to the present invention, it is possible to improve the control accuracy of the imaging range of the movable camera according to the designated position with respect to the wide area camera image.

本発明の第１の実施形態に係る監視システムの構成例を示した説明図である。It is an explanatory view showing an example of composition of a surveillance system concerning a 1st embodiment of the present invention. 同実施形態に係る表示制御装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the display control apparatus which concerns on the same embodiment. 同実施形態に係るカメラ制御装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the camera control apparatus which concerns on the same embodiment. 初期の表示画面の構成例を示す図である。It is a figure which shows the structural example of the initial stage display screen. 固定カメラによって地表に存在する物体が撮像される例を示す図である。It is a figure which shows the example by which the object which exists on the ground surface is imaged with a fixed camera. 固定カメラによって空中に存在する物体が撮像される例を示す図である。It is a figure which shows the example by which the object which exists in the air with a fixed camera is imaged. 同実施形態に係るキャリブレーション処理について説明するための図である。It is a figure for demonstrating the calibration process which concerns on the same embodiment. キャリブレーション処理部によって生成されたキャリブレーションデータの例を示す図である。It is a figure which shows the example of the calibration data produced | generated by the calibration process part. 同実施形態に係るキャリブレーション処理の動作の例を示すシーケンス図である。It is a sequence diagram which shows the example of operation | movement of the calibration process which concerns on the embodiment. 広域カメラ映像における指定位置から可動カメラの撮像範囲を制御するための撮像パラメータを計算により求める手法の例を説明するための図である。It is a figure for demonstrating the example of the method of calculating | requiring the imaging parameter for controlling the imaging range of a movable camera from the designation | designated position in a wide area camera image | video by calculation. 同実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。It is a figure which shows the example of a display in, when the position in a wide area camera imaging | video is designated in the embodiment. 同実施形態に係る撮像範囲の制御処理の動作の例を示すシーケンス図である。FIG. 10 is a sequence diagram illustrating an example of an operation of an imaging range control process according to the embodiment. 本発明の第２の実施形態に係るカメラ制御装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the camera control apparatus which concerns on the 2nd Embodiment of this invention. 同実施形態の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the embodiment. 同実施形態に係るキャリブレーション処理について説明するための図である。It is a figure for demonstrating the calibration process which concerns on the same embodiment. 同実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。It is a figure which shows the example of a display when the position in a wide area camera image | video is designated in the embodiment. 同実施形態に係る表示制御装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the display control apparatus which concerns on the same embodiment. 同実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。It is a figure which shows the example of a display when the position in a wide area camera image | video is designated in the embodiment. 同実施形態において広域カメラ映像における位置が指定された場合における他の表示例を示す図である。FIG. 17 is a diagram showing another display example when the position in the wide area camera image is designated in the same embodiment. 同実施形態に係る適正判断処理の動作の例を示すシーケンス図である。It is a sequence diagram showing an example of the operation of the appropriateness determination process according to the embodiment.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   The present invention will now be described more fully with reference to the accompanying drawings, in which exemplary embodiments of the invention are shown. In the present specification and the drawings, components having substantially the same functional configuration will be assigned the same reference numerals and redundant description will be omitted.

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。   In the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration are distinguished by attaching different numerals to the same reference numerals. Further, similar constituent elements of different embodiments are distinguished by attaching different alphabets after the same reference numerals. However, in the case where it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numeral is given.

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。 (1. First Embodiment)
First, a first embodiment of the present invention will be described.

（１−１．監視システムの構成）
図１を参照しながら、本発明の第１の実施形態に係る監視システム１Ａの構成例について説明する。図１は、本発明の第１の実施形態に係る監視システム１Ａの構成例を示した説明図である。図１に示したように、監視システム１Ａは、表示制御装置１０Ａ、監視装置２０Ａおよび可動カメラ３０を備える。監視装置２０Ａは、カメラ制御装置２２Ａおよび固定カメラ２１−１〜２１−４を備える。なお、図１には、後に説明する第２の実施形態に係る監視システム１Ｂおよび第３の実施形態に係る監視システム１Ｃそれぞれの構成についても示されている。 (1-1. Configuration of monitoring system)
An exemplary configuration of a monitoring system 1A according to a first embodiment of the present invention will be described with reference to FIG. FIG. 1 is an explanatory view showing a configuration example of a monitoring system 1A according to a first embodiment of the present invention. As shown in FIG. 1, the monitoring system 1A includes a display control device 10A, a monitoring device 20A, and a movable camera 30. The monitoring device 20A includes a camera control device 22A and fixed cameras 21-1 to 21-4. FIG. 1 also shows the configurations of a monitoring system 1B according to a second embodiment and a monitoring system 1C according to the third embodiment, which will be described later.

また、図１に示したように、監視装置２０Ａおよび可動カメラ３０は、遠隔地に設置され、表示制御装置１０Ａは、監視者Ｋが存在する監視地に設置され、監視地と遠隔地とは、ネットワーク５０を介して接続されている。遠隔地は、典型的には飛行場であってよいが、遠隔地は飛行場に限定されず、監視され得る他の場所（例えば、船舶の通過する航路、電車の線路など）であってもよい。本明細書においては、遠隔地が飛行場である場合を想定しており、遠隔地には空を背景として飛行する物体（航空機）Ｍ１が存在している。   Further, as shown in FIG. 1, the monitoring device 20A and the movable camera 30 are installed in a remote place, and the display control device 10A is installed in a monitoring place where the supervisor K is present. , Are connected via the network 50. The remote location may typically be an airfield, but the remote location is not limited to an airfield and may be another location that can be monitored (eg, a route through which a ship passes, a train track, etc.). In this specification, it is assumed that the remote place is an airfield, and an object (aircraft) M1 flying with the sky as a background exists in the remote place.

ここで、例えば、ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。   Here, for example, the network 50 includes a public line network such as the Internet, a telephone line network, a satellite communication network, various local area networks (LANs) including the Ethernet (registered trademark), a wide area network (WAN), and the like. May be. The network 50 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).

固定カメラ２１−１〜２１−４は、所定の監視対象領域を撮像することによって（例えば、飛行場を被写体として撮像することによって）映像（以下、「広域カメラ映像」とも言う。）を撮像する。ここで、固定カメラ２１の数は特に限定されない。固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。カメラ制御装置２２Ａは、広域カメラ映像から指定された位置（以下、「指定位置」とも言う。）を解析することによって物体を検出する。例えば、物体の位置およびサイズが検出されてよい。   The fixed cameras 21-1 to 21-4 capture a video (hereinafter also referred to as “wide-area camera video”) by imaging a predetermined monitoring target area (for example, by imaging an airfield as a subject). Here, the number of fixed cameras 21 is not particularly limited. Wide-area camera images captured by the fixed cameras 21-1 to 21-4 are provided to the display control device 10 </ b> A via the network 50. The camera control device 22A detects an object by analyzing a position designated from a wide area camera image (hereinafter, also referred to as "designated position"). For example, the position and size of the object may be detected.

また、カメラ制御装置２２Ａは、可動カメラ３０の撮像範囲（撮像方向および撮像サイズ）を制御する機能を有する。可動カメラ３０の撮像方向は、パン・チルト機能により調整され得る。また、可動カメラ３０の撮像サイズは、ズーム機能により調整され得る。より具体的には、カメラ制御装置２２Ａは、監視者Ｋによって広域カメラ映像における指定位置に応じた撮像範囲を撮像するように、可動カメラ３０を制御する。   The camera control device 22A also has a function of controlling the imaging range (imaging direction and imaging size) of the movable camera 30. The imaging direction of the movable camera 30 can be adjusted by a pan / tilt function. Moreover, the imaging size of the movable camera 30 can be adjusted by a zoom function. More specifically, the camera control device 22A controls the movable camera 30 so that the monitor K captures an imaging range corresponding to a designated position in the wide-area camera video.

可動カメラ３０は、カメラ制御装置２２Ａによる制御に従って撮像範囲を撮像する機能を有する。可動カメラ３０の画角は、固定カメラ２１−１〜２１−４それぞれの画角よりも狭い（可動カメラ３０の撮像範囲は、固定カメラ２１−１〜２１−４それぞれの撮像範囲よりも狭い）。そのため、可動カメラ３０によって撮像された撮像結果（以下、「可動カメラ映像」とも言う。）は、広域カメラ映像よりも、監視者Ｋによる詳細監視に向いている。可動カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。   The movable camera 30 has a function of capturing an imaging range according to control by the camera control device 22A. The angle of view of the movable camera 30 is narrower than that of each of the fixed cameras 21-1 to 21-4 (the imaging range of the movable camera 30 is narrower than that of each of the fixed cameras 21-1 to 21-4). . Therefore, the imaging result (hereinafter, also referred to as “movable camera video”) captured by the movable camera 30 is more suitable for the detailed surveillance by the observer K than the wide area camera video. The movable camera image is provided to the display control apparatus 10A via the network 50.

表示制御装置１０Ａは、第１の表示領域に広域カメラ映像を表示させ、第１の表示領域とは異なる第２の表示領域に可動カメラ映像を表示させる。第１の表示領域および第２の表示領域は、表示制御装置１０Ａの内部に存在してもよいし、表示制御装置１０Ａの外部に存在してもよい。第１の表示領域および第２の表示領域については、後に詳細に説明する。監視者Ｋは、このようにして表示された広域カメラ映像および可動カメラ映像の双方を監視することができる。   The display control apparatus 10A displays the wide-area camera video in the first display area, and displays the movable camera video in a second display area different from the first display area. The first display area and the second display area may exist inside the display control apparatus 10A or may exist outside the display control apparatus 10A. The first display area and the second display area will be described in detail later. The monitor K can monitor both the wide-area camera image and the movable camera image displayed in this way.

以上、本発明の第１の実施形態に係る監視システム１Ａの構成例について説明した。   The configuration example of the monitoring system 1A according to the first embodiment of the present invention has been described above.

（１−２．表示制御装置の機能構成）
続いて、本発明の第１の実施形態に係る表示制御装置１０Ａの機能構成例について説明する。図２は、本発明の第１の実施形態に係る表示制御装置１０Ａの機能構成例を示すブロック図である。図２に示したように、本発明の第１の実施形態に係る表示制御装置１０Ａは、制御部１１０Ａ、入力部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。 (1-2. Functional configuration of display control device)
Subsequently, a functional configuration example of the display control device 10A according to the first embodiment of the present invention will be described. FIG. 2 is a block diagram showing an example of the functional configuration of a display control apparatus 10A according to the first embodiment of the present invention. As shown in FIG. 2, the display control apparatus 10A according to the first embodiment of the present invention includes a control unit 110A, an input unit 120, a communication unit 130, a storage unit 140, and a display unit 150.

制御部１１０Ａは、表示制御装置１０Ａの動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、表示制御装置１０Ａに内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部１１０Ａは、映像取得部１１１、表示制御部１１２、操作検出部１１３および通知部１１４を備える。   The control unit 110A has a function of controlling the entire operation of the display control device 10A, and may be configured by dedicated hardware, or a CPU built in the display control device 10A stores a program stored in a ROM as a RAM. It may be realized by expanding and executing. In addition to providing such a program, a storage medium storing such a program may also be provided. The control unit 110A includes a video acquisition unit 111, a display control unit 112, an operation detection unit 113, and a notification unit 114.

入力部１２０は、監視者Ｋから各種情報の入力を受け付ける機能を有する。例えば、入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチなどによって構成されてよい。例えば、入力部１２０は、表示部１５０によって表示された各種画面からボタンを選択する操作、広域カメラ映像および可動カメラ映像に対する操作などの入力を受け付けることができる。入力部１２０がタッチパネルによって構成される場合には、入力部１２０は、表示部１５０に積層され、表示部１５０とともにタッチスクリーンを構成し得る。   The input unit 120 has a function of receiving input of various information from the supervisor K. For example, the input unit 120 may be configured with a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and the like. For example, the input unit 120 can receive an input such as an operation of selecting a button from various screens displayed by the display unit 150, an operation on a wide area camera image, and an operation on a movable camera image. When the input unit 120 is configured by a touch panel, the input unit 120 may be stacked on the display unit 150 and configure a touch screen together with the display unit 150.

通信部１３０は、ネットワーク５０を介してカメラ制御装置２２Ａとの間で各種情報を送受信するための通信インタフェースである。例えば、通信部１３０は、ネットワーク５０を介して固定カメラ２１−１〜２１−４から広域カメラ映像を受信することが可能である。また、例えば、通信部１３０は、ネットワーク５０を介して可動カメラ３０から可動カメラ映像を受信することが可能である。   The communication unit 130 is a communication interface for transmitting and receiving various types of information to and from the camera control device 22A via the network 50. For example, the communication unit 130 can receive wide-area camera images from the fixed cameras 21-1 to 21-4 via the network 50. For example, the communication unit 130 can receive a movable camera image from the movable camera 30 via the network 50.

記憶部１４０は、制御部１１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部１４０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の第１の実施形態では、記憶部１４０は、広域カメラ映像および可動カメラ映像を記憶することができる。   The storage unit 140 can store a program and data for operating the control unit 110. In addition, the storage unit 140 can also temporarily store various data required in the process of the operation of the control unit 110. In the first embodiment of the present invention, the storage unit 140 can store a wide-area camera image and a movable camera image.

表示部１５０は、各種画面を表示する機能を有する。例えば、表示部１５０は、第１の表示領域に広域カメラ映像を表示し、第２の表示領域に可動カメラ映像を表示する機能を有する。例えば、表示部１５０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。   The display unit 150 has a function of displaying various screens. For example, the display unit 150 has a function of displaying a wide area camera image in the first display area and displaying a movable camera image in the second display area. For example, the display unit 150 may be a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, or a lamp.

（１−３．カメラ制御装置の機能構成）
続いて、本発明の第１の実施形態に係るカメラ制御装置２２Ａの機能構成例について説明する。図３は、本発明の第１の実施形態に係るカメラ制御装置２２Ａの機能構成例を示すブロック図である。図３に示したように、本発明の第１の実施形態に係るカメラ制御装置２２Ａは、制御部２１０Ａ、通信部２３０および記憶部２４０を備える。 (1-3. Functional configuration of camera control device)
Subsequently, a functional configuration example of the camera control device 22A according to the first embodiment of the present invention will be described. FIG. 3 is a block diagram showing an example of a functional configuration of the camera control device 22A according to the first embodiment of the present invention. As illustrated in FIG. 3, the camera control device 22A according to the first embodiment of the present invention includes a control unit 210A, a communication unit 230, and a storage unit 240.

制御部２１０Ａは、カメラ制御装置２２Ａの動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、カメラ制御装置２２Ａに内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部２１０Ａは、キャリブレーション処理部２１１Ａ、操作取得部２１２およびカメラ制御部２１３を備える。   The control unit 210A has a function of controlling the entire operation of the camera control device 22A, and may be configured by dedicated hardware, or a CPU built in the camera control device 22A stores a program stored in the ROM as a RAM. It may be realized by expanding and executing. In addition to providing such a program, a storage medium storing such a program may also be provided. The control unit 210A includes a calibration processing unit 211A, an operation acquisition unit 212, and a camera control unit 213.

通信部２３０は、ネットワーク５０を介して表示制御装置１０Ａとの間で各種情報を送受信するための通信インタフェースである。例えば、通信部２３０は、固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信することが可能である。また、通信部２３０は、可動カメラ３０によって撮像された可動カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信することが可能である。   The communication unit 230 is a communication interface for transmitting and receiving various types of information to and from the display control apparatus 10A via the network 50. For example, the communication unit 230 can transmit wide-area camera images captured by the fixed cameras 21-1 to 21-4 to the display control apparatus 10 </ b> A via the network 50. Further, the communication unit 230 can transmit the movable camera image captured by the movable camera 30 to the display control device 10A via the network 50.

記憶部２４０は、制御部２１０Ａを動作させるためのプログラムやデータを記憶することができる。また、記憶部２４０は、制御部２１０Ａの動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の第１の実施形態では、記憶部２４０は、広域カメラ映像を記憶することができる。   The storage unit 240 can store a program and data for operating the control unit 210A. In addition, the storage unit 240 can temporarily store various data necessary in the course of the operation of the control unit 210A. In the first embodiment of the present invention, the storage unit 240 can store a wide area camera image.

以上、本発明の第１の実施形態に係るカメラ制御装置２２Ａの機能構成例について説明した。   Heretofore, a functional configuration example of the camera control device 22A according to the first embodiment of the present invention has been described.

（１−４．背景）
続いて、本発明の第１の実施形態の背景について説明する。まず、表示制御装置１０Ａの表示制御部１１２は、初期の表示画面を表示部１５０に表示させる。図４は、初期の表示画面の構成例を示す図である。図４に示したように、初期の表示画面Ｇは、第１のボタン群Ｂ１、第２のボタン群Ｂ２、第１の表示領域Ｗ１〜Ｗ４、第２の表示領域Ｗ０、移動ボタンＢ３、ズームボタンＢ４などを含んでいる。第１の表示領域Ｗ１〜Ｗ４には、映像取得部１１１によって通信部１３０を介して取得された広域カメラ映像が、表示部１５０によって表示される。 (1-4. Background)
Subsequently, the background of the first embodiment of the present invention will be described. First, the display control unit 112 of the display control device 10A causes the display unit 150 to display an initial display screen. FIG. 4 is a diagram showing an example of the configuration of an initial display screen. As shown in FIG. 4, the initial display screen G includes a first button group B1, a second button group B2, first display areas W1 to W4, a second display area W0, a move button B3, and a zoom. It includes a button B4 and the like. Wide area camera images acquired by the image acquisition unit 111 via the communication unit 130 are displayed by the display unit 150 in the first display areas W1 to W4.

第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から、監視者Ｋによって位置を指定位置として指定する操作がなされると、指定位置がカメラ制御装置２２Ａに通知される。位置を指定する操作は特に限定されないが、入力部１２０がタッチパネルである場合には、タップ操作であってよい。そして、カメラ制御装置２２Ａが、指定位置に応じた撮像範囲を撮像するように可動カメラ３０を制御すると、可動カメラ３０が、指定位置に応じた撮像範囲を撮像し、ネットワーク５０を介して可動カメラ映像を表示制御装置１０Ａに送信する。   From the wide area camera video displayed in the first display areas W1 to W4, when the surveillance person K performs an operation of designating a position as a designated position, the designated position is notified to the camera control device 22A. The operation for designating the position is not particularly limited, but may be a tap operation when the input unit 120 is a touch panel. Then, when the camera control device 22A controls the movable camera 30 so as to pick up an imaging range according to the designated position, the movable camera 30 picks up an imaging range according to the designated position, and the movable camera via the network 50 The video is transmitted to the display control device 10A.

なお、第１のボタン群Ｂ１および第２のボタン群の各ボタンが押下されたときに実行される処理は特に限定されないが、例えば、所定のボタンが押下された場合には、広域カメラ映像および可動カメラ映像を表示制御装置１０Ａに提供する遠隔地の切り替えが行われるようにしてもよい。かかる場合には、初期の表示画面Ｇの第１の表示領域Ｗ１〜Ｗ４に表示される広域カメラ映像も変更される。   The processing executed when each button of the first button group B1 and the second button group is pressed is not particularly limited. For example, when a predetermined button is pressed, Switching of a remote place where the movable camera image is provided to the display control device 10A may be performed. In such a case, the wide-area camera image displayed in the first display areas W1 to W4 of the initial display screen G is also changed.

また、表示制御部１１２は、移動ボタンＢ３が押下された場合には、第１の表示領域Ｗ１〜Ｗ４に表示されている広域カメラ映像における指定位置の位置を移動させることができる。指定位置が移動された後は、移動後の選択領域に応じた撮像範囲の可動カメラ映像が第２の表示領域Ｗ０に表示されてよい。   Further, when the move button B3 is pressed, the display control unit 112 can move the position of the designated position in the wide area camera image displayed in the first display areas W1 to W4. After the designated position is moved, a movable camera image of an imaging range corresponding to the moved selection area may be displayed in the second display area W0.

一方、表示制御部１１２は、ズームボタンＢ４が押下された場合には、広域カメラ映像における選択領域を拡大または縮小させることができる。選択領域が拡大または縮小された後は、拡大または縮小後の選択領域に応じた撮像範囲の可動カメラ映像が第２の表示領域Ｗ０に表示されてよい。以下では、説明の簡便さのため、ズーム値は特に制御されない場合を想定して説明するが、ズーム値はパン角度およびチルト角度と同様に制御されてもよい。例えば、ズーム値は、手動により変更されてもよいし、撮像対象物までの距離に応じて自動により制御されてもよい。   On the other hand, when the zoom button B4 is pressed, the display control unit 112 can enlarge or reduce the selected area in the wide area camera image. After the selected area is enlarged or reduced, a movable camera image of an imaging range corresponding to the enlarged or reduced selected area may be displayed in the second display area W0. In the following, for the sake of simplicity of explanation, it is assumed that the zoom value is not particularly controlled, but the zoom value may be controlled similarly to the pan angle and the tilt angle. For example, the zoom value may be changed manually or automatically controlled according to the distance to the imaging target.

ここで、第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像における指定位置から可動カメラ３０の撮像範囲を特定する手法について説明する。まず、固定カメラ２１によって地表に存在する物体が撮像される例を説明する。図５は、固定カメラ２１によって地表に存在する物体が撮像される例を示す図である。   Here, a method for specifying the imaging range of the movable camera 30 from the designated position in the wide-area camera image displayed in the first display areas W1 to W4 will be described. First, an example in which an object present on the ground surface is imaged by the fixed camera 21 will be described. FIG. 5 is a diagram illustrating an example in which an object existing on the ground surface is imaged by the fixed camera 21.

図５を参照すると、広域カメラ映像を撮像する固定カメラ２１が示されている。また、図５には、固定カメラ２１のカメラパラメータの一部である高さＨ１、俯角Ｄｒ、垂直画角Ｖｒおよびカメラ垂直解像度Ｖｓが示されている（その他のカメラパラメータには、例えばカメラ水平解像度Ｖｈがある）。図５に示すように、固定カメラ２１によって、地表に存在する複数の物体（それぞれの三次元座標を（ｘｗ，ｙｗ，ｚｗ）（ｘｖ，ｙｖ，ｚｖ）（ｘｕ，ｙｕ，ｚｕ）と示す）が撮像される。なお、図５に示した例では、地表に３つの物体が存在しているが、地表に存在する物体の数は特に限定されない。   Referring to FIG. 5, a fixed camera 21 for capturing a wide area camera image is shown. Further, FIG. 5 shows the height H1, the depression angle Dr, the vertical angle of view Vr, and the camera vertical resolution Vs that are some of the camera parameters of the fixed camera 21 (other camera parameters include, for example, camera horizontal There is a resolution Vh). As shown in FIG. 5, a plurality of objects existing on the ground surface by the fixed camera 21 (each three-dimensional coordinate is represented as (xw, yuw, zw) (xv, yv, zv) (xu, yu, zu)) Is imaged. In the example shown in FIG. 5, although three objects exist on the ground surface, the number of objects present on the ground surface is not particularly limited.

ここで、図５に示すように、固定カメラ２１のカメラパラメータが既知の場合、固定カメラ２１を基準とした広域カメラ映像に映る地面の三次元位置は一意に決定される。つまり、地表に存在する複数の物体それぞれの三次元位置（ｘｗ，ｙｗ，ｚｗ）（ｘｖ，ｙｖ，ｚｖ）（ｘｕ，ｙｕ，ｚｕ）は、広域カメラ映像Ｗ９０における物体の位置（Ｘｕ，Ｙｕ）（Ｘｖ，Ｙｖ）（Ｘｗ，Ｙｗ）と、パン角度およびチルト角度とに基づいて特定され得る。   Here, as shown in FIG. 5, when the camera parameters of the fixed camera 21 are known, the three-dimensional position of the ground reflected in the wide-area camera image with the fixed camera 21 as a reference is uniquely determined. That is, the three-dimensional positions (xw, yw, zw) (xv, yv, zv) (xu, yu, zu) of each of the plurality of objects existing on the ground surface are the positions (Xu, Yu) of the objects in the wide-area camera image W90. It can be specified based on (Xv, Yv) (Xw, Yw) and the pan angle and tilt angle.

このようにして、地表に存在する物体が固定カメラ２１によって撮像される場合には、物体の三次元位置が特定されるため、画像座標（Ｘ，Ｙ）とその物体の三次元位置を撮像するための撮像パラメータとの対応付けにより、キャリブレーションデータが生成され得る（図５参照）。撮像パラメータは、撮像範囲を制御するためのパラメータであり、パン角度およびチルト角度を含む。また、このキャリブレーションデータを参照することによって、可動カメラ３０の撮像範囲が、固定カメラ２１によって撮像された広域カメラ映像における指定位置に応じて精度よく制御され得る。   Thus, when an object present on the ground surface is imaged by the fixed camera 21, the three-dimensional position of the object is specified, so that the image coordinates (X, Y) and the three-dimensional position of the object are imaged Calibration data may be generated by correlating with the imaging parameters for (see FIG. 5). The imaging parameter is a parameter for controlling the imaging range, and includes a pan angle and a tilt angle. Further, by referring to the calibration data, the imaging range of the movable camera 30 can be accurately controlled according to the designated position in the wide-area camera image captured by the fixed camera 21.

一方、固定カメラ２１によって撮像される物体は地表に存在するとは限らない。例えば、地表に存在しない物体としては、航空機などが想定される。かかる場合について説明する。図６は、固定カメラ２１によって空中に存在する物体が撮像される例を示す図である。図６に示した例では、図５に示した例と比較して、垂直画角Ｖｒおよび垂直解像度Ｖｓが大きくなっている。そのため、固定カメラ２１の撮像範囲に地表に存在しない物体も含まれている。   On the other hand, the object imaged by the fixed camera 21 does not necessarily exist on the ground. For example, an aircraft or the like is assumed as an object that does not exist on the ground surface. Such a case will be described. FIG. 6 is a diagram illustrating an example in which an object existing in the air is imaged by the fixed camera 21. In the example shown in FIG. 6, the vertical angle of view Vr and the vertical resolution Vs are larger than those in the example shown in FIG. Therefore, an object which is not present on the ground is included in the imaging range of the fixed camera 21.

このとき、図５を参照しながら説明したように、地表に存在する複数の物体それぞれの三次元位置（ｘｆ，ｙｆ，ｚｆ）（ｘｅ，ｙｅ，ｚｅ）は、広域カメラ映像（第１の表示領域Ｗ１）における物体の位置（以下、「画像座標」とも言う。）（Ｘｆ，Ｙｆ）（Ｘｅ，Ｙｅ）と、パン角度およびチルト角度とに基づいて特定され得る。しかし、固定カメラ２１が単眼カメラである場合には、画像座標（Ｘｄ，Ｙｄ）からだけでは奥行き方向における物体の位置が不明であるため、地表に存在しない物体の三次元位置は特定されない。   At this time, as described with reference to FIG. 5, the three-dimensional position (xf, yf, zf) (xe, ye, ze) of each of the plurality of objects existing on the ground surface is a wide-area camera image (first display). The position of the object in the region W1) (hereinafter, also referred to as “image coordinates”) can be specified based on (Xf, Yf) (Xe, Ye), and the pan angle and the tilt angle. However, when the fixed camera 21 is a monocular camera, since the position of the object in the depth direction is unknown only from the image coordinates (Xd, Yd), the three-dimensional position of the object that does not exist on the ground surface is not specified.

図６に示した例では、地表に存在しない物体が、（ｘｄ１，ｙｄ１，ｚｄ１）（ｘｄ２，ｙｄ２，ｚｄ２）（ｘｄ３，ｙｄ３，ｚｄ３）のいずれに存在するのかが不明である。このとき、図１に示したように、固定カメラ２１と可動カメラ３０とが異なる位置に設置され、固定カメラ２１と可動カメラ３０との間に視差が存在する場合も想定される。   In the example shown in FIG. 6, it is unknown in which of (xd1, yd1, zd1) (xd2, yd2, zd2) (xd3, yd3, zd3) an object that does not exist on the ground surface. At this time, as shown in FIG. 1, it is also assumed that the fixed camera 21 and the movable camera 30 are installed at different positions and there is parallax between the fixed camera 21 and the movable camera 30.

かかる場合には、図６に示したように、（ｘｄ１，ｙｄ１，ｚｄ１）（ｘｄ２，ｙｄ２，ｚｄ２）（ｘｄ３，ｙｄ３，ｚｄ３）それぞれの位置を撮像するための可動カメラ３０の撮像パラメータが（Ｐｄ１，Ｔｄ１）（Ｐｄ２，Ｔｄ２）（Ｐｄ３，Ｔｄ３）といったように異なってしまうことになり、撮像パラメータをいずれにすべきかが不明となってしまう。   In such a case, as shown in FIG. 6, the imaging parameters of the movable camera 30 for imaging each position of (xd1, yd1, zd1) (xd2, yd2, zd2) (xd3, yd3, zd3) are ( As Pd1, Td1), (Pd2, Td2), (Pd3, Td3), etc. are different, it becomes unclear which imaging parameter should be used.

仮に、いずれかの撮像パラメータを用いてキャリブレーションデータを生成した場合には、このキャリブレーションデータを参照して広域カメラ映像における指定位置に応じて可動カメラ３０の撮像範囲が制御されても、可動カメラ３０の撮像範囲の所望する位置に物体が映らないことがある。したがって、本明細書においては、固定カメラ２１によって撮像される広域カメラ映像に対する指定位置に応じた可動カメラ３０の撮像範囲の制御精度を向上させる技術を主に説明する。   If calibration data is generated using any of the imaging parameters, even if the imaging range of the movable camera 30 is controlled according to the designated position in the wide-area camera image with reference to the calibration data, the calibration data is movable. An object may not be reflected at a desired position in the imaging range of the camera 30. Therefore, in the present specification, a technique for mainly improving the control accuracy of the imaging range of the movable camera 30 according to the designated position with respect to the wide area camera image imaged by the fixed camera 21 will be mainly described.

以上、本発明の第１の実施形態の背景について説明した。   The background of the first embodiment of the present invention has been described above.

（１−５．キャリブレーション処理）
続いて、本発明の第１の実施形態に係る監視システム１Ａの機能詳細について説明する。本発明の第１の実施形態においても、画像座標と撮像パラメータとの対応付けにより、キャリブレーションデータの生成（キャリブレーション処理）が行われる。以下では、本発明の第１の実施形態に係るキャリブレーション処理について説明する。図７は、本発明の第１の実施形態に係るキャリブレーション処理について説明するための図である。 (1-5. Calibration process)
Subsequently, the functional details of the monitoring system 1A according to the first embodiment of the present invention will be described. Also in the first embodiment of the present invention, calibration data is generated (calibration processing) by associating image coordinates with imaging parameters. The calibration process according to the first embodiment of the present invention will be described below. FIG. 7 is a diagram for describing a calibration process according to the first embodiment of the present invention.

地表に存在しないことがある物体であっても、所定の限られた領域内を移動するとみなすことができる場合がある。例えば、航空機は、滑走路から離陸した直後には滑走路方向に対して上下には移動しても左右にはほとんど移動しないことが想定される。また、航空機は、滑走路に着陸する直前には、滑走路方向に対して上下には移動しても左右にはほとんど移動しないことが想定される。そこで、図７に示すように、本発明の第１の実施形態においては、物体が存在する可能性がある領域として仮想スクリーンＳｃが実空間に存在することを仮定する。   Even an object that may not exist on the ground may be considered to move within a predetermined limited area. For example, it is assumed that the aircraft moves up and down relative to the runway direction and hardly moves left and right immediately after taking off from the runway. In addition, it is assumed that the aircraft hardly moves to the left or right even if it moves up and down in the direction of the runway immediately before landing on the runway. Therefore, as shown in FIG. 7, in the first embodiment of the present invention, it is assumed that a virtual screen Sc exists in the real space as an area in which an object may exist.

例えば、キャリブレーション処理部２１１Ａは、仮想スクリーンＳｃが地面に垂直であるという条件と、固定カメラ２１から仮想スクリーンと地面とが交わる辺Ｉｐまでの距離Ｄａとによって、仮想スクリーンＳｃの三次元位置を特定してもよい。あるいは、キャリブレーション処理部２１１Ａは、仮想スクリーンＳｃが地面に垂直であるという条件と、固定カメラ２１から仮想スクリーンＳｃまでの水平方向の距離Ｄｂとによって仮想スクリーンＳｃの三次元位置を特定してもよい。距離Ｄａおよび距離Ｄｂは、直接的に計測された結果に基づく値であってもよいし、経験的に得られた値であってもよい。   For example, the calibration processing unit 211A determines the three-dimensional position of the virtual screen Sc based on the condition that the virtual screen Sc is perpendicular to the ground and the distance Da from the fixed camera 21 to the side Ip where the virtual screen and the ground intersect. It may be specified. Alternatively, the calibration processing unit 211A may specify the three-dimensional position of the virtual screen Sc based on the condition that the virtual screen Sc is perpendicular to the ground and the horizontal distance Db from the fixed camera 21 to the virtual screen Sc. Good. The distance Da and the distance Db may be values based on the directly measured results, or may be values obtained empirically.

あるいは、仮想スクリーンＳｃの三次元位置は、キャリブレーション処理部２１１Ａによって計算によって求められてもよい。例えば、辺Ｉｐが属する地面の三次元位置は、上記したように既知であるため、キャリブレーション処理部２１１Ａは、広域カメラ映像において辺Ｉｐの二次元的な位置が監視者Ｋによって指定されれば、地面の三次元位置と広域カメラ映像における辺Ｉｐの二次元的な位置とに基づいて、辺ＩＰおよび仮想スクリーンＳｃそれぞれの三次元位置を特定することが可能である。   Alternatively, the three-dimensional position of the virtual screen Sc may be calculated by the calibration processing unit 211A. For example, since the three-dimensional position of the ground to which the side Ip belongs is already known as described above, the calibration processing unit 211A can specify that the two-dimensional position of the side Ip is designated by the monitor K in the wide-area camera image. Based on the three-dimensional position of the ground and the two-dimensional position of the side Ip in the wide-area camera image, the three-dimensional positions of the side IP and the virtual screen Sc can be specified.

図７に示した例では、仮想スクリーンＳｃが広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）に撮像されている（以下、仮想スクリーンＳｃが撮像される領域を「仮想撮像領域」とも言う。）。キャリブレーション処理部２１１Ａは、仮想スクリーンＳｃと仮想撮像領域とに基づいてキャリブレーションデータのうち仮想撮像領域に対応するデータを生成する。   In the example illustrated in FIG. 7, the virtual screen Sc is captured by the wide-area camera video (first display areas W1 to W4) (hereinafter, the area where the virtual screen Sc is captured is also referred to as “virtual imaging area”). ). The calibration processing unit 211A generates data corresponding to the virtual imaging area in the calibration data based on the virtual screen Sc and the virtual imaging area.

例えば、図７に示すように、キャリブレーション処理部２１１Ａは、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）の仮想撮像領域に存在する物体の二次元位置（Ｘｄ，Ｙｄ）と仮想スクリーンＳｃの三次元位置とカメラパラメータに基づいて、物体の三次元位置（ｘｄ，ｙｄ，ｚｄ）を特定すればよい。そして、図７に示すように、キャリブレーション処理部２１１Ａは、物体の三次元位置（ｘｄ，ｙｄ，ｚｄ）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｄ，Ｔｄ）との組み合わせを含むようにキャリブレーションデータを生成すればよい。例えば、物体の三次元位置を撮像するための撮像パラメータは、計測によって得られればよい。   For example, as illustrated in FIG. 7, the calibration processing unit 211A includes a two-dimensional position (Xd, Yd) of an object existing in the virtual imaging region of the wide-area camera image (first display region W1 to W4) and the virtual screen Sc. The three-dimensional position (xd, yd, zd) of the object may be specified based on the three-dimensional position and the camera parameter. Then, as shown in FIG. 7, the calibration processing unit 211A combines the three-dimensional position (xd, yd, zd) of the object and the imaging parameters (Pd, Td) for imaging the three-dimensional position of the object. Calibration data may be generated to include For example, imaging parameters for imaging a three-dimensional position of an object may be obtained by measurement.

一方、実空間に存在する所定の対象物も、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）に撮像されている（以下、対象物が撮像される領域を「実物撮像領域」とも言う。）。対象物は、ここでは地面を想定しているが、地面に限らない。キャリブレーション処理部２１１Ａは、所定の対象物と実物撮像領域とに基づいてキャリブレーションデータのうち実物撮像領域に対応するデータを生成する。   On the other hand, a predetermined object existing in the real space is also imaged in the wide-area camera video (first display areas W1 to W4) (hereinafter, an area where the object is imaged is also referred to as “real object imaging area”). ). The object here assumes the ground, but is not limited to the ground. The calibration processing unit 211 </ b> A generates data corresponding to the real imaging area in the calibration data based on the predetermined target object and the real imaging area.

例えば、図７に示すように、キャリブレーション処理部２１１Ａは、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）の実物撮像領域に存在する物体の二次元位置（Ｘｅ，Ｙｅ）と地面の三次元位置とカメラパラメータに基づいて、物体の三次元位置（ｘｅ，ｙｅ，ｚｅ）を特定すればよい。そして、図７に示すように、キャリブレーション処理部２１１Ａは、物体の三次元位置（ｘｅ，ｙｅ，ｚｅ）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｅ，Ｔｅ）との組み合わせを含むようにキャリブレーションデータを生成すればよい。   For example, as illustrated in FIG. 7, the calibration processing unit 211 </ b> A performs the cubic of the two-dimensional position (Xe, Ye) of the object existing in the real imaging area of the wide-area camera image (first display area W <b> 1 to W <b> 4) and the ground. The three-dimensional position (xe, ye, ze) of the object may be specified based on the original position and the camera parameter. Then, as shown in FIG. 7, the calibration processing unit 211A combines the three-dimensional position (xe, ye, ze) of the object and the imaging parameters (Pe, Te) for imaging the three-dimensional position of the object. Calibration data may be generated to include.

同様に、キャリブレーション処理部２１１Ａは、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）の実物撮像領域に存在する物体の二次元位置（Ｘｆ，Ｙｆ）と地面の三次元位置とカメラパラメータに基づいて、物体の三次元位置（ｘｆ，ｙｆ，ｚｆ）を特定すればよい。そして、図７に示すように、キャリブレーション処理部２１１Ａは、物体の三次元位置（ｘｆ，ｙｆ，ｚｆ）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｆ，Ｔｆ）との組み合わせを含むようにキャリブレーションデータを生成すればよい。   Similarly, the calibration processing unit 211A uses the two-dimensional position (Xf, Yf) of the object existing in the real imaging area of the wide-area camera image (first display areas W1 to W4), the three-dimensional position of the ground, and the camera parameters. Based on this, the three-dimensional position (xf, yf, zf) of the object may be specified. As shown in FIG. 7, the calibration processing unit 211A combines the three-dimensional position (xf, yf, zf) of the object and the imaging parameters (Pf, Tf) for imaging the three-dimensional position of the object. Calibration data may be generated to include

図８は、キャリブレーション処理部２１１Ａによって生成されたキャリブレーションデータの例を示す図である。図８に示すように、キャリブレーションデータは、画像座標と撮像パラメータとの組み合わせを１または複数有して構成されている。図８に示した例では、点Ｎａから点Ｎｉまでの９つの点についての組み合わせがキャリブレーションデータに含まれているが、キャリブレーションデータに含まれる画像座標と撮像パラメータとの組み合わせの数は特に限定されない。   FIG. 8 is a diagram illustrating an example of calibration data generated by the calibration processing unit 211A. As shown in FIG. 8, the calibration data is configured to have one or more combinations of image coordinates and imaging parameters. In the example shown in FIG. 8, combinations of nine points from the point Na to the point Ni are included in the calibration data, but the number of combinations of image coordinates and imaging parameters included in the calibration data is particularly large. It is not limited.

続いて、本発明の第１の実施形態に係るキャリブレーション処理の動作について説明する。図９は、本発明の第１の実施形態に係るキャリブレーション処理の動作の例を示すシーケンス図である。なお、図９に示したシーケンス図は、本発明の実施形態に係るキャリブレーション処理の動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図９に示したシーケンス図に限定されない。   Subsequently, the operation of the calibration process according to the first embodiment of the present invention will be described. FIG. 9 is a sequence diagram showing an example of the operation of the calibration process according to the first embodiment of the present invention. The sequence diagram illustrated in FIG. 9 is merely an example of the flow of the calibration processing operation according to the embodiment of the present invention. Therefore, the flow of such operation is not limited to the sequence diagram shown in FIG.

例えば、上記では、物体の三次元位置を撮像するための撮像パラメータを計測によって得る手法を示した。一方、図９には、固定カメラ２１−１〜２１−４のカメラパラメータ（以下、「広域カメラパラメータ」とも言う。）および可動カメラ３０のカメラパラメータ（以下、「可動カメラパラメータ」とも言う。）に基づいてキャリブレーション処理が実行される例を示す。広域カメラパラメータは、固定カメラ２１−１〜２１−４それぞれの水平画角、垂直画角、水平解像度、垂直解像度、設置高さ、光軸方向の俯角および方位角であってよい。また、可動カメラパラメータは、可動カメラ３０の光軸方向、固定カメラ２１−１〜２１−４との位置関係であってよい。   For example, in the above, the method of obtaining the imaging parameter for imaging the three-dimensional position of the object by measurement has been shown. On the other hand, in FIG. 9, camera parameters of fixed cameras 21-1 to 21-4 (hereinafter also referred to as “wide area camera parameters”) and camera parameters of movable camera 30 (hereinafter also referred to as “movable camera parameters”). An example in which the calibration process is executed based on FIG. The wide-area camera parameters may be the horizontal field angle, vertical field angle, horizontal resolution, vertical resolution, installation height, depression angle and azimuth angle in the optical axis direction of each of the fixed cameras 21-1 to 21-4. The movable camera parameter may be a positional relationship with the optical camera direction of the movable camera 30 and the fixed cameras 21-1 to 21-4.

図９に示すように、固定カメラ２１−１〜２１−４が広域カメラパラメータをカメラ制御装置２２Ａに送信すると（ステップＳ１１）、カメラ制御装置２２Ａにおいては、通信部２３０が広域カメラ映像を受信する（ステップＳ３１）。また、可動カメラ３０が可動カメラ映像をカメラ制御装置２２Ａに送信すると（ステップＳ２１）、カメラ制御装置２２Ａにおいては、通信部２３０が可動カメラ映像を受信する（ステップＳ３２）。キャリブレーション処理部２１１Ａは、広域カメラパラメータと可動カメラパラメータとに基づいてキャリブレーションデータを作成する（ステップＳ３３）。   As shown in FIG. 9, when the fixed cameras 21-1 to 21-4 transmit the wide-area camera parameters to the camera control device 22A (step S11), the communication unit 230 receives the wide-area camera video in the camera control device 22A. (Step S31). When the movable camera 30 transmits the movable camera image to the camera control device 22A (step S21), the communication unit 230 receives the movable camera image in the camera control device 22A (step S32). The calibration processing unit 211A creates calibration data based on the wide area camera parameter and the movable camera parameter (step S33).

続いて、固定カメラ２１−１〜２１−４が広域カメラ映像をカメラ制御装置２２Ａに送信すると（ステップＳ１２）、カメラ制御装置２２Ａにおいては、通信部２３０が広域カメラ映像を受信する（ステップＳ３４）。続いて、キャリブレーション処理部２１１Ａは、広域カメラ映像に基づいて仮想スクリーンを設定し（ステップＳ３５）、仮想スクリーンに基づいてキャリブレーションデータを更新する（ステップＳ３６）。このときの更新は、上記した仮想撮像領域について行われればよい。キャリブレーションデータの生成が終わると、カメラ制御部２１３によって可動カメラ３０の撮像範囲が制御される。   Subsequently, when the fixed cameras 21-1 to 21-4 transmit the wide-area camera video to the camera control device 22A (step S12), in the camera control device 22A, the communication unit 230 receives the wide-area camera video (step S34). . Subsequently, the calibration processing unit 211A sets a virtual screen based on the wide area camera image (step S35), and updates calibration data based on the virtual screen (step S36). The update at this time may be performed for the virtual imaging region described above. When the generation of the calibration data ends, the camera control unit 213 controls the imaging range of the movable camera 30.

（１−６．撮像範囲の制御処理）
続いて、可動カメラ３０の撮像範囲の制御処理について説明する。キャリブレーションデータの生成が終わり、監視者Ｋによって広域カメラ映像に対する操作が行われ、操作検出部１１３によって広域カメラ映像に対する操作が検出されると、検出された操作がネットワーク５０を介して通信部１３０によってカメラ制御装置２２Ａに送信される。カメラ制御装置２２Ａにおいては、通信部２３０によって操作が受信されると、カメラ制御部２１３が操作を判定する。 (1-6. Control processing of imaging range)
Subsequently, control processing of the imaging range of the movable camera 30 will be described. When the generation of calibration data is finished, the surveillance person K performs an operation on the wide area camera image, and the operation detection unit 113 detects the operation on the wide area camera image, the detected operation is transmitted through the communication unit 130 via the network 50. Is sent to the camera control device 22A. In the camera control device 22A, when the operation is received by the communication unit 230, the camera control unit 213 determines the operation.

カメラ制御部２１３は、広域カメラ映像に対する操作が広域カメラ映像における位置を指定位置として指定するための指定操作である場合、可動カメラ３０の撮像範囲を指定位置に応じて制御する。このとき、カメラ制御部２１３は、上記した仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と仮想スクリーンの三次元位置とに基づいて撮像範囲を制御する。   When the operation on the wide-area camera image is a designation operation for designating the position in the wide-area camera image as the designated position, the camera control unit 213 controls the imaging range of the movable camera 30 according to the designated position. At this time, when the designated position exists within the range of the virtual imaging area described above, the camera control unit 213 controls the imaging range based on the designated position and the three-dimensional position of the virtual screen.

かかる構成によれば、可動カメラ３０の位置を基準とした奥行き方向における物体の位置が不明とならないため、可動カメラ３０の撮像範囲の所望する位置に物体が映る可能性が向上する。したがって、固定カメラ２１−１〜２１−４によって撮像される広域カメラ映像に対する指定位置に応じた可動カメラ３０の撮像範囲の制御精度を向上させることが可能となる。   According to such a configuration, since the position of the object in the depth direction with respect to the position of the movable camera 30 is not unknown, the possibility that the object is reflected at a desired position in the imaging range of the movable camera 30 is improved. Therefore, it is possible to improve the control accuracy of the imaging range of the movable camera 30 according to the designated position for the wide-area camera image captured by the fixed cameras 21-1 to 21-4.

例えば、カメラ制御部２１３は、可動カメラ３０の撮像範囲を制御するための撮像パラメータを指定位置に基づいて取得し、撮像パラメータと仮想スクリーンの三次元位置とに基づいて可動カメラ３０の撮像範囲を制御すればよい。撮像パラメータは、キャリブレーション処理部２１１Ａによって生成されたキャリブレーションデータから取得されればよい。すなわち、カメラ制御部２１３は、キャリブレーションデータに基づいて、指定位置に応じた撮像パラメータを取得すればよい。   For example, the camera control unit 213 acquires imaging parameters for controlling the imaging range of the movable camera 30 based on the designated position, and sets the imaging range of the movable camera 30 based on the imaging parameters and the three-dimensional position of the virtual screen. It should be controlled. The imaging parameter may be acquired from calibration data generated by the calibration processing unit 211A. In other words, the camera control unit 213 may acquire the imaging parameter corresponding to the designated position based on the calibration data.

撮像パラメータの取得手法としては様々な手法が想定される。例えば、キャリブレーションデータとして登録されている画像座標を直接的に指定することによって、指定された画像座標に対応する撮像パラメータが取得されてもよい。あるいは、指定位置から撮像パラメータが計算により求められてもよい。図１０は、広域カメラ映像における指定位置から可動カメラ３０の撮像範囲を制御するための撮像パラメータを計算により求める手法の例を説明するための図である。   Various methods are assumed as the imaging parameter acquisition method. For example, by directly designating image coordinates registered as calibration data, imaging parameters corresponding to the designated image coordinates may be acquired. Alternatively, the imaging parameter may be obtained by calculation from the designated position. FIG. 10 is a diagram for explaining an example of a method for calculating an imaging parameter for controlling the imaging range of the movable camera 30 from a specified position in a wide-area camera image.

図８に示すように、点Ｎａから点Ｎｉまでの９つの点について、広域カメラ映像における位置と撮像パラメータとの組み合わせが登録され、例えば、図１０に示したように、点Ｎａから点Ｎｉまでの９つの点それぞれの位置が表されるとする。ここで、指定位置Ｏ（Ｏｘ１，Ｏｙ１）が点Ｎａと点Ｎｂと点Ｎｄと点Ｎｅとに囲まれる矩形の内部の位置であった場合を想定する。   As shown in FIG. 8, combinations of positions and imaging parameters in the wide-area camera image are registered for nine points from point Na to point Ni. For example, as shown in FIG. 10, from point Na to point Ni The position of each of the nine points of is assumed to be represented. Here, it is assumed that the designated position O (Ox1, Oy1) is a position inside a rectangle surrounded by the point Na, the point Nb, the point Nd, and the point Ne.

かかる場合、点Ｎａのパン角度をＰａとし、点Ｎｃのパン角度をＰｃとし、点ＮａのＸ座標をＸａとし、点ＮｃのＸ座標をＸｃとすると、指定位置Ｏ（Ｏｘ１，Ｏｙ１）に応じたパン角度は、式（１）により算出され得る。同様に、点Ｎａのチルト角度をＴａとし、点Ｎｃのチルト角度をＴｃとし、点ＮａのＹ座標をＹａとし、点ＮｃのＹ座標をＹｃとすると、指定位置Ｏ（Ｏｘ１，Ｏｙ１）に応じたチルト角度は、式（２）により算出され得る。   In this case, if the pan angle of the point Na is Pa, the pan angle of the point Nc is Pc, the X coordinate of the point Na is Xa, and the X coordinate of the point Nc is Xc, it corresponds to the designated position O (Ox1, Oy1). The pan angle can be calculated by equation (1). Similarly, if the tilt angle of the point Na is Ta, the tilt angle of the point Nc is Tc, the Y coordinate of the point Na is Ya, and the Y coordinate of the point Nc is Yc, it corresponds to the designated position O (Ox1, Oy1). The tilt angle can be calculated by equation (2).

なお、本発明の第１の実施形態においては、カメラ制御部２１３が、広域カメラ映像における指定位置に基づいて広域カメラ映像から物体位置を認識し、キャリブレーションデータに基づいて物体位置に対応する撮像パラメータを取得し、撮像パラメータに基づいて撮像範囲を制御する場合を主に想定する。しかし、カメラ制御部２１３は、キャリブレーションデータに基づいて指定位置に対応する撮像パラメータを取得し、撮像パラメータに基づいて可動カメラ３０の撮像範囲を制御してもよい。   In the first embodiment of the present invention, the camera control unit 213 recognizes the object position from the wide-area camera image based on the designated position in the wide-area camera image, and performs imaging corresponding to the object position based on the calibration data. It is mainly assumed that the parameter is acquired and the imaging range is controlled based on the imaging parameter. However, the camera control unit 213 may acquire the imaging parameter corresponding to the designated position based on the calibration data, and control the imaging range of the movable camera 30 based on the imaging parameter.

図１１は、本発明の第１の実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。図１１を参照すると、実空間に存在すると仮定された仮想スクリーンＳｃが広域カメラ映像に映っている（第１の表示領域Ｗ１〜Ｗ４）。上記したように、物体Ｍ１は、滑走路から離陸した直後には滑走路方向に対して上下には移動しても左右にはほとんど移動しないことが想定されるため、仮想スクリーンＳｃは、飛行場の滑走路の進行方向に沿って存在すると仮定されてよい。   FIG. 11 is a diagram showing a display example when a position in a wide-area camera image is designated in the first embodiment of the present invention. Referring to FIG. 11, the virtual screen Sc assumed to exist in the real space is shown in the wide-area camera image (first display areas W1 to W4). As described above, since it is assumed that the object M1 moves up and down with respect to the runway direction immediately after taking off from the runway, the virtual screen Sc is assumed to move little to the left and right. It may be assumed to exist along the direction of travel of the runway.

例えば、図１１に示すように、仮想スクリーンと地面とが交わる辺Ｉｐは、滑走路の中央線であるとよい。図１１に示したように、広域カメラ映像（第１の表示領域Ｗ２）において仮想スクリーンＳｃが映る領域を飛行する物体Ｍ１の位置が指定位置として指定されると、カメラ制御部２１３は、指定位置と仮想スクリーンＳｃの三次元位置とに基づいて可動カメラ３０の撮像範囲を制御する。可動カメラ３０によって撮像された可動カメラ映像が撮像されると、通信部２３０は、ネットワーク５０を介して可動カメラ映像を表示制御装置１０Ａに送信する。   For example, as shown in FIG. 11, the side Ip where the virtual screen and the ground intersect may be the center line of the runway. As shown in FIG. 11, when the position of the object M1 flying in the area where the virtual screen Sc appears in the wide-area camera image (first display area W2) is designated as the designated position, the camera control unit 213 displays the designated position. The imaging range of the movable camera 30 is controlled based on the three-dimensional position of the virtual screen Sc and the virtual screen Sc. When the movable camera image captured by the movable camera 30 is captured, the communication unit 230 transmits the movable camera image to the display control device 10A via the network 50.

続いて、表示制御装置１０Ａにおいては、通信部１３０がネットワーク５０を介して可動カメラ映像を受信する。表示制御部１１２は、このようにして受信された可動カメラ映像を第２の表示領域Ｗ０に表示させる。第２の表示領域Ｗ０を参照すると、指定位置と仮想スクリーンＳｃの三次元位置とに基づいて可動カメラ３０の撮像範囲を制御することによって、可動カメラ３０の撮像範囲の所望する位置に物体Ｍ１が映っていることが把握される。   Subsequently, in the display control device 10A, the communication unit 130 receives the movable camera image via the network 50. The display control unit 112 displays the movable camera image received in this way in the second display area W0. Referring to the second display area W0, by controlling the imaging range of the movable camera 30 based on the designated position and the three-dimensional position of the virtual screen Sc, the object M1 is located at the desired position of the imaging range of the movable camera 30. It is understood that it is reflected.

続いて、本発明の第１の実施形態に係る撮像範囲の制御処理の動作について説明する。図１２は、本発明の第１の実施形態に係る撮像範囲の制御処理の動作の例を示すシーケンス図である。なお、図１２に示したシーケンス図は、本発明の第１の実施形態に係る撮像範囲の制御処理の動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図１２に示したシーケンス図に限定されない。   Next, the operation of the imaging range control process according to the first embodiment of the present invention will be described. FIG. 12 is a sequence diagram showing an example of operation of control processing of an imaging range according to the first embodiment of the present invention. The sequence diagram shown in FIG. 12 is merely an example of the flow of the operation of control processing of the imaging range according to the first embodiment of the present invention. Therefore, the flow of such operation is not limited to the sequence diagram shown in FIG.

図１２に示すように、表示制御装置１０Ａにおいて、表示制御部１１２は、第１の表示領域Ｗ１〜Ｗ４に固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像を表示させる（ステップＳ１６１）。そして、操作検出部１１３は、広域カメラ映像に対する指定操作を検出する（ステップＳ１６２）。通信部１３０は、ネットワーク５０を介して指定操作をカメラ制御装置２２Ａに送信する（ステップＳ１６３）。   As illustrated in FIG. 12, in the display control apparatus 10A, the display control unit 112 displays the wide-area camera images captured by the fixed cameras 21-1 to 21-4 in the first display areas W1 to W4 (Step S161). ). Then, the operation detection unit 113 detects a designation operation for the wide-area camera video (step S162). The communication unit 130 transmits the designation operation to the camera control device 22A via the network 50 (step S163).

カメラ制御装置２２Ａにおいて、通信部２３０は、ネットワーク５０を介して指定操作を受信する（ステップＳ１７１）。そして、操作取得部２１２によって指定操作が取得されると、カメラ制御部２１３は、指定操作による指定位置に対応する撮像パラメータをキャリブレーションデータから取得する（ステップＳ１７２）。キャリブレーションデータは、実空間に存在すると仮定された仮想スクリーンの三次元位置に基づいて生成されている。続いて、カメラ制御部２１３は、撮像パラメータを可動カメラ３０に通知する（ステップＳ１７３）。可動カメラ３０は、撮像パラメータに基づいて撮像範囲を調整すると（ステップＳ１８１）、撮像範囲を調整した後に撮像した可動カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信する（ステップＳ１８２）。   In the camera control device 22A, the communication unit 230 receives the designation operation via the network 50 (step S171). Then, when the designation operation is acquired by the operation acquisition unit 212, the camera control unit 213 acquires the imaging parameter corresponding to the specified position by the designation operation from the calibration data (step S172). The calibration data is generated based on the three-dimensional position of the virtual screen that is assumed to exist in real space. Subsequently, the camera control unit 213 notifies the movable camera 30 of imaging parameters (step S173). When the movable camera 30 adjusts the imaging range based on the imaging parameters (step S181), the movable camera image is transmitted to the display control apparatus 10A via the network 50 after adjusting the imaging range (step S182).

続いて、表示制御装置１０Ａにおいて、通信部１３０は、可動カメラ３０によって撮像された可動カメラ映像を受信する（ステップＳ１９１）。通信部１３０によって受信された可動カメラが映像取得部１１１によって可動カメラ映像が取得されると、表示制御部１１２は、映像取得部１１１によって取得された可動カメラ映像を第２の表示領域Ｗ０に表示させる（ステップＳ１９２）。監視者Ｋは、第２の表示領域Ｗ０に表示された可動カメラ映像を監視する。   Subsequently, in the display control device 10A, the communication unit 130 receives the movable camera image captured by the movable camera 30 (step S191). When the movable camera image received by the communication unit 130 is acquired by the image acquisition unit 111, the display control unit 112 displays the movable camera image acquired by the image acquisition unit 111 in the second display area W0. (Step S192). The monitor K monitors the movable camera image displayed in the second display area W0.

以上、本発明の第１の実施形態について説明した。   The first embodiment of the present invention has been described above.

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。 (2. Second embodiment)
Subsequently, a second embodiment of the present invention will be described.

（２−１．監視システムの構成）
図１を参照しながら、本発明の第２の実施形態に係る監視システム１Ｂの構成例について説明する。図１に示したように、第２の実施形態に係る監視システム１Ｂは、第１の実施形態に係る監視システム１Ａと比較して、監視装置２０Ｂの構成が監視装置２０Ａの構成と異なっている。第２の実施形態に係る監視装置２０Ｂは、第１の実施形態に係る監視装置２０Ａと比較して、カメラ制御装置２２Ｂの構成がカメラ制御装置２２Ａの構成と異なっている。そこで、第２の実施形態においては、カメラ制御装置２２Ｂの構成を主に説明する。 (2-1. Configuration of monitoring system)
A configuration example of a monitoring system 1B according to a second embodiment of the present invention will be described with reference to FIG. As shown in FIG. 1, the monitoring system 1B according to the second embodiment is different in the configuration of the monitoring device 20B from the monitoring device 20A as compared with the monitoring system 1A according to the first embodiment. . The monitoring device 20B according to the second embodiment is different from the monitoring device 20A according to the first embodiment in the configuration of the camera control device 22B from the configuration of the camera control device 22A. Thus, in the second embodiment, the configuration of the camera control device 22B will be mainly described.

（２−２．カメラ制御装置の機能構成）
続いて、本発明の第２の実施形態に係るカメラ制御装置２２Ｂの機能構成例について説明する。図１３は、本発明の第２の実施形態に係るカメラ制御装置２２Ｂの機能構成例を示すブロック図である。図１３に示したように、第２の実施形態に係るカメラ制御装置２２Ｂは、第１の実施形態に係るカメラ制御装置２２Ａと比較して、制御部２１０Ｂのキャリブレーション処理部２１１Ｂの構成が制御部２１０Ａのキャリブレーション処理部２１１Ａの構成と異なる。そこで、第２の実施形態においては、キャリブレーション処理部２１１Ｂの構成を主に説明する。 (2-2. Functional configuration of camera control device)
Subsequently, a functional configuration example of a camera control device 22B according to a second embodiment of the present invention will be described. FIG. 13 is a block diagram showing an example of a functional configuration of a camera control device 22B according to the second embodiment of the present invention. As illustrated in FIG. 13, the configuration of the calibration processing unit 211B of the control unit 210B is controlled in the camera control device 22B according to the second embodiment compared to the camera control device 22A according to the first embodiment. This differs from the configuration of the calibration processing unit 211A of the unit 210A. Thus, in the second embodiment, the configuration of the calibration processing unit 211B will be mainly described.

（２−３．キャリブレーション処理）
図１４は、本発明の第２の実施形態の概要を説明するための図である。ここで、本発明の第１の実施形態においては、滑走路から離陸した直後の航空機を想定して仮想スクリーンとして平面が１つ存在すると仮定した。しかし、仮想スクリーンの形状および数は特に限定されない。例えば、仮想スクリーンの形状は、物体の動きに応じた形状（例えば、曲面など）であってもよい。また、仮想スクリーンの数は複数であってもよい。 (2-3. Calibration process)
FIG. 14 is a diagram for explaining an outline of the second embodiment of the present invention. Here, in the first embodiment of the present invention, it is assumed that there is one plane as a virtual screen assuming an aircraft immediately after taking off from the runway. However, the shape and number of virtual screens are not particularly limited. For example, the shape of the virtual screen may be a shape (for example, a curved surface) according to the movement of the object. Also, the number of virtual screens may be more than one.

例えば、図１４に示したように、同一の物体Ｍ６〜Ｍ１が時系列に沿って、物体Ｍ６〜Ｍ１の順に飛行して滑走路に着陸する場合を想定する。このとき、図１４に示したように、物体Ｍ３および物体Ｍ２それぞれの位置において旋回が行われる例を考えると、旋回前の物体Ｍ６〜Ｍ４はある平面上を移動するが、旋回後の物体Ｍ１は他の平面上を移動すると考えられる。そこで、第２の実施形態においては、仮想スクリーンが複数存在すると仮定することによって、広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させる例を説明する。   For example, as shown in FIG. 14, it is assumed that the same objects M6 to M1 fly in the order of the objects M6 to M1 and land on the runway in time series. At this time, as shown in FIG. 14, considering an example in which the turning is performed at the positions of the object M3 and the object M2, the objects M6 to M4 before turning move on a certain plane, but the object M1 after turning. Is considered to move on another plane. Therefore, in the second embodiment, an example will be described in which the control accuracy of the imaging range of the movable camera according to the designated position with respect to the wide area camera video is improved by assuming that a plurality of virtual screens exist.

図１５は、本発明の第２の実施形態に係るキャリブレーション処理について説明するための図である。図１５に示したように、仮想スクリーンＳｃ１の他に、仮想スクリーンＳｃ２が存在すると仮定することができる。図１４に示した例で言えば、仮想スクリーンＳｃ１が、旋回前の物体Ｍ６〜Ｍ４が存在する可能性のある領域であり、仮想スクリーンＳｃ２は、旋回後の物体Ｍ１が存在する可能性のある領域である。仮想スクリーンＳｃ２は、固定カメラ２１を基準として、仮想スクリーンＳｃ１よりも遠くに存在すると仮定されている。   FIG. 15 is a diagram for explaining a calibration process according to the second embodiment of the present invention. As shown in FIG. 15, it can be assumed that there is a virtual screen Sc2 in addition to the virtual screen Sc1. In the example illustrated in FIG. 14, the virtual screen Sc1 is a region where the objects M6 to M4 before the turn may exist, and the virtual screen Sc2 may include the object M1 after the turn. It is an area. The virtual screen Sc2 is assumed to exist farther than the virtual screen Sc1 with the fixed camera 21 as a reference.

例えば、仮想スクリーンＳｃ１の三次元位置は、第１の実施形態における仮想スクリーンＳｃの三次元位置の特定手法を利用して特定され得る。また、仮想スクリーンＳｃ２の三次元位置も、第１の実施形態における仮想スクリーンＳｃの三次元位置の特定手法を利用して特定されてよいが、仮想スクリーンＳｃ２は地面と交わっておらず、地面の三次元位置を利用し得ないため、固定カメラ２１の高さに基づいて（例えば、固定カメラ２１と同一の高さという制限により）、仮想スクリーンＳｃ２の下端の位置が特定されてもよい。   For example, the three-dimensional position of the virtual screen Sc1 can be identified using the method of specifying the three-dimensional position of the virtual screen Sc in the first embodiment. Also, the three-dimensional position of the virtual screen Sc2 may be specified using the method for specifying the three-dimensional position of the virtual screen Sc in the first embodiment, but the virtual screen Sc2 does not intersect the ground, Since the three-dimensional position can not be used, the position of the lower end of the virtual screen Sc2 may be specified based on the height of the fixed camera 21 (for example, by the restriction of the same height as the fixed camera 21).

また、図１５に示したように、仮想スクリーンＳｃ２の下端と仮想スクリーンＳｃ１の上端とは、同一の高さであってよい。また、図１５に示した例では、仮想スクリーンＳｃ２に存在する物体の三次元位置（ｘｄ’，ｙｄ’，ｚｄ’）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｄ’，Ｔｄ’）との組み合わせを含むようにキャリブレーションデータが生成されている。   Further, as shown in FIG. 15, the lower end of the virtual screen Sc2 and the upper end of the virtual screen Sc1 may have the same height. In the example shown in FIG. 15, the imaging parameters (Pd ′, Td) for imaging the three-dimensional position (xd ′, yd ′, zd ′) of the object existing on the virtual screen Sc2 and the three-dimensional position of the object. Calibration data is generated so as to include the combination with ').

図１６は、本発明の第２の実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。図１６を参照すると、実空間に存在すると仮定された仮想スクリーンＳｃ１および仮想スクリーンＳｃ２が広域カメラ映像に映っている（第１の表示領域Ｗ１〜Ｗ４）。上記したように、物体Ｍ１は、旋回後には上下には移動しても左右にはほとんど移動しないことが想定されるため、仮想スクリーンＳｃ１は、飛行場の滑走路の進行方向に沿って存在すると仮定されてよい。一方、仮想スクリーンＳｃ２は、物体Ｍ１の旋回に合わせて存在すると仮定されてよい。   FIG. 16 is a diagram showing a display example when a position in a wide-area camera image is designated in the second embodiment of the present invention. Referring to FIG. 16, the virtual screen Sc1 and the virtual screen Sc2 assumed to exist in the real space appear in the wide area camera image (first display areas W1 to W4). As described above, since it is assumed that the object M1 moves up and down after the turn and hardly moves left and right, it is assumed that the virtual screen Sc1 exists along the traveling direction of the runway of the airfield. May be done. On the other hand, the virtual screen Sc2 may be assumed to exist in accordance with the turning of the object M1.

このように、仮想スクリーンＳｃ１は広域カメラ映像に１の仮想撮像領域として撮像され、仮想スクリーンＳｃ２が広域カメラ映像に他の仮想撮像領域として撮像される。カメラ制御部２１３は、１の仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と１の仮想スクリーンの三次元位置とに基づいて撮像範囲を制御すればよい。一方、カメラ制御部２１３は、他の仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と他の仮想スクリーンの三次元位置とに基づいて撮像範囲を制御すればよい。   Thus, the virtual screen Sc1 is imaged as one virtual imaging area in the wide-area camera image, and the virtual screen Sc2 is imaged as another virtual imaging area in the wide-area camera image. When the designated position exists within the range of one virtual imaging area, the camera control unit 213 may control the imaging range based on the designated position and the three-dimensional position of the one virtual screen. On the other hand, the camera control unit 213 may control the imaging range based on the specified position and the three-dimensional position of the other virtual screen when the specified position exists within the range of the other virtual imaging area.

以上、本発明の第２の実施形態について説明した。   The second embodiment of the present invention has been described above.

（３．第３の実施形態）
続いて、本発明の第３の実施形態について説明する。 (3. Third Embodiment)
Subsequently, a third embodiment of the present invention will be described.

（３−１．監視システムの構成）
図１を参照しながら、本発明の第３の実施形態に係る監視システム１Ｃの構成例について説明する。図１に示したように、第３の実施形態に係る監視システム１Ｃは、第１の実施形態に係る監視システム１Ａと比較して、表示制御装置１０Ｃの構成が表示制御装置１０Ａの構成と異なっている。そこで、第３の実施形態においては、表示制御装置１０Ｃの構成を主に説明する。 (3-1. Configuration of monitoring system)
A configuration example of a monitoring system 1C according to a third embodiment of the present invention will be described with reference to FIG. As shown in FIG. 1, the monitoring system 1C according to the third embodiment is different from the monitoring system 1A according to the first embodiment in the configuration of the display control device 10C from the configuration of the display control device 10A. ing. Thus, in the third embodiment, the configuration of the display control device 10C will be mainly described.

（３−２．表示制御装置の機能構成）
続いて、本発明の第３の実施形態に係る表示制御装置１０Ｃの機能構成例について説明する。図１７は、本発明の第３の実施形態に係る表示制御装置１０Ｃの機能構成例を示すブロック図である。図１７に示したように、第３の実施形態に係る表示制御装置１０Ｃは、第１の実施形態に係る表示制御装置１０Ａと比較して、制御部１１０Ｃに適正判断部１１５および出力制御部１１６が含まれるという構成が、制御部１１０Ａの構成と異なる。そこで、第３の実施形態においては、適正判断部１１５および出力制御部１１６の構成を主に説明する。 (3-2. Functional configuration of display control device)
Subsequently, a functional configuration example of a display control device 10C according to a third embodiment of the present invention will be described. FIG. 17 is a block diagram illustrating a functional configuration example of a display control apparatus 10C according to the third embodiment of the present invention. As illustrated in FIG. 17, the display control apparatus 10C according to the third embodiment includes the appropriate determination unit 115 and the output control unit 116 in the control unit 110C as compared with the display control apparatus 10A according to the first embodiment. Is different from the configuration of the control unit 110A. Therefore, in the third embodiment, the configurations of the appropriateness determination unit 115 and the output control unit 116 will be mainly described.

（３−３．適正判断処理）
図１８は、本発明の第３の実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。図１８を参照すると、広域カメラ映像における指定位置に応じて可動カメラ３０の撮像範囲が制御された結果、可動カメラ３０によって撮像された可動カメラ映像が第２の表示領域Ｗ０に表示されている。ここで、物体Ｍ１が可動カメラ映像に適正に映っていない場合には、何らかのエラーが発生している可能性がある。 (3-3. Appropriate judgment processing)
FIG. 18 is a diagram illustrating a display example when a position in a wide-area camera image is designated in the third embodiment of the present invention. Referring to FIG. 18, as a result of the imaging range of movable camera 30 being controlled according to the designated position in the wide area camera video, the movable camera video imaged by movable camera 30 is displayed in the second display area W0. Here, if the object M1 is not properly reflected in the movable camera image, there is a possibility that some error has occurred.

例えば、物体Ｍ１（航空機）が正常ルートから外れている、即ち仮想スクリーン領域に存在しない場合には、物体Ｍ１が可動カメラ映像に適正に映らないという状況が生じ得る。そこで、適正判断部１１５は、可動カメラ映像に物体Ｍ１が適正に映っているか否かを判断し、出力制御部１１６は、可動カメラ映像に物体Ｍ１が適正に映っていないと判断された場合に、所定の警告が出力されるように制御するとよい。かかる構成によれば、滑走路進入中の航空機が正常ルートから外れている可能性等を、監視者Ｋにエラーの発生として気づかせることが可能となる。   For example, if the object M1 (aircraft) deviates from the normal route, ie does not exist in the virtual screen area, a situation may occur in which the object M1 does not properly appear in the movable camera image. Therefore, the appropriateness determination unit 115 determines whether or not the object M1 is properly reflected in the movable camera image, and the output control unit 116 determines that the object M1 is not properly reflected in the movable camera image. It is preferable to control to output a predetermined warning. According to this configuration, it is possible to make the observer K aware of the possibility that the aircraft entering the runway is out of the normal route as an occurrence of an error.

物体Ｍ１が可動カメラ映像に適正に映っているか否かの判断には、各種手法が適用できる。例えば、適正判断部１１５は、広域カメラ映像で指定された物体Ｍ１が可動カメラ映像に映っているか否かを画像のパターン認識の手法（例えばテンプレートマッチング手法等）を用いて判断してもよいし、さらに、物体Ｍ１のサイズおよび位置の少なくともいずれか一方に基づいて、可動カメラ映像に物体Ｍ１が適正に映っているか否かを判断してもよい。図１８に示した例では、適正判断部１１５は、物体Ｍ１の一部が写っているが、物体Ｍ１の位置が所定の正常範囲から外れているため、物体Ｍ１が可動カメラ映像に適正に映っていないと判断している。正常範囲は、例えば、第２の表示領域Ｗ０の所定の位置を基準とした所定の範囲であってよい。   Various methods can be applied to determine whether the object M1 is properly displayed on the movable camera image. For example, the appropriateness determination unit 115 may determine whether or not the object M1 designated in the wide-area camera image is reflected in the movable camera image by using an image pattern recognition method (such as a template matching method). Further, based on at least one of the size and position of the object M1, it may be determined whether or not the object M1 is properly reflected in the movable camera image. In the example illustrated in FIG. 18, the suitability determination unit 115 captures a part of the object M1, but the object M1 is appropriately reflected in the movable camera image because the position of the object M1 is out of the predetermined normal range. I do not judge. The normal range may be, for example, a predetermined range based on a predetermined position of the second display area W0.

図１９は、本発明の第３の実施形態において広域カメラ映像における位置が指定された場合における他の表示例を示す図である。図１９に示した例では、適正判断部１１５が、航空機毎のサイズ情報と運航スケジュール情報を備えているものとする。そして、適正判断部１１５は、予め登録されている物体Ｍ１のサイズ情報と可動カメラ映像中の物体Ｍ１のサイズ比較を行ない、可動カメラ映像中の物体Ｍ１のサイズが予め決められた所定の正常範囲から外れているため、物体Ｍ１が可動カメラ映像に適正に映っていないと判断している。可動カメラ映像中の物体Ｍ１のサイズは、可動カメラ映像中の物体Ｍ１における所定部位の所定の始端位置と所定の終端位置とに応じた長さであってよい。ここで、所定の開始位置および所定の終端位置は特に限定されず、例えば、可動カメラ映像中の物体Ｍ１における胴体の先端位置および後端位置であってよい。また、可動カメラ映像中の物体Ｍ１のサイズは、所定の始端位置から所定の終端位置までの長さであってもよいし、所定の始端位置から所定の終端位置までの可動カメラ映像における水平方向の長さであってもよい。   FIG. 19 is a diagram showing another display example when the position in the wide area camera image is designated in the third embodiment of the present invention. In the example shown in FIG. 19, it is assumed that the appropriateness determination unit 115 includes size information and operation schedule information for each aircraft. Then, the appropriateness determination unit 115 compares the size information of the object M1 registered in advance with the size of the object M1 in the movable camera image, and a predetermined normal range in which the size of the object M1 in the movable camera image is determined in advance. It is determined that the object M1 is not properly reflected in the movable camera image because it deviates from. The size of the object M1 in the movable camera image may be a length corresponding to a predetermined start position and a predetermined end position of a predetermined portion of the object M1 in the movable camera image. Here, the predetermined start position and the predetermined end position are not particularly limited, and may be, for example, the front end position and the rear end position of the body of the object M1 in the movable camera image. The size of the object M1 in the movable camera image may be the length from the predetermined start position to the predetermined end position, or the horizontal direction in the movable camera image from the predetermined start position to the predetermined end position. It may be a length of

なお、図１８および図１９に示した例では、警告Ａｒは、可動カメラ映像に重畳されるように表示されるメッセージ「航空機が正常ルートから外れている可能性があります。」であるが、警告Ａｒは、かかる例に限定されない。例えば、警告Ａｒは、アイコンなどといった何らかの表示オブジェクトであってもよい。その場合、表示オブジェクトの表示位置は限定されず、第１の表示領域Ｗ１〜Ｗ４の広域カメラ映像に重畳されるように表示されてもよいし、他の場所に表示されてもよい。あるいは、警告Ａｒは、所定の音声であってもよいし、所定の振動であってもよい。   In the example shown in FIGS. 18 and 19, the warning Ar is a message “The aircraft may be off the normal route” displayed so as to be superimposed on the movable camera image. Ar is not limited to such an example. For example, the warning Ar may be any display object such as an icon. In that case, the display position of the display object is not limited, and the display object may be displayed so as to be superimposed on the wide-area camera image in the first display area W1 to W4, or may be displayed in another place. Alternatively, the warning Ar may be a predetermined voice or a predetermined vibration.

続いて、本発明の第３の実施形態に係る適正判断処理の動作について説明する。図２０は、本発明の第３の実施形態に係る適正判断処理の動作の例を示すシーケンス図である。なお、図２０に示したシーケンス図は、本発明の第３の実施形態に係る適正判断処理の動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図２０に示したシーケンス図に限定されない。   Subsequently, the operation of the appropriateness determination process according to the third embodiment of the present invention will be described. FIG. 20 is a sequence diagram showing an example of the operation of the appropriateness determination process according to the third embodiment of the present invention. The sequence diagram shown in FIG. 20 is merely an example of the flow of the operation of the appropriateness determination process according to the third embodiment of the present invention. Therefore, the flow of this operation is not limited to the sequence diagram shown in FIG.

図２０に示したように、ステップＳ１６１〜ステップＳ１６３、ステップＳ１７１〜ステップＳ１７３、ステップＳ１８１〜ステップＳ１８２およびステップＳ１９１〜ステップＳ１９２が、第１の実施形態と同様に実行される。可動カメラ映像が第２の表示領域に表示されると、適正判断部１１５は、可動カメラ映像に物体Ｍ１が適正に映っているか否かを判断する（ステップＳ１９３）。そして、出力制御部１１６は、判断結果が異常である場合に、所定の警告が出力されるように制御する（ステップＳ１９４）。   As shown in FIG. 20, step S161 to step S163, step S171 to step S173, step S181 to step S182, and step S191 to step S192 are executed in the same manner as in the first embodiment. When the movable camera image is displayed in the second display area, the appropriateness determination unit 115 determines whether or not the object M1 is properly reflected in the movable camera image (step S193). Then, when the determination result is abnormal, the output control unit 116 controls so that a predetermined warning is output (step S194).

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also fall within the technical scope of the present invention.

例えば、仮想スクリーンが広域カメラ映像に映る領域についてのキャリブレーションは、上記した第１の実施形態において説明した例に限定されない。例えば、仮想スクリーンに沿って物体が置かれた場合、キャリブレーション処理部２１１Ａは、仮想スクリーンに沿って物体が置かれた物体が広域カメラ映像に映る二次元位置と、その物体を可動カメラ３０が撮像するための撮像パラメータとの組み合わせがキャリブレーションデータに含まれるように、キャリブレーションデータを生成してもよい。そうすれば、キャリブレーションの精度が向上する。なお、仮想スクリーンに置かれる物体は、模範飛行を行う航空機であってもよいし、気球などであってもよい。   For example, the calibration for the area where the virtual screen appears in the wide-area camera image is not limited to the example described in the first embodiment. For example, when an object is placed along the virtual screen, the calibration processing unit 211A causes the two-dimensional position where the object placed along the virtual screen appears in the wide-area camera image, and the movable camera 30 displays the object. The calibration data may be generated such that the combination with the imaging parameters for imaging is included in the calibration data. This will improve the accuracy of the calibration. Note that the object placed on the virtual screen may be an aircraft that performs model flight, or a balloon or the like.

また、上記した第２の実施形態においては、複数の仮想スクリーンのすべてを同時に利用する例を説明したが、複数の仮想スクリーンのいずれかを状況に応じて選択的に利用するようにしてもよい。例えば、天候状況（例えば、雷雨の有無、風向きなど）によって航空機の適切な飛行ルートが異なる場合も想定される。そこで、カメラ制御部２１３は、天候状況に応じて、複数の仮想スクリーンから利用する仮想スクリーンを選択してもよい。あるいは、カメラ制御部２１３は、航空機の飛行ルートを示す運行情報に基づいて、複数の仮想スクリーンから利用する仮想スクリーンを選択してもよい。天候状況および運行情報は、図示しないサーバから取得されればよい。   In the second embodiment described above, an example in which all of a plurality of virtual screens are used at the same time has been described. However, any of the plurality of virtual screens may be selectively used depending on the situation. . For example, it is also assumed that the appropriate flight route of the aircraft may differ depending on the weather conditions (eg, thunderstorm, wind direction, etc.). Therefore, the camera control unit 213 may select a virtual screen to be used from a plurality of virtual screens according to the weather conditions. Alternatively, the camera control unit 213 may select a virtual screen to be used from a plurality of virtual screens based on operation information indicating the flight route of the aircraft. Weather conditions and operation information may be acquired from a server (not shown).

また、例えば、上記においては、広域カメラ映像が固定カメラによって撮像される例を説明した。しかし、広域カメラ映像を撮像するカメラは、固定カメラに限定されない。例えば、広域カメラ映像は、ＰＴＺ（パン・チルト・ズーム）機能を有する可動カメラによって撮像されてもよい。また、広域カメラ映像が可動カメラによって撮像される場合、可動カメラの画角は特に限定されない。   Also, for example, in the above, an example in which a wide area camera image is captured by a fixed camera has been described. However, a camera that captures a wide-area camera image is not limited to a fixed camera. For example, the wide-area camera image may be captured by a movable camera having a PTZ (pan / tilt / zoom) function. When the wide area camera image is captured by the movable camera, the angle of view of the movable camera is not particularly limited.

１（１Ａ，１Ｂ，１Ｃ） 監視システム
１０（１０Ａ，１０Ｃ） 表示制御装置
２０（２０Ａ，２０Ｂ） 監視装置
２１ 固定カメラ
２２（２２Ａ，２２Ｂ） カメラ制御装置
３０ 可動カメラ
５０ ネットワーク
１１０（１１０Ａ，１１０Ｃ） 制御部
１１１ 映像取得部
１１２ 表示制御部
１１３ 操作検出部
１１４ 通知部
１１５ 適正判断部
１１６ 出力制御部
１２０ 入力部
１３０ 通信部
１４０ 記憶部
１５０ 表示部
２１０（２１０Ａ，２１０Ｂ） 制御部
２１１（２１１Ａ，２１１Ｂ） キャリブレーション処理部
２１２ 操作取得部
２１３ カメラ制御部
２３０ 通信部
２４０ 記憶部
Ｍ１〜Ｍ６ 物体
Ｓｃ（Ｓｃ１，Ｓｃ２） 仮想スクリーン
1 (1A, 1B, 1C) Monitoring system 10 (10A, 10C) Display control device 20 (20A, 20B) Monitoring device 21 Fixed camera 22 (22A, 22B) Camera control device 30 Movable camera 50 Network 110 (110A, 110C) Control unit 111 Video acquisition unit 112 Display control unit 113 Operation detection unit 114 Notification unit 115 Appropriateness determination unit 116 Output control unit 120 Input unit 130 Communication unit 140 Storage unit 150 Display unit 210 (210A, 210B) Control unit 211 (211A, 211B) ) Calibration processing unit 212 Operation acquisition unit 213 Camera control unit 230 Communication unit 240 Storage unit M1 to M6 Object Sc (Sc1, Sc2) Virtual screen

Claims (15)

広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、
前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、
三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、
カメラ制御装置。 An operation acquisition unit that acquires an operation on a wide area camera image captured by a wide area camera;
When the operation on the wide area camera image is a designating operation for specifying the position where the flying object in the wide area camera image exists as the specified position, the imaging range of the movable camera installed at a position different from the wide area camera A camera control unit that controls the camera according to the designated position;
When it is assumed that a virtual screen with a known three-dimensional position exists in real space, the virtual screen is imaged as a virtual imaging area in the wide-area camera image,
The camera control unit controls the imaging range based on the designated position and the three-dimensional position of the virtual screen when the designated position exists within the range of the virtual imaging area;
Camera control device. 前記カメラ制御部は、前記可動カメラの前記撮像範囲を制御するための撮像パラメータを前記指定位置に基づいて取得し、前記撮像パラメータと前記仮想スクリーンの前記三次元位置とに基づいて前記可動カメラの前記撮像範囲を制御する、
請求項１に記載のカメラ制御装置。 The camera control unit acquires an imaging parameter for controlling the imaging range of the movable camera based on the designated position, and based on the imaging parameter and the three-dimensional position of the virtual screen, Control the imaging range,
The camera control device according to claim 1. 前記カメラ制御部は、前記撮像パラメータと前記広域カメラ映像における位置との組み合わせを１または複数有するキャリブレーションデータに基づいて、前記指定位置に応じた撮像パラメータを取得する、
請求項２に記載のカメラ制御装置。 The camera control unit obtains an imaging parameter corresponding to the designated position based on calibration data having one or more combinations of the imaging parameter and a position in the wide-area camera image;
The camera control device according to claim 2. 前記カメラ制御装置は、
前記キャリブレーションデータを生成するキャリブレーション処理部を備え、
前記キャリブレーション処理部は、前記仮想スクリーンと前記広域カメラ映像における前記仮想撮像領域とに基づいて前記キャリブレーションデータのうち前記仮想撮像領域に対応するデータを生成する、
請求項３に記載のカメラ制御装置。 The camera control device
A calibration processing unit that generates the calibration data;
The calibration processing unit generates data corresponding to the virtual imaging area in the calibration data based on the virtual screen and the virtual imaging area in the wide-area camera image.
The camera control device according to claim 3. 前記キャリブレーション処理部は、実空間に存在する所定の対象物が前記広域カメラ映像に実物撮像領域として撮像される場合、前記所定の対象物と前記広域カメラ映像における前記実物撮像領域とに基づいて前記キャリブレーションデータのうち前記実物撮像領域に対応するデータを生成する、
請求項４に記載のカメラ制御装置。 When a predetermined object existing in real space is imaged as an actual imaging area in the wide area camera image, the calibration processing unit is based on the predetermined object and the actual imaging area in the wide area camera image. Generating data corresponding to the real imaging region in the calibration data;
The camera control device according to claim 4. 前記カメラ制御部は、前記指定位置に基づいて前記広域カメラ映像から物体位置を認識し、前記キャリブレーションデータに基づいて前記物体位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御する、
請求項３に記載のカメラ制御装置。 The camera control unit recognizes an object position from the wide area camera video based on the designated position, acquires an imaging parameter corresponding to the object position based on the calibration data, and performs the imaging based on the imaging parameter. Control the range,
The camera control device according to claim 3. 前記物体は、空を背景として飛行する航空機であり、
前記広域カメラは、飛行場を被写体として前記広域カメラ映像を撮像し、
前記仮想スクリーンは、前記飛行場の滑走路の進行方向に沿って存在すると仮定される、
請求項６に記載のカメラ制御装置。 The object is an aircraft flying against the sky,
The wide area camera captures the wide area camera image with an airfield as a subject,
The virtual screen is assumed to be along the direction of the runway of the airfield,
The camera control device according to claim 6. 前記カメラ制御部は、前記キャリブレーションデータに基づいて前記指定位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御する、
請求項３に記載のカメラ制御装置。 The camera control unit acquires an imaging parameter corresponding to the designated position based on the calibration data, and controls the imaging range based on the imaging parameter;
The camera control device according to claim 3. 前記仮想スクリーンは、平面または曲面である、
請求項１に記載のカメラ制御装置。 The virtual screen is flat or curved,
The camera control device according to claim 1. 三次元位置が既知である他の仮想スクリーンが実空間に存在すると仮定した場合に前記他の仮想スクリーンが前記広域カメラ映像に他の仮想撮像領域として撮像され、
前記カメラ制御部は、前記他の仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記他の仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、
請求項１に記載のカメラ制御装置。 When it is assumed that another virtual screen with a known three-dimensional position exists in real space, the other virtual screen is imaged as another virtual imaging region in the wide-area camera image,
The camera control unit controls the imaging range based on the designated position and the three-dimensional position of the other virtual screen when the designated position exists within the range of the other virtual imaging region;
The camera control device according to claim 1. 広域カメラによって撮像された広域カメラ映像に対する操作を取得することと、
前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御することと、を含み、
三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御すること、
を含む、カメラ制御方法。 Obtaining an operation on a wide area camera image captured by a wide area camera;
When the operation on the wide area camera image is a designating operation for specifying the position where the flying object in the wide area camera image exists as the specified position, the imaging range of the movable camera installed at a position different from the wide area camera Controlling according to the designated position,
When it is assumed that a virtual screen with a known three-dimensional position exists in real space, the virtual screen is imaged as a virtual imaging area in the wide-area camera image,
Controlling the imaging range based on the designated position and the three-dimensional position of the virtual screen when the designated position is within the range of the virtual imaging area;
Camera control methods, including: コンピュータを、
広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、
前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、
三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、
カメラ制御装置として機能させるためのプログラム。 Computer,
An operation acquisition unit that acquires an operation on a wide area camera image captured by a wide area camera;
When the operation on the wide area camera image is a designating operation for specifying the position where the flying object in the wide area camera image exists as the specified position, the imaging range of the movable camera installed at a position different from the wide area camera A camera control unit that controls the camera according to the designated position;
When it is assumed that a virtual screen with a known three-dimensional position exists in real space, the virtual screen is imaged as a virtual imaging area in the wide-area camera image,
The camera control unit controls the imaging range based on the designated position and the three-dimensional position of the virtual screen when the designated position exists within the range of the virtual imaging area;
A program for functioning as a camera control device. 表示制御装置とカメラ制御装置とを有する監視システムにおいて、
前記カメラ制御装置は、
広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、
前記広域カメラ映像に対する前記操作が前記広域カメラ映像における飛行する物体が存在する位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、
三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御し、
前記表示制御装置は、
前記可動カメラによって撮像された可動カメラ映像を表示部に表示させる表示制御部を備える、監視システム。 In a surveillance system having a display controller and a camera controller,
The camera control device
An operation acquisition unit that acquires an operation on a wide area camera image captured by a wide area camera;
When the operation on the wide area camera image is a designating operation for specifying the position where the flying object in the wide area camera image exists as the specified position, the imaging range of the movable camera installed at a position different from the wide area camera A camera control unit that controls the camera according to the designated position;
When it is assumed that a virtual screen with a known three-dimensional position exists in real space, the virtual screen is imaged as a virtual imaging area in the wide-area camera image,
The camera control unit controls the imaging range based on the designated position and the three-dimensional position of the virtual screen when the designated position exists within the range of the virtual imaging area;
The display control device
The surveillance system provided with the display control part which displays the movable camera picture picturized by the movable camera on a display part. 前記表示制御装置は、
前記可動カメラ映像に物体が適正に映っているか否かを判断する適正判断部と、
前記可動カメラ映像に前記物体が適正に映っていないと判断された場合に、所定の警告が出力されるように制御する出力制御部と、
を備える、請求項１３に記載の監視システム。 The display control device
An appropriate determination unit that determines whether an object is properly displayed in the movable camera image;
An output control unit that controls to output a predetermined warning when it is determined that the object is not properly reflected in the movable camera image;
The monitoring system of claim 13, comprising: 前記適正判断部は、前記物体のサイズおよび位置の少なくともいずれか一方に基づいて、前記可動カメラ映像に前記物体が適正に映っているか否かを判断する、
請求項１４に記載の監視システム。
The appropriateness determination unit determines whether the object is properly reflected in the movable camera image based on at least one of the size and position of the object.
The monitoring system according to claim 14.
JP2015179262A 2015-09-11 2015-09-11 Camera control apparatus, camera control method, program and monitoring system Active JP6551088B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015179262A JP6551088B2 (en) 2015-09-11 2015-09-11 Camera control apparatus, camera control method, program and monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015179262A JP6551088B2 (en) 2015-09-11 2015-09-11 Camera control apparatus, camera control method, program and monitoring system

Publications (2)

Publication Number Publication Date
JP2017055325A JP2017055325A (en) 2017-03-16
JP6551088B2 true JP6551088B2 (en) 2019-07-31

Family

ID=58321117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015179262A Active JP6551088B2 (en) 2015-09-11 2015-09-11 Camera control apparatus, camera control method, program and monitoring system

Country Status (1)

Country Link
JP (1) JP6551088B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726536B (en) * 2019-12-16 2021-05-01 財團法人工業技術研究院 Image capturing method and image capturing apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4291048B2 (en) * 2003-06-09 2009-07-08 ティーオーエー株式会社 Imaging device
JP2006033188A (en) * 2004-07-13 2006-02-02 Matsushita Electric Ind Co Ltd Supervisory apparatus and supervisory method
WO2009110417A1 (en) * 2008-03-03 2009-09-11 ティーオーエー株式会社 Device and method for specifying installment condition of rotatable camera and camera control system equipped with the installment condition specifying device

Also Published As

Publication number Publication date
JP2017055325A (en) 2017-03-16

Similar Documents

Publication Publication Date Title
US11227410B2 (en) Multi-camera tracking
US20230300466A1 (en) Video surveillance system and video surveillance method
JP6687204B2 (en) Projection image generation method and apparatus, and mapping method between image pixels and depth values
JP3905116B2 (en) Detection area adjustment device
CN109154499A (en) System and method for enhancing stereoscopic display
WO2018076895A1 (en) Method, device, and system for controlling flying of slave unmanned aerial vehicle based on master unmanned aerial vehicle
KR101287190B1 (en) Photographing position automatic tracking method of video monitoring apparatus
JP2016177640A (en) Video monitoring system
JP4418805B2 (en) Detection area adjustment device
KR20210086072A (en) System and method for real-time monitoring field work
KR20130130544A (en) Method and system for presenting security image
CN114140528A (en) Data annotation method and device, computer equipment and storage medium
CN108259827A (en) A kind of method, apparatus for realizing security protection, AR equipment and system
JP5971466B2 (en) Flight path display system, method and program
JP2016059014A (en) Monitoring system, video analyzer, video analyzing method, and program
KR20200067286A (en) 3D scan and VR inspection system of exposed pipe using drone
KR101651152B1 (en) System for monitoring image area integrated space model
JP6551088B2 (en) Camera control apparatus, camera control method, program and monitoring system
JP6032283B2 (en) Surveillance camera management device, surveillance camera management method, and program
KR101076240B1 (en) Device and method for an air defense situation awareness using augmented reality
KR102385677B1 (en) 3D based cctv control video system
JP7379785B2 (en) 3D tour comparison display system and method
KR101670247B1 (en) System for magnifying-moving object using one click of cctv real-time image and method therefor
KR20160099933A (en) Method for analyzing a visible area of a closed circuit television considering the three dimensional features
JP7437930B2 (en) Mobile objects and imaging systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190409

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6551088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150