JP6789767B2 - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP6789767B2 JP6789767B2 JP2016220830A JP2016220830A JP6789767B2 JP 6789767 B2 JP6789767 B2 JP 6789767B2 JP 2016220830 A JP2016220830 A JP 2016220830A JP 2016220830 A JP2016220830 A JP 2016220830A JP 6789767 B2 JP6789767 B2 JP 6789767B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- detection information
- detected
- camera
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の距離画像カメラを使用して移動物体を監視する監視システムに関する。 The present invention relates to a surveillance system that monitors moving objects using a plurality of range image cameras.
監視範囲を広げるために、複数の距離画像カメラを用いて、移動物体を監視する監視システムが知られている。その場合、各距離画像カメラが、移動物体の測位用に保持している保持座標系間にずれがあると、例えば、距離画像カメラ間をまたがって移動する移動物体を同定することに支障が生じる。これに対処するためには、距離画像カメラの保持座標系（各軸の方向及び原点位置）を較正する必要がある。 In order to expand the monitoring range, a monitoring system that monitors a moving object by using a plurality of distance image cameras is known. In that case, if there is a deviation between the holding coordinate systems held by each distance image camera for positioning the moving object, for example, it becomes difficult to identify the moving object moving across the distance image cameras. .. In order to deal with this, it is necessary to calibrate the holding coordinate system (direction of each axis and origin position) of the distance image camera.
特許文献１は、視野（撮影範囲）が一部重複する２つのカメラの二次元座標系間のずれを自動調整する方法を開示する。該方法によれば、四隅に等径の円が書込まれた正方形の合せ板を所定の座標軸に対して平行に移動させて、該合せ板の全体が各カメラの視野に含まれている第１及び第２撮像画像と、該合せ板が両カメラの視野に半々ずつ含まれる第３撮像画像とを取得する。そして、合せ板の４隅の円について第１〜第３撮像画像における間隔や傾きを調べて、各カメラの傾きのずれ等を較正する。 Patent Document 1 discloses a method of automatically adjusting the deviation between the two-dimensional coordinate systems of two cameras whose fields of view (shooting range) partially overlap. According to the method, a square mating plate in which circles having equal diameters are written at the four corners is moved parallel to a predetermined coordinate axis, and the entire mating plate is included in the field of view of each camera. The first and second captured images and the third captured image in which the mating plate is included in the fields of view of both cameras in half are acquired. Then, the intervals and inclinations of the circles at the four corners of the mating plate in the first to third captured images are examined, and the deviation of the inclination of each camera is calibrated.
特許文献２は、基準カメラと参照カメラとの２つの距離画像カメラを使って、参照カメラの撮像画像の歪みや輝度値等を較正するカメラ・キャリブレーション装置を開示する。該装置によれば、同一の撮影平面を、正対方向から撮影する基準カメラと、傾斜方向から撮影する参照カメラとの２つのカメラで撮影する。そして、基準カメラの撮像画像を基準画像として、該基準画像を射影変換した画像と、参照カメラの撮像画像とを照合して、参照カメラの撮像画像の歪み等を較正している。 Patent Document 2 discloses a camera calibration device that calibrates distortion, brightness value, and the like of an image captured by a reference camera by using two distance image cameras, a reference camera and a reference camera. According to the apparatus, the same shooting plane is shot by two cameras, a reference camera that shoots from the facing direction and a reference camera that shoots from the tilt direction. Then, using the image captured by the reference camera as the reference image, the image obtained by projecting and transforming the reference image is collated with the image captured by the reference camera to calibrate the distortion of the image captured by the reference camera.
特許文献２は、別のカメラ・キャリブレーション装置も開示する。該別の装置によれば、基準カメラを廃止して、代わりに、参照カメラとしての各カメラが、幾何学形状が定義済みのパターンからなる基準画像をあらかじめ保持する。そして、カメラが、該定義済みのパターンと同一のパターンを有するパターン部材を撮影し、その時の撮影画像を、保持中の基準画像と照合して、該カメラの撮像画像の歪み等を較正する。 Patent Document 2 also discloses another camera calibration device. According to the alternative device, the reference camera is abolished and instead each camera as a reference camera holds in advance a reference image consisting of a pattern with a defined geometric shape. Then, the camera photographs a pattern member having the same pattern as the defined pattern, collates the captured image at that time with the reference image being held, and calibrates the distortion of the captured image of the camera.
特許文献３は、複数の距離画像カメラを、向きを下向きに揃えて、天井の異なる複数の箇所に設置し、下方を水平方向に移動する移動物体を撮影する場合に、各カメラの撮像画像を合成することを開示する。特許文献３の開示によれば、複数の距離画像カメラが、上面が水平面となっている同一の移動物体を同時に撮影する。そして、鉛直方向を複数の距離区間に分割し、各距離区間ごとに、距離画像カメラの撮像画像の各画素において検出した鉛直方向距離が含まれている画素の総数を集計する。最後に、集計値が所定の閾値以上の極大値となっている距離区間であってかつ最も上方に存在する距離区間を調べ、該最上方の距離区間の鉛直方向距離に基づいて各移動物体の撮像画像の距離データを補正してから、各カメラの撮像画像の合成画像が生成される。 In Patent Document 3, when a plurality of distance image cameras are installed at a plurality of locations having different ceilings with their orientations facing downward and a moving object moving downward in the horizontal direction is photographed, the captured image of each camera is captured. Disclose that it is synthesized. According to the disclosure of Patent Document 3, a plurality of distance image cameras simultaneously photograph the same moving object whose upper surface is a horizontal plane. Then, the vertical direction is divided into a plurality of distance sections, and the total number of pixels including the vertical distance detected in each pixel of the image captured by the distance image camera is totaled for each distance section. Finally, the distance section in which the aggregated value is the maximum value equal to or higher than a predetermined threshold value and exists at the uppermost position is examined, and the vertical distance of the uppermost distance section is used for each moving object. After correcting the distance data of the captured image, a composite image of the captured image of each camera is generated.
特許文献１の方法は、各カメラ間のずれを解消するために、合せ板を使用する。また、該合せ板を所定の座標軸の方向に移動するとともに、複数の所定位置の各々で停止させて、撮影する。このため、合せ板の管理が煩雑になるとともに、較正処理が煩雑になる。 The method of Patent Document 1 uses a ply plate in order to eliminate the deviation between the cameras. Further, the mating plate is moved in the direction of a predetermined coordinate axis and stopped at each of a plurality of predetermined positions to take a picture. Therefore, the management of the mating plate becomes complicated, and the calibration process becomes complicated.
特許文献２のカメラ・キャリブレーション装置も、所定のパターン部材を必要とする。また、該カメラ・キャリブレーション装置は、距離画像カメラを個別に使用するときに関係する撮像画像の歪み等を較正するものであり、複数の距離画像カメラ間の不整合を較正するものではない。 The camera calibration device of Patent Document 2 also requires a predetermined pattern member. Further, the camera calibration device calibrates the distortion of the captured image and the like when the distance image cameras are individually used, and does not calibrate the inconsistency between the plurality of distance image cameras.
特許文献３の合成画像装置は、上面が水平面となっている移動物を利用して、複数の距離画像カメラ間の鉛直方向のみの、すなわち１軸方向のみの測定値のずれを較正するものである。絶対座標系の３軸方向の較正を行う場合には、水平方向だけでなく、鉛直方向の較正も行う必要があり、その場合、特許文献３の装置では、移動物体を鉛直方向に移動する工程が追加され、較正作業が煩雑化する。 The composite image device of Patent Document 3 uses a moving object whose upper surface is a horizontal plane to calibrate the deviation of measured values only in the vertical direction, that is, only in the uniaxial direction between a plurality of distance image cameras. is there. When calibrating the absolute coordinate system in the three axial directions, it is necessary to calibrate not only in the horizontal direction but also in the vertical direction. In that case, in the apparatus of Patent Document 3, the step of moving a moving object in the vertical direction. Is added, and the calibration work becomes complicated.
本発明の目的は、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる監視システムを提供することである。 An object of the present invention is to provide a monitoring system capable of efficiently performing calibration between three-dimensional coordinate systems held by a plurality of distance image cameras for positioning an object.
本発明の監視システムは、
第１撮影範囲に存在する物体の第１三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第１検出情報を出力する第１距離画像カメラと、
前記第１撮影範囲とは所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
前記検出情報処理装置は、
所定時刻において前記重複撮影範囲の異なる位置に存在する第１及び第２物体を前記第１検出情報に基づいて検出する第１重複物体検出部と、
前記所定時刻において前記重複撮影範囲に存在する前記第１及び前記第２物体を前記第２検出情報に基づいて検出する第２重複物体検出部と、
前記第１重複物体検出部が検出した前記第１物体についての前記第１検出情報に基づく位置を始点とし、前記第１重複物体検出部が検出した前記第２物体についての前記第１検出情報に基づく位置を終点とする第１空間ベクトルを算出する第１空間ベクトル算出部と、
前記第２重複物体検出部が検出した前記第１物体についての前記第２検出情報に基づく位置を始点とし、前記第２重複物体検出部が検出した前記第２物体についての前記第２検出情報に基づく位置を終点とする第２空間ベクトルを算出する第２空間ベクトル算出部と、
前記第１空間ベクトルと前記第２空間ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする。
The monitoring system of the present invention
A first-distance image camera that detects a position of an object existing in the first shooting range based on the first three-dimensional coordinate system and outputs first detection information including the detected position and the detection time at which the position was detected. ,
The position based on the second three-dimensional coordinate system of an object existing in the second imaging range that partially overlaps with the first imaging range is detected, and the detected position and the position are detected. A second range image camera that outputs the second detection information including the detection time, and
The first detection information from the first distance image camera and the second detection information from the second distance image camera are continuously received to obtain an object existing in the first and second shooting ranges. It is a monitoring system equipped with a detection information processing device to monitor.
The detection information processing device is
A first overlapping object detection unit that detects first and second objects existing at different positions in the overlapping shooting range at a predetermined time based on the first detection information.
A second overlapping object detection unit that detects the first and second objects existing in the overlapping shooting range at the predetermined time based on the second detection information.
The first detection information of the second object detected by the first overlapping object detection unit is set as a starting point based on the first detection information of the first object detected by the first overlapping object detection unit. The first space vector calculation unit that calculates the first space vector with the base position as the end point,
The second detection information of the second object detected by the second overlapping object detection unit is set as a starting point based on the second detection information of the first object detected by the second overlapping object detection unit. A second space vector calculation unit that calculates a second space vector whose end point is the base position,
Based on the comparison between the first space vector and the second space vector, the second and third orders are such that each axis of the second three-dimensional coordinate system is parallel to the corresponding axis of the first three-dimensional coordinate system. It is characterized by including a coordinate system calibration unit for calibrating the original coordinate system.
本発明の監視システムによれば、第１及び第２距離画像カメラの撮影範囲の重複撮影範囲の異なる位置に同一時刻に存在する２つの物体について、第１及び第２検出情報に基づく第１及び第２空間ベクトルを対比することにより、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる。 According to the monitoring system of the present invention, two objects existing at different positions in the overlapping shooting range of the first and second range image cameras at the same time are first and second based on the first and second detection information. By comparing the second space vectors, it is possible to efficiently perform calibration between the three-dimensional coordinate systems held by the plurality of distance image cameras for positioning the object.
本発明の別の監視システムは、
第１撮影範囲に存在する物体の第１三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第１検出情報を出力する第１距離画像カメラと、
前記第１撮影範囲と所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
前記検出情報処理装置は、
異なる第１及び第２時刻において前記重複撮影範囲の異なる位置に存在する同一物体を前記第１検出情報に基づいて検出する第１同一物体検出部と、
前記第１及び前記第２時刻において前記重複撮影範囲に存在する前記同一物体を前記第２検出情報に基づいて検出する第２同一物体検出部と、
前記第１同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第１検出情報に基づく位置を始点とし、前記第１同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第１検出情報に基づく位置を終点とする第１移動ベクトルを算出する第１移動ベクトル算出部と、
前記第２同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第２検出情報に基づく位置を始点とし、前記第２同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第２検出情報に基づく位置を終点とする第２移動ベクトルを算出する第２移動ベクトル算出部と、
前記第１移動ベクトルと前記第２移動ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする。
Another monitoring system of the present invention
A first-distance image camera that detects a position of an object existing in the first shooting range based on the first three-dimensional coordinate system and outputs first detection information including the detected position and the detection time at which the position was detected. ,
A position based on the second three-dimensional coordinate system of an object existing in a second shooting range that partially overlaps with the first shooting range in a predetermined overlapping shooting range is detected, and the detected position and the detected position are detected. A second range image camera that outputs the second detection information including the time and
The first detection information from the first distance image camera and the second detection information from the second distance image camera are continuously received to obtain an object existing in the first and second shooting ranges. It is a monitoring system equipped with a detection information processing device to monitor.
The detection information processing device is
A first identical object detection unit that detects the same object existing at different positions in the overlapping shooting range at different first and second times based on the first detection information.
A second identical object detection unit that detects the same object existing in the overlapping shooting range at the first and second times based on the second detection information.
The same object at the second time detected by the first identical object detection unit, starting from a position based on the first detection information about the same object at the first time detected by the first identical object detection unit. A first movement vector calculation unit that calculates a first movement vector whose end point is a position based on the first detection information of
The same object at the second time detected by the second same object detection unit, starting from a position based on the second detection information about the same object at the first time detected by the second same object detection unit. A second movement vector calculation unit that calculates a second movement vector whose end point is a position based on the second detection information of
Based on the comparison between the first movement vector and the second movement vector, the second and third order so that each axis of the second three-dimensional coordinate system is parallel to the corresponding axis of the first three-dimensional coordinate system. It is characterized by including a coordinate system calibration unit for calibrating the original coordinate system.
本発明の別の監視システムによれば、異なる第１及び第２時刻に第１及び第２距離画像カメラの撮影範囲の重複撮影範囲の異なる第１及び第２位置に存在する同一物体について、第１及び第２検出情報に基づく第１及び第２移動ベクトルを対比することにより、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる。 According to another monitoring system of the present invention, the same object existing in the first and second positions having different shooting ranges of the overlapping shooting ranges of the first and second distance image cameras at different first and second times is the first. By comparing the first and second movement vectors based on the first and second detection information, it is possible to efficiently perform calibration between the three-dimensional coordinate systems held by the plurality of distance image cameras for positioning the object. ..
本発明において、前記座標系較正部は、前記第２三次元座標系の各軸を前記第１三次元座標系の対応軸と平行にする較正の終了後、前記重複撮影範囲に同一時刻に存在する所定物体についての前記第１検出情報に基づく第１位置と前記第２検出情報に基づく第２位置との対比に基づいて、前記第２三次元座標系の原点が前記第１三次元座標系の原点に一致するように、前記第２三次元座標系を較正することが好ましい。 In the present invention, the coordinate system calibration unit exists in the overlapping imaging range at the same time after the completion of calibration for making each axis of the second three-dimensional coordinate system parallel to the corresponding axis of the first three-dimensional coordinate system. The origin of the second three-dimensional coordinate system is the first three-dimensional coordinate system based on the comparison between the first position based on the first detection information and the second position based on the second detection information for the predetermined object. It is preferable to calibrate the second three-dimensional coordinate system so as to coincide with the origin of.
この構成によれば、第２三次元座標系の各軸の較正後、重複撮影範囲に同一時刻に存在する所定物体についての第１及び第２検出情報に基づく第１及び第２位置を対比することにより、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の原点位置の較正を能率的に行うことができる。 According to this configuration, after calibrating each axis of the second three-dimensional coordinate system, the first and second positions based on the first and second detection information for a predetermined object existing in the overlapping imaging range at the same time are compared. This makes it possible to efficiently calibrate the origin position between the three-dimensional coordinate systems held by the plurality of distance image cameras for positioning the object.
図１は、監視システム１の監視範囲２を示し、図１Ａは監視範囲２を上方から示す図、図１Ｂは監視範囲２を側方から示す図である。監視システム１は、主要構成要素として、マスターカメラ３、スレーブカメラ４、ルータ５、及び監視サーバ６を備えている。 FIG. 1 shows the monitoring range 2 of the monitoring system 1, FIG. 1A is a view showing the monitoring range 2 from above, and FIG. 1B is a view showing the monitoring range 2 from the side. The monitoring system 1 includes a master camera 3, a slave camera 4, a router 5, and a monitoring server 6 as main components.
マスターカメラ３（本発明の「第１距離画像カメラ」に相当する）及びスレーブカメラ４（本発明の「第２距離画像カメラ」に相当する）は、共に距離画像カメラである。距離画像カメラは、撮影範囲に存在する対象物までの距離を例えばＴＯＦ（Time Of Flight）方式で画素ごとに検出する。ＴＯＦ方式の距離画像カメラ自体は、公知であり、例えば本出願人が特許出願人になっている特開２０１６−１１８９６３号公報を参照されたい。 The master camera 3 (corresponding to the "first range image camera" of the present invention) and the slave camera 4 (corresponding to the "second range image camera" of the present invention) are both range image cameras. The distance image camera detects the distance to an object existing in the shooting range for each pixel by, for example, a TOF (Time Of Flight) method. The TOF type distance image camera itself is known. For example, refer to Japanese Patent Application Laid-Open No. 2016-118963 in which the applicant is the patent applicant.
距離画像カメラにおける各画素への入射光の方向は１つに決まるので、各画素ごとに、距離画像カメラから見た対象物の方向（例：方角）と距離画像カメラからの距離とが検出される。 Since the direction of the incident light to each pixel in the distance image camera is determined to be one, the direction (example: direction) of the object seen from the distance image camera and the distance from the distance image camera are detected for each pixel. To.
なお、各画素ごとの物体までの方向と距離とにより、距離画像カメラ（厳密には距離画像カメラの撮像センサ）を３軸方向の座標系の原点としたときの物体の位置ベクトルが画素ごとに決定される。該位置ベクトルは、三次元空間のベクトルであるので、空間ベクトルでもある。 Depending on the direction and distance to the object for each pixel, the position vector of the object when the distance image camera (strictly speaking, the image sensor of the distance image camera) is the origin of the coordinate system in the three-axis direction is for each pixel. It is determined. Since the position vector is a vector in three-dimensional space, it is also a space vector.
ルータ５と監視サーバ６とは、インターネット７を介してデータを相互に授受自在になっている。ルータ５は、マスターカメラ３及びスレーブカメラ４に接続されており、マスターカメラ３及びスレーブカメラ４とインターネット７との間のデータの授受を中継する。 The router 5 and the monitoring server 6 can exchange data with each other via the Internet 7. The router 5 is connected to the master camera 3 and the slave camera 4, and relays the exchange of data between the master camera 3 and the slave camera 4 and the Internet 7.
監視範囲２は、移動物体としての人１１ａ〜１１ｃが移動する領域に設定される。監視範囲２が設定される例として、商業施設、公共施設及び交通施設において人が移動する屋内空間がある。監視範囲は、商店通りや野外施設等の屋外空間に設定されてもよい。図１の監視範囲２には、人１１ａ〜１１ｃの３人しか存在しないが、人数及び位置は単なる例示である。以降、人１１ａ〜１１ｃを区別しないときは、「人１１」と総称する。 The monitoring range 2 is set in an area where people 11a to 11c as moving objects move. An example in which the monitoring range 2 is set is an indoor space where people move in commercial facilities, public facilities, and transportation facilities. The monitoring range may be set in an outdoor space such as a store street or an outdoor facility. In the monitoring range 2 of FIG. 1, there are only three people 11a to 11c, but the number and position are merely examples. Hereinafter, when the persons 11a to 11c are not distinguished, they are collectively referred to as "person 11".
マスターカメラ３及びスレーブカメラ４は、監視範囲２を見下ろす天井１３の別々の位置に所定距離離れて取付けられている。監視範囲２は、中心線１７により二分される。マスターカメラ３の撮影範囲１４ｍとスレーブカメラ４の撮影範囲１４ｓとは、中心線１７を所定量、隣の撮影範囲の方に越えて、監視範囲２の一方側及び他方側を撮影範囲として設定されている。この結果、中心線１７に対して両側には、撮影範囲１４ｍ，１４ｓの重複撮影範囲１５が形成される。重複撮影範囲１５により、人１１が複数の撮影範囲をまたがって移動するとき、各人１１を連続的に追跡することが可能になる。 The master camera 3 and the slave camera 4 are mounted at different positions on the ceiling 13 overlooking the monitoring range 2 at a predetermined distance. The monitoring range 2 is divided into two by the center line 17. The shooting range 14 m of the master camera 3 and the shooting range 14s of the slave camera 4 are set so that the center line 17 extends toward the adjacent shooting range by a predetermined amount and one side and the other side of the monitoring range 2 are set as shooting ranges. ing. As a result, overlapping imaging ranges 15 of imaging ranges 14 m and 14 s are formed on both sides of the center line 17. The overlapping shooting range 15 makes it possible to continuously track each person 11 when the person 11 moves across a plurality of shooting ranges.
図示の例では、人１１ａの位置はマスターカメラ３の撮影範囲１４ｍに属し、人１１ｃの位置はスレーブカメラ４の撮影範囲１４ｓに属する。人１１ｂの位置は、重複撮影範囲１５にあり、撮影範囲１４ｍ，１４ｓの両方に属する。 In the illustrated example, the position of the person 11a belongs to the shooting range 14m of the master camera 3, and the position of the person 11c belongs to the shooting range 14s of the slave camera 4. The position of the person 11b is in the overlapping shooting range 15, and belongs to both the shooting ranges 14m and 14s.
図２は、監視システム１のブロック図である。監視システム１では、監視範囲２を監視するマスターカメラ３及びスレーブカメラ４と、監視データを処理する監視サーバ６とは、インターネット７を介してデータを授受自在になっている。 FIG. 2 is a block diagram of the monitoring system 1. In the monitoring system 1, the master camera 3 and the slave camera 4 that monitor the monitoring range 2 and the monitoring server 6 that processes the monitoring data can exchange data via the Internet 7.
マスターカメラ３及びスレーブカメラ４は、それらの撮影範囲１４ｍ，１４ｓに存在する人１１についての検出情報を、一定時間間隔で出力して、監視サーバ６へ送信する。検出情報には、人１１の絶対座標位置、該位置を検出した検出時刻、及び距離画像カメラのＩＤが含まれる。監視サーバ６は、距離画像カメラのＩＤから、受信検出情報がどの距離画像カメラが送信したものかを認識することができる。 The master camera 3 and the slave camera 4 output the detection information about the person 11 existing in the shooting ranges 14m and 14s at regular time intervals and transmit the detection information to the monitoring server 6. The detection information includes the absolute coordinate position of the person 11, the detection time at which the position was detected, and the ID of the distance image camera. The monitoring server 6 can recognize from which distance image camera the reception detection information is transmitted from the ID of the distance image camera.
マスターカメラ３及びスレーブカメラ４が、それらの撮影範囲の人１１の位置としての絶対座標位置を決定するときに用いる保持絶対座標系４３ｈについては、図３において後述する。なお、マスターカメラ３及びスレーブカメラ４から監視サーバ６への検出情報の送信は、人１１の監視中、一定時間間隔でなくても、所定時間以上中断することなく継続的に行われていればよい。 The holding absolute coordinate system 43h used by the master camera 3 and the slave camera 4 when determining the absolute coordinate position as the position of the person 11 in their shooting range will be described later in FIG. It should be noted that the transmission of the detection information from the master camera 3 and the slave camera 4 to the monitoring server 6 is continuously performed during the monitoring of the person 11 without interruption for a predetermined time or longer even if the time interval is not fixed. Good.
監視サーバ６は、第１重複物体検出部２５、第１空間ベクトル算出部２６、第２重複物体検出部２７、第２空間ベクトル算出部２８、第１同一物体検出部３１、第１移動ベクトル算出部３２、第２同一物体検出部３３、第２移動ベクトル算出部３４及び座標系較正部４０を備えている。監視サーバ６が備えるこれらの構成要素の詳細は、図４以降のフローチャートで説明する。 The monitoring server 6 includes a first overlapping object detection unit 25, a first space vector calculation unit 26, a second overlapping object detection unit 27, a second space vector calculation unit 28, a first identical object detection unit 31, and a first movement vector calculation. A unit 32, a second identical object detection unit 33, a second movement vector calculation unit 34, and a coordinate system calibration unit 40 are provided. Details of these components included in the monitoring server 6 will be described with reference to the flowcharts shown in FIGS. 4 and 4.
図３は、距離画像カメラ４１が移動物体４２の絶対座標位置を測定するときの説明図である。距離画像カメラ４１は、撮影範囲４４に存在する移動物体４２の絶対座標位置を検出する。なお、距離画像カメラ４１の具体例はマスターカメラ３及びスレーブカメラ４（図１）であり、移動物体４２の具体例は人１１ａ〜１１ｃ（図１）である。 FIG. 3 is an explanatory diagram when the distance image camera 41 measures the absolute coordinate position of the moving object 42. The range image camera 41 detects the absolute coordinate position of the moving object 42 existing in the shooting range 44. Specific examples of the distance image camera 41 are the master camera 3 and the slave camera 4 (FIG. 1), and specific examples of the moving object 42 are people 11a to 11c (FIG. 1).
各距離画像カメラ４１は、個々に測位用の保持絶対座標系４３ｈを保持し、個々に保持した保持絶対座標系４３ｈに基づいて移動物体４２の絶対座標位置を検出している。一方、監視範囲２（図１）の全体に対して、共通の基準絶対座標系４３ｒが設定される。各距離画像カメラ４１が個々に保持している保持絶対座標系４３ｈ間には、ずれが生じる。このため、各距離画像カメラ４１が個々に保持している保持絶対座標系４３ｈを基準絶対座標系４３ｒに揃える較正が必要となる。 Each distance image camera 41 individually holds the holding absolute coordinate system 43h for positioning, and detects the absolute coordinate position of the moving object 42 based on the holding absolute coordinate system 43h held individually. On the other hand, a common reference absolute coordinate system 43r is set for the entire monitoring range 2 (FIG. 1). A deviation occurs between the holding absolute coordinate systems 43h individually held by each distance image camera 41. Therefore, it is necessary to calibrate the holding absolute coordinate system 43h individually held by each distance image camera 41 to the reference absolute coordinate system 43r.
基準絶対座標系４３ｒに対する保持絶対座標系４３ｈのずれには、基準絶対座標系４３ｒの原点位置に対する保持絶対座標系４３ｈの原点位置のずれと、基準絶対座標系４３ｒの３軸としてのＸ軸、Ｙ軸及びＺ軸に対する保持絶対座標系４３ｈの３軸としてのＸ軸、Ｙ軸及びＺ軸の３軸傾斜角のずれ（各軸の方向（例：方角））との２種類がある。なお、Ｘ軸の周りの回転をヨーイング、Ｙ軸の周りの回転をローリング、Ｚ軸の周りの回転をピッチングと定義する。 The deviation of the holding absolute coordinate system 43h with respect to the reference absolute coordinate system 43r includes the deviation of the origin position of the holding absolute coordinate system 43h with respect to the origin position of the reference absolute coordinate system 43r and the X-axis as the three axes of the reference absolute coordinate system 43r. There are two types of holding absolute coordinate system 43h with respect to the Y-axis and the Z-axis: the X-axis as the three axes, and the deviation of the three-axis inclination angles of the Y-axis and the Z-axis (direction of each axis (example: direction)). The rotation around the X-axis is defined as yawing, the rotation around the Y-axis is defined as rolling, and the rotation around the Z-axis is defined as pitching.
以降、基準絶対座標系４３ｒによる絶対座標位置をΛｒ（Ｘ，Ｙ，Ｚ）で表わす。マスターカメラ３が保持する保持絶対座標系４３ｈによる絶対座標位置をΛｍ（Ｘ，Ｙ，Ｚ）で表わす。スレーブカメラ４が保持する保持絶対座標系４３ｈによる絶対座標位置をΛｓ（Ｘ，Ｙ，Ｚ）で表わす。Λｍ（Ｘ，Ｙ，Ｚ）及びΛｓ（Ｘ，Ｙ，Ｚ）を総称するときは、Λｈ（Ｘ，Ｙ，Ｚ）（図３）で表わす。 Hereinafter, the absolute coordinate position according to the reference absolute coordinate system 43r is represented by Λr (X, Y, Z). The absolute coordinate position by the holding absolute coordinate system 43h held by the master camera 3 is represented by Λm (X, Y, Z). The absolute coordinate position by the holding absolute coordinate system 43h held by the slave camera 4 is represented by Λs (X, Y, Z). When Λm (X, Y, Z) and Λs (X, Y, Z) are collectively referred to, they are represented by Λh (X, Y, Z) (FIG. 3).
さらに、基準絶対座標系４３ｒの各軸に対するマスターカメラ３が保持する保持絶対座標系４３ｈの対応軸の傾斜角をΘｍ（Ｘ，Ｙ，Ｚ）で表わす。基準絶対座標系４３ｒの各軸に対するスレーブカメラ４が保持する保持絶対座標系４３ｈの対応軸の傾斜角をΘｓ（Ｘ，Ｙ，Ｚ）で表わす。Θｍ（Ｘ，Ｙ，Ｚ）及びΘｓ（Ｘ，Ｙ，Ｚ）を総称するときは、Θｈ（Ｘ，Ｙ，Ｚ）（図３）で表わす。 Further, the inclination angle of the corresponding axis of the holding absolute coordinate system 43h held by the master camera 3 with respect to each axis of the reference absolute coordinate system 43r is represented by Θm (X, Y, Z). The tilt angle of the corresponding axis of the holding absolute coordinate system 43h held by the slave camera 4 with respect to each axis of the reference absolute coordinate system 43r is represented by Θs (X, Y, Z). When Θm (X, Y, Z) and Θs (X, Y, Z) are generically referred to, they are represented by Θh (X, Y, Z) (FIG. 3).
監視システム１では、マスターカメラ３の保持絶対座標系４３ｈが基準絶対座標系４３ｒに設定される。したがって、基準絶対座標系４３ｒにおけるマスターカメラ３の絶対座標位置Λは、Λｒ（０，０，０）であり、Λｍ（０，０，０）＝Λｒ（０，０，０）である。また、基準絶対座標系４３ｒにおけるマスターカメラ３の４３の３軸傾斜角Θｍ（Ｘ，Ｙ，Ｚ）は、Θｍ（０，０，０）ある。そして、スレーブカメラ４が保持する保持絶対座標系４３ｈの較正前では、Λｍ（０，０，０）≠Λｓ（０，０，０）であり、基準絶対座標系４３ｒにおけるスレーブカメラ４の３軸傾斜角Θｓ（Ｘ，Ｙ，Ｚ）について、Θｓ（Ｘ，Ｙ，Ｚ）≠Θｓ（０，０，０）の関係にある。これに対し、スレーブカメラ４が保持する保持絶対座標系４３ｈの較正後は、Λｍ（０，０，０）＝Λｓ（０，０，０）であり、基準絶対座標系４３ｒにおけるスレーブカメラ４の３軸傾斜角Θｓ（Ｘ，Ｙ，Ｚ）について、Θｓ（Ｘ，Ｙ，Ｚ）＝Θｓ（０，０，０）である。 In the monitoring system 1, the holding absolute coordinate system 43h of the master camera 3 is set to the reference absolute coordinate system 43r. Therefore, the absolute coordinate position Λ of the master camera 3 in the reference absolute coordinate system 43r is Λr (0,0,0), and Λm (0,0,0) = Λr (0,0,0). Further, the 3-axis inclination angle Θm (X, Y, Z) of 43 of the master camera 3 in the reference absolute coordinate system 43r is Θm (0,0,0). Before the calibration of the holding absolute coordinate system 43h held by the slave camera 4, Λm (0,0,0) ≠ Λs (0,0,0), and the three axes of the slave camera 4 in the reference absolute coordinate system 43r. With respect to the inclination angle Θs (X, Y, Z), there is a relationship of Θs (X, Y, Z) ≠ Θs (0,0,0). On the other hand, after the calibration of the holding absolute coordinate system 43h held by the slave camera 4, Λm (0,0,0) = Λs (0,0,0), and the slave camera 4 in the reference absolute coordinate system 43r For the triaxial tilt angle Θs (X, Y, Z), Θs (X, Y, Z) = Θs (0,0,0).
図３において、Ｖｇは、距離画像カメラ４１の絶対座標位置Λｈ（Ｘｃ，Ｙｃ，Ｚｃ）から移動物体４２の絶対座標位置Λｈ（Ｘｇ，Ｙｇ，Ｚｇ）に引いたベクトルである。図では、ベクトルについてＶの上側にベクトルの印である「→」を付けているが、明細書では、省略している。Ｖｇは、三次元ベクトルである点において空間ベクトルであり、保持絶対座標系４３ｈの原点を始点とする点において位置ベクトルである。 In FIG. 3, Vg is a vector drawn from the absolute coordinate position Λh (Xc, Yc, Zc) of the distance image camera 41 to the absolute coordinate position Λh (Xg, Yg, Zg) of the moving object 42. In the figure, “→”, which is a vector mark, is attached to the upper side of V for the vector, but it is omitted in the specification. Vg is a space vector at a point that is a three-dimensional vector, and is a position vector at a point starting from the origin of the holding absolute coordinate system 43h.
距離画像カメラ４１は、撮影範囲４４の各移動物体４２の絶対座標位置Λｈを次の（式１）から算出する。
移動物体４２の絶対座標位置Λｈ（Ｘｇ，Ｙｇ，Ｚｇ）＝空間ベクトルＶｇ＋絶対座標位置Λｈ（Ｘｃ，Ｙｃ，Ｚｃ）・・・（式１）
ただし、マスターカメラ３では、Λｈ（Ｘｇ，Ｙｇ，Ｚｇ）＝空間ベクトルＶｇとなる。
The distance image camera 41 calculates the absolute coordinate position Λh of each moving object 42 in the shooting range 44 from the following (Equation 1).
Absolute coordinate position Λh (Xg, Yg, Zg) of moving object 42 = space vector Vg + absolute coordinate position Λh (Xc, Yc, Zc) ... (Equation 1)
However, in the master camera 3, Λh (Xg, Yg, Zg) = space vector Vg.
監視サーバ６は、距離画像カメラ４１から受信した検出情報に含まれる移動物体４２の絶対座標位置Λｈを抽出することにより、距離画像カメラ４１の撮影範囲４４内の２つの移動物体４２間の空間ベクトルＶｐを、次の（式２）から算出する。
空間ベクトルＶｐ＝（他方の移動物体４２の絶対座標位置Λｈ）−（一方の移動物体４２の絶対座標位置Λｈ）・・・（式２）
上記（式２）では、一方の移動物体４２の絶対座標位置Λｈ及び他方の移動物体４２の絶対座標位置Λｈはそれぞれ空間ベクトルＶｐの始点及び終点となる。
The monitoring server 6 extracts the absolute coordinate position Λh of the moving object 42 included in the detection information received from the distance image camera 41, thereby extracting the space vector between the two moving objects 42 within the shooting range 44 of the distance image camera 41. Vp is calculated from the following (Equation 2).
Space vector Vp = (absolute coordinate position Λh of the other moving object 42)-(absolute coordinate position Λh of one moving object 42) ... (Equation 2)
In the above (Equation 2), the absolute coordinate position Λh of one moving object 42 and the absolute coordinate position Λh of the other moving object 42 are the start point and the end point of the space vector Vp, respectively.
すべての距離画像カメラ４１において保持絶対座標系４３ｈ＝基準絶対座標系４３ｒが理想であるが、スレーブカメラ４では、保持絶対座標系４３ｈ及び基準絶対座標系４３ｒとの間に誤差がある。したがって、マスターカメラ３の保持絶対座標系４３ｈによる絶対座標位置に基づく２つの移動物体４２間の空間ベクトルＶｐとしてのベクトルＶｐｍと、スレーブカメラ４の保持絶対座標系４３ｈによる絶対座標位置に基づく２つの移動物体４２間の空間ベクトルＶｐとしてのベクトルＶｐｓとは、較正前では、ベクトルＶｐｍ≠ベクトルＶｐｓとなる。 In all the distance image cameras 41, the holding absolute coordinate system 43h = the reference absolute coordinate system 43r is ideal, but in the slave camera 4, there is an error between the holding absolute coordinate system 43h and the reference absolute coordinate system 43r. Therefore, the vector Vpm as the space vector Vp between the two moving objects 42 based on the absolute coordinate position by the holding absolute coordinate system 43h of the master camera 3 and the two based on the absolute coordinate position by the holding absolute coordinate system 43h of the slave camera 4. The vector Vps as the space vector Vp between the moving objects 42 is the vector Vpm ≠ the vector Vps before the calibration.
前述したように、監視システム１は、マスターカメラ３の保持絶対座標系４３ｈを監視範囲２全体に対して設定した基準絶対座標系４３ｒに設定している。したがって、マスターカメラ３の保持絶対座標系４３ｈの較正は必要がなく、スレーブカメラ４の保持絶対座標系４３ｈだけが較正される。 As described above, the monitoring system 1 sets the holding absolute coordinate system 43h of the master camera 3 to the reference absolute coordinate system 43r set for the entire monitoring range 2. Therefore, it is not necessary to calibrate the holding absolute coordinate system 43h of the master camera 3, and only the holding absolute coordinate system 43h of the slave camera 4 is calibrated.
図４は、座標軸の較正方法（その１）のフローチャートである。マスターカメラ３の保持絶対座標系４３ｈは、監視範囲２の全体に対して共通の基準絶対座標系４３ｒに設定されているので、座標軸の較正（その１）で較正される絶対座標系及び後述の図６の座標軸の較正（その２）で較正される絶対座標系は、スレーブカメラ４の保持絶対座標系４３ｈである。 FIG. 4 is a flowchart of the coordinate axis calibration method (No. 1). Since the holding absolute coordinate system 43h of the master camera 3 is set to the reference absolute coordinate system 43r common to the entire monitoring range 2, the absolute coordinate system calibrated by the coordinate axis calibration (No. 1) and the absolute coordinate system described later will be described later. The absolute coordinate system calibrated in the coordinate axis calibration (No. 2) of FIG. 6 is the holding absolute coordinate system 43h of the slave camera 4.
ＳＴＥＰ１０１では、第１重複物体検出部２５及び第２重複物体検出部２７は所定時刻に重複撮影範囲１５に存在する２つの重複移動物体を検出する。具体的には、第１重複物体検出部２５は、該所定時刻に重複撮影範囲１５の異なる位置に存在する第１及び第２重複移動物体（それぞれ本発明の「第１物体」及び「第２物体」に相当する）をマスターカメラ３からの検出情報（本発明の「第１検出情報」に相当する）に基づいて検出する。第２重複物体検出部２７は、該所定時刻に重複撮影範囲１５に存在する該第１及び該第２重複移動物体をスレーブカメラ４からの検出情報（本発明の「第２検出情報」に相当する）に基づいて検出する。 In STEP 101, the first overlapping object detecting unit 25 and the second overlapping object detecting unit 27 detect two overlapping moving objects existing in the overlapping shooting range 15 at a predetermined time. Specifically, the first overlapping object detection unit 25 is a first and second overlapping moving object (the "first object" and the "second object" of the present invention, respectively, which exist at different positions in the overlapping shooting range 15 at the predetermined time. (Corresponding to the "object") is detected based on the detection information from the master camera 3 (corresponding to the "first detection information" of the present invention). The second overlapping object detection unit 27 detects the first and second overlapping moving objects existing in the overlapping shooting range 15 at the predetermined time from the slave camera 4 (corresponding to the “second detection information” of the present invention. Detect based on).
ＳＴＥＰ１０１の処理内容を図５を参照してさらに具体的に説明する。図５において、人Ｐａ，Ｐｂは、それぞれ第１及び第２重複移動物体に対応する。撮影範囲１４ｍ，１４ｓは、図１で前述したように、それぞれマスターカメラ３及びスレーブカメラ４の撮影範囲である。重複撮影範囲１５は、撮影範囲１４ｍ，１４ｓの重複撮影範囲である。 The processing content of STEP 101 will be described in more detail with reference to FIG. In FIG. 5, the human Pa and Pb correspond to the first and second overlapping moving objects, respectively. The shooting ranges 14m and 14s are the shooting ranges of the master camera 3 and the slave camera 4, respectively, as described above in FIG. The overlapping shooting range 15 is an overlapping shooting range of 14 m and 14 s.
なお、重複範囲１５の具体的な決定の仕方は、例えば、マスターカメラ３からの検出情報に含まれる絶対座標位置Λｍとスレーブカメラ４からの検出情報に含まれる絶対座標位置Λｓとを対比し、同一の絶対座標位置Λが含まれる範囲を重複範囲１５に決定する。スレーブカメラ４の保持絶対座標系４３ｈの較正前であっても、同一の移動物体についてマスターカメラ３が検出する絶対座標位置Λｍとスレーブカメラ４が検出する絶対座標位置Λｓとの差分は、所定範囲に収まっている。したがって、重複範囲１５の厳密な決定は困難であるものの、絶対座標位置Λｍと絶対座標位置Λｓとの成分値の重複部分から所定幅の周辺部を除去して残る中心部分を重複範囲１５に決定することができる。 The specific method of determining the overlap range 15 is, for example, comparing the absolute coordinate position Λm included in the detection information from the master camera 3 with the absolute coordinate position Λs included in the detection information from the slave camera 4. The range including the same absolute coordinate position Λ is determined as the overlapping range 15. Even before the calibration of the holding absolute coordinate system 43h of the slave camera 4, the difference between the absolute coordinate position Λm detected by the master camera 3 and the absolute coordinate position Λs detected by the slave camera 4 for the same moving object is within a predetermined range. It fits in. Therefore, although it is difficult to determine the overlapping range 15 exactly, the overlapping range 15 is determined by removing the peripheral portion having a predetermined width from the overlapping portion of the component values of the absolute coordinate position Λm and the absolute coordinate position Λs. can do.
また、スレーブカメラ４は、移動物体の測位用に自己が保持している保持絶対座標系４３ｈのΛｓ（０，０，０）及びΘｓ（０，０，０）の初期値（較正前の暫定的な値）を、監視サーバ６を介さずに行うマスターカメラ３との近距離無線通信でおおよその値に設定する。なお、スレーブカメラ４は、この概略的な初期値設定において、例えば、周知のＴＯＡ（Time of Arrival）及びＡＯＡ（Angle of Arrival）を利用する。スレーブカメラ４は、重力センサを備えて、重力センサを用いて検出した鉛直方向を保持絶対座標系４３ｓのおおよそのＺ軸方向に設定することもできる。 Further, the slave camera 4 has initial values (provisional before calibration) of Λs (0,0,0) and Θs (0,0,0) of the holding absolute coordinate system 43h held by itself for positioning a moving object. Value) is set to an approximate value by short-range wireless communication with the master camera 3 performed without going through the monitoring server 6. The slave camera 4 uses, for example, well-known TOA (Time of Arrival) and AOA (Angle of Arrival) in this schematic initial value setting. The slave camera 4 may include a gravity sensor and set the vertical direction detected by the gravity sensor in the approximate Z-axis direction of the holding absolute coordinate system 43s.
図５Ａは、スレーブカメラ４の保持絶対座標系４３ｈが較正されている場合に、監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示す。図５Ｂは、スレーブカメラ４の保持絶対座標系４３ｈが較正されていない場合に、監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示す。 FIG. 5A shows the positional relationship of the shooting ranges 14 m and 14 s that the monitoring server 6 grasps from the detection information of the master camera 3 and the slave camera 4 when the holding absolute coordinate system 43h of the slave camera 4 is calibrated. FIG. 5B shows the positional relationship of the shooting ranges 14m and 14s that the monitoring server 6 grasps from the detection information of the master camera 3 and the slave camera 4 when the holding absolute coordinate system 43h of the slave camera 4 is not calibrated.
図５Ａでは、スレーブカメラ４からの検出情報内の絶対座標位置Λｓに基づく重複撮影範囲１５は、マスターカメラ３からの検出情報内の絶対座標位置Λｍに基づく重複撮影範囲１５に一致している。これに対し、図５Ｂでは、スレーブカメラ４からの検出情報内の絶対座標位置Λｓに基づく重複撮影範囲１５は、マスターカメラ３からの検出情報内の絶対座標位置Λｍに基づく重複撮影範囲１５からずれている。 In FIG. 5A, the overlapping shooting range 15 based on the absolute coordinate position Λs in the detection information from the slave camera 4 coincides with the overlapping shooting range 15 based on the absolute coordinate position Λm in the detection information from the master camera 3. On the other hand, in FIG. 5B, the overlapping shooting range 15 based on the absolute coordinate position Λs in the detection information from the slave camera 4 deviates from the overlapping shooting range 15 based on the absolute coordinate position Λm in the detection information from the master camera 3. ing.
図５において、人Ｐａ，Ｐｂは、重複撮影範囲１５に同一時刻に離れて存在する２つの移動物体として例示されている。この時、マスターカメラ３が、（式１）を用いて算出した人Ｐａ，Ｐｂの絶対座標位置ΛｍをそれぞれΛｍ（Ｘａ，Ｙａ，Ｚａ），Λｍ（Ｘｂ，Ｙｂ，Ｚｂ）とする。また、スレーブカメラ４が、（式１）を用いて算出した人Ｐａ，Ｐｂの絶対座標位置ΛをそれぞれΛｓ（Ｘａ，Ｙａ，Ｚａ），Λｓ（Ｘｂ，Ｙｂ，Ｚｂ）とする。 In FIG. 5, humans Pa and Pb are exemplified as two moving objects existing in the overlapping shooting range 15 at the same time. At this time, the absolute coordinate positions Λm of the people Pa and Pb calculated by the master camera 3 using (Equation 1) are set to Λm (Xa, Ya, Za) and Λm (Xb, Yb, Zb), respectively. Further, the slave camera 4 sets the absolute coordinate positions Λ of the people Pa and Pb calculated using (Equation 1) to Λs (Xa, Ya, Za) and Λs (Xb, Yb, Zb), respectively.
Λｍ（Ｘａ，Ｙａ，Ｚａ）と該位置を検出した検出時刻とを含む検出情報と、Λｍ（Ｘｂ，Ｙｂ，Ｚｂ）と該位置を検出した検出時刻とを含む検出情報とがマスターカメラ３から監視サーバ６へ送信され、Λｓ（Ｘａ，Ｙａ，Ｚａ）と該位置を検出した検出時刻とを含む検出情報と、Λｓ（Ｘｂ，Ｙｂ，Ｚｂ）と該位置を検出した検出時刻とを含む検出情報とがスレーブカメラ４から監視サーバ６に送信される。 The detection information including Λm (Xa, Ya, Za) and the detection time at which the position was detected, and the detection information including Λm (Xb, Yb, Zb) and the detection time at which the position was detected are obtained from the master camera 3. Detection including detection information transmitted to the monitoring server 6 including Λs (Xa, Ya, Za) and the detection time at which the position was detected, and detection time including Λs (Xb, Yb, Zb) and the detection time at which the position was detected. Information is transmitted from the slave camera 4 to the monitoring server 6.
ＳＴＥＰ１０２では、第１空間ベクトル算出部２６は、第１空間ベクトルＶを算出する。第１空間ベクトルＶとは、具体的には、図５ＢのベクトルＶｐｍである。 In STEP 102, the first space vector calculation unit 26 calculates the first space vector V. Specifically, the first space vector V is the vector Vpm of FIG. 5B.
具体的には、第１空間ベクトル算出部２６は、マスターカメラ３からの検出情報から抽出したΛｍ（Ｘａ，Ｙａ，Ｚａ），Λｍ（Ｘｂ，Ｙｂ，Ｚｂ）を上述の（式２）の右辺のそれぞれ第２項及び第１項に代入して、ベクトルＶｐｍを算出する。 Specifically, the first space vector calculation unit 26 extracts Λm (Xa, Ya, Za) and Λm (Xb, Yb, Zb) extracted from the detection information from the master camera 3 on the right side of the above (Equation 2). The vector Vpm is calculated by substituting into the second term and the first term, respectively.
ＳＴＥＰ１０３では、第２空間ベクトル算出部２８は、第２空間ベクトルＶを算出する。第２空間ベクトルＶとは、具体的には、図５ＢのベクトルＶｐｓである。 In STEP 103, the second space vector calculation unit 28 calculates the second space vector V. Specifically, the second space vector V is the vector Vps of FIG. 5B.
具体的には、第２空間ベクトル算出部２８は、スレーブカメラ４からの検出情報から抽出したΛｓ（Ｘａ，Ｙａ，Ｚａ），Λｓ（Ｘｂ，Ｙｂ，Ｚｂ）を上述の（式２）の右辺のそれぞれ第２項及び第１項に代入して、ベクトルＶｐｓを算出する。 Specifically, the second space vector calculation unit 28 extracts Λs (Xa, Ya, Za) and Λs (Xb, Yb, Zb) extracted from the detection information from the slave camera 4 on the right side of the above (Equation 2). The vector Vps is calculated by substituting into the second term and the first term, respectively.
図５Ａでは、空間ベクトルＶｐｍ＝空間ベクトルＶｐｓとなる。これに対し、図５Ｂでは、空間ベクトルＶｐｍ≠空間ベクトルＶｐｓとなる。なぜなら、スレーブカメラ４の保持絶対座標系４３ｈの３軸傾斜角Θｓ（Ｘ，Ｙ，Ｚ）について、Θｓ（Ｘ，Ｙ，Ｚ）≠Θｓ（０，０，０）であって、未較正であるからである。また、この段階で、スレーブカメラ４の保持絶対座標系４３ｈの原点の絶対座標位置Λｓ（０，０，０）は、Λｓ（０，０，０）≠Λｍ（０，０，０）てある。 In FIG. 5A, the space vector Vpm = the space vector Vps. On the other hand, in FIG. 5B, the space vector Vpm ≠ the space vector Vps. This is because the triaxial tilt angle Θs (X, Y, Z) of the holding absolute coordinate system 43h of the slave camera 4 is Θs (X, Y, Z) ≠ Θs (0,0,0) and is uncalibrated. Because there is. Further, at this stage, the absolute coordinate position Λs (0,0,0) of the origin of the holding absolute coordinate system 43h of the slave camera 4 is Λs (0,0,0) ≠ Λm (0,0,0). ..
ＳＴＥＰ１０４では、座標系較正部４０は、第１空間ベクトルＶｐｍと第２空間ベクトルＶｐｓとの対比に基づいてスレーブカメラ４の保持絶対座標系４３ｈのＸ軸、Ｙ軸及びＺ軸がマスターカメラ３の保持絶対座標系４３ｈの対応軸としてのＸ軸、Ｙ軸及びＺ軸にそれぞれ平行になるように、スレーブカメラ４の保持絶対座標系４３ｈを較正する。具体的には、座標系較正部４０からスレーブカメラ４に較正指示（較正するために必要な情報としての較正情報も含む）の信号が送られ、スレーブカメラ４は、該較正指示の信号内の較正情報に基づいて自己の保持絶対座標系４３ｈの各軸の方向を変更する。 In STEP 104, the coordinate system calibration unit 40 has the X-axis, Y-axis, and Z-axis of the holding absolute coordinate system 43h of the slave camera 4 as the master camera 3 based on the comparison between the first space vector Vpm and the second space vector Vps. The holding absolute coordinate system 43h of the slave camera 4 is calibrated so as to be parallel to the X-axis, the Y-axis, and the Z-axis as the corresponding axes of the holding absolute coordinate system 43h. Specifically, a signal of a calibration instruction (including calibration information as information necessary for calibration) is sent from the coordinate system calibration unit 40 to the slave camera 4, and the slave camera 4 is in the signal of the calibration instruction. The direction of each axis of the self-holding absolute coordinate system 43h is changed based on the calibration information.
詳細には、座標系較正部４０は、空間ベクトルＶｐｍ，Ｖｐｓの差分ベクトルを算出し、該差分ベクトルが解消されるように、具体的には、差分ベクトル＝０となるように、又は空間ベクトルＶｐｍ，Ｖｐｓが平行になるように、スレーブカメラ４の保持絶対座標系４３ｈをその原点の周りに回転させる。 Specifically, the coordinate system calibration unit 40 calculates the difference vector of the space vectors Vpm and Vps, so that the difference vector is eliminated, specifically, the difference vector = 0, or the space vector. The holding absolute coordinate system 43h of the slave camera 4 is rotated around its origin so that Vpm and Vps are parallel.
ＳＴＥＰ１０４の終了後は、マスターカメラ３及びスレーブカメラ４が、重複撮影範囲１５に同時刻に離れて存在する人Ｐａ，Ｐｂを検出して、監視サーバ６に送信する検出情報に基づいて、第１空間ベクトル算出部２６及び第２空間ベクトル算出部２８がそれぞれ第１空間ベクトルＶｐｍ及び第２空間ベクトルＶｐｓを算出する。この第１空間ベクトルＶｐｍ及び第２空間ベクトルＶｐｓについては、第２空間ベクトルＶｐｓ＝第１空間ベクトルＶｐｍが成り立つ。ただし、スレーブカメラ４の保持絶対座標系４３ｈの原点位置の較正（Λｓ（０，０，０）＝Λｍ（０，０，０））は終了していないので、第１空間ベクトルＶｐｍの始点及び終点と第２空間ベクトルＶｐｓの始点及び終点とは一致しない。 After the end of STEP 104, the master camera 3 and the slave camera 4 detect the persons Pa and Pb existing at the same time in the overlapping shooting range 15 and transmit the first one to the monitoring server 6. The space vector calculation unit 26 and the second space vector calculation unit 28 calculate the first space vector Vpm and the second space vector Vps, respectively. For the first space vector Vpm and the second space vector Vps, the second space vector Vps = the first space vector Vpm holds. However, since the calibration of the origin position of the holding absolute coordinate system 43h of the slave camera 4 (Λs (0,0,0) = Λm (0,0,0)) has not been completed, the starting point of the first space vector Vpm and The end point does not match the start point and end point of the second space vector Vps.
図６は、座標軸の較正方法（その２）のフローチャートである。ＳＴＥＰ１１１では、第１同一物体検出部３１及び第２同一物体検出部３３は、重複撮影範囲１５に異なる時刻ｔ１，ｔ２に存在する同一移動物体を検出する。具体的には、第１同一物体検出部３１は、時刻ｔ１，ｔ２（本発明の「第１時刻」及び「第２時刻」それぞれ対応する）において重複撮影範囲１５内の異なる位置に存在する同一移動物体（本発明の「同一物体」に相当する）を第１検出情報に基づいて検出する。第２重複物体検出部２７は、時刻ｔ１，ｔ２において重複撮影範囲１５内に存在する該同一移動物体を検出を第２検出情報に基づいて検出する。 FIG. 6 is a flowchart of the coordinate axis calibration method (No. 2). In STEP111, the first identical object detection unit 31 and the second identical object detection unit 33 detect the same moving object existing at different times t1 and t2 in the overlapping shooting range 15. Specifically, the first identical object detection unit 31 exists at different positions within the overlapping shooting range 15 at times t1 and t2 (corresponding to the "first time" and the "second time" of the present invention, respectively). A moving object (corresponding to the "same object" of the present invention) is detected based on the first detection information. The second overlapping object detection unit 27 detects the same moving object existing in the overlapping shooting range 15 at time t1 and t2 based on the second detection information.
ＳＴＥＰ１１１の処理内容を図７を参照してさらに具体的に説明する。図７において、人Ｐ１，Ｐ２は、同一人であり、人Ｐ１は、時刻ｔ１における該同一人を示し、人Ｐ２は時刻ｔ２における該同一人を示している。前述したように、時刻ｔ１，ｔ２は、異なる時刻であり、人Ｐ１，Ｐ２は、同一人であるものの、重複撮影範囲１５において異なる位置に存在する。 The processing content of STEP111 will be described in more detail with reference to FIG. In FIG. 7, the persons P1 and P2 are the same person, the person P1 indicates the same person at time t1, and the person P2 indicates the same person at time t2. As described above, the times t1 and t2 are different times, and the persons P1 and P2 are the same person, but exist at different positions in the overlapping shooting range 15.
図７Ａは、スレーブカメラ４の保持絶対座標系４３ｈが較正されている場合に監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示す。図７Ｂは、スレーブカメラ４の保持絶対座標系４３ｈが較正されていない場合に監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示している。 FIG. 7A shows the positional relationship of the shooting ranges 14m and 14s that the monitoring server 6 grasps from the detection information of the master camera 3 and the slave camera 4 when the holding absolute coordinate system 43h of the slave camera 4 is calibrated. FIG. 7B shows the positional relationship of the shooting ranges 14m and 14s that the monitoring server 6 grasps from the detection information of the master camera 3 and the slave camera 4 when the holding absolute coordinate system 43h of the slave camera 4 is not calibrated.
マスターカメラ３が、自己の保持絶対座標系４３ｈに基づいて（式１）を用いて算出した人Ｐ１，Ｐ２の絶対座標位置ΛをそれぞれΛｍ（Ｘ１，Ｙ１，Ｚ１），Λｍ（Ｘ２，Ｙ２，Ｚ２）とする。また、スレーブカメラ４が、自己の保持絶対座標系４３ｈに基づいて（式１）を用いて算出した人Ｐ１，Ｐ２の絶対座標位置ΛをそれぞれΛｓ（Ｘ１，Ｙ１，Ｚ１），Λｓ（Ｘ２，Ｙ２，Ｚ２）とする。 The master camera 3 sets the absolute coordinate positions Λ of the people P1 and P2 calculated by using (Equation 1) based on the self-holding absolute coordinate system 43h as Λm (X1, Y1, Z1) and Λm (X2, Y2, respectively). Let it be Z2). Further, the slave camera 4 sets the absolute coordinate positions Λ of the persons P1 and P2 calculated by using (Equation 1) based on the self-holding absolute coordinate system 43h as Λs (X1, Y1, Z1) and Λs (X2, respectively). Let it be Y2, Z2).
第１同一物体検出部３１及び第２同一物体検出部３３は、時刻ｔ１−ｔ２の時間間隔より十分に短い時間間隔でそれぞれマスターカメラ３及びスレーブカメラ４からの検出情報を抽出しているので、同一人が重複撮影範囲１５内を移動していることを追跡することができる。時刻ｔ１からｔ２までの時間は、該同一人が重複撮影範囲１５内で適当な距離移動したことを想定して設定された時間になっている。 Since the first identical object detection unit 31 and the second identical object detection unit 33 extract the detection information from the master camera 3 and the slave camera 4 at intervals sufficiently shorter than the time interval of time t1-t2, respectively. It is possible to track that the same person is moving within the overlapping shooting range 15. The time from time t1 to t2 is a time set on the assumption that the same person has moved an appropriate distance within the overlapping shooting range 15.
Λｍ（Ｘ１，Ｙ１，Ｚ１）と該位置を検出した検出時刻とを含む検出情報と、Λｍ（Ｘ２，Ｙ２，Ｚ２）と該位置を検出した検出時刻とを含む検出情報とがマスターカメラ３から監視サーバ６へ送信され、Λｓ（Ｘ１，Ｙ１，Ｚ１）と該位置を検出した検出時刻とを含む検出情報と、Λｓ（Ｘ２，Ｙ２，Ｚ２）と該位置を検出した検出時刻とを含む検出情報とがスレーブカメラ４から監視サーバ６に送信される。 The detection information including Λm (X1, Y1, Z1) and the detection time at which the position was detected, and the detection information including Λm (X2, Y2, Z2) and the detection time at which the position was detected are obtained from the master camera 3. Detection including Λs (X1, Y1, Z1) and the detection time at which the position was detected, which is transmitted to the monitoring server 6, and detection including Λs (X2, Y2, Z2) and the detection time at which the position was detected. Information is transmitted from the slave camera 4 to the monitoring server 6.
ＳＴＥＰ１１２では、第１移動ベクトル算出部３２は、第１移動ベクトルＶｑｍ（図７Ｂ）を算出する。 In STEP 112, the first movement vector calculation unit 32 calculates the first movement vector Vqm (FIG. 7B).
具体的には、第１移動ベクトル算出部３２は、Λｍ（Ｘ１，Ｙ１，Ｚ１），Λｍ（Ｘ２，Ｙ２，Ｚ２）を上述の（式２）を変形した次の（式３）に代入して、第１移動ベクトルＶｑｍを算出する。なお、（式３）は、移動ベクトルの算出に共通に使用されため、移動ベクトルを総称するＶｑを用いている。
移動ベクトルＶｑ＝（時刻ｔ２の移動物体４２の絶対座標位置Λｈ）−（時刻ｔ１の移動物体４２の絶対座標位置Λｈ）・・・（式３）
上記（式３）では、時刻ｔ１の移動物体４２の絶対座標位置Λ及び時刻ｔ２の移動物体４２の絶対座標位置Λはそれぞれ移動ベクトルＶｑの始点及び終点となる。
Specifically, the first movement vector calculation unit 32 substitutes Λm (X1, Y1, Z1) and Λm (X2, Y2, Z2) into the following (Equation 3) which is a modification of the above (Equation 2). The first movement vector Vqm is calculated. Since (Equation 3) is commonly used for calculating the movement vector, Vq is used as a general term for the movement vector.
Moving vector Vq = (absolute coordinate position Λh of moving object 42 at time t2)-(absolute coordinate position Λh of moving object 42 at time t1) ... (Equation 3)
In the above (Equation 3), the absolute coordinate position Λ of the moving object 42 at time t1 and the absolute coordinate position Λ of the moving object 42 at time t2 are the start point and the end point of the movement vector Vq, respectively.
ＳＴＥＰ１１３では、第２移動ベクトル算出部３４は、第２移動ベクトルＶｑｓ（図７Ｂ）を算出する。具体的には、第２移動ベクトル算出部３４は、Λｓ（Ｘ１，Ｙ１，Ｚ１），Λｓ（Ｘ２，Ｙ２，Ｚ２）を（式３）に代入して、第２移動ベクトルＶｑｓを算出する。 In STEP 113, the second movement vector calculation unit 34 calculates the second movement vector Vqs (FIG. 7B). Specifically, the second movement vector calculation unit 34 calculates the second movement vector Vqs by substituting Λs (X1, Y1, Z1) and Λs (X2, Y2, Z2) into (Equation 3).
ＳＴＥＰ１１４では、座標系較正部４０は、第１移動ベクトルＶｑｍと第２移動ベクトルＶｑｓとの対比に基づいてスレーブカメラ４の保持絶対座標系４３ｈのＸ軸、Ｙ軸及びＺ軸がマスターカメラ３の保持絶対座標系４３ｈの対応軸としてのＸ軸、Ｙ軸及びＺ軸にそれぞれ平行になるように、スレーブカメラ４の保持絶対座標系４３ｈを較正する。具体的には、座標系較正部４０からスレーブカメラ４に較正指示（較正情報も含む）の信号が送られ、スレーブカメラ４は、該較正指示の信号内の較正情報に基づいて自己の保持絶対座標系４３ｈの各軸の方向を変更する。 In STEP 114, the coordinate system calibration unit 40 has the X-axis, Y-axis, and Z-axis of the holding absolute coordinate system 43h of the slave camera 4 of the master camera 3 based on the comparison between the first movement vector Vqm and the second movement vector Vqs. The holding absolute coordinate system 43h of the slave camera 4 is calibrated so as to be parallel to the X-axis, the Y-axis, and the Z-axis as the corresponding axes of the holding absolute coordinate system 43h. Specifically, the coordinate system calibration unit 40 sends a calibration instruction (including calibration information) signal to the slave camera 4, and the slave camera 4 holds itself based on the calibration information in the calibration instruction signal. The direction of each axis of the coordinate system 43h is changed.
詳細には、座標系較正部４０は、第１移動ベクトルＶｑｍと第２移動ベクトルＶｑｓとの差分ベクトルを算出し、該差分ベクトルが解消されるように、具体的には、差分ベクトル＝０となるように、又は空間ベクトルＶｑｍ，Ｖｑｓが平行になるように、スレーブカメラ４の保持絶対座標系４３ｈをその原点の周りに回転させる。 Specifically, the coordinate system calibration unit 40 calculates the difference vector between the first movement vector Vqm and the second movement vector Vqs, and specifically, the difference vector = 0 so that the difference vector is eliminated. The holding absolute coordinate system 43h of the slave camera 4 is rotated around its origin so that the space vectors Vqm and Vqs are parallel to each other.
ＳＴＥＰ１１４の終了後は、マスターカメラ３及びスレーブカメラ４が、重複撮影範囲１５の異なる位置に異なる時刻ｔ１，ｔ２に存在する人Ｐ１，Ｐ２（同一人）を検出して、監視サーバ６に送信する検出情報に基づいて、第１同一物体検出部３１及び第２同一物体検出部３３がそれぞれ算出する第１移動ベクトルＶｑｍと第２移動ベクトルＶｑｓについて、第２移動ベクトルＶｑｓ＝第１移動ベクトルＶｑｍが成り立つ。ただし、スレーブカメラ４の保持絶対座標系４３ｈの原点位置の較正（Λｓ（０，０，０）＝Λｍ（０，０，０））は終了していないので、第１移動ベクトルＶｑｍの始点及び終点と空間ベクトルＶｐｓの始点及び終点とは一致しない。 After the end of STEP 114, the master camera 3 and the slave camera 4 detect the persons P1 and P2 (the same person) existing at different positions in the overlapping shooting range 15 at different times t1 and t2, and transmit them to the monitoring server 6. Regarding the first movement vector Vqm and the second movement vector Vqs calculated by the first same object detection unit 31 and the second same object detection unit 33 based on the detection information, the second movement vector Vqs = the first movement vector Vqm. It holds. However, since the calibration of the origin position of the holding absolute coordinate system 43h of the slave camera 4 (Λs (0,0,0) = Λm (0,0,0)) has not been completed, the starting point of the first movement vector Vqm and The end point does not match the start and end points of the space vector Vps.
図８は、原点位置の較正方法のフローチャートである。監視サーバ６は、図４又は図６の絶対座標軸の較正の終了後に、スレーブカメラ４の保持絶対座標系４３ｈの原点位置をマスターカメラ３の原点位置に一致させる較正（Λｓ（０，０，０）＝Λｍ（０，０，０））を行う。 FIG. 8 is a flowchart of a method of calibrating the origin position. After the calibration of the absolute coordinate axes of FIG. 4 or 6 is completed, the monitoring server 6 performs the calibration (Λs (0,0,0)) in which the origin position of the holding absolute coordinate system 43h of the slave camera 4 is matched with the origin position of the master camera 3. ) = Λm (0,0,0)).
ＳＴＥＰ１２１では、絶対座標位置検出部３９は、第１絶対座標位置及び第２絶対座標位置（それぞれ本発明の「第１位置」及び「第２位置」に相当する）を検出する。第１及び第２絶対座標位置は、重複撮影範囲１５に存在する所定移動物体Ｕ（図示せず／本発明の「所定物体」に相当する）についてマスターカメラ３及びスレーブカメラ４から受信した検出情報に基づいて同一時刻における所定移動物体についての絶対座標位置Λｍ（Ｘｕ，Ｙｕ，Ｚｕ），Λｓ（Ｘｕ，Ｙｕ，Ｚｕ）である。絶対座標位置Λｍ（Ｘｕ，Ｙｕ，Ｚｕ），Λｓ（Ｘｕ，Ｙｕ，Ｚｕ）は、それぞれマスターカメラ３からの検出情報（第１検出情報）及びスレーブカメラ４からの検出情報（第２検出情報）に基づいて検出され、本発明の「第１位置」及び「第２位置」に相当する。 In STEP 121, the absolute coordinate position detection unit 39 detects the first absolute coordinate position and the second absolute coordinate position (corresponding to the "first position" and the "second position" of the present invention, respectively). The first and second absolute coordinate positions are the detection information received from the master camera 3 and the slave camera 4 for the predetermined moving object U (not shown / corresponding to the “predetermined object” of the present invention) existing in the overlapping shooting range 15. The absolute coordinate positions Λm (Xu, Yu, Zu) and Λs (Xu, Yu, Zu) for a predetermined moving object at the same time based on. The absolute coordinate positions Λm (Xu, Yu, Zu) and Λs (Xu, Yu, Zu) are the detection information from the master camera 3 (first detection information) and the detection information from the slave camera 4 (second detection information), respectively. It is detected based on the above, and corresponds to the "first position" and the "second position" of the present invention.
ＳＴＥＰ１２２では、座標系較正部４０は、スレーブカメラ４の保持絶対座標系４３ｈの原点位置Λｓ（０，０，０）を較正する。具体的には、座標系較正部４０からスレーブカメラ４に較正指示（較正情報も含む）の信号が送られ、スレーブカメラ４は、該較正指示の信号内の較正情報に基づいて自己の保持絶対座標系４３ｈの原点位置Λｓ（０，０，０）を原点位置Λｍ（０，０，０）に一致させる。詳細には、スレーブカメラ４は、スレーブカメラ４の保持絶対座標系４３ｈの３軸の向きを保持しつつ、較正情報としてのΛｓ（Ｘｕ，Ｙｕ，Ｚｕ）及びΛｍ（Ｘｕ，Ｙｕ，Ｚｕ）について、Λｓ（Ｘｕ，Ｙｕ，Ｚｕ）がΛｍ（Ｘｕ，Ｙｕ，Ｚｕ）の位置に来るように、スレーブカメラ４の保持絶対座標系４３ｈを移動させる。 In STEP 122, the coordinate system calibration unit 40 calibrates the origin position Λs (0,0,0) of the holding absolute coordinate system 43h of the slave camera 4. Specifically, the coordinate system calibration unit 40 sends a calibration instruction (including calibration information) signal to the slave camera 4, and the slave camera 4 holds itself based on the calibration information in the calibration instruction signal. The origin position Λs (0,0,0) in the coordinate system 43h is made to match the origin position Λm (0,0,0). Specifically, the slave camera 4 maintains the orientations of the three axes of the holding absolute coordinate system 43h of the slave camera 4, and describes Λs (Xu, Yu, Zu) and Λm (Xu, Yu, Zu) as calibration information. , Λs (Xu, Yu, Zu) are moved to the position of Λm (Xu, Yu, Zu), and the holding absolute coordinate system 43h of the slave camera 4 is moved.
ＳＴＥＰ１２２の終了後は、スレーブカメラ４の保持絶対座標系４３ｈは基準絶対座標系４３ｒ、すなわちマスターカメラ３の保持絶対座標系４３ｈに一致する（Λｓ（０，０，０）＝Λｍ（０，０，０）かつΘｓ（Ｘ，Ｙ，Ｚ）＝Θｓ（０，０，０））。こうして、スレーブカメラ４の保持絶対座標系４３ｈの全部の較正が終了する。 After the end of STEP 122, the holding absolute coordinate system 43h of the slave camera 4 matches the reference absolute coordinate system 43r, that is, the holding absolute coordinate system 43h of the master camera 3 (Λs (0,0,0) = Λm (0,0). , 0) and Θs (X, Y, Z) = Θs (0,0,0)). In this way, all the calibration of the holding absolute coordinate system 43h of the slave camera 4 is completed.
本発明を図示の実施形態について説明したが、本発明は次の変形例を備える。 Although the present invention has been described in the illustrated embodiment, the present invention includes the following modifications.
実施形態では、ＴＯＦ方式のマスターカメラ３及びスレーブカメラ４が本発明の距離画像カメラとして用いられている。本発明の各距離画像カメラは、周知のステレオカメラであってもよい。１つのステレオカメラは、２つのカメラから構成され、視差を利用して、物体を測位する。 In the embodiment, the TOF type master camera 3 and slave camera 4 are used as the distance image camera of the present invention. Each range image camera of the present invention may be a well-known stereo camera. One stereo camera is composed of two cameras and uses parallax to position an object.
実施形態では、監視サーバ６が、各距離画像カメラから検出情報を継続して受信して、該検出情報に基づいて各移動物体を監視する検出情報処理装置として用いられている。本発明の検出情報処理装置は、インターネット７を介して各距離画像カメラから検出情報を受信する監視サーバ６に限定されない。本発明の検出情報処理装置は、例えば、イントラネットを介して各距離画像カメラから検出情報を受信するサーバであってもよい。 In the embodiment, the monitoring server 6 is used as a detection information processing device that continuously receives detection information from each distance image camera and monitors each moving object based on the detection information. The detection information processing device of the present invention is not limited to the monitoring server 6 that receives detection information from each distance image camera via the Internet 7. The detection information processing device of the present invention may be, for example, a server that receives detection information from each range image camera via an intranet.
マスターカメラ３の保持絶対座標系４３ｈ及びスレーブカメラ４の保持絶対座標系４３ｈは、三次元座標系であり、それぞれ本発明の「第１三次元座標系」及び「第２三次元座標系」に相当する。実施形態の撮影範囲１４ｍ，１４ｓは、それぞれ本発明の「第１撮影範囲」及び「第２撮影範囲」に相当する。 The holding absolute coordinate system 43h of the master camera 3 and the holding absolute coordinate system 43h of the slave camera 4 are three-dimensional coordinate systems, which are referred to as the "first three-dimensional coordinate system" and the "second three-dimensional coordinate system" of the present invention, respectively. Equivalent to. The imaging ranges 14m and 14s of the embodiment correspond to the "first imaging range" and the "second imaging range" of the present invention, respectively.
実施形態の監視システム１は、距離画像カメラ（マスターカメラ３及びスレーブカメラ４）を２つしか備えていない。本発明の監視システムは、３つ以上の距離画像カメラを備えることもできる。その場合、１つの距離画像カメラ（実施形態のマスターカメラ３に相当する）の保持絶対座標系が監視範囲全体の基準絶対座標系となる。他の２以上の距離画像カメラ（実施形態のスレーブカメラ４に相当する）は、それらの撮影範囲１４ｓが、隣関係の撮影範囲１４ｓ同士が部分的に重複する重複撮影範囲１５を有するように、設定される。そして、距離画像カメラの保持絶対座標系の較正では、マスターカメラ３に隣接するスレーブカメラ４から較正を開始し、較正済みのスレーブカメラ４をマスターカメラ３と看做し、マスターカメラ３と看做された較正済みのスレーブカメラ４と未較正のスレーブカメラ４との間で図４（又は図６）及び図８の処理を実施して、該未較正のスレーブカメラ４を較正する。こうして、順々に較正済みのスレーブカメラ４を増大していき、全部のスレーブカメラ４の較正を終了する。 The monitoring system 1 of the embodiment includes only two distance image cameras (master camera 3 and slave camera 4). The surveillance system of the present invention may also include three or more range image cameras. In that case, the holding absolute coordinate system of one distance image camera (corresponding to the master camera 3 of the embodiment) becomes the reference absolute coordinate system of the entire monitoring range. The other two or more distance image cameras (corresponding to the slave camera 4 of the embodiment) have an overlapping shooting range 15 in which their shooting ranges 14s partially overlap each other in the adjacent shooting ranges 14s. Set. Then, in the calibration of the holding absolute coordinate system of the distance image camera, the calibration is started from the slave camera 4 adjacent to the master camera 3, the calibrated slave camera 4 is regarded as the master camera 3, and the master camera 3 is regarded as the master camera 3. The uncalibrated slave camera 4 is calibrated by performing the processes of FIGS. 4 (or 6) and 8 between the calibrated slave camera 4 and the uncalibrated slave camera 4. In this way, the calibrated slave cameras 4 are sequentially increased, and the calibration of all the slave cameras 4 is completed.
実施形態の監視システム１は、例えば人流解析に使用される。本発明の監視システムでは、移動物体は、動物園等の動物や駐車場等の自動車等であってもよい。 The monitoring system 1 of the embodiment is used, for example, for human flow analysis. In the monitoring system of the present invention, the moving object may be an animal such as a zoo, an automobile such as a parking lot, or the like.
１・・・監視システム、２・・・監視範囲、３・・・マスターカメラ（第１距離画像カメラ）、４・・・スレーブカメラ（第２距離画像カメラ）、６・・・監視サーバ（検出情報処理装置）、１１・・・人（移動物体）、１４ｍ・・・撮影範囲（第１撮影範囲）、１４ｓ・・・撮影範囲（第２撮影範囲）、１５・・・重複撮影範囲、２５・・・第１重複物体検出部、２６・・・第１空間ベクトル算出部、２７・・・第２重複物体検出部、２８・・・第２空間ベクトル算出部、３１・・・第１同一物体検出部、３２・・・第１移動ベクトル算出部、３３・・・第２同一物体検出部、３４・・・第２移動ベクトル算出部、４０・・・座標系較正部、４３ｈ・・・保持絶対座標系、４３ｒ・・・基準絶対座標系。 1 ... Surveillance system, 2 ... Surveillance range, 3 ... Master camera (1st distance image camera), 4 ... Slave camera (2nd distance image camera), 6 ... Surveillance server (detection) Information processing device), 11 ... person (moving object), 14 m ... shooting range (first shooting range), 14s ... shooting range (second shooting range), 15 ... overlapping shooting range, 25 ... 1st overlapping object detection unit, 26 ... 1st space vector calculation unit, 27 ... 2nd overlapping object detection unit, 28 ... 2nd space vector calculation unit, 31 ... 1st same Object detection unit, 32 ... 1st movement vector calculation unit, 33 ... 2nd same object detection unit, 34 ... 2nd movement vector calculation unit, 40 ... Coordinate system calibration unit, 43h ... Retention absolute coordinate system, 43r ... Reference absolute coordinate system.
Claims (3)
前記第１撮影範囲とは所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
前記検出情報処理装置は、
所定時刻において前記重複撮影範囲の異なる位置に存在する第１及び第２物体を前記第１検出情報に基づいて検出する第１重複物体検出部と、
前記所定時刻において前記重複撮影範囲に存在する前記第１及び前記第２物体を前記第２検出情報に基づいて検出する第２重複物体検出部と、
前記第１重複物体検出部が検出した前記第１物体についての前記第１検出情報に基づく位置を始点とし、前記第１重複物体検出部が検出した前記第２物体についての前記第１検出情報に基づく位置を終点とする第１空間ベクトルを算出する第１空間ベクトル算出部と、
前記第２重複物体検出部が検出した前記第１物体についての前記第２検出情報に基づく位置を始点とし、前記第２重複物体検出部が検出した前記第２物体についての前記第２検出情報に基づく位置を終点とする第２空間ベクトルを算出する第２空間ベクトル算出部と、
前記第１空間ベクトルと前記第２空間ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする監視システム。 A first-distance image camera that detects a position of an object existing in the first shooting range based on the first three-dimensional coordinate system and outputs first detection information including the detected position and the detection time at which the position was detected. ,
The position based on the second three-dimensional coordinate system of an object existing in the second imaging range that partially overlaps with the first imaging range is detected, and the detected position and the position are detected. A second range image camera that outputs the second detection information including the detection time, and
The first detection information from the first distance image camera and the second detection information from the second distance image camera are continuously received to obtain an object existing in the first and second shooting ranges. It is a monitoring system equipped with a detection information processing device to monitor.
The detection information processing device is
A first overlapping object detection unit that detects first and second objects existing at different positions in the overlapping shooting range at a predetermined time based on the first detection information.
A second overlapping object detection unit that detects the first and second objects existing in the overlapping shooting range at the predetermined time based on the second detection information.
The first detection information of the second object detected by the first overlapping object detection unit is set as a starting point based on the first detection information of the first object detected by the first overlapping object detection unit. The first space vector calculation unit that calculates the first space vector with the base position as the end point,
The second detection information of the second object detected by the second overlapping object detection unit is set as a starting point based on the second detection information of the first object detected by the second overlapping object detection unit. A second space vector calculation unit that calculates a second space vector whose end point is the base position,
Based on the comparison between the first space vector and the second space vector, the second and third order so that each axis of the second three-dimensional coordinate system is parallel to the corresponding axis of the first three-dimensional coordinate system. A monitoring system including a coordinate system calibrator that calibrates the original coordinate system.
前記第１撮影範囲と所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
前記検出情報処理装置は、
異なる第１及び第２時刻において前記重複撮影範囲の異なる位置に存在する同一物体を前記第１検出情報に基づいて検出する第１同一物体検出部と、
前記第１及び前記第２時刻において前記重複撮影範囲に存在する前記同一物体を前記第２検出情報に基づいて検出する第２同一物体検出部と、
前記第１同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第１検出情報に基づく位置を始点とし、前記第１同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第１検出情報に基づく位置を終点とする第１移動ベクトルを算出する第１移動ベクトル算出部と、
前記第２同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第２検出情報に基づく位置を始点とし、前記第２同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第２検出情報に基づく位置を終点とする第２移動ベクトルを算出する第２移動ベクトル算出部と、
前記第１移動ベクトルと前記第２移動ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする監視システム。 A first-distance image camera that detects a position of an object existing in the first shooting range based on the first three-dimensional coordinate system and outputs first detection information including the detected position and the detection time at which the position was detected. ,
A position based on the second three-dimensional coordinate system of an object existing in a second shooting range that partially overlaps with the first shooting range in a predetermined overlapping shooting range is detected, and the detected position and the detected position are detected. A second range image camera that outputs the second detection information including the time and
The first detection information from the first distance image camera and the second detection information from the second distance image camera are continuously received to obtain an object existing in the first and second shooting ranges. It is a monitoring system equipped with a detection information processing device to monitor.
The detection information processing device is
A first identical object detection unit that detects the same object existing at different positions in the overlapping shooting range at different first and second times based on the first detection information.
A second identical object detection unit that detects the same object existing in the overlapping shooting range at the first and second times based on the second detection information.
The same object at the second time detected by the first identical object detection unit, starting from a position based on the first detection information about the same object at the first time detected by the first identical object detection unit. A first movement vector calculation unit that calculates a first movement vector whose end point is a position based on the first detection information of
The same object at the second time detected by the second same object detection unit, starting from a position based on the second detection information about the same object at the first time detected by the second same object detection unit. A second movement vector calculation unit that calculates a second movement vector whose end point is a position based on the second detection information of
Based on the comparison between the first movement vector and the second movement vector, the second and third order so that each axis of the second three-dimensional coordinate system is parallel to the corresponding axis of the first three-dimensional coordinate system. A monitoring system including a coordinate system calibrator that calibrates the original coordinate system.
前記座標系較正部は、前記第２三次元座標系の各軸を前記第１三次元座標系の対応軸と平行にする較正の終了後、前記重複撮影範囲に同一時刻に存在する所定物体についての前記第１検出情報に基づく第１位置と前記第２検出情報に基づく第２位置との対比に基づいて、前記第２三次元座標系の原点が前記第１三次元座標系の原点に一致するように、前記第２三次元座標系を較正することを特徴とする監視システム。 In the monitoring system according to claim 1 or 2.
The coordinate system calibration unit performs calibration for making each axis of the second three-dimensional coordinate system parallel to the corresponding axis of the first three-dimensional coordinate system, and then for a predetermined object existing in the overlapping imaging range at the same time. The origin of the second three-dimensional coordinate system coincides with the origin of the first three-dimensional coordinate system based on the comparison between the first position based on the first detection information and the second position based on the second detection information. A monitoring system, characterized in that it calibrates the second three-dimensional coordinate system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016220830A JP6789767B2 (en) | 2016-11-11 | 2016-11-11 | Monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016220830A JP6789767B2 (en) | 2016-11-11 | 2016-11-11 | Monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018077196A JP2018077196A (en) | 2018-05-17 |
| JP6789767B2 true JP6789767B2 (en) | 2020-11-25 |
Family
ID=62150555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016220830A Active JP6789767B2 (en) | 2016-11-11 | 2016-11-11 | Monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6789767B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7223978B2 (en) * | 2018-05-23 | 2023-02-17 | パナソニックＩｐマネジメント株式会社 | Calibration device and calibration method |
| CN108986164B (en) | 2018-07-03 | 2021-01-26 | 百度在线网络技术（北京）有限公司 | Image-based position detection method, device, equipment and storage medium |
| JP7194015B2 (en) * | 2018-12-28 | 2022-12-21 | 株式会社日立エルジーデータストレージ | Sensor system and distance measurement method |
| JP7206127B2 (en) * | 2019-02-20 | 2023-01-17 | 株式会社Ｉｈｉエアロスペース | IMAGE SENSOR INFORMATION CORRECTION METHOD AND MOVING OBJECT |
| JP2022138211A (en) * | 2021-03-10 | 2022-09-26 | オムロン株式会社 | Object detection system and control device |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3144233B2 (en) * | 1994-09-12 | 2001-03-12 | 株式会社明電舎 | Automatic adjustment of robot and camera |
| JP4453119B2 (en) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera |
| JP3945430B2 (en) * | 2003-03-19 | 2007-07-18 | コニカミノルタホールディングス株式会社 | Method for measuring object by image and imaging device |
| JP2008187566A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method and vehicle |
| JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
| JP4991395B2 (en) * | 2007-05-28 | 2012-08-01 | キヤノン株式会社 | Information processing method and information processing apparatus |
| JP4943270B2 (en) * | 2007-08-09 | 2012-05-30 | 富士フイルム株式会社 | Method and apparatus for setting a three-dimensional coordinate system |
| JP2011086111A (en) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | Imaging apparatus calibration method and image synthesis device |
| JP5663352B2 (en) * | 2011-03-03 | 2015-02-04 | 日本電産エレシス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP2012247226A (en) * | 2011-05-25 | 2012-12-13 | Optex Co Ltd | Distance image camera and distance image combination method |
| EP2530647A1 (en) * | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
| JP6029306B2 (en) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | Perimeter monitoring equipment for work machines |
| JP2012145598A (en) * | 2012-05-07 | 2012-08-02 | Canon Inc | Information processing method and information processing device |
| JP6091821B2 (en) * | 2012-09-20 | 2017-03-08 | 住友建機株式会社 | Excavator |
| DE102012109481A1 (en) * | 2012-10-05 | 2014-04-10 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
| JP6386213B2 (en) * | 2013-05-16 | 2018-09-05 | 住友建機株式会社 | Excavator |
| JP6291781B2 (en) * | 2013-10-17 | 2018-03-14 | 株式会社デンソー | Perimeter monitoring device and perimeter monitoring system |
| US9619894B2 (en) * | 2014-05-16 | 2017-04-11 | GM Global Technology Operations LLC | System and method for estimating vehicle dynamics using feature points in images from multiple cameras |
| JP2015233266A (en) * | 2014-05-16 | 2015-12-24 | 株式会社リコー | Image processing system, information processing device, and program |
| JP6293049B2 (en) * | 2014-12-26 | 2018-03-14 | 株式会社Ｈｉｅｌｅｒｏ | Point cloud data acquisition system and method |
-
2016
- 2016-11-11 JP JP2016220830A patent/JP6789767B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018077196A (en) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6789767B2 (en) | Monitoring system | |
| US11039121B2 (en) | Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method | |
| US9978146B2 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| KR102538592B1 (en) | Apparatus for generating top-view image and method thereof | |
| WO2018076154A1 (en) | Spatial positioning calibration of fisheye camera-based panoramic video generating method | |
| JP4803450B2 (en) | On-vehicle camera calibration device and vehicle production method using the device | |
| EP2932191A2 (en) | Apparatus and method for three dimensional surface measurement | |
| TW200926067A (en) | Image display apparatus and image display method | |
| CN109166153A (en) | Tower crane high altitude operation 3-D positioning method and positioning system based on binocular vision | |
| JP6433200B2 (en) | Arithmetic apparatus, arithmetic method, and program | |
| JP2005017262A (en) | Three-dimensional surveying system and three-dimensional space object restoring method | |
| JP7194015B2 (en) | Sensor system and distance measurement method | |
| JP5804892B2 (en) | Camera posture calculation device | |
| KR102203687B1 (en) | Stereo camera apparatus and rectification method of the same | |
| JP2012146132A (en) | Method for integrating three-dimensional data and two-dimensional data with each other, and watching system and monitoring system using the same | |
| TW202147253A (en) | Aligning digital images | |
| CN109191533A (en) | Tower crane high-altitude construction method based on assembled architecture | |
| TW201322179A (en) | Street view establishing system and street view establishing method | |
| TW201601952A (en) | 3D panoramic image system using distance parameter to calibrate correctness of image | |
| JP3696336B2 (en) | How to calibrate the camera | |
| WO2023241263A1 (en) | Positioning apparatus and positioning system | |
| JP3696335B2 (en) | Method for associating each measurement point of multiple images | |
| CN107274447B (en) | Depth image acquisition device and depth image acquisition method | |
| JP2020088840A (en) | Monitoring device, monitoring system, monitoring method, and monitoring program | |
| CN100491900C (en) | Personnel space orientation automatic measuring method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6789767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |