JP5664161B2 - Monitoring system and monitoring device - Google Patents
Monitoring system and monitoring device Download PDFInfo
- Publication number
- JP5664161B2 JP5664161B2 JP2010256089A JP2010256089A JP5664161B2 JP 5664161 B2 JP5664161 B2 JP 5664161B2 JP 2010256089 A JP2010256089 A JP 2010256089A JP 2010256089 A JP2010256089 A JP 2010256089A JP 5664161 B2 JP5664161 B2 JP 5664161B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- monitoring
- unit
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、監視システム及び監視装置に関し、特に、所定の監視エリアへの侵入者を監視するための監視システム及び監視装置に関する。 The present invention relates to a monitoring system and a monitoring device, and more particularly to a monitoring system and a monitoring device for monitoring an intruder into a predetermined monitoring area.
監視カメラによって所定の監視エリアを撮影することにより、監視エリアへの侵入者を監視する監視装置が広く実用化されている。このような監視装置においては、一般的に、監視カメラによって撮影した監視エリアの映像をモニタに表示し、表示された映像を監視者が目視することによって、監視エリアへの侵入者が監視される。 2. Description of the Related Art A monitoring device that monitors an intruder into a monitoring area by photographing a predetermined monitoring area with a monitoring camera has been widely put into practical use. In such a monitoring apparatus, generally, an intruder into the monitoring area is monitored by displaying a video of the monitoring area captured by the monitoring camera on the monitor and viewing the displayed video by the monitoring person. .
下記特許文献1には、パンチルト機能及びズーム機能が搭載された監視カメラが開示されている。当該監視カメラは、動体を検出すると、その動体の大きさ及び動きベクトルに基づいて、ズームレンズの画角の調整を行うとともに、パンチルタによる撮影範囲の調整を行う。
しかしながら、モニタの表示映像を監視者が目視することによる侵入者の監視では、監視者は常にモニタを注視しているとは限らないため、監視者が侵入者を見落とす可能性がある。特に、施設の周囲に複数の監視カメラが設置されており、複数の監視カメラの映像を一人の監視者によって監視する場合等においては、監視者が侵入者を見落とす可能性は高まる。 However, in the monitoring of an intruder when the monitor visually observes the display image on the monitor, the monitor does not always watch the monitor, so the monitor may miss the intruder. In particular, when a plurality of surveillance cameras are installed around the facility and the images of the plurality of surveillance cameras are monitored by a single supervisor, the possibility that the supervisor overlooks the intruder increases.
また、上記特許文献1に開示された監視カメラによると、パンチルト制御及びズーム制御によって侵入者を自動追跡して撮影することは可能であるが、監視エリア内に複数の侵入者が同時に侵入した場合の対策が施されていないため、複数の侵入者の全員を漏れなく撮影することは不可能である。例えば、監視エリア内に二人の侵入者が同時に侵入した場合において、監視カメラによって一方の侵入者に対する自動追跡撮影が開始されると、他方の侵入者の撮影が行われない。従って、監視カメラの機能としては不十分である。
In addition, according to the surveillance camera disclosed in
本発明はかかる事情に鑑みて成されたものであり、監視エリアへの侵入者を自動追跡して撮影可能であるとともに、複数の侵入者が同時に侵入した場合であっても、当該複数の侵入者を漏れなく撮影することが可能な、監視システム及び監視装置を得ることを目的とするものである。 The present invention has been made in view of such circumstances, and it is possible to automatically track an intruder into a surveillance area and photograph it, and even when a plurality of intruders invades at the same time, the plurality of intrusions It is an object of the present invention to obtain a monitoring system and a monitoring apparatus capable of photographing a person without omission.
本発明の第1の態様に係る監視システムは、監視装置と、表示装置と、を備え、前記監視装置は、所定の監視エリアを撮影する、第1の撮影手段と、前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該移動物体を自動追跡して撮影することにより、当該移動物体の拡大画像を取得して前記表示装置に表示する、第2の撮影手段と、オペレータによって遠隔操作されることにより、前記第1の撮影手段及び前記第2の撮影手段とは独立して、前記監視エリア内の所望箇所の画像を取得して前記表示装置に表示可能な、第3の撮影手段と、を有することを特徴とするものである。 A monitoring system according to a first aspect of the present invention includes a monitoring device and a display device, and the monitoring device images a first monitoring area and the first imaging unit. When a moving object is included in the captured image captured by the above, a magnified image of the moving object is acquired and displayed on the display device by automatically tracking and capturing the moving object. By remotely operating the image capturing unit and an operator, an image of a desired location in the monitoring area is acquired independently of the first image capturing unit and the second image capturing unit, and the image is displayed on the display device. And a third photographing means capable of displaying.
第1の態様に係る監視システムによれば、第2の撮影手段は、第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該移動物体を自動追跡して撮影することにより、当該移動物体の拡大画像を取得して表示装置に表示する。このように、監視エリアへの侵入者を第2の撮影手段によって自動追跡して撮影することにより、侵入者の拡大画像を漏れなく撮影することが可能となる。また、第3の撮影手段は、オペレータによって遠隔操作されることにより、前記第1の撮影手段及び前記第2の撮影手段とは独立して、監視エリア内の所望箇所の画像を取得して表示装置に表示する。従って、複数の侵入者が同時に監視エリアに侵入した場合であっても、第2の撮影手段によって撮影している侵入者とは異なる侵入者を第3の撮影手段によって撮影することができる。その結果、複数の侵入者を漏れなく撮影することが可能となる。 According to the monitoring system of the first aspect, the second imaging unit automatically tracks the moving object when the moving image is captured in the captured image captured by the first imaging unit. By photographing, an enlarged image of the moving object is acquired and displayed on the display device. As described above, the intruder into the monitoring area is automatically tracked and photographed by the second photographing means, so that an enlarged image of the intruder can be photographed without omission. Further, the third imaging unit is remotely operated by an operator to acquire and display an image of a desired location in the monitoring area independently of the first imaging unit and the second imaging unit. Display on the device. Therefore, even when a plurality of intruders enter the monitoring area at the same time, an intruder different from the intruder that is photographed by the second photographing means can be photographed by the third photographing means. As a result, a plurality of intruders can be photographed without omission.
本発明の第2の態様に係る監視システムは、第1の態様に係る監視システムにおいて特に、前記第3の撮影手段は、オペレータの遠隔操作による所望箇所の撮影と、自動追跡による移動物体の撮影とを切り換え可能であることを特徴とするものである。 The monitoring system according to the second aspect of the present invention is the monitoring system according to the first aspect, in particular, the third imaging means is for imaging a desired location by remote operation of an operator and imaging a moving object by automatic tracking. And can be switched.
第2の態様に係る監視システムによれば、第3の撮影手段は、オペレータの遠隔操作による所望箇所の撮影と、自動追跡による移動物体の撮影とを切り換え可能である。従って、複数の侵入者が同時に監視エリアに侵入した場合に、第2及び第3の撮影手段を用いて複数の侵入者を自動追跡して撮影するという動作と、第2の撮影手段によって侵入者を自動追跡して撮影しつつ、第3の撮影手段によって他の所望の侵入者を撮影するという動作とを切り換えることができるため、ユーザの利便性を向上することができる。 According to the monitoring system of the second aspect, the third imaging unit can switch between imaging of a desired location by remote operation of the operator and imaging of a moving object by automatic tracking. Therefore, when a plurality of intruders intrude into the monitoring area at the same time, an operation of automatically tracking and photographing a plurality of intruders using the second and third photographing means, and an intruder by the second photographing means. Since the third image capturing unit can be switched to the operation of capturing another desired intruder while automatically tracking and capturing the image, the convenience of the user can be improved.
本発明の第3の態様に係る監視システムは、第1又は第2の態様に係る監視システムにおいて特に、前記第2の撮影手段によって撮影されている前記監視エリア内の位置と、前記第3の撮影手段によって撮影されている前記監視エリア内の位置と、前記監視エリア内における前記移動物体の位置と、を示す位置情報が、前記表示装置にさらに表示されることを特徴とするものである。 The monitoring system according to the third aspect of the present invention is the monitoring system according to the first or second aspect, in particular, the position in the monitoring area being imaged by the second imaging means, and the third Position information indicating the position in the monitoring area being photographed by the photographing means and the position of the moving object in the monitoring area is further displayed on the display device.
第3の態様に係る監視システムによれば、第2の撮影手段によって撮影されている監視エリア内の位置と、第3の撮影手段によって撮影されている監視エリア内の位置と、監視エリア内における移動物体の位置と、を示す位置情報が、表示装置に表示される。従って、オペレータは、当該位置情報に基づいて、第3の撮影手段によって次に撮影すべき侵入者を容易に特定することができるため、複数の侵入者を漏れなく撮影することが可能となる。 According to the monitoring system according to the third aspect, the position in the monitoring area photographed by the second photographing means, the position in the monitoring area photographed by the third photographing means, and in the monitoring area Position information indicating the position of the moving object is displayed on the display device. Therefore, the operator can easily identify the intruder to be photographed next by the third photographing means based on the position information, and thus can photograph a plurality of intruders without omission.
本発明の第4の態様に係る監視システムは、第1〜第3のいずれか一つの態様に係る監視システムにおいて特に、前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、をさらに備え、前記特徴データに基づいて前記移動物体の自動追跡が行われることを特徴とするものである。 The monitoring system according to a fourth aspect of the present invention is the monitoring system according to any one of the first to third aspects, and particularly includes a moving object in a photographed image photographed by the first photographing means. In the case of an image region corresponding to the moving object in the captured image, a spectrum of specific wavelengths including an infrared region is detected, and the material of the moving object is analyzed based on the detection result. Material analysis means; and data generation means for generating feature data representing the feature amount of the moving object including parameters relating to the material of the moving object, and automatically tracking the moving object based on the feature data Is performed.
第4の態様に係る監視システムによれば、材質分析手段は、撮影画像のうち移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて移動物体の材質を分析する。従って、材質分析の結果、移動物体に対応する画像領域内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、所定の監視エリア内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。また、データ生成手段は、材質分析手段によって分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する。そして、当該特徴データに基づいて移動物体の自動追跡が行われる。従って、監視エリア内で移動する個々の移動物体を、各移動物体に関する特徴データに基づいて正確に追跡することができる。 According to the monitoring system according to the fourth aspect, the material analysis means detects the spectrum of a plurality of specific wavelengths including the infrared region with respect to the image region corresponding to the moving object in the captured image, and uses the result of the detection as a result. Based on this, the material of the moving object is analyzed. Therefore, when human skin, chemical fiber, or the like is included in the image area corresponding to the moving object as a result of the material analysis, the moving object can be identified as a human. As a result, when a moving object is included in a predetermined monitoring area, it is possible to accurately identify whether the moving object is a human being or an animal other than that. In addition, the data generation unit generates feature data representing the feature amount of the moving object, including parameters related to the material of the moving object analyzed by the material analysis unit. Then, automatic tracking of the moving object is performed based on the feature data. Therefore, it is possible to accurately track individual moving objects that move within the monitoring area based on the feature data regarding each moving object.
本発明の第5の態様に係る監視システムは、第4の態様に係る監視システムにおいて特に、複数の前記監視装置によって複数の前記監視エリアが撮影され、前記特徴データに基づいて、異なる監視エリアを跨ぐ前記移動物体の自動追跡が行われることを特徴とするものである。 The monitoring system according to a fifth aspect of the present invention is the monitoring system according to the fourth aspect, in particular, a plurality of the monitoring areas are photographed by a plurality of the monitoring devices, and different monitoring areas are selected based on the feature data. The moving object straddling is automatically tracked.
第5の態様に係る監視システムによれば、各移動物体に関する特徴データに基づくことにより、異なる監視エリアを跨ぐ移動物体の自動追跡を正確に行うことが可能となる。 According to the monitoring system according to the fifth aspect, based on the feature data regarding each moving object, automatic tracking of the moving object across different monitoring areas can be performed accurately.
本発明の第6の態様に係る監視装置は、所定の監視エリアを撮影する、第1の撮影手段と、前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該移動物体を自動追跡して撮影することにより、当該移動物体の拡大画像を取得する、第2の撮影手段と、オペレータによって遠隔操作されることにより、前記第1の撮影手段及び前記第2の撮影手段とは独立して、前記監視エリア内の所望箇所の画像を取得する、第3の撮影手段と、を備えることを特徴とするものである。 The monitoring apparatus according to the sixth aspect of the present invention includes a first imaging unit that images a predetermined monitoring area, and a moving object included in the captured image captured by the first imaging unit. In addition, the moving object is automatically tracked and photographed to acquire an enlarged image of the moving object, and the first photographing means and the first photographing means are remotely operated by an operator. Independently of the second photographing means, a third photographing means for obtaining an image of a desired location in the monitoring area is provided.
第6の態様に係る監視装置によれば、第2の撮影手段は、第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該移動物体を自動追跡して撮影することにより、当該移動物体の拡大画像を取得する。このように、監視エリアへの侵入者を第2の撮影手段によって自動追跡して撮影することにより、侵入者の拡大画像を漏れなく撮影することが可能となる。また、第3の撮影手段は、オペレータによって遠隔操作されることにより、前記第1の撮影手段及び前記第2の撮影手段とは独立して、監視エリア内の所望箇所の画像を取得する。従って、複数の侵入者が同時に監視エリアに侵入した場合であっても、第2の撮影手段によって撮影している侵入者とは異なる侵入者を第3の撮影手段によって撮影することができる。その結果、複数の侵入者を漏れなく撮影することが可能となる。 According to the monitoring apparatus of the sixth aspect, the second imaging unit automatically tracks the moving object when the moving image is captured by the first imaging unit. An enlarged image of the moving object is acquired by photographing. As described above, the intruder into the monitoring area is automatically tracked and photographed by the second photographing means, so that an enlarged image of the intruder can be photographed without omission. In addition, the third imaging unit is remotely operated by an operator, and acquires an image of a desired location in the monitoring area independently of the first imaging unit and the second imaging unit. Therefore, even when a plurality of intruders enter the monitoring area at the same time, an intruder different from the intruder that is photographed by the second photographing means can be photographed by the third photographing means. As a result, a plurality of intruders can be photographed without omission.
本発明によれば、監視エリアへの侵入者を自動追跡して撮影可能であるとともに、複数の侵入者が同時に侵入した場合であっても、当該複数の侵入者を漏れなく撮影することが可能な、監視システム及び監視装置を得ることができる。 According to the present invention, intruders can be automatically tracked and photographed, and even when a plurality of intruders enter at the same time, the plurality of intruders can be photographed without omission. A monitoring system and a monitoring device can be obtained.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the element which attached | subjected the same code | symbol in different drawing shall show the same or corresponding element.
図1は、本発明の実施の形態に係る監視装置3の使用状況の一例を示す図である。通信基地局1が山中に設置されており、通信基地局1の周囲はフェンス2で取り囲まれている。この例において、監視装置3は、所定の撮影エリアとして、フェンス2を含む監視エリア4を撮影することにより、フェンス2を乗り越えて通信基地局1へ侵入しようとする侵入者を監視する用途で使用される。なお、図1の例では通信基地局1に一つの監視装置3のみが設置されているが、後述の図19に示すように、通信基地局1の周囲を死角無く監視するために、複数の監視装置3A〜3Dが設置されてもよい。
FIG. 1 is a diagram illustrating an example of a usage state of the
図2は、本発明の実施の形態に係る監視システム5の全体構成を概略的に示す図である。監視システム5は、監視装置3と、監視装置3によって撮影された画像を表示する液晶ディスプレイ等の表示装置6とを備えている。表示装置6は、遠隔地の監視センタ内(又は通信基地局1内)に設置されており、表示装置6に表示された画像はオペレータ(監視者)によって目視可能である。また、監視センタ内には、監視装置3を遠隔操作するためにオペレータが操作可能な操作部7が設置されている。
FIG. 2 is a diagram schematically showing the overall configuration of the
図3は、監視装置3の外観を模式的に示す図である。ステレオカメラとして機能する一対の広角カメラ11A,11Bと、望遠カメラ12A,12Bと、制御装置13とが、フレーム10に取り付けられている。広角カメラ11A,11Bは、監視エリア4の全体を撮影可能なように、視野が固定されている。望遠カメラ12A,12Bは、例えば、パンチルト機能及びズーム機能を搭載したPTZカメラである。広角カメラ11A,11B及び望遠カメラ12A,12Bは、対象物からの太陽光の反射光を受光することによって対象物を撮影する。但し、監視装置3においては、夜間における撮影をも可能とすべく、ハロゲン光又は赤外光を監視エリア4に向けて照射する光照射器を備えてもよい。
FIG. 3 is a diagram schematically illustrating the appearance of the
図4は、監視装置3の機能を概略的に示すブロック図である。監視装置3は、撮影部21、分析部22、識別部23、特徴データ生成部24、及びデータ処理部40を備えている。撮影部21は、図3に示した広角カメラ11A,11B及び望遠カメラ12A,12Bを有している。また、図5は、図4に示した各部の構成を具体的に示す図である。
FIG. 4 is a block diagram schematically showing the function of the
図4,5を参照して、撮影部21は、広角カメラ11Aに対応する光学系31A、分岐部32A、受光素子部33A、波長選択フィルタ34A、及び受光素子部35Aを有しており、また、広角カメラ11Bに対応する光学系31B、分岐部32B、受光素子部33B、波長選択フィルタ34B、及び受光素子部35Bを有している。なお、以下の説明では、広角カメラ11A,11Bを総称して「広角カメラ11」と称し、光学系31A,31Bを総称して「光学系31」と称し、分岐部32A,32Bを総称して「分岐部32」と称し、受光素子部33A,33Bを総称して「受光素子部33」と称し、波長選択フィルタ34A,34Bを総称して「波長選択フィルタ34」と称し、受光素子部35A,35Bを総称して「受光素子部35」と称する。
4 and 5, the photographing
分析部22は、広角カメラ11Aに対応する動体検出部36A、抽出部37A、形状分析部38A、及び材質分析部39Aと、広角カメラ11Bに対応する動体検出部36B、抽出部37B、形状分析部38B、及び材質分析部39Bとを有している。
The
識別部23は、広角カメラ11Aに対応する識別部23Aと、広角カメラ11Bに対応する識別部23Bとを有している。
The
特徴データ生成部24は、広角カメラ11Aに対応する特徴データ生成部24Aと、広角カメラ11Bに対応する特徴データ生成部24Bとを有している。
The feature
データ処理部40は、同一対象特定部41、個別対象特定部42、位置特定部43、及び追跡処理部44を有している。
The
図6は、受光素子部33,35の構成の第1の例を示す図である。図6の(A)には受光素子部33の構成を示しており、図6の(B)には受光素子部35の構成を示している。受光素子部33は、CCD等の複数の受光素子が行列状に配列された構成を有している。受光素子部35は、InGaAs等を用いた複数の受光素子が行列状に配列された構成を有している。図6の例では、受光素子部33の画素数と受光素子部35の画素数とは互いに等しく、受光素子部33,35の各画素は一対一に対応する。つまり、受光素子部33,35の空間分解能は互いに等しい。
FIG. 6 is a diagram illustrating a first example of the configuration of the light receiving
図7は、受光素子部33,35の構成の第2の例を示す図である。図6と同様に、図7の(A)には受光素子部33の構成を示しており、図7の(B)には受光素子部35の構成を示している。図7の例では、後述する材質分析部39A,39Bにおける演算処理の負荷を低減すべく、受光素子部35の画素数は受光素子部33の画素数より少なく設定されている。つまり、受光素子部35の空間分解能は受光素子部33の空間分解能より低い。
FIG. 7 is a diagram illustrating a second example of the configuration of the light receiving
図5を参照して、対象物からの反射光は、光学系31によって受光素子部33上に導光される。受光素子部33を構成する各受光素子は、可視光の波長域における反射光の受光強度に応じた大きさの電気信号を出力する。また、広角カメラ11によって撮影された画像は、図2に示した表示装置6に表示される。
With reference to FIG. 5, the reflected light from the object is guided onto the light receiving
分岐部32は、プリズム又はハーフミラー等であり、光学系31と受光素子部33との間に配置されている。光学系31から受光素子部33に向かう反射光は、分岐部32によって受光素子部35に向けて分岐される。分岐された反射光は、波長選択フィルタ34を介して受光素子部35上に導光される。受光素子部35を構成する各受光素子は、赤外光の波長域における反射光の受光強度に応じた大きさの電気信号を出力する。
The branching unit 32 is a prism or a half mirror, and is arranged between the
なお、分岐部32の構成としては、固定のプリズム又はハーフミラー等を用いる構成の代わりに、挿退可能な反射鏡を光学系31と受光素子部33との間に配置する構成としてもよい。第1のタイミングにおいて、光学系31と受光素子部33との間の光路上から上記反射鏡を退避させる。これにより、対象物からの反射光が受光素子部33上に導光される。また、第2のタイミングにおいて、光学系31と受光素子部33との間の光路上に上記反射鏡を挿入する。光学系31から受光素子部33に向かう反射光は、反射鏡によって受光素子部35に向けて反射される。これにより、対象物からの反射光が受光素子部35上に導光される。上記第1及び第2のタイミングは、所定の微小時間間隔で交互に繰り返される。
In addition, as a structure of the branch part 32, it is good also as a structure which arrange | positions the reflective mirror which can be inserted or retracted between the
図8は、波長選択フィルタ34及び受光素子部35の構成の第1の例を示す図である。波長選択フィルタ34は、それぞれが受光素子部35の受光面に略等しい大きさの5枚の波長選択フィルタ51〜55を有している。波長選択フィルタ51,52,53,54,55は、分岐部32から入射された反射光のうち、それぞれ1100nm帯、1200nm帯、1300nm帯、1500nm帯、及び1600nm帯の波長成分のみを透過する。波長選択フィルタ51〜55は、受光素子部35の受光面の前方に順に挿入される。これにより、受光素子部35は、各波長選択フィルタ51〜55に対応する波長成分の反射光を、順に受光する。
FIG. 8 is a diagram illustrating a first example of the configuration of the wavelength selection filter 34 and the light receiving
図9は、波長選択フィルタ34及び受光素子部35の構成の第2の例を示す図である。受光素子部35は、同一構造の受光素子部351〜355が並設された構成を有しており、受光素子部351,352,353,354,355の各受光面の前方に、波長選択フィルタ51,52,53,54,55がそれぞれ配置されている。分岐部32によって分岐された反射光は、図示しない追加の分岐部によって、受光素子部351〜355に向けてさらに分岐される。これにより、受光素子部35は、各波長選択フィルタ51〜55に対応する波長成分の反射光を、並行して受光する。
FIG. 9 is a diagram illustrating a second example of the configuration of the wavelength selection filter 34 and the light receiving
図10は、材質分析部39Aの構成を示すブロック図である。材質分析部39Aは、反射率算出部91A、正規化指標算出部92A、二次微分値算出部93A、及び材質識別部94Aを有して構成されている。材質分析部39Aは、広角カメラ11Aによって撮影された撮影画像のうち、当該撮影画像内に含まれている移動物体に対応する画像領域に関して、1100nm帯、1200nm帯、1300nm帯、1500nm帯、及び1600nm帯の各波長成分のスペクトルを検出する。そして、当該スペクトルの検出結果に基づいて、当該移動物体の材質を識別する。なお、図10には材質分析部39Aの構成を示したが、材質分析部39Bの構成もこれと同様である。
FIG. 10 is a block diagram showing the configuration of the
図11は、監視装置3の全体動作を示すフローチャートである。以下、図11に示したフローチャートに従って、監視装置3の動作について詳細に説明する。
FIG. 11 is a flowchart showing the overall operation of the
ステップP11において、広角カメラ11A,11Bによって監視エリア4の全体が常時撮影される。
In step P11, the
図12は、広角カメラ11A,11Bによってそれぞれ撮影された撮影画像200A,200Bを示す図である。図12の(A)には、監視エリア4内に侵入者61〜63が侵入した状況を示しており、図12の(B)には、図12の(A)の状況を広角カメラ11Aによって撮影した撮影画像200Aを示しており、図12の(C)には、図12の(A)の状況を広角カメラ11Bによって撮影した撮影画像200Bを示している。広角カメラ11A,11Bは異なる方向から監視エリア4を撮影しているため、その視差に起因して、撮影画像200A,200B内における侵入者61〜63の位置は互いに異なっている。
FIG. 12 is a diagram illustrating captured
図11のフローチャートを参照して、次にステップP12において、監視エリア4内に何等かの移動物体が含まれているか否かが判定される。具体的には、図5を参照して、広角カメラ11A,11Bによって撮影された撮影画像200A,200Bが、受光素子部33A,33Bから動体検出部36A,36Bにそれぞれ入力される。そして、動体検出部36A,36Bは、時系列に順次入力される連続画像間の差分に基づいて、撮影画像200A,200B内に移動物体が含まれているか否かをそれぞれ判定する。また、動体検出部36A,36Bは、移動物体が含まれている場合には、撮影画像200A,200Bの全体領域のうち、移動物体に対応する画像領域をそれぞれ特定する。図12の例においては、動体検出部36Aは画像領域71〜73を特定し、動体検出部36Bは画像領域74〜76を特定する。
Referring to the flowchart of FIG. 11, next, in step P <b> 12, it is determined whether or not any moving object is included in the
図11のフローチャートを参照して、監視エリア4内に移動物体が含まれていない場合(つまりステップP12の判定結果が「NO」である場合)は、ステップP11,P12動作が繰り返し実行される。一方、監視エリア4内に移動物体が含まれている場合(つまりステップP12の判定結果が「YES」である場合)は、次にステップP13において、移動物体の形状分析及びスペクトル分析が行われる。具体的には、図5を参照して、抽出部37Aは、動体検出部36Aが特定した画像領域71〜73を、可視域の撮影画像200Aから抽出し、抽出した画像領域71〜73を形状分析部38Aに入力する。また、抽出部37Aは、動体検出部36Aが特定した画像領域71〜73を、赤外域の撮影画像200Aから抽出し、抽出した画像領域71〜73を材質分析部39Aに入力する。
Referring to the flowchart of FIG. 11, when a moving object is not included in monitoring area 4 (that is, when the determination result in step P12 is “NO”), the operations of steps P11 and P12 are repeatedly executed. On the other hand, when a moving object is included in the monitoring area 4 (that is, when the determination result in Step P12 is “YES”), shape analysis and spectrum analysis of the moving object are performed in Step P13. Specifically, referring to FIG. 5, the
形状分析部38Aは、各画像領域71,72に関して、人間の外見に関する複数のテンプレート画像(予め準備されて図示しない記憶部に記憶されている)を用いてパターンマッチングを行うことにより、各画像領域71〜73に含まれている移動物体が人間であるか否かをそれぞれ分析する。形状分析部38Aは、各画像領域71〜73に含まれている移動物体が人間であることの確度を示すパラメータ情報を、後段の識別部23Aに入力する。
The
材質分析部39Aは、各画像領域71〜73に関して、1100nm帯、1200nm帯、1300nm帯、1500nm帯、及び1600nm帯の波長成分のスペクトルを検出し、その検出結果に基づいて、各画像領域71〜73に含まれている移動物体の材質をそれぞれ分析する。
The
以下、材質分析部39Aにおける処理の内容について詳細に説明する。上記の通り、受光素子部35Aを構成する各受光素子は、反射光の受光強度に応じた大きさの電気信号を出力する。材質分析部39Aには、1100nm帯、1200nm帯、1300nm帯、1500nm帯、及び1600nm帯の各波長成分に関して、画像領域71〜73に属する受光素子から出力された電気信号が、受光素子部35Aから抽出部37Aを介して入力される。図10を参照して、当該電気信号は、反射率算出部91Aに入力される。
Hereinafter, the contents of processing in the
反射率算出部91Aは、受光素子部35Aから入力された電気信号に基づいて、1100nm帯、1200nm帯、1300nm帯、1500nm帯、及び1600nm帯の各波長成分に関する反射率R1100,R1200,R1300,R1500,R1600を算出する。
Based on the electrical signal input from the light receiving
正規化指標算出部92Aは、反射率算出部91Aによって算出された反射率R1100,R1200,R1300,R1500,R1600に基づいて、以下に示す式により定義される正規化指標ND1〜ND4を算出する。
ND1 : (R1500−R1300)/(R1500+R1300)
ND2 : (R1500−R1200)/(R1500+R1200)
ND3 : (R1600−R1300)/(R1600+R1300)
ND4 : (R1300−R1100)/(R1300+R1100)
Based on the reflectances R1100, R1200, R1300, R1500, and R1600 calculated by the
ND1: (R1500-R1300) / (R1500 + R1300)
ND2: (R1500-R1200) / (R1500 + R1200)
ND3: (R1600-R1300) / (R1600 + R1300)
ND4: (R1300-R1100) / (R1300 + R1100)
また、二次微分値算出部93Aは、上記反射率と波長との関数の二次微分値を算出する。本実施の形態では、二次微分値算出部93Aは、反射率算出部91Aによって算出された反射率R1100,R1200,R1300,R1500,R1600に基づいて、以下に示す式により定義される近似的な二次微分値2ndder1,2ndder2を算出する。
2ndder1 :
[{(R1500−R1300)/(R1500+R1300)}/200]
−[{(R1300−R1200)/(R1300+R1200)}/100]
2ndder2 :
[{(R1500−R1200)/(R1500+R1200)}/300]
−[{(R1200−R1100)/(R1200+R1100)}/100]
Further, the secondary differential
2 nd der1:
[{(R1500-R1300) / (R1500 + R1300)} / 200]
-[{(R1300-R1200) / (R1300 + R1200)} / 100]
2 nd der2:
[{(R1500-R1200) / (R1500 + R1200)} / 300]
-[{(R1200-R1100) / (R1200 + R1100)} / 100]
反射率R1100,R1200,R1300,R1500,R1600、正規化指標ND1〜ND4、及び二次微分値2ndder1,2ndder2は、材質識別部94Aに入力される。
The reflectances R1100, R1200, R1300, R1500, R1600, the normalization indices ND1 to ND4, and the second
材質識別部94Aは、入力されたこれらの情報に基づいて、対象物(つまり監視エリア4内に含まれている移動物体)の材質を識別する。
The
図13,14は、材質識別部94Aによる材質の識別処理を示すフローチャートである。まずステップP21において材質識別部94Aは、各反射率R1100,R1200,R1300,R1500,R1600の値が近似的に0であるか否かを判定する。例えば、反射率の値が所定値(例えば0.02)未満である場合にはその反射率は近似的に0であると判定し、反射率の値が当該所定値以上である場合にはその反射率は近似的に0でないと判定する。全ての反射率R1100,R1200,R1300,R1500,R1600の値が近似的に0である場合(つまりステップP21における判定結果が「YES」である場合)には、材質識別部94Aは、解析対象範囲内(この例では各画像領域71〜73内)に窓ガラスが存在すると判定する。
13 and 14 are flowcharts showing a material identification process by the
一方、いずれかの反射率R1100,R1200,R1300,R1500,R1600の値が近似的に0でない場合(つまりステップP21における判定結果が「NO」である場合)には、次にステップP22において材質識別部94Aは、二次微分値2ndder1に正規化指標ND1,ND3の和を乗じた値「2ndder1×(ND1+ND3)」が所定の閾値Th11未満であるか否かを判定する。
On the other hand, if the value of any of the reflectances R1100, R1200, R1300, R1500, R1600 is not approximately 0 (that is, if the determination result in step P21 is “NO”), then material identification is performed in step P22. The
「2ndder1×(ND1+ND3)」の値が閾値Th11以上である場合(つまりステップP22における判定結果が「NO」である場合)には、次にステップP23において材質識別部94Aは、正規化指標ND2の値が所定の閾値Th12より大きいか否かを判定する。
If the value of “2 nd der1 × (ND1 + ND3)” is equal to or greater than the threshold value Th11 (that is, if the determination result in step P22 is “NO”), then in step P23, the
正規化指標ND2の値が閾値Th12より大きい場合(つまりステップP23における判定結果が「YES」である場合)には、材質識別部94Aは、解析対象範囲内に動物又は布地が存在すると判定する。
When the value of the normalization index ND2 is larger than the threshold value Th12 (that is, when the determination result in Step P23 is “YES”), the
一方、正規化指標ND2の値が閾値Th12以下である場合(つまりステップP23における判定結果が「NO」である場合)には、次にステップP24において材質識別部94Aは、二次微分値2ndder2の値が所定の閾値Th13未満であるか否かを判定する。
On the other hand, when the value of the normalization index ND2 is equal to or smaller than the threshold Th12 (that is, when the determination result in Step P23 is “NO”), in Step P24, the
二次微分値2ndder2の値が閾値Th13未満である場合(つまりステップP24における判定結果が「YES」である場合)には、材質識別部94Aは、解析対象範囲内に植物が存在すると判定する。
When the value of the secondary
一方、二次微分値2ndder2の値が閾値Th13以上である場合(つまりステップP24における判定結果が「NO」である場合)には、材質識別部94Aは、解析対象範囲内に人肌が存在すると判定する。
On the other hand, when the value of the secondary
上記ステップP22の判定において、「2ndder1×(ND1+ND3)」の値が閾値Th11以上である場合(つまりステップP22における判定結果が「NO」である場合)には、次にステップP25において材質識別部94Aは、正規化指標ND3の値が所定の閾値Th14未満であるか否かを判定する。
If the value of “2 nd der1 × (ND1 + ND3)” is greater than or equal to the threshold Th11 in the determination in Step P22 (that is, if the determination result in Step P22 is “NO”), then material identification is performed in Step P25. The
正規化指標ND3の値が閾値Th14未満である場合(つまりステップP25における判定結果が「YES」である場合)には、次にステップP26において材質識別部94Aは、正規化指標ND4の値が所定の閾値Th15未満であるか否かを判定する。
If the value of the normalized index ND3 is less than the threshold Th14 (that is, if the determination result in Step P25 is “YES”), then in Step P26, the
正規化指標ND4の値が閾値Th15未満である場合(つまりステップP26における判定結果が「YES」である場合)には、材質識別部94Aは、解析対象範囲内に金属が存在すると判定する。
When the value of the normalization index ND4 is less than the threshold Th15 (that is, when the determination result in Step P26 is “YES”), the
一方、正規化指標ND4の値が閾値Th15以上である場合(つまりステップP26における判定結果が「NO」である場合)には、材質識別部94Aは、解析対象範囲内にコンクリート又は石が存在すると判定する。
On the other hand, when the value of the normalization index ND4 is equal to or greater than the threshold Th15 (that is, when the determination result in Step P26 is “NO”), the
上記ステップP25の判定において、正規化指標ND3の値が閾値Th14以上である場合(つまりステップP25における判定結果が「NO」である場合)には、次にステップP27において材質識別部94Aは、正規化指標ND2の値が所定の閾値Th16未満であるか否かを判定する。
If the value of the normalization index ND3 is greater than or equal to the threshold Th14 in the determination in step P25 (that is, if the determination result in step P25 is “NO”), then in step P27, the
正規化指標ND2の値が閾値Th16未満である場合(つまりステップP27における判定結果が「YES」である場合)には、材質識別部94Aは、解析対象範囲内にアスファルトが存在すると判定する。
When the value of the normalization index ND2 is less than the threshold Th16 (that is, when the determination result in Step P27 is “YES”), the
一方、正規化指標ND2の値が閾値Th16以上である場合(つまりステップP27における判定結果が「NO」である場合)には、材質識別部94Aは、解析対象範囲内にコンクリート又は石が存在すると判定する。
On the other hand, when the value of the normalization index ND2 is equal to or greater than the threshold Th16 (that is, when the determination result in Step P27 is “NO”), the
なお、各閾値Th11〜Th16は、予め、金属や人肌等の既知の対象に対して測定領域を設定して材質識別部94Aによる上記識別フローを実施することにより、対象を正確に識別できる適切な値に設定される。
In addition, each threshold value Th11 to Th16 is appropriately set so that a target can be accurately identified by setting a measurement region in advance for a known target such as metal or human skin and performing the above identification flow by the
以上の結果、材質識別部94Aは、解析対象範囲内に人肌が存在すると判定した場合には、監視エリア4内に含まれている移動物体の種別は人間であると識別する。一方、それ以外の場合には、監視エリア4内に含まれている移動物体の種別は人間でないと識別する。例えば、解析対象範囲内に窓ガラス又は金属が存在すると判定した場合には、監視エリア4内に含まれている移動物体の種別は車であると識別する。
As a result, when the
なお、監視エリア4への侵入者が覆面や手袋を着用することによって人肌が露出していない状況も想定される。そのため、人間のみが着用する化学繊維等の材質を検出可能な識別フローを設定することにより、解析対象範囲内に化学繊維が存在すると判定した場合には、監視エリア4内に含まれている移動物体の種別は人間であると識別してもよい。また、ウール、綿、ナイロン、ポリエステル等の繊維の種別を検出可能な識別フローを設定することにより、人間が着用している衣服の材質を識別することもできる。
In addition, the situation where the intruder into the
図5を参照して、材質分析部39Aは、各画像領域71〜73に含まれている移動物体が人間であることの確度を示すパラメータ情報を、後段の識別部23Aに入力する。
Referring to FIG. 5, the
なお、以上の説明では広角カメラ11Aに対応する形状分析部38A及び材質分析部39Aにおける処理について説明したが、広角カメラ11Bに対応する形状分析部38B及び材質分析部39Bにおける処理もこれと同様であるため、重複した説明は省略する。
In the above description, the processing in the
図11のフローチャートを参照して、次にステップP14において識別部23Aは、形状分析部38A及び材質分析部39Aからそれぞれ入力された、各画像領域71〜73に含まれている移動物体が人間であることの確度を示すパラメータ情報に基づいて、各画像領域71〜73に含まれている移動物体が人間であるか否かを識別する。例えば、形状分析部38A及び材質分析部39Aから入力されたパラメータ情報の双方の値が所定の閾値以上である場合に、各画像領域71〜73に含まれている移動物体は人間であると識別する。
Referring to the flowchart of FIG. 11, next in step P14, the
ここで、撮影画像200A内における各画像領域71〜73のサイズが小さい場合(特に、図7に示したように受光素子部35の空間分解能が低い場合)には、材質分析部39Aによる材質分析の精度が低下する可能性がある。そこで、識別部23Aは、撮影画像200A内における各画像領域71〜73のサイズが所定値より小さい場合には、材質分析部39Aから入力されたパラメータ情報よりも形状分析部38Aから入力されたパラメータ情報を重視して、各画像領域71〜73に含まれている移動物体が人間であるか否かを識別する。例えば、各画像領域71〜73のサイズが上記所定値未満である場合には、形状分析部38Aから入力されたパラメータ情報のみに基づいて識別を行い、各画像領域71,72のサイズが上記所定値以上である場合には、形状分析部38A及び材質分析部39Aの双方から入力されたパラメータ情報に基づいて識別を行う。
Here, when the size of each of the
なお、以上の説明では広角カメラ11Aに対応する識別部23Aにおける処理について説明したが、広角カメラ11Bに対応する識別部23Bにおける処理もこれと同様である。
In the above description, the process in the
各画像領域71〜73に含まれている移動物体が人間でないと識別された場合(つまりステップP14の判定結果が「NO」である場合)は、ステップP11以降の動作が繰り返し実行される。一方、各画像領域71〜73に含まれている移動物体が人間(つまり侵入者)であると識別された場合(つまりステップP14の判定結果が「YES」である場合)は、次にステップP15において特徴データ生成部24Aは、各画像領域71〜73に含まれている移動物体の特徴量を表す特徴データを生成する。例えば、各移動物体に関して、撮影画像200A内における行方向及び列方向の位置座標、前フレームからの位置の変化量、及び、材質分析部39Aによって画素毎に求めた材質情報等をパラメータとして記述した特徴データを生成する。画素毎の材質情報を記述することにより、侵入者が着用している衣服の材質に関する情報を、特徴データに含めることができる。特徴データ生成部24Aによって生成された各移動物体に関する特徴データは、データ処理部40に入力される。
When the moving object included in each of the
なお、以上の説明では広角カメラ11Aに対応する特徴データ生成部24Aにおける処理について説明したが、広角カメラ11Bに対応する特徴データ生成部24Bにおける処理もこれと同様である。特徴データ生成部24Aによって生成された、各画像領域74〜76に含まれている移動物体に関する特徴データは、特徴データ生成部24Bからデータ処理部40に入力される。
In the above description, the process in the feature
図11のフローチャートを参照して、次にステップP16において個別対象特定部42は、特徴データ生成部24A,24Bからそれぞれ入力された特徴データに基づいて、各撮影画像200A,200B内に含まれている移動物体を個々に特定する。例えば、侵入者61が覆面を着用しており、侵入者62,63が覆面を着用していない場合には、侵入者61の顔部分の材質は繊維となる一方、侵入者62,63の顔部分の材質は人肌となる。従って、個別対象特定部42は、顔部分の材質の相違に基づいて、侵入者61と侵入者62,63とを区別することができる。また、侵入者62と侵入者63とで着用している衣服の材質が異なる場合には、各侵入者62,63の体部分の材質が互いに異なる。従って、個別対象特定部42は、体部分の材質の相違に基づいて、侵入者62,63を個々に区別することができる。本実施の形態では、個別対象特定部42は、画像領域71に対応する特徴データに基づいて侵入者61を特定し、画像領域72に対応する特徴データに基づいて侵入者62を特定し、画像領域73に対応する特徴データに基づいて侵入者63を特定する。同様に、個別対象特定部42は、画像領域74に対応する特徴データに基づいて侵入者61を特定し、画像領域75に対応する特徴データに基づいて侵入者62を特定し、画像領域76に対応する特徴データに基づいて侵入者63を特定する。
Referring to the flowchart of FIG. 11, next in step P16, the individual
また、ステップP16において同一対象特定部41は、特徴データ生成部24A,24Bからそれぞれ入力された特徴データに基づいて、撮影画像200A,200B内に含まれている同一対象の移動物体を特定する。本実施の形態では、同一対象特定部41は、撮影画像200Aの画像領域71に含まれている人間と、撮影画像200Bの画像領域74に含まれている人間とが同一対象(侵入者61)であると特定し、撮影画像200Aの画像領域72に含まれている人間と、撮影画像200Bの画像領域75に含まれている人間とが同一対象(侵入者62)であると特定し、撮影画像200Aの画像領域73に含まれている人間と、撮影画像200Bの画像領域76に含まれている人間とが同一対象(侵入者63)であると特定する。
In step P16, the same
次にステップP17において位置特定部43は、広角カメラ11A,11B間の距離、及び、撮影画像200A,200B内における同一対象の画像領域71,74の位置関係に基づいて、監視エリア4内における侵入者61の位置を特定する。同様に、位置特定部43は、広角カメラ11A,11B間の距離、及び、撮影画像200A,200B内における同一対象の画像領域72,75の位置関係に基づいて、監視エリア4内における侵入者62の位置を特定する。同様に、位置特定部43は、広角カメラ11A,11B間の距離、及び、撮影画像200A,200B内における同一対象の画像領域73,76の位置関係に基づいて、監視エリア4内における侵入者63の位置を特定する。
Next, in step P17, the position specifying unit 43 enters the
また、ステップP17において位置特定部43は、監視エリア4内における各侵入者61〜63の位置を示す位置情報マップを作成する。図16は、位置特定部43によって作成された位置情報マップ250の一例を示す図である。監視エリア4内における侵入者61,62,63の位置をそれぞれ示す図形81,82,83が、監視エリア4に対応する平面マップ上に表示されている。また、位置情報マップ250においては、監視エリア4の中でも特に重点的な監視を要するエリア(例えば通信基地局1の建屋への出入り口に近いエリア)が、重点監視エリア80として設定されている。重点監視エリア80は、監視エリア4内において予め任意に設定することが可能である。図16の例では、侵入者61に対応する図形81は重点監視エリア80内に含まれており、侵入者62,63にそれぞれ対応する図形82,83は重点監視エリア80外に含まれている。
In step P <b> 17, the position specifying unit 43 creates a position information map indicating the positions of the
なお、本実施の形態では、フェンス2を乗り越えて通信基地局1へ侵入しようとする侵入者を監視する用途での監視装置3の使用を想定しており、フェンス2を乗り越える際の高さ方向の移動量をも考慮する必要がある。二つの広角カメラ11A,11Bを用いてステレオカメラを構成しているため、高さ方向を含め侵入者の位置、侵入者までの距離を特定できる。しかし、必ずしもステレオカメラを用いる必要はなく、一つの広角カメラのみを用いてもよい。
In this embodiment, it is assumed that the
次にステップP18において、位置特定部43によって特定された移動物体の位置を視野の中心として、望遠カメラ12Aによる撮影を行う。望遠カメラ12Aは、監視エリア4内に含まれている侵入者61〜63のうち、最も重要度の高い侵入者を撮影する。図16に例示した位置情報マップ250においては、重点監視エリア80内に含まれている侵入者61の重要度が、重点監視エリア80外に含まれている侵入者62,63の重要度よりも高く設定されることにより、望遠カメラ12Aによって侵入者61が撮影される。監視エリア4内における侵入者61の位置を示す情報が位置特定部43から望遠カメラ12Aに通知され、望遠カメラ12Aは、通知された位置を撮影する。ここで、重点監視エリア80内に複数の侵入者が含まれている場合には、望遠カメラ12Aは、当該複数の侵入者を所定の時間間隔で交互に撮影する。
Next, in step P18, photographing with the
なお、重要度の設定手法は、上記の例に限らず任意である。例えば、監視エリア4内に侵入した時刻が新しい(又は古い)侵入者ほど、重要度を高く設定することができる。あるいは、移動速度が大きい侵入者ほど、重要度を高く設定することができる。あるいは、通信基地局1の出入り口に向かって近付く方向に移動する速度成分が大きい侵入者ほど、重要度を高く設定することができる。あるいは、通信基地局1の出入り口との距離が短い侵入者ほど、重要度を高く設定することができる。また、これらの要素を任意に組み合わせることによって重要度を設定してもよい。
Note that the importance setting method is not limited to the above example, but is arbitrary. For example, the newer (or older) intruder who entered the
図15は、望遠カメラ12Aによって侵入者61を撮影した拡大画像300を示す図である。拡大画像300は、ハードディスク又は半導体メモリ等の任意の記録媒体に記録されるとともに、図2に示した表示装置6に表示される。
FIG. 15 is a diagram showing an
また、ステップP18において、位置特定部43によって特定された移動物体の位置を視野の中心として、望遠カメラ12Bによる撮影を行う。望遠カメラ12Bは、監視エリア4内に含まれている侵入者61〜63のうち、二番目に重要度の高い侵入者を撮影する。図16に例示した位置情報マップ250においては、侵入者62,63のうち重点監視エリア80に近い侵入者63の重要度が、侵入者62の重要度よりも高く設定されることにより、望遠カメラ12Bによって侵入者63が撮影される。監視エリア4内における侵入者63の位置を示す情報が位置特定部43から望遠カメラ12Bに通知され、望遠カメラ12Bは、通知された位置を撮影する。なお、望遠カメラ12Bは、侵入者62,63を所定の時間間隔で交互に撮影してもよい。望遠カメラ12Bによって撮影された拡大画像は、ハードディスク又は半導体メモリ等の任意の記録媒体に記録されるとともに、図2に示した表示装置6に表示される。
In step P18, the
また、監視装置3は、望遠カメラ12A,12Bによる侵入者61〜63の撮影を行うととともに、音又は光等によって侵入者61〜63に対して所定の警告を行う。
In addition, the
また、侵入者61〜63が監視エリア4内で移動する場合には、時系列に並ぶ複数の撮影画像200A内において、画像領域71〜73の位置が変化する。追跡処理部44は、特徴データが一致又は近似する画像領域を、連続する撮影画像200A内で探索することにより、侵入者61〜63の移動に伴う画像領域71〜73の位置変化を追跡する。同様に、追跡処理部44は、特徴データが一致又は近似する画像領域を、連続する撮影画像200B内で探索することにより、侵入者61〜63の移動に伴う画像領域74〜76の位置変化を追跡する。これにより、望遠カメラ12A,12Bによって侵入者61〜63を自動追跡して撮影することができる。
When the
図17は、表示装置6に表示される画像の一例を示す図である。表示装置6の表示画面は四つの領域151,152,153,154に分割されている。領域151には、広角カメラ11Aによって撮影された、監視エリア4の全体画像が表示される。領域152には、望遠カメラ12Aによって撮影された、侵入者61の拡大画像が表示される。
FIG. 17 is a diagram illustrating an example of an image displayed on the
領域153には、望遠カメラ12Bによって撮影された、侵入者63の拡大画像が表示される。領域154には、位置特定部43によって作成された位置情報マップ250が表示される。位置表示マップ250においては、望遠カメラ12Aによって現在撮影している監視エリア4内の位置を示す図形85と、望遠カメラ12Bによって現在撮影している監視エリア4内の位置を示す図形86とが、併せて表示される。
In the
また、領域153においては、望遠カメラ12Bが自動追跡モードであることを示す情報(及び手動撮影モードに切換可能であることを示す情報)と、手動撮影モードに切り換える際にオペレータによって選択される選択ボタン88とが、併せて表示される。表示装置6はタッチパネルとしての機能を有しており、オペレータが選択ボタン88にタッチすることによって、望遠カメラ12Bは、二番目に重要度の高い侵入者を自動追跡して撮影する自動撮影モードから、オペレータの遠隔操作による手動撮影モードに切り換えられる。手動撮影モードにおいて、オペレータは、図2に示した操作部7を用いて望遠カメラ12Bのパンチルト機能及びズーム機能を遠隔操作することができ、これにより、監視エリア4内の所望箇所を望遠カメラ12Bによって撮影することができる。例えば、自動追跡モードの望遠カメラ12Bが侵入者63を撮影している状況において、侵入者63ではなく侵入者62を撮影したい場合には、オペレータは望遠カメラ12Bを手動撮影モードに切り換えた後、領域154に表示されている位置情報マップ250を参照しながら操作部7を用いて撮影位置を指定することにより、望遠カメラ12Bによって侵入者62を撮影することができる。
In the
図18は、表示装置6に表示される画像の他の例を示す図である。領域153には、手動撮影モードの望遠カメラ12Bによって撮影された、侵入者62の拡大画像が表示される。また、望遠カメラ12Bの撮影モードが自動追跡モードから手動撮影モードに切り換えられたことにより、領域153には、望遠カメラ12Bが手動撮影モードであることを示す情報(及び自動追跡モードに切換可能であることを示す情報)と、自動追跡モードに切り換える際にオペレータによって選択される選択ボタン89とが、併せて表示される。
FIG. 18 is a diagram illustrating another example of an image displayed on the
図11のフローチャートを参照して、次にステップP19において、侵入者61〜63が監視エリア4から去ったか否かが判定される。侵入者61〜63が監視エリア4内に滞在している場合(つまりステップP19の判定結果が「NO」である場合)は、ステップP16以降の動作が繰り返される。一方、侵入者61〜63が監視エリア4から去った場合(つまりステップP19の判定結果が「YES」である場合)は、ステップP11以降の動作が繰り返される。
Referring to the flowchart of FIG. 11, next, in step P <b> 19, it is determined whether or not the
なお、侵入者の自動追跡のための望遠カメラ12A,12Bの駆動制御は、図3に示した制御部13によって行われる。但し、追跡のための所定の制御プログラムを格納したFPGA(Field Programmable Gate Array)及びDSP(Digital Signal Processor)を望遠カメラ12A,12B内に実装することにより、望遠カメラ12A,12B自らの制御によって侵入者の追跡を行ってもよい。
The drive control of the
また、図17,18の例では、表示装置6の表示画面が四分割表示されたが、四つの表示装置の各々の表示画面に各画像を全面表示してもよい。
In the examples of FIGS. 17 and 18, the display screen of the
図19は、通信基地局1に複数の監視装置3が設置された状況を示す図である。通信基地局1の建屋の外周に沿って、監視装置3A〜3Dが設置されている。監視装置3A,3B,3C,3Dは、それぞれ監視エリア4A,4B,4C,4Dを監視する。監視装置3A〜3Dは、通信基地局1内に構築された通信ネットワーク160に接続されている。通信ネットワーク160には、監視装置3A〜3Dを統括して制御する制御装置161が接続されている。
FIG. 19 is a diagram illustrating a situation where a plurality of
例えば、通信基地局1の敷地外から監視エリア4Aに侵入した侵入者が、監視エリア4Aから監視エリア4Bに移動した場合を想定する。この場合、まず監視装置3Aによって侵入者が撮影されることにより、監視装置3Aが備える特徴データ生成部24によって侵入者に関する特徴データが生成される。当該特徴データは、監視装置3Aから制御装置161に通知される。侵入者が監視エリア4Aから監視エリア4Bに移動すると、次に監視装置3Bによって侵入者が撮影されることにより、監視装置3Bが備える特徴データ生成部24によって侵入者に関する特徴データが生成される。当該特徴データは、監視装置3Bから制御装置161に通知される。制御装置161は、監視装置3Aから通知された特徴データと、監視装置3Bから通知された特徴データとを比較し、両特徴データが一致(又は近似)している場合には、監視装置3A,3Bによって撮影された侵入者は同一人物であると特定する。そして、監視装置3Aが備える望遠カメラ12Aが行っていた侵入者の自動追跡を、監視装置3Bが備える望遠カメラ12Aによって引き継ぐよう、監視装置3Bに対して追跡命令を入力する。これにより、監視エリア4A,4Bを跨ぐ侵入者の自動追跡が行われる。
For example, it is assumed that an intruder who has entered the
このように本実施の形態に係る監視システム5(及び監視装置3)によれば、望遠カメラ12Aは、広角カメラ11によって撮影された撮影画像内に侵入者が含まれている場合に、当該侵入者を自動追跡して撮影することにより、当該侵入者の拡大画像300を取得して表示装置6に表示する。このように、監視エリア4への侵入者を望遠カメラ12Aによって自動追跡して撮影することにより、侵入者の拡大画像300を漏れなく撮影することが可能となる。また、望遠カメラ12Bは、オペレータによって遠隔操作されることにより、監視エリア4内の所望箇所の画像を取得して表示装置6に表示する。従って、複数の侵入者が同時に監視エリア4に侵入した場合であっても、望遠カメラ12Aによって撮影している侵入者とは異なる侵入者を望遠カメラ12Bによって撮影することができる。その結果、複数の侵入者を漏れなく撮影することが可能となる。
As described above, according to the monitoring system 5 (and the monitoring apparatus 3) according to the present embodiment, the
また、本実施の形態に係る監視システム5によれば、望遠カメラ12Bは、オペレータの遠隔操作による所望箇所の撮影(手動撮影モード)と、自動追跡による侵入者の撮影(自動追跡モード)とを切り換え可能である。従って、複数の侵入者が同時に監視エリア4に侵入した場合に、望遠カメラ12A,12Bを用いて複数の侵入者を自動追跡して撮影するという動作と、望遠カメラ12Aによって侵入者を自動追跡して撮影しつつ、望遠カメラ12Bによって他の所望の侵入者を撮影するという動作とを切り換えることができるため、ユーザの利便性を向上することができる。
Further, according to the
また、本実施の形態に係る監視システムに5よれば、望遠カメラ12Aによって撮影されている監視エリア4内の位置と、望遠カメラ12Bによって撮影されている監視エリア4内の位置と、監視エリア4内における侵入者の位置と、を示す位置情報マップ250が、表示装置6に表示される。従って、オペレータは、当該位置情報マップ250に基づいて、手動撮影モードの望遠カメラ12Bによって次に撮影すべき侵入者を容易に特定することができるため、複数の侵入者を漏れなく撮影することが可能となる。
Further, according to the
また、本実施の形態に係る監視システム5によれば、材質分析部39Aは、撮影画像200Aのうち移動物体に対応する画像領域71〜73に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて移動物体の材質を分析する。従って、材質分析の結果、移動物体に対応する画像領域71〜73内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、所定の監視エリア4内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。また、特徴データ生成部24Aは、材質分析部39Aによって分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する。そして、追跡処理部44は、当該特徴データに基づいて移動物体の自動追跡を行う。従って、監視エリア4内で移動する個々の移動物体を、各移動物体に関する特徴データに基づいて正確に追跡することができる。
Further, according to the
また、本実施の形態に係る監視システム5によれば、図19に示したように、各移動物体に関する特徴データに基づくことにより、異なる監視エリア4A〜4Dを跨ぐ移動物体の自動追跡を正確に行うことが可能となる。
Further, according to the
なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined not by the above-mentioned meaning but by the scope of claims for patent, and is intended to include all modifications within the scope and meaning equivalent to the scope of claims for patent.
3,3A〜3D 監視装置
4,4A〜4D 監視エリア
5 監視システム
6 表示装置
11A,11B 広角カメラ
12A,12B 望遠カメラ
21 撮影部
22 分析部
23,23A,23B 識別部
24,24A,24B 特徴データ生成部
39A,39B 材質分析部
43 位置特定部
44 追跡処理部
250 位置情報マップ
3, 3A to
Claims (5)
表示装置と、
を備え、
前記監視装置は、
所定の監視エリアを撮影する、第1の撮影手段と、
前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該移動物体を自動追跡して撮影することにより、当該移動物体の拡大画像を取得して前記表示装置に表示する、第2の撮影手段と、
オペレータによって遠隔操作されることにより、前記第1の撮影手段及び前記第2の撮影手段とは独立して、前記監視エリア内の所望箇所の画像を取得して前記表示装置に表示可能な、第3の撮影手段と、
を有し、
前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、
前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、
をさらに備え、
前記特徴データに基づいて前記移動物体の自動追跡が行われる、監視システム。 A monitoring device;
A display device;
With
The monitoring device
First imaging means for imaging a predetermined monitoring area;
When a moving object is included in the captured image captured by the first imaging unit, the display device is configured to acquire an enlarged image of the moving object by automatically tracking and capturing the moving object. A second photographing means for displaying on
By being remotely operated by an operator, an image of a desired location in the monitoring area can be acquired and displayed on the display device independently of the first imaging unit and the second imaging unit. 3 shooting means;
I have a,
When a moving object is included in the captured image captured by the first capturing unit, a spectrum of a plurality of specific wavelengths including an infrared region with respect to an image region corresponding to the moving object in the captured image. And material analysis means for analyzing the material of the moving object based on the detection result;
Data generation means for generating feature data representing the feature amount of the moving object, including parameters relating to the material of the moving object;
Further comprising
A monitoring system in which the moving object is automatically tracked based on the feature data .
前記特徴データに基づいて、異なる監視エリアを跨ぐ前記移動物体の自動追跡が行われる、請求項1から請求項3のいずれか1項に記載の監視システム。 A plurality of the monitoring areas are photographed by a plurality of the monitoring devices,
The monitoring system according to any one of claims 1 to 3, wherein automatic tracking of the moving object across different monitoring areas is performed based on the feature data.
前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該移動物体を自動追跡して撮影することにより、当該移動物体の拡大画像を取得する、第2の撮影手段と、
オペレータによって遠隔操作されることにより、前記第1の撮影手段及び前記第2の撮影手段とは独立して、前記監視エリア内の所望箇所の画像を取得する、第3の撮影手段と、
前記第1の撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、
前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、
を備え、
前記特徴データに基づいて前記移動物体の自動追跡が行われる、監視装置。
First imaging means for imaging a predetermined monitoring area;
When a moving object is included in a captured image captured by the first imaging unit, an enlarged image of the moving object is acquired by automatically tracking and capturing the moving object; Photographing means;
A third imaging unit that obtains an image of a desired location in the monitoring area independently from the first imaging unit and the second imaging unit by being remotely operated by an operator ;
When a moving object is included in the captured image captured by the first capturing unit, a spectrum of a plurality of specific wavelengths including an infrared region with respect to an image region corresponding to the moving object in the captured image. And material analysis means for analyzing the material of the moving object based on the detection result;
Data generation means for generating feature data representing the feature amount of the moving object, including parameters relating to the material of the moving object;
With
A monitoring device in which the moving object is automatically tracked based on the feature data .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010256089A JP5664161B2 (en) | 2010-11-16 | 2010-11-16 | Monitoring system and monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010256089A JP5664161B2 (en) | 2010-11-16 | 2010-11-16 | Monitoring system and monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012109733A JP2012109733A (en) | 2012-06-07 |
JP5664161B2 true JP5664161B2 (en) | 2015-02-04 |
Family
ID=46494899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010256089A Expired - Fee Related JP5664161B2 (en) | 2010-11-16 | 2010-11-16 | Monitoring system and monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5664161B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6111595B2 (en) * | 2012-10-17 | 2017-04-12 | 大日本印刷株式会社 | RECORDING CONTROL DEVICE, RECORDING CONTROL PROGRAM, AND RECORDING CONTROL METHOD |
JP6174871B2 (en) * | 2013-03-08 | 2017-08-02 | 株式会社デンソーウェーブ | Monitoring device control method |
JP6182331B2 (en) * | 2013-03-08 | 2017-08-16 | 株式会社デンソーウェーブ | Monitoring device control method |
CN105247856A (en) * | 2013-03-08 | 2016-01-13 | 株式会社电装 | Device and method for monitoring moving entity |
JP6182332B2 (en) * | 2013-03-08 | 2017-08-16 | 株式会社デンソーウェーブ | Monitoring device control method |
JP6174872B2 (en) * | 2013-03-08 | 2017-08-02 | 株式会社デンソーウェーブ | Monitoring device control method |
AU2014226830B2 (en) * | 2013-03-08 | 2017-01-19 | Denso Corporation | Apparatus and method of monitoring moving objects |
JP2019008337A (en) * | 2015-10-26 | 2019-01-17 | 三郎 山内 | Object identification system, object identification method, program and computer storage medium |
EP3461127B1 (en) * | 2016-05-17 | 2024-03-06 | FUJIFILM Corporation | Stereo camera and stereo camera control method |
WO2019111375A1 (en) * | 2017-12-07 | 2019-06-13 | 圭史朗 金森 | Monitoring device, monitoring system, monitoring method, and monitoring program |
JP7146507B2 (en) * | 2018-07-31 | 2022-10-04 | キヤノン株式会社 | Information processing device and its control method |
CN110445978B (en) * | 2019-06-24 | 2020-12-15 | 华为技术有限公司 | Shooting method and equipment |
CN113393696B (en) * | 2020-03-12 | 2024-05-28 | 标致雪铁龙汽车股份有限公司 | Vehicle positioning system and application method thereof |
JP6844055B1 (en) * | 2020-05-29 | 2021-03-17 | 丸善インテック株式会社 | Surveillance camera |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259775A (en) * | 1998-03-09 | 1999-09-24 | Piimakku Japan:Kk | Monitoring system |
JPH11284988A (en) * | 1998-03-27 | 1999-10-15 | Mitsubishi Electric Corp | Supervisory camera system |
JP4736381B2 (en) * | 2003-11-27 | 2011-07-27 | ソニー株式会社 | Imaging apparatus and method, monitoring system, program, and recording medium |
WO2006040687A2 (en) * | 2004-07-19 | 2006-04-20 | Grandeye, Ltd. | Automatically expanding the zoom capability of a wide-angle video camera |
JP4937016B2 (en) * | 2007-07-09 | 2012-05-23 | 三菱電機株式会社 | Monitoring device, monitoring method and program |
JP5273667B2 (en) * | 2009-03-19 | 2013-08-28 | 国立大学法人東京工業大学 | Object identification device |
-
2010
- 2010-11-16 JP JP2010256089A patent/JP5664161B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012109733A (en) | 2012-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5664161B2 (en) | Monitoring system and monitoring device | |
EP2467805B1 (en) | Method and system for image analysis | |
US8410441B2 (en) | Thermal imaging camera for taking thermographic images | |
KR101073076B1 (en) | Fire monitoring system and method using compound camera | |
JP4547040B1 (en) | Display image switching device and display image switching method | |
JP5047007B2 (en) | Imaging device | |
EP2608531A2 (en) | Thermal imaging camera for infrared rephotography | |
JP7036423B2 (en) | Controls, control methods and control programs | |
JP6699898B2 (en) | Processing device, imaging device, and automatic control system | |
CN109636763B (en) | Intelligent compound eye monitoring system | |
KR101778744B1 (en) | Monitoring system through synthesis of multiple camera inputs | |
JP6624800B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2006311578A (en) | Video monitoring system | |
JP5605565B2 (en) | Object identification device and object identification method | |
JP5771955B2 (en) | Object identification device and object identification method | |
KR101288881B1 (en) | Set up a number of areas of surveillance and monitoring of surveillance cameras in the area to shoot enlarged system | |
US20200128188A1 (en) | Image pickup device and image pickup system | |
JP5845858B2 (en) | Object detection apparatus and object detection method | |
JP2009301175A (en) | Monitoring method | |
KR20070006390A (en) | Tracking method and system for tracking with multiple point-of view | |
KR101738514B1 (en) | Monitoring system employing fish-eye thermal imaging camera and monitoring method using the same | |
JP3858018B2 (en) | Video surveillance system | |
JP2006025340A5 (en) | ||
KR102367118B1 (en) | Display device and method for controlling the same | |
JP2012109732A (en) | Object identification apparatus and object identification method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5664161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |