JP4622301B2 - Surveillance system and surveillance camera - Google Patents

Surveillance system and surveillance camera Download PDF

Info

Publication number
JP4622301B2
JP4622301B2 JP2004138491A JP2004138491A JP4622301B2 JP 4622301 B2 JP4622301 B2 JP 4622301B2 JP 2004138491 A JP2004138491 A JP 2004138491A JP 2004138491 A JP2004138491 A JP 2004138491A JP 4622301 B2 JP4622301 B2 JP 4622301B2
Authority
JP
Japan
Prior art keywords
image
captured
monitoring
host
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004138491A
Other languages
Japanese (ja)
Other versions
JP2005323046A (en
Inventor
克彦 一ノ瀬
宮本  剛
博文 宮田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to JP2004138491A priority Critical patent/JP4622301B2/en
Publication of JP2005323046A publication Critical patent/JP2005323046A/en
Application granted granted Critical
Publication of JP4622301B2 publication Critical patent/JP4622301B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、多数の人が出入りする、空港、銀行、オフィスビル、マンション等の施設のセキュリティを確保する監視システム、およびこの監視システムに適用される監視カメラに関する。   The present invention relates to a monitoring system that ensures the security of facilities such as airports, banks, office buildings, condominiums, and the like where many people come and go, and a monitoring camera applied to the monitoring system.
従来、多数の人が出入りする、空港、銀行、オフィスビル、マンション等の施設では、セキュリティを確保するために、監視カメラで撮像した撮像画像を用いて不審者等の出入りを監視する監視システムを利用している。従来の監視システムは、施設の出入り口や施設内の主要な場所等を監視エリアとし、監視カメラを監視エリア毎に設けている。また、警備室等にホスト装置を設け、このホスト装置で各監視エリアの撮像画像が確認できるように構成されている。具体的には、LANやIPネットワーク等を介して監視カメラをホスト装置に接続している。監視カメラは、撮像している監視エリアの撮像画像を略リアルタイムにホスト装置に送信する。監視カメラからホスト装置に送信される撮像画像は動画である。ホスト装置は、監視カメラ毎に送信されてきた監視エリアの撮像画像(動画)を記憶する。   Conventionally, in facilities such as airports, banks, office buildings, and condominiums where a large number of people come and go, a monitoring system that monitors the entry and exit of suspicious persons using captured images taken by a surveillance camera is used to ensure security. We are using. In the conventional monitoring system, the entrance / exit of the facility, the main location in the facility, and the like are set as the monitoring area, and a monitoring camera is provided for each monitoring area. In addition, a host device is provided in a security room or the like, and the host device is configured so that captured images of each monitoring area can be confirmed. Specifically, the monitoring camera is connected to the host device via a LAN, an IP network, or the like. The monitoring camera transmits the captured image of the monitoring area being imaged to the host device in substantially real time. The captured image transmitted from the monitoring camera to the host device is a moving image. The host device stores the captured image (moving image) of the monitoring area transmitted for each monitoring camera.
また、監視カメラから送信されてきた監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出して、予め記憶している登録者の顔画像と照合し、登録者であるかどうかを判定する顔照合機能をホスト装置に設け、セキュリティを高めた監視システムも実用化されている。登録者は、監視システムの用途に応じて設定される。例えば、監視システムを利用する施設がオフィスビルやマンション等であれば、施設内に出入りすることが許可されている人物を登録者にすればよく、また空港や銀行等であれば指名手配されている人物(犯罪者)を登録者にすればよい。ホスト装置は、顔照合の結果を出力する。例えば、顔照合した人物が施設内への出入りを許可していない人物であった場合や、指名手配されている犯罪者であった場合に警報等を行って、そのことを警備員に知らせる。これにより、警備員等が不信者に対して迅速に対応でき、セキュリティを高めることができる。   If a person is captured in the captured image of the monitoring area transmitted from the surveillance camera, the person's face image is cut out and collated with a pre-stored registrant's face image to be a registrant. A monitoring system is also put into practical use in which a host device is provided with a face collation function for determining whether or not to increase security. The registrant is set according to the use of the monitoring system. For example, if the facility that uses the surveillance system is an office building or apartment, etc., the person who is allowed to enter and exit the facility may be a registered person, and if it is an airport or bank, etc. A registered person (criminal) may be used. The host device outputs the result of face matching. For example, if the person whose face has been collated is a person who has not been permitted to enter or leave the facility, or if the person is a criminal who has been nominated, a warning or the like is issued to notify the security guard. Thereby, a security guard etc. can respond quickly to an unbelieving person, and can raise security.
また、従来の監視システムでは、撮像画像に人物が撮像されているかどうかを検出し、人物が撮像されていれば、その撮像画像を記録媒体に記録することや(特許文献1参照)、背景画像である基準フレームと、撮像画像との差分画像を圧縮して記憶すること(特許文献2参照)で、監視カメラで撮像した人物の画像の記録漏れがなく、また撮像画像を記録するのに必要な記録媒体の記録容量を抑えることが提案されている。
特開2000−115389号公報 特開2000− 13742号公報
Further, in the conventional monitoring system, it is detected whether or not a person is captured in the captured image. If the person is captured, the captured image is recorded on a recording medium (see Patent Document 1), or a background image. By compressing and storing the difference image between the reference frame and the captured image (see Patent Document 2), there is no omission of recording of the human image captured by the surveillance camera, and it is necessary to record the captured image. It has been proposed to reduce the recording capacity of various recording media.
JP 2000-115389 A JP 2000-13742 A
しかしながら、上位装置であるホスト装置に多数の監視カメラが接続されている監視システムでは、各監視カメラが監視エリアの撮像画像をリアルタイムに動画でホスト装置に送信することから、監視カメラとホスト装置とを接続するネットワークのトラフィックが大きい。このため、監視カメラからホスト装置に送信されてくる監視エリアの撮像画像に遅延や消失が生じる可能性が高い。監視カメラからホスト装置に送信されてくる監視エリアの撮像画像に遅延や消失が生じると、ホスト装置において監視エリアを適正に監視できず、セキュリティが低下するという問題がある。   However, in a monitoring system in which a large number of monitoring cameras are connected to a host device that is a host device, each monitoring camera transmits a captured image of the monitoring area in real time to the host device. The network traffic connecting the For this reason, there is a high possibility that the captured image of the monitoring area transmitted from the monitoring camera to the host device will be delayed or lost. When a delay or disappearance occurs in the captured image of the monitoring area transmitted from the monitoring camera to the host device, the host device cannot properly monitor the monitoring area, and there is a problem that security is lowered.
一方、監視カメラからホスト装置へ送信する監視エリアの撮像画像を粗い画像にしたり、さらに圧縮して送信することで、トラフィックの増大を抑え、上記の問題を解決することも考えられるが、この方法では監視カメラからホスト装置に送信されてきた監視エリアの撮像画像が粗いので、この撮像画像から切り出した人物の顔画像では顔照合が適正に行えず、結果的にセキュリティの低下を防止することができない。   On the other hand, the captured image of the monitoring area transmitted from the monitoring camera to the host device may be a rough image, or further compressed and transmitted to suppress the increase in traffic and solve the above problem. In this case, since the captured image of the monitoring area transmitted from the monitoring camera to the host device is rough, the face image of the person cut out from this captured image cannot be properly matched, and as a result, it is possible to prevent a decrease in security. Can not.
この発明の目的は、上位装置に接続されている監視カメラが多い場合であっても、上位装置において監視エリアを適正に監視でき、セキュリティの低下が防止できる監視システム、およびこの監視システムに適用される監視カメラを提供することにある。   The object of the present invention is applicable to a monitoring system capable of appropriately monitoring a monitoring area in a host device and preventing a decrease in security even when there are many surveillance cameras connected to the host device, and to this monitoring system. It is to provide a surveillance camera.
この発明の監視システムは、上記課題を解決するために、以下の構成を備えている。   In order to solve the above problems, the monitoring system of the present invention has the following configuration.
(1)ネットワークを介して複数の監視カメラを上位装置に接続した監視システムにおいて、
前記監視カメラは、
監視エリアを撮像する撮像手段と、
前記撮像手段が撮像している前記監視エリアの撮像画像を、撮像日時を示すタイムスタンプを付加した動画で記憶する動画記憶手段と、
前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
前記顔画像切出手段が切り出した顔画像に対して、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプを付加するタイムスタンプ付加手段と、
前記顔画像切出手段が切り出し、前記タイムスタンプ付加手段がタイムスタンプを付加した顔画像を静止画で前記上位装置へ送信する静止画送信手段と、を備え
前記上位装置は、
前記監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画の取得要求が入力されたとき、この顔画像に付加されている前記タイムスタンプが示す日時の動画の送信を前記監視カメラに要求する動画要求手段を備え、
さらに、前記監視カメラは、
記上位装置からの動画の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時を挟んだ所定時間分の動画を、前記動画記憶手段から読み出し、該上位装置に送信する動画送信手段を備えている。
(1) In a monitoring system in which a plurality of monitoring cameras are connected to a host device via a network ,
The surveillance camera is
Imaging means for imaging the surveillance area;
A moving image storage unit that stores a captured image of the monitoring area captured by the imaging unit as a moving image with a time stamp indicating an imaging date and time ;
If a person is imaged in the captured image of the monitoring area imaged by the imaging means, face image extraction means for extracting the person's face image;
Time stamp adding means for adding a time stamp indicating the imaging date and time of the captured image obtained by extracting the face image to the face image extracted by the face image extracting means;
The face image cut-out unit cutout, and a still picture transmission means for transmitting to said host system in a still image a face image in which the time stamp adding unit has added a time stamp,
The host device is
For a face image transmitted as a still image from the surveillance camera, when a moving image acquisition request for this face image is input, transmission of the moving image of the date and time indicated by the time stamp added to the face image is performed. Provided with a video request means for requesting a surveillance camera;
Furthermore, the surveillance camera is
Upon receiving the video transmission request from the previous SL upper apparatus, the predetermined time of moving across the time indicated by the time stamp included in the received transmission request, read out from said video storage means, to said upper device A moving image transmitting means for transmitting is provided.
この構成では、監視カメラは撮像手段により撮像している監視エリアの撮像画像を動画記憶手段に動画で記憶する。また、監視カメラは、顔画像切出手段により監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出し、ここで切り出した顔画像を静止画送信手段により上位装置へ静止画で送信する。動画、および静止画には、撮像日時を示すタイムスタンプが付加される。 In this configuration, the surveillance camera stores the captured image of the monitoring area captured by the imaging unit as a moving image in the moving image storage unit. In addition, if a person is captured in the captured image of the monitoring area by the face image cutout unit, the surveillance camera cuts out the face image of the person and freezes the cutout face image to the host device by the still image transmission unit. Send as a picture. A time stamp indicating the imaging date and time is added to the moving image and the still image.
上位装置は、監視カメラから静止画で送信されてきた顔画像に付加されているタイムスタンプにより、この顔画像を切り出した画像が撮像された日時を確認することができる。また、上位装置は、監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画の取得要求が入力されると、この顔画像にかかる動画の送信を監視カメラに要求する。この要求には、顔画像に付加されているタイムスタンプが示す日時が含まれている。監視カメラは、上位装置からの動画の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時を挟んだ所定時間分の動画を、動画記憶手段から読み出し、該上位装置に送信する。この所定時間は、例えば、タイムスタンプが示す時間を中心に4〜5sの動画とすればよい。 The host device can confirm the date and time when the image cut out from the face image is captured by the time stamp added to the face image transmitted as a still image from the surveillance camera. In addition, when a moving image acquisition request for a face image transmitted from the monitoring camera as a still image is input to the host device , the host device requests the monitoring camera to transmit the moving image for the face image. This request includes the date and time indicated by the time stamp added to the face image. When the monitoring camera receives the moving image transmission request from the host device, the monitoring camera reads out the moving image for a predetermined time with the date and time indicated by the time stamp included in the received transmission request from the moving image storage means, and the host device Send to. For example, the predetermined time may be a 4 to 5 s moving image centered on the time indicated by the time stamp.
このように、監視カメラは、監視エリアの撮像画像に人物が撮像されている場合に、略リアルタイムにその人物の顔画像を切り出し、ここで切り出した顔画像を静止画で上位装置に送信する構成としたので、監視カメラから上位装置に送信する顔画像を粗くすることなく、監視カメラと上位装置とを接続するネットワークのトラフィックを十分に抑えることができる。したがって、上位装置において監視エリアを適正に監視できない事態になるのを防止でき、セキュリティを低下させることがない。   As described above, when a person is captured in the captured image of the monitoring area, the monitoring camera cuts out the face image of the person in substantially real time, and transmits the cut-out face image as a still image to the host device. Therefore, the traffic on the network connecting the monitoring camera and the host device can be sufficiently suppressed without roughening the face image transmitted from the monitoring camera to the host device. Therefore, it is possible to prevent a situation where the monitoring area cannot be properly monitored in the host device, and security is not lowered.
また、上位装置では、監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画を必要に応じて取得できるので、その人物が監視エリアを通行しているときの状況を動画で確認することができる。
また、監視カメラの顔画像切出手段については、撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物が撮像されている撮像画像をバッファに複数フレーム記憶し、該バッファに記憶した複数フレームの撮像画像の中から、顔画像を切り出す撮像画像を選択する、構成としてもよい。このようにすれば、撮像されている人物の顔が切れていたり、顔の向きが適正でない撮像画像から、この人物の顔画像を切り出すのを防止できる。
さらに、監視カメラの動画記憶手段を、バッファに記憶した複数フレームの撮像画像を、監視エリアの動画として記憶する構成としてもよい。このようにすれば、動画記憶手段の記憶容量が抑えられる。
In addition, the host device can acquire a moving image related to a face image transmitted as a still image from the monitoring camera as necessary, so that the situation when the person is passing through the monitoring area is recorded as a moving image. Can be confirmed.
As for the face image cutout means of the monitoring camera, if a person is captured in the captured image of the monitoring area captured by the imaging means, a plurality of frames are stored in the buffer of the captured image in which the person is captured The captured image from which the face image is cut out may be selected from the captured images of a plurality of frames stored in the buffer. In this way, it is possible to prevent the face image of the person being cut out from the captured image in which the face of the person being picked up is cut off or the face orientation is not appropriate.
Furthermore, the moving image storage means of the monitoring camera may be configured to store the captured images of a plurality of frames stored in the buffer as moving images in the monitoring area. In this way, the storage capacity of the moving image storage means can be suppressed.
(2)前記上位装置は、登録者の顔画像を記憶する顔画像記憶手段と、
前記監視カメラから静止画で送信されてきた顔画像と、前記顔画像記憶手段に記憶している登録者の顔画像と、を照合し、その結果を出力する顔照合手段と、を備えている。
(2) The host device includes a face image storage means for storing a registrant's face image;
A face collation unit that collates a face image transmitted as a still image from the monitoring camera with a registrant's face image stored in the face image storage unit and outputs the result. .
この構成では、上位装置において、監視カメラから静止画で送信されてきた人物の顔画像と、登録者の顔画像とを照合し、その結果を出力するので、不審者等が検出された場合に、速やかにそのことを警備員等に通知でき、警備員等に迅速に対応させることができる。   In this configuration, the host device collates the face image of the person transmitted as a still image from the surveillance camera with the face image of the registrant and outputs the result, so when a suspicious person or the like is detected Therefore, it is possible to promptly notify the security guard or the like, and it is possible to promptly respond to the security guard or the like.
(3)前記上位装置は、前記監視カメラから静止画で送信されてきた顔画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段が記憶している顔画像を表示する表示手段と、を備え、
前記動画要求手段は、前記表示手段が表示している顔画像について、動画の取得要求にかかる入力を受け付ける。
(3) The host device includes a face image storage unit that stores a face image transmitted as a still image from the monitoring camera;
Display means for displaying the face image stored in the face image storage means,
The moving image requesting unit receives an input relating to a moving image acquisition request for the face image displayed by the display unit.
この構成では、上位装置において、監視カメラから静止画で送信されてきた顔画像を顔画像記憶手段に記憶し、記憶している顔画像を表示手段に表示させることができる。また、表示手段が表示している顔画像について、動画要求手段が動画の取得要求にかかる入力を受け付ける。これにより、監視カメラから静止画で送信されてきた人物の顔画像の確認や、この人物が監視エリア通過したときの状況の確認が、監視カメラから顔画像が送信されてきたタイミングだけでなく、必要に応じていつでも行える。   In this configuration, in the host device, the face image transmitted as a still image from the monitoring camera can be stored in the face image storage means, and the stored face image can be displayed on the display means. For the face image displayed by the display unit, the moving image request unit accepts an input related to a moving image acquisition request. As a result, the confirmation of the face image of a person sent as a still image from the surveillance camera and the confirmation of the situation when this person has passed the surveillance area are not only the timing when the face image is sent from the surveillance camera. You can do it whenever you want.
ネットワークを介して複数の監視カメラを上位装置に接続した監視システムにおいて、
前記監視カメラは、
監視エリアを撮像する撮像手段と、
前記撮像手段が撮像している前記監視エリアの撮像画像を、撮像日時を示すタイムスタンプを付加した動画で前記上位装置へ送信する動画送信手段と、
前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
前記顔画像切出手段が切り出した顔画像に対して、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプを付加するタイムスタンプ付加手段と、
前記顔画像切出手段が切り出し、前記タイムスタンプ付加手段がタイムスタンプを付加した顔画像を静止画で記憶する静止画記憶手段と、を備え、
前記動画送信手段は、動画を前記静止画記憶手段が記憶する顔画像よりも粗い画像で送信し、
また、前記上位装置は、
前記監視カメラから送信されてきた動画に撮像されている人物について、顔画像の取得要求が入力されたとき、この動画において該人物が撮像されている位置に付加されているタイムスタンプが示す日時における顔画像の送信を前記監視カメラに要求する静止画要求手段を備え、
さらに、前記監視カメラは、
記上位装置からの顔画像の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時に最も近いタイムスタンプが付加されている顔画像を、前記静止画記憶手段から読み出し、該上位装置に送信する静止画送信手段を備えている。
( 4 ) In a surveillance system in which a plurality of surveillance cameras are connected to a host device via a network ,
The surveillance camera is
Imaging means for imaging the surveillance area;
A moving picture transmitting means for sending a picked-up image of the monitoring area picked up by the image pick-up means to the high-order apparatus as a moving picture to which a time stamp indicating the image pickup date and time is added ;
If a person is imaged in the captured image of the monitoring area imaged by the imaging means, face image extraction means for extracting the person's face image;
Time stamp adding means for adding a time stamp indicating the imaging date and time of the captured image obtained by extracting the face image to the face image extracted by the face image extracting means;
Still image storage means for storing the face image with the face image cutout means cut out and the time stamp adding means with the time stamp added as a still image;
The moving image transmitting means transmits the moving image as an image coarser than the face image stored in the still image storage means,
In addition, the host device is
When a face image acquisition request is input for a person imaged in the moving image transmitted from the surveillance camera, the date and time indicated by the time stamp added to the position where the person is imaged in the moving image is input . Still image request means for requesting the surveillance camera to transmit a face image,
Furthermore, the surveillance camera is
Upon receiving the transmission request of the face image from the previous SL upper apparatus, a face image closest timestamp date indicated by the time stamp included in the received transmission request is added, from the still image memory means Still image transmission means for reading and transmitting to the higher-level device is provided.
この構成では、監視カメラは撮像手段により撮像している監視エリアの撮像画像を動画送信手段により上位装置へ動画を粗い画像で送信する。また、監視カメラは、顔画像切出手段により監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出し、ここで切り出した顔画像を静止画記憶手段に記憶する。動画、および静止画(顔画像)には、撮像日時を示すタイムスタンプが付加される。 In this configuration, the surveillance camera transmits the captured image of the monitoring area captured by the imaging unit to the host device by the moving image transmission unit as a coarse image. In addition, if a person is captured in the captured image of the monitoring area by the face image cutout unit, the surveillance camera cuts out the face image of the person and stores the cut out face image in the still image storage unit. A time stamp indicating the shooting date and time is added to the moving image and the still image (face image).
一方、上位装置は、監視カメラから送信されてきた動画に撮像されている人物ついて、顔画像の取得要求が入力されると、この顔画像の送信を監視カメラに要求する。監視カメラは、上位装置からの要求に応じて、静止画記憶手段に記憶している顔画像を静止画で送信する。   On the other hand, when a request for acquiring a face image is input for a person captured in a moving image transmitted from the monitoring camera, the host device requests the monitoring camera to transmit the face image. The surveillance camera transmits the face image stored in the still image storage unit as a still image in response to a request from the host device.
このように、監視カメラが、監視エリアの撮像画像を略リアルタイムに粗い画像の動画を上位装置に送信する構成としたので、監視カメラと上位装置とを接続するネットワークのトラフィックを十分に抑えることができる。また、監視カメラから上位装置へ送信する動画については、粗い画像とするだけでなく、圧縮することで、監視カメラと上位装置とを接続するネットワークのトラフィックを一層抑えることができる。また、上位装置において、監視カメラから送信されてきた動画に撮像されている人物の顔画像(静止画)を必要に応じて監視カメラから取得でき、またこの顔画像が動画のような粗い画像でないので、この顔画像を取得することにより、この人物についての顔照合が適正に行える。したがって、上位装置において監視エリアを適正に監視できない事態になるのを防止でき、セキュリティを低下させることがない。   As described above, since the surveillance camera is configured to transmit the captured image of the surveillance area to the host device in a substantially real time, the traffic on the network connecting the surveillance camera and the host device can be sufficiently suppressed. it can. In addition, the moving image transmitted from the monitoring camera to the host device is not only a coarse image but also compressed, so that traffic on the network connecting the monitoring camera and the host device can be further suppressed. In the host device, the face image (still image) of the person captured in the moving image transmitted from the monitoring camera can be acquired from the monitoring camera as necessary, and the face image is not a rough image such as a moving image. Therefore, by acquiring this face image, face collation for this person can be performed properly. Therefore, it is possible to prevent a situation where the monitoring area cannot be properly monitored in the host device, and security is not lowered.
この発明によれば、監視カメラと上位装置とを接続するネットワークのトラフィックを十分に抑えることができる。したがって、上位装置において監視エリアを適正に監視できない事態になるのを防止でき、セキュリティを低下させることがない。   According to the present invention, it is possible to sufficiently suppress traffic on the network connecting the monitoring camera and the host device. Therefore, it is possible to prevent a situation where the monitoring area cannot be properly monitored in the host device, and security is not lowered.
以下、この発明の実施形態である監視システムについて説明する。   Hereinafter, a monitoring system according to an embodiment of the present invention will be described.
図1は、この発明の実施形態である監視システムの構成を示す図である。この実施形態の監視システムは、ネットワーク3を介して複数の監視カメラ1をホスト装置2に接続している。この監視システムは、空港、銀行、オフィスビル、マンション等の施設に出入りする人物や、施設内を通行する人物等を監視し、セキュリティを確保するために利用される。監視カメラ1は、監視エリア毎に設けられている。監視エリアは、施設の出入り口や施設内の主要な場所等である。ホスト装置2は警備室等に設置されており、警備員等が監視エリアの状況を確認できる構成である。ネットワーク3は、例えばLANやIPネットワークである。   FIG. 1 is a diagram showing a configuration of a monitoring system according to an embodiment of the present invention. In the monitoring system of this embodiment, a plurality of monitoring cameras 1 are connected to a host device 2 via a network 3. This monitoring system is used to ensure security by monitoring persons entering and leaving facilities such as airports, banks, office buildings, and condominiums, and persons passing through the facilities. The surveillance camera 1 is provided for each surveillance area. The monitoring area is the entrance / exit of the facility or the main location within the facility. The host device 2 is installed in a security room or the like, and is configured such that a security guard or the like can check the status of the monitoring area. The network 3 is, for example, a LAN or an IP network.
図2は、この発明の実施形態である監視システムに適用されている監視カメラの構成を示す図である。監視カメラ1は、本体の動作を制御する制御部11と、監視エリアを撮像する撮像部12と、撮像部12が撮像した監視エリアの撮像画像に人物が撮像されているかどうかを判定し、人物が撮像されていれば撮像されている人物の顔画像を静止画で切り出すFace Findingモジュール13(以下、FFモジュール13と言う。)と、撮像部12で撮像している監視エリアの撮像画像を動画として取得し、これを圧縮する画像圧縮部14と、画像圧縮部14で圧縮した動画を記憶する動画記憶部15と、ホスト装置2との間でネットワーク3を介して通信する通信部16と、を備えている。   FIG. 2 is a diagram showing a configuration of a monitoring camera applied to the monitoring system according to the embodiment of the present invention. The monitoring camera 1 determines whether or not a person is captured in the captured image of the monitoring area captured by the imaging unit 12, the control unit 11 that controls the operation of the main body, the imaging unit 12 that images the monitoring area, and the person If the image is captured, a Face Finding module 13 (hereinafter referred to as FF module 13) that cuts out the face image of the captured person as a still image, and a captured image of the monitoring area captured by the imaging unit 12 as a moving image An image compression unit 14 that acquires and compresses the compressed image, a moving image storage unit 15 that stores a moving image compressed by the image compression unit 14, and a communication unit 16 that communicates with the host device 2 via the network 3. It has.
撮像部12は、イメージセンサとしてCCDを有している。撮像部12が撮像している監視エリアの撮像画像は、FFモジュール13、および画像圧縮部14に入力されている。FFモジュール13、および画像圧縮部14は、予め定められた時間間隔、例えば0.3s間隔、で入力されている撮像画像を取り込む。FFモジュール13、および画像圧縮部14が撮像画像を取り込む時間間隔については、同じであってもよいし、異なっていてもよい。FFモジュール13は、取り込んだ撮像画像に人物が撮像されているかどうかを判定する機能、および人物が撮像されている場合に撮像されている人物の顔画像を切り出す機能を有している。このFFモジュール13が、この発明で言う顔画像切出手段に相当する。FFモジュール13が撮像画像から切り出した顔画像(静止画)は、略リアルタイムに通信部16からネットワーク3を介してホスト装置2へ送信される。ホスト装置2へ送信する顔画像には、撮像日時を示すタイムスタンプが付加されている。このタイムスタンプの詳細については後述する。また、画像圧縮部14は、動画として取得している監視エリアの撮像画像をMPEG4等で圧縮する。動画記憶部15は、この圧縮された監視エリアの動画を記憶する。動画記憶部15が記憶している動画にも、撮像された日時を示すタイムスタンプが適当な間隔で付加されており、動画記憶部15が記憶している動画の撮像日時が判断できる。監視カメラ1は、ホスト装置2からの要求に応じて、動画記憶部15に記憶している動画をホスト装置2に送信する。動画記憶部15は、例えば記録媒体としてハードディスクを有している。   The imaging unit 12 has a CCD as an image sensor. The captured image of the monitoring area captured by the imaging unit 12 is input to the FF module 13 and the image compression unit 14. The FF module 13 and the image compression unit 14 capture captured images input at a predetermined time interval, for example, 0.3 s interval. The time intervals at which the FF module 13 and the image compression unit 14 capture captured images may be the same or different. The FF module 13 has a function of determining whether or not a person is captured in the captured image, and a function of cutting out a face image of the person captured when the person is captured. The FF module 13 corresponds to the face image cutting means referred to in the present invention. The face image (still image) clipped from the captured image by the FF module 13 is transmitted from the communication unit 16 to the host device 2 via the network 3 in substantially real time. The face image transmitted to the host device 2 is added with a time stamp indicating the imaging date and time. Details of this time stamp will be described later. The image compression unit 14 compresses the captured image of the monitoring area acquired as a moving image by MPEG4 or the like. The moving image storage unit 15 stores the compressed moving image of the monitoring area. The moving image stored in the moving image storage unit 15 is also added with a time stamp indicating the date and time when the image was captured at an appropriate interval, and the shooting date and time of the moving image stored in the moving image storage unit 15 can be determined. In response to a request from the host device 2, the monitoring camera 1 transmits the moving image stored in the moving image storage unit 15 to the host device 2. The moving image storage unit 15 has, for example, a hard disk as a recording medium.
次に、この監視システムに適用されているホスト装置2の構成について説明する。図3は、この発明の実施形態である監視システムに適用されているホスト装置の構成を示す図である。ホスト装置2は、本体の動作を制御する制御部21と、登録者毎に顔画像を記憶する登録者データ記憶部22と、ネットワーク3を介して監視カメラ1と通信する通信部23と、監視カメラ1から静止画で送信されてきた顔画像と、登録者データ記憶部22に記憶している登録者の顔画像とを照合する顔照合部24と、監視カメラ1から送信されてきたMPEG4で圧縮された動画を伸長する画像伸長部25と、監視カメラ1から送信されてきた顔画像や動画を表示する表示部26と、監視カメラ1から静止画で送信されてきた顔画像を記憶する顔画像記憶部27と、を備えている。   Next, the configuration of the host device 2 applied to this monitoring system will be described. FIG. 3 is a diagram showing the configuration of the host device applied to the monitoring system according to the embodiment of the present invention. The host device 2 includes a control unit 21 that controls the operation of the main body, a registrant data storage unit 22 that stores a face image for each registrant, a communication unit 23 that communicates with the monitoring camera 1 via the network 3, and a monitoring unit. A face collation unit 24 that collates a face image transmitted as a still image from the camera 1 with a registrant's face image stored in the registrant data storage unit 22, and MPEG 4 transmitted from the surveillance camera 1. An image decompression unit 25 that decompresses a compressed video, a display unit 26 that displays a face image or video transmitted from the surveillance camera 1, and a face that stores a face image transmitted as a still image from the surveillance camera 1 An image storage unit 27.
登録者データ記憶部22は、登録者の顔画像として、目、鼻、口等の顔部品の特徴量を記憶している。登録者は、例えば施設に出入りすることが許可された人物であったり、指名手配されている犯罪者であり、監視システムの用途に応じて登録者を決定している。顔照合部24は、監視カメラ1から静止画で送信されてきた顔画像から顔部品の特徴量を抽出し、登録者データ記憶部22に記憶している各登録者の顔部品の特徴量との類似度を算出し、その類似度が最大で、且つ予め定めた閾値よりも大きい登録者を今回顔画像が送信されてきた人物であると判定する。また、類似度が予め定めた閾値よりも大きい登録者がいなければ、登録者でないと判定する。画像伸長部25は、監視カメラ1から送信されてきた動画を伸長し、再生画像信号を生成する。表示部26は、監視カメラ1から送信されてきた顔画像や動画(画像伸長部25が生成した再生画像信号に基づく画像)を表示する。顔画像記憶部27は、監視カメラ1から静止画で送信されてきた顔画像を記憶する。顔画像記憶部27は、ハードディスク等の記録媒体を有している。   The registrant data storage unit 22 stores feature quantities of facial parts such as eyes, nose, and mouth as registrant face images. The registrant is, for example, a person who is permitted to enter or leave the facility, or is a criminal who has been appointed, and determines the registrant according to the use of the monitoring system. The face matching unit 24 extracts the feature amount of the face part from the face image transmitted as a still image from the monitoring camera 1, and the feature amount of each registrant's face part stored in the registrant data storage unit 22. The degree of similarity is calculated, and it is determined that the registrant who has the maximum degree of similarity and is larger than a predetermined threshold is the person who has transmitted the face image this time. If there is no registrant whose similarity is greater than a predetermined threshold, it is determined that the user is not a registrant. The image decompression unit 25 decompresses the moving image transmitted from the monitoring camera 1 and generates a reproduction image signal. The display unit 26 displays a face image or a moving image (an image based on a reproduction image signal generated by the image expansion unit 25) transmitted from the monitoring camera 1. The face image storage unit 27 stores a face image transmitted as a still image from the monitoring camera 1. The face image storage unit 27 has a recording medium such as a hard disk.
以下、この実施形態の監視システムの動作について説明する。   Hereinafter, the operation of the monitoring system of this embodiment will be described.
監視カメラ1は、監視エリアの撮像画像を略リアルタイムに処理する監視画像処理、およびホスト装置2からの要求に応じて動画記憶部15に記憶している動画を送信する動画送信処理を並列に実行する。まず、監視カメラ1における監視画像処理について説明する。この監視画像処理は、撮像部12が撮像している監視エリアの撮像画像を動画として動画記憶部15に記憶する動画処理、および撮像画像に人物が撮像されていれば、その人物の顔画像を切り出してホスト装置2へ送信する顔画像送信処理の2つである。   The monitoring camera 1 performs in parallel a monitoring image process for processing a captured image in a monitoring area in substantially real time and a moving image transmission process for transmitting a moving image stored in the moving image storage unit 15 in response to a request from the host device 2. To do. First, monitoring image processing in the monitoring camera 1 will be described. The monitoring image processing includes moving image processing for storing a captured image of the monitoring area captured by the imaging unit 12 in the moving image storage unit 15 as a moving image, and if a person is captured in the captured image, the face image of the person is displayed. These are two face image transmission processes that are cut out and transmitted to the host device 2.
図4は、動画処理を示すフローチャートである。監視カメラ1は、予め定めた一定時間間隔で、例えば0.3s間隔で、撮像部12が撮像している監視エリアの撮像画像を画像圧縮部14に取り込む(s1、s2)。画像圧縮部14では、一定時間間隔で取り込んでいる撮像画像を動画とし、これをMPEG4等で圧縮する(s3)。監視カメラ1は、この圧縮した動画を動画記憶部15に記憶する(s4)。動画記憶部15に記憶した動画には適当な間隔で、例えば1〜2分間隔で、撮像日時を示すタイムスタンプが付加される。   FIG. 4 is a flowchart showing the moving image processing. The monitoring camera 1 captures captured images of the monitoring area captured by the imaging unit 12 into the image compression unit 14 at predetermined time intervals, for example, at intervals of 0.3 s (s1, s2). The image compressing unit 14 converts the captured image captured at regular time intervals into a moving image, and compresses it with MPEG4 or the like (s3). The surveillance camera 1 stores the compressed moving image in the moving image storage unit 15 (s4). Time stamps indicating the shooting date and time are added to the moving images stored in the moving image storage unit 15 at appropriate intervals, for example, at intervals of 1 to 2 minutes.
監視カメラ装置1は、上記s1〜s4の処理を繰り返し実行することにより、監視エリアの動画を動画記憶部15に記憶する。また、動画記憶部15に記憶した動画に、適当な間隔で撮像日時を示すタイムスタンプを付加しているので、このタイムスタンプを参照することで動画記憶部15に記憶している動画の撮像日時が判断できる。   The monitoring camera device 1 stores the moving image of the monitoring area in the moving image storage unit 15 by repeatedly executing the processes of s1 to s4. In addition, since the time stamp indicating the shooting date and time is added to the moving image stored in the moving image storage unit 15 at an appropriate interval, the moving image shooting date and time stored in the moving image storage unit 15 is referred to by referring to this time stamp. Can be judged.
次に、顔画像送信処理について説明する。図5は、この顔画像送信処理を示すフローチャートである。監視カメラ1は、予め定めた一定時間間隔で、例えば0.3s間隔で、撮像部12が撮像している監視エリアの撮像画像をFFモジュール13に取り込む(s11、s12)。FFモジュール13は、前回取り込んだ撮像画像と今回取り込んだ撮像画像との差分を算出する(s13)。公知のように、人物が撮像されている場合、前回取り込んだ撮像画像と、今回取り込んだ撮像画像とでは、撮像されている人物の位置や姿勢等が変化していることから、その差分が大きくなる。   Next, the face image transmission process will be described. FIG. 5 is a flowchart showing the face image transmission process. The monitoring camera 1 captures captured images of the monitoring area captured by the imaging unit 12 into the FF module 13 at predetermined time intervals, for example, at intervals of 0.3 s (s11, s12). The FF module 13 calculates the difference between the captured image captured last time and the captured image captured this time (s13). As is well known, when a person is imaged, the difference between the captured image captured last time and the captured image captured this time changes because the position and orientation of the person being imaged have changed. Become.
FFモジュール13は、s13で算出した差分が予め定めた閾値よりも大きければ(s14)、この撮像画像に人物が撮像されていると判定し、この撮像画像を図示していないバッファメモリに一時的に保存する(s15)。また、FFモジュール13は、s13で算出した差分が予め定めた閾値よりも大きくなければ、s19にジャンプしてバッファメモリをクリアする。FFモジュール13は、s15で撮像画像をバッファメモリに記憶すると、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像が記憶されているかどうかを判定する(s16)。s16では、その人物の顔照合に用いるのに適正な顔画像が切り出せない撮像画像、例えば撮像されている人物の顔が切れていたり、顔の向きが適正でない撮像画像、から撮像された人物の顔画像を切り出さないように、バッファメモリに数フレーム、例えば4〜6フレーム、の撮像画像を記憶させるようにしている。言い換えれば、その人物の顔照合に用いるのに適正な顔画像の切り出しが行える撮像画像がバッファメモリに記憶される可能性を高めている。FFモジュール13は、s16でバッファメモリに顔画像の切出に適当なフレーム数の撮像画像が記憶されていないと判定すると、s11に戻って上記処理を繰り返し、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像を記憶する。   If the difference calculated in s13 is larger than a predetermined threshold (s14), the FF module 13 determines that a person is captured in the captured image, and temporarily stores the captured image in a buffer memory (not shown). (S15). If the difference calculated in s13 is not larger than a predetermined threshold, the FF module 13 jumps to s19 and clears the buffer memory. When the captured image is stored in the buffer memory in s15, the FF module 13 determines whether or not the captured image having the appropriate number of frames for clipping the face image is stored in the buffer memory (s16). In s16, a captured image in which a face image appropriate for use in the face collation of the person cannot be cut out, for example, a captured image of a person whose face is cut or whose face orientation is not appropriate is displayed. In order not to cut out the face image, the captured image of several frames, for example, 4 to 6 frames, is stored in the buffer memory. In other words, the possibility that a captured image that can cut out a face image appropriate for use in face collation of the person is stored in the buffer memory is increased. If the FF module 13 determines in step s16 that the captured image having the appropriate number of frames is not stored in the buffer memory, the FF module 13 returns to step s11 and repeats the above processing to cut out the face image in this buffer memory. The captured image having an appropriate number of frames is stored.
なお、顔画像の切出に適当なフレーム数は、撮像されている人物が監視エリアを通過する時間(2〜3s)内にFFモジュール13が取り込むことができる撮像画像のフレーム数以下である。   Note that the appropriate number of frames for extracting the face image is equal to or less than the number of frames of the captured image that can be captured by the FF module 13 within the time (2 to 3 s) during which the person being imaged passes through the monitoring area.
一方、s16で、顔画像を切り出すのに適当なフレーム数の撮像画像がバッファメモリに記憶されていると判定すると、このバッファメモリに記憶されている複数フレームの撮像画像の中から、顔画像の切出に最適な撮像画像を選択する(s17)。s17では、撮像されている人物の顔が切れてなく、顔の向きが正面である撮像画像を選択する。FFモジュール13は、s17で選択した撮像画像から撮像されている人物の顔画像を切り出す(s18)。s18では、撮像画像から顔の形(楕円形状)を検出し、ここで検出した顔の形を含む範囲を今回撮像した人物の顔画像として切り出す。FFモジュール13は、s18で今回撮像した人物の顔画像を切り出すと、バッファメモリをクリアする(s19)。監視カメラ1は、s18で切り出した顔画像に撮像日時を示すタイムスタンプを付加し(s20)、これを通信部16からホスト装置2へ送信し(s21)、s11に戻って上記処理を繰り返す。   On the other hand, if it is determined in s16 that the captured image having the appropriate number of frames for clipping the face image is stored in the buffer memory, the face image is extracted from the plurality of frames of captured images stored in the buffer memory. A captured image that is optimal for extraction is selected (s17). In s17, a captured image in which the face of the person being imaged is not cut and the face direction is the front is selected. The FF module 13 cuts out the face image of the person being captured from the captured image selected in s17 (s18). In s18, a face shape (elliptical shape) is detected from the captured image, and a range including the detected face shape is cut out as a face image of the person captured this time. When the FF module 13 cuts out the face image of the person imaged this time in s18, the FF module 13 clears the buffer memory (s19). The surveillance camera 1 adds a time stamp indicating the imaging date and time to the face image cut out in s18 (s20), transmits it to the host device 2 from the communication unit 16 (s21), returns to s11, and repeats the above processing.
これにより、監視カメラ1は、撮像部12が撮像している監視エリアを通行する人物の顔画像を略リアルタイムにホスト装置2に送信することができる。言い換えれば、ホスト装置2では、監視エリアを通行する人物の顔画像が略リアルタイムに取得できる。また、監視カメラ1は、ホスト装置2に対して監視エリアの動画を送信するのではなく、切り出した顔画像を静止画で送信するので、監視カメラ1からホスト装置2へ送信するデータ量を十分に抑えられ、ホスト装置2に接続されている監視カメラ1が多い監視システムであっても、ホスト装置2と監視カメラ1とを接続するネットワーク3のトラフィックが十分に抑えられる。また、監視カメラ1からホスト装置2へ静止画で送信する顔画像については、粗い画像にしなくてもよいので、後述するホスト装置2における撮像された人物の顔照合も適正に行え、セキュリティを低下させることもない。   Thereby, the monitoring camera 1 can transmit the face image of a person passing through the monitoring area imaged by the imaging unit 12 to the host device 2 in substantially real time. In other words, the host device 2 can acquire a face image of a person passing through the monitoring area in substantially real time. Further, since the monitoring camera 1 does not transmit a moving image of the monitoring area to the host device 2 but transmits the cut face image as a still image, a sufficient amount of data is transmitted from the monitoring camera 1 to the host device 2. Even in a monitoring system in which there are many monitoring cameras 1 connected to the host device 2, traffic on the network 3 connecting the host device 2 and the monitoring camera 1 can be sufficiently suppressed. In addition, since the face image transmitted from the monitoring camera 1 to the host device 2 as a still image does not have to be a rough image, the face of the person imaged in the host device 2 to be described later can be appropriately matched and the security is lowered. I will not let you.
ここで、監視カメラ1から静止画で送信されてきた顔画像を受信したホスト装置2の動作について説明する。図6は、ホスト装置における顔画像受信処理を示すフローチャートである。ホスト装置2は、監視カメラ1から静止画で送信されてきた顔画像を受信すると、この顔画像を顔画像記憶部27に記憶するとともに、表示部26にこの顔画像を表示する(s31、s32)。顔画像記憶部27に記憶した顔画像には、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプが付加されている。ホスト装置2は、今回監視カメラ1から送信されてきた顔画像と、登録者データ記憶部22に記憶している登録者の顔画像と、を照合する顔照合処理を行う(s33)。この顔照合処理は、例えば公知のGabor Waveletと、Graph Matching Methodと、を使用して行う。ここでは、詳細な説明については省略するが、簡単に説明すると、監視カメラ1から送信されてきた顔画像から目、鼻、口等の顔部品の特徴量を抽出し、登録者データ記憶部22に記憶している登録者毎に顔部品の特徴量との類似度を算出する。そして、算出した類似度が最大で、且つ予め定めた閾値よりも大きい登録者を今回顔画像が送信されてきた人物であると判定する。また、類似度が予め定めた閾値よりも大きい登録者がいなければ、登録者でないと判定する。   Here, the operation of the host apparatus 2 that has received a face image transmitted as a still image from the monitoring camera 1 will be described. FIG. 6 is a flowchart showing face image reception processing in the host device. Upon receiving the face image transmitted as a still image from the monitoring camera 1, the host device 2 stores the face image in the face image storage unit 27 and displays the face image on the display unit 26 (s31, s32). ). The face image stored in the face image storage unit 27 is added with a time stamp indicating the imaging date and time of the captured image obtained by cutting out the face image. The host device 2 performs face collation processing for collating the face image transmitted from the surveillance camera 1 this time with the registrant's face image stored in the registrant data storage unit 22 (s33). This face matching process is performed using, for example, a well-known Gabor Wavelet and a Graph Matching Method. Here, although detailed description is omitted, in brief, feature amounts of facial parts such as eyes, nose and mouth are extracted from the face image transmitted from the monitoring camera 1, and the registrant data storage unit 22 is extracted. The degree of similarity with the feature amount of the facial part is calculated for each registrant stored in. Then, a registrant whose calculated similarity is maximum and is larger than a predetermined threshold is determined to be a person who has transmitted the face image this time. If there is no registrant whose similarity is greater than a predetermined threshold, it is determined that the user is not a registrant.
ホスト装置2は、s33にかかる顔照合処理の結果を出力する(s34)。s34では、顔照合の結果を表示部26に表示したり、必要に応じて警報を行う。例えば、登録者以外の人物が出入りするのを禁止している施設であれば、s33の顔照合で、今回顔画像が送信されてきた人物が登録者でないと認証された場合に警報を行う。上述したように、監視カメラ1が略リアルタイムに監視エリアを通行する人物の顔画像をホスト装置2に送信しているので、その人物に対する顔照合が略リアルタイムに行える。したがって、不審者が施設に入ったこと等を、略リアルタイムに検出することができ、またそのことを速やかに警備員等に通知することができる。これにより、警備員等が不審者に対して速やかに対応することができ、施設のセキュリティを低下させることはない。   The host device 2 outputs the result of the face collation process relating to s33 (s34). In s34, the result of face collation is displayed on the display unit 26, or an alarm is given if necessary. For example, if the facility prohibits persons other than the registrant from entering and exiting, a warning is issued when it is verified in s33 that the person who sent the face image this time is authenticated as a registrant. As described above, since the monitoring camera 1 transmits a face image of a person passing through the monitoring area in substantially real time to the host device 2, face matching for the person can be performed in substantially real time. Therefore, it is possible to detect in real time that a suspicious person has entered a facility, and to promptly notify a security guard or the like. Thereby, a security guard etc. can respond to a suspicious person promptly, and does not reduce the security of a facility.
また、ホスト装置2は、顔画像記憶部27に記憶している、監視カメラ1から静止画で送信されてきた顔画像を表示部26に表示させることができる。表示部27に顔画像を表示させた人物について、この人物が監視エリアを通行しているときの動画を監視カメラ1から取得できる。ホスト装置2が監視カメラ1から動画を取得する動画取得処理について説明する。図7はホスト装置における動画取得処理を示すフローチャートであり、図8はこれに対応する監視カメラの動画送信処理を示すフローチャートである。   In addition, the host device 2 can cause the display unit 26 to display a face image transmitted as a still image from the monitoring camera 1 and stored in the face image storage unit 27. With respect to the person whose face image is displayed on the display unit 27, a moving image when the person is passing through the monitoring area can be acquired from the monitoring camera 1. A moving image acquisition process in which the host device 2 acquires a moving image from the monitoring camera 1 will be described. FIG. 7 is a flowchart showing the moving image acquisition process in the host device, and FIG. 8 is a flowchart showing the moving image transmission process of the monitoring camera corresponding to this.
警備員等が、監視エリアを通行しているときの状況を確認する必要があると判断した顔画像の人物について動画の取得要求をホスト装置2に入力する。具体的には、ホスト装置2の表示部26に動画を取得する人物の顔画像を表示し、動画の取得を要求する入力操作を行う。ホスト装置2は、この動画の取得要求が入力されると、図7に示す動画取得処理を開始する。まず、今回動画の取得が要求された人物の顔画像に付加されているタイムスタンプを読み出す(s41)。ホスト装置1は、s41で読み出しタイプスタンプが示している日時の動画の送信要求を通信部23から監視カメラ1に送信する(s42)。   A security guard or the like inputs a moving image acquisition request to the host apparatus 2 for a person whose face image is determined to be necessary to confirm the situation when the user is passing through the monitoring area. Specifically, a face image of a person who acquires a moving image is displayed on the display unit 26 of the host device 2, and an input operation for requesting acquisition of the moving image is performed. When this moving image acquisition request is input, the host device 2 starts the moving image acquisition process shown in FIG. First, the time stamp added to the face image of the person who is requested to acquire the moving image is read (s41). The host device 1 transmits a transmission request for the moving image having the date and time indicated by the read type stamp in s41 from the communication unit 23 to the monitoring camera 1 (s42).
監視カメラ1は、ホスト装置2からの動画の送信要求を受信すると(s51)、この送信要求に含まれているタイムスタンプが示す日時を読み出す(s52)。監視カメラ1は動画記憶部15から、s52で読み出した日時を中心とする前後数秒、例えば4〜5秒、の動画を動画記憶部15から読み出し(s53)、これを通信部16からホスト装置2へ送信する(s54)。   When the monitoring camera 1 receives the moving image transmission request from the host device 2 (s51), it reads the date and time indicated by the time stamp included in the transmission request (s52). The surveillance camera 1 reads from the moving image storage unit 15 a moving image of several seconds before and after the date and time read in s52, for example, 4 to 5 seconds, for example, 4 to 5 seconds from the moving image storage unit 15 (s53). (S54).
ホスト装置2は、監視カメラ1から送信されてきた動画を受信すると(s43)、画像伸長部25において受信した動画を伸長し、再生映像信号を生成する(s44)。ホスト装置2は、s44で生成した再生映像信号に基づく画像を表示部26に表示する(s45)。   When the host device 2 receives the moving image transmitted from the monitoring camera 1 (s43), the host device 2 expands the moving image received by the image expansion unit 25 and generates a reproduced video signal (s44). The host device 2 displays an image based on the reproduced video signal generated in s44 on the display unit 26 (s45).
このように、ホスト装置2において、必要に応じて顔画像が静止画で送信されてきた人物について、監視エリアを通行しているときの動画像を取得し、確認することができる。言い換えれば、顔画像が静止画で送信されてきた人物について、監視エリアを通行しているときの状況がホスト装置2で確認できる。また、この動画送信要求に対して、監視カメラ1がホスト装置2に送信する動画は、数秒の動画であるので、監視カメラ1とホスト装置とを接続するネットワーク3のトラフィックについては、無用に増大させることがなく、十分に抑えられる。   As described above, the host device 2 can acquire and check a moving image of the person whose face image has been transmitted as a still image as it passes through the monitoring area as necessary. In other words, for the person whose face image is transmitted as a still image, the host device 2 can check the situation when the person is passing through the monitoring area. In addition, since the moving image that the monitoring camera 1 transmits to the host device 2 in response to this moving image transmission request is a moving image of several seconds, the traffic on the network 3 that connects the monitoring camera 1 and the host device increases unnecessarily. It is suppressed enough.
なお、上記実施形態では、動画記憶部15に監視エリアの動画を常時記憶するとしたが、上記顔画像送信処理において、s18で顔画像を切り出した後、s19でバッファメモリをクリアする前に、このバッファメモリに記憶している複数フレームの撮像画像を動画として圧縮し、動画記憶部15に記憶するようにしてもよい。言い換えれば、撮像画像に人物が撮像されているときの動画を動画記憶部15に記憶し、人物が撮像されていないときの監視エリアの動画を動画記憶部15に記憶しない構成としてもよい。このようにすれば、動画記憶部15に必要な記憶容量を抑えることができる。また、図4に示した動画像処理を常時行わなくてもよいので、監視カメラ1の負荷が低減できる。 In the above embodiment, although the storing constantly moving of the monitor area in the moving picture storage unit 15, in the face image transmission processing, was cut out face image in s 18, before clearing the buffer memory in s 19 The captured images of a plurality of frames stored in the buffer memory may be compressed as a moving image and stored in the moving image storage unit 15. In other words, a moving image when a person is captured in the captured image may be stored in the moving image storage unit 15, and a moving image in a monitoring area when a person is not captured may not be stored in the moving image storage unit 15. In this way, the storage capacity required for the moving image storage unit 15 can be reduced. Further, since the moving image processing shown in FIG. 4 need not always be performed, the load on the monitoring camera 1 can be reduced.
次に、この発明の別の実施形態について説明する。この実施形態の監視システムは、上記実施形態と同様に図1に示した構成である。監視カメラ装置1は、上記実施形態の装置と略同じ構成であるが、図9に示すように、動画記憶部15を備えていない点、および静止画記憶部17を備えている点で異なっている。静止画記憶部17は、FFモジュール13で切り出された人物の顔画像を記憶する。また、ホスト装置2は、上記実施形態の装置と略同じ構成であるが、図10に示すように、顔画像記憶部27を備えていない点、および動画記憶部28を備えている点で異なっている。動画記憶部28は、監視カメラ1から送信されてきた監視エリアの動画を記憶する。   Next, another embodiment of the present invention will be described. The monitoring system of this embodiment has the configuration shown in FIG. 1 as in the above embodiment. The surveillance camera device 1 has substantially the same configuration as the device of the above embodiment, but differs in that it does not include the moving image storage unit 15 and a still image storage unit 17 as shown in FIG. Yes. The still image storage unit 17 stores the face image of the person cut out by the FF module 13. The host device 2 has substantially the same configuration as the device of the above embodiment, but differs in that it does not include the face image storage unit 27 and a moving image storage unit 28 as shown in FIG. ing. The moving image storage unit 28 stores the moving image of the monitoring area transmitted from the monitoring camera 1.
以下、この実施形態の監視システムの動作について説明する。   Hereinafter, the operation of the monitoring system of this embodiment will be described.
監視カメラ1は、監視エリアの撮像画像を略リアルタイムに処理する監視画像処理、およびホスト装置2からの要求に応じて静止画記憶部17に記憶している人物の顔画像を静止画をホスト装置2へ送信する静止画送信処理を並列に実行する。まず、監視カメラ1における監視画像処理について説明する。この監視画像処理には、撮像部12が撮像している監視エリアの撮像画像を動画としてホスト装置2へ送信する動画送信処理、および撮像画像に人物が撮像されていれば、その人物の顔画像を切り出して静止画記憶部17に記憶する顔画像記憶処理が含まれている。   The monitoring camera 1 performs monitoring image processing for processing a captured image in a monitoring area in substantially real time, and a person's face image stored in the still image storage unit 17 in response to a request from the host device 2 as a still image. The still image transmission processing to be transmitted to 2 is executed in parallel. First, monitoring image processing in the monitoring camera 1 will be described. In this monitoring image processing, moving image transmission processing for transmitting the captured image of the monitoring area captured by the imaging unit 12 to the host device 2 as a moving image, and if a person is captured in the captured image, the person's face image Is stored and stored in the still image storage unit 17.
図11は、動画送信処理を示すフローチャートである。監視カメラ1は、予め定めた一定時間間隔で、例えば0.3s間隔で、撮像部12が撮像している監視エリアの撮像画像を画像圧縮部14に取り込む(s61、s62)。画像圧縮部14では、一定時間間隔で取り込んでいる撮像画像を動画とし、これをMPEG4等で圧縮する(s63)。s63では、撮像画像を比較的粗い画像にして圧縮している。監視カメラ1は、画像圧縮部14で圧縮した動画を通信部16からネットワーク3を介してホスト装置2へ送信する(s64)。ホスト装置2へ送信している動画には、撮像日時を示すタイムスタンプが付加されている。   FIG. 11 is a flowchart showing the moving image transmission process. The monitoring camera 1 captures captured images of the monitoring area captured by the imaging unit 12 into the image compression unit 14 at predetermined time intervals, for example, at intervals of 0.3 s (s61, s62). The image compression unit 14 converts the captured image captured at regular time intervals into a moving image and compresses it with MPEG4 or the like (s63). In s63, the captured image is compressed into a relatively coarse image. The monitoring camera 1 transmits the moving image compressed by the image compression unit 14 from the communication unit 16 to the host device 2 via the network 3 (s64). A time stamp indicating the imaging date and time is added to the moving image transmitted to the host device 2.
監視カメラ装置1は、上記s1〜s4の処理を繰り返し実行することにより、監視エリアの動画を略リアルタイムにホスト装置2へ送信する。また、ホスト装置2へ送信する動画については、粗い画像にしているので、ホスト装置2へ送信する動画のデータ量を十分に抑えることができる。したがって、ホスト装置2に接続されている監視カメラ1が多い監視システムであっても、ホスト装置2と監視カメラ1とを接続するネットワーク3のトラフィックが十分に抑えられる。また、ホスト装置2へ送信する動画には、撮像日時を示すタイムスタンプが付加されているので、ホスト装置2ではタイムスタンプを参照することで撮像日時を判断することができる。   The monitoring camera device 1 transmits the moving image of the monitoring area to the host device 2 in substantially real time by repeatedly executing the processes of s1 to s4. Further, since the moving image to be transmitted to the host device 2 is a rough image, the data amount of the moving image to be transmitted to the host device 2 can be sufficiently suppressed. Therefore, even in a monitoring system in which many monitoring cameras 1 are connected to the host device 2, traffic on the network 3 that connects the host device 2 and the monitoring camera 1 is sufficiently suppressed. In addition, since a time stamp indicating the imaging date and time is added to the moving image to be transmitted to the host device 2, the host device 2 can determine the imaging date and time by referring to the time stamp.
次に、顔画像記憶処理について説明する。図12は、この顔画像記憶処理を示すフローチャートである。監視カメラ1は、予め定めた一定時間間隔で、例えば0.3s間隔で、撮像部12が撮像している監視エリアの撮像画像をFFモジュール13に取り込む(s71、s72)。FFモジュール13は、前回取り込んだ撮像画像と今回取り込んだ撮像画像との差分を算出する(s73)。FFモジュール13は、s73で算出した差分が予め定めた閾値よりも大きければ(s74)、この撮像画像に人物が撮像されていると判定し、この撮像画像を図示していないバッファメモリに一時的に保存する(s75)。また、FFモジュール13は、s73で算出した差分が予め定めた閾値よりも大きくなければ、s79にジャンプしてバッファメモリをクリアする。FFモジュール13は、s75で撮像画像をバッファメモリに記憶すると、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像が記憶されているかどうかを判定する(s76)。s76では、その人物の顔照合に用いるのに適正な顔画像が切り出せない撮像画像、例えば撮像されている人物の顔が切れていたり、顔の向きが適正でない撮像画像、から撮像された人物の顔画像を切り出さないように、バッファメモリに数フレーム、例えば4〜6フレーム、の撮像画像を記憶させるようにしている。言い換えれば、その人物の顔照合に用いるのに適正な顔画像の切り出しが行える撮像画像がバッファメモリに記憶される可能性を高めている。FFモジュール13は、s76でバッファメモリに顔画像の切出に適当なフレーム数の撮像画像が記憶されていないと判定すると、s71に戻って上記処理を繰り返し、このバッファメモリに顔画像を切り出すのに適当なフレーム数の撮像画像を記憶する。   Next, the face image storage process will be described. FIG. 12 is a flowchart showing the face image storage process. The monitoring camera 1 captures captured images of the monitoring area captured by the imaging unit 12 into the FF module 13 at predetermined time intervals, for example, at intervals of 0.3 s (s71, s72). The FF module 13 calculates the difference between the captured image captured last time and the captured image captured this time (s73). If the difference calculated in s73 is larger than a predetermined threshold (s74), the FF module 13 determines that a person is captured in the captured image, and temporarily stores the captured image in a buffer memory (not shown). (S75). If the difference calculated in s73 is not greater than a predetermined threshold value, the FF module 13 jumps to s79 and clears the buffer memory. When the captured image is stored in the buffer memory in s75, the FF module 13 determines whether the captured image having an appropriate number of frames for clipping the face image is stored in the buffer memory (s76). In s76, a captured image in which a face image appropriate for use in the face collation of the person cannot be cut out, for example, a captured image of a person whose face is cut or whose face orientation is not appropriate, is displayed. In order not to cut out the face image, the captured image of several frames, for example, 4 to 6 frames, is stored in the buffer memory. In other words, the possibility that a captured image that can cut out a face image appropriate for use in face collation of the person is stored in the buffer memory is increased. If the FF module 13 determines in step s76 that the captured image having the appropriate number of frames for cutting out the face image is not stored in the buffer memory, the process returns to step s71 and repeats the above processing to cut out the face image in this buffer memory. The captured image having an appropriate number of frames is stored.
なお、顔画像の切出に適当なフレーム数は、撮像されている人物が監視エリアを通過する時間(2〜3s)内にFFモジュール13が取り込むことができる撮像画像のフレーム数以下である。   Note that the appropriate number of frames for extracting the face image is equal to or less than the number of frames of the captured image that can be captured by the FF module 13 within the time (2 to 3 s) during which the person being imaged passes through the monitoring area.
一方、s76で、顔画像を切り出すのに適当なフレーム数の撮像画像がバッファメモリに記憶されていると判定すると、このバッファメモリに記憶されている複数フレームの撮像画像の中から、顔画像の切出に最適な撮像画像を選択する(s77)。s77では、撮像されている人物の顔が切れてなく、顔の向きが正面である撮像画像を選択する。FFモジュール13は、s77で選択した撮像画像から撮像されている人物の顔画像を切り出す(s78)。s78では、撮像画像から顔の形(楕円形状)を検出し、ここで検出した顔の形を含む範囲を今回撮像した人物の顔画像として切り出す。また、撮像画像を粗くすることなく、顔画像を切り出す。言い換えれば、画像圧縮部14は撮像画像を粗い画像にして圧縮した動画をホスト装置2に送信するが、FFモジュール13は撮像画像を粗い画像にすることなく、この撮像画像から顔画像を切り出す。FFモジュール13は、s78で今回撮像した人物の顔画像を切り出すと、バッファメモリをクリアする(s79)。監視カメラ1は、s78で切り出した顔画像に撮像日時を示すタイムスタンプを付加し(s80)、これを静止画記憶部17に記憶し(s81)、s71に戻って上記処理を繰り返す。   On the other hand, if it is determined in s76 that the captured image having the appropriate number of frames for clipping the face image is stored in the buffer memory, the face image is extracted from the plurality of frames of captured images stored in the buffer memory. A captured image that is optimal for extraction is selected (s77). In s77, a captured image in which the face of the person being imaged is not cut and the face direction is the front is selected. The FF module 13 cuts out the face image of the person being captured from the captured image selected in s77 (s78). In s78, a face shape (elliptical shape) is detected from the captured image, and a range including the detected face shape is cut out as a face image of the person imaged this time. Further, the face image is cut out without making the captured image rough. In other words, the image compression unit 14 transmits to the host device 2 a moving image that has been compressed from a captured image to a rough image, but the FF module 13 cuts out a face image from the captured image without making the captured image a rough image. The FF module 13 clears the buffer memory when the face image of the person imaged this time is cut out in s78 (s79). The surveillance camera 1 adds a time stamp indicating the imaging date and time to the face image cut out in s78 (s80), stores it in the still image storage unit 17 (s81), returns to s71, and repeats the above processing.
これにより、監視カメラ1は、撮像部12が撮像している監視エリアを通行する人物の顔画像を静止画で静止画記憶部17に記憶することができる。また、この顔画像は、顔照合が適正に行える粗くない画像である。   Thereby, the monitoring camera 1 can store the face image of a person passing through the monitoring area imaged by the imaging unit 12 in the still image storage unit 17 as a still image. Further, this face image is a non-rough image that can perform face matching properly.
ここで、監視カメラ1から送信されてきた動画を受信したホスト装置2の動作について説明する。図13は、ホスト装置における動画受信処理を示すフローチャートである。ホスト装置2は、監視カメラ1から送信されてきた動画を受信すると、この動画を動画記憶部28に記憶するとともに(s91)、画像伸長部25において受信した動画を伸長し、再生映像信号を生成する(s92)。ホスト装置2は、s92で生成した再生映像信号に基づく動画を表示部26に表示する(s93)。   Here, the operation of the host apparatus 2 that has received the moving image transmitted from the monitoring camera 1 will be described. FIG. 13 is a flowchart showing the moving image reception process in the host device. When the host device 2 receives the moving image transmitted from the monitoring camera 1, the host device 2 stores the moving image in the moving image storage unit 28 (s91), and expands the received moving image in the image expansion unit 25 to generate a reproduced video signal. (S92). The host device 2 displays the moving image based on the reproduced video signal generated in s92 on the display unit 26 (s93).
このように、ホスト装置2において、監視エリアの動画が略リアルタイムに表示されるので、警備員等が監視エリアの状況をホスト装置2で略リアルタイムに確認できる。また、警備員等は、表示部26に表示されている動画の人物について、顔照合が必要であると判断した場合、この人物について顔照合が適正に行える顔画像を取得することができる。以下、ホスト装置2において、顔照合が適正に行える顔画像を取得する顔画像取得処理について説明する。   Thus, since the moving image of the monitoring area is displayed in the host device 2 in substantially real time, a guard or the like can check the status of the monitoring area in the host device 2 in substantially real time. Further, when the security guard determines that the face matching is necessary for the person of the moving image displayed on the display unit 26, the guard can acquire a face image that can appropriately perform the face matching for the person. Hereinafter, a face image acquisition process for acquiring a face image that can be appropriately face-matched in the host device 2 will be described.
図14はホスト装置における顔画像取得処理を示すフローチャートであり、図15はこれに対応する監視カメラの顔画像送信処理を示すフローチャートである。   FIG. 14 is a flowchart showing face image acquisition processing in the host device, and FIG. 15 is a flowchart showing face image transmission processing of the monitoring camera corresponding thereto.
警備員等が、監視エリアを通行している人物について、顔照合が必要であると判断したときに顔画像の取得要求をホスト装置2に入力する。具体的には、ホスト装置2の表示部26に動画で表示されている人物について顔画像の取得を要求する入力操作を行う。ホスト装置2は、この顔画像の取得要求が入力されると、図14に示す顔画像取得処理を開始する。まず、今回顔画像の取得が要求された人物の動画に付加されているタイムスタンプを読み出す(s101)。ホスト装置1は、s101で読み出しタイプスタンプが示している日時の顔画像の送信要求を通信部23から監視カメラ1に送信する(s102)。   A security guard or the like inputs a face image acquisition request to the host device 2 when determining that face matching is necessary for a person passing through the monitoring area. Specifically, an input operation for requesting acquisition of a face image is performed for a person displayed as a moving image on the display unit 26 of the host device 2. When this face image acquisition request is input, the host device 2 starts the face image acquisition process shown in FIG. First, the time stamp added to the moving image of the person who is requested to acquire the face image this time is read (s101). The host apparatus 1 transmits a face image transmission request of the date and time indicated by the read type stamp in s101 from the communication unit 23 to the monitoring camera 1 (s102).
監視カメラ1は、ホスト装置2からの顔画像の送信要求を受信すると(s111)、この送信要求に含まれているタイムスタンプが示す日時を読み出す(s112)。監視カメラ1は静止画記憶部17から、s112で読み出した日時に最も近いタイムスタンプが付加されている顔画像を読み出し(s113)、この顔画像を静止画で通信部16からホスト装置2へ送信する(s114)。   When the monitoring camera 1 receives the face image transmission request from the host device 2 (s111), it reads the date and time indicated by the time stamp included in the transmission request (s112). The surveillance camera 1 reads from the still image storage unit 17 a face image to which a time stamp closest to the date and time read in s112 is added (s113), and transmits this face image from the communication unit 16 to the host device 2 as a still image. (S114).
ホスト装置2は、監視カメラ1から送信されてきた顔画像を受信すると(s103)、表示部26にこの顔画像を表示する(s104)。そして、ホスト装置2は、今回監視カメラ1から送信されてきた顔画像と、登録者データ記憶部22に記憶している登録者の顔画像と、を照合する顔照合処理を行う(s105)。この顔照合処理は、上記実施形態と同様に、公知のGabor Waveletと、Graph Matching Methodと、を使用して行う。ホスト装置2は、s105にかかる顔照合処理の結果を出力する(s106)。s106では、顔照合の結果を表示部26に表示したり、必要に応じて警報を行う。   When receiving the face image transmitted from the monitoring camera 1 (s103), the host device 2 displays this face image on the display unit 26 (s104). Then, the host device 2 performs a face matching process for matching the face image transmitted from the monitoring camera 1 this time with the face image of the registrant stored in the registrant data storage unit 22 (s105). This face matching process is performed using a well-known Gabor Wavelet and Graph Matching Method, as in the above embodiment. The host device 2 outputs the result of the face collation process relating to s105 (s106). In s106, the result of face collation is displayed on the display unit 26, or an alarm is given if necessary.
このように、ホスト装置2では、監視カメラ1から顔照合が適正に行える顔画像を取得することができるので、セキュリティを低下させることがない。また、顔照合に用いる顔画像は、静止画で監視カメラ1からホスト装置2へ送信するので、監視カメラ1とホスト装置2とを接続するネットワーク3のトラフィックを無用に増大させない。したがって、ホスト装置2に接続されている監視カメラ1が多い監視システムであっても、ホスト装置2において監視エリアを適正に監視でき、セキュリティを低下させることがない。   As described above, since the host device 2 can acquire a face image that can be appropriately face-matched from the monitoring camera 1, security is not lowered. In addition, since the face image used for face matching is transmitted as a still image from the monitoring camera 1 to the host device 2, traffic on the network 3 connecting the monitoring camera 1 and the host device 2 is not increased unnecessarily. Therefore, even in a monitoring system in which many monitoring cameras 1 are connected to the host device 2, the monitoring area can be properly monitored in the host device 2, and security is not lowered.
この発明の実施形態である監視システムの構成を示す図である。It is a figure which shows the structure of the monitoring system which is embodiment of this invention. この発明の実施形態である監視システムに適用される監視カメラの構成を示す図である。It is a figure which shows the structure of the surveillance camera applied to the surveillance system which is embodiment of this invention. この発明の実施形態である監視システムに適用されるホスト装置の構成を示す図である。It is a figure which shows the structure of the host apparatus applied to the monitoring system which is embodiment of this invention. この実施形態の監視カメラにおける動画処理を示すフローチャートである。It is a flowchart which shows the moving image process in the surveillance camera of this embodiment. この実施形態の監視カメラにおける顔画像送信処理を示すフローチャートである。It is a flowchart which shows the face image transmission process in the surveillance camera of this embodiment. この実施形態のホスト装置における顔画像受信処理を示すフローチャートである。It is a flowchart which shows the face image reception process in the host device of this embodiment. この実施形態のホスト装置における動画取得処理を示すフローチャートである。It is a flowchart which shows the moving image acquisition process in the host device of this embodiment. この実施形態の監視カメラにおける動画送信処理を示すフローチャートである。It is a flowchart which shows the moving image transmission process in the surveillance camera of this embodiment. この発明の別の実施形態である監視システムに適用される監視カメラの構成を示す図である。It is a figure which shows the structure of the surveillance camera applied to the surveillance system which is another embodiment of this invention. この発明の別の実施形態である監視システムに適用されるホスト装置の構成を示す図である。It is a figure which shows the structure of the host apparatus applied to the monitoring system which is another embodiment of this invention. 別の実施形態の監視カメラにおける動画送信処理を示すフローチャートである。It is a flowchart which shows the moving image transmission process in the surveillance camera of another embodiment. 別の実施形態の監視カメラにおける顔画像記憶処理を示すフローチャートである。It is a flowchart which shows the face image storage process in the surveillance camera of another embodiment. 別の実施形態のホスト装置における動画受信処理を示すフローチャートである。It is a flowchart which shows the moving image reception process in the host apparatus of another embodiment. 別の実施形態のホスト装置における顔画像取得処理を示すフローチャートである。It is a flowchart which shows the face image acquisition process in the host apparatus of another embodiment. 別の実施形態の監視カメラにおける顔画像送信処理を示すフローチャートである。It is a flowchart which shows the face image transmission process in the surveillance camera of another embodiment.
符号の説明Explanation of symbols
1−監視カメラ
2−ホスト装置
3−ネットワーク
12−撮像部
13−FFモジュール
14−画像圧縮部
15−動画記憶部
16−通信部
17−静止画記憶部
22−登録者記憶部
23−通信部
24−顔照合部
25−画像伸長部
26−表示部
27−顔画像記憶部
28−動画記憶部
1-surveillance camera 2-host device 3-network 12-imaging unit 13-FF module 14-image compression unit 15-moving image storage unit 16-communication unit 17-still image storage unit 22-registrant storage unit 23-communication unit 24 -Face collation unit 25-Image expansion unit 26-Display unit 27-Face image storage unit 28-Movie storage unit

Claims (9)

  1. ネットワークを介して複数の監視カメラを上位装置に接続した監視システムにおいて、
    前記監視カメラは、
    監視エリアを撮像する撮像手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像を、撮像日時を示すタイムスタンプを付加した動画で記憶する動画記憶手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
    前記顔画像切出手段が切り出した顔画像に対して、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプを付加するタイムスタンプ付加手段と、
    前記顔画像切出手段が切り出し、前記タイムスタンプ付加手段がタイムスタンプを付加した顔画像を静止画で前記上位装置へ送信する静止画送信手段と、を備え
    前記上位装置は、
    前記監視カメラから静止画で送信されてきた顔画像について、この顔画像にかかる動画の取得要求が入力されたとき、この顔画像に付加されている前記タイムスタンプが示す日時の動画の送信を前記監視カメラに要求する動画要求手段を備え、
    さらに、前記監視カメラは、
    記上位装置からの動画の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時を挟んだ所定時間分の動画を、前記動画記憶手段から読み出し、該上位装置に送信する動画送信手段を備えている
    監視システム。
    In a surveillance system in which multiple surveillance cameras are connected to a host device via a network ,
    The surveillance camera is
    Imaging means for imaging the surveillance area;
    A moving image storage unit that stores a captured image of the monitoring area captured by the imaging unit as a moving image with a time stamp indicating an imaging date and time ;
    If a person is imaged in the captured image of the monitoring area imaged by the imaging means, face image extraction means for extracting the person's face image;
    Time stamp adding means for adding a time stamp indicating the imaging date and time of the captured image obtained by extracting the face image to the face image extracted by the face image extracting means;
    The face image cut-out unit cutout, and a still picture transmission means for transmitting to said host system in a still image a face image in which the time stamp adding unit has added a time stamp,
    The host device is
    For a face image transmitted as a still image from the surveillance camera, when a moving image acquisition request for this face image is input, transmission of the moving image of the date and time indicated by the time stamp added to the face image is performed. Provided with a video request means for requesting a surveillance camera;
    Furthermore, the surveillance camera is
    Upon receiving the video transmission request from the previous SL upper apparatus, the predetermined time of moving across the time indicated by the time stamp included in the received transmission request, read out from said video storage means, to said upper device It has a video transmission means to transmit ,
    Monitoring system.
  2. 前記監視カメラの前記顔画像切出手段は、前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物が撮像されている撮像画像をバッファに複数フレーム記憶し、該バッファに記憶した複数フレームの撮像画像の中から、顔画像を切り出す撮像画像を選択する、The face image cutout unit of the monitoring camera stores a plurality of frames in a buffer of the captured image in which the person is captured if a person is captured in the captured image of the monitoring area captured by the imaging unit And selecting a captured image from which the face image is cut out from the captured images of a plurality of frames stored in the buffer.
    請求項1に記載の監視システム。The monitoring system according to claim 1.
  3. 前記監視カメラの前記動画記憶手段は、前記バッファに記憶した複数フレームの撮像画像を、前記監視エリアの動画として記憶する、The moving image storage means of the monitoring camera stores a plurality of frames of captured images stored in the buffer as moving images of the monitoring area.
    請求項2に記載の監視システム。The monitoring system according to claim 2.
  4. 前記上位装置は、
    登録者の顔画像を記憶する顔画像記憶手段と、
    前記監視カメラから静止画で送信されてきた顔画像と、前記顔画像記憶手段に記憶している登録者の顔画像と、を照合し、その結果を出力する顔照合手段と、を備えている 請求項1〜3のいずれかに記載の監視システム
    The host device is
    Face image storage means for storing a registrant's face image;
    A face collation unit that collates a face image transmitted as a still image from the monitoring camera with a registrant's face image stored in the face image storage unit and outputs the result. , according to claim 1 monitoring system
  5. 前記上位装置は、
    前記監視カメラから静止画で送信されてきた顔画像を記憶する顔画像記憶手段と、
    前記顔画像記憶手段が記憶している顔画像を表示する表示手段と、を備え、
    前記動画要求手段は、前記表示手段が表示している顔画像について、動画の取得要求にかかる入力を受け付ける、
    請求項1〜4のいずれかに記載の監視システム。
    The host device is
    Face image storage means for storing a face image transmitted as a still image from the monitoring camera;
    Display means for displaying the face image stored in the face image storage means,
    The moving image requesting unit receives an input relating to a moving image acquisition request for the face image displayed by the display unit.
    The monitoring system in any one of Claims 1-4 .
  6. 監視エリアを撮像する撮像手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像を動画で記憶する動画記憶手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
    前記顔画像切出手段が切り出した顔画像に対して、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプを付加するタイムスタンプ付加手段と、
    ネットワークを介して接続されている上位装置に対して、前記顔画像切出手段が切り出し、前記タイムスタンプ付加手段がタイムスタンプを付加した顔画像を静止画で送信する静止画送信手段と、
    記上位装置からの動画の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時を挟んだ所定時間分の動画を、前記動画記憶手段から読み出し、該上位装置に送信する動画送信手段と、を備えた監視カメラ。
    Imaging means for imaging the surveillance area;
    Moving image storage means for storing a captured image of the monitoring area captured by the imaging means as a moving image;
    If a person is imaged in the captured image of the monitoring area imaged by the imaging means, face image extraction means for extracting the person's face image;
    Time stamp adding means for adding a time stamp indicating the imaging date and time of the captured image obtained by extracting the face image to the face image extracted by the face image extracting means;
    The host unit connected via a network, cutout said face image cut-out unit, a still picture transmitting means for the time stamp adding means to send a still image a face image to which a time stamp,
    Upon receiving the video transmission request from the previous SL upper apparatus, the predetermined time of moving across the time indicated by the time stamp included in the received transmission request, read out from said video storage means, to said upper device A surveillance camera comprising: a moving image transmitting means for transmitting.
  7. ネットワークを介して複数の監視カメラを上位装置に接続した監視システムにおいて、
    前記監視カメラは、
    監視エリアを撮像する撮像手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像を、撮像日時を示すタイムスタンプを付加した動画で前記上位装置へ送信する動画送信手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
    前記顔画像切出手段が切り出した顔画像に対して、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプを付加するタイムスタンプ付加手段と、
    前記顔画像切出手段が切り出し、前記タイムスタンプ付加手段がタイムスタンプを付加した顔画像を静止画で記憶する静止画記憶手段と、を備え、
    前記動画送信手段は、動画を前記静止画記憶手段が記憶する顔画像よりも粗い画像で送信し、
    また、前記上位装置は、
    前記監視カメラから送信されてきた動画に撮像されている人物について、顔画像の取得要求が入力されたとき、この動画において該人物が撮像されている位置に付加されているタイムスタンプが示す日時における顔画像の送信を前記監視カメラに要求する静止画要求手段を備え、
    さらに、前記監視カメラは、
    記上位装置からの顔画像の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時に最も近いタイムスタンプが付加されている顔画像を、前記静止画記憶手段から読み出し、該上位装置に送信する静止画送信手段を備えている
    監視システム。
    In a surveillance system in which multiple surveillance cameras are connected to a host device via a network ,
    The surveillance camera is
    Imaging means for imaging the surveillance area;
    A moving picture transmitting means for sending a picked-up image of the monitoring area picked up by the image pick-up means to the high-order apparatus as a moving picture to which a time stamp indicating the image pickup date and time is added ;
    If a person is imaged in the captured image of the monitoring area imaged by the imaging means, face image extraction means for extracting the person's face image;
    A time stamp adding means for adding a time stamp indicating the imaging date and time of the captured image obtained by extracting the face image to the face image extracted by the face image extracting means;
    Still image storage means for storing the face image with the face image cutout means cut out and the time stamp adding means with the time stamp added as a still image;
    The moving image transmitting means transmits the moving image as an image coarser than the face image stored in the still image storage means,
    In addition, the host device is
    When a face image acquisition request is input for a person imaged in the moving image transmitted from the surveillance camera, the date and time indicated by the time stamp added to the position where the person is imaged in the moving image is input . Still image request means for requesting the surveillance camera to transmit a face image,
    Furthermore, the surveillance camera is
    Upon receiving the transmission request of the face image from the previous SL upper apparatus, a face image closest timestamp date indicated by the time stamp included in the received transmission request is added, from the still image memory means Comprising a still image transmitting means for reading and transmitting to the host device ;
    Monitoring system.
  8. 前記監視カメラの前記顔画像切出手段は、前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物が撮像されている撮像画像をバッファに複数フレーム記憶し、該バッファに記憶した複数フレームの撮像画像の中から、顔画像を切り出す撮像画像を選択する、The face image cutout unit of the monitoring camera stores a plurality of frames in a buffer of the captured image in which the person is captured if a person is captured in the captured image of the monitoring area captured by the imaging unit And selecting a captured image from which the face image is cut out from the captured images of a plurality of frames stored in the buffer.
    請求項7に記載の監視システム。The monitoring system according to claim 7.
  9. 監視エリアを撮像する撮像手段と、
    ネットワークを介して接続されている上位装置に対して、前記撮像手段が撮像している前記監視エリアの撮像画像を、撮像日時を示すタイムスタンプを付加した動画で送信する動画送信手段と、
    前記撮像手段が撮像している前記監視エリアの撮像画像に人物が撮像されていれば、この人物の顔画像を切り出す顔画像切出手段と、
    前記顔画像切出手段が切り出した顔画像に対して、この顔画像を切り出した撮像画像の撮像日時を示すタイムスタンプを付加するタイムスタンプ付加手段と、
    前記顔画像切出手段が切り出し、前記タイムスタンプ付加手段がタイムスタンプを付加した顔画像を静止画で記憶する静止画記憶手段と、
    記上位装置からの顔画像の送信要求を受信すると、受信した送信要求に含まれている前記タイムスタンプが示す日時に最も近いタイムスタンプが付加されている顔画像を、前記静止画記憶手段から読み出し、該上位装置に送信する静止画送信手段と、を備え、
    前記動画送信手段は、動画を前記静止画記憶手段が記憶する顔画像よりも粗い画像で送信する監視カメラ
    Imaging means for imaging the surveillance area;
    A moving image transmitting unit that transmits a captured image of the monitoring area captured by the imaging unit to a higher-level device connected via a network in a moving image with a time stamp indicating the imaging date and time ;
    If a person is imaged in the captured image of the monitoring area imaged by the imaging means, face image extraction means for extracting the person's face image;
    Time stamp adding means for adding a time stamp indicating the imaging date and time of the captured image obtained by extracting the face image to the face image extracted by the face image extracting means;
    Still image storage means for storing the face image with the face image cutout means cut out and the time stamp adding means with the time stamp added as a still image;
    Upon receiving the transmission request of the face image from the previous SL upper apparatus, a face image closest timestamp date indicated by the time stamp included in the received transmission request is added, from the still image memory means A still image transmission means for reading and transmitting to the higher-level device,
    The video transmitting means transmits a coarse image than the face image storing moving the still image memory means, a surveillance camera
JP2004138491A 2004-05-07 2004-05-07 Surveillance system and surveillance camera Active JP4622301B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004138491A JP4622301B2 (en) 2004-05-07 2004-05-07 Surveillance system and surveillance camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004138491A JP4622301B2 (en) 2004-05-07 2004-05-07 Surveillance system and surveillance camera
CNB200510066895XA CN100399825C (en) 2004-05-07 2005-04-30 Mornitoring system and monitoring camera

Publications (2)

Publication Number Publication Date
JP2005323046A JP2005323046A (en) 2005-11-17
JP4622301B2 true JP4622301B2 (en) 2011-02-02

Family

ID=35353296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004138491A Active JP4622301B2 (en) 2004-05-07 2004-05-07 Surveillance system and surveillance camera

Country Status (2)

Country Link
JP (1) JP4622301B2 (en)
CN (1) CN100399825C (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014076920A1 (en) 2012-11-14 2014-05-22 Panasonic Corporation Video monitoring system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158421A (en) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd Monitoring camera system and face image tracing recording method
JP4890880B2 (en) * 2006-02-16 2012-03-07 キヤノン株式会社 Image transmitting apparatus, image transmitting method, program, and storage medium
JP2007228337A (en) * 2006-02-24 2007-09-06 Olympus Corp Image photographing apparatus
JP2007226741A (en) * 2006-02-27 2007-09-06 Mitsubishi Electric Corp Face collation system
JP4957563B2 (en) * 2008-01-21 2012-06-20 パナソニック株式会社 Image transmission device
JP5687889B2 (en) * 2010-12-06 2015-03-25 富士通テン株式会社 Vehicle interior monitoring device
JP5942270B2 (en) * 2011-01-11 2016-06-29 パナソニックIpマネジメント株式会社 Imaging system, camera control device used therefor, imaging method, camera control method, and computer program
CN103548341A (en) * 2011-06-08 2014-01-29 欧姆龙株式会社 Distributed image processing system
JP5899518B2 (en) * 2012-02-06 2016-04-06 パナソニックIpマネジメント株式会社 Server apparatus, system control method, and system control program
US20170091560A1 (en) * 2014-03-19 2017-03-30 Technomirai Co., Ltd. Digital loss-defence security system, method, and program
JP5780570B1 (en) * 2014-04-09 2015-09-16 株式会社 テクノミライ Digital loss / accident defense system, method and program
WO2017187607A1 (en) * 2016-04-28 2017-11-02 三井不動産株式会社 Video monitoring method, server and video monitoring system
JP6555481B2 (en) * 2016-06-14 2019-08-07 パナソニックIpマネジメント株式会社 Video surveillance system
JP2018011263A (en) 2016-07-15 2018-01-18 パナソニックIpマネジメント株式会社 Monitor system, monitor camera, and management device
JP2019087791A (en) * 2017-11-01 2019-06-06 キヤノン株式会社 Information processing apparatus, information processing method, and program

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115389A (en) * 1998-09-30 2000-04-21 Noritz Corp Video intercom system
JP2000217169A (en) * 1999-01-21 2000-08-04 Toshiba Corp Video monitor system
JP2002304651A (en) * 2001-04-06 2002-10-18 Nippon Telegr & Teleph Corp <Ntt> Device and method for managing entering/leaving room, program for executing the same method and recording medium with the same execution program recorded thereon
JP2003102003A (en) * 2001-09-21 2003-04-04 Matsushita Electric Ind Co Ltd Supervisory device
JP2003187352A (en) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The System for detecting specified person
JP2003319386A (en) * 2002-04-22 2003-11-07 Gen Tec:Kk Photographed image transmission system for mobile terminal
JP2004056370A (en) * 2002-07-18 2004-02-19 Nec Fielding Ltd Interphone system and information providing method
JP2004054536A (en) * 2002-07-19 2004-02-19 Matsushita Electric Works Ltd Wide area surveillance system
JP2004078687A (en) * 2002-08-20 2004-03-11 Toshiba Corp Entrance/exit management system
JP2004126829A (en) * 2002-10-01 2004-04-22 Casio Comput Co Ltd Visitor management system and its program
JP2004128623A (en) * 2002-09-30 2004-04-22 Sony Corp Remote monitoring system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214914A (en) * 1996-01-30 1997-08-15 Sharp Corp Image transmitter
US7113074B2 (en) * 2001-03-30 2006-09-26 Koninklijke Philips Electronics N.V. Method and system for automatically controlling a personalized networked environment
JP2004062565A (en) * 2002-07-30 2004-02-26 Canon Inc Image processor and image processing method, and program storage medium
CN100464348C (en) * 2002-09-18 2009-02-25 贺贵明 Video frequency monitoring, identification intelligont device and technical method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115389A (en) * 1998-09-30 2000-04-21 Noritz Corp Video intercom system
JP2000217169A (en) * 1999-01-21 2000-08-04 Toshiba Corp Video monitor system
JP2002304651A (en) * 2001-04-06 2002-10-18 Nippon Telegr & Teleph Corp <Ntt> Device and method for managing entering/leaving room, program for executing the same method and recording medium with the same execution program recorded thereon
JP2003102003A (en) * 2001-09-21 2003-04-04 Matsushita Electric Ind Co Ltd Supervisory device
JP2003187352A (en) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The System for detecting specified person
JP2003319386A (en) * 2002-04-22 2003-11-07 Gen Tec:Kk Photographed image transmission system for mobile terminal
JP2004056370A (en) * 2002-07-18 2004-02-19 Nec Fielding Ltd Interphone system and information providing method
JP2004054536A (en) * 2002-07-19 2004-02-19 Matsushita Electric Works Ltd Wide area surveillance system
JP2004078687A (en) * 2002-08-20 2004-03-11 Toshiba Corp Entrance/exit management system
JP2004128623A (en) * 2002-09-30 2004-04-22 Sony Corp Remote monitoring system
JP2004126829A (en) * 2002-10-01 2004-04-22 Casio Comput Co Ltd Visitor management system and its program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014076920A1 (en) 2012-11-14 2014-05-22 Panasonic Corporation Video monitoring system
US9779308B2 (en) 2012-11-14 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Video monitoring system

Also Published As

Publication number Publication date
CN100399825C (en) 2008-07-02
JP2005323046A (en) 2005-11-17
CN1694530A (en) 2005-11-09

Similar Documents

Publication Publication Date Title
US10123051B2 (en) Video analytics with pre-processing at the source end
DE69921237T2 (en) Automatic video surveillance system
US6978047B2 (en) Method and apparatus for storing digital video content provided from a plurality of cameras
JP3974038B2 (en) Intruder detection using trajectory analysis in surveillance and reconnaissance systems
CN101207803B (en) Camera tampering detection method, module and apparatus
US7227569B2 (en) Surveillance system and a surveillance camera
US7421727B2 (en) Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method
US7423669B2 (en) Monitoring system and setting method for the same
US6690411B2 (en) Security system
KR101337060B1 (en) Imaging processing device and imaging processing method
AU2009243916B2 (en) A system and method for electronic surveillance
US7423670B2 (en) Remote control of image pickup apparatus
CN102045543B (en) Image processing apparatus and image processing method
AU2000241410B2 (en) Surveillance system with camera
US10699541B2 (en) Recognition data transmission device
JP2004032459A (en) Monitoring system, and controller and monitoring terminal used both therefor
KR101133924B1 (en) Active image monitoring system using motion pattern database, and method thereof
JP5560397B2 (en) Autonomous crime prevention alert system and autonomous crime prevention alert method
CN1254108C (en) Method and apparatus to select the best video frame to transmit to a remote station for closed circuit television (CCTV)based residential area security monitoring
JP2004516557A (en) Apparatus and method for resolving entry / exit conflicts in a security monitoring system
US7697030B2 (en) Control device and method
DE602004005520T2 (en) Arrangement and method for image recognition
JP2006217070A (en) Monitoring recording apparatus
US8675065B2 (en) Video monitoring system
JP4984728B2 (en) Subject collation device and subject collation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100401

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

R150 Certificate of patent or registration of utility model

Ref document number: 4622301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3