JP5643032B2 - Tunnel monitoring system and tunnel monitoring method - Google Patents

Tunnel monitoring system and tunnel monitoring method Download PDF

Info

Publication number
JP5643032B2
JP5643032B2 JP2010196063A JP2010196063A JP5643032B2 JP 5643032 B2 JP5643032 B2 JP 5643032B2 JP 2010196063 A JP2010196063 A JP 2010196063A JP 2010196063 A JP2010196063 A JP 2010196063A JP 5643032 B2 JP5643032 B2 JP 5643032B2
Authority
JP
Japan
Prior art keywords
monitoring
vehicle
range
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010196063A
Other languages
Japanese (ja)
Other versions
JP2012053688A (en
Inventor
明徳 小迫
明徳 小迫
哲也 楠田
哲也 楠田
智 稲葉
智 稲葉
川 敏春
敏春 川
庸介 松島
庸介 松島
正 松山
正 松山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2010196063A priority Critical patent/JP5643032B2/en
Publication of JP2012053688A publication Critical patent/JP2012053688A/en
Application granted granted Critical
Publication of JP5643032B2 publication Critical patent/JP5643032B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、車が通行するトンネル内での異常を監視する技術に関する。   The present invention relates to a technique for monitoring an abnormality in a tunnel through which a vehicle passes.

車が通行するトンネル内での事故の発生防止や、事故発生時の迅速な情報収集のために、監視カメラによるトンネル内の監視が行われている。特許文献1には、トンネル内に設置された複数の監視カメラから送信される映像を、1系統の信号として出力することが記載されている。特許文献2には、監視カメラによりトンネル内を通行する車を撮像し、撮像した画像から車に付された文字を認識すること等が記載されている。   In order to prevent accidents in tunnels where cars pass and to gather information quickly when accidents occur, surveillance cameras monitor the tunnels. Patent Document 1 describes that video transmitted from a plurality of surveillance cameras installed in a tunnel is output as one system signal. Patent Document 2 describes that a vehicle passing through a tunnel is imaged by a monitoring camera, and characters attached to the vehicle are recognized from the captured image.

特開平11−39589号公報JP 11-39589 A 特開2003−272086号公報JP 2003-272086 A

しかしながら、上述の技術は、監視カメラによる撮像範囲内において撮像された画像に含まれる車のみに基づいて、トンネル内の事故等を監視しようとするものである。このため、トンネル内を広範囲に監視しようとする場合には、撮像範囲外となる区間がないように多数の監視カメラを隙間なく設置することが必要となる。これでは、多数の監視カメラに応じた相当の設置コストや保守コストなどが必要となる。ここで、トンネル内の広範囲の監視を、より少ない台数の監視カメラを用いて、できるだけ簡単に、効率良く行うという要望が存在する。   However, the above-described technique is intended to monitor an accident or the like in a tunnel based only on a vehicle included in an image captured within an imaging range by a surveillance camera. For this reason, when monitoring the tunnel in a wide range, it is necessary to install a large number of surveillance cameras without gaps so that there is no section outside the imaging range. This requires considerable installation costs and maintenance costs according to a large number of surveillance cameras. Here, there is a demand to perform wide-area monitoring in a tunnel as easily and efficiently as possible by using a smaller number of monitoring cameras.

本発明は、このような状況に鑑みてなされたもので、少ない台数の監視カメラを用いて、できるだけ簡単に、効率良く広範囲の監視を行うトンネル監視システム、トンネル監視方法を提供する。   The present invention has been made in view of such a situation, and provides a tunnel monitoring system and a tunnel monitoring method for performing wide-area monitoring as efficiently and simply as possible using a small number of monitoring cameras.

上述した課題を解決するために、本発明は、車が通行するトンネル内に設置され、トンネル内を撮像する撮像部を備えた複数の監視カメラと、複数の監視カメラに接続された監視サーバとを備えたトンネル監視システムであって、複数の監視カメラは、撮像部による撮像範囲外である区間を隔てて、トンネル内の通行方向の上流から下流に亘って設置され、撮像した画像を、監視サーバに送信する送信部を備え、監視サーバは、複数の監視カメラから送信される画像を受信する受信部と、受信部によって受信された画像に、車が含まれるか否かを判定する第1の車検出部と、第1の車検出部によって、複数の監視カメラのうち上流の監視カメラから送信された画像に車が含まれると判定された場合、時点から一定時間内に上流の監視カメラよりも下流の監視カメラから送信された画像に、車が含まれるか否かを第1の車検出部に判定させ、下流の監視カメラから送信された画像に車が含まれると判定された場合、車が通過したと判定し、車が含まれないと判定された場合、車が通過していないと判定する通過判定部と、を備えることを特徴とする。   In order to solve the above-described problems, the present invention provides a plurality of monitoring cameras that are installed in a tunnel through which a vehicle passes and that have an imaging unit that images the inside of the tunnel, and a monitoring server that is connected to the plurality of monitoring cameras. A plurality of monitoring cameras are installed from upstream to downstream in the direction of traffic in the tunnel across a section outside the imaging range by the imaging unit, and monitor the captured images. A monitoring unit that receives images transmitted from a plurality of monitoring cameras; and a first unit that determines whether an image received by the receiving unit includes a car. If the vehicle detection unit and the first vehicle detection unit determine that the vehicle is included in the image transmitted from the upstream monitoring camera among the plurality of monitoring cameras, the upstream monitoring camera within a certain time from the time point Yo If the image transmitted from the downstream monitoring camera also causes the first vehicle detection unit to determine whether or not the vehicle is included, and if it is determined that the vehicle is included in the image transmitted from the downstream monitoring camera, A passage determination unit that determines that the vehicle has passed and determines that the vehicle has not passed when it is determined that the vehicle has not been included.

また、本発明は、上述の監視サーバが、通過判定部によって、車が通過していないと判定された場合、警告を出力する警告部を備えることを特徴とする。   Further, the present invention is characterized in that the monitoring server includes a warning unit that outputs a warning when the passage determination unit determines that the vehicle is not passing.

また、本発明は、複数の監視カメラは、監視カメラが首振りをせずに固定した状態において撮像範囲外であるが首振りをした状態において撮像範囲内である間接監視範囲の区間を隔てて、トンネル内の通行方向の上流から下流に亘って設置され、入力される首振り要求に応じて、撮像部が間接監視範囲を撮像するように首振り動作を行う首振り駆動部を備え、監視サーバは、通過判定部によって、車が通過していないと判定された場合、上流の監視カメラと下流の監視カメラとの少なくともいずれかに首振り要求を送信して間接監視範囲を撮像させる首振り要求送信部と、受信部によって受信された、首振り要求に応じて撮像された間接監視範囲の画像を出力する出力部と、を備えることを特徴とする。   Further, according to the present invention, the plurality of monitoring cameras are separated from a section of the indirect monitoring range that is outside the imaging range when the monitoring camera is fixed without swinging but is within the imaging range when swung. , Equipped with a swing drive unit that is installed from upstream to downstream in the direction of traffic in the tunnel and performs a swing motion so that the imaging unit captures the indirect monitoring range in response to an input swing request When the passage determination unit determines that the vehicle is not passing, the server sends a swing request to at least one of the upstream monitoring camera and the downstream monitoring camera to image the indirect monitoring range. A request transmission unit and an output unit that outputs an image of an indirect monitoring range imaged in response to the swing request received by the reception unit.

また、本発明は、複数の監視カメラ毎に、間接監視範囲に車が含まれない画像である背景画像が対応付けられて予め記憶される背景画像記憶部と、監視カメラから送信される、首振り要求に応じて撮像された間接監視範囲の画像について、画像を送信した監視カメラに対応付けられて背景画像記憶部に記憶されている背景画像と比較して、画像と背景画像との差分に基づいて、画像に車が含まれるか否かを判定する第2の車検出部を備えることを特徴とする。   In addition, the present invention provides a background image storage unit that stores in advance a background image that is an image that does not include a vehicle in the indirect monitoring range for each of the plurality of monitoring cameras, and a neck image that is transmitted from the monitoring camera. Compared to the background image stored in the background image storage unit in association with the surveillance camera that transmitted the image, the difference between the image and the background image is obtained for the image in the indirect monitoring range captured in response to the swing request. A second vehicle detection unit for determining whether or not a vehicle is included in the image is provided.

また、本発明は、車が通行するトンネル内に設置され、トンネル内を撮像する撮像部を備えた複数の監視カメラと、複数の監視カメラに接続された監視サーバとを備えたトンネル監視システムのトンネル監視方法であって、撮像部による撮像範囲外である区間を隔てて、トンネル内の通行方向の上流から下流に亘って設置された複数の監視カメラが、撮像した画像を、監視サーバに送信するステップと、監視サーバが、複数の監視カメラから送信される画像を受信するステップと、受信した画像に、車が含まれるか否かを判定するステップと、複数の監視カメラのうち上流の監視カメラから送信された画像に車が含まれると判定した場合、時点から一定時間内に上流の監視カメラよりも下流の監視カメラから送信された画像に、車が含まれるか否かを判定し、下流の監視カメラから送信された画像に車が含まれると判定した場合、車が通過したと判定し、車が含まれないと判定した場合、車が通過していないと判定するステップと、を備えることを特徴とする。   In addition, the present invention provides a tunnel monitoring system including a plurality of monitoring cameras that are installed in a tunnel through which a vehicle passes and that includes an imaging unit that images the inside of the tunnel, and a monitoring server that is connected to the plurality of monitoring cameras. A tunnel monitoring method in which a plurality of monitoring cameras installed from upstream to downstream in the direction of traffic in a tunnel transmit images captured to a monitoring server across a section outside the imaging range of the imaging unit. A step in which the monitoring server receives images transmitted from a plurality of monitoring cameras, a step in which it is determined whether or not a vehicle is included in the received images, and upstream monitoring of the plurality of monitoring cameras When it is determined that a vehicle is included in the image transmitted from the camera, the image is transmitted from the monitoring camera downstream from the upstream monitoring camera within a certain time from the time point. If it is determined whether the vehicle is included in the image transmitted from the downstream monitoring camera, it is determined that the vehicle has passed, and if it is determined that the vehicle is not included, the vehicle is not passing And determining.

以上説明したように、本発明によれば、複数の監視カメラが、撮像部による撮像範囲外である区間を隔てて、トンネル内の通行方向の上流から下流に亘って設置され、撮像した画像を監視サーバに送信し、監視サーバは、複数の監視カメラから送信される画像を受信し、受信した画像に車が含まれるか否かを判定し、複数の監視カメラのうち上流の監視カメラから送信された画像に車が含まれると判定した場合、その時点から一定時間内に上流の監視カメラよりも下流の監視カメラから送信された画像に車が含まれるか否かを判定し、下流の監視カメラから送信された画像に車が含まれないと判定した場合、車が通過していないと判定するようにしたので、少ない台数の監視カメラを用いて、効率良く広範囲の監視を行うトンネル監視システム、トンネル監視方法を提供することができる。   As described above, according to the present invention, a plurality of surveillance cameras are installed from upstream to downstream in the direction of traffic in the tunnel across a section that is outside the imaging range of the imaging unit. The monitoring server receives images transmitted from a plurality of monitoring cameras, determines whether the received image includes a car, and transmits from the upstream monitoring camera among the plurality of monitoring cameras. If it is determined that a car is included in the captured image, it is determined whether or not a car is included in an image transmitted from a monitoring camera downstream from the upstream monitoring camera within a certain time from that point, and downstream monitoring is performed. When it is determined that a car is not included in the image transmitted from the camera, it is determined that the car has not passed. Therefore, a tunnel monitoring system that efficiently performs wide-area monitoring using a small number of monitoring cameras. , It is possible to provide a tunnel monitoring method.

本発明の一実施形態によるトンネル監視システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the tunnel monitoring system by one Embodiment of this invention. 本発明の一実施形態による複数の監視カメラの設置例を示す図である。It is a figure which shows the example of installation of the some surveillance camera by one Embodiment of this invention. 本発明の一実施形態による直接監視範囲と間接監視範囲との例を示す図である。It is a figure which shows the example of the direct monitoring range and indirect monitoring range by one Embodiment of this invention. 本発明の一実施形態の車検出部による車検出処理の例を示す図である。It is a figure which shows the example of the vehicle detection process by the vehicle detection part of one Embodiment of this invention. 本発明の一実施形態による直接監視範囲と間接監視範囲との例を示す図である。It is a figure which shows the example of the direct monitoring range and indirect monitoring range by one Embodiment of this invention. 本発明の一実施形態によるトンネル監視システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the tunnel monitoring system by one Embodiment of this invention. 本発明の一実施形態による直接監視範囲と間接監視範囲との例を示す図である。It is a figure which shows the example of the direct monitoring range and indirect monitoring range by one Embodiment of this invention. 本発明の一実施形態による異常検知処理の例を説明する図である。It is a figure explaining the example of the abnormality detection process by one Embodiment of this invention. 本発明の一実施形態による異常検知処理の例を説明する図である。It is a figure explaining the example of the abnormality detection process by one Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本実施形態によるトンネル監視システム1の構成を示すブロック図である。トンネル監視システム1は、監視対象であるトンネルに設置された複数の監視カメラ10−Nと、複数の監視カメラ10−Nに接続された監視サーバ20とを備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a tunnel monitoring system 1 according to the present embodiment. The tunnel monitoring system 1 includes a plurality of monitoring cameras 10-N installed in a tunnel to be monitored and a monitoring server 20 connected to the plurality of monitoring cameras 10-N.

複数の監視カメラ10−Nは、車が通行するトンネル内に設置され、定められた方向に向けられたカメラによって撮像可能な撮像範囲外である区間を隔てて、トンネル内の通行方向の上流から下流に亘って設置される。本実施形態では、複数の監視カメラ10−Nは、カメラが首振りをせずに固定した状態において撮像範囲外であるが首振りをした状態において撮像範囲内である間接監視範囲の区間を隔てて、トンネル内の通行方向の上流から下流に亘って設置される。   The plurality of monitoring cameras 10-N are installed in a tunnel through which a vehicle passes and are separated from the upstream in the direction of traffic in the tunnel with a section outside the imaging range that can be imaged by a camera directed in a predetermined direction. Installed downstream. In the present embodiment, the plurality of monitoring cameras 10-N are separated from the indirect monitoring range that is outside the imaging range when the camera is fixed without swinging but is within the imaging range when the camera is swung. Thus, it is installed from upstream to downstream in the direction of traffic in the tunnel.

例えば、図2は、本実施形態による複数の監視カメラ10−Nの設置例を示す図である。ここでは、トンネル内の上部に、監視カメラ10−1と、監視カメラ10−2と、監視カメラ10−3とが、所定の間隔を隔てて設置されている。例えば符号a1の箇所は、監視カメラ10−1が首振りをせずに固定した状態において撮像範囲内である直接監視範囲の区間であり、符号b1の箇所は、監視カメラ10−1が首振りをした状態において撮像範囲内である間接監視範囲の区間である。撮像範囲とは、監視カメラ10−Nによって撮像されている範囲のうち、通過する車を実効的に監視可能な範囲である。ここでは、符号b1の間接監視範囲を、監視カメラ10−1による首振り動作により監視される区間(符号b1−1)と、監視カメラ10−2による首振り動作により監視される区間(符号b1−2)との区間に分割した間隔を隔てて、複数の監視カメラ10−Nを設置するようにしても良い。ここでは3台の監視カメラを図示して説明するが、複数の監視カメラ10−Nによる直接監視範囲または間接監視範囲によって、トンネル内の全体に亘る広範囲が監視対象となるようにして良い。例えば、図3は、6区間の直接監視範囲と、5区間の間接監視範囲とによって、車のトンネル内の通行方向の上流から下流に亘る広範囲の区間が監視対象となる例を示している。   For example, FIG. 2 is a diagram illustrating an installation example of a plurality of monitoring cameras 10-N according to the present embodiment. Here, the monitoring camera 10-1, the monitoring camera 10-2, and the monitoring camera 10-3 are installed at a predetermined interval above the tunnel. For example, the location indicated by reference numeral a1 is a section of the direct monitoring range that is within the imaging range when the monitoring camera 10-1 is fixed without swinging, and the location indicated by reference sign b1 is swung by the monitoring camera 10-1. This is a section of the indirect monitoring range that is within the imaging range in the state of having performed. The imaging range is a range in which a passing vehicle can be effectively monitored in the range captured by the monitoring camera 10-N. Here, the indirect monitoring range indicated by reference sign b1 is divided into a section (reference sign b1-1) monitored by the swinging motion by the monitoring camera 10-1 and a section monitored by the swinging action by the monitoring camera 10-2 (reference sign b1). -2), a plurality of surveillance cameras 10-N may be installed with an interval divided into two sections. Although three monitoring cameras are illustrated and described here, a wide range over the entire tunnel may be monitored by a direct monitoring range or an indirect monitoring range by a plurality of monitoring cameras 10-N. For example, FIG. 3 shows an example in which a wide range from upstream to downstream in the traffic direction in the tunnel of a car is monitored by 6 direct monitoring ranges and 5 indirect monitoring ranges.

ここで、複数の監視カメラ10−Nは、設置位置が異なる他は同様の構成であるので、特に区別して説明しない場合には監視カメラ10として説明する。図1に戻り、監視カメラ10は、撮像部11と、首振り駆動部12と、送信部13とを備えている。
撮像部11は、レンズや撮像素子等が含まれるカメラであり、トンネル内を撮像して画像を生成する。撮像部11は、通常状態においては直接監視範囲を固定して撮像するが、首振り駆動部12の動作により間接監視範囲を撮像する。ここで、撮像部11は、拡大率や縮小率を示す値が含まれる制御信号を受信し、受信した制御信号に応じて、撮像範囲のズームイン、ズームアウトを行う機能を有する。
Here, since the plurality of monitoring cameras 10-N have the same configuration except that the installation positions are different, the monitoring cameras 10-N will be described as the monitoring cameras 10 unless otherwise distinguished. Returning to FIG. 1, the monitoring camera 10 includes an imaging unit 11, a swing drive unit 12, and a transmission unit 13.
The imaging unit 11 is a camera including a lens, an imaging element, and the like, and generates an image by imaging the inside of the tunnel. In the normal state, the imaging unit 11 directly captures an image with a fixed monitoring range, but captures an indirect monitoring range by the operation of the swing drive unit 12. Here, the imaging unit 11 has a function of receiving a control signal including a value indicating an enlargement ratio or a reduction ratio and performing zoom-in and zoom-out of the imaging range in accordance with the received control signal.

首振り駆動部12は、入力される首振り要求に応じて、間接監視範囲を撮像するように、撮像部11のパン・チルト・ズームの首振り動作を行う。ここで、首振り駆動部12は、撮像部11の撮像方向に応じて定められた角度を示す値が含まれる制御信号を受信し、受信した制御信号に応じて、撮像部11の首振り動作を行う。例えば、図2における監視カメラ10−1の首振り駆動部12は、自身の間接監視範囲である符号b1−1およびb1−2の各々の区間が撮像範囲となるように首振り動作を行うための首振り角度を予め記憶しておき、監視サーバ20から首振り要求を受信すると、予め記憶された首振り角度に基づいて首振り動作を行う。また、首振り動作を行った後に、撮像部11によって間接監視範囲の撮像が行われた後には、撮像部11の撮像範囲が直接監視範囲に戻るように首振り動作を行う。   The swing drive unit 12 performs a pan / tilt / zoom swing operation of the imaging unit 11 so as to capture an indirect monitoring range in response to an input swing request. Here, the swing drive unit 12 receives a control signal including a value indicating an angle determined according to the imaging direction of the imaging unit 11, and swings the imaging unit 11 according to the received control signal. I do. For example, the swing drive unit 12 of the monitoring camera 10-1 in FIG. 2 performs a swing operation so that each section of the reference numerals b1-1 and b1-2 that are the indirect monitoring range of the monitoring camera 10-1 is the imaging range. The head swing angle is stored in advance, and when a head swing request is received from the monitoring server 20, a head swing operation is performed based on the head swing angle stored in advance. In addition, after performing the swing operation, after the indirect monitoring range is imaged by the imaging unit 11, the swing operation is performed so that the imaging range of the imaging unit 11 directly returns to the monitoring range.

送信部13は、撮像部11によって撮像された画像を、監視サーバ20に送信する。ここで、送信部13は、トンネル内の複数の監視カメラ10のうち、自身を識別するカメラ識別情報や、送信する画像が直接監視範囲を撮像した画像であるか間接監視範囲を撮像した画像であるかを示す情報を、画像とともに送信することができる。あるいは、例えば直接監視範囲と間接監視範囲とを含むトンネル内の監視範囲毎に一意な識別情報を予め定めて監視カメラ10の記憶領域に記憶させておき、撮像した監視範囲を識別する監視範囲識別情報を、画像とともに送信するようにしても良い。   The transmission unit 13 transmits the image captured by the imaging unit 11 to the monitoring server 20. Here, the transmission unit 13 is a camera identification information for identifying itself among the plurality of monitoring cameras 10 in the tunnel, or an image in which the image to be transmitted is an image obtained by directly imaging the monitoring range or an image obtained by imaging the indirect monitoring range. Information indicating whether or not there is can be transmitted together with the image. Alternatively, for example, unique identification information for each monitoring range in the tunnel including the direct monitoring range and the indirect monitoring range is determined in advance and stored in the storage area of the monitoring camera 10, and the monitoring range identification for identifying the captured monitoring range The information may be transmitted together with the image.

監視サーバ20は、受信部21と、第1の車検出部22と、背景画像記憶部23と、第2の車検出部24と、通過判定部25と、首振り要求送信部26と、警告部27と、出力部28とを備えている。
受信部21は、複数の監視カメラ10から送信される画像を受信する。
第1の車検出部22は、通常時に撮像される直接監視範囲の画像に含まれる車を監視する。ここで、第1の車検出部22は、監視カメラ10によって撮像された画像に、車が含まれるか否かを判定する車検出処理を行う。例えば、第1の車検出部22は、リアルタイムに適宜背景画像を生成し、生成した背景画像と、監視カメラ10によって生成された撮像画像との差分を比較することにより、撮像画像に車が含まれるか否かを判定する。具体的には、例えば、第1の車検出部22は、監視カメラ10によって撮像された撮像画像に含まれる画素毎の平均値を一定時間毎に算出し、算出した平均値と、判定対象の撮像画像に含まれる画素との値の差が一定以上である画素の領域の大きさを算出し、値の差が一定以上である画素の領域の大きさが予め定められた閾値より大きいと判定すると、車を検出したと判定する。ここで、第1の車検出部22は、撮像画像に複数車線が含まれる場合でも、トラッキング処理を行うことなどにより、上下各方向の通過状況を取得することもできる。
The monitoring server 20 includes a receiving unit 21, a first car detection unit 22, a background image storage unit 23, a second car detection unit 24, a passage determination unit 25, a swing request transmission unit 26, a warning A unit 27 and an output unit 28 are provided.
The receiving unit 21 receives images transmitted from the plurality of monitoring cameras 10.
The first vehicle detection unit 22 monitors a vehicle included in the image of the direct monitoring range that is imaged at normal time. Here, the first car detection unit 22 performs a car detection process for determining whether a car is included in the image captured by the monitoring camera 10. For example, the first vehicle detection unit 22 appropriately generates a background image in real time, and compares the difference between the generated background image and the captured image generated by the monitoring camera 10, thereby including the vehicle in the captured image. It is determined whether or not. Specifically, for example, the first car detection unit 22 calculates an average value for each pixel included in the captured image captured by the monitoring camera 10 at a predetermined time, and calculates the calculated average value and the determination target. Calculate the size of the pixel area where the value difference with the pixel included in the captured image is greater than or equal to a certain value, and determine that the size of the pixel area with the value difference is greater than or equal to a certain value Then, it determines with having detected the vehicle. Here, even when the captured image includes a plurality of lanes, the first vehicle detection unit 22 can also acquire the passing situation in the up and down directions by performing a tracking process or the like.

背景画像記憶部23には、複数の監視カメラ10毎に、その監視カメラ10の撮像範囲に車が含まれない画像である背景画像が対応付けられて予め記憶される。背景画像とは、例えば、図4の下段に示されるような画像である。ここでは、背景画像記憶部23に記憶されている背景画像は、間接監視範囲における背景画像である。例えば、トンネル内の間接監視範囲毎に、一意な識別情報を予め定めておき、このような監視範囲識別情報毎に、背景画像が対応付けられて記憶される。   In the background image storage unit 23, a background image that is an image that does not include a car in the imaging range of the monitoring camera 10 is stored in advance in association with each of the plurality of monitoring cameras 10. The background image is, for example, an image as shown in the lower part of FIG. Here, the background image stored in the background image storage unit 23 is a background image in the indirect monitoring range. For example, unique identification information is predetermined for each indirect monitoring range in the tunnel, and a background image is stored in association with each such monitoring range identification information.

第2の車検出部24は、首振り時に撮像される間接監視範囲の画像に含まれる車を監視する。ここで、第2の車検出部24は、受信部21によって受信された画像に、車が含まれるか否かを判定する車検出処理を行う。第2の車検出部24は、高度な比較処理を行うことにより長時間の処理時間がかかることを防ぐために、リアルタイムに背景画像を生成する等の処理は行わず、予め撮像されて背景画像記憶部23に記憶されている背景画像と、首振り動作を行った監視カメラ10によって撮像された静止画像とを比較することにより車検出処理を行う。すなわち、間接監視範囲においては数枚の静止画像を撮像して撮像を完了させ、監視カメラ10を通常状態に復帰させる。これにより、首振り動作を行って間接監視範囲を撮像する時間、負荷を少なくし、迅速に通常状態の監視に復帰することができる。具体的には、第2の車検出部24は、画像を送信した監視カメラ10に対応付けられて背景画像記憶部23に記憶されている背景画像を読み出し、読み出した背景画像と、その監視カメラ10から送信された画像とを比較して、予め撮像された背景画像と監視カメラ10から送信された画像との差分に基づいて、監視カメラ10から送信された画像に車が含まれるか否かを判定する。ここでは、第2の車検出部24は、例えば画像とともに監視カメラ10から送信される監視範囲識別情報に対応する背景画像を、背景画像記憶部23から読み出して車検出処理を行う。   The second vehicle detection unit 24 monitors a vehicle included in the image of the indirect monitoring range imaged when swinging. Here, the second vehicle detection unit 24 performs a vehicle detection process for determining whether or not a vehicle is included in the image received by the reception unit 21. The second vehicle detection unit 24 does not perform a process such as generating a background image in real time in order to prevent a long processing time from being performed by performing an advanced comparison process. The vehicle detection process is performed by comparing the background image stored in the unit 23 with the still image captured by the surveillance camera 10 that has performed the swing motion. That is, in the indirect monitoring range, several still images are captured to complete the imaging, and the monitoring camera 10 is returned to the normal state. As a result, it is possible to reduce the time and load for performing the swing operation to image the indirect monitoring range, and to quickly return to the normal state monitoring. Specifically, the second vehicle detection unit 24 reads the background image stored in the background image storage unit 23 in association with the monitoring camera 10 that transmitted the image, the read background image, and the monitoring camera. Whether the image transmitted from the monitoring camera 10 includes a car based on the difference between the image captured from the background image captured in advance and the image transmitted from the monitoring camera 10. Determine. Here, for example, the second vehicle detection unit 24 reads a background image corresponding to the monitoring range identification information transmitted from the monitoring camera 10 together with the image from the background image storage unit 23 and performs a vehicle detection process.

例えば、図4は、上段の画像が監視カメラ10から送信された画像の例であり、下段の画像が予め撮像され背景画像記憶部23に記憶されている背景画像の例を示す図である。符号(a)の場合、監視カメラ10から送信された画像と予め撮像された背景画像とが一致しているため、第2の車検出部24は、車が含まれないと判定する。符号(b)の場合、監視カメラ10から送信された画像には、予め撮像された背景画像と異なる領域が存在している。第2の車検出部24は、このような画像の差分の領域を検出し、検出した領域の大きさと、予め定められた閾値とを比較し、検出した差分領域の大きさが閾値以上であれば、監視カメラ10から送信された画像に車が含まれると判定する。符号(c)の場合も同様に、監視カメラ10から送信された画像と、予め撮像された背景画像との差分を検出して、検出した差分領域が閾値以上であれば、監視カメラ10から送信された画像に車が含まれると判定する。
また、第2の車検出部24は、監視カメラ10から複数の間接監視範囲の画像が送信されてきた場合には、複数の間接監視範囲のうち、いずれの間接監視範囲に車が存在しているかを検出する。
For example, FIG. 4 is an example of an image in which the upper image is transmitted from the monitoring camera 10, and an example of a background image in which the lower image is captured in advance and stored in the background image storage unit 23. In the case of the code (a), since the image transmitted from the monitoring camera 10 matches the background image captured in advance, the second vehicle detection unit 24 determines that the vehicle is not included. In the case of the code (b), the image transmitted from the monitoring camera 10 has a region different from the background image captured in advance. The second vehicle detection unit 24 detects such a difference area of the image, compares the size of the detected area with a predetermined threshold value, and if the detected difference area size is equal to or larger than the threshold value. For example, it is determined that the image transmitted from the monitoring camera 10 includes a car. Similarly, in the case of the code (c), the difference between the image transmitted from the monitoring camera 10 and the background image captured in advance is detected. If the detected difference area is equal to or larger than the threshold value, the image is transmitted from the monitoring camera 10. It is determined that a car is included in the captured image.
In addition, when the images of a plurality of indirect monitoring ranges are transmitted from the monitoring camera 10, the second vehicle detection unit 24 has a vehicle in any of the indirect monitoring ranges. Detect whether or not

図1に戻り、通過判定部25は、第1の車検出部22によって、複数の監視カメラ10のうち上流の監視カメラ10から送信された画像に車が含まれると判定された場合、その時点から一定時間内にその上流の監視カメラ10よりも下流の監視カメラ10から送信された画像に、車が含まれるか否かを第1の車検出部22に判定させ、その下流の監視カメラ10から送信された画像に車が含まれると判定された場合、車が通過したと判定し、車が含まれないと判定された場合、車が通過していないと判定する車通過判定処理を行う。   Returning to FIG. 1, when it is determined by the first vehicle detection unit 22 that the image transmitted from the upstream monitoring camera 10 among the plurality of monitoring cameras 10 includes a vehicle, the passage determination unit 25 The first vehicle detection unit 22 determines whether or not a vehicle is included in an image transmitted from the monitoring camera 10 downstream of the upstream monitoring camera 10 within a certain time from the upstream monitoring camera 10, and the downstream monitoring camera 10 When it is determined that the vehicle is included in the image transmitted from the vehicle, it is determined that the vehicle has passed, and when it is determined that the vehicle is not included, the vehicle passage determination process that determines that the vehicle has not passed is performed. .

例えば、通過判定部25は、複数の監視カメラ10の識別情報と、複数の監視カメラ10の上流、下流の位置関係を示す情報を自身の記憶領域に予め記憶しておく。そして、通過判定部25は、第1の車検出部22が、監視カメラ10から送信された画像から車を検出したと判定すると、監視カメラ10よりも下流の監視カメラ10から送信された画像に、車が含まれるか否かを第1の車検出部22に判定させる。通過判定部25は、計時機能を備えており、第1の車検出部22が監視カメラ10から送信された画像から車を検出したと判定した時点からの経過時間を計測する。通過判定部25は、第1の車検出部22が監視カメラ10から送信された画像から車を検出したと判定した時点から一定時間(例えば、設定時間1分)を経過するまでの間に、下流の監視カメラ10から送信された画像に車が含まれると判定された場合、車が通過したと判定する。車が含まれないと判定された場合、車が通過していないと判定する。ここで、通過判定部25が計測する経過時間は、トンネルの長さや、各監視カメラ10の設置位置間の距離、検出された車の速度、車線数などに応じて最適な値を設定して良い。   For example, the passage determination unit 25 previously stores identification information of the plurality of monitoring cameras 10 and information indicating the positional relationship between the upstream and downstream of the plurality of monitoring cameras 10 in its own storage area. And if the 1st vehicle detection part 22 determines with the passage determination part 25 having detected the vehicle from the image transmitted from the monitoring camera 10, it will be in the image transmitted from the monitoring camera 10 downstream from the monitoring camera 10. The first vehicle detection unit 22 determines whether or not a vehicle is included. The passage determination unit 25 has a timekeeping function, and measures an elapsed time from the time when the first vehicle detection unit 22 determines that a vehicle has been detected from the image transmitted from the monitoring camera 10. The passage determination unit 25 is a period from when the first vehicle detection unit 22 determines that a vehicle is detected from the image transmitted from the monitoring camera 10 until a predetermined time (for example, a set time of 1 minute) elapses. If it is determined that the vehicle is included in the image transmitted from the downstream monitoring camera 10, it is determined that the vehicle has passed. If it is determined that the car is not included, it is determined that the car has not passed. Here, the elapsed time measured by the passage determination unit 25 is set to an optimum value according to the length of the tunnel, the distance between the installation positions of the monitoring cameras 10, the detected vehicle speed, the number of lanes, and the like. good.

すなわち、例えば図5に示すように、監視カメラ10−1の直接監視範囲a1における検出ポイントと、監視カメラ10−2の直接監視範囲a2における検出ポイントとの間隔が500mであるとする。このとき、監視カメラ10−1が撮像する画像から車が検出された場合、通過判定部25は、その通過時刻を記憶する。そして、監視カメラ10−2の直接監視範囲において、監視カメラ10−1の通過時刻から設定時間以上、車を検出しない場合(車が通過しない場合)は、間接監視範囲において何らかの異常が発生しているものと考えることができる。これにより、トンネル内における全ての箇所を常に網羅的に監視しなくとも、トンネル内に異常が発生したかどうかを判定することができる。ここで、設定時間は、例えば、通常の速度の車が通過検出ポイントを通過するまでにかかる以上の時間を設定しておく。例えば、このように検出ポイント間の間隔が500mであり、平均車両速度を毎時60kmとした場合、500mを経過するために30秒かかるため、これ以上の時間を設定する。   That is, for example, as shown in FIG. 5, it is assumed that the interval between the detection point in the direct monitoring range a1 of the monitoring camera 10-1 and the detection point in the direct monitoring range a2 of the monitoring camera 10-2 is 500 m. At this time, when a vehicle is detected from an image captured by the monitoring camera 10-1, the passage determination unit 25 stores the passage time. In the direct monitoring range of the monitoring camera 10-2, when no vehicle is detected for a set time or more from the passing time of the monitoring camera 10-1 (when the vehicle does not pass), some abnormality occurs in the indirect monitoring range. Can be considered. As a result, it is possible to determine whether or not an abnormality has occurred in the tunnel without always comprehensively monitoring all locations in the tunnel. Here, as the set time, for example, a time longer than a time required for a vehicle at a normal speed to pass the passing detection point is set. For example, when the interval between detection points is 500 m and the average vehicle speed is 60 km per hour, it takes 30 seconds to elapse 500 m, so a longer time is set.

図1に戻り、首振り要求送信部26は、通過判定部25によって、車が通過していないと判定された場合、上流の監視カメラ10と下流の監視カメラ10との少なくともいずれかに、首振り動作を行って間接監視範囲の撮像を行うことを要求する首振り要求を送信して、監視カメラ10に首振り動作を行わせ、間接監視範囲を撮像させる。ここで、首振り要求送信部26が上流の監視カメラ10と下流の監視カメラ10とのいずれに、首振り要求を送信するかは、直接監視範囲間の間隔に応じて予め定めておくことができる。ここでは、上流の監視カメラ10と下流の監視カメラ10との双方に首振り要求を送信するようにしても良い。   Returning to FIG. 1, when the passage determination unit 25 determines that the vehicle has not passed, the swing request transmission unit 26 sends a head to at least one of the upstream monitoring camera 10 and the downstream monitoring camera 10. A swing request that requests to perform imaging of the indirect monitoring range by performing a swing operation is transmitted to cause the monitoring camera 10 to perform the swing operation and to image the indirect monitoring range. Here, whether the swing request transmission unit 26 transmits the swing request to the upstream monitoring camera 10 or the downstream monitoring camera 10 may be determined in advance according to the interval between the monitoring ranges. it can. Here, the swing request may be transmitted to both the upstream monitoring camera 10 and the downstream monitoring camera 10.

警告部27は、通過判定部25によって、車が通過していないと判定された場合、または第2の車検出部24で車が存在すると判定された場合、警告を出力する。例えば、警告部27は、特定の監視カメラ10において車が通過していないことを示す情報、またはいずれの間接監視範囲に車が存在しているかを示す情報を、所定の外部装置等に通知する。あるいは、警告部27は、電子メール送信機能を有し、監視対象のトンネル内における特定の監視カメラ10に車が通過しておらず、異常が発生している可能性があることを示す旨の文章が含まれる電子メールを、予め定められた宛先に対して送信する。   The warning unit 27 outputs a warning when the passage determination unit 25 determines that a vehicle has not passed or when the second vehicle detection unit 24 determines that a vehicle is present. For example, the warning unit 27 notifies a predetermined external device or the like of information indicating that the vehicle is not passing through the specific monitoring camera 10 or information indicating in which indirect monitoring range the vehicle is present. . Alternatively, the warning unit 27 has an e-mail transmission function, and indicates that there is a possibility that an abnormality has occurred because the car has not passed through the specific monitoring camera 10 in the monitoring target tunnel. An e-mail including a sentence is transmitted to a predetermined destination.

出力部28は、受信部21によって受信された、首振り要求送信部26からの首振り要求に応じて監視カメラ10によって撮像された間接監視範囲の画像を出力する。出力部28は、例えば電子メール送信機能を有し、間接監視範囲の画像が含まれる電子メールを、予め定められた宛先に対して送信する。ここで、警告部27が送信する電子メールと、出力部28が送信する電子メールとは、一通の電子メールであっても良い。あるいは、例えば監視サーバ20はディスプレイを有することとして、監視サーバ20が備えるディスプレイに、警告部27による警告や出力部28による画像を出力するようにしても良い。   The output unit 28 outputs an image of the indirect monitoring range captured by the monitoring camera 10 in response to the swing request from the swing request transmission unit 26 received by the receiving unit 21. The output unit 28 has an e-mail transmission function, for example, and transmits an e-mail including an image in the indirect monitoring range to a predetermined destination. Here, the email sent by the warning unit 27 and the email sent by the output unit 28 may be a single email. Alternatively, for example, the monitoring server 20 may include a display, and a warning by the warning unit 27 and an image by the output unit 28 may be output to the display included in the monitoring server 20.

次に、本実施形態によるトンネル監視システム1の動作例を説明する。図6は、本実施形態によるトンネル監視システム1が異常発生時の警告を行う動作例を示すフローチャートである。
ここでは、相対的に上流の監視カメラ10である監視カメラ10−1と、相対的に下流の監視カメラ10である監視カメラ10−2とを例として説明する。トンネル内に設置された全ての監視カメラ10は、直接監視範囲を撮像した画像を、監視サーバ20に送信し続ける(ステップS1、ステップS2)。監視サーバ20の受信部21が、監視カメラ10から送信された画像を受信すると、第1の車検出部22は、受信した画像のそれぞれについて、車検出処理を行う(ステップS3)。
Next, an operation example of the tunnel monitoring system 1 according to the present embodiment will be described. FIG. 6 is a flowchart illustrating an operation example in which the tunnel monitoring system 1 according to the present embodiment issues a warning when an abnormality occurs.
Here, a monitoring camera 10-1 that is a relatively upstream monitoring camera 10 and a monitoring camera 10-2 that is a relatively downstream monitoring camera 10 will be described as examples. All the monitoring cameras 10 installed in the tunnel continue to transmit an image obtained by directly capturing the monitoring range to the monitoring server 20 (step S1, step S2). When the receiving unit 21 of the monitoring server 20 receives an image transmitted from the monitoring camera 10, the first car detection unit 22 performs a vehicle detection process for each of the received images (step S3).

監視サーバ20の第1の車検出部22が、複数の監視カメラ10から送信された全ての画像について車が含まれないと判定した場合(ステップS3:NO)、車通過判定処理等を行わず、車を検出するまで第1の車検出部22による車検出処理を続ける。監視サーバ20の第1の車検出部22が、複数の監視カメラ10から送信された画像のいずれかに車が含まれると判定した場合(ステップS3:YES)、通過判定部25は、通過判定処理を行う(ステップS4)。すなわち、通過判定部25は、ステップS3において車が検出された監視カメラ10(例えば、監視カメラ10−1)より下流の監視カメラ10(例えば、監視カメラ10−2)から送信される画像に、車が含まれるか否かを第1の車検出部22に判定させ、車が通過したか否かを判定する。   When the first vehicle detection unit 22 of the monitoring server 20 determines that no vehicle is included in all the images transmitted from the plurality of monitoring cameras 10 (step S3: NO), the vehicle passage determination process or the like is not performed. The vehicle detection process by the first vehicle detection unit 22 is continued until a vehicle is detected. When the first vehicle detection unit 22 of the monitoring server 20 determines that a vehicle is included in any of the images transmitted from the plurality of monitoring cameras 10 (step S3: YES), the passage determination unit 25 determines whether the vehicle is passing. Processing is performed (step S4). That is, the passage determination unit 25 applies an image transmitted from the monitoring camera 10 (for example, the monitoring camera 10-2) downstream from the monitoring camera 10 (for example, the monitoring camera 10-1) in which the vehicle is detected in Step S3. The first vehicle detector 22 determines whether or not a vehicle is included, and determines whether or not the vehicle has passed.

ここで、通過判定部25が、車が通過したと判定すれば(ステップS4:YES)、首振り要求送信処理等を行わず、車を検出するまで第1の車検出部22による車検出処理を続ける。通過判定部25が、車が通過していないと判定すれば(ステップS4:NO)、首振り要求送信部26が、間接監視範囲の撮像を要求する首振り要求を監視カメラ10に送信する(ステップS5)。ここでは、監視カメラ10−1に首振り要求を送信する例を示すが、監視カメラ10−1と監視カメラ10−2との双方に首振り要求を送信しても良い。監視カメラ10−1が、監視サーバ20から送信される首振り要求を受信すると、首振り駆動部12は、定められた間接監視範囲の方向を撮像するように、撮像部11の首振り動作を行う(ステップS6)。撮像部11が間接監視範囲の画像を撮像すると、送信部13は、撮像した画像を監視サーバ20に送信する(ステップS7)。   Here, if the passage determination unit 25 determines that the vehicle has passed (step S4: YES), the vehicle detection processing by the first vehicle detection unit 22 is performed until the vehicle is detected without performing the swing request transmission processing or the like. Continue. If the passage determination unit 25 determines that the vehicle has not passed (step S4: NO), the swing request transmission unit 26 transmits a swing request for requesting imaging of the indirect monitoring range to the monitoring camera 10 ( Step S5). Here, an example is shown in which the swing request is transmitted to the monitoring camera 10-1, but the swing request may be transmitted to both the monitoring camera 10-1 and the monitoring camera 10-2. When the monitoring camera 10-1 receives the swing request transmitted from the monitoring server 20, the swing drive unit 12 performs the swing operation of the imaging unit 11 so as to capture the direction of the defined indirect monitoring range. It performs (step S6). When the imaging unit 11 captures an image in the indirect monitoring range, the transmission unit 13 transmits the captured image to the monitoring server 20 (step S7).

監視サーバ20の第2の車検出部24は、背景画像記憶部23に予め記憶されている、その間接監視範囲に対応する背景画像を読み出し、受信した間接監視範囲の画像と比較して、間接監視範囲のどこに車がいるかを判定する。監視サーバ20は、トンネル内を車が通過しておらず、何らかの異常が発生している可能性があることを示す警告と、ステップS7において監視カメラ10−1から送信された画像とを出力する。さらに、車が検出された間接監視範囲を識別する監視範囲識別情報を出力するようにしても良い。例えば、自身が備えるディスプレイに警告と画像とを出力し、定められた宛先に電子メールを送信する(ステップS8)。そして、監視カメラ10−1の首振り駆動部12は、撮像部11が直接監視範囲を撮像するように首振り動作を行い、通常の監視状態に戻る。   The second vehicle detection unit 24 of the monitoring server 20 reads the background image corresponding to the indirect monitoring range stored in the background image storage unit 23 in advance, and compares it with the received image of the indirect monitoring range. Determine where the car is in the monitored area. The monitoring server 20 outputs a warning indicating that a car is not passing through the tunnel and that some abnormality may have occurred, and an image transmitted from the monitoring camera 10-1 in step S7. . Furthermore, you may make it output the monitoring range identification information which identifies the indirect monitoring range from which the vehicle was detected. For example, a warning and an image are output to a display provided in the device, and an e-mail is transmitted to a predetermined destination (step S8). Then, the swing drive unit 12 of the monitoring camera 10-1 performs a swing operation so that the imaging unit 11 directly images the monitoring range, and returns to a normal monitoring state.

以上では、上流の監視カメラ10において車が検出された後、一定時間内に下流の監視カメラ10において車が検出されるか否かを判定することにより、異常の発生を検出する例を示した。ただし、トンネル内の直接監視範囲の明るさや車の速度や監視カメラ10の性能などによっては、全ての監視カメラ10が、直接監視範囲を通過する全ての車を必ず検出できるわけではないことも考えられる。そこで、このような車検出の抜けを考慮して、全ての監視カメラ10による車の検出結果を、一定時間内の積算結果により評価して、異常が発生したか否かを判定するようにしても良い。   In the above, an example in which the occurrence of an abnormality is detected by determining whether or not a vehicle is detected in the downstream monitoring camera 10 within a certain time after a vehicle is detected in the upstream monitoring camera 10 has been shown. . However, depending on the brightness of the direct monitoring range in the tunnel, the speed of the car, the performance of the monitoring camera 10, etc., it is possible that not all the monitoring cameras 10 can always detect all the vehicles that pass the direct monitoring range. It is done. Therefore, in consideration of such omissions in vehicle detection, the vehicle detection results of all the monitoring cameras 10 are evaluated based on the integration results within a predetermined time to determine whether or not an abnormality has occurred. Also good.

例えば、図7の(a)に示すように、全長2000mのトンネル内の6箇所(a1、a2、a3、a4、a5、a6)に監視カメラ10を設置して直接監視範囲を監視する場合を考える。ここでは、トンネル全体の交通流を、1分毎に車が検出されたか否かを判定し、その車が下流を通過したか否かを3分間隔で監視する。すなわち、上流において車が検出されたが、下流において車が検出されていない状態が3分間継続した場合には、異常有りと判定する。このような継続時間間隔は、車がトンネル全体(2000m)を通過するためにかかる時間以上の時間を設定する。例えば、この例では、車の平均速度を60kmとして、2000mを通過するのに2分かかるので、継続時間間隔をそれ以上の3分としている。例えば、異常無しの場合、(b)に示すように、6箇所の全ての直接監視範囲において車の通過が検出される。これに対し、(c)に示すように、符号a4と符号a5との直接監視範囲の間の区間において異常が発生して通行不可となった場合、符号a1から符号a4までの直接監視範囲では車が検出されるが、符号a5から符号a6との直接監視範囲では車が検出されない。   For example, as shown in FIG. 7 (a), the monitoring camera 10 is installed at six locations (a1, a2, a3, a4, a5, a6) in a tunnel having a total length of 2000 m to directly monitor the monitoring range. Think. Here, the traffic flow of the entire tunnel is determined whether or not a vehicle is detected every minute, and whether or not the vehicle has passed downstream is monitored at intervals of 3 minutes. That is, if a vehicle is detected upstream but no vehicle is detected downstream, it is determined that there is an abnormality. Such a duration time interval sets a time longer than the time required for the car to pass through the entire tunnel (2000 m). For example, in this example, assuming that the average speed of the car is 60 km and it takes 2 minutes to pass 2000 m, the duration interval is set to 3 minutes longer than that. For example, when there is no abnormality, as shown in (b), the passage of the vehicle is detected in all six direct monitoring ranges. On the other hand, as shown in (c), when an abnormality occurs in the section between the direct monitoring ranges of the symbols a4 and a5 and the passage becomes impossible, in the direct monitoring range from the symbols a1 to a4, A vehicle is detected, but no vehicle is detected in the direct monitoring range from the symbol a5 to the symbol a6.

図8は、このような異常検知処理の概要を説明する図である。ここでは、図7に示したように6箇所に設置されたそれぞれの直接監視範囲(符号a1〜a6)によって車が通過したか否かを、時系列に示した図である。この図において、「○」は車の通過が有ったことを示しており、「×」は車の通過が無かったことを示している。例えば、10:00:00〜10:00:59までの1分間の間には、符号a1と符号a2との直接監視範囲に車が通過し、符号a3から符号a6までの間の直接監視範囲に車が通過しなかったことを示している。ここで、10:05:00〜10:05:59までの間に、符号a4と符号a5との直接監視範囲の間の区間において異常が発生し、通行不可になったとする。このため、10:06:00〜10:06:59の間に符号a4において車の通過が検出されているが、その時点以降に符号a5より下流の区間において車が検出されていない。これを3分間の積算結果でみると、10:04:00〜10:06:59の間には、相対的に上流である符号a4の直接監視範囲において車の通過が検出されているが、これより下流の直接監視範囲(符号a5、a6)の区間において車が検出されていない。よって、この時点で、符号a4と符号a5との間の区間において異常が発生したと判定される。   FIG. 8 is a diagram for explaining the outline of such an abnormality detection process. Here, as shown in FIG. 7, it is a diagram showing in time series whether or not the vehicle has passed through the respective direct monitoring ranges (reference numerals a1 to a6) installed at six locations. In this figure, “◯” indicates that the vehicle has passed, and “X” indicates that the vehicle has not passed. For example, during one minute from 10:00 to 10:00:59, the vehicle passes through the direct monitoring range between the reference a1 and the reference a2, and the direct monitoring range between the reference a3 and the reference a6. Indicates that the car did not pass. Here, it is assumed that an abnormality occurred in the section between the direct monitoring range of the reference sign a4 and the reference sign a5 between 10:05:00 and 10:05:59, and the passage is impossible. For this reason, the passage of the vehicle is detected at a4 from 10:06:00 to 10:06:59, but no vehicle is detected in the section downstream from the a5 after that time. Looking at the integration result for 3 minutes, between 10:04:00 and 10:06:59, the passage of the vehicle is detected in the direct monitoring range of the sign a4 which is relatively upstream, A vehicle is not detected in the section of the direct monitoring range (references a5, a6) downstream from this. Therefore, at this time, it is determined that an abnormality has occurred in the section between the code a4 and the code a5.

同様に、図9は、1台の車が時速60kmでトンネル内を通過した場合の判定を示す図である。この場合、車は秒速16.7mの速さで2000mを通過することになり、2000mを約2分で走行するので、符号a1〜a6の直接監視範囲を順次通過する。積算結果では全て「通過有り」となり、異常無しと判定される。   Similarly, FIG. 9 is a diagram illustrating determination when one vehicle passes through the tunnel at a speed of 60 km / h. In this case, the car passes 2000 m at a speed of 16.7 m per second, and travels in 2000 m in about 2 minutes. Therefore, the car sequentially passes through the direct monitoring range of symbols a1 to a6. All the integration results are “passed”, and it is determined that there is no abnormality.

なお、本実施形態では、第1の車検出部22はリアルタイムに背景画像を生成して車検出処理を行い、第2の車検出部24は予め撮像され背景画像記憶部23に記憶されている背景画像を用いて静止画による車検出処理を行うことしたが、いずれもがリアルタイムな車検出処理を行うようにしても良いし、静止画による車検出処理を行うようにしても良い。   In the present embodiment, the first car detection unit 22 generates a background image in real time to perform car detection processing, and the second car detection unit 24 is captured in advance and stored in the background image storage unit 23. Although the vehicle detection process based on the still image is performed using the background image, any of them may perform the vehicle detection process based on the real time or the vehicle detection process based on the still image.

また、本実施形態では、予め撮像された背景画像と、監視カメラ10の撮像部11によってリアルタイムに撮像された画像とを比較して車を検出する車検出処理は、監視サーバ20が行うこととしたが、第1の車検出部22と背景画像記憶部23と第2の車検出部24と同様の機能部を監視カメラ10が備えるようにして、監視カメラ10が車を検出した場合に、監視サーバ20に対して車を検出したことを示す車検出通知信号を送信するようにしても良い。この場合、監視サーバ20の通過判定部25は、一定時間内に下流の監視カメラ10から車検出通知信号が送信されてくるか否かを判定することにより、車の通過判定を行うことができる。   In the present embodiment, the monitoring server 20 performs a vehicle detection process of detecting a vehicle by comparing a background image captured in advance with an image captured in real time by the imaging unit 11 of the monitoring camera 10. However, when the monitoring camera 10 detects a car by providing the monitoring camera 10 with the same functional units as the first vehicle detection unit 22, the background image storage unit 23, and the second vehicle detection unit 24, You may make it transmit the vehicle detection notification signal which shows having detected the vehicle with respect to the monitoring server 20. FIG. In this case, the passage determination unit 25 of the monitoring server 20 can determine whether the vehicle has passed by determining whether or not a vehicle detection notification signal is transmitted from the downstream monitoring camera 10 within a certain time. .

また、通過判定部25による車通過の判定は、リアルタイムに行っても良いし、第1の車検出部22による車検出処理の結果を時刻等とともに対応付けたログを記憶しておき、一定時間ごとに、事後的に通過判定処理を行うようにしても良い。
また、第1の車検出部22は、直接監視範囲において通過した車の台数をカウントするようにして、通過判定部25は、通過した車の台数に基づいて、異常が発生したか否かを判定するようにしても良い。
In addition, the vehicle passage determination by the passage determination unit 25 may be performed in real time, or a log in which the result of the vehicle detection processing by the first vehicle detection unit 22 is associated with the time and the like is stored, and a certain time Each time, a pass determination process may be performed afterwards.
The first vehicle detection unit 22 counts the number of vehicles that have passed in the direct monitoring range, and the passage determination unit 25 determines whether an abnormality has occurred based on the number of vehicles that have passed. It may be determined.

以上説明したように、本発明によれば、トンネル内を網羅的に撮像するように監視カメラを設置しなくても、所定の間隔を隔てて設置した監視カメラにより、通常時には撮像範囲外となる監視カメラと監視カメラとの間の区間で異常が発生した場合にも、異常を検知することが可能となる。また、監視カメラは直接監視範囲を常時監視し、監視カメラ間で何らかの異常が発生したと推定される場合、カメラをパン・チルト・ズームして間接監視範囲を撮像して監視することで、少ない台数の監視カメラを用いてトンネル内の広範囲に亘る監視を行うことができる。   As described above, according to the present invention, even if a surveillance camera is not installed so as to comprehensively capture the inside of the tunnel, the surveillance camera installed at a predetermined interval is normally outside the imaging range. Even when an abnormality occurs in a section between the monitoring camera and the monitoring camera, the abnormality can be detected. In addition, the surveillance camera always monitors the direct monitoring range, and if it is estimated that some abnormality has occurred between the surveillance cameras, it is less by panning, tilting and zooming the camera to image the indirect monitoring range and monitoring A wide range of monitoring in the tunnel can be performed using a number of monitoring cameras.

なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりトンネルの監視を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。   The program for realizing the function of the processing unit in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed to monitor the tunnel. You may go. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

1 トンネル監視システム
10 監視カメラ
11 撮像部
12 首振り駆動部
13 送信部
20 監視サーバ
21 受信部
22 第1の車検出部
23 背景画像記憶部
24 第2の車検出部
25 通過判定部
26 首振り要求送信部
27 警告部
28 出力部
DESCRIPTION OF SYMBOLS 1 Tunnel monitoring system 10 Monitoring camera 11 Imaging part 12 Swing drive part 13 Transmission part 20 Monitoring server 21 Reception part 22 1st vehicle detection part 23 Background image memory | storage part 24 2nd vehicle detection part 25 Passing determination part 26 Swing Request transmission unit 27 Warning unit 28 Output unit

Claims (4)

車が通行するトンネル内に設置され、当該トンネル内を撮像する撮像部を備えた複数の監視カメラと、当該複数の監視カメラに接続された監視サーバとを備えたトンネル監視システムであって、
前記複数の監視カメラは、通常状態において撮像する範囲である直接監視範囲と、入力される撮像範囲変更要求に応じて撮像する前記直接監視範囲外である間接監視範囲とによって前記トンネル内の全範囲が監視対象となるように、それぞれ前記間接監視範囲を隔てて前記トンネル内の通行方向の上流から下流に亘って設置され、
前記複数の監視カメラのそれぞれは、
入力される前記撮像範囲変更要求に応じて、前記撮像部が撮像する範囲が前記直接監視範囲から前記間接監視範囲に変更するように当該撮像部を駆動させる駆動部と、
撮像した画像を、前記監視サーバに送信する送信部とを備え、通常状態においては前記直接監視範囲を撮像対象として撮像した画像を前記監視サーバに送信し、
前記監視サーバは、
前記複数の監視カメラから送信される前記画像を受信する受信部と、
前記受信部によって受信された前記直接監視範囲を撮像した前記画像に、車が含まれるか否かを判定する第1の車検出部と、
前記第1の車検出部によって、画像に車が含まれると判定された場合、当該時点から一定時間内に、車が含まれると判定された画像を送信した前記監視カメラと前記間接監視範囲を隔てて設置されている下流の前記監視カメラから送信された画像に、車が含まれるか否かを前記第1の車検出部に判定させ、当該下流の監視カメラから送信された前記画像に車が含まれると判定された場合、車が通過したと判定し、車が含まれないと判定された場合、車が通過していないと判定する通過判定部と、
前記通過判定部によって、車が通過していないと判定された場合、前記下流の監視カメラに前記撮像範囲変更要求を送信して前記下流の監視カメラが撮像する直接監視範囲よりも上流側である間接監視範囲を撮像させる要求送信部と、
前記受信部によって受信された、前記撮像範囲変更要求に応じて撮像された前記間接監視範囲の画像を出力する出力部と、
を備えることを特徴とするトンネル監視システム。
A tunnel monitoring system including a plurality of monitoring cameras installed in a tunnel through which a vehicle passes and having an imaging unit that images the inside of the tunnel, and a monitoring server connected to the plurality of monitoring cameras,
The plurality of surveillance cameras include a direct monitoring range that is a range for imaging in a normal state and an indirect monitoring range that is outside the direct monitoring range for imaging in response to an input imaging range change request. Are installed from upstream to downstream in the direction of traffic in the tunnel, with the indirect monitoring range being separated from each other,
Each of the plurality of surveillance cameras is
A drive unit that drives the imaging unit so that a range captured by the imaging unit is changed from the direct monitoring range to the indirect monitoring range in response to the input imaging range change request;
A transmission unit that transmits the captured image to the monitoring server, and in a normal state, transmits an image captured using the direct monitoring range as an imaging target to the monitoring server;
The monitoring server is
A receiving unit for receiving the images transmitted from the plurality of monitoring cameras;
A first vehicle detection unit for determining whether or not a vehicle is included in the image obtained by imaging the direct monitoring range received by the reception unit;
When the first vehicle detection unit determines that the image includes a vehicle, the monitoring camera that has transmitted the image determined to include the vehicle within a certain time from the time point and the indirect monitoring range The first vehicle detection unit determines whether or not a vehicle is included in the image transmitted from the downstream monitoring camera installed at a distance, and the vehicle transmitted from the downstream monitoring camera When it is determined that the vehicle is included, it is determined that the vehicle has passed, and when it is determined that the vehicle is not included, the passage determination unit that determines that the vehicle has not passed,
By the passage determination unit, if the vehicle is determined not to be passed, prior Symbol upstream of the direct monitoring range downstream of the monitoring camera to transmit the imaging range change request of the downstream surveillance camera captures A request transmission unit that images the indirect monitoring range,
An output unit that outputs an image of the indirect monitoring range that is received in response to the imaging range change request received by the receiving unit;
A tunnel monitoring system comprising:
前記監視サーバは、
前記通過判定部によって、車が通過していないと判定された場合、警告を出力する警告部と、
を備えることを特徴とする請求項1に記載のトンネル監視システム。
The monitoring server is
When the passage determination unit determines that the vehicle has not passed, a warning unit that outputs a warning;
The tunnel monitoring system according to claim 1, comprising:
複数の前記監視カメラ毎に、前記間接監視範囲に車が含まれない画像である背景画像が対応付けられて予め記憶される背景画像記憶部と、
前記監視カメラから送信される、前記撮像範囲変更要求に応じて撮像された前記間接監視範囲の画像について、前記背景画像記憶部に記憶されている前記背景画像と比較して、前記画像と前記背景画像との差分に基づいて、前記画像に車が含まれるか否かを判定する第2の車検出部と、
を備えることを特徴とする請求項1または請求項2に記載のトンネル監視システム。
For each of the plurality of monitoring cameras, a background image storage unit that is stored in advance in association with a background image that is an image that does not include a car in the indirect monitoring range;
Compared to the background image stored in the background image storage unit, the image and the background of the image of the indirect monitoring range imaged in response to the imaging range change request transmitted from the monitoring camera A second vehicle detection unit that determines whether or not a vehicle is included in the image based on a difference from the image;
The tunnel monitoring system according to claim 1, further comprising:
車が通行するトンネル内に設置され、当該トンネル内を撮像する撮像部を備えた複数の監視カメラと、当該複数の監視カメラに接続された監視サーバとを備えたトンネル監視システムのトンネル監視方法であって、
前記複数の監視カメラのそれぞれが、通常状態において撮像する範囲である直接監視範囲と、入力される撮像範囲変更要求に応じて撮像する前記直接監視範囲外である間接監視範囲とによって前記トンネル内の全範囲が監視対象となるように、それぞれ前記間接監視範囲を隔てて前記トンネル内の通行方向の上流から下流に亘って設置された複数の監視カメラであり
通常状態において前記直接監視範囲を撮像対象として撮像した画像を、前記監視サーバに送信するステップと、
前記監視サーバが、
前記複数の監視カメラから送信される前記画像を受信するステップと、
受信した前記直接監視範囲を撮像した前記画像に、車が含まれるか否かを判定するステップと、
画像に車が含まれると判定した場合、当該時点から一定時間内に、車が含まれると判定された画像を送信した前記監視カメラと前記間接監視範囲を隔てて設置されている下流の前記監視カメラから送信された画像に、車が含まれるか否かを判定し、当該下流の監視カメラから送信された前記画像に車が含まれると判定した場合、車が通過したと判定し、車が含まれないと判定された場合、車が通過していないと判定するステップと、
車が通過していないと判定した場合、前記下流の監視カメラに前記撮像範囲変更要求を送信して前記下流の監視カメラが撮像する直接監視範囲よりも上流側である間接監視範囲を撮像させるステップと、
前記撮像範囲変更要求を送信された前記監視カメラが、
前記撮像範囲変更要求に応じて、前記撮像部が撮像する範囲が前記直接監視範囲から前記上流側である間接監視範囲に変更するように当該撮像部を駆動させるステップと、
前記監視サーバが、
前記撮像範囲変更要求に応じて撮像された前記上流側である間接監視範囲の画像を出力するステップと、
を備えることを特徴とするトンネル監視方法。
A tunnel monitoring method of a tunnel monitoring system, which is installed in a tunnel through which a vehicle passes and includes a plurality of monitoring cameras including an imaging unit that images the inside of the tunnel, and a monitoring server connected to the plurality of monitoring cameras. There,
Each of the plurality of monitoring cameras includes a direct monitoring range that is an image capturing range in a normal state, and an indirect monitoring range that is outside the direct monitoring range imaged in response to an input imaging range change request. as the entire range is monitored, are each the indirect monitoring range at a multiple surveillance cameras from the upstream passage direction disposed over the downstream in said tunnel,
Transmitting an image obtained by imaging the direct monitoring range as an imaging target in a normal state to the monitoring server;
The monitoring server is
Receiving the images transmitted from the plurality of surveillance cameras;
Determining whether a vehicle is included in the received image of the direct monitoring range ; and
When it is determined that a vehicle is included in the image, the monitoring camera that has been installed across the indirect monitoring range from the monitoring camera that has transmitted the image determined to include the vehicle within a certain time from the time point. It is determined whether or not a vehicle is included in the image transmitted from the camera, and when it is determined that the vehicle is included in the image transmitted from the downstream monitoring camera, it is determined that the vehicle has passed. If it is determined that the vehicle is not included, the step of determining that the vehicle has not passed;
If the vehicle is determined not to pass through an imaging indirect monitoring range is upstream of the direct monitoring range before Symbol downstream of monitoring the in camera transmits an imaging range change request of the downstream surveillance camera captures Step to
The surveillance camera that has transmitted the imaging range change request,
In response to the imaging range change request, driving the imaging unit so that a range captured by the imaging unit is changed from the direct monitoring range to the indirect monitoring range on the upstream side ;
The monitoring server is
Outputting an image of the indirect monitoring range on the upstream side imaged in response to the imaging range change request;
A tunnel monitoring method comprising:
JP2010196063A 2010-09-01 2010-09-01 Tunnel monitoring system and tunnel monitoring method Active JP5643032B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010196063A JP5643032B2 (en) 2010-09-01 2010-09-01 Tunnel monitoring system and tunnel monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010196063A JP5643032B2 (en) 2010-09-01 2010-09-01 Tunnel monitoring system and tunnel monitoring method

Publications (2)

Publication Number Publication Date
JP2012053688A JP2012053688A (en) 2012-03-15
JP5643032B2 true JP5643032B2 (en) 2014-12-17

Family

ID=45906927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010196063A Active JP5643032B2 (en) 2010-09-01 2010-09-01 Tunnel monitoring system and tunnel monitoring method

Country Status (1)

Country Link
JP (1) JP5643032B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929265A (en) * 2012-11-20 2013-02-13 陈冉冉 Wireless tunnel monitoring system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676195A (en) * 1992-08-27 1994-03-18 Hitachi Ltd Abnormal event detector
JP3007019B2 (en) * 1995-04-07 2000-02-07 三菱電機株式会社 Traffic flow measurement device
JPH1139589A (en) * 1997-07-18 1999-02-12 Fuji Electric Co Ltd Traffic monitoring device and method
JP2002027441A (en) * 2000-07-12 2002-01-25 Oki Electric Ind Co Ltd Mobile monitoring camera device and monitoring method using the same
JP2002042114A (en) * 2000-07-31 2002-02-08 Matsushita Electric Ind Co Ltd Collapse detecting system
JP2003272086A (en) * 2002-03-14 2003-09-26 Mitsubishi Heavy Ind Ltd Tunnel inside monitoring system, program and recording medium

Also Published As

Publication number Publication date
JP2012053688A (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP6930426B2 (en) Video transmission device, video transmission method, and program
US7075567B2 (en) Method and apparatus for controlling a plurality of image capture devices in a surveillance system
JP5155279B2 (en) Centralized monitoring system and centralized monitoring method using multiple surveillance cameras
JP5644097B2 (en) Image processing apparatus, image processing method, and program
US9117123B2 (en) Vehicular rear view camera display system with lifecheck function
JP7074164B2 (en) Monitoring system, monitoring method and monitoring program
US20100315508A1 (en) Video monitoring system and method
TW201534118A (en) Surveillance system, surveillance camera and method for security surveillance
KR20090026937A (en) Integrated surveillance system diplaying a plural of event images and method using the same
CN101272483B (en) System and method for managing moving surveillance cameras
KR102183903B1 (en) Surveillance camera and control method thereof
JP6233721B2 (en) Information processing system, information processing method, and program
KR20130113680A (en) Image monitoring system and method thereof
JP5643032B2 (en) Tunnel monitoring system and tunnel monitoring method
JP2016092814A (en) Drive recorder with 360-degree panoramic view
CN103561212A (en) Camera system
JP6140061B2 (en) Monitoring system
JP2008054243A (en) Monitoring device
KR101164410B1 (en) Invader trace monitering system and tracking method thereof
JP7336979B2 (en) Failure Sign Detection System for Television Monitor Equipment for Surveillance
JP2008085832A (en) Monitoring camera, control method of monitoring camera, and monitoring camera system
TWI478117B (en) Video monitoring system and method
JP6644372B2 (en) Video surveillance system
JP5155926B2 (en) Security system and security method
JP4209826B2 (en) Traffic flow monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130220

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130515

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130624

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140902

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141030

R150 Certificate of patent or registration of utility model

Ref document number: 5643032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350