JP5634222B2 - Traffic vehicle monitoring system and vehicle monitoring camera - Google Patents
Traffic vehicle monitoring system and vehicle monitoring camera Download PDFInfo
- Publication number
- JP5634222B2 JP5634222B2 JP2010247686A JP2010247686A JP5634222B2 JP 5634222 B2 JP5634222 B2 JP 5634222B2 JP 2010247686 A JP2010247686 A JP 2010247686A JP 2010247686 A JP2010247686 A JP 2010247686A JP 5634222 B2 JP5634222 B2 JP 5634222B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- monitoring
- abnormality
- unit
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims description 258
- 238000012545 processing Methods 0.000 claims description 160
- 238000000034 method Methods 0.000 claims description 122
- 230000008569 process Effects 0.000 claims description 121
- 230000005856 abnormality Effects 0.000 claims description 97
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 26
- 238000005259 measurement Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、通行車両監視システム及び車両用監視カメラに関する。 The present invention relates to a traffic vehicle monitoring system and a vehicle monitoring camera.
従来より、道路上を通行する車両の事故防止等のために車両監視システムが広く実用化されている。車両監視システムには、車両を撮影した画像の車両のナンバープレートから車両番号を認識するもの、運転席画像を記録するもの、等がある。 Conventionally, vehicle monitoring systems have been widely put into practical use in order to prevent accidents of vehicles traveling on roads. Examples of the vehicle monitoring system include one that recognizes a vehicle number from a vehicle license plate of an image obtained by photographing the vehicle, and one that records a driver's seat image.
また、特にトンネル内で発生する所定の事象を監視し、事故の発生を未然に防止するために情報掲示板にメッセージを表示し、さらに毒物を運搬する車両を検出するトンネル内監視システムも提案されている(例えば、特許文献1参照)。 In addition, a tunnel monitoring system has been proposed that monitors specific events that occur in tunnels, displays messages on information boards to prevent accidents from occurring, and detects vehicles that carry poisons. (For example, refer to Patent Document 1).
しかし、従来のいずれの監視装置あるいは監視システムも、撮影画像から対象物の立体的な大きさは認識することができない。
例えばトンネル内で道路上の落下物が新聞紙のような薄い物であれば、事故の発生する危険度は高くないが、落下物が段ボール箱のような立体的な物であれば、事故の発生する危険度は高い。また、撮影された対象物の実際の大きさ及びその立体形状が不明なため、物の認識、例えば人の認識、の精度も低い。
However, any conventional monitoring device or monitoring system cannot recognize the three-dimensional size of the object from the captured image.
For example, if the falling object on the road in the tunnel is a thin object such as newspaper, the risk of an accident is not high, but if the falling object is a three-dimensional object such as a cardboard box, an accident will occur. The risk is high. In addition, since the actual size of the photographed object and its three-dimensional shape are unknown, the accuracy of object recognition, for example, human recognition, is low.
また、例えばトンネルの場合、法令等により所定の長さ以上のトンネルにしか監視カメラの設置義務がなく、かつ監視カメラの設置コストが高いため、監視カメラの設置がされていないトンネルが多く、さらに監視カメラの設置がされているトンネルでも、カメラの設置台数も少ない、という問題がある。
さらに、複数の監視カメラからの画像情報は、監視室の装置に集中的に集められて画像処理が行われるため、車両毎の状況、例えば各車両の走行状況、を分析するには、その画像処理を行う装置の負荷が大きくなってしまうという問題もある。
Also, for example, in the case of tunnels, surveillance cameras are obligated to be installed only in tunnels of a predetermined length or longer due to laws and regulations, and the installation cost of surveillance cameras is high, so there are many tunnels where surveillance cameras are not installed, Even in tunnels where surveillance cameras are installed, there is a problem that the number of cameras installed is small.
Furthermore, since image information from a plurality of monitoring cameras is concentrated on the devices in the monitoring room and image processing is performed, in order to analyze the situation of each vehicle, for example, the running situation of each vehicle, the image There is also a problem that the load on the apparatus that performs the processing increases.
そこで、本発明は、道路上の通行車両を正確に認識し、設置が容易で、かつ車両毎の走行状態の分析を負荷が集中することなく行うことができる通行車両監視システム及び車両用監視カメラを提供することを目的とする。 Accordingly, the present invention provides a vehicle monitoring system and a vehicle monitoring camera that can accurately recognize a vehicle on the road, can be easily installed, and can analyze the running state of each vehicle without concentrating the load. The purpose is to provide.
本発明の一態様によれば、数珠繋ぎに接続され、車両の通行状況を撮像する複数の監視カメラと、その複数の監視カメラに接続されたセンタ装置とからなる通行車両監視システムであって、各監視カメラは、複数の撮像部と、前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、前記距離画像に基づき、停止物体あり、あるいは前記車両の位置の変化である軌跡が所定の軌跡との不一致の第1の異常の検出を行う第1の監視処理を実行する第1の監視処理部と、前記センタ装置からのコマンドを受信するコマンド受信処理部と、記憶部と、前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、その認識された車両についての時刻情報とを含む情報を前記記憶部に記録する記録処理部と、受信した前記コマンドに対応する処理を実行すると共に、前記コマンドに対応する処理の結果から第2の異常を検出する第2の監視処理を実行する第2の監視処理部と、前記第1の監視処理部において検出された前記第1の異常及び前記第2の監視処理部において検出された前記第2の異常に応じて実行すべき処理を判定して実行する判定部と、を有することを特徴とする通行車両監視システムを提供することができる。 According to an aspect of the present invention, there is provided a traffic vehicle monitoring system including a plurality of surveillance cameras connected to a rosary and imaging a vehicle traffic situation, and a center device connected to the plurality of surveillance cameras. surveillance cameras, a plurality of the imaging unit, a distance image generation unit for generating data of the distance image from a plurality of images obtained in the plurality of imaging units,-out based on the distance image, there stationary object, or the A first monitoring processing unit that executes a first monitoring process for detecting a first abnormality in which a trajectory that is a change in the position of the vehicle does not match a predetermined trajectory, and a command that receives a command from the center device A reception processing unit, a storage unit, and identification information of the vehicle recognized based on the distance image are generated, and information including the identification information and time information about the recognized vehicle is stored in the storage unit. Record A recording processing unit that, while executing a process corresponding to the command received, the second monitoring processor for executing a second monitoring process of detecting a second abnormality from the result of processing corresponding to the command A determination unit configured to determine and execute a process to be executed according to the first abnormality detected in the first monitoring processing unit and the second abnormality detected in the second monitoring processing unit; , it is possible to provide a traffic vehicle monitoring system, comprising a.
本発明によれば、道路上の通行車両を正確に認識し、設置が容易で、かつ車両毎の走行状態の分析を負荷が集中することなく行うことができる通行車両監視システム及び車両用監視カメラを提供することができる。 According to the present invention, a passing vehicle monitoring system and a vehicle monitoring camera that can accurately recognize a passing vehicle on a road, can be easily installed, and can analyze a running state of each vehicle without concentration of load. Can be provided.
以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
まず図1に基づき、本実施の形態に係わるシステムの構成を説明する。図1は、本実施の形態に係わる通行車両監視システムの構成を説明するための図である。図2は、トンネル内における監視カメラの設置状況を示す図である。図3は、監視カメラの外観図である。
Embodiments of the present invention will be described below with reference to the drawings.
(System configuration)
First, based on FIG. 1, the structure of the system concerning this Embodiment is demonstrated. FIG. 1 is a diagram for explaining the configuration of a passing vehicle monitoring system according to the present embodiment. FIG. 2 is a diagram showing the installation status of the monitoring camera in the tunnel. FIG. 3 is an external view of the surveillance camera.
図1に示すように、トンネル内を監視する交通監視システム1は、それぞれがステレオカメラである複数の監視カメラ2と、隣り合う2台の監視カメラ2を接続する通信ケーブル3と、複数の監視カメラ2の中の1台と通信ケーブル3により接続されたセンタ装置4と、センタ装置4に接続された記憶装置5と、センタ装置4に接続された画像表示装置であるモニタ6とを含んで構成されている。
As shown in FIG. 1, a
図1に示すように、トンネル101の一端TAに設置される監視カメラ2(1)から他端TBまでの監視カメラ2(n)のn台(nは整数)の監視カメラ2が、トンネル内の天井側に、略等間隔に配置されている。図1では、各監視カメラ2には、識別番号が付されて示されている。1番目の監視カメラ2(1)からn番目の監視カメラ2(n)までが、通信ケーブル3で数珠繋ぎに接続され、監視カメラ2(1)がセンタ装置4に接続されている。なお、以下の説明で、特定の監視カメラを指さない場合は、監視カメラ2と表記する。
As shown in FIG. 1, n (n is an integer) number of surveillance cameras 2 (n is an integer) of surveillance cameras 2 (n) from the surveillance camera 2 (1) installed at one end TA of the
通信ケーブル3は、電源供給可能な信号線であり、例えば、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応のケーブルである。センタ装置4は、電源回路を含み、電源回路の電源は、通信ケーブル3を介して各監視カメラ2に供給される。
The
センタ装置4、記憶装置5及びモニタ6は、例えば、監視室に配置されている。センタ装置4には、記憶装置5とモニタ6が接続されており、センタ装置4は、所定のデータを記憶装置5に記憶し、モニタ6に監視用画面を表示する。よって、監視員は、センタ装置4を操作して、モニタ6に所望の画像を表示させることができる。記憶装置5には、後述する、各種データを記憶する複数の記憶部5a,5b,5cを含む。
The
図1に示すように、複数の監視カメラ2が、通信ケーブル3によりデイジーチェーン接続されて、すなわち数珠繋ぎで接続されて、センタ装置4に接続されている。図2に示すように、各監視カメラ2は、トンネル101の内壁の天井部分102の最も高い位置よりもやや低いところに、トンネル101の経路方向に沿って、所定の間隔Ltを持って設置されている。所定の間隔Ltは、隣り合う監視カメラ2の撮影範囲PAが一部重なるように、設定される。所定の間隔Ltは、例えば10mである。
As shown in FIG. 1, a plurality of
監視カメラ2間の通信及び監視カメラ2とセンタ装置4間の通信は、イーサネット(登録商標)を利用したデータ通信である。各監視カメラ2からのデータは、デイジーチェーン接続のネットワークを介して、センタ装置4へ送信可能である。また、センタ装置4も、全てのあるいは所望の監視カメラ2へ、撮影画像の送信要求のコマンド、等の各種コマンドを送信することができる。従って、センタ装置4は、監視カメラ2からの動画像の画像情報、認識情報、イベント情報等を、センタ装置4からのコマンドに応じて、デイジーチェーン接続のネットワークを介して、取得することができる。
なお、図1では、センタ装置4が1つのトンネルを監視する例であるが、センタ装置4は、複数のトンネルを監視するようにしてもよい。
Communication between the
Although FIG. 1 shows an example in which the
図3に示すように、車両用監視カメラである監視カメラ2は、細長い直方体の形状のケーシング11を有する。2つの対物光学系12が、細長いケーシング11の一側面に、所定の距離だけ離れて光軸が互いに平行になるように設けられている。ケーシング11内には、各対物光学系の結像位置に、CMOSイメージセンサ等の撮像素子が設けられている。2つの対物光学系12の設けられた面が、道路面103に対向するように、各監視カメラ2は、天井部分102に設置される。
As shown in FIG. 3, the
なお、ここでは、各監視カメラ2は、ステレオ撮像のために2つの撮像素子を有している例で説明するが、撮像素子は、3つ以上でもよく、少なくとも2つの撮像素子を有していればよい。
Here, each monitoring
また、ケーシング11の両端面には、通信ケーブル3を接続するためのコネクタ13が設けられており、複数の監視カメラ2を互いにデイジーチェーン接続することができる。
上述したように、通信ケーブル3は、イーサネット(登録商標)通信用のケーブルであって、電源供給も可能なイーサネット(登録商標)PoE対応のケーブルであるので、監視カメラ2(1)をセンタ装置4に接続し、隣り合う監視カメラ2同士を、通信ケーブル3で接続するだけでよく、監視カメラ2の設置及び増設は容易である。
Moreover, the
As described above, the
監視カメラ2の1つの撮像部は、視野範囲PArを有し、他方の撮像部は、視野範囲PAlを有する。2つの視野範囲により、監視カメラ2の撮影範囲PAが決定される。
One imaging unit of the
センタ装置4は、コンピュータ装置であり、CPU(中央処理装置)、ROM、RAMなどを含み、各監視カメラ2からのデータを受信すると共に、各監視カメラ2へ各種コマンドを送信して、情報を取得することができると共に、各種データ処理を実行することができる。
The
(監視カメラの構成)
図4は、監視カメラ2の内部構成を示すブロック図である。
監視カメラ2は、2つの撮像部21、撮像部インターフェース部(以下、撮像部I/Fという)22、立体計測部23、基本監視部24、追加監視部25、判定部26、メモリ27、画像供給部28、通信制御部29、2つの通信インターフェース部(以下、通信I/Fという)30、及び2つのコネクタ13を含んで構成されている。
(Configuration of surveillance camera)
FIG. 4 is a block diagram showing an internal configuration of the
The
監視カメラ2の一部の機能は、監視カメラ2に搭載された中央処理装置(CPU)によって実行されるソフトウェアプログラムにより、実現される。例えば、立体計測部23、基本監視部24、追加監視部25及び判定部26は、ソフトウェアプログラムにより実現される。なお、監視カメラ2の一部の機能は、デジタル・シグナル・プロセッサ(DSP)により、実現してもよい。
Some functions of the
各撮像部21は、対物レンズである対物光学系12と、対物光学系12の結像位置に配設されたCMOSイメージセンサ等の撮像素子31を有する。各撮像素子31により撮像して得られた画像データは、撮像部I/F22を介して、立体計測部23と画像供給部28に供給される。
Each
立体計測部23は、2つの画像データから距離画像のデータを生成する距離画像生成部である。距離画像のデータは、入力された2つの画像データから、各画素値が距離値である画像データである。立体計測部23は、距離画像データを生成する。なお、距離画像は、各画素値が3次元空間内の位置情報でもよい。立体計測部23は、生成した距離画像の情報を基本監視部24と追加監視部25に供給する。
The three-
基本監視部24は、距離画像に基づく、停止物体の検出等の、所定の監視処理を実行する基本監視機能の処理を実行する第1の監視処理部である。
本実施の形態では、基本監視部24は、基本監視機能の監視処理部として、停止物体の検出処理部P1と物体の軌跡の検出処理部P2を含む。基本監視部24は、これらの監視処理部とは別に、計測及び記録処理部P3を含む。なお、本実施の形態では、これら3つの処理部P1,P2,P3を基本監視機能の処理部としているが、基本監視機能の処理は、これらに限定されず、他の処理を基本監視部24に含めてもよい。
The
In the present embodiment, the
停止物体の検出処理部P1は、ステレオ処理により得られた距離画像から、停止物体を認識して検出する処理を行う。例えば、停止物体の検出処理部P1は、距離画像から認識して得られた物体の位置が、所定の時間以上移動しない状態にあるか否かを判定し、その物体の位置が所定の時間以上移動しない場合に、停止物体ありの異常を、検出する。停止物体は、例えば、停止した車両、道路上の落下物などである。 The stop object detection processing unit P1 performs processing for recognizing and detecting a stop object from the distance image obtained by the stereo processing. For example, the stop object detection processing unit P1 determines whether or not the position of the object obtained by recognizing from the distance image is in a state of not moving for a predetermined time or more, and the position of the object is not less than a predetermined time or more When it does not move, an abnormality with a stopped object is detected. The stopped object is, for example, a stopped vehicle, a fallen object on the road, or the like.
物体の軌跡の検出処理部P2は、距離画像から物体を認識し、認識して得られた物体に関する、位置の変化(道路平面上の位置の変化)から得られた軌跡が所定の軌跡に合致するかしないか、言い換えれば得られた軌跡が所定の軌跡と不一致であるか否か、を検出する処理を行う。所定の軌跡とは、例えば移動物体の軌跡が略直線状である軌跡である。軌跡は、認識された物体の位置、例えば重心位置、の変化である。物体の進行方向に対する移動量が所定量以上であるような蛇行運転の軌跡は、この所定の軌跡に合致しないという異常として、検出される。 The object trajectory detection processing unit P2 recognizes the object from the distance image, and the trajectory obtained from the change in position (change in position on the road plane) of the object obtained by the recognition matches the predetermined trajectory. A process of detecting whether or not to perform, in other words, whether or not the obtained trajectory does not match the predetermined trajectory is performed. The predetermined trajectory is a trajectory in which the trajectory of the moving object is substantially linear, for example. The trajectory is a change in the position of the recognized object, for example, the position of the center of gravity. A locus of meandering operation in which the amount of movement of the object in the traveling direction is greater than or equal to a predetermined amount is detected as an abnormality that does not match the predetermined locus.
計測及び記録処理部P3は、距離画像から物体を認識し、認識して得られた各物体の位置の変化量から各物体の速度(例えば車速)、所定の時間内に撮像領域内を通過した車両の数(すなわちカウント値)、監視領域に入った時刻及び位置、監視領域から出た時刻及び位置、色などの属性データ、等の計測あるいは認識を行う計測処理を行う。 The measurement and recording processing unit P3 recognizes the object from the distance image, and passes through the imaging area within a predetermined time from the amount of change in the position of each object obtained by the recognition, the speed of each object (for example, the vehicle speed). A measurement process for measuring or recognizing the number of vehicles (that is, the count value), the time and position of entering the monitoring area, the time and position of leaving the monitoring area, attribute data such as color, and the like is performed.
さらに、計測及び記録処理部P3は、認識された通行車両の識別情報を生成して、上述した計測データと、その識別情報を関連付けて、ログデータとして、記憶部であるメモリ27に記録する記録処理を含む。すなわち、計測及び記録処理部P3は、距離画像に基づいて認識された通行車両の識別情報を生成して、その識別情報と、その認識された通行車両についての時刻情報等とをメモリ27に記録する記録処理部を構成する。ここでは、ログデータは、基本監視部24から判定部26を介してメモリ27に記憶される。なお、ログデータの記録は、基本監視部24がメモリ27に直接書き込むようにしてもよい。
追加監視部25は、基本監視部24の監視処理とは別の追加監視機能の処理を実行する第2の監視処理部である。具体的には、追加監視部25は、異常の内容に応じた異常処理、センタ装置4からのコマンドに応じたコマンド対応処理、等の処理を行うための、複数の追加処理部Q1,Q2,Q3,・・・Qmを含む(mは整数)。なお、図4において、追加処理部Q1,Q2が異常有りの判定時に実行すべき処理部であり、追加処理部Q3〜Qmがコマンド対応処理のための処理部である。
Further, the measurement and recording processing unit P3 generates identification information of the recognized passing vehicle, associates the above-described measurement data with the identification information, and records it in the
The
異常処理は、基本監視部24において検出された異常の内容に応じて、判定部26により選択されて実行される処理である。基本監視部24において異常が検出されたときに実行される追加処理部が、異常時の処理部として、追加監視部25に含まれる。
The abnormality process is a process selected and executed by the
例えば、停止物体の検出に対応する追加処理部Q1は、静止画データに基づいて、停止物体が車両であるのか、人であるのかを判定して、車両の場合は、破損状況、停止位置、向き(すなわち道路の走行方向に対して平行な方向を向いているのか、斜め方向を向いているのか)、大きさ、車両の台数、等々の検出をし、人の場合は、その位置、姿勢(横になっているのか(倒れているのか)、道路上に立っているのか、等)、人数、等々の検出をする処理部である。停止物体の大きさは、距離画像データから算出あるいは推定することができ、さらに、形状の情報から、停止物体が人であるか否かの判定をすることができる。 For example, the additional processing unit Q1 corresponding to the detection of the stopped object determines whether the stopped object is a vehicle or a person based on the still image data. It detects the direction (that is, whether it is facing parallel or oblique to the road direction), the size, the number of vehicles, and so on. It is a processing unit that detects the number of persons (whether they are lying (falling down), standing on the road, etc.), the number of people, and so on. The size of the stop object can be calculated or estimated from the distance image data, and further, it can be determined from the shape information whether the stop object is a person.
また、物体の軌跡が所定の軌跡に合致しない場合に対応する追加処理部Q2は、後述するRAM28aの動画データ(すなわち複数のフレームデータ)又はメモリ27に格納されたログデータに基づいて、車線変更であるのか、減速であるのか、物体の分離であるのか、を判定する。車線変更は、車両の避走、蛇行、回転(スピン)、接触(壁面への接触、車両同士の接触)、等を検出することによって、判定することができる。減速は、ログデータに基づいて判定することができる。
Further, the additional processing unit Q2 corresponding to the case where the locus of the object does not match the predetermined locus changes the lane based on moving image data (that is, a plurality of frame data) in the
さらに、物体の軌跡から、車両から分離した物の有無を検出することができる。よって、分離の検出と、落下物の大きさ及び落下物が人であるか否かの判定とをすることができるので、車両から荷物が落下したのか、二輪車が転倒して人が投げ出されているのか、車両から降りた人の移動方向、等の検出をすることができる。
以上のように、追加監視部25は、基本監視部24の処理結果に基づいて、実行可能に構成されている。
Furthermore, the presence or absence of an object separated from the vehicle can be detected from the locus of the object. Therefore, it is possible to detect separation and determine the size of the fallen object and whether or not the fallen object is a person, so whether the load has fallen from the vehicle, the motorcycle has fallen and the person has been thrown out. It is possible to detect whether the person gets off the vehicle or the moving direction of the person getting off the vehicle.
As described above, the
また、追加監視部25中のコマンド対応処理とは、ログデータ送信コマンド、人検出コマンド、画像送信コマンド、等のセンタ装置4からのコマンドに応じて、判定部26等により指定されて実行される処理である。コマンドに応じて実行される追加処理部が、追加監視部25に含まれる。センタ装置4からのコマンドは、通信制御部29を介して、判定部26および画像処理部28に供給される。追加監視部25は、コマンドに基づいて、距離画像に基づく監視処理を実行する。
The command response processing in the
例えば、ログデータ送信コマンドに対応するログデータ送信処理Q3は、センタ装置4からのコマンドがログデータの送信を指示するコマンドである場合に、コマンドで指定された、メモリ27に格納されているログデータを読み出して送信する処理である。人検出コマンドに対応する人検出処理Q4は、センタ装置4からのコマンドが人の検出を指示するコマンドである場合に同様に実行され、撮像画像の中から人を検出して、検出結果をセンタ装置4へ送信する処理である。監視カメラ2の画像データは、距離データであるので、人を正確に検出することができる。
For example, in the log data transmission process Q3 corresponding to the log data transmission command, when the command from the
画像送信コマンドに対応する画像送信処理Q5は、センタ装置4からのコマンドが画像データの送信を指示するコマンドである場合に通信制御部29が画像供給部28から画像データを読み出して、監視カメラ2で撮像して得られた画像データを送信する処理である。センタ装置4からのコマンドには複数の種類があり、また一つのコマンドが複数の追加処理を実行させるようなコマンドも有るので、追加監視部25は、そのコマンドに対応する処理を実行するに必要な数の処理部を含む。
なお、センタ装置4からのコマンドには、全ての監視カメラ2に対するグローバルコマンドと、特定の監視カメラ2に対するコマンドの2種類がある。
以上のように、追加監視部25は、基本監視部24の処理結果に基づいて、実行可能であると共に、センタ装置4からのコマンドに応じて実行可能に構成されている。
In the image transmission process Q5 corresponding to the image transmission command, when the command from the
There are two types of commands from the
As described above, the
判定部26は、基本監視部24及び追加監視部25からの検出結果あるいは判定結果に基づいて、ルールベースの判定処理を行うと共に、必要な追加監視部25に含まれる複数の処理部の中から実行すべき処理部を、そのルールに従って選択して実行させる処理を行う。さらに判定部26は、センタ装置4からのコマンドの内容に応じて、追加監視部25の中の複数の追加処理部の中から、実行すべき処理部を選択して実行させる処理を行う。
The
具体的には、基本監視部24により異常が検出された場合、判定部26は、後述するような、追加解析処理、異常対応処理の実施指示処理、通報処理、及び画像送信処理を実行する。さらに、判定部26は、センタ装置4からコマンドを受信すると、コマンドの内容を解析し、そのコマンドに対応する処理を、追加監視部25内の対応する追加処理部を実行する。
Specifically, when an abnormality is detected by the
また、判定部26の処理内容は、ルールベースで定められるので、判定部26は、ルールによる判定のための基準データ及び判断ルールを含む。その基準データと判断ルールは、判定部26のプログラム中に記述されてもよいし、メモリ27内に記憶されていてもよい。基準データ及び判断ルールを変更することによって、判定部26が実行を指示する、基本監視部24及び追加監視部25内の処理内容を変更することができる。さらに、判定部26は、メモリ27に格納されたログデータを用いて、判定を行うことも可能である。判定部26の異常処理とコマンド処理の詳細については、後述する。
In addition, since the processing content of the
メモリ27は、上述したログデータを記憶する記憶部である。メモリ27に格納されるログデータの構造については後述する。
The
画像供給部28は、2つの撮像部21により撮像して得られた画像データの少なくとも一方の撮像部からの、最新の複数フレームの画像データを格納可能なRAM28aを有している。画像供給部28のRAM28aに格納された1以上の画像データは、判定部26により読み出し可能である。後述するように、RAM28aに格納された1以上の画像データは、センタ装置4からのコマンドに応じて、あるいは判定部26からの指示に応じて、センタ装置4へ送信される
通信制御部29は、デイジーチェーン接続された通信ケーブル3を介して、センタ装置4及び他の監視カメラ2との通信を行うための制御部である。特に、通信制御部29は、センタ装置4からのコマンドを受信するコマンド受信部を構成する。なお、本実施の形態では、センタ装置4からの画像データの送信コマンドを受信すると、通信制御部29が画像供給部28から画像データを読み出して、センタ装置4へ送信しているが、判定部26がコマンドを解釈して、RAM28aから画像データを読み出して、センタ装置4へ送信するようにしてもよい。
2つの通信I/F30は、通信制御部29とコネクタ13との間のインターフェースである。
The
The two communication I /
(監視カメラにおける基本監視処理)
次に、基本監視処理について説明する。
図5は、基本監視処理の流れの例を示すフローチャートである。本実施の形態では、上述したように、基本監視部24の処理は、CPUによって実行されるプログラムの一部の機能として実行される。
(Basic monitoring processing for surveillance cameras)
Next, the basic monitoring process will be described.
FIG. 5 is a flowchart illustrating an example of the flow of basic monitoring processing. In the present embodiment, as described above, the processing of the
立体計測部23から距離画像データが取得される(S1)。距離画像データに基づいて、基本監視部24における、停止物体の検出処理部P1と、物体の軌跡の検出処理部P2とが、基本監視処理として実行される(S2)。
Distance image data is acquired from the three-dimensional measurement unit 23 (S1). Based on the distance image data, the stop object detection processing unit P1 and the object trajectory detection processing unit P2 in the
停止物体の検出処理部P1は、背景以外の物体の認識を行い、フレーム間での物体の位置に変化があるか否かに基づいて、停止物体の検出を行う。立体形状の大きさが所定の大きさ以上の物体が、停止物体の検出対象として選択される。距離画像データに基づいて停止物体の検出を行っているので、物体の体積が検出でき、検出すべき停止物体を精度良く認識し、検出することができる。 The stop object detection processing unit P1 recognizes an object other than the background, and detects a stop object based on whether there is a change in the position of the object between frames. An object having a three-dimensional shape greater than or equal to a predetermined size is selected as a stop object detection target. Since the stop object is detected based on the distance image data, the volume of the object can be detected, and the stop object to be detected can be accurately recognized and detected.
物体の軌跡の検出処理部P2は、認識された物体の軌跡を、フレーム間の物体の位置情報から検出し、その軌跡が所定の軌跡に合致するかしないかを検出あるいは判定する。 The object locus detection processing unit P2 detects the recognized object locus from the position information of the object between frames, and detects or determines whether the locus matches a predetermined locus.
この軌跡の検出も、距離画像データに基づいて行っているので、物体の軌跡を精度良く検出して判定することができる。
次に、ログデータ記録処理が実行される(S3)。この処理は、上述した計測及び記録処理部P3により実行される。
Since the locus is also detected based on the distance image data, the locus of the object can be accurately detected and determined.
Next, a log data recording process is executed (S3). This process is executed by the above-described measurement and recording processing unit P3.
そして、判定部26は、上記の停止物体の検出処理部P1と物体の軌跡の検出処理部P2のいずれかで、異常が検出されたか否かを判定し(S4)、異常が無ければ(S4:NO)、処理は終了し、異常が有れば(S4:YES)、異常処理を実行する(S5)。
なお、図5の処理は、監視カメラ2が動作中は、常に繰り返し実行されている。
Then, the
Note that the processing in FIG. 5 is always repeated while the
(監視カメラにおけるコマンド処理)
次に、コマンド処理について説明する。図6は、コマンド処理の流れの例を示すフローチャートである。
監視カメラ2は、センタ装置4からのコマンドを受信したか否かを判定する(S11)。コマンドは、通信制御部29を介して、判定部26により受信される。コマンドを受信しないときは(S11:NO)、処理は、終了し、コマンドを受信したときは(S11:YES)、受信したコマンドを解析する、すなわちコマンドの内容を判定する(S12)。
(Command processing in surveillance camera)
Next, command processing will be described. FIG. 6 is a flowchart illustrating an example of the flow of command processing.
The
判定部26は、コマンドに対応する処理部を、追加監視部25の中から選択して、その処理を実行する(S13)。例えば、コマンドがログデータの送信要求コマンドであれば、判定部26は、追加監視部25の中からそのコマンドに対応する処理部Q3を選択して、メモリ27から指定されたログデータを読み出して、センタ装置4へ送信する。コマンドが、人の検出処理を行う人検出コマンドであれば、追加監視部25の中からそのコマンドに対応する処理部Q4を選択して、画像データから人を検出する処理が実行される。
The
コマンドに対応する処理の結果、何らかの異常が検出されたか否かが判定され(S14)、人が検出された等の異常が無ければ(S14:NO)、異常が無かった旨の情報を送信したり、要求された情報を送信する、等の、センタ装置4への回答処理を実行して(S16)、処理は終了し、異常が有れば(S14:YES)、異常処理を実行する(S16)。
As a result of processing corresponding to the command, it is determined whether or not any abnormality is detected (S14). If there is no abnormality such as a person detected (S14: NO), information indicating that there was no abnormality is transmitted. Response processing to the
(監視カメラにおける異常処理)
次に、異常処理について説明する。図7は、図5及び図6における異常処理の流れの例を示すフローチャートである。
基本監視処理あるいは追加監視処理において検出された異常の内容に応じて実行すべき処理の内容が、ルールベースで予め設定されている。判定部26は、その予め決められたルールベースの内容に従って、図7に示す処理を実行する。
判定部26は、異常が検出されると、ルールベースを参照して、処理内容を決定する(S21)。
(Abnormal processing in surveillance cameras)
Next, the abnormality process will be described. FIG. 7 is a flowchart showing an example of the flow of abnormality processing in FIGS. 5 and 6.
The content of the processing to be executed according to the content of the abnormality detected in the basic monitoring processing or the additional monitoring processing is set in advance on a rule basis. The
When an abnormality is detected, the
そして、判定部26は、その決定された処理内容に従って、異常対応処理の実施指示処理(S22)、追加解析処理(S23)、通報処理(S24)及び画像送信処理(S25)を実行する。これらの4つの処理は、互いに並列に実行され、それぞれ処理内容決定処理(S21)で決定された内容を実行する。処理の内容がルールベースで予め設定されているので、異常の内容によっては、処理内容決定処理(S21)において、4つの処理全てを実行しないように、決定される場合もある。
Then, the
異常対応処理の実施指示処理(S22)は、センタ装置4を介さずに、監視カメラ2から他の設備、例えばトンネル内に設置された放送設備、トンネルの出入り口に設置された情報表示パネル、に直接、動作する指示を与える処理である。他の設備が、通信ケーブル3で形成されるイーサネット(登録商標)の通信上に接続されている場合に、監視カメラ2は、他の設備と通信をすることができる。
The execution instruction process (S22) of the abnormality handling process is performed from the
例えば、通信ケーブル3と同じイーサネット(登録商標)に接続されている通信可能な設備として、放送設備と情報表示パネルがあれば、異常対応処理の実施指示処理(S22)は、その放送設備等の制御装置に対する所定の音声出力の指示コマンドの送信、等の処理である。
For example, if there is a broadcast facility and an information display panel as communicable facilities connected to the same Ethernet (registered trademark) as the
図1において、設備の制御装置41が、イーサネット(登録商標)に接続されていて、監視カメラ2からのコマンドを受信可能となっている。この場合、ある監視カメラ2(k)が、異常対応処理の実施指示処理(S22)に従って、その制御装置41へ所定のコマンドを送信すると、その設備は、そのコマンドに指定された動作を実行する。よって、監視カメラ2から直接設備に対して、所望の動作指示をすることができるので、異常時の対応を迅速に行うことができる。
In FIG. 1, a
また、異常対応処理の実施指示処理(S22)は、他の監視カメラ2へのコマンド送信も含まれる。例えば、避走車両の検出がされた場合に、その車両の進行方向にある他の監視カメラ2(隣の監視カメラあるいは、数台先の監視カメラ)へ、避走車両の速度と軌跡データをセンタ装置4へ送信させるような処理を実行させるコマンドを、送信する。これにより、センタ装置4は、検出された避走車両の走行状態を、迅速に監視することができる。
Further, the execution instruction process (S22) of the abnormality handling process includes command transmission to another
以上のように、異常対応処理の実施指示処理(S22)は、基本監視部の処理結果が所定の異常が有りの判定である場合、発生した所定の異常の種類に応じて、所定の設備の所定の動作の指示あるいは他の監視カメラ2に所定の処理の実行を指示するコマンドを、所定の設備あるいは他の監視カメラ2に送信する実行コマンド送信処理部を構成する。
As described above, the execution instruction process (S22) of the abnormality handling process is performed according to the type of the predetermined abnormality that has occurred, when the processing result of the basic monitoring unit is a determination that there is a predetermined abnormality. An execution command transmission processing unit is configured to transmit a command for a predetermined operation or a command for instructing another
追加解析処理(S23)は、上述した追加監視部25内の追加処理部の処理である。よって、異常の内容に応じた追加解析を行うことができる。
また、通報処理(S24)は、検出された異常の内容に応じた所定のデータ、メッセージ等の所定の情報を、センタ装置4へ送信する処理である。例えば、判定部26が、異常の内容から危険度レベルを判定する処理を実行した場合は、その危険度レベルの情報も、センタ装置4へ送信される。
The additional analysis process (S23) is a process of the additional processing unit in the
The notification process (S24) is a process of transmitting predetermined information such as predetermined data and a message corresponding to the detected abnormality to the
画像送信処理(S25)は、異常を検出した監視カメラ2が、所定の画像データを、画像供給部28から読み出して、センタ装置4へ送信する処理である。
追加解析処理(S23)の実行後、所定の判定処理が実行される(S26)。
The image transmission process (S25) is a process in which the
After the additional analysis process (S23) is executed, a predetermined determination process is executed (S26).
上述したように、S22からS26の処理の内容は、ルールベースで定められたものであり、異常の内容に応じて異なっている。これらの処理が実行されると、検出された異常が終結したか否かが判定される(S27)。 As described above, the contents of the processing from S22 to S26 are determined on a rule basis and differ depending on the contents of the abnormality. When these processes are executed, it is determined whether or not the detected abnormality is terminated (S27).
異常が終結していない場合は(S27:NO)、処理は、S21に戻り、異常が終結した場合は(S27:YES)、終結処理が実行されて(S28)、処理は、終了する。 If the abnormality is not terminated (S27: NO), the process returns to S21. If the abnormality is terminated (S27: YES), the termination process is executed (S28), and the process ends.
例えば、基本監視部24の停止物体の検出処理部P1により停止物体の有りの異常が検出された場合、判定部26は、その停止物体の検出に対応する予め決められた追加処理部Q1を、追加解析処理(S23)として実行する。同時に、判定部26は、異常対応処理の実行指示処理(S22)において、情報表示パネルの制御装置に対して、「トンネル中、停止車両有り」等のメッセージを表示するように、コマンドを送信する。さらに、判定部26は、通報処理(S24)において、センタ装置4へ停止車両の検出がされたことのメッセージを送信する。さらに、判定部26は、画像送信処理(S25)において、その停止物体の画像データをセンタ装置4へ送信する。
For example, when the stop object detection processing unit P1 of the
判定処理(S26)は、追加解析処理(S23)の処理結果に基づく処理であり、追加処理部Q1の処理結果に応じた処理を実行する。よって、例えば、追加処理部Q1により、人が検出された場合には、判定部26は、人が検出されたことの異常を検出する。
The determination process (S26) is a process based on the process result of the additional analysis process (S23), and executes a process according to the process result of the additional processing unit Q1. Therefore, for example, when a person is detected by the additional processing unit Q1, the
異常が終結していない場合には、処理は、処理内容決定処理(S21)に戻る。そして、判定部26は、再度、追加解析処理により検出された異常も加えて、処理内容を決定し、S22からS25の処理を実行する。
If the abnormality has not ended, the process returns to the process content determination process (S21). Then, the
例えば、追加処理部Q1において、人が検出されたときには、異常対応処理の実行指示処理(S22)において、放送設備の制御装置に対して、「他の車両に注意して下さい。」等の音声メッセージをトンネル内に放送するように、コマンドを送信する。 For example, when a person is detected in the additional processing unit Q1, in the execution instruction process (S22) of the abnormality handling process, a voice message such as “Please pay attention to other vehicles” is sent to the control device of the broadcast facility. Send a command to broadcast the message in the tunnel.
別の例として、基本監視部24の物体の軌跡の検出処理部P2により物体の軌跡が所定の軌跡ではないと判定された場合、判定部26は、物体の軌跡が所定の軌跡に合致しない場合に対応する追加処理部Q2を、追加解析処理として実行し、その追加処理部Q2の結果に基づく判定処理(S26)を実行する。
As another example, when the object trajectory detection processing unit P2 of the
終結処理(S28)は、異常状態が検出されなくなったので、センタ装置4への異常状態の終了したことのメッセージ等の送信処理、他の設備へ送信したコマンドに基づく動作の終了指示のコマンドの送信処理、等が実行される。
In the termination process (S28), since the abnormal state is no longer detected, a transmission process of a message indicating that the abnormal state has ended to the
以上のように、監視カメラ2は、基本監視部24と追加監視部25を有して、通常は、基本監視部24の処理を実行し、基本監視部24において異常が検出された場合、あるいはセンタ装置4からコマンドを受信した場合は、予めルールベースで設定された処理部を実行する。
As described above, the
(センタ装置における異常処理)
監視室の監視員は、モニタ6に表示される情報、画像などを見ながら、トンネル内の交通状況を監視する。監視員は、上述したように特定の監視カメラ2を指定して所望の処理を実行させて、その監視カメラ2を制御することができる。そして、センタ装置4は、複数の監視カメラ2からの各種情報を受信して、異常が検出された場合には、所定の処理を実行する。
(Abnormal processing in center equipment)
A monitor in the monitoring room monitors traffic conditions in the tunnel while viewing information, images, and the like displayed on the
図8は、センタ装置4における異常処理の流れの例を示すフローチャートである。図8の処理は、センタ装置4のCPUによって実行される。
センタ装置4は、個別カメラからの情報を入手し(S31)、所定の基準に基づいて、状況を判定し、その判定結果に応じた処理内容を決定する(S32)。
FIG. 8 is a flowchart showing an example of the flow of abnormality processing in the
The
その状況を判定するために所定の基準データは、記憶装置5の基準データ記憶部5aに記憶されている。また、判定された状況に応じて実行すべき処理内容のデータも、記憶装置5内の処理内容データ記憶部5bに記憶されている。
Predetermined reference data for determining the situation is stored in the reference
センタ装置5のCPUは、S32における状況判定の結果、異常ありと判定されたか否かを判定し(S33)、異常がなければ(S33:NO)、処理は、S31に戻る。異常があれば(S33:YES)、センタ装置4は、異常対応処理の実行指示処理(S34)、警告画面表示処理(S35)及び操作入力確認処理(S36)を実行する。これらの3つの処理は、互いに並列に実行され、それぞれS32において決定された内容を実行する。
The CPU of the
異常対応処理の実行指示処理(S34)は、例えば、センタ装置4に接続された設備、例えばトンネルの出入り口に設置された情報表示パネル、に対する指示を与える処理、特定の監視カメラ2へのコマンド指示送信処理、等である。
The abnormality response process execution instruction process (S34) includes, for example, a process for giving an instruction to equipment connected to the
例えば、基本監視部24の物体の軌跡の検出処理部P2により物体の軌跡が所定の軌跡ではないと判定された場合にその情報を入手すると、情報表示パネルに「走行注意」等の所定のメッセージを表示させるためのコマンドが、情報表示パネルに送信される。その結果、他の車両のドライバは、より注意した運転を心掛けることができる。そのようなコマンドの送信は、予め自動的に行われる設定になっている場合には、監視員は、特に、情報表示パネルへの指示操作をしなくてよい。その設定内容は、処理内容データ記憶部5bに記憶される。
For example, when the object trajectory detection processing unit P2 of the
異常対応処理の実行指示処理(S34)により、センタ装置4は、例えば、他の特定の監視カメラ2に対して、画像データを送信させるためのコマンドを送信するようにすることもできる。その結果、所定の軌跡に合致しない走行をしている車両がその後通過すると想定される場所の画像がモニタ6に表示されるので、監視員は、その車両がその監視カメラ2の前を通過するのを待ち伏せして、通過したときの走行状況を見て確認することができる。
以上のようにして、異常対応処理の実行指示処理(S34)の処理によって、異常時における所定の処理の自動化を実現することができる。
Through the execution instruction process (S34) of the abnormality handling process, the
As described above, it is possible to realize automation of a predetermined process at the time of abnormality by the process of the abnormality handling process execution instruction process (S34).
警告画面表示処理(S35)は、図9に示すようなモニタ6の画面上に、所定のメッセージを表示する処理である。この警告画面表示処理(S35)によって、例えば、ある異常が発生したときは、「・・を操作して下さい。」等の対応操作方法を示すすなわちアドバイスするメッセージが表示される。そのメッセージ表示を見て、監視員に所定の操作をさせることができる。発生した異常に応じて、どのようなメッセージを、どのような順番で表示するかは、処理内容データ記憶部5bに予め記憶されている。
The warning screen display process (S35) is a process for displaying a predetermined message on the screen of the
また、操作入力確認処理(S36)は、警告画面表示処理(S35)によって指示された操作が、適切に行われたか否かを確認する処理である。例えば、所定の順番で操作させるべき操作が、所定の順番で正しく行われているか否かが判定され、操作内容及び順番が適切でないときには、操作入力確認処理(S36)は、操作すべき内容をモニタ6上に表示する。
The operation input confirmation process (S36) is a process for confirming whether or not the operation instructed by the warning screen display process (S35) has been appropriately performed. For example, it is determined whether or not the operations to be operated in a predetermined order are correctly performed in the predetermined order. When the operation contents and the order are not appropriate, the operation input confirmation process (S36) Display on the
すなわち、センタ装置4は、いずれかの監視カメラ2の判定部26から所定の異常の通知を受けると、所定の操作内容を示すメッセージを表示装置に表示する表示処理と、所定の操作内容の操作入力を監視して所定の操作内容が入力されているかを確認する操作入力確認処理を実行する。
That is, when the
S34〜S36の処理の結果、総合判定が行われる(S37)。異常発生後のデータすなわち経緯データは、記憶装置5に記録される。総合判定の基準も、記憶装置5の基準データ記憶部5aに記憶されている。総合判定処理(S37)は、異常が発生してからの経緯に基づいて、所定の処理が実行されて、異常の発生もなくなり、異常が終結したか否かが判定される。
As a result of the processing of S34 to S36, comprehensive determination is performed (S37). Data after the occurrence of an abnormality, that is, history data is recorded in the
総合判定処理(S37)の後、異常が終結したか否かが判定され、異常が終結していなければ(S38:NO)、処理は、S31に戻り、異常が終結していれば(S38:YES)、終結処理を実行して(S39)、処理は終了する。 After the comprehensive determination process (S37), it is determined whether or not the abnormality has ended. If the abnormality has not ended (S38: NO), the process returns to S31, and if the abnormality has ended (S38: YES), a termination process is executed (S39), and the process ends.
よって、センタ装置4は、各監視カメラ2からの情報に基づいて、異常の判定を行い、その異常に応じた処理を実行すると共に、所定のメッセージ等をモニタ6の画面上に表示し、かつ異常に対応する所定の操作が正しく行われたか否かの確認を行う。よって、異常発生時に、監視員がその異常の内容を確認して、必要な設備に対する処理の全てを行う必要もなく、かつ操作内容がガイダンスとして表示されるので、迅速な対応も可能となり、さらに操作ミスも防止することができる。
Therefore, the
(監視画面)
図9は、モニタ6上に表示される監視画面の例を示す図である。モニタ6の画面51内には、監視対象トンネルの模式図を表示する表示部52と、トンネルの各出入り口の入車台数と出車台数の表示部53と、監視画像の表示部54と、トンネル内に存在する車両の台数を表示する表示部55とを含む。
(Monitoring screen)
FIG. 9 is a diagram illustrating an example of a monitoring screen displayed on the
表示部52は、トンネルの模式図の各出入り口の近傍には、行き先を示す、「・・方面」という文字が併せて表示されている。
表示部53は、トンネルの模式図の各出入り口の近傍に配置され、入車台数と出車台数をリアルタイムで表示する。台数は、例えば、日付の始まる午前零時からの累積台数などである。
In the
The
表示部54は、複数の監視カメラ2の中から選択された特定の監視カメラ2から撮影画像を取得して、表示している。上述したように、監視員がセンタ装置4を操作して、監視したい場所の監視カメラ2を選択して、その監視カメラ2に画像送信コマンドを送信することによって、表示部54にその監視カメラ2の画像を表示させることもできる。
The
表示部55は、そのときにトンネル内に存在する車両の数を、リアルタイムで表示する。例えば、監視カメラ2(1)と2(n)から、上りと下りの各車線のそれぞれについて、認識した車両であってトンネルに入った車両と出た車両の数の情報を常に送信させ、上りと下りのそれぞれについて入った車両から出た車両の差分を計算することによって、センタ装置4は、トンネル内に存在する車両の数を、表示することができる。
The
図9の画面は、常にモニタ6に表示され、上述したアドバイスメッセージ等の表示は、図9の画面上に例えば、ポップアップウインドウにより行われる。
The screen of FIG. 9 is always displayed on the
図10は、図9の画面の表示処理の流れの例を示すフローチャートである。センタ装置4は、特定の監視カメラ2、例えば監視カメラ2(1)と2(n)、から、入った車両と出た車両の数の情報を取得し、所定演算を実行する(S41)。所定演算とは、上述した表示部53と55の台数を表示するための演算である。
FIG. 10 is a flowchart illustrating an example of the flow of the display process of the screen of FIG. The
そして、センタ装置4は、特定の監視カメラ2からの画像データを取得し(S42)、S41とS42で得た情報に基づき、図9の画面データを更新する(S43)。その結果、モニタ6に表示される画面51の内容は、リアルタイムの表示となる。
And the
(ログデータ)
各監視カメラ2のメモリ27には、上述したようにログデータが格納される。計測及び記録処理部P3は、立体計測部23において得られた距離画像に基づいて、認識して得られた各物体について、識別子を付与し、その物体について、図11に示す各データを取得或いは計算して得て、メモリ27に記憶する。
メモリ27の容量は、制限があるので、新しいデータが記録されるときは、最も古いデータが消去される。メモリ27には、例えば、過去、数十時間のデータが記憶される。
(Log data)
Log data is stored in the
Since the
図11は、ログデータのデータ構造を示す図である。図11のログデータは、監視カメラ2の上りと下り毎に生成されて記憶されるデータである。
図11は、監視カメラ2の識別番号(図11では、監視カメラ2(k)として示されている)の上りの車線のログデータを示す。ログデータ61は、上りと下り別に、カメラ識別番号(カメラ#(上り))、車両ID、時刻(入)、時刻(出)、物体の複数の属性、速度、監視領域内に入ったときの位置(入)、監視領域内から出たときの位置(出)、監視領域内の軌跡、等のデータを含む。
FIG. 11 is a diagram illustrating a data structure of log data. The log data in FIG. 11 is data that is generated and stored every time the
FIG. 11 shows log data of the upstream lane of the identification number of the monitoring camera 2 (shown as monitoring camera 2 (k) in FIG. 11). The
車両IDは、監視カメラ2毎に付与されるので、所謂ローカルIDである。時刻(入)と時刻(出)は、それぞれ、認識された物体が監視領域内に入った及び出た時刻であり、ミリ秒単位の時刻データである。属性は、例えば、認識された物体の色、体積、高さ、形状などのデータである。体積、高さ、形状などは、距離画像データに基づいて算出される。速度は、監視領域内を走行する物体の位置の変化から演算により算出されるデータである。
Since the vehicle ID is assigned to each
位置(入)と位置(出)は、それぞれ、監視領域内の位置であり、例えば、監視領域のXY平面上において、物体が監視領域に入ったときの位置と監視領域から出て行ったときの位置のデータである。軌跡は、監視領域のXY平面上における、認識された物体の位置、例えば先頭位置、重心位置等、の変化を示す軌跡データである。
図11に示すデータ以外のデータもログデータとしてメモリ27に記憶してもよい。
The position (on) and the position (out) are positions within the monitoring area. For example, on the XY plane of the monitoring area, the position when the object enters the monitoring area and when the object leaves the monitoring area This is the position data. The trajectory is trajectory data indicating changes in the position of the recognized object on the XY plane of the monitoring area, such as the head position and the center of gravity position.
Data other than the data shown in FIG. 11 may also be stored in the
上述したように、メモリ27のログデータ61は、車両毎に生成されるが、ローカルIDのデータである。センタ装置4は、全てのあるいは一部の監視カメラ2からログデータを収集することができる。
As described above, the
センタ装置4は、各監視カメラ2から収集したログデータ中の時刻(入)、時刻(出)、位置(入)及び位置(出)のデータを用いて、各監視カメラ2からの複数の車両IDを、互いに関連付ける処理を行うことができる。
The
図12は、センタ装置4における車両IDの関連付けを説明するための図である。図12では、連続する監視カメラ2(k)から2(k+4)のそれぞれの撮影範囲が、PA(k)〜PA(k+4)として示されている。上述したように、隣り合う監視カメラ2の撮影範囲PA(点線で示す)は、重なっている。
FIG. 12 is a diagram for explaining association of vehicle IDs in the
撮影範囲PA内には、ログデータ中、時刻(入)、時刻(出)、位置(入)及び位置(出)のデータを取得するための監視領域MRが設定されている。図12では、撮影範囲PA(k)〜PA(k+4)中に、それぞれ、監視領域MR(k)〜MR(k+4)が設定されている。隣り合う監視カメラ2の監視領域MRは、接するように設定される。この設定は、例えば、トンネル101内に監視カメラ2を設置した後に、各監視カメラ2からの撮影画像に基づいて、行われる。よって、隣り合う監視カメラ2の2つの監視領域MRが接して線(以下、境界線という)TL上の位置は、2つの監視領域MR間で関連付けることができる。
In the imaging range PA, a monitoring area MR for acquiring data of time (on), time (out), position (on) and position (out) in the log data is set. In FIG. 12, monitoring areas MR (k) to MR (k + 4) are set in the imaging ranges PA (k) to PA (k + 4), respectively. The monitoring areas MR of
そして、センタ装置4は、隣り合う監視カメラ2同士の境界線TL上の位置の関連情報を、記憶装置5に予め記憶しておく。その位置の関連情報は、記憶装置5の関連情報記憶部5cに記憶される。関連情報は、例えば、境界線TL上における、2つの監視領域MRの位置の変換式であり、全ての境界線TLについて生成されて、関連情報記憶部5cに記憶される。センタ装置4は、位置の関連情報に基づいて、隣り合う2つの監視領域MRの一方から見た境界線TL上の位置と、他方から見た同じ境界線TL上の位置が同じ位置であるかを判定することができる。
Then, the
図12には、上りと下りのそれぞれにおけるある車両の軌跡が、点線で示されている。上りにおける監視領域MR(k)から出た車両の位置P1と、その隣の監視領域MR(k)から出た車両の位置P2は、それぞれの監視カメラ2(k)と2(k+1)から得られるので、監視カメラ2(k)の記録した時刻(出)と監視カメラ2(k+1)の記録した時刻(入)が一致し、かつ監視カメラ2(k)の記録した位置(出)と監視カメラ2(k+1)の記録した位置(入)が一致した場合は、2つの監視カメラ2で別個に生成されたログデータは、同じ車両についてのログデータと決定される。
In FIG. 12, the trajectory of a certain vehicle in each of the up and down directions is indicated by dotted lines. The position P1 of the vehicle exiting from the monitoring area MR (k) and the position P2 of the vehicle exiting from the adjacent monitoring area MR (k) are obtained from the respective monitoring cameras 2 (k) and 2 (k + 1). Therefore, the time (out) recorded by the monitoring camera 2 (k) matches the time (on) recorded by the monitoring camera 2 (k + 1), and the position (out) recorded by the monitoring camera 2 (k) is monitored. When the recorded positions (input) of the cameras 2 (k + 1) match, the log data generated separately by the two
そのために、センタ装置4は、複数の監視カメラ2の監視する領域における、監視カメラ同士の位置を関連付ける関連情報を有し、その関連情報に基づいて、複数の監視カメラが生成した車両の識別情報を関連付ける処理を行う関連付け処理部を有する。
For this purpose, the
その結果、各監視カメラ2において別個に生成されたローカルIDの車両IDを有する2つのログデータは、同じ車両のものであると判定できるので、一つの車両IDのログデータとして纏めることができる。言い換えると、車両IDをグローバルIDに変換することができる。
As a result, the two log data having the vehicle ID of the local ID generated separately in each
なお、ログデータには、各種属性データが含まれるので、複数のログデータを、同じ車両についてのログデータと決定するときに、属性データを確認用データとして用いるようにしてもよい。 Since the log data includes various attribute data, the attribute data may be used as confirmation data when determining a plurality of log data as log data for the same vehicle.
センタ装置4は、全ての監視カメラ2のログデータを収集してこのような処理を行うことによって、全ての車両についての、トンネルの入口から出口までの道路上の走行状態のデータを生成して得ることができる。そのデータは、各車両のトンネル内の走行履歴データである。
The
よって、事故等の何らかのイベントが発生した直後に、センタ装置4が全ての監視カメラ2に対してログデータを送信するログデータ送信コマンドを送信して、全ての監視カメラ2のログデータを収集して、上記のような各車両の走行履歴データを生成する。生成された各車両の走行履歴データは、事故直後の事故に関わる車両の走行状態を示すので、事故の原因を調査する者にとっては、有効な情報となる。
Therefore, immediately after an event such as an accident occurs, the
なお、図12では、隣り合う監視カメラ2の監視領域MRは、接するように設定されているが、重なって、あるいは完全に接していなくてもよい。重なっている場合は、重なっている領域の位置情報の関連付けを行うことによって、2つのログデータの関連付けを行うことができる。また、隣り合う監視カメラ2の監視領域MRが接していない場合は、その間の距離に応じた時間と位置の推定処理を行うことによって、2つのログデータの関連付けを行うことができる。
In FIG. 12, the monitoring areas MR of
以上のように、上述した本実施の形態による通行車両監視システムによれば、道路上の車両等を正確に認識し、設置が容易で、かつ車両毎の走行状態の分析を負荷が集中することなく行うことができる通行車両監視システム及び車両用監視カメラを提供することができる。 As described above, according to the above-described traffic monitoring system according to the present embodiment, vehicles on the road are accurately recognized, easy to install, and the load is concentrated on the analysis of the running state of each vehicle. It is possible to provide a vehicle monitoring system and a vehicle monitoring camera that can be performed without any problems.
なお、上述した実施の形態は、通行車両監視システム及び車両用監視カメラをトンネルの車両を監視する例であるが、上述した通行車両監視システム及び車両用監視カメラは、トンネル内の車両の監視だけでなく、通常の道路、高速道路等の車両の監視にも適用できるものである。 In addition, although embodiment mentioned above is an example which monitors the vehicle of a tunnel with a traffic vehicle monitoring system and a vehicle monitoring camera, the above-mentioned traffic vehicle monitoring system and vehicle monitoring camera are only monitoring the vehicle in a tunnel. In addition, it can be applied to monitoring of vehicles such as ordinary roads and highways.
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
1 通行車両監視システム、2 監視カメラ、3 通信ケーブル、4 センタ装置、5 記憶装置、5a 基準データ記憶部、5b 処理内容データ記憶部、11 ケーシング、12 対物光学系、13 コネクタ、21 撮像部、22 撮像I/F、23 立体計測部、24 基本監視部、25 追加監視部、26 判定部、27メモリ、28 画像供給部、29 通信制御部、30 通信I/F、31 撮像素子、41 設備の制御装置、101 トンネル、102 天井部分、103 道路面
DESCRIPTION OF
Claims (8)
各監視カメラは、
複数の撮像部と、
前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、
前記距離画像に基づき、停止物体あり、あるいは前記車両の位置の変化である軌跡が所定の軌跡との不一致の第1の異常の検出を行う第1の監視処理を実行する第1の監視処理部と、
前記センタ装置からのコマンドを受信するコマンド受信処理部と、
記憶部と、
前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、その認識された車両についての時刻情報とを含む情報を前記記憶部に記録する記録処理部と、
受信した前記コマンドに対応する処理を実行すると共に、前記コマンドに対応する処理の結果から第2の異常を検出する第2の監視処理を実行する第2の監視処理部と、
前記第1の監視処理部において検出された前記第1の異常及び前記第2の監視処理部において検出された前記第2の異常に応じて実行すべき処理を判定して実行する判定部と、
を有することを特徴とする通行車両監視システム。 A traffic vehicle monitoring system comprising a plurality of surveillance cameras connected to a rosary and imaging a vehicle traffic situation, and a center device connected to the plurality of surveillance cameras,
Each surveillance camera
A plurality of imaging units;
A distance image generation unit for generating data of a distance image from a plurality of images obtained by the plurality of imaging units;
Based on the distance image, a first monitoring processing unit that executes a first monitoring process for detecting a first abnormality in which a trajectory that is a stop object or a change in the position of the vehicle does not match a predetermined trajectory When,
A command reception processing unit for receiving a command from the center device;
A storage unit;
A recording processing unit that generates identification information of the vehicle recognized based on the distance image, and records information including the identification information and time information about the recognized vehicle in the storage unit;
A second monitoring processing unit that executes a process corresponding to the received command and executes a second monitoring process for detecting a second abnormality from a result of the process corresponding to the command;
A determination unit configured to determine and execute a process to be executed according to the first abnormality detected in the first monitoring processing unit and the second abnormality detected in the second monitoring processing unit;
A passing vehicle monitoring system comprising:
各監視カメラは、
複数の撮像部と、
前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、
前記距離画像に基づき、停止物体の検出、あるいは前記車両の位置の変化である軌跡が所定の軌跡との不一致の検出を行う第1の監視処理を実行する第1の監視処理部と、
記憶部と、
前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、その認識された車両についての時刻情報とを含む情報を前記記憶部に記録する記録処理部と、
前記距離画像に基づいて、前記停止物体が前記車両である場合は、前記車両の破損状況、位置、向き、大きさの少なくとも1つを検出し、前記停止物体が人である場合は、前記人の位置、姿勢、立っているのか横になっているのか、の少なくとも1つを検出する第2の監視処理を実行する第2の監視処理部と、
を有することを特徴とする通行車両監視システム。 A traffic vehicle monitoring system comprising a plurality of surveillance cameras connected to a rosary and imaging a vehicle traffic situation, and a center device connected to the plurality of surveillance cameras,
Each surveillance camera
A plurality of imaging units;
A distance image generation unit for generating data of a distance image from a plurality of images obtained by the plurality of imaging units;
A first monitoring processing unit that executes a first monitoring process based on the distance image to detect a stopped object or to detect a mismatch between a locus that is a change in the position of the vehicle and a predetermined locus;
A storage unit;
A recording processing unit that generates identification information of the vehicle recognized based on the distance image, and records information including the identification information and time information about the recognized vehicle in the storage unit;
Based on the distance image, when the stop object is the vehicle, at least one of the damage status, position, orientation, and size of the vehicle is detected, and when the stop object is a person , the person A second monitoring processing unit for executing a second monitoring process for detecting at least one of the position, posture, standing or lying down,
A passing vehicle monitoring system comprising:
前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、
前記距離画像に基づき、停止物体あり、あるいは前記車両の位置の変化である軌跡が所定の軌跡との不一致の第1の異常の検出を行う第1の監視処理を実行する第1の監視処理部と、
センタ装置からのコマンドを受信するコマンド受信処理部と、
記憶部と、
前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、その認識された車両についての時刻情報とを含む情報を前記記憶部に記録する記録処理部と、
受信した前記コマンドに対応する処理を実行すると共に、前記コマンドに対応する処理の結果から第2の異常を検出する第2の監視処理を実行する第2の監視処理部と、
前記第1の監視処理部において検出された前記第1の異常及び前記第2の監視処理部において検出された前記第2の異常に応じて実行すべき処理を判定して実行する判定部と、
前記記憶部に記憶された前記情報を送信するための、デイジーチェーン接続用通信インターフェース部と、
を有することを特徴とする車両用監視カメラ。 A plurality of imaging units for imaging the traffic situation of the vehicle ;
A distance image generation unit for generating data of a distance image from a plurality of images obtained by the plurality of imaging units;
Based on the distance image, a first monitoring processing unit that executes a first monitoring process for detecting a first abnormality in which a trajectory that is a stop object or a change in the position of the vehicle does not match a predetermined trajectory When,
A command receiving unit that receives a command from the cell pointer device,
A storage unit;
A recording processing unit that generates identification information of the vehicle recognized based on the distance image, and records information including the identification information and time information about the recognized vehicle in the storage unit;
A second monitoring processing unit that executes a process corresponding to the received command and executes a second monitoring process for detecting a second abnormality from a result of the process corresponding to the command;
A determination unit configured to determine and execute a process to be executed according to the first abnormality detected in the first monitoring processing unit and the second abnormality detected in the second monitoring processing unit;
A communication interface unit for daisy chain connection for transmitting the information stored in the storage unit;
A vehicle surveillance camera characterized by comprising:
前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、
前記距離画像に基づき、停止物体の検出、あるいは前記車両の位置の変化である軌跡が所定の軌跡との不一致の検出を行う第1の監視処理を実行する第1の監視処理部と、
記憶部と、
前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、その認識された車両についての時刻情報とを含む情報を前記記憶部に記録する記録処理部と、
前記距離画像に基づいて、前記停止物体が前記車両である場合は、前記車両の破損状況、位置、向き、大きさの少なくとも1つを検出し、前記停止物体が人である場合は、前記人の位置、姿勢、立っているのか横になっているのか、の少なくとも1つを検出する第2の監視処理を実行する第2の監視処理部と、
前記記憶部に記憶された前記情報を送信するための、デイジーチェーン接続用通信インターフェース部と、
を有することを特徴とする車両用監視カメラ。 A plurality of imaging units for imaging the traffic situation of the vehicle ;
A distance image generation unit for generating data of a distance image from a plurality of images obtained by the plurality of imaging units;
A first monitoring processing unit that executes a first monitoring process based on the distance image to detect a stopped object or to detect a mismatch between a locus that is a change in the position of the vehicle and a predetermined locus;
A storage unit;
A recording processing unit that generates identification information of the vehicle recognized based on the distance image, and records information including the identification information and time information about the recognized vehicle in the storage unit;
Based on the distance image, when the stop object is the vehicle, at least one of the damage status, position, orientation, and size of the vehicle is detected, and when the stop object is a person , the person A second monitoring processing unit for executing a second monitoring process for detecting at least one of the position, posture, standing or lying down,
A communication interface unit for daisy chain connection for transmitting the information stored in the storage unit;
A vehicle surveillance camera characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247686A JP5634222B2 (en) | 2010-11-04 | 2010-11-04 | Traffic vehicle monitoring system and vehicle monitoring camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247686A JP5634222B2 (en) | 2010-11-04 | 2010-11-04 | Traffic vehicle monitoring system and vehicle monitoring camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012099013A JP2012099013A (en) | 2012-05-24 |
JP5634222B2 true JP5634222B2 (en) | 2014-12-03 |
Family
ID=46390831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010247686A Expired - Fee Related JP5634222B2 (en) | 2010-11-04 | 2010-11-04 | Traffic vehicle monitoring system and vehicle monitoring camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5634222B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101686225B1 (en) * | 2016-03-04 | 2016-12-13 | (주)송우인포텍 | Roadway Control System and Vehicle Identification Method Using the Same |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5605178B2 (en) * | 2010-11-10 | 2014-10-15 | サクサ株式会社 | Traffic vehicle monitoring system and vehicle monitoring camera |
JP6065210B2 (en) * | 2013-01-28 | 2017-01-25 | サクサ株式会社 | Imaging apparatus and imaging system |
JP6024480B2 (en) * | 2013-01-28 | 2016-11-16 | サクサ株式会社 | Imaging apparatus and imaging system |
CN107991712B (en) * | 2017-10-25 | 2024-03-19 | 深圳市日联科技有限公司 | Nanometer wave detecting system based on separation of people, vehicles and cabinets of Internet of things |
KR102111363B1 (en) * | 2018-09-03 | 2020-05-15 | 주식회사 월드씨엔에스 | Accident monitoring system in tunnel using camera grouping of IoT based |
CN112804489B (en) * | 2020-12-31 | 2023-02-17 | 重庆文理学院 | Intelligent construction site management system and method based on Internet + |
JP7363838B2 (en) * | 2021-03-02 | 2023-10-18 | トヨタ自動車株式会社 | Abnormal behavior notification device, abnormal behavior notification system, abnormal behavior notification method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3710548B2 (en) * | 1996-05-08 | 2005-10-26 | 松下電器産業株式会社 | Vehicle detection device |
JPH11234655A (en) * | 1998-02-19 | 1999-08-27 | Secom Co Ltd | Image supervisory system |
JP2004220102A (en) * | 2003-01-09 | 2004-08-05 | Sumitomo Electric Ind Ltd | Image processing device and method and vehicle monitoring system |
-
2010
- 2010-11-04 JP JP2010247686A patent/JP5634222B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101686225B1 (en) * | 2016-03-04 | 2016-12-13 | (주)송우인포텍 | Roadway Control System and Vehicle Identification Method Using the Same |
Also Published As
Publication number | Publication date |
---|---|
JP2012099013A (en) | 2012-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5634222B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
JP5516343B2 (en) | Traffic vehicle monitoring system | |
JP5516344B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
US20220270376A1 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
EP3862991B1 (en) | Information processing method and information processing system | |
KR100835085B1 (en) | A real time processing system and method of a traffic accident using an unmanned recording device | |
JP2000244897A (en) | State recognition system and state recognition display generation method | |
EP3862990B1 (en) | Information processing method, and information processing system | |
JPWO2017115598A1 (en) | Video transmission device, video transmission method, and program | |
JP2020166541A (en) | Accident responsibility identifying method, operation assisting method, accident responsibility identifying device, and computer program | |
JP6920776B2 (en) | Monitoring support system and monitoring support method | |
JP5502700B2 (en) | Traffic vehicle monitoring system and traffic vehicle monitoring device | |
KR20140108035A (en) | System and method for managing car parking | |
CN102834848A (en) | Method for visualizing zones of higher activity in monitoring scenes | |
US20240087371A1 (en) | Information processing method and information processing system | |
KR102111363B1 (en) | Accident monitoring system in tunnel using camera grouping of IoT based | |
JP5605178B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
JP2007265322A (en) | Gate illegal passing recording system and gate illegal passing information collecting system | |
TWI529667B (en) | Multi - computer vision recognition system for cross - traffic obstacle | |
JP7107596B2 (en) | Station monitoring system and station monitoring method | |
JP2006329706A (en) | Distance-measuring device and distance measurement method | |
JP2011258068A (en) | Traffic information provision system | |
JP2018192844A (en) | Monitoring device, monitoring system, monitoring program, and storage medium | |
KR20180119344A (en) | Region monitoring apparatus and method for monitoring region thereby | |
JP2000331279A (en) | Wide area monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5634222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |