JP7141842B2 - monitoring device - Google Patents

monitoring device Download PDF

Info

Publication number
JP7141842B2
JP7141842B2 JP2018068414A JP2018068414A JP7141842B2 JP 7141842 B2 JP7141842 B2 JP 7141842B2 JP 2018068414 A JP2018068414 A JP 2018068414A JP 2018068414 A JP2018068414 A JP 2018068414A JP 7141842 B2 JP7141842 B2 JP 7141842B2
Authority
JP
Japan
Prior art keywords
tracking
photographing
moving object
moving
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018068414A
Other languages
Japanese (ja)
Other versions
JP2019180025A (en
JP2019180025A5 (en
Inventor
一樹 長澤
俊輔 加藤
裕平 那須
大吾 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2018068414A priority Critical patent/JP7141842B2/en
Publication of JP2019180025A publication Critical patent/JP2019180025A/en
Publication of JP2019180025A5 publication Critical patent/JP2019180025A5/ja
Application granted granted Critical
Publication of JP7141842B2 publication Critical patent/JP7141842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、監視領域内を移動する物体の位置に応じて撮影方向を変え、物体を追尾撮影する監視装置に関する。 TECHNICAL FIELD The present invention relates to a monitoring apparatus for tracking and photographing an object moving within a monitoring area by changing the photographing direction according to the position of the object.

従来、レーザセンサなどのエリアセンサ装置を用いて監視領域を走査することで移動物体を検知し、検知した物体の位置に応じてカメラの撮影方向を変え、物体を追尾撮影するシステムが知られている。 Conventionally, there has been known a system that detects a moving object by scanning a monitoring area using an area sensor device such as a laser sensor, changes the shooting direction of the camera according to the position of the detected object, and tracks and shoots the object. there is

当該システムにおいてレーザセンサが複数の物体を検知したときの追尾撮影対象の決定方法として、最も新しく検知した物体を追尾撮影対象とする方法(下記特許文献1)や、重要物の最も近くに存在する物体を追尾撮影対象とする方法(下記特許文献2)が提案されている。 In this system, when the laser sensor detects multiple objects, there is a method for determining the object to be tracked and photographed. A method of tracking and photographing an object has been proposed (Patent Document 2 below).

特開2014-175844号公報JP 2014-175844 A 特開2014-175843号公報JP 2014-175843 A

従来のシステムでは、検知した物体は追尾撮影対象とする物体であることを前提としている。しかし、レーザセンサは人物や車両など複数の種別の物体を検知し得る一方、監視目的等に応じて優先的に追尾撮影すべき物体の種別は異なり得る。例えば、人の通行状況を監視したい場合には種別が人物である物体を優先して撮影すべきである。したがって、検知物体の種別を考慮せずに追尾撮影対象を決定すると、優先して撮影すべき物体を撮影できなくなってしまうおそれがある。 The conventional system assumes that the detected object is an object to be tracked and photographed. However, while laser sensors can detect a plurality of types of objects such as people and vehicles, the types of objects to be tracked and photographed with priority may differ depending on the purpose of monitoring. For example, when it is desired to monitor the traffic of people, an object whose type is a person should be preferentially photographed. Therefore, if the tracking imaging target is determined without considering the type of the detected object, there is a risk that the object that should be preferentially photographed cannot be photographed.

本発明は上記問題点を解決するためになされたものであり、検知物体において追尾撮影対象を好適に設定すること、特に、物体が複数検知された状況にて好適に追尾撮影対象を設定する監視装置を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems. The purpose is to provide an apparatus.

(1)本発明に係る監視装置は、監視領域の移動物体を追尾撮影する装置であって、前記監視領域内で前記移動物体を検知し、当該移動物体の位置を含む検知結果を出力する物体検知部と、撮影方向を変更可能な撮像部と、前記検知結果に基づいて前記撮像部を制御する制御部と、前記検知結果に基づいて前記移動物体の種別を判定する種別判定手段と、前記物体検知部により前記移動物体が1つだけ検知された場合には当該移動物体をその前記種別によらず追尾撮影対象に設定し、一方、前記移動物体が複数検知された場合には前記種別ごとに予め設定された撮影優先度が高い前記移動物体を優先して追尾撮影対象に設定する撮影対象設定手段と、を備える。 (1) A monitoring device according to the present invention is a device that tracks and photographs a moving object in a monitoring area, detects the moving object within the monitoring area, and outputs detection results including the position of the moving object. a detection unit, an imaging unit capable of changing an imaging direction, a control unit that controls the imaging unit based on the detection result, a type determination unit that determines the type of the moving object based on the detection result, and When only one moving object is detected by the object detection unit, the moving object is set as a tracking photographing target regardless of the type of the moving object, and when a plurality of moving objects are detected, each type is set. a photographing object setting means for preferentially setting the moving object having a high photographing priority set in advance as a tracking photographing object.

(2)上記(1)に記載の監視装置において、前記撮影対象設定手段は、前記監視領域内にて新規に移動物体が検知されるごとに、複数検知された前記移動物体における追尾撮影対象を設定し直す構成とすることができる。 (2) In the monitoring apparatus described in (1) above, each time a moving object is newly detected in the monitoring area, the shooting target setting means selects a tracking shooting target for the plurality of detected moving objects. It can be configured to be reset.

(3)上記(1)及び(2)に記載の監視装置において、前記撮影対象設定手段は、複数の前記移動物体について前記撮影優先度が同等である場合には、当該移動物体のうち現在移動している物体を前記追尾撮影対象に設定する構成とすることができる。 (3) In the monitoring apparatus described in (1) and (2) above, the photographing target setting means, when the plurality of moving objects have the same photographing priority, selects a currently moving object among the moving objects. It is possible to adopt a configuration in which an object that is moving is set as the tracking photographing target.

(4)上記(1)から(3)に記載の監視装置はさらに、前記検知された移動物体ごとに、予め定めた特徴量を評価して追尾撮影の対象らしさを示す撮影対象可能性を求める評価手段を備え、前記撮影対象設定手段は、複数の前記移動物体について前記撮影優先度が同等である場合には、当該移動物体のうち、前記撮影対象可能性が高い移動物体を優先して追尾撮影対象に設定する構成とすることができる。 (4) The monitoring apparatus described in (1) to (3) above further evaluates a predetermined feature amount for each of the detected moving objects to obtain a shooting target possibility that indicates the likelihood of a tracking shooting target. Evaluation means is provided, and the imaging target setting means preferentially tracks a moving object having a high possibility of being the imaging target among the moving objects when the imaging priority is the same for a plurality of the moving objects. It can be configured to be set as an object to be photographed.

(5)上記(1)から(4)に記載の監視装置はさらに、前記検知された移動物体ごとに、予め定めた特徴量に基づいて所定の発報条件を満たす侵入物体であるか否かを判定する判定手段を備え、前記撮影対象設定手段は、前記判定手段により前記侵入物体と判定された移動物体を前記撮影優先度によらず前記追尾撮影対象に設定し、前記侵入物体と判定されていない移動物体のみ存在する場合には、前記撮影優先度に応じて追尾撮影対象を設定する構成とすることができる。 (5) The monitoring device described in (1) to (4) further determines whether or not each detected moving object is an intruding object that satisfies a predetermined reporting condition based on a predetermined feature value. and the imaging target setting means sets the moving object determined as the intruding object by the determining means to be the tracking imaging target regardless of the imaging priority, and sets the moving object as the intruding object. If there is only a moving object that has not been determined, a configuration can be adopted in which a tracking photographing target is set according to the photographing priority.

(6)上記(1)から(5)に記載の監視装置において、前記種別判定手段は、前記種別として人物と車両とを少なくとも判定し、前記撮影対象設定手段は、前記車両の撮影優先度が前記人物の撮影優先度よりも高く設定されている場合であっても、前記追尾撮影対象に設定されている車両から所定範囲内で新規に人物を検知した場合には、当該人物に追尾撮影対象を切り替える構成とすることができる。 (6) In the monitoring apparatus described in (1) to (5) above, the type determination means determines at least a person and a vehicle as the types, and the imaging target setting means determines that the imaging priority of the vehicle is: Even if the shooting priority is set higher than that of the person, when a new person is detected within a predetermined range from the vehicle set as the tracking shooting target, the person is set as the tracking shooting target. can be configured to switch between.

本発明によれば、検知物体において追尾撮影対象を好適に設定すること、特に、物体が複数検知された状況にて好適に追尾撮影対象を設定することが可能となる。 According to the present invention, it is possible to preferably set a tracking shooting target for a detected object, particularly in a situation where a plurality of objects are detected, preferably set a tracking shooting target.

本発明の実施形態に係る監視システムの概略の構成を示す模式図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a schematic diagram which shows the structure of the outline of the monitoring system which concerns on embodiment of this invention. 本発明の実施形態に係る監視装置の概略の構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a monitoring device according to an embodiment of the present invention; FIG. 本発明の実施形態に係る監視装置の追尾撮影に関する制御の概略のフロー図である。FIG. 4 is a schematic flow diagram of control related to tracking imaging of the monitoring device according to the embodiment of the present invention; 追尾撮影対象設定手段による処理例を説明する模式図である。FIG. 5 is a schematic diagram for explaining an example of processing by a tracking imaging target setting unit; 追尾撮影対象設定手段による処理例を説明する模式図である。FIG. 5 is a schematic diagram for explaining an example of processing by a tracking imaging target setting unit;

以下、本発明の実施の形態(以下実施形態という)として、本発明に係る監視装置を含んで構成される監視システム1について、図面に基づいて説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS A monitoring system 1 including a monitoring device according to the present invention will be described below as an embodiment (hereinafter referred to as an embodiment) of the present invention with reference to the drawings.

図1は実施形態に係る監視システム1の概略の構成を示す模式図である。監視システム1は監視装置2と監視センタ3とを含んで構成される。監視装置2と監視センタ3とは通信可能に接続される。 FIG. 1 is a schematic diagram showing a schematic configuration of a monitoring system 1 according to an embodiment. A monitoring system 1 includes a monitoring device 2 and a monitoring center 3 . The monitoring device 2 and the monitoring center 3 are communicably connected.

監視装置2は、監視対象である監視領域4が設定される場所、建物等に設置され、監視領域4の移動物体(人物、車両など)を追尾撮影する。監視装置2は物体検知部5、撮像部6及び制御部7を含んで構成され、これらのうち少なくとも物体検知部5及び撮像部6は監視領域4を臨む位置に設置される。例えば、監視領域4は屋外に設定され、物体検知部5及び撮像部6は建物の外壁面や、監視領域4に隣接して立設されたポール等に設置される。一方、制御部7は監視領域4内の所定箇所や監視領域4の近傍などに設置され、例えば、LANなどを介して物体検知部5及び撮像部6と接続される。制御部7は物体検知部5及び撮像部6に近接した場所に設置することもできるし、物体検知部5及び撮像部6は屋外に設置して制御部7は屋内に設置するというように、物体検知部5及び撮像部6から分離した位置に置くこともできる。また、制御部7の各機能は、物体検知部5や撮像部6に備えるようにしてもよい。 The monitoring device 2 is installed in a place, a building, or the like, where a monitoring area 4 to be monitored is set, and tracks and photographs a moving object (person, vehicle, etc.) in the monitoring area 4 . The monitoring device 2 includes an object detection unit 5 , an imaging unit 6 and a control unit 7 , and at least the object detection unit 5 and the imaging unit 6 are installed at positions facing the monitoring area 4 . For example, the monitoring area 4 is set outdoors, and the object detection unit 5 and the imaging unit 6 are installed on an outer wall surface of a building, a pole erected adjacent to the monitoring area 4, or the like. On the other hand, the control unit 7 is installed at a predetermined location within the monitoring area 4 or in the vicinity of the monitoring area 4, and is connected to the object detection unit 5 and the imaging unit 6 via a LAN, for example. The control unit 7 can be installed in a place close to the object detection unit 5 and the imaging unit 6, or the object detection unit 5 and the imaging unit 6 can be installed outdoors, and the control unit 7 can be installed indoors. It can also be placed at a position separated from the object detection unit 5 and the imaging unit 6 . Also, each function of the control unit 7 may be provided in the object detection unit 5 and the imaging unit 6 .

監視領域4は、例えば監視装置2を中心とした半径数十メートル〔m〕(例えば20mなど)の半円状に設定される。このように設定された監視領域4においては、汎用のカメラではカメラから離れた位置で検知した物体の解像度がそれほど高くなく物体の情報を十分に得られないため、適切にズーム制御をする必要が生じてくる。なお、監視領域はこの例に限定されるものではなく警備のプランニングにより適宜定められる。 The monitoring area 4 is set, for example, in a semicircular shape with a radius of several tens of meters [m] (for example, 20 m) around the monitoring device 2 . In the monitoring area 4 set in this way, the resolution of an object detected at a position distant from the camera is not so high with a general-purpose camera, and sufficient information about the object cannot be obtained, so it is necessary to perform zoom control appropriately. arise. It should be noted that the monitoring area is not limited to this example, and can be appropriately determined according to security planning.

物体検知部5は監視領域4内で移動物体を検知し、当該移動物体の位置を含む検知結果を出力する。また、物体検知部5は、監視領域4内で発生した異常事象(例えば監視領域4への不審な人物や車両などの侵入)を検知すると、制御部7に後述のトラッキング情報を送信する。 An object detection unit 5 detects a moving object within the monitoring area 4 and outputs a detection result including the position of the moving object. When the object detection unit 5 detects an abnormal event that has occurred within the monitoring area 4 (for example, a suspicious person or vehicle enters the monitoring area 4), the object detection unit 5 transmits tracking information, which will be described later, to the control unit 7.

撮像部6は制御部7からのカメラ制御コマンドに従ってカメラ制御を行い、監視領域4に侵入した物体の動きを追いながら撮影する。 The imaging unit 6 performs camera control in accordance with the camera control command from the control unit 7, and photographs the movement of an object that has entered the surveillance area 4 while tracking it.

制御部7は当該物体のトラッキング情報に基づき、撮像部6への制御指示としてカメラ制御コマンドを生成する。 The control unit 7 generates a camera control command as a control instruction to the imaging unit 6 based on the tracking information of the object.

監視センタ3は警備会社などが運営する施設であり、通常、1又は複数のコンピュータで構成されるセンタ装置が設置されている。また、監視センタ3は、1又は複数の監視装置2とネットワークを介して接続される。監視センタ3では、センタ装置により例えば、各種機器を制御し、監視装置2から受信した異常信号を記録するとともに、異常の情報や撮像部6で撮像された撮影画像をディスプレイに表示し、監視員が監視領域を監視している。 The monitoring center 3 is a facility operated by a security company or the like, and is usually equipped with a center device composed of one or more computers. Also, the monitoring center 3 is connected to one or more monitoring devices 2 via a network. In the monitoring center 3, for example, various devices are controlled by the center device, abnormal signals received from the monitoring device 2 are recorded, and abnormal information and images captured by the imaging unit 6 are displayed on the display. is monitoring the surveillance area.

図2は監視装置2の概略の構成を示すブロック図である。以下、図2に示す監視装置2の構成を説明する。 FIG. 2 is a block diagram showing a schematic configuration of the monitoring device 2. As shown in FIG. The configuration of the monitoring device 2 shown in FIG. 2 will be described below.

物体検知部5はエリアセンサ装置を含み、例えば、ビーム状の探査信号を用い所定の周期で監視領域4に対する空間走査を行い、光路上にある物体(人物、車両など)にて反射した反射光を受光することで、監視領域4内に存在する物体の位置を検出する。また、物体検知部5は複数時刻における位置の検知結果を用いて、物体の移動速度や移動方向を算出することができる。 The object detection unit 5 includes an area sensor device, for example, performs spatial scanning of the monitoring area 4 at a predetermined cycle using a beam-shaped search signal, and detects reflected light reflected by an object (person, vehicle, etc.) on the optical path. is received, the position of an object existing within the monitoring area 4 is detected. In addition, the object detection unit 5 can calculate the moving speed and moving direction of the object using the position detection results obtained at a plurality of times.

物体検知部5は通信手段51、記憶手段52、検知手段53、追跡手段54、制御手段55を備える。 The object detection unit 5 includes communication means 51 , storage means 52 , detection means 53 , tracking means 54 and control means 55 .

通信手段51は制御部7と接続され、制御部7から出力される警備開始信号及び警備解除信号を受信して制御手段55に当該信号を入力する。また、通信手段51は、検知手段53にて監視領域4における移動物体の存在が判定されると、自己のアドレス情報を含む検出信号を制御部7に送信する。例えば、検出信号として、トラッキング情報が制御部7に送信される。 The communication means 51 is connected to the control section 7 , receives a guard start signal and a guard release signal output from the control section 7 , and inputs the signals to the control section 55 . Further, when the presence of a moving object in the monitoring area 4 is determined by the detection means 53 , the communication means 51 transmits a detection signal including its own address information to the control section 7 . For example, tracking information is transmitted to the control unit 7 as a detection signal.

記憶手段52はHDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)などで構成される記憶装置であり、各種設定情報や、物体検知部5を動作させるためのプログラムなどを記憶する。例えば、記憶手段52には物体検知部5自身を特定するためのアドレス情報が記憶される。また、記憶手段52には、物体検知部5にて監視すべき範囲として設定された監視領域4を示す監視領域情報と、検知手段53にて生成された基準データと、検知手段53にて取得された過去所定周期分の測定データ及び移動物体(侵入物体)のトラッキング情報とが記憶される。 The storage means 52 is a storage device composed of a HDD (Hard Disk Drive), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and stores various setting information, programs for operating the object detection unit 5, and the like. memorize For example, the storage unit 52 stores address information for specifying the object detection unit 5 itself. In the storage means 52, monitoring area information indicating the monitoring area 4 set as the range to be monitored by the object detection unit 5, reference data generated by the detection means 53, and data obtained by the detection means 53 are stored. Measured data for a predetermined period in the past and tracking information of a moving object (intruding object) are stored.

ここで、基準データは、移動物体を追跡するトラッキング処理において、監視領域4に新規に出現した移動物体を抽出するために現在の測定データと比較されるデータである。具体的には、基準データは、検知手段53による走査開始後から現在までの何れかの過去時点で取得された測定データから生成される。例えば、監視領域4に移動物体が存在しない状態における走査で取得された植栽や外壁などの既設物が基準データとして用いられる。基準データは例えば、角度(方向)に距離を対応付けたテーブルの形式で記憶することができる。 Here, the reference data is data that is compared with the current measurement data in order to extract a moving object newly appearing in the monitoring area 4 in tracking processing for tracking a moving object. Specifically, the reference data is generated from the measurement data acquired at any past time from the start of scanning by the detection means 53 to the present. For example, an existing object such as a plant or an outer wall acquired by scanning while there is no moving object in the monitoring area 4 is used as the reference data. The reference data can be stored, for example, in the form of a table that associates angles (directions) with distances.

トラッキング情報は、監視領域4に新規に出現した移動物体を複数周期に渡り追跡するトラッキング処理に用いられる情報であり、移動物体の検知位置や大きさ、形状などからなる。また、トラッキング情報は評価手段74が撮影対象可能性を求める際にも用いられる。トラッキング情報は、移動物体同士を区別する識別子(物体ID)と、移動物体(物体ID)ごとに当該物体が監視領域に初めて出現した位置、大きさ及び形状と、現在までの各周期における位置、大きさ及び形状とが時系列に対応づけられている。また、トラッキング情報には移動物体の種別情報(車両、人物等)や移動物体を最初に検知してからの経過時間(追跡時間)を対応付けてもよい。 The tracking information is information used in tracking processing for tracking a moving object newly appearing in the monitoring area 4 over a plurality of cycles, and consists of the detected position, size, shape, and the like of the moving object. The tracking information is also used when the evaluation means 74 obtains the possibility of an object to be photographed. The tracking information includes an identifier (object ID) for distinguishing moving objects from each other, the position, size, and shape of each moving object (object ID) at which the object first appeared in the monitoring area, the position in each cycle up to the present, The size and shape are associated in chronological order. Further, the tracking information may be associated with the type information of the moving object (vehicle, person, etc.) and the elapsed time after the first detection of the moving object (tracking time).

検知手段53は基本的に監視領域4を周期的に走査して、監視領域4に存在する物体を検知するとともに及び当該物体の位置を算出する手段である。本実施形態では検知手段53はレーザセンサを用いて構成され、探査信号としてレーザ光を出射する。例えば、レーザセンサは、監視領域4における検知対象にレーザ光が照射されるように、レーザ光の出射方向が水平または一定の俯角を有するように設置される。 The detection means 53 is basically means for periodically scanning the monitoring area 4 to detect an object present in the monitoring area 4 and calculating the position of the object. In this embodiment, the detection means 53 is configured using a laser sensor, and emits a laser beam as a search signal. For example, the laser sensor is installed so that the direction of emission of the laser light is horizontal or has a certain depression angle so that the detection target in the monitoring area 4 is irradiated with the laser light.

具体的には検知手段53は、レーザセンサを中心として監視領域4を臨む水平方向の角度範囲に対して所定周期(例えば60ミリ秒)で走査を繰り返す。検知手段53による測距は、走査角度範囲内にて所定の角度ステップ(例えば0.25゜)ごとに飛行時間法(TOF法:Time of Flight)を用いて行われる。すなわち、レーザパルスの出射から受光までに要する時間を計測し、当該時間と光速度とからレーザを反射した物体までの距離が算定される。 Specifically, the detection means 53 repeats scanning at a predetermined cycle (for example, 60 milliseconds) in a horizontal angular range facing the monitoring area 4 centering on the laser sensor. Distance measurement by the detection means 53 is performed using the time of flight method (TOF method) at predetermined angular steps (for example, 0.25°) within the scanning angle range. That is, the time required from the emission of the laser pulse to the light reception is measured, and the distance to the object that reflected the laser is calculated from the measured time and the speed of light.

検知手段53による測定データは走査角(方位)と距離とで表され、レーザセンサを視点とした物体上のレーザ光反射点の位置が当該測定データで与えられる。具体的には、測定データは、レーザ光の送受信の角度(方向)と反射点までの距離とを対応付けた複数の測定点データの集まりからなる情報である。なお、所定時間内に反射光が返って来ない場合には、レーザ光の照射可能な距離内に物体がないと考えることができ、検知手段53は距離として所定の擬似データ(例えば、監視領域4の外周までの距離値、レーザ光による有効測定距離以上の適当な値等)を設定する。 The measurement data obtained by the detection means 53 is represented by a scanning angle (azimuth) and a distance, and the position of the laser light reflection point on the object with the laser sensor as the viewpoint is given by the measurement data. Specifically, the measurement data is information consisting of a collection of a plurality of measurement point data in which the angle (direction) of transmission and reception of the laser light and the distance to the reflection point are associated with each other. If the reflected light does not return within a predetermined time, it can be considered that there is no object within the range where the laser beam can be irradiated, and the detection means 53 uses predetermined pseudo data (for example, monitoring area) as the distance. 4, an appropriate value greater than the effective measurement distance by laser light, etc.) are set.

また、検知手段53は、現在の測定データと基準データとを比較して監視領域4に出現した移動物体を検出する。具体的には、現在の測定データから得られる走査角度ごとの距離値と基準データに記憶された角度ごとの距離値との差分を、対応する角度ごとに算出して、距離値が変化した角度における現在の測定データの測定点を検出点とする。そして、検出点群のうち、同一の被測定物により距離値が変化したと考えられる近接する検出点を測距データとしてグループ化し、移動物体として検出する。また、移動物体の大きさとして、グループ化された検出点のうち両端点の角度と距離とから両端点間の実空間上での長さ、すなわち、現在における移動物体の幅を算出する。また、移動物体の形状として、グループ化された検出点における距離のばらつきにより、現在における移動物体の直線性を算出する。具体的には、距離のばらつきが大きくなるのは、物体表面に凹凸がある場合などであることから、距離のばらつきが大きい場合には直線性が低い形状とする。なお、移動物体の大きさや形状は、後述の評価手段74において同様の方法を用いて算出してもよい。 Further, the detection means 53 detects a moving object appearing in the monitoring area 4 by comparing the current measurement data and the reference data. Specifically, the difference between the distance value for each scanning angle obtained from the current measurement data and the distance value for each angle stored in the reference data is calculated for each corresponding angle, and the angle at which the distance value has changed is calculated. Let the measurement point of the current measurement data at be the detection point. Then, among the detection point group, adjacent detection points whose distance value is considered to have changed due to the same object to be measured are grouped as distance measurement data and detected as a moving object. Also, as the size of the moving object, the length in the real space between the end points of the grouped detection points, that is, the current width of the moving object, is calculated from the angles and distances of the end points. Also, as the shape of the moving object, the current linearity of the moving object is calculated based on the variation in the distance at the grouped detection points. Specifically, since the variation in distance becomes large when the surface of the object is uneven, a shape with low linearity is used when the variation in distance is large. Note that the size and shape of the moving object may be calculated by the evaluation means 74, which will be described later, using a similar method.

なお、検知手段53はレーザセンサに限定されず、超音波センサなど、物体の位置を検知可能な種々のセンサを用いて構成することができる。 Note that the detection means 53 is not limited to a laser sensor, and can be configured using various sensors capable of detecting the position of an object, such as an ultrasonic sensor.

追跡手段54は、前回周期及び現周期で検出された移動物体間の対応付けを行ってトラッキング情報を生成・更新し、これを用いて移動物体を追跡する。当該対応付けは、距離と大きさなどにより行う。すなわち、両周期で検出された物体間の距離が閾値以内で、かつ大きさの変動が閾値以内である場合に、両周期における移動物体が同一の物体として対応付けられる。 The tracking means 54 associates the moving objects detected in the previous cycle and the current cycle to generate and update tracking information, and uses this to track the moving object. The association is made based on distance, size, and the like. That is, when the distance between objects detected in both cycles is within the threshold and the variation in size is within the threshold, the moving objects in both cycles are associated as the same object.

制御手段55はCPU(Central Processing Unit)、ROM、RAM等からなるマイクロコンピュータ及びその周辺回路で構成され、マイクロコンピュータが記憶手段52からプログラムを読み出して実行することで物体検知部5を制御する。 The control means 55 is composed of a microcomputer comprising a CPU (Central Processing Unit), ROM, RAM, etc. and its peripheral circuits.

制御手段55は、通信手段51を介して制御部7から警備開始信号が入力されると検知手段53に駆動信号を出力し、検知手段53の駆動を開始させる。これにより、検知手段53におけるレーザ光の出射や、レーザ光の走査角を変化させる走査鏡の駆動などが開始される。一方、制御手段55は、制御部7から警備解除信号が入力されると検知手段53に駆動停止信号を出力し、その時点での走査が終了すると検知手段53の駆動を停止させる。これにより、レーザ光の出射や走査鏡の駆動などが停止される。 The control means 55 outputs a drive signal to the detection means 53 when a guard start signal is input from the control section 7 via the communication means 51 to start driving the detection means 53 . As a result, the detection means 53 starts emitting laser light, driving a scanning mirror for changing the scanning angle of the laser light, and the like. On the other hand, the control means 55 outputs a drive stop signal to the detection means 53 when the security release signal is input from the control section 7, and stops the driving of the detection means 53 when the scanning at that time is completed. As a result, the emission of laser light, the driving of the scanning mirror, and the like are stopped.

撮像部6は、移動物体を追尾撮影するために撮影方向を変更可能である。また撮像部6は、監視装置2から距離が遠い物体などについて十分な解像度の物体像を得るために、ズーム制御が可能である。つまり、本実施形態の撮像部6はパン、チルト及びズーム(PTZ)の制御が可能なカメラ(PTZカメラ)を用いて構成され、物体検知部5で検知した移動物体のトラッキング情報に基づく制御部7の指示により、移動物体が画角内に収まるように、特に、画角中央にくるように、PTZ制御を行い移動物体を撮像する。なお、撮像部6のカメラは、上述のように物体検知部5のレーザセンサと共に監視領域4を臨む位置に設置される。ここで、撮像部6は物体検知部5と同じ位置に設置することもできるし、また、物体検知部5に対し上下方向にずれた位置や、その他、物体検知部5近傍の別の場所に設置されてもよい。 The imaging unit 6 can change the imaging direction in order to track and photograph a moving object. In addition, the imaging unit 6 can perform zoom control in order to obtain an object image with sufficient resolution for an object that is far from the monitoring device 2 . In other words, the imaging unit 6 of the present embodiment is configured using a camera (PTZ camera) capable of pan, tilt and zoom (PTZ) control, and the control unit based on the tracking information of the moving object detected by the object detection unit 5 7, the moving object is imaged by performing PTZ control so that the moving object stays within the angle of view, especially in the center of the angle of view. The camera of the imaging unit 6 is installed at a position facing the monitoring area 4 together with the laser sensor of the object detection unit 5 as described above. Here, the imaging unit 6 can be installed at the same position as the object detection unit 5, or at a position shifted in the vertical direction with respect to the object detection unit 5, or at another location near the object detection unit 5. may be installed.

撮像部6はカメラ駆動手段61、撮像手段62、通信手段63、記憶手段64を備える。 The imaging unit 6 includes camera driving means 61 , imaging means 62 , communication means 63 and storage means 64 .

カメラ駆動手段61は、カメラの撮影方向(パン、チルト)を変化させる駆動機構、及びカメラのズームレンズを駆動し画角を変化させる駆動機構を含み、制御部7からの制御指示に基づいてそれら駆動機構を動作させ、パン、チルトの制御やズーム制御を行う。 The camera drive means 61 includes a drive mechanism for changing the photographing direction (pan, tilt) of the camera and a drive mechanism for driving the zoom lens of the camera to change the angle of view. It operates the drive mechanism to control panning, tilting, and zooming.

撮像手段62は例えば撮像素子を用いたカメラで構成され、監視領域や移動物体を撮影する。 The image capturing means 62 is composed of, for example, a camera using an image sensor, and captures images of the monitored area and moving objects.

通信手段63は制御部7からのカメラ制御信号を受信する。また、通信手段63は撮像手段62による撮影画像を、制御部7を介して監視センタ3に送信する。 A communication unit 63 receives a camera control signal from the control unit 7 . Further, the communication means 63 transmits the image captured by the imaging means 62 to the monitoring center 3 via the control section 7 .

記憶手段64はHDD、ROM、RAMなどで構成される記憶装置であり、撮影画像を記憶する。また、記憶手段64はカメラのホームポジション(移動物体を検知していないときの画角)を記憶する。 A storage unit 64 is a storage device configured by an HDD, ROM, RAM, etc., and stores captured images. Further, the storage means 64 stores the home position of the camera (angle of view when no moving object is detected).

制御部7は物体検知部5及び撮像部6と通信可能に接続され、それらに制御信号を出力し、またそれらから検知信号や撮影画像が入力される。また、制御部7は遠隔の監視センタ3と通信可能に接続され、監視センタ3から監視装置2に対する制御信号を受信して動作したり、監視領域4に関し検知された異常信号や撮影画像を監視センタ3へ送信したりする。例えば、制御部7と監視センタ3との間の通信は、インターネット等の広域ネットワーク(WAN)上に構築された仮想専用ネットワーク(VPN)を介して行うことができる。 The control unit 7 is communicably connected to the object detection unit 5 and the imaging unit 6, outputs control signals to them, and receives detection signals and captured images from them. The control unit 7 is communicably connected to a remote monitoring center 3, receives control signals from the monitoring center 3 for the monitoring device 2, and monitors abnormal signals and photographed images detected in the monitoring area 4. It is transmitted to the center 3. For example, communication between the control unit 7 and the monitoring center 3 can be performed via a virtual private network (VPN) built on a wide area network (WAN) such as the Internet.

また、例えば、監視装置2に備えた操作部にて利用者が監視領域4の監視を開始又は解除するための操作を行ったり、監視センタ3から監視の開始又は解除の指示を受信したりすることにより、制御部7は監視領域4の監視状態を開始又は解除に設定し、警備開始信号又は警備解除信号を物体検知部5に送信する。 Further, for example, a user performs an operation for starting or canceling monitoring of the monitoring area 4 using an operation unit provided in the monitoring device 2, or receives an instruction to start or cancel monitoring from the monitoring center 3. As a result, the control unit 7 sets the monitoring state of the monitoring area 4 to start or cancel, and transmits a security start signal or security cancellation signal to the object detection unit 5 .

制御部7は通信手段71、記憶手段72、カメラ制御手段73、評価手段74、種別判定手段75及び追尾撮影対象設定手段76を含んで構成される。制御部7はCPU、ROM、RAM等からなるマイクロコンピュータ及びその周辺回路で構成され、マイクロコンピュータが記憶手段72からプログラムを読み出して実行することで記憶手段72、カメラ制御手段73、評価手段74、種別判定手段75、追尾撮影対象設定手段76などとして機能する。 The control unit 7 includes communication means 71 , storage means 72 , camera control means 73 , evaluation means 74 , type determination means 75 and tracking imaging target setting means 76 . The control unit 7 is composed of a microcomputer comprising a CPU, a ROM, a RAM, etc. and its peripheral circuits. It functions as type determining means 75, tracking imaging target setting means 76, and the like.

通信手段71は、監視装置2内における物体検知部5及び撮像部6と制御部7との間の通信、並びに監視センタ3との通信を行う。例えば、通信手段71は、物体検知部5へ警備開始信号又は警備解除信号を送信する。また、監視センタ3に対しては、監視領域4に関し異常が検知された際に生成される異常信号や、撮影画像を送信する。 The communication unit 71 performs communication between the object detection unit 5 and the imaging unit 6 and the control unit 7 in the monitoring device 2 and communication with the monitoring center 3 . For example, the communication means 71 transmits a security start signal or a security release signal to the object detection unit 5 . Further, to the monitoring center 3, an abnormality signal generated when an abnormality is detected in the monitoring area 4 and a photographed image are transmitted.

記憶手段72はHDD、ROM、RAMなどで構成される記憶装置であり、各種設定情報や、制御部7を動作させるためのプログラムなどを記憶する。例えば、記憶手段72は物体のトラッキング情報を蓄積する。また、物体検知部5と撮像部6との相対位置も記憶手段72に予め記憶される。 The storage unit 72 is a storage device configured by HDD, ROM, RAM, etc., and stores various setting information, programs for operating the control unit 7, and the like. For example, the storage means 72 stores object tracking information. Also, the relative positions of the object detection unit 5 and the imaging unit 6 are stored in advance in the storage unit 72 .

カメラ制御手段73は物体のトラッキング情報から得られる検知位置や移動速度に基づいて、撮像部6に制御指示(PTZの制御量やその速度)を与える信号を生成する。撮影方向(パン、チルト)の制御では、物体が画角の中央に写るようにし、ズーム制御では所定の大きさで物体が写るようにすることが好ましい。ズーム制御は検知物体の位置(物体までの距離)に基づいて行い、基本的に、撮像部6から物体までの距離が遠いほどズーム倍率を上げてズームインするように制御し、一方、当該距離が近いほどズーム倍率を下げてズームアウトするように制御する。さらに、ズーム制御においては物体の移動速度も考慮することが好ましい。具体的には、高速の物体ほどズームアウトして撮影する。 The camera control means 73 generates a signal for giving a control instruction (PTZ control amount and its speed) to the imaging unit 6 based on the detected position and movement speed obtained from the tracking information of the object. It is preferable that the imaging direction (pan, tilt) control is performed so that the object appears in the center of the angle of view, and the zoom control is performed so that the object appears at a predetermined size. Zoom control is performed based on the position of the detected object (distance to the object). Control is performed so that the closer the object is, the lower the zoom magnification is. Furthermore, it is preferable to consider the moving speed of the object in the zoom control. Specifically, the faster the object is, the more the object is zoomed out and photographed.

評価手段74は、物体検知部5で検知された移動物体ごとに、その予め定めた特徴量を評価して追尾撮影の対象らしさを示す撮影対象可能性を求める。撮影対象可能性は、「0~100%」のように数値で定義してもよいし、「高・中・低」のようなレベル、段階で定義してもよい。この評価は、新規に移動物体を検知したときや所定時間ごとに行うことができる。 The evaluation unit 74 evaluates a predetermined feature amount for each moving object detected by the object detection unit 5, and obtains a shooting target possibility indicating the likelihood of a tracking shooting target. The imaging target possibility may be defined numerically such as "0 to 100%", or may be defined by levels or stages such as "high/middle/low". This evaluation can be performed when a new moving object is detected or at predetermined time intervals.

本実施形態では、人物や車両が追尾撮影の対象であり、評価する特徴量として移動物体の大きさや形状等の指標を用いて、移動物体が人物あるいは車両である確からしさ(人らしさ、車らしさ)を示す撮影対象可能性を求める。 In the present embodiment, a person or a vehicle is the object of tracking and photographing, and indices such as the size and shape of a moving object are used as feature quantities to be evaluated. ) is obtained.

評価手段74は、記憶手段72に記憶されたトラッキング情報を参照し、評価対象の移動物体についてその大きさや形状を取得し、人物や車両が一般的に有する特徴と比較する。例えば、人物を示す測距データには、物体の幅が所定範囲内(例えば20cm~100cm)、物体表面に凹凸があり直線性が低い(距離のばらつきが所定以上ある)、といった特徴があり、評価手段74は、移動物体の幅や形状が人物の特徴に合致するほど撮影対象可能性(人らしさ)を高く評価する。また、車両を示す測距データには、物体の幅が所定範囲内(例えば1m~5m)、物体表面に直線性が高く、2つの直線が直交している、といった特徴があり、評価手段74は、移動物体の幅や形状が車両の特徴に合致するほど撮影対象可能性(車らしさ)を高く評価する。 The evaluation means 74 refers to the tracking information stored in the storage means 72, acquires the size and shape of the moving object to be evaluated, and compares them with the characteristics generally possessed by people and vehicles. For example, distance measurement data indicating a person has characteristics such as the width of the object being within a predetermined range (for example, 20 cm to 100 cm), and the surface of the object being uneven and having low linearity (variation in distance is greater than a predetermined value). The evaluation means 74 evaluates the photographing target possibility (person-likeness) more highly as the width and shape of the moving object match the characteristics of the person. Further, the distance measurement data indicating the vehicle has characteristics such as the width of the object being within a predetermined range (for example, 1 m to 5 m), the surface of the object being highly linear, and two straight lines intersecting at right angles. , the more the moving object's width and shape match the characteristics of the vehicle, the more likely it is to be photographed (vehicle-likeness).

なお、評価する特徴量として移動速度を用いてもよい。この場合、評価手段74は、トラッキング情報に含まれる移動履歴から移動物体の移動速度を算出し、移動速度が人物や車両の特徴に合致するほど撮影対象可能性を高く評価する。例えば、人物を追尾撮影対象とする場合は、移動速度が時速10km以下に近いほど撮影対象可能性が高くなるように評価し、車両を追尾撮影対象とする場合には、移動速度が時速30~60kmに近いほど撮影対象可能性が高くなるように評価する。 In addition, you may use a moving speed as a feature-value to evaluate. In this case, the evaluation unit 74 calculates the moving speed of the moving object from the movement history included in the tracking information, and evaluates the possibility of being a photographed object more highly as the moving speed matches the characteristics of the person or vehicle. For example, when tracking and photographing a person, evaluation is performed so that the closer the moving speed is to 10 km/h or less, the more likely the object is to be photographed. Evaluation is made so that the closer to 60 km, the higher the possibility of being an object to be photographed.

種別判定手段75は、物体検知部5の検知結果に基づいて移動物体の種別を判定する。本実施形態では種別判定手段75は、検知物体の種別として、車両と人物とを少なくとも判定する。種別判定手段75は検知物体の大きさ、形状、移動速度等を上述した人物や車両が一般的に有する特徴と比較して種別を判定する。例えば、検知物体が所定(例えば1m)以上の大きさ、及び直角を含む形状を有し、かつ移動速度が所定(例えば時速30km)以上であれば、当該検知物体の種別を車と判定することができる。また、検知物体が所定範囲内(例えば20cm~100cm)の大きさで、直線性が低い形状であれば、当該検知物体の種別を人と判定することができる。また、上述の人らしさや車らしさの撮影対象可能性が所定値(例えば「50%」、「中」)以上であることをもって、移動物体の種別を判定してもよい。 The type determination means 75 determines the type of moving object based on the detection result of the object detection section 5 . In this embodiment, the type determining means 75 determines at least vehicle and person as the types of detected objects. The type determination means 75 determines the type by comparing the size, shape, moving speed, etc. of the detected object with the characteristics generally possessed by the person or vehicle described above. For example, if a detected object has a size of a predetermined size (for example, 1 m) or more, a shape including a right angle, and a moving speed of a predetermined speed (for example, 30 km/h) or more, the type of the detected object is determined to be a car. can be done. Also, if the detected object has a size within a predetermined range (for example, 20 cm to 100 cm) and has a shape with low linearity, the type of the detected object can be determined as a person. Further, the type of moving object may be determined based on whether the photographing target probability of the human-likeness or the vehicle-likeness is equal to or higher than a predetermined value (for example, "50%" or "medium").

種別判定手段75が判定する種別に関しては、移動物体を追尾撮影対象として設定する際の優先度(撮影優先度)が予め定められる。つまり、撮影優先度は種別ごとに設定され、基本的に、種別間に優劣を設定する。例えば、人物の撮影優先度「高」、車両の撮影優先度「中」、その他物体の撮影優先度「低」のように設定できる。監視領域における人物の通行状況を監視したい場合には、このように人物の撮影優先度を高く設定することで、人物以外の物体(車両など)を検知した場合であっても、人物を追尾撮影することが可能になる。なお、各種別に対応付けられる撮影優先度は例えば、記憶手段72に予め記憶される。なお、撮影優先度は、時間帯や移動物体の検知状況等に応じて切り替えてもよい。例えば、昼の時間帯は車の撮影優先度「高」、人物の撮影優先度「中」とし、夜の時間帯は人物の撮影優先度「高」、車の撮影優先度「中」に設定する。 Regarding the type determined by the type determining means 75, the priority (imaging priority) when setting a moving object as a tracking imaging target is determined in advance. In other words, the shooting priority is set for each type, and basically, superiority or inferiority is set between the types. For example, it can be set such that the photographing priority of a person is "high", the photographing priority of a vehicle is "middle", and the photographing priority of other objects is "low". If you want to monitor the traffic of people in the monitoring area, by setting the shooting priority of people high in this way, even if an object other than a person (such as a vehicle) is detected, the person can be tracked and shot. it becomes possible to Note that the shooting priority associated with each type is stored in advance in the storage unit 72, for example. Note that the shooting priority may be switched according to the time period, the moving object detection status, and the like. For example, during the daytime, the priority for car photography is set to "high" and the priority for portrait photography is set to "medium." do.

追尾撮影対象設定手段76は本発明の撮影対象設定手段であり、検知物体の種別に関する撮影優先度に基づいて追尾撮影対象にする物体を設定する。追尾撮影対象設定手段76は、物体検知部5により移動物体が1つだけ検知された場合には当該移動物体をその種別によらず追尾撮影対象に設定し、一方、移動物体が複数検知された場合には種別ごとに予め設定された撮影優先度が高い移動物体を優先して追尾撮影対象に設定する。例えば、複数の移動物体のうち種別に関する撮影優先度が最も高いものを追尾撮影対象に設定することができる。 The tracking shooting target setting unit 76 is the shooting target setting unit of the present invention, and sets an object to be a tracking shooting target based on the shooting priority regarding the type of the detected object. If only one moving object is detected by the object detection unit 5, the tracking shooting target setting means 76 sets the moving object as a tracking shooting target regardless of the type of the moving object. In this case, a moving object having a high shooting priority set in advance for each type is preferentially set as a tracking shooting target. For example, among a plurality of moving objects, the one with the highest shooting priority in terms of type can be set as the tracking shooting target.

また、追尾撮影対象設定手段76は、種別に関する撮影優先度と他の判断基準とを組み合わせて追尾撮影対象を設定することもできる。例えば、種別に関する撮影優先度が最も高い移動物体が複数存在する場合には、他の判断基準によりそれら複数の移動物体のうちから追尾撮影対象を選択することができる。 Further, the tracking shooting target setting means 76 can also set the tracking shooting target by combining the shooting priority regarding the type and other criteria. For example, if there are a plurality of moving objects with the highest shooting priority for type, the tracking shooting target can be selected from among the plurality of moving objects by other criteria.

例えば、追尾撮影対象設定手段76は、複数の移動物体が同一種別である場合には、当該移動物体のうち現在移動している物体を追尾撮影対象に設定する構成(「移動優先」と呼ぶことにする。)とすることができる。ちなみに、トラッキング情報により、物体が現在移動しているか静止しているかを判断することができる。 For example, when a plurality of moving objects are of the same type, the tracking shooting target setting means 76 sets an object that is currently moving among the moving objects as a tracking shooting target (referred to as "movement priority"). ). By the way, the tracking information can be used to determine whether the object is currently moving or stationary.

また、撮影優先度だけではなく評価手段74が求める撮影対象可能性を考慮に入れて追尾撮影対象を選択することができる。例えば、複数の移動物体について撮影優先度が同等である場合に、撮影対象可能性が高い物体を追尾撮影対象に設定することができる。なお、撮影対象可能性も同等である場合には、移動優先により追尾撮影対象に設定してもよい。また、撮影優先度が高い物体であっても、撮影対象可能性が所定値以下(例えば、「30%以下」、「低」等)の場合には、追尾撮影対象に設定しない構成とすることもできる。 In addition, it is possible to select the tracking photographing target taking into consideration not only the photographing priority but also the possibility of the photographing target sought by the evaluation means 74 . For example, when shooting priorities are the same for a plurality of moving objects, an object with a high possibility of being a shooting target can be set as a tracking shooting target. Note that if the imaging target possibilities are also the same, the tracking imaging target may be set with movement priority. In addition, even if an object has a high shooting priority, if the shooting target possibility is a predetermined value or less (for example, "30% or less", "low", etc.), it is configured not to be set as a tracking shooting target. can also

また、それら複数の移動物体のうち最も新しく、又は古く検知した物体を優先して追尾撮影対象に設定することもできる。なお、最も新しく検知した移動物体を優先することを「後優先」、最も古く検知した移動物体を優先することを「先優先」と呼ぶことにする。 In addition, it is also possible to preferentially set the latest or oldest detected object among the plurality of moving objects as the tracking photographing target. Giving priority to the most recently detected moving object is called "late priority", and giving priority to the oldest detected moving object is called "early priority".

また、移動物体の検知状況に応じて、撮影優先度を切り替えて、追尾撮影対象を設定するようにしてもよい。例えば、車両の撮影優先度が人物の撮影優先度よりも高く設定されている場合において、追尾撮影対象設定手段76は、トラッキング情報に基づいて追尾撮影対象に設定されている車両が静止したと判定され、当該車両の検知位置から所定範囲(例えば1m)内で新規に人物が検知された状況では、所定期間は人物優先モードとして、人物の撮影優先度を車両の撮影優先度よりも高くしてもよい。また、所定期間は撮影優先度にかかわらず当該人物に追尾撮影対象を切り替える構成とすることもできる。ここで、所定期間とは、一定時間(例えば、30秒)や、静止車両が移動するまでの期間、新規に車両が検知されるまでの期間、当該人物が検知されなくなるまでの期間等のいずれかにより定められる。これにより、車両から人物が降車した状況において、静止車両を継続して撮影することなく、車両から降車した人物を優先して追尾撮影することが可能となる。また、人物に追尾撮影対象を切り替える場合には、人物が移動していることを条件とすることが好ましい。 Also, the tracking shooting target may be set by switching the shooting priority according to the detection status of the moving object. For example, when the priority of photographing a vehicle is set higher than that of a person, the tracking photographing target setting means 76 determines that the vehicle set as the tracking photographing target has stopped based on the tracking information. In a situation where a new person is detected within a predetermined range (for example, 1 m) from the detection position of the vehicle, the person priority mode is set for a predetermined period of time, and the photographing priority of the person is set higher than the photographing priority of the vehicle. good too. Also, it is possible to switch the tracking shooting target to the person for a predetermined period regardless of the shooting priority. Here, the predetermined period is any of a certain period of time (for example, 30 seconds), a period of time until a stationary vehicle moves, a period of time until a new vehicle is detected, a period of time until the person is no longer detected, and the like. Determined by As a result, in a situation where a person has gotten off the vehicle, it is possible to preferentially track and photograph the person who has gotten off the vehicle without continuously photographing the stationary vehicle. Also, when switching the tracking shooting target to a person, it is preferable that the person is moving.

なお、追尾撮影対象設定手段76は、種別判定手段75が種別を判別するタイミングに同期して追尾撮影対象の設定処理を行うことができ、例えば、監視領域内にて新規に移動物体が検知されるごとに、複数検知された移動物体における追尾撮影対象を設定し直す。 The tracking shooting target setting means 76 can set the tracking shooting target in synchronization with the timing at which the type determination means 75 discriminates the type. For each moving object that has been detected, the tracking shooting target is set again.

図3は監視装置2の追尾撮影に関する制御の概略のフロー図である。物体検知部5において移動物体が検知されると、監視装置2は追尾撮影に関する制御を開始し(ステップS1)、種別判定手段75が当該移動物体のトラッキング情報(大きさ、形状、移動速度など)に基づいて当該移動物体の種別を判定する(ステップS2)。追尾撮影対象設定手段76は、物体検知部5で検知している物体が複数存在する場合には(ステップS3にて「Yes」の場合)、当該複数の物体の撮影優先度に基づいて追尾撮影対象を設定する(ステップS4)。具体的には、最も撮影優先度が高い物体を追尾撮影対象に設定する。一方、物体検知部5で検知している物体が1つである場合には(ステップS3にて「No」の場合)、当該物体を追尾撮影対象に設定する(ステップS5)。このようにして、物体検知部5で検知している物体のうち追尾撮影対象とするものが設定されると、カメラ制御手段73は、追尾撮影対象に設定された物体の検知位置等に基づき、撮像部6に対してPTZ制御を含む制御指示を行い、撮像部6がカメラをPTZ制御して物体を追尾撮影する(ステップS6)。 FIG. 3 is a schematic flow chart of control related to tracking photographing of the monitoring device 2. As shown in FIG. When a moving object is detected by the object detection unit 5, the monitoring device 2 starts control related to tracking photography (step S1), and the type determination unit 75 detects the tracking information (size, shape, moving speed, etc.) of the moving object. (step S2). If there are a plurality of objects detected by the object detection unit 5 ("Yes" in step S3), the tracking shooting target setting means 76 performs tracking shooting based on the shooting priority of the plurality of objects. A target is set (step S4). Specifically, the object with the highest imaging priority is set as the tracking imaging target. On the other hand, when the number of objects detected by the object detection unit 5 is one ("No" in step S3), the object is set as a tracking photographing target (step S5). In this way, when an object to be tracked and photographed among the objects detected by the object detection unit 5 is set, the camera control means 73, based on the detection position of the object set as the object to be tracked and photographed, A control instruction including PTZ control is issued to the imaging unit 6, and the imaging unit 6 performs PTZ control of the camera to track and photograph an object (step S6).

図4及び図5は追尾撮影対象設定手段76による処理例を説明する模式図である。ここでは人物と車両を追尾撮影の対象とし、種別判定手段75は検知物体において種別として人と車を判定する。ここでは、撮影優先度は「人」より「車」が高く設定されているとする。 4 and 5 are schematic diagrams for explaining an example of processing by the tracking imaging target setting means 76. FIG. Here, a person and a vehicle are subject to tracking photography, and the type determining means 75 determines the type of the detected object to be a person and a vehicle. Here, it is assumed that the photographing priority is set higher for "car" than for "person".

図4は検知物体の物体IDと種別とを対応付けて表形式で示している。図4(a)は検知されている移動物体が1つだけである場合である。検知物体「ID1」の種別は「人」であり、「車」よりも撮影優先度が低いが、追尾撮影対象設定手段76は物体「ID1」を追尾撮影対象に設定する。 FIG. 4 shows the correspondence between object IDs and types of detected objects in a tabular form. FIG. 4A shows the case where only one moving object is detected. The type of the detected object "ID1" is "person" and has a lower shooting priority than "vehicle", but the tracking shooting target setting means 76 sets the object "ID1" as a tracking shooting target.

図4(b),(c)は移動物体が3つ検知されている場合である。このように複数の移動物体が検知されている場合は、基本的には、追尾撮影対象設定手段76は撮影優先度が最も高い物体を追尾撮影対象に設定する。よって、図4(b)の例では、種別が「人」である物体「ID1」,「ID3」よりも撮影優先度が高い種別「車」である物体「ID2」を追尾撮影対象に設定する。 FIGS. 4(b) and 4(c) are cases where three moving objects are detected. When a plurality of moving objects are detected in this way, basically, the tracking shooting target setting unit 76 sets the object with the highest shooting priority as the tracking shooting target. Therefore, in the example of FIG. 4B, the object "ID2" of the type "car" having a higher shooting priority than the objects "ID1" and "ID3" of the type "person" is set as the tracking shooting target. .

一方、図4(c)の例では、物体「ID2」及び「ID4」が「車」である。このように撮影優先度の最高値を有する物体が複数存在する場合は、他の判断基準を併用して追尾撮影対象を決める構成とすることができる。例えば、追尾撮影対象設定手段76は、上述した、撮影対象可能性、先優先、後優先、移動優先等により追尾撮影対象を設定する。 On the other hand, in the example of FIG. 4C, the objects "ID2" and "ID4" are "cars". When there are a plurality of objects having the highest photographing priority in this manner, it is possible to determine the tracking photographing target by using other determination criteria. For example, the tracking imaging target setting unit 76 sets the tracking imaging target based on the above-described imaging target possibility, first priority, rear priority, movement priority, and the like.

図5は、種別に関する撮影優先度を基本の判断基準としつつ、撮影対象可能性を補助的な判断基準として併用する場合の例であり、検知物体の物体IDと種別及び撮影対象可能性とを対応付けて表形式で示している。ここでは、撮影対象可能性は0~100〔%〕の範囲で定義され、評価手段74は検知物体ごとに、人らしさを表す撮影対象可能性と車らしさを表す撮影対象可能性を求める。図5において「人らしさ」、「車らしさ」の欄に示す数値がそれぞれ人らしさの撮影対象可能性、車らしさの撮影対象可能性である。 FIG. 5 shows an example in which the photographing priority related to the type is used as a basic criterion, and the photographing object possibility is used as an auxiliary judgment criterion. They are shown in a tabular format in association with each other. Here, the shooting target possibility is defined in the range of 0 to 100[%], and the evaluation means 74 obtains shooting target possibilities representing human-likeness and vehicle-likeness for each detected object. In FIG. 5, the numerical values shown in the columns of "person-likeness" and "car-likeness" are the photographing target possibilities of human-likeness and car-likeness, respectively.

図5(c)では図4(c)で述べたように、撮影優先度だけでは追尾撮影対象を物体「ID2」と「ID4」のいずれかに決めることができない。この点、図4(c)で述べたように撮影対象可能性を用いて、物体「ID2」と物体「ID4」とに優先順を設けることができ、具体的には、図5(c)の例において、追尾撮影対象設定手段76は撮影対象可能性のうち「車らしさ」を物体「ID2」と物体「ID4」とで比較して、その値がより高い物体「ID2」を追尾撮影対象に設定する。 In FIG. 5(c), as described in FIG. 4(c), it is not possible to determine the object "ID2" or "ID4" as the object to be tracked and photographed only by the photographing priority. In this respect, as described with reference to FIG. 4(c), it is possible to set the priority order to the object "ID2" and the object "ID4" by using the imaging target possibility. 2, the tracking shooting target setting unit 76 compares the object "ID2" and the object "ID4" in terms of "car-likeness" among the shooting target possibilities, and selects the object "ID2" having the higher value as the tracking shooting target. set to

なお、図5(a)に示す検知物体が1つの場合は、図4(a)の場合と同様、選別の必要がないので、撮影優先度及び撮影対象可能性にかかわらず、物体「ID1」が追尾撮影対象に設定される。 Note that when there is one detected object shown in FIG. 5(a), there is no need for sorting, as in the case of FIG. 4(a). is set as a tracking shooting target.

また、図5(b)の場合は、撮影優先度だけで1つの物体、つまり図4(b)と同様、物体「ID2」を追尾撮影対象に設定できる。つまり、この場合、追尾撮影対象設定手段76は撮影対象可能性は考慮せずに追尾撮影対象を設定する。なお、図5(b)において、物体「ID2」は車両として検知されているが、「車らしさ」が所定値(例えば「30」)以下なので、車両である可能性が低いとして撮影優先度に基づく追尾撮影対象の設定は行わず、撮影対象可能性に基づく追尾撮影対象の設定を行うことで物体「ID3」を追尾撮影するようにしてもよい。 Further, in the case of FIG. 5B, one object, that is, the object "ID2" can be set as the tracking photographing target based on the photographing priority alone, as in FIG. 4B. That is, in this case, the tracking shooting target setting unit 76 sets the tracking shooting target without considering the possibility of the shooting target. In FIG. 5B, the object "ID2" is detected as a vehicle, but since the "likeness of a vehicle" is equal to or less than a predetermined value (eg, "30"), the possibility of being a vehicle is low, and the photographing priority is given as follows. It is also possible to set the tracking shooting target based on the shooting target possibility without setting the tracking shooting target based on the object "ID3".

上述した本発明を用いた監視装置2は、物体検知部5による検知物体について種別(人物や車両など)を判定し、検知物体が複数存在する場合には、種別ごとの撮影優先度に基づいて追尾撮影対象とする検知物体を定める。具体的には、その基本的な構成として、複数の検知物体について撮影優先度を比較して、最も撮影優先度の高い物体を追尾撮影対象に設定する。これにより、複数の物体を検知した場合に、例えば、それらの中から、より侵入者らしい物体を優先して追尾撮影することが可能になる。具体的には、上述したように、人の通行状況を監視したい場合に、人物の撮影優先度を高く設定することで、車両と人物を検知しても人物を優先して追尾撮影できる。 The monitoring device 2 using the present invention described above determines the type (person, vehicle, etc.) of the object detected by the object detection unit 5, and when there are multiple detected objects, based on the shooting priority for each type A detection object to be tracked and photographed is determined. Specifically, as its basic configuration, the photographing priorities of a plurality of detected objects are compared, and an object with the highest photographing priority is set as a tracking photographing target. As a result, when a plurality of objects are detected, for example, it is possible to preferentially track and photograph an object that is more likely to be an intruder among them. Specifically, as described above, when it is desired to monitor the traffic of people, by setting the photographing priority of a person to be high, it is possible to preferentially track and photograph a person even if a vehicle and a person are detected.

なお、本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。 It should be noted that the present invention is not limited to the above-described embodiments, and can be modified in various ways without departing from the gist of the present invention.

例えば、評価手段74は、移動物体に対する特徴量の評価に基づき移動物体が監視領域に侵入した侵入物体であるか否かを異常判定する機能を担う構成としてもよい。この場合、評価手段74は、移動物体の大きさや形状等の指標が人物や車両を示す発報基準を満たすとき、侵入異常と判定して異常発生を監視センタ3へ通報するとともに、その移動物体を侵入物体としてトラッキング処理を行う。侵入物体の判定には、物体の大きさや形状といった追尾撮影の対象らしさを示す特徴量のほか、移動物体を最初に検知してからの経過時間、移動距離、移動軌跡(移動方向や移動ルート等)など各種の指標を用いてもよい。また、異常判定の機能は、評価手段74とは別に設けられた異常判定手段が担う構成としてもよい。 For example, the evaluation means 74 may have a function of determining whether or not the moving object is an intruding object that has entered the monitoring area based on the evaluation of the feature amount of the moving object. In this case, the evaluation means 74 determines that there is an intrusion abnormality and notifies the monitoring center 3 of the occurrence of the abnormality when the index such as the size and shape of the moving object satisfies the notification criteria indicating a person or vehicle, and the moving object is treated as an intruding object. Intruding objects are determined based on the feature values that indicate the object's size and shape, which indicate the object's likelihood of being tracked and photographed, as well as the elapsed time since the moving object was first detected, the moving distance, and the moving trajectory (moving direction, moving route, etc.). ) may be used. Further, the abnormality determination function may be performed by abnormality determination means provided separately from the evaluation means 74 .

そして、追尾撮影対象設定手段76は、複数の移動物体のうち撮影優先度が高い移動物体を優先して追尾撮影対象に設定することを基本として、撮影優先度が高い移動物体が複数存在する場合に、それらの移動物体のうち侵入物体として異常判定された移動物体を追尾撮影対象に設定するようにしてもよい。 Then, the tracking shooting target setting unit 76 preferentially sets a moving object having a high shooting priority among a plurality of moving objects as a tracking shooting target. In addition, among those moving objects, a moving object determined to be abnormal as an intruding object may be set as a tracking photographing target.

また、追尾撮影対象設定手段76は、複数の移動物体のうち侵入物体と判定された移動物体を優先して追尾撮影対象に設定することを基本として、複数の移動物体のうち、侵入物体として異常判定された移動物体が複数存在する場合、または、侵入物体として異常判定されていない移動物体のみ存在する場合には、撮影優先度が高い移動物体を追尾撮影対象に設定するようにしてもよい。また、複数の移動物体のうち、侵入物体として異常判定された移動物体(ID1)と侵入物体として異常判定されていない移動物体(ID2)とが存在する場合には、撮影優先度によらず、すなわち、ID1の撮影優先度がID2の撮影優先度よりも低い場合であっても、ID1を追尾撮影対象に設定する。 The tracking shooting target setting unit 76 preferentially sets a moving object determined as an intruding object among a plurality of moving objects as a tracking shooting target. When there are a plurality of determined moving objects, or when there is only a moving object that is not determined to be abnormal as an intruding object, a moving object with a high imaging priority may be set as a tracking imaging target. Further, when there are a moving object (ID1) determined to be an intruding object and a moving object (ID2) not determined to be an intruding object to be abnormal among the plurality of moving objects, regardless of the shooting priority, That is, even if the shooting priority of ID1 is lower than the shooting priority of ID2, ID1 is set as the tracking shooting target.

1 監視システム、2 監視装置、3 監視センタ、4 監視領域、5 物体検知部、6 撮像部、7 制御部、51,63,71 通信手段、52,64,72 記憶手段、53 検知手段、54 追跡手段、55 制御手段、61 カメラ駆動手段、62 撮像手段、73 カメラ制御手段、74 評価手段、75 種別判定手段、76 追尾撮影対象設定手段。 Reference Signs List 1 monitoring system 2 monitoring device 3 monitoring center 4 monitoring area 5 object detection unit 6 imaging unit 7 control unit 51, 63, 71 communication means 52, 64, 72 storage means 53 detection means 54 Tracking means 55 Control means 61 Camera drive means 62 Imaging means 73 Camera control means 74 Evaluation means 75 Type determination means 76 Tracking object setting means.

Claims (5)

監視領域の移動物体を追尾撮影する監視装置において、
前記監視領域内で前記移動物体を検知し、当該移動物体の位置を含む検知結果を出力する物体検知部と、
撮影方向を変更可能な撮像部と、
前記検知結果に基づいて前記撮像部を制御する制御部と、
前記検知結果に基づいて前記移動物体の種別を判定する種別判定手段と、
前記物体検知部により前記移動物体が1つだけ検知された場合には当該移動物体をその前記種別によらず追尾撮影対象に設定し、一方、前記移動物体が複数検知された場合には前記種別ごとに予め設定された撮影優先度が高い前記移動物体を優先して追尾撮影対象に設定する撮影対象設定手段と、
前記検知された移動物体ごとに、予め定めた特徴量に基づいて所定の発報条件を満たす侵入物体であるか否かを判定する判定手段を備え、
前記撮影対象設定手段は、前記判定手段により前記侵入物体と判定された移動物体を前記撮影優先度によらず前記追尾撮影対象に設定し、前記侵入物体と判定されていない移動物体のみ存在する場合には、前記撮影優先度に応じて追尾撮影対象を設定すること、
を特徴とする監視装置。
In a monitoring device for tracking and photographing a moving object in a monitoring area,
an object detection unit that detects the moving object within the monitoring area and outputs a detection result including the position of the moving object;
an imaging unit capable of changing the shooting direction;
a control unit that controls the imaging unit based on the detection result;
type determination means for determining the type of the moving object based on the detection result;
When only one moving object is detected by the object detection unit, the moving object is set as a tracking photographing target regardless of the type of the moving object, and when a plurality of moving objects are detected, the type is set. a shooting target setting means for setting the moving object having a high shooting priority set in advance for each object as a tracking shooting target with priority;
Determination means for determining whether each detected moving object is an intruding object that satisfies a predetermined alarm condition based on a predetermined feature amount,
The imaging target setting means sets the moving object determined as the intruding object by the determining means as the tracking imaging target regardless of the imaging priority, and only the moving object not determined as the intruding object exists. setting a tracking shooting target according to the shooting priority;
A monitoring device characterized by:
監視領域の移動物体を追尾撮影する監視装置において、In a monitoring device for tracking and photographing a moving object in a monitoring area,
前記監視領域内で前記移動物体を検知し、当該移動物体の位置を含む検知結果を出力する物体検知部と、an object detection unit that detects the moving object within the monitoring area and outputs a detection result including the position of the moving object;
撮影方向を変更可能な撮像部と、an imaging unit capable of changing the shooting direction;
前記検知結果に基づいて前記撮像部を制御する制御部と、a control unit that controls the imaging unit based on the detection result;
前記検知結果に基づいて前記移動物体の種別を判定する種別判定手段と、type determination means for determining the type of the moving object based on the detection result;
前記物体検知部により前記移動物体が1つだけ検知された場合には当該移動物体をその前記種別によらず追尾撮影対象に設定し、一方、前記移動物体が複数検知された場合には前記種別ごとに予め設定された撮影優先度が高い前記移動物体を優先して追尾撮影対象に設定する撮影対象設定手段を備え、When only one moving object is detected by the object detection unit, the moving object is set as a tracking photographing target regardless of the type of the moving object, and when a plurality of moving objects are detected, the type is set. a shooting target setting means that preferentially sets the moving object having a high shooting priority set in advance for each object as a tracking shooting target;
前記種別判定手段は、前記種別として人物と車両とを少なくとも判定し、The type determination means determines at least a person and a vehicle as the types,
前記撮影対象設定手段は、前記車両の撮影優先度が前記人物の撮影優先度よりも高く設定されている場合であっても、前記追尾撮影対象に設定されている車両から所定範囲内で新規に人物を検知した場合には、当該人物に追尾撮影対象を切り替えること、The photographing target setting means sets a new photographing object within a predetermined range from the vehicle set as the tracking photographing object even when the photographing priority of the vehicle is set higher than the photographing priority of the person. When a person is detected, switching the tracking shooting target to the person,
を特徴とする監視装置。A monitoring device characterized by:
前記撮影対象設定手段は、前記監視領域内にて新規に移動物体が検知されるごとに、複数検知された前記移動物体における追尾撮影対象を設定し直すこと、を特徴とする請求項1又は2に記載の監視装置。 3. Each time a moving object is newly detected in the monitoring area, the photographing object setting means resets the tracking photographing object of the plurality of detected moving objects. The monitoring device according to . 前記撮影対象設定手段は、複数の前記移動物体について前記撮影優先度が同等である場合には、当該移動物体のうち現在移動している物体を前記追尾撮影対象に設定すること、を特徴とする請求項1から請求項3のいずれか1つに記載の監視装置。 The photographing target setting means sets a currently moving object among the moving objects as the tracking photographing target when the plurality of moving objects have the same photographing priority. 4. A monitoring device according to any one of claims 1-3. 前記検知された移動物体ごとに、予め定めた特徴量を評価して追尾撮影の対象らしさを示す撮影対象可能性を求める評価手段を備え、
前記撮影対象設定手段は、複数の前記移動物体について前記撮影優先度が同等である場合には、当該移動物体のうち、前記撮影対象可能性が高い移動物体を優先して追尾撮影対象に設定すること、
を特徴とする請求項1から請求項のいずれか1つに記載の監視装置。
evaluation means for evaluating a predetermined feature amount for each of the detected moving objects to obtain a shooting target possibility that indicates the likelihood of a tracking shooting target;
When the photographing priorities are the same for a plurality of the moving objects, the photographing object setting means preferentially sets a moving object having a high possibility of being the photographing object among the moving objects as a tracking photographing object. thing,
5. The monitoring device according to any one of claims 1 to 4 , characterized by:
JP2018068414A 2018-03-30 2018-03-30 monitoring device Active JP7141842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018068414A JP7141842B2 (en) 2018-03-30 2018-03-30 monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018068414A JP7141842B2 (en) 2018-03-30 2018-03-30 monitoring device

Publications (3)

Publication Number Publication Date
JP2019180025A JP2019180025A (en) 2019-10-17
JP2019180025A5 JP2019180025A5 (en) 2021-03-18
JP7141842B2 true JP7141842B2 (en) 2022-09-26

Family

ID=68279065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018068414A Active JP7141842B2 (en) 2018-03-30 2018-03-30 monitoring device

Country Status (1)

Country Link
JP (1) JP7141842B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333419B (en) * 2020-08-21 2024-08-23 深圳Tcl新技术有限公司 Monitoring tracking method, device, system and computer readable storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176868A (en) 2011-04-18 2011-09-08 Hitachi Ltd Imaging apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793558A (en) * 1993-09-22 1995-04-07 Toshiba Corp Image monitoring device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176868A (en) 2011-04-18 2011-09-08 Hitachi Ltd Imaging apparatus

Also Published As

Publication number Publication date
JP2019180025A (en) 2019-10-17

Similar Documents

Publication Publication Date Title
JP7128577B2 (en) monitoring device
KR102164863B1 (en) Information processing apparatus, method thereof, and computer readable storage medium
US10043359B2 (en) Apparatus and method of monitoring moving objects
JP5180733B2 (en) Moving object tracking device
EP2607952B1 (en) Monitoring camera and method for monitoring
JP2006523043A (en) Method and system for monitoring
JP6110183B2 (en) Crime prevention system
KR101485022B1 (en) Object tracking system for behavioral pattern analysis and method thereof
RU2268497C2 (en) System and method for automated video surveillance and recognition of objects and situations
JP2003157487A (en) Traffic state monitoring device
US20160019764A1 (en) Apparatus and method of monitoring moving objects
KR101290782B1 (en) System and method for Multiple PTZ Camera Control Based on Intelligent Multi-Object Tracking Algorithm
CN112906426B (en) Vehicle monitoring method, device and equipment and storage medium
JP7141842B2 (en) monitoring device
JP7176868B2 (en) monitoring device
CN112489338A (en) Alarm method, system, device, equipment and storage medium
JP6898826B2 (en) Monitoring device
JP7204356B2 (en) monitoring device
JP6898825B2 (en) Monitoring device
JP6980379B2 (en) Information processing equipment, information processing methods and programs
CA2520091C (en) Detection system, method for detecting objects and computer program therefor
JP5981015B1 (en) Shoplifting crime scene recording device
JP7086752B2 (en) Monitoring device
KR102630275B1 (en) Multi-camera fire detector
KR101611696B1 (en) System and method for position tracking by sensing the sound and event monitoring network thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R150 Certificate of patent or registration of utility model

Ref document number: 7141842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150