JP6482855B2 - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP6482855B2 JP6482855B2 JP2014259397A JP2014259397A JP6482855B2 JP 6482855 B2 JP6482855 B2 JP 6482855B2 JP 2014259397 A JP2014259397 A JP 2014259397A JP 2014259397 A JP2014259397 A JP 2014259397A JP 6482855 B2 JP6482855 B2 JP 6482855B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- shooting
- camera
- image
- monitoring camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 177
- 238000003384 imaging method Methods 0.000 claims description 73
- 238000004891 communication Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 230000000295 complement effect Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
Images
Description
本発明は、例えば人物、車両などの移動体を監視する監視システムに関する。 The present invention relates to a monitoring system for monitoring a moving object such as a person or a vehicle.
人物、車両などの移動体を監視するシステムとしては、例えば下記特許文献1に開示されるものが知られている。この特許文献1では、システム全体にわたる移動体の追跡及び複数のビデオカメラ毎に分散された情報の統括的管理を効率よく行うことを目的として、複数ビデオカメラ毎に分散的に人物追跡するカメラ内追跡手段と、追跡を行うメイン追跡要素と移動体の特徴量をメイン追跡要素に供給するサブ追跡要素とからなり複数のカメラ内追跡手段間で連携して移動体を追跡するカメラ間追跡手段と、複数のカメラ内追跡手段に亙り移動体を探索する移動体探索手段とを具え、監視領域に分散配置された複数のビデオカメラを連携動作させている。
As a system for monitoring a moving body such as a person or a vehicle, for example, a system disclosed in
上述した特許文献1に開示されるシステムでは、複数のビデオカメラが監視領域に分散配置され、各々のビデオカメラが撮影範囲を固定的に撮影する構成なので、ある一つのビデオカメラの撮影範囲について得られる情報としてはそのビデオカメラの撮影方向から撮影した画像情報のみとなる。このため、例えば、そのビデオカメラの撮影方向から死角となる領域については状況を把握することができない。また、ある一つのビデオカメラの画像上に映った対象についてそのカメラの画像情報以外の情報を得ることはできない。上述した特許文献1に開示されるシステムでは、ビデオカメラの撮影範囲が一部重複するように設置することが示されているが、ビデオカメラの撮影範囲が固定的である以上、重複して得られた複数の画像が、お互いに、監視領域の状況を的確に把握するのに補完し合えるような関係になるとは限らない。このため、ある一つのビデオカメラの撮影範囲について、監視領域の状況を把握するのに適した他の画像を必ずしも得ることができなかった。
In the system disclosed in
そこで、本発明は上記問題点に鑑みてなされたものであり、監視領域において撮影された画像を補完し、その画像中の領域の状況を把握するのに適した他の画像を得ることができる監視システムを提供することを目的とするものである。 Therefore, the present invention has been made in view of the above problems, and it is possible to obtain an image suitable for complementing an image captured in a monitoring region and grasping the state of the region in the image. The object is to provide a monitoring system.
上記した目的を達成するために、本発明に係る監視システムは、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影方向と対向する対向方向を算出する方向算出部と、
前記監視カメラの撮影範囲を当該監視カメラの撮影位置とで挟む目標位置を算出する位置算出部と、
前記目標位置に前記飛行装置を移動させて前記対向方向に前記撮像部を向けて前記撮影範囲を撮影するように制御する飛行装置制御部と、
を備えたことを特徴とする。
In order to achieve the above object, a monitoring system according to the present invention is a monitoring system including a monitoring camera that captures images from the ground and a flying device that includes an imaging unit that captures images from above.
A direction calculating unit that calculates a facing direction opposite to the shooting direction of the monitoring camera;
A position calculation unit that calculates a target position that sandwiches the shooting range of the monitoring camera with the shooting position of the monitoring camera;
A flying device control unit that controls to move the flying device to the target position and direct the imaging unit in the facing direction to capture the imaging range;
It is provided with.
また、本発明に係る監視システムは、前記撮影方向が、前記撮影位置から前記監視カメラにて撮影された画像上の注目物体の位置に向かう方向、前記監視カメラの画角の中央の方向、又は、前記撮影位置から前記撮影範囲の注目位置に向かう方向としてもよい。 In the monitoring system according to the present invention, the shooting direction is a direction from the shooting position toward a position of an object of interest on an image shot by the monitoring camera, a direction in the center of the angle of view of the monitoring camera, or The direction from the shooting position to the target position in the shooting range may be used.
さらに、本発明に係る監視システムは、前記目標位置が、前記監視カメラにて撮影された画像上の注目物体の位置、又は、前記撮影範囲の注目位置を、前記撮影位置で挟む位置としてもよい。 Further, in the monitoring system according to the present invention, the target position may be a position of the target object on the image captured by the monitoring camera or a position sandwiching the target position of the shooting range between the shooting positions. .
本発明の監視システムによれば、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備え、方向算出部は、監視カメラの撮影方向と対向する対向方向を算出し、位置算出部は、監視カメラの撮影範囲を撮影位置とで挟む目標位置を算出する。そして、飛行装置制御部は、位置算出部が算出した目標位置に飛行装置を移動させ、方向算出部が算出した対向方向に撮像部を向けて撮影範囲を撮影するように制御する。かかる構成によれば、監視カメラが撮影している撮影方向と水平面上において対向する方向から監視カメラの撮影範囲を撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、監視領域の状況を把握するのに適した画像として、監視カメラの画像からは把握できない情報を多く含んだ画像を得ることができる。 According to the monitoring system of the present invention, the surveillance system includes a surveillance camera that captures images from the ground and a flying device that includes an imaging unit that captures images from the sky, and the direction calculation unit calculates a facing direction opposite to the capture direction of the monitoring camera, The position calculation unit calculates a target position that sandwiches the shooting range of the surveillance camera with the shooting position. Then, the flying device control unit moves the flying device to the target position calculated by the position calculating unit, and controls the imaging unit to image the shooting range in the opposite direction calculated by the direction calculating unit. According to such a configuration, the imaging unit of the flying device acts so that an image of the imaging range of the monitoring camera can be acquired from a direction opposite to the imaging direction in which the monitoring camera is imaging on the horizontal plane. Thereby, an image including a lot of information that cannot be grasped from the image of the surveillance camera can be obtained as an image suitable for grasping the situation of the surveillance region.
また、本発明の監視システムによれば、監視カメラの撮影位置から監視カメラにて撮影された画像上の注目物体の位置に向かう方向、監視カメラの画角の中央の方向、又は、監視カメラの撮影位置から撮影範囲の注目位置に向かう方向を飛行装置の撮影方向としている。かかる構成によれば、監視カメラから注目物体への方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、注目物体について監視カメラの画像からは把握できない情報を多く含んだ画像を得ることができる。
また、かかる構成によれば、監視カメラから監視カメラの画角の中央の方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、監視領域の状況を把握するのに適した画像として、監視カメラで撮影された画像を全体的に考慮して把握しにくい情報を多く含んだ画像を得ることができる。
また、かかる構成によれば、監視カメラから撮影範囲における注目位置に向かう方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、例えば、注目したい対象が存在する可能性の高い位置(例えば、注目したい対象が人物であれば人物が存在する可能性の高い歩道の位置、注目したい対象が車両であれば車両が存在する可能性が高い車道の位置など)について監視カメラからは把握できない情報を多く含んだ画像を得ることができる。
Further, according to the monitoring system of the present invention, the direction from the shooting position of the monitoring camera to the position of the object of interest on the image taken by the monitoring camera, the direction of the center of the angle of view of the monitoring camera, or the monitoring camera The direction from the shooting position to the target position in the shooting range is the shooting direction of the flying device. According to this configuration, the image captured from the direction opposite to the direction from the monitoring camera to the object of interest can be acquired by the imaging unit of the flying device. As a result, it is possible to obtain an image including a lot of information about the object of interest that cannot be grasped from the image of the monitoring camera.
Moreover, according to this structure, it acts so that the image image | photographed from the direction which opposes the center direction of the angle of view of a surveillance camera from a surveillance camera can be acquired by the imaging part of a flying device. Thereby, as an image suitable for grasping the situation of the monitoring area, an image including a lot of information that is difficult to grasp in consideration of the image taken by the surveillance camera as a whole can be obtained.
Moreover, according to this structure, it acts so that the image image | photographed from the direction which opposes the direction which goes to the attention position in the imaging | photography range from a surveillance camera can be acquired by the imaging part of a flying device. Thus, for example, a position where there is a high possibility that there is a target to be noticed (for example, a position of a sidewalk where a person is likely to exist if the target to be noticed is a person, or a vehicle if the target to be noticed is a vehicle. For example, it is possible to obtain an image including a lot of information that cannot be grasped from the surveillance camera.
さらに、本発明の監視システムによれば、監視カメラにて撮影された画像上の注目物体の位置、又は、撮影範囲の注目位置を、撮影位置とで挟む位置を目標位置としている。かかる構成によれば、監視カメラの撮影位置で注目物体又は注目位置を挟む位置に飛行装置を移動させるように作用する。これにより、監視領域の状況を把握するのに適した画像として、注目物体又は注目位置について監視カメラからは把握できない情報を多く含んだ画像を得ることができる。 Furthermore, according to the monitoring system of the present invention, the target position is the position where the position of the object of interest on the image captured by the monitoring camera or the position of interest in the imaging range is sandwiched between the imaging positions. According to such a configuration, the flying device is moved to a position that sandwiches the target object or the target position at the photographing position of the monitoring camera. Thereby, as an image suitable for grasping the situation of the monitoring area, an image including a lot of information that cannot be grasped from the monitoring camera regarding the object of interest or the position of interest can be obtained.
以下、本発明を実施するための形態について、添付した図面の図1〜3を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to FIGS.
図1に示すように、本発明に係る監視システム1は、監視カメラ2、飛行装置3、追跡処理装置としてのセンタ装置4を備えて構築される。
As shown in FIG. 1, a
(監視カメラの構成について)
監視カメラ2は、地上から所定の撮影範囲を撮影する。本例において、監視カメラ2が地上から撮影する高度は、追跡対象(例えば不審者、不審車両など)を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報(追跡対象が例えば人物であれば顔画像、車両であれば自動車登録番号標(ナンバープレート)画像)が認識できる地上から比較的低い高度である。これにより、追跡対象を側方から撮影し、撮影した画像から追跡対象を把握しやすい側方画像を得ることができる。
(About surveillance camera configuration)
The
監視カメラ2は、図1に示すように、カメラ部21、制御部22、通信部23を備えている。
As shown in FIG. 1, the
カメラ部21は、所定の撮影範囲を撮影する本体をなし、撮像部21a、方向制御部21b、画像データ生成部21cを有している。
The
撮像部21aは、例えばCCD素子やC−MOS素子などの撮像素子や光学部品などを含んで構成される。撮像部21aは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部21cに順次出力する。
The
尚、撮像部21aは、監視カメラ2がパンチルトズームカメラとして構成される場合、センタ装置4からの制御信号の撮影指示に基づく制御部22の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部21cに出力される。
Note that when the
方向制御部21bは、監視カメラ2がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置4からの制御信号の撮影指示に基づく制御部22の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定された監視カメラ2の撮影方向からの変位角度であり、画像データ生成部21cに出力される。
The
画像データ生成部21cは、撮像部21aが撮像した画像に対し、必要に応じて撮影時における焦点距離や水平方向及び垂直方向の角度情報(撮影方向)を付加した画像データを生成する。なお、監視カメラ2がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ2の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。
The image
制御部22は、カメラ部21の画像データ生成部21cが生成した画像データを所定のフレーム周期で所定時間おきに通信部23を介してセンタ装置4に送信制御する。また、制御部22は、センタ装置4からの制御信号を通信部23を介して受信したときに、この制御信号の撮影指示に従ってカメラ部21の撮像部21aや方向制御部21bを制御する。
The
通信部23は、有線又は無線により通信を行うための通信インタフェースであり、制御部22の制御により、通信回線を介してセンタ装置4との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部21cが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置4に送信する。また、撮像部21aや方向制御部21bを制御するためのセンタ装置4からの制御信号を受信する。
The
尚、監視カメラ2は、監視領域の所定箇所に固定して複数設置されるものに限定されない。監視カメラ2は、地上から比較的低い高度において撮影可能なものであってよく、低い高度で撮影可能な、例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ2が監視領域内を移動できる場合には、少なくとも1つの監視カメラ2が設けられた構成であってもよい。そして、監視カメラ2が監視領域を移動する場合には、撮影時における監視カメラ2の位置情報が移動に伴って変化するため、GPSからなる測位部を監視カメラ2に備え、地球上での監視カメラ2の3次元的位置(現在位置)を示す位置情報(緯度、経度、高さ)を画像データ生成部21cに出力する。また、監視カメラ2が監視領域を移動する場合は、撮影時における監視カメラ2の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部35と同様の構成を備え、画像データ生成部21cは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部21cからは、監視カメラ2の撮影時における位置情報及び撮影時における監視カメラ2の撮影方向も付加した画像データがセンタ装置4に送信される。
Note that the
(飛行装置の構成について)
飛行装置3は、センタ装置4からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置(例えば係留型飛行船など)であってもよい。さらに、これらの組合せによって構成してもよい。
(About the configuration of the flying device)
The flying
尚、飛行装置3が係留型飛行装置の場合には、監視カメラ2で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。
When the flying
飛行装置3は、図1に示すように、カメラ部31、推進部32、方向舵33、測位部34、姿勢検出部35、制御部36、無線通信部37を備えている。
As shown in FIG. 1, the flying
カメラ部31は、飛行装置3の本体に搭載され、上空から監視カメラ2よりも広い撮影範囲で撮影を行っている。本例において、飛行装置3のカメラ部31が撮影する高度は、監視カメラ2と比較して相対的に高い高度であって、追跡対象を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報の認識が困難な高度であるが、追跡対象を上方から俯瞰して撮影できる高度である。これにより、撮影した画像から追跡対象の水平面上における周囲の状況が把握しやすい上方画像を得ることができる。
The
カメラ部31は、撮像部31a、方向制御部31b、画像データ生成部31cを有している。
The
撮像部31aは、例えばCCD素子やC−MOS素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部31cに順次出力する。
The
尚、撮像部31aは、カメラ部31がパンチルトズームカメラとして構成される場合、センタ装置4からの制御信号の撮影指示に基づく制御部36の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部31cに出力される。
When the
方向制御部31bは、カメラ部31がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置4からの制御信号の撮影指示に基づく制御部36の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定されたカメラ部31の向きに相当する撮影方向からの変位角度であり、画像データ生成部31cに出力される。
The
画像データ生成部31cは、撮像部31aが撮像した画像に対し、撮影時における焦点距離や水平方向及び垂直方向の角度情報(撮影方向)を必要に応じて付加した画像データを生成する。なお、カメラ部31がパンチルトズームカメラとして構成される場合には、予め設定されたカメラ部31の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。また、後述の測位部34にて取得した撮影時における位置情報、及び後述の姿勢検出部35にて得られた撮影時における姿勢情報から補正した撮影方向を必要に応じて付加した画像データを生成する。
The image
推進部32は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置3に推進力を与えるものであり、センタ装置4からの制御信号の飛行指示に従って制御部36により制御される。
The
方向舵33は、飛行装置3の操縦に用いる動翼であり、センタ装置4からの制御信号の飛行指示に従って制御部36により制御される。
The
測位部34は、GPS(Global Positioning System )からなり、地球上での飛行装置3の3次元的位置(現在位置)を示す位置情報(緯度、経度、高さ)を制御部36に出力している。この位置情報は画像データ生成部31cへも出力する。
The
姿勢検出部35は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置3の方位角、ピッチ角、ロール角を計測して飛行装置3の姿勢を検出し、この検出により得られる姿勢情報を制御部36に出力する。この姿勢情報は画像データ生成部31cへも出力する。
The
制御部36は、カメラ部31の画像データ生成部31cが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置4に送信するように無線通信部37を制御する。また、制御部36は、飛行制御部36aとカメラ制御部36bを有する。飛行制御部36aは、センタ装置4からの制御信号を無線通信部37を介して受信したときに、この制御信号の飛行指示に従って推進部32や方向舵33を制御する。カメラ制御部36bは、センタ装置4からの制御信号を無線通信部37を介して受信したときに、この制御信号の撮影指示に従ってカメラ部31の撮像部31aや方向制御部31bを制御する。
The
無線通信部37は、制御部36の制御により、センタ装置4との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部31cが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置4に送信する。また、撮像部31a、方向制御部31b、推進部32、方向舵33を制御するため、センタ装置4からの制御信号(撮影指示、飛行指示)を受信する。
The
(センタ装置の構成について)
追跡処理装置としてのセンタ装置4は、通信部41、無線通信部42、制御部43、記憶部44、操作部45、表示部46を備えている。
(About the configuration of the center device)
The
通信部41は、有線又は無線により通信を行うための通信インタフェースであり、制御部43の制御により、通信回線を介して複数の監視カメラ2との間で相互に通信を行う。具体的には、複数の監視カメラ2から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ2に対し、撮像部21aや方向制御部21bを制御して撮影指示するための制御信号を送信する。
The
無線通信部42は、制御部43の制御により、飛行装置3との間で相互に無線通信を行う。具体的には、飛行装置3から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置3の撮像部31aや方向制御部31bを制御して撮影指示するための制御信号と、飛行装置3の推進部32や方向舵33を制御して飛行指示するための制御信号を必要に応じて送信する。
The
制御部43は、注目物体検出部43a、取得部43b、目標算出部43c、飛行装置制御部43d、表示制御部43eを備えている。
The
注目物体検出部43aは、監視カメラ2から所定のフレーム周期で所定時間おきに送信されてくる画像データの画像から注目物体N(例えば人物や車両など)を検出する。この注目物体Nの検出は、従来の画像認識技術を用いればよい。一例を挙げれば、注目物体Nを特定するための複数種類の特徴を抽出し、抽出した特徴を対象特徴(特徴情報)として記憶部44に予め記憶させる。例えば人物が注目物体Nである場合は、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型などが複数種類の特徴情報などとする。これら複数種類の特徴情報は、識別器や色ヒストグラムを用いた公知の手法によって抽出される。
The target
尚、注目物体Nの特徴情報の入力方法としては、監視員が必要に応じて操作部45を操作して、記憶部44に記憶保存された監視カメラ2の画像から注目物体Nに当たる部分を指定すると、この指定された画像から上述した特徴情報を抽出し、抽出した特徴情報を対象特徴として記憶部44に記憶させる。また、監視員の指定操作に依らず、注目物体Nが予め決まっている場合には、その注目物体Nの特徴情報を対象特徴として記憶部44に記憶させておく。
As a method for inputting the feature information of the target object N, the monitor operates the
そして、注目物体Nを追跡する場合には、例えば、複数の監視カメラ2毎に撮影される画像から、上述した対象特徴の抽出手法と同様にして複数種類の特徴情報を抽出し、抽出した特徴情報と対象特徴との対比により注目物体Nを検出する。これら複数種類の特徴情報は、個々の特徴情報について注目物体Nの検出における信頼性を考慮した重み付け係数が設定されている。そして、上述した複数種類の特徴情報を特徴情報の種別ごとに比較して類似度を算出する。続いて、複数種類の特徴情報ごとに算出した類似度に対し、重み付け係数を掛け合わせ、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。そして、予め記憶部44に記憶された注目物体Nと見なせる注目物体検出閾値(例えば類似度90%)と全体類似度とを比較し、全体類似度が注目物体検出閾値を超えていると判定すると、注目物体Nとして検出する。
When the object of interest N is tracked, for example, a plurality of types of feature information are extracted from the images photographed for each of the plurality of
また、注目物体検出部43aは、上記のようにして検出した注目物体Nを所定フレームおきに取得される画像にわたって追跡する。例えば、現在の画像と1フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、注目物体Nの位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回の注目物体Nに相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回の注目物体Nに相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ2の画像中において注目物体Nを検出して追跡している。
Further, the target
取得部43bは、監視員により操作部45が操作されて、監視カメラ2からの画像を補完する画像を取得するために飛行装置3を移動制御する補完画像取得処理(後述)の指示がなされると、記憶部44に記憶された監視カメラ情報から監視カメラ2の撮影位置P(緯度、経度、高さ)、撮影方向及び撮影範囲Lに関する情報を取得している。
In the
なお、監視カメラ2の撮影位置P(緯度、経度、高さ)、撮影方向及び撮影範囲Lに関する情報は、監視カメラ2から通信部41を介して受信した画像データに含まれる情報から取得してもよい。この場合には、取得部43bの構成を省くことができる。
Information regarding the shooting position P (latitude, longitude, height), shooting direction, and shooting range L of the
目標算出部43cは、監視員により操作部45が操作されて後述する補完画像取得処理の指示がなされたときに、飛行装置3を移動制御するための目標の方向と位置を算出するもので、方向算出部43caと位置算出部43cbを有している。
The
方向算出部43caは、取得部43bが取得した監視カメラ2の撮影方向と、画像中における注目物体Nの位置と、監視カメラ2の位置情報から、注目物体Nを追跡している監視カメラ2の位置から注目物体Nまでの方向を、補完画像取得処理において用いる撮影方向D1として算出し、この撮影方向D1と対向する対向方向D2を算出している。撮影方向D1は、監視カメラ2の撮影位置Pから監視カメラ2にて撮影された画像上の注目物体Nの位置に向かう方向である。例えば図3に示すように、監視カメラ2の撮影位置Pを原点(0,0)として北を基準方位とすると、基準方位から角度φをなして原点から注目物体Nの位置に向かう方向が監視カメラ2の撮影方向D1となる。そして、この監視カメラ2の撮影方向D1と対向して飛行装置3から注目物体Nの位置に向かう方向が対向方向D2となる。
The direction calculation unit 43ca uses the shooting direction of the
尚、監視カメラ2の撮影方向D1は、監視カメラ2の画角の中央の方向であってもよい。監視カメラ2の画角は、撮影される画像に映される光景の範囲を角度で表したものであり、撮像部21aにおける光学センサの撮像面の寸法、画像を撮像面に投射するレンズの焦点距離、レンズの歪みの度合いをパラメータとする関数である。
Note that the shooting direction D1 of the
また、監視カメラ2の撮影方向D1は、監視カメラ2の撮影位置Pから撮影範囲Lの注目位置に向かう方向とすることもできる。注目位置は、監視カメラ2の撮影範囲L内で重要視する位置である。例えば注目物体Nが存在する可能性の高い位置(例えば、注目物体Nが人物であれば人物が存在する可能性の高い歩道の位置、注目物体Nが車両であれば車両が存在する可能性の高い車道の位置など)を注目位置とし、監視員が操作部45を操作入力することにより、監視目的や監視内容に応じて任意に設定することができる。
Also, the shooting direction D1 of the
位置算出部43cbは、取得部43bが取得した監視カメラ2の撮影範囲Lを、監視カメラ2の撮影位置Pとの間で挟む目標位置を算出している。目標位置は、監視カメラ2にて撮影された画像上の注目物体Nの位置である。この注目物体Nの位置は、監視カメラ2の位置情報、撮影方向、画像中における注目物体の位置から算出することができる。尚、目標位置は、監視員が操作部45を操作して指定した、撮影範囲Lの注目位置を撮影位置Pと目標位置で挟む位置として算出することもできる。
The position calculation unit 43cb calculates a target position that sandwiches the shooting range L of the
飛行装置制御部43dは、角度αと高度Hが設定値となるように、飛行装置3からの画像データの飛行装置情報(飛行位置:緯度、経度、高さや撮像部31aの撮影方向:水平角度、垂直角度)に基づいて飛行装置3に制御信号を出力し、目標算出部43cの位置算出部43cbが算出した目標位置まで飛行装置3を移動制御している。また、飛行装置制御部43dは、目標位置において目標算出部43cの方向算出部43caが算出した対向方向に向けて監視カメラ2の撮影範囲Lを含んで撮像部31aが撮影するように飛行装置3に制御信号を出力し、飛行装置3又は撮像部31aの方向を制御している。
The flying
表示制御部43eは、表示部46の表示を制御している。具体的には、通常の監視状態において、複数の監視カメラ2から所定時間おきに送信される画像データに含まれる最新の画像を表示部46に表示している。また、後述する補完画像取得処理では、注目物体Nを追跡している監視カメラ2と飛行装置3の両方から送信される最新の画像を表示部46に表示している。これにより、監視員は、表示部46に表示された画像をモニタすることにより監視領域の最新状況を把握しながら注目物体Nを監視することができる。
The
記憶部44は、監視カメラ情報、飛行装置情報、画像データなどの各種情報を記憶している。各種情報について説明すると、監視カメラ情報は、各監視カメラ2に関する情報であって、各監視カメラ2の位置情報(撮影位置P:緯度、経度、高さ)、撮影方向(水平角度と垂直角度)、撮影範囲L、焦点距離などの情報が含まれ、動的に変化するものは監視カメラ2から受信する画像データに含まれる情報に基づいて逐次更新される。
The
なお、移動可能な監視カメラ2においては、位置情報、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて制御部43により逐次更新される。具体的には、位置情報と撮影方向、焦点距離は受信した情報をそのまま更新し、撮影範囲は画像データに含まれる位置情報、撮影方向、焦点距離に基づいて算出し、更新する。
In the
また、監視領域の所定箇所に固定して設置される監視カメラ2の位置情報に関する情報は、予め記憶部44に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ2のうち、パンチルトズーム可能な監視カメラ2については、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部43により逐次更新される。
In addition, information related to the position information of the
また、記憶部44には、地上の水平面(仮想水平面E)と飛行装置3の撮像部31aとのなす角度αと、地上の水平面からの飛行装置3の高度Hの情報が記憶されている。これら角度αと高度Hは、監視員の操作部45の操作入力により、注目物体Nの撮影に適した範囲から選択して設定される。具体的に、角度αは、例えば人物が注目物体Nである場合、人物の顔が捉えられる角度範囲(例えば0〜30°)から選択して設定する。また、高度Hは、飛行装置3の高さ制限等の飛行条件に合わせた高度範囲(例えば下限高度30m〜上限高度100m)から選択して設定する。
Further, the
飛行装置情報は、飛行装置3に関する情報であって、飛行装置3の位置情報(飛行位置又は撮影位置:緯度、経度、高さ)、カメラ部31の撮影方向(水平角度と垂直角度)、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは飛行装置3から受信する画像データに含まれる情報に基づいて、監視カメラ情報の更新と同様にして制御部43により逐次更新される。
The flying device information is information related to the flying
画像データは、各監視カメラ2や飛行装置3から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ2ごと飛行装置3ごとに記憶部44に逐次蓄積される。
The image data is data transmitted from the
操作部45は、例えばマウス、キーボード、表示部46の表示画面上のソフトキーなどで構成される。操作部45は、後述する補完画像取得処理の指示、角度αと高度Hの設定、監視カメラ2の撮影範囲Lの注目位置の設定、監視カメラ2の画像に基づく注目物体Nの追跡の指示、注目物体Nの特徴情報の指定、記憶部44に記憶保存された画像から注目物体Nの指定、各監視カメラ2や飛行装置3への指示(撮影指示、飛行指示)、画像データの削除などを行う際に監視員によって操作される。
The
表示部46は、例えば液晶表示器などで構成される。表示部46は、表示制御部43eの制御により、複数の監視カメラ2や飛行装置3から取得した画像データの表示などを行っている。
The
次に、上記のように構成される監視システム1の動作として、注目物体Nを追跡する監視カメラ2からの画像を補完する画像を取得するために飛行装置3を移動制御する補完画像取得処理について図2及び図3を参照しながら説明する。
Next, as an operation of the
通常は、地上から撮影した複数の監視カメラ2からの画像データに基づいて注目物体Nを検出して追跡を行っている。ここで、ある監視カメラ2が注目物体Nを追跡している際に、監視員が操作部45を操作して補完画像取得処理の指示がなされると、飛行装置3を移動制御して撮像部31aにて撮影を行う補完画像取得処理が実行される。
Normally, the object of interest N is detected and tracked based on image data from a plurality of
補完画像取得処理において、取得部43bは、記憶部44に記憶された監視カメラ情報から監視カメラ2の撮影位置P(緯度、経度、高さ)、撮影方向(水平角度と垂直角度)及び撮影範囲Lに関する情報を取得する。
In the complementary image acquisition process, the
なお、監視カメラ2の撮影位置P(緯度、経度、高さ)、撮影方向(水平角度と垂直角度)及び撮影範囲Lに関する情報は、監視カメラ2から通信部41を介して受信した画像データに含まれる情報から取得することもできる。
Information regarding the shooting position P (latitude, longitude, height), shooting direction (horizontal angle and vertical angle), and shooting range L of the
続いて、目標算出部43cは、取得部43bが取得した監視カメラ2の撮影方向から、監視カメラ位置から注目物体Nまでの方向を撮影方向D1として算出する。そして、取得した監視カメラ2の撮影位置P(緯度、経度、高さ)、撮影方向D1(水平角度と垂直角度)を元に、飛行装置3を移動制御するための目標の方向と位置を算出する。この目標算出部43cにおいて、方向算出部43caが算出する対向方向と位置算出部43cbが算出する目標位置について説明する。
Subsequently, the
図2は地上の水平面を仮想水平面Eとし、仮想水平面Eを側面から見たときの注目物体Nと監視カメラ2と飛行装置3との位置関係を示す図である。また、図3は上空から地上を鉛直方向に見たときの仮想水平面E上における注目物体Nと監視カメラ2と飛行装置3との位置関係を示す図である。
FIG. 2 is a diagram illustrating a positional relationship among the object of interest N, the
図2において、注目物体Nを追跡する監視カメラ2から飛行装置3の撮像部31aまでの仮想水平面E上の撮影距離(直線距離)をW、監視カメラ2と注目物体Nとの間の仮想水平面E上の直線距離をa、飛行装置3と注目物体Nとの間の仮想水平面E上の直線距離をb、注目物体Nと飛行装置3の撮像部31aとを結ぶ直線と仮想水平面Eとのなす角度をα、仮想水平面Eからの飛行装置3の高度をHとすると、仮想水平面E上の撮影距離Wは、W=a+b、W=a+(H/tanα)で表すことができる。
In FIG. 2, the imaging distance (straight line distance) on the virtual horizontal plane E from the
そして、図2の仮想水平面E上の監視カメラ2と注目物体Nとの間の直線距離aは、取得部43bが取得した監視カメラ情報の位置情報と撮影方向と画像中における注目物体Nの位置から算出することができる。また、注目物体Nと飛行装置3の撮像部31aとを結ぶ直線と仮想水平面Eとのなす角度αと、仮想水平面Eからの飛行装置3の高度Hは、監視員の操作部45の操作により予め設定される。従って、撮影距離Wを一意に定めることができる。
The linear distance a between the monitoring
今、図3に示すように、注目物体Nを追跡する監視カメラ2の撮影位置Pを原点(0,0)としたときの基準方位(北)と注目物体Nとのなす角度をφとすると、飛行装置3の移動位置(目標位置)は図3における座標(Wsinφ,Wcosφ)、撮影方向はφ+180°として算出することができる。
Now, as shown in FIG. 3, if the angle between the reference azimuth (north) and the target object N when the photographing position P of the
これにより、飛行装置制御部43dは、飛行装置3を座標(Wsinφ,Wcosφ)の移動位置まで移動制御し、飛行装置3又は撮像部31aの撮影方向をφ+180°に撮影制御する。この飛行装置3の移動制御にあたっては、設定された角度αと高度Hになるように、飛行装置3から所定フレーム周期で所定時間おきに送信される画像データに含まれる飛行装置情報の飛行位置(緯度、経度、高さ)や撮像部31aの撮影方向(水平角度、垂直角度)に基づいて飛行装置3の飛行状態を制御する。ここで、角度αと高度Hの制御は、例えば、注目物体Nを撮影する角度を優先する場合、角度αが設定値に近づくようにまず移動制御し、それから角度αが設定値となった後に高度Hが設定値に近づくように移動制御してもよいし、飛行装置3が飛行する高度を優先する場合は、高度Hが設定値に近づくようにまず移動制御し、高度Hが設定値となった後に角度αが設定値に近づくように移動制御してもよい。
Thus, the flying
飛行装置3が目標位置に到着すると、監視カメラ2と対向する反対位置から監視カメラ2の撮影範囲Lを含む撮影範囲で撮像部31aが撮影する。この撮像部31aが撮影する画像は、監視カメラ2からは把握できない情報を多く含んだ画像である。そして、飛行装置3は、撮像部31aが撮影した画像を所定フレーム周期で所定時間おきにセンタ装置4に送信する。センタ装置4は、監視カメラ2からは把握できない情報を含んだ飛行装置3からの画像を受信し、監視カメラ2からの画像とともに表示部46に表示する。これにより、監視員は、監視カメラ2からの画像だけでなく、監視カメラ2からは把握できない情報を含んだ飛行装置3からの画像をモニタし、監視領域の状況を把握しながら注目物体Nの監視を行うことができる。
When the flying
なお、上述した実施の形態においては、位置算出部43cbが算出する目標位置は、図3の座標上で示した位置そのものとして説明したが、この位置を中心とした誤差範囲を設け、この誤差範囲を目標位置としてよい。 In the above-described embodiment, the target position calculated by the position calculation unit 43cb has been described as the position shown on the coordinates in FIG. 3, but an error range centered on this position is provided. May be the target position.
以上説明したように、上述した実施の形態による監視システム1によれば、以下に示す効果を奏する。
As described above, the
監視員による操作部45の操作により補完画像取得処理の指示があると、監視カメラ2の撮影位置P、撮影方向及び撮影範囲Lに関する情報を取得部43bが取得し、監視カメラ2の撮影方向D1と対向する対向方向D2と、監視カメラ2の注目物体位置Nを撮影位置Pとの間で挟む目標位置とを目標算出部43cが算出し、目標位置に飛行装置3を移動させて監視カメラ2と対向する方向に撮像部31aを向け、監視カメラ2の撮影範囲Lを含んで撮影するように飛行装置制御部43dが飛行装置3を制御する。かかる構成により、上空から平面視した仮想水平面E上において、監視カメラ2が撮影している撮影方向D1と対向する方向D2から飛行装置3の撮像部31aが監視カメラ2の撮影範囲Lを含んで撮影するように飛行装置3が移動制御され、監視領域の状況を把握するのに適した画像として、監視カメラ2の画像からは把握できない情報を多く含んだ画像(監視カメラ2と対向して注目物体Nを反対側から撮影した画像)を得ることができる。
When a supplementary image acquisition process is instructed by the operation of the
監視カメラ2の撮影位置Pから監視カメラ2にて撮影された画像上の注目物体Nの位置に向かう方向を監視カメラ2の撮影方向とすれば、注目物体Nに対して監視カメラ2と対向する反対位置から注目物体Nの画像を補完して撮影することができる。例えば注目物体Nが人物である場合、監視カメラ2が人物を正面から撮影していれば、飛行装置3の撮像部31aは人物を背面から撮影するので、人物を異なる方向から撮影した画像を取得することができる。また、監視カメラ2の画角の中央の方向を監視カメラ2の撮影方向とすれば、監視カメラ2の撮影範囲全体を考慮して対向する反対位置から、監視カメラ2の画角の中央の画像を補完した画像を撮影することができる。さらに、監視カメラ2の撮影位置Pから撮影範囲Lの注目位置に向かう方向を監視カメラ2の撮影方向とすれば、監視カメラ2の画像上で重要視する注目位置の画像を補完した画像を撮影することができる。
If the direction from the shooting position P of the
監視カメラ2にて撮影された画像上の注目物体Nの位置を撮影位置Pと目標位置とで挟むように目標位置を算出すれば、監視カメラ2の画像からは把握できない情報として、注目物体N(例えば人物や車両など)に関する情報を多く含んだ画像を得ることができる。また、監視カメラ2の撮影範囲Lの注目位置を撮影位置Pと目標位置とで挟むように目標位置を算出すれば、監視カメラ2からは把握できない情報として、例えば注目物体Nが存在する可能性の高い注目位置(例えば、注目物体Nが人物であれば人物が存在する可能性の高い歩道の位置、注目物体Nが車両であれば車両が存在する可能性の高い車道の位置など)に関する情報を多く含んだ画像を得ることができる。
If the target position is calculated such that the position of the target object N on the image captured by the
このように、本実施の形態に係る監視システムによれば、監視カメラ2と飛行装置3とを連携させ、監視カメラ2からの画像と合わせて、監視カメラ2の画像からでは把握できない情報を多く含んだ画像を飛行装置3から取得し、これらの画像から監視領域の状況を把握して監視を行うことができる。
As described above, according to the monitoring system according to the present embodiment, the
以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。 The best mode of the monitoring system according to the present invention has been described above, but the present invention is not limited by the description and drawings according to this mode. That is, it is a matter of course that all other forms, examples, operation techniques, and the like made by those skilled in the art based on this form are included in the scope of the present invention.
1 監視システム
2 監視カメラ
3 飛行装置
4 センタ装置(追跡処理装置)
21 カメラ部
22 制御部
23 通信部
31 カメラ部
32 推進部
33 方向舵
34 測位部
35 姿勢検出部
36 制御部
37 無線通信部
41 通信部
42 無線通信部
43 制御部
43a 注目物体検出部
43b 取得部
43c 目標算出部
43ca 方向算出部
43cb 位置算出部
44 記憶部
45 操作部
46 表示部
D1 監視カメラの撮影方向
D2 飛行装置の撮像部の撮影方向
E 仮想水平面
L 監視カメラの撮影範囲
N 注目物体
P 撮影位置
DESCRIPTION OF
DESCRIPTION OF
Claims (3)
前記監視カメラの撮影方向と水平面上において対向する対向方向を算出する方向算出部と、
前記監視カメラの撮影範囲を当該監視カメラの撮影位置とで挟み、前記対向方向にて当該撮影範囲を撮影可能な位置を目標位置として算出する位置算出部と、
前記目標位置に前記飛行装置を移動させて前記対向方向に前記撮像部を向けて前記撮影範囲を撮影するように制御する飛行装置制御部と、
を備えたことを特徴とする監視システム。 A surveillance system comprising a surveillance camera for photographing from the ground and a flying device having an imaging unit for photographing from the sky,
A direction calculation unit that calculates a facing direction opposite to the shooting direction of the monitoring camera on a horizontal plane;
A position calculation unit for calculating viewed clamping the shooting range of the surveillance camera at the photographing position of the monitoring cameras, a photographable position the imaging range in the opposite direction as the target position,
A flying device control unit that controls to move the flying device to the target position and direct the imaging unit in the facing direction to capture the imaging range;
A monitoring system characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259397A JP6482855B2 (en) | 2014-12-22 | 2014-12-22 | Monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259397A JP6482855B2 (en) | 2014-12-22 | 2014-12-22 | Monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016118994A JP2016118994A (en) | 2016-06-30 |
JP6482855B2 true JP6482855B2 (en) | 2019-03-13 |
Family
ID=56244400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014259397A Active JP6482855B2 (en) | 2014-12-22 | 2014-12-22 | Monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6482855B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101748405B1 (en) * | 2016-10-31 | 2017-07-19 | 주식회사 코리트 | System of providing driving information for self-driving car using the smart-fence |
JP2019085104A (en) * | 2017-11-06 | 2019-06-06 | 株式会社エアロネクスト | Flight unit and control method of flight unit |
JP2022013960A (en) * | 2018-11-06 | 2022-01-19 | 株式会社スマートドライブ | Information processing device, information processing system, and program |
JP7282578B2 (en) * | 2019-04-12 | 2023-05-29 | 俊雄 川口 | Angle measuring device, distance measuring device, speed measuring device, altitude measuring device, coordinate measuring device, angle measuring method, and program |
CN111345031B (en) * | 2019-04-25 | 2021-10-15 | 深圳市大疆创新科技有限公司 | Unmanned aerial vehicle and shooting control method thereof |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3946593B2 (en) * | 2002-07-23 | 2007-07-18 | 株式会社エヌ・ティ・ティ・データ | Joint shooting system |
JP2005142683A (en) * | 2003-11-04 | 2005-06-02 | Matsushita Electric Ind Co Ltd | Apparatus and method for camera control |
JP2010250478A (en) * | 2009-04-14 | 2010-11-04 | Toyota Motor Corp | Driving support device |
JP6085153B2 (en) * | 2012-11-26 | 2017-02-22 | 日立Geニュークリア・エナジー株式会社 | Indoor survey system |
-
2014
- 2014-12-22 JP JP2014259397A patent/JP6482855B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016118994A (en) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11879737B2 (en) | Systems and methods for auto-return | |
CN108139799B (en) | System and method for processing image data based on a region of interest (ROI) of a user | |
JP5618840B2 (en) | Aircraft flight control system | |
JP5775632B2 (en) | Aircraft flight control system | |
JP6482855B2 (en) | Monitoring system | |
JP6482857B2 (en) | Monitoring system | |
JP2010521879A (en) | Panoramic image processing system | |
JP2006027331A (en) | Method for collecting aerial image information by utilizing unmanned flying object | |
KR101880437B1 (en) | Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image | |
KR101545276B1 (en) | Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same | |
JP2016177640A (en) | Video monitoring system | |
KR101575954B1 (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
JP6482856B2 (en) | Monitoring system | |
WO2017169841A1 (en) | Display device and display control method | |
JP2004056664A (en) | Cooperative photography system | |
WO2019230604A1 (en) | Inspection system | |
JP2017169170A (en) | Imaging apparatus, moving apparatus, imaging system, imaging method, and program | |
KR20160082886A (en) | Method and system for mapping using UAV and multi-sensor | |
KR20190125588A (en) | Drone with thermo-graphic camera and zoom camera for searching the missing on the sea and system for searching the missing on the sea | |
JP2020082830A (en) | Artificial satellite, observation system, and information processing device | |
JP3919994B2 (en) | Shooting system | |
JP6482853B2 (en) | Image processing device | |
JP6482854B2 (en) | Image acquisition device | |
JP2003316259A (en) | Photography image processing method and system thereof | |
KR20190123095A (en) | Drone-based omni-directional thermal image processing method and thermal image processing system therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6482855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |