JP6713905B2 - 映像監視システム - Google Patents

映像監視システム Download PDF

Info

Publication number
JP6713905B2
JP6713905B2 JP2016206087A JP2016206087A JP6713905B2 JP 6713905 B2 JP6713905 B2 JP 6713905B2 JP 2016206087 A JP2016206087 A JP 2016206087A JP 2016206087 A JP2016206087 A JP 2016206087A JP 6713905 B2 JP6713905 B2 JP 6713905B2
Authority
JP
Japan
Prior art keywords
video
information
monitoring
video data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016206087A
Other languages
English (en)
Other versions
JP2018067837A (ja
Inventor
高橋 慧
高橋  慧
義和 正木
義和 正木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2016206087A priority Critical patent/JP6713905B2/ja
Publication of JP2018067837A publication Critical patent/JP2018067837A/ja
Application granted granted Critical
Publication of JP6713905B2 publication Critical patent/JP6713905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、映像監視システムに関するものである。
映像監視システムは、ホテルやビル、コンビニエンスストア、金融機関、ダムまたは道路等といった様々な公共施設等において、犯罪抑止や事後検証、事故防止等の目的で設置されている。
近年は、監視カメラの画像をデジタル化し、インターネットに代表されるネットワークを介して、映像を伝送し、記録装置での映像記録やPC(Personal Computer)にて映像表示を行うネットワーク型の画像監視システムが普及している。
ネットワーク型の映像監視システムではカメラや記録装置は固定された場所に設置し、度々設置場所を変更はされない。一方で短期間のみ設置し設置場所が変更されることを前提とした可搬型の映像監視システムがある。
可搬型の映像監視システムは設置場所が固定されていないため、装置にGPS(Global Positioning System)を内蔵し位置情報を取得し映像データにメタデータとして付加し、どの位置で撮影されたかを判別する。他に時刻情報、動体検知情報をメタデータとして付加している。映像データは、無線通信機能を用いたライブ映像配信、装置内の記録媒体への録画等に使用される。また、ライブ映像以外にも、アラーム情報などをネットワーク経由で管理サーバ等に通知することが出来る。
また、従来は、監視カメラで撮影した映像データをそのまま記録画像として保存し、有事の際に映像記録装置に保存されている記録画像の中から目的とする画像に対して具体的な時刻を指定して検索する必要があった。これは作業員の労力・時間を膨大に費やすことになり、検索するにあたり、事前に多くの情報、知識を有しておく必要がある。
先行技術文献としては、例えば、特許文献1に、画像検知部が、車両に搭載されたカメラによって時系列に撮像された2つの画像を対比することによって静止物体の相対的な空間配置をあらわす相対3次元座標を取得し、レーダ検知部が、画像に対応する範囲について照射した照射波に係る反射波に基づいて静止物体および移動物体に係る距離および方位を取得し、物体座標認識部が、取得された方位に存在する前記画像内の静止物体について取得された距離を用いて相対3次元座標から絶対3次元座標を算出する発明が開示されている。
他の先行技術文献としては、例えば、特許文献2に、コンテンツ情報、フレーム情報、画像特性の何れか又は全てを用いて処理対象の動画像コンテンツに対する、他の動画像コンテンツの総合的な関連度を算出し、この関連度に基づいて選択した表示対象の動画像コンテンツに対応する可視化コンテンツを、処理対象の動画像コンテンツに対応する可視化コンテンツの配置位置から、関連度に応じて離間させた位置に配置した仮想空間を表示する発明が開示されている。
特開2009−186353号公報 特開2009−80580号公報
本発明の目的は、移動する監視対象物の検知を容易にすることである。
本発明の映像監視システムは、監視装置がネットワークを介してPCと接続されている映像監視システムであって、監視装置は監視対象物および監視対象物の移動方向を検知し、検知した監視対象物と監視対象物の移動方向をPCに伝送することを特徴とする。
また、PCは伝送された前記監視装置が検知した監視対象物と監視対象物の移動方向を表示することが好ましい。
さらに、本発明の映像監視システムは、複数の監視カメラと集線装置と映像表示装置を備えた映像監視システムであって、集線装置は複数の監視カメラから監視対象物を検知し、監視対象物の軌跡を映像表示装置に表示することを特徴とする。
本発明によれば、移動する監視対象物の検知を容易にするができる。
本発明の一実施例に係る映像監視システムの概要を示す図である。 本発明の一実施例に係る記録映像ファイルデータフォーマットを示す図である。 本発明の一実施例に係る映像監視システムの動作を説明するためのフローチャートである。 本発明の一実施例に係る映像監視システムの設定画面を示す図である。 本発明の一実施例に係る映像監視システムの表示画面を示す図である。 本発明の一実施例に係る映像監視システムの動作を説明するための表示画面図である。 監視カメラ等の撮像部における撮影方角の取得する方法について説明するための図である。 本発明の他の一実施例に係る映像監視システムの概要を示す図である。 本発明の他の一実施例に係る映像監視システムの画像処理結果を示す表示画面図である。 本発明の他の一実施例に係る映像監視システムの動作を説明するためのフローチャートである。 本発明の他の一実施例に係る映像監視システムの移動軌跡を示す表示画面図である。 本発明の他の一実施例に係る映像監視システムの表示画面を示す図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
図1は本発明の一実施例に係る映像監視システムの概要を示す図である。
図1において、映像監視システムは、可搬型の監視装置101がネットワーク107を介して管理サーバ108、表示装置付きのPC(Personal Computer)109、映像データ記録装置110と接続されている。
なお、監視装置101は、常時設置の場合でもよい。
監視装置101は、撮像部102、画像処理部103、ネットワーク通信部104、GPS(Global Positioning System)受信部105、方角情報検出部106で構成されている。
GPS受信部105は、監視装置101の設置位置情報を検出し、検出した設置位置情報をネットワーク通信部104とネットワーク107を介して管理サーバ108、PC109、映像データ記録装置110に伝送する。
方角情報検出部106は、撮像部102が撮影している方角情報を検出し、検出した方角情報をネットワーク通信部104とネットワーク107を介して管理サーバ108、PC109、映像データ記録装置110に伝送する。
画像処理部103は、撮像部102が撮影した映像データから監視対象物や車番等の監視情報を検知し、検知した監視対象物や車番をネットワーク通信部104とネットワーク107を介して管理サーバ108、PC109、映像データ記録装置110に伝送する。
管理サーバ108は、監視装置101から伝送された監視情報を管理、記憶する。
PC109は、撮像部102が撮影した映像データや、監視装置101の設置位置を重畳した地図情報を、表示装置に表示する。
映像データ記録装置110は、撮像部102が撮影した映像データ等を記憶する。
図2は本発明の一実施例に係る記録映像ファイルデータフォーマットを示す図である。
図2において、映像配信データはメタデータ201と映像データ202で構成されている。
映像データ202には撮像部102で撮影した映像データが挿入される。
メタデータ201の中のデータ203には、時刻情報、監視対象物の動体検知情報、撮像部102が設置されているGPSの座標情報、撮像部102の撮影方向である方角情報、監視対象物の移動方角情報、監視対象物が自動車である場合の車番情報等が挿入される。
PC109は、監視装置101から伝送されてきた映像データを表示しながら、映像データ記録装置110に記憶されているメタデータ201を読み出して比較することもできる。
図3は本発明の一実施例に係る映像監視システムの動作を説明するためのフローチャートである。
図3において、画像処理部103は、方角情報検出部106から撮像部102の撮影方向である方角情報を読み込み(S301)、撮像部102が撮影した映像データから動体物を検出し(S302)、動体物の検出結果から映像上の移動方向を算出し(S303)、移動方向と角度情報から動体物の移動方角を算出し(S304)、方角設定と移動方角をメタデータ201として映像データに付加する(S305)。
次に、車番検出の動作について引き続き図3を用いて説明する。
画像処理部103は、映像データから車番の有無を判定し(S306)、車番を検出した場合(YES)にはS307の処理に進み、車番が検出できない場合(NO)には処理を終了する。
画像処理部103は、検出結果を通知するか否かを判定し(S307)、検出結果をPC109等に通知する場合(YES)にはS308の処理に進み、検出結果を通知しない場合(NO)には処理を終了する。
画像処理部103は、車番フィルタを使用するか否かを判定し(S308)、車番フィルタを使用する場合(YES)にはS309の処理に進み、車番フィルタを使用しない場合(NO)にはS310処理に進む。
なお、車番フィルタは、所定条件に該当する車番のみを検出するための処理である。
画像処理部103は、検出した車番が車番フィルタと合致しているか否かを判定し(S309)、検出した車番が車番フィルタと合致している場合(YES)にはS310の処理に進み、検出した車番が車番フィルタと合致していない場合(NO)には処理を終了する。
画像処理部103は、S310の処理で、車番情報、位置情報、方角情報、移動方角等を、ネットワーク通信部104とネットワーク107を介して管理サーバ108、PC109、映像データ記録装置110に伝送する。
図4は本発明の一実施例に係る映像監視システムの設定画面を示す図である。
図4は、方角情報検出部106にデジタルコンパス等を使用できない場合に、機器に方角を設定するための設定インターフェースをPC109の表示装置に示した図である。
設定者は、PC109の表示装置に表示されている図4の設定画面を見ながら、画面の上下左右がどの方角に対応しているかを設定することができる。
設定者は、まず画面上方が向いている方角を方角選択401で選択する。続いて画面右側が向いている方角を方角選択402で選択する。選択が完了したら設定ボタン403を押下する。
PC109は、方角が方角選択401と方角選択402で設定され、設定ボタン403が押下されると、方角を設定する。
図5は本発明の一実施例に係る映像監視システムの表示画面を示す図である。
PC109の映像表示部501には、撮像部102で撮影された映像データが表示される。
PC109は、メタデータ201に含まれた方角情報を読み取り、画面上に方角表示502を表示させる。
方角表示502は方角表示ボタン503によって表示・非表示を切り替えられる。
図6は本発明の一実施例に係る映像監視システムの動作を説明するための表示画面図である。
PC109は、管理サーバ108または監視装置101から取得した座標情報と方角情報から監視装置101の設置位置を地図601上に表示する。
PC109は、監視装置101が図3の処理で車番検出し情報を管理サーバ108に通知して場合(S310)、車番情報・座標情報・方角情報・移動方角を地図601上の該当する座標付近に車両検出情報602を表示させる。
PC109は、監視装置101が図3の処理で車番フィルタを使用して特定の車番の車のみを検出することにより、特定の車番の車のみの検出位置をリアルタイムで地図601上に表示することができる。
また、PC109は、移動方角情報から車両が移動した方角を地図601上に矢印603として表示する。
監視者は、PC109の表示装置に表示された車両の移動方向により車両の追跡が容易となる。
図7は監視カメラ等の撮像部における撮影方角の取得する方法について説明するための図である。
監視装置101は、撮像部102が旋回機能を有する場合、基準方角701を周知の技術を用いて検出する。
監視装置101は、撮像部102の撮影方角が変わった場合、撮像部102の旋回角度703を取得し、撮影方角702を算出する。
次に、本発明の他の一実施例について図8〜図12を用いて説明する。
図8は本発明の他の一実施例に係る映像監視システムの概要を示す図である。
図8において、映像監視システム800は、監視カメラ801,802,803、各機器と通信を行う集線装置811、映像表示装置812、映像記録装置813、電源装置814で構成されている。
なお、監視カメラ801,802,803は、ネットワーク対応型であるが、エンコーダ/デコーダを用いることでアナログカメラでも同様の構成が可能である。
映像監視システム800は、各機器をネットワークによって相互通信されており、必要な情報を必要な機器に逐次通信が行われる。
監視カメラ801,802,803が撮影した映像データは、映像表示装置812に表示され、映像記録装置813に記憶される。
なお、映像記録装置813に記憶される記録画像には、容易に検索を可能とするための特徴量を有した画像処理情報を含んでいる。
次に、本発明の他の一実施例に係る映像監視システムの動作について説明する。
図8の集線装置811は、画像処理機能を有している。
集線装置811は、監視カメラ801,802,803、または映像記録装置813から映像データを取得し、画像処理を施し、画像処理情報を得る。
図9は本発明の他の一実施例に係る映像監視システムの画像処理結果を示す表示画面図である。
図29に示す画像処理情報901は、動体情報(人、車等)902、不審物情報(放置物、落し物、置き去り等)903、追従情報(動体の移動軌跡、不審物の移動等)904が保持され、作業員が直感的に目的に合った画像を探し出すことに役立つ。
集線装置811は、画像処理情報を収集・解析したものを、アラーム情報として送出し、要注意情報として、映像表示装置812への表示を行い、アラーム情報を監視者・システム管理者に知らせる。
画像処理情報が有する追従検知情報については、複数台の監視カメラを連携させることで、より精度よく動体・不審物の移動軌跡が分析できるようになり、事前の犯罪、事故の予測情報として活用することで予防対策に貢献できる。
図10は本発明の他の一実施例に係る映像監視システムの動作を説明するためのフローチャートである。
図10において、集線装置811は、監視カメラ801,802,803から生映像データを取得し(S1001)、映像記録装置813に生映像データを記憶させ(S1002)、映像表示装置812に生映像データを表示させる(S1003)。
集線装置811は、映像記録装置813に記憶された記録画像データに対して画像処理情報の生成を行う(S1010)。
集線装置811は、記録画像データから検知したものが人か否かを判定し(S1011)し、人を検知した場合(YES)にはS1012の処理に進み、人以外のものを検知した場合(NO)にはS1013の処理に進む。
集線装置811は、S1012の処理では検知した人に例えば、黄色枠を付けて映像表示装置812に表示し、S1013の処理に進む。
集線装置811は、記録画像データから検知したものが車か否かを判定し(S1013)し、車を検知した場合(YES)にはS1014の処理に進み、車以外のものを検知した場合(NO)にはS1015の処理に進む。
集線装置811は、S1014の処理では検知した車に例えば、赤色枠を付けて映像表示装置812に表示し、S1015の処理に進む。
集線装置811は、記録画像データから検知したものが小動物か否かを判定し(S1015)し、小動物を検知した場合(YES)にはS1016の処理に進み、小動物以外のものを検知した場合(NO)にはS1017の処理に進む。
集線装置811は、S1016の処理では検知した小動物に例えば、緑色枠を付けて映像表示装置812に表示し、S1017の処理に進む。
集線装置811は、記録画像データから検知したものが不審物か否かを判定し(S1017)し、不審物を検知した場合(YES)にはS1018の処理に進み、不審物以外のものを検知した場合(NO)にはS1019の処理に進む。
集線装置811は、S1018の処理では検知した不審物に例えば、青色枠を付けて映像表示装置812に表示し、S1019の処理に進む。
集線装置811は、記録画像データから検知したものが動体か否かを判定し(S1019)し、動体を検知した場合(YES)にはS1020の処理に進み、動体以外のものを検知した場合(NO)にはS1021の処理に進む。
集線装置811は、S1020の処理では動体を検知し、S1021の処理に進む。
集線装置811は、S1021の処理では画像処理情報の生成を行い、S1022の処理に進む。
集線装置811は、生成した画像処理情報を映像データに重畳するか否かを判定し(S1022)、画像処理情報を映像データに重畳する場合(YES)にはS1003の処理に進み、画像処理情報を映像データに重畳させない場合(NO)にはS1001の処理に戻る。
なお、集線装置811は、画像処理情報自体には映像データを重畳して一緒に記憶はせず、監視対象物の状態・環境情報として時刻と同期させて個別に管理することでデータ容量削減を実現することができる。
図11は本発明の他の一実施例に係る映像監視システムの移動軌跡を示す表示画面図である。
複数台の監視カメラを用いて、個々の記録画像の関係を連動させることでより広い視野で監視対象物の移動軌跡を追従することができる。
例えば、集線装置811は、上述の画像処理情報と記録画像データから、図11に示す車1111の移動軌跡を監視カメラ801の表示画像1110と、監視カメラ802の表示画像1110の両方を並列表示することで、監視対象物の移動軌跡を追従することができる。
図12は本発明の他の一実施例に係る映像監視システムの表示画面を示す図である。
集線装置811は、図10の画像処理で取得して映像記録装置813に記憶した映像画像処理情報と該当する記録画像データを読み出し、所定の検索を行って、検索結果を映像表示装置812に出力する。
図12の表示画面1200は検索結果である。
表示画面1200は、カメラ種類1202、検索入力欄1203、検知数1204を表示し、検索結果を表示欄1210,1220に記録画像データと共に表示する。
表示欄1210,1220は、記録画像データの撮影日時や検知時間、検知物の枠等が表示される。
本発明の実施形態である映像監視システムは、移動する監視対象物の検知を容易にするができる。
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
監視対象物および監視対象物の移動方向を検知し、検知した監視対象物と監視対象物の移動方向を地図画像に重畳表示することによって、監視対象物の監視を容易にする用途に適用できる。
101:監視装置、102:撮像部、103:画像処理部、104:ネットワーク通信部、105:GPS受信部、106:方角情報検出部、107:ネットワーク、108:管理サーバ、109:PC、110:映像データ記録装置、621,622:カメラ、800:映像監視システム、801,802,803:監視カメラ、811:集線装置、812:映像表示装置、813:映像記録装置、814:電源装置。

Claims (3)

  1. ネットワークを介して映像データとメタデータとを映像配信データとして伝送する映像監視システムにおける監視装置であって、
    映像を撮影する撮像部と、
    前記撮像部が撮影した映像データから監視対象物の監視情報を検知する画像処理部と、
    前記監視装置の設置位置の座標情報を検出するGPS受信部と、
    前記撮像部が撮影している方角情報を検出する方角情報検出部と、
    前記画像処理部、前記GPS受信部、及び前記方角情報検出部から入力された情報をネットワークに伝送するネットワーク通信部と、
    を備え、
    前記画像処理部は、
    前記GPS受信部で検出した監視装置の設置位置の座標情報と、
    前記方角情報検出部で検出された撮像部が撮影している方角情報と、
    前記撮像部が撮影した映像データから監視対象物を検出し、前記監視対象物の検出結果から映像上の移動方向を算出し、当該移動方向と前記方角情報から算出した監視対象物の移動方角と、
    を前記映像配信データのメタデータとして映像データに付加する
    ことを特徴とする監視装置。
  2. 請求項1に記載の監視装置であって、
    前記画像処理部は、特定の監視対象物のみを検出するフィルタ処理機能を有し、当該フィルタ処理により検出した監視対象物の情報を前記映像配信データのメタデータとして映像データに付加することを特徴とする監視装置。
  3. 請求項1または請求項2に記載の監視装置から、ネットワークを介して伝送された映像配信データに含まれる映像データを表示する映像監視システムにおける表示装置であって、
    表示画面に映像データを表示すると共に、
    前記メタデータに含まれる前記座標情報と前記方角情報から前記監視装置の設置位置を地図上に表示し、
    前記メタデータに含まれる前記方角情報と前記移動方角を前記座標情報と共に表示する、
    ことを特徴とする表示装置。
JP2016206087A 2016-10-20 2016-10-20 映像監視システム Active JP6713905B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016206087A JP6713905B2 (ja) 2016-10-20 2016-10-20 映像監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016206087A JP6713905B2 (ja) 2016-10-20 2016-10-20 映像監視システム

Publications (2)

Publication Number Publication Date
JP2018067837A JP2018067837A (ja) 2018-04-26
JP6713905B2 true JP6713905B2 (ja) 2020-06-24

Family

ID=62087328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016206087A Active JP6713905B2 (ja) 2016-10-20 2016-10-20 映像監視システム

Country Status (1)

Country Link
JP (1) JP6713905B2 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3979902B2 (ja) * 2001-08-30 2007-09-19 株式会社日立国際電気 監視映像配信システムおよび監視映像配信方法
JP2004194112A (ja) * 2002-12-12 2004-07-08 Sony Corp 画像信号処理装置
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP4333255B2 (ja) * 2003-07-23 2009-09-16 ソニー株式会社 監視装置
JP4872490B2 (ja) * 2006-06-30 2012-02-08 ソニー株式会社 監視装置、監視システム及び監視方法
JP2011197365A (ja) * 2010-03-19 2011-10-06 Panasonic Corp 映像表示装置および映像表示方法
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
US9693386B2 (en) * 2014-05-20 2017-06-27 Allied Telesis Holdings Kabushiki Kaisha Time chart for sensor based detection system
JP2016009896A (ja) * 2014-06-23 2016-01-18 三菱電機株式会社 映像監視システム及び映像監視システムの映像検索方法
JP6011833B1 (ja) * 2015-09-14 2016-10-19 パナソニックIpマネジメント株式会社 ウェアラブルカメラシステム及び人物報知方法

Also Published As

Publication number Publication date
JP2018067837A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
US20230300466A1 (en) Video surveillance system and video surveillance method
US10152858B2 (en) Systems, apparatuses and methods for triggering actions based on data capture and characterization
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
KR101634966B1 (ko) Vr 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
CN107766788B (zh) 信息处理装置、其方法和计算机可读存储介质
US9406342B2 (en) Imaging apparatus and method of providing imaging information
KR100862398B1 (ko) 다중 카메라를 이용한 방범용 씨씨티브이 기능을 갖는 불법주정차 무인 자동 단속방법 및 그 시스템
US10025992B1 (en) Bulk searchable geo-tagging of detected objects in video
JP6403687B2 (ja) 監視システム
KR101048508B1 (ko) 스마트디바이스를 이용한 실시간 항만 영상 관제 시스템 및 그 방법
JP6244120B2 (ja) 映像表示システム及び映像表示用プログラム
US9628874B2 (en) Imaging apparatus and method of providing video summary
JP6728897B2 (ja) 画像収集装置、画像収集システム、画像収集方法及びプログラム
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
CN108810514A (zh) 通过图像报告进行的事件重建
KR20160078724A (ko) 카메라 감시 영역 표시 방법 및 장치
US10719547B2 (en) Image retrieval assist device and image retrieval assist method
JP2017167800A (ja) 監視システム、情報処理装置、監視方法および監視プログラム
JP2007158496A (ja) 地図連携映像監視方法及びその装置
US10979675B2 (en) Video monitoring apparatus for displaying event information
JP6713905B2 (ja) 映像監視システム
KR101686851B1 (ko) Cctv 카메라를 이용한 통합 관제 시스템
WO2013125301A1 (ja) 監視システム
JP2016122892A (ja) 映像装置
JP2019091230A (ja) 車両監視システム、監視装置および情報共有方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200604

R150 Certificate of patent or registration of utility model

Ref document number: 6713905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250