JP6657270B2 - 目標追跡装置及び目標追跡方法 - Google Patents
目標追跡装置及び目標追跡方法 Download PDFInfo
- Publication number
- JP6657270B2 JP6657270B2 JP2017567762A JP2017567762A JP6657270B2 JP 6657270 B2 JP6657270 B2 JP 6657270B2 JP 2017567762 A JP2017567762 A JP 2017567762A JP 2017567762 A JP2017567762 A JP 2017567762A JP 6657270 B2 JP6657270 B2 JP 6657270B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- movement
- moving
- module
- parameter information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 238000012351 Integrated analysis Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
監視カメラの得た画像を取得して、取得した画像に基づいて、当該移動目標を確定し、さらに最終的に有効移動目標を確定する目標追跡モジュールと、
前記目標追跡モジュールに連接し、前記有効移動目標の今回の移動のパラメータ情報を計算し、このパラメータ情報にしたがって監視カメラを回転させるか否かを判断する移動モジュールと、
前記移動モジュールと前記目標追跡モジュールとに連接し、監視カメラが回転した後、パラメータ情報を更新し、そして目標追跡モジュールに通知し、移動目標の追跡を続けさせる総合分析モジュールと、
を含む。
前記監視カメラの得た画像の当面フレーム及び当面フレームに対する前の2つのフレームを採集する移動目標画像取得モジュールと、
前記移動目標画像取得モジュールの得た画像を保存する第1ストレージモジュールと、
前記ストレージモジュール中に保存した画像にしたがって、有効移動目標を確定する有効移動目標確定モジュールと、
を含む。
前記有効移動目標の今回の移動のパラメータ情報を計算する計算モジュールと、
前記計算モジュールに連接し、前記パラメータ情報を保存する第2ストレージモジュールと、
前記ストレージモジュールに連接し、ストレージモジュール中に保存した前記パラメータ情報にしたがって、監視カメラを回転させるか否かを判断する判断モジュールと、
を含む。
移動目標の移動画像を取得し、取得した移動画像に基づき、前記移動目標を確定し、さらに最終的に有効的な移動目標を確定するステップと、
前記有効移動目標の今回の移動のパラメータ情報を計算して、前記算出したパラメータ情報に基づき、監視カメラを回転させるか否かを判断するステップと、
監視カメラを回転させる必要がない場合、次のパラメータ情報を待ち続け、監視カメラを回転させる必要がある場合、監視カメラを回転させ、ストレージモジュールに記憶したパラメータ情報を更新するステップと、
を含む。
監視カメラから採集した第1フレームと、第2フレームと、第3フレームとの画像情報を取得し、前記移動目標の移動図を取得することと、
移動図でのゼロと等しくない点を移動元として表し、すべての相互連接する移動元を探し出して、疑似移動目標を確定することと、
前記疑似移動目標の移動強度を計算して、移動強度が閾値より小さい移動元を捨て、有効な移動目標を確定することと、
を含む。
有効移動目標の持続移動時間閾値と、移動変位閾値と、移動方位角閾値とを別々に設定し、設定した各閾値をストレージモジュールに記憶することと、
前記有効移動目標の持続移動時間と、移動変位と、移動方位角とを算出し、算出したものをストレージモジュールに記憶することと、
解析判断をして、前記移動持続時間が前記移動持続時間閾値に達して、前記移動変位が前記移動変位閾値に達して、また、前記移動方位角が前記移動方位角閾値に達した場合、監視カメラを回転させて、ストレージモジュールに記憶したパラメータ情報を更新して、そうでない場合、有効移動目標の次の組のパラメータ情報を判断し続けることと、
を含む。
本発明の技術案により、正確に、リアルタイムで移動目標を追跡することができ、監視カメラの回転をさせた後できるだけ早く追跡し続けることができ、従来の方法のように移動検出と追跡情報の蓄積とを再実行する必要はなく、しかもどんな移動物体も素早く追跡することができ、どんなオブジェクトモデルにも依存しない。
監視カメラの得た当面フレーム及び当面フレームの前の2つのフレームを採集する移動目標画像取得モジュールと、
移動目標画像取得モジュールの得た画像を記憶する第1ストレージモジュールと、
前記ストレージモジュールに記憶した画像により、有効移動目標を確定する有効移動目標確定モジュールと、
を含む。
計算モジュールは、有効移動目標の今回の移動のパラメータ情報を計算するため使うものである。
監視カメラの取得した画像を得て、得た画像により、移動目標を確定し、さらに最終的に有効移動目標を確定することと、
有効移動目標の今回の移動のパラメータ情報を計算し、算出した当該パラメータ情報により、監視カメラを回転させるか否かを判断することと、
監視カメラを回転させる必要がない場合、次のパラメータ情報を待ち続け、監視カメラを回転させる必要がある場合、監視カメラを回転させて、それにストレージモジュールに記憶したパラメータ情報を更新する。しかも、ストレージに監視カメラの位置情報が記憶され、監視カメラを回転させる度に、ストレージに記憶した監視カメラの位置情報を更新する。次回回転させる時、前回回転させた後の位置情報を参照して回転させる。
監視カメラから採集した第1フレームと、第2フレームと、第3フレームとの画像情報を得て、当該移動目標の移動画像を取得して(当面フレームを第3フレームとして、前の2つのフレームを時間先後の順序でそれぞれ第1フレームと第2フレームとして定義する)、
移動図では、0と等しくない点を移動元として、すべての相互接続している移動元を探し出して、擬似移動目標を確定して、
当該擬似移動目標の移動強度を計算して、移動強度が閾値より小さい移動元を捨てて、有効移動目標を確定することである。
有効移動目標の持続移動時間閾値と、移動変位閾値と、移動方位角閾値とをそれぞれ設定して、設定されたこれらのデータを第2ストレージモジュールに記憶して、
当該有効移動目標の持続移動時間と、移動変位と、移動方位角とを計算して、計算したこれらのデータを第2ストレージの記憶して、
分析判断して、当該移動持続時間が当該移動持続時間閾値に達すると同時に、当該移動変位が当該移動変位閾値に達し、当該移動方位角も上記の移動方位角閾値に達した場合、監視カメラを回転させて、しかもストレージモジュールに記憶したパラメータ情報を更新する。そうでなければ、有効移動目標の次の組みのパラメータ情報を判断し続ける、
ということである。
Claims (4)
- 監視カメラの目標追跡に適用する目標追跡装置において、
前記監視カメラの得た画像を取得して、取得した前記画像により、移動目標を確定し、最終的に有効移動目標を確定する目標追跡モジュールと、
前記目標追跡モジュールに連接し、前記有効移動目標の今回の移動のパラメータ情報を計算し、前記パラメータ情報により前記監視カメラを回転させるか否かを判断する移動モジュールと、
前記移動モジュールと前記目標追跡モジュールとに連接し、前記監視カメラが回転した後、前記パラメータ情報を更新し、前記目標追跡モジュールに通知して前記移動目標を追跡し続けさせる総合分析モジュールと、
を含み、
前記移動モジュールは
前記有効移動目標の今回の移動のパラメータ情報を計算する計算モジュールと、
前記計算モジュールに連接し、前記パラメータ情報を記憶する第1ストレージモジュールと、
前記第1ストレージモジュールに連接し、前記第1ストレージモジュールに記憶した前記パラメータ情報により、前記監視カメラを回転させるか否かを判断する判断モジュールと、
を含み、
前記総合分析モジュールは、前記監視カメラの位置情報を前記第1ストレージモジュールに記憶し、前記第1ストレージモジュールに記憶された前記監視カメラの前記位置情報を前記監視カメラが回転する度に更新し、次回回転させるとき、前回回転した後の前記位置情報を参照して前記監視カメラを回転させ、
前記目標追跡モジュールは、前記移動目標の移動画像を取得し、前記移動画像により、前記移動目標を確定し、最終的に前記有効移動目標を確定し、
前記移動モジュールは、前記有効移動目標の今回の移動のパラメータ情報を計算して、前記パラメータ情報により、前記監視カメラを回転させるか否かを判断し、前記監視カメラを回転させる必要がない場合、前記有効移動目標の次のパラメータ情報により前記監視カメラを回転させるか否かを判断し、前記監視カメラを回転させる必要がある場合、前記監視カメラを回転させ、前記第1ストレージモジュールに記憶された前記パラメータ情報を更新し、
前記移動モジュールは、前記有効移動目標の持続移動時間閾値と、移動変位閾値と、移動方位角閾値とを別々に設定し、これらの設定した前記閾値を前記第1ストレージモジュールに記憶し、前記有効移動目標の持続移動時間と、移動変位と、移動方位角とを算出し、これらの算出したものを前記第1ストレージモジュールに記憶し、解析判断をして、前記持続移動時間が前記持続移動時間閾値に達すると同時に、前記移動変位が前記移動変位閾値に達して、前記移動方位角が前記移動方位角閾値に達する場合、前記監視カメラを回転させて、前記第1ストレージモジュールに記憶した前記パラメータ情報を更新して、そうではなければ、前記有効移動目標の前記次のパラメータ情報により前記監視カメラを回転させるか否かを判断し続ける、
ことを特徴とする目標追跡装置。 - 前記目標追跡モジュールは、
前記監視カメラの得た前記画像の当面フレーム及び当面フレームに対する前の2つのフレームを採集する移動目標画像取得モジュールと、
前記移動目標画像取得モジュールの得た画像を記憶する第2ストレージモジュールと、
前記第2ストレージモジュールに記憶された前記画像により、前記有効移動目標を確定する有効移動目標確定モジュールと、
を含むことを特徴とする請求項1記載の目標追跡装置。 - 前記パラメータ情報は、前記有効移動目標の持続移動時間と、移動変位と、移動方位角とを含むことを特徴とする請求項1記載の目標追跡装置。
- 請求項1乃至3のいずれかに記載する目標追跡装置により、前記移動目標を追跡する方法において、
前記目標追跡モジュールは、
前記監視カメラから取得した第1フレームと、第2フレームと、第3フレームとの画像情報を得て、前記移動目標の移動図を取得し、
前記移動図におけるゼロと等しくない点を移動元として、すべての相互連接する移動元を探し出し、擬似移動目標を確定し、
前記擬似移動目標の移動強度を計算して、前記移動強度が閾値より小さい移動元を捨て、前記有効移動目標を確定する、
ことを特徴とする目標追跡方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510387049.1A CN106327517B (zh) | 2015-06-30 | 2015-06-30 | 一种目标跟踪装置及目标跟踪方法 |
CN201510387049.1 | 2015-06-30 | ||
PCT/CN2016/085626 WO2017000765A1 (zh) | 2015-06-30 | 2016-06-13 | 一种目标跟踪装置及目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018523394A JP2018523394A (ja) | 2018-08-16 |
JP6657270B2 true JP6657270B2 (ja) | 2020-03-04 |
Family
ID=57607839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017567762A Active JP6657270B2 (ja) | 2015-06-30 | 2016-06-13 | 目標追跡装置及び目標追跡方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10506150B2 (ja) |
EP (1) | EP3319042B1 (ja) |
JP (1) | JP6657270B2 (ja) |
CN (1) | CN106327517B (ja) |
HK (1) | HK1231613A1 (ja) |
TW (1) | TWI587113B (ja) |
WO (1) | WO2017000765A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10430641B2 (en) * | 2017-03-08 | 2019-10-01 | GM Global Technology Operations LLC | Methods and systems for object tracking using bounding boxes |
CN109559330B (zh) * | 2017-09-25 | 2021-09-10 | 北京金山云网络技术有限公司 | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 |
CN107992677B (zh) * | 2017-11-29 | 2020-11-17 | 中国人民解放军火箭军工程大学 | 基于惯导信息和亮度修正的红外弱小移动目标跟踪方法 |
CN109685062B (zh) * | 2019-01-02 | 2023-07-25 | 南方科技大学 | 一种目标检测方法、装置、设备及存储介质 |
CN109859200B (zh) * | 2019-02-15 | 2022-03-18 | 哈尔滨工程大学 | 一种基于背景分析的低空慢速无人机快速检测方法 |
CN111145217A (zh) * | 2019-12-27 | 2020-05-12 | 湖南华诺星空电子技术有限公司 | 一种基于kcf的无人机跟踪方法 |
CN111640141B (zh) * | 2020-05-20 | 2023-10-24 | 山东神戎电子股份有限公司 | 一种基于热成像的低慢目标定位跟踪方法 |
CN115442521B (zh) * | 2022-08-08 | 2023-10-27 | 杭州华橙软件技术有限公司 | 摄像控制方法及相关装置、摄像机和存储介质 |
CN116744102B (zh) * | 2023-06-19 | 2024-03-12 | 北京拙河科技有限公司 | 一种基于反馈调节的球机跟踪方法及装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1141427A (zh) * | 1995-12-29 | 1997-01-29 | 西安交通大学 | 基于图像识别的运动物体测量方法 |
KR100792283B1 (ko) * | 2001-08-07 | 2008-01-07 | 삼성전자주식회사 | 이동물체 자동 추적장치 및 방법 |
JP4819380B2 (ja) * | 2004-03-23 | 2011-11-24 | キヤノン株式会社 | 監視システム、撮像設定装置、制御方法、及びプログラム |
CN1937766A (zh) | 2005-09-20 | 2007-03-28 | 富士能株式会社 | 监视摄像机装置及监视摄像机系统 |
KR100837435B1 (ko) * | 2006-10-25 | 2008-06-12 | 삼성전자주식회사 | 촬영장치 및 이의 대상 추적제어방법 |
US8189905B2 (en) * | 2007-07-11 | 2012-05-29 | Behavioral Recognition Systems, Inc. | Cognitive model for a machine-learning engine in a video analysis system |
CN101378454B (zh) * | 2007-08-31 | 2010-06-16 | 鸿富锦精密工业(深圳)有限公司 | 摄像设备及其拍摄方法 |
JP4982407B2 (ja) * | 2008-02-22 | 2012-07-25 | 株式会社東芝 | 移動体画像追尾装置及び方法 |
JP2010154391A (ja) * | 2008-12-26 | 2010-07-08 | Panasonic Corp | 自動追尾カメラ装置 |
CN101572804B (zh) | 2009-03-30 | 2012-03-21 | 浙江大学 | 多摄像机智能控制方法及装置 |
US8116527B2 (en) * | 2009-10-07 | 2012-02-14 | The United States Of America As Represented By The Secretary Of The Army | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
JP5818487B2 (ja) * | 2011-04-11 | 2015-11-18 | キヤノン株式会社 | カメラ制御装置、カメラ制御方法 |
TWM426046U (en) * | 2011-05-10 | 2012-04-01 | Chiuan Yan Technology Co Ltd | Active target tracking microphotography module |
CN102307297A (zh) * | 2011-09-14 | 2012-01-04 | 镇江江大科茂信息系统有限责任公司 | 一种多方位视频目标跟踪检测的智能监控系统 |
CN103974028A (zh) * | 2013-01-30 | 2014-08-06 | 由田新技股份有限公司 | 人员激烈行为侦测方法 |
JP6182332B2 (ja) * | 2013-03-08 | 2017-08-16 | 株式会社デンソーウェーブ | 監視装置の制御方法 |
CN103237195A (zh) * | 2013-04-07 | 2013-08-07 | 南京理工大学 | 目标图像实时传输与跟踪系统 |
TWI509568B (zh) * | 2013-10-25 | 2015-11-21 | Univ Nat Kaohsiung Applied Sci | 偵測多移動目標之方法 |
CN203951553U (zh) * | 2014-05-05 | 2014-11-19 | 深圳市莫孚康技术有限公司 | 一种摄影机自动跟焦装置 |
US9213903B1 (en) * | 2014-07-07 | 2015-12-15 | Google Inc. | Method and system for cluster-based video monitoring and event categorization |
KR102558473B1 (ko) * | 2016-09-30 | 2023-07-25 | 삼성전자주식회사 | 이미지를 표시하기 위한 방법 및 그 전자 장치 |
US10607098B2 (en) * | 2017-11-13 | 2020-03-31 | Aupera Technologies, Inc. | System of a video frame detector for video content identification and method thereof |
-
2015
- 2015-06-30 CN CN201510387049.1A patent/CN106327517B/zh active Active
-
2016
- 2016-06-13 JP JP2017567762A patent/JP6657270B2/ja active Active
- 2016-06-13 WO PCT/CN2016/085626 patent/WO2017000765A1/zh unknown
- 2016-06-13 US US15/739,297 patent/US10506150B2/en active Active
- 2016-06-13 EP EP16817129.6A patent/EP3319042B1/en active Active
- 2016-06-29 TW TW105120415A patent/TWI587113B/zh not_active IP Right Cessation
-
2017
- 2017-05-19 HK HK17105078.5A patent/HK1231613A1/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
TW201701094A (zh) | 2017-01-01 |
TWI587113B (zh) | 2017-06-11 |
WO2017000765A1 (zh) | 2017-01-05 |
CN106327517B (zh) | 2019-05-28 |
EP3319042A4 (en) | 2019-01-02 |
HK1231613A1 (zh) | 2017-12-22 |
CN106327517A (zh) | 2017-01-11 |
JP2018523394A (ja) | 2018-08-16 |
US20180191950A1 (en) | 2018-07-05 |
EP3319042A1 (en) | 2018-05-09 |
US10506150B2 (en) | 2019-12-10 |
EP3319042B1 (en) | 2020-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6657270B2 (ja) | 目標追跡装置及び目標追跡方法 | |
US10769480B2 (en) | Object detection method and system | |
Hu et al. | Joint monocular 3D vehicle detection and tracking | |
Feng et al. | Dynamic saliency-aware regularization for correlation filter-based object tracking | |
CN108955718B (zh) | 一种视觉里程计及其定位方法、机器人以及存储介质 | |
WO2018068771A1 (zh) | 目标跟踪方法、系统、电子设备和计算机存储介质 | |
JP2020201269A (ja) | レーダー及びカメラベースのデータ融合 | |
WO2019119328A1 (zh) | 一种基于视觉的定位方法及飞行器 | |
Akolkar et al. | Real-time high speed motion prediction using fast aperture-robust event-driven visual flow | |
TWI615026B (zh) | 基於人體資訊的機器人監控系統及方法 | |
CN105654031B (zh) | 用于物体检测的系统和方法 | |
TW201926141A (zh) | 影像目標追蹤方法及裝置 | |
Milford et al. | Towards visual slam with event-based cameras | |
EP2915142B1 (en) | Method for initializing and solving the local geometry or surface normals of surfels using images in a parallelizable architecture | |
WO2018028102A1 (zh) | 一种仿记忆引导的模式识别方法 | |
JP2015106290A5 (ja) | ||
JP2019164521A (ja) | 追尾装置 | |
Ju et al. | Online multi-person tracking for intelligent video surveillance systems | |
CN106683113B (zh) | 特征点跟踪方法和装置 | |
CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
Liu et al. | Improved high-speed vision system for table tennis robot | |
Lei et al. | Improved motion information-based infrared dim target tracking algorithms | |
Xie et al. | Hierarchical quadtree feature optical flow tracking based sparse pose-graph visual-inertial SLAM | |
KR20200050553A (ko) | 움직임 추적 시스템 및 방법 | |
CN114359338A (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6657270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |