JP5964108B2 - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP5964108B2 JP5964108B2 JP2012078759A JP2012078759A JP5964108B2 JP 5964108 B2 JP5964108 B2 JP 5964108B2 JP 2012078759 A JP2012078759 A JP 2012078759A JP 2012078759 A JP2012078759 A JP 2012078759A JP 5964108 B2 JP5964108 B2 JP 5964108B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- detected
- past
- recognition target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Description
請求項6記載の発明は、請求項5に記載の物体検出装置であって、さらに、前記第1の過去フレーム画像から前記第1の過去検出物体が検出されなかった場合、前記入力フレーム画像よりも前に入力された第2の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像を特定するフレーム特定部と、前記距離算出部は、前記入力フレーム画像から検出された検出物体の位置から前記フレーム特定部により特定されたフレーム画像から検出された検出物体の位置までの第2の距離を算出し、前記第1の判定部は、前記第2の距離が第2の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体が前記特定されたフレーム画像から検出された検出物体と同じであると判定する。
{1.物体検出装置1の構成}
図1は、物体検出装置1の構成を示す機能ブロック図である。図1に示すように、物体検出装置1は、自動車などの車両に搭載され、車両前方の景色を撮影するカメラ(図示省略)からフレーム画像4を入力し、入力したフレーム画像4から歩行者を検出する。
物体検出装置1は、過去フレーム画像の検出物体を入力フレーム画像で追跡しているか否かを判定する追跡処理を実行する。以下、図2を参照しながら、追跡処理の概略を説明する。
以下、図3〜図5を参照しながら、追跡処理について詳しく説明する。図3は、物体検出装置1が実行する追跡処理のフローチャートである。図4は、物体検出装置1に入力されるフレーム画像を示す図である。図5は、検出履歴情報2の内容を示すテーブルである。
画像認識部11は、フレーム画像42,43,45から歩行者を検出するが、フレーム画像41,44から歩行者を検出しない。以下、各フレーム画像が入力されたときにおける物体検出装置1の動作を説明する。
図7は、物体検出装置2に入力されるフレーム画像51〜54を示す図である。フレーム画像51〜54は、歩行者を含まない。画像認識部11は、フレーム画像51,52,54から歩行者を検出しないが、フレーム画像53において、ポスト53fを誤って歩行者として検出すると仮定する。
以下、本発明の第2の実施の形態について説明する。本実施の形態に係る物体検出装置1の構成は、上記第1の実施の形態と同様である。以下、上記第1の実施の形態と異なる点を中心に説明する。
図4に示すフレーム画像41〜45が物体検出装置1に入力される場合を例にして、第2の実施の形態における追跡処理を詳しく説明する。
以下、図7を参照しながら、画像認識部11が歩行者でない物体を誤って歩行者として検出した場合を説明する。画像認識部11は、フレーム画像51,52,54から歩行者を検出しないが、フレーム画像53のポスト53fを誤って歩行者として検出する。
これまで、参照フレーム数が2つに設定されている場合を例にして、第2の実施の形態を説明した。ここで、参照フレーム数及び基準フレーム数が3であるときのステップS209の処理について説明する。図4に示すフレーム画像41〜45において、歩行者がフレーム画像43,45で検出され、歩行者がフレーム画像41,42,44で検出されなかったと仮定する。
また、参照フレーム数が3つ以上に設定される場合、位置予測部14は、相対位置をそのまま用いて、フレーム画像における歩行者の位置を予測できないことがある(ステップS214)。この場合、位置予測部14は、相対位置を調整した上で、歩行者の位置を予測する。
物体検出装置1は、図3に示す追跡処理と、図8に示す追跡処理とを並行して実行してもよい。この場合、物体検出装置1は、図3に示す追跡処理の結果と、図4に示す追跡処理の結果とに基づいて、入力フレーム画像で追跡が成立しているか否かを判断する。たとえば、物体検出装置1は、図3に示す追跡処理及び図8に示す追跡処理の両者において、追跡が入力フレーム画像で成立すると判定した場合、入力フレーム画像内の検出物体の領域を強調してもよい。あるいは、物体検出装置1は、図3に示す追跡処理及び図8に示す追跡処理のいずれか一方において、追跡が入力フレーム画像で成立すると判定した場合、入力フレーム画像内の検出物体の領域を強調してもよい。
2 検出履歴情報
11 画像認識部
12 記憶部
13 距離算出部
14 位置予測部
15 判定部
16 出力部
41〜45,51〜54 フレーム画像
41a〜46a,53a 領域
41b〜46b,53b 中心座標
Claims (10)
- 入力フレーム画像から認識対象を検出し、前記入力フレーム画像から前記認識対象として検出された検出物体の位置を特定する画像認識部と、
前記入力フレーム画像よりも前に入力された第1の過去フレーム画像から認識対象として検出された第1の過去検出物体が前記第1の過去フレームよりも前に入力された第2の過去フレーム画像から検出された第2の過去検出物体と同じであるか否かを示す追跡情報と、前記第1の過去検出物体の位置が前記画像認識部により特定されたか否かを示す情報と前記第1の過去フレーム画像における前記第1の過去検出物体の位置を示す情報とを含む特定情報と、を記憶する記憶部と、
前記認識対象が前記入力フレーム画像から検出された場合、前記第1の過去検出物体の位置から、前記入力フレーム画像から検出された検出物体の位置までの第1の距離を算出する距離算出部と、
前記第1の距離が予め設定された第1の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体は、前記第1の過去検出物体と同じであると判定する第1の判定部と、
前記認識対象が前記入力フレーム画像から検出されなかった場合、前記追跡情報及び前記特定情報を参照し、前記第1の過去検出物体が前記第2の過去検出物体と同じであることが前記追跡情報で示され、かつ、前記第1の過去検出物体の位置が前記画像認識部により特定されたことが前記特定情報で示されている場合、前記認識対象が前記入力フレーム画像に存在すると判定し、前記第1の過去検出物体の位置が前記画像認識部により特定されていないことが前記特定情報で示されている場合、前記認識対象が前記入力フレーム画像に存在しないと判定する第2の判定部と、
を備える物体検出装置。 - 請求項1に記載の物体検出装置であって、さらに、
前記認識対象が前記入力フレーム画像に存在すると前記第2の判定部により判定された場合、前記第2の過去検出物体の位置を基準にしたときの前記第1の過去検出物体の相対位置を用いて、前記入力フレーム画像における前記認識対象の位置を予測する位置予測部、
を備える物体検出装置。 - 請求項1に記載の物体検出装置であって、
前記距離算出部は、前記認識対象が前記入力フレーム画像に存在すると前記第2の判定部により判定された場合、前記第1の過去検出物体の位置から、前記画像認識部により前記入力フレーム画像から前記認識対象の候補として抽出された物体の位置までの暫定距離を算出し、
前記物体検出装置は、
前記暫定距離が前記第1の基準距離よりも小さい場合、前記抽出された物体の位置を前記認識対象の位置と予測する位置予測部、
を備える物体検出装置。 - 請求項2または請求項3に記載の物体検出装置であって、
前記画像認識部は、前記入力フレーム画像の後に入力される後続フレーム画像から前記認識対象を検出し、前記後続フレーム画像から前記認識対象として検出された後続検出物体の位置を特定し、
前記距離算出部は、前記位置予測部により予測された位置から前記後続検出物体の位置までの第2の距離を算出し、
前記第1の判定部は、前記第2の距離が前記第1の基準距離よりも小さい場合、前記後続検出物体が前記第1の過去検出物体と同じであると判定する物体検出装置。 - 入力フレーム画像から認識対象を検出し、前記入力フレーム画像から前記認識対象として検出された検出物体の位置を特定する画像認識部と、
前記入力フレーム画像よりも前に入力された第1の過去フレーム画像から前記認識対象として検出された第1の過去検出物体の位置を示す位置情報を記憶する記憶部と、
前記入力フレーム画像から前記認識対象が検出された場合、前記第1の過去検出物体の位置から、前記入力フレーム画像から検出された検出物体の位置までの第1の距離を算出する距離算出部と、
前記第1の距離が予め設定された第1の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体は、前記第1の過去検出物体と同じであると判定する第1の判定部と、
前記入力フレーム画像から前記認識対象が検出されなかった場合、前記入力フレーム画像よりも前に入力された第1の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上であるか否かを確認するフレーム数確認部と、
前記認識対象が検出されたフレーム画像の数が基準フレーム数以上である場合、前記認識対象が前記入力フレーム画像に存在すると判定する第2の判定部と、
を備える物体検出装置。 - 請求項5に記載の物体検出装置であって、さらに、
前記第1の過去フレーム画像から前記第1の過去検出物体が検出されなかった場合、前記入力フレーム画像よりも前に入力された第2の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像を特定するフレーム特定部と、
前記距離算出部は、前記入力フレーム画像から検出された検出物体の位置から前記フレーム特定部により特定されたフレーム画像から検出された検出物体の位置までの第2の距離を算出し、
前記第1の判定部は、前記第2の距離が第2の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体が前記特定されたフレーム画像から検出された検出物体と同じであると判定する物体検出装置。 - 請求項6に記載の物体検出装置であって、
前記第2の基準距離は、前記入力フレーム画像から前記特定されたフレーム画像までのフレーム数に応じて前記第1の基準距離を変更することにより算出される物体検出装置。 - 請求項6または請求項7に記載の物体検出装置であって、さらに、
前記フレーム数確認部は、前記第1の過去フレーム画像から前記第1の過去検出物体が検出されなかった場合、前記第1の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上であるか否かを確認し、
前記第1の判定部は、前記認識対象が検出されたフレーム画像の数が前記基準フレーム数よりも少ない場合、前記入力フレーム画像から検出された検出物体が前記認識対象として誤って検出されたと判定する物体検出装置。 - 請求項5に記載の物体検出装置であって、さらに、
前記第2の判定部により前記認識対象が前記入力フレーム画像に存在すると判定された場合、前記第1の所定数の過去フレーム画像に含まれるとともに、前記認識対象が検出された第1及び第2の参照フレーム画像を特定する参照フレーム特定部、
を備え、
前記第1の参照フレーム画像は、前記第2の参照フレーム画像よりも前に入力され、
前記物体検出装置は、さらに、
前記第1の参照フレーム画像から検出された第1の参照検出物体の位置と前記第2の参照フレーム画像から検出された第2の参照検出物体の位置とから、前記第1の参照検出物体の位置を基準にしたときの前記第2の参照検出物体の相対位置を特定し、前記相対位置と前記第2の参照検出物体の位置とを用いて、前記入力フレーム画像における前記認識対象の位置を予測する位置予測部、
を備える物体検出装置。 - 請求項9に記載の物体検出装置であって、
前記位置予測部は、前記第1の参照フレーム画像から前記第2の参照フレーム画像までのフレーム数と、前記第2の参照フレーム画像から前記入力フレーム画像までのフレーム数とに応じて前記相対位置を調整し、調整された前記相対位置を用いて前記認識対象の位置を予測する物体検出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012078759A JP5964108B2 (ja) | 2012-03-30 | 2012-03-30 | 物体検出装置 |
PCT/JP2013/054136 WO2013145948A1 (ja) | 2012-03-30 | 2013-02-20 | 物体検出装置 |
US14/388,017 US9652677B2 (en) | 2012-03-30 | 2013-02-20 | Object detection device for recognizing an object in an input frame image using past frame image information |
US15/486,807 US9977967B2 (en) | 2012-03-30 | 2017-04-13 | Object detection device for recognizing an object in an input frame image using detection history information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012078759A JP5964108B2 (ja) | 2012-03-30 | 2012-03-30 | 物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013210705A JP2013210705A (ja) | 2013-10-10 |
JP5964108B2 true JP5964108B2 (ja) | 2016-08-03 |
Family
ID=49259230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012078759A Expired - Fee Related JP5964108B2 (ja) | 2012-03-30 | 2012-03-30 | 物体検出装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9652677B2 (ja) |
JP (1) | JP5964108B2 (ja) |
WO (1) | WO2013145948A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10095935B2 (en) * | 2013-12-20 | 2018-10-09 | Magna Electronics Inc. | Vehicle vision system with enhanced pedestrian detection |
JP2015143946A (ja) * | 2014-01-31 | 2015-08-06 | 富士通株式会社 | 移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラム |
JP6337545B2 (ja) * | 2014-03-19 | 2018-06-06 | オムロン株式会社 | 画像処理装置、追跡方法、および追跡プログラム |
JP6295122B2 (ja) * | 2014-03-27 | 2018-03-14 | 株式会社メガチップス | 状態推定装置、プログラムおよび集積回路 |
JP6413530B2 (ja) * | 2014-09-12 | 2018-10-31 | 沖電気工業株式会社 | 監視システム、映像解析装置、映像解析方法およびプログラム |
JP6570302B2 (ja) * | 2015-04-23 | 2019-09-04 | ダイハツ工業株式会社 | 運転支援装置 |
JP6618767B2 (ja) * | 2015-10-27 | 2019-12-11 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP6976270B2 (ja) * | 2016-04-08 | 2021-12-08 | オービタル インサイト インコーポレイテッド | 地理的領域におけるコンテナ内に格納された量の遠隔決定 |
CN106504266B (zh) * | 2016-09-29 | 2019-06-14 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
KR101967305B1 (ko) | 2016-10-14 | 2019-05-15 | 주식회사 만도 | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 |
US10255490B2 (en) * | 2016-12-01 | 2019-04-09 | Sasken Communication Technologies Ltd | Method and apparatus for human detection in images |
US10922551B2 (en) * | 2017-10-06 | 2021-02-16 | The Nielsen Company (Us), Llc | Scene frame matching for automatic content recognition |
US20210397187A1 (en) * | 2018-10-15 | 2021-12-23 | Starship Technologies Oü | Method and system for operating a mobile robot |
JP7258564B2 (ja) * | 2019-01-16 | 2023-04-17 | スタンレー電気株式会社 | 車両用灯具の制御装置、車両用灯具の制御方法、車両用灯具システム |
JP7430088B2 (ja) | 2020-03-24 | 2024-02-09 | 株式会社フジタ | 発話制御装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0878965A3 (en) * | 1997-05-14 | 2000-01-12 | Hitachi Denshi Kabushiki Kaisha | Method for tracking entering object and apparatus for tracking and monitoring entering object |
US6445409B1 (en) * | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
JP2000105835A (ja) * | 1998-07-28 | 2000-04-11 | Hitachi Denshi Ltd | 物体認識方法及び物体追跡監視装置 |
EP1704509A4 (en) * | 2003-11-13 | 2010-08-25 | Honda Motor Co Ltd | ADAPTIVE PROBABILISTIC VISUAL TRACKING WITH INCREMENTAL SUB-ROOM UPDATE |
JP2005354578A (ja) | 2004-06-14 | 2005-12-22 | Denso Corp | 対象物体検出・追跡装置 |
JP2006323437A (ja) * | 2005-05-17 | 2006-11-30 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP4830650B2 (ja) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
JP4692371B2 (ja) * | 2006-04-26 | 2011-06-01 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム |
JP2009070344A (ja) | 2007-09-18 | 2009-04-02 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法および電子制御装置 |
JP5077164B2 (ja) * | 2008-09-16 | 2012-11-21 | オムロン株式会社 | 追跡装置及び追跡方法 |
US8325981B2 (en) * | 2009-04-21 | 2012-12-04 | Nec Soft, Ltd. | Human tracking apparatus, human tracking method, and human tracking processing program |
-
2012
- 2012-03-30 JP JP2012078759A patent/JP5964108B2/ja not_active Expired - Fee Related
-
2013
- 2013-02-20 WO PCT/JP2013/054136 patent/WO2013145948A1/ja active Application Filing
- 2013-02-20 US US14/388,017 patent/US9652677B2/en not_active Expired - Fee Related
-
2017
- 2017-04-13 US US15/486,807 patent/US9977967B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9652677B2 (en) | 2017-05-16 |
JP2013210705A (ja) | 2013-10-10 |
US20170220868A1 (en) | 2017-08-03 |
US9977967B2 (en) | 2018-05-22 |
WO2013145948A1 (ja) | 2013-10-03 |
US20150302258A1 (en) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5964108B2 (ja) | 物体検出装置 | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP6141079B2 (ja) | 画像処理システム、画像処理装置、それらの制御方法、及びプログラム | |
JP4884096B2 (ja) | 物体識別システム | |
JP5923746B2 (ja) | 物体検出枠表示装置及び物体検出枠表示方法 | |
KR20160106514A (ko) | 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 | |
JP5919538B2 (ja) | 物体検出装置及び物体検出方法 | |
JP2010085240A (ja) | 車両用画像処理装置 | |
JP6803525B2 (ja) | 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法 | |
TW201926141A (zh) | 影像目標追蹤方法及裝置 | |
JP4853444B2 (ja) | 移動物体検出装置 | |
JP4696991B2 (ja) | 動き検出方法および動き検出装置 | |
JP6953818B2 (ja) | 動作判定装置 | |
JP5107154B2 (ja) | 運動推定装置 | |
KR20140123299A (ko) | 차량 충돌 방지 장치 및 그 방법 | |
JP6527183B2 (ja) | 放置物検出装置 | |
JP5270319B2 (ja) | 画像監視装置 | |
JP2013218476A (ja) | 画像認識装置 | |
JP2017102634A (ja) | 画像処理装置および画像処理システム | |
JP6668740B2 (ja) | 道路面推定装置 | |
JP4151631B2 (ja) | 物体検出装置 | |
JP2008257399A (ja) | 画像処理装置 | |
JP2015215235A (ja) | 物体検出装置及び物体検出方法 | |
JP2008146132A (ja) | 画像検出装置、プログラム及び画像検出方法 | |
JP2006314060A (ja) | 画像処理装置及びノイズ検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5964108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |