JP6520913B2 - 物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム - Google Patents
物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6520913B2 JP6520913B2 JP2016503980A JP2016503980A JP6520913B2 JP 6520913 B2 JP6520913 B2 JP 6520913B2 JP 2016503980 A JP2016503980 A JP 2016503980A JP 2016503980 A JP2016503980 A JP 2016503980A JP 6520913 B2 JP6520913 B2 JP 6520913B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- target object
- reflected light
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geophysics And Detection Of Objects (AREA)
- Measurement Of Optical Distance (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図1は、本発明の実施の形態にかかる物体検出装置1の概要を示す図である。物体検出装置1は、距離計測部2(距離計測手段)と、照射部4(照射手段)と、反射光強度計測部6(反射光強度計測手段)と、対象物体判定部8(対象物体判定手段)とを有する。
以下、図面を参照して本発明の実施の形態について説明する。
図2は、実施の形態1にかかる物体検出装置100の外観を示す図であり、(A)は正面図を示し、(B)は側面図を示す。また、図3は、実施の形態1にかかる物体検出装置100のハードウェア構成を示す図である。
つまり、距離センサ110は、赤外線等の光線を照射し、照射された光線が物体Aの各位置まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ110は、赤外線以外の波長域の光を利用してもよい。また、距離センサ110は、レーザで赤外線を発振してもよい。
つまり、物体Aの位置a1が距離画像の画素位置(X1,Y1)に対応する場合、位置a1は、反射光強度画像においても画素位置(X1,Y1)にほぼ対応する。言い換えると、距離センサ110によって得られた反射光強度画像の各画素位置は、距離画像の各画素位置と、互いに対応するように構成されている。
この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。
距離画像取得部202は、距離センサ110を制御して、距離画像を取得する(S102)。具体的には、距離画像取得部202は、対向する物体Aの距離画像を撮影するように、距離センサ110を制御する。距離センサ110は、距離画像取得部202の制御に応じて、距離センサ110に対向する物体Aの距離画像を撮影し、距離画像(距離画像を示す画像データ)を生成する。距離画像取得部202は、生成された距離画像を取得し、距離領域取得部206に出力する。
図6(A)は、物体Aが対象物体Bと半透明容器Cとからなり、対象物体Bが半透明容器Cに覆われている場合に、物体Aが物体検出装置100の距離センサ110に対向した状態(第1の状態)を示す。一方、図6(B)は、物体Aが対象物体Bからなり、対象物体Bが半透明容器に覆われていない場合に、物体A(対象物体B)が物体検出装置100の距離センサ110に対向した状態(第2の状態)を示す。
次に、実施の形態2について説明する。実施の形態2においては、対象物体について認識処理を行う点で、実施の形態1と異なる。なお、実施の形態1と実質的に同様の構成部分については同じ符号を付し、説明を省略する。
距離画像取得部202は、S102の処理と同様に、距離センサ110を制御して、距離画像を取得する(S202)。反射光強度画像取得部204は、S104の処理と同様に、距離センサ110を制御して、反射光強度画像を取得する(S204)。距離領域取得部206は、S106の処理と同様に、距離画像において距離センサ110からの距離が範囲S1(第1の範囲)内である距離領域Adを取得する(S206)。反射光強度領域取得部208は、S108の処理と同様に、距離領域Ad内で、反射光強度画像において反射光強度が強度閾値Thc以上である反射光強度領域Acを取得する(S208)。
対象物体判定部210は、S110の処理と同様に、距離領域Adの面積S_Adに対する反射光強度領域Acの面積S_Acの面積比S_Ac/S_Adが、予め定められた閾値Thr未満であるか否かを判断する(S210)。
次に、実施の形態3について説明する。実施の形態3は、実施の形態2にかかる物体検出装置300の適用例について示している。なお、実施の形態1及び実施の形態2と実質的に同様の構成部分については同じ符号を付し、説明を省略する。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも1つは、なくても構わない。例えば、図5のフローチャートにおいて、S102の処理は、S104の処理の後で行われてもよい。同様に、S104の処理は、S106の処理の後で行われてもよい。図12のフローチャートについても同様である。
但し、距離センサを用いて距離及び反射光強度の両方を測定することによって、1つのデバイスで、距離及び反射光強度の両方を測定することができるので、デバイス数の増加を抑制することが可能である。
この出願は、2014年2月24日に出願された日本出願特願2014−033028を基礎とする優先権を主張し、その開示の全てをここに取り込む。
2 距離計測部
4 照射部
6 反射光強度計測部
8 対象物体判定部
100 物体検出装置
110 距離センサ
112 赤外線照射部
114 赤外線受光部
116 距離画像生成部
118 反射光強度画像生成部
130 情報処理装置
132 制御部
134 記憶部
200 物体検出部
202 距離画像取得部
204 反射光強度画像取得部
206 距離領域取得部
208 反射光強度領域取得部
210 対象物体判定部
212 処理実行制御部
300 物体検出装置
310 3次元カメラ
312 撮像部
320 物体検出部
324 撮像制御部
326 対象物体画像抽出部
328 対象物体認識処理部
330 基準データ格納部
400 POS端末装置
Claims (10)
- 物体の各位置までの距離をそれぞれ計測する距離計測手段と、
前記物体に光を照射する照射手段と、
前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、
前記距離計測手段によって計測された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記反射光強度計測手段によって計測された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する対象物体判定手段と
を有し、
前記対象物体判定手段は、前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記対象物体が前記容器に覆われていると判定する物体検出装置。 - 前記照射手段を有し、前記照射手段を用いて前記物体までの距離を検出する距離センサをさらに有する請求項1に記載の物体検出装置。
- 物体の各位置までの距離をそれぞれ計測する距離計測手段と、
前記物体に光を照射する照射手段と、
前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、
前記距離計測手段によって計測された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記反射光強度計測手段によって計測された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、対象物体が半透明の容器に覆われている第1の状態と、前記対象物体が前記容器に覆われていない第2の状態とを区別して、前記対象物体の認識処理を行う物体認識手段と
を有し、
前記物体認識手段は、前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記対象物体が半透明の容器に覆われている場合の認識処理を行う物体検出装置。 - 前記対象物体を撮像して前記対象物体の画像を生成する撮像手段
をさらに有し、
前記物体認識手段は、前記撮像手段によって生成された前記対象物体の画像を用いて、前記対象物体の認識処理を行う請求項3に記載の物体検出装置。 - 前記物体認識手段は、前記対象物体が前記第1の状態にある場合、前記対象物体が前記第1の状態にあるときの当該対象物体の画像と、前記対象物体が前記第2の状態にあるときの当該対象物体の画像との差分に基づいて、前記対象物体の認識処理を行う請求項3又は請求項4に記載の物体検出装置。
- 物体の各位置までの距離をそれぞれ計測する距離計測手段と、
前記物体に光を照射する照射手段と、
前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、
前記距離計測手段によって計測された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記反射光強度計測手段によって計測された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、前記物体である商品が半透明の容器に覆われている第1の状態と、前記商品が前記容器に覆われていない第2の状態とを区別して、前記商品の認識処理を行う物体認識手段と
を有し、
前記物体認識手段は、前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記商品が半透明の容器に覆われている場合の認識処理を行うPOS端末装置。 - 物体の各位置までの距離をそれぞれ計測し、
前記物体に光を照射し、
前記照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測し、
前記計測された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記計測された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、対象物体が半透明の容器に覆われているか否かを判定し、
前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記対象物体が前記容器に覆われていると判定する物体検出方法。 - 物体の各位置までの距離をそれぞれ計測し、
前記物体に光を照射し、
前記照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測し、
前記計測された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記計測された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、対象物体が半透明の容器に覆われている第1の状態と、前記対象物体が前記容器に覆われていない第2の状態とを区別して、前記対象物体の認識処理を行い、
前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記対象物体が半透明の容器に覆われている場合の認識処理を行う物体検出方法。 - 物体の各位置までの距離を取得するステップと、
前記物体に照射された光が前記物体の各位置に反射した反射光の強度を取得するステップと、
前記取得された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記取得された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、対象物体が半透明の容器に覆われているか否かを判定するステップとをコンピュータに実行させ、
前記対象物体が半透明の容器に覆われているか否かを判定するステップでは、前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記対象物体が前記容器に覆われていると判定するコンピュータプログラム。 - 物体の各位置までの距離を取得するステップと、
前記物体に照射された光が前記物体の各位置に反射した反射光の強度を取得するステップと、
前記取得された距離を示す画素の集合である距離画像の予め定められた範囲内にある位置に対応する第1の領域と、前記取得された反射光の強度を示す画素の集合である反射光強度画像の予め定められた強度閾値以上である位置に対応する第2の領域とに基づいて、対象物体が半透明の容器に覆われている第1の状態と、前記対象物体が前記容器に覆われていない第2の状態とを区別して、前記対象物体の認識処理を行うステップとをコンピュータに実行させ、
前記認識処理を行うステップでは、前記第1の領域の面積に対する前記第2の領域の面積の比が予め定められた値未満の場合に、前記対象物体が半透明の容器に覆われている場合の認識処理を行うコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014033028 | 2014-02-24 | ||
JP2014033028 | 2014-02-24 | ||
PCT/JP2015/000774 WO2015125478A1 (ja) | 2014-02-24 | 2015-02-19 | 物体検出装置、pos端末装置、物体検出方法、プログラム及びプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015125478A1 JPWO2015125478A1 (ja) | 2017-03-30 |
JP6520913B2 true JP6520913B2 (ja) | 2019-05-29 |
Family
ID=53877997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016503980A Active JP6520913B2 (ja) | 2014-02-24 | 2015-02-19 | 物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10534072B2 (ja) |
JP (1) | JP6520913B2 (ja) |
WO (1) | WO2015125478A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017145152A1 (en) * | 2016-02-24 | 2017-08-31 | Superb Reality Ltd. | System and method for object differentiation in three-dimensional space |
US9912861B1 (en) | 2016-03-02 | 2018-03-06 | Amazon Technologies, Inc. | Systems and methods for determining a depth or reflectance of objects |
US9986151B1 (en) | 2016-03-02 | 2018-05-29 | Amazon Technologies, Inc. | Systems and methods for determining a depth or reflectance of objects |
JP2017181291A (ja) * | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 距離測定装置、距離測定方法及びプログラム |
JP6873711B2 (ja) * | 2017-01-16 | 2021-05-19 | 東芝テック株式会社 | 商品認識装置 |
JP7062878B2 (ja) * | 2017-03-27 | 2022-05-09 | 沖電気工業株式会社 | 情報処理方法および情報処理装置 |
CN107450106A (zh) * | 2017-09-28 | 2017-12-08 | 北京小米移动软件有限公司 | 饮水安全提示方法、装置及智能水杯 |
US10915783B1 (en) * | 2018-12-14 | 2021-02-09 | Amazon Technologies, Inc. | Detecting and locating actors in scenes based on degraded or supersaturated depth data |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4832556A (ja) | 1971-08-31 | 1973-04-28 | ||
JPH07168019A (ja) | 1993-09-07 | 1995-07-04 | Omron Corp | 偏光ビームスプリッタ及び光学装置 |
JP3358099B2 (ja) * | 1994-03-25 | 2002-12-16 | オムロン株式会社 | 光学式センサ装置 |
JP2001216571A (ja) | 2000-02-03 | 2001-08-10 | Glory Ltd | 料金精算方法および装置 |
JP4796345B2 (ja) | 2005-07-25 | 2011-10-19 | 株式会社キーエンス | 透明フィルム検出装置 |
JP4887057B2 (ja) * | 2006-02-17 | 2012-02-29 | 株式会社キーエンス | 光電センサ |
JP2011128024A (ja) | 2009-12-17 | 2011-06-30 | Sharp Corp | 3次元撮像装置 |
JP5804467B2 (ja) * | 2010-03-31 | 2015-11-04 | 北陽電機株式会社 | 信号処理装置、及び走査式測距装置 |
JP5655133B2 (ja) * | 2011-02-21 | 2015-01-14 | パナソニックIpマネジメント株式会社 | 空間情報検出装置 |
EP2751748B1 (en) * | 2011-08-30 | 2019-05-08 | Digimarc Corporation | Methods and arrangements for identifying objects |
KR101893771B1 (ko) * | 2012-05-10 | 2018-08-31 | 삼성전자주식회사 | 3d 정보 처리 장치 및 방법 |
FR3048803B1 (fr) * | 2016-03-10 | 2018-04-06 | Antalios | Procede de determination automatique d'un niveau de remplissage d'un sac plastique et boitier pour la mise en œuvre d'un tel procede |
-
2015
- 2015-02-19 US US15/120,927 patent/US10534072B2/en active Active
- 2015-02-19 JP JP2016503980A patent/JP6520913B2/ja active Active
- 2015-02-19 WO PCT/JP2015/000774 patent/WO2015125478A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20160370459A1 (en) | 2016-12-22 |
WO2015125478A1 (ja) | 2015-08-27 |
JPWO2015125478A1 (ja) | 2017-03-30 |
US10534072B2 (en) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6520913B2 (ja) | 物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム | |
JP6222345B2 (ja) | Pos端末装置、posシステム、画像処理方法及びプログラム | |
JP6191701B2 (ja) | Pos端末装置、商品認識方法及びプログラム | |
US9298989B2 (en) | Method and apparatus for recognizing actions | |
JP6318557B2 (ja) | Pos端末装置、posシステム、画像処理方法及びプログラム | |
US11386297B2 (en) | Learning data generation device, learning data generation method, and recording medium | |
JP4389602B2 (ja) | 物体検出装置、物体検出方法、プログラム | |
JP7453137B2 (ja) | Pos端末装置および画像処理方法 | |
CA3140449A1 (en) | System and method for object recognition using 3d mapping and modeling of light | |
JP6569762B2 (ja) | Pos端末装置、posシステム、画像処理方法及びプログラム | |
JP6230814B2 (ja) | 物品識別システムとそのプログラム | |
KR102617048B1 (ko) | 적외선 및 가시광 카메라를 이용한 라벨 인식 시스템 및 그 방법 | |
CN106164988B (zh) | Pos终端、信息处理设备、白平衡调节方法以及记录介质 | |
EP3980923A1 (en) | Method and device for detecting a fluid by a computer vision application | |
JP7201020B2 (ja) | 情報処理装置、システム、画像処理方法及びプログラム | |
JP2013250604A (ja) | 物体検出装置および物体検出方法 | |
JP6388108B2 (ja) | Pos端末装置、posシステム、情報処理システム、画像認識方法、及び画像認識プログラム | |
JP6551712B2 (ja) | Pos端末装置、posシステム、情報処理システム、画像認識方法、及び画像認識プログラム | |
US20220230340A1 (en) | System and method for object recognition using 3d mapping and modeling of light | |
CN116295028A (zh) | 目标物体的测量方法及其装置、存储介质和电子设备 | |
CN111985517A (zh) | 信息处理装置、物品识别装置及物品识别系统 | |
JP2018173732A (ja) | 検査装置、検査方法、検査プログラム及び記録媒体 | |
JP2017219432A (ja) | 点字検査装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181017 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181211 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190307 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6520913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |