JP6712330B2 - 撮影制御装置、撮影制御方法及びプログラム - Google Patents
撮影制御装置、撮影制御方法及びプログラム Download PDFInfo
- Publication number
- JP6712330B2 JP6712330B2 JP2018565602A JP2018565602A JP6712330B2 JP 6712330 B2 JP6712330 B2 JP 6712330B2 JP 2018565602 A JP2018565602 A JP 2018565602A JP 2018565602 A JP2018565602 A JP 2018565602A JP 6712330 B2 JP6712330 B2 JP 6712330B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- feature points
- photographed
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 114
- 238000000034 method Methods 0.000 title claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 101150013335 img1 gene Proteins 0.000 description 13
- 101150071665 img2 gene Proteins 0.000 description 11
- 238000007689 inspection Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Accessories Of Cameras (AREA)
- Image Analysis (AREA)
Description
図1は、第1の実施形態における撮影制御装置の構成例を示すブロック図である。
図5は、第2の実施形態における撮影制御装置10Bの構成例を示すブロック図である。尚、図1に示した第1の実施形態における撮影制御装置10Aと同様の構成要素には、同じ符号を付してあり、既に説明した内容を以下では省略する。
図10は、第3の実施形態における撮影制御装置10Cの構成例を示すブロック図である。尚、図1に示した第1の実施形態における撮影制御装置10Aと同様の構成要素には、同じ符号を付してあり、既に説明した内容を以下では省略する。
図13は、撮影対象物の一例である橋梁の外観を示す斜視図である。図13に示す橋梁1は、主桁2、横桁3、対傾構4、及び横構5を含んで構成されている。主桁2等の上部には、コンクリート製の部材である床版6が打設されている。主桁2は、床版6上の車輌等の荷重を支える部材である。横桁3、対傾構4及び横構5は、主桁2を連結する部材である。
図14は、撮影装置の一例であるステレオカメラを搭載したロボット装置の外観を示す斜視図であり、橋梁1の主桁2間に設置されている状態に関して示している。また、図15は、図14に示したロボット装置の要部断面図である。
図17は、本発明に係る撮影制御装置を適用した点検システムの全体構成例を示す。図17に示すように本例の点検システムは、データベース50と、ステレオカメラ202(撮影装置60の一形態である)を搭載したロボット装置100と、端末装置300と、操作コントローラ400とを含んで構成されている。
本例の第1の画像及び第2の画像はステレオ画像であり、平面特定部22は、ステレオ画像に基づいて視差を算出し、画素位置及び視差に基づいて平面領域を特定することができる。特徴点抽出部24は、第1の画像及び第2の画像のそれぞれから、平面特定部22の平面特定結果に基づいて撮影対象物の同一平面における特徴点を抽出することができる。
まず、画像から、ランダムに代表点を抽出する。例えば、図20の点f1(u1,v1,w1),点f2(u2,v2,w2),及び点f3(u3,v3,w3)を抽出したものとする。ここで抽出された代表点は、各平面領域(幾何領域の一形態である)の平面方程式(幾何方程式の一形態である)を決定するための点であり、代表点の数が多いほど精度(信頼性)の高い平面方程式を求めることができる。尚、画像の水平方向座標をui,垂直方向座標をvi,視差(距離相当)をwiで表す(iは点番号を表す1以上の整数)。
次に、抽出した点f1,f2,f3から平面方程式を決定する。3次元空間(u,v,w)における平面方程式Fは一般に次式で表される(a,b,c,dは定数)。
F=a×u+b×v+c×w+d
(ステップS103)
画像の全ての画素(ui,vi,wi)について、数4の式の平面方程式Fで表される平面までの距離を算出する。距離が閾値以下なら、その画素は平面方程式Fで表される平面上に存在すると判断する。
平面方程式Fで表される平面上に存在する画素数が現在の最適解についての画素数よりも多ければ、平面方程式Fを最適解とする。
ステップS101〜S104を決められた回数繰り返す。
得られた平面方程式を解として1つの平面を決定する。
ステップS106までで決定した平面上の画素を処理対象(平面の抽出対象)から除外する。
ステップS101〜S107を繰り返し、抽出した平面が一定数を超えるか、残った画素が規定数より少なくなれば終了する。
前述の実施形態では、撮影装置としてステレオカメラを用い、ステレオ画像(二視点画像)を撮影する場合を例に説明したが、本発明はこのような場合に限定されない。撮影装置として非ステレオカメラを用い、単視点画像を撮影する場合にも本発明を適用可能である。
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10(10A、10B、10C) 撮影制御装置
12 第1の画像取得部
14 第2の画像取得部
22 平面特定部
24 特徴点抽出部
26 対応関係取得部
28 変位量算出部
30 変位制御部
32 一致度算出部
34 損傷検出部
38 統括制御部(「判定部」の一形態である)
40 記憶部
42 表示部
44 指示入力部
46 表示制御部
50 データベース
60 撮影装置
60A 第1の撮影装置
60B 第2の撮影装置
70 変位駆動部
100 ロボット装置
102 主フレーム
104 垂直伸延アーム
104A カメラ設置部
106 筐体
108 X方向駆動部
108A ボールネジ
108B ボールナット
108C モータ
110 Y方向駆動部
110A、110B タイヤ
112 Z方向駆動部
120 パンチルト機構
130 位置制御部
202 ステレオカメラ
202A 第1の撮像部
202B 第2の撮像部
204 カメラ制御部
206 パンチルト駆動部
210 姿勢制御部
230 ロボット側通信部
300 端末装置
310 端末側通信部
320 端末制御部
330 指示入力部
340 表示部
350 記憶部
400 操作コントローラ
CA1 撮影傾斜角度
CA2 撮影傾斜角度
CR ひび割れ像
G1 第1の平面領域
G2 第2の平面領域
G3 第3の平面領域
iL 左眼画像
IMG1 第1の画像
IMG2 第2の画像
IMG3 第3の画像
iR 右眼画像
L1、L2 光軸
OBJ 撮影対象物
P パン軸
P11〜F17、F21〜F30 特徴点
T チルト軸
Claims (12)
- 第1の撮影装置によって撮影対象物を撮影して生成された第1の画像を取得する第1の画像取得部と、
第2の撮影装置によって前記撮影対象物を撮影して生成された第2の画像を取得する第2の画像取得部と、
前記第1の画像及び前記第2の画像からそれぞれ特徴点を抽出する特徴点抽出部であって、前記第1の画像及び前記第2の画像における前記撮影対象物の同一平面上の特徴点を抽出する特徴点抽出部と、
前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点との対応関係であって前記撮影対象物の同一平面上の特徴点同士の対応関係を取得する対応関係取得部と、
前記撮影対象物の同一平面上の特徴点同士の前記対応関係に基づいて、前記第1の画像を撮影した場合の前記第1の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる前記第2の撮影装置の位置及び姿勢の変位量を算出する変位量算出部と、
前記撮影対象物の三次元情報を取得する三次元情報取得部と、
前記三次元情報に基づいて、前記第1の画像及び前記第2の画像における前記撮影対象物の平面領域を特定する平面特定部と、
を備える撮影制御装置。 - 前記変位量算出部によって算出された前記変位量に応じて、前記第2の撮影装置の位置及び姿勢の変位を制御する変位制御部を備える、
請求項1に記載の撮影制御装置。 - 前記第1の画像と前記第2の画像との一致度を算出する一致度算出部と、
前記一致度を基準値と比較して、前記第2の撮影装置を変位させるか否かを判定する判定部と、を備え、
前記変位制御部は、前記判定部によって前記第2の撮影装置を変位させると判定された場合には前記第2の撮影装置を変位させる、
請求項2に記載の撮影制御装置。 - 前記一致度算出部は、前記対応関係取得部によって対応付けされた前記特徴点同士の前記第1の画像における位置と前記第2の画像における位置との差に基づいて前記一致度を算出する、
請求項3に記載の撮影制御装置。 - 前記変位量算出部は、前記判定部によって前記第2の撮影装置を変位させると判定された場合には前記変位量を算出する、
請求項3又は4に記載の撮影制御装置。 - 前記変位制御部によって前記第2の撮影装置を変位させた場合、前記第2の画像取得部による画像の取得、前記特徴点抽出部による前記特徴点の抽出、前記対応関係取得部による前記対応関係の取得、及び前記一致度算出部による前記一致度の算出を繰り返す、
請求項3から5のうちいずれか一項に記載の撮影制御装置。 - 前記第1の画像及び前記第2の画像は、ステレオ画像であり、
前記ステレオ画像に基づいて、前記第1の画像及び前記第2の画像における前記撮影対象物の平面領域を特定する平面特定部を備える、
請求項1から6のうちいずれか一項に記載の撮影制御装置。 - 前記平面特定部は、前記第1の画像における前記撮影対象物の平面領域を特定する第1の平面方程式と前記第2の画像における前記撮影対象物の平面領域を特定する第2の平面方程式とを算出し、
前記対応関係取得部は、前記第1の平面方程式及び前記第2の平面方程式を用いて、前記撮影対象物の同一平面上の特徴点同士の対応関係を取得する、
請求項1から7のうちいずれか一項に記載の撮影制御装置。 - 前記第1の画像及び前記第2の画像から前記撮影対象物の損傷像を検出する損傷検出部を備え、
前記変位量算出部は、前記第1の画像に非存在であり且つ前記第2の画像に存在する損傷像が検出された場合、当該損傷像を前記第2の画像取得部により取得される第3の画像の特定の位置に合わせる変位量を算出する、
請求項1から8のうちいずれか一項に記載の撮影制御装置。 - 表示部と、
前記第1の画像と前記第2の画像とを並べて又は重ね合わせて前記表示部に表示させる表示制御部と、を備える、
請求項1から9のうちいずれか一項に記載の撮影制御装置。 - 第1の撮影装置によって撮影対象物を撮影して生成された第1の画像を取得するステップと、
第2の撮影装置によって前記撮影対象物を撮影して生成された第2の画像を取得するステップと、
前記第1の画像及び前記第2の画像からそれぞれ特徴点を抽出するステップであって、前記第1の画像及び前記第2の画像における前記撮影対象物の同一平面上の特徴点を抽出するステップと、
前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点との対応関係であって前記撮影対象物の同一平面上の特徴点同士の対応関係を取得するステップと、
前記撮影対象物の同一平面上の特徴点同士の前記対応関係に基づいて、前記第1の画像を撮影した場合の前記第1の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる前記第2の撮影装置の位置及び姿勢の変位量を算出するステップと、
前記撮影対象物の三次元情報を取得するステップと、
前記三次元情報に基づいて、前記第1の画像及び前記第2の画像における前記撮影対象物の平面領域を特定するステップと、
を含む撮影制御方法。 - 第1の撮影装置によって撮影対象物を撮影して生成された第1の画像を取得するステップと、
第2の撮影装置によって前記撮影対象物を撮影して生成された第2の画像を取得するステップと、
前記第1の画像及び前記第2の画像からそれぞれ特徴点を抽出するステップであって、前記第1の画像及び前記第2の画像における前記撮影対象物の同一平面上の特徴点を抽出するステップと、
前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点との対応関係であって前記撮影対象物の同一平面上の特徴点同士の対応関係を取得するステップと、
前記撮影対象物の同一平面上の特徴点同士の前記対応関係に基づいて、前記第1の画像を撮影した場合の前記第1の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる前記第2の撮影装置の位置及び姿勢の変位量を算出するステップと、
前記撮影対象物の三次元情報を取得するステップと、
前記三次元情報に基づいて、前記第1の画像及び前記第2の画像における前記撮影対象物の平面領域を特定するステップと、
をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019599 | 2017-02-06 | ||
JP2017019599 | 2017-02-06 | ||
PCT/JP2018/003180 WO2018143263A1 (ja) | 2017-02-06 | 2018-01-31 | 撮影制御装置、撮影制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018143263A1 JPWO2018143263A1 (ja) | 2020-01-09 |
JP6712330B2 true JP6712330B2 (ja) | 2020-06-17 |
Family
ID=63040647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018565602A Active JP6712330B2 (ja) | 2017-02-06 | 2018-01-31 | 撮影制御装置、撮影制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190355148A1 (ja) |
JP (1) | JP6712330B2 (ja) |
WO (1) | WO2018143263A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109600400A (zh) * | 2017-09-29 | 2019-04-09 | 索尼公司 | 无线通信系统中的电子设备、方法和无线通信系统 |
WO2019130827A1 (ja) * | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP7058585B2 (ja) * | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
DE102018209898A1 (de) * | 2018-06-19 | 2019-12-19 | Robert Bosch Gmbh | Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug |
JP7169130B2 (ja) * | 2018-09-03 | 2022-11-10 | 川崎重工業株式会社 | ロボットシステム |
JP7217451B2 (ja) * | 2018-11-30 | 2023-02-03 | 東京電力ホールディングス株式会社 | ボルト検出方法 |
US20220076399A1 (en) * | 2019-01-10 | 2022-03-10 | Nec Corporation | Photographing guide device |
WO2020225843A1 (ja) * | 2019-05-07 | 2020-11-12 | 富士通株式会社 | 撮影支援プログラム、撮影支援装置及び撮影支援方法 |
JP7238612B2 (ja) * | 2019-06-04 | 2023-03-14 | 村田機械株式会社 | カメラの姿勢ずれ評価方法及びカメラシステム |
CN110971803B (zh) * | 2019-12-18 | 2021-10-15 | 维沃移动通信有限公司 | 一种拍摄方法、装置、电子设备及介质 |
JPWO2021200675A1 (ja) * | 2020-04-01 | 2021-10-07 | ||
CN112150558B (zh) | 2020-09-15 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 用于路侧计算设备的障碍物三维位置获取方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5434745B2 (ja) * | 2010-03-31 | 2014-03-05 | アイシン・エィ・ダブリュ株式会社 | 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 |
JP2012078105A (ja) * | 2010-09-30 | 2012-04-19 | Mitsubishi Heavy Ind Ltd | 姿勢制御装置、制御方法及びプログラム |
JP2014035198A (ja) * | 2012-08-07 | 2014-02-24 | Nikon Corp | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
US9129355B1 (en) * | 2014-10-09 | 2015-09-08 | State Farm Mutual Automobile Insurance Company | Method and system for assessing damage to infrastructure |
JP6218893B2 (ja) * | 2016-06-29 | 2017-10-25 | 株式会社キーエンス | 計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体 |
-
2018
- 2018-01-31 JP JP2018565602A patent/JP6712330B2/ja active Active
- 2018-01-31 WO PCT/JP2018/003180 patent/WO2018143263A1/ja active Application Filing
-
2019
- 2019-08-01 US US16/529,296 patent/US20190355148A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20190355148A1 (en) | 2019-11-21 |
WO2018143263A1 (ja) | 2018-08-09 |
JPWO2018143263A1 (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6712330B2 (ja) | 撮影制御装置、撮影制御方法及びプログラム | |
US10909721B2 (en) | Systems and methods for identifying pose of cameras in a scene | |
CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
JP6507268B2 (ja) | 撮影支援装置及び撮影支援方法 | |
EP3421930B1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
CN110910459B (zh) | 一种对摄像装置的标定方法、装置及标定设备 | |
CN113409285B (zh) | 一种沉管隧道接头三维变形的监测方法、系统 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN109099889B (zh) | 近景摄影测量系统和方法 | |
US11222433B2 (en) | 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images | |
CN111627070B (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
Moore et al. | A stereo vision system for uav guidance | |
JP7008736B2 (ja) | 画像キャプチャ方法および画像キャプチャ装置 | |
CN114554030B (zh) | 设备检测系统以及设备检测方法 | |
WO2021138856A1 (zh) | 相机控制方法、设备及计算机可读存储介质 | |
WO2018180214A1 (ja) | 画像処理装置、カメラ装置、および画像処理方法 | |
CN103310448B (zh) | 用于das的摄像装置姿态角估计及实时生成合成图的方法 | |
JP2005186193A (ja) | ロボットのキャリブレーション方法および三次元位置計測方法 | |
CN112788292A (zh) | 巡检观测点的确定方法、装置、巡检机器人和存储介质 | |
KR20160082659A (ko) | 다채널 연속 촬영 영상을 이용한 구조물의 입체적인 진동 자동 측정 방법 | |
JP6257798B2 (ja) | 画像処理装置及び画像処理方法 | |
Lee et al. | Automated Pan-Tilt-Zoom Camera Control to Enable Long-Range Visual Assessment and Localization | |
CN113837385B (zh) | 一种数据处理方法、装置、设备、介质及产品 | |
JP2019100979A (ja) | 構造物の構成部材の位置調整方法 | |
WO2019012751A1 (ja) | データ間引き装置、測量装置、測量システム及びデータ間引き方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6712330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |