JP6034775B2 - カメラ校正装置 - Google Patents
カメラ校正装置 Download PDFInfo
- Publication number
- JP6034775B2 JP6034775B2 JP2013247261A JP2013247261A JP6034775B2 JP 6034775 B2 JP6034775 B2 JP 6034775B2 JP 2013247261 A JP2013247261 A JP 2013247261A JP 2013247261 A JP2013247261 A JP 2013247261A JP 6034775 B2 JP6034775 B2 JP 6034775B2
- Authority
- JP
- Japan
- Prior art keywords
- index
- camera
- calibration
- unit
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000009434 installation Methods 0.000 claims description 190
- 239000011159 matrix material Substances 0.000 claims description 59
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000004458 analytical method Methods 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 38
- 230000010354 integration Effects 0.000 claims description 32
- 230000005484 gravity Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 47
- 238000007689 inspection Methods 0.000 description 42
- 238000005457 optimization Methods 0.000 description 17
- 238000013507 mapping Methods 0.000 description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 description 12
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 12
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図1は、本発明の第1の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す。図1では、車両201は、たとえば乗用車であって、カーディーラの工場やユーザの自宅の駐車場などに駐車されている。車両201には、カメラ102a、102b、102c、102dが設置されている。
カメラ102aは、車両201の前部に設けられ、車両201の前方の撮像範囲202aを毎フレームごとに撮影し、撮像画像A1を車載装置100へ出力する。
カメラ102bは、車両201の後部に設けられ、車両201の後方の撮像範囲202bを毎フレームごとに撮影し、撮像画像B1を車載装置100へ出力する。
カメラ102cは、車両201の左部に設けられ、車両201の左側方の撮像範囲202cを毎フレームごとに撮影し、撮像画像C1を車載装置100へ出力する。
カメラ102dは、車両201の右部に設けられ、車両201の右側方の撮像範囲202dを毎フレームごとに撮影し、撮像画像D1を車載装置100へ出力する。
カメラ102aは車両前部中央に設置され、その光軸は車両前方を向き、カメラ102bは車両後部中央に設置され、その光軸は車両後方を向く。車両前後方向にカメラ102cの光軸は車両左側方を向き、カメラ102dの光軸は車両右側方を向く。
なお、図2のX1軸とY1軸は車両座標系であり、座標原点は、車両前部の中央の所定地上高さ位置である。設計上、カメラ102aの中心位置が座標原点に設定される。車両の高さ方向はZ1軸の座標値で表されるが、図2では図示を省略している。カメラ102a〜102dの設置位置は、車両座標系の座標値(x,y、z)で規定され、設置角度は、角度(θroll, θpitch, θyaw)で規定される。θrollはカメラ光軸のロール角度、θpitchはカメラ光軸のピッチ角度、θyawはカメラ光軸のヨー角度である。
撮像範囲202aと撮像範囲202cは、車両201の左側前方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲203bと呼ぶ。
撮像範囲202bと撮像範囲202dは、車両201の右側後方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲203cと呼ぶ。
撮像範囲202bと撮像範囲202cは、車両201の左側後方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲203dと呼ぶ。
図1では、共通撮像範囲203a〜203dの各々を太線で図示している。
図4に示すように、画像適正判定部105は、補正画像生成部151と、校正指標認識部152と、特徴点座標算出部153と、画像判定部154と、特徴点入力要求部155とを有する。
カメラ102a〜102dのレンズは魚眼レンズのような焦点距離が短いレンズであり、撮像画像は歪んでいる。そのため、表示モニタに俯瞰画像として表示するためには歪みを補正する必要がある。そこで、補正画像生成部151は、上述したマッピングテーブルを利用して歪み補正を行う。
校正用指標101aは、補正画像A2と補正画像D2に基づいてそれぞれ検出される。
校正用指標101bは、補正画像A2と補正画像C2に基づいてそれぞれ検出される。
校正用指標101cは、補正画像B2と補正画像D2に基づいてそれぞれ検出される。
校正用指標101dは、補正画像B2と補正画像C2に基づいてそれぞれ検出される。
図6は、校正部106のブロック構成図である。図6に示す校正部106は、一次校正部160aと、二次校正部160bと、マッピングテーブル更新部166とを有する。一次校正部160aは、補正画像座標系における校正用指標101a〜101dの特徴点座標に基づいて、指標座標系と称する座標系におけるカメラ102a〜102dの位置をそれぞれ算出する。二次校正部160bは、一次校正部160aにより算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する。一次校正部160aは、ホモグラフィ行列算出部161と、最適化処理部162とを有する。二次校正部160bは、座標系統合部163と、誤差配分部164と、パラメータ補正部165とを有する。
(1.1)補正画像A2の補正画像座標系における校正用指標101aの特徴点座標を校正用指標101aの指標座標系における座標に変換するホモグラフィ行列H(A2,a)
(1.2)補正画像A2の補正画像座標系における校正用指標101bの特徴点座標を校正用指標101bの指標座標系における座標に変換するホモグラフィ行列H(A2,b)
(1.3)補正画像B2の補正画像座標系における校正用指標101cの特徴点座標を校正用指標101cの指標座標系における座標に変換するホモグラフィ行列H(B2,c)
(1.4)補正画像B2の補正画像座標系における校正用指標101dの特徴点座標を校正用指標101dの指標座標系における座標に変換するホモグラフィ行列H(B2,d)
(1.5)補正画像C2の補正画像座標系における校正用指標101bの特徴点座標を校正用指標101bの指標座標系における座標に変換するホモグラフィ行列H(C2,b)
(1.6)補正画像C2の補正画像座標系における校正用指標101dの特徴点座標を校正用指標101dの指標座標系における座標に変換するホモグラフィ行列H(C2,d)
(1.7)補正画像D2の補正画像座標系における校正用指標101aの特徴点座標を校正用指標101aの指標座標系における座標に変換するホモグラフィ行列H(D2,a)
(1.8)補正画像D2の補正画像座標系における校正用指標101cの特徴点座標を校正用指標101cの指標座標系における座標に変換するホモグラフィ行列H(D2,c)
su=h11x+h12y+h13
sv=h21x+h22y+h23
s=h31x+h32y+1
校正用指標101a〜101dの矩形形状の図形の4辺の長さLに基づいて算出される指標座標系における四つの特徴点P(a,1)、P(a,2)、P(a,3)、P(a,4)の座標を(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)とする。
このとき、(u1,v1)と(x1,y1)の間の関係、(u2,v2)と(x2,y2)の間の関係、(u3,v3)と(x3,y3)の間の関係、(u4,v4)と(x4,y4)の間の関係は、それぞれ(式6)の関係となる。したがって、ホモグラフィ行列H(A2,a)の逆行列H−1 (A2,a)の要素h11、h12、h13、h21、h22、h23、h31、h32は、(式7)で表される連立方程式を解くことにより算出することができる。
t1=s・h13 (式8a)
t2=s・h23 (式8b)
t3=s (式8c)
θroll=tan−1(−h21/h22) (式10b)
θyaw=tan−1(−h13/h33) (式10c)
(2.1)校正用指標101aの指標座標系におけるカメラ102aの設置位置と設置角度
(2.2)校正用指標101bの指標座標系におけるカメラ102aの設置位置と設置角度
(2.3)校正用指標101cの指標座標系におけるカメラ102bの設置位置と設置角度
(2.4)校正用指標101dの指標座標系におけるカメラ102bの設置位置と設置角度
(2.5)校正用指標101bの指標座標系におけるカメラ102cの設置位置と設置角度
(2.6)校正用指標101dの指標座標系におけるカメラ102cの設置位置と設置角度
(2.7)校正用指標101cの指標座標系におけるカメラ102dの設置位置と設置角度
(2.8)校正用指標101aの指標座標系におけるカメラ102dの設置位置と設置角度
パラメータ補正部165は、以下の8種類の特徴点座標の車両座標系における位置を用いた演算により、閉合差の配分により発生したずれを軽減する。
(3.1)補正画像A2における校正用指標101aの四つの特徴点の座標
(3.2)補正画像D2における校正用指標101aの四つの特徴点の座標
(3.3)補正画像A2における校正用指標101bの四つの特徴点の座標
(3.4)補正画像C2における校正用指標101bの四つの特徴点の座標
(3.5)補正画像B2における校正用指標101cの四つの特徴点の座標
(3.6)補正画像D2における校正用指標101cの四つの特徴点の座標
(3.7)補正画像B2における校正用指標101dの四つの特徴点の座標
(3.8)補正画像C2における校正用指標101dの四つの特徴点の座標
パラメータ補正部165は、(3.3)の重心と(3.4)の重心とを算出して、その二つの重心の平均座標Gbを算出する。
パラメータ補正部165は、(3.5)の重心と(3.6)の重心とを算出して、その二つの重心の平均座標Gcを算出する。
パラメータ補正部165は、(3.7)の重心と(3.8)の重心とを算出して、その二つの重心の平均座標Gdを算出する。
以上の微調整とは、座標統合部163で算出された設置位置と設置角度を補正することを意味する。
図8に示すように、校正適正判定部107は、一致度検査部171と、形状検査部172と、サイズ検査部173と、評価値算出部174と、校正判定部175とを有する。
(4.1)補正画像A2に含まれる校正用指標101aの特徴点座標をホモグラフィ行列H(A2,a)で座標変換した座標と、補正画像D2に含まれる校正用指標101aの特徴点座標をホモグラフィ行列H(D2,a)で座標変換した座標との座標誤差
(4.2)補正画像A2に含まれる校正用指標101bの特徴点座標をホモグラフィ行列H(A2,b)で座標変換した座標と、補正画像C2に含まれる校正用指標101bの特徴点座標をホモグラフィ行列H(C2,b)で座標変換した座標との座標誤差
(4.3)補正画像B2に含まれる校正用指標101cの特徴点座標をホモグラフィ行列H(B2,c)で座標変換した座標と、補正画像D2に含まれる校正用指標101cの特徴点座標をホモグラフィ行列H(D2,c)で座標変換した座標との座標誤差
(4.4)補正画像B2に含まれる校正用指標101dの特徴点座標をホモグラフィ行列H(B2,d)で座標変換した座標と、補正画像C2に含まれる校正用指標101dの特徴点座標をホモグラフィ行列H(C2,d)で座標変換した座標との座標誤差
(5.1)車両座標系に座標変換された特徴点P(a,1)と特徴点P(a,2)とを結んだ辺E(A2,a,1)
(5.2)車両座標系に座標変換された特徴点P(a,2)と特徴点P(a,3)とを結んだ辺E(A2,a,2)
(5.3)車両座標系に座標変換された特徴点P(a,3)と特徴点P(a,4)とを結んだ辺E(A2,a,3)
(5.4)車両座標系に座標変換された特徴点P(a,4)と特徴点P(a,1)とを結んだ辺E(A2,a,4)
形状検査部172は、辺E(A2,a,2)と辺E(A2,a,4)の成す角度を算出して、その角度から180度を減じた角度誤差を算出する。
形状検査部172は、辺E(A2,a,1)と辺E(A2,a,2)の成す角度を算出して、その角度から90度を減じた角度誤差を算出する。
形状検査部172は、辺E(A2,a,1)と辺E(A2,a,4)の成す角度を算出して、その角度から90度を減じた角度誤差を算出する。
形状検査部172は、辺E(A2,a,3)と辺E(A2,a,2)の成す角度を算出して、その角度から90度を減じた角度誤差を算出する。
形状検査部172は、辺E(A2,a,3)と辺E(A2,a,4)の成す角度を算出して、その角度から90度を減じた角度誤差を算出する。
(6.1)車両座標系に座標変換された特徴点P(a,1)と特徴点P(a,2)との間の距離
(6.2)車両座標系に座標変換された特徴点P(a,2)と特徴点P(a,3)との間の距離
(6.3)車両座標系に座標変換された特徴点P(a,3)と特徴点P(a,4)との間の距離
(6.4)車両座標系に座標変換された特徴点P(a,4)と特徴点P(a,1)との間の距離
形状検査部172は、(6.1)の距離から距離Lを減じた距離誤差を算出する。
形状検査部172は、(6.2)の距離から距離Lを減じた距離誤差を算出する。
形状検査部172は、(6.3)の距離から距離Lを減じた距離誤差を算出する。
形状検査部172は、(6.4)の距離から距離Lを減じた距離誤差を算出する。
状態解析部108は、画像適正判定部105の判定結果と、校正適正判定部107の判定結果と、最適化処理部162が算出した目的関数の極小値と、座標系統合部163が算出したカメラ102aの設置位置の閉合差と設置角度の閉合差と、撮像画像A1〜D1とに基づいて、カメラ102a〜102dの校正状態を解析する。
状態解析部108は、図9に示すように、特徴点精度判定部181と、校正状態解析部182と、画像状態解析部183と、作業内容生成部184とを有する。
校正用指標位置算出部703は、補正画像A2〜D2から校正用指標101a〜101dを検出すると共に、更新前のマッピングテーブルを用いて補正画像A2〜D2に基づく俯瞰画像250を生成する。校正用指標位置算出部703は、その俯瞰画像250における校正用指標101a〜101dの重心位置を算出する。画像状態解析部183は、算出された校正用指標101a〜101dの重心位置に基づいて、サービスマンが校正用指標101a〜101dを設置した位置が適正か否かを検査することができる。
原因1.撮像画像A1〜D1が不適正で、画像が暗すぎる。
原因2.撮像画像A1〜D1が不適正で、画像が明るすぎる。
原因3.撮像画像A1〜D1が不適正で、校正用指標101a〜101dの設置位置が不正である。
原因4.撮像画像A1〜D1が不適正で、特徴点入力要求部155においてサービスマンが指定した特徴点の座標が真の特徴点から大きくずれている。
原因5.撮像画像A1〜D1が不適正で、校正開始時にサービスマンが入力したパラメータが不正である。
原因6.校正が不適正で、特徴点の精度が不十分で、画像が明るすぎる。
原因7.校正が不適正で、特徴点の精度が不十分で、画像が暗すぎる。
原因8.校正が不適正で、特徴点の精度が不十分で、画像に影が差している。
原因9.校正が不適正で、特徴点の精度が不十分で、特徴点入力要求部155においてサービスマンが指定した特徴点の座標が真の特徴点から大きくずれている。
原因10.校正が不適正で、特徴点の精度が不十分で、校正用指標101a〜101dの設置位置が不正である。
原因11.校正が不適正で、特徴点の精度が不十分で、校正開始時にサービスマンが入力したパラメータが不正である。
原因12.校正が不適正で、特徴点の精度は十分だが、校正用指標のサイズが異なる
原因13.校正が不適正で、特徴点の精度は十分だが、校正開始時にサービスマンが入力したパラメータが不正である。
また、作業内容生成部184は、輝度特徴算出部704が算出した撮像画像A1〜D1の各画素の輝度信号に関する情報に基づいて、原因1や原因2に該当するか否かを判断する。たとえば、撮像画像A1〜D1の各画素の輝度信号の平均値、最大値が共に所定閾値I1よりも高い場合、原因2に該当すると判断する。また、撮像画像A1〜D1の各画素の輝度信号の平均値、最大値が共に所定閾値I2(<I1)よりも低い場合、原因1に該当すると判断する。
ステップS300では、車載装置100は、補正画像生成部151の処理による補正画像A2〜D2の生成を開始する。
ステップS301では、車載装置100は、補正画像A2〜D2に基づいて、校正指標認識部152の処理を行い、校正用指標101a〜101dを認識する。
ステップS305では、車載装置100は、ステップS304の判定結果に応じた情報を情報解析部108へ出力する。
ステップS401では、車載装置100は、ホモグラフィ算出部161の処理を実行して、校正用指標101a〜101dの特徴点座標を指標座標系に座標変換するための八つのホモグラフィ行列を演算する。車載装置100は、算出したホモグラフィ行列に基づいて、カメラ102a〜102dの設置位置と設置角度を算出する。
ステップS501では、車載装置100は、一致度検査部171と形状検査部172とサイズ検査部173の処理を実行する。これらの処理は、任意の順番で実行することにしてもよく、並列に実行することにしてもよい
ステップS504では、車載装置100は、ステップS503の判定結果に応じて、情報を状態解析部108へ出力して、図13の処理を終了する。
ステップS601では、車載装置100は、図11のステップS304で撮像画像A1〜D1が適正と判定されたか否かを判定する。車載装置100は、ステップS304で撮像画像A1〜D1が適正と判定された場合は処理をステップS602に進め、ステップS304で撮像画像A1〜D1が不適正と判定された場合は処理をステップS606に進める。
ステップS604では、車載装置100は、ステップS603において、特徴点座標の精度が適正であると特徴点精度判定部181が判定したか否かを判定する。車載装置100は、特徴点座標の精度が適正であると特徴点精度判定部181が判定した場合はステップS605の処理に進み、特徴点座標の精度が不適正であると特徴点精度判定部181が判定した場合はステップS606の処理に進む。
ステップS606では、車載装置100は、画像状態解析部183の処理を実行する。
ステップS607では、車載装置100は、作業内容生成部184の処理を実行する。
ステップS608では、車載装置100は、作業内容生成部184により生成されたサービスマンの作業内容を表示部109に表示して、図14の処理を終了する。
本発明の第2の実施の形態について説明する。
図15は、本発明の第2の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す。図15において、車両201は、たとえば、大型ダンプトラック、マイニング機械などの大型車両である。図15には、車両201が納入先で組み立てられ、車両201の後方と右側方にそれぞれカメラ102bとカメラ102dが設置された状態が示されている。
(1)第2の実施の形態である図15〜図17と、第1の実施の形態の図3、図4、図6を参照して説明する。カメラ校正装置100は、少なくとも二つのカメラ102b、102dで少なくとも一つの指標101cを撮像し、少なくとも二つのカメラ102b、102dの撮像画像に基づいて、少なくとも二つのカメラ102b、102dの設置状態について校正を行う。そして、この校正装置100、少なくとも二つのカメラ102b、102dの撮像画像に基づいて少なくとも一つの指標101cの特徴量を抽出する抽出部、たとえば画像適正判定部105と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラ102の各位置をそれぞれ算出する一次校正部160aと、一次校正部160aにより算出された指標座標系における各カメラ102b、102dの位置を車両座標系における各カメラ102の位置に座標変換する二次校正部160bと、を備える。したがって、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラ102b、102dの設置状態を物理的に調整することなく、少なくとも2つの撮影画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場、あるいは納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
もちろん、車両を組み立て工場内での最終調整工程において本発明の校正装置を使用しても同様の効果が得られる。
したがって、俯瞰画像合成用の撮像画像を撮影する二つのカメラ102b、102dの設置状態を物理的に調整することなく、二つの撮像画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
(変形例1) 画像適正判定部105は、補正画像生成部151が補正画像A2〜D2を生成するより前に、撮像画像A1〜D1の明るさが適正か否かを判定して、不適正の場合は撮像画像A1〜D1の明るさを画像処理により補正することにしてもよい。このように補正することにより、原因1、原因2、原因6、原因7による校正失敗の頻度を低減することができる。
[1]座標系統合部163は、(2.2)の設置位置と設置角度から(2.5)の設置位置と設置角度をそれぞれ減ずる。これにより、校正用指標101bの指標座標系におけるカメラ102aに対するカメラ102cの設置位置と設置角度とをそれぞれ算出することができる。
[2]座標系統合部163は、[1]の算出結果を(2.1)の設置位置と設置角度からそれぞれ減ずる。
101a,101b,101c,101d 校正用指標
102a,102b,102c,102d カメラ
105 画像適正判定部
106 校正部
107 校正適正判定部
108 状態解析部
151 補正画像生成部
152 校正指標認識部
153 特徴点座標算出部
154 画像判定部
155 特徴点入力要求部
160a 一次校正部
160b 二次校正部
161 ホモグラフィ行列算出部
162 最適化処理部
163 座標系統合部
164 誤差配分部
165 パラメータ補正部
166 マッピングテーブル更新部
201 車両
Claims (10)
- 少なくとも二つのカメラで少なくとも一つの指標を撮像し、前記少なくとも二つのカメラの撮像画像に基づいて、前記少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置であって、
前記少なくとも二つのカメラの撮像画像に基づいて前記少なくとも一つの指標の特徴量を抽出する抽出部と、
前記特徴量に基づいて、指標座標系において、前記少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、
前記一次校正部により算出された前記指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、
を備えることを特徴とするカメラ校正装置。 - 請求項1に記載のカメラ校正装置において、
前記少なくとも二つのカメラは、互いに撮像範囲が重なる二つのカメラであり、
前記二つのカメラからの前記撮像画像には、前記二つのカメラの撮像範囲の重なる範囲に一つの指標の画像が含まれており、
前記抽出部は、前記一つの指標について特徴点の位置を前記特徴量として抽出して、
前記一次校正部は、前記特徴点の位置を前記指標座標系に座標変換するホモグラフィ行列を算出し、前記ホモグラフィ行列に基づいて前記指標座標系における前記二つのカメラの位置を算出し、
前記二次校正部は、
前記一次校正部により算出された前記指標座標系における各カメラの位置を前記車両座標系における位置に変換する座標系統合部を有することを特徴とするカメラ校正装置。 - 請求項2に記載のカメラ校正装置において、
前記二つのカメラと、さらに追加された二つのカメラとに対する校正装置であって、
四つのカメラの各々は、前記四つのカメラのうち他の二つのカメラと撮像範囲が重なり、
前記四つカメラからの撮像画像には、前記四つのカメラの撮像範囲が互いに重なる範囲にそれぞれ一つの指標の画像が含まれており、
前記抽出部は、四つの指標の各々の特徴点の位置を前記特徴量として抽出して、
前記一次校正部は、前記四つの指標の各々について、当該指標を撮像範囲に含むカメラごとに、当該指標の前記特徴点の位置を当該指標の前記指標座標系に座標変換するホモグラフィ行列を算出し、前記ホモグラフィ行列に基づいて、前記ホモグラフィ行列による変換先の前記指標座標系における当該カメラの位置をそれぞれ算出することを特徴とするカメラ校正装置。 - 請求項3に記載のカメラ校正装置において、
前記四つのカメラは、第1、第2、第3、および第4のカメラであって、
前記第1のカメラは、前記第3および第4のカメラと撮像範囲が重なり合い、
前記第2のカメラは、前記第3および第4のカメラと撮像範囲が重なり合い、
前記第1のカメラの撮像範囲と前記第4のカメラの撮像範囲とが重なり合う範囲内に第1の指標の画像が含まれ、
前記第1のカメラの撮像範囲と前記第3のカメラの撮像範囲とが重なり合う範囲内に第2の指標の画像が含まれ、
前記第2のカメラの撮像範囲と前記第4のカメラの撮像範囲とが重なり合う範囲内に第3の指標の画像が含まれ、
前記第2のカメラの撮像範囲と前記第3のカメラの撮像範囲とが重なり合う範囲内に第4の指標の画像が含まれ、
前記車両座標系は、前記第1のカメラの設置位置を基準とした座標系であって、
前記座標系統合部は、
前記四つのカメラのうち撮像範囲が重なり合う複数のカメラについて前記一次校正部が算出した位置に基づいて、前記第1の指標の前記指標座標系における前記四つのカメラの位置を算出して、
前記第1の指標の前記指標座標系における前記第1のカメラの位置に基づいて前記第1の指標の前記指標座標系における前記四つのカメラの位置を前記車両座標系に変換することを特徴とするカメラ校正装置。 - 請求項4に記載のカメラ校正装置において、
前記一次校正部は、
前記第1の指標の指標座標系における前記第1のカメラの位置と前記第4のカメラの位置と、
前記第2の指標の指標座標系における前記第3のカメラの位置と前記第1のカメラの位置と、
前記第3の指標の指標座標系における前記第4のカメラの位置と前記第2のカメラの位置と、
前記第4の指標の指標座標系における前記第2のカメラの位置と前記第3のカメラの位置と、を算出し、
前記座標系統合部は、
異なる二つの指標座標系における同一のカメラの位置に基づいて、当該二つの指標座標系間の相対位置関係を算出し、
異なる二つの指標座標系間の相対位置関係に基づいて、前記第1の指標の前記指標座標系における前記第2、第3、および第4の指標の指標座標系の相対位置関係を算出し、
前記第1の指標の前記指標座標系における前記第2、第3、および第4の指標の指標座標系の相対位置関係と、前記一次校正部が算出した各カメラの位置とに基づいて、前記第1の指標の指標座標系における各カメラの位置を算出することを特徴とするカメラ校正装置。 - 請求項5に記載のカメラ校正装置において、
前記座標系統合部は、前記第1の指標の指標座標系における前記第2の指標の位置と前記第2の指標の指標座標系における前記第1のカメラの位置とに基づいて、前記第1の指標の指標座標系における前記第1のカメラの位置を算出して、
前記二次校正部は、
前記一次校正部で算出された前記第1の指標の指標座標系における前記第1のカメラの位置と、前記座標系統合部が算出した前記第1の指標の指標座標系における前記第1のカメラの位置との誤差を前記第1の指標の指標座標系における各カメラの位置に配分する誤差配分部をさらに備えることを特徴とするカメラ校正装置。 - 請求項6に記載のカメラ校正装置において、
前記二次校正部は、前記誤差配分部により前記誤差が配分された後に、(1)前記第1および第4のカメラの各撮像画像中の前記第1の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、(2)前記第3および第1のカメラの各撮像画像中の前記第2の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、(3)前記第4および第2のカメラの各撮像画像中の前記第3の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、(4)前記第2および第3のカメラの各撮像画像中の前記第4の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、に基づいて前記車両座標系における各カメラの位置を補正する補正部をさらに備えることを特徴とするカメラ校正装置。 - 請求項1乃至7のいずれか一項に記載のカメラ校正装置において、
前記特徴量に基づいて、画像が適正に撮影されているか否かを判定する画像適正判定部と、
前記二次校正部による校正の後に生成された俯瞰画像に基づいて、前記車両座標系における前記複数のカメラの各々の位置が適正か否かを判定する校正適正判定部と、
前記画像適正判定部の判定結果と、前記校正適正判定部の判定結果とに基づいて、前記校正に失敗した原因を解析する状態解析部と、
を備えることを特徴とするカメラ校正装置。 - 請求項8に記載のカメラ校正装置において、
前記状態解析部は、
前記一次校正部による校正処理後の前記特徴量の精度が適正か否かを判定する特徴量精度判定部と、
前記特徴量精度判定部が適正と判定した場合に、前記二次校正部による校正状態を解析する校正状態解析部と、
前記特徴量精度判定部が不適正と判定した場合に、前記撮像画像を解析する画像解析部と、
を有することを特徴とするカメラ校正装置。 - 請求項9に記載のカメラ校正装置において、
前記少なくとも一つの指標の寸法に関する情報を入力する入力部をさらに備え、
前記特徴量精度判定部は、前記一次校正部で算出される前記指標座標系における前記少なくとも二つのカメラの各位置と、前記少なくとも一つの指標の寸法に関する情報に基づく前記指標座標系における前記少なくとも二つのカメラの各々の理論位置との間の誤差の総和を表す目的関数の極小値に基づいて、前記特徴量の精度を判定することを特徴とするカメラ校正装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013247261A JP6034775B2 (ja) | 2013-11-29 | 2013-11-29 | カメラ校正装置 |
EP14865838.8A EP3076654A4 (en) | 2013-11-29 | 2014-11-18 | Camera calibration device |
CN201480064709.6A CN105765963B (zh) | 2013-11-29 | 2014-11-18 | 照相机校正装置 |
US15/033,941 US10192309B2 (en) | 2013-11-29 | 2014-11-18 | Camera calibration device |
PCT/JP2014/080530 WO2015079980A1 (ja) | 2013-11-29 | 2014-11-18 | カメラ校正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013247261A JP6034775B2 (ja) | 2013-11-29 | 2013-11-29 | カメラ校正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015106785A JP2015106785A (ja) | 2015-06-08 |
JP6034775B2 true JP6034775B2 (ja) | 2016-11-30 |
Family
ID=53198925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013247261A Expired - Fee Related JP6034775B2 (ja) | 2013-11-29 | 2013-11-29 | カメラ校正装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10192309B2 (ja) |
EP (1) | EP3076654A4 (ja) |
JP (1) | JP6034775B2 (ja) |
CN (1) | CN105765963B (ja) |
WO (1) | WO2015079980A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101666959B1 (ko) * | 2015-03-25 | 2016-10-18 | ㈜베이다스 | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 |
WO2016174942A1 (ja) * | 2015-04-28 | 2016-11-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
EP3125196B1 (en) * | 2015-07-29 | 2018-02-21 | Continental Automotive GmbH | Drive-by calibration from static targets |
JP6541590B2 (ja) * | 2016-02-03 | 2019-07-10 | クラリオン株式会社 | カメラキャリブレーション装置 |
JP6736414B2 (ja) * | 2016-08-10 | 2020-08-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6699902B2 (ja) | 2016-12-27 | 2020-05-27 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
KR102466305B1 (ko) * | 2017-01-12 | 2022-11-10 | 현대모비스 주식회사 | Avm 자동 공차 보정 시스템 및 그 방법 |
KR102433824B1 (ko) * | 2017-01-12 | 2022-08-17 | 현대모비스 주식회사 | Avm 자동 공차 보정 시스템 및 그 방법 |
TWI636425B (zh) * | 2017-06-21 | 2018-09-21 | 晶睿通訊股份有限公司 | 介面運作方法及其手持裝置 |
CN107621278B (zh) * | 2017-08-04 | 2021-01-29 | 驭势科技(北京)有限公司 | 自主校准方法及装置 |
JP6962372B2 (ja) * | 2017-08-25 | 2021-11-05 | 株式会社ソシオネクスト | 補正装置、補正プログラム及び記録媒体 |
JP2019092002A (ja) | 2017-11-13 | 2019-06-13 | ヤマハ発動機株式会社 | 船舶用俯瞰画像生成装置およびそのキャリブレーション方法 |
KR102470298B1 (ko) * | 2017-12-01 | 2022-11-25 | 엘지이노텍 주식회사 | 카메라 보정 방법 및 장치 |
CN110070582B (zh) * | 2018-01-23 | 2021-04-23 | 舜宇光学(浙江)研究院有限公司 | 多摄模组参数自校准系统和校准方法及其电子设备 |
EP3531376B1 (en) * | 2018-02-21 | 2020-09-30 | Ficosa Adas, S.L.U. | Calibrating a camera of a vehicle |
WO2019182521A1 (en) * | 2018-03-22 | 2019-09-26 | Infinium Robotics Pte Ltd | Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform |
DE102018206190A1 (de) * | 2018-04-23 | 2019-10-24 | Robert Bosch Gmbh | Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform |
DE102018111776B4 (de) * | 2018-05-16 | 2024-01-25 | Motherson Innovations Company Limited | Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug |
EP3803776A4 (en) | 2018-05-25 | 2022-03-23 | Packsize, LLC | SYSTEMS AND METHODS FOR MULTI-CAMERA PLACEMENT |
JP7203105B2 (ja) * | 2018-06-29 | 2023-01-12 | 株式会社小松製作所 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
CN109191525B (zh) * | 2018-09-03 | 2022-04-15 | 佛亚智能装备(苏州)有限公司 | 一种偏差预警方法及装置 |
CN110969664B (zh) * | 2018-09-30 | 2023-10-24 | 北京魔门塔科技有限公司 | 一种相机外部参数的动态标定方法 |
JP7148064B2 (ja) * | 2018-10-25 | 2022-10-05 | 株式会社アイシン | カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム |
US10930155B2 (en) * | 2018-12-03 | 2021-02-23 | Continental Automotive Systems, Inc. | Infrastructure sensor detection and optimization method |
JP2020147962A (ja) * | 2019-03-12 | 2020-09-17 | 日立建機株式会社 | 周囲表示システム及びそれを備えた作業機械 |
JP7317531B2 (ja) * | 2019-03-14 | 2023-07-31 | ヤマハ発動機株式会社 | 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法 |
KR102297683B1 (ko) * | 2019-07-01 | 2021-09-07 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
KR102277828B1 (ko) * | 2019-08-13 | 2021-07-16 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
CN110610524B (zh) * | 2019-08-30 | 2022-06-17 | 广东奥普特科技股份有限公司 | 一种相机标定点坐标计算方法 |
CN113847930A (zh) | 2020-06-28 | 2021-12-28 | 图森有限公司 | 多传感器校准系统 |
US11960276B2 (en) | 2020-11-19 | 2024-04-16 | Tusimple, Inc. | Multi-sensor collaborative calibration system |
US11702089B2 (en) * | 2021-01-15 | 2023-07-18 | Tusimple, Inc. | Multi-sensor sequential calibration system |
CN117152273B (zh) * | 2023-11-01 | 2024-02-23 | 安徽中科星驰自动驾驶技术有限公司 | 一种用于自动驾驶车辆的相机标定设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
JP2009104323A (ja) * | 2007-10-22 | 2009-05-14 | Alpine Electronics Inc | マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法 |
JP4555876B2 (ja) * | 2008-05-30 | 2010-10-06 | 株式会社日本自動車部品総合研究所 | 車載カメラのキャリブレーション方法 |
JP5387580B2 (ja) * | 2008-11-05 | 2014-01-15 | 富士通株式会社 | カメラ角度算出装置およびカメラ角度算出方法 |
EP2413282B1 (en) | 2009-03-26 | 2013-04-10 | Aisin Seiki Kabushiki Kaisha | Camera calibrator |
JP5483945B2 (ja) * | 2009-07-27 | 2014-05-07 | アルパイン株式会社 | カメラ調整方法及び装置 |
JP5898475B2 (ja) * | 2011-11-28 | 2016-04-06 | クラリオン株式会社 | 車載カメラシステム及びその較正方法、及びその較正プログラム |
JP6009894B2 (ja) * | 2012-10-02 | 2016-10-19 | 株式会社デンソー | キャリブレーション方法、及びキャリブレーション装置 |
JP6107081B2 (ja) * | 2012-11-21 | 2017-04-05 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2013
- 2013-11-29 JP JP2013247261A patent/JP6034775B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-18 WO PCT/JP2014/080530 patent/WO2015079980A1/ja active Application Filing
- 2014-11-18 US US15/033,941 patent/US10192309B2/en not_active Expired - Fee Related
- 2014-11-18 EP EP14865838.8A patent/EP3076654A4/en not_active Withdrawn
- 2014-11-18 CN CN201480064709.6A patent/CN105765963B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10192309B2 (en) | 2019-01-29 |
EP3076654A1 (en) | 2016-10-05 |
JP2015106785A (ja) | 2015-06-08 |
US20160275683A1 (en) | 2016-09-22 |
WO2015079980A1 (ja) | 2015-06-04 |
CN105765963B (zh) | 2019-04-12 |
EP3076654A4 (en) | 2018-04-25 |
CN105765963A (zh) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6034775B2 (ja) | カメラ校正装置 | |
JP6458439B2 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
JP5339124B2 (ja) | 車載カメラの校正装置 | |
US10922559B2 (en) | Automatic surround view homography matrix adjustment, and system and method for calibration thereof | |
US10171802B2 (en) | Calibration method and calibration device | |
JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
JP5124147B2 (ja) | カメラ校正装置及び方法並びに車両 | |
KR20190102665A (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
US20090299684A1 (en) | Method for calibrating cameras installed on vehicle | |
US20140085469A1 (en) | Calibration Method and Apparatus for In-Vehicle Camera | |
JPWO2015029934A1 (ja) | カメラ校正装置、カメラ校正システム、及びカメラ校正方法 | |
JP2004132870A (ja) | ステレオカメラの調整装置およびステレオカメラの調整方法 | |
CN111508027A (zh) | 摄像机外参标定的方法和装置 | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
CN115797467B (zh) | 车辆相机标定结果检测方法、装置、设备及存储介质 | |
CN110876053A (zh) | 图像处理装置、驾驶支援系统及记录介质 | |
KR20180127671A (ko) | Avm 시스템의 자동 캘리브레이션 방법 | |
KR102585556B1 (ko) | 카메라 영상 왜곡 검사 장치 및 그 동작 방법 | |
JP2011228857A (ja) | 車載カメラ用キャリブレーション装置 | |
KR20200063898A (ko) | 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법 | |
US11403770B2 (en) | Road surface area detection device | |
CN117011375A (zh) | 障碍物识别方法、装置、电子设备及存储介质 | |
JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
WO2022014215A1 (ja) | 処理装置及び車載カメラ装置 | |
US20170363416A1 (en) | Apparatus for measuring three-dimensional position of target object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6034775 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |