JP5832278B2 - カメラ計測システムのキャリブレーション方法 - Google Patents

カメラ計測システムのキャリブレーション方法 Download PDF

Info

Publication number
JP5832278B2
JP5832278B2 JP2011283051A JP2011283051A JP5832278B2 JP 5832278 B2 JP5832278 B2 JP 5832278B2 JP 2011283051 A JP2011283051 A JP 2011283051A JP 2011283051 A JP2011283051 A JP 2011283051A JP 5832278 B2 JP5832278 B2 JP 5832278B2
Authority
JP
Japan
Prior art keywords
camera
calibration
jig
image
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011283051A
Other languages
English (en)
Other versions
JP2013134088A (ja
Inventor
山本　英明
英明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2011283051A priority Critical patent/JP5832278B2/ja
Priority to US14/361,361 priority patent/US9996931B2/en
Priority to KR1020147014339A priority patent/KR20140089392A/ko
Priority to TW101106240A priority patent/TW201325811A/zh
Priority to CN201280052858.1A priority patent/CN103906989B/zh
Priority to PCT/JP2012/054508 priority patent/WO2013099302A1/ja
Publication of JP2013134088A publication Critical patent/JP2013134088A/ja
Application granted granted Critical
Publication of JP5832278B2 publication Critical patent/JP5832278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2414—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for indicating desired positions guiding the positioning of tools or workpieces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/22—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work
    • B23Q17/2233—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work for adjusting the tool relative to the workpiece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2428—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring existing positions of tools or workpieces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/248—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
    • B23Q17/249—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Description

本発明は、カメラ計測システムのキャリブレーション方法に関する。詳しくは、工作機械全般において、穴形状（穴中心位置）を計測するシステムに適用されるキャリブレーション方法である。
近年、カメラを用いた計測システムが利用されてきているが、精度良く計測を行うためにはカメラのキャリブレーションが必要である。カメラのキャリブレーションにおいては、一般的には３×４の射影行列［数７］の式(14)の１２個の要素を決定する必要がある。
また、OpenCV（非特許文献１）などで使用されているZ.Zhang（非特許文献２）のキャリブレーション手法では、カメラ内部パラメータとして９個（カメラ内部のキャリブレーションパラメータ４個と歪み補正パラメータ５個）を決定する必要がある。更にカメラ外部パラメータとして６個（並進３個と回転３個：カメラ位置キャリブレーション）のパラメータを決定する必要がある。
キャリブレーション用の治具としては、特許文献１（“キャリブレーション用の校正治具および校正治具を備えた画像計測システム”）に記載されているように以下の関連特許が出されている。
特許文献２：“画像処理測定機用の倍率校正プレート”
特許文献３：“ゲージ並びに該ゲージを用いた寸法校正装置及び寸法校正方法”
特許文献４：“キャリブレーション装置”
特許文献５：“画像認識装置用の校正治具と画像認識装置用の校正方法”
特許文献６：“写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体”
また、上記特許とは別にカメラ計測におけるキャリブレーション方法と関連して以下の関連特許が出されている。
特許文献７：“平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法および応用計測装置”
特許文献８：“キャリブレーション用の校正治具および校正治具を備えた画像計測システム”
特許文献９：“キャリブレーション方法およびキャリブレーション装置”
特許文献１０： “ロボットのキャリブレーション方法およびロボット用キャリブレーション装置”
特許文献１１，１２：“ハンドアイの面直、距離および回転角設定方法”
特開2010-139329号公報 特許第3409931号公報 特許第3477139号公報 特許第3512092号公報 特許第3575165号公報 特許第3737919号公報 特開2008-14940号公報 特開2010-139329号公報 特開2010-276603号公報 特開2011-177845号公報 特開平4-365585号公報 特許第2568005号公報
http://opencv.jp/opencv-2svn/cpp/calib3d_camera_calibration_and_3d_reconstruction.html http://opencv.jp/sample_calibration.html
ところで、上記特許の記載内容では、キャリブレーション治具の作成が困難であったり、また、以下の通り、キャリブレーション方法が煩雑であるといった問題点がある。
＜キャリブレーションの計算式＞
各座標系での座標位置を以下の通りとする。
Figure 0005832278
先ず、カメラの内部パラメータについて説明する。図４より、画像平面に投影される点の座標の関係は以下の通りとなる。
Figure 0005832278
従って、カメラ座標と画像平面座標との関係式は次式と表せる。
Figure 0005832278
ここで、ｋx＝−１/ｓx、ｋy＝−１/ｓyであり、ｓx、ｓyは画素サイズであり、焦点ｆと主点のズレ（ｃx，ｃy）は内部パラメータである。また、実際に求める必要がある内部パラメータとしては、（ｋx，ｋy，ｃx，ｃy）の４個である。従って、内部パラメータとして導出するパラメータ、歪み補正関連のパラメータ５個（ｋ1，ｋ2，ｋ3，ｐ1，ｐ2）と合せて９個になる。
尚、カメラ内部のパラメータとしては、放射方向歪み補正係数（ｋ1，ｋ2，ｋ3）と接線方向歪み補正係数（ｐ1，ｐ2）があり、これら内部パラメータもキャリブレーションにより導出する。
Figure 0005832278
また、ワールド座標とカメラ座標の関係は次式となる。
Figure 0005832278
Figure 0005832278
従って、外部パラメータとしては、(θx，θy，θz，tx，ty，tz)の6個のパラメータを決定すればよいことになる。以上より、ワールド座標を画像平面に投影する式は下式となる。
Figure 0005832278
参考のために、キャリブレーションで得られるパラメータの詳細について示す。図５（ａ）に模式図で示す通り、デジタルカメラにおいては、センサ１０の前方にレンズ２０が配置されている。
（１）焦点距離ｆ（ｍｍ）
焦点距離ｆ（ｍｍ）は、図５（ｂ）に示す通り、レンズ２０からの入射光が一堂に集まる点（主点）と、センサ１０の中心との間の距離である。
（２）主点のズレｘp，ｙp（ｍｍ）
主点のズレｘp，ｙp（ｍｍ）は、図５（ｃ）に示す通り、カメラ製造時に生じる主点とセンサ中心位置とのズレ量である。ｘｙ平面の平行移動量として、二つのパラメータで表される。
（３）放射方向歪み補正係数ｋ1，ｋ2，ｋ3
図６（ａ）に示す通り、カメラのレンズ２０は凸レンズであるため、入射光は屈折してセンサ１０上では異なる位置に投影される。これが原因で図６（ｂ）のように発生する歪を三つの係数ｋ1，ｋ2，ｋ3により補正するものである。図６（ｂ）においては、歪補正前の画直が実線で示され、歪補正後の正しい投影位置が破線で示されている。
（４）接線方向歪み補正係数ｐ1，ｐ2
図６（ｃ）に示すように、主点のズレと同様カメラの製造に起因するもので、レンズ２０とセンサ１０が平行ではないために図６（ｄ）のように歪が生じる。このような歪を二つの係数ｐ1，ｐ2により補正するものである。図６（ｄ）においては、歪補正前の画直が実線で示され、歪補正後の正しい投影位置が破線で示されている。
＜カメラの内部パラメータの導出方法＞
カメラの内部パラメータを導出するためには、図７に示す格子模様（市松模様）のキャリブレーションボード１１又は図８に示す円形状模様のキャリブレーションボード１２を使用していた。
1)図９（ａ）〜（ｅ）に示すように、カメラの前でキャリブレーションボード１１を移動・回転させて、１０枚程度の画像を取得する。ここでは、図７に示す格子模様のキャリブレーションボード１１を使用した。図９（ａ）〜（ｅ）の各図中左側は、カメラ３０に対するキャリブレーションボードの移動・回転を示し、図中右側はカメラ３０により撮影された画像を示すものである。
2)各取得画像より、図１０中に示すように格子模様の交点（図中、×を入れて示す）を特徴点として抽出する。
3)各画像の特徴点の位置情報から、最小二乗法等の手法を利用して、カメラ３０の内部パラメータ（焦点距離：(f×kx，f×ky)、主点のズレ：(cx，cy)、放射方向歪み補正係数：(k1，k2，k3)、接線方向歪み補正係数：(p1，p2)を導出する。
4)キャリブレーションによる画像の補正
上記処理により算出したカメラ内部パラメータを使用して、図１１（ａ）に示す取得画像を同図（ｂ）に示すように補正する。
＜カメラの外部パラメータの導出方法＞
1)カメラを工作機械に搭載した後に、テーブル上にキャリブレーションボードを設置する。更に、３項で示すように座標位置が既知のポイントの機械座標を測定する。
2)図１２に示すように、カメラ３０の位置をX，Y，Z軸方向に移動させて、図１３（ａ）〜（ｄ）に示すようにキャリブレーションボード１１について複数枚の画像を取得する。図１３（ａ）はキャリブレーションボード１１を全画面に、図１３（ｂ）は画像右上部に、図１３（ｃ）は画像左下部に、図１３（ｄ）は画像中央部に、撮影したものである。
3)各取得画像より、図１４中×印で示す特徴点と図１４中○印で示す座標位置が既知のポイントを抽出する。×印は、格子模様の交点と同じ数、即ち、７×１０(＝７０)箇所とした。また、○印は画像中の右下、右上、左上、左下の４箇所とした。
4)各画像の特徴点、及び、座標位置が既知にポイントの位置情報から、最小二乗法等の手法を利用して、カメラの外部パラメータ（カメラの並進移動量(tx，ty，tz)、カメラの回転移動角度：(θx，θy，θz)）を導出する。
このように従来では、カメラ３０の内部パラメータ（焦点距離：(f×kx，f×ky)、主点のズレ：(cx，cy)、放射方向歪み補正係数：(k1，k2，k3)、接線方向歪み補正係数：(p1，p2)、カメラの外部パラメータ（カメラの並進移動量(tx，ty，tz)、カメラの回転移動角度：(θx，θy，θz)）を導出する必要が有り、キャリブレーション方法が煩雑であるといった問題点がある。
上記課題を解決する本発明の請求項１に係るカメラ計測システムのキャリブレーション方法は、工作機械上のワークにリング状のキャリブレーション治具を設置し、前記キャリブレーション治具の円形状を画面中央に配置したカメラの光軸を前記工作機械の座標系のうちの１軸に並行に合せると共に前記カメラの水平方向乃至垂直方向を前記工作機械の前記１軸以外の軸方向に合わせた当該カメラで前記キャリブレーション治具を撮影し、前記カメラで撮影された画像中における前記治具の円周形状を輪郭として抽出し、前記輪郭から前記画像中における前記治具の中心位置を計算する一方、前記カメラの接線方向歪み補正係数及び放射方向歪み補正係数を全て無視して０とし、前記カメラの主点のズレはカメラの並進移動量に包含するものとして全て０として、前記画像中における前記治具の中心位置及び既知の前記治具の三次元中心位置に基づいて、キャリブレーションの外部パラメータである並進移動量を算出することを特徴とする。
上記課題を解決する本発明の請求項２に係るカメラ計測システムのキャリブレーション方法は、工作機械上のワークにリング状のキャリブレーション治具を設置し、前記キャリブレーション治具の円形状を画面中央に配置したカメラを前記工作機械の座標系のＸ，Ｙ，Ｚ軸に沿って平行移動させながら当該カメラで前記キャリブレーション治具を数枚撮影し、前記カメラで撮影された画像中における前記治具の円周形状を輪郭として抽出し、前記輪郭から前記画像中における前記治具の中心位置を計算する一方、前記カメラの接線方向歪み補正係数及び放射方向歪み補正係数を全て無視して０とし、前記カメラの主点のズレはカメラの並進移動量に包含するものとして全て０として、前記画像中における前記治具の中心位置及び既知の前記治具の三次元中心位置に基づいて、キャリブレーションの外部パラメータである回転角度及び並進移動量を算出することを特徴とする。
本発明によれば、リング状のキャリブレーション治具を使用するので、キャリブレーション治具の作成が容易に行えると共にキャリブレーション治具の取付け・設置が容易に行える。
また、カメラの接線方向歪み補正係数及び放射方向歪み補正係数を全て無視して０とし、カメラの主点のズレはカメラの並進移動量に包含するものとして全て０とするので、簡単な方法でキャリブレーションが行える。
また、本発明では、カメラを取付ける際に、カメラの光軸を工作機械の座標系（以下、機械座標と言う）のある１軸に並行に合わせ、更にカメラの水平方向乃至垂直方向を機械座標の１軸以外に合せれば、外部パラメータである回転系のパラメータ３個の調整を不要にする。
更に、カメラの座標系を機械座標系と無関係にして、外部パラメータである回転系のパラメータ３個を求めても良い。
図１（ａ）は本発明に係るキャリブレーション治具のカメラによる計測を示す斜視図、図１（ｂ）は本発明に係る画像による円周の輪郭抽出及び輪郭抽出した円周形状により計算された中心位置の説明図である。 従来技術に係るタッチセンサによる穴中心位置計測の斜視図である。 図３（ａ）（ｂ）は油圧ショベルのブームの正面を示す斜視図、裏面を示す斜視図、図３（ｃ）は同図（ａ）（ｂ）中の破線で囲んで示す部分の拡大斜視図である。 焦点位置と主点のズレを示す説明図である。 図５（ａ）はデジタルカメラの模式図、図５（ｂ）は焦点距離の説明図、図５（ｃ）は主点のズレの説明図である。 図６（ａ）は放射方向歪み補正係数の説明図、図６（ｂ）は放射方向歪み補正前後の画像を示す説明図、図６（ｃ）は接線方向歪み補正係数の説明図、図６（ｄ）は接線方向歪み補正前後の画像を示す説明図である。 格子模様のキャリブレーションボードの斜視図である。 円形状模様のキャリブレーションボードの斜視図である。 図９（ａ）〜（ｅ）は、それぞれ内部パラメータ導出に必要な画像取得の様子及び取得された画像の説明図である。 取得された画像から特徴点の抽出を示す説明図である。 図１１（ａ）はキャリブレーション前のキャリブレーションボードの画像の説明図、図１１（ｂ）はキャリブレーション後のキャリブレーションボードの画像の説明図である。 外部パラメータ導出に必要な画像取得方法の説明図である。 図１３（ａ）〜図１３（ｄ）は、いずれも外部パラメータ導出に使用する画像の説明図である。 取得画像から特徴点の抽出を示す説明図である。 本発明におけるキャリブレーション治具に対するカメラの配置を示す斜視図である。 本発明の実施例３に係るキャリブレーション方法を実施するためのフローチャートである。
本発明では、図１（ａ）に示すように、リング状のキャリブレーション治具１をカメラ２で撮影し、図１（ｂ）に示すように、撮影された画像中の円周の輪郭（図中、一点鎖線で示す）１ａを抽出し、抽出された円周形状の輪郭１ａより、キャリブレーション治具１の中心位置１ｂを計算により求める。
リング状のキャリブレーション治具１としては、例えば、図３に示すように油圧ショベルのブーム３に設けられる円筒部材３ａを使用することができる。
ここで、油圧ショベルのブーム３は、建設機械の加工用に使用される対向機（コラム移動型の対向型中ぐりフライス盤、テーブル移動型の対向型横中ぐりフライス盤など）で同時に両側から加工されるものであり、従来では、図２に示すように、タッチセンサ４を円筒部材３ａの内周面に沿って４カ所測定することにより、中心位置を測定していたが、計測作業が煩雑であるという不具合があった。
本発明では、リング状のキャリブレーション治具１を使用し、作成や取り付けが複雑な図７及び図８に示すキャリブレーションボードは使用しないものとした。尚、リング状のキャリブレーション治具１としては、油圧ショベルのブーム３に設けられる円筒部材３ａのように、軸が貫通する穴であっても、貫通しない穴であっても何れも使用可能である。
本発明では、カメラ２により撮影されるのはリング状のキャリブレーション治具１であり、測定形状を穴形状に限定することで、カメラキャリブレーションを省略する。即ち、カメラの接線方向歪み補正係数及び放射方向歪み補正係数を全て無視して０とし、カメラの主点のズレはカメラの並進移動量に包含するものとして全て０とする。
上述した通り、カメラキャリブレーションは主にレンズ歪みなどの補正のため、カメラの内部パラメータを導出するものであるが、被測定物を円形状とし、更に中心位置を測定する場合にはキャリブレーションの影響は出難いために省略しても問題ない。
また、本発明では、カメラ２を取付ける際に、カメラ２の光軸を機械座標のＺ軸に並行に合わせ、更にカメラ２の直角・平行を機械座標のＸＹ軸に合せれば、カメラ位置キャリブレーションの回転系のパラメータ３個の調整を不要にすることができる。
このように、カメラ２の座標系と機械座標系とを特定の関係とすることにより、カメラ外部パラメータ(θx，θy，θz，tx，ty，tz)のうち、θx=0、θy=0、θz=0、となるので、求めるべきパラメータとしては、並進移動量(tx，ty，tz)の三つとなる。
しかも、tzが既知であれば、求めるべき未知のパラメータは、(tx，ty)だけとなる。
ここで、キャリブレーション治具１の画像中における中心位置１ｂが求められているので、中心位置が既知であるキャリブレーションリングの中心位置（Xr，Yr，Zr）を使用すれば、未知のパラメータ(tx，ty)を求めることが可能である。
また、本発明では、カメラ２を設置する際、カメラ２の座標系を機械座標系と無関係にすると、求めるべきカメラ外部パラメータは、(θx，θy，θz，tx，ty，tz)の６つとなる。
この場合には、カメラ２を機械座標系のＸ，Ｙ，Ｚ軸に沿って平行移動させながらキャリブレーション治具１の画像を複数枚撮影し、カメラ２で撮影された画像中でキャリブレーション治具１の輪郭を円周形状１ａとして抽出し、円周形状１ａからキャリブレーション治具１の中心位置１ｂを計算することを繰り返して、得られたキャリブレーション治具１の画像中における中心位置１ｂを使用し、中心位置が既知であるキャリブレーション用治具１の中心位置（Xr，Yr，Zr）を使用することでカメラ外部パラメータ(θx、θy，θz，tx，ty，tz)の６つを求めることが可能である。
このように、本発明では、キャリブレーション治具をリング形状の治具を使用することで、カメラキャリブレーションの影響を無くすとともに、キャリブレーションの手順を簡素化することが可能となる。
1)本発明は穴形状を測定することに限定するため、カメラの内部パラメータ（焦点距離：(f×kx，f×ky)、主点のズレ：(cx，cy)、放射方向歪み補正係数：(k1，k2，k3)、接線方向歪み補正係数：(p1，p2)）の内、
(1)カメラ、レンズでは接線方向の歪みは少ないため、接線方向歪み補正係数：(p1，p2)を全て“0”として無視する。
(2)本計測は穴形状を測定することを目的としており、測定する穴形状を画面中央に配置して測定することで、放射方向の歪みの影響は無くなるため、本システムでは、放射方向歪み補正係数：(k1，k2，k3)を全て“0”としても問題ない。
(3)主点のズレ：(cx，cy)は、カメラの外部パラメータ（カメラの並進移動量(tx，ty，tz)に包含することで全て“0”とする。
(4)焦点距離：(f×kx，f×ky)はレンズ及びカメラの仕様で決まるため、メーカの仕 様書の数値を使用する。
以上の前提により、
Figure 0005832278
また、
Figure 0005832278
として、キャリブレーションを行う。即ち、図１（ａ）に示すように、リング状のキャリブレーション治具１をカメラ２で撮影し、図１（ｂ）に示すように、撮影された画像中の円周の輪郭（図中、一点鎖線で示す）１ａを抽出し、抽出された円周形状の輪郭１ａより、キャリブレーション治具１の中心位置１ｂを計算により求める。
尚、焦点距離：(f×kx，f×ky)はレンズ及びカメラの仕様で決まる既知情報である。
2)図１５に示すように、カメラ２の光軸を機械座標のＺ軸に合わせ、且つ、カメラ２の水平方向を機械座標のＸ軸を合せてカメラ２を設置する。また、カメラ２とキャリブレーション治具１の距離はほぼ一定とし、tz：既知とする。これにより、θx=0、θy=0、θz=0、となるため、
Figure 0005832278
Figure 0005832278
従って、導出するパラメータとしては、
Figure 0005832278
とのみとなり、更にtz：既知とすることで、(tx，ty)を求めれば良いことになる。
3)次に中心位置が既知であるキャリブレーションリングの中心位置（Xr，Yr，Zr）を使用することで、カメラ２で撮影したキャリブレーション治具１の画像平面上の中心位置１ｂの座標（ＵRing，ＶRing）が同一となるように(tx，ty)を算出する。
Figure 0005832278
1)本発明は穴形状を測定することに限定するため、カメラの内部パラメータ（焦点距離：(f×kx，f×ky)、主点のズレ：(cx，cy)、放射方向歪み補正係数：(k1，k2，k3)、接線方向歪み補正係数：(p1，p2)）の内、
(1)カメラ、レンズでは接線方向の歪みは少ないため、接線方向歪み補正係数：(p1，p2)を全て“0”として無視する。
(2)本計測は穴形状を測定することを目的としており、測定する穴形状を画面中央に配置して測定することで、放射方向の歪みの影響は無くなるため、本システムでは、放射方向歪み補正係数：(k1，k2，k3)を全て“0”としても問題ない。
(3)主点のズレ：(cx，cy)は、カメラの外部パラメータ（カメラの並進移動量(tx，ty，tz)に包含することで全て“0”とする。
(4)焦点距離：(f×kx，f×ky)はレンズ及びカメラの仕様で決まるため、メーカの仕様書の数値を使用する。
以上の前提により、
Figure 0005832278
また、
Figure 0005832278
として、キャリブレーションを行う。即ち、図１（ａ）に示すように、リング状のキャリブレーション治具１をカメラ２で撮影し、図１（ｂ）に示すように、撮影された画像中の円周の輪郭（図中、一点鎖線で示す）１ａを抽出し、抽出された円周形状の輪郭１ａより、キャリブレーション治具１の中心位置１ｂを計算により求める。
尚、焦点距離：(f×kx，f×ky)はレンズ及びカメラの仕様で決まる既知情報である。
2)図１５に示すように、カメラ２の光軸を機械座標のＺ軸方向に大凡合わせて（一致させる必要はなし）カメラ２を設置する。尚、カメラ２の水平方向と機械座標のＸ軸方向は大凡合せておく（θx≠0，θy≠0，θz≠0）。
従って、導出する必要があるパラメータとしては、外部パラメータの(θx，θy，θz，tx，ty，tz)の6個となる。
Figure 0005832278
Figure 0005832278
3)次に中心位置が既知であるキャリブレーションリングの中心位置（Xr，Yr，Zr）を使用することで、(θx，θy，θz，tx，ty，tz)を導出する。
具体的には、図１５に示すよう、カメラ２を機械座標のＸ軸、Ｙ軸、Ｚ軸に沿って平行移動させることで、キャリブレーション治具１を数枚撮影し、それぞれ撮影された画像中の円周の輪郭１ａを抽出し、抽出された円周形状の輪郭１ａより、それぞれキャリブレーション治具１の中心位置１ｂを計算により求める。
キャリブレーションリングの中心位置は既知情報であるため、計算によりそれぞれ求めたキャリブレーション治具１の位中心位置１ｂから、最小二乗法等の処理にて(θx，θy，θz，tx，ty，tz)を導出できる。
本発明の第３の実施例を図１６に示す。図１６は、本実施例に係るキャリブレーション方法のフローチャートを示す。
先ず、図１（ａ）に示すように、キャリブレーョン用治具１の中心付近にカメラ２を位置決めする（ステップＳ１）。キャリブレーョン用治具１は、工作機械上のワーク、例えば、図３に示す油圧ショベルのブーム３に予め設置されている。カメラ２の位置は、図１５に示すように、カメラ２の座標系と機械座標系とを特定の関係としても良いし（実施例１参照）又はカメラ２の座標系と機械座標系とを無関係としても良い（実施例２参照）。
次に、カメラ２によりキャリブレーション用治具１の画像を取得する（ステップＳ２）。
引き続き、図１（ｂ）に示すように、カメラ２により取得された画像を画像処理して円周の輪郭１ａを抽出する（ステップＳ３）。
そして、図１（ｂ）に示すように、円周の輪郭１ａよりキャリブレーション用治具１の中心位置１ｂを算出する（ステップＳ４）。
その後、機械座標位置として既知であるキャリブレーション用治具１の中心位置（Xr，Yr，Zr）と、ステップＳ４で算出したキャリブレーション用治具の中心位置１ｂより、キャリブレーションパラメータの内、カメラの内部パラメータを除いて、カメラの位置キャリブレーションパラメータ（外部パラメータ）を求める（ステップＳ５）。
カメラ２の座標系と機械座標系とが特定の関係にある場合には、θx=0，θy=0，θz=0となるので、導出する外部パラメータとしては、並進移動量だけとなり、tz：既知とすることで、(tx，ty)だけとなるから、１枚の画像から、これらのパラメータを特定することができる。
一方、カメラ２の座標系と機械座標系とを無関係とした場合では、導出する必要があるパラメータとしては、外部パラメータの(θx，θy，θz，tx，ty，tz)の6個となるので、キャリブレーション治具１の画像を数枚撮影して、これらの外部パラメータを求めることを繰り返すことになる。
本発明は、工作機械全般において、穴形状（穴中心位置）を計測するシステムに適用されるキャリブレーション方法として産業上広く利用可能なものである。
１ キャリブレーション用治具
１ａ 円周の輪郭
１ｂ キャリブレーション用治具の中心位置
２ カメラ
３ 油圧シャベルのブーム
３ａ 円筒部分
１０ センサ
１１,１２ キャリブレーションボード
２０ レンズ
３０ カメラ

Claims (2)

  1. 工作機械上のワークにリング状のキャリブレーション治具を設置し、前記キャリブレーション治具の円形状を画面中央に配置したカメラの光軸を前記工作機械の座標系のうちの１軸に並行に合せると共に前記カメラの水平方向乃至垂直方向を前記工作機械の前記１軸以外の軸方向に合わせた当該カメラで前記キャリブレーション治具を撮影し、前記カメラで撮影された画像中における前記治具の円周形状を輪郭として抽出し、前記輪郭から前記画像中における前記治具の中心位置を計算する一方、前記カメラの接線方向歪み補正係数及び放射方向歪み補正係数を全て無視して０とし、前記カメラの主点のズレはカメラの並進移動量に包含するものとして全て０として、前記画像中における前記治具の中心位置及び既知の前記治具の三次元中心位置に基づいて、キャリブレーションの外部パラメータである並進移動量を算出することを特徴とするカメラ計測システムのキャリブレーション方法。
  2. 工作機械上のワークにリング状のキャリブレーション治具を設置し、前記キャリブレーション治具の円形状を画面中央に配置したカメラを前記工作機械の座標系のＸ，Ｙ，Ｚ軸に沿って平行移動させながら当該カメラで前記キャリブレーション治具を数枚撮影し、前記カメラで撮影された画像中における前記治具の円周形状を輪郭として抽出し、前記輪郭から前記画像中における前記治具の中心位置を計算する一方、前記カメラの接線方向歪み補正係数及び放射方向歪み補正係数を全て無視して０とし、前記カメラの主点のズレはカメラの並進移動量に包含するものとして全て０として、前記画像中における前記治具の中心位置及び既知の前記治具の三次元中心位置に基づいて、キャリブレーションの外部パラメータである回転角度及び並進移動量を算出することを特徴とするカメラ計測システムのキャリブレーション方法。
JP2011283051A 2011-12-26 2011-12-26 カメラ計測システムのキャリブレーション方法 Active JP5832278B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011283051A JP5832278B2 (ja) 2011-12-26 2011-12-26 カメラ計測システムのキャリブレーション方法
US14/361,361 US9996931B2 (en) 2011-12-26 2012-02-24 Method for calibrating camera measurement system
KR1020147014339A KR20140089392A (ko) 2011-12-26 2012-02-24 카메라 계측 시스템의 캘리브레이션 방법
TW101106240A TW201325811A (zh) 2011-12-26 2012-02-24 攝像測量系統之校正方法
CN201280052858.1A CN103906989B (zh) 2011-12-26 2012-02-24 相机计测系统的校准方法
PCT/JP2012/054508 WO2013099302A1 (ja) 2011-12-26 2012-02-24 カメラ計測システムのキャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011283051A JP5832278B2 (ja) 2011-12-26 2011-12-26 カメラ計測システムのキャリブレーション方法

Publications (2)

Publication Number Publication Date
JP2013134088A JP2013134088A (ja) 2013-07-08
JP5832278B2 true JP5832278B2 (ja) 2015-12-16

Family

ID=48696828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011283051A Active JP5832278B2 (ja) 2011-12-26 2011-12-26 カメラ計測システムのキャリブレーション方法

Country Status (6)

Country Link
US (1) US9996931B2 (ja)
JP (1) JP5832278B2 (ja)
KR (1) KR20140089392A (ja)
CN (1) CN103906989B (ja)
TW (1) TW201325811A (ja)
WO (1) WO2013099302A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD737362S1 (en) * 2013-03-05 2015-08-25 Hon Hai Precision Industry Co., Ltd. Camera calibration board
WO2015111200A1 (ja) * 2014-01-24 2015-07-30 三菱電機株式会社 工具形状測定装置および工具形状測定方法
CN107003109B (zh) * 2014-11-13 2019-11-05 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
CN104807489B (zh) * 2015-01-27 2017-06-06 深圳怡化电脑股份有限公司 一种棱镜治具的校正方法及系统
CN104669065B (zh) * 2015-01-28 2017-02-22 中国工程物理研究院激光聚变研究中心 金刚石刀具在位检测与定位方法
US9784576B2 (en) * 2015-12-28 2017-10-10 Automotive Research & Test Center Calibration method for merging object coordinates and calibration board device using the same
US10140687B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10142544B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
EP3467428A4 (en) * 2016-05-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND IMAGE CAPTURE SYSTEM
CN110447220B (zh) * 2017-03-21 2021-03-09 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置以及投影装置
GB2560948B (en) * 2017-03-29 2020-12-30 Imagination Tech Ltd Camera Calibration
US10569105B2 (en) * 2017-05-26 2020-02-25 Accuray Incorporated Radiation based treatment beam position calibration and verification
CN107464265B (zh) * 2017-06-14 2021-05-11 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法
EP3644281A4 (en) * 2017-06-20 2021-04-28 Sony Interactive Entertainment Inc. CALIBRATION DEVICE, CALIBRATION CHART, CHART PATTERN GENERATING DEVICE, AND CALIBRATION PROCEDURE
JP6564431B2 (ja) * 2017-08-28 2019-08-21 ファナック株式会社 工作機械および軸移動制御方法
CN108921797B (zh) * 2018-06-14 2021-07-13 合肥市商巨智能装备有限公司 畸变图像的校准方法
CN109146956B (zh) * 2018-08-09 2021-11-16 厦门市计量检定测试院 一种视觉定位系统的线性误差修正系数获取方法
JP2020066066A (ja) * 2018-10-22 2020-04-30 セイコーエプソン株式会社 ロボットシステム、ロボットの校正治具、ロボットの校正方法
CN109982072A (zh) * 2019-04-03 2019-07-05 信利光电股份有限公司 一种摄像头模组校准用光源对正方法
CN110084861B (zh) * 2019-06-03 2023-09-15 易思维（杭州）科技有限公司 一种多相机视觉检测设备的标定方法
CN110830696B (zh) * 2019-11-26 2021-03-12 成都立鑫新技术科技有限公司 一种双目视觉测量技术的校准方法
CN111028227B (zh) * 2019-12-17 2023-07-21 江西洪都航空工业集团有限责任公司 一种数控机床快速找正方法
JP6800506B1 (ja) * 2020-02-04 2020-12-16 株式会社Ｍｕｊｉｎ 自動カメラキャリブレーションを実施する方法及びシステム
US11508088B2 (en) * 2020-02-04 2022-11-22 Mujin, Inc. Method and system for performing automatic camera calibration
JP7310750B2 (ja) * 2020-08-07 2023-07-19 トヨタ自動車株式会社 色味補正システム及び色味補正方法
US11172193B1 (en) * 2020-12-04 2021-11-09 Argo AI, LLC Method and system to calibrate camera devices of a vehicle vision system using a programmable calibration target device
CN114178907A (zh) * 2021-12-10 2022-03-15 上海诺倬力机电科技有限公司 数控机床视觉定位系统和方法
CN117301078B (zh) * 2023-11-24 2024-03-12 浙江洛伦驰智能技术有限公司 一种机器手视觉校准方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2568005B2 (ja) 1991-06-14 1996-12-25 株式会社豊田自動織機製作所 ハンドアイの面直、距離及び回転角設定方法
JP3512092B2 (ja) 1994-07-29 2004-03-29 マツダ株式会社 キャリブレーション装置
JP3409931B2 (ja) 1994-12-19 2003-05-26 株式会社ニコン 画像処理測定機用の倍率校正プレート
JP3575165B2 (ja) 1996-04-11 2004-10-13 ソニー株式会社 画像認識装置用の校正治具と画像認識装置用の校正方法
JP3737919B2 (ja) 1998-11-25 2006-01-25 ペンタックス株式会社 写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体
JP3477139B2 (ja) 2000-03-15 2003-12-10 株式会社横河技術情報 ゲージ並びに該ゲージを用いた寸法校正装置及び寸法校正方法
JP3735344B2 (ja) * 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP2005138223A (ja) * 2003-11-06 2005-06-02 Fanuc Ltd ロボット用位置データ修正装置
JP2008014940A (ja) 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
US7907750B2 (en) * 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
JP4418841B2 (ja) * 2008-01-24 2010-02-24 キヤノン株式会社 作業装置及びその校正方法
JP2010071782A (ja) * 2008-09-18 2010-04-02 Omron Corp ３次元計測装置およびその方法
JP2010139329A (ja) 2008-12-10 2010-06-24 Fanuc Ltd キャリブレーション用の校正治具および校正治具を備えた画像計測システム
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
JP5445064B2 (ja) * 2009-11-24 2014-03-19 オムロン株式会社 画像処理装置および画像処理プログラム
JP2011177845A (ja) 2010-03-02 2011-09-15 Seiko Epson Corp ロボットのキャリブレーション方法及びロボット用キャリブレーション装置
JP2011220752A (ja) * 2010-04-07 2011-11-04 Seiko Epson Corp 三次元形状計測装置および三次元形状計測装置のキャリブレーション方法

Also Published As

Publication number Publication date
KR20140089392A (ko) 2014-07-14
WO2013099302A1 (ja) 2013-07-04
CN103906989B (zh) 2016-08-24
US9996931B2 (en) 2018-06-12
JP2013134088A (ja) 2013-07-08
TW201325811A (zh) 2013-07-01
CN103906989A (zh) 2014-07-02
US20140340508A1 (en) 2014-11-20

Similar Documents

Publication Publication Date Title
JP5832278B2 (ja) カメラ計測システムのキャリブレーション方法
US10189133B2 (en) Measurement, calibration and compensation system and method for machine tool
KR101636605B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
JP6000478B2 (ja) 工具形状測定装置および工具形状測定方法
US8520067B2 (en) Method for calibrating a measuring system
EP3338946B1 (en) Measurement, calibration and compensation system and method for machine tool
CN108779981B (zh) 曲轴形状检查装置、系统及方法
CN108472706B (zh) 变形加工支持系统以及变形加工支持方法
JP6588704B2 (ja) 工具刃先の検出方法及び装置並びに工具補正値の設定装置
US9302345B2 (en) Laser machining calibration method
TWI667090B (zh) 雷射加工裝置
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP6349096B2 (ja) 工具検査方法及び工具検査装置
CN110475627B (zh) 变形加工辅助系统及变形加工辅助方法
TWI504475B (zh) 用於多軸機械之補償控制方法
TWI633522B (zh) Measuring and correcting compensation system and method for machine tool
JP2017007026A (ja) 位置補正システム
JP5483554B2 (ja) ツール座標系の較正装置及び較正方法
JP6757391B2 (ja) 測定方法
CN108195319B (zh) 一种带倒角工件的视觉倾斜定位方法
KR20130036412A (ko) 열교환기의 튜브 맵 생성 시스템 및 위치측정 방법
TWI575344B (zh) Tool processing and positioning method and device
TW202239546A (zh) 圖像處理系統及圖像處理方法
TWM448341U (zh) 可自動定位加工之ｃｎｃ工具機
JPH0753342B2 (ja) Ｃｃｄカメラによるワーク位置補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151027

R151 Written notification of patent or utility model registration

Ref document number: 5832278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250