JP7185860B2

JP7185860B2 - 多軸可動視覚システムのキャリブレーション方法

Info

Publication number: JP7185860B2
Application number: JP2021516454A
Authority: JP
Inventors: 王開放; 楊冬冬; 張暁林
Original assignee: Anhui Eyevolution Technology Co Ltd
Current assignee: Anhui Eyevolution Technology Co Ltd
Priority date: 2018-09-28
Filing date: 2019-07-18
Publication date: 2022-12-08
Anticipated expiration: 2039-07-18
Also published as: CN109360243A; WO2020063058A1; US20210407135A1; JP2022500793A; CN109360243B; DE112019004853T5; US11847797B2

Description

本発明は視覚システムのキャリブレーション方法に関し、特に、多軸可動視覚システムのキャリブレーション方法に関する。

多軸視覚システムは広く使用されており、その構造は複数の回転軸を有する視覚システムであることを特徴とする。例えば、通常の手元安定化カメラやクワッドローター空中カメラは、一般的に１つのカメラモジュールに３つの回転軸を結合し、カメラモジュールは３つの回転軸によって回転の発生を制御することができるか、または街頭で見られるＰＴＺ監視カメラのように２回転軸の運動と可変焦点のカメラで追跡または広視野角の監視を実現する。このように応用する場合、既知のカメラとベースとの間の正確な相対位置関係が必要でない場合が多いが、例えば末端に視覚モジュールが取り付けられているロボットアームに対しては精密な操作が必要な場合があるので、既知のベースと視覚モジュールとの間の相対位置関係を正確にする必要がある。

可動視覚システムの撮像素子とベースの正確な位置取得に影響を与える要素は主に二つの大きな問題がある。一つは、任意の回転軸で運動が発生した後、如何に撮像素子の位置変化を得るかの問題であり、もう一つは従来の機械加工レベル及び取り付け工程に制限されて、各回転軸が設計通りに厳格で且つ正確に運動するように保証することができないとともに、撮像部材と機械回転軸の相対位置も保証することができないという問題である。これは、可動視覚システムの撮像素子とベースの正確な位置の直接計算に大きな困難をもたらす。

従来技術に存在する問題を解決するために、本発明は、撮像素子とベースが如何に各軸運動の影響を受けるかを予めキャリブレーションすることにより、実際に多軸可動視覚システムを使用する過程で撮像素子とベースの正確な相対位置を取得することを実現する多軸可動視覚システムのキャリブレーション方法を提供する。

本発明による多軸可動視覚システムのキャリブレーション方法において、前記多軸可動視覚システムは、連続画像を取得可能な少なくとも一つの撮像素子を含み、少なくとも一つの回転軸を有し、且つベースに取り付けられ、各前記回転軸には回動または平行移動情報を取得可能な位置取得装置が取り付けられている撮像部材と、画像情報及び各回転軸の運動情報を計算して処理することができる計算部材と、各回転軸の運動を制御することができる制御部材と含み、前記キャリブレーション方法は、前記撮像素子の前方にキャリブレーションテンプレートを配置し、撮像素子が各回転軸で回動するように駆動し、撮像素子を利用してキャリブレーションテンプレート特徴を含む若干の画像を記録し、同時に、対応する画像を取得する時の各回転軸の位置情報を記録し、計算部材を用いて撮像素子と各回転軸のキャリブレーション結果を計算することを含む。

選択的に、前記撮像部材は、例えば、モーターが直列接続されており、末端に撮像素子が取り付けられていることにより、互いに直列接続されたモーターによって複数の回転軸を提供し、各回転軸に対して主に各自の回転角情報を取得し、もちろん、リニアモーターを使用してモーターで出力される平行移動により回動が発生する場合、平行移動情報を取得することもできる。

選択的に、前記キャリブレーション方法は、具体的には、１）基準位置での各回転軸の位置情報を記録するステップと、２）撮像部材の前にキャリブレーションテンプレートを配置して各回転軸に数回の変化が発生するようにして画像と各回転軸の位置情報をそれぞれ収集するステップと、３）収集した画像及び各回転軸の位置情報を利用してキャリブレーションアルゴリズムによって各回転軸のキャリブレーション結果を計算するステップと、を含む。

キャリブレーション過程が完了されるとキャリブレーション結果（基準位置情報、各回転軸キャリブレーション結果を含む）が得られ、実際の応用では、得られた視覚システムの各回転軸の位置情報を結合して基準位置に対する現在位置撮像素子の回転平行移動関係を得ることができる。

具体的な実施形態において、本発明によるキャリブレーション方法は以下のステップを含む：
（１）基準情報の決定及び取得：任意の位置を基準位置として選択し、基準位置での各回転軸の位置情報｛θ_Ｉａ｝，ａ＝１・・・Ｎを記録し、Ｎは視覚システムの回転軸の数であり、ａは回転軸の番号を表し、各回転軸の連結順に番号を付ける。
（２）回転軸のキャリブレーション：キャリブレーションテンプレートを可動システムの前方に配置して撮像部材が完全なキャリブレーションテンプレートを撮影することができるように保証する。その後、ａ番目の回転軸を数回回動させ、回動するたびに当該回転軸が連結された撮像部材が画像を取るようにして画像Ｍ_ａｉを取得し、同時に、この時当該回転軸の位置情報を記録して｛Ｍ_ａｉ，θ_ａｉ１，・・・，θ_ａｉＮ｝を得る。複数回の回動により画像の一連番号（Ｍ_ａ１，Ｍ_ａ２，Ｍ_ａ３，・・・）を得る。従来の成熟したカメラキャリブレーションアルゴリズム（例えば張氏キャリブレーション法）を使用して基準位置に対する撮影した各画像の回転及び平行移動行列｛Ｒ_ａＣｉ，Ｔ_ａＣｉ｝を計算して得、この画像を撮影する時に記録した回転軸の位置情報を結合して｛Ｒ_ａＣｉ，Ｔ_ａＣｉ，θ_ａｉ｝，ｉ＝１・・・Ｐ_ａを得る。Ｐ_ａはシステムのキャリブレーション過程でａ番目の回転軸が回動して取った全ての有効画像の数である。回転軸キャリブレーション結果の中で基準位置に対する回転軸の回動角｛θ_ａｉ１－θ_Ｉ１，・・・，θ_ａｉＮ－θ_ＩＮ｝，ｉ＝１・・・Ｐ_ａを回転行列｛Ｒ_Ｂ１ｉ，・・・，Ｒ_ＢＮｉ｝，ｉ＝１・・・Ｐ_ａに変換し、上記結果を本発明の各回転軸の回転軸座標と撮像素子座標系の関係モデルに代入する。

複数の方程式が得られ、この方程式の最適解｛Ｒ_ＢＣａ，Ｔ_ＢＣａ｝，ａ＝１・・・Ｎを求める。Ｒ_ＢＣａ，Ｔ_ＢＣａはそれぞれ撮像素子座標系に対するａ番目の回転軸の回転行列及び平行移動行列であり、Ｎは視覚システムの回転軸の数であり、Ｒ_Ｂａｉは基準位置に対するａ番目の回転軸の回転角度変換の回転行列であり、Ｒ_ａＣｉ，Ｔ_ａＣｉはそれぞれ基準位置に対するａ番目の回転軸が運動する時に撮影したｉ番目画像の画像座標系の回転及び平行移動行列であり、Ｐ_ａはシステムのキャリブレーション過程でａ番目の回転軸が回動して取った全ての有効画像の数である。
（３）キャリブレーション結果の計算：ステップ（１）（２）で基準位置情報｛θ_Ｉａ｝，ａ＝１・・・Ｎ、及び回転軸キャリブレーション結果｛Ｒ_ＢＣａ，Ｔ_ＢＣａ｝，ａ＝１・・・Ｎが得られた。
可動システムで撮像部材に運動が発生した後、各回転軸は位置情報（θ_ｐ１，θ_ｐ２，θ_ｐ３，・・・，θ_ｐＮ）を得る場合、各回転軸の回転角は（θ_ｐ１－θ_Ｉ１，θ_ｐ２－θ_Ｉ２，θ_ｐ３－θ_Ｉ３，・・・，θ_ｐＮ－θ_ＩＮ）であり、回転行列（Ｒ_ｐ１，Ｒ_ｐ２，Ｒ_ｐ３，・・・，Ｒ_ｐＮ）に変換して、本発明の回転軸座標系と撮像素子座標系の関係モデル（つまり、以下の式）に代入して運動後の外部パラメータ結果が得られる。

得られたＲ’及びＴ’はそれぞれ基準位置に対し可動システムで運動が発生した後のビデオカメラの回転行列及び平行移動行列の結果であり、Ｒ_ＢＣａ，Ｔ_ＢＣａはそれぞれ撮像素子座標系に対するａ番目の回転軸の回転行列及び平行移動行列であり、Ｎは視覚システムの回転軸の数であり、Ｒ_ｐａは基準位置に対するａ番目の回転軸の回転角度変換の回転行列である。

本発明において、前記撮像部材は連続画像を取得し、前記撮像部材は少なくとも一つの回転軸を有し、各回転軸によってベースに連結固定され、前記各回転軸には回動または平行移動情報を取得可能な位置取得装置が取り付けられている。前記撮像部材は少なくとも一つの撮像素子と少なくとも一つのレンズアセンブリを含む。

本発明において、前記キャリブレーションテンプレートは固定された特徴及び既知の特徴の相対位置情報を抽出することができるキャリブレーションテンプレートである。例えば、人工的に作られた各種２Ｄ及び３Ｄターゲット、または一部固定された自然シーンは、画像処理アルゴリズムによって固定された特徴情報を抽出することができ、またこれらの特徴情報の間の相対位置関係を取得することができることが要求される。通常、実際の応用では、キャリブレーション結果の精度を向上させ、キャリブレーション過程における難易度を低下させるために、精密に加工された３Ｄ立体ターゲットまたは２Ｄ平面ターゲットをキャリブレーションテンプレートとして使用する場合が多い。

本発明において、前記キャリブレーション結果は撮像素子の光学中心に対する各回転軸の回転行列及び平行移動行列を指す。前記キャリブレーション結果に各回転軸の位置情報を結合すれば、実際の応用で必要な撮像素子と基準位置での相対位置関係、つまり回転行列と平行移動行列を計算することができる。

従来技術では、可動システムが作動する時にビデオカメラで運動が発生し、各軸は加工及び組み立てに起因する誤差の影響を受けるため、直接計算によってビデオカメラの変化された正確な外部パラメータ情報を得ることができなかった。どころが、本発明による多軸可動視覚システムのキャリブレーション方法は、ビデオカメラの位置に変化が発生し、且つ各軸、撮像部材の相対位置が機械加工、組み立てなどの要素によって誤差が発生しても、各軸上の位置記録アセンブリによって撮像部材と基準位置での相対位置関係のキャリブレーションアルゴリズムを計算することができる。また、これから撮像部材が任意の２つの位置の間に置かれる正確な回転と平行移動関係を導き出すことができる。本発明は、キャリブレーションの基礎として、従来技術における一部３Ｄ立体ターゲットに基づくカメラキャリブレーションアルゴリズムまたは２Ｄ平面ターゲットに基づくカメラキャリブレーションアルゴリズムを使用した。

従来技術に比べて、本発明によれば、可動システムで撮像素子に運動が発生した場合でも、計算により基準位置に対する撮像素子の正確な回転平行移動パラメータ情報を取得することができる。本発明による方法は、良好な計算リアルタイム性を有する。即ち、一回キャリブレーションした後、続いて各回転軸の位置情報によって計算して、撮像素子の位置変化に対するパラメータ情報をリアルタイムで取得することができる。本発明は機械加工及び組み立てプロセスによる理論設計と一部不可避的に発生する誤差問題を顕著に、且つ効率的に取り除くことができるという有益な効果を奏する。

本発明による多軸可動視覚システムの概略的ブロック図である。本発明による多軸可動視覚システムのキャリブレーションフローチャートである。本発明による多軸可動視覚システムのリアルタイム外部パラメータ計算フローチャートである。本発明の具体的な実施例において前記キャリブレーションアルゴリズムを利用した碁盤キャリブレーションテンプレートである。本発明における各回転軸のビデオカメラ座標系及び回転軸座標系の概略図である。

以下の具体的な実施例及び図面を結合して本発明についてさらに詳しく説明する。簡潔のために、本発明の実施例の各プロセス、条件、実験方法などを説明する際に、当該技術分野において周知の一部内容は省略し、本発明はこのような内容に対して特に制限しない。以下、図１～４を結合して本発明による多軸可動視覚システムのキャリブレーション方法についてさらに詳しく説明する。本発明によるキャリブレーション方法は任意の数の運動軸を有する多軸可動視覚システムに適用することができ、以下の実施例は例示的に説明するだけであって本発明を限定するものではない。

本発明の実施例１は３軸可動視覚システムを例に挙げて本発明について詳しく説明する。

図１に示すように、本発明による多軸可動視覚システムは、撮像部材、計算部材、及び制御部材を含む。前記計算部材と撮像部材は信号接続され、撮像部材が各種ポーズで取得した画像及び対応するポーズ情報によって各軸の運動が撮像部材に対する影響をキャリブレーションすることができる。前記制御部材と前記撮像部材及び計算部材は信号接続されて撮像部材が各種ポーズで画像を取得するように制御し、また前記計算部材がキャリブレーション演算をするように制御する。

本発明による多軸可動視覚システムのキャリブレーション方法は、図２Ａに示すように、そのキャリブレーションステップは、主に、
Ｓ１１、初期位置での各回転軸の位置情報を記録して基準位置を決めるステップ；
Ｓ１２、各軸を順次駆動し、撮像部材を使用してそれぞれ画像を収集し、画像を収集する時に対応する各回転軸の位置情報を記録するステップ；
Ｓ１３、計算部材を使用して、キャリブレーション結果を計算するステップ；を含む。

キャリブレーションが完了されると、キャリブレーション結果及び各回転軸の位置情報によって初期位置に対する撮像部材のポーズを正確に計算することができる。図２Ｂに示すように、前記計算ステップの実際の応用は、主に：
Ｓ２１、多軸可動視覚システムのキャリブレーション結果を取得するステップ；
Ｓ２２、各回転軸の現在位置情報を取得するステップ；
Ｓ２３、ステップＳ２１及びＳ２２で得られた情報を多軸可動視覚システムの外部パラメータ求解モデルに代入して記録基準位置に対する現在の撮像部材の回転平行移動情報を計算するステップ；を含む。

３軸の可動視覚システムを例に挙げて説明すると、前記システムは３つの回転軸を有し、順次、ピッチ、ヨー、ロール回転軸と定義され、空間直交座標系に対応する。ピッチはＸ軸を中心として回転し、ヨーはＹ軸を中心として回転し、ロールはＺ軸を中心として回転する。本実施例において、前記３つの軸は３つの単軸運動素子によって提供され、他の実施例において、一つの単軸に２軸運動素子を追加して提供することもでき、一つの３軸運動素子によっても提供することができる。好ましくは、一つの軸の運動が他の軸の運動に影響しないように３つの前記運動素子の間は堅固に連結される。好ましくは、ピッチ軸を提供する運動素子を堅固な連結方式でベースに固定することができ、ロール軸を提供する運動素子上に一つまたは複数の連続撮影が可能なビデオカメラを連結することができる。前記３つの軸の運動はそれぞれ一つのモーターを通じて駆動され、各前記モーターには何れもモーターのリアルタイム出力位置情報を取得するように位置記録装置が備えられている。本実施例では、角度値で各モーターの出力位置情報を表し、具体的には、ロール軸（以下、第一軸とも称する）運動を駆動するためのモーターの出力位置情報はθ1で表し、これは、Ｚ軸に対するビデオカメラのスピンドルの回転角を表す。ヨー軸（以下、第二軸とも称する）運動を駆動するためのモーターの出力位置情報はθ２で表し、これは、Ｙ軸に対するビデオカメラのスピンドルの回転角を表す。ピッチ軸（以下、第三軸とも称する）運動を駆動するためのモーターの出力位置情報はθ３で表し、これは、Ｘ軸に対するビデオカメラのスピンドルの回転角を表す。

キャリブレーション方法は以下のステップを含む；
１）基準位置情報の取得
可動視覚システムのビデオカメラの前方にキャリブレーションテンプレートを保持してビデオカメラが完全なキャリブレーションテンプレートを撮影するように保障し、この時に３つのモーターの初期位置情報（θ_Ｉ１，θ_Ｉ２，θ_Ｉ３）を記録して基準位置情報とする。

２）回転軸のキャリブレーション
キャリブレーションテンプレートの位置が変わらないように保持して、各回転軸を順次駆動する。つまり、１つの軸に変化が発生した場合、他の２つの軸は変わらない。まず、第一回転軸ロールを例に挙げると、回転軸を回転させるたびに（ｉ番目の位置に対応）、ビデオカメラを使用して対応する位置でＱ１個の有効画像Ｍ_１ｉｊ、ｊ＝１，２，・・・，Ｑ１を撮影し、同時にこの回転軸の位置情報を記録して｛Ｍ_１ｉｊ，θ_１１ｉ，θ_１２ｉ，θ_１３ｉ｝，ｉ＝１，２，・・・，Ｐ１を取得する。ここで、Ｐ１はキャリブレーション過程における第一回転軸の回転数である。各回転位置で取得した一組の画像を使用し、また図３に示す平面碁盤キャリブレーションテンプレートに対応するキャリブレーションアルゴリズム（例えば張正友のキャリブレーションアルゴリズム）を使用して計算して、各回動位置で撮影した画像がキャリブレーションテンプレートに対する回転及び平行移動結果｛Ｒ_１Ｃｉ，Ｔ_１Ｃｉ｝を取得し、この画像を撮影する時に記録した回転軸の位置情報を結合して第一回転軸キャリブレーション中間結果｛Ｒ_１Ｃｉ，Ｔ_１Ｃｉ，θ_１１ｉ，θ_１２ｉ，θ_１３ｉ｝，ｉ＝１・・・Ｐ_１を取得する。上記過程を繰り返してそれぞれ第二回転軸ヨー、第三回転軸ピッチの関連キャリブレーション中間結果を取得し、｛Ｒ_ａＣｉ，Ｔ_ａＣｉ，θ_ａ１ｉ，θ_ａ２ｉ，θ_ａ３ｉ｝，ｉ＝１・・・Ｐ_ａ，ａ＝１，２，３にまとめる。

３軸可動視覚システムは機械加工過程で光学中心が回転軸上にあることを保証することができず、各回転軸とビデオカメラ座標系の対応する座標軸が平行することも保証することができないため、回転軸エンコーダの出力値によってビデオカメラ座標系のポーズ変換を計算する必要がある。また、一つの剛体に対して、ビデオカメラスピンドルと各回転軸との間の相対位置関係は変わらないように保持する。各回転軸とビデオカメラ座標系との間の位置関係を求めるために、図４に示すように、数理モデルを構築する。Ｃ｛Ｏ_ｃ－ｘ_ｃｙ_ｃｚ_ｃ｝はビデオカメラ座標系（以下、Ｃ系と称する）であり、ビデオカメラ座標系の光学中心Ｏ_ｃを開始点とし、垂直線とロール回転軸ｌとの交差点をＯ_ｂとし、垂直線を延長して放射線Ｏ_ｂｘ_ｂとする。Ｏ_ｂを原点とし、Ｏ_ｂｘ_ｂはｘ軸であり、回転軸はｙ軸であり、右手の法則でｚ軸を決めて回転軸座標系Ｂ｛Ｏ_ｂ－ｘ_ｂｙ_ｂｚ_ｂ｝（以下、Ｂ系と称する）を構築する。

Ｏ_ｃＯ_ｂ＝ｄとすると（ｄは機械加工工程によって決められ、ｄは固定値である）、Ｂ系におけるＯ_ｃの座標はｔ＝（－ｄ，０，０）^Ｔである。回転軸座標系Ｂに対するビデオカメラ座標系Ｃの回転行列をＲ_ＢＣとすると、空間内の任意の点Ｐに対して、Ｃ系における座標ＰＣとＢ系における座標ＰＢは変換関係Ｐ_Ｂ＝Ｒ_ＢＣＰ_Ｃ＋ｔを充足し、同次座標において以下のように表示される：

はつまりキャリブレーションして得られる結果であり、これは空間内の任意の点ＰがＢ系からＣ系に変換される変換行列を表す。

回転軸を中心としてθ角度を回転させた後、回転軸座標系Ｂとビデオカメラ座標系Ｃは新しい座標系Ｂ’及びＣ’になる。回転軸を中心として回転する時に、Ｂ系はｚ_ｂ軸を中心としてθ角からＢ’角に回動したことに対応し、同一点Ｐに対してＢ系における座標Ｐ_ＢとＢ’系における座標Ｐ_Ｂ’は以下を充足する。

ここで、

（回転角によってこの値を調整する）

同様に、ビデオカメラ座標系に対して、θ角度を回動した後新しいビデオカメラ座標系Ｃ’が得られる。キャリブレーション過程で、固定された碁盤を通じてビデオカメラ座標系の変換を計算することができる。空間点Ｐが碁盤の世界座標系における座標をｘ_ｗとすると、Ｃ系及びＣ’系で計算した碁盤の外部パラメータはそれぞれＴ_ＣＷ及びＴ_Ｃ’Ｗであり、Ｐ_Ｃ＝Ｔ_ＣＷｘ_ｗ、Ｐ_Ｃ’＝Ｔ_Ｃ’Ｗｘ_ｗの場合

剛体の性質に基づいて、Ｂ系とＣ系は回動過程で相対位置関係Ｔ_ＢＣが変わらないように保持する。同じ空間における点は回動後の座標系Ｂ’とＣ’で依然として式（１）を充足する。

式（２）、（３）、（４）により、以下が得られる。

前記式において、

は回転軸のキャリブレーション過程で求める量である。

は毎回の回動で位置センサーによって出力された行列であり、

は毎回の回動過程でカメラが計算した行列Ｔ_Ｃ’Ｃであり、毎回の回動でＴ_ＢＣを計算することにより、回転軸とビデオカメラ座標系の関係をキャリブレーションする。

本発明では各軸に対して独立的にキャリブレーションする必要があり、一組のデータ｛Ｒ_ａＣｉ，Ｔ_ａＣｉ，θ_ａ１ｉ，θ_ａ２ｉ，θ_ａ３ｉ｝，ｉ＝１・・・Ｐ_ａ，ａ＝１・・・３を取ってこの組のデータが基準位置モーターに対する回動角を計算すれば、｛θ_ａ１ｉ－θ_Ｉ１，θ_ａ２ｉ－θ_Ｉ２，θ_ａ３ｉ－θ_Ｉ３｝，ｉ＝１・・・Ｐ_ａ，ａ＝１・・・３であり、その回転行列を計算して以下の式

が得られる。
これを式（５）に代入すれば、一組の方程式を得ることができる：

全てのデータを式（７）に代入すればＰ組の方程式を得ることができ、この方程式を求めて最適解｛Ｒ_ＢＣａ，Ｔ_ＢＣａ｝，ａ＝１・・・３を得ることができる。

３）リアルタイムキャリブレーション結果計算：
キャリブレーション結果は、全体的に基準位置情報（θ_Ｉ１，θ_Ｉ２，θ_Ｉ３）、及び回転軸キャリブレーション結果｛Ｒ_ＢＣａ，Ｔ_ＢＣａ｝，ａ＝１・・・３を有する。可動視覚システムにおいて各撮像部材に運動が発生した後、３つの回転軸で位置情報（θ_ｐ１，θ_ｐ２，θ_ｐ３）が得られる場合、３つの回転軸の回転角はそれぞれ（θ_ｐ１－θ_Ｉ１，θ_ｐ２－θ_Ｉ２，θ_ｐ３－θ_Ｉ３）であり、回転行列（Ｒ_ｐ１，Ｒ_ｐ２，Ｒ_ｐ３）に変換して、モデルに代入して３軸可動視覚システムが運動した後基準カメラ位置に対する外部パラメータ結果を得る。

前記Ｒ’及びＴ’はそれぞれ前記可動３軸視覚システムで運動が発生した後のビデオカメラが基準位置に対する時の回転行列及び平行移動行列結果である。

本発明による可動視覚システムキャリブレーション方法は上記説明された実施例に限定されず、本発明の原理を逸脱しない範囲内で多様な変形及び改善を施すことができる。本発明の保護内容は以上の実施例に限定されない。本発明の精神及び範囲を逸脱することなく、当業者によって想到される変化及び利点は全部本発明に含まれ、また添付される特許請求範囲を保護範囲とする。

Claims

多軸可動視覚システムのキャリブレーション方法において、
前記多軸可動視覚システムは、
連続画像を取得可能な少なくとも一つの撮像素子を含む撮像部材であって、少なくとも一つの回転軸を有し、且つベースに取り付けられる撮像部材であって、各前記回転軸には回動または平行移動情報を取得可能な位置取得装置が取り付けられている撮像部材と、
画像情報及び各回転軸の運動情報を計算して処理することができる計算部材と、
各回転軸の運動を制御することができる制御部材と含み、
前記キャリブレーション方法は、前記撮像素子の前方にキャリブレーションテンプレートを配置し、撮像素子が各回転軸で回動するように駆動し、撮像素子を利用してキャリブレーションテンプレート特徴を含む若干の画像を記録し、同時に、対応する画像を取得する時の各回転軸の位置情報を記録し、前記計算部材を用いて撮像素子と各回転軸のキャリブレーション結果を計算することを含むことを特徴とする多軸可動視覚システムのキャリブレーション方法であって、
キャリブレーション方法は、
（１）基準位置での各回転軸の位置情報を記録するステップと、
（２）撮像部材の前にキャリブレーションテンプレートを配置し、ａ番目の回転軸を数回回動させ、回動するたびに当該回転軸が連結された撮像部材にて画像を取得させ、同時に、この時の当該回転軸の位置情報を記録するステップであって、ａは１・・・Ｎであって、ａは回転軸の番号であって、Ｎは回転軸の数であるステップと、
（３）上述した複数回の回動による画像の一連番号を利用し、また、キャリブレーションアルゴリズムを利用して、撮像部材の基準位置に対する、各画像を撮像した際の撮像部材の回転行列及び平行移動行列を得るステップと、
（４）前記回転軸の基準位置に対する回転角度の変化を回転行列とし、回転軸座標系と撮像素子座標系の関係モデルに代入してキャリブレーション結果を取得するステップと、
を含み、
前記キャリブレーション結果は、各回転軸の撮像素子座標系の回転行列と平行移動行列を含む、
多軸可動視覚システムのキャリブレーション方法。
前記キャリブレーションテンプレートは自然静的シーン及び人工標準ターゲットの中の一つを含み、且つ前記自然静的シーンはキャリブレーションテンプレートとして固定された画像特徴と既知の画像特徴との間の位置情報を提供することができなければならなく、前記人工標準ターゲットは２Ｄ平面ターゲット、３Ｄ立体ターゲットの中の少なくとも１つを含むことを特徴とする請求項１に記載の多軸可動視覚システムのキャリブレーション方法。
前記キャリブレーション結果と各回転軸の現在位置情報によって構築した各回転軸の回転軸座標系と撮像素子座標系との間の関係モデルを結合して撮像素子の現在位置と基準位置との間の相対位置関係を計算することができ、前記相対位置関係は回転行列及び平行移動行列によって表示されることを特徴とする請求項１または２に記載の多軸可動視覚システムのキャリブレーション方法。
前記関係モデルは以下の通りであることを特徴とする請求項３に記載の多軸可動視覚システムのキャリブレーション方法：

；
Ｒ’及びＴ’はそれぞれ基準位置に対する撮像素子の現在位置の回転行列及び平行移動行列であり、Ｒ_ＢＣａ，Ｔ_ＢＣａはそれぞれは撮像素子座標系に対するａ番目の回転軸の回転行列及び平行移動行列であり、Ｎは前記可動視覚システムの回転軸の数であり、Ｒ_ｐａは基準位置に対するａ番目の回転軸の回転角度変換の回転行列である。