JP6921036B2 - レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置 - Google Patents

Description

この発明は、レーザ計測装置とカメラの位置関係を算出するレーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置に関する。

レーザ計測装置とカメラの位置情報を算出する方法として、特許文献１に、キャリブレーションターゲットを用い、レーザ計測装置からキャリブレーションターゲットに対してレーザースキャンを実行してキャリブレーションターゲットの平面を算出し、カメラによりキャリブレーションターゲットを撮像してキャリブレーションターゲットの平面を算出し、それぞれの算出結果と測地座標におけるキャリブレーションターゲットの既知情報と照合し、レーザ計測装置とカメラの取付け位置及び取付け角度を算出する方法が示されている。

また、レーザ計測装置とカメラの位置関係を求めるために、レーザ計測装置の位置や方向を求める方法として、非特許文献１に、平らな地面に置いたターゲットを用い、レーザ計測装置がターゲットを２次元レーザスキャナで計測し、取得された点群データからターゲットの平面座標値を得、平面座標値を計測原点から平行移動及び回転させて平行移動量及び回転量を決定し、レーザ計測装置の位置や方向を算出する方法が示されている。

さらに、レーザ計測装置とカメラとの較正誤差を検出する方法として、特許文献２に、レーザ計測装置から較正誤差検証用パターンと同様なパターンである較正用パターンを物体の表面に形成し、物体の表面に形成された較正用パターンを不可視光透過フィルタが装着されたカメラにて撮像し、レーザ計測装置に対するカメラの相対位置及び相対姿勢を表す値を較正用パラメータとして算出する方法が示されている。

特開２０１７−２６５５１号公報 特開２００７−６４７２３号公報

平岡透"ターゲット計測によるレーザスキャナのキャリブレーション" 写真測量とリモートセンシング ４７．４ （２００８）： Ｐ．Ｐ．５３−５８

特許文献１及び非特許文献１に示されたものは、キャリブレーションターゲットを使用する必要がある。
また、特許文献２に示されたものは、不可視光を撮影するためのフィルタを用意する必要がある。

この発明は、上記した点に鑑みてなされたものであり、レーザ計測装置のレーザ光の照射位置の新しい算出方法により、レーザ計測装置とカメラの位置関係を算出することできるレーザ較正装置を得ることを目的とする。

この発明に係るレーザ較正装置は、レーザ光を出射し対象物からの反射光によって対象物の位置を計測するレーザ計測装置から出射されるレーザ光のレーザ照射位置を含む表示領域に、レーザ照射位置特定用パターンを表示するためのレーザ照射位置特定用パターン情報を出力するレーザ較正パターン表示用手段と、レーザ計測装置から出射され、表示領域に表示されたレーザ照射位置特定用パターンから反射されたレーザ光を受けたレーザ計測装置から出力される、レーザ光の反射強度値を含む反射強度値情報を受け、反射強度値情報における反射強度値に基づき、表示領域におけるレーザ照射位置を求めるレーザ照射位置特定手段と、表示領域にカメラ較正パターンを表示するためのカメラ較正パターン情報を出力するカメラ較正パターン表示用手段と、レーザ照射位置特定手段によって求められたレーザ照射位置を示すレーザ照射位置情報に基づき、カメラによって表示領域に表示されたカメラ較正パターンを撮影された撮影カメラ較正パターン情報を用いて、レーザ計測装置と前記カメラの位置関係を演算し、カメラに対するレーザ計測装置の位置関係情報を出力する位置関係演算手段と、を備える。

この発明によれば、例えば、キャリブレーションターゲット及び不可視光を撮影するためのフィルタを用いずに、レーザ計測装置とカメラの位置関係を算出でき、レーザ較正を自動的に行うことができるという効果がある。

この発明の実施の形態１に係るレーザ較正装置１００を含む計算機３を備えた画像入力装置の構成例を示すブロック図である。 図１に示した画像入力装置の配置例を示す構成図である。 この発明の実施の形態１に係るレーザ較正装置１００の構成要件を示す機能的に示したブロック図である。 この発明の実施の形態１に係るレーザ較正装置１００の動作例を示すフローチャートである。 ディスプレイ４の表示画面４１にカメラ較正パターン１０が表示された状態を示す図である。 時刻ｔ１０において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ１１において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ１２において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ１３において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ２０において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ２１において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ２２において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 時刻ｔ２３において、ディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を示す図である。 レーザ計測装置１からのレーザ光の反射強度値と、柱状図系の表示位置との関係を示す図である。

実施の形態１．
この発明の実施の形態１に係るレーザ較正装置及びレーザ較正装置を含む画像入力装置を図に基づいて説明する。

まず、図１及び図２を用いて画像入力装置を説明する。画像入力装置は主として較正対象のレーザ計測装置１と、較正対象のディジタルカメラ２と、レーザ計測装置１とカメラ２の位置関係を算出することができるレーザ較正装置１００を含み、位置関係を算出するプログラムを実行する計算機３と、計算機３のプログラムによって描画される較正パターンを表示画面に表示するディスプレイ４とを備えている。
レーザ計測装置１とカメラ２は固定器具５によって互いに固定される。固定器具５が三脚６に取り付けられ、保持される。

レーザ計測装置１はレーザ光を出射し、対象物から反射された反射光を受けて対象物の位置を計測する。レーザ計測装置１がレーザ光を出射する際、時刻データ及び照射角などを含む出力値を同時に計算機３に出力する。
カメラ２は対象物を撮像する。カメラ２の焦点距離、主点位置、歪み係数は、通常知られている算出方法によって事前に、つまり、レーザ計測装置１とカメラ２の位置関係を算出する前に算出される。
ディスプレイ４はカメラ２からの画像情報、レーザ計測装置１からの対象物の情報などを表示画面４１に表示する。この実施の形態１ではディスプレイ４として液晶型ディスプレイを用いるが、原理的には映し出される色に応じてレーザ光の反射率を変えるディスプレイであれば液晶型ディスプレイでなくても良い。

計算機３は、１）レーザ計測装置１の出力値に含まれる時刻データに同期したレーザ照射位置特定用パターン２０をディスプレイ４の表示画面４１に表示するためのレーザ照射位置特定用パターン情報をディスプレイ４に出力し、２）レーザ計測装置１からディスプレイ４の表示画面４１に出射され、ディスプレイ４の表示画面４１に表示されたレーザ照射位置特定用パターン２０（図６から図１３参照）から反射されたレーザ光を受けたレーザ計測装置１から出力される、レーザ光の反射強度値を含む反射強度値情報を受け、３）反射強度値情報における反射強度値に基づきディスプレイ４の表示画面４１におけるレーザ照射位置を求め、４）ディスプレイ４の表示画面４１にカメラ較正パターン１０を表示するためのカメラ較正パターン情報を出力し、５）ディスプレイ４の表示画面４１に表示されたカメラ較正パターンをカメラ２によって撮影された撮影カメラ較正パターン情報２ｉを用い、レーザ照射位置に基づき、レーザ計測装置１とカメラ２の位置関係を演算し、カメラ２に対するレーザ計測装置１の位置関係情報を出力する。

この実施の形態１ではレーザ位置特定用パターン２０をレーザ計測装置１の出力値に含まれる時刻データに同期して表示させるとしているが、レーザ計測装置１の出力値とレーザ位置特定用パターン２０の表示内容を対応づけることができれば、レーザ位置特定用パターン２０はレーザ計測装置１の出力値に含まれる時刻データに同期していなくても良い。

具体的には、計算機３は、演算及び制御を司る中央処理装置（ＣＰＵ）３１とＲＯＭ及びＲＡＭなどのメモリからなる記憶手段３２と、入力用及び出力用のインターフェース（図示せず）を備えている。
記憶手段３２は、図１に示すように、レーザ較正用プログラムＰ０、カメラ較正パターン表示プログラムＰ１、レーザ照射位置特定用パターン表示プログラムＰ２、レーザ照射位置特定プログラムＰ３、及びレーザ相対位置及び姿勢推定プログラムＰ４を記憶している。ＣＰＵ３１は、記憶手段３２によって記憶されたレーザ較正用プログラムＰ０を読み出し、レーザ較正用プログラムＰ０に基づいてプログラムＰ１からＰ４を読み出し、プログラムＰ１からＰ４に従って、演算、制御する。

カメラ較正パターン表示プログラムＰ１は、ディスプレイ４の表示画面４１に任意の大きさのカメラ較正パターン１０を表示するためのプログラムである。
カメラ較正パターン表示プログラムＰ１によってディスプレイ４の表示画面４１にカメラ較正パターン１０が表示された状態を図５に示す。カメラ較正パターン１０はチェッカーパターンであり、格子状に縦横交互に白黒が配置された格子状パターンである。チェッカーパターンのマス目の大きさはカメラ較正パターン表示プログラムＰ１の実行時に指定される。このチェッカーパターンからなるカメラ較正パターン１０はカメラ２の位置及び姿勢を演算するために用いられるパターンである。

レーザ照射位置特定用パターン表示プログラムＰ２は、レーザ計測装置１の出力値に含まれる時刻データに同期して画面上を移動する白色の柱状図形２１、２２を有するレーザ照射位置特定用パターン２０を、ディスプレイ４の表示画面４１に表示するためのプログラムである。
レーザ照射位置特定用パターン表示プログラムＰ２によってディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０が表示された状態を図６から図９及び図１０から図１３に示す。レーザ照射位置特定用パターン２０は背景が黒色であり、黒色の背景上に白色の柱状図形２１、２２が移動して表示される。図６から図９はレーザ計測装置１の出力値に含まれる時刻データを用いて算出された時刻ｔ１０からｔ１３における、画面左端から画面右端に移動する白色の柱状図形２１ａから２１ｄを示している。時刻ｔ１０からｔ１３に表示される柱状図形２１ａから２１ｄの表示が一定周期で繰り返される。図１０から図１３はレーザ計測装置１の出力値に含まれる時刻データを用いて算出された時刻ｔ２０からｔ２３における、画面上端から画面下端に移動する白色の柱状図形２２ａから２２ｄを示している。時刻ｔ２０からｔ２３に表示される柱状図形２２ａから２２ｄの表示が一定周期で繰り返される。

なお、時刻ｔ１０は画面左端から画面右端に移動する白色の柱状図形２１ａの開始時刻であり、時刻ｔ１１及び時刻ｔ１２は順次時刻ｔ１０後の柱状図形２１ｂ、２１ｃが表示された時刻であり、時刻ｔ１３は柱状図形２１ｄの終了時刻である。また、説明の都合上、時刻ｔ１０と時刻ｔ１３の間の時刻を２点示しているが、柱状図形は画面左端から画面右端に連続的に移動し、一定周期で繰り返される。画面左端から画面右端に連続的に移動する柱状図形を柱状図形２１として説明する。
同様に、時刻ｔ２０は画面上端から画面下端に移動する白色の柱状図形２２ａの開始時刻であり、時刻ｔ２１及び時刻ｔ２２は順次一定周期後の柱状図形２２ｂ及び柱状図形２２ｃが表示された時刻であり、時刻ｔ２３は柱状図形２１ｄの終了時刻である。また、説明の都合上、時刻ｔ２０と時刻ｔ２３の間の時刻を２点示しているが、柱状図形は画面上端から画面下端に連続的に移動し、一定周期で繰り返される。画面上端から画面下端に連続的に移動する柱状図形を柱状図形２２として説明する。

レーザ照射位置特定プログラムＰ３は、レーザ計測装置１の出力値を用いて、レーザ計測装置１が出射したレーザ光の照射位置を特定するためのプログラムである。
レーザ照射位置特定用パターン表示プログラムＰ２によって、柱状図形２１が画面左端から画面右端に、又は柱状図形２２が画面上端から画面下端に周期的に変化するレーザ照射位置特定用パターン２０が表示されているディスプレイ４の表示画面４１にレーザ計測装置１がレーザ光を出射し、レーザ計測装置１にて得られた、表示画面４１から反射されたレーザ光の反射強度値の系列を足し合わせ、系列のピーク時刻を算出することで、レーザ照射位置を特定する。

すなわち、レーザ計測装置１からのレーザ光がディスプレイ４の表示画面４１に表示される白色の柱状図形２１又は柱状図形２２に照射されて反射されたレーザ光を受けたレーザ計測装置１は、反射レーザ光の反射強度値を、背景である黒色の画面に照射されたレーザ光の反射強度値とは異なる値として出力する。本実施形態では、白色表示時の反射強度が黒色表示時の反射強度より大きいものとして記述を行うが、この特性が逆になるディスプレイも存在する。レーザ光の反射強度の値を見ることにより、レーザ光が照射されたディスプレイ４の表示画面４１における柱状図形２１又は柱状図形２２の位置を知ることができ、その結果、レーザ計測装置１からのレーザ光のディスプレイ４の表示画面４１における照射位置が特定できる。ただし、ディスプレイ上における反射強度値の変化は微弱であり、雑音の影響を受けやすいため、本実施形態では、ディスプレイの表示を周期的に変化させ、繰り返し周期ごとに反射強度の系列を足し合わせることで、レーザ照射位置の特定を行う。

具体的には、レーザ照射位置特定プログラムＰ３によって次のように行なわれる。
すなわち、レーザ計測装置１の出力値の中で、同一の照射角を持つ出力値をまとめ、反射強度値の系列を作成する。出力値が同一の照射角を持つ場合、それらは同一位置に照射されたレーザ光についての計測値である。
反射強度値の系列はレーザ照射位置特定用パターン表示プログラムＰ２によってディスプレイ４の表示画面４１に表示される、周期的に変化し、繰り返されるレーザ照射位置特定用パターン２０における柱状図形２１及び柱状図形２２の表示開始時刻を基準として、繰返し周期毎の反射強度系列を足し合わせる。

以下、反射強度系列の足し合わせについて詳しく述べる。柱状図形２１の表示開始時刻は、画面左端から画面右端に移動する場合、図６に示した柱状図形２１ａが現れる時刻ｔ１０である。また、柱状図形２２が画面上端から画面下端に移動する場合、柱状図形２２の表示開始時刻は図１０に示した柱状図形２２ａが現れる時刻ｔ２０である。柱状図形２１の表示周期は、図９に示した柱状図形２１ｄの表示終了時刻ｔ１３からｔ１０を減じたものである。同様に、柱状図形２２の表示周期は、図１３に示した柱状図形２２ｄの表示終了時刻ｔ２３からｔ２０を減じたものである。

以下、柱状図形２１の表示周期をＴ２１、柱状図形２２の表示周期をＴ２２とする。柱状図形は周期的に表示されるため、ｎを自然数とするとき、時刻ｔ１１＋Ｔ２１×ｎにおける柱状図形２１の表示位置は、時刻ｔ１１における柱状図形２１の表示位置と同一である。これはｔ１０≦ｔ１Ｐ≦ｔ１３における任意の時刻ｔ１Ｐについて成立する。また、柱状図形２２についても同様に、ｔ２０≦ｔ２Ｑ≦ｔ２３における任意の時刻ｔ２Ｑについて成立する。

そのため、照射角θ１で照射されたレーザ光が柱状図形２１ｂの表示位置に照射される場合、照射角θ１及び時刻ｔ１１に対応する反射強度値に、照射角θ１及び時刻ｔ１１＋Ｔ２１×ｎに対応する反射強度値を足し合わせた値をＡとし、ｔ２Ｐ≠ｔ１１かつｔ１０≦ｔ２Ｐ≦ｔ１３である時刻ｔ２Ｐについて、照射角θ１及び時刻ｔ２Ｐに対応する反射強度値に、照射角θ１及び時刻ｔ２Ｐ＋Ｔ２１×ｎに対応する反射強度値を足し合わせた値をＢとしたとき、足し合わせの回数が十分に大きい場合、ＡはＢよりも大きな値となる。これは任意の照射角について成立する。したがって、出力値の照射角それぞれについて反射強度系列の足し合わせを行い、反射強度値の和が最大となる時刻を調べることで、照射角と柱状図形の表示位置の対応を得ることができる。

柱状図形２２が画面上端から画面下端に移動する場合、上記した柱状図形２１が画面左端から画面右端に移動する場合と同様に、出力値の照射角それぞれについて反射強度系列の足し合わせを行い、反射強度値の和が最大となる時刻を調べることで、照射角と柱状図形の表示位置の対応を得ることができる。

このようにして得られた反射強度系列の一例を図１４に示す。図１４は、レーザ計測装置１の出力値の中で、照射角θを持つ出力値をまとめて作成した反射強度系列である。ここで、照射角θは、レーザ計測装置１が照射角θでレーザ光を照射した場合、柱状図形２１ｃの表示位置にレーザ光が照射されるような値であるとする。また、ディスプレイの解像度は１９２０×１０８０であるとし、柱状図形２１ａ、２１ｂ、２１ｃ、２１ｄの中心位置のｘ座標はそれぞれ０、６４０、１２８０、１９２０であるとする。

図１４は横軸に柱状図形の表示位置を、縦軸にレーザ計測装置１からの出力値であるレーザ光の反射強度値を示し、○印が柱状図形の表示位置に対応して演算にて求められた反射強度値の和を示す。
なお、図１４はレーザ照射位置特定用パターン表示プログラムＰ２によって、ディスプレイ４の表示画面４１を柱状図形２１が画面左端から画面右端に周期的に移動している場合の反射強度系列の一例を示している。
同様に、レーザ照射位置特定用パターン表示プログラムＰ２によって、ディスプレイ４の表示画面４１を柱状図形２２が画面上端から画面下端に周期的に移動する場合の反射強度系列を得る。

以上のことから理解されるように、レーザ照射位置特定プログラムＰ３は、反射強度系列の足し合わせを行い、レーザ光が照射された位置に表示されている、柱状図形２１及び２２の表示位置を算出することにより、レーザ計測装置１が出射したレーザ光の照射位置を特定するためのプログラムである。
要するに、ディスプレイ４の表示画面４１を画面左端から画面右端に移動する柱状図形２１と、画面上端から画面下端に移動する柱状図形２２の表示位置をそれぞれ算出し、レーザ計測装置１から出射されたレーザ光のディスプレイ４の表示画面４１におけるレーザ照射位置の座標を特定する。
レーザ照射位置の座標を表現する座標系は、プログラムが表示位置を指定するための座標系とする。レーザ照射位置の座標と、レーザ計測装置１の出力値を対応付ける。レーザ照射位置の座標に対して、反射強度系列の作成に使用したレーザ計測装置１の出力値は複数存在するため、レーザ計測装置１の出力値のうち１つを選んでレーザ照射位置の座標と対応付ける。また、レーザ計測装置１の出力値のうち１つを選ぶ代わりに、レーザ計測装置１の出力値の平均値を算出するなどして、レーザ照射位置の座標との対応付けを行っても良い。

レーザ相対位置及び姿勢推定プログラムＰ４は、カメラ較正パターン表示プログラムＰ１によりディスプレイ４の表示画面に表示されたカメラ較正パターン１０をカメラ２により撮影された画像データと、レーザ計測装置１の出力値と、レーザ照射位置特定プログラムＰ３で特定したレーザ照射位置を用いて、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢を算出するためのプログラムである。

具体的には、レーザ相対位置及び姿勢推定プログラムＰ４によって次のように行なわれる。
まず、カメラ較正パターン表示プログラムＰ１によってディスプレイ４の表示画面４１に表示されたカメラ較正パターン１０をカメラ２で撮影し、撮影されたカメラ較正パターン１０の画像情報２ｉが計算機３に取り込まれる。
同時に、表示画面４１に表示されたカメラ較正パターン１０であるチェッカーパターンのマス目の大きさを実寸寸法として計算機３に入力する。

取り込まれた画像情報２ｉから、通常行なわれている方法により、チェッカーパターンの交点座標を抽出する。
抽出されたチェッカーパターンの交点座標を、ディスプレイ４の表示画面４１を基準として定義された世界座標系におけるチェッカーパターンの交点座標として算出する。
算出された世界座標系におけるチェッカーパターンの交点座標により、通常知られている方法により、既知点を用いて世界座標系におけるカメラ２の位置と姿勢を算出する。

一方、レーザ照射位置特定プログラムＰ３によって算出されたレーザ照射位置の座標を、世界座標系におけるレーザ照射位置の座標として算出し、世界座標系におけるレーザ照射位置の座標とレーザ計測装置１の出力値を対応付ける。

次に、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢を算出する。このとき、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢は、カメラ２を基準としたカメラ２の座標系における、レーザ計測装置１の位置および姿勢とする。
具体的には、世界座標系において、レーザ計測装置１からのレーザ光のディスプレイ４の表示画面４１におけるレーザ照射位置についての観測方程式を立式し、通常知られている非線形最適化の手法を用いて数値計算を行ない、解を求めることにより、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢を算出する。

以下に、観測方程式の立式について述べる。
レーザ計測装置１を基準としたレーザ座標系において、レーザ照射位置Ｌｌは式（１）で求められる。

この時、レーザ計測装置１の出力値について、水平方向の照射角をθ_A、垂直方向の照射角をθ_V、反射物体、つまり、ディスプレイ４の表示画面４１までの距離をｄとする。

カメラ座標系におけるレーザ照射位置Ｌ_Ｃは式（２）により求められる。

この時、カメラ座標系におけるレーザ計測装置１の座標を［Ｘ_ｃｌ、Ｙ_ｃｌ、Ｚ_ｃｌ］^Ｔとし、カメラ座標系におけるレーザ計測装置１の姿勢を表す回転行列をＲ_ｃｌとする。

世界座標系におけるレーザの照射位置Ｌ_Ｗは式（３）により求められる。

このとき、世界座標系におけるカメラ２の座標を［Ｘ_ｗｃ、Ｙ_ｗｃ、Ｚ_ｗｃ］^Ｔとし、世界座標系におけるカメラ２の姿勢を表す回転行列をＲ_ｗｃとする。

レーザの照射位置Ｌ_Ｗは、式（３）に式（２）を代入し、さらに、式（１）を代入することにより、式（４）により求められる。

式（４）は式（５）に変形でき、式（５）により、レーザ計測装置１の位置と姿勢を求めることができる。この求めた解により、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢が求められる。

記憶手段３２によって記憶されたプログラムＰ１からＰ４を中心に説明したが、以下に、レーザ較正装置１００の構成要素について説明する。
レーザ較正装置１００は、ＣＰＵ３１と記憶手段３２によって記憶されたプログラムＰ１からＰ４によって構成され、図３に示す構成要素を含む。
すなわち、カメラ較正パターン表示用手段１０１は、ＣＰＵ３１と記憶手段３２によって記憶されたカメラ較正パターン表示プログラムＰ１によって構成される。記憶手段３２に記憶されたカメラ較正パターンを、マス目の大きさを指定してディスプレイ４にカメラ較正パターン情報１０ｉを出力する。

レーザ較正パターン表示用手段１０２は、ＣＰＵ３１と記憶手段３２によって記憶されたレーザ照射位置特定用パターン表示プログラムＰ２によって構成される。レーザ計測装置１の出力値に含まれる時刻データに同期し、レーザ計測装置１から出射されるレーザ光の照射位置であるディスプレイ４の表示画面４１にレーザ照射位置特定用パターン２０を表示するために、レーザ照射位置特定用パターン情報２０ｉをディスプレイ４に出力する。
レーザ照射位置特定用パターン２０は、黒色の背景に白色の柱状図形２１が画面左端から画面右端への移動を周期的に繰り返すパターンと、白色の柱状図形２２が画面上端から画面下端への移動を周期的に繰り返すパターンを有する。

レーザ照射位置特定手段１０３は、ＣＰＵ３１と記憶手段３２によって記憶されたレーザ照射位置特定プログラムＰ３によって構成される。レーザ計測装置１から出射されたレーザ光がレーザ光の照射位置であるディスプレイ４の表示画面４１から反射され、反射されたレーザ光をレーザ計測装置１が受け、レーザ計測装置１からの反射されたレーザ光の反射強度値を含む反射強度値情報１ｉを得る。得た反射強度値情報１ｉに基づき、ディスプレイ４の表示画面４１上におけるレーザ光の照射位置を演算し、レーザ照射位置を特定し、レーザ照射位置情報３０ｉを得る。

ディスプレイ４の表示画面４１には、レーザ較正パターン表示用手段１０２によって出力されたレーザ照射位置特定用パターン２０が表示され、レーザ照射位置特定用パターン２０は図６から図９及び図１０から図１３に示すように、レーザ計測装置１のレーザ光を出射する出力値に含まれる時刻データに同期して柱状図形２１又は柱状図形２２が移動し、周期的に繰り返される。柱状図形２１又は柱状図形２２が移動し、周期的に変化するレーザ照射位置特定用パターン２０に出射されたレーザ計測装置１のレーザ光が反射されたレーザ光をレーザ計測装置１が受けるため、白色の柱状図形２１又は柱状図形２２に照射されたレーザ光の反射されたレーザ光の反射強度値と、黒色の背景に照射されレーザ光の反射されたレーザ光の反射強度値とは異なる。
従って、レーザ照射位置特定手段１０３は、入力された反射レーザ光の反射強度値の系列を足し合わせ、系列のピーク時刻を算出することで、レーザ照射位置を特定できる。

レーザ照射位置特定手段１０３は、ディスプレイ４の表示画面４１上を左右方向に柱状図形２１が移動するレーザ照射位置特定用パターン２０にレーザ計測装置１のレーザ光を照射している場合に、左右方向のレーザ照射位置を特定し、上下方向に柱状図形２１が移動するレーザ照射位置特定用パターン２０にレーザ計測装置１のレーザ光を照射している場合に、上下方向のレーザ照射位置を特定する。その結果、ディスプレイ４の表示画面４１上のレーザ照射位置を特定している。

位置関係演算手段１０４は、ＣＰＵ３１と記憶手段３２によって記憶されたレーザ相対位置及び姿勢推定プログラムＰ４によって構成される。レーザ照射位置特定手段１０３によって特定されたレーザ照射位置情報３０ｉを用いて、レーザ計測装置１とカメラ２の位置関係を演算し、レーザ計測装置１とカメラ２の位置関係を求める。求めた位置関係をレーザ計測装置１に位置関係情報４０ｉとして出力し、レーザ計測装置１は位置及び姿勢を較正する。

具体的には、カメラ較正パターン表示用手段１０１に従い、ディスプレイ４の表示画面に表示されたカメラ較正パターン１０をカメラ２により撮影された画像情報２ｉと、レーザ計測装置１の出力値に含まれる出射するレーザ光の照射角情報１１ｉと、レーザ照射位置特定手段１０３によって求められたディスプレイ４の表示画面４１上のレーザ照射位置情報４０ｉと、レーザ計測装置１からディスプレイ４の表示画面４１までの距離ｄを用いて、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢を演算し、レーザ計測装置１とカメラ２の位置関係を求め、位置関係情報４０ｉとしてレーザ計測装置１に出力する。

次に、このように構成されたレーザ較正装置１００によるレーザ計測装置１とカメラ２の位置関係を求める動作を説明する。
まず、ＣＰＵ３１が記憶手段３２に記憶されたレーザ較正用プログラムＰ０を読み出す。レーザ較正用プログラムＰ０は図４に示すフローチャートを行なうプログラムである。
従って、図４に示すフローチャートに従って、動作を説明する。

ＣＰＵ３１は、ステップＳＴ１に従い、チェッカーパターン表示を行なう。記憶手段３２によって記憶されたカメラ較正パターン表示プログラムＰ１を読み出し実行する。つまり、記憶手段３２に記憶されたカメラ較正パターン１０をカメラ較正パターン表示用手段１０１が読み出し、ディスプレイ４にカメラ較正パターン情報１０ｉを出力する。その結果、ディスプレイ４の表示画面４１にチェッカーパターン１０が表示される。

次に、ステップＳＴ２に従い、表示されたチェッカーパターン１０をカメラ２が撮影する。カメラ２にて撮影された画像は、画像情報２ｉとして計算機３に入力される。画像情報２ｉが位置関係演算手段１０４に与えられることになる。
また、表示画面４１に表示されたカメラ較正パターン１０であるチェッカーパターンのマス目の大きさを実寸寸法として計算機３に入力される。

ＣＰＵ３１は、ステップＳＴ３に従い、レーザ照射位置特定用パターン表示を行なう。記憶手段３２によって記憶されたレーザ照射位置特定用パターン表示プログラムＰ２を読み出し実行する。つまり、計算機３がレーザ計測装置１の出力値に含まれる時刻データｔを受け、時刻データｔに同期したレーザ照射位置特定用パターン２０を表示するために、レーザ照射位置特定用パターン情報２０ｉをディスプレイ４に出力する。具体的には計算機３にて構成されるレーザ較正パターン表示用手段１０２が、まず、時刻データｔに同期して画面左側から画面右側に移動する柱状図形２１を有するレーザ照射位置特定用パターン２０を、一定周期毎に繰り返し、ディスプレイ４の表示画面４１に表示させるためのレーザ照射位置特定用パターン情報２０ｉをディスプレイ４に出力する。

ＣＰＵ３１は、ステップＳＴ４に従い、レーザ照射位置の特定を行なう。記憶手段３２によって記憶されたレーザ照射位置特定プログラムＰ３を読み出し実行する。つまり、計算機３がレーザ計測装置１の出力値に含まれる時刻データｔと、レーザ計測装置１から出射され、ディスプレイ４の表示画面４１から反射されたレーザ光を受けたレーザ計測装置１からの反射されたレーザ光の反射強度値を含む反射強度値情報１ｉを受け、反射強度値情報１ｉに基づき、ディスプレイ４の表示画面４１上における左右方向のレーザ光のレーザ照射位置を特定し、レーザ照射位置情報３０ｉを得る。具体的には計算機３にて構成されるレーザ照射位置特定手段１０３が、反射強度値情報１ｉに基づき反射強度値のピーク時刻を算出することにより、ディスプレイ４の表示画面４１上における柱状図形２１の表示位置を求めて、左右方向のレーザ照射位置を特定する。

ディスプレイ４の表示画面４１上における左右方向のレーザ光のレーザ照射位置を特定が終了すると、ステップＳＴ３に戻り、時刻データｔに同期して画面上側から画面下側に移動する柱状図形２２を有するレーザ照射位置特定用パターン２０を、一定周期毎に繰り返し、ディスプレイ４の表示画面４１に表示させるためのレーザ照射位置特定用パターン情報２０ｉをディスプレイ４に出力する。ステップＳＴ４にて左右方向と同様にして、ディスプレイ４の表示画面４１上における柱状図形２２の表示位置を求めて、上下方向のレーザ照射位置を特定する。

ディスプレイ４の表示画面４１上における柱状図形２２の表示位置を求めて、左右方向及び上下方向のレーザ照射位置の特定が終了し、レーザ照射位置の座標が得られると、ステップＳＴ５に進む。
ステップＳＴ５では、カメラ２の位置及び姿勢を算出する。ＣＰＵ３１は、ステップＳＴ５に従い、記憶手段３２によって記憶されたレーザ相対位置及び姿勢推定プログラムＰ４を読み出し実行する。つまり、計算機３がステップＳＴ２にて取得したカメラ２により撮影された画像情報２ｉと、ディスプレイ４の表示画面４１上におけるチェッカーパターンのマス目の大きさを表す寸法情報とにより、カメラ２の位置と姿勢を算出する。具体的には、位置関係演算手段１０４が画像情報２ｉと寸法情報とにより、チェッカーパターンの交点座標を算出し、交点座標の算出結果に基づいて既知点を用いてカメラ２の位置及び姿勢を算出し、カメラ２の座標系を得る。

次に、ＣＰＵ３１は、ステップＳＴ６に従い、レーザ相対位置及び姿勢算出を行なう。ステップＳＴ３及びステップＳＴ４にて得られたレーザ照射位置情報３０ｉを用いて、レーザ計測装置１とカメラ２の位置関係を演算し、レーザ計測装置１とカメラ２の位置関係を求める。求めた位置関係をレーザ計測装置１に位置関係情報４０ｉとして出力し、レーザ計測装置１は位置及び姿勢を較正する。具体的には、位置関係演算手段１０４が、まずレーザ照射位置情報３０ｉが示すレーザ照射位置の座標を、ステップＳＴ５にて得られたカメラ２の座標系に従い、カメラ２の座標系におけるレーザ照射位置の座標を求め、次に世界座標系におけるレーザ照射位置の座標を求める。この求められた座標の結果から、カメラ２に対するレーザ計測装置１の相対位置と相対姿勢が算出できる。この算出結果に基づいた位置関係情報４０ｉをレーザ計測装置１に出力する。

上記のように構成されたレーザ較正装置１００にあっては、レーザ計測装置１の出力値に含まれる時刻データに同期して移動する柱状図形２１及び柱状図形２２を有するレーザ照射位置特定用パターン２０を一定周期毎に繰り返してディスプレイ４の表示画面４１に表示させ、レーザ計測装置１のレーザ光をレーザ照射位置特定用パターン２０に照射させてその反射されたレーザ光の反射強度値によってレーザ計測装置１のレーザ光のディスプレイ４の表示画面４１上におけるレーザ照射位置を求めているので、レーザ照射位置の算出に、キャリブレーションターゲット及び不可視光を撮影するためのフィルタを用いずに、レーザ計測装置とカメラ２の位置関係に対するレーザ較正を自動的に行うことができるという効果がある。

なお、上記した実施の形態１では、レーザ照射位置特定用パターン２０をディスプレイ４の表示画面４１に表示するものとしたが、レーザ照射位置特定用パターン２０に照射させてその反射されたレーザ光の反射強度値に基づき、レーザ照射位置を求めているものであり、ディスプレイ４に表示するものでなくとも良い。

なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

本発明は、カメラに対するレーザ計測装置の相対位置と相対姿勢を自動的に算出できるレーザ較正装置であるので、レーザ計測装置１とカメラ２と本発明のレーザ較正装置を備える画像入力装置として種々利用可能である。

１ レーザ計測装置、２ カメラ、３ 計算機、３１ ＣＰＵ、３２ 記憶手段、４ ディスプレイ、４１ 表示画面、１０ カメラ較正パターン、２０ レーザ照射位置特定用パターン、１００ レーザ較正装置、１０１ カメラ較正パターン表示用手段、１０２ レーザ較正パターン表示用手段、１０３ レーザ照射位置特定手段、１０４ 位置関係演算手段。

Claims (5)

1. レーザ光を出射し対象物からの反射光によって対象物の位置を計測するレーザ計測装置から出射されるレーザ光のレーザ照射位置を含む表示領域に、レーザ照射位置特定用パターンを表示するためのレーザ照射位置特定用パターン情報を出力するレーザ較正パターン表示用手段、
   前記レーザ計測装置から出射され、前記表示領域に表示された前記レーザ照射位置特定用パターンから反射されたレーザ光を受けた前記レーザ計測装置から出力される、レーザ光の反射強度値を含む反射強度値情報を受け、前記反射強度値情報における反射強度値に基づき、前記表示領域における前記レーザ照射位置を求めるレーザ照射位置特定手段、
   前記表示領域にカメラ較正パターンを表示するためのカメラ較正パターン情報を出力するカメラ較正パターン表示用手段、
   前記レーザ照射位置特定手段によって求められたレーザ照射位置を示すレーザ照射位置情報に基づき、カメラによって前記表示領域に表示されたカメラ較正パターンを撮影された撮影カメラ較正パターン情報を用いて、前記レーザ計測装置と前記カメラの位置関係を演算し、前記カメラに対する前記レーザ計測装置の位置関係情報を出力する位置関係演算手段
   を備えるレーザ較正装置。
2. 前記表示領域は、ディスプレイの表示画面であり、
   前記レーザ計測装置は、前記ディスプレイの表示画面にレーザ光を照射し、
   前記レーザ較正パターン表示用手段は、前記レーザ照射位置特定用パターン情報を前記ディスプレイに出力し、
   前記カメラ較正パターン表示用手段は、前記カメラ較正パターン情報を前記ディスプレイに出力することを特徴とする請求項１のレーザ較正装置。
3. 前記レーザ照射位置特定用パターンは、移動する図形を有し、前記図形が周期的に繰り返し、
   前記レーザ照射位置特定手段は、前記レーザ照射位置特定用パターンから反射されたレーザ光を受けた前記レーザ計測装置から出力される前記反射強度値情報における反射強度値の系列を足し合わせ、系列のピークを算出することで、前記ディスプレイの表示画面上のレーザ照射位置を特定することを特徴とする請求項２記載のレーザ較正装置。
4. カメラ較正パターンをディスプレイの表示画面に表示するステップ、
   レーザ照射位置特定用パターン表示を前記ディスプレイの表示画面に表示するステップ、
   レーザ計測装置から出射され、前記ディスプレイの表示画面から反射されたレーザ光を受けた前記レーザ計測装置からの反射されたレーザ光の反射強度値に基づき、前記ディスプレイの表示画面上における前記レーザ計測装置から出射されたレーザ光のレーザ照射位置を特定するステップ、
   特定された前記レーザ光のレーザ照射位置に基づき、カメラ較正パターンを撮影したカメラからの画像情報を用い、前記カメラに対する前記レーザ計測装置の位置関係を特定するステップ
   を備えたレーザ較正方法。
5. レーザ光を出射し対象物からの反射光によって対象物の位置を計測するレーザ計測装置、
   固定器具によって前記レーザ計測装置と互いに固定されるカメラ、
   表示画面を有するディスプレイ、
   レーザ照射位置特定用パターンを前記ディスプレイの表示画面に表示するためのレーザ照射位置特定用パターン情報を前記ディスプレイに出力し、前記レーザ計測装置から前記ディスプレイの表示画面に出射され、前記ディスプレイの表示画面に表示された前記レーザ照射位置特定用パターンから反射されたレーザ光を受けた前記レーザ計測装置から出力される、レーザ光の反射強度値を含む反射強度値情報を受け、前記反射強度値情報における反射強度値に基づき、前記ディスプレイの表示画面におけるレーザ照射位置を求め、前記ディスプレイの表示画面にカメラ較正パターンを表示するためのカメラ較正パターン情報を出力し、前記ディスプレイの表示画面に表示されたカメラ較正パターンを前記カメラによって撮影された撮影カメラ較正パターン情報を用い、前記レーザ照射位置に基づき、前記レーザ計測装置と前記カメラの位置関係を演算し、前記カメラに対する前記レーザ計測装置の位置関係情報を出力する計算機、
   を備えた画像入力装置。

Images