JP5762131B2

JP5762131B2 - キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム

Info

Publication number: JP5762131B2
Application number: JP2011114571A
Authority: JP
Inventors: 真和小崎; 純一瀧口; 嘉宏島; 尚幸梶原; 隆二郎黒崎; 橋詰　匠; 匠橋詰; 貴一朗石川; 鈴木　太郎; 太郎鈴木
Original assignee: Waseda University; Mitsubishi Electric Corp
Current assignee: Waseda University; Mitsubishi Electric Corp
Priority date: 2011-05-23
Filing date: 2011-05-23
Publication date: 2015-08-12
Anticipated expiration: 2031-05-23
Also published as: JP2012242317A

Description

本発明は、例えば、ＭＭＳ（モービルマッピングシステム）の車両に取り付けられたカメラの取り付け位置および姿勢角を算出するキャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラムに関するものである。

崖崩れ等の防災のために行う道路の法面の計測や、都市計画または景観デザインのために行う高層ビルの三次元の計測など、道路周辺の環境を広域に計測する必要性が高まっている。従来、このような計測は航空測量や人手により行われてきた。
一方、各種のセンサを搭載した自動車を用いて道路周辺の環境を高精度かつ容易に計測するモービルマッピングシステム（ＭＭＳ：ＭｏｂｉｌｅＭａｐｐｉｎｇＳｙｓｔｅｍ）の研究開発が行われている。また、このモービルマッピングシステムを活用して道路周辺の環境を広域に計測することに期待が集まっている。

三次元計測の代表的な手法として、レーザスキャナを用いて対象物との距離を計測する方式や、カメラ画像を用いてステレオ視（三角測量）を行う方式が存在する。
レーザスキャナを用いる方式はタイムオブフライト（ＴＯＦ：ＴｉｍｅｏｆＦｌｉｇｈｔ）方式とも呼ばれる。タイムオブフライト方式は、レーザを放射してレーザが対象物に反射して戻ってくるまでの反射時間を計測し、反射時間に基づいて対象物との距離を計測する技術である。

レーザスキャナを用いる方式は対象物を高速に高い精度で計測することができる。しかし、この方式には、計測範囲がレーザの到達範囲に左右されるため、道路の法面や高層ビルなどの広域な計測が難しいという課題を有する。

一方、ステレオ視の方式は、カメラ画像を用いて広範囲に三次元計測を行うことが可能である。例えば、全周カメラで撮像したカメラ画像を用いた場合、三次元計測を全周で行うことができる。
但し、カメラを自動車に取り付ける毎にカメラの取り付け位置および角度（カメラ外部パラメータ）を正確にキャリブレーションする必要がある。また、正確なキャリブレーションを行う方法としてトータルステーションと路面のキャリブレーションマーカーとを用いて測量を行う方法があるが、この方法は複雑であり手間がかかるため実用的に採用することが困難である。

国際公開２００８／０９９９１５号パンフレット

ＫｉｉｃｈｉｒｏＩｓｈｉｋａｗａ，ｅｔ．ａｌ．，"ＡＭｏｂｉｌｅＭａｐｐｉｎｇＳｙｓｔｅｍｆｏｒＰｒｅｃｉｓｅＲｏａｄＬｉｎｅＬｏｃａｌｉｚａｔｉｏｎＵｓｉｎｇａＳｉｎｇｌｅＣａｍｅｒａａｎｄ３ＤＲｏａｄＭｏｄｅｌ"，ＪｏｕｒｎａｌｏｆＲｏｂｏｔｉｃｓａｎｄＭｅｃｈａｔｒｏｎｉｃｓＶｏｌ．１９Ｎｏ．２，２００７．Ｄ．Ｇ．Ｌｏｗｅ，"ＤｉｓｔｉｎｃｔｉｖｅＩｍａｇｅＦｅａｔｕｒｅｓｆｒｏｍＳｃａｌｅ−ＩｎｖａｒｉａｎｔＫｅｙｐｏｉｎｔｓ，"ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｐｐ．９１−１１０，２００４．Ｐ．Ｈ．Ｓ．Ｔｏｒｒ，"Ｂａｙｅｓｉａｎｍｏｄｅｌｅｓｔｉｍａｔｉｏｎａｎｄｓｅｌｅｃｔｉｏｎｆｏｒｅｐｉｐｏｌａｒｇｅｏｍｅｔｒｙａｎｄｇｅｎｅｒｉｃｍａｎｉｆｏｌｄｆｉｔｔｉｎｇ．"ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ５０，ｐｐ．３５−６１，２００２．Ｌａｇａｒｉａｓ，Ｊ．Ｃ．，ｅｔ．ａｌ．，"ＣｏｎｖｅｒｇｅｎｃｅＰｒｏｐｅｒｔｉｅｓｏｆｔｈｅＮｅｌｄｅｒ−ＭｅａｄＳｉｍｐｌｅｘＭｅｔｈｏｄｉｎＬｏｗＤｉｍｅｎｓｉｏｎｓ．"ＳＩＡＭＪｏｕｒｎａｌｏｆＯｐｔｉｍｉｚａｔｉｏｎ，Ｖｏｌ．９，Ｎｏ．１，１９９８，ｐｐ．１１２−１４７．

本発明は、例えば、ＭＭＳの車両に取り付けたカメラの取り付け位置を容易に高い精度で計測できるようにすることを目的とする。

本発明のキャリブレーション装置は、
計測領域内の複数の計測点それぞれの三次元の座標値を計測点座標値として記憶する計測点座標値記憶部と、
前記計測領域を移動する移動体の特定の取り付け位置に取り付けられるカメラによって異なる地点から撮像された複数のカメラ画像を記憶するカメラ画像記憶部と、
前記カメラの取り付け位置を示す座標値として取り付け座標値を含んだ取り付けパラメータを記憶する取り付けパラメータ記憶部と、
前記カメラ画像記憶部に記憶される複数のカメラ画像に基づいて、複数のカメラ画像に共通して映る特徴点を判定する特徴点判定部と、
前記取り付けパラメータ記憶部に記憶された取り付けパラメータと前記特徴点判定部の判定結果とに基づいて、取り付けパラメータに含まれる取り付け座標値と特徴点の各カメラ画像内の座標値とを用いた三角測量の計算によって、特徴点の三次元の座標値を特徴点座標値として算出する特徴点座標値算出部と、
前記特徴点座標値算出部によって算出された特徴点座標値と前記計測点座標値記憶部に記憶された複数の計測点座標値とに基づいて、特徴点と特徴点に対応する計測点との距離に応じた値をパラメータ評価値として算出するパラメータ評価値算出部と、
前記パラメータ評価値算出部によって算出されたパラメータ評価値に基づいて前記取り付けパラメータに含まれる取り付け座標値が正しい値であるか否かを判定する取り付けパラメータ判定部と、
前記取り付けパラメータ判定部によって前記取り付け座標値が正しい値でないと判定された場合、新たな取り付け座標値を含んだ取り付けパラメータを所定のパラメータ生成アルゴリズムによって生成し、生成した取り付けパラメータを前記パラメータ記憶部に記憶する取り付けパラメータ生成部とを備える。

本発明によれば、例えば、ＭＭＳの車両（移動体の一例）に取り付けたカメラの取り付け位置を容易に高い精度で計測することができる。

実施の形態１における計測車両１００の外観図。実施の形態１における三次元計測装置２００の機能構成図。実施の形態１におけるカメラ外部パラメータ２９９のキャリブレーション方法を示すフローチャート。実施の形態１におけるカメラ画像２０１の特徴点を示す図。実施の形態１におけるカメラ画像間で対応する特徴点を示す図。実施の形態１における対応特徴点の三角測量を示す概念図。実施の形態１におけるＬＯＳベクトルＶを示す概念図。実施の形態１における計測点群データ２９２の計測点と特徴点群データ２９３の特徴点とを比較している様子を示す図。実施の形態１における三次元計測装置２００のハードウェア資源の一例を示す図。

実施の形態１．
ＭＭＳ（モービルマッピングシステム）で使用する車両に取り付けたカメラの取り付け位置および角度を計測する形態について説明する。

図１は、実施の形態１における計測車両１００の外観図である。
実施の形態１における計測車両１００について、図１に基づいて説明する。

計測車両１００（移動体の一例）はＭＭＳで使用する車両である。ＭＭＳとは、計測車両１００で計測地域を走行し、走行した道路周辺の地物（建物、標識、白線など）の三次元の座標値を計測するシステムである。以下、ＭＭＳの計測を「道路周辺計測」という。

計測車両１００は、３台のＧＮＳＳ受信機１１０と、ＩＭＵ１２０と、オドメトリ（図示省略）と、２台のレーザスキャナ１３０と、２台の前方カメラ１４０と、全周カメラ１９０とを備える。
これらのセンサ（オドメトリを除く）は、計測車両１００の天部に設けた天板１０１に取り付けられる。

ＧＮＳＳ受信機１１０は、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍｓ）の衛星から測位信号を受信するアンテナを備える。ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）はＧＮＳＳの一例である。
ＧＮＳＳ受信機１１０は、受信した測位信号に基づいて衛星との疑似距離、測位信号を搬送した搬送波の位相および三次元の座標値を算出する。
例えば、３台のＧＮＳＳ受信機１１０のうち２台のＧＮＳＳ受信機１１０ｂ・ｃは天板１０１の前方の左右の端部に設置し、残りの１台のＧＮＳＳ受信機１１０ａは天板１０１の後方の真ん中に設置する。

ＩＭＵ１２０（ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）は、３軸方向の角速度を計測するジャイロセンサと、３軸方向の加速度を計測する加速度センサとを備える。

オドメトリは、計測車両１００の走行速度（車速）を計測する。

レーザスキャナ１３０は、計測車両１００の幅方向に放射角度を変えながらレーザ光を放射し、放射先に位置する地物に反射したレーザ光を受光する。
レーザスキャナ１３０は、レーザ光を放射してから受光するまでの時刻を計測し、計測した時刻に光速を乗算して地物との距離を算出する。
例えば、２台のレーザスキャナ１３０のうち一方のレーザスキャナ１３０は天板１０１の前方に斜め下向きに設置し、他方のレーザスキャナ１３０は天板１０１の中央部分に斜め上向きに設置する。

前方カメラ１４０は、計測車両１００の前方を撮像する。
２台の前方カメラ１４０のうち一方の前方カメラ１４０は天板１０１の前方に正面に向けて設置し、他方の前方カメラ１４０は天板１０１の前方に斜め下向きに設置する。

全周カメラ１９０は、五角柱の形状を成し、天面と５つの側面とに合計６つのカメラを備える。
全周カメラ１９０は、側面に配置した５つのカメラによって計測車両１００の周囲全体（３６０度の範囲）を撮像し、天面に配置したカメラによって計測車両１００の上方を撮像する。
全周カメラ１９０は取り付け棒に取り付けて天板１０１に設置する。つまり、全周カメラ１９０は天板１０１より高い位置に設置する。
全周カメラ１９０を天板１０１より高い位置に設置することにより、道路の法面や高層ビルなどの高所の部分を撮像することができる。

但し、高い位置に設置される全周カメラ１９０は、道路周辺計測時以外の走行または駐車には適さないため、道路周辺計測の度に天板１０１に取り付け、また天板１０１から取り外した方がよい。
したがって、全周カメラ１９０の取り付け位置および取り付け角度（姿勢角）は道路周辺計測の度に異なり、道路周辺計測の度に全周カメラ１９０の取り付け位置および取り付け角度を正しく計測する必要がある。

一方、レーザスキャナ１３０は、走行または駐車の妨げにならないため天板１０１から取り外す必要はない。
このため、レーザスキャナ１３０の取り付け位置および取り付け角度は、天板１０１に取り付けたときにトータルステーションなどの測量機器を用いて一度だけ正確に計測すればよい。

図２は、実施の形態１における三次元計測装置２００の機能構成図である。
実施の形態１における三次元計測装置２００の機能構成について、図２に基づいて説明する。

三次元計測装置２００（キャリブレーション装置の一例）は、位置姿勢標定部２１０、計測点群生成部２２０、特徴点群生成部２３０、パラメータ評価部２４０および計測装置記憶部２９０を備える。

計測装置記憶部２９０（計測点座標値記憶部、カメラ画像記憶部、取り付けパラメータ記憶部の一例）は、三次元計測装置２００で使用するデータを記憶する。
ＧＮＳＳ観測データ２８１、ＩＭＵ計測データ２８２、車速データ２８３、レーザ計測データ２８４、前方画像データ２８５および全周画像データ２８９は、計測装置記憶部２９０に記憶するデータの一例である。
位置姿勢データ２９１、計測点群データ２９２、特徴点群データ２９３、パラメータ評価値２９４およびカメラ外部パラメータ２９９は、計測装置記憶部２９０に記憶するデータの一例である。

ＧＮＳＳ観測データ２８１は、計測車両１００（図１参照）のＧＮＳＳ受信機１１０によって得られるデータである。
例えば、ＧＮＳＳ観測データ２８１は、測位信号を受信した時刻（観測時刻）に対応付けて疑似距離と搬送波位相と三次元座標値とを示す。

ＩＭＵ計測データ２８２は、計測車両１００のＩＭＵ１２０によって得られるデータである。
例えば、ＩＭＵ計測データ２８２は、計測時刻に対応付けて３軸方向の角速度と３軸の加速度とを示す。

車速データ２８３は、計測車両１００のオドメトリによって得られるデータである。
例えば、車速データ２８３は、計測時刻に対応付けて計測車両１００の車速を示す。

レーザ計測データ２８４は、計測車両１００のレーザスキャナ１３０によって得られるデータである。
例えば、レーザ計測データ２８４は、計測時刻に対応付けて地物との距離（計測距離）とレーザ光の放射角度（計測角度）とを示す。また、レーザ計測データ２８４は、計測距離と計測角度とに基づいた座標値であって、レーザスキャナ１３０の取り付け位置を原点とする二次元（または三次元）の座標値を示してもよい。

前方画像データ２８５は、計測車両１００の前方カメラ１４０によって得られるデータである。
例えば、前方画像データ２８５は、前方カメラ１４０によって撮像された前方画像を撮像時刻に対応付けて示す。

全周画像データ２８９は、計測車両１００の全周カメラ１９０によって得られるデータである。
全周画像データ２８９は、全周カメラ１９０によって撮像された全周画像（以下、カメラ画像という）を撮像時刻に対応付けて示す。

位置姿勢データ２９１（移動体座標値データの一例）は、ＧＮＳＳ観測データ２８１とＩＭＵ計測データ２８２と車速データ２８３とに基づいて位置姿勢標定部２１０によって生成されるデータである。
位置姿勢データ２９１は、道路周辺計測を行った計測時刻毎に計測車両１００の三次元の座標値および姿勢角を世界座標系の値で示す。ＥＮＵ座標系（Ｅａｓｔ−Ｎｏｒｔｈ−Ｕｐ）は世界座標系の一例であり、（緯度，経度，高度）は世界座標系の座標値の一例である。

計測点群データ２９２（計測点座標値を含むデータの一例）は、レーザ計測データ２８４に基づいて計測点群生成部２２０によって生成されるデータである。
計測点群データ２９２は、レーザ光を反射した地点（以下、計測点という）毎に三次元の座標値を世界座標系の値で示す。

特徴点群データ２９３（特徴点座標値を含むデータの一例）は、カメラ外部パラメータ２９９と全周画像データ２８９とに基づいて特徴点群生成部２３０によって生成されるデータである。
特徴点群データ２９３は、カメラ画像に映った特徴点毎に三次元の座標値を世界座標系の値で示す。

パラメータ評価値２９４（パラメータ評価値の一例）は、計測点群データ２９２と特徴点群データ２９３とに基づいてパラメータ評価部２４０によって生成されるデータである。
パラメータ評価値２９４は、カメラ外部パラメータ２９９を評価する評価値を示す。

カメラ外部パラメータ２９９（取り付けパラメータの一例）は計測装置記憶部２９０に予め記憶し、パラメータ評価部２４０によって更新する。
カメラ外部パラメータ２９９は、全周カメラ１９０の取り付け位置を推定した取り付け座標値（Ｘ，Ｙ，Ｚ）を示す。また、カメラ外部パラメータ２９９は、全周カメラ１９０の取り付け角度として、全周カメラ１９０を構成するカメラ毎にカメラの姿勢角を推定した取り付け角度（ロール角，ピッチ角，ヨー角）を示す。
例えば、全周カメラ１９０の取り付け座標値の設計値と全周カメラ１９０の取り付け角度の設計値とを含んだカメラ外部パラメータ２９９を初期値として予め記憶しておく。

位置姿勢標定部２１０は、ＧＮＳＳ観測データ２８１とＩＭＵ計測データ２８２と車速データ２８３とに基づいて所定の標定処理（航法処理）によって計測車両１００の各時刻の三次元の座標値および姿勢角を標定（測位、算出）し、位置姿勢データ２９１を生成する。

例えば、位置姿勢標定部２１０は、ＧＰＳ−Ｇｙｒｏ／ＩＭＵ複合航法（ＧＰＳ／ＩＭＵ複合航法ともいう）によって計測車両１００の各時刻の三次元の座標値および姿勢角を標定する。

例えば、位置姿勢標定部２１０は、以下のように計測車両１００の各時刻の三次元座標値および姿勢角を標定する。
位置姿勢標定部２１０は、ＩＭＵ計測データ２８２に含まれる三次元の加速度と三次元の角速度とを用いてストラップダウン演算を行い、計測車両１００の座標値と姿勢角と速度とを算出する。
位置姿勢標定部２１０は、ＧＮＳＳ観測データ２８１に含まれる座標値、疑似距離または搬送波位相に基づいて航法処理を行い、計測車両１００の座標値を算出する。
位置姿勢標定部２１０は、ＧＮＳＳ観測データ２８１に含まれる座標値に基づいて第一のＧＮＳＳ受信機１１０ａから第二のＧＮＳＳ受信機１１０ｂへの基線ベクトルと第一のＧＮＳＳ受信機１１０ａから第三のＧＮＳＳ受信機１１０ｃへの基線ベクトルとを算出する。位置姿勢標定部２１０は、二つの基線ベクトルに基づいて計測車両１００の姿勢角を算出する。
位置姿勢標定部２１０は、航法処理で算出した座標値とストラップダウン演算で算出した座標値との差を座標値残差として算出する。位置姿勢標定部２１０は、基線ベクトルに基づいて算出した姿勢角とストラップダウン演算で算出した姿勢角との差を姿勢角残差として算出する。位置姿勢標定部２１０は、車速データ２８３に含まれる速度とストラップダウン演算で算出した速度との差を速度残差として算出する。
位置姿勢標定部２１０は、座標値残差と姿勢角残差と速度残差との少なくともいずれかを入力として所定のカルマンフィルタ処理を行い、座標値の補正量と姿勢角の補正量とを算出する。
位置姿勢標定部２１０は、ストラップダウン演算で算出した座標値に座標値の補正量を加算して座標値を補正し、ストラップダウン演算で算出した姿勢角に姿勢角の補正量を加算して姿勢角を補正し、補正した座標値と姿勢角とを標定値として出力する。

但し、位置姿勢標定部２１０は、任意の標定処理によって計測車両１００の各時刻の座標値と姿勢角とを標定してもよい。

計測点群生成部２２０は、位置姿勢データ２９１とレーザ計測データ２８４とに基づいて計測点群データ２９２を生成する。

レーザ光を反射した計測点の三次元の座標値は、レーザスキャナ１３０の計測時刻の位置からレーザ光の放射方向へ計測距離だけ離れた地点の座標値として算出される。
レーザスキャナ１３０の計測時刻の位置は、計測車両１００の計測時刻の位置からレーザスキャナ１３０の取り付け位置の座標値だけ移動した地点の座標値によって示される。
レーザ光の放射方向は、計測車両１００の姿勢角からレーザスキャナ１３０の取り付け角度だけ傾けた角度によって示される。
レーザスキャナ１３０の取り付け座標値および取り付け角度を設定したレーザ外部パラメータは計測装置記憶部２９０に予め記憶しておく。

例えば、計測点群データ２９２の生成方法は特許文献１に開示されている。

特徴点群生成部２３０は、カメラ外部パラメータ２９９と全周画像データ２８９とに基づいて特徴点群データ２９３を生成する。

特徴点群生成部２３０は、特徴点抽出部２３１と特徴点マッピング部２３２と特徴点測量部２３３とを備える。

特徴点抽出部２３１（特徴点判定部の一例）は、全周画像データ２８９に含まれるカメラ画像毎にカメラ画像に映る複数の特徴点をカメラ画像から抽出し、特徴点毎に特徴量を算出する（特徴点抽出処理）。

特徴点マッピング部２３２（特徴点判定部の一例）は、特徴点抽出部２３１によって抽出された複数の特徴点のうち、複数のカメラ画像に共通して映る特徴点を判定する（特徴点判定処理）。

例えば、特徴点マッピング部２３２は、第一のカメラ画像に映る特徴点の特徴量と第二のカメラ画像に映る特徴点の特徴量とを比較し、比較結果に基づいて第一のカメラ画像と第二のカメラ画像とに共通して映る特徴点を判定する。

例えば、特徴点マッピング部２３２は、先に撮像されたカメラ画像を第一のカメラ画像として含み第一のカメラ画像の後に撮像されたカメラ画像を第二のカメラ画像として含むカメラ画像の複数の組み合わせを生成する。
特徴点マッピング部２３２は、カメラ画像の組み合わせ毎に複数の特徴点を判定する。

特徴点測量部２３３（特徴点座標値算出部の一例）は、カメラ外部パラメータ２９９（取り付けパラメータの一例）と特徴点マッピング部２３２の判定結果とに基づいて、特徴点毎に特徴点の三次元の座標値を特徴点座標値として算出する（特徴点座標値算出処理）。
特徴点測量部２３３は、特徴点毎に特徴点座標値を示す特徴点群データ２９３を生成する。

このとき、特徴点測量部２３３は、カメラ外部パラメータ２９９に含まれる取り付け座標値と特徴点の各カメラ画像内の座標値とを用いた三角測量の計算によって特徴点座標値を算出する。

例えば、特徴点測量部２３３は、以下のように特徴点座標値を算出する。
特徴点測量部２３３は、第一のカメラ画像が撮像されたときの計測車両１００（移動体の一例）の三次元の座標値と、全周カメラ１９０（カメラの一例）の取り付け座標値と、特徴点の第一のカメラ画像内の座標値とに基づいて、全周カメラ１９０から特徴点への三次元のベクトルを第一のベクトル（後述する第一のＬＯＳベクトル）として算出する。
特徴点測量部２３３は、第二のカメラ画像が撮像されたときの計測車両１００の三次元の座標値と、全周カメラ１９０の取り付け座標値と、特徴点の第二のカメラ画像内の座標値とに基づいて、全周カメラ１９０から特徴点への三次元のベクトルを第二のベクトル（後述する第二のＬＯＳベクトル）として算出する。
特徴点測量部２３３は、算出した第一のベクトルと第二のベクトルとに基づいて特徴点座標値を算出する。

パラメータ評価部２４０は、計測点群データ２９２と特徴点群データ２９３とに基づいてカメラ外部パラメータ２９９のパラメータ評価値２９４を算出する。

パラメータ評価部２４０は、パラメータ評価値算出部２４１とパラメータ判定部２４２とパラメータ更新部２４３とを備える。

パラメータ評価値算出部２４１（パラメータ評価値算出部の一例）は、特徴点測量部２３３によって算出された特徴点座標値と計測点群データ２９２に含まれる複数の計測点座標値とに基づいて、パラメータ評価値２９４を算出する（パラメータ評価値算出処理）。パラメータ評価値２９４は、特徴点と特徴点に対応する計測点との距離に応じた値である。
パラメータ評価値算出部２４１は、パラメータ更新部２４３によって生成されたカメラ外部パラメータ２９９毎にパラメータ評価値を算出する。

例えば、パラメータ評価値算出部２４１は、特徴点毎に特徴点との距離が最も近い計測点を特徴点に対応する計測点として判定する。
また、パラメータ評価値算出部２４１は、特徴点毎に特徴点と特徴点に対応する計測点との距離を算出し、算出した距離の合計値をパラメータ評価値２９４として算出する。

パラメータ判定部２４２（取り付けパラメータ判定部の一例）は、パラメータ評価値算出部２４１によって算出されたパラメータ評価値２９４に基づいて、カメラ外部パラメータ２９９に含まれる取り付け座標値が正しい値であるか否かを判定する（取り付けパラメータ判定処理）。

例えば、パラメータ判定部２４２は、パラメータ評価値算出部２４１によって算出されたパラメータ評価値２９４のうち極小値を示すパラメータ評価値２９４に対応するカメラ外部パラメータ２９９の取り付け座標値を正しい取り付け座標値として判定する。

パラメータ更新部２４３（パラメータ生成部の一例）は、パラメータ判定部２４２によって取り付け座標値が正しい値でないと判定された場合、新たな取り付け座標値を含んだカメラ外部パラメータ２９９を所定のパラメータ生成アルゴリズムによって生成する（パラメータ生成処理）。
パラメータ更新部２４３は、生成したカメラ外部パラメータ２９９を計測装置記憶部２９０に記憶する。

図３は、実施の形態１におけるカメラ外部パラメータ２９９のキャリブレーション方法を示すフローチャートである。
カメラ外部パラメータ２９９を調整するキャリブレーション方法について、図３に基づいて説明する。

まず、カメラ外部パラメータ２９９を調整するキャリブレーション方法の概要について説明する。

特徴点抽出部２３１は、全周画像データ２８９のカメラ画像毎に複数の特徴点を抽出し、特徴点毎に特徴量を算出する（Ｓ１１０）。
特徴点マッピング部２３２は、カメラ画像の複数の組み合わせを生成し（Ｓ１２０）、カメラ画像の組み合わせ毎に対応する特徴点を抽出する（Ｓ１３０）。
特徴点測量部２３３は、カメラ外部パラメータ２９９に基づいて、カメラ画像の組み合わせ毎に対応する特徴点の三次元座標値を算出する（Ｓ１４０）。
パラメータ評価値算出部２４１は、計測点群データ２９２の計測点の三次元座標値と、カメラ画像の特徴点の三次元座標値とを比較してパラメータ評価値２９４を算出する（Ｓ１５０）。
パラメータ判定部２４２は、パラメータ評価値２９４が適正な値であるか否かを判定する（Ｓ１６０）。
パラメータ評価値２９４が適正な値でない場合、パラメータ更新部２４３は新たなカメラ外部パラメータ２９９を算出し、処理はＳ１４０に戻る（Ｓ１７０）。
パラメータ評価値２９４が適正な値である場合、パラメータ評価値２９４は、極小値のパラメータ評価値２９４に対応するカメラ外部パラメータ２９９を正しいパラメータとして出力する（Ｓ１８０）。

次に、キャリブレーション方法の詳細について説明する。

Ｓ１１０において、特徴点抽出部２３１は、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）というアルゴリズムによって、全周画像データ２８９に含まれるカメラ画像毎にカメラ画像から複数の特徴点を抽出する。
さらに、特徴点抽出部２３１は、ＳＩＦＴによって特徴点毎に複数の特徴量を算出する。例えば、特徴点抽出部２３１は１２８次元の特徴量を算出する。１２８次元の特徴量とは、１番目の特徴量から１２８番目の特徴量までの１２８個の特徴量から成る特徴量の集合である。

ＳＩＦＴは、特徴点を抽出し、回転やスケールや光量などの変化に対して不変な特徴量を記述（算出）するアルゴリズムである。
非特許文献２は、ＳＩＦＴによる特徴点の抽出および特徴量の記述を開示している。

但し、特徴点抽出部２３１は、ＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）など、その他のアルゴリズムを用いて特徴点の抽出および特徴量の算出を行ってもよい。

特徴点抽出部２３１は、複数の特徴点それぞれの特徴量とカメラ画像内の座標値（以下、画素座標値という）とを示すデータを「特徴点抽出データ」として生成する。特徴点抽出部２３１は、生成した特徴点抽出データを計測装置記憶部２９０に記憶する。

Ｓ１１０の後、Ｓ１２０に進む。

図４は、実施の形態１におけるカメラ画像２０１の特徴点を示す図である。
図４に示すように、特徴点抽出部２３１は、カメラ画像２０１から複数の特徴点（丸印）を抽出する。また、特徴点抽出部２３１は、抽出した特徴点毎に特徴量を算出する。

図３に戻り、キャリブレーション方法の説明をＳ１２０から続ける。

Ｓ１２０において、特徴点マッピング部２３２は、全周画像データ２８９に含まれる複数のカメラ画像を用いて、カメラ画像の複数の組み合わせを生成する。

例えば、特徴点マッピング部２３２は、Ｎ番目（Ｎは１以上の整数）に撮像されたカメラ画像とＮ＋１番目に撮像されたカメラ画像とを組み合わせて、カメラ画像の複数の組み合わせを生成する。
但し、カメラ画像の組み合わせは、連続する２つのカメラ画像から成る組み合わせでなくても構わない。つまり、Ｎ番目のカメラ画像とＮ＋Ｘ番目（Ｘは２以上の整数）のカメラ画像とを組み合わせてもよいし、３つ以上のカメラ画像を組み合わせてもよい。

Ｓ１２０の後、Ｓ１３０に進む。

Ｓ１３０において、特徴点マッピング部２３２は、Ｓ１１０で生成された特徴点抽出データに基づいてカメラ画像の組み合わせ毎にカメラ画像間で各特徴点の特徴量を比較し、カメラ画像間で対応する特徴点（対応特徴点）を判定する。

例えば、特徴点マッピング部２３２は、第一のカメラ画像２０１ａのｎ番目の特徴点と第二のカメラ画像２０１ｂの各特徴点との特徴量のユークリッド距離を算出する。
そして、特徴点マッピング部２３２は、第二のカメラ画像２０１ｂの特徴点のうち最も小さいユークリッド距離に対応する特徴点を第一のカメラ画像２０１ａのｎ番目の特徴点に対応する特徴点と判定する。

以下に、特徴量のユークリッド距離Ｄを算出する算出式（１）を示す。

特徴点マッピング部２３２は、カメラ画像の組み合わせ毎に「特徴点マッピングデータ」を生成する。特徴点マッピング部２３２は、特徴点マッピングデータを計測装置記憶部２９０に記憶する。
特徴点マッピングデータは、カメラ画像間で対応する特徴点の画素座標値をカメラ画像毎に示すデータである。

特徴点マッピング部２３２は、特徴点マッピングデータに基づいてカメラ画像間で対応する複数の特徴点のうち他のカメラ画像の特徴点に誤って対応付けられた誤対応の特徴点をＭＡＰＳＡＣ（ＭａｘｉｍｕｍａＰｏｓｔｅｒｉｏｒｉＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ）法を用いて判定する。
非特許文献３は、ＭＡＰＳＡＣ法について開示している。

特徴点マッピング部２３２は、誤対応の特徴点を特徴点マッピングデータから削除する。

特徴点マッピング部２３２は、特徴点マッピングデータに基づいてカメラ画像間で対応する各特徴点のカメラ画像間の視差（画素の距離）を算出し、カメラ画像間の視差が所定の視差閾値より小さい特徴点を特徴点マッピングデータから削除する。
視差が小さい場合、三角測量による座標値の計測精度が低くなるためである。

Ｓ１３０の後、Ｓ１４０に進む。

図５は、実施の形態１におけるカメラ画像間で対応する特徴点を示す図である。
図５に示すように、特徴点マッピング部２３２は、第一のカメラ画像２０１ａの複数の特徴点（丸印）に対応する第二のカメラ画像２０１ｂの複数の特徴点を判定する。

図３に戻り、キャリブレーション方法の説明をＳ１４０から説明する。

Ｓ１４０において、特徴点測量部２３３は、特徴点マッピングデータ（Ｓ１３０参照）と計測点群データ２９２とカメラ外部パラメータ２９９とを用いて三角測量の計算を行う。
特徴点測量部２３３は、三角測量の計算によって、カメラ画像の組み合わせ毎にカメラ画像間で対応する各特徴点（対応特徴点）の三次元の座標値を算出する。
特徴点測量部２３３は、カメラ画像の組み合わせ毎に、各特徴点の三次元座標値を示すデータを「特徴点群データ２９３」として生成する。特徴点測量部２３３は、生成した特徴点群データ２９３を計測装置記憶部２９０に記憶する。
Ｓ１４０の後、Ｓ１５０に進む。

図６は、実施の形態１における対応特徴点の三角測量を示す概念図である。
実施の形態１における対応特徴点の三角測量について、図６に基づいて説明する。

対応特徴点ｐ_ｃの三次元の座標値は、第一のカメラ画像２０１ａを撮像したときのＬＯＳ（ＬｉｎｅｏｆＳｉｇｈｔ）ベクトルｖ１と、第二のカメラ画像２０１ｂを撮像したときのＬＯＳベクトルｖ２との交点の座標値として算出される。
ＬＯＳベクトルは、全周カメラ１９０を構成するカメラのうち当該カメラ画像を撮像したカメラから対応特徴点ｐ_ｃへの視線方向を表す。

図７は、実施の形態１におけるＬＯＳベクトルＶを示す概念図である。
実施の形態１におけるＬＯＳベクトルＶについて、図７に基づいて説明する。

対応特徴点ｐ_ｃの画素座標値（ｕ，ｖ）は、カメラの画像平面に対して対応特徴点ｐ_ｃを投影した場合の投影点の座標値を意味する。カメラの画像平面は、カメラの撮像範囲を表す平面であって、カメラの中心Ｃからカメラの取り付け角度の方向に焦点距離ｆだけ離れた平面である。

ここで、ＬＯＳベクトルは、カメラの中心Ｃから画像平面に投影された対応特徴点Ｐｃまでの方向および大きさである。

図６に戻り、対応特徴点ｐ_ｃの三角測量について説明を続ける。

図６において、「ｐ_１」は第一のカメラ画像２０１ａを撮像したときの全周カメラ１９０の三次元の座標値（世界座標系）を示し、「ｐ_２」は第二のカメラ画像２０１ｂを撮像したときの全周カメラ１９０の三次元の座標値を示す。
また、「ｔ_１」はＬＯＳベクトルｖ_１に対する係数であり、「ｔ_２」はＬＯＳベクトルｖ_２に対する係数である。

全周カメラ１９０の三次元の座標値は、計測車両１００の当該時刻の位置から全周カメラ１９０の取り付け位置のオフセット量だけ移動した地点の座標値として算出される。
カメラ外部パラメータ２９９は、全周カメラ１９０の取り付け位置のオフセット量として取り付け座標値と取り付け角度とを示す。

以下に、対応特徴点ｐ_ｃの三次元の座標値を計算するための三角測量の計算式（２）を示す。

図３に戻り、キャリブレーション方法の説明をＳ１５０から続ける。

Ｓ１５０において、パラメータ評価値算出部２４１は、計測点群データ２９２と特徴点群データ２９３とに基づいて、Ｓ１４０で特徴点の三次元の座標値の算出に用いたカメラ外部パラメータ２９９を評価するパラメータ評価値２９４を算出する。パラメータ評価値算出部２４１は、算出したパラメータ評価値２９４を計測装置記憶部２９０に記憶する。
以下、計測点群データ２９２に含まれる計測点の三次元の座標値を「計測点座標値」といい、特徴点群データ２９３に含まれる特徴点（対応特徴点）の三次元の座標値を「特徴点座標値」という。

図８は、実施の形態１における計測点群データ２９２の計測点と特徴点群データ２９３の特徴点とを比較している様子を示す図である。
計測点群データ２９２は複数の計測点それぞれの計測点座標値を示し、複数の計測点を計測点座標値に従って描画すると図８（１）のような点群画像が得られる。
特徴点群データ２９３は、図８（２）のカメラ画像２０１から抽出された特徴点（対応特徴点）の特徴点座標値を示す。
パラメータ評価値算出部２４１は、特徴点群データ２９３に含まれる特徴点を計測点群データ２９２の各計測点と比較し、特徴点に対応する計測点（対応計測点）を選択し、特徴点と対応計測点との距離に基づいてパラメータ評価値２９４を算出する。

図３に戻り、Ｓ１５０の説明を続ける。

パラメータ評価値算出部２４１は、以下のようにパラメータ評価値２９４を算出する。
パラメータ評価値算出部２４１は、特徴点毎に特徴点の特徴点座標値と各計測点の計測点座標値とを比較し、特徴点に最も近い計測点を選択する。つまり、パラメータ評価値算出部２４１は、ＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）マッチングを行い、特徴点に対応する計測点を選択する。以下、選択した計測点を「対応計測点」という。但し、対応計測点は、特徴点に最も近い計測点以外の計測点であっても構わない。例えば、対応計測点は、特徴点から所定の距離の範囲内に位置する複数の計測点からランダムに選択しても構わない。
パラメータ評価値算出部２４１は、特徴点毎に特徴点と対応計測点との距離を距離誤差として算出し、算出した距離誤差の合計値をパラメータ評価値２９４として算出する。

以下に、パラメータ評価値Ｆを算出する算出式（３）を示す。

Ｓ１５０の後、Ｓ１６０に進む。

Ｓ１６０において、計測装置記憶部２９０は、Ｓ１５０の実行回数と同じ個数のパラメータ評価値２９４を記憶している。
パラメータ判定部２４２は、計測装置記憶部２９０に記憶されている１つまたは複数のパラメータ評価値２９４のうち極小値を示すパラメータ評価値２９４を適正なパラメータ評価値２９４として判定する。
但し、パラメータ判定部２４２は、極小値以外のパラメータ評価値２９４を適正なパラメータ評価値２９４として判定してもよい。例えば、パラメータ判定部２４２は、Ｓ１５０で新たに算出されたパラメータ評価値２９４が所定の評価閾値以下である場合、このパラメータ評価値２９４を適正なパラメータ評価値２９４として判定してもよい。
適正なパラメータ評価値２９４が有る場合（ＹＥＳ）、Ｓ１８０に進む。
適正なパラメータ評価値２９４が無い場合（ＮＯ）、Ｓ１７０に進む。

Ｓ１７０において、パラメータ更新部２４３は、Ｓ１５０で用いたカメラ外部パラメータ２９９とＳ１５０で算出したパラメータ評価値２９４とに基づいて、Ｎｅｌｄｅｒ−Ｍｅａｄ法によって新たなカメラ外部パラメータ２９９を生成する。パラメータ更新部２４３は、生成した新たなカメラ外部パラメータ２９９を計測装置記憶部２９０に記憶する。

Ｎｅｌｄｅｒ−Ｍｅａｄ法は非線形関数の最小化手法である。Ｎｅｌｄｅｒ−Ｍｅａｄ法を利用することにより正しいカメラ外部パラメータ２９９を少ないループ回数（Ｓ１４０−Ｓ１７０）で得ることができる。
非特許文献４は、Ｎｅｌｄｅｒ−Ｍｅａｄ法について開示している。

但し、パラメータ更新部２４３は、Ｎｅｌｄｅｒ−Ｍｅａｄ法以外のアルゴリズム（パラメータ生成アルゴリズム）によって新たなカメラ外部パラメータ２９９を生成しても構わない。
例えば、カメラ外部パラメータ２９９の取り付け座標値（Ｘ軸、Ｙ軸またはＺ軸の座標値）、または取り付け角度（ロール角、ピッチ角またはヨー角）を所定の変化量だけ変化させることによって、新たなカメラ外部パラメータ２９９を生成しても構わない。
また、取り付け座標値と取り付け角度との少なくともいずれかが異なる複数のカメラ外部パラメータ２９９を計測装置記憶部２９０に予め記憶しておき、ランダムに（または順番）に新たなカメラ外部パラメータ２９９を選択しても構わない。

Ｓ１７０の後、Ｓ１４０に戻る。Ｓ１４０では、新たなカメラ外部パラメータ２９９に基づいて特徴点の三次元の座標値（特徴点座標値）が新たに算出される。

Ｓ１８０において、パラメータ判定部２４２は、Ｓ１６０で判定した適正なパラメータ評価値２９４に対応するカメラ外部パラメータ２９９以外のカメラ外部パラメータ２９９を不正なカメラ外部パラメータ２９９として計測装置記憶部２９０から削除する。
パラメータ判定部２４２は、適正なパラメータ評価値２９４に対応するカメラ外部パラメータ２９９を正しいカメラ外部パラメータ２９９として出力する。
Ｓ１８０により、キャリブレーション方法の処理は終了する。

キャリブレーション方法（図３参照）によって得られた正しいカメラ外部パラメータ２９９は、例えば、以下のように利用することができる。

三次元点群生成部（図示省略）は、正しいカメラ外部パラメータ２９９と複数のカメラ画像とを用いてステレオ視の処理を行い、カメラ画像に映る各地点（ピクセル、画素）の三次元の座標値を算出する。
三次元点群生成部は、カメラ画像に映る複数の地点それぞれの三次元の座標値と画素の色情報とを設定した三次元点群データを生成する。
これにより、レーザスキャナで計測することが難しい部分（例えば、道路法面や高層ビル）の正確な三次元座標値を得ることができる。

点群画像生成部（図示省略）は、計測点群データ２９２の計測点に対応する色情報をカメラ画像から取得し、取得した色情報を用いて色付きの点群画像（図８（１）参照）を生成する。このとき、点群画像生成部は、カメラの画像平面に計測点を投影し、投影した計測点（投影点）の画素の色情報を計測点の色情報として取得する（図７参照）。
カメラ外部パラメータ２９９が正しいため、計測点が画像平面内の正しい画素に投影され、計測点の正しい色情報を取得することができる。
色付きの点群画像は、道路周辺の地物を表す三次元モデルとして利用することができる。

図９は、実施の形態１における三次元計測装置２００のハードウェア資源の一例を示す図である。
図９において、三次元計測装置２００は、ＣＰＵ９０１（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を備えている。ＣＰＵ９０１は、バス９０２を介してＲＯＭ９０３、ＲＡＭ９０４、通信ボード９０５、ディスプレイ装置９１１、キーボード９１２、マウス９１３、ドライブ装置９１４、磁気ディスク装置９２０などのハードウェアデバイスと接続され、これらのハードウェアデバイスを制御する。ドライブ装置９１４は、ＦＤ（ＦｌｅｘｉｂｌｅＤｉｓｋＤｒｉｖｅ）、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）などの記憶媒体を読み書きする装置である。
ＲＯＭ９０３、ＲＡＭ９０４、磁気ディスク装置９２０およびドライブ装置９１４は記憶機器の一例である。キーボード９１２およびマウス９１３は入力機器の一例である。ディスプレイ装置９１１は出力機器の一例である。

通信ボード９０５は、有線または無線で、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネット、電話回線などの通信網に接続している。

磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２２、ファイル群９２３が記憶されている。

プログラム群９２２には、実施の形態において「〜部」として説明する機能を実行するプログラムが含まれる。プログラム（例えば、キャリブレーションプログラム）は、ＣＰＵ９０１により読み出され実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものであり、また「〜部」の手順や方法をコンピュータに実行させるものである。

ファイル群９２３には、実施の形態において説明する「〜部」で使用される各種データ（入力、出力、判定結果、計算結果、処理結果など）が含まれる。

実施の形態において構成図およびフローチャートに含まれている矢印は主としてデータや信号の入出力を示す。

実施の形態において「〜部」として説明するものは「〜回路」、「〜装置」、「〜機器」であってもよく、また「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ファームウェア、ソフトウェア、ハードウェアまたはこれらの組み合わせのいずれで実装されても構わない。

１００計測車両、１０１天板、１１０ＧＮＳＳ受信機、１２０ＩＭＵ、１３０レーザスキャナ、１４０前方カメラ、１９０全周カメラ、２００三次元計測装置、２０１カメラ画像、２１０位置姿勢標定部、２２０計測点群生成部、２３０特徴点群生成部、２３１特徴点抽出部、２３２特徴点マッピング部、２３３特徴点測量部、２４０パラメータ評価部、２４１パラメータ評価値算出部、２４２パラメータ判定部、２４３パラメータ更新部、２８１ＧＮＳＳ観測データ、２８２ＩＭＵ計測データ、２８３車速データ、２８４レーザ計測データ、２８５前方画像データ、２８９全周画像データ、２９０計測装置記憶部、２９１位置姿勢データ、２９２計測点群データ、２９３特徴点群データ、２９４パラメータ評価値、２９９カメラ外部パラメータ、９０１ＣＰＵ、９０２バス、９０３ＲＯＭ、９０４ＲＡＭ、９０５通信ボード、９１１ディスプレイ装置、９１２キーボード、９１３マウス、９１４ドライブ装置、９２０磁気ディスク装置、９２１ＯＳ、９２２プログラム群、９２３ファイル群。

Claims

計測領域内の複数の計測点それぞれの三次元の座標値を計測点座標値として記憶する計測点座標値記憶部と、
前記計測領域を移動する移動体の特定の取り付け位置に取り付けられるカメラによって異なる地点から撮像された複数のカメラ画像を記憶するカメラ画像記憶部と、
前記カメラの取り付け位置を示す座標値として取り付け座標値を含んだ取り付けパラメータを記憶する取り付けパラメータ記憶部と、
前記カメラ画像記憶部に記憶される複数のカメラ画像に基づいて、複数のカメラ画像に共通して映る特徴点を判定する特徴点判定部と、
前記取り付けパラメータ記憶部に記憶された取り付けパラメータと前記特徴点判定部の判定結果とに基づいて、取り付けパラメータに含まれる取り付け座標値と特徴点の各カメラ画像内の座標値とを用いた三角測量の計算によって、特徴点の三次元の座標値を特徴点座標値として算出する特徴点座標値算出部と、
前記特徴点座標値算出部によって算出された特徴点座標値と前記計測点座標値記憶部に記憶された複数の計測点座標値とに基づいて、特徴点と特徴点に対応する計測点との距離に応じた値をパラメータ評価値として算出するパラメータ評価値算出部と、
前記パラメータ評価値算出部によって算出されたパラメータ評価値に基づいて前記取り付けパラメータに含まれる取り付け座標値が正しい値であるか否かを判定する取り付けパラメータ判定部と、
前記取り付けパラメータ判定部によって前記取り付け座標値が正しい値でないと判定された場合、新たな取り付け座標値を含んだ取り付けパラメータを所定のパラメータ生成アルゴリズムによって生成し、生成した取り付けパラメータを前記パラメータ記憶部に記憶する取り付けパラメータ生成部と
を備えることを特徴とするキャリブレーション装置。
前記特徴点判定部は、第一のカメラ画像に映る複数の特徴点を第一のカメラ画像から抽出して特徴点毎に特徴量を算出し、第二のカメラ画像に映る複数の特徴点を第二のカメラ画像から抽出して特徴点毎に特徴量を算出し、第一のカメラ画像に映る特徴点の特徴量と前記第二のカメラ画像に映る特徴点の特徴量とを比較し、比較結果に基づいて第一のカメラ画像と第二のカメラ画像とに共通して映る特徴点を判定する
ことを特徴とする請求項１記載のキャリブレーション装置。
前記特徴点座標値算出部は、前記第一のカメラ画像が撮像されたときの前記移動体の三次元の座標値と、前記カメラの取り付け座標値と、前記特徴点の第一のカメラ画像内の座標値とに基づいて前記カメラから前記特徴点への三次元のベクトルを第一のベクトルとして算出し、前記第二のカメラ画像が撮像されたときの前記移動体の三次元の座標値と、前記カメラの取り付け座標値と、前記特徴点の第二のカメラ画像内の座標値とに基づいて前記カメラから前記特徴点への三次元のベクトルを第二のベクトルとして算出し、算出した第一のベクトルと第二のベクトルとに基づいて特徴点座標値を算出する
ことを特徴とする請求項２記載のキャリブレーション装置。
前記特徴点判定部は、第一のカメラ画像と第二のカメラ画像とに共通して映る複数の特徴点を判定し、
前記特徴点座標値算出部は、複数の特徴点それぞれの特徴点座標値を算出し、
前記パラメータ評価値算出部は、特徴点毎に特徴点と特徴点に対応する計測点との距離を算出し、算出した距離の合計値を前記パラメータ評価値として算出する
ことを特徴とする請求項３記載のキャリブレーション装置。
前記特徴点判定部は、先に撮像されたカメラ画像を第一のカメラ画像として含み第一のカメラ画像の後に撮像されたカメラ画像を第二のカメラ画像として含むカメラ画像の複数の組み合わせを生成し、カメラ画像の組み合わせ毎に複数の特徴点を判定する
ことを特徴とする請求項４記載のキャリブレーション装置。
前記パラメータ評価値算出部は、特徴点毎に特徴点との距離が最も近い計測点を特徴点に対応する計測点として判定する
ことを特徴とする請求項４または請求項５記載のキャリブレーション装置。
前記パラメータ評価値算出部は、前記取り付けパラメータ生成部によって生成された取り付けパラメータ毎にパラメータ評価値を算出し、
前記取り付けパラメータ判定部は、前記パラメータ評価値算出部によって算出されたパラメータ評価値のうち極小値を示すパラメータ評価値に対応する取り付けパラメータの取り付け座標値を正しい取り付け座標値として判定する
ことを特徴とする請求項１から請求項６いずれかに記載のキャリブレーション装置。
計測領域内の複数の計測点それぞれの三次元の座標値を計測点座標値として記憶する計測点座標値記憶部と、前記計測領域を移動する移動体の特定の取り付け位置に取り付けられるカメラによって異なる地点から撮像された複数のカメラ画像を記憶するカメラ画像記憶部と、前記カメラの取り付け位置を示す座標値として取り付け座標値を含んだ取り付けパラメータを記憶する取り付けパラメータ記憶部と、特徴点判定部と、特徴点座標値算出部と、パラメータ評価値算出部と、取り付けパラメータ判定部と、取り付けパラメータ生成部とを備えるキャリブレーション装置のキャリブレーション方法であって、
前記特徴点判定部が、前記カメラ画像記憶部に記憶される複数のカメラ画像に基づいて、複数のカメラ画像に共通して映る特徴点を判定し、
前記特徴点座標値算出部が、前記取り付けパラメータ記憶部に記憶された取り付けパラメータと前記特徴点判定部の判定結果とに基づいて、取り付けパラメータに含まれる取り付け座標値と特徴点の各カメラ画像内の座標値とを用いた三角測量の計算によって、特徴点の三次元の座標値を特徴点座標値として算出し、
前記パラメータ評価値算出部が、前記特徴点座標値算出部によって算出された特徴点座標値と前記計測点座標値記憶部に記憶された複数の計測点座標値とに基づいて、特徴点と特徴点に対応する計測点との距離に応じた値をパラメータ評価値として算出し、
前記取り付けパラメータ判定部が、前記パラメータ評価値算出部によって算出されたパラメータ評価値に基づいて前記取り付けパラメータに含まれる取り付け座標値が正しい値であるか否かを判定し、
前記取り付けパラメータ生成部が、前記取り付けパラメータ判定部によって前記取り付け座標値が正しい値でないと判定された場合、新たな取り付け座標値を含んだ取り付けパラメータを所定のパラメータ生成アルゴリズムによって生成し、生成した取り付けパラメータを前記パラメータ記憶部に記憶する
ことを特徴とするキャリブレーション装置のキャリブレーション方法。
計測領域内の複数の計測点それぞれの三次元の座標値を計測点座標値として記憶する計測点座標値記憶部と、前記計測領域を移動する移動体の特定の取り付け位置に取り付けられるカメラによって異なる地点から撮像された複数のカメラ画像を記憶するカメラ画像記憶部と、前記カメラの取り付け位置を示す座標値として取り付け座標値を含んだ取り付けパラメータを記憶する取り付けパラメータ記憶部とを備えるキャリブレーション装置を機能させるキャリブレーションプログラムであって、
前記カメラ画像記憶部に記憶される複数のカメラ画像に基づいて、複数のカメラ画像に共通して映る特徴点を判定する特徴点判定部と、
前記取り付けパラメータ記憶部に記憶された取り付けパラメータと前記特徴点判定部の判定結果とに基づいて、取り付けパラメータに含まれる取り付け座標値と特徴点の各カメラ画像内の座標値とを用いた三角測量の計算によって、特徴点の三次元の座標値を特徴点座標値として算出する特徴点座標値算出部と、
前記特徴点座標値算出部によって算出された特徴点座標値と前記計測点座標値記憶部に記憶された複数の計測点座標値とに基づいて、特徴点と特徴点に対応する計測点との距離に応じた値をパラメータ評価値として算出するパラメータ評価値算出部と、
前記パラメータ評価値算出部によって算出されたパラメータ評価値に基づいて前記取り付けパラメータに含まれる取り付け座標値が正しい値であるか否かを判定する取り付けパラメータ判定部と、
前記取り付けパラメータ判定部によって前記取り付け座標値が正しい値でないと判定された場合、新たな取り付け座標値を含んだ取り付けパラメータを所定のパラメータ生成アルゴリズムによって生成し、生成した取り付けパラメータを前記パラメータ記憶部に記憶する取り付けパラメータ生成部として
キャリブレーション装置を機能させるキャリブレーションプログラム。