JP6696230B2 - ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 - Google Patents

Description

本発明は、二台のラインセンサカメラ間の回転パラメータ及び並進パラメータを求めるラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法に関する。

従来、エリアカメラで平面マーカを様々な位置姿勢で撮影することで各撮影ごとの外部パラメータ及びカメラの内部パラメータを求める手法が提案されている（例えば、下記非特許文献１参照）。当該非特許文献１では、焦点距離や主点座標、歪みに関するカメラの内部パラメータのキャリブレーションをレンズキャリブレーションと呼んでいる。

また、ラインセンサカメラにより撮影を行う際に、実座標から画像座標への変換パラメータを算出するキャリブレーション装置も提案されている（例えば、下記特許文献１参照）。

また、二台のラインセンサカメラによりステレオ計測を行うための装置であり、二台のカメラ間の回転パラメータ及び並進パラメータ（外部パラメータ）のキャリブレーションを行う測定装置も提案されている（例えば、下記特許文献２参照）。当該特許文献２では、二台のカメラ間の外部パラメータのキャリブレーションのことをステレオキャリブレーションと呼んでいる。

特許第５７１２７９０号公報 特許第５５６５２２２号公報

Z. Zhang. "A Flexible New Technique for Camera Calibration",IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22, No. 11, pp. 1330-1334

しかしながら、上記非特許文献１及び上記特許文献１では、ラインセンサカメラのステレオキャリブレーションについては議論されていない。

また、上記特許文献２ではラインセンサカメラのステレオキャリブレーションについて開示されているが、マーカを決められた位置に決められた姿勢で設置する必要があり、このため設置誤差が発生するとステレオキャリブレーションの精度が低下するおそれがあるという問題があった。

このようなことから本発明は、簡易な手法で高精度にラインセンサカメラのキャリブレーションを行うことを可能としたラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法を提供することを目的とする。

上記の課題を解決するための第１の発明に係るラインセンサカメラのステレオキャリブレーション装置は、
大きさが既知である白色領域及び黒色領域が交互に配されたキャリブレーションマーカと、二台のラインセンサカメラと、前記二台のラインセンサカメラによって撮影した前記キャリブレーションマーカの画像に基づいて前記ラインセンサカメラの校正に用いるパラメータを求める画像処理部とを備えるラインセンサカメラのステレオキャリブレーション装置において、
前記画像処理部が、
前記キャリブレーションマーカを二通り以上の位置・姿勢で二台の前記ラインセンサカメラによって撮影した画像を入力する画像入力部と、
各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を３箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計３箇所以上算出し、計測座標として出力する計測座標算出部と、
前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出する外部パラメータ算出部と、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う非線形最適化部と
を有することを特徴とする。

また、上記の課題を解決するための第２の発明に係るラインセンサカメラのステレオキャリブレーション装置は、
前記計測座標算出部が、全ての前記画像から合計１３箇所以上の座標を算出して計測座標として出力し、
前記非線形最適化部が、前記計測座標、前記内部パラメータ、前記真値座標、及び前記外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
ことを特徴とする。

また、上記の課題を解決するための第３の発明に係るラインセンサカメラのステレオキャリブレーション方法は、
大きさが既知である白色領域及び黒色領域を交互に配されたキャリブレーションマーカを二通り以上の姿勢で二台のラインセンサカメラによって撮影し、
各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を３箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計３箇所以上算出して計測座標として出力し、
前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出し、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う
ことを特徴とする。

また、上記の課題を解決するための第４の発明に係るラインセンサカメラのステレオキャリブレーション方法は、
全ての前記画像から合計１３箇所以上の座標を算出して計測座標として出力し、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
ことを特徴とする。

本発明に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法によれば、簡易な手法で高精度にラインセンサカメラのキャリブレーションを行うことができる。

本発明の実施例１，２に係るステレオキャリブレーション装置の構成例を示す模式図である。 キャリブレーションマーカの一例を示す説明図である。 キャリブレーションマーカの他の例を示す説明図である。 本発明の実施例１に係るステレオキャリブレーション装置の画像処理部の構成を示すブロック図である。 本発明の実施例１に係るステレオキャリブレーションの流れを示すフローチャートである。 本発明の実施例２に係るステレオキャリブレーション装置の画像処理部の構成を示すブロック図である。 本発明の実施例２に係るステレオキャリブレーションの流れを示すフローチャートである。

以下、図面を用いて本発明に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法について説明する。

図１から図５を用いて本発明の実施例１に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法の詳細を説明する。

図１に示すように、本実施例に係るラインセンサカメラのステレオキャリブレーション装置は、一つのキャリブレーションマーカ１と、当該キャリブレーションマーカ１を二台のラインセンサカメラ２Ａ，２Ｂによって撮影して得られる画像を用いて、二台のラインセンサカメラ２Ａ，２Ｂ間の回転・並進パラメータを求める画像処理部３とを備えている。

キャリブレーションマーカ１は、例えば、図２に示すようにＩ字状に形成された基材に長手方向に沿って白帯（白色領域）１ａと黒帯（黒色領域）１ｂとを交互に配色したもの（１Ａ）、又は図３に示すようにＬ字状に形成された基材に長手方向に沿って白帯１ａと黒帯１ｂとを交互に配色したもの（１Ｂ）等とする。なお、白帯１ａ及び黒帯１ｂの幅はそれぞれ既知とする。

ラインセンサカメラ２Ａ，２Ｂは、１ラインの撮影を行う機器である。二台のラインセンサカメラ２Ａ，２Ｂは、パン角（水平方向の角度）以外の角度及び素子面の高さを一致させ、ラインセンサカメラ２Ａ，２Ｂが同一領域（キャリブレーションマーカ１）を撮影するように設置される。

画像処理部３は、二台のラインセンサカメラ２Ａ，２Ｂによって撮影した画像を解析してステレオキャリブレーションを実行するものである。画像処理部３は、図４に示すように画像入力部３ａ、計測座標算出部３ｂ、外部パラメータ算出部３ｃ、非線形最適化部３ｄおよび記憶部３ｅを備えている。

画像入力部３ａはラインセンサカメラ２Ａ，２Ｂによって取得したキャリブレーションマーカ１の画像を入力し、画像データとして記憶部３ｅに保管する。

計測座標算出部３ｂは画像データからキャリブレーションマーカ１の白黒帯（白帯１ａと黒帯１ｂとの切り替え地点や白帯１ａの中央地点、黒帯１ｂの中央地点など。以下、マーカ点という）の座標を検出し、各撮影でのキャリブレーションマーカ１のマーカ点の画像上の座標を計測座標データとして記憶部３ｅに保管する。

具体的には、計測座標算出部３ｂでは次の処理を行う。
まず、得られた画像から画像処理若しくは手動によりキャリブレーションマーカ１のマーカ点の座標を算出する。キャリブレーションマーカ１の白黒帯の実座標上での幅が既知のものを利用することで、キャリブレーションマーカ１から画像への変換パラメータ（焦点距離、歪み係数等の内部パラメータと、外部パラメータ）および二台のラインセンサカメラ２Ａ，２Ｂ間の外部パラメータの最適な値を求めることができる。

例えば、一方のラインセンサカメラ２Ａの画像座標をｕ、他方のラインセンサカメラ２Ｂの画像座標をｕ'、マーカ上の座標系における対応点の座標をＸ，Ｙとすると、これらの関係は、各ラインセンサカメラ２Ａ，２Ｂの内部パラメータ、二台のラインセンサカメラ２Ａ，２Ｂ間の変換パラメータ（以下、カメラ間外部パラメータという）及びラインセンサカメラ２Ａとキャリブレーションマーカ１との間の位置姿勢関係を表す外部パラメータ（以下、カメラマーカ間外部パラメータという）とを用いて、下式(1)および(2)のように表すことができる。

なお、ラインセンサカメラ２Ａの内部パラメータを焦点距離ｆ及び主点座標ｃ、ラインセンサカメラ２Ｂの内部パラメータを焦点距離ｆ'及び主点座標ｃ'、カメラ間外部パラメータを角度φ及び並進ベクトル成分τ₁，τ₂、カメラマーカ間外部パラメータを角度θ及び並進ベクトル成分ｔ₁，ｔ₂とした。また、スケーリング係数をｓとした。
また、本実施例ではＬ字マーカを用いて説明するが、Ｉ字マーカであっても基本的には同じである。

外部パラメータ算出部３ｃは、計測座標データ、ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｆ'，ｃ'、キャリブレーションマーカ１のマーカ点の真値座標を用い、各撮影で取得した画像について、カメラマーカ間外部パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂を求め、記憶部３ｅに保管する。

具体的には、外部パラメータ算出部３ｃでは次の処理を行う。
すなわち、上式(1)，(2)を展開すると、それぞれ下式(3)，(4)となる。

ここで、計測された座標値を主点座標０，焦点距離１として正規化した各ラインセンサカメラ２Ａ，２Ｂによって撮影した画像上の座標（正規化画像座標）ｘ＝（ｕ−ｃ）／ｆ，ｘ'＝（ｕ'−ｃ'）／ｆ'を用いると、上式(3)，(4)はそれぞれ下式(5)，(6)のように表すことができる。

上式(5)はキャリブレーションマーカ１上のある一点についての式であり、実際にはマーカ点が複数存在する場合複数の連立方程式となる。なおこの問題を解くためには最低三式以上の方程式が必要となるため、マーカ点は三点以上必要である。ここでマーカ点の数（以下、マーカ点数）が三点以上ある場合は最小二乗法で解を得る必要がある。上記非特許文献１にあるように特異値分解に代表される線形解法を用いることで解くことが可能である。ラインセンサカメラ２Ａからキャリブレーションマーカ１への外部パラメータはキャリブレーションマーカ１の位置（以下、マーカ位置）を変更するごとに求める必要があるため、カメラマーカ間外部パラメータθ，ｔ₁，ｔ₂をラインセンサカメラ２Ａによる撮影回数分（Ｍ枚分）求めることとなる。

上式(5)と同様の方法で上式(6)も解くことが可能である。ただし上式(6)におけるカメラ間外部パラメータφ，τ₁，τ₂はマーカ位置が変わっても変化しないパラメータのため、ここでは方程式はマーカ点数×マーカ撮影回数分の方程式を立てて計算する。

これによって二台のラインセンサカメラ２Ａ，２Ｂによって取得した画像からカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂、及びカメラ間外部パラメータφ，τ₁，τ₂を求めることができる。

非線形最適化部３ｄは、計測座標データ、ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｆ'，ｃ'、キャリブレーションマーカ１のマーカ点の真値座標、カメラマーカ間外部パラメータθ，ｔ₁，ｔ₂、及び、カメラ間外部パラメータφ，τ₁，τ₂を用いて、カメラマーカ間外部パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂の最適な値をレーベンバーグマーカート法に代表される非線形最適化手法を用いて算出し、記憶部３ｅに保管する。

具体的には、非線形最適化部３ｄでは次の処理を行う。
すなわち、カメラ間外部パラメータφ，τ₁，τ₂については一つのラインセンサカメラ２Ｂで撮られた画像のみを使って求めているため、最終的な評価として両方のラインセンサカメラ２Ａ，２Ｂで得られた画像でカメラ間外部パラメータφ，τ₁，τ₂の最適な値を得られている確証がない。

そこで上記の方法で求めたあるパラメータを初期値として、両方のラインセンサカメラ２Ａ，２Ｂで得られた画像を利用し最小二乗法を用いて最適なパラメータを求める。この最小二乗法を行う場合、他方のラインセンサカメラ２Ｂによって撮影した画像を用いるカメラ間外部パラメータφ，τ₁，τ₂と同時に一方のラインセンサカメラ２Ａによって撮影した画像を用いるカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂も同時に評価する必要があるため、レーベンバーグマーカート法のような非線形最適化手法が必要となる。

ここからは非線形最適化手法のための評価関数の設定について述べる。まず上式(3)，(4)の左辺をｘ＝（ｕ−ｃ）／ｆ，ｘ'＝（ｕ'−ｃ'）／ｆ'を用いて変形し、下式(3)'，(4)'を求める。

上式(3)'，(4)'より、下式(7)を最小化すればカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂の最適解が得られる。

ここで、Ｍは撮影回数、Ｎはマーカ点の総数である。ここでは二台のラインセンサカメラ２ Ａ ， ２ Ｂ があるため、各ラインセンサカメラ２Ａ，２Ｂの二乗誤差の和を最小化することで最適なカメラマーカ間外部パラメータθ，ｔ1，ｔ2及びカメラ間外部パラメータφ，τ1，τ2を求めている。
なお実際には歪曲収差があるため、補正を行う必要がある。すなわち、歪みのある正規化画像座標をｘd，ｘd'、歪みのない正規化画像座標をｘ，ｘ'とするとき、正規化画像座標をｘ，ｘ'及びラインセンサカメラ２Ａ，２Ｂの画像座標ｕ，ｕ'は、下式(8)，(8)'，(9)，(9)'のように表すことができる。

さらに、上式(8)，(9)から下式(10)が得られ、上式(8)'，(9)'から下式(10)'が得られる。

非線形最適化には、上式(10)，(10)'のｘ，ｘ'を上式(7)のｘ_ij，ｘ_ij'に代入した式を用いる。
なお最適化するパラメータはカメラ間外部パラメータφ，τ₁，τ₂と撮影回数Ｍ分のカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂の合計３Ｍ＋３個である。これを解くにはキャリブレーションマーカ１を少なくとも二通りの位置・姿勢で撮影し、且つ、各画像についてマーカ点の画像上の座標を３箇所以上算出するとともに、全ての画像からマーカ点の画像上の座標を更に合計３箇所以上（すなわち、３Ｍ＋３箇所以上）算出する必要がある。

このように、画像処理部３では、計測された座標値を主点座標０、焦点距離１の正規化画像座標に変換したものと、キャリブレーションマーカ１のマーカ点の真値座標を求めたパラメータを使って正規化画像座標に変換したものを比較し、その誤差が小さくなるようにパラメータの最適化を行う。

このような処理を行うことで画像からラインセンサカメラ２Ａ，２Ｂとキャリブレーションマーカ１の位置関係が求まり、キャリブレーションマーカ１の設置位置に依存しない（設置位置を画像から求めることが可能な）ラインセンサカメラ２Ａ，２Ｂのステレオキャリブレーションを実現することが可能となる。なお、ステレオキャリブレーションを行う上で必要となる二台のラインセンサカメラ２Ａ，２Ｂそれぞれのカメラ内部パラメータｆ，ｃ，ｆ'，ｃ'は、既知のレンズキャリブレーション手法等によって取得するものとする。

続いて、図５を用いて本実施例に係るステレオキャリブレーション方法について簡単に説明する。
図５に示すように、本実施例ではまず、キャリブレーションマーカ１を二台のラインセンサカメラ２Ａ，２Ｂからみて様々な（二通り以上の）位置・姿勢になるように設置し、各位置・姿勢に設置されたキャリブレーションマーカ１をそれぞれラインセンサカメラ２Ａ，２Ｂにより撮影する（ステップＳ１１）。取得したキャリブレーション画像は画像入力部３ａにより入力し、記憶部３ｅに保管される。
続いて、計測座標算出部３ｂによりキャリブレーション画像上のキャリブレーションマーカ１のマーカ点の座標を計測座標として算出する（ステップＳ１２）。
その後、外部パラメータ算出部３ｃにより、線形解法を用いて、撮影ごとのカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂、及びカメラ間外部パラメータφ，τ₁，τ₂を算出する（ステップＳ１３）。
最後に、非線形最適化部３ｄによりカメラマーカ間パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂を初期値として非線形最適化手法を用い、最適なカメラマーカ間パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂を算出する（ステップＳ１４）。
以上により、画像からラインセンサカメラ２Ａ，２Ｂとキャリブレーションマーカ１との位置関係を正確に求めることができ、キャリブレーションマーカ１の設置位置に依存しないキャリブレーションを実現することができる。

このように構成される本実施例に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法によれば、二次元平面上に写るキャリブレーションマーカ１を利用することを前提とした二次元空間座標→ライン画像座標の変換モデルを用いるため、ラインセンサカメラに対応したキャリブレーションを行うことができる。
また、線形解法だけでなく誤差関数を最小化する非線形解法を用いることで、二台のラインセンサカメラ２Ａ，２Ｂで得られる画像両方に対応した最適な外部パラメータを算出することが可能になる。
また、カメラマーカ間外部パラメータθ，ｔ₁，ｔ₂を画像から算出するため、キャリブレーションマーカ１の位置座標を事前に与える必要がなく、従来に比較してキャリブレーションマーカ１の設置誤差の問題を考慮する必要がなくなる。
すなわち、本実施例によれば、簡易な手法で高精度にラインセンサカメラのキャリブレーションを行うことが可能となる。

図６及び図７を用いて本発明の実施例２に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法の詳細を説明する。

本実施例に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法は、実施例１とは上述した非線形最適化部３ｄにおける処理が異なるものである。その他の構成は上述した実施例１と同様であり、以下の説明において実施例１と重複する説明は省略する。

図６に示すように、本実施例では、非線形最適化部３ｄにおいて、計測座標データ、カメラ内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'（ｋ₁，ｋ₂，ｋ₃，ｋ₁'，ｋ₂'，ｋ₃'は歪み係数）、マーカ点の真値座標、外部パラメータ算出部３ｃで求めた各撮影でのカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂を用いて、カメラマーカ間外部パラメータθ，ｔ₁，ｔ₂、カメラ間外部パラメータφ，τ₁，τ₂及び各ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'をレーベンバーグマーカート法に代表される非線形最適化法により算出し、記憶部３ｅへ保管する。

すなわち、本実施例では非線形最適化部３ｄにおいて上述した実施例１で求めたカメラマーカ間外部パラメータ、カメラ間外部パラメータに加え、各ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'も同時に最適化する。

すなわち、本実施例において非線形最適化部３ｄでは、最適化するパラメータをカメラ間外部パラメータφ，τ₁，τ₂とカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂×Ｍの合計３Ｍ＋３個のパラメータに加えて、各ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'を加えた合計３Ｍ＋１３個のパラメータに設定する。これを解くには少なくとも二通りの位置・姿勢でキャリブレーションマーカ１を撮影し、且つ、各画像についてマーカ点の画像上の座標を３箇所以上算出するとともに、全ての画像からマーカ点の画像上の座標を更に合計１３箇所以上（すなわち、３Ｍ＋１３箇所以上）算出する必要がある。なお評価関数は上式(7)と同様である。

図７を用いて本実施例に係るステレオキャリブレーション方法について簡単に説明する。

図７に示すように、本実施例ではまず、キャリブレーションマーカ１を二台のラインセンサカメラ２Ａ，２Ｂからみて様々な位置・姿勢になるように設置し、それぞれの位置における画像をラインセンサカメラ２Ａ，２Ｂにより撮影し、キャリブレーション画像を取得する（ステップＳ２１）。
続いて、計測座標算出部３ｂによりキャリブレーション画像上のキャリブレーションマーカ１のマーカ点の座標を計測座標として算出する（ステップＳ２２）。
その後、外部パラメータ算出部３ｃにより、線形解法を用いた撮影ごとのカメラマーカ間外部パラメータθ，ｔ₁，ｔ₂及びカメラ間外部パラメータφ，τ₁，τ₂を算出する（ステップＳ２３）。
最後に、非線形最適化部３ｄにより、カメラマーカ間パラメータθ，ｔ₁，ｔ₂、カメラ間外部パラメータφ，τ₁，τ₂及び各ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'を初期値として、非線形最適化手法により最適なカメラマーカ間パラメータθ，ｔ₁，ｔ₂、カメラ間外部パラメータφ，τ₁，τ₂及び各ラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'を算出する（ステップＳ２４）。
以上により、画像からラインセンサカメラ２Ａ，２Ｂとキャリブレーションマーカ１との位置関係を正確に求めることができ、キャリブレーションマーカ１の設置位置に依存しないキャリブレーションを実現することができる。

本実施例に係るラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法によれば、実施例１の効果に加え、二台のラインセンサカメラ２Ａ，２Ｂの内部パラメータｆ，ｃ，ｋ₁，ｋ₂，ｋ₃，ｆ'，ｃ'，ｋ₁'，ｋ₂'，ｋ₃'についても同時に求めることができる。

本発明は、ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法に適用することができる。

１，１Ａ，１Ｂ キャリブレーションマーカ
１ａ 白帯（白色領域）
１ｂ 黒帯（黒色領域）
２Ａ，２Ｂ ラインセンサカメラ
３ 画像処理部
３ａ 画像入力部
３ｂ 計測座標算出部
３ｃ 外部パラメータ算出部
３ｄ 非線形最適化部
３ｅ 記憶部

Claims (4)

1. 大きさが既知である白色領域及び黒色領域が交互に配された、位置が未知のキャリブレーションマーカと、二台のラインセンサカメラと、前記二台のラインセンサカメラによって撮影した前記キャリブレーションマーカの画像に基づいて前記ラインセンサカメラの校正に用いるパラメータを求める画像処理部とを備えるラインセンサカメラのステレオキャリブレーション装置において、
   前記画像処理部が、
   前記キャリブレーションマーカを二通り以上の位置・姿勢で二台の前記ラインセンサカメラによって撮影した画像を入力する画像入力部と、
   各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を３箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計３箇所以上算出し、計測座標として出力する計測座標算出部と、
   前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出する外部パラメータ算出部と、
   前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う非線形最適化部と
   を有することを特徴とするラインセンサカメラのステレオキャリブレーション装置。
2. 前記計測座標算出部が、全ての前記画像から合計１３箇所以上の座標を算出して計測座標として出力し、
   前記非線形最適化部が、前記計測座標、前記内部パラメータ、前記真値座標、及び前記外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
   ことを特徴とする請求項１記載のラインセンサカメラのステレオキャリブレーション装置。
3. 大きさが既知である白色領域及び黒色領域を交互に配された、位置が未知のキャリブレーションマーカを二通り以上の姿勢で二台のラインセンサカメラによって撮影し、
   各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を３箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計３箇所以上算出して計測座標として出力し、
   前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出し、
   前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う
   ことを特徴とするラインセンサカメラのステレオキャリブレーション方法。
4. 全ての前記画像から合計１３箇所以上の座標を算出して計測座標として出力し、
   前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
   ことを特徴とする請求項３記載のステレオキャリブレーション方法。

Images