JPH10115506A - ステレオカメラの調整装置 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオカメラの機械的な取り付け位置のズ
レを定量的に検出してズレ調整を容易化し、且つ、精密
な調整を可能として画像処理の処理精度向上に寄与す
る。 【解決手段】 調整対象となるステレオカメラユニット
１０で撮像した既知の距離の調整用パターンの画像を画
像処理用コンピュータ３０で処理して一致点を見出し、
幾何学的な計算によって画像の並進ズレ量及び回転ズレ
量を算出する。そして、これらのズレ量を参照してアク
チュエータ４１ａ，４１ｂを駆動し、画像ズレがなくな
るようステレオカメラユニット１０の各カメラ１０ａ，
１０ｂの位置を調整する。これにより、調整対象のステ
レオカメラの機械的な位置ズレによる画像上のズレ量を
定量的に把握し、ステレオカメラのズレ調整を容易且つ
精密なものとし、画像処理の処理精度向上に寄与するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラの
機械的取り付け位置のズレを調整するステレオカメラの
調整装置に関する。

【０００２】

【従来の技術】一般に、画像による三次元計測技術とし
て、２台のカメラ（ステレオカメラ）で対象物を異なる
位置から撮像した１対の画像の相関を求め、同一物体に
対する視差からステレオカメラの取り付け位置や焦点距
離等のカメラパラメータを用いて三角測量の原理により
距離を求める、いわゆるステレオ法による画像処理が知
られている。

【０００３】このステレオ法による画像処理装置として
は、本出願人は、先に、特開平５−１１４０９９号公報
において、車輌に搭載したステレオカメラで撮像した画
像を処理して車外の対象物の三次元位置を測定する技術
を提案している。

【０００４】

【発明が解決しようとする課題】ところで、ステレオカ
メラによって画像を撮像する場合、ステレオカメラには
機械的な６つの位置ズレ要素があり、撮像された１対の
画像に３つのズレとなって現れる。すなわち、図７
（ａ）に示すように、左右（Ｌ，Ｒ）のカメラ５０ａ，
５０ｂが、カメラの光軸方向をＺ軸、カメラ上方向をＹ
軸、カメラ横方向をＸ軸とするＸＹＺ直交座標系におい
て設定値Ｘ0の間隔で取り付けられている場合、右カメ
ラ５０ｂを基準とすると、現実には、各座標軸に平行な
並進ズレΔｘ，Δｙ，Δｚ、及び、図７（ｂ）に示すよ
うな各座標軸に対する回転ズレΔａ，Δｂ，Δｃの６つ
の機械的な微小ズレが存在する。これらの６つの機械的
なズレは、図８に示すように、（ｂ）に示すような右画
像に対し、（ａ）に示す左画像において、並進ズレα,
β及び回転ズレθの３つのズレとなって現れる。

【０００５】上述したように、ステレオ画像処理では、
ステレオカメラから得られた画像の相関を求め、同一物
体の視差から三角測量の原理により距離を算出するた
め、撮影された画像の間には視差以外のズレがないこと
が望ましく、ステレオカメラの取り付け精度に起因する
ズレのうち、並進ズレについては機械加工程度の組み付
け精度でも画像処理情報に与える影響は比較的少ない
が、回転ズレは測距対象物の距離が乗じられるため、影
響が大きくなる。

【０００６】しかしながら、従来、ステレオカメラの組
み付け精度を定量的に精密に計測することは困難であ
り、そのため、ステレオカメラの組み付け調整は、目視
調整あるいは画像処理の結果を見ながらの繰り返し調整
等、経験的な調整に頼らざるを得ず、画像処理の精度向
上を図るうえで支障となっていた。

【０００７】本発明は上記事情に鑑みてなされたもの
で、ステレオカメラの機械的な取り付け位置のズレを定
量的に検出してズレ調整を容易化し、且つ、精密な調整
を可能として画像処理の処理精度向上に寄与することの
できるステレオカメラの調整装置を提供することを目的
としている。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
ステレオカメラの取り付け位置のズレを調整するステレ
オカメラの調整装置であって、上記ステレオカメラで撮
像した既知の距離の調整用パターンに対する１対の画像
から、対応するパターンの一致点を計測する手段と、上
記計測した一致点の座標データと上記調整用パターンの
距離情報から逆算した一致点の座標データとに基づき、
上記ステレオカメラの機械的な位置ズレによる画像上の
ズレ量を算出する手段とを備えたことを特徴とする。

【０００９】請求項２記載の発明は、上記調整用パター
ンに対して設定した領域でのシティブロック距離の画素
単位の離散値が極小となる点を仮の一致点とし、この仮
の一致点の前後のシティブロック距離の変化に基づいて
シティブロック距離が連続的に分布するとみなした場合
の極小値の位置を特定し、この極小値の位置を直線近似
によって１画素以下の分解能で求めることにより、上記
一致点の計測を行うことを特徴とする。

【００１０】すなわち、請求項１記載の発明では、ステ
レオカメラで撮像した既知の距離の調整用パターンに対
する１対の画像から、対応するパターンの一致点を計測
し、この計測上の一致点の座標データと調整用パターン
の距離情報から逆算した一致点の座標データとに基づい
てステレオカメラの機械的な位置ズレによる画像上のズ
レ量を算出することにより、ステレオカメラの取り付け
位置のズレを調整可能とする。その際の一致点の計測
は、請求項２記載の発明では、調整用パターンに対して
設定した領域でのシティブロック距離の画素単位の離散
値が極小となる点を仮の一致点とし、この仮の一致点の
前後のシティブロック距離の変化に基づいてシティブロ
ック距離が連続的に分布するとみなした場合の極小値の
位置を特定し、この極小値の位置を直線近似によって１
画素以下の分解能で求めることにより行う。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図６は本発明の実施の一形
態を示し、図１はステレオカメラ調整装置の構成図、図
２は一致点計測処理のフローチャート、図３は調整用パ
ターンの一例を示す説明図、図４はシティブロック距離
の分布を示す説明図、図５は極小点周りのシティブロッ
ク距離の分布を示す説明図、図６は直線近似による極小
点座標の推測を示す説明図である。

【００１２】図１において、符号１はステレオカメラ調
整装置であり、一対の画像における同一物体の視差から
三角測量の原理によって距離を求める三次元計測装置等
における一対のカメラ（ステレオカメラ）に対し、各カ
メラの機械的な取り付け位置のズレを調整するものであ
る。

【００１３】上記ステレオカメラ調整装置１は、主とし
て、調整対象となるステレオカメラユニット１０に、そ
の撮像画像をアナログ／デジタル変換して貯える画像変
換ユニット２０が接続され、この画像変換ユニット２０
に、ステレオカメラの機械的な位置ズレを撮像画像に基
づいて計算する画像処理用コンピュータ３０が接続され
て構成される。

【００１４】上記ステレオカメラユニット１０は、電荷
結合素子（ＣＣＤ）等の固体撮像素子を用いた左右一対
のカメラ１０ａ，１０ｂからなり、互いの光軸が平行と
なるよう所定間隔で配設されている。各カメラ１０ａ，
１０ｂには、アクチュエータ４１ａ，４１ｂがそれぞれ
連設され、これらのアクチュエータ４１ａ，４１ｂによ
り、各カメラ１０ａ，１０ｂの支持位置が調整可能とな
っている。

【００１５】また、上記画像変換ユニット２０は、左右
のカメラ１０ａ，１０ｂで撮像したアナログ画像を、そ
れぞれ、所定の輝度階調（例えば２５６階調のグレース
ケール）を有するデジタル画像に変換するＡ／Ｄコンバ
ータ２１ａ，２１ｂが備えられ、各Ａ／Ｄコンバータ２
１ａ，２１ｂで変換された左右のデジタル画像が画像メ
モリ２２ａ，２２ｂにストアされる。

【００１６】また、上記画像処理用コンピュータ３０
は、中央処理装置（ＣＰＵ）３１にキーボード３２及び
ＣＲＴディスプレイ３３が接続され、上記ステレオカメ
ラユニット１０の各カメラ１０ａ，１０ｂに連設される
各アクチュエータ４１ａ，４１ｂに上記ＣＰＵ３１から
アンプ４０を介して駆動信号を出力し、各カメラ１０
ａ，１０ｂの機械的な位置ズレを調整することができる
ようになっている。

【００１７】上記画像処理用コンピュータ３０によるス
テレオカメラの位置ズレ調整は、調整対象のステレオカ
メラユニット１０で撮像した既知の距離の調整用パター
ンの画像を処理して一致点を見出し、幾何学的な計算に
より画像の並進ズレ量及び回転ズレ量を算出することに
より、半自動あるいは全自動で行うことができる。

【００１８】撮像画像の一致点計測は、上記画像処理用
コンピュータ３０における図２のフローチャートに示す
処理プログラムによって行われる。この処理に際して
は、予め、既知の距離（視差が計算できる距離）Ｚ0
に、図３に示すような調整用パターンを配置し、左右の
カメラ１０ａ，１０ｂで撮像した左右一対の画像を各画
像メモリ２２ａ，２２ｂにストアしておく。

【００１９】そして、図２の一致点計測処理のプログラ
ムをスタートすると、各画像メモリ２２ａ，２２ｂから
画像データを読み込んでＣＲＴディスプレイ３３に表示
し、ステップS101で、左画像を基準画像として、この左
画像に映っている調整用パターンを基準パターンとする
領域の指示入力となり、キーボード３２あるいは図示し
ないマウス等の入力機器から基準パターン領域の指示入
力を行うと、ステップS102へ進む。

【００２０】ステップS102では、右画像を比較画像とし
て、左画像の基準パターンに対応する比較パターンの探
索領域の指示入力となり、同様に、キーボード３２ある
いは図示しないマウス等の入力機器から比較パターン探
索領域の指示入力を行うと、ステップS102からステップ
S103へ進んで、指示された探索領域全域に渡って基準パ
ターンと同じ大きさの比較パターンを切り出し、相互の
シティブロック距離Ｄを計算する。

【００２１】上記ステップS103で得られるシティブロッ
ク距離Ｄは、マトリクス状になっており、図３に示すよ
うに、画像上の座標系を、左上隅を原点として、横方向
をｉ座標軸、縦方向をｊ座標軸とし、シティブロック距
離Ｄのｉ行ｊ列要素をＤ[ｉ,ｊ]と表記すると、シティ
ブロック距離Ｄの分布は、例えば、図４に示すような分
布となる。

【００２２】続くステップS104以降では、左右画像にお
けるパターンの一致点を計算する。この左右画像におけ
る一致点は、シティブロック距離Ｄの要素が極小となる
点、すなわち、相関が最も強い点の座標（ｉmin,ｊmi
n）で与えられるが、この座標（ｉmin,ｊmin）は、画素
毎に求めた離散的な値であり、１画素以下での計測に用
いるには精度が不足する。従って、上記座標（ｉmin,ｊ
min）を仮の一致点とし、以下の処理によって１画素以
下の分解能での一致点（ｉsub,ｊsub）を求める。

【００２３】すなわち、ｉ方向の極小点について考える
と、ｊmin列の極小点周辺（ｉmin行周辺）のシティブロ
ック距離Ｄは図５の丸印で示されるが、画素が無限に小
さいものであると仮定した場合、シティブロック距離Ｄ
は破線で示すように極小点周りに対称形で連続的に分布
するとみなすことができ、破線の極小値のｉ座標は、仮
の一致点とは異なる値になる。ｊ方向についても、同様
である。

【００２４】このため、ステップS104以降では、シティ
ブロック距離Ｄの分布が極小点周りに対称形となること
を利用し、仮の一致点の前後のシティブロック距離Ｄの
差の大小関係から極小値の位置を特定し、直線近似によ
って一致点の座標を計算する。尚、ここでは、一致点の
ｉ座標ｉsubを求める処理について説明するが、一致点
のｊ座標ｊsubも同様にして求めることができる。

【００２５】すなわち、ステップS104で、仮の一致点の
ｉ座標ｉminの前後のシティブロック距離Ｄの差ΔＤ0,
ΔＤ1を以下の(1),(2)式によって求めると、ステップS1
05で、それらを互いに比較することで、座標ｉmin−１
から座標ｉminにかけてのシティブロック距離Ｄの変
化、座標ｉminから座標ｉmin＋１にかけてのシティブロ
ック距離Ｄの変化、及び、シティブロック距離Ｄの分布
が極小点周りに対称であることを考慮し、極小点が座標
ｉminを中心として、座標ｉmin−１と座標ｉminとの
間、座標ｉminと座標ｉmin＋１との間のいずれに存在す
るかを調べる。 ΔＤ0＝Ｄ[ｉmin−１,ｊmin]−Ｄ[ｉmin,ｊmin] …(1) ΔＤ1＝Ｄ[ｉmin＋１,ｊmin]−Ｄ[ｉmin,ｊmin] …(2)

【００２６】その結果、ΔＤ0＜ΔＤ1のとき、すなわ
ち、座標ｉmin（仮の一致点）周辺で、シティブロック
距離Ｄが座標ｉminの前よりも後の方で大きく変化する
ときには、極小点のｉ座標は、座標ｉminと座標ｉmin−
１との間にあると判断し、上記ステップS105からステッ
プS106へ進んで、点Ｄ[ｉmin,ｊmin]と点Ｄ[ｉmin＋１,
ｊmin]とを通る直線Ｌ１の傾きｍを算出すると、ステッ
プS107で、点Ｄ[ｉmin−１,ｊmin]を通り、傾き−ｍと
なる直線Ｌ２を算出してステップS110へ進む。

【００２７】一方、上記ステップS105でΔＤ0≧ΔＤ1の
とき、すなわち、座標ｉmin（仮の一致点）周辺で、シ
ティブロック距離Ｄが座標ｉminの後よりも前の方で大
きく変化するときには、極小点のｉ座標は、座標ｉmin
と座標ｉmin＋１との間にあると判断し、上記ステップS
105からステップS108へ進んで、点Ｄ[ｉmin,ｊmin]と点
Ｄ[ｉmin−１,ｊmin]とを通る直線Ｌ１の傾きｍを算出
すると、ステップS109で、点Ｄ[ｉmin＋１,ｊmin]を通
り、傾き−ｍとなる直線Ｌ２を算出してステップS110へ
進む。

【００２８】ステップS110では、直線Ｌ１,Ｌ２の交点
を計算し、この交点を極小点のｉ座標ｉsubとしてプロ
グラムを終了する。図６は、ΔＤ0≧ΔＤ1のときの直線
Ｌ１，Ｌ２を示し、極小点周りのシティブロック距離Ｄ
の分布を互いに直交する直線で近似し、各直線の交点を
求めることにより、極小点を求めることができる。そし
て、同様にして、ｊ方向の一致点座標ｊsubを算出する
ことにより、基準パターンが探索領域のどこに映ってい
るかのかを、１画素以下の分解能で求めることができ
る。

【００２９】以上の処理によって求められた一致点に
は、被写体に対する視差の他、各カメラ１０ａ，１０ｂ
の機械的取り付け位置のズレに起因する画像の並進ズレ
及び回転ズレが含まれている。このため、以上の処理を
繰り返して少なくとも２個所のパターンの一致点を求
め、画像の並進ズレ及び回転ズレによるズレ量を画像処
理用コンピュータ３０で計算させる。

【００３０】ここで、画像中の異なる２点、例えば、基
準画像の２つのパターンの各点ｐ,ｑ（ｐ＝[ｐi,ｐ
j]^T、ｑ＝[ｑi,ｑj]^T）が、それぞれ、回転、並進によ
り、点ｐ1,q1（ｐ1＝[ｐ1i,ｐ1j]^T、ｑ1＝[ｑ1i,ｑ1
j]^T）に移動しているものとすると、ｉ−ｊ平面上での
回転ズレ量をθ、ｉ方向並進ズレ量をα、ｊ方向並進ズ
レ量をβとして、各点ｐ1,ｑ1は、以下の(3)式で示す変
換行列Ａを用い、以下の(4),(5)式で表すことができ
る。

【００３１】 ｐ1＝Ａｐ …(4) ｑ1＝Ａｑ …(5) 従って、上記(4),(5)式を展開し、以下の(6)〜(9)式の
置き換えを用いることにより、回転ズレ量θ、ｉ方向並
進ズレ量α、ｊ方向並進ズレ量βを、以下の(10)〜(12)
式で表すことができる。

【００３２】Δｉ ＝ｐi −ｑi …(6) Δｉ1＝ｐ1i−ｑ1i …(7) Δｊ ＝ｐj −ｑj …(8) Δｊ1＝ｐ1j−ｑ1j …(9) 但し、ｐ≠ｑであるため、Δｉ,Δｉ1,Δｊ,Δｊ1≠０ θ＝ｔａｎ^-1{(ΔｉΔｊ1−Δｉ1Δｊ)/(ΔｉΔｉ1＋ΔｊΔｊ1)} …(10) α＝ｐ1i− {ｐi(ΔｉΔｉ1＋ΔｊΔｊ1)−ｐj(ΔｉΔｊ1−Δｉ1Δｊ)}/(Δｉ²＋Δｊ²) …(11) β＝ｐ1j− {ｐi(ΔｉΔj1＋Δi1Δｊ)−ｐj(ΔｉΔｉ1＋ΔｊΔｊ1)}/(Δｉ²＋Δｊ²) …(12) 以上により、前述の一致点計測処理で求めた一致点の座
標データを上記(10),(11),(12)式におけるｐ1,ｑ1のデ
ータとして与え、既知の距離Ｚ0から逆算した視差に基
づいて画像ズレがないとしたときの座標データを上記(1
0),(11),(12)式におけるｐ,ｑのデータとして適用する
ことにより、回転ズレ量θ、ｉ方向並進ズレ量α、ｊ方
向並進ズレ量βを計算することができる。

【００３３】すなわち、画像処理用コンピュータ３０で
前述の一致点計測処理を行った後、画像ズレ量の演算指
示を行うと、画像処理ユニット３０内で画像ズレ量θ,
α,βが計算され、計算結果がＣＲＴディスプレイ３３
に出力・表示される。この画像ズレ量の計算結果を参照
し、アクチュエータ４１ａ，４１ｂを駆動して画像ズレ
がなくなるようステレオカメラユニット１０の各カメラ
１０ａ，１０ｂの位置を調整する。そして、調整完了
後、例えば、接着等により各カメラ１０ａ，１０ｂを固
定する。

【００３４】これにより、従来、経験的な調整に頼って
いたステレオカメラの組み付け精度を、定量的なズレ量
の把握により大幅に向上することができ、画像処理の処
理精度を向上させることができるのである。

【００３５】尚、画像処理用コンピュータ３０で撮像画
像を自動的に処理して画像ズレ量の計算結果に応じた信
号をアンプ４０を介してアクチュエータ４１ａ，４１ｂ
に自動的に出力するよう構成することで、以上の一致点
計測から画像ズレ量計算、この画像ズレ量の計算結果に
応じたカメラ位置調整までを全て自動化することも容易
である。

【００３６】

【発明の効果】以上説明したように本発明によれば、ス
テレオカメラで撮像した既知の距離の調整用パターンに
対する１対の画像から、対応するパターンの一致点を計
測し、この計測上の一致点の座標データと調整用パター
ンの距離情報から逆算した一致点の座標データとに基づ
いてステレオカメラの機械的な位置ズレによる画像上の
ズレ量を算出するため、ステレオカメラの取り付け精度
を定量的に把握して容易且つ精密なズレ調整を可能とす
ることができ、従来、経験的な調整に頼っていたステレ
オカメラの組み付け精度を大幅に向上し、画像処理の処
理精度向上に寄与することができる等優れた効果が得ら
れる。

【図面の簡単な説明】

【図１】ステレオカメラ調整装置の構成図

【図２】一致点計測処理のフローチャート

【図３】調整用パターンの一例を示す説明図

【図４】シティブロック距離の分布を示す説明図

【図５】極小点周りのシティブロック距離の分布を示す
説明図

【図６】直線近似による極小点座標の推測を示す説明図

【図７】ステレオカメラの機械的な位置ズレを示す説明
図

【図８】ステレオカメラの機械的な位置ズレによる画像
ズレを示す説明図

【符号の説明】

１ …ステレオカメラ調整装置 １０ …ステレオカメラユニット ２０ …画像変換ユニット ３０ …画像処理用コンピュータ ｉsub,ｊsub…一致点座標 θ,α,β …画像ズレ量

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ステレオカメラの取り付け位置のズレを
   調整するステレオカメラの調整装置であって、 上記ステレオカメラで撮像した既知の距離の調整用パタ
   ーンに対する１対の画像から、対応するパターンの一致
   点を計測する手段と、 上記計測した一致点の座標データと上記調整用パターン
   の距離情報から逆算した一致点の座標データとに基づ
   き、上記ステレオカメラの機械的な位置ズレによる画像
   上のズレ量を算出する手段とを備えたことを特徴とする
   ステレオカメラの調整装置。
2. 【請求項２】 上記調整用パターンに対して設定した領
   域でのシティブロック距離の画素単位の離散値が極小と
   なる点を仮の一致点とし、この仮の一致点の前後のシテ
   ィブロック距離の変化に基づいてシティブロック距離が
   連続的に分布するとみなした場合の極小値の位置を特定
   し、この極小値の位置を直線近似によって１画素以下の
   分解能で求めることにより、上記一致点の計測を行うこ
   とを特徴とする請求項１記載のステレオカメラの調整装
   置。