JP3792832B2 - ステレオカメラの調整装置 - Google Patents
ステレオカメラの調整装置 Download PDFInfo
- Publication number
- JP3792832B2 JP3792832B2 JP11726897A JP11726897A JP3792832B2 JP 3792832 B2 JP3792832 B2 JP 3792832B2 JP 11726897 A JP11726897 A JP 11726897A JP 11726897 A JP11726897 A JP 11726897A JP 3792832 B2 JP3792832 B2 JP 3792832B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo camera
- optical position
- coordinate
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの光学的位置を機械的な調整を行うことなく電気的に調整するステレオカメラの調整装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、ステレオカメラから得られた２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、２つの画像間には視差以外のズレがないことが望ましく、ステレオカメラの光学位置調整が重要となる。このため、特開平５−１１５７５５７号公報には、一対のビデオカメラを連結保持する保持部材に、一方のビデオカメラのイメージセンサの画素の並びが他方のビデオカメラのイメージセンサの画素の並びと平行になるように調整する平行調整手段、一方のビデオカメラの光軸と他方のビデオカメラの光軸とが平行となるように調整する光軸調整部材を設け、２台のカメラの相関関係を機械的に調整・保持する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、ステレオカメラには、６つの機械的な位置ズレ要素が存在し、ステレオカメラの光学的位置の調整が不完全であると、撮像された１対の画像に３つのズレとなって現れ、また、各々のレンズの焦点距離のバラツキが画角の相違となって現れる。
【０００５】
すなわち、図１０（ａ）に示すように、左右（Ｌ，Ｒ）のカメラ５０ａ，５０ｂが、カメラの光軸方向をＺ軸、カメラ上方向をＹ軸、カメラ横方向をＸ軸とするＸＹＺ直交座標系において設定値Ｘ0の間隔で取り付けられている場合、右カメラ５０ｂを基準とすると、現実には、各座標軸に平行な並進ズレΔｘ，Δｙ，Δｚ、及び、図１０（ｂ）に示すような各座標軸に対する回転ズレΔａ，Δｂ，Δｃの６つの機械的な微小ズレが存在し、これらの６つの機械的なズレが、図１１（ｂ）に示す基準画像（右画像）に対し、図１１（ａ）に示す比較画像（左画像）において、並進ズレα,β及び回転ズレθの３つのズレとなって現れる。また、レンズの焦点距離のバラツキによる画角の相違から、基準画像（右画像）上の物体像と、比較画像（右画像）上の物体像とでは、大きさが異なってしまう。
【０００６】
このような２つの画像におけるズレのうち、機械的な並進ズレについては機械加工程度の組み付け精度でも画像処理情報に与える影響は比較的少ないが、回転ズレは測距対象物の距離が乗じられるため、影響が大きく、機械的な調整では精度確保に限界がある。さらには、画角の相違によるずれを機械的な調整で取り除くことは困難である。
【０００７】
また、一旦、固定したステレオカメラに経年変化によるズレが生じた場合、従来では、機械構造的に再調整しなければならず、煩雑な作業を要するばかりでなく、再調整のための時間も長くなる。
【０００８】
本発明は上記事情に鑑みてなされたもので、ステレオカメラの光学的位置を、機械的には調整困難なレベルまで精密に調整可能とし、且つ、調整後の経年変化によるズレに対しても容易に再調整が可能なステレオカメラの調整装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、１組のステレオカメラの光学的位置を調整するステレオカメラの調整装置であって、上記ステレオカメラで撮像した画像を、予め画像間のズレに応じて設定した変換値で幾何学的に変換すると共に、変換された画像に対して周囲画素の濃度値を用いて線形補間を行い、等価的に上記ステレオカメラの光学的位置を調整・一致させる手段を備え、上記変換をアフィン変換とし、該アフィン変換の変換値を、上記ステレオカメラで撮像した既知の距離の調整用パターンに対する１対の画像における対応するパターンの一致点を１画素以下の分解能にて計測して求めた座標データと、上記調整用パターンの距離情報から逆算した一致点の座標データとに基づいて算出することを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、上記変換においては、比較画像の基準画像に対する拡大率を算出し、この拡大率を含むパラメータを用いて逆アフィン変換することで、レンズ焦点距離のバラツキによる画角の相違を調整すると共に、回転方向の光学的位置、水平方向の光学的位置、及び、垂直方向の光学的位置を調整することを特徴とする。
【００１３】
すなわち、画像間でズレのあるステレオカメラに対し、ステレオカメラで撮像した画像を予め画像間のズレに応じて設定した変換値で幾何学的に変換すると共に、変換された画像に対して周囲画素の濃度値を用いて線形補間を行うことで、光学的に位置合わせをした画像と等価な画像を得ることができる。画像の幾何学変換は、アフィン変換により行い、このアフィン変換の変換値は、ステレオカメラで撮像した既知の距離の調整用パターンに対する１対の画像における対応するパターンの一致点を１画素以下の分解能にて計測して求めた座標データと、調整用パターンの距離情報から逆算した一致点の座標データとに基づいて算出する。
【００１４】
その際、比較画像の基準画像に対する拡大率を算出し、この拡大率を含むパラメータを用いて逆アフィン変換することで、レンズ焦点距離のバラツキによる画角の相違を調整すると共に、回転方向の光学的位置、水平方向の光学的位置、及び、垂直方向の光学的位置を調整することが好ましい。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図９は本発明の実施の一形態に係わり、図１は画像補正装置のブロック図、図２はアフィン変換回路のブロック図、図３はＣＣＤカメラの取り付けを示す説明図、図４は画像取り込みと逆アフィン変換のタイミングを示す説明図、図５は一致点計測処理のフローチャート、図６は調整用パターンの一例を示す説明図、図７はシティブロック距離の分布を示す説明図、図８は極小点周りのシティブロック距離の分布を示す説明図、図９は直線近似による極小点座標の推測を示す説明図である。
【００１７】
図３において、符号１は、例えば電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッタースピード可変のＣＣＤカメラであり、このＣＣＤカメラ１、及び、このＣＣＤカメラ１と同期が取られ、シャッタースピード可変のＣＣＤカメラ２がステー３の両端に固定され、同一の領域を異なる視点から撮像するステレオ撮像系を構成している。尚、図３（ａ）は上面図、図３（ｂ）は正面図である。
【００１８】
この場合、上記２台のＣＣＤカメラ１，２からなるステレオ撮像系は、各ＣＣＤカメラ１，２の各レンズ１ａ，２ａが同じ焦点距離の仕様となっており、互いの光軸が平行となるように上記ステー３に機械的に固定されて構成されているが、各ＣＣＤカメラ１，２の取り付け位置のズレや焦点距離のバラツキ、さらには、ＣＣＤカメラ１内部の撮像面とＣＣＤカメラ２内部の撮像面とのズレ等により、必ずしも厳密に光学的位置が揃っているとは言えない。すなわち、厳密には、各ＣＣＤカメラ１，２で撮像した１組の画像には、機械的な位置ズレに起因する回転ズレや並進ズレの誤差が含まれており、また、レンズの焦点距離のバラツキにより画角が異なっている。
【００１９】
このため、各ＣＣＤカメラ１，２は画像補正装置１０に接続されるようになっており、この画像補正装置１０によって各ＣＣＤカメラ１，２で撮像した画像における画角差、回転ズレ、並進ズレが補正され、等価的に各ＣＣＤカメラ１，２の光学的位置が精密調整される。そして、上記画像補正装置１０で補正された１組の画像がステレオ画像処理装置４０に読み込まれ、ステレオマッチングにより２つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われることになる。
【００２０】
図１に示すように、上記画像補正装置１０には、ＣＣＤカメラ１，２の各系統に対応して、各ＣＣＤカメラ１，２からのアナログ画像を後段（Ａ／Ｄコンバータ１３，１４）の入力レンジに合わせるためのアナログインターフェース１１，１２、アナログ画像を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換するＡ／Ｄコンバータ１３，１４、デジタル化された画像を一時的に記憶する入力画像メモリ１５，１６、及び、これらの入力画像メモリ１５，１６に記憶されたデジタル画像に対し、画像の拡大・縮小、回転、平行移動等の幾何学的変換を行い、ステレオ画像処理装置４０に出力するアフィン変換回路１７，１８が備えられている。
【００２１】
ここで、各ＣＣＤカメラ１，２で撮像した１組の画像に対し、画像上の座標系を、左上隅を原点として、横方向をｉ座標軸、縦方向をｊ座標軸とすると（図６参照）、基準画像上の所定の点に対応する比較画像上の一致点には、２台のＣＣＤカメラ１，２の光学的位置調整が完全である場合に対し、機械的な位置ズレに起因する回転ズレや並進ズレの誤差が含まれており、また、レンズの焦点距離のバラツキにより基準画像の画角と比較画像の画角とは必ずしも一致しない。
【００２２】
すなわち、比較画像上の異なる２つの一致点ｐ'(ｉp',ｊp')，ｑ'(ｉq',ｊq')について着目すると、これらの一致点ｐ',ｑ'は、２台のＣＣＤカメラ１，２の光学的位置調整が完全である場合の本来の一致点ｐ(ｉp,ｊp)，ｑ(ｉq,ｊq)が、回転、並進、拡大・縮小によって移動していると考えられ、点ｐと点ｐ'との関係、及び、点ｑと点ｑ'との関係は、回転、移動、拡大・縮小が複合した線形変換すなわちアフィン変換であるとみなすことができる。
【００２３】
従って、ｉ−ｊ平面上での回転ズレ量をθ、ｉ方向並進ズレ量をα、ｊ方向並進ズレ量をβ、拡大率（縮小率）をＲとすると、点ｐと点ｐ'との関係、及び、点ｑと点ｑ'との関係は、各変換行列を用いた同次座標系で表現すると、以下の(1),(2)式で与えられる。
【００２４】
そして、上記(1),(2)式を展開して得られる連立方程式を以下の(3)〜(6)式の置き換えを用いて解くことにより、回転ズレ量θ、ｉ方向並進ズレ量α、ｊ方向並進ズレ量βを以下の(7)〜(9)式で算出することができる。
【００２５】
上記(7)〜(9)式における点ｐ',ｑ'のデータは、図６に示すように、予め、既知の距離（視差が計算できる距離）に配置した調整用パターンを撮像し、この撮像画像から計測した一致点の座標データとして与えることができ、点ｐ,ｑのデータは、既知の距離から逆算した視差に基づく一致点の座標データとして与えることができる。
【００２６】
また、上記(7)〜(9)式における拡大率Ｒは、基準画像における２点間の距離と、これらの２点に対応する比較画像の２つの一致点の間の距離との比で求めることができる。本形態では、図６に示すように、５個程度の調整用パターンを用い、基準画像におけるパターン間の距離と、対応する比較画像のパターン間の距離との比を平均して拡大率Ｒを求める。
【００２７】
詳細には、図６に示すように、基準画像上で、画面中央の調整用パターンの点ｃ(ｉc,ｊc)と、画面周辺の４個の調整用パターンの各点ａ(ｉa,ｊa)，ｂ(ｉb,ｊb)，ｄ(ｉd,ｊd)，ｅ(ｉe,ｊe)との距離ＡＣ，ＢＣ，ＤＣ，ＥＣを以下の(10)〜(13)式で求める。そして、これらの各距離ＡＣ，ＢＣ，ＤＣ，ＥＣに対し、比較画像上での対応する距離、すなわち、画面中央の調整用パターンの一致点ｃ'(ｉc',ｊc')と、画面周辺の４個の調整用パターンの各一致点ａ'(ｉa',ｊa')，ｂ'(ｉb',ｊb')，ｄ'(ｉd',ｊd')，ｅ'(ｉe',ｊe')との距離Ａ'Ｃ'，Ｂ'Ｃ'，Ｄ'Ｃ'，Ｅ'Ｃ'を以下の(14)〜(17)式で求め、(18)式に示すように、対応する距離の比を平均して拡大率Ｒを求める。
【００２８】
ＡＣ ＝{ (ｉa−ｉc)2＋(ｊa−ｊc)2 }1/2 …(10)
ＢＣ ＝{ (ｉb−ｉc)2＋(ｊb−ｊc)2 }1/2 …(11)
ＤＣ ＝{ (ｉd−ｉc)2＋(ｊd−ｊc)2 }1/2 …(12)
ＥＣ ＝{ (ｉe−ｉc)2＋(ｊe−ｊc)2 }1/2 …(13)
Ａ'Ｃ'＝{ (ｉa'−ｉc')2＋(ｊa'−ｊc')2 }1/2 …(14)
Ｂ'Ｃ'＝{ (ｉb'−ｉc')2＋(ｊb'−ｊc')2 }1/2 …(15)
Ｄ'Ｃ'＝{ (ｉd'−ｉc')2＋(ｊd'−ｊc')2 }1/2 …(16)
Ｅ'Ｃ'＝{ (ｉe'−ｉc')2＋(ｊe'−ｊc')2 }1/2 …(17)
Ｒ＝(Ａ'Ｃ'／ＡＣ＋Ｂ'Ｃ'／ＢＣ＋Ｄ'Ｃ'／ＤＣ＋Ｅ'Ｃ'／ＥＣ)／５…(18)以上により求めた拡大率Ｒ、回転ズレ量θ、ｉ方向並進ズレ量α、ｊ方向並進ズレ量βは、上記アフィン変換回路１７，１８における画像変換の初期値として与えられ、２台のＣＣＤカメラ１，２で撮像した画像を幾何学変換することにより、２台のＣＣＤカメラ１，２の光学的位置を調整したのと同等の画像を得ることができる。
【００２９】
上記アフィン変換回路１７，１８は、一方のアフィン変換回路１７で代表すると、図２に示すような内部構成となっており、入力画像メモリ１５へのデータの書き込み及びデータの読み出しを行う画像メモリデータインターフェース２０、入力画像メモリ１５のアドレス指定を行う画像メモリアドレスインターフェース２１、Ａ／Ｄコンバータ１３からの画像データを入力画像メモリ１５に書き込む際のアドレスを生成する入力画像書き込みアドレス生成回路２２、入力画像メモリ１５から画像データを読み出して画像の幾何学的変換を行う際のアドレスを逆アフィン変換によって生成する逆アフィン変換読み出しアドレス生成回路２３、逆アフィン変換によって読み出されたデータに対して線形補間を行い、変換画像データを出力する補間演算回路２４等が備えられている。
【００３０】
すなわち、上記アフィン変換回路１７，１８による画像の幾何学的変換では、変換前の原画像及び変換後の画像は、共に正方格子上に画素を配置したデジタル画像であり、変換後の画像上の画素の濃度値は、原画像を逆アフィン変換して求めた対応画素位置の濃度値で与えられる。この逆アフィン変換による原画像の対応画素位置は、一般に整数画素位置とはならず、原画像に対応画素が存在しないため、上記補間演算回路２４では、周囲４画素の濃度値を用いて線形補間を行い、変換後の画像上で画素の濃度値を隙間なく求める。
【００３１】
上記アフィン変換回路１７，１８では、図４に示すように、フィールド信号のサンプル期間で各ＣＣＤカメラ１，２からの画像信号、例えば、各ＣＣＤカメラ１，２から水平同期信号及び垂直同期信号に同期して出力されるＮＴＳＣ映像信号等の画像信号がサンプルされると、このサンプル画像を次のフィールド区間で画像変換する。
【００３２】
すなわち、アナログインターフェース１１，１２によってＡ／Ｄコンバータ１３，１４の入力レンジに合わせて各ＣＣＤカメラ１，２からの画像信号のゲイン・オフセット等が調整され、Ａ／Ｄコンバータ１３，１４によってＡ／Ｄ変換されたデジタル画像データが、アフィン変換回路１７，１８の入力画像書き込みアドレス生成回路２２，２２で生成したアドレスに従って入力画像メモリ１５，１６に格納され、次のフィールド区間で、入力画像メモリ１５，１６からアフィン変換回路１７，１８の逆アフィン変換読み出しアドレス生成回路２３，２３で生成したアドレスの濃度データが読み出される。
【００３３】
そして、この濃度データに対し、アフィン変換回路１７，１８の補間演算回路２４，２４で補間演算を行って変換画像をステレオ画像処理装置４０に出力する。この場合、ＣＣＤカメラ２で撮像した画像を基準画像、ＣＣＤカメラ１で撮像した画像を比較画像とすると、本形態では、実際に画像の幾何学的変換を行うのはＣＣＤカメラ１側（比較画像側）のアフィン変換回路１７であり、ＣＣＤカメラ２側（基準画像側）のアフィン変換回路１８では、Ａ／Ｄコンバータ１４でデジタル変換されたＣＣＤカメラ２からの画像を、幾何学的変換を行うことなくステレオ画像処理装置４０に出力する。
【００３４】
上記ＣＣＤカメラ１，２の光学的位置調整の補正値、すなわち上記アフィン変換回路１７，１８における画像変換値は、図１に示す補正値検出装置３０によって与えられる。この補正値検出装置３０は、中央処理装置（ＣＰＵ）３１、画像メモリ３２，３３、キーボード３４、及び、ＣＲＴディスプレイ３５等からなるコンピュータであり、ＣＣＤカメラ１，２の光学的位置の初期調整時や、経年変化によって初期調整時からずれた場合等に、上記画像メモリ３２，３３を介して上記画像補正装置１０のＡ／Ｄコンバータ１３，１４に接続され、画像変換値を演算して上記画像補正装置１０のアフィン変換回路１７を初期設定（前述したように、本形態では、基準画像側のアフィン変換回路１８の設定値は固定）することで、随時、ＣＣＤカメラ１，２に対する光学的位置の調整値を変更することができる。
【００３５】
上記補正値検出装置３０における画像変換値の演算は、前述の図６の調整用パターンをＣＣＤカメラ１，２によって撮像し、この調整用パターンの撮像画像から基準画像に対する比較画像の一致点を計測することで行われる。以下、上記補正値検出装置３０における一致点計測処理について、図５のフローチャートに従って説明する。
【００３６】
上記補正値検出装置３０では、図５の一致点計測処理のプログラムがスタートすると、画像補正装置１０の入力画像メモリ１５，１６から画像データを読み込んでＣＲＴディスプレイ３５に表示し、ステップS101で、基準画像に映っている調整用パターンを基準パターンとする領域の指示入力となる。そして、キーボード３４あるいは図示しないマウス等の入力機器から基準パターン領域の指示入力を行うと、ステップS102へ進む。
【００３７】
ステップS102では、基準画像の基準パターンに対応する比較画像の比較パターンの探索領域の指示入力となり、同様に、キーボード３４あるいは図示しないマウス等の入力機器から比較パターン探索領域の指示入力を行い、ステップS103へ進むと、指示された探索領域全域に渡って基準パターンと同じ大きさの比較パターンを切り出し、相互のシティブロック距離Ｄを計算する。このステップS103で得られるシティブロック距離Ｄは、マトリクス状になっており、シティブロック距離Ｄのｉ行ｊ列要素をＤ[ｉ,ｊ]と表記すると、シティブロック距離Ｄの分布は、例えば、図７に示すような分布となる。
【００３８】
続くステップS104以降では、基準画像と比較画像とのパターンの一致点を計算する。この一致点は、シティブロック距離Ｄの要素が極小となる点、すなわち、相関が最も強い点の座標（ｉmin,ｊmin）で与えられるが、この座標（ｉmin,ｊmin）は画素毎に求めた離散的な値であり、１画素以下での計測に用いるには精度が不足する。従って、上記座標（ｉmin,ｊmin）を仮の一致点とし、以下の処理によって１画素以下の分解能での一致点（ｉsub,ｊsub）を求める。
【００３９】
すなわち、ｉ方向の極小点について考えると、ｊmin列の極小点周辺（ｉmin行周辺）のシティブロック距離Ｄは図８の丸印で示されるが、画素が無限に小さいものであると仮定した場合、シティブロック距離Ｄは破線で示すように極小点周りに対称形で連続的に分布するとみなすことができ、破線の極小値のｉ座標は、仮の一致点とは異なる値になる。ｊ方向についても、同様である。
【００４０】
このため、ステップS104以降では、シティブロック距離Ｄの分布が極小点周りに対称形となることを利用し、仮の一致点の前後のシティブロック距離Ｄの差の大小関係から極小値の位置を特定し、直線近似によって一致点の座標を計算する。尚、ここでは、一致点のｉ座標ｉsubを求める処理について説明するが、一致点のｊ座標ｊsubも同様にして求めることができる。
【００４１】
すなわち、ステップS104で、仮の一致点のｉ座標ｉminの前後のシティブロック距離Ｄの差ΔＤ0,ΔＤ1を以下の(19),(20)式によって求めると、ステップS105で、それらを互いに比較することで、座標ｉmin−１から座標ｉminにかけてのシティブロック距離Ｄの変化、座標ｉminから座標ｉmin＋１にかけてのシティブロック距離Ｄの変化、及び、シティブロック距離Ｄの分布が極小点周りに対称であることを考慮し、極小点が座標ｉminを中心として、座標ｉmin−１と座標ｉminとの間、座標ｉminと座標ｉmin＋１との間のいずれに存在するかを調べる。
【００４２】
ΔＤ0＝Ｄ[ｉmin−１,ｊmin]−Ｄ[ｉmin,ｊmin] …(19)
ΔＤ1＝Ｄ[ｉmin＋１,ｊmin]−Ｄ[ｉmin,ｊmin] …(20)
その結果、ΔＤ0＜ΔＤ1のとき、すなわち、座標ｉmin（仮の一致点）周辺で、シティブロック距離Ｄが座標ｉminの前よりも後の方で大きく変化するときには、極小点のｉ座標は、座標ｉminと座標ｉmin−１との間にあると判断し、上記ステップS105からステップS106へ進んで、点Ｄ[ｉmin,ｊmin]と点Ｄ[ｉmin＋１,ｊmin]とを通る直線Ｌ１の傾きｍを算出すると、ステップS107で、点Ｄ[ｉmin−１,ｊmin]を通り、傾き−ｍとなる直線Ｌ２を算出してステップS110へ進む。
【００４３】
一方、上記ステップS105でΔＤ0≧ΔＤ1のとき、すなわち、座標ｉmin（仮の一致点）周辺で、シティブロック距離Ｄが座標ｉminの後よりも前の方で大きく変化するときには、極小点のｉ座標は、座標ｉminと座標ｉmin＋１との間にあると判断し、上記ステップS105からステップS108へ進んで、点Ｄ[ｉmin,ｊmin]と点Ｄ[ｉmin−１,ｊmin]とを通る直線Ｌ１の傾きｍを算出すると、ステップS109で、点Ｄ[ｉmin＋１,ｊmin]を通り、傾き−ｍとなる直線Ｌ２を算出してステップS110へ進む。
【００４４】
ステップS110では、直線Ｌ１,Ｌ２の交点を計算し、この交点を極小点のｉ座標ｉsubとしてプログラムを終了する。図９は、ΔＤ0≧ΔＤ1のときの直線Ｌ１，Ｌ２を示し、極小点周りのシティブロック距離Ｄの分布を互いに直交する直線で近似し、各直線の交点を求めることにより、極小点を求めることができる。そして、同様にして、ｊ方向の一致点座標ｊsubを算出することにより、基準パターンが探索領域のどこに映っているのかを、１画素以下の分解能で求めることができる。
【００４５】
以上の処理を繰り返して各調整用パターンの一致点を求め、前述の(18)式によって拡大率Ｒを算出した後、前述の(7)〜(9)式によって回転ズレ量θ、ｉ方向並進ズレ量α、ｊ方向並進ズレ量βを算出し、画像補正装置１０のアフィン変換回路１７へ初期値として与える。
【００４６】
これにより、煩雑な機械的調整を要することなく、ステレオカメラの光学的位置を等価的に合わせた画像を容易に得ることができ、しかも、機械的な取り付け位置の調整では困難な画角の相違も解消することができ、画像処理の処理精度を向上させることができる。また、経年変化によってステレオカメラの光学的位置にズレが生じた場合においても容易に再調整を行うことができる。
【００４７】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラの光学的位置を機械的には調整困難なレベルまで精密に調整することができ、また、調整後の経年変化によるズレに対しても、煩雑な作業を要することなく、容易に再調整することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係わり、画像補正装置のブロック図
【図２】同上、アフィン変換回路のブロック図
【図３】同上、ＣＣＤカメラの取り付けを示す説明図
【図４】同上、画像取り込みと逆アフィン変換のタイミングを示す説明図
【図５】同上、一致点計測処理のフローチャート
【図６】同上、調整用パターンの一例を示す説明図
【図７】同上、シティブロック距離の分布を示す説明図
【図８】同上、極小点周りのシティブロック距離の分布を示す説明図
【図９】同上、直線近似による極小点座標の推測を示す説明図
【図１０】ステレオカメラの機械的な位置ズレを示す説明図
【図１１】ステレオカメラで撮像した２つの画像における画像ズレを示す説明図
【符号の説明】
１，２ …ＣＣＤカメラ
１０ …画像補正装置
１７，１８ …アフィン変換回路
３０ …補正値検出装置
ｉsub,ｊsub…一致点座標
θ …回転ズレ量
α,β …並進ズレ量
Ｒ …拡大率
【発明の属する技術分野】
本発明は、ステレオカメラの光学的位置を機械的な調整を行うことなく電気的に調整するステレオカメラの調整装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、ステレオカメラから得られた２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、２つの画像間には視差以外のズレがないことが望ましく、ステレオカメラの光学位置調整が重要となる。このため、特開平５−１１５７５５７号公報には、一対のビデオカメラを連結保持する保持部材に、一方のビデオカメラのイメージセンサの画素の並びが他方のビデオカメラのイメージセンサの画素の並びと平行になるように調整する平行調整手段、一方のビデオカメラの光軸と他方のビデオカメラの光軸とが平行となるように調整する光軸調整部材を設け、２台のカメラの相関関係を機械的に調整・保持する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、ステレオカメラには、６つの機械的な位置ズレ要素が存在し、ステレオカメラの光学的位置の調整が不完全であると、撮像された１対の画像に３つのズレとなって現れ、また、各々のレンズの焦点距離のバラツキが画角の相違となって現れる。
【０００５】
すなわち、図１０（ａ）に示すように、左右（Ｌ，Ｒ）のカメラ５０ａ，５０ｂが、カメラの光軸方向をＺ軸、カメラ上方向をＹ軸、カメラ横方向をＸ軸とするＸＹＺ直交座標系において設定値Ｘ0の間隔で取り付けられている場合、右カメラ５０ｂを基準とすると、現実には、各座標軸に平行な並進ズレΔｘ，Δｙ，Δｚ、及び、図１０（ｂ）に示すような各座標軸に対する回転ズレΔａ，Δｂ，Δｃの６つの機械的な微小ズレが存在し、これらの６つの機械的なズレが、図１１（ｂ）に示す基準画像（右画像）に対し、図１１（ａ）に示す比較画像（左画像）において、並進ズレα,β及び回転ズレθの３つのズレとなって現れる。また、レンズの焦点距離のバラツキによる画角の相違から、基準画像（右画像）上の物体像と、比較画像（右画像）上の物体像とでは、大きさが異なってしまう。
【０００６】
このような２つの画像におけるズレのうち、機械的な並進ズレについては機械加工程度の組み付け精度でも画像処理情報に与える影響は比較的少ないが、回転ズレは測距対象物の距離が乗じられるため、影響が大きく、機械的な調整では精度確保に限界がある。さらには、画角の相違によるずれを機械的な調整で取り除くことは困難である。
【０００７】
また、一旦、固定したステレオカメラに経年変化によるズレが生じた場合、従来では、機械構造的に再調整しなければならず、煩雑な作業を要するばかりでなく、再調整のための時間も長くなる。
【０００８】
本発明は上記事情に鑑みてなされたもので、ステレオカメラの光学的位置を、機械的には調整困難なレベルまで精密に調整可能とし、且つ、調整後の経年変化によるズレに対しても容易に再調整が可能なステレオカメラの調整装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、１組のステレオカメラの光学的位置を調整するステレオカメラの調整装置であって、上記ステレオカメラで撮像した画像を、予め画像間のズレに応じて設定した変換値で幾何学的に変換すると共に、変換された画像に対して周囲画素の濃度値を用いて線形補間を行い、等価的に上記ステレオカメラの光学的位置を調整・一致させる手段を備え、上記変換をアフィン変換とし、該アフィン変換の変換値を、上記ステレオカメラで撮像した既知の距離の調整用パターンに対する１対の画像における対応するパターンの一致点を１画素以下の分解能にて計測して求めた座標データと、上記調整用パターンの距離情報から逆算した一致点の座標データとに基づいて算出することを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、上記変換においては、比較画像の基準画像に対する拡大率を算出し、この拡大率を含むパラメータを用いて逆アフィン変換することで、レンズ焦点距離のバラツキによる画角の相違を調整すると共に、回転方向の光学的位置、水平方向の光学的位置、及び、垂直方向の光学的位置を調整することを特徴とする。
【００１３】
すなわち、画像間でズレのあるステレオカメラに対し、ステレオカメラで撮像した画像を予め画像間のズレに応じて設定した変換値で幾何学的に変換すると共に、変換された画像に対して周囲画素の濃度値を用いて線形補間を行うことで、光学的に位置合わせをした画像と等価な画像を得ることができる。画像の幾何学変換は、アフィン変換により行い、このアフィン変換の変換値は、ステレオカメラで撮像した既知の距離の調整用パターンに対する１対の画像における対応するパターンの一致点を１画素以下の分解能にて計測して求めた座標データと、調整用パターンの距離情報から逆算した一致点の座標データとに基づいて算出する。
【００１４】
その際、比較画像の基準画像に対する拡大率を算出し、この拡大率を含むパラメータを用いて逆アフィン変換することで、レンズ焦点距離のバラツキによる画角の相違を調整すると共に、回転方向の光学的位置、水平方向の光学的位置、及び、垂直方向の光学的位置を調整することが好ましい。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図９は本発明の実施の一形態に係わり、図１は画像補正装置のブロック図、図２はアフィン変換回路のブロック図、図３はＣＣＤカメラの取り付けを示す説明図、図４は画像取り込みと逆アフィン変換のタイミングを示す説明図、図５は一致点計測処理のフローチャート、図６は調整用パターンの一例を示す説明図、図７はシティブロック距離の分布を示す説明図、図８は極小点周りのシティブロック距離の分布を示す説明図、図９は直線近似による極小点座標の推測を示す説明図である。
【００１７】
図３において、符号１は、例えば電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッタースピード可変のＣＣＤカメラであり、このＣＣＤカメラ１、及び、このＣＣＤカメラ１と同期が取られ、シャッタースピード可変のＣＣＤカメラ２がステー３の両端に固定され、同一の領域を異なる視点から撮像するステレオ撮像系を構成している。尚、図３（ａ）は上面図、図３（ｂ）は正面図である。
【００１８】
この場合、上記２台のＣＣＤカメラ１，２からなるステレオ撮像系は、各ＣＣＤカメラ１，２の各レンズ１ａ，２ａが同じ焦点距離の仕様となっており、互いの光軸が平行となるように上記ステー３に機械的に固定されて構成されているが、各ＣＣＤカメラ１，２の取り付け位置のズレや焦点距離のバラツキ、さらには、ＣＣＤカメラ１内部の撮像面とＣＣＤカメラ２内部の撮像面とのズレ等により、必ずしも厳密に光学的位置が揃っているとは言えない。すなわち、厳密には、各ＣＣＤカメラ１，２で撮像した１組の画像には、機械的な位置ズレに起因する回転ズレや並進ズレの誤差が含まれており、また、レンズの焦点距離のバラツキにより画角が異なっている。
【００１９】
このため、各ＣＣＤカメラ１，２は画像補正装置１０に接続されるようになっており、この画像補正装置１０によって各ＣＣＤカメラ１，２で撮像した画像における画角差、回転ズレ、並進ズレが補正され、等価的に各ＣＣＤカメラ１，２の光学的位置が精密調整される。そして、上記画像補正装置１０で補正された１組の画像がステレオ画像処理装置４０に読み込まれ、ステレオマッチングにより２つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われることになる。
【００２０】
図１に示すように、上記画像補正装置１０には、ＣＣＤカメラ１，２の各系統に対応して、各ＣＣＤカメラ１，２からのアナログ画像を後段（Ａ／Ｄコンバータ１３，１４）の入力レンジに合わせるためのアナログインターフェース１１，１２、アナログ画像を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換するＡ／Ｄコンバータ１３，１４、デジタル化された画像を一時的に記憶する入力画像メモリ１５，１６、及び、これらの入力画像メモリ１５，１６に記憶されたデジタル画像に対し、画像の拡大・縮小、回転、平行移動等の幾何学的変換を行い、ステレオ画像処理装置４０に出力するアフィン変換回路１７，１８が備えられている。
【００２１】
ここで、各ＣＣＤカメラ１，２で撮像した１組の画像に対し、画像上の座標系を、左上隅を原点として、横方向をｉ座標軸、縦方向をｊ座標軸とすると（図６参照）、基準画像上の所定の点に対応する比較画像上の一致点には、２台のＣＣＤカメラ１，２の光学的位置調整が完全である場合に対し、機械的な位置ズレに起因する回転ズレや並進ズレの誤差が含まれており、また、レンズの焦点距離のバラツキにより基準画像の画角と比較画像の画角とは必ずしも一致しない。
【００２２】
すなわち、比較画像上の異なる２つの一致点ｐ'(ｉp',ｊp')，ｑ'(ｉq',ｊq')について着目すると、これらの一致点ｐ',ｑ'は、２台のＣＣＤカメラ１，２の光学的位置調整が完全である場合の本来の一致点ｐ(ｉp,ｊp)，ｑ(ｉq,ｊq)が、回転、並進、拡大・縮小によって移動していると考えられ、点ｐと点ｐ'との関係、及び、点ｑと点ｑ'との関係は、回転、移動、拡大・縮小が複合した線形変換すなわちアフィン変換であるとみなすことができる。
【００２３】
従って、ｉ−ｊ平面上での回転ズレ量をθ、ｉ方向並進ズレ量をα、ｊ方向並進ズレ量をβ、拡大率（縮小率）をＲとすると、点ｐと点ｐ'との関係、及び、点ｑと点ｑ'との関係は、各変換行列を用いた同次座標系で表現すると、以下の(1),(2)式で与えられる。
【００２４】
【００２５】
【００２６】
また、上記(7)〜(9)式における拡大率Ｒは、基準画像における２点間の距離と、これらの２点に対応する比較画像の２つの一致点の間の距離との比で求めることができる。本形態では、図６に示すように、５個程度の調整用パターンを用い、基準画像におけるパターン間の距離と、対応する比較画像のパターン間の距離との比を平均して拡大率Ｒを求める。
【００２７】
詳細には、図６に示すように、基準画像上で、画面中央の調整用パターンの点ｃ(ｉc,ｊc)と、画面周辺の４個の調整用パターンの各点ａ(ｉa,ｊa)，ｂ(ｉb,ｊb)，ｄ(ｉd,ｊd)，ｅ(ｉe,ｊe)との距離ＡＣ，ＢＣ，ＤＣ，ＥＣを以下の(10)〜(13)式で求める。そして、これらの各距離ＡＣ，ＢＣ，ＤＣ，ＥＣに対し、比較画像上での対応する距離、すなわち、画面中央の調整用パターンの一致点ｃ'(ｉc',ｊc')と、画面周辺の４個の調整用パターンの各一致点ａ'(ｉa',ｊa')，ｂ'(ｉb',ｊb')，ｄ'(ｉd',ｊd')，ｅ'(ｉe',ｊe')との距離Ａ'Ｃ'，Ｂ'Ｃ'，Ｄ'Ｃ'，Ｅ'Ｃ'を以下の(14)〜(17)式で求め、(18)式に示すように、対応する距離の比を平均して拡大率Ｒを求める。
【００２８】
ＡＣ ＝{ (ｉa−ｉc)2＋(ｊa−ｊc)2 }1/2 …(10)
ＢＣ ＝{ (ｉb−ｉc)2＋(ｊb−ｊc)2 }1/2 …(11)
ＤＣ ＝{ (ｉd−ｉc)2＋(ｊd−ｊc)2 }1/2 …(12)
ＥＣ ＝{ (ｉe−ｉc)2＋(ｊe−ｊc)2 }1/2 …(13)
Ａ'Ｃ'＝{ (ｉa'−ｉc')2＋(ｊa'−ｊc')2 }1/2 …(14)
Ｂ'Ｃ'＝{ (ｉb'−ｉc')2＋(ｊb'−ｊc')2 }1/2 …(15)
Ｄ'Ｃ'＝{ (ｉd'−ｉc')2＋(ｊd'−ｊc')2 }1/2 …(16)
Ｅ'Ｃ'＝{ (ｉe'−ｉc')2＋(ｊe'−ｊc')2 }1/2 …(17)
Ｒ＝(Ａ'Ｃ'／ＡＣ＋Ｂ'Ｃ'／ＢＣ＋Ｄ'Ｃ'／ＤＣ＋Ｅ'Ｃ'／ＥＣ)／５…(18)以上により求めた拡大率Ｒ、回転ズレ量θ、ｉ方向並進ズレ量α、ｊ方向並進ズレ量βは、上記アフィン変換回路１７，１８における画像変換の初期値として与えられ、２台のＣＣＤカメラ１，２で撮像した画像を幾何学変換することにより、２台のＣＣＤカメラ１，２の光学的位置を調整したのと同等の画像を得ることができる。
【００２９】
上記アフィン変換回路１７，１８は、一方のアフィン変換回路１７で代表すると、図２に示すような内部構成となっており、入力画像メモリ１５へのデータの書き込み及びデータの読み出しを行う画像メモリデータインターフェース２０、入力画像メモリ１５のアドレス指定を行う画像メモリアドレスインターフェース２１、Ａ／Ｄコンバータ１３からの画像データを入力画像メモリ１５に書き込む際のアドレスを生成する入力画像書き込みアドレス生成回路２２、入力画像メモリ１５から画像データを読み出して画像の幾何学的変換を行う際のアドレスを逆アフィン変換によって生成する逆アフィン変換読み出しアドレス生成回路２３、逆アフィン変換によって読み出されたデータに対して線形補間を行い、変換画像データを出力する補間演算回路２４等が備えられている。
【００３０】
すなわち、上記アフィン変換回路１７，１８による画像の幾何学的変換では、変換前の原画像及び変換後の画像は、共に正方格子上に画素を配置したデジタル画像であり、変換後の画像上の画素の濃度値は、原画像を逆アフィン変換して求めた対応画素位置の濃度値で与えられる。この逆アフィン変換による原画像の対応画素位置は、一般に整数画素位置とはならず、原画像に対応画素が存在しないため、上記補間演算回路２４では、周囲４画素の濃度値を用いて線形補間を行い、変換後の画像上で画素の濃度値を隙間なく求める。
【００３１】
上記アフィン変換回路１７，１８では、図４に示すように、フィールド信号のサンプル期間で各ＣＣＤカメラ１，２からの画像信号、例えば、各ＣＣＤカメラ１，２から水平同期信号及び垂直同期信号に同期して出力されるＮＴＳＣ映像信号等の画像信号がサンプルされると、このサンプル画像を次のフィールド区間で画像変換する。
【００３２】
すなわち、アナログインターフェース１１，１２によってＡ／Ｄコンバータ１３，１４の入力レンジに合わせて各ＣＣＤカメラ１，２からの画像信号のゲイン・オフセット等が調整され、Ａ／Ｄコンバータ１３，１４によってＡ／Ｄ変換されたデジタル画像データが、アフィン変換回路１７，１８の入力画像書き込みアドレス生成回路２２，２２で生成したアドレスに従って入力画像メモリ１５，１６に格納され、次のフィールド区間で、入力画像メモリ１５，１６からアフィン変換回路１７，１８の逆アフィン変換読み出しアドレス生成回路２３，２３で生成したアドレスの濃度データが読み出される。
【００３３】
そして、この濃度データに対し、アフィン変換回路１７，１８の補間演算回路２４，２４で補間演算を行って変換画像をステレオ画像処理装置４０に出力する。この場合、ＣＣＤカメラ２で撮像した画像を基準画像、ＣＣＤカメラ１で撮像した画像を比較画像とすると、本形態では、実際に画像の幾何学的変換を行うのはＣＣＤカメラ１側（比較画像側）のアフィン変換回路１７であり、ＣＣＤカメラ２側（基準画像側）のアフィン変換回路１８では、Ａ／Ｄコンバータ１４でデジタル変換されたＣＣＤカメラ２からの画像を、幾何学的変換を行うことなくステレオ画像処理装置４０に出力する。
【００３４】
上記ＣＣＤカメラ１，２の光学的位置調整の補正値、すなわち上記アフィン変換回路１７，１８における画像変換値は、図１に示す補正値検出装置３０によって与えられる。この補正値検出装置３０は、中央処理装置（ＣＰＵ）３１、画像メモリ３２，３３、キーボード３４、及び、ＣＲＴディスプレイ３５等からなるコンピュータであり、ＣＣＤカメラ１，２の光学的位置の初期調整時や、経年変化によって初期調整時からずれた場合等に、上記画像メモリ３２，３３を介して上記画像補正装置１０のＡ／Ｄコンバータ１３，１４に接続され、画像変換値を演算して上記画像補正装置１０のアフィン変換回路１７を初期設定（前述したように、本形態では、基準画像側のアフィン変換回路１８の設定値は固定）することで、随時、ＣＣＤカメラ１，２に対する光学的位置の調整値を変更することができる。
【００３５】
上記補正値検出装置３０における画像変換値の演算は、前述の図６の調整用パターンをＣＣＤカメラ１，２によって撮像し、この調整用パターンの撮像画像から基準画像に対する比較画像の一致点を計測することで行われる。以下、上記補正値検出装置３０における一致点計測処理について、図５のフローチャートに従って説明する。
【００３６】
上記補正値検出装置３０では、図５の一致点計測処理のプログラムがスタートすると、画像補正装置１０の入力画像メモリ１５，１６から画像データを読み込んでＣＲＴディスプレイ３５に表示し、ステップS101で、基準画像に映っている調整用パターンを基準パターンとする領域の指示入力となる。そして、キーボード３４あるいは図示しないマウス等の入力機器から基準パターン領域の指示入力を行うと、ステップS102へ進む。
【００３７】
ステップS102では、基準画像の基準パターンに対応する比較画像の比較パターンの探索領域の指示入力となり、同様に、キーボード３４あるいは図示しないマウス等の入力機器から比較パターン探索領域の指示入力を行い、ステップS103へ進むと、指示された探索領域全域に渡って基準パターンと同じ大きさの比較パターンを切り出し、相互のシティブロック距離Ｄを計算する。このステップS103で得られるシティブロック距離Ｄは、マトリクス状になっており、シティブロック距離Ｄのｉ行ｊ列要素をＤ[ｉ,ｊ]と表記すると、シティブロック距離Ｄの分布は、例えば、図７に示すような分布となる。
【００３８】
続くステップS104以降では、基準画像と比較画像とのパターンの一致点を計算する。この一致点は、シティブロック距離Ｄの要素が極小となる点、すなわち、相関が最も強い点の座標（ｉmin,ｊmin）で与えられるが、この座標（ｉmin,ｊmin）は画素毎に求めた離散的な値であり、１画素以下での計測に用いるには精度が不足する。従って、上記座標（ｉmin,ｊmin）を仮の一致点とし、以下の処理によって１画素以下の分解能での一致点（ｉsub,ｊsub）を求める。
【００３９】
すなわち、ｉ方向の極小点について考えると、ｊmin列の極小点周辺（ｉmin行周辺）のシティブロック距離Ｄは図８の丸印で示されるが、画素が無限に小さいものであると仮定した場合、シティブロック距離Ｄは破線で示すように極小点周りに対称形で連続的に分布するとみなすことができ、破線の極小値のｉ座標は、仮の一致点とは異なる値になる。ｊ方向についても、同様である。
【００４０】
このため、ステップS104以降では、シティブロック距離Ｄの分布が極小点周りに対称形となることを利用し、仮の一致点の前後のシティブロック距離Ｄの差の大小関係から極小値の位置を特定し、直線近似によって一致点の座標を計算する。尚、ここでは、一致点のｉ座標ｉsubを求める処理について説明するが、一致点のｊ座標ｊsubも同様にして求めることができる。
【００４１】
すなわち、ステップS104で、仮の一致点のｉ座標ｉminの前後のシティブロック距離Ｄの差ΔＤ0,ΔＤ1を以下の(19),(20)式によって求めると、ステップS105で、それらを互いに比較することで、座標ｉmin−１から座標ｉminにかけてのシティブロック距離Ｄの変化、座標ｉminから座標ｉmin＋１にかけてのシティブロック距離Ｄの変化、及び、シティブロック距離Ｄの分布が極小点周りに対称であることを考慮し、極小点が座標ｉminを中心として、座標ｉmin−１と座標ｉminとの間、座標ｉminと座標ｉmin＋１との間のいずれに存在するかを調べる。
【００４２】
ΔＤ0＝Ｄ[ｉmin−１,ｊmin]−Ｄ[ｉmin,ｊmin] …(19)
ΔＤ1＝Ｄ[ｉmin＋１,ｊmin]−Ｄ[ｉmin,ｊmin] …(20)
その結果、ΔＤ0＜ΔＤ1のとき、すなわち、座標ｉmin（仮の一致点）周辺で、シティブロック距離Ｄが座標ｉminの前よりも後の方で大きく変化するときには、極小点のｉ座標は、座標ｉminと座標ｉmin−１との間にあると判断し、上記ステップS105からステップS106へ進んで、点Ｄ[ｉmin,ｊmin]と点Ｄ[ｉmin＋１,ｊmin]とを通る直線Ｌ１の傾きｍを算出すると、ステップS107で、点Ｄ[ｉmin−１,ｊmin]を通り、傾き−ｍとなる直線Ｌ２を算出してステップS110へ進む。
【００４３】
一方、上記ステップS105でΔＤ0≧ΔＤ1のとき、すなわち、座標ｉmin（仮の一致点）周辺で、シティブロック距離Ｄが座標ｉminの後よりも前の方で大きく変化するときには、極小点のｉ座標は、座標ｉminと座標ｉmin＋１との間にあると判断し、上記ステップS105からステップS108へ進んで、点Ｄ[ｉmin,ｊmin]と点Ｄ[ｉmin−１,ｊmin]とを通る直線Ｌ１の傾きｍを算出すると、ステップS109で、点Ｄ[ｉmin＋１,ｊmin]を通り、傾き−ｍとなる直線Ｌ２を算出してステップS110へ進む。
【００４４】
ステップS110では、直線Ｌ１,Ｌ２の交点を計算し、この交点を極小点のｉ座標ｉsubとしてプログラムを終了する。図９は、ΔＤ0≧ΔＤ1のときの直線Ｌ１，Ｌ２を示し、極小点周りのシティブロック距離Ｄの分布を互いに直交する直線で近似し、各直線の交点を求めることにより、極小点を求めることができる。そして、同様にして、ｊ方向の一致点座標ｊsubを算出することにより、基準パターンが探索領域のどこに映っているのかを、１画素以下の分解能で求めることができる。
【００４５】
以上の処理を繰り返して各調整用パターンの一致点を求め、前述の(18)式によって拡大率Ｒを算出した後、前述の(7)〜(9)式によって回転ズレ量θ、ｉ方向並進ズレ量α、ｊ方向並進ズレ量βを算出し、画像補正装置１０のアフィン変換回路１７へ初期値として与える。
【００４６】
これにより、煩雑な機械的調整を要することなく、ステレオカメラの光学的位置を等価的に合わせた画像を容易に得ることができ、しかも、機械的な取り付け位置の調整では困難な画角の相違も解消することができ、画像処理の処理精度を向上させることができる。また、経年変化によってステレオカメラの光学的位置にズレが生じた場合においても容易に再調整を行うことができる。
【００４７】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラの光学的位置を機械的には調整困難なレベルまで精密に調整することができ、また、調整後の経年変化によるズレに対しても、煩雑な作業を要することなく、容易に再調整することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係わり、画像補正装置のブロック図
【図２】同上、アフィン変換回路のブロック図
【図３】同上、ＣＣＤカメラの取り付けを示す説明図
【図４】同上、画像取り込みと逆アフィン変換のタイミングを示す説明図
【図５】同上、一致点計測処理のフローチャート
【図６】同上、調整用パターンの一例を示す説明図
【図７】同上、シティブロック距離の分布を示す説明図
【図８】同上、極小点周りのシティブロック距離の分布を示す説明図
【図９】同上、直線近似による極小点座標の推測を示す説明図
【図１０】ステレオカメラの機械的な位置ズレを示す説明図
【図１１】ステレオカメラで撮像した２つの画像における画像ズレを示す説明図
【符号の説明】
１，２ …ＣＣＤカメラ
１０ …画像補正装置
１７，１８ …アフィン変換回路
３０ …補正値検出装置
ｉsub,ｊsub…一致点座標
θ …回転ズレ量
α,β …並進ズレ量
Ｒ …拡大率
Claims (2)
- １組のステレオカメラの光学的位置を調整するステレオカメラの調整装置であって、
上記ステレオカメラで撮像した画像を、予め画像間のズレに応じて設定した変換値で幾何学的に変換すると共に、変換された画像に対して周囲画素の濃度値を用いて線形補間を行い、等価的に上記ステレオカメラの光学的位置を調整・一致させる手段を備え、
上記変換をアフィン変換とし、該アフィン変換の変換値を、上記ステレオカメラで撮像した既知の距離の調整用パターンに対する１対の画像における対応するパターンの一致点を１画素以下の分解能にて計測して求めた座標データと、上記調整用パターンの距離情報から逆算した一致点の座標データとに基づいて算出することを特徴とするステレオカメラの調整装置。 - 上記変換においては、比較画像の基準画像に対する拡大率を算出し、この拡大率を含むパラメータを用いて逆アフィン変換することで、レンズ焦点距離のバラツキによる画角の相違を調整すると共に、回転方向の光学的位置、水平方向の光学的位置、及び、垂直方向の光学的位置を調整することを特徴とする請求項１記載のステレオカメラの調整装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11726897A JP3792832B2 (ja) | 1997-05-07 | 1997-05-07 | ステレオカメラの調整装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11726897A JP3792832B2 (ja) | 1997-05-07 | 1997-05-07 | ステレオカメラの調整装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10307352A JPH10307352A (ja) | 1998-11-17 |
| JP3792832B2 true JP3792832B2 (ja) | 2006-07-05 |
Family
ID=14707559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11726897A Expired - Lifetime JP3792832B2 (ja) | 1997-05-07 | 1997-05-07 | ステレオカメラの調整装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792832B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019082460A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10848736B2 (en) | 2017-03-27 | 2020-11-24 | Canon Kabushiki Kaisha | Electronic apparatus equipped with detachable image pickup apparatuses, image pickup apparatus, control method for electronic apparatus, and storage medium storing control program for electronic apparatus |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4172554B2 (ja) | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | ステレオカメラの調整装置 |
| JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
| JP3280001B2 (ja) | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
| JP3261115B2 (ja) | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
| JP3255360B2 (ja) | 1999-09-22 | 2002-02-12 | 富士重工業株式会社 | 距離データの検査方法およびその検査装置 |
| JP4573977B2 (ja) * | 1999-09-22 | 2010-11-04 | 富士重工業株式会社 | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
| KR100853605B1 (ko) * | 2004-03-23 | 2008-08-22 | 후지쯔 가부시끼가이샤 | 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별 |
| CN101080921A (zh) * | 2004-12-16 | 2007-11-28 | 松下电器产业株式会社 | 摄像装置 |
| CN100401014C (zh) * | 2005-04-08 | 2008-07-09 | 株式会社日立国际电气 | 线宽测量装置 |
| JP4991395B2 (ja) * | 2007-05-28 | 2012-08-01 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
| JP5513024B2 (ja) | 2009-07-01 | 2014-06-04 | 富士フイルム株式会社 | 撮像装置、ズーム補正情報作成方法およびプログラム |
| JP5258722B2 (ja) * | 2009-09-24 | 2013-08-07 | 富士フイルム株式会社 | 複眼カメラ及びその制御方法 |
| JP2012019292A (ja) * | 2010-07-06 | 2012-01-26 | Sharp Corp | ３ｄカメラモジュールの撮像検査装置およびその撮像検査方法、３ｄカメラモジュールの撮像検査制御プログラム、３ｄカメラモジュールの撮像補正方法、３ｄカメラモジュールの撮像補正制御プログラム、可読記録媒体、３ｄカメラモジュール、電子情報機器 |
| HRP20100451A2 (hr) * | 2010-08-12 | 2012-02-29 | �iljak Vilko | Zrgb aparatura za dualnu detekciju |
| JP5785732B2 (ja) | 2011-02-24 | 2015-09-30 | 任天堂株式会社 | 情報処理プログラム、撮像装置、撮像方法及び撮像システム |
| JP5307189B2 (ja) * | 2011-06-08 | 2013-10-02 | 富士フイルム株式会社 | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム |
| JP6167525B2 (ja) | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
| JP2014138331A (ja) * | 2013-01-17 | 2014-07-28 | Ricoh Co Ltd | 撮影装置及びプログラム |
| JP6067462B2 (ja) * | 2013-04-16 | 2017-01-25 | 株式会社東芝 | 車両検知装置、および、車両検知システム |
| JP7165884B2 (ja) * | 2017-10-30 | 2022-11-07 | パナソニックＩｐマネジメント株式会社 | 棚札検出装置、棚札検出方法、及び、棚札検出プログラム |
| JP2020190438A (ja) * | 2019-05-20 | 2020-11-26 | 株式会社リコー | 計測装置および計測システム |
| WO2023152785A1 (ja) * | 2022-02-08 | 2023-08-17 | 三菱電機株式会社 | 乗員監視装置、乗員監視システム、および乗員監視方法 |
-
1997
- 1997-05-07 JP JP11726897A patent/JP3792832B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10848736B2 (en) | 2017-03-27 | 2020-11-24 | Canon Kabushiki Kaisha | Electronic apparatus equipped with detachable image pickup apparatuses, image pickup apparatus, control method for electronic apparatus, and storage medium storing control program for electronic apparatus |
| WO2019082460A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US11240484B2 (en) | 2017-10-23 | 2022-02-01 | Sony Corporation | Information processing apparatus and information processing method for stereo imaging based on corrected parameters |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10307352A (ja) | 1998-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3792832B2 (ja) | ステレオカメラの調整装置 | |
| JP4172554B2 (ja) | ステレオカメラの調整装置 | |
| US7139424B2 (en) | Stereoscopic image characteristics examination system | |
| Shah et al. | A simple calibration procedure for fish-eye (high distortion) lens camera | |
| AU2007254627B2 (en) | Geometric parameter measurement of an imaging device | |
| CN113256730B (zh) | 用于阵列相机的动态校准的系统和方法 | |
| US7268803B1 (en) | Image processing method and apparatus, digital camera, image processing system and computer readable medium | |
| JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| JP3261115B2 (ja) | ステレオ画像処理装置 | |
| JP3728900B2 (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
| KR20020056895A (ko) | 고속 디지털 팬 틸트 줌 비디오 | |
| JPH1093808A (ja) | 画像合成装置および方法 | |
| EP0968482A1 (en) | Multi-view image registration with application to mosaicing and lens distortion correction | |
| US20020122117A1 (en) | Camera device, camera system and image processing method | |
| US6256058B1 (en) | Method for simultaneously compositing a panoramic image and determining camera focal length | |
| KR101589167B1 (ko) | 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법 | |
| JP2000283753A (ja) | ステレオ画像による測距装置 | |
| JPH05303629A (ja) | 形状合成方法 | |
| JPH11325890A (ja) | ステレオカメラの画像補正装置 | |
| JP4172555B2 (ja) | ステレオカメラの調整装置 | |
| JP2899553B2 (ja) | 固体撮像素子の位置調整方法 | |
| CN115719320B (zh) | 基于遥感影像的倾斜校正稠密匹配方法 | |
| JP4324271B2 (ja) | 画像処理装置およびその方法 | |
| JP2000074665A (ja) | 距離画像生成装置及び方法 | |
| JP4796295B2 (ja) | カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |