JP3833930B2

JP3833930B2 - ステレオカメラの調整装置

Info

Publication number: JP3833930B2
Application number: JP2001354995A
Authority: JP
Inventors: 憲文柴山
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2001-11-20
Filing date: 2001-11-20
Publication date: 2006-10-18
Anticipated expiration: 2021-11-20
Also published as: JP2003158668A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの画像間の輝度バランスを調整するステレオカメラの調整装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、２台のカメラを一対とするステレオカメラで対象物を異なる位置から撮像し、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしており、２つの画像間には視差以外のずれがないことが望ましく、２台のカメラにおける光学特性や信号特性のバランスが確保されている必要がある。
【０００４】
このため、本出願人は、先に、特開２００１−６９４０２号公報において、ステレオカメラの一方の画像中に設定された第１の評価ウィンドウの全体的な輝度の大きさを表す第１の評価値と、第１の評価ウィンドウの輝度特性と相関を有する領域に設定された他方の画像の第２の評価ウィンドウの全体的な輝度の大きさを表す第２の評価値との差が小さくなるように、アンプのゲインを補正することで、ステレオカメラの各画像間の輝度バランスを調整する技術を提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら、ステレオカメラを構成する２台のカメラは、その特性上のばらつきから、それぞれの出力信号の大きさに加えて直流成分レベルが異なり、一対の画像間で画像信号を処理する上での基準となる黒レベルが必ずしも一致しない場合がある。この黒レベルが相違することは、Ａ／Ｄ変換後の各画像で画像全体の輝度レベルが異なり、画像間に輝度オフセットずれが存在することを意味する。この輝度オフセットずれは、先行技術のように、一義的にアンプのゲインを調整するだけでは解消できず、ステレオ画像処理における更なる精度向上を図る上での支障となっていた。
【０００６】
本発明は上記事情に鑑みてなされたもので、ステレオカメラの一対の画像間の輝度ゲインと輝度オフセットとを同時に調整し、各画像の明るさを揃えてステレオ画像処理の精度向上を図ることのできるステレオカメラの調整装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、２台１組のカメラからなるステレオカメラで撮像した一対の画像間の輝度バランスを調整する調整装置であって、上記ステレオカメラで撮像した一対の画像の輝度ゲインを調整するゲイン調整手段と、上記ステレオカメラで撮像した一対の画像における輝度レベルオフセット量を調整するレベル調整手段と、上記一対の画像の一方の画像中に設定された第１の評価ウィンドウの全体的な輝度の大きさを表す評価値と、他方の画像中に設定されて上記第１の評価ウィンドウの輝度特性と相関を有する第２の評価ウィンドウの全体的な輝度の大きさを表す評価値とのサンプル対を複数組算出する評価サンプル対算出手段と、上記サンプル対を構成する２つの評価値の差が小さくなるように上記輝度ゲインと上記輝度レベルオフセット量とを修正し、各画像間の輝度バランスを調整する輝度バランス調整手段とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記輝度バランス調整手段は、上記サンプル対の分布に対する回帰直線を求め、この回帰直線が原点を通る比例直線となるように上記輝度ゲインと上記輝度レベルオフセット量とを修正することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１或いは請求項２記載の発明において、上記輝度オフセットレベルの調整は、黒レベルの基準電圧を調整することにより行うことを特徴とする。
【００１０】
請求項４記載の発明は、請求項１或いは請求項２記載の発明において、上記ゲイン調整手段はアンプであり、上記輝度ゲインの調整は、画像信号の電圧を増幅するアンプの増幅率の調整により行うことを特徴とする。
【００１１】
すなわち、請求項１記載の発明は、ステレオカメラで撮像した一対の画像の各々に互いに輝度特性の相関を有する第１，第２の評価ウィンドウを設定し、第１の評価ウィンドウの全体的な輝度の大きさを表す評価値と第２の評価ウィンドウの全体的な輝度の大きさを表す評価値とのサンプル対を複数組算出する。そして、サンプル対を構成する２つの評価値の差が小さくなるように各画像の輝度ゲインと輝度レベルオフセット量とを修正して画像間の輝度バランスを調整することで、画像間の輝度ゲインの差と輝度オフセットずれとを同時に解消する。その際、輝度ゲインの修正量、輝度レベルオフセット量の修正量は、請求項２記載の発明のように、サンプル対の分布に対する回帰直線を原点を通る比例直線とすることで求めることができる。また、輝度レベルオフセット量の調整は、請求項３記載の発明のように、黒レベルの基準電圧を調整することにより行うことが望ましく、輝度ゲインの調整は、請求項４記載の発明のように、画像信号の電圧を増幅するアンプの増幅率の調整により行うことが望ましい。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図３は本発明の実施の一形態に係わり、図１はステレオ画像処理システムの構成図、図２は輝度差調整処理のフローチャート、図３は輝度サンプル対の分布と回帰直線を示す説明図である。
【００１３】
図１に示す画像処理システムおいて、符号１は、電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵し、互いに同期がとれた２台のカメラ２，３から構成されるステレオカメラである。このステレオカメラ１は、例えば、カメラ２を右カメラ、カメラ３を左カメラとして、所定の基線長をもって図示しないステー等に配設されており、一方のカメラで撮像された画像を基準画像、他方のカメラで撮像された画像を比較画像としてステレオ画像処理を行う。
【００１４】
各カメラ２，３には、各カメラ２，３からの画像信号を比例増幅するアンプ４，５が接続され、更に、アンプ４，５の後段に、クランプ回路６，７を介してＡ／Ｄ変換器８，９が接続されている。これにより、各カメラ２，３で撮像したアナログ画像が所定の輝度階調（例えば２５６階調のグレースケール）を有するデジタル画像に変換される。
【００１５】
ここで、アンプ４，５は、可変ゲインビデオアンプであり、外部から与える指示値により画像信号の電圧を増幅する増幅率の調整、すなわちゲインを調整することができ、ステレオカメラ１で撮像したステレオ画像（左右画像）の輝度ゲインを調整するゲイン調整手段としての機能を担っている。また、クランプ回路６，７は、アンプ４，５から出力される画像信号の輝度レベルオフセット量としての黒レベルを固定して安定化（クランプ）し、Ａ／Ｄ変換に必要な電圧範囲に収めるレベル調整手段としての機能を担い、Ａ／Ｄ変換器８，９でのＡ／Ｄ変換の際の基準電圧値（画像処理の基準となる黒レベルの電圧値で、その電圧以下は、輝度ゼロとする値）を、外部から指示可能となっている。
【００１６】
すなわち、外部からアンプ４，５に与えるゲイン値により輝度ゲインを可変することで、左右画像の輝度ゲインを揃えると共に、外部からクランプ回路６，７に与える黒レベルのレベル固定値（クランプ値）により、クランプレベルを上下させてＡ／Ｄ変換の際の黒レベルを調整し、左右画像の輝度レベルを揃えて輝度オフセットずれを解消することができる。本形態においては、基本的に、左画像側のアンプ５に与えるゲイン値、及び左画像側のクランプ回路７に与えるクランプ値を可変し、主としてアンプ５及びクランプ回路７で左右画像の輝度ゲイン及び輝度レベルを調整する。
【００１７】
Ａ／Ｄ変換器８，９でデジタル化された左右の画像データは、補正回路１０に入力され、この補正回路１０で、シェーディング補正、ログ補正、カメラ２，３の光学的な位置ずれに対する幾何学的補正等がなされる。補正回路１０で補正された左右のデジタル画像データは、画像データメモリ１１に蓄積されると共に、一致点探索・視差計算回路１２に入力され、左右画像で同一の物体が写っている部分を所定の小領域毎に探索するステレオマッチング処理が行われる。そして、このステレオマッチング処理によって得られた視差データが視差データメモリ１３に蓄積される。
【００１８】
周知のように、左右画像（ステレオ画像）に映し出された同一視線上の同一物体は、左右のカメラ２，３の両光学中心を結ぶ線と平行な画像上の線（エピポーラライン）に乗っており、このエピポーラライン上の対応位置の互いのずれ量が対象物までの距離を表している。従って、一致点探索・視差計算回路１２では、基準画像の小領域に対応する比較画像の小領域を、水平走査方向に１画素ずつシフトしながら探索し、小領域間の相関を評価する。
【００１９】
この小領域間の相関は、例えば、シティブロック距離を計算することで評価することができる。すなわち、画面左上を原点として、画像横方向をｉ座標軸、縦方向をｊ座標軸、単位を画素とし、例えば、小領域を４×４画素の領域としたとき、基準画像のｉ,ｊ番目の輝度Ａi,jと比較画像のｉ,ｊ番目の輝度Ｂi,jとの差に基づくシティブロック距離Ｚ（＝Σ｜Ａi,j−Ｂi,j｜：ｉ，ｊ＝０〜３）を計算することで、小領域間の相関を評価することができる。基本的には、このシティブロック距離が最小となる小領域が同一視線上の同一物体の対応位置となり、対応する小領域間の画素ずれ量が距離を表す視差データとして出力される。尚、シティブロック距離を計算して視差データを生成するハードウェア回路の構成及び動作については、本出願人によって先に提出された特開平５−１１４０９９号に詳述されている。
【００２０】
画像データメモリ１１に蓄積された左右の元画像、及び、視差データメモリ１３に蓄積された視差データは、画像処理装置１４に入力されて各種の画像処理が実施される。この画像処理装置１４は、マイクロコンピュータを中心とし、その他の周辺回路を備えて構成されるものであり、画像データメモリ１１の左右元画像データ及び視差データメモリ１３の視差データに基づいて、自己位置や障害物等の周囲環境を認識する処理を行う認識処理部１５、画像データメモリ１１の左右元画像データに基づいてアンプ４，５に対するゲイン値及びクランプ回路６，７に対するクランプ値を演算し、左右画像の輝度バランスを調整する輝度調整処理部１６を含んでいる。
【００２１】
輝度調整処理部１６における輝度バランスの調整は、左右画像の一方の画像中に第１の評価ウィンドウを設定すると共に、この第１の評価ウィンドウの輝度特性と相関を有する第２の評価ウィンドウを他方の画像中に設定し、第１の評価ウィンドウの全体的な輝度の大きさを表す評価値と、第２の評価ウィンドウの全体的な輝度の大きさを表す評価値とのサンプル対を複数組算出する。そして、サンプル対の分布に対する回帰直線を求め、この回帰直線が原点を通る比例曲線となるように、輝度ゲインと黒レベルの基準電圧値とを同時に修正することで、左右画像間の輝度ゲインの差と輝度オフセットずれとを同時に解消して各画像の明るさを揃える。
【００２２】
すなわち、輝度調整処理部１６は、本発明に係わる評価サンプル対算出手段、輝度バランス調整手段としての機能を実現するものであり、具体的には、図２に示す処理を実行することで、各手段の機能を実現する。以下、輝度調整処理部１６における輝度調整処理について、図２のフローチャートを用いて説明する。
【００２３】
このオフセット調整処理では、先ず、ステップＳ１で、画像データメモリ１１から左右の元画像データを読出し、右画像のランダムな位置から横Ｈ×縦Ｖ画素（例えば、２０×２０画素）のウィンドウＷｒを切出す。そして、このウィンドウＷｒを第１の評価ウィンドウ（以下、「右ウィンドウ」と称する）として、左画像から、この右ウィンドウＷｒと輝度相関が最も高いウィンドウを第２の評価ウィンドウ（以下、「左ウィンドウ」と称する）Ｗｌとして決定する。
【００２４】
右ウィンドウＷｒと輝度相関が最も高い左ウィンドウＷｌの決定は、本出願人による特開２００１−６９４０２号に開示の技術を用いることができる。詳細は特開２００１−６９４０２号に譲るとして、基本的には、右ウィンドウＷｒに対応する領域の視差データを視差データメモリ１３から読込み、この視差データのヒストグラムの出現度数の最も多い値、或いは平均値を右ウィンドウＷｒを代表する視差として求める。そして、左画像中で、この代表視差分だけ水平方向にオフセットさせた位置に、右ウィンドウＷｒと同じ大きさの左ウィンドウＷｌを設定する。尚、視差データメモリ１３内の視差データを用いず、右ウィンドウＷｒの座標位置を基準として左画像のエピポーラライン上を１画素ずつずらしながらステレオマッチング処理を行うことで、右ウィンドウＷｒと最も相関の高い領域を左画像中で特定することも可能である。
【００２５】
以上により、右ウィンドウＷｒと、この右ウィンドウＷｒと輝度相関が最も高い左ウィンドウＷｌを決定した後、ステップＳ１からステップＳ２へ進み、左右のウィンドウＷｒ，Ｗｌについて、それぞれ、ウィンドウ内の輝度値を単純合計して評価値とし、右ウィンドウＷｒの評価値（合計輝度）と左ウィンドウＷｌの評価値（合計輝度）との対（以下、「輝度サンプル対」と称する）をメモリ上に記憶する。次いで、ステップＳ３へ進み、以上のステップＳ１，Ｓ２の処理をＮ回（例えば、３０回）繰返したか否かを調べる。そして、Ｎ回未満のときには、ステップＳ１へ戻ってステップＳ１，Ｓ２の処理を継続し、Ｎ回に達したとき、ステップＳ４へ進んでメモリに蓄積したＮ個の輝度サンプル対の分布をチェックする。
【００２６】
その結果、ステップＳ４において、高輝度側或いは低輝度側に輝度サンプル対の分布が偏って集中していると判定された場合には、Ｎ個の輝度サンプル対を全て破棄し、最初に戻ってステップＳ１から改めて処理をやり直す。輝度サンプル対が高輝度側或いは低輝度側に「集中している」か否かは、例えば、以下のように判定する。すなわち、輝度サンプル対の右側データ或いは左側データの片方の理論的最大値は、（ウィンドウの画素数）×階調度であり、本形態においては、２０×２０画素×２５６階調＝１０２４００であるため、この半分の５１２００を基準値として、Ｎ個の輝度サンプル対の右側データの全てを、この基準値と比較する。そして、Ｎ個の輝度サンプル対の右側データの全てが基準値よりも高かった場合、或いは逆にＮ個のサンプル対の右側データの全てが基準値よりも低かった場合には、「集中している」と判定する。
【００２７】
ステップＳ４の判定により、輝度サンプル対が高輝度側或いは低輝度側に偏って集中していないと判定された場合には、ステップＳ４からステップＳ５へ進み、図３に示すように、Ｎ個の輝度サンプル対を（右輝度）対（左輝度）のグラフにプロットした場合の回帰直線のパラメータ（傾きａ，切片ｂ）を、例えば最小二乗法によって算出する。この回帰直線は、横軸を右輝度、縦軸を左輝度として、両者を変数Ｂｒ，Ｂｌで表すと、以下の（１）式で表現される。
Ｂｌ＝ａ×Ｂｒ＋ｂ …（１）
【００２８】
次に、ステップＳ６へ進み、上述の（１）式の回帰直線から、左画像側のクランプ回路７に対するクランプ値の修正量Ｄｏと、左画像側のアンプ５に対するゲイン値の修正量Ｄｇとを計算する。この修正量の計算は、回帰直線が原点を通り、傾きａ＝１となる比例直線（Ｂｌ＝Ｂｒの直線）となる修正量、すなわち左右画像の輝度ゲイン及び輝度レベルが一致するような修正量を求めるものであり、以下の（２），（３）式により、回帰直線のパラメータａ，ｂから修正量Ｄｏ，Ｄｇに換算される。
Ｄｏ＝Ｃｏ×（−ｂ） …（２）
Ｄｇ＝Ｃｇ×（（−ａ）×２５５） …（３）
【００２９】
但し、（２），（３）式において、Ｃｏ，Ｃｇは、アンプ５、クランプ回路７、Ａ／Ｄ変換器９の特性によって定まる定数であり、定数Ｃｏは、クランプ値の増分と輝度の増分との比率（Δクランプ値／Δ輝度）を表し、定数Ｃｇは、ゲイン値の増分と輝度の増分との比率（Δゲイン値／Δ輝度；最大輝度近傍での値）を表す。尚、ゲイン値の修正量Ｄｇを計算する（３）式中の数字“２５５”は、輝度の最大値である。
【００３０】
以上の修正量Ｄｏ，Ｄｇを計算した後は、ステップＳ７へ進み、現在のゲイン値に修正量Ｄｇを加算した指示値を左画像側のアンプ５に出力すると共に、現在のクランプ値に修正量Ｄｏを加算した指示値を左画像側のクランプ回路７に出力し、処理を終了する。
【００３１】
その結果、左画像側のアンプ５のゲイン値及びクランプ回路７のクランプ値が左右画像間の輝度差及び輝度オフセットずれを解消する方向に修正される。すなわち、アンプ５を経た左画像の輝度ゲインがアンプ４を経た右画像の輝度ゲインに一致するように調整され、更に、クランプ回路７を経てＡ／Ｄ変換器９でＡ／Ｄ変換された左画像の輝度レベルが、クランプ回路６を経てＡ／Ｄ変換器８でＡ／Ｄ変換された右画像の輝度レベルと同レベルに調整される。
【００３２】
但し、修正量を加算した後の指示値が各回路の仕様によって定まる調整範囲を越える場合には、調整範囲を超える回路の指示値を変更せず、代わりに、右画像側の該当する回路の現在の指示値を修正量だけ減算した値に変更することで、右画像の輝度ゲイン、クランプレベルを修正し、左右画像の輝度バランスを調整する。
【００３３】
このように、本実施の形態においては、ステレオカメラを構成する２台のカメラの出力の大きさのばらつきによる一対の画像間の輝度ゲインの差、及び直流信号レベルのばらつきによる輝度オフセットずれを自動的且つ同時に解消することができ、各画像で同一物体を写した対応位置の明るさを揃えることができる。これにより、ステレオマッチング処理におけるミスマッチングを防止し、距離検出精度を向上させると共に、正確な画像認識を可能とすることができる。
【００３４】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラで撮像した一対の画像の各々に互いに輝度特性の相関を有する第１，第２の評価ウィンドウを設定し、第１の評価ウィンドウの全体的な輝度の大きさを表す評価値と第２の評価ウィンドウの全体的な輝度の大きさを表す評価値とのサンプル対を複数組算出する。そして、サンプル対を構成する２つの評価値の差が小さくなるように各画像の輝度ゲインと輝度レベルオフセット量とを修正して画像間の輝度バランスを調整するので、画像間の輝度ゲインの差と輝度オフセットずれとを同時に解消することができ、ステレオ画像処理の精度向上を図ることができる。
【図面の簡単な説明】
【図１】ステレオ画像処理システムの構成図
【図２】輝度差調整処理のフローチャート
【図３】輝度サンプル対の分布と回帰直線を示す説明図
【符号の説明】
１ステレオカメラ
４，５アンプ（ゲイン調整手段）
６，７クランプ回路（レベル調整手段）
１６輝度調整処理部（輝度バランス調整手段）
Ｄｇゲイン値の修正量
Ｄｏクランプ値の修正量

Claims

２台１組のカメラからなるステレオカメラで撮像した一対の画像間の輝度バランスを調整する調整装置であって、
上記ステレオカメラで撮像した一対の画像の輝度ゲインを調整するゲイン調整手段と、
上記ステレオカメラで撮像した一対の画像における輝度レベルオフセット量を調整するレベル調整手段と、
上記一対の画像の一方の画像中に設定された第１の評価ウィンドウの全体的な輝度の大きさを表す評価値と、他方の画像中に設定されて上記第１の評価ウィンドウの輝度特性と相関を有する第２の評価ウィンドウの全体的な輝度の大きさを表す評価値とのサンプル対を複数組算出する評価サンプル対算出手段と、
上記サンプル対を構成する２つの評価値の差が小さくなるように上記輝度ゲインと上記輝度レベルオフセット量とを修正し、各画像間の輝度バランスを調整する輝度バランス調整手段とを備えたことを特徴とするステレオカメラの調整装置。
上記輝度バランス調整手段は、
上記サンプル対の分布に対する回帰直線を求め、この回帰直線が原点を通る比例直線となるように上記輝度ゲインと上記輝度レベルオフセット量とを修正することを特徴とする請求項１記載のステレオカメラの調整装置。
上記輝度レベルオフセット量の調整は、黒レベルの基準電圧を調整することにより行うことを特徴とする請求項１或いは請求項２記載のステレオカメラの調整装置。
上記ゲイン調整手段はアンプであり、上記輝度ゲインの調整は、画像信号の電圧を増幅するアンプの増幅率の調整により行うことを特徴とする請求項１或いは請求項２記載のステレオカメラの調整装置。