JP7247063B2 - 画像処理装置、及びそれを用いたステレオカメラ装置 - Google Patents

Description

本発明は、ローリングシャッタ方式の複数の画像センサ（カメラ）で撮影された画像を処理する画像処理装置、及び、その画像処理装置と複数のカメラを用いて車外の障害物の認識を行う車載用のステレオカメラ装置に関する。

車両の走行安全性を向上させるために、車両に搭載したカメラで前方の障害物を検知して、その障害物に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。

車両の前方を監視するセンサとして、ミリ波レーダー、レーザレーダ、カメラなどがある。カメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔の２つのカメラで撮影された画像の重複領域の視差を利用して、撮影された物体までの距離を計測することができる（例えば特許文献１等参照）。このため、前方の物体までの衝突危険度を的確に把握することができる。ステレオカメラは、２つのカメラで撮影された画像の視差を求めて、その視差を距離に変換する。

画像を撮影するための画像センサの露光方式として、ローリングシャッタ方式がある。ローリングシャッタ方式は、2次元上に配置されたセンサの画素をラスタ単位で露光タイミングをずらしながら撮影する方式である。この方式は、動きの速い被写体を撮影すると画像に歪みが発生することが知られている。このため、移動中の車両に搭載したステレオカメラで進行方向を撮影すると、画像の上側と下側で測定距離に差が生じる場合がある。特許文献２には、その画像の上下の距離差を補正する方法が提案されている。

特開２０１８－１０５６８２号公報 特開２０１９－６２２５５号公報

特許文献２では、基準時間からの画素ごとの露光タイミングの遅延量により、視差を基準時間に基づいて補正することにより、画像中のすべての視差を、基準時間の視差に合わせる方法が提案されている。しかしながら、ローリングシャッタ方式が及ぼすステレオカメラの視差への影響は、上記の課題だけでは無く、次の課題がある。

すなわち、光学レンズを使用して撮影された画像は歪みが生じる。このため、ステレオカメラでは左右のカメラの歪みを補正して、左右の画像（左右のカメラで撮影された画像）で同一の物体は同一のラスタ位置に写るようにする必要がある。これは、ステレオマッチング処理が、ブロックマッチングをラスタ方向にスキャンしながら視差の算出を行うためである。ところで、左右レンズの歪み方が同一ではないために、レンズ歪みを補正した後の左右画像の同一ラスタの画素の露光タイミングが、左右画像で異なる場合がある。その場合、露光タイミングのずれの期間に車両が移動すれば、左右の画像の同一ラスタに同一の物体が写らない場合が生じることになる。この場合、ステレオマッチング処理に誤演算が生じて視差に誤差が出る可能性がある。上記特許文献２ではこのような課題については開示していない。

本発明は、上記事情に鑑みてなされたもので、ステレオマッチング処理の視差演算の誤差を減らすことのできる画像処理装置、及びそれを用いたステレオカメラ装置を提供することを目的とする。

上記課題を解決するための本発明の一態様は、例えば以下の通りである。車両に搭載されたローリングシャッタ方式の複数の画像センサで撮影された画像の歪みを補正する幾何補正部と、前記幾何補正部で補正された補正後画像を用いて視差を演算する視差演算部と、基準となる画像の歪み補正に用いる幾何補正量とその他の画像の歪み補正に用いる幾何補正量の差分及び前記車両の位置もしくは移動に関する車両情報に基づいて、少なくとも１つの画像の幾何補正位置を調整する露光時間差調整部とを備えることを特徴とする。

本発明によれば、例えばステレオカメラ装置において、各画像（左右の画像）の同一ラスタ上の画素は露光タイミングを合わせた画像になるので、ステレオマッチング処理の視差演算の誤差を減らすことが可能となる効果がある。

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

実施例１における画像処理装置が搭載されたステレオカメラ装置のシステム構成図。 カメラ画像のレンズ歪みを幾何補正する前と幾何補正した後の画像を示した図。 左右画像の同一y座標で被写体がずれて撮影される例を示した図。 幾何補正テーブルによる幾何補正処理の例を示した図。 x,y座標で示す2次元画像とX,Y,Zで示す3次元空間の対応を示した図。 走行中の路面を撮影した画像の例を示した図。 ステレオカメラ装置の動作フローチャート。 露光時間差調整部の処理フローチャート。 実施例２における、露光差テーブルを持つ露光時間差調整部を備える画像処理装置が搭載されたステレオカメラ装置のシステム構成図。 実施例３における、動的幾何補正部を設けた画像処理装置が搭載されたステレオカメラ装置のシステム構成図。 実施例４において、路面上以外の物体として道路標識の画像を修正する例を示した図。 実施例４において、視差データを用いて物体の距離を求める視差演算部の処理フローチャート。

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

［実施例１］
図１は、実施例１における画像処理装置20が搭載されたステレオカメラ装置10のシステム構成図を示したものである。ステレオカメラ装置10は、図示しない車両（以下、自車ということがある）に搭載され、主に、車両の周辺（例えば前方）を撮影するように所定の間隔をあけて（横並びで）配備された左右一対のカメラ（左カメラ21と右カメラ22）と、カメラの画像（以下、カメラ画像ということがある）を処理する画像処理装置20を有する。

本例では、右カメラ22と左カメラ21の２つのカメラで車両の周辺の画像を撮影する。右カメラ22には光学レンズ24と画像センサ220、左カメラ21には光学レンズ23と画像センサ210をそれぞれ内蔵し、画像センサ220，210はローリングシャッタによる露光方式とする。前記カメラで撮影された画像は光学レンズによって画角や焦点距離が決定される。光学レンズを通して撮影された画像は歪みが発生する。その歪みを補正するために幾何補正が行われる。

前記した右カメラ22と左カメラ21で撮影した画像（歪みを持つ画像）は、画像処理装置20に入力される。画像処理装置20は、ＣＰＵ（Central Processing Unit、中央演算処理装置）やメモリ等を備えるマイクロコンピュータ（以下、マイコンという）で構成され、ＣＰＵは、メモリに格納されているプログラムの指示に従って以下で説明する各種処理を実行する。

本実施例では、画像処理装置20は、幾何補正（左）部25、幾何補正（右）部26、幾何補正テーブル左27、幾何補正テーブル右28、視差演算部30、物体検出部40、車両制御部50、露光時間差調整部60、路面推定部70、テーブル参照座標生成部80を備え、それらが通信線を介して通信可能に接続されている。

幾何補正（右）部26は右カメラ22の画像（右画像もしくは右カメラ画像ということがある）を補正し、幾何補正（左）部25は左カメラ21の画像（左画像もしくは左カメラ画像ということがある）を補正する。画像の幾何補正処理は、本例では、幾何補正テーブルを用いて行う。幾何補正テーブル右28は右カメラ22の撮影画像を補正するためのテーブルであり、前記幾何補正（右）部26に入力される。幾何補正テーブル左27は左カメラ21の撮影画像を補正するためのテーブルであり、前記幾何補正（左）部25に入力される。幾何補正（右）部26、幾何補正（左）部25で補正した画像（補正後画像）は、視差演算部30に入力される。

なお、ここでは、画像の幾何補正処理として、幾何補正テーブルを用いたテーブル方式を採用しているが、例えば、幾何補正処理（歪み補正処理）に用いる幾何補正値は、数式などを用いて演算・算出してもよい。

露光時間差調整部60は、右カメラ22が撮影した画像と左カメラ21が撮影した画像の露光時間（露光タイミング）のずれで生じた左右画像のずれを修正する部分である。左右画像のずれは、左右の画像をそれぞれ幾何補正した時に両方の画像の一部で露光時間がずれることにより生じる。露光時間差調整部60の中には、幾何補正テーブル右28と幾何補正テーブル左27の補正量の違いを用いて露光時間差を算出する時間差算出部601と、その露光時間差と車両の速度や操舵角などの車両信号（車両情報）を用いて画像を修正する座標調整部602が備えられている（詳細は後で説明）。

テーブル参照座標生成部80は、画像の左上から右下までの全部について幾何補正するために幾何補正テーブル（幾何補正テーブル右28、幾何補正テーブル左27）を参照する座標(x,y)を順次生成する。

視差演算部30は、幾何補正（右）部26で補正された画像を基準画像として、幾何補正（左）部25で補正された画像との視差データを演算するためにステレオマッチング処理を行う。視差データは画像全体の各画素について生成する。視差演算部30で生成した視差データは、路面推定部70及び物体検出部40に入力される。

路面推定部70は、視差データのうちで自車が走行中の路面の部分を画像の中で抽出し、路面のパラメータを算出する。路面推定部70で算出した路面のパラメータは、物体検出部40に入力される。

物体検出部40は、視差演算部30からの視差データ及び路面推定部70からの路面のパラメータを基に、視差データと画像データを用いて路面上の立体物を検知する。物体検出部40で検知した情報は、車両制御部50に入力される。

車両制御部50は、物体検出部40で検知した立体物が走行の障害となる場合は、その障害物との衝突を回避もしくは衝突による衝撃を軽減するため、車両に設けられたブレーキ、サスペンションなどを制御する制御指令を生成して出力する。

図２は、カメラ画像のレンズ歪みを幾何補正する前と幾何補正した後の画像を示したものである。右カメラ画像2200は、正方形の格子状のパターンを撮影すると、光学レンズ24により歪んだ画像となる。この画像を幾何補正（右）部26で補正すると、幾何変換後右画像2201となる。右カメラ画像2200の中の曲線2203は、幾何変換後右画像2201の直線2202になる。同様に、左カメラ画像2100は、正方形の格子状のパターンを撮影すると、光学レンズ23により歪んだ画像となる。この画像を幾何補正（左）部25で補正すると、幾何変換後左画像2101となる。左カメラ画像2100の中の曲線2103は、幾何変換後左画像2101の直線2102になる。

通常、右の光学レンズ24と左の光学レンズ23の歪み特性が異なっているため、例えば直線2202と直線2102のy座標が同じであっても、それらの直線の変換前の曲線2203のy座標と曲線2103のy座標は異なっている場合がある。右カメラ22と左カメラ21の光学センサ（ＣＣＤセンサやＣＭＯＳセンサなど）としての画像センサ220，210がローリングシャッタ方式であるため、曲線2203と曲線2103は露光時間がずれる。これは、ローリングシャッタはラスタ単位で露光時間がずれていくためである。車両が移動中である場合は、幾何補正後の左右画像（幾何変換後右画像2201、幾何変換後左画像2101）の同じy座標に被写体がずれて撮影されることになる。

図３は、左右画像の同一y座標で被写体がずれて撮影される例を示したものである。幾何変換後左画像2101の路面上の物体2104と幾何変換後右画像2201の路面上の物体2204は、同一物体であるが画像上のy座標のずれが生じている。ステレオマッチング処理は、左右画像の視差を演算するときに左右同一のy座標に同一の被写体が撮影されることを前提としているため、このケースではステレオマッチングに誤差が生じることになる。図３に示すように物体2104と物体2204のy座標がずれる原因は、図２に示す直線2102と直線2202のy座標が同一にもかかわらず、露光時間にずれがあることに因る。従って、幾何変換後画像の左右同一の座標のデータは露光タイミングが同一の画素データになるように幾何変換を補正することが必要となる。

図４は、幾何補正テーブルによる幾何補正処理の例を示したものである。この図４では、左カメラ画像2100として、x方向が8画素、y方向が8画素の64画素であり、幾何変換後左画像2101として、x方向が8画素、y方向が8画素の64画素としている。幾何補正テーブル左27は、幾何変換後左画像2101の各画素に、（幾何変換前の）左カメラ画像2100のどの画素を使用するのかを示している。この例では、幾何変換後左画像2101のx=1, y=1の座標には（幾何変換前の）左カメラ画像2100のx=2, y=4の画素データを使用することを示している。同様に右カメラ画像2200については、幾何変換後右画像2201のx=1, y=1の座標には、幾何補正テーブル右28が示す通り、（幾何変換前の）右カメラ画像2200のx=2, y=6の画素データを使用することを示している。この例によれば、左右の幾何変換後画像のx=1, y=1の画素データは、右カメラ画像2200がy＝6で、左カメラ画像2100がy＝4であり、2ラスタの差がある。画像センサ220，210のこの2ラスタの差に1ラスタ当たりの露光タイミングの時間差分を掛ければ、当該画素の露光タイミングのずれ量（差分）となる。つまり、左右の幾何補正テーブルの同じ座標位置に示される補正データ（補正量）を比較すれば、左右の幾何補正後画像の同じ座標同士の露光タイミングのずれ量（露光時間差）がわかる。

このずれ量を基に車両の移動距離と移動方向を算出し、左右どちらかの画像の位置ずれを修正する。この実施例では、右画像をステレオ処理の基準画像として、左画像を修正する。本実施例では、幾何補正テーブルの数値を整数形式で表現しているが、精度向上のために少数形式での表現も可能である。また、幾何補正テーブルを8画素単位程度に間引きしてその間の画素は補間するようにしてテーブルサイズを小さくしても良い。

前述した画像の位置ずれの修正について説明する。図５は、x,y座標で示す2次元画像500とX,Y,Zで示す3次元空間の対応を示したものである。3次元空間中の点Ｑが2次元画像500の点qに表示されるときに以下の式(1)、(2)となる。式(1)、(2)中、ｆは焦点距離である。画像上の(x,y)とその画素のZがわかれば、この式(1)、(2)を変換して、X,Yが決まる。
（数１）
x = f(X/Z) ・・・・・・(1)
（数２）
y = f(Y/Z) ・・・・・・(2)

図６に、走行中の路面603を撮影した画像の例を示す。路面603が平面で、しかも横方向の傾きがないものとすれば、以下の式(3)で路面603上のy座標とZ値の関係が示される。式(3)中、αは消失点604のy座標、βはカメラの地上高さや焦点距離などで求まる路面のパラメータである。
（数３）
y = α-β/Z ・・・・・・(3)

式(3)をZ値を求める式に変換して路面603上のy座標からZ値を算出し、式(1)、(2)を、X,Yを求めるように変換した式に路面603上のx,yと前記Z値を適用すると、路面603上の物体2104の点(x,y)に対応する3次元空間の座標(X,Y,Z)を算出することができる。この(X,Y,Z)に、図４で示した左右幾何補正テーブルのy座標値の差分から求めた車両の移動距離と移動方向を加算して、再度、式(1)、(2)で左カメラ画像の(x,y)を求めれば、幾何変換後右画像2201と幾何変換後左画像2101の露光時間のずれを補正した画像とすることができる。

図１に示す露光時間差調整部60の時間差算出部601は、前述したように、左右の幾何補正テーブル（幾何補正テーブル右28と幾何補正テーブル左27）の同じ座標位置に示される補正データ（補正量）を比較してその差分を求め、1ラスタ当たりの露光タイミングの時間差分を掛けあわせて（加味して）、左右の幾何補正後画像の同じ座標同士の露光タイミングのずれ量（露光時間差）を求める。

また、露光時間差調整部60の座標調整部602は、前述したように、露光タイミングのずれ量（露光時間差）と車両の位置もしくは移動に関する車両情報を用いて、画像の位置ずれを修正、換言すれば、左画像の幾何補正位置を調整する。車両情報としては、旋回角度や自車速度などが含まれ、例えば車両に搭載した舵角・ヨーレート・速度センサなどから得られる。また、車両情報として、自車位置から、旋回角度や自車速度などを算出するようにしてもよい。これにより、露光タイミングのずれ期間で移動した車両の移動距離と移動方向を算出できる。

図７は、ステレオカメラ装置10の動作フローを示したものである。

まず初めに、右カメラ22と左カメラ21で画像を撮影する(S100)。次に、画像のレンズ歪みを補正するために幾何変換処理を行う。そのために、幾何補正テーブルを参照する座標(x,y)をテーブル参照座標生成部80で更新する(S110)。露光時間差調整部60で左右画像の露光時間差による左画像の参照座標(x’,y’)を計算する(S120)。この部分の詳細は図８に基づき後で説明する。次に、右画像の補正のための幾何補正テーブル右28は座標(x,y)で、左画像の補正のための幾何補正テーブル左27は座標(x’,y’)でそれぞれをアクセスする。それぞれの幾何補正テーブルをアクセスした結果を用いて、幾何補正（右）部26及び幾何補正（左）部25で図４に示したような画像補正処理を行う(S130)。この補正処理を画像全面に行う(S140)。

次に、その幾何補正された左右の画像を用いて、視差演算部30で視差データの生成を行う(S150)。その視差データを用いて、路面推定部70で路面パラメータ（α、β）を作成する(S160)。また、前記視差データを用いて、物体検出部40で路面上の物体を検出してその位置、距離、大きさを計算し、路上障害物を検知する(S170)。そして、自車の走行に障害が出ないように、車両制御部50で前記路上障害物の位置に応じてブレーキやサスペンションなどを制御する制御指令を生成した後(S180)、システム終了を判断する(S190)。

図８に、露光時間差調整部60の処理フロー（前記した図７のS120の処理フロー）を示す。左右の幾何補正テーブルを(x,y)に従ってアクセスし、図４で示したようにその左右の幾何補正テーブルに記録されている補正座標値の差分からラスタ数の差分sを求める(S200)。このsは、露光時間のずれ（画素ごとの露光タイミングの差分）をラスタ単位の時間比率で示すテーブルで示したものである。前記差分sから(x,y)の画素の左右カメラの露光時間差rを（時間差算出部601で）求める(S210)。画像センサの1ラスタ当たりの露光時間差をδとすると、露光時間差rは、以下の式(4)となる。
（数４）
r = δ・s ・・・・・・(4)

続いて、自車速度や旋回角度などの車両情報を基に、その露光時間差rの期間に車両が移動した距離w、方向(u,v)を求める(S220)。次に、左画像の修正部分(x,y)の座標を式(1)、(2)、(3)を用いて3次元空間の(X,Y,Z)に変換する(S230)。前記(u,v,w)を前記(X,Y,Z)に加算してそれを式(1)、(2)に適用して次のように画像上の位置(x’,y’)を（座標調整部602で）求める(S240)。
（数５）
x’ = f(X+u)/(Z+w) ・・・・・・(5)
（数６）
y’ = f(Y+v)/(Z+w) ・・・・・・(6)

この(x’,y’)を用いて前述したように図７のS130の処理を行う。

以上で説明したように、本実施例１の画像処理装置20は、ローリングシャッタ方式の複数の画像センサ220，210で撮影された画像の歪みを補正する幾何補正部（幾何補正（右）部26、幾何補正（左）部25）と、その幾何補正部で補正された補正後画像を用いて視差を演算する視差演算部30と、画素センサ220で撮影された基準となる画像（右画像）の歪み補正に用いる幾何補正量（幾何補正テーブル右28）と画素センサ210で撮影されたその他の画像（左画像）の歪み補正に用いる幾何補正量（幾何補正テーブル左27）の差分及び車両の位置もしくは移動に関する車両情報（自車速度、旋回角度など）に基づいて、少なくとも１つの画像（左画像）の幾何補正位置を調整する露光時間差調整部60とを備える。

また、幾何補正量としての幾何補正テーブル（幾何補正テーブル右28、幾何補正テーブル左27）を持ち、前記露光時間差調整部60は、基準となる画像（右画像）の幾何補正テーブル右28とその他の画像（左画像）の幾何補正テーブル左27の補正量の差から、画像間の画素ごとの露光タイミングの差分を求め、その画素ごとの露光タイミングの差分及び車両情報に基づいて、少なくとも１つの画像（左画像）の幾何補正位置を調整する。

このように、本実施例１では、左右画像のレンズ歪みを補正する幾何補正処理に使用する幾何補正テーブルの参照位置（幾何補正位置）を調整することで、左右画像の露光タイミングのずれを調整する機能を実現している。詳しくは、ステレオカメラ装置10において、レンズの幾何歪みを補正した後の左右の画像について同一位置の画素について露光タイミングの差分を算出し、その差分に基づいて車両が移動した距離と方向に合わせて画像を修正し、左右画像の画素の露光タイミングを合わせる。

これにより、本実施例１によれば、例えばステレオカメラ装置10において、各画像（左右の画像）の同一ラスタ上の画素は露光タイミングを合わせた画像になるので、ステレオマッチング処理の視差演算の誤差を減らすことが可能となる効果がある。また、露光タイミングのずれを調整する画像変換の処理を専用に設ける必要がなく、その結果、ハードウェア量の削減と演算負荷の削減を実現できる。

［実施例２］
図９は、実施例２における、左右画像の画素ごとの露光タイミングの時間差を予めテーブル（露光左テーブル605）として保持する露光時間差調整部60を備える画像処理装置20が搭載されたステレオカメラ装置10のシステム構成図である。図１との違いは、露光時間差調整部60の中に、幾何補正テーブル右28と幾何補正テーブル左27の各同一座標部分の（画素ごとの）ラスタ差分を露光差テーブル605として予め保持していることである。ラスタ差分は前述した式(4)のsに相当するものである。

画像処理装置20の露光時間差調整部60は、調整対象の画素に対応する露光差テーブル605の値（左右の幾何補正後画像の同じ座標同士の露光タイミングのずれ量に相当）を抽出し、その抽出した値と車両の位置もしくは移動に関する車両情報などを用いて、画像の位置ずれを修正、換言すれば、左画像の幾何補正位置を調整する。

以上で説明したように、本実施例２の画像処理装置20は、各々の画像センサ220，210で撮影された画像間の画素ごとの露光タイミングの差分を示す露光差テーブル605を持ち、前記露光時間差調整部60は、調整対象の画素に対応する露光差テーブル605の値を抽出し、その抽出した値及び車両情報に基づいて、少なくとも１つの画像（左画像）の幾何補正位置を調整する。

このように、図１に示す実施例１では、幾何補正テーブル右28と幾何補正テーブル左27から毎フレームでsを計算していたが、図９に示す本実施例２では、露光差テーブル605により、sの計算を省略して演算量を減らすことができる。

これにより、本実施例２によれば、上述した実施例１と同様の作用効果が得られることに加えて、画像処理装置20内（の露光時間差調整部60）の演算負荷を軽減することができる。

［実施例３］
ステレオカメラ装置は、光学レンズの歪みによる画像ずれ以外にも、経年変化や温度変化によって左右カメラ画像の光軸ずれが生じる場合がある。光学レンズの歪みはレンズを加工した時にパラメータが決定されるため、その補正（歪み補正）は静的な幾何補正となる。一方、経年変化や温度変化に伴う光軸ずれ（量）の補正は、ステレオカメラ装置が使用されている時にパラメータが決定されるため、その補正は動的な幾何補正となる。

図１０は、実施例３における、動的な幾何補正を処理する動的幾何補正部90を設けた画像処理装置20が搭載されたステレオカメラ装置10のシステム構成図である。動的幾何補正部90は、例えば特許文献１（特開２０１８－１０５６８２号公報）に示すような方法で経年変化や温度変化に伴う稼働中の画像の光軸ずれ量を検知して画像の縦ずれ量（垂直ずれともいう）を算出するものとする。前記縦ずれ量は、幾何補正（左）部25に送られ、左カメラ21が撮影した画像を前記縦ずれ量で示す分だけ縦方向にずらす処理を行う。あるいは、前記縦ずれ量は、幾何補正（右）部26に送られ、右カメラ22が撮影した画像を前記縦ずれ量で示す分だけ縦方向にずらす処理を行う。また、露光時間差調整部60では、露光差テーブル605の値に、前記縦ずれ量を加算（または減算）し、最終的なラスタのずれ量を計算する。この結果を用いて、露光時間差調整部60が、前述した実施例１、２と同様に幾何補正テーブル左27の参照座標を計算する。

以上で説明したように、本実施例３の画像処理装置20は、稼働中の画像の光軸ずれ量を検知する動的幾何補正部90を持ち、前記露光時間差調整部60は、画像の露光タイミングのずれ（差分）と動的幾何補正部90で検知された光軸ずれ量（に対応する画像の縦ずれ量）を用いて、少なくとも１つの画像（左画像）の幾何補正位置を調整する。

このように、本実施例３では、ステレオカメラ装置10が経年変化や温度変化によって左右カメラ画像にずれが生じても、そのずれを加味して露光タイミングのずれを補正し、その補正に基づいて画像を修正する。

これにより、本実施例３によれば、上述した実施例１、２と同様の作用効果が得られることに加えて、より正しい視差データを演算することができる。

［実施例４］
図１１は、路面上以外の物体として道路標識606の画像を修正する例を示したものである。物体の画像を修正するためには、画像上の(x,y)の他に距離Zが必要である。路面高さの物体の距離Zは、上記式(3)により求めることができる。しかし、路面高さ以外の物体はこの方法では距離Zを求めることができない。そこで、本実施例４では、視差データを利用する方式について説明する。

図１２は、視差データを用いて物体の距離Zを求める視差演算部30の処理フローを示したものである。

まず、画像の修正を行う部分の座標(x,y)を特定する(S300)。その後、1フレーム前の画像の中から、上記(x,y)の場所(x”,y”)を探索する(S310)。その(x”,y”)の座標の視差データdを距離Z”に次の式(7)で変換する(S320)。式(7)中、fは焦点距離、Bは左右カメラ間の距離、aは画像センサの1画素のサイズである。
（数７）
Z” = (f × B) / (d × a) ・・・・・・(7)

次に、上記距離Z”に1フレーム期間で自車が移動した距離を加算した距離Zを求める(S330)。上記(x,y)と上記Zから、式(1)、(2)を変形して(X,Y)を算出することができる(S340)。そのあと、露光タイミングを左右で合わせた画像にするために、式(5)、(6)により画像の修正座標を算出することができる。

このように、この本実施例４の方法によれば、路面上以外の物体でも左右画像の露光タイミングを合わせた画像に修正することができる。

これにより、本実施例４によれば、上述した実施例１～３と同様の作用効果が得られることに加えて、より広範囲で正しい視差データを演算することができる。

なお、上記した実施例においては、ステレオカメラ装置10が２つ（左右）のカメラから構成されているが、ステレオカメラ装置10を構成するカメラの数は３つ以上であってもよい。

また、上記した実施例においては、ステレオカメラ装置10を構成する画像センサを含むカメラ（左カメラ21、右カメラ22）と画像処理装置20とが別体として構成されているが、カメラと画像処理装置20の一部（例えば、幾何補正（左）部25、幾何補正（右）部26、露光時間差調整部60など）もしくは全部とを一体として、言い換えれば、画像処理装置20の一部（例えば、幾何補正（左）部25、幾何補正（右）部26、露光時間差調整部60など）もしくは全部をカメラに組み込んで構成してもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

10 ステレオカメラ装置
20 画像処理装置
21 左カメラ
22 右カメラ
23 光学レンズ（左）
24 光学レンズ（右）
25 幾何補正（左）部
26 幾何補正（右）部
27 幾何補正テーブル右
28 幾何補正テーブル左
30 視差演算部
40 物体検出部
50 車両制御部
60 露光時間差調整部
70 路面推定部
80 テーブル参照座標生成部
90 動的幾何補正部
210 画像センサ（左）
220 画像センサ（右）
601 時間差算出部
602 座標調整部
603 路面
604 消失点
605 露光差テーブル
606 道路標識

Claims (7)

1. 車両に搭載されたローリングシャッタ方式の複数の画像センサで撮影された画像の歪みを補正する幾何補正部と、
   前記幾何補正部で補正された補正後画像を用いて視差を演算する視差演算部と、
   前記複数の画像センサで撮影された画像のうち所定の画像センサで撮影された基準となる画像の歪み補正に用いる幾何補正量と前記複数の画像センサで撮影された画像のうち前記所定の画像センサとは異なる画像センサで撮影されたその他の画像の歪み補正に用いる幾何補正量の差分及び前記車両の位置もしくは移動に関する車両情報に基づいて、少なくとも１つの画像の幾何補正位置を調整する露光時間差調整部とを備えることを特徴とする画像処理装置。
2. 前記画像センサで撮影された画像の歪み補正に用いる幾何補正量としての幾何補正テーブルを持ち、
   前記露光時間差調整部は、前記基準となる画像の幾何補正テーブルと前記その他の画像の幾何補正テーブルの補正量の差から、画像間の画素ごとの露光タイミングの差分を求め、前記画素ごとの露光タイミングの差分及び前記車両情報に基づいて、少なくとも１つの画像の幾何補正位置を調整することを特徴とする請求項１に記載の画像処理装置。
3. 各々の画像センサで撮影された画像間の画素ごとの露光タイミングの差分を示す露光差テーブルを持ち、
   前記露光時間差調整部は、調整対象の画素に対応する前記露光差テーブルの値を抽出し、前記抽出した値及び前記車両情報に基づいて、少なくとも１つの画像の幾何補正位置を調整することを特徴とする請求項１に記載の画像処理装置。
4. 前記画素ごとの露光タイミングの差分は、ラスタ単位の時間比率で示すテーブルで示されることを特徴とする請求項２に記載の画像処理装置。
5. 前記車両情報として自車速度と旋回角度を含むことを特徴とする請求項１に記載の画像処理装置。
6. 稼働中の画像の光軸ずれ量を検知する動的幾何補正部を持ち、
   前記露光時間差調整部は、前記画像の露光タイミングのずれと前記幾何補正量の差分と前記車両情報と前記動的幾何補正部で検知された前記光軸ずれ量を用いて、少なくとも１つの画像の幾何補正位置を調整することを特徴とする請求項１に記載の画像処理装置。
7. 請求項１に記載の画像処理装置と、該画像処理装置に画像を入力する前記複数の画像センサとを有することを特徴とするステレオカメラ装置。

Images