JP6619589B2 - 画像処理装置 - Google Patents

Description

本発明は、車両の進行方向をステレオカメラを用いて撮像して得られた画像に基づき被写体の３次元位置情報を認識する画像処理装置に関する。

車外環境を認識する車両システムとして、自車両の進行方向を一対のカメラを備えるステレオカメラで撮像して得られた一対の画像に基づき、被写体と自車両との位置関係を認識する画像処理装置を備えるものがある。このように自車両の進行方向に存在する被写体を認識するシステムでは、被写体までの距離の情報を含めた被写体の３次元位置情報（実空間上における位置の情報）を生成する。具体的には、前記のステレオカメラにより視点の異なる一対の画像データを撮像し、当該一対の画像データ間における被写体の視差を算出し、当該視差に基づいて被写体の３次元位置情報を生成する。

前記の３次元位置情報は、一対のカメラの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸とした場合の空間上の点（Ｘ，Ｙ，Ｚ）で表される。３次元位置情報は、三角測量の手法に基づき生成されるもので、具体的には、画像上の画素を座標（ｉ，ｊ）で表し、視差をｄｐ、一対のカメラの間隔をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、カメラ正面の無限遠点の画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、以下の［式１］〜［式３］で表される座標変換により求まる。

Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉ−ＩＶ）…［式１］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ）…［式２］
Ｚ＝ＣＤ／｛ＰＷ・（ｄｐ−ＤＰ）｝…［式３］
但し、前記［式３］における「ＤＰ」は視差オフセット値であり、ステレオカメラの車両への取り付け時に決定され、それ以降は定数として扱われる値である。

視差オフセット値ＤＰは、ステレオカメラが自車両に対して所定に取り付けられた状態を基準として定められた値であるため、例えば車両の使用により生じる振動や熱等に起因してステレオカメラの取付状態が所定状態から変化してしまうと、前記［式３］により距離Ｚの値を正しく算出することができなくなってしまう。

そこで、このようなステレオカメラの取付状態の経時的な変化に伴い生じる視差オフセット値ＤＰの誤差を補正するための技術として、先に本出願人は前記特許文献１に記載される補正技術を提案している。特許文献１では、走行車線に沿って直線状に標示された連続線や破線等の破線の撮像画像に基づいて一対のカメラの各撮像画像中にそれぞれ消失点を算出し、その結果に基づいて補正する。前記特許文献１に記載の技術によれば、自車両の走行時に視差オフセット値ＤＰを補正することができる。

特開２００３−８３７４２号公報

特許文献１のように、画像データ中の走行車線に沿って設けられた直線状の標示から消失点を求め、この結果に基づいて視差オフセット値を補正する従来技術では、直線状と判定した標示が実際には曲がっている場合に、補正結果に誤差が含まれてしまう。

本発明は前述した問題を解決するものであり、ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、正確に視差オフセット値の補正を行うことを目的とする。

本発明の一態様の画像処理装置は、自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像データ上における、前記自車両が走行する車線に沿って路面に設けられた破線の実線部の位置と形状を検出する破線検出処理部と、前記自車両の走行中に、前記破線検出処理部により前記自車両の進行方向の距離の異なる２地点で検出された同一の前記実線部の長さの算出結果の差に基づき、前記被写体までの距離を算出する計算式の補正を行う視差オフセット値補正処理部と、を備え、前記視差オフセット値補正処理部は、前記一対の画像データにおける１つまたは複数の前記実線部の垂直方向の座標と視差との関係が直線状である場合に、前記計算式の補正を行う。

本発明によれば、ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、正確に視差オフセット値の補正を行うことができる。

画像処理装置の構成を示すブロック図である。 実空間上において、破線の実線部が遠距離地点に位置している状態（時刻Ｔ１）を示す図である。 実空間上において、破線の実線部が近距離地点に位置している状態（時刻Ｔ２）を示す図である。 時刻Ｔ１にステレオカメラによって撮像された一対の画像データ上における破線の実線部を示す図である。 時刻Ｔ２にステレオカメラによって撮像された一対の画像データ上における破線の実線部を示す図である。 画像処理装置の動作を示すフローチャートである。 画像データ中に破線が検出された場合における、当該破線の実線部のｊ座標と当該実線部の視差ｄｐとの関係を示すグラフである。

以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。

図１に示す本実施形態の画像処理装置１は、ステレオカメラ２が装着された車両に搭載され、ステレオカメラ２によって撮像された画像中に写っている物体（被写体）の車両に対する相対的な位置を算出する。

ステレオカメラ２は、車両の進行方向を視野に収めるように車幅方向に所定の距離だけ離間して配置された、視点の異なる一対の第１カメラ２ａおよび第２カメラ２ｂを備える。第１カメラ２ａおよび第２カメラ２ｂは、同期して同一のフレームレートで動画像を撮像する。

第１カメラ２ａおよび第２カメラ２ｂは、互いの光軸が平行であり、同一の高さに設置される。第１カメラ２ａおよび第２カメラ２ｂのそれぞれの光軸の離間距離が、基線長ＤＣである。本実施形態では一例として、第１カメラ２ａが、車両の進行方向に向かって右側に配置されており、第２カメラ２ｂが、車両の進行方向に向かって左側に配置されている。

ステレオカメラ２は、撮像した画像をデジタルデータに変換するＡ／Ｄコンバータや、画像に対してノイズ除去および輝度値補正等の画像補正を行う画像補正部等を備える。ステレオカメラ２は、撮像した画像をデジタルデータとして画像処理装置１に送信する。

画像処理装置１は、ＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。なお、画像処理装置１は、車両の動作を制御するコンピュータを含む車両制御システム３に組み込まれていてもよいし、車両制御システム３とは別のコンピュータであってもよい。

画像処理装置１は、車両制御部３との間で通信可能である。車両制御システム３は、車両に設けられた車速センサ、舵角センサ、加速度センサおよび角速度センサ等を含むセンサ部５から入力される情報と、画像処理装置１から入力される情報と、に基づき、車両の周辺環境を含めた状況を認識し、運転支援に係る動作を実行する。

運転支援に係る動作とは、運転者に対して車線逸脱警告や衝突警告を出力する警告動作、および自動ブレーキや自動操舵等の半自動または自動の運転補助動作等を含む。ステレオカメラを用いた運転支援は公知の技術であるため詳細な説明は省略する。

画像処理装置１は、メモリ１ａ、３次元位置情報生成処理部１ｂ、破線検出処理部１ｃ、および視差オフセット値補正処理部１ｅを備える。

メモリ１ａは、ステレオカメラ２から入力される画像のデータを記憶する。以下では、第１カメラ２ａにより撮像される画像を第１画像データと称し、第２カメラ２ｂにより撮像される画像を第２画像データと称する。

３次元位置情報生成処理部１ｂ、破線検出処理部１ｃ、および視差オフセット値補正処理部１ｅは、それぞれ以下に説明する画像処理装置１が有する画像処理の機能を実行するための構成を含む。

３次元位置情報生成処理部１ｂは、ステレオカメラ２によって撮像された視点の異なる一対の画像データに基づき、被写体の３次元位置情報を生成する。

３次元位置情報生成処理部１ｂが実行する３次元位置情報生成処理は、第１画像データと第２画像データの間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差ｄｐとして算出し、視差ｄｐを用いて三角測量の原理により実空間上における対応点の位置の情報を３次元位置情報として生成する処理である。

前記のような視差ｄｐとしての座標のずれを算出するにあたっては、予め第１画像データおよび第２画像データのうちの一方が「基準画像」、他方が「比較画像」として定められる。

ここで、３次元位置情報は、一対のカメラである第１カメラ２ａと第２カメラ２ｂの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸ととった場合の実空間における実座標上の点（Ｘ，Ｙ，Ｚ）として表される情報である。

３次元位置情報としてのＸ，Ｙ，Ｚの各値は、画像中における水平方向に平行な軸をｉ軸、垂直方向に平行な軸をｊ軸としたときの画素の座標を（ｉ，ｊ）で表し、一対のカメラの間隔（基線長）をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、カメラ正面の無限遠点の基準画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、下記［式１］〜［式３］で表される座標変換により求まる。

Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉ−ＩＶ） …［式１］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …［式２］
Ｚ＝ＣＤ／｛ＰＷ・（ｄｐ−ＤＰ）｝ …［式３］
前記［式３］における「ＤＰ」は、消失点視差や無限遠対応点などとも称されるが、要するに基準画像と比較画像の間の対応点間の視差ｄｐと、対応点までの実空間上での距離Ｚとが前記［式３］を満たすようにして決定される値である。以下、この「ＤＰ」については「視差オフセット値ＤＰ」と称する。

破線検出処理部１ｃは、ステレオカメラ２によって撮像された画像データ中における、自車両が走行する路面上に形成された破線を検出する破線検出処理を実行する。ここで破線とは、自車両が走行している車両通行帯を示すために、車両通行帯の境界に沿って路面上に形成された破線状の道路標示である。破線は、車両通行帯の境界に沿って、実線部と空白部が交互に配置されている。

破線検出処理部１ｃは、第１画像データおよび第２画像データの双方について、自車両が走行している車両通行帯の左右の少なくとも一方に存在する破線の形状を検出する。

視差オフセット値補正処理部１ｅは、破線検出処理部１ｃによって検出された破線の情報に基づいて、視差ｄｐから距離Ｚを算出する計算式（すなわち先の［式３］）についての補正を行う視差オフセット値補正処理を実行する。前述のように、カメラの取付状態の経時的な変化に起因して［式３］における視差オフセット値ＤＰには現実のカメラ取付状態に対応した最適値からの誤差が発生してしまうため、視差オフセット値補正処理はこれを補正するものである。

図２および図３は、実座標であるＸ−Ｙ平面における破線１０を示す図である。図２および図３は、自車両が走行車線６を走行中である場面を鉛直上方から見た図であり、走行車線６の進行方向に向かって右側に破線１０が存在する場合を示している。図２および図３では、自車両を描画していないが、前述のように、原点位置が自車両に搭載されたステレオカメラ２の第１カメラ２ａと第２カメラ２ｂの中央真下の点である。図２および図３において、自車両の進行方向は、図面に正対して図の下から上に向かう方向（Ｚ軸に沿って正の方向）である。なお、破線１０は、走行車線６の進行方向に向かって左側に存在していてもよい。

図２は、破線１０のある実線部１０ａが、自車両の前方の比較的遠い地点である遠距離地点に位置している時刻Ｔ１の状態を示している。自車両から遠距離地点までの距離は特に限定されるものではなく、ステレオカメラ２および３次元位置情報生成処理部１ｂによる測定分解能が所定の値以下となる範囲内においてできるだけ遠い距離であることが好ましい。本実施形態では一例として、遠距離地点は、自車両の前方およそ４００００ｍｍから６００００ｍｍの範囲内であるとする。例えばステレオカメラ２および３次元位置情報生成処理部１ｂによる測定の分解能がより高ければ、遠距離地点は前述の範囲より遠くすることができる。

図３は、時刻Ｔ１において遠距離地点に位置していた破線１０の実線部１０ａが、自車両の移動によって前記遠距離地点よりも自車両に近い地点である近距離地点に位置している時刻Ｔ２の状態を示している。自車両は前方に向かって移動中であるから、時刻Ｔ２は、時刻Ｔ１のΔＴ秒後の状態である。本実施形態では一例として、遠距離地点は、自車両の前方およそ１００００ｍｍから２００００ｍｍの範囲内であるとする。ΔＴの値は、自車両の移動速度や、ステレオカメラ２のフレームレートによって定まる値であり、可変である。

図４は、ステレオカメラ２によって前記時刻Ｔ１に撮像された画像データを示す図であり、図５は、ステレオカメラ２によって前記時刻Ｔ２に撮像された画像データを示す図である。図４および図５に示すように、時刻Ｔ１に撮像された画像データおよび時刻Ｔ２に撮像された画像データの双方に、同一の実線部１０ａが写っている。

図４および図５では、説明のために、ステレオカメラ２によって撮像された第１画像データおよび第２画像データのうちの、第１画像データのみを示している。また、図４および図５においては、第２画像データ中の破線１０の実線部１０ａを第１画像データに重ね合わせた場合の位置を、２点鎖線で示している。

以下の説明において、画像データ中の実線部１０ａの像について第１画像データ中のものと第２画像データ中のものとを区別する場合には、前者に符号１０ａ（Ｒ）を付し、後者に符号１０ａ（Ｌ）を付す。

破線検出処理部１ｃは、図４および図５に示す画像データ中の、破線１０の実線部１０ａの形状および位置を検出する。また、破線検出処理部１ｃは、連続して撮像された複数の画像データを比較することによって、画像データ中に写っている破線１０の複数の実線部の動きを検出する。破線検出処理部１ｃは、ステレオカメラ２により撮像された動画像中での実線部の動き検出を行うことにより、例えば時刻Ｔ１において撮像した画像データ中において遠距離地点に位置している実線部１０ａが、ΔＴ秒後の時刻Ｔ２において撮像した画像データ中において近距離地点に位置している実線部１０ａと同一のものであるか否かを判定する。

視差オフセット値補正処理部１ｅは、図６に示すフローチャートの視差オフセット値補正処理を実行する。視差オフセット値補正処理は、時刻Ｔ１および時刻Ｔ２における破線１０の実線部１０ａの検出情報に基づき、視差ｄｐから距離Ｚを算出する計算式（すなわち先の［式３］）についての補正を行う処理である。

図６に示す視差オフセット値補正処理は、ステレオカメラ２のフレームレートに同期して実行される。すなわち、視差オフセット値補正処理は、ステレオカメラ２によって撮像される動画像において所定のフレーム毎に実行される。本実施形態では一例として、視差オフセット値補正処理は、ステレオカメラ２によって撮像される動画像の全フレームにおいて実行される。

図６に示すように、視差オフセット値補正処理では、まずステップＳ１０において、視差オフセット値補正処理の実行が可能であるか否かを判定する。視差オフセット値補正処理の実行は、自車両が平坦路を直線走行中である必要がある。言い換えれば、自車両が起伏のある道や曲線路を走行中である場合には、視差オフセット値補正処理を実行することができない。

そこで、ステップＳ１０では、センサ部５によって、自車両が所定時間以上、等しい速度で直進している場合に、自車両が走行する路面が平坦かつ直線状であるとみなす。自車両が等速度で直進しているか否かの判定は、センサ部５に含まれる舵角センサや加速度センサ等の出力情報に基づいて行う。例えば、舵角が中立付近の所定範囲内に収まり、かつ車両前後方向の加速度の値がゼロ付近の所定範囲内に収まる場合に、画像処理装置１は、自車両が等速度で直進していると判定する。

なお、ステップＳ１０では、破線検出処理部１ｃによって検出される破線の実線部の動きベクトルが、所定時間以上一定である場合に、自車両が等速度で直進していると判定してもよい。

ステップＳ１０において、視差オフセット値補正処理部１ｅは、自車両が等速度で直進している場合に、視差オフセット値補正処理の実行が可能であると判定する。

ステップＳ１０において、視差オフセット値補正処理の実行が不可能であると判定した場合（ステップＳ２０のＮＯ）には、ステップＳ２００に移行してメモリ１ａに記憶されている後述する検出情報を消去した後に、視差オフセット値補正処理を終了する。この場合、視差オフセット値ＤＰの値は変更されない。

一方、ステップＳ１０において、視差オフセット値補正処理の実行が可能であると判定した場合（ステップＳ２０のＹＥＳ）には、ステップＳ３０に移行する。

ステップＳ３０では、ステレオカメラ２により撮像された動画像の最新のフレームの画像データ（以下、最新の画像データと称する）について、破線検出処理部１ｃによる破線検出処理を実行する。そして、ステップＳ４０において、ステップＳ３０の処理により最新の画像データ中に破線が検出されたか否かを判定する。

例えば最新の画像データが図５に示す状態である場合、自車両の走行車線６に沿って右側に検出される道路標示の実線部のｊ座標と、当該実線部の視差ｄｐとの関係は、図７に示すグラフのようになる。図７のグラフにおいて、ｊ座標と視差ｄｐの単位は画素数［ｐｉｘ］である。

視差オフセット値補正処理部１ｅは、図７に示すように、実線部のｊ座標と視差ｄｐとの関係が直線状であり、かつ実線部として検出される領域８が、実線部として検出されない空白部７に挟まれている場合に、この実線として検出される領域８を破線１０の実線部であると判定する。

また、視差オフセット値補正処理部１ｅは、図７に示すように、全ての実線部として検出される領域８のｊ座標と視差ｄｐとの関係が、同一の直線に沿って分布していれば、道路標示が直線状であると判定することができる。道路標示が直線状ではないと判定した場合には、視差オフセット値補正処理部１ｅは、視差オフセット値補正処理を終了する。

ステップＳ４０において、最新の画像データ中に破線が検出されなかったと判定した場合には、視差オフセット値補正処理を終了する。

一方、ステップＳ４０において、最新の画像データ中に破線が検出されたと判定した場合には、ステップＳ５０に移行する。ステップＳ５０では、ステップＳ３０の処理により検出された、最新の画像データ中の破線の実線部の形状および位置の情報を含む検出情報を、画像データの撮像時刻情報に紐付けてメモリ１ａに記憶する。画像データの撮像時刻情報は、動画像の各フレームに撮影順に付されるフレーム番号であってもよい。

次に、ステップＳ６０において、ステップＳ３０の処理により、最新の画像データ中において近距離地点に位置している実線部１０ａが検出されたか否かを判定する。例えば、ステップＳ６０では、視差オフセット値補正処理部１ｅは、図５に示すように、最新の画像データ中の所定のｊ座標の領域Ｒｎ内にかかる実線部を、近距離地点に位置している実線部１０ａとして認識する。

ステップＳ６０において、最新の画像データ中において近距離地点に位置している実線部１０ａが検出されていないと判定した場合には、視差オフセット値補正処理を終了する。

一方、ステップＳ６０において、最新の画像データ中において近距離地点に位置している実線部１０ａが検出されたと判定した場合には、ステップＳ７０に移行する。ステップＳ７０では、メモリ１ａに記憶されている検出情報を参照し、最新の画像データ中において近距離地点に検出された実線部１０ａを同一のものが、過去の画像データ中において遠距離地点に位置している状態で検出されているか否かを判定する。

例えば、ステップＳ７０では、視差オフセット値補正処理部１ｅは、図４に示すように、最新の画像データ中の所定のｊ座標の領域Ｒｆ内にかかる実線部を、遠距離地点に位置している実線部１０ａとして認識する。

ステップＳ７０において、実線部１０ａが過去の画像データ中において遠距離地点に位置している状態で検出されていないと判定した場合には、視差オフセット値補正処理を終了する。

一方、ステップＳ７０において、実線部１０ａが過去の画像データ中において遠距離地点に位置している状態で検出されていないと判定した場合には、ステップＳ８０に移行する。

すなわち、ステップＳ８０以降の処理は、図４および図５に示すように、時刻Ｔ２に撮像された最新の画像データ中の近距離地点と、時刻Ｔ１に撮像された過去の画像データ中の遠距離地点との双方において、同一の実線部１０ａが検出された場合に、実行される。その他の場合は、現在実行中の視差オフセット値補正処理を終了し、次のフレームの画像データが撮像されるまで待機する。

ステップＳ８０では、視差オフセット値補正処理部１ｅは、破線１０の実線部１０ａの遠距離地点および近距離地点における検出情報を取得する。

以下では説明のために、遠距離地点に位置している場合の実線部１０ａについて区別して示す場合には符号１０ａａを付し、近距離地点に位置している場合の実線部１０ａについて区別して示す場合には符号１０ａｂを付すものとする。

ステップＳ８０では、視差オフセット値補正処理部１ｅは、実線部１０ａの、近距離前端実視差ｍｄ１、近距離後端実視差ｍｄ２、遠距離前端実視差ｎｄ１、および遠距離後端実視差ｎｄ２の値を、メモリ１ａに記憶されている検出情報から取得する。これらｍｄ１、ｍｄ２、ｎｄ１、ｎｄ２の単位は画素数［ｐｉｘ］である。

図５に示すように、近距離前端実視差ｍｄ１とは、近距離地点に位置する実線部１０ａｂの前端の視差である。前端とは、実線部１０ａｂの自車両の進行方向と同一方向の端のことであり、自車両から見て奥側となる実線部１０ａｂの端である。近距離前端実視差ｍｄ１は、時刻Ｔ１に第１カメラ２ａによって撮像された実線部１０ａ（Ｒ）の前端と、時刻Ｔ２に第２カメラ２ｂによって撮像された実線部１０ａ（Ｌ）の前端と、の間のｉ方向の距離である。

また、図５に示すように、近距離後端実視差ｍｄ２とは、近距離地点に位置する実線部１０ａｂの後端の視差である。後端とは、実線部１０ａｂの自車両の進行方向と反対方向の端のことであり、自車両から見て手前側となる実線部１０ａｂの端である。近距離前端実視差ｍｄ２は、時刻Ｔ１に第１カメラ２ａによって撮像された実線部１０ａ（Ｒ）の後端と、時刻Ｔ２に第２カメラ２ｂによって撮像された実線部１０ａ（Ｌ）の後端と、の間のｉ方向の距離である。

また、図４に示すように、遠距離前端実視差ｎｄ１とは、遠距離地点に位置する実線部１０ａａの前端の視差である。遠距離前端実視差ｍｄ１は、時刻Ｔ１に第１カメラ２ａによって撮像された実線部１０ａ（Ｒ）の前端と、時刻Ｔ２に第２カメラ２ｂによって撮像された実線部１０ａ（Ｌ）の前端と、の間のｉ方向の距離である。

また、図４に示すように、遠距離後端実視差ｎｄ２とは、遠距離地点に位置する実線部１０ａａの前端の視差である。遠距離前端実視差ｍｄ２は、時刻Ｔ１に第１カメラ２ａによって撮像された実線部１０ａ（Ｒ）の後端と、時刻Ｔ１に第２カメラ２ｂによって撮像された実線部１０ａ（Ｌ）の後端と、の間のｉ方向の距離である。

そして、ステップＳ８０では、視差オフセット値補正処理部１ｅは、前記の破線１０の実線部１０ａの近距離地点および遠距離地点における検出情報（ｍｄ１、ｍｄ２、ｎｄ１、ｎｄ２）と、あらかじめメモリ１ａ内に記憶しているカメラ定数Ｓを用いて、遠距離地点における実線部１０ａａの検出長さである遠距離地点実線部長さａ［ｍｍ］と、近距離地点における実線部１０ａｂの検出長さである近距離地点実線部長さｂ［ｍｍ］と、を算出する。

遠距離地点実線部長さａとは、図２に示すように、時刻Ｔ１にステレオカメラ２によって撮像された画像データの視差情報から算出される実線部１０ａａのＺ方向の長さである。

遠距離地点実線部長さａは、前記［式３］を用いて、実線部１０ａａの前端までの距離Ｚａｆ［ｍｍ］と後端までの距離Ｚａｎ［ｍｍ］を求め、この両者の差を求めることにより算出される。すなわち、遠距離地点実線部長さａは次式により求められる。

ａ＝Ｚａｆ−Ｚａｎ
＝ＣＤ／｛ＰＷ・（ｎｄ１−ＤＰ）｝−ＣＤ／｛ＰＷ・（ｎｄ２−ＤＰ）｝
また、近距離地点実線部長さｂとは、図３に示すように、時刻Ｔ２にステレオカメラ２によって撮像された画像データの視差情報から算出される実線部１０ａｂのＺ方向の長さである。

近距離地点実線部長さｂは、前記［式３］を用いて、実線部１０ａｂの前端までの距離Ｚｂｆ［ｍｍ］と後端までの距離Ｚｂｎ［ｍｍ］を求め、この両者の差を求めることにより算出される。すなわち、近距離地点実線部長さｂは次式により求められる。

ａ＝Ｚｂｆ−Ｚｂｎ
＝ＣＤ／｛ＰＷ・（ｍｄ１−ＤＰ）｝−ＣＤ／｛ＰＷ・（ｍｄ２−ＤＰ）｝
次にステップＳ９０において、視差オフセット値補正処理部１ｅは、視差誤差ｅを算出する視差誤差算出処理を実行する。

前述のステップＳ８０で算出した遠距離地点実線部長さａおよび近距離地点実線部長さｂは、前述のように破線１０の同一の実線部１０ａのＺ方向の長さを、画像データ中の視差情報を用いて算出した値である。

したがって、理想上は、遠距離地点実線部長さａと近距離地点実線部長さｂとは等しい値となる。よって、例えばステップＳ８０で算出した遠距離地点実線部長さａと近距離地点実線部長さｂとの値に許容されない差が生じたのであれば、［式３］における視差オフセット値ＤＰに理想値に対する誤差が含まれていることになる。本実施形態では、この視差オフセット値ＤＰに含まれる理想値に対する誤差のことを視差誤差ｅと称する。

本実施形態では、破線１０の実線部１０ａに関する視差のうちの、ステレオカメラ２により近い位置における視差を用いて算出した値である、近距離地点実線部長さｂを正しいものとする。また、本実施形態では、ステレオカメラ２から最も遠い位置における視差を用いて算出した値である実線部１０ａａの前端までの距離Ｚａｆの算出に用いた視差オフセット値ＤＰに視差誤差ｅが含まれているとする。すなわち本実施形態では、次式に示すように、Ｚａｎ＋ｂの値と、Ｚａｆの値との差が、視差誤差ｅの存在に起因して生じた値であるとする。

Ｚａｎ＋ｂ＝ＣＤ／｛ＰＷ・（ｎｄ１−（ＤＰ＋ｅ））｝
上式から、視差誤差ｅは、次式で求められる。

ｅ＝ｎｄ１−ＤＰ−ＣＤ／｛ＰＷ・（Ｚａｎ＋ｂ）｝
視差オフセット値補正処理部１ｅは、上式により視差誤差ｅを算出した後に、ステップＳ１００に移行し、視差オフセット値補正処理を実行する。

ステップＳ１００においては、視差オフセット値補正処理部１ｅは、視差誤差ｅの値を用いて次式により視差オフセット値を補正する。次式では、現在の視差オフセット値をＤＰとし、補正後の視差オフセット値をＤＰ’として示している。

ＤＰ’＝ＤＰ−ｅ
画像処理装置１は、補正後の視差オフセット値ＤＰ’の値を、新たな視差オフセット値ＤＰとしてメモリ１ａに記憶する。

なお、本実施形態では、ステップＳ１００において算出した視差誤差ｅの絶対値が所定の値以上である場合には、視差誤差ｅの絶対値を前記所定の値とする。言い換えれば、本実施形態では、１度の視差オフセット値補正処理によって視差オフセット値ＤＰを変更することのできる幅を、所定の値以下に制限している。これは、視差誤差ｅの算出過程において大きな誤差が含まれた場合に、視差オフセット値ＤＰが真の値から急激に大きく逸脱してしまうことを防止するためである。

以上に説明したように、本実施形態の画像処理装置１は、自車両の進行方向をステレオカメラ２を用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像データ上における、前記自車両が走行する走行車線６に沿って路面に設けられた破線１０の実線部１０ａの位置と形状を検出する破線検出処理部１ｃと、前記自車両の走行中に、前記破線検出処理部１ｃにより前記自車両の進行方向の距離の異なる２地点で検出された同一の前記実線部１０ａの長さの算出結果の差に基づき、前記被写体までの距離を算出する計算式の視差オフセット値ＤＰの補正を行う視差オフセット値補正処理部１ｅと、を備える。

このような本実施形態の画像処理装置１は、自車両の走行中に視差オフセット値ＤＰを補正するため、ステレオカメラ２の取付状態の経時的な変化に伴い生じる視差オフセット値ＤＰの誤差を補正することができる。

画像データ中の走行車線に沿って設けられた直線状の標示から消失点を求め、この結果に基づいて視差オフセット値を補正する従来技術では、直線状と判定した標示が実際には曲がっている場合に、補正結果に誤差が含まれてしまう場合がある。

このような従来技術に比して、本実施形態では、ステレオカメラ２からの距離が異なる同一の実線部１０ａの長さの算出結果を用いて視差オフセット値ＤＰを補正するため、前記従来技術では避けられなかった標示の形状が直線であると仮定するといった不確定な要素を排除することができ、より正確に視差オフセット値ＤＰを補正することができる。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。

１ 画像処理装置、
１ａ メモリ、
１ｂ ３次元位置情報生成処理部、
１ｃ 破線検出処理部、
１ｅ 視差オフセット値補正処理部、
２ ステレオカメラ、
２ａ 第１カメラ、
２ｂ 第２カメラ、
３ 車両制御システム、
５ センサ部、
６ 自車両の走行車線、
７ 空白部、
８ 実線として検出される領域、
１０ 破線、
１０ａ 実線部、
１０ａａ 近距離地点に位置している実線部、
１０ａａ 近距離地点に位置している実線部、
ａ 遠距離地点実線部長さ、
ｂ 近距離地点実線部長さ
ＣＤ 基線長、
ＤＰ 視差オフセット値、
ＤＰ’ 補正後の視差オフセット値、
ｄｐ 視差、
ｅ 視差誤差、
ｍｄ１ 近距離前端実視差、
ｍｄ２ 近距離後端実視差、
ｎｄ１ 遠距離前端実視差、
ｎｄ２ 遠距離後端実視差、
ＰＷ １画素当たりの視野角、
Ｚａｎ 遠距離地点における実線部の後端までの距離、
Ｚａｆ 遠距離地点における実線部の前端までの距離、
Ｚａｎ 近距離地点における実線部の後端までの距離、
Ｚａｆ 近距離地点における実線部の前端までの距離。

Claims (3)

1. 自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、
   前記一対の画像データ上における、前記自車両が走行する車線に沿って路面に設けられた破線の実線部の位置と形状を検出する破線検出処理部と、
   前記自車両の走行中に、前記破線検出処理部により前記自車両の進行方向の距離の異なる２地点で検出された同一の前記実線部の長さの算出結果の差に基づき、前記被写体までの距離を算出する計算式の補正を行う視差オフセット値補正処理部と、
   を備え、
   前記視差オフセット値補正処理部は、前記一対の画像データにおける１つまたは複数の前記実線部の垂直方向の座標と視差との関係が直線状である場合に、前記計算式の補正を行うことを特徴とする画像処理装置。
2. 前記視差オフセット値補正処理部は、前記一対の画像データにおいて前記実線部が直線状である場合に、前記計算式の補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記視差オフセット値補正処理部は、過去の所定の期間において自車両が等速度で直進している場合に、前記計算式の補正を行うことを特徴とする請求項１または２に記載の画像処理装置。

Images