JPWO2019163493A1

JPWO2019163493A1 - 撮像装置

Info

Publication number: JPWO2019163493A1
Application number: JP2020501649A
Authority: JP
Inventors: 真穂堀永; 直也多田; 裕史大塚
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-02-20
Filing date: 2019-02-04
Publication date: 2021-02-04
Anticipated expiration: 2039-02-04
Also published as: US11308337B2; US20210117698A1; JP6999022B2; WO2019163493A1

Abstract

本発明は、隣接車線に関する情報を用いることなく自車線幅の変化を検知できる撮像装置を提供する。本発明は、第１画像を撮像する第１カメラ１１と，第１画像中で車線を規定する第１区画線Ｌ１及び第２区画線Ｌ２を認識する制御装置１とを備え，車両に搭載された撮像装置１００において，制御装置１は，第１画像上で車両からの距離の異なる２地点ＰＶ１，ＰＶ２における第１区画線Ｌ１の幅と，第１画像上で２地点ＰＶ１，ＰＶ２における第２区画線Ｌ２の幅と，第１画像上で２地点ＰＶ１，ＰＶ２における第１区画線Ｌ１と第２区画線Ｌ２の距離との関係に基づいて，車線の幅の変化の有無を判定する車線幅判定部１５を備える。

Description

本発明は，車両に搭載されたカメラで撮像された画像に基づいて車線幅の変化を検出する技術に関する。

従来から，車両（自車）に搭載されたカメラで撮像した画像を解析することで，車線を規定する区画線（白線）の位置を検出し，自車が走行する車線（自車線）の幅の変化を推定する技術が知られている。

自車両が走行する自車線の幅（自車線幅）と，自車線に隣接する隣接車線の幅（隣接車線幅）の変化の傾向の相違に基づいて，自車線上で自車の進行方向に存在する分岐車線を検知する技術として，特許文献１がある。

特開２０１７−１２３００９号公報

前述の特許文献１の手法は，自車線を区画する左右の区画線間の距離から自車線幅を検出しつつ，隣接車線を区画する左右の区画線間の距離から隣接車線幅を検出して，分岐車線を検知するものである。つまり，分岐車線の検知には自車線幅と隣接車線幅の双方の情報が必要である。そのため，隣接車線幅が検知できない場合（例えば，隣接車線が存在しない場合や，隣接車線の区画線がカメラの撮像画像に写っていない場合等）には，分岐車線が存在するか否か（すなわち，自車線幅に変化があるか否か）を判定することが不可能である。

本発明の目的は，隣接車線に関する情報を用いることなく自車線幅の変化を検知できる撮像装置を提供することにある。

本発明は，第１画像を撮像する第１カメラと，前記第１画像中で車線を規定する第１区画線及び第２区画線を認識する制御装置とを備え，車両に搭載された撮像装置において，前記制御装置は，前記第１画像上で前記車両からの距離の異なる２地点における前記第１区画線の幅と，前記第１画像上で前記２地点における前記第２区画線の幅と，前記第１画像上で前記２地点における前記第１区画線と前記第２区画線の距離との関係に基づいて，前記車線の幅の変化の有無を判定する車線幅判定部を備える。

本発明によれば，隣接車線に関する情報を用いることなく自車線幅の変化を検知できる。

撮像装置の全体構成を示すブロック図。車線幅認識の処理手順を示すフローチャート。区画線の特徴点検知の概要図。本発明における車線幅認識の概要図。本発明における車線幅認識の概要図。本発明における車線幅認識の概要図。本発明における車線幅認識の概要図。本発明における車線幅認識の概要図。本発明における車線幅認識の概要図。本発明における車線幅認識の概要図。

以下，本発明の実施形態について図面を用いて説明する。

＜第１実施形態＞
図１は本発明の実施形態に係る撮像装置１００の全体構成を示す概略構成図である。この図の撮像装置１００は，車両（自車と称することがある）のフロントガラスの上部の室内側に備えられた第１カメラ１１と，第１カメラ１１が撮影した画像（撮像画像）を処理する制御装置１とを備えている。

第１カメラ１１は，車両前方に向かって設置されており，レンズの焦点距離で規定される所定の領域の画像を定期的に撮影して，時系列の画像を取得している。本稿では第１カメラ１１により撮像された画像を第１画像と称することがある。

制御装置１は，コンピュータ（例えばマイクロコンピュータ）であり，例えば，入力部と，プロセッサである中央処理装置（ＣＰＵ又はＭＰＵ）と，記憶装置であるリードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）と，出力部とをそれぞれ有している。このうち入力部は，制御装置１に入力される各種情報を，ＣＰＵが演算可能なように変換する。ＲＯＭは，適宜後述する演算処理を実行する制御プログラムと，当該演算処理の実行に必要な各種情報等が記憶された記録媒体であり，ＣＰＵは，ＲＯＭに記憶された制御プログラムに従って入力部及びＲＯＭ，ＲＡＭから取り入れた信号に対して所定の演算処理を行う。出力部からは，出力対象を制御するための指令や出力対象が利用する情報等が出力される。なお，記憶装置は上記のＲＯＭ及びＲＡＭという半導体メモリに限られず，例えばハードディスクドライブ等の磁気記憶装置に代替可能である。

制御装置１は，第１カメラ１１の撮像画像に基づいて物体検知をはじめとする外界認識処理を実行するコンピュータであり，画像取得部１３と，区画線認識部１４と，車線幅判定部１５と，分岐路判定部１６とを備えている。なお，図１の制御装置１は複数のコンピュータで構成しても良い。

画像取得部１３は，第１カメラ１１を制御し，定期的に露光時間（シャッタースピード）の設定および撮像を行ってカラー画像の時系列を取得し，それらを制御装置１内に記憶する処理を実行する。カラー画像はＲＧＢカラーモデルで定義されており，カラー画像を構成する各画素の色は赤（Ｒ），緑（Ｇ），青（Ｂ）の明るさの組合せで定義されている。本実施形態ではＲ，Ｇ，Ｂそれぞれの明るさを０−２５５までの整数値（すなわち２５６階調）で表現しており各画素の色を３つの値（Ｒ値，Ｇ値，Ｂ値）の組合せで定義している。

区画線認識部１４は，第１カメラ１１において撮像された画像中で自車線（自車が走行する車線）を規定する左右の区画線（白線）を認識する処理を実行する部分である。白線の認識処理については公知であるため説明は省略する。区画線認識部１４は，自車の左側で自車に最も近い位置で認識された白線を，自車線を規定する左側の区画線（左区画線）Ｌ１（図３参照）と認識し，自車の右側で自車に最も近い位置で認識された白線を，自車線を規定する右側の区画線（右区画線）Ｌ２（図３参照）と認識することができる。そして，そのように認識した左区画線と右区画線で囲まれた空間を自車線と認識することができる。区画線認識部１４は，認識する区画線が破線や明瞭でないかすれ線等の実線でない場合には，実線への近似処理を行うこともできる。なお，本稿では自車線の左右の区画線を第１区画線，第２区画線と称することがある。以下では左区画線を第１区画線とするが，右区画線を第１区画線としても良い。

車線幅判定部１５は，区画線認識部１４より認識された自車線の左右の区画線Ｌ１，Ｌ２から，それぞれの区画線幅と自車線幅を求め，自車線の幅の変化の有無を判定する処理を実行する。具体的には，第１カメラ１１が撮像した画像（第１画像）上で自車からの距離の異なる２地点ＰＶ１，ＰＶ２（図３参照）における左区画線（第１区画線）Ｌ１の幅と，第１画像上で２地点ＰＶ１，ＰＶ２における右区画線（第２区画線）Ｌ２の幅と，第１画像上で２地点ＰＶ１，ＰＶ２における第１区画線Ｌ１と第２区画線Ｌ２の距離（すなわち自車線幅）との関係に基づいて，２地点ＰＶ１，ＰＶ２での自車線の幅の変化の有無を判定する処理を実行する。本実施形態では２地点ＰＶ１，ＰＶ２での自車線の幅の変化の有無を判定し，２地点での自車線幅の変化が無い場合には自車線幅は一定であるとみなし，２地点での自車線幅の変化が有る場合には自車線幅は一定でないとみなす。

区画線幅と自車線幅を求める地点の基準となる２地点ＰＶ１，ＰＶ２は自車から任意の位置に設定できる。本実施形態では自車から近い方をＰＶ１，遠い方をＰＶ２とする。そして，２地点ＰＶ１，ＰＶ２をそれぞれ通過し互いに平行な２本の直線である第１直線Ｖ１及び第２直線Ｖ２を第１カメラ１１が撮像した画像（第１画像）上に設定する。このとき，第１画像上で自車に近い地点ＰＶ１における第１区画線Ｌ１の幅，第２区画線Ｌ２の幅，及び自車線の幅（第１区画線Ｌ１と第２区画線Ｌ２の距離）は，第１直線Ｖ１上における第1区画線Ｌ１の幅，第２区画線Ｌ２の幅，及び自車線の幅となる。一方，第１画像上で自車から遠い地点ＰＶ２における第１区画線Ｌ１の幅，第２区画線Ｌ２の幅，及び自車線の幅（第１区画線Ｌ１と第２区画線Ｌ２の距離）は，第２直線Ｖ２上における第１区画線Ｌ１の幅，第２区画線Ｌ２の幅，及び自車線の幅となる。なお，本実施形態では２地点ＰＶ１，ＰＶ２を設定してから互いに平行な２直線Ｖ１，Ｖ２を規定したが，２地点ＰＶ１，ＰＶ２を設定することなく互いに平行な２直線Ｖ１，Ｖ２を自車から所定の距離に設定することも可能である。

次に図２及び図３を用いて制御装置１の処理の流れを説明する。図２は本発明の第１実施形態に係る制御装置１の処理のフローチャートであり，図３は本発明の第１実施形態で左右の区画線幅と自車線幅を算出する際に基準となる点（直線Ｖ１，Ｖ２と区画線Ｌ１，Ｌ２の交点）Ｐ１−Ｐ８の説明図である。

図２の処理を制御装置１が開始すると，ステップＳ２０１において，車線幅判定部１５は，区画線認識部１４にて認識した左右区画線Ｌ１，Ｌ２と，カメラ近方に存在し画像上の水平方向に延びる第１直線（Ｖ１）との交点上に存在する特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４を検出する。第１直線Ｖ１と第１区画線Ｌ１の左端の交点がＰ１，第１直線Ｖ１と第１区画線Ｌ１の右端の交点がＰ２，第１直線Ｖ１と第２区画線Ｌ２の左端の交点がＰ３，第１直線Ｖ１と第２区画線Ｌ２の右端の交点がＰ４となる。

ステップＳ２０２において，車線幅判定部１５は，区画線認識部１４にて認識した左右区画線Ｌ１，Ｌ２と，カメラ遠方に存在し画像上の水平方向に延びる第２直線（Ｖ２）との交点上に存在する特徴点Ｐ５，Ｐ６，Ｐ７，Ｐ８を検出する。第２直線Ｖ２と第１区画線Ｌ１の左端の交点がＰ５，第２直線Ｖ２と第１区画線Ｌ１の右端の交点がＰ６，第２直線Ｖ２と第２区画線Ｌ２の左端の交点がＰ７，第２直線Ｖ２と第２区画線Ｌ２の右端の交点がＰ８となる。

なお，第１直線Ｖ１と第２直線Ｖ２の間の距離は，２本の区画線Ｌ１，Ｌ２を認識している範囲内で，できるだけ離れているほうがよい。ただし，例えば第２直線Ｖ２上で２本の区画線Ｌ１，Ｌ２に係る４点Ｐ５−Ｐ８の全てを認識できなかった場合には，図４に示すように，第２直線Ｖ２よりもさらにカメラ遠方，または第２直線Ｖ２よりもカメラ近方（ただし第１直線Ｖ１よりはカメラ遠方）にて，第２直線Ｖ２同様に水平方向に延びる第３直線（Ｖ２’）と左右区画線Ｌ１，Ｌ２との交点上に存在する特徴点Ｐ５’，Ｐ６’，Ｐ７’，Ｐ８’を検出し，これを点Ｐ５−Ｐ８の代わりに後の演算処理に利用することができる。なお，ここでは第２直線Ｖ２上で４点Ｐ５−Ｐ８を認識できなかった場合を例に挙げて説明したが，第１直線Ｖ１についても同様の処理が可能であることはいうまでもない。

ステップＳ２０３において，車線幅判定部１５は，ステップＳ２０１，Ｓ２０２にて検出した特徴点Ｐ１−Ｐ８から，カメラ近方及びカメラ遠方（２地点ＰＶ１，ＰＶ２）における左右の区画線幅と車線幅をそれぞれ算出する。具体的には，図３より，カメラ近方の第１直線Ｖ１上の特徴点から左区画線幅としてＰ１からＰ２の距離を，右区画線幅としてＰ３からＰ４の距離を算出し，車線幅としてＰ２からＰ３の距離を算出する。また，カメラ遠方の直線Ｖ２上の特徴点から左区画線幅としてＰ５からＰ６の距離を，右区画線幅としてＰ７からＰ８の距離を算出し，車線幅としてＰ６からＰ７の距離を算出する。

なお，ステップＳ２０３では，上記の距離（２地点ＰＶ１，ＰＶ２における左右の区画線幅と車線幅）の他に，後続するステップＳ２０４で利用する式に応じて，Ｐ１からＰ３の距離，Ｐ５からＰ７の距離，Ｐ１からＰ４の距離，Ｐ５からＰ８の距離，Ｐ２からＰ４の距離，Ｐ６からＰ８の距離，を算出することもできる。すなわち，ステップＳ２０３では，ステップＳ２０１にて検出した第１直線Ｖ１に係る４つの特徴点Ｐ１−Ｐ４のうち任意に選択した２点間の距離と，ステップＳ２０２にて検出した第２直線Ｖ２に係る４つの特徴点Ｐ５−Ｐ８のうち任意に選択した２点間の距離を算出できる。

なお，第２直線Ｖ２上にて左右の区画線を認識できなかった場合は，第３直線Ｖ３上の特徴点Ｐ５’，Ｐ６’，Ｐ７’，Ｐ８’から区画線幅としてＰ５’からＰ６’の距離を，右区画線幅としてＰ７’からＰ８’の距離を算出し，車線幅としてＰ６’からＰ７’の距離を算出する。

ステップＳ２０４において，車線幅判定部１５は，下記の（１）−（７）の式のうち予め定められた２つの式に対して，ステップＳ２０３で算出したカメラ近方及びカメラ遠方の区画線幅及び車線幅を代入し，当該２つの式が成立したか否かを判定することで自車線幅の変化の有無を判定する。下記（１）−（７）の式では，２つの特徴点の符号を連続して表記しているが，これは当該２点間の距離を示す。例えば，「Ｐ１Ｐ２」は「２点Ｐ１，Ｐ２の距離」を示し，言いかえると「第１直線Ｖ１上における左区画線幅」を示す。各式の左辺は第１直線Ｖ１上の距離の比を表しており，各式の右辺は第２直線Ｖ２上の距離の比を表している。各式で，左辺の分母と右辺の分子を交換した式と，左辺の分子と右辺の分母を交換した式が存在するが，これらは元の式と同じなので別途定義しない。

（１）Ｐ２Ｐ３／Ｐ１Ｐ２＝Ｐ６Ｐ７／Ｐ５Ｐ６
（２）Ｐ１Ｐ３／Ｐ１Ｐ２＝Ｐ５Ｐ７／Ｐ５Ｐ６
（３）Ｐ２Ｐ３／Ｐ１Ｐ３＝Ｐ６Ｐ７／Ｐ５Ｐ７
（４）Ｐ２Ｐ３／Ｐ３Ｐ４＝Ｐ６Ｐ７／Ｐ７Ｐ８
（５）Ｐ２Ｐ４／Ｐ２Ｐ３＝Ｐ６Ｐ８／Ｐ６Ｐ７
（６）Ｐ３Ｐ４／Ｐ２Ｐ４＝Ｐ７Ｐ８／Ｐ６Ｐ８
（７）Ｐ２Ｐ３／Ｐ１Ｐ４＝Ｐ６Ｐ７／Ｐ５Ｐ８
上記（１）−（３）の式は２直線上Ｖ１，Ｖ２における左区画線幅と自車線幅の関係式であり，上記（４）−（６）の式は２直線上Ｖ１，Ｖ２における右区画線幅と自車線幅の関係式であり，上記（７）の式は２直線上Ｖ１，Ｖ２における左右区画線幅と自車線幅の関係式である。

自車線幅の変化の有無を判定するために予め定められた「２つの式の組合せ」としては，［Ａ］上記（１）−（３）の式のいずれか１式と上記（４）−（６）の式のいずれか１式の組合せ，［Ｂ］上記（１）−（３）の式のいずれか１式と上記（７）の式の組合せ，［Ｃ］上記（４）−（６）の式のいずれか１式と上記（７）の式の組合せ，すなわち，Ａ−Ｂの３種類で合計１５の組合せが存在する。車線幅判定部１５が利用する２つの式の組合せは状況に合わせて適宜選択することができるが，１５個の組合せの中から予め１つに定めておいてもよい。また，利用する組合せの順番を決めておいてもよい。

車線幅判定部１５は，上記の「２つの式の組合せ」における２式のそれぞれが成立するか否かを判定する。通常，各式の右辺と左辺には誤差が含まれるため，本実施形態では，右辺と左辺を同一であるとみなすための許容値を実験や実績等から設定し，右辺と左辺の差が当該許容値以内であれば両辺は同一，すなわち当該式が成立するとみなすものとしている。

車線幅判定部１５は，上記の「２つの式の組合せ」における２式がともに成立するとみなされたとき，２直線Ｖ１，Ｖ２上の左右区画線幅と自車線幅において相似関係が成立し，２地点ＰＶ１，ＰＶ２における自車線幅に変化がなく，自車線幅が一定であると判定する。

ステップＳ２０５において，分岐路判定部１６は，ステップ２０４の車線幅判定部１５による判定で自車線幅に変化があると判定された場合には，ステップＳ２０６へ進んで分岐路が有ると判定する。このとき，カメラ近方とカメラ遠方での車線幅の差分を算出し，その差分についての閾値を設け，当該閾値以上の差分が確認できれば，自車線から分岐する分岐車線が存在することを判断するようにしても良い。一方，ステップ２０４の判定で自車線幅に変化が無いと判定された場合には，ステップＳ２０７に進んで分岐路は無いと判定する。

以上により，制御装置１による分岐判定処理の１サイクルが完了する。制御装置１は所定の制御周期だけ待機した後，ステップＳ２０１から一連の処理を再び実行する。

以上のように構成した本実施形態の撮像装置１００によれば，第１カメラ１１の近方と遠方でそれぞれ左右区画線幅と自車線幅の関係式の成否を判定することによって，任意のタイミングで撮像された１枚の画像を用いて自車線幅が一定であるか否かを判定することができる。また，上記説明から明白なように，本実施形態では，隣接車線に関する情報を用いることなく自車線に関する情報のみを利用して当該判定を行うことができる。すなわち，本実施形態によれば，隣接車線に関する情報を用いることなく自車線幅の変化を検知できる。

なお，上記では所定の時刻に撮像した１枚の第１画像から自車線幅の変化の有無を判定したが，撮像時刻の異なる複数の第１画像のそれぞれにおいてステップＳ２０１−２０４の処理を実行することで自車線幅の変化の有無を判定し，その複数の判定の全てにおいて自車線に変化が無いと判定された場合にステップＳ２０５でＮＯに進むように制御装置１のフローチャートを構成しても良い。このように制御装置１を構成すると，自車線幅の変化の有無に関する判定の精度を向上できる。

＜第２実施形態＞
図５は本発明の第２実施形態に係る車両制御システム２００の全体構成を示す概略構成図である。この図の車両制御システム２００は，車両のフロントガラスの上部の室内側に備えられ第１カメラ１１とともにステレオカメラを構成する第２カメラ１２と，第１カメラ１１及び第２カメラ１２の撮像画像に基づいて物体検知をはじめとする外界認識処理を実行する制御装置１と，撮像装置１００による外界認識処理の結果に基づいて車両を制御する車両制御装置２と，車両制御装置２から出力される指令に基づいて車両の操舵輪２４を駆動する操舵輪駆動装置２３とを備えている。

第２カメラ１２は，車両前方に向かって設置されており，レンズの焦点距離で規定される所定の領域の画像を定期的に撮影して，時系列の画像を取得している。本稿では第２カメラ１２により撮像された画像を第２画像と称することがある。

本実施形態の制御装置１は，第１実施形態の各部１３−１６に加えて，第１画像と第２画像に基づいて視差を演算する視差演算部１７と，車線幅判定部１５により自車線の幅の変化が無いと判定された場合，右区画線（第１区画線）Ｌ１と左区画線（第２区画線）Ｌ２の輪郭線の交点である消失点の位置に基づいて視差演算部１７により算出される視差を補正する視差補正部１８と，視差補正部１８により補正された視差または視差演算部１７で演算された視差に基づいて画像上の対象物までの距離を演算する距離演算部１９とを備えている。

車両制御装置２は，制御装置１と同様にコンピュータ（例えばマイクロコンピュータ）であり，例えば，入力部と，プロセッサである中央処理装置（ＣＰＵ又はＭＰＵ）と，記憶装置であるリードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）と，出力部とをそれぞれ有している。

車両制御装置２は，撮像装置１００による外界認識結果に基づいて車両の操舵輪の舵角を制御するための舵角指令を演算する舵角指令演算部２１と，自車線を規定する左右の区画線（第１区画線と第２区画線）Ｌ１，Ｌ２のいずれか一方の延在方向と自車両の進行方向を演算し，その演算した延在方向と自車両の進行方向が平行か否かを判定する平行判定部２２とを備えている。

操舵輪駆動装置２３は，例えばラック＆ピニオン式のステアリングシステムでは，ステアリングホイールとピニオンギアを機械的に繋ぐステアリングシャフトを回転駆動するモータである。舵角指令演算部２１から入力される舵角指令に基づき操舵輪駆動装置２３によりステアリングシャフトを回転駆動するとピニオンギアが回転し，そのピニオンギアの回転方向に応じてラックが車幅方向における左右のいずれかに動作する。この動作がタイロッドを介してナックルアームに伝えられ，舵角指令が規定する操舵角が操舵輪（例えば前輪）２４に与えられる。

次に図６を用いて制御装置１の処理の流れを説明する。図６は本発明の第２実施形態に係る制御装置１の処理のフローチャートである。なお，図６において図２と同じ処理には同じ符号を付し説明は適宜省略する。

ステップＳ２０４が完了したら，ステップＳ３０１で，視差演算部１７は第１カメラ１１及び第２カメラ１２で得られた一対の画像（第１画像と第２画像）に基づいてステレオマッチングにより視差を演算する。

ステップＳ３０２において，視差補正部１８は，ステップ２０４の車線幅判定部１５による判定で自車線幅に変化があると判定された場合には，ステップＳ３０３へ進む。一方，ステップ２０４の判定で自車線幅に変化が無いと判定された場合には，ステップＳ３０５に進む。

ステップＳ３０３では，視差補正部１８は，互いに平行な区画線の情報を利用した視差補正（ステップＳ３０５の視差補正処理）を実行すべき状況ではないと判断し，視差補正を行うこと無くステップＳ３０４に進む。ステップＳ３０４では，距離演算部１９は，視差演算部１７で演算された視差に基づいて画像上の対象物までの距離を演算する。

一方，ステップＳ３０５では，視差補正部１８は，自車線を規定する左右の区画線Ｌ１，Ｌ２は互いに平行であるとみなして視差補正処理を実行する。具体的には次の処理を実行する。まず，図７に示すように，視差補正部１８は視差を算出した際に利用した１組の撮像画像のいずれかに基づき左右の区画線Ｌ１，Ｌ２のエッジを形成する点（エッジ画素）を複数抽出し，左右の区画線Ｌ１，Ｌ２の輪郭線となる４本の近似直線ＡＬ１，ＡＬ２，ＡＬ３，ＡＬ４を検出する。次にその４本の輪郭線の交点である消失点の位置を算出し，その消失点の位置における視差を取得する。消失点の視差は本来ゼロとなるが，４本の近似直線ＡＬ１，ＡＬ２，ＡＬ３，ＡＬ４から規定される消失点の視差がゼロでない場合には補正が必要であり，その消失点の視差がゼロになるように視差演算部１７により算出される視差を補正する。

なお，上記の説明では４本の近似直線を利用したが左区画線の輪郭線ＡＬ１，ＡＬ２のいずれかと右区画線の輪郭線ＡＬ３，ＡＬ４のいずれか（すなわち合計２本の近似直線）で規定される消失点を利用して補正しても良い。また，左右の区画線Ｌ１，Ｌ２が互いに平行であることを条件として行う公知の視差補正であれば上記以外の方法も利用可能である。

ステップＳ３０６では，距離演算部１９は，ステップＳ３０５で視差補正部１８により補正された視差に基づいて画像上の対象物までの距離を演算する。

以上により，制御装置１による所定の対象物までの距離演算処理の１サイクルが完了する。制御装置１は所定の制御周期だけ待機した後，ステップＳ２０１から一連の処理を再び実行する。

以上のように構成した本実施形態の撮像装置１００によれば，左右の区画線Ｌ１，Ｌ２が平行であることを前提として視差補正処理を行っている場合に，その前提が成立しているか否かを隣接車線に関する情報を用いることなく自車線の情報に用いるだけで容易に判断でき，当該全体が成立していない場合には視差補正処理が実行されることが回避されるので，当該前提に基づく視差補正処理を精度良く実行できる。すなわち本実施形態によれば，隣接車線に関する情報を用いることなく自車線幅の変化を検知できるとともに，視差補正の精度が向上する。

＜第３実施形態＞
本実施形態では左右区画線Ｌ１，Ｌ２の延在方向と自車両の向き（進行方向）が平行であるときに自車の舵角が発生している場合は舵角無しに補正を行う処理について説明する。本実施形態のハードウェア構成は図５に示したものと同じとし説明は省略する。

ここでは本実施形態に係る車両制御システム２００の処理の流れについて図８を用いて説明する。図８は本発明の第３実施形態に係る制御装置１と車両制御装置２の処理のフローチャートである。なお，図８において図２と同じ処理には同じ符号を付し説明は適宜省略する。

ステップＳ２０５において，分岐路判定部１６は，ステップ２０４の車線幅判定部１５による判定で自車線幅に変化があると判定された場合には処理を終了する。処理を終了した場合には，制御装置１は所定の制御周期だけ待機した後，ステップＳ２０１から一連の処理を再び実行する。一方，ステップ２０４の判定で自車線幅に変化が無いと判定された場合には，自車線幅が一定であるとみなしてステップＳ４０１に進む。

ステップＳ４０１では，車両制御装置２の平行判定部２２は，左区画線Ｌ１と右区画線Ｌ２のいずれか一方の延在方向と自車両の進行方向を演算してその延在方向と自車両の進行方向が平行か否かを判定する。この平行判定処理としては公知の方法が利用可能であるが，例えば，異なる時刻における自車両から左右の区画線Ｌ１，Ｌ２のいずれかまでの距離を算出し，それぞれの時刻の算出距離の差が所定の閾値以内の場合に区画線の延在方向と自車両の進行方向が平行であると判定する方法が利用できる。ステップＳ４０１で区画線の延在方向と自車両の進行方向が平行であると判定された場合にはステップＳ４０２に進み，平行でないと判定された場合には処理を終了する。

ステップＳ４０２では，車両制御装置２の舵角指令演算部２１が操舵輪駆動装置２３に出力している舵角指令が規定する舵角がゼロか否かを判定し，その舵角がゼロでない場合にはステップＳ４０３に進み，ゼロの場合には処理を終了する。

ステップＳ４０３では，舵角指令演算部２１は，その状態（すなわち，車線幅判定部１５により自車線の幅の変化が無いと判定され，平行判定部２２により区画線の延在方向と自車両の進行方向が平行であると判定された場合）における舵角指令が規定する舵角をゼロに補正する。これにより，舵角指令演算部２１の舵角指令が補正されるので自車両の舵角制御精度が向上する。

＜第４実施形態＞
上記の各実施形態では自車線幅の変化の有無を左右の区画線を利用して判定したが，本実施形態では１本の区画線のみで自車線幅の変化の有無を判定している点に特徴がある。
本実施形態のハードウェア構成は図５に示したものと同じとし説明は省略する。ここでは左区画線（第１区画線）Ｌ１を利用して自車線幅の変化の有無を判定する場合について説明するが，右区画線Ｌ２を利用しても良いことはいうまでもない。

本実施形態の車線幅判定部１５は，図１０に示すように，第１カメラ１１が撮像した画像（第１画像）上で自車両の進行方向ＤＲ（本実施形態では左区画線と平行とする）において距離の異なる２地点Ｐ１３，Ｐ１７（図１０参照）における左区画線（第１区画線）Ｌ１の幅と，第１画像上で２地点Ｐ１３，Ｐ１７における自車両と第１区画線Ｌ１の距離との関係に基づいて，２地点Ｐ１３，Ｐ１７での自車線の幅の変化の有無を判定する処理を実行する。本実施形態では２地点Ｐ１３，Ｐ１７での自車線の幅の変化の有無を判定し，２地点での自車線幅の変化が無い場合には自車線幅は一定であるとみなし，２地点での自車線幅の変化が有る場合には自車線幅は一定でないとみなす。

本実施形態において，左区画線幅と，自車両から左区画線までの距離とを求める地点の基準となる２地点Ｐ１３，Ｐ１７は自車から任意の位置に設定できる。本実施形態では自車から近い方をＰ１３，遠い方をＰ１７とする。そして，２地点Ｐ１３，Ｐ１７をそれぞれ通過し互いに平行な２本の直線である第１直線Ｖ１及び第２直線Ｖ２を第１カメラ１１が撮像した画像（第１画像）上に設定する。このとき，第１画像上で自車に近い地点Ｐ１３における第１区画線Ｌ１の幅，及び自車両と第１区画線Ｌ１の距離は，第１直線Ｖ１上における第1区画線Ｌ１の幅，及び自車両と第１区画線Ｌ１の距離となる。一方，第１画像上で自車から遠い地点Ｐ１７における第１区画線Ｌ１の幅，及び自車両と第１区画線Ｌ１の距離は，第２直線Ｖ２上における第１区画線Ｌ１の幅，及び自車両と第１区画線Ｌ１の距離となる。なお，本実施形態では２地点Ｐ１３，Ｐ１７を設定してから互いに平行な２直線Ｖ１，Ｖ２を規定したが，互いに平行な２直線Ｖ１，Ｖ２を自車から所定の距離に設定し，第１区画線Ｌ１と平行な自車両の進行方向ＤＲと当該２直線Ｖ１，Ｖ２の交点をＰ１３，Ｐ１７とすることも可能である。

次に本実施形態に係る車両制御システム２００の処理の流れについて図９を用いて説明する。図９は本発明の第４実施形態に係る制御装置１と車両制御装置２の処理のフローチャートである。なお，図９において図２と同じ処理には同じ符号を付し説明は適宜省略する。

図９の処理を車両制御システム２００が開始すると，ステップＳ５０１において，車両制御装置２の平行判定部２２は，第１区画線（左区画線）Ｌ１の延在方向と自車両の進行方向を演算してその延在方向と自車両の進行方向が平行か否か，すなわち自車両が第１区画線に沿って走行しているか否かを判定する。この平行判定処理としては公知の方法が利用可能であるが，第３実施形態で説明した方法が利用可能である。ステップＳ５０１で区画線の延在方向と自車両の進行方向が平行であると判定された場合，すなわち自車両が第１区画線に沿って走行している場合にはステップＳ５０２に進み，そうではないと判定された場合には図２の処理を開始しステップＳ２０１に進む。

ステップＳ５０２において，車線幅判定部１５は，区画線認識部１４にて認識した第１区画線（左区画線）Ｌ１と，カメラ近方に存在し画像上の水平方向に延びる第１直線（Ｖ１）との交点上に存在する特徴点Ｐ１１，Ｐ１２，Ｐ１３を検出する。第１直線Ｖ１と第１区画線Ｌ１の左端の交点がＰ１１，第１直線Ｖ１と第１区画線Ｌ１の右端の交点がＰ１２，第１直線Ｖ１と自車両の進行方向を示す直線（第３直線と称することがある）ＤＲの交点がＰ１３となる。

ステップＳ５０３において，車線幅判定部１５は，区画線認識部１４にて認識した第１区画線（左区画線）Ｌ１と，カメラ遠方に存在し画像上の水平方向に延びる第２直線（Ｖ２）との交点上に存在する特徴点Ｐ１５，Ｐ１６，Ｐ１７を検出する。第２直線Ｖ２と第１区画線Ｌ１の左端の交点がＰ１５，第２直線Ｖ２と第１区画線Ｌ１の右端の交点がＰ１６，第２直線Ｖ２と自車両の進行方向を示す直線ＤＲの交点がＰ１７となる。

なお，第１直線Ｖ１と第２直線Ｖ２の間の距離は，２本の区画線Ｌ１，Ｌ２を認識している範囲内で，できるだけ離れているほうがよい。ただし，例えば第２直線Ｖ２上で左区画線Ｌ１に係る３点Ｐ１５−Ｐ１７の全てを認識できなかった場合には，図４に示す場合と同様に新たに直線を設定し，その直線上に３点Ｐ１５’−Ｐ１７’を設定して後続の処理を実行しても良い。

ステップＳ５０４において，車線幅判定部１５は，ステップＳ５０２，Ｓ５０３にて検出した特徴点Ｐ１１−Ｐ１３，Ｐ１５−Ｐ１７から，カメラ近方及びカメラ遠方（２地点Ｐ１３，Ｐ１７）における左区画線幅と，自車両と左区画線の距離をそれぞれ算出する。具体的には，図１０より，カメラ近方の第１直線Ｖ１上の特徴点から左区画線幅としてＰ１１からＰ１２の距離を，自車両と左区画線の距離としてＰ１２からＰ１３の距離を算出する。また，カメラ遠方の直線Ｖ２上の特徴点から左区画線幅としてＰ１５からＰ１６の距離を，自車両と左区画線の距離としてＰ１６からＰ１７の距離を算出する。

なお，ステップＳ５０４では，上記の距離（２地点Ｐ１３，Ｐ１７における左区画線幅と，自車両と左区画線の距離）の他に，後続するステップＳ５０５で利用する式に応じて，Ｐ１１からＰ１３の距離，Ｐ１５からＰ１７の距離を算出することもできる。すなわち，ステップＳ５０４では，ステップＳ５０２にて検出した第１直線Ｖ１に係る３つの特徴点Ｐ１１−Ｐ１３のうち任意に選択した２点間の距離と，ステップＳ５０３にて検出した第２直線Ｖ２に係る３つの特徴点Ｐ１５−Ｐ１７のうち任意に選択した２点間の距離を算出できる。

なお，第２直線Ｖ２上にて左区画線を認識できなかった場合は，新たな直線上の特徴点Ｐ１５’，Ｐ１６’，Ｐ１７’から左区画線幅としてＰ１５’からＰ１６’の距離を，自車両と左区画線の距離としてＰ１６’からＰ１７’の距離を算出する。

ステップＳ５０５において，車線幅判定部１５は，下記の（１１）−（１３）の式のうち予め定められたいずれか１つの式に対して，ステップＳ５０４で算出したカメラ近方及びカメラ遠方の左区画線幅と左区画線までの距離を代入し，当該２つの式が成立したか否かを判定することで自車線幅の変化の有無を判定する。下記（１１）−（１３）の式では，２つの特徴点の符号を連続して表記しているが，これは当該２点間の距離を示す。例えば，「Ｐ１１Ｐ１２」は「２点Ｐ１１，Ｐ１２の距離」を示し，言いかえると「第１直線Ｖ１上における左区画線幅」を示す。各式の左辺は第１直線Ｖ１上の距離の比を表しており，各式の右辺は第２直線Ｖ２上の距離の比を表している。各式で，左辺の分母と右辺の分子を交換した式と，左辺の分子と右辺の分母を交換した式が存在するが，これらは元の式と同じなので別途定義しない。

（１１）Ｐ１２Ｐ１３／Ｐ１１Ｐ１２＝Ｐ１６Ｐ１７／Ｐ１５Ｐ１６
（１２）Ｐ１１Ｐ１３／Ｐ１１Ｐ１２＝Ｐ１５Ｐ１７／Ｐ１５Ｐ１６
（１３）Ｐ１２Ｐ１３／Ｐ１１Ｐ１３＝Ｐ１６Ｐ１７／Ｐ１５Ｐ１７
上記（１１）−（１３）の式は，２直線上Ｖ１，Ｖ２における左区画線幅と，自車両と左区画線の距離の関係式である。

車線幅判定部１５が利用する式は状況に合わせて適宜選択することができるが，上記３個の中から予め１つに定めておいてもよい。また，利用する組合せの順番を決めておいてもよい。

車線幅判定部１５は，上記の３つの式のいずれか１つが成立するか否かを判定する。通常，各式の右辺と左辺には誤差が含まれるため，本実施形態では，右辺と左辺を同一であるとみなすための許容値を実験や実績等から設定し，右辺と左辺の差が当該許容値以内であれば両辺は同一，すなわち当該式が成立するとみなすものとしている。

車線幅判定部１５は，上記の３つの式のいずれか１つが成立するとみなされたとき，２直線Ｖ１，Ｖ２上の左区画線幅と，自車両と左区画線の距離において相似関係が成立し，２地点Ｐ１３，Ｐ１７における自車線幅に変化がなく，自車線幅が一定であると判定する。

ステップＳ２０５において，分岐路判定部１６は，ステップ５０５の車線幅判定部１５による判定で自車線幅に変化があると判定された場合には，ステップＳ２０６へ進んで分岐路が有ると判定する。このとき，カメラ近方とカメラ遠方での車線幅の差分を算出し，その差分についての閾値を設け，当該閾値以上の差分が確認できれば，自車線から分岐する分岐車線が存在することを判断するようにしても良い。一方，ステップ５０５の判定で自車線幅に変化が無いと判定された場合には，ステップＳ２０７に進んで分岐路は無いと判定する。

以上により，制御装置１による分岐判定処理の１サイクルが完了する。制御装置１は所定の制御周期だけ待機した後，ステップＳ５０１から一連の処理を再び実行する。

以上のように構成した本実施形態の車両制御システム２００によれば，第１カメラ１１の近方と遠方でそれぞれ左区画線幅と，自車両と左区画線の距離の関係式の成否を判定することによって，任意のタイミングで撮像された１枚の画像を用いて自車線幅が一定であるか否かを判定することができる。また，上記説明から明白なように，本実施形態では，自車両が自車線を規定する２つの区画線のうち一方の区画線と平行に走行している場合に限られるものの，当該一方の区画線の情報のみを利用して自車線幅が一定であるか否かを判定できる。すなわち，本実施形態によれば，隣接車線に関する情報を用いることなく自車線幅の変化を検知できる。

なお，上記では，平行判定部２２を車両制御装置２に設ける場合について説明したが，撮像装置１００の制御装置１に設けても良い。この場合，本実施形態は撮像装置１００のみで実施が可能となる。

本発明は，上記の実施の形態に限定されるものではなく，その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば，本発明は，上記の実施の形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施の形態に係る構成の一部を，他の実施の形態に係る構成に追加又は置換することが可能である。

また，上記の制御装置１，２に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記の制御装置１，２に係る構成は，演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。

また，上記の各実施の形態の説明では，制御線や情報線は，当該実施の形態の説明に必要であると解されるものを示したが，必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１…制御装置，２…車両制御装置，１１…カメラ（第１カメラ），１２…カメラ（第２カメラ），１３…画像取得部，１４…区画線認識部，１５…車線幅判定部，１６…分岐路判定部，１７…視差演算部，１８…視差補正部，１９…距離演算部，２１…舵角指令演算部，２２…平行判定部，２３…操舵輪駆動装置，２４…操舵輪，Ｌ１…左区画線（第１区画線），Ｌ２…右区画線（第２区画線），Ｖ１…第１直線，Ｖ２…第２直線，ＰＶ１，ＰＶ２…自車両から距離の異なる２地点，Ｐ１３，Ｐ１７…自車両から距離の異なる２地点

Claims

第１画像を撮像する第１カメラと，前記第１画像中で車線を規定する第１区画線及び第２区画線を認識する制御装置とを備え，車両に搭載された撮像装置において，
前記制御装置は，前記第１画像上で前記車両からの距離の異なる２地点における前記第１区画線の幅と，前記第１画像上で前記２地点における前記第２区画線の幅と，前記第１画像上で前記２地点における前記第１区画線と前記第２区画線の距離との関係に基づいて，前記車線の幅の変化の有無を判定する車線幅判定部を備えることを特徴とする撮像装置。
請求項１の撮像装置において，
前記２地点をそれぞれ通過し互いに平行な２本の直線である第１直線及び第２直線を前記第１画像上に設定したとき，
前記第１画像上で前記２地点のうち一方の地点における前記第１区画線の幅，前記第２区画線の幅，及び前記第１区画線と前記第２区画線の距離は，前記第１直線上における前記第１区画線の幅，前記第２区画線の幅，及び前記第１区画線と前記第２区画線の距離であり，
前記第１画像上で前記２地点のうち他方の地点における前記第１区画線の幅，前記第２区画線の幅，及び前記第１区画線と前記第２区画線の距離は，前記第２直線上における前記第１区画線の幅，前記第２区画線の幅，及び前記第１区画線と前記第２区画線の距離であることを特徴とする撮像装置。
請求項１の撮像装置において，
前記２地点をそれぞれ通過し互いに平行な２本の直線である第１直線及び第２直線を前記第１画像上に設定し，前記第１直線と前記第１区画線の左端の交点をＰ１，前記第１直線と前記第１区画線の右端の交点をＰ２，前記第１直線と前記第２区画線の左端の交点をＰ３，前記第１直線と前記第２区画線の右端の交点をＰ４，前記第２直線と前記第１区画線の左端の交点をＰ５，前記第２直線と前記第１区画線の右端の交点をＰ６，前記第２直線と前記第２区画線の左端の交点をＰ７，前記第２直線と前記第２区画線の右端の交点をＰ８とし，次の（１）−（７）の式を設定したとき，
（１）２点Ｐ２，Ｐ３の距離／２点Ｐ１，Ｐ２の距離＝２点Ｐ６，Ｐ７の距離／２点Ｐ５，Ｐ６の距離
（２）２点Ｐ１，Ｐ３の距離／２点Ｐ１，Ｐ２の距離＝２点Ｐ５，Ｐ７の距離／２点Ｐ５，Ｐ６の距離
（３）２点Ｐ２，Ｐ３の距離／２点Ｐ１，Ｐ３の距離＝２点Ｐ６，Ｐ７の距離／２点Ｐ５，Ｐ７の距離
（４）２点Ｐ２，Ｐ３の距離／２点Ｐ３，Ｐ４の距離＝２点Ｐ６，Ｐ７の距離／２点Ｐ７，Ｐ８の距離
（５）２点Ｐ２，Ｐ４の距離／２点Ｐ２，Ｐ３の距離＝２点Ｐ６，Ｐ８の距離／２点Ｐ６，Ｐ７の距離
（６）２点Ｐ３，Ｐ４の距離／２点Ｐ２，Ｐ４の距離＝２点Ｐ７，Ｐ８の距離／２点Ｐ６，Ｐ８の距離
（７）２点Ｐ２，Ｐ３の距離／２点Ｐ１，Ｐ４の距離＝２点Ｐ６，Ｐ７の距離／２点Ｐ５，Ｐ８の距離
前記車線幅判定部は，上記（１）−（３）の式のいずれかと上記（４）−（６）の式のいずれかが成立したとみなしたとき，上記（１）−（３）の式のいずれかと上記（７）の式が成立したとみなしたとき，または，上記（４）−（６）の式のいずれかと上記（７）の式が成立したとみなしたとき，前記車線の幅の変化は無いと判定し，それ以外のときは前記車線の幅の変化が有ると判定することを特徴とする撮像装置。
請求項１の撮像装置において，
前記車線幅判定部は，前記車線の幅の変化の有無の判定結果に基づいて，前記車線の幅が一定か否かを判定することを特徴とする撮像装置。
請求項１の撮像装置において，
前記制御装置は，前記車線幅判定部により前記車線の幅の変化が有ると判定された場合，前記車線が分岐すると判定する分岐路判定部をさらに備えることを特徴とする撮像装置。
請求項１の撮像装置において，
第２画像を撮像する第２カメラをさらに備え，
前記制御装置は，
前記第１画像と前記第２画像に基づいて視差を演算する視差演算部と
前記車線幅判定部により前記車線の幅の変化が無いと判定された場合，前記第１区画線と前記第２区画線の輪郭線の交点である消失点の位置に基づいて前記視差演算部により算出される視差を補正する視差補正部と，
前記視差補正部により補正された視差に基づいて対象物までの距離を演算する距離演算部とをさらに備えることを特徴とする撮像装置。
請求項１の撮像装置において，
前記車線幅判定部が前記車線の幅に変化は無いと判定するときとは，撮像時刻の異なる複数の第１画像を基に前記２地点における前記車線の幅の変化の有無を判定し，その複数の判定の全てにおいて前記車線の幅に変化は無いと判定されたときであることを特徴とする撮像装置。
請求項１の撮像装置において，
前記第１区画線と前記第２区画線は平行であることを特徴とする撮像装置。
請求項１の撮像装置と，
前記撮像装置による外界認識結果に基づいて前記車両の操舵輪の蛇角を制御するための舵角指令を演算する舵角指令演算部を有する車両制御装置と，
前記舵角指令演算部から出力される舵角指令を基に前記車両の操舵輪を駆動する操舵輪駆動装置とを備える車両制御システムにおいて，
前記車両制御装置は，前記第１区画線と前記第２区画線のいずれか一方の延在方向と前記車両の進行方向を演算して前記延在方向と前記車両の進行方向が平行か否かを判定する平行判定部をさらに備え，
前記舵角指令演算部は，前記車線幅判定部により前記車線の幅の変化が無いと判定され，前記平行判定部により前記延在方向と前記車両の進行方向が平行であると判定された場合に，前記舵角指令が規定する舵角がゼロでないとき，その舵角指令が規定する舵角をゼロに補正することを特徴とする車両制御システム。
第１画像を撮像する第１カメラと，前記第１画像中で車線を規定する第１区画線を認識する制御装置とを備え，車両に搭載された撮像装置において，
前記制御装置は，前記第１画像上で前記車両からの距離の異なる２地点における前記第1区画線の幅と，前記車両が前記第１区画線に沿って走行しているときの前記２地点における前記車両と前記第１区画線の距離との関係に基づいて，前記車線の幅の変化の有無を判定する車線幅判定部を備えることを特徴とする撮像装置。
請求項１０の撮像装置において，
前記２地点をそれぞれ通過し互いに平行な２本の直線である第１直線及び第２直線を前記第１画像上に設定し，前記第１直線と前記第１区画線の交点の一方をＰ１１，前記第１直線と前記第１区画線の交点の他方をＰ１２，前記第１直線と前記車両の進行方向を示す第３直線の交点をＰ１３，前記第２直線と前記第１区画線の交点の一方をＰ１５，前記第２直線と前記第１区画線の交点の他方をＰ１６，前記第２直線と前記第３直線の交点をＰ１７とし，次の（１１）−（１３）の式を設定したとき，
（１１）２点Ｐ１２，Ｐ１３の距離／２点Ｐ１１，Ｐ１２の距離＝２点Ｐ１６，Ｐ１７の距離／２点Ｐ１５，Ｐ１６の距離
（１２）２点Ｐ１１，Ｐ１３の距離／２点Ｐ１１，Ｐ１２の距離＝２点Ｐ１５，Ｐ１７の距離／２点Ｐ１５，Ｐ１６の距離
（１３）２点Ｐ１２，Ｐ１３の距離／２点Ｐ１１，Ｐ１３の距離＝２点Ｐ１６，Ｐ１７の距離／２点Ｐ１５，Ｐ１７の距離
前記車線幅判定部は，上記（１１）−（１３）の式のいずれかが成立したとみなしたとき，前記車線の幅の変化は無いと判定し，それ以外のときは前記車線の幅の変化が有ると判定することを特徴とする撮像装置。