JP6277904B2 - 制御情報検出装置および制御情報検出方法 - Google Patents

Description

本発明は、複数の車載カメラを備える車両に適用されて、複数の車載カメラから取得した撮影画像を解析して、車両の走行を制御するための制御情報を検出する技術に関する。

近年では、車両が車線を維持できるように支援したり、車線からの逸脱を警告したりといった様々な運転支援のための技術開発が進められている。そのような運転支援を行うには車線の位置を把握する必要があり、その方法の一つとして、車載カメラを用いて撮影した画像を解析することによって車線の位置を検出する方法が知られている。
また、複数の車載カメラを搭載し、複数の車載カメラで重複して撮影した画像を解析してやれば、１つの車載カメラで撮影した画像を解析する場合よりも多くの情報を得ることが可能となる。例えば、車両の進行方向に対して左右に車載カメラを搭載して、前方を撮影した画像を解析すれば、左右の車載カメラの視差に基づいて、画像に写った対象物までの距離の情報を得ることができる（特許文献１）。

特開２００１−０４１７４１号公報

しかし、複数の車載カメラで撮影した複数の画像から何らかの情報を引き出すためには、それら複数の車載カメラが同じタイミングで画像を撮影するように、撮影タイミングを同期させておかなければならないという問題があった。これは、車両は高速で走行し得るので、車載カメラが画像を撮影するタイミングがずれていると、その間に車両が長い距離を移動することとなって、大きな誤差要因となってしまうためである。

この発明は、従来の技術が有する上述した課題に対応してなされたものであり、複数の車載カメラを同期させなくても、それら車載カメラの画像から情報を引き出すことが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の制御情報検出装置および制御情報検出方法は、複数の車載カメラからフィールド画像の単位で出力される撮影画像を、車載カメラ毎に記憶しておき、複数の車載カメラから取得された直近のフィールド画像を解析して、車両の走行を制御するための制御情報を検出する。ここで、解析のために複数の車載カメラのフィールド画像を取得するに際しては、次のようにして決定されたタイミングで、車載カメラ毎のフィールド画像を取得する。先ず、複数の車載カメラが撮影画像を撮影する撮影順序と、車載カメラが撮影してから次の車載カメラが撮影するまでの時間間隔とを取得する。次に、複数の車載カメラの各々について、車載カメラが撮影してから他の全ての車載カメラが撮影するまでに要する所要時間を算出することによって、所要時間が最短となる最短撮影順序を決定する。そして、車載カメラの直近のフィールド画像を解析するに際しては、最短撮影順序となるタイミングで車載カメラ毎のフィールド画像を取得して、フィールド画像を解析する。

車載カメラからはインターレース方式でフィールド画像が出力されるので、フィールド画像によって撮影画像を完成させるためには、車載カメラが複数の撮影画像を撮影する必要が生じ、その間に車両が長い距離を移動する事態も発生し得る。これに対して、本発明の制御情報検出装置および制御情報検出方法では、各車載カメラからは直近のフィールド画像を取得すればよいので、車載カメラが複数の撮影画像を撮影する必要はない。このため、複数の車載カメラが撮影画像を撮影する間に、車両が長い距離を移動する事態を回避することができる。その結果、たとえ複数の車載カメラの撮影タイミングが同期していない場合でも、複数の車載カメラの撮影画像から情報を引き出すことが可能となる。加えて、車載カメラの撮影順序と、次の車載カメラが撮影するまでの時間間隔の情報とに基づいて、全ての車載カメラが撮影するために要する所要時間が最短撮影時間となるタイミングで、車載カメラ毎のフィールド画像を読み出すので、複数の車載カメラの撮影タイミングが同期していない場合でも、その影響を抑制することが可能となる。

第１実施例による制御情報検出装置１０の大まかな内部構成を示したブロック図である。 フィールド画像２０を例示した説明図である。 制御情報検出装置１０が実行する制御情報検出処理のフローチャートである。 従来の左前方カメラおよび右前方カメラの動作と、制御情報検出装置の動作との関係を例示した説明図である。 本実施例の左前方車載カメラ１１および右前方車載カメラ１２の動作と、制御情報検出装置１０の動作との関係を例示した説明図である。 従来の場合と本実施例の場合における読出し対象となる二つのフィールド画像２０間の撮影時刻のずれの大きさの違いを示した説明図である。 第２実施例による制御情報検出装置２１０の大まかな内部構成を示したブロック図である。 制御情報検出装置２１０が実行する制御情報検出処理のフローチャートである。 車線境界推定箇所２４１の照合の様子を示す説明図である。 車線境界推定箇所２４１の照合の様子を示す別の説明図である。 第２実施例の変形例による制御情報検出装置３１０が実行する最短撮影順序決定処理のフローチャートである。 制御情報検出装置３１０によるフィールド画像２２０の読出しが最短撮影順序に該当する場合と該当しない場合の所要時間の違いを示した説明図である。

以下では、上述した本願発明の内容を明確にするために制御情報検出装置の実施例について説明する。
Ａ．第１実施例 ：
Ａ−１．第１実施例の装置構成 ：
図１には、制御情報検出装置１０を搭載した車両１の大まかな内部構成が示されている。車両１は、図１に示す通り、制御情報検出装置１０と、左前方車載カメラ１１と、右前方車載カメラ１２と、車両制御部１７とを備えている。本実施例の制御情報検出装置１０は、左前方車載カメラ１１および右前方車載カメラ１２が撮影した画像から車両１の走行を制御するための制御情報を検出するための装置である。

左前方車載カメラ１１および右前方車載カメラ１２は、互いに重複した撮影領域を有し、車両１の前方を所定の周期で撮影するビデオカメラである。そして、左前方車載カメラ１１および右前方車載カメラ１２は、映像を構成する単位である１フレーム分の静止画像を、走査線毎に飛び越して走査するインターレース方式により、複数本の走査線が間引かれた状態のフィールド画像２０に分割して制御情報検出装置１０に出力する。フィールド画像２０には、以下に説明する奇数フィールド画像２１と偶数フィールド画像２２とがあり、これらが交互に繰り返して出力される。尚、左前方車載カメラ１１および右前方車載カメラ１２が本発明の「車載カメラ」に対応する。

図２には、フィールド画像２０の具体例が示されている。図２（ａ）に示す本実施例のフィールド画像２０には、偶数列の走査線を間引いて奇数列の走査線を出力する奇数フィールド画像２１と、奇数列の走査線を間引いて偶数列の走査線を出力する偶数フィールド画像２２とがある。これらを合成すれば、１フレーム分の静止画像であるフレーム画像２３となる。
フィールド画像２０の態様は、図２（ａ）に示される場合に限られず、図２（ｂ）に示されるような、３ｎ＋１列目フィールド画像２４と、３ｎ＋２列目フィールド画像２５と、３ｎ＋３列目フィールド画像２６（ｎ＝０，１，２，３……）といった三つ以上に分割したフィールド画像２０を読み出すこととしてもよい。

制御情報検出装置１０は、図１に示す通り、左前方車載カメラ１１が撮影した画像を記憶する左撮影画像記憶部３１と、右前方車載カメラ１２が撮影した画像を記憶する右撮影画像記憶部３２と、撮影画像を解析して車両１を制御するための制御情報を取得する制御情報取得部３８と、制御情報を車両制御部１７に出力する制御情報出力部３９とを備える。
尚、左撮影画像記憶部３１、右撮影画像記憶部３２、制御情報取得部３８および制御情報出力部３９は、制御情報検出装置１０の内部が物理的に区分されることを表すのではなく、制御情報検出装置１０が果たす機能を分類した概念である。従って、これらの「部」は、ＣＰＵで実行されるコンピュータプログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。

左撮影画像記憶部３１は、左前方車載カメラ１１の撮影周期に同期して取得した撮影画像であるフィールド画像２０を記憶する。上述した通り、左前方車載カメラ１１は、奇数フィールド画像２１と偶数フィールド画像２２とを交互に出力するため、左撮影画像記憶部３１も奇数フィールド画像２１と偶数フィールド画像２２とを交互に記憶することとなる。右撮影画像記憶部３２も同様に、右前方車載カメラ１２の撮影周期に同期して取得したフィールド画像２０を記憶する。
このようにフィールド画像２０を記憶した左撮影画像記憶部３１および右撮影画像記憶部３２は、記憶した複数のフィールド画像２０のうち直近のフィールド画像２０を読み出し可能な状態で保持する。こうすれば、制御情報取得部３８が左撮影画像記憶部３１および右撮影画像記憶部３２から直近のフィールド画像２０を取得できる。このように、左撮影画像記憶部３１および右撮影画像記憶部３２は、左前方車載カメラ１１および右前方車載カメラ１２からの出力周期と、制御情報取得部３８の処理周期との間に生ずるタイムラグを吸収するためのバッファーメモリーである。
尚、左撮影画像記憶部３１、右撮影画像記憶部３２が本発明の「撮影画像記憶部」に対応する。

制御情報取得部３８は、左撮影画像記憶部３１に記憶されたフィールド画像２０と、右撮影画像記憶部３２に記憶されたフィールド画像２０とを解析して車両１を制御するための情報を検出する。解析の観測対象としては、例えば、歩行者、路上障害物、車線、交通標識等が挙げられるが、これらに限られず、車両１の周囲の状況を把握することが可能なあらゆる事物を観測対象とすることができる。
尚、この解析については、一部の走査線が間引かれた状態のフィールド画像２０をそのまま解析してもよいし、取得した奇数フィールド画像２１または偶数フィールド画像２２の画像情報によって奇数列または偶数列いずれかが間引かれた走査線を補間してから解析してもよい。また、解析の対象とするフィールド画像２０が奇数フィールド画像２１であるか偶数フィールド画像２２であるかを同期信号によって判定することにより、奇数列と偶数列とを取り違えることによって生じる誤差を防止するとよい。

制御情報出力部３９は、制御情報取得部３８によって取得した車両１を制御するための情報を車両制御部１７に出力する。
車両制御部１７は、制御情報検出装置１０が備える制御情報出力部３９から出力される制御情報に従って車両１を制御する。ここでいう車両１の制御とは、例えば、車両１を加減速したり、操舵角を変更したりといった運転支援の他、運転者に対して注意や警告を発したりといったことが挙げられ、車両に関する種々の制御が広く含まれる。

Ａ−２．制御情報検出装置１０の制御情報処理 ：
ここで、左前方車載カメラ１１および右前方車載カメラ１２からフィールド画像２０を取得し、車両１を制御するための情報を車両制御部１７に出力するまでに、制御情報検出装置１０の内部で行われる処理について説明する。
図３には、本実施例の制御情報検出装置１０が実行する制御情報検出処理のフローチャートが示されている。この制御情報検出処理は、左前方車載カメラ１１および右前方車載カメラ１２の撮影周期に同期させて実行される処理である。
この制御情報検出処理を開始すると、先ず始めに、左前方車載カメラ１１および右前方車載カメラ１２からそれぞれ出力されたフィールド画像２０を記憶する（Ｓ１０１）。撮影は連続的に行われるため、記憶されたフィールド画像２０が溜まっていくこととなるが、左前方車載カメラ１１および右前方車載カメラ１２毎に新しく記憶されたフィールド画像２０を解析可能な状態としておく。尚、古いフィールド画像２０については随時消去してもよいし、保存しておいてもよい。

次に、その記憶した左前方車載カメラ１１から出力されたフィールド画像２０と、右前方車載カメラ１２から出力されたフィールド画像２０とを解析して、車両１の制御のための制御情報を取得する（Ｓ１０２）。このように解析対象となるのは、フレーム単位ではなく、奇数フィールド画像２１または偶数フィールド画像２２いずれかのフィールド単位である。
続いて、取得した制御情報を車両制御部１７に出力して（Ｓ１０３）、制御情報検出処理は終了する。車両制御部１７は、このようにして取得した制御情報を用いて車両１の制御を行うことができる。

以下、左前方カメラおよび右前方カメラの動作と、制御情報検出装置１０の動作との関係について、従来の場合と比較しつつ説明する。
図４には、下方に向かって流れる時間軸をとって、左前方カメラおよび右前方カメラが奇数フィールド画像および偶数フィールド画像を撮影するタイミングと、制御情報検出装置が制御情報を検出するタイミングとが示されている。図示する通り、左前方カメラおよび右前方カメラのそれぞれは奇数フィールド画像または偶数フィールド画像を交互に同じ周期で撮影を繰り返し、制御情報検出装置はカメラの撮影周期と同期して制御情報の検出を繰り返す。そして、この従来の制御情報検出装置は、一度の制御情報検出のために、左前方カメラから奇数フィールド画像および偶数フィールド画像の両方を読み出し、右前方カメラからも奇数フィールド画像および偶数フィールド画像の両方を読み出している。

図５には、本実施例の場合の、左前方車載カメラ１１および右前方車載カメラ１２の動作と、制御情報検出装置１０の動作との関係が示されている。上記の従来の例に対して、本実施例の制御情報検出装置１０は、左前方車載カメラ１１および右前方車載カメラ１２のそれぞれから、偶数フィールド画像２２のみを読み出して、走査線が間引かれた状態のままで制御情報を検出している。この際、左前方車載カメラ１１および右前方車載カメラ１２のそれぞれから出力される奇数フィールド画像２１については、制御情報の検出に使用していない。制御情報検出装置１０は、その次に制御情報を検出する際にも偶数フィールド画像２２のみを読み出す。本実施例の制御情報検出装置１０はこのような処理を所定周期で繰り返す。

もっとも、上記の例に限られず、図５の下部に破線で囲った制御情報検出のように、左前方車載カメラ１１および右前方車載カメラ１２から奇数フィールド画像２１のみを読み出してもよい。また、図示は省略するが、撮影周期のずれ方によっては、一方の車載カメラからは奇数フィールド画像２１を、他方の車載カメラからは偶数フィールド画像２２をそれぞれ読み出すこととしてもよい。
このように、制御情報検出装置１０は、左前方車載カメラ１１および右前方車載カメラ１２のそれぞれにおいて最も新しく撮影されたフィールド画像２０を、奇数フィールド画像２１であるか偶数フィールド画像２２であるかを問わずに読み出す。

図６には、上記の左前方車載カメラ１１および右前方車載カメラ１２の動作と、制御情報検出装置１０の動作との関係にあって、従来の場合と本実施例の場合における撮影時刻のずれの大きさの違いが示されている。
図６（ａ）に示される従来の場合では、最も先に撮影された右前方カメラの奇数フィールド画像の撮影時刻と、最も後に撮影された左前方カメラの偶数フィールド画像の撮影時刻は大きく異なる（図６（ａ）右端矢印）。この撮影時刻のずれによって、左前方カメラの偶数フィールド画像は、右前方カメラの奇数フィールド画像を撮影してから、車両が走行した分、異なる位置から撮影されたものとなってしまう。このため従来は、車両の走行速度が十分に小さな場合を撮影の対象とするか、あるいは、この撮影時刻のずれの問題を解消するために、２つの車載カメラの撮影周期を同期させることとしていた。

図６（ｂ）に示される本実施例の場合では、右前方車載カメラ１２が撮影してから、左前方車載カメラ１１が撮影するまでの時間が撮影時刻のずれは、従来に比べて小さくなっている（図６（ｂ）右端矢印）。
このように本実施例の制御情報検出装置１０では、フィールド画像２０の単位を解析対象とし、撮影時刻のずれが小さくなるため、左前方車載カメラ１１と右前方車載カメラ１２との撮影位置の差を小さくすることができる。これによって、本実施例の制御情報検出装置１０は、車両１の走行速度が大きくなっても、左前方車載カメラ１１および右前方車載カメラ１２の撮影周期を同期させることなく、左前方車載カメラ１１および右前方車載カメラ１２による撮影画像を解析して情報を取得することが可能となる。

ここで、左前方車載カメラ１１および右前方車載カメラ１２の撮影周期と、制御情報検出装置１０が実行する制御情報検出処理の周期との関係について説明する。制御情報検出処理の周期は、左前方車載カメラ１１および右前方車載カメラ１２の撮影周期に同期していることは上述した通りである。例えば、左前方車載カメラ１１および右前方車載カメラ１２がそれぞれ、約３３ｍｓｅｃごとに奇数フィールド画像２１および偶数フィールド画像２２を一つずつ出力する場合に、制御情報検出処理は、これと同様に約３３ｍｓｅｃごとに実行できる。従来の場合であっても（図４参照）、これと同様の周期で処理することができるが、一度の制御情報検出処理で奇数フィールド画像２１および偶数フィールド画像２２の両方を使用して処理するため、この撮影周期に対して制御情報検出処理の周期をこれ以上短くすることはできない。

これに対して本実施例によると、同じ撮影周期に対して、約１６．６ｍｓｅｃごとに制御情報検出処理を実行することもできる。この点について以下に説明する。左前方車載カメラ１１および右前方車載カメラ１２がそれぞれ、約３３ｍｓｅｃごとに奇数フィールド画像２１および偶数フィールド画像２２を一つずつ出力するということは、その半分の約１６．６ｍｓｅｃごとに奇数フィールド画像２１または偶数フィールド画像２２のいずれかが交互に出力されるということである。そうすると、本実施例では、奇数フィールド画像２１および偶数フィールド画像２２のうち、いずれか一方を使用できればよいので、約１６．６ｍｓｅｃごとに制御情報検出処理を実行すれば、左前方車載カメラ１１および右前方車載カメラ１２の両方から常に更新された直近のフィールド画像２０を読み出して解析処理することができることとなる。

Ｂ−１．第２実施例の装置構成 ：
本実施例では、観測対象が特に車線境界２４０である場合について説明する。本実施例の制御情報検出装置２１０でも第１実施例と同様に、奇数フィールド画像２２１または偶数フィールド画像２２２を読出して、フィールド画像２２０の単位で処理する。
図７には、制御情報検出装置２１０を搭載した車両２０１の大まかな内部構成が示されている。第１実施例では車両１の前方に左前方車載カメラ１１および右前方車載カメラ１２の２つの車載カメラが設けられていたが、本実施例では、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６の４つの車載カメラを設けられている。また、これらに対応して前方撮影画像記憶部２３３、左方撮影画像記憶部２３４、右方撮影画像記憶部２３５、後方撮影画像記憶部２３６が設けられている。その他の構成は、第１実施例と同様に車両制御部２１７、制御情報処理部２３３、制御情報出力部２３９を備える。
尚、左方車載カメラ２１４および右方車載カメラ２１５が本発明の「側方車載カメラ」に対応する。また、前方撮影画像記憶部２３３、左方撮影画像記憶部２３４、右方撮影画像記憶部２３５および後方撮影画像記憶部２３６が本発明の「撮影画像記憶部」に対応する。

本実施例で対象とする車線境界２４０とは、車両２０１と車線との位置関係を把握することが可能な程度に車線の延長方向とほぼ平行に存在する事物である。典型的には、車道中央線や車道外側線等の道路に描かれた白線等が挙げられるが、その他、車線に沿って埋め込まれた道路鋲、車道および歩道等を区分けする境界ブロック、防護柵や防護壁等も車線境界２４０として検出することができる。

一般に、このような車線境界２４０を撮影画像から検出する場合は、撮影画像の輝度の分布から撮影された事物のエッジを抽出し、その種々のエッジの中から観測対象である車線境界２４０を検出することとなる。しかし、道路上には車両の影やアスファルト舗装の境目など、車線境界２４０と紛らわしい事物が存在するため、これらと車線境界２４０とを区別して検出することは容易なことではない。
本実施例の制御情報検出装置２１０は、この車線境界２４０をより確実に検出するための装置である。以下では、こうしたことを実現するために制御情報検出装置２１０の内部で行われる処理について詳しく説明する。

Ｂ−２．制御情報検出装置２１０の制御情報検出処理 ：
図８には、本実施例の制御情報検出装置２１０が実行する制御情報検出処理のフローチャートが示されている。この制御情報検出処理も、第１実施例と同様に、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６の４つの車載カメラの撮影周期に同期させて実行される処理である。
先ず始めに、４つの車載カメラそれぞれから出力されたフィールド画像２２０を読み出す（Ｓ２０１）。読み出すフィールド画像２２０は第１実施例と同様に、奇数フィールド画像２２１であるか偶数フィールド画像２２２であるかを問わず、いずれかを読み出せばよい。
次に、読み出した４つのフィールド画像２２０からそれぞれ車線境界推定箇所２４１を検出する（Ｓ２０２）。車線境界推定箇所２４１とは、フィールド画像２２０から車線境界２４０と判断できるエッジを検出した場合に、車線境界２４０と推定されるとして検出したものである。

続いて、車線境界推定箇所２４１を複数のフィールド画像２２０から検出したか否かを判断する（Ｓ２０３）。車線境界推定箇所２４１を複数のフィールド画像２２０から検出しなかった場合には（Ｓ２０３：ｎｏ）、この制御情報検出処理を終了する。車線境界推定箇所２４１を複数のフィールド画像２２０から検出した場合には（Ｓ２０３：ｙｅｓ）、検出した複数の車線境界推定箇所２４１を互いに照合し（Ｓ２０４）、これらが一致するか否かを判断する（Ｓ２０５）。

図９には、車線境界推定箇所２４１の照合の様子が示されている。同図では、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５および後方車載カメラ２１６がそれぞれ撮影したフィールド画像２２０である前方撮影画像２５３、左方撮影画像２５４、右方撮影画像２５５および後方撮影画像２５６を、車両２０１の上方から俯瞰したように変換して配置されている。尚、この俯瞰画像の図示は、説明の便宜のためにすぎず、必ずしもこのように俯瞰画像に変換することを要するものではない。
図９では、前方撮影画像２５３で車線境界推定箇所２４１ａを検出し、左方撮影画像２５４で車線境界推定箇所２４１ｂを検出し、後方撮影画像２５６で車線境界推定箇所２４１ｃを検出している。これら車線境界推定箇所２４１ａ，２４１ｂ，２４１ｃが撮影された時刻は互いに異なるため、車両２０１が走行した分だけ、これらの位置関係がずれて撮影されている。ここで、左方撮影画像２５４で検出した車線境界推定箇所２４１ｂを前方撮影画像２５３の領域まで延長して車線境界推定箇所２４１ｂ´（図９の斜線部）とすると、この車線境界推定箇所２４１ｂ´と、前方撮影画像２５３から検出した車線境界推定箇所２４１ａとの位置関係を照合することができる。

車線境界推定箇所２４１ｂ´と車線境界推定箇所２４１ａとが互いに一致するか否かについては、両者の近似の程度によって判断することとなる。その近似の程度については任意の閾値を設けて判断すればよいが、車線境界推定箇所２４１ｂ´と車線境界推定箇所２４１ａとが重なり合って検出された場合や、図９のように接触して検出された場合であれば、これらが互いに一致するため、同じ一つの車線境界２４０を検出したと判断することに特に問題は生じないと考えられる。

一方、図１０のように車線境界推定箇所２４１ｂ´と車線境界推定箇所２４１ａとが少し離れた場所で検出された場合には、これらが同じ一つの車線境界２４０を検出したのか、車両の影等の車線境界２４０と似た事物と混同して検出したのか判断することが難しくなる。
この点、本実施例の制御情報検出装置２１０では、第１実施例と同様に、フィールド画像２２０の単位で処理することによって、撮影周期のずれの影響を少なくすることができるため、図１０に示すような車線境界推定箇所２４１ａ，２４１ｂ，２４１ｃの位置ずれ量を小さくすることができる。これによって、車両の影やアスファルト舗装の境目等の車線境界２４０と紛らわしい事物と混同して検出してしまうことを回避し、車線境界２４０をより確実に検出することができる。

また、フレーム単位で処理する場合には、異なった撮影時刻による奇数列の走査線と偶数列の走査線とが交互に存在するため、車両の移動に伴って車線境界２４０が二重に映ってしまうためエッジを検出しにくくなる。これに対して、本実施例のように解析対象をフィールド画像２２０の単位とすれば、このような二重映りによってエッジを検出しにくくなるといったことをなくすことができる。

以上のようにして、検出した複数の車線境界推定箇所２４１を互いに照合し（Ｓ２０４）、これらが一致するか否かを判断することができる（Ｓ２０５）。
そして、左方撮影画像２５４からの検出による車線境界推定箇所２４１ｂ´と前方撮影画像２５３から検出した車線境界推定箇所２４１ａとが互いに一致しないと判断した場合（Ｓ２０５：ｎｏ）、この制御情報検出処理を終了する。
一方、車線境界推定箇所２４１ｂ´と車線境界推定箇所２４１ａとが互いに一致すると判断した場合（Ｓ２０５：ｙｅｓ）、検出した車線境界２４０の位置を出力し（Ｓ２０６）、この制御情報検出処理を終了する。

以上に説明した通り、本実施例の制御情報検出装置２１０は、車両２０１を制御するための制御情報としてより確実に検出され信頼度の高い車線境界２４０の位置を出力する。ここにおいて、出力する車線境界２４０の位置は、車両２０１の側方に設けられた左方車載カメラ２１４または右方車載カメラ２１５から撮影した画像（左方撮影画像２５４または右方撮影画像２５５）から検出するとよい。こうすることで、検出対象である車線境界２４０をより近い位置から撮影することができ、検出によって生じる、車両２０１に対する車線境界２４０の位置の誤差を少なくすることができる。また、路面の傾斜や車両２０１の重量バランスが変化すると、車両２０１が傾いて車載カメラと車線境界２４０との位置関係に影響を及ぼすが、車両２０１の側方に設けられた左方車載カメラ２１４および右方車載カメラ２１５が受ける影響は、前方車載カメラ２１３または後方車載カメラ２１６が受ける影響よりも比較的小さく済む。

もちろん、前方車載カメラ２１３または後方車載カメラ２１６から撮影した画像（前方撮影画像２５３または後方撮影画像２５６）から検出した車線境界２４０の位置を出力することもできる。いずれにしても、車両２０１の側方の撮影領域および前方（または後方）の撮影領域という互いに異なる広い撮影領域から車線境界２４０を検出するため、いずれかの車載カメラ単独で検出する場合と比べて、より長い距離の車線境界２４０を確認できるため、車線境界２４０でないものを検出してしまうといった誤検出の可能性を減らすことができる。

Ｃ．第２実施例の変形例 ：
以上のように第２実施例では、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５および後方車載カメラ２１６の撮影周期のずれの影響を少なくすることができたが、本変形例では、さらにその撮影周期のずれの影響を少なくする処理について説明する。
本変形例の制御情報検出装置３１０は、第２実施例の制御情報検出装置２１０に対して更に、撮影順序取得部３６１と、所要時間算出部３６２と、最短撮影順序決定部３６３とが追加されている。以下、これらによって実行される最短撮影順序決定処理について、各部の機能に言及しつつ説明する。

図１１には、本変形例の制御情報検出装置３１０が実行する最短撮影順序決定処理のフローチャートが示されている。この最短撮影順序決定処理は、第２実施例で説明した制御情報検出処理に先立って実行される。
最短撮影順序決定処理を開始すると先ず始めに、撮影順序取得部３６１によって、４つの車載カメラの撮影順序と、車載カメラ間の時間間隔とを取得する（Ｓ２５１）。ここで、４つの車載カメラの撮影順序とは、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５および後方車載カメラ２１６が、どのような順序で画像を撮影するかを表している。すなわち、これら４つの車載カメラ（前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６）は同じ撮影周期で撮影するが、撮影を開始するタイミングはずれている。従って、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５および後方車載カメラ２１６は、撮影開始のタイミングによって決まる一定の順序で画像を撮影することになる。

車載カメラの撮影順序とは、このようにして決まる順序を指している。例えば、撮影を開始する順序が、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６であったとすると、撮影順序は、前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６となる。
尚、撮影順序は循環する（順序の先頭が前方車載カメラ２１３の場合は、最後も前方車載カメラ２１３となる）ので、例えば、撮影順序が前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６、前方車載カメラ２１３である場合と、撮影順序が左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６、前方車載カメラ２１３、左方車載カメラ２１４とは同じ撮影順序として扱う。

また、４つの車載カメラ間での時間間隔とは、４つの車載カメラがある撮影順序で撮影する時に隣り合う順序の車載カメラ間での撮影の時間間隔を指す。従って、上記の撮影順序が前方車載カメラ２１３、左方車載カメラ２１４、右方車載カメラ２１５、後方車載カメラ２１６、前方車載カメラ２１３である場合にあっては、以下の時間間隔を取得することとなる。すなわち、前方車載カメラ２１３および左方車載カメラ２１４ｍ、左方車載カメラ２１４および右方車載カメラ２１５、右方車載カメラ２１５および後方車載カメラ２１６、後方車載カメラ２１６および前方車載カメラ２１３の４つの時間間隔である。

次に、所要時間算出部３６２が、４つの車載カメラから１つの車載カメラを選択し（Ｓ２５２）、選択した車載カメラが撮影してから他の全ての車載カメラが撮影するまでに要する所要時間を算出する（Ｓ２５３）。この所要時間は、上記の処理（Ｓ２５１）によって取得した４つの車載カメラ間の時間間隔を用いれば容易に算出することができる。
そして、全ての車載カメラについて所要時間を算出したか否かを判断し（Ｓ２５４）、未だの場合は（Ｓ２５４：ｎｏ）、１つの車載カメラを選択する処理に戻って繰り返す。このように、所要時間を算出する処理は、全ての車載カメラのそれぞれについて実行される。従って、本変形例のように４つの車載カメラを用いている場合は、４通りの所要時間が算出されることとなる。

全ての車載カメラについて所要時間を算出したら（Ｓ２５４：ｙｅｓ）、最短撮影順序決定部３６３が、所要時間が最短となる最短撮影順序を決定する（Ｓ２５５）。この最短撮影順序を決定する処理は、上記の処理によって算出された４通りの所要時間の中から最短の場合を選ぶことにより実行される。
こうして、最短撮影順序を決定すると（Ｓ２５５）、この最短撮影順序決定処理は終了する。そして、第２実施例と同様に制御情報検出処理が実行されるが、その際、制御情報取得部２３８による４つのフィールド画像２２０の読出し（Ｓ２０１）については（図８参照）、上記で決定された最短撮影順序に従うこととなる。つまり、制御情報取得部２３８は、車載カメラ毎に読み出された直近のフィールド画像２２０が取得された順番が、最短撮影順序となるタイミングで、車載カメラ毎のフィールド画像２２０を読み出すこととなる。

図１２には、最短撮影順序に該当する場合と該当しない場合の所要時間の違いが示されている。同図の制御情報検出装置３１０が行う制御情報検出のうち、上側の検出タイミングＣが最短撮影順序に該当しない場合の例示である。このときの所要時間は、前方車載カメラ２１３が撮影してから後方車載カメラ２１６が撮影するまでに要する時間であって、ε１である。この場合であっても、第２実施例の制御情報検出処理には該当しているため、従来と比べれば、４つの車載カメラ間の撮影周期のずれの影響は少なくなっている。

これに対して、同図の下側の検出タイミングＤが最短撮影順序に従う場合の例示である。このときの所要時間は、左方車載カメラ２１４が撮影してから前方車載カメラ２１３が撮影するまでに要する時間であって、ε２である。上記のε１とこのε２とを見比べれば、第２実施例によって少なくなった撮影周期のずれの影響が、本変形例の最短撮影順序決定処理を実行することによって、さらに少なくなることがわかる。

以上、各種の実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施をすることができる。

１…車両、 １０…制御情報検出装置、
１１…左前方車載カメラ、 １２…右前方車載カメラ、 １７…車両制御部、 ２０…フィールド画像、 ２１…奇数フィールド画像、
２２…偶数フィールド画像、 ３１…左撮影画像記憶部、
３２…右撮影画像記憶部、 ３８…制御情報取得部、 ３９…制御情報出力部。

Claims (3)

1. 所定の撮影周期で撮影した撮影画像をインターレース方式で複数のフィールド画像（２０）に分けた後に出力する車載カメラ（１１，１２）を、複数備える車両（１）に搭載されて、該複数の車載カメラから取得した前記撮影画像を解析することにより、該車両の走行を制御するための制御情報を検出する制御情報検出装置であって、
   前記複数の車載カメラの各々について、該車載カメラが前記撮影画像を撮影する度に前記フィールド画像の単位で出力する該撮影画像を取得して、前記フィールド画像の単位で読み出し可能な状態で前記複数の車載カメラ毎に記憶する撮影画像記憶部（３１，３２）と、
   前記複数の車載カメラが前記撮影画像を撮影する撮影順序と、前記車載カメラが撮影してから次の前記車載カメラが撮影するまでの時間間隔とを取得する撮影順序取得部（３６１）と、
   前記複数の車載カメラの各々について、該車載カメラが撮影してから他の全ての前記車載カメラが撮影するまでに要する所要時間を、前記撮影順序取得部に記憶されている前記車載カメラ間での前記時間間隔に基づいて算出する所要時間算出部（３６２）と、
   前記所要時間算出部によって算出された前記所要時間が最短となる最短撮影順序を決定する最短撮影順序決定部（３６３）と、
   前記車載カメラ毎に直近に取得された前記フィールド画像を前記撮影画像記憶部から読み出して、複数の前記フィールド画像を解析することによって、前記制御情報を取得する制御情報取得部（３８）と
   を備え、
   前記制御情報取得部は、前記車載カメラ毎の前記直近のフィールド画像が取得された順番が前記最短撮影順序となるタイミングで、該車載カメラ毎の該フィールド画像を読み出す取得部である
   制御情報検出装置。
2. 請求項１に記載の制御情報検出装置であって、
   前記撮影画像記憶部は、前記車両から前方を撮影する前方車載カメラ（２１３）による前方撮影画像（２５３）と、該車両から側方を撮影する側方車載カメラ（２１４，２１５）による側方撮影画像（２５４，２５５）とを含む前記複数の撮影画像を、前記フィールド画像の単位で読み出し可能な状態で記憶する記憶部であり、
   前記制御情報取得部は、前記前方撮影画像および前記側方撮影画像を含む前記複数のフィールド画像を解析して、前記車両が走行する車線の位置を取得する取得部である
   制御情報検出装置。
3. 所定の撮影周期で撮影した撮影画像をインターレース方式で複数のフィールド画像に分けた後に出力する車載カメラを、複数備える車両に適用されて、該複数の車載カメラから取得した前記撮影画像を解析することにより、該車両の走行を制御するための制御情報を検出する制御情報検出方法であって、
   前記複数の車載カメラの各々について、該車載カメラが前記撮影画像を撮影する度に前記フィールド画像の単位で出力する該撮影画像を取得して、前記フィールド画像の単位で読み出し可能な状態で前記複数の車載カメラ毎に記憶する撮影画像記憶工程（Ｓ１０１）と、
   前記複数の車載カメラが前記撮影画像を撮影する撮影順序と、前記車載カメラが撮影してから次の前記車載カメラが撮影するまでの時間間隔とを取得する撮影順序取得工程（Ｓ２５１）と、
   前記複数の車載カメラの各々について、該車載カメラが撮影してから他の全ての前記車載カメラが撮影するまでに要する所要時間を、前記車載カメラ間での前記時間間隔に基づいて算出する所要時間算出工程（Ｓ２５３）と、
   前記複数の車載カメラの各々について算出された前記所要時間が最短となる最短撮影順序を決定する最短撮影順序決定工程（Ｓ２５５）と、
   前記車載カメラ毎の前記直近のフィールド画像が取得された順番が前記最短撮影順序となるタイミングで、前記車載カメラ毎に直近に取得された前記フィールド画像を読み出して、複数の前記フィールド画像を解析することによって、前記制御情報を取得する制御情報取得工程（Ｓ１０２）と
   を備える制御情報検出方法。

Images