JPWO2019208544A1 - 画像処理装置、車両用灯具および画像処理方法 - Google Patents

Abstract

画像処理装置は、車両前方を撮像した撮像画像に含まれる光点のうち、遠方に存在する物体に相当する複数の光点から遠方基準点Ｇを算出する算出部と、遠方基準点を用いて車両前方の状況を判別する判別部と、を有する。

Description

本発明は、自動車などに用いられる画像処理装置に関する。

近年、車両に搭載されたカメラやセンサにより取得された周囲の情報に基づいて周囲の環境や物体を判別し、その環境や物体に応じた車両制御を行うことが種々試みられている。車両制御としては、制動制御、駆動制御、操作制御、配光制御等の種々の制御が挙げられる。

例えば、自車の走行道路前方を撮像する複数の撮像部と、複数の撮像部により撮像した画像に基づいて走行道路の消失点付近に存在する立体物を検出する前方立体物検出部と、前方立体物検出部により検出した検出結果に基づいて、走行道路のうちの遠距離部分の道路線形を推定する道路線形推定部と、を有するカメラ装置が考案されている（特許文献１参照）。そして、推定した道路線形に基づいて、ブレーキ制御が必要なカーブに進入する手前で自動減速制御を行うことができる。

特開２０１０−１２８９４９号公報

しかしながら、前述の装置による道路線形の推定は、ステレオカメラ装置で撮影した複数の画像が必要であり、また、自車両と前方立体物との距離を算出する必要もあるため、比較的高性能な演算装置が必要となる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、車両前方の状況を比較的簡易な方法で判別する新たな技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、車両前方を撮像した撮像画像に含まれる光点のうち、遠方に存在する物体に相当する複数の光点から遠方基準点を算出する算出部と、遠方基準点を用いて車両前方の状況を判別する判別部と、を有する。

この態様によると、車両前方を撮像した撮像画像から車両前方の状況を比較的簡易な方法で判別できる。また、遠方に存在する物体に相当する複数の光点は、それぞれが大きく別々の方向に移動することは余りない。そのため、このような複数の光点を用いて車両前方の状況を判別することで、判別精度が高まる。

算出部は、撮像画像における複数の光点の重心を遠方基準点として算出してもよい。これにより、新たな光点が撮像画像に含まれても、重心が余り動かないため、判別精度が向上する。

算出部は、撮像画像の中心または重心に対して上下方向±１０°以内の範囲にある光点を用いて遠方基準点を算出してもよい。撮像画像の中心または重心に対して上下方向±１０°以内の範囲にある光点は、遠方に存在する蓋然性が高い。そのため、判別精度が向上する。

判別部は、遠方基準点から斜め下方に移動する光点を対向車であると判別してもよい。これにより、車両前方の対向車を簡易に判別できる。

判別部は、遠方基準点と自車両との間に留まる光点を先行車であると判別してもよい。これにより、車両前方の先行車を簡易に判別できる。

判別部は、遠方基準点の動きにより道路形状を推定してもよい。これにより、車両前方の道路形状を簡易に判別できる。

算出部は、近傍に存在する物体に相当する光点から算出した近傍基準点を算出し、判別部は、遠方基準点および近傍基準点の動きにより道路形状を推定してもよい。

画像処理装置と、車両前方を照射する前照灯ユニットと、画像処理装置で判別された光点の属性に応じて前照灯ユニットの配光を制御する配光制御部と、備えてもよい。これにより、車両前方の対向車や先行車に対して適切な配光を実現できる。

本発明の別の態様は、画像処理方法である。この方法は、車両前方を撮像した撮像画像に含まれる光点のうち、遠方に存在する物体に相当する複数の光点から算出した遠方基準点を用いて車両前方の状況を判別する。

この態様によると、車両前方を撮像した撮像画像から車両前方の状況を比較的簡易な方法で判別できる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、車両前方の状況を比較的簡易な方法で判別できる。

本実施の形態に係る車両用灯具を適用した車両の外観を示す概略図である。 本実施の形態に係る車両用灯具の概略構成を示すブロック図である。 本実施の形態に係る光点の車両前方の状況判別処理を含む配光制御方法を示すフローチャートである。 前方監視カメラから見た夜間直線路において、多数の発光物体が存在する状況を示す模式図である。 前方監視カメラから見た夜間左カーブにおいて、多数の発光物体が存在する状況を示す模式図である。

以下、本発明を実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述される全ての特徴やその組合せは、必ずしも発明の本質的なものであるとは限らない。

（車両用灯具）
図１は、本実施の形態に係る車両用灯具を適用した車両の外観を示す概略図である。図１に示すように、本実施の形態に係る車両１０は、車両前方を照射する前照灯ユニット１２と、前照灯ユニット１２による光の照射を制御する制御システム１４と、車両１０の走行状況を示す情報を検出してその検出信号を制御システム１４へ出力する各種センサと、車両前方を監視する前方監視カメラ１６と、ＧＰＳ衛星からの軌道信号を受信して制御システム１４へ出力するアンテナ１８と、を備える。

各種センサとしては、例えば、ステアリングホイール２０の操舵角を検出するステアリングセンサ２２と、車両１０の車速を検出する車速センサ２４と、自車両の周囲の照度を検出する照度センサ２６とが設けられており、これらのセンサ２２、２４、２６が前述の制御システム１４に接続されている。

前方監視カメラ１６を、前照灯ユニット（ヘッドライト）の配光制御として用いるためには、夜間において車両前方の物体の識別が可能なことが要求される。しかしながら、車両前方に存在する物体は様々であり、対向車や先行車のようにグレアを考慮した配光制御が必要な物体や、道路照明やデリニエータ（視線誘導標識）のようにグレアを考慮せずに自車両にとって最適な配光制御を行えばよい物体もある。

このような前照灯ユニットの配光制御を実現するためには、自車両の前方を走行する前走車（対向車や先行車）や道路照明のような発光体や、デリニエータのような光反射体を検知するカメラを用いることが好ましい。加えて、物体として検知した発光体や光反射体の属性や道路形状といった車両前方の状況を判別する機能があることがより好ましい。ここで、属性とは、例えば、前方の発光体や光反射体が前走車であるか道路附属施設等であるかを区別するものである。より詳細には、発光体等が車両であれば先行車であるか対向車であるか、発光体等が道路附属施設等であれば道路照明であるか、デリニエータであるか、その他の発光施設（例えば、店舗照明、広告等）であるか、交通信号であるかを区別するものである。道路形状については、直進か、右カーブか、左カーブか、上り坂か、下り坂かを判別するものである。また、カーブの曲率や坂道の勾配も何段階かの範囲で判別可能である。

本実施の形態に適用できる前照灯ユニットとしては、照射する光の配光を前方に存在する物体の属性に応じて変化させることができる構成であれば特に限定されない。例えば、ハロゲンランプやガスディスチャージヘッドランプ、半導体発光素子（ＬＥＤ、ＬＤ、ＥＬ）を用いたヘッドランプを採用することができる。本実施の形態では、前走車にグレアを与えないように、配光パターンの一部の領域を非照射にできる構成の前照灯ユニットを例として説明する。なお、配光パターンの一部の領域を非照射にできる構成とは、シェードを駆動して光源の光を一部遮光する構成や、複数の発光部の一部を非点灯とする構成が含まれる。

前照灯ユニット１２は、左右一対の前照灯ユニット１２Ｒ、１２Ｌを有する。前照灯ユニット１２Ｒ、１２Ｌは、内部構造が左右対称であるほかは互いに同じ構成であり、右側のランプハウジング内にロービーム用灯具ユニット２８Ｒおよびハイビーム用灯具ユニット３０Ｒが、左側のランプハウジング内にロービーム用灯具ユニット２８Ｌおよびハイビーム用灯具ユニット３０Ｌがそれぞれ配置されている。

制御システム１４は、入力された各種センサの各出力に基づいて車両の前部の左右にそれぞれ装備された前照灯ユニット１２Ｒ、１２Ｌ、すなわち配光パターンの一部の領域を非照射とすることでその配光特性を変化することが可能な前照灯ユニット１２を制御する。

次に、本実施の形態に係る車両用灯具について説明する。図２は、本実施の形態に係る車両用灯具１１０の概略構成を示すブロック図である。車両用灯具１１０は、前照灯ユニット１２Ｒ、１２Ｌと、前照灯ユニット１２Ｒ、１２Ｌによる光の照射を制御する制御システム１４とを備える。そして、車両用灯具１１０は、制御システム１４において車両前方に存在する物体の属性や道路形状といった車両前方の状況を判別し、その状況に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット１２Ｒ、１２Ｌによる光の照射を制御する。

そこで、本実施の形態に係る制御システム１４には、ドライバの視対象を含む車両前方の撮像画像を取得するための前方監視カメラ１６が接続されている。また、車両の走行状態を判断する際に参照される、操舵情報や車速を検出するためのステアリングセンサ２２や車速センサ２４、照度センサ２６が接続されている。

（制御システム）
制御システム１４は、画像処理ＥＣＵ３２と、配光制御ＥＣＵ３４と、ＧＰＳナビゲーションＥＣＵ３６とを備える。各種ＥＣＵおよび各種車載センサは、車内ＬＡＮバスにより接続されデータの送受信が可能になっている。画像処理ＥＣＵ３２は、前方監視カメラ１６により取得された撮像画像のデータや各種車載センサに基づいて前方に存在する物体の属性を判別する。配光制御ＥＣＵ３４は、画像処理ＥＣＵ３２および各種車載センサの情報に基づいて、車両が置かれている走行環境に適した配光制御条件を決定し、その制御信号を前照灯ユニット１２Ｒ，１２Ｌに出力する。

前照灯ユニット１２Ｒ，１２Ｌは、配光制御ＥＣＵ３４から出力された制御信号が光学部品の駆動装置や光源の点灯制御回路に入力されることで、配光が制御される。前方監視カメラ１６は、ＣＣＤやＣＭＯＳなどの画像センサを備えた単眼カメラであり、その画像データから運転に必要な道路線形情報、道路附属施設、対向車・先行車の存在状況や位置の情報などを取得する。

（車両前方の状況判別処理）
夜間の画像の中から、車両の光点（ヘッドランプやテールランプライト）やそれ以外の光点（街路灯、反射板、広告表示、店舗証明など）を瞬時に判別するのは難しい。判別を行うために必要な画像処理を行うＩＣには、高速な演算や専用の画像処理エンジンが必要となり、コストの上昇を招く。

また、画像上の光点の動きから車両の光点か街路灯かを区別する方法として、画像の中心から下方向に移動する物体を車両、上方向に移動する物体を街路灯と判定する方法もある。しかしながら、画像の中心を基準として、光点の動きで光点の種類を判定する処理では、ピッチングやカーブで自車両の動きが変化すると正しく識別できない。例えば、自車両の前方がカーブしている場合（自車両は直進）や坂道では、光点の動きが直進時と異なるため判別できない。そこで、画面中心ではなく消失点を基準にすることで、カーブや坂道を走行する状況においても、光点の判定が可能となるが、画像処理で消失点を抽出するには、複雑な画像処理が必要となり、計算時間がかかる。そのため、夜間の画像で消失点を得ることは難しい。

そこで、本願発明者は、画面中心や消失点の代わりとなる遠方基準点を用いることで、簡易な画像処理で光点の種別や道路形状といった車両前方の状況を判別する技術を考案した。

はじめに、本実施の形態に係る画像処理ＥＣＵにおける車両前方の状況判別処理の概略について説明する。本実施の形態に係る車両前方の状況判別処理は、車両前方を撮像した撮像画像に含まれる光点のうち、遠方に存在する物体に相当する複数の光点（以下、適宜「遠方光点」と称する。）から算出された遠方基準点を用いたものである。図３は、本実施の形態に係る光点の車両前方の状況判別処理を含む配光制御方法を示すフローチャートである。

車両前方の状況の判別は、主に図２に示す画像処理ＥＣＵ３２で実行され、配光制御は、主に配光制御ＥＣＵ３４で実行される。本実施の形態に係る画像処理ＥＣＵ３２は、撮影した画像情報に含まれる複数の光点の位置や動き、大きさ、明るさ、軌跡等の特徴情報に基づいて、その光点に対応する物体の属性や道路形状を判別する。

図４は、前方監視カメラから見た夜間直線路において、多数の発光物体が存在する状況を示す模式図である。

本実施の形態に係る画像処理ＥＣＵ３２は、所定のタイミングで処理が開始されると、画像情報から光点を抽出する（図３のＳ１０）。具体的には、前方監視カメラ１６で車両前方を撮影した画像情報が画像情報取得部４６で取得される。そして、画像情報取得部４６で取得した画像情報から各光点を算出部４４にて算出する。例えば、図４に示す状況においては、光点Ｌ１〜Ｌ１９が検出される。その後、算出部４４は、光点Ｌ１〜Ｌ１９の中から、遠方光点を抽出する。

（遠方光点の検出）
本実施の形態に係る画像処理における遠方光点の検出は、坂道でない平らな自車両が走行中の撮像画像において、遠方範囲が撮像画像中の所定範囲であることを利用している。具体的には、遠方光点は、撮像画像の中心または重心に対して上下方向±１０°以内（好ましくは±５°以内）の範囲にある光点である。例えば、図４に示す状況においては、算出部４４は、画像の中心Ｃの上下方向±５°の範囲にある光点Ｌ６〜Ｌ１９の重心を遠方基準点Ｇとして算出する（図３のＳ１２）。

このように、撮像画像の中心または重心に対して上下方向±１０°以内の範囲にある光点は、遠方に存在する蓋然性が高いため、後述する車両前方の状況の判別精度が向上する。また、算出部４４は、各光点がどのような物体に相当するのかわからなくても、遠方基準点Ｇを算出できるため、演算処理が簡素化される。

遠方光点は遠方に存在する物体に相当するため、それぞれが大きく別々の方向に移動することは余りなく、通常であれば急激に位置が移動することはない。そして、遠方基準点Ｇは、複数の遠方光点に基づいて算出されるため、位置の変化が緩やかとなり、基準点として適している。

また、遠方基準点Ｇは、その後の自車両の動きに応じて位置が変化しうるが、自車両の動きによって新たな光点が撮像画像の所定範囲に含まれることで遠方光点として検出されても、あるいは、それまで遠方光点として検出されていた光点が所定範囲から外れても、複数の遠方光点の重心から算出されることで急激な位置の変化は抑えられる。そのため、遠方基準点Ｇを用いることで、後述する車両前方の状況を判別する際の判別精度が向上する。

なお、近傍に存在する物体に相当する複数の光点（以下、適宜「近傍光点」と称する。）は、自車両の動きに応じた位置の変化が大きいため、本実施の形態に係る遠方基準点Ｇの算出には用いない。

また、本実施の形態に係る遠方基準点Ｇには複数の遠方光点の重心を用いているが必ずしもこれに限られない。例えば、複数の遠方光点から算出される、画像中心または消失点と相関のある特徴点であってもよい。

画像処理ＥＣＵ３２は、算出部４４により遠方基準点Ｇが算出されると、判別部４８が遠方基準点Ｇを用いて車両前方の状況を判別する（図３のＳ１４）。例えば、遠方基準点Ｇがほぼ画像の中心にある場合、自車両が走行する道路は前方が直進路であると判別される。

このように本実施の形態に係る画像処理ＥＣＵ３２は、車両前方を撮像した撮像画像から車両前方の状況を比較的簡易な方法で判別できる。また、複数の遠方光点は、それぞれが大きく別々の方向に移動することは余りないため、このような複数の遠方光点を用いて車両前方の状況を判別することで、判別精度が高まる。

次に、自車両の前方を走行する先行車や対向車の判別について説明する。自車両が走行すると、図４に示す対向車５０を示す光点Ｌ１６やＬ１７は、遠方基準点Ｇから斜め下方に移動する。そこで、判別部４８は、遠方基準点Ｇから斜め下方に移動する光点を対向車であると判別する。これにより、車両前方の対向車５０を簡易に判別できる。その際、配光制御ＥＣＵ３４は、光点の輝度や面積、色等の条件を加味して対向車の判別を行ってもよい。

また、自車両が走行すると、図４に示す先行車５２は、遠方基準点Ｇと自車両との間で近づいたり遠ざかったりする。そこで、判別部４８は、遠方基準点Ｇと自車両との間に留まる光点を先行車５２であると判別する。これにより、車両前方の先行車を簡易に判別できる。その際、配光制御ＥＣＵ３４は、光点の輝度や面積、色等の条件を加味して先行車の判別を行ってもよい。

次に、遠方基準点の動きを用いて道路形状を推定する方法について説明する。図５は、前方監視カメラから見た夜間左カーブにおいて、多数の発光物体が存在する状況を示す模式図である。

前述の直線路の場合と同様に、図５に示す状況においては、算出部４４は、画像の中心Ｃの上下方向±５°の範囲にある光点Ｌ２〜Ｌ１０の重心を遠方基準点Ｇとして算出する。画像処理ＥＣＵ３２は、遠方基準点Ｇが画像の左領域に存在することから、車両前方の道路形状が左カーブであると推定する。同様に、画像処理ＥＣＵ３２は、遠方基準点Ｇが画像の右領域に存在した場合、車両前方の道路形状が右カーブであると推定する。

また、画像処理ＥＣＵ３２は、算出部４４が各撮像画像から算出した遠方基準点Ｇが、自車両の正面に向かって図５に示す矢印方向に動いてくるとき、車両前方の道路形状が左カーブであると推定してもよい。このように、画像処理ＥＣＵ３２は、車両前方の道路形状を簡易に判別できる。

なお、画像処理ＥＣＵ３２は、カーブの推定と同様に坂道の推定も可能である。例えば、算出部４４が各撮像画像から算出した遠方基準点Ｇが、自車両の正面に向かって下方に動いてくるとき、車両前方の道路形状が上り坂であると推定できる。同様に、算出部４４が各撮像画像から算出した遠方基準点Ｇが、自車両の正面に向かって上方に動いてくるとき、車両前方の道路形状が下り坂であると推定できる。

（近傍光点の利用）
遠方光点だけでなく近傍光点を併用することで車両前方の状況の判別精度を向上することができる。例えば、図５に示す光点Ｌ１、Ｌ１１〜Ｌ１３は、撮像画像の中心に対して上下方向±１０°（または±５°）よりも大きい範囲にある光点であり、近傍に存在する蓋然性が高い。そのため、自車両が道路に沿って正常に走行している場合、光点Ｌ１、Ｌ１１〜Ｌ１３のそれぞれは、道路形状がカーブや坂道であっても、画像の中心から見て放射状に遠ざかる（画像端に向かう）矢印Ｄ１の方向に動くことがほとんどである。したがって、複数の近傍光点の重心は、各光点の動きほど移動しない。一方、ハンドルの操作により自車両が道路から左折するような場合、光点Ｌ１、Ｌ１１〜Ｌ１３のそれぞれは（および遠方光点Ｌ２〜Ｌ１０のそれぞれは）、一様に画像の右側に向かう矢印Ｄ２の方向に動く。つまり、複数の近傍光点の重心も矢印Ｄ２で示す方向に動く。

したがって、画像処理ＥＣＵ３２は、近傍光点が矢印Ｄ１に示すような動きの場合は、自車両が道路に沿って正常に走行していると判断し、このような場合に遠方基準点Ｇに基づいて判断した道路形状の推定を確定することで、車両前方の状況の判別精度を向上できる。具体的には、上記の処理においては、算出部４４は、近傍光点から算出した近傍基準点（複数の近傍光点の重心）を算出し、判別部４８は、近傍基準点の動きが少ない（あるいは近傍基準点の動きが通常と変わらない）場合に、遠方基準点Ｇの動きにより道路形状を推定する。

（配光制御）
本実施の形態に係る車両用灯具１１０は、画像処理ＥＣＵ３２と、画像処理ＥＣＵ３２で判別された光点の属性に応じて前照灯ユニット１２の配光を制御する配光制御ＥＣＵ３４と、備えている。これにより、車両前方の対向車や先行車に対して適切な配光を実現できる。

具体的には、画像処理ＥＣＵ３２は、撮影した画像情報に含まれる複数の光点の位置や動き、大きさ、明るさ、軌跡等の特徴情報に基づいて、その光点に対応する物体の属性を判別する。配光制御ＥＣＵ３４は、対向車や先行車のようにグレアを考慮した配光制御が必要な物体であると画像処理ＥＣＵ３２が判別した光点を前照灯ユニット１２の配光制御の対象とし、グレアを考慮した配光制御が不要な、前走車以外の物体（道路照明、デリニエータ、店舗照明、広告といった道路附属発光体）であると画像処理ＥＣＵ３２が判別した光点を前照灯ユニット１２の配光制御の対象から除外する（図３のＳ１６）。

つまり、配光制御ＥＣＵ３４は、グレアの影響を考慮する必要がある車両ではないと判別された光点を含む範囲を照射するように、前照灯ユニット１２を制御することで、車両前方の視認性がより向上する配光制御が可能となる。このように、本実施の形態に係る車両用灯具１１０は、ドライバに特段の操作負担をかけることなく車両前方の物体の属性に応じた適切な配光制御が可能となる。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。

本発明は、自動車などに用いられる。

１０ 車両、 １２ 前照灯ユニット、 １４ 制御システム、 １６ 前方監視カメラ、 ３２ 画像処理ＥＣＵ、 ３４ 配光制御ＥＣＵ、 ４４ 算出部、 ４６ 画像情報取得部、 ４８ 判別部、 ５０ 対向車、 ５２ 先行車、 １１０ 車両用灯具。

Claims (9)

1. 車両前方を撮像した撮像画像に含まれる光点のうち、遠方に存在する物体に相当する複数の光点から遠方基準点を算出する算出部と、
   前記遠方基準点を用いて車両前方の状況を判別する判別部と、
   を有する画像処理装置。
2. 前記算出部は、前記撮像画像における前記複数の光点の重心を遠方基準点として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出部は、前記撮像画像の中心または重心に対して上下方向±１０°以内の範囲にある光点を用いて遠方基準点を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判別部は、前記遠方基準点から斜め下方に移動する光点を対向車であると判別することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記判別部は、前記遠方基準点と自車両との間に留まる光点を先行車であると判別することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記判別部は、前記遠方基準点の動きにより道路形状を推定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記算出部は、近傍に存在する物体に相当する光点から算出した近傍基準点を算出し、
   前記判別部は、前記遠方基準点および前記近傍基準点の動きにより道路形状を推定することを特徴とする請求項６に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   車両前方を照射する前照灯ユニットと、
   前記画像処理装置で判別された光点の属性に応じて前記前照灯ユニットの配光を制御する配光制御部と、
   備えることを特徴とする車両用灯具。
9. 車両前方を撮像した撮像画像に含まれる光点のうち、遠方に存在する物体に相当する複数の光点から算出した遠方基準点を用いて車両前方の状況を判別する画像処理方法。

Images