JPWO2019156087A1

JPWO2019156087A1 - 画像処理装置および車両用灯具

Info

Publication number: JPWO2019156087A1
Application number: JP2019570758A
Authority: JP
Inventors: 光治眞野
Original assignee: Koito Manufacturing Co Ltd
Current assignee: Koito Manufacturing Co Ltd
Priority date: 2018-02-07
Filing date: 2019-02-05
Publication date: 2021-04-01
Also published as: US20200361375A1; WO2019156087A1; CN111712854B; CN111712854A

Abstract

画像処理装置は、車両前方を撮影した画像情報に含まれる第１の光点の属性が道路に付属する設備か否かを、画像情報から算出された第１の光点の第１特徴情報から判別する判別部４８と、第１の光点の属性が道路に付属する設備と判別された場合に第１特徴情報を記憶する記憶部４９と、を備える。判別部４８は、記憶されている第１特徴情報を用いて、画像情報に含まれる第２の光点の属性が道路に付属する設備か否かを判別する。

Description

本発明は、自動車などに用いられる画像処理装置に関する。

近年、車両に搭載されたカメラやセンサにより取得された周囲の情報に基づいて周囲の環境や物体を判別し、その環境や物体に応じた車両制御を行うことが種々試みられている。車両制御としては、制動制御、駆動制御、操作制御、配光制御等が種々の制御が挙げられる。

例えば、取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出し、そのオプティカルフローに基づいて物体の属性を判別する画像処理手段を備えた車両用前照灯装置が考案されている（特許文献１参照）。そして、この車両用前照灯装置は、判別した物体の属性に応じて先行車や対向車にグレアを与えないような配光制御を実現する。

特開２０１３−１６３５１８号公報

しかしながら、夜間の撮像画像の中から車両に該当する光点（先行車のテールランプや対向車のヘッドランプ）と、それ以外の光点（街灯や反射体等）を区別することは簡単ではない。特に、遠方にある光点は形状が小さく、明るさも暗いため、正確に区別することは容易ではない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、車両前方に存在する光点の属性を精度良く判別する新たな技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、車両前方を撮影した画像情報に含まれる第１の光点の属性が道路に付属する設備か否かを、画像情報から算出された第１の光点の第１特徴情報から判別する判別部と、第１の光点の属性が道路に付属する設備と判別された場合に第１特徴情報を記憶する記憶部と、を備える。判別部は、記憶されている第１特徴情報を用いて、画像情報に含まれる第２の光点の属性が道路に付属する設備か否かを判別する。

この態様によると、記憶されている第１特徴情報に基づいて第２の光点の属性が道路に付属する設備か否かを判別するため、画像情報から算出された第２の光点のみで道路に付属する設備か否かを判別する場合と比較して、第２の光点の属性を精度良く判別できる。

判別部は、画像情報から算出された第２の光点の第２特徴情報と記憶されている第１特徴情報とを比較して、第２の光点の属性を判別してもよい。これにより、第２特徴情報のみで第２の光点の属性を判別する場合と比較して、第２の光点の属性の判別の精度が向上する。

判別部は、第２特徴情報が第１特徴情報と共通な情報を有している場合に、第２の光点の属性が道路に付属する設備であると判別してもよい。これにより、第２の光点の属性が道路に付属する設備であると判別する際の精度が向上する。

判別部は、第２の光点の属性が道路に付属する設備でないと判別された場合に、第２特徴情報に基づいて第２の光点の属性が車両前方を走行する前走車か否かを判別してもよい。これにより、第２の光点の属性が道路に付属する設備でないと既に判別されているため、第２の光点の属性が前走車か否かを比較的簡易に判別できる。

判別部は、画像情報のうち消失点を含む遠方範囲を除いた近傍範囲から算出された第１特徴情報を用いて第１の光点の属性を判別してもよい。デリニエータのような反射体の光点は遠方では識別しづらい。そのため、遠方範囲を含めて特徴情報を算出すると、判別精度が低下する可能性がある。そこで、この態様によると、遠方範囲を除いて算出された第１特徴情報を用いることで、第１の光点の属性の判別精度を向上できる。

本発明の他の態様は車両用灯具である。この車両用灯具は、画像処理装置と、車両前方を照射する前照灯ユニットと、画像処理装置で判別された光点の属性に応じて前照灯ユニットの配光を制御する配光制御部と、備えている。これにより、ドライバに特段の操作負担をかけることなく車両前方の物体の属性に応じた適切な配光制御が可能となる。

配光制御部は、画像処理装置で属性が車両前方を走行する前走車と判別されなかった光点を前照灯ユニットの配光制御の対象から除く。前走車と判別されなかった光点は、例えば、道路に付属する設備等である。そのため、このような設備等に対してはグレアの影響を考慮する必要がない。したがって、車両前方の視認性がより向上する配光制御が可能となる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、車両前方に存在する光点の属性を精度良く判別できる。

本実施の形態に係る車両用灯具を適用した車両の外観を示す概略図である。本実施の形態に係る車両用灯具の概略構成を示すブロック図である。本実施の形態に係る光点の属性判別処理を含む配光制御方法を示すフローチャートである。図４（ａ）は、前方監視カメラから見た夜間直線路において発光物体として道路照明のみ存在する状況を示す模式図、図４（ｂ）は、前方監視カメラから見た夜間直線路において発光物体として道路照明および前走車が存在する状況を示す模式図である。図５（ａ）は、前方監視カメラから見た夜間直線路において反射体としてデリニエータのみ存在する状況を示す模式図、図５（ｂ）は、前方監視カメラから見た夜間直線路においてデリニエータおよび前走車が存在する状況を示す模式図である。図６（ａ）は、車両の挙動が安定している場合の各光点の軌跡を示す図、図６（ｂ）は、車両がピッチングしている場合の各光点の動きを示す図である。遠方光点を利用した自車両の動きを判定する処理を示すフローチャートである。図８（ａ）は、車両がピッチングしていない状態における前方監視カメラの撮影範囲を模式的に示す図、図８（ｂ）は、図８（ａ）に示す撮影範囲における車線（白線）を示す図、図８（ｃ）は、車両がピッチングしている状態における前方監視カメラの撮影範囲を模式的に示す図、図８（ｄ）は、図８（ｃ）に示す撮影範囲における車線（白線）を示す図である。近傍白線を利用した自車両の動きを判定する処理を示すフローチャートである。

以下、本発明を実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述される全ての特徴やその組合せは、必ずしも発明の本質的なものであるとは限らない。

（車両用灯具）
図１は、本実施の形態に係る車両用灯具を適用した車両の外観を示す概略図である。図１に示すように、本実施の形態に係る車両１０は、前照灯ユニット１２と、前照灯ユニット１２による光の照射を制御する制御システム１４と、車両１０の走行状況を示す情報を検出してその検出信号を制御システム１４へ出力する各種センサと、車両前方を監視する前方監視カメラ１６と、ＧＰＳ衛星からの軌道信号を受信して制御システム１４へ出力するアンテナ１８と、を備える。

各種センサとしては、例えば、ステアリングホイール２０の操舵角を検出するステアリングセンサ２２と、車両１０の車速を検出する車速センサ２４と、自車両の周囲の照度を検出する照度センサ２６とが設けられており、これらのセンサ２２、２４、２６が前述の制御システム１４に接続されている。

前方監視カメラ１６を、前照灯ユニット（ヘッドライト）の配光制御として用いるためには、夜間において車両前方の物体の識別が可能なことが要求される。しかしながら、車両前方に存在する物体は様々であり、対向車や先行車のようにグレアを考慮した配光制御が必要な物体や、道路照明やデリニエータ（視線誘導標識）のようにグレアを考慮せずに自車両にとって最適な配光制御を行えばよい物体もある。

このような前照灯ユニットの配光制御を実現するためには、自車両の前方を走行する前走車（対向車や先行車）や道路照明のような発光体や、デリニエータのような光反射体を検知するカメラを用いることが好ましい。加えて、物体として検知した発光体や光反射体の属性を特定する機能があることがより好ましい。ここで、属性とは、例えば、前方の発光体や光反射体が前走車であるか道路付属施設等であるかを区別するものである。より詳細には、発光体等が車両であれば先行車であるか対向車であるか、発光体等が道路付属施設等であれば道路照明であるか、デリニエータであるか、その他の発光施設（例えば、店舗照明、広告等）であるか、交通信号であるかを区別するものである。

本実施の形態に適用できる前照灯ユニットとしては、照射する光の配光を前方に存在する物体の属性に応じて変化させることができる構成であれば特に限定されない。例えば、ハロゲンランプやガスディスチャージヘッドランプ、半導体発光素子（ＬＥＤ、ＬＤ、ＥＬ）を用いたヘッドランプを採用することができる。本実施の形態では、前走車にグレアを与えないように、配光パターンの一部の領域を非照射にできる構成の前照灯ユニットを例として説明する。なお、配光パターンの一部の領域を非照射にできる構成とは、シェードを駆動して光源の光を一部遮光する構成や、複数の発光部の一部を非点灯とする構成が含まれる。

前照灯ユニット１２は、左右一対の前照灯ユニット１２Ｒ、１２Ｌを有する。前照灯ユニット１２Ｒ、１２Ｌは、内部構造が左右対称であるほかは互いに同じ構成であり、右側のランプハウジング内にロービーム用灯具ユニット２８Ｒおよびハイビーム用灯具ユニット３０Ｒが、左側のランプハウジング内にロービーム用灯具ユニット２８Ｌおよびハイビーム用灯具ユニット３０Ｌがそれぞれ配置されている。

制御システム１４は、入力された各種センサの各出力に基づいて車両の前部の左右にそれぞれ装備された前照灯ユニット１２Ｒ、１２Ｌ、すなわち配光パターンの一部の領域を非照射とすることでその配光特性を変化することが可能な前照灯ユニット１２を制御する。

次に、本実施の形態に係る車両用灯具について説明する。図２は、本実施の形態に係る車両用灯具１１０の概略構成を示すブロック図である。車両用灯具１１０は、前照灯ユニット１２Ｒ、１２Ｌと、前照灯ユニット１２Ｒ、１２Ｌによる光の照射を制御する制御システム１４とを備える。そして、車両用灯具１１０は、制御システム１４において車両前方に存在する物体の属性を判別し、その物体の属性に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット１２Ｒ、１２Ｌによる光の照射を制御する。

そこで、本実施の形態に係る制御システム１４には、ドライバの視対象を含む車両前方の撮像画像を取得するための前方監視カメラ１６が接続されている。また、車両の走行状態を判断する際に参照される、操舵情報や車速を検出するためのステアリングセンサ２２や車速センサ２４、照度センサ２６が接続されている。

（制御システム）
制御システム１４は、画像処理ＥＣＵ３２と、配光制御ＥＣＵ３４と、ＧＰＳナビゲーションＥＣＵ３６とを備える。各種ＥＣＵおよび各種車載センサは、車内ＬＡＮバスにより接続されデータの送受信が可能になっている。画像処理ＥＣＵ３２は、前方監視カメラ１６により取得された撮像画像のデータや各種車載センサに基づいて前方に存在する物体の属性を判別する。配光制御ＥＣＵ３４は、画像処理ＥＣＵ３２および各種車載センサの情報に基づいて、車両が置かれている走行環境に適した配光制御条件を決定し、その制御信号を前照灯ユニット１２Ｒ，１２Ｌに出力する。

前照灯ユニット１２Ｒ，１２Ｌは、配光制御ＥＣＵ３４から出力された制御信号が光学部品の駆動装置や光源の点灯制御回路に入力されることで、配光が制御される。前方監視カメラ１６は、ＣＣＤやＣＭＯＳなどの画像センサを備えた単眼ズームカメラであり、その画像データから運転に必要な道路線形情報、道路付属施設、対向車・先行車の存在状況や位置の情報などを取得する。

（属性判別処理）
次に、本実施の形態に係る画像処理ＥＣＵにおける光点の属性判別処理について説明する。本実施の形態に係る属性判別処理は、ある光点の物体属性判別に利用した特徴情報の活用による他の光点の物体属性判別である。図３は、本実施の形態に係る光点の属性判別処理を含む配光制御方法を示すフローチャートである。物体属性の判別は、主に図６に示す画像処理ＥＣＵ３２で実行され、配光制御は、主に配光制御ＥＣＵ３４で実行される。本実施の形態に係る画像処理ＥＣＵ３２は、撮影した画像情報に含まれる光点の動きや大きさ、明るさ、位置、軌跡等の特徴情報に基づいて、その光点に対応する物体の属性を判別する。

図４（ａ）は、前方監視カメラから見た夜間直線路において発光物体として道路照明のみ存在する状況を示す模式図、図４（ｂ）は、前方監視カメラから見た夜間直線路において発光物体として道路照明および前走車が存在する状況を示す模式図である。

本実施の形態に係る画像処理ＥＣＵ３２は、所定のタイミングで処理が開始されると、画像情報から第１の光点の第１特徴情報を算出する第１特徴情報算出工程が実行される（Ｓ１０）。

具体的には、第１特徴情報算出工程では、前方監視カメラ１６で車両前方を撮影した画像情報が画像情報取得部４６で取得される。そして、画像情報取得部４６で取得した画像情報から第１の光点の第１特徴情報を算出部４４にて算出する。なお、以下では、一つの光点に着目して説明しているが、複数の光点をパラレルまたはシリアルに処理してもよいことはいうまでもない。

第１特徴情報の算出方法は、公知の技術を適用できる。以下に、遠方物体の判別方法の一例を示す。前方監視カメラ１６が備える画像センサから見た夜間直線路における発光物体の位置は、消失点に対してある程度決まった範囲にある。

（消失点）
消失点とは、絵画の遠近法における収束点として定義することができる。消失点は、レーンマーク、路側帯、中央分離帯、規則的な配置で設置された道路付属施設（道路照明、デリニエータ）等の無限遠点となる。なお、道路形状（例えばカーブ）や前走車の存在などで無限遠点が求められない場合、それらの物体の近景における配置を無限遠まで延長し、それらの交点を画面上で推測することにより仮の消失点とすることも可能である。

具体的には、遠近透視図において、道路付属設備である道路照明は消失点を含むＨ線（Horizontal Line）より上方に位置し（図４（ａ）参照）、同じく道路付属設備であるデリニエータはＨ線のやや下に位置する（後述する図５（ａ）参照）。道路照明は、走行中には図中の消失点Ｘから斜め上方に延びる軌跡に沿って画面内を移動する。また、デリニエータは、走行中には図中の消失点Ｘから斜め下方に延びる軌跡に沿って画面内を移動する。所定時間経過後の画像を比較すると、この線上に沿ってオプティカルフロー｛ＯＦ（Optical Flow）；視覚表現（通常、時間的に連続するデジタル画像）の中で物体の動きをベクトルで表したもの｝が発生する。そこで、このＯＦを光点の軌跡として利用できる。

図４（ａ）に示す道路照明５０ａ〜５０ｄは、同じ高さの街灯が等間隔に設けられたものである。したがって、所定時間経過後の画像では、位置Ｐ１にあった道路照明５０ａの光点は、道路照明５０ｂがあった位置Ｐ２に移動し、位置Ｐ２にある道路照明５０ｂの光点は、道路照明５０ｃがあった位置Ｐ３に移動し、位置Ｐ３にある道路照明５０ｃの光点は、道路照明５０ｄがあった位置Ｐ４に移動する。

つまり、画像情報取得部４６が取得したｎフレーム目の画像において消失点Ｘ近傍の位置Ｐ１にあった道路照明５０ａの第１の光点は、ｎ＋ｍフレーム目の画像において、ｎフレーム目の画像で道路照明５０ｄがあった位置Ｐ４に移動する。算出部４４は、複数の画像における第１の光点の履歴情報から、軌跡Ｌ１を特徴情報として算出する。判別部４８は、軌跡Ｌ１が消失点Ｘから斜め上方へ延びる直線であることから、第１の光点の属性を道路照明（道路付属設備）と判別する（Ｓ１２のＹｅｓ）。その場合、記憶部４９は、第１の光点の属性の判別に利用した第１特徴情報である軌跡Ｌ１を履歴情報として記憶しておく（Ｓ１４）。

次に、第２の光点の属性を判別する（Ｓ１８）。第２の光点は、第１の光点と同様に、画像情報取得部４６で取得した画像情報から検出する。前述のように、第１の光点として検出された道路照明５０ａが位置Ｐ４に移動している場合、道路照明５０ａより遠方には新たに道路照明５０ｅ〜５０ｇ（図４（ａ）参照）が近づいてきている。新たな道路照明５０ｅ〜５０ｇの個々を第１の光点として属性を判別してもよいが、その場合は処理時間も演算量も増大してしまう。

そこで、算出部４４は、道路照明５０ｅ〜５０ｇに対応する各光点の個々の位置Ｐ１〜Ｐ３を第２の光点の第２特徴情報として算出する。そして、判別部４８は、第２特徴情報と記憶部４９に記憶されている第１特徴情報とを比較し、履歴情報としての軌跡Ｌ１の範囲内に第２の光点が位置しているため、第２の光点の属性を道路照明であると判別する（Ｓ２０のＹｅｓ）。なお、道路付属設備は、必ずしも同じものが等間隔で配置されているとは限らず、複数の光点列が完全に一直線とならない場合もあるため、軌跡にはある程度幅を持たせてもよい。

このように、本実施の形態に係る画像処理ＥＣＵ３２は、記憶されている第１特徴情報に基づいて第２の光点の属性が道路付属設備か否かを判別するため、画像情報から算出された第２の光点のみで道路に付属する設備か否かを判別する場合と比較して、第２の光点の属性を簡易に判別できる。また、第２特徴情報のみで第２の光点の属性を判別する場合と比較して、第２の光点の属性の判別の精度が向上する。また、算出部４４は、属性が道路付属設備であると判別された第２の光点のその後の履歴を利用して軌跡を算出し、第２の光点より後に画像に現れた光点の属性の判別に利用してもよい。

配光制御ＥＣＵ３４は、道路照明であると判別された第１の光点や第２の光点を前照灯ユニット１２の配光制御の対象から除外する（Ｓ２２）。前走車と判別されなかった光点は、例えば、道路に付属する設備等である。そのため、このような設備等に対してはグレアの影響を考慮する必要がない。つまり、配光制御ＥＣＵ３４は、グレアの影響を考慮する必要がある車両ではないと判別された第１の光点や第２の光点を含む範囲を照射するように、前照灯ユニット１２を制御することで、車両前方の視認性がより向上する配光制御が可能となる。

このように、本実施の形態に係る車両用灯具１１０は、ドライバに特段の操作負担をかけることなく車両前方の物体の属性に応じた適切な配光制御が可能となる。

次に、前述の第１の光点や第２の光点が道路付属設備でない場合について説明する。図４（ｂ）に示すように、車両前方に道路照明５０ａ〜５０ｄ以外に、先行車５２や対向車５４が存在する場合がある。そのため、判別部４８が、公知の技術を用いて第１の光点の属性が道路付属設備でないと判別した場合（Ｓ１２のＮｏ）、あるいは、第２の光点の属性が道路付属設備でないと判別した場合（Ｓ２０のＮｏ）、車両判別処理（Ｓ１４）を行う。

（オプティカルフローを用いた物体の属性判別）
先行車５２や対向車５４の判別は、例えば、オプティカルフローを用いることで可能である。画像センサ（カメラ）と路上物体の相対位置関係が変化する場合、連続した撮像画像において物体の像は流れる。このような現象をオプティカルフロー（以下、適宜「ＯＦ」と称する）という。ＯＦは、自車両と物体との相対距離が近いほど、また、相対速度差が大きいほど、大きくなる。例えば、自車両が停車中の場合、移動物体に応じたＯＦが発生する。また、自車両が走行中の場合、道路照明やデリニエータ等の路上固定物に応じたＯＦが発生するとともに、自車両と速度の異なる前走車に応じたＯＦが発生する。そこで、ＯＦの大きさ（オプティカルフロー量）に基づいて自車両前方の物体の属性が道路に対する移動物体か固定物かを判別することができる。

オプティカルフロー量（ベクトル量）は画像センサより近距離の物体の方が大きくなる。また相対速度差が大きいものほど大きくなる。すなわち、走行中の車両は、対向車５４のＯＦ量＞固定物のＯＦ量＞先行車５２のＯＦ量となる。このＯＦ量と路上での物体位置から物体の属性（先行車、対向車、道路照明、デリニエータ、ほか）が判定できる。また、テールランプ５２ａやヘッドランプ５４ａはペアランプであり、ペアランプのＯＦ量は同一であるため、この点を加味することで更に物体の属性の判別精度を向上することができる。また、テールランプ５２ａやヘッドランプ５４ａの色を加味して物体の属性の判別精度を向上することもできる。

そこで、判別部４８は、画像情報から算出したＯＦ量の大きさ、光点の色、光点の位置、光点の動き等を加味して車両判別を行う。そして、配光制御ＥＣＵ３４は、車両であると判別された光点の周囲を照射しないように配光制御を行う（Ｓ２４）。

なお、前述のステップＳ１８における処理において、判別部４８は、記憶部４９に記憶されている履歴情報としての軌跡Ｌ１の範囲内に第２の光点が位置している場合、第２の光点の属性を道路照明であると判別している。しかしながら、図４（ｂ）に示すように、道路照明５０ａ〜５０ｄの各光点の軌跡Ｌ１の延長線上に先行車５２のテールランプ５２ａが位置する場合、前述のステップＳ１８における処理では、テールランプ５２ａに対応する光点の属性を道路付属設備であると誤判定するおそれがある。

そこで、前述のステップＳ１８における処理において、第２の光点が赤色か否か（先行車の光点がテールランプか否か）や、第２の光点の輝度や大きさ等を併せて考慮し、第２の光点の属性が道路照明であるか否かを判別する。これにより、ステップＳ１８における処理において、前走車に対応する光点の属性を道路付属設備であると誤判定する可能性を低減できる。

また、判別部４８は、第２特徴情報が第１特徴情報と共通な情報を有している場合に、第２の光点の属性が道路に付属する設備であると判別してもよい。例えば、前述の図４（ｂ）に示す先行車５２の場合、ある時間においては軌跡Ｌ１の延長線上に存在しても、他の時間においては軌跡Ｌ１の延長線から外れた位置に移動している可能性が高い。そこで、算出部４４は、複数の画像における第２の光点の履歴情報から、軌跡Ｌ２を第２特徴情報として算出し、判別部４８は、第１特徴情報である軌跡Ｌ１と第２特徴情報である軌跡Ｌ２とを比較し、第２の光点の属性を判別する。

一方、前述の図４（ａ）に示す道路照明５０ｅの場合、消失点近傍の位置Ｐ１から画像からフレームアウトする直前の位置Ｐ４までのいずれの時間においても軌跡Ｌ１上に光点が存在することになる。そのため、算出部４４は、道路照明５０ｅの光点が位置Ｐ１から位置Ｐ２まで移動するまでの履歴情報から、軌跡Ｌ１’を第２特徴情報として算出する。判別部４８は、第１特徴情報である軌跡Ｌ１と第２特徴情報である軌跡Ｌ１’とを比較し、共通な情報として重複する軌跡Ｌ１’を有している第２の光点の属性を道路付属設備と判別する。これにより、第２の光点が位置Ｐ４に移動する前に第２の光点の属性が道路付属設備であることを精度良く判別できる。

また、判別部４８は、第２の光点の属性が道路付属設備でないと判別された場合（Ｓ２０のＮｏ）に、第２特徴情報に基づいて第２の光点の属性が車両前方を走行する前走車か否かを判別する。これにより、ステップＳ２０において第２の光点の属性が道路に付属する設備でないと既に判別されているため、ステップＳ１４において、第２の光点の属性が前走車か否かを比較的簡易に判別できる。

（デリニエータ）
次に、道路照明設備がデリニエータの場合の光点の属性判別処理について説明する。図５（ａ）は、前方監視カメラから見た夜間直線路において反射体としてデリニエータのみ存在する状況を示す模式図、図５（ｂ）は、前方監視カメラから見た夜間直線路においてデリニエータおよび前走車が存在する状況を示す模式図である。なお、デリニエータの属性判別処理の説明において、前述の道路照明と同様の説明は適宜省略する。

図５（ａ）に示すデリニエータ５６ａ〜５６ｃは、前述のように、走行中には図中の消失点Ｘから斜め下方に延びる軌跡に沿って画面内を移動する。図５（ａ）に示すデリニエータ５６ａ〜５６ｃは、同じ高さの反射体が等間隔に設けられたものである。したがって、所定時間経過後の画像では、位置Ｐ１にあったデリニエータ５６ａの光点は、デリニエータ５６ｂがあった位置Ｐ２に移動し、位置Ｐ２にあるデリニエータ５６ｂの光点は、デリニエータ５６ｃがあった位置Ｐ３に移動する。

つまり、画像情報取得部４６が取得したｎフレーム目の画像において消失点Ｘ近傍の位置Ｐ１にあったデリニエータ５６ａの第１の光点は、ｎ＋ｍフレーム目の画像において、ｎフレーム目の画像でデリニエータ５６ｃがあった位置Ｐ３に移動する。算出部４４は、複数の画像における第１の光点の履歴情報から、軌跡Ｌ３を特徴情報として算出する。判別部４８は、軌跡Ｌ３が消失点Ｘから斜め下方へ延びる直線であることから、第１の光点の属性をデリニエータ（道路付属設備）と判別する（Ｓ１２のＹｅｓ）。その場合、記憶部４９は、第１の光点の属性の判別に利用した第１特徴情報である軌跡Ｌ３を履歴情報として記憶しておく（Ｓ１４）。

次に、第２の光点の属性を判別する（Ｓ１８）。第２の光点は、第１の光点と同様に、画像情報取得部４６で取得した画像情報から検出する。前述のように、第１の光点として検出されたデリニエータ５６ａが位置Ｐ３に移動している場合、デリニエータ５６ａより遠方には新たにデリニエータ５６ｄ，５６ｅ（図５（ａ）参照）が近づいてきている。新たなデリニエータ５６ｄ，５６ｅの個々を第１の光点として属性を判別してもよいが、その場合は処理時間も演算量も増大してしまう。

そこで、算出部４４は、デリニエータ５６ｄ，５６ｅに対応する各光点の個々の位置Ｐ１，Ｐ２を第２の光点の第２特徴情報として算出する。そして、判別部４８は、第２特徴情報と記憶部４９に記憶されている第１特徴情報とを比較し、履歴情報としての軌跡Ｌ３の範囲内に第２の光点が位置しているため、第２の光点の属性をデリニエータであると判別する（Ｓ２０のＹｅｓ）。

なお、デリニエータは、自身が光源である発光体ではなく、ヘッドランプ等の光を反射する反射体である。そのため、消失点を含む遠方範囲Ｒ１（図５（ａ）参照）にあるデリニエータのような反射体の光点は、遠方では道路照明より暗く、光点の面積も小さいことから識別しづらい。そのため、遠方範囲Ｒ１にある光点を用いて特徴情報を算出すると、判別精度が低下する可能性がある。そこで、判別部４８は、遠方範囲Ｒ１を除いて算出部４４で算出された第１特徴情報を用いることで、第１の光点の属性の判別精度を向上できる。なお、判別部４８は、遠方範囲Ｒ１を除いて算出部４４で算出された第２特徴情報を用いて第２の光点の属性の判別を行ってもよい。

次に、前方監視カメラから見た夜間直線路においてデリニエータおよび前走車が存在する状況について説明する。図５（ｂ）に示すように、車両前方にデリニエータ５６ａ〜５６ｃ以外に、先行車５２や対向車５４が存在する場合がある。そのため、判別部４８が、公知の技術を用いて第１の光点の属性が道路付属設備でないと判別した場合（Ｓ１２のＮｏ）、あるいは、第２の光点の属性が道路付属設備でないと判別した場合（Ｓ２０のＮｏ）、車両判別処理（Ｓ１４）を行う。

前述のステップＳ１８における処理において、判別部４８は、記憶部４９に記憶されている履歴情報としての軌跡Ｌ３の範囲内に第２の光点が位置している場合、第２の光点の属性をデリニエータであると判別している。しかしながら、図５（ｂ）に示すように、デリニエータ５６ａ〜５６ｃの各光点の軌跡Ｌ３の延長線の近傍に先行車５２のテールランプ５２ａが位置する場合、前述のステップＳ１８における処理では、テールランプ５２ａに対応する光点の属性をデリニエータであると誤判定するおそれがある。

そこで、前述のステップＳ１８における処理において、第２の光点が赤色か否か（光点がテールランプか否か）、第２の光点の輝度の推移や大きさの推移等を併せて考慮し、第２の光点の属性がデリニエータであるか否かを判別する。これにより、ステップＳ１８における処理において、前走車に対応する光点の属性を道路付属設備であると誤判定する可能性を低減できる。

（カーブした道路における属性判別処理）
図４（ａ）や図５（ａ）に示す直線路では、道路付属設備の光点の軌跡は直線になるが、カーブした道路に付属した設備では、光点の軌跡は直線にならない。しかしながら、光点の軌跡は、その道路のカーブ形状に沿った軌跡であるため、道路形状を推定できれば、直線路と同様の画像処理が可能である。道路形状は、ＧＰＳナビゲーションＥＣＵ３６やステアリングセンサ２２、車速センサ２４からの情報に基づいて算出部４４により算出され、判別部４８は、算出した道路形状と画像情報取得部４６が取得した画像情報とを用いて、画像情報から検出した光点の属性判別を行うこともできる。

（車両の姿勢を考慮した画像処理）
前方監視カメラ１６で撮影した画像情報は、車両の姿勢によって撮影される範囲が変化する。例えば、車両のピッチングやローリング、修正舵による挙動で、画像情報における光点が上下左右に揺れることがある。そのため、軌跡の範囲（属性判別の許容範囲）が過剰に増えたり、光点の軌跡としては想定外の曲線となったりする場合がある。そこで、光点の属性判別の精度を向上するためには、属性判別の際に利用する特徴情報の算出に自車両の挙動がなるべく影響を与えないようにする必要がある。

そこで、自車両の動きを精度良く検知する簡易な画像処理として以下の方法が考えられる。これらの方法は、自車両の挙動を画面で判断しやすく、かつ計算量が少ない（高性能ＩＣを使用する必要がない）方式である。
ａ）複数の遠方光点の共通の動きを検知し、共通の動きがあれば自車両の動きとする。
ｂ）白線の動きを検知し、動き方で自車両の動きを検知する。

図６（ａ）は、車両の挙動が安定している場合の各光点の軌跡を示す図、図６（ｂ）は、車両がピッチングしている場合の各光点の動きを示す図である。

図６（ａ）に示すように、車両の挙動が安定している場合、各光点の動きは消失点から画像の外側に向かって直線的な軌跡を描くことが多い。また、消失点に近い遠方にある光点（道路照明５０ａや先行車５２）は、車両か道路付属設備か否かに関わらず、１秒程度の動きは比較的小さい。一方、自車両に近い範囲の光点（道路照明５０ｄや対向車５４）は、１秒程度の動きでも比較的大きい。

これに対して、図６（ｂ）に示すように、車両がピッチングしている場合は、遠方か近傍かに関わらず各光点が同じ方向に同じ量だけ移動する。そこで、算出部４４は、特に消失点近傍の遠方範囲にある光点の動きから自車両の動きを算出する。そして、算出部４４は、自車両がピッチングしている状態で前方監視カメラ１６が取得した画像情報から検出した光点に対しては、自車両のピッチングによる光点の動きを考慮して補正した位置を算出する。なお、ピッチングに代えて、あるいはピッチングに加えてローリングが自車両に生じている場合も、ピッチングが自車両に生じている場合と同様に光点の動きを補正できる。これにより、判別部４８による物体の属性判別の精度が向上する。

図７は、遠方光点を利用した自車両の動きを判定する処理を示すフローチャートである。はじめに、撮影した画像情報より高輝度部分を算出する（Ｓ３０）。高輝度部分の算出には、ノイズ除去、二値化、各光点に対するラベリング等を行う。画像中心（消失点近傍）に複数（例えば５点以上）の光点がない場合（Ｓ３２のＮｏ）、画像処理ＥＣＵ３２は、図３に示す処理のように各光点の動きを解析し（Ｓ３４）、自車両の動き判定処理を終了する。

画像中心に複数の光点がある場合（Ｓ３２のＹｅｓ）、画像処理ＥＣＵ３２は、所定時間の各光点の縦方向、横方向の移動距離が閾値ＴＨより大きいか否かを判別する（Ｓ３６）。各光点の縦方向、横方向の移動距離が閾値ＴＨ未満の場合（Ｓ３６のＮｏ）、画像処理ＥＣＵ３２は、図３に示す処理のように各光点の動きを解析し（Ｓ３４）、自車両の動き判定処理を終了する。

各光点の縦方向、横方向の移動距離が閾値ＴＨ以上の場合（Ｓ３６のＹｅｓ）、画像処理ＥＣＵ３２は、各光点の縦方向、横方向の距離の変化の平均より自車両の移動角度（移動量）を算出する（Ｓ３８）。そして、算出部４４は、例えば、画像情報から算出した光点の移動角度（移動量）から、自車両の移動角度（移動量）を減算し、光点に対応する物体自体の移動角度（移動量）を算出し（Ｓ４０）、自車両の動き判定処理を終了する。これにより、自車両のピッチングやローリングが光点の動きの算出に与える影響を低減できる。

図８（ａ）は、車両がピッチングしていない状態における前方監視カメラの撮影範囲を模式的に示す図、図８（ｂ）は、図８（ａ）に示す撮影範囲における車線（白線）を示す図、図８（ｃ）は、車両がピッチングしている状態における前方監視カメラの撮影範囲を模式的に示す図、図８（ｄ）は、図８（ｃ）に示す撮影範囲における車線（白線）を示す図である。

図８（ａ）に示すように、車両１０が道路に対して平行な状態で走行中の場合、図８（ｂ）に示すように、撮影した画像に白線６０が検出される。一方、図８（ｃ）に示すように、車両１０が道路に対して非平行な状態（フロント側が浮き上がり、リア側が沈み込んだ状態）で走行中の場合、図８（ｄ）に示すように、撮影した画像の白線６０ａが検出される。２つの白線６０ａが成す角は、２つの白線６０が成す角よりも大きくなっている。

そこで、近傍白線の傾きの変化から自車両の動き（姿勢）を推定する方法について説明する。図９は、近傍白線を利用した自車両の動きを判定する処理を示すフローチャートである。はじめに、撮影した画像情報より白線部分を算出する（Ｓ４２）。白線部分の算出には、ノイズ除去、二値化、各光点に対するラベリング等を行う。次に、画像処理ＥＣＵ３２は、算出した白線が自車両の左側に存在するか判定する（Ｓ４４）。自車両の左側に白線がないと判定された場合（Ｓ４４のＮｏ）、画像処理ＥＣＵ３２は、図３に示す処理のように各光点の動きを解析し（Ｓ４６）、自車両の動き判定処理を終了する。

自車両の左側に白線があると判定された場合（Ｓ４４のＹｅｓ）、画像処理ＥＣＵ３２は、白線の広がり（２つの白線が成す角）の移動角度や、白線の横方向の移動角度（車両がローリングしている場合）を算出する（Ｓ４８）。算出部４４は、例えば、画像情報から算出した光点の移動角度（移動量）から、白線の移動角度（移動量）を減算し、光点に対応する物体自体の移動角度（移動量）を算出し（Ｓ５０）、自車両の動き判定処理を終了する。これにより、自車両のピッチングやローリングが光点の動きの算出に与える影響を低減できる。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。

１０車両、１２前照灯ユニット、１４制御システム、１６前方監視カメラ、２２ステアリングセンサ、２４車速センサ、３２画像処理ＥＣＵ、３４配光制御ＥＣＵ、３６ＧＰＳナビゲーションＥＣＵ、４４算出部、４６画像情報取得部、４８判別部、４９記憶部、５０ａ，５０ｂ，５０ｃ，５０ｄ，５０ｅ道路照明、５２先行車、５２ａテールランプ、５４対向車、５４ａヘッドランプ、５６ａ，５６ｂ，５６ｃ，５６ｄデリニエータ、６０，６０ａ白線、１１０車両用灯具。

Claims

車両前方を撮影した画像情報に含まれる第１の光点の属性が道路に付属する設備か否かを、前記画像情報から算出された第１の光点の第１特徴情報から判別する判別部と、
第１の光点の属性が道路に付属する設備と判別された場合に前記第１特徴情報を記憶する記憶部と、を備え、
前記判別部は、記憶されている前記第１特徴情報を用いて、前記画像情報に含まれる第２の光点の属性が道路に付属する設備か否かを判別することを特徴とする画像処理装置。
前記判別部は、前記画像情報から算出された第２の光点の第２特徴情報と記憶されている前記第１特徴情報とを比較して、前記第２の光点の属性を判別することを特徴とする請求項１に記載の画像処理装置。
前記判別部は、前記第２特徴情報が前記第１特徴情報と共通な情報を有している場合に、前記第２の光点の属性が道路に付属する設備であると判別することを特徴とする請求項２に記載の画像処理装置。
前記判別部は、前記第２の光点の属性が道路に付属する設備でないと判別された場合に、前記第２特徴情報に基づいて前記第２の光点の属性が車両前方を走行する前走車か否かを判別することを特徴とする請求項２に記載の画像処理装置。
前記判別部は、前記画像情報のうち消失点を含む遠方範囲を除いた近傍範囲から算出された前記第１特徴情報を用いて前記第１の光点の属性を判別することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
請求項１乃至５のいずれか１項に記載の画像処理装置と、
車両前方を照射する前照灯ユニットと、
前記画像処理装置で判別された光点の属性に応じて前記前照灯ユニットの配光を制御する配光制御部と、
備えることを特徴とする車両用灯具。
前記配光制御部は、前記画像処理装置で属性が車両前方を走行する前走車と判別されなかった光点を前記前照灯ユニットの配光制御の対象から除くことを特徴とする請求項６に記載の車両用灯具。