JP6723328B2

JP6723328B2 - 車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステム

Info

Publication number: JP6723328B2
Application number: JP2018221002A
Authority: JP
Inventors: 柏翔廖; 泓邦林; 右龍張; 立佑許
Original assignee: 財団法人車輌研究測試中心
Priority date: 2018-10-17
Filing date: 2018-11-27
Publication date: 2020-07-15
Anticipated expiration: 2038-11-27
Also published as: DE102018129993A1; TW202017433A; JP2020064583A; TWI700017B; US20200125869A1; US10878259B2

Description

本発明は、車両検出方法及びそのシステムに関し、特に、リアルタイムで効果的な車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステムに関する。

前方衝突警告システム（ＦｏｒｗａｒｄＣｏｌｌｉｓｉｏｎＷａｒｎｉｎｇ；ＦＣＷ）は、まず車線識別方法によって画像における車線を識別して、また車両識別方法によって運転車両と前方車両との相対距離が安全範囲内にあるかを判断する。

一般的によく見られる車両識別方法としては、分類器によって訓練した後で、分類器に関連するパラメータを取得し、またこのパラメータによって神経アルゴリズム、深部学習等の車両検出を行う。このような車両識別は、前方の車両を識別することができるが、そのアルゴリズムが複雑であり、且つ夜間の光が暗いので、画像上の車両の特徴が少なくなり、検出効率が悪くなる。

これにより分かるように、現在、この分野では、複雑さが低く、リアルタイムに検出可能で、精度が高い夜間の車両検出方法及びそのシステムがまだないので、関連の研究者は、その解決策を求めている。

したがって、本発明の目的は、車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステムを提供することにある。それは基本的な画像処理方法によってランプのハイライトを検出し、オプティカルフロー法に合わせて非車線のノイズをフィルタリングして、正確なランプ位置をリアルタイムに得ることができるだけでなく、従来の車両検出技術におけるアルゴリズムの複雑で検出効率が悪いという問題を解決することができる。

本発明の方法態様の一実施形態によれば、カメラによって画像を取り込み、演算ユニットに画像を演算するように駆動させて画像のハイライトを検出し、ハイライトが複数のハイライトピクセルを含み、カメラと演算ユニットが運転車両に設けられるハイライト検出工程と、演算ユニットに接続領域ラベル付けアルゴリズムを実行するように駆動させて連通されるハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断するランプ判断工程と、演算ユニットにオプティカルフロー法を実行するように駆動させて車両光源の移動速度を求め、移動速度がプリセット速度よりも小さい車両光源をフィルタリングするオプティカルフローフィルタリング工程と、演算ユニットに座標変換方法を実行するように駆動させてフィルタリングされていない車両光源とカメラとの間の距離を計算する距離推定工程と、を備える動的光強度に基づく夜間の車両検出方法を提供する。

これにより、本発明の動的光強度に基づく夜間の車両検出方法は、画像処理方法によってランプのハイライトを検出し、オプティカルフロー法に合わせて非車線のノイズをフィルタリングして、正確なランプ位置をリアルタイムに得ることができる。また、本発明に検出された前方車両は、自動車に限定されなく、機関車又は明るい光源を備えた車両を検出してよい。

前記実施形態の他の実施例は以下の通りである。前記ハイライト検出工程は、画像の複数のグレースケール値に基づいて各グレースケール値の出現回数をカウントし、出現回数に基づいて前記グレースケール値を変更して複数の平均化グレースケール値を発生させるヒストグラム平均化工程と、グレースケール輝度閾値を設定し、グレースケール輝度閾値に基づいて各ハイライトピクセルから輝度がグレースケール輝度閾値よりも大きいものを抽出する輝度特徴抽出工程と、を含んでよい。

前記実施形態の他の実施例は、以下の通りである。前記ヒストグラム平均化工程は、前記グレースケール値を変えることに用いられ、グレースケール値、出現回数、グレースケールレベル及び平均化グレースケール値を含み、グレースケール値がｉで示され、出現回数がｎ_iで示され、グレースケールレベルがＬで示され、平均化グレースケール値がＴ_iで示され、以下の式に合致する累積分布関数を含んでよい：

前記実施形態の他の実施例は、以下の通りである。前記ハイライト検出工程において、演算ユニットは、前記ハイライトピクセルの色に基づいて前記ハイライトピクセルが車両光源であるかを判断することができ、色が赤色である場合、演算ユニットは、前記ハイライトピクセルが車両光源であり、且つ車両光源がテイルライトであると判断し、色が白色である場合、演算ユニットは、前記ハイライトピクセルが車両光源であり、且つ車両光源がヘッドライトであると判断する。

前記実施形態の他の実施例は、以下の通りである。前記ランプ判断工程において、演算ユニットは、接続領域ラベル付けアルゴリズムを実行して複数の互いに連通されるハイライトピクセルをそれぞれ複数の接続領域値としてマークして、面積スクリーニング法を実行して各接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて各接続領域値を有するハイライトピクセルが車両光源であるかを判断することができる。

前記実施形態の他の実施例は、以下の通りである。前記ランプ判断工程において、演算ユニットは、面積比例分析法を実行して接続領域値を有するハイライトピクセルの面積比例を分析して、面積比例に基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断することができる。

本発明の構造態様の一実施形態によれば、運転車両に設けられ、画像を取り込むカメラと、カメラに信号的接続され、画像を演算して画像のハイライトを検出し、ハイライトが複数のハイライトピクセルを含むハイライト検出モジュールと、ハイライト検出モジュールに信号的接続され、接続領域ラベル付けアルゴリズムを実行して連通されるハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断するランプ判断モジュールと、ランプ判断モジュールに信号的接続され、オプティカルフロー法を実行して車両光源の移動速度を求め、移動速度がプリセット速度よりも小さい車両光源をフィルタリングするオプティカルフローフィルタリングモジュールと、オプティカルフローフィルタリングモジュールに信号的接続され、座標変換方法を実行してフィルタリングされていない車両光源とカメラとの間の距離を計算する距離推定モジュールと、を含み、運転車両に設けられる演算ユニットと、を含む前記の動的光強度に基づく夜間の車両検出システムを提供する。

これにより、本発明の夜間の車両検出システムは，画像処理方法によって複雑さを大幅に低下させることができ、従来の分類器よりも簡単であり、データ処理の速度を向上させることができる。

前記実施形態の他の実施例は、以下の通りである。前記ハイライト検出モジュールは，画像の複数のグレースケール値に基づいて各グレースケール値の出現回数をカウントし、出現回数に基づいて前記グレースケール値を変更して複数の平均化グレースケール値を発生させることができる。ハイライト検出モジュールは、グレースケール輝度閾値を設定し、グレースケール輝度閾値に基づいて各ハイライトピクセルから輝度がグレースケール輝度閾値よりも大きいものを抽出する。

前記実施形態の他の実施例は、以下の通りである。前記ハイライト検出モジュールは、グレースケール値を変えることに用いられ、グレースケール値、出現回数、グレースケールレベル及び平均化グレースケール値を含み、グレースケール値がｉで示され、出現回数がｎ_iで示され、グレースケールレベルがＬで示され、平均化グレースケール値がＴ_iで示され、累積分布関数が以下の式に合致する累積分布関数を実行することができる：

前記実施形態の他の実施例は、以下の通りである。前記演算ユニットは、ハイライトピクセルの色に基づいてハイライトピクセルが車両光源であるかを判断することができ、色が赤色である場合、演算ユニットは、ハイライトピクセルが車両光源であり、且つ車両光源がテイルライトであると判断し、色が白色である場合、演算ユニットは、ハイライトピクセルが車両光源であり、且つ車両光源がヘッドライトであると判断する。

前記実施形態の他の実施例は、以下の通りである。前記ランプ判断モジュールは、接続領域ラベル付けアルゴリズムを実行して複数の互いに連通されるハイライトピクセルをそれぞれ複数の接続領域値としてマークして、面積スクリーニング法を実行して各接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて各接続領域値を有するハイライトピクセルが車両光源であるかを判断することができる。

前記実施形態の他の実施例は、以下の通りである。前記ランプ判断モジュールは、面積比例分析法を実行して接続領域値を有するハイライトピクセルの面積比例を分析して、面積比例に基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断することができる。

本発明の方法態様の他の実施形態は、画像における前方車両を検出するための車両検出方法であって、カメラによって画像を取り込み、演算ユニットに画像の空の領域の空の輝度値を分析するように駆動させ、プリセット輝度値と空の輝度値を比較して画像が昼間又は夜間にあるかを判断し、カメラと演算ユニットが運転車両に設けられる画像分析工程と、演算ユニットに昼間の車両検出工程又は夜間の車両検出工程を実行するように駆動させて、画像が昼間にある場合、昼間の車両検出工程を実行し、画像が夜間にある場合、夜間の車両検出工程を実行する車両検出工程と、を備え、昼間の車両検出工程は、前方衝突警告アルゴリズムによって前方車両とカメラとの間の距離を検出し、夜間の車両検出工程は、演算ユニットに画像を演算するように駆動させて画像のハイライトを検出し、ハイライトが複数のハイライトピクセルを含むハイライト検出工程と、演算ユニットに接続領域ラベル付けアルゴリズムを実行するように駆動させて連通されるハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断するランプ判断工程と、演算ユニットにオプティカルフロー法を実行するように駆動させて車両光源の移動速度を求め、移動速度がプリセット速度よりも小さい車両光源をフィルタリングするオプティカルフローフィルタリング工程と、演算ユニットに座標変換方法を実行するように駆動させてフィルタリングされていない車両光源とカメラとの間の距離を計算する距離推定工程と、を含む車両検出方法を提供する。

これにより、本発明の車両検出方法は、画像の内容に応じて車両検出工程を適応的に選択できるため、昼間又は夜間に関わらずリアルタイムに正確なランプ位置を取得することができる。

前記実施形態の他の実施例は、以下の通りである。前記画像分析工程において、空の領域がプリセットスカイラインの上に位置し、空の輝度値がプリセット輝度値以上になる場合、演算ユニットは、画像が昼間にあると判断し、空の輝度値がプリセット輝度値よりも小さい場合、演算ユニットは、画像が夜間にあると判断する。

前記実施形態の他の実施例は、以下の通りである。前記ハイライト検出工程は、画像の複数のグレースケール値に基づいて各グレースケール値の出現回数をカウントし、出現回数に基づいて前記グレースケール値を変更して複数の平均化グレースケール値を発生させるヒストグラム平均化工程と、グレースケール輝度閾値を設定し、グレースケール輝度閾値に基づいて各ハイライトピクセルから輝度がグレースケール輝度閾値よりも大きいものを抽出する輝度特徴抽出工程と、を含んでよい。

前記実施形態の他の実施例は、以下の通りである。前記ヒストグラム平均化工程は、前記グレースケール値を変えることに用いられ、グレースケール値、出現回数、グレースケールレベル及び平均化グレースケール値を含み、グレースケール値がｉで示され、出現回数がｎ_iで示され、グレースケールレベルがＬで示され、平均化グレースケール値がＴ_iで示され、累積分布関数が以下の式に合致する累積分布関数を含んでよい：

前記実施形態の他の実施例は、以下の通りである。前記ハイライト検出工程において、演算ユニットは、ハイライトピクセルの色に基づいてハイライトピクセルが車両光源であるかを判断することができ、色が赤色である場合、演算ユニットは、ハイライトピクセルが車両光源であり、且つこの車両光源がテイルライトであると判断し、色が白色である場合、演算ユニットは、ハイライトピクセルが車両光源であり、且つこの車両光源がヘッドライトであると判断する。

本発明の一実施例に係る動的光強度に基づく夜間の車両検出方法を示す模式的な流れ図である。図１の実施例における運転車両と前方車両の運転間の模式図である。本発明の別の実施例に係る動的光強度に基づく夜間の車両検出方法を示す模式的な流れ図である。図３の実施例におけるヒストグラム平均化工程を示す模式図である。図３の実施例における接続領域ラベル付けアルゴリズムを示す模式図である。図３の実施例における面積スクリーニング法を示す模式図である。図３の動的光強度に基づく夜間の車両検出方法におけるカメラにより取り込まれた画像である。図７の画像から変換されるグレースケール画像である。図８のグレースケール画像のヒストグラム平均化工程による平均化画像である。図９の平均化画像の輝度特徴抽出工程による輝度スクリーニング画像である。図１０の輝度スクリーニング画像の接続領域ラベル付けアルゴリズムによる接続領域マーク画像である。図１１の接続領域マーク画像の面積スクリーニング法と面積比例分析法によるランプ候補画像である。図１２のランプ候補画像のオプティカルフローフィルタリング工程と距離推定工程による距離推定画像である。図１３Ａの距離推定画像の左車両光源の距離深さである。図１３Ａの距離推定画像の右車両光源の距離深さである。本発明のまた１つの実施例の動的光強度に基づく夜間の車両検出システムを示すブロック模式図である。本発明の更に１つの実施例の車両検出方法を示す模式的な流れ図である。

以下、図面で本発明の複数の実施例を説明し、明らかに説明するために、数多くの実際の細部を以下の説明で併せて説明する。しかしながら、これらの実際の細部は本発明を制限するためのものではないことが理解すべきである。つまり、本発明の一部の実施例において、これらの実際の細部はが必要なものではない。また、図面を簡略化するために、ある従来慣用の構造と素子を図面において簡単に模式的に示す。また、同一の素子は同一の番号で示すことがある。

また、更に、素子（又はユニット又はモジュール等）が別の素子に「接続」されている場合、前記素子が他の素子に直接接続されているか、ある素子が別の素子に間接的に接続されていることを意味する場合がある。即ち、素子と他の素子との間に他の素子が存在する。ある素子が別の素子に「直接接続」されていることが示されている場合は、その素子と他の素子との間に他の素子がないことを意味する。なお、「第１の」、「第２の」、「第３の」等の用語で異なる素子を説明するが、素子に対いて制限がないので、第１の素子は第２の素子と呼ばれることもできる。且つ、本文における素子／ユニット／モジュールの組み合わせは、当業では一般的に周知、慣習的又は従来の組み合わせではなく、素子／ユニット／モジュール自体が従来のものであるかどうかにより、その組み合わせの関係が当業者によって容易に完了するかどうかを判断することができない。

図１と図２を共に参照されたい。図１は、本発明の一実施例に係る動的光強度に基づく夜間の車両検出方法１００を示す模式的な流れ図である。図２は、図１の実施例における運転車両１１０ａと前方車両１１０ｂの運転間の模式図である。図面に示すように、この動的光強度に基づく夜間の車両検出方法１００は、夜間の運転車両１１０ａのカメラ３００と前方車両１１０ｂとの間の距離Ｙを検出することに用いられ、ハイライト検出工程Ｓ１２、ランプ判断工程Ｓ１４、オプティカルフローフィルタリング工程Ｓ１６及び距離推定工程Ｓ１８を含む。

ハイライト検出工程Ｓ１２は、カメラ３００によって画像を取り込み、演算ユニット４００に画像を演算するように駆動させて画像のハイライトを検出する。ハイライトが複数のハイライトピクセルを含み、カメラ３００と演算ユニット４００の何れも運転車両１１０ａに設けられる。ランプ判断工程Ｓ１４は、演算ユニット４００に接続領域ラベル付けアルゴリズムを実行するように駆動させて連通されるハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断する。また、オプティカルフローフィルタリング工程Ｓ１６は、演算ユニット４００にオプティカルフロー法を実行するように駆動させて車両光源の移動速度Ｖｂを求め、移動速度Ｖｂがプリセット速度よりも小さい車両光源をフィルタリングする。運転車両１１０ａと前方車両１１０ｂは、それぞれ移動速度Ｖａと移動速度Ｖｂを有する。距離推定工程Ｓ１８は、演算ユニット４００に座標変換方法を実行するように駆動させてフィルタリングされていない車両光源（即ち、テイルライト）とカメラ３００との間の距離Ｙを計算する。これにより、本発明の動的光強度に基づく夜間の車両検出方法１００は、画像処理方法によってランプのハイライトを検出し、オプティカルフロー法に合わせて非車線のノイズをフィルタリングして、正確なランプ位置をリアルタイムに得ることができる。また、本発明によって画像処理方法は、複雑さを大幅に低下させることができ、従来の分類器（例えば、ＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎ（ＲＢＦ）又はＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ））よりも簡単であり、データ処理の速度を向上させることができる。また、本発明に検出された前方車両１１０ｂは、自動車に限定されなく、機関車又は明るい光源を備えた車両を検出することができる。以下、他の実施例により各工程の細部を説明する。

図１、図２、図３及び図４、図５、図６、図７、図８、図９、図１０、図１１、図１２、図１３Ａ、図１３Ｂ及び図１３Ｃを共に参照されたい。図３は、本発明の別の実施例に係る動的光強度に基づく夜間の車両検出方法１００ａを示す模式的な流れ図であり、図４は、図３の実施例におけるヒストグラム平均化工程Ｓ２２２を示す模式図であり、図５は、図３の実施例における接続領域ラベル付けアルゴリズムＳ２４２を示す模式図であり、図６は、図３の実施例における面積スクリーニング法Ｓ２４４を示す模式図であり、図７は、図３の動的光強度に基づく夜間の車両検出方法１００ａにおけるカメラ３００により取り込まれた画像１２０であり、図８は、図７の画像１２０から変換されるグレースケール画像１３０であり、図９は、図８のグレースケール画像１３０のヒストグラム平均化工程Ｓ２２２による平均化画像１４０であり、図１０は、図９の平均化画像１４０の輝度特徴抽出工程Ｓ２２４による輝度スクリーニング画像１５０であり、図１１は、図１０の輝度スクリーニング画像１５０の接続領域ラベル付けアルゴリズムＳ２４２による接続領域マーク画像１６０であり、図１２は、図１１の接続領域マーク画像１６０の面積スクリーニング法Ｓ２４４と面積比例分析法Ｓ２４６によるランプ候補画像１７０であり、図１３Ａは、図１２のランプ候補画像１７０のオプティカルフローフィルタリング工程Ｓ２６と距離推定工程Ｓ２８による距離推定画像１９０であり、図１３Ｂは、図１３Ａの距離推定画像１９０の左車両光源１９２の距離深さ（Ｘ，Ｙ）であり、図１３Ｃは、図１３Ａの距離推定画像１９０の右車両光源１９４の距離深さ（Ｘ，Ｙ）である。図面に示すように、動的光強度に基づく夜間の車両検出方法１００ａは、夜間の運転車両１１０ａのカメラ３００と前方車両１１０ｂとの間の距離Ｙを検出することに用いられ、ハイライト検出工程Ｓ２２、ランプ判断工程Ｓ２４、オプティカルフローフィルタリング工程Ｓ２６及び距離推定工程Ｓ２８を含む。

ハイライト検出工程Ｓ２２は、カメラ３００によって画像１２０を取り込み、演算ユニット４００に画像１２０を演算するように駆動させて画像１２０のハイライトを検出する。ハイライトが複数のハイライトピクセルを含み、カメラ３００と演算ユニット４００の何れも運転車両１１０ａに設けられる。詳細的に、ハイライト検出工程Ｓ２２は、ヒストグラム平均化工程Ｓ２２２と輝度特徴抽出工程Ｓ２２４を含み、ヒストグラム平均化工程Ｓ２２２が画像１２０の複数のグレースケール値ｉにより各グレースケール値の出現回数ｎiをカウントし、出現回数ｎiによりグレースケール値を変更して複数の平均化グレースケール値Ｔiを発生させる。輝度特徴抽出工程Ｓ２２４は、グレースケール輝度閾値Ｔ1を設定し、グレースケール輝度閾値Ｔ1により各ハイライトピクセルから輝度がグレースケール輝度閾値Ｔ1よりも大きいものを抽出する。なお、ヒストグラム平均化工程Ｓ２２２は、統計ヒストグラム分布、確率密度関数、累積分布関数及びルックアップテーブル（ＬｏｏｋｕｐＴａｂｌｅ）マッピングを含む。統計ヒストグラム分布はグレースケール画像１３０におけるグレースケール値ｉの出現回数ｎiを計算する。確率密度関数は出現回数ｎiの確率密度ｎi／ｎを計算する。累積分布関数は、グレースケール値を変えて平均化グレースケール値Ｔiを出力することに用いられる。ルックアップテーブルマッピングは、平均化グレースケール値Ｔiを丸める。累積分布関数は、グレースケール値ｉ、出現回数ｎi、グレースケールレベルＬ及び平均化グレースケール値Ｔiを含み、且つ累積分布関数は、以下の式（１）に合致する：
例として、表１は、４ビットのグレースケール画像１３０のそれぞれ統計ヒストグラム分布、確率密度関数、累積分布関数及びルックアップテーブルマッピングによる数値であり、図４は、画像グレースケール値のヒストグラム平均化工程Ｓ２２２前後にある分布模式図である。表１と図４から分かるように、本発明のヒストグラム平均化工程Ｓ２２２は、元々同一区間に集中していたグレースケール値ｉの分布をより分散した分布にすることができる。
また、ハイライト検出工程Ｓ２２において、演算ユニット４００は、ハイライトピクセルの色に基づいてハイライトピクセルが車両光源であるかを判断し、ひいては車両光源がヘッドライト又はテイルライトであるかを判断することに用いられてよい。ハイライトピクセルの色が赤色である場合、演算ユニット４００は、これらのハイライトピクセルが車両光源であり、且つ車両光源がテイルライトであると判断する。ハイライトピクセルの色が白色である場合、演算ユニット４００は、これらのハイライトピクセルが車両光源であり、且つ車両光源がヘッドライトであると判断する。

ランプ判断工程Ｓ２４は、演算ユニット４００に接続領域ラベル付けアルゴリズムＳ２４２を実行するように駆動させて連通されるハイライトピクセルを接続領域値としてマークして、面積スクリーニング法Ｓ２４４を実行して接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断する。接続領域ラベル付けアルゴリズムＳ２４２は、輝度スクリーニング画像１５０における互いに連通されるハイライトピクセルを同じ接続領域値としてマークして同じ接続領域と見なされて、図５に示すように、接続領域マーク画像１６０を発生させる。面積スクリーニング法Ｓ２４４は、接続領域マーク画像１６０における各接続領域の面積がプリセット面積閾値よりも小さいものをスクリーニングする。接続領域値を有するハイライトピクセルの面積がプリセット面積閾値以上になると、演算ユニット４００は、接続領域値を有するハイライトピクセルが車両光源であると判断して、そのままにして、これと反して、接続領域値を有するハイライトピクセルの面積がプリセット面積閾値よりも小さい場合、演算ユニット４００は、図６に示すように、接続領域値を有するハイライトピクセルが車両光源ではないと判断して、それを取り除く。

また、ランプ判断工程Ｓ２４において、演算ユニット４００は、接続領域ラベル付けアルゴリズムＳ２４２を実行して複数の互いに連通されるハイライトピクセルをそれぞれ複数の接続領域値としてマークして、面積スクリーニング法Ｓ２４４を実行して各接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて各接続領域値を有するハイライトピクセルが車両光源であるかを判断することができる。これにより、本発明は、それぞれ複数の異なる領域のハイライトを判断することができる。

また、ランプ判断工程Ｓ２４において、演算ユニット４００は、面積比例分析法Ｓ２４６を実行して接続領域値を有するハイライトピクセルの面積比例を分析して、面積比例に基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断することができる。詳細的に、接続領域値を有するハイライトピクセルのアスペクト比例がプリセット面積比例以下である場合、演算ユニット４００は、接続領域値を有するハイライトピクセルが車両光源であると判断して、そのままにして、これと反して、接続領域値を有するハイライトピクセルのアスペクト比例がプリセット面積比例よりも大きい場合、演算ユニット４００は、接続領域値を有するハイライトピクセルが車両光源ではないと判断して、それを取り除く。

オプティカルフローフィルタリング工程Ｓ２６は、演算ユニット４００にオプティカルフロー法Ｓ２６２を実行するように駆動させて車両光源の移動速度Ｖｂを求め、移動速度Ｖｂがプリセット速度よりも小さい車両光源をフィルタリングする。詳細的に、オプティカルフローフィルタリング工程Ｓ２６は、オプティカルフロー法Ｓ２６２と動的光源確認工程Ｓ２６４を含み、オプティカルフロー法Ｓ２６２が連続画像平面における各ピクセルの輝度勾配の変化として定義される。車両用光源は、空間内の画像平面上に投影され、そのピクセルの輝度が輝度に基づき保存され、つまり、１ピクセル（Ｐｉ，Ｐｊ）は隣接する２枚の画像において、異なる位置に移動するが、輝度が一定であり、下記の式（２）の通りである：
Ｉが輝度を示し、ｉ、ｊがピクセル（Ｐｉ，Ｐｊ）の位置座標を示し、δi、δjがピクセル（Ｐｉ，Ｐｊ）の移動矢量を示し、δtが時間変化を示す。輝度保存の条件で、オプティカルフロー（即ち、車両光源の移動速度Ｖｂ）はテイラー展開式とディファレンシャルソリューションにより求められ、下記の式（３）の通りである：
ｕ、ｖはピクセル（Ｐｉ，Ｐｊ）の水平方向と垂直方向の移動速度をそれぞれ示し、テイラー展開式とディファレンシャルソリューションの計算細部は従来の技術であるので、ここに説明しない。なお、動的光源確認工程Ｓ２６４は、移動速度Ｖｂとプリセット静的速度値に基づいて車両光源が動的な光源であるかを判断する。移動速度Ｖｂがプリセット静的速度以下である場合、演算ユニット４００は車両光源が動的な光源ではなくノイズであると判断し、これを取り除き、これと反して、移動速度Ｖｂがプリセット静的速度よりも大きい場合、演算ユニット４００は車両光源が動的な光源であると判断し、そのままにする。また注意すべきなのは、運転車両１１０ａと前方車両１１０ｂは、それぞれ移動速度Ｖａと移動速度Ｖｂを有する。本発明は、運転車両１１０ａに設けられるカメラ３００と演算ユニット４００により前方車両１１０ｂの車両光源を検出する。移動速度Ｖａが既知であるとし、且つ移動速度Ｖｂが上記のオプティカルフローフィルタリング工程Ｓ２６により分かると、演算ユニット４００は移動速度Ｖａと移動速度Ｖｂとの間の相対速度により車両光源がヘッドライト又はテイルライトであるかを判断する。相対速度がプリセット同方向移動速度よりも大きい場合、演算ユニット４００は車両光源がヘッドライトであると判断し、これと反して、相対速度がプリセット同方向移動速度以下である場合、演算ユニット４００は車両光源がテイルライトであると判断する。

距離推定工程Ｓ２８は、演算ユニット４００に座標変換方法を実行するように駆動させてフィルタリングされていない車両光源とカメラ３００との間の距離Ｙを計算する。座標変換方法は、カメラ３００の高さ、道路平行線消失点座標、カメラ３００の焦点のｘ軸スケールファクタ及びカメラ３００の焦点のｙ軸スケールファクタにより、画像における動的な光源の車両光源に属する位置座標を転換して前方車両１１０ｂの車両光源の距離深さ（Ｘ，Ｙ）を計算し、距離Ｘは車両光源がカメラ３００正前方に対する左右間隔を示し、距離Ｙは車両光源がカメラ３００の正前方に対する前後間隔を示す。座標変換方法の計算細部は従来の技術であるので、ここに説明しない。

図１、図２、図３、図７及び図１４を共に参照されたい。図１４は、本発明のまた１つの実施例の動的光強度に基づく夜間の車両検出システム２００のブロック模式図である。図面に示すように、動的光強度に基づく夜間の車両検出システム２００は、前記動的光強度に基づく夜間の車両検出方法１００、１００ａを使用して、且つカメラ３００及び演算ユニット４００を含む。

カメラ３００は、運転車両１１０ａに設けられ、画像１２０を取り込む。カメラ３００は、環境パラメータに応じて角度と光の集光効果を調整でき、環境パラメータが環境輝度、昼夜の検出等を含む。

演算ユニット４００は、運転車両１１０ａに設けられ、且つハイライト検出モジュール４１０、ランプ判断モジュール４２０、オプティカルフローフィルタリングモジュール４３０及び距離推定モジュール４４０を含む。ハイライト検出モジュール４１０は、カメラ３００に信号的接続され、画像１２０を演算して画像１２０のハイライトを検出し、ハイライトが複数のハイライトピクセルを含む。ハイライト検出モジュール４１０は、ハイライト検出工程Ｓ１２、Ｓ２２を実行することに用いられる。ランプ判断モジュール４２０は、ハイライト検出モジュール４１０に信号的接続され、接続領域ラベル付けアルゴリズムＳ２４２を実行して連通されるハイライトピクセルを接続領域値としてマークして、面積スクリーニング法Ｓ２４４を実行して接続領域値を有するハイライトピクセルの面積を分析し、面積のサイズに基づいて接続領域値を有するハイライトピクセルが車両光源であるかを判断する。ランプ判断モジュール４２０は、ランプ判断工程Ｓ１４、Ｓ２４を実行することに用いられる。なお、オプティカルフローフィルタリングモジュール４３０は、ランプ判断モジュール４２０に信号的接続され、オプティカルフロー法Ｓ２６２を実行して車両光源の移動速度Ｖｂを求め、移動速度Ｖｂがプリセット速度よりも小さい車両光源をフィルタリングする。オプティカルフローフィルタリングモジュール４３０は、オプティカルフローフィルタリング工程Ｓ１６、Ｓ２６を実行することに用いられる。距離推定モジュール４４０は、オプティカルフローフィルタリングモジュール４３０に信号的接続され、座標変換方法を実行してフィルタリングされていない車両光源とカメラ３００との間の距離Ｙを計算する。距離推定モジュール４４０は、距離推定工程Ｓ１８、Ｓ２８を実行することに用いられる。また、演算ユニット４００は、パーソナルコンピュータ、電子制御ユニット（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ；ＥＣＵ）、マイクロプロセッサ又は他の電子計算プロセッサであってよい。本実施例の演算ユニット４００は、電子制御ユニットをコンピューティングプラットフォームとする。これにより、本発明の動的光強度に基づく夜間の車両検出システム２００は、画像処理方法によって複雑さを大幅に低下させることができ、従来の分類器よりも簡単であり、データ処理の速度を向上させることができる。

図１、図２、図３、図７及び図１５を共に参照されたい。図１５は、本発明の更に１つの実施例の車両検出方法５００を示す模式的な流れ図である。車両検出方法５００は、画像における前方車両１１０ｂを検出することに用いられ、画像分析工程５１０と車両検出工程５２０を含む。

画像分析工程５１０は、カメラ３００によって画像を取り込み、演算ユニット４００に画像の空の領域の空の輝度値を分析するように駆動させ、プリセット輝度値と空の輝度値を比較して画像が昼間又は夜間にあるかを判断する。カメラ３００と演算ユニット４００の何れも運転車両１１０ａに設けられる。

車両検出工程５２０は、演算ユニット４００に昼間の車両検出工程６００又は夜間の車両検出工程７００を実行するように駆動させる。画像が昼間にある場合、昼間の車両検出工程６００を実行し、画像夜間にある場合、夜間の車両検出工程７００を実行する。詳細的に、昼間の車両検出工程６００は、前方衝突警告アルゴリズム（ＦｏｒｗａｒｄＣｏｌｌｉｓｉｏｎＷａｒｎｉｎｇ；ＦＣＷ）６１０により前方車両１１０ｂとカメラ３００との間の距離Ｙを検出する。前方衝突警告アルゴリズム６１０は、まず車線識別方法によって画像における車線を識別してから、前方車両識別方法によって運転車両１１０ａと前方車両１１０ｂの相対距離が安全範囲内にあるかを判断する。前方車両識別方法は、例えば、車両シャドウ（水平エッジ）、車両の対称辺（垂直エッジ）のようなエッジ検出によって画像から前方車両１１０ｂの特徴を見つける。エッジ検出により車両特徴を見つけて１つの物体として分類して、この物体の幅と高さを判定して車両であるかを判断し、前方車両１１０ｂの画面におけるピクセル位置を見つける。最後、前方車間距離推定モデルにより、運転車両１１０ａと前方車両１１０ｂとの距離を推定することができる。前方車間距離推定モデルの細部は従来の技術であるので、ここに説明しない。また、夜間の車両検出工程７００は、ハイライト検出工程Ｓ１２、ランプ判断工程Ｓ１４、オプティカルフローフィルタリング工程Ｓ１６及び距離推定工程Ｓ１８を含み、それぞれ図１のハイライト検出工程Ｓ１２、ランプ判断工程Ｓ１４、オプティカルフローフィルタリング工程Ｓ１６及び距離推定工程Ｓ１８に対応し、その細部はここに説明しない。これにより、本発明の車両検出方法５００は、画像の内容に応じて車両検出工程を適応的に選択できるので、昼間又は夜間に関わらずリアルタイムに正確なランプ位置を取得することができる。

上記の実施形態から分かるように、本発明は、以下のメリットを有する。一、本発明の動的光強度に基づく夜間の車両検出方法は、画像処理方法によってランプのハイライトを検出し、オプティカルフロー法に合わせて非車線のノイズをフィルタリングして、正確なランプ位置をリアルタイムに得ることができる。二、本発明の夜間の車両検出システムは、画像処理方法によって複雑さを大幅に低下させることができ、従来の分類器よりも簡単であり、データ処理の速度を向上させることができる。三、本発明の車両検出方法は、画像の内容に応じて車両検出工程を適応的に選択できるため、昼間又は夜間に関わらずリアルタイムに正確なランプ位置を取得することができる。四、本発明に検出された前方車両は、自動車に限定されなく、機関車又は明るい光源を備えた車両を検出することができる。

本発明の実施形態を前述の通りに開示したが、これは、本発明を限定するものではなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えてもよく、したがって、本発明の保護範囲は、後の特許請求の範囲で指定した内容を基準とするものである。

１００、１００ａ動的光強度に基づく夜間の車両検出方法
１１０ａ運転車両
１１０ｂ前方車両
１２０画像
１３０グレースケール画像
１４０平均化画像
１５０輝度スクリーニング画像
１６０接続領域マーク画像
１７０ランプ候補画像
１９０距離推定画像
１９２左車両光源
１９４右車両光源
２００動的光強度に基づく夜間の車両検出システム
３００カメラ
４００演算ユニット
４１０ハイライト検出モジュール
４２０ランプ判断モジュール
４３０オプティカルフローフィルタリングモジュール
４４０距離推定モジュール
５００車両検出方法
５１０画像分析工程
５２０車両検出工程
６００昼間の車両検出工程
６１０前方衝突警告アルゴリズム
７００夜間の車両検出工程
Ｓ１２、Ｓ２２ハイライト検出工程
Ｓ１４、Ｓ２４ランプ判断工程
Ｓ１６、Ｓ２６オプティカルフローフィルタリング工程
Ｓ１８、Ｓ２８距離推定工程
Ｓ２２２ヒストグラム平均化工程
Ｓ２２４輝度特徴抽出工程
Ｓ２４２接続領域ラベル付けアルゴリズム
Ｓ２４４面積スクリーニング法
Ｓ２４６面積比例分析法
Ｓ２６２オプティカルフロー法
Ｓ２６４動的光源確認工程
Ｖａ、Ｖｂ移動速度
Ｘ、Ｙ距離

Claims

カメラによって画像を取り込み、演算ユニットに前記画像を演算するように駆動させて前記画像のハイライトを検出し、前記ハイライトが複数のハイライトピクセルを含み、前記カメラと前記演算ユニットが運転車両に設けられるハイライト検出工程と、
前記演算ユニットに接続領域ラベル付けアルゴリズムを実行するように駆動させて連通される前記ハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して前記接続領域値を有する前記ハイライトピクセルの面積を分析し、前記面積のサイズに基づいて前記接続領域値を有する前記ハイライトピクセルが車両光源であるかを判断するランプ判断工程と、
前記演算ユニットにオプティカルフロー法を実行するように駆動させて前記車両光源の移動速度を求め、前記移動速度がプリセット速度よりも小さい前記車両光源をフィルタリングするオプティカルフローフィルタリング工程と、
前記演算ユニットに座標変換方法を実行するように駆動させてフィルタリングされていない前記車両光源と前記カメラとの間の距離を計算する距離推定工程と、
を備える動的光強度に基づく夜間の車両検出方法。
前記ハイライト検出工程は、
前記画像の複数のグレースケール値に基づいて各前記グレースケール値の出現回数をカウントし、前記出現回数に基づいて前記グレースケール値を変更して複数の平均化グレースケール値を発生させるヒストグラム平均化工程と、
グレースケール輝度閾値を設定し、前記グレースケール輝度閾値に基づいて各前記ハイライトピクセルから輝度が前記グレースケール輝度閾値よりも大きいものを抽出する輝度特徴抽出工程と、
を含む請求項１に記載の動的光強度に基づく夜間の車両検出方法。
前記ヒストグラム平均化工程は、
前記グレースケール値を変えることに用いられ、前記グレースケール値、前記出現回数、グレースケールレベル及び前記平均化グレースケール値を含み、前記グレースケール値がｉで示され、前記出現回数がｎiで示され、前記グレースケールレベルがＬで示され、前記平均化グレースケール値がＴiで示され、以下の式に合致する累積分布関数を含む請求項２に記載の動的光強度に基づく夜間の車両検出方法：
前記ハイライト検出工程において、前記演算ユニットは、前記ハイライトピクセルの色に基づいて前記ハイライトピクセルが前記車両光源であるかを判断し、
前記色が赤色である場合、前記演算ユニットは、前記ハイライトピクセルが前記車両光源であり、且つ前記車両光源がテイルライトであると判断し、
前記色が白色である場合、前記演算ユニットは、前記ハイライトピクセルが前記車両光源であり、且つ前記車両光源がヘッドライトであると判断する請求項１に記載の動的光強度に基づく夜間の車両検出方法。
前記ランプ判断工程において、前記演算ユニットは、前記接続領域ラベル付けアルゴリズムを実行して複数の互いに連通される前記ハイライトピクセルをそれぞれ複数の前記接続領域値としてマークして、前記面積スクリーニング法を実行して各前記接続領域値を有する前記ハイライトピクセルの前記面積を分析し、前記面積のサイズに基づいて各前記接続領域値を有する前記ハイライトピクセルが前記車両光源であるかを判断する請求項１に記載の動的光強度に基づく夜間の車両検出方法。
前記ランプ判断工程において、前記演算ユニットは、面積比例分析法を実行して前記接続領域値を有する前記ハイライトピクセルの面積比例を分析して、前記面積比例に基づいて前記接続領域値を有する前記ハイライトピクセルが前記車両光源であるかを判断する請求項１に記載の動的光強度に基づく夜間の車両検出方法。
運転車両に設けられ、画像を取り込むカメラと、
前記カメラに信号的接続され、前記画像を演算して前記画像のハイライトを検出し、前記ハイライトが複数のハイライトピクセルを含むハイライト検出モジュールと、前記ハイライト検出モジュールに信号的接続され、接続領域ラベル付けアルゴリズムを実行して連通される前記ハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して前記接続領域値を有する前記ハイライトピクセルの面積を分析し、前記面積のサイズに基づいて前記接続領域値を有する前記ハイライトピクセルが車両光源であるかを判断するランプ判断モジュールと、前記ランプ判断モジュールに信号的接続され、オプティカルフロー法を実行して前記車両光源の移動速度を求め、前記移動速度がプリセット速度よりも小さい前記車両光源をフィルタリングするオプティカルフローフィルタリングモジュールと、前記オプティカルフローフィルタリングモジュールに信号的接続され、座標変換方法を実行してフィルタリングされていない前記車両光源と前記カメラとの間の距離を計算する距離推定モジュールと、を含み、前記運転車両に設けられる演算ユニットと、
を備える動的光強度に基づく夜間の車両検出システム。
前記ハイライト検出モジュールは、前記画像の複数のグレースケール値に基づいて各前記グレースケール値の出現回数をカウントし、前記出現回数に基づいて前記グレースケール値を変更して複数の平均化グレースケール値を発生させ、
前記ハイライト検出モジュールは、グレースケール輝度閾値を設定し、前記グレースケール輝度閾値に基づいて各前記ハイライトピクセルから輝度が前記グレースケール輝度閾値よりも大きいものを抽出する請求項７に記載の夜間の車両検出システム。
前記ハイライト検出モジュールは、前記グレースケール値を変えることに用いられる累積分布関数を実行するように構成されており、前記累積分布関数は、前記グレースケール値、前記出現回数、グレースケールレベル及び前記平均化グレースケール値を含み、前記グレースケール値がｉで示され、前記出現回数がｎiで示され、前記グレースケールレベルがＬで示され、前記平均化グレースケール値がＴiで示され、前記累積分布関数が以下のように示される請求項８に記載の夜間の車両検
出システム：
前記演算ユニットは、前記ハイライトピクセルの色に基づいて前記ハイライトピクセルが前記車両光源であるかを判断し、
前記色が赤色である場合、前記演算ユニットは、前記ハイライトピクセルが前記車両光源であり、且つ前記車両光源がテイルライトであると判断し、
前記色が白色である場合、前記演算ユニットは、前記ハイライトピクセルが前記車両光源であり、且つ前記車両光源がヘッドライトであると判断する請求項７に記載の夜間の車両検出システム。
前記ランプ判断モジュールは、前記接続領域ラベル付けアルゴリズムを実行して複数の互いに連通される前記ハイライトピクセルをそれぞれ複数の前記接続領域値としてマークして、前記面積スクリーニング法を実行して各前記接続領域値を有する前記ハイライトピクセルの前記面積を分析し、前記面積のサイズに基づいて各前記接続領域値を有する前記ハイライトピクセルが前記車両光源であるかを判断する請求項７に記載の夜間の車両検出システム。
前記ランプ判断モジュールは、面積比例分析法を実行して前記接続領域値を有する前記ハイライトピクセルの面積比例を分析して、前記面積比例に基づいて前記接続領域値を有する前記ハイライトピクセルが前記車両光源であるかを判断する請求項７に記載の夜間の車両検出システム。
画像における前方車両を検出するための車両検出方法であって、
カメラによって前記画像を取り込み、演算ユニットに前記画像の空の領域の空の輝度値を分析するように駆動させ、プリセット輝度値と前記空の輝度値を比較して前記画像が昼間又は夜間にあるかを判断し、前記カメラと前記演算ユニットが運転車両に設けられる画像分析工程と、
前記演算ユニットに昼間の車両検出工程又は夜間の車両検出工程を実行するように駆動させて、前記画像が前記昼間にある場合、前記昼間の車両検出工程を実行し、前記画像が前記夜間にある場合、前記夜間の車両検出工程を実行する車両検出工程と、
を備え、
前記昼間の車両検出工程は、前方衝突警告アルゴリズムによって前記前方車両と前記カメラとの間の距離を検出し、
前記夜間の車両検出工程は、
前記演算ユニットに前記画像を演算するように駆動させて前記画像のハイライトを検出し、前記ハイライトが複数のハイライトピクセルを含むハイライト検出工程と、前記演算ユニットに接続領域ラベル付けアルゴリズムを実行するように駆動させて連通される前記ハイライトピクセルを接続領域値としてマークして、面積スクリーニング法を実行して前記接続領域値を有する前記ハイライトピクセルの面積を分析し、前記面積のサイズに基づいて前記接続領域値を有する前記ハイライトピクセルが車両光源であるかを判断するランプ判断工程と、前記演算ユニットにオプティカルフロー法を実行するように駆動させて前記車両光源の移動速度を求め、前記移動速度がプリセット速度よりも小さい前記車両光源をフィルタリングするオプティカルフローフィルタリング工程と、前記演算ユニットに座標変換方法を実行するように駆動させてフィルタリングされていない前記車両光源と前記カメラとの間の距離を計算する距離推定工程と、を含む車両検出方法。
前記画像分析工程において、前記空の領域がプリセットスカイラインの上に位置し、
前記空の輝度値が前記プリセット輝度値以上になる場合、前記演算ユニットは、前記画像が前記昼間にあると判断し、
前記空の輝度値が前記プリセット輝度値よりも小さい場合、前記演算ユニットは、前記画像が前記夜間にあると判断する請求項１３に記載の車両検出方法。
前記ハイライト検出工程は、
前記画像の複数のグレースケール値に基づいて各前記グレースケール値の出現回数をカウントし、前記出現回数に基づいて前記グレースケール値を変更して複数の平均化グレースケール値を発生させるヒストグラム平均化工程と、
グレースケール輝度閾値を設定し、前記グレースケール輝度閾値に基づいて各前記ハイライトピクセルから輝度が前記グレースケール輝度閾値よりも大きいものを抽出する輝度特徴抽出工程と、
を含む請求項１３に記載の車両検出方法。
前記ヒストグラム平均化工程は、前記グレースケール値を変えることに用いられ、前記グレースケール値、前記出現回数、グレースケールレベル及び前記平均化グレースケール値を含み、前記グレースケール値がｉで示され、前記出現回数がｎiで示され、前記グレースケールレベルがＬで示され、前記平均化グレースケール値がＴiで示され、以下の式に合致する累積分布関数を含む請求項１５に記載の車両検出方法：
前記ハイライト検出工程において、前記演算ユニットは、前記ハイライトピクセルの色に基づいて前記ハイライトピクセルが前記車両光源であるかを判断し、
前記色が赤色である場合、前記演算ユニットは、前記ハイライトピクセルが前記車両光源であり、且つ前記車両光源がテイルライトであると判断し、
前記色が白色である場合、前記演算ユニットは、前記ハイライトピクセルが前記車両光源であり、且つ前記車両光源がヘッドライトであると判断する請求項１３に記載の車両検出方法。
前記ランプ判断工程において、前記演算ユニットは、前記接続領域ラベル付けアルゴリズムを実行して複数の互いに連通される前記ハイライトピクセルをそれぞれ複数の前記接続領域値としてマークして、前記面積スクリーニング法を実行して各前記接続領域値を有する前記ハイライトピクセルの前記面積を分析し、前記面積のサイズに基づいて各前記接続領域値を有する前記ハイライトピクセルが前記車両光源であるかを判断する請求項１３に記載の車両検出方法。
前記ランプ判断工程において、前記演算ユニットは、面積比例分析法を実行して前記接続領域値を有する前記ハイライトピクセルの面積比例を分析して、前記面積比例に基づいて前記接続領域値を有する前記ハイライトピクセルが前記車両光源であるかを判断する請求項１３に記載の車両検出方法。