JP4776295B2

JP4776295B2 - 走行路判定方法

Info

Publication number: JP4776295B2
Application number: JP2005218501A
Authority: JP
Inventors: 朝子藤井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-07-28
Filing date: 2005-07-28
Publication date: 2011-09-21
Anticipated expiration: 2025-07-28
Also published as: JP2007030734A; US20070024467A1; US7634107B2; DE102006005443A1; DE102006005443B4

Description

本発明は、走行路判定技術に関し、より詳しくはトンネルの検出技術に関する。

例えば特開平１１−１３９２２５号公報には、車両に備えられ車両の走行に従ってトンネルを検出するトンネル検出装置が開示されている。具体的には、撮像手段によって撮像された前方道路画像から、設定濃度領域検出手段が所定濃度の領域を検出する。トンネルは周囲環境と異なる照明条件で撮像されるので、トンネルの入口あるいは出口は画像上では異なる濃度となって現れる。従ってそれらを所定濃度として検出することによって、トンネルの存在を示す入口あるいは出口領域が検出されることになる。

また、特開２００１−３９２１０号公報には、車両がトンネル等の暗所に進入する前に適切に車両のライトを自動的に点灯させ、使用感や利便性及び安全性を向上させるための技術が開示されている。具体的には、ライト点灯制御装置は、照度計の照度測定値に対応して自動車のライトを自動的に点灯又は消灯するものであるが、進行方向を撮影するビデオカメラと、ビデオカメラで得られた前方視界画像の画像データに占める暗部の割合を算出し、この割合が予め決められた第１の暗部閾値を超えた場合、暗部検出通知を出力する暗部検出部と、暗部検出部からの暗部検出通知を受けた場合に、照度計の照度測定値に基づく点灯制御に優先して、自動的にライトを点灯させるライト制御部とを有する。したがって、日中に周囲が明るいところ走行していても、進行方向にトンネルのような暗所があった場合、暗所に入る十分手前でライトは自動的に点灯される。

さらに、特開平９−２０５６４５号公報には、車両がトンネルに入ったりあるいは出たりする際、画像信号値が全体的に過小あるいは過大となるのを防止することができ、適正な画像信号に基づいて常時確実に画像処理を行うための前方環境認識装置が開示されている。具体的には、画像処理手段のメモリにトンネル入口の画像パターンが予め記憶されていると、該画像パターンと道路白線の上方にある映像物体とのパターンマッチングに基づき、これがトンネルの入口であることが確認される。するとトンネル入口の下方に占める画素数に基づき、走行中の車両とトンネル入口との距離が逐次演算される。またメモリにトンネルの入口までの各距離ごとに設定したアイリス値データ（入口アイリスマップ）が予め記憶されていると、トンネルの入口が所定距離まで近づいた際、制御手段により通常のアイリス値制御（オートアイリス制御）からトンネル内のアイリス値制御へと徐徐に切り換えられ、トンネルの入口までの各距離に応じたアイリス値データに基づき、ＣＣＤカメラの絞り開度が制御される。この結果、トンネルに入る際に画像信号値が全体的に過小となるのが防止され、適正な画像信号に基づいて画像処理を確実に行うことができる。

さらに、特開２００４−２３０９６３号公報には、先行車両がある場合でもトンネルの入口を確実に検出することができると共に、コストを低減化することができる車両用トンネル検出方法が開示されている。具体的には、イメージプロセッシングユニット（トンネル検出部）では、距離によるトンネル認識部において画像Ａの左右両側部（トンネル入口の左右壁面）より中央部分（トンネル内）の距離が遠いと判断され、かつ、輝度によるトンネル認識部において画像の左右両側部（トンネル入口の左右壁面）より中央部分（トンネル内）の輝度が暗いと判断された場合にトンネルの入口を検出する。
特開平１１−１３９２２５号公報特開２００１−３９２１０号公報特開平９−２０５６４５号公報特開２００４−２３０９６３号公報

上で述べた従来技術では、トンネルの入口や出口の明るさの違いを利用してトンネルを検出したり、トンネルの入口の画像パターンを予め用意してマッチングを行ってトンネルを検出したり、ステレオカメラを用いて距離情報を得てトンネル入口部分のみ距離が遠いことを利用してトンネル検出を行うものである。このような従来のトンネル検出方法はトンネルの入口や出口の特徴を利用することによりトンネルの検出を行っているため、先行車の存在や夜間などにトンネルの入口や出口が検出できなくなり、車両がトンネルの中を走行しているのか、トンネルの外を走行しているのか区別できないという問題がある。

従って、本発明の目的は、その時々の外部状況に左右されにくいトンネル検出技術を提供することである。

本発明に係る走行路判定方法は、車両に搭載された撮像機からの画像データ、または当該画像データに対して所定の変換を施した画像データについて、当該画像の所定の色空間における複数の成分のうち少なくともいずれかの成分について特徴量を算出し、特徴量データ格納部に格納する特徴量算出ステップと、特徴量データ格納部に格納された特徴量が所定の条件を満たしているか判断する判断ステップと、判断ステップにおける判断結果に基づき、車両がトンネル内を走行しているか判定する判定ステップとを含む。

このようにトンネル内とトンネル外では上で述べた特徴量が異なるため、当該特徴量に対して適切な条件を設定することにより、先行車や夜間といった外部状況に左右されずにトンネルを検出することができる。よってライトの点灯制御、ワイパーの動作制御などを適切に行うことができるようになる。なお、特徴量は、例えば画像データ全体またはそのほとんどの部分についての特徴量である。

また、上で述べた特徴量が、輝度の特徴量と、色相の特徴量とを含むようにしてもよい。そして、所定の条件が、輝度に関する条件と色相に関する条件とを含むようにしてもよい。なお、輝度の特徴量は、例えば輝度の平均値であり、色相の特徴量は、色相の分散値である。また、輝度に関する条件は、例えば輝度の平均値に関する条件であり、色相に関する条件は、色相の分散値に関する条件である。

さらに、上で述べた特徴量が、画像データ全体についての特徴量と、画像データの所定の部分についての特徴量とを含むようにしてもよい。そして、所定の条件が、画像データ全体についての条件と、画像データの所定の部分についての条件とを含むようにしてもよい。画像データの所定の部分とは、例えばトンネル内とトンネル外とで特徴量が大きく異なる範囲（例えば前方上部）である。このように、画像データ全体についての特徴量に加えて、当該範囲についての特徴量を用いて、トンネル内およびトンネル外の走行について判別するようにすれば、精度良く判定することができるようになる。

さらに、上で述べた画像データと、当該画像データの撮影タイミングより前のタイミングにおける画像データとから画像変化に関する特徴量を算出し、特徴量データ格納部に格納するステップと、画像変化に関する特徴量が、トンネル内への進入を表す条件又はトンネル外への退出を表す条件を満たしているか判断する第２判断ステップとをさらに含むようにしてもよい。そして、判定ステップにおいて、第２判断ステップにおける判断結果にさらに基づき、車両がトンネル内を走行しているか判定するようにしてもよい。このように画像の時間変化からもトンネル内への進入又はトンネル外への退出を特定して、判定の精度を向上させることができる。なお、画像変化に関する特徴量は、例えば輝度の平均値の変化量又は変化率などである。

本発明に係る方法をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してディジタル信号にて頒布される場合もある。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。

本発明によれば、その時々の外部状況に左右されずにトンネルを検出できるようになる。

［実施の形態１］
図１に第１の実施の形態に係る走行路判定装置の機能ブロック図を示す。本実施の形態に係る走行路判定装置は、例えばＣＣＤカメラやＣＭＯＳカメラである撮像部１と、撮像部１で撮影された画像データを格納する画像データ格納部３と、画像データ格納部３に格納された画像データに対して以下で述べる処理を実施する画像特徴量分析部５と、画像特徴量分析部５の処理結果を格納する特徴量データ格納部７と、特徴量データ格納部７に格納されたデータに対して以下で述べる処理を実施する走行路判定部９と、走行路判定部９の処理結果を格納する状態データ格納部１１と、状態データ格納部１１に格納されたデータに基づき以下で述べる処理を実施するトンネル検出部１３とを有する。

撮像部１は、車両等に搭載され、当該車両等の前方、後方、側方などの方向に向けて設置する。但し、以下では車両の前方に向けて設置する場合を説明する。撮像部１は、ＡＧＣ（Auto Gain Control）機能と、ホワイトバランスの制御機能とを有するものとする。また、例えば３０ｆｐｓ（frame per second）で画像を撮影し、１フレームごとに撮影した画像のデータを画像データ格納部３に格納する。

以下、図２乃至図７を用いて、図１に示した走行路判定装置の処理内容を説明する。まず、例えば画像特徴量分析部５は、トンネル内の走行に対する検出状態を表す変数Ｓ_iを０に初期化する（図２：ステップＳ１）。そして、画像特徴量分析部５は、画像特徴量分析処理を実施する（ステップＳ３）。画像特徴量分析処理については図３を用いて説明する。ここでは、特徴量ｆ(x,y)として画像データ全体についての色相ｈ(x,y)の分散値σ₁ ²と輝度ｖ(x,y)の平均値ｖ₂を用いた場合を例に挙げて説明する。

画像特徴量分析部５は、画像データ格納部３に格納された画像データ全体についての色相ｈ(x,y)の分散値σ₁ ²を算出し、特徴量データ格納部７に格納する（ステップＳ１１）。なお、ｘは横方向の画素の位置を示し、０を左端とする。また、ｙは縦方向の画素の位置を示し、０を上端とする。本実施の形態では、色相及び輝度を取り扱うので、画像データ格納部３に格納されている画像データがＲＧＢ又はＹＣＣ形式である場合には、まず色変換を実施してから処理を行う。

さらに、画像特徴量分析部５は、同じく画像データ格納部３に格納された画像データ全体についての輝度（明度）ｖ(x,y)の平均値ｖ₂を算出し、特徴量データ格納部７に格納する（ステップＳ１３）。

画像データにおける所定の範囲Ｓの輝度ｖ(x,y)の平均値ｖ₂、及び所定の範囲Ｓの色相ｈ(x,y)の分散値σ₁ ²は以下の式で算出される。

なお、ｈはｈ(x,y)の平均値である。また、ΣにおけるＳは、Ｓ内の全ての画素について加算することを示し、分母のＳは画像Ｓの面積（画素数）である。

図２の説明に戻って、次に走行路判定部９は、走行路判定処理を実施する（ステップＳ５）。走行路判定処理については図４及び図５を用いて説明する。

本実施の形態における走行路判定部９は、撮像部１が設置されている車両がトンネル内を走行しているのか否かを判定するものである。トンネルの内部の照明は、１つのトンネル内部では色や明るさが同じである場合が多い。また、赤、黄色、または白などの色調が一定な照明である場合も多い。本実施の形態の走行路判定部９は、この特徴を用いてトンネル内を走行していることを検出する。具体的には、照明の設置されているトンネル内は、太陽光のある昼間や、様々な照明の影響のある夜間などに比べ、照明が一定のため、輝度（明度）はある範囲内に収まり、特定の色に偏るために色相の分散は小さくなる。そのため、輝度の平均値ｖ₂は、その下限ｔ_2l、上限ｔ_2hの間に、色相の分散値σ₁ ²は、その下限ｔ_1l、上限ｔ_1hの間に収まるはずである。これらの関係をグラフに表すと図４のようになる。図４のグラフにおいて、横軸は輝度の平均値ｖ₂、縦軸は色相の分散値σ₁ ²を表す。そして、範囲Ｔ₁を、トンネル内を走行していると判定する範囲とする。但し、範囲Ｔ₁はこのような矩形の範囲に限らず、より実体に合わせて規定するようにしても良い。

従って図５に示すように、走行路判定部９は、特徴量データ格納部７に格納されている輝度の平均値ｖ₂と色相の分散値σ₁ ²とから、ｔ_1l≦σ₁ ²≦ｔ_1h且つｔ_2l≦ｖ₂≦ｔ_2hという条件を満たしているか判断する（ステップＳ２１）。もし、満たしていないと判断された場合には元の処理に戻る。すなわちＳ_i＝０のままとなる。一方、上記の条件を満たしていると判断された場合には、Ｓ_i＝１と設定する（ステップＳ２３）。Ｓ_iは状態データとして、状態データ格納部１１に格納される。そして元の処理に戻る。

図２の説明に戻って、次にトンネル検出部１３は、トンネル検出処理を実施する（ステップＳ７）。この処理については図６を用いて説明する。トンネル検出部１３は、状態データ格納部１１に格納されたＳ_iの値が１であるか判断する（ステップＳ３１）。もし、Ｓ_i＝１であれば、トンネル内走行中を表す信号を出力する（ステップＳ３３）。この信号を受信したライト点灯制御部は、ライトを点灯させる。また、この信号を受信したワイパー制御部は、ワイパーの動作を停止させる。その他トンネル内で必要となる装置については動作を開始させ、不要となる装置については動作を停止させる。一方、Ｓ_i＝０であれば、トンネル外走行中を表す信号を出力する（ステップＳ３５）。この信号を受信したライト点灯制御部は、ライトを消灯させる。また、この信号を受信したワイパー制御部は、例えば雨が降っていることを検出すると自動的にワイパーの動作を開始させる。その他トンネル外で必要となる装置については動作を開始させ、不要となる装置については動作を停止させる。そしてステップＳ３３又はＳ３５の後に元の処理に戻る。

なお、Ｓ_i＝１ではない場合には、状態不明と判定することも可能である。

このようにすれば、トンネル内を走行しているかトンネル外を走行しているかを、先行車両や時間帯などの外部状況の影響を抑えつつ、精度良く判定することができるようになる。

なお、図２に示した処理については、フレーム毎など所定の間隔で実行する。

例えば、ｔ_1l＝０、ｔ_1h＝４８、ｔ_2l＝０、ｔ_2h＝９８とする。そして、図７に示すようなσ₁ ²及びｖ₂が算出されると、上から３フレーム目及び４フレーム目において前提となる条件を満たしていると判断され、Ｓ_i＝１と設定される。すなわち、３フレーム目及び４フレーム目においてトンネル内を走行していると判定される。

なお、図３の画像特徴量分析処理においては、特徴量として画像データ全体についての色相ｈ(x,y)の分散値σ₁ ²と輝度ｖ(x,y)の平均値ｖ₂を用いた場合を例に挙げて説明したが、分散値又は平均値もしくはその両方を画像内の予め定めた任意の領域Ｓについて算出してもよい。特徴量ｆ(x,y)については、ＨＳＶ形式で示す輝度（Ｖ）、色相（Ｈ）、または彩度（Ｓ）のうち少なくともいずれかだけではなく、ＲＧＢ形式、ＹＣｂＣｒ形式、Ｌ*ａ*ｂ*形式、Ｌ*ｕ*ｖ*形式など様々な形式で表される空間における少なくともいずれかの成分を用いてもよい。また、それらのいずれかの形式で表された画像データに対してラプラシアンフィルタやＳｏｂｅｌフィルタに代表される空間フィルタを適用した結果を特徴量ｆ(x,y)算出に用いるようにしてもよい。その場合、図３のステップＳ１１の前に空間フィルタを用いた処理を実施する。
また、図５の走行路判定処理において、トンネル内を走行していると判定される範囲は、図４のグラフに示されているように、輝度の平均値の上限及び下限、並びに色相の分散値の上限及び下限によって規定されていたが、特徴量ｆ(x,y)が輝度及び色相以外の場合においても、特徴量ｆ(x,y)として採用された成分について統計的にトンネル内を走行していると判定される範囲を特定すればよい。

［実施の形態２］
図８に第２の実施の形態に係る走行路判定装置の機能ブロック図を示す。本実施の形態に係る走行路判定装置は、撮像部１と、撮像部１で撮影された画像データを格納する画像データ格納部３と、画像データ格納部３に格納された画像データに対して以下で述べる処理を実施する画像特徴量分析部１５と、画像特徴量分析部１５の処理結果を格納する特徴量データ格納部７と、特徴量データ格納部７に格納されたデータに対して以下で述べる処理を実施する第１走行路判定部９と、特徴量データ格納部７に格納されたデータに対して以下で述べる処理を実施する第２走行路判定部１７と、第１走行路判定部９及び第２走行路判定部１７の処理結果を格納する状態データ格納部１１と、状態データ格納部１１に格納されたデータに基づき以下で述べる処理を実施するトンネル検出部１９とを有する。なお、図１と同じ符号が付された処理部及びデータ格納部は、第１の実施の形態と同じ機能を有するものである。

次に第２の実施の形態に係る走行路判定装置の処理内容について図９乃至図１５を用いて説明する。まず、例えば画像特徴量分析部１５は、トンネル内の走行に対する検出状態を表す変数Ｓ_i及びトンネル外の走行に対する検出状態を表す変数Ｓ_oを０に初期化する（ステップＳ４１）。次に、画像特徴量分析部１５は、画像特徴量分析処理を実施する（ステップＳ４３）。本実施の形態における画像特徴量分析処理については図１０及び図１１を用いて説明する。

画像特徴量分析部１５は、画像データ格納部３に格納された画像データ全体についての色相ｈ(x,y)の分散値σ₁ ²を算出し、特徴量データ格納部７に格納する（図１０：ステップＳ５１）。また、画像特徴量分析部１５は、同じく画像データ格納部３に格納された画像データ全体についての輝度（明度）ｖ(x,y)の平均値ｖ₂を算出し、特徴量データ格納部７に格納する（ステップＳ５３）。ここまでは、第１の実施の形態と同じである。

そして、画像特徴量分析部１５は、画像データ格納部３に格納された画像データのうち予め定められた部分画像Ｓ'について輝度ｖ(x,y)の平均値ｖ₃を算出し、特徴量データ格納部７に格納する（ステップＳ５５）。部分画像Ｓ'は、例えば図１１に示すような範囲である。図１１は、撮像部１を車両前方に向けて設置した場合に撮影される画像の一例であって、部分画像Ｓ'は、空が含まれる可能性が高い部分である。部分画像Ｓ'の範囲は、昼間の時間帯で晴天時に空が所定の割合以上入る部分として規定される。ステップＳ５５の後に図９の処理に戻る。

次に、第１走行路判定部９は、特徴量データ格納部７に格納された画像データ全体の輝度の平均値ｖ₂及び色相の分散値σ₁ ²とを読み出し、第１走行路判定処理を実施する（ステップＳ４５）。この処理については、第１の実施の形態における走行路判定処理と同じであり、図５に従う。また、第２走行路判定部１７は、特徴量データ格納部７に格納された部分画像Ｓ'の輝度の平均値ｖ₃を読み出し、第２走行路判定処理を実施する（ステップＳ４７）。この処理については図１２及び図１３を用いて説明する。

第２走行路判定部１７は、特徴量データ格納部７に格納された部分画像Ｓ'の輝度の平均値ｖ₃が、ｔ_3l以上ｔ_3h以下であるか判断する（ステップＳ６１）。上でも述べたように部分画像Ｓ'においては、トンネル外を走行中ならば、空の割合が画像データ全体に比して高くなるため、部分画像Ｓ'における輝度の平均値は全体の輝度の平均値に比して高くなる。従って、トンネル外を走行している場合に生じ得る部分画像Ｓ'の輝度の平均値の範囲及びそれと区別するためにトンネル内を走行している場合に生じ得る部分画像Ｓ'の輝度の平均値の範囲などを実際に計測して、トンネル外を走行中と判定する範囲Ｔ₂を、図１３に示すように、ｔ_3l以上ｔ_3h以下の範囲と予め定めておく。

従ってステップＳ６１において条件を満たしていると判断されると、Ｓ₀＝１として設定する（ステップＳ６３）。Ｓ_oは状態データとして、状態データ格納部１１に格納される。そして元の処理に戻る。一方、条件を満たしていないとされる場合には、そのまま元の処理に戻る。すなわちＳ_o＝０である。

図９の説明に戻って、次にトンネル検出部１９は、トンネル検出処理を実施する（ステップＳ４９）。この処理については図１４に示す。トンネル検出部１９は、状態データ格納部１１に格納されたＳ_oの値が１であるか判断する（ステップＳ７１）。もし、Ｓ₀＝１であれば、トンネル外で走行中と判断できるため、トンネル外走行中を表す信号を出力する（ステップＳ７７）。そして元の処理に戻る。

一方、Ｓ_o＝０であれば、トンネル外走行中とは言えないので、状態データ格納部１１に格納されたＳ_iの値が１であるか判断する（ステップＳ７３）。Ｓ_i＝０であればトンネル内走行中とは言えないので、ステップＳ７７に移行する。Ｓ_i＝１であれば、トンネル内走行中と判断できるので、トンネル内走行中を表す信号を出力する（ステップＳ７５）。

このようにトンネル内を走行中であることを判別するための画像データ全体についての輝度の平均値ｖ₂及び色相の分散値σ₁ ²に加えて、特定の画像部分Ｓ'における輝度の平均値ｖ₃を用いてトンネル外を走行中であることを判別することにより、判定の精度を高めることができる。

なお、ステップＳ７３でＳ_i＝０の場合にはステップＳ７７に移行する例を示したが、走行路不明と判定するようにしても良い。さらに、ステップＳ７１とステップＳ７３の判定順番を逆にしても良い。

なお、図９に示した処理については、フレーム毎など所定の間隔で実行する。

例えば、ｔ_1l＝０、ｔ_1h＝４８、ｔ_2l＝０、ｔ_2h＝９８、ｔ_3l＝１４８、ｔ_3h＝２５５として、図１５に示すようなσ₁ ²、ｖ₂、ｖ₃が算出されたものとする。そうすると、第１フレームではＳ_i＝１及びＳ_o＝０となり、トンネル内を走行中であると判定される。第２フレームではＳ_i＝１及びＳ_o＝１となり、ステップＳ７１でＳ_oが優先的に採用されて、トンネル外を走行中と判定される。第３フレームではＳ_i＝０及びＳ_o＝１となり、第２フレームと状態データは異なるが同じくＳ_oが優先的に採用されて、トンネル外を走行中と判定される。一方、第４フレームではＳ_i＝０及びＳ_o＝０となり、ステップＳ７３においてＳ_iに基づきトンネル外を走行中と判定される。第４フレームの場合、走行路不明と判定しても良い。

なお、図１０のステップＳ５５においては、部分画像Ｓ'の特徴量として輝度ｖ(x,y)の平均値ｖ₂を用いた場合を例に挙げて説明したが、特徴量ｆ(x,y)については、ＨＳＶ形式で示す輝度（Ｖ）、色相（Ｈ）、または彩度（Ｓ）のうち少なくともいずれかだけではなく、ＲＧＢ形式、ＹＣｂＣｒ形式、Ｌ*ａ*ｂ*形式、Ｌ*ｕ*ｖ*形式など様々な形式で表される空間における少なくともいずれかの成分を用いてもよい。また、それらのいずれかの形式で表された画像データに対してラプラシアンフィルタやＳｏｂｅｌフィルタに代表される空間フィルタを適用した結果を特徴量ｆ(x,y)算出に用いるようにしてもよい。その場合、図１０のステップＳ５５の前に空間フィルタを用いた処理を実施する。
また、図１２の走行路判定処理において、トンネル外を走行していると判定される範囲は、図１３のグラフに示されているように、輝度の平均値の上限及び下限によって規定されていたが、特徴量ｆ(x,y)が輝度以外の場合においても、特徴量ｆ(x,y)として採用された成分について統計的にトンネル外を走行していると判定される範囲を特定すればよい。

［実施の形態３］
図１６に第３の実施の形態に係る走行路判定装置の機能ブロック図を示す。本実施の形態に係る走行路判定装置は、撮像部１と、撮像部１で撮影された画像データを格納する画像データ格納部３と、画像データ格納部３に格納された画像データに対して以下で述べる処理を実施する画像特徴量分析部１５と、画像特徴量分析部１５の処理結果を格納する特徴量データ格納部７と、特徴量データ格納部７に格納されたデータに対して上で述べた処理を実施する第１走行路判定部９と、特徴量データ格納部７に格納されたデータに対して上で述べた処理を実施する第２走行路判定部１７と、特徴量データ格納部７に格納されたデータに対して以下に説明する処理を実施するトンネル進入検出部２３と、特徴量データ格納部７に格納されたデータに対して以下に説明する処理を実施するトンネル退出検出部２５と、第１走行路判定部９、第２走行路判定部１７、トンネル進出検出部２３及びトンネル退出検出部２５の処理結果を格納する状態データ格納部１１と、状態データ格納部１１に格納されたデータに基づき以下で述べる処理を実施するトンネル検出部２７とを有する。なお、図１及び図８と同じ符号が付された処理部及びデータ格納部は、第１及び第２の実施の形態と同じ機能を有するものである。

次に第３の実施の形態に係る走行路判定装置の処理内容について図１７乃至図２０を用いて説明する。まず、例えば画像特徴量分析部１５は、トンネル内の走行に対する検出状態を表す変数Ｓ_i及びトンネル外の走行に対する検出状態を表す変数Ｓ_oを０に初期化する（ステップＳ８１）。次に、画像特徴量分析部１５は、画像特徴量分析処理を実施する（ステップＳ８３）。本実施の形態における画像特徴量分析処理については第２の実施の形態における画像特徴量分析処理と同じであり図１０の処理フローに従う。なお、画像特徴量分析処理の結果は時系列で特徴量データ格納部７に蓄積されるものとする。

そして、第１走行路判定部９は、特徴量データ格納部７に格納された画像データ全体の輝度の平均値ｖ₂及び色相の分散値σ₁ ²とを読み出し、第１走行路判定処理を実施する（ステップＳ８５）。この処理については、第１の実施の形態における走行路判定処理と同じであり、図５に従う。また、第２走行路判定部１７は、特徴量データ格納部７に格納された部分画像Ｓ'の輝度の平均値ｖ₃を読み出し、第２走行路判定処理を実施する（ステップＳ８７）。この処理については第２の実施の形態における第２走行路判定処理と同じであり、図１２に従う。

その後、トンネル進入又はトンネル退出を表す変数Ｓ_tが１であるか判断し（ステップＳ８９）、Ｓ_t＝１であればトンネル退出検出部２５は、トンネル退出検出処理を実施する（ステップＳ９１）。一方、Ｓ_t＝０であればトンネル進入検出部２３は、トンネル進入検出処理を実施する（ステップＳ９３）。これらの処理については、図１８及び図１９を用いて説明する。

トンネル進入検出部２３及びトンネル退出検出部２５は、以下の原理に基づきトンネル内への車両の進入及びトンネル外への車両の退出を検出する。すなわち、トンネル進入時又はトンネル退出時には、トンネルの中と外の明るさが異なるので、撮像部１のＡＧＣが作動して自動的に露出を下げたり上げたりする。昼間にトンネルに進入した時は画像が一瞬暗くなったり、夜間にトンネルに進入した時は画像が一瞬明るくなったりする。昼間と夜間でトンネル内とトンネル外の輝度の関係が変化するため、以下は昼間の場合について述べる。

従って、トンネル退出検出部２５は、現フレームの輝度の平均値ｖ₂(n)とｎフレーム前のｖ₂(0)との変化量ｘを算出する（ステップＳ１０１）。ｖ₂(0)乃至ｖ₂(n)の中から最小値と最大値を探し、最小値をｖ₂(min)、最大値をｖ₂(max)とする。このとき、minをｖ₂(min)のときのフレーム番号とし、maxをｖ₂(max)のときのフレーム番号とする。min＜maxのときは変化量ｘはｖ₂(max)−ｖ₂(min)とし、max＜minのときは変化量ｘはｖ₂(min)−ｖ₂(max)とする。ｎは、常に特定の値を採用するようにしても良い。また、車両のスピードのデータを取得できる場合には、速度が増加した場合にはｎを減らし、速度が減少した場合にはｎを増加させるようにして、特徴的な画像の発生タイミングをとらえて適切にトンネルからの退出及びトンネルへの進入を検出する。次に、トンネル退出検出部２５は、変化量ｘと変化量増加時の閾値であるｔ_4hとを比較し、変化量ｘ≧ｔ_4hという条件を満たしているか判断する（ステップＳ１０３）。もし、満たしていると判断されたら、暗い場所（トンネル内）から明るい場所（トンネル外）に移動したと考えられるため、Ｓ_t＝０に設定する（ステップＳ１０５）。そして元の処理に戻る。Ｓ_tも状態データとして状態データ格納部１１に格納する。なお、ステップＳ１０１で差を算出するような例を示していたが、比を算出するようにしても良い。いずれにせよ輝度の平均値の急激な増加を検出し、検出できた場合にはトンネルの退出を表す変数Ｓ_tを０に設定する。

一方、変化量ｘ≧ｔ_4hという条件を満たしていないと判断されたら、トンネルの退出は検出できないのでそのまま元の処理に戻る。

同様に、トンネル進入検出部２３は、現フレームの輝度の平均値ｖ₂(n)とｎフレーム前のｖ₂(0)との変化量ｘを算出する（図１９：ステップＳ１１１）。ｎは、上で述べたとおり設定される。次に、トンネル進入検出部２３は、変化量ｘと変化量減少時の閾値であるｔ_4lとを比較し、変化量ｘ≦ｔ_4lという条件を満たしているか判断する。（ステップＳ１１３）。もし、満たしていると判断されたら、明るい場所（トンネル外）から暗い場所（トンネル内）に移動したと考えられるため、Ｓ_t＝１に設定する（ステップＳ１１５）。そして元の処理に戻る。Ｓ_tも状態データとして状態データ格納部１１に格納する。なお、ステップＳ１１１で差を算出するような例を示していたが、比を算出するようにしても良い。いずれにせよ急激な輝度の平均値の減少を検出し、検出できた場合にはトンネルの進入を表す変数Ｓ_tを１に設定する。

一方、変化量ｘ≦ｔ_4lという条件を満たしていないと判断されたら、トンネルの進入は検出できないのでそのまま元の処理に戻る。なお、Ｓ_tについては走行路判定装置の初期化時に０とすることとし、各フレーム処理時には初期化しない。

図１７の説明に戻って、トンネル検出部２７は、トンネル検出処理を実施する（ステップＳ９５）。このトンネル検出処理については図２０及び図２１を用いて説明する。トンネル検出部２７は、状態データ格納部１１に格納されたＳ_oが１であるか判断する（ステップＳ１２１）。トンネル外であると判断される場合にはＳ_o＝１となるので、Ｓ_o＝１であればトンネル外走行中を表す信号を出力する（ステップＳ１２９）。そして元の処理に戻る。

一方、Ｓ_o＝０であれば、状態データ格納部１１に格納されたＳ_iが１であるか判断する（ステップＳ１２３）。トンネル内であると判断される場合にはＳ_i＝１となるので、Ｓ_i＝１であればトンネル内走行中を表す信号を出力する（ステップＳ１２７）。そして元の処理に戻る。

Ｓ_i＝０であれば、状態データ格納部１１に格納されたＳ_tが１であるか判断する（ステップＳ１２５）。トンネル内に進入したと判断された場合にはＳ_t＝１となるので、Ｓ_t＝１であればステップＳ１２７に移行する。一方、トンネル外に退出したと判断された場合にはＳ_t＝０となるので、Ｓ_t＝０であればステップＳ１２９に移行する。

このような処理を行うことにより、トンネル進入又はトンネル退出の検出結果を補助的に用いることによって判定精度を向上させることができる。

なお、図１７に示した処理については、フレーム毎など所定の間隔で実行する。

例えば、ｔ_1l＝０、ｔ_1h＝４８、ｔ_2l＝０、ｔ_2h＝９８、ｔ_3l＝１４８、ｔ_3h＝２５５、ｔ_4h＝１８、ｔ_4l＝−１８として、図２１に示すようなσ₁ ²、ｖ₂、ｖ₃及びｖ₂の変化量ｘが算出されたものとする。なお、ここではｎ＝１とする。また、初期的にＳ_t＝１とする。そうすると、第１フレームではＳ_i＝１及びＳ_o＝０となり、トンネル内を走行中であると判定される。次に第２フレームではＳ_i＝１及びＳ_o＝１となり、さらにｖ₂の変化量ｘが２０でｔ_4h以上となっており、Ｓ_tが０に設定される。本実施の形態では、ステップＳ１２１においてＳ_oが効いてトンネル外を走行中であると判断される。

さらに、第３フレームではＳ_i＝０、Ｓ_o＝１、さらにＳ_t＝０のままとなる。ここでは、Ｓ_oが優先的に効いてくるので第２フレームと同じ判定結果となる。また。第４フレームではＳ_i＝０、ｖ₃が減少しているのでＳ_o＝０となるが、Ｓ_t＝０のままとなる。これにより、ステップＳ１２５でトンネル外を走行中であると判定される。

なお、図１８のステップＳ１０１および、図１９のステップＳ１１１においては、特徴量としてフレームについての輝度ｖ(x,y)の平均値ｖ₂を用いた場合を例に挙げて説明したが、平均値はフレーム内の予め定めた任意の領域Ｓについて算出してもよい。特徴量ｆ(x,y)については、ＨＳＶ形式で示す輝度（Ｖ）、色相（Ｈ）、または彩度（Ｓ）のうち少なくともいずれかだけではなく、ＲＧＢ形式、ＹＣｂＣｒ形式、Ｌ*ａ*ｂ*形式、Ｌ*ｕ*ｖ*形式など様々な形式で表される空間における少なくともいずれかの成分を用いてもよい。また、それらのいずれかの形式で表された画像データに対してラプラシアンフィルタやＳｏｂｅｌフィルタに代表される空間フィルタを適用した結果を特徴量ｆ(x,y)算出に用いるようにしてもよい。その場合、図１８のステップＳ１０１および、図１９のステップＳ１１１の前に空間フィルタを用いた処理を実施する。
また、図１８および図１９においては昼間の場合について説明しているが、夜間の場合は明るい場所から暗い場所に移動したときにトンネルから退出したと考えられるため、図１８のステップＳ１０３は変化量ｘと変化量減少時の閾値であるｔ_5lとを比較し、変化量ｘ≦ｔ_5lという条件を満たしているかを判断し、暗い場所から明るい場所に移動したときにトンネルへ進入したと考えられるため、図１９のステップＳ１１３は変化量ｘと変化量増加時の閾値であるｔ_5hとを比較し、変化量ｘ≧ｔ_5hという条件を満たしているかを判断する。昼間と夜間とを判別するためには、カメラの露光時間が、特定の閾値よりも短い場合を昼間、長い場合を夜間と認識することにより判別する手段を用いる。

［実施の形態４］
図２２に第４の実施の形態に係る走行路判定装置の機能ブロック図を示す。本実施の形態に係る走行路判定装置は、露出制御部１ａを有する撮像部１と、撮像部１で撮影された画像データを格納する画像データ格納部３と、画像データ格納部３に格納された画像データに対して上で述べた処理を実施する画像特徴量分析部５と、画像特徴量分析部５の処理結果及び露出制御部１ａの出力結果を格納する特徴量データ格納部７と、特徴量データ格納部７に格納されたデータに対して以下で述べる処理を実施する走行路判定部２９と、走行路判定部２９の処理結果を格納する状態データ格納部１１と、状態データ格納部１１に格納されたデータに基づき以下で述べる処理を実施するトンネル検出部３１とを有する。図１と同じ符号が付された処理部及びデータ格納部は、第１の実施の形態と同じ機能を有するものである。

本実施の形態では、露出制御部１ａは撮像部１に備えられており、露出はシャッタースピードを変えることにより調整されるものとする。すなわち、このシャッタースピードｓを露出量として取り扱う。露出制御部１ａは、撮像される画像が明るければシャッタースピードを速くし、暗ければシャッタースピードを遅くすることで撮像される画像の明るさを調整する。そして、露出制御部１ａは、シャッタースピードｓのデータをフレーム毎に特徴量データ格納部７に格納する。

本実施の形態における処理フローは、第１の実施の形態における図２と同じであり、画像特徴量分析部５の処理内容も図３と同じである。走行路判定部２９の処理内容は、図２３に示すものとなる。

本実施の形態では、照明のあるトンネル内では明るさがある一定範囲に保たれるため、シャッタースピードもある範囲内に収まる、という事実を用いて、走行路判定部２９は以下のような処理を実施する。すなわち、走行路判定部２９は、シャッタースピードｓが、シャッタースピードｓの下限値ｔ_sl以上、上限値ｔ_sh以下であるか判断する（ステップＳ１３１）。シャッタースピードｓがこの範囲内ではないと判断されると、Ｓ_i＝０に設定する（ステップＳ１３７）。Ｓ_iは状態データであって状態データ格納部１１に格納される。一方、シャッタースピードｓが上記範囲内であると判断されると、走行路判定部２９は、特徴量データ格納部７に格納されている輝度の平均値ｖ₂と色相の分散値σ₁ ²とから、ｔ_1l≦σ₁ ²≦ｔ_1h且つｔ_2l≦ｖ₂≦ｔ_2hという条件を満たしているか判断する（ステップＳ１３３）。もし、満たしていないと判断された場合にはステップＳ１３７に移行する。すなわちＳ_i＝０となる。一方、上記の条件を満たしていると判断された場合には、Ｓ_i＝１と設定する（ステップＳ１３５）。Ｓ_iは状態データとして、状態データ格納部１１に格納される。そして元の処理に戻る。

このようにすれば、シャッタースピードｓが適切な範囲内である場合のみ輝度の平均値及び色相の分散値による判定を行うので、トンネル内を走行中という判定につき精度を向上させることができる。

なお、シャッタースピードｓの下限値ｔ_sl＝１／２０００、上限値ｔ_sh＝１／１００００とし、ｔ_1l＝０、ｔ_1h＝４８、ｔ_2l＝０、ｔ_2h＝９８とする場合、ｓ、σ₁ ²、ｖ₂が、図２４のように特定されたものとする。第１フレームの場合には、シャッタースピードｓが条件を満たさないので、自動的にＳ_i＝０となる。第２及び第３フレームについても同様である。第４フレームになると、シャッタースピードｓが上記条件を満たし、且つ輝度の平均値ｖ₂と色相の分散値σ₁ ²も条件を満たすので、Ｓ_i＝１となる。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、各機能ブロックは、必ずしも実際のプログラムモジュールとは対応しない。また、処理フローにおいても、処理結果が変化しない範囲においてステップの順番を入れ替えたり並列実行を行っても良い。

（付記１）
車両に搭載された撮像機からの画像データ、または当該画像データに対して所定の変換を施した画像データについて、当該画像の所定の色空間における複数の成分のうち少なくともいずれかの成分について特徴量を算出し、特徴量データ格納部に格納する特徴量算出ステップと、
前記特徴量データ格納部に格納された前記特徴量が所定の条件を満たしているか判断する判断ステップと、
前記判断ステップにおける判断結果に基づき、前記車両がトンネル内を走行しているか判定する判定ステップと、
を含み、コンピュータにより実行される走行路判定方法。

（付記２）
前記特徴量算出ステップにおける特徴量が、輝度の特徴量と色相の特徴量とを含み、
前記所定の条件が、輝度に関する条件と、色相に関する条件とを含む
付記１記載の走行路判定方法。

（付記３）
前記輝度の特徴量が輝度の平均値であり、
前記色相の特徴量が色相の分散値である
付記２記載の走行路判定方法。

（付記４）
前記特徴量算出ステップにおける特徴量が、
前記画像データ全体についての特徴量と、前記画像データの所定の部分についての特徴量とを含み、
前記所定の条件が、
前記画像データ全体についての条件と、前記画像データの所定の部分についての条件とを含む、
付記１記載の走行路判定方法。

（付記５）
前記画像データ全体についての特徴量が、輝度の平均値および色相の分散値であり、
前記画像データの所定の部分についての特徴量が、前記車両の進行方向を撮影した画像データの上方所定範囲についての輝度の平均値であり、
前記画像データ全体についての条件が、輝度の平均値に関する条件、および色相の分散値に関する条件を含み、
前記画像データの所定の部分についての条件が、前記車両の進行方向を撮影した画像データの上方所定範囲についての輝度の平均値に関する条件を含む、
付記４記載の走行路判定方法。

（付記６）
前記画像データと、当該画像データの撮影タイミングより前のタイミングにおける画像データとから画像変化に関する特徴量を算出し、前記特徴量データ格納部に格納するステップと、
前記画像変化に関する特徴量が、トンネル内への進入を表す条件又はトンネル外への退出を表す条件を満たしているか判断する第２判断ステップと、
をさらに含み、
前記判定ステップにおいて、前記第２判断ステップにおける判断結果にさらに基づき、前記車両がトンネル内を走行しているか判定する
付記１、２、４、５のいずれか１つ記載の走行路判定方法。

（付記７）
前記画像変化に関する特徴量が、輝度の平均値の変化量又は変化率である
付記６記載の走行路判定方法。

（付記８）
前記第２判断ステップが、
トンネル内への進入を表す条件を満たしたと判断された場合には、前記画像変化に関連する特徴量がトンネル外への退出を表す条件を満たしているか判断するステップと、
トンネル外への退出を表す条件を満たしたと判断された場合には、前記画像変化に関連する特徴量がトンネル内への進入を表す条件を満たしているか判断するステップと、
を含む付記６記載の走行路判定方法。

（付記９）
前記判定ステップにおいて、
前記判断ステップにおける判断結果に基づき、前記車両がトンネル内を走行していると判定できなかった場合に、前記第２判断ステップにおける判断結果に基づき判定する
付記６記載の走行路判定方法。

（付記１０）
前記判定ステップにおいて、前記撮像機の露光制御パラメータにさらに基づき前記車両がトンネル内を走行しているか判定する
付記１、２、４乃至６のいずれか１つ記載の走行路判定方法。

（付記１１）
前記露光制御パラメータが、シャッタースピードである
付記１０記載の走行路判定方法。

（付記１２）
前記判定ステップにおいて、前記露光制御パラメータに基づき前記車両がトンネル内を走行していると判断された場合に、前記判断ステップの判定結果に基づき判定する
付記１０記載の走行路判定方法。

（付記１３）
付記１乃至１２のいずれか１つ記載の走行路判定方法をコンピュータに実行させるためのプログラム。

（付記１４）
車両に搭載された撮像機からの画像データ、または当該画像データに対して所定の変換を施した画像データについて、当該画像の所定の色空間における複数の成分のうち少なくともいずれかの成分について特徴量を算出し、前記特徴量データ格納部に格納する特徴量算出手段と、
前記特徴量データ格納部に格納された前記特徴量が所定の条件を満たしているか判断する判断手段と、
前記判断手段における判断結果に基づき、前記車両がトンネル内を走行しているか判定する判定手段と、
を有する走行路判定装置。

（付記１５）
前記特徴量算出手段における特徴量が、輝度の特徴量と色相の特徴量とを含み、
前記所定の条件が、輝度に関する条件と、色相に関する条件とを含む、
付記１４記載の走行路判定装置。

（付記１６）
前記特徴量算出手段における特徴量が、
前記画像データ全体についての特徴量と、前記画像データの所定の部分についての特徴量とを含み、
前記所定の条件が、
前記画像データ全体についての条件と、前記画像データの所定の部分についての条件とを含む、
付記１４記載の走行路判定装置。

（付記１７）
前記画像データと、当該画像データの撮影タイミングより前のタイミングにおける画像データとから画像変化に関する特徴量を算出し、前記特徴量データ格納部に格納する手段と、
前記画像変化に関する特徴量が、トンネル内への進入を表す条件又はトンネル外への退出を表す条件を満たしているか判断する第２判断手段と、
をさらに有し、
前記判定手段が、前記第２判断手段における判断結果にさらに基づき、前記車両がトンネル内を走行しているか判定する
付記１４乃至１６のいずれか１つ記載の走行路判定装置。

（付記１８）
前記判定手段が、前記撮像機の露光制御パラメータにさらに基づき前記車両がトンネル内を走行しているか判定する
付記１４乃至１７のいずれか１つ記載の走行路判定装置。

本発明の第１の実施の形態の機能ブロック図である。本発明の第１の実施の形態におけるメイン処理フローを示す図である。本発明の第１の実施の形態における画像特徴量分析処理の処理フローを示す図である。本発明の第１の実施の形態における輝度の平均値の範囲及び色相の分散値の範囲を説明するための図である。本発明の第１の実施の形態における走行路判定処理の処理フローを示す図である。本発明の第１の実施の形態におけるトンネル検出処理の処理フローを示す図である。本発明の第１の実施の形態における一具体例を示す図である。本発明の第２の実施の形態の機能ブロック図である。本発明の第２の実施の形態におけるメイン処理フローを示す図である。本発明の第２の実施の形態における画像特徴量分析処理の処理フローを示す図である。部分画像Ｓ'を説明するための図である。本発明の第２の実施の形態における第２走行路判定処理の処理フローを示す図である。本発明の第２の実施の形態における部分画像の輝度の平均値の範囲を説明するための図である。本発明の第２の実施の形態におけるトンネル検出処理の処理フローを示す図である。本発明の第２の実施の形態における一具体例を示す図である。本発明の第３の実施の形態における機能ブロック図である。本発明の第３の実施の形態におけるメイン処理フローを示す図である。本発明の第３の実施の形態におけるトンネル退出検出処理の処理フローを示す図である。本発明の第３の実施の形態におけるトンネル進入検出処理の処理フローを示す図である。本発明の第３の実施の形態におけるトンネル検出処理の処理フローを示す図である。本発明の第３の実施の形態における一具体例を示す図である。本発明の第４の実施の形態における機能ブロック図である。本発明の第４の実施の形態における走行路判定処理の処理フローを示す図である。本発明の第４の実施の形態における一具体例を示す図である。

符号の説明

１撮像部３画像データ格納部５，１５画像特徴量分析部
７特徴量データ格納部９，２９走行路判定部
１１状態データ格納部１３，１９，２７，３１トンネル検出部
９第１走行路判定部１７第２走行路判定部
２３トンネル進入検出部２５トンネル退出検出部

Claims

車両に搭載された撮像機からの画像データ、または当該画像データに対して所定の変換を施した画像データについて、輝度の平均値及び色相の分散値を含む特徴量を算出し、特徴量データ格納部に格納する特徴量算出ステップと、
前記特徴量データ格納部に格納された前記輝度の平均値が輝度に関する条件を満たし、且つ前記特徴量データ格納部に格納された前記色相の分散値が色相に関する条件を満たしているか判断する判断ステップと、
前記判断ステップにおける判断結果に基づき、前記車両がトンネル内を走行しているか判定する判定ステップと、
を含み、コンピュータにより実行される走行路判定方法。
前記特徴量算出ステップにおいて算出された輝度の平均値が、
前記画像データ全体についての輝度の平均値と、前記画像データの所定の部分についての輝度の平均値とを含み、
前記輝度に関する条件が、
前記画像データ全体についての条件と、前記画像データの所定の部分についての条件とを含む、
請求項１記載の走行路判定方法。
前記画像データと、当該画像データの撮影タイミングより前のタイミングにおける画像データとから画像変化に関する特徴量を算出し、前記特徴量データ格納部に格納するステップと、
前記画像変化に関する特徴量が、トンネル内への進入を表す条件又はトンネル外への退出を表す条件を満たしているか判断する第２判断ステップと、
をさらに含み、
前記判定ステップにおいて、前記第２判断ステップにおける判断結果にさらに基づき、前記車両がトンネル内を走行しているか判定する
請求項１又は２記載の走行路判定方法。
前記判定ステップにおいて、前記撮像機の露光制御パラメータにさらに基づき前記車両がトンネル内を走行しているか判定する
請求項１乃至３のいずれか１つ記載の走行路判定方法。
前記露光制御パラメータが、シャッタースピードである
請求項４記載の走行路判定方法。
前記判定ステップにおいて、前記露光制御パラメータに基づき前記車両がトンネル内を走行していると判断された場合に、前記判断ステップの判定結果に基づき判定する
請求項４又は５記載の走行路判定方法。
請求項１乃至６のいずれか１つ記載の走行路判定方法をコンピュータに実行させるためのプログラム。