JPWO2005093657A1 - 道路景観解析装置及び方法 - Google Patents

Abstract

車両前方の道路景観についての的確な解析結果を得ることができる道路景観解析装置及び方法。車両に搭載されその車両前方を撮影するカメラと、カメラによって撮影された車両前方の画像を対角線で複数の領域に分割する画像分割手段と、複数の領域各々の画像内容を個別に解析する解析手段と、を備えた。

Description

本発明は、車両前方の道路景観を解析する道路景観解析装置及び方法に関する。

車両前方の道路景観を解析する従来方法としては、カメラによって撮影された道路景観画像をコンピュータに取り込んで画像全体に対して解析を行う方法がある。その具体的な解析手法としては、画像全体に対して景観の複雑度を求めるためにフラクタル解析を施し、草木等の緑視率を算出し、また、道路が画像を占める割合を道路率として計算することが採用されている。
しかしながら、従来の道路景観解析においては、カメラによって撮影された車両前方の画像を単にフラクタル解析等の様々な解析手法を用いて解析するだけでは車両前方の道路景観についての的確な解析結果を得ることができないという問題点があった。

本発明の目的は、車両前方の道路景観についての的確な解析結果を得ることができる道路景観解析装置及び方法を提供することである。
本発明の道路景観解析装置は、車両に搭載されその車両前方を撮影するカメラを備え、前記カメラによって撮影された前記車両前方の画像が示す道路景観を解析する道路景観解析装置であって、前記カメラによって撮影された前記車両前方の画像を対角線で複数の領域に分割する画像分割手段と、前記複数の領域各々の画像内容を個別に解析する解析手段と、を含むことを特徴としている。
本発明の道路景観解析方法は、車両前方を撮影して得られた前記車両前方の画像が示す道路景観を解析する道路景観解析方法であって、前記車両前方の画像を対角線で複数の領域に分割する画像分割ステップと、前記複数の領域各々の画像内容を個別に解析する解析ステップと、を含むことを特徴としている。

図１は本発明の実施例を示すブロック図である。
図２は道路景観解析処理を示すフローチャートである。
図３は道路景観画像の４分割を示す図である。
図４は道路解析処理を示すフローチャートである。
図５は風景解析処理を示すフローチャートである。
図６は背景解析処理を示すフローチャートである。
図７は道路解析処理の結果の各指数及び道路快適度を示す図である。
図８は風景解析処理の結果の各指数及び風景快適度を示す図である。
図９は背景解析処理の結果の各指数及び背景快適度を示す図である。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明による道路景観解析装置を示している。この道路景観解析装置は、車両に搭載され、カメラ１、画像処理装置２、入力装置３及び出力装置４を備えている。カメラ１は例えば、ＣＣＤカメラからなり、車両前方を撮影するように車両に取り付けられている。カメラ１の出力は画像処理装置２に接続されている。
画像処理装置２は、例えば、マイクロコンピュータからなり、カメラ１から供給される画像データを入力して画像データが示す道路景観を解析処理する。解析処理の詳細については後述する。
入力装置３及び出力装置４は画像処理装置２に接続されている。入力装置３は例えば、キーボードからなり、入力操作に応じた指令を画像処理装置２に供給する。出力装置４は例えば、ディスプレイからなり、画像処理装置２による道路景観の解析処理を表示する。
道路景観解析処理においては画像処理装置２内のプロセッサ（図示せず）は、図２に示すように、先ず、カメラ１からの画像データを取り込み（ステップＳ１）、その画像データが示す画像（静止画）に障害物が存在するか否かを判別する（ステップＳ２）。障害物とは道路景観以外の先行車両や駐車車両である。例えば、今回取り込んだ画像データをその直前までの複数の画像データと比較して障害物が存在すると判別することが行われる。障害物が存在するならば、ステップＳ１に戻って新たな画像データを取り込む。なお、障害物が全く存在しないという場合は少ないので、ステップＳ２では画像に示された障害物部分の総量が閾値より多いか否かが判別しても良い。
画像に障害物が存在しない場合には、その画像を対角線で４つの領域に分割する（ステップＳ３）。図３に示すように画像は４角形であり、対角線Ａ，Ｂによって上下及び左右の４つの領域に分割される。上方領域は背景領域、下方領域は道路領域、左右領域は風景領域とされる。
下方領域の画像に応じて道路解析処理を行い（ステップＳ４）、左右領域の画像に応じて風景解析処理を行い（ステップＳ５）、上方領域の画像に応じて背景解析処理を行う（ステップＳ６）。
ステップＳ４の道路解析処理では、図４に示すように、白線認識及び近似直線算出が行われる（ステップＳ４１）。すなわち、道路上の白線が認識され、その白線の近似直線が算出される。白線認識方法としては例えば、特開平６−３３３１９２号公報に示された方法がある。この白線認識方法では、画像データに基づいて白線候補点が抽出され、その白線候補点のうちの各２点間線分の基準線に対する角度の度数分布が求められ、度数分布に基づいて白線の基準線に対する実角度及び白線に含まれる実候補点が抽出されると共に、実角度及び実候補点に基づいて白線の近似直線が決定される。
次に、直線距離計測及び車線幅計測が行われる（ステップＳ４２）。直線距離計測では、認識された白線が近似直線から外れる点が求められる。その点までの直線の距離が直線距離とされ、直線距離が長いほど、走りやすい快適な道路と判定され、高得点が設定される。また、直線近似ができない急カーブの道路であるほど低得点が設定される。車線幅計測方法としては例えば、特開２００２−１６３６４２号公報に示された方法がある。すなわち、道路上の車線位置を特定し、現在の車線位置とその過去の履歴とに基づいて、レーン幅を推定することが行われる。
更に、路面状況認識及びスコア化が行われる（ステップＳ４３）。路面状況認識とは、路面が舗装されているか否かを色分布解析により識別することである。また、ドライ、ウエット及び雪のような天候に対応した路面状況を認識しても良い。特開２００１−８８６３６号公報には雪、砂利道等の路面状況の認識方法が示されており、この方法を用いても良い。スコア化では舗装路面が高得点とされ、未舗装の路面が低得点とされる。
ステップＳ４１〜Ｓ４３の実行によって得られた各道路パラメータ値に応じて道路の直線度、道路幅の広さ及び路面の綺麗度が設定される（ステップＳ４４）。すなわち、直線距離に応じて道路の直線度、車線幅に応じて道路幅の広さ、路面状況値に応じて路面の綺麗度が各々設定される。道路の直線度、道路幅の広さ、路面の綺麗度は各々の基準値との類似度に応じて０〜１００の範囲の値が設定される。そして、ステップＳ４４で設定された道路の直線度、道路幅の広さ、路面の綺麗度の平均値が算出される（ステップＳ４５）。この平均値は道路領域快適度を示す。
ステップＳ５の風景解析処理では、図５に示すように、左右領域各々の緑色率及び青色率が解析される（ステップＳ５１）。左右領域各々について領域内の緑色部分（類似色を含む）の画素数を抽出し、緑色部分の画素数の領域内の総画素数に対する割合を緑色率とし、同様に、左右領域各々について領域内の青色部分（類似色を含む）の画素数を抽出し、青色部分の画素数の領域内の総画素数に対する割合を青色率とすることが行われる。緑色率が左右領域各々の森林の割合となり、青色率が左右領域各々の海の割合となる。
次に、色分布解析が行われる（ステップＳ５２）。色分布は左右領域各々の各色の画素数をヒストグラムとして算出することにより求められる。また、左右領域各々のフラクタル次元解析が行われる（ステップＳ５３）。フラクタル次元の値により景観の質が評価される。フラクタル次元解析を用いた景観の質評価については特開２０００−５７３５３号公報に示されている。この特許文献では、フラクタル次元の値が０から２の間の値中の１．５０〜１．６５の範囲のとき景観の質が高いと評価される。
ステップＳ５１〜Ｓ５３の実行によって得られた各風景パラメータ値に応じて森林、海の割合、看板の少なさ及び風景の複雑度が設定される（ステップＳ５４）。すなわち、緑色率及び青色率に応じて森林、海の割合、色分布に応じて看板の少なさ、フラクタル次元の値に応じて複雑度が各々設定される。森林、海の割合、看板の少なさ及び複雑度は各々の基準値との類似度に応じて０〜１００の範囲の値が設定される。そして、ステップＳ５４で設定された森林、海の割合、看板の少なさ及び複雑度の平均値が左右領域各々において算出される（ステップＳ５５）。平均値は左右の風景快適度を示す
ステップＳ６の背景解析処理では、図６に示すように、上方領域の青色率が解析される（ステップＳ６１）。上方領域内の青色部分（類似色を含む）の画素数を抽出し、青色部分の画素数の領域内の総画素数に対する割合を青色率とすることが行われる。青色率が上方領域の青空の割合となる。
次に、色分布解析が行われる（ステップＳ６２）。色分布は上方領域の各色の画素数をヒストグラムとして算出することにより求められ、これにより看板、陸橋、遠景の山並みがを解析される。また、距離測定が行われる（ステップＳ６３）。これは色分布解析の空、遠景の山、陸橋、トンネル等の主要背景物までの距離を測定することである。撮影された画像と一つ前のフレームの画像を用いて、オプティカルフローを求め、領域内の物体の距離を計測する。無限遠であれば物体がないと判定する。特開平６−１０７０９６号公報には、撮像した一連の前景動画像中の時間的に相前後する２コマの画像中に写し出される対象物体上の同一点の移動をオプティカルフローベクトルとして検出することが示されている。
ステップＳ６１〜Ｓ６３の実行によって得られた各背景パラメータ値に応じて背景の青空率、標識の少なさ及び開放度が設定される（ステップＳ６４）。すなわち、青色率に応じて青空率、色分布に応じて標識の少なさ、空、遠景の山、陸橋、トンネルまでの距離に応じて開放度が各々設定される。青空率、標識の少なさ及び開放度は各々の基準値との類似度に応じて０〜１００の範囲の値が設定される。そして、ステップＳ６４で設定された青空率、標識の少なさ及び開放度の平均値が算出される（ステップＳ６５）。この平均値は背景快適度を示す。
このように各領域について解析処理後、得られた道路領域快適度、左右の風景快適度及び背景快適度の平均値を車両前方の道路景観快適度として算出し（ステップＳ７）、各領域の特徴を示す文書データを作成して出力装置４に対して出力する（ステップＳ８）。ステップＳ８では各領域の９０以上の特徴項目が検出され、それの特徴項目を繋ぐことによって文書データが作成される。その作成された文書データの内容は道路景観快適度と共に出力装置４に表示される。
車両が並木道で２車線の直線道路を走行しているとすると、ステップＳ４の道路解析処理の結果、道路領域の直線度、道路幅の広さ及び路面の綺麗度の各値と道路領域快適度とは図７に示すように得られる。ステップＳ５の風景解析処理の結果、左右領域各々についての森林、海の割合、看板の少なさ及び風景の複雑度の各値と風景快適度とは図８に示すように得られる。また、ステップＳ６の背景解析処理の結果、背景の青空率、標識の少なさ及び開放度の各値と背景快適度とは図９に示すように得られる。図７の道路領域快適度８０、図８の左風景快適度８０及び右風景快適度７８．３、並びに図９の背景快適度８３．３の平均値がステップＳ７の道路景観快適度であり、８０．４となる。各領域の９０以上の特徴項目は「道路幅の広さ」、「森林、海の割合」及び「青空率」であるので、ステップＳ８では文書データは「青空と森林に囲まれた２車線以上の広い道路」の如く作成される。
ステップＳ８の実行後、道路景観解析処理を継続するか否かを判別し（ステップＳ９）、例えば、入力装置３の操作入力に応じて継続する場合にはステップＳ１に戻って上記のステップＳ１〜Ｓ９の動作を繰り返す。一方、継続しない場合には、道路景観解析処理を終了する。
上記した実施例においては、画像中の障害物を判定し、障害物の少ない画像に対して道路景観の解析を行うので、道路景観を自動的にかつ正確に判定することができる。なお、障害物の少ない画像に対して道路景観の解析を行うのではなく、画像中から障害物を取り除いてから道路景観の解析を行っても良い。
また、上記した実施例においては、画面の領域分けは対角線によって固定しているが、可変にしても良い。例えば、白線認識により最外部の白線までを道路領域とし、風景領域と背景領域とは、短時間前に撮影された画像との変化量から移動距離を算出し、閾値を設けて風景領域と背景領域を領域分けすることができる。
更に、上記した実施例においては、各領域の画像解析手法については、周波数解析等の他の手法を用いても良い。
また、上記した実施例では、車両前方の画像を２つの対角線で４領域に分割する例について詳細に説明したが、対角線の本数又は分割領域数に関してはこの限りではない。
以上のように、本発明によれば、車両前方を撮影して得られた画像を対角線で複数の領域に分割し、複数の領域各々の画像内容を個別に解析するので、車両前方の道路景観についての的確な解析結果を得ることができる。
本発明はカーオーディオ装置やカーナビゲーション装置に適用することができる。

Claims (12)

1. 車両に搭載されその車両前方を撮影するカメラを備え、前記カメラによって撮影された前記車両前方の画像が示す道路景観を解析する道路景観解析装置であって、
   前記カメラによって撮影された前記車両前方の画像を対角線で複数の領域に分割する画像分割手段と、
   前記複数の領域各々の画像内容を個別に解析する解析手段と、を含むことを特徴とする道路景観解析装置。
2. 前記画像分割手段は、前記車両前方の画像を２つの対角線で４領域に分け、
   前記解析手段は、前記４領域各々の画像内容を個別に解析することを特徴とする請求項１記載の道路景観解析装置。
3. 前記解析手段は、前記４領域のうちの下方領域の画像について道路解析処理を行う道路解析手段と、前記４領域のうちの左右領域各々の画像について風景解析処理を行う風景解析手段と、前記４領域のうちの上方領域の画像について背景解析処理を行う背景解析手段と、を備えたことを特徴とする請求項２記載の道路景観解析装置。
4. 前記道路解析手段は、前記下方領域の画像に応じて道路の白線認識を行ってその近似直線を算出する手段と、前記近似直線の直線距離を計測する手段と、前記近似直線に応じて車線幅を計測する手段と、前記下方領域の画像に応じて路面状況を認識する手段と、を含むことを特徴とする請求項３記載の道路景観解析装置。
5. 前記風景解析手段は、前記左右領域各々の画像の緑色率及び青色率を検出して森林及び海の割合を推定する手段と、前記左右領域各々の画像の色分布を検出する手段と、前記左右領域各々の画像のフラクタル次元解析を行う手段と、を含むことを特徴とする請求項３記載の道路景観解析装置。
6. 前記背景解析手段は、前記上方領域の画像の青色率を検出して青空の割合を推定する手段と、前記上方領域の画像の色分布を検出して背景主要物を推定する手段と、前記背景主要物までの距離を計測する手段と、を含むことを特徴とする請求項３記載の道路景観解析装置。
7. 前記解析手段は、前記道路解析処理の結果に応じて複数の道路特徴の指数を各々設定する手段と、前記左右領域各々について前記風景解析処理の結果に応じて複数の風景特徴の指数を各々設定する手段と、前記背景解析処理の結果に応じて複数の風景特徴の指数を各々設定する手段と、前記複数の道路特徴の指数の平均値を道路快適度として算出する手段と、前記左右領域各々について前記複数の風景特徴の指数の平均値を左右の風景快適度として算出する手段と、前記複数の背景特徴の指数の平均値を背景快適度として算出する手段と、前記道路快適度と前記左右の風景快適度と前記背景快適度との平均値を道路景観快適度として算出する手段と、を備えたことを特徴とする請求項３記載の道路景観解析装置。
8. 前記解析手段は、前記複数の道路特徴の指数のうちの最大値の道路特徴と、前記複数の風景特徴の指数のうちの最大値の風景特徴と、前記複数の背景特徴の指数のうちの最大値の背景特徴と、を含む文書データを作成する文書データ作成手段を有することを特徴とする請求項７記載の道路景観解析装置。
9. 前記複数の道路特徴は道路の直線度、路面の綺麗度及び道路幅の広さであり、前記複数の風景特徴は森林及び海の割合、看板の少なさ並びに複雑度であり、前記複数の背景特徴は青空率、標識の少なさ及び開放度であることを特徴とする請求項７記載の道路景観解析装置。
10. 前記カメラによって撮影された前記車両前方の画像中に障害物が存在するか否かを判別する手段と、前記車両前方の画像中に前記障害物が存在しない場合に前記画像分割手段及び前記解析手段を活性化させる手段とを更に備えたことを特徴とする請求項１記載の道路景観解析装置。
11. 前記障害物は車両であることを特徴とする請求項１０記載の道路景観解析装置。
12. 車両前方を撮影して得られた前記車両前方の画像が示す道路景観を解析する道路景観解析方法であって、
    前記車両前方の画像を対角線で複数の領域に分割する画像分割ステップと、
    前記複数の領域各々の画像内容を個別に解析する解析ステップと、を含むことを特徴とする道路景観解析方法。

Images