JP4577153B2 - 環境認識装置 - Google Patents

環境認識装置 Download PDF

Info

Publication number
JP4577153B2
JP4577153B2 JP2005242931A JP2005242931A JP4577153B2 JP 4577153 B2 JP4577153 B2 JP 4577153B2 JP 2005242931 A JP2005242931 A JP 2005242931A JP 2005242931 A JP2005242931 A JP 2005242931A JP 4577153 B2 JP4577153 B2 JP 4577153B2
Authority
JP
Japan
Prior art keywords
color
image data
vehicle
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005242931A
Other languages
English (en)
Other versions
JP2007060273A (ja
Inventor
美樹男 笹木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005242931A priority Critical patent/JP4577153B2/ja
Priority to US11/502,485 priority patent/US7804980B2/en
Publication of JP2007060273A publication Critical patent/JP2007060273A/ja
Application granted granted Critical
Publication of JP4577153B2 publication Critical patent/JP4577153B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車載カメラにより撮像された車両前方のカラー画像に基づいて、車両前方の環境を認識する環境認識装置に関する。
従来より、車載カメラにより撮像された車両前方のカラー画像（単眼画像）に基づいて、自車の走行車線、走行車線上の先行車、交通標識などといったオブジェクトを認識する装置が知られている（例えば、特許文献１参照。）。
この装置では、色を表す三次元空間（ここでは輝度，明度，彩度などを軸とするもの）を複数の領域に分割し、各分割領域の中央値を色インデックスとして、この色インデックスによって、カラー画像を構成する各画素の色を分類する。そして、その分類された色によって画像を領域分割する領域分割処理を実行し、その領域分割処理の結果として取得された領域の位置や形状が、予め用意されているオブジェクトに関する知識と適合するか否かを判断する知識処理を実行することにより、オブジェクトを認識するようにされている。
また、領域分割の結果からオブジェクトを特定する別の方法としては、パターンマッチングによる方法なども知られている。
特開平６−３４８９９１号公報
しかし、カラー画像中において同じ色をしたオブジェクトが互いに重なり有って存在する場合、画像データの色情報を用いた領域分割では、正確に領域分割（形状獲得）することができず、その結果、領域形状に基づく知識処理やパターンマッチングを行っても、その領域がどのオブジェクトに対応するのかを正しく判断することができないという問題があった。
また、特許文献１に記載の装置では、領域分割処理を画素単位で行っているため処理負かが大きいという問題や、特にパターンマッチングでオブジェクトを特定する方法では、処理負荷が膨大なものとなってしまうという問題があった。
また、近年では、記録された画像の検索や情報提供を容易にするために、画像に含まれるオブジェクトを抽出して、その抽出したオブジェクトに関する記述を画像に対応づけて記録する要求があり、その実現のために、画像に表されたオブジェクトを少ない処理量で認識する技術を確立することが望まれている。
本発明は、上記問題点を解決するために、車載カメラにより撮像された車両前方のカラー画像に基づく環境認識を平易かつ少ない処理量で実行可能な環境認識装置を提供することを目的とする。
上記目的を達成するためになされた発明である請求項１に記載の環境認識装置では、オブジェクト指定手段が、認識すべきオブジェクトである対象オブジェクトを指定する。また、画像データ取得手段が、車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得し、その取得した画像データに基づいて、平均色算出手段が、カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する。
すると、色情報付与手段が、平均色算出手段にて算出された平均色が予め用意された色インデックスのいずれに属するかを判定し、その判定結果を色情報として画素ブロックに対応づけて記憶する。
また、色ヒストグラム生成手段が、色情報付与手段によって対応づけられた色情報と着目する色インデックスとが一致する画素ブロックの数をカラー画像上の一方向に沿って積算し、その積算値を一次元的に配列してなる色ヒストグラムを、色インデックス毎に且つ画像データのフレーム単位で時系列的に生成する。
そして、オブジェクト情報付与手段は、色ヒストグラム生成手段が生成した色ヒストグラムに基づいて、オブジェクト指定手段にて指定された対象オブジェクトに関する情報を生成し、その生成情報をオブジェクト情報として、画像データ取得手段が取得した画像データに対応づけて記憶する。
つまり、色ヒストグラムは、積算方向と交差する交差方向について、着目した色インデックスに対応する色情報が付与された画素ブロック数の分布を示すものである。従って、対象オブジェクトの色や交差方向に沿った配置に、顕著な特徴を有する場合には、この色ヒストグラムから、その対象オブジェクトの存在の有無等、その対象オブジェクトに関する情報（オブジェクト情報）を認識することが可能となるのである。
また、本発明の環境認識装置では、色情報の付与を画素単位ではなく画素ブロック単位に行っている。しかも、その画素ブロックを積算した色ヒストグラムを用いて、領域分割（形状獲得）を行うことなく対象オブジェクトの認識を行っている。
従って、本発明の環境認識装置によれば、画素単位で色情報を付与し領域分割を行う従来装置と比較して、処理負荷を大幅に軽減することができ、カラー画像におけるオブジェクトの認識を平易に行うことができる。
特に、車載カメラのように限定された用途では、撮像されたカラー画像中に存在するオブジェクトが限定されるため、オブジェクトの形状を特定するまでもなく、色情報の分布からオブジェクトの認識が可能となる。
ところで、請求項２に記載のように、色ヒストグラム生成手段が画素ブロックの数を積算する方向は、カラー画像中における上下方向であること、即ち、色ヒストグラムの各要素は、上下方向と直交する水平方向の位置に対応づけられるようにすることが望ましい。
この場合、色ヒストグラムは、水平方向すなわち車幅方向に沿った分布を表すものとなる。
ここで、図１３は、赤の色インデックスに着目して、夜間走行の際に取得した色ヒストグラムを時系列的に並べて示した三次元グラフ（時空間分布）である。但し、図中横軸が時間、縦軸が画素ブロックの数、奥行きがカラー画像中の水平方向の位置であり、手前側が運転者から見て右、奥側が運転者から見て左である。
画面右側（図中手前側）に現れるピークＰ１，Ｐ２，Ｐ４は、中央分離帯に設置された街灯によるピークＰ１，Ｐ２，Ｐ４である。また、画面の中央から左側にかけて現れるピークは、交差点に設置された信号機の赤信号によるものであり、特に、１０秒以上の長時間に渡って観測されるピークＰ３，Ｐ５は、交差点で車両が停止したことによるものである。
このように、色ヒストグラムの時系列的な変化を考慮することによって、単なるオブジェクトの認識だけでなく、街灯通過，交差点停止といった車両の挙動や状態などの認識も可能となる。
なお、画素ブロックの数を積算する方向は、カラー画像中の上下方向に限らず、水平方向や、その両者の中間方向であってもよい。特に水平方向にした場合には、カラー画像中の水平エッジの検出が可能となるため、その水平エッジに基づく車両の認識などに応用することができる。
また、請求項３に記載のように、色ヒストグラム生成手段は、対象オブジェクトに応じて、積算の対象とする画素ブロックの範囲を設定するように構成されていてもよい。
特に、色ヒストグラムの生成時における画素ブロックの積算方向が上下方向である場合、積算の対象とする画素ブロックの範囲を設定することは、ある高さ位置に存在するもののみを積算の対象とすることになる。
このため、対象オブジェクトの存在が特定の高さ範囲に限定される場合、その対象オブジェクトではあり得ない高さに位置し、且つ対象オブジェクトと同色を有する他のオブジェクトの影響を色ヒストグラムから確実に排除することができる。
つまり、色ヒストグラムを生成する際に積算の対象とする画素ブロックの範囲を、対象オブジェクトに応じて限定することにより、色ヒストグラムを用いた対象オブジェクトの認識精度を向上させることができる。
次に、請求項４に記載の環境認識装置では、色別評価値算出手段が、色ヒストグラム生成手段にて生成された色ヒストグラムのそれぞれについて、色ヒストグラムの各要素が対応する水平方向の位置のうち、対象オブジェクトが存在する可能性の高い位置ほど値が大きくなるように設定された重み係数を用いて、色ヒストグラムを構成する各要素の重み付け加算を実行し、その重み付け加算の演算結果を、対象オブジェクトに応じて設定される監視期間の間だけ積算した結果を色別評価値として算出する。
そして、オブジェクト情報付与手段は、色別評価値算出手段にて算出された色別評価値の和を統合評価値とし、この統合評価値が予め設定された評価閾値より大きい場合に、カラー画像中に対象オブジェクトが存在すると判定し、その判定結果をオブジェクト情報とする。
このように構成された本発明の環境認識装置によれば、対象オブジェクトが複数色を有している場合、その複数色に対応した色インデックスを全て使用して総合的に評価することができるため、対象オブジェクトの認識精度をより高めることができる。
なお、対象オブジェクトとは無関係な色に対応した色ヒストグラムについては、例えば、その重み係数を全てゼロとすることにより、対象オブジェクトと関係のある色別評価値のみを加算した統合評価値を得ることができる。
ところで、色別評価値算出手段は、請求項５に記載のように、監視期間を、当該装置を搭載する車両の車速が予め設定した下限値以上である場合は該車速に反比例した大きさに設定し、該車速が前記下限値より小さい場合は予め設定された固定値に設定するように構成されていることが望ましい。
なお、監視期間は、例えば、対象オブジェクトが道路近傍に一定距離間隔で配置されている場合には、その一定間隔を通過するのに要する時間に設定することが考えられ、即ち、車速が小さいほど、監視期間が長くなるように設定すればよい。
但し、この場合、車速がゼロに近づくと、監視期間が極端に長くなってしまい、オブジェクト情報（認識結果）の取得に大きな遅延が生じることになる。このため、監視期間が許容遅延時間を超えて長くなってしまうことがないように、車速が下限値より小さい場合には、監視期間を固定値とすることが望ましいのである。
次に、請求項６に記載の環境認識装置における色別評価算出手段では、可変要素生成手段が、オブジェクトに応じて設定される標準距離を、色インデックスのそれぞれに対応づけて配列したものを距離ベクトルとすると共に、荷重係数を前記色ヒストグラムの各要素に対応づけて配列してなる荷重係数ベクトルを、色インデックスのそれぞれに対応づけて配列したものを荷重係数行列とし、オブジェクト指定手段にて指定された対象オブジェクトに適した前記ベクトル及び荷重係数行列を生成する。
すると、期間ベクトル生成手段が、監視期間を色インデックスのそれぞれに対応づけて配列したものを期間ベクトルとし、可変要素生成手段にて生成された距離ベクトル、カラー画像のフレームレート、当該装置を搭載する車両の車速に基づいて期間ベクトルを生成する。
また、行列演算手段が、色ヒストグラム生成手段にて生成された色ヒストグラムを、色インデックスのそれぞれに対応づけて配列したものを色ヒストグラム行列とし、この色ヒストグラム行列と、可変要素生成手段にて生成された荷重係数行列とを行列演算することで、色インデックスのそれぞれに対応した重み付け加算値を配列してなる評価単位ベクトルを算出する。
更に、累積演算手段が、行列演算手段にて算出された評価単位ベクトルの各要素を、期間ベクトル生成手段にて生成された期間ベクトルの内容に従って累積することにより、色別評価値を色インデックスのそれぞれに対応づけて配列してなる色別評価ベクトルを生成する。
そして、オブジェクト情報付与手段は、累積演算手段にて生成された色別評価ベクトルの各要素を加算することで対象オブジェクトの統合評価値を算出する。
つまり、本発明の環境認識装置では、対象オブジェクトに応じた距離ベクトル及び荷重係数行列を生成し、ベクトル演算によって色別評価値（色別評価ベクトルの各要素）を一括して算出するようにされている。
従って、本発明の環境認識装置によれば、オブジェクトによって標準距離や重み係数、統合評価値の算出に必要な色別評価値の数等が異なっていても、これらを単一の色別評価値算出手段にて、統一的に扱うことができ、処理の構造を簡素化することができる。
なお、色別評価値算出手段を構成する各手段は、マイクロコンピュータが実行する処理により実現してもよいが、例えば、ベクトル演算が可能なプロセッサによって簡単に実現することができ、この場合、処理時間を大幅に短縮することができる。
次に、請求項７に記載の環境認識装置では、シーン分類辞書記憶手段に、カラー画像の典型的な情景を表す複数のシーンのそれぞれについて、該シーンと該シーン中に存在する可能性の高いオブジェクトとを対応付けて記憶したシーン分類辞書が記憶されており、オブジェクト指定手段は、外部より指定されたシーンに対応づけられたオブジェクトを、シーン分類辞書から順次読み出し、その読み出したオブジェクトを対象オブジェクトとして指定する。
このように構成された本発明の環境認識装置によれば、指定されたシーン毎に認識すべきオブジェクトが限定されるため、オブジェクトの認識を効率良く且つ精度良く行うことができる。なお、シーンの選択は、例えば、予めシーンと位置情報とを対応づけておき、ナビやＧＰＳ等から得られる位置情報に基づいて行ったり、過去の認識結果や現在の動作モード等に基づいて行うようにすればよい。
但し、オブジェクト指定手段は、シーン分類辞書を用いることなく、認識すべき全てのオブジェクトを順番に指定するように構成してもよい。
次に、請求項８に記載の環境認識装置では、オブジェクト指定手段が、認識すべきオブジェクトである対象オブジェクトを指定する。また、画像データ取得手段が、車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得し、その取得した画像データに基づいて、平均色算出手段が、カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する。
すると、色情報付与手段が、平均色算出手段にて算出された平均色が予め用意された色インデックスのいずれに属するかを判定し、その判定結果を色情報として画素ブロックに対応づけて記憶する。
そして、この色情報付与手段により前記画素ブロックのそれぞれに対応づけられた色情報に基づいて、オブジェクト情報付与手段は、オブジェクト指定手段にて指定された対象オブジェクトに関する情報を生成し、その生成情報をオブジェクト情報として、画像データ取得手段が取得した画像データに対応づけて記憶する。
この場合、画素ブロックの色情報に基づいてオブジェクト情報を生成するため、色ヒストグラムに基づいてオブジェクト情報を生成する場合と比較して、扱う情報量は増加するが、代わりに、色ヒストグラムでは得られない積算方向についての位置情報も得ることができる。
このように、本発明の環境認識装置によれば、色ヒストグラムを用いる場合より詳細な位置情報が得られるため、オブジェクトの認識精度を向上させることができる。つまり、色ヒストグラムに基づいた認識と色情報に基づいた認識とを併用し、色ヒストグラムに基づく方法では認識が困難なオブジェクトについてのみ、色情報に基づいた方法を適用する等することで、処理負荷の軽減と認識精度の向上とを両立させることができる。
なお、色ヒストグラムを用いることなくオブジェクトの認識（オブジェクト情報の生成）を行う例として、請求項９に記載の環境認識装置では、カラー画像中のワイパーの位置を表す複数のテンプレートを記憶するテンプレート記憶手段を備えている。
そして、二値化手段が、色情報付与手段により黒の色インデックスに対応した色情報が付与された画素ブロックと、それ以外の色情報が付与された画素ブロックとで異なる値を付与した二値化画像を生成する。すると、ワイパー検出手段が、テンプレート記憶手段に記憶されたテンプレートと二値化手段が生成した二値化画像とのパターンマッチングにより、未使用時の停止位置以外の位置にあるワイパーを検出し、度数算出手段が、予め設定された観測期間の間に、ワイパー検出手段にてワイパーが検出された度数を算出する。
そして、オブジェクト情報付与手段では、度数算出手段にて算出された度数が予め設定された動作判定閾値を超える場合に、ワイパーが作動中である旨の情報をオブジェクト情報とする。
このように構成された本発明の環境認識装置によれば、作動中のワイパーを対象オブジェクトの一部として誤認識してしまうことを防止でき、オブジェクトの認識精度をより向上させることができる。
更に、請求項１０に記載の環境認識装置では、累積加算手段が、当該装置を搭載する車両のワイパーの作動中に画像取得手段から取り込んだ画像データに基づいて、二値化手段にて生成された二値化画像を、その二値化画像のエッジ上にあるマクロブロックのアドレスを識別子として、その識別子に黒の色インデックスに対応した色情報が付与されたもの同士でグループ分けし、該グループ毎に同じグループに属する二値化画像を画素ブロック単位で累積加算してなる累積加算画像を生成する。
そして、テンプレート生成手段は、この累積加算手段にて生成された累積加算画像について、累積加算値が予め設定された存在判定閾値以上の画素ブロックと、累積加算値が前記存在判定閾値より小さい画素ブロックとで異なる値を付与したものをテンプレートとして生成して、テンプレート記憶手段に格納する。
つまり、本発明の環境認識装置によれば、テンプレート記憶手段に格納するテンプレートを、外部から与えることなく、自動的に生成することができる。
また、色ヒストグラムを用いることなくオブジェクトの認識（オブジェクト情報の生成）を行う別の例として、請求項１１に記載の環境認識装置では、候補抽出手段が、色情報付与手段により赤の色インデックスに対応した色情報が付与された画素ブロックを赤画素ブロックとして、この赤画素ブロックが水平方向に二つ並んだものをテールランプ候補として抽出する。
すると、車間距離推定手段が、候補抽出手段にて抽出されたテールランプ候補の位置関係が複数段階の車間距離のそれぞれに対応づけて設定された車幅条件のいずれに適合するかを判定することにより、車間距離を推定する。
そして、オブジェクト情報付与手段では、テールランプ候補の位置と、車間距離推定手段にて推定された車間距離とで表される車両位置を、オブジェクト情報とする。
このように構成された本発明の環境認識装置によれば、水平方向に並んだ赤画素ブロックの抽出と、その位置関係の判定という簡単な処理により、領域分割等の複雑な処理を行うことなく、認識すべきオブジェクトの一つである前方車両を、その位置と共に検出することができる。
更に、請求項１２に記載の環境認識装置では、点灯判別手段が、候補抽出手段にて抽出されたテールランプ候補の輝度に基づいて点灯の有無を判別し、オブジェクト情報付与手段では、点灯判別手段での判別結果をオブジェクト情報とする。
また更に、請求項１３に記載の環境認識装置では、車色抽出手段が、候補抽出手段にて抽出されたテールランプ候補の間又はその上下に位置するマクロブロックの色を前方車両の色として抽出し、オブジェクト情報付与手段では、車色抽出手段での抽出結果を、オブジェクト情報とする。
これらの場合、赤画素ブロックに基づいて抽出した前方車両に間するオブジェクト情報として、テールランプの点灯の有無や車両の色が追加されるため、より詳細なオブジェクト情報を提供することができる。
次に、請求項１４に記載の環境認識装置では、異常事態判定手段が、認識手段での対象オブジェクトについての認識結果と、当該装置外から供給される該対象オブジェクトに関する情報とが不一致である場合に、異常事態であると判定する。
このように構成された本発明の環境認識装置によれば、当該装置、或いは当該装置に対して対象オブジェクトに関する情報を供給する外部装置のいずれかに生じた異常を検出することができる。
次に、請求項１５に記載の環境認識装置では、画像データ取得手段が、車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得し、その取得した画像データに基づいて、平均色算出手段が、カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、その画素ブロックの平均色を算出する。
すると、色情報付与手段が、平均色算出手段にて算出された平均色が予め用意された色インデックスのいずれに属するかを判定し、その判定結果を色情報として画素ブロックに対応づけて記憶する。
また、色ヒストグラム生成手段が、色情報付与手段によって対応づけられた色情報と着目する色インデックスとが一致する画素ブロックの数をカラー画像上の一方向に沿って積算し、その積算値を一次元的に配列してなる色ヒストグラムを、色インデックス毎に且つ画像データのフレーム単位で時系列的に生成する。
すると、第一差分算出手段が、色ヒストグラム生成手段にて生成される色ヒストグラムのフレーム間差分を、色インデックス毎に算出し、第一要注意状況検出手段が、その第一差分算出手段での算出結果に基づいて、カラー画面上に現れた注意を要する状況を検出する。
このように構成された本発明の環境認識装置によれば、オブジェクトの認識を行うことなく、色ヒストグラムの変化のみから要注意状況を検出しているため処理負荷が小さく、要注意状況を速やかに検出することができる。
具体的には、例えば、車両の向きが急激に変わった場合や、車両の前方に何かが飛び出してきた場合に、色ヒストグラムのフレーム間差分が大きな値になるため、このような状況を要注意状況として検出することができる。
次に、請求項１６に記載の環境認識装置では、画像データ取得手段が、車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得し、その取得した画像データに基づいて、平均色算出手段が、カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、その画素ブロックの平均色を算出する。
すると、色情報付与手段が、平均色算出手段にて算出された平均色が予め用意された色インデックスのいずれに属するかを判定し、その判定結果を色情報として画素ブロックに対応づけて記憶する。
また、全画面積算値生成手段が、色情報付与手段によって対応づけられた色情報と着目する色インデックスとが一致する画素ブロックの数をカラー画像の全体に渡って積算してなる全画面積算値を、画像データのフレーム単位で時系列的に生成する。
すると、第二差分算出手段が、全画面積算値生成手段にて生成される全画面積算値のフレーム間差分を算出し、第二要注意状況検出手段が、その第二差分算出手段での算出結果に基づいて、カラー画面上に現れた注意を要する状況を検出する。
具体的には、請求項１７に記載のように、全画面積算値生成手段は、赤の色インデックスについて全画面積算値を生成し、 第二要注意状況検出手段は、外部から供給される天候データが降雨中であることを示しており、且つ第二差分算出手段にて算出された全画面積算値のフレーム間差分が予め設定された接近閾値以上である場合を要注意状況として検出することが考えられる。
つまり、降雨時は、雨だれによるフロントガラス上の拡散光で、赤の色ヒストグラムが前方車両のストップランプの点灯に対して敏感に反応し、前方車両への接近に伴い、画面全体において赤い画素ブロックの数が顕著に増大するため、このような状況を要注意状況として検出しているのである。
次に、請求項１８に記載の環境認識装置では、画像データ取得手段が、車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得し、その取得した画像データに基づいて、平均色算出手段が、カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する。
すると、色情報付与手段が、平均色算出手段にて算出された平均色が予め用意された色インデックスのいずれに属するかを判定し、その判定結果を色情報として画素ブロックに対応づけて記憶する。
そして、危険度算出手段が、平均色算出手段にて算出される画素ブロックの平均色のフレーム間差分を、予め指定された前記カラー画像中の一領域である監視領域に属する全ての画素ブロックについて積算したものを、監視領域の危険度として算出する。
このように構成された本発明の環境認識装置では、監視領域内にて大きな動き（画面変化）があるほど算出される危険度が大きくなる。この算出された危険度は、例えば、運転者の注意を促す処理の起動等に使用することができる。
なお、監視領域としては、例えば、シーン毎に、車両や人が飛び出してくる可能性がある領域等を設定すること等が考えられる。
但し、この場合、請求項１９に記載のように、危険度算出手段は、画素ブロックの平均色のフレーム間差分を積算する際に、カラー画像の消失点に近い画素ブロックほど重み付けを大きくした重み付け加算を行うことが望ましい。
即ち、画像の特性上、実際の動きに対する画面上での動きは、消失点付近ほど小さく、また、消失点から離れるほど大きくなるため、荷重のない単純な加算を行うと、消失点付近では実際より低い危険度が算出され、消失点から離れるほど実際より高い危険度が算出されてしまうことになるためである。
ところで、画像データ取得手段が取得する画像データは直交変換を用いて符号化されている場合、請求項２０に記載のように、平均色算出手段は、画像データに含まれる直流成分を平均色として用いることが望ましい。
この場合、直流成分の復号を行うことにより、画素ブロックの平均色を簡単に取得することができ、平均色算出手段の処理負荷を大幅に軽減することができる。
以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用された環境認識装置を含む車載システムの構成を示すブロック図である。
図１に示すように、車載システムは、車両前方の景色を撮影する車載カメラ１と、車載カメラ１から得られるカラー画像（単眼画像）を符号化する符号化部２と、符号化部２にて符号化された画像データに基づき、カラー画像中に存在するオブジェクトの認識結果や、オブジェクトの認識に有用な各種データを出力する環境認識装置３とを備えている。
このうち、車載カメラ１は、カラー画像を出力するＣＣＤカメラ等からなり、フロントガラスを介して車両前方の景色を撮影できるように車室内の天井付近に設置されている。なお、本実施形態では、１フレームの画像が横：３５２画素×縦：２４０画素で構成されているものとする。
また、符号化部２は、ＭＰＥＧ形式で符号化を行う周知のものであり、符号化部２にて符号化された画像データは、二次元ＤＣＴ（離散コサイン変換）が施され、画素ブロック（８画素×８画素）単位でＤＣＴ係数を記述したものとなる。なお、各画素ブロックにおけるＤＣＴ係数の直流（ＤＣ）成分は、画素ブロックの平均値に相当する。
そして、１フレームの画像は、１６画素×１６画素からなるマクロブロック単位に分割され（つまり、本実施形態では１フレームがＭ（＝２２）個×Ｎ（＝１５）個のマクロブロックからなる）、このマクロブロックを、輝度（Ｙ成分）を表す四つの画素ブロックＹ０，Ｙ１，Ｙ２，Ｙ３と、色差（Ｕ成分，Ｖ成分）を表す二つの画素ブロックＵ，Ｖとで表すようにされている。
次に、環境認識装置３は、符号化部２から取り込んだ画像データがイントラフレーム（Ｉフレーム）である場合、その画像データ（Ｉフレーム）の平均色を表す色情報をマクロブロック単位で求める色情報生成部１０と、色情報生成部１０にて生成された色情報が各マクロブロックに対応づけて記憶される色インデックスメモリ１４とを備えている。
このうち色情報生成部１０は、符号化部２から取り込んだ画像データに基づき、その画像データの平均色をマクロブロック単位で算出するブロック平均色算出部１１と、当該装置にて使用する色の語彙（以下「色インデックス」という）を定義した色辞書パレットを記憶する色辞書記憶部１２と、この色辞書記憶部１２に記憶された色辞書パレットを参照することにより、ブロック平均色算出部１１にて算出されたマクロブロックの平均色が、どの色インデックスに対応するを判定して、その判定結果を色情報として生成する色判定部１３とからなる。
なお、ブロック平均色算出部１１は、符号化された画像データのうち、マクロブロックに対応付けられた６個の画素ブロックＹ０〜Ｙ３，Ｕ，Ｖについて、それぞれＤＣＴ係数の直流成分を復号することで平均色を求める。但し、輝度を表す４個の画素ブロックＹ０〜Ｙ３については、それぞれの直流成分の平均値を、マクロブロックにおけるＹ成分の平均色とする。
ここで、図２（ａ）は車載カメラ１にて撮影したサンプル画像、図２（ｂ）はサンプル画像を処理した場合に、ブロック平均色算出部１１にて算出されるマクロブロック単位の平均色を三次元グラフに示したものである。但し、図２（ｂ）はＹ成分についての三次元グラフであり、Ｕ成分，Ｖ成分についても同様のものが生成される。また、以下では、車載カメラ１にて撮影した画像において、車幅方向に相当する方向（図２（ａ）中の左右方向）を水平方向、これに直交する方向を垂直方向とと呼ぶものとする。
次に、色辞書記憶部１２においては、次のＰ色（本実施形態ではＰ＝７）の色インデックスが用いられている。
｛青、緑、赤、黄、白、灰、黒｝
各色インデックスには、認識の対象となる具体的なオブジェクトが対応付けられており、その代表的な例を以下の表１に示す。なお、この対応関係は、後述する色アプリ実行部１６において、その認識を行う際に用いる知識の一つとして与えられる。
そして、色辞書パレットでは、各色インデックスについて、選択した表色系（ここではＹＵＶ）を用いて設定した閾値（上限値，下限値）が対応づけられている。
ここでは、色インデックスのいずれかをｃｉ（ｉ＝１，２，…，Ｐ）、その色インデックスｃｉのＹ成分の下限値をＬＹci，上限値をＬＨci、Ｕ成分の下限値をＬＵci，上限値をＬＨci、Ｖ成分の下限値をＬＶci，上限値をＨＶciで表すものとする。
なお、色インデックスは、上記７色に限るものではなく、人間の感覚に即した色分類ができていれば他の色を用いたり、色インデックスの数を増減させたりしてもよい。但し、色インデックスの数は、閾値の構成上、三原色と白黒を中心とする数色が妥当である。
色判定部１３では、ブロック平均色算出部１１にて、マクロブロック毎に算出されるＹＵＶ各成分の平均色をＡＹ，ＡＵ，ＡＶとすると、色辞書パレットで定義された閾値を用いて、各色インデックス毎に定義された（１）〜（３）に示す不等式を用いて、マクロブロックの色がどの色インデックスciに対応するかを判定し、判定結果（即ち、色インデックスのいずれか）を、そのマクロブロックの色情報として生成する。但し、上限値，下限値は、そのいずれか一方しか定義されていないものがあってもよい。
ＬＹci≦ＡＹ＜ＨＹci （１）
ＬＵci≦ＡＵ＜ＨＵci （２）
ＬＶci≦ＡＶ＜ＬＵci （３）
このようにして生成された色情報は、上述したように、マクロブロックに対応づけて色インデックスメモリ１４に記憶される。以下では、このマクロブロックに対応づけられた色情報を色情報配列とよぶものとする。
図１に戻り、環境認識装置３は、ブロック平均色算出部１１での算出結果（マクロブロック平均色）に基づいて、カラー画面上に予め設定された監視領域の危険度を求める危険度算出部２４と、色インデックスメモリ１４に記憶された色情報配列に従って、注目する色インデックスに対応する色情報が付与されたマクロブロックの分布を表す色ヒストグラムを生成するヒストグラム生成部１５と、色インデックスメモリ１４に記憶された色情報配列、及びヒストグラム生成部１５にて生成された色ヒストグラム、当該装置３の外部から供給される各種データに基づいて各種アプリケーションを実行し、車載カメラ１で撮影されたカラー画像中に存在するオブジェクトの認識結果、色ヒストグラムに基づいて生成される立体地図、注意を要する状況であることを示す要注意通知などを出力する色アプリ実行部１６とを備えている。
このうち、危険度算出部２４は、フレームを識別するパラメータをｋとして、（４）式に従って、フレームｋにおける監視領域の危険度Ｄｋを算出する。
但し、Ｚdc（ＥＬ（ｉ），ＮＤ（ｊ），ｋ）は、フレームｋ中のＮＤ（ｊ）で識別されるマクロブロックについて、ＥＬ（ｉ）で識別される成分の平均色（ＤＣＴ係数のＤＣ成分）を表す。また、ＥＬ（ｉ）は、マクロブロックの６種類の成分Ｙ０〜Ｙ３，Ｕ，Ｖのうちのいずれか一つを表し、ＮＤ（ｊ）は、監視領域に含まれるＪ個のマクロブロックのうちのいずれか一つを表す。更に、Ｗ（ｊ）は、マクロブロックの位置に対応して付与される重み関数である。
つまり、フレーム間の差分電力（即ち、輝度や色の変化）が大きいほど運転中の視覚への負担は大きいため、全成分Ｙ０〜Ｙ３，Ｕ，Ｖについてこの差分電力を合計したものを、フレームｋにおける危険度Ｄｎとして求めている。なお、通常の直進走行時であっても、画像周辺部ではフレーム間の差分が大きくなるため、監視領域の中でも、特に画像中の消失点周辺に近いマクロブロックほど重みが大きくなるように重み関数Ｗ（ｊ）を設定する。また、監視領域は、例えば、車両や人の飛び出しなど、新たなオブジェクトが急に出現する可能性がある領域等に設定される。
ヒストグラム生成部１５では、図３に示すように、色インデックスメモリ１４に記憶された色情報配列に基づいて、注目する色インデックスｃｉが付与されたマクロブロックの数を、画像の水平方向に沿ったマクロブロックの水平座標ｍ（ｍ＝１，２，…，Ｍ）毎に、画像の垂直方向に沿って累積することで色ヒストグラムＨci（ｍ）を生成する。つまり、１フレームの画像について、色インデックスの数（Ｐ個）の色ヒストグラムＨci（ｍ）が生成されることになる。
また、ヒストグラム生成部１５において、マクロブロックの累積を行う垂直方向の範囲は、色アプリ実行部１６からの設定によって任意に変更できるように構成されている。
なお、図３では、図面を見易くするため、色情報配列の垂直方向のマクロブロック数を少なくして記述している。
図１に戻り、色アプリ実行部１６は、カラー画像の典型的な場面を表すシーン毎に、そのシーン中に含まれる代表的なオブジェクトや典型的な状態等を表現する語彙を対応づけてなるシーン分類辞書を記憶するシーン分類辞書記憶部１７と、マイクロコンピュータにより構成され、後述するワイパー検出処理にて使用されるテンプレートを記憶するテンプレート記憶部１８と、色インデックスメモリ１４に格納された色インデックス画像データ、ヒストグラム生成部１５にて生成された色ヒストグラムＨci（ｍ）、シーン分類辞書記憶部１７に記憶されたシーン分類辞書、テンプレート記憶部１８に記憶されたテンプレート、外部から供給される動作モード選択データＡＭ，車速データＶ，天候データＴＥＮ、後述するオブジェクトインデックスメモリ２０に格納された既知又は過去のオブジェクトインデックス等に基づいて、オブジェクトの検出や状況の認識など環境認識のための各種処理を実行する処理部１９とからなる。
ここで、シーン分類辞書記憶部１７に記憶されるシーン分類辞書の記述例を表２に示す。
処理部１９では、路側物（例えば街灯，信号機）等といった静止物を検出する静止物検出処理、ワイパーが作動中であるか否かを検出するワイパー検出処理、ワイパー検出処理で用いるテンプレートを生成するテンプレート生成処理、色ヒストグラムに基づいて立体地図を生成する立体地図生成処理、注意を要する状況を検出する要注意状況検出処理、前方車両に関する情報を検出する前方車両検出処理等を実行する。
これら各処理は、動作モード選択データＡＭから特定される動作モードと予め対応づけられており、動作モード選択データＡＭの内容に従って、実行する処理が適宜選択される。
なお、動作モード選択データＡＭは、車両の運転者によって入力されるものであってもよいし、当該装置やその他の車載装置にて認識された状況に応じて自動的に生成されるものであってもよい。また、車速データＶは、車両に搭載された車速センサの出力から求められたものであってもよいし、ナビゲーション装置やＧＰＳ受信器などにて求められたものであってもよい。
ここで、処理部１９が実行する各処理の詳細について説明する。
［静止物検出処理］
まず、静止物検出処理を、図４に示すフローチャートに沿って説明する。
本処理が起動すると、まず、認識の対象となる対象オブジェクト（静止物）を選択する（Ｓ１１０）。具体的には、シーンの指定がある場合には、シーン分類辞書記憶部１７に記憶されているシーン分類辞書を検索することにより、その指定されたシーンに対応するオブジェクトの一つを対象オブジェクトとして選択し、シーンの指定がない場合は、シーン分類辞書を用いることなく、認識の対象とすべき全てのオブジェクトの中から、いずれか一つを順番（例えば、重要度の高い順）に選択する。
なお、シーンは、外部から入力される各種情報、例えば、現在位置の情報や、動作モード選択データＡＭ，天候データＴＥＮ等に基づいて指定されるものであってもよいし、処理部１９での処理の結果として認識されたオブジェクト、又は当該装置の後段で実行されるより上位の認識処理によって認識されたオブジェクトに基づいて指定されるものであってもよい。
次に、Ｓ１１０にて選択された対象オブジェクトに従って、各種パラメータを設定する（Ｓ１２０）。ここで設定されるパラメータは、ヒストグラム生成部１５にて色情報配列の垂直方向にマクロブロック数の累積を行う際の範囲を定める累積範囲Ｒと、後述する累積フレーム数Ｋの算出に用いる標準距離Ｄと、処理の対象とする色インデックスの種類を定める注目色ｃｉ（ｉ＝１，２，…，Ｐsp）と、後述する色別評価値Ｓciを算出する際に使用する重み関数Ｗciとからなる。
つまり、累積範囲Ｒは、対象オブジェクトが信号機や道路標識などのように、画面中の垂直方向（高さ方向）の決められた範囲内に存在する可能性が高いものである場合に、その存在する可能性が高い領域でのみを対象として色ヒストグラムの生成を行わせるためのものである。従って、特に高さ方向に特徴のないオブジェクトについては、垂直方向の全範囲が累積範囲Ｒとなる。
また、標準距離Ｄは、対象オブジェクトが街灯や信号機のように繰り返し現れるものである場合は、その平均的な配置間隔などに基づいて設定され、そのような特定の繰り返しパターンがない場合は、ある一定の値に設定される。
注目色ｃｉは、対象オブジェクトに特徴的なＰsp色（１≦Ｐsp≦Ｐの整数）が設定される。例えば、対象オブジェクトが信号機である場合には、｛緑、黄、赤｝が注目色ｃ１，ｃ２，ｃ３として設定され、また、対象オブジェクトが車両のテールランプである場合には、｛赤｝が注目色ｃ１として設定される。
重み関数Ｗciは、画面中の水平方向の位置（マクロブロックの水平座標ｍ）のそれぞれについて、対象オブジェクトが存在する確率の高い位置ほど重みが大きくなるように設定される。また、注目色ｃｉが複数存在する場合には、その注目色ｃｉ毎に異なる重み関数が設定される。但し、同じ対象オブジェクトについては、全ての注目色ｃｉに対して同じ重み関数Ｗciを用いるように設定してもよい。
次に、Ｓ１２０にて設定したパラメータのうち、累積範囲Ｒを用いて、ヒストグラム生成部１５が色ヒストグラムＨci（ｍ）を生成する際に、垂直方向にマクロブロック数の累積を行う範囲を設定する（Ｓ１３０）。
そして、車速Ｖを取得し（Ｓ１４０）、その取得した車速Ｖと予め設定された下限値Ｖmin とを比較して（Ｓ１５０）、車速Ｖが下限値Ｖmin 以上であれば、（５）式を用いて車速Ｖに応じた累積フレーム数Ｋを算出し（Ｓ１６０）、車速Ｖが下限値Ｖmin より小さければ、（６）式を用いて車速Ｖに関係なく累積フレーム数Ｋを算出する（Ｓ１７０）
Ｋ＝Ｄ×Ｆ／Ｖ （５）
Ｋ＝Ｆ×Ｔconst （６）
但し、Ｋは小数点を切り上げた整数で表される。また、Ｆ［frm/s］ は、映像処理のフレームレート、Ｔconst［s］は、固定時間であり、例えば、交差点で信号機が赤信号である場合の平均停止時間などに設定される。そして、この場合、Ｔconst ＝Ｄ／Ｖmin となるように下限値Ｖmin が設定される。
つまり、（５）式では、車両が標準距離Ｄだけ進むのに要する時間（Ｄ／Ｖ）の間に処理されるＩフレーム数を、累積フレーム数Ｋとして求めている。但し、信号機が赤信号であることにより交差点で停止する場合や、渋滞等により車速Ｖが極端に小さくなった場合では、（５）式で算出される累積フレーム数Ｋは非常に大きなものとなり、許容できない処理の遅延を生じさせるため、（６）式を用いて、車速Ｖとは無関係に累積フレーム数Ｋを求めるようにされている。
次に、ヒストグラム生成部１５にて生成された全ての注目色ｃｉについての色ヒストグラムＨci（ｋ，ｍ）を、それぞれＫフレーム分ずつ取り込む（Ｓ１８０）。そして、その取り込んだ色ヒストグラムＨci（ｋ，ｍ）と、Ｓ１２０にて設定された重み関数Ｗci（ｍ）とに基づいて、（７）式を用いて注目色ｃｉ毎の色別評価値Ｓciを算出する（Ｓ１９０）。但し、Ｈci（ｋ，ｍ）におけるｋは、ｋ番目のフレームに基づく色ヒストグラムであることを示す。
更に、このＳ１９０にて、注目色ｃｉのそれぞれについて算出された色別評価値Ｓciを、（８）式に示すように、全て加算することで統合評価値Ｓを算出する（Ｓ２００）。
そして、統合評価値Ｓと対象オブジェクトに応じて予め設定された評価閾値Ａobとを比較し（Ｓ２１０）、統合評価値Ｓが評価閾値Ａob以上であれば、Ｓ１１０にて選択された対象オブジェクトが画像中に存在する旨の認識結果を生成し（Ｓ２２０）、一方、統合評価値Ｓが評価閾値Ａobより小さければ、対象オブジェクトが画像中に存在しない旨の認識結果を生成して（Ｓ２３０）、本処理を終了する。
なお、累積フレーム数Ｋが大きいほど、対象オブジェクトの認識結果を得るまでに大きな遅延が生じることになるため、係数α（０＜α≦１）を設定し、Ｓ１８０，Ｓ１９０では、Ｋの代わりにα×Ｋを使用する共に、評価閾値もＡobの代わりにα×Ａobを使用することで、遅延を抑えるようにしてもよい。
この静止物検出処理において、例えば、Ｓ１１０にて選択された対象オブジェクトが街灯である場合、注目色ｃｉとしては、赤の一色のみが設定され、また、重み関数Ｗci（ｍ）は、図５に示すように、画面中央から右側にかけて重みが大きくなるように設定されたもの（図中ＧＡＩ参照）が用いられる。また、標準距離Ｄは、街灯の標準的な設置間隔に設定される。
即ち、道路を照らす街灯は、通常、三次元位置としては中央分離帯に代表される道路中央部の上部に位置する。また、日本では一般に車両は左側通行である。その結果、夜間の車載カメラ１の映像では、この街灯が画面の水平座標中央部から右側付近に赤い色成分をまき散らし、赤インデックスが付与されたマクロブロックの数が増えるためである。
なお、走行中は、個々の街灯を一瞬の間に通過するため、赤の色ヒストグラムＨci（ｋ，ｍ）を時系列的に眺めた場合、色ヒストグラムのピークが街灯の前後で連続して現れることになる（図１３のＰ１，Ｐ２，Ｐ４参照）。また、累積フレーム数Ｋが、街灯の標準的な設置間隔に設定された標準距離Ｄに基づいて設定されているため、街灯が存在する場所であれば、本処理をどのようなタイミングで実行しても、ほぼ確実に街灯の存在を認識することができる。
また、この静止物検出処理において、例えば、Ｓ１１０にて選択された対象オブジェクトが信号機である場合、注目色ｃｉとしては、赤，黄，緑の三色が設定され、また、重み関数Ｗci（ｍ）は、図５に示すように、画面中央から左側にかけて重みが大きくなるように設定されたもの（図中ＳＩＧ参照）が用いられる。また、標準距離Ｄは、市街地における交差点の標準的な設置間隔に設定され、更に、信号機の高さ方向の位置はほぼ一定であるため、その高さに応じて累積範囲Ｒも設定される。
このように累積範囲Ｒを設定した場合、累積範囲Ｒ外に位置する信号機以外のオブジェクトが生じさせる注目色ｃｉ（赤，黄，緑）の成分、つまり誤認要因が、確実に排除されるため、信号機の認識精度が向上する。
なお、ここでは、赤，黄，緑の全てを注目色ｃｉとしたが、いずれか一色のみを注目色ｃｉとして設定してもよい。但し、複数色を用いる方が信頼性を向上させることができることは言うまでもない。
また、これら街灯や信号機を対象オブジェクトとして連続的に検出した場合には、その検出状況の変化から、交差点の通過や交差点での停止（図１３のＰ３，Ｐ５参照）、渋滞の発生等といった車両の走行状況も認識することが可能となる。
［要注意状況検出処理］
次に、要注意状況検出処理について、図６に示すフローチャートに沿って説明する。
本処理では、まず、ヒストグラム生成部１５から新たなフレームｋの色ヒストグラムＨci（ｋ，ｍ）を取得するまで待機し（Ｓ３１０）、色ヒストグラムＨci（ｋ，ｍ）を取得すると、（９）式に従って、前回取得した色ヒストグラムＨci（ｋ−１，ｍ）とのフレーム間差分を、全色について加算した要注意評価値Ｓcaを算出する（Ｓ３２０）。
そして、算出された要注意評価値Ｓcaと予め設定された画面急変化判定閾値ＴＨcaとを比較し（Ｓ３３０）、要注意評価値Ｓcaが画面急変化判定閾値ＴＨca以上であれば、画面全体に急激な変化が見られ要注意状況である旨の要注意通知を出力する（Ｓ３４０）。
その後、外部から入力された天候データＴＥＮに基づいて降雨の有無を判断し（Ｓ３５０）、降雨がないと判断した場合は、Ｓ３１０に戻る。
一方、降雨があると判断した場合は、取得した色ヒストグラムＨci（ｋ，ｍ）のうち、赤（ｃｉ＝ｒ）のヒストグラムＨｒ（ｋ，ｍ）について、（１０）式に従って、その構成要素をすべて加算することで赤の画面総和値ＳＡｒ（ｋ）を算出する（Ｓ３６０）。
更に、予め設定されたフレーム数をＫneとして、（１１）式に従って、赤の画面総和値ＳＡｒ（ｋ）の現在値ＳＡｒ（Ｋne）とフレーム数Ｋneにわたるフレーム間差分の重み付け累積値との和をとることで接近評価値Ｓneを算出する（Ｓ３７０）。ただし、安全性を考慮して、フレーム間差分の重み係数Ｗｋに関しては
・フレーム間差分の値が負のときは正のときに比べてＷｋを小さくするまたはゼロにする
・フレーム間差分の値が正のときはｋがＫneに近いほどＷｋを大きくする
といった配慮を施すことが考えられる。
そして、算出された接近評価値Ｓneと予め設定された接近判定閾値ＴＨneとを比較し（Ｓ３８０）、接近評価値Ｓneが接近判定閾値ＴＨneより小さければ、そのままＳ３１０に戻り、接近評価値Ｓneが接近判定閾値ＴＨne以上であれば、前方車両に急接近した要注意状況である旨の要注意通知を出力して（Ｓ３９０）、Ｓ３１０に戻る。
つまり、画面全体に大きな変化があるのは、車両の進行方向の急激な変化や、車両の近くでの障害物の突然の出現等が考えられ、注意を要する状況である場合が多いため、画面全体の変化の度合いを要注意評価値Ｓcaにより求めている。
また、雨天時は雨だれによるフロントガラス上の拡散光で、赤の色ヒストグラムＨｒ（ｋ，ｍ）が前方車両のストップランプの点灯に対して敏感に反応し、前方車両への接近に伴い画面全体での赤ブロックの数の総和が顕著に増大するため、その増大する度合いを接近評価値Ｓneにより求めている。
［テンプレート生成処理］
次に、後述するワイパー検出処理にて使用するテンプレート生成処理について、図７に示すフローチャートに沿って説明する。
なお、テンプレートは、ワイパーの作動中に、車載カメラ１で撮影された画像に映る可能性のあるワイパーの形状を表したものである。
また、本処理の起動時には、背景の明るい場所にてワイパーを作動させた状態で、車載カメラ１での撮影を行い、この撮影で得られたテンプレート生成用画像データ（図８（ａ）参照）に基づく色情報配列が色インデックスメモリ１４に蓄積されているものとする。
本処理が起動すると、まず、色インデックスメモリ１４から、テンプレート生成用画像データに基づく色配列情報を、複数フレーム（ここではＫgen 個）分だけ読み込む（Ｓ４１０）。
読み込んだ色配列情報に基づいて、図８（ｂ）に示すように、各フレーム毎に、黒の色インデックスに対応する色情報が付与されたマクロブロックにラベル「１」を付与し、それ以外の色情報が付与されたマクロブロックにラベル「０」を付与した二値配列Ｂshot（ｋ，ｍ，ｎ）を生成する（Ｓ４２０）。なお、ｋはフレームの識別番号、ｍはマクロブロックの水平座標、ｎはマクロブロックの垂直座標である。また、二値配列Ｂshot（ｋ，ｍ，ｎ）は、Ｌ（＝Ｍ×Ｎ）次元ベクトルとみなすこともできる。
ここで、二値配列Ｂshot（ｋ，ｍ，ｎ）において、配列（画面）の左端及び上端に位置するマクロブロックを特定するための識別アドレスをｉとして、左端に位置するマクロブロックのアドレス（ｍ，ｎ）＝（１，１），（１，２），…（１，Ｎ）を識別アドレスｉ＝１，２，…Ｎに対応させ、また、上端に位置するマクロブロックのアドレス（１，Ｎ），（２，Ｎ），…（Ｍ，Ｎ）を識別アドレスｉ＝Ｎ，Ｎ＋１，…Ｍ＋Ｎ−１に対応させるものとする。
また、フレームｋの二値配列Ｂshot（ｋ，ｍ，ｎ）において、識別番号ｉで特定されるマクロブロックのうち、ラベル「１」が付与され且つ識別番号ｉが一番小さいもの（下端寄り又は左端寄りのもの）をエッジアドレスＩedge(ｋ)とする。
そして、Ｓ４２０にて生成された二値配列Ｂshot（ｋ，ｍ，ｎ）を、Ｌ（＝Ｍ×Ｎ）次元のベクトルＢshot(ｋ)とみなし、（１２）式を用いて、エッジアドレスＩedge(ｋ)が同じ値となるベクトルＢshot(ｋ)同士を加算することで、Ｌ次元のベクトルＢｗ(ｉ)を識別アドレスｉ毎に求める（Ｓ４３０）。
なお、ベクトルＢshot（ｋ）を二値配列Ｂshot（ｋ，ｍ，ｎ）とも記述することができるのと同様に、ベクトルＢｗ（ｉ）を加算値配列Ｂｗ（ｉ，ｍ，ｎ）とも記述することができる。
このようにして得られた各加算値配列Ｂｗ（ｉ，ｍ，ｎ）の値を、それぞれ予め設定された上限値ｂmax で正規化し、その正規化された値と予め設定された閾値ｂth（≦ｂmax）とを比較することで、各マクロブロックの値を二値化する（Ｓ４４０）。具体的には、正規化した値が閾値ｂth（≦ｂmax ）以上であるマクロブロックは、ワイパーの一部であるものとして、その値を「１」に書き替え、正規化した値が閾値ｂthより小さいマクロブロックは、ワイパーの一部ではないものとして、その値を「０」に書き替える。
このようにして、各マクロブロックの値が二値化された加算値配列Ｂｗ（ｉ，ｍ，ｎ）を、テンプレートＢｗ（ｉ，ｍ，ｎ）として、テンプレート記憶部１８に格納して（Ｓ４５０）、本処理を終了する。
これにより、図８（ｃ）に示すように、Ｍ＋Ｎ−１個のテンプレートＢｗ（ｉ，ｍ，ｎ）が自動的に生成される。
［ワイパー検出処理］
次に、ワイパー検出処理について、図９に示すフローチャートに沿って説明する。
本処理が起動すると、まず、色インデックスメモリ１４から読み出したフレームｋの色情報配列に基づいて、先のＳ４２０での処理と同様に、二値配列Ｂshot（ｋ，ｍ，ｎ）を生成する（Ｓ５１０）。
テンプレート記憶部１８に格納された全てのテンプレートＢｗ（ｉ，ｍ，ｎ）について、Ｓ５１０にて生成された二値配列Ｂshot（ｋ，ｍ，ｎ）との近似度を評価する評価値Ｑ（ｉ，ｋ）を、（１３）式に従って算出する（Ｓ５２０）。
但し、Ｗｗ（ｉ，ｍ，ｎ）は、テンプレート、及びマクロブロックの位置に応じて設定される荷重係数であり、画面の左端及び上端に位置するマクロブロックの重みが他の部分より高くなるように設定されている。
Ｓ５２０にて算出した評価値Ｑ（ｉ，ｋ）の中で、その値が最大のもの（近似度が最も高いもの）を、最大値Ｑ（ｉmax ，ｋ）として抽出し（Ｓ５３０）、その抽出した最大値Ｑ（ｉmax ，ｋ） と予め設定された閾値Ｑthとを比較し（Ｓ５４０）、最大値Ｑ（ｉmax ，ｋ）が閾値Ｑth以上であれば、フレームｋの画像中には、テンプレートＢｗ（ｉmax ）で特定される位置にワイパーが存在する旨の認識結果を生成し（Ｓ５５０）、最大値Ｑ（ｉmax ，ｋ）が閾値Ｑthより小さければ、フレームｋの画像中にはワイパーが存在しない旨の認識結果を生成する（Ｓ５６０）。なお、これらの判定結果は、過去Ｋkeepフレーム分だけメモリに格納される。
次に、Ｓ５６０にてメモリに格納された判定結果に基づき、（１４）式に従って、過去Ｋフレーム中にワイパーが存在すると判定された度数Ｎexを求め（Ｓ５７０）、その度数Ｎexと予め設定された作動判定閾値Ｎthとを比較し（Ｓ５８０）、度数Ｎexが作動判定閾値Ｎth以上であれば、ワイパーは作動中である旨の認識結果を生成し（Ｓ５９０）、度数Ｎexが作動判定閾値Ｎthより小さければ、ワイパーは停止中である旨の認識結果を生成して（Ｓ６００）、本処理を終了する。
なお、作動判定閾値Ｎthは、例えば、αを定数（Ｏ．５≦α≦１．０）、ｆｗをワイパーの動作速度［往復回数／秒］、Ｆを画像のフレームレート［フレーム／秒］として、（１４）式にて算出される値を用いることができる。
Ｎth＝α・Ｋ・ｆｗ ／｛ Ｆ・（Ｍ＋Ｎ−１）｝ （１４）
これにより、ワイパーの制御装置からの入力信号を得ることができなくても、映像のみからワイパー動作の有無を自動検知することが可能となると共に、各フレーム毎に、ワイパーの位置も特定することが可能となる。
［前方車両検出処理］
次に、前方車両検出処理を、図１０に示すフローチャートに沿って説明する。
本処理が起動すると、まず、色インデックスメモリ１４から読み出した色情報配列に基づいて、赤の色インデックスに対応する色情報が付与され、且つ水平方向に並んだ一対のマクロブロックＭＢ１，ＭＢ２を、ストップランプ候補として抽出し（Ｓ７１０）、予め設定された車間距離ＤＣLを特定するためのパラメータＬを１に設定する（Ｓ７２０）。
なお、本実施形態では、この車間距離ＤＣLとして、｛５ｍ，１０ｍ，２０ｍ，５０ｍ，１００ｍ，２００ｍ以上｝の６段階が設定されている。また、車間距離ＤＣL に応じて、その車間距離ＤＣLにある車両の画面上での車幅ＤＷLも予め設定されている。
次に、Ｓ７１０にてストップランプ候補として抽出されたマクロブロックＭＢ１，ＭＢ２に基づき、その水平方向の中心位置を中心とする車幅ＤＷLの車両を仮定する（Ｓ７３０）。なお、以下では、マクロブロックＭＢ１，ＭＢ２の水平座標をｍｂ１，ｍｂ２とし、また、仮定した車両の端部に位置するマクロブロックの水平座標のいずれか一方（本実施形態では左側）を、基準位置ｍｂ０とする。
そして、基準位置ｍｂ０に対するストップランプ候補の位置であるランプ位置ｄｉL （ｉ＝１，２）を、（１５）式により算出し（Ｓ７４０）、更に、そのランプ位置ｄｉL と、車幅ＤＷLとに基づいて、（１６）式により評価値ＲｉLを算出する（Ｓ７５０）。
ｄｉL ＝ｍｂｉ−ｍｂ０ （１５）
ＲｉL ＝ｄｉL ／ＤＷL （１６）
その後、車間距離ＤＣLを特定するためのパラメータＬをインクリメント（Ｌ←Ｌ＋１）して（Ｓ７６０）、パラメータＬが、車間距離ＤＣLの段階数Ｌmax （＝６）より大きいか否かを判断する（Ｓ７７０）。そして、パラメータＬが段階数Ｌmax 以下であれば、Ｓ７３０に戻って、上述したＳ７３０〜Ｓ７７０の処理を繰り返し実行する。
一方、パラメータＬが段階数Ｌmax より大きければ、車間距離毎に得られた評価値ｄ１L，ｄ２Lに基づき、０に最も近い評価値ｄ１L、又は１に最も近い評価値ｄ２Lを抽出し、その抽出した評価値ｄｉLに付与されたパラメータＬに従って、そのパラメータＬにて特定される車間距離を、ストップランプ候補の位置にストップランプを有する前方車両までの車間距離と推定して、その旨を表すオブジェクト情報を生成する（Ｓ７８０）。
更に、そのストップランプ候補として抽出されたマクロブロックＭＢ１，ＭＢ２の輝度値（Ｙ成分）を取得し、その輝度値と予め設定された点灯閾値とを比較することにより、輝度値が点灯閾値より大きければテールランプが点灯していることを表すオブジェクト情報を生成し、また、その輝度値が点灯閾値以下であればテールランプが消灯していることを表すオブジェクト情報を生成する（Ｓ７９０）。
また、マクロブロックＭＢ１，ＭＢ２の中心位置から上下に位置するマクロブロックの色情報を取得し、その色情報を前方車両の色として、その旨を表すオブジェクト情報を生成して（Ｓ８００）本処理を終了する。
そして、本処理は、色情報配列中に存在する全てのストップランプ候補が抽出されるまで繰り返し実行される。
このように、本処理では、色情報配列上の赤インデックスに対応する色情報が付与されたマクロブロックを抽出して、仮想的な車両と比較するという簡単な処理により、領域分割などの複雑で処理量の多い処理を実行することなく、前方車両を検出することができる。
［立体地図生成処理］
本処理では、車速ＶとフレームレートＦに基づいて、色ヒストグラムＨci（ｍ）の生成周期の間に移動した距離を算出し、その算出した距離に応じて色ヒストグラムＨci（ｍ）を配列することで、画像中の水平方向の位置、着目する色インデックスに対応する色情報が付与されたマクロブロックを画像中の垂直方向に積算した値、距離を、三つの軸に割り当てた三次元の色立体地図を構成する。
即ち、ヒストグラム生成部１５にて生成される色ヒストグラムＨci（ｍ）を単純に並べることでも三次元の色立体地図を生成できるが、この場合、色ヒストグラムＨci（ｍ）が一定の時間間隔で並ぶため、車速Ｖが常に一定でない限り、その時間軸方向（車両の進行方向）の色ヒストグラムの配置は、実際の距離に応じたものとはならず、地図としては不正確なものとなる。
しかし、本処理によって生成された色立体地図では、色ヒストグラムが距離に応じて配置されることになるため、車両の進行方向に対する各色のオブジェクト（光源とそれに影響されるブロック画素に対応した空間）の概略的な分布を正しく把握することが可能となる。
なお、本処理により生成された色立体地図と、カーナビなど外部機器から得られる地図データとを組み合わせて、地図上に色インデックス（色立体地図）をマッピングする等してもよい。この場合、より方角や位置の精度を向上させた色立体地図を生成することが可能となる。
次に、図１に戻り、環境認識装置３は、更に、色アプリ実行部１６での処理結果であるオブジェクトや状況等の認識結果を画像データ（フレーム）と対応づけて格納するオブジェクトインデックスメモリ２０と、同じく色アプリ実行部１６での処理結果（立体地図生成処理）である立体地図を格納する立体地図メモリ２１と、オブジェクトインデックスメモリ２０の記憶内容と他装置からのオブジェクト関連情報に基づいて、両者に矛盾がある場合に異常事態であることを示す異常通知を出力する異常事態検出部２２と、オブジェクトインデックスメモリ２０の記憶内容に基づいて、車両周辺の状況をＸＭＬで記述した状況記述を自動生成する状況記述生成部２３と、車載カメラ１からの画像データ、色インデックスメモリ１４に記憶された色情報、オブジェクトインデックスメモリ２０に格納されたオブジェクトの認識結果に基づき、表示モード選択データＤＭに従って、表示用の画像データを生成する表示画像データ生成部２５とを備えている。
このうち、オブジェクトインデックスメモリ２０に格納される認識結果は、前方車両，対向車両，道路標識，交差点，ビル，空，海岸といった具体的に存在する個々のオブジェクト（上述の静止物検出処理，前方車両検出処理で検出されるオブジェクトを含む）を表すオブジェクトインデックスと、天気，渋滞，危険などといったシーン全体或いはその一部の特徴から認識される状態（上述のワイパー検出処理で検出されるワイパーの作動状態等を含む）を表す属性インデックスとからなる。
異常事態検出部２２は、他装置からのオブジェクト関連情報として、例えば、ナビゲーション装置の地図データから得られる交差点情報や、ワイパーの作動スイッチの操作状態を表す情報等があり、これらの情報が、上述の静止物検出処理やワイパー検出処理での検出結果と異なる場合に、当該装置３またはオブジェクト関連情報の供給元となった装置のいずれかに異常事態が発生しているものとして、その旨を表す異常通知を出力する。
表示画像データ生成部２５では、表示モード選択データＤＭに従って、例えば、色インデックス画像データや、オブジェクトインデックス画像データなどを生成する。
このうち、色インデックス画像データは、色インデックスメモリ１４に格納された色情報配列から、指定した色インデックスに対応する色情報が付与されたマクロブロックを抽出し、その抽出したマクロブロックを、車載カメラ１からの画像データに重ねて表示する際に用いる画像データである。
また、オブジェクトインデックス画像データは、オブジェクトインデックスメモリ２０に格納された認識結果や状況を、車載カメラ１からの画像データに重ねて表示する際に用いる画像データである。
この表示画像データ生成部２５にて生成された画像データは、当該環境認識装置３に直接又は通信回線（車載ＬＡＮなど）を介して間接的に接続されたモニタに表示される。
なお、状況記述生成部２３にて生成された状況記述や、立体地図メモリに記憶された立体地図データ、その他の各種通知（危険通知，異常通知，要注意通知）は、例えば、より高度な画像認識処理を実行する際に、誤認識要因を除去するための知識データ等として使用される。
また、状況記述や立体地図データは、車両に搭載された通信装置を介して他車両や状況記述を収集する基地局などに送信され、各種アプリケーションの基礎データ等として用いられる。また、各種通知は、運転者への報知や、その通知内容に対応した車両制御を起動するトリガー等として使用される。
以上説明したように、本実施形態では、画素単位ではなくマクロブロック単位で色情報を付与し、そのマクロブロック単位で表現された色配列情報や色ヒストグラムを用いることにより、領域分割（形状獲得）を行うことなく、オブジェクトや状況を認識するようにされている。
従って、本実施形態の環境認識装置３によれば、画素単位で色情報を付与し領域分割を行う従来装置と比較して、オブジェクトや状況の認識のための処理負荷を大幅に軽減することができ、カラー画像におけるオブジェクトや状況の認識を平易に行うことができる。
また、本実施形態では、ＭＰＥＧ形式で符号化された画像データを環境認識装置３に入力するようにされている。このため、ブロック平均色算出部１１では、その画像データに含まれるＤＣＴ係数の直流成分を復号するだけで、ブロック平均色を容易に求めることができ、平均色を求めるための処理を大幅に削減することができる。
また、本実施形態では、ヒストグラム生成部１５が色ヒストグラムを生成する際に、着目する色インデックスに対応する色情報が付与されたマクロブロックを垂直方向に積算する範囲を、任意に設定できるようにされている。
このため、本実施形態の環境認識装置３によれば、対象オブジェクトが存在し得ない高さに位置し、且つ対象オブジェクトと同色を有する他のオブジェクトの影響を、色ヒストグラムから確実に排除することができ、色ヒストグラムを用いた対象オブジェクトの認識精度を向上させることができる。
また、本実施形態では、マクロブロックの平均色のフレーム間変化や、色ヒストグラムＨci（ｋ）や着目する色の画面総和値ＳＡｒ（ｋ）のフレーム間変化を求めることにより、オブジェクトの認識と同様に、領域分割（形状獲得）を行うことなく、危険度や要注意状況を認識するようにされている。従って、この種の緊急度を要する状況を、速やかに認識することができ、その認識結果を用いることによって、車両の制御性や安全性を向上させることができる。
また、本実施形態では、色配列情報や色ヒストグラムに基づく認識結果を、外部装置から得られるターゲット関連情報と比較することにより、両者に矛盾がある場合には異常事態が発生したものとするようにされているため、認識結果の信頼性をより向上させることができる。
本実施形態において、ブロック平均色算出部１１が画像データ取得手段及び平均色算出手段、色判定部１３が色情報付与手段、ヒストグラム生成部１５が色ヒストグラム生成手段、色アプリ実行部１６がオブジェクト情報付与手段、シーン分類辞書記憶部１７がシーン分類辞書記憶手段、テンプレート記憶部１８がテンプレート記憶手段、異常事態検出部２２が異常事態判定手段、危険度算出部２４が危険度算出手段に相当する。
また、Ｓ１１０がオブジェクト指定手段、Ｓ１２０〜Ｓ１９０が色別評価値算出手段、Ｓ３２０が第一差分算出手段、Ｓ３３０〜Ｓ３４０が第一要注意状況検出手段、Ｓ３６０が全画面値生成手段、Ｓ３７０が第二差分算出手段、Ｓ３８０〜Ｓ３９０第二要注意状況検出手段、Ｓ４２０〜Ｓ４３０が累積加算手段、Ｓ４４０〜Ｓ４５０がテンプレート生成手段、Ｓ５１０が二値化手段、Ｓ５２０〜Ｓ５６０がワイパー検出手段、Ｓ５７０が度数算出手段、Ｓ７１０が候補抽出手段、Ｓ７２０〜Ｓ７８０が車間距離推定手段、Ｓ７９０が点灯判別手段、Ｓ８００が車色抽出手段に相当する。
［第２実施形態］
次に、第２実施形態について説明する。
第１実施形態では、色ヒストグラムを使用してオブジェクトを検出する静止物検出処理を、色アプリ実行部１６の処理部１９が実行する処理の一つとして実現したが、本実施形態では、この処理を、ベクトル演算が可能な専用のプロセッサにより実行する以外は、全く同様に構成されている。このため、本実施形態では、この第１実施形態とは異なる部位についてのみ説明する。
即ち、本実施形態において、色アプリ実行部１６は、対象オブジェクトＸ＄，フレームレートＦ，車速Ｖ，色ヒストグラム行列Ｈを入力として、対象オブジェクトの有無を出力するプロセッサ３０を備えている。
なお、色ヒストグラム行列Ｈは、単一フレームの画像データに基づいてヒストグラム生成部１５にて生成される全色インデックスについての色ヒストグラムＨc1〜ＨcPを並べることで構成されたＭ行Ｐ列の行列（（１７）式参照）からなる。そして、このフレーム毎に生成される色ヒストグラム行列Ｈは、ヒストグラム生成部１５から順次供給されるものとする。
Ｈ＝［Ｈc1，Ｈc2，…，Ｈcp］ （１７）
また、対象オブジェクトＸ＄は、第１実施形態における静止物検出処理のＳ１１０での処理と同様に、シーンの指定がある場合には、シーン分類辞書記憶部１７に記憶されているシーン分類辞書を検索することにより、その指定されたシーンに対応するオブジェクトの一つを対象オブジェクトとして選択し、シーンの指定がない場合は、シーン分類辞書を用いることなく、認識の対象とすべき全てのオブジェクトの中から、いずれか一つを順番（例えば、重要度の高い順）に選択する。
そして、プロセッサ３０は、対象オブジェクトＸ＄に基づいて、その対象オブジェクトＸ＄に応じた荷重係数行列Ｗ及び距離ベクトルＶＤを生成する可変要素生成部３１と、可変要素生成部３１にて生成された距離ベクトルＶＤ及び外部から供給されるフレームレートＦ及び車速Ｖに従って、期間ベクトルＶＫを生成する監視期間設定部３２と、色ヒストグラム行列Ｈと荷重係数行列Ｗとの行列演算を実行して評価単位ベクトルＨＶを生成する行列演算部３３と、行列演算部３３で生成された評価単位ベクトルＨＶの各要素を、期間設定部３２にて設定された期間ベクトルＶＫの内容に従って１乃至複数フレーム分累積することで色別評価ベクトルＶＳを生成する累積部３４と、累積部３４にて生成された色評価ベクトルＶＳの各要素（色別評価値Ｓci）を加算することで統合評価値Ｓを生成する加算部３５と、加算部３５にて生成された統合評価値Ｓを、予め設定された判定閾値と比較することにより、対象オブジェクトの有無を判定し、その判定結果を出力する判定部３６とからなる。
但し、荷重係数行列Ｗは、マクロブロックの水平座標のそれぞれに対応したＭ個の係数ｗ１〜ｗＭを並べてなる荷重係数ベクトルｗci（（１８）式参照）を、全ての色インデックスについて並べたＰ行Ｍ列の行列（（１９）式参照）からなる。
ｗci＝（ｗ１，ｗ２，…,ｗＭ）T （１８）
Ｗ＝［ｗc1，ｗc2，…，ｗcP ］ （１９）
距離ベクトルＶＤは、色インデックスのそれぞれについて設定された標準距離Ｄc1〜ＤcPを並べてなるＰ次元の列ベクトル（（２０）式参照）からなる。
ＶＤ＝（Ｄc1，Ｄc2，…，ＤcP）T （２０）
期間ベクトルＶＫは、色インデックスのそれぞれについて算出される監視期間Ｋc1〜ＫcPを並べてなるＰ次元の列ベクトルからなり、（２１）式により算出される。
ＶＫ＝（Ｋc1，Ｋc2，…，ＫcP）T ＝ＶＤ×Ｆ／Ｖ （２１）
色別評価ベクトルＶＳは、色インデックスのそれぞれについて算出される色別評価値Ｓc1〜ＳcPを並べてねるＰ次元の列ベクトル（（２２式参照）からなる。
ＶＳ＝（Ｓc1，Ｓc2，…，ＳcP）T （２２）
つまり、上述した静止物検出処理において、Ｓ１１０〜Ｓ１２０が可変要素生成部３１、Ｓ１４０〜Ｓ１７０が期間設定部３２、Ｓ１８０〜Ｓ１９０が行列演算部３３及び累積部３４、Ｓ２００が加算部３５、Ｓ２１０〜Ｓ２３０が判定部３６に対応する。
以上説明したようにプロセッサ３０では、ベクトル演算によって色別評価値（色別評価ベクトルＶＳの各要素）Ｓciを一括して算出すると共に、対象オブジェクトＸ＄毎に異なる距離ベクトルＶＫ及び荷重係数行列Ｗを自動生成して、上記ベクトル演算に反映させるようにされている。
従って、本実施形態の環境認識装置３によれば、対象オブジェクトＸ＄によって標準距離Ｄciや重み係数ｗci、統合評価値Ｓの算出に必要な色インデックスＳciの数や種類等が異なっていても、これらをプロセッサ３０にて統一的に扱うことができ、オブジェクトの認識に必要な処理を簡素化することができる。
本実施形態において、可変要素生成部３１が可変要素生成手段、監視期間設定部３２が期間ベクトル生成手段、行列演算部３３が行列演算手段、累積部３４が累積演算手段に相当する。
［他の実施形態］
以上、本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
上記実施形態では、符号化部２がＭＰＥＧ形式で符号化を行っているが、一つの成分がそのブロックの平均色を表すような符号化を行うものであれば、どのような符号化形式で符号化を行ってもよい。
また、符号化部２が、平均色を表すような成分を持たない符号化形式で符号化を行うように構成されている場合には、ブロック平均色算出部１１は、マクロブロック（１６画素×１６画素）に相当するブロック単位で平均色を算出するように構成すればよい。
上記実施形態では、車速Ｖを、ＧＰＳや車速センサといった他の装置から獲得するように構成されているが、例えば、画像処理により、車速Ｖを求めるようにしてもよい。この場合、フレームレートの変動によらず、常に本装置にて、独立に車速Ｖを算出できる。但し、車速Ｖをオプティカルフローから算出することになるため、車速Ｖの精度は低下する。 また、車速Ｖは、平均的な車両移動速度（例えば、時速５０ｋｍ／ｈ）等といった固定値を用いてもよい。
環境認識装置が適用された車載システムの概略構成を示すブロック図。 マクロブロック毎の平均色の算出に関する説明図。 色ヒストグラムの生成に関する説明図。 静止物検出処理の内容を示すフローチャート。 色ヒストグラムを用いたオブジェクト認識、及び色立体地図に関する説明図。 要注意状況検出処理の内容を示すフローチャート。 テンプレート生成処理の内容を示すフローチャート。 テンプレートの生成に関する説明図。 ワイパー検出処理の内容を示すフローチャート。 前方車両検出処理の内容を示すフローチャート。 前方車両検出に関する説明図。 色ヒストグラムを用いたオブジェクト認識を統一的に実行するプロセッサの構成を示すブロック図。 夜間走行中に生成された赤の色ヒストグラムを時系列的に並べた三次元グラフ。
符号の説明
１…車載カメラ、２…符号化部、３…環境認識装置、１０…色情報生成部、１１…ブロック平均色算出部、１２…色辞書記憶部、１３…色判定部、１４…色インデックスメモリ、１５…ヒストグラム生成部、１６…色アプリ実行部、１７…シーン分類辞書記憶部、１８…テンプレート記憶部、１９…処理部、２０…オブジェクトインデックスメモリ、２１…立体地図メモリ、２２…異常事態検出部、２３…状況記述生成部、２４…危険度算出部、２５…表示画像データ生成部、３０…プロセッサ、３１…可変要素生成部、３２…監視期間設定部、３２…期間設定部、３３…行列演算部、３４…累積部、３５…加算部、３６…判定部。

Claims (20)

  1. 認識すべきオブジェクトである対象オブジェクトを指定するオブジェクト指定手段と、
    車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得する画像データ取得手段と、
    該画像データ取得手段が取得した画像データに基づいて、前記カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する平均色算出手段と、
    該平均色算出手段にて算出された平均色が、予め用意された色インデックスのいずれに属するかを判定し、該判定結果を色情報として前記画素ブロックに対応づけて記憶する色情報付与手段と、
    該色情報付与手段によって対応づけられた色情報と着目する色インデックスとが一致する前記画素ブロックの数を前記カラー画像上の一方向に沿って積算し、その積算値を一次元的に配列してなる色ヒストグラムを、前記色インデックス毎に且つ前記画像データのフレーム単位で時系列的に生成する色ヒストグラム生成手段と、
    該色ヒストグラム生成手段が生成した色ヒストグラムに基づいて、前記オブジェクト指定手段にて指定された対象オブジェクトに関する情報を生成し、該生成情報をオブジェクト情報として前記画像データ取得手段が取得した画像データに対応づけて記憶するオブジェクト情報付与手段と、
    を備えることを特徴とする環境認識装置。
  2. 前記色ヒストグラム生成手段が前記画素ブロックの数を積算する方向は、前記カラー画像中における上下方向であり、前記色ヒストグラムの各要素は、前記上下方向と直交する水平方向の位置に対応づけられていることを特徴とする請求項１に記載の環境認識装置。
  3. 前記色ヒストグラム生成手段は、前記対象オブジェクトに応じて、積算の対象とする画素ブロックの範囲を設定することを特徴とする請求項１又は２に記載の環境認識装置。
  4. 前記色ヒストグラム生成手段にて生成された色ヒストグラムのそれぞれについて、該色ヒストグラムの各要素が対応する前記水平方向の位置のうち、前記対象オブジェクトが存在する可能性の高い位置ほど値が大きくなるように設定された重み係数を用いて、前記色ヒストグラムの要素の重み付け加算を実行し、その重み付け加算の演算結果を、前記対象オブジェクトに応じて設定される監視期間の間だけ積算した結果を色別評価値として算出する色別評価値算出手段を備え、
    前記オブジェクト情報付与手段は、前記色別評価値算出手段にて算出された色別評価値の和を統合評価値とし、該統合評価値が予め設定された評価閾値より大きい場合に、前記カラー画像中に前記対象オブジェクトが存在すると判定し、該判定結果を前記オブジェクト情報とすることを特徴とする請求項１〜３のいずれかに記載の環境認識装置。
  5. 前記色別評価値算出手段は、
    前記監視期間を、当該装置を搭載する車両の車速が予め設定した下限値以上である場合は該車速に反比例した大きさに設定し、該車速が前記下限値より小さい場合は予め設定された固定値に設定することを特徴とする請求項４に記載の環境認識装置。
  6. 前記色別評価値算出手段は、
    オブジェクトに応じて設定される標準距離を、前記色インデックスのそれぞれに対応づけて配列したものを距離ベクトルとすると共に、前記荷重係数を前記色ヒストグラムの各要素に対応づけて配列してなる荷重係数ベクトルを、前記色インデックスのそれぞれに対応づけて配列したものを荷重係数行列とし、前記オブジェクト指定手段にて指定された対象オブジェクトに適した前記距離ベクトル及び前記荷重係数行列を生成する可変要素生成手段と、
    前記監視期間を前記色インデックスのそれぞれに対応づけて配列したものを期間ベクトルとし、前記可変要素生成手段にて生成された距離ベクトル、前記カラー画像のフレームレート、当該装置を搭載する車両の車速に基づいて前記期間ベクトルを生成する期間ベクトル生成手段と、
    前記色ヒストグラム生成手段にて生成された色ヒストグラムを、前記色インデックスのそれぞれに対応づけて配列したものを色ヒストグラム行列とし、該色ヒストグラム行列と、前記可変要素生成手段にて生成された前記荷重係数行列とを行列演算することで、前記色インデックスのそれぞれに対応した前記重み付け加算値を配列してなる評価単位ベクトルを算出する行列演算手段と、
    該行列演算手段にて算出された評価単位ベクトルの各要素を、前記期間ベクトル生成手段にて生成された期間ベクトルの内容に従って累積することにより、前記色別評価値を前記色インデックスのそれぞれに対応づけて配列してなる色別評価ベクトルを生成する累積演算手段と、
    を備え、
    前記オブジェクト情報付与手段は、前記累積演算手段にて生成された色別評価ベクトルの各要素を加算することで前記対象オブジェクトの統合評価値を算出することを特徴とする請求項４又は５に記載の環境認識装置。
  7. 前記カラー画像の典型的な情景を表す複数のシーンのそれぞれについて、該シーンと該シーン中に存在する可能性の高いオブジェクトとを対応付けて記憶したシーン分類辞書を記憶するシーン分類辞書記憶手段を備え、
    前記オブジェクト指定手段は、外部より指定されたシーンに対応付けられたオブジェクトを、前記シーン分類辞書記憶手段から順次読み出して前記対象オブジェクトとして指定することを特徴とする請求項３〜６のいずれかに記載の環境認識装置。
  8. 認識すべきオブジェクトである対象オブジェクトを指定するオブジェクト指定手段と、
    車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得する画像データ取得手段と、
    該画像データ取得手段が取得した画像データに基づいて、前記カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する平均色算出手段と、
    該平均色算出手段にて算出された平均色が、予め用意された色インデックスのいずれに属するかを判定し、該判定結果を色情報として前記画素ブロックに対応づけて記憶する色情報付与手段と、
    該色情報付与手段により前記画素ブロックのそれぞれに対応づけられた色情報に基づいて、前記オブジェクト指定手段にて指定された対象オブジェクトに関する情報を生成し、該生成情報をオブジェクト情報として前記画像データ取得手段が取得した画像データに対応づけて記憶するオブジェクト情報付与手段と、
    を備えることを特徴とする環境認識装置。
  9. 前記カラー画像中のワイパーの位置を表す複数のテンプレートを記憶するテンプレート記憶手段と、
    前記色情報付与手段により黒の色インデックスに対応した色情報が付与された画素ブロックと、それ以外の色情報が付与された画素ブロックとで異なる値を付与した二値化画像を生成する二値化手段と、
    前記テンプレート記憶手段に記憶されたテンプレートと前記二値化手段が生成した二値化画像とのパターンマッチングにより、不使用時の停止位置以外の位置にあるワイパーを検出するワイパー検出手段と、
    予め設定された観測期間の間に、前記ワイパー検出手段にてワイパーが検出された度数を算出する度数算出手段と、
    を備え、
    前記オブジェクト情報付与手段は、前記度数算出手段にて算出された度数が予め設定された動作判定閾値を超える場合に、ワイパーが作動中である旨の情報を前記オブジェクト情報とすることを特徴とする請求項８に記載の環境認識装置。
  10. 当該装置を搭載する車両のワイパーの作動中に前記画像取得手段から取り込んだ画像データに基づいて、前記二値化手段にて生成された二値化画像を、該二値化画像のエッジ上にあるマクロブロックのアドレスを識別子として、識別子で特定されるマクロブロックに黒の色インデックスに対応した色情報が付与されたもの同士でグループ分けし、該グループ毎に同じグループに属する二値化画像を前記画素ブロック単位で累積加算してなる累積加算画像を生成する累積加算手段と、
    該累積加算手段にて生成された累積加算画像について、累積加算値が予め設定された存在判定閾値以上の画素ブロックと、累積加算値が前記存在判定閾値より小さい画素ブロックとで異なる値を付与したものを前記テンプレートとして生成して、前記テンプレート記憶手段に格納するテンプレート生成手段と、
    を備えたことを特徴とする請求項９に記載の環境認識装置。
  11. 前記色情報付与手段により赤の色インデックスに対応した色情報が付与された画素ブロックを赤画素ブロックとして、該赤画素ブロックが水平方向に二つ並んだものをテールランプ候補として抽出する候補抽出手段と、
    該候補抽出手段にて抽出されたテールランプ候補の位置関係が、複数段階の車間距離のそれぞれに対応づけて設定された車幅条件のいずれに適合するかを判定することにより、車間距離を推定する車間距離推定手段と、
    を備え、
    前記オブジェクト情報付与手段は、前記テールランプ候補の位置と、前記車間距離推定手段にて推定された車間距離とで表される車両位置を、前記オブジェクト情報とすることを特徴とする請求項８に記載の環境認識装置。
  12. 前記候補抽出手段にて抽出されたテールランプ候補の輝度に基づいて点灯の有無を判別する点灯判別手段を備え、
    前記オブジェクト情報付与手段は、前記点灯判別手段での判別結果を、前記オブジェクト情報とすることを特徴とする請求項１１に記載の環境認識装置。
  13. 前記候補抽出手段にて抽出されたテールランプ候補の間又はその上下に位置するマクロブロックの色を前方車両の色として抽出する車色抽出手段を備え、
    前記オブジェクト情報付与手段は、前記車色抽出手段での抽出結果を、前記オブジェクト情報とすることを特徴とする請求項１１又は１２に記載の環境認識装置。
  14. 前記オブジェクト情報付与手段にて記憶されるオブジェクト情報と、当該装置外から供給される該対象オブジェクトに関する情報とが不一致である場合に、異常事態であると判定する異常事態判定手段を備えることを特徴とする請求項１〜１３のいずれかに記載の環境認識装置。
  15. 車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得する画像データ取得手段と、
    該画像データ取得手段が取得した画像データに基づいて、前記カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する平均色算出手段と、
    該平均色算出手段にて算出された平均色が、予め用意された色インデックスのいずれに属するかを判定し、該判定結果を色情報として前記画素ブロックに対応づけて記憶する色情報付与手段と、
    該色情報付与手段によって対応づけられた色情報と着目する色インデックスとが一致する前記画素ブロックの数を前記カラー画像上の一方向に沿って積算し、その積算値を一次元的に配列してなる色ヒストグラムを、前記色インデックス毎に且つ前記画像データのフレーム単位で時系列的に生成する色ヒストグラム生成手段と、
    該色ヒストグラム生成手段にて生成される色ヒストグラムのフレーム間差分を、前記色インデックス毎に算出する第一差分算出手段と、
    該第一差分算出手段での算出結果に基づいて、前記カラー画面上に現れた要注意状況を検出する第一要注意状況検出手段と、
    を備えることを特徴とする環境認識装置。
  16. 車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得する画像データ取得手段と、
    該画像データ取得手段が取得した画像データに基づいて、前記カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する平均色算出手段と、
    該平均色算出手段にて算出された平均色が、予め用意された色インデックスのいずれに属するかを判定し、該判定結果を色情報として前記画素ブロックに対応づけて記憶する色情報付与手段と、
    該色情報付与手段によって対応づけられた色情報と着目する色インデックスとが一致する前記画素ブロックの数を前記カラー画像の全体に渡って積算してなる全画面積算値を、前記画像データのフレーム単位で時系列的に生成する全画面積算値生成手段と、
    該全画面積算値生成手段にて生成される全画面積算値のフレーム間差分を算出する第二差分算出手段と、
    該第二差分算出手段での算出結果に基づいて、前記カラー画面上に現れた要注意状況を検出する第二要注意状況検出手段と、
    を備えることを特徴とする環境認識装置。
  17. 前記全画面積算値生成手段は、赤の色インデックスについて前記全画面積算値を生成し、 前記第二要注意状況検出手段は、外部から供給される天候データが降雨中であることを示しており、且つ前記第二差分算出手段にて算出された全画面積算値のフレーム間差分が予め設定された接近閾値以上である場合を前記要注意状況として検出することを特徴とする請求項１６に記載の環境認識装置。
  18. 車載カメラにより撮像された車両前方のカラー画像に基づく画像データを取得する画像データ取得手段と、
    該画像データ取得手段が取得した画像データに基づいて、前記カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する平均色算出手段と、
    該平均色算出手段にて算出される画素ブロックの平均色のフレーム間差分を、予め指定された前記カラー画像中の一領域である監視領域に属する全ての画素ブロックについて積算したものを、前記監視領域の危険度として算出する危険度算出手段を備えることを特徴とする環境認識装置。
  19. 前記危険度算出手段は、前記画素ブロックの平均色のフレーム間差分を積算する際に、前記カラー画像の消失点に近い画素ブロックほど重み付けを大きくした重み付け加算を行うことを特徴とする請求項１８に記載の環境認識装置。
  20. 前記画像データ取得手段が取得する画像データは直交変換を用いて符号化されており、
    前記平均色算出手段は、前記画像データに含まれる直流成分を前記平均色として用いることを特徴とする請求項１〜１９のいずれかに記載の環境認識装置。
JP2005242931A 2005-08-24 2005-08-24 環境認識装置 Expired - Fee Related JP4577153B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005242931A JP4577153B2 (ja) 2005-08-24 2005-08-24 環境認識装置
US11/502,485 US7804980B2 (en) 2005-08-24 2006-08-10 Environment recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005242931A JP4577153B2 (ja) 2005-08-24 2005-08-24 環境認識装置

Publications (2)

Publication Number Publication Date
JP2007060273A JP2007060273A (ja) 2007-03-08
JP4577153B2 true JP4577153B2 (ja) 2010-11-10

Family

ID=37923359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005242931A Expired - Fee Related JP4577153B2 (ja) 2005-08-24 2005-08-24 環境認識装置

Country Status (1)

Country Link
JP (1) JP4577153B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5407920B2 (ja) * 2010-02-17 2014-02-05 株式会社豊田中央研究所 点灯色識別装置及びプログラム
JP5177579B2 (ja) * 2010-03-31 2013-04-03 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム
KR101324792B1 (ko) 2010-05-31 2013-10-31 태성전장주식회사 지능형 운송 시스템을 위한 칼라 영역의 분할 시스템
DE102010034262A1 (de) * 2010-08-13 2012-02-16 Valeo Schalter Und Sensoren Gmbh Nachrüstsystem für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs
JP6852851B2 (ja) * 2016-08-30 2021-03-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理方法及び移動体を制御するシステム
JP2017083458A (ja) * 2016-12-19 2017-05-18 パイオニア株式会社 サーバ装置、天候状況取得方法、情報送信装置、情報送信方法、プログラム、及び、天候状況取得システム
FR3062944B1 (fr) * 2017-02-10 2021-05-14 Continental Automotive France Procede de detection de faux-positifs relatifs a un feu de signalisation
US10802485B2 (en) * 2017-10-09 2020-10-13 Here Global B.V. Apparatus, method and computer program product for facilitating navigation of a vehicle based upon a quality index of the map data
JP2018173427A (ja) * 2018-08-07 2018-11-08 パイオニア株式会社 サーバ装置、天候状況取得方法、情報送信装置、情報送信方法、プログラム、及び、天候状況取得システム
CN116448174B (zh) * 2023-04-11 2023-10-31 深圳市森辉智能自控技术有限公司 用于洁净生产车间环境在线监测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067566A (ja) * 1999-08-30 2001-03-16 Fujitsu Ltd 火災検知装置
JP2001119688A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 動画像特定色検出装置
JP2002259969A (ja) * 2000-12-25 2002-09-13 Matsushita Electric Ind Co Ltd 画像検出装置、プログラムおよび記録媒体
JP2004152087A (ja) * 2002-10-31 2004-05-27 Fuji Photo Film Co Ltd 画像の特徴量を抽出する方法および装置
JP2004348741A (ja) * 2003-05-20 2004-12-09 Mitsubishi Electric Information Technology Centre Europa Bv 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置
JP2005119661A (ja) * 2004-12-28 2005-05-12 Nissan Motor Co Ltd 車両用照明装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2806152B2 (ja) * 1992-06-17 1998-09-30 凸版印刷株式会社 色変化特定方法、限定色決定方法及び限定色決定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067566A (ja) * 1999-08-30 2001-03-16 Fujitsu Ltd 火災検知装置
JP2001119688A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 動画像特定色検出装置
JP2002259969A (ja) * 2000-12-25 2002-09-13 Matsushita Electric Ind Co Ltd 画像検出装置、プログラムおよび記録媒体
JP2004152087A (ja) * 2002-10-31 2004-05-27 Fuji Photo Film Co Ltd 画像の特徴量を抽出する方法および装置
JP2004348741A (ja) * 2003-05-20 2004-12-09 Mitsubishi Electric Information Technology Centre Europa Bv 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置
JP2005119661A (ja) * 2004-12-28 2005-05-12 Nissan Motor Co Ltd 車両用照明装置

Also Published As

Publication number Publication date
JP2007060273A (ja) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4577153B2 (ja) 環境認識装置
US7804980B2 (en) Environment recognition device
JP4708124B2 (ja) 画像処理装置
US9384401B2 (en) Method for fog detection
JP4595759B2 (ja) 環境認識装置
US8670592B2 (en) Clear path detection using segmentation-based method
JP4623135B2 (ja) 画像認識装置
JP5127182B2 (ja) 物体検出装置
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN107590470B (zh) 一种车道线检测方法及装置
EP1930863A2 (en) Detecting and recognizing traffic signs
CN101950350A (zh) 使用分级方法的畅通路径检测
KR101240499B1 (ko) 실시간 차선 인식 및 차량 검출 장치 및 방법
US11024042B2 (en) Moving object detection apparatus and moving object detection method
JP2006018751A (ja) 車両用画像処理装置
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
US20140002655A1 (en) Lane departure warning system and lane departure warning method
US11029150B2 (en) Object distance detection device
JP2018022220A (ja) 挙動データ解析システム及び挙動データ解析装置及び挙動データ解析方法
JP6678552B2 (ja) 車種判別装置および車種判別方法
Hariri et al. Vision based smart in-car camera system for driver yawning detection
CN108268866B (zh) 一种车辆检测方法和系统
CN106340031A (zh) 一种检测运动物体的方法和装置
JP2009037284A (ja) 移動物認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4577153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees