JPH11142168A

JPH11142168A - 環境認識装置

Info

Publication number: JPH11142168A
Application number: JP9342317A
Authority: JP
Inventors: Hiroshi Takahashi; 高橋　　宏
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-11-07
Filing date: 1997-11-07
Publication date: 1999-05-28
Anticipated expiration: 2017-11-07
Also published as: JP3562278B2

Abstract

(57)【要約】【課題】車両の走行環境認識を少ない演算負荷で主成
分分析し認識する。【解決手段】ＣＣＤカメラ１は車両の走行方向を撮像
し、環境認識装置９は撮像画像を主成分分析で画像を認
識する。アダプティブクルーズコントロール装置１０は
ドライバーの操作で設定され車両を定速で走行するよう
制御し、環境認識装置９から割り込み車両の発生や走行
路の混雑度が上昇したことを検出したとき定速制御を車
間距離管理に制御特性を変える。環境認識装置９は画像
を主成分分析する際、環境変化検出装置２０の検出結果
を用いて撮像空間に大きな変化がない場合従来の情報空
間を用い、変化が大きい場合情報空間を再構築するか
ら、情報空間を求める演算量が大幅に減り、演算速度が
向上し、走行環境の変化を素早く検出でき、アダプティ
ブクルーズコントロール機能が有効に作動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、車両の走行環境
を多変量分析によって認識する環境認識装置に関する。

【０００２】

【従来の技術】従来より、車両の運転においては、人に
よらず走行を妨げる障害物を自動的に検出することが望
まれている。とくに走行車などの移動体に対する検出が
自動的に行なわれるようになれば、過度接近時の警報、
自動ブレーキ、追尾走行といったような機能が実現で
き、走行安全性が向上するとともに運転負担を軽減する
ことができる。

【０００３】移動体の検出装置としては、例えば特開平
３−２６０８１３号公報に記載されているものがある。
その構成は図９に示すように移動体の検出方向を撮像す
るカメラ５１と、カメラ５１の撮像画像を所定時間毎に
入力する画像入力装置５２と、画像の明暗分布により検
出対象域を割り出す領域分割装置５３と、割り出された
検出対象域の重心と面積を計算する重心計算装置５４
と、重心と面積の時間的変化から移動体を検出し、その
変化具合で移動体の移動量を推定する移動量推定装置５
５とからなっている。

【０００４】また、特開昭６４−２６９１３号公報で
は、カメラの撮像情報において明度情報の差分処理を行
なうことによってエッジを検出し、物体の輪郭として認
識したうえで、エッジ情報に基づいて移動量を算出す
る。さらに時間的に物体の輪郭や明度が違う領域で囲ま
れた閉区間の重心位置や面積の変化を検出し、時間的な
距離の変化に対応する重心位置の変化や面積変化の値と
照合し、同一物体であることを確認して、物体をトラッ
キングすることが行なわれている。これにより、移動体
の追尾や移動体の変化から移動速度を求めることができ
る。

【０００５】しかしながら、上記両公報に示された移動
体検出は、前提として明度情報の差分や閉区間領域を抽
出することに主眼がおかれている。差分処理は、図１０
に示すように画像を横方向走査しながら明度値の差分演
算をし、差分値が得られる位置を特定する。差分値は明
暗差の大きいところで検出されるので、１画面を走査し
たあと一定距離内という条件を設けて各差分値の検出位
置を線で結べば輪郭が検出される。

【０００６】移動体は明度差の大きい輪郭情報と明度差
の低い内部情報をもっており、輪郭を鮮明に抽出できれ
ば、とくに内部情報を扱うこともなく、情報量が減ずる
ことで処理速度が向上する。しかし車両を取り巻く照明
条件が刻々変わり、外乱光などの影響で輪郭が完全にか
つ鮮明に抽出できることは少ない。よって輪郭のみを用
いる画像認識は、情報量の少なさから環境変化への対応
が弱く、車両に搭載して先行車の検出に使用する場合、
制限を受けるなど最適な移動体検出手段とは言いがた
い。

【０００７】また明度情報から直接閉区間を抽出するこ
とは、影や外乱光などの影響を受けやすく、外乱光によ
って変化した明度が直接に重心や面積の変化に影響を与
えるため、外乱光に対してロバスト性の低い認識ロジッ
クとなっている問題があった。

【０００８】このほか、テンプレートマッチングやテク
シュチャマッチングなど輪郭情報に内部情報を加えた検
出手法もあるが、処理時間やテンプレートに関する情報
を予め用意するための処理が必要などの問題を有してい
る。

【０００９】こうした背景で、近年、画像情報を圧縮す
る技術の派生として、カメラの撮像情報を明度データの
分布ととらえ、多変量解析の１つである主成分分析など
を行ない、撮像情報を正規化主成分特徴量で張られた情
報空間に写像し、情報空間内でのデータの挙動を解析す
ることによって画像認識する手法が提案されている。

【００１０】正規化主成分特徴量で構成される情報空間
では、例えば周りの風景に関しての写像後のデータ分布
と背景の中に割り込んできた移動体や撮像面上で情報が
大きく変化しない追従車両のデータ分布が異なる。よっ
て背景と移動体、相対的に移動が少ない物体などが変換
後の正規化主成分特徴量による空間内のデータクラスタ
の変化によって検出できる。このような検出方法は全画
像の情報が処理対象となり、照明の変化など上記従来の
処理では対処不可能の画面も処理できるようになる。

【００１１】

【発明が解決しようとする課題】しかし、上記のような
多変量分析による画像認識は主として静止画像に用いら
れるもので自動車の走行環境認識に用いようとすると、
次の問題点がある。（１）、背景が静止している場合なら、背景に対応した
変換後のデータクラスタと背景に混入した新しい動きを
もった移動体の変換後のデータクラスタの分離が容易で
あるが、自動車の場合背景が走行に従って変化するの
で、正規化主成分特徴量による情報空間が時間的に一意
に決まらず、よって、その変換関数も固定できない。

【００１２】（２）、上記問題を解決するために画像毎
に情報空間と変換関数を求めればよいが、演算量が多く
なり時間がかかり過ぎて、通常の演算素子では車載装置
に必要なリアルタイム処理ができなくなる。（３）、また、画像の変化によって情報空間と変換関数
が異なると、処理の結果によって正規化主成分の物理的
な意味付けが変化してしまうことにより、変換後のデー
タクラスタの意味付けやデータクラスタ間の有意な差の
判定が困難となる。本発明は上記の問題点に鑑み、情報
空間と変換関数を画像に変化があると認められたときの
み求め、それ以外は従来の情報空間と変換関数を用い、
検出精度を損なわずに演算量を減少した環境認識装置を
提供することを目的としている。

【００１３】

【課題を解決するための手段】このため請求項１記載の
発明は、環境認識のための空間的、もしくは平面的位置
情報を入力する情報入力手段と、環境認識に適用する内
部変数情報と、前記位置情報を前記内部変数情報に解析
的に変換する変換関数と、前記変換関数を用いて前記位
置情報を前記内部変数情報に変換させて、環境認識を行
なう環境認識手段とを有する環境認識装置において、変
換関数変更手段と、環境変化検出手段とを設けて、該環
境変化検出手段は環境に変化があることを検知し、前記
変換関数変更手段は前記変換関数の変換時期周期、もし
くはパラメータ、構造を変更するものとした。

【００１４】請求項２記載の発明は、前記環境認識装置
は車両の走行環境の認識に使用され、前記位置情報入力
手段は前記車両の走行方向を撮像する撮像手段とし、前
記変換関数は正規化主成分特徴量への変換関数とし、前
記内部変数情報は前記正規化主成分特徴量を軸として構
成された情報空間とし、前記環境変化検出手段はレーザ
レーダ、照度センサ、ナビゲーション装置、インフラ受
信装置、走行速度センサ、アクセル開度センサ、ハンド
ル操舵角センサの何れか１つもしくは複数個の組み合わ
せを含む構成で、前記レーザレーダで障害物が検出され
ない、レーザレーダで障害物の移動を時間的に追尾して
いる、照度が急激に変化しない、前記ナビゲーション装
置やインフラ受信装置の情報から前方道路の変化が検出
されない、走行速度の平均値が数学的に有意に変化しな
い、アクセル操作の分散値が数学的に有意に変化しな
い、ハンドルが大きく操舵されない場合、前記環境認識
手段は従来の変換関数を用い、画像情報を正規化主成分
特徴量で張られた情報空間への変換を行ない、前記環境
変化検出手段から上記以外の走行路状況を検出した場合
には前記変換関数変更手段は画像情報を主成分分析し、
新たな正規化主成分特徴量を見つけ、変換関数および情
報空間を更新し、前記環境認識手段は更新後の変換関数
と情報空間を用いるものとした。

【００１５】請求項３記載の発明は、前記環境認識は、
情報空間に変換された画像情報の分布により分類された
データクラスタの分析によって行ない、クラスタが複数
でかつ情報空間を構成する正規化主成分軸の原点近傍で
クラスタを検出した場合に車両に超接近物体があったと
認識し、クラスタが１つでかつ移動していると検出した
場合に先行車がなく景色のみを撮像していると認識し、
クラスタが１つでかつ移動していないと検出した場合に
自車と相対速度の小さい先行車が走行していると認識
し、新しいクラスタは出現せず従来のクラスタを検出で
きなくなった場合に先行車が視界から消失する、あるい
は走行路の混雑度が軽減したと認識し、多数のクラスタ
を検出した場合に走行路の混雑度が上昇し多数の先行車
があると認識し、新しいクラスタが出現し、従来のクラ
スタが遠方に向かって移動していると検出した場合に自
車が前方車群に接近していると認識し、新しいクラスタ
が出現し、従来のクラスタが移動していないと検出した
場合に先行車と自車両の間に割り込み車両が出現したと
認識するものとした。

【００１６】請求項４記載の発明は、前記環境変化検出
手段にレーザレーダが用いられ、前記レーザレーダの検
出結果と画像による環境認識の結果を照合して前記環境
認識装置の作動状況を診断するものとした。請求項５記
載の発明は、前記作動状況の診断は、前記レーザレーダ
が障害物を検出した場合、前記情報空間上にデータクラ
スタが存在しないとき、あるいはデータクラスタの平面
的分布に時間的な連続性変化が見受けられないとき、ま
たはデータクラスタの分布が空間的に相関関係をもたな
くなたとき前記環境認識装置が故障と判断するものとし
た。

【００１７】

【作用】請求項１記載の発明では、環境変化検知手段は
環境変化を検知し、変換関数変更手段は変換関数を更新
するようにしたので、動く環境も認識の対象とすること
ができる。時間毎に変換関数を求めて動く環境を認識す
るのと比べて、変換関数を求める演算量が大幅に減少す
るとともに、激しく変化する環境でも適切な変換関数を
用いて画像認識することができる。また変換関数を更新
されない場合、位置情報の変換は同一条件で行なわれ、
物理的意味付けによる認識が行なえるとともに、位置情
報の時間的移動で高速移動体、低速移動体、固定体など
の認識が可能となる。

【００１８】請求項２記載の発明では、情報入力手段と
しての撮像手段が車両の走行方向を撮像し、環境変化検
出手段はレーザレーダ、照度センサ、ナビゲーション装
置、。インフラ受信装置、走行速度センサ、アクセル開
度センサ、ハンドル操舵角センサなどを用いて画像に変
化をもたらす状況を検出するから、先行車がない走行路
あるいは先行車と一定距離を保って走行している場合、
変換関数を更新せず、従来の変換関数を流用することに
よって、その走行路状況が保っているかどうかの認識が
できるとともに、割り込み車両の発生や曲がり道などで
画像に大きな変化がある時に画像に対応した変換関数を
用いて走行路状況を認識する。その際画像情報を主成分
分析し、正規化主成分特徴量の表示式を変換関数とす
る。内部変数情報は正規化主成分特徴量を軸とした情報
空間を使用する。これによって、全画面の明度情報を利
用することになり、照明の変化等の影響が排除されロバ
スト性の高い環境認識ができる。

【００１９】請求項３記載の発明では、情報空間に変換
された画像情報の分布により分類されたデータクラスタ
の分析によって行なうから、走行環境の分析に有効で、
走行路の混雑度や割り込み車両の発生、先行車への接近
状態といった状況を高精度に検出できる。

【００２０】請求項４記載の発明では、前記環境変化検
出手段にレーザレーダを用い、レーザレーダの検出結果
と画像による環境認識の結果を照合して前記環境認識装
置の作動状況を診断するから、装置の故障による誤認識
が防止され車載装置として必要な信頼性が向上する。請
求項５記載の発明では、作動状況の診断は、レーザレー
ダの検出結果とデータクラスタに対する分析の結果との
照合によって行なうから、走行路状況を認識する際のク
ラスタ分析の結果を利用でき診断のための処理が不要
で、演算負担にならない効果が得られる。

【００２１】

【発明の実施の形態】以下、本発明を自動車の走行環境
認識に適用する実施例について説明する。まず主成分分
析による走行環境認識について説明する。主成分分析と
は、情報を総合的に分析し、その特徴を表わす主成分を
見つけ、情報を主成分軸に変換して特徴を読み取る処理
である。

【００２２】自動車の走行環境認識には走行環境の明度
情報が用いられるから、まずカメラにより走行路を撮像
する。撮像によって得られた明度情報を画像位置と対応
させて撮像空間を作る。これによって二次元の平面位置
に明度情報が加えられ三次元の画像情報が得られる。画
像情報は画像位置に応じて幾つかのデータ集団に分け、
説明変量とする。

【００２３】説明変量からの情報を抽出するため線形の
変数情報が与えられる。そしてこの変数情報から情報を
損失最少に抽出するため、固有値方程式を用い、固有値
方程式から、例えば値の大きい２つの固有値を取り出
す。固有値は変数情報から取り出せる情報量の多さを表
わしているので、２つの値の大きい固有値からは変数情
報として最も多くの情報を取り出せる第１正規化主成分
特徴量、第２正規化主成分特徴量が作られる。第１主成
分特徴量と第２主成分特徴量は空間的に直交し１つの情
報空間を構成し、その表示式は撮像空間の情報を情報空
間に変換する際の変換関数となる。

【００２４】撮像空間の明度情報を正規化主成分特徴量
で張られた情報空間に写像すれば、その情報特性に応じ
てデータグループとしてのクラスタが形成される。例え
ば周りの風景に関しての写像後のデータクラスタと背景
の中に割り込んできた移動体や撮像面上の情報が大きく
変化しない物体のデータクラスタ分布が異なる。よっ
て、情報空間内のデータクラスタの時間的変化で背景と
移動体、相対的に移動の少ない物体を認識することがで
きる。

【００２５】走行路画像は車両の走行にしたがって変化
するが、先行車を追従して走行するあるいは先行車のな
い走行路を直進する場合、画像の変化が緩やかなので、
このとき情報空間を固定すれば、情報空間での情報の時
間的変化で走行路状況が続いているかどうかを認識でき
る。走行路画像に例えば先行車等が現われる場合、情報
空間を新たに求めれば、画像の変化が大きいので、情報
空間が異なってもデータの出現や分解で先行車の出現や
消失を検知できる。

【００２６】図１は装置の構成を示すブロック図であ
る。撮像手段としてのＣＣＤカメラ１は、車両の走行環
境を撮像するように図示しない車両の前方に取り付けら
れている。その画像信号は環境認識装置９に出力され、
ここで主成分分析による画像認識が行なわれる。環境認
識装置９には車両の走行制御を行なうアダプティブクル
ーズコントロール装置１０が接続されている。

【００２７】アダプティブクルーズコントロール装置１
０は、車両の走行を定速に制御するもので、ドライバー
の操作によって設定される。走行目標速度は設定時の車
両走行速度となるが、環境認識装置９での認識結果によ
って定速走行が出来なくなる状態では制御特性を変更し
走行路状況に適合した走行制御を行う。即ち先行車が検
出される場合、走行速度を目標速度以下に低下させ車間
距離管理を目標とする制御特性に変化する。車間距離の
管理は走行目標速度に対応した車間距離を制御目標とし
てもよい。この場合車両が追尾走行となる。アダプティ
ブクルーズコントロール装置１０には警報機能が備えら
れ、車速を減速制御させても先行車に近づく場合警報を
し、ドライバ−にブレ−キの使用を促す。

【００２８】環境認識装置９にはさらに走行路状況検出
装置２０が接続され、その検出値に基づいて情報空間を
変更するタイミングを求めている。レーザレーダ２はＣ
ＣＤカメラ１と同じように前方に向けて車両に取付ら
れ、測定値は画像認識装置９に出力されるようになって
いる。障害物を検出していないことを示すため例えば２
００ｍなどの遠方距離を出力するようになっている。

【００２９】ナビゲーション装置３は自車両の位置を検
出しデータ処理装置３０によって地図情報から走行路情
報を環境認識装置９に出力する。インフラ受信機４は走
行路情報の放送を受信して走行路情報を環境認識装置９
に出力する。照度センサ５は走行環境の照度を検出し環
境認識装置９に出力する。アクセル開度センサ６と車速
センサ７およびハンドル操舵角センサ８が車両の走行状
態を検出し検出値を環境認識装置９に出力するようにな
っている。環境認識装置９はそれらの検出結果で画像変
化があると認定した場合変換関数を新たに求める主成分
演算を行なう。

【００３０】図２は環境認識装置９の詳細を示す。環境
変化認識部９１は走行路状況検出装置２０の検出信号あ
るいは信号の時間的変化から車両の走行状況を検出す
る。例えばレーザレーダ２の検出値から障害物があるか
どうかを判断する。また障害物がある場合に時間的変化
があるかどうかによってレーザレーダ２が追尾検出中か
どうかを判断する。追尾検出中の場合には画像変化がな
いので走行路状況が変化していないと判断する。

【００３１】トリガ信号発生部９２は環境変化認識部の
認識の結果によって情報空間を求めるタイミングをトリ
ガ信号によって主成分分析部９３に伝える。トリガ信号
の発生は画像に変化があり情報空間を求める必要のある
とき行なわれるので、例えば以下の状況が検出された場
合従来の情報空間を流用できるため、トリガ信号が出力
されない。

【００３２】（１）、レーザレーダ２の検出値によって
障害物が検出されないあるいは障害物を追尾している場
合、（２）、ナビゲーション情報やインフラ情報から前
方道路曲率の急激な変化や構築物が出現しない場合、

【００３３】（３）、照度センサ５から照度値が急激に
変化しない場合、（４）、アクセル開度センサ６よりド
ライバのアクセル操作の分散値が数学的に有意に変化し
ない場合、（５）、車速センサ７より走行速度の平均値
が数学的意味ある変化がない場合、（６）、ハンドルが
大きく操舵されない場合、これにより、画像に変化がな
いあるいは緩やに変化した場合に従来の情報空間を利用
し、画像に大きな変化が現われるときのみ情報空間を再
構築することになる。

【００３４】主成分分析部９３はＣＣＤカメラ１からカ
メラ画像信号を入力するとともに、トリガ信号が出力さ
れているかどうかをチェックする。トリガ信号がない場
合、画像に大きな変化がないものとして従来の情報空間
を利用し、トリガ信号がある場合は、画像の明度情報か
ら主成分分析して固有値計算によって新しい情報空間を
求める。撮像空間の画像情報を変換関数で情報空間に変
換する。

【００３５】クラスタ判断部９４はクラスタリング処理
で情報空間での情報分布を分類してクラスタを作る。そ
してクラスタの出現や分解あるいは位置の変動から走行
環境を認識する。制御信号作成部は画像認識の結果によ
って、アダプティブクルーズコントロール装置１０の制
御特性を変更させる制御信号を出力する。これによって
アダプティブクルーズコントロール機能が高められる。

【００３６】次に図３のフローチャートに従って主成分
分析部における主成分分析の流れを説明する。まず、ス
テップ２０１において、ＣＣＤカメラ１から撮像画像を
入力する。撮像画像は例えば横方向ｐ画素、縦方向ｎ画
素で構成され、各画素に番号を与えて縦横位置を特定で
きるようにする。画素信号はメモリに格納される。

【００３７】ステップ２０２においては、画素信号を画
素位置と対応させて３次元の撮像空間Ｓを作る。図４は
撮像空間の構成を示す平面図である。ここで画素信号を
Ｘ_ijとし、ｉは画像の縦方向の位置を示し、ｊは横方向
の位置を示している。画素色が白ならばＸ_ij＝０、黒な
らばＸ_ij＝１とする。グレーならば１から０の間の値と
する。

【００３８】ステップ２０３においては、トリガ信号発
生部９２からトリガ信号があったか否かをチェックす
る。トリガ信号があった場合、情報空間と変換関数を新
たに求める必要があるとしてステップ２０４へ進み、ト
リガ信号が無かった場合、従来の情報空間と変換関数を
そのまま流用できるのでステップ２０６へ進む。

【００３９】ステップ２０４においては、まず図４に示
す撮像空間内の画素信号を横方向に画素毎に分割してｐ
個のデータ集団（画素列）を作る。データ集団内にはｎ
個の画素信号データが含まれる。各データ集団ｉに対し
画素信号の分散、共分散を演算するよう式（１）に基づ
いてＳ_ii’を演算する。

【数１】ここで、ｉ、ｉ’はデータ集団の位置を示し、それぞれ
独立に選ばれることを示している。すなわちｉ’を１か
らｐまでの各データ集団に対して式（１）を適用して演
算を行なう。

【００４０】各Ｓ_ii’の演算値とデータ集団内の画素信
号数ｎを式（２）に代入して分散、共分散Ｖ_ii’を演算
する。ここでｉとｉ’は同じ数字ならその画素列の分散
値で、異なる数字ならそれぞれの画素列の共分散の演算
値となる。

【数２】

【００４１】演算された各分散および共分散の演算値を
式（３）の固有値方程式に代入し、固有値方程式を解く
と、ｐ個の固有値λが得られる。

【数３】ｐ個の固有値λを、λ_１≧λ_２≧…≧λ_ｋ≧…≧λ_ｐと
すれば、｛λ_ｋ｝をそれを求めたＶ_ii’の固有値に対応
する。ここでｋ＝１〜ｐである。

【００４２】このとき式（４）から、

【数４】ｌ_ki（ｌ₁₁、ｌ₁₂、…、ｌ_1p、ｌ₂₁、ｌ₂₂、…、ｌ_2p、
ｌ_p1、ｌ_p2、…、ｌ_pp）を求めると、ｎ組の固有ベクト
ルが得られる。これによって、ｎ個の正規化主成分特徴
量が得られるが、寄与率が７０〜８０％で画像の特徴認
識ができるので、例えば式（５）に示すような第１正規
化主成分特徴量と第２正規化主成分特徴量が用いられ
る。

【数５】ここで＊は任意行の画素信号を表示する。

【００４３】ステップ２０５では、第１正規化主成分特
徴量と第２正規化主成分特徴量を軸とした新たな情報空
間を定義する。第１正規化主成分特徴量と第２正規化主
成分特徴量の線形表示式は変換関数となる。ここで前画
像も同じ２つの正規化主成分特徴量であるならば、情報
空間は同じで、変換関数は同じ構造としパラメータが変
更されることになる。

【００４４】ステップ２０６では、撮像空間上の情報信
号Ｘ_ijを行ごとに式（５）に代入して第１正規化主成分
特徴量Ｚ１、第２正規化主成分特徴量Ｚ２を演算し、撮
像空間での撮像情報を情報空間へ変換する。図５は変換
前後のデータの分布状態を示す。撮像空間Ｓでは物体
ａ、ｂの明度情報ａｓ、ｂｓとその平面位置情報（Ｘ、
Ｙ）が関数Ｆによって第１正規化主成分特徴量と第２正
規化主成分特徴量で構成された情報空間Ｍに変換する
と、その特徴に応じて情報空間Ｍでは異なる分布とな
る。

【００４５】第１正規化主成分特徴量および第２正規化
主成分特徴量の物理的意味付けによって認識できる。物
理的意味付けができない場合、車両が走行にしたがった
クラスタの移動や分解などで先行車の有無や割り込み車
両の発生、走行路の混雑度を認識することができる。物
理的意味付けは分析者の機知によって行なわれるが、ク
ラスタの移動や分解が客観的に検知できる。

【００４６】ステップ２０７では、情報空間上のデータ
に対し、データクラスタリング解析を行なう。データク
ラスタリング解析は従来と同じように行なう。例えばデ
ータ間の距離によって幾つかのデータグルプに分類する
ことができる。ステップ２０８においては、データクラ
スタの時間的変化を分析して環境認識を行なう。

【００４７】次に図６、図７のフローチャートにしたが
ってクラスタ判断部９４におけるクラスタ分析および制
御信号作成部９５での制御信号の作成を説明するまずス
テップ３０１において、クラスタがあるか否かを判定す
る。ない場合、ステップ３０２でＣＣＤカメラを含めた
撮像部が故障と判定する。このとき制御信号作成部９５
は先行車検出不能の信号をアダプティブクルーズコント
ロール装置１０に出力し車間距離管理不能の警報を出さ
せてドライバーに注意を促す。

【００４８】そしてクラスタがあると判定された場合
は、ステップ３０３へ進み、ここではクラスタの数につ
いて判定を行なう。クラスタが２つ以上ある場合ステッ
プ３０４へ進む。ステップ３０４では情報空間を構成す
る正規化主成分特徴量の原点近傍にクラスタが存在する
かどうかを判定する。原点の近傍にクラスタが存在する
ならば、画角が異常に大きい物体が検出されるので、ス
テップ３０５において超接近物体を検出したものと判断
する。このとき制御信号作成部９５は注意を促す警報や
減速制御を行なうよう制御信号をアダプティブクルーズ
コントロール装置１０に出力する。

【００４９】そしてステップ３０４で原点近傍にクラス
タがないと判定されればステップ３０６において新しい
クラスタが出現したかどうかの判定を行なう。新しいク
ラスタが出現していない、かつステップ３０７でクラス
タが消失したと判定されれば、前方車両がＣＣＤカメラ
１の視界からなくなった、あるいは走行路の混雑度が軽
減したと認識する。このとき制御信号作成部９５は車両
が減速中なら車速を目標速度まで戻すよう制御信号をア
ダプティブクルーズコントロール装置１０に出力する。
ステップ３０７で、クラスタが消失していないと判定さ
れれば走行状況の認識が不能としてステップ３０９にお
いて次の画像が入力されるまで判断を保留する。

【００５０】そしてステップ３０３で１つのクラスタが
存在すると判定されれば、ステップ３１０でクラスタが
移動しているかどうかを判定する。クラスタが移動いて
いるならば、ステップ３１３で前方に追従車がなく、景
色のみの画像と判断する。ステップ３１０でクラスタが
移動してしないと判定されればステップ３１２で相対速
度が極めて小さい近接物体を一定距離で追従していると
判断する。制御信号作成部９５は画像が景色のみの場合
車両を目標速度で走行できるよう制御信号を出力する。
先行車を追従しているならば制御特性を維持する制御信
号を出力する。

【００５１】ステップ３０６で新しいクラスタが出現し
たと判定されれば、ステップ３１４へ進む。ステップ３
１４でクラスタが多数出現したと判定されればステップ
３１５において前方の走行路の混雑度が上昇し多数の車
両が検出されたと判定する。このとき制御信号作成部９
５は車両が減速中ならそれを維持し、目標速度で走行す
るなら減速信号をアダプティブクルーズコントロール装
置１０に出力する。

【００５２】そしてステップ３１４での判定で多数のク
ラスタが出現していないならば、ステップ３１６におい
てクラスタが遠方に向かって移動しているか否かを判定
する。移動する場合ステップ３１８で自車が早く前方車
群に接近中と判断する。クラスタが移動していないなら
ば先行車と自車の間に車両割り込みが発生したと判断す
る。制御信号作成部９５は何れの場合も車両を減速する
よう制御信号をアダプティブクルーズコントロール装置
１０に出力する。

【００５３】次に、主成分分析による画像認識の結果と
レーザレーダの検出結果を照合してＣＣＤカメラ１と環
境認識装置９からなる画像認識システムの作動状態を診
断することを説明する。この診断は図１に示すようにフ
ェール監視装置１１を環境認識装置に接続して使用され
る。フェール監視装置１１が画像認識システムが故障し
たと判断した場合、フェール信号を出しアダプティブク
ルーズコントロール機能を停止させ、車両を安全な操作
に切り替える。

【００５４】フェール監視装置１１はレーザレーダ２の
検出値と主成分分析による画像認識の結果を入力して診
断を行なう。診断の原理は、レーザレーダ２で障害物が
検出されたにも拘わらず、情報空間内でクラスタが長期
間存在しないとき、検出結果の相反でＣＣＤカメラ１か
らの信号に異常があるとし、画像認識システムが故障と
判断できる。これは時間的にある対象をある範囲の中に
捉らえているならば、必ず情報空間内にデータのクラス
タが存在するからである。

【００５５】また、データクラスタが時間的、もしくは
同一時間内でも情報空間内で分散して、ばらつく場合も
ＣＣＤカメラのトラブルか、霧などによる影響が考えら
れる。いずれにしても、正確に走行環境を認識できない
ため、フェール信号を発生する。

【００５６】次に、フェール監視装置１１における診断
の流れを説明する。まずステップ４０１において、環境
認識装置に入力されたレーザレーダの検出値からレーザ
レーダが障害物を検出したかを判定する。障害物が検出
された場合、ステップ４０２においてクラスタ分析の結
果を入力しクラスタが存在するならば、環境認識装置は
良好として診断を終了する。

【００５７】レーザレーダが障害物を検出しているにも
拘わらずステップ４０２でクラスタが存在しないという
検出結果となればステップ４０４でＣＣＤカメラを含め
た撮像部が故障すると判断する。そしてステップ４０１
でレーザレーダが障害物を検出していない場合ステップ
４０３へ進む。ここでクラスタの時間的変化があるかど
うかを判定する。変化がなかった場合ステップ４０４で
撮像部が故障と判断する。クラスタの時間的変化がある
場合、ステップ４０５でクラスタ分布がランダムかどう
かの判定を行なって診断を終了する。ステップ４０５で
判定でクラスタ分布がランダムであるとなれば４０６に
おいて撮像部故障もしくは視界不良と判断する。

【００５８】本実施例は以上のように構成され、主成分
分析を用いて走行路画像を認識するから、走行路状況の
変化を誤検出することなく検知できる。例えば前方車両
追従時に側方から車両が自車車線内に進入してきた場
合、その変化を情報空間におけるデータクラスタの変化
として素早く捉らえられる。これによってアダプティブ
クルーズコントロール装置は迅速に制御特性を変えるこ
とができ、走行路状況に適合した走行制御が行なえる。

【００５９】また刻々の情報空間を求める演算が不要
で、演算負担が軽減され、線形結合のみの処理で空間の
変換ができる。リアルタイムで走行路状況を認識するこ
とができるとともに走行環境を選ばない効果が得られ
る。本実施例では、アダプティブクルーズコントロール
装置を制御対象としたが、これに限らず、アダプティブ
クルーズコントロール装置が装備されていない車両では
エンジンブレーキを制御の対象としてもよい。このと
き、アダプティブクルーズコントロール装置による減速
制御をエンジンブレーキで行なう。また車両が既にエン
ジンブレーキ中の場合、エンジンブレーキをより利くよ
うに制御する。

【００６０】また、画像認識システムの作動状態をクラ
スタの分布と撮像空間における関係により、診断を行な
うので、画像認識のデータをそのまま利用し、演算負担
にならずに装置の作動状況を判別できる。ＣＣＤカメラ
１は撮像手段を構成している。走行路状況検出装置２
０、環境変化認識部９１、トリガ信号発生部９２は環境
変化検出手段を構成している。主成分分析部９３、クラ
スタ判断部９４は環境認識手段を構成している。ステッ
プ２０４、ステップ２０５は変換関数変更手段を構成し
ている。

【００６１】

【発明の効果】請求項１記載の発明では、位置情報を内
部変数情報に変換して環境認識するとともに、環境変化
検出手段が環境変化を検出し、その出力を変換関数を求
めるタイミングとするから、環境に変化がないあるいは
ないと認められるとき、従来の変換関数を流用し、環境
変化を認識するときの精度が維持されるとともに変換関
数を求める演算が少なくなり環境認識の演算負担が軽減
される。また環境に変化がないとき変換関数を求めない
から位置情報の変換は同一条件で行なわれ、物理的意味
付けによる認識が行なえるとともに、内部変数情報上で
位置情報の位置変化により高速移動体、低速移動体、固
定体などの認識が可能となる。

【００６２】請求項２記載の発明では、撮像手段は車両
の走行方向を撮像し、環境変化検出手段は画像に変化を
もたらす状況を検出し、画像に変化が少ない場合正規化
主成分特徴量を新たに求めず従来の情報空間を利用す
る。画像に変化があることが検出された場合のみ正規化
主成分特徴量を求めるから、情報を総合的に認識でき、
画像情報を正確に抽出でき、車載装置に求められる高速
性や高信頼性が得られる。

【００６３】請求項３記載の発明では、情報空間に変換
された画像情報の分布により分類されたデータクラスタ
の分析によって行なうから、走行環境の分析に有効で、
走行路の混雑度や割り込み車両の発生、先行車への接近
状態といった状況を高精度に検出できる。

【００６４】請求項４記載の発明では、前記環境変化検
出手段にレーザレーダを用い、レーザレーダの検出結果
と画像による環境認識の結果を照合して前記環境認識装
置の作動状況を診断するから、装置の故障による誤認識
が防止され車載装置として求められる信頼性が向上す
る。請求項５記載の発明では、作動状況の診断は、レー
ザレーダのデータクラスタの照合によって行なうから、
走行路状況を認識する際のクラスタ分析の結果を利用で
き診断のための処理が不要で、演算負担にならない効果
が得られる。

【図面の簡単な説明】

【図１】実施例の構成を示すブロック図である。

【図２】環境認識装置の詳細を示すブロック図である。

【図３】環境認識するためのフローチャートである

【図４】画像空間の構成を示す図である。

【図５】画像情報が撮像空間と情報空間での表示の差異
を示す図である。

【図６】クラスタ分析の流れを示すフローチャートであ
る。

【図７】クラスタ分析の流れを示すフローチャートであ
る。

【図８】装置診断のためのフローチャートである。

【図９】従来例を示すブロック図である。

【図１０】差分演算値と輪郭の関係を示す図である。

【符号の説明】

１ＣＣＤカメラ２レーザレーダ３ナビゲーション装置４インフラ受信機５照度センサ６アクセル開度センサ７車速センサ８ハンドル操舵角センサ９環境認識装置１０変速装置コントローラ１１フェール監視装置３０データ処理装置５２画像入力装置５３領域分割装置５４重心計算装置５５移動量推定装置９１環境変化認識部９２トリガ信号発生部９３主成分分析部９４クラスタ判断部９５制御信号作成部

Claims

【特許請求の範囲】

【請求項１】環境認識のための空間的、もしくは平面
的位置情報を入力する情報入力手段と、環境認識のため
の内部変数情報と、前記位置情報を前記内部変数情報に
解析的に変換する変換関数と、前記変換関数を用いて前
記位置情報を前記内部変数情報に変換させて、環境認識
を行なう環境認識手段とを有する環境認識装置におい
て、変換関数変更手段と、環境変化検出手段とを設け
て、該環境変化検出手段は環境に変化があることを検知
し、前記変換関数変更手段は前記変換関数の変換時期周
期、もしくはパラメータ、構造を変更することを特徴と
する環境認識装置。
【請求項２】前記環境認識装置は、車両の走行環境の
認識に使用され、前記情報入力手段は前記車両の走行方
向を撮像する撮像手段とし、前記変換関数は正規化主成
分特徴量への変換関数とし、前記内部変数情報は前記正
規化主成分特徴量を軸として構成された情報空間とし、
前記環境変化検出手段は、レーザレーダ、照度センサ、
ナビゲーション装置、インフラ受信装置、走行速度セン
サ、アクセル開度センサ、ハンドル操舵角センサの何れ
か１つもしくは複数個の組み合わせを含む構成で、前記
レーザレーダで障害物が検出されない、レーザレーダで
障害物の移動を時間的に追尾している、照度が急激に変
化しない、前記ナビゲーション装置やインフラ受信装置
の情報から前方道路の曲率変化が生じていない、走行速
度の平均値が数学的に有意に変化しない、アクセル操作
の分散値が数学的に有意に変化しない、ハンドルが大き
く操舵されない場合、前記環境認識手段は従来の変換関
数を用い、画像情報を正規化主成分特徴量で張られた情
報空間への変換を行ない、前記環境変化検出手段から上
記以外の走行路状況を検出した場合には、前記変換関数
変更手段は画像情報を主成分分析し、新たな正規化主成
分特徴量を見つけ、変換関数および情報空間を更新し、
前記環境認識手段は更新された変換関数と情報空間を用
いることを特徴とする請求項１記載の環境認識装置。
【請求項３】前記環境認識は、情報空間に変換された
画像情報の分布により分類されたデータクラスタの分析
によって行ない、クラスタが複数でかつ情報空間を構成
する正規化主成分軸の原点近傍でクラスタを検出した場
合に車両に超接近物体があったと認識し、クラスタが１
つでかつ移動していると検出した場合に先行車がなく景
色のみの走行路と認識し、クラスタが１つでかつ移動し
ていないと検出した場合に自車と相対速度の小さい先行
車が走行していると認識し、新しいクラスタは出現せず
従来のクラスタが検出できなくなった場合に先行車が視
界から消失する、あるいは走行路の混雑度が軽減したと
認識し、多数のクラスタを検出した場合に走行路の混雑
度が上昇し多数の先行車があると認識し、新しいクラス
タが出現し、従来のクラスタが遠方に向かって移動して
いると検出した場合に自車が高速に前方車群に接近して
いると認識し、新しいクラスタが出現し、従来のクラス
タが移動していないと検出した場合に先行車と自車両の
間に割り込み車両が出現したと認識することを特徴とす
る請求項２記載の環境認識装置。
【請求項４】前記環境変化検出手段にレーザレーダが
用いられ、前記レーザレーダの検出結果と画像による環
境認識の結果を照合して前記環境認識装置の作動状況を
診断することを特徴とする請求項１記載の環境認識装
置。
【請求項５】前記作動状況の診断は、前記レーザレー
ダが障害物を検出したとき、前記情報空間上にデータク
ラスタが存在しない、あるいはデータクラスタの平面的
分布に時間的な連続性変化が見受けられない、またはデ
ータクラスタの分布が空間的に相関関係をもたなくなっ
た何れかの場合、前記環境認識装置が故障であると判断
することを特徴とする請求項４記載の環境認識装置。