JPH08339498A

JPH08339498A - 車両周辺監視装置

Info

Publication number: JPH08339498A
Application number: JP7143312A
Authority: JP
Inventors: Toshiaki Ozaki; 敏明尾崎; Kazuyuki Sasaki; 一幸佐々木; Naoto Ishikawa; 直人石川; Kazutomo Fujinami; 一友藤浪
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1995-06-09
Filing date: 1995-06-09
Publication date: 1996-12-24

Abstract

(57)【要約】【目的】日中など車両周辺の照度が高い場合、夜間な
ど車両周辺の照度が低い場合のいずれのにおいても監視
領域内の物体を好適に検出できる車両周辺監視装置を提
供する。【構成】監視領域２００に投射された測定用基準画像
３００の撮像画像に基づいて監視領域２００内の物体に
ついての画像情報を取得する第１物体画像取得手段２１
ａと、互いに所定距離離間して配設された複数の撮像手
段１１により撮像された監視領域２００の撮像画像の差
分画像に基づいて監視領域２００内の物体についての画
像情報を取得する第２物体画像取得手段２１ｂと、前記
第１物体画像取得手段２１ａあるいは前記第２物体画像
取得手段２１ｂからの物体画像情報に基づいて前記監視
領域２００内に存在する物体についての位置を認識する
物体位置認識手段２１ｃとを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動車などの車両の周
辺を監視して車両運転における運転者の安全確認を支援
するのに有効に適用される車両周辺監視装置にかかり、
より詳細には、車両に設置されたカメラ（撮像手段）に
より撮像された画像情報に基づいて障害物などの物体を
認識する方式の車両周辺監視装置に関するものである。

【０００２】

【従来の技術】従来、この種の車両周辺監視装置には、
本出願人が特願平４−２３７１７４号にて出願した装置
（以下、第１の先願装置という）があった。この第１の
先願装置は、車両に対する所定位置に設定された監視領
域上に測定用の基準画像を投射するとともにこの基準画
像を撮像手段にて撮像し、この撮像手段からの画像情報
に基づいて監視領域内に存在する物体についての画像情
報を取得する方式を有していた。以下、図面を参照して
この第１の先願装置について説明する。

【０００３】図１２は、この第１の先願装置の電気的構
成を示すブロック図で、同図において、１は後述する監
視領域を撮像し、この監視領域の画像を取得する撮像
部、２は所定の動作プログラムに従って各種演算処理を
実行するデータ処理部、３は画像情報などを蓄えるする
記憶部、４は運転者等によって操作される操作部、５は
車両周囲の明るさを示す照度、車両の進行方向を示すハ
ンドル舵角を取得する検出部、６は撮像部１が撮像した
監視領域内の画像情報や所定の処理動作の実行により取
得された監視領域内における物体（障害物）についての
画像情報あるいはメッセージを表示する表示部、７は警
報音あるいは音声ガイダンスを発生する音声指示部であ
る。

【０００４】上記撮像部１は、画像を取得する撮像手段
としてのＣＣＤカメラ１１と、監視領域に測定用の基準
画像を投射する画像投射部１２とから概略構成されてい
る。前記ＣＣＤカメラ１１は、その先端部に配されたレ
ンズ１１１と後端部に配されたイメージプレーン１１２
とを有し、レンズ１１１を介してイメージプレーン１１
２上に画像が結像される構成となっている。そして、こ
のレンズ１１１の前方直前位置すなわち撮像経路上には
狭帯域フィルタ１６１を有する撮像用フィルタ部１６が
配置されている。この狭帯域フィルタ１６１は、画像投
射部１２が投射するレーザ光の波長帯域を選択的に透過
する帯域フィルタとして構成されている。この狭帯域フ
ィルタ１６１は、撮像用フィルタ部１６に付設されたソ
レノイド１５により移動し、前記ＣＣＤカメラ１１の撮
像経路上に位置付けられたり、撮像経路外に退避された
りする。詳細には、この狭帯域フィルタ１６１は、監視
領域内における障害物についての画像情報（処理画像）
を表示する場合には撮像経路上に位置付けられ、撮像部
１が撮像した監視領域内の画像情報（生画像）を表示部
６で表示する場合には撮像経路上から退避させられる。

【０００５】画像投射部１２は、レーザ光源１２１とこ
のレーザ光源１２１を駆動するドライバ１２２とから構
成され、データ処理部２（後述するＣＰＵ２１）からの
駆動信号に基づきレーザ光１２０を発生する。そしてこ
のレーザ光源１２１からのレーザ光１２０は、このレー
ザ光源１２１の前方側直前位置に配置されたパターン光
投光素子１４１Ａに照射される。このパターン光投光素
子１４１Ａは、レーザ光１２０から測定用基準画像とし
ての正方格子状の輝点マトリクスを生成するものであ
る。このパターン光投光素子１４１Ａとしては、図１３
（ａ）に示すようなファイバグレイティング（以下ＦＧ
と略記する）１４１と、図１３（ｂ）に示すようなマル
チビームプロジェクタ（以下ＭＢＰと略記する）１４１
´が適用される。

【０００６】図１３（ａ）のＦＧ１４１は、直径が数十
μｍ、長さ１０ｍｍ程度の光ファイバを１００本程度シ
ート状に並べそれを２枚直交して重ねあわせたものであ
る。このＦＧ１４１にレーザ光源１２１からのレーザ光
１２０を入射すると、レーザ光は個々の光ファイバの焦
点で集光した後、球面波となり干渉しつつ広がって行
く。そしてこのＦＧ１４１を透過した光は、正方格子状
の輝点マトリクス３００となって投射面すなわち監視領
域上に投射される。一方、図１３（ｂ）のＭＢＰ１４
１′は、薄い透明なプレートにマイクロレンズを多数集
積したものとして構成されている。そして、レーザ光源
１２１からのレーザ光１２０がこのＭＢＰ１４１′に入
射されると、レーザ光１２０は多重ビームに変換され、
これにより監視領域（投影面）に輝点マトリクス３００
が投影される。なお、上述したＦＧ１４１とＭＢＰ１４
１′は両者とも同一の作用効果を有するもので、パター
ン光投光素子１４１Ａとしてはいずれを用いても構わな
い。説明を簡単にするため、以後の説明においては、パ
ターン光投光素子１４１ＡについてはＦＧ１４１として
説明することとする。

【０００７】データ処理部２は、動作プログラムに従っ
て動作する中央制御装置としてのＣＰＵ２１と、このＣ
ＰＵ２１が動作するための動作プログラムが格納された
ＲＯＭ２２と、ＣＰＵ２１の動作時において必要な情報
を一時的に格納するＲＡＭ２３とを有している。記憶部
３は、後述する監視領域内に障害物が存在しない状態に
おける画像情報を参照データとして保持する参照データ
メモリ３１と、ＣＣＤカメラ１１のイメージプレーン１
１２に投影された画像情報を一時的に蓄えるフレームメ
モリ３２とを有している。なお、フレームメモリ３２は
ｍ行ｎ列の構成を有し、例えば５１２画素（ｍ）×５１
２画素（ｎ）のメモリとして構成されている。そして、
このメモリを構成する各画素には、例えば２５６階調の
輝度値データが格納されている。

【０００８】操作部４は、図示しない車両のヘッドライ
トがオン状態になったことを検出するライトオン検出ス
イッチ４１と、表示部６により表示する画像情報を切り
換える手動操作スイッチ４２とを有している。検出部５
は、車両周辺の明るさを検出する照度センサ５１と、ハ
ンドルの回転量及び回転方向を検出するハンドル舵角セ
ンサや操舵輪（一般的に前輪）の操舵角を検出する操舵
角センサ（いずれも図示せず）として構成された舵角検
出部５２とを有している。

【０００９】表示部６は、ディスプレイ６１と切換回路
６２とを有し、切換回路６２はＣＰＵ２１からの制御信
号に基づいて表示内容の切り換え動作、より詳細には撮
像部１が撮像した監視領域内の画像情報と所定の処理動
作の実行により取得された監視領域内における障害物に
ついての画像情報及びメッセージの表示の切り換え動作
を行い、ディスプレイ６１は切換回路６２からの表示情
報に従った情報の表示を行う。音声指示部７は、スピー
カ７１を有し、ＣＰＵ２１から出力されたブザー音信号
あるいは音声ガイダンス信号に基づいて、このスピーカ
７１からブザー音あるいは音声ガイダンスを出力する。

【００１０】そして、このような構成を有する先願装置
においては、照度センサ５１からの照度情報、ライトオ
ン検出スイッチ４１からのライトオン情報あるいは手動
操作スイッチ４２からの操作情報に基づき、車両周囲の
照度が高い場合には実際の撮像画像による監視領域２０
０内の監視を行い、照度が低い場合には監視装置による
障害物の監視動作を行う。以下、この障害物の監視動作
について説明する。

【００１１】この先願装置における撮像部１は、図１４
に示すように、車両１００の後方中央部の高さＨの位置
に車両１００の後方に向けて設置俯角θ_Sで取り付けら
れている。図１５は、この設置状態における光学配置を
示した模式図で、上述したように車両１００の所定位置
に設置俯角θ_S で取り付けられたＣＣＤカメラ１１のレ
ンズ１１１を原点にした場合の位置関係を示している。
同図において、ＦＧ（パターン光投光素子）１４１は、
このレンズ１１１からｙ軸上で距離ｄの位置に配置さ
れ、イメージプレーン１１２は同様にＺ軸上で距離Ｉの
位置に配置されている。

【００１２】この光学配置において、ＣＣＤカメラ１１
による監視領域２００が障害物等のない平面であると仮
定すると、点Ｐ_n（Ｘ_n，Ｙ_n，０）に投影される輝点
は、監視領域２００内に物体Ｏが存在することによっ
て、物体Ｏ上の点Ｐ_B（Ｘ_B，Ｙ_B，Ｚ_B）に投影され
る。これによって、この輝点を撮像するＣＣＤカメラ１
１のイメージプレーン１１２上では、図中の点Ｐ_n（Ｘ
_n，Ｙ_n，０）に対応する点Ａ（ｕ，ｖ）が、点Ｐ
_B（Ｘ_B，Ｙ_B，Ｚ_B）に対応する点Ｂ（ｕ，ｖ＋δ）
に移動する。すなわち、輝点が一定の方向に移動する。

【００１３】従って、データ処理部２は、点Ａの位置と
点Ｂの位置との距離を求めることによってイメージプレ
ーン１１２上での移動量δを算出し、そしてこの移動量
δと、上記レンズ１１１とＦＧ１４１のｙ軸上における
距離ｄと、レンズ１１１とイメージプレーン１１２のＺ
軸上における距離Ｉと、監視領域からｙ軸までの距離ｈ
と、ＣＣＤカメラ１１の光軸と監視領域２００の法線と
の角度すなわち設置俯角θ_Sとを用いて演算処理するこ
とによって、輝点の三次元位置すなわち図１５における
点Ｐ_B（Ｘ_B，Ｙ_B，Ｚ_B）を算出することができる。

【００１４】このような構成を有する第１の先願装置に
おける物体（障害物）の認識はつぎのようにして行われ
る。すなわち、この認識動作においては、まず、測定の
基準となる参照データすなわち監視領域２００に障害物
となり得る物体が存在しない場合における輝点画像の取
得処理を行う。この参照データ取得処理においては、最
初に、画像投射部１２により監視領域２００上に基準画
像としての輝点マトリクス３００を投射し、監視領域２
００の画像すなわち輝点マトリクス３００をＣＣＤカメ
ラ１１により撮像する。この撮像時において、ＣＣＤカ
メラ１１のレンズ１１１の直前位置には狭帯域フィルタ
１６１が位置付けられており、この狭帯域フィルタ１６
１によりレーザ光の波長成分すなわち画像投射部１２に
より投射された輝点マトリクス３００のみがＣＣＤカメ
ラ１１に撮像される。そして、ＣＣＤカメラ１１のイメ
ージプレーン１１２には、監視領域２００上に投影され
た輝点マトリクス３００が図１６に示すように結像され
る。この監視領域２００の撮像画像は、上述したよう
に、ｍ×ｎ領域に分割された画素領域毎の階調データと
しての輝度値データに変換され、フレームメモリ３２に
蓄積される。

【００１５】次に、このようにして取得した撮像画像か
ら輝点マトリクス３００を抽出する。この輝点抽出処理
は、フレームメモリ３２に蓄積された画素の輝度値の大
きさに基づいてなされる。すなわち、フレームメモリ３
２の各画素データについて、図１７に示すように、画像
を構成する画素の輝度値を予め定めたしきい値ＳＲと比
較し、その画素の輝度値がしきい値以上の場合にはその
輝度値をそのまま保持し、しきい値未満の場合にはその
画素の輝度値を値「０」とする。この比較処理を一走査
線毎に全ての走査線について行うことにより、しきい値
未満の画素すなわち背景画像ＢＧの画素は、全て値
「０」となり、図１８に示すような輝点マトリクス３０
０に対応した輝点画像が取得される。

【００１６】なお、この輝点抽出処理時において、背景
画像ＢＧの輝度値の差が大きく固定のしきい値ＳＲでは
輝点画像の抽出が行えない場合には、図１９に示すよう
に、特定画素を基準とした小領域内の平均輝度値を基準
とし、この平均輝度値をしきい値ＳＲとしてこの特定画
素を残すか消去（値「０」）するかを判断するように構
成すればよい。

【００１７】次に、このようにして得られた輝点画像に
ついて、輝点重心の位置座標を算出する。この輝点重心
座標の算出動作は、図２０に示すように、輝点画像を構
成する画素の輝度値を参照し、この輝度値の大小関係に
基づいて重み付けすることにより行われる。従って、こ
の算出動作により、図２０においては、重心（Ｕ，Ｖ）
が算出される。また同時に、この輝点画像についての明
るさ情報すなわち輝度を取得する動作も行われる。この
輝度取得動作は、図２０に示すような輝点画像があった
場合に、その輝点画像中の画素の輝度値を輝点画像を構
成する全ての画素について取得し、その最低値を輝点画
像の輝度値とする。従って、図２０に示した例において
は、値「５０」が輝点画像の輝度値として取得される。

【００１８】以上の処理を行うことにより、各輝点に対
する輝点重心とその輝度値などがデータとして得られ
る。そして、これらのデータは参照データとして参照デ
ータメモリ３１（図１２参照）に格納保持される。

【００１９】この参照データの取得処理に続いて、実際
の計測動作すなわち計測データの取得処理を行う。この
計測データ取得処理においても、先に説明した参照デー
タ取得処理と同様にして各輝点に対する輝点重心と輝度
値を取得する。そして、取得した計測データすなわち計
測時における各輝点に対する輝点重心と輝度値につい
て、参照データメモリ３１に保持された参照データと対
比することにより、輝点マトリクス３００から差を有す
る輝点すなわち監視領域２００内に新たに出現した物体
（障害物）に反射した移動輝点についての輝点画像を抽
出する。

【００２０】この抽出した輝点画像については、移動量
δを算出するとともに移動量δを用いて図１５にて説明
した三次元位置の算出動作を行う。これにより、移動輝
点についての三次元位置が算出され、このような三次元
位置の算出動作を輝点マトリクス３００を構成する各輝
点について行うことにより、監視領域２００内に存在す
る障害物等のおおよその大きさや位置を取得する。さら
に、この取得した障害物についての情報に基づき、表示
部６のディスプレイ６１によりこの障害物を表示し、舵
角検出部５２からの車両の転回情報に基づいて衝突を予
測する。また、必要があれば、警報などを発して運転者
に注意を促す。

【００２１】また、本出願人は、この種の車両周辺監視
装置に関し、上述した第１の先願装置の他に、特願平６
−４２４３３号（以下第２の先願装置という）にて、路
面上の画像を除去することにより物体画像のみを抽出す
るとともにこの抽出した物体画像についてそのエッジを
検出し、そしてこのエッジに基づいて物体の位置を認識
する車両周辺監視装置を提案した。以下、この第２の先
願装置について説明する。

【００２２】この第２の先願装置は、図２１のブロック
図に示す電気的構成を有している。同図において、先に
説明した第１の先願装置と同一部には同一符号を付して
示してあり、１は撮像部、２はデータ処理部、３は記憶
部、５２は舵角検出部、６は表示部、７は音声指示部で
ある。

【００２３】上記撮像部１は、右側ＣＣＤカメラ１１Ｒ
と、左側ＣＣＤカメラ１１Ｌとからなり、右側ＣＣＤカ
メラ１１Ｒはレンズ１１１Ｒ及び右側イメージプレーン
１１２Ｒを有し、左側ＣＣＤカメラ１１Ｌはレンズ１１
１Ｌ及び左側イメージプレーン１１２Ｌを有している。
そしてこの撮像部１は、先の第１の先願装置と同様に図
１４に示すように、車両１００の後方中央部の高さＨの
位置に、車両の後方に向けて取り付けられている。そし
て撮像部１を構成する一対のＣＣＤカメラ１１Ｒ及び１
１Ｌは、所定距離隔てて互いに平行に且つ俯角θ_Sで取
り付けられている。これによりこの撮像部１は車両後方
の監視領域２００を撮像する。データ処理部２は、ＣＰ
Ｕ２１、ＲＯＭ２２及びＲＡＭ２３から構成され、ＲＯ
Ｍ２２に格納された動作プログラムに従って所定の処理
動作を実行する。

【００２４】記憶部３は、右側イメージプレーン１１２
Ｒに投影された映像情報を右側画像信号として一時的に
蓄える右側フレームメモリ３２Ｒと、左側イメージプレ
ーン１１２Ｌに投影された映像情報を左側画像信号とし
て一時的に蓄える左側フレームメモリ３２Ｌと、右側及
び左側フレームメモリ３２Ｒ及び３２Ｌに蓄えられた画
像信号のそれぞれに対し所定の補正処理を施した補正画
像情報を保持する右側補正画像メモリ３３Ｒ及び左側補
正画像メモリ３３Ｌと、後述する差分画像、微分画像及
びエッジ画像をそれぞれ保持する差分画像メモリ３４、
微分画像メモリ３５及びエッジ画像メモリ３６とを有し
ている。なお、これらの各メモリ３２〜３６は、第１の
先願装置と同様にｍ行ｎ列からなる画素群のメモリとし
て構成されるとともに各画素には例えば２５６階調の輝
度値データが格納される。

【００２５】舵角検出部５２、表示部６及び音声指示部
７もまた第１の先願装置と略同様に構成され、舵角検出
部５２は車両の転回方向を転回情報として出力し、表示
部６はディスプレイ６１による物体（障害物）あるいは
メッセージなどを表示し、音声指示部７はスピーカ７１
からブザー音あるいは音声ガイダンスを出力する。

【００２６】このような構成を有する第２の先願装置で
は、撮像部１からの映像信号に基づいて物体（障害物）
の検出及びこの物体と車両との相対位置の算出が行われ
る。まず、撮像部１による画像の取込処理について説明
する。撮像部１により撮像された映像信号は、一旦イメ
ージプレーン１１２Ｒ及び１１２Ｌに投影された後、右
側フレームメモリ３２Ｒ及び左側フレームメモリ３２Ｌ
にそれぞれ各画素毎の輝度値データ（画像情報）として
格納される。この右側フレームメモリ３２Ｒ及び左側フ
レームメモリ３２Ｌに格納された画像情報は、右側ＣＣ
Ｄカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌ（以下、両
者を総称する際には単にＣＣＤカメラ１１という）が有
するレンズの歪曲収差を含んだ画像となっている。そし
てこの歪曲収差は後述する物体の位置検出における誤差
の原因となる。

【００２７】すなわち、格子状の模様を撮像した場合に
ついて考えると、ＣＣＤカメラ１１のレンズに収差がな
いときには、図２２（ａ）に示すようにこの格子状の模
様がそのままフレームメモリ３２（３２Ｒ、３２Ｌ）に
格納される。また、そのレンズに収差があるときには、
図２２（ｂ）に示すように光軸を中心としてその中央部
の画像が外方に膨らんだ樽形に歪曲した画像、あるいは
図２２（ｃ）に示すように光軸を中心としてその中央部
の画像が内側に湾曲した糸巻形に歪曲した画像がフレー
ムメモリ３２に格納される。

【００２８】そしてデータ処理部２は、上記図２２
（ｂ）あるいは図２２（ｃ）に示すような歪曲画像に対
して補正処理を施すことにより補正画像情報を生成し、
この補正画像情報を右側補正画像メモリ３３Ｒ及び左側
補正画像メモリ３３Ｌに格納する。この補正画像情報に
ついても、先の画像情報と同様に、各画素毎の輝度値デ
ータとして格納される。以下、この画像の歪曲収差の補
正処理について説明する。

【００２９】図２２（ｄ）に示すように、歪曲収差が無
い時の点Ｐ（ｘ₀，ｙ₀）が歪曲収差によって点Ｐ′
（ｘ，ｙ）に結像したものとすると、その収差量Ｄは次
式（１）により表すことができる。Ｄ＝［（ｘ₀−ｘ）²＋（ｙ₀−ｙ）²］^0.5 ・・・（１）

【００３０】そして、図２２（ｂ）あるいは図２２
（ｃ）に示すような歪曲画像において、その収差量Ｄは
光軸からの距離の３乗に比例して大きくなる。すなわ
ち、レンズの中心点より点Ｐまでの距離の３乗に比例す
るので、上記式（１）の右辺は、次式（２）により表す
ことができる。［（ｘ₀−ｘ）²＋（ｙ₀−ｙ）²］^0.5＝ｋ₁［（ｘ₀ ²−ｙ₀ ²）^0.5］³ ・・・（２）上記式中、ｋ₁はレンズによって定まる比例定数

【００３１】従って、レンズに歪曲収差が存在する場合
は、例えば次式（３）の演算を行うことによりこの歪曲
収差を補正することができる。ｘ₀≒ｘ（１−ｋ₁（ｘ²＋ｙ²））ｙ₀≒ｙ（１−ｋ₁（ｘ²＋ｙ²））・・・（３）

【００３２】ところで、この式（３）の演算により画像
の歪曲収差の補正を行った場合には、隣接画素間の距離
が離れてしまい画像の抜けが生じることがある。データ
処理部４は、この画像の抜けに関し、隣接する画素の情
報に基づいて補間を行う。そして、このような補正処理
及び補間処理が施された画像情報は、補正画像情報とし
て右側補正画像メモリ３３Ｒ及び左側補正画像メモリ３
３Ｌにそれぞれ格納される。以上で撮像部１による画像
の取込処理が終了する。

【００３３】次いで、データ処理部２は、この補正画像
情報に基づいて、撮像された画像における位置の算出、
背景画像（高さ「０」の画像）の除去、物体のエッジ画
像の生成などを行う。以下、これらの処理について説明
する。

【００３４】まず、撮像画像に基づいて位置を算出する
処理について説明する。上記撮像部１すなわちＣＣＤカ
メラ１１は、図１４に示したように、車両後方の所定位
置に設置俯角θ_Sで取り付けられており、監視領域２０
０を撮像している。従って、撮像部１による撮像画像は
この所定位置を基準とした画像となっているので、この
撮像画像から算出した位置もこの所定位置を基準とした
位置となっている。そこで、以後の説明を容易にするた
め、図２３に示すように、この所定位置すなわちカメラ
設置位置を基準とした座標をＸ′，Ｙ′，Ｚ′で表わ
し、路面を基準とした座標をＸ，Ｙ，Ｚで表わすものと
する。

【００３５】そして、このカメラ設置位置を基準とした
Ｘ′，Ｙ′，Ｚ′座標系においては、図２４（ａ）に示
すように、Ｚ′軸はＣＣＤカメラ１１のレンズ光軸とし
て定義され、上記Ｘ′軸は路面と平行な軸として定義さ
れ、また上記Ｙ′軸はＺ′軸とＸ′軸の双方に直交する
軸として定義されている。従って、右側ＣＣＤカメラ１
１Ｒ及び左側ＣＣＤカメラ１１Ｌは、それぞれのレンズ
光軸がＺ′軸と一致するように配置されている。また、
Ｘ′軸に関し、このＸ′軸上にそれぞれのレンズの中心
点が位置するよう配置されるとともに互いに距離ｄｘａ
だけ離間して配置されている。以後の説明を容易にする
ため、Ｘ′，Ｙ′およびＺ′軸の原点Ｏを左側ＣＣＤカ
メラ１１Ｒのレンズの中心として定義することとする。

【００３６】以上のように設置されたＣＣＤカメラ１１
によって撮像された点Ｐ（Ｘ_P′，Ｙ_P′，Ｚ_P′）
は、右側補正情報メモリ３３ＲにＰ_R（ｘ_RP，ｙ_RP）と
して保持され、左側補正情報メモリ３３ＬにＰ
_L（ｘ_LP，ｙ_LP）として保持される。

【００３７】そしてこの点ＰのＺ′座標Ｚ_P′は、図２
４（ｂ）のＸ′Ｚ′平面における模式図で示すように、
三角形の相似にて求めることができる。すなわち、この
距離Ｚ_P′は、次式（４）で表すことができる。Ｚ_P′＝ｄｘａ・ｆ／（ｘ_LP−ｘ_RP）・・・（４）上記式中、ｄｘａは両レンズの間隔ｆはレンズの焦点距離

【００３８】同様に点ＰのＸ′座標Ｘ_P′についても、
図２４（ｂ）のＸ′Ｚ′平面の模式図で示すように、三
角形の相似にて求めることができる。そして点ＰのＹ′
座標Ｙ_P′についても、図示しないＹ′Ｚ′平面を想定
することにより、同様にして求めることができる。すな
わち、これら点ＰのＸ′座標Ｘ_P′及びＹ′座標Ｙ_P′
は、それぞれ次式（５）及び式（６）で求めることがで
きる。Ｘ_P′＝Ｚ_P′ｘ_LP／ｆ＝ｄｘａ・ｘ_LP／（ｘ_LP−ｘ_RP）・・・（５）Ｙ_P′＝Ｚ_P′ｙ_LP／ｆ＝ｄｘａ・ｙ_LP／（ｘ_LP−ｘ_RP）・・・（６）なお、上記座標Ｘ_P′に関し、その基準座標を右側ＣＣ
Ｄカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの間とする場
合には、上式（５）で算出された座標Ｘ_P′と両レンズ
の間隔ｄｘａの１／２の差分をとればよい。

【００３９】以上の式（４）〜式（６）にて算出された
Ｘ′Ｙ′Ｚ′座標系における点Ｐ（Ｘ_P′，Ｙ_P′，Ｚ
_P′）は、上述したようにカメラ設置位置を基準とした
座標系の座標値であるので、この座標値を路面を基準と
したＸＹＺ座標系における座標値に変換する必要があ
る。この場合、撮像部１（ＣＣＤカメラ１１）の俯角が
θ_Sであるとすれば、Ｘ′Ｙ′Ｚ′座標での点Ｐの座標
（Ｘ_P′，Ｙ_P′，Ｚ_P′）と路面を基準としたＸＹＺ
座標との関係は上記図１４で示すようになる。

【００４０】従って、上式（４）〜式（６）で算出した
座標（Ｘ_P′，Ｙ_P′，Ｚ_P′）は、次式（７）〜式
（９）の実行により、ＸＹＺ座標系における点Ｐの座標
（Ｘ_P，Ｙ_P，Ｚ_P）に変換することができる。Ｘ_P＝Ｘ_P′ ・・・（７）Ｙ_P＝Ｈ−Ｚ_P′cos θ_S＋Ｙ_P′sin θ_S ・・・（８）Ｚ_P＝Ｚ_P′sin θ_S＋Ｙ_P′cos θ_S ・・・（９）

【００４１】次に、データ処理部２による物体の認識処
理について説明する。まず、背景画像（高さ「０」の画
像）の除去処理について説明することとする。図２５
（ａ）は右側ＣＣＤカメラ１１Ｒで撮像された後、上述
した歪曲収差補正が施され、そして右側補正画像メモリ
３３Ｒに保持された右側補正画像を示している。同図に
おいて、６００は路面上に画かれた白線、また５００は
障害物としてのポール状の物体である。ここで、この右
側補正画像メモリ３３Ｒに保持されている右側補正画像
に関し、その全ての画像が高さ「０」の背景画像すなわ
ち路面上に描かれている画像だと仮定する。そしてこの
ように仮定した右側補正画像に基づき、この右側補正画
像があたかも左側ＣＣＤカメラ１１Ｌの撮像位置で撮像
された画像（投影画像）となるよう変換処理を行う〔図
２５（ｂ）〕。

【００４２】以下、この投影画像の変換処理について説
明する。ここで、右画像の点Ｐ_R（ｘ_RP，ｙ_RP）に対応
する投影画像の点をＰ_L′（ｘ_LP′，ｙ_LP′）とする。
図１６に示すように、カメラ座標のＸ′軸と路面座標の
Ｘ軸は平行であり、また、カメラによって撮像する走査
線のｘ軸（図２４のｘ_L軸およびｘ_R軸）も共に平行で
あるとすると、同一物体を撮像した場合の撮像画像のｙ
_Lとｙ_R値は一致する。そして、画像の全てが路面上で
あるとすれば、上式（８）で示すＹ_Pの値は０となる。
以上から次式（１０）及び式（１１）を導くことができ
る。そして、式（１１）のＺ_P′およびＹ_P′に式
（４）のＺ_P′及び式（６）のＹ_P′を代入することに
より、式（１２）に示すように、ｘ_LP′を求めることが
できる。

【００４３】ｙ_LP′＝ｙ_RP ・・・（10）０＝Ｈ_P−Ｚ_P′cos θ_S＋Ｙ_P′sin θ_S ・・・（11）ｘ_LP′＝（ｄｘａ・ｆcos θ_S−ｄｘａ・ｙ_RPsin θ_S）／Ｈ＋ｘ_RP ・・・（12）上式（１０）及び式（１２）の演算を行なうことによ
り、データ処理部４は、投影画像〔図２５（ｂ）〕を作
成する。

【００４４】そして、このようにして作成した投影画像
を左側補正画像に重畳すると図２５（ｃ）のようにな
る。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画
像を投影した場合、路面上に画かれている白線等の模様
は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝
度共に一致し、物体が路面より高くなるに従って差が大
きくなる。従って、左画像データと投影画像データの差
分をとることにより、高さのある物体を構成する画素以
外の路面を構成する画素の輝度値は値「０」または値
「０」に近い値となる。そして所定しきい値以下を値
「０」とすれば、全て値「０」となる。このようにし
て、左画像データと投影画像データの差分をとることに
より、その差分画像は図２５（ｄ）に示すように、路面
画像（高さ「０」の背景画像）が除去され、高さのある
部分のみが値「０」以外の値として取り出される。そし
て、この差分画像については記憶部３の差分画像メモリ
３３に格納される。

【００４５】ところで、上記投影画像には誤差が含まれ
ており、これにより上記差分画像〔図２５（ｄ）〕につ
いては、その路面画像が残ってしまう場合がある。この
ため、投影画像と左側補正画像との差分画像を生成する
場合には次のような処理を行なう。すなわち、図２６
（ａ）及び（ｂ）に示すように、投影画像の各画素の輝
度値Ｉ₁〜Ｉ₇と対応する左側補正画像の各画素の輝度
値Ｉ₁′〜Ｉ ₇′の差分を順次求め、その差分値が所定
値Ｉ₀以上となった画素〔画素Ｉ₅に相当〕について
は、図２６（ｃ）に示すように、画素Ｉ₅′に隣接する
画素Ｉ₄′及びＩ₆′との差分を求める。そして、その
差分の最小値（同図の画素Ｉ₄′との差分値）をその画
素に対する差分値とする。

【００４６】このようにして撮像画像中の高さ「０」の
背景画像を除去し、高さのある画像すなわち物体の画像
のみを抽出する。これに続いて、抽出した物体画像につ
いてのエッジの抽出処理が行われる。次いで、この物体
エッジ抽出処理について説明する。

【００４７】この物体エッジ抽出処理は、左側補正画像
メモリ３３Ｌに格納された画像情報に基づいて行われ
る。すなわち、左側補正画像メモリ３３Ｌに格納されて
いる左側補正画像に関し、そのｍ行ｎ列の画像データの
輝度値Ｉ_m,nを水平方向すなわち図２４におけるＸ′軸
方向に走査し、次式（１３）の演算によって微分画像を
生成する。｜Ｉ_m,n+1−Ｉ_m,n｜≧Ｅ₀ ならばＥ_m,n＝１｜Ｉ_m,n+1−Ｉ_m,n｜＜Ｅ₀ ならばＥ_m,n＝０・・・（13）上記式中、Ｅ₀はしきい値

【００４８】この微分画像は、図２７（ｂ）に示すよう
に、物体や路面に画かれている文字等の縦方向エッジ部
分が「１」に、その他の部分は「０」となった画像とな
る。そして、この微分画像は記憶部３の微分画像メモリ
３５に格納される。このようにして求めた微分画像〔図
２７（ｂ）〕と、前述した路面画像除去処理で生成され
差分画像メモリ３３に保持された差分画像〔図２５
（ｄ）〕と重ね合せてアンドを取ると、図２７（ｃ）で
示す物体のエッジ部分のみが抽出された物体エッジの画
像が生成される。この物体エッジ画像については、エッ
ジ画像メモリ３６に格納される。

【００４９】そしてデータ処理部２は、このエッジ画像
メモリ３６に格納された物体エッジ画像に基づいて物体
を認識するとともに物体エッジと車両との相対位置を演
算する。さらに車両の転回情報から車両の進路を予測す
るとともにこの予測進路に基づいて認識した物体と車両
との衝突を予測し、必要があれば警報などを発して運転
者に注意を促す。

【００５０】

【発明が解決しようとする課題】上述したように、第１
の先願装置は、車両周辺が暗くなった場合に測定用基準
画像としての輝点マトリクス３００を監視領域２００内
に投射し、この輝点マトリクス３００が障害物に反射す
ることによる結像位置の移動に基づいて物体の認識を行
なうよう構成され、また第２の先願装置は、車両１００
の所定位置に互いに所定距離離間して配置された複数の
右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに
より監視領域２００内を撮像し、両カメラの差分画像に
基づいて、高さ「０」である背景画像すなわち路面画像
を除去することにより物体のエッジ画像を生成し、生成
したエッジ画像に基づいて物体と車両との相対位置など
を算出するよう構成されている。

【００５１】ところで、第１の先願装置においては、測
定用の基準画像としてレーザ光による輝点マトリクス３
００を用いているが、このレーザ光の放射エネルギーは
太陽光のそれよりも１〜２桁少ないものであるので、太
陽光の照射下においてはレーザ光は太陽光により打ち消
されてしまう。従って、この第１の先願装置では、車両
の周囲が明るい場合には太陽光と輝点マトリクスとを区
別することができず、輝点画像の抽出及び物体の認識を
行うことが難しかった。

【００５２】また、第２の先願装置においては、右側及
び左側ＣＣＤカメラ１１Ｒ及び１１Ｌによる撮像画像を
取得し、両撮像画像の差に基づき物体の抽出及び認識を
行っているが、この第２の先願装置においては、夜間な
ど車両周辺の照度が低くなるとそれに伴い撮像画像の照
度も低くなる。そして、この照度がある程度以下になる
とＣＣＤカメラ１１による撮像ができなくなり、物体の
認識を行うことが難しかった。

【００５３】本発明はこのような事情に鑑みてなされた
ものであり、日中など車両周辺の照度が高い場合、夜間
など車両周辺の照度が低い場合のいずれにおいても監視
領域内の物体を好適に検出できる車両周辺監視装置を提
供することを主たる目的とし、当該装置の操作を簡単に
し使い勝手の良い装置を提供すること及び装置構成を簡
単にし安価に構成できる装置を提供することを他の課題
とする。

【００５４】上記課題を解決するため、本発明によりな
された車両周辺監視装置を図１の基本構成図に基づいて
説明する。すなわち、本発明の車両周辺監視装置は、車
両１００に対する所定位置に設定された監視領域２００
の画像情報に基づいて前記車両１００の周辺を監視する
車両周辺監視装置において、前記監視領域２００内に投
射された測定基準となる測定用基準画像３００を前記車
両１００の所定位置に配設された撮像手段１１Ｒ（１１
Ｌ）にて撮像し、当該撮像手段１１Ｒ（１１Ｌ）からの
画像情報に基づき、前記監視領域２００内に存在する物
体についての画像情報を取得する第１物体画像取得手段
２１ａと、前記監視領域２００内を車両１００の所定位
置に互いに所定距離離間して配置された複数の撮像手段
１１Ｒ、１１Ｌにて撮像し、当該複数の撮像手段１１
Ｒ、１１Ｌからの複数の画像情報の差分画像に基づき、
前記監視領域２００内に存在する物体についての画像情
報を取得する第２物体画像取得手段２１ｂと、前記第１
画像取得手段２１ａあるいは第２画像取得手段２１ｂの
一方により取得された物体画像情報に基づき、前記監視
領域２００内に存在する物体について、前記車両１００
との相対位置を認識する物体位置認識手段２１ｃとを有
することを特徴としている。

【００５５】また、前記車両１００の所定位置に互いに
所定距離離間して配置され、且つ、前記監視領域２００
内を撮像する右側撮像手段１１Ｒ及び左側撮像手段１１
Ｌと、前記監視領域２００内に基準画像３００、４００
を投射する基準画像投射手段ＩＰとを有し、前記第１物
体画像取得手段２１ａは、前記基準画像投射手段ＩＰが
前記監視領域２００内に投射した測定用基準画像３００
を前記右側撮像手段１１Ｒあるいは左側撮像手段１１Ｌ
の一方にて撮像することにより取得された画像情報に基
づき、前記監視領域２００内に存在する物体についての
画像情報を抽出し、前記第２物体画像取得手段２１ｂ
は、前記右側撮像手段１１Ｒにより前記監視領域２００
を撮像することにより得られた右側画像情報と、前記左
側撮像手段１１Ｌにより前記監視領域２００を撮像する
ことにより得られた左側画像情報とを取得するとともに
両画像の差に基づき、前記監視領域２００内に存在する
物体を抽出することを特徴としている。

【００５６】また、前記第１物体画像取得手段２１ａと
前記第２物体画像取得手段２１ｂとを選択する選択手段
２１ｄを有し、物体位置認識手段２１ｃは、前記選択手
段２１ｄにより選択された物体画像取得手段２１ａ、２
１ｂからの物体画像情報に基づき、前記監視領域２００
内に存在する物体について、前記車両１００との相対位
置を認識することを特徴としている。

【００５７】また、車両周辺の明るさを検出する照度検
出手段５１を有し、前記選択手段２１ｄは、車両周辺の
照度に応じて前記第１物体抽出手段２１ａと前記第２物
体抽出手段２１ｂからの物体画像情報を選択することを
特徴としている。

【００５８】また、前記右側撮像手段１１Ｒと左側撮像
手段１１Ｌとの撮像条件を一致させる補正情報を取得す
る補正情報取得手段２１ｅを有し、前記基準画像投射手
段ＩＰは、前記補正情報取得手段２１ｅによる補正情報
取得動作時において、前記監視領域２００に補正用基準
画像４００を投射することを特徴としている。

【００５９】また、前記基準画像投射手段ＩＰは、所定
の光を発光する光源部１２と、前記光源部１２が発光し
た光１２０から、測定用基準画像３００を生成する第１
フィルタ１４１及び補正用基準画像４００を生成する第
２フィルタ１４２を有するフィルタ部１４と、前記フィ
ルタ部１４の第１フィルタ１４１と第２フィルタ１４２
を切換駆動する駆動手段１３とを有することを特徴とし
ている。

【００６０】

【作用】上記構成による車両周辺監視装置によれば、第
１物体画像取得手段２１ａは監視領域２００に投射され
た測定用基準画像３００の撮像画像に基づいて監視領域
２００内の物体についての画像情報を取得し、第２物体
画像取得手段２１ｂは互いに所定距離離間して配設され
た複数の撮像手段１１により撮像された監視領域２００
の撮像画像の差分画像に基づいて監視領域２００内の物
体についての画像情報を取得する。物体位置認識手段２
１ｃは前記第１物体画像取得手段２１ａあるいは前記第
２物体画像取得手段２１ｂからの物体画像情報に基づい
て前記監視領域２００内に存在する物体についての位置
を認識する。すなわち、測定用基準画像を投射すること
により得られた物体画像情報と、複数の撮像手段からの
差分画像に基づいて得られた物体画像情報のいずれか一
方の物体画像情報に基づいて監視領域内に存在する物体
すなわち障害物についての相対位置情報を取得するよう
に構成したので、車両周囲の照度が低い場合には測定用
基準画像を投射することにより物体画像情報を取得し、
照度が高い場合には複数の撮像手段からの差分画像に基
づいて物体画像情報を取得することができる。これによ
り、車両周囲の照度に左右されずに物体（障害物）の監
視を行うことが可能となる。

【００６１】また、右側撮像手段１１Ｒは車両の所定位
置に配置され前記監視領域２００を撮像し、左側撮像手
段１１Ｌは前記右側撮像手段１１Ｒと水平方向に所定距
離離れた状態で配置され監視領域２００を撮像し、基準
画像投射手段ＩＰは監視領域２００内に測定用基準画像
３００を投射する。そして、前記第１物体画像取得手段
２１ａは前記右側撮像手段１１Ｒあるいは左側撮像手段
１１Ｌの一方の画像情報を取得するとともにこの取得し
た画像情報から物体画像情報を取得し、前記第２物体画
像取得手段２１ｂは前記右側撮像手段１１Ｒ及び左側撮
像手段１１Ｌからの右側画像情報及び左側画像情報の差
分画像に基づいて物体画像情報を取得する。すなわち、
右側撮像手段及び左側撮像手段を第１物体画像取得手段
及び第２物体画像取得手段それぞれの撮像手段として用
いる構成としているので、装置を簡素に構成することが
できる。

【００６２】また、選択手段２１ｄは前記第１物体画像
取得手段２１ａと第２物体画像取得手段２１ｂのいずれ
を選択すなわち能動状態にするかを選択し、物体位置認
識手段２１ｃは前記選択手段２１ｄにより選択された物
体画像取得手段２１ａあるいは２１ｂからの画像情報に
基づいて物体画像情報を取得する。すなわち、第１物体
画像取得手段と第２物体画像取得手段とを選択する手段
を設けたので、両物体画像取得手段の切り換えを自動に
行うことができる。

【００６３】また、照度検出手段５１は車両周辺の明る
さを照度情報として検出し、選択手段２１ｄはこの照度
検出手段５１からの照度情報に基づいて第１物体画像取
得手段２１ａと第２物体画像取得手段２１ｂとを選択す
る。すなわち、第１物体画像取得手段と第２物体画像取
得手段とを車両周囲の明るさ情報に応じて選択する手段
を設けたので、車両周囲の明るさに応じて両物体画像取
得手段の切り換えを自動に行うことができる。

【００６４】また、補正情報取得手段２１ｅは右側撮像
手段１１Ｒと左側撮像手段１１Ｌの撮像条件を一致させ
るための補正情報を取得し、基準画像投射手段ＩＰは補
正情報取得手段２１ｅによる補正情報取得時において補
正用基準画像４００を監視領域２００に投射する。すな
わち、基準画像投射手段を、第１の物体画像取得手段に
よる物体画像取得時における測定用基準画像を投射する
手段と、第２の物体画像取得手段による物体画像取得時
における補正用基準画像を投射する手段とに兼用してい
るので、構成を簡素にでき、安価に構成することができ
る。

【００６５】また、光源部１２は所定の光１２０を発光
する。フィルタ部１４を構成する第１フィルタ１４１は
光１２０から測定用基準画像３００を生成し、第２フィ
ルタ１４２光１２０から補正用基準画像４００を生成す
る。駆動手段１３はフィルタ部１４を駆動し、第１フィ
ルタ１４１と第２フィルタ１４２を選択的に光源部１２
の前方位置すなわち光路上に位置付ける。すなわち、基
準画像投射手段により測定用基準画像を投射する場合に
は光源部の光路上に第１フィルタを位置付け、補正用基
準画像を投射する場合には第２フィルタを位置付ける構
成としているので、基準画像投射手段が投射する基準画
像の種類をフィルタにより切り換えることができ、基準
画像投射手段の構成を簡素にすることができる。

【００６６】

【実施例】以下、本発明によりなされた車両周辺監視装
置を図面に基づいて説明する。図２は、この実施例の電
気的構成を示すブロック図で、同図において、先に説明
した第１及び第２の先願装置と同一部には同一符号を付
して示してあり、１は撮像部、２はデータ処理部、３は
記憶部、４は操作部、５は検出部、６は表示部、７は音
声指示部である。

【００６７】撮像部１は、右側ＣＣＤカメラ１１Ｒ、左
側ＣＣＤカメラ１１Ｌ、画像投射部１２、画像投射用フ
ィルタ部１４及び撮像用フィルタ部１６から概略構成さ
れ、図１４にて説明したように、車両１００の後側上端
位置に後方に向けて設置俯角θ_Sで取り付けられてお
り、監視領域２００を撮像する。右側ＣＣＤカメラ１１
Ｒ及び左側ＣＣＤカメラ１１Ｌは、上述した第２の先願
装置と同様に、レンズとイメージプレーンとを備えてい
る（いずれも図示せず）。そして、右側ＣＣＤカメラ１
１Ｒの前方には撮像用フィルタ部１６が配置されてい
る。

【００６８】この撮像フィルタ部１６は、図３（ａ）の
斜視図に示すように、狭帯域フィルタ１６１と透光部１
６２とを有し、これらの狭帯域フィルタ１６１と透光部
１６２とは矢印Ｂ方向に並んで配置されている。この狭
帯域フィルタ１６１は、第１の先願装置にて説明したよ
うに、レーザ光の波長成分を選択的に透過するものであ
り、透光部１６２は、ガラス等の透明板材あるいは単な
る窓孔として構成されているものである。そして、この
撮像フィルタ部１６にはソレノイド１５及び図示省略し
た公知のリンク機構が付設され、これにより撮像フィル
タ部１６は矢印Ｂ方向へ往復移動する。これにより、狭
帯域フィルタ１６１と透光部１６２とが選択的に右側Ｃ
ＣＤカメラ１１Ｒのレンズ１１１Ｒの直前位置に位置付
けられ、狭帯域フィルタ１６１がレンズ１１１Ｒに位置
付けられた場合には、ＣＣＤカメラ１１Ｒは狭帯域フィ
ルタ１６１を透過した光すなわちレーザ光の画像を撮像
し、透光部１６２が位置付けられた場合には、ＣＣＤカ
メラ１１Ｒは監視領域２００上の物体などを撮像する。

【００６９】画像投射用フィルタ部１４は、図３（ｂ）
に示すように、パターン光投光素子としてのＦＧ１４１
と、補正画像用フィルタ（以下ＲＦと略記する）１４２
とを有している。ＦＧ１４１は、上述した第１の先願装
置と同じ構成すなわち光ファイバをシート状に並べた光
ファイバシート１４１ａ、１４１ｂを２枚直交して重ね
あわせた構成を有し、レーザ光の入射により輝点マトリ
クスを生成するものである。また、ＲＦ１４２は、直径
が数μｍ程度の小径の光ファイバシート１４２ａ上にシ
リンドリカルレンズ１４２ｂを配置した構成を有し、レ
ーザ光の入射により線状光を生成するものである。

【００７０】これらのＦＧ１４１とＲＦ１４２は矢印Ａ
方向に並んで配置され、画像投射用フィルタ部１４に付
設されたソレノイド１３及び図示省略した公知のリンク
機構により矢印Ａ方向へ往復移動する。そして、ＦＧ１
４１がレーザ光源１２１の直前位置に位置付けられる
と、図４（ａ）に示すように、監視領域２００上に輝点
マトリクス３００が投射され、またＲＦ１４２がレーザ
光源１２１の直前位置に位置付けられると、図４（ｂ）
に示すように、監視領域２００上に複数の線状光４０１
〜４０５が投射される。

【００７１】そして、その他の構成すなわちデータ処理
部２、記憶部３、操作部４、検出部５、表示部６及び音
声指示部７は、第１及び第２の先願装置を組み合わせた
構成となっている。すなわち、データ処理部２はＣＰＵ
２１、ＲＯＭ２２及びＲＡＭ２３とから構成され、ＲＯ
Ｍ２２に格納された動作プログラムに基づき、所定の処
理動作を実行するように構成されている。

【００７２】記憶部３は、参照データメモリ３１、フレ
ームメモリ３２、補正画像メモリ３３、差分画像メモリ
３４、微分画像メモリ３５及びエッジ画像メモリ３６を
有し、参照データメモリ３１は参照データすなわち第１
の先願装置にて説明した各輝点に対する輝点重心とその
輝度値を保持するよう構成され、またフレームメモリ３
２〜エッジ画像メモリ３６はｍ行ｎ列からなる画素群の
メモリとして構成されるとともに各画素には例えば２５
６階調の輝度値データを保持するよう構成されている。
また、フレームメモリ３２及び補正画像メモリ３３は、
第２の先願装置と同様に、右側画像と左側画像とを保持
可能に分割されている。

【００７３】操作部４は、ライトオン検出スイッチ４１
及び手動操作スイッチ４２とから構成され、ライトオン
検出スイッチ４１は車両のライトがオン状態となったと
きにそれを示す信号をＣＰＵ２１に対して出力し、手動
操作スイッチ４２は表示部６による表示を指定する信号
を出力する。手動操作スイッチ４２についてさらに詳細
に説明すると、この手動操作スイッチ４２は表示部６に
よる表示の切り換え及び測定方法の指定などを行うもの
で、その表示内容を監視領域２００の撮像画像とするの
か、あるいは所定の処理動作により取得された監視領域
２００内の障害物情報とするのかを指定し、さらに障害
物情報を指定した場合には、その測定方法についての指
定すなわち後述するアクティブ方式、パッシブ方式ある
いは両方式を自動切換するかについての指定を行う。そ
して、この手動操作スイッチ４２による指定は、対応す
る信号に変換されてＣＰＵ２１に出力される。

【００７４】検出部５は、照度センサ５１及び舵角検出
部５２から構成され、照度センサ５１は車両周辺の明る
さを照度情報として出力し、舵角検出部５２は車両の転
回方向を転回情報として出力する。表示部６は、ディス
プレイ６１及び切換回路６２から構成され、切換回路６
２は操作部４あるいは検出部５からの出力に基づいてデ
ィスプレイ６１に表示させる情報の切り換えを行い、デ
ィスプレイ６１は切換回路６２からの表示情報に従い監
視領域２００の撮像画像あるいは所定の処理動作により
取得された監視領域２００内における障害物情報を表示
する。音声指示部７はスピーカ７１を有し、操作者に対
するブザー音あるいは音声ガイダンスの出力を行う。

【００７５】このように構成された実施例の動作すなわ
ちＲＯＭ２２に保持された動作プログラムに基づくＣＰ
Ｕ２１の動作について、図５〜図１１のフローチャート
を参照して説明する。まず、図５を参照する。同図は、
この実施例におけるＣＰＵ２１の主動作を示すフローチ
ャートである。

【００７６】この実施例においては、まずステップＳ１
１０にて表示部６のディスプレイ６１に表示させる情報
の種別を判定する。すなわち、このステップＳ１１０で
は、ディスプレイ６１に監視領域２００の撮像画像を表
示させるのか、所定の処理動作により取得された監視領
域２００内における障害物情報を表示させるのかについ
て判定する。この判定は、操作部４の手動操作スイッチ
４２からの操作信号によりなされ、この手動操作スイッ
チ４２による表示指示が「撮像画像」であった場合には
ステップＳ１１１に移行し、「障害物情報」であった場
合にはステップＳ１２０に移行する。

【００７７】そして、ステップＳ１１１では、切換回路
６２は右側ＣＣＤカメラ１１Ｒからの撮像信号をディス
プレイ６１に送出している。一方、この時、撮像部１の
ソレノイド１５は、撮像フィルタ部１６の透光部１６２
を右側ＣＣＤカメラ１１Ｒのレンズ１１１Ｒの直前位置
すなわち撮像経路上に位置付ける。また、ステップＳ１
２０では測定方法選択処理が行われる。このステップＳ
１２０の測定方法選択処理は、具体的には図６のフロー
チャートによりなされる。以下、図６を参照し、この測
定方法選択処理について説明する。

【００７８】この測定方法選択処理は、その測定方法に
ついて、監視領域内に投射された測定用基準画像を撮像
手段にて撮像し、この撮像手段からの画像情報に基づい
て監視領域内に存在する物体についての画像情報を取得
する方法と、監視領域内を互いに所定距離離間して配置
された複数の撮像手段にて撮像し、これら複数の撮像手
段からの複数の画像情報から差分画像を生成するととも
にこの差分画像に基づいて監視領域内に存在する物体に
ついての画像情報を取得する方法とを選択する処理をい
う。なお、説明の都合上、前者の方式については測定用
基準画像を監視領域内に投射し、この測定用基準画像に
基づいて障害物を認識することからアクティブ方式、後
者の方式については監視領域の撮像画像に基づいて障害
物を認識することからパッシブ方式と定義し、以後の説
明を行うこととする。

【００７９】この測定方法選択処理においては、まずス
テップＳ２１０にて手動操作スイッチ４２の確認処理が
行われる。すなわち、このステップＳ２１０では、手動
操作スイッチ４２からの操作信号が、上述したアクティ
ブ方式、パッシブ方式あるいは自動切換のいずれを示す
信号であるのか判定する。そして、アクティブ方式
（Ａ）を示す信号の場合にはステップＳ２４０に移行
し、パッシブ方式（Ｐ）を示す信号の場合にはステップ
Ｓ２５０に移行する。また、自動切換（自動）を示す信
号の場合にはステップＳ２２０に移行する。ステップＳ
２４０では、その測定方法に関しアクティブ方式を選択
し、またステップＳ２５０ではパッシブ方式を選択す
る。

【００８０】ステップＳ２２０では、ライトオン検出ス
イッチ４１の確認を行う。一般に、操作者（運転者）に
よるヘッドライトのオン操作は、周囲の明るさが暗い状
態においてなされるものであるので、ヘッドライトがオ
ン状態のときは車両周囲は暗くなっていると判断でき
る。従って、このステップＳ２２０においてライトオン
検出スイッチ４１からの信号がオンを示す信号であった
場合にはステップＳ２４０に移行してアクティブ方式を
選択し、またオフを示す信号であった場合にはステップ
Ｓ２３０に移行する。

【００８１】ステップＳ２３０では、照度センサ５１か
らの出力すなわち車両周辺の明るさ情報に基づく判定動
作を行う。すなわち、このステップＳ２３０では照度セ
ンサ５１から出力される信号のレベルを取得し、このレ
ベルが規定値以上であるか否かを判定する。そして、こ
の信号の出力レベルが規定値以上であった場合には、車
両周囲は撮像部１（ＣＣＤカメラ１１Ｒ、１１Ｌ）によ
り撮像可能な明るさであると判定し、ステップＳ２５０
に移行してパッシブ方式を選択し、規定値未満であった
場合にはステップＳ２４０に移行してアクティブ方式を
選択する。従って、このステップＳ２３０の規定値はＣ
ＣＤカメラ１１Ｒ及び１１Ｌにより撮像可能な明るさに
応じた値とされる。

【００８２】そして、ステップＳ２４０及びステップＳ
２５０にて測定方式を選択すると、この測定方法選択処
理を終了し、図５のフローチャートにおけるステップＳ
１３０に移行する。なお、以上の説明においては、手動
操作スイッチ４２からの操作情報、ライトオンスイッチ
４１からの操作情報、照度センサ５１からの出力信号を
組み合わせるとともに優先順位を持たせることにより測
定方法を選択する構成を例示したが、手動操作スイッチ
４２、ライトオンスイッチ４１及び照度センサ５１を単
独で使用しても構わない。

【００８３】ステップＳ１３０では測定方法の判定すな
わち上記ステップＳ１２０の測定方法選択処理にて選択
された測定方法情報を参照してアクティブ方式とパッシ
ブ方式のいずれであるかを判定する。そして、このステ
ップＳ１３０にて、アクティブ方式（Ａ）と判定した場
合にはステップＳ１３１に移行し、パッシブ方式（Ｐ）
と判定した場合にはステップＳ１３３に移行する。

【００８４】ステップＳ１３１では、撮像部１の状態を
アクティブ方式に適した状態（設定１）とする処理を行
う。すなわち、このステップＳ１３１では、図３（ａ）
で説明したように、ソレノイド１５及びリンク機構（図
示せず）により撮像用フィルタ部１６を移動させ狭帯域
フィルタ１６１を右側ＣＣＤカメラ１１Ｒの撮像経路上
に位置付けること、図３（ｂ）で説明したように、ソレ
ノイド１３及びリンク機構（図示せず）により画像投射
用フィルタ部１４を移動させＦＧ１４１を光源部１２の
光路上すなわちレーザ光源１２１の直前に位置付けるこ
と、図４（ａ）で説明したように、レーザ光源１２１を
オン状態として光源部１２より測定用画像としての輝点
マトリクス３００を監視領域２００上に投射すること、
また、狭帯域フィルタ１６１が設置された右側ＣＣＤカ
メラ１１Ｒを能動状態すなわち撮像可能な状態にするこ
とを行う。そして、このステップＳ１３１の処理が終了
すると、ステップＳ１３２に移行してアクティブ方式に
よる物体情報取得処理を行う。

【００８５】一方、ステップＳ１３３では、撮像部１の
状態をパッシブ方式に適した状態（設定２）とする処理
を行う。すなわち、このステップＳ１３３では、図３
（ａ）で説明したようにソレノイド１５及びリンク機構
（図示せず）により撮像用フィルタ部１６を移動させ透
光部１６２を右側ＣＣＤカメラ１１Ｒの撮像経路上に位
置付けること、右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤ
カメラ１１Ｌを能動状態すなわち撮像可能な状態にする
こと、図３（ｂ）で説明したようにソレノイド１３及び
リンク機構（図示せず）により画像投射用フィルタ部１
４を移動させＲＦ１４２を光源部１２の光路上に位置付
けることを行う。そして、このステップＳ１３３の処理
が終了すると、ステップＳ１３４に移行してパッシブ方
式による物体情報取得処理を行う。

【００８６】以下、上記ステップＳ１３１のアクティブ
方式による物体情報取得処理と、ステップＳ１３４のパ
ッシブ方式による物体情報取得処理について説明する。
まず、アクティブ方式による物体情報取得処理について
説明することにする。このステップＳ１３１のアクティ
ブ方式による物体情報取得処理は、具体的には、図７の
フローチャートによりなされる。そして、ステップＳ３
１０にて参照データの取得処理が行なわれる。このステ
ップＳ３１０の参照データ取得処理は、具体的には、図
８のフローチャートによりなされる。以下、図８を参照
して参照データ取得処理について説明する。

【００８７】この参照データ取得処理においては、まず
ステップＳ４１０にて画像入力処理を行う。このステッ
プＳ４１０の画像入力処理では、まず図４（ａ）に示す
ように、画像投射部１２を動作させ監視領域２００内に
輝点マトリクス３００を投射し、この輝点マトリクス３
００の画像を右側ＣＣＤカメラ１１Ｒにより撮像する。
そして、この撮像画像を、例えば、５１２×５１２（ｍ
×ｎ）画素、輝度０〜２５５階調の画素データに変換
し、フレームメモリ３２の右側領域（図示せず）に一時
的に蓄える。そしてステップＳ４２０に移行する。

【００８８】ステップＳ４２０では、輝点の抽出処理が
行われる。このステップＳ４２０では、図１７で説明し
た所定のしきい値による輝点画像の抽出を行なうことに
より図１８で説明した輝点画像を取得する。そしてステ
ップＳ４３０に移行する。ステップＳ４３０では、輝点
重心座標位置の決定動作を行う。このステップＳ４３０
では、輝点画像を構成する各画素の輝度値に基づく重み
付けを行うことにより、図２０で示すような輝点画像の
重心座標〔同図における（Ｕ，Ｖ）〕を決定する。そし
てステップＳ４４０に移行する。

【００８９】ステップＳ４４０では、輝点の明るさの決
定処理を行う。すなわち、このステップＳ４４０では、
輝点画像を構成する画素群における最低輝度値をその輝
点画像すなわち輝点の明るさとする。従って、図２０の
例においては、その輝点の明るさは値「５０」となる。
引き続くステップＳ４５０では、背景輝度データの取得
を行う。この背景輝度データは、測定時における明るさ
補正を行う場合に用いるもので、図１６及び図１７にお
ける背景画像ＢＧの輝度値のことである。従って、この
ステップＳ４５０では、この背景画像ＢＧの平均輝度値
を算出する。

【００９０】そして、このステップＳ４５０により参照
データ取得処理は終了するが、上記ステップＳ４３０で
決定された輝点重心座標情報、ステップＳ４４０で決定
された輝点の明るさ情報及びステップＳ４５０で取得さ
れた背景輝度情報については、参照データとして参照デ
ータメモリ３１に格納保持する。そして、図７のフロー
チャートにおけるステップＳ３２０に移行する。

【００９１】ステップＳ３２０では、参照データの入力
処理が行われる。すなわち、このステップＳ３２０で
は、上記ステップＳ３１０（図８のフローチャートにお
けるステップＳ４１０〜Ｓ４５０）にて参照データメモ
リ３１に格納保持された参照データを読み込む処理を行
う。そしてステップＳ３３０に移行する。ステップＳ３
３０では、再度、画像投射部１２及び右側ＣＣＤカメラ
１１Ｒを動作させ測定用の画像（測定画像）の取り込み
を行う。この画像取込動作は、基本的に上述した参照デ
ータ取得動作と同様にしてなされるものである。すなわ
ち、画像投射部１２による監視領域２００内に対する輝
点マトリクス３００の投射動作、右側ＣＣＤカメラ１１
Ｒによる輝点マトリクス３００の撮像動作の実行によ
り、右側ＣＣＤカメラ１１Ｒのイメージプレーン１１２
Ｒに輝点マトリクス３００を結像させる（図１６参
照）。

【００９２】引き続くステップＳ３４０では、背景の明
るさに対する変化の検出・補正処理を行う。この明るさ
検出補正処理は、実際の測定時における背景画像の輝度
値が自車のブレーキライト及びバックライト（後退
灯）、あるいは他車のヘッドライトなどにより照らされ
ることにより、輝点画像の抽出が正常に行えなくなるこ
とを防止するために行う動作である。このステップＳ３
４０においては、実際に取得した測定画像の背景画像の
輝度と参照データにおける背景画像の輝度との差に基づ
いて各輝点毎に補正係数を算出し、さらに、この補正係
数を用いて補正処理すなわち参照データ取得時に使用し
た輝度しきい値より各輝点毎の測定用輝度しきい値を算
出する処理を行う。このステップＳ３４０の処理が終了
するとステップＳ３５０に移行する。

【００９３】ステップＳ３５０では、輝点の抽出処理を
行う。すなわち、上記ステップＳ３４０にて算出した測
定用輝度しきい値を用いて、輝点マトリクス３００を構
成する各輝点に対応した輝点画像を抽出するとともに抽
出した輝点画像について輝点の重心座標及び明るさ情報
を算出する。そして、このステップＳ３５０の処理が終
了するとステップＳ３６０に移行する。ステップＳ３６
０では、上記ステップＳ３５０にて抽出した輝点画像群
について、その重心座標及び明るさ情報を参照データの
それと比較し、移動が認められた輝点すなわち対応する
輝点画像同士において重心座標値に差が認められた輝点
を移動輝点として抽出する。

【００９４】引き続くステップＳ３７０では、移動輝点
の三次元座標位置算出動作を行う。すなわち、このステ
ップＳ３７０では、図１５にて説明したような三次元座
標位置算出動作を、ステップＳ３１０で取得した参照デ
ータと、ステップＳ３６０で取得した移動輝点データと
を用いて実行することにより、監視領域２００内に存在
する物体（障害物）の三次元座標値を算出する。要する
に、このステップＳ３７０では、同図における点Ａを参
照データ、点Ｂを測定データとして、障害物（同図にお
ける物体Ｏ）についての三次元座標値〔同図における点
Ｐ_B（Ｘ_B，Ｙ_B，Ｚ_B）〕を算出するとともに、この
三次元座標算出動作を障害物に反射した輝点（移動輝
点）全てについて行うことにより物体の三次元座標値を
算出し、物体のおおよその形状及び位置を算出する。そ
して、このステップＳ３７０の処理により、アクティブ
方式による物体情報取得処理を終了し、図５のフローチ
ャートのステップＳ１４０に移行する。

【００９５】次に、上記ステップＳ１３４の処理すなわ
ちパッシブ方式による物体情報取得処理について説明す
る。このパッシブ方式による物体情報取得処理は、具体
的には、図９のフローチャートによりなされる。以下、
この図９を参照して説明を行う。

【００９６】このパッシブ方式による物体情報取得処理
では、まずステップＳ５１０にて、補正値すなわち右側
ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの撮像状
態を等しくするために用いられる倍率補正値及び「０」
補正値を取得するか否かを判定する。このステップＳ５
１０で、「補正値を取得する」すなわち「Ｙ」と判定し
た場合にはステップＳ５１１にて倍率補正値を、ステッ
プＳ５１２にて「０」補正値を取得し、「補正値を取得
しない」すなわち「Ｎ」と判定した場合にはステップＳ
５２０に移行する。そして「Ｎ」の場合、前回までの倍
率補正値及び「０」補正値がある場合にはそれを用い、
ない場合には補正値なしで以後の処理を行う。以下、こ
のステップＳ５１０で「Ｙ」（補正値要）と判定した場
合について説明する。

【００９７】この場合、上述したように、ステップＳ５
１１にて倍率補正値の取得を行う。このステップＳ５１
１の倍率補正値の取得動作は、具体的には図１０のフロ
ーチャートによりなされる。以下、この図１０のフロー
チャートを参照して説明する。

【００９８】すなわち、最初にステップＳ６１０にて、
右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに
よる基準画像の取り込みが行われる。すなわち、このス
テップＳ６１０では、まず、図４（ｂ）にて説明したよ
うに、画像投射部１２が監視領域２００内に基準画像４
００（線状光４０１〜４０５）を投射し、撮像部１の右
側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌによ
り投射された基準画像４００を撮像する。これらの撮像
画像については、それぞれ右側基準画像情報及び左側基
準画像情報としてフレームメモリ３２に格納する。そし
て、このフレームメモリ３２に格納した画像情報に関
し、図２２で説明した歪曲収差の補正処理を施し、この
歪曲補正後の右側基準画像及び左側基準画像をそれぞれ
補正画像メモリ３３に格納する。

【００９９】引き続くステップＳ６２０では、上記ステ
ップＳ６１０で取得した左右の基準画像を参照し、これ
らの右側及び左側基準画像において測定基準となる対象
点群の座標値を取得する。この対象点群は、例えば、上
記線状光４０１〜４０５と、この線状光４０１〜４０５
に交差する走査ライン（図示せず）との交点座標とされ
る。そして、各対象点群の座標値を取得した後にステッ
プＳ６２１に移行する。

【０１００】ステップＳ６２１では、倍率変換対象とす
る画像を判定する。この実施例においては、撮像倍率が
高い方すなわち被写体が大きく撮像されている側の画像
を倍率変換対象画像として選択し、この対象画像を後の
処理で縮小補正する構成としている。この対象画像の判
定は、上記ステップＳ６２０で取得した交点座標に基づ
いて行われ、例えば、右側基準画像における２つの交点
座標間の距離と、左側基準画像におけるそれとを比較
し、距離が長い方の基準画像を倍率変換対象画像として
選択する。そして、このステップＳ６２１の判定処理が
終了するとステップＳ６３０に移行する。

【０１０１】ステップＳ６３０では、対象画像に対する
倍率補正値ｋ₃を定める。このステップＳ６３０におい
ては、初回の補正値決定動作の場合には倍率補正値ｋ₃
を値「１．０００」とし、２回目以降の補正値決定動作
の場合すなわち後述するステップＳ６４０で「Ｎ」と判
定された場合には、この倍率補正値ｋ₃を前回の倍率補
正値より値「０．００１」だけ減算した値とする。例え
ば３回目の補正値決定動作においては、２回目の倍率補
正値「０．９９９」より値「０．００１」だけ減算した
値「０．９９８」が倍率補正値ｋ₃となる。そしてこの
ステップＳ６３０の補正値決定処理が終了すると、引き
続くステップＳ６３１に移行する。

【０１０２】ステップＳ６３１では、上記ステップＳ６
３０にて定められた倍率補正値ｋ₃に基づいて対象画像
の拡大縮小処理（この実施例においては縮小処理）が行
われる。この拡大縮小処理は、その中心に原点としての
光軸（０，０）を設定するとともにｉ，ｊの座標系とし
て設定された補正前の対象画像に対し、上記ステップＳ
６３０で算出した倍率補正値ｋ₃を乗算することにより
行われる。そして、引き続くステップＳ６３２では、上
記ステップＳ６３１にて拡大縮小補正された基準画像
（対象画像）と他方の基準画像とにおける、対応する座
標点対間の視差値を取得する。すなわち、このステップ
Ｓ６３２では、縮小変換された基準画像を他方の基準画
像に重ね合わせ、互いに対応する基準画像（線状光４０
１〜４０５）同士の視差を取得する。そしてステップＳ
６４０に移行する。

【０１０３】ステップＳ６４０では、上記ステップＳ６
３２で取得した視差が一致しているか否かを判定する。
すなわち、このステップＳ６４０では、右側基準画像に
おける線状光４０１と左側基準画像における線状光４０
１の視差、右側基準画像における線状光４０２と左側基
準画像における線状光４０２の視差、・・・といった各
線状光４０１〜４０５における視差値に基づき、各視差
値の平均視差を算出し、この視差に対するばらつきを算
出する。このばらつきが所定範囲内であれば「一致」す
なわち「Ｙ」と判定しステップＳ６５０に移行する。ま
た視差値のばらつきが所定範囲外であれば「非一致」す
なわち「Ｎ」と判定し、ステップＳ６３０に移行して再
度対象画像の拡大縮小処理を実行する。ステップＳ６５
０では、上記ステップＳ６４０で「一致」と判定した倍
率補正値ｋ₃をデータ処理部２のＲＡＭ２３に格納し
て、一連の処理を終了し、図９のフローチャートにおけ
るステップＳ５１２に移行する。

【０１０４】そして、ステップＳ５１２では、上述した
ように、「０」補正値取得動作を行う。このステップＳ
５１２における「０」補正値取得動作は、具体的には、
図１１のフローチャートによってなされる。以下、図１
１を参照して、この「０」補正値取得動作について説明
する。

【０１０５】この「０」補正値取得動作では、まずステ
ップＳ７１０にて、右側及び左側ＣＣＤカメラ１１Ｒ及
び１１Ｌからの基準画像の取り込みを行う。すなわち、
このステップＳ７１０では、画像投射部１２により監視
領域２００における基準画像４００〔線状光４０１〜４
０５；図４（ｂ）参照〕が投射され、この基準画像４０
０を撮像部１の右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤ
カメラ１１Ｌにより撮像する。そして、これらの撮像画
像を、それぞれ右側基準画像情報及び左側基準画像情報
としてフレームメモリ３２に格納し、このフレームメモ
リ３２に格納した画像情報については、まず図２２で説
明した歪曲収差の補正処理を施す。そして上記ステップ
Ｓ６２１にて判定した倍率補正対象画像に対しては、ス
テップＳ６５０にて算出した倍率補正値を乗算し、両基
準画像の大きさ（撮像倍率）を等しくする処理を施す。
そして、このような処理を施した右側及び左側基準画像
を、それぞれ補正画像メモリ３３に格納する。

【０１０６】そして、引き続くステップＳ７２０では、
上記ステップＳ７１０で取得した右側及び左側基準画像
に基づいて、両基準画像における着目点の座標値を左右
基準画像のそれぞれについて取得する。例えば、中央の
基準光４０３〔図４（ｂ）参照〕について、右側基準画
像におけるエッジ部分の座標値群と左側基準画像におけ
るエッジ部分の座標値群とを取得する処理を行う。そし
て、ステップＳ７３０に移行する。ステップＳ７３０で
は、上記ステップＳ７２０で取得した交点座標群のそれ
ぞれの交点座標について差分演算を行うことにより、右
側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌにより
撮像された画像が有する視差（実視差）Ｄ_acを算出し、
ステップＳ７４０に移行する。

【０１０７】ステップＳ７４０では、撮像部１の設置パ
ラメータに基づく理論視差Ｄ_thを算出する。この理論視
差Ｄ_thは、上式（１２）に基づいて導かれた次式（１
４）の演算により算出することができる。Ｄ_th＝ｘ_LP′−ｘ_RP ＝（ｄｘａ・ｆcos θ_S−ｄｘａ・ｙ_RPsin θ_S）／Ｈ・・・（14）このステップＳ７４０にて理論視差を算出すると、次に
ステップＳ７５０に移行する。

【０１０８】ステップＳ７５０では、上記ステップＳ７
３０で取得した実視差Ｄ_acと、上記ステップＳ７４０で
算出した理論視差Ｄ_thとの差分すなわち次式（１５）に
より、「０」補正値ｋ₂を算出する。ｋ₂＝Ｄ_ac−Ｄ_th ・・・（15）そして、この算出した「０」補正値ｋ₂をデータ処理部
２のＲＡＭ２３に格納して一連の「０」補正値取得動作
を終了し、図９のフローチャートのステップＳ５２０に
移行する。

【０１０９】ステップＳ５２０では、撮像部１の右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの映
像情報を右側画像情報及び左側画像情報としてそれぞれ
フレームメモリ３２に格納し、ステップＳ５３０に移行
する。なお、このステップＳ５２０において取得する画
像情報は、障害物などを測定するための画像情報であ
る。

【０１１０】そして、ステップＳ５３０では、補正画像
の生成が行われる。すなわち、フレームメモリ３２に保
持された右側及び左側画像情報を読み出すとともにこの
読み出した右側及び左側画像情報に対して図２２で説明
した歪曲収差補正処理を行い、そして上記ステップＳ６
２１にて判定した倍率補正対象画像に対し、ステップＳ
６５０にて格納した倍率補正値を乗算することにより、
画像情報に対する撮像倍率補正処理を行う。このように
して補正処理を施した右側及び左側補正画像情報をそれ
ぞれ補正画像メモリ３３に格納して、ステップＳ５４０
に移行する。

【０１１１】ステップＳ５４０では、補正画像メモリ３
３に保持された左側補正画像に対し、上式（１３）の演
算処理を行うことにより、この左側補正画像に対する微
分画像〔図２７（ｂ）〕を生成するとともにこの生成し
た微分画像を微分画像メモリ３５に格納する。そしてス
テップＳ５４１に移行する。ステップＳ５４１では、図
２５で説明した投影画像作成処理、すなわち補正画像メ
モリ３３に格納されている右側補正画像の高さを全て
「０」と仮定するとともにこの右側補正画像に対して座
標変換処理を施して左側ＣＣＤカメラ１１Ｌで撮像した
投影画像〔図２５（ｂ）〕を作成する。

【０１１２】このステップＳ５４１においては、図１１
のフローチャートの処理により取得した「０」補正値ｋ
₂を用いることにより、撮像部１の設置パラメータのば
らつきを補正した投影画像を作成する。すなわち、この
ステップＳ５４１においては、次式（１６）及び式（１
７）を実行して投影画像を作成する。ｙ_LP′＝ｙ_RP ・・・（16）ｘ_LP′＝（ｄｘａ・ｆcos θ_S−ｄｘａ・ｙ_RPsin θ_S）／Ｈ＋ｘ_RP＋ｋ₂ ・・・（17）そして、このステップＳ５４１が終了するとステップＳ
５４２に移行する。ステップＳ５４２では、ステップＳ
５４１で作成した投影画像を左側補正画像に重畳〔図２
５（ｃ）〕するとともに両者の差分をとることにより差
分画像〔図２５（ｄ）〕を作成し、この作成した差分画
像を差分画像メモリ３４に格納する。そしてステップＳ
５４３に移行する。

【０１１３】ステップＳ５４３では、物体エッジ画像作
成処理が行われる。すなわち、上記ステップＳ５４０で
微分画像メモリ３５に保持された微分画像と上記ステッ
プＳ５４２で差分画像メモリ３４に保持された差分画像
とを重ね合せてアンドを取ることにより、物体エッジ画
像〔図２７（ｃ）〕を生成する。そして生成した物体エ
ッジ画像をエッジ画像メモリ３６に格納してステップＳ
５５０に移行する。ステップＳ５５０では、上記ステッ
プＳ５４３で作成した物体エッジ画像データのエッジ部
分について、測定すべき物体の左右画像の対応点を補正
画像メモリ３３に保持された右側および左側補正画像よ
り抽出し、ステップＳ５６０に移行する。

【０１１４】ステップＳ５６０では、上記ステップＳ５
５０にて抽出した物体エッジの各座標点について図２３
及び図２４にて説明した３次元位置座標算出動作を行
い、このエッジ画像の３次元座標値を算出する。そし
て、このステップＳ５６０における座標位置算出動作で
は、図１１のフローチャートで説明した「０」補正値ｋ
₂を利用して座標算出を行う。すなわち、このステップ
Ｓ５６０では、次式（１８）〜式（２０）の演算を実行
することにより座標値Ｚ_P′、Ｘ_P′及びＹ_P′を算出
し、さらにこの算出した座標値を用いて上式（７）〜式
（９）の演算を実行し、座標値Ｚ_P、Ｘ_P及びＹ_Pすな
わち監視領域２００内の障害物の位置情報を取得する。Ｚ_P′＝ｄｘａ・ｆ／（ｘ_LP−ｘ_RP＋ｋ₂）・・・（18）Ｘ_P′＝ｄｘａ・ｘ_LP／（ｘ_LP−ｘ_RP＋ｋ₂）・・・（19）Ｙ_P′＝ｄｘａ・ｙ_LP／（ｘ_LP−ｘ_RP＋ｋ₂）・・・（20）そして、このステップＳ５６０が終了すると、図５のフ
ローチャートに示すステップＳ１４０に移行する。

【０１１５】ステップＳ１４０では、データ処理部２
は、舵角検出部５２からの転回情報、例えばハンドルの
舵角情報を読み込む。そして、この読み込んだ転回情報
に基づいて車両１００の進路を予測し、この予測進路に
対し車両１００の形状情報を加味して車両の予測軌跡を
算出する。そして算出した予測軌跡をＲＡＭ２３に格納
し、ステップＳ１５０に移行する。

【０１１６】ステップＳ１５０では、上述した物体情報
取得処理にて取得した障害物情報に基づき、監視領域２
００内に障害物が存在するか否かを判定する。すなわ
ち、このステップＳ１５０では、図７のフローチャート
におけるステップＳ３７０にて取得した三次元座標位置
（アクティブ方式の場合）あるいは図９のフローチャー
トにおけるステップＳ５６０にて取得した三次元座標位
置（パッシブ方式の場合）に基づき、監視領域２００内
に障害物が存在するか否かを判定する。そして、このス
テップ１５０において障害物が「存在する」すなわち
「有」と判定した場合には引き続くステップＳ１６０に
移行し、一方「存在しない」すなわち「無」と判定した
場合にはステップＳ１１０に移行する。

【０１１７】ステップＳ１６０では、上記ステップＳ１
４０にて算出した予測軌跡と、上記ステップＳ１５０に
て取得した障害物位置情報に基づいて、障害物のエッジ
間領域と車両とが衝突する可能性があるか否かを判定す
る。そして「衝突の可能性有り」と判定された場合には
ステップＳ１６１に移行し、「衝突の可能性無し」と判
定された場合にはステップＳ１６２に移行する。

【０１１８】そしてステップＳ１６１では、音声指示部
７により運転者に対してブザー音あるいは音声ガイダン
スの警報を発するとともに、表示部６により車両と障害
物との衝突予測位置及びメッセージを表示する。また、
ステップＳ１６２では、表示部６により障害物と車両と
の相対位置を表示する。そして、これらのステップＳ１
６１及びステップＳ１６２にて一連の処理を終了し、ス
テップＳ１１０に移行する。

【０１１９】以上の説明から明らかなように、本発明の
基本構成と実施例のフローチャートとは次の対応関係を
有している。すなわち、本発明の基本構成における第１
物体画像取得手段２１ａは、図５のフローチャートにお
けるステップＳ１３２（図７のフローチャートにおける
ステップＳ３１０〜Ｓ３７０及び図８のフローチャート
におけるステップＳ４１０〜Ｓ４５０）に相当し、第２
物体画像取得手段２１ｂは、図５のフローチャートにお
けるステップＳ１３４（図９のフローチャートにおける
ステップＳ５２０〜Ｓ５６０）に相当している。

【０１２０】物体位置認識手段２１ｃは、図５のフロー
チャートにおけるステップＳ１４０〜Ｓ１６２に相当し
ている。また、選択手段２１ｄは、図５のフローチャー
トにおけるステップＳ１２０（図６のフローチャートに
おけるステップＳ２１０〜Ｓ２５０）に相当し、補正情
報取得手段２１ｅは、図９のフローチャートにおけるＳ
５１０〜Ｓ５１２（図１０のフローチャートにおけるス
テップＳ６１０〜Ｓ６５０及び図１１のフローチャート
におけるステップＳ７１０〜Ｓ７５０）に相当してい
る。

【０１２１】

【発明の効果】以上説明したように本発明の車両周辺監
視装置によれば、次の効果を奏する。すなわち、測定用
基準画像を投射することにより得られた物体画像情報
と、複数の撮像手段からの差分画像に基づいて得られた
物体画像情報のいずれか一方の物体画像情報に基づいて
監視領域内に存在する物体すなわち障害物についての相
対位置情報を取得するように構成したので、車両周囲の
照度が低い場合には測定用基準画像を投射することによ
り物体画像情報を取得し、照度が高い場合には複数の撮
像手段からの差分画像に基づいて物体画像情報を取得す
ることができる。これにより、車両周囲の照度に左右さ
れずに物体（障害物）の監視を行うことが可能となる。

【０１２２】また、右側撮像手段及び左側撮像手段を第
１物体画像取得手段及び第２物体画像取得手段それぞれ
の撮像手段として用いる構成としているので、装置を簡
素に構成することができる。

【０１２３】また、第１物体画像取得手段と第２物体画
像取得手段とを選択する手段を設けたので、両物体画像
取得手段の切り換えを自動に行うことができる。

【０１２４】また、第１物体画像取得手段と第２物体画
像取得手段とを車両周囲の明るさ情報に応じて選択する
手段を設けたので、車両周囲の明るさに応じて両物体画
像取得手段の切り換えを自動に行うことができる。

【０１２５】また、基準画像投射手段を、第１の物体画
像取得手段による物体画像取得時における測定用基準画
像を投射する手段と、第２の物体画像取得手段による物
体画像取得時における補正用基準画像を投射する手段と
に兼用しているので、構成を簡素にでき、安価に構成す
ることができる。

【０１２６】また、基準画像投射手段により測定用基準
画像を投射する場合には光源部の光路上に第１フィルタ
を位置付け、補正用基準画像を投射する場合には第２フ
ィルタを位置付ける構成としているので、基準画像投射
手段が投射する基準画像の種類をフィルタにより切り換
えることができ、基準画像投射手段の構成を簡素にする
ことができる。

【図面の簡単な説明】

【図１】本発明の基本構成図である。

【図２】本発明の実施例の構成図である。

【図３】ＣＣＤカメラ及び画像投射部と、その周辺部を
示す構成図である。

【図４】監視領域と、測定用基準画像及び測定用基準画
像を説明する図である。

【図５】実施例の主動作を示すフローチャートである。

【図６】測定方法選択処理を示すフローチャートであ
る。

【図７】アクティブ方式による物体情報取得処理を示す
フローチャートである。

【図８】アクティブ方式における参照データ取得処理を
示すフローチャートである。

【図９】パッシブ方式による物体情報取得処理を示すフ
ローチャートである。

【図１０】パッシブ方式における倍率補正値取得処理を
示すフローチャートである。

【図１１】パッシブ方式における「０」補正値取得処理
を示すフローチャートである。

【図１２】第１の先願装置の構成図である。

【図１３】実施例及び第１の先願装置におけるパターン
光投光素子としてのファイバグレイティング及びマルチ
ビームプロジェクタを示す図である。

【図１４】実施例及び第１、第２の先願装置における撮
像部の取付態様の説明図である。

【図１５】実施例及び第１の先願装置における光学配置
を示す図である。

【図１６】実施例及び第１の先願装置における監視領域
内の輝点投影画像を示す図である。

【図１７】実施例及び第１の先願装置における一走査線
上の輝度分布を示す図である。

【図１８】輝点抽出処理によって得られる輝点の画素デ
ータを示す模式図である。

【図１９】フレームメモリ内の画素データを示す図であ
る。

【図２０】輝点重心の求め方を説明する図である。

【図２１】第２の先願装置の構成図である。

【図２２】実施例及び第２の先願装置におけるレンズ収
差補正の説明図である。

【図２３】同じく撮像部の俯角補正の説明図である。

【図２４】同じく３次元位置測定の説明図である。

【図２５】同じく路面画像除去の説明図である。

【図２６】同じく差分画像作成の説明図である

【図２７】同じく物体エッジ検出の説明図である

【符号の説明】

１撮像部１１Ｒ，１１ＬＣＣＤカメラ１２画像投射部１４画像投射用フィルタ部１４１ファイバグレイティング（ＲＦ）１４２補正画像用フィルタ（ＲＦ）２データ処理部２１ＣＰＵ４操作部４１ライトオン検出スイッチ４２手動操作スイッチ５検出部５１照度センサ１００車両２００監視領域３００測定用基準画像４００補正用基準画像

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 7/00 Ｈ０４Ｎ 5/225 ＣＨ０４Ｎ 5/225 7/18 Ｊ 7/18 Ｇ０６Ｆ 15/62 ４１５ (72)発明者藤浪一友静岡県裾野市御宿1500 矢崎総業株式会社内

Claims

【特許請求の範囲】

【請求項１】車両に対する所定位置に設定された監視
領域の画像情報に基づいて前記車両の周辺を監視する車
両周辺監視装置において、前記監視領域内に投射された測定基準となる測定用基準
画像を前記車両所定位置に配設された撮像手段にて撮像
し、当該撮像手段からの画像情報に基づき、前記監視領
域内に存在する物体についての画像情報を取得する第１
物体画像取得手段と、前記監視領域内を車両の所定位置に互いに所定距離離間
して配置された複数の撮像手段にて撮像し、当該複数の
撮像手段からの複数の画像情報の差分画像に基づき、前
記監視領域内に存在する物体についての画像情報を取得
する第２物体画像取得手段と、前記第１画像取得手段あるいは第２画像取得手段の一方
により取得された物体画像情報に基づき、前記監視領域
内に存在する物体について、前記車両との相対位置を認
識する物体位置認識手段とを有することを特徴とする車
両周辺監視装置。
【請求項２】前記車両の所定位置に互いに所定距離離
間して配置され、且つ、前記監視領域内を撮像する右側
撮像手段及び左側撮像手段と、前記監視領域内に基準画像を投射する基準画像投射手段
とを有し、前記第１物体画像取得手段は、前記基準画像投射手段が
前記監視領域内に投射した測定用基準画像を前記右側撮
像手段あるいは左側撮像手段の一方にて撮像することに
より取得された画像情報に基づき、前記監視領域内に存
在する物体についての画像情報を抽出し、前記第２物体画像取得手段は、前記右側撮像手段により
前記監視領域を撮像することにより得られた右側画像情
報と、前記左側撮像手段により前記監視領域を撮像する
ことにより得られた左側画像情報とを取得するとともに
両画像の差に基づき、前記監視領域内に存在する物体を
抽出することを特徴とする請求項１記載の車両周辺監視
装置。
【請求項３】前記第１物体画像取得手段と前記第２物
体画像取得手段を選択する選択手段を有し、物体位置認識手段は、前記選択手段により選択された物
体画像取得手段からの物体画像情報に基づき、前記監視
領域内に存在する物体について、前記車両との相対位置
を認識することを特徴とする請求項１又は２記載の車両
周辺監視装置。
【請求項４】車両周辺の明るさを検出する照度検出手
段を有し、前記選択手段は、車両周辺の照度に応じて前記第１物体
抽出手段と前記第２物体抽出手段からの物体画像情報を
選択することを特徴とする請求項３記載の車両周辺監視
装置。
【請求項５】前記右側撮像手段と左側撮像手段との撮
像条件を一致させる補正情報を取得する補正情報取得手
段を有し、前記基準画像投射手段は、前記補正情報取得手段による
補正情報取得動作時において、前記監視領域に補正用基
準画像を投射することを特徴とする請求項２、３又は４
記載の車両周辺監視装置。
【請求項６】前記基準画像投射手段は、所定の光を発光する光源部と、前記光源部が発光した光から、測定用基準画像を生成す
る第１フィルタ及び補正用基準画像を生成する第２フィ
ルタを有するフィルタ部と、前記フィルタ部の第１フィルタと第２フィルタを切換駆
動する駆動手段とを有することを特徴とする請求項５記
載の車両周辺監視装置。