JP3478432B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置Info
- Publication number
- JP3478432B2 JP3478432B2 JP04309995A JP4309995A JP3478432B2 JP 3478432 B2 JP3478432 B2 JP 3478432B2 JP 04309995 A JP04309995 A JP 04309995A JP 4309995 A JP4309995 A JP 4309995A JP 3478432 B2 JP3478432 B2 JP 3478432B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- vehicle
- calculating
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、自動車などの車両の周
辺を監視して車両運転における運転者の安全確認を支援
するのに有効に適用される車両周辺監視装置にかかり、
より詳細には、車両に設置された２台のカメラ（撮像手
段）により撮像された画像情報に基づいて障害物などの
物体を認識する方式の車両周辺監視装置に関するもので
ある。
辺を監視して車両運転における運転者の安全確認を支援
するのに有効に適用される車両周辺監視装置にかかり、
より詳細には、車両に設置された２台のカメラ（撮像手
段）により撮像された画像情報に基づいて障害物などの
物体を認識する方式の車両周辺監視装置に関するもので
ある。
【０００２】
【従来の技術】従来、この種の車両周辺監視装置として
は、例えば特開平４−２６１０００号公報及び特開平４
−３０１５１３号公報（以下これらを総括して従来装置
という）に示された装置があった。この従来装置は、車
両の所定位置に互いに所定距離だけ水平方向に離間して
配置された右側カメラ及び左側カメラと、これらのカメ
ラからの画像信号を一時的に蓄える右側フレームメモリ
及び左側フレームメモリとを有している。これらのフレ
ームメモリは複数の画素から構成されており、この右側
あるいは左側フレームメモリの一方に蓄えられた画像信
号を参照して隣接する画素との輝度差に基づいて物体の
エッジ点を検出する。
は、例えば特開平４−２６１０００号公報及び特開平４
−３０１５１３号公報（以下これらを総括して従来装置
という）に示された装置があった。この従来装置は、車
両の所定位置に互いに所定距離だけ水平方向に離間して
配置された右側カメラ及び左側カメラと、これらのカメ
ラからの画像信号を一時的に蓄える右側フレームメモリ
及び左側フレームメモリとを有している。これらのフレ
ームメモリは複数の画素から構成されており、この右側
あるいは左側フレームメモリの一方に蓄えられた画像信
号を参照して隣接する画素との輝度差に基づいて物体の
エッジ点を検出する。
【０００３】そして、この一方のフレームメモリの画像
信号を基準とし、この一方のフレームメモリにおける画
像信号に対して他方のフレームメモリの画像信号をその
位置を順次シフトしながら重ね合わせるとともにその重
ね合わせ状態における両画像データの差分を算出する。
そして、この差分が最小となるシフト量を両カメラにお
ける視差として取得し、この視差に基づいて前記物体と
カメラとの相対距離を算出していた。
信号を基準とし、この一方のフレームメモリにおける画
像信号に対して他方のフレームメモリの画像信号をその
位置を順次シフトしながら重ね合わせるとともにその重
ね合わせ状態における両画像データの差分を算出する。
そして、この差分が最小となるシフト量を両カメラにお
ける視差として取得し、この視差に基づいて前記物体と
カメラとの相対距離を算出していた。
【０００４】このような従来装置において、重ね合わせ
る画像信号の中には、高さ「０」（路面上）の画像、例
えば路面上に描かれた白線や文字あるいは模様などが含
まれている。そして、このような路面上の画像も演算対
象とされている。しかしながら、この路面上の画像につ
いては車両の走行などには障害とならないので、この路
面上の画像についての検出動作は不要な処理となる。そ
して、この不要な処理のために処理時間が長くなってし
まう問題点があった。
る画像信号の中には、高さ「０」（路面上）の画像、例
えば路面上に描かれた白線や文字あるいは模様などが含
まれている。そして、このような路面上の画像も演算対
象とされている。しかしながら、この路面上の画像につ
いては車両の走行などには障害とならないので、この路
面上の画像についての検出動作は不要な処理となる。そ
して、この不要な処理のために処理時間が長くなってし
まう問題点があった。
【０００５】この問題点を解決することを目的として、
本出願人は、特願平６−４２４３３号（以下先願装置と
いう）にて、路面上の画像を除去することにより物体画
像のみを抽出するとともにこの抽出した物体画像につい
てそのエッジを検出し、そしてこのエッジに基づいて物
体の位置を認識する車両周辺監視装置を提案した。以
下、この先願装置について説明する。
本出願人は、特願平６−４２４３３号（以下先願装置と
いう）にて、路面上の画像を除去することにより物体画
像のみを抽出するとともにこの抽出した物体画像につい
てそのエッジを検出し、そしてこのエッジに基づいて物
体の位置を認識する車両周辺監視装置を提案した。以
下、この先願装置について説明する。
【０００６】この先願装置は、図９に示す装置構成を有
している。同図において、１は撮像手段としての撮像
部、２は車両の転回情報を出力する舵角検出部、３は画
像情報などを蓄える記憶部、４は各種演算処理を実行す
るデータ処理部、５は障害物の位置あるいはメッセージ
を表示する表示部、６は警報音あるいは音声ガイダンス
を発生する音声指示部である。
している。同図において、１は撮像手段としての撮像
部、２は車両の転回情報を出力する舵角検出部、３は画
像情報などを蓄える記憶部、４は各種演算処理を実行す
るデータ処理部、５は障害物の位置あるいはメッセージ
を表示する表示部、６は警報音あるいは音声ガイダンス
を発生する音声指示部である。
【０００７】上記撮像部１は、右側ＣＣＤカメラ１１Ｒ
と、左側ＣＣＤカメラ１１Ｌと、右側ＣＣＤカメラ１１
Ｒにより撮像された映像情報を投影する右側イメージプ
レーン１２Ｒと、左側ＣＣＤカメラ１１Ｌにより撮像さ
れた映像情報を投影する左側イメージプレーン１２Ｌと
を有している。そしてこの撮像部１は、図１１に示すよ
うに、車両１００の後方中央部の高さＨの位置に、車両
の後方に向けて取り付けられている。そして撮像部１を
構成する一対のＣＣＤカメラ１１Ｒ及び１１Ｌは、所定
距離隔てて互いに平行に且つ俯角θS で取り付けられて
いる。これによりこの撮像部１は車両後方の監視領域１
００ａ〔１００ａ（１１Ｒ）及び１００ａ（１１Ｌ）〕
を撮像する。
と、左側ＣＣＤカメラ１１Ｌと、右側ＣＣＤカメラ１１
Ｒにより撮像された映像情報を投影する右側イメージプ
レーン１２Ｒと、左側ＣＣＤカメラ１１Ｌにより撮像さ
れた映像情報を投影する左側イメージプレーン１２Ｌと
を有している。そしてこの撮像部１は、図１１に示すよ
うに、車両１００の後方中央部の高さＨの位置に、車両
の後方に向けて取り付けられている。そして撮像部１を
構成する一対のＣＣＤカメラ１１Ｒ及び１１Ｌは、所定
距離隔てて互いに平行に且つ俯角θS で取り付けられて
いる。これによりこの撮像部１は車両後方の監視領域１
００ａ〔１００ａ（１１Ｒ）及び１００ａ（１１Ｌ）〕
を撮像する。
【０００８】舵角検出部２は、ハンドルの回転量及び回
転方向を検出するハンドル舵角センサや操舵輪（一般的
に前輪）の操舵角を検出する操舵角センサ（いずれも図
示せず）などにより構成され、これらのセンサからの検
出信号により車両の転回方向を転回情報として出力す
る。記憶部３は、撮像部１の右側イメージプレーン１２
Ｒに投影された映像情報を右側画像信号として一時的に
蓄える右側フレームメモリ３１Ｒと、同じく左側イメー
ジプレーン１２Ｌに投影された映像情報を左側画像信号
として一時的に蓄える左側フレームメモリ３１Ｌと、右
側及び左側フレームメモリ３１Ｒ及び３１Ｌに蓄えられ
た画像信号のそれぞれに対し所定の補正処理を施した補
正画像情報を保持する右側補正画像メモリ３２Ｒ及び左
側補正画像メモリ３２Ｌと、後述する差分画像、微分画
像及びエッジ画像をそれぞれ保持する差分画像メモリ３
３、微分画像メモリ３４及びエッジ画像メモリ３５とを
有している。そしてこれらの各メモリ３１〜３５はｍ行
ｎ列の構成を有し、例えば５１２画素（ｍ）×５１２画
素（ｎ）のメモリとして構成されている。そして、この
メモリを構成する各画素には、例えば２５６階調の輝度
値データが格納されている。
転方向を検出するハンドル舵角センサや操舵輪（一般的
に前輪）の操舵角を検出する操舵角センサ（いずれも図
示せず）などにより構成され、これらのセンサからの検
出信号により車両の転回方向を転回情報として出力す
る。記憶部３は、撮像部１の右側イメージプレーン１２
Ｒに投影された映像情報を右側画像信号として一時的に
蓄える右側フレームメモリ３１Ｒと、同じく左側イメー
ジプレーン１２Ｌに投影された映像情報を左側画像信号
として一時的に蓄える左側フレームメモリ３１Ｌと、右
側及び左側フレームメモリ３１Ｒ及び３１Ｌに蓄えられ
た画像信号のそれぞれに対し所定の補正処理を施した補
正画像情報を保持する右側補正画像メモリ３２Ｒ及び左
側補正画像メモリ３２Ｌと、後述する差分画像、微分画
像及びエッジ画像をそれぞれ保持する差分画像メモリ３
３、微分画像メモリ３４及びエッジ画像メモリ３５とを
有している。そしてこれらの各メモリ３１〜３５はｍ行
ｎ列の構成を有し、例えば５１２画素（ｍ）×５１２画
素（ｎ）のメモリとして構成されている。そして、この
メモリを構成する各画素には、例えば２５６階調の輝度
値データが格納されている。
【０００９】データ処理部４は、動作プログラムが格納
されたＲＯＭ４２と、この動作プログラムに従って動作
するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な
情報を一時格納するＲＡＭ４３とを有している。表示部
５は、ディスプレイ５１を有し、このディスプレイ５１
はＣＰＵ４１から出力された表示画像信号に基づいて、
物体の車両との相対位置を表示したりあるいは運転者に
対するメッセージを表示したりする。音声指示部６は、
ＣＰＵ４１から出力されたブザー音信号あるいは音声ガ
イダンス信号に基づいて、スピーカ６１からブザー音あ
るいは音声ガイダンスを出力する。
されたＲＯＭ４２と、この動作プログラムに従って動作
するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な
情報を一時格納するＲＡＭ４３とを有している。表示部
５は、ディスプレイ５１を有し、このディスプレイ５１
はＣＰＵ４１から出力された表示画像信号に基づいて、
物体の車両との相対位置を表示したりあるいは運転者に
対するメッセージを表示したりする。音声指示部６は、
ＣＰＵ４１から出力されたブザー音信号あるいは音声ガ
イダンス信号に基づいて、スピーカ６１からブザー音あ
るいは音声ガイダンスを出力する。
【００１０】このような構成を有する先願装置では、撮
像部１からの映像信号に基づいて物体（障害物）の検出
及びこの物体と車両との相対位置の算出が行われる。ま
ず、撮像部１による画像の取込処理について説明する。
撮像部１により撮像された映像信号は、一旦イメージプ
レーン１２Ｒ及び１２Ｌに投影された後、右側フレーム
メモリ３１Ｒ及び左側フレームメモリ３１Ｌにそれぞれ
画像情報、すなわち各画素毎の輝度値データとして格納
される。この右側フレームメモリ３１Ｒ及び左側フレー
ムメモリ３１Ｌに格納された画像情報は、右側ＣＣＤカ
メラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌ（以下、両者を
総称する際には単にＣＣＤカメラ１１という）が有する
レンズの歪曲収差を含んだ画像となっている。そしてこ
の歪曲収差は後述する物体の位置検出における誤差の原
因となる。
像部１からの映像信号に基づいて物体（障害物）の検出
及びこの物体と車両との相対位置の算出が行われる。ま
ず、撮像部１による画像の取込処理について説明する。
撮像部１により撮像された映像信号は、一旦イメージプ
レーン１２Ｒ及び１２Ｌに投影された後、右側フレーム
メモリ３１Ｒ及び左側フレームメモリ３１Ｌにそれぞれ
画像情報、すなわち各画素毎の輝度値データとして格納
される。この右側フレームメモリ３１Ｒ及び左側フレー
ムメモリ３１Ｌに格納された画像情報は、右側ＣＣＤカ
メラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌ（以下、両者を
総称する際には単にＣＣＤカメラ１１という）が有する
レンズの歪曲収差を含んだ画像となっている。そしてこ
の歪曲収差は後述する物体の位置検出における誤差の原
因となる。
【００１１】すなわち、格子状の模様を撮像した場合に
ついて考えると、ＣＣＤカメラ１１のレンズに収差がな
いときには、図１０（ａ）に示すようにこの格子状の模
様がそのままフレームメモリ３１に格納される。また、
そのレンズに収差があるときには、図１０（ｂ）に示す
ように光軸を中心としてその中央部の画像が外方に膨ら
んだ樽形に歪曲した画像、あるいは図１０（ｃ）に示す
ように光軸を中心としてその中央部の画像が内側に湾曲
した糸巻形に歪曲した画像がフレームメモリ３１に格納
される。
ついて考えると、ＣＣＤカメラ１１のレンズに収差がな
いときには、図１０（ａ）に示すようにこの格子状の模
様がそのままフレームメモリ３１に格納される。また、
そのレンズに収差があるときには、図１０（ｂ）に示す
ように光軸を中心としてその中央部の画像が外方に膨ら
んだ樽形に歪曲した画像、あるいは図１０（ｃ）に示す
ように光軸を中心としてその中央部の画像が内側に湾曲
した糸巻形に歪曲した画像がフレームメモリ３１に格納
される。
【００１２】そしてデータ処理部４は、上記図１０
（ｂ）あるいは図１０（ｃ）に示すような歪曲画像に対
して補正処理を施すことにより補正画像情報を生成し、
この補正画像情報を右側補正画像メモリ３２Ｒ及び左側
補正画像メモリ３２Ｌに格納する。この補正画像情報に
ついても、先の画像情報と同様に、各画素毎の輝度値デ
ータとして格納される。以下、この画像の歪曲収差の補
正処理について説明する。
（ｂ）あるいは図１０（ｃ）に示すような歪曲画像に対
して補正処理を施すことにより補正画像情報を生成し、
この補正画像情報を右側補正画像メモリ３２Ｒ及び左側
補正画像メモリ３２Ｌに格納する。この補正画像情報に
ついても、先の画像情報と同様に、各画素毎の輝度値デ
ータとして格納される。以下、この画像の歪曲収差の補
正処理について説明する。
【００１３】図１０（ｄ）に示すように、歪曲収差が無
い時の点Ｐ（ｘ0 ，ｙ0 ）が歪曲収差によって点Ｐ′
（ｘ，ｙ）に結像したものとすると、その収差量Ｄは次
式（１）により表すことができる。 Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ・・・（１）
い時の点Ｐ（ｘ0 ，ｙ0 ）が歪曲収差によって点Ｐ′
（ｘ，ｙ）に結像したものとすると、その収差量Ｄは次
式（１）により表すことができる。 Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ・・・（１）
【００１４】そして、図１０（ｂ）あるいは図１０
（ｃ）に示すような歪曲画像において、その収差量Ｄは
光軸からの距離の３乗に比例して大きくなる。すなわ
ち、レンズの中心点より点Ｐまでの距離の３乗に比例す
るので、上記式（１）の右辺は、次式（２）により表す
ことができる。 ［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ1 ［（ｘ0 2−ｙ0 2）0.5 ］3 ・・・（２） 上記式中、ｋ1 はレンズによって定まる比例定数
（ｃ）に示すような歪曲画像において、その収差量Ｄは
光軸からの距離の３乗に比例して大きくなる。すなわ
ち、レンズの中心点より点Ｐまでの距離の３乗に比例す
るので、上記式（１）の右辺は、次式（２）により表す
ことができる。 ［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ1 ［（ｘ0 2−ｙ0 2）0.5 ］3 ・・・（２） 上記式中、ｋ1 はレンズによって定まる比例定数
【００１５】従って、レンズに歪曲収差が存在する場合
は、例えば次式（３）の演算を行うことによりこの歪曲
収差を補正することができる。 ｘ0 ≒ｘ（１−ｋ1 （ｘ2 ＋ｙ2 ）） ｙ0 ≒ｙ（１−ｋ1 （ｘ2 ＋ｙ2 ）） ・・・（３）
は、例えば次式（３）の演算を行うことによりこの歪曲
収差を補正することができる。 ｘ0 ≒ｘ（１−ｋ1 （ｘ2 ＋ｙ2 ）） ｙ0 ≒ｙ（１−ｋ1 （ｘ2 ＋ｙ2 ）） ・・・（３）
【００１６】ところで、この式（３）の演算により画像
の歪曲収差の補正を行った場合には、隣接画素間の距離
が離れてしまい画像の抜けが生じることがある。データ
処理部４は、この画像の抜けに関し、隣接する画素の情
報に基づいて補間を行う。そして、このような補正処理
及び補間処理が施された画像情報は、補正画像情報とし
て右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３
２Ｌにそれぞれ格納される。以上で撮像部１による画像
の取込処理が終了する。
の歪曲収差の補正を行った場合には、隣接画素間の距離
が離れてしまい画像の抜けが生じることがある。データ
処理部４は、この画像の抜けに関し、隣接する画素の情
報に基づいて補間を行う。そして、このような補正処理
及び補間処理が施された画像情報は、補正画像情報とし
て右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３
２Ｌにそれぞれ格納される。以上で撮像部１による画像
の取込処理が終了する。
【００１７】次いで、データ処理部４は、この補正画像
情報に基づいて、撮像された画像における位置の算出、
背景画像（高さ「０」の画像）の除去、物体のエッジ画
像の生成などを行う。以下、これらの処理について説明
する。
情報に基づいて、撮像された画像における位置の算出、
背景画像（高さ「０」の画像）の除去、物体のエッジ画
像の生成などを行う。以下、これらの処理について説明
する。
【００１８】まず、撮像画像に基づいて位置を算出する
処理について説明する。上記撮像部１すなわちＣＣＤカ
メラ１１は、図１１にて説明したように、車両後方の所
定位置に設置俯角θS で取り付けられており、監視領域
１００ａを撮像している。従って、撮像部１による撮像
画像はこの所定位置を基準とした画像となっているの
で、この撮像画像から算出した位置もこの所定位置を基
準とした位置となっている。そこで、以後の説明を容易
にするため、図１２に示すように、この所定位置すなわ
ちカメラ設置位置を基準とした座標をＸ′，Ｙ′，Ｚ′
で表わし、路面を基準とした座標をＸ，Ｙ，Ｚで表わす
ものとする。
処理について説明する。上記撮像部１すなわちＣＣＤカ
メラ１１は、図１１にて説明したように、車両後方の所
定位置に設置俯角θS で取り付けられており、監視領域
１００ａを撮像している。従って、撮像部１による撮像
画像はこの所定位置を基準とした画像となっているの
で、この撮像画像から算出した位置もこの所定位置を基
準とした位置となっている。そこで、以後の説明を容易
にするため、図１２に示すように、この所定位置すなわ
ちカメラ設置位置を基準とした座標をＸ′，Ｙ′，Ｚ′
で表わし、路面を基準とした座標をＸ，Ｙ，Ｚで表わす
ものとする。
【００１９】そして、このカメラ設置位置を基準とした
Ｘ′，Ｙ′，Ｚ′座標系においては、図１３（ａ）に示
すように、Ｚ′軸はＣＣＤカメラ１１のレンズ光軸とし
て定義され、上記Ｘ′軸は路面と平行な軸として定義さ
れ、また上記Ｙ′軸はＺ′軸とＸ′軸の双方に直交する
軸として定義されている。従って、右側ＣＣＤカメラ１
１Ｒ及び左側ＣＣＤカメラ１１Ｌは、それぞれのレンズ
光軸がＺ′軸と一致するように配置されている。また、
Ｘ′軸に関し、このＸ′軸上にそれぞれのレンズの中心
点が位置するよう配置されるとともに互いに距離ｄｘａ
だけ離間して配置されている。以後の説明を容易にする
ため、Ｘ′，Ｙ′およびＺ′軸の原点Ｏを左側ＣＣＤカ
メラ１１Ｒのレンズの中心として定義することとする。
Ｘ′，Ｙ′，Ｚ′座標系においては、図１３（ａ）に示
すように、Ｚ′軸はＣＣＤカメラ１１のレンズ光軸とし
て定義され、上記Ｘ′軸は路面と平行な軸として定義さ
れ、また上記Ｙ′軸はＺ′軸とＸ′軸の双方に直交する
軸として定義されている。従って、右側ＣＣＤカメラ１
１Ｒ及び左側ＣＣＤカメラ１１Ｌは、それぞれのレンズ
光軸がＺ′軸と一致するように配置されている。また、
Ｘ′軸に関し、このＸ′軸上にそれぞれのレンズの中心
点が位置するよう配置されるとともに互いに距離ｄｘａ
だけ離間して配置されている。以後の説明を容易にする
ため、Ｘ′，Ｙ′およびＺ′軸の原点Ｏを左側ＣＣＤカ
メラ１１Ｒのレンズの中心として定義することとする。
【００２０】以上のように設置されたＣＣＤカメラ１１
によって撮像された点Ｐ（ＸP ′，ＹP ′，ＺP ′）
は、右側補正情報メモリ３２ＲにＰR （ｘRP，ｙRP）と
して保持され、左側補正情報メモリ３２ＬにＰ
L （ｘLP，ｙLP）として保持される。
によって撮像された点Ｐ（ＸP ′，ＹP ′，ＺP ′）
は、右側補正情報メモリ３２ＲにＰR （ｘRP，ｙRP）と
して保持され、左側補正情報メモリ３２ＬにＰ
L （ｘLP，ｙLP）として保持される。
【００２１】そしてこの点ＰのＺ′座標ＺP ′は、図１
３（ｂ）のＸ′Ｚ′平面における模式図で示すように、
三角形の相似にて求めることができる。すなわち、この
距離ＺP ′は、次式（４）で表すことができる。 ＺP ′＝ｄｘａ・ｆ／（ｘLP−ｘRP） ・・・（４） 上記式中、ｄｘａは両レンズの間隔 ｆはレンズの焦点距離
３（ｂ）のＸ′Ｚ′平面における模式図で示すように、
三角形の相似にて求めることができる。すなわち、この
距離ＺP ′は、次式（４）で表すことができる。 ＺP ′＝ｄｘａ・ｆ／（ｘLP−ｘRP） ・・・（４） 上記式中、ｄｘａは両レンズの間隔 ｆはレンズの焦点距離
【００２２】同様に点ＰのＸ′座標ＸP ′についても、
図１３（ｂ）のＸ′Ｚ′平面の模式図で示すように、三
角形の相似にて求めることができる。そして点ＰのＹ′
座標ＹP ′についても、図示しないＹ′Ｚ′平面を想定
することにより、同様にして求めることができる。すな
わち、これら点ＰのＸ′座標ＸP ′及びＹ′座標ＹP ′
は、それぞれ次式（５）及び式（６）で求めることがで
きる。 ＸP ′＝ＺP ′ｘLP／ｆ ＝ｄｘａ・ｘLP／（ｘLP−ｘRP） ・・・（５） ＹP ′＝ＺP ′ｙLP／ｆ ＝ｄｘａ・ｙLP／（ｘLP−ｘRP） ・・・（６） なお、上記座標ＸP ′に関し、その基準座標を右側ＣＣ
Ｄカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの間とする場
合には、上式（５）で算出された座標ＸP ′と両レンズ
の間隔ｄｘａの１／２の差分をとればよい。
図１３（ｂ）のＸ′Ｚ′平面の模式図で示すように、三
角形の相似にて求めることができる。そして点ＰのＹ′
座標ＹP ′についても、図示しないＹ′Ｚ′平面を想定
することにより、同様にして求めることができる。すな
わち、これら点ＰのＸ′座標ＸP ′及びＹ′座標ＹP ′
は、それぞれ次式（５）及び式（６）で求めることがで
きる。 ＸP ′＝ＺP ′ｘLP／ｆ ＝ｄｘａ・ｘLP／（ｘLP−ｘRP） ・・・（５） ＹP ′＝ＺP ′ｙLP／ｆ ＝ｄｘａ・ｙLP／（ｘLP−ｘRP） ・・・（６） なお、上記座標ＸP ′に関し、その基準座標を右側ＣＣ
Ｄカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの間とする場
合には、上式（５）で算出された座標ＸP ′と両レンズ
の間隔ｄｘａの１／２の差分をとればよい。
【００２３】以上の式（４）〜式（６）にて算出された
Ｘ′Ｙ′Ｚ′座標系における点Ｐ（ＸP ′，ＹP ′，Ｚ
P ′）は、上述したようにカメラ設置位置を基準とした
座標系の座標値であるので、この座標値を路面を基準と
したＸＹＺ座標系における座標値に変換する必要があ
る。この場合、撮像部１（ＣＣＤカメラ１１）の俯角が
θS であるとすれば、Ｘ′Ｙ′Ｚ′座標での点Ｐの座標
（ＸP ′，ＹP ′，ＺP ′）と路面を基準としたＸＹＺ
座標との関係は上記図１２で示すようになる。
Ｘ′Ｙ′Ｚ′座標系における点Ｐ（ＸP ′，ＹP ′，Ｚ
P ′）は、上述したようにカメラ設置位置を基準とした
座標系の座標値であるので、この座標値を路面を基準と
したＸＹＺ座標系における座標値に変換する必要があ
る。この場合、撮像部１（ＣＣＤカメラ１１）の俯角が
θS であるとすれば、Ｘ′Ｙ′Ｚ′座標での点Ｐの座標
（ＸP ′，ＹP ′，ＺP ′）と路面を基準としたＸＹＺ
座標との関係は上記図１２で示すようになる。
【００２４】従って、上式（４）〜式（６）で算出した
座標（ＺP ′，ＹP ′，ＸP ′）は、次式（７）〜式
（９）の実行により、ＸＹＺ座標系における点Ｐの座標
（ＸP，ＹP ，ＺP ）に変換することができる。 ＸP ＝ＸP ′ ・・・（７） ＹP ＝Ｈ−ＺP ′cos θS ＋ＹP ′sin θS ・・・（８） ＺP ＝ＺP ′sin θS ＋ＹP ′cos θS ・・・（９）
座標（ＺP ′，ＹP ′，ＸP ′）は、次式（７）〜式
（９）の実行により、ＸＹＺ座標系における点Ｐの座標
（ＸP，ＹP ，ＺP ）に変換することができる。 ＸP ＝ＸP ′ ・・・（７） ＹP ＝Ｈ−ＺP ′cos θS ＋ＹP ′sin θS ・・・（８） ＺP ＝ＺP ′sin θS ＋ＹP ′cos θS ・・・（９）
【００２５】次に、データ処理部４による物体の認識処
理について説明する。まず、背景画像（高さ「０」の画
像）の除去処理について説明することとする。図１４
（ａ）は右側ＣＣＤカメラ１１Ｒで撮像された後、上述
した歪曲収差補正が施され、そして右側補正画像メモリ
３２Ｒに保持された右側補正画像を示している。同図に
おいて、３００は路面上に画かれた白線、また２４０は
ポール状の物体である。ここで、この右側補正画像メモ
リ３２Ｒに保持されている右側補正画像に関し、その全
ての画像が高さ「０」の背景画像すなわち路面上に描か
れている画像だと仮定する。そしてこのように仮定した
右側補正画像に基づき、この右側補正画像があたかも左
側ＣＣＤカメラ１１Ｌの撮像位置で撮像された画像（投
影画像）となるよう変換処理を行う〔図１４（ｂ）〕。
理について説明する。まず、背景画像（高さ「０」の画
像）の除去処理について説明することとする。図１４
（ａ）は右側ＣＣＤカメラ１１Ｒで撮像された後、上述
した歪曲収差補正が施され、そして右側補正画像メモリ
３２Ｒに保持された右側補正画像を示している。同図に
おいて、３００は路面上に画かれた白線、また２４０は
ポール状の物体である。ここで、この右側補正画像メモ
リ３２Ｒに保持されている右側補正画像に関し、その全
ての画像が高さ「０」の背景画像すなわち路面上に描か
れている画像だと仮定する。そしてこのように仮定した
右側補正画像に基づき、この右側補正画像があたかも左
側ＣＣＤカメラ１１Ｌの撮像位置で撮像された画像（投
影画像）となるよう変換処理を行う〔図１４（ｂ）〕。
【００２６】以下、この投影画像の変換処理について説
明する。ここで、右画像の点ＰR （ｘRP，ｙRP）に対応
する投影画像の点をＰL ′（ｘLP′，ｙLP′）とする。
図１２に示すように、カメラ座標のＸ′軸と路面座標の
Ｘ軸は平行であり、また、カメラによって撮像する走査
線のｘ軸（図１３のｘL 軸およびｘR 軸）も共に平行で
あるとすると、同一物体を撮像した場合の撮像画像のｙ
L とｙR 値は一致する。そして、画像の全てが路面上で
あるとすれば、上式（８）で示すＹP の値は０となる。
以上から次式（１０）及び式（１１）を導くことができ
る。そして、式（１１）のＺP ′およびＹP ′に式
（４）のＺP ′及び式（６）のＹP ′を代入することに
より、式（１２）に示すように、ｘLP′を求めることが
できる。
明する。ここで、右画像の点ＰR （ｘRP，ｙRP）に対応
する投影画像の点をＰL ′（ｘLP′，ｙLP′）とする。
図１２に示すように、カメラ座標のＸ′軸と路面座標の
Ｘ軸は平行であり、また、カメラによって撮像する走査
線のｘ軸（図１３のｘL 軸およびｘR 軸）も共に平行で
あるとすると、同一物体を撮像した場合の撮像画像のｙ
L とｙR 値は一致する。そして、画像の全てが路面上で
あるとすれば、上式（８）で示すＹP の値は０となる。
以上から次式（１０）及び式（１１）を導くことができ
る。そして、式（１１）のＺP ′およびＹP ′に式
（４）のＺP ′及び式（６）のＹP ′を代入することに
より、式（１２）に示すように、ｘLP′を求めることが
できる。
【００２７】
ｙLP′＝ｙRP ・・・（10）
０＝ＨP −ＺP ′cos θS ＋ＹP ′sin θS ・・・（11）
ｘLP′＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ＋ｘRP
・・・（12）
上式（１０）及び式（１２）の演算を行なうことによ
り、データ処理部４は、投影画像〔図１４（ｂ）〕を作
成する。
り、データ処理部４は、投影画像〔図１４（ｂ）〕を作
成する。
【００２８】そして、このようにして作成した投影画像
を左側補正画像に重畳すると図１４（ｃ）のようにな
る。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画
像を投影した場合、路面上に画かれている白線等の模様
は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝
度共に一致し、物体が路面より高くなるに従って差が大
きくなる。従って、左画像データと投影画像データの差
分をとることにより、高さのある物体を構成する画素以
外の路面を構成する画素の輝度値は値「０」または値
「０」に近い値となる。そして所定しきい値以下を値
「０」とすれば、全て値「０」となる。このようにし
て、左画像データと投影画像データの差分をとることに
より、その差分画像は図１４（ｄ）に示すように、路面
画像（高さ「０」の背景画像）が除去され、高さのある
部分のみが値「０」以外の値として取り出される。そし
て、この差分画像については記憶部３の差分画像メモリ
３３に格納される。
を左側補正画像に重畳すると図１４（ｃ）のようにな
る。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画
像を投影した場合、路面上に画かれている白線等の模様
は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝
度共に一致し、物体が路面より高くなるに従って差が大
きくなる。従って、左画像データと投影画像データの差
分をとることにより、高さのある物体を構成する画素以
外の路面を構成する画素の輝度値は値「０」または値
「０」に近い値となる。そして所定しきい値以下を値
「０」とすれば、全て値「０」となる。このようにし
て、左画像データと投影画像データの差分をとることに
より、その差分画像は図１４（ｄ）に示すように、路面
画像（高さ「０」の背景画像）が除去され、高さのある
部分のみが値「０」以外の値として取り出される。そし
て、この差分画像については記憶部３の差分画像メモリ
３３に格納される。
【００２９】ところで、上記投影画像には誤差が含まれ
ており、これにより上記差分画像〔図１４（ｄ）〕につ
いては、その路面画像が残ってしまう場合がある。この
ため、投影画像と左側補正画像との差分画像を生成する
場合には次のような処理を行なう。すなわち、図１５
（ａ）及び（ｂ）に示すように、投影画像の各画素の輝
度値Ｉ1 〜Ｉ7 と対応する左側補正画像の各画素の輝度
値Ｉ1 ′〜Ｉ 7 ′の差分を順次求め、その差分値が所定
値Ｉ0 以上となった画素〔画素Ｉ5 に相当〕について
は、図１５（ｃ）に示すように、画素Ｉ5 ′に隣接する
画素Ｉ4′及びＩ6 ′との差分を求める。そして、その
差分の最小値（同図の画素Ｉ4 ′との差分値）をその画
素に対する差分値とする。
ており、これにより上記差分画像〔図１４（ｄ）〕につ
いては、その路面画像が残ってしまう場合がある。この
ため、投影画像と左側補正画像との差分画像を生成する
場合には次のような処理を行なう。すなわち、図１５
（ａ）及び（ｂ）に示すように、投影画像の各画素の輝
度値Ｉ1 〜Ｉ7 と対応する左側補正画像の各画素の輝度
値Ｉ1 ′〜Ｉ 7 ′の差分を順次求め、その差分値が所定
値Ｉ0 以上となった画素〔画素Ｉ5 に相当〕について
は、図１５（ｃ）に示すように、画素Ｉ5 ′に隣接する
画素Ｉ4′及びＩ6 ′との差分を求める。そして、その
差分の最小値（同図の画素Ｉ4 ′との差分値）をその画
素に対する差分値とする。
【００３０】このようにして撮像画像中の高さ「０」の
背景画像を除去し、高さのある画像すなわち物体の画像
のみを抽出する。これに続いて、抽出した物体画像につ
いてのエッジの抽出処理が行われる。次いで、この物体
エッジ抽出処理について説明する。
背景画像を除去し、高さのある画像すなわち物体の画像
のみを抽出する。これに続いて、抽出した物体画像につ
いてのエッジの抽出処理が行われる。次いで、この物体
エッジ抽出処理について説明する。
【００３１】この物体エッジ抽出処理は、左側補正画像
メモリ３２Ｌに格納された画像情報に基づいて行われ
る。すなわち、左側補正画像メモリ３２Ｌに格納されて
いる左側補正画像に関し、そのｍ行ｎ列の画像データの
輝度値Ｉm,n を水平方向すなわち図１７におけるＸ′軸
方向に走査し、次式（１３）の演算によって微分画像を
生成する。 ｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（13） 上記式中、Ｅ0 はしきい値
メモリ３２Ｌに格納された画像情報に基づいて行われ
る。すなわち、左側補正画像メモリ３２Ｌに格納されて
いる左側補正画像に関し、そのｍ行ｎ列の画像データの
輝度値Ｉm,n を水平方向すなわち図１７におけるＸ′軸
方向に走査し、次式（１３）の演算によって微分画像を
生成する。 ｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（13） 上記式中、Ｅ0 はしきい値
【００３２】この微分画像は、図１６（ｂ）に示すよう
に、物体や路面に画かれている文字等の縦方向エッジ部
分が「１」に、その他の部分は「０」となった画像とな
る。そして、この微分画像は記憶部３の微分画像メモリ
３４に格納される。このようにして求めた微分画像〔図
１６（ｂ）〕と、前述した路面画像除去処理で生成され
差分画像メモリ３３に保持された差分画像〔図１４
（ｄ）〕と重ね合せてアンドを取ると、図１６（ｃ）で
示す物体のエッジ部分のみが抽出された物体エッジの画
像が生成される。この物体エッジ画像については、エッ
ジ画像メモリ３５に格納される。
に、物体や路面に画かれている文字等の縦方向エッジ部
分が「１」に、その他の部分は「０」となった画像とな
る。そして、この微分画像は記憶部３の微分画像メモリ
３４に格納される。このようにして求めた微分画像〔図
１６（ｂ）〕と、前述した路面画像除去処理で生成され
差分画像メモリ３３に保持された差分画像〔図１４
（ｄ）〕と重ね合せてアンドを取ると、図１６（ｃ）で
示す物体のエッジ部分のみが抽出された物体エッジの画
像が生成される。この物体エッジ画像については、エッ
ジ画像メモリ３５に格納される。
【００３３】そしてデータ処理部４は、このエッジ画像
メモリ３５に格納された物体エッジ画像に基づいて物体
を認識するとともに物体エッジと車両との相対位置を演
算する。さらに車両の転回情報から車両の進路を予測す
るとともにこの予測進路に基づいて認識した物体と車両
との衝突を予測し、必要があれば警報などを発して運転
者に注意を促す。
メモリ３５に格納された物体エッジ画像に基づいて物体
を認識するとともに物体エッジと車両との相対位置を演
算する。さらに車両の転回情報から車両の進路を予測す
るとともにこの予測進路に基づいて認識した物体と車両
との衝突を予測し、必要があれば警報などを発して運転
者に注意を促す。
【００３４】
【発明が解決しようとする課題】このような先願装置に
おいては、撮像部１により撮像された映像信号に基づい
て、高さ「０」である背景画像すなわち路面画像を除去
することにより物体のエッジ画像を生成し、生成したエ
ッジ画像に基づいて物体と車両との相対位置などを算出
するように構成したので、無用な演算処理が省け、処理
を高速化できるという利点があり良い方法である。
おいては、撮像部１により撮像された映像信号に基づい
て、高さ「０」である背景画像すなわち路面画像を除去
することにより物体のエッジ画像を生成し、生成したエ
ッジ画像に基づいて物体と車両との相対位置などを算出
するように構成したので、無用な演算処理が省け、処理
を高速化できるという利点があり良い方法である。
【００３５】ところで、この先願装置においては、上述
した各種演算を行うためのパラメータとして、右側ＣＣ
Ｄカメラ１１Ｒのレンズ中心と左側ＣＣＤカメラ１１Ｌ
のレンズ中心の配設間隔ｄｘａ、これら各レンズの焦点
距離ｆ、これらＣＣＤカメラ１１Ｒ及び１１Ｌの設置高
さＨ、ＣＣＤカメラ１１Ｒ及び１１Ｌの設置俯角θSな
どを用いている。しかしながら、これらの各パラメータ
（以下設置パラメータという）は、撮像部１の車両への
取付状態などにより、一定なものとすることが困難であ
った。
した各種演算を行うためのパラメータとして、右側ＣＣ
Ｄカメラ１１Ｒのレンズ中心と左側ＣＣＤカメラ１１Ｌ
のレンズ中心の配設間隔ｄｘａ、これら各レンズの焦点
距離ｆ、これらＣＣＤカメラ１１Ｒ及び１１Ｌの設置高
さＨ、ＣＣＤカメラ１１Ｒ及び１１Ｌの設置俯角θSな
どを用いている。しかしながら、これらの各パラメータ
（以下設置パラメータという）は、撮像部１の車両への
取付状態などにより、一定なものとすることが困難であ
った。
【００３６】そしてこの設置パラメータのずれは、計算
で算出した座標値と実際の座標値の差として表れて検出
誤差となり、本来「路面画像」として認識されなければ
ならない高さ「０」の背景画像が、高さのある物体すな
わち「障害物」として認識されてしまう。従って、この
設置パラメータを一定な値とするためには、撮像部１の
車両１００への取り付けを正確に行う必要があり、取り
付けに時間を要していた。また、撮像部１を車両１００
の所定位置に正確に取り付けたとしても時間の経過によ
りこの取付位置がずれてしまうので、設置パラメータを
一定の値に維持することが困難であった。
で算出した座標値と実際の座標値の差として表れて検出
誤差となり、本来「路面画像」として認識されなければ
ならない高さ「０」の背景画像が、高さのある物体すな
わち「障害物」として認識されてしまう。従って、この
設置パラメータを一定な値とするためには、撮像部１の
車両１００への取り付けを正確に行う必要があり、取り
付けに時間を要していた。また、撮像部１を車両１００
の所定位置に正確に取り付けたとしても時間の経過によ
りこの取付位置がずれてしまうので、設置パラメータを
一定の値に維持することが困難であった。
【００３７】以上のように、この先願装置においては、
上述した点において、さらなる改良の余地があった。ま
た、この設置パラメータのばらつきにより、算出された
障害物の位置が実際の位置と異なってしまう場合があ
り、この点においてもさらなる改良の余地があった。よ
って本発明は、このような改良点に鑑み、上記設置パラ
メータのばらつきによる路面画像の誤認識を防止し、物
体を精度良く抽出できる車両周辺監視装置を提供するこ
と、並びに、障害物の位置を正確に算出できる車両周辺
監視装置を提供することを課題とする。
上述した点において、さらなる改良の余地があった。ま
た、この設置パラメータのばらつきにより、算出された
障害物の位置が実際の位置と異なってしまう場合があ
り、この点においてもさらなる改良の余地があった。よ
って本発明は、このような改良点に鑑み、上記設置パラ
メータのばらつきによる路面画像の誤認識を防止し、物
体を精度良く抽出できる車両周辺監視装置を提供するこ
と、並びに、障害物の位置を正確に算出できる車両周辺
監視装置を提供することを課題とする。
【００３８】
【課題を解決するための手段】上記課題を解決するため
本発明によりなされた車両周辺監視装置を図１の基本構
成図に基づいて説明する。すなわち、本発明の車両周辺
監視装置は、車両の所定位置に配置されるとともに互い
に所定距離離間して設置された右側撮像手段１１Ｒ及び
左側撮像手段１１Ｌを備えた撮像手段１からの画像情報
に基づいて車両の周辺を監視する車両周辺監視装置にお
いて、前記右側撮像手段１１Ｒからの右側画像情報を保
持する右側画像保持手段３１Ｒと、前記左側撮像手段１
１Ｌからの左側画像情報を保持する左側画像保持手段３
１Ｌとを有する画像保持手段３１と、前記撮像手段１の
設置状態に基づく検出誤差を補正するための補正情報を
取得する補正情報取得手段４１ａと、前記右側及び左側
画像情報と前記補正情報に基づき、高さ「０」の背景画
像を除去することにより物体の画像情報を抽出し、且
つ、この抽出した物体の画像情報を物体情報として出力
する物体抽出手段４１ｂと、前記画像保持手段３１に保
持された画像情報について水平方向の微分値を算出し、
この微分情報と前記物体情報に基づいて、物体のエッジ
を検出するとともにこの検出結果を物体エッジ情報とし
て出力する物体エッジ検出手段４１ｃとを有し、前記物
体情報と前記物体エッジ情報とから車両周辺に存在する
物体を認識することを特徴としている。
本発明によりなされた車両周辺監視装置を図１の基本構
成図に基づいて説明する。すなわち、本発明の車両周辺
監視装置は、車両の所定位置に配置されるとともに互い
に所定距離離間して設置された右側撮像手段１１Ｒ及び
左側撮像手段１１Ｌを備えた撮像手段１からの画像情報
に基づいて車両の周辺を監視する車両周辺監視装置にお
いて、前記右側撮像手段１１Ｒからの右側画像情報を保
持する右側画像保持手段３１Ｒと、前記左側撮像手段１
１Ｌからの左側画像情報を保持する左側画像保持手段３
１Ｌとを有する画像保持手段３１と、前記撮像手段１の
設置状態に基づく検出誤差を補正するための補正情報を
取得する補正情報取得手段４１ａと、前記右側及び左側
画像情報と前記補正情報に基づき、高さ「０」の背景画
像を除去することにより物体の画像情報を抽出し、且
つ、この抽出した物体の画像情報を物体情報として出力
する物体抽出手段４１ｂと、前記画像保持手段３１に保
持された画像情報について水平方向の微分値を算出し、
この微分情報と前記物体情報に基づいて、物体のエッジ
を検出するとともにこの検出結果を物体エッジ情報とし
て出力する物体エッジ検出手段４１ｃとを有し、前記物
体情報と前記物体エッジ情報とから車両周辺に存在する
物体を認識することを特徴としている。
【００３９】また、前記補正情報取得手段４１ａは、前
記右側画像情報と左側画像情報に基づいて撮像手段１が
撮像した画像信号の実視差を算出する実視差算出手段４
１ｅと、前記撮像手段１の設置状態に基づく計算上の理
論視差を算出する理論視差算出手段４１ｆと、これらの
実視差及び理論視差に基づき補正情報を算出する補正情
報算出手段４１ｇとを有することを特徴としている。
記右側画像情報と左側画像情報に基づいて撮像手段１が
撮像した画像信号の実視差を算出する実視差算出手段４
１ｅと、前記撮像手段１の設置状態に基づく計算上の理
論視差を算出する理論視差算出手段４１ｆと、これらの
実視差及び理論視差に基づき補正情報を算出する補正情
報算出手段４１ｇとを有することを特徴としている。
【００４０】また、車両の任意の位置に前記撮像手段１
の撮像領域内に測定の基準となる基準画像を投射する基
準画像投射手段７を設け、前記実視差算出手段４１ｅ
は、前記基準画像を前記右側撮像手段１１Ｒが撮像する
ことにより取得された右側基準画像と基準画像を前記左
側撮像手段１１Ｌが撮像することにより取得された左側
基準画像に基づいて撮像手段１が撮像した画像信号の実
視差を算出することを特徴としている。
の撮像領域内に測定の基準となる基準画像を投射する基
準画像投射手段７を設け、前記実視差算出手段４１ｅ
は、前記基準画像を前記右側撮像手段１１Ｒが撮像する
ことにより取得された右側基準画像と基準画像を前記左
側撮像手段１１Ｌが撮像することにより取得された左側
基準画像に基づいて撮像手段１が撮像した画像信号の実
視差を算出することを特徴としている。
【００４１】また、前記物体エッジ検出手段４１ｃで検
出された物体エッジを利用し、前記画像保持手段３１に
保持されている画像情報に基づいて物体の位置を算出す
る物体位置算出手段４１ｄと、前記車両と物体との相対
位置を表示する表示手段５を設け、前記物体位置算出手
段４１ｄから出力された物体の位置情報に基づいて物体
の前記車両と物体との相対位置を運転者に知らせること
を特徴としている。
出された物体エッジを利用し、前記画像保持手段３１に
保持されている画像情報に基づいて物体の位置を算出す
る物体位置算出手段４１ｄと、前記車両と物体との相対
位置を表示する表示手段５を設け、前記物体位置算出手
段４１ｄから出力された物体の位置情報に基づいて物体
の前記車両と物体との相対位置を運転者に知らせること
を特徴としている。
【００４２】また、前記物体エッジ検出手段４１ｃで検
出された物体エッジを利用し、前記画像保持手段３１に
保持されている画像情報に基づいて物体の位置を算出す
る物体位置算出手段４１ｄと、前記車両の転回情報に基
づいて当該車両の進路を予測する進路予測手段４１ｈ
と、警報音などの警報を発生する警報手段６とを設け、
前記物体位置算出手段４１ｄから出力された物体の位置
情報と前記進路予測手段４１ｈからの予測進路情報に基
づいて車両と物体の衝突を予測するとともに「衝突す
る」と予測された場合に、前記警報手段６あるいは前記
表示手段５の少なくとも一方により警報を発生すること
を特徴としている。
出された物体エッジを利用し、前記画像保持手段３１に
保持されている画像情報に基づいて物体の位置を算出す
る物体位置算出手段４１ｄと、前記車両の転回情報に基
づいて当該車両の進路を予測する進路予測手段４１ｈ
と、警報音などの警報を発生する警報手段６とを設け、
前記物体位置算出手段４１ｄから出力された物体の位置
情報と前記進路予測手段４１ｈからの予測進路情報に基
づいて車両と物体の衝突を予測するとともに「衝突す
る」と予測された場合に、前記警報手段６あるいは前記
表示手段５の少なくとも一方により警報を発生すること
を特徴としている。
【００４３】
【作用】上記構成において、補正情報取得手段４１ａは
撮像手段１の設置状態に基づいて補正情報を算出し、物
体抽出手段４１ｂは前記撮像手段１により撮像された右
側及び左側画像情報と前記補正情報とに基づいて高さ
「０」の背景画像を除去することにより物体の画像情報
を抽出する。物体エッジ検出手段４１ｃは前記抽出され
た物体画像情報の微分情報と前記物体の画像情報とに基
づいて物体のエッジ画像を抽出する。そして、物体情報
と物体エッジ情報とから車両周辺に存在する物体を認識
する。すなわち、撮像手段１の設置状態に関する補正情
報を算出する手段を設けたので、設置状態に基づく路面
画像の誤認識をなくすことができ、物体画像の抽出を正
確に行うことができる。また、車両と物体との相対位置
を精度良く算出することができる。
撮像手段１の設置状態に基づいて補正情報を算出し、物
体抽出手段４１ｂは前記撮像手段１により撮像された右
側及び左側画像情報と前記補正情報とに基づいて高さ
「０」の背景画像を除去することにより物体の画像情報
を抽出する。物体エッジ検出手段４１ｃは前記抽出され
た物体画像情報の微分情報と前記物体の画像情報とに基
づいて物体のエッジ画像を抽出する。そして、物体情報
と物体エッジ情報とから車両周辺に存在する物体を認識
する。すなわち、撮像手段１の設置状態に関する補正情
報を算出する手段を設けたので、設置状態に基づく路面
画像の誤認識をなくすことができ、物体画像の抽出を正
確に行うことができる。また、車両と物体との相対位置
を精度良く算出することができる。
【００４４】実視差算出手段４１ｅは右側撮像手段１１
Ｒからの右側画像情報と左側撮像手段１１Ｌからの左側
画像情報に基づいて撮像手段１の実視差を算出し、理論
視差算出手段４１ｆは撮像手段１の設置状態に基づいて
理論視差を算出する。すなわち、右側画像情報と左側画
像情報とに基づいて補正情報を算出するように構成した
ので、装置を簡単に構成することができる。
Ｒからの右側画像情報と左側撮像手段１１Ｌからの左側
画像情報に基づいて撮像手段１の実視差を算出し、理論
視差算出手段４１ｆは撮像手段１の設置状態に基づいて
理論視差を算出する。すなわち、右側画像情報と左側画
像情報とに基づいて補正情報を算出するように構成した
ので、装置を簡単に構成することができる。
【００４５】基準画像投射手段７は撮像手段１の撮像領
域内に測定の基準となる基準画像を投射し、右側撮像手
段１１Ｒ及び左側撮像手段１１Ｌはそれぞれこの基準画
像を撮像する。実視差算出手段４１ｅは右側撮像手段１
１Ｒに撮像された右側基準画像と左側撮像手段１１Ｌに
撮像された左側基準画像により実視差を算出する。すな
わち、実視差算出用の基準画像を投射する手段を設けた
ので、路面の状況によらず補正情報を算出することがで
きる。
域内に測定の基準となる基準画像を投射し、右側撮像手
段１１Ｒ及び左側撮像手段１１Ｌはそれぞれこの基準画
像を撮像する。実視差算出手段４１ｅは右側撮像手段１
１Ｒに撮像された右側基準画像と左側撮像手段１１Ｌに
撮像された左側基準画像により実視差を算出する。すな
わち、実視差算出用の基準画像を投射する手段を設けた
ので、路面の状況によらず補正情報を算出することがで
きる。
【００４６】物体位置算出手段４１ｄは物体エッジ検出
手段４１ｃからの物体エッジ情報と画像保持手段３１に
保持された画像情報に基づいて物体と車両との相対位置
を算出する。表示手段５は車両と物体との相対位置情報
に基づいて検出された物体についてその車両との相対位
置を運転者に知らせる。すなわち、検出された物体の車
両との相対位置を算出する手段と、この物体を表示する
手段とを設けたので、検出された物体に関し車両との相
対位置を運転者に知らせることができる。
手段４１ｃからの物体エッジ情報と画像保持手段３１に
保持された画像情報に基づいて物体と車両との相対位置
を算出する。表示手段５は車両と物体との相対位置情報
に基づいて検出された物体についてその車両との相対位
置を運転者に知らせる。すなわち、検出された物体の車
両との相対位置を算出する手段と、この物体を表示する
手段とを設けたので、検出された物体に関し車両との相
対位置を運転者に知らせることができる。
【００４７】進路予測手段４１ｈは車両の転回情報に基
づいて当該車両の進路を予測し、表示手段５あるいは警
報手段６は、この予測した車両進路と物体とが「衝突す
る」と予測された場合に警報を発生する。従って、物体
との衝突といった事故を未然に防ぐことができる。
づいて当該車両の進路を予測し、表示手段５あるいは警
報手段６は、この予測した車両進路と物体とが「衝突す
る」と予測された場合に警報を発生する。従って、物体
との衝突といった事故を未然に防ぐことができる。
【００４８】
【実施例】以下、本発明の車両周辺監視装置を図面とと
もに説明する。なお、本発明による車両周辺監視装置に
おいては、図９にて説明した先願装置とほぼ同様の構成
を有している。すなわち、図２に示すように、右側ＣＣ
Ｄカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌなどを有す
る撮像部１と、ハンドル舵角センサや操舵角センサとし
て構成され車両の転回情報を出力する舵角検出部２と、
右側フレームメモリ３１Ｒ、左側フレームメモリ３１
Ｌ、右側補正画像メモリ３２Ｒ、左側補正画像メモリ３
２Ｌ、差分画像メモリ３３、微分画像メモリ３４及びエ
ッジ画像メモリ３５からなる記憶部３と、動作プログラ
ムに従って動作するＣＰＵ４１、動作プログラムが格納
されたＲＯＭ４２及び必要な情報を一時格納するＲＡＭ
４３からなるデータ処理部４と、運転者に対して物体と
車両との相対位置やメッセージなどを表示する表示部５
と、運転者に対してブザー音や音声ガイダンスを出力す
る音声指示部６とから構成され、これに加えて基準画像
を投射する画像投射部７が設けられている。
もに説明する。なお、本発明による車両周辺監視装置に
おいては、図９にて説明した先願装置とほぼ同様の構成
を有している。すなわち、図２に示すように、右側ＣＣ
Ｄカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌなどを有す
る撮像部１と、ハンドル舵角センサや操舵角センサとし
て構成され車両の転回情報を出力する舵角検出部２と、
右側フレームメモリ３１Ｒ、左側フレームメモリ３１
Ｌ、右側補正画像メモリ３２Ｒ、左側補正画像メモリ３
２Ｌ、差分画像メモリ３３、微分画像メモリ３４及びエ
ッジ画像メモリ３５からなる記憶部３と、動作プログラ
ムに従って動作するＣＰＵ４１、動作プログラムが格納
されたＲＯＭ４２及び必要な情報を一時格納するＲＡＭ
４３からなるデータ処理部４と、運転者に対して物体と
車両との相対位置やメッセージなどを表示する表示部５
と、運転者に対してブザー音や音声ガイダンスを出力す
る音声指示部６とから構成され、これに加えて基準画像
を投射する画像投射部７が設けられている。
【００４９】この画像投射部７は、例えば図６（ａ）に
示すように、撮像部１内に組み込まれ、より詳細には右
側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌ間のほ
ぼ中央位置に配置されている。そして、この画像投射部
７は、図６（ｂ）に示すように、光源としての電球７１
ａと、その中央部に垂直方向（同図において上下方向）
に延長されたスリットが形成されたマスクパターン７１
ｂと、レンズ７１ｃとを有し、電球７１ａからの光をマ
スクパターン７１ｂにより線状の光とし、この線状光を
レンズ７１ｃを介して路面に投射する。また、この画像
投射部７を、図６（ｃ）に示すように、レーザ光源７２
ａ及びシリンドリカルレンズ７２ｂから構成し、レーザ
光源７２ａから適宜走査されて出射されたレーザ光をシ
リンドリカルレンズ７２ｂを介して線状の光とし、路面
に投射するように構成してもよい。
示すように、撮像部１内に組み込まれ、より詳細には右
側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌ間のほ
ぼ中央位置に配置されている。そして、この画像投射部
７は、図６（ｂ）に示すように、光源としての電球７１
ａと、その中央部に垂直方向（同図において上下方向）
に延長されたスリットが形成されたマスクパターン７１
ｂと、レンズ７１ｃとを有し、電球７１ａからの光をマ
スクパターン７１ｂにより線状の光とし、この線状光を
レンズ７１ｃを介して路面に投射する。また、この画像
投射部７を、図６（ｃ）に示すように、レーザ光源７２
ａ及びシリンドリカルレンズ７２ｂから構成し、レーザ
光源７２ａから適宜走査されて出射されたレーザ光をシ
リンドリカルレンズ７２ｂを介して線状の光とし、路面
に投射するように構成してもよい。
【００５０】このような画像投射部７は、例えば図７
（ａ）に示すように、撮像部１による撮像領域１００ａ
において、その中央部の手前側から奥側に亙る線状の光
としての基準画像４００を投射する。なお、この画像投
射部７は単体構成としてもよく、この場合、画像投射部
７を同図に符号Ａで示すように、撮像部１とは異なる任
意の位置に配置することができる。また、図６（ｂ）で
説明したマスクパターン７１ｂのスリットを、直線状に
配置した複数の矩形状スリットパターンとし、図７
（ｂ）に示すように撮像領域１００ａの中央部手前側か
ら奥側に亙って直線状に配列された複数の基準点４００
ａを投射するように構成してもよい。
（ａ）に示すように、撮像部１による撮像領域１００ａ
において、その中央部の手前側から奥側に亙る線状の光
としての基準画像４００を投射する。なお、この画像投
射部７は単体構成としてもよく、この場合、画像投射部
７を同図に符号Ａで示すように、撮像部１とは異なる任
意の位置に配置することができる。また、図６（ｂ）で
説明したマスクパターン７１ｂのスリットを、直線状に
配置した複数の矩形状スリットパターンとし、図７
（ｂ）に示すように撮像領域１００ａの中央部手前側か
ら奥側に亙って直線状に配列された複数の基準点４００
ａを投射するように構成してもよい。
【００５１】そして本発明においては、上記ＲＯＭ４２
に格納された動作プログラムすなわち上記データ処理部
４による処理動作も異なっている。以下、この処理動作
について図３〜図５のフローチャートを参照して説明す
る。この処理動作においては、まず図３のフローチャー
トにおけるステップＳ３１０にて、「０」補正値取得動
作が行われる。このステップＳ３１０における「０」補
正値取得動作は、具体的には図５のフローチャートによ
って行われる。
に格納された動作プログラムすなわち上記データ処理部
４による処理動作も異なっている。以下、この処理動作
について図３〜図５のフローチャートを参照して説明す
る。この処理動作においては、まず図３のフローチャー
トにおけるステップＳ３１０にて、「０」補正値取得動
作が行われる。このステップＳ３１０における「０」補
正値取得動作は、具体的には図５のフローチャートによ
って行われる。
【００５２】すなわち、最初にステップＳ５１０にて、
右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに
よる基準画像の取り込みが行われる。すなわち、このス
テップＳ５１０では、まず、画像投射部７（図６参照）
による監視領域１００ａ内における基準画像４００の投
射（図７参照）が行われる。続いて、撮像部１の右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌにより投
射された基準画像４００の撮像が行われる。これによ
り、それぞれ右側基準画像情報及び左側基準画像情報と
してフレームメモリ３１Ｒ及びフレームメモリ３１Ｌに
格納される。そして、このフレームメモリ３１Ｒ及び３
１Ｌに格納された画像情報に関し、図１０で歪曲収差の
補正処理が行われ、図８（ａ）に示す右側基準画像及び
図８（ｂ）に示す左側基準画像が生成される。そして、
これらの基準画像は右側補正メモリ３２Ｒ、左側補正メ
モリ３２Ｌにそれぞれ格納される。
右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに
よる基準画像の取り込みが行われる。すなわち、このス
テップＳ５１０では、まず、画像投射部７（図６参照）
による監視領域１００ａ内における基準画像４００の投
射（図７参照）が行われる。続いて、撮像部１の右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌにより投
射された基準画像４００の撮像が行われる。これによ
り、それぞれ右側基準画像情報及び左側基準画像情報と
してフレームメモリ３１Ｒ及びフレームメモリ３１Ｌに
格納される。そして、このフレームメモリ３１Ｒ及び３
１Ｌに格納された画像情報に関し、図１０で歪曲収差の
補正処理が行われ、図８（ａ）に示す右側基準画像及び
図８（ｂ）に示す左側基準画像が生成される。そして、
これらの基準画像は右側補正メモリ３２Ｒ、左側補正メ
モリ３２Ｌにそれぞれ格納される。
【００５３】なお、このステップＳ５１０において、例
えば撮像部１の監視領域１００ａに路面に描かれたセン
ターラインなどの直線画像があれば、これを基準画像と
して取り込んでもよい。そして、このステップＳ５１０
が終了するとステップＳ５２０に移行する。
えば撮像部１の監視領域１００ａに路面に描かれたセン
ターラインなどの直線画像があれば、これを基準画像と
して取り込んでもよい。そして、このステップＳ５１０
が終了するとステップＳ５２０に移行する。
【００５４】ステップＳ５２０では、上記ステップＳ５
１０で取得した左右基準画像に基づいて、基準画像にお
ける着目点の座標値を左右基準画像のそれぞれについて
取得する。詳細には、図８（ａ）における右側基準画像
４００Ｒの左側エッジと走査ライン４１ｎとの交点座標
をＰRO（ｘRPO ，ｙRPO ）として取得し、図８（ｂ）に
おける左側基準画像４００Ｌの左側エッジと走査ライン
４１ｎとの交点座標をＰLO（ｘLPO ，ｙLPO ）として取
得する。そして、このような座標取得動作を上端の走査
ライン４１ａから下端の走査ライン４１ｂまで順次行な
うことにより一群の交点座標を取得して、ステップＳ５
３０に移行する。
１０で取得した左右基準画像に基づいて、基準画像にお
ける着目点の座標値を左右基準画像のそれぞれについて
取得する。詳細には、図８（ａ）における右側基準画像
４００Ｒの左側エッジと走査ライン４１ｎとの交点座標
をＰRO（ｘRPO ，ｙRPO ）として取得し、図８（ｂ）に
おける左側基準画像４００Ｌの左側エッジと走査ライン
４１ｎとの交点座標をＰLO（ｘLPO ，ｙLPO ）として取
得する。そして、このような座標取得動作を上端の走査
ライン４１ａから下端の走査ライン４１ｂまで順次行な
うことにより一群の交点座標を取得して、ステップＳ５
３０に移行する。
【００５５】なお、このステップＳ５２０において、任
意間隔で複数設定された走査ラインを演算の対象とする
ことにより、以後の演算処理を高速にすることができ
る。例えば、図８（ｃ）に示すように、互いに所定間隔
毎に複数の走査ライン４１１〜４１９を設定し、この各
走査ライン４１１〜４１９と基準画像のエッジとの交点
座標を取得する。この取得動作により、走査ライン４１
４については右側基準画像４００Ｒとの交点座標ＰR4と
左側基準画像４００Ｌとの交点座標ＰL4とが取得され、
同様に走査ライン４１８については交点座標ＰR8とＰL8
とが取得される。
意間隔で複数設定された走査ラインを演算の対象とする
ことにより、以後の演算処理を高速にすることができ
る。例えば、図８（ｃ）に示すように、互いに所定間隔
毎に複数の走査ライン４１１〜４１９を設定し、この各
走査ライン４１１〜４１９と基準画像のエッジとの交点
座標を取得する。この取得動作により、走査ライン４１
４については右側基準画像４００Ｒとの交点座標ＰR4と
左側基準画像４００Ｌとの交点座標ＰL4とが取得され、
同様に走査ライン４１８については交点座標ＰR8とＰL8
とが取得される。
【００５６】ステップＳ５３０では、上記ステップＳ５
２０で取得した交点座標群のそれぞれの交点座標につい
て次式（１４）の演算により、右側ＣＣＤカメラ１１Ｒ
と左側ＣＣＤカメラ１１Ｌにより撮像された画像が有す
る視差（実視差）Ｄacを算出する。 Ｄac＝ｘLPO −ｘRPO ・・・（14） 例えば、図８（ｃ）の走査ライン４１４及び４１８につ
いては、このステップＳ５３０により、それぞれの実視
差４２４（走査ライン４１４）及び実視差４１８（走査
ライン４１８）が算出される。
２０で取得した交点座標群のそれぞれの交点座標につい
て次式（１４）の演算により、右側ＣＣＤカメラ１１Ｒ
と左側ＣＣＤカメラ１１Ｌにより撮像された画像が有す
る視差（実視差）Ｄacを算出する。 Ｄac＝ｘLPO −ｘRPO ・・・（14） 例えば、図８（ｃ）の走査ライン４１４及び４１８につ
いては、このステップＳ５３０により、それぞれの実視
差４２４（走査ライン４１４）及び実視差４１８（走査
ライン４１８）が算出される。
【００５７】ステップＳ５４０では、撮像部１の設置パ
ラメータに基づく理論視差Ｄthを算出する。この理論視
差ＤthすなわちｘLP′−ｘRPは、上式（１２）に基づい
て導かれた次式（１５）の演算により算出することがで
きる。Ｄth＝ｘLP′−ｘRP ＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ・・・（15） このステップＳ５４０にて理論視差を算出すると、次に
ステップＳ５５０に移行する。
ラメータに基づく理論視差Ｄthを算出する。この理論視
差ＤthすなわちｘLP′−ｘRPは、上式（１２）に基づい
て導かれた次式（１５）の演算により算出することがで
きる。Ｄth＝ｘLP′−ｘRP ＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ・・・（15） このステップＳ５４０にて理論視差を算出すると、次に
ステップＳ５５０に移行する。
【００５８】ステップＳ５５０では、上記ステップＳ５
３０で算出した実視差Ｄacと、上記ステップＳ５４０で
算出した理論視差Ｄthとの差分すなわち次式（１６）に
より、「０」補正値ｋ2 を算出する。 ｋ2 ＝Ｄac−Ｄth ・・・（16） そして、この算出した「０」補正値ｋ2 をデータ処理部
４のＲＡＭ４３に格納して一連の「０」補正値取得動作
を終了し、図３のフローチャートのステップＳ３２０に
移行する。
３０で算出した実視差Ｄacと、上記ステップＳ５４０で
算出した理論視差Ｄthとの差分すなわち次式（１６）に
より、「０」補正値ｋ2 を算出する。 ｋ2 ＝Ｄac−Ｄth ・・・（16） そして、この算出した「０」補正値ｋ2 をデータ処理部
４のＲＡＭ４３に格納して一連の「０」補正値取得動作
を終了し、図３のフローチャートのステップＳ３２０に
移行する。
【００５９】ステップＳ３２０では、撮像部１の右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの映
像情報を右側画像情報及び左側画像情報としてそれぞれ
右側フレームメモリ３１Ｒ及び左側フレームメモリ３１
Ｌに格納し、ステップＳ３３０に移行する。なお、この
ステップＳ３２０において取得された画像情報は監視領
域１００ａ内における画像情報であり、この監視領域１
００ａ内の障害物などを取得するためのものである。従
って、上記ステップＳ３２０（図５のフローチャート）
で取得した基準画像とは異なる画像である。そして、ス
テップＳ３３０では、右側フレームメモリ３１Ｒ及び左
側フレームメモリ３１Ｌに保持された画像情報を読み出
すとともにこの読み出した画像情報に対して図１０で説
明した歪曲収差補正処理を行う。そしてこの補正処理を
施した補正画像情報をそれぞれ右側補正画像メモリ３２
Ｒ及び左側補正画像メモリ３２Ｌに格納した後にステッ
プＳ３４０に移行する。
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの映
像情報を右側画像情報及び左側画像情報としてそれぞれ
右側フレームメモリ３１Ｒ及び左側フレームメモリ３１
Ｌに格納し、ステップＳ３３０に移行する。なお、この
ステップＳ３２０において取得された画像情報は監視領
域１００ａ内における画像情報であり、この監視領域１
００ａ内の障害物などを取得するためのものである。従
って、上記ステップＳ３２０（図５のフローチャート）
で取得した基準画像とは異なる画像である。そして、ス
テップＳ３３０では、右側フレームメモリ３１Ｒ及び左
側フレームメモリ３１Ｌに保持された画像情報を読み出
すとともにこの読み出した画像情報に対して図１０で説
明した歪曲収差補正処理を行う。そしてこの補正処理を
施した補正画像情報をそれぞれ右側補正画像メモリ３２
Ｒ及び左側補正画像メモリ３２Ｌに格納した後にステッ
プＳ３４０に移行する。
【００６０】ステップＳ３４０では、左側補正画像メモ
リ３２Ｌに保持された左側補正画像に対し、上式（１
３）の演算処理を行うことによりこの左側補正画像に対
する微分画像〔図１６（ｂ）〕を生成するとともにこの
生成した微分画像を微分画像メモリ３４に格納する。そ
してステップＳ３５０に移行する。ステップＳ３５０で
は、図１４で説明した投影画像作成処理、すなわち右側
補正画像メモリ３２Ｒに格納されている右側補正画像の
高さを全て「０」と仮定するとともにこの右側補正画像
に対して座標変換処理を施して左側ＣＣＤカメラ１１Ｌ
で撮像した投影画像〔図１４（ｂ）〕を作成する。
リ３２Ｌに保持された左側補正画像に対し、上式（１
３）の演算処理を行うことによりこの左側補正画像に対
する微分画像〔図１６（ｂ）〕を生成するとともにこの
生成した微分画像を微分画像メモリ３４に格納する。そ
してステップＳ３５０に移行する。ステップＳ３５０で
は、図１４で説明した投影画像作成処理、すなわち右側
補正画像メモリ３２Ｒに格納されている右側補正画像の
高さを全て「０」と仮定するとともにこの右側補正画像
に対して座標変換処理を施して左側ＣＣＤカメラ１１Ｌ
で撮像した投影画像〔図１４（ｂ）〕を作成する。
【００６１】このステップＳ３５０においては、図５の
フローチャートで取得した「０」補正値ｋ2 を用いるこ
とにより、撮像部１の設置パラメータのばらつきを補正
した投影画像を作成する。すなわち、このステップＳ３
５０においては、次式（１７）及び式（１８）を実行し
て投影画像を作成する。 ｙLP′＝ｙRP ・・・（17） ｘLP′＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ＋ｘRP＋ｋ2 ・・・（18） そして、このステップＳ３５０が終了するとステップＳ
３６０に移行する。ステップＳ３６０では、ステップＳ
３５０で作成した投影画像を左側補正画像に重畳〔図１
４（ｃ）〕するとともに両者の差分をとることにより差
分画像〔図１４（ｄ）〕を作成し、この作成した差分画
像を差分画像メモリ３３に格納する。そしてステップＳ
３７０に移行する。
フローチャートで取得した「０」補正値ｋ2 を用いるこ
とにより、撮像部１の設置パラメータのばらつきを補正
した投影画像を作成する。すなわち、このステップＳ３
５０においては、次式（１７）及び式（１８）を実行し
て投影画像を作成する。 ｙLP′＝ｙRP ・・・（17） ｘLP′＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ＋ｘRP＋ｋ2 ・・・（18） そして、このステップＳ３５０が終了するとステップＳ
３６０に移行する。ステップＳ３６０では、ステップＳ
３５０で作成した投影画像を左側補正画像に重畳〔図１
４（ｃ）〕するとともに両者の差分をとることにより差
分画像〔図１４（ｄ）〕を作成し、この作成した差分画
像を差分画像メモリ３３に格納する。そしてステップＳ
３７０に移行する。
【００６２】ステップＳ３７０では、物体エッジ画像作
成処理が行われる。すなわち、上記ステップＳ３４０で
微分画像メモリ３４に保持された微分画像と上記ステッ
プＳ３５０で差分画像メモリ３３に保持された差分画像
とを重ね合せてアンドを取ることにより、物体エッジ画
像〔図１６（ｃ）〕を生成する。そして生成した物体エ
ッジ画像をエッジ画像メモリ３５に格納してステップＳ
３８０に移行する。ステップＳ３８０では、上記ステッ
プＳ３７０で作成した物体エッジ画像データのエッジ部
分について、測定すべき物体の左右画像の対応点を右側
補正画像メモリ３２Ｒおよび左側補正画像メモリ３２Ｌ
より抽出し、ステップＳ３９０に移行する。
成処理が行われる。すなわち、上記ステップＳ３４０で
微分画像メモリ３４に保持された微分画像と上記ステッ
プＳ３５０で差分画像メモリ３３に保持された差分画像
とを重ね合せてアンドを取ることにより、物体エッジ画
像〔図１６（ｃ）〕を生成する。そして生成した物体エ
ッジ画像をエッジ画像メモリ３５に格納してステップＳ
３８０に移行する。ステップＳ３８０では、上記ステッ
プＳ３７０で作成した物体エッジ画像データのエッジ部
分について、測定すべき物体の左右画像の対応点を右側
補正画像メモリ３２Ｒおよび左側補正画像メモリ３２Ｌ
より抽出し、ステップＳ３９０に移行する。
【００６３】ステップＳ３９０では、上記ステップＳ３
７０にて抽出した物体エッジの各座標点について図１２
及び図１３にて説明した３次元位置座標算出動作を行
い、このエッジ画像の３次元座標値を算出する。そし
て、このステップＳ３９０における座標位置算出動作で
は、図５のフローチャートで説明した「０」補正値ｋ2
を利用して座標算出を行う。すなわち、このステップＳ
３９０では、次式（１９）〜式（２１）の演算を実行す
ることにより座標値ＺP ′、ＸP ′及びＹP ′を算出
し、さらにこの算出した座標値を用いて上式（７）〜式
（９）の演算を実行して座標値ＺP 、ＸP 及びＹP すな
わち監視領域１００ａ内の障害物の位置情報を取得す
る。 ＺP ′＝ｄｘａ・ｆ ／（ｘLP−ｘRP＋ｋ2 ） ・・・（19） ＸP ′＝ｄｘａ・ｘLP／（ｘLP−ｘRP＋ｋ2 ） ・・・（20） ＹP ′＝ｄｘａ・ｙLP／（ｘLP−ｘRP＋ｋ2 ） ・・・（21） そして、このステップＳ３９０が終了すると、図４のフ
ローチャートに示すステップＳ４１０に移行する。
７０にて抽出した物体エッジの各座標点について図１２
及び図１３にて説明した３次元位置座標算出動作を行
い、このエッジ画像の３次元座標値を算出する。そし
て、このステップＳ３９０における座標位置算出動作で
は、図５のフローチャートで説明した「０」補正値ｋ2
を利用して座標算出を行う。すなわち、このステップＳ
３９０では、次式（１９）〜式（２１）の演算を実行す
ることにより座標値ＺP ′、ＸP ′及びＹP ′を算出
し、さらにこの算出した座標値を用いて上式（７）〜式
（９）の演算を実行して座標値ＺP 、ＸP 及びＹP すな
わち監視領域１００ａ内の障害物の位置情報を取得す
る。 ＺP ′＝ｄｘａ・ｆ ／（ｘLP−ｘRP＋ｋ2 ） ・・・（19） ＸP ′＝ｄｘａ・ｘLP／（ｘLP−ｘRP＋ｋ2 ） ・・・（20） ＹP ′＝ｄｘａ・ｙLP／（ｘLP−ｘRP＋ｋ2 ） ・・・（21） そして、このステップＳ３９０が終了すると、図４のフ
ローチャートに示すステップＳ４１０に移行する。
【００６４】ステップＳ４１０では、データ処理部４
は、舵角検出部２からの転回情報、例えばハンドルの舵
角情報を読み込む。そしてステップＳ４２０に移行す
る。ステップＳ４２０では、上記ステップＳ４１０にて
読み込んだ転回情報に基づいて車両の進路を予測し、こ
の予測進路に対し車両の形状情報を加味して車両の予測
軌跡を算出する。そして算出した予測軌跡をＲＡＭ４３
に格納し、ステップＳ４３０に移行する。
は、舵角検出部２からの転回情報、例えばハンドルの舵
角情報を読み込む。そしてステップＳ４２０に移行す
る。ステップＳ４２０では、上記ステップＳ４１０にて
読み込んだ転回情報に基づいて車両の進路を予測し、こ
の予測進路に対し車両の形状情報を加味して車両の予測
軌跡を算出する。そして算出した予測軌跡をＲＡＭ４３
に格納し、ステップＳ４３０に移行する。
【００６５】ステップＳ４３０では、前記ステップＳ３
９０にて取得した障害物情報に基づき、監視領域１００
ａ内に障害物が存在するか否かを判定する。そしてこの
ステップ４３０で「存在する」すなわち「有」と判定し
た場合には引き続くステップＳ４４０に移行し、一方
「存在しない」すなわち「無」と判定された場合には図
３のフローチャートのステップＳ３００に移行する。
９０にて取得した障害物情報に基づき、監視領域１００
ａ内に障害物が存在するか否かを判定する。そしてこの
ステップ４３０で「存在する」すなわち「有」と判定し
た場合には引き続くステップＳ４４０に移行し、一方
「存在しない」すなわち「無」と判定された場合には図
３のフローチャートのステップＳ３００に移行する。
【００６６】ステップＳ４４０では、上記ステップＳ４
２０にて算出した予測軌跡と、上記ステップＳ４３０に
て算出した障害物位置情報に基づいて、障害物のエッジ
間領域と車両とが衝突する可能性があるか否かを判定す
る。そして「衝突の可能性有り」と判定された場合には
ステップＳ４４１に移行し、「衝突の可能性無し」と判
定された場合にはステップＳ４４２に移行する。
２０にて算出した予測軌跡と、上記ステップＳ４３０に
て算出した障害物位置情報に基づいて、障害物のエッジ
間領域と車両とが衝突する可能性があるか否かを判定す
る。そして「衝突の可能性有り」と判定された場合には
ステップＳ４４１に移行し、「衝突の可能性無し」と判
定された場合にはステップＳ４４２に移行する。
【００６７】そしてステップＳ４４１では、音声指示部
６により運転者に対してブザー音あるいは音声ガイダン
スの警報を発するとともに、表示部５により車両と障害
物との衝突予測位置及びメッセージを表示する。また、
ステップＳ４４２では、表示部５により障害物と車両と
の相対位置を表示する。そして、これらのステップＳ４
４１及びステップＳ４４２にて一連の処理を終了して、
図３のフローチャートのステップＳ３００に移行する。
ステップＳ３００では、次の処理動作における「０」補
正値を取得するか否かを判断し、ここで「取得する」す
なわち「Ｙ」と判定した場合にはステップ３１０に移行
して「０」補正値ｋ2 を更新する。また「取得しない」
すなわち「Ｎ」と判定した場合にはステップＳ３２０に
移行して再度一連の処理を行う。この場合の「０」補正
値ｋ2 は、前回までの「０」補正値ｋ2 を使用する。
６により運転者に対してブザー音あるいは音声ガイダン
スの警報を発するとともに、表示部５により車両と障害
物との衝突予測位置及びメッセージを表示する。また、
ステップＳ４４２では、表示部５により障害物と車両と
の相対位置を表示する。そして、これらのステップＳ４
４１及びステップＳ４４２にて一連の処理を終了して、
図３のフローチャートのステップＳ３００に移行する。
ステップＳ３００では、次の処理動作における「０」補
正値を取得するか否かを判断し、ここで「取得する」す
なわち「Ｙ」と判定した場合にはステップ３１０に移行
して「０」補正値ｋ2 を更新する。また「取得しない」
すなわち「Ｎ」と判定した場合にはステップＳ３２０に
移行して再度一連の処理を行う。この場合の「０」補正
値ｋ2 は、前回までの「０」補正値ｋ2 を使用する。
【００６８】以上の説明から明らかなように、本発明の
基本構成と実施例とは次の対応関係を有している。すな
わち、撮像手段１は実施例における撮像部１に、右側撮
像手段１１Ｒ及び左側撮像手段１１Ｌはそれぞれ右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに、画像
保持手段３１はフレームメモリ３１Ｒ及び３１Ｌに、補
正情報取得手段４１ａは図５のフローチャートにおける
ステップＳ５１０〜Ｓ５５０に、物体抽出手段４１ｂは
図３のフローチャートにおけるステップＳ３４０〜Ｓ３
６０に、物体エッジ検出手段４１ｃは同じくステップＳ
３７０に、物体位置算出手段４１ｄは同じくステップＳ
３９０に対応している。
基本構成と実施例とは次の対応関係を有している。すな
わち、撮像手段１は実施例における撮像部１に、右側撮
像手段１１Ｒ及び左側撮像手段１１Ｌはそれぞれ右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに、画像
保持手段３１はフレームメモリ３１Ｒ及び３１Ｌに、補
正情報取得手段４１ａは図５のフローチャートにおける
ステップＳ５１０〜Ｓ５５０に、物体抽出手段４１ｂは
図３のフローチャートにおけるステップＳ３４０〜Ｓ３
６０に、物体エッジ検出手段４１ｃは同じくステップＳ
３７０に、物体位置算出手段４１ｄは同じくステップＳ
３９０に対応している。
【００６９】また、実視差算出手段４１ｅは図５のフロ
ーチャートにおけるステップＳ５１０〜Ｓ５３０に、理
論視差算出手段４１ｆは同じくステップＳ５４０に、補
正情報算出手段４１ｇは同じくステップＳ５５０に対応
している。また、基準画像投射手段７は画像投射部７
に、進路予測手段４１ｉは図４のフローチャートにおけ
るステップＳ４１０及びＳ４２０に、表示手段５は表示
部５に、警報手段６は音声指示部６に対応している。
ーチャートにおけるステップＳ５１０〜Ｓ５３０に、理
論視差算出手段４１ｆは同じくステップＳ５４０に、補
正情報算出手段４１ｇは同じくステップＳ５５０に対応
している。また、基準画像投射手段７は画像投射部７
に、進路予測手段４１ｉは図４のフローチャートにおけ
るステップＳ４１０及びＳ４２０に、表示手段５は表示
部５に、警報手段６は音声指示部６に対応している。
【００７０】
【発明の効果】以上説明したように、本発明の車両周辺
監視装置によれば、撮像手段の設置状態に関する補正情
報を算出する手段を設けたので、設置状態に基づく路面
画像の誤認識をなくすことができ、物体画像の抽出を正
確に行うことができる。また、車両と物体との相対位置
を精度良く算出することができる。
監視装置によれば、撮像手段の設置状態に関する補正情
報を算出する手段を設けたので、設置状態に基づく路面
画像の誤認識をなくすことができ、物体画像の抽出を正
確に行うことができる。また、車両と物体との相対位置
を精度良く算出することができる。
【００７１】また、右側画像情報と左側画像情報とに基
づいて補正情報を算出するように構成したので、装置を
簡単に構成することができる。
づいて補正情報を算出するように構成したので、装置を
簡単に構成することができる。
【００７２】また、実視差算出用の基準画像を投射する
手段を設けたので、路面の状況によらず補正情報を算出
することができる。
手段を設けたので、路面の状況によらず補正情報を算出
することができる。
【００７３】また、検出された物体の車両との相対位置
を算出する手段と、この物体を表示する手段とを設けた
ので、検出された物体に関し車両との相対位置を運転者
に知らせることができる。
を算出する手段と、この物体を表示する手段とを設けた
ので、検出された物体に関し車両との相対位置を運転者
に知らせることができる。
【００７４】また、車両の転回情報に基づいて当該車両
の進路を予測する手段と、この予測した車両進路と物体
とが「衝突する」と予測された場合に警報を発生する手
段とを設けたので、物体との衝突といった事故を未然に
防ぐことができる。
の進路を予測する手段と、この予測した車両進路と物体
とが「衝突する」と予測された場合に警報を発生する手
段とを設けたので、物体との衝突といった事故を未然に
防ぐことができる。
【図１】本発明の基本構成図である。
【図２】本発明の実施例の構成図である。
【図３】同実施例の動作フローチャートである。
【図４】同実施例の動作フローチャートである。
【図５】同実施例の動作フローチャートである。
【図６】画像投射部７を説明する図である。
【図７】基準画像４００を説明する図である。
【図８】「０」補正値の取得動作を説明する図である。
【図９】先願装置の構成図である。
【図１０】実施例及び先願装置におけるレンズ収差補正
の説明図である。
の説明図である。
【図１１】同じく撮像部の取付態様の説明図である。
【図１２】同じくカメラ俯角補正の説明図である。
【図１３】同じく３次元位置測定の説明図である。
【図１４】同じく路面画像除去の説明図である。
【図１５】同じく差分画像作成の説明図である。
【図１６】同じく物体エッジ検出の説明図である。
１ 撮像部
１１Ｒ，１１Ｌ ＣＣＤカメラ
２ 舵角検出部
３ 記憶部
３１Ｒ，３１Ｌ フレームメモリ
３５ エッジ画像メモリ
４ データ処理部
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
５ 表示部
６ 音声指示部
７ 画像投射部
１００ 車両
２００ 障害物
３００ 白線（路面画像）
４００ 基準画像
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 佐々木 一幸
静岡県裾野市御宿1500 矢崎総業株式会
社内
(56)参考文献 特開 平６−331351（ＪＰ，Ａ)
特開 平５−216534（ＪＰ，Ａ)
特開 平６−325298（ＪＰ，Ａ)
特開 平６−229758（ＪＰ，Ａ)
特開 平６−318255（ＪＰ，Ａ)
特開 平３−96451（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G08G 1/16
H04N 7/18
B60R 21/00
Claims (4)
- 【請求項１】 車両の所定位置に配置されるとともに互
いに所定距離離間して設置された右側撮像手段及び左側
撮像手段を備えた撮像手段からの画像情報に基づいて車
両の周辺を監視する車両周辺監視装置において、 前記右側撮像手段からの右側画像情報を保持する右側画
像保持手段と、前記左側撮像手段からの左側画像情報を
保持する左側画像保持手段とを有する画像保持手段と、 前記撮像手段の設置状態に基づく検出誤差を補正するた
めの補正情報を取得する補正情報取得手段と、 前記右側及び左側画像情報と前記補正情報に基づき、高
さ「０」の背景画像を除去することにより物体の画像情
報を抽出し、且つ、この抽出した物体の画像情報を物体
情報として出力する物体抽出手段と、 前記画像保持手段に保持された画像情報について水平方
向の微分値を算出し、この微分情報と前記物体情報に基
づいて、物体のエッジを検出するとともにこの検出結果
を物体エッジ情報として出力する物体エッジ検出手段と
を有し、 前記物体情報と前記物体エッジ情報とから車両周辺に存
在する物体を認識する車両周辺監視装置であって、 前記補正情報取得手段は、前記右側画像情報と左側画像
情報に基づいて前記撮像手段が撮像した画像信号の実視
差を算出する実視差算出手段と、前記撮像手段の設置状
態に基づく計算上の理論視差を算出する理論視差算出手
段と、これらの実視差及び理論視差に基づき前記補正情
報を算出する補正情報算出手段とを有する、 ことを特徴とする車両周辺監視装置。 - 【請求項２】 車両の任意の位置に前記撮像手段の撮像
領域内に測定の基準となる基準画像を投射する基準画像
投射手段を設け、 前記実視差算出手段は、前記基準画像を前記右側撮像手
段が撮像することにより取得された右側基準画像と基準
画像を前記左側撮像手段が撮像することにより取得され
た左側基準画像に基づいて撮像手段が撮像した画像信号
の実視差を算出することを特徴とする請求項１記載の車
両周辺監視装置。 - 【請求項３】 前記物体エッジ検出手段で検出された物
体エッジを利用し、前記画像保持手段に保持されている
画像情報に基づいて物体の位置を算出する物体位置算出
手段と、前記車両と物体との相対位置を表示する表示手
段を設け、 前記物体位置算出手段から出力された物体の位置情報に
基づいて物体の前記車両と物体との相対位置を運転者に
知らせることを特徴とする請求項２又は３記載の車両周
辺監視装置。 - 【請求項４】 前記物体エッジ検出手段で検出された物
体エッジを利用し、前記画像保持手段に保持されている
画像情報に基づいて物体の位置を算出する物体位置算出
手段と、前記車両の転回情報に基づいて当該車両の進路
を予測する進路予測手段と、警報音などの警報を発生す
る警報手段とを設け、 前記物体位置算出手段から出力された物体の位置情報と
前記進路予測手段からの予測進路情報に基づいて車両と
物体の衝突を予測するとともに「衝突する」と予測され
た場合に、前記警報手段あるいは前記表示手段の少なく
とも一方により警報を発生することを特徴とする請求項
１、２又は３記載の車両周辺監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04309995A JP3478432B2 (ja) | 1995-03-02 | 1995-03-02 | 車両周辺監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04309995A JP3478432B2 (ja) | 1995-03-02 | 1995-03-02 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08241498A JPH08241498A (ja) | 1996-09-17 |
| JP3478432B2 true JP3478432B2 (ja) | 2003-12-15 |
Family
ID=12654398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04309995A Expired - Fee Related JP3478432B2 (ja) | 1995-03-02 | 1995-03-02 | 車両周辺監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3478432B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1038734B1 (en) | 1998-10-08 | 2019-05-15 | Panasonic Intellectual Property Corporation of America | Driving assisting device and recording medium |
| RU2000128606A (ru) * | 2000-11-15 | 2002-10-27 | Тойота Дзидося Кабусики Кайся (Jp) | Устройство распознавания дорожной поверхности |
| CN1559147A (zh) * | 2001-12-03 | 2004-12-29 | Լɪ��J�������� | 360度汽车视频摄像系统 |
-
1995
- 1995-03-02 JP JP04309995A patent/JP3478432B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08241498A (ja) | 1996-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3156817B2 (ja) | 車両周辺監視装置 | |
| KR102022388B1 (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
| US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
| US6172601B1 (en) | Three-dimensional scope system with a single camera for vehicles | |
| EP2544449B1 (en) | Vehicle perimeter monitoring device | |
| US20010008992A1 (en) | Periphery monitoring device for motor vehicle and recording medium containing program for determining danger of collision for motor vehicle | |
| JP2002359838A (ja) | 運転支援装置 | |
| JP2006268076A (ja) | 運転支援システム | |
| KR20120077309A (ko) | 차량의 후방 영상 표시 장치 및 방법 | |
| JP2010086268A (ja) | 車両用表示体認識装置 | |
| JP2008085710A (ja) | 運転支援システム | |
| EP3893150A1 (en) | Camera pose estimation techniques | |
| KR101203816B1 (ko) | 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 | |
| JP2000293693A (ja) | 障害物検出方法および装置 | |
| WO2020105499A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JPH08339498A (ja) | 車両周辺監視装置 | |
| JP4397573B2 (ja) | 画像処理装置 | |
| JP3503840B2 (ja) | 車両周辺監視装置 | |
| JP3478432B2 (ja) | 車両周辺監視装置 | |
| JPH07250268A (ja) | 車両周辺監視装置 | |
| JP4696925B2 (ja) | 画像処理装置 | |
| JP2006160193A (ja) | 車両運転支援装置 | |
| JP3570635B2 (ja) | 車両周辺監視装置 | |
| JP6960827B2 (ja) | 路面領域検出装置 | |
| JP7405710B2 (ja) | 処理装置及び車載カメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030909 |
|
| LAPS | Cancellation because of no payment of annual fees |