JPH08280006A

JPH08280006A - 車両周辺監視装置

Info

Publication number: JPH08280006A
Application number: JP7081100A
Authority: JP
Inventors: Kazutomo Fujinami; 一友藤浪; Kazuyuki Sasaki; 一幸佐々木; Toshiaki Ozaki; 敏明尾崎; Naoto Ishikawa; 直人石川
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1995-04-06
Filing date: 1995-04-06
Publication date: 1996-10-22
Anticipated expiration: 2019-03-08
Also published as: JP3503840B2

Abstract

(57)【要約】【目的】ＣＣＤカメラの特性の焦点距離のばらつきに
起因する背景画像の消去不良を防止できる車両周辺監視
装置を提供する。【構成】右側撮像手段１１Ｒ及び左側撮像手段１１Ｌ
からの画像情報に基づいて車両の周辺を監視する車両周
辺監視装置において、撮像手段１の撮像倍率の差を補正
する倍率補正手段４１ａと、前記撮像手段１からの画像
情報に基づいて背景画像情報を除去して物体画像情報を
抽出する物体抽出手段４１ｂと、前記画像情報と前記物
体画像情報に基づいて物体のエッジを検出し、この検出
結果を物体エッジ情報として出力する物体エッジ検出手
段４１ｃとを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動車などの車両の周
辺を監視して車両運転における運転者の安全確認を支援
するのに有効に適用される車両周辺監視装置にかかり、
より詳細には、車両に設置された２台のカメラ（撮像手
段）により撮像された画像情報に基づいて障害物などの
物体を認識する方式の車両周辺監視装置に関するもので
ある。

【０００２】

【従来の技術】従来、この種の車両周辺監視装置として
は、例えば特開平４−２６１０００号公報及び特開平４
−３０１５１３号公報（以下これらを総括して従来装置
という）に示された装置があった。この従来装置は、車
両の所定位置に互いに所定距離だけ水平方向に離間して
配置された右側カメラ及び左側カメラと、これらのカメ
ラからの画像信号を一時的に蓄える右側フレームメモリ
及び左側フレームメモリとを有している。これらのフレ
ームメモリは複数の画素から構成されており、この右側
あるいは左側フレームメモリの一方に蓄えられた画像信
号を参照して隣接する画素との輝度差に基づいて物体の
エッジ点を検出する。

【０００３】そして、この一方のフレームメモリの画像
信号を基準とし、この一方のフレームメモリにおける画
像信号に対して他方のフレームメモリの画像信号をその
位置を順次シフトしながら重ね合わせるとともにその重
ね合わせ状態における両画像データの差分を算出する。
そして、この差分が最小となるシフト量を両カメラにお
ける視差として取得し、この視差に基づいて前記物体と
カメラとの相対距離を算出していた。

【０００４】このような従来装置において、重ね合わせ
る画像信号の中には、高さ「０」（路面上）の画像、例
えば路面上に描かれた白線や文字あるいは模様などが含
まれている。そして、このような路面上の画像も演算対
象とされている。しかしながら、この路面上の画像につ
いては車両の走行などには障害とならないので、この路
面上の画像についての検出動作は不要な処理となる。そ
して、この不要な処理のために処理時間が長くなってし
まう問題点があった。

【０００５】この問題点を解決することを目的として、
本出願人は、特願平６−４２４３３号（以下先願装置と
いう）にて、路面上の画像を除去することにより物体画
像のみを抽出するとともにこの抽出した物体画像につい
てそのエッジを検出し、そしてこのエッジに基づいて物
体の位置を認識する車両周辺監視装置を提案した。以
下、この先願装置について説明する。

【０００６】この先願装置は、図１３に示す装置構成を
有している。同図において、１は撮像手段としての撮像
部、２は車両の転回情報を出力する舵角検出部、３は画
像情報などを蓄える記憶部、４は各種演算処理を実行す
るデータ処理部、５は障害物の位置あるいはメッセージ
を表示する表示部、６は警報音あるいは音声ガイダンス
を発生する音声指示部である。

【０００７】上記撮像部１は、右側ＣＣＤカメラ１１Ｒ
と、左側ＣＣＤカメラ１１Ｌと、右側ＣＣＤカメラ１１
Ｒにより撮像された映像情報を投影する右側イメージプ
レーン１２Ｒと、左側ＣＣＤカメラ１１Ｌにより撮像さ
れた映像情報を投影する左側イメージプレーン１２Ｌと
を有している。そしてこの撮像部１は、図１５に示すよ
うに、車両１００の後方中央部の高さＨの位置に、車両
の後方に向けて取り付けられている。そして撮像部１を
構成する一対のＣＣＤカメラ１１Ｒ及び１１Ｌは、所定
距離隔てて互いに平行に且つ俯角θ_Sで取り付けられて
いる。これによりこの撮像部１は車両後方の監視領域１
００ａ〔１００ａ（１１Ｒ）及び１００ａ（１１Ｌ）〕
を撮像する。

【０００８】舵角検出部２は、ハンドルの回転量及び回
転方向を検出するハンドル舵角センサや操舵輪（一般的
に前輪）の操舵角を検出する操舵角センサ（いずれも図
示せず）などにより構成され、これらのセンサからの検
出信号により車両の転回方向を転回情報として出力す
る。記憶部３は、撮像部１の右側イメージプレーン１２
Ｒに投影された映像情報を右側画像信号として一時的に
蓄える右側フレームメモリ３１Ｒと、同じく左側イメー
ジプレーン１２Ｌに投影された映像情報を左側画像信号
として一時的に蓄える左側フレームメモリ３１Ｌと、右
側及び左側フレームメモリ３１Ｒ及び３１Ｌに蓄えられ
た画像信号のそれぞれに対し所定の補正処理を施した補
正画像情報を保持する右側補正画像メモリ３２Ｒ及び左
側補正画像メモリ３２Ｌと、後述する差分画像、微分画
像及びエッジ画像をそれぞれ保持する差分画像メモリ３
３、微分画像メモリ３４及びエッジ画像メモリ３５とを
有している。そしてこれらの各メモリ３１〜３５はｍ行
ｎ列の構成を有し、例えば５１２画素（ｍ）×５１２画
素（ｎ）のメモリとして構成されている。そして、この
メモリを構成する各画素には、例えば２５６階調の輝度
値データが格納されている。

【０００９】データ処理部４は、動作プログラムが格納
されたＲＯＭ４２と、この動作プログラムに従って動作
するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な
情報を一時格納するＲＡＭ４３とを有している。表示部
５は、ディスプレイ５１を有し、このディスプレイ５１
はＣＰＵ４１から出力された表示画像信号に基づいて、
物体の車両との相対位置を表示したりあるいは運転者に
対するメッセージを表示したりする。音声指示部６は、
ＣＰＵ４１から出力されたブザー音信号あるいは音声ガ
イダンス信号に基づいて、スピーカ６１からブザー音あ
るいは音声ガイダンスを出力する。

【００１０】このような構成を有する先願装置では、撮
像部１からの映像信号に基づいて物体（障害物）の検出
及びこの物体と車両との相対位置の算出が行われる。ま
ず、撮像部１による画像の取込処理について説明する。
撮像部１により撮像された映像信号は、一旦イメージプ
レーン１２Ｒ及び１２Ｌに投影された後、右側フレーム
メモリ３１Ｒ及び左側フレームメモリ３１Ｌにそれぞれ
画像情報、すなわち各画素毎の輝度値データとして格納
される。この右側フレームメモリ３１Ｒ及び左側フレー
ムメモリ３１Ｌに格納された画像情報は、右側ＣＣＤカ
メラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌ（以下、両者を
総称する際には単にＣＣＤカメラ１１という）が有する
レンズの歪曲収差を含んだ画像となっている。そしてこ
の歪曲収差は後述する物体の位置検出における誤差の原
因となる。

【００１１】すなわち、格子状の模様を撮像した場合に
ついて考えると、ＣＣＤカメラ１１のレンズに収差がな
いときには、図１４（ａ）に示すようにこの格子状の模
様がそのままフレームメモリ３１に格納される。また、
そのレンズに収差があるときには、図１４（ｂ）に示す
ように光軸を中心としてその中央部の画像が外方に膨ら
んだ樽形に歪曲した画像、あるいは図１４（ｃ）に示す
ように光軸を中心としてその中央部の画像が内側に湾曲
した糸巻形に歪曲した画像がフレームメモリ３１に格納
される。

【００１２】そしてデータ処理部４は、上記図１４
（ｂ）あるいは図１４（ｃ）に示すような歪曲画像に対
して補正処理を施すことにより補正画像情報を生成し、
この補正画像情報を右側補正画像メモリ３２Ｒ及び左側
補正画像メモリ３２Ｌに格納する。この補正画像情報に
ついても、先の画像情報と同様に、各画素毎の輝度値デ
ータとして格納される。以下、この画像の歪曲収差の補
正処理について説明する。

【００１３】図１４（ｄ）に示すように、歪曲収差が無
い時の点Ｐ（ｘ₀，ｙ₀）が歪曲収差によって点Ｐ′
（ｘ，ｙ）に結像したものとすると、その収差量Ｄは次
式（１）により表すことができる。Ｄ＝［（ｘ₀−ｘ）²＋（ｙ₀−ｙ）²］^0.5 ・・・（１）

【００１４】そして、図１４（ｂ）あるいは図１４
（ｃ）に示すような歪曲画像において、その収差量Ｄは
光軸からの距離の３乗に比例して大きくなる。すなわ
ち、レンズの中心点より点Ｐまでの距離の３乗に比例す
るので、上記式（１）の右辺は、次式（２）により表す
ことができる。［（ｘ₀−ｘ）²＋（ｙ₀−ｙ）²］^0.5＝ｋ₁［（ｘ₀ ²−ｙ₀ ²）^0.5］³ ・・・（２）上記式中、ｋ₁はレンズによって定まる比例定数

【００１５】従って、レンズに歪曲収差が存在する場合
は、例えば次式（３）の演算を行うことによりこの歪曲
収差を補正することができる。ｘ₀≒ｘ（１−ｋ₁（ｘ²＋ｙ²））ｙ₀≒ｙ（１−ｋ₁（ｘ²＋ｙ²））・・・（３）

【００１６】ところで、この式（３）の演算により画像
の歪曲収差の補正を行った場合には、隣接画素間の距離
が離れてしまい画像の抜けが生じることがある。データ
処理部４は、この画像の抜けに関し、隣接する画素の情
報に基づいて補間を行う。そして、このような補正処理
及び補間処理が施された画像情報は、補正画像情報とし
て右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３
２Ｌにそれぞれ格納される。以上で撮像部１による画像
の取込処理が終了する。

【００１７】次いで、データ処理部４は、この補正画像
情報に基づいて、撮像された画像における位置の算出、
背景画像（高さ「０」の画像）の除去、物体のエッジ画
像の生成などを行う。以下、これらの処理について説明
する。

【００１８】まず、撮像画像に基づいて位置を算出する
処理について説明する。上記撮像部１すなわちＣＣＤカ
メラ１１は、図１５にて説明したように、車両後方の所
定位置に設置俯角θ_Sで取り付けられており、監視領域
１００ａを撮像している。従って、撮像部１による撮像
画像はこの所定位置を基準とした画像となっているの
で、この撮像画像から算出した位置もこの所定位置を基
準とした位置となっている。そこで、以後の説明を容易
にするため、図１６に示すように、この所定位置すなわ
ちカメラ設置位置を基準とした座標をＸ′，Ｙ′，Ｚ′
で表わし、路面を基準とした座標をＸ，Ｙ，Ｚで表わす
ものとする。

【００１９】そして、このカメラ設置位置を基準とした
Ｘ′，Ｙ′，Ｚ′座標系においては、図１７（ａ）に示
すように、Ｚ′軸はＣＣＤカメラ１１のレンズ光軸とし
て定義され、上記Ｘ′軸は路面と平行な軸として定義さ
れ、また上記Ｙ′軸はＺ′軸とＸ′軸の双方に直交する
軸として定義されている。従って、右側ＣＣＤカメラ１
１Ｒ及び左側ＣＣＤカメラ１１Ｌは、それぞれのレンズ
光軸がＺ′軸と一致するように配置されている。また、
Ｘ′軸に関し、このＸ′軸上にそれぞれのレンズの中心
点が位置するよう配置されるとともに互いに距離ｄｘａ
だけ離間して配置されている。以後の説明を容易にする
ため、Ｘ′，Ｙ′およびＺ′軸の原点Ｏを左側ＣＣＤカ
メラ１１Ｒのレンズの中心として定義することとする。

【００２０】以上のように設置されたＣＣＤカメラ１１
によって撮像された点Ｐ（Ｘ_P′，Ｙ_P′，Ｚ_P′）
は、右側補正情報メモリ３２ＲにＰ_R（ｘ_RP，ｙ_RP）と
して保持され、左側補正情報メモリ３２ＬにＰ
_L（ｘ_LP，ｙ_LP）として保持される。

【００２１】そしてこの点ＰのＺ′座標Ｚ_P′は、図１
７（ｂ）のＸ′Ｚ′平面における模式図で示すように、
三角形の相似にて求めることができる。すなわち、この
距離Ｚ_P′は、次式（４）で表すことができる。Ｚ_P′＝ｄｘａ・ｆ／（ｘ_LP−ｘ_RP）・・・（４）上記式中、ｄｘａは両レンズの間隔ｆはレンズの焦点距離

【００２２】同様に点ＰのＸ′座標Ｘ_P′についても、
図１７（ｂ）のＸ′Ｚ′平面の模式図で示すように、三
角形の相似にて求めることができる。そして点ＰのＹ′
座標Ｙ_P′についても、図示しないＹ′Ｚ′平面を想定
することにより、同様にして求めることができる。すな
わち、これら点ＰのＸ′座標Ｘ_P′及びＹ′座標Ｙ_P′
は、それぞれ次式（５）及び式（６）で求めることがで
きる。Ｘ_P′＝Ｚ_P′ｘ_LP／ｆ＝ｄｘａ・ｘ_LP／（ｘ_LP−ｘ_RP）・・・（５）Ｙ_P′＝Ｚ_P′ｙ_LP／ｆ＝ｄｘａ・ｙ_LP／（ｘ_LP−ｘ_RP）・・・（６）なお、上記座標Ｘ_P′に関し、その基準座標を右側ＣＣ
Ｄカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの間とする場
合には、上式（５）で算出された座標Ｘ_P′と両レンズ
の間隔ｄｘａの１／２の差分をとればよい。

【００２３】以上の式（４）〜式（６）にて算出された
Ｘ′Ｙ′Ｚ′座標系における点Ｐ（Ｘ_P′，Ｙ_P′，Ｚ
_P′）は、上述したようにカメラ設置位置を基準とした
座標系の座標値であるので、この座標値を路面を基準と
したＸＹＺ座標系における座標値に変換する必要があ
る。この場合、撮像部１（ＣＣＤカメラ１１）の俯角が
θ_Sであるとすれば、Ｘ′Ｙ′Ｚ′座標での点Ｐの座標
（Ｘ_P′，Ｙ_P′，Ｚ_P′）と路面を基準としたＸＹＺ
座標との関係は上記図１６で示すようになる。

【００２４】従って、上式（４）〜式（６）で算出した
座標（Ｚ_P′，Ｙ_P′，Ｘ_P′）は、次式（７）〜式
（９）の実行により、ＸＹＺ座標系における点Ｐの座標
（Ｘ_P，Ｙ_P，Ｚ_P）に変換することができる。Ｘ_P＝Ｘ_P′ ・・・（７）Ｙ_P＝Ｈ−Ｚ_P′cos θ_S＋Ｙ_P′sin θ_S ・・・（８）Ｚ_P＝Ｚ_P′sin θ_S＋Ｙ_P′cos θ_S ・・・（９）

【００２５】次に、データ処理部４による物体の認識処
理について説明する。まず、背景画像（高さ「０」の画
像）の除去処理について説明することとする。図１８
（ａ）は右側ＣＣＤカメラ１１Ｒで撮像された後、上述
した歪曲収差補正が施され、そして右側補正画像メモリ
３２Ｒに保持された右側補正画像を示している。同図に
おいて、３００は路面上に画かれた白線、また２００は
ポール状の物体である。ここで、この右側補正画像メモ
リ３２Ｒに保持されている右側補正画像に関し、その全
ての画像が高さ「０」の背景画像すなわち路面上に描か
れている画像だと仮定する。そしてこのように仮定した
右側補正画像に基づき、この右側補正画像があたかも左
側ＣＣＤカメラ１１Ｌの撮像位置で撮像された画像（投
影画像）となるよう変換処理を行う〔図１８（ｂ）〕。

【００２６】以下、この投影画像の変換処理について説
明する。ここで、右画像の点Ｐ_R（ｘ_RP，ｙ_RP）に対応
する投影画像の点をＰ_L′（ｘ_LP′，ｙ_LP′）とする。
図１６に示すように、カメラ座標のＸ′軸と路面座標の
Ｘ軸は平行であり、また、カメラによって撮像する走査
線のｘ軸（図１７のｘ_L軸およびｘ_R軸）も共に平行で
あるとすると、同一物体を撮像した場合の撮像画像のｙ
_Lとｙ_R値は一致する。そして、画像の全てが路面上で
あるとすれば、上式（８）で示すＹ_Pの値は０となる。
以上から次式（１０）及び式（１１）を導くことができ
る。そして、式（１１）のＺ_P′およびＹ_P′に式
（４）のＺ_P′及び式（６）のＹ_P′を代入することに
より、式（１２）に示すように、ｘ_LP′を求めることが
できる。

【００２７】ｙ_LP′＝ｙ_RP ・・・（10）０＝Ｈ_P−Ｚ_P′cos θ_S＋Ｙ_P′sin θ_S ・・・（11）ｘ_LP′＝（ｄｘａ・ｆcos θ_S−ｄｘａ・ｙ_RPsin θ_S）／Ｈ＋ｘ_RP ・・・（12）上式（１０）及び式（１２）の演算を行なうことによ
り、データ処理部４は、投影画像〔図１８（ｂ）〕を作
成する。

【００２８】そして、このようにして作成した投影画像
を左側補正画像に重畳すると図１８（ｃ）のようにな
る。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画
像を投影した場合、路面上に画かれている白線等の模様
は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝
度共に一致し、物体が路面より高くなるに従って差が大
きくなる。従って、左画像データと投影画像データの差
分をとることにより、高さのある物体を構成する画素以
外の路面を構成する画素の輝度値は値「０」または値
「０」に近い値となる。そして所定しきい値以下を値
「０」とすれば、全て値「０」となる。このようにし
て、左画像データと投影画像データの差分をとることに
より、その差分画像は図１６（ｄ）に示すように、路面
画像（高さ「０」の背景画像）が除去され、高さのある
部分のみが値「０」以外の値として取り出される。そし
て、この差分画像については記憶部３の差分画像メモリ
３３に格納される。

【００２９】ところで、上記投影画像には誤差が含まれ
ており、これにより上記差分画像〔図１８（ｄ）〕につ
いては、その路面画像が残ってしまう場合がある。この
ため、投影画像と左側補正画像との差分画像を生成する
場合には次のような処理を行なう。すなわち、図１９
（ａ）及び（ｂ）に示すように、投影画像の各画素の輝
度値Ｉ₁〜Ｉ₇と対応する左側補正画像の各画素の輝度
値Ｉ₁′〜Ｉ ₇′の差分を順次求め、その差分値が所定
値Ｉ₀以上となった画素〔画素Ｉ₅に相当〕について
は、図１９（ｃ）に示すように、画素Ｉ₅′に隣接する
画素Ｉ₄′及びＩ₆′との差分を求める。そして、その
差分の最小値（同図の画素Ｉ₄′との差分値）をその画
素に対する差分値とする。

【００３０】このようにして撮像画像中の高さ「０」の
背景画像を除去し、高さのある画像すなわち物体の画像
のみを抽出する。これに続いて、抽出した物体画像につ
いてのエッジの抽出処理が行われる。次いで、この物体
エッジ抽出処理について説明する。

【００３１】この物体エッジ抽出処理は、左側補正画像
メモリ３２Ｌに格納された画像情報に基づいて行われ
る。すなわち、左側補正画像メモリ３２Ｌに格納されて
いる左側補正画像に関し、そのｍ行ｎ列の画像データの
輝度値Ｉ_m,nを水平方向すなわち図１５におけるＸ′軸
方向に走査し、次式（１３）の演算によって微分画像を
生成する。｜Ｉ_m,n+1−Ｉ_m,n｜≧Ｅ₀ ならばＥ_m,n＝１｜Ｉ_m,n+1−Ｉ_m,n｜＜Ｅ₀ ならばＥ_m,n＝０・・・（13）上記式中、Ｅ₀はしきい値

【００３２】この微分画像は、図２０（ｂ）に示すよう
に、物体や路面に画かれている文字等の縦方向エッジ部
分が「１」に、その他の部分は「０」となった画像とな
る。そして、この微分画像は記憶部３の微分画像メモリ
３４に格納される。このようにして求めた微分画像〔図
２０（ｂ）〕と、前述した路面画像除去処理で生成され
差分画像メモリ３３に保持された差分画像〔図１８
（ｄ）〕と重ね合せてアンドを取ると、図２０（ｃ）で
示す物体のエッジ部分のみが抽出された物体エッジの画
像が生成される。この物体エッジ画像については、エッ
ジ画像メモリ３５に格納される。

【００３３】そしてデータ処理部４は、このエッジ画像
メモリ３５に格納された物体エッジ画像に基づいて物体
を認識するとともに物体エッジと車両との相対位置を演
算する。さらに車両の転回情報から車両の進路を予測す
るとともにこの予測進路に基づいて認識した物体と車両
との衝突を予測し、必要があれば警報などを発して運転
者に注意を促す。

【００３４】

【発明が解決しようとする課題】このような先願装置に
おいては、撮像部１により撮像された映像信号に基づい
て、高さ「０」である背景画像すなわち路面画像を除去
することにより物体のエッジ画像を生成し、生成したエ
ッジ画像に基づいて物体と車両との相対位置などを算出
するように構成したので、無用な演算処理が省け、処理
を高速化できるという利点があり良い方法である。

【００３５】ところで、この先願装置においては、上述
した各種演算を行うためのパラメータとして、右側ＣＣ
Ｄカメラ１１Ｒのレンズ中心と左側ＣＣＤカメラ１１Ｌ
のレンズ中心の配設間隔ｄｘａ、これら各レンズの焦点
距離ｆ、ＣＣＤカメラ１１の設置高さＨ、ＣＣＤカメラ
１１の設置俯角θ_Sなどを用いている。そして、上記Ｃ
ＣＤカメラ１１に関し、右側ＣＣＤカメラ１１Ｒと左側
ＣＣＤカメラ１１Ｌの焦点距離ｆすなわち撮像倍率に差
異があった場合には、それぞれにより撮像された画像情
報における被写体の大きさが相違してしまい、上述した
背景画像の除去を行うことができなかった。この対策と
して、複数のＣＣＤカメラの中から特性の一致するＣＣ
Ｄカメラ１１を選択する方法が行われていたが、この方
法ではＣＣＤカメラ１１を選択する手間と多量のＣＣＤ
カメラを用意する必要があり経済的ではなかった。

【００３６】また、上述した各パラメータ（以下設置パ
ラメータという）がずれた場合には、計算で算出した座
標値と実際の座標値の差となり検出誤差を生じる。そし
て、本来「路面画像」として認識されなければならない
高さ「０」の背景画像が、高さのある物体すなわち「障
害物」として認識されてしまう。従って、この設置パラ
メータを一定な値とするためには、撮像部１の車両１０
０への取り付けを正確に行なう必要があり取り付けに時
間を要していた。また、撮像部１を車両１００の所定位
置に正確に取り付けたとしても時間の経過によりこの取
付位置がずれてしまうので、設置パラメータを一定値に
維持することが困難であった。

【００３７】以上のように、この先願装置においては、
上述した点においてさらなる改良の余地があった。よっ
て本発明は、このような改良点に鑑み、ＣＣＤカメラの
特性の焦点距離のばらつきに起因する背景画像の消去不
良を防止できる車両周辺監視装置を提供することを主た
る課題とし、上記設置パラメータのばらつきによる路面
画像の誤認識を防止し、物体を精度良く抽出できる車両
周辺監視装置を提供することを他の課題とする。

【００３８】

【課題を解決するための手段】上記課題を解決するため
本発明によりなされた車両周辺監視装置を図１の基本構
成図に基づいて説明する。すなわち、本発明の車両周辺
監視装置は、車両の所定位置に配置されるとともに所定
距離離間して設置された右側撮像手段１１Ｒ及び左側撮
像手段１１Ｌを備えた撮像手段１からの画像情報に基づ
いて車両の周辺を監視する車両周辺監視装置において、
前記右側撮像手段１１Ｒからの右側画像情報を保持する
右側画像保持手段３１Ｒと、前記左側撮像手段１１Ｌか
らの左側画像情報を保持する左側画像保持手段３１Ｌと
を有する画像保持手段３１と、前記右側画像情報あるい
は左側画像情報の少なくとも一方の画像情報を拡大縮小
補正することにより、この一方の画像情報における被写
体の大きさと他方の画像情報における被写体の大きさを
一致させるようその画像情報を拡大縮小補正する倍率補
正手段４１ａと、前記倍率補正手段４１ａにより拡大縮
小補正が施された画像情報に基づいて物体の画像情報を
抽出するとともにこの抽出した物体の画像情報を物体情
報として出力する物体抽出手段４１ｂと、前記画像保持
手段３１に保持された画像情報と前記物体情報に基づい
て物体のエッジを検出し、この検出結果を物体エッジ情
報として出力する物体エッジ検出手段４１ｃと、前記物
体情報と前記物体エッジ情報とから車両周辺に存在する
物体を認識することを特徴としている。

【００３９】また、前記倍率補正手段４１ａは、前記右
側撮像手段３１Ｒあるいは左側撮像手段３１Ｌからの画
像情報に基づき倍率変換対象となる画像情報を判定する
対象画像判定手段４１ｅと、前記対象画像判定手段４１
ｅにより倍率変換対象とされた画像情報に対する変換倍
率ｋ₃を取得する補正値取得手段４１ｆとを有すること
を特徴としている。

【００４０】また、前記対象画像判定手段４１ｅは、撮
像倍率の高い画像情報を倍率変換対象として選択し、前
記補正値取得手段４１ｆは倍率変換対象として選択され
た画像情報を縮小変換することを特徴としている。

【００４１】また、前記補正値取得手段４１ｆは、前記
右側画像情報における複数の着目点とこの右側画像情報
における着目点に対応する左側画像情報の複数の着目点
との視差情報に基づいて補正値を決定することを特徴と
している。

【００４２】また、車両の任意の位置に前記撮像手段１
の撮像領域内に測定の基準となる基準画像を投射する基
準画像投射手段７を設け、前記倍率補正手段４１ａは、
前記基準画像を前記右側撮像手段１１Ｒが撮像すること
により取得された右側基準画像と基準画像を前記左側撮
像手段１１Ｌが撮像することにより取得された左側基準
画像に基づいて撮像手段１からの画像情報を拡大縮小補
正することを特徴としている。

【００４３】また、前記右側撮像手段３１Ｒあるいは左
側撮像手段３１Ｌからの画像情報に基づき、前記撮像手
段１の設置状態に起因する視差を補正するための視差補
正情報を出力する視差補正手段４１ｇを設け、前記物体
抽出手段４１ｂは、前記倍率補正手段４１ａにより拡大
縮小補正が施された画像情報と前記視差補正手段４１ｇ
からの視差補正情報に基づいて高さ「０」の背景画像を
除去することを特徴としている。

【００４４】また、前記物体エッジ検出手段４１ｃで検
出された物体エッジを利用し、前記画像保持手段３１に
保持されている画像情報に基づいて物体の位置を算出す
る物体位置算出手段４１ｄと、前記車両と物体との相対
位置を表示する表示手段５とを設け、前記物体位置算出
手段４１ｄから出力された物体の位置情報に基づいて物
体の前記車両と物体との相対位置を運転者に知らせるこ
とを特徴としている。

【００４５】また、前記物体エッジ検出手段４１ｃで検
出された物体エッジを利用し、前記画像保持手段３１に
保持されている画像情報に基づいて物体の位置を算出す
る物体位置算出手段４１ｄと、前記車両の転回情報に基
づいて当該車両の進路を予測する進路予測手段４１ｈ
と、警報音などの警報を発生する警報手段６とを設け、
前記物体位置算出手段４１ｄから出力された物体の位置
情報と前記進路予測手段４１ｈからの予測進路情報に基
づいて車両と物体の衝突を予測するとともに「衝突す
る」と予測された場合に、前記警報手段６あるいは前記
表示手段５の少なくとも一方により警報を発生すること
を特徴としている。

【００４６】

【作用】上記構成において、倍率補正手段４１ａは前記
右側撮像手段１１Ｒ及び左側撮像手段１１Ｌにて撮像さ
れた被写体の大きさを一致させるようその画像情報を拡
大縮小補正し、物体抽出手段４１ｂは前記倍率補正手段
４１ａにより拡大縮小補正が施された画像情報に基づい
て物体の画像情報を抽出する。物体エッジ検出手段４１
ｃは画像保持手段３１に保持された画像情報について物
体のエッジを検出する。そして、物体情報と物体エッジ
情報とから車両周辺に存在する物体を認識する。すなわ
ち、撮像手段１の撮像倍率の差を補正する手段を設けた
ので、撮像手段１の焦点距離の差異による被写体の大き
さの差を同一にすることができるとともに設置状態に基
づく路面画像の誤認識をなくすことができる。これによ
り、物体画像の抽出を正確に行うことができる。

【００４７】対象画像判定手段４１ｅは前記右側撮像手
段３１Ｒあるいは左側撮像手段３１Ｌからの画像情報に
基づき倍率変換対象となる画像情報を判定し、補正値取
得手段４１ｆはこの対象画像判定手段４１ｅにより倍率
変換対象とされた画像情報に対する変換倍率を取得す
る。すなわち、撮像手段１の撮像倍率を補正するにあた
り撮像手段１からの画像情報に基づいて変換倍率を取得
するように構成したので、装置を簡単に構成することが
できる。

【００４８】前記対象画像判定手段４１ｅは撮像倍率の
高い画像情報を倍率変換対象として選択し、前記補正値
取得手段４１ｆは倍率変換対象として選択された画像情
報を縮小変換することにより他方の画像情報の撮像倍率
と同じにする。すなわち、大きく撮像された側の画像情
報を縮小変換するように構成したので、画像の倍率変換
に伴う画像の乱れを少なくすることができる。

【００４９】前記補正値取得手段４１ｆは前記右側画像
情報における複数の着目点とこれに対応する左側画像情
報の複数の着目点との視差情報に基づいて補正値を決定
する。すなわち、測定対象とする座標点間の間隔により
倍率補正を行うように構成したので、複雑な演算処理を
必要とせず処理を高速に行うことができる。

【００５０】基準画像投射手段７は撮像手段１の撮像領
域内に測定の基準となる基準画像を投射し、前記倍率補
正手段４１ａはこの基準画像を前記右側撮像手段１１Ｒ
が撮像することにより取得された右側基準画像と基準画
像を前記左側撮像手段１１Ｌが撮像することにより取得
された左側基準画像に基づいて撮像手段１からの画像情
報を拡大縮小補正する。すなわち、倍率補正用の基準画
像を投射する手段を設けたので、任意の時点で補正動作
を行うことができる。

【００５１】視差補正手段４１ｇは前記右側撮像手段３
１Ｒあるいは左側撮像手段３１Ｌからの画像情報に基づ
いて前記撮像手段１の設置状態に起因する視差を補正す
るための視差補正情報を出力し、前記物体抽出手段４１
ｃは、倍率補正手段４１ａにより拡大縮小補正が施され
た画像情報と視差補正手段４１ｇからの視差補正情報に
基づいて高さ「０」の背景画像を除去する。すなわち、
撮像手段１の設置状態に関する補正情報を算出する手段
を設けたので、設置状態に基づく路面画像の誤認識をな
くすことができ、物体画像の抽出を正確に行うことがで
きる。また、車両と物体との相対位置を精度良く算出す
ることができる。

【００５２】物体位置算出手段４１ｄは物体エッジ検出
手段４１ｃからの物体エッジ情報と画像保持手段３１に
保持された画像情報に基づいて物体と車両との相対位置
を算出する。表示手段５は車両と物体との相対位置情報
に基づいて検出された物体についてその車両との相対位
置を運転者に知らせる。すなわち、検出された物体の車
両との相対位置を算出する手段と、この物体を表示する
手段とを設けたので、検出された物体に関し車両との相
対位置を運転者に知らせることができる。

【００５３】進路予測手段４１ｈは車両の転回情報に基
づいて当該車両の進路を予測し、表示手段５あるいは警
報手段６は、この予測した車両進路と物体とが「衝突す
る」と予測された場合に警報を発生する。従って、物体
との衝突といった事故を未然に防ぐことができる。

【００５４】

【実施例】以下、本発明の車両周辺監視装置を図面とと
もに説明する。なお、本発明による車両周辺監視装置
は、図１３にて説明した先願装置とほぼ同様の構成を有
している。すなわち、図２に示すように、右側ＣＣＤカ
メラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌなどを有する撮
像部１と、ハンドル舵角センサや操舵角センサとして構
成され車両の転回情報を出力する舵角検出部２と、右側
フレームメモリ３１Ｒ、左側フレームメモリ３１Ｌ、右
側補正画像メモリ３２Ｒ、左側補正画像メモリ３２Ｌ、
差分画像メモリ３３、微分画像メモリ３４及びエッジ画
像メモリ３５からなる記憶部３と、動作プログラムに従
って動作するＣＰＵ４１、動作プログラムが格納された
ＲＯＭ４２及び必要な情報を一時格納するＲＡＭ４３か
らなるデータ処理部４と、運転者に対して物体と車両と
の相対位置やメッセージなどを表示する表示部５と、運
転者に対してブザー音や音声ガイダンスを出力する音声
指示部６とから構成され、これに加えて基準画像を路面
に投射する画像投射部７が設けられている。

【００５５】この画像投射部７は、例えば図７（ａ）に
示すように、撮像部１内に組み込まれ、より詳細には右
側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌ間のほ
ぼ中央に配置されている。そして、この画像投射部７
は、図７（ｂ）に示すように、光源としての電球７１
ａ、マスクパターン７１ｂ及びレンズ７１ｃを有し、電
球７１ａからの光をマスクパターン７１ｂにより線状の
光とし、この線状光すなわち基準画像をレンズ７１ｃを
介して路面に投射している。

【００５６】このマスクパターン７１ｂには、複数のス
リット７１１〜７１５がその水平方向（図中マスクパタ
ーン７１ｂの長辺方向）に関して横並びに且つＣＣＤカ
メラ１１のレンズの画角にあわせた異なる傾斜角で形成
されている。すなわち、中央部にあるスリット７１３は
その垂直方向（同短辺方向）に平行に形成され、このス
リット７１３に隣接するスリット７１２及び７１４は上
端側に広がって形成され、これらのスリット７１２及び
７１４の外側に位置するスリット７１１及び７１５はさ
らに上端側が広がるよう傾斜して形成されている。この
ように、各スリット７１１〜７１５をその上端部が末広
がりとなる角度に傾斜して形成することにより、画像投
射部７からの線状光（基準画像）は、遠方に行くに連れ
て外側に広がった光となる。そして、この線状光を撮像
部１により撮像すると、後述するように、これらの各線
状光は互いに平行な光として撮像される。

【００５７】また、この画像投射部７を、図７（ｃ）に
示すように、レーザ光源７２ａ、光ファイバーを複数本
並べて板状にしたいわゆるファイバグレーティング７２
ｂ及びシリンドリカルレンズ７２ｃから構成して、レー
ザ光源７２ａから出射されたレーザ光をファイバグレー
ティング７２ｂにて分岐した後にシリンドリカルレンズ
７２ｃを介して線状の光として、路面に投射する構成と
してもよい。

【００５８】このような画像投射部７は、例えば図８に
示すように、撮像部１による撮像領域１００ａにおい
て、その中央部の手前側から奥側に亙る複数の線状光４
０１〜４０５からなる基準画像４００を投射する。な
お、この画像投射部７に関し、この画像投射部７は単体
構成とてもよく、この場合、画像投射部７を同図に符号
Ａで示すように、撮像部１とは異なる任意の位置に配置
することができる。さらに、この実施例においては、中
央に１本の線状光４０３を配するとともにその両脇に線
状光４０１、４０２、４０４及び４０５をそれぞれ２本
ずつ配しているが、この線状光の本数についてはこれに
限定されるものではなく、２本以上の任意数に設定する
ことができる。この場合、これらの線状光については、
後述する倍率補正処理の都合上、互いに等間隔となるよ
う配置される。

【００５９】そして本発明においては、上記ＲＯＭ４２
に格納された動作プログラムすなわち上記データ処理部
４による処理動作も異なっている。以下、この処理動作
について図３〜図６のフローチャートを参照して説明す
る。この処理動作においては、まず図３のフローチャー
トにおけるステップＳ３１０にて、倍率補正動作が行わ
れる。このステップＳ３１０における倍率補正動作は、
具体的には図６のフローチャートによって行われる。

【００６０】すなわち、最初にステップＳ６１０にて、
右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに
よる基準画像の取り込みが行われる。すなわち、このス
テップＳ６１０では、まず、図８にて説明した画像投射
部７による監視領域１００ａ内における基準画像４００
（線状光４０１〜４０５）の投射が行われる。続いて、
撮像部１の右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメ
ラ１１Ｌにより投射された基準画像４００の撮像が行わ
れる。これにより、それぞれ右側基準画像情報及び左側
基準画像情報としてフレームメモリ３１Ｒ及びフレーム
メモリ３１Ｌに格納される。

【００６１】そして、このフレームメモリ３１Ｒ及び３
１Ｌに格納された画像情報に関し、図１４で説明した歪
曲収差の補正処理が行われることにより図９（ａ）に示
す右側基準画像及び図９（ｂ）に示す左側基準画像が生
成される。これらの基準画像は、右側補正メモリ３２Ｒ
及び左側補正メモリ３２Ｌにそれぞれ格納される。な
お、ステップＳ６１０における基準画像の取り込みに関
し、この実施例では上記画像投射部７により投射された
基準画像を用いた場合について説明したが、これを路面
上に描かれた基準画像を取り込むようにしてもよい。こ
の場合、撮像部１の補正を行う毎に工場などに行く必要
があるが、本実施例のように基準画像投射部７を備える
ことにより、この補正処理を任意の時点で行うことがで
きる。

【００６２】そして、引き続くステップＳ６２０では、
上記ステップＳ６１０で取得した左右基準画像に基づい
て、これらの右側及び左側基準画像における対象点群の
座標値を取得する。詳細には、このステップＳ６２０で
は、図９にて示すように、走査ライン４１ｃと右側基準
画像４０１Ｒ〜４０５Ｒにおける左側エッジとの交点座
標Ｐ_Rc1〜Ｐ_Rc5及び走査ライン４１ｃと左側基準画像
４０１Ｌ〜４０５Ｌにおける左側エッジとの交点座標Ｐ
_Lc1〜Ｐ_Lc5の取得が行われる。そして、各対象点群の
座標値を取得した後にステップＳ６２１に移行する。

【００６３】ステップＳ６２１では、倍率変換対象とす
る画像を判定する。この実施例においては、撮像倍率が
高い方すなわち被写体が大きく撮像されている側の画像
を倍率変換対象画像として選択し、この対象画像を後の
処理で縮小補正する構成としている。これは、画像の解
像度を考慮したためで、大きく撮像されている画像を縮
小補正する方が、小さく撮像されている画像を拡大補正
するよりも高画質が得易いことに基づいている。但し、
このステップＳ６２１において、小さく撮像されている
画像を対象画像として、後の処理でこの対象画像を拡大
補正するように構成しても構わない。

【００６４】この対象画像の判定は、上記ステップＳ６
２０で取得した交点座標に基づいて行われる。例えば、
図９（ａ）の基準画像４０１Ｒの交点座標Ｐ_Rc1と基準
画像４０３Ｒの交点座標Ｐ_Rc3の差分値と、図９（ｂ）
の基準画像４０１Ｌの交点座標Ｐ_Lc1と基準画像４０３
Ｒの交点座標Ｐ_Lc3の差分値とを比較し、差分値の大き
い方すなわち基準光同士の間隔が離れている方〔この例
においては図９（ａ）〕を撮像倍率の高い画像として判
定する。この判定処理に関し、上記例では基準画像４０
１と４０３の間隔で比較したが、これを隣接する基準画
像同士としてもよく、また基準画像４０１と４０５に様
に最も離れている基準画像同士を比較してもよい。そし
てこのステップＳ６２１の判定処理が終了するとステッ
プＳ６３０に移行する。

【００６５】ステップＳ６３０では、対象画像に対する
倍率補正値ｋ₃を定める。このステップＳ６３０におい
ては、初回の補正値決定動作の場合には倍率補正値ｋ₃
を値「１．０００」とし、２回目以降の補正値決定動作
の場合すなわち後述するステップＳ６４０で「Ｎ」と判
定された場合には、この倍率補正値ｋ₃を前回の倍率補
正値より値「０．００１」だけ減算した値とする。例え
ば３回目の補正値決定動作においては、２回目の倍率補
正値「０．９９９」より値「０．００１」だけ減算した
値「０．９９８」が倍率補正値ｋ₃となる。これは、２
つのＣＣＤカメラの焦点距離の差は倍率補正値ｋ₃にし
て１．０００〜０．９８５程度であるので、このよう
な、いわゆる「トライアルアンドエラー」の方法でも処
理速度及び精度の点で充分なものが得られるためであ
る。なお、このステップＳ６３０の処理においては、右
側基準画像と左側基準画像の視差に基づいて倍率補正値
ｋ₃を算出するように構成しても構わない。そしてこの
ステップＳ６３０の補正値決定処理が終了すると、引き
続くステップＳ６３１に移行する。

【００６６】ステップＳ６３１では、上記ステップＳ６
３０にて定められた倍率補正値ｋ₃に基づいて対象画像
の拡大縮小処理（この実施例においては縮小処理）が行
われる。この拡大縮小処理は、図１１（ａ）に示すよう
に、その中心に原点としての光軸（０，０）を設定する
とともにｉ，ｊの座標系として設定された補正前の対象
画像に対し、上記ステップＳ６３０で算出した倍率補正
値ｋ₃を乗算することにより行われる。すなわち、この
ステップＳ６３１では、対象画像に対して次式（１４）
及び式（１５）を実行する。Ｉ_PO＝ｉ_PO×ｋ₃ ・・・（14）Ｊ_PO＝ｊ_PO×ｋ₃ ・・・（15）上記式中、ｉ_PO及びｊ_POは補正前画像の座標値Ｉ_PO及びＪ_POは補正後画像の座標値

【００６７】この処理により、図１１（ｂ）にて示すよ
うに、補正前の画像は補正後の座標系Ｉ，Ｊの画像、す
なわち図中点線で示した原画像枠（３２ａ〜３２ｄ）の
画像が変換画像枠（３２ａ´〜３２ｄ´）の画像に変換
される。上述したように、この実施例においては、撮像
倍率の高い基準画像に対し縮小補正をおこなうので、こ
のステップＳ６３１の処理により、縮小変換された右側
基準画像が生成される。そしてＳ６３２に移行する。

【００６８】ステップＳ６３２では、上記ステップＳ６
３１にて拡大縮小補正された基準画像（対象画像）と他
方の基準画像とにおける、対応する座標点対間の視差値
を取得する。すなわちこのステップＳ６３２では、まず
図１２（ａ）の模式図で示すように縮小変換された右側
基準画像を左側基準画像に重ね合わせ、図１２（ｂ）の
模式図で示すように、原画像枠と変換画像枠のいずれか
小さい方の枠〔この実施例においては変換画像枠（３２
ａ´〜３１ｄ´）〕内の画像を対象として、この枠内の
画像に対して右側ＣＣＤカメラ１１Ｒからの基準画像４
０１Ｒと左側ＣＣＤカメラ１１Ｌからの基準画像４０１
Ｌ、基準画像４０２Ｒと基準画像４０２Ｌ、・・・とい
うように互いに対応する基準画像同士の視差４２１〜４
２５を取得する。そしてステップＳ６４０に移行する。

【００６９】ステップＳ６４０では、上記ステップＳ６
３２で取得した視差４２１〜４２５が一致しているか否
かを判定する。このステップＳ６４０では視差４２１〜
４２５の平均視差を算出し、この視差に対するばらつき
を算出する。そしてこのばらつきが所定範囲内であれば
「一致」すなわち「Ｙ」と判定しステップＳ６５０に移
行する。また視差値のばらつきが所定範囲外であれば
「非一致」すなわち「Ｎ」と判定し、ステップＳ６３０
に移行して再度対象画像の拡大縮小処理を実行する。な
お、この判定処理に関し、予めしきい値を設定してお
き、各視差値の平均値からの偏差がこのしきい値以内で
あれば「一致」、しきい値を越えた場合には「非一致」
と判定するように構成してもよい。

【００７０】そして、ステップＳ６５０では、上記ステ
ップＳ６４０で「一致」と判定された倍率補正値ｋ₃を
データ処理部４のＲＡＭ４３に格納して、一連の処理を
終了し、図３のフローチャートにおけるステップＳ３１
１に移行する。なお、この図５にフローチャートで説明
した倍率補正動作においては、倍率補正対象となった基
準画像と他方の基準画像との周縁部に空白部分、例えば
図１１（ｂ）に示す原画像枠３２ａ〜３２ｄと変換画像
枠３２ａ´〜３２ｄ´の差の部分が生じてしまうが、上
述したように、実際の装置における倍率補正値ｋ₃は
１．０００〜０．９８５程度であり、その補正倍率は微
少であるので、以後の処理においてこの空白部分による
処理の不都合は生じない。

【００７１】そして、ステップＳ３１１では、「０」補
正値取得動作が行われる。このステップＳ３１１におけ
る「０」補正値取得動作は、具体的には図５のフローチ
ャートによって行われる。

【００７２】すなわち、最初にステップＳ５１０にて、
右側及び左側ＣＣＤカメラ１１Ｒ及び１１Ｌからの基準
画像の取り込みが行われる。すなわち、このステップＳ
５１０では、図８にて説明したように、画像投射部７に
よる監視領域１００ａ内における基準画像４００の投射
が行われる。続いて、撮像部１の右側ＣＣＤカメラ１１
Ｒ及び左側ＣＣＤカメラ１１Ｌにより投射された基準画
像４００の撮像が行われる。これにより、それぞれ右側
基準画像情報及び左側基準画像情報としてフレームメモ
リ３１Ｒ及びフレームメモリ３１Ｌに格納される。

【００７３】そして、このフレームメモリ３１Ｒ及び３
１Ｌに格納された画像情報に関し、図１０で歪曲収差の
補正処理を行うことにより、図９（ａ）に示す右側基準
画像及び図９（ｂ）に示す左側基準画像を生成し、さら
に上記図６のフローチャートのステップＳ６２１にて判
定した倍率補正対象画像に対し、同じくステップＳ６５
０にて格納した倍率補正値を乗算することにより、両基
準画像の大きさ（撮像倍率）を等しくする。同じ撮像倍
率とされたこれらの基準画像は、右側補正メモリ３２
Ｒ、左側補正メモリ３２Ｌにそれぞれ格納される。この
ステップＳ５１０が終了するとステップＳ５２０に移行
する。

【００７４】ステップＳ５２０では、上記ステップＳ５
１０で取得した左右基準画像に基づいて、基準画像にお
ける着目点の座標値を左右基準画像のそれぞれについて
取得する。詳細には、図１２（ｂ）における右側基準画
像４０３Ｒの左側エッジと走査ライン４１ｃとの交点座
標をＰ_RO（ｘ_RPO，ｙ_RPO）として取得し、左側基準画
像４０３Ｌの左側エッジと走査ライン４１ｎとの交点座
標をＰ_LO（ｘ_LPO，ｙ _LPO）として取得する。そして、
このような座標取得動作を上端の走査ライン４１ａから
下端の走査ライン４１ｂまで順次行なうことにより一群
の交点座標を取得して、ステップＳ５３０に移行する。

【００７５】ステップＳ５３０では、上記ステップＳ５
２０で取得した交点座標群のそれぞれの交点座標につい
て次式（１６）の演算により、右側ＣＣＤカメラ１１Ｒ
と左側ＣＣＤカメラ１１Ｌにより撮像された画像が有す
る視差（実視差）Ｄ_acを算出し、ステップＳ５４０に移
行する。Ｄ_ac＝ｘ_LPO−ｘ_RPO ・・・（16）

【００７６】ステップＳ５４０では、撮像部１の設置パ
ラメータに基づく理論視差Ｄ_thを算出する。この理論視
差Ｄ_thすなわちｘ_LP′−ｘ_RPは、上式（１２）に基づい
て導かれた次式（１７）の演算により算出することがで
きる。Ｄ_th＝ｘ_LP′−ｘ_RP ＝（ｄｘａ・ｆcos θ_S−ｄｘａ・ｙ_RPsin θ_S）／Ｈ・・・（17）このステップＳ５４０にて理論視差を算出すると、次に
ステップＳ５５０に移行する。

【００７７】ステップＳ５５０では、上記ステップＳ５
３０で算出した実視差Ｄ_acと、上記ステップＳ５４０で
算出した理論視差Ｄ_thとの差分すなわち次式（１８）に
より、「０」補正値ｋ₂を算出する。ｋ₂＝Ｄ_ac−Ｄ_th ・・・（18）そして、この算出した「０」補正値ｋ₂をデータ処理部
４のＲＡＭ４３に格納して一連の「０」補正値取得動作
を終了し、図３のフローチャートのステップＳ３２０に
移行する。

【００７８】ステップＳ３２０では、撮像部１の右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの映
像情報を右側画像情報及び左側画像情報としてそれぞれ
右側フレームメモリ３１Ｒ及び左側フレームメモリ３１
Ｌに格納し、ステップＳ３３０に移行する。なお、この
ステップＳ３２０において取得された画像情報は監視領
域１００ａ内における画像情報であり、この監視領域１
００ａ内の障害物などを取得するためのものである。従
って、上記ステップＳ３２０（図５のフローチャート）
で取得した基準画像とは異なる画像である。そして、ス
テップＳ３３０では、補正画像の生成が行われる。すな
わち、右側フレームメモリ３１Ｒ及び左側フレームメモ
リ３１Ｌに保持された画像情報を読み出すとともにこの
読み出した画像情報に対して図１０で説明した歪曲収差
補正処理を行い、そして上記図６のフローチャートのス
テップＳ６２１にて判定した倍率補正対象画像に対し、
同じくステップＳ６５０にて格納した倍率補正値を乗算
することにより、画像情報に対する撮像倍率補正処理を
行う。そして、このようにして補正処理を施した補正画
像情報をそれぞれ右側補正画像メモリ３２Ｒ及び左側補
正画像メモリ３２Ｌに格納し、ステップＳ３４０に移行
する。

【００７９】ステップＳ３４０では、左側補正画像メモ
リ３２Ｌに保持された左側補正画像に対し、上式（１
３）の演算処理を行うことによりこの左側補正画像に対
する微分画像〔図２０（ｂ）〕を生成するとともにこの
生成した微分画像を微分画像メモリ３４に格納する。そ
してステップＳ３５０に移行する。ステップＳ３５０で
は、図１８で説明した投影画像作成処理、すなわち右側
補正画像メモリ３２Ｒに格納されている右側補正画像の
高さを全て「０」と仮定するとともにこの右側補正画像
に対して座標変換処理を施して左側ＣＣＤカメラ１１Ｌ
で撮像した投影画像〔図１８（ｂ）〕を作成する。

【００８０】このステップＳ３５０においては、図５の
フローチャートで取得した「０」補正値ｋ₂を用いるこ
とにより、撮像部１の設置パラメータのばらつきを補正
した投影画像を作成する。すなわち、このステップＳ３
５０においては、次式（１９）及び式（２０）を実行し
て投影画像を作成する。ｙ_LP′＝ｙ_RP ・・・（19）ｘ_LP′＝（ｄｘａ・ｆcos θ_S−ｄｘａ・ｙ_RPsin θ_S）／Ｈ＋ｘ_RP＋ｋ₂ ・・・（20）そして、このステップＳ３５０が終了するとステップＳ
３６０に移行する。ステップＳ３６０では、ステップＳ
３５０で作成した投影画像を左側補正画像に重畳〔図１
８（ｃ）〕するとともに両者の差分をとることにより差
分画像〔図１８（ｄ）〕を作成し、この作成した差分画
像を差分画像メモリ３３に格納する。そしてステップＳ
３７０に移行する。

【００８１】ステップＳ３７０では、物体エッジ画像作
成処理が行われる。すなわち、上記ステップＳ３４０で
微分画像メモリ３４に保持された微分画像と上記ステッ
プＳ３５０で差分画像メモリ３３に保持された差分画像
とを重ね合せてアンドを取ることにより、物体エッジ画
像〔図２０（ｃ）〕を生成する。そして生成した物体エ
ッジ画像をエッジ画像メモリ３５に格納してステップＳ
３８０に移行する。ステップＳ３８０では、上記ステッ
プＳ３７０で作成した物体エッジ画像データのエッジ部
分について、測定すべき物体の左右画像の対応点を右側
補正画像メモリ３２Ｒおよび左側補正画像メモリ３２Ｌ
より抽出し、ステップＳ３９０に移行する。

【００８２】ステップＳ３９０では、上記ステップＳ３
７０にて抽出した物体エッジの各座標点について図１６
及び図１７にて説明した３次元位置座標算出動作を行
い、このエッジ画像の３次元座標値を算出する。そし
て、このステップＳ３９０における座標位置算出動作で
は、図５のフローチャートで説明した「０」補正値ｋ₂
を利用して座標算出を行う。すなわち、このステップＳ
３９０では、次式（２１）〜式（２３）の演算を実行す
ることにより座標値Ｚ_P′、Ｘ_P′及びＹ_P′を算出
し、さらにこの算出した座標値を用いて上式（７）〜式
（９）の演算を実行して座標値Ｚ_P、Ｘ_P及びＹ_Pすな
わち監視領域１００ａ内の障害物の位置情報を取得す
る。Ｚ_P′＝ｄｘａ・ｆ／（ｘ_LP−ｘ_RP＋ｋ₂）・・・（21）Ｘ_P′＝ｄｘａ・ｘ_LP／（ｘ_LP−ｘ_RP＋ｋ₂）・・・（22）Ｙ_P′＝ｄｘａ・ｙ_LP／（ｘ_LP−ｘ_RP＋ｋ₂）・・・（23）そして、このステップＳ３９０が終了すると、図４のフ
ローチャートに示すステップＳ４１０に移行する。

【００８３】ステップＳ４１０では、データ処理部４
は、舵角検出部２からの転回情報、例えばハンドルの舵
角情報を読み込む。そしてステップＳ４２０に移行す
る。ステップＳ４２０では、上記ステップＳ４１０にて
読み込んだ転回情報に基づいて車両の進路を予測し、こ
の予測進路に対し車両の形状情報を加味して車両の予測
軌跡を算出する。そして算出した予測軌跡をＲＡＭ４３
に格納し、ステップＳ４３０に移行する。

【００８４】ステップＳ４３０では、前記ステップＳ３
９０にて取得した障害物情報に基づき、監視領域１００
ａ内に障害物が存在するか否かを判定する。そしてこの
ステップ４３０で「存在する」すなわち「有」と判定し
た場合には引き続くステップＳ４４０に移行し、一方
「存在しない」すなわち「無」と判定された場合には図
３のフローチャートのステップＳ３００に移行する。

【００８５】ステップＳ４４０では、上記ステップＳ４
２０にて算出した予測軌跡と、上記ステップＳ４３０に
て算出した障害物位置情報に基づいて、障害物のエッジ
間領域と車両とが衝突する可能性があるか否かを判定す
る。そして「衝突の可能性有り」と判定された場合には
ステップＳ４４１に移行し、「衝突の可能性無し」と判
定された場合にはステップＳ４４２に移行する。

【００８６】そしてステップＳ４４１では、音声指示部
６により運転者に対してブザー音あるいは音声ガイダン
スの警報を発するとともに、表示部５により車両と障害
物との衝突予測位置及びメッセージを表示する。また、
ステップＳ４４２では、表示部５により障害物と車両と
の相対位置を表示する。そして、これらのステップＳ４
４１及びステップＳ４４２にて一連の処理を終了して、
図３のフローチャートのステップＳ３００に移行する。
ステップＳ３００では、次の処理動作における補正値す
なわち倍率補正値ｋ₃及び「０」補正値ｋ₂を取得する
か否かを判断し、ここで「取得する」すなわち「Ｙ」と
判定した場合にはステップ３１０に移行して倍率補正値
ｋ₃を更新し、続いてステップＳ３１１に移行して
「０」補正値ｋ₂を更新する。また「取得しない」すな
わち「Ｎ」と判定した場合にはステップＳ３２０に移行
して再度一連の処理を行う。この場合の倍率補正値ｋ₃
及び「０」補正値ｋ₂は、前回までの倍率補正値ｋ₃及
び「０」補正値ｋ₂を使用する。

【００８７】以上の説明から明らかなように、本発明の
基本構成と実施例とは次の対応関係を有している。すな
わち、撮像手段１は実施例における撮像部１に、右側撮
像手段１１Ｒ及び左側撮像手段１１Ｌはそれぞれ右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌに、画像
保持手段３１はフレームメモリ３１Ｒ及び３１Ｌに、倍
率補正手段４１ａは図６のフローチャートにおけるステ
ップＳ６１０〜Ｓ６５０に、物体抽出手段４１ｂは図３
のフローチャートにおけるステップＳ３４０〜Ｓ３６０
に、物体エッジ検出手段４１ｃは同じくステップＳ３７
０に、物体位置算出手段４１ｄは同じくステップＳ３９
０に対応している。

【００８８】対象画像判定手段４１ｅは図６のフローチ
ャートにおけるステップＳ６２０〜Ｓ６２１に、補正値
取得手段４１ｆは図６のフローチャートにおけるステッ
プＳ６３０〜Ｓ６５０に、視差補正手段４１ｇは図５の
フローチャートにおけるステップＳ５１０〜Ｓ５５０
に、進路予測手段４１ｈは図４のフローチャートにおけ
るＳ４１０〜Ｓ４２０に、表示手段５は表示部５に、警
報手段６は音声指示部６に基準画像投射手段７は画像投
射部７に対応している。

【００８９】

【発明の効果】以上説明したように、本発明の車両周辺
監視装置によれば、撮像手段１の撮像倍率の差を補正す
る手段を設けたので、撮像手段１の焦点距離の差異によ
る被写体の大きさの差を同一にすることができるととも
に設置状態に基づく路面画像の誤認識をなくすことがで
きる。これにより、物体画像の抽出を正確に行うことが
できる。

【００９０】また、撮像手段１の撮像倍率を補正するに
あたり、撮像手段１からの画像情報に基づいて変換倍率
を取得するように構成したので、装置を簡単に構成する
ことができる。

【００９１】また、撮像手段１により、大きく撮像され
た側の画像情報を縮小変換するように構成したので、画
像の倍率変換に伴う画像の乱れを少なくすることができ
る。

【００９２】また、測定対象とする座標点間の間隔によ
り倍率補正を行うように構成したので、複雑な演算処理
を必要とせず処理を高速に行うことができる。

【００９３】また、倍率補正用の基準画像を投射する手
段を設けたので、任意の時点で補正動作を行うことがで
きる。

【００９４】また、撮像手段１の設置状態に関する補正
情報を算出する手段を設けたので、設置状態に基づく路
面画像の誤認識をなくすことができ、物体画像の抽出を
正確に行うことができる。また、車両と物体との相対位
置を精度良く算出することができる。

【００９５】また、検出された物体の車両との相対位置
を算出する手段と、この物体を表示する手段とを設けた
ので、検出された物体に関し車両との相対位置を運転者
に知らせることができる。

【００９６】また、車両の転回情報に基づいて当該車両
の進路を予測する手段と、この予測した車両進路と物体
とが「衝突する」と予測された場合に警報を発生する手
段とを設けたので、物体との衝突といった事故を未然に
防ぐことができる。

【図面の簡単な説明】

【図１】本発明の基本構成図である。

【図２】本発明の実施例の構成図である。

【図３】同実施例の動作フローチャートである。

【図４】同実施例の動作フローチャートである。

【図５】同実施例の動作フローチャートである。

【図６】同実施例の動作フローチャートである。

【図７】画像投射部７を説明する図である。

【図８】基準画像４００を説明する図である。

【図９】倍率補正動作を説明する図である。

【図１０】倍率補正動作を説明する図である。

【図１１】倍率補正動作を説明する図である。

【図１２】倍率補正動作及び「０」補正値取得動作を説
明する図である。

【図１３】先願装置の構成図である。

【図１４】実施例及び先願装置におけるレンズ収差補正
の説明図である。

【図１５】同じく撮像部の取付態様の説明図である。

【図１６】同じくカメラ俯角補正の説明図である。

【図１７】同じく３次元位置測定の説明図である。

【図１８】同じく路面画像除去の説明図である。

【図１９】同じく差分画像作成の説明図である。

【図２０】同じく物体エッジ検出の説明図である。

【符号の説明】

１撮像部１１Ｒ，１１ＬＣＣＤカメラ２舵角検出部３記憶部３１Ｒ，３１Ｌフレームメモリ３５エッジ画像メモリ４データ処理部４１ＣＰＵ４２ＲＯＭ４３ＲＡＭ５表示部６音声指示部７画像投射部１００車両２００障害物３００白線（路面画像）４００基準画像

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年８月２２日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】変更

【補正内容】

【００２８】そして、このようにして作成した投影画像
を左側補正画像に重畳すると図１８（ｃ）のようにな
る。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画
像を投影した場合、路面上に画かれている白線等の模様
は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝
度共に一致し、物体が路面より高くなるに従って差が大
きくなる。従って、左画像データと投影画像データの差
分をとることにより、高さのある物体を構成する画素以
外の路面を構成する画素の輝度値は値「０」または値
「０」に近い値となる。そして所定しきい値以下を値
「０」とすれば、全て値「０」となる。このようにし
て、左画像データと投影画像データの差分をとることに
より、その差分画像は図１８（ｄ）に示すように、路面
画像（高さ「０」の背景画像）が除去され、高さのある
部分のみが値「０」以外の値として取り出される。そし
て、この差分画像については記憶部３の差分画像メモリ
３３に格納される。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正内容】

【００３１】この物体エッジ抽出処理は、左側補正画像
メモリ３２Ｌに格納された画像情報に基づいて行われ
る。すなわち、左側補正画像メモリ３２Ｌに格納されて
いる左側補正画像に関し、そのｍ行ｎ列の画像データの
輝度値Ｉ_ｍ，ｎを水平方向すなわち図１６におけるＸ′
軸方向に走査し、次式（１３）の演算によって微分画像
を生成する。｜Ｉ_{ｍ，ｎ＋１}−Ｉ_ｍ，ｎ｜≧Ｅ_０ならばＥ_ｍ，ｎ＝１｜Ｉ_{ｍ，ｎ＋１}−Ｉ_ｍ，ｎ｜＜Ｅ_０ならばＥ_ｍ，ｎ＝０・・・（１３）上記式中、Ｅ_０はしきい値

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正内容】

【００６４】この対象画像の判定は、上記ステップＳ６
２０で取得した交点座標に基づいて行われる。例えば、
図９（ａ）の基準画像４０１Ｒの交点座標Ｐ_ＲＣ１と基
準画像４０３Ｒの交点座標Ｐ_ＲＣ３の差分値と、図９
（ｂ）の基準画像４０１Ｌの交点座標Ｐ_ＬＣ１と基準画
像４０３Ｒの交点座標Ｐ_ＬＣ３の差分値とを比較し、差
分値の大きい方すなわち基準光同士の間隔が離れている
方〔この例においては図９（ａ）〕を撮像倍率の高い画
像として判定する。この判定処理に関し、上記例では基
準画像４０１と４０３の間隔で比較したが、これを隣接
する基準画像同士としてもよく、また基準画像４０１と
４０５の様に最も離れている基準画像同士を比較しても
よい。そしてこのステップＳ６２１の判定処理が終了す
るとステップＳ６３０に移行する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００７３

【補正方法】変更

【補正内容】

【００７３】そして、このフレームメモリ３１Ｒ及び３
１Ｌに格納された画像情報に関し、図１４で説明した歪
曲収差の補正処理を行うことにより、図９（ａ）に示す
右側基準画像及び図９（ｂ）に示す左側基準画像を生成
し、さらに上記図６のフローチャートのステップＳ６２
１にて判定した倍率補正対象画像に対し、同じくステッ
プＳ６５０にて格納した倍率補正値を乗算することによ
り、両基準画像の大きさ（撮像倍率）を等しくする。同
じ撮像倍率とされたこれらの基準画像は、右側補正メモ
リ３２Ｒ、左側補正メモリ３２Ｌにそれぞれ格納され
る。このステップＳ５１０が終了するとステップＳ５２
０に移行する。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００７４

【補正方法】変更

【補正内容】

【００７４】ステップＳ５２０では、上記ステップＳ５
１０で取得した左右基準画像に基づいて、基準画像にお
ける着目点の座標値を左右基準画像のそれぞれについて
取得する。詳細には、図１２（ｂ）における右側基準画
像４０３Ｒの左側エッジと走査ライン４１ｎとの交点座
標をＰ_ＲＯ（ｘ_ＲＰＯ，ｙ_ＲＰＯ）として取得し、左側
基準画像４０３Ｌの左側エッジと走査ライン４１ｎとの
交点座標をＰ_ＬＯ（ｘ_ＬＰＯ，ｙ_ＬＰＯ）として取得す
る。そして、このような座標取得動作を上端の走査ライ
ン４１ａから下端の走査ライン４１ｂまで順次行なうこ
とにより一群の交点座標を取得して、ステップＳ５３０
に移行する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００７８

【補正方法】変更

【補正内容】

【００７８】ステップＳ３２０では、撮像部１の右側Ｃ
ＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの映
像情報を右側画像情報及び左側画像情報としてそれぞれ
右側フレームメモリ３１Ｒ及び左側フレームメモリ３１
Ｌに格納し、ステップＳ３３０に移行する。なお、この
ステップＳ３２０において取得された画像情報は監視領
域１００ａ内における画像情報であり、この監視領域１
００ａ内の障害物などを取得するためのものである。従
って、上記ステップＳ３２０（図５のフローチャート）
で取得した基準画像とは異なる画像である。そして、ス
テップＳ３３０では、補正画像の生成が行われる。すな
わち、右側フレームメモリ３１Ｒ及び左側フレームメモ
リ３１Ｌに保持された画像情報を読み出すとともにこの
読み出した画像情報に対して図１４で説明した歪曲収差
補正処理を行い、そして上記図６のフローチャートのス
テップＳ６２１にて判定した倍率補正対象画像に対し、
同じくステップＳ６５０にて格納した倍率補正値を乗算
することにより、画像情報に対する撮像倍率補正処理を
行う。そして、このようにして補正処理を施した補正画
像情報をそれぞれ右側補正画像メモリ３２Ｒ及び左側補
正画像メモリ３２Ｌに格納し、ステップＳ３４０に移行
する。タのエッジ部分について、測定すべき物体の左右
画像の対応点を右側補正画像メモリ３２Ｒおよび左側補
正画像メモリ３２Ｌより抽出し、ステップＳ３９０に移
行する。

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 7/00 Ｇ０８Ｇ 1/16 ＣＧ０８Ｂ 21/00 Ｈ０４Ｎ 5/225 ＣＧ０８Ｇ 1/16 Ｇ０６Ｆ 15/62 ３８０Ｈ０４Ｎ 5/225 ４１５ (72)発明者石川直人静岡県裾野市御宿1500 矢崎総業株式会社内

Claims

【特許請求の範囲】

【請求項１】車両の所定位置に配置されるとともに所
定距離離間して設置された右側撮像手段及び左側撮像手
段を備えた撮像手段からの画像情報に基づいて車両の周
辺を監視する車両周辺監視装置において、前記右側撮像手段からの右側画像情報を保持する右側画
像保持手段と、前記左側撮像手段からの左側画像情報を
保持する左側画像保持手段とを有する画像保持手段と、前記右側画像情報あるいは左側画像情報の少なくとも一
方の画像情報を拡大縮小補正することにより、この一方
の画像情報における被写体の大きさと他方の画像情報に
おける被写体の大きさを一致させるようその画像情報を
拡大縮小補正する倍率補正手段と、前記倍率補正手段により拡大縮小補正が施された画像情
報に基づいて物体の画像情報を抽出するとともにこの抽
出した物体の画像情報を物体情報として出力する物体抽
出手段と、前記画像保持手段に保持された画像情報と前記物体情報
に基づいて物体のエッジを検出し、この検出結果を物体
エッジ情報として出力する物体エッジ検出手段と、前記物体情報と前記物体エッジ情報とから車両周辺に存
在する物体を認識することを特徴とする車両周辺監視装
置。
【請求項２】前記倍率補正手段は、前記右側撮像手段
あるいは左側撮像手段からの画像情報に基づき倍率変換
対象となる画像情報を判定する対象画像判定手段と、前
記対象画像判定手段により倍率変換対象とされた画像情
報に対する変換倍率を取得する補正値取得手段とを有す
ることを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】前記対象画像判定手段は、撮像倍率の高
い画像情報を倍率変換対象として選択し、前記補正値取
得手段は倍率変換対象として選択された画像情報を縮小
変換することを特徴とする請求項２記載の車両周辺監視
装置。
【請求項４】前記補正値取得手段は、前記右側画像情
報における複数の着目点とこの右側画像情報における着
目点に対応する左側画像情報の複数の着目点との視差情
報に基づいて補正値を決定することを特徴とする請求項
２又は３記載の車両周辺監視装置。
【請求項５】車両の任意の位置に前記撮像手段の撮像
領域内に測定の基準となる基準画像を投射する基準画像
投射手段を設け、前記倍率補正手段は、前記基準画像を前記右側撮像手段
が撮像することにより取得された右側基準画像と基準画
像を前記左側撮像手段が撮像することにより取得された
左側基準画像に基づいて撮像手段からの画像情報を拡大
縮小補正することを特徴とする請求項１、２、３又は４
記載の車両周辺監視装置。
【請求項６】前記右側撮像手段あるいは左側撮像手段
からの画像情報に基づき、前記撮像手段の設置状態に起
因する視差を補正するための視差補正情報を出力する視
差補正手段を設け、前記物体抽出手段は、前記倍率補正手段により拡大縮小
補正が施された画像情報と前記視差補正手段からの視差
補正情報に基づいて高さ「０」の背景画像を除去するこ
とを特徴とする請求項１、２、３、４又は５記載の車両
周辺監視装置。
【請求項７】前記物体エッジ検出手段で検出された物
体エッジを利用し、前記画像保持手段に保持されている
画像情報に基づいて物体の位置を算出する物体位置算出
手段と、前記車両と物体との相対位置を表示する表示手
段とを設け、前記物体位置算出手段から出力された物体の位置情報に
基づいて物体の前記車両と物体との相対位置を運転者に
知らせることを特徴とする請求項１、２、３、４、５又
は６記載の車両周辺監視装置。
【請求項８】前記物体エッジ検出手段で検出された物
体エッジを利用し、前記画像保持手段に保持されている
画像情報に基づいて物体の位置を算出する物体位置算出
手段と、前記車両の転回情報に基づいて当該車両の進路
を予測する進路予測手段と、警報音などの警報を発生す
る警報手段とを設け、前記物体位置算出手段から出力された物体の位置情報と
前記進路予測手段からの予測進路情報に基づいて車両と
物体の衝突を予測するとともに「衝突する」と予測され
た場合に、前記警報手段あるいは前記表示手段の少なく
とも一方により警報を発生することを特徴とする請求項
１、２、３、４、５、６又は７記載の車両周辺監視装
置。