JPH04132905A - 自動車用周辺監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、自動車の周辺の監視を行う自動車用周辺監
視装置に関する。

〔従来の技術〕

従来、自動車用周辺監視装置のひとつに、いわゆるバッ
クソナーかあり、これは第６図に示すように、自動車１
の後部バンパーに超音波センサを設け、このセンサから
一定時間ごとに超音波を送信し、送信後にセンサが直ち
に受信状態となり、センサにより後方の物体からの反射
波を受信することによって、物体の存在を検出するもの
である。

ところが、バックソナーの場合、第６図に示すように後
方の物体である壁２が車体に対して正対せずに傾いてい
ると、壁２の存在は検出できても傾きまで検出すること
ができず、周辺監視機能として十分ではない。

そこで、第７図に示すように、例えば自動車１の前部に
、前方に投光する３個の光源３を設けるとともに、テレ
ビジョンカメラ４を設け、各光源３によって異なる方向
から物体５に光を照射し、複数の画像の濃度情報を得、
これから物体面の傾きを求める、いわゆる照度差ステレ
オ法を利用した周辺監視装置が考えられている。

第８図はその制御系のブロック構成図を示し、同図にお
いて、６はＣＰＵ、７はライトコントローラ、８はカメ
ラコントローラ、９はフレームメモリであり、ライトコ
ントローラ７により各光源３が順次に切換点灯され、各
光源３それぞれの点灯に同期して、カメラコントローラ
８によりカメラ４によるフレーム画像が得られ、各光源
３それぞれが点灯している状態におけるフレーム画像が
デジタルデータとしてフレームメモリ９に記憶保持され
、フレームメモリ９に記憶された撮像データがＣＰＵ６
によって処理され、照度差ステレオ法による物体５の傾
きが導出される。

即ち、第９図に示すように、物体面をＣ，カメラ４の撮
像画面をＷとし、図示のようにＺ軸を共通にする座標系
を想定し、Ｓ、ｓ’＋　　ｖ＋　　”をそれぞれ光源方
向の単位ベクトル、正反射方向の単位ベクトル、観測方
向の単位ベクトル、対象物体面の法線単位ベクトルとし
て、物体面Ｃの面素の傾きは、Ｘ軸上の傾きｐ及びＹ軸
上の傾きｑによって表わされ、ここで、ｐ、ｑは、 ｐ−θＺ／θＸ　　　　　　　　　　　・・・（１）ｑ
−ａＺ／ａＹ　　　　　　　　　　　　・・・（２）で
あり、勾配空間を構成する。

そして、反射率のわかっている物体面Ｃに既知の方向の
各光源３から光をそれぞれ照射すると、各光源に対する
物体面Ｃの反射率はそれぞれｐ。

ｑをパラメータとして表わすことかでき、第１゜第２．
第３の光源それぞれに対する反射率をＲ１（ｐ、　ｑ）
、　Ｒ（ｐ、　ｑ）、　Ｒ３（ｐ、　ｑ）とすると、こ
れらはそれぞれ撮像画面Ｗ上のある画素Ｐ’　　（ｘｐ
、ｙｐ）の濃度値として表わすことができる。

例えば、第１の光源の投光時における物体面Ｃ上の面素
Ｐ（Ｘ　　、Ｙ、、Ｚ　　）に対応する撮像ｐ 画面Ｗ上の画素Ｐ’　　（ｘｐ、ｙｐ）の濃度値が１１
　（ｘｐ、ｙｐ）であれば、反射率Ｒ１（ｐ。

ｑ）は Ｒ（ｐ、ｑ）−１，（ｘｐ、ｙｐ）　　・・・（３）■ と表わされるため、画像処理によって１１　（ｘｐ。

ｙｐ）を求めることによって、（３）式より反射率Ｒ１
（ｐ、ｑ）を導出することができる。

以下、第２．第３の光源についても同様であり、濃度値
Ｉ２　（ｘｐ’″、Ｙｐ）、Ｉ３　　（Ｘｐ、ｙｌ））
をそれぞれ求めることによって、反射率Ｒ２（ｐ。

ｑ）　、Ｒ３（ｐ、ｑ）を導出することができる。

さらに、導出した反射率Ｒ（ｐ、ｑ）、Ｒ２（ｐ、ｑ）
、Ｒ３（ｐ、ｑ）からいわゆる反射率マツプが得られ、
（３）式等で表わされるこれらの反射率曲線の交点が画
素Ｐ’　　（ｘｐ、ｙｐ）の傾き、即ち物体面Ｃの面素
Ｐ（Ｘ　　、Ｙ　　、Ｚ　　）ｐ　　　　　ｐ　　　　
　ｐ の傾きとなる。

従って、各光源３それぞれが点灯している状態における
フレーム画像を処理し、各画素の濃度値を算出すること
によって、物体５の各面素の傾きが得られ、物体５の傾
きを導出することができる。

〔発明が解決しようとする課題〕

しかし、前述した照度差ステレオ法は、本来物体の表面
性状が一様であって反射特性が均一で、かつ反射特性が
既知でないと使用できず、実際に自動車１の周辺の物体
５の反射特性が均一であることはほとんどないため、照
度差ステレオ法によって物体５の傾きを求めることはで
きず、自動車用周辺監視装置として適さないという問題
がある。

そこでこの発明は、上記のような問題を解消するために
なされたもので、物体の反射特性が不均一で、かつ未知
であっても、自動車周辺の物体表面の傾きを求められる
ようにすることを目的とする。

〔課題を解決するための手段〕

この発明に係る自動車用周辺監視装置は、自動車に設け
られ周辺の物体に投光する少なくとも一部又は全部が標
準装備されたランプからなる３個の光源と、前記自動車
に設けられ前記物体からの反射光を受光して前記物体の
画像を撮像する撮像手段と、前記各光源にそれぞれ装着
された第１の偏光フィルタと、前記撮像手段に装着され
前記各第１の偏光フィルタの偏光方向に直交する偏光方
向を有するｊ１ｉ１２の偏光フィルタと、前記物体の反
射光の濃度から前記物体の表面の傾きを演算する演算手
段とを備えたことを特徴としている。

〔作用〕

この発明においては、各光源に第１の偏光フィルタを装
着し、撮像手段に第１の偏光フィルタの偏光方向に直交
する偏光方向を有する第２の偏光フィルタを装着したた
め、物体の反射光を撮像手段により受光したときの物体
の反射特性がほぼ完全拡散特性となり、物体の反射特性
が不均一で、かつ未知であっても、これを反射特性が均
一でかつ既知なものとして扱え、照度差ステレオ法の適
用による物体表面の傾きの導出が可能となる。

〔実施例〕

第１図はこの発明の自動車用周辺監視装置の一実施例の
斜視図である。

同図に示すように、自動車１に標準装備されている２個
のストップランプｌｌａ、ｌｌｂ及び１個のハイマウン
トストップランプ１１ｃが光源として利用され、撮像手
段としてテレビジョンカメラ（以下ＴＶ左カメラいう）
１２が別途膜けられ、レーザ及び受光センサ等からなる
測距手段１３が設けられている。

そして、第２図に示すように、光源としての各ランプｌ
ｌａ〜１１ｃの前面には同一の偏光方向を有する第１の
偏光フィルタ１４がそれぞれ装着され、ＴＶ右カメラ２
の前面には第１の偏光フィルタ１４の偏光方向と直交す
る偏光方向を有する第２の偏光フィルタ１５が設けられ
ている。

さらに、図示はされていないが、第８図に示す構成と同
様の制御系によってＴＶ右カメラ２による画像の処理が
行われ、即ちコントローラによって光源としての各ラン
プｌｌａ〜ｌｌｃが順次ニ切換点灯され、ＴＶ右カメラ
２により、各ランプ１１ａ〜１１ｃそれぞれが点灯して
いる状態のフレーム画像が得られ、各フレーム画像のデ
ジタルデータがフレームメモリに記憶保持され、演算手
段としてのＣＰＵによってフレームメモリの記憶データ
が処理される。

ところで、光源としての各ランプｌｌａ〜１１Ｃに装着
した第１の偏光フィルタ１４と、ＴＶ右カメラ２に装着
した第２の偏光フィルタ１５の偏光方向が直交するため
、監視対象である物体の反射光をＴＶ右カメラ２て受光
したときの物体の反射特性は、鏡面反射特性とならずに
、はぼ完全拡散特性となるため、物体の反射特性が不均
一であっても、これを完全拡散特性を有する反射特性の
均一なものとして扱うことができ、前述した照度差ステ
レオ法の適用が可能となる。

第３図はこれを実験的に検証した反射特性を示し、入射
角θを変えたときの反射光の濃度値Ｉの変化を表わして
おり、同図中のＡが光源とカメラの両偏光フィルタの偏
光方向が平行な場合、Ｂが直交する場合であり、破線は
完全拡散の場合の特性曲線であり、偏光方向が直交する
場合にほぼ完全拡散特性に等しい反射特性となっている
ことがわかる。

従って、フレームメモリに記憶された画像データを処理
することによって、反射特性が不均一な物体であっても
、反射特性の均一な物体に、異なる方向から光を照射し
たときと実質的に等価な複数の画像の濃度情報が得られ
、照度差ステレオ法によって物体の表面の傾きを求める
ことができる。

即ち、第９図に示す物体面Ｃを完全拡散面とすると、面
素の法線単位ベクトルｎを面素のＸ軸。

・・・（４） となり、光源方向の単位ベクトルＳは既知てあり、ｓ　
−（ｓｉｎ　ａｃｏｓβ、　ｓｉｎ　ａｓｉｎβ、　ｃ
ｏｓ　ａ）・・・（５） と表わされる。ここで、第９図に示すように、ａは光源
方向の天頂角、βは方位角である。

そして、物体面Ｃが完全拡散面であるがら、所定の面素
の濃度値■は、 １−ｋｃｏｓθ　　　　　　　　　　　・・・（６）と
表わされ、ここてｋは面素の反射係数、θは入射角であ
り、この（６）式より、 ■−φｋ　　（ｎ、　　ｓ）　−ｋ　（ｎ−ｓ）　　　
・＝（７）と表わされ、ここでφには関数を示しており
、（４）式よりｊ　　（−１，２，３）方向の照明にょ
る撮像画面上での濃度値Ｉｊは、 １、＝ｋ（ｎ−ｓ、）　　　　　　　　　・（８）ｊ　
　　　　　　　　　　　　Ｊ となる。

さらに、（８）式を（４）、（５）式に代入することに
より、 ・・・（９） となり、完全拡散面ゆえに光源位置を変えても反射係数
には一定であることから、（９）式のｊ−１２，３の各
式を連立させると、 ■１−φｋ　　（ｋ、ｐ、　　い　ｓｔ）　　　　　・
・・（１０）Ｉ２−φｋ　　（ｋ、　ｐ、　ｑ、　　Ｓ
２）　　　　・・・（１１）■３−φｋ　　（ｋ、　　
ｐｌＱ、Ｓ３）　　　　・・・（１２）となり、ｋが定
数でＳ　−５３が既知だから、１　−Ｉ３は各々ｐ、ｑ
の関数となり、この連立方程式よりｐ、ｑを求めると、 ｐ”　（Ｃ１ｂ　２　　　ｂ　ｔ　Ｃ２）／（ａ　　ｂ
　　−ｂ１ａ２） ＝　（ｃ　　ｂ　　−ｂｌ　Ｃ３） ／　（ａ　　ｂ　　　ｂ　２　ａ　３）　・・・（１３
）ｑ　−（ｃ　　ａ　　　ａ　１ｃ　１）／（ｂｌ　ａ
ｌ −（Ｃ２ａａ　　　８２　Ｃ３） ／（ｂｌ　ａａ ａ、ｂｌ） ａ　２　ｂ　３）　・−（１’） となる。但し、 ａｌ　ｂｌ−ｂｌ　ａ２≠Ｏ ａｌ　ｂ３−ｂｌ　β３７０ ｂｌ　ａｌ−ａｌ　ｂ２≠Ｏ ｂｌ　ａａ−ａ２ｂ３″＃０ １　５ｉｎａ　　ｃｏｓ　　β、、−１．．　＋ｕ　　
ａ、　ｃｏｓ　　β１Ｉ　　　　　ｓｉｏ　　　α　　
　ｃｏｓ　　　β　　　−１３ｓｉｎ　　　ａ　　２　
ｓｉｎ　　　β　２Ｉ　　ｓｉｎαｃｏ＋　　β　−Ｉ
　　ｓｉｎ　　ａ３ｃｏｓ　　β３ｂｌ　″ Ｉ　　ｓｔｎαｓｉｎ　　β２−　ｌ２ｇ１ｎ　　ａ、
　ｓｉｎ　β１ｂ２″″ Ｉ　　ｓｉｎ　ａ３ｓｉｎ　β３−１３ｓｉｎ　ａ、、
　ｓｉｎ　β２１　５ｉｎａ　　ｓｉｎ　β　−Ｉ　　
ｓｉｎ　ａ３ｓｉｎ　β３ｃ　　−１ｃｏｔ　　ａ　　
−１２ｃｏｓ　　ａ。

ｃ　　−１ｅｏｓ　　ａ　　−１３ｃｏｓ　　β２ｃ　
　−Ｉ　　ｃａｓａ　　−Ｉ、ｃｏｓａ３である。

従って、光源としての３個のランプｌｌａ〜１１Ｃそれ
ぞれが点灯している状態におけるフレーム画像を処理し
、各画像の濃度値を算出することによって、（１３）、
　（１４）式の演算により物体の各面素の傾きｐ、ｑが
得られ、物体の傾きを導出することができる。

つぎに、動作について第４図のフローチャートを参照し
て説明する。

自動車１のシフトレバ−をバック位置に入れると、第４
図に示すように、自動車用周辺監視装置が作動し、ＣＰ
Ｕの制御によって各ランプｌｌａ〜ｌｌｃが順次に切換
点灯され、ＴＶ左カメラ２により、各ランプｌｌａ〜ｌ
ｌｃそれぞれの点灯時において周辺の物体が撮像され、
各ランプ１１ａ〜ｌｌｃそれぞれの点灯時におけるフレ
ーム画像のデータかＣＰＵにより処理され、各フレーム
画像の画素ごとの濃度情報が導出される（ステップＳｌ
）。

そして、ＣＰＵにより、導出された濃度情報から物体の
面素ごとの傾きのパラメータが照度差ステレオ法に基づ
く演算処理によって算出されたのち（ステップＳ２）、
面素ごとの傾きパラメータから物体表面の傾きが算出さ
れ（ステップＳ３）、測距手段１３からの物体との間の
距離データが読み込まれ（ステップＳ４）、物体表面の
傾き及び物体との距離が運転席の表示部に表示されると
共に、これらのデータに基づいてドライバーがとるべき
最適な運転操作内容が表示部にメツセージとして表示さ
れ（ステップＳ５）、これら一連の動作が繰り返し行わ
れる。

ところで、ドライバーがとるべき最適な運転操作内容を
決定するための動作は、例えば第５図のフローチャート
に示すようにして行われる。

即ち、第５図に示すように、舵角センサによる操舵輪の
舵角データかＣＰＵに読み込まれると共に（ステップＴ
１）、車速センサによる車速データかＣＰＵに読み込ま
れ（ステップＴ２）、舵角及び車速から自動車１の動き
か予測され（ステ・ツブＴ３）、予測される自動車１の
動きと物体の自動車に対する傾きとから、物体に対して
自動車か最適な位置をとるために必要な運転操作内容が
決定され、メツセージとして表示部に表示される（ステ
ップＴ４）。

ここで、運転操作内容をハンドル操作と車速に限った場
合、ＣＰＵては、ハンドルをどちらに切るべきか、及び
車速をどの程度にすべきかを判断すればよく、例えば車
庫入れを行う場合に、物体を車庫の壁とすると、壁に対
して自動車が正対するように、例えば“／％ンドルを左
へ切り、もつと低速で後退せよ”という内容のメツセー
ジが表示される。

そして、自動車１の物体に対する位置関係が変化するご
とに表示されるメツセージ内容が更新され、ドライバー
は表示されたメツセージ通りの運転操作をすることによ
り、後方を見なくても最良の状態に車庫入れを行うこと
かできる。

従って、物体の反射特性に関係なく、照度差ステレオ法
を利用して物体の自動車１に対する傾きを導出でき、導
出した物体の傾き、及び舵角　車速等に基づき、後退す
る自動車１が後方の物体に対して最適な位置をとるため
に必要な運転操作内容をドライバーへのメツセージとし
て表示することもでき、これによって後方を見ることな
く最適な車庫入れ等が可能になる。

なお、上記実施例では、３個の光源としてストップラン
プｌｌａ〜ｌｌｃを利用した場合について説明したが、
特にこれに限るものではなく、ハイマウントストップラ
ンプｌｌｃが装備されていない場合には、２個のストッ
プランプの他に別途ランプを設ければよく、或いはバッ
クランプを利用してもよく、３個の光源のうち少なくと
も一部又は全部を標準装備されたランプを利用すればよ
い。

また、上記実施例では、後方を監視する場合について説
明したか、前方を監視するものであってもよいのは勿論
であり、このとき、ヘッドランプフォグランプ等を光源
として利用すればよい。

さらに、上記実施例では、シフトレバ−をバック位置に
入れたときに本装置か作動するようにした場合について
説明したが、別途作動スイッチを設け、このスイッチの
操作によって本装置が作動するようにしてもよいのは勿
論である。

〔発明の効果〕

以上のように、この発明の自動車用周辺監視装置によれ
ば、各光源に第１の偏光フィルタを装着し、撮像手段に
第１の偏光フィルタの偏光方向に直交する偏光方向を有
する第２の偏光フィルタを装着したため、物体の反射光
を撮像手段により受光したときの物体の反射特性がほぼ
完全拡散特性となり、物体の反射特性が不均一でかつ未
知であっても、これを反射特性が均一でかつ既知なもの
として扱うことができ、照度差ステレオ法の適用による
物体表面の傾きの導出が可能となり、しかも光源の一部
又は全部に標準装備されたランプを利用するため、安価
かつ簡単に構成することか可能となる。

【図面の簡単な説明】

第１図はこの発明の自動車用周辺監視装置の一実施例の
斜視図、第２図は第１図の一部の斜視図、第３図は第１
図の装置を用いた場合の物体の反射特性図、第４図及び
第５図は第１図の動作説明用フローチャート、第６図及
び第７図はそれぞれ従来の自動車用周辺監視装置の平面
図及び側面図、第８図は第７図の制御系のブロック図、
第９図は照度差ステレオ法の原理説明図である。 １１ａ、ｌｌｂ・・・ストップランプ、１１ｃ・・・ハ
イマウントストップランプ、１２・・・ＴＶカメラ、

Claims (1)

【特許請求の範囲】
1. （１）自動車に設けられ周辺の物体に投光する少なくと
   も一部又は全部が標準装備されたランプからなる３個の
   光源と、 前記自動車に設けられ前記物体からの反射光を受光して
   前記物体の画像を撮像する撮像手段と、前記各光源にそ
   れぞれ装着された第１の偏光フィルタと、 前記撮像手段に装着され前記各第１の偏光フィルタの偏
   光方向に直交する偏光方向を有する第２の偏光フィルタ
   と、 前記物体の反射光の濃度から前記物体の表面の傾きを演
   算する演算手段と を備えたことを特徴とする自動車用周辺監視装置。