WO2004106857A1 - ステレオ光学モジュール及びステレオカメラ - Google Patents

Abstract

本ステレオ光学モジュールは、前玉ユニット（２０ａ）の略後方であり、１次偏向ミラー（２１ａ）と２次偏向ミラー（２２ａ）の上方に存在する回路配置スペース（２７ａ）、又は前玉ユニット（２０ｂ）の略後方であり、１次偏向ミラー（２１ｂ）と２次偏向ミラー（２２ｂ）の下方に存在する回路配置スペース（２７ｂ）の少なくとも何れか一方の空間領域に構成部材を配置する。

Description

ステレォ光学モンュ ル及びス丁レ才力メ ラ

技術分野

本発明は 車両 船舶、 航空機 及び Πポ V 卜 の移動体 や監視力メラシステム等の非移動体に搭載可能なステレォ光 学モジュ ル及びステレ明オ力メ ラに関する

背景技術 糸田 1

従来 撮像装置の撮像光学系に接続する とで |f?J の被 写体からの光を離間した 2 つの部位で受光し 各々 の光を撮 像装置の光学系に導ぐ こ とで ステレオ画像の撮像 (ステレ ォ ίι ) を可能にするステレォ光学モンュ ルが利用されて おり 、 そのよ なステレオ光学モンュ―ルの 成として各種 疋案 れている

例えば 被写体に所定のパ夕 ―ンを投影するパ夕 ―ン投影 部を有するステレォ光学モジュ ル (例えば 特開平 2 0 0

0 - 2 3 6 3 3 2号公報参照） や 刖面にシ ン ド 力ルレ ンズゃ ィ ド ンパ ン 3 ノレンズを着脱可能に 置するス テレオ光学モンュ ―ルが提案されている (例えば 特開平 9

- 3 2 7 0 4 2号公報参照） また 、 ィ メ ンガィ ド、を用い て双眼視するための内視鏡も提案されている (例えば 特開 平 4 — 0 1 6 8 1 2号公報参照 ) また ステレォ光学モジ ユールの ラ 構成と しては 例えば実開昭 5 3 ― 1 1 2 4

2 6号公報などで開示されている 更に 3 眼視ステレォ用の ァダブ夕 も提案されている （例えば 、 特開 2 0 0 1 3 0 5

6 8 2号公報参照 ) また 株式会社デンソ などで提 されている従来の雨滴 センサは 、 例えば、 図 2 6 に示すよ Ό に、 ゥィ ン ド、ガラス 7

3 に密着したガラスブ口 ヅク 7 4 に向けて 赤外光や可視光 の発光ダィォ ド (投光 L E D ) 7 5 から投光を行う。 この 光を投光レンズ 7 6 で集光し の集光光線のガラス外側面 にあける反射光を、 反射 ラ ― 7 7等によ り受光レンズ 7 8 に導 < そして 、 受光レンズ 7 8 でその導かれた光を集光し、 この集光光線をフォ 卜ダィォ 等の受光センサ 7 9 で検出 する のとさ 、 ゥィ ン ガラス 7 3 に雨滴が付着している Aには 、 光が散乱して光 が変化するので 、 雨滴量を計測 する とが可能である

しかしながら 、 上 した特開平 2 0 0 0 ― 2 3 6 3 3 2号 公報参照 〜特開 2 0 0 1 ― 3 0 5 6 8 2号公報では 、 遠距離 の被写体について広角画像を +最

するためには、 投影装置や ミ ラ ―が大き < なつてしまい ステレォ光学モジュールを小 型軽虽に構成する とが困難である

また 従来の雨滴センサでは ガラス面に密着して、 雨滴 センサを設けなければならず スぺ スや ス 卜上の制約と なつていた。 また、 連転者の視野の妨げになつ 7こ り 、 雨滴セ ンサの他に車両の刖方の障 物等を検出するためのステレオ 光学モンュ ' ~ル 搭載する場 は ス丁レォ光学モジュール の視野が遮蔽されてしまう問 mやステレォ光学モジユールに 対する雨滴センサの設 ιί位置などの問題がめる

発明の開示

本発明の目的は、 m距 の被写体を広角に is. a?できる小型 牷里のステレオ光学モンュールを提供するでめる また 本発明の百的は 設 i L置等を考慮する必要がない 雨滴センサを有するステレ才力メ ラを提供する とでめる。

上 の目的を達成するために 、 本発明の第 1 の 匕

様のステ レォ光学七 ン ユ ールは 被写体に対して第 1 の視占から見た 第 1 の被写体像を発生させる第 1 の光導入部と 刖記被写体 に対して刖記第 1 の視占とは異なる第 2 の視占から見た第 2 の被写体像を発生させるための第 2 の光導入部と 刖記第 1 の光導入部か ら入射した光束に る第 1 の被写体像の全部分 又は大部分を、 前記第 1 の光導入部と刖 PB第 2 の光導入部の 各々の中 'し、を結 ヽ基準線と刖 BB光束の入射方向とに対して直 交する第 1 の方向にめる第 1 の半面部に結像させる第 1 の.光 偏向機構と 刖記第 2 の光導入部から入射した光束に る第

2 の被写体像の全部分又は大部分を B第 1 の方向とは前 記基準線を跨いで反対側の第 2 の方向 める第 2 の半面部に 結像させる第 2 の光偏向機構とを具備し、 ^3 1 の光導入部の 略後方であ り前記第 1 の光偏向機構に対して HU記基準線及 び前記光束の入射方向と直交する方向であつて刖記第 1 の光 偏向機構に対して刖記第 2 の光偏向機構がずれた方向にある 第 1 の 間領域又は刖記第 2 の光導入部の略後方であ り 刖記 第 2 の光偏向機構に対して 、 刖記基準線及び前記光束の入射 方向と直交する方向であつて刖 2 の光偏向機構に対して m m第 1 の光偏向機構がずれた方向にある第 2 の 間領域の 少な < とも何れか 方の空間領域に構成部材を配置する

また 上記の目的を達成するために 、 本発明の 2 の態様 のステレォ光学モジュールは 被写体に対して第 1 の視点か ら見た第 1 の被写体像を発生させる第 1 の光導入部と 、 刖記 被写体に対して刖記第 1 の視占とは異なる第 2 の視点から見 た第 2 の被写体像を発生させるための第 2 の光導入部と 刖 記第 1 の光導入部か ら入射した光束による第 1 の被写体像の 全部分又は大部分を、 刖 m第 1 の光導入部と m記第 2 の光導 入部の各 の中心を結ぶ基準線と刖記光束の入射方向とに対 して直交する第 1 の方向にめる第 1 の半面部に存在する撮像 素子に結像させる第 1 の光偏向機構と 刖記第 2 の光導入部 から入射した光束による第 2 の被写体像の全部分又は大部分 を 刖記第 1 の方向とは前記基準線を跨いで反対側の第 2 の 方向にある第 2 の半面部に存在する撮像素子に結像させる第

2 の光偏向機構と、 ステレォ光学モンュ ルの内部の機構を 保護するためのケーシング部材とを 備し 第 1 の光導入部 の略後方であ り前記第 1 の光偏向機構と刖記ケーシ ング部材 とに挟まれた第 1 の空間領域又は 記第 2 の光導入部の略後 方であ り 刖記第 2 の光偏向機構と刖記ケ シング部材に挟ま れた第 2 の空間領域の少なぐ とも何れか 方の空間領域に構 成部材を配置する。

また 上記の目的を達成するために 本発明の第 3 の態様 のステレォ光学モシュ —ルは 被写体に対して第 1 の視点か ら見た第 1 の被写体像を発生させる第 1 の光導入部と 、 刖 己 被写体に対して HU記第 1 の視占 とは異なる第 2 の視点から見 た第 2 の被写体像を発生させるための第 2 の光導入部と 刖 記第 1 の光導入部から入射した光束による 1 の被写体像の 全部分又は大部分を 記 1 の光導入部と刖 第 2 の光導 入部の各々の中心を結ぶ基準線と HIJ記光束の入射方向とに対 して直交する第 1 の方向にある第 1 の半面部に存在する撮像 素子に結像させる第 1 の光偏向機構と、 前記第 2 の光導入部 から入射した光束による第 2 の被写体像の全部分又は大部分 を 刖記第 1 の方向とは刖記基準線を跨いで反対側の第 2 の 方向にある第 2 の半面部に存在する撮像素子に結像させる第

2 の光偏向機構と ステレォ光学七ンュ ルの内部の機構を 外部から遮断するためのケ ―シング部材とを具備し、 第 1 の. 光導入部の略後方で り 刖記第 1 の光偏向機 と刖記第 2 の 光偏向機構と m記ケ シング部材とに囲まれた第 1 の空間領 域又は 第 2 の光導入部の略後方であ り 刖記第 1 の光偏向 機構と刖記第 2 の光偏向機構と刖記ケーシ ング部材とに囲ま れた第 2 の空間領域の少な < とも何れか 方の空間領域に構 成部材を配置する。

また、 上記の目的を 成するために 、 本 明の第 4 の態 のステレォ光学モジュ ルは 被写体に対して第 1 の視点か ら見た第 1 の被写体像を発生させる第 1 の光子レンズと、 記被写体に対して前記第 1 の視 d 5"よ異なる第 2 の視点か ら 見た第 2 の被写体像を発生させるための第 2 の光学レンズと、 刖 第 1 の被写体像の全部分又は大部分を 刖記第 1 の光学 レンズと刖記第 2 の光学レンズの各々の中心を結ぶ基準線と 刖 Bd光束の入射方向とに対して直交する第 1 の方向にある第

1 の半面部に存在する 像素子に結像させるために 、 刖記第

1 の光学レンズを介して入射した光を反射する第 1 の反射部 材と、 この第 1 の反射部材で反射した光を更に反射する 2 の反射部材とを含む第 1 の光偏向機構と m記第 2 の被写体 像の全部分又は大部分を、 記第 1 の方向とは刖記 準線を 跨いで反対側の第 2 の方向にめる第 2 の半面部に存在する撮 像素子に結像させるために 刖 ø己 2 の光学レンズを介して 入射した光を反射する第 3 の反射部材と、 の第 3 の反射部 材で反射した光を更に反射する第 4 の反射部材とを含む第 2 の光偏向機構と、 前記第 2 の反射部材及び第 4 の反射部材に よ り反射した光を上記撮像素子に結像する第 3 の光学レンズ とを具備し、 前記第 1 の反射部材又は前記第 2 の反射部材に 対して前記第 1 の方向に存在する第 1 の空間領域、 又は前記 第 3 の反射部材又は刖記第 4 の反射部材に対して目 IJ記第 2 の 方向に存在する第 2 の空間領域の少なく と 何れか 方の空 間領域に構成部材を配置する。

また 上記の目的を達成するために、 本発明の第 5 の態様 のステレォ光学モンユールは 被写体に対して第 1 の視点か ら見た第 1 の被写体像を発生させる第 1 の光学レンズと、 の第 1 の光学レンズの近傍にあ り 刖記第 1 の光学レンズに 入射する光束の一部を遮光する第 1 の遮光部材と、 前記被写 体に対して前記第 1 の視点とは異なる第 2 の視点から見た第

2 の被写体像を発生させるための第 2 の光学レンズと、 この 第 2 の光学レンズの近傍にあ り 前記第 2 の光学レンズに入 射する光束の 部を遮光する第 2 の遮光部材と 、 刖記第 1 の 光学レンズに入射した 記第 1 の被写体像の全部分又は大部

,.ヽ

分を、 刖記第 1 の光学レンズと 記第 2 の光学レンズの各 の中心を結ぶ基準線と前記光束の入射方向とに対して直交す る第 1 の方向にある第 1 の半面部に存在する撮像素子に結像 させるために、 前記第 1 の光学レンズを介して入射した光を 反射する第 1 の反射部材と、 この第 1 の反射部材で反射した 光を更に反射する第 2 の反射部材とを含む第 1 の光偏向機構 と、 前記第 2 の光学レンズに入射した前記第 2 の被写体像の 全部分又は大部分を、 前記第 1 の方向とは前記基準線を跨い で反対側の第 2 の方向にある第 2 の半面部に存在する撮像素' 子に 像させるために、 m §己第 2 の光学レンズを介して入射 した光を反射する第 3 の反射部材と、 この第 3 の反射部材で 反射した光を更に反射する第 4 の反射部材とを含む第 2 の光 偏向機構と 刖記第 2 の反射部材及び第 4 の反射部材によ り 反射した光を上記撮像素子に結像する第 3 の光学レンズとを 具備し 刖 en > 1 の遮光部材の後方であ り 第 1 の反射 部材又は刖 PC第 2 の反射部材に対して第 1 の方向に存在する 第 1 の空間領域 又は前記第 2 の遮光部材の後方であ り 、 前 目し 3 の反射部材又は前記第 4 の反射部材に対して第 2 の方 向に存在する第 2 の空間領域の少なく とも何れか一方の空間 領域に構成部材を配置する。

れら第 1 第 5 の態様によれば、 ステレォ光学モジ ル内の き領域に撮像素子などの構成部材を配置するので、 遠距離の被写体を広角に撮影でき 、 更に小型軽 化が可能で ある

また 上記の 巨的を達成するために 、 本発明の第 6 の態様 のステレォカメ ラは 、 車内に設 ft.されクィ ン ドガラスを挟ん で前方を 11 するためのステレオ力メ ラであつて 同 被写 体に対して、 複数の視占から見た被写体像を発生させるステ レォ光学系と 、 このステレォ光学系で発生した刖記複数の視 点から見た被写体像に基づいてステレォ画像丁 夕を発生さ せる撮像素子と、 この 像素子で発生したステレォ画像つ— 夕に基づいて前記ウイ ン ガラスの表面に付着した水滴量を 検出するための水滴検出装置と.を具備する o

また 、 上 δしの目的を達成するために 、 本発明の第 7 の のステレ才力メ ラは、 車内に it されゥィ ン ドガラスを挟ん で刖方を観察するためのステレオ力メ ラでめ て 被写 体に対して、 複数の視占から見た被写体像を発生させるステ

'- レォ光学系と 、 このステレォ光学系で発生した刖記複数の視 点から見た被写体像に基づいてステレ才画像ァ ―夕を発生さ せる撮像素子と 刖記撮像素子から出力されるステレォ画像 ァ 夕の各々の画像デ 夕から距離演算を行い 対象物体の 距離が所定の範囲内にある時に前記ヴィ ン ガラスの表面に 付着物がある と判断する付着物判断装置とを , 備する

また 、 上 Lの目的を達成するために 、 本発明の第 8 の のステレオ力メ ラは、 車内に設置されウイ ン ガラスを挟ん で IIJ方を観察'するためのステレオ力メ ラであつて |prj 被写 体に対して、 複数の視占から見た被写体像を発生させるステ レォ光学系と 、 このステレォ光学系で発生した 記複数の視 占から見た被写体像に基づいてステレォ画像ァ 夕を発生さ せる 像素子と 刖 Bti撮像素子から出力されたステレォ画像 夕に基づいて画像評価を行うために、 前記ゥィ ン ガラ スの 面の水痫を検出して画像評価を行つ第 1 の画 ί象評価シ ケンスと、 前記ゥィ ン ドガラスの前方の物体を検出して画 像評価を行う第 2 の画像評価シーケンス とを有する画像評価 衣置と 、 刖記画像評価装置の 記 1 の画像評価シ ケンス と 刖記第 2 の画像評価シ ―ケンスとを切り替えて動作させる切 り換え手段とを 備する

また 、 上記の巨的を達成するために 本発明の第 9 の 様 のステレオカメ ラは 車内に設置されゥィ ン ドガラスを挟ん で刖方を観察するためのステレォカメ ラであ て 3 被写 体に対して、 複数の視占から見た被写体像を発生させるステ レォ光学系と、 のステレォ光学系で発生した刖記複数の視 ハ占ゝヽ ±ゝら見た被写体像に基づぃてステレォ画像了 夕を発生さ せる 像素子と 記撮像素子か ら出力されたステレォ画像 ァ ―夕に基づいて画像評価を行うために 、 刖記ゥィ ン ガラ スの表面の水滴を検出して画像評価を行う第 1 の画像評価演 算部と 、 前記ゥィ ン ドガラスの前方の物体を検出して画像評 価を行う第 2 の画像評価演算部とを有する画像評価 置とを 旦備する

また 、 上記の目的を達成するために 本発明の第 1 0 の態 様のステレオ力メ ラは 車内に ; 悪

.れヴィ ン ド、ガラスを挟 んで刖方を観察するためのステレオ力メ ラであつて 被 写体に対して、 複数の視点から見た被写体像を発生させるス テレォ光学系と のステレォ光学系で発生した刖記複数の 視占から見た被写体像に基づいてステレォ画像丁 ―夕を発生 させる撮像素子と 記ステレォ光学系の複数の視占の中の 第 1 の視点における第 1 の視野と刖 3dゥィ ン ドガラスが な る領域上のウィ ン ドガラスの表面上に光を照射する光照射装 置と HU記撮像素子で発生したステレォ画像つ—夕に基づい て前記ゥイ ン ドガラスの表面に付着した水滴量を検出するた めの水滴検出装置とを 備する

また、 上記の目的を達成するために 、 本発明の第 1 1 の 様のステレオカメ ラは 車内 れゥィ ン ドガラスを挟 んで前方を観察するためのステレオ力メ ラでめつて 1口 J 被 写体に対して、 複数の視占から見た被写体像を発生させるス テレォ光学系と、 このステレォ光学系で発生した刖記複数の 視点から見た被写体像に基づいてステレオ画像ァ 夕を発生 させる撮像素子と 、 刖記撮像素子力、ら出力されるステレォ画 像デ 夕 ヽよ.

の中から 、 刖記ステレォ光学系の複数の視点の中の 第 1 の視点における第 1 の視野と J記ゥィ ン ドガラスとが重 なる領域上のウイ ン ドガラスの表面上 けられ 付着した 水分を検出して色が変わる物質に対応する画像デ 夕の色情 報に基づいて、 所定の色情報を検知した時に信号を出力する 水分検出装置とを具備する

れら第 6 〜第 1 1 の能 によれば 、 雨滴の検出を画像処 理によつて行う ので、 専用のセンサを必要とせず スぺ ス の節約に / る 。

図面の簡単な説明

図 1 は 、 本発明の第 1 の実施形態に係るステレォ力メ ラシ ステムの基本構成について示したブロ ック図であ り

図 2 は 、 第 1 の実施形態におけるステレォ光学モンュ ル の回路構成を示すブロッ ク図であ り

図 3 Aは、 ステレォ光学モンュ ルのステレオ光学系の構 造について示す上面図であ り

図 3 Bは、 ステレォ光学モンュ―ルの外観図であ り、 図 4 Aは、 ステレォ光学モジュ―ルの構造について示す斜 視図であ り 、

図 4 Bは、 ステレォ光学モジ 'ュ―ル内の回路配置について 説明するための上面図であ り

図 5 は 、 ステレオ画像の例を示す図であ り 、

図 6 は 、 本発明の第 1 の実施形態におけるステレオ光学モ ン ュ ルにおける中央制御ュ ッ 卜の回路構成を示すプロ ッ ク図であ り 、

図 7 は 、 第 1 の実施形態のステレ才力メ ラシステムを車両 に搭載する場合の例を示す図であ り

図 8 Aは、 視野マスクの第 1 の変形例を示す図であり 、

8 Bは、 視野マスクの第 2 の変形例を示す図であ り 、 図 9 は 、 中央制御ユニッ トの変形例を示すプロ ック図であ リ 、

図 1 0 は、 本発明の第 2 の実施形態におけるステレオ光学 モジュ ルの回路構成を示すブ Πッ ク図であ り 、

図 1 1 は、 本発明の第 2 の実施形 tBの中央制御ュニッ トの 回路構成を示すプロ ック図でめ り、

図 1 2 は、 本発明の第 3 の実施形態におけるステレオ光学 モジュ ■ ~ルの回路構成を示すブ Π ッ ク図であ り 、

図 1 3 は、 D Vフォーマツ 卜や N T S C規格等のビデオフ 才一マツ h を用いた通信内容例を *g 図であ り 、 図 1 4は 、 本発明の第 4 の実施形態におけるステレオカメ ラシステムのメイ ン動作シ一ケンスのフ口 チャ一 卜であ り 図 1 5 は 、 センサチェ ッ クシーケンスのフ Π一チャー トで あ り、

図 1 6 は 、 キヤ リ ブレ一シ 3 ンっ 夕補正シ一ケンスのフ 口一チヤ一卜であ り、

図 1 7 は 、 運転支援シ一ケンスのフ D 一チャ ―卜であ り、 図 1 8 は 、 車間距離警 it

口の表示例を示す図であ り、 図 1 9 は 、 道路面認識結果の表示例であ り 、

図 2 0 は 、 回避警告の表示例であ り 、

図 2 1 は 、 レーン旨忍識 果の表示例であ り 、

図 2 2 は 、 メイ ン動作シ ケンスのフ π 一チャ一 卜の変形 例について示すフローチャ ― であ り 、

図 2 3 は 、 センサチェックシーケンスの第 1 の変形例につ いて示すフローチャー トでめ り 、

図 2 4 は 、 センサチェ Vクシーケンスの第 2 の変形例につ いて示すフローチャー 卜でめ り 、

図 2 5 は 、 本発明の第 5 の実施形態 けるステレオカメ ラシステムの構成を示すブ Π ヅ ク図であ り 、

図 2 6 は 、 従来の雨滴センサの構成図であ 、

図 2 7 は 、 本発明の第 6.の実施形態と しての雨滴検出時の ステレオ画像例を示す図であ り 、

図 2 8 は 、 ォ—パラップ 域について説明するための図で あ り、 図 2 9 は、 従来の対応点探索を模式的に示した図であ り、 図 3 0 は ^f? 6 の実施形態における雨滴検出時の対応点探 索を 式的に示した図であ り

図 3 1 は 、 ォ パラ ッ プ領域外の領域に雨滴が付着した場 のステレォ画像例を示す図であ り

図 3 2 は 、 ォ パラ ップ領域外の te域の雨滴画像検出手法 について説明するための図であ り、

図 3 3 は 、 光ビ ―ム投光器を用いた雨滴検出について説明 するための図でめ り

図 3 4は 、 雨滴検出コーテイ ングの例を示す図である。

発明を実施するための最良の形態

以下 本発明の実施の形態を図面を参照して説明する。

[第 1 の実施の形 ,態]

図 1 は 本発明の第 1 の実施形態に係るステレオカメ ラシ ステムの基本的な構成を示すプ口 ック図である。 、 のステレォカメ ラシステムは 、 車両 、 船舶 航空機、 ロポッ 卜等の移動体に搭載可能なシステムを想定している。 以後図

1 図 9 を参照して 、 車両に搭載される例について説明する。 即ち の力メ ラシステムは、 基本的に 図 1 に示すよう に ステレォ光学モジュール 1 と 通信回線 2 と、 中央制御 ュ ッ 卜 3 とから構成されている o ステレオ光学モンュ一ル

1 は 被写体の撮像を行ってステレォ画像を取得する と共に その取 したステレォ画像の補正を行う ものである 通 ΊΘ回 線 2 は ステレォ光学モジュ ル 1 と中央制御 二ッ 卜 3 と の間の通信回線である 中央制御 卜 3 は、 通信回線 2 を介してステレォ光学モジュール 1 から入力されたステレオ 画像に基づいて ステレォ光学モジュ ル 1 の撮影対象であ る被写体の評価を行う 。 具体的には 入力されたステレォ画 像に基づいて後で e兌明する距離画像を求め、 この求めた距離 画像の評価を frう。

以下、 これらの構成について更に詳しく説明する。

まず ステレォ光学モジュール 1 について説明する 。 図 2 は、 このステレォ光学モジュールの内部を詳細に示したブロ ッ ク図である 即ち、 ステレオ光学モジユール 1 は 図 2 に 示すよ Ό に、 ステレオ光学系 4 と 、 ½像素子 5 と、 像素子 駆動回路 6 と 補正情報メモリ 7 と、 画像出力処理回路 8 と、 モジュ ル （ M ) 側通信イ ンタフエース 9 と、 水滴検出装置 又は付着物検出装置と しての雨滴センサ 1 0 と、 温度センサ

1 1 とから構成されている

ステレォ光子系 4 は、 図 3 Aに示すよう に、 視野マスク ( 右左） 1 9 a 1 9 b と 、 刖玉ュニッ 卜 (右左） 2 0 a 2

0 b と 第 1 及び第 2 の反射部材と しての 1 次偏向 ラ一 （ 右左） 2 1 a 2 1 b と 、 第 3 及び第 4 の反射部材としての

2 次偏向 ^ ラ一 (右左） 2 2 a , 2 2 b と、 後玉ュ一ッ 卜 2

3 と、 Π ―パスフィ レタ 2 4 とから構成されてお り 図示し ない被写体からの像を撮像素子 5 に結像させる。

、

で 、 ステレオ光学モンュ一ル 1 の外観は、 図 3 B に示 すよう に 、 視野マスク開 □ 2 5 a , 2 5 bが設けられたケ一 シンク部材 2 6 に覆われてお り 、 これら視野マスク開口 2 5 a , 2 5 bからステレオ光学系 4 に光が入射するよう になつ ている で、 ケーシング部材 2 6 は、 当該ステレォ光学 モジュ ルの内部機構を外 ¾力、 ら保護するための部材であ り、 外光を遮断する機能、 防塵機能、 及び内部機構を支持する機 能等を有する力バ 部材である。

また 図 3 A、 図 3 B に示すよ う に、 視野マスク開 P 2 5 a 2 5 b からステレオ光学系 4 に入射した、 一定距離離れ た図示しない被写体からの光束は 、 その一部が視野マスク 1

9 a , 1 9 b によ り遮光され、 残りが右左の前玉ュニッ 卜 2

0 a , 2 0 b に入射する こ こで 、 視野マスク 1 9 a 1 9 bは、 刖玉 ニッ ト 2 0 a 2 0 b の視野を絞るための絞り として機能する。 第 1 の実施形態では、 図 4 Aに示すよう に、 視野マスク 1 9 a は前玉ュニッ 卜 2 0 a の上半分領域 遮蔽 してお り 視野マスク 1 9 b は前玉ユニッ ト 2 O b の下半分 領域を遮蔽している。

なお 視野マスク 1 9 a 1 9 b を有する これら前玉ュニ ッ 卜 2 0 a 2 0 b のレンズの実効的な光軸 （以下、 光軸と 称する ) は 被写体からの光束の中心、 即ち視野マスク 1 9 a 1 9 bが無い場合の中心軸とは一致しない。 また 、 図 4

Aに示すように、 右左の 玉ュニッ 卜 2 0 a 2 0 b の光軸 は互いに 1口 3 平面上にな < 、 捩れた状態となっている

前玉ュ ッ h 2 0 a , 2 O b を介して入射した被写体か ら の光束は 1 次偏向ミ ラ 2 1 a 2 l bで反射される れら 1 次偏向ミ ラ一 2 1 a 2 1 bは、 前玉ユニッ ト 2 0 a ,

2 0 b を 過した光束を 反射可能な程度のサイ ズを持って いる。 即ち、 1 次偏向ミ ラ一 2 1 a， 2 1 b は、 刖玉ュニッ ト 2 0 aの遮蔽されていない領域とほぼ同じかそれよ り も少 し大きい程度のサィズを持つ。 また 、 1 次偏向ミ ラー 2 l a

2 1 b は、 水平方向には約 4 5度、 垂直方向には撮像素子側 に数度傾いて配置されている。 このよ う に配置する こ とによ り、 1 次偏向ミ ラ一 2 1 , 2 1 bで反射された光束が 2 次 偏向ミ ラー 2 2 a 2 2 b に入射する

2 次偏向ミ ラー 2 2 a， 2 2 b は 、 水平方向には 1 次偏向 ミ ラ一 2 1 a , 2 1 b と略直交するよ う に、 垂直方向には撮 像素子側に数度傾いて配置されている。 このよう に配置する こ とによ り 、 2 次偏向ミ ラ一 2 2 a ， 2 2 bで反射された光 束が後玉ュニッ 卜 2 3 に入射する。 図 4 B に示すよう に、 上 面方向から見る と 、 2 次偏向ミ ラー 2 2 a , 2 2 b は、 互い に交差するよう に配置されている。 即ち、 1 次偏向ミ ラー 2

1 aから入射して < る光束は、 2 次偏向ミ ラー 2 2 aで反射 されて後玉ュニッ 卜 2 3 の下方向に入射するよう に偏向され る。 一方、 1'次偏向 、 ラ一 2 1 か ら入射してく る光束は、

2 次偏向ミ ラー 2 2 bで反射されて後玉ユニッ ト 2 3 の上方 向に入射するよう に偏向される。

こ こで、 1 次偏向 ラー 2 1 a と 2 次偏向ミ ラー 2 2 a と からなる第 1 の光偏向機構は、 前玉ュニッ ト 2 0 a に入射す る光束を前玉ュニッ 卜 2 0 a の中心部と前玉ュニッ ト 2 0 b の中心部とを結ぶ基 線と、 光束の入射方向に対して直交す る第 1 の方向にある第 1 の半面部、 即ち撮像素子 5 の下半分 の領域に導く機能を有する。 また、 1 次偏向ミ ラー 2 1 b と 2 次偏向ミ ラ 2 2 b とか らなる第 2 の光偏向機構は、 刖玉ュ ッ 卜 2 0 b に入射する 光束を、 第 1 の方向とは基準 mを跨いで反対側の第 2 の方向 にある第 2 の半面部 、 即ち撮像素子 5 の上半分の領域に導く 機能を有する

のよう に偏向された光束は、 後玉ュ二ッ 卜 2 3 を介して

Π―パスフィ ル夕 2 4 に入射し、 Π パスフィ ル夕で高周波 雑音成分が除去される。 その後、 右側の前玉ュ 卜 2 0 a を介して入射した光束は、 撮像素子 5 の下半分の領域に結像 し、. 左側の前玉ュニッ 卜 2 0 b を介して入射した光束は す 像素子 5 の上半分の領域に結像する 即ち、 視野マスク 1 a 1 9 bで視野を限定する こ とに り 、 上下の画像はォー パラ ップせずに、 m像素子上 像する 。 この 果 、 図 5 に 示すような左右の視差を持つたステレォ画像が 撮像素子上 に上下に並んで結像する ことになる れによ 1 台のス テレォ光学モジ ルをのみでステレォ画像を取得する こ と が可能である

こで、 2 次偏向ミ ラー 2 2 a 2 2 b は、 撮像素子 5 に 対して垂直方向に数度の角度をつけて配置されているので、 像は 、' 物界に対し傾いて結像する とになる。 そ で、 入射 光束を撮像素子 5 に効率的に結像させるために 撮像素子 5 は、 図 4 Aに示すよう に斜めに傾けて配置する とが好まし い

のよ にし 像素子 5 に結像したステレォ画像は 、 図

2 のブロ ック図で示す 撮像素子駆動回路 6 の働さによ 0 アナログ信号と して画像出力処理回路 8 に順次出力される。 こ こで、 画像出力処理回路 8 の内部は、 A / D 亦

久換部 1 2 と

C一 Y変換部 1 3 と 、 圧縮処理部 1 4 と、 レクティ フィ ケー シヨ ン処理部 1 5 と 、 ァ変換処理部 1 6 と 、 シェ テイ ング 補正処理部 1 7 と、' フ レームゾ ΐッ ファメモ 1 8 とから構成 されている。

また、 画像出力処理回路 8 と、 上記雨滴センサ 1 0及び温 度センサ 1 1 は、 図 4 Α及び図 4 Βに示す Ό に視野マスク

1 9 , 1 9 b の後方、 2次偏向ミ ラー 2 2 a 2 2 b の裏 面側の空きスペース 、 .即ち第 1 及び第 2 の 間領域である と ころの回路配置スぺース 2 7 a， 2 7 b に設置される 。 図 4

A及び図 4 B に示すよう に、 右側の光学系には 1 次偏向ミ ラ 一 2 1 a及び 2 次偏向ミ ラ一 2 2 aの上方に回路配置スぺ一 ス 2 7 aが存在し、 左側の光学系には 1 次偏向 ラ一 2 1 b 及び 2 次偏向ミ ラー 2 2 b の下方に回路配置スぺ一ス 2 7 b が存在する。 これは 、 上述したよう に、 右側 玉 一ッ 卜 2

0 aは上半分が視野マスク 1 9 a によ りマスク されてお り、 左側前玉ュニッ 卜 2 0 b は下半分が視野マスク 1 9 b によ り マスクされているので、 それら視野マスク 1 9 a ， 1 9 b の 後方には光学部材が配置される こ とはなく 、 空さスぺースと なるからである。 そこで、 この空きスぺースに画像出力処理 回路 8等の回路を設けるよう にすれば、 入射して < る光を遮 る こ となく 、 かつ、 ステレオ光学モジユ ール内の さスぺ一 スを有効利用する こ とができ、 ステレオ光学乇ジュ一ルの小 型化に繋がる。 こ こで、 これらの空きスぺ スにき e又&ける こと がでさる回路は、 例えは電気信号を出力する 気信号出力回 路であ り、 上記した画像出力処理回路の他に 例えば 撮像 素子駆動回路など 補正データを記憶する丁 ン夕ルメモリ （ 補正情報メモ V ) 等の撮像素子の周辺回路や 度センサ、 及び雨滴センサゃ 照度センサ、 G P S ァンテナ E T C力 システム等が含ま る o 3^た、 この空きスぺ スには、 ステレオ光学モジュールの図示しない電源回路をき &

Ρ又けても良 い し 、 メ力 力ルな機構部材を設けても良い の機構部材 と して、 例えばステレオ光学系をメ力二力ルに調整するため の図示しない調整機構を設けても良い。 また ステレォ光学 系に入射する光量を調整するための図示しない Ν Dフィ ル夕 を揷脱式にしておさ 、 この N D フィ ル夕の退避スぺ ―スとし て上記した空きスぺースを使用するょ ラ にしてもよい o

次に、 図 2 の画像出力処理回路 8 の各部について 明する。 画像出力処理回路 8 内部では、 まず A / D変換部 1 2 でァ ナ Dグ信号であるステレオ画像がデジ夕ルァ 夕である了 ン 夕ルステレォ画像丁一夕に変換される /よ 像素子 5 の 刖面には、 図示しな 光学色フィル夕が設けられてお

の光学色フィ ル夕によって撮像素子 5 は R G Bの各色に対応 したステレォ画像ァ一夕を出力するよう になつている o C -

Y変換部 1 3 では これらの R G Bの原色信号が輝度信号と

2 つの色差信号に変換される。 1は、 圧縮処理部 1 4 で、 モ シヨ ン J P E G ( Motion- JPEG ) 信号に ί矢するための 準備の処理である o その後、 これらの信号は フ レ ムバッ フ ァ メモリ 1 8 に b dれる。 このフ レームバッファ メモ 1 8 に記憶されたステレォ画 像デー夕は、 シ X一 τィ ング補正処理部 1 7 に入力される シ ディ ング補正処理部 1 7 ではゝ 補正情報メモリ 7 に格 納されたシ ァィ ング補正ァ一夕に基づさシェー了ィ ング 補正処理が施される 次に Ύ変換処理部 1 6 において画像 入出力特性を適正にするために r変換処理が施され 、 更にレ クティ フィ ケ シ 3 ン処理部 1 5 で補正情報メモリ 7 に格納 されたキヤ リ ブレ一ショ ン丁 夕に基づさレクティ フィ ケー シヨ ン処理が実施される

なお 、 レクティ フィ ケーシ 3 ン処理とは ス丁レオ光学系

4内部の光学部材などの機械ずれなどによ り 生じる左右画像 のェピポーラ線のずれゃレンズの歪曲 （ァィ ス 卜ーショ ン） 等による画像の歪みを画像処理によつて補正する処理である。 この様な処理では 例えば 左画像で選択された特徴点に対 応する点が右画像のどこにめるかを検出し の対応点力 S本 来のつているベさ直線 (ェピポ一ラ線） 上か ら どれだけず れているのかを検出し 、 しの検出したずれに応じた画像変形 を行う 。 このよ にしてレクティ フィ ケ シ a ン処理された 左右画像 （以後 レクティ フィ ケ ショ ン画像と称する） は、 規定の座標に正規化された後 図 5 に対応するよう に上下に 配置された形でフ レ ムパッ フ ァ メモリ 1 8 に書き戻される。

また 、 補正情報メモ V 7 に記憶されているキャ リ ブレーシ ヨ ンァ一夕は、 ステレォ光学モン ュールの熱変形等を考慮す るための複数のキャ U ブレ ―ショ ンつ 夕が記憶されている。 即ち、 温度センサ 1 1 で検出し /こ ί 度値は M側通信ィ ンタ フエ一ス 9 を介して画像出力処理回路 8 に入力され、 この入 力された温度に基づ Ι て、 レクティ フィ ケーシ 3 ン処理部 1

5 は、 補正情報メモリ 7 に記憶されているキヤ U ブレーショ ンぅ 夕を選択してレクティ フィ ケ ショ ン処理を実施する ことで 温度変化に口パス 卜な処理を実現する

その後 、 上記フ レームバ フ ァメモ U 1 8 に ぎ戻された テジ夕ルステレォ画像つ 夕は、 圧縮処理部 1 4 に入力され モーシ 3 ン J P E Gのよラな y—夕圧縮方式を用いてデータ 圧縮が施された後、 M側通信ィ ン夕フェース 9 を介して通信 回線 2 に出力され 。 また M側通信ィ ンタフェ ス 9 には 雨滴センサ 1 0 及び温度センサ 1 1 接続されており 、 これ らセンサの出力 ¾通信回線 2 や画像出力処理回路 8 に出力可 能である

次に通信回 2 について説明する 通信回線 2 は 、 第 1 の 実施形能では レクティ フィ ケーシ 3 ン画像デ 夕及びステ レオ光 モジュールの制御を行うためのデ—夕信号を伝送す る複数の U S B通信線を持つ れらの通信線は それぞれ ステレォ光学モン；！ ル 1 の M側通信ィ ンタフ X一ス 9 と中 央制御ュ二ッ 3 のュ二ッ 卜 ( u ) 側通信イ ン夕フエース 2

8 とに接続される

で 、 レクティ フィ ケ ショ ン画像はモーシ a ン J P E

G形式で圧縮された形で U S B信号線に伝送され 7こ、 雨 滴センサ 1 0 で検出 Sれた雨滴センサ情報や温度センサ 1 1 で検出された ί u曰rn.度センサ情報等の環 情報や、 被写体の測光 情報などの情報も、 U S B通信 aを介して伝送される。 そし て これらの情報は、 通信回線 2 を介して 中央制御ュ ッ

3 に伝送される で、 ステレオ画像テ 夕は、 上 の よう に圧縮処理部 1 4で圧縮されているので 通信時の情報 を削減する こ とができ 、 画像丁 —夕の他のァ 夕を送受信 可能な情報 増すこ とがでさる で 通信回線 2 即 ち U S B通信線は 、 上述したよ う に レクティ フィ ケ シ a ン画像のデ 夕、 雨滴センサ情報 、 及び温度センサ情報等を デン夕ルデ 夕によ りステレォ光学モジュ ル 1 から中央制 御ュ二ッ 卜 3 に対して通信する こ こで ステレォ光学モン ュ ル 1 は 中央制御ュ二ッ 3 か ら制御 マン ドを受けて 所定のデ一夕を発生させる温度センサ、 雨滴センサ、 補正情 報メモリ などを備えている。 通信回線 2 は双方向のデン夕ル 通信回線になつてお り 中央制御ュニッ 卜 3 からは、 各種制 御 マン ドをこの通信回線 2 を介してステレォ光学モンュ ル 1 に対して送る の制御 ン ドは 第 1 の実施形 で は 詳細な d述を省略するが 例えばステレォ光学モジュ ル 1 の電源制御コマン ドヽ (動作モ — ド と 、電力モ ド とを切 り換えるコ ン ド ) であるとか 温度センサ情報 、 雨滴セン サ情報を中央制御 3.二ッ 卜側に み出すための要求信号 あ るいは補正情報メモリ 7 に記憶された情報を中央制御 ヅ 卜 3側に読み出すための要求信号などである のよ に 1 系統の通信線を用いてよ り効率よ く相互の丁 夕通 1§を行う とができる

また、 第 1 の実施形態の変形例であるが レクティ フ ケ シヨ ン画像のデ一夕をアナログの通信線を使用 して送信す る ことも可能である o 例 ば、 撮像素子 5 の出力をモン — ル側の M側通信ィ ン夕フ 工 ス 9 にて N T S C等のフ ォーマ ッ 卜に準拠したァナ口グ画像信号に変換した後に通信回線 2 に出力する。 この -士¾县r 八には 、 ステレオ光学モジュ ル内で圧 縮処理部 1 4 は不要になる の変形例の特徵と しては、 通 信回線 2がアナ口グの通信線とデジタルの通 IB線の 2 系統を 持つ必要があ り、 通 回線 ^通す部分のスぺ スが余分に必 要にな 。 よ こ、 通信 ネク夕の占有スぺ ―スが余計に必要 になる等のデメ リ ッ 卜はあるが 、 その反面 画像ァ タを通 信するス ピー ドを高める とができ.る という メ U が発生 する。

またレクティ フィ ケ ショ ン画像をアナ グの通信線で送 信する場合に、 プランキング信号中に情報を重畳する文字放 送用の領域などを利用 して画像データ以外の制御了 夕を伝 送するよう にしても良い o

次に中央制御ュ二ッ 卜 3 について説明する 。 図 6 に示すよ う に、 中央制御ュ二ッ 卜 3 は、 u側通信ィ ン夕フ X ス 2 8 と、 画像入力装置 2 9 と フ レ —ムメモリ 3 0 と E P R O

M 3 1 と、 距離画像算出 二ッ 卜 3 2 と、 距離画像などを元 に物体認識等を行う周辺環境判 ュニッ ト及びシ ケンスコ ン 卜ローラ （以下 、 周辺環境判定ュニッ 卜 と称する ) 3 3 か ら構成されている 。 更に 中央制御ュニッ 卜 3 は 画像出力 装置 3 4、 ポイ ンティ ング入力装置 3 6 ォ 丁ィ ォ出力装 置 3 7 、 オーディ ォ入力装置 4 0 、 及び表示灯出力装置 4 1 も有している。 以上の回路や装置はバスを介して接 feeされて お り 、 相互にデー夕の転送が可能にな Όている

また、 画像出力装置 3 4及びボイ ンティ ング入力装置 3 6 は表示入力装置 3 5 に接続されている また 、 ォーディ ォ出 力装置 3 7 はス ピ一力 3 8 に接続されてお り 、 ォーディ ォ入 力装置 4 0 はマイク Pホン 3 9 に接 されている 更に、 表 示灯出力装置 4 1 は表示灯 4 2 に接 されている。

通信回線 2 を介して中央制御ュニッ 卜 3 に入力されてきた レクティ フィ ケ一シ 3 ン画像は、 u側通信ィ ンタフエース 2

8 、 画像入力装置 2 9 を介してフ レ一ムメモ 3 0 に一時格 納され、 その後、 距離画像算出ュニッ 3 2 に入力される。

ここで、 中央制御ュ一ッ ト 3 に入力されてさたレクティ フ ィ ケ一ショ ン画像は 、 モーシヨ ン J P E Gの規格で圧縮され たデータであるので 、 上記した画像入力装置 2 9 で 、 この圧 縮されたデータを伸長して復元する

距離画像算出ュ一 V 卜 3 2 は、 ステレォ画像から左右別の 画像を切り 出すステレォ画像切り 出し部 4 3 と 、 ゥイ ン ドー マツチング部 4 6 とを持つ。 fi|3ち、 距離画像算出ュニッ 卜 3

2 に入力されてきたレクティ フィ ケ一ショ ン画像は 、 ステレ ォ画像切り 出し部 4 3 で左右画像 4 4 ， 4 5 に切り 出される。 そして、 これら切り 出'された左右画像 4 4， 4 5 に対してゥ ィ ン ドーマツチング部 4 6 においてゥィ ン ド マッチングが 行われ、 それぞれの対応点のずれ、 即ち視差量の検出が行わ れ 、 この結果、 視差画像 4 7 が生成される。 その後 、 この視 差量が、 距離画像生成部 4 8 において距離情報に変換され、 の距離情報と E P R O M 3 1 に記 されているキヤ リ ブレ —ショ ンァ 夕 4 9 に基づいて距離画像が生成される o で、 用 Γ距離画像」 は 撮像された被写体画像の画素ごと に距離情報を有している画像のこ とを言う ものとする o

7 このキャ リ プレ シヨ ンァ 夕 4 9 は 、 通 \%回線 2 を介して 入力されてぎた雨滴センサ情報や温度センサ情報に従 Ό X m 択される距離情報補正用のテ 夕である。

その後 生成された距離画像は、 周辺環境判定ュ ッ 卜 3

3 に送られる o

周辺環境判定ュニッ ト 3 3 は、 般のパーソナルコ ン ヒュ 一夕やマィ ク Π Π ンピュ 夕による制御装置と 等に 、 通 {¾ パスに接 された 、 中央演算処理部 ( C P U ) 5 0 メイ ン メモリ ( R A M ) 5 1 了 ン夕ル信号処理部 （ D S P ) 5 2 八 ド了ィスク （ H D D ) 5 3 などを持ち、 距離画像を評価 して物体を 識するシーケンスやその他の各種シ ケンス制 御などをソフ 卜ゥエア的に実現するよう に構成されている。

即ち 距離画像が周辺環境判定ュニッ ト 3 3 に入力されて く る と C P U 5 0 が H D D 5 3 に格納された物体認識処理 のプログラムを R A M 5 1 に展開して実行し、 ステレォ光学 モジュ ル 1 られた 2 次元のレクティ フィ ケ シヨ ン画 像ゃ距離画像算出ュニッ 卜 3 2 で求め られた距離画像に基づ 产

いて、 1=1物 (例えば、 路上では 、 歩行者、 車両、 落下物 など） の検出や、 特徴的な環境情報 (例えば、 道路上では白 線や、 ガ レ ル、 標 η ίなど） を認識する処理を行う。 そ して、 C P U 5 0 は の 識処理の結果に基づいて 、 例え ば、 画像出力装置 3 4 を制御して表示入力装置 3 5 に t m ^|¾: 果を表示した り 、 ォ—ディ ォ出力装 3 7 を制御してス ピー 力 3 8 から車両が近づいている旨などを敏

曰 によ り告知し たり、 表示灯出力装置 4 1 を制御して表示灯 4 2 を点灯した り して、 運転者などの操作者の注 Μを促した Όする 転支援 に関する制御を実施する。 また 、 逆に表示入力装置 3 5 のよ うなマ二ユアル操作部材ゃマィ ク Dホン 3 9 などの音声入力 装置によ り操作者からの指示がめつたナ a合には 、 その指示を ポィ ンティ ング入力装置 3 6やォー丁ィ ォ入力装置 4 0 を介 して取り込み 、 その指示内容に応じた制御を実行する

以上のよ うなステレオ力メ ラシステムを車両に搭載した場 合には、 通信回線 2 に、 図 7 に示すよ に 、 ステレォ光学モ ジュール 1 及び中央制御ュ一 卜 3 に加えて 、 更に 、 レ一ダ 一装置が搭載されたレーダ一モジュ ル 5 4 、 車両の速度を 検出するための車速センサモジュ―ル 5 5 、 車両の ilL置を運 転者等に知ら 、

せるための力一ナピゲ シ 3 ンモンュール 5 6 、

、

エンジン制御を行うェンジン ン 卜 Π 一ルモンュ ル 5 7 、 車両の側方を監視するための側方力メ ラモジュ一ル 5 8 、 車 両内を監視するための室内監視モジュ ル 5 9 、 ブレーキを 制御するためのプレーキセンサモジュ ル 6 1 、 車両の後方

、

を監視するための後方カメ ラモン ュ ル 6 2 、 車内の積載量

ヽ

を検出するための積載検出モ 立

ンュ―ル 6 3 、 曰波レ一ダー

ゝ、

装置が搭載された後方超音波レ一ダ モンュ ル 6 等を接 続して、 各種車載モジユ ール間の相互の連 がとれるよう に 構成しても勿論構わない。 なお ゲ 、

、 しれらのモンュ一ルは 、 従 来のものがそのまま使用可能である 0 このよつな車内ネッ 卜ヮ クの一部として用いる場合のュ 二ッ 卜ゃモジュ ル間の通信には、 無線通信技術である B 1 u e t o o t hや I E E E 8 0 2 .1 1 I E E E 8 0 2 .1

Xなどを用いる こ とち可能である。 また、 U S B I E E E

1 3 9 4 ィ サネッ トなどの有線ネッ ト ワークや、 V o l

P (ボイスォーバ ァィ ピ ) などの音声データの伝送プロ 卜 コ ルや、 リ アルタ イ ム メ ッ セ一 ジ ン グ機能 （ RTC/SIP client) などを用いてもよ く 、 I P V 6 などによ り SB.に

I Pア ドレスを割り 当てた車内 L A Nを構築して よい o 更 に、 車内ノィズ等に強い車載用光ネッ 卜ヮ ク規格 Γ Μ o S

T」 や 「 C A N J などの 、 ォープンス夕ンダ 規格に対応 した通信バスラィ ンを用いるよラ にしてちよい ο

以上説明したよ Όな 、 この第 1 の実施形 には 、 次のよ Ό な特有の効果がめる o

即ち、 この第 1 の実施形態ではスデレォ光学モジュ ル内 でレクティ フィ ケ シ 3 ン、 Ύ補正 、 シ X ァィ ング補正ゝ 輝度信号と色差信号への分離などの当該ステレォ光学モンュ ールのために必要となる画像処理を行う よう にしている o れによって、 中央制御ュ二ッ 卜側での回路負荷を軽減でさ 、 さ らに中央制御 ヅ 卜側での仕様を簡略化でさシステムの 汎用性を高める とがでさる。

またデジ夕ル画像丁 夕を圧縮してから通信するよ う にし ているので、 ァナ グ通信の場 に近いフ レ ムレ でデ ジ夕ル画像デ 夕を伝送する こ とができる ο

ま 7こ、 ステレォ光学モジユ ール 1 に 皿曰 センサ 1 1 を け ているので、 レクァ 4 フィ ケ シヨ ン処理時の ism.度による補 正が適切に行われる のため 中央制御 ヅ h 3 で実施 されるゥィ ン ド ―マッチングの探索領域をェピポ ラ線上に 限って実施すればよ < よ り高速な処理を実現できる

なお、 の第 1 の実施形態の各構成は 当然 各種の変形 変更が可能である

例えば 以上 明したよ ラなステレオ光学モジュ ' "ル 1 を 複数用いる ことも可能である の場合には 各ステレオ光 学モジュ ルから得られる レクティ フィ ケ シ 3 ン画像に、 カメ ラ I Dを埋め込む とによ り 、 どのステレォ光学て ン ュ ー レからのレクティ フィ ケ シ 3 ン画像なのかを明確に識別 できるよ にしてもよい

また、 第 1 の実施形能において 、 ステレォ光学モジユール

1 は、 γ 亦換処理や C ― Y変換処理、 圧縮処理などの処理 回路が含まれているが 必ずし これらの機能は必要ではな ヽ 、 一般的な、 ビ了ォ力メラや丁ジ夕ルスチル力メ ラ と同等 の画像処理が行えればよい

また、 ステレォ光学モジュ ル 1 の補正情報メモリ 7 には レクティ フィ ケ シ 3 ン処理 シエーアィ ング補正処理用の 補正情報のほかに 各ステレォ光学モジュ ―ルが車両にどの よう に取 付けられているのかをキヤ リ ブレ ショ ンした補 正情報を記憶させて < ラ にしてもよい のよラ にする こ とによ り 、 中央制御ュ ッ 卜内の E P R 0 M 3 1 の省略又 は記憶容 - の削減を行 ともでさる。 更に キャ U ブレー ショ ンによつて得られた中央制御 ニッ 卜 3 からの情報をス テレオ光学モンユール 1 などに通信で送 Ό の情報をスァ レオ光学モジュール 1 に記憶させるよ にして よい。 また、 中央制御ュ一ッ 卜 3 の距離画像算出ュ一 、ソ 卜 3 2 で用いられ るキヤ リ ブレ シヨ ンテ 夕 も ステレォ光学モジュ ル 1 の補正情報メモリ 7 に記 させておさ 距離画像算出時には、 このキヤ リ ブレ ——ンョ ン丁一夕をステレォ光学モジュ ' ~ル 1 から 中央制御 ニッ 卜 3 に通信でぎる う にしてもよい

即ち、 この亦形例は 補正情報メモリ 7 に記憶させている 補正情報の中で一部の補正情報 (キャ プレ ショ ンデ 夕

) をステレォ光学モジュ ル内での画像処理演算に使用 し その他の補正情報を通信回線 2 を介して中央制御ュ二ッ 卜 3 に送信して 中央制御 ―ッ 卜側での距離演算等の補正に使 用するよう にしたものである

また、 中央制御ュニ 卜 3 は 内部の各種処理回路が専用 の特定用途向集積回路 ( A S I C ) を用いた ,ヽ ドゥェァ的 な結線で実現されてもよ < 、 更には れら をダイナミ ック に書き換える とがでさる ンフィ ギュァラブルプ口セ V サなどによつて構築されていても勿論よい

また、 ステレォカメ ラシステムの制御にと どま らず、 、)曰 センサや雨滴センサの情報 、 補正情報 切り 出し領域の情報 などを伝送するよう にしてちよい れは ステレォ光学モ ジュール 1 通信回線 2ゝ 中央制御ュ一ッ 3 だけでな < 各種車載モンュ ル間の 信に 応する とができるのは勿 冊 C あ 。

また、 各通信回線 2 と ステレォ光学モンュール 1 中央 制御ュニッ 卜 3 間はフォ 卜力ブラなどで電気的に絶縁する こ とで、 八一ネスに印加される各種スパィ ク ノィズなどの影響 を回路が受けないよう に絶縁しておいて 構わない

また、 通信回線 2 に流す映像のフォ マッ 卜 と して 、 ァナ

Pグ方式ならば 、 N T S C方式の他に P A L方式や S E C A 方式でもよぐ 、 またデジタル形式ならば各種圧縮フ才 ―マ ッ ト、 例えば 、 静止画の圧縮方式である J P E G方式や動画 の 、

圧縮方式である M P E G方式、 D V (ァン夕ルビ了ォ ) な どの規格で伝送するよう にしてもよい

また、 入力や表示については、 例えば 、 マィ ク Πソフ 卜 ( 登録商標） 社の Aut omotive UI Toolkit などの車載機 用の ュ —ザーィ ン夕フエ一スデザィ ンツールに り構築された G

U I や音声ィ ンタフェ —スを用いても い

更に、 図 4 Aにおいて、 視野マスク 1 9 a ， 1 9 b は 、 M 玉ユニッ ト 2 0 a , 2 0 b を半分覆う形に かれているが、 よ り効果的に視野を規制するために図 8 に示すよう にゝ 方形

,ヽム

の開口部 2 5 を持つ視野マスク 1 9 を刖玉 ッ 2 0 の光 軸か らオフセッ 卜 した位置に配置してもよ < 、 また 、 レンズ 自体を 4辺 D力 ッ 卜するなどして、 視野マスク を配置したの と同等の効果を得るよう にしてもよい

また、 図 9 に示すよう に、 中央制御 ―ッ 卜 3 内にステレ ォ光学系のキャ リ ブレーショ ンテ一夕 6 6 を算出するための ステレオ光学系キヤ リ ブレーショ ン装置 6 5 や車両とステレ ォ光学モジュ ル 1 の位置関係を計測しシステムキャ U ブレ ショ .ンテ一夕 6 8 を算出する車両系キャ ブレーシ 3 ンを 実施する車両系キャ U ブレ シ 壮

ノ « 6 7 などを持つよう に構成してもよい

更に 補正情報メモ U 7 に記 される補正情報は、 シェー ディ ング補正処理やレクティ フ ケ—シ ン処理のためのキ ャ リ プレ ショ ノ了 夕である と しているが 画像の切り 出 し領域の情報や車体との位置関係のキャ ブレーショ ンァー 夕などを加えて 勿 m構わない また 補正情報メモリ 7 を 中央制御ュ二ッ 卜 3 側に配置してもよい また 、 通信回線 2 を介して 且 mみ ぎする とができるよ う に構成しておい てもよい

[第 2 の実施の形能 ]

次に 本発明のステレオ力メ ラシステムの第 2 の実施形態 について 兌明する なお、 第 1 の実施形 toと同様の構成につ いては 同一の參昭符号を付す とで説明を 、略する

即ち の第 2 の実施形 においては 図 1 0 に示すよう に、 ステレォ光学モジュ ル 1 に 、 レクティ フィ ケーシヨ ン 処理部 1 5 r変換処理部 1 6 及びシェ ァイ ング補正処 理部 1 7 などの処理回路と 補正情報メモ U 7 を搭載せず、 これらを図 1 1 に示すよう に中央制御ュ ― V 卜 3 に搭載する これによ り 、 ステレォ光学モジュ ' ~ル内の電子回路の回路 規模を小さ くする とがでさる 即ち ステレォ光学モジュ ール内で発生する熱を抑制して ステレ才光学モジュール内 の光学系等の熱変形によるキャ U ブレ シ ンデータの変動 を抑制する こ とがでさ また 撮像表子 5 の冷却が 、 他の 発熱要素の減少によ 効率的に行えるので 埶雑音の発生を 抑える とができ よ り 良好なスァレオ画像を通信回線 2 に 出力する とが可能である。

なお の第 2 の実施形態の各構成は 当然、 第 1 の実施 形 と に各種の 形、 変更が可能である。

[第 3 の実施の形

次に 本発明のステレオカメ ラシステムの第 3 の実施形態 について説明する なお、 第 1 及び第 2 の実施形態と同様の 構成については 同 ―の参照符号を付す とで説明を省略す る 。 即ち 第 3 の実施形態における中央制御ュニッ 卜は、 図

1 2 に示す Ό に 図 6 で示す第 1 の実施形態の中央制御ュ ッ 卜から距離画像算出ュニッ 卜を除いたものである 即ち の第 3 の実施形態に いては 図 1 2 に示すよう に 、 ステレォマッチング処理までをステレォ光学モジュール 内で実施する そのため、 距離画像算出 ニッ ト 3 2 もステ レォ光学モジュ ―ル 1 に内蔵している の場合、 通信回線

2 には 物体認識に用いる 2次元画像と距離画像が出力され る 。 なお 第 3 の実施形態において第 1 の実施形態と異なる 占は、 ステレォ光学モジュール内の M側通信イ ンタフエ一ス

9 から画像了 夕を Ν T S C準拠のァナ Πグ方式で送り 出す 点も異なる

これら 2 次元画像と距離画像とは 、 図 1 3 に示すよう に、 例えば 1 つの N T S C方式の画面内に並ベて再配置され、 ビ テォ信 として出力され れによ り 通信回線 2 を介し て 、 距離画像と 2 次元画像とを 1口 J期させた状態で中央制御 ュ二ッ 卜 3 に送出する こ とが可能である た、 れらの画 像に、 基準画像として左右どち らの画像を用いて出力したか や温度センサ 1 1 で検出した温度や雨滴センサ 1 0 で検出し た情報等を 例えば文字放送などに用い られている信号領域 にェンコ一了ィ ングして送出する こ とによ り 、 画像と同期さ せた通信を行う ことも可能である。

このよう にして通信が行われた後は、 中央制御ュ ッ 卜 3 は、 U側通信ィ ン夕フエース 2 8 によ りその画像を丁コー ド して 2 次元画像、 距離画像、 及びセンサ情報と して処理する こ とによ り 各種き 識処理を実現する。 具体的には 中央制 御ニニッ ト 3 は、 U側通信ィ ンタフエース 2 8 を介して入力 された距離画像デ 夕に基づいて、 周辺環境判定ュ ッ 卜 3

3 にて図示しない被写体の評価を行 Ό

なあ、 れらのステレオ光学モジユールを複数用いる こと も可能であ り 、 例えば 2 つのステレオ光学モジュ ルを用 いる とさには 、 画面の上下画像にそれぞれのステレォ光学モ ジュールの力メ ラ I Dを示す ド と距離画像とを埋め込み、 単一の映像に同期させて中央制御ュニッ ト 3 に送信するよ 5 にしてもよい

また、 中央制御 ッ 卜 3 は、 内部の各種処理回路が専用 の A S I Cで Λ— ド、ゥエア的な結線で実現されて よく 、 さ らにはこれらがダィナミ ッ クに書き換える こ とがでぎる リ コ ンフィ ギュァラプルプ口セッサなどによって構築されていて も勿論よい

ま W y , 3 の実施形態では、 物体認識に用いる 2 次元画像 と距離画像とを N T S C方式のアナログ信号線を使用 して出 力したが、 上 βしした第 1 の実施形態と同じよつ に デジ夕ル デ一夕 としてテジ夕ル通 15回線に出力するよう にしてもよい。 この場合は、 上記した第 1 の実施形 と同じよラ にモーショ ン J P E G Μ P E G方式等のデー夕圧縮方式を用いてデー 夕圧縮処理を施した後に通信回線 2 に出力するよ Ό にしても よい。

特に車載用にした場合には 、 通信回線 2 に 図 7 に示すよ う に、 ステレォ光学モンュ ル 1 中央制御ュ V 05 、 転状況検出モジユール等を接続して 各種車載モジユールの 相互の連携がとれるよう に構成して 勿 B冊 ¾■わない 、 運転状況検出モン —ルとしては、 例えば、 図 7 に示すよう な車速センサモンユ ール 5 5 、 ェンジンコ ン 卜 Π ルモジュ ール 5 7 、 ブレーキセンサモンュ一ル 6 1 等がある o

環境監視モジュ —ルとしては 、 図 7 に示すようなレ ダ一モ ジュール 5 4 、 力一ナピゲ ―シヨ ンモンュ一ル 5 6 、 側方力 メ ラモジ 3. ―ル 5 8 室内監視モジュ —ル 5 9 後方カメ ラ モジユール 6 2 、 積載検出モシユール 6 3 後方超音波レー ダーモジュ―ル 6 4等がある 。 このような車内ネヅ ト ワーク の一部として用いる場合の ニッ トやモジュ ル間の通信に は W-通信技術である B 1 u e t o o t hや I E Ε Ε 8 0

2 . 1 1 I Ε Ε Ε 8 0 2 . 1 Xなどを用いる とも可能であ る。 また U S B I E E E 1 3 9 4 、 ィ サネ V 卜などの 有線ネッ 卜ヮ クゃ、 V o I P (ボイスォ一パ ァィ ピー） などの音尸 了 夕の伝送プ Π 卜コルや 、 リ ァル夕ィムメ ッセ ジング機能 （RTC/ SIP client ) などを用いてもよ く 、 I P V 6 などによ り各機器に I P ァ ド レスを割 当てた 内 L A

Nを構築してもよい。 更に、 車内ノィズ等に強い車載用光ネ トヮ一ク規格 「 M〇 S T」 や 「 C A N などの ォ プン スタンダー ド規格に対応した通信バスラィ ンを用いるよ う に してもよい。

ま こ、 通 回線 2 と、 ステレォ光学モジュ ル 1 や中央制 御 ニッ ト 3 との間をフォ 卜力ブラなどで電気的に絶縁する とで、 ハ一ネスに印加される各種スパィ ク ノィズなどの影 響を回路が受けないよう に絶縁しておいてもかまわない

また、 入力や表示については 、 例えば、 マィ ク Πソフ 卜 ( 登録商標） 社の Aut omotive UI Toolkit などの車載機 用の ュ —ザーィ ン夕フエースデザィ ンッ ルによ り構築された G

U I や音声ィ ンタフェースを用いてもよい

即ち、 この第 3 の実施形態では、 ステレォ光学モンュ ル 内で得られたステレオ画像デー夕に対して レクティ フィ ケ シヨ ン、 τ補正 、 シエーティ ング補正、 輝度信号と色差信 号への分離などの当該ステレオ光学モン ュ ―ルのための必要 となる画像処理だけでなく 、 距離画像の算出までもステレォ 光学モジュ一ル内で行う よう にした したがつて 第 1 の実 施形態と比べてさ らに中央制御ュ二ッ 卜側における回路負荷 を軽減でき、 中央制御ュニッ ト側での仕様をさ らに簡略化で ぎ 、 中央制御 トの汎用性を高める とができる

[第 4 の実施形 1

次に、 本発明の第 4 の実施形態について 明する の第

4 の実施形態においては、 よ り 良好な距離画像算出を行うた めに実施するステレオ力メラシステムの動作シ—ケンスを説 明する なね、 し は 車載用途の場合の ト リ ガ信 を例 として挙げる。 なお、 第 4 の実施形能は、 第 1 の実施形 で 示すステレオカメ ラシステムの動作シ —ケンスを示 9_もので ある 第 2 又は第 3 の実施形 のよ うな構成においても同様 に適用可能なこ とは言 までもない

まず 、 図 1 4 を参照してステレォ力メ ラシステムにおける メィ ン動作シーケンスについて説明する。 即ち 、 運転者など の操作者によ り ドアキ のォ プンや 、 イ ダ二ッ ショ ンキー の o Nを検出する と、 ス ―プ状態にあった中央制御ュ二ッ 卜 3がレジュームし （ステップ S 1 ) 、 起動する （ステッフ

S 2 ) 。 中央制御ュニ V 卜 3 は 、 起動する と同時に、 ステレ ォ光学モジュール 1 の画像出力処理回路 8及び撮像素子 5 を 起 させる （ステップ S 3 s 4 ) こ こでは 、 中央制御ュ 二ッ 卜 3 から通信回線 2 を介してステレオ光学モシュ ル 1 に対して、 ステレオ光子モジュール 1 •ar起動させるための 「 起動 マン ド」 が送信される ステレォ光学モンュ—ル 1 は、 この 厂起動コマン ド」 を受けて内部の図示しない電源回路を

-m ¾力モー ドか ら動作モ ドに切り換え、 それに引さ いて 画像出力処理回路 8 及び撮像 ftポ子 5 を起動させる。 しれによ 撮像が開始される また 同時に中央制御ュニッ 3 は、 図 1 5 に示すセンサチ ックシーケンスを開始させる (ステ ップ S 5 ) 。 このセンサチ X V クシ一ケンスの詳細に いて は、 後に述べる。

センサチェ ッ クシーケンスの結果 問題ない環境情報つ 夕 1 0 0がレクティ フィ ケ シ 3 ン処理部 1 5 に出力される と、 レクティ フィ ケーシ ョ ン処理が開始される。 即ち 、 レク ティ フィ ケーシ ョ ン処理部 1 5 は 、 この環境情報丁 夕 1 0

0や補正情報メモリ 7 に記 されたキャ リ ブレ一シ 3 ンテ一 夕 1 0 1 等に基づいてレクティ フィ ケーシ 3 ン処理を行う ( ステヅプ S 7 ) 。 そして、 しのレクティ フィ ケーシ 3 ン処理 が実施されたレクティ フィ ケ シ 3 ン画像は 、 通信回線 2 を 介して中央制御ュニッ 卜 3 に送られる。 なお 、 中央制御 二 ッ 卜 3 では、 例えば t

周辺環 判定 二ッ h 3 3 で 、 フレ ム メモ U 3 0 に し憶 ciれたこのレクティ フ ケ一シ 3 ン処理に 使用されたキャ リ ブレ一シ a ン丁 ―夕 1 0 1 が適正でめるか 否かをレクティ フィ ケ——ン 3 ン画像よ りチェッ ク し (ステッ プ S 8 ) 、 そのキヤ リ ブレ ―シ 3 ンつ—夕 1 0 1 に問題があ a には、 このときのレクティ フィ ケ ―ショ ン画像は 、 以 降の処理に使用 しないよう に 、 フレ一ムメモ U 3 0 から削除 する o そして 、 後に説明するキャ ブレ ショ ン了 一夕補正 処理を行い （ステツプ S 9') 、 キャ リ ブレ ショ ンしの補正 処理によつて補正されたキヤ リ ブレ ―シ a ンァ―夕を通信回 線 2 を介してステレォ光学モジュ ル 1 の補正情報メモ U 7 に上 きする こ とで 、 そこに記憶されているキャ U ブレ シ ョ ン了 夕 1 0 1 を更新する (ステップ S 1 0 ) o そして、 ステップ S 7 のレクティ フィ ケ一ショ ン処理 おいて 、 この 更新したキャ リ プレ —ショ ン丁 夕 1 0 1 を使用 してレクテ ィ フィ ケ ショ ン処理を行う し とになる o しれによ り 、 常に 最新且つ正しいキヤ リ ブレ一シ 3 ン ~)—夕でレクティ フィ ケ ―シ a ン処理が実行され

レクティ フィ ケ一シ 3 ン処理が実施されたレク丁ィ フィ ケ シ 3 ン画像よ りキャ U プレ シ 3 ンデータに問題が いと 判別された • には、 中央制御 .一ッ 卜 3 内の距離画像算出 ュ二ッ 卜 3 2 は 、 入力されたレクティ フィ ケ シ 3 ン画像に 基づいて、 ウイ ン ド マッチング処理を行った後 (ステップ

S 1 2 ) 、 距離画像を生成し 、 の生成した距離画像を周辺 環境判定ュ二ッ 3 3 に出力する (ステップ S 1 3 第 2 の 画像評価シ一ケンス） この距離画像を用いて 、 中央制御ュ 二ッ 3 の周辺環境判定ュ二 卜 3 3 は、 後に説明する運転 支援を実施する (ステップ S 1 4 ) □

ゲ

で、 ドァキ一がォープンされたり 、 イ ダ シ 3 ンキ 一が O F F されるとステップ S 1 5 の判定を y e S に分岐し て、 現在のキャ U ブレ ―ショ ン丁一夕を記録させ (ステッ プ

S 1 6 ) 、 中央制御ュ一 V 卜 3 はスリ 一プ状態に入り 、 ステ レオ光学モン ュ ル 1 も動作を停止 で 中央制御 ュ二ッ 卜 3 から通信回線 2 を介してステレオ光学モジ 一ル

1 に対して 、 ステレォ光学モンュ ル 1 の動作を停止させる ための 「動作停止コマン ド」 が送信される。 ステレォ光学モ ン ュ ル 1 は、 の 「動作停止 マン ド」 を受けて所定の動 作を行つた後に 電力モ ドに入る

次に 、 図 1 のステップ S 5 におけるセンサチ Xック シ一 ケンスについて図 1 5 を参照して 明する。 なお 、 では、 ステレォ光学モンュ ¹ ~ル 1 を 、 車内のルームミ ラ に取り付 け、 フ口ン 卜ゥィ ン ドガラスを介して車体前方を 像する場 合を想定して説明する

このセンサチェヅクにおいて 、 まず 、 中央制御ュ一ッ 卜 3 は、 既知の手法によ フ口ン 卜ゥィ ン ドガラスのクモリ ' 結 露の検出を行って (ステップ S 2 1 ) 、 革両のフ ロ ン 卜ウイ ン ドガラスにクモリや結露がないか否かを判定する (ステツ プ S 2 2 ) 。 この判定においてクモ U がある と判定し 逼ム には、 中央制御ュ一 V 3 は 、 図示しないデフロス夕を Ο Ν してクモリ の除去を開始する とともに (ステップ S 2 3 ) 、 表示入力装置 3 5 にクモリ警口表示を行う （ステツプ S 2 4

) 。 そして、 デフ Πス夕の効果によ り クモリ が除去された場 合、 中央制御ュニッ h 3 は、 ステヅプ S 2 2 の判定において クモリ なし と判定し 上記クモ 言口表示を消灯する (ステ ッ プ S 2 5 ) 。

次に、 中央制御 ―ッ h 3 は 、 通信回線 2 を介して送られ てきた雨滴センサ 1 0 の出力によ り雨滴の検出を行い (ステ ッ プ S 2 6 第 1 の画像評価シ ケンス） 、 フロ ン ウィ ン ドガラスに雨滴が いていないか否かを判定する （スアツフ

S 2 7 ) 。 この判定に いて雨滴がついている と判定した場 合には、 中央制御 一ッ h 3 は 図示しないワイパ ―を動作 させて雨滴の除去を開始する とと に (ステップ S 2 8 ) 、 表示入力装置 3 5 に雨微

言 a 衣示を行 (ステップ S 2 9 ) 。 そして、 ワイパ一の効果によ り 、 雨滴がなくなった場合、 中 央制御ュニッ ト 3 は 、 ステップ S 2 7 の判定において雨滴な しと判定し、 上 己雨 PI表示を消灯する （ステップ S 3 0 ) 次に、 中央制御ュ y 卜 3 は 温度センサ 1 1 によ り ステ レオ光学モンュール 1 周囲の温度検出を行い （ス丁 Vプ S 3

1 ) 、 ¾¾.出した温度がステレォ光学モン ュール 1 の動作に適 正な範囲内であるか否かを判定する （ステ プ S 3 2 ) の判定において検出した温度が ； 正範囲内でないと判定した 場合には、 中央制御ュ二ッ 卜 3 は、 図示しないェァコンを動 作させて温度 節を行う とと に （ステップ S 3 3 ) 表示 入力装置 3 5 に 曰 止丰

1SB. ス警 示を行う （ステップ S 3 4 ) そ して 、 ェァ ンの効果によ り 温度が m正 範囲内にな た場合、 中央制御ュ ―ッ 卜 3 は 、 ステップ S 3 2 の判定にね いて適正温 ！ス範囲内である と判定し、 上記温度警 α 示を消 灯する （ステッ プ S 3 5 )

れらのセンサチ Xックは 中央制御ュ二ッ h 3 が動作し ている間は実行される 。 即ち 中央制御ュ二ッ h 3 は 停止 信号が入力されたか否かを判 し （ステップ S 3 6 ) 停止 信号が入力されたと判定した場合には のセンサチ X ク を終了させる 一方 停止信号が入力されていないと判定し た塲合には 検出された、 クモリ 情報 、 雨滴センサ情報 及 び温度センサ情報といつた環 情報デ 夕 1 0 0 を 信回 線 2 を介してステレ才光学モンユール 1 のレクティ フィ ケ ショ ン処理部 1 5 に出力した後 (ステッ プ S 3 7 ) ステッ プ S 2 1 に戻 Ό 、 センサチェ V ク を継続する。 で 第 4 の実施形態では 、 第 1 の画像評価シーケンスと第 2 の画像評 価シーケンス とを時分割的に切り換えながら行 ているが ュ―ザのマ ―ュアル操作によ り 、 これらを切り換えるよ Ό に しても良い / お、 のセンサチエッ クのフ Π チャ 卜よ りわかるよ に、 上記環境情報デ —夕 1 0 0 は クモリ • 結露、 雨滴 度が所定の条件範囲内にある と含にのみ出力されるもので あ り、 よつて 、 この環境情報テ 夕 1 0 0 を使用する レクテ ィ フィ ケ ショ ン処理は、 たとえ撮像素子 5 によ りステレォ 画 されていたとして 開始される とはない。 従つ て 、 そのよ うな場合には、 故障によ Ό動作がされないのでは なく、 所定の条件が得られていないために動作しないのであ る ことを運転者に知らせるための警口表示を 、 表示入力装置

3 5 によ り行う こ とが好ましい

図 1 6 は 図 1 4のステツプ S 9 にねけるキヤ リ プレーシ

3 ンデータ補正のシーケンスを示すフ Πーチヤー 卜である 即ち、 この図 1 6 に示すよ う に 周辺環境判定ュニッ 卜 3

3 は、 まず 通信回線 2 を介して入手した温度センサ 1 1 で 検山した温度情報等の環境条件が亦化したか否かの判定を行 い (ステツプ S 4 1 ) 、 例えば 1 度変化などによる熱膨張 などのためにキヤ リ ブレーシ 3 ン了 夕が変化する場合には

E P R O M 3 1 又は H D D 5 3 に予め用意された温度別のキ ャ リ ブレ一シヨ ン —夕テーブル 1 0 2 から 、 その温度に対 応するキヤ ブレーシヨ ンテ 夕 1 0 1 み出し、 それを 通信回線 2 を介してステレオ光学モンュール 1 の補正情報メ モリ 7 に書さ込むこ とで （ステップ S 4 7 ) 、 キヤ リ ブレ シヨ ンデー夕 1 0 1 を更新する

次に、 あるいは上記ステツプ S 4 1 で環境条件変化なしと 判別した場合には、 既知形状物体画像 ( では、 通信回線 2 を介したス丁レォ光学モジュール 1 からのステレ才画像 ) を取 ステップ S 4 2 ) 、 ステレオ光学モジュ ル 1 の 取り付け位置などの取り付け条件が変化したか否かを判定し

(スアツ ノ S 4 3 ) 、 取り付け条件が変化している場合には、 その変化に応じてキャ り プレー ンョ ンっ タを補正し (ステ ッ プ S 4 4 ) 、 その補正した更新キヤ リ ブレ ショ ンう 夕

1 0 3 を上記キャ り ブレ ショ ン 5 タテープル 1 0 2 に追 記する と共に 、 通信回線 2 を介してステレオ光学モンュ ル

1 の補正情報メモリ 7 に き込むこ とで、 レクテ フィ ケ ショ ン処理に使用されるキヤ リ ブレ一シヨ ンァ ―夕 1 0 1 を 更新する。

のような補正を行う とによ り、 レクティ フィ ケ一シ 3 ン処理ゃゥィ ン ド マッチングが常に良好な状態で実施可能 である

図 1 7 は 、 図 1 4 のステップ S 1 4 の運転支援のシ ケン スの一例を示すフ Dーチャ 卜である。

即ち、 周辺環境判定ュ ッ ト 3 3 は、 この 転支援シ ケ ンスに入る と 、 通常画像 ステレオ画像切り 出し部 4 3 で切 り 出した 方の画像 ) 1 0 4、 距離画像 1 0 5 を入力として 用い 、 距離分布に基づくセク メ ンテーシヨ ン処理を実施した 後 （ステツプ S 5 2 ) 、 先行車両認識 （ステ V プ S 5 4 〜 S

5 7 ) 、 道路面認識 (ステップ S 5 8 〜 S 5 9 ) 、 障害物認 識 （ステツプ S 6 1 〜 S 7 0 ) 、 及びレーン 識 （ステップ

S 7 1 〜 S 7 3 ) などを実施する。

先行車両 =¾»識では 、 レ ザレーダーなどを用いたレーダ モジュ―ル 5 4 によ り車両から反射したレ ザ—を検出する こ と ¾J識された先行車両を通常画像 1 0 4か ら抽出し 、 距 離画像 1 0 5 のセグメ ンテ シ 3 ンと整八をつけて先行車両 の領域を し （ステップ S 5 4 ) 先行車両の車幅などの 情報も含めて抽出する とで、 先行車両との車間距離を抽出 する (ステッ プ S 5 5 ) 次に 先行車両との距離をチェッ ク し (ステッ プ S 5 6 ) 先行車両との距離が適正でない （ 例えば、 近すぎる） 場 には、 画像出力装置 3 4 を介して表 示入力装置 3 5 に図 1 8 に示すよ な画像表示を行う ことに よ り 、 車間距離警告を実施する (ステ V プ S 5 7 ) 0

路面検出では、 距離画像 1 0 5 において 道路面がめ と想定される位置に距離画像 1 0 5 から できる平面を発 見して （ステップ S 5 8 ) 、 その平面の範囲を道路面と同一 平面状のある平面と して認 る 0 そして の道路平面を 基準面として設定する (ステップ S 5 9 ) の基準面のデ 夕 1 0 6 を各認識処理に用いる とで 物体の認識や 、 先 行車両の wo- p 、 レーンの認識などに利用でさる 。 このときに は、 図 1 9 に示すよう に 画像出力装置 3 4 を介して表示入 力装置 3 5 に認識平面を表示してもよい

障害物 ロ^では、 例えば 、 上記道路面検出された平面から 立ち上がつて距離画像 1 0 5 のセグメ ンテ ショ ン処理によ つて されている物体を し (ス丁 Vプ S 6 1 ) 、 宝 物として 、 その距離 大きさなどをラベ U ングする。 これに 応じて、 m蜜物の距離を抽出し (ステップ S 6 2 ) 、 衝突コ スか否かを判定し (ステップ S 6 3 ) 突コースの •¾r には、 画像出力装置 3 4 を介して表不入力装 3 5 にて操作 者に回避を促すような回避警告をする （ステップ S 6 4 ) 次に 、 上記ステップ S 6 2 で抽出した距離が 操作者つま り 運転者の自発的なプレ —キ操作によつて安全に停止できる距 離か否かを判定し （ステツ プ S 6 5 ) 、 安全に停止可能な場 合には、 操作者にブレ —キを踏ませるよラ に画像出力装置 3

4 を介して表示入力装置 3 5 にて 告する (ステップ S 6 6

) 一方、 安全に停止する こ とが出来ない距離である場合に は 操作者にブレーキを踏むよ う に画像出力装置 3 4 を介し て表示入力装置 3 5 にて指示を行う と共に ァクセルを自動 的に緩める （ステツプ S 6 7 ) 更に、 こ で回避動作が可 能である場合には （ステツプ S 6 8 ) 、 ェマ ジング ドラィ プと して画像出力装置 3 4 を介して表示入力装置 3 5 にて八 ン ル操作を促すなどして強制的に安全対策を §¾·しる (ステ ップ S 6 9 )

衝突が不可避の場 は、 エアパッ クなどの Λッ シブセ フ ティ のための前準備を行う （ステ Vプ S 7, 0 ) 。 特に 車外 通信システムなどが作動可能な場合などは 現在地.や 事故 発生の通報などの事故報告を自動的に実施するよう に構成し て よい。

レ ' " ノ ^C

¾ 平面上にある白線を通常画像 1 0 4 の 輝度値からの認識や 基準平面から一定高さに突出したガー ド レ ルなどを距離画像 1 0 5 から B'¾ Bf¾ 9 る となどから、 レ ンを認識する （ステツプ S 7 1 ノ れによ り 走行可 能域を認識する とと に、 レーン内から外れていない とを チエッ ク し （ス丁ップ S 7 2 ) 、 レーンか ら外れそう になつ たときは、 図 2 1 に示すよう に、 画像出力装置 3 4 を介して 表示入力 置 3 5 にレ ―ン警告の表示などを行う (ステップ

S 7 3 ) 。

なお、 第 4 の実施形態で 、 上 富口 と して 図 6 に示し た中央制御ュ ッ h 3 に接続された表示入力衣 a 置 3 5 の画面 上 1 ； S¾ ^fc ま

^ 嘗 ロ 衣 J する例について示したが、 当然の亦形例と して ピー力 ■=1=

ス 3 8 からの音尸警告ゃ、 表示灯 4 2 の占打 J また図 していないが 連 シ トを振動させるなどの手段で操作 者に注意を促す形で警 σを行ってもよい ο れは 、 特に 上 記ステップ S 6 4 s 6 6 , S 6 7 のよう に緊 性が高 < また操作者が刖方から視線をそらすことが好ましく ない場 に 、 有効である o

以上説明したよう に 第 4 の実施形態によれば 情報 に適応させてキャ リ プレ ショ ンデータ •ar適切に選択及び補 正しながらステレォマ Vチングを実施する こ とができる ο なお、 この第 4 の実施形態の各構成もまた 当然、 各種の 変形、 変更が可能である ο

例えば、 キャ U ブレ ショ ンデ一夕の補正は 予め 、) 1皿曰度等 によ り 、 テーブルを変 した複数のキヤ リ ブレ ショ ン丁 夕テーブルから選択する とで補正を行 Ό よ Ό にしてもよい また、 センサチェ ヅクで 、 センサが問題を発見した際の対 応手段としては 第 4 の実施形態で示したデフ Πス夕 ヮィ パ 及びェァコ ンに限定されるものではな < 別の手段 例えば、 デフ Πス夕の代わり にクモリ 防止コ ティ ングゃ埶 5 線ヒ一夕を用いたり、 7ィパ一の代わ り に 撥水ガラスコー 卜やブ口ァを用いたり 、 ェアコ ンの代わ Ό にぺルチェ素子や 空冷ファ ンを用いて よい。

また 、 図 1 4で示した動作シ —ケンスのフ Π一チャ一卜 も 各種の変更が可能である 。 例えば、 センサチェ ックにおいて クモ U . 結露、 雨滴 、 im.度が所定の条件範囲内にないときも .境情報デ一夕 1 0 0 を出力するよう にしゝ 図 2 2 に示すよ う に 、 その環境情報テ 夕 1 0 0 よ り環境情報の条件が不適 切で αδ Ό (ステップ S 8 7 ： n o ) 、 レクティ フィ ケーショ ン処理等が行えない場 には、 センサチ Xッ クシ一ケンスを 起動する とともに、 距離画像の出力処理を停止し処理不能警 告を画像出力装置 3 4 を介して表示入力装置 3 5 に表示する

(ステップ S 8 8 ) とで、 運転者などの操作者にその旨を 伝達するよう にして よい。

また 、 図 1 5 におけるセンサチェッ クシ一ケンスでは、 ク モリ 除去やワイパ一などを継続的に用いるよう にな ている が、 図 2 3 の う に了フロス夕やワイパ一 、 ェァコ ンを、 セ ンサ情報が良好になつた場合に 〇 F Fする (ステップ S 1 0

5， s 1 1 1， S 1 1 7 ) よう にしても勿 よい ま 7こ、 ¾¾ 境情報 (温度センサ情報等） のつ 夕 定期的に出力させる

(ステップ S 1 2 0 ) よう にしてもよい

また 、 図 1 5 におけるセンサチェック シ ケンスでは、 全 ての処理が直列的に実行される例を示したが 、 図 2 4 のよう に、 並列的に各 条件のチェッ ク （ステップ S 1 2 2 , S

1 2 8 , s 1 3 4 ) や 、 計測不能を解消するための動作 （ス テップ S 1 2 3 s 1 2 9 s 1 3 5 ) を実施するよつ にし てもよい また 、 計測不能を解消するための動作はシステム が自動的に実施するよう にして よ く 操作者には、 盲 口の みで らは、 処理が不能である旨を表示した りするよ に してちよい o

また 第 の実施形態では、 クモリ 雨滴、 及び温度を代 表的な環境情報として提示したが 、 霧 撮像素子の トラブル 昼夜間の切り替え、 照度情報、 枯葉や 、 の糞、 車内に釣られ たマス V 卜などによるゥィ ン ガラスの汚れや遮蔽 又は 対向車両の相対位置などの情報などを環境情報として用いて

¾ い

更に 第 4 の実施形態は 、 複数の撮像素子を用いたステレ 才力メ ラの但 A口でも用いるこ とが可能である o

[第 5 の実施形態 次に 本発明の第 5 の実施形 HEについて説明する。 の第

5 の実施形態は 、 複数の光学モジュ ルを有するシステムに 関して説明する 。 個々 の光学モンュ―ルの構成については 上記した第 1 か ら第 4 の実施形能に準ずる o

即ち 図 2 5 のよう に複数のステレォ光学モジユール 1 a

1 b 単眼光学モジュ―ル 7 1 a , 7 1 bが通信回線 2 に接 れる 通信回線 2 には中央制御ュ ―ヅ 卜 3 が接続される とと に 運転状況検出モンュ ル 7 2 環境監視モンュ ル 6 0 などが接 ¾される o

で 単眼光学モジュールとしては 図 7 に示す 側方 力メラモジュ ~ル 5 8や 後方力メ ラモンユール 6 2 が挙げ られる また 連転状況検出モンュ ル 7 2 と しては 図 7 に示す ェンジンコ ン 卜ロ ルモジュール 5 7 、 プレ キセ ノサモンュ ル 6 1 や、 図示しないステァ U ング角検出モジ ュ —ル 速機監視モシュ ル等が挙げられる 。 更に 環 監視モジュ ル 6 0 と しては 図 7 に示す レーダーモンュ

―ル 5 4 車速センサモジュ ル 5 5 、 力 ナピゲ シ 3 ン モジュ ―ル 5 6 、 室内監視モジュ ル 5 9 積載検出モンュ ル 6 3 後方超音波レーダ モンュール 6 4等が挙げられ で 光学モン ルで得られた画像情報には 各光学 モンュ ―ルの力メ ラ I Dや 、 それぞれの光学モンュ ルにお けるキャ U ブレ ショ ン了一夕等の情報を付加して送 信を 実施し それを中央制御 ニッ 卜 3 が判別させるよう にすれ ば どの光学モシュ―ルの情報をどのキャ リ プレ シ 3 ンデ 夕を用いて処理すれば良いかを判定可能である

また 通信回線 2 はやはり 1 系統の通信回線であ り この 通信回線 2 を使用 して中央制御ュニッ 卜 3 とステレォ光学モ ンュ ル 1 a を始めと した各ュニッ 卜の間で効率よ <相互の 通信を行う とができるよう になっている 即ち の通信 においては 中央制御ュ ―ッ ト 3 が、 全体システムのシーケ ンス制御を統括して行い 中央制御ュニ V 卜 3 から各ュ二ッ 卜 に対してはつ タ要求 マン ドを始めと した各種制御コ ン ド、を また各ュ二ッ 卜から中央制御ュ ―ッ h 3 に対しては 要求されたァ 夕等を送 返す。

また 2 5 に示すよう に、 通信回線 2 を it通で用いる (― とによ り、 内ハーネスの削減に繋がる このため、 重量の 軽減 ノィズ混信の影響削減等の効果 守られる

[第 6 の実施形態]

次に本発明の第 6 の実施形態について 明する 。 この第 6 の実施形態は 、 ステレオ光学モジュ ルに搭載される雨滴セ ンサ 1 0 の一実施形態である。

従来の雨滴センサは、 例えば 、 図 2 6 に示すよう に、 ゥィ ン ガラス 7 3 に密着したガラスブ Π Vク 7 4 に向けて、 赤 外光や可視光の発光ダイォ ― ド' (投光 L E D ) 7 5 から投光 を行 の光を投光レンズ 7 6 で集光し の集光光線の ガラス外側面における反射光を 、 反射 ラ 7 7 等によ り受 光レンズ 7 8 に導く 。 そして、 受光レンズ 7 8 でその導かれ た光を集光し 、 この集光光線をフ才 卜ダィォー ド、等の受光セ ノサ 7 9 で検出する。 このとき 、 ゥィ ン ガラス 7 3 に雨滴 が付着している場合には、 光が散乱して光量が亦

久化するので、 雨滴量を計測する こ とが可能である

しかしながら 、 この従来の雨滴センサでは 、 ガラス面に密着 して 雨滴センサを設けなければならず スぺ スゃコス 卜 上の制約となつていた。 また、 運転者の視野の妨げになつた り 雨滴センサの他に車両の前方の障害物等を検出するため のステレオ光学モジュールを搭載する +日 は、 ステレオ光学 モジュールの視野が遮蔽されてしまう問題やステレオ光学モ ンュ ル 1 に対する雨滴センサの設置位置などの問題がある 。

そ で、 第 6 の実施形態における雨滴センサは 、 ステレォ 光学モジュ ル 1 で撮像された画像を用いて雨滴を検出する 上記した実施形態で説明したステレオ光学モジュール 1 で は 、 左右視差の横長の画像を 、 図 5 のよう に上下に振り分け て撮像素子上に結像させるステレオ光学系が用い られてお り 、 の結果 、 図 2 7 に示すような横長のステレオ画像が得られ る で、 ステレォ計測の原理による と、 一般に遠距離の 物体は視差が小さ ぐ 、 近距離の物体は視差が大きい 。 即ち、 上記した実施形態で説明した光学系では、 計測できる視差範 囲を広く取れるので 、 ステレォ画像のある領域では 、 基線長 から考える と従来に比べ非常に近距離 （例えば、 十数センチ の基線長で、 十数センチから数十センチの近距離 ) から無限 方まで対応する こ とができる

図 2 8 は、 第 6 の実施形態で用いるステレオ光学モシユー ル 1 の左右 2視点のステレオ画像の画角について示した図で ある 。 即ち、 第 6 の実施形態では、 少なく とも雨滴検出対象 である車両のゥィ ン ドガラスが、 左右視点における画角がォ バラップするォーバラ ップ領域 8 3 に入るよう にステレオ 光学モジユール 1 を配置する 。 例えば、 図 2 7 の例における 雨滴検出用探索範囲は、 図 2 8 のオーバラッ プ領域 8 3 のう ち 、 ゥィ ン ドガラスの存在する距離域 （図の斜線部） になる。

特に、 車載用途を考えた場合には、 障害物認識などは数メ 一 卜ルか ら数十 、 或いは数百メー トルという遠距離を計測す るので、 見 ζε が小さい。 このため、 一般にウイ ン 一マツ チングをする場合は 、 処理の高速化を狙ってェピポ一ラ線上 における対応点の探索幅を短くする。 なお、 近距離の場合に は 、 探索幅が広くなるので、 それだけ対応点の探索に時間が かかる

しかしながら 近距離だけ、 特に第 6 の実施形態のよ う Z ウイ ン ドガラスのある数十センチ以内の領域だけのゥィ ン ド

―マッチングを行う のであれば 視差量を大きく とれる 。 極 端な例と しては 図 2 7 に示す雨滴検出用探茶範囲のみを探 索すれば、 雨滴の検出が可能でめる。

れを図 2 9 及び図 3 0 を参照して更に詳し く説明する と、 従来のよう に 距離から近距 までの物体を連続的に測距 して距離画像を算出するときに 画面端の基準点から探索を 開始し 追 には 、 探索ゥィ ン ド、を、 画面を横断して移動さ せながらウイ ン マッチングを行う必要がある れでは、 探索に時間がかかり、 特に車載など距離計測に時間的な制約 がある用途では 致命的な欠陥にな りかねない

そ で、 第 6 の実施形態では 水滴や雨滴を検出する第 1 の画像評価シ ケンス と障害物や車両などの物体を検出する 第 2 の画像評価ン ケンスとをモ ド として切り換える 。 即 ち、 水滴や雨滴を.検出するモ ド、では 、 図 2 9 に示すよ う に、 基準画像 8 0 の内 、 近距離対応の範囲でウイ ン ドーマ 、ソチン グを行う 方 障害物や車両などの物体を検出するモ ― ド では 探索範囲を限定し、 例えば 3 mから 1 0 0 mに相当す る視差量分の探索を行う。 これらの処理は、 画像評価装置と しての中央制御ュニッ 卜 3 によ Ό行われる。

また特に、 雨滴検出を頻繁に行う場合には 探索画像 8 1 側の探索範囲を 図 3 0 に示すよう にウィ ン ド、ガラス 7 3表 面を含む限定した距離領域 (例えば、 ウィ ン ド形状又は傾き 合わせた狭い領域） に対応する探索 IS囲 (図中、 斜線部） に 限定するよう にしてもよい。 即ち 図 2 7 に示す右画像の左 端及び左画像の右端の雨滴検出用探索範囲のみを探索範囲と するよう に、 探索範囲の値にオフセ V 卜をかけ 、 第 1 の画像 評価シ一ケンスに基づいて演算してもよい のよう に探索 範囲を限定する とで 、 よ り高速なゥィ ン ―マッチングに よる雨滴検出が実現でぎる。

更に、 図 3 0 に示すよ 5 に、 ゥィ ン ド、ガラス 7 3 の傾斜に 対応して探索範囲も傾斜している場合には 画面上端はよ り 近距離であ り 、 画面下端は上端に比ベる と 距離であるので、 図 3 0 に射線部で示すように、 探索範囲のォフセッ 卜 を画 面上端側の探索から画面下端の探索にかけて 減少させつつ ウィ ン ド マツチングをするよ う にしてもよい

以上説明したよう に 、 第 6 の実施形能では 雨滴センサと しての機能を近距離限定のウィ ン マッチノグによ り実現 する こ とで、 中央制御ユニッ ト 3やステレォ光学モジュ ル

1 に新たな装置を追加せずに、 雨滴やガラスの汚れ等を検出 する ことが可能である

また、 通常の障害物の距離計測は 視差の小さな範囲での マツチングで、 雨滴検出は視差の大さな範囲でのマツチング で並列して行う 若し く は時分割で行 Όなどする こ とで 障 害物の距離計測をしながら雨滴検出の機能を実現する とも できる。

なお、 この第 6 の実施形態の各 成は 当然 、 各種の変形、 変更が可能である。 例えば、 ウィ ン ドガラス表面の水滴や雨滴を検出する演算 部と障害物や車両などのゥィ ン ドガラス前方の物体を検出す る演算部とは 1 つの演算部としておく必要は無く 、 中央制御 ユニッ ト 3 内にウィ ン ガラス表面の水滴や雨滴を検出する 第 1 の画像評価演算部と障害物や車両などのウイ ン ドガラス 前方の物体を検出する第 2 の画像評価演算部とを別個に設け るよう にしておいても良い 。 この場合には、 状況に応じて第

1 の演算部と第 2 の演算部とを切り換え可能と しておく 。 また、 第 6 の実施形目、 gでは、 撮像画像をパッ シブで処理す る例を示したが、 ウイ ン ガラス 7 3 に特定の波長の光を特 定の周期で発光させるなどして、 それによる雨滴からの散乱 光を元に雨滴検出を行 ようなァクティ ブな方式を併用 して もよい。 この場合、 時系列的に、 雨滴検出と距離計測とを切

■、、

り換えてステレオ光学モンユールの右左いずれかの視野内に 投光すればよい。 また 、 並列して処理する場合には、 図 3 1 や図 3 2 に示すよう に視野の周辺部である と ころのォ一バラ ッ プ領域外の画像を 2 次 7Cの.画像として撮影し、 オーバラ ッ プ領域外の領域に、 図 3 3 に示すような光照射装置と しての 光ビーム投光器 8 2 か ら 、 赤外光などの光ビームを投光して 雨滴の検出を行う よう にしてもよい。 なお、 この場合には、 遠距離になっても、 ォ パラ ッ プしないので、 輻輳角を外側 に開いて視点を設置する う にしてもよい。 また、 ォ一バラ ップ領域外の領域は、 ステレオ計測には用い られないので、 この視野範囲のみに赤外光を投光して雨滴の検出を実施する こ ともできる。 更には、 図 3 4 のよ Ό にォ パラ Vプ領域外の領域に相当 するウィ ン ドガラス表面に雨滴検出用のコ一ティ ング 8 4 を 施すよう にしてもよ < 例えば 、 ゥィ ン ドガラス 7 3 の表面 にクモリ ガラスになるよ 拡散面を け、 雨滴が付着した部 分の透過性が上がるよう に構成してもよい。 また、 濡れ判定 の発色シ一 卜の貼 ΰ込みなどをする とによ り雨滴などを検 出する水滴検出装置を構成しても良い

また、 撥水シ一 卜 と親水シ 卜のゥイ ン ドへの張り込みに よ り、 よ り明確な雨滴有挺の判定ができるよ う にしてもよい。

また、 よ り近距離 影に するよ に正のパワーを持つク ローズアップレンズを 視野マスクの該当視野部に設置する こ とにより、 合焦域を近距離 少な < ともウィ ン ドガラス面 とステレオカメ ラシス丁ムとの間の距離に限定して、 雨滴の 検出を、 2次元画像からの検出 、 赤外光の撮影、 形状抽出、 色検出等で実施して よい れらの検出を距離計測に用い ない領域で行えば 距離計測に悪影響を及ぼすこ となく 、 単 一の撮像素子だけで 雨滴の検出を実現できる。

また、 赤外光を投 する場 は、 予め、 オーバラ ップ領域 外の領域を撮影する撮像素子に られた赤外カ ツ トフィ ル 夕を除去するか、 若し < は の部分をパン ドパスフィ ル夕に 置換する ことで、 よ り効果的な計測を実現する こ とができる。

更に、 第 6 の実施形 では 才ーパラ ップ領域外の領域に、 投光ゃ雨滴検出コ 卜をするよう に構成したが、 画面周辺部 は測距に用いないのでめれば その部分に相当する、 画面周 囲のウィ ン ドガラスに対して 上記した雨滴の検出手段を設 けるよう に構成しても勿論かまわない o

なお、 上記した各実施形態について ステレォ光子系にピ ン 卜合わせ機構を設ける ことな ヴィ ン Fガラスの近傍か ら前方の所定距離 （例えば、 5 0 3 0 0 m ) までを被写界 深度とするような所謂パンフ才一力スのステレォ光学系を構 成してもよい。 この場 Π には、 ピン 合わせ機構を設けなく とも、 ウィ ン ドガラスに付着した雨滴又は付着物と刖方の障 害物の双方に概略ピン h合わせが可能であ り 双方の形状認 を同時に行つ こ とが可能である o

以上実施形 に基づいて本発明を説明したが 本発明は上 記した実施形能に限定される ものではなく 、 本発明の要旨の 範囲内で種々 の変形や応用が可能なこ とは勿論である o 例え ば 、 上記した実施形態では、 車両搭載型のステレ才力メ ラシ ステムについて説明しているが 、 例えばロポッ 卜のよ な移 動体において距離計測を行う場合等でも利用可能である o さ らに、 上記した実施形態には種々の段階の発明が含まれ てお り 、 開示される複数の構成要件の適当な組合せによ り種 々の発明が抽出され得る 。 例えば、 実施の形態に示される全 構成要件からいく つかの構成要件が削除されても 発明が解 決しょう とする課題の欄で述べた課題が解決でさ 発明の効 果の欄で述べられている効果が得られる場合には の構成 件が削除された構成も発明と して抽出され得る o

Claims

a* 求 の 範 囲

1 . 被写体に対して第 1 の視点から見た第 1 の被写体像 を発生させる第 1 の光導入部と 、

前記被写体に対して前記第 1 の視点とは異なる第 2 の視占 から見た第 2 の被写体像を発生させるための第 2 の光導入部 と、

前記第 1 の光導入部から入射した光束による第 1 の被写体 像の全部分又は大部分を 、 第 1 の光導入部と前記第 2 の 光導入部の各々 の中心を ぶ基準線と前記光束の入射方向と に対して直交する第 1 の方向にある第 1 の半面部に結像させ る第 1 の光偏向機構と、

前記第 2 の光導入部から入射した光束による第 2 の被写体 像の全部分又は大部分を 、 刖 B3第 1 の方向とは前記基準線を 跨いで反対側の第 2 の方向にのる第 2 の半面部に結像させる 第 2 の光偏向機構と、

を具備し、

第 1 の光導入部の略後方であ り前記第 1 の光偏向機構に対 して、 刖記基準線及び前記光束の入射方向と直交する方向で あって 記第 1 の光偏向機構に対して前記第 2 の光偏向機構 がずれた方向にある第 1 の空間領域又は前記第 2 の光導入部 の略後方であ り前記第 2 の光偏向機構に対して、 前記基準線 及び前記光束の入射方向と直交する方向であって前記第 2 の 光偏向機構に対して前記第 1 の光偏向機構がずれた方向にめ る第 2 の空間領域の少な < とも何れか一方の空間領域に構成 部材を配置する こ とを特徴とするステレォ光学モジユール □

2 . 被写体に対して第 1 の視点から見た第 1 の被写体像 を発生させる第 1 の光導入部と、

記被写体に対して前記第 1 の視点とは異なる第 2 の視点 から見た第 2 の被写体像を発生させるための第 2 の光導入部 と

刖記第 1 の光導入部から入射した光束に る第 1 の被写体 像の全部分又は大部分を 第 1 の光導入部と前記第 2 の 光導入部の各々の中心を結ふ ά準線と前記光束の入射方向と に対して直交する第 1 の方向にある第 1 の半面部に存在する 像素子に結像させる第 1 の光偏向機構と、

刖記第 2 の光導入部から入射した光束による第 2 の被写体 像の全部分又は大部分を 刖 B3第 1 の方向とは刖記基準線を 跨いで反対側の第 2 の方向にある第 2 の半面部に存在する撮 像素子に結像させる第 2 の光偏向機構と

ステレオ光学モジ ルの内部の機構を保護するためのケ シング部材と、

を具備し、

第 1 の光導入部の略後方であ り 刖 B己第 1 の光偏向機構と前 記ケ シング部材とに挟まれた第 1 の空間領域又は HU記第 2 の光導入部の略後方であ Ό 刖記第 2 の光偏向機構と HU記ケー シング部材に挟まれた第 2 の空間領域の少なく とも何れか 方の空間領域に構成部材を配置する こ とを特徴とするステレ ォ光学モジュール

3 . 被写体に対して第 1 の視点から見た第 1 の被写体像 を発生させる第 1 の光導入部と 前記被写体に対して前記第 1 の視点とは異なる第 2 の視点 から見た第 2 の被写体像を発生させるための第 2 の光導入部 と、

刖記第 1 の光導入部か ら入射した光束による 1 の被写体 像の全部分又は大部分を m ø己第 1 の光導入部と前記第 2 の 光導入部の各々の中心を 口ぶ基準線と前記光束の入射方向と に対して直交する第 1 の方向にある第 1 の半面部に存在する 撮像素子に結像させる第 1 の光偏向機構と、

記第 2 の光導入部か ら入射した光束による第 2 の被写体 像の全部分又は大部分を 第 1 の方向とは 記基準線を 跨いで反対側の第 2 の方向にある第 2 の半面部に存在する撮 像素子に結像させる第 2 の光偏向機構と

ステレオ光学モンユールの内部の機構を外部から遮断する ためのケーシング部材と

を旦備し、

第 1 の光導入部の略後方であ り 刖 S己 ¾ 1 の光偏向機構と刖 記第 2 の光偏向機構と前記ケ シング部材とに囲まれた第 1 の空間領域又は前記第 2 の光導入部の略後方でめ り前記第 1 の光偏向機構と HIJ 0し 厶 の光偏向機構と前記ケ シング部材 とに囲まれた第 2 の空間領域の少なく とも何れか一方の空間 領域に構成部材を配置する ことを特徴とするステレオ光学モ ンュ ル。

4 • 被写体に対して第 1 の視点 ら見た第 1 の被写体像 を発生させる第 1 の光学レノス と

刖記被写体に対して前記第 1 の視点とは異なる第 2 の視点 から見た第 2 の被写体像を発生させるための第 2 の光学レン ズと、

前記第 1 の被写体像の全部分又は大部分を、 前記第 1 の光 学レンズと前記第 2 の光学レンズの各々の中心を結ぶ基準線 と前記光束の入射方向とに対して直交する第 1 の方向にある 第 1 の半面部に存在する撮像素子に結像させるために、 刖 Β3 の光学レンズを介して入射した光を反射する第 1 の反射 部材と、 この第 1 の反射部材で反射した光を更 反射する第 2 の反射部材とを含む第 1 の光偏向機構と、

刖記第 2 の被写体像の全部分又は大部分を、 記第 1 の方 向とは刖記基準線を跨いで反対側の第 2 の方向 ある第 2 の 半面部に存在する撮像素子に結像させるために 刖記第 2 の 光学レンズを介して入射した光を反射する第 3 の反射部材と この第 3 の反射部材で反射した光を更に反射する第 4 の反射 部材とを含む第 2 の光偏向機構と

刖 第 2 の反射部材及び第 4 の反射部材によ り反射した光 を上 S撮撮像素子に結像する第 3 の光学レンズと

を具備し、

育 U記第 1 の反射部材又は前記第 2 の反射部材に対して前記 第 1 の方向に存在する第 1 の空間領域、 又は前 L ^ 3 の反射 部材又は前記第 4 の反射部材に対して前記第 2 の方向に存在 する第 2 の空間領域の少なく と も何れか一方の空間領域に構 成部材を配置する こ とを特徴とするステレオ光学モジユール 5 . 被写体に対して第 1 の視点から見た第 1 の被写体像 を発生させる第 1 の光学レンズと、 こ の第 1 の光学レンズの近傍にあ り 刖 u 1 の光学レン ズに入射する光束の一部を遮光する第 1 の l ノ ΰ部材と、

前記被写体に対して刖記第 1 の視点とは異なる第 2 の視占 から見た第 2 の被写体像を発生させるための第 2 の光学レン ズと、

この第 2 の光学レンズの近傍にあ り 刖記第 2 の光学レン ズに入射する光束の一部を遮光する第 2 の遮光部材と、

前記第 1 の光学レンズに入射した刖記第 1 の被写体像の全 部分又は大部分を、 刖記第 1 の光学レンズと前記第 2 の光学 レンズの各々の中心を結ぶ基準線と前記光束の入射方向とに 対して直交する第 1 の方向にある第 1 の半面部に存在する撮 像素子に結像させるために 、 刖記第 1 の光学レンズを介して 入射した光を反射する第 1 の反射部材と こ の第 1 の反射部 材で反射した光を更に反射する第 2 の反射部材とを含む第 1 の光偏向機構と

前記第 2 の光学レンズに入射した前記第 2 の被写体像の全 部分又は大部分 刖 gd第 1 の方向とは刖記基準線を跨いで 反対側の第 2 の方向にある第 2 の半面部に存在する撮像素子 に結像させるために、 刖記第 2 の光学レンズを介して入射し た光を反射する第 3 の反射部材と の第 3 の反射部材で反 射した光を更に反射する第 4 の反射部材とを含む第 2 の光偏 向機構と、

前記第 2 の反射部材及び第 4 の反射部材によ り反射した光 を上記撮像素子に結像する第 3 の光学レンズと、

を具備し、 刖 sd H 1 の遮光部材の後方であ り 、 刖 §己第 1 の反射部材又 は前記第 2 の反射部材に対して第 1 の方向に存在する第 1 の 空間領域、 又は前記第 2 の遮光部材の後方であ り 、 前記第 3 の反射部材又は前記第 4 の反射部材に対して第 2 の方向に存 在する第 2 の空間領域の少なく と も何れか一方の空間領域に 構成部材を配置する ことを特徴とするステレオ光学モジ ル。

6 - 前記第 1 の光導入部は 、 第 1 の光学レンズを含み、

W!記第 2 の光導入部は、 第 2 の光学レンズを含むこ とを特徴 とする 求項 1 乃至 3 の何れか 1つに記載のステレオ光学モ

、

ンュール

7 • 前記第 1 の光偏向機構は、 第 1 及び第 2 の反射部材 を含み、 前記第 2 の光偏向機構は、 第 3及び第 4 の反射部材 を含むこ とを特徴とする請求項 1 に記 ステレオ光学モジ 載の

ュ一ル。

8 - 前記構成部材は、 前記撮像素子の周辺回路である こ とを特徴とする請求項 1 に記載のステレオ光学モジユ ール。

9 • 前記撮像素子の周辺回路は 、 撮像素子の駆動回路で る こ とを特徴とする請求項 8 に記 のステレオ光学モン ュ ル

1 0 . 前記撮像素子の周辺回路は 、 刖記撮像素子から出 力された画像信号を画像処理するための画像処理回路である とを特徴とする請求項 8 に記載のステレォ光学モジュール

1 1 . 前記撮像素子の周辺回路は 、 刖記撮像素子から出 力された画像信号に対して補正を行 ための補正データを記 憶する丁 ンタルメモリである ことを特徵とする n求項 8 に記 載のステレォ光学モン ュ —ル

1 2 m sd構成部材は 、 温度センサである とを特徴と する n求項 1 に記載のステレォ光学モジュ ル

1 3 HU sd構成部材はゝ 雨滴センサである とを特徴と す -s) m求項 1 に記載のステレォ光学モンュ ル

1 - ffj記構成部材は 、 照度センサである とを特徴と す •a請求項 1 に記載のステレォ光学モジュ ル

1 5 • W1記構成部材は 、 G P S ァンテナである ことを特 徵とする 求項 1 に記載のステレォ光学モジュ ル。

1 6 • 前記構成部材は 、 E T C力 ド、システムである こ とを特徴とする請求項 1 に記載のステレォ光学モジュール。

1 7 • WI記構成部材は 、 信号を出力する ¾ ¾ IS faj 力回路である こ とを特徴とする m求項 1 に記 のステレオ光 m

学モジュ ル。

1 8 - 車内に設置されゥィ ン ドガラスを挟んで前方を観 察するためのステレォカメラであつて

同一被写体に対して、 複数の視占から見た被写体像を発生 させるステレオ光学系と、

このステレオ光学系で発生した刖記複数の視占から見た被 写体像に基づいてステレオ画像デ ―夕を 生させる撮像素子 発

と 、

この撮像素子で発生したステレォ画像了 夕に基づいて前 記ウイ ン ド、ガラスの表面に付笋した水滴里を検出するための 水滴検出装 と、 を具備する こ とを特徴とするステレォカメ ラ

1 9 . WJ記ステレォ光学系の複数の視点の中の第 1 の視 点における視野と刖記ステレォ光学系の複数の視点の中で 記第 1 の視占 と暴-なる第 2 の視点における視野とが皿なる領

、

域内に前記ウィ ン ガラスが配置されるよ う に 記ステレォ 光学系を配置する とを特徴とする SB求項 1 8 に記載のステ レオカメ ラ

2 0 . 車内に 置されゥィ ン ドガラスを挟んで前方を観 察するためのステレォカメ ラであつて 、

同一被写体に対して 、 複数の視点か ら見た被写体像を発生 させるステレオ光学系と、

このステレオ光学系で発生した刖記複数の視点から見た被 写体像に づいてステレオ画 —夕を発生させる 像表子 像

こ、 刖 id撮像素子から出力されるステレォ画像ァ一夕の各々 の 画像デー夕から距離演算を行い 、 対象物体の距離が所定の範 囲内にある時に前記ゥイ ン ドガラスの表面に付着物がある と 判断する付着物判断装 と、

を具備する こ とを特徴とするステレォカメ ラ

-、

2 1 . 前記所定の距離範囲は、 記ステレォ力メラ と刖 記ウィ ン ド、ガラス との位置関係に対応した距離範囲である とを特徴とする請求項 2 0 に記載のステレオ力メ ラ。

2 2 . 目 記所定の距離範囲は、 前記ウイ ン ガラスの形 状又は傾きに合せて 、 m記ステレオ力メ ラの視野内の位 gに 応じて変化する こ とを特徴とする m求項 2 1 に記載のステレ ォカメラ。

2 3 • 刖 付着物判断装置は 刖記ウイ ン ガフ ス の 面に付着した水滴を検出するための水滴検出装置でめる と を特徴とする請求項 2 0 に記載のステレオ力メ ラ

2 4 • 車内に設置されウイ ン ドガラスを挟んで刖方を 察するためのステレオカメ ラであつて

同一被写体に対して、 複数の視占から見た被写体像を発生 させるステレオ光学系と、

このステレオ光学系で発生した刖記複数の視占から見た被 写体像に基づいてステレオ画像丁 夕を発生させる 像素子 L

m 撮像素子から出力されたステレォ画像ァ 夕に基づい て画像評価を行うために、 刖 PDクィ ン ドガラスの表面の水滴 を検出して画像評価を行う第 1 の画像評価シ ケンスと 刖 記ウイ ン ドガラスの前方の物体を検出して画像評価を行 第

2 の画像評価シーケンスとを有する画像評価装置と

m記画像評価装置の刖記 1 の画像評価シ一ケンスと前記第

2 の画像評価シ一ケンスとを切り換えて動作させる切 Ό換え 手段と

を具備する こ とを特徴とするステレォカメ ラ

2 5 • 刖目己第 1 の画像評価シ ケンスは 第 1 の距離探 索範囲内で演算を行って前記ゥィ ン ガラスの表面に付着し た水滴を検出するシーケンスであ り

刖 ΒΠ第 2 の画像評価シーケン スは 刖 己第 1 の距離探索範 囲とは なる第 2 の距離探索範囲内で演算を行つて前記ゥィ ン ドガラスの前方の物体を検出するシーケンスである とを 特徴とする請求項 2 4 に記載のスァレオ力メ ラ

2 6 . 前記第 1 の画像評価シ ケンスは 刖記ステレォ 光学系の複数の視点の中の第 1 の視点 ら見た画像ァ ―夕に 対して前記ステレォ光学系の複数の視点の中の刖記第 1 の視 点と異なる第 2 の視点側に近い所 の画像領域と前記第 2 の 視点から見た画像に対して刖 pB第 1 の視点側に近い所定の画 像領域との間で演算を行う こ とを特徴とする m求項 2 4 に記 載のステレオカメ ラ。

2 7 . 前記第 1 の画像評価シ ■ ~ケンスは 刖記ステレォ 光学系の複数の視点の中の第 1 の視点から見た画像了 ―夕 と 前記ステレオ光学系の複数の視占の中の前記第 1 の視占と異 なる第 2 の視点から見た画像デ 夕 との間で演算を行つ際に 当該ステレオカメフと刖記ウイ ン ガラス との位置から決定 される距離に対応したォフセッ 卜を設けて演算を行 Ό とを 特徴とする請求項 2 4 に記載のステレオ力メ ラ

2 8 . 前記ォフセッ 卜は、 刖記ウィ ン ドガラスの形状又 は傾きに合せて、 当該ステレオ力メ ラの視野内の位置に応じ て変化する こ とを特徴とする請求項 2 7 に記載のステレ才力 メ ラ。

2 9 . 刖記第 1 の距離探索範囲は、 刖記ゥィ ン ドガラス の形状又は傾きに合せて 当該ステレオ力メ ラの視野内の位 置に応じて変化する ことを特徴とする請求項 2 5 に記載のス テレオカメ ラ。

3 0 . 車内に設置 れウイ ン ドガラスを挟んで前方を観 察するためのステレ才力メ フであつて

|prj 被写体に対して、 複数の視占か ら見た被写体像を発生 させるステレォ光学系と

のステレォ光学系で発生した刖記複数の視点から見た被 写体像に基づいてステレォ画像丁 ―タを発生させる撮像素子 と、

刖記 it像素子から出力されたステレォ画像テ 夕に基づレ て画像評価を行うために 刖 Cゥィ ン ド、ガラスの表面の水滴 を検出して画像評価を行ラ第 1 の画像評価演算部と、 前記ゥ ィ ン ガラスの前方の物体を検出して画像評価を行う第 2 の 画像評価演算部とを有する画像評価装置と、

を具備する こ とを特徴とするステレォ力メ ラ

3 1 - 刖記第 1 の画像評価演算部は 、 第 1 の距離探索範 囲内で演算を行つて刖 B己ヴィ ン ガラスの表面に付着した水 滴を検出して画像評価を行い、

刖記第 2 の画像評価演算部は 刖'記第 1 の距離探索範囲と は異なる第 2 の距離探索範囲内で演算を行つて刖記ゥイ ン ド ガラスの前方の物体を検出して画像評価を行 とを特徴と する m求項 3 0 に記載のスァレォ力メ ラ

3 2 - 車内に 5又置されゥィ ン ドガラスを挟んで前方を観 察するためのステレォ力メラであつて

―被写体に対して、 複数の視点から見た被写体像を発生 させるステレォ光学系と

のステレォ光学系で発生した 5し複数の視占から見た被 写体像に基づいてステレォ画像了 夕を発生させる撮像素子 ステレオ光学系の 数の視点の中の第 1 の視点におけ る第 1 の視野と前記ゥィ ン ドガラスが重なる領域上のゥィ ン ドガラスの表面上に光を照射する光照射装置と 、

HU記撮像素子で発生したステレオ画像データに基づいて刖 記ウイ ン ガラスの表面に付着した水滴量を検出するための 水滴検出装置と、

を具備する こ とを特徵とするステレオカメ ラ

3 3 • 前記光照射装置は、 前記第 1 の視野と 記ゥィ ン ドガラス とが重なる領域上のゥイ ン ドガラスの表面上でめつ て、 前記第 1 の視野の中で周辺部の領域に光を照射する („ と を特徴とする請求項 3 2 に記載のステレオカメ ラ。

3 4 • 刖記撮像素子から出力されるステレォ画像了一夕 に基づいて前記ウィ ン ドガラスの前方の物体を検出する物体 検出装置と、

刖 B i水滴検出装 を ί¾作させる時には前記光照射装置を動 作させ、 前記物体検出装置を動作させる時には刖記光照射装 置を不動作にするよう に制御を行う制御回路と 、

を更に m.備する 求項 3 2 に記載のステレオカメ ラ

3 5 . 車内に設置されウイ ン ドガラスを挟んで前方を観 察するためのステレ才力メ ラであって、

同一被写体に対して、 複数の視点から見た被写体像を 生 させるステレオ光学系と 、

このステレオ光学系で発生した前記複数の視点から見た被 写体像に づいてステレォ画像データを発生させる撮像素子 と、

刖記 像素子から出力されるステレォ画像テ 夕の中から、 刖 §3ステレォ光学系の複数の視点の中の第 1 の視点における 第 1 の視野と前記ゥィ ン ガラスとが重なる領域上のゥィ ン ドガラスの表面上に られ 付着した水分を検出して色が 変わる物質に対応する画像了 夕の色情報に づいて 所定 の色情報を検知した時に信号を出力する水分検出装 と

を具備する ことを特徴とするステレォカメ ラ

3 6 • 刖 §ι5ステレォ光学系は、 パンフ ォ 力スに構成さ れている とを特徴とする 求項 1 8 に記載のステレォ力メ