JPWO2004106858A1 - ステレオカメラシステム及びステレオ光学モジュール - Google Patents
ステレオカメラシステム及びステレオ光学モジュール Download PDFInfo
- Publication number
- JPWO2004106858A1 JPWO2004106858A1 JP2005506574A JP2005506574A JPWO2004106858A1 JP WO2004106858 A1 JPWO2004106858 A1 JP WO2004106858A1 JP 2005506574 A JP2005506574 A JP 2005506574A JP 2005506574 A JP2005506574 A JP 2005506574A JP WO2004106858 A1 JPWO2004106858 A1 JP WO2004106858A1
- Authority
- JP
- Japan
- Prior art keywords
- stereo
- image data
- image
- data
- optical module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本ステレオカメラシステムは、ステレオ画像を得るためのステレオ光学モジュール（１）と、ステレオ光学モジュール（１）で得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニット（３）と、ステレオ光学モジュール（１）から出力されるステレオ画像データを中央制御ユニット（３）に入力させるための通信回線（２）とから構成される。そして、本ステレオカメラシステムは、ステレオ光学モジュール（１）に、ステレオ光学モジュール（１）で取得したステレオ画像に対して所定の画像処理を施す画像出力処理回路（８）を設け、この画像出力処理回路（８）にステレオ画像撮像時のアンバランスを補正するための補正演算を行わせる。
Description
本発明は、車両、船舶、航空機、及びロボット等の移動体や監視カメラシステム等の非移動体に搭載可能なステレオカメラシステム及びステレオ光学モジュールに関する。
従来、１枚の画像中に視差のある左右２つの画像を含んだ所謂ステレオ画像を撮像するための撮像装置について、各種の提案がなされている。
例えば、特開平１１−２１１４６９号公報には、１対のカメラを用いてステレオ画像を撮像するステレオ撮像ユニット（ステレオ光学モジュール）とステレオ撮像画像を処理する画像処理ユニット（中央制御ユニット）とを組み合わせたステレオ画像処理システムが提案されている。このステレオ撮像ユニットでは、１対のカメラの互いの特性のバラツキを補正するために、カメラ特性データを記憶しておく不揮発性メモリが内部に設けられている。そして、このようなステレオ撮像ユニットとステレオ画像処理ユニットとを通信回線を介して接続することで、不揮発性メモリに記憶された補正データを、通信回線を介してステレオ画像処理ユニットに転送出力することが可能である。また、ステレオ撮像ユニット内のカメラで撮像されたステレオ画像データは、アナログ形式の映像信号として通信回線を介してステレオ画像処理ユニットに出力され、ステレオ画像処理ユニット内部では、ステレオ撮像ユニットから入力されたそれらアナログ形式の映像信号と補正データとから補正演算が行われる。
また、特開平１１−３２８４１３号公報には、撮像装置（ステレオ光学モジュール）と画像処理ユニット（中央制御ユニット）との間を１系統のアナログの画像信号用ケーブルで接続し、この画像信号用ケーブルを使用してステレオ画像の各々を選択的に送る撮像装置が提案されている。
また、特開２００１−８８６０９号公報には、車載カメラ（ステレオ光学モジュール）と画像認識装置（中央制御ユニット）とを映像信号線とシリアルの通信線とを用いて接続し、更に、車載カメラに温度を検出するための温度センサを実装しておくことで、この温度センサからの出力を、シリアル通信線を介して画像認識装置に送ることが可能な車載カメラが提案されている。
更に、特開２００２−２５９９６６号公報には、複数の車載カメラ（ステレオ光学モジュール）と周辺認識装置（中央制御ユニット）とからなるシステムが提案されている。
ここで、上記特開平１１−２１１４６９号公報で提案されているシステムや上記特開平１１−３２８４１３号公報で提案されている撮像装置では、ステレオ光学モジュールと中央制御ユニットとの間でアナログ形式の通信回線を使用してステレオ画像データを送っている。このため、ステレオ光学モジュール内部ではアナログの映像信号しか存在しない。
また、ステレオ光学モジュール内部で得られたステレオ画像は、例えば被写体までの距離を求めるのに利用されるが、距離演算を行う前には、１対のカメラがそれぞれ有する１対の光学系の間で発生する種々のアンバランスを補正するための補正演算が必要である。しかしながら、ステレオ光学モジュールで得られたステレオ画像をステレオ光学モジュール内で補正することは困難である。したがって、この場合には、中央制御ユニット側で補正を行う必要が生じてくる。この補正について、上記特開平１１−２１１４６９号公報では、補正データをステレオ光学モジュールに記憶させておき、その補正データを、通信回線を使用して中央制御ユニット側に送信することで、中央制御ユニット側で補正演算を行うという手法を提案している。
ここで、上述した光学系の間で発生する種々のアンバランスは、ステレオ光学モジュール内部の光学系の取り付け位置ずれや経年変化によるずれ等のステレオ光学モジュール毎に固有のバラツキを有する。このため、特開平１１−２１１４６９号公報のような手法では、中央制御ユニット側にステレオ光学モジュール固有のバラツキを補正するための演算部が必要になるので、中央制御ユニット側の構成が複雑になってしまう。
また、上記特開２００２−２５９９６６号公報等に示すような、複数のステレオ光学モジュールと１つの中央制御ユニットとからなるシステムの場合には、複数のステレオ光学モジュールのそれぞれにおいて発生する種々のバラツキを補正する演算部を、全て中央制御ユニット側に持たせる必要があり、中央制御ユニットの構造が非常に複雑なものとなってしまう。例えば、中央制御ユニットをカーナビゲーションシステムの中央制御ユニットとして用いる場合等では、製造の手間などの観点からも補正演算部をステレオ光学モジュール内に持たせてしまうことが望ましい。
また、上記特開平１１−２１１４６９号公報では、ステレオ光学モジュールと中央制御ユニットとの間でアナログ形式の通信ラインを使用してステレオ画像データを送っている。ここで、特開平１１−２１１４６９号公報ではデジタルデータを送受信するためのシリアル通信線とアナログの画像データを送信するためのビデオ信号線とに、別個に設けられた２系統の信号線が用いられている。
ここで、ステレオカメラシステムを車載等に使用する場合、車の中にはワイヤーハーネス類を設置するスペースが少なく、なおかつ最近の車内の電子化の進歩から非常にワイヤーハーネス類の使用量が増えてきている。このため、特開平１１−２１１４６９号公報のように、２系統の信号線を使用するシステムを搭載すると、それだけスペースを占有してしまう。特に特開２００２−２５９９６６号公報のような複数のステレオ光学モジュールを用いるシステムにおいては、よりスペースを占有してしまうことになる。
例えば、特開平１１−２１１４６９号公報には、１対のカメラを用いてステレオ画像を撮像するステレオ撮像ユニット（ステレオ光学モジュール）とステレオ撮像画像を処理する画像処理ユニット（中央制御ユニット）とを組み合わせたステレオ画像処理システムが提案されている。このステレオ撮像ユニットでは、１対のカメラの互いの特性のバラツキを補正するために、カメラ特性データを記憶しておく不揮発性メモリが内部に設けられている。そして、このようなステレオ撮像ユニットとステレオ画像処理ユニットとを通信回線を介して接続することで、不揮発性メモリに記憶された補正データを、通信回線を介してステレオ画像処理ユニットに転送出力することが可能である。また、ステレオ撮像ユニット内のカメラで撮像されたステレオ画像データは、アナログ形式の映像信号として通信回線を介してステレオ画像処理ユニットに出力され、ステレオ画像処理ユニット内部では、ステレオ撮像ユニットから入力されたそれらアナログ形式の映像信号と補正データとから補正演算が行われる。
また、特開平１１−３２８４１３号公報には、撮像装置（ステレオ光学モジュール）と画像処理ユニット（中央制御ユニット）との間を１系統のアナログの画像信号用ケーブルで接続し、この画像信号用ケーブルを使用してステレオ画像の各々を選択的に送る撮像装置が提案されている。
また、特開２００１−８８６０９号公報には、車載カメラ（ステレオ光学モジュール）と画像認識装置（中央制御ユニット）とを映像信号線とシリアルの通信線とを用いて接続し、更に、車載カメラに温度を検出するための温度センサを実装しておくことで、この温度センサからの出力を、シリアル通信線を介して画像認識装置に送ることが可能な車載カメラが提案されている。
更に、特開２００２−２５９９６６号公報には、複数の車載カメラ（ステレオ光学モジュール）と周辺認識装置（中央制御ユニット）とからなるシステムが提案されている。
ここで、上記特開平１１−２１１４６９号公報で提案されているシステムや上記特開平１１−３２８４１３号公報で提案されている撮像装置では、ステレオ光学モジュールと中央制御ユニットとの間でアナログ形式の通信回線を使用してステレオ画像データを送っている。このため、ステレオ光学モジュール内部ではアナログの映像信号しか存在しない。
また、ステレオ光学モジュール内部で得られたステレオ画像は、例えば被写体までの距離を求めるのに利用されるが、距離演算を行う前には、１対のカメラがそれぞれ有する１対の光学系の間で発生する種々のアンバランスを補正するための補正演算が必要である。しかしながら、ステレオ光学モジュールで得られたステレオ画像をステレオ光学モジュール内で補正することは困難である。したがって、この場合には、中央制御ユニット側で補正を行う必要が生じてくる。この補正について、上記特開平１１−２１１４６９号公報では、補正データをステレオ光学モジュールに記憶させておき、その補正データを、通信回線を使用して中央制御ユニット側に送信することで、中央制御ユニット側で補正演算を行うという手法を提案している。
ここで、上述した光学系の間で発生する種々のアンバランスは、ステレオ光学モジュール内部の光学系の取り付け位置ずれや経年変化によるずれ等のステレオ光学モジュール毎に固有のバラツキを有する。このため、特開平１１−２１１４６９号公報のような手法では、中央制御ユニット側にステレオ光学モジュール固有のバラツキを補正するための演算部が必要になるので、中央制御ユニット側の構成が複雑になってしまう。
また、上記特開２００２−２５９９６６号公報等に示すような、複数のステレオ光学モジュールと１つの中央制御ユニットとからなるシステムの場合には、複数のステレオ光学モジュールのそれぞれにおいて発生する種々のバラツキを補正する演算部を、全て中央制御ユニット側に持たせる必要があり、中央制御ユニットの構造が非常に複雑なものとなってしまう。例えば、中央制御ユニットをカーナビゲーションシステムの中央制御ユニットとして用いる場合等では、製造の手間などの観点からも補正演算部をステレオ光学モジュール内に持たせてしまうことが望ましい。
また、上記特開平１１−２１１４６９号公報では、ステレオ光学モジュールと中央制御ユニットとの間でアナログ形式の通信ラインを使用してステレオ画像データを送っている。ここで、特開平１１−２１１４６９号公報ではデジタルデータを送受信するためのシリアル通信線とアナログの画像データを送信するためのビデオ信号線とに、別個に設けられた２系統の信号線が用いられている。
ここで、ステレオカメラシステムを車載等に使用する場合、車の中にはワイヤーハーネス類を設置するスペースが少なく、なおかつ最近の車内の電子化の進歩から非常にワイヤーハーネス類の使用量が増えてきている。このため、特開平１１−２１１４６９号公報のように、２系統の信号線を使用するシステムを搭載すると、それだけスペースを占有してしまう。特に特開２００２−２５９９６６号公報のような複数のステレオ光学モジュールを用いるシステムにおいては、よりスペースを占有してしまうことになる。
本発明の目的は、ステレオ画像撮像時のアンバランスを補正するための補正演算または当該ステレオ光学モジュールに付随するその他の画像処理演算をステレオ光学モジュール側で行わせることが可能なステレオカメラシステム及びステレオ光学モジュールを提供することである。
また、本発明の目的は、ステレオカメラシステムにおける中央制御を行う中央制御ユニットの構造を簡単化してステレオ画像撮像時のアンバランスを補正することも可能なステレオカメラシステム及びステレオ光学モジュールを提供することである。
更に、本発明の目的は、使用する信号線の本数を減らすことが可能なステレオカメラシステム及びステレオ光学モジュールを提供することである。
上記の目的を達成するために、本発明の第１の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データを出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記ステレオ光学モジュールで得られた前記ステレオ画像に基づいて前記被写体の評価を行うために、前記モジュール側通信インタフェースを介して出力されたステレオ画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第２の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生したデジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路において画像処理されたステレオ画像データを通信回線に出力するモジュール側通信インタフェースとを具備する。
これら、第１及び第２の態様によれば、ステレオ光学モジュール内で得られたステレオ画像データに対して所定の画像処理演算が行われる。即ち、画像処理演算をステレオ光学モジュール内で行うことによって、中央制御ユニット側の構造を簡略化することができる。
また、上記の目的を達成するために、本発明の第３の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データと前記補正情報メモリに記憶された前記キャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して前記通信回線に出力されるステレオ画像データを該中央制御ユニットに入力させるためのユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第４の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された前記キャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、この画像出力処理回路において画像処理されたステレオ画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備する。
これら、第３及び第４の態様によれば、ステレオ光学モジュール内に更にキャリブレーションデータを記憶するための補正情報メモリを設けることにより、この補正情報メモリに記憶されたキャリブレーションデータを使用してステレオ光学モジュール内において所定の画像処理を行うことができる。
また、上記の目的を達成するために、本発明の第５の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータであって、第１のキャリブレーションデータ及び第２のキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された第１のキャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、前記画像出力処理回路で画像処理されたステレオ画像データ及び前記補正情報メモリに記憶された第２のキャリブレーションデータを前記通信回線に出力するためのモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して前記通信回線に出力されるステレオ画像データを該中央制御ユニットに入力させるためのユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データ及び前記第２のキャリブレーションデータに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第６の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータであって、第１のキャリブレーションデータ及び第２のキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された第１のキャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、前記画像出力処理回路で画像処理されたステレオ画像データ及び前記補正情報メモリに記憶された第２のキャリブレーションデータを前記通信回線に出力するためのモジュール側通信インタフェースとを具備する。
これら、第５及び第６の態様によれば、ステレオ光学モジュール内に更に第１のキャリブレーションデータと第２のキャリブレーションデータを記憶するための補正情報メモリを設けている。この中で第１のキャリブレーションデータは、ステレオ光学モジュール側で所定の画像処理演算を行う際に用いられる。一方、第２のキャリブレーションデータは、中央制御ユニット側に送信することで、中央制御ユニット側で距離演算が行われる。即ち、少なくとも第１のキャリブレーションデータを使用する所定の画像処理演算の部分だけ、中央制御ユニットを簡略化することができる。
また、上記の目的を達成するために、本発明の第７の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された距離画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データに基づいて前記被写体の評価を行う距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第８の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生したデジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備する。
これら第７及び第８の態様によれば、ステレオ光学モジュール内で得られたステレオ画像データに対して、画像出力処理回路で所定の画像処理が行われ、さらに、距離画像算出ユニットにおいて距離画像データが生成される。即ち、画像処理演算を行う画像出力処理回路と距離画像データを作成する距離画像算出ユニットとをステレオ光学モジュール内に設けることによって、中央制御ユニット側の構造を簡略化することができる。
また、上記の目的を達成するために、本発明の第９の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によってステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データ及び前記ステレオ画像データの少なくとも何れか一方の画像データを出力するモジュール側通信インタフェースとを具備するステレオ光学モジュールと、距離画像データ及び前記ステレオ画像データの少なくとも何れか一方を入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方に基づいて前記被写体の評価を行う距離画像評価装置とを具備する中央制御ユニットと、前記モジュール側通信インタフェースと前記ユニット側インタフェースとの間を接続し、前記ステレオ光学モジュールと前記中央制御ユニットとの間でデータの通信を可能とする通信回線とから構成される。
また、上記の目的を達成するために、本発明の第１０の態様のステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データ及び前記撮像素子によって発生させたステレオ画像データの少なくとも何れか一方の画像データを通信回線に出力するモジュール側通信インタフェースとを具備する。
これら第９及び第１０の態様によれば、距離画像データの他にステレオ画像データも中央制御ユニットに出力することが可能である。
また、上記の目的を達成するために、本発明の第１１の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された距離画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データに基づいて前記被写体の評価を行う距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第１２の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備する。
また、上記の目的を達成するために、本発明の第１３の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に関するデータに基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールと前記中央制御ユニットとをデジタル信号により通信する通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記中央制御ユニットから制御コマンドを受けた場合に、当該ステレオ光学モジュールで取得されたステレオ画像に関連した情報を前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された前記ステレオ画像に関連した情報を入力させると共に当該中央制御ユニットから前記ステレオ光学モジュールに制御コマンドを出力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像に関連した情報に基づいて前記被写体の評価を行う距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第１４の態様のステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部とを具備し、外部から入力された制御コマンドに応答して前記ステレオ画像に関連した情報を通信回線に出力する。
これら第１３及び第１４の態様によれば、ステレオ光学モジュールと中央制御ユニットとの間の通信をデジタル信号のみで行うことにより、信号線の本数を減らすことができる。
また、上記の目的を達成するために、本発明の第１５の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するための少なくとも１つのステレオ光学モジュールと、このステレオ光学モジュールとは異なる画像を取得するための少なくとも１つの光学モジュールと、前記ステレオ光学モジュール及び前記光学モジュールのシーケンス制御を行う中央制御ユニットと、前記ステレオ光学モジュール、前記光学モジュール、及び前記中央制御ユニットを通信接続する通信回線とから構成される。
この第１５の態様によれば、１本の通信回線に複数のモジュールを接続することができ、信号線の本数を減らすことができる。
また、本発明の目的は、ステレオカメラシステムにおける中央制御を行う中央制御ユニットの構造を簡単化してステレオ画像撮像時のアンバランスを補正することも可能なステレオカメラシステム及びステレオ光学モジュールを提供することである。
更に、本発明の目的は、使用する信号線の本数を減らすことが可能なステレオカメラシステム及びステレオ光学モジュールを提供することである。
上記の目的を達成するために、本発明の第１の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データを出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記ステレオ光学モジュールで得られた前記ステレオ画像に基づいて前記被写体の評価を行うために、前記モジュール側通信インタフェースを介して出力されたステレオ画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第２の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生したデジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路において画像処理されたステレオ画像データを通信回線に出力するモジュール側通信インタフェースとを具備する。
これら、第１及び第２の態様によれば、ステレオ光学モジュール内で得られたステレオ画像データに対して所定の画像処理演算が行われる。即ち、画像処理演算をステレオ光学モジュール内で行うことによって、中央制御ユニット側の構造を簡略化することができる。
また、上記の目的を達成するために、本発明の第３の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データと前記補正情報メモリに記憶された前記キャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して前記通信回線に出力されるステレオ画像データを該中央制御ユニットに入力させるためのユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第４の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された前記キャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、この画像出力処理回路において画像処理されたステレオ画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備する。
これら、第３及び第４の態様によれば、ステレオ光学モジュール内に更にキャリブレーションデータを記憶するための補正情報メモリを設けることにより、この補正情報メモリに記憶されたキャリブレーションデータを使用してステレオ光学モジュール内において所定の画像処理を行うことができる。
また、上記の目的を達成するために、本発明の第５の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータであって、第１のキャリブレーションデータ及び第２のキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された第１のキャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、前記画像出力処理回路で画像処理されたステレオ画像データ及び前記補正情報メモリに記憶された第２のキャリブレーションデータを前記通信回線に出力するためのモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して前記通信回線に出力されるステレオ画像データを該中央制御ユニットに入力させるためのユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データ及び前記第２のキャリブレーションデータに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第６の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータであって、第１のキャリブレーションデータ及び第２のキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された第１のキャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、前記画像出力処理回路で画像処理されたステレオ画像データ及び前記補正情報メモリに記憶された第２のキャリブレーションデータを前記通信回線に出力するためのモジュール側通信インタフェースとを具備する。
これら、第５及び第６の態様によれば、ステレオ光学モジュール内に更に第１のキャリブレーションデータと第２のキャリブレーションデータを記憶するための補正情報メモリを設けている。この中で第１のキャリブレーションデータは、ステレオ光学モジュール側で所定の画像処理演算を行う際に用いられる。一方、第２のキャリブレーションデータは、中央制御ユニット側に送信することで、中央制御ユニット側で距離演算が行われる。即ち、少なくとも第１のキャリブレーションデータを使用する所定の画像処理演算の部分だけ、中央制御ユニットを簡略化することができる。
また、上記の目的を達成するために、本発明の第７の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された距離画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データに基づいて前記被写体の評価を行う距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第８の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生したデジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備する。
これら第７及び第８の態様によれば、ステレオ光学モジュール内で得られたステレオ画像データに対して、画像出力処理回路で所定の画像処理が行われ、さらに、距離画像算出ユニットにおいて距離画像データが生成される。即ち、画像処理演算を行う画像出力処理回路と距離画像データを作成する距離画像算出ユニットとをステレオ光学モジュール内に設けることによって、中央制御ユニット側の構造を簡略化することができる。
また、上記の目的を達成するために、本発明の第９の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によってステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データ及び前記ステレオ画像データの少なくとも何れか一方の画像データを出力するモジュール側通信インタフェースとを具備するステレオ光学モジュールと、距離画像データ及び前記ステレオ画像データの少なくとも何れか一方を入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方に基づいて前記被写体の評価を行う距離画像評価装置とを具備する中央制御ユニットと、前記モジュール側通信インタフェースと前記ユニット側インタフェースとの間を接続し、前記ステレオ光学モジュールと前記中央制御ユニットとの間でデータの通信を可能とする通信回線とから構成される。
また、上記の目的を達成するために、本発明の第１０の態様のステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データ及び前記撮像素子によって発生させたステレオ画像データの少なくとも何れか一方の画像データを通信回線に出力するモジュール側通信インタフェースとを具備する。
これら第９及び第１０の態様によれば、距離画像データの他にステレオ画像データも中央制御ユニットに出力することが可能である。
また、上記の目的を達成するために、本発明の第１１の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された距離画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データに基づいて前記被写体の評価を行う距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第１２の態様のステレオ光学モジュールは、ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備する。
また、上記の目的を達成するために、本発明の第１３の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に関するデータに基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールと前記中央制御ユニットとをデジタル信号により通信する通信回線と、から構成され、前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記中央制御ユニットから制御コマンドを受けた場合に、当該ステレオ光学モジュールで取得されたステレオ画像に関連した情報を前記通信回線に出力するモジュール側通信インタフェースとを具備し、前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された前記ステレオ画像に関連した情報を入力させると共に当該中央制御ユニットから前記ステレオ光学モジュールに制御コマンドを出力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像に関連した情報に基づいて前記被写体の評価を行う距離画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第１４の態様のステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部とを具備し、外部から入力された制御コマンドに応答して前記ステレオ画像に関連した情報を通信回線に出力する。
これら第１３及び第１４の態様によれば、ステレオ光学モジュールと中央制御ユニットとの間の通信をデジタル信号のみで行うことにより、信号線の本数を減らすことができる。
また、上記の目的を達成するために、本発明の第１５の態様のステレオカメラシステムは、同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、ステレオ画像を取得するための少なくとも１つのステレオ光学モジュールと、このステレオ光学モジュールとは異なる画像を取得するための少なくとも１つの光学モジュールと、前記ステレオ光学モジュール及び前記光学モジュールのシーケンス制御を行う中央制御ユニットと、前記ステレオ光学モジュール、前記光学モジュール、及び前記中央制御ユニットを通信接続する通信回線とから構成される。
この第１５の態様によれば、１本の通信回線に複数のモジュールを接続することができ、信号線の本数を減らすことができる。
図１は、本発明の第１の実施形態に係るステレオカメラシステムの基本構成について示したブロック図であり、
図２は、第１の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図３Ａは、ステレオ光学モジュールのステレオ光学系の構造について示す上面図であり、
図３Ｂは、ステレオ光学モジュールの外観図であり、
図４Ａは、ステレオ光学モジュールの構造について示す斜視図であり、
図４Ｂは、ステレオ光学モジュール内の回路配置について説明するための上面図であり、
図５は、ステレオ画像の例を示す図であり、
図６は、本発明の第１の実施形態におけるステレオ光学モジュールにおける中央制御ユニットの回路構成を示すブロック図であり、
図７は、第１の実施形態のステレオカメラシステムを車両に搭載する場合の例を示す図であり、
図８Ａは、視野マスクの第１の変形例を示す図であり、
図８Ｂは、視野マスクの第２の変形例を示す図であり、
図９は、中央制御ユニットの変形例を示すブロック図であり、
図１０は、本発明の第２の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図１１は、本発明の第２の実施形態の中央制御ユニットの回路構成を示すブロック図であり、
図１２は、本発明の第３の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図１３は、ＤＶフォーマットやＮＴＳＣ規格等のビデオフォーマットを用いた通信内容例を示す図であり、
図１４は、本発明の第４の実施形態におけるステレオカメラシステムのメイン動作シーケンスのフローチャートであり、
図１５は、センサチェックシーケンスのフローチャートであり、
図１６は、キャリブレーションデータ補正シーケンスのフローチャートであり、
図１７は、運転支援シーケンスのフローチャートであり、
図１８は、車間距離警告の表示例を示す図であり、
図１９は、道路面認識結果の表示例であり、
図２０は、回避警告の表示例であり、
図２１は、レーン認識結果の表示例であり、
図２２は、メイン動作シーケンスのフローチャートの変形例について示すフローチャートであり、
図２３は、センサチェックシーケンスの第１の変形例について示すフローチャートであり、
図２４は、センサチェックシーケンスの第２の変形例について示すフローチャートであり、
図２５は、本発明の第５の実施形態におけるステレオカメラシステムの構成を示すブロック図であり、
図２６は、従来の雨滴センサの構成図であり、
図２７は、本発明の第６の実施形態としての雨滴検出時のステレオ画像例を示す図であり、
図２８は、オーバラップ領域について説明するための図であり、
図２９は、従来の対応点探索を模式的に示した図であり、
図３０は、第６の実施形態における雨滴検出時の対応点探索を模式的に示した図であり、
図３１は、オーバラップ領域外の領域に雨滴が付着した場合のステレオ画像例を示す図であり、
図３２は、オーバラップ領域外の領域の雨滴画像検出手法について説明するための図であり、
図３３は、光ビーム投光器を用いた雨滴検出について説明するための図であり、
図３４は、雨滴検出コーティングの例を示す図である。
図２は、第１の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図３Ａは、ステレオ光学モジュールのステレオ光学系の構造について示す上面図であり、
図３Ｂは、ステレオ光学モジュールの外観図であり、
図４Ａは、ステレオ光学モジュールの構造について示す斜視図であり、
図４Ｂは、ステレオ光学モジュール内の回路配置について説明するための上面図であり、
図５は、ステレオ画像の例を示す図であり、
図６は、本発明の第１の実施形態におけるステレオ光学モジュールにおける中央制御ユニットの回路構成を示すブロック図であり、
図７は、第１の実施形態のステレオカメラシステムを車両に搭載する場合の例を示す図であり、
図８Ａは、視野マスクの第１の変形例を示す図であり、
図８Ｂは、視野マスクの第２の変形例を示す図であり、
図９は、中央制御ユニットの変形例を示すブロック図であり、
図１０は、本発明の第２の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図１１は、本発明の第２の実施形態の中央制御ユニットの回路構成を示すブロック図であり、
図１２は、本発明の第３の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図１３は、ＤＶフォーマットやＮＴＳＣ規格等のビデオフォーマットを用いた通信内容例を示す図であり、
図１４は、本発明の第４の実施形態におけるステレオカメラシステムのメイン動作シーケンスのフローチャートであり、
図１５は、センサチェックシーケンスのフローチャートであり、
図１６は、キャリブレーションデータ補正シーケンスのフローチャートであり、
図１７は、運転支援シーケンスのフローチャートであり、
図１８は、車間距離警告の表示例を示す図であり、
図１９は、道路面認識結果の表示例であり、
図２０は、回避警告の表示例であり、
図２１は、レーン認識結果の表示例であり、
図２２は、メイン動作シーケンスのフローチャートの変形例について示すフローチャートであり、
図２３は、センサチェックシーケンスの第１の変形例について示すフローチャートであり、
図２４は、センサチェックシーケンスの第２の変形例について示すフローチャートであり、
図２５は、本発明の第５の実施形態におけるステレオカメラシステムの構成を示すブロック図であり、
図２６は、従来の雨滴センサの構成図であり、
図２７は、本発明の第６の実施形態としての雨滴検出時のステレオ画像例を示す図であり、
図２８は、オーバラップ領域について説明するための図であり、
図２９は、従来の対応点探索を模式的に示した図であり、
図３０は、第６の実施形態における雨滴検出時の対応点探索を模式的に示した図であり、
図３１は、オーバラップ領域外の領域に雨滴が付着した場合のステレオ画像例を示す図であり、
図３２は、オーバラップ領域外の領域の雨滴画像検出手法について説明するための図であり、
図３３は、光ビーム投光器を用いた雨滴検出について説明するための図であり、
図３４は、雨滴検出コーティングの例を示す図である。
以下、本発明の実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係るステレオカメラシステムの基本的な構成を示すブロック図である。ここで、このステレオカメラシステムは、車両、船舶、航空機、ロボット等の移動体に搭載可能なシステムを想定している。以後図１〜図９を参照して、車両に搭載される例について説明する。
即ち、このカメラシステムは、基本的に、図１に示すように、ステレオ光学モジュール１と、通信回線２と、中央制御ユニット３とから構成されている。ステレオ光学モジュール１は、被写体の撮像を行ってステレオ画像を取得すると共にその取得したステレオ画像の補正を行うものである。通信回線２は、ステレオ光学モジュール１と中央制御ユニット３との間の通信回線である。中央制御ユニット３は、通信回線２を介してステレオ光学モジュール１から入力されたステレオ画像に基づいて、ステレオ光学モジュール１の撮影対象である被写体の評価を行うものである。具体的には、中央制御ユニット３は、入力されたステレオ画像に基づいて後で説明する距離画像を求め、この求めた距離画像の評価を行う。
以下、これらの構成について更に詳しく説明する。
まず、ステレオ光学モジュール１について説明する。図２は、このステレオ光学モジュールの内部を詳細に示したブロック図である。即ち、ステレオ光学モジュール１は、図２に示すように、ステレオ光学系４と、撮像素子５と、撮像素子駆動回路６と、補正情報メモリ７と、画像出力処理回路８と、モジュール（Ｍ）側通信インタフェース９と、雨滴センサ１０と、温度センサ１１とから構成されている。
ステレオ光学系４は、図３Ａに示すように、視野マスク（右左）１９ａ，１９ｂと、前玉ユニット（右左）２０ａ，２０ｂと、１次偏向ミラー（右左）２１ａ，２１ｂと、２次偏向ミラー（右左）２２ａ，２２ｂと、後玉ユニット２３と、ローパスフィルタ２４とから構成されており、図示しない被写体からの像を撮像素子５に結像させる。
ここで、ステレオ光学モジュール１の外観は、図３Ｂに示すように、視野マスク開口２５ａ，２５ｂが設けられたケーシング部材２６に覆われており、これら視野マスク開口２５ａ，２５ｂからステレオ光学系４に光が入射するようになっている。ここで、ケーシング部材２６は、当該ステレオ光学モジュールの内部機構を外部から保護するための部材であり、外光を遮断する機能、防塵機能、及び内部機構を支持する機能等を有するカバー部材である。
また、図３Ａ、図３Ｂに示すように、視野マスク開口２５ａ，２５ｂからステレオ光学系４に入射した、一定距離離れた図示しない被写体からの光束は、その一部が視野マスク１９ａ，１９ｂにより遮光され、残りが右左の前玉ユニット２０ａ，２０ｂに入射する。ここで、視野マスク１９ａ，１９ｂは、前玉ユニット２０ａ，２０ｂの視野を絞るための絞りとして機能する。第１の実施形態では、図４Ａに示すように、視野マスク１９ａは前玉ユニット２０ａの上半分領域を遮蔽しており、視野マスク１９ｂは前玉ユニット２０ｂの下半分領域を遮蔽している。
なお、視野マスク１９ａ，１９ｂを有するこれら前玉ユニット２０ａ，２０ｂのレンズの実効的な光軸（以下、光軸と称する）は、被写体からの光束の中心、即ち視野マスク１９ａ，１９ｂが無い場合の中心軸とは一致しない。また、図４Ａに示すように、右左の前玉ユニット２０ａ，２０ｂの光軸は互いに同一平面上になく、捩れた状態となっている。
前玉ユニット２０ａ，２０ｂを介して入射した被写体からの光束は、１次偏向ミラー２１ａ，２１ｂで反射される。これら１次偏向ミラー２１ａ，２１ｂは、前玉ユニット２０ａ，２０ｂを透過した光束を、反射可能な程度のサイズを持っている。即ち、１次偏向ミラー２１ａ，２１ｂは、前玉ユニット２０ａの遮蔽されていない領域とほぼ同じかそれよりも少し大きい程度のサイズを持つ。また、１次偏向ミラー２１ａ，２１ｂは、水平方向には約４５度、垂直方向には撮像素子側に数度傾いて配置されている。このように配置することにより、１次偏向ミラー２１ａ，２１ｂで反射された光束が２次偏向ミラー２２ａ，２２ｂに入射する。
２次偏向ミラー２２ａ，２２ｂは、水平方向には１次偏向ミラー２１ａ，２１ｂと略直交するように、垂直方向には撮像素子側に数度傾いて配置されている。このように配置することにより、２次偏向ミラー２２ａ，２２ｂで反射された光束が後玉ユニット２３に入射する。図４Ｂに示すように、上面方向から見ると、２次偏向ミラー２２ａ，２２ｂは、互いに交差するように配置されている。即ち、１次偏向ミラー２１ａから入射してくる光束は、２次偏向ミラー２２ａで反射されて後玉ユニット２３の下方向に入射するように偏向される。一方、１次偏向ミラー２１ｂから入射してくる光束は、２次偏向ミラー２２ｂで反射されて後玉ユニット２３の上方向に入射するように偏向される。
このように偏向された光束は、後玉ユニット２３を介して、ローパスフィルタ２４に入射し、ローパスフィルタで高周波雑音成分が除去される。その後、右側の前玉ユニット２０ａを介して入射した光束は、撮像素子５の下半分の領域に結像し、左側の前玉ユニット２０ｂを介して入射した光束は、撮像素子５の上半分の領域に結像する。即ち、視野マスク１９ａ，１９ｂで視野を限定することにより、上下の画像はオーバラップせずに、撮像素子上に結像する。この結果、図５に示すような左右の視差を持ったステレオ画像が、撮像素子上に上下に並んで結像することになる。これにより、１台のステレオ光学モジュールをのみでステレオ画像を取得することが可能である。
ここで、２次偏向ミラー２２ａ，２２ｂは、撮像素子５に対して垂直方向に数度の角度をつけて配置されているので、像は、物界に対し傾いて結像することになる。そこで、入射光束を撮像素子５に効率的に結像させるために、撮像素子５は、図４Ａに示すように斜めに傾けて配置することが好ましい。
このようにして撮像素子５に結像したステレオ画像は、図２のブロック図で示す、撮像素子駆動回路６の働きにより、アナログ信号として画像出力処理回路８に順次出力される。ここで、画像出力処理回路８の内部は、Ａ／Ｄ変換部１２と、Ｃ−Ｙ変換部１３と、圧縮処理部１４と、レクティフィケーション処理部１５と、γ変換処理部１６と、シェーディング補正処理部１７と、フレームバッファメモリ１８とから構成されている。
また、画像出力処理回路８と、上記雨滴センサ１０及び温度センサ１１は、図４Ａ及び図４Ｂに示すように視野マスク１９ａ，１９ｂの後方、２次偏向ミラー２２ａ，２２ｂの裏面側の空きスペースである回路配置スペース２７ａ，２７ｂに設置される。図４Ａ及び図４Ｂに示すように、右側の光学系には１次偏向ミラー２１ａ及び２次偏向ミラー２２ａの上方に回路配置スペース２７ａが存在し、左側の光学系には１次偏向ミラー２１ｂ及び２次偏向ミラー２２ｂの下方に回路配置スペース２７ｂが存在する。これは、上述したように、右側前玉ユニット２０ａは上半分が視野マスク１９ａによりマスクされており、左側前玉ユニット２０ｂは下半分が視野マスク１９ｂによりマスクされているので、それら視野マスク１９ａ，１９ｂの後方には光学部材が配置されることはなく、空きスペースとなるからである。そこで、この空きスペースに画像出力処理回路８等の回路を設けるようにすれば、入射してくる光を遮ることなく、かつ、ステレオ光学モジュール内の空きスペースを有効利用することができ、ステレオ光学モジュールの小型化に繋がる。ここで、これらの空きスペースに設けることができる回路は、例えば電気信号を出力する電気信号出力回路であり、上記した画像出力処理回路の他に、例えば、撮像素子駆動回路、補正データを記憶するデジタルメモリ（補正情報メモリ）、温度センサ、及び雨滴センサや、照度センサ、ＧＰＳアンテナ、ＥＴＣカードシステム等が含まれる。また、この空きスペースには、ステレオ光学モジュールの図示しない電源回路を設けても良いし、メカニカルな機構部材を設けても良い。この機構部材として、例えばステレオ光学系をメカニカルに調整するための図示しない調整機構を設けても良い。また、ステレオ光学系に入射する光量を調整するための図示しないＮＤフィルタを挿脱式にしておき、このＮＤフィルタの退避スペースとして上記した空きスペースを使用するようにしてもよい。
次に、図２の画像出力処理回路８の各部について説明する。画像出力処理回路８内部では、まず、Ａ／Ｄ変換部１２でアナログ信号であるステレオ画像がデジタルデータであるデジタルステレオ画像データに変換される。なお、撮像素子５の前面には、図示しない光学色フィルタが設けられており、この光学色フィルタによって撮像素子５はＲＧＢの各色に対応したステレオ画像データを出力するようになっている。Ｃ−Ｙ変換部１３では、これらのＲＧＢの原色信号が輝度信号と２つの色差信号に変換される。これは、圧縮処理部１４で、モーションＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）信号に変換するための準備の処理である。その後、これらの信号は、フレームバッファメモリ１８に記憶される。
このフレームバッファメモリ１８に記憶されたステレオ画像データは、シェーディング補正処理部１７に入力される。シェーディング補正処理部１７では、補正情報メモリ７に格納されたシェーディング補正データに基づきシェーディング補正処理が施される。次に、γ変換処理部１６において画像入出力特性を適正にするためにγ変換処理が施され、更にレクティフィケーション処理部１５で補正情報メモリ７に格納されたキャリブレーションデータに基づきレクティフィケーション処理が実施される。
なお、レクティフィケーション処理とは、ステレオ光学系４内部の光学部材などの機械ずれなどにより生じる左右画像のエピポーラ線のずれやレンズの歪曲（ディストーション）等による画像の歪みを画像処理によって補正する処理である。この様な処理では、例えば、左画像で選択された特徴点に対応する点が右画像のどこにあるかを検出し、この対応点が本来のっているべき直線（エピポーラ線）上から、どれだけずれているのかを検出し、この検出したずれに応じた画像変形を行う。このようにしてレクティフィケーション処理された左右画像（以後、レクティフィケーション画像と称する）は、規定の座標に正規化された後、図５に対応するように上下に配置された形でフレームバッファメモリ１８に書き戻される。
また、補正情報メモリ７に記憶されているキャリブレーションデータは、ステレオ光学モジュールの熱変形等を考慮するための複数のキャリブレーションデータが記憶されている。即ち、温度センサ１１で検出した温度値は、Ｍ側通信インタフェース９を介して画像出力処理回路８に入力され、この入力された温度に基づいて、レクティフィケーション処理部１５は、補正情報メモリ７に記憶されているキャリブレーションデータを選択してレクティフィケーション処理を実施することで、温度変化にロバストな処理を実現する。
その後、上記フレームバッファメモリ１８に書き戻されたデジタルステレオ画像データは、圧縮処理部１４に入力され、モーションＪＰＥＧのようなデータ圧縮方式を用いてデータ圧縮が施された後、Ｍ側通信インタフェース９を介して通信回線２に出力される。また、Ｍ側通信インタフェース９には、雨滴センサ１０及び温度センサ１１も接続されており、これらセンサの出力も通信回線２や画像出力処理回路８に出力可能である。
次に通信回線２について説明する。通信回線２は、第１の実施形態では、レクティフィケーション画像データ及びステレオ光学モジュールの制御を行うためのデータ信号を伝送する複数のＵＳＢ通信線を持つ。これらの通信線は、それぞれステレオ光学モジュール１のＭ側通信インタフェース９と中央制御ユニット３のユニット（ｕ）側通信インタフェース２８とに接続される。
ここで、レクティフィケーション画像はモーションＪＰＥＧ形式で圧縮された形でＵＳＢ信号線に伝送され、また、雨滴センサ１０で検出された雨滴センサ情報や温度センサ１１で検出された温度センサ情報等の環境情報や、被写体の測光情報などの情報も、ＵＳＢ通信線を介して伝送される。そして、これらの情報は、通信回線２を介して、中央制御ユニット３に伝送される。ここで、ステレオ画像データは、上述のように圧縮処理部１４で圧縮されているので、通信時の情報量を削減することができ、画像データの他のデータを送受信可能な情報量を増すことができる。ここで、通信回線２、即ちＵＳＢ通信線は、上述したように、レクティフィケーション画像のデータ、雨滴センサ情報、及び温度センサ情報等を、デジタルデータによりステレオ光学モジュール１から中央制御ユニット３に対して通信する。ここで、ステレオ光学モジュール１は、中央制御ユニット３から制御コマンドを受けて所定のデータを発生させる温度センサ、雨滴センサ、補正情報メモリなどのデータ発生装置を備えている。通信回線２は双方向のデジタル通信回線になっており、中央制御ユニット３からは、各種制御コマンドをこの通信回線２を介してステレオ光学モジュール１に対して送る。この制御コマンドは、第１の実施形態では、詳細な記述を省略するが、例えばステレオ光学モジュール１の電源制御コマンド（動作モードと省電力モードとを切り換えるコマンド）であるとか、温度センサ情報、雨滴センサ情報を中央制御ユニット側に読み出すための要求信号、あるいは補正情報メモリ７に記憶された情報を中央制御ユニット３側に読み出すための要求信号などである。このように１系統の通信線を用いてより効率よく相互のデータ通信を行うことができる。
また、第１の実施形態の変形例であるが、レクティフィケーション画像のデータをアナログの通信線を使用して送信することも可能である。例えば、撮像素子５の出力をモジュール側のＭ側通信インタフェース９にてＮＴＳＣ等のフォーマットに準拠したアナログ画像信号に変換した後に通信回線２に出力する。この場合には、ステレオ光学モジュール内で圧縮処理部１４は不要になる。この変形例の特徴としては、通信回線２がアナログの通信線とデジタルの通信線の２系統を持つ必要があり、通信回線を通す部分のスペースが余分に必要になる。また、通信コネクタの占有スペースが余計に必要になる等のデメリットはあるが、その反面、画像データを通信するスピードを高めることができるというメリットが発生する。
またレクティフィケーション画像をアナログの通信線で送信する場合に、ブランキング信号中に情報を重畳する文字放送用の領域などを利用して画像データ以外の制御データを伝送するようにしても良い。
次に中央制御ユニット３について説明する。図６に示すように、中央制御ユニット３は、ｕ側通信インタフェース２８と、画像入力装置２９と、フレームメモリ３０と、ＥＰＲＯＭ３１と、距離画像算出ユニット３２と、距離画像などを元に物体認識等を行う距離画像評価装置としての周辺環境判定ユニット及びシーケンスコントローラ（以下、周辺環境判定ユニットと称する）３３から構成されている。更に、中央制御ユニット３は、画像出力装置３４、ポインティング入力装置３６、オーディオ出力装置３７、オーディオ入力装置４０、及び表示灯出力装置４１も有している。以上の回路や装置はバスを介して接続されており、相互にデータの転送が可能になっている。
また、画像出力装置３４及びポインティング入力装置３６は表示入力装置３５に接続されている。また、オーディオ出力装置３７はスピーカ３８に接続されており、オーディオ入力装置４０はマイクロホン３９に接続されている。更に、表示灯出力装置４１は表示灯４２に接続されている。
通信回線２を介して中央制御ユニット３に入力されてきたレクティフィケーション画像は、ｕ側通信インタフェース２８、画像入力装置２９を介してフレームメモリ３０に一時格納され、その後、距離画像算出ユニット３２に入力される。
ここで、中央制御ユニット３に入力されてきたレクティフィケーション画像は、モーションＪＰＥＧの規格で圧縮されたデータであるので、上記した画像入力装置２９で、この圧縮されたデータを伸長して復元する。
距離画像算出ユニット３２は、ステレオ画像から左右別の画像を切り出すステレオ画像切り出し部４３と、ウインドーマッチング部４６とを持つ。即ち、距離画像算出ユニット３２に入力されてきたレクティフィケーション画像は、ステレオ画像切り出し部４３で左右画像４４，４５に切り出される。そして、これら切り出された左右画像４４，４５に対してウインドーマッチング部４６においてウインドーマッチングが行われ、それぞれの対応点のずれ、即ち視差量の検出が行われ、この結果、視差画像４７が生成される。その後、この視差量が、距離画像生成部４８において距離情報に変換され、この距離情報とＥＰＲＯＭ３１に記憶されているキャリブレーションデータ４９に基づいて距離画像が生成される。ここで、用語「距離画像」は、撮像された被写体画像の画素ごとに距離情報を有している画像のことを言うものとする。また、このキャリブレーションデータ４９は、通信回線２を介して入力されてきた雨滴センサ情報や温度センサ情報に従って選択される距離情報補正用のデータである。
その後、生成された距離画像は、周辺環境判定ユニット３３に送られる。
周辺環境判定ユニット３３は、一般のパーソナルコンピュータやマイクロコンピュータによる制御装置と同等に、通信バスに接続された、中央演算処理部（ＣＰＵ）５０、メインメモリ（ＲＡＭ）５１、デジタル信号処理部（ＤＳＰ）５２、ハードディスク（ＨＤＤ）５３などを持ち、距離画像を評価して物体を認識するシーケンスやその他の各種シーケンス制御などをソフトウェア的に実現するように構成されている。
即ち、距離画像が周辺環境判定ユニット３３に入力されてくると、ＣＰＵ５０がＨＤＤ５３に格納された物体認識処理のプログラムをＲＡＭ５１に展開して実行し、ステレオ光学モジュール１で得られた２次元のレクティフィケーション画像や距離画像算出ユニット３２で求められた距離画像に基づいて、障害物（例えば、道路上では、歩行者、車両、落下物など）の検出や、特徴的な環境情報（例えば、道路上では白線や、ガードレール、標識など）を認識する処理を行う。そして、ＣＰＵ５０は、この認識処理の結果に基づいて、例えば、画像出力装置３４を制御して表示入力装置３５に認識結果を表示したり、オーディオ出力装置３７を制御してスピーカ３８から車両が近づいている旨などを警告音により告知したり、表示灯出力装置４１を制御して表示灯４２を点灯したりして、運転者などの操作者の注意を促したりする運転支援に関する制御を実施する。また、逆に表示入力装置３５のようなマニュアル操作部材やマイクロホン３９などの音声入力装置により操作者からの指示があった場合には、その指示をポインティング入力装置３６やオーディオ入力装置４０を介して取り込み、その指示内容に応じた制御を実行する。
以上のようなステレオカメラシステムを車両に搭載した場合には、通信回線２に、図７に示すように、ステレオ光学モジュール１及び中央制御ユニット３に加えて、更に、レーダー装置が搭載されたレーダーモジュール５４、車両の速度を検出するための車速センサモジュール５５、車両の位置を運転者等に知らせるためのカーナビゲーションモジュール５６、エンジン制御を行うエンジンコントロールモジュール５７、車両の側方を監視するための側方カメラモジュール５８、車両内を監視するための室内監視モジュール５９、ブレーキを制御するためのブレーキセンサモジュール６１、車両の後方を監視するための後方カメラモジュール６２、車内の積載量を検出するための積載検出モジュール６３、超音波レーダー装置が搭載された後方超音波レーダーモジュール６４等を接続して、各種車載モジュール間の相互の連携がとれるように構成しても勿論構わない。なお、これらのモジュールは、従来のものがそのまま使用可能である。
このような車内ネットワークの一部として用いる場合のユニットやモジュール間の通信には、無線通信技術であるＢｌｕｅｔｏｏｔｈやＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１ｘなどを用いることも可能である。また、ＵＳＢ、ＩＥＥＥ１３９４、イーサネットなどの有線ネットワークや、ＶｏＩＰ（ボイスオーバーアイピー）などの音声データの伝送プロトコルや、リアルタイムメッセージング機能（ＲＴＣ／ＳＩＰｃｌｉｅｎｔ）などを用いてもよく、ＩＰｖ６などにより各機器にＩＰアドレスを割り当てた車内ＬＡＮを構築してもよい。更に、車内ノイズ等に強い車載用光ネットワーク規格「ＭＯＳＴ」や「ＣＡＮ」などの、オープンスタンダード規格に対応した通信バスラインを用いるようにしてもよい。
以上説明したような、この第１の実施形態には、次のような特有の効果がある。
即ち、この第１の実施形態ではステレオ光学モジュール内でレクティフィケーション、γ補正、シェーディング補正、輝度信号と色差信号への分離などの当該ステレオ光学モジュールのために必要となる画像処理を行うようにしている。これによって、中央制御ユニット側での回路負荷を軽減でき、さらに中央制御ユニット側での仕様を簡略化できシステムの汎用性を高めることができる。
またデジタル画像データを圧縮してから通信するようにしているので、アナログ通信の場合に近いフレームレートでデジタル画像データを伝送することができる。
また、ステレオ光学モジュール１に温度センサ１１を設けているので、レクティフィケーション処理時の温度による補正が適切に行われる。このため、中央制御ユニット３で実施されるウインドーマッチングの探索領域をエピポーラ線上に限って実施すればよく、より高速な処理を実現できる。
なお、この第１の実施形態の各構成は、当然、各種の変形、変更が可能である。
例えば、以上説明したようなステレオ光学モジュール１を複数用いることも可能である。この場合には、各ステレオ光学モジュールから得られるレクティフィケーション画像に、カメラＩＤを埋め込むことにより、どのステレオ光学モジュールからのレクティフィケーション画像なのかを明確に識別できるようにしてもよい。
また、第１の実施形態において、ステレオ光学モジュール１は、γ変換処理や、Ｃ−Ｙ変換処理、圧縮処理などの処理回路が含まれているが、必ずしもこれらの機能は必要ではなく、一般的な、ビデオカメラやデジタルスチルカメラと同等の画像処理が行えればよい。
また、ステレオ光学モジュール１の補正情報メモリ７には、レクティフィケーション処理、シェーディング補正処理用の補正情報のほかに、各ステレオ光学モジュールが車両にどのように取り付けられているのかをキャリブレーションした補正情報を記憶させておくようにしてもよい。このようにすることにより、中央制御ユニット内のＥＰＲＯＭ３１の省略又は記憶容量の削減を行うこともできる。更に、キャリブレーションによって得られた中央制御ユニット３からの情報をステレオ光学モジュール１などに通信で送り、この情報をステレオ光学モジュール１に記憶させるようにしてもよい。また、中央制御ユニット３の距離画像算出ユニット３２で用いられるキャリブレーションデータも、ステレオ光学モジュール１の補正情報メモリ７に記憶させておき、距離画像算出時には、このキャリブレーションデータをステレオ光学モジュール１から中央制御ユニット３に通信できるようにしてもよい。
即ち、この変形例は、補正情報メモリ７に記憶させている補正情報の中で一部の補正情報（キャリブレーションデータ）をステレオ光学モジュール内での画像処理演算に使用し、その他の補正情報を通信回線２を介して中央制御ユニット３に送信して、中央制御ユニット側での距離演算等の補正に使用するようにしたものである。
また、中央制御ユニット３は、内部の各種処理回路が専用の特定用途向集積回路（ＡＳＩＣ）を用いたハードウェア的な結線で実現されてもよく、更には、これらをダイナミックに書き換えることができるリコンフィギュアラブルプロセッサなどによって構築されていても勿論よい。
また、ステレオカメラシステムの制御にとどまらず、温度センサや雨滴センサの情報、補正情報、切り出し領域の情報などを伝送するようにしてもよい。これは、ステレオ光学モジュール１、通信回線２、中央制御ユニット３だけでなく、各種車載モジュール間の通信に適応することができるのは勿論である。
また、各通信回線２と、ステレオ光学モジュール１、中央制御ユニット３間はフォトカプラなどで電気的に絶縁することで、ハーネスに印加される各種スパイクノイズなどの影響を回路が受けないように絶縁しておいても構わない。
また、通信回線２に流す映像のフォーマットとして、アナログ方式ならば、ＮＴＳＣ方式の他にＰＡＬ方式やＳＥＣＡＭ方式でもよく、またデジタル形式ならば各種圧縮フォーマット、例えば、静止画の圧縮方式であるＪＰＥＧ方式や動画の圧縮方式であるＭＰＥＧ方式、ＤＶ（デジタルビデオ）などの規格で伝送するようにしてもよい。
また、入力や表示については、例えば、マイクロソフト（登録商標）社のＡｕｔｏｍｏｔｉｖｅ ＵＩ Ｔｏｏｌｋｉｔなどの車載機器用のユーザーインタフェースデザインツールにより構築されたＧＵＩや音声インタフェースを用いてもよい。
更に、図４Ａにおいて、視野マスク１９ａ，１９ｂは、前玉ユニット２０ａ，２０ｂを半分覆う形に描かれているが、より効果的に視野を規制するために図８Ａに示すように、方形の開口部２５を持つ視野マスク１９を前玉ユニット２０の光軸からオフセットした位置に配置してもよく、また、図８Ｂに示すようにレンズ自体を４辺Ｄカットするなどして、視野マスクを配置したのと同等の効果を得るようにしてもよい。
また、図９に示すように、中央制御ユニット３内にステレオ光学系のキャリブレーションデータ６６を算出するためのステレオ光学系キャリブレーション装置６５や車両とステレオ光学モジュール１の位置関係を計測しシステムキャリブレーションデータ６８を算出する車両系キャリブレーションを実施する車両系キャリブレーション装置６７などを持つように構成してもよい。
更に、補正情報メモリ７に記憶される補正情報は、シェーディング補正処理やレクティフィケーション処理のためのキャリブレーションデータであるとしているが、画像の切り出し領域の情報や車体との位置関係のキャリブレーションデータなどを加えても勿論構わない。また、補正情報メモリ７を中央制御ユニット３側に配置してもよい。また、通信回線２を介して適宜読み書きすることができるように構成しておいてもよい。
［第２の実施の形態］
次に、本発明のステレオカメラシステムの第２の実施形態について説明する。なお、第１の実施形態と同様の構成については、同一の参照符号を付すことで説明を省略する。
即ち、この第２の実施形態においては、図１０に示すように、ステレオ光学モジュール１に、レクティフィケーション処理部１５、γ変換処理部１６、及びシェーディング補正処理部１７などの処理回路と、補正情報メモリ７を搭載せず、これらを図１１に示すように中央制御ユニット３に搭載する。
これにより、ステレオ光学モジュール内の電子回路の回路規模を小さくすることができる。即ち、ステレオ光学モジュール内で発生する熱を抑制して、ステレオ光学モジュール内の光学系等の熱変形によるキャリブレーションデータの変動を抑制することができる。また、撮像素子５の冷却が、他の発熱要素の減少により効率的に行えるので、熱雑音の発生を抑えることができ、より良好なステレオ画像を通信回線２に出力することが可能である。
なお、この第２の実施形態の各構成は、当然、第１の実施形態と同様に各種の変形、変更が可能である。
［第３の実施の形態］
次に、本発明のステレオカメラシステムの第３の実施形態について説明する。なお、第１及び第２の実施形態と同様の構成については、同一の参照符号を付すことで説明を省略する。即ち、第３の実施形態における中央制御ユニットは、図１２に示すように、図６で示す第１の実施形態の中央制御ユニットから距離画像算出ユニットを除いたものである。
即ち、この第３の実施形態においては、図１２に示すように、ステレオマッチング処理までをステレオ光学モジュール内で実施する。そのため、距離画像算出ユニット３２もステレオ光学モジュール１に内蔵している。この場合、通信回線２には、物体認識に用いる２次元画像と距離画像が出力される。なお、第３の実施形態において第１の実施形態と異なる点は、ステレオ光学モジュール内のＭ側通信インタフェース９から画像データをＮＴＳＣ準拠のアナログ方式で送り出す点も異なる。
これら２次元画像と距離画像とは、図１３に示すように、例えば１つのＮＴＳＣ方式の画面内に並べて再配置され、ビデオ信号として出力される。これにより、通信回線２を介して、距離画像と２次元画像とを、同期させた状態で中央制御ユニット３に送出することが可能である。また、これらの画像に、基準画像として左右どちらの画像を用いて出力したかや温度センサ１１で検出した温度や雨滴センサ１０で検出した情報等を、例えば文字放送などに用いられている信号領域にエンコーディングして送出することにより、画像と同期させた通信を行うことも可能である。
このようにして通信が行われた後は、中央制御ユニット３は、ｕ側通信インタフェース２８によりその画像をデコードして２次元画像、距離画像、及びセンサ情報として処理することにより、各種認識処理を実現する。具体的には、中央制御ユニット３は、ｕ側通信インタフェース２８を介して入力された距離画像データに基づいて、距離画像評価装置である周辺環境判定ユニット３３にて図示しない被写体の評価を行う。
なお、これらのステレオ光学モジュールを複数用いることも可能であり、例えば、２つのステレオ光学モジュールを用いるときには、画面の上下画像にそれぞれのステレオ光学モジュールのカメラＩＤを示すコードと距離画像とを埋め込み、単一の映像に同期させて中央制御ユニット３に送信するようにしてもよい。
また、中央制御ユニット３は、内部の各種処理回路が専用のＡＳＩＣでハードウェア的な結線で実現されてもよく、さらにはこれらがダイナミックに書き換えることができるリコンフィギュアラブルプロセッサなどによって構築されていても勿論よい。
また、第３の実施形態では、物体認識に用いる２次元画像と距離画像とをＮＴＳＣ方式のアナログ信号線を使用して出力したが、上記した第１の実施形態と同じように、デジタルデータとしてデジタル通信回線に出力するようにしてもよい。この場合は、上記した第１の実施形態と同じようにモーションＪＰＥＧ、ＭＰＥＧ方式等のデータ圧縮方式を用いてデータ圧縮処理を施した後に通信回線２に出力するようにしてもよい。
特に車載用にした場合には、通信回線２に、図７に示すように、ステレオ光学モジュール１、中央制御ユニット３、運転状況検出モジュール等を接続して、各種車載モジュールの相互の連携がとれるように構成しても勿論構わない。ここで、運転状況検出モジュールとしては、例えば、図７に示すような車速センサモジュール５５、エンジンコントロールモジュール５７、ブレーキセンサモジュール６１等がある。また、環境監視モジュールとしては、図７に示すようなレーダーモジュール５４、カーナビゲーションモジュール５６、側方カメラモジュール５８、室内監視モジュール５９、後方カメラモジュール６２、積載検出モジュール６３、後方超音波レーダーモジュール６４等がある。このような車内ネットワークの一部として用いる場合のユニットやモジュール間の通信には、無線通信技術であるＢｌｕｅｔｏｏｔｈやＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１ｘなどを用いることも可能である。また、ＵＳＢ、ＩＥＥＥ１３９４、イーサネットなどの有線ネットワークや、ＶｏＩＰ（ボイスオーバーアイピー）などの音声データの伝送プロトコルや、リアルタイムメッセージング機能（ＲＴＣ／ＳＩＰ ｃｌｉｅｎｔ）などを用いてもよく、ＩＰｖ６などにより各機器にＩＰアドレスを割り当てた車内ＬＡＮを構築してもよい。更に、車内ノイズ等に強い車載用光ネットワーク規格「ＭＯＳＴ」や「ＣＡＮ」などの、オープンスタンダード規格に対応した通信バスラインを用いるようにしてもよい。
また、通信回線２と、ステレオ光学モジュール１や中央制御ユニット３との間をフォトカプラなどで電気的に絶縁することで、ハーネスに印加される各種スパイクノイズなどの影響を回路が受けないように絶縁しておいてもかまわない。
また、入力や表示については、例えば、マイクロソフト（登録商標）社のＡｕｔｏｍｏｔｉｖｅ ＵＩ Ｔｏｏｌｋｉｔなどの車載機器用のユーザーインタフェースデザインツールにより構築されたＧＵＩや音声インタフェースを用いてもよい。
即ち、この第３の実施形態では、ステレオ光学モジュール内で得られたステレオ画像データに対して、レクティフィケーション、γ補正、シェーディング補正、輝度信号と色差信号への分離などの当該ステレオ光学モジュールのための必要となる画像処理だけでなく、距離画像の算出までもステレオ光学モジュール内で行うようにした。したがって、第１の実施形態と比べてさらに中央制御ユニット側における回路負荷を軽減でき、中央制御ユニット側での仕様をさらに簡略化でき、中央制御ユニットの汎用性を高めることができる。
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。この第４の実施形態においては、より良好な距離画像算出を行うために実施するステレオカメラシステムの動作シーケンスを説明する。なお、ここでは、車載用途の場合のトリガ信号を例として挙げる。なお、第４の実施形態は、第１の実施形態で示すステレオカメラシステムの動作シーケンスを示すものである。第２又は第３の実施形態のような構成においても同様に適用可能なことは言うまでもない。
まず、図１４を参照してステレオカメラシステムにおけるメイン動作シーケンスについて説明する。即ち、運転者などの操作者によりドアキーのオープンや、イグニッションキーのＯＮを検出すると、スリープ状態にあった中央制御ユニット３がレジュームし（ステップＳ１）、起動する（ステップＳ２）。中央制御ユニット３は、起動すると同時に、ステレオ光学モジュール１の画像出力処理回路８及び撮像素子５を起動させる（ステップＳ３，Ｓ４）。ここでは、中央制御ユニット３から通信回線２を介してステレオ光学モジュール１に対して、ステレオ光学モジュール１を起動させるための「起動コマンド」が送信される。ステレオ光学モジュール１は、この「起動コマンド」を受けて内部の図示しない電源回路を省電力モードから動作モードに切り換え、それに引き続いて画像出力処理回路８及び撮像素子５を起動させる。これにより、撮像が開始される。また、同時に中央制御ユニット３は、図１５に示すセンサチェックシーケンスを開始させる（ステップＳ５）。このセンサチェックシーケンスの詳細については、後に述べる。
センサチェックシーケンスの結果、問題ない環境情報データ１００がレクティフィケーション処理部１５に出力されると、レクティフィケーション処理が開始される。即ち、レクティフィケーション処理部１５は、この環境情報データ１００や補正情報メモリ７に記憶されたキャリブレーションデータ１０１等に基づいてレクティフィケーション処理を行う（ステップＳ７）。そして、このレクティフィケーション処理が実施されたレクティフィケーション画像は、通信回線２を介して中央制御ユニット３に送られる。なお、中央制御ユニット３では、例えば周辺環境判定ユニット３３で、フレームメモリ３０に記憶されたこのレクティフィケーション処理に使用されたキャリブレーションデータ１０１が適正であるか否かをレクティフィケーション画像よりチェックし（ステップＳ８）、そのキャリブレーションデータ１０１に問題がある場合には、このときのレクティフィケーション画像は、以降の処理に使用しないように、フレームメモリ３０から削除する。そして、後に説明するキャリブレーションデータ補正処理を行い（ステップＳ９）、キャリブレーションこの補正処理によって補正されたキャリブレーションデータを通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に上書きすることで、そこに記憶されているキャリブレーションデータ１０１を更新する（ステップＳ１０）。そして、ステップＳ７のレクティフィケーション処理において、この更新したキャリブレーションデータ１０１を使用してレクティフィケーション処理を行うことになる。これにより、常に最新且つ正しいキャリブレーションデータでレクティフィケーション処理が実行される。
レクティフィケーション処理が実施されたレクティフィケーション画像よりキャリブレーションデータに問題が無いと判別された場合には、中央制御ユニット３内の距離画像算出ユニット３２は、入力されたレクティフィケーション画像に基づいて、ウインドーマッチング処理を行った後（ステップＳ１２）、距離画像を生成し、この生成した距離画像を周辺環境判定ユニット３３に出力する（ステップＳ１３）。この距離画像を用いて、中央制御ユニット３の周辺環境判定ユニット３３は、後に説明する運転支援を実施する（ステップＳ１４）。
ここで、ドアキーがオープンされたり、イグニッションキーがＯＦＦされるとステップＳ１５の判定をｙｅｓに分岐して、現在のキャリブレーションデータを記録させ（ステップＳ１６）、中央制御ユニット３はスリープ状態に入り、ステレオ光学モジュール１も動作を停止する。ここでも中央制御ユニット３から通信回線２を介してステレオ光学モジュール１に対して、ステレオ光学モジュール１の動作を停止させるための「動作停止コマンド」が送信される。ステレオ光学モジュール１は、この「動作停止コマンド」を受けて所定の動作を行った後に省電力モードに入る。
次に、図１４のステップＳ５におけるセンサチェックシーケンスについて図１５を参照して説明する。なお、ここでは、ステレオ光学モジュール１を、車内のルームミラーに取り付け、フロントウインドガラスを介して車体前方を撮像する場合を想定して説明する。
このセンサチェックにおいて、まず、中央制御ユニット３は、既知の手法によりフロントウインドガラスのクモリ・結露の検出を行って（ステップＳ２１）、車両のフロントウインドガラスにクモリや結露がないか否かを判定する（ステップＳ２２）。この判定においてクモリがあると判定した場合には、中央制御ユニット３は、図示しないデフロスタをＯＮしてクモリの除去を開始するとともに（ステップＳ２３）、表示入力装置３５にクモリ警告表示を行う（ステップＳ２４）。そして、デフロスタの効果によりクモリが除去された場合、中央制御ユニット３は、ステップＳ２２の判定においてクモリなしと判定し、上記クモリ警告表示を消灯する（ステップＳ２５）。
次に、中央制御ユニット３は、通信回線２を介して送られてきた雨滴センサ１０の出力により雨滴の検出を行い（ステップＳ２６）、フロントウインドガラスに雨滴がついていないか否かを判定する（ステップＳ２７）。この判定において雨滴がついていると判定した場合には、中央制御ユニット３は、図示しないワイパーを動作させて雨滴の除去を開始するとともに（ステップＳ２８）、表示入力装置３５に雨警告表示を行う（ステップＳ２９）。そして、ワイパーの効果により、雨滴がなくなった場合、中央制御ユニット３は、ステップＳ２７の判定において雨滴なしと判定し、上記雨警告表示を消灯する（ステップＳ３０）。
次に、中央制御ユニット３は、温度センサ１１によりステレオ光学モジュール１周囲の温度検出を行い（ステップＳ３１）、検出した温度がステレオ光学モジュール１の動作に適正な範囲内であるか否かを判定する（ステップＳ３２）。この判定において検出した温度が適正範囲内でないと判定した場合には、中央制御ユニット３は、図示しないエアコンを動作させて温度調節を行うとともに（ステップＳ３３）、表示入力装置３５に温度警告表示を行う（ステップＳ３４）。そして、エアコンの効果により、温度が適正温度範囲内になった場合、中央制御ユニット３は、ステップＳ３２の判定において適正温度範囲内であると判定し、上記温度警告表示を消灯する（ステップＳ３５）。
これらのセンサチェックは、中央制御ユニット３が動作している間は実行される。即ち、中央制御ユニット３は、停止信号が入力されたか否かを判定し（ステップＳ３６）、停止信号が入力されたと判定した場合には、このセンサチェックを終了させる。一方、停止信号が入力されていないと判定した場合には、検出された、クモリ情報、雨滴センサ情報、及び温度センサ情報といった環境情報データ１００を、通信回線２を介してステレオ光学モジュール１のレクティフィケーション処理部１５に出力した後（ステップＳ３７）、ステップＳ２１に戻り、センサチェックを継続する。
なお、このセンサチェックのフローチャートよりわかるように、上記環境情報データ１００は、クモリ・結露、雨滴、温度が所定の条件範囲内にあるときにのみ出力されるものであり、よって、この環境情報データ１００を使用するレクティフィケーション処理は、たとえ撮像素子５によりステレオ画像が撮像されていたとしても開始されることはない。従って、そのような場合には、故障により動作がされないのではなく、所定の条件が得られていないために動作しないのであることを運転者に知らせるための警告表示を、表示入力装置３５により行うことが好ましい。
図１６は、図１４のステップＳ９におけるキャリブレーションデータ補正のシーケンスを示すフローチャートである。
即ち、この図１６に示すように、周辺環境判定ユニット３３は、まず、通信回線２を介して入手した温度センサ１１で検出した温度情報等の環境条件が変化したか否かの判定を行い（ステップＳ４１）、例えば、温度変化などによる熱膨張などのためにキャリブレーションデータが変化する場合には、ＥＰＲＯＭ３１又はＨＤＤ５３に予め用意された温度別のキャリブレーションデータテーブル１０２から、その温度に対応するキャリブレーションデータ１０１を読み出し、それを通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に書き込むことで（ステップＳ４７）、キャリブレーションデータ１０１を更新する。
次に、あるいは上記ステップＳ４１で環境条件変化なしと判別した場合には、既知形状物体画像（ここでは、通信回線２を介したステレオ光学モジュール１からのステレオ画像）を取得し（ステップＳ４２）、ステレオ光学モジュール１の取り付け位置などの取り付け条件が変化したか否かを判定し（ステップＳ４３）、取り付け条件が変化している場合には、その変化に応じてキャリブレーションデータを補正し（ステップＳ４４）、その補正した更新キャリブレーションデータ１０３を上記キャリブレーションデータテーブル１０２に追記すると共に、通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に書き込むことで、レクティフィケーション処理に使用されるキャリブレーションデータ１０１を更新する。
このような補正を行うことにより、レクティフィケーション処理やウインドーマッチングが常に良好な状態で実施可能である。
図１７は、図１４のステップＳ１４の運転支援のシーケンスの一例を示すフローチャートである。
即ち、周辺環境判定ユニット３３は、この運転支援シーケンスに入ると、通常画像（ステレオ画像切り出し部４３で切り出した一方の画像）１０４、距離画像１０５を入力として用い、距離分布に基づくセグメンテーション処理を実施した後（ステップＳ５２）、先行車両認識（ステップＳ５４〜Ｓ５７）、道路面認識（ステップＳ５８〜Ｓ５９）、障害物認識（ステップＳ６１〜Ｓ７０）、及びレーン認識（ステップＳ７１〜Ｓ７３）などを実施する。
先行車両認識では、レーザレーダーなどを用いたレーダーモジュール５４により車両から反射したレーザーを検出することで認識された先行車両を通常画像１０４から抽出し、距離画像１０５のセグメンテーションと整合をつけて先行車両の領域を認識し（ステップＳ５４）、先行車両の車幅などの情報も含めて抽出することで、先行車両との車間距離を抽出する（ステップＳ５５）。次に、先行車両との距離をチェックし（ステップＳ５６）、先行車両との距離が適正でない（例えば、近すぎる）場合には、画像出力装置３４を介して表示入力装置３５に図１８に示すような画像表示を行うことにより、車間距離警告を実施する（ステップＳ５７）。
道路面検出では、距離画像１０５において、道路面があると想定される位置に距離画像１０５から認識できる平面を発見して（ステップＳ５８）、その平面の範囲を道路面と同一平面状のある平面として認識する。そして、この道路平面を基準面として設定する（ステップＳ５９）。この基準面のデータ１０６を各認識処理に用いることで、物体の認識や、先行車両の認識、レーンの認識などに利用できる。このときには、図１９に示すように、画像出力装置３４を介して表示入力装置３５に認識平面を表示してもよい。
障害物認識では、例えば、上記道路面検出された平面から立ち上がって距離画像１０５のセグメンテーション処理によって認識されている物体を認識し（ステップＳ６１）、障害物として、その距離、大きさなどをラベリングする。これに応じて、障害物の距離を抽出し（ステップＳ６２）、衝突コースか否かを判定し（ステップＳ６３）、衝突コースの場合には、画像出力装置３４を介して表示入力装置３５にて操作者に回避を促すような回避警告をする（ステップＳ６４）。次に、上記ステップＳ６２で抽出した距離が、操作者つまり運転者の自発的なブレーキ操作によって安全に停止できる距離か否かを判定し（ステップＳ６５）、安全に停止可能な場合には、操作者にブレーキを踏ませるように画像出力装置３４を介して表示入力装置３５にて警告する（ステップＳ６６）。一方、安全に停止することが出来ない距離である場合には、操作者にブレーキを踏むように画像出力装置３４を介して表示入力装置３５にて指示を行うと共に、アクセルを自動的に緩める（ステップＳ６７）。更に、ここで回避動作が可能である場合には（ステップＳ６８）、エマージングドライブとして画像出力装置３４を介して表示入力装置３５にてハンドル操作を促すなどして強制的に安全対策を講じる（ステップＳ６９）。
衝突が不可避の場合は、エアバックなどのパッシブセーフティのための前準備を行う（ステップＳ７０）。特に、車外通信システムなどが作動可能な場合などは、現在地や、事故発生の通報などの事故報告を自動的に実施するように構成してもよい。
レーン認識は、基準平面上にある白線を通常画像１０４の輝度値からの認識や、基準平面から一定高さに突出したガードレールなどを距離画像１０５から認識することなどから、レーンを認識する（ステップＳ７１）。これにより、走行可能域を認識するとともに、レーン内から外れていないことをチェックし（ステップＳ７２）、レーンから外れそうになったときは、図２１に示すように、画像出力装置３４を介して表示入力装置３５にレーン警告の表示などを行う（ステップＳ７３）。
なお、第４の実施形態では、上記警告として、図６に示した中央制御ユニット３に接続された表示入力装置３５の画面上に警告表示する例について示したが、当然の変形例として、スピーカ３８からの音声警告や、表示灯４２の点灯、また図示していないが、運転シートを振動させるなどの手段で操作者に注意を促す形で警告を行ってもよい。これは、特に、上記ステップＳ６４，Ｓ６６，Ｓ６７のように緊急性が高く、また操作者が前方から視線をそらすことが好ましくない場合に、有効である。
以上説明したように、第４の実施形態によれば、環境情報に適応させてキャリブレーションデータを適切に選択及び補正しながらステレオマッチングを実施することができる。
なお、この第４の実施形態の各構成もまた、当然、各種の変形、変更が可能である。
例えば、キャリブレーションデータの補正は、予め温度等により、テーブルを変換した複数のキャリブレーションデータテーブルから選択することで補正を行うようにしてもよい。
また、センサチェックで、センサが問題を発見した際の対応手段としては、第４の実施形態で示したデフロスタ、ワイパー、及びエアコンに限定されるものではなく、別の手段、例えば、デフロスタの代わりにクモリ防止コーティングや熱線ヒータを用いたり、ワイパーの代わりに超撥水ガラスコートやブロアを用いたり、エアコンの代わりにペルチェ素子や空冷ファンを用いてもよい。
また、図１４で示した動作シーケンスのフローチャートも各種の変更が可能である。例えば、センサチェックにおいてクモリ・結露、雨滴、温度が所定の条件範囲内にないときも環境情報データ１００を出力するようにし、図２２に示すように、その環境情報データ１００より環境情報の条件が不適切であり（ステップＳ８７：ｎｏ）、レクティフィケーション処理等が行えない場合には、センサチェックシーケンスを起動するとともに、距離画像の出力処理を停止し処理不能警告を画像出力装置３４を介して表示入力装置３５に表示する（ステップＳ８８）ことで、運転者などの操作者にその旨を伝達するようにしてもよい。
また、図１５におけるセンサチェックシーケンスでは、クモリ除去やワイパーなどを継続的に用いるようになっているが、図２３のようにデフロスタやワイパー、エアコンを、センサ情報が良好になった場合にＯＦＦする（ステップＳ１０５，Ｓ１１１，Ｓ１１７）ようにしても勿論よい。また、環境情報（温度センサ情報等）のデータを定期的に出力させる（ステップＳ１２０）ようにしてもよい。
また、図１５におけるセンサチェックシーケンスでは、全ての処理が直列的に実行される例を示したが、図２４のように、並列的に各環境条件のチェック（ステップＳ１２２，Ｓ１２８，Ｓ１３４）や、計測不能を解消するための動作（ステップＳ１２３，Ｓ１２９，Ｓ１３５）を実施するようにしてもよい。また、計測不能を解消するための動作はシステムが自動的に実施するようにしてもよく、操作者には、警告のみで、自らは、処理が不能である旨を表示したりするようにしてもよい。
また、第４の実施形態では、クモリ、雨滴、及び温度を代表的な環境情報として提示したが、霧、撮像素子のトラブル、昼夜間の切り替え、照度情報、枯葉や烏の糞、車内に釣られたマスコットなどによるウインドガラスの汚れや遮蔽、又は対向車両の相対位置などの情報などを環境情報として用いてもよい。
更に、第４の実施形態は、複数の撮像素子を用いたステレオカメラの場合でも用いることが可能である。
［第５の実施形態］
次に、本発明の第５の実施形態について説明する。この第５の実施形態は、複数の光学モジュールを有するシステムに関して説明する。個々の光学モジュールの構成については、上記した第１から第４の実施形態に準ずる。
即ち、図２５のように複数のステレオ光学モジュール１ａ，１ｂ、単眼光学モジュール７１ａ，７１ｂが通信回線２に接続される。通信回線２には中央制御ユニット３が接続されるとともに、運転状況検出モジュール７２、環境監視モジュール６０などが接続される。
ここで、単眼光学モジュールとしては、図７に示す、側方カメラモジュール５８や、後方カメラモジュール６２が挙げられる。また、運転状況検出モジュール７２としては、図７に示す、エンジンコントロールモジュール５７、ブレーキセンサモジュール６１や、図示しないステアリング角検出モジュール、変速機監視モジュール等が挙げられる。更に、環境監視モジュール６０としては、図７に示す、レーダーモジュール５４、車速センサモジュール５５、カーナビゲーションモジュール５６、室内監視モジュール５９、積載検出モジュール６３、後方超音波レーダーモジュール６４等が挙げられる。
ここで、光学モジュールで得られた画像情報には、各光学モジュールのカメラＩＤや、それぞれの光学モジュールにおけるキャリブレーションデータ等の情報を付加して送受信を実施し、それを中央制御ユニット３が判別させるようにすれば、どの光学モジュールの情報をどのキャリブレーションデータを用いて処理すれば良いかを判定可能である。
また、通信回線２はやはり１系統の通信回線であり、この通信回線２を使用して中央制御ユニット３とステレオ光学モジュール１ａを始めとした各ユニットの間で効率よく相互の通信を行うことができるようになっている。即ち、この通信においては、中央制御ユニット３が、全体システムのシーケンス制御を統括して行い、中央制御ユニット３から各ユニットに対してはデータ要求コマンドを始めとした各種制御コマンドを、また各ユニットから中央制御ユニット３に対しては、要求されたデータ等を送り返す。
また、図２５に示すように、通信回線２を共通で用いることにより、車内ハーネスの削減に繋がる。このため、重量の軽減、ノイズ混信の影響削減等の効果も得られる。
［第６の実施形態］
次に本発明の第６の実施形態について説明する。この第６の実施形態は、ステレオ光学モジュールに搭載される雨滴センサ１０の一実施形態である。
従来の雨滴センサは、例えば、図２６に示すように、ウインドガラス７３に密着したガラスブロック７４に向けて、赤外光や可視光の発光ダイオード（投光ＬＥＤ）７５から投光を行う。この光を投光レンズ７６で集光し、この集光光線のガラス外側面における反射光を、反射ミラー７７等により受光レンズ７８に導く。そして、受光レンズ７８でその導かれた光を集光し、この集光光線をフォトダイオード等の受光センサ７９で検出する。このとき、ウインドガラス７３に雨滴が付着している場合には、光が散乱して光量が変化するので、雨滴量を計測することが可能である。
しかしながら、この従来の雨滴センサでは、ガラス面に密着して、雨滴センサを設けなければならず、スペースやコスト上の制約となっていた。また、運転者の視野の妨げになったり、雨滴センサの他に車両の前方の障害物等を検出するためのステレオ光学モジュールを搭載する場合は、ステレオ光学モジュールの視野が遮蔽されてしまう問題やステレオ光学モジュール１に対する雨滴センサの設置位置などの問題がある。
そこで、第６の実施形態における雨滴センサは、ステレオ光学モジュール１で撮像された画像を用いて雨滴を検出する。
上記した実施形態で説明したステレオ光学モジュール１では、左右視差の横長の画像を、図５のように上下に振り分けて撮像素子上に結像させるステレオ光学系が用いられており、この結果、図２７に示すような横長のステレオ画像が得られる。ここで、ステレオ計測の原理によると、一般に遠距離の物体は視差が小さく、近距離の物体は視差が大きい。即ち、上記した実施形態で説明した光学系では、計測できる視差範囲を広く取れるので、ステレオ画像のある領域では、基線長から考えると従来に比べ非常に近距離（例えば、十数センチの基線長で、十数センチから数十センチの近距離）から無限遠方まで対応することができる。
図２８は、第６の実施形態で用いるステレオ光学モジュール１の左右２視点のステレオ画像の画角について示した図である。即ち、第６の実施形態では、少なくとも雨滴検出対象である車両のウインドガラスが、左右視点における画角がオーバラップするオーバラップ領域８３に入るようにステレオ光学モジュール１を配置する。例えば、図２７の例における雨滴検出用探索範囲は、図２８のオーバラップ領域８３のうち、ウインドガラスの存在する距離域（図の斜線部）になる。
特に、車載用途を考えた場合には、障害物認識などは数メートルから数十、或いは数百メートルという遠距離を計測するので、視差量が小さい。このため、一般にウインドーマッチングをする場合は、処理の高速化を狙ってエピポーラ線上における対応点の探索幅を短くする。なお、近距離の場合には、探索幅が広くなるので、それだけ対応点の探索に時間がかかる。
しかしながら、近距離だけ、特に第６の実施形態のようにウインドガラスのある数十センチ以内の領域だけのウインドーマッチングを行うのであれば、視差量を大きくとれる。極端な例としては、図２７に示す雨滴検出用探索範囲のみを探索すれば、雨滴の検出が可能である。
これを図２９及び図３０を参照して更に詳しく説明すると、従来のように、遠距離から近距離までの物体を連続的に測距して距離画像を算出するときに、画面端の基準点から探索を開始した場合には、探索ウインドを、画面を横断して移動させながらウインドーマッチングを行う必要がある。これでは、探索に時間がかかり、特に車載など距離計測に時間的な制約がある用途では、致命的な欠陥になりかねない。
そこで、第６の実施形態では、雨滴検出と障害物や車両などの検出をモードとして切り替える。即ち、雨滴検出のモードでは、図２９に示すように、基準画像８０の内、近距離対応の範囲でウインドーマッチングを行う。一方、障害物などを検出するモードでは、探索範囲を限定し、例えば３ｍから１００ｍに相当する視差量分の探索を行う。
また特に、雨滴検出を頻繁に行う場合には、探索画像８１側の探索範囲を、図３０に示すようにウインドガラス７３表面を含む限定した距離領域（例えば、ウインド形状に沿った狭い領域）に対応する探索範囲（図中、斜線部）に限定するようにしてもよい。即ち、図２７に示す右画像の左端及び左画像の右端の雨滴検出用探索範囲のみを探索範囲とするように、探索範囲の値にオフセットをかけるようにしてもよい。このように探索範囲を限定することで、より高速なウインドーマッチングによる雨滴検出が実現できる。
更に、図３０に示すように、ウインドガラス７３の傾斜に対応して探索範囲も傾斜している場合には、画面上端はより近距離であり、画面下端は上端に比べると遠距離であるので、図３０に射線部で示すように、探索範囲のオフセット量を画面上端側の探索から画面下端の探索にかけて、減少させつつウインドーマッチングをするようにしてもよい。
以上説明したように、第６の実施形態では、雨滴センサとしての機能を近距離限定のウインドーマッチングにより実現することで、中央制御ユニット３やステレオ光学モジュール１に新たな装置を追加せずに、雨滴やガラスの汚れ等を検出することが可能である。
また、通常の障害物の距離計測は、視差の小さな範囲でのマッチングで、雨滴検出は視差の大きな範囲でのマッチングで並列して行う、若しくは時分割で行うなどすることで、障害物の距離計測をしながら雨滴検出の機能を実現することもできる。
なお、この第６の実施形態の各構成は、当然、各種の変形、変更が可能である。
例えば、第６の実施形態では、撮像画像をパッシブで処理する例を示したが、ウインドガラス７３に特定の波長の光を特定の周期で発光させるなどして、それによる雨滴からの散乱光を元に雨滴検出を行うようなアクティブな方式を併用してもよい。この場合、時系列的に、雨滴検出と距離計測とを切り換えてステレオ光学モジュールの右左いずれかの視野内に投光すればよい。また、並列して処理する場合には、図３１や図３２に示すオーバラップ領域外の画像を２次元の画像として撮影し、オーバラップ領域外の領域に、図３３に示すような光ビーム投光器８２から、赤外光などの光ビームを投光して雨滴の検出を行うようにしてもよい。なお、この場合には、遠距離になっても、オーバラップしないので、輻輳角を外側に開いて視点を設置するようにしてもよい。また、オーバラップ領域外の領域は、ステレオ計測には用いられないので、この視野範囲のみに赤外光を投光して雨滴の検出を実施することもできる。
更には、図３４のようにオーバラップ領域外の領域に相当するウインドガラス表面に雨滴検出用のコーティング８４を施すようにしてもよく、例えば、ウインドガラス７３の表面にクモリガラスになるよう拡散面を設け、雨滴が付着した部分の透過性が上がるように構成してもよい。また、濡れ判定の発色シートの貼り込みなどをすることによっても雨滴検出が可能である。
また、撥水シートと親水シートのウインドへの張り込みにより、より明確な雨滴有無の判定ができるようにしてもよい。
また、より近距離撮影に適するように正のパワーを持つクローズアップレンズを、視野マスクの該当視野部に設置することにより、合焦域を近距離、少なくともウインドガラス面とステレオカメラシステムとの間の距離に限定して、雨滴の検出を、２次元画像からの検出、赤外光の撮影、形状抽出、色検出等で実施してもよい。これらの検出を距離計測に用いない領域で行えば、距離計測に悪影響を及ぼすことなく、単一の撮像素子だけで、雨滴の検出を実現できる。
また、赤外光を投影する場合は、予め、オーバラップ領域外の領域を撮影する撮像素子に設けられた赤外カットフィルタを除去するか、若しくはこの部分をバンドパスフィルタに置換することで、より効果的な計測を実現することができる。
更に、第６の実施形態では、オーバラップ領域外の領域に、投光や雨滴検出コートをするように構成したが、画面周辺部は測距に用いないのであれば、その部分に相当する、画面周囲のウインドガラスに対して、上記した雨滴の検出手段を設けるように構成しても勿論かまわない。
なお、上記した各実施形態について、ステレオ光学系にピント合わせ機構を設けることなく、ウインドガラスの近傍から前方の所定距離（例えば、５０〜３００ｍ）までを被写界深度とするような所謂パンフォーカスのステレオ光学系を構成してもよい。この場合には、ピント合わせ機構を設けなくとも、ウインドガラスに付着した雨滴又は付着物と前方の障害物の双方に概略ピント合わせが可能であり、双方の形状認識を同時に行うことが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した実施形態では、車両搭載型のステレオカメラシステムについて説明しているが、例えばロボットのような移動体において距離計測を行う場合等でも利用可能である。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係るステレオカメラシステムの基本的な構成を示すブロック図である。ここで、このステレオカメラシステムは、車両、船舶、航空機、ロボット等の移動体に搭載可能なシステムを想定している。以後図１〜図９を参照して、車両に搭載される例について説明する。
即ち、このカメラシステムは、基本的に、図１に示すように、ステレオ光学モジュール１と、通信回線２と、中央制御ユニット３とから構成されている。ステレオ光学モジュール１は、被写体の撮像を行ってステレオ画像を取得すると共にその取得したステレオ画像の補正を行うものである。通信回線２は、ステレオ光学モジュール１と中央制御ユニット３との間の通信回線である。中央制御ユニット３は、通信回線２を介してステレオ光学モジュール１から入力されたステレオ画像に基づいて、ステレオ光学モジュール１の撮影対象である被写体の評価を行うものである。具体的には、中央制御ユニット３は、入力されたステレオ画像に基づいて後で説明する距離画像を求め、この求めた距離画像の評価を行う。
以下、これらの構成について更に詳しく説明する。
まず、ステレオ光学モジュール１について説明する。図２は、このステレオ光学モジュールの内部を詳細に示したブロック図である。即ち、ステレオ光学モジュール１は、図２に示すように、ステレオ光学系４と、撮像素子５と、撮像素子駆動回路６と、補正情報メモリ７と、画像出力処理回路８と、モジュール（Ｍ）側通信インタフェース９と、雨滴センサ１０と、温度センサ１１とから構成されている。
ステレオ光学系４は、図３Ａに示すように、視野マスク（右左）１９ａ，１９ｂと、前玉ユニット（右左）２０ａ，２０ｂと、１次偏向ミラー（右左）２１ａ，２１ｂと、２次偏向ミラー（右左）２２ａ，２２ｂと、後玉ユニット２３と、ローパスフィルタ２４とから構成されており、図示しない被写体からの像を撮像素子５に結像させる。
ここで、ステレオ光学モジュール１の外観は、図３Ｂに示すように、視野マスク開口２５ａ，２５ｂが設けられたケーシング部材２６に覆われており、これら視野マスク開口２５ａ，２５ｂからステレオ光学系４に光が入射するようになっている。ここで、ケーシング部材２６は、当該ステレオ光学モジュールの内部機構を外部から保護するための部材であり、外光を遮断する機能、防塵機能、及び内部機構を支持する機能等を有するカバー部材である。
また、図３Ａ、図３Ｂに示すように、視野マスク開口２５ａ，２５ｂからステレオ光学系４に入射した、一定距離離れた図示しない被写体からの光束は、その一部が視野マスク１９ａ，１９ｂにより遮光され、残りが右左の前玉ユニット２０ａ，２０ｂに入射する。ここで、視野マスク１９ａ，１９ｂは、前玉ユニット２０ａ，２０ｂの視野を絞るための絞りとして機能する。第１の実施形態では、図４Ａに示すように、視野マスク１９ａは前玉ユニット２０ａの上半分領域を遮蔽しており、視野マスク１９ｂは前玉ユニット２０ｂの下半分領域を遮蔽している。
なお、視野マスク１９ａ，１９ｂを有するこれら前玉ユニット２０ａ，２０ｂのレンズの実効的な光軸（以下、光軸と称する）は、被写体からの光束の中心、即ち視野マスク１９ａ，１９ｂが無い場合の中心軸とは一致しない。また、図４Ａに示すように、右左の前玉ユニット２０ａ，２０ｂの光軸は互いに同一平面上になく、捩れた状態となっている。
前玉ユニット２０ａ，２０ｂを介して入射した被写体からの光束は、１次偏向ミラー２１ａ，２１ｂで反射される。これら１次偏向ミラー２１ａ，２１ｂは、前玉ユニット２０ａ，２０ｂを透過した光束を、反射可能な程度のサイズを持っている。即ち、１次偏向ミラー２１ａ，２１ｂは、前玉ユニット２０ａの遮蔽されていない領域とほぼ同じかそれよりも少し大きい程度のサイズを持つ。また、１次偏向ミラー２１ａ，２１ｂは、水平方向には約４５度、垂直方向には撮像素子側に数度傾いて配置されている。このように配置することにより、１次偏向ミラー２１ａ，２１ｂで反射された光束が２次偏向ミラー２２ａ，２２ｂに入射する。
２次偏向ミラー２２ａ，２２ｂは、水平方向には１次偏向ミラー２１ａ，２１ｂと略直交するように、垂直方向には撮像素子側に数度傾いて配置されている。このように配置することにより、２次偏向ミラー２２ａ，２２ｂで反射された光束が後玉ユニット２３に入射する。図４Ｂに示すように、上面方向から見ると、２次偏向ミラー２２ａ，２２ｂは、互いに交差するように配置されている。即ち、１次偏向ミラー２１ａから入射してくる光束は、２次偏向ミラー２２ａで反射されて後玉ユニット２３の下方向に入射するように偏向される。一方、１次偏向ミラー２１ｂから入射してくる光束は、２次偏向ミラー２２ｂで反射されて後玉ユニット２３の上方向に入射するように偏向される。
このように偏向された光束は、後玉ユニット２３を介して、ローパスフィルタ２４に入射し、ローパスフィルタで高周波雑音成分が除去される。その後、右側の前玉ユニット２０ａを介して入射した光束は、撮像素子５の下半分の領域に結像し、左側の前玉ユニット２０ｂを介して入射した光束は、撮像素子５の上半分の領域に結像する。即ち、視野マスク１９ａ，１９ｂで視野を限定することにより、上下の画像はオーバラップせずに、撮像素子上に結像する。この結果、図５に示すような左右の視差を持ったステレオ画像が、撮像素子上に上下に並んで結像することになる。これにより、１台のステレオ光学モジュールをのみでステレオ画像を取得することが可能である。
ここで、２次偏向ミラー２２ａ，２２ｂは、撮像素子５に対して垂直方向に数度の角度をつけて配置されているので、像は、物界に対し傾いて結像することになる。そこで、入射光束を撮像素子５に効率的に結像させるために、撮像素子５は、図４Ａに示すように斜めに傾けて配置することが好ましい。
このようにして撮像素子５に結像したステレオ画像は、図２のブロック図で示す、撮像素子駆動回路６の働きにより、アナログ信号として画像出力処理回路８に順次出力される。ここで、画像出力処理回路８の内部は、Ａ／Ｄ変換部１２と、Ｃ−Ｙ変換部１３と、圧縮処理部１４と、レクティフィケーション処理部１５と、γ変換処理部１６と、シェーディング補正処理部１７と、フレームバッファメモリ１８とから構成されている。
また、画像出力処理回路８と、上記雨滴センサ１０及び温度センサ１１は、図４Ａ及び図４Ｂに示すように視野マスク１９ａ，１９ｂの後方、２次偏向ミラー２２ａ，２２ｂの裏面側の空きスペースである回路配置スペース２７ａ，２７ｂに設置される。図４Ａ及び図４Ｂに示すように、右側の光学系には１次偏向ミラー２１ａ及び２次偏向ミラー２２ａの上方に回路配置スペース２７ａが存在し、左側の光学系には１次偏向ミラー２１ｂ及び２次偏向ミラー２２ｂの下方に回路配置スペース２７ｂが存在する。これは、上述したように、右側前玉ユニット２０ａは上半分が視野マスク１９ａによりマスクされており、左側前玉ユニット２０ｂは下半分が視野マスク１９ｂによりマスクされているので、それら視野マスク１９ａ，１９ｂの後方には光学部材が配置されることはなく、空きスペースとなるからである。そこで、この空きスペースに画像出力処理回路８等の回路を設けるようにすれば、入射してくる光を遮ることなく、かつ、ステレオ光学モジュール内の空きスペースを有効利用することができ、ステレオ光学モジュールの小型化に繋がる。ここで、これらの空きスペースに設けることができる回路は、例えば電気信号を出力する電気信号出力回路であり、上記した画像出力処理回路の他に、例えば、撮像素子駆動回路、補正データを記憶するデジタルメモリ（補正情報メモリ）、温度センサ、及び雨滴センサや、照度センサ、ＧＰＳアンテナ、ＥＴＣカードシステム等が含まれる。また、この空きスペースには、ステレオ光学モジュールの図示しない電源回路を設けても良いし、メカニカルな機構部材を設けても良い。この機構部材として、例えばステレオ光学系をメカニカルに調整するための図示しない調整機構を設けても良い。また、ステレオ光学系に入射する光量を調整するための図示しないＮＤフィルタを挿脱式にしておき、このＮＤフィルタの退避スペースとして上記した空きスペースを使用するようにしてもよい。
次に、図２の画像出力処理回路８の各部について説明する。画像出力処理回路８内部では、まず、Ａ／Ｄ変換部１２でアナログ信号であるステレオ画像がデジタルデータであるデジタルステレオ画像データに変換される。なお、撮像素子５の前面には、図示しない光学色フィルタが設けられており、この光学色フィルタによって撮像素子５はＲＧＢの各色に対応したステレオ画像データを出力するようになっている。Ｃ−Ｙ変換部１３では、これらのＲＧＢの原色信号が輝度信号と２つの色差信号に変換される。これは、圧縮処理部１４で、モーションＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）信号に変換するための準備の処理である。その後、これらの信号は、フレームバッファメモリ１８に記憶される。
このフレームバッファメモリ１８に記憶されたステレオ画像データは、シェーディング補正処理部１７に入力される。シェーディング補正処理部１７では、補正情報メモリ７に格納されたシェーディング補正データに基づきシェーディング補正処理が施される。次に、γ変換処理部１６において画像入出力特性を適正にするためにγ変換処理が施され、更にレクティフィケーション処理部１５で補正情報メモリ７に格納されたキャリブレーションデータに基づきレクティフィケーション処理が実施される。
なお、レクティフィケーション処理とは、ステレオ光学系４内部の光学部材などの機械ずれなどにより生じる左右画像のエピポーラ線のずれやレンズの歪曲（ディストーション）等による画像の歪みを画像処理によって補正する処理である。この様な処理では、例えば、左画像で選択された特徴点に対応する点が右画像のどこにあるかを検出し、この対応点が本来のっているべき直線（エピポーラ線）上から、どれだけずれているのかを検出し、この検出したずれに応じた画像変形を行う。このようにしてレクティフィケーション処理された左右画像（以後、レクティフィケーション画像と称する）は、規定の座標に正規化された後、図５に対応するように上下に配置された形でフレームバッファメモリ１８に書き戻される。
また、補正情報メモリ７に記憶されているキャリブレーションデータは、ステレオ光学モジュールの熱変形等を考慮するための複数のキャリブレーションデータが記憶されている。即ち、温度センサ１１で検出した温度値は、Ｍ側通信インタフェース９を介して画像出力処理回路８に入力され、この入力された温度に基づいて、レクティフィケーション処理部１５は、補正情報メモリ７に記憶されているキャリブレーションデータを選択してレクティフィケーション処理を実施することで、温度変化にロバストな処理を実現する。
その後、上記フレームバッファメモリ１８に書き戻されたデジタルステレオ画像データは、圧縮処理部１４に入力され、モーションＪＰＥＧのようなデータ圧縮方式を用いてデータ圧縮が施された後、Ｍ側通信インタフェース９を介して通信回線２に出力される。また、Ｍ側通信インタフェース９には、雨滴センサ１０及び温度センサ１１も接続されており、これらセンサの出力も通信回線２や画像出力処理回路８に出力可能である。
次に通信回線２について説明する。通信回線２は、第１の実施形態では、レクティフィケーション画像データ及びステレオ光学モジュールの制御を行うためのデータ信号を伝送する複数のＵＳＢ通信線を持つ。これらの通信線は、それぞれステレオ光学モジュール１のＭ側通信インタフェース９と中央制御ユニット３のユニット（ｕ）側通信インタフェース２８とに接続される。
ここで、レクティフィケーション画像はモーションＪＰＥＧ形式で圧縮された形でＵＳＢ信号線に伝送され、また、雨滴センサ１０で検出された雨滴センサ情報や温度センサ１１で検出された温度センサ情報等の環境情報や、被写体の測光情報などの情報も、ＵＳＢ通信線を介して伝送される。そして、これらの情報は、通信回線２を介して、中央制御ユニット３に伝送される。ここで、ステレオ画像データは、上述のように圧縮処理部１４で圧縮されているので、通信時の情報量を削減することができ、画像データの他のデータを送受信可能な情報量を増すことができる。ここで、通信回線２、即ちＵＳＢ通信線は、上述したように、レクティフィケーション画像のデータ、雨滴センサ情報、及び温度センサ情報等を、デジタルデータによりステレオ光学モジュール１から中央制御ユニット３に対して通信する。ここで、ステレオ光学モジュール１は、中央制御ユニット３から制御コマンドを受けて所定のデータを発生させる温度センサ、雨滴センサ、補正情報メモリなどのデータ発生装置を備えている。通信回線２は双方向のデジタル通信回線になっており、中央制御ユニット３からは、各種制御コマンドをこの通信回線２を介してステレオ光学モジュール１に対して送る。この制御コマンドは、第１の実施形態では、詳細な記述を省略するが、例えばステレオ光学モジュール１の電源制御コマンド（動作モードと省電力モードとを切り換えるコマンド）であるとか、温度センサ情報、雨滴センサ情報を中央制御ユニット側に読み出すための要求信号、あるいは補正情報メモリ７に記憶された情報を中央制御ユニット３側に読み出すための要求信号などである。このように１系統の通信線を用いてより効率よく相互のデータ通信を行うことができる。
また、第１の実施形態の変形例であるが、レクティフィケーション画像のデータをアナログの通信線を使用して送信することも可能である。例えば、撮像素子５の出力をモジュール側のＭ側通信インタフェース９にてＮＴＳＣ等のフォーマットに準拠したアナログ画像信号に変換した後に通信回線２に出力する。この場合には、ステレオ光学モジュール内で圧縮処理部１４は不要になる。この変形例の特徴としては、通信回線２がアナログの通信線とデジタルの通信線の２系統を持つ必要があり、通信回線を通す部分のスペースが余分に必要になる。また、通信コネクタの占有スペースが余計に必要になる等のデメリットはあるが、その反面、画像データを通信するスピードを高めることができるというメリットが発生する。
またレクティフィケーション画像をアナログの通信線で送信する場合に、ブランキング信号中に情報を重畳する文字放送用の領域などを利用して画像データ以外の制御データを伝送するようにしても良い。
次に中央制御ユニット３について説明する。図６に示すように、中央制御ユニット３は、ｕ側通信インタフェース２８と、画像入力装置２９と、フレームメモリ３０と、ＥＰＲＯＭ３１と、距離画像算出ユニット３２と、距離画像などを元に物体認識等を行う距離画像評価装置としての周辺環境判定ユニット及びシーケンスコントローラ（以下、周辺環境判定ユニットと称する）３３から構成されている。更に、中央制御ユニット３は、画像出力装置３４、ポインティング入力装置３６、オーディオ出力装置３７、オーディオ入力装置４０、及び表示灯出力装置４１も有している。以上の回路や装置はバスを介して接続されており、相互にデータの転送が可能になっている。
また、画像出力装置３４及びポインティング入力装置３６は表示入力装置３５に接続されている。また、オーディオ出力装置３７はスピーカ３８に接続されており、オーディオ入力装置４０はマイクロホン３９に接続されている。更に、表示灯出力装置４１は表示灯４２に接続されている。
通信回線２を介して中央制御ユニット３に入力されてきたレクティフィケーション画像は、ｕ側通信インタフェース２８、画像入力装置２９を介してフレームメモリ３０に一時格納され、その後、距離画像算出ユニット３２に入力される。
ここで、中央制御ユニット３に入力されてきたレクティフィケーション画像は、モーションＪＰＥＧの規格で圧縮されたデータであるので、上記した画像入力装置２９で、この圧縮されたデータを伸長して復元する。
距離画像算出ユニット３２は、ステレオ画像から左右別の画像を切り出すステレオ画像切り出し部４３と、ウインドーマッチング部４６とを持つ。即ち、距離画像算出ユニット３２に入力されてきたレクティフィケーション画像は、ステレオ画像切り出し部４３で左右画像４４，４５に切り出される。そして、これら切り出された左右画像４４，４５に対してウインドーマッチング部４６においてウインドーマッチングが行われ、それぞれの対応点のずれ、即ち視差量の検出が行われ、この結果、視差画像４７が生成される。その後、この視差量が、距離画像生成部４８において距離情報に変換され、この距離情報とＥＰＲＯＭ３１に記憶されているキャリブレーションデータ４９に基づいて距離画像が生成される。ここで、用語「距離画像」は、撮像された被写体画像の画素ごとに距離情報を有している画像のことを言うものとする。また、このキャリブレーションデータ４９は、通信回線２を介して入力されてきた雨滴センサ情報や温度センサ情報に従って選択される距離情報補正用のデータである。
その後、生成された距離画像は、周辺環境判定ユニット３３に送られる。
周辺環境判定ユニット３３は、一般のパーソナルコンピュータやマイクロコンピュータによる制御装置と同等に、通信バスに接続された、中央演算処理部（ＣＰＵ）５０、メインメモリ（ＲＡＭ）５１、デジタル信号処理部（ＤＳＰ）５２、ハードディスク（ＨＤＤ）５３などを持ち、距離画像を評価して物体を認識するシーケンスやその他の各種シーケンス制御などをソフトウェア的に実現するように構成されている。
即ち、距離画像が周辺環境判定ユニット３３に入力されてくると、ＣＰＵ５０がＨＤＤ５３に格納された物体認識処理のプログラムをＲＡＭ５１に展開して実行し、ステレオ光学モジュール１で得られた２次元のレクティフィケーション画像や距離画像算出ユニット３２で求められた距離画像に基づいて、障害物（例えば、道路上では、歩行者、車両、落下物など）の検出や、特徴的な環境情報（例えば、道路上では白線や、ガードレール、標識など）を認識する処理を行う。そして、ＣＰＵ５０は、この認識処理の結果に基づいて、例えば、画像出力装置３４を制御して表示入力装置３５に認識結果を表示したり、オーディオ出力装置３７を制御してスピーカ３８から車両が近づいている旨などを警告音により告知したり、表示灯出力装置４１を制御して表示灯４２を点灯したりして、運転者などの操作者の注意を促したりする運転支援に関する制御を実施する。また、逆に表示入力装置３５のようなマニュアル操作部材やマイクロホン３９などの音声入力装置により操作者からの指示があった場合には、その指示をポインティング入力装置３６やオーディオ入力装置４０を介して取り込み、その指示内容に応じた制御を実行する。
以上のようなステレオカメラシステムを車両に搭載した場合には、通信回線２に、図７に示すように、ステレオ光学モジュール１及び中央制御ユニット３に加えて、更に、レーダー装置が搭載されたレーダーモジュール５４、車両の速度を検出するための車速センサモジュール５５、車両の位置を運転者等に知らせるためのカーナビゲーションモジュール５６、エンジン制御を行うエンジンコントロールモジュール５７、車両の側方を監視するための側方カメラモジュール５８、車両内を監視するための室内監視モジュール５９、ブレーキを制御するためのブレーキセンサモジュール６１、車両の後方を監視するための後方カメラモジュール６２、車内の積載量を検出するための積載検出モジュール６３、超音波レーダー装置が搭載された後方超音波レーダーモジュール６４等を接続して、各種車載モジュール間の相互の連携がとれるように構成しても勿論構わない。なお、これらのモジュールは、従来のものがそのまま使用可能である。
このような車内ネットワークの一部として用いる場合のユニットやモジュール間の通信には、無線通信技術であるＢｌｕｅｔｏｏｔｈやＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１ｘなどを用いることも可能である。また、ＵＳＢ、ＩＥＥＥ１３９４、イーサネットなどの有線ネットワークや、ＶｏＩＰ（ボイスオーバーアイピー）などの音声データの伝送プロトコルや、リアルタイムメッセージング機能（ＲＴＣ／ＳＩＰｃｌｉｅｎｔ）などを用いてもよく、ＩＰｖ６などにより各機器にＩＰアドレスを割り当てた車内ＬＡＮを構築してもよい。更に、車内ノイズ等に強い車載用光ネットワーク規格「ＭＯＳＴ」や「ＣＡＮ」などの、オープンスタンダード規格に対応した通信バスラインを用いるようにしてもよい。
以上説明したような、この第１の実施形態には、次のような特有の効果がある。
即ち、この第１の実施形態ではステレオ光学モジュール内でレクティフィケーション、γ補正、シェーディング補正、輝度信号と色差信号への分離などの当該ステレオ光学モジュールのために必要となる画像処理を行うようにしている。これによって、中央制御ユニット側での回路負荷を軽減でき、さらに中央制御ユニット側での仕様を簡略化できシステムの汎用性を高めることができる。
またデジタル画像データを圧縮してから通信するようにしているので、アナログ通信の場合に近いフレームレートでデジタル画像データを伝送することができる。
また、ステレオ光学モジュール１に温度センサ１１を設けているので、レクティフィケーション処理時の温度による補正が適切に行われる。このため、中央制御ユニット３で実施されるウインドーマッチングの探索領域をエピポーラ線上に限って実施すればよく、より高速な処理を実現できる。
なお、この第１の実施形態の各構成は、当然、各種の変形、変更が可能である。
例えば、以上説明したようなステレオ光学モジュール１を複数用いることも可能である。この場合には、各ステレオ光学モジュールから得られるレクティフィケーション画像に、カメラＩＤを埋め込むことにより、どのステレオ光学モジュールからのレクティフィケーション画像なのかを明確に識別できるようにしてもよい。
また、第１の実施形態において、ステレオ光学モジュール１は、γ変換処理や、Ｃ−Ｙ変換処理、圧縮処理などの処理回路が含まれているが、必ずしもこれらの機能は必要ではなく、一般的な、ビデオカメラやデジタルスチルカメラと同等の画像処理が行えればよい。
また、ステレオ光学モジュール１の補正情報メモリ７には、レクティフィケーション処理、シェーディング補正処理用の補正情報のほかに、各ステレオ光学モジュールが車両にどのように取り付けられているのかをキャリブレーションした補正情報を記憶させておくようにしてもよい。このようにすることにより、中央制御ユニット内のＥＰＲＯＭ３１の省略又は記憶容量の削減を行うこともできる。更に、キャリブレーションによって得られた中央制御ユニット３からの情報をステレオ光学モジュール１などに通信で送り、この情報をステレオ光学モジュール１に記憶させるようにしてもよい。また、中央制御ユニット３の距離画像算出ユニット３２で用いられるキャリブレーションデータも、ステレオ光学モジュール１の補正情報メモリ７に記憶させておき、距離画像算出時には、このキャリブレーションデータをステレオ光学モジュール１から中央制御ユニット３に通信できるようにしてもよい。
即ち、この変形例は、補正情報メモリ７に記憶させている補正情報の中で一部の補正情報（キャリブレーションデータ）をステレオ光学モジュール内での画像処理演算に使用し、その他の補正情報を通信回線２を介して中央制御ユニット３に送信して、中央制御ユニット側での距離演算等の補正に使用するようにしたものである。
また、中央制御ユニット３は、内部の各種処理回路が専用の特定用途向集積回路（ＡＳＩＣ）を用いたハードウェア的な結線で実現されてもよく、更には、これらをダイナミックに書き換えることができるリコンフィギュアラブルプロセッサなどによって構築されていても勿論よい。
また、ステレオカメラシステムの制御にとどまらず、温度センサや雨滴センサの情報、補正情報、切り出し領域の情報などを伝送するようにしてもよい。これは、ステレオ光学モジュール１、通信回線２、中央制御ユニット３だけでなく、各種車載モジュール間の通信に適応することができるのは勿論である。
また、各通信回線２と、ステレオ光学モジュール１、中央制御ユニット３間はフォトカプラなどで電気的に絶縁することで、ハーネスに印加される各種スパイクノイズなどの影響を回路が受けないように絶縁しておいても構わない。
また、通信回線２に流す映像のフォーマットとして、アナログ方式ならば、ＮＴＳＣ方式の他にＰＡＬ方式やＳＥＣＡＭ方式でもよく、またデジタル形式ならば各種圧縮フォーマット、例えば、静止画の圧縮方式であるＪＰＥＧ方式や動画の圧縮方式であるＭＰＥＧ方式、ＤＶ（デジタルビデオ）などの規格で伝送するようにしてもよい。
また、入力や表示については、例えば、マイクロソフト（登録商標）社のＡｕｔｏｍｏｔｉｖｅ ＵＩ Ｔｏｏｌｋｉｔなどの車載機器用のユーザーインタフェースデザインツールにより構築されたＧＵＩや音声インタフェースを用いてもよい。
更に、図４Ａにおいて、視野マスク１９ａ，１９ｂは、前玉ユニット２０ａ，２０ｂを半分覆う形に描かれているが、より効果的に視野を規制するために図８Ａに示すように、方形の開口部２５を持つ視野マスク１９を前玉ユニット２０の光軸からオフセットした位置に配置してもよく、また、図８Ｂに示すようにレンズ自体を４辺Ｄカットするなどして、視野マスクを配置したのと同等の効果を得るようにしてもよい。
また、図９に示すように、中央制御ユニット３内にステレオ光学系のキャリブレーションデータ６６を算出するためのステレオ光学系キャリブレーション装置６５や車両とステレオ光学モジュール１の位置関係を計測しシステムキャリブレーションデータ６８を算出する車両系キャリブレーションを実施する車両系キャリブレーション装置６７などを持つように構成してもよい。
更に、補正情報メモリ７に記憶される補正情報は、シェーディング補正処理やレクティフィケーション処理のためのキャリブレーションデータであるとしているが、画像の切り出し領域の情報や車体との位置関係のキャリブレーションデータなどを加えても勿論構わない。また、補正情報メモリ７を中央制御ユニット３側に配置してもよい。また、通信回線２を介して適宜読み書きすることができるように構成しておいてもよい。
［第２の実施の形態］
次に、本発明のステレオカメラシステムの第２の実施形態について説明する。なお、第１の実施形態と同様の構成については、同一の参照符号を付すことで説明を省略する。
即ち、この第２の実施形態においては、図１０に示すように、ステレオ光学モジュール１に、レクティフィケーション処理部１５、γ変換処理部１６、及びシェーディング補正処理部１７などの処理回路と、補正情報メモリ７を搭載せず、これらを図１１に示すように中央制御ユニット３に搭載する。
これにより、ステレオ光学モジュール内の電子回路の回路規模を小さくすることができる。即ち、ステレオ光学モジュール内で発生する熱を抑制して、ステレオ光学モジュール内の光学系等の熱変形によるキャリブレーションデータの変動を抑制することができる。また、撮像素子５の冷却が、他の発熱要素の減少により効率的に行えるので、熱雑音の発生を抑えることができ、より良好なステレオ画像を通信回線２に出力することが可能である。
なお、この第２の実施形態の各構成は、当然、第１の実施形態と同様に各種の変形、変更が可能である。
［第３の実施の形態］
次に、本発明のステレオカメラシステムの第３の実施形態について説明する。なお、第１及び第２の実施形態と同様の構成については、同一の参照符号を付すことで説明を省略する。即ち、第３の実施形態における中央制御ユニットは、図１２に示すように、図６で示す第１の実施形態の中央制御ユニットから距離画像算出ユニットを除いたものである。
即ち、この第３の実施形態においては、図１２に示すように、ステレオマッチング処理までをステレオ光学モジュール内で実施する。そのため、距離画像算出ユニット３２もステレオ光学モジュール１に内蔵している。この場合、通信回線２には、物体認識に用いる２次元画像と距離画像が出力される。なお、第３の実施形態において第１の実施形態と異なる点は、ステレオ光学モジュール内のＭ側通信インタフェース９から画像データをＮＴＳＣ準拠のアナログ方式で送り出す点も異なる。
これら２次元画像と距離画像とは、図１３に示すように、例えば１つのＮＴＳＣ方式の画面内に並べて再配置され、ビデオ信号として出力される。これにより、通信回線２を介して、距離画像と２次元画像とを、同期させた状態で中央制御ユニット３に送出することが可能である。また、これらの画像に、基準画像として左右どちらの画像を用いて出力したかや温度センサ１１で検出した温度や雨滴センサ１０で検出した情報等を、例えば文字放送などに用いられている信号領域にエンコーディングして送出することにより、画像と同期させた通信を行うことも可能である。
このようにして通信が行われた後は、中央制御ユニット３は、ｕ側通信インタフェース２８によりその画像をデコードして２次元画像、距離画像、及びセンサ情報として処理することにより、各種認識処理を実現する。具体的には、中央制御ユニット３は、ｕ側通信インタフェース２８を介して入力された距離画像データに基づいて、距離画像評価装置である周辺環境判定ユニット３３にて図示しない被写体の評価を行う。
なお、これらのステレオ光学モジュールを複数用いることも可能であり、例えば、２つのステレオ光学モジュールを用いるときには、画面の上下画像にそれぞれのステレオ光学モジュールのカメラＩＤを示すコードと距離画像とを埋め込み、単一の映像に同期させて中央制御ユニット３に送信するようにしてもよい。
また、中央制御ユニット３は、内部の各種処理回路が専用のＡＳＩＣでハードウェア的な結線で実現されてもよく、さらにはこれらがダイナミックに書き換えることができるリコンフィギュアラブルプロセッサなどによって構築されていても勿論よい。
また、第３の実施形態では、物体認識に用いる２次元画像と距離画像とをＮＴＳＣ方式のアナログ信号線を使用して出力したが、上記した第１の実施形態と同じように、デジタルデータとしてデジタル通信回線に出力するようにしてもよい。この場合は、上記した第１の実施形態と同じようにモーションＪＰＥＧ、ＭＰＥＧ方式等のデータ圧縮方式を用いてデータ圧縮処理を施した後に通信回線２に出力するようにしてもよい。
特に車載用にした場合には、通信回線２に、図７に示すように、ステレオ光学モジュール１、中央制御ユニット３、運転状況検出モジュール等を接続して、各種車載モジュールの相互の連携がとれるように構成しても勿論構わない。ここで、運転状況検出モジュールとしては、例えば、図７に示すような車速センサモジュール５５、エンジンコントロールモジュール５７、ブレーキセンサモジュール６１等がある。また、環境監視モジュールとしては、図７に示すようなレーダーモジュール５４、カーナビゲーションモジュール５６、側方カメラモジュール５８、室内監視モジュール５９、後方カメラモジュール６２、積載検出モジュール６３、後方超音波レーダーモジュール６４等がある。このような車内ネットワークの一部として用いる場合のユニットやモジュール間の通信には、無線通信技術であるＢｌｕｅｔｏｏｔｈやＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１ｘなどを用いることも可能である。また、ＵＳＢ、ＩＥＥＥ１３９４、イーサネットなどの有線ネットワークや、ＶｏＩＰ（ボイスオーバーアイピー）などの音声データの伝送プロトコルや、リアルタイムメッセージング機能（ＲＴＣ／ＳＩＰ ｃｌｉｅｎｔ）などを用いてもよく、ＩＰｖ６などにより各機器にＩＰアドレスを割り当てた車内ＬＡＮを構築してもよい。更に、車内ノイズ等に強い車載用光ネットワーク規格「ＭＯＳＴ」や「ＣＡＮ」などの、オープンスタンダード規格に対応した通信バスラインを用いるようにしてもよい。
また、通信回線２と、ステレオ光学モジュール１や中央制御ユニット３との間をフォトカプラなどで電気的に絶縁することで、ハーネスに印加される各種スパイクノイズなどの影響を回路が受けないように絶縁しておいてもかまわない。
また、入力や表示については、例えば、マイクロソフト（登録商標）社のＡｕｔｏｍｏｔｉｖｅ ＵＩ Ｔｏｏｌｋｉｔなどの車載機器用のユーザーインタフェースデザインツールにより構築されたＧＵＩや音声インタフェースを用いてもよい。
即ち、この第３の実施形態では、ステレオ光学モジュール内で得られたステレオ画像データに対して、レクティフィケーション、γ補正、シェーディング補正、輝度信号と色差信号への分離などの当該ステレオ光学モジュールのための必要となる画像処理だけでなく、距離画像の算出までもステレオ光学モジュール内で行うようにした。したがって、第１の実施形態と比べてさらに中央制御ユニット側における回路負荷を軽減でき、中央制御ユニット側での仕様をさらに簡略化でき、中央制御ユニットの汎用性を高めることができる。
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。この第４の実施形態においては、より良好な距離画像算出を行うために実施するステレオカメラシステムの動作シーケンスを説明する。なお、ここでは、車載用途の場合のトリガ信号を例として挙げる。なお、第４の実施形態は、第１の実施形態で示すステレオカメラシステムの動作シーケンスを示すものである。第２又は第３の実施形態のような構成においても同様に適用可能なことは言うまでもない。
まず、図１４を参照してステレオカメラシステムにおけるメイン動作シーケンスについて説明する。即ち、運転者などの操作者によりドアキーのオープンや、イグニッションキーのＯＮを検出すると、スリープ状態にあった中央制御ユニット３がレジュームし（ステップＳ１）、起動する（ステップＳ２）。中央制御ユニット３は、起動すると同時に、ステレオ光学モジュール１の画像出力処理回路８及び撮像素子５を起動させる（ステップＳ３，Ｓ４）。ここでは、中央制御ユニット３から通信回線２を介してステレオ光学モジュール１に対して、ステレオ光学モジュール１を起動させるための「起動コマンド」が送信される。ステレオ光学モジュール１は、この「起動コマンド」を受けて内部の図示しない電源回路を省電力モードから動作モードに切り換え、それに引き続いて画像出力処理回路８及び撮像素子５を起動させる。これにより、撮像が開始される。また、同時に中央制御ユニット３は、図１５に示すセンサチェックシーケンスを開始させる（ステップＳ５）。このセンサチェックシーケンスの詳細については、後に述べる。
センサチェックシーケンスの結果、問題ない環境情報データ１００がレクティフィケーション処理部１５に出力されると、レクティフィケーション処理が開始される。即ち、レクティフィケーション処理部１５は、この環境情報データ１００や補正情報メモリ７に記憶されたキャリブレーションデータ１０１等に基づいてレクティフィケーション処理を行う（ステップＳ７）。そして、このレクティフィケーション処理が実施されたレクティフィケーション画像は、通信回線２を介して中央制御ユニット３に送られる。なお、中央制御ユニット３では、例えば周辺環境判定ユニット３３で、フレームメモリ３０に記憶されたこのレクティフィケーション処理に使用されたキャリブレーションデータ１０１が適正であるか否かをレクティフィケーション画像よりチェックし（ステップＳ８）、そのキャリブレーションデータ１０１に問題がある場合には、このときのレクティフィケーション画像は、以降の処理に使用しないように、フレームメモリ３０から削除する。そして、後に説明するキャリブレーションデータ補正処理を行い（ステップＳ９）、キャリブレーションこの補正処理によって補正されたキャリブレーションデータを通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に上書きすることで、そこに記憶されているキャリブレーションデータ１０１を更新する（ステップＳ１０）。そして、ステップＳ７のレクティフィケーション処理において、この更新したキャリブレーションデータ１０１を使用してレクティフィケーション処理を行うことになる。これにより、常に最新且つ正しいキャリブレーションデータでレクティフィケーション処理が実行される。
レクティフィケーション処理が実施されたレクティフィケーション画像よりキャリブレーションデータに問題が無いと判別された場合には、中央制御ユニット３内の距離画像算出ユニット３２は、入力されたレクティフィケーション画像に基づいて、ウインドーマッチング処理を行った後（ステップＳ１２）、距離画像を生成し、この生成した距離画像を周辺環境判定ユニット３３に出力する（ステップＳ１３）。この距離画像を用いて、中央制御ユニット３の周辺環境判定ユニット３３は、後に説明する運転支援を実施する（ステップＳ１４）。
ここで、ドアキーがオープンされたり、イグニッションキーがＯＦＦされるとステップＳ１５の判定をｙｅｓに分岐して、現在のキャリブレーションデータを記録させ（ステップＳ１６）、中央制御ユニット３はスリープ状態に入り、ステレオ光学モジュール１も動作を停止する。ここでも中央制御ユニット３から通信回線２を介してステレオ光学モジュール１に対して、ステレオ光学モジュール１の動作を停止させるための「動作停止コマンド」が送信される。ステレオ光学モジュール１は、この「動作停止コマンド」を受けて所定の動作を行った後に省電力モードに入る。
次に、図１４のステップＳ５におけるセンサチェックシーケンスについて図１５を参照して説明する。なお、ここでは、ステレオ光学モジュール１を、車内のルームミラーに取り付け、フロントウインドガラスを介して車体前方を撮像する場合を想定して説明する。
このセンサチェックにおいて、まず、中央制御ユニット３は、既知の手法によりフロントウインドガラスのクモリ・結露の検出を行って（ステップＳ２１）、車両のフロントウインドガラスにクモリや結露がないか否かを判定する（ステップＳ２２）。この判定においてクモリがあると判定した場合には、中央制御ユニット３は、図示しないデフロスタをＯＮしてクモリの除去を開始するとともに（ステップＳ２３）、表示入力装置３５にクモリ警告表示を行う（ステップＳ２４）。そして、デフロスタの効果によりクモリが除去された場合、中央制御ユニット３は、ステップＳ２２の判定においてクモリなしと判定し、上記クモリ警告表示を消灯する（ステップＳ２５）。
次に、中央制御ユニット３は、通信回線２を介して送られてきた雨滴センサ１０の出力により雨滴の検出を行い（ステップＳ２６）、フロントウインドガラスに雨滴がついていないか否かを判定する（ステップＳ２７）。この判定において雨滴がついていると判定した場合には、中央制御ユニット３は、図示しないワイパーを動作させて雨滴の除去を開始するとともに（ステップＳ２８）、表示入力装置３５に雨警告表示を行う（ステップＳ２９）。そして、ワイパーの効果により、雨滴がなくなった場合、中央制御ユニット３は、ステップＳ２７の判定において雨滴なしと判定し、上記雨警告表示を消灯する（ステップＳ３０）。
次に、中央制御ユニット３は、温度センサ１１によりステレオ光学モジュール１周囲の温度検出を行い（ステップＳ３１）、検出した温度がステレオ光学モジュール１の動作に適正な範囲内であるか否かを判定する（ステップＳ３２）。この判定において検出した温度が適正範囲内でないと判定した場合には、中央制御ユニット３は、図示しないエアコンを動作させて温度調節を行うとともに（ステップＳ３３）、表示入力装置３５に温度警告表示を行う（ステップＳ３４）。そして、エアコンの効果により、温度が適正温度範囲内になった場合、中央制御ユニット３は、ステップＳ３２の判定において適正温度範囲内であると判定し、上記温度警告表示を消灯する（ステップＳ３５）。
これらのセンサチェックは、中央制御ユニット３が動作している間は実行される。即ち、中央制御ユニット３は、停止信号が入力されたか否かを判定し（ステップＳ３６）、停止信号が入力されたと判定した場合には、このセンサチェックを終了させる。一方、停止信号が入力されていないと判定した場合には、検出された、クモリ情報、雨滴センサ情報、及び温度センサ情報といった環境情報データ１００を、通信回線２を介してステレオ光学モジュール１のレクティフィケーション処理部１５に出力した後（ステップＳ３７）、ステップＳ２１に戻り、センサチェックを継続する。
なお、このセンサチェックのフローチャートよりわかるように、上記環境情報データ１００は、クモリ・結露、雨滴、温度が所定の条件範囲内にあるときにのみ出力されるものであり、よって、この環境情報データ１００を使用するレクティフィケーション処理は、たとえ撮像素子５によりステレオ画像が撮像されていたとしても開始されることはない。従って、そのような場合には、故障により動作がされないのではなく、所定の条件が得られていないために動作しないのであることを運転者に知らせるための警告表示を、表示入力装置３５により行うことが好ましい。
図１６は、図１４のステップＳ９におけるキャリブレーションデータ補正のシーケンスを示すフローチャートである。
即ち、この図１６に示すように、周辺環境判定ユニット３３は、まず、通信回線２を介して入手した温度センサ１１で検出した温度情報等の環境条件が変化したか否かの判定を行い（ステップＳ４１）、例えば、温度変化などによる熱膨張などのためにキャリブレーションデータが変化する場合には、ＥＰＲＯＭ３１又はＨＤＤ５３に予め用意された温度別のキャリブレーションデータテーブル１０２から、その温度に対応するキャリブレーションデータ１０１を読み出し、それを通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に書き込むことで（ステップＳ４７）、キャリブレーションデータ１０１を更新する。
次に、あるいは上記ステップＳ４１で環境条件変化なしと判別した場合には、既知形状物体画像（ここでは、通信回線２を介したステレオ光学モジュール１からのステレオ画像）を取得し（ステップＳ４２）、ステレオ光学モジュール１の取り付け位置などの取り付け条件が変化したか否かを判定し（ステップＳ４３）、取り付け条件が変化している場合には、その変化に応じてキャリブレーションデータを補正し（ステップＳ４４）、その補正した更新キャリブレーションデータ１０３を上記キャリブレーションデータテーブル１０２に追記すると共に、通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に書き込むことで、レクティフィケーション処理に使用されるキャリブレーションデータ１０１を更新する。
このような補正を行うことにより、レクティフィケーション処理やウインドーマッチングが常に良好な状態で実施可能である。
図１７は、図１４のステップＳ１４の運転支援のシーケンスの一例を示すフローチャートである。
即ち、周辺環境判定ユニット３３は、この運転支援シーケンスに入ると、通常画像（ステレオ画像切り出し部４３で切り出した一方の画像）１０４、距離画像１０５を入力として用い、距離分布に基づくセグメンテーション処理を実施した後（ステップＳ５２）、先行車両認識（ステップＳ５４〜Ｓ５７）、道路面認識（ステップＳ５８〜Ｓ５９）、障害物認識（ステップＳ６１〜Ｓ７０）、及びレーン認識（ステップＳ７１〜Ｓ７３）などを実施する。
先行車両認識では、レーザレーダーなどを用いたレーダーモジュール５４により車両から反射したレーザーを検出することで認識された先行車両を通常画像１０４から抽出し、距離画像１０５のセグメンテーションと整合をつけて先行車両の領域を認識し（ステップＳ５４）、先行車両の車幅などの情報も含めて抽出することで、先行車両との車間距離を抽出する（ステップＳ５５）。次に、先行車両との距離をチェックし（ステップＳ５６）、先行車両との距離が適正でない（例えば、近すぎる）場合には、画像出力装置３４を介して表示入力装置３５に図１８に示すような画像表示を行うことにより、車間距離警告を実施する（ステップＳ５７）。
道路面検出では、距離画像１０５において、道路面があると想定される位置に距離画像１０５から認識できる平面を発見して（ステップＳ５８）、その平面の範囲を道路面と同一平面状のある平面として認識する。そして、この道路平面を基準面として設定する（ステップＳ５９）。この基準面のデータ１０６を各認識処理に用いることで、物体の認識や、先行車両の認識、レーンの認識などに利用できる。このときには、図１９に示すように、画像出力装置３４を介して表示入力装置３５に認識平面を表示してもよい。
障害物認識では、例えば、上記道路面検出された平面から立ち上がって距離画像１０５のセグメンテーション処理によって認識されている物体を認識し（ステップＳ６１）、障害物として、その距離、大きさなどをラベリングする。これに応じて、障害物の距離を抽出し（ステップＳ６２）、衝突コースか否かを判定し（ステップＳ６３）、衝突コースの場合には、画像出力装置３４を介して表示入力装置３５にて操作者に回避を促すような回避警告をする（ステップＳ６４）。次に、上記ステップＳ６２で抽出した距離が、操作者つまり運転者の自発的なブレーキ操作によって安全に停止できる距離か否かを判定し（ステップＳ６５）、安全に停止可能な場合には、操作者にブレーキを踏ませるように画像出力装置３４を介して表示入力装置３５にて警告する（ステップＳ６６）。一方、安全に停止することが出来ない距離である場合には、操作者にブレーキを踏むように画像出力装置３４を介して表示入力装置３５にて指示を行うと共に、アクセルを自動的に緩める（ステップＳ６７）。更に、ここで回避動作が可能である場合には（ステップＳ６８）、エマージングドライブとして画像出力装置３４を介して表示入力装置３５にてハンドル操作を促すなどして強制的に安全対策を講じる（ステップＳ６９）。
衝突が不可避の場合は、エアバックなどのパッシブセーフティのための前準備を行う（ステップＳ７０）。特に、車外通信システムなどが作動可能な場合などは、現在地や、事故発生の通報などの事故報告を自動的に実施するように構成してもよい。
レーン認識は、基準平面上にある白線を通常画像１０４の輝度値からの認識や、基準平面から一定高さに突出したガードレールなどを距離画像１０５から認識することなどから、レーンを認識する（ステップＳ７１）。これにより、走行可能域を認識するとともに、レーン内から外れていないことをチェックし（ステップＳ７２）、レーンから外れそうになったときは、図２１に示すように、画像出力装置３４を介して表示入力装置３５にレーン警告の表示などを行う（ステップＳ７３）。
なお、第４の実施形態では、上記警告として、図６に示した中央制御ユニット３に接続された表示入力装置３５の画面上に警告表示する例について示したが、当然の変形例として、スピーカ３８からの音声警告や、表示灯４２の点灯、また図示していないが、運転シートを振動させるなどの手段で操作者に注意を促す形で警告を行ってもよい。これは、特に、上記ステップＳ６４，Ｓ６６，Ｓ６７のように緊急性が高く、また操作者が前方から視線をそらすことが好ましくない場合に、有効である。
以上説明したように、第４の実施形態によれば、環境情報に適応させてキャリブレーションデータを適切に選択及び補正しながらステレオマッチングを実施することができる。
なお、この第４の実施形態の各構成もまた、当然、各種の変形、変更が可能である。
例えば、キャリブレーションデータの補正は、予め温度等により、テーブルを変換した複数のキャリブレーションデータテーブルから選択することで補正を行うようにしてもよい。
また、センサチェックで、センサが問題を発見した際の対応手段としては、第４の実施形態で示したデフロスタ、ワイパー、及びエアコンに限定されるものではなく、別の手段、例えば、デフロスタの代わりにクモリ防止コーティングや熱線ヒータを用いたり、ワイパーの代わりに超撥水ガラスコートやブロアを用いたり、エアコンの代わりにペルチェ素子や空冷ファンを用いてもよい。
また、図１４で示した動作シーケンスのフローチャートも各種の変更が可能である。例えば、センサチェックにおいてクモリ・結露、雨滴、温度が所定の条件範囲内にないときも環境情報データ１００を出力するようにし、図２２に示すように、その環境情報データ１００より環境情報の条件が不適切であり（ステップＳ８７：ｎｏ）、レクティフィケーション処理等が行えない場合には、センサチェックシーケンスを起動するとともに、距離画像の出力処理を停止し処理不能警告を画像出力装置３４を介して表示入力装置３５に表示する（ステップＳ８８）ことで、運転者などの操作者にその旨を伝達するようにしてもよい。
また、図１５におけるセンサチェックシーケンスでは、クモリ除去やワイパーなどを継続的に用いるようになっているが、図２３のようにデフロスタやワイパー、エアコンを、センサ情報が良好になった場合にＯＦＦする（ステップＳ１０５，Ｓ１１１，Ｓ１１７）ようにしても勿論よい。また、環境情報（温度センサ情報等）のデータを定期的に出力させる（ステップＳ１２０）ようにしてもよい。
また、図１５におけるセンサチェックシーケンスでは、全ての処理が直列的に実行される例を示したが、図２４のように、並列的に各環境条件のチェック（ステップＳ１２２，Ｓ１２８，Ｓ１３４）や、計測不能を解消するための動作（ステップＳ１２３，Ｓ１２９，Ｓ１３５）を実施するようにしてもよい。また、計測不能を解消するための動作はシステムが自動的に実施するようにしてもよく、操作者には、警告のみで、自らは、処理が不能である旨を表示したりするようにしてもよい。
また、第４の実施形態では、クモリ、雨滴、及び温度を代表的な環境情報として提示したが、霧、撮像素子のトラブル、昼夜間の切り替え、照度情報、枯葉や烏の糞、車内に釣られたマスコットなどによるウインドガラスの汚れや遮蔽、又は対向車両の相対位置などの情報などを環境情報として用いてもよい。
更に、第４の実施形態は、複数の撮像素子を用いたステレオカメラの場合でも用いることが可能である。
［第５の実施形態］
次に、本発明の第５の実施形態について説明する。この第５の実施形態は、複数の光学モジュールを有するシステムに関して説明する。個々の光学モジュールの構成については、上記した第１から第４の実施形態に準ずる。
即ち、図２５のように複数のステレオ光学モジュール１ａ，１ｂ、単眼光学モジュール７１ａ，７１ｂが通信回線２に接続される。通信回線２には中央制御ユニット３が接続されるとともに、運転状況検出モジュール７２、環境監視モジュール６０などが接続される。
ここで、単眼光学モジュールとしては、図７に示す、側方カメラモジュール５８や、後方カメラモジュール６２が挙げられる。また、運転状況検出モジュール７２としては、図７に示す、エンジンコントロールモジュール５７、ブレーキセンサモジュール６１や、図示しないステアリング角検出モジュール、変速機監視モジュール等が挙げられる。更に、環境監視モジュール６０としては、図７に示す、レーダーモジュール５４、車速センサモジュール５５、カーナビゲーションモジュール５６、室内監視モジュール５９、積載検出モジュール６３、後方超音波レーダーモジュール６４等が挙げられる。
ここで、光学モジュールで得られた画像情報には、各光学モジュールのカメラＩＤや、それぞれの光学モジュールにおけるキャリブレーションデータ等の情報を付加して送受信を実施し、それを中央制御ユニット３が判別させるようにすれば、どの光学モジュールの情報をどのキャリブレーションデータを用いて処理すれば良いかを判定可能である。
また、通信回線２はやはり１系統の通信回線であり、この通信回線２を使用して中央制御ユニット３とステレオ光学モジュール１ａを始めとした各ユニットの間で効率よく相互の通信を行うことができるようになっている。即ち、この通信においては、中央制御ユニット３が、全体システムのシーケンス制御を統括して行い、中央制御ユニット３から各ユニットに対してはデータ要求コマンドを始めとした各種制御コマンドを、また各ユニットから中央制御ユニット３に対しては、要求されたデータ等を送り返す。
また、図２５に示すように、通信回線２を共通で用いることにより、車内ハーネスの削減に繋がる。このため、重量の軽減、ノイズ混信の影響削減等の効果も得られる。
［第６の実施形態］
次に本発明の第６の実施形態について説明する。この第６の実施形態は、ステレオ光学モジュールに搭載される雨滴センサ１０の一実施形態である。
従来の雨滴センサは、例えば、図２６に示すように、ウインドガラス７３に密着したガラスブロック７４に向けて、赤外光や可視光の発光ダイオード（投光ＬＥＤ）７５から投光を行う。この光を投光レンズ７６で集光し、この集光光線のガラス外側面における反射光を、反射ミラー７７等により受光レンズ７８に導く。そして、受光レンズ７８でその導かれた光を集光し、この集光光線をフォトダイオード等の受光センサ７９で検出する。このとき、ウインドガラス７３に雨滴が付着している場合には、光が散乱して光量が変化するので、雨滴量を計測することが可能である。
しかしながら、この従来の雨滴センサでは、ガラス面に密着して、雨滴センサを設けなければならず、スペースやコスト上の制約となっていた。また、運転者の視野の妨げになったり、雨滴センサの他に車両の前方の障害物等を検出するためのステレオ光学モジュールを搭載する場合は、ステレオ光学モジュールの視野が遮蔽されてしまう問題やステレオ光学モジュール１に対する雨滴センサの設置位置などの問題がある。
そこで、第６の実施形態における雨滴センサは、ステレオ光学モジュール１で撮像された画像を用いて雨滴を検出する。
上記した実施形態で説明したステレオ光学モジュール１では、左右視差の横長の画像を、図５のように上下に振り分けて撮像素子上に結像させるステレオ光学系が用いられており、この結果、図２７に示すような横長のステレオ画像が得られる。ここで、ステレオ計測の原理によると、一般に遠距離の物体は視差が小さく、近距離の物体は視差が大きい。即ち、上記した実施形態で説明した光学系では、計測できる視差範囲を広く取れるので、ステレオ画像のある領域では、基線長から考えると従来に比べ非常に近距離（例えば、十数センチの基線長で、十数センチから数十センチの近距離）から無限遠方まで対応することができる。
図２８は、第６の実施形態で用いるステレオ光学モジュール１の左右２視点のステレオ画像の画角について示した図である。即ち、第６の実施形態では、少なくとも雨滴検出対象である車両のウインドガラスが、左右視点における画角がオーバラップするオーバラップ領域８３に入るようにステレオ光学モジュール１を配置する。例えば、図２７の例における雨滴検出用探索範囲は、図２８のオーバラップ領域８３のうち、ウインドガラスの存在する距離域（図の斜線部）になる。
特に、車載用途を考えた場合には、障害物認識などは数メートルから数十、或いは数百メートルという遠距離を計測するので、視差量が小さい。このため、一般にウインドーマッチングをする場合は、処理の高速化を狙ってエピポーラ線上における対応点の探索幅を短くする。なお、近距離の場合には、探索幅が広くなるので、それだけ対応点の探索に時間がかかる。
しかしながら、近距離だけ、特に第６の実施形態のようにウインドガラスのある数十センチ以内の領域だけのウインドーマッチングを行うのであれば、視差量を大きくとれる。極端な例としては、図２７に示す雨滴検出用探索範囲のみを探索すれば、雨滴の検出が可能である。
これを図２９及び図３０を参照して更に詳しく説明すると、従来のように、遠距離から近距離までの物体を連続的に測距して距離画像を算出するときに、画面端の基準点から探索を開始した場合には、探索ウインドを、画面を横断して移動させながらウインドーマッチングを行う必要がある。これでは、探索に時間がかかり、特に車載など距離計測に時間的な制約がある用途では、致命的な欠陥になりかねない。
そこで、第６の実施形態では、雨滴検出と障害物や車両などの検出をモードとして切り替える。即ち、雨滴検出のモードでは、図２９に示すように、基準画像８０の内、近距離対応の範囲でウインドーマッチングを行う。一方、障害物などを検出するモードでは、探索範囲を限定し、例えば３ｍから１００ｍに相当する視差量分の探索を行う。
また特に、雨滴検出を頻繁に行う場合には、探索画像８１側の探索範囲を、図３０に示すようにウインドガラス７３表面を含む限定した距離領域（例えば、ウインド形状に沿った狭い領域）に対応する探索範囲（図中、斜線部）に限定するようにしてもよい。即ち、図２７に示す右画像の左端及び左画像の右端の雨滴検出用探索範囲のみを探索範囲とするように、探索範囲の値にオフセットをかけるようにしてもよい。このように探索範囲を限定することで、より高速なウインドーマッチングによる雨滴検出が実現できる。
更に、図３０に示すように、ウインドガラス７３の傾斜に対応して探索範囲も傾斜している場合には、画面上端はより近距離であり、画面下端は上端に比べると遠距離であるので、図３０に射線部で示すように、探索範囲のオフセット量を画面上端側の探索から画面下端の探索にかけて、減少させつつウインドーマッチングをするようにしてもよい。
以上説明したように、第６の実施形態では、雨滴センサとしての機能を近距離限定のウインドーマッチングにより実現することで、中央制御ユニット３やステレオ光学モジュール１に新たな装置を追加せずに、雨滴やガラスの汚れ等を検出することが可能である。
また、通常の障害物の距離計測は、視差の小さな範囲でのマッチングで、雨滴検出は視差の大きな範囲でのマッチングで並列して行う、若しくは時分割で行うなどすることで、障害物の距離計測をしながら雨滴検出の機能を実現することもできる。
なお、この第６の実施形態の各構成は、当然、各種の変形、変更が可能である。
例えば、第６の実施形態では、撮像画像をパッシブで処理する例を示したが、ウインドガラス７３に特定の波長の光を特定の周期で発光させるなどして、それによる雨滴からの散乱光を元に雨滴検出を行うようなアクティブな方式を併用してもよい。この場合、時系列的に、雨滴検出と距離計測とを切り換えてステレオ光学モジュールの右左いずれかの視野内に投光すればよい。また、並列して処理する場合には、図３１や図３２に示すオーバラップ領域外の画像を２次元の画像として撮影し、オーバラップ領域外の領域に、図３３に示すような光ビーム投光器８２から、赤外光などの光ビームを投光して雨滴の検出を行うようにしてもよい。なお、この場合には、遠距離になっても、オーバラップしないので、輻輳角を外側に開いて視点を設置するようにしてもよい。また、オーバラップ領域外の領域は、ステレオ計測には用いられないので、この視野範囲のみに赤外光を投光して雨滴の検出を実施することもできる。
更には、図３４のようにオーバラップ領域外の領域に相当するウインドガラス表面に雨滴検出用のコーティング８４を施すようにしてもよく、例えば、ウインドガラス７３の表面にクモリガラスになるよう拡散面を設け、雨滴が付着した部分の透過性が上がるように構成してもよい。また、濡れ判定の発色シートの貼り込みなどをすることによっても雨滴検出が可能である。
また、撥水シートと親水シートのウインドへの張り込みにより、より明確な雨滴有無の判定ができるようにしてもよい。
また、より近距離撮影に適するように正のパワーを持つクローズアップレンズを、視野マスクの該当視野部に設置することにより、合焦域を近距離、少なくともウインドガラス面とステレオカメラシステムとの間の距離に限定して、雨滴の検出を、２次元画像からの検出、赤外光の撮影、形状抽出、色検出等で実施してもよい。これらの検出を距離計測に用いない領域で行えば、距離計測に悪影響を及ぼすことなく、単一の撮像素子だけで、雨滴の検出を実現できる。
また、赤外光を投影する場合は、予め、オーバラップ領域外の領域を撮影する撮像素子に設けられた赤外カットフィルタを除去するか、若しくはこの部分をバンドパスフィルタに置換することで、より効果的な計測を実現することができる。
更に、第６の実施形態では、オーバラップ領域外の領域に、投光や雨滴検出コートをするように構成したが、画面周辺部は測距に用いないのであれば、その部分に相当する、画面周囲のウインドガラスに対して、上記した雨滴の検出手段を設けるように構成しても勿論かまわない。
なお、上記した各実施形態について、ステレオ光学系にピント合わせ機構を設けることなく、ウインドガラスの近傍から前方の所定距離（例えば、５０〜３００ｍ）までを被写界深度とするような所謂パンフォーカスのステレオ光学系を構成してもよい。この場合には、ピント合わせ機構を設けなくとも、ウインドガラスに付着した雨滴又は付着物と前方の障害物の双方に概略ピント合わせが可能であり、双方の形状認識を同時に行うことが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した実施形態では、車両搭載型のステレオカメラシステムについて説明しているが、例えばロボットのような移動体において距離計測を行う場合等でも利用可能である。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
Claims (136)
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するためのステレオ光学モジュールと、
このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、
前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、
前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データを出力するモジュール側通信インタフェースとを具備し、
前記中央制御ユニットは、前記ステレオ光学モジュールで得られた前記ステレオ画像に基づいて前記被写体の評価を行うために、前記モジュール側通信インタフェースを介して出力されたステレオ画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備することを特徴とするステレオカメラシステム。 - 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して、レクティフィケーション処理を施すレクティフィケーション処理回路を含むことを特徴とする請求項１に記載のステレオカメラシステム。
- 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してγ変換処理を施すγ変換処理回路を含むことを特徴とする請求項１に記載のステレオカメラシステム。
- 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してシェーディング補正処理を施すためのシェーディング補正処理回路を含むことを特徴とする請求項１に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、前記撮像素子の光入射側に、各々のステレオ画像を複数の色成分に分離するための光学色フィルタを更に含み、
前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データの各々に対して輝度信号と色差信号に変換する処理を行う変換回路を更に含むことを特徴とする請求項１に記載のステレオカメラシステム。 - 前記モジュール側通信インタフェースは、前記ステレオ画像データをデジタル画像データとして前記通信回線に出力することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをデータ圧縮して前記通信回線に出力することを特徴とする請求項６に記載のステレオカメラシステム。
- 前記データ圧縮におけるデータ圧縮方式は、モーションＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）の規格に準拠したデータ圧縮方式であることを特徴とする請求項７に記載のステレオカメラシステム。
- 前記データ圧縮におけるデータ圧縮方式は、ＭＰＥＧの規格に準拠したデータ圧縮方式であることを特徴とする請求項７に記載のステレオカメラシステム。
- 前記データ圧縮におけるデータ圧縮方式は、ＤＶの規格に準拠したデータ圧縮方式であることを特徴とする請求項７に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＩＥＥＥ１３９４規格に準拠したデジタルデータに変換して前記通信回線に出力することを特徴とする請求項６に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＵＳＢ規格に準拠したデジタルデータに変換して前記通信回線に出力することを特徴とする請求項６に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをイーサネット規格に準拠したデジタルデータに変換して前記通信回線に出力することを特徴とする請求項６に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをアナログ画像データとして前記通信回線に出力することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＮＴＳＣ規格に準拠したアナログ画像データに変換して前記通信回線に出力することを特徴とする請求項１４に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＰＡＬ規格に準拠したアナログ画像データに変換して前記通信回線に出力することを特徴とする請求項１４に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、前記ステレオ光学モジュールの周囲の温度を検出する温度センサを更に有し、前記モジュール側通信インタフェースは、前記温度センサで検出された温度データを前記通信回線に出力することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、雨滴量を検出する雨滴センサを更に有し、前記モジュール側通信インタフェースは、前記雨滴センサで検出された雨滴データを前記通信回線に出力することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、当該ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリを更に有し、
前記モジュール側通信インタフェースは、前記補正情報メモリに記憶された前記キャリブレーションデータを通信回線に出力し、
前記距離画像評価装置は、前記ユニット側通信インタフェースから出力されるステレオ画像データと前記キャリブレーションデータとから、対象となる被写体までの距離を求めることを特徴とする請求項１に記載のステレオカメラシステム。 - 前記補正情報メモリに記憶されるキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであることを特徴とする請求項１９に記載のステレオカメラシステム。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのキャリブレーションデータであることを特徴とする請求項２０に記載のステレオカメラシステム。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのキャリブレーションデータであることを特徴とする請求項２０に記載のステレオカメラシステム。
- 前記距離画像評価装置は、距離画像データを算出することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記中央制御ユニットは、当該ステレオカメラシステムの前方にある障害物を認識し、前記障害物までの距離を判定する周辺環境判定手段を更に有することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記障害物は、当該ステレオカメラシステムの前方を走行する自動車であることを特徴とする請求項２４に記載のステレオカメラシステム。
- 前記周辺環境判定手段は、当該ステレオカメラシステムの前方の道路の白線を検知することを特徴とする請求項２４に記載のステレオカメラシステム。
- 前記中央制御ユニットは、当該ステレオカメラシステムが搭載された移動体の運転を支援するための運転支援装置を更に有することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記運転支援装置は、前記移動体を運転する運転者に警告を行う警告手段を含むことを特徴とする請求項２７に記載のステレオカメラシステム。
- 前記運転支援装置は、前記移動体を運転している運転者に表示による情報の告知を行うための表示手段を含むことを特徴とする請求項２７に記載のステレオカメラシステム。
- 前記運転支援装置は、当該ステレオカメラシステムが搭載された移動体の移動を制御する移動制御装置に制御情報を出力することを特徴とする請求項２７に記載のステレオカメラシステム。
- 前記中央制御ユニットは、当該ステレオカメラシステムの外部から情報を入力するための情報入力装置を更に有することを特徴とする請求項１に記載のステレオカメラシステム。
- 前記情報入力装置は、マニュアルで情報を入力する装置であることを特徴とする請求項３１に記載のステレオカメラシステム。
- 前記情報入力装置から入力される情報は、当該ステレオカメラシステムが搭載された移動体の移動を制御する制御装置から入力される情報であることを特徴とする請求項３１に記載のステレオカメラシステム。
- ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、
同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、
このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、
このＡ／Ｄ変換部で発生したデジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、
この画像出力処理回路において画像処理されたステレオ画像データを通信回線に出力するモジュール側通信インタフェースと、
を具備することを特徴とするステレオ光学モジュール。 - 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してレクティフィケーション処理を施すレクティフィケーション処理回路を含むことを特徴とする請求項３４に記載のステレオ光学モジュール。
- 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してγ変換処理を施すγ変換処理回路を含むことを特徴とする請求項３４に記載のステレオ光学モジュール。
- 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してシェーディング補正処理を施すシェーディング補正処理回路を含むことを特徴とする請求項３４に記載のステレオ光学モジュール。
- 前記ステレオ光学モジュールは、前記撮像素子の光入射側に、各々のステレオ画像を複数の色成分に分離するための光学色フィルタを更に含み、
前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データの各々に対して輝度信号と色差信号に変換する処理を行う変換回路を更に含むことを特徴とする請求項３４に記載のステレオ光学モジュール。 - 前記モジュール側通信インタフェースは、前記ステレオ画像データをデジタル画像データとして前記通信回線に出力することを特徴とする請求項３４に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをデータ圧縮して前記通信回線に出力することを特徴とする請求項３９に記載のステレオ光学モジュール。
- 前記データ圧縮におけるデータ圧縮方式は、モーションＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）の規格に準拠したデータ圧縮方式であることを特徴とする請求項４０に記載のステレオ光学モジュール。
- 前記データ圧縮におけるデータ圧縮方式は、ＭＰＥＧの規格に準拠したデータ圧縮方式であることを特徴とする請求項４０に記載のステレオ光学モジュール。
- 前記データ圧縮におけるデータ圧縮方式は、ＤＶの規格に準拠したデータ圧縮方式であることを特徴とする請求項４０に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＩＥＥＥ１３９４規格に準拠したデジタルデータに変換して前記通信回線に出力することを特徴とする請求項３９に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＵＳＢ規格に準拠したデジタルデータに変換して前記通信回線に出力することを特徴とする請求項３９に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをイーサネット規格に準拠したデジタルデータに変換して前記通信回線に出力することを特徴とする請求項３９に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをアナログ画像データとして前記通信回線に出力することを特徴とする請求項３４に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＮＴＳＣ規格に準拠したアナログ画像データに変換して前記通信回線に出力することを特徴とする請求項４７に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記ステレオ画像データをＰＡＬ規格に準拠したアナログ画像データに変換して前記通信回線に出力することを特徴とする請求項４７に記載のステレオ光学モジュール。
- 当該ステレオ光学モジュールの周囲の温度を検出する温度センサを更に有し、前記モジュール側通信インタフェースは、前記温度センサで検出された温度データを前記通信回線に出力することを特徴とする請求項３４に記載のステレオ光学モジュール。
- 雨滴量を検出する雨滴センサを更に有し、前記モジュール側通信インタフェースは、前記雨滴センサで検出された雨滴データを前記通信回線に出力することを特徴とする請求項３４に記載のステレオ光学モジュール。
- ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリを更に有し、
前記モジュール側通信インタフェースは、前記補正情報メモリに記憶された前記キャリブレーションデータを通信回線に出力することを特徴とする請求項３４に記載のステレオ光学モジュール。 - 前記補正情報メモリに記憶されるキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであることを特徴とする請求項５２に記載のステレオ光学モジュール。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのキャリブレーションデータであることを特徴とする請求項５３に記載のステレオ光学モジュール。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのキャリブレーションデータであることを特徴とする請求項５３に記載のステレオ光学モジュール。
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するためのステレオ光学モジュールと、
このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、
前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、
前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データと前記補正情報メモリに記憶された前記キャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、
前記中央制御ユニットは、前記モジュール側通信インタフェースを介して前記通信回線に出力されるステレオ画像データを該中央制御ユニットに入力させるためのユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備することを特徴とするステレオカメラシステム。 - 前記補正情報メモリに記憶されるキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであり、前記画像出力処理回路で施される画像処理は、前記１対のステレオ画像データの間で発生するアンバランスを補正するための補正演算であることを特徴とする請求項５６に記載のステレオカメラシステム。
- 前記キャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのデータであり、前記補正演算は、前記ステレオ画像データにレクティケーション処理を施す演算であることを特徴とする請求項５７に記載のステレオカメラシステム。
- 前記キャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのデータであり、前記補正演算は、前記ステレオ画像データにシェーディング補正処理を施す演算であることを特徴とする請求項５７に記載のステレオカメラシステム。
- ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、
同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、
このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、
前記ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリと、
前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された前記キャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、
この画像出力処理回路において画像処理されたステレオ画像データを前記通信回線に出力するモジュール側通信インタフェースと、
を具備することを特徴とするステレオ光学モジュール。 - 前記補正情報メモリに記憶されるキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであり、前記画像出力処理回路で施される画像処理は、前記１対のステレオ画像データの間で発生するアンバランスを補正するための補正演算であることを特徴とする請求項６０に記載のステレオカメラシステム。
- 前記キャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのデータであり、前記補正演算は、前記ステレオ画像データにレクティケーション処理を施す演算であることを特徴とする請求項６１に記載のステレオカメラシステム。
- 前記キャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのデータであり、前記補正演算は、前記ステレオ画像データにシェーディング補正処理を施す演算であることを特徴とする請求項６１に記載のステレオカメラシステム。
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するためのステレオ光学モジュールと、
このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、
前記ステレオ光学モジュールにおいて取得した前記ステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、から構成され、
前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータであって、第１のキャリブレーションデータ及び第２のキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された第１のキャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、前記画像出力処理回路で画像処理されたステレオ画像データ及び前記補正情報メモリに記憶された第２のキャリブレーションデータを前記通信回線に出力するためのモジュール側通信インタフェースとを具備し、
前記中央制御ユニットは、前記モジュール側通信インタフェースを介して前記通信回線に出力されるステレオ画像データを該中央制御ユニットに入力させるためのユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像データ及び前記第２のキャリブレーションデータに基づいて対象となる被写体までの距離を求める距離画像評価装置とを具備することを特徴とするステレオカメラシステム。 - 前記第１のキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであることを特徴とする請求項６４に記載のステレオカメラシステム。
- 前記第１のキャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのキャリブレーションデータであることを特徴とする請求項６５に記載のステレオカメラシステム。
- 前記第１のキャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのキャリブレーションデータであることを特徴とする請求項６５に記載のステレオカメラシステム。
- 前記第２のキャリブレーションデータは、前記中央制御ユニット内部の前記距離画像評価装置から出力される距離演算結果に対して補正を行うための距離補正データであることを特徴とする請求項６４に記載のステレオカメラシステム。
- ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像データを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、
同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記ステレオカメラシステムのキャリブレーションデータであって、第１のキャリブレーションデータ及び第２のキャリブレーションデータを記憶するための補正情報メモリと、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶された第１のキャリブレーションデータとに基づいて所定の画像処理を施す画像出力処理回路と、前記画像出力処理回路で画像処理されたステレオ画像データ及び前記補正情報メモリに記憶された第２のキャリブレーションデータを前記通信回線に出力するためのモジュール側通信インタフェースと、
を具備することを特徴とするステレオ光学モジュール。 - 前記第１のキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであることを特徴とする請求項６９に記載のステレオ光学モジュール。
- 前記第１のキャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのキャリブレーションデータであることを特徴とする請求項７０に記載のステレオ光学モジュール。
- 前記第１のキャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのキャリブレーションデータであることを特徴とする請求項７０に記載のステレオ光学モジュール。
- 前記第２のキャリブレーションデータは、前記中央制御ユニット内部の前記距離画像評価装置から出力される距離演算結果に対して補正を行うための距離補正データであることを特徴とする請求項６９に記載のステレオ光学モジュール。
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、から構成され、
前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、
前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された距離画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データに基づいて前記被写体の評価を行う距離画像評価装置とを具備することを特徴とするステレオカメラシステム。 - 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して、レクティフィケーション処理を施すレクティフィケーション処理回路を含むことを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してシェーディング補正処理を施すためのシェーディング補正処理回路を含むことを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記距離画像データをデジタル画像データとして前記通信回線に出力することを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記距離画像データをデータ圧縮した後、デジタルデータとして前記通信回線に出力することを特徴とする請求項７７に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記距離画像データをアナログ画像データとして前記通信回線に出力することを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、当該ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリを更に有し、
前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと前記補正情報メモリに記憶されたキャリブレーションデータとから補正演算を行うことを特徴とする請求項７４に記載のステレオカメラシステム。 - 前記補正情報メモリに記憶されるキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであることを特徴とする請求項８０に記載のステレオカメラシステム。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのキャリブレーションデータであることを特徴とする請求項８１に記載のステレオカメラシステム。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのキャリブレーションデータであることを特徴とする請求項８１に記載のステレオカメラシステム。
- 前記距離画像評価装置は、前記被写体の評価として当該ステレオカメラシステムの前方の障害物を認識し、この認識結果に基づいて前記障害物までの距離を判定することを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記距離画像評価装置は、前記被写体の評価として当該ステレオカメラシステムの前方を走行する自動車を認識し、この認識結果に基づいて前記自動車までの距離を判定することを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記距離画像評価装置は、前記被写体の評価として当該ステレオカメラシステムの前方の道路の白線を認識することを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記中央制御ユニットは、当該ステレオカメラシステムが搭載された移動体の運転を支援するための運転支援装置を更に有することを特徴とする請求項７４に記載のステレオカメラシステム。
- 前記中央制御ユニットは、当該ステレオカメラシステムの外部から情報を入力するための情報入力装置を更に有することを特徴とする請求項７４に記載のステレオカメラシステム。
- ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、
同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、
このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、
このＡ／Ｄ変換部で発生したデジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、
この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、
この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースと、
を具備することを特徴とするステレオ光学モジュール。 - 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して、レクティフィケーション処理を施すレクティフィケーション処理回路を含むことを特徴とする請求項８９に記載のステレオ光学モジュール。
- 前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに対してシェーディング補正処理を施すためのシェーディング補正処理回路を含むことを特徴とする請求項８９に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記距離画像データをデジタル画像データとして前記通信回線に出力することを特徴とする請求項８９に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記距離画像データをデータ圧縮した後、デジタルデータとして前記通信回線に出力することを特徴とする請求項９２に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記距離画像データをアナログ画像データとして前記通信回線に出力することを特徴とする請求項８９に記載のステレオ光学モジュール。
- 前記ステレオ光学モジュールは、当該ステレオカメラシステムのキャリブレーションデータを記憶するための補正情報メモリを更に有し、
前記画像出力処理回路は、前記Ａ／Ｄ変換部で発生したデジタルステレオ画像データと補正情報メモリに記憶されたキャリブレーションデータとから補正演算を行うことを特徴とする請求項８９に記載のステレオ光学モジュール。 - 前記補正情報メモリに記憶されるキャリブレーションデータは、１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータであることを特徴とする請求項９５に記載のステレオ光学モジュール。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにレクティフィケーション処理を施すためのキャリブレーションデータであることを特徴とする請求項９６に記載のステレオ光学モジュール。
- 前記１対のステレオ画像データの間で発生するアンバランスを補正するためのキャリブレーションデータは、前記ステレオ画像データにシェーディング補正処理を施すためのキャリブレーションデータであることを特徴とする請求項９６に記載のステレオ光学モジュール。
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によってステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データ及び前記ステレオ画像データの少なくとも何れか一方の画像データを出力するモジュール側通信インタフェースとを具備するステレオ光学モジュールと、
距離画像データ及び前記ステレオ画像データの少なくとも何れか一方を入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方に基づいて前記被写体の評価を行う距離画像評価装置とを具備する中央制御ユニットと、
前記モジュール側通信インタフェースと前記ユニット側インタフェースとの間を接続し、前記ステレオ光学モジュールと前記中央制御ユニットとの間でデータの通信を可能とする通信回線と、
から構成されることを特徴とするステレオカメラシステム。 - 前記モジュール側通信インタフェースは、前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方をデジタル画像データとして前記通信回線に出力することを特徴とする請求項９９に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方をデータ圧縮した後、デジタルデータとして前記通信回線に出力することを特徴とする請求項１００に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方をアナログ画像データとして前記通信回線に出力することを特徴とする請求項９９に記載のステレオカメラシステム。
- 前記モジュール側通信インタフェースは、１フレームの画像データ内の第１の領域に前記複数視点から取得したステレオ画像の中の何れかの視点から見た画像データを割り付け、前記１フレームの画像データ内の前記第１の領域とは異なる第２の領域に前記距離画像データを割り付けて、前記通信回線に出力することを特徴とする請求項１０２に記載のステレオカメラシステム。
- 前記中央制御ユニットは、前記複数視点から取得したステレオ画像の中の何れかの視点から見た画像データを表示可能な表示手段を更に有することを特徴とする請求項９９に記載のステレオカメラシステム。
- 同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、
このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、
このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに対して所定の画像処理を施す画像出力処理回路と、
この画像出力処理回路で画像処理されたステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、
この距離画像算出ユニットで生成された距離画像データ及び前記撮像素子によって発生させたステレオ画像データの少なくとも何れか一方の画像データを通信回線に出力するモジュール側通信インタフェースと、
を具備することを特徴とするステレオ光学モジュール。 - 前記モジュール側通信インタフェースは、前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方をデジタル画像データとして前記通信回線に出力することを特徴とする請求項１０５に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方をデータ圧縮した後、デジタルデータとして前記通信回線に出力することを特徴とする請求項１０５に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、前記距離画像データ及び前記ステレオ画像データの少なくとも何れか一方をアナログ画像データとして前記通信回線に出力することを特徴とする請求項１０５に記載のステレオ光学モジュール。
- 前記モジュール側通信インタフェースは、１フレームの画像データ内の第１の領域に前記複数視点から取得したステレオ画像の中の何れかの視点から見た画像データを割り付け、前記１フレームの画像データ内の前記第１の領域とは異なる第２の領域に前記距離画像データを割り付けて、前記通信回線に出力することを特徴とする請求項１０５に記載のステレオ光学モジュール。
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールにおいて取得した前記ステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、から構成され、
前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースとを具備し、
前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された距離画像データを入力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記距離画像データに基づいて前記被写体の評価を行う距離画像評価装置とを具備することを特徴とするステレオカメラシステム。 - ステレオ画像を得るためのステレオ光学モジュールと、前記ステレオ光学モジュールで得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニットと、前記ステレオ光学モジュールから出力されるステレオ画像に関するデータを前記中央制御ユニットに入力させるための通信回線と、からなり、同一被写体に対して複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるステレオカメラシステムに使用するためのステレオ光学モジュールであって、
同一被写体に対して複数視点から見た被写体像を発生するためのステレオ光学系と、
このステレオ光学系において発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子で発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、
このＡ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを生成する距離画像算出ユニットと、
この距離画像算出ユニットで生成された距離画像データを前記通信回線に出力するモジュール側通信インタフェースと、
を具備することを特徴とするステレオ光学モジュール。 - 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するためのステレオ光学モジュールと、このステレオ光学モジュールで得られた前記ステレオ画像に関するデータに基づいて対象となる被写体の評価を行うための中央制御ユニットと、前記ステレオ光学モジュールと前記中央制御ユニットとをデジタル信号により通信する通信回線と、から構成され、
前記ステレオ光学モジュールは、同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子によって発生させたステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部と、前記中央制御ユニットから制御コマンドを受けた場合に、当該ステレオ光学モジュールで取得されたステレオ画像に関連した情報を前記通信回線に出力するモジュール側通信インタフェースとを具備し、
前記中央制御ユニットは、前記モジュール側通信インタフェースを介して出力された前記ステレオ画像に関連した情報を入力させると共に当該中央制御ユニットから前記ステレオ光学モジュールに制御コマンドを出力させるユニット側通信インタフェースと、このユニット側通信インタフェースを介して入力された前記ステレオ画像に関連した情報に基づいて前記被写体の評価を行う距離画像評価装置とを具備することを特徴とするステレオカメラシステム。 - 前記ステレオ画像に関連した情報は、前記デジタルステレオ画像データであることを特徴とする請求項１１２に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを演算する距離画像算出ユニットを更に具備し、
前記前記ステレオ画像に関連した情報は、前記距離画像データであることを特徴とする請求項１１２に記載のステレオカメラシステム。 - 前記ステレオ光学モジュールは、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを演算する距離画像算出ユニットを更に具備し、
前記ステレオ画像に関連した情報は、前記ステレオ画像の複数の視点の中の何れかの視点における画像データ及び前記距離画像データであることを特徴とする請求項１１２に記載のステレオカメラシステム。 - 前記ステレオ光学モジュールは、前記中央制御ユニットから前記制御コマンドが入力されるのに応答して所定のデータを発生させて前記中央制御ユニットに出力するデータ発生装置を更に具備することを特徴とする請求項１１２に記載のステレオカメラシステム。
- 前記所定のデータは、温度に関するデータであり、前記データ発生装置は、前記温度を検出して前記中央制御ユニットに出力する温度センサであることを特徴とする請求項１１２に記載のステレオカメラシステム。
- 前記所定のデータは、雨滴量に関するデータであり、前記データ発生装置は、前記雨滴量を検出して前記中央制御ユニットに出力する雨滴センサであることを特徴とする請求項１１２に記載のステレオカメラシステム。
- 前記所定のデータは、キャリブレーションデータであり、前記データ発生装置は、前記キャリブレーションデータが記憶された補正情報メモリであることを特徴とする請求項１１２に記載のステレオカメラシステム。
- 前記ステレオ光学モジュールは、前記中央制御ユニットから前記制御コマンドが入力されるのに応答して当該ステレオ光学モジュールの電力消費モードの制御を行うことを特徴とする請求項１１２に記載のステレオカメラシステム。
- 同一被写体に対して複数視点から見た被写体像を発生させるためのステレオ光学系と、
このステレオ光学系で発生した被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子によって発生したステレオ画像データをＡ／Ｄ変換してデジタルステレオ画像データを発生させるＡ／Ｄ変換部とを具備し、
外部から入力された制御コマンドに応答して前記ステレオ画像に関連した情報を通信回線に出力することを特徴とするステレオ光学モジュール。 - 前記ステレオ画像に関連した情報は、前記デジタルステレオ画像データであることを特徴とする請求項１２１に記載のステレオ光学モジュール。
- 前記ステレオ光学モジュールは、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを演算する距離画像算出ユニットを更に具備し、
前記ステレオ画像に関連した情報は、前記距離画像データであることを特徴とする請求項１２１に記載のステレオ光学モジュール。 - 前記ステレオ光学モジュールは、前記Ａ／Ｄ変換部で発生した前記デジタルステレオ画像データに基づいて距離画像データを演算する距離画像算出ユニットを更に具備し、
前記ステレオ画像に関連した情報は、前記ステレオ画像の複数の視点の中の何れかの視点における画像データ及び前記距離画像データの少なくとも何れか一方であることを特徴とする請求項１２１に記載のステレオ光学モジュール。 - 前記ステレオ光学モジュールは、外部から前記制御コマンドが入力されるのに応答して所定のデータを前記通信回線に出力するデータ発生装置を更に具備することを特徴とする請求項１２１に記載のステレオ光学モジュール。
- 前記所定のデータは、温度に関するデータであり、前記データ発生装置は、前記温度を検出して前記通信回線に出力する温度センサであることを特徴とする請求項１２５に記載のステレオ光学モジュール。
- 前記所定のデータは、雨滴量に関するデータであり、前記データ発生装置は、前記雨滴量を検出して前記通信回線に出力する雨滴センサであることを特徴とする請求項１２５に記載のステレオ光学モジュール。
- 前記所定のデータは、キャリブレーションデータであり、前記データ発生装置は、前記キャリブレーションデータが記憶された補正情報メモリであることを特徴とする請求項１２５に記載のステレオ光学モジュール。
- 外部から入力された前記制御コマンドが入力されるのに応答して当該ステレオ光学モジュールの電力消費モードの制御を行うことを特徴とする請求項１２１に記載のステレオ光学モジュール。
- 同一被写体に対して、複数の視点から見た被写体像を撮影し対象となる被写体までの距離を求めるためのステレオカメラシステムであって、
ステレオ画像を取得するための少なくとも１つのステレオ光学モジュールと、
このステレオ光学モジュールとは異なる画像を取得するための少なくとも１つの光学モジュールと、
前記ステレオ光学モジュール及び前記光学モジュールのシーケンス制御を行う中央制御ユニットと、
前記ステレオ光学モジュール、前記光学モジュール、及び前記中央制御ユニットを通信接続する通信回線と、
から構成されることを特徴とするステレオカメラシステム。 - 当該ステレオカメラシステムが搭載された移動体の運転状況を検出し、この検出した運転状況に関する情報を前記通信回線に出力する運転状況検出モジュールを更に有することを特徴とする請求項１３０に記載のステレオカメラシステム。
- 前記運転状況検出モジュールは、前記移動体に搭載されたエンジンの状況を検出するエシジンコントロールモジュールであることを特徴とする請求項１３１に記載のステレオカメラシステム。
- 前記運転状況検出モジュールは、前記移動体に搭載されたブレーキの状況を検出するブレーキセンサモジュールであることを特徴とする請求項１３１に記載のステレオカメラシステム。
- 当該ステレオカメラシステムが搭載された移動体の環境状態を検出し、この検出した環境状態に関する情報を前記通信回線に出力する環境監視モジュールを更に有することを特徴とする請求項１３０に記載のステレオカメラシステム。
- 前記環境監視モジュールは、前記移動体の外部の状況を検出するレーダーモジュールであることを特徴とする請求項１３４に記載のステレオカメラシステム。
- 前記環境監視モジュールは、前記移動体の積載状況を検出する積載検出モジュールであることを特徴とする請求項１３４に記載のステレオカメラシステム。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153452 | 2003-05-29 | ||
| JP2003153453 | 2003-05-29 | ||
| JP2003153453 | 2003-05-29 | ||
| JP2003153452 | 2003-05-29 | ||
| JP2003153454 | 2003-05-29 | ||
| JP2003153454 | 2003-05-29 | ||
| PCT/JP2004/007759 WO2004106858A1 (ja) | 2003-05-29 | 2004-05-28 | ステレオカメラシステム及びステレオ光学モジュール |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2004106858A1 true JPWO2004106858A1 (ja) | 2006-07-20 |
Family
ID=33493928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005506574A Pending JPWO2004106858A1 (ja) | 2003-05-29 | 2004-05-28 | ステレオカメラシステム及びステレオ光学モジュール |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7386226B2 (ja) |
| EP (1) | EP1637837A1 (ja) |
| JP (1) | JPWO2004106858A1 (ja) |
| WO (1) | WO2004106858A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9413983B2 (en) | 2006-11-22 | 2016-08-09 | Sony Corporation | Image display system, display device and display method |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080094471A1 (en) * | 2005-05-20 | 2008-04-24 | Toyota Jidosha Kabushiki Kaisha | Image Processor for Vehicles |
| JP2007004689A (ja) * | 2005-06-27 | 2007-01-11 | Fujitsu Ten Ltd | 画像処理装置及び画像処理方法 |
| JP4772409B2 (ja) * | 2005-07-20 | 2011-09-14 | 株式会社オートネットワーク技術研究所 | 画像表示システム |
| JP2007174113A (ja) * | 2005-12-20 | 2007-07-05 | Sumitomo Electric Ind Ltd | 障害物検出システム及び障害物検出方法 |
| US7957598B2 (en) * | 2006-01-09 | 2011-06-07 | Lexmark International, Inc. | Methods and systems for dynamic scan compression |
| EP1991903B1 (en) * | 2006-02-22 | 2016-04-27 | Itres Research Limited | Optically multiplexed imaging systems and methods of operation |
| US20080024871A1 (en) * | 2006-02-22 | 2008-01-31 | Itres Research Limited | Optically multiplexed imaging systems and methods of operation |
| JP2007325120A (ja) * | 2006-06-02 | 2007-12-13 | Sumitomo Electric Ind Ltd | 遠赤外線撮像システム及び遠赤外線撮像方法 |
| JP4910529B2 (ja) * | 2006-07-14 | 2012-04-04 | 住友電気工業株式会社 | 障害物検出システム及び障害物検出方法 |
| DE102006052779A1 (de) * | 2006-11-09 | 2008-05-15 | Bayerische Motoren Werke Ag | Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs |
| EP1931147B1 (en) * | 2006-12-04 | 2019-07-10 | Harman Becker Automotive Systems GmbH | Apparatus and method for processing an image of a surrounding of a vehicle |
| US8199975B2 (en) * | 2006-12-12 | 2012-06-12 | Cognex Corporation | System and method for side vision detection of obstacles for vehicles |
| WO2008086124A1 (en) * | 2007-01-03 | 2008-07-17 | Vialogy Llc | Multi parallax exploitation for omni-directional imaging electronic eye |
| JP4915859B2 (ja) * | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
| DE102007021499A1 (de) * | 2007-05-04 | 2008-11-06 | Deere & Company, Moline | Bedienvorrichtung |
| JP4264464B2 (ja) | 2007-06-28 | 2009-05-20 | パナソニック株式会社 | 撮像装置及び半導体回路素子 |
| JP4510930B2 (ja) * | 2008-07-23 | 2010-07-28 | パナソニック株式会社 | 撮像装置及び半導体回路素子 |
| JP5267101B2 (ja) * | 2008-12-18 | 2013-08-21 | マツダ株式会社 | 車両用対象物検出装置 |
| FR2940490B1 (fr) * | 2008-12-19 | 2011-05-13 | Thales Sa | Procede d'imagerie passive et de detection de pluie |
| US8466960B2 (en) | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
| US20100289874A1 (en) * | 2009-05-15 | 2010-11-18 | Fuhua Cheng | Square tube mirror-based imaging system |
| EP2254091B1 (en) * | 2009-05-19 | 2020-03-25 | Veoneer Sweden AB | Vision system and method for a motor vehicle |
| JP2011029905A (ja) * | 2009-07-24 | 2011-02-10 | Fujifilm Corp | 撮像装置、方法およびプログラム |
| KR101619076B1 (ko) * | 2009-08-25 | 2016-05-10 | 삼성전자 주식회사 | 모바일 플랫폼의 동적 물체 검출 및 추적 방법 |
| EP2293588A1 (en) * | 2009-08-31 | 2011-03-09 | Robert Bosch GmbH | Method for using a stereovision camera arrangement |
| JP5580062B2 (ja) * | 2010-01-21 | 2014-08-27 | クラリオン株式会社 | 障害物検知警報装置 |
| JP5567901B2 (ja) * | 2010-05-24 | 2014-08-06 | オリンパスイメージング株式会社 | ステレオ撮影対応型の交換レンズ、撮像システム |
| US8964004B2 (en) | 2010-06-18 | 2015-02-24 | Amchael Visual Technology Corporation | Three channel reflector imaging system |
| JP5539060B2 (ja) * | 2010-06-23 | 2014-07-02 | セコム株式会社 | 監視用センサ |
| JP5539096B2 (ja) * | 2010-08-06 | 2014-07-02 | セコム株式会社 | 監視用センサ |
| EP2691014A1 (en) | 2011-03-30 | 2014-02-05 | The Gillette Company | Method of viewing a surface |
| US8823932B2 (en) * | 2011-04-04 | 2014-09-02 | Corning Incorporated | Multi field of view hyperspectral imaging device and method for using same |
| US20130027548A1 (en) * | 2011-07-28 | 2013-01-31 | Apple Inc. | Depth perception device and system |
| KR20130024504A (ko) * | 2011-08-31 | 2013-03-08 | 삼성전기주식회사 | 삼차원 카메라 시스템 및 주시각 조정 방법 |
| US8648808B2 (en) | 2011-09-19 | 2014-02-11 | Amchael Visual Technology Corp. | Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof |
| RU2477008C1 (ru) * | 2011-09-30 | 2013-02-27 | Борис Иванович Волков | Видеокамера |
| US9019352B2 (en) | 2011-11-21 | 2015-04-28 | Amchael Visual Technology Corp. | Two-parallel-channel reflector with focal length and disparity control |
| DE102011056051A1 (de) * | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen |
| JP5598484B2 (ja) * | 2012-01-19 | 2014-10-01 | 株式会社デンソー | 音声出力装置 |
| JP2013190416A (ja) * | 2012-02-13 | 2013-09-26 | Ricoh Co Ltd | 付着物検出装置及びこれを用いた車載機器制御装置 |
| US9019603B2 (en) | 2012-03-22 | 2015-04-28 | Amchael Visual Technology Corp. | Two-parallel-channel reflector with focal length and disparity control |
| TWI511548B (zh) * | 2012-04-25 | 2015-12-01 | Altek Corp | 攝像裝置及其防塵方法 |
| US9557634B2 (en) | 2012-07-05 | 2017-01-31 | Amchael Visual Technology Corporation | Two-channel reflector based single-lens 2D/3D camera with disparity and convergence angle control |
| US9030660B2 (en) | 2012-09-19 | 2015-05-12 | Raytheon Company | Multi-band imaging spectrometer |
| US9208369B2 (en) * | 2012-10-30 | 2015-12-08 | Lockheed Martin Corporation | System, method and computer software product for searching for a latent fingerprint while simultaneously constructing a three-dimensional topographic map of the searched space |
| KR20140066908A (ko) * | 2012-11-23 | 2014-06-03 | 현대자동차주식회사 | 차량 제어 시스템 |
| US20150264336A1 (en) * | 2014-03-17 | 2015-09-17 | Jacob D. Catt | System And Method For Composite Three Dimensional Photography And Videography |
| WO2017033574A1 (ja) * | 2015-08-21 | 2017-03-02 | ソニー株式会社 | プロジェクションシステム、および機器ユニット |
| JP2017044599A (ja) * | 2015-08-27 | 2017-03-02 | ルネサスエレクトロニクス株式会社 | 制御システム |
| DE102015217265A1 (de) * | 2015-09-10 | 2017-03-16 | Conti Temic Microelectronic Gmbh | Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen |
| JP2017090380A (ja) * | 2015-11-16 | 2017-05-25 | 株式会社デンソーウェーブ | レーザレーダ装置、レーザレーダ装置用の窓部材、及びレーザレーダ装置用の制御プログラム |
| JP7018285B2 (ja) * | 2017-09-29 | 2022-02-10 | 株式会社デンソー | 車両の周辺監視装置および周辺監視方法 |
| JP2021122080A (ja) * | 2018-05-09 | 2021-08-26 | ソニーグループ株式会社 | データ処理装置、データ処理方法、及び、プログラム |
| US10683067B2 (en) | 2018-08-10 | 2020-06-16 | Buffalo Automation Group Inc. | Sensor system for maritime vessels |
| US10782691B2 (en) | 2018-08-10 | 2020-09-22 | Buffalo Automation Group Inc. | Deep learning and intelligent sensing system integration |
| WO2020033967A1 (en) | 2018-08-10 | 2020-02-13 | Buffalo Automation Group Inc. | Training a deep learning system for maritime applications |
| KR102613098B1 (ko) * | 2019-01-23 | 2023-12-12 | 한화비전 주식회사 | 이미지 센서 모듈 |
| JP7207038B2 (ja) | 2019-03-14 | 2023-01-18 | 株式会社リコー | 撮像装置、撮像光学系及び移動体 |
| JP7201568B2 (ja) * | 2019-10-28 | 2023-01-10 | トヨタ自動車株式会社 | 車両用制御装置 |
| US11006093B1 (en) * | 2020-01-22 | 2021-05-11 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
| US11066023B1 (en) | 2021-04-09 | 2021-07-20 | INVISIONit LLC | Camera system for particulate material trailer |
| CN116908217B (zh) * | 2023-09-11 | 2023-11-17 | 中北大学 | 一种深孔测量与三维重建系统及其使用方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06273171A (ja) * | 1993-03-18 | 1994-09-30 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
| JP3468428B2 (ja) * | 1993-03-24 | 2003-11-17 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JP3730322B2 (ja) * | 1996-07-11 | 2006-01-05 | 株式会社トプコン | 形状測定装置及びそれに使用する画像入力装置 |
| JPH10336705A (ja) * | 1997-06-02 | 1998-12-18 | Canon Inc | 複眼カメラ |
| JPH11146425A (ja) * | 1997-11-11 | 1999-05-28 | Canon Inc | 複眼カメラ及び複眼カメラシステム並びに複眼カメラ制御方法 |
| JP4021026B2 (ja) * | 1998-01-29 | 2007-12-12 | 富士重工業株式会社 | ステレオ画像処理システム |
| JPH11328413A (ja) | 1998-05-14 | 1999-11-30 | Fuji Heavy Ind Ltd | ステレオ画像処理システム |
| JP3462812B2 (ja) | 1999-09-22 | 2003-11-05 | 富士重工業株式会社 | 車載カメラの電源制御方法ならびに装置 |
| JP2002071309A (ja) * | 2000-08-24 | 2002-03-08 | Asahi Optical Co Ltd | ３次元画像検出装置 |
| JP2002259966A (ja) | 2001-03-05 | 2002-09-13 | Toyota Motor Corp | 周辺認識装置 |
| JP2002319091A (ja) * | 2001-04-20 | 2002-10-31 | Fuji Heavy Ind Ltd | 後続車両認識装置 |
| JP3868876B2 (ja) * | 2002-09-25 | 2007-01-17 | 株式会社東芝 | 障害物検出装置及び方法 |
| US7184073B2 (en) * | 2003-04-11 | 2007-02-27 | Satyam Computer Services Limited Of Mayfair Centre | System and method for warning drivers based on road curvature |
| WO2004106857A1 (ja) * | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオ光学モジュール及びステレオカメラ |
| JP4402400B2 (ja) * | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
-
2004
- 2004-05-28 WO PCT/JP2004/007759 patent/WO2004106858A1/ja active Application Filing
- 2004-05-28 JP JP2005506574A patent/JPWO2004106858A1/ja active Pending
- 2004-05-28 EP EP04735383A patent/EP1637837A1/en not_active Withdrawn
-
2005
- 2005-11-29 US US11/288,647 patent/US7386226B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9413983B2 (en) | 2006-11-22 | 2016-08-09 | Sony Corporation | Image display system, display device and display method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1637837A1 (en) | 2006-03-22 |
| US20060077543A1 (en) | 2006-04-13 |
| WO2004106858A1 (ja) | 2004-12-09 |
| US7386226B2 (en) | 2008-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2004106858A1 (ja) | ステレオカメラシステム及びステレオ光学モジュール | |
| US7437066B2 (en) | Stereo optical module and stereo camera | |
| KR101632168B1 (ko) | 원샷 전방위탐지와 카메라영상으로 이루어진 하이브리드 분석형 스마트 감시카메라장치 | |
| EP2058762B1 (en) | Method and apparatus for generating bird's-eye image | |
| KR20190051968A (ko) | 촬상 장치 및 전자 기기 | |
| JP4892965B2 (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
| JP6793193B2 (ja) | 物体検出表示装置、移動体及び物体検出表示方法 | |
| US10999562B2 (en) | Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image | |
| US20100271480A1 (en) | Vehicular surveillance system | |
| JP2012040883A (ja) | 車両周囲画像生成装置 | |
| JP2004258266A (ja) | ステレオアダプタ及びそれを用いた距離画像入力装置 | |
| JP6816768B2 (ja) | 画像処理装置と画像処理方法 | |
| JP6816769B2 (ja) | 画像処理装置と画像処理方法 | |
| JP7278846B2 (ja) | 物体位置検出装置、走行制御システム、および走行制御方法 | |
| CN100554878C (zh) | 立体光学模块和立体摄像机 | |
| CN117495972A (zh) | 基于自适应投影误差的用于4d毫米波雷达和相机的外参标定 | |
| JP2005285011A (ja) | 人間認識システム、及び画像処理装置 | |
| CN114788257A (zh) | 信息处理装置、信息处理方法、程序、成像装置和成像系统 | |
| JP2002036954A (ja) | 車両周辺監視装置および車両周辺監視システム | |
| JP2006031101A (ja) | 画像生成方法およびその装置 | |
| JP2006054503A (ja) | 画像生成方法および装置 | |
| JP2006197034A (ja) | 画像認識システム、撮像装置及び画像認識方法 | |
| KR20220097656A (ko) | 운전자 보조 장치, 차량 및 그 제어 방법 | |
| CN1798957A (zh) | 立体摄像机系统和立体光学模块 | |
| JP2017219949A (ja) | 自車位置推定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090804 |