JP4414661B2 - ステレオアダプタ及びそれを用いた距離画像入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像を撮影するために撮像装置の撮像光学系の前方に取り付けられるステレオアダプタ、及びそのようなステレオアダプタを取り付けた撮像装置からのステレオ画像より三次元距離情報を算出する距離画像入力装置装置に関する。
【０００２】
【従来の技術】
従来より、撮像装置の撮像光学系に接続することで、同一被写体からの光を離間した２つの部位で受光し、受光した各々の光を撮像装置の撮像光学系に導くことで、ステレオ画像の撮像（ステレオ撮影）を可能にするステレオアダプタが利用されおり、そのようなステレオアダプタの構成として各種提案されている。
【０００３】
例えば、被写体に所定のパターンを投影するパターン投影部を有するステレオアダプタ（例えば、特許文献１参照）や、前面にシリンドリカルレンズやワイドコンバージョンレンズを着脱可能に設置するステレオアダプタが提案されている（例えば、特許文献２参照）。
【０００４】
また、イメージガイドを用いて双眼視するための内視鏡も提案されている（例えば、特許文献３参照）。
【０００５】
また、ステレオアダプタのミラーの構成としては、例えば特許文献４などで開示されている。
【０００６】
更に、３眼視ステレオ用のアダプタも提案されている（例えば、特許文献５参照）。
【０００７】
【特許文献１】
特開２０００−２３６３３２号公報
【０００８】
【特許文献２】
特開平９−３２７０４２号公報
【０００９】
【特許文献３】
特開平４−０１６８１２号公報
【００１０】
【特許文献４】
実開昭５３−１１２４２６号公報
【００１１】
【特許文献５】
特開２００１−３０５６８２号公報
【００１２】
【発明が解決しようとする課題】
しかしながら、遠距離の被写体について、広角画像を撮影するためには、投影装置やミラーが大きくなってしまい、ステレオアダプタを小型軽量に構成することは難しかった。
【００１３】
本発明は、上記の点に鑑みてなされたもので、遠距離の被写体を広角に撮影できる小型軽量なステレオアダプタ、及びそのようなステレオアダプタを用いた距離画像入力装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に記載の発明によるステレオアダプタは、
ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取り付けるステレオアダプタであり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系と、
受光する光束を縮小する複数の縮小光学系と、
を具備し、
上記導光光学系は、一次折り曲げミラーと、二次折り曲げミラーが略Ｗ字型に配置され、
一次折り曲げミラーへの入射側に向けて、二次折り曲げミラーが光束を反射し、上記撮像装置で撮像するように構成され、
上記撮像装置は、上記二次折り曲げミラーより被写体側に設置されることを特徴とする。
【００１６】
また、上記の目的を達成するために、請求項２に記載の発明による距離画像入力装置は、
請求項１に記載の発明によるステレオアダプタと、
上記ステレオアダプタが取り付けられた撮像装置と、
上記撮像装置で撮影したステレオ画像より三次元再構成を含む処理を行い、三次元距離情報を提供する距離画像処理装置と、
を具備することを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１８】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るステレオアダプタ及び距離画像入力装置を適用したステレオアダプタ撮像システムの構成を示す図である。なお、このステレオアダプタ撮像システムは、車両に搭載された例として説明する。
【００１９】
即ち、このステレオアダプタ撮像システムは、距離画像入力装置１００と、制御装置１０４、物体認識装置１０５、警告装置１０６、運転装置１０７、表示装置１０８、車速センサ１０９、測距レーダ１１０、照度センサ１１１、外部カメラ１１２、ＧＰＳ（全地球測位システム）１１３、ＶＩＣＳ（渋滞情報取得装置）１１４、及び外部通信装置１１５から構成されるものである。
【００２０】
ここで、上記距離画像入力装置１００は、被写体４００を撮影する撮像装置１０２とこの撮像装置１０２の先端に取り付けられるステレオアダプタ１０１とからなるステレオアダプタカメラ１１６と、被写体４００の距離画像２０５を計測する距離画像処理装置１０３と、から構成される。
【００２１】
撮像装置１０２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、撮像光学系１０２Ａと、撮影絞り調整装置（図示せず）と、撮影フォーカス調整装置（図示せず）と、撮影シャッタ速度調整装置（図示せず）と、撮像素子１０２Ｂ（図３参照）と、感度調整装置（図示せず）とからなる。さらに、この撮像装置１０２には、ステレオアダプタ１０１が装着される。
【００２２】
このステレオアダプタ１０１は、光路分割装置１１を有する。この光路分割装置１１は、撮像装置１０２の撮像光学系１０２Ａの前に取り付けられ、異なる視点からの被写体４００の像を撮像素子１０２Ｂに結像することができるようになっている。
【００２３】
即ち、従来のステレオ撮影装置では、図２に示すように、複数の撮像装置１０２で同一の被写体４００を異なる視点ＣＬ，ＣＲで観察していた。このときは、独立したペアの単独被写体画像１が得られる。これに対して、ステレオアダプタ１０１では、この複数の光束２，３を、図３に示すように光路分割装置１１のミラーで折り曲げることで、同一の撮像装置１０２に取り込むことができるようにしている。即ち、図３に示すように、離間して配置された被写体４００からの光束２，３を受光する一次折り曲げミラー１０１Ａにより反射された被写体像は、撮像光学系１０２Ａ前に配置され、光束を撮像光学系１０２Ａに導くよう偏向する二次折り曲げミラー１０１Ｂにより撮像光学系１０２Ａに入射するように導かれる。これにより、撮像素子１０２Ｂに異なる２視点からの画像、即ちステレオ画像２０１を結像することができる。
【００２４】
このようにして撮像装置１０２で撮影された、即ち撮像素子１０２Ｂで捕らえたステレオ画像２０１は、図１に示すように、距離画像処理装置１０３に供給される。そして、この距離画像処理装置１０３により処理されて三次元距離画像２０５となり、制御装置１０４及び物体認識装置１０５に出力される。
【００２５】
なお、「距離画像」という用語は、本明細書では、被写体画像のピクセルに距離情報を有する画像を意味している。
【００２６】
また、ステレオアダプタ１０１には、光路分割装置１１の前面に、負のパワーを持つワイドコンバージョンレンズ１０１Ｃをそれぞれ持ち、撮像光学系１０２Ａの焦点距離を短くする効果を得る。
【００２７】
即ち、図４の（Ａ）に示すように、被写体側を向けて、撮像装置１０２を配置するように光束を折り曲げるのが一般的であるが、本実施の形態では、図４の（Ｂ）に示すように、二次折り曲げミラー１０１Ｂは、一次折り曲げミラー１０１Ａへの被写体４００からの光束の入射方向に光束を折り曲げるように配置されており、複数のワイドコンバージョンレンズ１０１Ｃの間に撮像装置１０２が配置されることになる。
【００２８】
なお、参照番号１２は露出制御装置であり、該露出制御装置１２は、撮像装置１０２が備える上記撮影絞り調整装置、撮影フォーカス調整装置、撮影シャッタ速度調整装置、及び感度調整装置（何れも図示せず）に接続されている。また、この露出制御装置１２は、制御装置１０４に接続されており、この制御装置１０４で、撮像素子１０２Ｂからの輝度情報により算出された露出値に応じて撮像装置１０２を制御する。
【００２９】
また、距離画像処理装置１０３には、上述したように、撮像素子１０２Ｂで撮像されたステレオ画像２０１が入力される。このステレオ画像２０１は、フレームメモリ１３に入力され、デジタル画像２０２となる。
【００３０】
このフレームメモリ１３の出力は、レクティフィケーション装置１４に入力される。このレクティフィケーション装置１４は、距離算出装置１５に、左画像２０３及び右画像２０４を出力する。距離算出装置１５は、距離画像出力１６を通して物体認識装置１０５に、三次元距離画像２０５を出力する。また、制御装置に対しても、二次元画像（ステレオ画像２０１）、距離画像２０５なども出力する。
【００３１】
なお、距離画像処理装置１０３には、キャリブレーション装置１７が別途存在し、レクティフィケーション装置１４に対してはレクティフィケーションパラメータを、距離算出装置１５に対しては距離算出用パラメータを、物体認識装置１０５に対しては、物体認識用パラメータを出力する。
【００３２】
物体認識装置１０５は、入力された三次元距離画像２０５を利用して、その中にある物体あるいは物体領域を認識し、その結果である物体データ２０６を出力する。
【００３３】
なお、距離画像処理装置１０３内の各装置は、計算機上のソフトウェアで実現しても良い。
【００３４】
制御装置１０４は、画像情報と車両情報を統括する役割を持っており、例えば、距離画像処理装置１０３で処理された結果を表示装置１０８に表示したり、距離画像処理装置１０３で得られた距離情報と車速センサ１０９等の情報とを分析して、警告装置１０６に警告を発生させたり、運転装置１０７を制御して運転者に安全運転を促すことができるようになっている。なお、警告装置１０６は、音声装置や振動装置などから成り、例えば、音声装置はスピーカ等からの音声、振動装置は運転席シートの振動により運転者に警告を発するものである。
【００３５】
このように、このステレオアダプタ撮像システムによると、本発明に直接関係しないためその詳細説明は省略するが、本実施の形態に係るステレオアダプタ１０１及び距離画像入力装置１００から得られた画像情報と各種センサ等から得られた車両情報とを統合することができ、表示装置１０８による画像情報の表示、警告装置１０６による警告、運転装置１０７の制御等により、運転者に安全走行を促すことができる。
【００３６】
次に、本実施の形態の作用を説明する。
撮像装置１０２が撮影を開始すると、撮像素子１０２Ｂは画像を出力する。この画像の輝度情報を露出制御装置１２は受け、撮像装置１０２の撮影シャッタ速度調整装置（図示せず）、撮影絞り調整装置（図示せず）、感度調整装置（図示せず）等を制御し、適切なビデオ画像が撮影されるように設定する。
【００３７】
そして、異なる２視点に設置されたワイドコンバージョンレンズ１０１Ｃを通った光束は、一次折り曲げミラー１０１Ａ及び二次折り曲げミラー１０１Ｂで反射され、撮像光学系１０２Ａに入射する。
【００３８】
この撮像光学系１０２Ａにより、被写体４００のステレオ画像２０１が撮像素子１０２Ｂに結像し撮影される。撮影されたステレオ画像２０１は、距離画像処理装置１０３に入力される。即ち、このステレオ画像２０１は、距離画像処理装置１０３のフレームメモリ１３に入力され、所定の解像度を持ったデジタル画像２０２になる。
【００３９】
距離画像処理装置１０３では、ステレオ画像２０１から距離画像を算出する。即ち、レクティフィケーション装置１４では、左右画像２０３，２０４の領域を切り出し、キャリブレーション装置１７の情報から、ステレオ画像２０１のエピポーララインが一致するように画像の歪曲収差除去や視点変換による変形処理を行う。このようにして生成した左画像２０３，右画像２０４に対して、ステレオマッチング処理を距離算出装置１５で行い、左画像２０３，右画像２０４の画素毎の視差を算出する。キャリブレーション装置１７からのパラメータを利用して、視差を距離に変換し、距離画像を生成する。
【００４０】
上記では、ハードウェア的な構成を示したが、より詳細に、ソフトウェア的処理による距離画像算出について、図５を参照して以下に述べる。
【００４１】
なお、距離画像処理装置１０３の内部での処理を処理部と称する。即ち、フレームメモリ１３はフレームメモリ１０３Ａに相当し、レクティフィケーション装置１４内での処理はレクティフィケーション処理部１０３Ｂに相当する。また、距離画像２０５は即ち三次元再構成をした結果として得るので、下記では距離算出装置１５内での処理は三次元再構成部１０３Ｃでの三次元再構成と表記する。また、物体認識装置１０５内での処理は物体認識部１０３Ｄ、キャリブレーション装置内での処理はキャリブレーション部１０３Ｅに相当する。
【００４２】
即ち、上記ステレオアダプタ１０１を介して撮像装置１０２が撮像した画像は、該処理装置１０３内のフレームメモリ１０３Ａに一時的に格納される。この際、撮像装置１０２がアナログ信号を送出する場合には、フレームメモリ１０３Ａ内でデジタル信号に変換される。撮像装置１０２がデジタル信号を送出する場合には、そのままデジタル信号として格納される。そして、格納されたデジタル信号の画像であるデジタル画像２０２は、レクティフィケーション処理部１０３Ｂに送出される。レクティフィケーション処理部１０３Ｂでは、供給されたデジタル画像２０２を、ステレオ対応が容易になるような画像変換を行うと共に、その結果を左画像２０３及び右画像２０４として、三次元再構成部１０３Ｃに送出する。三次元再構成部１０３Ｃでは、それら左画像２０３と右画像２０４の各画素に関する対応点探索を行い、その対応関係を用いて、視差画像あるいは三次元距離画像２０５を作成する。そして、物体認識部１０３Ｄは、その視差画像あるいは三次元距離画像２０５を利用して、その中にある物体あるいは物体領域を認識し、その結果である物体データ２０６を出力する。
【００４３】
一方、キャリブレーション部１０３Ｅは、レクティフィケーション処理部１０３Ｂあるいは三次元再構成部１０３Ｃあるいは物体認識部１０３Ｄで必要となる上記撮像装置１０２の特性パラメータやステレオアダプタ１０１の特性パラメータなどを算出する。そして、レクティフィケーション処理部１０３Ｂへは、レクティフィケーションに必要となる撮像装置１０２の特性パラメータやステレオアダプタ１０１の特性パラメータ（レクティフィケーションパラメータ２０７）を受け渡し、三次元再構成部１０３Ｃへは、距離計測に必要となるステレオアダプタ１０１の特性パラメータ（三次元再構成用パラメータ２０８）などを受け渡す。一方、物体認識部１０３Ｄへは、視差画像や距離画像を規定するパラメータ（物体認識用パラメータ２０９）を受け渡す。
【００４４】
（１） 数学的準備
以下、このような処理装置１０３を構成する各部の詳細を説明するものであるが、これらの各部を説明を開始する前に、ステレオアダプタ１０１を利用した場合の、三次元再構成に基本となる数学的な説明を行う。
【００４５】
まず、ステレオアダプタ１０１を利用して撮像装置１０２で画像を撮影すると、その画像は、撮像装置１０２内の撮像素子１０２Ｂ（例えばＣＣＤやＣＭＯＳなどの半導体素子）で画像として結像されると共に画像信号となる。この画像信号はアナログあるいはデジタル信号であるが、処理装置１０３内では、デジタル画像データとなる。デジタルデータは二次元配列として表現できるが、勿論、六方細密充填のようなハニカム構造の二次元配列でも良いことは当然である。また、インターレース方式の画像では、一つのフレームの中に偶数，奇数フィールド間のずれが発生する可能性があるが、このずれが処理に影響を与える場合には、垂直方向に画像を半分にしたり、偶数，奇数フィールドを別々に処理することによって、距離分解能を落とさずに、ずれの影響を解決することができる。さらに、時系列方向に画像の差分を算出し、動体検出等を行い、移動体の領域のみを処理したりすることによって高速化することも考えられる。ここでは簡単のために、処理装置１０３内のフレームメモリ１０３Ａで規定される画像について、その画素は正方あるいは長方格子状に定義できると仮定する。
【００４６】
いま、画像の座標系を（ｕ，ｖ）と定義する。このとき、ステレオアダプタ１０１と撮像装置１０２を規定するために、ワールド座標系を定義する。例えば、このワールド座標系は、車体や車両３００が規定する基準座標系であると考えても良い（この基準座標系に関しては、詳しく後述する）。このワールド座標系をＷとする。また、ワールド座標系で定義される点Ｐ（ｘ，ｙ，ｚ）を、ステレオアダプタ１０１を介して撮影した際のフレームメモリ１０３Ａ内の画像位置を（ｕ，ｖ）とするとき、実際には、図６の（Ａ）に示すようにステレオアダプタ１０１で撮影される画像は、図６の（Ｂ）に示すように、あたかも２台の撮像装置（カメラ）で２台のフレームメモリが存在するかのごとく通常のステレオカメラに展開することができる。例えば、ステレオアダプタ１０１と撮像装置１０２とフレームメモリ１０３Ａの光学的特性をピンホールカメラでモデル化することを考える。
【００４７】
即ち、左画像２０３に関連するピンホールカメラモデルの座標系を左カメラ座標系Ｌとし、右画像２０４に関連するピンホールカメラモデルの座標系を右カメラ座標系Ｒとする。また、左カメラ座標系Ｌ内の点を（ｘ^Ｌ，ｙ^Ｌ，ｚ^Ｌ）、その画像対応点を（ｕ^Ｌ，ｖ^Ｌ）、右カメラ座標系Ｒ内の点を（ｘ^Ｒ，ｙ^Ｒ，ｚ^Ｒ）、その画像対応点を（ｕ^Ｒ，ｖ^Ｒ）とすると、ｕ^Ｌ，ｖ^Ｌ，ｕ^Ｒ，ｖ^Ｒは、図６の（Ａ）及び（Ｂ）におけるカメラ位置Ｃ_Ｌ，Ｃ_Ｒを考慮しながら、
【数１】

（２） レクティフィケーション処理部１０３Ｂ
ワールド座標系で定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕ^Ｌ，ｖ^Ｌ）、右画像内での位置を（ｕ^Ｒ，ｖ^Ｒ）とし、左画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する左カメラＬのワールド座標系における位置Ｃ_Ｌ（左カメラ座標系の原点）と、右画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する右カメラＲのワールド座標系における位置Ｃ_Ｒ（右カメラ座標系の原点）を考えることができる。このとき、ワールド座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕ^Ｌ，ｖ^Ｌ）へ射影される変換式と、同一の点から右（ｕ^Ｒ，ｖ^Ｒ）へ射影される変換式は、以下のように書くことができる。
【００４８】
【数２】

【００４９】
一方、撮像装置１０２の撮像光学系１０２Ａの光学レンズなどのレンズディストーションが三次元計測の要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）及び式（４）は、以下に示すような式（５）及び式（６）で表現することができる。これらの式では、レンズディストーションを表現するのにラディアルディストーション（Radial Distortion）とタンジェンシャルディストーション（Tangential Distortion）を表したものであるが、勿論これら以外のディストーション表現であっても良い。
【００５０】
【数３】

【００５１】
【数４】

【００５２】
以降、説明を簡単にするために、式（１）で表されるピンホールカメラモデルを中心に説明する。
【００５３】
上記のように、左カメラＬと右カメラＲに基づいてワールド座標系Ｗ内の点Ｐ（ｘ，ｙ，ｚ）とその左画像と右画像への射影点（ｕ^Ｌ，ｖ^Ｌ）と（ｕ^Ｒ，ｖ^Ｒ）を考えるが、一般的なステレオカメラシステムと同様に、これらの対応する点同士が、必ずしも同一の縦方向の座標値ｖを有するとは限らない。即ち、ｖ^Ｌ＝ｖ^Ｒであるとは限らないわけである。この条件が成立しないと、後述する三次元再構成部１０３Ｃでのステレオマッチング（対応点探索）に膨大な計算量を有することになる。従って、例えば文献E. Trucco and A. Verri, Introductory Techniques for 3-D Computer Vision, Prentice Hall, 1998に述べられているように、レクティフィケーションの処理を行うのが一般的である。具体的には、図７に示されるように、ステレオアダプタ１０１で得られる１枚の画像中の左画像領域と右画像領域で、左画像領域にある各画素（ｕ^Ｌ，ｖ^Ｌ）の右画像領域における対応点が、同一の縦画像座標となるように、左画像領域と右画像領域の両方を座標変換する。例えばその方法は、以下のように書くことができる。
【００５４】
【数５】

【００５５】
【数６】

【００５６】
【数７】

【００５７】
【数８】

【００５８】
【数９】

【００５９】
【数１０】

【００６０】
このように、回転変換を考えることにより、レクティフィケーションを実現することができる。
【００６１】
【数１１】

【００６２】
［レクティフィケーション処理ステップ］
具体的なステップは、以下の通りである。
【００６３】
【数１２】

【００６４】
【数１３】

【００６５】
ここではレクティフィケーション処理の一手法を説明したが、勿論この方法には各種の手法がある。その変形に関しては文献E. Trucco and A. Verri, Introductory Techniques for 3-D Computer Vision, Prentice Hall, 1998に示されているので、ここでは詳しく述べない。また本説明では、レンズのディストーションが小さいとしてレクティフィケーション処理を説明してきたが、式（５）や式（６）で示されるようなレンズディストーションがある場合には、それらを予め除去してレクティフィケーション処理をすることができることは明白である。例えば、レンズディストーション除去を含めた処理を考えると、具体的なステップは以下の通りである。
【００６６】
［ディストーション除去を含むレクティフィケーションステップ］
【数１４】

【００６７】
【数１５】

【００６８】
以上、レクティフィケーション処理の数学的基本を説明してきたが、図５におけるレクティフィケーション処理部１０３Ｂでは、このような数学的手法に基づいて、ステレオアダプタ１０１と撮像装置１０２で撮影された画像を左右の画像である左画像２０３と右画像２０４を生成する機能を有する。
【００６９】
（３） 三次元再構成部１０３Ｃ
三次元再構成部１０３Ｃでは、上記レクティフィケーション処理部１０３Ｂが生成した左画像２０３および右画像２０４を利用して、左画像２０３の各画素点に対応する右画像２０４の対応点を探索し、その対応点間の関係に基づいて、三次元距離画像２０５を生成する機能を有する。
【００７０】
ここでは、その方法を説明する。先に説明したように、レクティフィケーション処理部１０３Ｂからの出力である画像では、左画像２０３の各ラインと右画像２０４の同一ラインを扱うとき、左画像２０３のそのライン上の画素に対応する点は、右画像２０４の同一ライン上になければならないという必要条件を与えるものである。この必要条件は、一般的に、エピポーラライン拘束条件と呼ばれる。この三次元再構成部１０３Ｃでは、この条件を利用しながら左画像２０３の各画素点に対応する右画像２０４内の画素点を探索することをまず行う。
【００７１】
これらの手法に関しては、参考文献：松山他編、コンピュータビジョン：技術評論と将来展望、新技術コミュニケーションズ、1998, pp. 123-137に表されるように、いわゆるステレオマッチングの手法では、area-based matchingの手法とfeature-based matchingの両方の手法が考えられる。本三次元再構成部１０３Ｃでは、この何れを利用しても良い。ここでは、簡単のために、area-based matchingの手法を採用して三次元再構成を行う方法について解説する。
【００７２】
【数１６】

【００７３】
類似度（あるいは非類似度）の定義としては、１）局所領域（ウィンドウ）内の各画素間の差の絶対値の和（ＳＡＤ）、２）局所領域内の各画素間の差の２乗和（ＳＳＤ）、３）局所領域内の各画素間の正規化相関（ＮＣＣ）などがあり、ＳＡＤあるいはＳＳＤの場合には、その値を最小とするもの、ＮＣＣの場合には正規化相関を最大とするものによって、最適な対応点とするわけである。
【００７４】
【数１７】

【００７５】
【数１８】

【００７６】
というようにすることも可能である。このように信頼度を考慮する場合には、勿論、未対応点を有する画素が左画像２０３あるいは右画像２０４に存在することもあり得る。
【００７７】
【数１９】

【００７８】
【数２０】

【００７９】
このようにして三次元再構成部１０３Ｃでは、左画像２０３の画素に対応する三次元座標値（ｘ，ｙ，ｚ）を計算することができる。ここで、（ｘ，ｙ，ｚ）は、レクティフィケーション処理で利用したレクティフィケーション座標系Ｒｅｃｔを基準とした三次元座標値である。
【００８０】
今までの説明では、左画像２０３の各画素を標準として対応点探索と三次元再構成を行ってきたが、勿論、右画像２０４を標準として対応点探索と三次元再構成を行うことも容易である。また、車両３００の振動等により画像のぶれが生じる影響が大のときには、手ぶれ防止機能を付加して、画像のぶれ補正を行った後に、三次元再構成を行うことが考えられる。このために、振動を検知するジャイロセンサや加速度センサを付加する。この場合には、手ぶれ補正機能により、キャリブレーション時の光学中心情報が変動することが想定される。しかし、そのずれ量は、上記ジャイロセンサや加速度センサの手ぶれ補正情報から算出できる量であるので、そのずれ量分をレクティフィケーション処理部１０３Ｂで補正をかけることが可能である。または、ステレオアダプタ１０１装着時の画像フレームの変動量等を検知することにより、ジャイロセンサ、加速度センサ等の補正量に相当する情報を取得することも可能である。
【００８１】
図１０の（Ａ）及び（Ｂ）は、このようにして算出された距離画像を示したものである。即ち、図１０の（Ａ）は撮影された画像であり、図１０の（Ｂ）はその画像から距離を算出した結果を示す図であって、輝度が高いほど距離が近いことを示す。
【００８２】
このようにして、三次元再構成部１０３Ｃは、三次元座標値（ｘ，ｙ，ｚ）から構成される三次元距離画像２０５を生成する。この三次元距離画像２０５は、次に物体認識部１０３Ｄに送出される。また、物体認識部１０３Ｄが、視差画像を直接利用する場合には、三次元距離画像２０５の代わりに視差画像を送出しても良い。
【００８３】
（４） 物体認識部１０３Ｄ
三次元距離画像２０５が、三次元再構成部１０３Ｃで生成された後、物体認識部１０３Ｄは、その三次元距離画像２０５内に含まれる各種物体を検出あるいは認識する。図１１は、前方車載カメラに対する物体認識部１０３Ｄの構成例を表したものである。
【００８４】
この物体認識部１０３Ｄは、例えば車が道路上を走行している場合に、車前方にある道路領域２１０と非道路領域２１１を抽出する道路抽出部１０３Ｄ１、道路領域２１０内から道路面にある二次元物体を抽出する道路面内物体抽出部１０３Ｄ２、及び、三次元距離画像２０５内から抽出された道路領域２１０と非道路領域２１１とを利用して、道路面にない障害物物体を認識する障害物認識部１０３Ｄ３から構成され、そして、道路面内物体抽出部１０３Ｄ２から物体データ２０６Ａを出力し、障害物認識部１０３Ｄ３から物体データ２０６Ｂを出力するものである。
【００８５】
いま、三次元再構成部１０３Ｃが出力した三次元点の集合をＡ_ａｌｌとする。このとき、道路抽出部１０３Ｄ１では、まず車前方にある領域の一部を抽出し、その中から滑らかな平面あるいは曲面を抽出する。この方法としては、例えば三次元距離画像２０５の各三次元座標値ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）について、その近傍の値を求めて法線ベクトルｎ_ｉを推定する。そして、その法線ベクトルｎ_ｉのヒストグラムを作成し、そのヒストグラム中のピークとなる主法線ベクトルｎを求める。このようにして求めた主法線ベクトルｎが道路面の主法線ベクトルであると仮定する。このように主法線ベクトルｎが求まったところで、ｎを法線とするような三次元座標点ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）を三次元距離画像２０５を構成する全データの集合Ａ_ａｌｌから選択する。即ち、各三次元座標ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）に対して、
ｎ^ｔｐ_ｉ＝ｄ …（２７）
で平面を近似し、その中の未知パラメータｄを異常値を除去しながら推定する方法を採用する。このようにしてｎとｄを推定した後、各点ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）がこの道路を記述する平面内にあるかどうかを判定することになる。その判定方法としては、フィッティング誤差であるεが
ε＝｜ｎ^ｔｐ_ｉ−ｄ｜＜threshold …（２８）
なる閾値thresholdの範囲にあるものは、道路面内にあると判定する。このようにして得られた三次元点の集合をＡ_ｒｏａｄとする。またＡ_ｒｏａｄの集合にノイズ成分が含まれている場合には、適切なノイズフィルタを適用してノイズ除去した道路面内の点の集合をＡ_ｒｏａｄと再定義する。
【００８６】
道路面内物体抽出部１０３Ｄ２では、道路面内の点集合Ａ_ｒｏａｄの中から、道路の特徴として重要となるランドマークなどを抽出する。これらランドマークとしては、白線などのレーン情報、レーン内にある各種文字コードなどである。これらを認識するために、まず道路面内物体抽出部１０３Ｄ２では、点集合Ａ_ｒｏａｄに対応するレクティフィケーションが施された左画像２０３あるいは右画像２０４からレーンや文字コードに対応する画像特徴を抽出する。この方法については、例えば塙他、自動車用ステレオ画像認識装置の実用化、第３回動画像処理実利用化ワークショップ, 2002, pp.106-110、または、大塚他、エッジ方向成分を用いたレーンマーク認識、第３回動画像処理実利用化ワークショップ, 2002, pp.96-101などに紹介されているので、その方法の詳細についてはここでは詳しく述べない。ただし、本方式では、最初に道路面が三次元構造として抽出されているので、道路面以外にあるレーンに似た画像特徴や文字コードなどを誤って抽出する確率が少なくなっていることが特徴である。そして、このように画像から抽出された道路特徴（白線や文字コードなど）は、その特徴とともに三次元データとして表現できるというメリットがあるわけである。このことについては後述する。
【００８７】
次にＡ_ｒｏａｄの補集合として、非道路領域の点の集合を
【数２１】

として定義する。この非道路領域Ａ_{ｎｏｎ−ｒｏａｄ}に対して処理を施して、障害物などの物体認識をするのが障害物認識部１０３Ｄ３である。障害物認識部１０３Ｄ３では、非道路領域２１１以外の障害物を三次元点群データにより解析する。具体的には、Ａ_{ｎｏｎ−ｒｏａｄ}内の三次元データをクラスタ分析することにより解析することになる。この方法には、以下のような方法がある。
【００８８】
まず、非道路領域２１１内の点集合Ａ_{ｎｏｎ−ｒｏａｄ}を細かく分割して、小領域の部分集合群｛Ｂ_ｉ｝
【数２２】

を構成する。これは、例えば画像処理で良く用いられるｂｌｏｂの形で構成されるわけである。例えば、図１２の（Ａ）に示されるように、画像処理で良く用いられるｂｌｏｂ群で構成される。図１２の（Ａ）において、距離に基づいて抽出された領域であるＢ_ｉが、領域ｂｌｏｂ群２１２として表現され、同一の濃淡レベルは距離を表すとすると、本来は同一物体内の領域が、図に示す通り、分割される可能性があるわけである。
【００８９】
そこで、この部分集合Ｂ_ｉの属性情報を算出する。この属性情報としては、例えば、位置、色、グレー階調などである。これらの属性パラメータをベクトルの形ｑ_ｉで表現する（ここでｉは領域に関するインデックスであり、ｑ_ｉはｍ次元ベクトルである。）そしてこの属性に関しては、その平均値と分布の広がりを表す共分散行列も付与することにする。例えば、Ｂ_ｉの属性の中の位置に関する平均値は重心となり、その共分散行列は位置に関する２次モーメント（moment of inertia）となるわけである。このとき、これら小領域Ｂ_ｉと小領域Ｂ_ｊが統合できるかを、
【数２３】

このようにして、いったん小領域に分割した後、領域の統合処理や膨張処理を行うことで、道路面内に無い物体を領域として分離しかつ分類することができるわけである。こうして得られた領域は、その領域の属性が物体データとして送出される。図１２の（Ａ）で統合された領域を、図１２の（Ｂ）に示す。この図１２の（Ｂ）において、参照番号２１３は、統合された領域ｂｌｏｂ群で物体を構成した場合を示している。
【００９０】
（５） キャリブレーション部１０３Ｅ
キャリブレーション部１０３Ｅは、レクティフィケーション処理部１０３Ｂ、三次元再構成部１０３Ｃ、物体認識部１０３Ｄで必要となる各種パラメータを主にオフラインで推定する処理部である。即ち、ステレオアダプタ１０１を車両３００などに最初に設置したり、その設置位置を変更した際にのみ行う処理を担当する。
【００９１】
【数２４】

【００９２】
一方、三次元再構成部１０３Ｃで使用される式（２４），式（２５），式（２６）で使用される各種固定パラメータも、本キャリブレーション部１０３Ｅで算出される。
【００９３】
また、物体認識部１０３Ｄで使用されるパラメータとしては、車体とステレオアダプタ１０１との位置関係に関するパラメータがある。即ち、物体認識部１０３Ｄで、撮像装置座標系に基づいて計測あるいは認識された物体や障害物の位置は、以下に述べる位置関係に関するキャリブレーション結果に基づいて、車両３００からの距離や相対的な位置として算出することができるようになる。つまり、レクティフィケーション処理部１０３Ｂで説明したワールド座標系と車両３００が規定する座標系を同一なものにするように、撮像装置１０２と車両３００間の位置関係を規定するものである。こうしたパラメータの算出は、以下のような方法を採用すれば良い。即ち、ステレオアダプタ１０１を介して撮像装置１０２で撮影された画像を処理するわけである。つまり、車体あるいは車体外にある車体に対して相対的な場所が既知な特徴点を撮像装置１０２で撮影することにより、撮像装置１０２と車体との相対的な位置関係を推定するものである。
【００９４】
ステレオアダプタ１０１などのステレオ撮影装置を利用して、車体（車両３００）に相対する障害物や物体を認識および位置姿勢推定を正確に行うためには、ステレオ撮影装置の車体（車両３００）に対する相対的な位置姿勢を正確に行う必要がある。
【００９５】
これを行う方法としては、車両３００と撮像装置１０２の取り付け設計値に基づく方法が最も容易であることは明白である。即ち、車両３００の基準座標系と撮像装置１０２が規定する座標系間の座標変換パラメータが設計値で与えられれば良い。この理想的な場合に、例えば、車両３００の最前方のバンパ中央を車両３００の基準座標系として、この座標系をＭ（ｘ^Ｍ，ｙ^Ｍ，ｚ^Ｍ）で表し、撮像装置１０２の座標系（ステレオ撮影装置の場合には、レクティフィケーションで基準となる座標系）をＳ（ｘ^Ｓ，ｙ^Ｓ，ｚ^Ｓ）で表すとすれば、撮像装置座標系Ｓから車両基準座標系Ｍへの座標変換を式：
【数２５】

で表すことが可能となる。ここで（_ＭＲ_Ｓ，_ＭＴ_Ｓ）は３×３の回転行列と三次元並進ベクトルを表す。このような座標変換が求まれば、撮像装置１０２の座標系Ｓで計測されたデータは、車両３００が基準とする座標系Ｍでの表現が可能となるので、例えば、撮像装置１０２を基準として計測した障害物までの距離情報に関しても、同様に車両３００が基準とする座標系の原点から障害物までの距離として表現することができるわけである。即ち、障害物が撮像装置１０２の座標系で（ｘ^Ｓ，ｙ^Ｓ，ｚ^Ｓ）と表されれば、式（３２）を利用することで車両座標系での位置（ｘ^Ｍ，ｙ^Ｍ，ｚ^Ｍ）にすることが可能となり、例えば車両座標系Ｍの原点から障害物までの距離は、
【数２６】

と表現できるわけで、これらを利用すれば、処理装置１０３内で先に説明されたような各種の距離表現や警告に利用することができるわけである。
【００９６】
しかしながら、撮像装置１０２を車両３００に正確に取り付ける設計値が得られている場合には、上記のような方法を採用することができるが、車両３００に任意に取り付ける場合や、設計値が必ずしも正確ではない場合には、正確なキャリブレーション処理を施す必要がある。このように、撮像装置１０２の取り付けの設計値が正確に与えられない場合のキャリブレーション処理について、これから説明する。
【００９７】
具体的には、これらを求める方法としては、図１３の（Ａ）に参照番号２１４，２１５，２１６で示すように、（１）車両３００に関するＣＡＤモデルを利用する方法、（２）特別なキャリブレーション治具を車両３００に簡易的に取り付ける方法、（３）車両３００を正確な位置に駐車して路上に配置されたキャリブレーションマーカを利用する方法が考えられる。
【００９８】
例えば、車両３００のＣＡＤモデルを利用する場合について、図１３の（Ａ）を参照して解説する。
【００９９】
図１３の（Ａ）において、特徴抽出部１０３Ｅ１において、ステレオアダプタカメラ１１６で撮影された後レクティフィケーション処理を行ったステレオ画像２１７を画像処理して、キャリブレーションに必要な特徴データを抽出および算出する。その後、位置姿勢推定部１０３Ｅ２により、この特徴抽出部１０３Ｅ１が出力する特徴データ２１８と車両ＣＡＤモデル２１４とを用いて、撮像装置１０２と車両３００間の相対的位置姿勢を推定する。そして、この位置姿勢推定部１０３Ｅ２は、その推定した撮像装置１０２と車両３００間の相対的位置姿勢情報を、式（３２）で表現されるような座標変換パラメータ２１９として算出することになる。
【０１００】
本形態では、車両ＣＡＤモデル２１４を利用する方法を説明するが、ここでは簡単のために、撮像装置１０２は車両３００の前方を観察するカメラであるとして、これからその方法を説明する。これは、図１３の（Ｂ）にあるように、車両ボンネットなど前部にある特徴点あるいはマーク点などを画像処理方法によって抽出および認識するわけである。この特徴点としては、曲面構成で曲率が急に変化する点、ヘッドランプ上部のエッジ部、あるいは曲線や直線成分であっても良い。これらは、車両ＣＡＤモデル２１４から車両座標系で規定された正確な位置座標が予めわかっているわけである。いま、これらｎ個の特徴点の車両座標系Ｍでの座標値を
【数２７】

また、直線や曲線などの場合には、例えば文献A. Kosaka and A. C. Kak, Stereo vision for industrial applications, Handbook of Industrial Robotics, Second Edition, edited by S. Nof, Chapter 14, John Wiley, 1999のような方法で画像内からそれらを抽出して、線分あるいは曲線分として表現できる形で抽出する。こうして、左画像２０３あるいは右画像２０４から得られた特徴点は、その画像内位置座標が特徴データ２１８として表現されることになる。
【０１０１】
【数２８】

【０１０２】
例えば文献：A. Kosaka and A. C. Kak, Stereo vision for industrial applications, Handbook of Industrial Robotics, Second Edition, edited by S. Nof, Chapter 14, John Wiley, 1999、あるいは文献：R. Haralick and L. Shapiro. "Computer and Robot Vision ", Addison Wesley, Vol 2, 1992の方法で、撮像装置１０２の座標系Ｓと車両座標系Ｍの間の座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を求めることができる。この作業は、位置姿勢推定部１０３Ｅ２が担当する。その方法に関しては、上記の文献に詳しく説明されているので、ここでは詳細には述べない。
【０１０３】
一方、ステレオ画像２１７を撮影する撮像装置１０２の左画像２０３あるいは右画像２０４に車両３００の前方が撮影できないような場合には、車両３００にキャリブレーション治具を取り付けることで、同様に撮像装置１０２と車両３００間の座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を算出することができる。即ち、図１４に示すように、例えば車両３００の前方にキャリブレーション治具１１７を装着し、そのキャリブレーション治具１１７を、撮像装置１０２で撮影することで座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を算出するわけである。この際、キャリブレーション治具１１７には、キャリブレーション用のマーカ１１８が設置されており、その座標値は車両座標系Ｍで既知となるように設計されている。
【０１０４】
【数２９】

【０１０５】
【数３０】

【０１０６】
以上、説明してきたように、キャリブレーション部１０３Ｅは、撮像装置１０２に関わるキャリブレーションや、レクティフィケーションで必要となるパラメータの算出や、撮像装置１０２の座標系と車両３００が規定する座標系間のキャリブレーションなどを行う。
【０１０７】
以上のように、ソフトウェア処理によりキャリブレーションを行い、三次元再構成、即ち距離画像２０５を取得し、物体認識等の処理を行う。
【０１０８】
従って、この実施の形態には、本発明の効果のほかに、次のような特有の効果がある。
【０１０９】
ステレオアダプタ１０１は、単体の撮像素子１０２Ｂに像を結像するため、複数の撮像装置１０２を用いる場合に比べて同期を取る必要がなく、電気的な構成を簡略化できる。特に車載用途を考慮した場合には、撮像装置１０２の個数を減らすことができるため、消費電力を削減できると共に、撮像装置１０２の個数分の小型、軽量化を可能とすることができる。また、露出調整、ホワイトバランス、ＣＣＤやＣＭＯＳ素子ごとの特性の違いなどを考慮する必要なく、ステレオ画像２０１を得ることができる。
【０１１０】
また、次の効果も存在する。ワイドコンバージョンレンズ１０１Ｃは、広い画角を撮影する必要があり、一般に大口径となり、重量が重くなり、システム全体に占める体積も大きい。このワイドコンバージョンレンズ１０１Ｃ間に撮像装置１０２を配置することで、直線上に重量のある部材が配置されるため、この軸上付近に取り付け部を設けることで、重心を考慮した配置が可能になると共に、撮像装置１０２が突出することなく、小型の距離画像入力装置１００を実現することができる。
【０１１１】
なお、この実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１１２】
例えば、図１８の（Ａ）及び（Ｂ）に示すように、上記ワイドコンバージョンレンズ１０１Ｃと一次折り曲げミラー１０１Ａならびに二次折り曲げミラー１０１Ｂの代わりに、凹屈折面１０１Ｄ１、凸反射面１０１Ｄ２、凹反射面１０１Ｄ３、平面１０１Ｄ４からなるパワープリズム１０１Ｄを用いても良い。この場合は、ミラーの代わりに一体となった光学プリズムを用いるため、面間の関係が常に一定保たれ、衝撃等が加わった場合にも、面ごとの角度、間隔の変動が無く、距離画像２０５の算出で重要になる撮像装置１０２やステレオアダプタ１０１のパラメータの変動を抑制することができる。勿論、同様の効果を得られる面構成であれば、凹凸、曲率などは異なっていても構わない。
【０１１３】
パワープリズム１０１Ｄは、一体のプリズム・撮影装置保持具１０１Ｅに取り付けられている。撮像装置１０２もプリズム・撮影装置保持具１０１Ｅに取り付けられる。
【０１１４】
勿論、パワープリズム１０１Ｄではなく、単体のレンズとプリズムの組み合わせにより、同等の光学系を構成しても光学的には同等の効果が得られることはいうまでもない。
【０１１５】
また、図１や図４、図１８の（Ａ）及び（Ｂ）などに示すように、露出制御装置１２などはステレオアダプタ１０１の二次折り曲げミラー１０１Ｂの背面に配置することで、より省スペースなステレオアダプタとすることもできる。
【０１１６】
更に、制御装置１０４、測距レーダ１１０、照度センサ１１１、外部カメラ１１２、ＧＰＳ１１３、ＶＩＣＳ１１４、外部通信装置１１５、表示装置１０８、警告装置１０６、ハンドル，シフト，アクセルなどを含む運転装置１０７、物体認識装置１０５などを連携させることで、より高度な撮像と、状況に応じたロバストな距離画像計測を実現することができる。
【０１１７】
一例としては、露出制御装置１２は、制御装置１０４に接続され、制御装置１０４で算出される照度センサ１１１、ＧＰＳ１１３、時刻等のデータから算出される露出指示値の入力を受け、これらと撮像素子１０２Ｂからの輝度情報により、露出条件を設定するように構成されていても良い。
【０１１８】
［第２の実施の形態］
次に、本発明のステレオアダプタ１０１と距離画像入力装置１００の第２の実施の形態を説明する。
【０１１９】
本実施の形態は、光路延長光学系を用いたものである。
【０１２０】
第１の実施の形態と同様に、距離画像入力装置１００は、被写体４００を撮影する撮像装置１０２と、撮像装置１０２の先端に付けられるステレオアダプタ１０１と、被写体４００の距離画像２０５を計測する距離画像処理装置１０３とからなる。
【０１２１】
また、撮像装置１０２も第１の実施の形態と同様の構成からなる。
【０１２２】
撮像装置１０２には、ステレオアダプタ１０１が装着される。ステレオアダプタ１０１は、光路分割装置１１を有する。光路分割装置１１は、撮像装置１０２の撮像光学系１０２Ａの前に取り付けられる。光路分割装置１１は、図１９に示すように、離間して配置された一次折り曲げミラー１０１Ａと、負パワーレンズ群１０１Ｆ、正パワーレンズ群１０１Ｇ、二次折り曲げミラー１０１Ｂからなる。
【０１２３】
その他の構成は、上記第１の実施の形態と同様である。
【０１２４】
次に、本実施の形態の作用を述べる。
【０１２５】
ワイドコンバージョンレンズ１０１Ｃを通り、図１９に示すような光路分割装置１１の離間して配置された光束２，３を受光する一次折り曲げミラー１０１Ａにより反射された被写体像は、負パワーレンズ群１０１Ｆにより平行光束に近い形になり、次に配置された正パワーレンズ群１０１Ｇで復元された後に、撮像光学系１０２Ａ前に配置され、光束を撮像光学系１０２Ａに導くよう偏向する二次折り曲げミラー１０１Ｂにより撮像光学系１０２Ａに入射するように導かれる。
【０１２６】
これにより、撮像素子１０２Ｂに異なる２視点からの画像、即ちステレオ画像２０１を結像することができる。
【０１２７】
光路延長光学系の作用により、基線長を従来のステレオアダプタに比べて延長することが可能となる。
【０１２８】
また、撮像装置１０２の取り付け位置をワイドコンバージョンレンズ１０１Ｃの間にすることで、重量バランスに優れ、小型化したステレオアダプタ１０１を構成することが可能となる。
【０１２９】
車載用に積載することを考慮すると、特に室内の場合にはフロントウインド、サイドウインド、リアウインドの視野を妨げることなく設置することが必要となり、装置の基線長をミラー構成だけのステレオアダプタ１０１で行う場合に比べてより小さな投影面積になるように装置を構成することが必要となる。
【０１３０】
このとき、本実施の形態の構成をとることにより、一次光学系で広角に入射した光束を一次折り曲げミラーで折り曲げた後、光路延長光学系によりほぼ平行の光線として延伸することで基線長部分を伸ばし、二次折り曲げミラーに導き、撮像光学系１０２Ａで撮影することで、広角化や基線長を長くすることで大きくなるミラーサイズを抑制し、装置の投影面積を減少することができる。
【０１３１】
また、基線長が伸びた部分には、図１９に示すように距離画像処理装置１０３や露出制御装置１２を配置することも可能であり、トータルのスペースの減少に貢献できる。なお、図では露出制御装置１２を２つに分割しているが、一方だけで露出制御装置１２を配置できるのであれば、他方には他の装置を配置することも可能なことは勿論である。
【０１３２】
なお、本第２の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１３３】
例えば、凹，凸レンズ群（パワーレンズ群１０１Ｆ，１０１Ｇ）による光路延長光学系の代わりに、図２０に示すように、一次結像光学系１０１Ｈ、両端で相似の画像を伝送することができるイメージガイド１０１Ｉを有する光学系とし、一次結像光学系１０１Ｈの結像を、イメージガイド１０１Ｉの入射面に、イメージガイド１０１Ｉの出射面を撮像光学系１０２Ａで撮影するように構成しても良い。これにより、基線長をレンズの構成によらず自在に設置することが可能になると共に、位置関係を精密に規定すべき一次結像光学系連接部材１０１Ｊによって、複数の一次結像光学系１０１Ｈの位置と、一次結像光学系１０１Ｈとイメージガイド１０１Ｉの入射面との位置を規定し、また、二次結像光学系連接部材１０１Ｋにより、イメージガイド１０１Ｉの出射面と撮像光学系１０２Ａならびに撮像装置１０２の位置とを規定すれば良く、光路延長光学系の位置ずれや、ミラーの角度の変動などを考慮する必要がなくなるため、耐衝撃性、耐環境性に優れたステレオアダプタ１０１を提供することができる。
【０１３４】
また、レンズ系を用いずに、第一折り曲げミラー１０１Ａを凸面に、第２折り曲げミラー１０１Ｂを凹面で構成することによっても上記光路延長光学系を用いた場合と同様の効果を得ることができる。
【０１３５】
また、光路延長光学系として結像をリレーするリレー光学系を用いても良い。
【０１３６】
距離画像の算出については、上記第１の実施例と同様である。
【０１３７】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。
【０１３８】
この実施の形態は、シリンドリカルレンズを用いたものである。
【０１３９】
上記第１及び第２の実施の形態と同様の部分に関しては割愛する。
【０１４０】
ステレオアダプタ１０１については、第１、第２の実施の形態に準拠する。本実施の形態に係るステレオアダプタ１０１は、図２１の（Ａ）に示すように、ステレオアダプタ１０１の出射位置、即ち撮像装置１０２の撮像光学系１０２Ａの前面に、撮像素子１０２Ｂの垂直走査方向に合わせた方向に曲率を持ち、正のパワーを持つシリンドリカルレンズ１０１Ｌを有している。
【０１４１】
また、本実施の形態に係る距離画像入力装置１００では、距離画像処理装置１０３が上記第１の実施の形態で説明した構成に加え、インターレース補間処理装置１８を有している。
【０１４２】
次に、本実施の形態の作用を説明する。
図２１の（Ｂ）に示すように、通常のステレオアダプタ１０１による結像は、上下方向にけられが生じているが、被写体像の縦横比は変化しない。一方、本実施の形態の被写体像は、図２１の（Ｃ）に示すように、縦方向に拡大された画像となる。
【０１４３】
このステレオ（ビデオ）画像２０１は、フレームメモリ１３に入力され、インターレース補間処理装置１８に入力、処理された後、レクティフィケーション装置１４による左右画像２０３，２０４の切り出しとレクティフィケーション処理を実施されて、左右画像２０３，２０４のマッチングが距離算出装置１５で行われる。
【０１４４】
インターレース補間処理装置１８は、インターレースボケを補間処理して取り除く。
【０１４５】
インターレースボケは、インターレーススキャン方式の撮像素子を用いた撮像装置１０２を用いた場合、フィールド間の時差により、動きのある被写体がずれて撮影されて、すだれ状にボケてしまうことを指す。
【０１４６】
これを防ぐために、フィールドごとの画像とすると、垂直走査方向の解像度が１／２になってしまう。
【０１４７】
本実施の形態では、シリンドリカルレンズ１０１Ｌにより、光学的に縦方向に２倍以上に拡大して撮像することで、同一画角に対して２倍以上の走査線数で撮影することを可能とし、走査線間引き処理などでインターレースボケを除去しても、シリンドリカルレンズ１０１Ｌを用いない元のフレーム画像と同等の解像度を持ったステレオ画像２０１を撮影することを可能とする。
【０１４８】
この処理により、ステレオ画像２０１のマッチングに用いる情報量を減らすことなくインターレースボケが有ったとしても良好な距離画像２０５を算出することが可能となる。
【０１４９】
なお、この実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１５０】
例えば、図２２の（Ａ）に斜視図を、（Ｂ）に２面図を示すように、ステレオアダプタ１０１の先端に、負のパワーを上記シリンドリカルレンズ１０１Ｌと同じ方向に持つ視野拡大用シリンドリカルレンズ１０１Ｍを設けても良い。この場合、この視野拡大用シリンドリカルレンズ１０１Ｍにより、縦方向が圧縮されて光路が伝送されるため、ステレオアダプタ１０１の厚さを薄くすることが可能となる。シリンドリカルレンズ１０１Ｌと視野拡大用シリンドリカルレンズ１０１Ｍのパワーは前者のほうが大きい場合はインターレースボケの解消に、後者が大きい場合は視野拡大に効果的である。
【０１５１】
勿論、ワイドコンバージョンレンズ１０１Ｃを用いても、縦画角に関しては同様の効果を得ることができる。
【０１５２】
［第４の実施の形態］
次に、第４の実施の形態について説明する。
【０１５３】
第１乃至第３の実施の形態と共通の部分は割愛する。
【０１５４】
図２３の（Ａ）に示すように、画面を上下に２分割し、片側には、光路延長手段１０１Ｎを介して、ワイドコンバージョンレンズ１０１Ｃを有し、他方の側には、一次折り曲げミラー１０１Ａと二次折り曲げミラー１０１Ｂからなる光路分割装置１１を有する。なお、光路分割装置１１と光路延長手段１０１Ｎとの間には、遮光板１０１Ｏを設けても良い。
【０１５５】
光路延長手段１０１Ｎは、２枚のミラー（一次偏向ミラー１０１Ｎ１，二次偏向ミラー１０１Ｎ２）からなり、ワイドコンバージョンレンズ１０１Ｃを光路分割装置１１の視野を妨げない位置に配置すると共に、視野の反転を防ぐ。
【０１５６】
また、一次偏向ミラー１０１Ｎ１の角度により、ワイドコンバージョンレンズ１０１Ｃの光軸１０１Ｃ１が上下分割された視野の画角の中央になるように傾けて配置されると共に、光軸方向を光路分割装置１１による分割された視野の画角のほぼ中央の光線４に平行になるように配置する。
【０１５７】
光路分割装置他の光学系は、上記第１乃至第３の実施の形態と同様に構成される。
【０１５８】
次に、本第４の実施の形態の作用を説明する。
ワイドコンバージョンレンズ１０１Ｃを透過した被写体４００からの光束５は、一次偏向ミラー１０１Ｎ１で反射され、二次偏向ミラー１０１Ｎ２に入射する。二次偏向ミラー１０１Ｎ２は、上下に分割された撮像光学系１０２Ａの画角の半分の領域に被写体４００からの光束５を入射し、図２３の（Ｂ）に示すように、画像の略半分の領域（上側領域）に、広角の二次元画像を結像する。
【０１５９】
また、光路分割装置１１からの光束２，３は、ワイドコンバージョンレンズ１０１Ｃの光束とは異なる画像の略半分の領域（下側領域）にステレオ画像２０１を結像する。
【０１６０】
以上の構成により、広い視野範囲を持つ二次元画像と、距離画像を算出することのできるステレオ画像２０１とが、同期して１枚の撮像素子１０２Ｂ上に結像し撮影される。
【０１６１】
なお、本実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１６２】
例えば、ワイドコンバージョンレンズ１０１Ｃの光軸が、上下方向に分割した撮像光学系１０２Ａの光軸１０２Ａ１の延長線上に略一致するように設置されると共に、光束の通らない略下方半分を切り欠いた形状とすることで、光軸ずれによる（特に非点収差や歪曲収差）の悪化を抑制し、レクティフィケーション処理の処理量の低減を図っても良い。
【０１６３】
このような変形例においては、ワイドコンバージョンレンズ１０１Ｃの質量とサイズを小さくすることも可能であり、より小型軽量な距離画像入力装置１００を得ることができる。
【０１６４】
また、これら光路分割装置１１、光路延長手段１０１Ｎ、撮像装置１０２を内蔵する筐体内に、距離画像処理装置１０３や露出制御装置１２も内蔵しても良く、また、図２４に示すように、外付けであってもかまわない。
【０１６５】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１６６】
以上の第１乃至第４の各実施の形態のステレオアダプタ１０１及び距離画像入力装置１００は、撮像装置１０２の個数が少なく、また、広角の画像を長い基線長１５０ｍｍから５００ｍｍ程度にしてもコンパクトに実現可能である。この基線長長さは撮像装置１０２が対角画角５０度から６０度程度で、６４０×４８０画素のＶＧＡサイズ相当の場合に、数メートルから数十メートルの被写体４００の距離画像２０５を入力するのに好適な基線長である。これは、車載用途に用いることを可能とし、例えば、図２３や図２４に示すように、車両の天井３０１にフロントガラス３０２を通して撮像するようルームミラー３０３が装着される位置に、各実施の形態に記載したような距離画像入力装置１００を装着し、ルームミラー３０３自体は距離画像入力装置１００に対してピボット３０４等で位置変更可能に取り付けることもできる。
【０１６７】
また、撮像装置１０２の個数が少なくて済み、消費電力を小さく抑え、また電気回路規模を小さくできるため省電力化が可能であると共に、図２の（Ａ）に示したような複数の撮像装置１０２の撮像素子１０２Ｂ間での特に同期の問題を考慮する必要なくステレオ画像２０１が得られる。また、複数の撮像装置１０２で入力した画像を伝送する過程で異なるノイズがのり易いという問題についても単一カメラで視差画像撮像が実施できるため解決可能である。また、対ノイズシールドケーブルなどを半数に減らせることから、車内の限られたハーネス取りまわし領域を節約し、伝送系の軽量化にも効果があることは特に車載用とに於いて好適である。
【０１６８】
また、左右に分割するステレオアダプタ１０１について説明してきたが、図２５の（Ａ）に示すように、ミラー１０１Ａ，１０１Ｂを傾けて配置し、左右方向だけでなく、上下方向にも互い違いに光束を折り曲げるように構成することで、左右視差でありながら上下に画面を分割する光学系を用いて、各実施の形態に記載のステレオアダプタ１０１を実現しても良い。
【０１６９】
この場合に撮影されるステレオ画像２０１は、図２５の（Ｂ）に示す形になる。
【０１７０】
また、図４のワイドコンバージョンレンズ１０１Ｃを防塵保護フィルタに変更する、あるいはワイドコンバージョンレンズ１０１Ｃの前面に防塵保護フィルタを配設するなどして、ステレオアダプタ自体を防塵防滴性を持たせても良い。このようにすることで、車外への設置や、クリーニングの簡便性を向上することができ、より信頼性の高い距離画像２０５の入力を実現することが可能となる。
【０１７１】
なお、以上の第１乃至第４の実施の形態に於いて、図４の（Ｂ）のようにＷ字型のミラー配置をした場合には、図３または図４の（Ａ）に示したアダプタと比べ、左右視野が入れ替わった形のステレオ画像２０１が得られるため、視野反転装置（図示しない）を距離画像処理装置１０３に設け、左画像２０３と右画像２０４とを入れ替える処理を実施しても良い。勿論、視野反転装置を設ける代わりに、距離算出装置１５内のアルゴリズムの変更により、視差計算の手法を変更して対処するようにしても同様の効果が得られることは言うまでもない。
【０１７２】
また、上記レンズ、ミラー、フィルタの表面は、超親水処理コートを施しても良く、また、ステレオアダプタ１０１ならびに撮像光学系１０２Ａを気密処理し、乾燥窒素などを封入しても良い。
【０１７３】
さらに、ステレオアダプタ１０１の各光学素子にヒータを設けたり、車載の曇り止めデフロスタの気流を導くダクトや、独自に温風ヒータを一体化させるなどして、結露を防止したりしても良い。
【０１７４】
これにより、防露、防曇、水滴による結像性能の劣化を防ぐよう構成しても良い。
【０１７５】
また、冷却用のファンを設けたり、ステレオアダプタ１０１の筐体自体をヒートシンクとして用い、熱歪みや電子回路の誤動作を防ぐように構成しても良い。
【０１７６】
また、ステレオアダプタ１０１の光路に相当する部分は反射防止塗装を施すが、それ以外の部分は耐環境性を考慮して、赤外を反射するような塗装にしても良く、また、車種により問題となるフロントガラスなどへの映り込みを防ぐために、黒色塗装を施すようにしても良い。
【０１７７】
なお、以上の第１乃至第４の実施の形態に於いて、さらに撮像装置１０２は近赤外画像への切替え装置を持ち、車載の照度センサ１１１の輝度情報やＧＰＳ１１３の時刻情報、場所情報を参照して、切り替えるようにしても良い。さらには、上記夜間撮影の切り替えについては、ヘッドライトスイッチの切り替えに連動させるようにするなどの処置をしても良い。
【０１７８】
更に、撮像装置１０２の撮像素子１０２ＢにＣＣＤを用いると夜間の対向車ヘッドライトや、街路灯、前方車両のストップランプなどの高輝度の光源の影響でスミアが発生する。これを防ぐために、ＣＭＯＳなどの撮像素子１０２Ｂを採用しても良く、また、ＣＣＤにおいても高輝度光源の認識を行い、スミアの影響領域をセグメントし、距離画像２０５出力のエラーを防ぐように、視差算出のためのマッチング探索領域に含めないようにするよう処理を行っても良い。
【０１７９】
これらにより、夜間での距離画像入力をより良好に実施することが可能となる。
【０１８０】
また、撮像装置１０２の露出調整に於いて、図３に示すようにステレオアダプタ１０１による撮像画像（ステレオ画像２０１）に塗りつぶしで表現しているケラレ領域が存在する場合には、その領域の画面に占める割合、その領域の露出判定への寄与度を元に標準の撮影装置の露光調整より暗く写るように露出補正をしてステレオ画像２０１を撮影しても良い。これは、画面通常中央部の輝度から露出を算定するカメラに対し特に有効であり、さらには、露出の計測領域を任意に変更できる場合には、ケラレ領域以外の領域を測光することで露出決定するように撮影装置の露光調整を実施してもかまわない。
【０１８１】
さらに、晴天時や、明るい曇天などに於いては、画面上方、即ち、一般に空の領域になるようなる領域に関して、その領域の感度を落としたり、高ダイナミックレンジ（スーパーラチチュード）のアルゴリズムを調整したり、その部分に対して、透過率が下がるフィルタ（ＮＤフィルタ等）を挿入しても良く、また、ステレオ画像２０１の下方側を重点的に露光調整に用いるようにしても良い。
【０１８２】
このようにすることで、空の明るさの影響を受けずに、距離画像２０５を重点的に出力したい領域の撮影を良好に行うようにしても良い。
【０１８３】
また、走行車線の選択に応じて、得られたレーン情報や、ＧＰＳ１１３の情報などを元に、対向車線を認識し、その領域に対して、上記空の領域に対するのと同様の処理を行うことで、夜間の対向車ヘッドライトなどの影響を減じるように構成してももちろん構わない。
【０１８４】
また、ステレオアダプタ１０１を車載し、フロントガラスから撮影する際に、遮光部材を用いて、撮影する光束を妨げない形でステレオアダプタ前方の開口部とフロントガラス間を遮光し、外光により照らされたダッシュボードの写りこみや、室内光の写りこみなどを防いでも良い。また、その領域だけ、反射防止膜を十分に実施することはもちろん良い。
【０１８５】
さらに、フロントガラス前方には通常ワイパの有効領域ではない領域、例えば、フロントガラスの上方左右隅や、センタのルームミラー設置位置などにステレオアダプタ１０１を設置する場合には、別途ステレオアダプタ用にワイパを設け、ガラス面の水滴や汚れを定期的に除去するようにしても良い。その際、ワイパによる拭き取り時の画像は、距離画像算出には用いないようにしても良い。
【０１８６】
（付記）
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１８７】
（１） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取り付けるステレオアダプタであり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系と、
受光する光束を縮小する複数の縮小光学系と、
を具備し、
上記撮像装置は、上記複数の縮小光学系の間に設置されることを特徴とするステレオアダプタ。
【０１８８】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。ここで、上記撮影装置は、これらの実施の形態では撮像装置１０２が該当するが、ビデオカメラ、スチルカメラ、デジタルスチルカメラなども含む。また、縮小光学系とは、全体として負のパワーを持つレンズ群で構成された光学系であり、実施の形態では、ワイドコンバージョンレンズ１０１Ｃに相当する。
【０１８９】
（作用）
複数の縮小光学系により、広角に捉えられた被写体の光を、複数の受光する部位で受光し、撮像光学系に導光光学系で導き、複数の縮小光学系の間に設置した撮像装置により撮影する。
【０１９０】
（効果）
導光光学系により、被写体の像が縮小光学系の間に設置した撮像装置に導かれ、撮影されるので、大口径で、重量、サイズが大きくなる縮小光学系の間に撮像装置を設置できるのでステレオアダプタと撮像装置を含めた距離画像入力装置を小さく構成することができると共に、装置のモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０１９１】
（２） 上記導光光学系として、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記一次折り曲げミラーの前面に負のパワーを持つ上記縮小光学系は、上記導光光学系による光軸分割方向に光軸を一致するよう設置されることを特徴とする（１）に記載のステレオアダプタ。
【０１９２】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。
【０１９３】
（作用）
縮小光学系は、一次折り曲げ光学系と二次折り曲げ光学系により分割される光軸分割方向に合わせた方向に、光軸を合わせて設置される。
【０１９４】
（効果）
カメラの視野を分割して得られた視野の光軸分割方向に合わせて縮小光学系が設置されるので、角度偏心の影響を減らした光学系として設置することが可能になるため、諸収差を良好に補正することができる。
【０１９５】
（３） 上記縮小光学系は、パワープリズムの一部であり、上記導光光学系を兼ねた負パワーの屈折面、負パワーの反射面、正パワーの反射面、からなることを特徴とする（１）又は（２）に記載のステレオアダプタ。
【０１９６】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。
【０１９７】
（作用）
パワープリズムで構成された屈折反射面により縮小光学系として作用する。
【０１９８】
（効果）
各面が組み合わせミラー、レンズと異なり、単一のプリズムで構成されるため、振動、温度変化に強く、カメラに対する光学系の変化が小さなステレオアダプタを提供できる。
【０１９９】
（４） 上記ステレオアダプタは、上記パワープリズムを保持する一体の構造体を持ち、ここに、上記撮像装置が固定されていることを特徴とする（３）に記載のステレオアダプタ。
【０２００】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。
【０２０１】
（作用）
プリズムの保持が一体の構造体で構成され、そこに直接撮像装置が固定される。
【０２０２】
（効果） プリズムの保持部と、撮像装置の保持部が一体なので、機械的なずれが生じる部材が最小限であり、耐衝撃性、耐環境性が高いステレオアダプタが構成され、距離精度や、再構成のためのカメラパラメータがずれにくい距離画像入力装置を得ることができる。
【０２０３】
（５） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付け、同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を持つステレオアダプタにおいて、
上記導光光学系として、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記一次折り曲げミラーと二次折り曲げミラーとの間に光路延長手段を設けたことを特徴とするステレオアダプタ。
【０２０４】
（６） 上記光路延長手段は、リレーレンズ系であることを特徴とする（５）に記載のステレオアダプタ。
【０２０５】
（７） 上記光路延長手段は、少なくとも１枚のレンズから構成される負のパワーを持つ第１群と、少なくとも１枚のレンズから構成される正のパワーを持つ第２群と、から構成されることを特徴とする（６）に記載のステレオアダプタ。
【０２０６】
（対応する発明の実施の形態）
この発明に関する実施の形態は第２の実施の形態が対応する。
【０２０７】
（作用）
レンズ系により一次折り曲げミラーで折り曲げられた光束が負パワーの第１群により平行光束に変換され、所望の距離伝送された後に正パワーの第２群によりカメラに入射する光束に戻される。
【０２０８】
（効果）
所望の距離平行光束で伝送されるため、複数の視点間の基線長を延長してもミラーや光学系のサイズを大きくすることなく、ステレオアダプタを構成することができる。
【０２０９】
（８） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタであり、
複数の一次結像レンズと、
上記一次結合レンズと同数のイメージガイドと、
二次結像レンズと、
を具備し、
同一被写体からの光を所定距離離間した上記一次結像レンズで上記イメージガイドの一端に結像させ、
それら複数のイメージガイドの他端を束ね、
上記二次結像レンズで上記イメージガイド端を撮像することを特徴とするステレオアダプタ。
【０２１０】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０２１１】
（作用）
複数の一次結像レンズで結像した像はおのおののイメージガイドで伝送され、イメージガイドの他端に現れる。イメージガイドはここで束ねて配置されており、同一面上に像が表示される。この像を二次結像レンズで撮像する。
【０２１２】
（効果）
基線長を自在に設定し、かつ、複数の視点の画像を伝送する場合でも、視野制限が少ない形で複数視点のステレオ画像を得ることができ、ミラーの位置ずれもないため、耐衝撃性にも優れる。
【０２１３】
（９） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタであり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を具備し、
上記導光光学系は、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記一次折り曲げミラーは凸面で構成され、
上記二次折り曲げミラーは凹面で構成されることを特徴とするステレオアダプタ。
【０２１４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０２１５】
（作用）
一次折り曲げミラーで光束は平行光束に近くなり、二次折り曲げミラーで復元される。
【０２１６】
（効果）
一次折り曲げミラーと二次折り曲げミラーの間隔を延長することが可能となり、ミラーサイズを大きくすることなく、より長い基線長のステレオアダプタを提供することができる。
【０２１７】
（１０） 上記導光光学系として、凹屈折面、凸反射面、凹反射面を持つ屈曲光路パワープリズムを用いたことを特徴とする（９）に記載のステレオアダプタ。
【０２１８】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０２１９】
（作用） 凹屈折面と凸反射面で広い画角の光束を平行光束に近い形にし、凹反射面で復元する。
【０２２０】
（効果） 凸反射面と、凹反射面の間隔を延長することが可能となり、プリズムサイズを大きくすることなく、より長い基線長のステレオアダプタを提供することができる。
また、各屈折、反射面を一体で整形することが可能なので、位置ずれが生じず、耐衝撃性、耐環境性に優れたステレオアダプタを提供することができる。
【０２２１】
（１１） 上記一次折り曲げミラーと、二次折り曲げミラーが略Ｗ字型に配置され、
一次折り曲げミラーへの入射側に向けて、二次折り曲げミラーが光束を反射し、撮像装置で撮像するように構成されたことを特徴とする（２）乃至（７）、（９）、（１０）の何れかに記載のステレオアダプタ。
【０２２２】
（対応する実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３と、第４の実施の形態が対応する。
【０２２３】
（作用）
被写体の光を、複数の受光する部位で受光し、Ｗ字型に配置された一次折り曲げミラーで複数視点の中央方向に折り曲げた光束を、二次折り曲げミラーで一次折り曲げミラーの入射側に戻る方向に反射し、撮像光学系に入射して撮像装置で撮影する。
【０２２４】
（効果）
二次折り曲げミラーよりも大きい一次折り曲げミラーや、縮小光学系や、シリンドリカルレンズなどを先端に配置して、それらによって生じる空いた領域にカメラを設置できるので、ステレオアダプタとカメラを含めた距離画像入力装置を小さく構成することができるとともに、装置のモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０２２５】
（１２） （１）乃至（１１）の何れかに記載のステレオアダプタと、
上記ステレオアダプタが取り付けられた撮像装置と、
上記撮像装置で撮影したステレオ画像より三次元再構成を含む処理を行い、三次元距離情報を提供する距離画像処理装置と、
を具備することを特徴とする距離画像入力装置。
【０２２６】
（１３） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタを持つ距離画像入力装置であり、
上記ステレオアダプタは、同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を備え、
上記導光光学系は、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、上記撮像装置の撮像素子（例えばＣＣＤ）の垂直走査方向に正のパワーを持つシリンドリカルレンズを上記ステレオアダプタの出射部に備え、
更に、インターレース補間装置と距離画像演算装置とを具備することを特徴とする距離画像入力装置。
【０２２７】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第３の実施の形態が対応する。
【０２２８】
（作用）
ステレオアダプタからの光束が、シリンドリカルレンズで縦方向に伸ばされる。
【０２２９】
（効果）
縦画角に対して薄型のステレオアダプタを用いたときにも、撮像装置の画角を有効に用いることができるとともに、インタレース画像の補間処理を行った場合でも、実質解像度の低下を防ぐことができ、高精細な画像を得ることが可能となる。
【０２３０】
（１４） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタを持つ距離画像入力装置であり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を持ち、上記導光光学系は、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
一組の一次折り曲げ、二次折り曲げミラーでは、画角を上下に分割した略半分の領域に直視画像を結像し、一方は二組の一次折り曲げミラーと二次折り曲げミラーとでステレオ視することを特徴とする距離画像入力装置。
【０２３１】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２３２】
（作用）
第１の組の一次折り曲げミラーと二次折り曲げミラーにより、撮像光学系の半分の画角に直視の画像を導き、残り２組の一次折り曲げミラーと二次折り曲げミラーにより、左右の視野を持ったステレオ画像が撮像光学系に入射し、ステレオ視する。
【０２３３】
（効果）
上下に分割した視野で、片側は直視の画像が、片側は二視点からのステレオ画像が撮影できる。
【０２３４】
（１５） 直視側の光軸方向は、ステレオ視側の光軸方向に略一致するように、一次折り曲げミラー、二次折り曲げミラーの相対角度を撮像装置の縦画角の１／４以下の範囲に設定したことを特徴とする（１４）に記載の距離画像入力装置。
【０２３５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２３６】
（作用）
一次折り曲げミラーと二次折り曲げミラーがカメラの縦画角の１／４以下の範囲で平行な状態からずれて設置されてステレオ視側に傾いた方向の光束が、結像する。
【０２３７】
（効果）
直視とステレオ視の視野がほぼ一致して撮影可能になり、両者の画像の対応をとった画像を撮影することが可能となる。
【０２３８】
（１６） 上記直視側に縮小光学系を持つことを特徴とする（１４）又は（１５）に記載の距離画像入力装置。
【０２３９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２４０】
（作用）
直視側に縮小光学系により、広画角の二次元画像を撮影する。
【０２４１】
（効果）
ステレオアダプタで得られる距離画像の視野の狭さを補間する二次元画像を広画角で撮影することができる。
【０２４２】
（１７）上記縮小光学系はステレオ撮影側に光軸が有り、非対称の形状となっていることを特徴とする（１６）に記載の距離画像入力装置。
【０２４３】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２４４】
（作用）
縮小光学系の光軸が、撮像装置の光軸に近接して設置されるとともに、ステレオアダプタ側の光学系が非対称に切り取られている。
【０２４５】
（効果）
縮小光学系と撮像装置の光軸とが略一致することになり、諸収差の乱れを抑制すると共に、縮小光学系を切り欠いたため、光学系を小型軽量に提供することができる。また、上下の直視とステレオ視の視差を減少することができる。
【０２４６】
（１８） 上記一次折り曲げミラーと二次折り曲げミラーとが略Ｗ字型に配置され、
上記一次折り曲げミラーへの入射側に向けて、上記二次折り曲げミラーが光束を反射し、撮像装置で撮像するように構成されたことを特徴とする（１３）乃至（１７）の何れかに記載の距離画像入力装置。
【０２４７】
（対応する実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３と、第４の実施の形態が対応する。
【０２４８】
（作用）
被写体の光を、複数の受光する部位で受光し、Ｗ字型に配置された一次折り曲げミラーで複数視点の中央方向に折り曲げた光束を、二次折り曲げミラーで一次折り曲げミラーの入射側に戻る方向に反射し、撮像光学系に入射して撮像装置で撮影する。
【０２４９】
（効果）
二次折り曲げミラーよりも大きい一次折り曲げミラーや、縮小光学系や、シリンドリカルレンズなどを先端に配置して、それらによって生じる空いた領域にカメラを設置できるのでステレオアダプタとカメラを含めた距離画像入力装置を小さく構成することができると共に、装置のモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０２５０】
（１９） 左右の視野を入れ替える視野反転装置を更に具備することを特徴とする（１８）に記載の距離画像入力装置。
【０２５１】
（対応する実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３と、第４の実施の形態が対応する。
【０２５２】
（作用）
被写体の光を、複数の受光する部位で受光し、Ｗ字型に配置された１次折り曲げミラーで複数視点の中央方向に折り曲げた光束を、二次折り曲げミラーで一次折り曲げミラーの入射側に戻る方向に反射し、撮像光学系に入射して撮像装置で撮影する。撮像された画像の左右視野は、視野反転装置により、左右視野の位置処理をした上で距離画像処理を実施する。
【０２５３】
（効果）
従来の距離画像処理装置を用いたままで視差の反転を防ぎ、そのままの回路処理プログラム構成で距離画像を算出することができる。
【０２５４】
（２０） 撮像装置と、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系と、
上記撮像装置を挟んで配置された、受光する光束を縮小する複数の縮小光学系と、
を具備することを特徴とするステレオアダプタカメラ。
【０２５５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。ここで、上記撮影装置は、これらの実施の形態では撮像装置１０２が該当するが、ビデオカメラ、スチルカメラ、デジタルスチルカメラなども含む。また、縮小光学系とは、全体として負のパワーを持つレンズ群で構成された光学系であり、実施の形態では、ワイドコンバージョンレンズ１０１Ｃに相当する。
【０２５６】
（作用）
複数の縮小光学系により、広角に捉えられた被写体の光を、複数の受光する部位で受光し、撮像光学系に導光光学系で導き、複数の縮小光学系の間に設置した撮像装置により撮影する。
【０２５７】
（効果）
導光光学系により、被写体の像が縮小光学系の間に設置した撮像装置に導かれ、撮影されるので、大口径で、重量、サイズが大きくなる縮小光学系の間に撮像装置を設置できるのでステレオアダプタと撮像装置を含めたステレオアダプタカメラを小さく構成することができると共に、該ステレオアダプタカメラのモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０２５８】
【発明の効果】
以上詳述したように、本発明によれば、遠距離の被写体を広角に撮影できる小型軽量なステレオアダプタ、及びそのようなステレオアダプタを用いた距離画像入力装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係るステレオアダプタ及び距離画像入力装置を適用したステレオアダプタ撮像システムの構成を示す図である。
【図２】 従来のステレオ撮影装置でのステレオ撮影を説明するための図である。
【図３】 ステレオアダプタを用いた場合のステレオ撮影を説明するための図である。
【図４】 （Ａ）は一般的なステレオアダプタの構成を示す図であり、（Ｂ）は第１の実施の形態に係るステレオアダプタの構成を示す図である。
【図５】 ソフトウェア的処理による距離画像処理装置の構成を示す図である。
【図６】 （Ａ）はステレオアダプタの視野を示す図であり、（Ｂ）はその展開図である。
【図７】 レクティフィケーション処理を説明するための図である。
【図８】 レクティフィケーション処理における座標変換方法を説明するための図である。
【図９】 area-based matchingの手法を説明するための図である。
【図１０】 （Ａ）は撮影された画像を示す図であり、（Ｂ）はその画像から距離を算出した結果を示す図である。
【図１１】 物体認識部の構成を示す図である。
【図１２】 （Ａ）は距離に基づく領域ｂｌｏｂ群を説明するための図であり、（Ｂ）はｂｌｏｂ統合化によって抽出された物体を説明するための図である。
【図１３】 （Ａ）はキャリブレーション部の構成を示す図であり、（Ｂ）は車両ボンネットなど前部にある特徴点を説明するための図である。
【図１４】 車両へのキャリブレーション治具の装着状態を示す図である。
【図１５】 キャリブレーション治具を撮影した場合の特徴点を説明するための図である。
【図１６】 路面にキャリブレーションマーカを配置した場合のキャリブレーションマーカと車両の位置関係を示す図である。
【図１７】 路面に配置したキャリブレーションマーカを撮影した場合の特徴点を説明するための図である。
【図１８】 第１の実施の形態に係るステレオアダプタの変形例を示す図である。
【図１９】 本発明の第２の実施の形態に係るステレオアダプタの構成を示す図である。
【図２０】 第２の実施の形態に係るステレオアダプタの変形例を示す図である。
【図２１】 （Ａ）は本発明の第３の実施の形態に係るステレオアダプタの構成を示す図、（Ｂ）は通常のステレオアダプタによる撮像画像を示す図であり、（Ｃ）は第３の実施の形態に係るステレオアダプタによる撮像画像を示す図である。
【図２２】 第３の実施の形態に係るステレオアダプタの変形例を示す図である。
【図２３】 （Ａ）は本発明の第４の実施の形態に係るステレオアダプタの構成を示す図であり、（Ｂ）は第４の実施の形態に係るステレオアダプタによる撮像画像を示す図である。
【図２４】 第４の実施の形態に係るステレオアダプタの変形例を示す図である。
【図２５】 第１乃至第４の実施の形態に係るステレオアダプタに適用可能な変形を説明するための図であって、（Ａ）はその構成を、（Ｂ）は撮像画像をそれぞれ示す図である。
【符号の説明】
１１…光路分割装置、１２…露出制御装置、１３…フレームメモリ、１４…レクティフィケーション装置、１５…距離算出装置、１６…距離画像出力、１７…キャリブレーション装置、１８…インターレース補間処理装置、１００…距離画像入力装置、１０１…ステレオアダプタ、１０１Ａ…一次折り曲げミラー、１０１Ｂ…二次折り曲げミラー、１０１Ｃ…ワイドコンバージョンレンズ、１０１Ｃ１…光軸、１０１Ｄ…パワープリズム、１０１Ｄ１…凹屈折面、１０１Ｅ…プリズム・撮影装置保持具、１０１Ｆ…負パワーレンズ群、１０１Ｇ…正パワーレンズ群、１０１Ｈ…一次結像光学系、１０１Ｉ…イメージガイド、１０１Ｊ…一次結像光学系連接部材、１０１Ｋ…二次結像光学系連接部材、１０１Ｌ…シリンドリカルレンズ、１０１Ｍ…視野拡大用シリンドリカルレンズ、１０１Ｎ…光路延長手段、１０１Ｎ１…一次偏向ミラー、１０１Ｎ２…二次偏向ミラー、１０１Ｏ…遮光板、１０２…撮像装置、１０２Ａ…撮像光学系、１０２Ａ１…光軸、１０２Ｂ…撮像素子、１０３…距離画像処理装置、１０３Ａ…フレームメモリ、１０３Ｂ…レクティフィケーション処理部、１０３Ｃ…三次元再構成部、１０３Ｄ、…物体認識部、１０３Ｅ…キャリブレーション部、１０４…制御装置、１０５…物体認識装置、１１６…ステレオアダプタカメラ。

Claims (2)

1. ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取り付けるステレオアダプタであり、
   同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系と、
   受光する光束を縮小する複数の縮小光学系と、
   を具備し、
   上記導光光学系は、一次折り曲げミラーと、二次折り曲げミラーが略Ｗ字型に配置され、
   一次折り曲げミラーへの入射側に向けて、二次折り曲げミラーが光束を反射し、上記撮像装置で撮像するように構成され、
   上記撮像装置は、上記二次折り曲げミラーより被写体側に設置されることを特徴とするステレオアダプタ。
2. 請求項１に記載のステレオアダプタと、
   上記ステレオアダプタが取り付けられた撮像装置と、
   上記撮像装置で撮影したステレオ画像より三次元再構成を含む処理を行い、三次元距離情報を提供する距離画像処理装置と、
   を具備することを特徴とする距離画像入力装置。

Images