JP6156724B2 - ステレオカメラ - Google Patents
ステレオカメラ Download PDFInfo
- Publication number
- JP6156724B2 JP6156724B2 JP2013052093A JP2013052093A JP6156724B2 JP 6156724 B2 JP6156724 B2 JP 6156724B2 JP 2013052093 A JP2013052093 A JP 2013052093A JP 2013052093 A JP2013052093 A JP 2013052093A JP 6156724 B2 JP6156724 B2 JP 6156724B2
- Authority
- JP
- Japan
- Prior art keywords
- stereo camera
- spectral
- images
- optical
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003287 optical effect Effects 0.000 claims description 112
- 230000003595 spectral effect Effects 0.000 claims description 84
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 32
- 230000004075 alteration Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 9
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 25
- 238000012937 correction Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 238000000926 separation method Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Description
本発明は、被写体に対する視差により被写体までの距離の測定を行うステレオカメラに関するものである。
従来、自車両前方の先行車両との車間距離を測定し、その車間距離を維持するための自車速度調整機能を有するＡＣＣ（Adaptive Cruise Control）等の運転者支援システムが開発されている。先行車両との距離を測定する技術として、視差を有する２つの視差画像を用いて、視差画像間の視差量を求め、その視差量から被写体までの距離の測定を行うステレオカメラが知られている。このステレオカメラとして特許文献１に記載のものが知られている。特許文献１のステレオカメラでは、左右の画像を互いに異なる分光特性の画像、例えば青色分光画像や赤色分光画像などの分光画像に変換する。変換した一方の分光画像はハーフミラーのおもて面に入射させて、他方の分光画像はミラーを介して上記ハーフミラーの裏面に入射させる。上記ハーフミラーのおもて面に入射した画像は透過させ、裏面に入射した画像は反射させることにより、２つの画像を１つの光路に重ね合わせる。この重ね合わさった各画像は、レンズを介して撮像素子上のカラーフィルタで分離され、撮像素子上に配列された各受光素子にそれぞれ受光される。そして、分光特性の異なる２つの画像間の視差量により被写体までの距離を算出する。
しかしながら、上記特許文献１のステレオカメラは、人間の眼に３次元画像を提示するシステムが前提であるが、より高精度を必要とする測距演算を行うシステムに応用する場合には以下の課題ある。上記特許文献１の光学系の構成では、左右のいずれか一方の画像を光学部材であるミラーを介さずにハーフミラーに導き、他方の画像はミラーを介してハーフミラーに導いているので、左右の画像における光路長に差が生じている。被写体からの左右の画像の光路において光路長に差がなくても、その視差を有する２つの画像には互いの間に位置ずれはある。上記特許文献１のステレオカメラのように、被写体からの左右の画像の光路において光路長に差があると、光路長に差がないときに比べて、光路を進む間の光学部材、特にミラーによる反射によって視差による位置ずれは大きくなる。測距演算を行う場合には、対応する左右の画像どうしが０．１ピクセル精度でほぼ一致するようにする必要がある。視差による位置ずれが必要以上大きくなると、２つの画像が撮像素子の隣接する受光素子に受光されず、互いに対応する画素に数ピクセルの位置誤差が発生してしまう。この結果、測距演算を行う前に行うピクセルマッチング処理において、左右の画像のマッチングができない虞がある。これにより、測距演算の誤差が大きくなり、高精度な測距演算結果が得られなくなるという問題があった。
本発明は以上の問題点に鑑みなされたものであり、その目的は、光路長の差を無くし、高精度な測距演算結果が得られるステレオカメラを提供することである。
上記目的を達成するために、請求項１の発明は、被写体に対して視差を有する２つの画像により被写体までの距離を測定するステレオカメラにおいて、分光特性が互いに異なる視差を有する２つの画像における各光路の光路長を互いに同じくするとともに各光路を１つの光路に重ね合わせる分光合波手段と、少なくとも異なる２つの分光特性の輝度を検出する撮像手段と、重ね合わさった画像を前記撮像手段に結像させる光学部材と、２つの画像間の視差により被写体までの距離を算出する距離算出手段と、前記距離算出手段の前段に前記視差をもった２つの画像間のクロストークを除去するクロストーク除去手段とを有し、前記クロストーク除去手段は、画面上の位置によってクロストークをキャンセルする量を変化させることを特徴とするものである。
本発明では、分光特性の違いを用いて得られた視差を有する２つの画像の光路において、分光合波手段によって、光路長が互いに同じになって１つの光路に重ね合わさっている。分光合波手段として、例えば分光選択型のクロスプリズムを用いて、分光特性の異なる２つの画像の光を、互いに対向する２つの入射口からクロスプリズムに入射させて反射面で反射させながら１つの光路に重ね合わせて出射する。この結果、２つの画像の光路において、光路長に差がなくなり、光学部材を介して結像する２つの画像は撮像手段の隣接する受光素子に受光される。これにより、測距演算を行う前に行うピクセルマッチング処理において、左右の画像のマッチングを精度良く行うことができる。よって、高精度な測距演算結果が得られる、という特有な効果が得られる。
はじめに、プリズム（重畳モジュール）分の光路厚さにより被写体までの光路が変わる点について図面を用いて説明する。図１に示す例は、被写体からプリズム分の光路厚さを通って、レンズにより撮像素子に結像する光路の例である。図１（ａ）に示すように、被写体１１１からの左右の画像共に同じプリズム１１２を通る。そして、プリズム１１２の光路厚さの場合には、左右ともレンズ１１３を同じ光路が通るので、外乱の影響をキャンセルすることが可能である。しかし、図１（ｂ）に示すように、プリズム１１２の光路厚さが図１（ａ）のプリズム１１２の光路厚さより厚くなった場合には、図１（ｂ）中の点線で示すようにレンズ１１３を通る光路がずれることになる。図１（ｂ）中の実線は図１（ａ）の光路を示している。ここで、左右の画像の被写体１１１までの距離が異なるため、レンズ１１３を通る同一位置の光路が左右の画像で一致しない場合には、右の画像が図１（ａ）の状態、左の画像が図１（ｂ）の状態となる。これでは、左右の画像で温度など外乱の影響が変化し、キャンセルすることができない。そこで、本発明では、分光特性の差を利用して、視差を有する２つの画像の光路が重ね合わさった上で光学部材を介して撮像手段に結像している。
図２及び図３は本実施形態のステレオカメラの実施例１の構成を示す図である。図３に示すように、ステレオカメラ２００は、基板２０１上に撮像素子２０２が実装され、撮像素子２０２上に光学フィルタ２０３が密着配置している。撮像レンズ２０４を介して被写体情報を撮影する。撮像レンズ２０４の前段には分光選択型のクロスプリズム２０５が配置されている。更に、分光選択型のクロスプリズム２０５の側面２０６、２０７に近接して三角柱のプリズム２０８、２０９が設けられている。
ステレオカメラ２００では光学フィルタ２０３として青色分光情報と赤色分光情報を画素単位で抽出可能な領域分割型分光フィルタを有している。また、撮像レンズ２０４の前段に分光選択型のクロスプリズム２０５、さらにクロスプリズム２０５に隣接してプリズム２０８、２０９を２個配置している。プリズム２０８、２０９は＋Ｚ方向からの光をＹ軸方向に分光反射する全反射面を有する。分光選択型のクロスプリズム２０５は、−Ｙ方向から側面２０６に入射する赤色分光成分の光と、＋Ｙ方向から側面２０７に入射する青色分光成分の光を側面２１０の方向に分光反射する。これにより、−Ｙ方向の赤色分光画像と、＋Ｙ方向の青色分光画像が抽出することが可能である。
図２及び図３のステレオカメラ２００は＋Ｚ方向の青色分光画像と赤色分光画像を同時撮影することが可能である。また、図３から明らかなように、左右のプリズム２０８、２０９の光線有効範囲の間に一定の距離を有するため、光路が一致した青色分光画像と赤色分光画像から視差画像を形成することが可能である。つまり、レンズ１０３の前で完全に２つの光路は合成され、１つのレンズしか通らない。このため、レンズの特性が温度でずれたり、レンズの位置がずれたり、あるいはセンサの位置がずれたりしても、両方の画像が同じようにずれるだけなので、完全に影響をキャンセルすることができる。これにより、非常に耐環境性のあるステレオカメラを実現できる。また、レンズとセンサが１つで済むため、安価である。更に、撮像素子とレンズとの位置関係がずれた場合にも、左右の画像が同じようにずれるため原理的に影響をキャンセルすることができる。このように本実施形態のステレオカメラは被写体までの距離情報が撮影可能なステレオカメラとして構成されている。従来の単一撮像素子と単一レンズを２つ並列配置させたステレオカメラに比べて、撮像レンズと撮像素子が１つで済むため低コスト化が図れる。また、従来のステレオ撮像装置では各レンズ間を支持する筐体の熱膨張などによる基線長の変化の測距誤差が生じる。しかし、本実施形態のステレオ撮像装置では撮像レンズは１つであり、かつ支持部材自体に対応するプリズム自体が金属に対して熱膨張率の小さいため、基線長変化の測距への影響も抑制することが可能である。
なお、プリズムのように媒質がガラスなどで充填された構造ではなく、後述するように単なるミラーとクロス形状のダイクロイックミラーの組み合わせでも同様の構造は作れる。しかし、その場合レンズの画角が狭くならず、そのままの角度で各ミラーは受ける必要があるので、分光重畳モジュールがきわめて大きくなる。そのため、特に距離が長い被写体に近いミラー面から次のミラー面までが高屈折率の媒質で充填されていることが小型化には重要である。
本実施形態のステレオカメラを、例えば、図４に示すように自動車の車両前方を確認するものとして使用することが可能である。車両前方確認装置は、自動車のフロントガラス内側のバックミラー付近に装備されたステレオカメラ３０１と、ステレオカメラ３０１からの情報に基づいて、ドライバへの警告や車両の制御を行うための信号処理装置３０２とを含んで構成されている。ドライバへの警告方法としては、スピーカをつかって音声などにより障害物情報を警告する。また車両制御としては、障害物がある場合は減速させたりする。本実施形態のステレオカメラを用いれば、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。
なお、車の車内に本実施形態のステレオカメラを設置する場合には、フロントガラスなどガラスを通じて外の被写体を撮影することになる。その時、フロントガラスの歪みや厚みムラ、曲率などが左右の対応する部分で異なり、左右の画像のマッチングが取れなくなる場合がある。これをキャンセルするためには、車内に撮像素子やレンズ部のみを設置し、ガラスよりも外側にクロスプリズムを設置すると良い。こうすることで、左右の画像共に同じフロントガラスの部分を通ることになり、同じようにフロントガラスの影響を受けるため、左右の画像はフロントガラスの具合によらず常にマッチングが可能となる。
また、本実施形態のステレオカメラは、左右の眼に異なる画像を映しだすことにより、人間に３次元の画像を表示するテレビと映画投影機などの表示装置とを組み合わせる。この結果、３次元の画像の取得と表示とを行う３次元画像取得・表示システムを構成することができる。人間の眼は左右の画像の回転や、大きさ、上下のずれ、また画質の違いに敏感である。このため、従来の２つのレンズを有するステレオカメラでは、ズーム／フォーカスを変更する際に、左右のレンズを連動させ、光軸や画像サイズ、フォーカスのずれを生じさせないように複雑な操作技術が必要とされていた。それに対して、本発明の構成では、単眼に対して２つの視差を持った映像が入射されるため、単一のレンズのズームやフォーカスを変更すれば、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の２つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。なお、ズームなどの光学系を可変にする場合には、２つのレンズの特性を厳密に補正するのは非常に困難となるため、本発明の構成は特に有用である。
また、プリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるが、図３の構成のプリズム２０８、２０９をミラー２１１、２１２に替えた実施例１の変形例１の図５の構成でも良い。また、実施例１の変形例２の図６に示すように、中央のクロスプリズムに関しても、プリズム形状ではなく、単なるクロス形状のダイクロイックミラー２５０−１、２５０−２の組み合わせ（図６中では分光選択型クロスミラー２５０）としても良い。その場合には、同じくプリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるものの、使用する硝材が少なくて済むため、コストを下げることができる。左右はプリズム、中央部は分光選択型クロスミラーという構成でも良い。
次に、ステレオカメラの実施例２について説明する。
図７はステレオカメラの実施例２の構成を示す概略図である。図７に示すステレオカメラ２００は、分光選択型のクロスプリズム２０５の上と下でセンサユニットを設けている。例えば、撮像素子２１４がカラー、撮像素子２０２がモノクロとする。あるいは、撮像素子２１４を高解像度なモノクロ、撮像素子２０２を低解像度なカラーとする。一般に色情報は輝度情報、また距離情報よりも高い空間分解能は必要ないことを前提と考えると、高い測距性能を確保できる高感度高解像度なモノクロセンサと、モノクロよりも感度で劣るカラーセンサは低解像度というセットで使う。これにより、明るい場面から暗い場面まで高い測距性能と、色情報を同時に得ることができる。また、この場合も光軸が左右で一致するため、キャリブレーションが容易である。
図７はステレオカメラの実施例２の構成を示す概略図である。図７に示すステレオカメラ２００は、分光選択型のクロスプリズム２０５の上と下でセンサユニットを設けている。例えば、撮像素子２１４がカラー、撮像素子２０２がモノクロとする。あるいは、撮像素子２１４を高解像度なモノクロ、撮像素子２０２を低解像度なカラーとする。一般に色情報は輝度情報、また距離情報よりも高い空間分解能は必要ないことを前提と考えると、高い測距性能を確保できる高感度高解像度なモノクロセンサと、モノクロよりも感度で劣るカラーセンサは低解像度というセットで使う。これにより、明るい場面から暗い場面まで高い測距性能と、色情報を同時に得ることができる。また、この場合も光軸が左右で一致するため、キャリブレーションが容易である。
次に、ステレオカメラの実施例３について説明する。
図８はステレオカメラの実施例３の構成を示す概略図である。図８に示すステレオカメラ２００は、雨滴検出機能を持たせたものである。ＬＥＤ赤外光の光源２２０をウインドシールド２２１に投光し、センサ上面に付加した投光波長の光のみを通過させるフィルタ２２３を通じて、その反射光を見ることでウインドシールド２２１に付着した雨滴を検出することが可能である。そして、フロントガラスの全面が検出エリアとして利用できるため、より高感度な雨滴検出が可能となる。光源２２０からのＬＥＤ赤外光をウインドシールド２２１に投光し、センサ上面に付加した投光波長の光のみを通過させるフィルタ２２３を通じて、その反射光を見ることでウインドシールド２２１に付着した雨滴を検出することが可能である。精度を向上させるためには、検出面積が大きいことが重要であるが、図８の上部を使うことで、ステレオカメラと干渉せずに画面全面に対して検出を行うことができる。また、検出としては、画面全面における反射光の光量の和を見ればよいので、必ずしも検出に撮像素子を用いる必要はなく、かつ雨滴検出用のレンズの解像度も必要ない。このため、１つのＰＤ２２２と簡単なレンズ（例えば単レンズ）２２４などを用いる構成でも問題ない。
図８はステレオカメラの実施例３の構成を示す概略図である。図８に示すステレオカメラ２００は、雨滴検出機能を持たせたものである。ＬＥＤ赤外光の光源２２０をウインドシールド２２１に投光し、センサ上面に付加した投光波長の光のみを通過させるフィルタ２２３を通じて、その反射光を見ることでウインドシールド２２１に付着した雨滴を検出することが可能である。そして、フロントガラスの全面が検出エリアとして利用できるため、より高感度な雨滴検出が可能となる。光源２２０からのＬＥＤ赤外光をウインドシールド２２１に投光し、センサ上面に付加した投光波長の光のみを通過させるフィルタ２２３を通じて、その反射光を見ることでウインドシールド２２１に付着した雨滴を検出することが可能である。精度を向上させるためには、検出面積が大きいことが重要であるが、図８の上部を使うことで、ステレオカメラと干渉せずに画面全面に対して検出を行うことができる。また、検出としては、画面全面における反射光の光量の和を見ればよいので、必ずしも検出に撮像素子を用いる必要はなく、かつ雨滴検出用のレンズの解像度も必要ない。このため、１つのＰＤ２２２と簡単なレンズ（例えば単レンズ）２２４などを用いる構成でも問題ない。
ここで、ステレオカメラの固定について説明する。
クロスプリズム２０５とプリズム２０８、２０９との間は接着剤で固定しても良い。左右の画像の光線を合わせるために、プリズムの角度を調整する必要がある場合には、クロスプリズム２０５とプリズム２０８、２０９の間に若干隙間ができる場合がある。その場合には、図９のようにクロスプリズム２０５とプリズム２０８、２０９との間を保持する保持部材２３０で固定するのが良い。保持部材２３０が金属の場合には、その金属はプリズム２０８、２０９を主に構成するガラスに比べて熱膨張率が非常に大きい。このため、なるべく金属の保持部材２３０が短くて済むように、図９のように隙間を埋めるだけのできるだけ小さい方が良い。また、可能であれば保持部材２３０に関しても同様に熱膨張率が小さいガラスで構成すると、温度特性に対する耐環境性が良くなる。
クロスプリズム２０５とプリズム２０８、２０９との間は接着剤で固定しても良い。左右の画像の光線を合わせるために、プリズムの角度を調整する必要がある場合には、クロスプリズム２０５とプリズム２０８、２０９の間に若干隙間ができる場合がある。その場合には、図９のようにクロスプリズム２０５とプリズム２０８、２０９との間を保持する保持部材２３０で固定するのが良い。保持部材２３０が金属の場合には、その金属はプリズム２０８、２０９を主に構成するガラスに比べて熱膨張率が非常に大きい。このため、なるべく金属の保持部材２３０が短くて済むように、図９のように隙間を埋めるだけのできるだけ小さい方が良い。また、可能であれば保持部材２３０に関しても同様に熱膨張率が小さいガラスで構成すると、温度特性に対する耐環境性が良くなる。
次に、ステレオカメラの実施例４について説明する。
図１０はステレオカメラの実施例４の構成を示す概略図である。本実施例は、実施例１〜３で用いていた、分光選択型のクロスプリズムや分光選択型のダイクロイックミラーを用いずに、ダイクロイックミラーとミラー面（反射面）を用いている。そして、実施例１における左右の光路において、光路長差が生じているという課題を解決できる構成である。本実施例の構成では、左右の光路長は略同一となっている。このため、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。また、この構成では、クロスプリズムを用いる場合と異なり、それぞれ一枚のダイクロイックミラーとミラーとを用いるため、画面中央の欠陥部（隙間）は存在せず、後述の隙間を埋める処理は必要なくなる。一方の光Ｒはミラー面（反射面）２３３により反射され、更に光Ｒの青色分光の光はダイクロイックミラー膜２３１で反射される。他方の光Ｌはミラー面２３２、２３４によりそれぞれ反射され、光Ｌの赤色分光の光はダイクロイックミラー膜２３１を透過する。そして、青色分光と赤色分光の光が合波され、撮像レンズ２０４に入射されて撮像素子２０２に結像する。光Ｌ、Ｒとは互いに同じ光路長差を有する。ここで、ダイクロイックミラー膜２３１としては、多層膜を使ったものでもよい。
図１０はステレオカメラの実施例４の構成を示す概略図である。本実施例は、実施例１〜３で用いていた、分光選択型のクロスプリズムや分光選択型のダイクロイックミラーを用いずに、ダイクロイックミラーとミラー面（反射面）を用いている。そして、実施例１における左右の光路において、光路長差が生じているという課題を解決できる構成である。本実施例の構成では、左右の光路長は略同一となっている。このため、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。また、この構成では、クロスプリズムを用いる場合と異なり、それぞれ一枚のダイクロイックミラーとミラーとを用いるため、画面中央の欠陥部（隙間）は存在せず、後述の隙間を埋める処理は必要なくなる。一方の光Ｒはミラー面（反射面）２３３により反射され、更に光Ｒの青色分光の光はダイクロイックミラー膜２３１で反射される。他方の光Ｌはミラー面２３２、２３４によりそれぞれ反射され、光Ｌの赤色分光の光はダイクロイックミラー膜２３１を透過する。そして、青色分光と赤色分光の光が合波され、撮像レンズ２０４に入射されて撮像素子２０２に結像する。光Ｌ、Ｒとは互いに同じ光路長差を有する。ここで、ダイクロイックミラー膜２３１としては、多層膜を使ったものでもよい。
また、実施例４において光学系を小さく構成するために、画角中央の光線との、ダイクロイックミラー及びミラー面のなす角度αを４５度より大きく設定している。図１０（ａ）は、ダイクロイックミラーで反射又は透過した光が入射するミラー面のなす角度αを５２度に設定した場合である。図１０（ｂ）はαを４５度に設定した場合である。図１０（ｂ）におけるαを４５度にした場合では、図１０（ａ）におけるαを５２度とした場合と比較して、撮像レンズ２０４の画角端の光線が図中の左右方向へ大きく飛び出している。大きく飛び出した光線をカバーするため、プリズムの大きさが大きくなっている。つまり、画角中央の光線との、ダイクロイックミラー及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。αの上限値は９０度となる。ただし、αの上限値が９０度である場合には逆に４５度の場合よりプリズムの大きさが大きくなるので、最適値はレンズの画角に依存する。更に、図１０（ａ）に示すように光学絞り２３５をプリズム側寄りに配置していることに対して、図１１に示すように光学絞り２３５を撮像レンズ２０４の内部に配置している。図１１の光学絞り２３５の配置では、プリズムに対して既に画角に応じて光線が広がりを持つことになり、プリズムの大きさが図９（ａ）の光学絞り２３５の配置の場合のプリズムより大きくなっている。撮像レンズの光学絞りの位置は、撮像レンズよりプリズム側寄りの前方にある前絞りの位置であることが望ましい。
また、上記の構成に加えて、イメージセンサ上のカラーフィルタの赤外波長領域は色にかかわらず透過する場合が多い。このため、撮像素子と撮像レンズの間に以下に示すように赤外カットフィルタを加えることで、左右の画像間のクロストークを低減することが出来る。もちろん、赤外カットフィルタの挿入位置は図中の位置に限られることなく、被写体から撮像素子までの間に挿入されていれば良い。また、左右の分光フィルタ透過率に伴う透過光量の差を補正するために、左右の片側の光路に減光フィルタを挿入しても良い。
次に、アライメントマークを用いて左右のカメラの画像の位置を一致させる実施例について説明する。
この構成ではレンズに入射する光線を一致させるために利用するマーカーとして、図１２に示すように光路上のクロスプリズム２０５やプリズム２０８、２０９に何等かのアライメントマーカー２４０を入れておくと良い。このアライメントマーカー２４０は例えば何らかのシールのようなものでも良いし、色を塗っても良いが、センサ上に結像していた方が望ましいため、曲率を持ったマーカーとすることが望ましい。このアライメントマーカー２４０を用いることで、製造時のキャリブレーションが容易になるほかに、使用中何らかの環境変化や衝撃などにより左右の位置関係がずれた場合に検出を行い、誤ってブレーキをかけるなどの重大アクシデントを防止することができる。
この構成ではレンズに入射する光線を一致させるために利用するマーカーとして、図１２に示すように光路上のクロスプリズム２０５やプリズム２０８、２０９に何等かのアライメントマーカー２４０を入れておくと良い。このアライメントマーカー２４０は例えば何らかのシールのようなものでも良いし、色を塗っても良いが、センサ上に結像していた方が望ましいため、曲率を持ったマーカーとすることが望ましい。このアライメントマーカー２４０を用いることで、製造時のキャリブレーションが容易になるほかに、使用中何らかの環境変化や衝撃などにより左右の位置関係がずれた場合に検出を行い、誤ってブレーキをかけるなどの重大アクシデントを防止することができる。
次に、画像処理装置について説明する。
図１３はカラーセンサにおける画像処理装置の構成を示すブロック図である。図１３（ａ）は全体構成、図１３（ｂ）は視差計算処理部の構成を示す。ここでは、一般的なカラーセンサで採用されているベイヤ配列のカラーフィルタ配列を例にとって説明を行うが、特にベイヤ配列に限定されるものではなく、他のカラーフィルタ配列に関しても同等の方法を用いることができる。図１３において、イメージセンサからの画像が分光分離処理部７０１に入力され、分光分離処理部７０１によって分光画像１及び分光画像２に分離される。ここでは単純化のため、分光画像１をイメージセンサの赤カラーフィルタが存在する赤画素から構成される画像、分光画像２をイメージセンサの青カラーフィルタが存在する青画素から構成される画像として説明を行う。図１４に示すように分光分離処理部７０１では、入力画像全体からピクセル単位で、赤色分光成分のピクセルを取り出して赤色画像を形成する。これが分光画像１である。一方、入力画像全体から青色分光成分のピクセルを取り出して青色画像を形成する。これが分光画像２である。
図１３はカラーセンサにおける画像処理装置の構成を示すブロック図である。図１３（ａ）は全体構成、図１３（ｂ）は視差計算処理部の構成を示す。ここでは、一般的なカラーセンサで採用されているベイヤ配列のカラーフィルタ配列を例にとって説明を行うが、特にベイヤ配列に限定されるものではなく、他のカラーフィルタ配列に関しても同等の方法を用いることができる。図１３において、イメージセンサからの画像が分光分離処理部７０１に入力され、分光分離処理部７０１によって分光画像１及び分光画像２に分離される。ここでは単純化のため、分光画像１をイメージセンサの赤カラーフィルタが存在する赤画素から構成される画像、分光画像２をイメージセンサの青カラーフィルタが存在する青画素から構成される画像として説明を行う。図１４に示すように分光分離処理部７０１では、入力画像全体からピクセル単位で、赤色分光成分のピクセルを取り出して赤色画像を形成する。これが分光画像１である。一方、入力画像全体から青色分光成分のピクセルを取り出して青色画像を形成する。これが分光画像２である。
なお、実際にはこのまま出力された画像で視差演算を行った場合、赤色分光画像と青色分光画像で１ピクセル縦横に対応位置がずれているため、エッジなどで誤差が発生する場合がある。そのため、この分光分離処理部７０１では、間の画素を補間することで、全ピクセルに対して、対応する赤色画素と青色画素を有する画像を出力することが望ましい。例えば、欠陥画素を線形補間で割り当てるという方法がある。結果出力画像としては、全ピクセルに対して、対応する赤色画素と青色画素を有する画像を出力することができる。このことは、通常のベイヤ配列のカラーイメージセンサで行われているベイヤ補間と呼ばれる処理と同一の処理を行うことで実現できる。このベイヤ補間は、デジタル信号に変換されたベイヤ配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成する。
図１５にベイヤ配列のカラーフィルタを示す。ここで、Ｇ０は次式により求める。
Ｇ０＝（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４ ・・・（１）
また、Ｒ２，Ｒ４，Ｒ６，Ｒ８，Ｒ０は次式により求める。
Ｇ０＝（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４ ・・・（１）
また、Ｒ２，Ｒ４，Ｒ６，Ｒ８，Ｒ０は次式により求める。
Ｒ２＝（Ｒ１＋Ｒ３）／２ ・・・（２）
Ｒ４＝（Ｒ３＋Ｒ５）／２ ・・・（３）
Ｒ６＝（Ｒ５＋Ｒ７）／２ ・・・（４）
Ｒ８＝（Ｒ１＋Ｒ７）／２ ・・・（５）
Ｒ０＝（Ｒ１＋Ｒ３＋Ｒ５＋Ｒ７）／４ ・・・（６）
Ｂ２，Ｂ４，Ｂ６，Ｂ８，Ｂ０は上記Ｒ２，Ｒ４，Ｒ６，Ｒ８，Ｒ０の場合と同じであるので省略する。
Ｒ４＝（Ｒ３＋Ｒ５）／２ ・・・（３）
Ｒ６＝（Ｒ５＋Ｒ７）／２ ・・・（４）
Ｒ８＝（Ｒ１＋Ｒ７）／２ ・・・（５）
Ｒ０＝（Ｒ１＋Ｒ３＋Ｒ５＋Ｒ７）／４ ・・・（６）
Ｂ２，Ｂ４，Ｂ６，Ｂ８，Ｂ０は上記Ｒ２，Ｒ４，Ｒ６，Ｒ８，Ｒ０の場合と同じであるので省略する。
なお、ここではベイヤ配列のＲＧＢ色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特に、このように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要となる。倍率色収差補正は、ベイヤ補間されたＲＧＢ画像データを入力して、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施す。倍率色収差補正は、入力されたＲＧＢ画像データについて、撮像素子の色フィルタの波長域と異なる波長域のデータＲ'Ｇ'Ｂ'に変換した後に座標変換して倍率色収差補正を実施し、その後、元の色フィルタの波長域データＲＧＢに逆変換して出力する。これにより、画像周辺部の倍率色収差が大きい部分でも、高画質な画像が得られる。また、座標変換はＲ'，Ｂ'のみとすることで、回路規模を小さくすることができる。さらに、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。
ここで、図１６に示すようにクロスプリズムにおけるプリズム間の隙間が原因となって画面中央付近に画像の写らないエリアができる。そこで、この隙間を埋める処理が必要となる。図１６（ａ）に示すように画面右側の画像を左に寄せて、図１６（ｂ）のように隙間を埋めてしまう。個体差により、画像の写らないエリアがばらつくので、どの部分を埋めるかは個体ごとにパラメータとして持っておくと良い。処理する場所としては、図１３の座標変換・倍率色収差補正処理部７０３の後段で行うのが良い。なぜなら、座標変換・倍率色収差補正処理部７０３の前段で行うと、座標変換で非連続点が必要となってしまうため、実装が困難となるからである。
次に、図１３のクロストークキャンセル処理部７０２によるクロストークキャンセルについて説明する。理想的には、赤色分光と青色分光として左右の画像がセンサ上に結像され、センサ上の分光フィルタにより左右の画像が完全に分離される。しかし、実際には、クロスプリズムの分光フィルタの特性上、赤色分光のみ反射すべき場合にも、赤色分光だけではなく、青色分光も一部反射したり、その逆が起こる。また、センサ上の画素にあるカラーフィルタもある波長から完全に遮断するような急峻な波長特性になっていない。そのため、右画像に微弱な左画像が、また左画像に微弱な右画像が重畳される。これを以下ではクロストークと呼ぶ。つまり、分光を用いる方法ではセンサ上に形成される分光フィルタの特性より、完全に右の画像に混入する左の画像の波長をカットはできないため、左右の画像のクロストークが大きく測距誤差が大きい。そのため以下のクロストークキャンセル処理が非常に有効である。また、通常、イメージセンサ上のカラーフィルタの分光特性は図１７に示すような特性となっている。そのため、例えば青（Ｂ）画素と赤（Ｒ）画素を用いた場合にも両者で透過率を持つ波長が存在し、左右の画像間でクロストークが発生する。そういう意味でもクロストークキャンセル処理は測距精度向上のため非常に効果が高い。得られた右画像や左画像に以下の式を演算することにより、このクロストークをキャンセルすることができる。
R=Rin-cc*Bin ・・・（７）
B=Bin-cc*Rin ・・・（８）
Rcrosstalkcancel=R*(1+cc)/(1-cc^2) ・・・（９）
Bcrosstalkcancel=B*(1+cc)/(1-cc^2) ・・・（１０）
但し、cc : クロストーク除去係数、Rin,Bin : 入力信号、Rcrosstalkcancel, Bcrosstalkcancel : クロストークが除去された赤色，青色成分信号である。
クロストーク量は画面上の場所により異なる場合があるため、画面上の場所に応じてｃｃの量のテーブルを持っていることが望ましい。
上記の式の根拠を以下に解説する。
各画素には、クロストークにより以下のような信号が入ってくる。
Rin=(1-c)*Rori+c*Bori ・・・（１１）
Bin=(1-c)*Bori+c*Rori ・・・（１２）
但し、c:クロストーク量、Rin,Bin:クロストークがない真の入力信号、（１１）式を（７）式に代入すると、
R=(1-c)*Rori+c*Bori-cc*Bin ・・・（１３）
さらに、（１２）式を（１３）式に代入すると、
R=(1-c)*Rori+c*Bori-cc*((1-c)*Bori+c*Rori)
=(1-c)*Rori+c*Bori-cc*Bori+cc*c*Bori-cc*c*Rori
=(1-c-cc*c)*Rori+(c-cc+cc*c)*Bori
ここで、c=cc/(1+cc)とすると、
R=(1-cc/(1+cc)-cc^2/(1+cc))*Rori
=(1-cc^2)/(1+cc)*Rori
逆に、Roriを解くと、（９）式 Rori=R*(1+cc)/(1-cc^2)が得られる。
B=Bin-cc*Rin ・・・（８）
Rcrosstalkcancel=R*(1+cc)/(1-cc^2) ・・・（９）
Bcrosstalkcancel=B*(1+cc)/(1-cc^2) ・・・（１０）
但し、cc : クロストーク除去係数、Rin,Bin : 入力信号、Rcrosstalkcancel, Bcrosstalkcancel : クロストークが除去された赤色，青色成分信号である。
クロストーク量は画面上の場所により異なる場合があるため、画面上の場所に応じてｃｃの量のテーブルを持っていることが望ましい。
上記の式の根拠を以下に解説する。
各画素には、クロストークにより以下のような信号が入ってくる。
Rin=(1-c)*Rori+c*Bori ・・・（１１）
Bin=(1-c)*Bori+c*Rori ・・・（１２）
但し、c:クロストーク量、Rin,Bin:クロストークがない真の入力信号、（１１）式を（７）式に代入すると、
R=(1-c)*Rori+c*Bori-cc*Bin ・・・（１３）
さらに、（１２）式を（１３）式に代入すると、
R=(1-c)*Rori+c*Bori-cc*((1-c)*Bori+c*Rori)
=(1-c)*Rori+c*Bori-cc*Bori+cc*c*Bori-cc*c*Rori
=(1-c-cc*c)*Rori+(c-cc+cc*c)*Bori
ここで、c=cc/(1+cc)とすると、
R=(1-cc/(1+cc)-cc^2/(1+cc))*Rori
=(1-cc^2)/(1+cc)*Rori
逆に、Roriを解くと、（９）式 Rori=R*(1+cc)/(1-cc^2)が得られる。
次に、図１３の座標変換・倍率色収差補正処理部７０３による座標変換処理について説明する。
高い測距性能を出すためには、レンズの歪みを補正する処理が必要であり、そのレンズの歪みを補正するのが座標変換処理である。歪み補正量のパラメータはレンズの設計値でも良いし、一台一台パラメータのキャリブレーションを行っても良い。また、レンズ前面に配置する合波用のプリズム自体も製造誤差があるため、これを補正するため、座標変換処理中で一般のステレオカメラで行われる外部パラメータの補正を同時に行うことが望ましい。また、この分光を用いる方法上、レンズの倍率色収差により、左右のレンズの倍率が変わる可能性がある。これを残したままだと測距精度の低下を招くため、同時に座標変換処理で倍率色収差補正を行うことが望ましい。
高い測距性能を出すためには、レンズの歪みを補正する処理が必要であり、そのレンズの歪みを補正するのが座標変換処理である。歪み補正量のパラメータはレンズの設計値でも良いし、一台一台パラメータのキャリブレーションを行っても良い。また、レンズ前面に配置する合波用のプリズム自体も製造誤差があるため、これを補正するため、座標変換処理中で一般のステレオカメラで行われる外部パラメータの補正を同時に行うことが望ましい。また、この分光を用いる方法上、レンズの倍率色収差により、左右のレンズの倍率が変わる可能性がある。これを残したままだと測距精度の低下を招くため、同時に座標変換処理で倍率色収差補正を行うことが望ましい。
はじめに、座標変換処理の具体例である倍率色収差補正と歪曲収差補正の原理を説明する。モノクロセンサの場合には、歪曲収差補正のみを行い、カラーセンサの場合には、加えて倍率色収差補正も行うことが望ましい。図１８に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれる。さらに、倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、図１９に示すように、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、図２０（ａ）、（ｂ）に示すように、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする。すなわち、座標変換することで可能である。ここで、２、３、４の位置が座標変換元の座標、１の位置が座標変換先の座標となる。光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさがわかるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。そして、その位置座標データを基に、多項式やテーブルを準備しておき、それらの情報を基に入力画像の歪み（歪曲収差）や倍率色収差を補正するのが座標変換処理である。
次に、図１３の視差計算処理部７０４による視差計算処理について説明する。
ブロックマッチング処理について、以下のように様々な方法があるが、本発明の方式では左右の画像に対象物の反射光自体の分光に基づく輝度差が入るため、ブロック内で正規化を行う方法が望ましい。これにより、その反射光自体の分光に基づく輝度差の分をキャンセルし、模様だけを視差計算に用いることが可能である。具体的には以下の方法の内、頭にＺの付く、ＺＳＡＤ,ＺＳＳＤ,ＺＮＣＣなどの手法を用いることが望ましい。
ブロックマッチング処理について、以下のように様々な方法があるが、本発明の方式では左右の画像に対象物の反射光自体の分光に基づく輝度差が入るため、ブロック内で正規化を行う方法が望ましい。これにより、その反射光自体の分光に基づく輝度差の分をキャンセルし、模様だけを視差計算に用いることが可能である。具体的には以下の方法の内、頭にＺの付く、ＺＳＡＤ,ＺＳＳＤ,ＺＮＣＣなどの手法を用いることが望ましい。
（１）ＳＡＤ(Sum of Absolute Difference)
ＳＡＤは、輝度値をそのまま減算することにより、画像間のマッチングを行う手法である。このＳＡＤは計算量が少なくて済む。
ＳＡＤは、輝度値をそのまま減算することにより、画像間のマッチングを行う手法である。このＳＡＤは計算量が少なくて済む。
（２）ＳＳＤ(Sum of Squared Difference)
ＳＳＤは、ＳＡＤと同じように、輝度値をそのまま減算することにより、画像間のマッチングを行う手法である。ただし、ＳＡＤと異なり二乗を誤差量とする。
ＳＳＤは、ＳＡＤと同じように、輝度値をそのまま減算することにより、画像間のマッチングを行う手法である。ただし、ＳＡＤと異なり二乗を誤差量とする。
（３）ＺＳＡＤ(Zero mean Sum of Absolute Difference)
ＳＡＤの式から各ブロックの平均値を引いたものである。
ＳＡＤの式から各ブロックの平均値を引いたものである。
（４）ＺＳＳＤ(Zero mean Sum of Squared Difference)
ＳＳＤの式から各ブロックの平均値を引いたものである。
NCC(Normalized Cross Correlation)
正規化相互相関で、明るさやコントラストに影響されにくいという特徴を持つ。
ＳＳＤの式から各ブロックの平均値を引いたものである。
正規化相互相関で、明るさやコントラストに影響されにくいという特徴を持つ。
（５）ＺＮＣＣ(Zero mean Normalized Cross Correlation)
ＮＣＣから各ブロックの平均値を引いたものである。
ＮＣＣから各ブロックの平均値を引いたものである。
次に、図１３のサブピクセル推定処理部７０４−２によるサブピクセル推定処理について説明する。
高精度な視差演算を行うために、図２１に示す等角直線フィッティング及びパラボラフィッティングによって、１ピクセル以下のマッチングを行うサブピクセル推定処理を行う。
高精度な視差演算を行うために、図２１に示す等角直線フィッティング及びパラボラフィッティングによって、１ピクセル以下のマッチングを行うサブピクセル推定処理を行う。
次に、図１３のサブピクセル推定処理部７０４−２によるサブピクセル推定処理について説明する。
高精度な視差演算を行うために、図２１に示す等角直線フィッティング及びパラボラフィッティングによって、１ピクセル以下のマッチングを行うサブピクセル推定処理を行う。
高精度な視差演算を行うために、図２１に示す等角直線フィッティング及びパラボラフィッティングによって、１ピクセル以下のマッチングを行うサブピクセル推定処理を行う。
等角直線フィッティングでは、サブピクセル推定値が次のように推定できる。
パラボラフィッティングでは、サブピクセル推定値が次のように推定できる。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
分光特性が互いに異なる視差を有する２つの画像における各光路の光路長を互いに同じくするとともに各光路を１つの光路に重ね合わせる分光合波手段と、少なくとも異なる２つの分光特性の輝度を検出する撮像手段と、重ね合わさった画像を撮像手段に結像させる光学部材と、２つの画像間の視差により被写体までの距離を算出する距離算出手段とを有する。これによれば、上記実施形態について説明したように、分光特性の違いを用いて得られた視差を有する２つの画像の光路において、分光合波手段によって、光路長が互いに同じになって１つの光路に重ね合わさっている。分光合波手段として、例えばクロスプリズムを用いて、分光特性の異なる２つの画像の光を、対向する入射方向からクロスプリズムに入射させて１つの光路に重ね合わせて出射する。２つの画像の光路において、光路長に差がないため、光学部材を介して結像する２つの画像は、撮像手段の隣接する受光素子に受光される。このため、撮像手段の受光面上での左右の画像どうしの位置関係は略変わらない。この結果、測距演算を行う前に行うピクセルマッチング処理において、左右の画像のマッチングを精度良く行うことができる。これにより、高精度な測距演算結果が得られる。
（態様２）
（態様１）において、距離算出手段の前段に視差をもった２つの画像間のクロストークを除去するクロストーク除去手段を有している。これによれば、上記実施形態について説明したように、クロストークのない真の分光成分の画像を得ることができる。
（態様３）
（態様２）において、クロストーク除去手段の後段に倍率色収差補正手段を有する。これによれば、上記実施形態について説明したように、座標変換・倍率色収差補正処理部７０３の前段で行うと、座標変換で非連続点が必要となってしまうため、実装が困難となるから、クロストーク除去手段の後段に倍率色収差補正手段を置くほうがよい。
（態様４）
（態様１）において、光学部材はズーム機能を有する。これによれば、上記実施形態について説明したように、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の２つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。
（態様５）
（態様１）において、光学部材は車両の車内に設置し、分光合波手段は車両の車外に設置する。これによれば、上記実施形態について説明したように、車両のフロントガラスの歪みや厚みムラ、曲率などが左右の対応する部分で異なり、左右の画像のマッチングが取れなくなる場合がある。これをキャンセルするためには、車内に撮像素子やレンズ部のみを設置し、ガラスよりも外側にクロスプリズムを設置すると良い。これにより、左右の画像共に同じフロントガラスの部分を通ることになり、同じようにフロントガラスの影響を受けるため、左右の画像はフロントガラスの具合によらず常にマッチングが可能となる。
（態様６）
（態様１）において、分光合波手段は、被写体からの最初の反射面から、次の反射面までが媒質で充填されている。これによれば、上記実施形態について説明したように、距離が長い被写体に近いミラー面から次のミラー面までが高屈折率の媒質で充填されていることにより小型化が図れる。
（態様７）
（態様１）において、分光合波手段は、ダイクロイックミラー及びミラーを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のカメラと同様に視差を得ることができる。
（態様８）
（態様１）において、分光合波手段は、ハーフミラー及び分光フィルタを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のカメラと同様に視差を得ることができる。
（態様９）
（態様７）において、ダイクロイックミラーの光学面又はミラーの反射面が光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、ダイクロイックミラー又はミラーを設置している。これによれば、上記実施形態について説明したように、画角中央の光線との、ダイクロイックミラー及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。
（態様１０）
（態様８）において、ハーフミラーの光学面又は分光フィルタの光学面が光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、ハーフミラー又は分光フィルタを設置している。画角中央の光線との、ハーフミラー及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。
（態様１１）
（態様１）〜（態様１０）のいずれかにおいて、分光合波手段と光学部材との間に、光学部材に入射する光線の量を規制する光学絞りを配置する。これによれば、上記実施形態について説明したように、ダイクロイックミラー膜２３１又はミラー面２３２、２３３、２３４が設置されているプリズムに入射するとき既に画角に応じて光線が広がりを有している。このため、光線の広がりに応じてプリズムの大きさを設定する必要があるが、光学絞り２３５をプリズム側寄りに設置することでプリズムが大きくなることを抑制できる。
（態様１２）
（態様１）において、分光合波手段は、クロスプリズムを含んで構成されている。これによれば、上記実施形態について説明したように、分光選択型のクロスプリズムを用いて波長特性が異なる視差画像を取り込む。よって、耐環境性に富み、かつ低コスト化が図れる。
（態様１３）
（態様２）において、クロストーク除去手段は、画面上の位置によってクロストークをキャンセルする量を変化させる。これによれば、上記実施形態について説明したように、クロストークのない真の分光成分の画像を得ることができる。
（態様１４）
（態様１２）において、クロスプリズムにおける対向する側面に三角柱プリズム又は四辺柱プリズム又はミラーを設ける。これによれば、上記実施形態について説明したように、三角柱プリズム又は四辺柱プリズムによって小型でかつ広範囲の視野を確保することができる。ミラーの場合は安価に構成することができる。
（態様１５）
（態様１）〜（態様１４）のいずれかにおいて、被写体から撮像手段までの間に赤外線カットフィルタを設ける。これによれば、上記実施形態について説明したように、左右の画像間のクロストークを低減することができる。
（態様１６）
（態様１）〜（態様１５）のいずれかにおいて、被写体から撮像素子までの間に減光フィルタを設ける。これによれば、上記実施形態について説明したように、ＰＢＳ膜に伴う左右の画像の透過光量を調整することにより、左右の画像間のクロストークを低減することができる。
（態様１７）
（態様１）〜（態様１７）のいずれかにおいて、光学部材の光学面において撮像手段の撮像面に結像する光が入射する範囲にアライメントマーカーを設ける。これによれば、上記実施形態について説明したように、製造時、使用中何らかの環境変化や経時変化のときにも簡単にキャリブレーションを行うことができる。
（態様１８）
（態様１７）において、アライメントマーカーは、曲率を有する面を備える透明部材であり、曲率を有する面によって焦点を撮像手段の撮像面上に結ぶ。これによれば、上記実施形態について説明したように、本来の測距に影響することなく、キャリブレーションを行うことができる。
（態様１９）
（態様１）〜（態様１８）のいずれかにおいて、撮像手段とは視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように、別の撮像手段を設ける。これによれば、上記実施形態について説明したように、単体として多様な使用が可能となり、トータルとして安価なステレオカメラを提供できる。
（態様２０）
（態様１９）において、移動体のウインドシールド上に特定波長の光を投光する光投光手段と、撮像手段とは視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように設けられた光検出手段と、光検出手段に特定波長の光のみを透過させるフィルタとを有し、ウインドシールドからの反射光の光量に基づきウインドシールドに付着する雨滴を検出する。これによれば、上記実施形態について説明したように、分光を利用して雨滴センサ機能を付加することができる。
（態様２１）
（態様１）〜（態様２０）のいずれかにおいて、視差をもった２つの画像の内の少なくとも一つに対して、座標変換処理を行う座標変換手段を有する。これによれば、上記実施形態について説明したように、光学系の歪みを補正して距離測定の高い性能とすることができる。
（態様２２）
（態様２）〜（態様２１）のいずれかにおいて、視差をもった２つの画像のブロックマッチング演算の中に、ブロック内の平均値を減算する距離算出手段を有する。これによれば、上記実施形態について説明したように、左右の画像における分光による差の分をオフセットすることでキャンセルできる。
（態様２３）
（態様１）において、撮像手段の情報より、各画素の分光状態を補間する分光状態補間処理手段を有する。これによれば、上記実施形態について説明したように、全ピクセルに対して、対応する赤色画素と青色画素を有する画像を出力することができる。
（態様１）
分光特性が互いに異なる視差を有する２つの画像における各光路の光路長を互いに同じくするとともに各光路を１つの光路に重ね合わせる分光合波手段と、少なくとも異なる２つの分光特性の輝度を検出する撮像手段と、重ね合わさった画像を撮像手段に結像させる光学部材と、２つの画像間の視差により被写体までの距離を算出する距離算出手段とを有する。これによれば、上記実施形態について説明したように、分光特性の違いを用いて得られた視差を有する２つの画像の光路において、分光合波手段によって、光路長が互いに同じになって１つの光路に重ね合わさっている。分光合波手段として、例えばクロスプリズムを用いて、分光特性の異なる２つの画像の光を、対向する入射方向からクロスプリズムに入射させて１つの光路に重ね合わせて出射する。２つの画像の光路において、光路長に差がないため、光学部材を介して結像する２つの画像は、撮像手段の隣接する受光素子に受光される。このため、撮像手段の受光面上での左右の画像どうしの位置関係は略変わらない。この結果、測距演算を行う前に行うピクセルマッチング処理において、左右の画像のマッチングを精度良く行うことができる。これにより、高精度な測距演算結果が得られる。
（態様２）
（態様１）において、距離算出手段の前段に視差をもった２つの画像間のクロストークを除去するクロストーク除去手段を有している。これによれば、上記実施形態について説明したように、クロストークのない真の分光成分の画像を得ることができる。
（態様３）
（態様２）において、クロストーク除去手段の後段に倍率色収差補正手段を有する。これによれば、上記実施形態について説明したように、座標変換・倍率色収差補正処理部７０３の前段で行うと、座標変換で非連続点が必要となってしまうため、実装が困難となるから、クロストーク除去手段の後段に倍率色収差補正手段を置くほうがよい。
（態様４）
（態様１）において、光学部材はズーム機能を有する。これによれば、上記実施形態について説明したように、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の２つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。
（態様５）
（態様１）において、光学部材は車両の車内に設置し、分光合波手段は車両の車外に設置する。これによれば、上記実施形態について説明したように、車両のフロントガラスの歪みや厚みムラ、曲率などが左右の対応する部分で異なり、左右の画像のマッチングが取れなくなる場合がある。これをキャンセルするためには、車内に撮像素子やレンズ部のみを設置し、ガラスよりも外側にクロスプリズムを設置すると良い。これにより、左右の画像共に同じフロントガラスの部分を通ることになり、同じようにフロントガラスの影響を受けるため、左右の画像はフロントガラスの具合によらず常にマッチングが可能となる。
（態様６）
（態様１）において、分光合波手段は、被写体からの最初の反射面から、次の反射面までが媒質で充填されている。これによれば、上記実施形態について説明したように、距離が長い被写体に近いミラー面から次のミラー面までが高屈折率の媒質で充填されていることにより小型化が図れる。
（態様７）
（態様１）において、分光合波手段は、ダイクロイックミラー及びミラーを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のカメラと同様に視差を得ることができる。
（態様８）
（態様１）において、分光合波手段は、ハーフミラー及び分光フィルタを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のカメラと同様に視差を得ることができる。
（態様９）
（態様７）において、ダイクロイックミラーの光学面又はミラーの反射面が光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、ダイクロイックミラー又はミラーを設置している。これによれば、上記実施形態について説明したように、画角中央の光線との、ダイクロイックミラー及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。
（態様１０）
（態様８）において、ハーフミラーの光学面又は分光フィルタの光学面が光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、ハーフミラー又は分光フィルタを設置している。画角中央の光線との、ハーフミラー及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。
（態様１１）
（態様１）〜（態様１０）のいずれかにおいて、分光合波手段と光学部材との間に、光学部材に入射する光線の量を規制する光学絞りを配置する。これによれば、上記実施形態について説明したように、ダイクロイックミラー膜２３１又はミラー面２３２、２３３、２３４が設置されているプリズムに入射するとき既に画角に応じて光線が広がりを有している。このため、光線の広がりに応じてプリズムの大きさを設定する必要があるが、光学絞り２３５をプリズム側寄りに設置することでプリズムが大きくなることを抑制できる。
（態様１２）
（態様１）において、分光合波手段は、クロスプリズムを含んで構成されている。これによれば、上記実施形態について説明したように、分光選択型のクロスプリズムを用いて波長特性が異なる視差画像を取り込む。よって、耐環境性に富み、かつ低コスト化が図れる。
（態様１３）
（態様２）において、クロストーク除去手段は、画面上の位置によってクロストークをキャンセルする量を変化させる。これによれば、上記実施形態について説明したように、クロストークのない真の分光成分の画像を得ることができる。
（態様１４）
（態様１２）において、クロスプリズムにおける対向する側面に三角柱プリズム又は四辺柱プリズム又はミラーを設ける。これによれば、上記実施形態について説明したように、三角柱プリズム又は四辺柱プリズムによって小型でかつ広範囲の視野を確保することができる。ミラーの場合は安価に構成することができる。
（態様１５）
（態様１）〜（態様１４）のいずれかにおいて、被写体から撮像手段までの間に赤外線カットフィルタを設ける。これによれば、上記実施形態について説明したように、左右の画像間のクロストークを低減することができる。
（態様１６）
（態様１）〜（態様１５）のいずれかにおいて、被写体から撮像素子までの間に減光フィルタを設ける。これによれば、上記実施形態について説明したように、ＰＢＳ膜に伴う左右の画像の透過光量を調整することにより、左右の画像間のクロストークを低減することができる。
（態様１７）
（態様１）〜（態様１７）のいずれかにおいて、光学部材の光学面において撮像手段の撮像面に結像する光が入射する範囲にアライメントマーカーを設ける。これによれば、上記実施形態について説明したように、製造時、使用中何らかの環境変化や経時変化のときにも簡単にキャリブレーションを行うことができる。
（態様１８）
（態様１７）において、アライメントマーカーは、曲率を有する面を備える透明部材であり、曲率を有する面によって焦点を撮像手段の撮像面上に結ぶ。これによれば、上記実施形態について説明したように、本来の測距に影響することなく、キャリブレーションを行うことができる。
（態様１９）
（態様１）〜（態様１８）のいずれかにおいて、撮像手段とは視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように、別の撮像手段を設ける。これによれば、上記実施形態について説明したように、単体として多様な使用が可能となり、トータルとして安価なステレオカメラを提供できる。
（態様２０）
（態様１９）において、移動体のウインドシールド上に特定波長の光を投光する光投光手段と、撮像手段とは視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように設けられた光検出手段と、光検出手段に特定波長の光のみを透過させるフィルタとを有し、ウインドシールドからの反射光の光量に基づきウインドシールドに付着する雨滴を検出する。これによれば、上記実施形態について説明したように、分光を利用して雨滴センサ機能を付加することができる。
（態様２１）
（態様１）〜（態様２０）のいずれかにおいて、視差をもった２つの画像の内の少なくとも一つに対して、座標変換処理を行う座標変換手段を有する。これによれば、上記実施形態について説明したように、光学系の歪みを補正して距離測定の高い性能とすることができる。
（態様２２）
（態様２）〜（態様２１）のいずれかにおいて、視差をもった２つの画像のブロックマッチング演算の中に、ブロック内の平均値を減算する距離算出手段を有する。これによれば、上記実施形態について説明したように、左右の画像における分光による差の分をオフセットすることでキャンセルできる。
（態様２３）
（態様１）において、撮像手段の情報より、各画素の分光状態を補間する分光状態補間処理手段を有する。これによれば、上記実施形態について説明したように、全ピクセルに対して、対応する赤色画素と青色画素を有する画像を出力することができる。
２００ ステレオカメラ
２０１ 基板
２０２ 撮像素子
２０３ 光学フィルタ
２０４ 撮像レンズ
２０５ クロスプリズム
２０６ 側面
２０７ 側面
２０８ 三角柱プリズム
２０９ 三角柱プリズム
２１０ 側面
２１１ ミラー
２１２ ミラー
２３１ ダイクロイックミラー膜
２３２ ミラー面
２３３ ミラー面
２３４ ミラー面
２３５ 光学絞り
２０１ 基板
２０２ 撮像素子
２０３ 光学フィルタ
２０４ 撮像レンズ
２０５ クロスプリズム
２０６ 側面
２０７ 側面
２０８ 三角柱プリズム
２０９ 三角柱プリズム
２１０ 側面
２１１ ミラー
２１２ ミラー
２３１ ダイクロイックミラー膜
２３２ ミラー面
２３３ ミラー面
２３４ ミラー面
２３５ 光学絞り
Claims (21)
- 被写体に対して視差を有する２つの画像により被写体までの距離を測定するステレオカメラにおいて、
分光特性が互いに異なる視差を有する２つの画像における各光路の光路長を互いに同じくするとともに各光路を１つの光路に重ね合わせる分光合波手段と、
少なくとも異なる２つの分光特性の輝度を検出する撮像手段と、
重ね合わさった画像を前記撮像手段に結像させる光学部材と、
２つの画像間の視差により被写体までの距離を算出する距離算出手段と、
前記距離算出手段の前段に前記視差をもった２つの画像間のクロストークを除去するクロストーク除去手段とを有し、
前記クロストーク除去手段は、画面上の位置によってクロストークをキャンセルする量を変化させることを特徴するステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記クロストーク除去手段の後段に倍率色収差補正手段を有することを特徴とするステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記光学部材はズーム機能を有することを特徴とするステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記光学部材は車両の車内に設置し、前記分光合波手段は車両の車外に設置することを特徴とするステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記分光合波手段は、被写体からの最初の反射面から、次の反射面までが媒質で充填されていることを特徴とするステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記分光合波手段は、ダイクロイックミラー及びミラーを含んで構成されていることを特徴とするステレオカメラ。 - 請求項６記載のステレオカメラにおいて、
前記ダイクロイックミラーの光学面又は前記ミラーの反射面が前記光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、前記ダイクロイックミラー又は前記ミラーを設置していることを特徴とするステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記分光合波手段は、ハーフミラー及び分光フィルタを含んで構成されていることを特徴とするステレオカメラ。 - 請求項８記載のステレオカメラにおいて、
前記ハーフミラーの光学面又は前記分光フィルタの光学面が前記光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、前記ハーフミラー又は前記分光フィルタを設置していることを特徴とするステレオカメラ。 - 請求項１記載のステレオカメラにおいて、
前記分光合波手段は、クロスプリズムを含んで構成されていることを特徴とするステレオカメラ。 - 請求項１０記載のステレオカメラにおいて、
前記クロスプリズムにおける対向する側面に三角柱プリズム又は四辺柱プリズム又はミラーを設けることを特徴とするステレオカメラ。 - 請求項１〜１１のいずれかに記載のステレオカメラにおいて、
前記分光合波手段と前記光学部材との間に、前記光学部材に入射する光線の量を規制する光学絞りを配置することを特徴とするステレオカメラ。 - 請求項１〜１２のいずれかに記載のステレオカメラにおいて、
被写体から撮像手段までの間に赤外線カットフィルタを設けることを特徴とするステレオカメラ。 - 請求項１〜１３のいずれかに記載のステレオカメラにおいて、
被写体から撮像素子までの間に減光フィルタを設けることを特徴とするステレオカメラ。 - 請求項１〜１４のいずれかに記載のステレオカメラにおいて、
前記光学部材の光学面において前記撮像手段の撮像面に結像する光が入射する範囲にアライメントマーカーを設けることを特徴とするステレオカメラ。 - 請求項１５記載のステレオカメラにおいて、
前記アライメントマーカーは、曲率を有する面を備える透明部材であり、前記曲率を有する面によって焦点を前記撮像手段の撮像面上に結ぶことを特徴とするステレオカメラ。 - 請求項１〜１６のいずれかに記載のステレオカメラにおいて、
前記撮像手段とは前記視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように、別の撮像手段を設けることを特徴とするステレオカメラ。 - 請求項１７記載のステレオカメラにおいて、
移動体のウインドシールド上に特定波長の光を投光する光投光手段と、前記撮像手段とは前記視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように設けられた光検出手段と、前記光検出手段に特定波長の光のみを透過させるフィルタとを有し、前記ウインドシールドからの反射光の光量に基づき前記ウインドシールドに付着する雨滴を検出することを特徴とするステレオカメラ。 - 請求項１〜１８のいずれかに記載のステレオカメラにおいて、
前記視差をもった２つの画像の内の少なくとも一つに対して、座標変換処理を行う座標変換手段を有することを特徴とするステレオカメラ。 - 請求項１〜１９のいずれかに記載のステレオカメラにおいて、
前記視差をもった２つの画像のブロックマッチング演算の中に、ブロック内の平均値を減算する距離算出手段を有することを特徴とするステレオカメラ。 - 請求項１〜２０のいずれかに記載のステレオカメラにおいて、
前記撮像手段の情報より、各画素の分光状態を補間する分光状態補間処理手段を有することを特徴とするステレオカメラ。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013052093A JP6156724B2 (ja) | 2013-03-14 | 2013-03-14 | ステレオカメラ |
| EP14156443.5A EP2779654A3 (en) | 2013-03-14 | 2014-02-25 | Stereo camera |
| US14/190,517 US9414045B2 (en) | 2013-03-14 | 2014-02-26 | Stereo camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013052093A JP6156724B2 (ja) | 2013-03-14 | 2013-03-14 | ステレオカメラ |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014178190A JP2014178190A (ja) | 2014-09-25 |
| JP2014178190A5 JP2014178190A5 (ja) | 2017-01-12 |
| JP6156724B2 true JP6156724B2 (ja) | 2017-07-05 |
Family
ID=50193229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013052093A Expired - Fee Related JP6156724B2 (ja) | 2013-03-14 | 2013-03-14 | ステレオカメラ |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9414045B2 (ja) |
| EP (1) | EP2779654A3 (ja) |
| JP (1) | JP6156724B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013226654A1 (de) * | 2013-12-19 | 2015-06-25 | Robert Bosch Gmbh | Optisches Stereo-System |
| US10070055B2 (en) * | 2015-03-25 | 2018-09-04 | Massachusetts Institute Of Technology | Devices and methods for optically multiplexed imaging |
| JP6545829B2 (ja) | 2016-01-18 | 2019-07-17 | 富士フイルム株式会社 | 撮像装置、及び、画像データ生成方法 |
| CN108605083B (zh) | 2016-01-26 | 2020-09-15 | 富士胶片株式会社 | 摄像装置及图像数据生成方法 |
| JP6735474B2 (ja) * | 2016-02-29 | 2020-08-05 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| US10168144B2 (en) | 2016-03-25 | 2019-01-01 | Sony Corporation | Optical apparatus for 3D data collection |
| FR3049534B1 (fr) * | 2016-03-30 | 2018-05-18 | Valeo Systemes D'essuyage | Dispositif de vision pour vehicule automobile |
| CN106097367B (zh) * | 2016-06-21 | 2019-04-12 | 北京格灵深瞳信息技术有限公司 | 一种双目立体相机的标定方法及装置 |
| EP3505865B1 (en) * | 2016-08-29 | 2022-03-09 | Hitachi Astemo, Ltd. | On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system |
| US10453208B2 (en) | 2017-05-19 | 2019-10-22 | Waymo Llc | Camera systems using filters and exposure times to detect flickering illuminated objects |
| JP7009091B2 (ja) * | 2017-06-20 | 2022-01-25 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム |
| JP7071088B2 (ja) * | 2017-10-24 | 2022-05-18 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法、及びプログラム |
| JP6953297B2 (ja) * | 2017-12-08 | 2021-10-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
| WO2020090154A1 (ja) * | 2018-10-29 | 2020-05-07 | パナソニックＩｐマネジメント株式会社 | 情報提示方法、情報提示装置、及び、情報提示システム |
| WO2020203237A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| CN112923848B (zh) * | 2021-01-25 | 2022-05-24 | 上海兰宝传感科技股份有限公司 | 一种对射式激光尺寸测量传感器 |
| JP7371053B2 (ja) | 2021-03-29 | 2023-10-30 | キヤノン株式会社 | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 |
| CN113301321A (zh) * | 2021-04-01 | 2021-08-24 | 维沃移动通信（杭州）有限公司 | 成像方法、系统、装置、电子设备及可读存储介质 |
| CN115171607B (zh) * | 2022-09-06 | 2023-01-31 | 惠科股份有限公司 | 像素电路、显示面板及显示装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4295153A (en) * | 1980-03-31 | 1981-10-13 | GIBSON Stephen | Stereoscopic apparatus and method of using same |
| JP3348939B2 (ja) * | 1993-11-26 | 2002-11-20 | 富士重工業株式会社 | 車輌用距離検出装置 |
| US6018630A (en) * | 1994-05-17 | 2000-01-25 | Canon Kabushiki Kaisha | Camera viewfinder having a viewpoint detecting apparatus |
| JP3571828B2 (ja) * | 1995-10-27 | 2004-09-29 | 本田技研工業株式会社 | 車両用環境認識装置 |
| WO2000023845A2 (en) | 1998-10-20 | 2000-04-27 | Soerensen Svend Erik Boerre | A method for recording and viewing stereoscopic images in colour using multichrome filters |
| JP2002023044A (ja) * | 2000-07-12 | 2002-01-23 | Canon Inc | 焦点検出装置、測距装置及びカメラ |
| JP2003315686A (ja) * | 2002-04-23 | 2003-11-06 | Pentax Corp | 観察装置 |
| JP2006236022A (ja) * | 2005-02-25 | 2006-09-07 | Renasas Northern Japan Semiconductor Inc | 画像処理装置 |
| JP4246258B2 (ja) * | 2007-07-23 | 2009-04-02 | パナソニック株式会社 | 測距機能を有する複眼方式の撮像装置 |
| JP2009088844A (ja) * | 2007-09-28 | 2009-04-23 | Saxa Inc | 色分解式ステレオカメラ |
| JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| JP5273371B2 (ja) | 2008-12-24 | 2013-08-28 | 株式会社リコー | 画像処理装置及び方法、並びに車載カメラ装置 |
| US8345144B1 (en) * | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
| JP5427523B2 (ja) * | 2009-09-08 | 2014-02-26 | 本田技研工業株式会社 | 視覚装置 |
| JP5549566B2 (ja) | 2010-12-07 | 2014-07-16 | コニカミノルタ株式会社 | ステレオ撮影装置 |
| JP2012198031A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | 画像補正方法及び画像補正装置 |
| JP2012202942A (ja) * | 2011-03-28 | 2012-10-22 | Casio Comput Co Ltd | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
| JP5762211B2 (ja) * | 2011-08-11 | 2015-08-12 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
-
2013
- 2013-03-14 JP JP2013052093A patent/JP6156724B2/ja not_active Expired - Fee Related
-
2014
- 2014-02-25 EP EP14156443.5A patent/EP2779654A3/en not_active Ceased
- 2014-02-26 US US14/190,517 patent/US9414045B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US9414045B2 (en) | 2016-08-09 |
| US20140267622A1 (en) | 2014-09-18 |
| EP2779654A3 (en) | 2014-12-10 |
| JP2014178190A (ja) | 2014-09-25 |
| EP2779654A2 (en) | 2014-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6156724B2 (ja) | ステレオカメラ | |
| EP2875315B1 (en) | Stereo camera | |
| JP2014178190A5 (ja) | ||
| JP2022001882A (ja) | 測距装置及び移動体 | |
| JP5273356B2 (ja) | 複眼画像入力装置及びそれを用いた距離測定装置 | |
| US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
| KR101458287B1 (ko) | 거리 측정용 카메라 장치 | |
| JP4992481B2 (ja) | 焦点検出装置および撮像装置 | |
| JP2018077190A (ja) | 撮像装置及び自動制御システム | |
| JP5440903B2 (ja) | 撮像装置とステレオカメラ装置及び車外監視装置 | |
| JP2009168995A (ja) | 測距装置および撮像装置 | |
| JP5278814B2 (ja) | ステレオカメラ装置及び車外監視装置 | |
| US20140071247A1 (en) | Image pick-up device and distance measuring device | |
| JP2007295113A (ja) | 撮像装置 | |
| JP2008157851A (ja) | カメラモジュール | |
| JP2017167126A (ja) | 測距装置及び移動体 | |
| WO2016084926A1 (ja) | 撮像システム | |
| JP6202364B2 (ja) | ステレオカメラ及び移動体 | |
| US10900770B2 (en) | Distance measuring device, imaging apparatus, moving device, robot device, and recording medium | |
| JP7207889B2 (ja) | 測距装置および車載カメラシステム | |
| JP2014041171A (ja) | 偏光装置及び撮像装置 | |
| JP2007333525A (ja) | 距離測定装置 | |
| KR20100020200A (ko) | 3차원 영상 획득을 위한 스테레오 비젼 카메라 | |
| JP2007057386A (ja) | カメラ１台を用いたインライン３次元計測装置及び計測方法 | |
| JP2014178494A (ja) | 視差画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170525 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6156724 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |