本発明は、小型、薄型の測距機能を有する複眼方式の撮像装置に関する。特に、複数の撮像光学レンズによって画像を撮像し、被写体までの距離を測定する複眼方式の撮像装置に関する。
光軸が異なる複数のレンズを介して被写体を撮像すると、撮像した複数の画像間において、被写体像の結像位置が被写体距離に応じてずれる。このズレは視差と呼ばれる。撮像した複数の画像からこの視差を求めることができれば、被写体までの距離を測定することができる。このような原理に基づく測距機能を備えた撮像装置を、車両やロボットなどの周辺監視、前方監視、乗員監視などに利用し、自動制御や安全技術に活用する試みが行われている。
これまでにも、光軸が異なる2つのカメラをフレームなどに固定して2つの画像を撮像し、この2つの画像から被写体までの距離を測定するステレオカメラが開発されている。撮像した2つの画像から視差を求める方法としては、撮像した2つの画像のうちの一方を複数個のブロックに分割し、各ブロックに対応するブロックが他方の画像内のどこに位置するかを探索し、2つの画像間でブロック毎にズレ量を求め、そのズレ量を視差量とする方法が一般的である。この方法では、2つの画像間に視差以外の要因で違いが生じると測定距離に誤差が生じてしまう。
視差以外で2つの画像間に違いが生じる要因として、2つのカメラの取り付け誤差がある。例えば、2つのカメラの光軸の相対的関係によって、得られる視差が変化し、被写体距離に誤差を生じる。従って、2つのカメラをフレームなどに精度良く固定することが重要である。
このようなカメラの取り付け精度の問題を軽減するために、複数のレンズと撮像素子とを一体化し、更に小型化をも可能にした測距機能を有する複眼方式の撮像装置が知られている(例えば、特許文献1および特許文献2参照)。
図10に、従来の測距機能を有する複眼方式の撮像装置の構成および画像処理フローの概要を示す。この撮像装置は、略同一平面上に、光軸が互いに平行になるように配置された2つのレンズ100a、100bを備えたレンズアレイ100と、2つのレンズ100a、100bにそれぞれ対応する2つの撮像領域101a、101bとを備える。2つの撮像領域101a、101bは、共通する1つの撮像素子の受光領域を分割することで得ている。2つのレンズ100a,100bを通過していない光線が撮像領域101a、101bに入射しないように、鏡筒102が、レンズ100a、100bと撮像領域101a、101bとの間の2つの光路を外界から遮蔽している。また、レンズ100a,100bのうちの一方のレンズを通過した光線が、撮像領域101a,101bのうち前記一方のレンズに対応しない撮像領域に入射することがないように、2つの光路間に遮光壁150が配置されている。
この撮像装置によれば、2つのレンズ100a、100bをレンズアレイ100上に一体に成形し、1つの撮像素子の受光領域を分割して2つの撮像領域101a、101bを得ているので、従来のステレオカメラのように、2つの光学系の取付誤差に起因する測距精度の劣化を低減することができる。また、レンズ100a,100b間に遮光壁150を設けることにより、レンズ100a,100bを、それぞれの結像領域が重なり合うように近接して配置することができるので、小型で安価な撮像素子を用いることができる。
このような複眼方式の撮像装置では、撮像領域101a、101bが2つの画像を撮像し、視差量導出手段106は2つの画像から視差量を求める。視差量導出手段106は、2つの画像のうちの一方の画像を複数のブロックに分割するブロック分割部107と、各ブロックに対応するブロックが他方の画像内のどこに位置するかを探索する対応位置探索部108とから構成される。
この視差量導出手段106による視差量の演算方法を図11を用いて詳細に説明する。
図11において、400aは撮像領域101aが撮像した画像、400bは撮像領域101bが撮像した画像である。画像400a,400bは、X軸方向(水平方向)及びY軸方向(垂直方向)にマトリクス状に配置された多数の画素がそれぞれ有する輝度情報の集合である。画像400aを基準画像とし、この画像400aを複数のブロックに分割する。各ブロックは所定数の画素を含む。401aは分割された複数のブロックのうちの1つを示す。画像400bを被比較画像とし、この画像400b内に、上記ブロック401aと同一サイズのブロック401bを設定する。二点鎖線401b’は、X軸座標値及びY軸座標値がブロック401aと同一であるブロックの位置を示し、ブロック401aに対するブロック401bの基準位置である。被比較画像401b内において、基準位置401b’に対してブロック401bの位置をX軸方向及びY軸方向にそれぞれ移動させ、ブロック401bの各位置で、ブロック401a内の画像とブロック401b内の画像と差(即ち、相関)を求める。差が最小であるとき(即ち、相関が最大であるとき)のブロック401bの基準位置401b’に対するX軸方向の移動量m及びY軸方向の移動量nが、各方向の視差量となる。この視差量を用いることで、ブロック401a内に撮像された被写体までの距離を求めることができる。
特開2003−143459号公報
特開平7−154663号公報
特開平2−280102号公報
図11で示した測距方法は、光軸が互いに平行である2つの光学系を介して撮像された2つの画像は、視差によって被写体像の結像位置は異なるが、被写体像自体は変わらないということが前提である。しかしながら、図10に示した従来の撮像装置ではこの前提が崩れ、その結果、被写体距離を精度良く測定することができないという問題を有している。これを以下に説明する。
図12は、図10に示した撮像装置が被写体200を撮像する様子を示している。120aはレンズ100a及び撮像領域101aにより構成される光学系の画角(視野)、120bはレンズ100b及び撮像領域101bにより構成される光学系の画角(視野)を示す。画角120a,120bは、主として撮像領域101a,101bにより決定される。被写体200が2つの光学系の画角120a,120bの双方に含まれるように撮像装置の姿勢が決定されている。
210は、照明、太陽、高反射率物体などの高輝度の被写体である。高輝度被写体210は、画角120a,120bのいずれにも含まれていない。しかしながら、高輝度被写体210が画角120aの近くに位置する場合、高輝度被写体210からの光線211がレンズ100aに入射し、遮光壁150で反射し、撮像領域101aに入射する。
図13において、410a,410bは図12の撮像領域101a,101bが撮像した画像である。撮像領域101aから得られた画像410aでは、被写体200の像202に、高輝度被写体210からの光線211によって発生した写り込み像212が重畳されている。一方、撮像領域101bから得られた画像410bでは、被写体200の像202のみが撮像されており、写り込み像212は存在しない。
このように、画角120a,120b外に位置する被写体であっても、それが強い光線を発する場合には、その光線が遮光壁150で反射して2つの撮像領域101a,101bのうちの一方のみに入射して、得られる2つの画像中の被写体像が異なってしまうことがある。特に、高輝度被写体210が撮像装置の画角のごく近傍に位置している場合、即ち、高輝度被写体210からの光線211が遮光壁150の撮像領域に近い位置に入射し反射する場合、撮像領域に入射する反射光はレンズにより小さく集束されているので、写り込み像212は鮮明で明るいものとなりやすい。
図11で説明した視差量の演算において、2つの画像400a,400bのうちの一方にのみ図13で説明した写り込み像212が発生すると、ブロック401a内の画像とブロック401b内の画像と差(相関)を正確に求めることができないので、被写体距離を正確に演算できない。また、写り込み像212が比較的鮮明である場合、写り込み像212と被写体像202との空間周波数が近いので、信号処理により写り込み像212のみを選択的に除去することは困難である。
図12において、入射した光線211が吸収されるように遮光壁150の表面を処理することにより、遮光壁150で反射される光量を低減することは可能であるが、反射を完全になくすことは不可能である。遮光壁150での反射を完全になくすことができなければ、例えば被写体200に比べて高輝度被写体210がより強い光線を発するような場合には、遮光壁150での僅かな反射光によって写り込み像212が発生し測距精度が劣化する可能性は十分にある。
また、図12において、遮光壁150を取り除けば、レンズ100aを通過した光線211は遮光壁150で反射されることがないので、撮像領域101aから得られる画像400aに写り込み像212は発生しない。しかしながら、光線211が隣の撮像領域101bに入射して、撮像領域101bから得られる画像400bに写り込み像212と類似した有害な像が発生する。遮光壁150を取り除き、且つ、レンズ100a,100b間隔(即ち、撮像領域101a,101b間隔)を拡大すれば、上述した測距精度を悪化させる原因を除去できるが、大きな撮像素子を用いる必要があるのでコストが上昇するという新たな問題が発生する。
上述した測距精度の劣化は、高輝度被写体210からの光線211が遮光壁150ではなく鏡筒102の内面に入射し反射して撮像領域に入射することによっても同様に発生する。しかしながら、この問題は、鏡筒102を撮像領域101a,101bから離して配置することで解消できる。
本発明は、上記の複眼方式の撮像装置が有している問題を解決し、画角外に存在する高輝度被写体からの光線によって測距精度が劣化しない撮像装置を提供することを目的とする。
本発明の撮像装置は、略同一平面上に配置された複数の光学レンズと、前記複数の光学レンズと一対一に対応した複数の撮像領域と、前記複数の光学レンズのうちの一つの光学レンズを通過した光線が、前記一つの光学レンズに対応しない撮像領域に入射するのを防止する遮光壁と、前記複数の撮像領域で撮像された複数の画像を比較して視差量を求める手段とを備える。前記遮光壁は入射した光線を拡散反射させる手段を備える。前記撮像装置は前記複数の撮像領域で撮像された複数の画像の空間周波数の低周波数成分を除去する手段をさらに備える。前記視差量を求める手段は、前記低周波数成分を除去する手段により低周波数成分が除去された前記複数の画像を比較して視差量を求めることを特徴とする。
本発明によれば、遮光壁に入射した光線は拡散反射されるので、この反射光によって発生する写り込み像の高周波数成分が平滑化され、低周波数成分にシフトする。この低周波数成分を信号処理によって除去することにより、遮光壁で反射した光線が測距精度に及ぼす影響を確実に除去することがきる。
このように、照明、太陽、反射率の高い物体などの高輝度被写体からの光線が、撮像領域に直接は入射しないが、遮光壁に入射し反射して撮像領域に入射する場合に、この高輝度被写体からの光線に起因する被写体距離の測定精度の悪化を防止できる。よって、高精度に測距できる撮像装置を実現できる。
図1は、本発明の一実施形態に係る測距機能を有する複眼方式の撮像装置の概略構成を示した図である。
図2Aは、本発明の一実施形態に係る撮像装置において2つの撮像領域が撮像した画像を示す。
図2Bは図2Aの一点鎖線上の各画素の輝度情報を示す。
図2Cは低周波数成分を除去した後の図2Aの一点鎖線上の各画素の輝度情報を示す。
図3は、本発明の撮像装置において遮光壁の散乱特性を評価する方法を示す図である。
図4は、本発明の撮像装置において遮光壁の散乱特性の定義を説明する図である。
図5は、本発明の撮像装置において、有害な写り込み像が発生する条件を説明する図である。
図6は、本発明の撮像装置において、画像の合成方法を説明する図である。
図7は、本発明の撮像装置において、遮光壁及び鏡筒によって異なる位置に写り込み像が発生する様子を説明する断面図である。
図8は、本発明の実施例2の撮像装置に使用した遮光壁の断面図である。
図9Aは、本発明の実施例4の撮像装置に使用した遮光壁の断面図である。
図9Bは、図9Aの部分9Bの拡大断面図である。
図10は、従来の複眼方式の撮像装置の概略構成を示した図である。
図11は、従来の複眼方式の撮像装置において、視差量の演算方法を説明する図である。
図12は、従来の複眼方式の撮像装置において、遮光壁によって写り込み像が発生する現象を説明する図である。
図13は、従来の複眼方式の撮像装置において、一方のみに写り込み像が発生した2つの画像を示した図である。
本発明の上記の撮像装置において、前記光線を拡散反射させる手段は、前記遮光壁の表面に設けられた凹凸であることが好ましい。これにより、遮光壁に拡散反射特性を簡単且つ安価に付与することができる。
この場合において、前記凹凸は不規則に配置されていることが好ましい。これにより、反射光が干渉することにより写り込み像に高周波数成分が発生するのを防止できる。従って、低周波数成分を除去する手段で写り込み像を確実に除去することができるので、誤差の少ない測距が可能になる。
あるいは、前記光線を拡散反射させる手段は、少なくとも前記遮光壁の表面近傍に含有された透明微粒子であっても良い。これによっても、遮光壁に拡散反射特性を簡単且つ安価に付与することができる。
この場合において、前記透明微粒子の形状が不規則であることが好ましい。これにより、反射光が干渉することにより写り込み像に高周波数成分が発生するのを防止できる。従って、低周波数成分を除去する手段で写り込み像を確実に除去することができるので、誤差の少ない測距が可能になる。
本発明の上記の撮像装置において、前記低周波数成分を除去する手段は、視差が発生する方向の空間周波数の低周波数成分を除去することが好ましい。これにより、演算時間を短縮化することができる。
前記遮光壁となす角度が前記撮像装置の半画角である光線に対する前記遮光壁の拡散角度が5度以上であることが好ましい。これにより、写り込み像の高周波数成分を低周波数成分に確実にシフトさせることができるので、誤差の少ない測距が可能になる。
前記光学レンズの中心を通過し前記遮光壁に入射する光線であって、前記遮光壁で拡散反射された反射光の中心光線が前記撮像領域の外周端のうち前記遮光壁に最も近い位置に入射する光線に対する前記遮光壁の拡散倍率をα、前記光学レンズの限界解像周波数をβとしたとき、前記低周波数成分を除去する手段は、撮像された前記複数の画像のβ/α以下の空間周波数成分を除去することが好ましい。このように撮像装置の構成に応じて低周波数成分を除去する際の閾値を設定することにより、測距に必要な被写体像に関する情報を損なうことなく、写り込み像の影響のみを除去することができるので、誤差のより少ない測距が可能になる。
本発明の撮像装置が被写体を照明する照明装置を更に備え、被写体像の輝度分布に応じて照明の明るさを変えることが好ましい。これにより、画角外に配置された高輝度被写体の輝度が極めて高い場合であっても、高精度に測距することができる。
本発明の撮像装置が、前記複数の撮像領域で撮像された前記複数の画像のうちの一つの画像を複数のブロックに分割する手段と、前記複数のブロックのそれぞれに対応するブロックを、前記複数の画像のうちの他の画像内において探索する手段と、前記複数の画像から1つの合成画像を得る手段とを更に備えることが好ましい。この場合、前記合成画像を得る手段は、前記複数の画像に含まれる互いに対応する複数のブロックのコントラストを比較し、コントラストのより大きなブロックを選択して前記合成画像を得ることが好ましい。これにより、測距に加えて良好な被写体像を出力できる撮像装置を実現できる。
この場合、本発明の撮像装置が、前記複数の光学レンズのいずれをも通過しない光線が前記複数の撮像領域のいずれかに入射するのを防止する鏡筒を更に備えることが好ましい。この場合、画角の外にある共通する被写体からの光線が前記遮光壁又は前記鏡筒の内面で反射して前記複数の撮像領域に入射する位置が、前記複数の撮像領域間で互いに異なることが好ましい。これにより、複数の撮像領域から得られる複数の画像における写り込み像の位置を互いに異ならせることができるので、高コントラストの合成画像を得ることができる。
以下に,本発明の一実施形態を示す。但し、本発明はこの実施形態に限定されないことはいうまでもない。
図1に本発明の一実施形態に係る測距機能を有する複眼方式の撮像装置の構成および画像処理フローの概要を示す。この撮像装置は、略同一平面上に、光軸が互いに平行になるように配置された2つのレンズ100a、100bを備えたレンズアレイ100と、2つのレンズ100a、100bにそれぞれ対応する2つの撮像領域101a、101bとを備える。2つの撮像領域101a、101bは、共通する1つの撮像素子の受光領域を分割することで得ている。2つのレンズ100a,100bを通過していない光線が撮像領域101a、101bに入射しないように、鏡筒102は、レンズ100a、100bと撮像領域101a、101bとの間の2つの光路を外界から遮蔽している。また、レンズ100a,100bのうちの一方のレンズを通過した光線が、撮像領域101a,101bのうち前記一方のレンズに対応しない撮像領域に入射することがないように、2つの光路間に遮光壁110が配置されている。遮光壁110は入射した光線を散乱して反射(即ち、拡散反射)させる散乱手段を備えている。
220は、撮像装置の画角外に配置された高輝度被写体(図示せず)から発せられ、レンズ100aを通過し、遮光壁110上の点221に入射する光線の一例を示している。光線220は、点221で反射する際に遮光壁110が有する散乱特性により拡散反射し、撮像領域101aに拡がって入射する。このように光線220が拡散反射することにより、撮像領域101aが撮像する画像において光線220による写り込み像は平滑化される。これにより、写り込み像のコントラストが低下し、その画像情報の高周波数成分が低周波数成分にシフトする。撮像領域101aは、この低周波数成分にシフトした写り込み像と、レンズ100aを介して撮像領域101aに直接入射し結像された被写体像とが重なり合った画像を撮像し、画像情報に変換し出力する。
図2Aにおいて、420a,420bは、撮像領域101a,101bが撮像した画像である。202はレンズ100a,100bを介して撮像領域101a,101bに直接入射し結像された被写体像であり、222はレンズ100aを通過した光線220が遮光壁110で拡散反射して撮像領域101aに入射することで発生した写り込み像である。図2Bは、図2Aの一点鎖線421上の各画素の輝度情報を示す。遮光壁110が有する散乱特性により写り込み像222の画像情報の高周波数成分が低周波数成分にシフトするので、写り込み像222の輝度は被写体像202の輝度に比べて緩やかに変化している。撮像領域101aから得られる画像情報では、被写体像202の輝度情報に、写り込み像222の緩やかに変化する輝度情報が重畳されている。
図1に示すように、撮像領域101a,101bから出力された画像情報は、低周波数成分除去手段105a,105bに入力され、空間周波数の低周波数成分が信号処理により取り除かれる。例えば、微分フィルターやFFTを用いた周波数カットフィルターなどのデジタル信号処理を行うことで、低周波数成分を容易に分離することが可能である。除去する低周波数成分の周波数(閾値)は、遮光壁110の散乱特性や、高輝度被写体が撮像装置の画角にどれほど近づけば測距精度に影響を与える有害な写り込み像が発生するか、等を考慮して設定される。
図3を用いて遮光壁110の散乱特性の評価方法を説明する。レーザ光源800から遮光壁110に対してレーザ光801を斜めに入射させる。レーザ光801と遮光壁110の表面とがなす角度をφとする。レーザ光801は遮光壁110上の点803で拡散反射する。この反射光805を、その受光面が正反射方向に対して垂直に配置された撮像素子810で検出し、撮像素子810上に形成されるレーザ光のスポットサイズにより、遮光壁110の散乱特性を評価する。
図4に、遮光壁110上の点803でのレーザ光の反射光が撮像素子810上に形成するスポットの、反射光の中心光線806と交差する直線に沿った輝度分布807を示す。輝度分布807は、中心光線806が入射するスポットの中心P0で輝度が最大となり、これより離れるにしたがって徐々に低下するなだらかな曲線を描く。輝度が最大となるスポットの中心P0と、輝度が最大値の10分の1になる点P1との距離をスポット半径と呼ぶ。レーザ光が反射する遮光壁110上の点803に対してスポットの中心P0及び点P1がなす角度を拡散角度Rと呼ぶ。レーザ光801が遮光壁110の表面となす角度φ(図3参照)が変化すると拡散角度Rは変化する。従って、拡散角度Rは角度φの関数R(φ)として表される。この関数R(φ)を遮光壁110の散乱特性と呼ぶ。散乱特性R(φ)は、レーザ光801の遮光壁110に対する入射角度を変え、それに応じて変化する正反射方向に正対するように撮像素子810の位置及び角度を変えて、反射光を測定することで求めることができる。
遮光壁110で反射した光線が撮像領域810上に形成するスポットの大きさ(スポット半径)は、反射位置803と撮像素子810との距離に依存する。図5に示すように、入射角度φでレンズ100aの中心を通過する光線220が散乱特性R(φ)を有する遮光壁110に入射し拡散反射されて撮像領域101aに入射する場合を考える。レンズ100aの焦点距離をf、レンズ100aの光軸103から遮光壁110までの距離をsとすると、遮光壁110が撮像領域101aに対して垂直な場合、光線220の遮光壁110上の反射点221から撮像領域101aまでの反射光の中心光線に沿った距離L1は、
となる。従って、光線220の径は、遮光壁110上の反射点221から距離L1だけ離れた地点において、
で求められるα(φ)倍だけ拡大される。このα(φ)を光線220に対する遮光壁110の拡散倍率と呼ぶ。
図5において、レンズ100aの中心を通過する光線のレンズ100aに対する入射角度φが撮像装置の半画角θに近づくほど、この光線が遮光壁110に入射する位置は撮像領域101aに近づき、コントラストの強い有害な写り込み像が発生し測距精度が悪化する。このような観点から、本発明では、遮光壁110に対して入射光線がなす角度φが半画角θであるときの遮光壁110の拡散角度(即ち散乱特性R(θ))を用いて遮光壁110の散乱特性を評価する。遮光壁110の拡散角度は大きい方が、写り込み像の高周波数成分を低周波数成分に確実にシフトさせることができるので好ましい。
コントラストが最も強い写り込み像が発生する可能性が高いのは、図5の光線224のように、入射角θ1(θ1>θ)でレンズ100aの中心を通過し、遮光壁110上の点225に入射し拡散反射され、拡散反射された光の中心光線が撮像領域101aの外周端のうち遮光壁110に最も近い位置に入射する場合である。この場合、光線224に対する遮光壁110の拡散倍率はα(θ1)である。レンズ100aの限界解像周波数をβ[cycle/画素]とすると、最も有害な写り込み像を発生させる光線224が拡散倍率α(θ1)で散乱されるので、遮光壁110で拡散反射された光線224の限界解像周波数はβ/α(θ1)[cycle/画素]に低下する。即ち、光線224が遮光壁110で拡散反射されることにより、光線224のうちβ/α(θ1)[cycle/画素]以上の高周波数成分は平滑化され低周波数成分にシフトする。従って、撮像領域101aから出力された画像からβ/α(θ1)[cycle/画素]以下の低周波数成分を除去することにより、写り込み像を構成する成分を確実に除去することができる。なお、低周波数成分を除去する際の閾値は、上記のβ/α(θ1)[cycle/画素]である必要はなく、被写体像の特徴が失われないのであればこれより高い周波数であっても良い。
図2Cに、撮像領域101a,101bが撮像した画像(図2A参照)から、その空間周波数の低周波数成分を除去して得た画像の、図2Aの一点鎖線421上の各画素の輝度情報を示す。図2Bに示した輝度情報から、信号処理により低周波数成分を除去すると、図2Cのように被写体像202の輪郭などの輝度変化が大きな部分のみを抽出することができる。このように、低周波数成分を除去することにより遮光壁110での反射光による写り込み像222は選択的に除去されるが、被写体像202の特徴が失われることはない。
視差量導出手段106(図1参照)は、上記のように低周波数成分が除去された2つの画像から、従来の撮像装置の測距演算(図11参照)と同様に視差量を求める。本実施形態では、図11において、ブロック401a内の画像とブロック401b内の画像と差(相関)に関する評価値R(m,n)を下記式で得られる差分絶対値総和(SAD)を用いて求める。
ここで、I1(k,l)は、基準画像400aのブロック401a内の画素の輝度、I2(k+m,l+n)は、被比較画像400bのブロック401b内の画素の輝度である。k,lは、画素のX軸方向及びY軸方向におけるアドレス(整数)である。ブロック401bのX軸方向及びY軸方向の移動量m、nは整数に限る必要はない。例えば、周辺の画素の輝度を基に内挿することで画素間の輝度を求めることができ、これにより画素ピッチ以下の分解能で視差量を求めることができる。画素間の輝度を求めるための内挿方法としては、共1次内挿法、共3次内挿法、3次たたみ込み内挿法など、周知の方法を用いることができる。
評価値R(m,n)は、ブロック401a内の画像とブロック401b内の画像とが似通うほど小さくなり、逆に異なるほど大きくなる。評価値R(m,n)が最小となるときのm,nがX軸方向及びY軸方向の視差量となる。
ブロック401bをX軸方向及びY軸方向に移動させて(即ち、m,nの両方を変化させて)、その都度、評価値R(m,n)を求めると、演算に多くの時間が必要となる。演算時間を短縮するためには、例えば、レンズ100a,100bの中心を結ぶ基線の方向をX軸方向と一致させればよい。これにより、Y軸方向の視差成分を無視することができる。この場合、ブロック401bをX軸方向にのみ移動させて(即ち、常にn=0とし、mのみを変化させて)、評価値R(m,0)を求めるだけで足りる。評価値R(m,0)が最小となるときのmが視差量となる。
この視差量mは、撮像素子の画素ピッチを基準とする値である。従って、被写体までの距離Aは、撮像素子の画素ピッチをp、レンズ100a,100bの焦点距離をf、レンズ100a,100b間の間隔をDとすると、三角測量の原理より、
にて求めることができる。
以上のように、本実施形態によれば、画角の近くに輝度が高い被写体などがあっても、これによる測距精度の劣化を防止でき、被写体までの距離を正しく測定することができる。
高輝度被写体からの光線が遮光壁に入射し拡散反射する位置から撮像領域までの距離が小さいと、反射光が十分に拡散しないで撮像領域に入射してしまい、低周波成分除去手段により写り込み像を十分に取り除くことができない可能性がある。このような場合には、図5に示すように、撮像領域と遮光壁110との間に画像取得を行わない無効領域301を設けることが好ましい。図5では、無効領域301は隙間(空白)として描かれているが、撮像領域101a,101bを共通する1つの撮像素子の受光領域を分割して得ている場合には、無効領域301内の画素からの情報を利用しない等の方法により、無効領域301を実質的に設けることが可能である。
また、高輝度被写体が画角の近くにあり、且つその輝度が極めて高い場合、この高輝度被写体の写り込み像によって撮像素子が飽和してしまい、被写体像の画像情報を得ることができないことがある。そのため、画像情報の空間周波数の低周波数成分を除去しても、被写体像の画像情報を得ることができない場合がある。このような場合、被写体を照明する照明装置を設け、被写体像の輝度分布に応じて照明の明るさを変えることが好ましい。これにより、被写体像の画像情報の欠落を防止することができ、画角の近くにある高輝度被写体の輝度に対する許容範囲が増加する。
遮光壁110は入射する光線の全てを拡散反射させる必要はなく、一部を吸収しても良い。一般に、遮光壁110が光吸収特性を有している方が、写り込み像による影響を少なくすることができるので好ましい。この場合も、吸収されずに反射される光線が拡散反射されるので、上記の効果が得られる。
本発明の撮像装置は、被写体までの距離を測定する機能を有するが、同時に被写体像を撮像することもできる。しかしながら、上記説明から明らかなように、画角外に配置された高輝度被写体からの光線を遮光壁でいくら拡散反射しても、高周波数成分が低周波数成分にシフトした写り込み像が被写体像に重なるので、そのままでは良好な被写体像を得ることはできない。また、撮像領域から得られた画像情報から空間周波数の低周波数成分を除去すると、同時に被写体像の濃淡情報の一部も除去されてしまうので、やはり良好な被写体像を得ることができない。
そこで、本実施形態では、視差量を求める際に使用した、撮像領域101a,101bから得た画像(低周波数成分を除去する前の画像)から、写り込み像の影響が少ない部分を選択して合成することで良好な画像を得る。これを図6を用いて説明する。図6において、600a,600bは、それぞれの撮像領域101a,101bから得た、低周波数成分を除去する前の画像であり、202は被写体像、604a,604bは画角外に配置された共通する高輝度被写体による写り込み像である。本実施形態では、このような2つの画像600a,600bを合成して、1枚の良好な画像600cを得る。以下にその方法を説明する。
本実施形態では、図6のように、被写体像202に対して写り込み像604a,604bが重畳される位置を画像600a,600b間で異ならせる必要がある。これを実現する構成を図7に示す。図7において、240a,240bは、画角外に配置された高輝度被写体(図示せず)の同一位置から発せられた光線である。2つのレンズ100a,100b間の距離に比べて高輝度被写体までの距離が大きいので光線240a,240bは平行とみなすことができる。光線240aはレンズ100aを通過し遮光壁110に入射し拡散反射されてその中心光線は撮像領域101a上の点241aに入射する。一方、光線240bはレンズ100bを通過し鏡筒102の内面に入射し拡散反射されてその中心光線は撮像領域101b上の点241bに入射する。撮像領域101bと鏡筒102との間には隙間302が設けられているので、撮像領域101a及び遮光壁110間の距離と撮像領域101b及び鏡筒102間の距離とは異なる。従って、撮像領域101aに対する光線240aの入射位置241aと、撮像領域101bに対する光線240bの入射位置241bとは異なる。従って、図6のように、写り込み像604a,604bが形成される位置を画像600a,600b間で異ならせることができる。
なお、高輝度被写体の同一位置から発せられた光線による写り込み像604a,604bが形成される位置を画像600a,600b間で異ならせるための構成は、図7に限定されない。高輝度被写体からの光線を反射して撮像領域101a,101bに入射させる可能性がある、撮像領域101a,101bの周辺に配置された部材(例えば、遮光壁110、鏡筒102)の撮像領域101a,101bに対する相対的関係が撮像領域101a,101b間で異なっていればよい。例えば、撮像領域101a,101bに対する遮光壁110及び鏡筒102の角度を撮像領域101a,101b間で異ならせても良い。
上述したように、本実施形態の撮像装置では、被写体までの距離を測定する際に、被写体上のある場所に対応するブロック(画像)を2つの画像600a,600b上で探索し、そのブロック間のズレ量から視差量を求める。この演算の過程で得た2つの画像600a,600bに含まれる互いに対応する2つのブロックを比較し、より良好な画像を有するブロックを選択する。このような演算を被写体像を構成する全てのブロックについて行い、選択したブロックを合成することにより、全体して良好な画像の被写体像を得ることができる。
図6において、601a,602a,603aは、上述した視差量を求める演算において使用した画像600a内の代表的なブロックである。601b,602b,603bは、それぞれブロック601a,602a,603aに対して差が最も小さいと判断された画像600b内のブロックである。従って、ブロック601aとブロック601bとは被写体上の同一位置の画像情報を含んでいる。同様に、ブロック602aとブロック602b、ブロック603aとブロック603bも、それぞれ被写体上の同一位置の画像情報を含んでいる。
被写体像202において写り込み像604a,604bが重なった部分では、画像のコントラストが低下する。従って、2つの画像600a,600bに含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストの大きい方のブロックを選択すれば、写り込み像の少ないブロックを選択することができる。例えば、ブロック601a及びブロック601bのコントラストを比較すると、両者はほぼ同じであるので、ブロック601a内の画像とブロック601b内の画像とを平均化して得た画像を合成画像600cのブロック601cの画像として使用する。ブロック602a及びブロック602bのコントラストを比較すると、ブロック602b内の画像の方がコントラストが大きいので、ブロック602b内の画像を合成画像600cのブロック602cの画像として使用する。ブロック603a及びブロック603bのコントラストを比較すると、ブロック603a内の画像の方がコントラストが大きいので、ブロック603a内の画像を合成画像600cのブロック603cの画像として使用する。このようにして、低周波数成分が除去される前の画像600a,600bを構成するブロックから選択したブロックを用いて合成画像600cを生成することにより、写り込み像604a,604bがない良好な画像を得ることができる。
上記の説明では、画像600a,600bを、ブロックが互いに重ならないように複数のブロックに分割したが、本発明はこれに限定されず、ブロックが互いに重なり合うように分割しても良い。これにより、合成画像600cを構成するブロックも互いに重なり合うことになるので、ブロック間の画像を滑らかに繋ぐことができ、その結果、より良好な合成画像600cを得ることができる。
上記の実施形態では、撮像領域101a,101bは、共通する1つの撮像素子の受光領域を分割して形成したが、本発明はこれに限定されず、2つの独立した撮像素子を用いても良い。
本発明の撮像装置において、光学レンズと撮像領域とからなる光学系の数は、上記の実施形態のように2つである必要はなく、3つ以上であっても良い。
上記の実施形態では、遮光壁110の撮像領域101a,101bに対向する面は平面であったが、本発明はこれに限定されず、例えば凸面、凹面などの曲面であっても良い。
以下に、本発明を、実施例を用いて更に具体的に説明する。
(実施例1)
本実施例1に係る撮像装置の構成は図1に示すとおりとした。ポリカーボネイトを用いて、緑色の波長に対する焦点距離が3.75mm、レンズ100a,100bの基線に沿った中心間隔が2.6mmである2つのレンズ100a,100bを備えるレンズアレイ100を一体に成型した。このレンズアレイ100の結像面に、画素ピッチ2.2μmで、2048画素×1530画素の1つの白黒CCDを配置した。このCCDの受光領域に、レンズ100a,100bに対応する2つの撮像領域101a,101bを設定した。各撮像領域は、800画素×600画素であった。レンズ100a,100bと撮像領域101a,101bとの間に、波長を選択するために緑色のフィルター(図示せず)を挿入し、レンズ100a,100bの色収差による被写体像の解像度低下を防止した。レンズ100a,100bとCCDとを位置決めし、且つ、レンズ100a,100bを通過しない光線が撮像領域101a,101bに入射するのを防止するために、カーボンを含有させることで黒色にしたポリカーボネイトからなる鏡筒102を作製した。同様にカーボンを含有させることにより黒色にしたポリカーボネイトからなる遮光壁110を作製した。遮光壁110の表面に光線を拡散反射させる手段を設けるために、中心線表面粗さ(Ra)が15μmとなるように遮光壁110の表面をサンドブラスト処理した。この遮光壁110の散乱特性を前述の方法により測定したところ、遮光壁110の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は5度であった。また、レンズの中心を通過し遮光壁110に入射する光線であって、遮光壁110で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁110に最も近い位置に入射する光線に対する遮光壁110の拡散倍率は約30倍であった。レンズ100a,100bの限界解像周波数は、CCDの限界解像周波数より高く、2cycle/画素となるように設計した。よって、遮光壁110で拡散反射した光による写り込み像の空間周波数のうち、2/30≒0.067cycle/画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。
なお、本実施例1では、遮光壁110の表面をサンドブラスト処理することにより、光線を拡散反射させる手段を形成したが、本発明はこれに限定されない。例えば、光線を拡散反射させるための凹凸を設けた金型を用いて遮光壁110を成型することによって、遮光壁110の表面に光線を拡散反射させる手段を形成することもできる。
遮光壁110の表面の凹凸が規則的であると、この凹凸で反射した光が干渉し、写り込み像の輝度にムラが生じ、写り込み像に高周波数成分が発生する可能性があるので、遮光壁110の表面の凹凸は不規則であることが好ましい。
撮像領域101a,101bから出力された2つの画像の空間周波数の低周波数成分を、低周波数成分除去手段105a,105bにより除去した。具体的には、画像に対して2次元フーリエ変換を行い画像情報を空間周波数に変換した後、0.067cycle/画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。
なお、本実施例では、空間周波数が0.067cycle/画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。
また、本実施例では、画像情報の2次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ100a,100bの基線方向(即ち、視差が発生する方向)の1次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例1と同様に遮光壁110による写り込み像の影響を除去することができた。
また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、LoGフィルターなどを作用させることによっても、低周波数成分を除去することができる。
このようにして低周波数成分を除去した後、レンズ100a,100bの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて2つの画像のゆがみや大きさを調整した。
その後、2つの画像を比較して視差量を求めた。具体的には、2つの画像のうち、撮像領域101aから得た画像(基準画像)を8画素×8画素のブロックに分割し、各ブロックに対応するブロックを撮像領域101bから得た画像(被比較画像)内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を0.1画素の単位で補完した。
本実施例1の撮像装置を用いて距離1mの位置にある被写体を撮像したところ、視差量は4.4画素であった。これより、被写体距離は、前記[数4]に基づいて、3.75mm×2.6mm/(4.4×2.2μm)=1.01mと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり1.01mと測定され、測定距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
(実施例2)
本実施例2が実施例1と異なるのは、光線を拡散反射させる手段として、図8に示すように遮光壁110に透明微粒子500を含有させた点である。すなわち、直径が1μmから10μmのガラス粉末を15%含有させたポリカーボネイトを金型成型し、遮光壁110を形成した。これにより、遮光壁110の表面に不均一に透明微粒子500が配置されていた。このような遮光壁110に光線が入射すると透明微粒子500の表面及び内部で光が拡散反射した。これにより、実施例1の凹凸を設けた遮光壁110と同様に、光線が拡散反射するので、反射光による写り込み画像の高周波数成分が低周波数成分にシフトした。
透明微粒子500の形状が規則的であると、散乱した光線が干渉し、写り込み像に高い周波数成分を有する規則的な模様が生じる可能性があるので、透明微粒子500の形状は不規則であることが好ましい。
なお、本実施例2では、透明なガラス粉末をポリカーボネイトに含有させて成型したが、遮光壁の製造方法はこれに限定されない。たとえば、成型した実質的に不透明な板状部品の表面にガラス粉末を吹き付けたり、ガラス粉末を含んだ部材を積層したりして製造してもよい。このようにすることで、遮光壁の表面近傍にのみ散乱手段を設けることができるので、確実に遮光することができる。
遮光壁の構成を除いて実施例1と同様にして、撮像領域101a,101b(図1参照)から出力された2つの画像の空間周波数の低周波数成分を除去し、視差量を求め、被写体までの距離を求めた。その結果、画角外であって画角の近傍に高い輝度の被写体を配置しても、被写体までの距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
(実施例3)
本実施例3が実施例1,2と異なるのは、凹凸を設けた金型を用いて遮光壁110を成型することによって、遮光壁110の表面に光線を反射する手段として上記凹凸が転写された凹凸を形成した点である。本実施例3ではエッチングにて凹凸パターンを形成した金型を用い、ポリカーボネイトとカーボンとからなる混合材料を成型して遮光壁110を得た。その後、実施例1と同様の構成の撮像装置に対してこの遮光壁110を実装した。この遮光壁110の散乱特性を前述の方法により測定したところ、遮光壁110の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は6.37度であった。また、レンズの中心を通過し遮光壁110に入射する光線であって、遮光壁110で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁110に最も近い位置に入射する光線に対する遮光壁110の拡散倍率は約39倍であった。レンズ100a,100bの限界解像周波数は、CCDの限界解像周波数より高く、2cycle/画素となるように設計した。よって、遮光壁110で拡散反射した光による写り込み像の空間周波数のうち、2/39≒0.051cycle/画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。
なお、本実施例3では、金型表面にエッチング処理を施すことにより、遮光壁110の表面に光線を拡散反射させる手段を形成したが、本発明はこれに限定されない。例えば、サンドブラスト加工を施した金型を用いて遮光壁110を成型することによって、遮光壁110の表面に光線を拡散反射させる手段を形成することもできる。
遮光壁110の表面の凹凸が規則的であると、この凹凸で反射した光が干渉し、写り込み像の輝度にムラが生じ、写り込み像に高周波数成分が発生する可能性があるので、遮光壁110の表面の凹凸は不規則であることが好ましい。
撮像領域101a,101bから出力された2つの画像の空間周波数の低周波数成分を、低周波数成分除去手段105a,105bにより除去した。具体的には、画像に対して2次元フーリエ変換を行い画像情報を空間周波数に変換した後、0.051cycle/画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。
なお、本実施例では、空間周波数が0.051cycle/画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。
また、本実施例では、画像情報の2次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ100a,100bの基線方向(即ち、視差が発生する方向)の1次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例3と同様に遮光壁110による写り込み像の影響を除去することができた。
また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、LoGフィルターなどを作用させることによっても、低周波数成分を除去することができる。
このようにして低周波数成分を除去した後、レンズ100a,100bの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて2つの画像のゆがみや大きさを調整した。
その後、2つの画像を比較して視差量を求めた。具体的には、2つの画像のうち、撮像領域105aから得た画像(基準画像)を8画素×8画素のブロックに分割し、各ブロックに対応するブロックを撮像領域105bから得た画像(被比較画像)内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を0.1画素の単位で補完した。
本実施例3の撮像装置を用いて距離1mの位置にある被写体を撮像したところ、視差量は4.4画素であった。これより、被写体距離は、前記[数4]に基づいて、3.75mm×2.6mm/(4.4×2.2μm)=1.01mと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり1.01mと測定され、測定距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
(実施例4)
図9Aは本実施例4における遮光壁110の断面図であり、図9Bは、図9Aの部分9Bの拡大断面図である。本実施例4が実施例1〜3と異なるのは、光線を拡散反射させる手段として、図9Aに示すように、遮光壁110の表面にレンズアレイ100側(図9Aの紙面上側)に向いた複数の傾斜面550を設けるとともに、傾斜面550の先端551に略円筒面状となるように曲率を設けた点である。複数の傾斜面550の上下方向の配置ピッチDは約100μm、傾斜面550の水平方向に対する傾斜角度ψは約30度、傾斜面550の先端551の曲率半径Cは約5μmとした。このような遮光壁110は、ポリカーボネートとカーボンフィラーとからなる混合材料を射出成型することによって得た。レンズ100a,100bを通過し傾斜面550に入射した光線の多くは図9Aの紙面上側に向かって反射された。また、傾斜面550の先端551に入射した光線は、先端551の曲面によって拡散反射された。従って、実施例1の表面に凹凸を設けた遮光板に比べて、本実施例4の遮光板は、CCD側に向かって反射される光線の量を抑えることができた。
実施例1と同様の構成の撮像装置に対して上記の本実施例4の遮光壁110を実装した。この遮光壁110の散乱特性を前述の方法により測定したところ、遮光壁110の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は37.35度であった。また、レンズの中心を通過し遮光壁110に入射する光線であって、遮光壁110で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁110に最も近い位置に入射する光線に対する遮光壁110の拡散倍率は約264倍であった。レンズ100a,100bの限界解像周波数は、CCDの限界解像周波数より高く、2cycle/画素となるように設計した。よって、遮光壁110で拡散反射した光による写り込み像の空間周波数のうち、2/264≒0.0076cycle/画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。
撮像領域101a,101bから出力された2つの画像の空間周波数の低周波数成分を、低周波数成分除去手段105a,105bにより除去した。具体的には、画像に対して2次元フーリエ変換を行い画像情報を空間周波数に変換した後、0.0076ccycle/画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。
なお、本実施例では、空間周波数が0.0076ccycle/画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。
また、本実施例では、画像情報の2次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ100a,100bの基線方向(即ち、視差が発生する方向)の1次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例4と同様に遮光壁110による写り込み像の影響を除去することができた。
また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、LoGフィルターなどを作用させることによっても、低周波数成分を除去することができる。
このようにして低周波数成分を除去した後、レンズ100a,100bの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて2つの画像のゆがみや大きさを調整した。
その後、2つの画像を比較して視差量を求めた。具体的には、2つの画像のうち、撮像領域105aから得た画像(基準画像)を8画素×8画素のブロックに分割し、各ブロックに対応するブロックを撮像領域105bから得た画像(被比較画像)内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を0.1画素の単位で補完した。
本実施例4の撮像装置を用いて距離1mの位置にある被写体を撮像したところ、視差量は4.4画素であった。これより、被写体距離は、前記[数4]に基づいて、3.75mm×2.6mm/(4.4×2.2μm)=1.01mと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり1.01mと測定され、測定距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
なお、光線を拡散反射させる手段としては、実施例1〜4で説明したもの以外のものも使用可能である。例えば、特許文献3に開示されている、入射角が特定の角度範囲内の入射光を選択的に散乱する光散乱シート(例えば「ルミスティー」(住友化学株式会社の登録商標)等を遮光壁の表面に貼り付けても良い。この光散乱シートは、厚み方向に屈折率が分布した構造を有し、入射角が特定の角度範囲内の入射光を散乱させる機能を有する。この光散乱シートを用いる場合には、入射光が光散乱シートの面となす角度が撮像装置の半画角であるときに光散乱するように光散乱シートを設計することが好ましい。さらに、光散乱シートを貼り付ける遮光壁は、カーボン等を分散させて黒色化されていると反射光を低減することができるのでより好ましい。
以上に説明した実施形態及び実施例は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
本発明によれば、視野外に高輝度被写体が存在しても被写体までの距離を正確に測定することができる、小型、薄型のカメラモジュールを実現できる。従って、本発明は、例えば携帯電話に搭載されるカメラやデジタルスチルカメラに適用して立体情報を取り込んだり、監視用カメラ、車載カメラ、ロボット搭載カメラに適用して被写体から得られる情報量を増やしたりすることができ、認証、監視、制御などの精度向上に有用である。
本発明は、小型、薄型の測距機能を有する複眼方式の撮像装置に関する。特に、複数の撮像光学レンズによって画像を撮像し、被写体までの距離を測定する複眼方式の撮像装置に関する。
光軸が異なる複数のレンズを介して被写体を撮像すると、撮像した複数の画像間において、被写体像の結像位置が被写体距離に応じてずれる。このズレは視差と呼ばれる。撮像した複数の画像からこの視差を求めることができれば、被写体までの距離を測定することができる。このような原理に基づく測距機能を備えた撮像装置を、車両やロボットなどの周辺監視、前方監視、乗員監視などに利用し、自動制御や安全技術に活用する試みが行われている。
これまでにも、光軸が異なる2つのカメラをフレームなどに固定して2つの画像を撮像し、この2つの画像から被写体までの距離を測定するステレオカメラが開発されている。撮像した2つの画像から視差を求める方法としては、撮像した2つの画像のうちの一方を複数個のブロックに分割し、各ブロックに対応するブロックが他方の画像内のどこに位置するかを探索し、2つの画像間でブロック毎にズレ量を求め、そのズレ量を視差量とする方法が一般的である。この方法では、2つの画像間に視差以外の要因で違いが生じると測定距離に誤差が生じてしまう。
視差以外で2つの画像間に違いが生じる要因として、2つのカメラの取り付け誤差がある。例えば、2つのカメラの光軸の相対的関係によって、得られる視差が変化し、被写体距離に誤差を生じる。従って、2つのカメラをフレームなどに精度良く固定することが重要である。
このようなカメラの取り付け精度の問題を軽減するために、複数のレンズと撮像素子とを一体化し、更に小型化をも可能にした測距機能を有する複眼方式の撮像装置が知られている(例えば、特許文献1および特許文献2参照)。
図10に、従来の測距機能を有する複眼方式の撮像装置の構成および画像処理フローの概要を示す。この撮像装置は、略同一平面上に、光軸が互いに平行になるように配置された2つのレンズ100a、100bを備えたレンズアレイ100と、2つのレンズ100a、100bにそれぞれ対応する2つの撮像領域101a、101bとを備える。2つの撮像領域101a、101bは、共通する1つの撮像素子の受光領域を分割することで得ている。2つのレンズ100a,100bを通過していない光線が撮像領域101a、101bに入射しないように、鏡筒102が、レンズ100a、100bと撮像領域101a、101bとの間の2つの光路を外界から遮蔽している。また、レンズ100a,100bのうちの一方のレンズを通過した光線が、撮像領域101a,101bのうち前記一方のレンズに対応しない撮像領域に入射することがないように、2つの光路間に遮光壁150が配置されている。
この撮像装置によれば、2つのレンズ100a、100bをレンズアレイ100上に一体に成形し、1つの撮像素子の受光領域を分割して2つの撮像領域101a、101bを得ているので、従来のステレオカメラのように、2つの光学系の取付誤差に起因する測距精度の劣化を低減することができる。また、レンズ100a,100b間に遮光壁150を設けることにより、レンズ100a,100bを、それぞれの結像領域が重なり合うように近接して配置することができるので、小型で安価な撮像素子を用いることができる。
このような複眼方式の撮像装置では、撮像領域101a、101bが2つの画像を撮像し、視差量導出手段106は2つの画像から視差量を求める。視差量導出手段106は、2つの画像のうちの一方の画像を複数のブロックに分割するブロック分割部107と、各ブロックに対応するブロックが他方の画像内のどこに位置するかを探索する対応位置探索部108とから構成される。
この視差量導出手段106による視差量の演算方法を図11を用いて詳細に説明する。
図11において、400aは撮像領域101aが撮像した画像、400bは撮像領域101bが撮像した画像である。画像400a,400bは、X軸方向(水平方向)及びY軸方向(垂直方向)にマトリクス状に配置された多数の画素がそれぞれ有する輝度情報の集合である。画像400aを基準画像とし、この画像400aを複数のブロックに分割する。各ブロックは所定数の画素を含む。401aは分割された複数のブロックのうちの1つを示す。画像400bを被比較画像とし、この画像400b内に、上記ブロック401aと同一サイズのブロック401bを設定する。二点鎖線401b’は、X軸座標値及びY軸座標値がブロック401aと同一であるブロックの位置を示し、ブロック401aに対するブロック401bの基準位置である。被比較画像401b内において、基準位置401b’に対してブロック401bの位置をX軸方向及びY軸方向にそれぞれ移動させ、ブロック401bの各位置で、ブロック401a内の画像とブロック401b内の画像と差(即ち、相関)を求める。差が最小であるとき(即ち、相関が最大であるとき)のブロック401bの基準位置401b’に対するX軸方向の移動量m及びY軸方向の移動量nが、各方向の視差量となる。この視差量を用いることで、ブロック401a内に撮像された被写体までの距離を求めることができる。
特開2003−143459号公報
特開平7−154663号公報
特開平2−280102号公報
図11で示した測距方法は、光軸が互いに平行である2つの光学系を介して撮像された2つの画像は、視差によって被写体像の結像位置は異なるが、被写体像自体は変わらないということが前提である。しかしながら、図10に示した従来の撮像装置ではこの前提が崩れ、その結果、被写体距離を精度良く測定することができないという問題を有している。これを以下に説明する。
図12は、図10に示した撮像装置が被写体200を撮像する様子を示している。120aはレンズ100a及び撮像領域101aにより構成される光学系の画角(視野)、120bはレンズ100b及び撮像領域101bにより構成される光学系の画角(視野)を示す。画角120a,120bは、主として撮像領域101a,101bにより決定される。被写体200が2つの光学系の画角120a,120bの双方に含まれるように撮像装置の姿勢が決定されている。
210は、照明、太陽、高反射率物体などの高輝度の被写体である。高輝度被写体210は、画角120a,120bのいずれにも含まれていない。しかしながら、高輝度被写体210が画角120aの近くに位置する場合、高輝度被写体210からの光線211がレンズ100aに入射し、遮光壁150で反射し、撮像領域101aに入射する。
図13において、410a,410bは図12の撮像領域101a,101bが撮像した画像である。撮像領域101aから得られた画像410aでは、被写体200の像202に、高輝度被写体210からの光線211によって発生した写り込み像212が重畳されている。一方、撮像領域101bから得られた画像410bでは、被写体200の像202のみが撮像されており、写り込み像212は存在しない。
このように、画角120a,120b外に位置する被写体であっても、それが強い光線を発する場合には、その光線が遮光壁150で反射して2つの撮像領域101a,101bのうちの一方のみに入射して、得られる2つの画像中の被写体像が異なってしまうことがある。特に、高輝度被写体210が撮像装置の画角のごく近傍に位置している場合、即ち、高輝度被写体210からの光線211が遮光壁150の撮像領域に近い位置に入射し反射する場合、撮像領域に入射する反射光はレンズにより小さく集束されているので、写り込み像212は鮮明で明るいものとなりやすい。
図11で説明した視差量の演算において、2つの画像400a,400bのうちの一方にのみ図13で説明した写り込み像212が発生すると、ブロック401a内の画像とブロック401b内の画像と差(相関)を正確に求めることができないので、被写体距離を正確に演算できない。また、写り込み像212が比較的鮮明である場合、写り込み像212と被写体像202との空間周波数が近いので、信号処理により写り込み像212のみを選択的に除去することは困難である。
図12において、入射した光線211が吸収されるように遮光壁150の表面を処理することにより、遮光壁150で反射される光量を低減することは可能であるが、反射を完全になくすことは不可能である。遮光壁150での反射を完全になくすことができなければ、例えば被写体200に比べて高輝度被写体210がより強い光線を発するような場合には、遮光壁150での僅かな反射光によって写り込み像212が発生し測距精度が劣化する可能性は十分にある。
また、図12において、遮光壁150を取り除けば、レンズ100aを通過した光線211は遮光壁150で反射されることがないので、撮像領域101aから得られる画像400aに写り込み像212は発生しない。しかしながら、光線211が隣の撮像領域101bに入射して、撮像領域101bから得られる画像400bに写り込み像212と類似した有害な像が発生する。遮光壁150を取り除き、且つ、レンズ100a,100b間隔(即ち、撮像領域101a,101b間隔)を拡大すれば、上述した測距精度を悪化させる原因を除去できるが、大きな撮像素子を用いる必要があるのでコストが上昇するという新たな問題が発生する。
上述した測距精度の劣化は、高輝度被写体210からの光線211が遮光壁150ではなく鏡筒102の内面に入射し反射して撮像領域に入射することによっても同様に発生する。しかしながら、この問題は、鏡筒102を撮像領域101a,101bから離して配置することで解消できる。
本発明は、上記の複眼方式の撮像装置が有している問題を解決し、画角外に存在する高輝度被写体からの光線によって測距精度が劣化しない撮像装置を提供することを目的とする。
本発明の撮像装置は、略同一平面上に配置された複数の光学レンズと、前記複数の光学レンズと一対一に対応した複数の撮像領域と、前記複数の光学レンズのうちの一つの光学レンズを通過した光線が、前記一つの光学レンズに対応しない撮像領域に入射するのを防止する遮光壁と、前記複数の撮像領域で撮像された複数の画像を比較して視差量を求める手段とを備える。前記遮光壁は入射した光線を拡散反射させる手段を備える。前記撮像装置は前記複数の撮像領域で撮像された複数の画像の空間周波数の低周波数成分を除去する手段をさらに備える。前記視差量を求める手段は、前記低周波数成分を除去する手段により低周波数成分が除去された前記複数の画像を比較して視差量を求めることを特徴とする。
本発明によれば、遮光壁に入射した光線は拡散反射されるので、この反射光によって発生する写り込み像の高周波数成分が平滑化され、低周波数成分にシフトする。この低周波数成分を信号処理によって除去することにより、遮光壁で反射した光線が測距精度に及ぼす影響を確実に除去することがきる。
このように、照明、太陽、反射率の高い物体などの高輝度被写体からの光線が、撮像領域に直接は入射しないが、遮光壁に入射し反射して撮像領域に入射する場合に、この高輝度被写体からの光線に起因する被写体距離の測定精度の悪化を防止できる。よって、高精度に測距できる撮像装置を実現できる。
本発明の上記の撮像装置において、前記光線を拡散反射させる手段は、前記遮光壁の表面に設けられた凹凸であることが好ましい。これにより、遮光壁に拡散反射特性を簡単且つ安価に付与することができる。
この場合において、前記凹凸は不規則に配置されていることが好ましい。これにより、反射光が干渉することにより写り込み像に高周波数成分が発生するのを防止できる。従って、低周波数成分を除去する手段で写り込み像を確実に除去することができるので、誤差の少ない測距が可能になる。
あるいは、前記光線を拡散反射させる手段は、少なくとも前記遮光壁の表面近傍に含有された透明微粒子であっても良い。これによっても、遮光壁に拡散反射特性を簡単且つ安価に付与することができる。
この場合において、前記透明微粒子の形状が不規則であることが好ましい。これにより、反射光が干渉することにより写り込み像に高周波数成分が発生するのを防止できる。従って、低周波数成分を除去する手段で写り込み像を確実に除去することができるので、誤差の少ない測距が可能になる。
本発明の上記の撮像装置において、前記低周波数成分を除去する手段は、視差が発生する方向の空間周波数の低周波数成分を除去することが好ましい。これにより、演算時間を短縮化することができる。
前記遮光壁となす角度が前記撮像装置の半画角である光線に対する前記遮光壁の拡散角度が5度以上であることが好ましい。これにより、写り込み像の高周波数成分を低周波数成分に確実にシフトさせることができるので、誤差の少ない測距が可能になる。
前記光学レンズの中心を通過し前記遮光壁に入射する光線であって、前記遮光壁で拡散反射された反射光の中心光線が前記撮像領域の外周端のうち前記遮光壁に最も近い位置に入射する光線に対する前記遮光壁の拡散倍率をα、前記光学レンズの限界解像周波数をβとしたとき、前記低周波数成分を除去する手段は、撮像された前記複数の画像のβ/α以下の空間周波数成分を除去することが好ましい。このように撮像装置の構成に応じて低周波数成分を除去する際の閾値を設定することにより、測距に必要な被写体像に関する情報を損なうことなく、写り込み像の影響のみを除去することができるので、誤差のより少ない測距が可能になる。
本発明の撮像装置が被写体を照明する照明装置を更に備え、被写体像の輝度分布に応じて照明の明るさを変えることが好ましい。これにより、画角外に配置された高輝度被写体の輝度が極めて高い場合であっても、高精度に測距することができる。
本発明の撮像装置が、前記複数の撮像領域で撮像された前記複数の画像のうちの一つの画像を複数のブロックに分割する手段と、前記複数のブロックのそれぞれに対応するブロックを、前記複数の画像のうちの他の画像内において探索する手段と、前記複数の画像から1つの合成画像を得る手段とを更に備えることが好ましい。この場合、前記合成画像を得る手段は、前記複数の画像に含まれる互いに対応する複数のブロックのコントラストを比較し、コントラストのより大きなブロックを選択して前記合成画像を得ることが好ましい。これにより、測距に加えて良好な被写体像を出力できる撮像装置を実現できる。
この場合、本発明の撮像装置が、前記複数の光学レンズのいずれをも通過しない光線が前記複数の撮像領域のいずれかに入射するのを防止する鏡筒を更に備えることが好ましい。この場合、画角の外にある共通する被写体からの光線が前記遮光壁又は前記鏡筒の内面で反射して前記複数の撮像領域に入射する位置が、前記複数の撮像領域間で互いに異なることが好ましい。これにより、複数の撮像領域から得られる複数の画像における写り込み像の位置を互いに異ならせることができるので、高コントラストの合成画像を得ることができる。
以下に,本発明の一実施形態を示す。但し、本発明はこの実施形態に限定されないことはいうまでもない。
図1に本発明の一実施形態に係る測距機能を有する複眼方式の撮像装置の構成および画像処理フローの概要を示す。この撮像装置は、略同一平面上に、光軸が互いに平行になるように配置された2つのレンズ100a、100bを備えたレンズアレイ100と、2つのレンズ100a、100bにそれぞれ対応する2つの撮像領域101a、101bとを備える。2つの撮像領域101a、101bは、共通する1つの撮像素子の受光領域を分割することで得ている。2つのレンズ100a,100bを通過していない光線が撮像領域101a、101bに入射しないように、鏡筒102は、レンズ100a、100bと撮像領域101a、101bとの間の2つの光路を外界から遮蔽している。また、レンズ100a,100bのうちの一方のレンズを通過した光線が、撮像領域101a,101bのうち前記一方のレンズに対応しない撮像領域に入射することがないように、2つの光路間に遮光壁110が配置されている。遮光壁110は入射した光線を散乱して反射(即ち、拡散反射)させる散乱手段を備えている。
220は、撮像装置の画角外に配置された高輝度被写体(図示せず)から発せられ、レンズ100aを通過し、遮光壁110上の点221に入射する光線の一例を示している。光線220は、点221で反射する際に遮光壁110が有する散乱特性により拡散反射し、撮像領域101aに拡がって入射する。このように光線220が拡散反射することにより、撮像領域101aが撮像する画像において光線220による写り込み像は平滑化される。これにより、写り込み像のコントラストが低下し、その画像情報の高周波数成分が低周波数成分にシフトする。撮像領域101aは、この低周波数成分にシフトした写り込み像と、レンズ100aを介して撮像領域101aに直接入射し結像された被写体像とが重なり合った画像を撮像し、画像情報に変換し出力する。
図2Aにおいて、420a,420bは、撮像領域101a,101bが撮像した画像である。202はレンズ100a,100bを介して撮像領域101a,101bに直接入射し結像された被写体像であり、222はレンズ100aを通過した光線220が遮光壁110で拡散反射して撮像領域101aに入射することで発生した写り込み像である。図2Bは、図2Aの一点鎖線421上の各画素の輝度情報を示す。遮光壁110が有する散乱特性により写り込み像222の画像情報の高周波数成分が低周波数成分にシフトするので、写り込み像222の輝度は被写体像202の輝度に比べて緩やかに変化している。撮像領域101aから得られる画像情報では、被写体像202の輝度情報に、写り込み像222の緩やかに変化する輝度情報が重畳されている。
図1に示すように、撮像領域101a,101bから出力された画像情報は、低周波数成分除去手段105a,105bに入力され、空間周波数の低周波数成分が信号処理により取り除かれる。例えば、微分フィルターやFFTを用いた周波数カットフィルターなどのデジタル信号処理を行うことで、低周波数成分を容易に分離することが可能である。除去する低周波数成分の周波数(閾値)は、遮光壁110の散乱特性や、高輝度被写体が撮像装置の画角にどれほど近づけば測距精度に影響を与える有害な写り込み像が発生するか、等を考慮して設定される。
図3を用いて遮光壁110の散乱特性の評価方法を説明する。レーザ光源800から遮光壁110に対してレーザ光801を斜めに入射させる。レーザ光801と遮光壁110の表面とがなす角度をφとする。レーザ光801は遮光壁110上の点803で拡散反射する。この反射光805を、その受光面が正反射方向に対して垂直に配置された撮像素子810で検出し、撮像素子810上に形成されるレーザ光のスポットサイズにより、遮光壁110の散乱特性を評価する。
図4に、遮光壁110上の点803でのレーザ光の反射光が撮像素子810上に形成するスポットの、反射光の中心光線806と交差する直線に沿った輝度分布807を示す。輝度分布807は、中心光線806が入射するスポットの中心P0で輝度が最大となり、これより離れるにしたがって徐々に低下するなだらかな曲線を描く。輝度が最大となるスポットの中心P0と、輝度が最大値の10分の1になる点P1との距離をスポット半径と呼ぶ。レーザ光が反射する遮光壁110上の点803に対してスポットの中心P0及び点P1がなす角度を拡散角度Rと呼ぶ。レーザ光801が遮光壁110の表面となす角度φ(図3参照)が変化すると拡散角度Rは変化する。従って、拡散角度Rは角度φの関数R(φ)として表される。この関数R(φ)を遮光壁110の散乱特性と呼ぶ。散乱特性R(φ)は、レーザ光801の遮光壁110に対する入射角度を変え、それに応じて変化する正反射方向に正対するように撮像素子810の位置及び角度を変えて、反射光を測定することで求めることができる。
遮光壁110で反射した光線が撮像領域810上に形成するスポットの大きさ(スポット半径)は、反射位置803と撮像素子810との距離に依存する。図5に示すように、入射角度φでレンズ100aの中心を通過する光線220が散乱特性R(φ)を有する遮光壁110に入射し拡散反射されて撮像領域101aに入射する場合を考える。レンズ100aの焦点距離をf、レンズ100aの光軸103から遮光壁110までの距離をsとすると、遮光壁110が撮像領域101aに対して垂直な場合、光線220の遮光壁110上の反射点221から撮像領域101aまでの反射光の中心光線に沿った距離L1は、
となる。従って、光線220の径は、遮光壁110上の反射点221から距離L1だけ離れた地点において、
で求められるα(φ)倍だけ拡大される。このα(φ)を光線220に対する遮光壁110の拡散倍率と呼ぶ。
図5において、レンズ100aの中心を通過する光線のレンズ100aに対する入射角度φが撮像装置の半画角θに近づくほど、この光線が遮光壁110に入射する位置は撮像領域101aに近づき、コントラストの強い有害な写り込み像が発生し測距精度が悪化する。このような観点から、本発明では、遮光壁110に対して入射光線がなす角度φが半画角θであるときの遮光壁110の拡散角度(即ち散乱特性R(θ))を用いて遮光壁110の散乱特性を評価する。遮光壁110の拡散角度は大きい方が、写り込み像の高周波数成分を低周波数成分に確実にシフトさせることができるので好ましい。
コントラストが最も強い写り込み像が発生する可能性が高いのは、図5の光線224のように、入射角θ1(θ1>θ)でレンズ100aの中心を通過し、遮光壁110上の点225に入射し拡散反射され、拡散反射された光の中心光線が撮像領域101aの外周端のうち遮光壁110に最も近い位置に入射する場合である。この場合、光線224に対する遮光壁110の拡散倍率はα(θ1)である。レンズ100aの限界解像周波数をβ[cycle/画素]とすると、最も有害な写り込み像を発生させる光線224が拡散倍率α(θ1)で散乱されるので、遮光壁110で拡散反射された光線224の限界解像周波数はβ/α(θ1)[cycle/画素]に低下する。即ち、光線224が遮光壁110で拡散反射されることにより、光線224のうちβ/α(θ1)[cycle/画素]以上の高周波数成分は平滑化され低周波数成分にシフトする。従って、撮像領域101aから出力された画像からβ/α(θ1)[cycle/画素]以下の低周波数成分を除去することにより、写り込み像を構成する成分を確実に除去することができる。なお、低周波数成分を除去する際の閾値は、上記のβ/α(θ1)[cycle/画素]である必要はなく、被写体像の特徴が失われないのであればこれより高い周波数であっても良い。
図2Cに、撮像領域101a,101bが撮像した画像(図2A参照)から、その空間周波数の低周波数成分を除去して得た画像の、図2Aの一点鎖線421上の各画素の輝度情報を示す。図2Bに示した輝度情報から、信号処理により低周波数成分を除去すると、図2Cのように被写体像202の輪郭などの輝度変化が大きな部分のみを抽出することができる。このように、低周波数成分を除去することにより遮光壁110での反射光による写り込み像222は選択的に除去されるが、被写体像202の特徴が失われることはない。
視差量導出手段106(図1参照)は、上記のように低周波数成分が除去された2つの画像から、従来の撮像装置の測距演算(図11参照)と同様に視差量を求める。本実施形態では、図11において、ブロック401a内の画像とブロック401b内の画像と差(相関)に関する評価値R(m,n)を下記式で得られる差分絶対値総和(SAD)を用いて求める。
ここで、I1(k,l)は、基準画像400aのブロック401a内の画素の輝度、I2(k+m,l+n)は、被比較画像400bのブロック401b内の画素の輝度である。k,lは、画素のX軸方向及びY軸方向におけるアドレス(整数)である。ブロック401bのX軸方向及びY軸方向の移動量m、nは整数に限る必要はない。例えば、周辺の画素の輝度を基に内挿することで画素間の輝度を求めることができ、これにより画素ピッチ以下の分解能で視差量を求めることができる。画素間の輝度を求めるための内挿方法としては、共1次内挿法、共3次内挿法、3次たたみ込み内挿法など、周知の方法を用いることができる。
評価値R(m,n)は、ブロック401a内の画像とブロック401b内の画像とが似通うほど小さくなり、逆に異なるほど大きくなる。評価値R(m,n)が最小となるときのm,nがX軸方向及びY軸方向の視差量となる。
ブロック401bをX軸方向及びY軸方向に移動させて(即ち、m,nの両方を変化させて)、その都度、評価値R(m,n)を求めると、演算に多くの時間が必要となる。演算時間を短縮するためには、例えば、レンズ100a,100bの中心を結ぶ基線の方向をX軸方向と一致させればよい。これにより、Y軸方向の視差成分を無視することができる。この場合、ブロック401bをX軸方向にのみ移動させて(即ち、常にn=0とし、mのみを変化させて)、評価値R(m,0)を求めるだけで足りる。評価値R(m,0)が最小となるときのmが視差量となる。
この視差量mは、撮像素子の画素ピッチを基準とする値である。従って、被写体までの距離Aは、撮像素子の画素ピッチをp、レンズ100a,100bの焦点距離をf、レンズ100a,100b間の間隔をDとすると、三角測量の原理より、
にて求めることができる。
以上のように、本実施形態によれば、画角の近くに輝度が高い被写体などがあっても、これによる測距精度の劣化を防止でき、被写体までの距離を正しく測定することができる。
高輝度被写体からの光線が遮光壁に入射し拡散反射する位置から撮像領域までの距離が小さいと、反射光が十分に拡散しないで撮像領域に入射してしまい、低周波成分除去手段により写り込み像を十分に取り除くことができない可能性がある。このような場合には、図5に示すように、撮像領域と遮光壁110との間に画像取得を行わない無効領域301を設けることが好ましい。図5では、無効領域301は隙間(空白)として描かれているが、撮像領域101a,101bを共通する1つの撮像素子の受光領域を分割して得ている場合には、無効領域301内の画素からの情報を利用しない等の方法により、無効領域301を実質的に設けることが可能である。
また、高輝度被写体が画角の近くにあり、且つその輝度が極めて高い場合、この高輝度被写体の写り込み像によって撮像素子が飽和してしまい、被写体像の画像情報を得ることができないことがある。そのため、画像情報の空間周波数の低周波数成分を除去しても、被写体像の画像情報を得ることができない場合がある。このような場合、被写体を照明する照明装置を設け、被写体像の輝度分布に応じて照明の明るさを変えることが好ましい。これにより、被写体像の画像情報の欠落を防止することができ、画角の近くにある高輝度被写体の輝度に対する許容範囲が増加する。
遮光壁110は入射する光線の全てを拡散反射させる必要はなく、一部を吸収しても良い。一般に、遮光壁110が光吸収特性を有している方が、写り込み像による影響を少なくすることができるので好ましい。この場合も、吸収されずに反射される光線が拡散反射されるので、上記の効果が得られる。
本発明の撮像装置は、被写体までの距離を測定する機能を有するが、同時に被写体像を撮像することもできる。しかしながら、上記説明から明らかなように、画角外に配置された高輝度被写体からの光線を遮光壁でいくら拡散反射しても、高周波数成分が低周波数成分にシフトした写り込み像が被写体像に重なるので、そのままでは良好な被写体像を得ることはできない。また、撮像領域から得られた画像情報から空間周波数の低周波数成分を除去すると、同時に被写体像の濃淡情報の一部も除去されてしまうので、やはり良好な被写体像を得ることができない。
そこで、本実施形態では、視差量を求める際に使用した、撮像領域101a,101bから得た画像(低周波数成分を除去する前の画像)から、写り込み像の影響が少ない部分を選択して合成することで良好な画像を得る。これを図6を用いて説明する。図6において、600a,600bは、それぞれの撮像領域101a,101bから得た、低周波数成分を除去する前の画像であり、202は被写体像、604a,604bは画角外に配置された共通する高輝度被写体による写り込み像である。本実施形態では、このような2つの画像600a,600bを合成して、1枚の良好な画像600cを得る。以下にその方法を説明する。
本実施形態では、図6のように、被写体像202に対して写り込み像604a,604bが重畳される位置を画像600a,600b間で異ならせる必要がある。これを実現する構成を図7に示す。図7において、240a,240bは、画角外に配置された高輝度被写体(図示せず)の同一位置から発せられた光線である。2つのレンズ100a,100b間の距離に比べて高輝度被写体までの距離が大きいので光線240a,240bは平行とみなすことができる。光線240aはレンズ100aを通過し遮光壁110に入射し拡散反射されてその中心光線は撮像領域101a上の点241aに入射する。一方、光線240bはレンズ100bを通過し鏡筒102の内面に入射し拡散反射されてその中心光線は撮像領域101b上の点241bに入射する。撮像領域101bと鏡筒102との間には隙間302が設けられているので、撮像領域101a及び遮光壁110間の距離と撮像領域101b及び鏡筒102間の距離とは異なる。従って、撮像領域101aに対する光線240aの入射位置241aと、撮像領域101bに対する光線240bの入射位置241bとは異なる。従って、図6のように、写り込み像604a,604bが形成される位置を画像600a,600b間で異ならせることができる。
なお、高輝度被写体の同一位置から発せられた光線による写り込み像604a,604bが形成される位置を画像600a,600b間で異ならせるための構成は、図7に限定されない。高輝度被写体からの光線を反射して撮像領域101a,101bに入射させる可能性がある、撮像領域101a,101bの周辺に配置された部材(例えば、遮光壁110、鏡筒102)の撮像領域101a,101bに対する相対的関係が撮像領域101a,101b間で異なっていればよい。例えば、撮像領域101a,101bに対する遮光壁110及び鏡筒102の角度を撮像領域101a,101b間で異ならせても良い。
上述したように、本実施形態の撮像装置では、被写体までの距離を測定する際に、被写体上のある場所に対応するブロック(画像)を2つの画像600a,600b上で探索し、そのブロック間のズレ量から視差量を求める。この演算の過程で得た2つの画像600a,600bに含まれる互いに対応する2つのブロックを比較し、より良好な画像を有するブロックを選択する。このような演算を被写体像を構成する全てのブロックについて行い、選択したブロックを合成することにより、全体して良好な画像の被写体像を得ることができる。
図6において、601a,602a,603aは、上述した視差量を求める演算において使用した画像600a内の代表的なブロックである。601b,602b,603bは、それぞれブロック601a,602a,603aに対して差が最も小さいと判断された画像600b内のブロックである。従って、ブロック601aとブロック601bとは被写体上の同一位置の画像情報を含んでいる。同様に、ブロック602aとブロック602b、ブロック603aとブロック603bも、それぞれ被写体上の同一位置の画像情報を含んでいる。
被写体像202において写り込み像604a,604bが重なった部分では、画像のコントラストが低下する。従って、2つの画像600a,600bに含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストの大きい方のブロックを選択すれば、写り込み像の少ないブロックを選択することができる。例えば、ブロック601a及びブロック601bのコントラストを比較すると、両者はほぼ同じであるので、ブロック601a内の画像とブロック601b内の画像とを平均化して得た画像を合成画像600cのブロック601cの画像として使用する。ブロック602a及びブロック602bのコントラストを比較すると、ブロック602b内の画像の方がコントラストが大きいので、ブロック602b内の画像を合成画像600cのブロック602cの画像として使用する。ブロック603a及びブロック603bのコントラストを比較すると、ブロック603a内の画像の方がコントラストが大きいので、ブロック603a内の画像を合成画像600cのブロック603cの画像として使用する。このようにして、低周波数成分が除去される前の画像600a,600bを構成するブロックから選択したブロックを用いて合成画像600cを生成することにより、写り込み像604a,604bがない良好な画像を得ることができる。
上記の説明では、画像600a,600bを、ブロックが互いに重ならないように複数のブロックに分割したが、本発明はこれに限定されず、ブロックが互いに重なり合うように分割しても良い。これにより、合成画像600cを構成するブロックも互いに重なり合うことになるので、ブロック間の画像を滑らかに繋ぐことができ、その結果、より良好な合成画像600cを得ることができる。
上記の実施形態では、撮像領域101a,101bは、共通する1つの撮像素子の受光領域を分割して形成したが、本発明はこれに限定されず、2つの独立した撮像素子を用いても良い。
本発明の撮像装置において、光学レンズと撮像領域とからなる光学系の数は、上記の実施形態のように2つである必要はなく、3つ以上であっても良い。
上記の実施形態では、遮光壁110の撮像領域101a,101bに対向する面は平面であったが、本発明はこれに限定されず、例えば凸面、凹面などの曲面であっても良い。
以下に、本発明を、実施例を用いて更に具体的に説明する。
(実施例1)
本実施例1に係る撮像装置の構成は図1に示すとおりとした。ポリカーボネイトを用いて、緑色の波長に対する焦点距離が3.75mm、レンズ100a,100bの基線に沿った中心間隔が2.6mmである2つのレンズ100a,100bを備えるレンズアレイ100を一体に成型した。このレンズアレイ100の結像面に、画素ピッチ2.2μmで、2048画素×1530画素の1つの白黒CCDを配置した。このCCDの受光領域に、レンズ100a,100bに対応する2つの撮像領域101a,101bを設定した。各撮像領域は、800画素×600画素であった。レンズ100a,100bと撮像領域101a,101bとの間に、波長を選択するために緑色のフィルター(図示せず)を挿入し、レンズ100a,100bの色収差による被写体像の解像度低下を防止した。レンズ100a,100bとCCDとを位置決めし、且つ、レンズ100a,100bを通過しない光線が撮像領域101a,101bに入射するのを防止するために、カーボンを含有させることで黒色にしたポリカーボネイトからなる鏡筒102を作製した。同様にカーボンを含有させることにより黒色にしたポリカーボネイトからなる遮光壁110を作製した。遮光壁110の表面に光線を拡散反射させる手段を設けるために、中心線表面粗さ(Ra)が15μmとなるように遮光壁110の表面をサンドブラスト処理した。この遮光壁110の散乱特性を前述の方法により測定したところ、遮光壁110の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は5度であった。また、レンズの中心を通過し遮光壁110に入射する光線であって、遮光壁110で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁110に最も近い位置に入射する光線に対する遮光壁110の拡散倍率は約30倍であった。レンズ100a,100bの限界解像周波数は、CCDの限界解像周波数より高く、2cycle/画素となるように設計した。よって、遮光壁110で拡散反射した光による写り込み像の空間周波数のうち、2/30≒0.067cycle/画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。
なお、本実施例1では、遮光壁110の表面をサンドブラスト処理することにより、光線を拡散反射させる手段を形成したが、本発明はこれに限定されない。例えば、光線を拡散反射させるための凹凸を設けた金型を用いて遮光壁110を成型することによって、遮光壁110の表面に光線を拡散反射させる手段を形成することもできる。
遮光壁110の表面の凹凸が規則的であると、この凹凸で反射した光が干渉し、写り込み像の輝度にムラが生じ、写り込み像に高周波数成分が発生する可能性があるので、遮光壁110の表面の凹凸は不規則であることが好ましい。
撮像領域101a,101bから出力された2つの画像の空間周波数の低周波数成分を、低周波数成分除去手段105a,105bにより除去した。具体的には、画像に対して2次元フーリエ変換を行い画像情報を空間周波数に変換した後、0.067cycle/画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。
なお、本実施例では、空間周波数が0.067cycle/画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。
また、本実施例では、画像情報の2次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ100a,100bの基線方向(即ち、視差が発生する方向)の1次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例1と同様に遮光壁110による写り込み像の影響を除去することができた。
また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、LoGフィルターなどを作用させることによっても、低周波数成分を除去することができる。
このようにして低周波数成分を除去した後、レンズ100a,100bの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて2つの画像のゆがみや大きさを調整した。
その後、2つの画像を比較して視差量を求めた。具体的には、2つの画像のうち、撮像領域101aから得た画像(基準画像)を8画素×8画素のブロックに分割し、各ブロックに対応するブロックを撮像領域101bから得た画像(被比較画像)内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を0.1画素の単位で補完した。
本実施例1の撮像装置を用いて距離1mの位置にある被写体を撮像したところ、視差量は4.4画素であった。これより、被写体距離は、前記[数4]に基づいて、3.75mm×2.6mm/(4.4×2.2μm)=1.01mと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり1.01mと測定され、測定距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
(実施例2)
本実施例2が実施例1と異なるのは、光線を拡散反射させる手段として、図8に示すように遮光壁110に透明微粒子500を含有させた点である。すなわち、直径が1μmから10μmのガラス粉末を15%含有させたポリカーボネイトを金型成型し、遮光壁110を形成した。これにより、遮光壁110の表面に不均一に透明微粒子500が配置されていた。このような遮光壁110に光線が入射すると透明微粒子500の表面及び内部で光が拡散反射した。これにより、実施例1の凹凸を設けた遮光壁110と同様に、光線が拡散反射するので、反射光による写り込み画像の高周波数成分が低周波数成分にシフトした。
透明微粒子500の形状が規則的であると、散乱した光線が干渉し、写り込み像に高い周波数成分を有する規則的な模様が生じる可能性があるので、透明微粒子500の形状は不規則であることが好ましい。
なお、本実施例2では、透明なガラス粉末をポリカーボネイトに含有させて成型したが、遮光壁の製造方法はこれに限定されない。たとえば、成型した実質的に不透明な板状部品の表面にガラス粉末を吹き付けたり、ガラス粉末を含んだ部材を積層したりして製造してもよい。このようにすることで、遮光壁の表面近傍にのみ散乱手段を設けることができるので、確実に遮光することができる。
遮光壁の構成を除いて実施例1と同様にして、撮像領域101a,101b(図1参照)から出力された2つの画像の空間周波数の低周波数成分を除去し、視差量を求め、被写体までの距離を求めた。その結果、画角外であって画角の近傍に高い輝度の被写体を配置しても、被写体までの距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
(実施例3)
本実施例3が実施例1,2と異なるのは、凹凸を設けた金型を用いて遮光壁110を成型することによって、遮光壁110の表面に光線を反射する手段として上記凹凸が転写された凹凸を形成した点である。本実施例3ではエッチングにて凹凸パターンを形成した金型を用い、ポリカーボネイトとカーボンとからなる混合材料を成型して遮光壁110を得た。その後、実施例1と同様の構成の撮像装置に対してこの遮光壁110を実装した。この遮光壁110の散乱特性を前述の方法により測定したところ、遮光壁110の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は6.37度であった。また、レンズの中心を通過し遮光壁110に入射する光線であって、遮光壁110で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁110に最も近い位置に入射する光線に対する遮光壁110の拡散倍率は約39倍であった。レンズ100a,100bの限界解像周波数は、CCDの限界解像周波数より高く、2cycle/画素となるように設計した。よって、遮光壁110で拡散反射した光による写り込み像の空間周波数のうち、2/39≒0.051cycle/画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。
なお、本実施例3では、金型表面にエッチング処理を施すことにより、遮光壁110の表面に光線を拡散反射させる手段を形成したが、本発明はこれに限定されない。例えば、サンドブラスト加工を施した金型を用いて遮光壁110を成型することによって、遮光壁110の表面に光線を拡散反射させる手段を形成することもできる。
遮光壁110の表面の凹凸が規則的であると、この凹凸で反射した光が干渉し、写り込み像の輝度にムラが生じ、写り込み像に高周波数成分が発生する可能性があるので、遮光壁110の表面の凹凸は不規則であることが好ましい。
撮像領域101a,101bから出力された2つの画像の空間周波数の低周波数成分を、低周波数成分除去手段105a,105bにより除去した。具体的には、画像に対して2次元フーリエ変換を行い画像情報を空間周波数に変換した後、0.051cycle/画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。
なお、本実施例では、空間周波数が0.051cycle/画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。
また、本実施例では、画像情報の2次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ100a,100bの基線方向(即ち、視差が発生する方向)の1次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例3と同様に遮光壁110による写り込み像の影響を除去することができた。
また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、LoGフィルターなどを作用させることによっても、低周波数成分を除去することができる。
このようにして低周波数成分を除去した後、レンズ100a,100bの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて2つの画像のゆがみや大きさを調整した。
その後、2つの画像を比較して視差量を求めた。具体的には、2つの画像のうち、撮像領域105aから得た画像(基準画像)を8画素×8画素のブロックに分割し、各ブロックに対応するブロックを撮像領域105bから得た画像(被比較画像)内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を0.1画素の単位で補完した。
本実施例3の撮像装置を用いて距離1mの位置にある被写体を撮像したところ、視差量は4.4画素であった。これより、被写体距離は、前記[数4]に基づいて、3.75mm×2.6mm/(4.4×2.2μm)=1.01mと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり1.01mと測定され、測定距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
(実施例4)
図9Aは本実施例4における遮光壁110の断面図であり、図9Bは、図9Aの部分9Bの拡大断面図である。本実施例4が実施例1〜3と異なるのは、光線を拡散反射させる手段として、図9Aに示すように、遮光壁110の表面にレンズアレイ100側(図9Aの紙面上側)に向いた複数の傾斜面550を設けるとともに、傾斜面550の先端551に略円筒面状となるように曲率を設けた点である。複数の傾斜面550の上下方向の配置ピッチDは約100μm、傾斜面550の水平方向に対する傾斜角度ψは約30度、傾斜面550の先端551の曲率半径Cは約5μmとした。このような遮光壁110は、ポリカーボネートとカーボンフィラーとからなる混合材料を射出成型することによって得た。レンズ100a,100bを通過し傾斜面550に入射した光線の多くは図9Aの紙面上側に向かって反射された。また、傾斜面550の先端551に入射した光線は、先端551の曲面によって拡散反射された。従って、実施例1の表面に凹凸を設けた遮光板に比べて、本実施例4の遮光板は、CCD側に向かって反射される光線の量を抑えることができた。
実施例1と同様の構成の撮像装置に対して上記の本実施例4の遮光壁110を実装した。この遮光壁110の散乱特性を前述の方法により測定したところ、遮光壁110の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は37.35度であった。また、レンズの中心を通過し遮光壁110に入射する光線であって、遮光壁110で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁110に最も近い位置に入射する光線に対する遮光壁110の拡散倍率は約264倍であった。レンズ100a,100bの限界解像周波数は、CCDの限界解像周波数より高く、2cycle/画素となるように設計した。よって、遮光壁110で拡散反射した光による写り込み像の空間周波数のうち、2/264≒0.0076cycle/画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。
撮像領域101a,101bから出力された2つの画像の空間周波数の低周波数成分を、低周波数成分除去手段105a,105bにより除去した。具体的には、画像に対して2次元フーリエ変換を行い画像情報を空間周波数に変換した後、0.0076ccycle/画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。
なお、本実施例では、空間周波数が0.0076ccycle/画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。
また、本実施例では、画像情報の2次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ100a,100bの基線方向(即ち、視差が発生する方向)の1次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例4と同様に遮光壁110による写り込み像の影響を除去することができた。
また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、LoGフィルターなどを作用させることによっても、低周波数成分を除去することができる。
このようにして低周波数成分を除去した後、レンズ100a,100bの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて2つの画像のゆがみや大きさを調整した。
その後、2つの画像を比較して視差量を求めた。具体的には、2つの画像のうち、撮像領域105aから得た画像(基準画像)を8画素×8画素のブロックに分割し、各ブロックに対応するブロックを撮像領域105bから得た画像(被比較画像)内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を0.1画素の単位で補完した。
本実施例4の撮像装置を用いて距離1mの位置にある被写体を撮像したところ、視差量は4.4画素であった。これより、被写体距離は、前記[数4]に基づいて、3.75mm×2.6mm/(4.4×2.2μm)=1.01mと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり1.01mと測定され、測定距離に誤差は生じなかった。
また、撮像領域101a,101bから出力された、低周波数成分を除去する前の2つの画像に含まれる互いに対応する2つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な1つの画像を得ることができた。
なお、光線を拡散反射させる手段としては、実施例1〜4で説明したもの以外のものも使用可能である。例えば、特許文献3に開示されている、入射角が特定の角度範囲内の入射光を選択的に散乱する光散乱シート(例えば「ルミスティー」(住友化学株式会社の登録商標)等を遮光壁の表面に貼り付けても良い。この光散乱シートは、厚み方向に屈折率が分布した構造を有し、入射角が特定の角度範囲内の入射光を散乱させる機能を有する。この光散乱シートを用いる場合には、入射光が光散乱シートの面となす角度が撮像装置の半画角であるときに光散乱するように光散乱シートを設計することが好ましい。さらに、光散乱シートを貼り付ける遮光壁は、カーボン等を分散させて黒色化されていると反射光を低減することができるのでより好ましい。
以上に説明した実施形態及び実施例は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
本発明によれば、視野外に高輝度被写体が存在しても被写体までの距離を正確に測定することができる、小型、薄型のカメラモジュールを実現できる。従って、本発明は、例えば携帯電話に搭載されるカメラやデジタルスチルカメラに適用して立体情報を取り込んだり、監視用カメラ、車載カメラ、ロボット搭載カメラに適用して被写体から得られる情報量を増やしたりすることができ、認証、監視、制御などの精度向上に有用である。
図1は、本発明の一実施形態に係る測距機能を有する複眼方式の撮像装置の概略構成を示した図である。
図2Aは、本発明の一実施形態に係る撮像装置において2つの撮像領域が撮像した画像を示す。
図2Bは図2Aの一点鎖線上の各画素の輝度情報を示す。
図2Cは低周波数成分を除去した後の図2Aの一点鎖線上の各画素の輝度情報を示す。
図3は、本発明の撮像装置において遮光壁の散乱特性を評価する方法を示す図である。
図4は、本発明の撮像装置において遮光壁の散乱特性の定義を説明する図である。
図5は、本発明の撮像装置において、有害な写り込み像が発生する条件を説明する図である。
図6は、本発明の撮像装置において、画像の合成方法を説明する図である。
図7は、本発明の撮像装置において、遮光壁及び鏡筒によって異なる位置に写り込み像が発生する様子を説明する断面図である。
図8は、本発明の実施例2の撮像装置に使用した遮光壁の断面図である。
図9Aは、本発明の実施例4の撮像装置に使用した遮光壁の断面図である。
図9Bは、図9Aの部分9Bの拡大断面図である。
図10は、従来の複眼方式の撮像装置の概略構成を示した図である。
図11は、従来の複眼方式の撮像装置において、視差量の演算方法を説明する図である。
図12は、従来の複眼方式の撮像装置において、遮光壁によって写り込み像が発生する現象を説明する図である。
図13は、従来の複眼方式の撮像装置において、一方のみに写り込み像が発生した2つの画像を示した図である。