JP4246258B2 - 測距機能を有する複眼方式の撮像装置 - Google Patents

Description

本発明は、小型、薄型の測距機能を有する複眼方式の撮像装置に関する。特に、複数の撮像光学レンズによって画像を撮像し、被写体までの距離を測定する複眼方式の撮像装置に関する。

光軸が異なる複数のレンズを介して被写体を撮像すると、撮像した複数の画像間において、被写体像の結像位置が被写体距離に応じてずれる。このズレは視差と呼ばれる。撮像した複数の画像からこの視差を求めることができれば、被写体までの距離を測定することができる。このような原理に基づく測距機能を備えた撮像装置を、車両やロボットなどの周辺監視、前方監視、乗員監視などに利用し、自動制御や安全技術に活用する試みが行われている。

これまでにも、光軸が異なる２つのカメラをフレームなどに固定して２つの画像を撮像し、この２つの画像から被写体までの距離を測定するステレオカメラが開発されている。撮像した２つの画像から視差を求める方法としては、撮像した２つの画像のうちの一方を複数個のブロックに分割し、各ブロックに対応するブロックが他方の画像内のどこに位置するかを探索し、２つの画像間でブロック毎にズレ量を求め、そのズレ量を視差量とする方法が一般的である。この方法では、２つの画像間に視差以外の要因で違いが生じると測定距離に誤差が生じてしまう。

視差以外で２つの画像間に違いが生じる要因として、２つのカメラの取り付け誤差がある。例えば、２つのカメラの光軸の相対的関係によって、得られる視差が変化し、被写体距離に誤差を生じる。従って、２つのカメラをフレームなどに精度良く固定することが重要である。

このようなカメラの取り付け精度の問題を軽減するために、複数のレンズと撮像素子とを一体化し、更に小型化をも可能にした測距機能を有する複眼方式の撮像装置が知られている（例えば、特許文献１および特許文献２参照）。

図１０に、従来の測距機能を有する複眼方式の撮像装置の構成および画像処理フローの概要を示す。この撮像装置は、略同一平面上に、光軸が互いに平行になるように配置された２つのレンズ１００ａ、１００ｂを備えたレンズアレイ１００と、２つのレンズ１００ａ、１００ｂにそれぞれ対応する２つの撮像領域１０１ａ、１０１ｂとを備える。２つの撮像領域１０１ａ、１０１ｂは、共通する１つの撮像素子の受光領域を分割することで得ている。２つのレンズ１００ａ，１００ｂを通過していない光線が撮像領域１０１ａ、１０１ｂに入射しないように、鏡筒１０２が、レンズ１００ａ、１００ｂと撮像領域１０１ａ、１０１ｂとの間の２つの光路を外界から遮蔽している。また、レンズ１００ａ，１００ｂのうちの一方のレンズを通過した光線が、撮像領域１０１ａ，１０１ｂのうち前記一方のレンズに対応しない撮像領域に入射することがないように、２つの光路間に遮光壁１５０が配置されている。

この撮像装置によれば、２つのレンズ１００ａ、１００ｂをレンズアレイ１００上に一体に成形し、１つの撮像素子の受光領域を分割して２つの撮像領域１０１ａ、１０１ｂを得ているので、従来のステレオカメラのように、２つの光学系の取付誤差に起因する測距精度の劣化を低減することができる。また、レンズ１００ａ，１００ｂ間に遮光壁１５０を設けることにより、レンズ１００ａ，１００ｂを、それぞれの結像領域が重なり合うように近接して配置することができるので、小型で安価な撮像素子を用いることができる。

このような複眼方式の撮像装置では、撮像領域１０１ａ、１０１ｂが２つの画像を撮像し、視差量導出手段１０６は２つの画像から視差量を求める。視差量導出手段１０６は、２つの画像のうちの一方の画像を複数のブロックに分割するブロック分割部１０７と、各ブロックに対応するブロックが他方の画像内のどこに位置するかを探索する対応位置探索部１０８とから構成される。

この視差量導出手段１０６による視差量の演算方法を図１１を用いて詳細に説明する。

図１１において、４００ａは撮像領域１０１ａが撮像した画像、４００ｂは撮像領域１０１ｂが撮像した画像である。画像４００ａ，４００ｂは、Ｘ軸方向（水平方向）及びＹ軸方向（垂直方向）にマトリクス状に配置された多数の画素がそれぞれ有する輝度情報の集合である。画像４００ａを基準画像とし、この画像４００ａを複数のブロックに分割する。各ブロックは所定数の画素を含む。４０１ａは分割された複数のブロックのうちの１つを示す。画像４００ｂを被比較画像とし、この画像４００ｂ内に、上記ブロック４０１ａと同一サイズのブロック４０１ｂを設定する。二点鎖線４０１ｂ’は、Ｘ軸座標値及びＹ軸座標値がブロック４０１ａと同一であるブロックの位置を示し、ブロック４０１ａに対するブロック４０１ｂの基準位置である。被比較画像４０１ｂ内において、基準位置４０１ｂ’に対してブロック４０１ｂの位置をＸ軸方向及びＹ軸方向にそれぞれ移動させ、ブロック４０１ｂの各位置で、ブロック４０１ａ内の画像とブロック４０１ｂ内の画像と差（即ち、相関）を求める。差が最小であるとき（即ち、相関が最大であるとき）のブロック４０１ｂの基準位置４０１ｂ’に対するＸ軸方向の移動量ｍ及びＹ軸方向の移動量ｎが、各方向の視差量となる。この視差量を用いることで、ブロック４０１ａ内に撮像された被写体までの距離を求めることができる。
特開２００３−１４３４５９号公報 特開平７−１５４６６３号公報 特開平２−２８０１０２号公報

図１１で示した測距方法は、光軸が互いに平行である２つの光学系を介して撮像された２つの画像は、視差によって被写体像の結像位置は異なるが、被写体像自体は変わらないということが前提である。しかしながら、図１０に示した従来の撮像装置ではこの前提が崩れ、その結果、被写体距離を精度良く測定することができないという問題を有している。これを以下に説明する。

図１２は、図１０に示した撮像装置が被写体２００を撮像する様子を示している。１２０ａはレンズ１００ａ及び撮像領域１０１ａにより構成される光学系の画角（視野）、１２０ｂはレンズ１００ｂ及び撮像領域１０１ｂにより構成される光学系の画角（視野）を示す。画角１２０ａ，１２０ｂは、主として撮像領域１０１ａ，１０１ｂにより決定される。被写体２００が２つの光学系の画角１２０ａ，１２０ｂの双方に含まれるように撮像装置の姿勢が決定されている。

２１０は、照明、太陽、高反射率物体などの高輝度の被写体である。高輝度被写体２１０は、画角１２０ａ，１２０ｂのいずれにも含まれていない。しかしながら、高輝度被写体２１０が画角１２０ａの近くに位置する場合、高輝度被写体２１０からの光線２１１がレンズ１００ａに入射し、遮光壁１５０で反射し、撮像領域１０１ａに入射する。

図１３において、４１０ａ，４１０ｂは図１２の撮像領域１０１ａ，１０１ｂが撮像した画像である。撮像領域１０１ａから得られた画像４１０ａでは、被写体２００の像２０２に、高輝度被写体２１０からの光線２１１によって発生した写り込み像２１２が重畳されている。一方、撮像領域１０１ｂから得られた画像４１０ｂでは、被写体２００の像２０２のみが撮像されており、写り込み像２１２は存在しない。

このように、画角１２０ａ，１２０ｂ外に位置する被写体であっても、それが強い光線を発する場合には、その光線が遮光壁１５０で反射して２つの撮像領域１０１ａ，１０１ｂのうちの一方のみに入射して、得られる２つの画像中の被写体像が異なってしまうことがある。特に、高輝度被写体２１０が撮像装置の画角のごく近傍に位置している場合、即ち、高輝度被写体２１０からの光線２１１が遮光壁１５０の撮像領域に近い位置に入射し反射する場合、撮像領域に入射する反射光はレンズにより小さく集束されているので、写り込み像２１２は鮮明で明るいものとなりやすい。

図１１で説明した視差量の演算において、２つの画像４００ａ，４００ｂのうちの一方にのみ図１３で説明した写り込み像２１２が発生すると、ブロック４０１ａ内の画像とブロック４０１ｂ内の画像と差（相関）を正確に求めることができないので、被写体距離を正確に演算できない。また、写り込み像２１２が比較的鮮明である場合、写り込み像２１２と被写体像２０２との空間周波数が近いので、信号処理により写り込み像２１２のみを選択的に除去することは困難である。

図１２において、入射した光線２１１が吸収されるように遮光壁１５０の表面を処理することにより、遮光壁１５０で反射される光量を低減することは可能であるが、反射を完全になくすことは不可能である。遮光壁１５０での反射を完全になくすことができなければ、例えば被写体２００に比べて高輝度被写体２１０がより強い光線を発するような場合には、遮光壁１５０での僅かな反射光によって写り込み像２１２が発生し測距精度が劣化する可能性は十分にある。

また、図１２において、遮光壁１５０を取り除けば、レンズ１００ａを通過した光線２１１は遮光壁１５０で反射されることがないので、撮像領域１０１ａから得られる画像４００ａに写り込み像２１２は発生しない。しかしながら、光線２１１が隣の撮像領域１０１ｂに入射して、撮像領域１０１ｂから得られる画像４００ｂに写り込み像２１２と類似した有害な像が発生する。遮光壁１５０を取り除き、且つ、レンズ１００ａ，１００ｂ間隔（即ち、撮像領域１０１ａ，１０１ｂ間隔）を拡大すれば、上述した測距精度を悪化させる原因を除去できるが、大きな撮像素子を用いる必要があるのでコストが上昇するという新たな問題が発生する。

上述した測距精度の劣化は、高輝度被写体２１０からの光線２１１が遮光壁１５０ではなく鏡筒１０２の内面に入射し反射して撮像領域に入射することによっても同様に発生する。しかしながら、この問題は、鏡筒１０２を撮像領域１０１ａ，１０１ｂから離して配置することで解消できる。

本発明は、上記の複眼方式の撮像装置が有している問題を解決し、画角外に存在する高輝度被写体からの光線によって測距精度が劣化しない撮像装置を提供することを目的とする。

本発明の撮像装置は、略同一平面上に配置された複数の光学レンズと、前記複数の光学レンズと一対一に対応した複数の撮像領域と、前記複数の光学レンズのうちの一つの光学レンズを通過した光線が、前記一つの光学レンズに対応しない撮像領域に入射するのを防止する遮光壁と、前記複数の撮像領域で撮像された複数の画像を比較して視差量を求める手段とを備える。前記遮光壁は入射した光線を拡散反射させる手段を備える。前記撮像装置は前記複数の撮像領域で撮像された複数の画像の空間周波数の低周波数成分を除去する手段をさらに備える。前記視差量を求める手段は、前記低周波数成分を除去する手段により低周波数成分が除去された前記複数の画像を比較して視差量を求めることを特徴とする。

本発明によれば、遮光壁に入射した光線は拡散反射されるので、この反射光によって発生する写り込み像の高周波数成分が平滑化され、低周波数成分にシフトする。この低周波数成分を信号処理によって除去することにより、遮光壁で反射した光線が測距精度に及ぼす影響を確実に除去することがきる。

このように、照明、太陽、反射率の高い物体などの高輝度被写体からの光線が、撮像領域に直接は入射しないが、遮光壁に入射し反射して撮像領域に入射する場合に、この高輝度被写体からの光線に起因する被写体距離の測定精度の悪化を防止できる。よって、高精度に測距できる撮像装置を実現できる。

本発明の上記の撮像装置において、前記光線を拡散反射させる手段は、前記遮光壁の表面に設けられた凹凸であることが好ましい。これにより、遮光壁に拡散反射特性を簡単且つ安価に付与することができる。

この場合において、前記凹凸は不規則に配置されていることが好ましい。これにより、反射光が干渉することにより写り込み像に高周波数成分が発生するのを防止できる。従って、低周波数成分を除去する手段で写り込み像を確実に除去することができるので、誤差の少ない測距が可能になる。

あるいは、前記光線を拡散反射させる手段は、少なくとも前記遮光壁の表面近傍に含有された透明微粒子であっても良い。これによっても、遮光壁に拡散反射特性を簡単且つ安価に付与することができる。

この場合において、前記透明微粒子の形状が不規則であることが好ましい。これにより、反射光が干渉することにより写り込み像に高周波数成分が発生するのを防止できる。従って、低周波数成分を除去する手段で写り込み像を確実に除去することができるので、誤差の少ない測距が可能になる。

本発明の上記の撮像装置において、前記低周波数成分を除去する手段は、視差が発生する方向の空間周波数の低周波数成分を除去することが好ましい。これにより、演算時間を短縮化することができる。

前記遮光壁となす角度が前記撮像装置の半画角である光線に対する前記遮光壁の拡散角度が５度以上であることが好ましい。これにより、写り込み像の高周波数成分を低周波数成分に確実にシフトさせることができるので、誤差の少ない測距が可能になる。

前記光学レンズの中心を通過し前記遮光壁に入射する光線であって、前記遮光壁で拡散反射された反射光の中心光線が前記撮像領域の外周端のうち前記遮光壁に最も近い位置に入射する光線に対する前記遮光壁の拡散倍率をα、前記光学レンズの限界解像周波数をβとしたとき、前記低周波数成分を除去する手段は、撮像された前記複数の画像のβ／α以下の空間周波数成分を除去することが好ましい。このように撮像装置の構成に応じて低周波数成分を除去する際の閾値を設定することにより、測距に必要な被写体像に関する情報を損なうことなく、写り込み像の影響のみを除去することができるので、誤差のより少ない測距が可能になる。

本発明の撮像装置が被写体を照明する照明装置を更に備え、被写体像の輝度分布に応じて照明の明るさを変えることが好ましい。これにより、画角外に配置された高輝度被写体の輝度が極めて高い場合であっても、高精度に測距することができる。

本発明の撮像装置が、前記複数の撮像領域で撮像された前記複数の画像のうちの一つの画像を複数のブロックに分割する手段と、前記複数のブロックのそれぞれに対応するブロックを、前記複数の画像のうちの他の画像内において探索する手段と、前記複数の画像から１つの合成画像を得る手段とを更に備えることが好ましい。この場合、前記合成画像を得る手段は、前記複数の画像に含まれる互いに対応する複数のブロックのコントラストを比較し、コントラストのより大きなブロックを選択して前記合成画像を得ることが好ましい。これにより、測距に加えて良好な被写体像を出力できる撮像装置を実現できる。

この場合、本発明の撮像装置が、前記複数の光学レンズのいずれをも通過しない光線が前記複数の撮像領域のいずれかに入射するのを防止する鏡筒を更に備えることが好ましい。この場合、画角の外にある共通する被写体からの光線が前記遮光壁又は前記鏡筒の内面で反射して前記複数の撮像領域に入射する位置が、前記複数の撮像領域間で互いに異なることが好ましい。これにより、複数の撮像領域から得られる複数の画像における写り込み像の位置を互いに異ならせることができるので、高コントラストの合成画像を得ることができる。

以下に，本発明の一実施形態を示す。但し、本発明はこの実施形態に限定されないことはいうまでもない。

図１に本発明の一実施形態に係る測距機能を有する複眼方式の撮像装置の構成および画像処理フローの概要を示す。この撮像装置は、略同一平面上に、光軸が互いに平行になるように配置された２つのレンズ１００ａ、１００ｂを備えたレンズアレイ１００と、２つのレンズ１００ａ、１００ｂにそれぞれ対応する２つの撮像領域１０１ａ、１０１ｂとを備える。２つの撮像領域１０１ａ、１０１ｂは、共通する１つの撮像素子の受光領域を分割することで得ている。２つのレンズ１００ａ，１００ｂを通過していない光線が撮像領域１０１ａ、１０１ｂに入射しないように、鏡筒１０２は、レンズ１００ａ、１００ｂと撮像領域１０１ａ、１０１ｂとの間の２つの光路を外界から遮蔽している。また、レンズ１００ａ，１００ｂのうちの一方のレンズを通過した光線が、撮像領域１０１ａ，１０１ｂのうち前記一方のレンズに対応しない撮像領域に入射することがないように、２つの光路間に遮光壁１１０が配置されている。遮光壁１１０は入射した光線を散乱して反射（即ち、拡散反射）させる散乱手段を備えている。

２２０は、撮像装置の画角外に配置された高輝度被写体（図示せず）から発せられ、レンズ１００ａを通過し、遮光壁１１０上の点２２１に入射する光線の一例を示している。光線２２０は、点２２１で反射する際に遮光壁１１０が有する散乱特性により拡散反射し、撮像領域１０１ａに拡がって入射する。このように光線２２０が拡散反射することにより、撮像領域１０１ａが撮像する画像において光線２２０による写り込み像は平滑化される。これにより、写り込み像のコントラストが低下し、その画像情報の高周波数成分が低周波数成分にシフトする。撮像領域１０１ａは、この低周波数成分にシフトした写り込み像と、レンズ１００ａを介して撮像領域１０１ａに直接入射し結像された被写体像とが重なり合った画像を撮像し、画像情報に変換し出力する。

図２Ａにおいて、４２０ａ，４２０ｂは、撮像領域１０１ａ，１０１ｂが撮像した画像である。２０２はレンズ１００ａ，１００ｂを介して撮像領域１０１ａ，１０１ｂに直接入射し結像された被写体像であり、２２２はレンズ１００ａを通過した光線２２０が遮光壁１１０で拡散反射して撮像領域１０１ａに入射することで発生した写り込み像である。図２Ｂは、図２Ａの一点鎖線４２１上の各画素の輝度情報を示す。遮光壁１１０が有する散乱特性により写り込み像２２２の画像情報の高周波数成分が低周波数成分にシフトするので、写り込み像２２２の輝度は被写体像２０２の輝度に比べて緩やかに変化している。撮像領域１０１ａから得られる画像情報では、被写体像２０２の輝度情報に、写り込み像２２２の緩やかに変化する輝度情報が重畳されている。

図１に示すように、撮像領域１０１ａ，１０１ｂから出力された画像情報は、低周波数成分除去手段１０５ａ，１０５ｂに入力され、空間周波数の低周波数成分が信号処理により取り除かれる。例えば、微分フィルターやＦＦＴを用いた周波数カットフィルターなどのデジタル信号処理を行うことで、低周波数成分を容易に分離することが可能である。除去する低周波数成分の周波数（閾値）は、遮光壁１１０の散乱特性や、高輝度被写体が撮像装置の画角にどれほど近づけば測距精度に影響を与える有害な写り込み像が発生するか、等を考慮して設定される。

図３を用いて遮光壁１１０の散乱特性の評価方法を説明する。レーザ光源８００から遮光壁１１０に対してレーザ光８０１を斜めに入射させる。レーザ光８０１と遮光壁１１０の表面とがなす角度をφとする。レーザ光８０１は遮光壁１１０上の点８０３で拡散反射する。この反射光８０５を、その受光面が正反射方向に対して垂直に配置された撮像素子８１０で検出し、撮像素子８１０上に形成されるレーザ光のスポットサイズにより、遮光壁１１０の散乱特性を評価する。

図４に、遮光壁１１０上の点８０３でのレーザ光の反射光が撮像素子８１０上に形成するスポットの、反射光の中心光線８０６と交差する直線に沿った輝度分布８０７を示す。輝度分布８０７は、中心光線８０６が入射するスポットの中心Ｐ０で輝度が最大となり、これより離れるにしたがって徐々に低下するなだらかな曲線を描く。輝度が最大となるスポットの中心Ｐ０と、輝度が最大値の１０分の１になる点Ｐ１との距離をスポット半径と呼ぶ。レーザ光が反射する遮光壁１１０上の点８０３に対してスポットの中心Ｐ０及び点Ｐ１がなす角度を拡散角度Ｒと呼ぶ。レーザ光８０１が遮光壁１１０の表面となす角度φ（図３参照）が変化すると拡散角度Ｒは変化する。従って、拡散角度Ｒは角度φの関数Ｒ（φ）として表される。この関数Ｒ（φ）を遮光壁１１０の散乱特性と呼ぶ。散乱特性Ｒ（φ）は、レーザ光８０１の遮光壁１１０に対する入射角度を変え、それに応じて変化する正反射方向に正対するように撮像素子８１０の位置及び角度を変えて、反射光を測定することで求めることができる。

遮光壁１１０で反射した光線が撮像領域８１０上に形成するスポットの大きさ（スポット半径）は、反射位置８０３と撮像素子８１０との距離に依存する。図５に示すように、入射角度φでレンズ１００ａの中心を通過する光線２２０が散乱特性Ｒ（φ）を有する遮光壁１１０に入射し拡散反射されて撮像領域１０１ａに入射する場合を考える。レンズ１００ａの焦点距離をｆ、レンズ１００ａの光軸１０３から遮光壁１１０までの距離をｓとすると、遮光壁１１０が撮像領域１０１ａに対して垂直な場合、光線２２０の遮光壁１１０上の反射点２２１から撮像領域１０１ａまでの反射光の中心光線に沿った距離Ｌ１は、

となる。従って、光線２２０の径は、遮光壁１１０上の反射点２２１から距離Ｌ１だけ離れた地点において、

で求められるα（φ）倍だけ拡大される。このα（φ）を光線２２０に対する遮光壁１１０の拡散倍率と呼ぶ。

図５において、レンズ１００ａの中心を通過する光線のレンズ１００ａに対する入射角度φが撮像装置の半画角θに近づくほど、この光線が遮光壁１１０に入射する位置は撮像領域１０１ａに近づき、コントラストの強い有害な写り込み像が発生し測距精度が悪化する。このような観点から、本発明では、遮光壁１１０に対して入射光線がなす角度φが半画角θであるときの遮光壁１１０の拡散角度（即ち散乱特性Ｒ（θ））を用いて遮光壁１１０の散乱特性を評価する。遮光壁１１０の拡散角度は大きい方が、写り込み像の高周波数成分を低周波数成分に確実にシフトさせることができるので好ましい。

コントラストが最も強い写り込み像が発生する可能性が高いのは、図５の光線２２４のように、入射角θ１（θ１＞θ）でレンズ１００ａの中心を通過し、遮光壁１１０上の点２２５に入射し拡散反射され、拡散反射された光の中心光線が撮像領域１０１ａの外周端のうち遮光壁１１０に最も近い位置に入射する場合である。この場合、光線２２４に対する遮光壁１１０の拡散倍率はα（θ１）である。レンズ１００ａの限界解像周波数をβ［ｃｙｃｌｅ／画素］とすると、最も有害な写り込み像を発生させる光線２２４が拡散倍率α（θ１）で散乱されるので、遮光壁１１０で拡散反射された光線２２４の限界解像周波数はβ／α（θ１）［ｃｙｃｌｅ／画素］に低下する。即ち、光線２２４が遮光壁１１０で拡散反射されることにより、光線２２４のうちβ／α（θ１）［ｃｙｃｌｅ／画素］以上の高周波数成分は平滑化され低周波数成分にシフトする。従って、撮像領域１０１ａから出力された画像からβ／α（θ１）［ｃｙｃｌｅ／画素］以下の低周波数成分を除去することにより、写り込み像を構成する成分を確実に除去することができる。なお、低周波数成分を除去する際の閾値は、上記のβ／α（θ１）［ｃｙｃｌｅ／画素］である必要はなく、被写体像の特徴が失われないのであればこれより高い周波数であっても良い。

図２Ｃに、撮像領域１０１ａ，１０１ｂが撮像した画像（図２Ａ参照）から、その空間周波数の低周波数成分を除去して得た画像の、図２Ａの一点鎖線４２１上の各画素の輝度情報を示す。図２Ｂに示した輝度情報から、信号処理により低周波数成分を除去すると、図２Ｃのように被写体像２０２の輪郭などの輝度変化が大きな部分のみを抽出することができる。このように、低周波数成分を除去することにより遮光壁１１０での反射光による写り込み像２２２は選択的に除去されるが、被写体像２０２の特徴が失われることはない。

視差量導出手段１０６（図１参照）は、上記のように低周波数成分が除去された２つの画像から、従来の撮像装置の測距演算（図１１参照）と同様に視差量を求める。本実施形態では、図１１において、ブロック４０１ａ内の画像とブロック４０１ｂ内の画像と差（相関）に関する評価値Ｒ（ｍ，ｎ）を下記式で得られる差分絶対値総和（ＳＡＤ）を用いて求める。

ここで、Ｉ１（ｋ，ｌ）は、基準画像４００ａのブロック４０１ａ内の画素の輝度、Ｉ２（ｋ＋ｍ，ｌ＋ｎ）は、被比較画像４００ｂのブロック４０１ｂ内の画素の輝度である。ｋ，ｌは、画素のＸ軸方向及びＹ軸方向におけるアドレス（整数）である。ブロック４０１ｂのＸ軸方向及びＹ軸方向の移動量ｍ、ｎは整数に限る必要はない。例えば、周辺の画素の輝度を基に内挿することで画素間の輝度を求めることができ、これにより画素ピッチ以下の分解能で視差量を求めることができる。画素間の輝度を求めるための内挿方法としては、共１次内挿法、共３次内挿法、３次たたみ込み内挿法など、周知の方法を用いることができる。

評価値Ｒ（ｍ，ｎ）は、ブロック４０１ａ内の画像とブロック４０１ｂ内の画像とが似通うほど小さくなり、逆に異なるほど大きくなる。評価値Ｒ（ｍ，ｎ）が最小となるときのｍ，ｎがＸ軸方向及びＹ軸方向の視差量となる。

ブロック４０１ｂをＸ軸方向及びＹ軸方向に移動させて（即ち、ｍ，ｎの両方を変化させて）、その都度、評価値Ｒ（ｍ，ｎ）を求めると、演算に多くの時間が必要となる。演算時間を短縮するためには、例えば、レンズ１００ａ，１００ｂの中心を結ぶ基線の方向をＸ軸方向と一致させればよい。これにより、Ｙ軸方向の視差成分を無視することができる。この場合、ブロック４０１ｂをＸ軸方向にのみ移動させて（即ち、常にｎ＝０とし、ｍのみを変化させて）、評価値Ｒ（ｍ，０）を求めるだけで足りる。評価値Ｒ（ｍ，０）が最小となるときのｍが視差量となる。

この視差量ｍは、撮像素子の画素ピッチを基準とする値である。従って、被写体までの距離Ａは、撮像素子の画素ピッチをｐ、レンズ１００ａ，１００ｂの焦点距離をｆ、レンズ１００ａ，１００ｂ間の間隔をＤとすると、三角測量の原理より、

にて求めることができる。

以上のように、本実施形態によれば、画角の近くに輝度が高い被写体などがあっても、これによる測距精度の劣化を防止でき、被写体までの距離を正しく測定することができる。

高輝度被写体からの光線が遮光壁に入射し拡散反射する位置から撮像領域までの距離が小さいと、反射光が十分に拡散しないで撮像領域に入射してしまい、低周波成分除去手段により写り込み像を十分に取り除くことができない可能性がある。このような場合には、図５に示すように、撮像領域と遮光壁１１０との間に画像取得を行わない無効領域３０１を設けることが好ましい。図５では、無効領域３０１は隙間（空白）として描かれているが、撮像領域１０１ａ，１０１ｂを共通する１つの撮像素子の受光領域を分割して得ている場合には、無効領域３０１内の画素からの情報を利用しない等の方法により、無効領域３０１を実質的に設けることが可能である。

また、高輝度被写体が画角の近くにあり、且つその輝度が極めて高い場合、この高輝度被写体の写り込み像によって撮像素子が飽和してしまい、被写体像の画像情報を得ることができないことがある。そのため、画像情報の空間周波数の低周波数成分を除去しても、被写体像の画像情報を得ることができない場合がある。このような場合、被写体を照明する照明装置を設け、被写体像の輝度分布に応じて照明の明るさを変えることが好ましい。これにより、被写体像の画像情報の欠落を防止することができ、画角の近くにある高輝度被写体の輝度に対する許容範囲が増加する。

遮光壁１１０は入射する光線の全てを拡散反射させる必要はなく、一部を吸収しても良い。一般に、遮光壁１１０が光吸収特性を有している方が、写り込み像による影響を少なくすることができるので好ましい。この場合も、吸収されずに反射される光線が拡散反射されるので、上記の効果が得られる。

本発明の撮像装置は、被写体までの距離を測定する機能を有するが、同時に被写体像を撮像することもできる。しかしながら、上記説明から明らかなように、画角外に配置された高輝度被写体からの光線を遮光壁でいくら拡散反射しても、高周波数成分が低周波数成分にシフトした写り込み像が被写体像に重なるので、そのままでは良好な被写体像を得ることはできない。また、撮像領域から得られた画像情報から空間周波数の低周波数成分を除去すると、同時に被写体像の濃淡情報の一部も除去されてしまうので、やはり良好な被写体像を得ることができない。

そこで、本実施形態では、視差量を求める際に使用した、撮像領域１０１ａ，１０１ｂから得た画像（低周波数成分を除去する前の画像）から、写り込み像の影響が少ない部分を選択して合成することで良好な画像を得る。これを図６を用いて説明する。図６において、６００ａ，６００ｂは、それぞれの撮像領域１０１ａ，１０１ｂから得た、低周波数成分を除去する前の画像であり、２０２は被写体像、６０４ａ，６０４ｂは画角外に配置された共通する高輝度被写体による写り込み像である。本実施形態では、このような２つの画像６００ａ，６００ｂを合成して、１枚の良好な画像６００ｃを得る。以下にその方法を説明する。

本実施形態では、図６のように、被写体像２０２に対して写り込み像６０４ａ，６０４ｂが重畳される位置を画像６００ａ，６００ｂ間で異ならせる必要がある。これを実現する構成を図７に示す。図７において、２４０ａ，２４０ｂは、画角外に配置された高輝度被写体（図示せず）の同一位置から発せられた光線である。２つのレンズ１００ａ，１００ｂ間の距離に比べて高輝度被写体までの距離が大きいので光線２４０ａ，２４０ｂは平行とみなすことができる。光線２４０ａはレンズ１００ａを通過し遮光壁１１０に入射し拡散反射されてその中心光線は撮像領域１０１ａ上の点２４１ａに入射する。一方、光線２４０ｂはレンズ１００ｂを通過し鏡筒１０２の内面に入射し拡散反射されてその中心光線は撮像領域１０１ｂ上の点２４１ｂに入射する。撮像領域１０１ｂと鏡筒１０２との間には隙間３０２が設けられているので、撮像領域１０１ａ及び遮光壁１１０間の距離と撮像領域１０１ｂ及び鏡筒１０２間の距離とは異なる。従って、撮像領域１０１ａに対する光線２４０ａの入射位置２４１ａと、撮像領域１０１ｂに対する光線２４０ｂの入射位置２４１ｂとは異なる。従って、図６のように、写り込み像６０４ａ，６０４ｂが形成される位置を画像６００ａ，６００ｂ間で異ならせることができる。

なお、高輝度被写体の同一位置から発せられた光線による写り込み像６０４ａ，６０４ｂが形成される位置を画像６００ａ，６００ｂ間で異ならせるための構成は、図７に限定されない。高輝度被写体からの光線を反射して撮像領域１０１ａ，１０１ｂに入射させる可能性がある、撮像領域１０１ａ，１０１ｂの周辺に配置された部材（例えば、遮光壁１１０、鏡筒１０２）の撮像領域１０１ａ，１０１ｂに対する相対的関係が撮像領域１０１ａ，１０１ｂ間で異なっていればよい。例えば、撮像領域１０１ａ，１０１ｂに対する遮光壁１１０及び鏡筒１０２の角度を撮像領域１０１ａ，１０１ｂ間で異ならせても良い。

上述したように、本実施形態の撮像装置では、被写体までの距離を測定する際に、被写体上のある場所に対応するブロック（画像）を２つの画像６００ａ，６００ｂ上で探索し、そのブロック間のズレ量から視差量を求める。この演算の過程で得た２つの画像６００ａ，６００ｂに含まれる互いに対応する２つのブロックを比較し、より良好な画像を有するブロックを選択する。このような演算を被写体像を構成する全てのブロックについて行い、選択したブロックを合成することにより、全体して良好な画像の被写体像を得ることができる。

図６において、６０１ａ，６０２ａ，６０３ａは、上述した視差量を求める演算において使用した画像６００ａ内の代表的なブロックである。６０１ｂ，６０２ｂ，６０３ｂは、それぞれブロック６０１ａ，６０２ａ，６０３ａに対して差が最も小さいと判断された画像６００ｂ内のブロックである。従って、ブロック６０１ａとブロック６０１ｂとは被写体上の同一位置の画像情報を含んでいる。同様に、ブロック６０２ａとブロック６０２ｂ、ブロック６０３ａとブロック６０３ｂも、それぞれ被写体上の同一位置の画像情報を含んでいる。

被写体像２０２において写り込み像６０４ａ，６０４ｂが重なった部分では、画像のコントラストが低下する。従って、２つの画像６００ａ，６００ｂに含まれる互いに対応する２つのブロック内の画像のコントラストを比較し、コントラストの大きい方のブロックを選択すれば、写り込み像の少ないブロックを選択することができる。例えば、ブロック６０１ａ及びブロック６０１ｂのコントラストを比較すると、両者はほぼ同じであるので、ブロック６０１ａ内の画像とブロック６０１ｂ内の画像とを平均化して得た画像を合成画像６００ｃのブロック６０１ｃの画像として使用する。ブロック６０２ａ及びブロック６０２ｂのコントラストを比較すると、ブロック６０２ｂ内の画像の方がコントラストが大きいので、ブロック６０２ｂ内の画像を合成画像６００ｃのブロック６０２ｃの画像として使用する。ブロック６０３ａ及びブロック６０３ｂのコントラストを比較すると、ブロック６０３ａ内の画像の方がコントラストが大きいので、ブロック６０３ａ内の画像を合成画像６００ｃのブロック６０３ｃの画像として使用する。このようにして、低周波数成分が除去される前の画像６００ａ，６００ｂを構成するブロックから選択したブロックを用いて合成画像６００ｃを生成することにより、写り込み像６０４ａ，６０４ｂがない良好な画像を得ることができる。

上記の説明では、画像６００ａ，６００ｂを、ブロックが互いに重ならないように複数のブロックに分割したが、本発明はこれに限定されず、ブロックが互いに重なり合うように分割しても良い。これにより、合成画像６００ｃを構成するブロックも互いに重なり合うことになるので、ブロック間の画像を滑らかに繋ぐことができ、その結果、より良好な合成画像６００ｃを得ることができる。

上記の実施形態では、撮像領域１０１ａ，１０１ｂは、共通する１つの撮像素子の受光領域を分割して形成したが、本発明はこれに限定されず、２つの独立した撮像素子を用いても良い。

本発明の撮像装置において、光学レンズと撮像領域とからなる光学系の数は、上記の実施形態のように２つである必要はなく、３つ以上であっても良い。

上記の実施形態では、遮光壁１１０の撮像領域１０１ａ，１０１ｂに対向する面は平面であったが、本発明はこれに限定されず、例えば凸面、凹面などの曲面であっても良い。

以下に、本発明を、実施例を用いて更に具体的に説明する。

（実施例１）
本実施例１に係る撮像装置の構成は図１に示すとおりとした。ポリカーボネイトを用いて、緑色の波長に対する焦点距離が３．７５ｍｍ、レンズ１００ａ，１００ｂの基線に沿った中心間隔が２．６ｍｍである２つのレンズ１００ａ，１００ｂを備えるレンズアレイ１００を一体に成型した。このレンズアレイ１００の結像面に、画素ピッチ２．２μｍで、２０４８画素×１５３０画素の１つの白黒ＣＣＤを配置した。このＣＣＤの受光領域に、レンズ１００ａ，１００ｂに対応する２つの撮像領域１０１ａ，１０１ｂを設定した。各撮像領域は、８００画素×６００画素であった。レンズ１００ａ，１００ｂと撮像領域１０１ａ，１０１ｂとの間に、波長を選択するために緑色のフィルター（図示せず）を挿入し、レンズ１００ａ，１００ｂの色収差による被写体像の解像度低下を防止した。レンズ１００ａ，１００ｂとＣＣＤとを位置決めし、且つ、レンズ１００ａ，１００ｂを通過しない光線が撮像領域１０１ａ，１０１ｂに入射するのを防止するために、カーボンを含有させることで黒色にしたポリカーボネイトからなる鏡筒１０２を作製した。同様にカーボンを含有させることにより黒色にしたポリカーボネイトからなる遮光壁１１０を作製した。遮光壁１１０の表面に光線を拡散反射させる手段を設けるために、中心線表面粗さ（Ｒａ）が１５μｍとなるように遮光壁１１０の表面をサンドブラスト処理した。この遮光壁１１０の散乱特性を前述の方法により測定したところ、遮光壁１１０の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は５度であった。また、レンズの中心を通過し遮光壁１１０に入射する光線であって、遮光壁１１０で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁１１０に最も近い位置に入射する光線に対する遮光壁１１０の拡散倍率は約３０倍であった。レンズ１００ａ，１００ｂの限界解像周波数は、ＣＣＤの限界解像周波数より高く、２ｃｙｃｌｅ／画素となるように設計した。よって、遮光壁１１０で拡散反射した光による写り込み像の空間周波数のうち、２／３０≒０．０６７ｃｙｃｌｅ／画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。

なお、本実施例１では、遮光壁１１０の表面をサンドブラスト処理することにより、光線を拡散反射させる手段を形成したが、本発明はこれに限定されない。例えば、光線を拡散反射させるための凹凸を設けた金型を用いて遮光壁１１０を成型することによって、遮光壁１１０の表面に光線を拡散反射させる手段を形成することもできる。

遮光壁１１０の表面の凹凸が規則的であると、この凹凸で反射した光が干渉し、写り込み像の輝度にムラが生じ、写り込み像に高周波数成分が発生する可能性があるので、遮光壁１１０の表面の凹凸は不規則であることが好ましい。

撮像領域１０１ａ，１０１ｂから出力された２つの画像の空間周波数の低周波数成分を、低周波数成分除去手段１０５ａ，１０５ｂにより除去した。具体的には、画像に対して２次元フーリエ変換を行い画像情報を空間周波数に変換した後、０．０６７ｃｙｃｌｅ／画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。

なお、本実施例では、空間周波数が０．０６７ｃｙｃｌｅ／画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。

また、本実施例では、画像情報の２次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ１００ａ，１００ｂの基線方向（即ち、視差が発生する方向）の１次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例１と同様に遮光壁１１０による写り込み像の影響を除去することができた。

また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、ＬｏＧフィルターなどを作用させることによっても、低周波数成分を除去することができる。

このようにして低周波数成分を除去した後、レンズ１００ａ，１００ｂの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて２つの画像のゆがみや大きさを調整した。

その後、２つの画像を比較して視差量を求めた。具体的には、２つの画像のうち、撮像領域１０１ａから得た画像（基準画像）を８画素×８画素のブロックに分割し、各ブロックに対応するブロックを撮像領域１０１ｂから得た画像（被比較画像）内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を０．１画素の単位で補完した。

本実施例１の撮像装置を用いて距離１ｍの位置にある被写体を撮像したところ、視差量は４．４画素であった。これより、被写体距離は、前記［数４］に基づいて、３．７５ｍｍ×２．６ｍｍ／（４．４×２．２μｍ）＝１．０１ｍと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり１．０１ｍと測定され、測定距離に誤差は生じなかった。

また、撮像領域１０１ａ，１０１ｂから出力された、低周波数成分を除去する前の２つの画像に含まれる互いに対応する２つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な１つの画像を得ることができた。

（実施例２）
本実施例２が実施例１と異なるのは、光線を拡散反射させる手段として、図８に示すように遮光壁１１０に透明微粒子５００を含有させた点である。すなわち、直径が１μｍから１０μｍのガラス粉末を１５％含有させたポリカーボネイトを金型成型し、遮光壁１１０を形成した。これにより、遮光壁１１０の表面に不均一に透明微粒子５００が配置されていた。このような遮光壁１１０に光線が入射すると透明微粒子５００の表面及び内部で光が拡散反射した。これにより、実施例１の凹凸を設けた遮光壁１１０と同様に、光線が拡散反射するので、反射光による写り込み画像の高周波数成分が低周波数成分にシフトした。

透明微粒子５００の形状が規則的であると、散乱した光線が干渉し、写り込み像に高い周波数成分を有する規則的な模様が生じる可能性があるので、透明微粒子５００の形状は不規則であることが好ましい。

なお、本実施例２では、透明なガラス粉末をポリカーボネイトに含有させて成型したが、遮光壁の製造方法はこれに限定されない。たとえば、成型した実質的に不透明な板状部品の表面にガラス粉末を吹き付けたり、ガラス粉末を含んだ部材を積層したりして製造してもよい。このようにすることで、遮光壁の表面近傍にのみ散乱手段を設けることができるので、確実に遮光することができる。

遮光壁の構成を除いて実施例１と同様にして、撮像領域１０１ａ，１０１ｂ（図１参照）から出力された２つの画像の空間周波数の低周波数成分を除去し、視差量を求め、被写体までの距離を求めた。その結果、画角外であって画角の近傍に高い輝度の被写体を配置しても、被写体までの距離に誤差は生じなかった。

また、撮像領域１０１ａ，１０１ｂから出力された、低周波数成分を除去する前の２つの画像に含まれる互いに対応する２つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な１つの画像を得ることができた。

（実施例３）
本実施例３が実施例１，２と異なるのは、凹凸を設けた金型を用いて遮光壁１１０を成型することによって、遮光壁１１０の表面に光線を反射する手段として上記凹凸が転写された凹凸を形成した点である。本実施例３ではエッチングにて凹凸パターンを形成した金型を用い、ポリカーボネイトとカーボンとからなる混合材料を成型して遮光壁１１０を得た。その後、実施例１と同様の構成の撮像装置に対してこの遮光壁１１０を実装した。この遮光壁１１０の散乱特性を前述の方法により測定したところ、遮光壁１１０の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は６．３７度であった。また、レンズの中心を通過し遮光壁１１０に入射する光線であって、遮光壁１１０で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁１１０に最も近い位置に入射する光線に対する遮光壁１１０の拡散倍率は約３９倍であった。レンズ１００ａ，１００ｂの限界解像周波数は、ＣＣＤの限界解像周波数より高く、２ｃｙｃｌｅ／画素となるように設計した。よって、遮光壁１１０で拡散反射した光による写り込み像の空間周波数のうち、２／３９≒０．０５１ｃｙｃｌｅ／画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。

なお、本実施例３では、金型表面にエッチング処理を施すことにより、遮光壁１１０の表面に光線を拡散反射させる手段を形成したが、本発明はこれに限定されない。例えば、サンドブラスト加工を施した金型を用いて遮光壁１１０を成型することによって、遮光壁１１０の表面に光線を拡散反射させる手段を形成することもできる。

遮光壁１１０の表面の凹凸が規則的であると、この凹凸で反射した光が干渉し、写り込み像の輝度にムラが生じ、写り込み像に高周波数成分が発生する可能性があるので、遮光壁１１０の表面の凹凸は不規則であることが好ましい。

撮像領域１０１ａ，１０１ｂから出力された２つの画像の空間周波数の低周波数成分を、低周波数成分除去手段１０５ａ，１０５ｂにより除去した。具体的には、画像に対して２次元フーリエ変換を行い画像情報を空間周波数に変換した後、０．０５１ｃｙｃｌｅ／画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。

なお、本実施例では、空間周波数が０．０５１ｃｙｃｌｅ／画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。

また、本実施例では、画像情報の２次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ１００ａ，１００ｂの基線方向（即ち、視差が発生する方向）の１次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例３と同様に遮光壁１１０による写り込み像の影響を除去することができた。

また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、ＬｏＧフィルターなどを作用させることによっても、低周波数成分を除去することができる。

このようにして低周波数成分を除去した後、レンズ１００ａ，１００ｂの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて２つの画像のゆがみや大きさを調整した。

その後、２つの画像を比較して視差量を求めた。具体的には、２つの画像のうち、撮像領域１０５ａから得た画像（基準画像）を８画素×８画素のブロックに分割し、各ブロックに対応するブロックを撮像領域１０５ｂから得た画像（被比較画像）内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を０．１画素の単位で補完した。

本実施例３の撮像装置を用いて距離１ｍの位置にある被写体を撮像したところ、視差量は４．４画素であった。これより、被写体距離は、前記［数４］に基づいて、３．７５ｍｍ×２．６ｍｍ／（４．４×２．２μｍ）＝１．０１ｍと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり１．０１ｍと測定され、測定距離に誤差は生じなかった。

また、撮像領域１０１ａ，１０１ｂから出力された、低周波数成分を除去する前の２つの画像に含まれる互いに対応する２つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な１つの画像を得ることができた。

（実施例４）
図９Ａは本実施例４における遮光壁１１０の断面図であり、図９Ｂは、図９Ａの部分９Ｂの拡大断面図である。本実施例４が実施例１〜３と異なるのは、光線を拡散反射させる手段として、図９Ａに示すように、遮光壁１１０の表面にレンズアレイ１００側（図９Ａの紙面上側）に向いた複数の傾斜面５５０を設けるとともに、傾斜面５５０の先端５５１に略円筒面状となるように曲率を設けた点である。複数の傾斜面５５０の上下方向の配置ピッチＤは約１００μｍ、傾斜面５５０の水平方向に対する傾斜角度ψは約３０度、傾斜面５５０の先端５５１の曲率半径Ｃは約５μｍとした。このような遮光壁１１０は、ポリカーボネートとカーボンフィラーとからなる混合材料を射出成型することによって得た。レンズ１００ａ，１００ｂを通過し傾斜面５５０に入射した光線の多くは図９Ａの紙面上側に向かって反射された。また、傾斜面５５０の先端５５１に入射した光線は、先端５５１の曲面によって拡散反射された。従って、実施例１の表面に凹凸を設けた遮光板に比べて、本実施例４の遮光板は、ＣＣＤ側に向かって反射される光線の量を抑えることができた。

実施例１と同様の構成の撮像装置に対して上記の本実施例４の遮光壁１１０を実装した。この遮光壁１１０の散乱特性を前述の方法により測定したところ、遮光壁１１０の表面となす角度が撮像装置の半画角で入射したレーザー光に対する拡散角度は３７．３５度であった。また、レンズの中心を通過し遮光壁１１０に入射する光線であって、遮光壁１１０で拡散反射された反射光の中心光線が撮像領域の外周端のうち遮光壁１１０に最も近い位置に入射する光線に対する遮光壁１１０の拡散倍率は約２６４倍であった。レンズ１００ａ，１００ｂの限界解像周波数は、ＣＣＤの限界解像周波数より高く、２ｃｙｃｌｅ／画素となるように設計した。よって、遮光壁１１０で拡散反射した光による写り込み像の空間周波数のうち、２／２６４≒０．００７６ｃｙｃｌｅ／画素以上の高い周波数成分は、これより低い周波数成分にシフトすることになる。

撮像領域１０１ａ，１０１ｂから出力された２つの画像の空間周波数の低周波数成分を、低周波数成分除去手段１０５ａ，１０５ｂにより除去した。具体的には、画像に対して２次元フーリエ変換を行い画像情報を空間周波数に変換した後、０．００７６ｃｃｙｃｌｅ／画素以下の低周波数成分を除去し、次いで逆フーリエ変換を用いて画像に復元した。

なお、本実施例では、空間周波数が０．００７６ｃｃｙｃｌｅ／画素以下の低周波領域を除去したが、除去する周波数の閾値はこれに限定されない。例えば前述したように、閾値としてこの周波数より大きな周波数を設定することで、写り込み像の成分を確実に除去できる。

また、本実施例では、画像情報の２次元空間周波数から低周波数成分を除去したが、視差が発生するレンズ１００ａ，１００ｂの基線方向（即ち、視差が発生する方向）の１次元空間周波数から低周波数成分を除去しても良く、この場合も本実施例４と同様に遮光壁１１０による写り込み像の影響を除去することができた。

また、低周波数成分を除去する方法としては、フーリエ変換を用いる方法に限定されず、画像情報に対して微分フィルター、ソーベルフィルター、ＬｏＧフィルターなどを作用させることによっても、低周波数成分を除去することができる。

このようにして低周波数成分を除去した後、レンズ１００ａ，１００ｂの収差、焦点ずれによって生じた画像のひずみの影響を除くために、予め測定したキャリブレーションデータに基づいて２つの画像のゆがみや大きさを調整した。

その後、２つの画像を比較して視差量を求めた。具体的には、２つの画像のうち、撮像領域１０５ａから得た画像（基準画像）を８画素×８画素のブロックに分割し、各ブロックに対応するブロックを撮像領域１０５ｂから得た画像（被比較画像）内で探索し、対応するブロックの位置ずれ量から視差量を求めた。この際、被比較画像の画素間の輝度を０．１画素の単位で補完した。

本実施例４の撮像装置を用いて距離１ｍの位置にある被写体を撮像したところ、視差量は４．４画素であった。これより、被写体距離は、前記［数４］に基づいて、３．７５ｍｍ×２．６ｍｍ／（４．４×２．２μｍ）＝１．０１ｍと求められた。画角外であって画角の近傍に高い輝度の被写体を設置し、同様に被写体距離の測定を行ったところ、やはり１．０１ｍと測定され、測定距離に誤差は生じなかった。

また、撮像領域１０１ａ，１０１ｂから出力された、低周波数成分を除去する前の２つの画像に含まれる互いに対応する２つのブロック内の画像のコントラストを比較し、コントラストが高い方の画像を選択し合成することで、写り込み像のない良好な１つの画像を得ることができた。

なお、光線を拡散反射させる手段としては、実施例１〜４で説明したもの以外のものも使用可能である。例えば、特許文献３に開示されている、入射角が特定の角度範囲内の入射光を選択的に散乱する光散乱シート（例えば「ルミスティー」（住友化学株式会社の登録商標）等を遮光壁の表面に貼り付けても良い。この光散乱シートは、厚み方向に屈折率が分布した構造を有し、入射角が特定の角度範囲内の入射光を散乱させる機能を有する。この光散乱シートを用いる場合には、入射光が光散乱シートの面となす角度が撮像装置の半画角であるときに光散乱するように光散乱シートを設計することが好ましい。さらに、光散乱シートを貼り付ける遮光壁は、カーボン等を分散させて黒色化されていると反射光を低減することができるのでより好ましい。

以上に説明した実施形態及び実施例は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。

本発明によれば、視野外に高輝度被写体が存在しても被写体までの距離を正確に測定することができる、小型、薄型のカメラモジュールを実現できる。従って、本発明は、例えば携帯電話に搭載されるカメラやデジタルスチルカメラに適用して立体情報を取り込んだり、監視用カメラ、車載カメラ、ロボット搭載カメラに適用して被写体から得られる情報量を増やしたりすることができ、認証、監視、制御などの精度向上に有用である。

図１は、本発明の一実施形態に係る測距機能を有する複眼方式の撮像装置の概略構成を示した図である。 図２Ａは、本発明の一実施形態に係る撮像装置において２つの撮像領域が撮像した画像を示す。 図２Ｂは図２Ａの一点鎖線上の各画素の輝度情報を示す。 図２Ｃは低周波数成分を除去した後の図２Ａの一点鎖線上の各画素の輝度情報を示す。 図３は、本発明の撮像装置において遮光壁の散乱特性を評価する方法を示す図である。 図４は、本発明の撮像装置において遮光壁の散乱特性の定義を説明する図である。 図５は、本発明の撮像装置において、有害な写り込み像が発生する条件を説明する図である。 図６は、本発明の撮像装置において、画像の合成方法を説明する図である。 図７は、本発明の撮像装置において、遮光壁及び鏡筒によって異なる位置に写り込み像が発生する様子を説明する断面図である。 図８は、本発明の実施例２の撮像装置に使用した遮光壁の断面図である。 図９Ａは、本発明の実施例４の撮像装置に使用した遮光壁の断面図である。 図９Ｂは、図９Ａの部分９Ｂの拡大断面図である。 図１０は、従来の複眼方式の撮像装置の概略構成を示した図である。 図１１は、従来の複眼方式の撮像装置において、視差量の演算方法を説明する図である。 図１２は、従来の複眼方式の撮像装置において、遮光壁によって写り込み像が発生する現象を説明する図である。 図１３は、従来の複眼方式の撮像装置において、一方のみに写り込み像が発生した２つの画像を示した図である。

Claims (11)

1. 略同一平面上に配置された複数の光学レンズと、
   前記複数の光学レンズと一対一に対応した複数の撮像領域と、
   前記複数の光学レンズのうちの一つの光学レンズを通過した光線が、前記一つの光学レンズに対応しない撮像領域に入射するのを防止する遮光壁と、
   前記複数の撮像領域で撮像された複数の画像を比較して視差量を求める手段と
   を備える測距機能を有する複眼方式の撮像装置であって、
   前記遮光壁は入射した光線を拡散反射させる手段を備え、
   前記撮像装置は前記複数の撮像領域で撮像された複数の画像の空間周波数の低周波数成分を除去する手段をさらに備え、
   前記視差量を求める手段は、前記低周波数成分を除去する手段により低周波数成分が除去された前記複数の画像を比較して視差量を求めることを特徴とする測距機能を有する複眼方式の撮像装置。
2. 前記光線を拡散反射させる手段は、前記遮光壁の表面に設けられた凹凸である請求項１に記載の測距機能を有する複眼方式の撮像装置。
3. 前記凹凸は不規則に配置されている請求項２に記載の測距機能を有する複眼方式の撮像装置。
4. 前記光線を拡散反射させる手段は、少なくとも前記遮光壁の表面近傍に含有された透明微粒子である請求項１に記載の測距機能を有する複眼方式の撮像装置。
5. 前記透明微粒子の形状が不規則である請求項４に記載の測距機能を有する複眼方式の撮像装置。
6. 前記低周波数成分を除去する手段は、視差が発生する方向の空間周波数の低周波数成分を除去する請求項１〜５のいずれかに記載の測距機能を有する複眼方式の撮像装置。
7. 前記遮光壁となす角度が前記撮像装置の半画角である光線に対する前記遮光壁の拡散角度が５度以上である請求項１〜６のいずれかに記載の測距機能を有する複眼方式の撮像装置。
8. 前記光学レンズの中心を通過し前記遮光壁に入射する光線であって、前記遮光壁で拡散反射された反射光の中心光線が前記撮像領域の外周端のうち前記遮光壁に最も近い位置に入射する光線に対する前記遮光壁の拡散倍率をα、前記光学レンズの限界解像周波数をβとしたとき、前記低周波数成分を除去する手段は、撮像された前記複数の画像のβ／α以下の空間周波数成分を除去する請求項１〜７のいずれかに記載の測距機能を有する複眼方式の撮像装置。
9. 被写体を照明する照明装置を更に備え、被写体像の輝度分布に応じて照明の明るさを変える請求項１〜８のいずれかに記載の測距機能を有する複眼方式の撮像装置。
10. 前記複数の撮像領域で撮像された前記複数の画像のうちの一つの画像を複数のブロックに分割する手段と、前記複数のブロックのそれぞれに対応するブロックを、前記複数の画像のうちの他の画像内において探索する手段と、前記複数の画像から１つの合成画像を得る手段とを更に備え、前記合成画像を得る手段は、前記複数の画像に含まれる互いに対応する複数のブロックのコントラストを比較し、コントラストのより大きなブロックを選択して前記合成画像を得る請求項１〜９のいずれかに記載の測距機能を有する複眼方式の撮像装置。
11. 前記複数の光学レンズのいずれをも通過しない光線が前記複数の撮像領域のいずれかに入射するのを防止する鏡筒を更に備え、画角の外にある共通する被写体からの光線が前記遮光壁又は前記鏡筒の内面で反射して前記複数の撮像領域に入射する位置が、前記複数の撮像領域間で互いに異なる請求項１０に記載の測距機能を有する複眼方式の撮像装置。

Images