JP4516590B2 - 画像撮像装置及び距離測定方法 - Google Patents

Description

本発明は、被写体の奥行き距離に関する情報を取得する画像撮像装置及び距離測定方法に関する。特に本発明は、光が照射された被写体から得られる出射光を撮影して被写体の奥行きに関する情報を取得する画像撮像装置及び距離測定方法に関する。

物体までの距離情報や、物体の位置情報を得るために、物体にスリットや縞模様などのパターン光を投影し、物体に投影されたパターンを撮影して解析する三次元画像計測の手法が知られている。代表的な計測方法として、スリット光投影法（別名、光寸断法）、コード化パターン光投影法などがあり、井口征士、佐藤宏介著「三次元画像計測」（昭晃堂）に詳しい。

特開昭６１−１５５９０９号公報（公開日昭和６１年７月１５日）及び特開昭６３−２３３３１２号公報（公開日昭和６３年９月２９日）には、異なる光源位置から被写体に光を照射し、被写体からの出射光の強度比に基づいて、被写体までの距離を測定する距離測定装置及び距離測定方法が開示されている。

特開昭６２−４６２０７号公報（公開日昭和６２年２月２８日）には、位相の異なる２つの光を被写体に照射し、被写体からの出射光の位相差に基づいて、被写体までの距離を測定する距離検出装置が開示されている。

また、河北他「三次元撮像装置AXi-Vision Cameraの開発」（３次元画像コンファレンス９９、1999年）には、投影光に超高速の強度変調を加え、強度変調光で照明された被写体を、高速シャッター機能を備えたカメラで撮影し、被写体までの距離によって変化する強度変調度合いから、距離を測定する方法が開示されている。

また、特開平１０−４８３３６号公報及び特開平１１−９４５２０号公報には、異なる波長特性を有した、異なる光パターンを被写体に投射し、被写体からの入射光の波長成分を抽出することにより被写体までの距離を計算する実時間レンジファインダが開示されている。

従来の距離測定装置及び距離測定方法では、特開昭６１−１５５９０９号公報及び特開昭６３−２３３３１２号公報に開示されたように、放射位置を異ならせて光を順次照射し、それぞれの出射光を測定する必要があるため、測定に時間差が生じる。そのため、動きのある被写体の場合、距離を測定することができないという問題が生じる。また光源の位置を変えて照射する間に、撮影装置のぶれにより、測定誤差が生じる可能性がある。

また、波長特性の異なる光の場合、同時に照射し、出射光を照射光の波長特性に合わせたフィルターを用いて、分光し、出射光強度を測定することができる。しかし、被写体の被照射部の分光反射率が異なる場合、照射光の波長の違いから出射光強度に違いが生じるため、出射光強度の比から奥行き距離を計算する際の誤差要因となり、正確な奥行き距離が計算できないという問題が生じていた。

また、特開平１０−４８３３６号公報及び特開平１１−９４５２０号公報に開示された実時間レンジファインダにおいても、波長特性の異なる光を用いて被写体までの距離を計算している。しかし、被写体の被照射部の分光反射率が異なる場合においては、上述したように誤差要因となり、正確な奥行き距離が計算できない。

特開昭６２−４６２０７号公報に開示された距離検出装置では、位相差を検出するための精度の高い位相検出器が必要となり、装置が高価になり、簡便性に欠ける。また、被写体の点からの出射光の位相を測定するため、被写体全体の奥行き分布を測定することができない。

また、河北他「三次元撮像装置Axi-Vision Cameraの開発」（３次元画像コンファレンス９９，1999年）に開示された強度変調を用いた距離測定方法は、同一の光源において強度の増減変調を行うため、非常に高速に光変調を行う必要があり、簡便に測定することができず、また、測定にも時間差があるため動きのある被写体に対しては正確に距離を測定できないという問題がある。

そこで本発明は、上記の課題を解決することのできる画像撮像装置及び距離測定方法を提供することを目的とする。この目的は、特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、被写体に照射する照射部と、被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２の波長を有する第２の出射光と、第３の波長を有する第３の出射光とを光学的に分離する分光部と、分光部によって分離された第１、第２及び第３の出射光を受光する受光部と、受光部が受光する第１、第２及び第３の出射光の強度を検出する光強度検出部と、第２の出射光と第３の出射光の平均強度及び第１の出射光の強度を用いて、被写体までの奥行き距離を算出する奥行き算出部とを備える。

本発明の第２の形態によると、被写体の奥行きに関する情報を取得する画像撮像装置であって、第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、第１の波長より短い第２の波長、及び第１の波長より長い第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、被写体に照射する照射部と、被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２及び第３の波長を有する第２の出射光とを光学的に分離する分光部と、分光部によって分離された第１の出射光及び第２の出射光を受光する受光部と、受光部が受光する第１及び第２の出射光の強度を検出する光強度検出部と、第１の出射光の強度及び第２の出射光の強度の半分の値を用いて、被写体までの奥行き距離を算出する奥行き算出部とを備える。

第１の照射光は、光軸と垂直な面における第１の方向で単調に増加する強度分布を有し、第２の照射光は、第１の方向とは逆向きの第２の方向で単調に増加する強度分布を有してもよい。

第１の照射光は、光軸と垂直な面において光軸から遠ざかるにつれ単調に増加または減少する強度分布を有し、第２の照射光は、光軸と垂直な面において光軸から遠ざかるにつれ、第１の照射光が光軸から遠ざかるにつれ単調に増加する場合は減少し、第１の照射光が光軸から遠ざかるにつれ単調に減少する場合は増加する、強度分布を有してもよい。

照射部は、第１及び第２の照射光を同時に照射してもよい。

第１の照射光は、光軸と垂直な面において、照射部と、受光部とを結ぶ線を光軸と垂直な面に投影した線と平行な第１の方向で強度が増加し、第２の照射光は、光軸と垂直な面において、第１の方向と逆向きの第２の方向で強度が増加してもよい。

照射部は、第１の波長の光を透過する第１の照射光光学フィルターと、第２及び第３の波長の光を透過する第２の照射光光学フィルターとを有し、第１の照射光光学フィルターは、第１の照射光が入射され、第２の照射光光学フィルターは、第２の照射光が入射されてもよい。

第１の照射光光学フィルターは、入射面において第１の方向で透過率が増加し、第２の照射光光学フィルターは、第１の方向と逆向きの第２の方向で透過率が増加してもよい。

第１の照射光光学フィルターは、入射面において第１の照射光の光軸から遠ざかるにつれ透過率が増加または減少し、第２の照射光光学フィルターは、入射面において第２の照射光の光軸から遠ざかるにつれ透過率が、第１の照射光光学フィルターの透過率が第１の照射光の光軸から遠ざかるにつれ増加する場合は減少し、第１の照射光光学フィルターの透過率が第１の照射光の光軸から遠ざかるにつれ減少する場合は増加してもよい。

分光部は、第１の波長の光を透過する第１の出射光光学フィルター、第２の波長の光を透過する第２の出射光光学フィルター、及び第３の波長の光を透過する第３の出射光光学フィルターとを有し、第１の出射光光学フィルターは、第１の出射光が入射され、第２の出射光光学フィルターは、第２の出射光が入射され、第３の出射光光学フィルターは、第３の出射光が入射されてもよい。

分光部は、第１の波長の光を透過する第１の出射光光学フィルターと、第２及び第３の波長の光を透過する第２の出射光光学フィルターとを有し、第１の出射光光学フィルターは、第１の出射光が入射され、第２の出射光光学フィルターは、第２及び第３の出射光が入射されてもよい。

受光部は、固体撮像素子を有し、分光部は、第１の波長の光を透過する第１の出射光光学フィルターと、第２の波長の光を透過する第２の出射光光学フィルターと、第３の波長の光を透過する第３の出射光光学フィルターとを有し、第１、第２及び第３の出射光光学フィルターが固体撮像素子の受光面に交互に配置されてもよい。

光強度検出部は、受光部に撮像された被写体の画像の各画素において第１及び第２の出射光の強度を算出し、奥行き算出部は、各画素の各々に対応する被写体の領域までの奥行きを各々求めることにより、被写体の奥行き分布を算出してもよい。

第１及び第２の照射光は赤外線領域の光であり、分光部は、被写体から得られる出射光から可視光を光学的に分離し、受光部は、分光部により光学的に分離された可視光を受光する可視光用の固体撮像素子をさらに備え、奥行き算出部が算出する被写体の奥行き分布と共に可視光用の固体撮像素子に撮像された被写体の画像を記録する記録部をさらに備えてもよい。

本発明の第３の形態によると、被写体の奥行きに関する情報を取得する距離測定方法であって、第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、同時に被写体に照射する照射段階と、第１及び第２の照射光が照射された被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２の波長を有する第２の出射光と、第３の波長を有する第３の出射光とを光学的に分離する分光段階と、分離された第１、第２及び第３の出射光を受光する受光段階と、受光された第１、第２及び第３の出射光の強度を検出する光強度検出段階と、第２の出射光と第３の出射光の平均強度及び第１の出射光の強度に基づいて、被写体までの奥行き距離を算出する奥行き算出段階とを備える。

本発明の第４の形態によると、被写体の奥行きに関する情報を取得する距離測定方法であって、第１の波長を主要な波長成分とし、光軸と垂直な面における第１の強度分布を有する第１の照射光と、第１の波長より短い第２の波長、及び第１の波長より長い第３の波長を主要な波長成分とし、光軸と垂直な面において第１の強度分布と異なる第２の強度分布を有する第２の照射光とを、同時に被写体に照射する照射段階と、第１及び第２の照射光が照射された被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２及び第３の波長を有する第２の出射光とを光学的に分離する分光段階と、分離された第１の出射光及び第２の出射光を受光する受光段階と、受光された第１の出射光及び第２の出射光の強度をそれぞれ検出する光強度検出段階と、第１の出射光の強度及び第２の出射光の強度の半分の値に基づいて、被写体までの奥行き距離を算出する奥行き算出段階とを備える。

尚、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

（第１の実施形態）
図１は、本発明の第１の実施形態の原理説明図である。光源２６は、第１の照射光１６、第２の照射光１８を照射する光源である。照射光１６及び照射光１８は、光軸に垂直な面において、それぞれ異なる第１及び第２の強度分布を有する。光源２６は、第１の照射光１６を被写体１２に照射し、カメラ２８は、第１の照射光１６の被照射部１４における第１の反射光２２を撮影する。次に、光源２６は第２の照射光１８を被写体１２に照射し、カメラ２８は、第２の照射光１８の被照射部１４における第２の反射光２４を撮影する。カメラ２８は例えば電荷結合素子（ＣＣＤ）イメージセンサであって、各画素単位で第２の照射光１８の被照射部１４における第２の反射光２４を撮影し、画素毎にそれぞれの強度を検出する。またカメラ２８は、光源２６から所定の距離Ｌ１離れた位置に配置される。

図２は、第１の照射光１６の強度Ｗａと第２の照射光１８の強度Ｗｄの、光軸と垂直な面における強度分布の一例を説明する図である。図２（ａ）はＷａ及びＷｄそれぞれの光軸と垂直な面における強度分布を表している。縦軸は強度を表し、横軸は図１における光源２６及びカメラ２８とを結ぶ線と、縦軸に示される強度を有する照射光の成分とがなす角度を表している。Ｗａは光軸と垂直な面における第１の方向で単調に増加している。またＷｄは光軸と垂直な面においてＷａとは逆の方向で単調に増加している。図２（ｂ）はＷａ及びＷｄの強度比を示す。

第１の照射光１６と第２の照射光１８が図２に示されるような強度分布を有している場合、図２（ｂ）に示されるように、カメラ２８の各画素において検出された強度比Ｗａ／Ｗｄに基づいて図１における第１の照射光１６及び第２の照射光１８の照射角θ２が算出され、強度比Ｗａ／Ｗｄを検出した画素の位置によって第１の反射光２２及び第２の反射光２４の入射角θ１が算出される。これらの入射角θ１、θ２及び光源２６とカメラ２８との距離Ｌ１から、三角測量法により被照射部１４の奥行き距離を算出することができる。

しかし、この方法では第１の照射光１６と第２の照射光１８とを順に照射し、それぞれ撮影するため撮影に時間差が生じる。したがって動きのある被写体には適用することができない。そこで第１の照射光１６と第２の照射光１８との波長特性を異ならせ、第１の照射光１６と第２の照射光１８とを同時に照射し、被照射部からの反射光から、第１の照射光１６による第１の反射光２２と第２の照射光１８による第２の反射光２４とを波長分離して、それぞれの反射光の強度を測定する方法が考えられる。

被照射部の表面反射率は一般に波長によって異なる。このため反射光強度比Ｗａ／Ｗｄを求めても、被写体の奥行き距離を算出することができない。第１の照射光１６の波長λ１と第２の照射光１８の波長λ２との差を微小にして、表面反射率の違いを無視して強度比Ｗａ／Ｗｄを求め、被照射部１４の奥行き距離を算出することもできるが、計算に誤差が生じてしまう。この誤差を小さくするためには、波長λ１とλ２との差を十分に小さくしなければならないが、波長λ１とλ２との差を小さくすると、波長分離の精度が悪くなり、波長毎の強度測定に誤差が含まれることになる。

したがって、波長分離の分解能を上げて強度測定の精度を上げるためには、波長λ１とλ２との差を大きくしなければならないし、波長による表面反射率の違いを小さくして、距離測定の精度を上げるためには、波長λ１とλ２との差を小さくしなければならないというジレンマに陥り、距離測定の精度を改善することに自ずと限界が生じる。

そこで、このジレンマを解消するため本実施形態では、第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを前記被写体に同時に照射する。次に第１の照射光による第１の反射光と第２の照射光による第２の反射光とを光学的に分離し、第２の反射光より、第２の強度分布を有する光が第１の波長を主要な波長成分とする光であった場合に、被写体から得られるであろう仮の反射光の強度を求める。この仮の反射光の強度と、第１の反射光の強度との強度比と、光源２６とカメラ２８との距離Ｌ１とに基づいて被照射部１４の奥行き距離を算出する。仮の反射光の強度を求めることにより、波長による表面反射率の違いをキャンセルすることができるため、奥行き距離を正確に求めることができる。

図３は本発明の第１の実施形態における画像撮像装置２００の構成の一例を示す図である。画像撮像装置２００は、照射部４０、撮像部１００、制御部９０及び処理部１１０を有する。

照射部４０は被写体１２に光を照射し、撮像部１００は照射部４０が照射した被写体１２を撮像する。処理部１１０は撮像部１００が撮像した被写体１２の画像を処理して、撮像された被写体１２の奥行き距離を求め、被写体１２の奥行き分布情報として記憶する。処理部６０はまた、撮像部１２０が撮像した被写体１２の画像を記録することもできる。制御部９０は、処理部が求めた被写体１２の奥行き距離に基づいてフィードバック制御を行い、照射部４０が照射する光の強度、発光のタイミング、発光時間、放射位置等を制御し、撮像部１００の露光時間等を制御する。

照射部４０は、光源部４４と、光学フィルター４２ａ、４２ｂとを有する。光源部４４からの光は光学フィルター４２ａ、４２ｂを透過し、第１の照射光１６と第２の照射光１８として被写体１２に照射される。光学フィルター４２ａは第１の波長λ１の光を透過し、光学フィルター４２ｂは第２の波長λ２及び第３の波長λ３の光を透過する。第１の照射光１６は光軸と垂直な面において第１の強度分布を有し、第２の照射光１８は第１の強度分布とは異なる第２の強度分布を有する。第１及び第２の強度分布は、後述する光学フィルター４２ａ及び４２ｂの透過率分布により定まり、光学フィルター４２ａ及び４２ｂの透過率分布はそれぞれ異なる。

照射部４０は、光量を効率的に利用したい場合には、コンデンサーレンズ等の光学レンズを照射光の光路に挿入して、光を集光させてもよい。

撮像部１００は、光学結像部の一例としての光学レンズ４６と、分光部５０と、受光部６０とを有する。光学レンズ４６は、被写体１２からの反射光４８を結像する。分光部５０は、被写体１２からの反射光４８を、照射部４０が照射した波長特性に合わせて波長分離する。受光部６０は、光学レンズ４６が結像し、分光部５０によって波長分離された反射光を受光する。

受光部６０は、一例として固体撮像素子である。被写体像は固体撮像素子の受光面上に結像される。結像された被写体像の光量に応じ、固体撮像素子の各センサエレメントに電荷が蓄積され、蓄積された電荷は、一定の順序に走査され、電気信号として読み出される。

固体撮像素子は、被写体からの反射光の強度を画素単位に高い精度で検出可能なように、Ｓ／Ｎ比が良く、画素数が大きい電荷結合素子（ＣＣＤ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外にＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ密着型イメージセンサ、又はバイポーラ密着型イメージセンサ等を用いても良い。

処理部１１０は、画像メモリ５４と、光強度検出部７０と、奥行き算出部８０と、画像補正部５６と、記録部５８を有する。画像メモリ５４は、撮像部１００が撮像した被写体１２の画像を、照射部４０が照射した照射光の波長特性に合わせて格納する。光強度検出部７０が画像メモリ５４に格納された被写体１２の画像から反射光の強度を画素単位または画素領域単位で検出する。奥行き算出部８０は、光強度検出部７０が検出した反射光強度に基づいて、各画素領域に写された被写体１２の奥行き距離を算出する。記録部５８は、奥行き算出部８０が算出した被写体１２の奥行き距離の分布を記録する。画像補正部５６は、画像メモリ５４に格納された被写体１２の画像について、階調補正、ホワイトバランス等の補正を行う。記録部５８は、画像補正部５６が処理した被写体１２の画像を記録する。また、光強度検出部７０及び奥行き算出部８０はそれぞれ、被写体１２からの反射光の検出レベル及び被写体１２の奥行き分布の情報を制御部５８に出力する。記録部５８は、フラッシュメモリ、メモリカード等の半導体メモリに画像データ及び奥行き分布情報を記録する。

制御部９０は、処理部１１０が求めた被写体１２の奥行き距離に基づいてフィードバック制御を行い、照射部４０が照射する光の強度、発光のタイミング等を制御し、撮像部１００の受光部６０の受光感度や露光時間等を制御する。制御部９０は、測光センサ（図示せず）の測光データや、測距センサの測距データを用いて、照射部４０と撮像部１００を制御しても良い。また、制御部９０は、処理部１１０が求めた被写体１２の奥行き距離に基づいて、被写体１２の画像を撮影するときの撮像部１００のフォーカス、絞り、露光時間等を調整してもよい。

図４は、照射部４０から照射される光の強度分布の一例を説明する図である。面６６は、照射部４０から照射された光の光軸６４と垂直な面である。面６６において照射部４０が照射した光は線６８に示す方向で単調に増加又は減少する。線６８は照射部４０と受光部又は光学結像部７２とを結ぶ線６２を面６６に投影した線と平行である。本実施例では、照射部４０と撮像部（受光部又は光学結像部）との距離、照射光の照射角、及び反射光の入射角に基づいて、三角測量法により被写体の奥行き距離を算出するので、図４において説明したような強度分布を照射部から照射される第１の照射光及び第２の照射光が有することが好ましいが、他の例においては、第１の照射光は、光軸と垂直な面において光軸から遠ざかるにつれ単調に増加または減少する強度分布を有し、第２の照射光は、光軸と垂直な面において光軸から遠ざかるにつれ、第１の照射光が光軸から遠ざかるにつれ単調に増加する場合には減少し、第１の照射光が光軸から遠ざかるにつれ単調に減少する場合には増加する強度分布を有していてもよく、また他の分布を有していてもよい。

図５は、本実施の形態における光学フィルター４２の一例の説明図である。図５（ａ）は一方向において透過率が変化する光学フィルター４２の一例の説明図である。図３に関連して説明したように、照射部は透過率分布の異なる２種の光学フィルター４２を有している。片方は図５（ａ）の（１）に示すように一方向において透過率が単調に増加する透過率分布を有しており、もう一方は図５（ａ）の（２）に示すように、（１）とは逆の方向において透過率が単調に増加する透過率分布を有している。また、照射部は図５（ｂ）に示すような、片方は中心部から遠ざかるにつれ透過率が単調に増加する透過率分布を有し、もう一方は中心部から遠ざかるにつれ透過率が単調に減少する透過率分布の光学フィルター４２を有していてもよく、他の透過率分布の光学フィルター４２を有していてもよい。また、光学フィルター４２はそれぞれ異なる波長近傍を主に透過することが好ましい。

図５（ｂ）に関連して説明した光学フィルター４２は、全方位に対して距離算出が行えるが、三角測量法により距離を算出しており、照射部４０と撮像部１００を結ぶ方向と平行な方向以外には誤差が生じてしまう。そのため、本実施形態においては、図５（ａ）に関連して説明した光学フィルター４２を用いるのがより好ましい。

図６は本実施形態の照射部４０と撮像部１００の構成の一例を示す図である。照射部４０は光源部４４と、光学フィルター４２ａ、４２ｂを有する。光学フィルター４２ａは主に波長λＡの光を透過し、光学フィルター４２ｂは主に波長λＢ、λＣを有する光を透過する。照射部４０は光源部からの照射光を光学フィルター４２ａ、４２ｂを介して、波長λＡの光と、波長λＢの光として被写体１２に照射する。

照射部４０からの照射光により照射された被写体１２の被照射部１４からの反射光を撮像部１００の光学レンズ４６が結像する。分光部５０は、波長λＡ、λＢ、λＣの３つの光に波長分離して光路を分割するプリズムである。受光部６０a、６０ｂ、及び６０ｃは３板の固体撮像素子である。分光部５０によって分光された波長λＡ、λＢ、λＣを有する光はそれぞれ受光部６０ａ、６０ｂ、及び６０ｃに受光される。各受光部６０ａ、６０ｂ、及び６０ｃに受光された光は、光電効果により電荷として読み出され、Ａ／Ｄ変換器（図示せず）によりデジタル電気信号に変換され、処理部１１０（図示せず）に入力される。

図７は、本実施形態の処理部１１０の構成の一例を示す図である。各受光部６０ａ、６０ｂ、及び６０ｃが出力する被写体像は、それぞれ画像メモリ５４ａ、５４ｂ、及び５４ｃに格納される。光強度検出部７０は、各画像メモリ５４ａ、５４ｂ、及び５４ｃに格納される画像データを用いて、波長λＡ、λＢ、及びλＣの反射光の強度を検出する。奥行き算出部８０は、光強度検出部７０が検出した波長λＡ、λＢ、及びλＣの反射光の強度及び照射部４０と光学レンズ（光学結像部）４６又は受光部６０との距離を用いて、照射部４０から被写体１２の被照射部１４までの距離を求める。奥行き算出部８０は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体１２の奥行き距離を算出し、被写体１２の奥行き分布を求め、出力する。記録部５８は、被写体１２の奥行き分布情報を記録する。

光強度検出部７０は、検出した波長λＡ、λＢ、及びλＣの反射光の強度を制御部９０へ出力する。奥行き算出部８０は、被写体１２の奥行き分布情報を制御部９０へ出力する。制御部９０は、強度レベルが適正でない場合、光源部４４の放射光強度を調整する。

図８は、光強度検出部７０と奥行き算出部８０による奥行き距離計算方法の説明図である。照射部４０（図示せず）から波長λａを主要な波長成分とし、第１の強度分布を有する第１の照射光と、波長λｂ及びλｃを主要な波長成分とし、第１の強度分布とは異なる第２の強度分布を有する第２の照射光が被写体１２（図示せず）に照射され、被写体１２からの反射光を受光部６０が受光する。

光強度検出部７０は、波長λａの反射光の強度Ｗａ、波長λｂの反射光の強度Ｗｂ、波長λｃの強度Ｗｃをそれぞれ検出する。奥行き算出部は、波長λｂ及び波長λｃの反射光の強度Ｗｂ及びＷｃを用いて、第２の照射光が波長λａを主要な波長成分であり、第２の強度分布を有すると仮定した場合の、仮の反射光強度Ｗｄを算出する。反射光の強度Ｗａと、仮の反射光強度Ｗｄとの比Ｗａ／Ｗｄを算出し、照射部４０（図示せず）と光学レンズ４６（図示せず）又は受光部６０との距離と、強度比Ｗａ／Ｗｄとに基づいて被写体１２の奥行き距離を算出する。

反射光強度Ｗａと、仮の反射光強度Ｗｄとは、共に波長λａを主要な波長成分としているので、被写体１２の被照射部１４における表面反射率の波長による差の影響をキャンセルすることができる。また、仮の反射光強度Ｗｄは、波長λａとは異なるλｂ及びλｃを主要な波長成分とする反射光の強度より算出されるので、λａ、λｂ及びλｃをそれぞれ波長分離する際に分離が容易にできる程度に波長間隔をとることにより、波長分離の際の誤差をも減少させることができ、前述したジレンマを解消することが可能となる。

波長λｂ及びλｃを主要な波長成分とする反射光の強度Ｗｂ及びＷｃを用いて仮の反射光強度Ｗｄを算出する方法には、多様な変形がありうる。

図９は、補間又は外挿によって仮の反射光の強度Ｗｄを求める方法の一例の説明図である。波長λｂの強度Ｗｂと、波長λｃの反射光の強度Ｗｃとを補間又は外挿することにより、波長λａの場合の仮の強度Ｗｄを求める。図９（ａ）のように波長λｂと波長λｃとの中間値が波長λａとなるようにそれぞれの波長を設定し、波長λｂの反射光の強度Ｗｂと、波長λｃの反射光の強度Ｗｃとの中間値を仮の反射光の強度Ｗｄとしてもよく、図９（ｂ）のように線形近似により仮の反射光の強度Ｗｄを外挿して求めてもよい。

図１０は、照射部から照射される第１の照射光及び第２の照射光による、第１の反射光及び第２の反射光からそれぞれ仮の反射光強度を求める方法の一例を説明する図である。照射部４０から（図示せず）が照射する第１の照射光による第１の反射光が波長λ１及びλ２を主要な波長成分とし、第２の照射光による第２の反射光が波長λ３及びλ４を主要な波長成分とする場合に、図１０（ａ）及び（ｂ）に示すように、それぞれの波長成分の強度を線形補間し、仮の反射光強度Ｗａ及びＷｄを算出する。図９及び図１０において仮の反射光の強度を算出する方法について説明したが、仮の反射光の強度を算出する方法は図９及び図１０で説明したものに限定されるものではない。

上記の仮の反射光の強度を算出するいずれの方法においても、仮の反射光強度を正確に求めることができるように、波長λｂとλｃは線形補間又は外挿が可能な範囲で近接した値に設定することがより好ましい。

図１１は、３種の物体の表面反射率を示す図である。グラフの横軸は波長、縦軸は反射率である。グラフ２０２、２０４、２０６は、それぞれ人間の肌、道、木の葉の３種の物体の表面反射率を分光計で測定した結果である。６５０ｎｍ近傍の波長領域ではグラフ上のマークに示されるように、いずれの物体でもかなりの精度で補間又は外挿が可能である。波長λａ、λｂ、λｃとして、このような補間又は外挿が可能な領域の値を選択することが好ましい。また、受光部の固体撮像素子の出力信号に対して、通常のデジタルカメラ等で行われる階調補正等の画像補正処理を行うと、信号の線形性が失われる。そこで固体撮像素子への入射光強度に対して線形性を有する信号強度の段階で、強度を検出し、補間処理をすることが好ましい。あるいは、階調補正等の画像補正処理による信号変換関数の逆関数を表すテーブルを用意しておき、画像補正後の信号出力を一旦逆関数のテーブルを参照して、固体撮像素子への入射光強度に対して線形性を有する信号強度に変換してから、強度を検出し、補間処理を行うようにしてもよい。

上述した実施形態の説明において、波長分離して光路を分割する光学分割素子、例えばプリズムを用いたが、分光部５０として、受光部６０の受光面に配置した光学フィルターを用いてもよい。

図１２は、受光部６０に設けられる特定波長成分を透過する光学フィルターの一例を説明する図である。受光部６０として単板の固体撮像素子８４を用い、固体撮像素子８４の受光面に光学フィルター７４を設ける。光学フィルター７４は、波長λａ、λｂ、λｃのみをそれぞれ透過させるフィルターが交互に配置される。これにより、固体撮像素子８４の画素によって波長λａ、λｂ、λｃのいずれの光を受光したものであるかがわかり、波長λａ、λｂ、λｃを有する光を波長分離して受光することができる。プリズムを用いる場合と比べ、単板の固体撮像素子８４に受光させるため、装置を小型化することができる。

上述した実施形態の説明において、照射される光の波長によって表面反射率の違いが大きい被写体を対象にする場合、波長λａ、λｂ、λｃは仮の反射光強度の算出に誤差が生じないように、できるだけ近接していることが望ましい。一方で、各波長成分の反射光の強度の検出精度を上げるためには、波長λａ、λｂ、λｃ以外の波長成分ができるだけ含まれないようにするか、波長λａ、λｂ、λｃの値を互いに離れた値にして、波長λａ、λｂ、λｃの分解能を上げ、波長の干渉をできるだけ少なくすることが望ましい。したがって、被写体の表面反射率の特性や要求される測定精度に応じて、光源部４４の波長特性、光学フィルターの波長透過特性、撮像部１００の分光部５０の波長透過特性を設計することが好ましい。

図１３は、本実施形態の距離測定方法の一例を示すフローチャートである。照射部は４０、第１の波長λａを主要な波長成分とし、光軸と垂直な面における第１の強度分布を有する第１の照射光と、第１の波長λａとは異なる第２、第３の波長λｂ、λｃを主要な波長成分とし、照射する光の光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、同時に被写体１２に照射する。（Ｓ１００）

撮像部１００の光学レンズ４６は、第１及び第２の照射光が照射された被写体１２からの反射像を結像する。（Ｓ１０２）

分光部５０は、第１及び第２の照射光が照射された被写体１２から得られる反射光から、第１の波長λａを有する第１の反射光と、第２の波長λｂを有する第２の反射光と、第３の波長λｃを有する第３の反射光とを光学的に分離する。（Ｓ１０３）

受光部６０は、第１、第２及び第３の反射光を受光する（Ｓ１０４）。処理部の光強度検出部７０は、第１、第２及び第３の反射光の強度Ｗａ，Ｗｂ及びＷｃを検出する。

奥行き算出部８０は、第１、第２及び第３の反射光の強度Ｗａ，Ｗｂ及びＷｃと、照射部４０と光学レンズ４６又は受光部６０との距離とに基づいて、被写体１２までの奥行き距離を算出する。（Ｓ１０５）

図１４は、奥行き距離算出処理Ｓ１１０の一例を示すフローチャートである。第２及び第３の反射光の強度Ｗｂ、Ｗｃに基づいて、波長λａの光が第２の強度分布を有していると仮定した場合の被写体１２からの仮の反射光の強度Ｗｄを求める。（Ｓ１１２）

仮の反射光の強度Ｗｄは第２及び第３の反射光の強度Ｗｂ及びＷｃを補間または外挿することにより求まる。第１の反射光の強度Ｗａと仮の反射光の強度Ｗｄとの比Ｗａ／Ｗｄを求める（Ｓ１１４）。反射光強度比Ｗａ／Ｗｄ、照射部４０と撮像部１００の光学レンズ４６又は受光部６０との距離、及び撮像部１００において反射光強度比がＷａ／Ｗｄである画素の位置に基づいて被写体１２までの距離を算出する。（Ｓ１１５）

図１５は、奥行き距離算出処理Ｓ１１０の一例を示すフローチャートである。第２及び第３の反射光の強度Ｗｂ、Ｗｃの平均強度Ｗｄ＝（Ｗｂ＋Ｗｃ）／２を求める（Ｓ１１８）。第１の反射光の強度Ｗａと第２、第３の反射光の平均強度Ｗｄとの比Ｗａ／Ｗｄを求める（Ｓ１２０）。反射光強度比Ｗａ／Ｗｄ、照射部４０と撮像部１００の光学レンズ４６又は受光部６０との距離、及び撮像部１００において反射光強度比がＷａ／Ｗｄである画素の位置とに基づいて被写体１２までの距離を算出する。（Ｓ１２２）

以上述べたように、本実施形態の画像撮像装置によれば、異なる波長特性を有し、異なる強度分布を有する照射光を同時に被写体に照射し、被写体から得られる反射光から波長特性に合わせて波長分離し、波長分離された反射光の強度を用いて、被写体までの奥行き距離を簡便に求めることができる。

また、被写体からの反射光による像を固体撮像素子に撮像し、画像データとして格納するため、画素又は画素領域単位で反射光強度を検出して奥行き距離を算出することができ、撮像された被写体の領域の奥行き分布を得ることができる。したがって、被写体の２次元画像から被写体の奥行き分布を獲得して、被写体の３次元立体画像を作成することが可能である。

図１６は、第１の実施形態の別の例の構成を示す。本実施例における画像撮像装置は、図６に関連して説明した実施例の画像撮像装置と比較して、照射部４０と撮像部１００の一部の構成が異なるだけである。そこで、同一の構成要素についは説明を省略し、照射部４０及び撮像部１００についてのみ説明する。図１６は、本実施例の照射部４０と撮像部１００の構成図である。本実施例では、照射部４０の光学フィルター４２ａは波長λａを主要な波長成分とする光を透過し、光学フィルター４２ｂは、波長λａより短い波長λｂと、波長λａより短い波長λｃとを主要な波長成分とする光を透過する。照射部４０は波長λａを主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、波長λａより短い波長λｂ及び波長λａより長い波長λｃとを主要な波長成分とし、照射する光の光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを同時に被写体１２の被照射部１４に照射する。撮像部１００の分光部５０は、波長λａを主要な波長成分とする光と、波長λｂ及びλｃを主要な波長成分とする光とに波長分離して光路を分割するプリズムである。受光部６０ａ及び６０ｂは２板の固体撮像素子である。分光部５０によって分光された波長λａを有する光は、受光部６０ａに、波長λｂ及びλｃを有する光は受光部６０ｂにそれぞれ受光される。受光部６０ａ及び６０ｂに受光された光は、電気信号に変換されて、処理部１１０に入力される。

図１７は、本実施例の処理部１１０の構成図である。各受光部６０ａ、６０ｂが出力する被写体像は、それぞれ画像メモリ５４ａ、５４ｂに格納される。光強度検出部７０は各画像メモリ５４ａ、５４ｂに格納された画像データを用いて、波長λａを有する反射光、波長λｂとλｃを有する反射光の強度を検出する。奥行き算出部８０は、光強度検出部７０が検出した波長λａの反射光の強度、波長λｂ及びλｃの反射光の強度を用いて、被写体１２の被照射部１４の奥行き距離を求める。奥行き算出部８０は撮像された画像の画素または画素の領域単位で、画素又は画素領域に写された被写体１２の被照射部１４までの奥行き距離を算出し、被写体１２の奥行き分布を求め、出力する。記録部５８は被写体の奥行き分布情報を記録する。

図１８は、光強度検出部７０と奥行き算出部８０による奥行き距離算出方法の説明図である。光強度検出部７０は、波長λａの反射光の強度Ｗａ、波長λｂとλｃを有する反射光の強度Ｗｅをそれぞれ検出する。奥行き算出部８０は、λｂと波長λｃを有する反射光の強度Ｗｅに半分の値をＷｄとする。波長λａは、波長λｂと波長λｃの中間の値であるから、Ｗｄの値は、波長λａを有する第２の強度分布を有する光を照射したと仮定した場合に被照射部１４から得られる仮の反射光の強度にほぼ等しい。反射光の強度Ｗａと、仮の反射光強度Ｗｄとの比Ｗａ／Ｗｄを算出し、照射部４０（図示せず）と光学レンズ４６（図示せず）又は受光部６０との距離と、強度比Ｗａ／Ｗｄとに基づいて被写体の奥行き距離を算出する。

反射光強度Ｗａと、仮の反射光強度Ｗｄとは、共に波長λａを主要な波長成分としているので、被写体１２の被照射部における表面反射率の波長による差の影響をキャンセルすることができる。また、仮の反射光強度Ｗｄは、波長λａとは異なるλｂ及びλｃを主要な波長成分とする反射光の強度より算出されるので、λａ、λｂ及びλｃをそれぞれ波長分離する際に分離が容易にできる程度に波長間隔をとることにより、波長分離の際の誤差をも減少させることができる。

仮の反射光の強度Ｗｄが正確に得られるように、波長λａは、波長λｂ、λｃの中間の波長であることがより好ましい。上記の説明では、分光部５０は、波長λａを有する光と、波長λｂ及びλｃを有する光とに波長分離したが、フィルタリングの方法として、波長λｂ、λｃを選択的に透過する必要はなく、波長λａをカットするバンドカットフィルターを用いても同じ効果を奏する。

図１９は、本実施例の距離測定方法のフローチャートである。照射部４０は、λａを主要な波長成分とし、光軸と垂直な面における第１の強度分布を有する第１の照射光と、波長λａより短い波長λｂ及び波長λａより長い波長λｃを主要な波長成分とし、光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、同時に被写体１２に照射する（Ｓ２００）。

光学レンズ４６は、第１及び第２の照射光が照射された被写体１２からの反射像を結像する（Ｓ２０２）。分光部５０は、第１及び第２の照射光が照射された被写体１２から得られる反射光から、波長λａを有する第１の反射光と、波長λｂ及びλｃを有する第２の反射光とを光学的に分離する（Ｓ２０４）。

受光部６０は、分離された第１及び第２の反射光を受光する（Ｓ２０６）。光強度検出部７０は、第１及び第２の反射光の強度Ｗａ及びＷｅを検出する（Ｓ２０８）。

奥行き算出部８０は、第１の反射光の強度Ｗａと、第２の反射光の強度Ｗｅの半分の値Ｗｄとの比Ｗａ／Ｗｅを求め（Ｓ２１０）、反射光強度比Ｗａ／Ｗｄ、照射部４０と撮像部１００の光学レンズ４６又は受光部６０との距離、及び撮像部１００において反射光強度がＷａ／Ｗｄである画素の位置とに基づいて被写体１２までの距離を算出する（Ｓ２１２）。

以上述べたように、本実施例の画像撮像装置によれば、第１の波長を主要な波長成分とし、光軸と垂直な面において第１の強度分布を有する第１の照射光と、第１の波長を中間に挟む第２、第３の波長を主要な波長成分とし、第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、同時に被写体に照射し、被写体の被照射部から得られる反射光から、第１の波長を有する第１の反射光と、第２及び第３の波長を有する第２の反射光とに分離し、第１の反射光強度と、第２の反射光強度の半分の値との比に基づいて被写体の奥行き距離を算出することができる。第２の反射光強度を半分にするだけで、第１の波長を有する光が第２の強度分布を有する場合の仮の反射光強度を求めることができるため、非常に簡便に被写体の奥行き距離を算出することができる。また、被写体からの反射光を受光する固体撮像素子を２板にすることができ、装置の小型化を図ることができる。

図２０は、第１の実施形態のさらに別の例の構成を示す。本実施例における画像撮像装置は、図６に関連して説明した実施例の画像撮像装置と比較して、照射部４０と撮像部１００の一部の構成が異なるだけである。そこで、同一の構成要素についは説明を省略し、照射部４０及び撮像部１００についてのみ説明する。図２０は、本実施例の照射部４０と撮像部１００の構成図である。本実施例では、照射部４０から照射される照射光は赤外光である。光学フィルター４２ａは、赤外領域における波長λａの光を透過し、光学フィルター４２ｂは、赤外領域における波長λｂ及び波長λｃを有する光を透過する。照射部４０は波長λａを主要な波長成分とし、光軸と垂直な面において第１の強度分布を有する第１の照射光と、波長λｂ及びλｃを主要な波長成分とし、光軸と垂直な面において第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを同時に被写体１２に照射する。被写体１２にはさらに可視光領域の光、例えば自然光や照明光が照射される。

撮像部１００の分光部５０は、赤外領域の波長λａを有する光と、赤外領域の波長λｂ及びλｃを有する光をと、可視光領域の光とに波長分離して光路を分割するプリズムである。受光部６０ａ、６０ｂ、及び６０ｃは３板の固体撮像素子である。分光部５０によって分光された波長λａを有する光は、受光部６０ａに、波長λｂ及びλｃを有する光は受光部６０ｂに、可視光は受光部６０ｃにそれぞれ受光される。赤外領域の反射光の撮影像がピンぼけしないように、受光部６０ａ、６０ｂはピントが合う位置に予め設定しておく。受光部６０ａ、６０ｂ及び６０ｃに受光された光は、電気信号に変換され、処理部１１０に入力される。

図２１は、本実施例の処理部１１０の構成図である。各受光部６０ａ及び６０ｂが出力する被写体像は、それぞれ画像メモリ５４ａ及び５４ｂに格納される。光強度検出部７０は、各画像メモリ５４ａ及び５４ｂに格納された画像データを用いて、反射光の強度を検出し、奥行き算出部８０は、光強度検出部７０が検出した反射光の強度を用いて、被写体１２の奥行き距離を算出する。光強度検出部７０と奥行き算出部８０の動作は、図６又は図１６に関連して説明した実施例と同様であるから、説明を省略する。

奥行き算出部８０は、撮像された画像の画素または画素の領域単位で、画素又は画素領域に写された被写体１２の奥行き距離を算出し、被写体１２の奥行き分布を求め、出力する。記録部５８は、被写体の奥行き分布情報を記録する。画像補正部５６は、画像メモリ５４ｃに格納された画像データに対して、階調補正等の画像補正を行い、被写体１２の画像データとして出力し、記録部５８は被写体１２の画像データを被写体１２の奥行き分布情報とともに記録する。

上記の実施例では、波長λａ及びλｃを有する反射光を分離せずに、受光部６０ｂに受光させたが、別の例においては、受光部６０として４板の固体撮像素子を用いて、分光部５０によって波長λｂを有する反射光と波長λｃを有する反射光とを分離させて、異なる固体撮像素子にそれぞれの反射光を受光させてもよい。その場合、図３に関連して説明した実施例と同様の方法で、λａ、λｂ、λｃのそれぞれの反射光の強度を用いて、被写体の奥行き距離を求めることができる。

以上述べたように、本実施例の画像撮像装置によれば、被写体の奥行き距離測定には赤外光を用いるため、被写体に自然光や照明光が照射された自然な条件の下でも、被写体の奥行き距離を測定することができる。したがって、被写体の奥行き距離測定のために、部屋を暗室にする必要がない。また、可視光領域の反射光を分離させて撮像することができるため、被写体の奥行き分布を測定すると同時に、被写体の画像を撮影することができる。撮影された被写体の画像から奥行き分布に基づいて、主要被写体を抽出したり、背景と人物像を分離するなど、被写体の奥行き分布を用いた、被写体の画像処理が可能である。

また、上述した第１の実施形態においては、第１及び第２の照射光は光軸に垂直な面において異なる強度分布を有していたが、第１及び第２の照射光は、垂直方向に長いスリット光であり、それぞれ水平方向に強度を変化しながら掃引してもよい。この場合、それぞれの強度の変化は異なるものにする。被写体が動きのある物体である場合、第１及び第２の照射光の掃引速度は、被写体の動きに対して十分に速いことが望ましい。

また、光学フィルター４２は、第１又は第２の透過率分布を有していたが、光学フィルター４２は、入射面において、透過できる光の波長が変化する、透過波長分布を有していてもよい。この場合、本実施形態の画像撮像装置は、受光部が受光した反射光の波長に基づいて被写体の奥行き距離を算出する。

（第２の実施形態）
図２２は、本発明の第２の実施形態の原理説明図である。図２２（ａ）において、被写体１２に光８６ａ及び８６ｂを照射する。光８６ａ及び８６ｂは進行方向において強度が減少する光であり、強度減少の割合は同一である。光８６ａ及び８６ｂは被写体１２において反射し、反射光を生じる。光８６ａ及び８６ｂの被写体１２による反射光の強度を検出し、それぞれの強度により被写体１２の奥行き分布情報を得ることができる。すなわち、被写体１２の被照射部が遠ければ反射光の強度は弱くなり、被照射部が近ければ反射光の強度は弱くなる。被写体１２における反射率が既知であるならば、それぞれの反射光の強度、光８６ａ及び８６ｂの照射時における強度、変調部８２が変調する照射光１６の強度変調速度、被写体１２の反射率、及び光速により、光８６ａ及び８６ｂが照射する被写体１２のそれぞれの被照射部までの距離を算出することができる。しかし、全ての被写体について反射率を予め測定することは非常に困難である。

そこで、図２２（ｂ）のように、進行方向に対して強度が減少する光８８を被写体１２に照射する。光８８は被写体１２により反射し、反射光を生じる。次に図２２（ｃ）のように、進行方向に対して強度が増加する光９２を被写体１２に照射する。光９２は被写体１２により反射し、反射光を生じる。これらの光８８及び光９２の被写体１２によるそれぞれの反射光の強度を検出し、その比を算出する。それぞれの反射光強度の比に基づいて被写体１２までの距離を算出することにより、被写体１２の反射率による影響をキャンセルすることが可能となる。

しかし、上述した方法では、光８８と光９２とを順に照射し、それぞれ反射光の強度を検出するため、それぞれの反射光強度検出に時間差が生じる。したがって動きのある被写体には適用することができない。そこで、図２２（ｄ）においては、光８８と光９２との波長特性を異ならせ、光８８及び光９２を同時に被写体１２に照射する。光８８は、図２２（ｂ）で説明した、進行方向において強度が減少する光であり、光９２は、図２２（ｃ）で説明した、進行方向において強度が増加する光である。図２２（ｅ）のように、光８８及び光９２は被写体１２により反射され、反射光を生じる。被写体１２からの反射光を、光８８と光９２によるものとにそれぞれ波長分離し、それぞれの反射光の強度を検出し、被写体１２の奥行き距離を測定する方法が考えられる。

しかし、前述したように、被写体１２には波長による表面反射率の違いがあるため、奥行き距離計算に誤差が生じる。計算誤差を小さくするためには光８８の波長λ１と、光９２の波長λ２との差を小さくしなければならないが、波長λ１とλ２との差を小さくすると波長分離の精度が悪くなり、誤差が生じる。このため、前述したようなジレンマに陥り、距離測定の精度を改善することに限界が生じる。

そこで、本実施形態においては、第１の波長特性を有し、進行方向において強度が増加するよう変調した第１の照射光と、第１の波長特性とは異なる第２の波長特性を有し、進行方向において強度が減少するよう変調した第２の照射光とを、同時に被写体に照射し、第１の照射光による反射光と、第２の照射光による反射光とを光学的に分離し、第２の照射光による反射光を用いて、第１の波長特性を有する光が進行方向において強度が減少するよう変調されたとした場合に被写体から得られるであろう仮の反射光強度を求め、第１の照射光による反射光強度と、仮の反射光強度との比に基づいて被写体の奥行き距離を算出する。仮の反射光強度を求めることにより、波長による表面反射率の違いをキャンセルすることができるため、奥行き距離を正確に求めることができる。上述した実施形態においては、第１の照射光が進行方向において強度が増加し、第２の照射光が進行方向において強度が減少したが、第１の照射光が進行方向において強度が減少し、第２の照射光が進行方向において強度が増加し、第１の波長特性を有する光が進行方向において強度が増加するよう変調されたと仮定して仮の反射光強度を求めてもよいことは明らかである。

図２３は、本実施形態の一例を示す構成図である。本実施形態の画像撮像装置は、第１の実施形態と比較して、照射部４０の一部と、照射光の強度を変調する変調部８２を用いた点と、照射部４０と撮像部１００の光軸を同一にするために、ハーフミラー７６及び７８を用いた点と、被写体１２の奥行き算出部８０の動作だけが異なる。その他の構成については、第１の実施形態の各例における構成と同様の構成をとることができる。

照射部４０は、光源部４４と光学フィルター４２ａ及び４２ｂとを有する。光学フィルター４２ａは、第１の波長λａ近傍の光を透過し、光学フィルター４２ｂは、第２の波長λｂ近傍及び第３の波長λｃ近傍の光を透過する。光源部４０は、光学フィルター４２ａを介して、波長λａを主要な波長成分とし、照射する光の進行方向において強度が変化する第１の照射光と、波長λｂ及びλｃを主要な波長成分とし、照射する光の進行方向において強度が変化する第２の照射光とを照射する。変調部は照射光１６及び１８の強度を時間により変調する。波長λａ、λｂ、λｃは、第１の実施形態の各例において説明した値を有する。

照射光１６及び１８は、ハーフミラー７６で反射し、さらにハーフミラー７８で反射して被写体１２の被照射部１４に照射される。被写体１２からの反射による反射光２２及び２４は、ハーフミラー７８を通過し、撮像部１００の光学レンズ４６によって結像される。

分光部５０は、被写体１２からの反射光を、波長λａ、λｂ、λｃの光に分光する。分光部５０により分光された各波長の光は、受光部６０ａ、６０ｂ、６０ｃに受光される。受光部６０が受光した各波長の光の強度に応じた電気信号が処理部１１０に読み出される。また、分光部５０、受光部６０は、図６、図１６、図２０のそれぞれに関連して説明した、第１の実施形態の各例における分光部５０、受光部６０、処理部１１０と同様の構成、機能を有してもよい。

処理部１１０は、図７、図１７又は図２１に関連して説明した第１の実施形態の各例における処理部１１０と同様の構成を有している。処理部１１０における仮の反射光の強度の算出方法は、図８又は図１８に関連して説明した第１の実施形態の各例における算出方法と同様である。

図２４は、本実施形態の距離測定方法の一例を示すフローチャートである。照射部４０は進行方向において強度が変調する、波長λａの第１の照射光と、波長λａとは異なる波長λｂ及びλｃを有し、進行方向において強度が変調する第２の照射光とを、同時に被写体１２に照射する。（Ｓ３００）

撮像部１００の光学レンズ４６は、第１及び第２の照射光が照射された被写体１２からの反射光を結像する（Ｓ３０２）。分光部５０は、被写体１２からの反射光から、波長λａを有する第１の反射光と、波長λｂを有する第２の反射光と、波長λｃを有する第３の反射光とを光学的に分離する。（Ｓ３０４）

受光部６０は、分離された第１、第２、第３の反射光を受光する（Ｓ３０６）。処理部１１０の光強度検出部７０は、第１、第２、第３の反射光の強度Ｗａ，Ｗｂ、Ｗｃを検出する。（Ｓ３０８）

奥行き算出部８０は、第１、第２、第３の反射光の強度Ｗａ、Ｗｂ、Ｗｃを用いて、被写体１２までの奥行き距離を算出する。（Ｓ３１０）

図２５は、奥行き距離算出処理Ｓ３１０の一例を示すフローチャートである。第２及び第３の反射光の強度Ｗｂ、Ｗｃに基づいて、波長λａの光が第２の照射光と同一の強度変調されたと仮定した場合の被写体１２からの仮の反射光の強度Ｗｄを求める（Ｓ３１２）。仮の反射光の強度Ｗｄは、第１の実施形態の各例において説明した方法と同様にして求める。第１の反射光の強度Ｗａと、仮の反射光の強度Ｗｄとの比Ｗａ／Ｗｄを求める（Ｓ３１４）。反射光強度比Ｗａ／Ｗｄ、第１、第２の照射光の強度変調速度に基づいて被写体の奥行き距離を算出する。（Ｓ３１６）

図２６は、本実施形態の距離測定方法の一例を示すフローチャートである。本例において波長λａは、波長λｂと波長λｃの中間の値を有する。

照射部４０は、光の進行方向において、強度が変調する波長λａの第１の照射光と、波長λｂ及びλｃを有する第２の照射光とを同時に被写体１２に照射する（Ｓ４００）。光学レンズ４６は、第１及び第２の照射光が照射された被写体１２からの反射像を結像する（Ｓ４０２）。分光部５０は、被写体１２からの反射光から、波長λａを有する第１の反射光と、波長λｂ及びλｃを有する第２の反射光を光学的に分離する（Ｓ４０４）。第１の反射光の強度Ｗａと、第２の反射光の強度の半分の値Ｗｄ＝Ｗｅ／２との比、Ｗａ／Ｗｄを算出する（Ｓ４１０）。反射光強度比Ｗａ／Ｗｄ及び、第１及び第２の照射光の強度変調速度に基づいて被写体１２の奥行き距離を算出する。（Ｓ４１２）

以上述べたように、本実施形態の画像撮像装置によれば、異なる波長特性を有し、異なる強度分布を有する照射光を同時に被写体に照射し、被写体から得られる反射光から波長特性に合わせて波長分離し、波長分離された反射光の強度を用いて、被写体までの奥行き距離を簡便に求めることができる。

本実施形態では、照射部から照射する照射光と撮像部に入射する反射光の光軸が光学的に同軸であるため、照射部によって照射された被写体を撮像部が撮影する際、影になって撮影できない領域が生じることがない。したがって照射された被写体の全体領域の奥行き分布を算出することができ、奥行き距離を算出できない死角が生じることがない。また、照射部と撮像部の光軸を同軸にすることにより、画像撮像装置全体を小型化することができる。

本実施形態では、照射光の強度を時間により変調しているので、撮像部１００は、高速シャッターを有していることが望ましい。高速シャッターは、受光部６０が受光する光強度の瞬時値を撮像する。

以上述べたように、本発明の画像撮像装置及び距離測定方法によれば、異なる波長特性を有し、光軸と垂直な面において異なる強度分布を有するか、進行方向において異なる強度変調された光を同時に被写体に照射し、被写体からの反射光を波長特性に合わせて光学的に分離し、強度を測定することにより、被写体の奥行き距離を簡便に算出することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

例えば、上記の説明では、光が照射された被写体から得られる出射光の一例として反射光を撮像し、反射光の強度から被写体までの距離を求めたが、被写体が光を透過する透明もしくは半透明の物体である場合、被写体を通過した透過光の強度から被写体の奥行き距離を求めることもできる。
（発明の効果）

上記説明から明らかなように、本発明によれば、光が照射された被写体から得られる反射光を撮影することにより、被写体の奥行き距離を簡便に測定することができる。

本発明の第１の実施形態の原理説明図である。 照射光の強度分布を説明する図である。 第１の実施形態の画像撮像装置の構成図である。 照射光の強度分布の一例を説明する図である。 照射部４０に設けられる光学フィルター４２の説明図である。 第１の実施形態の照射部４０と撮像部１００の構成を示す図である。 第１の実施形態の処理部１１０の構成を示す図である。 被写体１２の奥行き距離計算方法の説明図である。 補間又は外挿によって仮の反射光強度Ｗｄを求める方法の説明図である。 第１の反射光及び第２の反射光からそれぞれ仮の反射光強度を求める方法の説明図である。 ３種の物体の表面反射率を示す図である。 受光部６０に設けられた光学フィルターの説明図である。 第１の実施形態の距離測定方法のフローチャートである。 奥行き距離算出処理Ｓ１１０のフローチャートである。 奥行き距離算出処理Ｓ１１０の変形例のフローチャートである。 第１の実施形態の別の例における照射部４０及び撮像部１００の構成を示す図である。 第１の実施形態の別の例における処理部１１０の構成を示す図である。 第１の実施形態の別の例における奥行き距離算出方法の説明図である。 第１の実施形態の別の例における距離測定方法のフローチャートである。 第１の実施形態のさらに別の例における照射部４０及び撮像部１００の構成を示す図である。 第１の実施形態のさらに別の例における処理部１１０の構成を示す図である。 本発明の第２の実施形態の原理説明図である。 第２の実施形態の照射部４０及び撮像部１００の構成を示す図である。 第２の実施形態における距離測定方法のフローチャートである。 第２の実施形態における奥行き距離算出処理Ｓ３１０のフローチャートである。 第２の実施形態における距離測定方法の別の例のフローチャートである。

符号の説明

１２・・・被写体、１６・・・第１の照射光
１８・・・第２の照射光、２２・・・第１の反射光
２４・・・第２の反射光、２６・・・光源
２８・・・カメラ、４０・・・照射部
４２・・・光学フィルター、４４・・・光源部
４６・・・光学レンズ、５０・・・分光部
５４・・・画像メモリ、５６・・・画像補正部
５８・・・記録部、６０・・・受光部
７０・・・光強度検出部、７２・・・受光部又は光学結像部
７４・・・光学フィルター、７６，７８・・・ハーフミラー
８０・・・奥行き距離算出部、８４・・・受光部
９０・・・制御部、１００・・・撮像部
１１０・・・処理部、２００・・・画像撮像装置

Claims (16)

1. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
   第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、前記第１の波長とは異なる第２及び第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において前記第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、前記被写体に照射する照射部と、
   前記被写体から得られる出射光から、前記第１の波長を有する第１の出射光と、前記第２の波長を有する第２の出射光と、前記第３の波長を有する第３の出射光とを光学的に分離する分光部と、
   前記分光部によって分離された前記第１、第２及び第３の出射光を受光する受光部と、
   前記受光部が受光する前記第１、第２及び第３の出射光の強度を検出する光強度検出部と、
   前記第２の出射光と前記第３の出射光の平均強度及び前記第１の出射光の強度を用いて、前記被写体までの奥行き距離を算出する奥行き算出部と
   を備える画像撮像装置。
2. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
   第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、前記第１の波長より短い第２の波長、及び前記第１の波長より長い第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において前記第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、前記被写体に照射する照射部と、
   前記被写体から得られる出射光から、前記第１の波長を有する第１の出射光と、前記第２及び第３の波長を有する第２の出射光とを光学的に分離する分光部と、
   前記分光部によって分離された前記第１の出射光及び前記第２の出射光を受光する受光部と、
   前記受光部が受光する前記第１及び第２の出射光の強度を検出する光強度検出部と、
   前記第１の出射光の強度及び前記第２の出射光の強度の半分の値を用いて、前記被写体までの奥行き距離を算出する奥行き算出部と
   を備える画像撮像装置。
3. 前記第１の照射光は、光軸と垂直な面における第１の方向で単調に増加する強度分布を有し、前記第２の照射光は、前記第１の方向とは逆向きの第２の方向で単調に増加する強度分布を有する請求項１又は請求項２に記載の画像撮像装置。
4. 前記第１の照射光は、光軸と垂直な面において光軸から遠ざかるにつれ単調に増加または減少する強度分布を有し、前記第２の照射光は、光軸と垂直な面において光軸から遠ざかるにつれ、前記第１の照射光が光軸から遠ざかるにつれ単調に増加する場合は減少し、前記第１の照射光が光軸から遠ざかるにつれ単調に減少する場合は増加する、強度分布を有する請求項１又は請求項２に記載の画像撮像装置。
5. 前記照射部は、前記第１及び第２の照射光を同時に照射する請求項１乃至請求項４のいずれかに記載の画像撮像装置。
6. 前記第１の照射光は、光軸と垂直な面において、前記照射部と前記受光部とを結ぶ線を光軸と垂直な面に投影した線と平行な第１の方向で強度が増加し、前記第２の照射光は、光軸と垂直な面において、前記第１の方向と逆向きの第２の方向で強度が増加する、請求項１乃至請求項５のいずれかに記載の画像撮像装置。
7. 前記照射部は、
   前記第１の波長の光を透過する第１の照射光光学フィルターと、
   前記第２及び第３の波長の光を透過する第２の照射光光学フィルターと
   を有し、
   前記第１の照射光光学フィルターは、前記第１の照射光が入射され、前記第２の照射光光学フィルターは、前記第２の照射光が入射される請求項１乃至請求項６のいずれかに記載の画像撮像装置。
8. 前記第１の照射光光学フィルターは、入射面において第１の方向で透過率が増加し、前記第２の照射光光学フィルターは、前記第１の方向と逆向きの第２の方向で透過率が増加する、請求項７に記載の画像撮像装置。
9. 前記第１の照射光光学フィルターは、入射面において前記第１の照射光の光軸から遠ざかるにつれ透過率が増加または減少し、前記第２の照射光光学フィルターは、入射面において前記第２の照射光の光軸から遠ざかるにつれ透過率が、前記第１の照射光光学フィルターの透過率が前記第１の照射光の光軸から遠ざかるにつれ増加する場合は減少し、前記第１の照射光光学フィルターの透過率が前記第１の照射光の光軸から遠ざかるにつれ減少する場合は増加する請求項７に記載の画像撮像装置。
10. 前記分光部は、
    前記第１の波長の光を透過する第１の出射光光学フィルターと、
    前記第２の波長の光を透過する第２の出射光光学フィルターと、
    前記第３の波長の光を透過する第３の出射光光学フィルターと
    を有し、
    前記第１の出射光光学フィルターは、前記第１の出射光が入射され、前記第２の出射光光学フィルターは、前記第２の出射光が入射され、前記第３の出射光光学フィルターは、前記第３の出射光が入射される請求項１に記載の画像撮像装置。
11. 前記分光部は、
    前記第１の波長の光を透過する第１の出射光光学フィルターと、
    前記第２及び第３の波長の光を透過する第２の出射光光学フィルターと
    を有し、
    前記第１の出射光光学フィルターは、前記第１の出射光が入射され、前記第２の出射光光学フィルターは、前記第２及び第３の出射光が入射される請求項１に記載の画像撮像装置。
12. 前記受光部は、固体撮像素子を有し、
    前記分光部は、
    前記第１の波長の光を透過する第１の出射光光学フィルターと、
    前記第２の波長の光を透過する第２の出射光光学フィルターと、前記第３の波長の光を透過する第３の出射光光学フィルターと
    を有し、
    前記第１、第２及び第３の出射光光学フィルターが前記固体撮像素子の受光面に交互に配置された請求項１に記載の画像撮像装置。
13. 前記光強度検出部は、前記受光部に撮像された前記被写体の画像の各画素において前記第１及び第２の出射光の強度を算出し、前記奥行き算出部は、前記各画素の各々に対応する前記被写体の領域までの前記奥行きを各々求めることにより、前記被写体の奥行き分布を算出する請求項１乃至請求項１２のいずれかに記載の画像撮像装置。
14. 前記第１及び第２の照射光は赤外線領域の光であり、
    前記分光部は、前記被写体から得られる前記出射光から可視光を光学的に分離し、
    前記受光部は、前記分光部により光学的に分離された前記可視光を受光する可視光用の固体撮像素子をさらに有し、
    前記奥行き算出部が算出する前記被写体の前記奥行き分布と共に前記可視光用の固体撮像素子に撮像された前記被写体の画像を記録する記録部をさらに備える請求項１３に記載の画像撮像装置。
15. 被写体の奥行きに関する情報を取得する距離測定方法であって、
    第１の波長を主要な波長成分とし、照射する光の光軸と垂直な面における第１の強度分布を有する第１の照射光と、前記第１の波長とは異なる第２及び第３の波長を主要な波長成分とし、照射する光の光軸と垂直な面において前記第１の強度分布とは異なる第２の強度分布を有する第２の照射光とを、同時に前記被写体に照射する照射段階と、
    前記第１及び第２の照射光が照射された前記被写体から得られる出射光から、前記第１の波長を有する第１の出射光と、前記第２の波長を有する第２の出射光と、前記第３の波長を有する第３の出射光とを光学的に分離する分光段階と、
    分離された前記第１、第２及び第３の出射光を受光する受光段階と、
    受光された前記第１、第２及び第３の出射光の強度を検出する光強度検出段階と、
    前記第２の出射光と前記第３の出射光の平均強度及び前記第１の出射光の強度に基づいて、前記被写体までの前記奥行き距離を算出する奥行き算出段階と
    を備える距離測定方法。
16. 被写体の奥行きに関する情報を取得する距離測定方法であって、
    第１の波長を主要な波長成分とし、光軸と垂直な面における第１の強度分布を有する第１の照射光と、前記第１の波長より短い第２の波長、及び前記第１の波長より長い第３の波長を主要な波長成分とし、光軸と垂直な面において前記第１の強度分布と異なる第２の強度分布を有する第２の照射光とを、同時に前記被写体に照射する照射段階と、
    前記第１及び第２の照射光が照射された前記被写体から得られる出射光から、前記第１の波長を有する第１の出射光と、前記第２及び第３の波長を有する第２の出射光とを光学的に分離する分光段階と、
    分離された前記第１の出射光及び前記第２の出射光を受光する受光段階と、
    受光された前記第１の出射光及び前記第２の出射光の強度をそれぞれ検出する光強度検出段階と、
    前記第１の出射光の強度及び前記第２の出射光の強度の半分の値に基づいて、前記被写体までの奥行き距離を算出する奥行き算出段階と
    を備える距離測定方法。

Images