JP4150506B2 - 画像撮像装置及び距離測定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の奥行き距離に関する情報を取得する画像撮像装置及び距離測定方法に関する。特に本発明は、光が照射された被写体から得られる出射光を撮影して被写体の奥行きに関する情報を取得する画像撮像装置及び距離測定方法に関する。
【０００２】
【従来の技術】
物体までの距離情報や物体の位置情報を得るために、物体にスリットや縞模様などのパターン光を投影し、物体に投影されたパターンを撮影して解析する三次元画像計測の手法が知られている。代表的な計測手法として、スリット光投影法（別名、光切断法）、コード化パターン光投影法などがあり、井口征士、佐藤宏介著『三次元画像計測』（昭晃堂）に詳しい。
【０００３】
特開昭６１−１５５９０９号公報（公開日昭和６１年７月１５日）及び特開昭６３−２３３３１２号公報（公開日昭和６３年９月２９日）には、異なる光源位置から被写体に光を照射し、被写体からの反射光の強度比に基づいて、被写体までの距離を測定する距離測定装置及び距離測定方法が開示されている。
【０００４】
特開昭６２−４６２０７号公報（公開日昭和６２年２月２８日）には、位相の異なる２つの光を被写体に照射し、被写体からの反射光の位相差に基づいて、被写体までの距離を測定する距離検出装置が開示されている。
【０００５】
また、河北他「三次元撮像装置Axi-Vision Cameraの開発」（３次元画像コンファレンス９９、1999年）には、投影光に超高速の強度変調を加え、強度変調光で照明された被写体を高速シャッター機能を備えたカメラで撮影し、被写体までの距離によって変化する強度変調度合いから、距離を測定する方法が開示されている。
【０００６】
【発明が解決しようとする課題】
従来の光投影法による計測手法は、３角測量の原理に基づいて、投影パターンが投影された被写体の領域までの距離を測定する。したがって、距離測定の高い分解能を得るためには、原理的に投影光学系と撮影光学系を十分に離して配置する必要があり、測定装置の大型化が避けられないという問題が生じていた。また、投影光学系と撮影光学系の光軸が離れているために、撮影光学系から見た場合に、投影されたパターンが被写体の陰に隠れて観察されない場所ができ、距離情報が得られない「死角」となるという問題も生じていた。
【０００７】
特開昭６１−１５５９０９号公報及び特開昭６３−２３３３１２号公報に開示された距離測定装置及び距離測定方法では、放射位置を異ならせて光を順次照射し、それぞれの反射光を測定する必要があるため、測定に時間差が生じる。そのため、動きのある被写体の場合、距離を測定することができないという問題が生じる。また光源の位置を変えて照射する間に、撮影装置のぶれにより、測定誤差が生じる可能性がある。
【０００８】
また、波長特性の異なる光の場合、同時に照射し、反射光を照射光の波長特性に合わせたフィルターを用いて、分光し、反射光強度を測定することができる。しかし、物体の分光反射率が異なる場合、照射光の波長の違いから反射光強度に違いが生じるため、反射光強度の比から奥行き距離を計算する際の誤差要因となり、正確な奥行き距離が計算できないという問題が生じていた。
【０００９】
特開昭６２−４６２０７号公報に開示された距離検出装置では、位相差を検出するための精度の高い位相検出器が必要となり、装置が高価になり、簡便性に欠ける。また、被写体の点からの反射光の位相を測定するため、被写体全体の奥行き分布を測定することはできない。
【００１０】
また、河北他「三次元撮像装置Axi-Vision Cameraの開発」（３次元画像コンファレンス９９、1999年）に開示された強度変調を用いた距離測定手法は、非常に高速に光変調や光シャッター操作を行う必要があり、測定装置は大型で高価になり、簡便に測定することができないという問題がある。
【００１１】
そこで本発明は、上記の課題を解決することのできる画像撮像装置及び距離測定装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１２】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から被写体に照射する照射部と、照射部により第１及び第２の照射光が照射された被写体からの出射光に基づいて、被写体までの奥行き距離を算出する奥行き算出部とを備えたことを特徴とする。
【００１３】
照射部は、第１及び第２の照射光を同時に照射してもよい。照射部により第１及び第２の照射光が照射された被写体から得られる出射光を結像する光学結像部と、被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２の波長を有する第２の出射光と、第３の波長を有する第３の出射光とを光学的に分離する分光部と、分光部によって分離され、光学結像部が結像する第１、第２及び第３の出射光を受光する受光部と、受光部が受光する第１、第２及び第３の出射光の強度を検出する光強度検出部とをさらに備え、奥行き算出部は、第１、第２及び第３の出射光の強度を用いて、被写体までの奥行き距離を算出してもよい。
【００１４】
受光部は、３板の固体撮像素子を有し、分光部は、光路分割手段を用いて第１、第２及び第３の出射光を分離し、それぞれを３板の固体撮像素子のいずれか１つに受光させてもよい。受光部は、固体撮像素子を有し、分光部は、第１の波長の光を透過する第１の光学フィルターと、第２の波長の光を透過する第２の光学フィルターと、第３の波長の光を透過する第３の光学フィルターとを有し、第１、第２及び第３の光学フィルターが固体撮像素子の受光面に交互に配置させてもよい。
【００１５】
照射部は、所定の第１の境界波長より短い波長領域の光を透過する第１の光学フィルターと、所定の第２の境界波長より長い波長領域の光を透過する第２の光学フィルターを有し、第１の光学フィルターを透過する第１の照射光と、第２の光学フィルターを透過する第２の照射光とを、光学的に異なる放射位置から被写体に照射し、分光部は、第１及び第２の境界波長の短い方よりも短い第１の波長の光を透過する第１の光学フィルターと、第１及び第２の境界波長の長い方よりも長い第２及び第３の波長の光をそれぞれ透過する第２及び第３の光学フィルターとを有し、被写体から得られる出射光を第１の光学フィルターに透過させることにより、第１の波長を有する第１の出射光を分離し、出射光をそれぞれ第２及び第３の光学フィルターに透過させることにより、第２の波長を有する第２の出射光及び第３の波長を有する第３の出射光を分離させてもよい。
【００１６】
奥行き算出部は、第２及び第３の出射光の強度に基づく値と、第１の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。奥行き算出部は、第２及び第３の出射光の強度に基づいて、第１の波長を有する光を第２の照射光の放射位置から照射したと仮定した場合の被写体からの仮の出射光の強度を求め、第１の出射光の強度と仮の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。奥行き算出部は、第２の出射光と第３の出射光の平均強度と、第１の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。
【００１７】
本発明の第２の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から被写体に照射する照射部と、照射部により第１及び第２の照射光が照射された被写体からの出射光に基づいて、被写体までの奥行き距離を算出する奥行き算出部とを備えたことを特徴とする。
【００１８】
照射部は、第１及び第２の照射光を同時に照射してもよい。照射部は、第１の波長を主要な波長成分とする第１の照射光と、第１の波長より短い第２の波長、及び第１の波長より長い第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から被写体に照射し、照射部により第１及び第２の照射光が照射された被写体からの出射光を結像する光学結像部と、被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２及び第３の波長を有する第２の出射光とを光学的に分離する分光部と、分光部によって分離され、光学結像部が結像する第１の出射光及び第２の出射光を受光する受光部と、受光部が受光する第１及び第２の出射光の強度を検出する光強度検出部とをさらに備え、奥行き算出部は、第１及び第２の出射光の強度を用いて、被写体までの奥行き距離を算出してもよい。
【００１９】
受光部は、２板の固体撮像素子を有し、分光部は、光路分割手段を用いて、第１の出射光と第２の出射光の光路を光学的に分岐させ、それぞれ２板の固体撮像素子のいずれか１つに受光させてもよい。受光部は、固体撮像素子を有し、分光部は、第１の波長の光を透過する第１の光学フィルターと、第２及び第３の波長の光を透過する第２の光学フィルターとを有し、第１の光学フィルターと第２の光学フィルターとが固体撮像素子の受光面に交互に配置されてもよい。
【００２０】
奥行き算出部は、第１の出射光の強度と第２の出射光の強度の半分の値との比に基づいて、被写体までの奥行き距離を算出してもよい。
【００２１】
上記の第１及び第２の形態において、照射部が被写体に第１及び第２の照射光を照射するときの光軸と、結像部が被写体からの出射光を撮像するときの光軸とが略同一であってもよい。光強度検出部は、受光部に撮像された被写体の画像の各画素において第１及び第２の出射光の強度を検出し、奥行き算出部は、画素の各々に対応する被写体の領域までの奥行きを各々求めることにより、被写体の奥行き分布を算出してもよい。
【００２２】
上記の第１及び第２の形態において、第１及び第２の照射光は赤外線領域の光であり、分光部は、被写体から得られる出射光から可視光を光学的に分離する手段をさらに備え、受光部は、分光部により光学的に分離され、光学結像部が結像する可視光を受光する可視光用の固体撮像素子をさらに備え、奥行き算出部が算出する被写体の奥行き分布とともに可視光用の固体撮像素子に撮像された被写体の画像を記録する記録部をさらに備えてもよい。
【００２３】
上記の第１及び第２の形態において、光強度検出部が検出する被写体からの出射光の強度、及び奥行き算出部が算出する被写体までの奥行き距離の少なくとも１つに基づいて、照射部が照射する第１及び第２の照射光の発光時間、強度、放射位置、及び受光部の露光時間の少なくとも１つを制御する制御部をさらに備えてもよい。
【００２４】
本発明の第３の形態においては、被写体の奥行きに関する情報を取得する距離測定方法であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する照射段階と、第１及び第２の照射光が照射された被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２の波長を有する第２の出射光と、第３の波長を有する第３の出射光とを光学的に分離する分光段階と、分離された第１、第２及び第３の出射光を撮像する撮像段階と、撮像された第１、第２及び第３の出射光の強度を検出する光強度検出段階と、第１、第２及び第３の出射光の強度を用いて、被写体までの奥行き距離を算出する奥行き算出段階とを備えたことを特徴とする。
【００２５】
奥行き算出段階は、第２及び第３の出射光の強度に基づく値と、第１の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。奥行き算出段階は、第２及び第３の出射光の強度に基づいて、第１の波長を有する光を第２の照射光の放射位置から照射したと仮定した場合の被写体からの仮の出射光の強度を求め、第１の出射光の強度と仮の出射光の強度の比に基づいて、被写体までの奥行き距離を算出してもよい。奥行き算出段階は、第２の出射光と第３の出射光の平均強度と、第１の出射光の強度との比に基づいて、被写体までの奥行き距離を算出してもよい。
【００２６】
本発明の第４の形態においては、被写体の奥行きに関する情報を取得する距離測定方法であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長より短い第２の波長、及び第１の波長より長い第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する照射段階と、第１及び第２の照射光が照射された被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２及び第３の波長を有する第２の出射光とを光学的に分離する分光段階と、分離された第１の出射光及び第２の出射光を撮像する撮像段階と、受光された第１の出射光及び第２の出射光の強度をそれぞれ検出する光強度検出段階と、第１の出射光の強度と第２の出射光の強度を用いて、被写体までの奥行き距離を算出する奥行き算出段階とを備えたことを特徴とする。
【００２７】
奥行き算出段階は、第１の出射光の強度と第２の出射光の強度の半分の値との比に基づいて、被写体までの奥行き距離を算出してもよい。
【００２８】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２９】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００３０】
（実施形態１）
本発明の第１の実施形態を説明する。最初に、被写体からの反射光の強度から被写体までの奥行き距離を測定する基本原理について説明する。図１は、本発明の原理説明図である。光源６、８はそれぞれ放射光強度Ｉ_１、Ｉ_２を有する同一波長特性の点光源である。光源６、８はそれぞれ物体２から距離Ｒ_１、Ｒ_２の位置にあり、光源６、８の放射位置の間隔はＬである。光源６を発光させ、照射された物体２からの反射光をカメラ５によって撮影する。次に光源８を発光させ、照射された物体２からの反射光をカメラ５によって撮影する。
【００３１】
光源６から放射された光は全方位に放射される。光源６を中心とする半径ｒの球を考えると、光の半径ｒの球面上の単位面積当たりの光密度は、
【００３２】
Ｉ_１／（４πｒ^２）
で与えられる。したがって、光源６から距離Ｒ_１だけ離れた位置に存在する物体２の領域４からの反射光強度Ｗ_１は、物体２の表面反射率をＲｆとすると、
【００３３】
Ｗ_１＝Ｒｆ・Ｉ_１／（４πＲ_１ ^２）
で与えられる。同様にして、光源８から距離Ｒ_２だけ離れた位置に存在する物体２の領域４からの反射光強度Ｗ_２は、
【００３４】
Ｗ_２＝Ｒｆ・Ｉ_２／（４πＲ_２ ^２）
で与えられる。
【００３５】
光源６による反射光強度Ｗ_１と光源８による反射光強度Ｗ_２の比Ｗ_Ｒは、
Ｗ_Ｒ＝Ｗ_１／Ｗ_２＝（Ｉ_１・Ｒ_２ ^２）／（Ｉ_２・Ｒ_１ ^２）
と求められる。これと、Ｒ_２−Ｒ_１＝Ｌの関係から、光源６と光源８の放射位置間隔Ｌが既知であれば、反射光強度比Ｗ_Ｒを測定して、距離Ｒ_１を式
【００３６】
Ｒ_１＝Ｌ／｛（Ｗ_Ｒ・Ｉ_２／Ｉ_１）^１／２−１｝
により求めることができる。
【００３７】
このように、同色の光源を用いれば、反射光強度比Ｗ_Ｒを求める過程で、表面反射率Ｒｆの影響がキャンセルされるため、被写体の奥行き距離に関する情報を取得することができる。この方法では、光源６と光源８を順に発光し、撮像するため、撮影に時間差が生じる。したがって動きのある被写体には適用することができない。そこで光源６と光源８の波長特性を異ならせ、光源６と光源８を同時に発光し、被写体からの反射光から光源６による反射光と光源８による反射光を波長分離して、それぞれの反射光の強度を測定する方法が考えられる。物体２の表面反射率は一般に波長によって異なる。波長λの光を照射した場合の表面反射率をＲｆ（λ）とする。光源６の波長をλ_１、光源８の波長をλ_２とすると、光源６による反射光強度Ｗ_１は、
【００３８】
Ｗ_１＝Ｒｆ（λ_１）・Ｉ_１／（４πＲ_１ ^２）
で与えられる。一方、光源８による反射光強度Ｗ_２は、
【００３９】
Ｗ_２＝Ｒｆ（λ_２）・Ｉ_２／（４πＲ_２ ^２）
で与えられる。
【００４０】
波長による表面反射率の違いがあるため、反射光強度比Ｗ_Ｒを求めても、表面反射率Ｒｆの項がキャンセルされないため、被写体の奥行き距離に関する情報を取得することができない。波長λ_１とλ_２の差を微小にして、表面反射率Ｒｆ（λ_１）とＲｆ（λ_２）の違いを無視して、反射光強度比Ｗ_Ｒを求め、被写体の奥行き距離を算出することもできるが、計算に誤差が生じる。表面反射率Ｒｆ（λ_１）とＲｆ（λ_２）の違いによる計算誤差を小さくするためには、波長λ_１とλ_２の差を十分に小さくしなければならないが、波長λ_１とλ_２の差を小さくすると、波長分離の精度が悪くなり、波長毎の強度測定に誤差が含まれることになる。したがって、波長分離の分解能を上げて強度測定の精度を上げるためには、波長λ_１とλ_２の差を大きくしなければならないし、表面反射率Ｒｆ（λ_１）とＲｆ（λ_２）の違いを小さくして、距離測定の精度を上げるためには、波長λ_１とλ_２の差を小さくしなければならないというジレンマに陥り、距離測定の精度を改善することに自ずと限界が生じる。
【００４１】
そこで、本実施形態では、第１の波長特性を有する光と、第１の波長特性とは異なる第２の波長特性を有する光を光学的に異なる放射位置から同時に被写体に照射し、第１の波長特性を有する光による反射光と、第２の波長特性を有する光による反射光とを光学的に分離し、第２の波長特性の反射光を用いて、仮に第１の波長特性を有する光を第２の波長特性の光の放射位置から照射した場合に、被写体から得られるであろう仮の反射光強度を求め、第１の波長特性の反射光強度と、仮の反射光強度との比に基づいて、被写体の奥行き距離を算出する。仮の反射光強度を求めることにより、波長による表面反射率の違いをキャンセルすることができるため、奥行き距離を正確に求めることができる。
【００４２】
図２は、本実施形態の画像撮像装置２００の構成図である。画像撮像装置２００として、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が考えられる。画像撮像装置２００は、照射部１００と、撮像部１２０と、処理部６０と、制御部８０とを有する。
【００４３】
照射部１００は被写体に光を照射し、撮像部１２０は照射部１００が照射した被写体を撮像する。処理部６０は撮像部１２０が撮像した被写体の画像を処理して、撮像された被写体の奥行き距離を求め、被写体の奥行き分布情報として記録する。処理部６０はまた、撮像部１２０が撮像した被写体の画像を記録することもできる。制御部８０は、処理部６０が求めた被写体の奥行き距離に基づいてフィードバック制御を行い、照射部１００が照射する光の強度、発光のタイミング、発光時間、放射位置等を制御し、撮像部１２０の露光時間等を制御する。
【００４４】
照射部１００は、光源１０Ａ、１０Ｂと、光学フィルター１２Ａ、１２Ｂとを有する。光源１０Ａ、１０Ｂは異なる位置に設置され、光源１０Ａ、１０Ｂからの光は、それぞれ特定の波長成分を透過する光学フィルター１２Ａ、１２Ｂを透過し、被写体に同時に照射される。照射部１００は、光量を効率的に利用したい場合や、光源１０Ａ、１０Ｂの放射位置の差を光学的に大きくしたい場合には、コンデンサーレンズ等の光学レンズを照射光の光路に挿入して、光を集光させたり、レンズ効果により照射光の光学的な放射位置を変更させてもよい。
【００４５】
撮像部１２０は、光学結像部の一例としての光学レンズ２０と、分光部３０と、受光部４０とを有する。光学レンズ２０は、被写体からの反射光を結像する。分光部３０は、被写体からの反射光を、照射部１００が照射した波長特性に合わせて波長分離する。受光部４０は、光学レンズ２０が結像し、分光部３０によって波長分離された反射光を受光する。
【００４６】
受光部４０は、一例として固体撮像素子である。被写体像は固体撮像素子の受光面上に結像される。結像された被写体像の光量に応じ、固体撮像素子の各センサエレメントに電荷が蓄積され、蓄積された電荷は、一定の順序に走査され、電気信号として読み出される。
【００４７】
固体撮像素子は、被写体からの反射光の強度を、画素単位に高い精度で検出可能なように、Ｓ／Ｎ比が良く、画素数が大きい電荷結合素子（ＣＣＤ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００４８】
処理部６０は、画像メモリ６２と、光強度検出部６４と、奥行き算出部６６と、画像補正部６７と、記録部６８とを有する。画像メモリ６２は、撮像部１２０が撮像した被写体の画像を、照射部１００が照射した照射光の波長特性に合わせて格納する。光強度検出部６４が画像メモリ６２に格納された被写体の画像から反射光の強度を画素単位または画素領域単位で検出する。奥行き算出部６６は、光強度検出部６４が検出した反射光強度に基づいて、各画素領域に写された被写体の領域までの奥行き距離を算出する。記録部６８は奥行き算出部６６が算出した被写体の奥行き距離の分布を記録する。画像補正部６７は、画像メモリ６２に格納された被写体の画像について、階調補正、ホワイトバランス等の補正を行う。記録部６８は画像補正部６７が処理した被写体の画像を記録する。また、光強度検出部６４及び奥行き算出部６６はそれぞれ、被写体からの反射光の検出レベル及び被写体の奥行き分布の情報を制御部８０に出力する。記録部６８は、フラッシュメモリ、メモリカード等の半導体メモリに画像データ及び奥行き分布情報を記録する。
【００４９】
制御部８０は、処理部６０が求めた被写体の奥行き距離に基づいてフィードバック制御を行い、照射部１００が照射する光の強度、発光のタイミング、光の放射位置等を制御し、撮像部１２０の受光部４０の受光感度や露光時間等を制御する。制御部８０は、図示しない測光センサの測光データや、測距センサの測距データを用いて、照射部１００と撮像部１２０を制御してもよい。また、制御部８０は、処理部６０が求めた被写体の奥行き距離に基づいて、被写体の画像を撮影するときの撮像部１２０のフォーカス、絞り、露光時間等を調整してもよい。
【００５０】
図３は、本実施形態の照射部１００と撮像部１２０の構成図である。光源１０Ａ、１０Ｂはそれぞれ物体２から距離Ｒ１、Ｒ２の位置にあり、光源１０Ａ、１０Ｂの放射位置間隔はＬである。光学フィルター１２Ａは主に波長λ_Ａの光を透過し、光学フィルター１２Ｂは主に波長λ_Ｂ、λ_Ｃを有する光を透過する。照射部１００は、光源１０Ａの位置から波長λ_Ａの光を、光源１０Ｂの位置から波長λ_Ｂ及びλ_Ｃを有する光を同時に物体２に照射する。
【００５１】
光源１０Ａ、１０Ｂからの光が照射された物体２からの反射光を撮像部１２０の光学レンズ２０が結像する。分光部３０は、波長λ_Ａ、λ_Ｂ、λ_Ｃの３つの光に波長分離して光路を分割するプリズムである。受光部４０Ａ、４０Ｂ、及び４０Ｃは３板の固体撮像素子である。分光部３０によって、分光された波長λ_Ａ、λ_Ｂ、λ_Ｃを有する光はそれぞれ受光部４０Ａ、４０Ｂ、４０Ｃに受光される。各受光部４０Ａ、４０Ｂ、４０Ｃに受光された光は、光電効果により電荷として読み出され、図示しないＡ／Ｄ変換器によりデジタル電気信号に変換され、処理部６０に入力される。
【００５２】
図４は、本実施形態の処理部６０の構成図である。各受光部４０Ａ、４０Ｂ、４０Ｃが出力する被写体像は、それぞれ画像メモリ６２Ａ、６２Ｂ、６２Ｃに格納される。光強度検出部６４は各画像メモリ６２Ａ、６２Ｂ、６２Ｃに格納された画像データを用いて、波長λ_Ａ、λ_Ｂ、λ_Ｃの反射光の強度を検出する。奥行き算出部６６は、光強度検出部６４が検出した波長λ_Ａ、λ_Ｂ、λ_Ｃの反射光の強度を用いて、光源１０Ａから物体２の領域４までの距離Ｒ１を求める。奥行き算出部６６は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体の領域までの奥行き距離を算出し、被写体の奥行き分布を求め、出力する。記録部６８は被写体の奥行き分布情報を記録する。
【００５３】
光強度検出部６４は、検出した波長λ_Ａ、λ_Ｂ、λ_Ｃの反射光の強度を制御部８０へ出力する。奥行き算出部６６は、被写体の奥行き分布情報を制御部８０へ出力する。制御部８０は、強度レベルが適正でない場合や奥行き距離の測定精度が良くない場合、光源１０Ａまたは１０Ｂの放射光強度を調整するか、または光源１０Ａと１０Ｂの放射位置間隔を調整する。制御部８０は、光源１０Ａ、１０Ｂの放射光強度比をあらかじめいくつか容易しておき、被写体の奥行き距離によって、放射光強度比を選択してもよい。たとえば、被写体が近距離にある場合には、放射光強度比を１に近い値に設定し、被写体が遠距離にある場合に、被写体から遠い位置にある光源１０Ｂの放射光強度が大きくなるように、放射光強度比を設定してもよい。
【００５４】
図５は、光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。光強度検出部６４は、波長λ_Ａの反射光の強度Ｗ_Ａ、波長λ_Ｂの反射光のＷ_Ｂ、波長λ_Ｃの反射光のＷ_Ｃをそれぞれ検出する。光源１０Ａ、１０Ｂの強度をそれぞれＩ_１、Ｉ_２とし、物体２の波長λにおける表面反射率をＲｆ（λ）とすると、波長λ_Ａの反射光の強度Ｗ_Ａは、
【００５５】
Ｗ_Ａ＝Ｒｆ（λ_Ａ）・Ｉ_１／（４πＲ_１ ^２）
と表され、波長λ_Ｂの反射光の強度Ｗ_Ｂ、波長λ_Ｃの反射光の強度Ｗ_Ｃは、
Ｗ_Ｂ＝Ｒｆ（λ_Ｂ）・Ｉ_２／（４πＲ_２ ^２）
Ｗ_Ｃ＝Ｒｆ（λ_Ｃ）・Ｉ_２／（４πＲ_２ ^２）
と表される。
【００５６】
奥行き算出部６６は、波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを用いて、波長λ_Ａを有する放射光強度Ｉ_２の光を光源１０Ｂの放射位置から照射したと仮定した場合に、被写体から得られる仮の反射光の強度Ｗ_Ｄを求める。求められたＷ_Ｄの値は、理想的には
【００５７】
Ｗ_Ｄ＝Ｒｆ（λ_Ａ）・Ｉ_２／（４πＲ_２ ^２）
である。したがって、波長λ_Ａを有する光源１０Ａからの光による反射光の強度Ｗ_Ａと、同じ波長λ_Ａを有する光源１０Ｂからの光による仮の反射光の強度Ｗ_Ｄとの比を求めると、表面反射率Ｒｆ（λ_Ａ）の項がキャンセルされ、
【００５８】
Ｗ_Ａ／Ｗ_Ｄ＝（Ｉ_１・Ｒ_２ ^２）／（Ｉ_２・Ｒ_１ ^２）
が得られ、これとＲ_２−Ｒ_１＝Ｌより、被写体の奥行き距離Ｒ_１を算出することができる。
【００５９】
波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを用いて、仮の反射光の強度Ｗ_Ｄを求める方法には、いくつもの変形がありうる。図６は、補間によって仮の反射光の強度を求める方法の説明図である。波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを補間することにより、波長λ_Ａの場合の仮の強度Ｗ_Ｄを求める。線形補間して仮の強度Ｗ_Ｄを求めてもよく、また単純に波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃの中間値を仮の強度Ｗ_Ｄとしてもよい。
【００６０】
図７は、外挿によって仮の反射光の強度を求める方法の説明図である。波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを外挿し、波長λ_Ｂより短い波長λ_Ａの場合の仮の強度Ｗ_Ｄを求める。
【００６１】
さらに次の変形例がある。図８は、光源１０Ａ、１０Ｂによるそれぞれの反射光から仮の反射光強度を求める方法を説明する図である。照射部１００は、光源１０Ａから波長λ１及びλ２を有する照射光を、光源１０Ｂから波長λ３及びλ４を有する照射光を同時に照射し、撮像部１２０は、被写体から得られる反射光を、光源１０Ａからの波長λ１、λ２を有するそれぞれの反射光と、光源１０Ｂからの波長λ３、λ４を有するそれぞれの反射光とに分離する。光強度検出部６４は、光源１０Ａからの波長λ１、λ２の反射光の強度を求め、奥行き算出部６６は、光源１０Ａの位置から、同一強度で波長λ５の光を照射したと仮定した場合の反射光強度Ｗ_Ａを算出する。また、光強度検出部６４は、光源１０Ｂからの波長λ３、λ４の反射光の強度を求め、奥行き算出部６６は、光源１０Ｂの位置から、同一強度で波長λ５の光を照射したと仮定した場合の反射光強度Ｗ_Dを算出する。奥行き算出部６６は仮の反射光強度Ｗ_ＡとＷ_Dの比を求め、被写体の奥行き距離を算出することができる。
【００６２】
さらに次の変形例がある。図９（ａ）〜（ｄ）は、長波長または短波長の光のみを透過させるバンドパスフィルターを用いて照射した場合の仮の反射光強度を求める方法を説明する図である。光源１０Ａの光学フィルター１２Ａは、第１の境界波長λ_１よりも長い波長の光のみを透過させるバンドパスフィルターであり、光源１０Ａからの放射光は光学フィルター１２Ａを透過し、図９（ａ）に示した波長特性を有する光として被写体に照射される。光源１０Ｂの光学フィルター１２Ｂは、第２の境界波長λ_２よりも短い波長の光のみを透過させるバンドパスフィルターであり、光源１０Ｂからの放射光は光学フィルター１２Ｂを透過し、図９（ｂ）に示した波長特性を有する光として被写体に照射される。第１の境界波長λ_１は第２の境界波長λ_２より短い波長であってもよい。すなわち光学フィルター１２Ａ、１２Ｂが透過させる光の波長特性は、第１の境界波長λ_１から第２の境界波長λ_２までの波長領域に重なりを有してもよい。したがって、第１の境界波長λ_１が第２の境界波長λ_２より短い場合、光源１０Ａ、１０Ｂからの照射光の波長特性は、第１の境界波長λ_１から第２の境界波長λ_２までの波長領域に重なりを有する。
【００６３】
分光部３０は、波長λ_Ａ、λ_Ｂ、λ_Ｃの光をそれぞれ透過する光学フィルターを有し、被写体から得られる反射光を波長分離し、波長λ_Ａ、λ_Ｂ、λ_Ｃを有する反射光を受光部４０に受光させる。光源１０Ａによる反射光は、分光部３０を通過する前は、図９（ａ）の波長特性を有するが、光学フィルターによって図９（ｃ）のように、波長λ_Ａの成分だけが取り出される。光源１０Ｂによる反射光についても同様であり、分光部３０を通過する前は、図９（ｂ）の波長特性を有するが、光学フィルターによって図９（ｄ）にように、波長λ_Ｂ、λ_Ｃの成分だけがそれぞれ取り出される。ここで、波長λ_Ａは、第１の境界波長λ_１と第２の境界波長λ_２のどちらか長い方よりも長い波長であり、波長λ_Ｂ、λ_Ｃは、第１の境界波長λ_１と第２の境界波長λ_２のどちらか短い方よりも短い波長であることが必要である。なぜなら、分離された波長λ_Ａを有する反射光には、光源１０Ｂの照射光による干渉が含まれてはならないし、分離された波長λ_Ｂ、λ_Ｃを有するそれぞれの反射光には、光源１０Ａの照射光による干渉が含まれてはならないからである。波長λ_Ａを有する反射光の強度Ｗ_Ａを検出し、波長λ_Ｂ、波長λ_Ｃをそれぞれ有する反射光の強度を外挿して、波長λ_Ａの成分が含まれていたと仮定した場合の仮の反射光強度Ｗ_Ｄを求める。反射光強度比Ｗ_Ａ／Ｗ_Ｄから被写体の奥行き距離を求める過程は既に述べた通りである。
【００６４】
上記のいずれの方法においても、仮の反射光強度を補間、外挿、平均などの処理によって正確に求めることができるように、波長λ_Ｂと波長λ_Ｃは線形補間または線形の外挿が可能な範囲で近接した値に設定することがより好ましい。図１０は、３種の物体の表面反射率を示す図である。グラフの横軸は波長、縦軸は反射率である。グラフ３０２、３０４、３０６は、それぞれ人間の肌、道、木の葉の３種の物体の表面反射率を分光計で測定した結果である。６３０ｎｍ、６５０ｎｍ、６７０ｎｍの波長に対する各グラフ上の点をマークした。６３０ｎｍ、６５０ｎｍ、６７０ｎｍの波長領域では、いずれの物体でも線形補間が可能である。また、同波長領域の光源は入手しやすい。波長λ_Ａ、λ_Ｂ、λ_Ｃとして、このような線形補間が可能で、光源としても入手しやすい波長領域の値を選択することができる。また、受光部４０の固体撮像素子の出力信号に対して、通常のデジタルカメラ等で行われる階調補正等の画像補正処理を行うと、信号の線形性が失われる。そこで固体撮像素子への入射光強度に対して線形性を有する信号強度の段階で、強度を検出し、補間、外挿、平均等の処理をすることが好ましい。あるいは、階調補正等の画像補正処理による信号変換関数の逆関数を表すテーブルを用意しておき、画像補正後の信号出力を一旦逆関数のテーブルを参照して、固体撮像素子への入射光強度に対して線形性を有する信号強度に変換してから、強度を検出し、補間、外挿、平均等の処理を行うようにしてもよい。
【００６５】
さらに、上記の説明では分光部３０として、波長分離して光路を分割する光学分割素子、たとえばプリズム、ビームスプリッターを用いたが、分光部３０として、受光部４０の受光面に配置した光学フィルターを用いてもよい。図１１は、受光部４０に設けられる特定波長成分を透過する光学フィルターを説明する図である。受光部４０として単板の固体撮像素子を用い、固体撮像素子の受光面に、光学フィルター３２を設ける。光学フィルター３２は、波長λ_Ａ、λ_Ｂ、λ_Ｃのみをそれぞれ透過させるフィルターが交互に配置される。これにより、固体撮像素子の画素によって波長λ_Ａ、λ_Ｂ、λ_Ｃのいずれの光を受光したものであるかがわかり、波長λ_Ａ、λ_Ｂ、λ_Ｃを有する光を波長分離して受光することができる。プリズムやビームスプリッターを用いる場合と比べて、単板の固体撮像素子に受光させるため、装置を小型化することができる。
【００６６】
上記の実施形態の説明において、照射される光の波長によって表面反射率の違いが大きい被写体を対象にする場合、波長λ_Ａ、λ_Ｂ、λ_Ｃは仮の反射光強度の算出に誤差が生じないように、できるだけ近接していることが望ましい。一方で、各波長成分の反射光の強度の検出精度を上げるためには、波長λ_Ａ、λ_Ｂ、λ_Ｃの以外の波長成分ができるだけ含まれないようにするか、波長λ_Ａ、λ_Ｂ、λ_Ｃの値を互いに離れた値にして、波長λ_Ａ、λ_Ｂ、λ_Ｃの分解能を上げ、波長の干渉をできるだけ少なくすることが望ましい。したがって、被写体の表面反射率の特性や要求される測定精度に応じて、照射部１００の光源１０の波長特性、光学フィルター１２の波長透過特性、撮像部１２０の分光部３０の波長透過特性を設計することが好ましい。
【００６７】
図１２は、本実施形態の距離測定方法のフローチャートである。照射部１００は、波長λ_Ａを主要な波長成分とする第１の照射光と、波長λ_Ａとは異なる波長λ_Ｂ及び波長λ_Ｃを主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する（Ｓ１００）。
【００６８】
撮像部１２０の光学レンズ２０は、第１及び第２の照射光が照射された被写体からの反射光を結像する（Ｓ１０２）。分光部３０は、被写体からの反射光から、波長λ_Ａを有する第１の反射光と、波長λ_Ｂを有する第２の反射光と、波長λ_Ｃを有する第３の反射光とを光学的に分離する（Ｓ１０４）。
【００６９】
受光部４０は、分離された第１、第２、第３の反射光を受光する（Ｓ１０６）。処理部６０の光強度検出部６４は、第１、第２、第３の反射光の強度Ｗ_Ａ、Ｗ_Ｂ、Ｗ_Ｃを検出する（Ｓ１０８）。
【００７０】
奥行き算出部６６は、第１、第２、第３の反射光の強度Ｗ_Ａ、Ｗ_Ｂ、Ｗ_Ｃを用いて、被写体までの奥行き距離を算出する（Ｓ１１０）。
【００７１】
図１３は、奥行き距離算出処理Ｓ１１０のフローチャートである。第２及び第３の反射光の強度Ｗ_Ｂ、Ｗ_Ｃに基づいて、波長λ_Ａで強度がＩ２の光が第２の照射光の放射位置から照射されたと仮定した場合の被写体からの仮の反射光の強度Ｗ_Ｄを求める（Ｓ１１２）。仮の反射光の強度Ｗ_Ｄは、第２及び第３の反射光の強度Ｗ_Ｂ及びＷ_Ｃを補間または外挿することにより求める。第１の反射光の強度Ｗ_Ａと仮の反射光の強度Ｗ_Ｄの比Ｗ_Ａ／Ｗ_Ｄを求める（Ｓ１１４）。第１、第２の照射光の強度Ｉ_１、Ｉ_２、第１、第２の照射光の放射位置間隔Ｌ、反射光強度比Ｗ_Ａ／Ｗ_Ｄに基づいて、被写体までの距離を算出する（Ｓ１１６）。
【００７２】
図１４は、奥行き距離算出処理Ｓ１１０の変形例のフローチャートである。第２及び第３の反射光の強度Ｗ_Ｂ、Ｗ_Ｃの平均値Ｗ_Ｄ＝（Ｗ_Ｂ＋Ｗ_Ｃ）／２を求める（Ｓ１１８）。第１の反射光の強度Ｗ_Ａと、第２及び第３の反射光の平均強度Ｗ_Ｄの比Ｗ_Ａ／Ｗ_Ｄを求める（Ｓ１２０）。第１、第２の照射光の強度Ｉ_１、Ｉ_２、第１、第２の照射光の放射位置間隔Ｌ、反射光強度比Ｗ_Ａ／Ｗ_Ｄに基づいて、被写体までの距離を算出する（Ｓ１２２）。
【００７３】
以上述べたように、本実施形態の画像撮像装置によれば、異なる波長特性を有する光を光学的に異なる放射位置から同時に被写体に照射し、被写体から得られる反射光から波長特性に合わせて波長分離し、波長分離された反射光の強度を用いて、被写体までの奥行き距離を簡便に求めることができる。
【００７４】
また、被写体からの反射光による像を固体撮像素子に撮像し、画像データとして格納するため、画素または画素領域単位で反射光強度を検出して奥行き距離を算出することができ、撮像された被写体の領域の奥行き分布を得ることができる。したがって、被写体の２次元画像から被写体の奥行き分布を獲得して、被写体の３次元立体画像を作成することが可能である。
【００７５】
（実施形態２）
本発明の第２の実施形態を説明する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置と比較して、照射部１００と撮像部１２０の一部の構成が異なるだけであるから、同一の構成要素については説明を省略し、異なる構成要素についてのみ説明する。図１５は、本実施形態の照射部１００と撮像部１２０の構成図である。本実施形態では、照射部１００の光学フィルター１２Ａは主に波長λ_Ａの光を透過し、光学フィルター１２Ｂは、主に波長λ_Ａより短い波長λ_Ｂと、波長λ_Ａより長い波長λ_Ｃを有する光を透過する。照射部１００は、光源１０Ａの位置から波長λ_Ａの光と、光源１０Ｂの位置から波長λ_Ｂ及びλ_Ｃを有する光を同時に物体２に照射する。
【００７６】
撮像部１２０の分光部３０は、波長λ_Ａを有する光と、波長λ_Ｂ及びλ_Ｃを有する光とに波長分離して光路を分割するプリズムである。受光部４０Ａ及び４０Ｂは２板の固体撮像素子である。分光部３０によって、分光された波長λ_Ａを有する光は、受光部４０Ａに、波長λ_Ｂ及びλ_Ｃを有する光は受光部４０Ｂにそれぞれ受光される。受光部４０Ａ、４０Ｂに受光された光は、電気信号に変換され、処理部６０に入力される。
【００７７】
図１６は、本実施形態の処理部６０の構成図である。各受光部４０Ａ、４０Ｂが出力する被写体像は、それぞれ画像メモリ６２Ａ、６２Ｂに格納される。光強度検出部６４は各画像メモリ６２Ａ、６２Ｂに格納された画像データを用いて、波長λ_Ａを有する反射光、波長λ_Ｂとλ_Ｃを有する反射光の強度を検出する。奥行き算出部６６は、光強度検出部６４が検出した波長λ_Ａの反射光の強度、波長λ_Ｂ及びλ_Ｃの反射光の強度を用いて、光源１０Ａから物体２の領域４までの距離Ｒ１を求める。奥行き算出部６６は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体の領域までの奥行き距離を算出し、被写体の奥行き分布を求め、出力する。記録部６８は被写体の奥行き分布情報を記録する。
【００７８】
図１７は、光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。光強度検出部６４は、波長λ_Ａの反射光の強度Ｗ_Ａ、波長λ_Ｂとλ_Ｃを有する反射光の強度Ｗ_Ｅをそれぞれ検出する。光源１０Ａ、１０Ｂの強度をそれぞれＩ_１、Ｉ_２とし、物体２の波長λにおける表面反射率をＲｆ（λ）とすると、波長λ_Ａの反射光の強度Ｗ_Ａは、
【００７９】
Ｗ_Ａ＝Ｒｆ（λ_Ａ）・Ｉ_１／（４πＲ_１ ^２）
と表され、波長λ_Ｂとλ_Ｃを有する反射光の強度Ｗ_Ｅは、
Ｗ_E＝Ｒｆ（λ_Ｂ）・Ｉ_２／（４πＲ_２ ^２）
＋Ｒｆ（λ_Ｃ）・Ｉ_２／（４πＲ_２ ^２）
と表される。
【００８０】
奥行き算出部６６は、波長λ_Ｂと波長λ_Ｃを有する反射光の強度Ｗ_Ｅの半分の値をＷ_Ｄとする。波長λ_Ａは、波長λ_Ｂと波長λ_Ｃの中間の値であるから、Ｗ_Ｄの値は、波長λ_Ａを有する放射光強度Ｉ_２の光を光源１０Ｂの放射位置から照射したと仮定した場合に、被写体から得られる仮の反射光の強度にほぼ等しい。得られたＷ_Ｄの値は、理想的には
【００８１】
Ｗ_Ｄ＝Ｒｆ（λ_Ａ）・Ｉ_２／（４πＲ_２ ^２）
である。したがって、波長λ_Ａを有する光源１０Ａからの光による反射光の強度Ｗ_Ａと、同じ波長λ_Ａを有する光源１０Ｂからの光による仮の反射光の強度Ｗ_Ｄとの比を求めると、表面反射率Ｒｆ（λ_Ａ）の項がキャンセルされ、
【００８２】
Ｗ_Ａ／Ｗ_Ｄ＝（Ｉ_１・Ｒ_２ ^２）／（Ｉ_２・Ｒ_１ ^２）
が得られ、これとＲ_２−Ｒ_１＝Ｌより、被写体の奥行き距離Ｒ_１を算出することができる。
【００８３】
仮の反射光強度Ｗ_Ｄが正確に得られるように、波長λ_Ａは、波長λ_Ｂ、λ_Ｃの中間の波長であることがより好ましい。上記の説明では、分光部３０は、波長λ_Ａを有する光と、波長λ_Ｂ及びλ_Ｃを有する光とに波長分離したが、フィルタリングの方法として、波長λ_Ｂ、λ_Ｃを選択的に透過する必要は必ずしもなく、波長λ_Ａをカットするバンドカットフィルターを用いても同じ効果を奏する。図１８（ａ）〜（ｄ）は、バンドカットフィルターを用いて反射光を分離する方法を説明する図である。図１８（ａ）のように、光源１０Ａからの照射光は、波長λ_Ａを主要な波長成分とする波長特性を有する。図１８（ｂ）のように、光源１０Ｂからの照射光は、波長λ_Ａを間に挟む波長λ_Ｂ、λ_Ｃを主要な波長成分とする波長特性を有する。分光部３０は、図１８（ｃ）に示すような、主に波長λ_Ａだけを透過するバンドパスフィルターと、図１８（ｄ）に示すような、主に波長λ_Ａの波長成分をカットするバンドカットフィルターとを有し、被写体からの反射光をバンドパスフィルターに透過させることにより、波長λ_Ａを有する反射光を分離し、被写体からの反射光をバンドカットフィルターに透過させることにより、波長λ_Ｂと波長λ_Ｃを有する反射光を分離する。波長λ_Ｂと波長λ_Ｃを有する反射光の強度の半分の値と、波長λ_Ａを有する反射光の強度の比に基づいて、被写体の奥行き値を求める方法は上述の通りである。
【００８４】
図１９は、本実施形態の距離測定方法のフローチャートである。照射部１００は、波長λ_Ａを主要な波長成分とする第１の照射光と、波長λ_Ａより短い波長λ_Ｂと、波長λ_Ａより長い波長λ_Ｃを主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する（Ｓ２００）。
【００８５】
撮像部１２０の光学レンズ２０は、第１及び第２の照射光が照射された被写体からの反射光を結像する（Ｓ２０２）。分光部３０は、被写体からの反射光から、波長λ_Ａを有する第１の反射光と、波長λ_Ｂ及び波長λ_Ｃを有する第２の反射光とを光学的に分離する（Ｓ２０４）。
【００８６】
受光部４０は、分離された第１、第２の反射光を受光する（Ｓ２０６）。処理部６０の光強度検出部６４は、第１、第２の反射光の強度Ｗ_Ａ、Ｗ_Ｅを検出する（Ｓ２０８）。
【００８７】
奥行き算出部６６は、第１の反射光の強度Ｗ_Ａ、第２の反射光の強度Ｗ_Ｅの半分の値Ｗ_Ｄの比Ｗ_Ａ／Ｗ_Ｄを求め（Ｓ２１２）、第１、第２の照射光の強度Ｉ_１、Ｉ_２、第１、第２の照射光の放射位置間隔Ｌ、反射光強度比Ｗ_Ａ／Ｗ_Ｄに基づいて、被写体までの距離を算出する（Ｓ２１４）。
【００８８】
上記の説明では分光部３０として、波長分離して光路を分割する光学分割素子、たとえばプリズム、ビームスプリッターを用いたが、分光部３０として、第１の実施形態と同様に、受光部４０として単板の固体撮像素子を用い、固体撮像素子の受光面に、光学フィルター３２を設けてもよい。光学フィルター３２は、波長λ_Ａのみを透過させるフィルターと、波長λ_Ｂ及びλ_Ｃを透過させるフィルターが交互に配置される。プリズムやビームスプリッターを用いる場合と比べて、単板の固体撮像素子に受光させるため、装置を小型化することができる。
【００８９】
以上述べたように、本実施形態の画像撮像装置によれば、第１の波長を主要な波長成分とする第１の照射光と、第１の波長を中間に挟む第２、第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射し、被写体から得られる反射光から、第１の波長を有する第１の反射光と、第２及び第３の波長を有する第２の反射光とに分離し、第１の反射光強度と、第２の反射光強度の半分の値との比に基づいて被写体の奥行き距離を算出することができる。第２の反射光強度を半分にするだけで、第１の波長を有する光を第２の照射光の放射位置から照射した場合の仮の反射光強度を求めることができるため、非常に簡便に被写体の奥行き距離を算出することができる。また、被写体からの反射光を受光する固体撮像素子を２板にすることができ、装置の小型化を図ることができる。
【００９０】
（実施形態３）
本発明の第３の実施形態を説明する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置と比較して、照射部１００と撮像部１２０の一部の構成が異なるだけであるから、同一の構成要素については説明を省略し、異なる構成要素についてのみ説明する。図２０は、本実施形態の照射部１００と撮像部１２０の構成図である。本実施形態では、照射部１００の光源１０Ａ、１０Ｂは赤外光源である。光学フィルター１２Ａは赤外領域における波長λ_Ａの光を透過し、光学フィルター１２Ｂは、赤外領域における波長λ_Ｂ及び波長λ_Ｃを有する光を透過する。照射部１００は、光源１０Ａの位置から赤外領域の波長λ_Ａの光と、光源１０Ｂの位置から赤外領域の波長λ_Ｂ及びλ_Ｃを有する光とを同時に物体２に照射する。物体２にはさらに可視光領域の光、たとえば自然光や照明光が照射されている。
【００９１】
撮像部１２０の分光部３０は、赤外領域の波長λ_Ａを有する光と、赤外領域の波長λ_Ｂ及びλ_Ｃを有する光と、可視光領域の光とに波長分離して光路を分割するプリズムである。受光部４０Ａ、４０Ｂ、及び４０Ｃは３板の固体撮像素子である。分光部３０によって、分光された波長λ_Ａを有する光は、受光部４０Ａに、波長λ_Ｂ及びλ_Ｃを有する光は受光部４０Ｂに、可視光は受光部４０Ｃにそれぞれ受光される。赤外領域の反射光の撮影像がピンぼけしないように、受光部４０Ａ、４０Ｂはピントが合う位置にあらかじめ設定しておく。受光部４０Ａ、４０Ｂ、４０Ｃに受光された光は、電気信号に変換され、処理部６０に入力される。
【００９２】
図２１は、本実施形態の処理部６０の構成図である。各受光部４０Ａ、４０Ｂが出力する被写体像は、それぞれ画像メモリ６２Ａ、６２Ｂに格納される。光強度検出部６４は各画像メモリ６２Ａ、６２Ｂに格納された画像データを用いて、反射光の強度を検出し、奥行き算出部６６は、光強度検出部６４が検出した反射光の強度を用いて、光源１０Ａから物体２の領域４までの距離Ｒ１を求める。光強度検出部６４と奥行き算出部６６の動作は、第２の実施形態と同様であるから、説明を省略する。奥行き算出部６６は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体の領域までの奥行き距離を算出し、被写体の奥行き分布を求め、出力する。記録部６８は被写体の奥行き分布情報を記録する。さらに、受光部４０Ｃが出力する被写体像は画像メモリ６２Ｃに格納される。画像補正部６７は、画像メモリ６２に格納された画像データに対して、階調補正等の画像補正を行い、被写体の画像データとして出力し、記録部６８は被写体の画像データを被写体の奥行き分布情報とともに記録する。
【００９３】
上記では、波長λ_Ｂ及びλ_Ｃを有する反射光を分離せずに、受光部４０Ｂに受光させたが、受光部４０として、４板の固体撮像素子を用いて、分光部３０によって波長λ_Ｂを有する反射光と波長λ_Ｃを有する反射光とを分離させて、異なる固体撮像素子にそれぞれの反射光を受光させてもよい。その場合、第１の実施形態と同様の方法で、波長λ_Ａ、λ_Ｂ、λ_Ｃのそれぞれの反射光の強度を用いて、被写体の奥行き距離を求めることができる。
【００９４】
以上述べたように、本実施形態の画像撮像装置によれば、被写体の奥行き距離測定には赤外光を用いるため、被写体に自然光や照明光が照射された自然な条件のもとでも、被写体の奥行き距離を測定することができる。したがって、被写体の奥行き距離測定のために、部屋を暗室にする必要がない。また、可視光領域の反射光を分離させて撮像することができるため、被写体の奥行き分布を測定すると同時に、被写体の画像を撮影することができる。撮影された被写体の画像から奥行き分布に基づいて、主要被写体を抽出したり、背景と人物像を分離するなど、被写体の奥行き分布を用いた、被写体の画像処理が可能である。
【００９５】
（実施形態４）
本発明の第４の実施形態を説明する。本実施形態の画像撮像装置は、第１、第２、第３の実施形態の画像撮像装置と比較して、照射部１００と撮像部１２０の光軸を同一にするために、ハーフミラー１７と１８を用いた点だけが異なる。図２２は、本実施形態の照射部１００と撮像部１２０の構成図である。第１の実施形態において、ハーフミラー１７と１８を用いた例を示すが、第２、第３の実施形態においても同様の構成を取ることができる。照射部１００の光源１０Ａと１０Ｂの放射位置は距離Ｌだけ離れており、光源１０Ｂからの照射光はハーフミラー１７に反射し、さらにハーフミラー１８に反射して、物体２に照射される。光源１０Ａからの照射光はハーフミラー１７を通過し、ハーフミラー１８に反射して、物体２に照射される。被写体からの反射光はハーフミラー１８と通過し、撮像部１２０の光学レンズ２０によって結像される。
【００９６】
本実施形態では、照射部１００と撮像部１２０の光軸が光学的に同軸であるため、照射部１００によって照射された被写体を撮像部１２０が撮影する際、影になって撮影できない領域が生じることがない。したがって照射された被写体の全領域の奥行き分布を算出することができ、奥行き距離を算出できない死角が生じることはない。また、照射部１００と撮像部１２０の光軸を同軸にすることにより、画像撮像装置２００全体を小型化することができる。
【００９７】
（実施形態５）
図２３は、本発明の実施形態５にかかる原理説明図である。照射位置１１２及び照射位置１１４から、それぞれ強度Ｐ１，Ｐ２の光を物体１２０に照射し、物体１２０によるそれぞれの光の反射光をカメラ１１０で撮像する。カメラ１１０は、例えば電荷結合素子（ＣＣＤ）であって、複数の画素を有し、各画素単位で物体１２０の被測定部１２２及び砒素区手部の近傍１２４からの反射光を撮影し、画素毎にそれぞれの強度を検出する。カメラ１１０で撮像した反射光に基づいて物体１２０の被測定部１２２までの距離Ｌ、被測定部１２２の表面の傾きθ_０及び、被測定部１２２の表面の反射率Ｒ_Ｏｂｊを算出する。照射位置（１１２，１１４）は、任意の位置に配置されてよい。照射位置（１１２，１１４）から物体１２０に照射される光の照射角のうち、いずれかを算出するが、本例においては、カメラ１１０を、照射位置（１１２，１１４）のいずれか一つと光学的に同じ位置に配置し、カメラ１１０が撮像する反射光の入射角に基づいて物体１２０に照射される光の照射角を算出する。本例においては、照射位置１１２とカメラ１１０を光学的に同じ位置に配置した場合について説明する。
【００９８】
図２３に示すように、照射位置１１４は、照射位置１１２からＬ_１２離れた位置に配置される。距離Ｌ_１２は、計測系固有の既知の値である。また、照射位置（１１２，１１４）から物体１２０の被測定部１２２に光を照射する角度をそれぞれθ_１、θ_２とし、照射位置（１１２，１１４）から物体１２０の被測定部の近傍１２４に光を照射する角度をそれぞれθ_１’、θ_２’とする。また、カメラ１１０は、照射位置１１２と光学的に同じ位置に配置されているので、被測定部１２２からの反射光を受光する角度をθ_Ｃ、被測定部の近傍１２４からの反射光を受光する角度をθ_Ｃ’とした場合、θ_Ｃ＝θ_１、θ_Ｃ’＝θ_１’である。また、照射位置１１２から被測定部１２２までの距離をそれぞれＬ_１、被測定部の近傍１２４までの距離をＬ_１’とし、照射位置１１４から被測定部までの距離をＬ_２、被測定部の近傍１２４までの距離をＬ_２’とする。
【００９９】
照射位置（１１２，１１４）から照射された光の、被測定部１２２からの反射光の強度をそれぞれＤ_１、Ｄ_２とすると、Ｄ_１、Ｄ_２は次のように与えられる。
【０１００】
【数１】

すなわち、
【数２】

となる。
【０１０１】
また、
【数３】

であるので、
【数４】

となる。また、
【０１０２】
【数５】

であり、Ｌ_１２、θ_１は既知の値であるので、θ_２はＬの関数で与えられる。すなわち、
【０１０３】
【数６】

となる。よって、
【０１０４】
【数７】

となる。ここで、Ｄ１、Ｄ_２、Ｐ_１、Ｐ_２、θ_１は、計測値又は既知の値であるので、上の式の未知数はθ_０及びＬの２つである。したがって上の条件を満たす（θ_０、Ｌ）の組み合わせを求めることができる。すなわち、被測定部１２２までの距離Ｌを仮定した場合、仮定した距離Ｌに対応する被測定部の面傾きθ_０を算出することができる。また、被測定部の近傍１２４についても、同様に被測定部の近傍１２４までの距離Ｌ’と被測定部の近傍１２４の面傾きθ_０’の組み合わせを求めることができる。
【０１０５】
本発明は、物体１２０の被測定部１２２までの距離Ｌと被測定部１２２の面傾きθ_０との組み合わせと、物体１２０の被測定部の近傍１２４までの距離Ｌ’と被測定部の近傍１２４の面傾きθ_０’との組み合わせに基づいて、被測定部１２２までの距離Ｌ及び面傾きθ_０を算出する。以下、算出方法について詳細に説明する。
【０１０６】
図２４は、被測定部１２２までの距離Ｌ、被測定部１２２の面傾きθ_０を算出する方法の一例の説明図である。まず、被測定部１２２までの距離ＬをＬａと仮定する。図２３に関連して説明した数式に基づいて、仮定した距離Ｌａに対応する被測定部１２２の面傾きθ_０を算出する。次に、算出した面傾きθ_０によって定まる被測定部１２２の面を延長し、被測定部の近傍１２４からの反射光の光路と交わる点に、被測定部の近傍１２４が存在すると仮定した場合の被測定部の近傍１２４までの仮の距離Ｌｂを算出する。このとき被測定部の近傍１２４までの仮の距離Ｌｂは、カメラ１１０と被測定部１２２までの仮の距離Ｌａ、被測定部１２２からの反射光の入射角θ_１、被測定部の近傍１２４からの反射光の入射角θ_１’及び、被測定部１２２の面傾きθ_０に基づいて幾何的に算出することができる。
【０１０７】
次に、算出した仮の距離Ｌｂに対応する、被測定部の近傍１２４の面傾きθ_０’を算出する。面傾きθ_０’は、図２３に関連して説明した数式により算出することができる。物体１２０の被測定部１２２と被測定部の近傍１２４との間隔は、微小であるので、被測定部１２２と被測定部の近傍１２４の面傾きはほぼ同一となる。したがって、算出した面傾きθ_０とθ_０’とを比較することにより、最初に仮定した被測定部１２２までの距離Ｌａが正しい値であるかを判定することができる。すなわち、面傾きθ_０とθ_０’との差が所定の範囲内であれば、仮定した距離Ｌａを被測定部１２２までの距離Ｌとすることができる。
【０１０８】
また、面傾きθ_０とθ_０’との差が所定の範囲内に無い場合は、最初に仮定した距離Ｌａの設定に誤りがあったとして、被測定部１２２までの距離Ｌを他の値に設定して同様の計算を行えばよい。図２３に関連して説明した数式を満たす、被測定部１２２までの距離Ｌが、上限値を有することは明らかであり、下限値は零であるので、仮の距離Ｌａについて、有限の範囲において調べればよい。例えば、有限の範囲の距離Ｌａについて２分探索法によって、被測定部１２２までの真の距離Ｌを抽出してよい。また、仮の距離Ｌａについて、有限の範囲で所定の距離間隔でθ_０、θ_０’の差を算出し、真の距離Ｌを抽出してもよい。また、仮の距離Ｌａについて、複数の値についてθ_０、θ_０’の差を算出し、差が最小となる仮の距離Ｌａを真の距離Ｌとしてもよい。また、被測定部の面傾き情報は、被測定部までの距離情報に基づいて、図２３に関連して説明した数式によって算出することができる。また、図２３に関連して説明した数式によって被測定部の表面反射率情報も算出することができる。
【０１０９】
図２５は、仮の距離Ｌａについての所定の範囲で所定の距離間隔で、面傾きθ_０及び面傾きθ_０’を算出した結果の一例を示す。図２５のグラフにおいて、横軸は、被測定部１２２までの仮の距離Ｌａを示し、縦軸は被測定部１２２及び被測定部の近傍１２４の面傾きを示す。本例において、物体１２０の被測定部１２２までの距離Ｌを２００ｍｍ、被測定部１２２の面傾きを０度とした。また、照射位置１１２と照射位置１１４との距離を１０ｍｍ、θ_１を２０度、仮の距離Ｌａの間隔を１０ｍｍとして計算を行った。
【０１１０】
データ１９２は、横軸に示される仮の距離Ｌａに対応する被測定部１２２の面傾きを示し、データ１９４は、被測定部の近傍１２４の面傾きを示す。仮の距離２００ｍｍにおいて、被測定部１２２及び被測定部の近傍１２４の面傾きが０度で一致する。
【０１１１】
（実施形態６）
図２６は、物体までの距離情報等を獲得する情報獲得方法の原理説明図である。照射位置２１２、照射位置２１４、照射位置２１６から、それぞれ強度Ｐ１，Ｐ２，Ｐ３の光を物体２２０に照射し、物体２２０によるそれぞれの光の反射光をカメラ２１０で撮像する。カメラ２１０は、例えば電荷結合素子（ＣＣＤ）であって、複数の画素を有し、各画素単位で物体２２０の被照射部２２４からの反射光を撮影し、画素毎にそれぞれの強度を検出する。カメラ２１０で撮像した反射光に基づいて物体２２０の被照射部２２４までの距離Ｌ、被照射部２２４の表面の傾きθ_０及び、被照射部２２４の表面の反射率Ｒ_Ｏｂｊを算出する。照射位置（２１２，２１４，２１６）及び、カメラ２１０は、任意の位置に配置されてよいが、本例においては、照射位置２１２，照射位置２１６、カメラ２１０を一直線上に配置した場合について説明する。
【０１１２】
図２６に示すように、照射位置２１６は、照射位置２１２からＬ_１２離れた位置に、照射位置２１４は、照射位置２１２からＬ_２３離れた位置に、カメラ２１０は照射位置２１２からＸ離れた位置に配置される。距離Ｌ_１２、Ｌ_２３、Ｘは、計測系固有の既知の値である。また、照射位置（２１２，２１４，２１６）が、物体２２０の被照射部２２４に、光を照射する角度をそれぞれθ_１、θ_２、θ_３とし、カメラ２１０が、被照射部２２４における反射光を受光する角度をθ_Ｃとする。このうち、θ_Ｃは、カメラ２１０の画素毎に撮影された反射光に基づいて算出される。また、照射位置（２１２，２１４，２１６）から被照射部２２４までの距離をそれぞれＬ_１、Ｌ_２、Ｌ_３とする。
【０１１３】
照射位置（２１２，２１４，２１６）から照射された光の、被照射部２２４における反射光の強度をそれぞれＤ_１、Ｄ_２、Ｄ_３とすると、Ｄ_１、Ｄ_２、Ｄ_３は、次のように与えられる。
【０１１４】
【数８】

すなわち、
【数９】

ただし、ｆ（ ）は関数とする。また、
【０１１５】
【数１０】

であるので、
【数１１】

となる。また、
【０１１６】
【数１２】

であり、Ｘ、Ｌ_１２、θ_Ｃは既知の値であるので、θ_１、θ_２、θ_３はそれぞれＬの関数で与えられる。すなわち、
【０１１７】
【数１３】

となる。よって、
【０１１８】
【数１４】

となる。Ｄ_１、Ｄ_２、Ｄ_３、θ_Ｃ、Ｐ_１、Ｐ_２、Ｐ_３は、計測値又は既知の値であるので、上の２式から、未知数θ_０、Ｌを求めることができる。また、θ_０が求まれば、Ｄ_１、Ｄ_２、Ｄ_３のいずれかの式からＲ_ｏｂｊを求めることができる。以上より、光学的に異なる３点以上の照射位置から照射した光の、物体による反射光をそれぞれ撮像することにより、物体までの距離情報、物体の表面の傾き情報及び、物体の表面の反射率情報を算出することができる。
【０１１９】
本例においては、照射位置２１２、照射位置２１６、カメラ２１０を一直線上に配置したが、各要素間の距離がわかっていれば、反射光により、物体までの距離情報、物体の表面の傾き情報及び、物体の表面の反射率情報を算出できることは明らかである。
【０１２０】
以上説明した情報獲得方法によれば、物体２２０の表面の傾き等による誤差を無くし、物体２２０までの距離情報を獲得することができる。また、物体２２０の表面の傾き情報、物体２２０の表面の反射率情報を獲得することができる。
【０１２１】
ただし、照射位置（２１２，２１４，２１６）が一直線上に配置されている場合は、図２６に関連して説明した方法では、物体までの距離情報等を算出することができない。以下、照射位置（２１２，２１４，２１６）が一直線上に配置されている場合において、物体までの距離情報、物体の表面の傾き情報及び、物体表面の反射率情報の獲得方法について説明する。
【０１２２】
図２７は、照射位置が一直線上に配置された場合の、物体までの距離情報等を獲得する情報獲得方法の説明図である。照射位置２１２、照射位置２１４、照射位置２１６から、それぞれ強度Ｐ１，Ｐ２，Ｐ３の光を物体２２０に照射し、物体２２０によるそれぞれの光の反射光をカメラ２１０で撮像する。
【０１２３】
図２７に示すように、照射位置２１６は、照射位置２１２からＬ_１３離れた位置に、照射位置２１４は、照射位置２１２からＬ_１２離れた位置に、カメラ２１０は照射位置２１２と実質的に同位置に配置される。距離Ｌ_１２、Ｌ_{1 ３}は、計測系固有の既知の値である。また、照射位置（２１２，２１４，２１６）が、物体２２０の被照射部２２４に、光を照射する角度をそれぞれθ_１、θ_２、θ_３とし、カメラ２１０が、被照射部２２４における反射光を受光する角度をθ_Ｃとする。このうち、θ_Ｃは、カメラ２１０の画素毎に撮影された反射光に基づいて算出される。本例においては、カメラ２１０が照射位置２１２と同一の位置に配置されているのでθ_Ｃ＝θ_１である。また、照射位置（２１２，２１４，２１６）から被照射部２２４までの距離をそれぞれＬ_１、Ｌ_２、Ｌ_３とする。
【０１２４】
照射位置（２１２，２１４，２１６）から照射された光の、被照射部２２４における反射光の強度をそれぞれＤ_１、Ｄ_２、Ｄ_３とすると、Ｄ_１、Ｄ_２、Ｄ_３は、次のように与えられる。
【０１２５】
【数１５】

すなわち、
【数１６】

である。また、
【０１２６】
【数１７】

であるので、
【数１８】

となる。また、
【０１２７】
【数１９】

であり、θ_１はθ_Ｃと等しく、Ｌ_１２、Ｌ_１３、θ_Ｃは既知であるのでθ_２、θ_３はＬの関数で与えられる。すなわち、
【０１２８】
【数２０】

となる。よって、
【０１２９】
【数２１】

となる。Ｄ_１、Ｄ_２、Ｄ_３、θ_Ｃ、Ｐ_１、Ｐ_２、Ｐ_３は、計測値又は既知の値であるので、上の２式から、未知数θ_０、Ｌを求めることができる。また、θ_０が求まれば、Ｄ_１、Ｄ_２、Ｄ_３のいずれかの式からＲ_ｏｂｊを求めることができる。以上より、光学的に一直線上にある３点の照射位置から照射した光の、物体２２０による反射光を、３点の照射位置のいずれか一つと光学的に同位置でそれぞれ撮像することにより、物体までの距離情報、物体の表面の傾き情報及び、物体の表面の反射率情報を算出することができる。本例においては、照射位置２１２とカメラ２１０の位置を実質的に同一としたが、θ_１、θ_２、θ_３のいずれかとθ_Ｃを同一とすればよいので、照射位置２１４又は照射位置２１６のいずれかと、カメラ２１０の位置を実質的に同一としてもよいことは明らかである。
【０１３０】
図２７に関連して説明した情報獲得方法では、カメラ２１０と照射位置（２１２，２１４，２１６）のいずれかとの光軸が光学的に同軸であるため、照射位置（２１２，２１４，２１６）から照射された物体２２０をカメラ２１０が撮像する際、影になって撮像できない領域を少なくすることができる。また、カメラ２１０と照射位置（２１２，２１４，２１６）のいずれかとの位置が実質的に同じとすることで、カメラ２１０と照射位置との距離を予め調べる必要が無く、また、カメラ２１０と照射位置との距離測定における誤差を無くすことができる。
【０１３１】
図２６又は図２７に関連して説明した情報獲得方法においては、３点の照射位置から物体２２０に光を照射したが、他の例においては、３点以上の照射位置から物体２２０に光を照射してもよい。また、反射光の強度に基づいて、物体２２０までの距離情報、物体２２０の表面の傾き情報及び、物体２２０の表面の反射率情報を算出することが好ましい。また、カメラ２１０の画素毎に、距離情報、傾き情報及び、反射率情報を算出し、物体２２０の距離情報、傾き情報及び反射率情報の分布を算出してもよい。
【０１３２】
また、図２６又は図２７に関連して説明した情報獲得方法において、３点の照射位置から照射される光は、それぞれ異なる波長を主要な波長成分とし、それぞれの照射位置において、実質的に同時に物体２２０に光を照射してもよい。このとき、カメラ２１０は、異なる波長の光をそれぞれ選択的に透過させる波長選択手段を有し、それぞれの照射位置から照射された光により物体２２０からの反射光をそれぞれ撮像することが好ましい。異なる波長を主要な波長成分とする光を同時に物体２２０に照射することにより、動きのある物体についても、距離情報、傾き情報及び、反射率情報を精度よく獲得することが可能となる。しかし、物体２２０の表面の反射率は、光の波長によってことなるので、測定結果に誤差が生じる。誤差を小さくするためには、波長による反射率の違いを補正する必要がある。
【０１３３】
図２８は、波長による物体２２０の表面の反射率の違いを補正した情報獲得方法の説明図である。一例として図２８（ａ）に示すように、照射位置２１２から照射された光の波長をλ_ａ、照射位置２１４から照射された光の波長をλ_ｂ及びλ_Ｃ、照射位置２１６から照射された光の波長をλ_ｄ、λ_ｅとする。また、照射位置２１２から照射された光の強度をＰ_１、照射位置２１４から照射された光の強度をＰ_２、照射位置２１６から照射された光の強度をＰ_３とし、それぞれの波長毎の反射光の強度をＷ_ａ、Ｗ_ｂ、Ｗ_ｃ、Ｗ_ｄ、Ｗ_ｅとする。図２８（ｂ）に示すように、照射位置２１４から強度Ｐ_２で照射された、波長λ_ｂ、λ_ｃの光の反射光の強度Ｗ_ｂ、Ｗ_ｃに基づいて、照射位置２１４から強度Ｐ_２で波長λ_ａの光が照射された場合の反射光の強度Ｗ_ｆを算出する。本例においては、波長λ_ｂ、λ_ｃに基づいて強度Ｗ_ｆを算出しているが、他の例においては、さらに多くの波長成分の反射光に基づいて強度Ｗ_ｆを算出してもよい。同様に、図２８（ｃ）に示すように、照射位置２１６から強度Ｐ_３で照射された、波長λ_ｄ、λ_ｅの光の反射光の強度Ｗ_ｄ、Ｗ_ｅに基づいて、照射位置２１４から強度Ｐ_３で波長λ_ａの光が照射された場合の反射光の強度Ｗ_ｇを算出する。算出された強度Ｗ_ｂ、Ｗ_ｃ、及び検出された強度Ｗ_ａに基づいて物体２２０までの距離情報、物体２２０の表面の傾き情報及び、物体２２０の表面の反射率情報を算出する。上述した情報獲得方法によれば、３点の照射位置において同時に光を照射するので、動きのある物体に対しても、精度良く距離情報、傾き情報、反射率情報を獲得することが可能となる。
【０１３４】
図２９は、本発明に係る情報獲得方法の一例を示すフローチャートである。本実施例における情報獲得方法は、照射段階（Ｓ２００）、撮像段階（Ｓ２０２）及び、算出段階（Ｓ２０４）を備える。
【０１３５】
照射段階（Ｓ２００）は、図２６に関連して説明したように、光学的に異なる３点以上の照射位置から、物体２２０に光を照射する。撮像段階（Ｓ２０２）は、３点以上の照射位置から照射された光による物体からの反射光をそれぞれ撮像する。算出段階（Ｓ２０４）は、撮像段階によって撮像された反射光に基づいて、物体２２０までの距離情報、物体２２０の表面の傾き情報、物体２２０の表面の反射率情報を算出する。
【０１３６】
照射段階（Ｓ２００）は、図２７に関連して説明した情報獲得手段と同様に、光学的に一直線上にある３点の照射位置から物体２２０に光を照射し、また、撮像段階（Ｓ２０２）は、３点以上の照射位置のいずれか一つと光学的に同位置で、３点以上の照射位置からの光の反射光をそれぞれ撮像してもよい。
【０１３７】
また、算出段階（Ｓ２０４）は、図２６又は図２に関連して説明したように、反射光の強度に基づいて物体２２０までの距離情報、物体２２０の表面の傾き情報、物体２２０の表面の反射率情報を算出してもよい。また、照射段階（Ｓ２００）は、光学的に三角形を形成する３点の照射位置から、物体２２０に光を照射してもよい。
【０１３８】
また、照射段階（Ｓ２００）は、図２８に関連して説明した情報獲得方法と同様に、それぞれの照射位置において、異なる波長の光を物体２２０に照射し、それぞれの照射位置において、実質的に同時に物体２２０に光を照射してもよい。この場合、撮像段階（Ｓ２０２）は、異なる波長の光のそれぞれを選択的に透過させる波長選択手段を有し、それぞれの照射位置における光による物体２２０からの反射光をそれぞれ撮像することが好ましい。
【０１３９】
以上述べたように、本発明の画像撮像装置及び距離測定方法によれば、異なる波長特性を有する光を異なる放射位置から同時に被写体に照射し、被写体からの反射光を波長特性に合わせて光学的に分離し、強度を測定することにより、被写体の奥行き距離を簡便に算出することができる。
【０１４０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１４１】
そのような変更例として、上記の説明では、光が照射された被写体から得られる出射光の一例として反射光を撮像し、反射光の強度の違いから被写体までの距離を求めたが、被写体が光を透過する透明もしくは半透明の物体である場合、被写体を透過した透過光の強度の違いから被写体の奥行き距離を求めることもできる。
【０１４２】
【発明の効果】
上記説明から明らかなように、本発明によれば、光が照射された被写体から得られる出射光を撮影することにより、被写体の奥行き距離を簡便に測定することができる。
【図面の簡単な説明】
【図１】 本発明の原理説明図である。
【図２】 第１の実施形態の画像撮像装置２００の構成図である。
【図３】 第１の実施形態の照射部１００と撮像部１２０の構成図である。
【図４】 第１の実施形態の処理部６０の構成図である。
【図５】 光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。
【図６】 補間によって仮の反射光の強度を求める方法の説明図である。
【図７】 外挿によって仮の反射光の強度を求める方法の説明図である。
【図８】 光源１０Ａ、１０Ｂによるそれぞれの反射光から仮の反射光強度を求める方法を説明する図である。
【図９】 長波長または短波長の光のみを透過させるバンドパスフィルターを用いて照射した場合の仮の反射光強度を求める方法を説明する図である。
【図１０】 ３種の物体の表面反射率を示す図である。
【図１１】 受光部４０に設けられる特定波長成分を透過する光学フィルターを説明する図である。
【図１２】 第１の実施形態の距離測定方法のフローチャートである。
【図１３】 奥行き距離算出処理Ｓ１１０のフローチャートである。
【図１４】 奥行き距離算出処理Ｓ１１０の変形例のフローチャートである。
【図１５】 第２の実施形態の照射部１００と撮像部１２０の構成図である。
【図１６】 第２の実施形態の処理部６０の構成図である。
【図１７】 光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。
【図１８】 バンドカットフィルターを用いて反射光を分離する方法を説明する図である。
【図１９】 第２の実施形態の距離測定方法のフローチャートである。
【図２０】 第３の実施形態の照射部１００と撮像部１２０の構成図である。
【図２１】 第３の実施形態の処理部６０の構成図である。
【図２２】 第４の実施形態の照射部１００と撮像部１２０の構成図である。
【図２３】 本発明実施形態５に係る原理説明図である。
【図２４】 被測定部１２２までの距離Ｌ、被測定部１２２の面傾きθ０を算出する方法の一例の説明図である。
【図２５】 仮の距離Ｌａについての所定の範囲で所定の距離間隔で、面傾きθ０及び面傾きθ０’を算出した結果の一例を示す。
【図２６】 本発明実施形態５に係る情報獲得方法の原理説明図である。
【図２７】 照射位置が一直線上に配置された場合の、情報獲得方法の説明図である。
【図２８】 波長による物体２０の表面の反射率の違いを補正した情報獲得方法の説明図である。
【図２９】 情報獲得方法の一例を示すフローチャートである。
【符号の説明】
１０ 光源 １２ 光学フィルター
２０ 光学レンズ ３０ 分光部
４０ 受光部 ６０ 処理部
６２ 画像メモリ ６４ 光強度検出部
６６ 奥行き算出部 ６７ 画像補正部
６８ 記録部 ８０ 制御部
１００ 照射部 １２０ 撮像部
２００ 画像撮像装置

Claims (20)

1. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
   第１の波長を主要な波長成分とする第１の照射光と、前記第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から前記被写体に照射する照射部と、
   前記照射部により前記第１及び第２の照射光が照射された前記被写体からの出射光から、前記第１の波長を有する第１の出射光と、前記第２の波長を有する第２の出射光と、前記第３の波長を有する第３の出射光とを光学的に分離する分光部と、
   前記第２及び第３の出射光の強度に基づいて、前記第１の波長を有する光を前記第２の照射光の放射位置から照射したと仮定した場合の前記被写体からの仮の出射光の強度を求め、前記第１の出射光の強度と前記仮の出射光の強度とを用いて、前記被写体までの奥行き距離を算出する奥行き算出部と
   を備えた画像撮像装置。
2. 前記照射部は、前記第１及び第２の照射光を同時に照射する請求項１に記載の画像撮像装置。
3. 前記照射部により前記第１及び第２の照射光が照射された前記被写体から得られる出射光を結像する光学結像部と、
   前記分光部によって分離され、前記光学結像部が結像する前記第１、第２及び第３の出射光を受光する受光部と、
   前記受光部が受光する前記第１、第２及び第３の出射光の強度を検出する光強度検出部とをさらに備え、
   前記奥行き算出部は、前記第１、第２及び第３の出射光の強度を用いて、前記被写体までの奥行き距離を算出する請求項２に記載の画像撮像装置。
4. 前記受光部は、３板の固体撮像素子を有し、前記分光部は、光路分割手段を用いて前記第１、第２及び第３の出射光を分離し、それぞれを前記３板の固体撮像素子のいずれか１つに受光させる請求項３に記載の画像撮像装置。
5. 前記受光部は、固体撮像素子を有し、前記分光部は、前記第１の波長の光を透過する第１の光学フィルターと、前記第２の波長の光を透過する第２の光学フィルターと、前記第３の波長の光を透過する第３の光学フィルターとを有し、前記第１、第２及び第３の光学フィルターが前記固体撮像素子の受光面に交互に配置された請求項３に記載の画像撮像装置。
6. 前記照射部は、所定の第１の境界波長より短い波長領域の光を透過する第１の光学フィルターと、所定の第２の境界波長より長い波長領域の光を透過する第２の光学フィルターを有し、第１の光学フィルターを透過する第１の照射光と、第２の光学フィルターを透過する第２の照射光とを、光学的に異なる放射位置から前記被写体に照射し、
   前記分光部は、前記第１及び第２の境界波長の短い方よりも短い第１の波長の光を透過する第１の光学フィルターと、前記第１及び第２の境界波長の長い方よりも長い第２及び第３の波長の光をそれぞれ透過する第２及び第３の光学フィルターとを有し、前記被写体から得られる前記出射光を前記第１の光学フィルターに透過させることにより、前記第１の波長を有する前記第１の出射光を分離し、前記出射光をそれぞれ前記第２及び第３の光学フィルターに透過させることにより、前記第２の波長を有する前記第２の出射光及び前記第３の波長を有する前記第３の出射光を分離する請求項３に記載の画像撮像装置。
7. 前記奥行き算出部は、前記第２の出射光と前記第３の出射光の平均強度と、前記第１の出射光の強度とを用いて、前記被写体までの前記奥行き距離を算出する請求項３に記載の画像撮像装置。
8. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
   第１の波長を主要な波長成分とする第１の照射光と、前記第１の波長より短い第２の波長、及び前記第１の波長より長い第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から前記被写体に照射する照射部と、
   前記照射部により前記第１及び第２の照射光が照射された前記被写体からの出射光を結像する光学結像部と、
   前記被写体から得られる前記出射光から、前記第１の波長を有する第１の出射光と、前記第２及び第３の波長を有する第２の出射光とを光学的に分離する分光部と、
   前記分光部によって分離され、前記光学結像部が結像する前記第１の出射光及び前記第２の出射光を受光する受光部と、
   前記受光部が受光する前記第１及び第２の出射光の強度を検出する光強度検出部と、
   前記第２の出射光の強度の半分の値を、前記第１の波長を有する光を前記第２の照射光の放射位置から照射したと仮定した場合の前記被写体からの仮の出射光の強度として、前記第１の出射光の強度と前記仮の出射光の強度とを用いて、前記被写体までの奥行き距離を算出する奥行き算出部と
   を備える画像撮像装置。
9. 前記受光部は、２板の固体撮像素子を有し、前記分光部は、光路分割手段を用いて、前記第１の出射光と前記第２の出射光の光路を光学的に分岐させ、それぞれ前記２板の固体撮像素子のいずれか１つに受光させる請求項８に記載の画像撮像装置。
10. 前記受光部は、固体撮像素子を有し、前記分光部は、前記第１の波長の光を透過する第１の光学フィルターと、前記第２及び第３の波長の光を透過する第２の光学フィルターとを有し、前記第１の光学フィルターと前記第２の光学フィルターとが前記固体撮像素子の受光面に交互に配置された請求項８に記載の画像撮像装置。
11. 前記奥行き算出部は、前記第１の出射光の強度と前記第２の出射光の強度の半分の値との比に基づいて、前記被写体までの前記奥行き距離を算出する請求項８に記載の画像撮像装置。
12. 前記照射部が前記被写体に前記第１及び第２の照射光を照射するときの光軸と、前記結像部が前記被写体からの前記出射光を撮像するときの光軸とが略同一である請求項４、５、６、９、または１０に記載の画像撮像装置。
13. 前記光強度検出部は、前記受光部に撮像された前記被写体の画像の各画素において前記第１及び第２の出射光の強度を検出し、前記奥行き算出部は、前記画素の各々に対応する前記被写体の領域までの前記奥行きを各々求めることにより、前記被写体の奥行き分布を算出する請求項１２に記載の画像撮像装置。
14. 前記第１及び第２の照射光は赤外線領域の光であり、
    前記分光部は、前記被写体から得られる前記出射光から可視光を光学的に分離する手段をさらに備え、
    前記受光部は、前記分光部により光学的に分離され、前記光学結像部が結像する前記可視光を受光する可視光用の固体撮像素子をさらに備え、
    前記奥行き算出部が算出する前記被写体の前記奥行き分布とともに前記可視光用の固体撮像素子に撮像された前記被写体の画像を記録する記録部をさらに備えた
    請求項１３に記載の画像撮像装置。
15. 前記光強度検出部が検出する前記被写体からの前記出射光の強度、及び前記奥行き算出部が算出する前記被写体までの前記奥行き距離の少なくとも１つに基づいて、前記照射部が照射する前記第１及び第２の照射光の発光時間、強度、放射位置、及び前記受光部の露光時間の少なくとも１つを制御する制御部をさらに備えた請求項４、５、６、９、または１０に記載の画像撮像装置。
16. 被写体の奥行きに関する情報を取得する距離測定方法であって、
    第１の波長を主要な波長成分とする第１の照射光と、前記第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に前記被写体に照射する照射段階と、
    前記第１及び第２の照射光が照射された前記被写体から得られる出射光から、前記第１の波長を有する第１の出射光と、前記第２の波長を有する第２の出射光と、前記第３の波長を有する第３の出射光とを光学的に分離する分光段階と、
    分離された前記第１、第２及び第３の出射光を撮像する撮像段階と、
    撮像された前記第１、第２及び第３の出射光の強度を検出する光強度検出段階と、
    前記第２及び第３の出射光の強度に基づいて、前記第１の波長を有する光を前記第２の照射光の放射位置から照射したと仮定した場合の前記被写体からの仮の出射光の強度を求め、前記第１の出射光の強度と前記仮の出射光の強度とを用いて、前記被写体までの奥行き距離を算出する奥行き算出段階と
    を備えた距離測定方法。
17. 前記奥行き算出段階は、前記第１の出射光の強度と前記仮の出射光の強度の比に基づいて、前記被写体までの前記奥行き距離を算出する請求項１６に記載の距離測定方法。
18. 前記奥行き算出段階は、前記第２の出射光と前記第３の出射光の平均強度と、前記第１の出射光の強度との比に基づいて、前記被写体までの前記奥行き距離を算出する請求項１６に記載の距離測定方法。
19. 被写体の奥行きに関する情報を取得する距離測定方法であって、
    第１の波長を主要な波長成分とする第１の照射光と、前記第１の波長より短い第２の波長、及び前記第１の波長より長い第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に前記被写体に照射する照射段階と、
    前記第１及び第２の照射光が照射された前記被写体から得られる出射光から、前記第１の波長を有する第１の出射光と、前記第２及び第３の波長を有する第２の出射光とを光学的に分離する分光段階と、
    分離された前記第１の出射光及び前記第２の出射光を撮像する撮像段階と、
    受光された前記第１の出射光及び前記第２の出射光の強度をそれぞれ検出する光強度検出段階と、
    前記第２の出射光の強度の半分の値を、前記第１の波長を有する光を前記第２の照射光の放射位置から照射したと仮定した場合の前記被写体からの仮の出射光の強度として、前記第１の出射光の強度と前記仮の出射光の強度とを用いて、前記被写体までの奥行き距離を算出する奥行き算出段階とを備えた距離測定方法。
20. 前記奥行き算出段階は、前記第１の出射光の強度と前記第２の出射光の強度の半分の値との比に基づいて、前記被写体までの前記奥行き距離を算出する請求項１９に記載の距離測定方法。

Images