WO2010021090A1

WO2010021090A1 - 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ

Info

Publication number: WO2010021090A1
Application number: PCT/JP2009/003574
Authority: WO
Inventors: 渡辺辰巳; 桑原康浩; 井東武志; 田路文平; 佐藤大将; 木内真也; 尾脇義明
Original assignee: パナソニック株式会社
Priority date: 2008-08-20
Filing date: 2009-07-29
Publication date: 2010-02-25
Also published as: JPWO2010021090A1; US20110063437A1

Abstract

　対象空間に存在する対象物までの距離画像をＴＯＦ方式で推定する際、距離画像の高解像度化や高フレームレート化を実現しようとすると、ショットノイズや環境光等の影響でＣＣＤ飽和が発生し、距離精度の低下を招く恐れがある。光源からの発光がない時点での対象物からの反射光Ｓ２を受光しその反射光Ｓ２の周波数分析をもとに環境光の影響を受けにくい発光周波数を持つ照明光Ｓ１を発光周波数選択部（７）が行う。この最適発光周波数を持つ照射光を用意された複数の光源（９Ａ～９Ｎ）から選択し、選択された光源からの照明光Ｓ１の反射光を受光して対象物までの距離を画像生成部（６）が生成することで、受光時の環境光の影響を抑えることが可能となり、受光素子部（２）を高解像度化した際の距離精度に与えるノイズの影響を低減することが可能となる。

Description

距離推定装置、距離推定方法、プログラム、集積回路およびカメラ

　本発明は、ムービーやＤＳＣ（Ｄｉｇｉｔａｌ　Ｓｔｉｌｌ　Ｃａｍｅｒａ）等の撮像装置で撮影された画像の奥行き感・立体感を向上させるために、対象空間を撮像し、対象空間に存在する対象物までの距離を推定する装置および方法に関するものである。

　空間の３次元計測技術は、多くの分野において応用が期待されており、種々の手法により実用化が試みられている。その手法の中で代表的な手法として、レーザスリット光のスキャンによる光切断方法や、ステレオ視による方法に代表される三角測量法や、照明光を測定対象物体に照射し、照射した光が測定対象物体から戻ってくるまでの時間ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）を計測することで距離を測定するＴＯＦ法等がある。
　三角測量法を用いて空間の３次元計測を行う場合、対象空間（撮像する対象である３次元空間）の３次元情報を得るために対象空間で光を走査する必要があり、対象空間全体について３次元情報が得られるまでには比較的長い時間が必要となる。このため、三角測量法は、移動物体を追跡するような用途には不向きであるとされている。
　これに対して、ＴＯＦ法を用いて空間の３次元計測を行う場合、三角測定法のようなレーザービーム走査を行う必要がない。このため、ＴＯＦ法による空間の３次元計測では、テレビ画像（撮像画像）の画素単位で被写体までの距離（撮像装置から被写体までの距離）を高速に検出でき、また、距離測定範囲も比較的広く設定することができる（距離測定範囲を約３ｍ以上に設定することができる）。さらに、ＴＯＦ法による空間の３次元計測では、レーザ光源の代わりに、ＬＥＤ光源を使用できるため、人物も安全に撮影することができる。このような利点より、ＴＯＦ法による３次元計測技術について、種々の方法が報告されるとともに、距離センサとして製品化された例も報告されている。

　ＴＯＦ法は、（数式１）に基づき３次元空間内の距離を測定する。つまり、ＴＯＦ法では、光の速度Ｃ＝３．０×１０＾８［ｍ／ｓｅｃ］（なお、「Ｘ＾Ｙ」は、「ＸのＹ乗」を表している。以下同様。）が既知であるので、測定基準ポイントに存在する光源から照射された光が、被測定ポイントにある測定対象に照射され、測定対象からの反射光が測定基準ポイントである光源まで戻ってくるまでの時間、つまり、光源から測定対象までの光の往復時間をΔｔとすると、測定基準ポイント－被測定ポイント間の距離Ｌは、次式に基づき求められる。

　ＴＯＦ法の方法として多くの方式があり、代表的なものとして、位相ＴＯＦ方式とパルスＴＯＦ方式とがある。
　位相ＴＯＦ方式は、主に強度変調された光線を、測定対象に照射して、対象物からの反射光を検出して光電子変換を行い、変換された光電子を複数の蓄積部のいずれかに時間的にずらして蓄積し、これらの蓄積部に蓄積された光電子数に応じて距離情報を生成する方式である。
　パルスＴＯＦ方式は、パルス状の光線を測定対象物に照射して、測定対象物からの反射光と測定光線との位相差に基づいて距離を求める方式であり、測定光線を２次元的に走査し、各点の距離を測定して３次元の形状を測定する方式である。

　位相ＴＯＦ方式では、（数式１）におけるΔｔの代わりに、位相量Δφを用いて距離の測定を行う。位相ＴＯＦ方式では、最大検出距離Ｌｍａｘは、位相量Δφが２πとなる場合（Δｔで言えばＴ：変調強度の１周期時間）に相当し、次式に基づき求められる。つまり、最大検出距離Ｌｍａｘは、測定光線の変調周波数ｆに依存し、次式で決定される。

　そして、位相量Δφにおける検出距離Ｌは、（数式３）のようになる。

　この場合、（数式２）に基づき、測定対象物までの距離が、測定光線の強度変調の周期に対応する波長以上の場合には、原理的に距離算出結果を一意に決定できない（すなわち、測定対象物までの距離を特定することができない）という問題がある。
　一方、パルスＴＯＦ方式では、測定光線を２次元で走査して距離画像を得るためには、光源から発光されるレーザ光等の測定光線を揺動ミラーやポリゴンミラーを用いて上下左右に物理的に走査する必要があるため、距離画像の取得時間が長くなるという問題がある。
　現状では、位相ＴＯＦ方式に類する方式を用いて空間の３次元計測を実行する技術が多く存在する（例えば、特許文献１、２参照）。以下、位相ＴＯＦ方式を利用した従来の距離推定装置（従来例１および従来例２）について説明する。

　≪従来例１≫
　まず、従来例１（特許文献１の技術）について、説明する。
　図２３は、従来例１の距離推定装置９００の構成を示すブロック図である。距離推定装置９００は、振幅変調された照明光Ｓ９０６で被写体ＯＢＪ１を照明することが可能な投光部９０２と、撮像利得を時間とともに変化させて被写体からの反射光Ｓ９０７を受光し、被写体の光学像を撮像することが可能な撮像部９０３と、を備える。また、距離推定装置９００は、撮像部９０３からの映像信号Ｓ９０４を立体情報信号Ｓ９０５に変換するための信号処理部９０４と、照明光変調信号Ｓ９０１、撮像利得変調信号Ｓ９０２、制御信号Ｓ９０３ａおよびＳ９０３ｂを発生するための信号発生部９０１と、を備える。
　図２４は、従来例１の距離推定装置９００での距離検出処理の概要を模式的に示した図である。

　図２４に示すように、距離推定装置９００では、高速に光強度が変調された赤外光を被写体に照射し、被写体からの反射光を超高速シャッターで撮影する。
　図２４の上側部分（図２４のＥｘ９０１）に模式的に示すように、距離推定装置９００は、時間が経過するにつれ光強度が減少するように変調された照明光（測定光線）（例えば、図２４においてｔｒ１で示す期間において光強度変調された照明光）を被写体Ｏ１およびＯ２に対して照射する。そして、距離推定装置９００は、被写体Ｏ１およびＯ２からの反射光を、所定のシャッタータイミングおよびシャッター時間（図２４にｔｓ１で示したシャッター時間）により取得し、撮像画像に変換する。被写体Ｏ１およびＯ２からの反射光は、光強度が時間に対して減少するように変調されているので、距離推定装置（カメラ）９００に近い被写体Ｏ１からの反射光の光強度は大きく、距離推定装置９００から遠い被写体Ｏ２からの反射光の光強度は小さい。（照明光は、光強度が時間に対して減少するように変調されているので、光の飛行時間（距離推定装置９００から照射された光が被写体Ｏ１で反射し、距離推定装置９００に戻ってくるまでの時間）が短い被写体Ｏ１からの反射光の光強度は大きく（光強度の減少量が小さく）、光の飛行時間が長い被写体Ｏ２からの反射光の光強度は小さい（光強度の減少量が大きい）。）
　このため、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図２４にｔｓ１で示したシャッター時間）により取得し、撮像画像Ａにおいて、照明光の飛行時間が短い被写体Ｏ１の像Ｉ１は明るく、被写体Ｏ２の像Ｉ２は暗くなる。つまり、撮像画像Ａにおいて、距離情報が画像の輝度として表現される。

　しかし、この撮像画像Ａの輝度は、被写体の反射率や照射光量の空間的ムラ、また拡散反射光量の距離による減衰効果などの影響を受けている。
　そこで、距離推定装置９００では、これらの影響を補正するために、以下の処理を行う。
　図２４の下側部分（図２４のＥｘ９０２）に模式的に示すように、距離推定装置９００は、時間が経過するにつれ光強度が増加するように変調された照明光（測定光線）（例えば、図２４においてｔｒ２で示す期間において光強度変調された照明光）を被写体Ｏ１およびＯ２に対して照射する。そして、距離推定装置９００は、被写体Ｏ１およびＯ２からの反射光を、所定のシャッタータイミングおよびシャッター時間（図２４にｔｓ２で示したシャッター時間）により取得し、撮像画像に変換する。被写体Ｏ１およびＯ２からの反射光は、光強度が時間に対して増加するように変調されているので、距離推定装置（カメラ）９００に近い被写体Ｏ１からの反射光の光強度は小さく、距離推定装置９００から遠い被写体Ｏ２からの反射光の光強度は大きい。

　このため、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図２４にｔｓ２で示したシャッター時間）により取得し、撮像画像Ｂにおいて、照明光の飛行時間が短い被写体Ｏ１の像Ｉ１は暗く、被写体Ｏ２の像Ｉ２は明るくなる。つまり、撮像画像Ｂにおいて、距離情報が画像の輝度として表現される。
　距離推定装置９００では、上記のようにして取得した撮像画像Ａと撮像画像Ｂとの間の輝度比をとることで、反射率等の影響を補正した距離画像（図２４の距離画像Ｃ）を生成する。
　距離推定装置９００では、このように、撮影された２枚の画像の輝度に関する除算によりＴＯＦを求めることができるため、理論的には、赤外光の拡散、被写体の反射率、反射方向の向きや背景光の影響をキャンセルすることができる。しかし、距離推定装置９００では、被写体からの反射光の光強度をある程度確保する必要があるため、複数の発光ダイオードからなる発光ダイオードアレイによる光源等を用いる必要があり、装置の構成が大きくなるという欠点がある。

　≪従来例２≫
　次に、従来例２（特許文献２の技術）について、説明する。
　図２５は、従来例２の距離推定装置９５０の構成を示すブロック図である。距離推定装置９５０は、対象空間に照明光Ｓ９５１１を照射する発光源９５１と、対象空間からの光を受光し受光光量を反映した出力値の電気信号を出力する光検出素子９５２と、発光源９５１および光検出素子９５２を制御する制御回路部９５３と、光検出素子９５２からの出力に対して画像生成処理を行う画像生成部９５４と、を備える。また、距離推定装置９５０は、受光光学系９５５を備える。光検出素子９５２は、図２５に示すように、複数の感光部９５２１、複数の感度制御部９５２２、複数の電荷集積部９５２３および電荷取出部９５２４を有している。

　発光源９５１は、対象空間に所定周期の変調信号で変調された光を照射し、光検出素子９５２は、対象空間を撮像する。画像生成部９５４は、発光源９５１から対象空間に照射された光と対象空間内の対象物ＯＢＪ２で反射され光検出素子９５２で受光される反射光との変調信号の位相差に基づいて対象物ＯＢＪ２までの距離を求める。
　光検出素子９５２に設けた各感光部９５２１は、制御回路部９５３によって対象空間からの光を受光する受光期間が制御される。各感光部９５２１では、変調信号の異なる位相に同期した受光期間に受光する。光検出素子９５２からは変調信号の１周期以上の期間である検出期間ごとに集積した電荷が画像生成部９５４に与えられ、画像生成部９５４は、複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求める。
　図２６は、従来例２の距離推定装置９５０の距離検出方法を模式的に示すものである。

　従来例２の距離推定装置９５０では、正弦波ｙ（ｔ）＝ａ×ｓｉｎ（２πｔ／Ｔ）＋ｂに光強度変調された赤外光（照明波）の変調周期に同期させて、所定のタイミングで受光信号（反射波）をサンプリングすることにより、受光信号の位相量を導出するものである。つまり、従来例２の距離推定装置９５０では、変調周期１周期あたり４点（例えば、図２６のＡ０点，Ａ１点，Ａ２点，Ａ３点の４点）のサンプリングを行い、（数式４）により、位相シフト量Ψを導出する。

　従来例２の距離推定装置９５０では、上記の位相シフト量Ψの導出処理を、受光部と復調部を一体化した特殊ＣＣＤ撮像素子を用い、その駆動方法を工夫することにより、高い開口率による距離検出処理を実現している。従来例２の距離推定装置９５０は、小型で高分解能であるが、撮像画像（映像）が低解像度・低フレームレートであるという欠点を持つ。

特開２０００－１２１３３９号公報特開２００６－８４４２９号公報

　ＴＯＦ方式で距離画像の高精度化を実現する場合、距離推定装置において、光検出素子を増やすことで、距離推定装置で取得される距離画像の高解像度化等を実現することが考えられる。しかし、この場合、光検出素子を構成する１つ１つの感光部に入射する光（反射光）の量が少なくなるので（撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなるので）、光検出素子を構成する各感光部から取得される信号の信号レベルが小さくなる。
　また、光電効果に対応した電荷量に含まれるランダムノイズ（ショットノイズ）Ｓｓ（光電変換により発生するショットノイズＳｓ）は、電荷量Ｎｓの１／２乗に比例することから、撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなると、撮像素子の各画素から取得される電荷量に含まれるノイズ（ショットノイズ）の比率が高くなる。つまり、撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなると、撮像素子の各画素から取得される信号のＳ／Ｎ比は低下することとなる。その結果、距離精度の低下が生じることとなる。

　これに対して、以下の対応策が考えられる。
（１）ＬＥＤ（照明光の発光源）の発光量を大きくする。
（２）電荷の検出期間（１周期以上）を長くして、撮像素子の各画素で確保される光電荷量を増やす。
　これらの対応策を行った場合、撮像素子の各画素の蓄積電荷量は大きくなる。この場合、ショットノイズも上記で説明した原理により増えるが、電荷量Ｎｓ（被写体からの反射光を光電変換して取得される電荷量（信号成分の電荷量））とショットノイズＳｓとの比率ＳＮ＝Ｎｓ／Ｓｓは、電荷量Ｎｓが大きいほど大きくなる。
　撮像素子の各画素に蓄積される電荷量において、環境光等は、撮像素子で光電変換されることにより、電荷量に依存しない定常ノイズとなるので、電荷量のＳ／Ｎ比は、電荷量Ｎｓ（信号成分の電荷量）と、電荷量Ｎｓの１／２乗に比例するショットノイズＳｓと、環境光等に対応する定常ノイズと、により決定されるので、電荷量Ｎｓが大きくなるほど、電荷量のＳ／Ｎ比が良くなり、撮像素子で取得される信号のＳ／Ｎも良くなる。その結果、距離推定装置における距離測定の距離分解能も向上する。

　しかし、環境光等の定常ノイズは、反射光の電荷量（電荷量Ｎｓ）よりもずっと大きい値になるため、距離推定装置の光源の発光量を大きくした場合、撮像素子（ＣＣＤ等）の各画素で、飽和が発生しやすくなる。また、実用上の制約（規模・電力等）の問題も発生する。
　さらに、撮像素子（ＣＣＤ等）の各画素での電荷蓄積期間を延ばした場合、定常ノイズ成分も大きくなるので、各画素で電荷蓄積された電荷量のＳ／Ｎ比は低くなり、多量のノイズ成分の中に微小量の信号成分（電荷量Ｎｓに相当）が存在することとなる。
　また、光検出素子を構成する撮像素子の各画素（感光部）において、電荷蓄積に対するキャパシティには限界があるため、飽和が発生する可能性が高くなる。光検出素子において飽和現象が発生すると、感光部の受光光量は、光強度変調した光との相関性がなくなるので、当該感光部に対応する画素から取得される信号から距離を正確に求めることができなくなる。

　本発明は、上記問題点に鑑み、撮像素子（ＣＣＤ等）の飽和現象の発生を抑制し、ＴＯＦ方式を用いて高解像度で高フレームレートの距離画像を取得し、精度の高い距離推定処理を行う距離推定装置、距離推定方法、プログラムおよび集積回路を実現することを目的とする。

　第１の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、発光周波数選択部と、受光光学系と、受光素子部と、電荷集積部と、信号演算部と、画像生成部と、を備える。
　光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。発光周波数選択部は、光源から発光される光の周波数を決定する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系で受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。画像生成部は、距離情報に基づいて、距離画像を生成する。

　発光周波数選択モードにおいて、発光源制御部は、光源を発光させない状態に制御し、発光周波数選択部は、電荷集積部により取得された電荷信号の周波数スペクトルを取得し、周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定し、発光源制御部は、光源の発光周波数を最適発光周波数に設定する。
　距離画像取得モードにおいて、発光源制御部は、最適周波数を用いて光源を発光させ、電荷集積部は、最適周波数を用いて光源を発光させた状態で受光した光から電荷信号を取得し、信号演算部は、最適周波数を用いて光源を発光させた状態で受光した光から取得した電荷信号に基づいて、距離情報を算出し、画像生成部は、最適周波数を用いて光源を発光させた状態で受光した光から取得した電荷信号に基づいて算出された距離情報に基づいて、距離画像を生成する。

　この距離推定装置では、光源からの発光がない時点での対象物からの反射光を受光し、その反射光の周波数分析（スペクトル分析）をもとに環境光の影響を受けにくい発光周波数の光（電磁波）を対象物に照射し、対象物からの反射光から電荷信号を取得し、その電荷信号から距離画像を取得する。つまり、この距離推定装置では、環境光成分の影響を受けにくい電荷信号に基づき距離画像を取得することができる。
　その結果、この距離推定装置により、撮像素子（ＣＣＤ等）の飽和現象の発生を抑制し、ＴＯＦ方式を用いて高解像度で高フレームレートの距離画像を取得し、精度の高い距離推定処理を行うことができる。
　第２の発明は、第１の発明であって、光源は、それぞれ、発光周波数の異なる複数の発光源を有し、発光源制御部は、複数の発光源の中から、最適発光周波数に最も近い発光周波数の発光源を選択し、距離画像取得モードにおいて、選択した発光源を発光させるように制御する。

　これにより、複数の光源を用いて、簡単に高精度な距離推定装置を実現することができる。
　なお、ここで、「発光周波数」とは、光（電磁波）の周波数のことである。
　第３の発明は、第２の発明であって、複数の光源は、赤外領域の周波数の光を発光させる。
　これにより、例えば、複数の光源として、安価な赤外光ＬＥＤ光源等を用いて、距離推定装置を実現することができる。
　第４の発明は、第１から第３のいずれかの発明であって、色分解プリズムと、撮像素子部と、画像生成部と、対象領域抽出部と、対象領域内電荷抽出部と、をさらに備える。
　色分解プリズムは、受光光学系で受光した光を、可視光成分の光と、赤外光成分の光に分解する。撮像素子部は、色分解プリズムにより分解された可視光成分の光を画像生成用電荷信号に変換する。画像生成部は、撮像素子部により変換された画像生成用電荷信号から画像を生成する。対象領域抽出部は、画像生成部により生成された画像において、所定の画像領域を対象領域として抽出する。対象領域内電荷抽出部は、電荷集積部により取得された電荷信号において、対象領域内に対応する電荷信号のみを抽出する。そして、発光周波数選択部は、対象領域内電荷抽出部により抽出された電荷信号の周波数スペクトルを取得し、周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定する。

　この距離推定装置では、可視光成分の光から取得したカラー画像から、所定の対象領域を抽出し、光源からの発光がない時点での対象物からの反射光を受光して得られる距離画像データにおいて、（カラー）画像から抽出された対象領域に相当する領域内の反射光の周波数分析（スペクトル分析）を行う。そして、この距離推定装置では、その対象領域のスペクトル分析結果をもとに、環境光の影響を受けにくい発光周波数の照射光により距離推定処理を行い、距離画像を取得する。
　これにより、この距離推定装置では、注目すべき対象領域の距離精度に影響を与えにくい照射光を用いて距離推定処理を行うことができるので、注目すべき対象領域において、さらに高精度の距離画像を取得することができる。
　第５の発明は、第４の発明であって、対象領域抽出部は、対象領域を、顔の画像領域とする。

　第６の発明は、第４の発明であって、対象領域抽出部は、対象領域を、人物の画像領域とする。
　第７の発明は、第４の発明であって、対象領域抽出部は、対象領域を、ユーザが指定した画像領域とする。
　第８の発明は、第４の発明であって、対象領域抽出部は、画像生成部により生成される画像に対して、領域分割処理を行い、大きな領域に分割された画像領域を、対象領域とする。
　第９の発明は、第８の発明であって、対象領域抽出部は、輝度、色情報に基づいて、画像を形成する各画素のグループ化を行うことで、領域分割処理を行う。
　第１０の発明は、第８の発明であって、対象領域抽出部は、画像生成部により生成される画像において、画像内のブロック分割処理を行い、分割された各画像ブロック内の平均輝度情報または／および平均色情報に基づいて、各画像ブロックのグループ化を行うことで領域分割処理を行う。

　第１１の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、受光素子部と、電荷集積部と、信号演算部と、画像生成部と、複数画像保持メモリ部と、最適距離画像選択部と、色分解プリズムと、撮像素子部と、画像生成部と、対象領域抽出部と、対象領域内電荷抽出部と、を備える。
　光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系で受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。画像生成部は、距離情報に基づいて、距離画像を生成する。複数画像保持メモリ部は、画像生成部により生成された距離画像を複数枚分記憶することができる。最適距離画像選択部は、複数画像保持メモリ部に記憶されている複数枚の距離画像の中から最適距離画像を選択する。色分解プリズムは、受光光学系で受光した光を、可視光成分の光と、赤外光成分の光に分解する。撮像素子部は、色分解プリズムにより分解された可視光成分の光を画像生成用電荷信号に変換する。画像生成部は、撮像素子部により変換された画像生成用電荷信号から画像を生成する。対象領域抽出部は、画像生成部により生成された画像において、所定の画像領域を対象領域として抽出する。対象領域内電荷抽出部は、電荷集積部により取得された電荷信号において、対象領域内に対応する電荷信号のみを抽出する。

　そして、発光源制御部は、光源から発光周波数の異なる光を対象物に照射するように制御する。複数画像保持メモリは、光源から発光周波数の異なる光を対象物に照射することにより生成された距離画像を複数枚記憶する。最適距離画像選択部は、複数画像保持メモリに記憶されている複数枚の距離画像において、対象領域抽出部により設定された対象領域内の画像データを所定の基準により評価することで、複数枚の距離画像の中から最適距離画像を選択する。
　この距離推定装置では、複数の周波数の光により生成された距離画像データに対して、それぞれ、（カラー）画像より抽出された対象領域に相当する距離画像内の画素値分布を求め、求めた画素値分布に基づいて適切な画素値分布を示す距離画像データを選択する。つまり、この距離推定装置では、注目すべき対象領域において環境光の影響を受けにくい発光周波数の照明光の光源による距離画像を最適距離画像として取得することができるので、画像内で注目度の高い領域において、精度の高い距離画像を取得することができる。

　第１２の発明は、第１１の発明であって、光源は、それぞれ、発光周波数の異なる複数の発光源を有している。
　第１３の発明は、第１２の発明であって、複数の光源は、赤外領域の周波数の光を発光させる。
　第１４の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光源と、受光光学系と、受光素子部と、電荷集積部と、発光源制御ステップと、発光周波数選択ステップと、信号演算ステップと、画像生成ステップと、を備える距離推定装置に用いられる距離推定方法である。
　光源は、光強度変調可能な光を照射する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系で受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。

　そして、発光源制御ステップでは、光源を制御する。発光周波数選択ステップでは、光源から発光される光の周波数を決定する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。画像生成ステップでは、距離情報に基づいて、距離画像を生成する。
　そして、発光周波数選択モードにおいて、光源を発光させない状態に制御し、発光周波数選択ステップでは、電荷集積部により取得された電荷信号の周波数スペクトルを取得し、周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定し、発光源制御ステップでは、光源の発光周波数を最適発光周波数に設定する。また、距離画像取得モードにおいて、発光源制御ステップでは、最適周波数を用いて光源を発光させる。信号演算ステップでは、最適周波数を用いて光源を発光させた状態で受光した光に基づいて取得した電荷信号に基づいて、距離情報を算出する。画像生成ステップでは、最適周波数を用いて光源を発光させた状態で受光した光に基づいて取得した電荷信号に基づいて算出された距離情報に基づいて、距離画像を生成する。

　これにより、第１の発明と同様の効果を奏する距離推定方法を実現することができる。
　第１５の発明は、光強度変調された光を対象物に照射し、対象物からの反射光により対象物までの距離を推定する距離推定方法であって、光源と、受光光学系と、受光素子部と、電荷集積部と、発光源制御ステップと、発光周波数選択ステップと、信号演算ステップと、画像生成ステップと、を備える距離推定方法をコンピュータに実行させるプログラムである。
　光源は、光強度変調可能な光を照射する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系で受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。
　発光源制御ステップでは、光源を制御する。発光周波数選択ステップでは、光源から発光される光の周波数を決定する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。画像生成ステップでは、距離情報に基づいて、距離画像を生成する。

　そして、発光周波数選択モードにおいて、光源を発光させない状態に制御し、発光周波数選択ステップでは、電荷集積部により取得された電荷信号の周波数スペクトルを取得し、周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定する。発光源制御ステップでは、光源の発光周波数を最適発光周波数に設定する。また、距離画像取得モードにおいて、発光源制御ステップでは、最適周波数を用いて光源を発光させる。信号演算ステップでは、最適周波数を用いて光源を発光させた状態で受光した光に基づいて取得した電荷信号に基づいて、距離情報を算出する。画像生成ステップでは、最適周波数を用いて光源を発光させた状態で受光した光に基づいて取得した電荷信号に基づいて算出された距離情報に基づいて、距離画像を生成する。
　これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。

　第１６の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置用の集積回路であって、光源と、受光光学系と、発光源制御部と、発光周波数選択部と、受光素子部と、電荷集積部と、信号演算部と、画像生成部と、を備える距離推定装置に用いられる集積回路である。
　光源は、光強度変調可能な光を照射する。受光光学系は、対象物からの光を集光する。発光源制御部は、光源を制御する。発光周波数選択部は、光源から発光される光の周波数を決定する。受光素子部は、受光光学系で受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。画像生成部は、距離情報に基づいて、距離画像を生成する。

　そして、発光周波数選択モードにおいて、発光源制御部は、光源を発光させない状態に制御し、発光周波数選択部は、電荷集積部により取得された電荷信号の周波数スペクトルを取得し、周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定する。発光源制御部は、光源の発光周波数を最適発光周波数に設定する。また、距離画像取得モードにおいて、発光源制御部は、最適周波数を用いて光源を発光させ、電荷集積部は、最適周波数を用いて光源を発光させた状態で受光した光に基づいて電荷信号を取得する。信号演算部は、最適周波数を用いて光源を発光させた状態で受光した光から取得した電荷信号に基づいて、距離情報を算出する。画像生成部は、最適周波数を用いて光源を発光させた状態で受光した光に基づいて取得した電荷信号に基づいて算出された距離情報に基づいて、距離画像を生成する。

　これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
　第１７の発明は、第１から第１３のいずれかの発明である距離推定装置を含むカメラである。
　これにより、第１～第１３の発明と同様の効果を奏する距離測定装置を搭載したカメラを実現することができる。
　なお、「カメラ」とは、静止画を取得するスチルカメラや、動画像を取得する撮像装置（ムービー）や、静止画および動画の両方を撮像することできる撮像装置や、取得した撮像画像（映像）から３D表示用画像（映像）を生成する機能を備える撮像装置を含む概念である。
　また、第１７の発明のカメラにおいて、撮像画像は、カメラに含まれる距離測定装置の高解像度画像生成部により生成される高解像度画像を用いるものであってもよいし、距離測定装置とは別に、撮像素子をさらに追加し、追加した当該撮像素子から撮像画像を取得するものであってもよい。

　本発明によれば、撮像素子（ＣＣＤ等）の飽和現象の発生を抑制し、ＴＯＦ方式を用いて高解像度で高フレームレートの距離画像を取得し、精度の高い距離推定処理を行う距離推定装置、距離推定方法、プログラム、集積回路およびカメラを実現することができる。

本発明における第１実施形態に係る距離推定装置の概略構成図。本発明における第１実施形態に係る発光周波数選択部の概略構成図。本発明における第１実施形態に係る距離推定方法における光源の発光周波数選択方法の概要を示す図。本発明における第１実施形態に係る距離推定方法におけるスペクトル分析と選択される発光周波数の関係を示す図。本発明における第１実施形態に係る距離推定方法における処理フローチャートを示す図。本発明における第２実施形態に係る距離推定装置の概略構成図。本発明における第２実施形態に係る距離推定方法における領域内発光周波数選択方法の概要を示す図。本発明における第２実施形態に係る距離推定方法の処理フローチャートを示す図。本発明における第２実施形態に係る距離推定装置におけるパターンマッチングの概要を示す図。本発明における第２実施形態に係る距離推定装置における対象領域抽出部１４の構成を示すブロック図。本発明における第２実施形態に係る距離推定装置における対象領域抽出部１４Ａの構成を示すブロック図。本発明における第３実施形態に係る距離推定装置における対象領域抽出部１４Ｂの構成を示すブロック図。本発明における第３実施形態に係る距離推定装置内の対象領域抽出部における分割方法の概要を示す図。本発明における第３実施形態に係る距離推定装置内の候補領域検出を模式的に示す図。本発明における第３実施形態に係る距離推定装置における対象領域抽出部１４Ｃの構成を示すブロック図。本発明における第４実施形態に係る距離推定装置における対象領域抽出部１４Ｄの構成を示すブロック図。本発明における第４実施形態に係る距離推定方法の処理フローチャート図。本発明における第４実施形態に係る距離推定装置内の画像分割部での画像分割を示す図。本発明における第４実施形態に係る距離推定装置における対象領域抽出部１４Ｅの構成を示すブロック図。本発明における第５実施形態に係る距離推定装置の概略構成図。本発明における第５実施形態に係る距離推定装置における最適距離画像選択部の処理を模式的に示す図。本発明における第５実施形態に係る距離推定方法における処理フローチャート図。従来例１の距離推定装置の構成を示すブロック図。従来例１の距離推定方法の概要を示す図。従来例２の距離推定装置の構成を示すブロック図。従来例２の距離推定方法の概要を示す図。波長を横軸にとったスペクトル分析と選択された赤外線波長との関係を示す図。

発明を実施するため形態

　以下、本発明の最良の形態としての第１～第５実施形態について説明する。
　第１実施形態では、光源からの発光がない時点での対象物からの反射光を受光しその反射光の周波数分析をもとに環境光の影響を受けにくい発光周波数を持つ照射光を選択し、前記選択された発光周波数を持つ照射光を使って対象物までの距離画像を求め距離推定を行う装置および方法について説明する。
　第２実施形態では、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像から所定の対象領域を抽出し、光源からの発光がない時点での対象物からの反射光を受光して得られる距離画像データにおいて、前記カラー画像から抽出された対象領域に相当する領域内の反射光の周波数分析をもとに環境光の影響を受けにくい発光周波数を持つ照射光を選択し、前記選択された発光周波数を持つ照射光を使って対象物までの距離画像を求める装置および方法について説明する。

　第３実施形態では、本発明の第２の距離推定方法において対象領域を抽出する際に、輝度、色情報をもとに各画素のグループ化を行うことで領域分割することを特徴とした距離推定装置および方法に関して説明する。
　第４実施形態では、本発明の第２の距離推定方法において対象領域を抽出する際に、画像内のブロック分割を行い、各ブロック内の平均輝度、平均色情報をもとに各ブロックのグループ化を行うことで領域分割することを特徴とした距離推定装置および方法に関して説明する。
　第５実施形態では、複数の異なる発光周波数を持つ光を照射できる光源を持ち、各発光周波数を持つ複数の照射光を使って得られる複数の距離画像データを生成し、前記距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像から所定の対象領域を抽出し、前記生成された複数の発光周波数の照射光に対する距離画像データに対して、カラー画像より抽出された対象領域に相当する距離画像内画素値分布を求め、前記複数の発光周波数の照射光に対する対象領域内の距離画像内画素値分布から適切な画素値分布を示す距離画像データを選択する距離推定装置および方法について説明する。

　［第１実施形態］
　図１から図５を用いて、本発明の第１実施形態として、光源からの発光がない時点での対象物からの反射光を受光し、その反射光の周波数分析結果をもとに、環境光の影響を受けにくい発光周波数を持つ照射光を選択し、その選択された発光周波数を持つ照射光を使って、対象物までの距離画像を求める距離推定装置および距離推定方法について説明する。
　＜１．１：距離推定装置の構成＞
　図１は、本発明の第１実施形態である距離推定装置１００の概略構成図を示す図である。また、図２は、本発明の第１の実施形態例である距離推定装置内の発光周波数選択部７の構成を示す図である。図３は、第１実施形態に係る距離推定方法における光源の発光周波数選択方法の概要を示した図である。図４は、第１実施形態に係る距離推定方法におけるスペクトル分析と選択される発光周波数との関係を示す図である。さらに、図５は、第１実施形態に係る距離推定方法の処理フローチャート図である。

　本発明の距離推定装置は、ムービーやＤＳＣ等の撮像装置で撮影された画像の奥行き感・立体感を向上させるために、対象空間を撮像し、撮像装置から対象空間に存在する対象物までの距離を推定する方法・装置に関するものであり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器や、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等へ搭載される。また、本発明の距離推定方法は、上記した機器等において実行される。
　図１に示すように、距離推定装置１００は、被写体からの光を集光する受光光学系１と、受光光学系で集光した光を光電変換する素子（撮像素子）を有する受光素子部２と、受光素子部２で変換された電荷を集積し、電荷信号として出力する電荷集積部３と、を備える。また、距離推定装置１００は、電荷集積部３から出力される電荷信号のスペクトルを分析し、最適発光周波数を決定する発光周波数選択部７と、発光周波数選択部７により決定された最適発光周波数に基づいて、複数の発光源９Ａ～９Ｎから実際に発光させる発光源を決定する発光源セレクト制御部８と、発光源セレクト制御部８からの制御信号に基づいて、発光制御される複数の発光源９Ａ～９Ｎ（第１発光源９Ａ、第２発光源９Ｂ、・・・、第Ｎ発光源）（Ｎ：自然数）と、を備える。

　また、距離推定装置１００は、電荷集積部３から出力される電荷信号に対して、（数式４）の処理を行い、距離情報を算出する信号演算部５と、電荷集積部３および信号演算部５の制御を行うモード制御部４と、信号演算部５により算出された距離情報に基づいて、距離画像を生成する画像生成部６と、を備える。
　受光光学系１は、撮像対象空間からの光を集光する光学系であり、光学レンズ、光学フィルタ等から構成される。
　受光素子部２は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。受光素子部２では、各画素において、光電変換された受光光量に応じた電荷が取得される。受光素子部２で取得された電荷は、電荷集積部３に出力される。なお、複数の発光源９Ａ～９Ｎ（第１発光源９Ａ、第２発光源９Ｂ、・・・、第Ｎ発光源）（Ｎ：自然数）から発光させる光が赤外光である場合、受光素子部２の撮像素子は、赤外光用ＣＣＤを用いることが好ましい。また、受光素子部２の撮像素子の前段に、赤外領域外の電磁波を遮断するために、赤外光用のフィルタ（光学フィルタ）等を設置するようにしてもよい。

　電荷集積部３は、モード制御部４から設定された所定の電荷蓄積時間に基づいて、受光素子部２で光電変換された電荷を集積し、電荷信号Ｄｉを取得する。電荷集積部３は、取得した電荷信号Ｄｉを、モード制御部４の指令に基づいて、発光周波数選択部７または信号演算部５に出力する。
　発光周波数選択部７は、図２に示すように、スペクトル分析部７１と、スペクトル平均化部７２と、最適発光周波数選択部７３と、を有する。発光周波数選択部７は、電荷集積部３からの電荷信号Ｄｉを入力とし、電荷信号Ｄｉのスペクトルを分析し、最適発光周波数Ｆｂｅｓｔを決定する（詳細については後述）。
　スペクトル分析部７１は、電荷集積部３からの電荷信号Ｄｉを入力とし、電荷信号Ｄｉに対して、例えば、フーリエ変換を施し、電荷信号ＤｉのスペクトルＶ（ｆ）を取得する。そして、スペクトル分析部７１は、取得した電荷信号Ｄｉについてのスペクトル分析結果Ｖ（ｆ）をスペクトル平均化部７２に出力する。

　スペクトル平均化部７２は、スペクトル分析部７１からの出力Ｖ（ｆ）を入力とし、スペクトル分析部７１により取得された電荷信号Ｄｉについてのスペクトル分析結果Ｖ（ｆ）に対して平均化処理を行う（詳細については後述）。そして、スペクトル平均化部７２は、平均化処理を施したスペクトル分析結果ＡＶ（ｆ）を最適発光周波数選択部７３に出力する。
　最適発光周波数選択部７３は、スペクトル平均化部７２からのスペクトル分析結果ＡＶ（ｆ）を入力とし、スペクトル分析結果ＡＶ（ｆ）に基づいて、最適発光周波数Ｆｂｅｓｔを決定する（詳細については後述）。そして、最適発光周波数選択部７３は、決定した最適発光周波数Ｆｂｅｓｔを発光源セレクト制御部８に出力する。
　発光源セレクト制御部８は、複数の光源９Ａ～９Ｎと接続されており、複数の光源９Ａ～９Ｎを制御することができる。発光源セレクト制御部８は、発光周波数選択部７により決定された最適発光周波数に基づいて、複数の発光源９Ａ～９Ｎから実際に発光させる発光源を決定し、決定した発光源に対して発光制御を行う。具体的には、発光源セレクト制御部８は、最適周波数に最も近い周波数の光を発光する光源を、複数の発光源９Ａ～９Ｎから選択し、選択した光源に対して発光制御を行う。また、発光源セレクト制御部８は、モード制御部４から出力される光強度変調制御信号を入力とし、光強度変調制御信号に基づいて、選択した光源の光強度変調を行う。

　複数の発光源９Ａ～９Ｎ（第１発光源９Ａ、第２発光源９Ｂ、・・・、第Ｎ発光源）（Ｎ：自然数）は、それぞれ、異なる周波数帯域の周波数の光を発光する光源であり、発光源セレクト制御部８からの制御信号に基づいて、発光制御される。なお、ここで、「異なる周波数帯域」とは、必ずしも、完全に異なる周波数帯域のみを意味するものではなく、例えば、複数の光源の発光する光の周波数帯域の一部に重複する周波数帯域が存在する場合も含む概念である。なお、複数の発光源９Ａ～９Ｎ（第１発光源９Ａ、第２発光源９Ｂ、・・・、第Ｎ発光源）（Ｎ：自然数）は、赤外光領域の周波数（例えば、１×１０＾６［ＭＨｚ］～１×１０＾９［ＭＨｚ］）（なお、「Ｘ＾Ｙ」は、「ＸのＹ乗」を表している。以下同様。）の電磁波（赤外光）を発光する発光源を用いることが好ましい。また、赤外光領域の周波数を用いる場合、発光源として、赤外領域の周波数の光を発光するＬＥＤ光源を用いることが好ましい。

　信号演算部５は、電荷集積部３から出力される電荷信号Ｄｉに対して、例えば、（数式４）の処理を行い、距離情報Ｌｉを算出する。なお、受光素子部２の撮像素子の画素ｉに対応する電荷信号Ｄｉとし、画素ｉに対応する距離情報をＬｉと表記することとする。信号演算部５は、算出した距離情報Ｌｉを画像生成部６に出力する。
　モード制御部４は、電荷集積部３および信号演算部５の制御を行う。また、モード制御部４は、距離推定装置１００の２つのモードである「発光周波数選択モード」および「距離画像取得モード」に従ったモード別の制御を行う。ここで、「発光周波数選択モード」とは、距離推定装置１００において、距離推定処理を実行するために、撮像対象空間に対して照射する光の周波数を決定するための処理を行うモードである。一方、「距離画像取得モード」とは、距離推定装置１００において、「発光周波数選択モード」において決定した周波数の光を撮像対象空間に照射して、距離情報を取得し、取得した距離情報に基づいた距離画像を取得するモードである。

　モード制御部４は、距離推定装置１００のモードが「発光周波数選択モード」である場合、電荷集積部３から出力される電荷信号Ｄｉを発光周波数選択部７に出力するように、電荷集積部３を制御する。
　一方、距離推定装置１００のモードが「距離画像取得モード」である場合、モード制御部４は、光強度変調制御信号を発光源セレクト制御部８に出力し、発光源セレクト制御部８により選択された発光源から発光される光の強度を、光強度変調制御信号に基づいて変調させる。そして、モード制御部４は、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期に同期させて、所定のタイミングで電荷集積部３に集積された電荷量を取得させ、電荷信号Ｄｉとして、信号演算部５に出力させる。そして、モード制御部４は、信号演算部５に対して、例えば、（数式４）に相当する処理を実行するように制御する。

　なお、ここで、「所定のタイミング」とは、例えば、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期の１周期あたり４点（例えば、上記（数式４）のＡ０点～Ａ４点の４点に相当。）をサンプリングすることに相当するタイミングのことをいう。なお、照明光Ｓ１の変調周期１周期あたりのサンプリング数は、４点に限定されないことは、言うまでもない。
　照明光Ｓ１の変調周期１周期あたりのサンプリング数が４点である場合、信号演算部５では、電荷集積部３から出力された電荷信号Ｄｉに対して、（数式４）に相当する処理を行うことで、位相シフト量Ψを求め、さらに、距離情報Ｌｉを簡単に求めることができる。
　画像生成部６は、信号演算部５により算出された距離情報Ｌｉを入力とし、距離情報Ｌｉに基づいて、距離画像を生成する。ここで、「距離画像」とは、受光素子部２の撮像素子の画素ｉに対応させた２次元画像であり、距離画像上の画素ｉに対応する位置の値は、画素ｉに相当する距離情報を表す値となっている。つまり、距離画像上の画素ｉに対応する位置の値は、画素ｉに対応する撮像対象空間内の対象物と距離推定装置１００との距離を表す値（この値は、必ずしも、当該距離の値そのものである必要はなく、当該距離と相関のある値であってもよい。）となっている。

　＜１．２：距離推定装置の動作＞
　以上のように構成された距離推定装置１００の動作および距離推定装置１００で実行される距離推定方法について、図１から図５を用いて説明する。なお、「発光周波数選択モード」および「距離画像取得モード」に分けて説明する。
　（１．２．１：発光周波数選択モード）
　まず、「発光周波数選択モード」について説明する。
　距離推定装置１００において、複数の光源９Ａ～９Ｎのいずれも発光させていない状態にし、その状態で、対象物体ＯＢＪ１０からの光を、受光光学系１を通して、受光素子部２に入射させる。受光素子部２の撮像素子の各画素で光電変換されることにより取得された電荷は、電荷集積部３に出力される。

　電荷集積部３では、この反射光Ｓ２から取得された電荷信号を集積することで、電荷信号Ｄｉを取得する。なお、ここで、電荷集積部３では、モード制御部４により設定された所定時間により電荷集積を行い、電荷信号Ｄｉを取得する。そして、モード制御部４は、電荷集積部３が電荷信号Ｄｉを発光周波数選択部７に出力するように制御する。
　このようにして、電荷信号Ｄｉは、発光周波数選択部７に入力される。
　発光周波数選択部７では、まず、電荷信号Ｄｉに対して、スペクトル分析がスペクトル分析部７１により実施される。
　具体的には、スペクトル分析部７１により、反射光Ｓ２の電荷信号Ｄｉに対して、（数式５）に示すフーリエ変換（以下では、フーリエ変換を用いる場合について説明するが、フーリエ変換の他に離散コサイン変換やウェーブレット変換等を用いてもよい。）が実行され、得られた各周波数ｆ［Ｈｚ］に対するフーリエ変換係数の大きさを示すパワースペクトル量Ｖ（ｆ）が求められる。図４は、スペクトル分析部７１により、電荷信号Ｄｉから求められたスペクトルＶの一例である。

　このようにして求められたスペクトルＶは、スペクトル平均化部７２に出力される。
　そして、スペクトル平均化部７２では、スペクトルＶに対して移動平均処理を実行する。例えば、図４に示すようなスペクトルＶに対して、スペクトル平均化部７２では、（数式６）に示すような周波数ｆに対する移動平均処理を実施する。移動平均処理とは、（数式６）にあるように、対象周波数ｆを中心とした［－ｄｆ＋ｆ，ｆ＋ｄｆ］の範囲内のスペクトル量Ｖ（ｆ）に重み係数ｗ（ｆ）を用いた重みつき平均値ＡＶ（ｆ）を求めるものであり、重み係数ｗ（ｆ）の例としては、（数式６）のように対象周波数ｆｃを中心としたガウス分布関数を用いるものである。なお、重み係数ｗ（ｆ）は、このガウス分布関数以外にも矩形関数や三角関数等のよう関数を用いてもよい。

　ここでの処理の目的は、スペクトル量Ｖ（ｆ）の大局的な変動を求めることで、計測時のノイズの影響を軽減することにある。
　なお、（数式６）の代わりに（数式７）のようにフーリエ変換時に窓関数ｈｗＮを設け、（数式５）での和を求める際の重みとして利用する方法を採用してもよい。

　スペクトル平均化部７２により、このようにして求められた平均化スペクトルＡＶ（ｆ）は、最適発光周波数選択部７３に入力される。
　最適発光周波数選択部７３では、入力された平均化スペクトルＡＶ（ｆ）に基づいて、ＡＶ（ｆ）が最小値となる周波数ｆｍｉｎが求められる。そして、最適発光周波数選択部７３では、第１発光源９Ａ～第Ｎ発光源９ＮのＮ個の発光源の各発光周波数ｓｆ＿ｋ（Ｋ＝１，…，Ｎ）の中でｆｍｉｎに最も近い発光周波数を持つ発光源の周波数を最適発光周波数Ｆｂｅｓｔに決定する。なお、第１発光源９Ａ～第Ｎ発光源９ＮのＮ個の発光源の各発光周波数ｓｆ＿ｋ（Ｋ＝１，…，Ｎ）は、予め分かっている。

　このようにして決定された最適発光周波数Ｆｂｅｓｔは、環境光にあまり含まれていない周波数帯域の周波数である。したがって、距離推定装置１００において、この最適発光周波数Ｆｂｅｓｔの光（電磁波）により距離推定処理を行うことで、環境光の影響を低減することが可能となる。
　図４で示すスペクトルＶ（ｆ）の場合、周波数帯域ｆｒの周波数成分が小さいので、環境光は、周波数帯域ｆｒの周波数成分をあまり含んでいないと推定することができる。したがって、この場合、距離推定装置１００において、最適発光周波数Ｆｂｅｓｔを、周波数帯域ｆｒ内の周波数に決定し、その決定した周波数の光（電磁波）により距離推定処理を行うことで、環境光の影響を低減することが可能となる。
　さらに、発光周波数選択部７での最適発光周波数Ｆｂｅｓｔの決定方法を以下のようにしてもよい。
（１）まず、平均化スペクトルの最小値ＡＶ（ｆｍｉｎ）が、所定のしきい値ＴＨ１と比較される。
（２）平均化スペクトルＡＶ（ｆ）の最小スペクトル量ＡＶ（ｆｍｉｎ）が所定のしきい値ＴＨ１より小さい場合、Ｎ個の発光源の各発光周波数ｓｆ＿ｋ（Ｋ＝１，…，Ｎ）の中で、ｆｍｉｎに最も近い発光周波数を持つ発光源の周波数が最適発光周波数Ｆｂｅｓｔとされる。
（３）一方、平均化スペクトルＡＶ（ｆ）の最小スペクトル量ＡＶ（ｆｍｉｎ）が所定のしきい値ＴＨ１以上の場合、環境光に対する影響の少ない周波数候補（環境光に含まれるスペクトル量が少ない周波数の候補）が多くあるものとして、
　　｜ＡＶ（ｆ）－ＴＨ１｜＜Ｄｅｌｔａ（Ｄｅｌｔａ：所定の正定数）
を満足する周波数ｆの平均値をｆｍｉｎ＿ａｖｅとして求める。そして、予め用意されたＮ個の発光源の各発光周波数ｓｆ＿ｋ（Ｋ＝１，…，Ｎ）の中でｆｍｉｎ＿ａｖｅに最も近い発光周波数を持つ発光源の周波数が最適発光周波数Ｆｂｅｓｔとされる。

　以上のようにして、発光周波数選択部７で決定された最適発光周波数Ｆｂｅｓｔは、発光源セレクト制御部８に出力される。
　（１．２．２：距離画像取得モード）
　次に、「距離画像取得モード」について説明する。
　距離画像取得モードでは、発光源セレクト制御部８により、「発光周波数選択モード」において、決定された最適発光周波数Ｆｂｅｓｔを持つ発光源が発光制御される。また、モード制御部４から光強度変調信号が発光源セレクト制御部８に入力される。
　発光源セレクト制御部８では、光強度変調信号に基づいて、選択された光源、すなわち、当該光源から発光される光（電磁波）の周波数が最適発光周波数Ｆｂｅｓｔである光源が発光制御される。具体的には、当該光源から発光される光の強度が、光強度変調信号に基づいて、変調される。

　選択された光源から発光された照明光Ｓ１（周波数が最適発光周波数Ｆｂｅｓｔである照明光Ｓ１）は、対象物ＯＢＪ１０に照射され、反射光Ｓ２が受光光学系１で集光され、受光素子部２に入射される。
　受光素子部２では、各画素で、反射光Ｓ２が光電変換され、電荷として取得される。
　受光素子部２で取得された電荷は、電荷集積部により集積され、電荷信号Ｄｉとして信号演算部５に出力される。具体的には、モード制御部４からの指令に従い、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期に同期した所定のタイミングで電荷集積部３に集積された電荷量が取得され、電荷信号Ｄｉとして、信号演算部５に出力される。なお、ここでの「所定のタイミング」は、例えば、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期の１周期あたり４点（例えば、上記（数式４）のＡ０点～Ａ４点の４点に相当。）をサンプリングすることに相当するタイミングである。以下では、説明便宜のために、照明光Ｓ１の変調周期１周期あたりのサンプリング数が４点である場合について説明する。

　信号演算部５では、入力された電荷信号Ｄｉ（照明光Ｓ１の変調周期１周期あたりに４点のサンプリングをされた電荷信号Ｄｉ）に対して、（数式４）に相当する処理を行い、位相シフト量Ψを求める。さらに、信号演算部５では、位相シフト量Ψに対して、（数式３）に相当する処理を行い、画素ｉの距離情報Ｌｉを取得する。
　信号演算部５により取得された距離情報Ｌｉは、画像生成部６に出力される。
　画像生成部６では、信号演算部５により算出された距離情報Ｌｉに基づいて、距離画像が生成される。
　まとめると、距離推定装置１００では、反射光Ｓ２を受光素子部２で受け、受光素子部２および電荷集積部３により変換・集積された電荷信号Ｄｉを、モード制御部４で制御して、信号演算部５により、対応する画素ｉの距離情報値Ｌｉに変換する。

　この際、従来例２と同様に、距離推定装置１００では、図２５で示される変調周期１周期あたり４点（Ａ０点，Ａ１点，Ａ２点およびＡ３点の４点）の電荷信号Ｄｉのサンプリングを行い、（数式４）により位相シフト量Ψを導出する。そして、距離推定装置１００では、その導出した位相量Ψ（Ａ０～Ａ３の４点により求めた位相量）を、（数式３）に当てはめることで、画素ｉの距離情報値Ｌｉを求める。
　図３（ａ）は、最適発光周波数決定処理（「発光周波数選択モード」の処理）を模式的に示したものであり、図３（ｂ）は、最適発光周波数決定後の処理（「距離画像取得モード」の処理）を模式的に示したものである。なお、図３では、複数の発光源９Ａ～９Ｎが、赤外光を発光する発光源である場合について図示している。
　以上のように、距離推定装置１００では、光源からの発光がない時点での対象物からの反射光を受光し、その反射光の周波数分析をもとに環境光の影響を受けにくい発光周波数の光（電磁波）を照射する発光源を選択し、選択した発光源を発光させ、対象物からの反射光から受光信号（受光素子部２および電荷集積部３により取得される電荷信号Ｄｉ）を取得し、その受光信号から距離画像を取得する。つまり、距離推定装置１００では、環境光成分の影響を受けにくい受光信号（受光素子部２および電荷集積部３により取得される電荷信号Ｄｉ）により距離画像を取得することができる。

　距離推定装置１００では、受光信号（受光素子部２および電荷集積部３により取得される電荷信号Ｄｉ）において、環境光成分（定常ノイズ）が少ないため、受光信号（電荷信号Ｄｉ）のＳ／Ｎ比が良いものとなる。
　高解像度・高フレームレートの距離画像を取得する場合、受光素子部２および電荷集積部３において、画素ごとの電荷検出期間（電荷蓄積時間）を短くし、高速読み出しを行う必要があるが、距離推定装置１００では、受光信号（受光素子部２および電荷集積部３により取得される電荷信号Ｄｉ）において、環境光成分（定常ノイズ）が少ないため、受光素子部２および電荷集積部３において、画素ごとの電荷検出期間（電荷蓄積時間）を短くし、高速読み出しを行う場合であっても、Ｓ／Ｎ比の良好な電荷信号Ｄｉを取得することができるので、良好な高解像度・高フレームレートの距離画像を取得することができる。

　さらに、距離推定装置１００では、受光信号（受光素子部２および電荷集積部３により取得される電荷信号Ｄｉ）において、環境光成分（定常ノイズ）が少ないので、飽和現象が発生するまでの余裕があり、受光素子部２および電荷集積部３での電荷検出期間（電荷蓄積時間）を長くすることができる。したがって、距離推定装置１００では、受光素子部２および電荷集積部３での電荷検出期間（電荷蓄積時間）を長くすることにより、さらに、Ｓ／Ｎ比の良い電荷信号Ｄｉを取得し、その電荷信号Ｄｉにより距離画像を取得することができるので、距離画像の高精度化を容易に実現することができる。
　［第２実施形態］
　図６から図１１を用いて、本発明の第２実施形態として、カラー画像より抽出された対象領域内での環境光分布をもとに、その影響の少ない発光周波数を持つ発光源による距離推定処理を行う距離推定装置および距離推定方法について説明する。

　図６は、本発明の第２実施形態に係る距離推定装置２００の概略構成図である。また、図１０および図１１は、本発明の第２実施形態に係る距離推定装置２００の対象領域抽出部１４および１４Ａの概略構成図である。
　図７は、第２実施形態に係る距離推定方法における光源の発光周波数選択方法の概要を示す図である。図８は、第２実施形態に係る距離推定方法の処理フローチャートを示す図である。図９は、対象領域抽出時におけるパターンマッチング例を示したものである。なお、第１実施形態と同様な構成要素については、同じ番号を付し、詳細な説明を省略する。
　＜２．１：距離推定装置の構成＞
　図６に示すように、本実施形態に係る距離推定装置２００は、第１実施形態に係る距離推定装置１００において、発光周波数選択部７を領域内発光周波数選択部７Ａに置換し、距離推定装置１００からさらに、色分解プリズム１１と、撮像素子部１２と、カラー画像生成部１３と、対象領域抽出部１４と、対象領域内電荷抽出部１０と、を追加した構成となっている。それ以外については、距離推定装置２００は、距離推定装置１００と同様であるので、詳細な説明は省略する。

　色分解プリズム１１は、光（電磁波）の周波数により、その光路を分離する光学プリズムであり、距離推定装置２００では、受光光学系で集光された反射光Ｓ２を、距離推定用赤外光成分とカラー画像用可視光成分とに分離する。そして、色分解プリズム１１で分離された距離推定用赤外光成分の光（電磁波）は、受光素子部２に入射される。また、色分解プリズム１１で分離されたカラー画像用可視光成分の光（電磁波）は、撮像素子部１２に入射される。
　撮像素子部１２は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。撮像素子部１２では、各画素において、光電変換された受光光量に応じた電荷が取得・蓄積される。そして、撮像素子部１２は、蓄積した電荷をカラー画像生成部１３に出力する。なお、撮像素子部１２として、例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサを用いるとよい。

　カラー画像生成部１３は、撮像素子部１２から、各画素に対応して出力される電荷を入力とし、当該電荷からカラー画像信号を生成する。そして、カラー画像生成部１３は、生成したカラー画像信号を、対象領域抽出部１４に出力する。
　対象領域抽出部１４は、図１０に示すように、輪郭検出部１４１と、パターンマッチング部１４２と、を有している。
　輪郭検出部１４１は、カラー画像生成部１３からのカラー画像信号（画像データ）を入力とし、カラー画像信号から輪郭画素抽出を行い、輪郭情報を取得する。そして、輪郭検出部１４１は、取得した輪郭情報をパターンマッチング部１４２に出力する。
　パターンマッチング部１４２は、輪郭検出部１４１からの輪郭情報を入力とし、輪郭情報に対してパターンマッチング処理を行い、対象領域情報を抽出する。そして、パターンマッチング部１４２は、抽出した対象領域情報を対象領域内電荷抽出部１０に出力する。

　対象領域内電荷抽出部１０は、電荷集積部３から出力される電荷信号Ｄｉおよび対象領域抽出部１４から出力される対象領域情報を入力とし、対象領域情報が示す画像領域内の電荷信号Ｄｉのみを抽出し、領域内発光周波数選択部７Ａに出力する。
　＜２．２：距離推定装置の構成＞
　以上のように構成された距離推定装置２００の動作について、以下説明する。
　なお、距離推定装置２００において、複数の発光源９Ａ～９Ｎは、赤外領域の光（赤外光）を発光する発光源であるものとする。なお、赤外領域以外の電磁波を用いることも可能であることは言うまでもない。
　「発光周波数選択モード」における距離推定装置２００の動作について説明する。
　距離推定装置２００において、複数の光源９Ａ～９Ｎのいずれも発光させていない状態にし、その状態で、対象物体ＯＢＪ１０からの光が、受光光学系１に入射させる。

　受光光学系１に入射された光は、色分解プリズム１１により、距離推定用赤外光成分の光とカラー画像用可視光成分の光に分離される。
　距離推定用赤外光成分の光は、受光素子部２および電荷集積部３により、光電変換および電荷集積（蓄積）され、受光素子部の撮像素子の画素ｉに対応させた電荷信号Ｄｉとして、対象領域内電荷抽出部１０に出力される。なお、電荷集積部３での電荷集積時間および出力タイミングは、モード制御部４により制御される。
　一方、色分解プリズム１１で分離された可視光成分の光は、撮像素子部１２により、受光・集積されて、カラー画像生成部１３で、カラー画像信号（画像データ）に変換される。そして、カラー画像生成部１３で取得されたカラー画像信号は、対象領域抽出部１４に出力される。

　対象領域抽出部１４は、例えば、図１０に示すように構成される。
　なお、図１０に示すように、テンプレート記憶メモリ１４３は、対象領域抽出部１４外の外部メモリにより構成されるものであってもよいが、テンプレート記憶メモリ１４３は、対象領域抽出部１４内に含まれるものであってもよい。
　輪郭検出部１４１では、入力されたカラー画像信号（画像データ）から、輪郭情報が取得される。輪郭検出部１４１での処理について、以下詳細に説明する。
　輪郭検出部１４１では、（数式８）で示される３×３の大きさを持つ２次元フィルタによる２次元フィルタ処理（（数式９）の処理）により、画像内の各画素（ｉ，ｊ）の微分ベクトルｖｄ（ｉ，ｊ）（ｘｄ（ｉ，ｊ），ｙｄ（ｉ，ｊ））を求める。また、微分ベクトルｖｄ（ｉ，ｊ）の大きさｓｔｖ（ｉｊ）を、
　　ｓｔｖ（ｉｊ）＝（ｘｄ（ｉ，ｊ）×ｘｄ（ｉ，ｊ）＋ｙｄ（ｉ，ｊ）×ｙｄ（ｉ，ｊ））＾０．５
により求める。

　輪郭検出部１４１では、各画素（ｉ，ｊ）のｓｔｖ（ｉ，ｊ）を、所定のしきい値ＴＨ２を使って、（数式１０）のように比較することで、輪郭画素抽出を行う。なお（数式１０）は、カラー画像信号により形成される画像上の画素が、輪郭に含まれる画素であるか否かを示すための２値化を行うものであり、Ｅ（ｉ，ｊ）＝１は、画素（ｉ，ｊ）が輪郭に含まれる画素であることを表している。

　このようにして、輪郭検出部１４１により求められた輪郭情報Ｅ（ｉ，ｊ）（以下では、単に「輪郭情報Ｅｉ」と表記することもある。）は、パターンマッチング部１４２に出力される。
　次に、パターンマッチング部１４２では、輪郭検出部１４１により得られた輪郭情報Ｅｉを、予めテンプレート記憶メモリ１４３で用意された対象領域の形状データとパターンマッチング処理を行い、対象領域抽出を行う。これについて、以下詳細に説明する。
　対象領域抽出を行う対象領域としては、例えば、顔領域や、人物領域（上半身、全身）や、目・鼻・口のような顔パーツ領域等が挙げられる。

　対象領域を顔領域とする場合、テンプレート記憶メモリ１４３には、顔領域の標準形状データ（複数であってもよい。また、複数の方向の形状データであってもよい。）を保持しておく。
　対象領域を人物領域とする場合、テンプレート記憶メモリ１４３には、人物領域の標準形状データ（複数であってもよい。また複数の方向の形状データであってもよい。また上半身でも全身でもよい。）を保持しておく。
　対象領域を目・鼻・口のパーツ領域とする場合、テンプレート記憶メモリ１４３には、各パーツ領域の標準形状データを保持しておく。
　このように、テンプレート記憶メモリ１４３で保持する形状データＴｐ［ｋ，ｌ］（ｐ＝１，…，Ｐｎｕｍ）（ｋ＝０，１，．．．Ｗｐ－１）（ｌ＝０，１，…，Ｈｐ－１）と各画素（ｉ，ｊ）の輪郭情報Ｅ（ｉ，ｊ）のパターンマッチング処理を行うことで、パターンマッチング部１４２により、該当領域（対象領域情報）が抽出される。なお、Ｐｎｕｍはテンプレート数であり、Ｗｐ，Ｈｐは矩形テンプレートの水平画素数、垂直画素数である。

　パターンマッチング部１４２で実行されるパターンマッチング処理の手法としては、多くの方法があるが、簡易な方法としては、図９に示すような方法がある。これについて説明する。なお、図９は、パターンマッチ法の一例を説明するための模式図である。
　パターンマッチング部１４２は、テンプレートｐに対して、画素（ｉ，ｊ）を中心とした水平幅Ｗｐ，垂直幅Ｈｐを持つ矩形領域候補ＳＲ［ｉ，ｊ，Ｗｐ，Ｈｐ］を設定する。
　そして、パターンマッチング部１４２は、矩形領域候補ＳＲ［ｉ，ｊ，Ｗｐ，Ｈｐ］内の輪郭情報Ｅ（ｉ，ｊ）とテンプレート記憶メモリ１４３に保持されている形状データＴｐ［ｋ，ｌ］（（ｋ＝０，１，．．．Ｗｐ－１）（ｌ＝０，１，…，Ｈｐ－１））をもとに、（数式１１）のような評価関数Ｒ（ｉ，ｊ，ｐ）を求める。
　次に、パターンマッチング部１４２は、（数式１２）に示されるように、テンプレートｐ、および画素（ｉ，ｊ）に対して最大の評価関数Ｒ（ｉ，ｊ，ｐ）となるＭＲを求める。（数式１２）において、ＭＡＸは、画素（ｉ，ｊ）およびテンプレートｐに対して、Ｒ（ｉ，ｊ，ｐ）の最大値を求めることを示す。そして、その最大値ＭＲが所定のしきい値ＴＨＭＲ以上であれば、最大値ＭＲに該当する矩形領域候補ＳＲ［ｉ，ｊ，Ｗｐ，Ｈｐ］を求める対象領域情報ＢｅｓｔＳＲ［ｉ，ｊ，Ｗ，Ｈ］として抽出する。

　このように所定のしきい値ＴＨＭＲと比較することで、ノイズ等へのマッチングを抑えることができる。なお、しきい値ＴＨＭＲより最大値ＭＲが小さい場合は、対象領域がないものとして、対象領域情報ＢｅｓｔＳＲ［ｉ，ｊ，Ｗ，Ｈ］として、入力画像の情報［ｗｉｄｔｈ／２，ｈｅｉｇｈｔ／２，ｗｉｄｔｈ，ｈｅｉｇｈｔ］が出力される。ここで、ｗｉｄｔｈは入力画像の水平画素数を示し、ｈｅｉｇｈｔは入力画像の垂直画素数を示す。

　以上のようにして、パターンマッチング部１４２により取得された対象領域情報ＢｅｓｔＳＲ［ｉ，ｊ，Ｗ，Ｈ］は、対象領域内電荷抽出部１０に出力される。
　対象領域内電荷抽出部１０では、対象領域情報ＢｅｓｔＳＲ［ｉ，ｊ，Ｗ，Ｈ］内に含まれる画素ｉの電荷信号Ｄｉのみが抽出され、領域内発光周波数選択部７Ａに出力される。
　領域内発光周波数選択部７Ａでは、対象領域内電荷抽出部１０から出力された電荷信号Ｄｉに対して、第１実施形態の発光周波数選択部７と同様の処理が実行される。
　なお、これ以降の処理は、第１実施形態と同様であるので、説明を省略する。

　また、距離推定装置２００における距離画像取得モードにおける動作も、第１実施形態同様であるので、説明を省略する。
　図７を用いて、距離推定装置２００における処理概要についてまとめる。
　距離推定装置２００の領域内発光周波数選択部７Ａでは、図７に模式的に示すように、カラー画像生成部１３で生成されたカラー画像（カラー画像信号により形成される画像）から対象領域抽出部１４で得られた対象領域情報をもとに、最適発光周波数Ｆｂｅｓｔの選択を行う。
　つまり、距離推定装置２００では、可視光成分の光より生成されたカラー画像から必要とすべき対象領域をまず抽出し、その対象領域内に含まれる赤外光反射光（複数の光源９Ａ～９Ｎのいずれの発光もない状況下での）の電荷信号Ｄｉをスペクトル分析して、その対象領域内のみで環境光影響の少ないと思われる発光周波数を求める。

　そして、距離推定装置２００では、領域内発光周波数選択部により決定された発光周波数の光源を用いて、距離測定処理を行い、距離画像を取得する。
　このように本実施形態に係る距離推定装置２００および距離推定方法では、可視光成分の光から取得したカラー画像から、所定の対象領域を抽出し、光源からの発光がない時点での対象物からの反射光を受光して得られる距離画像データにおいて、カラー画像から抽出された対象領域に相当する領域内の反射光の周波数分析（スペクトル分析）を行う。そして、距離推定装置２００では、その対象領域のスペクトル分析結果をもとに、環境光の影響を受けにくい発光周波数を持つ照射光の光源を選択し、その照明光により距離推定処理を行い、距離画像を取得する。
　これにより、距離推定装置２００では、注目すべき対象領域の距離精度に影響を与えにくい照射光を用いて距離推定処理を行うことができるので、注目すべき対象領域において、さらに高精度の距離画像を取得することができる。

　なお、上記（数式１１）の処理において、輪郭情報Ｅ（ｉ，ｊ）の平均値や形状データＴｐ［ｋ，ｌ］の平均値を求め、各値から該当平均値を引いた値（差分値）により、距離推定装置２００での処理を行うことが可能である。また、輪郭情報Ｅ（ｉ，ｊ）の最小値や形状データＴｐ［ｋ，ｌ］の最小値を求め、各値から該当最小値を引いた値（差分値）を利用することも可能である。あるいは、輪郭情報や形状データにおける前記差分値の候補領域ＳＲ［ｉ，ｊ，Ｗｐ，Ｈｐ］での平均値、最大値、または取りえる範囲の上限設定値を求め、各値をその値で除算することで正規化した後、距離推定装置２００での処理を行うことも可能である。このような方法を用いることにより、パターンマッチング処理を行う際の大きな変動成分による影響をある程度抑えることが可能となる。
　また、距離推定装置２００において、対象領域抽出部１４を、図１１に示す対象領域抽出部１４Ａに置換させた構成としてもよい。

　この対象領域抽出部１４Ａは、輪郭検出部１４１で得られた各画素（ｉ，ｊ）の輪郭情報Ｅ（ｉ，ｊ）に対して、各画素の色度合いを検出する色度合い検出部１４４を組み合わせたものである。
　色度合い検出部１４４では、対象領域における色情報でさらに制約をつけることにより、パターンマッチング部１４２での精度向上および高速化を図るものである。
　例えば、対象領域を顔領域とする場合、色度合い検出部１４４は、肌色度合い量Ｃ（ｉ，ｊ）をカラー画像の各画素（ｉ，ｊ）に対して算出する。そして、特徴量抽出部１４６は、色度合い量Ｃ（ｉ，ｊ）と輪郭情報Ｅ（ｉ，ｊ）とを組み合わせた特徴量ＳＥ（ｉ，ｊ）を各画素（ｉ，ｊ）に対して求める。この場合、いろいろな方法があるが簡易なものとしては、（数式１３）による方法がある。

　また、これ以外にも、（数式１４）のように、色度合い量Ｃ（ｉ，ｊ）と輪郭情報Ｅ（ｉ，ｊ）とを２変数とした非線形関数変換を用いて特徴量ＳＥ（ｉ，ｊ）を求めることも可能である。

　対象領域抽出部１４Ａでは、このようにして求めた特徴量ＳＥ（ｉ，ｊ）を用いて、対象領域抽出部１４と同様にパターンマッチング処理を行うことで、対象領域抽出を行うことができる。
　［第３実施形態］
　図１２から図１５を用いて、本発明の第３実施形態として、カラー画像より抽出された対象領域内での環境光分布をもとに、その影響の少ない発光周波数を持つ発光源による距離推定装置および距離推定方法について説明する。
　図１２または図１５に、本発明の第３実施形態に係る距離推定装置内の対象領域抽出部１４Ｂおよび１４Ｃの構成を示す。

　図１３は、第３実施形態に係る距離推定装置内の対象領域抽出部１４Ｂおよび１４Ｃにおける分類手法の概要を示した図である。図１４は、第３の実施形態に係る距離推定装置内の候補画素抽出、分類、候補領域検出の様子を模式的に示す図である。なお、上記実施形態と同様な構成要素については、同じ番号を付し、説明を省略する。
　なお、本実施形態に係る距離推定装置は、第２実施形態の距離推定装置２００における対象領域抽出部１４または１４Ａを、対象領域抽出部１４Ｂまたは１４Ｃに置換した点が異なる。それ以外は、第２実施形態に係る距離推定装置２００と同様である。
　図１２から図１４に従い、本発明の第３実施形態である距離推定装置および距離推定方法について説明する。なお、本実施形態の距離推定装置において、対象領域抽出部以外の処理については、第２実施形態と同様であるので、詳細な説明を省略する。

　領域内発光周波数選択部７Ａでは、第２実施形態の場合と同様に、図７に模式的に示したように、カラー画像生成部１３で生成したカラー画像から対象領域抽出部１４Ｂにより取得された対象領域情報をもとに、最適発光周波数Ｆｂｅｓｔの選択を行う。
　対象領域抽出部１４Ｂは、図１２に示すように、候補画素抽出部１４８、分類処理部１４９、および候補領域検出部１５０で構成される領域検出部１４７と、最大領域抽出部１５１と、を備える。なお、図１２では、パラメータ記憶メモリ１５２を外部メモリとする構成としているが、対象領域抽出部１４Ｂは、パラメータ記憶メモリ１５２を含む構成であってもよい。
　まず、対象領域抽出部１４Ｂの候補画素抽出部１４８では、図１３（ａ）に示すように、カラー画像内の各画素に対して、候補画素であるかどうかの判定処理を行う。この判定処理には、例えば、第２実施形態における色度合い検出部１４４と同様に、対象領域との色合い度を調べ、所定のしきい値ＴＨ３より大きいものを候補画素とすることが考えられる。この場合、色度合い度としては、対象領域の目標色情報（例えばＹＣｂＣｒ色空間におけるＣｂ、Ｃｒの値Ｃｒ０、Ｃｂ０）と各画素のＣｂ，Ｃｒの値との差分を求め、その差が大きいほど色度合い度Ｃｉが小さい値になるように定義すればよい。この際、対象領域の目標色情報（例えばＹＣｂＣｒ空間におけるＣｂ、Ｃｒの値Ｃｒ０、Ｃｂ０）は１つである必要がなく、複数であってもよい。その場合、画素ｉの色度合い度は、画素ｉと目標色情報の差分で得られた各色度合い度の平均とすることができる。また、対象領域の取りうる色情報の領域を設定して、その領域の中心値と画素ｉのＣｂ、Ｃｒの値の差分により、画素ｉの色度合い度を定義するようにしてもよい。

　次に、対象領域抽出部１４Ｂの分類処理部１４９では、候補画素抽出部１４８での上記判定処理により選ばれた候補画素ＰＥｓ（ｓ＝１，…，ＭＭＭ）に対して、図１３に示すような分類処理を実行する。
　この分類処理は、候補画素ＰＥｓを表す色情報Ｃ１ｓ，Ｃ２ｓと画素位置Ｐ１ｓ，Ｐ２ｓを成分として持つベクトルＶＥｓを定義し、そのベクトル集合に対して、ベクトル量子化手法を適用することで実施される。ベクトル量子化手法とは、複数のベクトルＶｔ（ｔ＝１，…，Ｔｏｔａｌ）を所定の評価値をもとに近いかたまり（クラスタ、グループ）に分類する手法である。なお、Ｃ１，Ｃ２の一例としては、色情報Ｃｂ、Ｃｒが考えられ、Ｐ１、Ｐ２の一例としては、画素座標ｘ，ｙが考えられる。ただし、これに限定されることはなく、例えば、Ｃ１，Ｃ２としては、ＨＳＶ色空間におけるＳ（彩度）とＨ（色相）であってもよいし、Ｌａ＊ｂ＊色空間における色度ａ＊、色度ｂ＊であってもよい。つまり、カラー画像内の色情報として用いられるこのような公知の色空間の色成分を使うことで、よりユーザの感覚に近い分類処理を行うことが可能となる。

　図１４は、対象領域抽出部１４Ｂの分類処理部１４９での分類処理の様子を模式的に示した図である。
　図４（ｂ）のＧ１、Ｇ２、Ｇ３が各クラスタを示す。Ｇ１～Ｇ３の各クラスタは、分類処理部１４９により分類されたものである。さらに、候補領域検出部１５０では、図１４（ｂ）におけるクラスタＧ１、Ｇ２、Ｇ３を、そのクラスタの位置をもとに領域化する。ここでは、各クラスタ分類後の候補画素の周囲８つの候補画素を見て、連結しているかどうかで領域化を行う。例えば、図１４（ｂ）におけるクラスタＧ１は、２つの離れたかたまりに同じクラスタ番号が付加されているが、この候補領域検出部１５０での連結判定処理により、図１４（ｃ）に示すように、Ｌ１とＬ４に異なる領域番号が付加されるようになる。なお、ここで、連結処理にも多くの方法があり、例えば、候補領域検出部１５０において、画像処理で公知の対象画素の画素値とその周囲画素の画素値との差分により定義される距離値を求め、それが所定のしきい値ＴＨ４より小さければ、対象画素とその周囲画素は似た値を持つ（連結している）と判断する方法により処理を行うようにしてもよい。

　このようにして、候補領域検出部１５０により候補領域（複数のクラスタ領域）が検出される。候補領域検出部１５０により検出された候補領域（複数のクラスタ領域）は、最大領域抽出部１５１により、各クラスタ領域の画素数が調べられ、最大画素数を持つ領域の候補領域が対象領域として抽出される。そして、抽出された対象領域を示す情報が、対象領域情報として、最大領域抽出部１５１から対象領域内電荷抽出部１０に出力される。
　このように、本実施形態の距離推定装置では、画像内の色分布に応じて対象となる領域を自動的に抽出することができるため、第２実施形態のように予め用意されたテンプレート形状データへの依存を抑制することができるとともに、カラー画像生成時における画素値変動の影響（環境光の変動やＣＣＤ等の撮像素子での電荷変換の変動によるノイズ等の影響）を緩和することもできる。

　つまり、第３実施形態の距離推定装置および距離推定方法では、第２実施形態の距離推定装置および距離推定装置方法において、対象領域を抽出する際に、輝度、色情報をもとに各画素のグループ化を行うことで領域分割し、画像内で注目度の高い領域を自動抽出することができる。そして、第３実施形態の距離推定装置の距離推定方法では、自動抽出した領域のスペクトル分析結果をもとに、環境光の影響を受けにくい発光周波数の照明光の光源を選択し、その照明光により距離推定処理を行い、距離画像を取得する。したがって、第３実施形態の距離推定装置および距離推定方法では、画像内で注目度の高い領域において、精度の高い距離画像を取得することができる。
　なお、対象領域抽出部１４Ｂの代わりに、図１５に示す構成の対象領域抽出部１４Ｃを用いることも可能である。

　対象領域抽出部１４Ｃは、図１５に示すように、対象領域抽出部１４Ｂの最大領域抽出部１５１を対象領域判定部１５３に置換し、さらに、対象領域情報記憶メモリ１５４に記憶されているデータを利用することができる構成となっている。
　対象領域抽出部１４Ｃでは、候補領域検出処理後の各クラスタ領域に対して、そのクラスタの重心位置や、平均色情報、クラスタの円形度、クラスタの画素数等でそのクラスタの評価値を求め（この評価値の基準となるデータを対象領域情報記憶メモリ１５４に記憶しておく。）、その評価値が所定のしきい値ＴＨ５より高い複数クラスタ領域を抽出することにより対象領域を決定する、あるいは、最も高い評価値を持つクラスタ領域を１つ選択・抽出することにより対象領域を決定するようにしてもよい。対象領域抽出部１４Ｃにおいて、このように処理することで、さらに適切に対象領域の決定を行うことができるので、距離推定装置での距離推定処理をさらに高精度なものにすることができる。

　［第４実施形態］
　図１６から図１９を用いて、本発明の第４実施形態として、カラー画像より抽出された対象領域内での環境光分布（環境光のスペクトル分布）をもとに、その影響の少ない発光周波数を持つ発光源による距離推定装置および距離推定方法について説明する。
　図１６または図１９に、本発明の第４実施形態に係る距離推定装置内の対象領域抽出部１４Ｄまたは１４Ｅの構成を示す。
　図１８は、第４実施形態に係る距離推定装置内の対象領域抽出部における画像分割部での画像分割処理を説明するための図である。図１７は、第４の実施形態に係る距離推定方法の処理フローチャート図である。なお、上記実施形態と同様な構成要素については、同じ番号を付し、詳細な説明を省略する。

　なお、本実施形態に係る距離推定装置は、第２実施形態の距離推定装置２００における対象領域抽出部１４または１４Ａを、対象領域抽出部１４Ｄまたは１４Ｅに置換した点が異なる。それ以外は、第２実施形態に係る距離推定装置２００と同様である。
　対象領域抽出部１４Ｄは、図１６に示すように、ブロック領域検出部１６０と最大領域抽出部１６６、外部メモリである第２パラメータ記憶メモリ１６５より構成されている。ブロック領域検出部１６０は、画像分割部１６１、候補ブロック抽出部１６２、ブロック分類処理部１６３、候補ブロック領域検出部１６４より構成される。
　以下、本発明の第４実施形態に係る距離推定装置および距離推定方法について説明する。なお、本実施形態の距離推定装置において、対象領域抽出部以外の処理については、第２実施形態と同様であるので、詳細な説明を省略する。

　本実施形態の特徴は、第３実施形態における対象領域抽出処理において、画素単位で実施するのではなく、図１８に示すように、所定の画素数を含むブロック単位にカラー画像を細分化し、そのブロック単位に、第３実施形態の対象領域抽出処理と同様の処理を実行することにある。このように処理を行う本実施形態の距離推定装置では、画素単位での候補画素検出、候補画素分類、候補領域検出（図１４参照）の処理をブロック単位で行うことができるので、処理量の削減を図ることができる。
　なお、本実施形態に係る距離推定装置において、図１６に示した対象領域抽出部１４Ｄを、図１９に示す対象領域抽出部１４Ｅに置換した構成とすることも可能である。この図１９の対象領域抽出部１４Ｅは、第３実施形態における図１５の対象領域抽出部１４Ｃのブロック単位処理版に相当し、処理単位がブロック単位である点のみが相違する。

　［第５実施形態］
　図２０から図２２を用いて、本発明の第５実施形態の距離推定装置および距離推定方法について説明する。
　図２０は、本発明の第５実施形態に係る距離推定装置５００の概略構成図である。
　図２１は、第５実施形態に係る距離推定装置５００での処理（距離推定方法）の概要を模式的に示す図である。
　図２２は、第５実施形態に係る距離推定方法の処理フローチャートを示す図である。図２２のフローチャートにおいて、ステップＦ８１およびＦ８２は、ステップＦ２０３の前であればよいので、図２２のフローチャートに限定されない。例えば、ステップＦ８１およびＦ８２は、ステップＦ２０３の直前であってもよい。

　なお、前述の実施形態と同様な構成要素については、同じ番号を付し、詳細な説明を省略する。
　＜５．１：距離推定装置の構成＞
　距離推定装置５００は、図２０に示すように、第２実施形態の距離推定装置２００から、領域内発光周波数選択部７Ａおよび対象領域内電荷抽出部１０を削除し、そして、モード制御部４を制御部１９５に置換し、発光源セレクト制御部８を発光源制御部１９０に置換し、さらに、複数画像生成部１９１、複数画像メモリ部１９２、対象領域内距離情報抽出部１９３、および最適距離画像選択部１９４を追加した構成を有している。
　それ以外については、第２実施形態の距離推定装置２００と同様であるので、説明を省略する。

　発光源制御部１９０は、複数の光源９Ａ～９Ｎ（第１発光源９Ａから第Ｎ発光源９Ｎ）と接続されており、制御部１９５からの光源切替信号に基づいて、発光させる光源を順次切り替える。また、発光源制御部１９０は、前述の実施形態のモード制御部４と同様に、制御部１９５からの光強度変調制御信号により、発光させている光源の光の強度を変調する。
　制御部１９５は、発光源制御部１９０に対して、光源切替信号および光強度変調制御信号を出力し、複数の発光源の発光制御を、発光源制御部１９０を介して行う。また、制御部１９５は、電荷集積部３および信号演算部５に対して、前述の実施形態のモード制御部４の距離画像取得モードにおける制御と同様の制御を行う。
　複数画像生成部１９１は、信号演算部５からの距離情報Ｌｉを入力とし、距離情報Ｌｉから距離画像を作成する。そして、複数画像生成部１９１は、取得した距離画像が、第１発光源９Ａ～第Ｎ発光源９Ｎの中のどの発光源を用いて取得した画像であるかを示す情報とともに、取得した距離画像を複数画像保持メモリ部１９２に出力する。

　複数画像メモリ部１９２は、複数画像生成部１９１から取得された距離画像を、当該距離画像が取得されたときの発光源の情報とともに記録保持する。なお、複数画像メモリ部１９２で記録保持される当該距離画像が取得されたときの発光源の情報は、制御部１９５から取得するものであってもよい。また、複数画像メモリ部１９２は、記録保持している距離画像とその距離画像が取得されたときの発光源の情報とを、対象領域内距離情報抽出部１９３からの要求に従い、対象領域内距離情報抽出部１９３に出力する。なお、複数画像メモリ部１９２は、少なくとも発光源の数分（Ｎ個分）の距離画像およびその発光源の情報を記録保持することができるメモリである。
　対象領域内距離情報抽出部１９３は、複数画像メモリ部１９２により、記録保持している距離画像およびその距離画像が取得されたときの発光源の情報と、対象領域抽出部１４から出力される対象領域情報と、を入力とし、距離画像から対象領域内の距離情報を抽出する。そして、対象領域内距離情報抽出部１９３は、抽出した対象領域内の距離情報を、距離情報が取得された発光源の情報とともに、最適距離画像選択部１９４に出力する。

　最適距離画像選択部１９４は、対象領域内距離情報抽出部１９３により抽出された対象領域内の距離情報およびその距離情報が取得された発光源の情報を入力とし、対象領域内の距離情報から最適距離画像を決定し、決定した最適距離画像を出力する。具体的には、最適距離画像選択部１９４は、光源数であるＮ個分の対象領域内の距離情報を所定の基準に基づき評価し、対象領域内の距離情報が最適である距離情報を決定する。そして、最適距離画像選択部１９４は、最適であると判断した距離情報を取得したときの光源を用いて取得された距離画像を最適距離画像に決定する。
　＜５．２：距離推定装置の動作＞
　以上のように構成された距離推定装置５００の動作について、図２０～図２２を用いて説明する。なお、前述の実施形態の距離推定装置と同様の動作については、説明を省略する。

　本実施形態の距離推定装置５００は、第２実施形態の距離推定装置２００のように、２つのモード（発光周波数選択モードおよび距離画像取得モード）を切り替えて動作するものではなく、１つのモードで（モードの切替なしに）動作する。
　まず、距離推定装置５００では、第１発光源９Ａによる距離画像を取得する。
　制御部１９５は、発光源制御部１９０に対して、第１発光源９Ａを発光させるための光源切替制御信号を出力する。それとともに、制御部１９５は、発光源制御部１９０に対して、光強度変調制御信号を出力する。
　発光源制御部１９０は、制御部１９５からの光源切替制御信号に基づき、第１発光源９Ａを発光させる。そして、発光源制御部１９０は、制御部１９５からの光強度変調制御信号に基づき、第１発光源９Ａから発光される光（赤外光）の強度を変調する。

　なお、本実施形態では、第１発光源９Ａ～第Ｎ発光源９Ｎで発光される光は、赤外光であるものとして、以下説明する。
　受光光学系１では、第１発光源９Ａから発光され、撮像対象空間に照射され、撮像対象空間で反射された光（反射光Ｓ２）を受光する。
　そして、受光した光から、受光素子部２、電荷集積部３、信号演算部５により、前述の実施形態同様に、距離情報Ｌｉが取得される。
　複数画像生成部１９１では、距離情報Ｌｉから距離画像が生成される。複数画像生成部１９１により生成された距離画像は、第１発光源９Ａから取得された距離画像として、複数画像保持メモリ部１９２に出力される。ここで、第１発光源９Ａから生成された距離画像を、Ｉｍｇ（９Ａ）（同様に、第Ｎ発光源９Ｎから生成された距離画像をＩｍｇ（９Ｎ））と表記することにする。

　複数画像メモリ部１９２では、距離画像Ｉｍｇ（９Ａ）が第１発光源９Ａを用いて取得された距離画像であることを示す情報とともに、距離画像Ｉｍｇ（９Ａ）を記録・保持する。
　次に、距離推定装置５００では、第２発光源９Ｂによる距離画像を取得する。
　制御部１９５は、発光源制御部１９０に対して、第２発光源９Ｂを発光させるための光源切替制御信号を出力する。それとともに、制御部１９５は、発光源制御部１９０に対して、光強度変調制御信号を出力する。
　発光源制御部１９０は、制御部１９５からの光源切替制御信号に基づき、第２発光源９Ｂを発光させる。そして、発光源制御部１９０は、制御部１９５からの光強度変調制御信号に基づき、第２発光源９Ｂから発光される光（赤外光）の強度を変調する。

　受光光学系１では、第１発光源９Ａから発光され、撮像対象空間に照射され、撮像対象空間で反射された光（反射光Ｓ２）を受光する。
　そして、受光した光から、受光素子部２、電荷集積部３、信号演算部５により、前述の実施形態同様に、距離情報Ｌｉが取得される。
　複数画像生成部１９１では、距離情報Ｌｉから距離画像Ｉｍｇ（９Ｂ）が生成される。複数画像生成部１９１により生成された距離画像Ｉｍｇ（９Ｂ）は、第２発光源９Ｂから取得された距離画像として、複数画像保持メモリ部１９２に出力される。
　複数画像メモリ部１９２では、距離画像Ｉｍｇ（９Ｂ）が第２発光源９Ｂにより取得された距離画像であることを示す情報とともに、距離画像Ｉｍｇ（９Ｂ）を記録・保持する。

　さらに、距離推定装置５００では、第３発光源９Ｃ～第Ｎ発光源９Ｎによる距離画像を、上記と同様にして取得する。
　全ての発光源９Ａ～９Ｎによる距離画像Ｉｍｇ（９Ａ）～Ｉｍｇ（９Ｎ）が取得され、複数画像保持メモリ部１９２に記録・保持されている状態になった後、対象領域内距離情報抽出部１９３は、対象領域抽出部１４により決定された対象領域内において、距離画像Ｉｍｇ（９Ａ）～Ｉｍｇ（９Ｎ）から距離情報Ｌｉ（９Ａ）～Ｌｉ（９Ｎ）を抽出する。なお、ここで、距離画像Ｉｍｇ（ｘ）から取得した対象領域内の距離情報をＬｉ（ｘ）と表記する。
　そして、対象領域内距離情報抽出部１９３は、抽出した距離情報Ｌｉ（９Ａ）～Ｌｉ（９Ｎ）を最適距離画像選択部１９４に出力する。

　最適距離画像選択部１９４では、抽出した距離情報Ｌｉ（９Ａ）～Ｌｉ（９Ｎ）から、複数の発光源９Ａ～９Ｎの各発光周波数ｆに対応する対象領域内の距離画像Ｉｍｇ（９Ａ）～Ｉｍｇ（９Ｎ）の階調特性を調べ、最適な距離画像を選択する処理を行う。そして、最適距離画像選択部１９４は、最適であると判断した距離画像を、複数画像保持メモリ１９２から取り出し、最適距離画像として出力する。
　図２１は、最適距離画像選択部１９４で最適な距離画像を選択する方法の一例の処理概要を示す図である。図２１に示すように、距離推定装置５００では、対象領域（図２１では、顔領域）における複数の発光源９Ａ～９Ｎの各発光周波数ｆに対する距離画像の精度・分解能を比較する。
　その際、最適距離画像選択部１９４では、例えば、以下の判断基準を用いて、最適距離画像を決定するようにすればよい。

　最適距離画像選択部１９４では、抽出した距離情報Ｌｉ（９Ａ）～Ｌｉ（９Ｎ）に基づいて、
（１）対象領域内の距離画像の階調レンジが最大のもの
（２）対象領域内の距離画像の階調特性が線形に近いもの（対象領域内の距離画像の画素値の線形性が良いもの）（例えば、対象領域内の距離画像の画素値において、極端な変化が見られる画像や、画素値が飽和している場合等は、距離画像の画素値の線形性が悪いと判断できる。）
（３）対象領域内の距離画像の画素のコントラスト比の大きいもの（対象画素の値とその隣接する画素の値との差分の絶対値や比、それらの値を正規化したものや、対象画素値と所定の広さにおける周囲画素の平均値との差分の絶対値や比でもよい）
等を求めることで、距離画像Ｉｍｇ（９Ａ）～Ｉｍｇ（９Ｎ）の中から最適距離画像を決定する。例えば、上記（１）の判断基準を用いた場合、最適距離画像選択部１９４が、対象領域内の距離情報をＬｉ（９Ｃ）の階調レンジが最大であると判断したとき、最適距離画像選択部１９４は、Ｉｍｇ（９Ｃ）が最適距離画像であると判断する。そして、最適距離画像選択部１９４は、距離画像Ｉｍｇ（９Ｃ）を複数画像保持メモリ１９２から取り出し、最適距離画像として出力する。なお、最適距離画像は、直接、複数画像保持メモリ１９２から出力するようにしてもよいし、図２０に示すように、最適距離画像選択部１９４が、最適距離画像を複数画像保持メモリ１９２から読み出し、最適距離画像選択部１９４から出力するようにしてもよい。

　以上のように、本実施形態の距離推定装置５００および距離推定方法では、複数の発光源から発光された光（赤外光）（複数の周波数の光）を用いて生成された距離画像データに対して、それぞれ、カラー画像より抽出された対象領域に相当する距離画像内の画素値分布を求め、求めた画素値分布から適切な画素値分布を示す距離画像データを選択する。つまり、本実施形態の距離推定装置５００および距離推定方法では、注目すべき対象領域において環境光の影響を受けにくい発光周波数の照明光の光源による距離画像を最適距離画像として取得することができるので、画像内で注目度の高い領域において、精度の高い距離画像を取得することができる。
　本実施形態の距離推定装置５００および距離推定方法では、第２～第４実施形態の距離推定装置や距離推定方法のように、まず、複数の発光源のいずれからも発光のない状態で環境光の影響の少ない最適発光周波数Ｆｂｅｓｔを決定してから（発光周波数選択モードの処理）、所定の発光源からの照射光による反射光を用いた距離画像を生成する（距離画像取得モードの処理）というモード切替による処理（２つのモードによる処理）を行う必要がないという利点も持つ。

　［他の実施形態］
　前述の実施形態では、複数の発光源を持つ距離推定装置について説明したが、これに限定されることはなく、例えば、発光する光（電磁波）の周波数を可変できる光源を用いてもよい。
　また、前述の実施形態では、スペクトル分析部７１におけるスペクトル分析として、フーリエ変換による周波数分析を用いた。しかし、より簡易に反射光Ｓ２をプリズムや回折格子等の分光器を通して異なる波長λをもつ光強度に分解し各波長の順に光強度を並べることも可能である（図２７参照）。この場合、反射光は赤外光であるため、その波長も赤外光領域（波長が８００［ｎｍ］から１０００００［ｎｍ］の領域）になる。そして、この波長に対する各光強度の内で、光強度が最小となる波長に近い波長λｒ１を放出する発光源を、第１発光源９Ａ～第Ｎ発光源９ＮのＮ個の発光源から選択することとなる。この場合、Ｎ個の発光源は、波長が予め設定されていることとなる。そして、選択された波長を出す発光源のみを発光させて、そこからの反射光により距離画像を生成することで環境光の影響をうけにくい距離画像を得るようにしてもよい。なお、この場合、光の速度は固定であるため、各発光源からの波長が異なることは、前述の実施形態で示した各発光源からの周波数が異なることと等価となる。

　また、本願発明により取得された距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像により３次元表示装置等において、３次元画像（映像）表示を行うようにしてもよい。また、本願発明の距離測定装置と、３次元表示装置と、を備える３次元表示システムにおいて、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像により３次元表示装置において、画像（映像）を３次元表示するようにしてもよい。
　また、本願発明の距離測定装置に、３次元画像生成部を追加し、３次元画像生成部において、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像を出力するようにしてもよい。これにより、３次元画像生成部を追加した距離測定装置から出力される左目用視差画像および右目用視差画像を用いて、例えば、３次元表示装置により、３次元画像（映像）表示を行うことができる。

　ここで、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）は、距離情報が判明している場合、参照とする画像内の画素位置（ｘ，ｙ）における画素ｐ（ｘ，ｙ）の距離情報ｚ（ｘ，ｙ）に応じて、画素ｐを左右にずらすことにより生成することが可能である。なお、距離情報ｚ（ｘ，ｙ）は所定の基準からの相対距離（奥行き値）でもよい。また、所定の基準点と各画像内の画素の距離情報との関係をもとに、三角測量等の幾何学的手法で対応する画素の視差量を求めることもできる。
　上記実施形態において説明した本発明の距離推定方法および距離推定装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。

　より詳しくは、上記各実施形態の距離推定装置は、個別に１チップ化させてもよいし、一部または全てを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路の手法にはＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
　さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

　また、上記各実施形態の各機能ブロックの処理は、プログラムにより実現されるものであってもよい。上記各実施形態の各機能ブロックの処理は、例えば、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係る距離推定装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

　なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

　本発明の距離推定装置、距離推定方法、プログラム、集積回路およびカメラは、環境光の影響の受けにくい照射光を用いることで、距離画像の高解像度・高フレームレート化を行うことができるので、映像機器関連産業分野において、有用であり、本発明は、当該分野において実施することができる。

１００、２００、５００　距離推定装置
１　受光光学系
２　受光素子部
３　電荷集積部
４　モード制御部
５　信号演算部
６　画像生成部
７　発光周波数選択部
８　発光源セレクト制御部
９Ａ～９Ｎ　発光源
ＯＢＪ１０　対象物体
Ｓ１　照明光
Ｓ２　反射光
１１　色分解プリズム
７Ａ　領域内発光周波数選択部
１０　対象領域内電荷抽出部
１２　撮像素子部
１３　カラー画像生成部
１４　対象領域抽出部
１９０　発光源制御部
１９１　複数画像生成部
１９２　複数画像保存メモリ部
１９３　対象領域内距離情報抽出部
１９４　最適距離画像選択部

Claims

　光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
　光強度変調可能な光を照射する光源と、
　前記光源を制御する発光源制御部と、
　前記光源から発光される光の周波数を決定する発光周波数選択部と、
　前記対象物からの光を集光する受光光学系と、
　前記受光光学系で受光した光を電荷に変換する受光素子部と、
　前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
　前記電荷信号に基づいて、距離情報を算出する信号演算部と、
　前記距離情報に基づいて、距離画像を生成する画像生成部と、
を備え、
　発光周波数選択モードにおいて、
　前記発光源制御部は、前記光源を発光させない状態に制御し、
　前記発光周波数選択部は、前記電荷集積部により取得された電荷信号の周波数スペクトルを取得し、前記周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定し、
　前記発光源制御部は、前記光源の発光周波数を前記最適発光周波数に設定し、
　距離画像取得モードにおいて、
　前記発光源制御部は、前記最適周波数を用いて前記光源を発光させ、
　前記電荷集積部は、前記最適周波数を用いて前記光源を発光させた状態で受光した光から前記電荷信号を取得し、
　前記信号演算部は、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて、前記距離情報を算出し、
　前記画像生成部は、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて算出された前記距離情報に基づいて、前記距離画像を生成する、
　距離推定装置。
　前記光源は、それぞれ、発光周波数の異なる複数の発光源を有し、
　前記発光源制御部は、前記複数の発光源の中から、前記最適発光周波数に最も近い前記発光周波数の発光源を選択し、前記距離画像取得モードにおいて、選択した前記発光源を発光させるように制御する、
　請求項１に記載の距離推定装置。
　前記複数の光源は、赤外領域の周波数の光を発光させる、
　請求項２に記載の距離推定装置。
　前記受光光学系で受光した光を、可視光成分の光と、赤外光成分の光に分解する色分解プリズムと、
　前記色分解プリズムにより分解された前記可視光成分の光を画像生成用電荷信号に変換する撮像素子部と、
　前記撮像素子部により変換された前記画像生成用電荷信号から画像を生成する画像生成部と、
　前記画像生成部により生成された前記画像において、所定の画像領域を対象領域として抽出する対象領域抽出部と、
　前記電荷集積部により取得された前記電荷信号において、前記対象領域内に対応する前記電荷信号のみを抽出する対象領域内電荷抽出部と、
をさらに備え、
　前記発光周波数選択部は、前記対象領域内電荷抽出部により抽出された前記電荷信号の周波数スペクトルを取得し、前記周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定する、
　請求項１から３のいずれかに記載の距離推定装置。
　前記対象領域抽出部は、前記対象領域を、顔の画像領域とする、
　請求項４に記載の距離推定装置。
　前記対象領域抽出部は、前記対象領域を、人物の画像領域とする、
　請求項４に記載の距離推定装置。
　前記対象領域抽出部は、前記対象領域を、ユーザが指定した画像領域とする、
　請求項４に記載の距離推定装置。
　前記対象領域抽出部は、前記画像生成部により生成される前記画像に対して、領域分割処理を行い、大きな領域に分割された画像領域を、前記対象領域とする、
　請求項４に記載の距離推定装置。
　前記対象領域抽出部は、輝度、色情報に基づいて、前記画像を形成する各画素のグループ化を行うことで、前記領域分割処理を行う、
　請求項８に記載の距離推定装置。
　前記対象領域抽出部は、前記画像生成部により生成される前記画像において、画像内のブロック分割処理を行い、分割された各画像ブロック内の平均輝度情報または／および平均色情報に基づいて、前記各画像ブロックのグループ化を行うことで前記領域分割処理を行う、
　請求項８に記載の距離推定装置。
　光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
　光強度変調可能な光を照射する光源と、
　前記光源を制御する発光源制御部と、
　前記対象物からの光を集光する受光光学系と、
　前記受光光学系で受光した光を電荷に変換する受光素子部と、
　前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
　前記電荷信号に基づいて、距離情報を算出する信号演算部と、
　前記距離情報に基づいて、距離画像を生成する画像生成部と、
　前記画像生成部により生成された前記距離画像を複数枚分記憶することができる複数画像保持メモリ部と、
　前記複数画像保持メモリ部に記憶されている複数枚の前記距離画像の中から最適距離画像を選択する最適距離画像選択部と、
　前記受光光学系で受光した光を、可視光成分の光と、赤外光成分の光に分解する色分解プリズムと、
　前記色分解プリズムにより分解された前記可視光成分の光を画像生成用電荷信号に変換する撮像素子部と、
　前記撮像素子部により変換された前記画像生成用電荷信号から画像を生成する画像生成部と、
　前記画像生成部により生成された前記画像において、所定の画像領域を対象領域として抽出する対象領域抽出部と、
　前記電荷集積部により取得された前記電荷信号において、前記対象領域内に対応する前記電荷信号のみを抽出する対象領域内電荷抽出部と、
を備え、
　前記発光源制御部は、前記光源から発光周波数の異なる光を前記対象物に照射するように制御し、
　前記複数画像保持メモリは、前記光源から発光周波数の異なる光を前記対象物に照射することにより生成された前記距離画像を複数枚記憶し、
　前記最適距離画像選択部は、前記複数画像保持メモリに記憶されている複数枚の前記距離画像において、前記対象領域抽出部により設定された前記対象領域内の画像データを所定の基準により評価することで、複数枚の前記距離画像の中から最適距離画像を選択する、
　距離推定装置。
　前記光源は、それぞれ、発光周波数の異なる複数の発光源を有している、
　請求項１１に記載の距離推定装置。
　前記複数の光源は、赤外領域の周波数の光を発光させる、
　請求項１２に記載の距離推定装置。
　光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
　光強度変調可能な光を照射する光源と、
　前記対象物からの光を集光する受光光学系と、
　前記受光光学系で受光した光を電荷に変換する受光素子部と、
　前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える、距離推定装置に用いられる距離推定方法であって、
　前記光源を制御する発光源制御ステップと、
　前記光源から発光される光の周波数を決定する発光周波数選択ステップと、
　前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
　前記距離情報に基づいて、距離画像を生成する画像生成ステップと、
を備え、
　発光周波数選択モードにおいて、
　前記光源を発光させない状態に制御し、
　前記発光周波数選択ステップでは、前記電荷集積部により取得された電荷信号の周波数スペクトルを取得し、前記周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定し、
　前記発光源制御ステップでは、前記光源の発光周波数を前記最適発光周波数に設定し、
　距離画像取得モードにおいて、
　前記発光源制御ステップでは、前記最適周波数を用いて前記光源を発光させ、
　前記信号演算ステップでは、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて、前記距離情報を算出し、
　前記画像生成ステップでは、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて算出された前記距離情報に基づいて、前記距離画像を生成する、
　距離推定方法。
　光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
　光強度変調可能な光を照射する光源と、
　前記対象物からの光を集光する受光光学系と、
　前記受光光学系で受光した光を電荷に変換する受光素子部と、
　前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える、距離推定装置に用いられる距離推定方法をコンピュータに実行させるプログラムであって、
　前記光源を制御する発光源制御ステップと、
　前記光源から発光される光の周波数を決定する発光周波数選択ステップと、
　前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
　前記距離情報に基づいて、距離画像を生成する画像生成ステップと、
を備え、
　発光周波数選択モードにおいて、
　前記光源を発光させない状態に制御し、
　前記発光周波数選択ステップでは、前記電荷集積部により取得された電荷信号の周波数スペクトルを取得し、前記周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定し、
　前記発光源制御ステップでは、前記光源の発光周波数を前記最適発光周波数に設定し、
　距離画像取得モードにおいて、
　前記発光源制御ステップでは、前記最適周波数を用いて前記光源を発光させ、
　前記信号演算ステップでは、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて、前記距離情報を算出し、
　前記画像生成ステップでは、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて算出された前記距離情報に基づいて、前記距離画像を生成する、
　距離推定方法をコンピュータに実行させるプログラム。
　光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置用の集積回路であって、
　光強度変調可能な光を照射する光源と、
　前記対象物からの光を集光する受光光学系と、
を備える距離推定装置に用いられる集積回路であって、
　前記光源を制御する発光源制御部と、
　前記光源から発光される光の周波数を決定する発光周波数選択部と、
　前記受光光学系で受光した光を電荷に変換する受光素子部と、
　前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
　前記電荷信号に基づいて、距離情報を算出する信号演算部と、
　前記距離情報に基づいて、距離画像を生成する画像生成部と、
を備え、
　発光周波数選択モードにおいて、
　前記発光源制御部は、前記光源を発光させない状態に制御し、
　前記発光周波数選択部は、前記電荷集積部により取得された電荷信号の周波数スペクトルを取得し、前記周波数スペクトルにおいて、周波数成分が少ない周波数帯域の所定の周波数を最適発光周波数に決定し、
　前記発光源制御部は、前記光源の発光周波数を前記最適発光周波数に設定し、
　距離画像取得モードにおいて、
　前記発光源制御部は、前記最適周波数を用いて前記光源を発光させ、
　前記電荷集積部は、前記最適周波数を用いて前記光源を発光させた状態で受光した光から前記電荷信号を取得し、
　前記信号演算部は、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて、前記距離情報を算出し、
　前記画像生成部は、前記最適周波数を用いて前記光源を発光させた状態で受光した光から取得した前記電荷信号に基づいて算出された前記距離情報に基づいて、前記距離画像を生成する、
　集積回路。
　請求項１から１３のいずれかに記載の距離推定装置を含む、
　カメラ。