JP5647118B2 - 撮像システム - Google Patents

Description

本出願は、３５Ｕ．Ｓ．Ｃ．第１１９条（ｅ）に基づき、参照によりその全内容が本明細書に組み込まれる、２００８年７月２９日出願の米国特許仮出願第６１／０８４，２６３号明細書の利益を主張する。

本発明は、あるシーンの３Ｄ画像を取得するように構成された撮像システムに関する。

増大しつつある極めて多量の様々な用途のために光学撮像システムが使用され、構成されており、システムによって提供される画像は、用途によって必要とされる様々なタイプおよび量の情報を提供するために処理される。中でも、製品および材料の検査、ＣＡＤ検証、バイオメトリクス識別、ロボットビジョン、地理的測量、およびジェスチャ認知などの用途がある。

一般に、あるシーンの画像における特徴の画像品質が向上するにつれて、所与の用途のために画像によって提供されるデータの質は向上する。様々なハードウェアおよび／または画像処理技術は、撮像システムを使用の用途に合わせ、撮像システムが提供する画像の所望の品質および／または特徴を提供するために使用される。

例えば、米国特許出願公開第２００８／０００２０６０号明細書は、フラッシュを使用してデジタルカメラによって取得される人の画像を改良するために「赤目」を削除するための方法を提供する。カメラは、取得された画像を赤目があるかどうかについて分析し、赤目エリアの色を黒に変更することによって画像を変更する赤目フィルタを備える。米国特許第６，９９３，２５５号明細書は、所望の効果にシーンの画像を合わせるために、画像の奥行きマップ（depth map）に応じて結像されるそのシーンの照度を調整することを記載する。本発明の一実施形態において、奥行きマップは、ＴＯＦ ３Ｄカメラ（time of flight 3D camera）によって提供される。「ｌｕｘｅｌ」と呼ばれるオプションで比較的小さい光源のアレイによって調整可能な照明が提供される。

上記で参照した米国特許出願公開および米国特許の開示は、参照により本明細書に組み込まれる。

本発明の一部の実施形態の一態様は、撮像システムからの面要素の距離に応じて結像されたシーンの面要素の反射率の値を決定する、オプションで光学の３Ｄ撮像システムを提供することに関する。

本発明の一部の実施形態の一態様は、面要素に対するそれぞれの法線に応じてシーンの面要素の反射率の値を決定する３Ｄ撮像システムを提供することに関する。

本発明の一部の実施形態の一態様は、実質的に、シーンの面要素の反射率、および／または面要素に対するそれぞれの法線と、面要素が撮像される方向との間の角度、すなわち「完全拡散角（Lambertian angle）」のみに応じてシーンの画像を提供する３Ｄ撮像システムを提供することに関する。

本発明の一部の実施形態の一態様によれば、３Ｄ撮像システムは、シーンを照らすための光源と、光源からの光に応じて感光性表面上にシーンを結像するように制御可能なカメラと、シーンの面要素までの距離を決定するためのレンジファインダとを備える。便宜上、感光性表面は、感光面と呼ばれ、撮像システムがシーンを結像する感光性の画素のアレイを含むと見なされる。

シーンの面要素の反射率を決定するために、本発明の一実施形態によれば、光源は、既知の光の強度でシーンを照らすように制御され、面要素によって反射される光は、カメラの感光面上に結像される。感光面上に結像されるシーンの面要素までの距離は、レンジファインダによって決定される。

本発明の一実施形態によれば、面要素のそれぞれに対する法線を決定するために、距離が処理される。面要素から面要素が結像される感光面の画素に向かう方向に沿った各面要素からの単位ベクトルは、「撮像方向」と呼ばれる。面要素は、拡散性の完全拡散反射面と見なされる。その結果、所与の面要素が結像される画素によって記録される光の量「Ｉ_Ｐ」は、面に垂直なユニットと撮像方向との間のドット積に実質的に比例すると考えられる。θがベクトル間の角度、すなわち「完全拡散角」である場合、Ｉ_Ｐは、以下のように書かれ得る。
Ｉ_Ｐ＝α（Ｉ_Ｏ／Ｄ^４）Ｒｃｏｓθ （１）
式（１）において、αは、カメラおよび光源の光学パラメータに依存する既知の比例定数、Ｉ_Ｏは、光源の単位面積当たりの光源によって提供される光の強度、Ｄは、面要素までの距離、Ｒは、その領域の反射率である。本発明の一実施形態によれば、反射率Ｒは、式１によって定義される制約に応じて、その領域について決定される。

オプションで、３Ｄ撮像システムにおけるレンジファインダは、本発明の一実施形態によれば、ゲート制御型ＴＯＦレンジファインダ（gated, time of flight range finder）を備える。ゲート制御型ＴＯＦレンジファインダは、少なくとも１つの光パルスでシーンを照らすように制御可能な光源、およびシーンによって反射される少なくとも１つの光パルスからの光を結像するゲート制御型感光面を備える。感光面は、光源によって送信された少なくとも１つの光パルスのそれぞれの後、短時間ゲートオンされ、これは以下「ゲート」と呼ばれる。画素上に結像されるシーンの面要素までの距離を決定するために、ゲートの間に感光面上に画素によって記録される光の量が使用される。オプションで、シーンを結像するために使用される光源および感光面は、ゲート制御型ＴＯＦレンジファインダに共通である。ゲート制御型ＴＯＦレンジファインダの様々なタイプおよび構成、およびそれらをゲート制御する方法は、米国特許第６，０５７，９０９号明細書、６，１００，５１７号明細書、および７２２４３８４号明細書、米国特許出願公開第２００７／００９１１７５号明細書、およびＰＣＴ出願ＩＬ２００７／００１５７１号明細書に記載され、その開示は、参照により本明細書に組み込まれる。提示の便宜上、ゲート制御型レンジファインダを備える本発明の一実施形態による３Ｄ撮像システムは、「３Ｄゲート制御型イメージャ」と呼ばれる。

本発明の一部の実施形態において、３Ｄ撮像システムは、画像における各画素、すなわち「画像画素」に、画像画素に対応するシーンの要素について決定される反射率Ｒに実質的に比例する強度値が提供されるシーンの画像を提供する。本発明の一部の実施形態において、３Ｄ撮像システムは、画像における各画素、すなわち「画像画素」に、画像画素に対応するシーンの要素について決定されるＲｃｏｓθに実質的に比例する強度値が提供されるシーンの画像を提供する。

本発明の一部の実施形態の一態様によれば、シーンにおける特徴は、特徴に関連付けられた反射率Ｒおよび／または完全拡散角に応じて識別される。

例えば、所与の素材は、本発明の一実施形態による３Ｄ撮像システムによって結像されるシーンを照らすために使用される光の特定の反射率Ｒ＊を有することが知られていると仮定する。それぞれの反射率Ｒおよび／またはＲｃｏｓθの値が反射率Ｒ＊を有する領域と一致する場合のみ、シーンの領域は、その素材から形成されるものと識別され得る。特定の例として、人の手を含むシーンの領域を識別することが望ましい場合、そのシーンにおける手の位置は、シーンの領域が人の肌のものと一致する反射率を示すかどうかを決定することによって識別され得る。さらに特定の例として、本発明の一実施形態に従って、人の画像においてよく知られている赤目効果を引き起こす赤およびＩＲの光の反射率が比較的高いことによって、画像における人の目が識別され得る。

本発明の一部の実施形態の一態様によれば、３Ｄ撮像システムによって結像されるシーンの照度は、シーンの面要素の反射率および／またはそれに対する法線の値に応じて制御される。

オプションで、３Ｄ撮像システムは、シーンの面要素の反射率および／またはそれに対する法線に応じてシーンの照度を制御するために、上記で参照した米国特許第６，９９３，２５５号明細書に記載の光源など、ｌｕｘｅｌを備える制御可能な光源を備える。オプションで、光源は、シーンが結像される感光面に照準が合わされる。

例えば、比較的低い反射率を有すると決定されたシーンの面要素は、比較的大きい反射率を有する面要素より強く照らされ得る。同様に、法線がそれぞれの撮像方向に対して比較的大きい角度を作る面要素は、法線がそれぞれの撮像方向に対して比較的小さい角度を作る面要素より強く照らされる、または場合によってはあまり強く照らされない場合がある。あるいは、またはさらに、３Ｄ撮像システムによって提供されるシーンの画像において領域が表示される方法を変更するために、特定の範囲における反射率の値を示すシーンの面要素の照度が高められたり、下げられたりしてもよい。例えば、本発明の一実施形態によれば、人の画像における赤目は、画像の赤目領域の反射率に応じて検出され、特定され、人の顔の照明は、赤目の検出および特定に応じて赤目を低減するように調整される。

したがって、本発明の一実施形態によれば、既知の強度の光でシーンを照らすための光源と、照射する既知の強度の光からシーンによって反射される光に応じてシーンを結像する光軸および光心を有するカメラと、カメラによって結像されるシーンの面要素までの距離を決定するように制御可能なレンジファインダと、カメラからの面要素の距離、照射する光の既知の強度、およびカメラによって結像される面要素からの光に応じてカメラによって結像されるシーンの面要素の反射率を決定するように構成されたコントローラとを備える撮像システムが提供される。

オプションで、コントローラは、決定された距離を処理して、カメラによって結像されるシーンの面要素に対する法線を画定する。オプションで、コントローラは、面要素に対する法線に応じてシーンの面要素の反射率を決定する。オプションで、コントローラは、面要素からの光をカメラが結像する撮像方向を、カメラによって結像される面要素について決定する。オプションで、撮像方向は、面要素からカメラの光心に向かう線に平行である。あるいは、撮像方向は、オプションで、カメラの光軸に平行である。

本発明の一部の実施形態において、コントローラは、撮像方向に応じて面要素の反射率を決定する。オプションで、コントローラは、法線と撮像方向に平行なベクトルとのドット積に応じて面要素の反射率を決定する。

本発明の一部の実施形態において、コントローラは、カメラによって結像される面要素について決定された反射率×面要素の撮像方向と法線との間の角度のコサインの積に応じてシーンにおける特徴を識別するように構成される。

本発明の一部の実施形態において、コントローラは、カメラによって結像される面要素の決定された反射率に応じてシーンにおける特徴を識別するように構成される。

本発明の一部の実施形態において、撮像システムは、シーンの画像を提供するように構成されたコントローラを備え、画像における画素の濃度値は、画素上に結像される面要素について決定された反射率×面要素の撮像方向と法線との間の角度のコサインの積に実質的に等しい。

本発明の一部の実施形態において、撮像システムは、その濃度値が画素上に結像されるシーンの面要素について決定された反射率に実質的に比例する画像画素を含むシーンの画像を提供するように構成されたコントローラを備える。

本発明の一部の実施形態において、レンジファインダは、ゲート制御型ＴＯＦレンジファインダを備える。

本発明の一部の実施形態において、撮像システムは、それぞれの法線に応じた光の強度で互いに独立してシーンの異なる領域を照らすように制御可能な光源を備える。

本発明の一部の実施形態において、撮像システムは、それぞれの反射率に応じた光の強度で互いに独立してシーンの異なる領域を照らすように制御可能な光源を備える。

本発明の一実施形態によれば、シーンの面要素の反射率を決定する方法がさらに提供され、この方法は、既知の強度の光でシーンを照らすステップと、既知の強度の光から面要素によって反射される光で面要素を結像するステップと、シーンの複数の面要素までの距離を決定するステップと、決定された距離に応じて面要素に対する法線を決定するステップと、法線、および面要素によって反射され結像される既知の強度の光からの光の量に応じて面要素の反射率を決定するステップとを含む。

オプションで、方法は、面要素からの光が実質的にそれに沿って結像される撮像方向を決定するステップを含む。オプションで、方法は、撮像方向に応じて反射率を決定するステップを含む。オプションで、方法は、光心を有するカメラでシーンを結像するステップを含み、撮像方向を決定するステップは、撮像方向が面要素からカメラの光心に向かう線に平行な方向であることを決定するステップを含む。あるいは、方法は、オプションで、光軸を有するカメラでシーンを結像するステップを含み、撮像方向を決定するステップは、撮像方向が光軸に平行な方向であることを決定するステップを含む。

本発明の一部の実施形態において、方法は、法線と撮像方向に対して平行なベクトルとのドット積に応じて面要素の反射率を決定するステップを含む。

本発明の一部の実施形態において、方法は、反射率×撮像方向と法線との間の角度のコサインの積に応じてシーンにおける特徴を識別するステップを含む。

本発明の一部の実施形態において、方法は、反射率に応じてシーンにおける特徴を識別するステップを含む。

本発明の一部の実施形態において、方法は、シーンの画像を提供するステップを含み、面要素を結像する画像における画素の濃度値は、決定された反射率×撮像方向と法線との間の角度のコサインの積に実質的に等しい。

本発明の一部の実施形態において、方法は、シーンの画像を提供するステップを含み、面要素を結像する画像における画素の濃度値は、反射率に実質的に比例する。

本発明の実施形態の非制限的な例については、この段落の後に列挙される、本明細書に添付の図を参照して、以下で説明される。複数の図に表示される同じ構造、要素、または部分は、概ね、それらが表示されるすべての図に同じ番号で表記される。図に示される構成要素および特徴の大きさは、便宜上、また提示を明瞭にするために選択されており、必ずしも等倍に示されるものではない。

本発明の一実施形態による、シーンを結像してシーンの面要素の反射率を決定する３Ｄ撮像システムを示す概略図である。 光パルスと図１に示されたゲート制御型イメージャのゲートとの同期を示すグラフである。 従来技術によるシーンの画像を示す図である。 本発明の一実施形態による図３Ａに示される同じシーンの画像を示す図である。 本発明の一実施形態による光源を備える３Ｄ撮像システムを示す概略図である。

図１は、本発明の一実施形態による、対象６１および６２を含むシーン６０を結像して対象の面要素の反射率を決定する３Ｄゲート制御型撮像システム２０を概略的に示す。

３Ｄゲート制御型撮像システム２０は、一例として、３Ｄゲート制御型イメージャと見なされる。３Ｄゲート制御型イメージャは、オプションで赤外（ＩＲ）光の少なくとも１つの光パルスでシーン６０を照らすための光源２２、一例としてゲート制御型ＣＣＤやＣＭＯＳ感光面など、画素２５のアレイを含むゲート制御可能感光面２４をオプションで備える。オプションで、ゲート制御可能感光面は、上記で参照した米国特許出願公開第２００７／００９１１７５号明細書に記載される感光面である。光心２７および破線２９で示される光軸を有するレンズ２６によって表されるレンズまたは光学系は、シーン６０から光を集め、感光面２４上に集められた光を結像する。コントローラ２８は、シーン６０を照らし、シーンの領域までの距離を決定するために、光源２２によって送信される少なくとも１つの光パルスの送信時間と感光面のゲート制御を同期するように光源２２および感光面２４を制御する。シーン６０の特徴を参照する便宜上、原点が光心２７に配置され、ｚ軸が光軸２９に一致する座標系８０が使用される。

図１において、一例として、破線の円弧および波状の矢印によってそれぞれ概略的に表される２つのＩＲ光パルス４１および４２が、シーン６０を照らすために、光源２２によって放射されるように示される。３Ｄゲート制御型イメージャによって結像されるシーン６０における面要素によって光パルス４１または４２から反射される光のパルスは、波状の矢印５０によって表される。波状の矢印５０は、面要素６３および６４のそれぞれについて示される。各波状の矢印５０は、面要素から面要素が結像される感光面２４における画素２５に向かう線、すなわち撮像方向に沿って、面要素から延びるように示される。撮像方向は、レンズ２６によって表される光学系の光心２７を通過し、面要素が結像される画素上で終了する面要素からの線によって画定される。面要素６３および６４は、撮像方向５１および５２をそれぞれ有し、提示の便宜上陰が付けられた画素５３および５４上にそれぞれ結像される。

例えばシーン６０の面要素６３および６４など、面要素までの距離を決定するために、光源２２によって送信される光パルス４１および４２と感光面２４のゲート制御を同期する方法は様々ある。これらの方法のいくつかは、上記で参照した米国特許第６，０５７，９０９号明細書、６，１００，５１７号明細書、７２２４３８４号明細書、米国特許出願公開第２００７／００９１１７５号明細書、およびＰＣＴ出願第ＩＬ２００７／００１５７１号に記載される。

図２は、シーン６０における特徴までの距離を決定するために、光源２２によって送信される光パルス、例えば図１に示される光パルス４１および４２と同期して感光面２４をゲート制御する方法例を示すタイムライン１０１および１２１を有するグラフ１００を概略的に示す。

タイムライン１０１は、送信光パルス４１および４２、並びにシーン６０の面要素によって送信光パルスから反射される、図１に示される光パルス５０などの光パルスのタイミングを概略的に示す。送信光パルス４１は、光パルスにおける光が３Ｄゲート制御型イメージャ２０から送出中であることを示す左から右に向く矢印を上に有する陰付きの実線の四角１４１によってタイムライン１０１に沿って表される。同様に、送信光パルス４２は、陰付きの実線の四角１４２および関連の上の矢印によってタイムライン１０１に沿って表される。光パルス１４１および１４２は、それぞれ時刻ｔ_４１およびｔ_４２に光源２２によって送信され、同じパルス幅「τ」を持つと見なされる。光パルスは、陰付き帯域１０４上に「乗せられ」、タイムラインの上のＩＲ背景帯域１０４の高さは、周囲の背景ＩＲ光の強度を概略的に表す。

３Ｄゲート制御型イメージャ２０からの距離「Ｄ」に配置されるシーン６０の所与の面要素によって光パルス１４１および１４２から反射される光のパルスは、陰付きの破線の四角１５１および１５２によってそれぞれ表される。それぞれの破線の四角は、光パルスにおける光が３Ｄゲート制御型イメージャに戻るように「入射中」であることを示す右から左に向く矢印を上に有する。反射光パルスは、それらが反射である送信されたパルスのパルス幅に等しいパルス幅τを有する。反射光パルス１５１および１５２は、例えば、図１に示される領域６３または領域６４によってそれぞれ送信光パルス１４１および１４２から反射された光パルスを表し得る。

「ｃ」が光の速度を表すとすると、反射光パルス１５１および１５２における光はまず、それぞれ時刻ｔ_４１＋Δｔおよびｔ_４２＋Δｔに３Ｄゲート制御型イメージャに到達し、ここでΔｔ＝２Ｄ／ｃは、光源２２から反射する面要素に到達して３Ｄゲート制御型イメージャ２０に戻るまでのフォトンの往復時間である。所与の反射光パルスからの光は、反射光パルスにおける最初のフォトンが３Ｄイメージャに到達した時間から期間τの間、３Ｄゲート制御型イメージャ２０に入射し続ける。

コントローラ２８が感光面２４のゲートを開き、感光面における画素２５が、レンズ２６によって感光面上に結像される光に感じやすい期間、すなわちゲートは、タイムライン１２１に沿って実線の四角によって表される。一例として、送信光パルス１４１の後、時刻ｔ_Ｆｇに、感光面２４は、オプションで、光パルス幅τに等しいゲート幅を有する「フロントゲート」と呼ばれる第１のゲート１６１、およびこれもまたオプションでゲート幅τを有する第２の時間的に隣接する「バックゲート」１６２の間ゲートオンされる。シーン６０の所与の面要素から反射された光パルスにおける光が、フロントおよび／またはバックゲート１６１および１６２の間に３Ｄゲート制御型イメージャ２０に到達した場合、所与の面要素からの光は、フロントおよび／またはバックゲートの間に面要素をそれぞれ結像する画像上に記録される。フロントゲート１６１が開始する時刻ｔ_Ｆｇに、３Ｄゲート制御型イメージャ２０の視野内の、距離（ｃ／２）（ｔ_Ｆｇ−τ）と（ｃ／２）（ｔ_Ｆｇ＋２τ）との間の距離「Ｄ」におけるシーン６０の任意の領域からの光は、フロントおよび／またはバックゲート１６１および／または１６２の間に記録される。

ゲートの間に画素２５によって記録される光の量は、ゲートの間に３Ｄイメージャ２０によって集められ、結像されるＩＲ背景光１０４、およびゲートの間に３Ｄイメージャに到達する画素上に結像されるシーン６０の所与の面要素によって送信光パルスから反射される光を含む。

ゲートにおける陰付きのベース領域１６３および１６４は、フロントゲートおよびバックゲート１６１および１６２の間、画素によって記録される背景光１０４の量を表す。フロントゲート１６１またはバックゲート１６２の間にシーン６０の所与の面要素が結像される画素によって記録される光パルス１４１から反射される光の量は、所与の面要素が配置される（ｃ／２）（ｔ_Ｆｇ−τ）から（ｃ／２）（ｔ_Ｆｇ＋２τ）までの範囲の距離に依存する。例えば、（ｃ／２）（ｔ_Ｆｇ−τ）≦Ｄ≦（ｃ／２）（ｔ_Ｆｇ）である場合に所与の面要素が距離Ｄに配置される場合、フロントゲートの間のみ、画素は反射光を記録する。Ｄ＝（ｃ／２）（ｔ_Ｆｇ）である場合、画素は、フロントゲート１６１の間に３Ｄゲート制御型イメージャ２０に到達する所与の面要素からの実質的にすべての反射光を記録する。Ｄが制約（ｃ／２）（ｔ_Ｆｇ）＜Ｄ＜（ｃ／２）（ｔ_Ｆｇ＋τ）を満たす場合、画素は、フロントゲートおよびバックゲートの間に、反射光を記録する。Ｄ＝（ｃ／２）（ｔ_Ｆｇ＋τ／２）である場合、画素は、フロントゲートの間の所与の領域からの反射光の半分およびバックゲートの間の反射光の半分を記録する。また、（ｃ／２）（ｔ_Ｆｇ＋τ）≦Ｄ≦（ｃ／２）（ｔ_Ｆｇ＋２τ）である場合、画素は、バックゲート１６２の間のみ、反射光を記録する。

一例として、図２において、反射ＩＲ光パルス１５１として、送信光パルス１４１から３Ｄ撮像システム２０に戻される光を反射する所与の面要素は、画素５３上に結像される面要素６３であると仮定する。領域６３は、制約（ｃ／２）（ｔ_Ｆｇ）＜Ｄ＜（ｃ／２）（ｔ_Ｆｇ＋τ）を満たす撮像システムからの距離Ｄに配置されるとさらに仮定する。その結果、画素５３は、フロントゲート１６１およびバックゲート１６２の間、反射光パルス１５１からの光を記録する。フロントゲートおよびバックゲート１６１および１６２におけるベース領域１６３および１６４上の陰付きの領域１６５および１６６は、それぞれフロントゲートおよびバックゲートの間、画素５３によって記録される反射光１５１の量を表す。

フロントゲート１６１および／またはバックゲート１６２、および当分野で知られているような送信光パルスに対するフロントゲートの開始時刻ｔ_Ｆｇの間、所与の画素２５によって記録される送信光パルスから反射される光の量は、所与の画素上に結像されるシーン６０の面要素までの距離を決定するために使用可能である。しかし、一般に、フロントおよび／またはバックゲート１６１および／または１６２の間、所与の画素によって記録される面要素によって送信光パルスから反射される光の量は、当然、反射パルスおよび背景光の到着時刻のみによって決まるわけではない。光の量は、特に、送信パルスにおける光の強度、面要素におけるレンズ２６によって範囲が定められる立体角、および送信光パルスにおける光の面要素の反射率によっても決まる。

面要素までの距離Ｄの値を提供するために、フロントゲート１６１および／またはバックゲート１６２の間に所与の画素によって記録された反射光パルス１５１における光の量は、面要素から３Ｄイメージャ２０に到達する反射光パルスにおける光の量の合計に正規化される。また、記録された光は、背景光に合わせて有利に補正される。感光面２４における画素２５がゲートの間に記録する背景光１６３および１６４の量を決定するために、感光面２４は、ある期間の間ゲートオンされ、これは「背景ゲート」と呼ばれ、その間、送信光パルス（例えば、図２における光パルス１４１および１４２）から反射される光は、３Ｄ撮像システム２０に到達しない。

図２において、一例として、感光面２４は、３Ｄイメージャ２０において、送信ＩＲパルス、例えばパルス１４１から反射された光が３Ｄイメージャに入射しない、ＩＲ反射パルス１５１の到着後のある時刻に、τに等しいゲート幅をオプションで有する背景ゲート１７０の間ゲートオンされるものとして示される。所与の面要素を結像する画素２５によって記録される背景光は、ゲート１７０における陰付きの領域１７１によって概略的に示される。

画素２５によってフロントおよび／またはバックゲート１６１および１６２の間に記録される光パルス１５１から反射される光を正規化するために使用される光の量を「正規化光」と呼ぶとする。オプションで、フロントゲートおよびバックゲート１６１および１６２の間、画素２５によって記録される第１の送信光パルスから反射される光を正規化するための正規化光の量を決定するために、感光面２４は、第２の光パルスの送信後の比較的長い「正規化ゲート」の間ゲートオンされる。第１および第２の光パルスがパルス幅τを有し、フロントゲートおよびバックゲートもゲート幅τを有する場合、有利には、正規化ゲートは、実質的に４τに等しいゲート幅を有する。フロントゲートが第１の光パルスの送信後の時刻ｔ_Ｆｇに開始する場合、正規化ゲートは、有利には、第２の送信パルスが送信された後の時刻（ｔ_Ｆｇ−τ）に開始する。正規化ゲートのゲート幅およびタイミングは、正規化ゲートの間に各画素２５によって記録される光の量が、画素上に結像されるシーン６４の面要素から３Ｄゲート制御型イメージャ２０に到達する第１のパルスから反射される光の量の合計に実質的に等しくなるようにする。

図２において、画素２５、光パルス１４１、並びにフロントゲートおよびバックゲート１６１および１６２について正規化光を決定するために使用される正規化ゲート１８０がタイムライン１２１に沿って概略的に示される。正規化ゲート１８０は、４τに等しいゲート幅を有し、ｔ_２の後の時刻（ｔ_Ｆｇ−τ）に開始する。正規化ゲートの間に面要素６３を結像する画素５３によって記録される正規化光は、ゲート１８０における陰付きの領域１８１によって概略的に示される。正規化ゲート１８０における陰付きのベース領域１８２は、正規化ゲートの間に画素によって記録されるＩＲ背景光を表す。

フロントゲート、バックゲート、背景ゲート、および正規化ゲート１６１、１６２、１７０、および１８０の間に記録された光の量を、それぞれＱ_Ｆ、Ｑ_Ｂ、Ｑ_Ｂｇ、およびＱ_Ｎによって表すとする。Ｑ_Ｆ＊、Ｑ_Ｂ＊、およびＱ_Ｎ＊は、以下となるように、背景光に合わせて補正された画素２５によって記録される光の量とする。

Ｑ_Ｆ＊＝（Ｑ_Ｆ−Ｑ_Ｂｇ） （２）
Ｑ_Ｂ＊＝（Ｑ_Ｆ−Ｑ_Ｂｇ） （３）
Ｑ_Ｎ＊＝（Ｑ_Ｎ−４Ｑ_Ｂｇ） （４）
その場合、画素２５上に結像されるシーン６０の面要素、例えば領域６３または領域６４までの距離Ｄは、以下の式から決定され得る。

Ｄ＝（ｃ／２）［ｔ_Ｆｇ−（１−Ｑ_Ｆ＊／Ｑ_Ｎ＊）τ］ ただしＱ_Ｆ＊≠０およびＱ_Ｂ＊＝０ （５）
Ｄ＝（ｃ／２）［ｔ_Ｆｇ＋（１−Ｑ_Ｆ＊／Ｑ_Ｎ＊）τ］ ただしＱ_Ｆ＊≠０およびＱ_Ｂ＊≠０ （６）
Ｄ＝（ｃ／２）［（ｔ_Ｆｇ＋τ）＋（１−Ｑ_Ｂ＊／Ｑ_Ｎ＊）τ］ ただしＱ_Ｆ＊＝０およびＱ_Ｂ＊≠０ （７）
上記から、３Ｄイメージャ２０は、感光面２４上に結像されるシーン６０の特徴までの距離マップを提供すること、さらに、シーンのＩＲ光画像、すなわちＩＲ強度画像を提供することがわかる。距離マップは、感光面２４上に結像されるシーン６０の面要素ごとに決定される距離Ｄを含む。ＩＲ画像は、画素のそれぞれによって記録されるＩＲ光Ｑ_ＮまたはＱ_Ｎ＊の量を含む。

記録された光の量Ｑ_Ｆ、Ｑ_Ｂ、Ｑ_Ｂｇは、図２に、単一の送信パルス１４１から決定されるものとして示されているが、記録された光の量は、当然、光パルス列、およびパルス列における各光パルスの後の関連のフロントゲート、バックゲート、および背景ゲートから決定され得ることに留意されたい。同様にＱ_Ｎは、光パルス列、および関連の正規化ゲートから決定され得る。

本発明の一実施形態によれば、３Ｄゲート制御型イメージャ２０によって提供された情報は、シーン６０の面要素の反射率を決定するために使用される。特に、面要素までの距離情報、および面要素についての画像情報、すなわち、面要素を結像する画素上に結像されるＩＲ光の量Ｑ_Ｎ＊は、シーンの面要素のＩＲ反射率の値を提供するために使用される。

面要素について、式（２）〜（７）に従って３Ｄゲート制御型イメージャ２０によってオプションで決定されたようなシーン６０の面要素の撮像方向および距離Ｄは、面要素についての３Ｄ空間座標を提供する。例えば、面要素６３および６４についての撮像方向５１および５２（図１）並びに面要素までの距離は、オプションで座標系８０に対する面要素のそれぞれについての（ｘ，ｙ，ｚ）座標を提供する。複数の面要素の座標は、面要素がその部分である面「Ｓ（ｘ，ｙ，ｚ）」を画定する。この面は、面上の面要素の座標に応じて、
ｚ−Ｆ（ｘ，ｙ）＝０ （８）
という形の式によって定義され得る。関数Ｆ（ｘ，ｙ）は、例えば、画素２５上に記録される光によって提供される面要素の座標に応じた連続関数として、様々な曲線当てはめ法のうちの任意のものによって定義可能であるが、座標は、もともとＦ（ｘ，ｙ）を離散関数として提供する。

面上のある位置（ｘ，ｙ，ｚ）における表面Ｓ（ｘ，ｙ，ｚ）に対する法線単位ベクトルを

によって表すとする。その場合、

は、

成分、すなわち方向余弦（direction cosines）を有し、

に等しい。式中、

は、座標系８０のｘ、ｙ、およびｚ軸に沿った単位ベクトルである。図１における面要素６３および６４に対する法線は、η（６３）およびη（６４）と表記された黒矢印によって概略的に示される。

式（９）における偏導関数は、当分野で知られている様々な方法のうちの任意のものを使用して決定され得る。例えば、Ｆ（ｘ，ｙ）およびそれによる式（８）が離散関数であると仮定すると、偏導関数は、隣接する面要素のｚ座標における差に応じた、ソーベルフィルタなど様々な水平および垂直画像フィルタのうちの任意のものを使用して評価され得る。一例として、座標（ｘ_Ｏ，ｙ_Ｏ）を有する位置における面要素、および座標（ｘ_Ｏ−１，ｙ_Ｏ）、（ｘ_Ｏ＋１，ｙ_Ｏ）、（ｘ_Ｏ，ｙ_Ｏ＋１）、および（ｘ_Ｏ，ｙ_Ｏ−１）における隣接面要素についての偏導関数は、オプションで、以下のように決定される。
∂Ｆ（ｘ１，ｙ１）／∂ｘ＝（ｚ（ｘ_Ｏ＋１，ｙ_Ｏ）−ｚ（ｘ_Ｏ−１，ｙ_Ｏ））／（ｘ_Ｏ＋１−ｘ_Ｏ−１） （１０）
∂Ｆ（ｘ１，ｙ１）／∂ｙ＝（ｚ（ｘ_Ｏ，ｙ_Ｏ＋１）−ｚ（ｘ_Ｏ，ｙ_Ｏ−１））／（ｙ_Ｏ＋１−ｙ_Ｏ−１）
一方、Ｆ（ｘ，ｙ）が、画素２５において記録された光によって提供される座標に応じて、（ｘ_Ｏ，ｙ_Ｏ）の領域における連続関数として定義される場合、偏導関数は、連続関数を微分することによって決定され得る。

が、（ｘ，ｙ，ｚ）および３Ｄゲート制御型イメージャ２０からの距離Ｄ（ｘ，ｙ，ｚ）に配置される面Ｓ（ｘ，ｙ，ｚ）の面要素ΔＳ（ｘ，ｙ，ｚ）がイメージャによって結像される図１における撮像方向５１および５２などの撮像方向における単位ベクトルを表すとする。撮像方向の方向余弦および

は、位置（ｘ，ｙ，ｚ）から、面要素ΔＳ（ｘ，ｙ，ｚ）が結像される感光面２４の画素２５の座標に向かう線のものである。撮像方向から画定される

の成分は、次のように書かれ得る。

撮像方向

と面要素ΔＳ（ｘ，ｙ，ｚ）に対する法線

との間の角度θ（ｘ，ｙ，ｚ）のコサインは、ドット積によって得られる。

図１において、面要素６３および６４の角度θ（ｘ，ｙ，ｚ）は、それぞれ角度θ（６３）およびθ（６４）と示される。

シーン６０のＩＲ画像を提供するために使用されるシーン６０を照らすために送信される光パルスにおける光源２２によって提供される光の強度がＩ_Ｏによって表されるとする。その場合、３Ｄイメージャ２０からの距離Ｄ（ｘ，ｙ，ｚ）におけるシーン６０の面要素ΔＳ（ｘ，ｙ，ｚ）を照らすＩＲ光の強度は、Ｉ_Ｏ／Ｄ^２である。

ΔＳ（ｘ，ｙ，ｚ）が完全拡散反射面であると仮定すると、画像ΔＳ（ｘ，ｙ，ｚ）を結像する感光面２４における画素２５に記録される光Ｑ_Ｎ＊（ｘ，ｙ，ｚ）（式４参照）の量は、

のように書かれ得る。
式（１３）において、αは、３Ｄゲート制御型イメージャ２０および光源２２の光学パラメータに依存する既知の比例定数であり、Ｒ（ｘ，ｙ，ｚ）は、面要素の反射率である。

Ｄ（ｘ，ｙ，ｚ）の値が比較的大きい場合、ΔＳ（ｘ，ｙ，ｚ）の撮像方向は、３Ｄゲート制御型イメージャ２０の光軸２９の方向によって近似されてもよく、これは、座標系８０のｚ軸と一致すると見なさることに留意されたい。こうした場合、式（１３）は、以下によって近似され得る。

式（９）に示される

の成分を使用してドット積を展開すると、式（１３）は、以下のように書かれ得る。

本発明の一実施形態によれば、反射率Ｒ（ｘ，ｙ，ｚ）は、式（１４）または式（１５）によって定義される制約に応じて、面要素ΔＳ（ｘ，ｙ，ｚ）について決定される。例えば、式（１５）を使用すると、面要素ΔＳ（ｘ，ｙ，ｚ）の反射率Ｒ（ｘ，ｙ，ｚ）は、次のように書かれ得る。

本発明の一実施形態によれば、シーン６０の面要素のために提供された反射率Ｒ（ｘ，ｙ，ｚ）および／またはＲ（ｘ，ｙ，ｚ）ｃｏｓθ（ｘ，ｙ，ｚ）の値は、シーンの画像を提供するために使用される。オプションで、画像における濃度値は、シーン６０の所与の面要素ΔＳ（ｘ，ｙ，ｚ）に対応する画像における画素がＲ（ｘ，ｙ，ｚ）またはＲ（ｘ，ｙ，ｚ）ｃｏｓθ（ｘ，ｙ，ｚ）に比例する濃度値を有するように、Ｒ（ｘ，ｙ，ｚ）および／またはＲ（ｘ，ｙ，ｚ）ｃｏｓθ（ｘ，ｙ，ｚ）に比例する。

本発明者は、シーンにおける様々な特徴の間を区別するために、Ｒおよび／またはＲｃｏｓθに応じてシーンの「反射濃度値」画像を使用することが有利であり得ると決定した。例えば、所与の特徴は、特定の反射率Ｒ＊を有する面を含み、シーンが閾値角度θ_Ｔより大きい完全拡散角を有するように配向された特徴を含むかどうかを決定することが望ましいと仮定する。その場合、シーンにおける配向された特徴の例の候補は、本発明の一実施形態によれば、シーンの画像において、制約
Ｒ＊≧Ｒｃｏｓθ≧Ｒ＊ｃｏｓθ_Ｔ （１７）
を満たすＲｃｏｓθの値を有することが期待される。また、式（１７）を満たすシーンの領域を特定することによって、シーンにおける特徴の例の候補が特定される。

図３Ａおよび図３Ｂは、同じ素材から形成されたシーンの領域を識別するために、反射率濃度値画像（reflectivity gray level image）をどのように使用することができるかを示す。図はそれぞれ、女性の像を含むシーンの従来の強度画像２０１、および本発明の一実施形態による３Ｄゲート制御型イメージャを使用して取得されたシーンの反射率濃度値画像２０２を示す。図３Ａに示される従来の画像２０１において、女性の前腕は、カメラに比較的近く、シーンを照らす光を強く反射する。前腕は、像の他の皮膚エリアが作られているものとは異なる素材から作られていると見なされる。図３Ｂに示される反射率濃度値画像２０２において、座標ｘ，ｙ，ｚの位置における面要素に対応する画素の濃度値は、Ｒ（ｘ，ｙ，ｚ）ｃｏｓθ（ｘ，ｙ，ｚ）に実質的に比例する。反射率濃度値画像２０２において、女性の露出された皮膚エリアは、類似の反射率を示し、前腕および顔は、同じ素材から形成されると見なされると比較的容易に識別される。

上記の例において、画像のいくつかの領域の反射率は、同じ素材から形成される領域を識別するために使用されるが、反射率は、本発明のいくつかの実施形態において画像の特定の領域を識別するために使用される。例えば、本発明の一実施形態に従って、人の画像においてよく知られている赤目効果を引き起こす赤およびＩＲの光の反射率が比較的高いことによって、画像における人の目が識別され得る。本発明の一実施形態において、人の頭の向きは、その反射率から決定された人の目の位置に応じて決定される。

図４は、本発明の一実施形態による、イメージャで結像されるシーン２６０を照らすための光源２２２を備える３Ｄゲート制御型イメージャ２２０を概略的に示す。３Ｄゲート制御型イメージャ２２０は、光源２４０およびオプションで光源に関連付けられる構成要素および特徴の追加を除き、図１に示される３Ｄゲート制御型イメージャ２０に似ている。３Ｄゲート制御型イメージャは、画素２２５を有する感光面２２４およびレンズ２２６によって表されるレンズ系を備える。３Ｄゲート制御型イメージャ２２０は、オプションで、シーンの画像およびシーンの奥行きマップを提供する。

光源２４０、以下「ｌｕｘｅｌ照明器」は、オプションで、所望の光の強度を提供するために、コントローラ２２８によって独立的に制御可能である発光要素２４２、「ｌｕｘｅｌ」の平面アレイを含む。オプションで、ｌｕｘｅｌ２４２は、シーン２６０を照らすための可視光を提供し、感光面２２４は、シーンにおける面要素によって反射されるｌｕｘｅｌ照明器２４０からの可視光に応じて、シーンの画像を提供するよう制御可能である。

オプションで、ｌｕｘｅｌ照明器２４０は、最適には感光面２４の仮想画像がｌｕｘｅｌ照明器に実質的に一致するように、適切なビームスプリッタ２４４および必要に応じて光要素（図示せず）を使用して感光面２２４およびレンズ２２６に照準が合わされる。オプションで、各ｌｕｘｅｌ２４２は、感光面２２４の対応する画素２５と同種である。その結果、各ｌｕｘｅｌ２４２は、実質的にその対応する同種の画素２２５によって結像されるシーン２６０の面要素のみに照明を提供するようにコントローラ２２８によって制御可能である。照準が合わされたｌｕｘｅｌ照明器に結合されるシーンの奥行きマップを提供するカメラの様々な構成は、上記で参照した米国特許第６，９９３，２５５号明細書に記載される。

本発明の一実施形態によれば、コントローラ２２８は、面要素について３Ｄゲート制御型イメージャによって決定される反射率に応じて、シーン２６０の面要素を照らすようにｌｕｘｅｌ２４２を制御する。例えば、オプションで、シーン２６０などシーンの向上した画像を提供するために、コントローラ２２８は、相対的に向上した光強度によって、比較的低い反射率によって特徴付けられるシーンの面要素を照らすようにｌｕｘｅｌ照明器２４０を制御する。

別の例として、ＩＲ光パルスで照らされるシーンの画像の領域が赤目の反射率の特性が大きいことを示し、ｌｕｘｅｌ照明器２４０におけるｌｕｘｅｌ２４２は、シーンを照らすためにＲＧＢ光の異なる強度を提供するように制御可能であると仮定する。赤目効果が低減されたシーンのＲＧＢ画像を提供するために、コントローラ２２８は、低減された赤光の強度でシーンの「赤目領域」を照らすように、ｌｕｘｅｌ照明器２４０をオプションで制御することができる。

本出願の説明および特許請求の範囲において、「備える」、「含む」、および「有する」という動詞のそれぞれ、およびその同語源の語は、動詞の目的語が動詞の主語の構成部材、構成要素、要素、または部分を必ずしも完全に列挙するものではないことを示すために使用される。

本発明は、例として提供されるその実施形態を参照して説明されており、本発明の範囲を限定するものではない。記載された実施形態は、異なる特徴を含み、そのすべてが本発明のすべての実施形態で必要であるとは限らない。本発明の一部の実施形態は、特徴の一部のみまたは特徴の可能な組み合わせを使用する。記載された本発明の実施形態の変形および記載された実施形態に記載されたものと異なる特徴の組み合わせを含む本発明の実施形態は、当業者であれば思いつくであろう。本発明の範囲は、以下の特許請求の範囲によってのみ限定される。

Claims (11)

1. 既知の強度(intensity)の光でシーン(scene)を照らす(illuminating)ための光源と、
   前記照射する既知の強度の光からの前記シーンによって反射される光に応じて前記シーンを結像する(images)光軸(optic axis)および光心(center)を有するカメラと、
   前記カメラによって結像される前記シーンの面要素(surface elements)までの距離を決定するように制御可能なレンジファインダ(range finder)と、
   コントローラであって、当該コントローラが、
   前記カメラによって撮像される、それぞれの１つの面要素に対する撮像方向であって、当該撮像方向に沿って前記カメラが、当該それぞれの１つの面要素からの光を撮像する、当該撮像方向を決定するように構成され、
   前記面要素への距離に基づいて、前記カメラによって撮像された前記シーンの前記面要素に対する法線を確定するように構成され、
   前記カメラからの、前記面要素のそれぞれの距離，前記それぞれの面要素に対する法線と、それぞれの１つの前記面要素に対する、前記撮像方向と平行なベクトルのドット積，照射光の既知の強度，前記カメラによって撮像された前記面要素からの光，に基づいて前記面要素の反射率を決定するように構成され、
   画像の画素であって、当該画像の画素の濃度値が、前記決定された前記面要素の反射率に基づく、当該画像の画素を備えるシーンの画像を提供するように構成され、
   前記決定された前記面要素の反射率が、前記シーン内の特徴の特定の反射率と一致するか否かを決定することによって、前記シーン内の特徴に対する候補を特定するように構成され、
   前記シーン内の前記特徴に対する候補が、
   
   のRcosθを有するシーンの領域を特定することによって特定され、
   R*が、面の特定の反射率を表し、
   θ_Ｔが、閾値角度を表し、
   もし、
   
   場合には、シーンが、完全拡散角（Lambertian angle）を有し、
   θが、前記撮像方向と、前記それぞれの面要素に対する法線の間の角度であり、
   閾値角度が、前記シーン内の前記特徴に対する候補を限定するために定められる、前記撮像方向と、前記それぞれの面要素に対する法線の間の所定の角度である、
   撮像(imaging)システム。
2. 前記撮像方向が、前記面要素から前記カメラの前記光心(optic center)に向かう線に平行である請求項１に記載の撮像システム。
3. 前記撮像方向が、前記カメラの前記光軸に平行である請求項１に記載の撮像システム。
4. 前記コントローラが、
   [前記カメラによって結像される面要素について決定された前記反射率]×[前記面要素の撮像方向と法線との間の角度のコサイン]
   に応じて前記シーンにおける特徴(feature)を識別する(identify)ように構成された請求項１に記載の撮像システム。
5. 前記シーンの画像を提供するように構成されたコントローラを備え、前記画像における画素の濃度値(a gray level)が、
   [前記画素上に結像される面要素について決定された前記反射率]×[前記面要素の撮像方向と法線との間の角度のコサイン]
   に実質的に等しい請求項１に記載の撮像システム。
6. 前記レンジファインダがゲート制御型ＴＯＦレンジファインダを備える請求項１に記載の撮像システム。
7. それぞれの(respective)法線(normals)に応じた光の強度(intensities)で互いに独立して(independently with each other)前記シーンの異なる領域を照らす(illuminate)ように制御可能な光源を備える請求項１に記載の撮像システム。
8. それぞれの反射率(reflectivities)に応じた光の強度で互いに独立して前記シーンの異なる領域を照らすように制御可能な光源を備える請求項１に記載の撮像システム。
9. シーンの面要素の反射率を決定する方法であって、
   既知の強度の光で、面要素を含む前記シーンを照らすステップと、
   前記既知の強度の光から前記面要素によって反射される光で、カメラにおいて前記面要素を結像する(imaging)ステップと、
   前記結像に基づいて、前記カメラから前記シーンの複数の面要素までの距離を決定するステップと、
   前記カメラによって撮像される、それぞれの１つの面要素に対する撮像方向であって、当該撮像方向に沿って前記カメラが、当該それぞれの１つの面要素からの光を撮像する、当該撮像方向を決定するステップと、
   前記決定された距離に応じて、前記面要素に対する法線を決定するステップと、
   前記カメラからの、前記面要素の前記それぞれの距離，前記面要素のそれぞれの１つの前記法線とそれぞれの１つの前記面要素に対する前記撮像方向に平行なベクトルのドット積，照射光の既知の強度，及び、前記面要素によって反射され、前記カメラによって結像される光，に応じて、それぞれの１つの面要素の反射率を決定するステップと、
   シーンの画像を提供するステップであって、当該シーンの画像の中で、画素の濃度値が、実質的に、前記面要素の前記決定された反射率に比例する、又は、前記それぞれの面要素の前記決定された反射率と、それぞれの１つの面要素に対する前記撮像方向との間の角度のコサインの積に実質的に等しい、ものと、
   前記濃度値に基づいて、前記シーンにおける特徴に対する候補を特定するステップと、
   を含み、
   前記シーン内の前記特徴に対する候補が、
   
   のRcosθを有するシーンの領域を特定することによって特定され、
   R*が、面の特定の反射率を表し、
   θ_Ｔが、閾値角度を表し、
   もし、
   
   場合には、シーンが、完全拡散角（Lambertian angle）を有し、
   θが、前記撮像方向と、前記それぞれの面要素に対する法線の間の角度であり、
   閾値角度が、前記シーン内の前記特徴に対する候補を限定するために定められる、前記撮像方向と、前記それぞれの面要素に対する法線の間の所定の角度である、
   方法。
10. 光心(optic center)を有するカメラで前記シーンを結像するステップを含み、前記撮像方向を決定するステップが、前記撮像方向が前記面要素から前記カメラの前記光心に向かう線に平行な方向であることを決定するステップを含む請求項９に記載の方法。
11. 光軸を有するカメラで前記シーンを結像するステップを含み、前記撮像方向を決定するステップが、前記撮像方向が前記光軸に平行な方向であることを決定するステップを含む
    請求項９に記載の方法。