JP5536071B2 - 空間光パターンに基づく深さデータの生成 - Google Patents

Description

本開示は、一般に、深さデータの生成に関する。本出願は、参照により本明細書に完全に組み込まれている、２０１０年１０月５日に出願した、国際出願第ＰＣＴ／ＪＰ２０１／００５９６５号の国内段階である。

本明細書で特に指示がない限り、本欄に記載された方法は、本出願のクレームに対する先行技術ではなく、本欄に記載されたことにより先行技術であると認めるものでもない。

立体視用の画像は、右目用画像と左目用画像とから構成され得る。観察者は、通常、右目で右目用画像のみを見て、左目で左目用画像のみを見るように作られた特殊な眼鏡を使用することにより、三次元シーンを認識することができる。立体視用の画像データを送信する典型的な方法は２つあり得る。第１の方法では、左目用画像および右目用画像の両方を送信することができ、通常の二次元画像データが送信される場合と比べてデータが２倍になり得る。第２の方法では、左目用画像および右目用画像から深さマップを作成することができ、作成された深さマップを左目用画像および右目用画像のいずれかとともに送信することができる。データの受信側は、深さマップを使用して、２つの画像のうちの送信されていない一方を再生成することができる。第２の方法により、通常の二次元画像データが送信される場合よりもデータ量も多くなり得る。さらに、送信側で深さマップを作成する必要があるため、さらに計算負荷がかかり得る。

１つまたは複数の実施形態によれば、深さデータを生成する方法は、対象画素周りの局所画像領域にある画像データの空間周波数成分値を算出することであって、画像データが、空間光パターンが投射される１つまたは複数の物体を表し、画像データ内の空間光パターンのぼやけが深さ方向に増加または減少する、算出することと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることとを含む。

１つまたは複数の実施形態によれば、深さデータを生成するための装置は、対象画素周りの局所画像領域にある画像データの空間周波数成分値を算出するように構成された周波数成分算出ユニットであって、画像データが、空間光パターンが投射される１つまたは複数の物体を表し、画像データ内の空間光パターンのぼやけが深さ方向に増加または減少するユニットと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めるように構成された深さマップ作成ユニットとを備える。

１つまたは複数の実施形態によれば、深さデータを生成するためのシステムは、空間光パターンを投射するように構成された投射ユニットと、空間光パターンが投射される１つまたは複数の物体の画像を取り込むように構成された撮像ユニットであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少し、対象画素周りの局所画像領域にある画像の算出した空間周波数成分値に対応する深さデータが、深さと空間周波数成分値との事前に設定した関係を用いて求められるようにした撮像ユニットとを備える。

前述した概要は、単に例示の目的で記載したものであり、限定的なものではない。前述した例示の態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、以下の詳細な説明を参照することにより明らかになるであろう。

明細書の最終部において本開示の主題が特に指摘され、特許請求の範囲に明確に記載される。本開示の前述した特徴およびその他の特徴は、添付図面を参照しながら、以下の説明および添付のクレームを読むことにより完全に明らかになるであろう。これらの図面は、開示にしたがい複数の実施形態のみを示したものであって、開示の範囲を限定すると見なされるものではないことから、添付図面を用いることにより開示がさらに具体的かつ詳細に説明される。

深さデータ生成システムの一例を示す図である。 空間光パターンの一例を示す図である。 物体面上で深さ方向に単調に増加する空間光パターンのぼやけの一例を示す図である。 深さデータ生成装置の構成の一例を示すブロック図である。 深さデータ生成装置により行われる深さデータを生成するための方法を示すフローチャートである。 反射率補正ユニットの構成の一例を示すブロック図である。 反射率補正ユニットにより行われる、輝度補正を行うプロセスを示すフローチャートである。 深さマップ作成ユニットの構成の一例を示すブロック図である。 深さマップ作成ユニットにより行われる、深さデータを求めるための方法を示すフローチャートである。 深さ方向にぼやけが単調に増加する一例を示す図である。

すべての図面は、本明細書に記載された少なくともいくつかの実施形態にしたがってまとめられた。

以下の詳細な説明は、特許請求の範囲に記載された主題を完全に理解するために、具体的詳細に沿って様々な例を述べたものである。しかし、特許請求の範囲に記載された主題を、本明細書に開示された具体的詳細の一部を除いて実行することができる点を当業者は理解するであろう。さらに、いくつかの状況では、特許請求の範囲に記載された主題を不必要に曖昧にすることのないように、周知の方法、手順、システム、部品、および／または回路について、詳細に説明されていない。以下の詳細な説明で、説明の一部をなす添付図面を参照する。文中に特に断りのない限り、図中、同一の符号は通常、同一の部品を示す。詳細な説明、図面、および特許請求の範囲に記載された例示の実施形態は、限定的なものではない。本明細書に提示された主題の精神または範囲を逸脱しない限り、他の実施形態を使用してもよく、他の変更を加えてもよい。本明細書全体に記載され図示された本開示の態様は、様々な異なる構成で配置、代用、結合、分離、および設計することができ、これらのすべては本明細書で明確に企図されることが容易に理解されよう。

本開示は、特に、深さデータの生成に関連した方法、装置、デバイスおよび／またはシステムについて書かれたものである。

簡単に言うと、本明細書では、深さデータを生成するための方法および装置に関する技術について全体に説明されている。いくつかの例では、方法が、空間光パターンが投射される１つまたは複数の物体の画像を取得することであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少する、取得することと、対象画素周りの局所画像領域にある画像の空間周波数成分値を算出することと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることとを含み得る。

図１は、本明細書に記載された少なくともいくつかの実施形態により配置された、深さデータ生成システムの一例を示す図である。図１に示す深さデータ生成システム１０は、投射ユニット１１、撮像ユニット１２、および深さデータ生成装置１３を備え得る。説明の便宜上、空間において直交する３方向を座標系のｘ、ｙおよびｚ軸で示し、ｚ軸を投射ユニット１１および撮像ユニット１２の深さ方向に対応する軸とすることができる。投射ユニット１１は空間光パターンを発するように構成され得る。投射ユニット１１は、フィルム媒体等により生成される高精細画像を投射可能な従来のプロジェクタであり得る。あるいは、投射ユニット１１は、液晶表示パネルを使用するデジタルプロジェクタ、またはデジタルマイクロミラーデバイスを使用するＤＬＰ（デジタルライトプロセッシング）プロジェクタであり得る。このような場合、投射すべき空間光パターンの表示データを投射ユニット１１に入力できる。撮像ユニット１２は、空間光パターンが投射される１つまたは複数の物体１６〜１８の画像を取り込むように構成され得る。撮像ユニット１２は、ＣＣＤ（電荷結合素子）画像センサまたはＣＭＯＳ（相補性金属酸化膜半導体）画像センサ等の撮像装置を使用するカメラであり得る。投射ユニット１１および撮像ユニット１２の光学システムパラメータを調節して、取り込まれた画像の空間光パターンのぼやけが深さ方向ｚに単調に増加または減少するようにすることができる。このような光学システムパラメータを得る方法については、詳細に後述し得る。

撮像ユニット１２をスチルカメラとして動作させて、一度に１つの画像を生成するか、またはビデオカメラあるいは動画カメラとして動作させて、作動状態の間、連続して一連の画像を生成することができる。撮像ユニット１２により生成された画像は、深さデータ生成装置１３に送られる。画像は一過性媒体１４または非一過性媒体１５を介して送られ得る。一過性媒体１４は、電気信号が送信される通信線、または電磁信号が送信される空間であり得る。非一過性媒体１５は、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、メモリカード等の有形の記録媒体であり得る。

深さデータ生成装置１３は、撮像ユニット１２により取り込まれた画像内の所与のｘ，ｙ位置に対応する画素において、深さ方向の位置ｚを示す深さデータを生成するように構成され得る。このような深さデータを、撮像ユニット１２により取り込まれた画像から抽出することができる。すなわち、深さデータ生成装置１３は、例えば、撮像ユニット１２により取り込まれた画像を分析することにより、物体１６の撮像ユニット１２からの距離を示す深さデータを生成することができる。深さデータ生成装置１３は、画像内のすべての画素での深さを示す深さマップを生成することができる。

深さデータを生成するために、投射ユニット１１は、対象画素周りの局所画像領域にある画像の所定の空間周波数成分値を算出することができる。次に、投射ユニット１１は、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることができる。前述したように、取り込まれた画像内の空間光パターンのぼやけが深さ方向ｚに単調に増加または減少することができる。このような場合、所定の空間周波数成分値が深さ方向ｚに単調に増加または減少することができる。深さと所定の空間周波数成分値との関係が数式で表され得る。あるいは、深さと所定の空間周波数成分値との関係を事前に求めて、メモリ内のルックアップテーブル等として記憶することができる。このルックアップテーブルを深さデータの判定時に参照して、対象画素に対して算出された所定の空間周波数成分値に対応する深さ値をテーブル内で示すことができる。

図２は、本明細書に記載された少なくともいくつかの実施形態により配置された空間光パターンの一例を示す図である。この例では、空間光パターンが格子状パターンであり得、黒と白の正方形領域が、縦方向および横方向に交互に配置されている。投射ユニット１１および撮像ユニット１２は、ほぼ同じ画角を有するように構成され得る。このような場合、投射ユニット１１により表面に投射された空間光パターンの各正方形領域が、表面の投射ユニット１１からの距離ｚに関係なく、撮像ユニット１２により撮影された画像内で一定の二次元サイズを有するように出現し得る。すなわち、図１に示す例では、撮像ユニット１２により見たときに、物体１６の面に投射された空間光パターンが、物体１７または１８の表面に投射された空間光パターンと同じサイズを有するように出現し得る。投射ユニット１１は、深さ方向の点ｚ_ｐｆに焦点位置を有して、撮像ユニット１２により取り込まれる物体（例えば、１６、１７、１８）よりも焦点位置ｚ_ｐｆが近くなるように構成され得る。この構成により、深さｚに位置する物体表面上で、空間光パターンのぼやけが深さ方向ｚに確実に単調に増加し得る。投射ユニット１１は、いずれの物体よりも投射ユニット１１から離れた焦点位置を有し得る。この構成により、深さｚに位置する物体面上で、空間光パターンのぼやけが深さ方向ｚに確実に単調に減少し得る。

図３は、本明細書に記載された少なくともいくつかの実施形態により配置された物体面上で、空間光パターンのぼやけが深さ方向ｚに単調に増加する一例を示す図である。図３において、撮像ユニット１２により取り込まれた画像３０は、物体１６の画像３１（図１参照）、物体１７の画像３２、および物体１８の画像３３を含み得る。図１に示すように、物体１６、物体１７、および物体１８は、深さ方向ｚにおいて図示した順で配置され、物体１６が撮像ユニット１２に最も近く配置され得る。このような場合、最も近い物体１６に投射される空間光パターン３４が最も鮮明であり、最も遠い物体１８に投射される空間光パターン３６が最も不鮮明であり、物体１７に投射される空間光パターン３５は中程度の鮮明さであり得る。対象の局所画像領域において、画像３０に出現する空間光パターン３４、３５、および３６のぼやけ度の関数であり得る所定の周波数成分値を分析することにより、深さデータが画像３０から抽出され得る。

投射ユニット１１により投射された空間光パターンは、取り込まれた画像３０に出現する空間光パターン３４、３５、および３６が微細で、画像３０を見る人が空間光パターンの存在を認識できないように構成され得る。このような微細な光パターンは、１２８０×１０２４画素、１９２０×１０８０画素等の多数の画素を有する液晶表示パネルを使用するデジタルプロジェクタにより生成され得る。通常の観察条件では、人の視覚で２、３画素のサイズほどの小ささの詳細を認識することができない。すなわち、画像に出現する空間光パターンは、画像を見るときに人の視覚で認識可能な空間周波数よりも高い空間周波数で周期的であり得る。この構成により、美的な視点から見た画像３０の質が、重畳された空間光パターンによって下がることが確実に避けられ得る。しかし、格子状パターンの各正方形領域のサイズは、ｘ方向およびｙ方向の画素サイズの少なくとも２倍であることに注目することができる。この配置により、空間光パターンの周波数成分についての正確な情報を抽出するために、適切なサンプリングピッチが撮像ユニット１２により確実に達成され得る。

図３の画像３０に出現する空間光パターンに関する上記の説明では、撮像ユニット１２の焦点合わせを考慮に入れていない。撮像ユニット１２が例えばピンホールカメラであれば、撮像ユニット１２は、任意の距離で物体に焦点を合わせることができる。このような場合、所与の物体面に投射された空間光パターンは、物体面上にあるときに、取り込まれた画像内でぼやけて出現し得る。すなわち、いくつかの状況下では、撮像ユニット１２の焦点合わせが無視され得る。

しかし、実際には、撮像ユニット１２の光学システムの特性が、取り込まれた画像に出現する空間光パターンのぼやけに影響を与え得る。すなわち、撮像ユニット１２により取り込まれた画像から深さデータを生成するときに、投射ユニット１１の焦点合わせに加えて撮像ユニット１２の焦点合わせを考慮に入れる必要があり得る。いくつかの状況では、撮像ユニット１２が対象の物体である物体１６に焦点を合わせ得る。別の状況では、撮像ユニット１２が対象の物体である物体１７に焦点を合わせた後、次の対象の物体である物体１８に焦点を合わせ得る。撮像ユニット１２の焦点の合わせおよびその焦点位置の変更を考慮に入れる方法について、さらに以下で説明する。しかし、ここでは、撮像ユニット１２の焦点合わせにもかかわらず、取り込まれた画像内の空間光パターンのぼやけが深さ方向ｚに単調に増加または減少するようにすることは容易であり得る点に注目されたい。このような単調な特性が提供され得るのは、投射ユニット１１によってぼやけが深さ方向に単調に増加（または減少）することが、撮像ユニット１２によってぼやけを深さ方向に変更することよりも確実に重要であることによる。

図４は、本明細書に記載された少なくともいくつかの実施形態により配置された深さデータ生成装置１３の構成の一例を示す図である。図４に示す深さデータ生成装置１３は、画像受信ユニット４１、周波数成分算出ユニット４２、反射率補正ユニット４３、深さマップ作成ユニット４４、および周波数検出ユニット４５を備え得る。

図５は、本明細書に記載された少なくともいくつかの実施形態により配置された深さデータ生成装置１３により行われる、深さデータを生成するための方法を示すフローチャートである。前述したように、例示の方法は、ブロックＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５および／またはＳ６の１つまたは複数により示される１つまたは複数の動作、作用、または機能を含み得る。図５の方法を、例えば、図４に示す深さデータ生成装置１３を使用して実施することができるため、深さデータを生成するための方法については図４および５を参照して説明する。

画像受信ユニット４１は、空間光パターンが投射された１つまたは複数の物体の画像を撮像ユニット１２から受信することができる。この画像では、空間光パターンのぼやけが深さ方向に単調に増加または減少し得る。処理はブロックＳ１から始まる。ブロックＳ１では、周波数検出ユニット４５が画像をブロックに分割し得、各ブロックが、画素列からなる矩形画素領域となり得る。処理はブロックＳ１からブロックＳ２まで続き得る。

ブロックＳ２で、周波数検出ユニット４５が、各ブロックにフーリエ変換またはアダマール変換等の直交変換を適用して、ブロックごとに周波数成分Ｆ（ｕ，ｖ）を得ることができる。ここでは、Ｆ（ｕ，ｖ）が、対象のブロックに対応する画素列の画素値を示す画素データｂ（ｘ，ｙ）の離散フーリエ変換（またはアダマール変換、その他の直交変換）であり得る。座標ｘ，ｙは対象のブロック内の画素位置を示し得る。変数ｕはｘ方向の空間周波数を示し、変数ｖはｙ方向の空間周波数を示す。処理はブロックＳ２からブロックＳ３まで続き得る。

ブロックＳ３で、周波数検出ユニット４５は、すべてのブロックのＦ（ｕ，ｖ）を合計しＳ（ｕ，ｖ）を得て、閾値周波数よりも高い周波数範囲におけるＳ（ｕ，ｖ）の最大値を見つけることができる。画像中にブロックがＮ個ある場合、Ｓ（ｕ，ｖ）は、第１のブロックのＦ（ｕ，ｖ）、第２のブロックのＦ（ｕ，ｖ）、第３のブロックのＦ（ｕ，ｖ）、…、および、第ＮのブロックのＦ（ｕ，ｖ）の合計であり得る。ある空間周波数で周期的である空間光パターンが画像に含まれるので、Ｓ（ｕ，ｖ）は、ある閾値周波数よりも高い周波数範囲内のこの空間周波数で局所最大値を有し得る。この閾値周波数は、空間光パターンが周期的である空間周波数を考慮に入れることにより求められ得る。例えば、閾値周波数は、前記空間周波数よりも低く設定されるが、取り込まれたシーンがもつ画像情報の周波数スペクトルの大部分よりも高く設定され得る。取り込まれたシーンがもつ画像情報の周波数スペクトルの大部分（すなわち、投射された空間光パターンがもつ画像情報を除く）が低周波数に存在するため、このような閾値周波数を提供することにより、投射された空間光パターンがもつスペクトルの局所最大値を検出することが可能になる。このようにして、空間光パターンが周期的である空間周波数（ｕ_ｍ，ｖ_ｍ）を検出することができる。処理はブロックＳ３からブロックＳ４まで続き得る。

ブロックＳ４で、周波数成分算出ユニット４２が、座標（ｘ，ｙ）における各対象画素周りの局所画像領域に、フーリエ変換またはアダマール変換等の直交変換を適用して周波数成分Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）を得ることができる。この局所画像領域は、座標（ｘ，ｙ）で中心に位置する矩形画像領域であり得る。ここでは、Ｆ_ｘ，ｙ（ｕ，ｖ）が、局所画像領域の画素列の画素値である画素データの離散フーリエ変換（またはアダマール変換、その他の直交変換）であり得る。処理はブロックＳ４からブロックＳ５まで続く。

ブロックＳ５で、反射率補正ユニット４３が異なる物体反射率についてＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）を補正し得る。投射ユニット１１により投射された空間光パターンが物体面により反射されて撮像ユニット１２に到達し得る。反射光の輝度は、物体面の反射率によって決まり得る。これにより、取り込まれた画像の画素値（すなわち輝度値）は各物体面の反射率によって決まる。物体面の反射率が増加すると、この物体面に対応する画像領域内にある画素の画素値も増加し得る。したがって、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）の値も物体面の反射率によって決まり得る。反射率補正ユニット４３は、物体面の反射率の差によって生じるＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）の変動をなくし得る。この補正プロセスについては詳細に後述し得る。処理はブロックＳ５からブロックＳ６まで続き得る。

ブロックＳ６では、深さマップ作成ユニット４４が、補正されたＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）とルックアップテーブルとに基づいて深さマップを生成し得る。ルックアップテーブルは、深さ（すなわち、ｚ方向の位置）と空間周波数成分値Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）との関係を示し得る。このルックアップテーブルは、事前に作成されてメモリに記憶され得る。

図６は、本明細書に記載された少なくともいくつかの実施形態により配置された反射率補正ユニット４３の構成の一例を示すブロック図である。図６に示す反射率補正ユニット４３は、広域平均輝度算出ユニット６１、補正ユニット６２、および局所平均輝度算出ユニット６３を備え得る。

図７は、本明細書に記載された少なくともいくつかの実施形態により配置された反射率補正ユニット４３により行われる、輝度を補正するための方法を示すフローチャートである。前述したように、例示の方法は、ブロックＳ２１、Ｓ２２および／またはＳ２３の１つまたは複数により示される１つまたは複数の動作、作用、または機能を含み得る。図７の方法を、例えば、図６に示す反射率補正ユニット４３を使用して実施することができるため、輝度を補正するための方法については、図６および７を参照して説明する。処理はブロックＳ２１から始まり得る。

ブロック２１で、広域平均輝度算出ユニット６１は、画像全体の平均輝度ＤＣ_Ａを算出し得る。画像全体の平均輝度ＤＣ_Ａは、すべての画素値を合計して、得られた合計を画素数で割ることにより算出され得る。あるいは、画像全体の平均輝度ＤＣ_Ａは、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）とともに得られる直流成分Ｆ_ｘ，ｙ（０，０）を用いることにより算出され得る。直流成分Ｆ_ｘ，ｙ（０，０）は局所画像領域内の画素値の合計に比例するため、広域平均輝度算出ユニット６１は、Ｆ_ｘ，ｙ（０，０）を用いて画像全体の平均輝度ＤＣ_Ａを得ることができる。処理はブロックＳ２１からブロックＳ２２まで続き得る。

ブロックＳ２２で、局所平均輝度算出ユニット６３は、座標（ｘ，ｙ）に位置する各対象画素周りの局所画像領域の平均輝度ＤＣ_ｘｙを算出し得る。局所画像領域の平均輝度ＤＣ_ｘｙは、局所画像領域のすべての画素値を合計して、得られた合計を画素数で割ることにより算出され得る。あるいは、局所画像領域の平均輝度ＤＣ_ｘｙを直流成分Ｆ_ｘ，ｙ（０，０）から直接得ることができ得る。処理はブロックＳ２２からブロックＳ２３まで続き得る。

ブロックＳ２３では、補正ユニット６２が、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）に輝度補正のためのＤＣ_Ａ／ＤＣ_ｘｙを掛け得る。局所画像領域の局所平均輝度ＤＣ_ｘｙは、この局所画像領域に対応する物体面の反射率に比例し得ることに注目することができる。さらに、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）の値はこの局所画像領域に対応する物体面の反射率に比例し得る。したがって、ＤＣ_Ａ／ＤＣ_ｘｙを掛けることにより、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）からの物体面反射率変動の影響を除去し得る。物体面反射率変動の影響を除去するためには、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）に１／ＤＣ_ｘｙを掛ければ十分であり得る点に注目することができる。

図８は、本明細書に記載された少なくともいくつかの実施形態により配置された深さマップ作成ユニット４４の構成の一例を示すブロック図である。図８に示す深さマップ作成ユニット４４は、カメラパラメータ取得ユニット８１、Ａ（ｚ）算出ユニット８２、ＬＵＴ作成ユニット８３、深さ算出ユニット８４、およびＢ（ｚ）を示すＬＵＴ（ルックアップテーブル）８５を備える。Ａ（ｚ）は、深さ方向の位置と、空間光パターンを投射する投射ユニット１１により生じる空間光パターンのぼやけとの関係を表し得る。Ｂ（ｚ）は、深さ方向の位置と、画像を取り込む撮像ユニット１２により生じる空間光パターンのぼやけとの関係を表し得る。

図９は、本明細書に記載された少なくともいくつかの実施形態により配置された深さマップ作成ユニット４４により行われる、深さデータを求めるための方法を示すフローチャートである。前述したように、例示の方法は、ブロックＳ３１、Ｓ３２、Ｓ３３、Ｓ３４および／またはＳ３５の１つまたは複数により示される１つまたは複数の動作、作用、または機能を含み得る。前述した例示の方法は、投射ユニット１１の焦点合わせによる効果と撮像ユニット１２の焦点合わせによる効果とを組み合わせることにより深さデータを求める。図９の方法を、例えば、図８に示す深さマップ作成ユニット４４を使用して実施することができるため、深さデータを求めるための方法については、図８および９を参照して説明する。処理はブロックＳ３１から始まり得る。

ブロックＳ３１で、カメラパラメータ取得ユニット８１は、撮像ユニット１２からｚ方向の焦点位置ｚ_ｃｆと開口サイズＤとを得ることができる。カメラパラメータ取得ユニット８１は、焦点位置（ｘ_ｃｆ、ｙ_ｃｆ）を得ることができ、ｘ−ｙ面のこの点で撮像ユニット１２が物体面に焦点を合わせる。開口サイズＤは通常、焦点距離ｆとｆの数Ｎの形で与えられ得る。次に開口サイズ（すなわち、入射瞳の直径）ＤがＤ＝ｆ／Ｎとして算出され得る。処理はブロックＳ３１からブロックＳ３２まで続き得る。

ブロックＳ３２で、Ａ（ｚ）算出ユニット８２は、カメラ光学システム（すなわち、撮像ユニット１２）により生じる空間パターン周波数の深さ依存振幅変動Ａ（ｚ）を、焦点位置ｚ_ｃｆおよび開口サイズＤに基づく深さｚの関数として算出し得る。この深さ依存振幅変動Ａ（ｚ）は、撮像ユニット１２が焦点位置ｚ_ｃｆに焦点を合わせることにより見られるように、深さｚに位置する面上の空間光パターンの空間周波数（ｕ_ｍ，ｖ_ｍ）の振幅を表し得る。この空間光パターンは、深さｚに位置する面上にぼやけがない、理想的な空間光パターンであり得る。すなわち、深さ依存振幅変動Ａ（ｚ）は、投射ユニット１１により生じる空間光パターンのぼやけが存在しない状況で、撮像ユニット１２により生じる空間光パターンのぼやけのみを考慮に入れ得る。

深さ依存振幅変動Ａ（ｚ）は、以下の通り得られ得る。距離ｚ_ｃｆに焦点を合わせる撮像ユニット１２の点広がり関数は、ｐｓｆ（ｘ，ｙ、ｚ）として示され得、これは直径Ｄｚ／（ｚ_ｃｆ＋ｚ）を有する円形領域内の値（２（ｚ_ｃｆ＋ｚ）／Ｄｚ）^２／ｐｉ（ｐｉ＝３．１４…）を想定し、この円形領域外側のゼロを想定する。次に、深さｚに位置する空間光パターンは、撮像ユニット１２により取り込まれた画内に、ｐ（ｘ，ｙ）＝ｐ_０（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ，ｚ）として出現し得る。ここでｐ_０（ｘ，ｙ）は位置ｚ_ｃｆにおける空間光パターンであり、記号「＊」は畳み込み演算を表す。ｐ（ｘ，ｙ）の、ｘおよびｙに対する直交変換（例えば、フーリエ変換またはアダマール変換等）は、Ｐ（ｕ，ｖ）＝Ｐ_０（ｕ，ｖ）ＰＳＦ（ｕ，ｖ，ｚ）として表され得る。ここでＰ_０（ｕ，ｖ）およびＰＳＦ（ｕ，ｖ，ｚ）は、それぞれｐ_０（ｘ，ｙ）およびｐｓｆ（ｘ，ｙ，ｚ）の直交変換である。次に、深さ依存振幅変動Ａ（ｚ）はＰ（ｕ_ｍ，ｖ_ｍ）に等しくなり得る。ここで（ｕ_ｍ，ｖ_ｍ）は空間光パターンが周期的である空間周波数である。処理はブロックＳ３２からブロックＳ３３まで続き得る。

ブロックＳ３３で、ＬＵＴ作成ユニット８３が、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）とＡ（ｚ）およびＢ（ｚ）に基づく深さｚとの関係を示すルックアップテーブルＢｃ（ｚ）を作成し得る。ここでＢ（ｚ）は、投射ユニット１１により生じる空間光パターンのぼやけを表す。Ｂ（ｚ）は、以下のようにして事前に得られ得る。初めに、投射ユニット１１は、図１に関連して説明したように、深さｚ_ｐｆに焦点を合わせながら深さｚに位置する空白の平面（例えば、白い平面）に、空間光パターン（例えば、格子状パターン）を投射することができる。次に、深さｚに位置する面上のこの空間光パターンの画像は、深さｚに位置する面に焦点を合わせる撮像ユニット１２により取り込まれ得る。取り込まれた画像内の空間光パターンｐ（ｘ，ｙ，ｚ）には、投射ユニット１１により生じるぼやけが含まれ得るが、撮像ユニット１２により生じるぼやけは含まれ得ない。ｐ（ｘ，ｙ，ｚ）のｘおよびｙに対する直交変換がＰ（ｕ，ｖ，ｚ）として示されるとき、Ｂ（ｚ）はＰ（ｕ_ｍ，ｖ_ｍ，ｚ）として表され得る。このようにして事前に得られたＢ（ｚ）は、メモリ内のルックアップテーブルＢ（ｚ）として記憶され得る。投射ユニット１１により生じるぼやけと撮像ユニット１２により生じるぼやけの両方を考慮に入れる深さ依存振幅変動は、Ａ（ｚ）Ｂ（ｚ）として表され得る。すなわち、Ａ（ｚ）Ｂ（ｚ）は、ルックアップテーブルＢｃ（ｚ）として記憶され得る。あるいは、Ｂ（ｚ）は、格子状パターン等の空間光パターンではなく、単一の光点を投射することにより点広がり関数の深さ依存特性として得られ得る点に注目することができる。さらに、あるいは、Ｂ（ｚ）は、投射ユニット１１の点広がり関数を近似する数式としても得られ得る点に注目することができる。点広がり関数は、前述したｐｓｆ（ｘ，ｙ，ｚ）と同様であるか、またはガウス関数により表され得る。Ｂ（ｚ）が数式で表されるときには、Ｂｃ（ｚ）もルックアップテーブルではなく数式として得られ得る。処理はブロックＳ３３からブロックＳ３４まで続き得る。

ブロックＳ３４では、深さ算出ユニット８４が輝度率に対してＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）を標準化し得る。前述したように、反射率変動に対して反射率補正ユニット４３によりに補正された周波数成分値は、Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）ＤＣ_Ａ／ＤＣ_ｘｙとなり得る。ｘ−ｙ面において撮像ユニット１２が物体面に焦点を合わせる点である焦点位置（ｘ_ｃｆ，ｙ_ｃｆ）は、図９のブロックＳ１において撮像ユニット１２から得られ得る。この焦点位置（ｘ_ｃｆ、ｙ_ｃｆ）でのＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）ＤＣ_Ａ／ＤＣ_ｘｙの値はＲｘｙとして示され得る。次に、深さ算出ユニット８４は、この値にＢｃ（ｚ_ｃｆ）／Ｒｘｙを掛けることにより、取り込まれた画像内の所与の空間座標（ｘ，ｙ）におけるＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）ＤＣ_Ａ／ＤＣ_ｘｙの値を標準化し得る。この標準化プロセスにより、焦点深さｚ_ｃｆにおける焦点位置（ｘ_ｃｆ、ｙ_ｃｆ）での空間周波数（ｕ_ｍ，ｖ_ｍ）の振幅は、確実にＢｃ（ｚ_ｃｆ）に等しくなり得る。処理はブロックＳ３４からブロックＳ３５まで続き得る。

ブロックＳ３５では、深さ算出ユニット８４が、標準化されたＦ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）およびＢｃ（ｚ）に基づいて各画素位置での深さを判定し得る。すなわち、深さ算出ユニット８４は、ルックアップテーブルＢｃ（ｚ）を参照して（Ｆ_ｘ，ｙ（ｕ_ｍ，ｖ_ｍ）ＤＣ_Ａ／ＤＣ_ｘｙ）×（Ｂｃ（ｚ_ｃｆ）／Ｒｘｙ）に関連づけられた深さｚを見つけることができる。ルックアップテーブルＢｃ（ｚ）で見つけられる深さｚは、画素位置（ｘ，ｙ）に対応する物体面が、撮像ユニット１２により取り込まれたシーン内に位置する深さであり得る。

前述した方法で、投射ユニット１１により生じる空間光パターンのぼやけと撮像ユニット１２により生じる空間光パターンのぼやけとの両方を、深さマップ作成ユニット４４により作成された深さマップ内で考慮に入れることができる。さらに、前述したように、撮像ユニット１２の焦点合わせにもかかわらず、取り込まれた画像内の空間光パターンのぼやけが深さ方向ｚに単調に増加または減少するようにすることは容易であり得る。このような単調な特性が提供され得るのは、投射ユニット１１によってぼやけが深さ方向に単調に増加（または減少）することが、撮像ユニット１２によってぼやけを深さ方向に変更することよりも確実に重要であることによる。

図１０は、本明細書に記載された少なくともいくつかの実施形態により配置された、ぼやけの深さ方向への単調な増加の一例を示す図である。横軸は深さｚを表し、縦軸は空間周波数（ｕ_ｍ，ｖ_ｍ）の振幅を表し得る。特性曲線９１はＡ（ｚ）に対応し、Ａ（ｚ）は撮像ユニット１２により生じる空間光パターンのぼやけを表し得る。撮像ユニット１２は、対象の物体に焦点位置を有して、特性曲線９１が深さ方向ｚのこの焦点位置で最大ピークを有し得るようになっている。特性曲線９２はＢ（ｚ）に対応し、Ｂ（ｚ）は投射ユニット１１により生じる空間光パターンのぼやけを表し得る。投射ユニット１１は、深さ方向ｚにおいて最も近い点に焦点位置を有して、深さｚの増加とともに特性曲線９２が単調に下降するようになっている。すなわち、特性曲線９２により表されるぼやけは、深さｚの増加とともに単調に増加し得る。

図１０に示すように、投射ユニット１１によってぼやけが深さ方向に単調に増加することが、撮像ユニット１２によってぼやけが深さ方向に変更することよりも重要であるようにすることができる。したがって、Ｂｃ（ｚ）＝Ａ（ｚ）Ｂ（ｚ）に対応する特性曲線９３は、深さｚの増加とともに単調に下降し得る。すなわち、投射ユニット１１により生じるぼやけと撮像ユニット１２により生じるぼやけとを組み合わせることによって得られるぼやけは、深さｚの増加とともに単調に増加し得る。このようなぼやけ特性により、深さデータは空間周波数（ｕ_ｍ，ｖ_ｍ）の所与の振幅から一意的に求められ得る。

本開示における、「応答して」または「応じて」という用語は、特定の特徴および／または構造のみに対する応答に限定されるものではない。１つの特徴は別の特徴および／または構造にも応答し、その特徴および／または構造内にも見つけることができる。さらに、「結合された」、「応答する」、「応じて」または「連通して」等の用語または句を、本明細書または下記の特許請求の範囲で使用する場合、これらの用語を広く解釈すべきである。例えば、「結合された」という句は、その句が使用されている文脈に合わせて、通信可能、電気的、および／または動作可能に結合されていることを示すことができる。

前述した詳細な説明の一部は、コンピュータメモリ等の演算システムメモリ内に記憶されたデータビットまたは２値デジタル信号上の動作をアルゴリズムまたは記号による表現として表されている。このようなアルゴリズムによる説明または表現は、データ処理技術における当業者が、作業の内容を他の当業者に伝えるために使用する技術の例である。アルゴリズムは、ここでは、また一般に、動作の自己無撞着シーケンス、または所望の結果につながる同様の処理であると考えられる。この文脈では、動作または処理が、物理量の物理的操作をともなう。必要ではないが通常、このような量は、記憶、転送、結合、比較、または別の方法での操作が可能な電気または磁気信号の形をとり得る。主に一般的な使用のために、ビット、データ、値、要素、記号、文字、用語、数、数字等の信号に言及することは、時には便利であることがわかっている。しかし、これらのすべて、および同様の用語は適切な物理量と関連づけられるものであり、便利な標示に過ぎないことを理解すべきである。特に別の記述のない限り、以下の説明から明らかなように、本明細書の記載全体を通して「処理」「演算」「算出」「判定」等の用語を使用することにより、演算装置の作用またはプロセスに言及していることを理解されたい。この演算装置は、演算装置のメモリ、レジスタ、その他の情報記憶装置、送信装置、または表示装置内の物理的な電子量または磁気量として表されるデータを操作または転送する。

前述の詳細な説明では、ブロック図、フローチャートおよび／または例の使用により、デバイスおよび／またはプロセスの様々な実施形態について述べた。このようなブロック図、フローチャートおよび／または例が、１つまたは複数の機能および／または動作を含む限り、このようなブロック図、フローチャートまたは例のうちの各機能および／または動作は、広範囲なハードウェア、ソフトウェア、ファームウェアまたは実質的にそれらの任意の組み合わせによって、個別にかつ／または集合的に実施できることを、当業者は理解するであろう。一実施形態において、本明細書で述べた主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）または他の統合フォーマットを介して実施してもよい。しかし、当業者は、本明細書に開示された実施形態のいくつかの態様は、全体的にまたは部分的に、１つまたは複数のコンピュータ上を走る１つもしくは複数のコンピュータプログラムとして（例えば、１つもしくは複数のコンピュータシステム上を走る１つもしくは複数のプログラムとして）、１つもしくは複数のプロセッサ上を走る１つもしくは複数のプログラムとして（例えば、１つもしくは複数のマイクロプロセッサ上を走る１つもしくは複数のプログラムとして）、ファームウェアとして、または実質的にこれらの任意の組み合わせとして、集積回路上で同等に実行できること、および回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェア用のコードの書き込みが、本開示に照らして、当該技術分野の技術における一技術内に十分に入ることを理解するであろう。さらに、当業者は、本明細書で説明した主題の機構は、様々な形態のプログラム製品として分配できること、および本明細書で説明した主題の例示的な実施形態が、実際に分配を実行するために使用される特定のタイプの信号担持媒体に関係なく適用されることを理解するであろう。信号担持媒体の例には、限定されないが、以下ものが含まれる。すなわち、フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなどの記録可能なタイプの媒体、ならびにデジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンク等）などの送信タイプの媒体が含まれる。

本明細書に記載の方法でデバイスおよび／またはプロセスを説明し、その後、このような説明したデバイスおよび／またはプロセスをデータ処理システムに統合するためにエンジニアリングの手法を用いることが、当該技術分野において普通であることを、当業者は理解するであろう。すなわち、本明細書で説明するデバイスおよび／またはプロセスの少なくともいくつかは、十分な実験を介して、データ処理システムに統合することができる。当業者は、典型的なデータ処理システムは、一般に、１つまたは複数のシステムユニットハウジングと、ビデオ表示装置と、揮発性および不揮発性メモリなどのメモリと、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサと、オペレーティングシステムなどの計算エンティティと、ドライバと、グラフィカルユーザインタフェースおよびアプリケーションプログラムと、タッチパッドまたはスクリーン等の１つまたは複数の対話装置と、フィードバックループおよび制御モータ（例えば、位置および／または速度を感知するためのフィードバック、ならびにコンポーネントおよび／または量を移動しかつ／または調整するための制御モータ）を含む制御システムと、を備え得ることを理解するであろう。典型的なデータ処理システムは、データ計算／通信および／またはネットワークコンピューティング／通信システムにおいて典型的に見出されるコンポーネントなど、任意の適切な市販のコンポーネントを用いて実現してもよい。

本明細書で説明した主題は、時には、他の異なるコンポーネント内に含まれるかまたはそれらに接続された異なるコンポーネントを示す。このように表現されたアーキテクチャが、単に例示的であること、および実際には、同じ機能を実現する他の多くのアーキテクチャを実施できることを理解されたい。概念的な意味で、同じ機能を実現するコンポーネントの任意の配置が、所望の機能を実現するように効果的に「関連づけられる」。したがって、特定の機能を実現するために本明細書において結合された任意の２つのコンポーネントは、アーキテクチャまたは中間コンポーネントに関係なく、所望の機能を実現するように互いに「関連づけられる」と見なすことができる。同様に、そのように関連づけられた任意の２つのコンポーネントはまた、所望の機能を実現するために、互いに「動作可能に接続される」または「動作可能に結合される」と見なすことができ、このように関連づけることができる任意の２つのコンポーネントはまた、所望の機能を実現するために、互いに「動作可能に結合可能である」と見なすことができる。動作可能に結合可能な特定の例には、限定されないが、物理的に結合可能なおよび／または物理的に対話するコンポーネント、ならびに／または無線で対話可能なおよび／または無線で対話するコンポーネント、ならびに／または論理的に対話するおよび／または論理的に対話可能なコンポーネントが含まれる。

本明細書において、実質的に任意の複数形および／または単数形の用語の使用に関連して、当業者は、文脈および／または適用例に適切であるように、複数形から単数形へ、および／または単数形から複数形へ翻訳することができる。様々な単数形／複数形の変更は、明瞭にするために本明細書においてはっきりと説明してもよい。

一般に、本明細書および特に添付の特許請求の範囲（例えば、添付された特許請求の範囲の本文）で用いられる用語は、一般に、「開放」用語（例えば、用語「含んでいる」は、「含んでいるが、それに限定されるわけではない」と解釈すべきであり、用語「有する」は、「少なくとも有する」と解釈すべきであり、用語「含む」は、「含むが、それに限定されるわけではない」と解釈すべきである等）として意図されていることを、当業者は理解するであろう。さらに当業者は、特定数の導入されたクレーム記載が意図的である場合には、このような意図が、そのクレームにおいて明示的に挙げられ、このような記載がなければ、このような意図が存在しないことを理解されよう。例えば、理解の助けとして、以下の添付された特許請求の範囲には、クレーム記載を導入するために、導入句「少なくとも１つの」および「１つまたは複数の」の使用を含んでもよい。しかし、このような句の使用は、次のことを意味すると解釈すべきでない。すなわち、不定冠詞「ａ」または「ａｎ」によるクレーム記載の導入は、このような導入されたクレーム記載を含む任意の特定のクレームを、ただ１つのこのような記載を含む実施に限定することを意味すると解釈すべきでない。たとえ同じクレームが、導入句「１つまたは複数の」または「少なくとも１つの」、ならびに不定冠詞「ａ」または「ａｎ」（例えば、「ａ」および／または「ａｎ」は、典型的には、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈すべきである）を含む場合であっても同様である。同じことが、クレーム記載を導入するために用いられる定冠詞の使用にも当てはまる。さらに、たとえ導入されたクレーム記載の特定の数が、明示的に挙げられている場合であっても、当業者は、このような記載が、典型的には、少なくとも挙げられた数を意味するように解釈されるべきであると理解するであろう（例えば、他の修飾語がない「２つの記載」の素の記載は、通常、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣの少なくとも１つ、等」に類似した慣用語が用いられる例において、一般に、このような構成は、当業者がこのような慣用語を理解するであろう意味に意図されている（例えば、「Ａ、ＢおよびＣの少なくとも１つを有するシステム」は、限定されないが、Ａだけ、Ｂだけ、Ｃだけ、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、ならびに／またはＡ、ＢおよびＣを一緒に有するシステムを含む、等）。「Ａ、ＢおよびＣの少なくとも１つ、等」に類似した慣用語が用いられる例において、一般に、このような構成は、当業者がこのような慣用語を理解するであろう意味に意図されている（例えば、「Ａ、ＢおよびＣの少なくとも１つを有するシステム」は、限定されないが、Ａだけ、Ｂだけ、Ｃだけ、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、ならびに／またはＡ、ＢおよびＣを一緒に有するシステムを含む、等）。さらに、２つ以上の代替用語を表す実質的に任意の離接語および／または句は、説明、特許請求の範囲または図面にあっても、用語の１つ、用語のどちらか、または両方の用語を含む可能性を企図するように理解すべきである。例えば句「ＡまたはＢ」は、「Ａ」もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むように理解されよう。

さらに、「最適化」という用語は、「最大化」および／または「最小化」を含み得るものと理解すべきである。本明細書で使用される「最小化」等の用語は、広域最小値、局所最小値、近似広域最小値、および／または近似局所最小値を含み得る。同様に、本明細書で使用される「最大化」等の用語は、広域最大値、局所最大値、近似広域最大値、および／または近似局所最大値を含み得ることも理解すべきである。

明細書における「ある実施」「一つの実施」「いくつかの実施」または「他の実施」についての言及は、１つまたは複数の実施に関連して記載された特定の特徴、構造または特性が、少なくともいくつかの実施に含まれ得るが、必ずしもすべての実施に含まれるわけではないことを意味し得る。前述の説明では「ある実施」「一つの実施」または「いくつかの実施」が様々に現れるが、これらは、必ずしもすべてが同じ実施に言及しているわけではない。

ある例の技術について、様々な方法およびシステムを使用して本明細書で説明し図示したが、特許請求の範囲に記載された主題を逸脱しなければ、様々な他の変更を行うことができ、等価物で置き換えることができる点を当業者は理解すべきである。さらに、本明細書に記載された中心となる概念を逸脱しなければ、多くの変更を行って特定の状況を特許請求の範囲に記載された主題の教示に適合させることができる。したがって、特許請求の範囲に記載された主題は、開示された特定の例に限定されるものではなく、このような特許請求の範囲に記載された主題は、添付の特許請求の範囲に含まれるすべての実施および等価物を含むことができる。

Claims (18)

1. 対象画素周りの局所画像領域にある画像データの空間周波数成分値を算出することであって、前記画像データが、空間光パターンが投射される１つまたは複数の物体を表し、前記画像データ内の前記空間光パターンのぼやけが深さ方向に単調に増加又は減少する、算出することと、
   深さと前記空間周波数成分値との事前に設定した関係を用いて、前記算出した空間周波数成分値に対応する深さデータを求めることと、
   第１のデータおよび第２のデータに基づいて、深さと前記空間周波数成分値との事前に設定した関係を算出すること、
   を含み、前記第１のデータが、前記深さ方向の位置と、前記空間光パターンを投射するための投射システムにより生じる前記空間光パターンのぼやけとの第１の関係を示し、前記第２のデータが、前記深さ方向の位置と、画像を取り込むための撮像システムにより生じる前記空間光パターンのぼやけとの第２の関係を示す、深さデータを生成する方法。
2. 画像の空間周波数スペクトルが閾値周波数よりも高い周波数範囲に最大値を有する空間周波数を検出することをさらに含み、前記算出した空間周波数成分値が、前記検出された空間周波数における空間周波数成分値であり、画像データ内の前記空間光パターンが、前記閾値周波数よりも高い空間周波数で少なくとも周期的である、請求項１に記載の方法。
3. 画像内の前記空間光パターンが周期的である空間周波数が、画像データを見るときの人の視覚で認識可能な空間周波数よりも高い、請求項１に記載の方法。
4. 前記局所画像領域が矩形領域であり、前記空間周波数値を算出することが、前記矩形領域に直交変換を適用することにより空間周波数成分を算出することを含む、請求項１に記載の方法。
5. 画像の前記局所画像領域に出現する物体の反射率に対して前記算出した空間周波数成分値を補正することをさらに含む、請求項１に記載の方法。
6. 前記算出値を補正することが、算出値を前記局所画像領域内の画像の平均輝度で割ることを含む、請求項５に記載の方法。
7. 前記第２のデータが、前記深さ方向における前記撮像システムの焦点位置と、前記撮像システムのレンズ開口サイズとを示すデータに基づいて、前記撮像システムにより生じる空間光パターンのぼやけを前記深さ方向の様々な位置に対して算出することにより求められる、請求項１に記載の方法。
8. 第１のデータが、
   前記投射システムから単調な平面に前記空間光パターンを投射することと、
   前記面に焦点を合わせる前記撮像システムを使用することにより、前記面に投射される前記空間光パターンの画像を取り込むことと、
   前記空間光パターンを投射して、前記空間光パターンの画像を前記深さ方向における様々な位置にある単調な平面に対して取り込むこととにより求められる、請求項１に記載の方法。
9. 対象画素周りの局所画像領域にある画像データの空間周波数成分値を算出するように構成された周波数成分算出ユニットであって、前記画像データが、空間光パターンが投射される１つまたは複数の物体を表し、前記画像データ内の前記空間光パターンのぼやけが深さ方向に単調に増加又は減少するユニットと、
   深さと前記空間周波数成分値との事前に設定した関係を用いて、前記算出した空間周波数成分値に対応する深さデータを求めるように構成された深さマップ作成ユニットとを備え、
   前記深さマップ生成ユニットが、第１のデータおよび第２のデータに基づいて、深さと前記空間周波数成分値との事前に設定した関係を算出するように構成された関係算出ユニットを備え、
   前記第１のデータが、前記深さ方向の位置と、前記空間光パターンを投射するための投射システムにより生じる前記空間光パターンのぼやけとの第１の関係を示し、前記第２のデータが、前記深さ方向の位置と、画像を取り込むための撮像システムにより生じる前記空間光パターンのぼやけとの第２の関係を示す、深さデータを生成するための装置。
10. 画像の空間周波数スペクトルが閾値周波数よりも高い周波数範囲に最大値を有する空間周波数を検出するように構成された周波数検出ユニットをさらに含み、前記算出した空間周波数成分値が、検出された空間周波数における空間周波数成分値であり、画像データ内の前記空間光パターンが、前記閾値周波数よりも高い空間周波数で少なくとも周期的である、請求項９に記載の装置。
11. 画像内の前記空間光パターンが周期的である空間周波数が、画像を見るときの人の視覚で認識可能な空間周波数よりも高い、請求項９に記載の装置。
12. 前記周波数成分算出ユニットが、局所画像領域である矩形領域に直交変換を適用することにより空間周波数成分を算出するように構成される、請求項９に記載の装置。
13. 画像の前記局所画像領域に出現する物体の反射率に対して前記算出した空間周波数成分値を補正するように構成された反射率補正ユニットをさらに備える、請求項９に記載の装置。
14. 前記反射率補正ユニットが、前記算出値を前記局所画像領域内の画像の平均輝度で割るように構成される、請求項１３に記載の装置。
15. 前記撮像システムの焦点位置および前記撮像システムのレンズ開口サイズに基づいて、前記撮像システムにより生じる前記空間光パターンのぼやけを前記深さ方向の様々な位置に対して算出するように構成されるぼやけデータ取得ユニット、を更に有する請求項９に記載の装置。
16. 空間光パターンを投射するように構成された投射ユニットと、
    前記空間光パターンが投射される１つまたは複数の物体の画像を取り込むように構成された撮像ユニットであって、画像内の前記空間光パターンのぼやけが深さ方向に単調に増加または減少し、対象画素周りの局所画像領域にある画像の算出した空間周波数成分値に対応する深さデータが、深さと前記空間周波数成分値との事前に設定した関係を用いて求められるようにした撮像ユニットとを備え、
    前記撮像ユニットが、第１のデータおよび第２のデータに基づいて、深さと前記空間周波数成分値との事前に設定した関係を算出するように構成された関係算出ユニットを備え、前記第１のデータが、前記深さ方向の位置と、前記空間光パターンを投射するための投射システムにより生じる前記空間光パターンのぼやけとの第１の関係を示し、前記第２のデータが、前記深さ方向の位置と、画像を取り込むための撮像システムにより生じる前記空間光パターンのぼやけとの第２の関係を示す、深さデータを生成するためのシステム。
17. 前記空間光パターンが格子状パターンを有し、前記格子状パターンの各正方形領域のサイズが、ｘ方向およびｙ方向の画素サイズの少なくとも２倍である、請求項１６に記載のシステム。
18. 取り込まれた画像を、立体画像を生成するために操作可能である、請求項１６に記載のシステム。

Images