JP5163713B2 - 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 - Google Patents

距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 Download PDF

Info

Publication number
JP5163713B2
JP5163713B2 JP2010187637A JP2010187637A JP5163713B2 JP 5163713 B2 JP5163713 B2 JP 5163713B2 JP 2010187637 A JP2010187637 A JP 2010187637A JP 2010187637 A JP2010187637 A JP 2010187637A JP 5163713 B2 JP5163713 B2 JP 5163713B2
Authority
JP
Japan
Prior art keywords
spot
light
projection
distance image
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010187637A
Other languages
English (en)
Other versions
JP2012047500A (ja
Inventor
秀昭 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010187637A priority Critical patent/JP5163713B2/ja
Priority to US13/208,626 priority patent/US8743346B2/en
Priority to CN201110246661.9A priority patent/CN102435169B/zh
Publication of JP2012047500A publication Critical patent/JP2012047500A/ja
Application granted granted Critical
Publication of JP5163713B2 publication Critical patent/JP5163713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0944Diffractive optical elements, e.g. gratings, holograms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1086Beam splitting or combining systems operating by diffraction only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application

Description

本発明は、距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法に関する。
特許文献1には、光を受光すると共に、受光した光量に応じた電荷を生成する複数個の感光部と、感光部でそれぞれ生成された電荷の組を用いて対象物までの距離を算出すると共に、算出された距離を画素値とする距離画像を生成する画像生成部と、を備える距離画像センサが開示されている。
特開2006−153773号公報
ここで、特許文献1に開示された距離画像センサは、TOF(Time of Flight)型のセンサであるため、特殊で高価なCMOS(Complementary Metal Oxide Semiconductor)センサ又はMEMS(Micro Electro Mechanical Systems)スキャナを必要とする。このため、特許文献1の距離画像センサは、高価格であるという問題があった。
そこで、本発明は、このような点に鑑み、その目的とするところは、低価格な距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法を提供することにある。
上記目的を達成するため、本発明の第1の観点に係る距離画像センサは、
x軸、y軸、及びz軸が互いに原点で直交する座標空間において
前記x軸方向の所定の位置より、前記z軸方向に第1のスポットビームを投光する第1の光源と、
前記原点に対して前記第1の光源と対称な位置より、前記z軸方向に第2のスポットビームを投光する第2の光源と、
前記第1のスポットビームを複数の分割光に分割し、出射されて対象物上に形成される複数の投光スポットを第1投光スポットとして、所定のマークとなるように回折させる回折格子が形成された第1回折光学素子と、
前記第2のスポットビームを複数の分割光に分割し、出射されて前記対象物上に形成される複数の投光スポットを第2投光スポットとして、前記所定のマークとなるようにするとともに、前記第1投光スポットと前記第2投光スポットによって画定される複数の線分と前記x軸とが成す複数の角度が所定の角度となるように回折させる回折格子が形成された第2回折光学素子と、
前記第1投光スポットと、前記第2投光スポットと、を撮像する撮像手段と、
前記撮像手段で撮像された前記第1投光スポットと前記第2投光スポットとで画定される複数の線分の前記x軸に対する傾きに基づいて、前記対象物までの複数の距離を決定する距離決定手段と、を備える、
ことを特徴とする。
第1の観点に係る距離画像センサにおいて、
記撮像手段で撮像された撮像画像から、前記第1投光スポットと前記第2投光スポットとのうち、ペアを構成する前記所定のマークを複数検出する投光スポット検出手段を、さらに備え、
前記距離決定手段は、前記投光スポット検出手段で検出された複数の前記所定のマークのペアで画定される複数の線分の前記x軸に対する傾きに基づいて、前記対象物までの複数の距離を決定する、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記第1回折光学素子及び前記第2回折光学素子は、それぞれ前記第1のスポットビーム及び前記第2のスポットビームを複数の線分状のビームに分割して、前記分割された複数の線分状のビームが前記所定のマークとなるように回折する、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記所定のマークは、前記複数の線分状のビームがそれぞれ90°ずつの角度に配置される4つの略同じ長さを有する線分状の投光スポットからなる、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記距離決定手段は、前記線分状の投光スポットの延長線の交点の位置を前記x軸に対する傾きを求める前記線分の端点として、前記対象物までの距離を決定する、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記第1のスポットビームと、前記第2のスポットビームと、は入射角度が異なる関係にあり、
前記第1回折光学素子と、前記第2回折光学素子と、は同じ光学特性を有する、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記第1の光源から投光される第1のスポットビームと前記第2の光源から投光される第2のスポットビームとを平行光として生成する平行光生成手段をさらに備える、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記平行光生成手段は、
発光する発光手段と、
前記発光手段で発光された光を第1のスポットビームとしての第1光と第2のスポットビームとしての第2光とに分岐する二分岐回折格子が形成された光学素子と、
前記光学素子から出射された第1光を前記z軸方向に進行する第1平行光とすると共に、前記光学素子から出射された第2光を前記z軸方向に進行する第2平行光とするレンズと、を有する、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記レンズは、前記第1のスポットビームと前記第2のスポットビームとで画定される平面の法線方向から見ると、前記第1のスポットビームと前記第2のスポットビームとが成す角度と略一致した角度の扇型をしている、
としても良い。
また、第1の観点に係る距離画像センサにおいて、
前記第1回折光学素子、第2回折光学素子、及び前記光学素子は、前記平行光生成手段が有する前記レンズの表面に形成されている、
としても良い。
また上記目的を達成するため、本発明の第2の観点に係る距離画像生成装置は、
上記の距離画像センサと、
前記距離決定手段で決定された複数の距離に応じた複数の画素値を有する距離画像を生成する距離画像生成手段と、を有する、
ことを特徴とする。
また上記目的を達成するため、本発明の第3の観点に係る距離画像データ取得方法は、
x軸、y軸、及びz軸が互いに原点で直交する座標空間において、
前記x軸方向の所定の位置より、前記z軸方向に第1のスポットビームを投光する第1の投光ステップと、
前記第1のスポットビームを投光した位置と前記原点に対して対称な位置より、前記z軸方向に第2のスポットビームを投光する第2の投光ステップと、
前記第1のスポットビームが入射され、出射されて対象物上に形成される投光スポットを第1投光スポットとして、所定のマークとなるように回折させる第1回折ステップと、
前記第2のスポットビームが入射され、出射される前記対象物上に形成される投光スポットを第2投光スポットとして、前記所定のマークとなるようにするとともに、前記第1投光スポットと前記第2投光スポットとで画定される線分と前記x軸とが成す角が所定の角度となるように回折させる第2回折ステップと、
前記第1投光スポットと、前記第2投光スポットと、を撮像する撮像ステップと、
前記撮像ステップで撮像された前記第1投光スポットと前記第2投光スポットとで画定される複数の線分の前記x軸に対する傾きに基づいて、前記対象物までの距離を決定する距離決定ステップと、を有する、
ことを特徴とする。
また上記目的を達成するため、本発明の第4の観点に係る距離画像生成方法は、
上記の距離画像データ取得方法が含むステップと、
前記距離決定ステップで決定された複数の距離に応じた複数の画素値を有する距離画像を生成する距離画像生成ステップと、を有する、
ことを特徴とする。
本発明によれば、距離画像センサを低価格化でき、低コストで距離画像を生成できる。
図1は、本実施形態に係る距離画像センサがスポットビームを投光する投光面の一例を表す図である。 図2(a)は、実施形態1に係る距離画像センサを搭載したプロジェクタの一構成例を表す図である。図2(b)は、実施形態1の制御部の一構成例を表すハードウェア構成図である。図2(c)は、実施形態1の制御部が有する機能の一例を表す機能ブロック図である。 図3(a)は、実施形態1の回折光学素子による入射ビームの多点分岐を説明するための図である。図3(b)は、実施形態1の回折光学素子によって分割されたビームの終点の一例を表す図である。図3(c)は、実施形態1の回折光学素子が有する繰返領域の一構成例を表す図である。 図4(a)は、x軸の負側に配置された回折光学素子の始点、終点、方向比、及び方向余弦の一例を表す図である。図4(b)は、x軸の正側に配置された回折光学素子の始点、終点、方向比、及び方向余弦の一例を表す図である。 図5(a)は、実施形態1の回折光学素子から「4m」離れた投光面に投光される投光スポットの一例を表す図である。図5(b)は、実施形態1の回折光学素子から「3m」離れた投光面に投光される投光スポットの一例を表す図である。図5(c)は、実施形態1の回折光学素子から「2m」離れた投光面に投光される投光スポットの一例を表す図である。図5(d)は、実施形態1の回折光学素子から「1m」離れた投光面に投光される投光スポットの一例を表す図である。 図6(a)は、実施形態1の回折光学素子から「4m」離れた投光面に投光される第1投光スポットと第2投光スポットとで構成されるペアの一例を表す図である。図6(b)は、実施形態1の回折光学素子から「3m」離れた投光面に投光される第1投光スポットと第2投光スポットとで構成されるペアの一例を表す図である。図6(c)は、実施形態1の回折光学素子から「2m」離れた投光面に投光される第1投光スポットと第2投光スポットとで構成されるペアの一例を表す図である。図6(d)は、実施形態1の回折光学素子から「1m」離れた投光面に投光される第1投光スポットと第2投光スポットとで構成されるペアの一例を表す図である。図6(e)は、実施形態1の回折光学素子から投光面までの距離Lと、投光面に投光される投光スポットで画定される線分のdx/dy値との関係例を表す図である。図6(f)は、実施形態1の回折光学素子から投光面までの距離の逆数1/Lとdx/dy値との関係例を表す図である。 図7は、実施形態1の距離画像センサが有する制御部で実行される画像投影処理の一例を表すフローチャートである。 図8(a)は、実施形態2に係る距離画像センサを搭載したプロジェクタの一構成例を表す図である。図8(b)は、実施形態2の制御部が有する機能の一例を表す機能ブロック図である。 図9(a)は、実施形態2の回折光学素子による入射ビームの多点分岐を説明するための図である。図9(b)は、実施形態2の回折光学素子によって分割されたビームで形成される投光スポットが描く所定のマークの一例を表す図である。 図10(a)は、実施形態2の回折光学素子から「1m」離れた投光面に投光される第1投光スポットと第2投光スポットとの一例を表す図である。図10(b)は、実施形態2の回折光学素子から「2m」離れた投光面に投光される第1投光スポットと第2投光スポットとの一例を表す図である。図10(c)は、実施形態2の回折光学素子から「3m」離れた投光面に投光される第1投光スポットと第2投光スポットとの一例を表す図である。図10(d)は、実施形態2の回折光学素子から「4m」離れた投光面に投光される第1投光スポットと第2投光スポットとの一例を表す図である。 図11(a)は、実施形態2の回折光学素子から「1m」離れた第1投光スポットと第2投光スポットとが投光された投光面の一例を表す図である。図11(b)は、実施形態2の回折光学素子から「2m」離れた第1投光スポットと第2投光スポットとが投光された投光面の一例を表す図である。図11(c)は、実施形態2の回折光学素子から「3m」離れた第1投光スポットと第2投光スポットとが投光された投光面の一例を表す図である。図11(d)は、実施形態2の回折光学素子から「4m」離れた第1投光スポットと第2投光スポットとが投光された投光面の一例を表す図である。 図12(a)は、実施形態1の回折光学素子から「1m」離れた投光面に投光される第1投光スポットと第2投光スポットとを表す撮像画像の一例を表す図である。図12(b)は、実施形態1の回折光学素子から「2m」離れた投光面に投光される第1投光スポットと第2投光スポットとを表す撮像画像の一例を表す図である。図12(c)は、実施形態1の回折光学素子から「3m」離れた投光面に投光される第1投光スポットと第2投光スポットとを表す撮像画像の一例を表す図である。図12(d)は、実施形態1の回折光学素子から「4m」離れた投光面に投光される第1投光スポットと第2投光スポットとを表す撮像画像の一例を表す図である。 図13(a)は、実施形態3に係る距離画像センサを搭載したプロジェクタの一構成例を表す図である。図13(b)は、実施形態3の平行光生成部の一例を表す斜視図である。図13(c)は、実施形態3の平行光生成部の一例を表す上面図である。 図14(a)は、実施形態4の平行光生成部の一例を表す斜視図である。図14(b)は、実施形態4の平行光生成部の一例を表す上面図である。 図15(a)は、実施形態5に係る距離画像センサを搭載したプロジェクタの一構成例を表す図である。図15(b)は、実施形態5の制御部が有する機能の一例を表す機能ブロック図である。 図16(a)は、実施形態5の平行光生成部の一例を表す斜視図である。図16(b)は、実施形態5の平行光生成部の一例を表す上面図である。 図17は、実施形態5に係る回折光学素子から出射されるねじれビームの一例を表す図である。 図18(a)は、実施形態5の回折光学素子の一例を表す図である。図18(b)は、実施形態5の回折光学素子が有する回折領域の一構成例を表す図である。図18(c)は、繰返領域の一構成例を表す図である。 図19(a)は、実施形態5の回折光学素子による入射ビームの多点分岐を説明するための図である。図19(b)は、実施形態5の回折光学素子によって分割されたビームの終点の一例を表す図である。図19(c)は、実施形態5の回折光学素子の始点、終点、方向比、及び方向余弦の一例を表す図である。 図20(a)は、実施形態5の回折光学素子が有する回折領域を識別するインデックスの一例を表す図である。図20(b)は、実施形態5における回折領域の始点のx座標値の一例を表す図である。図20(c)は、実施形態5における回折領域の始点のy座標値の一例を表す図である。図20(d)は、実施形態5における回折領域の始点のz座標値の一例を表す図である。 図21(a)は、実施形態5における回折領域の終点のx座標値の一例を表す図である。図21(b)は、実施形態5における回折領域の終点のy座標値の一例を表す図である。図21(c)は、実施形態5における回折領域の終点のz座標値の一例を表す図である。 図22(a)は、実施形態5の回折光学素子から「1m」離れた投光面に投光される投光スポットの一例を表す図である。図22(b)は、実施形態5の回折光学素子から「2m」離れた投光面に投光される投光スポットの一例を表す図である。図22(c)は、実施形態5の回折光学素子から「3m」離れた投光面に投光される投光スポットの一例を表す図である。図22(d)は、実施形態5の回折光学素子から「4m」離れた投光面に投光される投光スポットの一例を表す図である。図22(e)は、実施形態5の回折光学素子から投光面までの距離Lと、投光面に投光される投光スポットとx軸とが成す角度θとの関係例を表す図である。図22(f)は、実施形態5の回折光学素子から投光面までの距離の逆数1/Lと角度θとの関係例を表す図である。 図23(a)は、実施形態6の平行光生成部の一例を表す斜視図である。図23(b)は、実施形態6の平行光生成部の一例を表す上面図である。
以下、本発明の最良の実施形態について添付図面を参照しつつ説明する。
(実施形態1)
本発明の実施形態1に係る距離画像センサ100は、図1に示すようなxyz空間において、z軸と垂直で原点からの距離(つまり、z座標値)が異なる投光面P1からP4に対してそれぞれ異なる複数の投光スポットを形成するような複数のスポットビームを対象物に対して出射する。次に、距離画像センサ100は、これらのスポットビームによって対象物上に形成される複数の投光スポットに基づいて、投光スポットが形成された対象物上の点との距離を複数測定する(決定する)。尚、投光スポットとは、投光スポットから所定距離までの周辺領域よりも所定値だけ照度が高い(つまり、明るく照らされた)領域をいう。
距離画像センサ100は、図2に示すようなプロジェクタ190に搭載され、制御部110、平行光生成部121及び122、回折光学素子(以下、DOE:Diffractive Optical Element)131及び132、並びに撮像部140を備える。プロジェクタ190は、距離画像センサ100の他に、プロジェクタ190のユーザによる操作に応じた操作信号を入力する入力部191、及び制御部110に制御されて画像をスクリーンへ投影する投影部192を備える。以下、制御部110について説明する前に、平行光生成部121及び122、DOE131及び132、並びに撮像部140について説明する。
平行光生成部121及び122は、例えば、コリメータレンズ付きのレーザーダイオード(以下、LD:Laser Diodeという)で構成される。平行光生成部121及び122は、略同一波長を有し、z軸方向に進行するコヒーレントなスポットビームをDOE131及び132にそれぞれ入射する。
DOE131は、図1に示すように、スポットビームを入射される入射面の中心座標が(-5, 0, 0)となる位置に設置され、DOE132は、入射面の中心座標が(+5, 0, 0)となる位置に設置されている。DOE131及び132は、多点分岐回折格子が形成されている。DOE131は、図3(a)に示すように、平行光生成部121で生成されたz軸方向に進行する1本のスポットビームを12本のスポットビームに分割する回折格子パターンが形成され、DOE132にも同様の回折格子パターンが形成されている。このため、DOE131で分割された12本のスポットビーム(以下、分割ビームという)は、DOE131から「4メートル(以下、mと表記する)」z軸方向に離れた位置の投光面P4に対して、図3(b)に示すような12個の投光スポットEA1からEL1を形成する。また、DOE132から出射される12本の分割ビームも同様に、投光面P4に対して12個の投光スポットEA2からEL2を形成する。
DOE131の入射面には、図3(c)に示すような複数の繰返領域RR1がタイル状に(つまり、互いに隣接して)形成されている。この繰返領域RR1は、例えば、通常照射されるレーザービームの径よりも十分に小さいピッチで並んでいる。この繰返領域RR1には、図3(c)に示すような12個の要素領域A1からL1がタイル状に形成されている。この繰返領域RR1を構成する要素領域A1からL1は、図4(a)の表に示すような、z軸方向へ進行するスポットビームが入射された場合に出射する分割ビームの方向がそれぞれ異なる12種類の回折格子が形成されている。尚、図4(a)の表は、スポットビームが入射される点を始点とし、投光面P4上の投光スポットが形成される点を終点とし、かつ始点から終点へ向かう出射光の進行方向を方向余弦で表している。
要素領域A1は、図4(a)に示すように始点が座標値(-5, 0, 0)で表される位置である場合に、出射するスポットビームの進行方向を、座標値(-1500, 995, 4000)で表される終点EA1に向かう方向とする。同様に、要素領域B1は、始点が座標値(-5, 0, 0)である場合に、出射するスポットビームの進行方向を、座標値(-500, 995, 4000)で表される終点EB1に向かう方向とする。さらに、要素領域C1及びD1は、終点EB1をx座標値「1000」及び「2000」だけそれぞれシフトさせた終点EC1及びED1に向かう方向にスポットビームの進行方向を変更する。
また、要素領域E1からH1は、終点EA1からED1をそれぞれy座標値「-1000」だけシフトさせた終点EE1からEH1に向かう方向にスポットビームの進行方向を変更し、要素領域I1からL1は、終点EA1からED1をそれぞれy座標値「-2000」だけシフトさせた終点EI1からEL1に向かう方向にスポットビームの進行方向を変更する。
尚、DOE131が有する要素領域の種類数は12個に限定されるものではなく、要素領域に形成された回折格子は、DOE131を構成する透明基板の表面に設けられたバイナリ式の(つまり、略同一の深さを有する)複数の溝で構成されても良いし、異なる深さの複数の溝で構成されても良い。
DOE132の要素領域A2からL2は、図4(b)の表及び図5(a)に示すように、z軸方向へ進行するスポットビームが座標値(+5, 0, 0)で表される始点に入力されると、出射するスポットビームの進行方向を、投光面P4に形成される終点EA1からEL1をy座標値「+10」だけそれぞれシフトさせた点EA2からEL2に向かう方向とする。
ここで、例えば、終点EA1とEA2、及びEL1とEL2のように、DOE131から出射された分割ビーム(以下、第1分割ビームという)の投光スポット(以下、第1投光スポット)と、DOE132から出射された分割ビーム(以下、第2分割ビームという)の投光スポット(以下、第2投光スポット)であって、第1投光スポットよりも「+10」だけy軸の正方向に上に位置するスポットとをペアとすると、ペアを構成する第1投光スポットと第2投光スポットとを端点とする線分は、x軸に対して垂直となる。
このため、図5(a)から図5(d)及び図6(a)から図6(d)に示すように、投光面と始点との距離が、「4m」から減少するにつれて、投光面に形成されたペアを構成する第1投光スポットと第2投光スポットとを結んだ線分とx軸とが成す角度が「90°」から「0°」まで減少する。このため、線分のx軸方向(水平方向)の長さdxと、線分のy軸方向(水平方向)の長さdyとの比(以下、dx/dy値という)は、図6(e)に示すように始点から投光スポットまでの距離Lと反比例し、図6(f)に示すように始点から投光スポットまでの距離Lの逆数と正比例する。
図2(a)の撮像部140は、例えば、デジタルカメラで構成され、図1に示すように、光軸がz軸と略一致し、主走査方向がx軸と平行となり、かつ副走査方向がy軸と平行となるように設置されている。撮像部140は、DOE131及びDOE132から対象物に対して第1分割ビーム及び第2分割ビームが出射されると、制御部110により制御されて、第1分割ビーム及び第2分割ビームによって対象物上に形成される第1投光スポット及び第2投光スポットを撮像する。
図2(a)の制御部110は、例えば、図2(b)に示すように、CPU(Central Processing Unit)110a、ROM(Read Only Memory)110b、RAM(Random Access Memory)110c、ハードディスク100d、及び入出力ポート(以下、I/Oポートという)100eを備える。
CPU110aは、ROM110b又はハードディスク100dに保存されたプログラムに従ってソフトウェア処理を実行することで、距離画像センサ100を含むプロジェクタ190の全体制御を行う。RAM110cは、CPU110aによるプログラムの実行時において、処理対象とする情報(データ)を一時的に記憶する。
ハードディスク100dは、画像を表す画像データ、プログラム、及びプログラムの実行時に参照される各種のデータテーブルを記憶している。ハードディスク100dが記憶するデータテーブルは、図6(f)に示すような投光スポットのdx/dy値を表す情報と、始点から投光スポットまでの距離の逆数1/Lを表す情報とを対応付けた複数の情報を保存した距離テーブルを含む。I/Oポート100eは、制御部110と接続する各部との間でデータの入出力を行う。
制御部110は、図2(b)に示したハードウェアを用いて、図7に示すような画像投影処理を実行することで、図2(c)に示すような投光制御部111、撮像制御部112、撮像画像取得部113、投光スポット検出部114、傾き検出部115、情報記憶部116、距離測定部(距離決定部)117、距離画像生成部118a、投影画像補正部118b、及び投影制御部119として機能する。
図7の画像投影処理を開始すると、図2(b)の投光制御部111は、図2(a)の平行光生成部121及び122に対してそれぞれDOE131及び132へ入射する平行光を生成させることで、対象物に対して12個の第1分割ビームと12個の第2分割ビームとを投光させる投光制御を開始する(ステップS01)。次に、図2(b)の撮像制御部112は、対象物上に形成された12個の第1投光スポットと12個の第2投光スポットとを撮像するように、図2(a)の撮像部140を制御する(ステップS02)。その後、撮像画像取得部113は、撮像部140から撮像画像を取得する(ステップS03)。
次に、投光スポット検出部114は、撮像画像を構成する画素値の明度に基づいて、撮像画像に表された12個の第1投光スポットと、12個の第2投光スポットとを検出する(ステップS04)。次に、傾き検出部115は、撮像画像における互いの距離が所定値を下回る第1投光スポットと第2投光スポットとで構成される12個のペアを取得し、取得したペアを構成する第1投光スポットと第2投光スポットとで画定される12個の線分に対してdx/dy値を算出する(ステップS05)。
次に、距離測定部117は、ステップS05で算出された12個のdx/dy値を表す情報に対して、それぞれと対応付けられた距離の逆数を表す情報を、情報記憶部116が記憶する上記の距離テーブルから検索した後に、検索された情報で表される値の逆数を算出することで、対象物上に形成された投光スポットで画定される線分上の12個の点との距離をそれぞれ測定する(決定する)(ステップS06)。尚、距離画像生成部118aは、測定された12個の距離を画素値とした距離画像を生成する。その後、投光制御部111は、投光制御を終了する(ステップS07)。
次に、投影制御部119は、ステップS06で測定された対象物上の12個の点との距離の内で、最も中心に位置する点との距離に基づいて、焦点を対象物であるスクリーンへ合わせるように、図2(a)の投影部192を制御する焦点制御を行う(ステップS08)。その後、投影画像補正部118bは、測定された12個の点との距離に基づいて、投影部192の光軸に対するスクリーンの傾斜角度を算出する(ステップS09)。具体的には、ステップS09で算出されるスクリーンの傾斜角度は、スクリーンの水平方向と投影部192の光軸とが成す角度と、スクリーンの垂直方向と投影部192の光軸とが成す角度とを含む。
その後、投影画像補正部118bは、ステップS09で算出された傾斜角度を用いて、スクリーンに投影される画像の歪みをキャンセルする歪み補正行列を算出する(ステップS10)。具体例としては、投影画像補正部118bは、特許文献である特許4380557号公報に開示されているような台形補正を行う補正行列を算出する。次に、投影画像補正部118bは、スクリーンへ投影する投影画像を、ステップS10で算出された補正行列を用いて補正する(ステップS11)。次に、投影制御部119は、補正された投影画像をスクリーンへ投影する投影制御を行った後に(ステップS12)、画像投影処理の実行を終了する。
これらの構成によれば、DOE131及びDOE132から出射された複数の分割ビームにより対象物上に形成される複数の投光スポットで画定される線分のx軸に対する傾きに基づいて、対象物上における投光スポットが形成された複数の点との距離を測定する。よって、例えば、TOF(Time of Flight)型のセンサのように、特殊で高価なCMOS(Complementary Metal Oxide Semiconductor)センサ又はMEMS(Micro Electro Mechanical Systems)スキャナを距離画像センサ100は必要としないため、小型及び安価であるにも関わらず、対象物上の複数の点との距離を測定して、距離画像を生成できる。
またこれらの構成によれば、DOE131及びDOE132は、それぞれ平行光生成部121及び122で生成されたスポットビームを複数の分割ビームに分割するため、平行光生成部121及び122の数を増加させることなく、対象物に対して複数のスポットビームを照射できる。このため、距離画像センサ100を大型化及び高額化することなく、対象物上の複数の点との距離を測定できる。
(実施形態1の変形例)
本実施形態において、距離画像センサ100は、図4(a)及び(b)に示す光学特性を有する2種類のDOE131及び132を備え、DOE131及び132は、図5(a)に示すような第1投光スポットと第2投光スポットとを形成するように、平行光生成部121及び122で生成されたスポットビームをそれぞれ分割するとして説明した。しかし、距離画像センサ100が備えるDOE131及び132は、同じ光学特性を有し(つまり、同一種類であり)、図5(a)に示すような第1投光スポットと第2投光スポットとを形成するように、平行光生成部121がDOE131にスポットビームを入射する入射角度と、平行光生成部122がDOE132にスポットビームを入射する入射角度とを異ならせる構成を採用しても良い。
(実施形態2)
次に、実施形態2について説明を行う。本発明の実施形態2に係る距離画像センサ200は、実施形態1と同様に、図8(a)に示すようなプロジェクタ290に搭載され、制御部210、平行光生成部221及び222、DOE231及び232、並びに撮像部240を備え、プロジェクタ290は、入力部291及び投影部292を備える。尚、実施形態1と共通する構成については説明を省略する。
DOE231は、図9(a)及び(b)に示すように、1つのスポットビームを48個の偏平ビーム(以下、分割偏平ビームという)に分割すると共に、48個の分割偏平ビームによって投光面P4に形成される投光スポットが、12個の所定のマークを描くように、1つの入射されたスポットビームの進行方向を変更する。
ここで、偏平ビームとは、偏平面を有するレーザービームをいい、偏平面がx軸の正方向と「45°」の角を成す第1偏平ビーム、「135°」の角を成す第2偏平ビーム、「225°」の角を成す第3偏平ビーム、及び「315°」の角を成す第4偏平ビームに分類される。投光スポットのマークは、例えば、図10(a)に示すような、それぞれ1つの第1偏平ビームから第4偏平ビームによって形成される4つの略同一な長さを有する線分状の投光スポットで描かれ、4つの線分の延長線が互いに略垂直に交わる点が、距離の測定に用いられる線分の端点PE1であることを示す。
尚、投光スポットのマークは、任意の形状で良く、例えば、円形であり中心点が線分の端点PE1であることを示しても良い。この構成によれば、例えば、撮像部240の主走査方向とx軸との平行度が低い場合であっても、撮像画像に表される投光スポットの形状は円形状のまま変化しないため、精度良く端点PE1を検出できる。
DOE232は、DOE231と同様に、1つのスポットビームを48個の分割偏平ビームに分割すると共に、48個の分割偏平ビームによって投光面P4に形成される投光スポットが、12個の所定のマークを描くように、入射されたスポットビームの進行方向を変更する。また、DOE232は、出射したビームで描かれる12個のマークの位置を、DOE231によって出射された分割偏平ビームによってマークが描かれる位置がy座標値「+10」だけそれぞれシフトした位置となるように、入射されたスポットビームの進行方向を変更する。尚、DOE231から出射される第1偏平ビームから第4偏平ビームによって形成され、それぞれ同じマークを構成する4つの投光スポットを第1投光スポットといい、DOE232から出射される第1偏平ビームから第4偏平ビームによって形成され、それぞれ同じマークを構成する4つの投光スポットを第2投光スポットという。
このため、図10(a)から(d)及び図11(a)から(d)に示すように、投光面と始点との距離が、「1m」から「4m」まで増加するにつれて、投光面に形成されたペアを構成する第1投光スポットが描くマークによって示される端点PE1と、第2投光スポットが描くマークによって示される端点PE2とを結んだ線分とx軸との角度が「0°」から「90°」まで増加する。
図8(a)の制御部210は、実施形態1と同様に、図7の画像投影処理を実行することで、図8(b)に示すような投光制御部211、撮像制御部212、撮像画像取得部213、投光スポット検出部214、傾き検出部215、情報記憶部216、距離測定部(距離決定部)217、投影画像補正部218a、投影画像補正部218b、及び投影制御部219として機能する。
傾き検出部215は、投光スポット検出部214で検出された12個の第1投光スポットと、12個の第2投光スポットとの内で、それぞれが指し示す端点PE1とPE2との距離が撮像画像において所定値を下回る第1投光スポットと第2投光スポットとをペアにするなどの方法で12個のペアを取得し、取得したペアを構成する第1投光スポットで指し示される端点PE1と第2投光スポットで指し示めされる端点PE2とで画定される12個の線分に対してdx/dy値を算出する。
ここで、例えば、実施形態1のように、点状の第1投光スポットと第2投光スポットとを結ぶ線分の傾きに基づいて距離を測定する(決定する)場合には、図8(a)の撮像部240の画角が一定であると、図12(a)から(d)に示すように、撮像部240との距離Lが増加する程(つまり、投光面が遠くなる程)、第1投光スポットと第2投光スポットとが撮像画像において小さく表示され、かつ第1投光スポットと第2投光スポットとの距離が短く表示される。これに対して実施形態2におけるマークは距離とともに拡大される。よってこれらの構成によれば、傾き検出部215は、撮像画像から所定のマークを精度良く検出できる。また、傾き検出部215は、マークによって指し示される端点により画定される線分を検出するため、実施形態1のような点状の第1投光スポットと第2投光スポットとを結ぶ線分の傾きに基づいて距離を測定する場合と比べて精度良く線分を検出できるので、精度良く距離を測定できる。また、これらの構成によれば、撮像画像にシミ、ムラ、又はノイズがある場合であっても、精度良く線分を検出できるので、精度良く距離を測定できる。
(実施形態3)
次に、実施形態3について説明を行う。本発明の実施形態3に係る距離画像センサ300は、実施形態1と同様に、図13(a)に示すようなプロジェクタ390に搭載され、制御部310、DOE331及び332、並びに撮像部340と、1つの平行光生成部320とを備え、プロジェクタ390は、入力部391及び投影部392を備える。尚、実施形態1と共通する構成については説明を省略する。
平行光生成部320は、図13(b)及び(c)に示すように、発光してスポットビームを出射するLD321と、LD321によって入射されたスポットビームを、第1スポットビームと第2スポットビームとに分岐させる回折格子が形成された二分岐DOE322と、二分岐DOE322から出射される第1スポットビームと第2スポットビームとをz軸方法に進行する平行ビームとした後に、それぞれDOE331及びDOE332へ入射する平凸レンズ323とで構成される。
これらの構成によれば、例えば、2つのレーザーダイオード(つまり、LD)を有する実施形態1の距離画像センサ100及び実施形態2の距離画像センサ200と比べ、距離画像センサ300を小型化、軽量化、及び低価格化できる。
(実施形態4)
次に、実施形態4について説明を行う。本発明の実施形態4に係る距離画像センサは、実施形態3と同様に、1つの平行光生成部420を備える。尚、実施形態3と共通する構成については説明を省略する。
平行光生成部420は、図14(a)及び(b)に示すように、発光してスポットビームを出射するLD421と、LD421によって入射されたスポットビームを、第1スポットビームと第2スポットビームとに分岐させる回折格子が形成された二分岐DOE422と、二分岐DOE422から出射される第1スポットビームと第2スポットビームとをz軸方向に進行する平行ビームとする平凸レンズ423と、平凸レンズ423の表面に形成された溝状の回折格子で構成されるDOE431及びDOE432とで構成される。
これらの構成によれば、平凸レンズ423の表面にDOE431及びDOE432が形成されているので、例えば、実施形態3のように、平凸レンズ323とDOE331及びDOE332が別個の部品である場合と比べて、平凸レンズ323とDOE331及びDOE332との相対的な位置精度が向上する。このため、例えば、平凸レンズ323から出射された平行ビームのDOE331又はDOE332に対する入射角のズレが生じ難く、精度良く距離を計測できる。また、これらの構成によれば、部品数を少なくできるため製造コスト及び部品の管理コストを削減できるので、距離画像センサを小型化及び低価格化できる。
ここで、平凸レンズ423の形状は、DOE422で分岐された第1スポットビームと第2スポットビームとで画定される平面の法線方向(つまり、y軸方向)から見ると、第1スポットビームと第2スポットビームとが成す角度と略一致した角度の扇型をしている。この構成によれば、平凸レンズ423は、第1スポットビームと第2スポットビームとのいずれも通過しない部分(つまり、不要部分)の全体に占める割合が、例えば、実施形態3の平凸レンズ323と比べて少ないため、距離画像センサを小型化及び低価格化できる。
(実施形態5)
次に、実施形態5について説明を行う。本発明の実施形態5に係る距離画像センサ500は、図15(a)に示すようなプロジェクタ590に搭載され、制御部510、1つの平行光生成部520、1つのDOE530、及び撮像部540と、を備え、プロジェクタ590は、入力部591及び投影部592を備える。尚、実施形態1と共通する構成については説明を省略する。
平行光生成部520は、図16(a)及び(b)に示すように、発光してスポットビームを出射するLD521と、LD521によって入射されたスポットビームのx軸方向の幅を拡張する回折格子が形成されたラインジェネレータDOE522と、ラインジェネレータDOE522から出射されるx軸と平行な偏平面を形成する偏平ビームを、z軸方向へ進行する平行ビームとした後に、DOE530へ入射する平凸レンズ523とで構成される。尚、平行光生成部520は、ラインジェネレータDOE520の代わりに、同等の機能を有するパウエルレンズ等を用いても良い。
これらの構成によれば、DOEはシリンドリカルレンズと比べて低額かつ小型であるので、例えば、平行光生成部520が、スポットビームを出射するLDと、LDによって入射されたスポットビームのx軸方向の幅を拡張するシリンドリカル凹レンズと、シリンドリカル凹レンズから出射される偏平ビームを、平行ビームとするシリンドリカル凸レンズとで構成される場合と比べて、距離画像センサ500を容易に小型化かつ低価格化できる。
本実施形態の距離画像センサ500は、図17に示すように、DOE530を用いて、平行光生成部520で生成された1つの偏平ビームを12個のねじれビームに分割すると共に、12個のねじれビームによって対象物に形成された12個の線分状の投光スポットがx軸と成す傾きに基づいて、対象物上に形成された投光スポット上の12個の点との距離を計測する。尚、ねじれビームとは、DOE530との距離に応じて偏平面の回転角度が変化する偏平ビームをいう。
DOE530は、図18(a)に示すように、x方向に並んだ11個の回折領域530aから530kを有する。回折領域530aから530eについて説明する前に、原点の位置に形成された回折領域530fについて説明する。
回折領域530fには、図18(b)に示すように、複数の繰返領域RRfがタイル状に形成されている。この繰返領域RRfは、例えば、通常照射されるレーザービームの径よりも十分に小さいピッチで並んでいる。繰返領域RRfは、図18(c)に示すような12個の要素領域AfからLfがタイル状に形成されている。この繰返領域RRfを構成する要素領域AfからLfは、図19(a)に示すように、z軸方向へ進行するスポットビームが入射された場合に出射するビームの方向がそれぞれ異なる12種類の回折格子が形成されている。
具体的には、要素領域Afは、図19(a)及び図19(c)に示すように始点が原点である場合に、出射するレーザービームの進行方向を、図19(b)及び図19(c)に示すような座標値(-1500, 1000, 4000)で表される終点EAfに向かう方向へ変更する。同様に、要素領域Bfは、始点が原点である場合に、出射するレーザービームの進行方向を、座標値(-500, 1000, 4000)で表される終点EBfに向かう方向へ変更する。さらに、要素領域Cf及びDfは、レーザービームの進行方向を、終点EBfをx座標値「1000」及び「2000」だけそれぞれシフトさせた終点ECf及びEDfに向かう方向へそれぞれ変更する。
また、要素領域EfからHfは、レーザービームの進行方向を、終点EAfからEDfをそれぞれy座標値「-1000」だけシフトさせた終点EEfからEHfに向かう方向へそれぞれ変更し、要素領域IfからLfは、レーザービームの進行方向を、終点EAfからEDfをそれぞれy座標値「-2000」だけシフトさせた終点EIfからELfに向かう方向へそれぞれ変更する。
図18(a)に示す回折領域530aから530e及び530gから530kは、既に説明した回折領域530fと同様に、それぞれ不図示の繰返領域RRaからRRe及びRRgからRRkを複数有する。また、繰返領域RRaからRRe及びRRgからRRkは、それぞれ不図示の要素領域AaからLa、AbからLb、AcからLc、AdからLd、AeからLe、AgからLg、AhからLh、AiからLi、AjからLj、及びAkからLkを有する。
ここで、これらの領域AaからLkを識別するために、図20(a)の表に示すような回折領域インデックスと要素領域インデックスとを用いる。回折領域インデックスとは、要素領域を含む回折領域を識別するインデックスである。例えば、要素領域Aaは回折領域530aに含まれるため、要素領域Aaの回折領域インデックスは「a」であり、要素領域Abは回折領域530bに含まれるため、要素領域Abの回折領域インデックスは「b」である。また、要素領域インデックスとは、繰返領域における要素領域の位置を識別するインデックスである。例えば、要素領域Aaの位置は、図18(c)に示す繰返領域RRfにおける要素領域Afに相当する位置であるため、要素領域Aaの要素領域インデックスは「A」であり、要素領域Baは、図18(c)に示す繰返領域RRfにおける要素領域Bfに相当する位置であるため、要素領域Baの要素領域インデックスは「B」である。
この回折領域インデックスと要素領域インデックスとを用いると、上記の要素領域AaからLkの始点は、図20(b)から(d)に示すようなx座標値、y座標値、及びz座標値で表される。つまり、領域Aa及びLkの始点の位置は、座標値(-5, 0, 0)及び座標値(5, 0, 0)でそれぞれ表される。
また、上記の領域AaからLkを通過したレーザービームの終点は、図21(a)から(c)に示すようなx座標値、y座標値、及びz座標値で表される。つまり、図21(a)に示すように、同じ要素領域インデックスで識別される要素領域(つまり、繰返領域における相対位置がそれぞれ同じ要素領域)は、回折領域インデックスが異なっても(つまり、要素領域を含む回折領域が異なっても)、入射ビームの進行方向を、同じx座標値の終点へ向かう方向へ変更する。このため、要素領域AaからLkの終点の位置を表すx座標値は、「-1500」、「-500」、「+500」、及び「+1500」という4個の座標値の内いずれかとなる。
これに対して、図21(b)に示すように、同じ要素領域インデックスで識別される要素領域は、回折領域インデックスがアルファベット順において遅いインデックスとなる程(つまり、図20(b)に示すように、始点のx座標が大きくなる程)、入射ビームの進行方向を、より大きなy座標値の終点へ向かう方向へ変更する。このため、要素領域AaからLkの終点を表すy座標値は、「995から1005」、「-5から+5」、及び「-1005から-995」という3つの座標範囲のいずれかに含まれる。
よってこれらの構成によれば、x軸に平行な偏平面を形成する平行ビームを入射されると、DOE530は、x軸と成す偏平面の回転角度がDOE530との距離に応じて変化するねじれビームを、終点のx座標が「-1500」となる方向と、「-500」となる方向と、「+500」となる方向と、「+1500」となる方向との少なくとも4方向に分割して出射できる。
またこれらの構成によれば、x軸に平行な偏平面を形成する平行ビームを入射されると、DOE530は、x軸と成す偏平面の回転角度がDOE530との距離に応じて変化するねじれビームを、終点のy座標が「995から1005」に含まれる方向と、「-5から+5」に含まれる方向と、「-1005から-995」に含まれる方向との少なくとも3方向に分割して出射できる。
つまり、要素領域AaからLkの終点は、終点のx座標及びy座標に基づいて12個のパターンに分類される。つまり、DOE530は、図17に示すように、x軸と平行な偏平面を形成するコヒーレントで平行光である偏平ビームを入射されると12個の左回りのねじれビームを12方向に対して出射できる。
このため、図22(a)から(d)に示すように、投光面と始点との距離が「1m」から「4m」まで増加するにつれて、ねじれビームによって投光面に形成される線分形状の投光スポットとx軸とが成す角度θが「0°」から「90°」まで増加する。このため、線分のx軸方向(水平方向)の長さdxと、線分のy軸方向(垂直方向)の長さdyとの比(以下、dx/dy値という)から算出される正接(つまり、タンジェント)と逆正接関数(つまり、アークタンジェント)とを用いて計算される角度θは、図22(e)に示すように始点から投光スポットまでの距離Lと略比例し、図22(f)に示すように始点から投光スポットまでの距離Lの逆数と略反比例する。
図15(a)の制御部510は、実施形態1と同様に、図7に示すような画像投影処理を実行することで、図15(b)に示すような投光制御部511、撮像制御部512、撮像画像取得部513、投光スポット検出部514、傾き検出部515、情報記憶部516、距離測定部(距離決定部)517、距離画像生成部518a、投影画像補正部518b、及び投影制御部519として機能する。
情報記憶部516は、図22(e)に示すような投光スポットとx軸とが成す角度θを表す情報と、投光スポットまでの距離Lを表す情報とを対応付けた複数の情報を保存するテーブルを記憶する。
傾き検出部515は、スポット検出部514で撮像画像から検出された12個の投光スポットに対してdx/dy値を算出し、算出したdx/dy値を用いて投光スポットとx軸とが成す角を12個検出する。
距離測定部517は、傾き検出部515で検出された12個の角度に対して、それぞれの角度を表す情報に対応付けられた距離を表す情報を情報記憶部516が記憶する上記のテーブルから検索することで、対象物上に形成された投光スポット上の12個の点との距離をそれぞれ測定する(決定する)
これらの構成によれば、傾き検出部515は、線分状の投光スポットを表す複数の画素に基づいてx軸との回転角度を検出するため、例えば、実施形態1の距離画像センサ100のように、点状の投光スポットを表す画素よりも多い画素に基づいてx軸との回転角度を検出する。このため、距離画像センサ500は、精度良く回転角度を検出できるため、精度良く距離を測定できる。
(実施形態5の変形例1)
実施形態5においては、DOE530の繰返領域RRaからRRkが有する同じ要素領域インデックスで識別される要素領域は、回折領域インデックスがアルファベット順において遅いインデックスとなる程(つまり、図20(b)に示すように、始点のx座標が大きくなる程)、入射ビームの進行方向を、より大きなy座標値の終点へ向かう方向へ変更するため、複数の左回りのねじれビームを出射するとして説明した。しかし、これに限定される訳ではなく、DOE530は、繰返領域RRaからRRk(以下、左繰返領域RRaからRRkという)に代えて右繰返領域RRa’からRRk’を有し、右繰返領域RRa’からRRk’が有する同じ要素領域インデックスで識別される要素領域は、回折領域インデックスがアルファベット順において遅いインデックスとなる程(つまり、図11(b)に示すように、始点のx座標が大きくなる程)、入射ビームの進行方向を、より小さなy座標値の終点へ向かう方向へ変更し、複数の右回りのねじれビームを出射する構成を採用できる。
(実施形態5の変形例2)
実施形態5及び実施形態5の変形例1において、DOE530は、x軸に平行な偏平面を形成する平行ビームを入射されると、x軸と成す偏平面の回転角度がDOE530との距離に応じて変化する右回転又は左回転のねじれビームを、終点のx座標が「-1500」となる方向と、「-500」となる方向と、「+500」となる方向と、「+1500」となる方向との少なくとも4方向に分割して出射する構成を採用できる。またこの構成において、DOE530は、x軸に平行な偏平面を形成する平行ビームを入射されると、DOE530は、x軸と成す偏平面の回転角度がDOE530との距離に応じて変化する右回転又は左回転のねじれビームを、終点のy座標が「995から1005」に含まれる方向と、「-5から+5」に含まれる方向と、「-1005から-995」に含まれる方向との少なくとも3方向に分割して出射するとして説明した。
しかしこれに限定される訳ではなく、DOE530は、y軸に平行な偏平面を形成する平行ビームを入射されると、x軸と成す偏平面の回転角度がDOE530との距離に応じて変化する右回転又は左回転のねじれビームを、終点のy座標が「-1500」となる方向と、「-500」となる方向と、「+500」となる方向と、「+1500」となる方向との少なくとも4方向に分割して出射する構成を採用できる。またこの構成において、DOE530は、y軸に平行な偏平面を形成する平行ビームを入射されると、DOE530は、x軸と成す偏平面の回転角度がDOE530との距離に応じて変化する右回転又は左回転のねじれビームを、終点のx座標が「995から1005」に含まれる方向と、「-5から+5」に含まれる方向と、「-1005から-995」に含まれる方向との少なくとも3方向に分割して出射する構成を採用できる。
(実施形態6)
次に、実施形態6について説明を行う。本発明の実施形態6に係る距離画像センサは、実施形態5と同様に、偏平ビームを生成する1つの平行光生成部620と、1つの偏平ビームを12個のねじれビームに分割する1つのDOE630とを備える。尚、実施形態5と共通する構成については説明を省略する。
平行光生成部620は、図23(a)及び(b)に示すように、発光してスポットビームを出射するLD621と、LD621によって入射されたスポットビームのx軸方向の幅を拡張させる回折格子が形成されたラインジェネレータDOE622と、DOE622から出射される偏平ビームをz軸方法に進行する平行ビームとする平凸レンズ623と、平凸レンズ623の表面に形成された溝状の回折格子で構成されるDOE630とで構成される。
これらの構成によれば、平凸レンズ623の表面にDOE630が形成されているので、例えば、実施形態5のように、平凸レンズ523とDOE530が別個の部品である場合と比べて、平凸レンズ623とDOE630との相対的な位置精度が向上する。このため、例えば、平凸レンズ623から出射された偏平ビームのDOE630に対する入射角のズレが生じ難く、精度良く距離を計測できる。また、これらの構成によれば、部品数を少なくできるため製造コスト及び部品の管理コストを削減できるので、距離画像センサを小型化及び低価格化できる。
ここで、平凸レンズ623の形状は、DOE622で幅を拡張される偏平ビームが有する偏平面の法線方向(つまり、y軸方向)から見ると、平凸レンズ623内を通過する偏平ビームの形状と略一致した扇型である。この構成によれば、平凸レンズ623は、偏平ビームが通過しない部分(つまり、不要部分)の全体に占める割合が、例えば、実施形態5の平凸レンズ523と比べて少ないため、距離画像センサを小型化及び低価格化できる。
尚、本発明に係る機能を実現するための構成を予め備えた距離画像センサとして提供できることはもとより、プログラムの適用により、既存の距離画像センサを本発明に係る距離画像センサとして機能させることもできる。すなわち、上記実施形態で例示した距離画像センサ100、200、300、及び500などによる各機能構成を実現させるための距離画像生成プログラムを、既存の距離画像センサを制御するコンピュータ(CPUなど)が実行できるように適用することで、本発明に係る距離画像センサ100として機能させることができる。また、本発明に係る距離画像生成方法は、上記実施形態で例示した距離画像センサ100、200、300、及び500などを用いて実施できる。
このようなプログラムの配布方法は任意であり、例えば、メモリカード、CD−ROM、又はDVD−ROMなどの記録媒体に格納して配布できる他、インターネットなどの通信媒体を介して配布することもできる。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
100,200,300,500・・・距離画像センサ、110,210,310,510・・・制御部、110a・・・CPU、110b・・・ROM、110c・・・RAM、110d・・・ハードディスク、110e・・・I/Oポート、111,211,511・・・投光制御部、112,212,512・・・撮像制御部、113,213,513・・・撮像画像取得部、114,214,514・・・投光スポット検出部、115a,215a,515a・・・傾き検出部、116,216,516・・・情報記憶部、117,217,517・・・距離測定部(距離決定部)、118a,218a,518a・・・距離画像生成部、118b,218b,518b・・・投影画像補正部、119,219,519・・・投影制御部、121,122,220,320,520・・・平行光生成部、131,132,231,232,331,332,530・・・回折光学素子(DOE)、140,240,340,540・・・撮像部、191,291,391,591・・・入力部、192,292,392,592・・・投影部

Claims (13)

  1. x軸、y軸、及びz軸が互いに原点で直交する座標空間において
    前記x軸方向の所定の位置より、前記z軸方向に第1のスポットビームを投光する第1の光源と、
    前記原点に対して前記第1の光源と対称な位置より、前記z軸方向に第2のスポットビームを投光する第2の光源と、
    前記第1のスポットビームを複数の分割光に分割し、出射されて対象物上に形成される複数の投光スポットを第1投光スポットとして、所定のマークとなるように回折させる回折格子が形成された第1回折光学素子と、
    前記第2のスポットビームを複数の分割光に分割し、出射されて前記対象物上に形成される複数の投光スポットを第2投光スポットとして、前記所定のマークとなるようにするとともに、前記第1投光スポットと前記第2投光スポットによって画定される複数の線分と前記x軸とが成す複数の角度が所定の角度となるように回折させる回折格子が形成された第2回折光学素子と、
    前記第1投光スポットと、前記第2投光スポットと、を撮像する撮像手段と、
    前記撮像手段で撮像された前記第1投光スポットと前記第2投光スポットとで画定される複数の線分の前記x軸に対する傾きに基づいて、前記対象物までの複数の距離を決定する距離決定手段と、を備える、
    ことを特徴とする距離画像センサ。
  2. 記撮像手段で撮像された撮像画像から、前記第1投光スポットと前記第2投光スポットとのうち、ペアを構成する前記所定のマークを複数検出する投光スポット検出手段を、さらに備え、
    前記距離決定手段は、前記投光スポット検出手段で検出された複数の前記所定のマークのペアで画定される複数の線分の前記x軸に対する傾きに基づいて、前記対象物までの複数の距離を決定する、
    ことを特徴とする請求項1に記載の距離画像センサ。
  3. 前記第1回折光学素子及び前記第2回折光学素子は、それぞれ前記第1のスポットビーム及び前記第2のスポットビームを複数の線分状のビームに分割して、前記分割された複数の線分状のビームが前記所定のマークとなるように回折する、
    ことを特徴とする請求項1又は2に記載の距離画像センサ。
  4. 前記所定のマークは、前記複数の線分状のビームがそれぞれ90°ずつの角度に配置される4つの略同じ長さを有する線分状の投光スポットからなる、
    ことを特徴とする請求項3に記載の距離画像センサ。
  5. 前記距離決定手段は、前記線分状の投光スポットの延長線の交点の位置を前記x軸に対する傾きを求める前記線分の端点として、前記対象物までの距離を決定する、
    ことを特徴とする請求項4に記載の距離画像センサ。
  6. 前記第1のスポットビームと、前記第2のスポットビームと、は入射角度が異なる関係にあり、
    前記第1回折光学素子と、前記第2回折光学素子と、は同じ光学特性を有する、
    ことを特徴とする請求項1〜5のいずれかに記載の距離画像センサ。
  7. 前記第1の光源から投光される第1のスポットビームと前記第2の光源から投光される第2のスポットビームとを平行光として生成する平行光生成手段をさらに備える、
    ことを特徴とする請求項1〜5のいずれかに記載の距離画像センサ。
  8. 前記平行光生成手段は、
    発光する発光手段と、
    前記発光手段で発光された光を第1のスポットビームとしての第1光と第2のスポットビームとしての第2光とに分岐する二分岐回折格子が形成された光学素子と、
    前記光学素子から出射された第1光を前記z軸方向に進行する第1平行光とすると共に、前記光学素子から出射された第2光を前記z軸方向に進行する第2平行光とするレンズと、を有する、
    ことを特徴とする請求項に記載の距離画像センサ。
  9. 前記レンズは、前記第1のスポットビームと前記第2のスポットビームとで画定される平面の法線方向から見ると、前記第1のスポットビームと前記第2のスポットビームとが成す角度と略一致した角度の扇型をしている、
    ことを特徴とする請求項8に記載の距離画像センサ。
  10. 前記第1回折光学素子、第2回折光学素子、及び前記光学素子は、前記平行光生成手段が有する前記レンズの表面に形成されている、
    ことを特徴とする請求項又はに記載の距離画像センサ。
  11. 請求項1〜10のいずれかに記載の距離画像センサと、
    前記距離決定手段で決定された複数の距離に応じた複数の画素値を有する距離画像を生成する距離画像生成手段と、を有する、
    ことを特徴とする距離画像生成装置。
  12. x軸、y軸、及びz軸が互いに原点で直交する座標空間において、
    前記x軸方向の所定の位置より、前記z軸方向に第1のスポットビームを投光する第1の投光ステップと、
    前記第1のスポットビームを投光した位置と前記原点に対して対称な位置より、前記z軸方向に第2のスポットビームを投光する第2の投光ステップと、
    前記第1のスポットビームが入射され、出射されて対象物上に形成される投光スポットを第1投光スポットとして、所定のマークとなるように回折させる第1回折ステップと、
    前記第2のスポットビームが入射され、出射される前記対象物上に形成される投光スポットを第2投光スポットとして、前記所定のマークとなるようにするとともに、前記第1投光スポットと前記第2投光スポットとで画定される線分と前記x軸とが成す角が所定の角度となるように回折させる第2回折ステップと、
    前記第1投光スポットと、前記第2投光スポットと、を撮像する撮像ステップと、
    前記撮像ステップで撮像された前記第1投光スポットと前記第2投光スポットとで画定される複数の線分の前記x軸に対する傾きに基づいて、前記対象物までの距離を決定する距離決定ステップと、を有する、
    ことを特徴とする距離画像データ取得方法。
  13. 請求項12記載の距離画像データ取得方法が含むステップと、
    前記距離決定ステップで決定された複数の距離に応じた複数の画素値を有する距離画像を生成する距離画像生成ステップと、を有する、
    ことを特徴とする距離画像生成方法。
JP2010187637A 2010-08-24 2010-08-24 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 Active JP5163713B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010187637A JP5163713B2 (ja) 2010-08-24 2010-08-24 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US13/208,626 US8743346B2 (en) 2010-08-24 2011-08-12 Range image sensor, range image generating apparatus, range image data obtaining method and range image generating method
CN201110246661.9A CN102435169B (zh) 2010-08-24 2011-08-24 距离图像传感器及距离图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010187637A JP5163713B2 (ja) 2010-08-24 2010-08-24 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法

Publications (2)

Publication Number Publication Date
JP2012047500A JP2012047500A (ja) 2012-03-08
JP5163713B2 true JP5163713B2 (ja) 2013-03-13

Family

ID=45696841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010187637A Active JP5163713B2 (ja) 2010-08-24 2010-08-24 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法

Country Status (3)

Country Link
US (1) US8743346B2 (ja)
JP (1) JP5163713B2 (ja)
CN (1) CN102435169B (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834602B2 (ja) * 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
JP5808502B2 (ja) 2012-11-21 2015-11-10 三菱電機株式会社 画像生成装置
JP6119232B2 (ja) * 2012-12-19 2017-04-26 株式会社ソシオネクスト 距離測定装置、距離測定方法
US9402041B2 (en) * 2013-07-11 2016-07-26 Canon Kabushiki Kaisha Solid-state image sensor and imaging apparatus using same
TW201706563A (zh) * 2015-05-10 2017-02-16 麥吉克艾公司 距離感測器(一)
JP6381800B2 (ja) * 2015-06-09 2018-08-29 三菱電機株式会社 昇降路寸法計測装置および昇降路寸法計測方法
DE102015219330A1 (de) * 2015-10-07 2017-04-13 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zur Strahlanalyse
CN110234955B (zh) 2016-12-07 2022-03-29 魔眼公司 投影平行图案的距离传感器
CN106936055A (zh) * 2017-03-11 2017-07-07 无锡亮源激光技术有限公司 平行阵列线激光器
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
DE102017123914B4 (de) * 2017-10-13 2019-12-19 pmdtechnologies ag Beleuchtung für ein Lichtlaufzeitkamerasystem und Lichtlaufzeitkamerasystem
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
US11852843B1 (en) 2018-01-10 2023-12-26 Meta Platforms Technologies, Llc Diffractive optical elements (DOEs) for high tolerance of structured light
US10895752B1 (en) * 2018-01-10 2021-01-19 Facebook Technologies, Llc Diffractive optical elements (DOEs) for high tolerance of structured light
JP2021518535A (ja) 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド 3次元深度マップデータの2次元画像上へのマッピング
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド 3次元座標と2次元特徴点との関連付け
WO2021138677A1 (en) 2020-01-05 2021-07-08 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
TWI728696B (zh) * 2020-02-13 2021-05-21 日商泰克霍隆公司 距離測定裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61149921A (ja) * 1984-12-25 1986-07-08 Fujitsu Ltd スリツト光源
JPH0629716B2 (ja) * 1986-12-09 1994-04-20 富士通株式会社 スリツト光照射装置
JP3028716B2 (ja) * 1993-09-29 2000-04-04 キヤノン株式会社 光学式変位センサ
JPH1074326A (ja) * 1997-07-31 1998-03-17 Sony Corp 光学ピックアップ
JP4085041B2 (ja) * 2003-09-30 2008-04-30 株式会社リコー 傾きセンサ,傾き測定装置,光ピックアップ装置及び光ディスク装置
JP3738291B2 (ja) * 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
JP4543904B2 (ja) 2004-11-30 2010-09-15 パナソニック電工株式会社 距離画像センサ
JP4380557B2 (ja) 2005-02-15 2009-12-09 カシオ計算機株式会社 プロジェクタ、チャート画像の表示方法及びプログラム
JP4760391B2 (ja) * 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP2008098604A (ja) * 2006-09-12 2008-04-24 Canon Inc 露光装置及びデバイス製造方法
CN101451833B (zh) * 2007-11-30 2010-11-17 佛山普立华科技有限公司 激光测距装置及方法
JP5278728B2 (ja) * 2008-02-28 2013-09-04 アイシン精機株式会社 距離画像センサの校正装置及び校正方法
JP5178393B2 (ja) * 2008-08-20 2013-04-10 シャープ株式会社 光学式測距センサおよび電子機器

Also Published As

Publication number Publication date
CN102435169A (zh) 2012-05-02
CN102435169B (zh) 2014-11-12
JP2012047500A (ja) 2012-03-08
US20120050713A1 (en) 2012-03-01
US8743346B2 (en) 2014-06-03

Similar Documents

Publication Publication Date Title
JP5163713B2 (ja) 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
JP5187364B2 (ja) 回折光学素子、並びに測距装置及び測距方法
EP2894546B1 (en) Sub-resolution optical detection
JP2007147299A (ja) 変位測定装置及び変位測定方法
JP4316643B2 (ja) 形状測定装置,形状測定方法
US8823950B2 (en) Shape measurement apparatus, and shape measurement method
JP2008122628A (ja) 縦縞干渉模様投影レンズ
JP6273127B2 (ja) 計測装置、および物品の製造方法
JP6401594B2 (ja) 3次元チルトセンサ及びこれを用いた測定対象の3軸廻りの角度変位を測定する方法
JP2018116032A (ja) 被計測物の形状を計測する計測装置
JP6743788B2 (ja) 変位センサ
US11575875B2 (en) Multi-image projector and electronic device having multi-image projector
JP2017125707A (ja) 計測方法および計測装置
JP6616650B2 (ja) 距離測定装置および方法
JP5853284B2 (ja) 形状計測装置及び形状計測方法
JP2018527574A (ja) 光学的距離測定システム
JP2020060377A (ja) マルチ画像プロジェクタ及びマルチ画像プロジェクタを有する電子デバイス
JP6130805B2 (ja) 距離測定装置および方法
JP2020046229A (ja) 三次元形状測定装置及び三次元形状測定方法
WO2016098502A1 (ja) 座標検出装置
WO2016002443A1 (ja) 距離測定装置および方法
JP3976054B2 (ja) 位置計測システム
JP2007147387A (ja) 位置および指示方向計測システム
JP2023081595A (ja) 距離測定装置及び距離測定方法
JP2023121331A (ja) 反射光分布測定装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5163713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150