JP6328965B2 - 距離画像生成装置および距離画像生成方法 - Google Patents

距離画像生成装置および距離画像生成方法 Download PDF

Info

Publication number
JP6328965B2
JP6328965B2 JP2014049159A JP2014049159A JP6328965B2 JP 6328965 B2 JP6328965 B2 JP 6328965B2 JP 2014049159 A JP2014049159 A JP 2014049159A JP 2014049159 A JP2014049159 A JP 2014049159A JP 6328965 B2 JP6328965 B2 JP 6328965B2
Authority
JP
Japan
Prior art keywords
light source
unit
light
distance
distance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014049159A
Other languages
English (en)
Other versions
JP2015172551A (ja
Inventor
悠介 矢田
悠介 矢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stanley Electric Co Ltd
Original Assignee
Stanley Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanley Electric Co Ltd filed Critical Stanley Electric Co Ltd
Priority to JP2014049159A priority Critical patent/JP6328965B2/ja
Publication of JP2015172551A publication Critical patent/JP2015172551A/ja
Application granted granted Critical
Publication of JP6328965B2 publication Critical patent/JP6328965B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、光飛行時間型距離画像センサを用いた距離画像生成技術に関し、特に、距離値算出技術に関する。
光飛行型距離画像センサを用いて、撮影対象空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。その中で、光飛行時間型(TOF方式:Time Of Flight方式)距離画像センサは、変調光を出射する光源とそれを受光する受光素子とからなり、変調光を出射し、画素毎に受光した反射光を元に距離値を算出する(例えば、特許文献1参照)。受光した変調光の反射光により生じる電荷を、変調光の変調周波数に同期させ、電荷を振り分ける振り分け型のTOF方式もある(例えば、特許文献2参照)。
特開2005−235893号公報 特開2011−179925号公報
TOF方式では、光源とセンサとが空間上同一位置にあることを前提とし、光源から出射された光が空間内の物体に反射し、戻ってくる時間から距離を算出する。しかしながら、実際には光源とセンサとを空間上同一位置に配置することはできず、それぞれ異なる位置に配置される。従って、厳密には、光源から物体までの距離と物体からセンサまでの距離とは等しくない。よって、算出される距離は、実際の距離とは異なる。
センサと光源との位置が離れれば離れるほど、算出される距離は実際の距離と乖離し、距離精度は低下する。従って、センサと光源とは、できる限り近傍に配置する必要があり、距離画像生成装置の構造上の大きな制約となっている。この制約を廃し、センサと光源とを離すと距離誤差が発生する。
一般に、装置の設置位置から距離が離れた場所は、近い場所に比べ、反射光の光量が大幅に減少し、距離精度が著しく低下する。光量を増加させるために、光源の個数を増やすという対策が取られる。しかしながら、上述のように距離精度を高めるためには、光源とセンサとは近傍に配置する必要がある。従って、装置は、多数の光源を備えたものとなり、大型化する。
さらに、屋内監視などを想定した場合、光量の減少によって十分な距離精度が得られない箇所が発生することがある。このような場合、センサと光源とを離すことができないと、距離画像生成装置そのものを複数台設置することとなり、コストが増加する。
本発明は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いる距離画像生成装置において、装置構造上の制約を低減し、距離値算出精度を低下させることなくフレキシビリティの高い距離画像生成技術を提供することを目的とする。
本発明は、光源の、センサに対する位置に応じた補正情報を保持し、計算された距離値を、当該補正情報を用いて補正する。補正情報は画素毎に保持し、補正も画素毎に行う。さらに光源が複数の場合、各光源のセンサに対する位置に応じた補正情報を画素毎に保持し、算出された距離値を得た際に用いた光源の補正情報を用いて距離値を補正する。
具体的には、対象空間に変調した変調光を照射する光源を備える光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子、前記光電変換素子ごとに複数設けられた電荷蓄積部、および、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部を、複数の画素についてそれぞれ備えるセンサ部と、前記複数の電荷蓄積部に蓄積された電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部と、を備え、前記距離画像生成部は、前記複数の電荷蓄積部に蓄積された電荷に演算処理を施し、前記画素毎の計算距離値を得る距離値算出部と、前記光源の前記センサ部に対する位置に応じた補正情報を、前記画素毎に保持する補正値データベースと、前記画素毎の計算距離値を当該画素の前記補正情報を用いて補正し、前記画素毎の距離値を得る距離値補正部と、を備えることを特徴とする距離画像生成装置を提供する。
また、対象空間に変調した変調光を照射する光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子、前記光電変換素子ごとに複数設けられた電荷蓄積部、および、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部を、複数の画素についてそれぞれ備えるセンサ部と、前記光電変換素子ごとに複数設けられた電荷蓄積部と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える距離画像生成装置における距離画像生成方法であって、前記複数の電荷蓄積部に蓄積された電荷を用いて前記各画素の計算距離値を得る距離値算出ステップと、予めデータベースに保持する、前記光源の前記センサ部に対する位置に応じた補正情報を用い、各画素の算出距離を補正して距離値を得る距離値補正ステップと、を含むことを特徴とする距離画像生成方法を提供する。
本発明によれば、光飛行時間型距離画像センサを用いる距離画像生成装置において、装置構造上の制約が低減され、距離値算出精度を低下させることなくフレキシビリティの高い距離画像を生成できる。
第一の実施形態の距離画像生成装置のブロック図である。 第一の実施形態の変調信号とゲート信号との関係を説明するための説明図である。 光飛行時間型距離画像生成装置による距離画像生成の原理を説明するための説明図である。 (a)は、光源部とセンサとが空間上同一位置に配置される場合を、(b)は、センサと光源部とが空間上異なる位置に配置される場合を説明するための説明図である。 (a)および(b)は、光源部とセンサとが離れている場合の距離誤差を説明するための説明図である。 (a)は、任意の画素の水平画角を、(b)は、任意の画素の垂直画角を説明するための説明図である。 (a)および(b)は、第一の実施形態の任意の画素の撮像範囲の中心と、光源部およびセンサとの関係を説明するための説明図である。 第一の実施形態の補正値データベースを説明するための説明図である。 第一の実施形態の距離画像生成処理のフローチャートである。 (a)および(b)は、第一の実施形態の距離画像生成装置の適用態様を説明するための説明図である。 第一の実施形態の変形例の距離画像生成装置の機能ブロック図である。 第二の実施形態の距離画像生成装置の機能ブロック図である。 第二の実施形態の変調信号を説明するための説明図である。 第二の実施形態の補正値データベースを説明するための説明図である。
<<第一の実施形態>>
以下、本発明の第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
<距離画像生成装置構成>
まず、本実施形態の距離画像生成装置の構成を説明する。図1は、本実施形態の距離画像生成装置の機能ブロック図である。
本図に示すように、本実施形態の距離画像生成装置100は、照射される変調光111と入射光112との位相差を用いて距離画像を生成するもので、光源部110と、光電変換部120と、電荷振分部130と、制御部140と、電荷蓄積部150と、距離画像生成部170と、を備える。
なお、本実施形態の距離画像生成装置100は、CPUと、メモリと、記憶装置とを備える。電荷振分部130、制御部140、および、距離画像生成部170は、CPUが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。
光源部110は、後述する制御部140の制御に従って、対象空間に変調光(例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光)111を照射する光源を備える。光源には、LED等の高速変調が可能なデバイスが用いられる。
光電変換部120は、光源部110の光源から照射された変調光111が対象空間(距離画像生成装置100の視野)内の対象物(物体)113で反射された反射光を含む光(入射光)112を受光し、電荷に変換する。光電変換部120は、受光量に応じた電荷に変換する複数の光電変換素子を備える。このため、各光電変換素子は、輝度画像および距離画像の各画素に対応づけて規則的に配列される。この光電変換部120の前には、レンズが配置されてもよい。
電荷振分部130は、後述する制御部140の制御に従って、光電変換素子が変換した電荷を後述する電荷蓄積部150に振り分ける。振り分けは、光電変換素子毎に行う。
電荷蓄積部150は、電荷振分部130が振り分けた電荷を蓄積する。距離情報である変調光111と入射光112との位相差は、電荷蓄積部150に蓄積された電荷を用いて算出する。この位相差を算出するためには、少なくとも3つ以上の位相情報(電荷蓄積部に蓄積された電荷)が必要である。
3つ以上の位相情報の取得は、1つの電荷蓄積部150により実現してもよいし、複数の電荷蓄積部150により実現してもよい。以下、本実施形態では、具体例は、この電荷蓄積部150を4つとして説明する。この4つ1組の電荷蓄積部150が、画素毎に設けられる。
なお、電荷蓄積部150には、電荷そのものを蓄積してもよいし、この電荷量をAD変換後のデータを蓄積してもよい。以下、本実施形態では、電荷そのものも、AD変換後のデータも、特に区別することなく電荷蓄積部150に蓄積されるものを電荷と呼ぶ。
これらの光電変換素子、電荷振分部130、および、電荷蓄積部150で画素を形成する。以下、本明細書では、この、複数の画素毎にそれぞれ、光電変換部120(光電変換素子)と、電荷振分部130と、電荷蓄積部150とを備える構成を、センサ160と呼ぶ。
制御部140は、光源部110と電荷振分部130とを同期制御する。制御は、変調信号とゲート信号とにより行う。
変調信号は、変調光の変調および出力タイミングを指示する信号であり、光源部110に向けて出力される。光源部110は、変調信号により変調された変調光111を生成し、対象空間に照射する。照射された変調光111は、対象物113により反射され、反射光となる。反射光は、入射光112として光電変換部120に入射し、電荷に変換されて電荷振分部130に送られる。
ゲート信号は、各電荷蓄積部150への電荷の振り分けを指示する信号で、電荷振分部130に向けて出力される。電荷振分部130は、ゲート信号に応じて各電荷蓄積部150に電荷を振り分ける。
制御部140は、光源部110の変調周期に同期し、変調周期と電荷振分部130の個数応じた時間だけずらしたゲート信号を生成する。例えば、変調周期が10MHzで電荷蓄積部が4つであれば、変調周期を4分割した時間(25ns)ずつずらしたタイミングでゲート信号を生成する。これにより、電荷は、ゲート信号に応じて、それぞれの電荷蓄積部150に振り分けられる。
本実施形態の変調信号およびゲート信号の出力タイミングの一例を図2に示す。ここでは、変調信号の1周期Tqを4等分した期間に、それぞれ、4つの電荷蓄積部150に順に電荷を振り分ける場合の、変調信号114およびゲート信号115を示す。
また、制御部140は、距離画像生成部170に読出信号を送信し、電荷蓄積部150に蓄積された電荷を、それぞれ読みださせる。なお、変調光111の変調周波数は数十MHzである。従って、変調の1周期は数十ns程度となる。距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。
本実施形態の制御部140は、この電荷蓄積時間Tf毎に、距離画像生成部170が、電荷蓄積部150から電荷を読み出すよう、読出信号を出力する。電荷蓄積時間Tf間隔毎に得られる1枚の距離画像をフレームと呼ぶ。また、電荷蓄積時間Tfを、1フレーム時間Tfと呼ぶ。
なお、変調信号114とゲート信号115と読出信号とを合わせて制御信号と呼ぶ。
距離画像生成部170は、制御部140の読出信号に従って各電荷蓄積部150に蓄積された電荷を読出し、各電荷から画素毎に距離値を算出し、算出した距離値を画素値とする距離画像を生成する。距離値は、視野内の、対象物までの距離の値である。算出の詳細は、後述する。
[TOF方式の距離画像生成の原理]
ここで、光飛行時間型(TOF方式)の距離画像生成装置100における距離画像生成の原理を説明する。図3は、距離画像生成の原理を説明するための図である。
光源部110から出射される変調光111の強度が本図のような正弦曲線を描くように変化する場合、光電変換部120への入射光112の強度も同様に正弦曲線を描くよう変化する。このとき、変調光111と入射光112とには、光が対象物まで往復する飛行時間による位相の遅延(位相差φ)が生じる。
光の速度cは既知であるため、この位相差φと変調周波数fとを用い、対象物113までの計算距離値Dは、以下の式(1)で算出される。
Figure 0006328965
従って、位相差φがわかれば、計算距離値Dは求めることができる。本実施形態では、変調光の1周期Tpを4等分し、それぞれの期間に電荷量を、それぞれ、4つの電荷蓄積部150に蓄積する。
変調光111と入射光112との位相差φは、変調光111の1周期を4等分した各期間をTq(T1、T2、T3、T4)とし、それぞれの期間に蓄積される電荷量をC1、C2、C3、C4とすると、以下の式(2)で表される。
Figure 0006328965
なお、1周期Tpを4等分した各期間Tq(T1、T2、T3、T4)は、例えば、0度から90度の間、90度から180度の間、180度から270度の間、270度から0度の間とする。
距離画像生成部170は、上述の電荷蓄積時間Tf間隔で蓄積された各電荷量C1、C2、C3、C4を用い、画素毎に、式(2)に従って位相差φを求める。そして、求めた位相差φを用いて、式(1)に従って、対象物113までの計算距離値Dを求める。
[距離誤差]
次に、光源部110とセンサ160とが空間上同一位置にない場合、距離誤差が発生する理由を説明する。図4(a)に、センサ160と光源部110とが空間上同一位置に配置される場合を、図4(b)に、センサ160と光源部110とが空間上、異なる位置に配置される場合を示す。
TOF方式では、式(1)に示すように、光源部110から変調光111が出射され、物体113に反射し、センサ160に届くまでの、光の飛程を算出し、その半分の値を計算距離値Dとする。
図4(a)に示すように、光源部110とセンサ160との位置が等しい場合、光源部110と物体113との間の距離Pと、センサ160と物体113との間の実際の距離(実距離値)dとは等しい。従って、光の飛程(P+d)の半分の値として算出される計算距離値Dと、実際のセンサ160と物体113との間の実距離値dとは一致する。
一方、図4(b)に示すように、光源部110とセンサ160との位置が異なる場合、光源部110と物体113との間距離Pと、センサ160と物体113との間の距離dとは異なる。従って、光の飛程(P+d)の半分の値として算出される計算距離値Dと、実際のセンサ160と物体113との間の実距離値dとは異なる。
例えば、図5(a)に示すように、センサ160から図中z方向に50cm先の物体113を測定する際、光源部110がセンサ160から水平方向(x方向)に1m離れていれば、計算距離値Dは約75cmとなり、実距離値50cmとの間で25cmもの誤差が生じる。また、図5(b)に示すように、光源部110がセンサ160から鉛直方向(y方向)に−5m離れていれば、計算距離値Dは約2.75mとなり2.25mの誤差が生じる。このようにmオーダでセンサ160と光源部110とが離れていると、計算距離値Dには、数10cm〜数mオーダの誤差が生じる。
このように、センサ160と光源部110とが、空間上、異なる位置にあると、距離誤差が発生する。そして、両者間が離れれば離れるほど距離誤差は大きくなる。従って、センサ160と光源部110とは、近傍に配置する必要があり、距離画像生成装置100の構造上の大きな制約となっている。
本実施形態では、光源部110とセンサ160との位置の関係、カメラ画角といった既知情報と式(1)で得られる計算距離値Dとを用い、図4(b)のように、光源部110とセンサ160とが異なる位置にある場合であっても、正確な距離値を算出する。
[距離画像生成部]
これを実現するため、本実施形態の距離画像生成部170は、図1に示すように、距離値算出部171と、補正値データベース(補正値DB)172と、距離値補正部173と、を備える。
距離値算出部171は、複数の電荷蓄積部150に蓄積された電荷に演算処理を施し、画素毎の計算距離値Dを得る。計算距離値Dは、1フレーム時間Tf毎に、上記式(1)を用いて算出する。
補正値データベース172は、光源部110のセンサ160に対する位置に応じた補正情報を保持する。補正情報は、センサ160の画素毎に保持する。
距離値補正部173は、画素毎の計算距離値Dを当該画素の補正情報を用いて補正し、画素毎の距離値を得る。
[計算距離値補正の原理]
次に、計算距離値Dの補正手法の原理を説明する。ここでは、使用するセンサ160の撮像素子(以下、画素と呼ぶ)が、m列、n行で配置(m×n画素)されているものとする(m、nは1以上の整数)。また、図6(a)および図6(b)に示すように、センサ160のセンサ面(受光面)をxy平面とし、センサ面鉛直方向をz軸とし、センサ160のセンサ中心を原点とする座標系で考える。
センサ160は、z軸に沿う方向を0°とし、+x軸方向に+θh/2、−x軸方向に−θh/2の水平画角θh、+y軸方向に+θv/2、−y軸方向に−θv/2の垂直画角θvを持つものとする。また、画素位置はセンサ左上を(0,0)とする。センサ160の1画素あたりの画角(視野角)は、水平方向がθh/m、垂直方向がθv/nとなる。以下、センサ全体の画角と区別するため、画素毎の画角を、画素画角と呼ぶ。
図6(a)および図6(b)に示すように、位置(M,N)の画素(以下、画素(M,N);M,Nは、それぞれ、1≦M≦m、1≦N≦nを満たす整数)の画素画角中央方向を、水平方向θx、垂直方向θyとする。θxおよびθyは、水平画角θhと垂直画角θvとを用いて、以下の式(3)、式(4)のように表される。
θx=(M−m/2)*θh/m ・・・(3)
θy=(N−n/2)*θv/n ・・・(4)
ここで、m×n画素のうち、画素(M,N)の画素画角中央方向にある物体113の位置(座標)をR(S,T,U)とする。図7(a)に示すように、θyは、センサ160(原点)と物体113とを結ぶ線分が、xz平面と成す角度である。また、θxは、Rからxz平面に降ろした垂線の交点V(S,0,U)と、センサ160(原点)とを結ぶ線分がz軸と成す角度である。以下、θx、θyを、画素(M,N)の画素画角中央方向の、それぞれ、水平方向の傾き、垂直方向の傾きと呼ぶ。
このとき、座標値T,Uは、S、θxおよびθyを用い、以下の式(5)ように表される。
S=S
T=S*tanθy/sinθx ・・・(5)
U=S/tanθx
ここで、光源部110の座標をQ(A,B,C)とすると、原点(センサ160)OからQ(光源110)に向かうベクトル(ベクトルQ)と、原点(センサ160)OからR(物体)までのベクトル(ベクトルR)とのなす角度Ψは、以下の式(6)で表される。
cosΨ=Q*R/(|Q|*|R|)より、
cosΨ=(A+B/tanθx+C*tanθy/sinθx)/√{(A2+B2+C2)*(1+tan2θy/sin2θx+1/tan2θx)}
・・・(6)
図7(b)に示すように、原点O(センサ160の位置)、座標Q(光源部110の位置)、座標R(物体113の位)からなる三角形において、原点Oと座標Qとの距離をL、座標Qと座標Rとの距離をP、座標Rと原点Oとの距離(実距離値)をdとし、式(1)によって算出される計算距離値をDとする。また、ORを結ぶ線分と、RQとを結ぶ線分との成す角をθηとする。
これらの間には以下の関係式(7)、式(8)、式(9)が成り立つ。
d+P=2D ・・・(7)
LsinΨ=Psinθη ・・・(8)
LcosΨ+Pcosθη=d ・・・(9)
センサ160(原点O)と物体113(座標R)との間の、実際の距離dは、LとDとΨとを用いて、以下の式(10)で表される。
d=(L−(2D))/(2LcosΨ−4D) ・・・(10)
式(10)に従って、センサ160と光源部110との距離L、式(1)によって算出される計算距離値D、角度Ψとを用い、センサ160と物体113との間の距離(実距離値)dが算出される。
[補正値データベース]
補正値データベース172は、画素毎に、上記Ψを特定する情報を保持する。本実施形態では、図8に示すように、各画素位置特定する情報(画素位置)210に対応づけて、補正情報220としてcosΨの値を保持する。cosΨの値は、図7(b)に示すように、センサ160から光源部に向かう方向(ベクトル)と、各画素の画素画角中央方向とが成す角度で定まる値である。この補正値データベース172は、予め生成され、距離画像生成装置100が備える記憶装置またはメモリ上に構築される。
例えば、128×128画素のセンサ160の場合、補正値データベース172は、16384の画素位置情報と、それに対応したcosΨの値とを保存する容量以上の記憶装置(またはメモリ)上に構築される。
cosΨは、センサ160と光源部110との位置関係、水平画角θh、垂直画角θvとを用い、上記式(3)〜式(6)により算出される。距離画像生成装置100を製造した際、あるいは、設置した際にcosΨを算出し、補正値データベース172を作成することが望ましい。
[距離値補正処理]
次に、距離値補正部173による計算距離値Dの補正について説明する。補正後の実距離値dは、上述のように、補正値データベース172に格納されている補正情報(cosΨ)の値を用い、上記式(10)により得られる。
距離値補正部173は、距離値算出部171が算出した計算距離値Dと、補正情報(cosΨ)と、センサ160と光源部110との間の距離Lとを用い、上記式(10)に従って、計算距離値Dを補正し、実距離値dを得る。補正は、画素毎に、全画素について行う。
最終的に、距離画像生成部170は、得られた各画素の実距離値dを画素値とし、距離画像とする。
[距離画像生成処理の流れ]
以下、本実施形態の距離画像生成装置100による距離画像生成処理の流れを説明する。図9は、本実施形態の距離画像生成処理の処理フローである。なお、補正値データベース172は、予め作成されているものとする。
ユーザから撮像開始の指示を受け取ると、制御部140は、変調信号とゲート信号との送信を開始する(ステップS1101)。変調信号およびゲート信号は、それぞれ、光源部110および電荷振分部130に送られる。両信号は同期させて生成され、送信される。
光源部110および電荷振分部130は、それぞれ、変調信号およびゲート信号に従って動作する(ステップS1102)。具体的には、変調信号を受け、光源部110はその変調信号により変調された変調光111を対象空間に照射する。照射された変調光111は物体113によって反射される。センサ160は、その反射光を含む入射光112を受光し、電荷に変換し、電荷振分部130に送信する。また、ゲート信号を受け、電荷振分部130はそのゲート信号に応じて各電荷蓄積部150へ電荷を振り分ける。
予め定めた電荷蓄積時間Tfが経過すると(ステップS1103)、距離値算出部171は、各電荷蓄積部150に蓄積された電荷を用い、上記式(1)により、各画素の計算距離値Dを算出する(ステップS1104)。
距離値補正部173は、各画素について、補正値データベース172の補正情報(cosΨ)を用い、計算距離値Dを上記式(10)に従って補正し、距離値dを得る(ステップS1105)。
制御部140は、ステップS1102からステップS1105の処理を、ユーザから終了の指示を受け付けるまで繰り返し(ステップS1106)、終了の指示を受け付けると、距離画像生成処理を終了する。
以上説明したように、本実施形態の距離画像生成装置100は、対象空間に変調した変調光を照射する光源を備える光源部110と、前記光源部110から照射され、前記対象空間内の対象物113の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子120、前記光電変換素子ごとに複数設けられた電荷蓄積部150、および、前記変調光の変調に同期して、前記光電変換素子120により変換された電荷を前記複数の電荷蓄積部150に振り分ける電荷振分部130を、複数の画素についてそれぞれ備えるセンサ部160と、前記複数の電荷蓄積部150に蓄積された電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部170と、を備え、前記距離画像生成部170は、前記複数の電荷蓄積部に蓄積された電荷に演算処理を施し、前記画素毎の計算距離値を得る距離値算出部171と、前記光源の前記センサ部160に対する位置に応じた補正情報を、前記画素毎に保持する補正値データベース172と、前記画素毎の計算距離値を当該画素の前記補正情報を用いて補正し、前記画素毎の距離値を得る距離値補正部173と、を備える。
前記補正情報は、前記センサ部160から前記光源に向かう方向と、前記光電変換素子の画角中央方向とがなす角度で特定される情報であってもよい。
このように、本実施形態によれば、光源部110のセンサ160に対する位置に応じて計算距離値Dを補正する。このため、光源部110とセンサ160とが離れていても、両者間の位置関係さえわかっていれば、正確な距離値を算出することができる。従って、光源部110を、センサ160から大きく離れた位置で駆動させた場合であっても、正確な距離値を得ることができる。
このため、本実施形態によれば、例えば、光飛行時間型距離画像センサを用いる距離画像生成装置100において、光源部110とセンサ160とを分割配置できる。
例えば、距離画像生成装置100を自動車に搭載する場合、図10(a)に示すように、センサ160をフロントガラス部に設置し、光源部110をヘッドライト内に設置するといった配置が可能となる。このとき、制御部140および距離画像生成部170など距離画像生成装置100のその他の構成は車体内に設置してもよい。
また、図10(b)に示すように、屋内監視などで室内に配置する場合、センサ160を含む距離画像生成装置100本体を一隅に設置し、センサ160の正面以外の他の隅に光源部110を設置するといった配置ができる。これにより、装置を増やすことなく、光量不足により十分な距離精度を得られない箇所を低減することができる。
このように、本実施形態によれば、光源部110とセンサ160との位置関係に依存せず、正確な距離値を算出できるとともに、製品構造上のフレキシビリティを大幅に向上させることができる。すなわち、本実施形態によれば、光飛行時間型距離画像センサを用いる距離画像生成装置において、距離値算出精度を低下させることなく装置構造上の制約を低減でき、フレキシビリティの高い距離画像生成装置100を提供できる。
<変形例その1>
なお、上記実施形態では、補正値データベース172は、予め生成され、保持される場合を例にあげて説明したが、これに限定されない。例えば、画角は、距離画像生成装置100のレンズの交換等により、使用開始後に変化することがある。また、光源部110の位置を移動させることもある。
このため、図11に示すように、補正値データベース作成部(補正値DB作成部)174を備え、補正情報(cosΨ)を所望のタイミングで算出できるよう構成してもよい。これにより、距離画像生成装置100の製造後、所望のタイミングで補正値データベース172内のcosΨの値を更新できる。
この場合、補正値データベース作成部174は、上記式(3)〜式(6)に従って、最新の画角情報、最新の光源部110の位置情報を用い、各画素の補正情報(cosΨ)を算出し、既存の補正値データベース172を更新する。
<変形例その2>
また、上記実施形態では、光源部110とセンサ160との位置関係は既知としているが、これに限定されない。両者の位置関係が不明な場合であっても、本実施形態は可能である。
この場合、上記変形例その1と同様に、距離画像生成部170は、補正値データベース作成部174を備える。そして、この補正値データベース作成部174は、補正情報cosΨの算出に先立ち、光源部110の、センサ160に対する位置情報を算出する。位置情報は、距離が既知の物体の計算距離値を用い、算出する。
補正値データベース作成部174は、センサ160からの距離が既知の物体113を測定し、計算距離値Dを得る。そして、計算距離値Dを用いて光源部110の位置情報を算出する。その後は、上記同様、光源部110の位置情報を用い、補正情報cosΨを算出する。
[位置情報算出の原理]
計算距離値Dからセンサ160に対する光源部110の位置情報の算出手法を説明する。ここでは、センサ160の位置を原点とした場合の、上記座標系における光源部110の座標Qを位置情報として算出する。
この場合の計測対象の物体113の、センサ160からの実距離値をd1とする。画素画角中央方向の、水平方向の傾きがθx、垂直方向の傾きがθyである画素(M,N)に写る物体113の座標Rは、このθxおよびθyを用いて、以下のように表される。
R(d1cosθysinθx,d1cosθycosθx,d1sinθy)
従って、画素画角中央方向の、水平方向の傾きおよび垂直方向の傾きが、それぞれ、(θx1,θy1)、(θx2,θy2)、(θx3,θy3)、(θx4,θy4)である4つの画素に写る物体113の座標(R1,R2,R3,R4)は、それぞれ、以下のように表される。
R1(d1cosθy1sinθx1,d1cosθy1cosθx1,d1sinθy1)
R2(d1cosθy2sinθx2,d1cosθy2cosθx2,d1sinθy2)
R3(d1cosθy3sinθx3,d1cosθy3cosθx3,d1sinθy3)
R4(d1cosθy4sinθx4,d1cosθy4cosθx4,d1sinθy4)
式(1)により算出される各画素の計算距離値をそれぞれD1,D2,D3,D4とすると、4つの座標(R1,R2,R3,R4)位置それぞれから光源部110までの距離(P1,P2、P3、P4)は、式(7)より、以下の式(11−1)、式(11−2)、式(11−3)、式(11−4)で表される。
P1=2D1−d1 ・・・(11−1)
P2=2D2−d1 ・・・(11−2)
P3=2D3−d1 ・・・(11−3)
P4=2D4−d1 ・・・(11−4)
上記4つの座標(R1,R2,R3,R4)のうち、任意の3つの座標位置を中心とし、半径が、対応する上記距離(P1,P2、P3、P4)となる球の交点が光源部110の位置である。
光源部110の座標をQ(X,Y,Z)とし、各球の半径をそれぞれr1,r2,r3,r4とすると、以下の4つの式(12−1)、式(12−2)、式(12−3)、式(12−4)、のいずれか3つからなる連立法的式を解くことにより得られる。
(X-x1)2+(Y-y1)2+(Z-z1)2=r12 ・・・式(12−1)
(X-x2)2+(Y-y2)2+(Z-z2)2=r22 ・・・式(12−2)
(X-x3)2+(Y-y3)2+(Z-z3)2=r32 ・・・式(12−3)
(X-x4)2+(Y-y4)2+(Z-z4)2=r42 ・・・式(12−4)
ここで、
x1=d1cosθy1sinθx1,
y1=d1cosθy1cosθx1,
z1=d1sinθy1,
r1=2P1-d1,
x2=d1cosθy2sinθx2,
y2=d1cosθy2cosθx2,
z2=d1sinθy2,
r2=2P2-d1,
x3=d1cosθy3sinθx3,
y3=d1cosθy3cosθx3,
z3=d1sinθy3,
r3=2P3-d1,
x4=d1cosθy4sinθx4,
y4=d1cosθy4cosθx4,
z4=d1sinθy4,
r4=2P4-d1,
一例として、式(12−1)、式(12−2)、式(12−3)を解くものとする。得られる解は、以下の式(13−1)、式(13−2)、式(13−3)ようになる。
Z=(-A0±√(A02-A1*A2))/A1 ・・・式(13−1)
X=B0+B1Z ・・・式(13−2)
Y=C0+C1Z ・・・式(13−3)
ここで、
A1={(y2-y1)(z3-z1)-(y3-y1)(z2-z1)}2+{(x3-x1)(z2-z1)-(x2-x1)(z3-z1)}2
+(x2-x1)(y3-y1)-(y2-y1)(x3-x1)〕/{(x2-x1)(y3-y1)-(y2-y1)(x3-x1)}
A0=B1(B0-x1)+C1(C0-y1)-z1
A2=(B0-x1)2+(C0-y1)2+z12-r12
B0={(r12-x12-y12-z12-r22+x22+y22+z22)(y3-y1)
-(r12-x12-y12-z12-r32+x32+y32+z32)(y2-y1)}
/2{(x2-x1)(y3-y1)-(y2-y1)(x3-x1)}
B1={(y2-y1)(z3-z1)-(y3-y1)(z2-z1)}/{(x2-x1)(y3-y1)-(y2-y1)(x3-x1)}
C0={(r12-x12-y12-z12-r32+x32+y32+z32)(x2-x1)
-(r12-x12-y12-z12-r22+x22+y22+z22)(x3-x1)}
/2{(x2-x1)(y3-y1)-(y2-y1)(x3-x1)}
C1={(x3-x1)(z2-z1)-(x2-x1)(z3-z1)}/{(x2-x1)(y3-y1)-(y2-y1)(x3-x1)}
得られた2つの解を、残りの1つの式である式(12−4)に代入し、満たすものを光源部110の座標Qとする。
距離画像生成装置100では、一般に、製造後に、一定距離の物体113を測定し、画素毎のばらつきをキャリブレーションする。本変形例は、このキャリブレーション操作時に行うことができる。すなわち、キャリブレーション操作時に得た物体113の計算距離値を用い、光源部110のセンサ160に対する位置情報を算出する。
本変形例は、距離画像生成装置100において、センサ160と光源部110とが別体となっている場合に特に有用である。このような場合、使用者が利用状況に応じてセンサ160と光源部110とをそれぞれ所望の位置に配置できる。このため、よりフレキシビリティの高い、制約の少ない距離画像生成装置100を実現できる。
<<第二の実施形態>>
本発明の第二の実施形態を説明する。本実施形態では、光源を複数備える。
本実施形態の距離画像生成装置100aは、基本的に第一の実施形態の距離画像生成装置100と同様の構成を有する。ただし、本実施形態の光源部110は、光源110aを複数備える。本実施形態の距離画像生成装置100aの機能ブロック図を図12に示す。
なお、各光源110aのうち、少なくとも1つの光源110aは、センサ160等の他の構成要素と別体であってもよい。ただし、別体の場合であっても、制御部140からの変調信号を受信可能とする。
[制御部]
光源部110を複数備えるため、本実施形態の制御部140は、第一の実施形態とは異なる変調信号を出力する。本実施形態の制御部140は、複数の光源110aそれぞれに、同一の信号ではあるが、送信タイミングの異なる変調信号を送信する。また、1フレーム間は同一の光源110aに変調信号114を送信する。
本実施形態の変調信号114aの一例を図13に示す。ここでは、光源110aを3つ備え、変調周期が10MHzの場合を例示する。3つの光源110aを、それぞれ、光源110a−1、光源110a−2、光源110a−3とする。
本図に示すように、光源110a−1、110a−2、110a−3という3つの光源が存在する場合、制御部140は、フレーム時間Tf毎に、順に各光源110aに変調信号を送ることを繰り返す。すなわち、フレーム1で光源110a−1に変調信号を送り、次のフレーム2で光源110a−2に変調信号を送り、フレーム3で光源110a−3に変調信号を送り、次のフレーム4で再度光源110a−1へ変調信号を送る、といった動作を繰り返す。
このように、本実施形態の制御部140は、1フレーム時間Tf毎に、予め定めた順に各光源110aに変調信号を送信する。これにより、1枚の距離画像は、同じ光源110aから出射された変調光111の反射光を含む入射光112により生成される。なお、変調信号114aの送信先を変更する間隔は、1フレーム時間Tfに限定されない。1フレーム時間Tfの整数倍の時間であればよい。
また、本実施形態の制御部140は、各フレームにおいて、どの光源110aに向けて変調信号を送信したかという情報(光源情報)を距離値補正部173に送信する。
なお、ゲート信号、読出信号は、第一の実施形態と同様とする。制御部140は、変調信号、ゲート信号、読出信号および送信先情報を同期させて生成し、それぞれ送信する。
[補正値データベース]
本実施形態では複数の光源110aを備える。各光源110aのセンサ160に対する位置は異なる。このため、補正値データベース172bは、図14に示すように、光源110a毎に、各画素の補正情報(cosΨ)を保持する。
本実施形態では、補正値データベース172bは、各光源110aを特定する情報(以下、光源番号と呼ぶ)230と、画素位置を特定する情報(画素位置)210とに対応づけて、補正情報cosΨ220の値を保持する。本実施形態においても、補正値データベース172bは、第一の実施形態同様、予め作成され、距離画像生成装置100bが備える記憶装置またはメモリ上に構築される。
例えば、センサ160の画素数が128×128画素で、光源110aを3つ備える場合、16384×3の画素位置情報と、それに対応したcosΨの値とを保存する容量以上の記憶装置(またはメモリ)上に構築される。
なお、cosΨの算出法は、第一の実施形態と同様である。補正情報cosΨは、光源110a毎に、当該光源110aの、センサ160に対する位置情報を用い、上記式(3)〜(6)により算出される。各光源110aのセンサ160に対する位置情報は、既知もしくは変形例その1と同様の方法で求めるものとする。
[距離値補正部]
本実施形態の距離値補正部173は、制御部140からの光源情報に応じて補正値データベース172bから補正情報cosΨを抽出し、計算距離値Dを補正し、距離値dを得る。本実施形態では、距離値補正部173は、補正値データベース172bにアクセスし、光源情報で特定される光源110aに対応づけて保持される補正情報cosΨを、画素毎に得る。
なお、本実施形態においても距離値算出部171は、第一の実施形態同様、1フレーム時間Tf毎に式(1)に従って、計算距離値Dを算出する。
なお、本実施形態の距離画像生成装置100aによる距離画像生成処理の流れは、基本的に第一の実施形態と同様である。ただし、ステップS1101において、光源情報の送信も併せて開始する。また、ステップS1105において、距離値補正部173は、光源情報で特定される光源番号230に対応づけられた光源の、補正情報cosΨを補正値データベース172bから抽出し、計算距離値Dを補正し、実距離値dを得る。
以上説明したように、本実施形態の距離画像生成装置100は、第一の実施形態と同様の構成を備え、前記光源部110に変調信号を送信する制御部140をさらに備え、前記光源部110は複数の光源110aを備え、前記補正値データベース172は、前記光源110a毎に前記補正情報を保持し、前記制御部140は、予め定めた時間間隔で予め定めた順に各光源110aに前記変調信号を送信するとともに、前記変調信号の送信ごとに送信先の前記光源110aを特定する光源情報を前記距離値補正部173に送信し、各前記光源110aは、前記変調信号に応じて前記変調光を照射し、前記距離値補正部173は、前記光源情報に応じた前記補正情報を用いる。
前記複数の光源110aのうち、少なくとも1つの光源110aは、前記センサ部160が収納される筐体とは別体に収容されてもよい。
このように、本実施形態によれば、各光源110aのセンサ160に対する位置に応じて計算距離値を補正する。従って、第一の実施形態同様、各光源110aとセンサ160との位置関係さえわかっていれば、両者間が離れていても正確な距離値を得ることができる。従って、第一の実施形態同様、距離値算出精度を低下させることなく、装置構造上の制約を低減でき、フレキシビリティの高い距離画像生成装置を提供できる。
また、本実施形態では、複数の光源110aを備える。そして、光源110a毎に補正情報を保持する。従って、各光源110aの配置位置に制約が少ない。
例えば、計測対象空間において、センサ160近傍にしか光源110aがない装置では光量不足により十分な距離精度が得られない領域(光量不足領域)がある場合、距離画像生成装置100とは別体で設けられる1以上の光源110aを、光量不足領域の近傍に配置する。これにより、光量不足領域にも十分な光量を与えることができ、光量の面からも距離精度を高めることができる。従って、光量不足領域がある場合であっても、従来のように当該領域の光量不足を補うため距離画像生成装置そのものを複数台配置する必要がなく、コストを抑えることができる。
なお、本実施形態では、距離画像生成部170は、複数のフレームの距離値を用いて1枚の距離画像を生成してもよい。例えば、複数フレームの平均距離値を計算し、距離画像としてもよい。
本実施形態では、上述のように、所定数のフレーム毎に、変調光の出射元となる光源110aが異なる。このとき、センサ160から遠い位置に配置された光源110aからの変調光111による入射光112から算出した距離値は、光量が少ないため誤差が大きくなる。このように、本実施形態では、センサ160に対する光源110aの位置が多様であるため、フレーム毎の精度のばらつきが発生すると考えられるためである。例えば、数百もしくは数千フレームを用い、加算平均することがのぞましい。
または、距離値算出の際、各フレームを作成する際に用いた光源110aの位置によって、距離値に重み付けを行ってもよい。
また、本実施形態においても、第一の実施形態同様、補正値データベース作成部174を備えるよう構成してもよい。これにより、所望のタイミングで、補正値データベース172を更新可能としてもよい。
また、本実施形態においても、光源110aの、センサ160に対する位置が不明の場合、第一の実施形態同様の手法で、位置が不明な光源110a毎に位置情報を算出し、補正情報を算出するよう構成してもよい。
100:距離画像生成装置、100a:距離画像生成装置、100b:距離画像生成装置、110:光源部、110a:光源、111:変調光、112:入射光、113:物体、114:変調信号、114a:変調信号、115:ゲート信号、120:光電変換部、130:電荷振分部、140:制御部、150:電荷蓄積部、160:センサ、170:距離画像生成部、171:距離値算出部、172:補正値データベース、172b:補正値データベース、173:距離値補正部、174:補正値データベース作成部、210:画素位置、220:補正情報、230:光源番号

Claims (6)

  1. 対象空間に変調した変調光を照射する光源を備える光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子、前記光電変換素子ごとに複数設けられた電荷蓄積部、および、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部を、複数の画素についてそれぞれ備えるセンサ部と、
    前記複数の電荷蓄積部に蓄積された電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部と、を備え、
    前記距離画像生成部は、
    前記複数の電荷蓄積部に蓄積された電荷に演算処理を施し、前記画素毎の計算距離値を得る距離値算出部と、
    前記光源の前記センサ部に対する位置に応じて定められ、前記センサ部から前記光源に向かう方向と、前記光電変換素子の画角中央方向とがなす角度で特定される補正情報を、前記画素毎に保持する補正値データベースと、
    前記画素毎の計算距離値を当該画素の前記補正情報を用いて補正し、前記画素毎の距離値を得る距離値補正部と、を備えること
    を特徴とする距離画像生成装置。
  2. 請求項記載の距離画像生成装置であって、
    前記光源部に変調信号を送信する制御部をさらに備え、
    前記光源部は複数の光源を備え、
    前記補正値データベースは、前記光源毎に前記補正情報を保持し、
    前記制御部は、予め定めた時間間隔で予め定めた順に各光源に前記変調信号を送信するとともに、前記変調信号の送信ごとに送信先の前記光源を特定する光源情報を前記距離値補正部に送信し、
    各前記光源は、前記変調信号に応じて前記変調光を照射し、
    前記距離値補正部は、前記光源情報に応じた前記補正情報を用いること
    を特徴とする距離画像生成装置。
  3. 請求項記載の距離画像生成装置であって、
    前記複数の光源のうち、少なくとも1つの光源は、前記センサ部が収納される筐体とは別体に収容されること
    を特徴とする距離画像生成装置。
  4. 請求項1からいずれか1項記載の距離画像生成装置であって、
    前記補正値データベースを生成するデータベース作成部をさらに備え、
    前記データベース作成部は、距離が既知の物体の計算距離値を用い、前記光源の前記センサ部に対する位置情報を算出し、当該位置情報を用いて前記補正情報を算出すること
    を特徴とする距離画像生成装置。
  5. 対象空間に変調した変調光を照射する光源を備える光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子、前記光電変換素子ごとに複数設けられた電荷蓄積部、および、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部を、複数の画素についてそれぞれ備えるセンサ部と、を備える距離画像生成装置における距離画像生成方法であって、
    前記複数の電荷蓄積部に蓄積された電荷を用いて前記各画素の計算距離値を得る距離値算出ステップと、
    予めデータベースに保持され、前記光源の前記センサ部に対する位置に応じて定められ、前記センサ部から前記光源に向かう方向と前記光電変換素子の画角中央方向とがなす角度で特定される補正情報を用い、各画素の算出距離を補正して距離値を得る距離値補正ステップと、を含むこと
    を特徴とする距離画像生成方法。
  6. 対象空間に変調した変調光を照射する光源を備える光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子、前記光電変換素子ごとに複数設けられた電荷蓄積部、および、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部を、複数の画素についてそれぞれ備えるセンサ部と、を備える距離画像生成装置のコンピュータに、
    前記複数の電荷蓄積部に蓄積された電荷を用いて前記各画素の計算距離値を得る距離値算出手順、
    予めデータベースに保持され、前記光源の前記センサ部に対する位置に応じて定められ、前記センサ部から前記光源に向かう方向と前記光電変換素子の画角中央方向とがなす角度で特定される補正情報を用い、各画素の算出距離を補正して距離値を得る距離値補正手順、を実行させるためのプログラム。
JP2014049159A 2014-03-12 2014-03-12 距離画像生成装置および距離画像生成方法 Active JP6328965B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014049159A JP6328965B2 (ja) 2014-03-12 2014-03-12 距離画像生成装置および距離画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014049159A JP6328965B2 (ja) 2014-03-12 2014-03-12 距離画像生成装置および距離画像生成方法

Publications (2)

Publication Number Publication Date
JP2015172551A JP2015172551A (ja) 2015-10-01
JP6328965B2 true JP6328965B2 (ja) 2018-05-23

Family

ID=54259968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014049159A Active JP6328965B2 (ja) 2014-03-12 2014-03-12 距離画像生成装置および距離画像生成方法

Country Status (1)

Country Link
JP (1) JP6328965B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021021633A (ja) * 2019-07-26 2021-02-18 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システムおよび測距装置の調整方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4151415A (en) * 1977-10-31 1979-04-24 Varo, Inc. Active imaging system using variable gate width time programmed dwell
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
ES2250636T3 (es) * 2001-04-04 2006-04-16 Instro Precision Limited Equipo de analisis de imagenes.
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法,プログラム
JP5051468B2 (ja) * 2008-12-25 2012-10-17 トヨタ自動車株式会社 センサ校正装置、及び、センサ校正方法
JP2011069726A (ja) * 2009-09-25 2011-04-07 Hamamatsu Photonics Kk 距離画像取得装置
JP5638345B2 (ja) * 2010-10-27 2014-12-10 三菱電機株式会社 レーザ画像計測装置
US8542348B2 (en) * 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations
JP5858688B2 (ja) * 2011-08-30 2016-02-10 スタンレー電気株式会社 距離画像生成装置
US20130175429A1 (en) * 2012-01-05 2013-07-11 Pravin Rao Image sensor, image sensing method, and image capturing apparatus including the image sensor

Also Published As

Publication number Publication date
JP2015172551A (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
US11688089B2 (en) Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
US10469722B2 (en) Spatially tiled structured light projector
EP3586165B1 (en) Single-frequency time-of-flight depth computation using stereoscopic disambiguation
WO2022100759A1 (zh) 头戴式显示系统及其6自由度追踪方法和装置
JP6296401B2 (ja) 距離測定装置および固体撮像素子
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
US8860930B2 (en) Three dimensional surface mapping system using optical flow
US9253471B2 (en) Depth camera, multi-depth camera system and method of synchronizing the same
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
US20200192206A1 (en) Structured light projector, three-dimensional camera module and terminal device
KR20190075044A (ko) 깊이 정보 결정을 위한 다중 이미터 조명
US20140118341A1 (en) Image processing apparatus and method
US20220180552A1 (en) Device, method, and program for detecting position and orientation of target object
US20160316193A1 (en) Parametric online calibration and compensation in tof imaging
JP2006308522A (ja) 空間情報検出装置
JP7378571B2 (ja) 少なくとも一つのスキャン装置のためのフレームと少なくとも一つのスキャン装置を備える空間検出装置
JP2017009339A (ja) センサ、センシング装置及び距離計測方法
CN105302381B (zh) 红外线触摸屏精准度调整方法及装置
JP2017156306A (ja) 距離センサ、走行体、ロボット及び3次元計測装置
US20130038722A1 (en) Apparatus and method for image processing
WO2020110359A1 (en) System and method for estimating pose of robot, robot, and storage medium
KR20150069927A (ko) 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
Vempati et al. Onboard real-time dense reconstruction of large-scale environments for UAV
JP6859447B2 (ja) 情報処理システムおよび対象物情報取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180419

R150 Certificate of patent or registration of utility model

Ref document number: 6328965

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250