JP3984608B2 - レンジファインダ装置 - Google Patents

Description

本発明は、被写体の３次元情報を撮影可能なレンジファインダ装置（距離画像を測定できる３次元カメラ）に属する。

図２１は従来のレンジファインダの構成図である。図２１において、５１はカメラ、５２ａ，５２ｂは光源、５５は光源制御部、５６は距離計算部である。光源制御部５５はカメラ５１の垂直同期信号に同期してフィールド周期毎に光源５２ａ，５２ｂを交互に発光させる。

ここで、カメラの光学中心を原点とし、カメラの光軸方向をＺ軸、水平方向にＸ軸、垂直方向にＹ軸を設定し、光源からみた着目点の方向がＸ軸となす角をφ、カメラから見た着目点の方向とＸ軸がなす角をθ、光源位置を（０，−Ｄ）すなわち基線長をＤとすると、着目点Ｐの奥行き値Ｚは、三角測量の原理により、
Ｚ＝Ｄｔａｎθｔａｎφ／（ｔａｎθ−ｔａｎφ） …（１）
として計算できる。角度φを得るために、光源５２ａ，５２ｂによって、所定の光パタンを投射する。

光源５２ａ，５２ｂとしては例えば、図２２（ａ）に示すような、キセノンフラッシュランプ等の閃光光源５７，５８を縦に配置し、後方の反射板５９，６０の方向を左右にずらしたものを用いる。図２２（ｂ）は図２２（ａ）の平面図である。光源５２ａ，５２ｂはそれぞれ範囲Ａ，Ｂに光を輻射する。

図２３はこのような光源５２ａ，５２ｂから輻射される光パタンを示す図である。図２３では、仮のスクリーンＹに光を投射した場合の明るさを、図中の矢印方向に示している。すなわち、各光源５２ａ，５２ｂから投射される光は、中心軸上が最も明るく、周辺になるほど暗くなる特性を持つ。このような特性を持つのは、半円筒状の反射板５９，６０が閃光光源５７，５８の背後に配置されているからである。また、反射板５９，６０の向きがずれているので、各光源５２ａ，５２ｂの投射範囲はその一部が重なっている。

図２４は図２３のＨ方向における投射光角度φと光強度との関係を示す図である。このＨ方向とは、光源中心とレンズ中心とを含む複数個の面のうち、任意の面Ｓと仮のスクリーンＹとの交叉線の方向である。図２４のα部分では、光源５２ａ，５２ｂから投射された光パタンは、一方は右側が相対的に明るく、他方は左側が相対的に明るくなっている。ただし、光パタンの明るさは、高さ方向（Ｙ軸方向）においても異なっている。

図２５は図２４のα部分における２種類の投射光の光強度比と、投射光角度φとの関係を示すグラフである。図２５に示すように、α部分では、光強度比と角度φとの関係は１対１に対応している。

距離の測定のためには、事前に、光源から所定距離離して垂直に立てた平面に２種類の光パタンを交互に投射し、その反射光をカメラ１で撮像した結果から、各Ｙ座標（ＣＣＤ上のＹ座標に対応する）毎に、図２５のような光強度比と投射光角度との関係のデータを得ておく。Ｙ座標毎とは、光源中心とレンズ中心とを含む複数個の面毎に、ということである。また、カメラ５１のレンズ中心と光源５２ａ，５２ｂとを結ぶ線分がＣＣＤ撮像面のＸ軸と平行になるように、光源５２ａ，５２ｂを配置すれば、各Ｙ座標毎に決定された光強度比と投射光の角度の関係のデータを用いることによって、正確に距離計算を行うことができる。

図２１の点Ｐを着目点とするとき、２種類の光パタンを照射したときの撮像画像から得た点Ｐにおける輝度比と、点ＰのＹ座標値に対応した図２５の関係とを用いることによって、光源から見た点Ｐの角度φを計測する。また、カメラから見た点Ｐに対する角度θは、画像中での位置（すなわち点Ｐの画素座標値）とカメラパラメータ（焦点距離、レンズ系の光学中心位置）から決定する。そして、これな２つの角度φ，θと、光源位置とカメラの光学中心位置間の距離（基線長）Ｄとから、式（１）に従って、距離を計算する。

このように、図２４のα部分のように、投射方向によって単調増加・減少するような光パタンを生成する光源があれば、簡単に被写体の３次元計測を行うことができる。

しかしながら、従来の構成では、光源にキセノンフラッシュランプを用いるが、キセノンフラッシュランプは約５千回程度の発光で寿命が来るため、レンジファインダ装置を長期間使用する場合には、ランプの交換などのメンテナンスが頻繁に必要になる。また、フラッシュランプの発光量の安定度は数％であるため、それ以上の測定精度を得ることができない、という問題もあった。

また、寿命が長い光源としては例えばＬＥＤ（発光ダイオード）などがあるが、ＬＥＤは１個当たりの発光量が小さいために、これを単一で用いた場合には光量不足となり、安定した３次元計測ができない、という問題が生じる。

さらには、従来の構成では、投射する光パタンは反射板の形状によって定まるために、原則としては、一組の光パタンしか生成することができない。

前記の問題に鑑み、本発明は、長期間使用可能で、かつ、安定した３次元計測を実行可能なレンジファインダ装置を提供することを課題とする。

前記の課題を解決するために、請求項１の発明が講じた解決手段は、被写体に光を投射し、その反射光を受けて前記被写体の３次元位置を測定するレンジファインダ装置として、少なくとも２種類の，被写体空間全体を投射し、かつ、光強度が投射方向に応じて異なる光パタンからなる光パタンの組を投射する投光部と、前記投光部から投射される光パタンの組として、投射される光パタンにおける光強度の空間的変化率が異なるものを複数種類準備し、前記投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を可変にする投光パタン制御部とを備えたものである。

請求項１の発明によると、投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を制御することが可能になり、様々な測定モードを実現することが可能になる。

請求項２の発明は、被写体に光を投射し、その反射光を受けて、前記被写体の３次元位置を測定するレンジファインダ装置として、少なくとも２種類の，被写体空間全体を投射し、かつ、光強度が投射方向に応じて異なる光パタンを投射する投光部と、前記投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を可変にする投光パタン制御部とを備え、前記投光パタン制御部は、通常の投光範囲を有する第１の光パタンの組を投射させる通常測定モードと、投光範囲が前記第１の光パタンの組よりも狭い第２の光パタンの組を、複数の方向に投射させる精密測定モードとを有しているものである。

請求項３の発明は、被写体に光を投射し、その反射光を受けて、前記被写体の３次元位置を測定するレンジファインダ装置として、少なくとも２種類の，被写体空間全体を投射し、かつ、光強度が投射方向に応じて異なる光パタンを投射する投光部と、前記投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を可変にする投光パタン制御部とを備え、前記投光パタン制御部は、計測当初は相対的に広い投光範囲を有する第１の光パタンの組を投射させ、その後、前記広い投光範囲の中の特定の領域に対して、相対的に狭い投光範囲を有する第２の光パタンの組を投射させる測定モードを有しているものである。

本発明によると、様々な測定モードを実現できるので、安定した３次元計測が可能になる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係るレンジファインダ装置の構成を示す図である。図１において、１はカメラ、１１は複数の光源が配列された光源アレイ部、１２は光源アレイ部１１の各光源の発光態様を制御する光源制御部、１３はカメラ１によって撮影された反射光画像から３次元計測を行う３次元計測部としての距離計算部である。

図１に示す構成では、図２３に示すような２種類の光パタンを光源アレイ部１１から投光し、被写体からの反射光をカメラ１で撮像して、被写体の３次元位置を計測する。

図２は光源アレイ部１１の構成の一例を示す図である。同図中、（ａ）は断面図、（ｂ），（ｃ）は平面図である。図２に示す光源アレイ部１１では、光源として赤外ＬＥＤ（発光ダイオード）を用いている。図２（ａ）に示すように、複数個のＬＥＤを、円筒面または球面などの曲面上に配置している。これは、ＬＥＤ単体では、光の輻射範囲（輻射角度）が約２０度程度であり、広い範囲に光を投光することはできないので、各ＬＥＤの光軸を放射状にするためである。

また平面的には、図２（ｂ）に示すようにＬＥＤを格子状に整列させて配置したり、あるいは図２（ｃ）に示すように市松模様状（千鳥格子状）に配置してもよい。図２（ｃ）の場合、図２（ｂ）よりも単位面積当たりのＬＥＤの個数が多くなり、同一面積当たりの光量を大きくできるので、光源アレイ部１１のサイズをより小さくすることができる。光源の配列態様としては、他にも同心円状などが考えられる。

図３（ａ）は本願発明者が試作した光源アレイ部１１の一例の外観を示す斜視図である。図３（ａ）では、２００個程度のＬＥＤが、曲面としての円筒面上に市松模様状に配置されている。

図３（ｂ）は本願発明者が試作した光源装置としての光源アレイ部１１の他の例の外観を示す図、図３（ｃ）はその断面図である。図３（ｃ）では、各ＬＥＤが、平面上に、かつ、その光軸が放射状になるように、配置されている。このように、ＬＥＤをほぼ平板状に実装することによって、光源アレイ部１１の奥行き方向のサイズを小さくすることができる。

また図３（ａ）では、ＬＥＤが、光パタン形成方向（図では横方向）において一列に配置されている。これに対して図３（ｂ）では、光パタンを投射する範囲が右側と左側の２つの範囲に分割されており、水平方向各列のＬＥＤが、分割したいずれかの投射範囲に対応した構造になっている。言い換えると、分割された各範囲に係る光源群（図ではＧ１，Ｇ２）は、光パタン形成方向に直交する方向（図では縦方向）に、並べて配置されている。このような構造にすることによって、光源アレイ部１１の横方向のサイズを約１／２に小型化することができ、図３（ａ）と比較して、点光源により近い構造になる。

なお図３（ｂ）では、ＬＥＤの各群Ｇ１，Ｇ２は３列からなるものとし、ＬＥＤの放射方向を３列毎に変えるものとしているが、１列毎に変えてもよいし、３列以外の複数列毎に変えるようにしてもよい。

また図３（ｂ）では、光パタン投射範囲を２つに分割したが、これを３つ以上に分割し、各範囲に係る光源群を縦方向に並べてもよい。この場合、分割数を増やすことによって、光源アレイ部１１の横方向のサイズをさらに小さくすることができる。ただし、逆に縦方向のサイズが大きくなるので、図１５（ａ）に示すような光強度分布が、画像の縦方向に変動してしまうおそれがある。ただし、この変動の程度が、後述するような計算アルゴリズムによって光強度パタンを精度良く近似できる範囲内であれば、実用上、光源として使用可能である。

図４（ａ），（ｂ）は光源アレイ部１１を用いて生成した２種類の光パタンを示す図である。光源制御部１２は、光源アレイ部１１の各ＬＥＤの発光強度（明るさ）をそのＬＥＤの位置に応じて制御することによって、光パタンを生成する。ここでは、光源となるＬＥＤに与える電圧（すなわちＬＥＤを流れる電流）を制御することによって、その発光強度を制御するものとする。図４（ａ）に示す光パタンＡはＬＥＤの光量を列番号に従って単調に増加させるパタン、図４（ｂ）に示す光パタンＢはＬＥＤの光量を列番号に従って単調に減少させるパタンである。

光源制御部１２は、図５に示すように、カメラ１の露出タイミング（露出期間）に合わせて、図４に示す光パタンＡと光パタンＢとを交互に順次切り換える。これによって、カメラ１から、光パタンＡが投射されたときの反射光画像と光パタンＢが投射されたときの反射光画像とが交互に得られる。すなわち、図２４に示すα部分と同様の光パタンが被写体に投射され、その撮像結果が、交互に得られる。

なお、ここでは、動画像を撮像するために２種類の光パタンＡ，Ｂを連続して交互に投射するものとしたが、静止画像を撮像する場合は、光パタンＡ，Ｂを１回ずつ投光して２枚の画像をカメラ１によって撮像するだけでよい。

また、上述の例では、ＬＥＤの光量を制御するためにＬＥＤ自体の明るさを制御するものとしたが、その代わりに、光源制御部１２が各ＬＥＤの発光時間をそのＬＥＤの位置に応じて制御することによって、光パタンを生成してもかまわない。この場合は、ＬＥＤに流れる電流は一定にしておけばよく、カメラの露光時間内における各ＬＥＤの発光時間のみを制御すればよい。

図６（ａ），（ｂ）は発光時間の制御によって生成した２種類の光パタンを示す図である。同図中、（ａ）に示す光パタンＡはＬＥＤの発光時間を列番号に従って単調に増加させるパタン、（ｂ）に示す光パタンＢはＬＥＤの発光時間を列番号に従って単調に減少させるパタンである。カメラ１の露光時間内において、長い時間投光するほど、のべの光量が大きくなるので、光パタンの生成が可能になる。

ＬＥＤは、ＬＥＤ自体が熱を持った場合、あるいは、ＬＥＤ駆動回路の温度特性によってＬＥＤを流れる電流が時間的に変化した場合には、その明るさが変化する。この場合、発光強度を制御する手法では、生成した光パタンに誤差が生じる可能性がある。しかし、ＬＥＤに流れる電流を一定にし、発光時間を変化させて光量を制御する場合には、ＬＥＤ駆動回路が安定であり、ＬＥＤ自体の発熱を抑えることもできるので、光パタンの形自体はほとんど変化しない。したがって、反射光の光強度比を用いる本３次元測定方式では、その影響はほとんどないといえる。また、発光強度一定で時間を変化させるので、個々のＬＥＤの性能がばらついても、正確に光量比を設定することができる。さらに、ＬＥＤの電流によって光強度を制御する場合、その制御はアナログ回路となるが、発光時間の制御はデジタル回路によって容易に実現できるので、発光制御の精度を向上させることは容易である。すなわち、発光時間の制御により各ＬＥＤの光量を制御することによって、精度の高い、安定した光パタンを生成することができる。

（３次元計測方法）
次に、得られた反射光画像から３次元計測を行う方法について説明する。これは、図１における距離計算部１３が行う処理内容に相当する。

ここで、本実施形態においても従来技術の項で説明した計算方法を用いてもかまわないが、従来の３次元計算は、光源が点光源であることを前提とした手法である。このため、本実施形態のようにＬＥＤアレイを光源として用いる場合には、光源自体が大きさを有しているので、従来の手法をそのまま用いた場合には、誤差が発生する可能性がある。そこで、ここでは、光源自体が大きさを有している場合であっても、誤差の発生を防ぎ、正確に３次元計測を行うことができる方法について、詳細に説明する。

図７はカメラのｙ座標一定（ｙ１）の平面における光源アレイ部１１、カメラ１および被写体の位置関係を示す図である。図７に示すように、光パタンＡ，Ｂを投射して撮像したそれぞれの画像から求めた、明るさ比の値ρ（光強度比）が一定の箇所（ρ＝ρ０，ρ１，ρ２，ρ３，ρ４）は曲線群Ｆによって表される。そこで、これらの曲線を近似する方程式ｆ（ρ，ｘ，ｚ）＝０を、レンジファインダ装置の使用前に、予め求めておく。

方程式ｆの求め方は次の通りである。図７において、カメラ１の前に、Ｚ座標一定の平面（前額平行面として配置した平面）を様々な距離の位置（Ｚ＝ｚ０，ｚ１，…）におき、光源アレイ部１１から光パタンＡ，Ｂを照射して、その画像をカメラ１で撮像する。

次に、図８に示すように、光パタンＡ，Ｂに対応する画像の画素毎に明るさ比の値を求め、同一のｙ座標値ｙ０について、明るさ比の値ρが同一の点を結ぶ曲線（図８における点線）を回帰曲線に当てはめる。ここで、回帰曲線を当てはめずに、直線の折れ線近似を用いてもかまわない。このような、ρをパラメータとした回帰曲線の式を、画像の各ｙ座標について求めておく。すなわち、光強度比ρが一定である空間軌跡を近似する計算式のパラメータを、３次元計測を行う準備のために予め記憶しておく。

次に、撮影された画像データから、実際に３次元計測を行う。

いま、着目する画素の座標が（ｘ１，ｙ１）であるとする。座標（ｘ１，ｙ１）において、光パタンＡ，Ｂを投射したときの画像における輝度の比の値を計算する。この輝度比がρ１であったとすると、ｙ＝ｙ１の平面上において、ρ＝ρ１を満たす等輝度比曲線（図７における曲線ｆ１）を、選択する。このとき、選択した曲線ｆ０と、ＣＣＤ上の着目点（ｘ１，ｙ１）とカメラのレンズ中心を通る直線ｌとの交点Ｃが、求める３次元位置となる。

このように、２枚の画像から各画素についてその明るさの比を求め、着目する画素について、その輝度比から該当する等輝度比曲線を決定する。そして、この等輝度比曲線と直線ｌとの交点を求めることによって、撮像画像の各画素について３次元測定を行うことができる。

また、等輝度比曲線の近似方程式ｆにｙの項も入れ、ｆ（ρ，ｘ，ｙ，ｚ）＝０として３次元的に回帰曲線を当てはめれば、輝度比の値ρから、３次元計算に用いる曲線ｆを直接決定することができる。この場合、図７の直線ｌと曲線ｆとの交点がない場合もあるが、この場合には例えば、直線ｌと曲線ｆとの距離が最も近くなる点の平均値か、あるいは、ＺＸ平面に投影したときの交点を、その交点として求めてもよい。

また、３次元計測を行う他の方法について、次に説明する。

図９に示すように、カメラ１前面にＺ値（奥行き値）一定（Ｚ０）の平面をおき、この平面に光パタンＡ，Ｂを投射して、それぞれの画像をカメラ１によって撮像する。そして、各画素における明るさ比の値を求め、この輝度比が表された画像を輝度比画像Ｃ０として、予め記憶しておく。同様に、異なる奥行き値Ｚ１〜Ｚ５について、輝度比画像Ｃ１〜Ｃ５をそれぞれ記憶する。

次に、撮影された画像データから、実際に３次元計測を行う。

いま、着目する画素の座標が（ｘ１，ｙ１）であるとする。座標（ｘ１，ｙ１）において、光パタンＡ，Ｂを投射したときの画像における輝度比の値がρ０であったとする。このとき、図１０に示すように、予め準備した各輝度比画像Ｃｉ（ｉ＝０〜５）において、着目画素の座標（ｘ１，ｙ１）の近傍の範囲（Δｘ，Δｙ）において、輝度比の平均値ρｍを求める。そして、着目画素の輝度比ρ０と、その座標近傍における輝度比平均値ρｍとを比較することによって、３次元位置の計測を行う。

図１１は輝度比の差（ρｍ−ρ０）と各輝度比画像の奥行き値との関係を示すグラフである。図１１に示すように、（ρｍ−ρ０）が０になる位置、すなわち、着目画素（ｘ１，ｙ１）において計測された輝度比ρ０が、その座標近傍における輝度比平均値ρｍと等しくなると想定される輝度比画像のＺ値Ｚｍが、その着目画素（ｘ１，ｙ１）の奥行き値として求められる。この場合には、予め回帰曲線を求める必要がなく、単純な計算によって、３次元計測を実現することができる。

図１２は本実施形態に係る３次元計測方法の他の例を示す図である。図１２において、１００は複数の奥行き値についての輝度比画像を予め記憶しておくメモリ、Ｓ１１は奥行き値計算用パラメータ計算ステップ、Ｓ１２は光パタンＡと光パタンＢから光強度比画像を計算する光強度比計算ステップ、Ｓ１３は奥行き値計算ステップ、Ｓ１４は３次元座標値計算ステップである。メモリ１００は図１の構成における距離計算部１３に設けられており、各ステップＳ１１〜Ｓ１４はこの距離計算部１３によって実行される。

メモリ１００は、図９に示した上述の３次元計測方法と同様に、複数の奥行き値についての輝度比画像を予め記憶しておく。

次に、３次元座標値のうち奥行き値Ｚの計算について説明する。奥行き値Ｚは、図１３に示すように、輝度比画像中に矩形状に配置した節点（代表点）における、光強度比ρと奥行き値Ｚとの関係式を用い、補間計算によって各画素について計算する。すなわち図１３において、節点を通りＺ軸に平行な直線（節線）上における光強度比ρと奥行き値Ｚの関係式を用い、補間計算によって節線間での光強度比ρと奥行き値Ｚの関係を決定する。

節線における光強度比ρと奥行き値Ｚの関係式の計算方法（すなわちキャリブレーション方法）について、説明する。

節線における光強度比ρと奥行き値Ｚの関係は、複数の距離値に配置した平面（較正面）上での光強度比について、光強度比の空間分布モデルを当てはめることによって求める。これにより、光強度比ρと距離値Ｚとが関係付けられ、奥行き値の計算が可能となる。

図１４に距離計算に用いる有限要素モデルを示す。図中、ｘ，ｙは画素座標値、Ｚは奥行き値（三次元座標値）である。要素は、ｘｙ面に垂直な４つの節線からなる四角柱として定義する。このモデルでは、ｘｙＺの３次元空間における光強度比ρの分布から距離Ｚを求める。すなわち、ρ（ｘ，ｙ，Ｚ）を観測し、これをＺについて解けばよい。

本実施の形態では、各節線において、

として、光強度比ρと距離Ｚの関係を３次式としてモデル化する。上式において、ρは光強度比、ｐ＝（ａ，ｂ，ｃ，ｄ）ｔはパラメータベクトルである。図１３に示すように、節線を２次元的に配置することにより、パラメータベクトルｐの任意の変化に対して、一定の精度を保った距離計測が可能となる。すなわち、節線を密に配置すれば、演算量は増すが奥行き値の計測精度は向上し、逆に、節線を粗く配置すれば、奥行き値の精度は低下するが演算量を低減できる。

節線間の画素座標値では、パラメータベクトルｐを節線におけるパラメータベクトルｐ０〜ｐ３の線形補間によって決定し、

とする。ここで、

であり、ｓ，ｔはｘ方向、ｙ方向についての線形重みである。各節線におけるパラメータベクトルｐ０，ｐ１，ｐ２，ｐ３は、予め記憶している複数の平面（較正面）についての距離誤差が要素内で小さくなるように、すなわち、

を最小化するように決定する。ここで、Ｗは図１４に示すように、４つの節線で囲まれる要素の底面領域を示し、ｎはＺ方向に配置された平面（較正面）の面数である。式（４）を最小化する条件、

より

となる。これを整理して

となる。上記は局所的な要素についての連立方程式である。複数の要素からなる系全体については、局所的な連立方程式を加算して系全体の連立方程式を決定し、これを解くことによって、各節線におけるパラメータａ，ｂ，ｃ，ｄをすべて求めることができる。

幅６４０画素、高さ４８０画素の輝度比画像に対して節線間隔を縦横１０画素にすると、６５×４９＝３１８５個の節線を配置することになる。各節線はａ，ｂ，ｃ，ｄの４つのパラメータを持っているので、３１８５×４＝１２７４０元の連立方程式を解くことにより、入力画像の各画素についての奥行き値（Ｚ値）計算に必要なパラメータを決定できる。

奥行き計算用パラメータ計算ステップＳ１１は、メモリ１００に予め記憶している複数の較正用輝度比画像に対して、上述の計算を行うことにより、奥行き計算に必要なパラメータを決定する。

光強度比計算ステップＳ１２は、入力画像（光パタンＡ、光パタンＢ）に対して、画素毎に光強度比ρを計算する。

奥行き値計算ステップＳ１３は、着目画素の座標値ｘ，ｙと着目画素における光強度比ρと、近傍４節線におけるパラメータとを用い、式（２），（３）の計算により各画素における奥行き値Ｚを計算する。

３次元座標値計算ステップＳ１４は、残りの３次元座標値Ｘ，Ｙを、画素座標値ｘ，ｙと奥行き値Ｚから計算する。画素座標値ｘ，ｙと奥行き値Ｚから３次元座標値Ｘ，Ｙへの変換は、撮像系の幾何学的な特性（１画素あたりの視野角、レンズ歪）を用いて行う。

なお、入力の光パタンＡ，Ｂと較正用光強度比の計算に用いる複数の画像にローパスフィルターをかけることにより、画像に含まれるノイズの影響を低減することができる。また、奥行き値にローパスフィルターをかけたり、メディアンフィルターをかけても、同様の効果を得ることができる。

なお、節点の間隔は、小さくすると計算時に用いるパラメータ数は増加するが距離測定精度は良くなり、逆に大きくするとパラメータ数は減少するが距離測定精度は悪くなる。現在の実験結果では、縦４８０画素、横６４０画素の画像に対して、縦横５０画素程度の間隔まで節点間隔を拡げても、距離測定精度はほとんど劣化しないことが判明している。

以上のような３次元計測計算によって、光源が点光源ではなく、本実施形態に係る光源アレイ部１１のように所定の大きさを有する場合であっても、正確に３次元計測を行うことができる。もちろん、点光源を用いた場合であっても、ここで示した３次元計測の手法を利用してもかまわない。また、光源アレイ以外の光源であって、所定の大きさを有するものを用いた装置であっても、ここで示した手法が有効であることはいうまでもない。

（発光光量の補正）
図１５（ａ）はカメラの前面に設置した前額平行面に図４に示す光パタンＡ，Ｂを投射したときの明るさ比の分布を示すグラフである。また図１５（ｂ）は、光パタンＡのときの光源アレイ部１１の各ＬＥＤの発光強度を示している。

図１５（ａ）から分かるように、明るさ比の変化が単調減少（または単調増加）である部分すなわち３次元計測に用いられる範囲は、光パタンの照射範囲のうちのα部分に限られてしまう。これは、光パタンの照射範囲の端近傍では、光源アレイ部１１の光量が低下し、光量変化が直線的でなくなることに起因する。すなわち、各ＬＥＤの輻射角度は互いにオーバーラップしており、それらの足し合わせによって光パタンの一様な光量変化を実現しているのであるが、アレイの端近傍では、足し合わせに有効となるＬＥＤの個数が減少するので、相対的に光量が低下する。また、カメラ１で撮像する際、画像の周辺ではレンズの周辺減光に起因して受光量が減ることも、その一因である。

このような理由によって、３次元計測に用いられる範囲が、光パタンの照射範囲よりも狭く限定されてしまう。そこで、ここでは、３次元位置の測定が可能な空間上の範囲がより広くなるように、図１５（ｃ）に示すような補正係数を用いて各ＬＥＤの光量補正を行う。

具体的には、図１５（ｂ）に示すような光パタンに応じた光量制御値に、図１５（ｃ）に示すような補正計数を乗じたものを、新たな光量制御値とする。これは、２種類の光パタンの光量比を変えないで、光源アレイ部１１の端近傍の光源の光量を中心部と比べて所定の比率で増大させ、光源アレイ部１１端部における光量低下を抑え、図１５（ａ）に示すα部分の範囲を大きくするものである。すなわち、光源アレイ部１１の端近傍に配置された光源について、その発光強度を補正すると、明るさが大きい空間上の範囲が広くなり、また明るさ比が単調に変化する空間上の範囲が広くなるので、３次元位置の測定が可能な空間上の範囲がより広くなる。

図１６は本願発明者が実験で測定して得た光パタンと明るさ比との関係を示すグラフである。同図中、（ａ）は補正前、（ｂ）は補正後のデータである。上述のように補正することによって、補正前では図１６（ａ）のようにピーク点と端近傍の最小点との輝度差ｄ１が大きく、周辺部で計測不能になる状態が、補正後では図１６（ｂ）に示すように、明るさ比は図１６（ａ）と同様に保ちつつ、ピーク点と端近傍の最小点との輝度差ｄ２を小さくすることができ、計測可能範囲を拡大することができる。

なお、発光強度の代わりに発光時間を制御して光パタンを生成している場合には、その発光時間に図１５（ｃ）に示すような補正係数を乗ずることによって、同様の効果が得られる。

（第２の実施形態）
図１７は本発明の第２の実施形態に係るレンジファインダ装置の構成を示す図である。同図中、図１と共通の構成要素には、図１と同一の符号を付している。図１７の構成では、光源アレイ部１１から投射させる光パタンの組の種類を光源制御部１２に指示する投光パタン制御部１４が、さらに設けられている。光源アレイ部１１および光源制御部１２によって、投光部２０が構成されている。

本実施形態の特徴は、投光パタン制御部１４が、投射される光パタンの組を変化させることによって、計測範囲や計測精度を変えることができる点にある。なお、本実施形態の基本的な動作は第１の実施形態と同様であり、図４に示すような２種類の光パタンを投射し、被写体からの反射光をカメラ１で撮像して、被写体の３次元位置を計測する。３次元計測方法もまた、第１の実施形態と同様に実現される。投光パタン制御部１４は、光源制御部１２に指示した光パタンの組の種類に応じて、３次元計測のために必要となる計算パラメータ情報を距離計算部１３に与える。

図１８は計測範囲の制御の例を示す図である。図１８（ａ）では、計測範囲の大小が切り替えられている。すなわち、(1)の場合は、第１の実施形態と同様に、光源アレイ部１１の光投射範囲全てにわたって光強度を変化させており、この結果得られた計測範囲ＡＲ(1)は最も広くなる。これに対して、(2)の場合は、光投射範囲のほぼ中心にある一部の範囲のみにおいて光強度を変化させており、これにより、測定範囲ＡＲ(2)が狭くなっている。ただし、(2)の場合、計測範囲は狭くなるものの、測定範囲内の光強度の変化は(2)の場合よりも大きいので、計測精度は(1)よりも向上する。

また、図１８（ｂ）では、計測範囲の位置が切り替えられている。すなわち、(3)の場合は、光パタンの投射範囲のうちむかって左側の一部が計測範囲ＡＲ(3)になっており、(4)の場合は、むかって右側の一部が計測範囲ＡＲ(4)になっている。すなわち、カメラ視野範囲内において、計測範囲を任意に移動させることが可能になる。これは、言い換えると、計測方向を変化させることが可能であることに相当する。

光源アレイ部１１を用いた場合には、各光源への供給電圧を制御することによって、図１８に示すような任意の光パタンを、電子的に、極めて容易に生成することができる。これにより、レンジファインダ装置に、様々な測定モードを持たせることが可能になる。

図１９は測定モードの一例である。図１９（ａ）に示すように、計測範囲を複数（図では７個）に分割し、各計測範囲について、図１８（ｂ）に示すような光パタンを投射して、順次３次元計測してこれらの結果を合成すれば、カメラの視野全体にわたって精度の高い３次元計測を行うことができる。すなわち、図１８（ａ）の(1)のような通常の投光範囲を有する第１の光パタンの組を投射させる通常測定モードとは別に、図１９（ａ）に示すように、この第１の光パタンの組よりも投光範囲が狭い第２の光パタンの組を複数の方向に投射させる精密測定モードを設けることができる。

また、図１９（ｂ）に示すように、まず計測当初はカメラの視野全体に光パタンを投射して３次元計測を行い、その後、得られた画像データから興味のある部分などを特定し、その特定の領域に対して狭い投光範囲を有する第２の光パタンの組を投射させて、精度の高い計測を行うようにしてもよい。このようなインテリジェントな動作を行う測定モードを持たせることも可能である。

以上のように本実施形態によると、３次元計測を行う範囲や方向を、電子的に変化させることができる。また、３次元計測の精度も、必要に応じて制御することができる。

また、本実施形態では、光源アレイ部を用いて任意の光パタンを生成するものとしたが、例えば、点光源をガルバノミラーなどで走査するような構成によっても、任意の光パタンを生成することは可能である。すなわち、ミラー走査時における光源の光強度を時間的に可変すれば、同様な効果を得ることができる。また、光源として、動画を再生するプロジェクタを用いても、同様の光パタンを生成することができる。すなわち、プロジェクタに表示させる画像を図１８に示すような光パタンにするだけで、実現することができる。

なお、本発明の各実施形態において、光源アレイ部を複数個設けて、各光源アレイ部を、その投光方向が互いに異なるように配置してもよい。これにより、より広い空間上の範囲に光パタンを投射することができる。

なお、本発明の各実施形態では、複数の光パタンＡ，Ｂを時分割で生成するものとしたが、波長が互いに異なる光源を用いることによって、２種類の光パタンを同時に照射することができる。この場合、例えば、光源アレイ部１１に波長が異なる２種類の光源を均一に混ぜて配置しておき、各波長の光源を用いて、光パタンＡ，Ｂをそれぞれ生成させればよい。ただし、この場合には、カメラ側には、フィルターなどの波長を選別するための機構が必要になる。また、複数の波長の光を出力可能な光源を用いても、同様な構成を実現することができる。

また、本発明に係る光源アレイ部は、ＬＥＤ以外の他の光源、例えば有機ＥＬ（エレクトロルミネサンス）素子などを用いても、同様に実現することができる。

図２０はＥＬディスプレイの１画素構造を示す図である。図２０に示すように、有機ＥＬ素子は陽極と陰極とによって有機薄膜を挟み込んだ構造からなり、これに直流電圧を与えると、陽極からは正孔が、陰極からは電子が注入され、有機薄膜中で正孔と電子の再結合がおこり、このとき発生したエネルギーが有機材料を励起し、有機材料固有の色の発光が起こる。有機材料から放出された光は、少なくとも一方の電極（この場合は陽極）が透明であることから、外部に出力される。

有機ＥＬディスプレイは、図２０のような素子をＲＧＢ各画素として２次元配置することによって形成される。これは、図３に示すような光源アレイと同様の構造であり、したがって、本実施形態で示したような光パタンを生成することができる。この場合、各画素にマイクロレンズを配置すれば、光の広がりが狭くなり、さらに効率よく光を投射することができる。

また、単一素子の構造を大きくすることによって、面発光の光源を作ることも可能である。この場合、電極の位置に応じて異なる電圧を印加することによって、図１５のような光分布を得ることも可能である。

また、各実施形態で説明したレンジファインダ装置は、被写体の３次元位置を測定することができるため、例えば、人間の虹彩を用いた個人認証を行う装置に使用することができる。この場合、まず人間の眼の３次元位置をレンジファインダ装置で測定し、その位置に向かってカメラを正確にズームアップし、人間の虹彩パタンを大きく撮像する。そして、撮像した虹彩画像を用いて、認証処理を行う。あるいは、レンジファインダ装置は、被写体の立体形状データの作成にも用いることができる。この場合は、レンジファインダ装置によって測定した奥行き画像を基に、被写体を３次元ＣＧ（コンピュータグラフィックス）で用いられるポリゴン表現で表現する。これにより、被写体の立体形状を、一般的なＣＧデータとして扱うことができる。

本発明の第１の実施形態に係るレンジファインダ装置の構成を示すブロック図である。 光源アレイ部の構成の一例を示す図であり、（ａ）は断面図、（ｂ），（ｃ）は平面図である。 光源アレイ部の例の外観を示す図である。 （ａ），（ｂ）は光源の発光強度を制御して生成した２種類の光パタンを示す図である。 光パタンの切替タイミングを示す図である。 （ａ），（ｂ）は光源の発光時間を制御して生成した２種類の光パタンを示す図である。 本発明の実施形態に係る３次元計測方法を説明するための図であり、カメラｙ座標一定の平面における光源アレイ部、カメラおよび被写体の位置関係を示す図である。 光強度比一定である空間軌跡を近似する曲線を示す図である。 本発明の実施形態に係る３次元計測方法を説明するための図であり、予め準備する輝度比画像を示す図である。 輝度比画像における着目画素付近の平均輝度比の算出を示す図である。 輝度比の差（ρｍ−ρ０）と各輝度比画像の奥行き値との関係を示すグラフである。 本実施形態に係る３次元計測方法の他の例を示す図である。 ３次元計測で用いる代表点を示す図である。 距離計算に用いる有限要素モデルである。 光源アレイの発光光量の補正について説明するための図である。 本願発明者が実験で測定して得た光パタンと明るさ比との関係を示すグラフである。 本発明の第２の実施形態におけるレンジファインダ装置の構成を示すブロック図である。 本発明の第２の実施形態における計測範囲の制御の例を示す図であり、（ａ）は計測範囲の大きさを切り替える場合、（ｂ）は計測範囲の位置を切り替える場合である。 本発明の第２の実施形態に係る測定モードの一例である。 有機ＥＬ素子の構造を示す図である。 従来のレンジファインダ装置の構成を示す図である。 図２１における光源の構成の一例を示す図である。 図２１の構成における投射光の分布を示す図である。 図２１の構成における光パタンと計測範囲を示すグラフである。 図２４のグラフから得られた投射光角度と光強度比との関係を示す図である。

符号の説明

１１ 光源アレイ部
１２ 光源制御部
１３ 距離計算部（３次元計測部）
１４ 投光パタン制御部
２０ 投光部

Claims (3)

1. 被写体に光を投射し、その反射光を受けて、前記被写体の３次元位置を測定するレンジファインダ装置であって、
   少なくとも２種類の，被写体空間全体を投射し、かつ、光強度が投射方向に応じて異なる光パタンからなる光パタンの組を投射する投光部と、
   前記投光部から投射される光パタンの組として、投射される光パタンにおける光強度の空間的変化率が異なるものを複数種類準備し、前記投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を可変にする投光パタン制御部とを備えた
   ことを特徴とするレンジファインダ装置。
2. 被写体に光を投射し、その反射光を受けて、前記被写体の３次元位置を測定するレンジファインダ装置であって、
   少なくとも２種類の，被写体空間全体を投射し、かつ、光強度が投射方向に応じて異なる光パタンを投射する投光部と、
   前記投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を可変にする投光パタン制御部とを備え、
   前記投光パタン制御部は、
   通常の投光範囲を有する第１の光パタンの組を投射させる通常測定モードと、
   投光範囲が前記第１の光パタンの組よりも狭い第２の光パタンの組を、複数の方向に投射させる精密測定モードとを有している
   ことを特徴とするレンジファインダ装置。
3. 被写体に光を投射し、その反射光を受けて、前記被写体の３次元位置を測定するレンジファインダ装置であって、
   少なくとも２種類の，被写体空間全体を投射し、かつ、光強度が投射方向に応じて異なる光パタンを投射する投光部と、
   前記投光部から投射される光パタンの組を変化させ、投射される光パタンにおける光強度の空間的変化率を変化させることによって、計測範囲または計測精度を可変にする投光パタン制御部とを備え、
   前記投光パタン制御部は、
   計測当初は、相対的に広い投光範囲を有する第１の光パタンの組を投射させ、
   その後、前記広い投光範囲の中の特定の領域に対して、相対的に狭い投光範囲を有する第２の光パタンの組を投射させる測定モードを有している
   ことを特徴とするレンジファインダ装置。

Images