JP6773724B2 - 精度情報を出力する測距装置 - Google Patents

Description

本発明は、光の飛行時間に基づき物体までの距離を測定する測距装置に関し、特に精度情報を出力する測距装置に関する。

物体までの距離を測定する測距装置として、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）カメラが公知である。ＴＯＦカメラは、所定周期で強度変調した測定光を測定対象空間に照射し、照射した測定光と測定対象空間の物体からの反射光との間の位相差を検出する位相差方式を採用するものが多い。

斯かるＴＯＦカメラにおいて、至近距離にある物体や非常に高い反射率の物体を撮像した受光素子では、反射光が強過ぎ、サチュレーションが発生して測距不能となることがある。一方で、遼遠の物体や非常に低い反射率の物体を撮像した受光素子では、反射光が弱過ぎ、光強度不足となり測距不能となることがある。測距不能となった場合、典型的なＴＯＦカメラでは、距離を出力する代わりに測距不能を示す特異値を出力する。従って、測距装置の使用者は、ＴＯＦカメラからの出力値が特異値でない場合に出力値を正しい測距値として取扱う。

しかし、ＴＯＦカメラでは、前述した２つの測距不能の場合以外にも、ショットノイズ、暗電流ノイズ、熱雑音等の不可避なランダムノイズ、及びＡ／Ｄ変換による量子化誤差などに起因して測距値にバラツキが発生する。また、物体の移動、周囲光の極端な変化等に起因して測距値の精度が大きく低下する場合もある。斯かる測距異常を判定するため、測定光の発光タイミングに対して所定位相だけ遅延した複数のタイミングで受光素子に電荷を蓄積させ、蓄積した各電荷量の関係を用いる技術が公知である（例えば特許文献１−３）。

特許文献１には、測定光の発光タイミングに対して０°、９０°、１８０°、２７０°の４種の位相差で第１検出信号α、第２検出信号β、第３検出信号γ、第４検出信号δを取得し、第１検出信号αと第３検出信号γとの第１の和Ｗ１と、第２検出信号βと第４検出信号δとの第２の和Ｗ２と、を算出すると共に、第１の和Ｗ１と第２の和Ｗ２との差分ΔＷが設定値Ａ以上である場合には、外光等の外的要因によって正しい位相差の検出及び距離の算出を実行できないと判定する測距装置が開示されている。

特許文献２には、互いに９０°の位相差を有する４つの制御信号Ｃ₁、Ｃ₂、Ｃ₃、Ｃ₄によって取得した電荷量Ｑ₁、Ｑ₂、Ｑ₃、Ｑ₄のうち、Ｑ₁−Ｑ₂とＱ₃−Ｑ₄との関係が菱形状を示すことから、菱形の位置以外の領域に値が発生した場合に、物体、カメラ、背景等の動きに起因してブラーが発生していると判断するブラー処理装置が開示されている。

特許文献３には、Ｈレベル及びＬレベルの２値の継続期間を乱数的に変化させた方形波信号に測定光を変調し、変調信号の非反転信号である第１のタイミング信号、変調信号の反転信号である第２のタイミング信号、変調信号の非反転信号を１チップ長Ｔｃだけ遅延させた第３のタイミング信号、変調信号の反転信号を１チップ長Ｔｃだけ遅延させた第４のタイミング信号の４種類のタイミング信号によって電荷量Ａ０、Ａ１、Ａ２、Ａ３をそれぞれ取得し、Ａ０−Ａ２＝０の条件を満たさない場合に、ショットノイズ等によって物体までの距離が測定可能範囲外であると判断する空間情報検出装置が開示されている。

特開２００９−０７９９８７号公報 特表２０１４−５２８０５９号公報 特開２０１１−０２２０８９号公報

ＴＯＦカメラ自体はノウハウが多いため、ＴＯＦカメラを用いたアプリケーション装置を開発する場合には、ベンダーから購入したＴＯＦカメラを装置に組込むことが多い。アプリケーション装置の開発側は、ＴＯＦカメラが出力する距離画像（各画素の測距値のデータ群）及び光強度画像（照射した測定光（一般に近赤外（ＮＩＲ）光）によって得られる各画素の光強度値のデータ群。所謂、赤外（ＩＲ）画像、ＮＩＲ画像等と呼ばれるもの。）を用いてアプリケーションを作成するものの、距離画像内の全画素の距離データに対して均一にＴＯＦカメラの仕様書等で記載される大きな誤差が含まれる可能性があることを前提にする必要があった。

しかし、前述した通り、ＴＯＦカメラは、測定原理上、ショットノイズ等のランダムノイズの影響を受け、画素毎に且つ撮像毎に（測距毎に）測距値にバラツキが発生する。また、物体移動、外光変化等の外的要因に起因して画素毎に且つ撮像毎に測距値が乱れる場合がある。これらは、仕様書等で記載されるＴＯＦカメラの誤差値を大きくしている要因でもある。

そこで、画素毎に距離の誤差を認識可能にした汎用性の高い測距装置が求められている。

本開示の一態様は、測定対象空間に照射される測定光を発光する発光部と、測定対象空間からの入射光に応じた電荷を蓄積する複数の受光素子と、測定光の発光タイミングに対して９０°ずつ位相が遅延した複数のタイミングで受光素子毎に電荷を蓄積させ、蓄積した各電荷量に基づいて画素毎に観測方向にある物体までの距離を算出する距離算出部と、を備え、算出した距離を出力する測距装置であって、前記複数のタイミングで蓄積した各電荷量をそれぞれＱ ₁ 、Ｑ ₂ 、Ｑ ₃ 、Ｑ ₄ とした場合に、Ｑ ₁ ＋Ｑ ₃ とＱ ₂ ＋Ｑ ₄ の差分を受光強度でスケール調整して画素毎に距離の精度を算出する精度算出部を備え、算出した精度が外部へ出力される、測距装置を提供する。

本開示の一態様によれば、アプリケーションの開発者が、斯かる精度に基づき各距離値の誤差を認識できるようになり、物体検知、形状認識等のアプリケーションの精度向上に役立てることができる。ひいては、汎用性の高い測距装置を提供できる。

一実施形態における測距装置のブロック図である。 測距装置の発光タイミング及び撮像タイミングの一例を示すタイミングチャートである。 各撮像タイミングで取得される電荷量の一例を示す図である。 撮像期間中の物体移動、外光変化等の外的要因に起因した反射光量、受光光量の変化を示す図である。 物体移動、外光変化等に応じた電荷量の変化を示す図である。 ランダムノイズ、量子化誤差等の影響による同一測距点の測距値のバラツキを示すヒストグラムである。 撮像画素の配置に対応した各画素の精度データの配列を示す図である。 特異値を出力した距離データを示す図である。 距離のバラツキを示すグラフである。 精度に基づく距離補正の一例を示す表である。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

図１は、本実施形態における測距装置１０のブロック図である。測距装置１０は、例えば位相差方式により物体Ｏまでの距離を測定するＴＯＦカメラであり、測定対象空間に照射される測定光Ｌ１を発光する発光部１１と、測定対象空間からの入射光Ｌ２を受光する受光部１２と、測定対象空間の物体Ｏまでの距離を算出する距離算出部１３と、を備えている。

発光部１１は、例えばＮＩＲ光を発光する発光ダイオード（ＬＥＤ）、半導体レーザ（ＬＤ）等の光源で構成され、発光・撮像タイミング制御部１４からの発光タイミング信号に基づいて所定周期で強度変調した測定光Ｌ１を発光する。変調した測定光Ｌ１は、正弦波でも矩形波でもよい。測定光Ｌ１は、拡散板１５によって拡散され、測定対象空間に照射される。

受光部１２は、例えばＮＩＲフィルタを設けたＣＣＤ、ＣＭＯＳ等のイメージセンサで構成され、集光レンズ等を含む光学系１６を介して入射光Ｌ２を受光する。入射光Ｌ２は、物体Ｏで反射した測定光に加え、外光も含む。受光部１２は、入射光Ｌ２に応じて電荷を蓄積する複数の受光素子１７を有しており、１つの受光素子１７が１つの画素に相当する。受光素子１７は、例えばフォトダイオード、コンデンサ等で構成され、発光・撮像タイミング制御部１４からの撮像タイミング信号に基づき測定光Ｌ１の発光タイミングに対して所定位相だけ遅延した複数の撮像タイミングで所定の撮像期間に亘って電荷を蓄積する。

図２は、測距装置１０の発光タイミング及び撮像タイミングの一例を示すタイミングチャートである。受光素子１７は、例えば測定光Ｌ１の発光タイミングに対してそれぞれ０°、９０°、１８０°、２７０°だけ位相をずらした４種の撮像タイミングで電荷Ｑ₁〜Ｑ₄を蓄積する。本実施形態では、空間解像度の向上を優先し、１つの受光素子１７で撮像タイミングを分けてＱ₁〜Ｑ₄を順番に、即ち直列的に取得していく。発光パルスの周期Ｔｐは、測距装置１０の測距レンジに応じて予め定まり、典型的に数十ｎｓ前後である。例えば測距レンジが１０ｍであれば、１０ｍ＝ｃ×Ｔｐ／２（ｃは光速（３×１０⁸ｍ／ｓ）である。）からＴｐは６７ｎｓとなる。１回の撮像では十分な電荷が得られないため、斯かる撮像を数千回連続で繰返し、適度な電荷を溜めてＱ₁〜Ｑ₄が得られる。従って、Ｑ₁〜Ｑ₄を取得する撮像期間には、数ｍｓを要する。

図３は、各撮像タイミングＥｔ１〜Ｅｔ４で取得される電荷量Ｑ₁〜Ｑ₄の一例を示す図である。測定光Ｌ１が変調周期Ｔｐで強度変調され、入射光Ｌ２が測定光の発光タイミングに対して位相差Ｔｄを有しているとする。誤差の無い理想的な撮像では、電荷量Ｑ₁〜Ｑ₄が、４つの撮像タイミングＥｔ１−Ｅｔ４の位相関係から公知の下記式の関係を有することとなる。ここで、Ｄは第１電荷量Ｑ₁及び第３電荷量Ｑ₃の和と、第２電荷量Ｑ₂及び第４電荷量Ｑ₄の和との差分である。

図１を再び参照すると、受光部１２は、発光・撮像タイミング制御部１４からの発光タイミング信号及び撮像タイミング信号によって規定回数の発光及び撮像を終えた後、受光部１２に蓄えられた電荷量Ｑ₁〜Ｑ₄の電圧値を増幅部２０で増幅し、Ａ／Ｄ変換部２１でＡ／Ｄ変換した値をバッファメモリ２２に記憶する。

サチュレーション判定部２３は、バッファメモリ２２に記憶された各電荷量Ｑ₁〜Ｑ₄の読出し値が１つでも規定値を超える場合、サチュレーション発生と判定し、判定結果を画素毎に且つ撮像毎に距離算出部１３に出力する。

光強度算出部２４は、バッファメモリ２２に記憶された各電荷量Ｑ₁〜Ｑ₄の読出し値に基づいて画素毎に且つ撮像毎に受光強度Ｉを算出する。受光強度Ｉは、例えば公知の下記式から算出される。算出した光強度データは、バッファメモリ２８に記憶される。

受光強度Ｉが規定値を下回る場合、光強度不足判定部２５は、光強度不足と判定し、判定結果を画素毎に且つ撮像毎に距離算出部１３に出力する。なお、光強度不足の判定には、バッファメモリ２２に記憶した各電荷量Ｑ₁〜Ｑ₄の読出し値がいずれも規定値を下回るか否かで行う手法もある。

さらに、図４に示すように、撮像期間中の物体移動、外光変化等の外的要因に起因して反射光量、受光光量が変化してしまう場合がある。図５は、撮像タイミングＥｔ２〜Ｅｔ４の撮像において、物体移動、外光変化等によって物体からの反射光量、受光光量が増加し、電荷量Ｑ₂〜Ｑ₄が変化した様子を示す図である。

また、測距装置１０は、測定原理上、ランダムノイズ、Ａ／Ｄ変換による量子化誤差等、各電荷量Ｑ₁〜Ｑ₄及びその読出し値が異なる影響を受けることによって、測距値にはランダム性のあるバラツキが発生する。図６は、ランダムノイズ、量子化誤差等の影響による同一測距点の測距値のバラツキを示すヒストグラムである。

そこで、本実施形態に係る測距装置１０は、図１に示すように、誤差の無い理想的な撮像における各電荷量の関係と、実際に取得した各電荷量Ｑ₁〜Ｑ₄の関係に基づき、画素毎に且つ撮像毎に距離の精度を算出する精度算出部２６を備えている。精度算出部２６は、図１に示す他の算出部と同様に、例えば電算機のＣＰＵ（中央処理装置）等のプロセッサを機能させるためのソフトウェアとして構成可能である。或いは例えば、当該ソフトウェアの処理の少なくとも一部を実行可能なプロセッサ等のハードウェアとして実現可能である。

精度算出部２６は、例えば下記式から精度Ｐを算出する。ここで、Ｄは前述した第１電荷量Ｑ₁及び第３電荷量Ｑ₃の和と第２電荷量Ｑ₂及び第４電荷量Ｑ₄の和との差分であり、Ｉは前述した受光強度であり、ｈは補正係数であり、百分率化などにも使用される。ｅは構造誤差、部品特性、温度特性、経年変化、環境条件等から見込まれる他の誤差（即ち、マージン）である。ｅについては、ここで加算せず、測距装置１０の仕様として明記し、測距装置の使用者側で必要に応じて加算してもよい。

差分Ｄのスケールは撮像環境の明暗に応じて変動するため、精度Ｐにおいて、差分Ｄが受光強度Ｉに応じてスケール調整されている。また、ｅは０より大きい定数として予め規定される。理想とする各電荷量の関係では、差分Ｄが０であるため、精度Ｐが０に近くなれば精度は高く、精度Ｐが０から遠くなれば精度が低くなる異常度として表される。他の実施形態では、精度Ｐは正常度として表されてもよい。精度Ｐは百分率として算出されてもよい。算出した精度データは、バッファメモリ２８に記憶される。

図７は、撮像画素の配置に対応した各画素の精度データの配列を示す図である。斯かる精度データによれば、サチュレーション、光強度露光不足だけでなく、ランダムノイズ、物体移動、外光変化等が発生した画素においても、精度が低いことを認識できる。即ち、アプリケーションの開発者は、斯かる精度データに基づいて画素毎に且つ撮像毎に誤差を認識できるようになり、物体検知、形状認識等を行うアプリケーションの精度向上に役立てることができる。具体的なアプリケーションとしては、人の動線検知、ジェスチャ認識、入退場者カウントなどを挙げることができる。

測距装置１０はさらに、精度Ｐが規定の精度を満たさない場合に精度不良と判定し、判定結果を画素毎に且つ撮像毎に距離算出部１３に出力する精度判定部２７を備えている。精度不良か否かは、例えば下記式から判定される。ここで、ｋは０より大きい定数として予め定められる。

距離算出部１３は、バッファメモリ２２に記憶された各電荷量Ｑ₁〜Ｑ₄の読出し値に基づいて画素毎に且つ撮像毎に観測方向にある物体までの距離を算出する。距離Ｌは、例えば公知の下記式から算出される。ここで、Ｔｄは前述した位相差であり、ｃは前述した光速であり、ｆは周波数である。

また、距離算出部１３は、前述した３つの判定部、即ち、サチュレーション判定部２３、光強度不足判定部２５、及び精度判定部２７から出力された判定結果を受け、距離Ｌの代わりにサチュレーションを示す特異値（例えば９９９９）、光強度不足を示す特異値（例えば９９９８）、及び精度不良を示す特異値（例えば９９９７）を出力する。なお、距離算出部１３は、斯かる判定結果に基づき特異値を出力する場合、距離Ｌの算出処理を省略してもよい。特異値を出力した距離データは、バッファメモリ２８に記憶される。

図８は、特異値を出力した距離データを示す図である。斯かる距離データによれば、精度不良の場合には距離Ｌの代わりに精度不良を示す特異値（９９９７）が出力されるため、誤った距離Ｌが出力されなくなる。また、アプリケーションの開発者は、斯かる特異値に基づき、新たに加わった測距不能の種別（ランダムノイズ、物体移動、外光変化、Ａ／Ｄ変換による量子化誤差等に起因する測距不能）を特定できるようになる。

図１を再び参照すると、出力制御部２９は、バッファメモリ２８に記憶された３つのデータ、即ち、光強度データ、距離データ、及び精度データに基づき、光強度画像データ、距離画像データ、精度画像データをアプリケーション３０に出力する。

測距装置１０はさらに、バッファメモリ２８に記憶された精度データ及び距離データに基づいて距離Ｌを補正する距離補正部３１を備えていてもよい。距離補正部３１は、精度不良を示す画素を中心画素として、平均化フィルタ、メディアンフィルタ等の画像処理を行い、距離を補正してもよい。或いは、距離補正部３１は、例えば１画素における複数回の測距値、又は、近傍の複数画素における複数の測距値に対して、それぞれ精度の逆数を重み付けした加重平均を算出し、距離を補正してもよい。

図９は距離のバラツキを示すグラフであり、図１０は精度に基づく距離補正の一例を示す表である。図９には、１０００ｍｍ先にある物体を撮像した１画素における１０回の測距値、又は、近傍の１０画素における１０個の測距値のバラツキの様子、並びに各測距値の精度（図下側の％で示された数値）から予想される各距離値の最大値と最小値が示されている。また、図１０には、図９に示す測距値が示されている。このとき、距離補正部３１は、各測距値に対して、それぞれ精度の逆数を重み付けした加重平均を算出し（１０００．０２９ｍｍ）、１画素の距離又は１０画素の距離を加重平均で補正する。

斯かる例では、偶発的に小さい測距値が２個（９８０ｍｍ、９７０ｍｍ）含まれているため、その影響を受けて単純平均は、約９９６ｍｍと小さくなってしまう。これに対して、精度の逆数に重み付けした加重平均は、約１０００ｍｍとなるため、精度の低い測距値の影響を低減できる。即ち、バラツキの少ない高精度な距離を取得できる。

斯かる実施形態によれば、アプリケーション３０の開発者は、より高精度な距離値を取得することが可能になり、アプリケーションの物体検知、形状認識等の精度向上に繋がる。また、アプリケーション３０側の高精度化に関する処理が簡素化される。ひいては、汎用性の高い、また、より高精度な測距装置１０を提供できる。

本明細書において種々の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１０ 測距装置
１１ 発光部
１２ 受光部
１３ 距離算出部
１４ 発光・撮像タイミング制御部
１５ 拡散板
１６ 光学系
１７ 受光素子
２０ 増幅部
２１ Ａ／Ｄ変換部
２２ バッファメモリ
２３ サチュレーション判定部
２４ 光強度算出部
２５ 光強度不足判定部
２６ 精度算出部
２７ 精度判定部
２８ バッファメモリ
２９ 出力制御部
３０ アプリケーション
３１ 距離補正部
Ｏ 物体
Ｌ１ 測定光
Ｌ２ 入射光
Ｑ₁〜Ｑ₄ 第１電荷〜第４電荷
Ｅｔ１〜Ｅｔ４ 撮像タイミング

Claims (5)

1. 測定対象空間に照射される測定光を発光する発光部と、前記測定対象空間からの入射光に応じた電荷を蓄積する複数の受光素子と、前記測定光の発光タイミングに対して９０°ずつ位相が遅延した複数のタイミングで前記受光素子毎に電荷を蓄積させ、前記蓄積した各電荷量に基づいて画素毎に観測方向にある物体までの距離を算出する距離算出部と、を備え、算出した前記距離を出力する測距装置であって、
   前記複数のタイミングで蓄積した各電荷量をそれぞれＱ ₁ 、Ｑ ₂ 、Ｑ ₃ 、Ｑ ₄ とした場合に、Ｑ ₁ ＋Ｑ ₃ とＱ ₂ ＋Ｑ ₄ の差分を受光強度でスケール調整して画素毎に前記距離の精度を算出する精度算出部を備え、算出した前記精度が外部へ出力されることを特徴とする測距装置。
2. 前記複数のタイミングは、前記発光タイミングに対して、０°、９０°、１８０°、２７０°の４種のタイミングである、請求項１に記載の測距装置。
3. さらに、前記精度が規定の精度を満たさない場合に精度不良と判定する精度判定部を備え、前記距離算出部は前記精度不良と判定された画素について前記距離の代わりに前記精度不良を示す特異値を出力する、請求項１又は２に記載の測距装置。
4. 前記特異値は、前記電荷を蓄積する間に発生した、ランダムノイズ、物体移動、外光変化、及びＡ／Ｄ変換による量子化誤差のうち少なくとも１つに起因する精度不良を示す、請求項３に記載の測距装置。
5. さらに、前記精度に基づいて前記距離を補正する距離補正部を備える、請求項１から４のいずれか一項に記載の測距装置。