JP7167708B2 - 距離情報生成装置 - Google Patents

Description

本発明の実施形態は、距離情報生成装置に関する。

測距法として、光を照射してから、当該光が物体に反射して戻ってくるまでの時間（光飛行時間）に基づいて物体との距離を算出するＴＯＦ（Time of Flight）法が知られている。ＴＯＦ法においては、物体からの反射光の光量が不足すると、十分な測定精度が得られない場合がある。

ＴＯＦ法を利用して距離画像を生成する装置において、反射光の光量不足を補うことを目的として、距離画像の各画素について、反射光の光量に対応する電荷量から強度値を算出し、強度値が閾値以下の画素に対して当該画素の過去の強度値を現在の強度値に加算する時系列加算処理を行い、時系列加算処理後の電荷量から距離値を算出する構成が開示されている（特許文献１）。

特開２０１１－１２２９１３号公報

従来技術においては、注目画素の現在の強度値が閾値以下である場合、現在の強度値に過去の強度値を一様に加算する時系列加算処理が行われる。このとき、過去の画素値の有効性を考慮せずに時系列加算処理が行われるため、距離の測定精度を向上させる余地がある。また、従来技術においては、時系列加算処理が距離画像の全画素に対して行われるため、物体が存在しない領域についても処理が行われる。そのため、処理負荷を軽減させる余地がある。

実施形態の距離情報生成装置は、例えば、ＴＯＦ法により測定された物体までの距離に対応する値を画素値とする画像を生成する画像生成部と、画像において物体に対応する物体領域を設定するグルーピング部と、物体領域に含まれる注目画素における現在の画素値と過去の画素値との差に基づいて過去の画素値の有効性を判定する有効性判定部と、有効と判定された過去の画素値を用いて現在の画素値を補正する時系列補正部と、を備える。よって、例えば、距離の測定精度を向上させ、処理負荷を軽減させることができる。

また、実施形態の距離情報生成装置は、例えば、画素値は、物体からの反射光の光量を示す光量値を含み、有効性判定部は、注目画素に対応する現在の光量値と注目画素に対応する過去の光量値との差が閾値より大きい場合に、過去の画素値を無効と判定するものである。よって、例えば、過去の画素値の有効性を考慮した時系列補正を行うことができる。

また、実施形態の距離情報生成装置は、例えば、画素値は、物体までの距離を示す距離値を含み、有効性判定部は、注目画素に対応する現在の距離値と注目画素に対応する過去の距離値との差が閾値より大きい場合に、過去の画素値を無効と判定するものである。よって、例えば、過去の画素値の有効性を考慮した時系列補正を行うことができる。

また、実施形態の距離情報生成装置は、例えば、注目画素の周辺に位置する周辺画素の画素値に基づいて注目画素の画素値を補正する空間フィルタ処理を行うフィルタ部と、注目画素の光量値に基づいて空間フィルタ処理の特徴を示すフィルタ係数を設定する係数設定部と、を更に備える。よって、例えば、注目画素の光量値に応じて適切に空間フィルタ処理を実行することができる。

また、実施形態の距離情報生成装置は、例えば、係数設定部は、注目画素の光量値が小さいほど周辺画素の前記画素値の影響が大きくなるようにフィルタ係数を設定するものである。よって、例えば、注目画素の光量値に応じて適切に空間フィルタ処理を実行することができる。

図１は、実施形態にかかる距離情報生成装置のハードウェア構成の一例を示す図である。 図２は、ＴＯＦ法における位相データの取得方法の一例を説明するためのタイミングチャートである。 図３は、ＴＯＦ法における距離演算方法の一例を説明するためのグラフである。 図４は、実施形態にかかる距離情報生成装置の機能構成の一例を示すブロック図である。 図５は、実施形態に係る距離情報生成装置における全体的な処理の一例を示すフローチャートである。 図６は、実施形態に係る光量画像において物体領域を設定した状態の一例を示す図である。 図７は、実施形態に係る有効性判定処理の一例を示すフローチャートである。 図８は、実施形態に係る光量画像において過去の光量値の有効性を判定する際の状態の一例を示す図である。 図９は、実施形態に係る距離画像において過去の距離値の有効性を判定する際の状態の一例を示す図である。 図１０は、実施形態に係るフィルタ係数設定処理の一例を示すフローチャートである。 図１１は、実施形態に係るフィルタ係数設定処理を実行する際の状態の一例を示す図である。 図１２は、実施形態に係る空間フィルタ処理を実行する際の状態の一例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、実施形態にかかる距離情報生成装置１のハードウェア構成の一例を示す図である。距離情報生成装置１は、所定の基準点から物体までの距離を示す距離情報を生成する装置である。所定の基準点は特に限定されるべきものではないが、例えば、距離情報生成装置１の設置位置等であり得る。距離情報生成装置１は、距離情報を利用するあらゆるシステムや装置において利用され得る。例えば、距離情報生成装置１は、車両の乗員の状態を認識する乗員モニタリングシステム、車両周辺に存在する物体を認識して各種自動制御を行う運転支援システム等に利用され得る。

ここで例示する距離情報生成装置１は、照射装置１１、拡散光学系１２、受光装置１３、集光光学系１４、制御回路１５、及び演算回路１６を含む。

照射装置１１は、所定のパルス幅を有するパルス光である照射光２１を照射する。照射装置１１の具体的構成は特に限定されるべきものではないが、例えばＬＥＤ（Light Emitting Diode）、ＰＷＭ（Pulse Width Modulation）回路等を利用して構成され得る。照射装置１１は、制御回路１５からの発光制御信号に応じて動作する。照射光２１は、拡散光学系１２により拡散され、測距対象となる物体（例えば車内の乗員、車両周辺の物体等）に向けて照射される。

受光装置１３は、外部からの光を光電変換する装置であり、照射光２１が物体に反射された反射光２２の位相データ（アナログ）を生成する。受光装置１３の具体的構成は特に限定されるべきものではないが、例えばフォトダイオード、スイッチング素子、キャパシタ等を利用して構成され得る。反射光２２は、集光光学系１４により集光された状態で受光装置１３に受光される。受光装置１３は、制御回路１５からのシャッター制御信号に応じて動作する。

制御回路１５は、照射装置１１及び受光装置１３を制御する制御信号を生成し、受光装置１３により生成された位相データ（アナログ）をデジタル変換したＲＡＷデータを生成する。制御回路１５の具体的構成は特に限定されるべきものではないが、ＡＳＩＣ（Application Specific Integrated Circuit）、メモリ、各種論理回路等を利用して構成され得る。

演算回路１６は、システム制御、通信制御、距離演算等を行う。演算回路１６は、照射装置１１から照射され受光装置１３により受光された光の飛行時間に基づいて物体までの距離を算出するＴＯＦ法による距離演算を行う。本例では、制御回路１５により生成されたＲＡＷデータに基づいて距離演算を行う。演算回路１６の具体的構成は特に限定されるべきものではないが、例えばプログラムに従って演算処理を行うプロセッサ、ＦＰＧＡ（Field Programmable Gate Array）、メモリ、各種論理回路等を利用して構成され得る。

図２及び図３は、ＴＯＦ法による距離演算方法の一例を示している。図２は、ＴＯＦ法における位相データの取得方法の一例を説明するためのタイミングチャートである。図３は、ＴＯＦ法における距離演算方法の一例を説明するためのグラフである。

図２において、照射光２１と反射光２２との間に位相差φが生じている状態が示されている。また、照射光２１の周期に同期して開閉する４種類のゲートＱｕａｄ１～４の動作が示されている。各ゲートＱｕａｄ１～４の作用により反射光２２の光量に対応する４種類の蓄積電荷ｑ１～ｑ４が取得される。そして、図３に示すように、取得された蓄積電荷ｑ１～ｑ４を実軸と虚軸とからなる座標にプロットすることにより、物体までの距離を示すベクトル情報を取得することができる。

図４は、実施形態にかかる距離情報生成装置１の機能構成の一例を示すブロック図である。本実施形態にかかる距離情報生成装置１は、画像生成部１０１、記憶部１０２、及び補正部１０３を含む。

画像生成部１０１は、ＴＯＦ法により測定された物体までの距離に対応（関連）する値を画素値とする画像を生成する。画像生成部１０１は、物体に反射された光の飛行時間に関する光飛行時間情報（例えば照射光２１と反射光２２との位相差に関する情報等）に基づいて距離を算出する。距離に対応する値とは、例えば、所定の基準点から物体までの距離を示す距離値、受光装置１３により受光された反射光２２の光量を示す光量値等であり得る。本実施形態にかかる画像生成部１０１が生成する画像には、距離値を画素値とする距離画像、及び光量値を画素値とする光量画像が含まれる。画像生成部１０１は、例えば、演算回路１６等をより構成され得る。

記憶部１０２は、画像生成部１０１により生成された画像（距離画像及び光量画像）の画素値（距離値及び光量値）を経時的に記憶（蓄積）する。記憶部１０２により、過去に画素値を読み出すことができる。記憶部１０２は、演算回路１６に含まれるメモリ等により構成され得る。

補正部１０３は、画像生成部１０１により生成された画像の画素値を、過去の画素値を用いて補正する。補正部１０３は、演算回路１６等により構成され得る。

本実施形態にかかる補正部１０３は、グルーピング部１１１、有効性判定部１１２、時系列補正部１１３、フィルタ部１１４、及び係数設定部１１５を含む。

グルーピング部１１１は、画像生成部１０１が生成した画像において、物体に対応する物体領域を設定する。物体領域の具体的な設定手法は特に限定されるべきものではないが、例えば、公知のクラスタリング処理、物体認識処理等を利用して実現され得る。

有効性判定部１１２は、物体領域に含まれる各画素について、過去の画素値の有効性を判定する。有効性判定部１１２は、物体領域に含まれる注目画素における現在の画素値と過去の画素値との差に基づいて、過去の画素値の有効性を判定する有効性判定処理を行う。本実施形態にかかる有効性判定部１１２は、物体領域に含まれない画素については有効性判定処理を行わない。

時系列補正部１１３は、有効性判定部１１２により有効と判定された過去の画素値を用いて現在の画素値を補正する時系列補正処理を行う。時系列補正処理の具体的手法は特に限定されるべきものではないが、例えば、現在の画素値と過去の画素値との加算平均値を求める方法等であり得る。このとき、所定の条件に基づいて過去の画素値に対する重み付けを変化させる手法等を採用してもよい。

フィルタ部１１４は、物体領域に含まれる注目画素の周辺に位置する周辺画素の画素値に基づいて注目画素の画素値を補正する空間フィルタ処理を行う。空間フィルタ処理は、係数設定部１１５により設定されたフィルタ係数に基づいて行われる。フィルタ部１１４は、例えば、時系列補正処理後に、注目画素の光量値に応じて周辺画素の影響度（重み付け）を変えた空間フィルタ処理を行う。空間フィルタ処理は、例えば、光量値から標準偏差値を算出したバイラテラルフィルタ処理であってもよい。このとき、標準偏差値を変更することで、光量値が小さいときには強い補正（周辺画素の影響が大きい補正）を行い、光量値が大きいときには弱い補正（周辺画素の影響が小さい補正）を行うことが好ましい。

係数設定部１１５は、注目画素の画素値に基づいてフィルタ係数を設定する。係数設定部１１５は、例えば、注目画素の光量値が小さいほど周辺画素の影響が大きくなるように、且つ注目画素の光量値が大きいほど周辺画素の影響が小さくなるようにフィルタ係数を設定する。

上記構成によれば、過去の画素値の有効性を考慮して時系列補正処理が行われるため、距離の測定精度を向上させることができる。また、物体領域内の画素についてのみ補正処理が行われるため、処理負荷を軽減させることができる。また、注目画素の画素値に応じて空間フィルタ処理の特性が調整されるため、測定精度を向上させることができる。

図５は、実施形態に係る距離情報生成装置１における全体的な処理の一例を示すフローチャートである。画像生成部１０１が画像（距離画像及び光量画像）を生成すると、グルーピング部１１１は当該画像において物体毎にグルーピング（クラスタリング処理等）を行い、各物体に対応する物体領域を設定する（Ｓ１０１）。

物体領域を設定した後、全ての物体領域を対象として補正処理が開始され、当該補正処理が全ての物体領域について終了するまで繰り返される（Ｓ１０２：ループ３）。ループ３内において、注目している物体領域内の全ての画素を対象として補正処理が開始され、当該補正処理が全ての画素について終了するまで繰り返される（Ｓ１０３：ループ１）。ループ１内において、１つの注目画素について、時系列補正処理が定められた終了回数に達するまで繰り返される（Ｓ１０４：ループ２）。終了回数とは、時系列補正処理において過去の画素値をいくつ使用するかを示す値である。

ループ２内において、注目画素における過去の画素値は有効か否かを判定する処理（有効性判定処理）が行われる（Ｓ１０５）。過去の画素値が有効と判定された場合（Ｓ１０５：Ｙｅｓ）、当該過去の画素値を用いて注目画素の現在の画素値を補正する時系列補正処理が実行される（Ｓ１０６）。一方、過去の画素値が有効でない（無効である）と判定された場合（Ｓ１０５：Ｎｏ）、当該過去の画素値は時系列補正処理に使用されない。

上記のような処理が全ての注目画素に対して行われた後、注目している物体領域内の全ての画素を対象として空間フィルタ処理が開始され、当該空間フィルタ処理が全ての画素について終了するまで繰り返される（Ｓ１０７：ループ４）。ループ４内において、注目画素の画素値に基づいて注目画素毎にフィルタ係数を設定するフィルタ係数設定処理が行われる（Ｓ１０８）。その後、設定されたフィルタ係数に基づいて、注目画素に対して空間フィルタ処理が実行される（Ｓ１０９）。

上記のような処理が全て物体領域について終了したのち、補正後の画像が距離情報として所定のシステムに出力される。

図６は、実施形態に係る光量画像５０１において物体領域５１１，５１２を設定した状態の一例を示す図である。図６において、光量画像５０１内に２つの物体領域５１１，５１２が設定された状態が例示されている。なお、ここでは矩形の物体領域５１１，５１２が例示されているが、物体領域の形状はこれに限られるものではなく、例えば実際の物体の輪郭に沿った形状等であってもよい。また、ここでは光量画像５０１が例示されているが、距離画像においても同様に物体領域が設定される。

図７は、実施形態に係る有効性判定処理の一例を示すフローチャートである。有効性判定部１１２は、注目画素の現在及び過去の光量値を取得し（Ｓ２０１）、両光量値の差が閾値以下であるか否かを判定する（Ｓ２０２）。両光量値の差が閾値以下である場合（Ｓ２０２：Ｙｅｓ）、有効性判定部１１２は、注目画素の現在及び過去の距離値を取得し（Ｓ２０３）、両距離値の差が閾値以下であるか否かを判定する（Ｓ２０４）。そして、有効性判定部１１２は、両距離値の差が閾値以下である場合（Ｓ２０４：Ｙｅｓ）、注目画素の過去の画素値は有効であると判定する（Ｓ２０５）。有効と判定された過去の画素値は、現在の画素値を補正するための時系列補正に使用される。

一方、両光量値の差が閾値以下でない場合（Ｓ２０２：Ｎｏ）又は両距離値の差が閾値以下でない場合（Ｓ２０４：Ｎｏ）には、有効性判定部１１２は、注目画素の過去の画素値は無効であると判定する（Ｓ２０６）。無効と判定された過去の画素値は、時系列補正処理に使用されない。

図８は、実施形態に係る光量画像において過去の光量値の有効性を判定する際の状態の一例を示す図である。図８において、現在の光量画像５０１と、現在の光量画像５０１より以前に生成された第１の過去の光量画像５０１Ａと、第１の過去の光量画像５０１Ａより以前に生成された第２の過去の光量画像５０１Ｂとが例示されている。

ここでは、現在の光量画像５０１内の注目画素５２１の光量値が「２５５」であり、第１の過去の光量画像５０１Ａ内の注目画素５２１Ａの光量値が「２００」であり、第２の過去の光量画像５０１Ｂ内の注目画素５２１Ｂの光量値が「１００」である場合が例示されている。この場合、現在の注目画素５２１の光量値「２５５」と第１の過去の注目画素５２１Ａの光量値「２００」との差は「５５」となる。また、現在の注目画素５２１の光量値「２５５」と第２の過去の注目画素５２１Ｂの光量値「１００」との差は「１５５」となる。このとき、有効性判定処理における閾値を例えば「１００」とすると、第１の過去の注目画素５２１Ａの光量値「２００」は、上記差が「５５」であるため、図８におけるステップＳ２０２において「Ｙｅｓ」と判定される。一方、第２の過去の注目画素５２１Ｂの光量値「５５」は、上記差が「１５５」であるため、図８におけるステップｓ２０２において「Ｎｏ」と判定される。

図９は、実施形態に係る距離画像において過去の距離値の有効性を判定する際の状態の一例を示す図である。図９において、現在の距離画像６０１と、現在の距離画像６０１より以前に生成された第１の過去の距離画像６０１Ａと、第１の過去の距離画像６０１Ａより以前に生成された第２の過去の距離画像６０１Ｂとが例示されている。

ここでは、現在の距離画像６０１内の注目画素６２１の距離値が「５０」であり、第１の過去の距離画像６０１Ａ内の注目画素６２１Ａの距離値が「４０」であり、第２の過去の距離画像６０１Ｂ内の注目画素６２１Ｂの距離値が「２０」である場合が例示されている。この場合、現在の注目画素６２１の距離値「５０」と第１の過去の注目画素６２１Ａの距離値「４０」との差は「１０」となる。また、現在の注目画素６２１の距離値「５０」と第２の過去の注目画素６２１Ｂの距離値「２０」との差は「３０」となる。このとき、有効性判定処理における閾値を例えば「２０」とすると、第１の過去の注目画素６２１Ａの距離値「４０」は、上記差が「１０」であるため、図８におけるステップＳ２０４において「Ｙｅｓ」と判定される。一方、第２の過去の注目画素６２１Ｂの距離値「２０」は、上記差が「３０」であるため、図８におけるステップＳ２０４において「Ｎｏ」と判定される。

図１０は、実施形態に係るフィルタ係数設定処理の一例を示すフローチャートである。係数設定部１１５は、先ず、注目画素の時系列補正処理後の光量値を取得する（Ｓ３０１）。その後、係数設定部１１５は、取得した光量値が小さいほど周辺画素の影響が大きくなるようにフィルタ係数を設定する（Ｓ３０２）。

図１１は、実施形態に係るフィルタ係数設定処理を実行する際の状態の一例を示す図である。図１１において、光量画像５０１の物体領域５１１内に存在する２つの注目画素５２１，５２２が例示されている。ここでは、時系列補正後における第１の注目画素５２１の光量値が「２３０」、第２の注目画素５２２の光量値が「２０」となっている。このような場合、第１の注目画素５２１に対するフィルタ係数は、空間フィルタの強度が比較的弱くなるように（周辺画素の画素値の影響が比較的小さくなるように）設定される。一方、第２の注目画素５２２に対するフィルタ係数は、空間フィルタの強度が比較的強くなるように（周辺画素の画素値の影響が比較的大きくなるように）設定される。

図１２は、実施形態に係る空間フィルタ処理を実行する際の状態の一例を示す図である。図１２において、距離画像６０１の物体領域６１１内に存在する２つの注目画素６２１，６２２が例示されている。距離画像６０１におけるこれらの注目画素６２１，６２２は、図１１に示す光量画像５０１における注目画素５２１，５２２にそれぞれ対応している。ここでは、時系列補正後における第１の注目画素６２１の距離値が「４５」、第２の注目画素６２２の距離値が「３０」となっている。第１の注目画素６２１に対しては、比較的弱い強度の（周辺画素の距離値の影響が比較的小さい）空間フィルタ処理が実行される。第２の注目画素６２２に対しては、比較的強い強度の（周辺画素の距離値の影響が比較的大きい）空間フィルタ処理が実行される。

以上のように、本実施形態に係る距離情報生成装置１によれば、過去の画素値の有効性を考慮して時系列補正処理が行われるため、距離の測定精度を向上させることが可能となる。また、物体領域内の画素についてのみ補正処理が行われるため、処理負荷を軽減させることが可能となる。また、注目画素の画素値に応じて空間フィルタ処理の特性が調整されるため、測定精度を向上させることが可能となる。

なお、上記実施形態においては、時系列処理後のデータに対して空間フィルタ処理を実行する構成を例示したが、空間フィルタ処理は必ずしも実行されなければならないものではない。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…距離情報生成装置、１１…照射装置、１２…拡散光学系、１３…受光装置、１４…集光光学系、１５…制御回路、１６…演算回路、２１…照射光、２２…反射光、１０１…画像生成部、１０２…記憶部、１０３…補正部、１１１…グルーピング部、１１２…有効性判定部、１１３…時系列補正部、１１４…フィルタ部、１１５…係数設定部、５０１，５０１Ａ，５０１Ｂ…光量画像、５１１，５１２，６１１…物体領域、５２１，５２１Ａ，５２１Ｂ，６２１，６２１Ａ，６２１Ｂ…注目画素、６０１，６０１Ａ，６０１Ｂ…距離画像

Claims (5)

1. ＴＯＦ法により測定された物体までの距離に対応する値を画素値とする画像を生成する画像生成部と、
   前記画像において前記物体に対応する物体領域を設定するグルーピング部と、
   前記物体領域に含まれる注目画素における現在の前記画素値と過去の前記画素値との差に基づいて過去の前記画素値の有効性を判定する有効性判定部と、
   有効と判定された過去の前記画素値を用いて現在の前記画素値を補正する時系列補正部と、
   を備える距離情報生成装置。
2. 前記画素値は、前記物体からの反射光の光量を示す光量値を含み、
   前記有効性判定部は、前記注目画素に対応する現在の前記光量値と前記注目画素に対応する過去の前記光量値との差が閾値より大きい場合に、過去の前記画素値を無効と判定する、
   請求項１に記載の距離情報生成装置。
3. 前記画素値は、前記物体までの距離を示す距離値を含み、
   前記有効性判定部は、前記注目画素に対応する現在の前記距離値と前記注目画素に対応する過去の前記距離値との差が閾値より大きい場合に、過去の前記画素値を無効と判定する、
   請求項２に記載の距離情報生成装置。
4. 前記注目画素の周辺に位置する周辺画素の前記画素値に基づいて前記注目画素の前記画素値を補正する空間フィルタ処理を行うフィルタ部と、
   前記注目画素の光量値に基づいて前記空間フィルタ処理の特徴を示すフィルタ係数を設定する係数設定部と、
   を更に備える請求項１～３のいずれか１項に記載の距離情報生成装置。
5. 前記係数設定部は、前記注目画素の光量値が小さいほど前記周辺画素の前記画素値の影響が大きくなるように前記フィルタ係数を設定する、
   請求項４に記載の距離情報生成装置。

Images