JP7178577B2 - マルチパス除去方法および測距装置 - Google Patents

Description

本開示は、光を用いて物体までの距離を測定する距離測定方法および測距装置に関する。

特許文献１は、距離情報において、背景を正確に設定して誤検知の発生を抑えた物体検出システムを開示する。

特許文献２は、マルチパスを検出するための処理負荷を軽減することができる距離情報取得装置を開示する。

特開２０１９－１４４２１０号公報 国際公開第２０１９／１８８３４８号

特許文献１、特許文献２の方法では、背景距離を撮像によって生成する際に距離画像にノイズが重畳する場合、あるいはカメラが移動する場合、あるいは背景撮像時に測距範囲に存在していた物体が移動した場合に、距離画像の精度が悪化するという課題がある。

本開示は、マルチパスに由来する虚像による画質劣化を抑制するマルチパス除去方法および測距装置を提供する。

本開示の一態様におけるマルチパス除去方法は、撮影空間内の背景の距離を推定する背景距離推定ステップと、画素毎に反射光の受光量に関する情報を保持した輝度画像あるいは画素毎に物体までの距離の情報を保持した距離画像を取得する撮影ステップと、前記輝度画像あるいは前記距離画像において、前記背景距離推定ステップで推定した推定背景距離より遠い物体を撮像した画素の値を更新する画素値決定ステップと、を有し、前記背景距離推定ステップは、カメラの撮影条件に関するパラメータを用いて算出する。

本開示の一態様における測距装置はＴＯＦ方式による測距装置であって、光源と、複数の画素を有する撮像素子と、前記光源の発光タイミングと前記撮像装置の露光タイミングとを制御する発光露光制御部と、画素毎に反射光の受光量に関する情報を保持した輝度画像あるいは画素毎に前記物体までの距離の情報を保持した距離画像を生成する信号処理部と、撮影空間内の背景の距離を推定背景距離として推定し、前記推定背景距離より遠い物体を撮像した画素の値を更新するマルチパス除去部と、を備える。

本開示におけるマルチパス除去方法は、マルチパスに由来する虚像による画質劣化を抑制することができる。

図１は、実施の形態１における距離画像生成装置の構成を示す図である。 図２は、実施の形態１における距離画像生成装置の光源の発光制御および撮像素子の露光制御を説明するタイミングチャートである。 図３は、実施の形態１におけるマルチパス除去部の処理における背景距離推定方法を説明するための、撮像素子とマルチパス除去処理の対象範囲との相対位置を含む空間の図である。 図４は、実施の形態１におけるマルチパス除去部の処理を説明するためのフローチャートである。 図５は、実施の形態１におけるマルチパス除去部の処理に含まれる推定背景距離を最も近い実測距離値に一致させる処理を説明するためのフローチャートである。 図６は、実施の形態１における距離画像の各画素に対する推定背景距離を説明するグラフである。 図７は、実施の形態１における距離画像の各画素に対する推定背景距離を最も近い実測距離値に一致させた値を説明するグラフである。 図８は、実施の形態１におけるマルチパス除去部の処理に含まれる推定背景距離修正方法を説明するためのフローチャートである。 図９は、実施の形態１における距離画像内のサブレンジ境界を探索した例を模式的に示す図である。 図１０は、実施の形態１における画素値決定方法を説明するためのフローチャートである。 図１１は、実施の形態１における画素値決定方法がマルチパスに由来する像を除去することを説明する図である。 図１２は、実施の形態１における距離画像生成装置が出力した距離画像の例を示す図である。 図１３は、実施の形態２におけるマルチパス除去部の処理に含まれる推定背景距離修正方法を説明するためのフローチャートである。 図１４は、実施の形態２におけるマルチパス除去部の処理に含まれる分割点探索方法を説明するためのフローチャートである。 図１５は、実施の形態２における距離画像の測距範囲内の距離値を有する点群の密度に基づいて推定背景距離を更新する方法について説明する図である。

以下、図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が必要以上に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

（実施の形態１）
以下、図１～図１２を用いて、実施の形態１を説明する。

図１は、実施形態に係る距離画像生成装置１の構成を示すブロック図である。

同図での距離画像生成装置は、ＴＯＦ方式による測距装置であり、発光露光制御部１０１、光源１０２、投射光学系１０３、受光光学系１０４、撮像素子１０５、設定部１０６、信号処理部１０７、及びマルチパス除去部１０８を備える。

発光露光制御部１０１は、光源１０２に発光を指示する発光パルスを有する発光制御信号と、撮像素子１０５に露光を指示する露光パルスを有する露光制御信号とを生成する。

光源１０２は、半導体レーザ光源であり、発光制御信号の発光パルスに従ってたとえば赤外光を発する。距離画像生成装置１が市街地等で使用される場合、光源１０２から発せられる投射光の強度は、あらかじめ定められた安全基準を満たすように設定される。なお、光源１０２は、ＬＥＤ光源やハロゲンランプ等、他の光源でもよい。投射光の波長は、赤外光の波長以外でもよく、複数の波長帯域の光が混ざることにより投射光が生成されてもよい。

投射光学系１０３は、光源１０２から出射された投射光をほぼ平行光に変換し測距範囲に投射する。投射光学系１０３は、１つのレンズにより構成される。なお、投射光学系１０３は、複数のレンズあるいは凹面ミラー等を含んでもよい。

投射光が、測距範囲に存在する物体に投射されると、投射光は物体によって反射され、反射された投射光は反射光として距離画像生成装置に戻る。受光光学系１０４は、撮像素子１０５の受光面に反射光を集光させる。

なお、受光光学系１０４と撮像素子１０５との間に、投射光の波長帯域を透過させ、その他の波長帯域の光を遮断するフィルタが配置されてもよい。これにより、反射光以外の不要光が撮像素子１０５に入射することを抑制できる。

撮像素子１０５は、受光面に配置された複数の画素により反射光を受光して、受光に応じた信号を出力する。各画素には、アバランシェフォトダイオードが配置されている。各画素には、他の光検出素子が配置されてもよい。各画素は、反射光を受光する露光状態と、反射光を受光しない非露光状態とを切り替え可能に構成されている。撮像素子１０５は、露光状態において各画素で受光した反射光に基づく検出信号を出力する。

設定部１０６は、カメラパラメータの設定を受け付け、マルチパス除去部１０８へ送信する。設定部１０６は、たとえばキーボードやマウスなどの入力部、及びディスプレイ等に表示された入力画面等である。使用者は、設定部１０６を操作することにより、事前に測定しておいたカメラパラメータを入力することができる。入力したカメラパラメータはマルチパス除去部１０８へ送信され、カメラパラメータの設定値として記憶される。なお、設定部１０６はカメラパラメータの測定センサを含み、カメラパラメータを自動で測定し、マルチパス除去部１０８へ送信するようにしてもよい。カメラパラメータはマルチパス除去部１０８において、推定背景距離を算出するために十分なものであって、たとえば物体のマルチパスに由来する像（虚像）が平坦な床面に写り、前記虚像を除去する場合には、受光光学系１０４の水平画角と垂直画角、カメラの設置高さ、カメラのピッチ角である。このように、カメラパラメータは、マルチパスに由来する虚像が想定される平面または曲面を示す。

なお、設定部１０６は、測距範囲を設定するためにも用いてよい。

信号処理部１０７は、撮像素子１０５の各画素から出力される検出信号を処理し、画像データを生成する。たとえば、信号処理部１０７は、各画素から出力された検出信号を各画素の位置に対応付けた画像データを生成する。

マルチパス除去部１０８は、信号処理部１０７で生成された画像データの各画素に対応する情報において、背景の推定距離を算出し、虚像の情報が記憶されているかどうか判定し、虚像の情報が記憶されていると判定した場合はその画素に対応する値を除去つまり測距範囲外の値に更新する。なお、虚像の情報が記憶されていると判定した画素は、推定背景距離と同じ値になるように更新してもよい。

図２は、距離画像生成装置の光源の発光制御及および撮像素子の露光制御を説明するタイミングチャートである。図２には、測距範囲をｎ個の距離範囲に分割して測距する場合が示されている。ｎは１以上の整数とする。また、各距離範囲に対応する画像データを時系列に沿って取得するために、連続する複数のフレームが時間軸上に設定される。各フレームの時間幅は同一である。また、一つのフレームには、距離範囲の数に応じた区間（サブレンジ）が設定されている。図２に示す例では、各フレームにｎ個のサブレンジが設定されている。ここでは各区間の時間幅は同一とするが、必ずしも同一でなくともよい。

図２の発光信号は、発光露光制御部１０１からの指示に応じて光源１０２に入力される駆動信号を示している。駆動信号がハイレベルのときに、光源１０２が駆動され、光源１０２から投射光が出射される。駆動信号がローレベルにあるとき、光源１０２が停止され、光源１０２から投射光は出射されない。

発光露光制御部１０１は、各サブレンジの開始から、駆動信号を発光期間の時間幅ΔＴだけハイレベルに立ち上げる。なお、設定部１０６が測距範囲の設定を受け付けた場合、この設定に基づいて発光タイミングが設定される。

対象となる距離範囲に物体が存在する場合、物体からの反射光が撮像素子１０５の受光面に集光される。ここで、物体の像が投影される撮像素子１０５の画素には、物体までの距離に応じた遅延時間で反射光が入射する。すなわち、反射光は、発光タイミングから、物体までの距離に応じた時間だけずれた受光タイミングにおいて受光される。発光露光制御部１０１は、対象となる距離範囲からの反射光のみが各画素において受光されるよう、全画素の露光状態を以下のように制御する。

図２の露光信号は、発光露光制御部１０１からの指示に応じて制御する画素の露光タイミングを示している。この波形がハイレベルに立ち上がった期間において、撮像素子１０５の各画素が露光状態となる。例えば、サブレンジ＃ｉ（ｉは１からｎの整数）における発光信号の立ち上がりタイミングから露光信号の立ち上がりタイミングまでの時間差は、ｉ×ΔＴａである。ΔＴａ＝ΔＴであってもよい。例えば、ΔＴａ＝ΔＴ＝１０ナノ秒である場合には、サブレンジ＝１は０ｍから１．５ｍまでの距離範囲に対応する。サブレンジ＃ｉは、１．５×（ｉ－１）から１．５×ｉまでの距離範囲に対応する。なお、設定部１０６が測距範囲の設定を受け付けた場合、この設定に基づいて露光タイミングが設定される。

上記のように発光期間及び露光期間が設定されると、各露光期間において、設定された距離範囲からの反射光のみが撮像素子の各画素によって受光される。そして、信号処理部１０７は、各画素から出力された検出信号に基づいて、各サブレンジにおいて画像データを生成し、一つのフレーム内で一つ以上のサブレンジの画像を合成し、距離画像として出力する。複数のサブレンジの画像の合成は、例えば同じ画素に対応する位置において、受光強度が最大となるサブレンジに対応する距離値を格納することで行う。尚、他の方法で距離画像を生成してもよい。

図３は、撮像素子１０５と、測距範囲に含まれる背景であり、マルチパス除去処理の対象とする平面範囲である対象範囲２０１との相対関係を含む世界座標系の空間を説明する図である。なお、対象範囲２０１は、撮像素子１０５との間にある物体によって遮られ、測距されない部分範囲を包含していてもよい。なお、座標（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）は、カメラ座標系を示す。実施の形態１は、例として対象範囲を水平な床面の一部とする。なお、対象範囲は床面でなく、壁や天井の平たい面であってもよい。距離画像生成装置１は対象範囲２０１、ここでは床面に対して平行に移動してもよく、前記カメラパラメータは前記平行移動に影響されない。従って、たとえば平坦な路面を走行する自動車に設置するといった、距離画像生成装置１が平行移動することを前提とした実施をしてもよい。マルチパス除去部１０８は、背景距離推定ステップにおいて、画素毎に対応する対象範囲２０１内の対応点２０２の座標（ｘ、ｙ、ｚ）を推定して推定背景距離ｄを算出する。前記対象範囲２０１の算出及び対応点２０２の算出は、三角関数を用いた方法で計算する。

図４は、マルチパス除去部１０８における処理を説明するフローチャートである。マルチパス除去部１０８は、設定部１０６から受け付けたカメラパラメータを記憶するカメラパラメータ設定ステップＳ１と、前記カメラパラメータを利用して推定背景距離を算出する背景距離推定ステップＳ２と、推定背景距離を修正する推定背景距離修正ステップＳ３と、推定背景距離と実測距離の比較により画素値を決定する画素値決定ステップＳ４と、を実行する。

図５は、背景距離推定ステップＳ２を説明するフローチャートである。処理は画素毎に行う。図５は、例として１画素ごとの逐次処理のフローチャートを示しているが、複数画素を並列に処理してもよい。注目画素の対応点２０２を推定し（Ｓ２０１）、対応点２０２と撮像素子１０５との距離、たとえばユークリッド距離の定義における距離を算出する（Ｓ２０２）。なお、前記対応点２０２と撮像素子１０５間との距離は、マンハッタン距離等他の距離定義で算出してもよい。次に、すべての画素の実測距離のうち最も近い実測距離を注目画素の推定背景距離ｄとして更新する（Ｓ２０３）。

実施の形態１において、図５に示す方法におけるステップＳ２０３を実行しない場合には、画素毎に算出する推定背景距離ｄが取りうる値は、実測距離が取りうる値よりも多いため、対象範囲２０１の像が除去される画素と除去されない画素が発生する。図５に示す方法によれば、推定背景距離ｄの取りうる値を実測距離に一致させることで、対象範囲２０１の像を除去する画素を減少させることが可能になる。なお、対象範囲２０１の像を除去することが好ましい場合にも、対象範囲２０１の像が除去されない画素を減少させることが可能になる。なお、Ｓ２０３は実行しなくてもよい。

図６は、対象範囲２０１を床面に含まれる領域としたときの、画像内位置と、ステップＳ２０３を実行しない場合の推定背景距離ｄの３次元プロットを示すグラフである。同図の座標（ｕ、ｖ）は、画像内位置、つまり撮像素子１０５の二次元画像の座標系を示す。同図において推定背景距離ｄの集合は、１平面または１曲面を構成する。

図７は、対象範囲２０１を床面に含まれる領域としたときの、画像内位置と、ステップＳ２０３を実行した場合の推定背景距離の３次元プロットを示す。同図において推定背景距離ｄの集合は、階段状の複数平面を構成する。

図８は、推定背景距離修正ステップＳ３を説明するフローチャートである。距離画像において、サブレンジの境界に対応する画素を探索する（Ｓ３０１）。サブレンジ境界の探索は、たとえば対象範囲が水平な床面の一部である場合、サブレンジ境界は画像内に水平に現れるため、微分フィルタを用いてエッジ強調を行い、ハフ変換を用いて直線抽出したのち、水平な直線を選択してサブレンジ画像と推定する方法で実行することが可能である。なお、エッジ強調はラプラシアンフィルタ等の他の方法で実行してもよく、直線抽出は、ハフ変換以外の方法で実行してもよい。また、サブレンジ境界は直線抽出以外の方法で探索されてもよい。探索したサブレンジ境界に対応するすべての画素において、推定背景距離と実測距離の差を算出し、算出した差をサブレンジ境界に対応するすべての画素について積算し、積算値を評価値とする（Ｓ３０２）。評価値が事前に決定した閾値以上である限り（Ｓ３０３でｎｏ）、カメラパラメータを更新し（Ｓ３０４）、背景距離推定ステップＳ２を実行する処理をループする。

サブレンジに対応する距離範囲は厚みを有するため、同じサブレンジ画像における像の実際の距離値が近似されて実測距離値として保存される。したがって近似誤差が発生しやすいがサブレンジ境界によれば、厚みによる近似の影響が小さいため、推定背景距離の修正を行う際の評価値として選択され得る。

図９は、前記サブレンジ境界探索ステップＳ３１においてサブレンジ境界を探索した結果の距離画像の例を模式的に示す図である。距離画像３０１は、サブレンジ境界を、直線２０３ａ、直線２０３ｂ、・・・、直線２０３ｆとして示した例である。図中の同じハッチング部分は同じ距離を示す。

図１０は、画素値決定ステップＳ４を説明するフローチャートである。処理は画素毎に行う（Ｓ４０５、Ｓ４０６）。注目画素において、推定背景距離が実測距離よりも遠い場合に（Ｓ４０１でｙｅｓ）、実測距離を画素値として決定し（Ｓ４０２）、推定背景距離が実測距離と同じあるいは近い場合に（Ｓ４０１でｎｏ）、測距範囲外の値を画素値として決定し（Ｓ４０３）、ステップＳ４０２またはＳ４０３で決定された画素値を保存する（Ｓ４０４）。

図１１は、画素値決定ステップＳ４がマルチパスに由来する像を除去することを説明する図である。マルチパスに由来する像は、光源１０２から出射された投射光が物体によって反射され、床面によってさらに反射して反射光として撮像素子１０５に到達した場合に現れる。したがってマルチパスに由来する像は、反射光が物体から床面を経由せずに撮像素子１０５に到達する場合に比べて長い光路を経て撮像され、実測距離がより遠くなる。例えば、対象物の端部２００ａの実測距離は、床面の対象範囲２０１内の対応点２０２ａよりも近くなる。一方、マルチパスに由来する虚像の端部２００ｂの実測距離は、床面の対象範囲２０１内の対応点２０２ｂよりも近くなる。

したがって画素値決定ステップＳ４は、マルチパスに由来する像を除去する。

図１２は、前記マルチパス除去部１０８の処理を実行する前後の距離画像の例である。マルチパス除去前画像３０２には、画面左に撮像された人の足下から、同じ人のマルチパスに由来する虚像２０４が床面を鏡とする鏡像のように写っている。一方、マルチパス除去処理後画像３０３は、虚像が除去されている。

本実施形態では、距離画像から虚像を除去する方法について述べたが、虚像の除去対象とする画像が、１つ以上のサブレンジの画像の受光量に関する情報を格納した輝度画像からマルチパスを除去してもよい。輝度画像を対象とする場合は、実測距離は、輝度画像を取得したサブレンジが対応する距離の代表値を採用し得る。また、画素値決定ステップＳ４におけるＳ４０２では、実測距離ではなく実測の受光量に関する情報を画素値として決定し、Ｓ４０３では、測距範囲外の値ではなく、受光が行われなかったことを示す情報を画素値として決定し得る。

以上説明してきたように実施の形態１に係るマルチパス除去方法は、撮影空間内の背景の距離を推定する背景距離推定ステップと、画素毎に反射光の受光量に関する情報を保持した輝度画像あるいは画素毎に物体までの距離の情報を保持した距離画像を取得する撮影ステップと、前記輝度画像あるいは前記距離画像において、前記背景距離推定ステップで推定した推定背景距離より遠い物体を撮像した画素の値を更新する画素値決定ステップと、を有し、前記背景距離推定ステップは、カメラの撮影条件に関するパラメータを用いて算出する。

たとえば、前記撮影ステップにおいて、測距範囲を一つ以上の区分距離であるサブレンジに分割し、前記サブレンジのそれぞれに対応する距離値を画素毎に記憶することで前記距離画像を取得し、前記背景距離推定ステップは、前記パラメータから前記推定背景距離を算出するステップと、前記一つ以上のサブレンジ内、互いに隣接するサブレンジの間のサブレンジ境界に対応する画素を探索し、前記サブレンジ境界に対応する画素を参照して実測距離と前記推定背景距離の誤差が小さくなるようにパラメータを更新するステップと、を１回以上繰り返し実行してもよい。

たとえば、前記背景距離推定ステップにおいて、前記推定背景距離を、すべての画素の実測距離のうち最も近い値に一致するように更新してもよい。

たとえば、前記背景距離推定ステップにおいて、前記推定背景距離が変化する境界の画素を通る曲線の集合として記憶し、前記画素値決定ステップは、前記曲線の集合を参照して前記実測距離と前記推定背景距離の遠近判定を行ってもよい。

たとえば、前記パラメータは、マルチパスに由来する虚像が想定される平面または曲面を示してもよい。

たとえば、前記パラメータは、前記カメラの水平画角と、前記カメラの垂直画角、前記カメラの設置高さ、および、前記カメラのピッチ角のうちから選択された１つ以上を含んでもよい。

たとえば、前記マルチパス除去方法は、測定センサにより前記パラメータを取得する取得ステップを、有していてもよい。

また、実施の形態１に係る測距装置は、ＴＯＦ方式による測距装置であって、光源と、複数の画素を有する撮像素子と、前記光源の発光タイミングと前記撮像装置の露光タイミングとを制御する発光露光制御部と、画素毎に反射光の受光量に関する情報を保持した輝度画像あるいは画素毎に前記物体までの距離の情報を保持した距離画像を生成する信号処理部と、撮影空間内の背景の距離を推定背景距離として推定し、前記推定背景距離より遠い物体を撮像した画素の値を更新するマルチパス除去部と、を備える。

（実施の形態２）
実施の形態１では、推定背景距離修正ステップＳ３において、サブレンジ境界を参照して推定背景距離を修正したが、実施の形態２では、対象範囲と物体が接している条件において、物体の像における点群密度とそのマルチパスに由来する虚像における点群密度の差を利用して推定背景距離を修正する。実施の形態２におけるマルチパス除去部１０８のフローにおいて、推定背景距離修正ステップＳ３は、図１３に示すフローに代替される。実施の形態２では、対象範囲２０１を平坦な床面の一部とし、前記対象範囲２０１に接地した状態で立っている人のマルチパスに由来する虚像が前記対象範囲２０１に写っているときのマルチパス除去方法について説明する。

以下、図１３～図１５を用いて、実施の形態２を説明する。

図１３は、実施の形態２における背景距離修正ステップのフローを説明する図である。信号処理部からの信号（ローデータ）を保存し（Ｓ３０５）、画素値決定ステップＳ４を実行し、前記画素値決定ステップＳ４の出力を中間画像とする。次にローデータと中間画像の画素毎の差を格納した差分画像を生成、保存する（Ｓ３０６）。差分画像のある面積の部分画像を抽出し（Ｓ３０７）、非０の画素値を格納する画素数が閾値以上存在した場合（Ｓ３０９でｙｅｓ）、この部分画像には虚像が含まれていると仮定する。中間画像において、前記虚像が含まれていると仮定された部分画像に隣接した部分画像のうち、上側に位置する部分画像内に対象物（例えば人）の像が写っていると想定される。したがって、前記虚像が含まれていると仮定された部分画像と、上側に隣接する同じ面積の部分画像をまとめて切り出し、分割点探索対象画像とする（Ｓ３０１）。前記分割点探索対象画像内で分割点探索ステップＳ５を実行し、対象物（例えば人）の像と、対象物の虚像とを分割する行（分割点）を特定、保存する。次に、前記分割点探索対象画像において前記分割点より下の画素値が多く除去され、前記分割点より上の画素値が除去されにくいほど値が大きくなる評価関数を設定する（Ｓ３１２）。さらに、前記評価関数が閾値を超えるまで（Ｓ３１３でｙｅｓ）カメラパラメータを変更しながら（Ｓ３１４）背景距離推定ステップＳ２を実行し、推定背景距離修正ステップＳ３を終了する。

図１４は、分割点探索ステップＳ５のフローを説明する図である。同図では、分割点探索ステップにおいて、点群密度を利用して物体の像と物体のマルチパスに由来する虚像とを分割する点を探索する。まず、同図では図１３のステップＳ３１０で切り出された分割点探索対象画像最上の行の画素値平均を算出する（Ｓ５０１）。ステップＳ５０２以下では、分割点探索対象画像の行毎の処理を示す。

画素値平均を算出した行が分割点探索対象画像より下でない限り（Ｓ５０２でｎｏ）、算出済の行の下の行の画素値平均を算出し（Ｓ５０４）、上の行の画素値平均と下の行の画素値平均との差分を算出し、保存ずる（Ｓ５０５）。

画素値平均を算出した行が分割点探索対象画像より下である場合（Ｓ５０２でｙｅｓ）、保存された、差分が最大となる行番号を保存する（Ｓ５０３）。保存された行番号は、対象物（例えば人）の像と、対象物の虚像とを分割する行（分割点）を特定、保存する。分割点探索対象画像のある行に注目し、画素値平均を算出し、注目する行の上の行の平均との差分を算出する。差分が分割点探索対象画像中で最大の行の番号を前記分割点として保存する。

図１５は、前記背景距離修正方法及びその効果を説明する図である。同図の下段は、距離画像生成装置１と床面との相対位置（相対角度角度）が時間的に変動する例を示す。同図の上端は物体の像と物体のマルチパスに由来する虚像とを模式的に示す。

このように、推定背景距離修正ステップＳ３によって、距離画像に写りこむ対象物（例えば人）の像を手掛かりに、仮想床面のカメラとの相対位置を修正することができる。

以上説明してきたように実施の形態２に係るマルチパス除去方法は、前記背景距離推定ステップにおいて、物体が前記背景の平面に接している場合に、前記パラメータから前記背景距離を算出するステップを実行したのちに、前記物体の像と前記物体のマルチパスに由来する像を正確に分割する点を探索する分割点探索ステップと、前記分割点を参照し、前記マルチパスに由来する像のうち、除去されずに残る面積が小さくなるように前記推定背景距離を更新するステップと、を一回以上繰り返し実行する。

たとえば、前記距離画像は、光源と、測距範囲内に存在する物体に前記光源で投射した光が反射された反射光を受光する撮像素子と、を備えた測距装置を用いて生成されたものであって、前記分割点探索ステップにおいて、前記距離画像の点群密度を利用して物体の像と前記物体のマルチパスに由来する像を分割する点を探索してもよい。

たとえば、前記距離画像は、測距範囲に存在する物体の有無に関する情報を一回以上繰り返し、前記情報を各画素の位置に対応付けた画像データを生成する撮像装置で生成された距離画像であり、
前記分割点探索ステップにおいて、前記情報に基づいて物体の像と前記物体のマルチパスに由来する像を分割する点を探索してもよい。

以上、一つまたは複数の態様に係るマルチパス除去方法および撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示によれば、カメラが移動する場合、あるいは背景撮像時に測距範囲に存在していた物体が移動した場合などにおいても、これらの影響を抑えたマルチパス除去方法を提供することができるので、撮像装置として有用である。

１０１ 発光露光制御部
１０２ 光源
１０３ 投射光学系
１０４ 受光光学系
１０５ 撮像素子
１０６ 設定部
１０７ 信号処理部
１０８ マルチパス除去部
２０１ 対象範囲
２０２ 対応点
２０３ａ、２０３ｂ 直線
２０４ 虚像
３０１ 距離画像
３０２ マルチパス除去前画像

Claims (10)

1. 撮影空間内の背景の距離を推定する背景距離推定ステップと、
   測距範囲を一つ以上の区分距離であるサブレンジに分割し、一つ以上の前記サブレンジのそれぞれに存在する物体で反射された反射光の受光量に関する情報を画素毎に保持した輝度画像あるいは前記画素毎に前記物体までの距離の情報を保持した距離画像を、カメラを用いて取得する撮影ステップと、
   前記輝度画像あるいは前記距離画像において、前記背景距離推定ステップで推定した推定背景距離より遠い物体を撮像した前記画素の値を更新する画素値決定ステップと、
   を有し、
   前記距離画像は、一つ以上の前記サブレンジのそれぞれに対応する距離値を前記画素毎に保持した画像であり、
   前記背景距離推定ステップは、
   前記カメラの撮影条件に関するパラメータを用いて前記推定背景距離を算出するステップと、
   一つ以上の前記サブレンジの内、互いに隣接するサブレンジの間のサブレンジ境界に対応する画素を探索し、前記サブレンジ境界に対応する画素を参照して、前記画素の値に対応する実測距離と前記推定背景距離の誤差が小さくなるようにパラメータを更新するステップと、
   を１回以上繰り返し実行する
   マルチパス除去方法。
2. 前記背景距離推定ステップにおいて、
   前記推定背景距離を、すべての画素の前記実測距離のうち最も近い値に一致するように更新する
   請求項１に記載のマルチパス除去方法。
3. 前記背景距離推定ステップにおいて、
   前記推定背景距離が変化する境界の画素を通る曲線の集合として記憶し、
   前記画素値決定ステップは、
   前記曲線の集合を参照して前記実測距離と前記推定背景距離の遠近判定を行う
   請求項２に記載のマルチパス除去方法。
4. 前記背景距離推定ステップにおいて、
   物体が前記背景の平面に接している場合に、
   前記パラメータを用いて前記推定背景距離を算出するステップを実行したのちに、
   前記物体の像と前記物体のマルチパスに由来する像を正確に分割する分割点を探索する分割点探索ステップと、
   前記分割点を参照し、前記マルチパスに由来する像のうち、除去されずに残る面積が小さくなるように前記推定背景距離を更新するステップと、
   を一回以上繰り返し実行する
   請求項１に記載のマルチパス除去方法。
5. 前記距離画像は、光源と、測距範囲内に存在する物体に前記光源で投射した光が反射された反射光を受光する撮像素子と、
   を備えた測距装置を用いて生成されたものであって、
   前記分割点探索ステップにおいて、前記距離画像の点群密度を利用して物体の像と前記物体のマルチパスに由来する像を分割する点を探索する
   請求項４に記載のマルチパス除去方法。
6. 前記距離画像は、
   測距範囲に存在する物体の有無に関する情報を一回以上繰り返し生成し、
   前記情報を各画素の位置に対応付けた画像データを生成する
   撮像装置で生成された距離画像であり、
   前記分割点探索ステップにおいて、前記情報に基づいて物体の像と前記物体のマルチパスに由来する像を分割する点を探索する
   請求項４に記載のマルチパス除去方法。
7. 前記パラメータは、マルチパスに由来する虚像が想定される平面または曲面を示す
   請求項１から６のいずれか１項に記載のマルチパス除去方法。
8. 前記パラメータは、前記カメラの水平画角と、前記カメラの垂直画角、前記カメラの設置高さ、および、前記カメラのピッチ角のうちから選択された１つ以上を含む
   請求項１から７のいずれか１項に記載のマルチパス除去方法。
9. 測定センサにより前記パラメータを取得する取得ステップを、有する
   請求項１から８のいずれか１項に記載のマルチパス除去方法。
10. ＴＯＦ方式による測距装置であって、
    光源と、
    複数の画素を有する撮像素子と、
    前記光源の発光タイミングと前記撮像素子の露光タイミングとを制御する発光露光制御部と、
    マルチパス除去部と、を備え、
    前記マルチパス除去部は、
    撮影空間内の背景の距離を推定する背景距離推定ステップと、
    測距範囲を一つ以上の区分距離であるサブレンジに分割し、一つ以上の前記サブレンジのそれぞれに存在する物体で反射された反射光の受光量に関する情報を前記画素毎に保持した輝度画像あるいは前記画素毎に前記物体までの距離の情報を保持した距離画像を、カメラを用いて取得する撮影ステップと、
    前記輝度画像あるいは前記距離画像において、前記背景距離推定ステップで推定した推定背景距離より遠い物体を撮像した前記画素の値を更新する画素値決定ステップと、
    を実行し、
    前記距離画像は、一つ以上の前記サブレンジのそれぞれに対応する距離値を前記画素毎に保持した画像であり、
    前記背景距離推定ステップは、
    前記カメラの撮影条件に関するパラメータを用いて前記推定背景距離を算出するステップと、
    一つ以上の前記サブレンジの内、互いに隣接するサブレンジの間のサブレンジ境界に対応する画素を探索し、前記サブレンジ境界に対応する画素を参照して、前記画素の値に対応する実測距離と前記推定背景距離の誤差が小さくなるようにパラメータを更新するステップと、
    を１回以上繰り返し実行する
    測距装置。

Images