JPWO2020059448A1 - 奥行取得装置、奥行取得方法およびプログラム - Google Patents

Abstract

画像の奥行きを正確に取得することができる奥行取得装置を提供する。この奥行取得装置（１）は、メモリ（２００）と、プロセッサ（１１０）とを備え、そのプロセッサ（１１０）は、光源（１０１）が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリ（２００）に保持されているＩＲ画像を取得し、そのＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリ（２００）に保持されているＢＷ画像を取得し、そのＩＲ画像から、粉塵が映し出されている領域を粉塵領域として検出し、そのＩＲ画像、ＢＷ画像、および粉塵領域に基づいて、その粉塵領域の奥行きを推定する。

Description

本開示は、画像の奥行きを取得する奥行取得装置などに関する。

従来、被写体までの距離を測定する測距装置が提案されている（例えば、特許文献１参照）。この測距装置は、光源と撮像部とを備える。光源は被写体に光を照射する。撮像部は、その被写体で反射された反射光を撮像する。そして、測距装置は、その撮像によって得られた画像の各画素値を、被写体までの距離に変換することによって、その被写体までの距離を測定する。つまり、測距装置は、撮像部によって得られた画像の奥行きを取得する。

特開２０１１−６４４９８号公報

しかしながら、上記特許文献１の測距装置では、画像の奥行きを正確に取得することができないという課題がある。

そこで、本開示は、画像の奥行きを正確に取得することができる奥行取得装置を提供する。

本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、前記赤外画像、前記可視光画像、および前記粉塵領域に基づいて、前記粉塵領域の奥行きを推定する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

本開示の奥行取得装置は、画像の奥行きを正確に取得することができる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態における奥行取得装置のハードウェア構成を示すブロック図である。 図２は、実施の形態における固体撮像素子が有する画素アレイを示す模式図である。 図３は、実施の形態における、光源の発光素子の発光タイミングと、固体撮像素子の第１画素の露光タイミングとの関係を示すタイミング図である。 図４は、実施の形態における奥行取得装置の機能構成の一例を示すブロック図である。 図５は、実施の形態における奥行取得装置の機能構成の他の例を示すブロック図である。 図６は、実施の形態における奥行取得装置の全体的な処理動作を示すフローチャートである。 図７は、実施の形態における奥行取得装置のプロセッサによる全体的な処理動作を示すフローチャートである。 図８は、実施の形態における奥行取得装置のプロセッサの具体的な機能構成を示すブロック図である。 図９Ａは、ＩＲ画像の一例を示す図である。 図９Ｂは、ＢＷ画像の一例を示す図である。 図１０は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す図である。 図１１は、ＩＲ画像内の粉塵候補領域の一例を示す図である。 図１２は、ＢＷ画像に対して検出されるＦＯＥの一例を示す図である。 図１３は、粉塵領域に対して検出される主軸の一例を示す図である。 図１４は、粉塵領域および非粉塵領域の一例を示す図である。 図１５Ａは、ＩＲ画像の他の例を示す図である。 図１５Ｂは、ＢＷ画像の他の例を示す図である。 図１６は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す図である。 図１７は、ＩＲ画像内の粉塵候補領域の一例を示す図である。 図１８は、ＢＷ画像に対して検出されるＦＯＥの一例を示す図である。 図１９は、各粉塵候補領域の配置の一例を示す図である。 図２０は、実施の形態における奥行取得装置のシミュレーション結果を示す図である。 図２１は、図８に示す奥行取得装置の全体的な処理動作を示すフローチャートである。 図２２は、図２１のステップＳ３１〜Ｓ３４の詳細な処理の一例を示すフローチャートである。 図２３は、図２１のステップＳ３１〜Ｓ３４の詳細な処理の他の例を示すフローチャートである。 図２４は、図２１のステップＳ３１〜Ｓ３４の代わりの処理の一例を示すフローチャートである。 図２５は、図２１のステップＳ３１〜Ｓ３４の詳細な処理の他の例を示すフローチャートである。 図２６は、実施の形態の変形例における奥行取得装置の機能構成の一例を示すブロック図である。 図２７は、実施の形態の変形例における奥行取得装置の機能構成の他の例を示すブロック図である。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、特許文献１の測距装置に関し、以下の問題が生じることを見出した。

特許文献１の測距装置は、上述のように、光源から被写体に光を照射し、光が照射された被写体を撮像することによって画像を取得し、その画像の奥行きを測定する。この奥行きの測定には、ＴＯＦ（Time Of Flight）が用いられる。このような測距装置では、測距精度を向上させるために、互いに異なる撮像条件の撮像が行われる。つまり、測距装置は、所定の撮像条件にしたがって撮像を行い、その撮像結果に応じて、その所定の撮像条件と異なる撮像条件を設定する。そして、測距装置は、その設定された撮像条件にしたがって再び撮像を行う。

しかしながら、撮像によって得られる画像には、測距装置の近くにある粉塵がノイズとして映り込む場合がある。その結果、この粉塵が映し出されている画像だけからは、その粉塵であるノイズを取り除くことができず、奥行きを正しく測定することはできない。また、撮像条件を変更しても、粉塵の映り込みを簡単に抑えることが難しい場合がある。さらに、例えば車両に搭載された測距装置が、その車両の走行中に、互いに異なる撮像条件で撮像を繰り返せば、繰り返し行われる撮像の視点位置が異なるため、得られる複数の画像のそれぞれのシーンは異なってしまう。つまり、同一のシーンに対して撮像を繰り返すことができず、そのシーンが映し出された画像の奥行き、特に粉塵が映し出されている領域の奥行きを適切に推定することができない。

このような問題を解決するために、本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、前記赤外画像、前記可視光画像、および前記粉塵領域に基づいて、前記粉塵領域の奥行きを推定する。

これにより、赤外画像から粉塵領域が検出され、その粉塵領域では、赤外画像だけでなく可視光画像にも基づいて奥行きが推定されるため、その粉塵領域の奥行きを適切に取得することができる。つまり、赤外画像と可視光画像とでは、撮像の対象となるシーンが実質的に同一であって、視点および撮像時刻も実質的に同一である。ここで、実質的に同一の視点および撮像時刻で撮像した実質的に同一のシーンの画像の一例としては、同一撮像素子の異なる画素で撮像された画像である。このような画像は、ベイヤー配列のカラーフィルタで撮像されたカラー画像の赤、緑および青の各チャンネル画像と同様のものであり、各画像の画角、視点および撮像時刻はほぼ等しい。つまり、実質的に同一の視点および撮像時刻で撮像した実質的に同一のシーンの画像は、撮像された各画像において、被写体の画像上での位置が２画素以上、異ならない。例えば、シーンに可視光と赤外成分を有する点光源が存在し、可視光画像において１画素のみが高輝度に撮像されている場合、赤外画像においても可視光画像で撮像されている画素位置に対応する画素の２画素より近傍に点光源が撮像される。また、実質的に同一の撮像時刻とは、撮像時刻の差が１フレーム以下で等しいことを示している。したがって、赤外画像と可視光画像とは高い相関を有する。しかし、赤外画像および可視光画像の撮像を行うカメラの近くに粉塵がある場合には、照射された赤外光がその粉塵に強く反射し、その強い反射光によって、赤外画像にその粉塵が映り込むことがある。したがって、粉塵は赤外画像に映り込んでも、可視光画像には映り込まない可能性が高い。そこで、粉塵領域において欠落した情報を、その粉塵領域に対応する可視光画像内の領域（すなわち対応領域）から補うことができる。その結果、粉塵領域の奥行きを、粉塵であるノイズの影響を除いて適切に取得することができる。

例えば、前記プロセッサは、前記粉塵領域の奥行きの推定では、前記赤外画像内の各位置での奥行きを示す第１奥行情報を推定し、前記第１奥行情報によって示される前記粉塵領域内の各位置での奥行きを前記可視光画像に基づいて補正することによって、前記粉塵領域内の各位置での補正後の奥行きを示す第２奥行情報を推定し、さらに、前記第１奥行情報によって示される、前記赤外画像の前記粉塵領域外の各位置での奥行きと、前記第２奥行情報によって示される、前記赤外画像の前記粉塵領域内の各位置での奥行きとを示す、第３奥行情報を生成してもよい。なお、第１奥行情報の推定では、赤外画像に対してＴＯＦなどを適用してもよい。

これにより、第３奥行情報は、赤外画像の粉塵領域外の奥行きとして、その赤外画像から得られた奥行きを示し、赤外画像の粉塵領域の奥行きとして、その赤外画像から得られ、可視光画像に基づいて補正された奥行きを示す。したがって、赤外画像に粉塵領域がある場合であっても、その赤外画像の全体の奥行きを適切に推定することができる。

また、前記プロセッサは、前記粉塵領域の検出では、前記赤外画像のうち、第１閾値以上の輝度を有する高輝度領域が第１条件を満たす場合に、前記高輝度領域を前記粉塵領域として検出してもよい。

粉塵領域内では輝度は高い傾向にある。したがって、赤外画像のうち第１閾値以上の輝度を有する高輝度領域を検出することによって、粉塵が映し出されている可能性の高い領域を容易に絞り込むことができる。さらに、第１条件を満たす高輝度領域が粉塵領域として検出されるため、第１条件を適切に設定することによって、粉塵領域を高い精度で検出することができる。

また、前記第１条件は、前記赤外画像における前記高輝度領域とは異なる他の少なくとも２つの高輝度領域のそれぞれの重心と、前記赤外画像または前記可視光画像のＦＯＥ（Focus of Expansion）とに交わる直線上または円弧上に、前記高輝度領域の重心が配置されている条件であってもよい。

例えば、カメラが１つの粉塵を撮像する場合に、１フレームの赤外画像の撮像に対して複数回の露光を行うと、その露光が行われるたびにその粉塵が高輝度領域として赤外画像に映し出される。そこで、上述のカメラが車両などの移動体に搭載されて移動している場合には、その粉塵がＦＯＥから吹き出すようにその赤外画像に映し出される可能性が高い。例えば、上述の移動体の移動速度が高速であれば、粉塵に起因するこれらの複数の高輝度領域は、ＦＯＥと交わる直線上に配置される傾向にある。または、そのカメラのレンズの歪みが大きければ、粉塵に起因する複数の高輝度領域は、ＦＯＥと交わる円弧上に配置される傾向にある。したがって、少なくとも３つの高輝度領域の重心が上述の直線上または円弧上に配置されていることを第１条件に設定することによって、粉塵領域を高い精度で検出することができる。

なお、赤外画像と可視光画像とでは、撮像の対象となるシーンが実質的に同一であって、視点も実質的に同一であるため、赤外画像のＦＯＥと可視光画像のＦＯＥとは実質的に同一である。

あるいは、前記第１条件は、前記高輝度領域の主軸または前記主軸の延長線が、前記赤外画像または前記可視光画像のＦＯＥ（Focus of Expansion）に交わる条件であってもよい。

例えば、上述の例とは逆に、カメラを搭載する移動体の移動速度が低速であれば、上述の複数の高輝度領域は重なり合う。その結果、これらの複数の高輝度領域は、細長い形状、言い換えれば尾を引いた形状の１つの高輝度領域として赤外画像に映し出される。このような粉塵に起因する高輝度領域の主軸またはその主軸の延長線はＦＯＥに交わる傾向にある。したがって、高輝度領域の主軸またはその主軸の延長線がＦＯＥに交わることを第１条件に設定することによって、粉塵領域を高い精度で検出することができる。

また、前記プロセッサは、前記粉塵領域の検出では、前記高輝度領域が、さらに、第２条件を満たす場合に、前記高輝度領域を前記粉塵領域として検出してもよい。

例えば、赤外画像では粉塵領域が観測されても可視光画像では観測されないという性質を第２条件に利用してもよい。これにより、粉塵領域をより高精度に検出することができる。

また、前記第２条件は、前記赤外画像内の前記高輝度領域の重心に対応する前記可視光画像内の位置の輝度が、第２閾値未満となる条件であってもよい。

粉塵領域はＢＷ画像では観測されないため、その粉塵領域の重心に対応する可視光画像内の位置の輝度は低い傾向にある。したがって、赤外画像内の高輝度領域の重心に対応する可視光画像内の位置の輝度が第２閾値未満となることを、第２条件に設定することによって、粉塵領域をより高精度に検出することができる。

また、前記第２条件は、前記赤外画像の高輝度領域内の輝度と、前記高輝度領域に対応する前記可視光画像の領域内の輝度との間の相関係数が、第３閾値未満となる条件であってもよい。

赤外画像では粉塵領域が観測されても可視光画像では観測されないという性質があるため、赤外画像の粉塵領域内の輝度と、その粉塵領域に対応する可視光画像の領域内の輝度との相関は低い傾向にある。したがって、赤外画像の高輝度領域内の輝度と、その高輝度領域に対応する可視光画像の領域内の輝度との間の相関係数が、第３閾値未満となることを、第２条件に設定することによって、粉塵領域をより高精度に検出することができる。

また、前記プロセッサは、前記粉塵領域の奥行きの推定では、前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、前記赤外画像、前記可視光画像、前記粉塵領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記粉塵領域内の各位置での奥行きを補正してもよい。

これにより、赤外画像、可視光画像、粉塵領域、および奥行情報の入力に対して、粉塵領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、赤外画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、粉塵領域内の各位置で奥行きを、適切に補正することができる。

また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像において粉塵が映し出されている粉塵領域内の各位置での奥行きを補正する。

これにより、赤外画像、可視光画像、および奥行情報の入力に対して、赤外画像の粉塵領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、赤外画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、粉塵領域内の各位置で奥行きを、粉塵領域を検出することなく、適切に補正することができる。

また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、前記可視光画像に基づいて、前記粉塵領域の奥行きを推定する。また、前記可視光画像および前記赤外画像のそれぞれについて、粉塵領域とその他の領域と分けたとき、前記粉塵領域は前記可視光画像に基づいて奥行きが推定され、その他の領域は前記赤外画像に基づいて奥行きが推定される。

これにより、本開示の上記一態様に係る奥行取得装置と同様、粉塵領域の奥行きを、粉塵であるノイズの影響を除いて適切に取得することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
［ハードウェア構成］
図１は、実施の形態に係る奥行取得装置１のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置１は、赤外光（または近赤外線光）に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および撮像時刻の撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。

図１に示されるように、奥行取得装置１は、光源１０と、固体撮像素子２０と、処理回路３０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。

光源１０は、照射光を照射する。より具体的には、光源１０は、処理回路３０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。

光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。

以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、または、近赤外線光を発光する発光ダイオード等である。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外光（赤外線光ともいう）であっても構わない。以下、本実施の形態では、光源１０が照射する照射光を赤外光として説明するが、その赤外光は、近赤外線光であってもよく、近赤外線光以外の周波数帯の赤外光であってもよい。

固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、処理回路３０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。

固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。

以下では、照射光と同様に、反射光は、赤外光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、赤外光に限定される必要はない。

図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。

図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（ＢＷ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。

また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。

第１画素２１は、例えば、反射光である赤外光に感度を有する赤外光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。

赤外光画素は、例えば、赤外光のみを透過させる光学フィルタ（ＩＲフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。したがって、画素アレイ２に含まれる複数の赤外光画素（すなわち第１画素２１）から出力される撮像信号によって、赤外光の輝度を示す画像が表現される。この赤外光の画像を、以下、ＩＲ画像または赤外画像ともいう。

また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ（ＢＷフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で変換された電荷を蓄積する蓄積部等を含んで構成される。したがって、可視光画素、すなわち第２画素２２は、輝度および色差を示す撮像信号を出力する。つまり、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度および色差を示すカラー画像が表現される。なお、可視光画素の光学フィルタは、可視光と赤外光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。

また、可視光画素は、可視光の輝度のみを検出してもよい。この場合には、可視光画素、すなわち第２画素２２は、輝度を示す撮像信号を出力する。したがって、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度を示す白黒の画像、言い換えればモノクロの画像が表現される。このモノクロの画像を、以下、ＢＷ画像ともいう。なお、上述のカラー画像およびＢＷ画像を総称して、可視光画像ともいう。

再び図１に戻って、奥行取得装置１の説明を続ける。

処理回路３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。

処理回路３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、処理回路３０は、ＦＰＧＡまたはＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。

処理回路３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴＯＦ測距方式により、被写体までの距離を算出する。

以下、図面を参照しながら、処理回路３０が行うＴＯＦ測距方式による被写体までの距離の算出について説明する。

図３は、処理回路３０が、ＴＯＦ測距方式を用いて被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。

図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。

図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。

光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、以下の（式１）で表すことができる。

ｄ＝ｃ×Ｔｐ／２×ｑ２／（ｑ１＋ｑ２） ・・・（式１）

このため、処理回路３０は、（式１）を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。

また、固体撮像素子２０の複数の第１画素２１は、第１露光期間および第２露光期間の終了後に、第３露光期間Ｔｐだけ露光してもよい。複数の第１画素２１は、この第３露光期間Ｔｐにおいて得られる露光量によって、反射光以外のノイズを検出することができる。つまり、処理回路３０は、上記（式１）において、第１露光期間の露光量ｑ１および第２露光期間の露光量ｑ２のそれぞれからノイズを削除することによって、より正確に、被写体までの距離ｄを算出することができる。

再び図１に戻って、奥行取得装置１の説明を続ける。

処理回路３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行ってもよい。

すなわち、処理回路３０は、固体撮像素子２０の複数の第２画素２２によって撮像された可視光画像に基づいて、被写体の検知、及び被写体までの距離の算出を行ってもよい。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行なうことで実現してもよいし、事前に学習した学習モデルを利用してDeep Learningなどの処理により実現してもかまわない。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。もちろん、可視光画像だけでなく、第１画素２１によって撮像された赤外光の輝度や距離情報を利用してマルチモーダルな学習処理により被写体の検知を実現してもよい。

処理回路３０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、処理回路３０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。

処理回路３０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、奥行取得装置１に、所定のフレームレートによる連続撮像を実現させてもよい。また、処理回路３０は、例えばプロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。

拡散板５０は、照射光の強度分布と角度を調整する。また、強度分布の調整では、拡散板５０は、光源１０からの照射光の強度分布を一様にする。なお、図１に示す例では、奥行取得装置１は、拡散板５０を備えるが、この拡散板５０を備えていなくてもよい。

レンズ６０は、奥行取得装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。

バンドパスフィルタ７０は、反射光である赤外光と、可視光とを透過させる光学フィルタである。なお、図１に示す例では、奥行取得装置１は、バンドパスフィルタ７０を備えるが、このバンドパスフィルタ７０を備えていなくてもよい。

上記構成の奥行取得装置１は、輸送機器に搭載されて利用される。例えば、奥行取得装置１は、路面を走行する車両に搭載されて利用される。なお、奥行取得装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。奥行取得装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。

［奥行取得装置の概要］
本実施の形態における奥行取得装置１は、図１に示すハードウェア構成によって、ＩＲ画像とＢＷ画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および同一時刻の撮像によって取得する。そして、奥行取得装置１は、そのＩＲ画像から得られる、そのＩＲ画像内の各位置における奥行きを、ＢＷ画像を用いて補正する。具体的には、ＩＲ画像に、粉塵が映し出されている領域（以下、粉塵領域という）が存在する場合、奥行取得装置１は、そのＩＲ画像から得られる、粉塵領域内の各位置における奥行きを、その粉塵領域に対応するＢＷ画像の領域内の画像を用いて補正する。これにより、粉塵領域の奥行きを、粉塵であるノイズの影響を除いて適切に取得することができる。

図４は、奥行取得装置１の機能構成の一例を示すブロック図である。

奥行取得装置１は、光源１０１と、ＩＲカメラ１０２と、ＢＷカメラ１０３と、奥行推定部１１１と、粉塵検出部１１２とを備える。

光源１０１は、図１に示す光源１０および拡散板５０から構成されていてもよい。

ＩＲカメラ１０２は、図１に示す固体撮像素子２０の複数の第１画素２１、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＩＲカメラ１０２は、光源１０１が被写体に赤外光を照射するタイミングに応じて、その被写体を含むシーンの赤外光に基づく撮像を行うことによって、ＩＲ画像を取得する。

ＢＷカメラ１０３は、図１に示す固体撮像素子２０の複数の第２画素２２、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＢＷカメラ１０３は、赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、その赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像（具体的にはＢＷ画像）を取得する。

奥行推定部１１１および粉塵検出部１１２は、図１に示す処理回路３０の機能、具体的には、プロセッサ１１０の機能として実現されてもよい。

粉塵検出部１１２は、ＩＲカメラ１０２による撮像によって得られたＩＲ画像と、ＢＷカメラ１０３による撮像によって得られたＢＷ画像とに基づいて、ＩＲ画像から粉塵領域を検出する。言い換えれば、粉塵検出部１１２は、撮像によって得られたＩＲ画像を、粉塵が映し出されている粉塵領域と、粉塵が映し出されていない非粉塵領域とに分割する。

ＩＲカメラ１０２の近傍に粉塵などの微粒子が存在する場合、ＩＲ画像にはその粉塵が大きなノイズとして映し出される。本実施の形態における粉塵領域は、粉塵が映し出されている高輝度の領域である。例えば、奥行取得装置１の近くに粉塵が存在する場合、光源１０１から粉塵に照射されて、その粉塵に反射された赤外光は高い輝度を保った状態で固体撮像素子２０に受光される。したがって、ＩＲ画像において、粉塵が映し出されている領域、すなわち粉塵領域における各画素の輝度は高い。

奥行推定部１１１は、粉塵検出部１１２によって検出された粉塵領域を含むＩＲ画像内の各位置での奥行きを推定する。具体的には、奥行推定部１１１は、光源１０１による被写体への赤外光の照射のタイミングに応じて、ＩＲカメラ１０２が撮像することによって得られたＩＲ画像を取得し、そのＩＲ画像に基づいてＩＲ画像内の各位置での奥行きを推定する。さらに、奥行推定部１１１は、粉塵検出部１１２によって検出された粉塵領域において推定された各位置での奥行きを、ＢＷ画像に基づいて補正する。つまり、奥行推定部１１１は、ＩＲ画像、ＢＷ画像、および粉塵領域に基づいて、粉塵領域の奥行きを推定する。

図５は、奥行取得装置１の機能構成の他の例を示すブロック図である。

奥行取得装置１は、メモリ２００とプロセッサ１１０とを備えてもよい。

また、プロセッサ１１０は、奥行推定部１１１および粉塵検出部１１２を備えるだけでなく、図５に示すように、発光タイミング取得部１１３、ＩＲ画像取得部１１４およびＢＷ画像取得部１１５を備えてもよい。なお、これらの構成要素は、プロセッサ１１０の機能として実現される。

発光タイミング取得部１１３は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。つまり、発光タイミング取得部１１３は、図１に示す発光信号を光源１０１に出力することによって、その出力のタイミングを示す情報を上述のタイミング情報として取得する。

ＩＲ画像取得部１１４は、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリ２００に保持されているＩＲ画像を取得する。

ＢＷ画像取得部１１５は、上述のＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリ２００に保持されているＢＷ画像を取得する。

粉塵検出部１１２は、上述のように、ＩＲ画像から粉塵領域を検出し、奥行推定部１１１は、そのＩＲ画像、ＢＷ画像、および粉塵領域に基づいて、奥行きを推定する。

なお、本実施の形態における奥行取得装置１は、光源１０１、ＩＲカメラ１０２、およびＢＷカメラ１０３を備えることなく、プロセッサ１１０およびメモリ２００から構成されていてもよい。

図６は、奥行取得装置１の全体的な処理動作を示すフローチャートである。

（ステップＳ１１）
まず、光源１０１は、発光することによって、被写体に赤外光を照射する。

（ステップＳ１２）
次に、ＩＲカメラ１０２は、ＩＲ画像を取得する。つまり、ＩＲカメラ１０２は、光源１０１によって赤外光が照射された被写体を含むシーンを撮像する。これにより、ＩＲカメラ１０２は、被写体から反射された赤外光に基づくＩＲ画像を取得する。具体的には、ＩＲカメラ１０２は、図３に示す第１露光期間、第２露光期間および第３露光期間のそれぞれのタイミングと露光量とによって得られるＩＲ画像を取得する。

（ステップＳ１３）
次に、ＢＷカメラ１０３は、ＢＷ画像を取得する。つまり、ＢＷカメラ１０３は、ステップＳ１２で取得されたＩＲ画像に対応するＢＷ画像、すなわち、そのＩＲ画像と同一のシーン、同一の視点および同一の撮像時刻のＢＷ画像を取得する。

（ステップＳ１４）
そして、粉塵検出部１１２は、ステップＳ１２で取得されたＩＲ画像から粉塵領域を検出する。

（ステップＳ１５）
次に、奥行推定部１１１は、ステップＳ１２で取得されたＩＲ画像、ステップＳ１３で取得されたＢＷ画像、および、ステップＳ１４で検出された粉塵領域に基づいて、粉塵領域の奥行きを推定する。

図７は、奥行取得装置１のプロセッサ１１０による全体的な処理動作を示すフローチャートである。

（ステップＳ２１）
まず、プロセッサ１１０の発光タイミング取得部１１３は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。

（ステップＳ２２）
次に、ＩＲ画像取得部１１４は、ステップＳ２１で取得されたタイミング情報によって示されるタイミングに応じて撮像を行ったＩＲカメラ１０２から、ＩＲ画像を取得する。例えば、ＩＲ画像取得部１１４は、発光タイミング取得部１１３から図１に示す発光信号が出力されるタイミングに、露光信号をＩＲカメラ１０２に出力する。これによって、ＩＲ画像取得部１１４は、ＩＲカメラ１０２に撮像を開始させ、その撮像によって得られたＩＲ画像を、そのＩＲカメラ１０２から取得する。このとき、ＩＲ画像取得部１１４は、メモリ２００を介してＩＲカメラ１０２からＩＲ画像を取得してもよく、ＩＲカメラ１０２から直接取得してもよい。

（ステップＳ２３）
次に、ＢＷ画像取得部１１５は、ステップＳ２２で取得されたＩＲ画像に対応するＢＷ画像をＢＷカメラ１０３から取得する。このとき、ＢＷ画像取得部１１５は、メモリ２００を介してＢＷカメラ１０３からＢＷ画像を取得してもよく、ＢＷカメラ１０３から直接取得してもよい。

（ステップＳ２４）
そして、粉塵検出部１１２は、ＩＲ画像から粉塵領域を検出する。

（ステップＳ２５）
次に、奥行推定部１１１は、ステップＳ２２で取得されたＩＲ画像、ステップＳ２３で取得されたＢＷ画像、および、ステップＳ２４で検出された粉塵領域に基づいて、粉塵領域の奥行きを推定する。これによって、少なくともその粉塵領域の奥行きを示す奥行情報が算出される。なお、このとき、奥行推定部１１１は、粉塵領域だけでなくＩＲ画像の全体の奥行きを推定し、その推定結果を示す奥行情報を算出してもよい。

具体的には、本実施の形態における奥行推定部１１１は、ステップＳ２２で取得されたＩＲ画像から、そのＩＲ画像内の各位置での奥行きを推定する。そして、奥行推定部１１１は、粉塵領域内の各位置での奥行きをＢＷ画像を用いて補正する。なお、各位置は、複数の画素のそれぞれの位置であってもよく、複数の画素からなるブロックの位置であってもよい。

このような本実施の形態における奥行取得装置１では、ＩＲ画像から粉塵領域が検出され、その粉塵領域では、ＩＲ画像だけでなくＢＷ画像にも基づいて奥行きが推定されるため、その粉塵領域の奥行きを適切に取得することができる。つまり、ＩＲ画像とＢＷ画像とでは、撮像の対象となるシーンが実質的に同一であって、視点および撮像時刻も実質的に同一である。したがって、ＩＲ画像とＢＷ画像とは高い相関を有する。また、ＩＲ画像に粉塵が映り込んでも、ＢＷ画像には粉塵が映り込まない可能性が高い。したがって、粉塵領域において欠落した情報を、その粉塵領域に対応するＢＷ画像内の領域（すなわち対応領域）から補うことができる。その結果、粉塵領域の奥行きを適切に取得することができる。

［奥行取得装置の具体的な機能構成］
図８は、奥行取得装置１のプロセッサ１１０の具体的な機能構成を示すブロック図である。

プロセッサ１１０は、第１奥行推定部１１１ａ、第２奥行推定部１１１ｂ、粉塵検出部１１２と、高輝度領域検出部１１６、ＦＯＥ検出部１１７、および出力部１１８を備える。なお、第１奥行推定部１１１ａおよび第２奥行推定部１１１ｂは、図５に示す奥行推定部１１１に相当する。また、プロセッサ１１０は、上述の発光タイミング取得部１１３、ＩＲ画像取得部１１４およびＢＷ画像取得部１１５を備えていてもよい。

高輝度領域検出部１１６は、ＩＲ画像において第１閾値以上の輝度を有する領域を高輝度領域として検出する。

ＦＯＥ検出部１１７は、ＢＷ画像におけるＦＯＥ（Focus of Expansion）を検出する。ＦＯＥは、消失点とも称される。ＩＲカメラ１０２が平行移動し、被写体が停止している場合、画面上の見かけの動きであるオプティカルフローは、１点で交わることが知られている。その１点がＦＯＥである。

粉塵検出部１１２は、ＩＲ画像内の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域が粉塵領域であるか否かを判定する。ここで、ＩＲ画像に映し出されている各粉塵は、ＦＯＥから吹き出されているように、そのＦＯＥと交わる直線または円弧に沿って長く形成されている、または、その直線または円弧に沿って配置されていることを、発明者らは発見した。ＩＲカメラ１２０が自動車などの移動体に設置されている場合、粉塵の動きはＩＲカメラ１２０の動きと比較して十分に小さく、静止していると仮定できる。そのため、ＩＲ画像には、粉塵がＦＯＥから吹き出るように映し出されている。

また、本実施の形態における奥行取得装置１ではノイズ除去の観点から、ＩＲ画像およびＢＷ画像のそれぞれの１フレームの画像は、露光と遮光とを複数回繰り返す撮像によって得られた画像である。そのため、フレーム周期内での互いに異なるタイミングでの露光によって、同一の粉塵が、１フレームにおける複数の箇所に映し出される。画像上では粉塵はＦＯＥから吹き出るように移動しているため、その複数の箇所のそれぞれにある粉塵領域とＦＯＥとは直線上に配置される。また、同一の粉塵を撮像するＩＲカメラ１２０の動きがゆっくりである場合、１フレーム周期における複数回の露光によって生じる複数の粉塵領域は、ＩＲ画像において重なる。その結果、尾を引いたような形状の１つの粉塵領域が形成される。この場合、その粉塵領域から見た尾の向きには、ＦＯＥが存在する。粉塵検出部１１２は、これらの性質を利用して、粉塵領域を検出する。

つまり、本実施の形態における粉塵検出部１１２は、ＩＲ画像のうち、第１閾値以上の輝度を有する高輝度領域が第１条件を満たす場合に、その高輝度領域を粉塵領域として検出する。具体的には、その第１条件は、ＩＲ画像における高輝度領域とは異なる他の少なくとも２つの高輝度領域のそれぞれの重心と、ＩＲ画像またはＢＷ画像のＦＯＥ（Focus of Expansion）とに交わる直線上または円弧上に、その高輝度領域の重心が配置されている条件である。または、第１条件は、高輝度領域の主軸またはその主軸の延長線が、ＩＲ画像またはＢＷ画像のＦＯＥに交わる条件である。なお、この主軸は、高輝度領域が尾を引いた形状である場合におけるその尾の軸である。これにより、粉塵領域を高い精度で検出することができる。

また、粉塵検出部１１２は、さらに、ＩＲ画像では粉塵領域が観測されてもＢＷ画像では観測されないという性質を用いて粉塵領域を検出してもよい。つまり、粉塵検出部１１２は、高輝度領域が、さらに、第２条件を満たす場合に、その高輝度領域を粉塵領域として検出してもよい。例えば、第２条件は、ＩＲ画像内の高輝度領域の重心に対応するＢＷ画像内の位置の輝度が、第２閾値未満となる条件である。または、第２条件は、ＩＲ画像の高輝度領域内の輝度と、その高輝度領域に対応するＢＷ画像の領域内の輝度との間の相関係数が、第３閾値未満となる条件である。なお、ＩＲ画像の高輝度領域に対応するＢＷ画像の領域は、ＩＲ画像の高輝度領域と空間的に同一の位置にあって、ＩＲ画像の高輝度領域と同一の形状およびサイズを有する領域である。これにより、粉塵領域をさらに高い精度で検出することができる。

第１奥行推定部１１１ａおよび第２奥行推定部１１１ｂは、上述の奥行推定部１１１としての機能を有する。

第１奥行推定部１１１ａは、光源１０１による赤外光の照射のタイミングに応じて取得されたＩＲ画像に基づいて、そのＩＲ画像内の各位置での奥行きを推定する。第１奥行推定部１１１ａは、推定されたそのＩＲ画像内の各位置での奥行きを示す情報を、第１奥行情報として出力する。つまり、第１奥行推定部１１１ａは、ＩＲ画像内の各位置での奥行きを示す第１奥行情報を推定する。

第２奥行推定部１１１ｂは、ＢＷ画像と、ＩＲ画像内の粉塵領域とに基づいて、第１奥行情報を補正する。これにより、第１奥行情報によって示される、ＩＲ画像内の各位置での奥行きのうち、粉塵領域の奥行きが補正される。第２奥行推定部１１１ｂは、この粉塵領域内の各位置での補正後の奥行きを示す情報を、第２奥行情報として出力する。つまり、第２奥行推定部１１１ｂは、第１奥行情報によって示される粉塵領域内の各位置での奥行きをＢＷ画像に基づいて補正することによって、その粉塵領域内の各位置での補正後の奥行きを示す第２奥行情報を推定する。

出力部１１８は、第１奥行情報によって示される、粉塵領域内の各位置での奥行きを、第２奥行情報によって示される、粉塵領域内の各位置での補正後の奥行きに置き換える。これによって、第１奥行情報によって示される、ＩＲ画像の粉塵領域以外の各位置での奥行きと、第２奥行情報によって示される、ＩＲ画像の粉塵領域内の各位置での補正後の奥行きとを含む、第３奥行情報が生成される。出力部１１８は、その第３奥行情報を出力する。

これにより、第３奥行情報は、ＩＲ画像の粉塵領域外の奥行きとして、そのＩＲ画像から得られた奥行きを示し、ＩＲ画像の粉塵領域の奥行きとして、そのＩＲ画像から得られ、ＢＷ画像に基づいて補正された奥行きを示す。したがって、本実施の形態では、ＩＲ画像に粉塵領域がある場合であっても、そのＩＲ画像の全体の奥行きを適切に推定することができる。

図９Ａは、ＩＲ画像の一例を示す。図９Ｂは、ＢＷ画像の一例を示す。

図９Ｂに示すように、ＢＷ画像では、例えば車両に取り付けられたＢＷカメラ１０３による撮像によって、その車両が走行している道路の周囲がＢＷカメラ１０３から遠のくシーンが映し出されている。この道路には、例えば車両の走行によって粉塵が舞い上がっている。そこで、ＩＲカメラ１０２が、その図９Ｂに示すシーンと同一のシーンを、ＢＷカメラ１０３と同じ視点および同じ時刻で撮像すると、図９Ａに示すＩＲ画像が取得される。

上述のように取得されたＩＲ画像には、図９Ａに示すように、高い輝度の領域が存在する。これらの領域には、粉塵が映し出された領域、すなわち、粉塵領域が含まれる。例えば、ＩＲ画像の中央部と右側の部分にその粉塵領域が存在することが確認される。一方、ＢＷ画像には、粉塵は映し出されていない。これは、ＩＲ画像の撮像では、光源１０１から照射された赤外光がＩＲカメラ１０２およびＢＷカメラ１０３の近傍にある粉塵によって乱反射されるが、ＢＷ画像の撮像では、その乱反射の影響が小さいからである。そこで、粉塵検出部１１２は、ＩＲ画像では粉塵領域は観測されるが、ＢＷ画像では観測されないという性質を利用して、粉塵領域を検出する。

図１０は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す。

高輝度領域検出部１１６は、図９Ａに示すＩＲ画像において、第１閾値以上の輝度を有する領域を高輝度領域として検出する。つまり、高輝度領域検出部１１６は、ＩＲ画像内の各位置（すなわち各画素）での輝度を二値化する。その結果、例えば、図１０に示すように、白色の領域と、黒色の領域（図１０ではハッチングされている領域）とからなる二値化画像が生成される。

図１１は、ＩＲ画像内の粉塵領域の候補の一例を示す。

粉塵検出部１１２は、まず、二値化画像内の白色の領域である高輝度領域の重心を検出する。このような重心の検出は、二値化画像内の全ての高輝度領域のそれぞれに対して行われる。次に、粉塵検出部１１２は、その二値化画像における全ての高輝度領域のそれぞれについて、その高輝度領域の重心に対応する、ＢＷ画像内の位置（以下、重心対応位置という）の輝度が、第２閾値未満であるか否かを判別する。つまり、粉塵検出部１１２は、高輝度領域が上述の第２条件を満たすか否かを判別する。その結果、粉塵検出部１１２は、輝度が第２閾値未満と判別された重心対応位置に対応する高輝度領域を、粉塵領域の候補として決定する。例えば、図１１に示すように、粉塵検出部１１２は、５つの高輝度領域Ａ〜Ｅのそれぞれを、粉塵領域の候補として検出する。つまり、ＩＲ画像または二値化画像が、５つの粉塵候補領域Ａ〜Ｅと、粉塵領域ではない非粉塵領域とに領域分割される。

図１２は、ＢＷ画像に対して検出されるＦＯＥの一例を示す。

ＦＯＥ検出部１１７は、例えば図９Ｂに示すＢＷ画像を含む複数フレームのＢＷ画像からオプティカルフローを検出し、ＲＡＮＳＡＣ（Random Sample Consensus）などのロバスト推定によりオプティカルフローの交点を求めることによって、ＦＯＥを検出する。

図１３は、粉塵候補領域Ａ〜Ｅに対して検出される主軸の一例を示す。

粉塵検出部１１２は、図１１に示すように検出された粉塵候補領域Ａ〜Ｅのそれぞれに対して主軸を検出する。具体的には、粉塵検出部１１２は、ＩＲ画像または二値化画像における粉塵候補領域の各画素に対して主成分分析を行うことによって、第１主成分軸をその粉塵候補領域の主軸として検出する。

図１４は、粉塵領域および非粉塵領域の一例を示す。

粉塵検出部１１２は、ＩＲ画像または二値化画像における粉塵候補領域Ａ〜Ｅのそれぞれについて、その粉塵候補領域の主軸またはその主軸の延長線が、ＦＯＥ検出部１１７によって検出されたＦＯＥに交わるか否かを判定する。つまり、粉塵検出部１１２は、粉塵候補領域が上述の第１条件を満たすか否かを判定する。そして、粉塵検出部１１２は、ＦＯＥに交わる主軸または延長線を有する粉塵候補領域を粉塵領域として検出し、ＦＯＥに交わらない主軸または延長線を有する粉塵候補領域を非粉塵領域として検出する。例えば、図１４に示すように、粉塵候補領域Ｂ、ＣおよびＥのそれぞれの主軸の延長線はＦＯＥに交わり、粉塵候補領域ＡおよびＤのそれぞれの主軸およびその延長線はＦＯＥに交わらない。したがって、粉塵検出部１１２は、粉塵候補領域Ｂ、ＣおよびＥを粉塵領域として検出し、粉塵候補領域ＡおよびＤを非粉塵領域として検出する。

図１５Ａは、ＩＲ画像の他の例を示す。図１５Ｂは、ＢＷ画像の他の例を示す。

図１５Ｂに示すＢＷ画像は、図９Ｂに示すＢＷ画像とは異なるタイミングの撮像によって得られた画像である。この図１５Ｂに示すＢＷ画像でも、図９Ｂに示す例と同様、車両に取り付けられたＢＷカメラ１０３による撮像によって、その車両が走行している道路の周囲がＢＷカメラ１０３に近づくシーンが映し出されている。また、この道路には、例えば車両の走行によって粉塵が舞い上がっている。そこで、ＩＲカメラ１０２が、その図１５Ｂに示すシーンと同一のシーンを、ＢＷカメラ１０３と同じ視点および同じ時刻で撮像すると、図１５Ａに示すＩＲ画像が取得される。

このように取得されたＩＲ画像には、図１５Ａに示すように、高い輝度の領域が存在する。これらの領域には、粉塵が映し出された領域、すなわち、粉塵領域が含まれる。例えば、ＩＲ画像の左側の部分にその粉塵領域が存在することが確認される。一方、図９Ｂに示す例と同様、ＢＷ画像には、粉塵は映し出されていない。

図１６は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す。

高輝度領域検出部１１６は、図１５Ａに示すＩＲ画像において、第１閾値以上の輝度を有する領域を高輝度領域として検出する。つまり、高輝度領域検出部１１６は、ＩＲ画像内の各位置（すなわち各画素）での輝度を二値化する。その結果、例えば、図１６に示すように、白色の領域と、黒色の領域（図１６ではハッチングされている領域）とからなる二値化画像が生成される。

図１７は、ＩＲ画像内の粉塵領域の候補の一例を示す。

粉塵検出部１１２は、まず、二値化画像内の白色の領域である高輝度領域の重心を検出する。このような重心の検出は、二値化画像内の全ての高輝度領域のそれぞれに対して行われる。次に、粉塵検出部１１２は、その二値化画像における全ての高輝度領域のそれぞれについて、その高輝度領域の重心に対応する、ＢＷ画像内の位置（すなわち重心対応位置）の輝度が、第２閾値未満であるか否かを判別する。つまり、粉塵検出部１１２は、高輝度領域が上述の第２条件を満たすか否かを判別する。その結果、粉塵検出部１１２は、輝度が第２閾値未満と判別された重心対応位置に対応する高輝度領域を、粉塵領域の候補として決定する。例えば、図１７に示すように、粉塵検出部１１２は、複数の高輝度領域からなる領域群Ａと、高輝度領域Ｂと、複数の高輝度領域からなる領域群Ｃと、高輝度領域Ｄのそれぞれを、粉塵領域の候補として検出する。つまり、ＩＲ画像または二値化画像が、粉塵候補領域と、粉塵領域ではない非粉塵領域とに領域分割される。粉塵候補領域は、領域群Ａに含まれる各領域と、領域Ｂと、領域群Ｃに含まれる各領域と、領域Ｄとからなる。

図１８は、ＢＷ画像に対して検出されるＦＯＥの一例を示す。

ＦＯＥ検出部１１７は、例えば図１５Ｂに示すＢＷ画像を含む複数フレームのＢＷ画像からオプティカルフローを検出し、ＲＡＮＳＡＣ（Random Sample Consensus）などのロバスト推定によりオプティカルフローの交点を求めることによって、ＦＯＥを検出する。

図１９は、各粉塵候補領域の配置の一例を示す。

例えば、ＩＲカメラ１０２を搭載する車両の車速が速い場合には、上述のように、フレーム周期内における互いに異なるタイミングでの露光によって、同一の粉塵が、１フレームのＩＲ画像における複数の箇所に映し出される。粉塵はＦＯＥから吹き出すように移動しているため、その複数の箇所のそれぞれにある粉塵領域とＦＯＥとは直線上に配置される。また、ＩＲカメラ１０２のレンズに、広角レンズまたは魚眼レンズなどが用いられる場合には、そのレンズの歪みは大きい。レンズ歪みの影響が大きい場合、画面上の見かけの動きであるオプティカルフローは、１点で交わらず、そのため、各粉塵領域およびＦＯＥも直線上には存在しない。このように、レンズの歪みが大きい場合、各粉塵領域およびＦＯＥはレンズ歪みの影響で円弧上に配置される。

図１９に示す例の場合、粉塵検出部１１２は、図１７に示すように検出された領域群Ａの各粉塵候補領域と、粉塵候補領域Ｂと、領域群Ｃの各粉塵候補領域と、粉塵候補領域ＤのそれぞれがＦＯＥとともに円弧上に配置されているか否かを判定する。つまり、粉塵検出部１１２は、１つの粉塵候補領域に対して判定を行う場合、その判定対象の粉塵候補領域とは異なる他の少なくとも２つの粉塵候補領域のそれぞれの重心と、ＢＷ画像のＦＯＥとに交わる円弧上に、その判定対象の粉塵候補領域の重心が配置されているか否かを判定する。つまり、粉塵検出部１１２は、粉塵候補領域である高輝度領域が上述の第１条件を満たすか否かを判定する。粉塵検出部１１２は、判定対象の粉塵候補領域の重心が円弧上に配置されていれば、その粉塵候補領域を粉塵領域として検出する。逆に、粉塵検出部１１２は、判定対象の粉塵候補領域の重心が円弧上に配置されていなければ、その粉塵候補領域を非粉塵領域として検出する。

したがって、図１９に示す例では、領域群Ａに含まれる複数の粉塵候補領域のそれぞれとＦＯＥとは円弧上に配置されているため、粉塵検出部１１２は、領域群Ａに含まれる複数の粉塵候補領域のそれぞれを粉塵領域として検出する。同様に、領域群Ｂに含まれる複数の粉塵候補領域のそれぞれとＦＯＥとは円弧上に配置されているため、粉塵検出部１１２は、領域群Ｂに含まれる複数の粉塵候補領域のそれぞれも粉塵領域として検出する。一方、粉塵候補領域ＢおよびＤのそれぞれは、他の少なくとも２つの粉塵候補領域とＦＯＥとに交わる円弧上に配置されていないため、粉塵検出部１１２は、粉塵候補領域ＢおよびＤのそれぞれを非粉塵領域として検出する。

なお、粉塵検出部１１２は、レンズの歪みが大きい場合には、撮像されたＢＷ画像とＩＲ画像に対して歪み補正処理を実施してもよい。例えば、粉塵検出部１１２は、非特許文献（R. Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses”， IEEE Journal on Robotics and Automation， Vol. 3, Iss. 4, pp．323 - 344，1987.）などのカメラキャリブレーション方法を利用することによって、歪み補正処理を実施してもよい。この場合、粉塵検出部１１２は、歪み補正処理が実施されたＩＲ画像またはその二値化画像において、判定対象の粉塵候補領域が、他の少なくとも２つの粉塵候補領域とＦＯＥとに交わる直線上に配置されていれば、その判定対象の粉塵候補領域を粉塵領域として検出する。

図２０は、奥行取得装置１のシミュレーション結果を示す。

奥行取得装置１は、ＢＷカメラ１０３による撮像によって、図２０の（ａ）に示すＢＷ画像を取得し、さらに、ＩＲカメラ１０２による撮像によって、図２０の（ｂ）に示すＩＲ画像を取得する。このＢＷ画像およびＩＲ画像は、同一のシーンを同一の視点および同一の時刻で撮像することによって得られる画像である。図２０の（ｂ）に示す例では、ＩＲ画像に幾つかの粉塵領域が存在している。

第１奥行推定部１１１ａは、そのＩＲ画像から奥行きを推定することによって、図２０の（ｃ）に示す第１奥行情報を生成する。この第１奥行情報は、ＩＲ画像内の各位置での奥行きを輝度によって示す第１奥行画像として表現される。この第１奥行画像では、粉塵領域の奥行きが不適切に表現されている。

第２奥行推定部１１１ｂは、その粉塵領域における不適切な奥行きを補正する。そして、出力部１１８は、図２０の（ｅ）に示すように、その粉塵領域の補正された奥行きと、非粉塵領域の奥行きとを示す第３奥行情報を生成する。この第３奥行情報も、第１奥行情報と同様、奥行きを輝度によって示す第３奥行画像として表現される。なお、第２奥行推定部１１１ｂは、第１奥行画像における非粉塵領域の奥行きも、ＢＷ画像の対応領域に基づいて補正してもよい。

このように、本実施の形態における奥行取得装置１では、粉塵領域を含む画像全体において、第３奥行画像を、図２０の（ｄ）に示す正解の奥行画像に近づけることができる。

［奥行取得装置の具体的な処理フロー］
図２１は、図８に示す奥行取得装置１の全体的な処理動作を示すフローチャートである。

（ステップＳ３１）
まず、高輝度領域検出部１１６は、ＩＲ画像から高輝度領域を検出する。

（ステップＳ３２）
粉塵検出部１１２は、高輝度領域が粉塵候補領域であるか否かを決定する。これにより、ＩＲ画像が粉塵候補領域と非粉塵領域とに分割される。

（ステップＳ３３）
ＦＯＥ検出部１１７は、ＢＷ画像を利用してＦＯＥを検出する。

（ステップＳ３４）
粉塵検出部１１２は、粉塵候補領域とＦＯＥとに基づいて、粉塵領域を検出する。これにより、ＩＲ画像が粉塵領域と非粉塵領域とに分割される。

（ステップＳ３５）
第１奥行推定部１１１ａは、例えばＴＯＦを用いてＩＲ画像から第１奥行情報を生成する。

（ステップＳ３６）
第２奥行推定部１１１ｂは、ＩＲ画像の第１奥行情報とＢＷ画像とに基づいて、粉塵領域の奥行きを示す第２奥行情報を生成する。

（ステップＳ３７）
出力部１１８は、その第１奥行情報によって示される粉塵領域の奥行きを、第２奥行情報によって示される奥行きに置き換えることによって、第３奥行情報を生成する。

図２２は、図２１のステップＳ３１〜Ｓ３４の詳細な処理の一例を示すフローチャートである。

（ステップＳ４１）
まず、高輝度領域検出部１１６は、ＩＲ画像内の各位置での輝度が第１閾値以上であるか否かを判定する。ここで、第１閾値は、例えばＩＲ画像が１２ビット階調の画像であれば、２５６程度であってもよい。もちろん、この第１閾値は、環境条件またはＩＲカメラ１０２の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、ＩＲ画像全体の輝度が低くなるため、第１閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、ＩＲカメラ１０２の露光時間が長い場合、ＩＲ画像全体の輝度が高くなるため、第１閾値は、露光時間が短い場合よりも、大きい値でもよい。

（ステップＳ４２）
ここで、何れの位置での輝度も第１閾値以上ではないと判定すると（ステップＳ４１のＮｏ）、高輝度領域検出部１１６は、そのＩＲ画像において粉塵は映し出されていないと判定する。つまり、ＩＲ画像の全体が非粉塵領域として判定される。

（ステップＳ４３）
一方、何れかの位置での輝度が第１閾値以上であると判定すると（ステップＳ４１のＹｅｓ）、高輝度領域検出部１１６は、ＩＲ画像を領域分割する。つまり、高輝度領域検出部１１６は、ＩＲ画像を、少なくとも１つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばＳｕｐｅｒＰｉｘｅｌなど、輝度による手法を利用してもよい。なお、高輝度領域検出部１１６は、その領域分割に、領域の大きさを利用したフィルタリング処理を行ってもよい。例えば、高輝度領域検出部１１６は、高輝度領域内の画素数が、予め定められた数以下であれば、その高輝度領域を削除してもよい。つまり、高輝度領域検出部１１６は、高輝度領域を検出しても、その領域の画素数が少なければ、その高輝度領域を、高輝度領域以外の領域に分類し直してもよい。

（ステップＳ４４）
次に、粉塵検出部１１２は、ステップＳ４３の領域分割によって検出された少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域の重心を検出する。具体的には、粉塵検出部１１２は、高輝度領域に含まれる複数の画素のＸ軸座標位置およびＹ軸座標位置のそれぞれの平均値を算出することによって、その高輝度領域の重心を検出する。

（ステップＳ４５ａ）
粉塵検出部１１２は、その高輝度領域の重心に対応するＢＷ画像内の位置（すなわち重心対応位置）の輝度が第２閾値未満であるか否かを判定する。つまり、粉塵検出部１１２は、高輝度領域が第２条件を満たすか否かを判定する。第２閾値未満でないと判定すると（ステップＳ４５ａのＮｏ）、粉塵検出部１１２は、その高輝度領域を非粉塵領域として判別する（ステップＳ４２）。つまり、この場合には、ＩＲ画像の高輝度領域と、ＢＷ画像内のその高輝度領域に対応する領域とのそれぞれで、光の反射率が高い被写体が映し出されていると推定される。したがって、この場合には、その高輝度領域が非粉塵領域として判別される。なお、第２閾値は、例えばＢＷ画像が１２ビット階調の画像であれば、２０，０００程度であってもよい。もちろん、この第２閾値は、環境条件またはＢＷカメラ１０３の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、ＢＷ画像全体の輝度が低くなるため、第２閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、ＢＷカメラ１０３の露光時間が長い場合、ＢＷ画像全体の輝度が高くなるため、第２閾値は、露光時間が短い場合よりも、大きい値でもよい。

（ステップＳ４６）
一方、粉塵検出部１１２によって、重心対応位置の輝度が第２閾値未満であると判定されると（ステップＳ４５ａのＹｅｓ）、ＦＯＥ検出部１１７は、ＢＷ画像に基づいてＦＯＥを検出する。

（ステップＳ４７ａ）
粉塵検出部１１２は、ステップＳ４４において検出された３つ以上の粉塵候補領域の重心とＦＯＥとが直線上に配置されているか否かを判定する。つまり、粉塵検出部１１２は、粉塵候補領域が上述の第１条件を満たすか否かを判定する。具体的には、粉塵検出部１１２は、３つ以上の粉塵候補領域のそれぞれの重心と、ＦＯＥに交わる直線とのフィッティングを行い、その直線と、各重心との間の誤差（すなわち距離）が許容値以下であるか否かを判定する。これによって、３つ以上の粉塵候補領域のそれぞれの重心とＦＯＥとが直線上に配置されているか否かが判定される。誤差が許容値以下であれば、それらの粉塵候補領域の重心とＦＯＥとが直線上に配置されていると判定され、誤差が許容値以下でなければ、それらの粉塵候補領域の重心とＦＯＥとが直線上に配置されていないと判定される。

（ステップＳ５０）
粉塵検出部１１２は、各粉塵候補領域の重心とＦＯＥとが直線上に配置されていると判定すると（ステップＳ４７ａのＹｅｓ）、それらの粉塵候補領域を粉塵領域として判別する。

（ステップＳ４８）
一方、粉塵検出部１１２は、３つ以上の粉塵候補領域の重心とＦＯＥとが直線上に配置されていないと判定すると（ステップＳ４７ａのＮｏ）、各粉塵候補領域の主軸を検出する。

（ステップＳ４９）
次に、粉塵検出部１１２は、ステップＳ４８で検出された各粉塵候補領域の主軸またはその延長線がＦＯＥに交わるか否かを判定する。つまり、粉塵検出部１１２は、粉塵候補領域がステップＳ４７ａの第１条件とは異なる他の第１条件を満たすか否かを判定する。ここで、粉塵検出部１１２は、主軸またはその延長線がＦＯＥに交わると判定すると（ステップＳ４９のＹｅｓ）、その主軸を有する粉塵候補領域を粉塵領域として判別する（ステップＳ５０）。一方、粉塵検出部１１２は、主軸またはその延長線がＦＯＥに交わらないと判定すると（ステップＳ４９のＮｏ）、その主軸を有する粉塵候補領域を非粉塵領域として判別する（ステップＳ４２）。

このような手法では、視点位置が実質的に等しいＩＲ画像とＢＷ画像が必要である。本実施の形態における奥行取得装置１では、画素ごとに、その画素に用いられるフィルタがＩＲフィルタおよびＢＷフィルタの何れかに設定されている。つまり、図２に示すように、ＩＲフィルタを有する第１画素２１と、ＢＷフィルタを有する第２画素２２とが列方向に交互に配列されている。これにより、実質的に同一視点および同一時刻のＩＲ画像とＢＷ画像とを取得できるため、粉塵領域を適切に判別することができる。

図２３は、図２１のステップＳ３１〜Ｓ３４の詳細な処理の他の例を示すフローチャートである。図２３に示すフローチャートは、図２２のフローチャートの各ステップのうちのステップＳ４７ａの代わりに、ステップＳ４７ｂを含む。

（ステップＳ４７ｂ）
例えば、ＩＲカメラ１０２のレンズの歪みが大きい場合には、上述のように、各粉塵領域およびＦＯＥは直線上に配置されずに、レンズ歪みに応じた円弧上に配置される。

したがって、粉塵検出部１１２は、ステップＳ４４において検出された３つ以上の粉塵候補領域の重心とＦＯＥとが円弧上に配置されているか否かを判定してもよい。具体的には、粉塵検出部１１２は、３つ以上の粉塵候補領域のそれぞれの重心とＦＯＥとの近似曲線を求め、その近似曲線と、各重心との間の誤差（すなわち距離）が許容値以下であるか否かを判定する。これによって、３つ以上の粉塵候補領域のそれぞれの重心とＦＯＥとが円弧上に配置されているか否かが判定される。すなわち、誤差が許容値以下であれば、それらの粉塵候補領域の重心とＦＯＥとが円弧上に配置されていると判定され、誤差が許容値以下でなければ、それらの粉塵候補領域の重心とＦＯＥとが円弧上に配置されていないと判定される。なお、上述の近似曲線は、判定対象とされる３つ以上の粉塵候補領域の数以下の次数で表現される。

また、ステップＳ４６では、ＦＯＥ検出部１１７は、ＢＷ画像ではなく、複数のＩＲ画像からオプティカルフローを検出し、ＲＡＮＳＡＣなどのロバスト推定によりオプティカルフローの交点を求め、その交点をＦＯＥとして検出してもよい。また、ＦＯＥ検出部１１７は、ＩＲカメラ１０２またはＢＷカメラ１０３の動きを検出し、その動きと、ＩＲカメラ１０２またはＢＷカメラ１０３の内部パラメータとを利用した演算によって、ＦＯＥを検出してもよい。

図２４は、図２１のステップＳ３１〜Ｓ３４の代わりの処理の一例を示すフローチャートである。図２４に示すフローチャートでは、図２１のステップＳ３２が省かれている。言い換えれば、図２４に示すフローチャートでは、図２２のフローチャートのステップＳ４５ａが省かれている。

つまり、図２１〜図２３に示す例では、粉塵検出部１１２は、粉塵はＩＲ画像で観測されてもＢＷ画像では観測されないという性質を利用して、高輝度領域が粉塵候補領域であるか否かを判定する。つまり、図２２および図２３のそれぞれのステップＳ４５ａに示すように、粉塵検出部１１２は、ＢＷ画像における重心対応位置の輝度に基づいて、高輝度領域が粉塵候補領域であるか否かを判定する。しかし、図２４に示すフローチャートのように、粉塵検出部１１２は、ステップＳ４５ａの判定を行わなくてもよい。この場合には、ステップＳ４３の領域分割によって得られる何れの高輝度領域も、粉塵候補領域として扱われる。

図２５は、図２１のステップＳ３１〜Ｓ３４の詳細な処理の他の例を示すフローチャートである。図２５に示すフローチャートは、図２２のフローチャートの各ステップのうちのステップＳ４５ａの代わりに、ステップＳ４５ｂを含む。

粉塵候補領域の決定のために、粉塵はＩＲ画像では観測されてもＢＷ画像では観測されないという性質をより積極的に利用してもよい。例えば、ＩＲ画像とＢＷ画像の相関係数をその性質として利用してもよい。前述のように、粉塵が存在していれば、ＩＲ画像にはその粉塵は映し出されるが、ＢＷ画像にはその粉塵は映し出されない。つまり、ＢＷ画像では、より遠方の被写体が映し出されているため、それぞれ視点位置が等しいＩＲ画像とＢＷ画像とで画像が大きく異なる。そこで、ＩＲ画像とＢＷ画像との相関係数を利用して、映し出されている被写体が等しいか、そうでないかを判断することで、各高輝度領域が粉塵候補領域であるか否かを判別することができる。

（ステップＳ４５ｂ）
ステップＳ４５ｂでは、粉塵検出部１１２は、ステップＳ４３の領域分割によって得られる少なくとも１つの高輝度領域のそれぞれについて、ＩＲ画像のその高輝度領域と、その高輝度領域に対応するＢＷ画像内の領域（すなわち対応領域）との間における輝度の相関係数を算出する。相関係数は、ＩＲ画像とＢＷ画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を計算し、画素数で正規化することによって求められる。つまり、粉塵検出部１１２は、ＩＲ画像の高輝度領域における各画素の輝度からなるベクトルと、ＢＷ画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関係数が算出される。

そして、粉塵検出部１１２は、その算出された相関係数が第３閾値未満であるか否かを判定する。つまり、粉塵検出部１１２は、その高輝度領域が上述の第２条件を満たすか否かを判定する。ここで、第３閾値未満でない場合（ステップＳ４５ｂのＮｏ）、そのＩＲ画像の高輝度領域と、ＢＷ画像の対応領域とで同じ被写体が映し出されているために、相関係数が高い可能性がある。したがって、この場合には、粉塵検出部１１２は、その高輝度領域が粉塵領域でないと判別する（ステップＳ４２）。一方、相関係数が第３閾値未満である場合（ステップＳ４５ｂのＹｅｓ）、そのＩＲ画像の高輝度領域と、ＢＷ画像の対応領域とで異なる被写体が映し出されているために、相関係数が低い可能性がある。したがって、この場合には、粉塵検出部１１２は、その高輝度領域が粉塵候補領域であると判別する（ステップＳ５０）。

また、粉塵領域と非粉塵領域の判別に、学習処理を利用して実現してもかまわない。学習処理には、例えばＤｅｅｐ Ｌｅａｒｎｉｎｇなどの処理を利用すればよい。この場合、学習のために、ＩＲ画像およびＢＷ画像と、そのＩＲ画像が粉塵領域と非粉塵領域とに分割された正解画像とを事前に用意する。次に、入力としてそのＩＲ画像およびＢＷ画像を学習モデルに与える。そして、その入力に対する学習モデルからの出力が正解画像と一致するように、その学習モデルに学習させる。例えば、学習モデルは、ニューラルネットワークである。その学習モデルからの出力は、画素ごとに数値「０」または数値「１」を示す画像であって、数値「０」は、その画素が非粉塵領域に属することを示すし、数値「１」は、その画素が粉塵領域に属することを示す。

粉塵検出部１１２は、このように事前に学習を行った学習モデルを利用することで、粉塵領域と非粉塵領域の判別を行う。つまり、粉塵検出部１１２は、入力としてＩＲ画像とＢＷ画像を学習モデルに入力する。そして、粉塵検出部１１２は、学習モデルから出力される数値「０」に対応する画素を含む領域を非粉塵領域として判別する。さらに、粉塵検出部１１２は、学習モデルから出力される数値「１」に対応する画素を含む領域を粉塵領域として判別する。

以上の処理により、粉塵検出部１１２は、撮像されたＩＲ画像を、粉塵が映し出されている粉塵領域と、粉塵が映し出されていない非粉塵領域とに分割する。

＜奥行補正処理＞
第２奥行推定部１１１ｂは、ＢＷ画像、第１奥行情報、および粉塵領域（すなわち上述の領域の判別結果）を利用し、第２奥行情報を生成する。

上述のように、粉塵によるノイズは、光源１０１から照射される赤外光の乱反射による現象である。そのため、ＩＲ画像にノイズとして映し出される粉塵は、ＢＷ画像には映し出されていないことが多い。そこで、粉塵領域のみ、ＩＲ画像から求めた第１奥行情報ではなく、ＢＷ画像を利用して第１奥行情報を補正することにより、ＩＲ画像に映し出されている粉塵の影響を受けていない第２奥行情報を取得することができる。

第２奥行情報の取得では、画像補正フィルタの一種であるガイデッドフィルタを利用してもよい。ガイデッドフィルタについては、非特許文献（Kaiming He, Jian Sun and Xiaoou Tang, “Guided Image Filtering”， IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol. 35, Iss. 6, pp．1397 - 1409，2013.）に開示されている。ガイデッドフィルタは、対象画像と参照画像との相関を利用して、その対象画像を補正するフィルタである。ガイデッドフィルタでは、参照画像Ｉと対象画像ｐは、以下の（式２）で示されるようにパラメータａとｂで表現されると仮定する。

ここで、ｑは対象画像ｐを補正した出力画像、ｉは各画素の番号、ωｋは画素ｋの周辺領域を表す。また、パラメータａとｂは、以下の（式３）で表現される。

ただし、εは正則化パラメータである。また、μとσは、参照画像のブロック内の平均と分散であり、以下の（式４）で計算される。

ただし、求めたパラメータａとｂに含まれるノイズを抑えるため、平均化したパラメータを利用し、出力は以下の（式５）のように求められる。

本実施の形態では、第２奥行推定部１１１ｂは、参照画像としてＢＷ画像を与えることで、対象画像である第１奥行情報（または第１奥行画像）を補正する。これにより、第２奥行情報が生成または取得される。このような第２奥行情報の生成には、実質的に視点位置の等しいＩＲ画像とＢＷ画像が必要である。本実施の形態の奥行取得装置１では、画素ごとに、その画素に用いられるフィルタがＩＲフィルタおよびＢＷフィルタの何れかに設定されている。つまり、図２に示すように、ＩＲフィルタを有する第１画素２１と、ＢＷフィルタを有する第２画素２２とが列方向に交互に配列されている。これにより、実質的に同一視点のＩＲ画像とＢＷ画像とを取得できるため、適切な第２奥行情報を取得することができる。

もちろん、第２奥行推定部１１１ｂは、ガイデッドフィルタ以外の処理を用いてもよい。例えば、第２奥行推定部１１１ｂは、バイラテラルフィルタ（非特許文献：C. Tomasi, R. Manduchi, “Bilateral filtering for gray and color images”， IEEE International Conference on Computer Vision (ICCV), pp．839 - 846，1998）、または、Ｍｕｔｕａｌ−Ｓｔｒｕｃｔｕｒｅ ｆｏｒ Ｊｏｉｎｔ Ｆｉｌｔｅｒｉｎｇ（非特許文献：Xiaoyong Shen, Chao Zhou, Li Xu and Jiaya Jia, “Mutual-Structure for Joint Filtering”, IEEE International Conference on Computer Vision (ICCV), 2015.）などの処理を用いてもよい。

以上のように、本実施の形態では、粉塵が映し出されていないと判別された領域（すなわち非粉塵領域）には第１奥行情報を利用し、粉塵が映し出されている領域（すなわち粉塵領域）には第２奥行情報を利用する。これにより、ＩＲ画像に粉塵が映し出されていても、より高精度の奥行情報を取得することができる。

（変形例）
上記実施の形態では、第２奥行情報の生成に、ガイデッドフィルタなどのフィルタを用いたが、学習モデルを用いて第２奥行情報を生成してもよい。

例えば、非特許文献（Shuran Song, Fisher Yu, Andy Zeng, Angel X. Chang, Manolis Savva and Thomas Funkhouser, “Semantic Scene Completion from a Single Depth Image”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 190-198, 2017.）のように、学習処理であるＤｅｅｐ Ｌｅａｒｎｉｎｇを利用してもよい。つまり、ＢＷ画像と第１奥行情報とが入力されると、第２奥行情報が出力されるように、学習モデルに学習させてもよい。上記非特許文献では、欠損領域を含む奥行情報とカラー画像とが入力されると、その奥行情報の欠損領域を補間するネットワークが提案されている。本実施の形態における第２奥行推定部１１１ｂは、その非特許文献と同様のネットワーク（すなわち学習モデル）に、ＩＲ画像、ＢＷ画像、および第１奥行情報を与え、さらに、粉塵検出部１１２によって検出された粉塵領域を欠損領域のマスク画像として与える。これにより、より高精度の第２奥行情報をそのネットワークから取得することができる。

図２６は、本変形例における奥行取得装置１の機能構成の一例を示すブロック図である。

本変形例における奥行取得装置１は、図８に示す各構成要素を備えるとともに、さらに、例えばニューラルネットワークなどからなる学習モデル１０４を備える。

第２奥行推定部１１１ｂは、その学習モデル１０４に対して、ＩＲ画像、ＢＷ画像、および第１奥行情報の３種類のデータを入力し、補正されるマスク領域として粉塵領域を利用して、第２奥行情報を生成する。

学習モデル１０４の学習では、ＩＲ画像、ＢＷ画像、および第１奥行情報に加え、正解奥行画像を事前に用意する。次に、ＩＲ画像と、ＢＷ画像と、第１奥行情報と、粉塵領域を指定するマスク画像とを入力として学習モデル１０４に与える。そして、その入力に対する学習モデル１０４からの出力が正解奥行画像と一致するように、その学習モデル１０４に学習させる。なお、学習時には、マスク画像はランダムに与えられる。第２奥行推定部１１１ｂは、このように事前に学習を行った学習モデル１０４を利用する。つまり、第２奥行推定部１１１ｂは、ＩＲ画像と、ＢＷ画像と、第１奥行情報と、粉塵領域を指定するマスク画像とを学習モデル１０４に入力することで、その学習モデル１０４から出力される第２奥行情報を取得することができる。

このように、本変形例では、第２奥行推定部１１１ｂは、ＩＲ画像内の各位置での奥行きを示す奥行情報を推定し、ＩＲ画像、ＢＷ画像、粉塵領域、およびその奥行情報を学習モデルに入力することによって、その奥行情報によって示される、粉塵領域内の各位置での奥行きを補正する。したがって、ＩＲ画像、ＢＷ画像、粉塵領域、および奥行情報の入力に対して、粉塵領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、ＩＲ画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、粉塵領域内の各位置で奥行きを、適切に補正することができる。

以上のように、第２奥行推定部１１１ｂは、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを利用してもかまわない。その場合、粉塵領域を出力する必要はなく、Ｄｅｅｐ Ｌｅａｒｎｉｎｇにより直接、第２奥行情報を生成してもかまわない。

図２７は、本変形例における奥行取得装置１の機能構成の他の例を示すブロック図である。

本変形例における奥行取得装置１は、図２６に示す各構成要素のうち、粉塵検出部１１２、高輝度領域検出部１１６、およびＦＯＥ検出部１１７を備えておらず、これら以外の構成要素を備える。

学習モデル１０４の学習では、図２６に示す例と同様、ＩＲ画像、ＢＷ画像、および第１奥行情報に加え、正解奥行画像を事前に用意する。次に、ＩＲ画像と、ＢＷ画像と、第１奥行情報とを入力として学習モデル１０４に与える。そして、その入力に対する学習モデル１０４からの出力が正解奥行画像と一致するように、その学習モデル１０４に学習させる。学習モデル１０４としては、非特許文献（Caner Hazirbas, Laura Leal-Taixe and Daniel CremersC. Hazirbas, “Deep Depth From Focus”, In ArXiv preprint arXiv, 1704.01085, 2017.）のように、スキップ結合を追加したＶＧＧ−１６ネットワークを用いてもよい。その学習モデル１０４に対し、入力としてＩＲ画像とＢＷ画像と第１奥行情報とが与えられるように、学習モデル１０４のチャネル数を変更する。このように事前に学習を行った学習モデル１０４を利用することで、第２奥行推定部１１１ｂは、ＩＲ画像とＢＷ画像と第１奥行情報とを学習モデル１０４に入力することで、その学習モデル１０４から第２奥行情報を簡単に取得することができる。

つまり、図２７に示す奥行取得装置１は、メモリとプロセッサ１１０とを備える。なお、メモリは、図２７では図示されていないが、図５に示すように奥行取得装置１に備えられていてもよい。プロセッサ１１０は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。次に、プロセッサ１１０は、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されているＩＲ画像を取得する。次に、プロセッサ１１０は、そのＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されているＢＷ画像を取得する。そして、プロセッサ１１０の第１奥行推定部１１１ａは、そのＩＲ画像内の各位置での奥行きを示す奥行情報を推定する。第２奥行推定部１１１ｂは、そのＩＲ画像、ＢＷ画像、および奥行情報を、学習モデル１０４に入力することによって、その奥行情報によって示される、ＩＲ画像の粉塵領域内の各位置での奥行きを補正する。

したがって、ＩＲ画像、ＢＷ画像、および奥行情報の入力に対して、ＩＲ画像の粉塵領域内の各位置での正解の奥行きが出力されるように、学習モデル１０４に予め学習させておけば、ＩＲ画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、粉塵領域内の各位置で奥行きを、粉塵領域を検出することなく、適切に補正することができる。

以上、本実施の形態およびその変形例における奥行取得装置１では、ＩＲ画像に粉塵領域がある場合であっても、ＢＷ画像の対応領域の画像を用いることによって、その粉塵領域内の各位置での適切な奥行きを取得することができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の奥行取得装置などを実現するソフトウェアは、図６、図７、および図２１〜図２５の何れかのフローチャートに含まれる各ステップをコンピュータに実行させる。

以上、一つまたは複数の態様に係る奥行取得装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態および変形例に施したものや、実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

例えば、上記実施の形態およびその変形例では、粉塵検出部１１２は粉塵領域を検出するが、粉塵と同様にノイズとして物体が映し出されている領域であれば、粉塵領域以外の領域を検出してもかまわない。例えば、粉塵検出部１１２は、雨粒が映し出されている雨領域、または雪粒が映し出されている雪領域を検出してもよい。小雨が降っている環境では、ＢＷカメラ１０３またはＢＷ画像取得部１１５によって取得されるＢＷ画像の解像度に対して雨粒の大きさが十分小さい場合、そのＢＷ画像には雨粒が写りこまない。しかし、ＩＲカメラ１０２またはＩＲ画像取得部１１４で取得されたＩＲ画像では、光源１０１からの赤外光が雨粒に反射して高輝度として観測される。このため、第１奥行推定部１１１ａが生成する第１奥行情報または第１奥行画像では、雨領域の奥行きが不適切になってしまう。同様に、降雪環境においても、ＢＷカメラ１０３またはＢＷ画像取得部１１５によって取得されるＢＷ画像の解像度に対して雪粒の大きさが十分小さい場合、そのＢＷ画像には雪粒が写りこまない。しかし、ＩＲカメラ１０２またはＩＲ画像取得部１１４で取得されたＩＲ画像では、光源１０１からの赤外光が雪粒に反射して高輝度として観測される。このため、第１奥行推定部１１１ａが生成する第１奥行情報または第１奥行画像では、雪領域の奥行きが不適切になってしまう。そこで、粉塵検出部１１２は、粉塵領域の検出と同様の手法で、雨領域または雪領域を検出する。その結果、第２奥行推定部１１１ｂは、ＢＷ画像、第１奥行情報、および粉塵検出部１１２によって検出された領域（すなわち雨領域または雪領域）を利用し、第２奥行情報を生成する。これにより、雨または雪の影響を受けていない第２奥行情報を取得することができる。なお、本開示における粉塵は、例えば塵などの固体の粒子を含むが、固体の粒子に限らず液体の粒子を含んでいてもよい。例えば、本開示における粉塵は、塵、雨粒および雪粒のうちの少なくとも一方を含んでいてもよい。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１、図４、図５、図８、図２６、および図２７に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、ソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

本開示は、撮影によって得られる画像から奥行きを取得する奥行取得装置に適用可能であり、例えば車載機器などとして利用可能である。

１ 奥行取得装置
１０、１０１ 光源
２０ 固体撮像素子
２１ 第１画素（ＩＲ）
２２ 第２画素（ＢＷ）
３０ 処理回路
５０ 拡散板
６０ レンズ
７０ バンドパスフィルタ
１０２ ＩＲカメラ
１０３ ＢＷカメラ
１０４ 学習モデル
１１０ プロセッサ
１１１ 奥行推定部
１１１ａ 第１奥行推定部
１１１ｂ 第２奥行推定部
１１２ 粉塵検出部
１１３ 発光タイミング取得部
１１４ ＩＲ画像取得部
１１５ ＢＷ画像取得部
１１６ 高輝度領域検出部
１１７ ＦＯＥ検出部
１１８ 出力部
２００ メモリ

Claims (18)

1. メモリと、
   プロセッサとを備え、
   前記プロセッサは、
   光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
   前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、
   前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、
   前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、
   前記赤外画像、前記可視光画像、および前記粉塵領域に基づいて、前記粉塵領域の奥行きを推定する、
   奥行取得装置。
2. 前記プロセッサは、
   前記粉塵領域の奥行きの推定では、
   前記赤外画像内の各位置での奥行きを示す第１奥行情報を推定し、
   前記第１奥行情報によって示される前記粉塵領域内の各位置での奥行きを前記可視光画像に基づいて補正することによって、前記粉塵領域内の各位置での補正後の奥行きを示す第２奥行情報を推定し、
   さらに、前記第１奥行情報によって示される、前記赤外画像の前記粉塵領域外の各位置での奥行きと、前記第２奥行情報によって示される、前記赤外画像の前記粉塵領域内の各位置での奥行きとを示す、第３奥行情報を生成する、
   請求項１に記載の奥行取得装置。
3. 前記プロセッサは、前記粉塵領域の検出では、
   前記赤外画像のうち、第１閾値以上の輝度を有する高輝度領域が第１条件を満たす場合に、前記高輝度領域を前記粉塵領域として検出する、
   請求項１または２に記載の奥行取得装置。
4. 前記第１条件は、
   前記赤外画像における前記高輝度領域とは異なる他の少なくとも２つの高輝度領域のそれぞれの重心と、前記赤外画像または前記可視光画像のＦＯＥ（Focus of Expansion）とに交わる直線上または円弧上に、前記高輝度領域の重心が配置されている条件である、
   請求項３に記載の奥行取得装置。
5. 前記第１条件は、
   前記高輝度領域の主軸または前記主軸の延長線が、前記赤外画像または前記可視光画像のＦＯＥ（Focus of Expansion）に交わる条件である、
   請求項３に記載の奥行取得装置。
6. 前記プロセッサは、前記粉塵領域の検出では、
   前記高輝度領域が、さらに、第２条件を満たす場合に、前記高輝度領域を前記粉塵領域として検出する、
   請求項３〜５の何れか１項に記載の奥行取得装置。
7. 前記第２条件は、
   前記赤外画像内の前記高輝度領域の重心に対応する前記可視光画像内の位置の輝度が、第２閾値未満となる条件である、
   請求項６に記載の奥行取得装置。
8. 前記第２条件は、
   前記赤外画像の高輝度領域内の輝度と、前記高輝度領域に対応する前記可視光画像の領域内の輝度との間の相関係数が、第３閾値未満となる条件である、
   請求項６に記載の奥行取得装置。
9. 前記プロセッサは、
   前記粉塵領域の奥行きの推定では、
   前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
   前記赤外画像、前記可視光画像、前記粉塵領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記粉塵領域内の各位置での奥行きを補正する、
   請求項１に記載の奥行取得装置。
10. メモリと、
    プロセッサとを備え、
    前記プロセッサは、
    光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、
    前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像において粉塵が映し出されている粉塵領域内の各位置での奥行きを補正する、
    奥行取得装置。
11. 光源と、
    前記光源が被写体に赤外光を照射するタイミングに応じて、前記被写体を含むシーンの赤外光に基づく撮像を行うことによって、赤外画像を取得する赤外カメラと、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像を取得する可視光カメラと、
    前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出する粉塵検出部と、
    前記赤外画像、前記可視光画像、および前記粉塵領域に基づいて、前記粉塵領域の奥行きを推定する奥行推定部と、
    を備える奥行取得装置。
12. 光源と、
    前記光源が被写体に赤外光を照射するタイミングに応じて、前記被写体を含むシーンの赤外光に基づく撮像を行うことによって、赤外画像を取得する赤外カメラと、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像を取得する可視光カメラと、
    前記赤外画像内の各位置での奥行きを示す奥行情報を推定する第１奥行推定部と、
    前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像において粉塵が映し出されている粉塵領域内の各位置での奥行きを補正する第２奥行推定部と、
    を備える奥行取得装置。
13. メモリと、
    プロセッサとを備え、
    前記プロセッサは、
    前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、
    前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、
    前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、
    前記可視光画像に基づいて、前記粉塵領域の奥行きを推定する、
    奥行取得装置。
14. 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、
    前記赤外画像、前記可視光画像、および前記粉塵領域に基づいて、前記粉塵領域の奥行きを推定する、
    奥行取得方法。
15. 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像において粉塵が映し出されている粉塵領域内の各位置での奥行きを補正する、
    奥行取得方法。
16. メモリとプロセッサとを備える奥行取得装置を用いた奥行取得方法であって、
    前記プロセッサは、
    前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、
    前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、
    前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、
    前記可視光画像に基づいて、前記粉塵領域の奥行きを推定する、
    奥行取得方法。
17. 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    前記赤外画像から、粉塵が映し出されている領域を粉塵領域として検出し、
    前記赤外画像、前記可視光画像、および前記粉塵領域に基づいて、前記粉塵領域の奥行きを推定する、
    ことをコンピュータに実行させるためのプログラム。
18. 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像において粉塵が映し出されている粉塵領域内の各位置での奥行きを補正する、
    ことをコンピュータに実行させるためのプログラム。

Images