JP6990859B2 - 奥行取得装置、奥行取得方法およびプログラム - Google Patents

Description

本開示は、被写体までの距離を奥行きとして取得する奥行取得装置などに関する。

従来、被写体までの距離を測定する測距装置が提案されている（例えば、特許文献１参照）。この測距装置は、光源と撮像部とを備える。光源は被写体に光を照射する。撮像部は、その被写体で反射された反射光を撮像する。そして、測距装置は、その撮像によって得られた画像の各画素値を、被写体までの距離に変換することによって、その被写体までの距離を測定する。つまり、測距装置は、撮像部によって得られた画像の奥行きを取得する。

特開２０１１－６４４９８号公報

しかしながら、上記特許文献１の測距装置では、奥行きを正確に取得することができないという課題がある。

そこで、本開示は、被写体までの距離である奥行きを正確に取得することができる奥行取得装置を提供する。

本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する赤外光画像の撮像によって計測され、前記赤外光画像の撮像により取得された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記撮像素子が行う前記赤外光画像と実質的に同一の視点および同一の時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿う輝度の異なる複数の領域の境界を含む領域であるエッジ領域を検出し、前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、補正する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

本開示の奥行取得装置は、被写体までの距離である奥行きを正確に取得することができる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態における奥行取得装置のハードウェア構成を示すブロック図である。 図２は、実施の形態における固体撮像素子が有する画素アレイを示す模式図である。 図３は、実施の形態おける、光源の発光素子の発光タイミングと、固体撮像素子の第１画素の露光タイミングとの関係を示すタイミング図である。 図４は、実施の形態おける奥行取得装置の機能構成の一例を示すブロック図である。 図５は、ＢＷ画像およびＩＲ画像の一例を示す図である。 図６は、実施の形態における奥行取得装置の全体的な処理動作を示すフローチャートである。 図７は、実施の形態における境界領域検出部の処理動作の一例を示すフローチャートである。 図８は、実施の形態におけるエッジ検出を説明するための図である。 図９は、実施の形態における境界領域検出部の処理動作の他の例を示すフローチャートである。 図１０は、実施の形態の変形例における奥行取得装置の機能構成の一例を示すブロック図である。 図１１Ａは、実施の形態における奥行取得装置のシミュレーション結果の一例を示す図である。 図１１Ｂは、実施の形態における奥行取得装置のシミュレーション結果の他の例を示す図である。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、特許文献１の測距装置に関し、以下の問題が生じることを見出した。

特許文献１の測距装置は、上述のように、光源から被写体に光を照射し、光が照射された被写体を撮像することによって画像を取得し、その画像の奥行きを測定する。この奥行きの測定には、ＴｏＦ（Time of Flight）が用いられる。このような測距装置では、測距精度を向上させるために、互いに異なる撮像条件の撮像が行われる。つまり、測距装置は、所定の撮像条件にしたがって撮像を行い、その撮像結果に応じて、その所定の撮像条件と異なる撮像条件を設定する。そして、測距装置は、その設定された撮像条件にしたがって再び撮像を行う。

しかしながら、互いに光の反射率が異なる２つの物体の境界が撮像されるときには、上記特許文献１の測距装置では、撮像条件を変更しても、その境界周辺の奥行きを正しく測定することが難しい場合がある。

このような問題を解決するために、本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿うエッジを含む領域であるエッジ領域を検出し、前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを補正する。なお、エッジ領域に対応する奥行画像内の領域とは、可視光画像内におけるエッジ領域と同一の位置にあって、そのエッジ領域と同一の形状および大きさを有する、奥行画像内における領域である。

例えば、赤外光に対する反射率が互いに異なる２つの物体の境界が撮像される際に、その撮像に用いられるカメラが動くと、ＴｏＦによる測定中に、その境界周辺の測定対象位置における反射率が大きく変化してしまう場合がある。このような場合、その測定対象位置ではノイズが得られ、不正確な奥行きを示す奥行画像が取得される。

しかし、上記一態様に係る奥行取得装置では、可視光画像から、その可視光画像の動きの方向と垂直な方向に沿うエッジを含む領域が、エッジ領域として検出される。このエッジ領域に含まれるエッジは、例えば上述の２つの物体の境界に相当する。つまり、エッジ領域は、ＴｏＦによる測定中に、赤外光の反射率が大きく変化する可能性が高い上述の境界周辺が映し出されている領域である。そして、このようなエッジ領域に対応する奥行画像内の領域が、補正対象領域とされて、この補正対象領域の奥行きが補正されることによって、ノイズを低減し、その境界周辺の奥行きを正確に取得することができる。

ここで、実質的に同一の視点および時刻で撮像した実質的に同一のシーンの画像の一例としては、同一撮像素子の異なる画素で撮像された画像である。このような画像は、ベイヤー配列のカラーフィルタで撮像されたカラー画像の赤、緑および青の各チャンネル画像と同様のものであり、各画像の画角、視点および撮像時刻はほぼ等しい。つまり、実質的に同一の視点および時刻で撮像した実質的に同一のシーンの画像は、撮像された各画像において、被写体の画像上での位置が２画素以上、異ならない。例えば、シーンに可視光と赤外成分を有する点光源が存在し、可視光画像において１画素のみが高輝度に撮像されている場合、赤外光画像においても可視光画像で撮像されている画素位置に対応する画素の２画素より近傍に点光源が撮像される。また、実質的に同一の時刻の撮像とは、撮像時刻の差が１フレーム以下で等しいことを示している。

なお、上述のエッジ領域は、明暗境界領域に相当する。つまり、プロセッサは、前記可視光画像から、互いに異なる輝度を有する２つの領域の境界であって、前記可視光画像の動きの方向と垂直な方向に沿う境界を含む領域である明暗境界領域を検出する。この場合、プロセッサは、前記明暗境界領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを補正する。

また、前記エッジ領域の検出では、第１閾値以上の強度を有する前記エッジを検出し、前記エッジ領域は、前記第１閾値以上の強度を有する前記エッジから、前記可視光画像の動きに応じた距離までの領域であってもよい。

これにより、エッジ領域を適切に検出することができる。その結果、奥行画像において、ノイズが生じ易い領域を適切に検出することができる。

また、前記エッジ領域の検出では、前記可視光画像と、過去の可視光画像との画素値の差分が第２閾値以上の領域を、前記エッジ領域として検出してもよい。

これにより、エッジ領域を簡単に検出することができる。

また、前記補正対象領域の補正では、前記奥行画像内において前記補正対象領域の周囲に位置する領域である周囲領域の奥行きを用いて前記補正対象領域の奥行きを補正してもよい。例えば、前記周囲領域は、前記補正対象領域の下側に接する領域であって、前記補正対象領域の奥行きの補正では、前記補正対象領域の奥行きを、前記周囲領域の奥行きに置き換えてもよい。

周囲領域の奥行きは、補正対象領域の正しい奥行きと近似している可能性が高い。したがって、このような周囲領域の奥行きを用いることによって、補正対象領域の奥行きを正しく補正することができる。

また、前記補正対象領域の奥行きの補正では、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、前記補正対象領域の奥行きを補正してもよい。

例えば、フィルタリングにはGuided Filterの拡張フィルタを用いてもよい。これにより、補正対象領域の奥行きを正しく補正することができる。

また、前記補正対象領域の奥行きの補正では、前記赤外光画像、前記可視光画像、前記奥行画像、および前記エッジ領域を学習モデルに入力することによって、前記奥行画像内における前記補正対象領域の奥行きを補正してもよい。

これにより、奥行画像、赤外光画像、可視光画像およびエッジ領域の入力に対して、正解の補正後の奥行画像が出力されるように、学習モデルに予め学習させておけば、エッジ領域を検出することなく、適切な奥行画像を簡単に取得することができる。

また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、前記奥行画像、前記赤外光画像、および前記可視光画像を、学習モデルに入力することによって、前記奥行画像の奥行きを補正してもよい。

これにより、奥行画像、赤外光画像、および可視光画像の入力に対して、正解の補正後の奥行画像が出力されるように、学習モデルに予め学習させておけば、エッジ領域を検出することなく、適切な奥行画像を簡単に取得することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
［ハードウェア構成］
図１は、実施の形態に係る奥行取得装置１のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置１は、赤外光（または近赤外線光）に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および時刻での撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。

図１に示されるように、奥行取得装置１は、光源１０と、固体撮像素子２０と、処理回路３０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。

光源１０は、照射光を照射する。より具体的には、光源１０は、処理回路３０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。

光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。

以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、または、近赤外線光を発光する発光ダイオード等である。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外光（赤外線光ともいう）であっても構わない。以下、本実施の形態では、光源１０が照射する照射光を赤外光として説明するが、その赤外光は、近赤外線光であってもよく、近赤外線光以外の周波数帯の赤外光であってもよい。

固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、処理回路３０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。

固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。

以下では、照射光と同様に、反射光は、赤外光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、赤外光に限定される必要はない。

図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。

図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（ＢＷ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。

また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。

第１画素２１は、例えば、反射光である赤外光に感度を有する赤外光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。

赤外光画素は、例えば、赤外光のみを透過させる光学フィルタ（ＩＲフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。したがって、画素アレイ２に含まれる複数の赤外光画素（すなわち第１画素２１）から出力される撮像信号によって、赤外光の輝度を示す画像が表現される。この赤外光の画像を、以下、ＩＲ画像または赤外光画像ともいう。

また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ（ＢＷフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で変換された電荷を蓄積する蓄積部等を含んで構成される。したがって、可視光画素、すなわち第２画素２２は、輝度および色差を示す撮像信号を出力する。つまり、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度および色差を示すカラー画像が表現される。なお、可視光画素の光学フィルタは、可視光と赤外光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。

また、可視光画素は、可視光の輝度のみを検出してもよい。この場合には、可視光画素、すなわち第２画素２２は、輝度を示す撮像信号を出力する。したがって、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度を示す白黒の画像、言い換えればモノクロの画像が表現される。このモノクロの画像を、以下、ＢＷ画像ともいう。なお、上述のカラー画像およびＢＷ画像を総称して、可視光画像ともいう。

再び図１に戻って、奥行取得装置１の説明を続ける。

処理回路３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。

処理回路３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、処理回路３０は、ＦＰＧＡまたはＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。

処理回路３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴｏＦ測距方式により、被写体までの距離を算出する。

以下、図面を参照しながら、処理回路３０が行うＴｏＦ測距方式による被写体までの距離の算出について説明する。

図３は、処理回路３０が、ＴｏＦ測距方式を用いて被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。

図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。

図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。

光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、以下の（式１）で表すことができる。

ｄ＝ｃ×Ｔｐ／２×ｑ２／（ｑ１＋ｑ２） ・・・（式１）

このため、処理回路３０は、（式１）を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。

また、固体撮像素子２０の複数の第１画素２１は、第１露光期間および第２露光期間の終了後に、第３露光期間Ｔｐだけ露光してもよい。複数の第１画素２１は、この第３露光期間Ｔｐにおいて得られる露光量によって、反射光以外のノイズを検出することができる。つまり、処理回路３０は、上記（式１）において、第１露光期間の露光量ｑ１および第２露光期間の露光量ｑ２のそれぞれからノイズを削除することによって、より正確に、被写体までの距離ｄを算出することができる。

再び図１に戻って、奥行取得装置１の説明を続ける。

処理回路３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行ってもよい。

すなわち、処理回路３０は、固体撮像素子２０の複数の第２画素２２によって撮像された可視光画像に基づいて、被写体の検知、及び被写体までの距離の算出を行ってもよい。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行うことで実現してもよいし、事前に学習した学習モデルを利用してDeep Learningなどの処理により実現してもかまわない。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。もちろん、可視光画像だけでなく、第１画素２１によって撮像された赤外光の輝度や距離情報を利用してマルチモーダルな学習処理により被写体の検知を実現してもよい。

処理回路３０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、処理回路３０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。

処理回路３０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、奥行取得装置１に、所定のフレームレートによる連続撮像を実現させてもよい。また、処理回路３０は、例えばプロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。

拡散板５０は、照射光の強度分布と角度を調整する。また、強度分布の調整では、拡散板５０は、光源１０からの照射光の強度分布を一様にする。なお、図１に示す例では、奥行取得装置１は、拡散板５０を備えるが、この拡散板５０を備えていなくてもよい。

レンズ６０は、奥行取得装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。

バンドパスフィルタ７０は、反射光である赤外光と、可視光とを透過させる光学フィルタである。なお、図１に示す例では、奥行取得装置１は、バンドパスフィルタ７０を備えるが、このバンドパスフィルタ７０を備えていなくてもよい。

上記構成の奥行取得装置１は、輸送機器に搭載されて利用される。例えば、奥行取得装置１は、路面を走行する車両に搭載されて利用される。なお、奥行取得装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。奥行取得装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。

［奥行取得装置の機能構成］
本実施の形態における奥行取得装置１は、図１に示すハードウェア構成によって、ＩＲ画像とＢＷ画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および時刻の撮像によって取得する。ここで、ＩＲ画像は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されている。したがって、奥行取得装置１は、ＩＲ画像の撮像によって、複数の第１画素２１のそれぞれにおける赤外光の強度を取得している。奥行取得装置１は、それらの第１画素２１の赤外光の強度に基づいて、そのＩＲ画像に映し出されている被写体までの距離を奥行きとして示す奥行画像を取得する。そして、奥行取得装置１は、ＢＷ画像内におけるエッジ領域を検出し、そのエッジ領域に対応する奥行画像内の領域の奥行きを補正する。

なお、本開示において、第１画像内の第１領域に対応する第２画像内の第２領域とは、第１画像内における第１領域と同一の位置にあって、その第１領域と同一の形状および大きさを有する、第２画像内における領域である。その第１画像および第２画像はそれぞれ任意の画像であり、第１領域および第２領域もそれぞれ任意な領域である。

また、本開示におけるエッジは、互いに輝度の異なる２つの領域の境界である。その２つの領域は、明るい領域と暗い領域である。なお、明るい領域における平均輝度は、暗い領域における平均輝度よりも高い。したがって、本開示における奥行取得装置１は、例えばＢＷ画像などの可視光画像内における明るい領域と暗い領域との境界を含む領域である明暗境界領域を、上述のエッジ領域として検出する。

図４は、奥行取得装置１の機能構成の一例を示すブロック図である。

奥行取得装置１は、光源１０１と、ＩＲカメラ１０２と、ＢＷカメラ１０３と、プロセッサ１１０ａと、メモリ２００とを備える。なお、本実施の形態における奥行取得装置１は、光源１０１、ＩＲカメラ１０２およびＢＷカメラ１０３を備えているが、これらの構成要素を備えず、プロセッサ１１０ａおよびメモリ２００のみを備えていてもよい。

光源１０１は、図１に示す光源１０および拡散板５０から構成されていてもよく、発光することによって赤外光を被写体に照射する。

ＩＲカメラ１０２は、赤外光カメラともいい、図１に示す固体撮像素子２０の複数の第１画素２１、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＩＲカメラ１０２は、光源１０１が被写体に赤外光を照射するタイミングに応じて、その被写体を含むシーンの赤外光に基づく撮像を行うことによって、ＩＲ画像を取得する。また、ＩＲカメラ１０２は、ＩＲ画像の撮像によって、赤外光の強度を計測している。つまり、ＩＲカメラ１０２は、固体撮像素子２０を有し、光源１０１から照射されて被写体によって反射された赤外光を、その固体撮像素子２０に含まれる複数の第１画素２１のそれぞれが受光する撮像を行うことによって、その赤外光の強度を計測する。

ＢＷカメラ１０３は、可視光カメラともいい、図１に示す固体撮像素子２０の複数の第２画素２２、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＢＷカメラ１０３は、ＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および同一の時刻での撮像を行うことによって、可視光画像（具体的にはＢＷ画像）を取得する。つまり、ＢＷカメラ１０３は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されるＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および時刻の撮像を行うことによって、ＢＷ画像を生成する。

メモリ２００は、ＩＲカメラ１０２による撮像によって得られたＩＲ画像と、ＢＷカメラ１０３による撮像によって得られたＢＷ画像とを格納するための記録媒体である。なお、ＩＲ画像は、上述のように、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されている。したがって、そのＩＲ画像は、画素ごとに赤外光の強度を示している。つまり、メモリ２００は、赤外光の強度を格納していると言える。なお、このようなメモリ２００は、具体的には、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）またはＳＳＤ（solid state drive）などであってもよく、不揮発性または揮発性であってもよい。また、メモリ２００は、ハードディスクであってもよい。

プロセッサ１１０ａは、メモリ２００からＩＲ画像およびＢＷ画像を取得し、ＩＲ画像から奥行画像を算出し、ＩＲ画像およびＢＷ画像に基づいて、ＢＷ画像内における明暗境界領域を検出する。そして、プロセッサ１１０ａは、その明暗境界領域に対応する奥行画像内の領域の奥行きを補正する。

なお、ＢＷ画像の明暗境界領域は、明るい領域と暗い領域との境界であって、ＢＷ画像の動きの方向と垂直な方向に沿う境界を含む領域である。その明暗境界領域に対応する奥行画像内の領域では、不適切な奥行きが示されている可能性がある。

その理由は、以下のとおりである。ＢＷ画像の明暗境界領域における輝度は、そのＢＷ画像の動きによって、短時間の間に大きく変化する。つまり、短時間の間に、その明暗境界領域に映し出される物体が、その物体と光の反射率が大きく異なる他の物体に入れ替わる。また、ＢＷ画像の動きは、例えばＢＷカメラ１０３の動きによって生じ、ＩＲカメラ１０２がＢＷカメラ１０３と共に動いている場合、例えば、奥行取得装置１が車両に搭載されている場合には、ＢＷ画像の動きとＩＲ画像の動きとは等しい。したがって、ＩＲ画像においても、ＢＷ画像と同様の事象が生じている。つまり、明暗境界領域に対応するＩＲ画像内の領域に映し出される物体は、短時間の間に、その物体と赤外光の反射率が大きく異なる他の物体に入れ替わる。その結果、その明暗境界領域に対応する赤外光の強度を用いたＴｏＦによって測定される奥行きは、不正確になってしまう。つまり、このような測定によって得られる奥行きは、奥行画像においてノイズとして現れる。

このように、奥行画像内においてノイズが現れている領域は、ＢＷ画像内の上記境界を含む領域に対応している。したがって、このような境界を含む領域、すなわち明暗境界領域を検出することによって、奥行画像において補正すべき領域を適切に見つけ出すことができる。本実施の形態における奥行取得装置１は、奥行画像内のその補正すべき領域、つまり明暗境界領域に対応する領域である補正対象領域の奥行きを補正する。

このようなプロセッサ１１０ａは、発光制御部１１３と、ＩＲ取得部１１４と、ＢＷ取得部１１５と、奥行算出部１１１ａと、境界領域検出部１１２と、奥行補正部１１１ｂとを備える。

発光制御部１１３は、光源１０１を制御する。つまり、発光制御部１１３は、上述の発光信号を光源１０１に出力することによって、その光源１０１を発光させる。これにより、光源１０１から赤外光が被写体に照射され、その被写体によって反射された光である反射光がＩＲカメラ１０２に入射する。

ＩＲ取得部１１４は、ＩＲカメラ１０２からメモリ２００を介してＩＲ画像を取得する。ここで、ＩＲ画像の各画素は、その画素の位置において受光された赤外光の強度を画素値（具体的には輝度）として示す。したがって、ＩＲ取得部１１４は、ＩＲ画像を取得することによって、赤外光の強度を取得する。つまり、ＩＲ取得部１１４は、光源１０１から照射されて被写体によって反射された赤外光を、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれが受光する撮像によって計測され、メモリ２００に保存されている赤外光の強度を取得する。

ＢＷ取得部１１５は、ＢＷカメラ１０３からメモリ２００を介してＢＷ画像を取得する。つまり、ＢＷ取得部１１５は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されるＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および時刻の撮像によって生成され、メモリ２００に保持されているＢＷ画像を取得する。

奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１に受光された赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成する。

境界領域検出部１１２は、ＢＷ画像から、明るい領域と暗い領域との境界であって、ＢＷ画像の動きの方向と垂直な方向に沿う境界を含む領域である明暗境界領域を検出する。

奥行補正部１１１ｂは、その明暗境界領域に対応する奥行画像内の領域である補正対象領域の奥行きを補正する。

例えば、赤外光に対する反射率が互いに異なる２つの物体の境界が撮像される際に、その撮像に用いられるＩＲカメラ１０２が動くと、ＴｏＦによる測定中に、その境界周辺の測定対象位置における反射率が大きく変化してしまう場合がある。このような場合、その測定対象位置ではノイズが得られ、不正確な奥行きを示す奥行画像が取得される。

しかし、本実施の形態における奥行取得装置１では、上述のように、ＢＷ画像から、明るい領域と暗い領域との境界であって、その可視光画像の動きの方向と垂直な方向に沿う境界を含む領域が、明暗境界領域として検出される。この明暗境界領域は、ＴｏＦによる測定中に、赤外光の反射率が大きく変化する可能性が高い上述の境界周辺が映し出されている領域である。そして、このような明暗境界領域に対応する奥行画像内の領域が、補正対象領域とされて、この補正対象領域の奥行きが補正されることによって、ノイズを低減し、その境界周辺の奥行きを正確に取得することができる。

したがって、このような本実施の形態における奥行取得装置１は、赤外光に対する反射率が互いに異なる２つの物体の境界が、画像の動きの方向と垂直な方向に沿っていても、それらの物体の境界周辺までの距離である奥行きを正確に取得することができる。

［各画像の一例］
図５は、ＢＷ画像およびＩＲ画像の一例を示す。

例えば、車両が路面上を走行しているときに、その車両に搭載されている奥行取得装置１のＩＲカメラ１０２およびＢＷカメラ１０３のそれぞれは、実質的に同一の時刻に撮像を行う。このとき、ＩＲカメラ１０２およびＢＷカメラ１０３のそれぞれは、互いに異なる３つのタイミングで露光を行う。これにより、ＩＲカメラ１０２による撮像によって３枚のＩＲ画像が生成され、ＢＷカメラ１０３による撮像によって３枚のＢＷ画像が生成される。

ＩＲカメラ１０２による撮像によって生成され、ＩＲ取得部１１４によって取得されるＩＲ画像には、例えば図５の（ａ）～（ｃ）に示すように、路面とその周囲の樹木などが映し出されている。

また、ＢＷカメラ１０３による撮像によって生成され、ＢＷ取得部１１５によって取得されるＢＷ画像にも、図５の（ｄ）～（ｆ）に示すように、図５の（ａ）～（ｃ）に示すＩＲ画像と実質的に同一のシーンが映し出されている。また、この図５の（ｄ）～（ｆ）に示すＢＷ画像は、図５の（ａ）～（ｃ）に示すＩＲ画像の撮像と実質的に同一の視点および同一の時刻の撮像によって得られた画像である。したがって、図５の（ａ）～（ｃ）に示すＩＲ画像と、図５の（ｄ）～（ｆ）に示すＢＷ画像とでは、互いに対応する領域において同一の物体が映し出されている。なお、互いに対応する領域とは、それぞれの画像内における位置、大きさ、および形状が同一の領域である。

ここで、ＢＷ画像において、樹木の葉の像の輝度は低く、背景の空の像の輝度は高い。したがって、葉の像と空の像との境界のうち、画像の動きの方向と垂直な方向に沿う境界を含む領域は、明暗境界領域に相当する。このような、明暗境界領域に対応するＩＲ画像内の領域では、不適切な赤外光の強度が得られるため、画像がぼける傾向にある。また、そのような不適切な赤外光の強度によって算出される奥行きの信頼性も低い。本実施の形態における奥行補正部１１１ｂは、その奥行きを補正することによって、奥行きの信頼性を高める。

［処理フロー］
図６は、本実施の形態における奥行取得装置１の全体的な処理動作を示すフローチャートである。

（ステップＳ１１０）
まず、ＢＷカメラ１０３は、可視光に基づく撮像を行うことによってＢＷ画像を生成する。そして、ＢＷ取得部１１５は、そのＢＷ画像を、メモリ２００を介して取得する。

（ステップＳ１２０）
次に、ＩＲカメラ１０２は、赤外光に基づく撮像を行うことによってその赤外光の強度を計測する。そして、ＩＲ取得部１１４は、その赤外光の強度を、メモリ２００を介して取得する。ここで、取得される赤外光の強度は、固体撮像素子２０の複数の第１画素２１のそれぞれで受光された赤外光の強度である。したがって、ＩＲ取得部１１４は、それらの赤外光の強度を取得することによって、それらの赤外光の強度に基づいて形成されるＩＲ画像を取得する。

具体的には、メモリ２００から取得される赤外光の強度は、光源１０１から照射されて被写体に反射された赤外光が固体撮像素子２０によって受光されるときに、互いに異なる少なくとも３回のタイミングでの固体撮像素子２０の露光によって計測された少なくとも３つの強度からなる。例えば、赤外光の強度は、図３に示すように、第１露光期間、第２露光期間、および第３露光期間によって計測された３つの強度からなる。例えば、１フレームのＩＲ画像に含まれる各画素値は、その少なくとも３回のタイミングでの露光によって計測された赤外光の強度の累積値として示される。

（ステップＳ１３０）
次に、境界領域検出部１１２は、ステップＳ１１０で取得されたＢＷ画像から、明暗境界領域を検出する。そして、境界領域検出部１１２は、検出された明暗境界領域内の各画素に対して１を示し、それ以外の領域内の各画素に対して０を示す、２値のマスク画像を出力する。

（ステップＳ１４０）
次に、奥行算出部１１１ａは、ステップＳ１２０で取得された赤外光の強度に基づいて、奥行きを算出する。つまり、奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１に受光された赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成する。具体的には、奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１で計測された上述の少なくとも３つの強度に基づいて奥行きを算出することによって、奥行画像を生成する。例えば、奥行算出部１１１ａは、ＴｏＦ測距方式にしたがって、上述の（式１）を用いて奥行きを算出する。

（ステップＳ１５０）
次に、奥行補正部１１１ｂは、明暗境界領域に対応する奥行画像内の領域、すなわち補正対象領域の奥行きを補正する。

具体的には、奥行補正部１１１ｂは、ＢＷ画像、奥行画像、およびマスク画像を取得し、奥行画像のうち、マスク画像によって１と示される領域における奥行き（すなわち、奥行画像における画素値）を補正する。この奥行きの補正は、例えば、ＢＷ画像をガイド画像として利用するGuided Filterの拡張フィルタによって行われる。この拡張フィルタは、非特許文献（Jiangbo Lu, Keyang Shi, Dongbo Min, Liang Lin, and Minh N. Do, “Cross-Based Local Multipoint Filtering”, 2012 IEEE Conference on Computer Vision and Pattern Recognition）に開示されている。または、奥行きの補正は、非特許文献（Dongbo Min, Sunghwan Choi, Jiangbo Lu, Bumsub Ham, Kwanghoon Sohn, and Minh N. Do,“Fast Global Image Smoothing Based on Weighted Least Squares”, IEEE Transactions on Image Processing, Vol. 23, No. 12, December 2014）に開示されている方法によっても実現できる。

このように、本実施の形態における奥行補正部１１１ｂは、ＢＷ画像をガイド画像または参照画像として用いた奥行画像に対するフィルタリングによって、補正対象領域の奥行きを補正する。これにより、補正対象領域の奥行きを正しく補正することができる。

なお、奥行きの補正は、上記のものに限らず、例えば、明暗境界領域の下部と接する領域における奥行きを重視して補間するようにしてもよい。つまり、奥行補正部１１１ｂは、奥行画像内において補正対象領域の周囲に位置する領域である周囲領域の奥行きを用いてその補正対象領域の奥行きを補正してもよい。また、周囲領域は、補正対象領域の下側に接する領域であってもよい。この場合、奥行補正部１１１ｂは、補正対象領域の奥行きを、その周囲領域の奥行きに置き換えてもよい。周囲領域の奥行きは、補正対象領域の正しい奥行きと近似している可能性が高い。したがって、このような周囲領域の奥行きを用いることによって、補正対象領域の奥行きを正しく補正することができる。

また、ＢＷ画像、奥行画像、およびマスク画像に加えてＩＲ画像も入力として用いてもよい。例えば、奥行補正部１１１ｂは、ＩＲ画像、ＢＷ画像、奥行画像、および明暗境界領域を、学習モデルに入力することによって、奥行画像内における補正対象領域の奥行きを補正してもよい。なお、明暗境界領域の代わりに上述のマスク画像が用いられてもよい。例えば、学習モデルは、深層学習によって構築されたニューラルネットワークである。この学習モデルの学習では、ＩＲ画像、ＢＷ画像、奥行画像、および、明暗境界領域が入力として学習モデルに与えられる。そして、その入力に対する学習モデルからの出力が、補正後の正解の奥行画像と一致するように、その学習モデルに対する学習が行われる。このような学習済みの学習モデルを用いることによって、奥行補正部１１１ｂは、補正後の奥行画像を簡単に取得することができる。

図７は、境界領域検出部１１２の処理動作の一例を示すフローチャートである。なお、図７は、図６のステップＳ１３０の処理を詳細に示す。

（ステップＳ１３１）
まず、境界領域検出部１１２は、ＢＷ画像から動きを検出する。この動きは、例えば、そのＢＷ画像と過去のＢＷ画像との間のブロックマッチングを行う動き探索によって検出される。

（ステップＳ１３２）
次に、境界領域検出部１１２は、ステップＳ１３１で検出された動きの方向と垂直な方向に沿うエッジを上述の境界としてＢＷ画像から検出する。このとき、境界領域検出部１１２は、第１閾値以上の強度を有するエッジを検出してもよい。

（ステップＳ１３３）
境界領域検出部１１２は、ステップＳ１３２で検出されたエッジを含む領域を明暗境界領域として検出する。このとき、境界領域検出部１１２は、例えば、このエッジから一定の距離にある領域を明暗境界領域として抽出する。具体的には、明暗境界領域は、第１閾値以上の強度を有するエッジから、ＢＷ画像の動きに応じた距離までの領域である。

ここで、上述の距離は、そのＢＷ画像の動きを示す動きベクトルの長さと等しいか、その動きベクトルの長さを定数倍した長さ（例えば、動きベクトルの長さの１．１倍等）である。もしくは、その距離は、動きベクトルの長さに定数を加えたもの（例えば、動きベクトルの長さ＋３画素、もしくは、＋５画素等）であってもよい。また、その距離には、動きベクトルの向きが考慮されてもよい。例えば、エッジから動きベクトルの向きの距離は、その動きベクトルの長さ以上であって、動きベクトルと逆の向きの距離は、例えば、動きベクトルの長さの０．１倍であってもよく、３画素または５画素等の定数であってもよい。

このように、本実施の形態における境界領域検出部１１２は、ＢＷ画像における動きの方向と垂直な方向に沿うエッジを境界としてＢＷ画像から検出し、そのエッジを含む領域を明暗境界領域として検出する。具体的には、境界領域検出部１１２は、第１閾値以上の強度を有するエッジを検出する。そして、そのエッジを含む領域は、その第１閾値以上の強度を有するエッジから、ＢＷ画像の動きに応じた距離までの領域である。これにより、明暗境界領域を適切に検出することができる。その結果、奥行画像において、ノイズが生じ易い領域を適切に検出することができる。

図８は、図７におけるステップＳ１３２のエッジ検出を説明するための図である。

例えば、ＢＷ画像に映し出されている物体は、図８に示す時刻ｔ０、ｔ１およびｔ２のように、時間の経過に伴って移動する。このような物体の動きは、例えば奥行取得装置１を搭載する車両が移動することによって生じる。ＢＷ画像内の画素（ｘ，ｙ）におけるこのような動きは、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））として示される。

境界領域検出部１１２は、画素値の空間方向の分布を微分することによって、その画素値の変化量としてエッジの強度を計算する。任意の方向ｎについての微分は（式２）で表される。

ここで、方向ｎを、画像の動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））の方向、すなわち、動きベクトルと同じ向きで平行な方向の単位ベクトルとして考える。すなわち、ｎのｘ成分cosθとｙ成分sinθは、（式３）で表される。なお、画像の動きベクトルは、公知の方法によって求められる。

また、（式２）中の水平方向と垂直方向の輝度勾配は、それぞれ（式４）および（式５）によって計算される。

なお、水平方向と垂直方向の輝度勾配の計算は、（式４）および（式５）に示す両側差分に基づくものに限らず、（式６）および（式７）に示す前方差分に基づく計算、または、（式８）および（式９）に示す後方差分に基づく方法を用いてもよい。これらの何れの計算でも、同様の結果が得られる。

なお、（式４）から（式９）では、同一行内もしくは同一列内の画素間だけで計算しているが、これに限らず（式１０）から（式１５）に示す様に、隣接する行または列の画素値を用いた計算を行うことにより、ノイズの影響を低減した安定した輝度勾配の計算を行える。

さらに、複数行または複数列の画素値を用いて輝度勾配を計算する際、（式１６）から（式２１）の様に、着目行または着目列の重みを、隣接行または隣接列と比べて重くする様にしてもよい。

境界領域検出部１１２は、（式４）～（式２１）に示す水平輝度勾配および垂直輝度勾配と、（式３）に示す動きの方向ベクトルｎの水平成分ｃｏｓθおよび垂直成分ｓｉｎθとを用いて、（式２）によって、動きの方向ｎに沿った方向微分∂Ｉ（ｘ，ｙ）／∂ｎを、エッジの強度として計算する。

なお、境界領域検出部１１２は、（式２）の方法だけでなく、他の方法によって方向微分を計算してもよい。例えば、境界領域検出部１１２は、着目点と微分方向で決まる直線上にある少なくとも１つの画素の画素値を補間によって計算する。そして、境界領域検出部１１２は、その計算された少なくとも１つの画素の画素値と着目点の画素値とうちの何れか２つの画素値の差分値から、方向微分を計算する。このような方法であっても、上記（式２）の方法と同様の結果を得ることができる。

境界領域検出部１１２は、方向微分の絶対値が第１閾値以上の画素をエッジとして検出する。

図９は、境界領域検出部１１２の処理動作の他の例を示すフローチャートである。なお、図９は、図６のステップＳ１３０の処理を詳細に示す。

（ステップＳ１３５）
境界領域検出部１１２は、ＢＷ画像と直前のＢＷ画像との差分を算出する。

（ステップＳ１３６）
そして、境界領域検出部１１２は、ＢＷ画像のうち、その差分が第２閾値以上の領域を明暗境界領域として検出する。

このように、本実施の形態における境界領域検出部１１２は、ＢＷ画像と、過去のＢＷ画像との画素値の差分が第２閾値以上の領域を、明暗境界領域として検出する。これにより、明暗境界領域を簡単に検出することができる。

（変形例）
上記実施の形態では、奥行きを補正するために、明暗境界領域を検出したが、その明暗境界領域を検出することなく、学習モデルを用いて奥行きを補正してもよい。

図１０は、本変形例における奥行取得装置１の機能構成の一例を示すブロック図である。なお、図１０に示す構成要素のうち、図４に示す構成要素と同一の構成要素については、図４に示す構成要素と同一の符号を付し、詳細な説明を省略する。

本変形例における奥行取得装置１は、図４に示すプロセッサ１１０ａの代わりにプロセッサ１１０ｂを備え、さらに、学習モデル１０４を備える。

学習モデル１０４は、例えばニューラルネットワークであって、深層学習によって構成されている。例えば、この学習モデル１０４に入力される入力データには、ＢＷ画像、ＩＲ画像、および奥行画像が用いられる。この学習モデル１０４では、それらの入力データの組み合わせに対して、正解の補正後の奥行画像が出力されるように、既に学習が行われている。

プロセッサ１１０ｂは、図４に示す境界領域検出部１１２を備えておらず、図４に示す奥行補正部１１１ｂの代わりに、奥行補正部１１１ｃを備える。

奥行補正部１１１ｃは、上述の学習モデル１０４に対して上述の入力データを入力する。その結果、奥行補正部１１１ｃは、その入力データに対する出力データとして、補正後の奥行画像を学習モデル１０４から取得する。

つまり、図１０に示す奥行取得装置１は、メモリ２００と、プロセッサ１１０ｂとを備える。プロセッサ１１０ｂは、光源１０１から照射されて被写体によって反射された赤外光を、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれが受光する撮像によって計測され、メモリ２００に保存されている赤外光の強度を取得する。また、プロセッサ１１０ｂは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１に受光された赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成する。さらに、プロセッサ１１０ｂは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されるＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、ＩＲ画像と実質的に同一の視点および時刻の撮像によって生成され、メモリ２００に保持されているＢＷ画像を取得する。そして、プロセッサ１１０ｂは、奥行画像、ＩＲ画像、およびＢＷ画像を、学習モデル１０４に入力することによって、奥行画像の奥行きを補正する。

これにより、奥行画像、ＩＲ画像、およびＢＷ画像の入力に対して、正解の補正後の奥行画像が出力されるように、学習モデル１０４に予め学習させておけば、明暗境界領域を検出することなく、奥行画像の奥行きを適切に補正することができる。

図１１Ａは、本変形例に係る奥行取得装置１のシミュレーション結果の一例を示す。

奥行取得装置１は、ＢＷカメラ１０３による撮像によって、図１１Ａの（ａ）に示すＢＷ画像を取得し、さらに、ＩＲカメラ１０２による撮像によって、図１１Ａの（ｂ）に示すＩＲ画像を取得する。このＢＷ画像およびＩＲ画像は、同一のシーンを同一の視点および同一の時刻で撮像することによって得られる画像である。

奥行算出部１１１ａは、そのＩＲ画像を形成する赤外光の強度に基づいて、図１１Ａの（ｃ）に示す奥行画像を生成する。図１１Ａの（ａ）に示すＢＷ画像における明暗境界領域では、物体の輪郭、例えば、路面に描かれている横断歩道の白いラインの輪郭が明瞭に映し出されている。しかし、図１１Ａの（ｃ）に示す奥行画像では、その明暗境界領域に対応する領域の奥行きが不明瞭に表現されている。

奥行補正部１１１ｂは、図１１Ａの（ａ）～（ｃ）に示すＢＷ画像、ＩＲ画像および奥行画像を、学習モデル１０４に入力することによって、図１１Ａの（ｄ）に示す補正後の奥行画像をその学習モデル１０４から取得する。

その結果、本変形例に係る奥行取得装置１では、補正後の奥行画像を、図１１Ａの（ｅ）に示す正解の奥行画像に近づけることができる。

図１１Ｂは、本変形例に係る奥行取得装置１のシミュレーション結果の他の例を示す。

奥行取得装置１は、ＢＷカメラ１０３による撮像によって、図１１Ｂの（ａ）に示すＢＷ画像を取得し、さらに、ＩＲカメラ１０２による撮像によって、図１１Ｂの（ｂ）に示すＩＲ画像を取得する。この図１１Ｂに示す例でも、図１１Ａに示す例と同様、ＢＷ画像およびＩＲ画像は、同一のシーンを同一の視点および同一の時刻で撮像することによって得られる画像である。

奥行算出部１１１ａは、そのＩＲ画像を形成する赤外光の強度に基づいて、図１１Ｂの（ｃ）に示す奥行画像を生成する。図１１Ｂの（ａ）に示すＢＷ画像における明暗境界領域では、物体の輪郭、例えば、路面に描かれている横断歩道の白いラインの輪郭が明瞭に映し出されている。しかし、図１１Ｂの（ｃ）に示す奥行画像では、その明暗境界領域に対応する領域の奥行きが不明瞭に表現されている。

奥行補正部１１１ｂは、図１１Ｂの（ａ）～（ｃ）に示すＢＷ画像、ＩＲ画像および奥行画像を、学習モデル１０４に入力することによって、図１１Ｂの（ｄ）に示す補正後の奥行画像をその学習モデル１０４から取得する。

その結果、本変形例に係る奥行取得装置１では、補正後の奥行画像を、図１１Ｂの（ｅ）に示す正解の奥行画像に近づけることができる。

以上、本実施の形態およびその変形例における奥行取得装置１では、赤外光に対する反射率が互いに異なる２つの物体の境界が撮像される場合でも、その境界周辺の奥行きを正確に取得することができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の奥行取得装置などを実現するソフトウェアは、図６、図７および図９の何れかのフローチャートに含まれる各ステップをコンピュータに実行させる。

以上、一つまたは複数の態様に係る奥行取得装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態および変形例に施したものや、実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

例えば、奥行算出部１１１ａは、互いに異なる３つの露光タイミングで計測された３つの赤外光の強度に基づいて、奥行きを算出する。しかし、その露光タイミングおよび赤外光の強度の数は、３つに限定されることなく、４つ以上であってもよい。

また、上記実施の形態の変形例では、奥行取得装置１は、学習モデル１０４を備えているが、その学習モデル１０４を備えていなくてもよい。この場合、奥行取得装置１は、例えば通信ネットワークを介して学習モデル１０４に上述の入力データを入力し、その学習モデル１０４からの出力データである補正後の奥行画像を、その通信ネットワークを介して取得する。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１、図４、および図１０に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、ソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウェアデバイス、例えばインターフェース、を備えていても良い。

本開示は、被写体までの距離である奥行きを取得する奥行取得装置に適用可能であり、例えば車載機器などとして利用可能である。

１ 奥行取得装置
１０、１０１ 光源
２０ 固体撮像素子
２１ 第１画素（ＩＲ）
２２ 第２画素（ＢＷ）
３０ 処理回路
５０ 拡散板
６０ レンズ
７０ バンドパスフィルタ
１０２ ＩＲカメラ
１０３ ＢＷカメラ
１０４ 学習モデル
１１０ａ、１１０ｂ プロセッサ
１１１ａ 奥行算出部
１１１ｂ、１１１ｃ 奥行補正部
１１２ 境界領域検出部
１１３ 発光制御部
１１４ ＩＲ取得部
１１５ ＢＷ取得部
２００ メモリ

Claims (9)

1. メモリと、
   プロセッサとを備え、
   前記プロセッサは、
   光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する赤外光画像の撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、
   前記赤外光画像の撮像により取得された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
   前記赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記撮像素子が行う前記赤外光画像と実質的に同一の視点および同一の時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
   前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿う輝度の異なる複数の領域の境界を含む領域であるエッジ領域を検出し、
   前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、補正する、
   奥行取得装置。
2. 輸送機器に搭載されて、
   前記可視光画像および前記赤外光画像は前記輸送機器が動いている際に撮像される、
   請求項１に記載の奥行取得装置。
3. 前記エッジ領域の検出では、
   第１閾値以上の強度を有する前記境界を検出し、
   前記エッジ領域は、
   前記第１閾値以上の強度を有する前記境界から、前記可視光画像の動きに応じた距離までの領域である
   請求項１に記載の奥行取得装置。
4. 前記エッジ領域の検出では、
   前記可視光画像と、過去の可視光画像との画素値の差分が第２閾値以上の領域を、前記エッジ領域として検出する
   請求項１に記載の奥行取得装置。
5. 前記補正対象領域の補正では、さらに、
   前記奥行画像内において前記補正対象領域の周囲に位置する領域である周囲領域の奥行きを用いて前記補正対象領域の奥行きを補正する
   請求項１～４の何れか１項に記載の奥行取得装置。
6. 撮像素子を有し、光源から照射されて被写体によって反射された赤外光を、前記撮像素子に含まれる複数の画素のそれぞれが受光する赤外光画像の撮像を行うことによって、前記赤外光の強度を計測する赤外光カメラと、
   前記赤外光画像の撮像により取得された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成する奥行算出部と、
   前記赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記撮像素子が行う前記赤外光画像と実質的に同一の視点および同一の時刻の撮像を行うことによって、可視光画像を生成する可視光カメラと、
   前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿う輝度の異なる複数の領域の境界を含む領域であるエッジ領域を検出するエッジ領域検出部と、
   前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、補正する奥行補正部と、
   を備える奥行取得装置。
7. 光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する赤外光画像の撮像によって計測され、メモリに保存されている前記赤外光の強度を取得し、
   前記赤外光画像の撮像により取得された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
   前記赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記撮像素子が行う前記赤外光画像と実質的に同一の視点および同一の時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
   前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿う輝度の異なる複数の領域の境界を含む領域であるエッジ領域を検出し、
   前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、補正する、
   奥行取得方法。
8. 被写体までの距離を奥行きとして取得するためのプログラムであって、
   光源から照射されて前記被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する赤外光画像の撮像によって計測され、メモリに保存されている前記赤外光の強度を取得し、
   前記赤外光画像の撮像により取得された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
   前記赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記撮像素子が行う前記赤外光画像と実質的に同一の視点および同一の時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
   前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿う輝度の異なる複数の領域の境界を含む領域であるエッジ領域を検出し、
   前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域の奥行きを、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、補正する、
   ことをコンピュータに実行させるプログラム。
9. メモリと、
   プロセッサを備え、
   前記メモリは、
   赤外光画像および可視光画像を記録しており、
   前記赤外光画像は、撮像素子に含まれる複数の画素のそれぞれが受光する光源から照射されて被写体によって反射された赤外光の強度に基づいて形成され、
   前記可視光画像は、前記撮像素子が行う前記赤外光画像と実質的に同一のシーンの可視光および同一の視点および同一の時刻の撮像により生成され、
   前記プロセッサは、
   前記赤外光の強度に基づき、被写体までの距離を奥行として算出することによって、奥行画像を生成し、
   前記可視光画像から、前記可視光画像の動きの方向と垂直な方向に沿う輝度の異なる複数の領域の境界を含む領域であるエッジ領域を検出し、
   前記エッジ領域に対応する前記奥行画像内の領域である補正対象領域を検出し、
   前記補正対象領域の奥行を、前記可視光画像を参照画像として用いた前記奥行画像に対するフィルタリングによって、補正する、
   奥行取得装置。

Images