JP7306275B2 - 距離画像生成装置及び距離画像生成方法 - Google Patents

Description

本発明は、距離画像生成装置及び距離画像生成方法に関する。

従来、撮像装置が撮像した撮像画像に基づいて、撮像画像を構成する複数の画素が、当該画素に対応する被写体と撮像装置との距離を示す距離画像を生成することが行われている。例えば、特許文献１には、単眼カメラが撮像した撮像画像に基づいて距離画像を生成することが開示されている。また、特許文献２には、ＬＩＤＡＲ（Light Detection and Ranging）等の測距装置が生成した距離画像を生成することが開示されている。

特開２０１９－００８４６０号公報 特開２０１９－１６８４１７号公報

単眼カメラ画像を入力とする深層学習モデルに基づいて推定された距離画像は、低ノイズであり全ての画素に対して距離が推定されるという長所があるものの、ＴｏＦ（Time of Flight）カメラ、ＬＩＤＡＲ等の測距機能を有するセンサにより測定された距離に比べて、推定した距離の精度が低いという短所がある。一方、前述の測距装置により生成された距離画像は、距離が推定された画素においては、距離の推定値が高精度であるという長所がある一方で、推定値に測定ノイズが混入する。加えて、光又は電波の非照射領域においては距離自体が測定できないことから、常に密な距離画像を生成できないという短所がある。

そこで、本発明はこれらの点に鑑みてなされたものであり、単眼カメラが撮像した画像に基づく距離画像の長所及び測距装置が生成した距離画像の長所を有する距離画像を生成することができる距離画像生成装置及び距離画像生成方法を提供することを目的とする。

本発明の第１の態様に係る距離画像生成装置は、撮像装置が撮像した画像に基づいて生成された、前記画像を構成する複数の画素のそれぞれに対応する被写体と、前記撮像装置との距離を推定した距離画像である第１距離画像を取得するとともに、光又は電波を被写体に照射し、被写体が反射した光又は電波に基づいて被写体との距離を測定する測距装置により生成された前記被写体と前記測距装置との距離を推定した距離画像である第２距離画像を取得する画像取得部と、前記第１距離画像を構成する複数の画素である複数の第１画素のそれぞれと、前記第２距離画像を構成する複数の画素である複数の第２画素のそれぞれとについて、画素に対応する距離の信頼度を特定する信頼度特定部と、前記距離画像における位置が対応している前記複数の第１画素及び前記第２画素のそれぞれについて、当該第１画素の信頼度と当該第２画素の信頼度とに基づいて画素に対応する前記距離の値を合成することにより、前記第１距離画像と前記第２距離画像とを合成した距離画像である合成距離画像を生成する距離画像生成部と、を備える。

前記画像取得部は、画像の入力に対して前記第１距離画像を出力する深層学習モデルに、前記撮像装置が撮像した画像を入力することにより、前記深層学習モデルから出力された前記第１距離画像を取得してもよい。

前記信頼度特定部は、前記距離画像における位置が対応している前記第１画素に対応する距離と、前記第２画素に対応する距離との差分に基づいて、当該第１画素及び当該第２画素のそれぞれの前記信頼度を特定してもよい。

前記信頼度には、最大値及び最小値が設定されているとともに、前記距離画像における位置が対応している前記第１画素の信頼度と、前記第２画素の信頼度との和は一定であり、前記信頼度特定部は、前記差分の絶対値が大きければ大きいほど、前記第１画素の信頼度が高くなるように、前記第１画素及び前記第２画素のそれぞれの前記信頼度を特定してもよい。

前記第２距離画像には、前記距離が推定できなかった画素が含まれており、前記信頼度には、最大値及び最小値が設定されているとともに、前記距離画像における位置が対応している前記第１画素の信頼度と、前記第２画素の信頼度との和は一定であり、前記信頼度特定部は、前記第２距離画像における前記第２画素が、前記距離が推定できなかった画素である場合には、当該第２画素の前記信頼度を前記最小値とし、当該第２画素に対応する位置の前記第１画素の前記信頼度を前記最大値としてもよい。

前記距離画像生成部は、前記距離画像における位置が対応している前記複数の第１画素及び前記第２画素のそれぞれにおいて、前記信頼度特定部が特定した前記第２画素の信頼度が所定の閾値以上である場合、当該第２画素の信頼度と当該第１画素の信頼度とに基づいて画素に対応する前記距離の値を合成し、前記第２画素の信頼度が所定の閾値未満である場合、前記合成距離画像の当該第２画素に対応する前記距離の値を無効であることを示す値とすることにより、前記合成距離画像を生成してもよい。

前記画像取得部は、少なくとも２つの方向から被写体を同時に撮像する前記撮像装置が撮像した２つの画像に基づいて生成された、前記画像を構成する複数の画素のそれぞれに対応する前記被写体と、前記撮像装置との距離を推定した距離画像である第３距離画像を取得するとともに、前記２つの画像のうち一方の画像に基づいて生成された距離画像である第４距離画像を取得し、前記信頼度特定部は、前記第３距離画像を構成する複数の画素である複数の第３画素のそれぞれと、前記第４距離画像を構成する複数の画素である複数の第４画素のそれぞれとについて、画素に対応する距離の信頼度を特定し、前記距離画像生成部は、前記距離画像における位置が対応している前記複数の第３画素及び前記第４画素のそれぞれについて、当該第３画素の信頼度と当該第４画素の信頼度とに基づいて画素に対応する前記距離の値を合成することにより、前記第１距離画像を生成し、前記画像取得部は、前記距離画像生成部が生成した前記第１距離画像を取得してもよい。

本発明の第２の態様に係る距離画像生成方法は、コンピュータが実行する、撮像装置が撮像した画像に基づいて生成された、前記画像を構成する複数の画素のそれぞれに対応する被写体と、前記撮像装置との距離を推定した距離画像である第１距離画像を取得するとともに、光又は電波を被写体に照射し、被写体が反射した光又は電波に基づいて被写体との距離を測定する測距装置により生成された前記被写体と前記測距装置との距離を推定した距離画像である第２距離画像を取得するステップと、前記第１距離画像を構成する複数の画素である複数の第１画素のそれぞれと、前記第２距離画像を構成する複数の画素である複数の第２画素のそれぞれとについて、画素に対応する距離の信頼度を特定するステップと、前記距離画像における位置が対応している前記複数の第１画素及び前記第２画素のそれぞれについて、当該第１画素の信頼度と当該第２画素の信頼度とに基づいて画素に対応する前記距離の値を合成することにより、前記第１距離画像と前記第２距離画像とを合成した距離画像である合成距離画像を生成するステップと、を備える。

本発明によれば、単眼カメラが撮像した画像に基づく距離画像の長所及び測距装置が生成した距離画像の長所を有する距離画像を生成することができるという効果を奏する。

第１の実施形態に係る距離画像生成装置の概要を説明する図である。 第１の実施形態に係る距離画像生成装置の構成を示す図である。 第１の実施形態に係る距離画像生成装置における処理の流れを示すフローチャートである。 第２の実施形態に係る距離画像生成装置の概要を説明する図である。

＜第１の実施形態＞
図１は、第１の実施形態に係る距離画像生成装置の概要を説明する図である。距離画像生成装置は、例えば、乗用車、バス、トラック等の車両に搭載されるコンピュータである。距離画像生成装置は、車両に搭載され、車両の前方又は周囲を撮像する撮像装置から取得した撮像画像に基づいて距離画像を生成するとともに、車両に搭載され、車両の前方又は周囲の障害物との距離を測定するための測距装置から距離画像を取得する。

撮像装置は、例えば１つの撮像手段を備える単眼カメラである。また、距離画像は、撮像画像を構成する複数の画素のそれぞれに対応する被写体と、撮像装置との距離を示す画像である。距離画像を構成する複数の画素のそれぞれの画素値は、推定した距離を示している。以下、距離画像における画素の画素値を、画素に対応する距離の値という。測距装置は、例えば、ＬＩＤＡＲである。測距装置は、レーザ光を被写体に照射してから、被写体が反射した反射光を受信するまでの時間に基づいて被写体との距離を測定し、距離画像を生成する。なお、測距装置はＬＩＤＡＲに限らず、ミリ波等の電波を用いて距離を測定するものであってもよい。

距離画像生成装置は、図１に示すように、撮像装置が撮像した撮像画像に基づいて生成された距離画像である第１距離画像Ｉ^Ｍと、測距装置から取得した距離画像である第２距離画像Ｉ^Ｌとを取得する。距離画像生成装置は、第１距離画像Ｉ^Ｍを構成する複数の画素のそれぞれと、第２距離画像Ｉ^Ｌを構成する複数の画素のそれぞれとについて、画素に対応する距離の信頼度を特定する。

距離画像生成装置は、距離画像における位置が対応している第１距離画像Ｉ^Ｍの画素と、第２距離画像Ｉ^Ｌの画素とを、特定した信頼度に基づいて合成することにより、合成距離画像Ｉ^Ｃを生成する。距離画像生成装置は、信頼度が高い画素に対応する距離の値が、信頼度が低い画素に対応する距離の値に比べて強く反映された合成距離画像Ｉ^Ｃを生成する。これにより、距離画像生成装置は、測距装置から取得した距離画像の長所及び単眼カメラが撮像した画像に基づく距離画像の長所を有する距離画像を生成することができる。
続いて、距離画像生成装置の詳細な説明を行う。

［距離画像生成装置１の構成］
図２は、第１の実施形態に係る距離画像生成装置１の構成を示す図である。距離画像生成装置１は、記憶部１１と、制御部１２とを備えている。

記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。記憶部１１は、制御部１２を、画像取得部１２１、信頼度特定部１２２、距離画像生成部１２３及び出力部１２４として機能させる距離画像生成プログラムを記憶する。

制御部１２は、図示しないＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されている距離画像生成プログラムを実行することにより、画像取得部１２１、信頼度特定部１２２、距離画像生成部１２３及び出力部１２４として機能する。

画像取得部１２１は、撮像装置２が撮像した撮像画像を構成する複数の画素のそれぞれに対応する被写体と、撮像装置２との距離を推定した距離画像である第１距離画像Ｉ^Ｍを取得する。

画像取得部１２１は、撮像装置２が撮像した画像に基づいて深層学習モデルが生成した第１距離画像Ｉ^Ｍを取得する。例えば、画像取得部１２１は、撮像画像の入力に対して第１距離画像Ｉ^Ｍを出力する深層学習モデルに、撮像装置２が撮像した撮像画像を入力することにより、深層学習モデルから出力された第１距離画像Ｉ^Ｍを取得する。深層学習モデルによる距離画像の生成は、全ての画素において距離が推定されるとともに、低ノイズであるという長所があるものの、学習時に推定値と正解値との誤差を零にすることができず、距離の推定値に正解値との一定の誤差が含まれるという短所がある。

また、画像取得部１２１は、測距装置３により生成された、被写体と測距装置３との距離を推定した距離画像である第２距離画像Ｉ^Ｌを測距装置３から取得する。測距装置３が生成した第２距離画像Ｉ^Ｌは、距離が推定された画素においては、距離の推定値が高精度であるという長所がある一方で、光又は電波の非照射領域において距離を測定できないという短所がある。

信頼度特定部１２２は、第１距離画像Ｉ^Ｍを構成する複数の画素である複数の第１画素のそれぞれと、第２距離画像Ｉ^Ｌを構成する複数の画素である複数の第２画素のそれぞれとについて、画素に対応する距離の信頼度を特定する。

ここで、信頼度には、最大値及び最小値が設定されているとともに、距離画像における位置が対応している第１画素の信頼度と、第２画素の信頼度との和は一定である。本実施形態において、信頼度の最小値は０であり、最大値は１であるものとする。第１画素の信頼度をＣ^Ｍ _ｉｊ、第２画素の信頼度をＣ^Ｌ _ｉｊとすると、第１画素の信頼度Ｃ^Ｍ _ｉｊと、第２画素の信頼度Ｃ^Ｌ _ｉｊとの関係は、以下の式（１）により示される。ここで、ｉは、距離画像における横方向の画素のインデックス値であり、ｊは、距離画像における縦方向の画素のインデックス値である。画像のサイズをＷ×Ｈとするとｉの最小値は０、最大値はＷ－１であり、ｊの最小値は０、最大値はＨ－１であるものとする。

信頼度特定部１２２は、距離画像における位置が対応している第１画素に対応する距離と、第２画素に対応する距離との差分に基づいて、当該第１画素及び当該第２画素のそれぞれの信頼度Ｃ^Ｍ _ｉｊ、Ｃ^Ｌ _ｉｊを特定する。信頼度特定部１２２は、当該差分の絶対値が大きければ大きいほど、第１画素の信頼度Ｃ^Ｍ _ｉｊが高くなるように、第１画素及び第２画素のそれぞれの信頼度Ｃ^Ｍ _ｉｊ、Ｃ^Ｌ _ｉｊを特定する。

また、第２距離画像Ｉ^Ｌでは、距離が推定できなかった画素について、当該画素に対応する距離の値が、距離が推定できなかったことを特定可能な値に設定されている。あるいは、距離が推定できなかった画素について、距離が推定できなかったことを特定可能な情報が付与されている。信頼度特定部１２２は、第２距離画像Ｉ^Ｌにおける第２画素が、距離が推定できなかった画素である場合には、当該第２画素の信頼度Ｃ^Ｌ _ｉｊを最小値とし、当該第２画素に対応する位置の第１画素の信頼度Ｃ^Ｍ _ｉｊを最大値とする。

信頼度特定部１２２は、最小値が０となり、最大値が１となるような関数として例えば、以下の式（２）により第１画素の信頼度Ｃ^Ｍ _ｉｊを特定する。その後、信頼度特定部１２２は、特定した第１画素の信頼度Ｃ^Ｍ _ｉｊを式（１）に代入することにより、当該第１画素に対応する第２画素の信頼度Ｃ^Ｌ _ｉｊを特定する。式（２）において、Ｉ^Ｍ _ｉｊは、第１距離画像Ｉ^Ｍの各画素（第１画素）のそれぞれに対応する距離の値であり、Ｉ^Ｌ _ｉｊは、第２距離画像Ｉ^Ｌの各画素（第２画素）のそれぞれに対応する距離の値である。

式（２）に示されるｓｉｇｍｏｉｄ（ｘ）は、シグモイド関数であり、以下の式（３）で示される。

また、式（２）に示されるｄは、オフセット値である。シグモイド関数に入力される値は、第１画素に対応する距離の値Ｉ^Ｍ _ｉｊが示す距離と、第２画素に対応する距離の値Ｉ^Ｌ _ｉｊとの差分の絶対値であるため、オフセット値を設定しないと、シグモイド関数から出力される値は０．５以上となる。これに対して、オフセット値を設定することにより、シグモイド関数に負の値を入力することができる。これにより、信頼度特定部１２２は、シグモイド関数から、０．５未満の数、すなわち、最小値に近い値を得ることができる。また、オフセット値ｄを変更することで、第１画素に対応する距離の値Ｉ^Ｍ _ｉｊと第２画素に対応する距離の値Ｉ^Ｌ _ｉｊのいずれの値の信頼度を高くするかを調整可能である。なお、ｄの値は単眼カメラによる距離推定の深層学習モデルの学習時に出力された推定値と正解値との誤差の値を参考に決定してもよい。式（３）に示されるａは、シグモイド関数における傾きを変化させるパラメータである。パラメータａを調整することで、信頼度Ｃ^Ｍ _ｉｊ、Ｃ^Ｌ _ｉｊの配分の変化のしやすさを調整可能である。

距離画像生成部１２３は、距離画像における位置が対応している複数の第１画素及び第２画素のそれぞれについて、第１画素に対応する距離の値Ｉ^Ｍ _ｉｊ、第１画素の信頼度Ｃ^Ｍ _ｉｊ、第２画素に対応する距離の値Ｉ^Ｌ _ｉｊ、及び第２画素の信頼度Ｃ^Ｌ _ｉｊに基づいて画素に対応する距離の値を合成することにより、第１距離画像Ｉ^Ｍと第２距離画像Ｉ^Ｌとを合成した距離画像である合成距離画像Ｉ^Ｃを生成する。距離画像生成部１２３は、距離画像における位置が対応している複数の第１画素及び第２画素のそれぞれについて、第１画素の信頼度Ｃ^Ｍ _ｉｊにより重み付けがされた第１画素に対応する距離の値Ｉ^Ｍ _ｉｊと、第２画素の信頼度Ｃ^Ｌ _ｉｊにより重み付けがされた第２画素に対応する距離の値Ｉ^Ｌ _ｉｊとを加えることにより、合成距離画像Ｉ^Ｃを生成する。

具体的には、距離画像生成部１２３は、以下の式（４）に、第１画素の距離の値Ｉ^Ｍ _ｉｊ、第２画素に対応する距離の値Ｉ^Ｌ _ｉｊ、特定された信頼度Ｃ^Ｍ _ｉｊ及びＣ^Ｌ _ｉｊを入力し、合成距離画像Ｉ^Ｃを構成する画素に対応する距離の値Ｉ^Ｃ _ｉｊを算出する。距離画像生成部１２３は、合成距離画像Ｉ^Ｃを構成する全ての画素に対応する距離の値Ｉ^Ｃ _ｉｊを算出することにより、合成距離画像Ｉ^Ｃを生成する。

なお、距離画像生成部１２３は、式（４）に基づいて、合成距離画像Ｉ^Ｃを構成する全ての画素に対応する距離の値Ｉ^Ｃ _ｉｊを算出したが、これに限らない。距離画像生成部１２３は、距離画像における位置が対応している複数の第１画素及び第２画素のそれぞれにおいて、信頼度特定部１２２が特定した第２画素の信頼度Ｃ^Ｌ _ｉｊが所定の閾値以上である場合のみ、当該第２画素の信頼度Ｃ^Ｌ _ｉｊと当該第１画素の信頼度^Ｍ _ｉｊとに基づいて画素に対応する距離の値を合成してもよい。そして、距離画像生成部１２３は、第２画素の信頼度Ｃ^Ｌ _ｉｊが所定の閾値未満である場合、合成距離画像の当該第２画素に対応する距離の値を無効であることを示す値としてもよい。また、距離画像生成部１２３は、合成距離画像の第２画素に対応する距離の値を無効であることを示す値としたが、これに限らず、当該第２画素に対応する距離の値が無効であることを示す情報を当該第２画素に付与してもよい。

具体的には、距離画像生成部１２３は、以下の式（５）に基づいて合成距離画像Ｉ^Ｃを構成する画素に対応する距離の値Ｉ^Ｃ _ｉｊを算出してもよい。

距離画像生成装置１が車両に搭載される場合、距離画像は、例えば、当該車両と、先行車両との距離を特定するために用いられる。このとき、先行車両との距離の推定精度が高いことが望ましい。これに対して、第２画素と第１画素とのそれぞれに対応する距離の値の差が著しく大きい領域や、第２画素に対応する距離の値が無効である領域において、実質的に第１画素のみで距離の値が強く反映されてしまうと、距離の推定精度が低くなってしまう。これに対し、距離画像生成部１２３は、第２画素の信頼度Ｃ^Ｌ _ｉｊが所定の閾値以上である場合のみ、当該第２画素の信頼度Ｃ^Ｌ _ｉｊと当該第１画素の信頼度^Ｍ _ｉｊとに基づいて距離の値を合成することで、距離の推定精度が低くなってしまうことを抑制するとともに第２画素の距離測定におけるはずれ値などのノイズを緩和することができる。従って、距離画像生成部１２３は、十分に密な距離画像を得ることが目的である場合は式（４）に基づき、特定の物体との距離を高精度に求める場合には式（５）に基づいて距離の値を合成するというように目的に応じて距離の値の合成方法を使い分けてもよい。

出力部１２４は、距離画像生成部１２３が生成した合成距離画像Ｉ^Ｃを出力する。例えば、出力部１２４は、距離画像に基づいて、車両の前方を走行する車両や、車両の周囲に存在する障害物等の検出対象の物体を検出する装置に合成距離画像Ｉ^Ｃを出力する。

［距離画像生成装置１における処理の流れ］
続いて、距離画像生成装置１における処理の流れについて説明する。図３は、第１の実施形態に係る距離画像生成装置１における処理の流れを示すフローチャートである。なお、距離画像生成装置１は、各タイムステップにおいて本フローチャートに係る処理を実行するものとする。

まず、画像取得部１２１は、第１距離画像Ｉ^Ｍを取得するとともに、第２距離画像Ｉ^Ｌを取得する（Ｓ１）。
続いて、信頼度特定部１２２は、第１距離画像Ｉ^Ｍ及び第２距離画像Ｉ^Ｌから、位置が対応する１組の第１画素及び第２画素を選択する（Ｓ２）。

続いて、信頼度特定部１２２は、Ｓ２において選択された第１画素及び第２画素のそれぞれについて、式（１）及び（２）に基づいて信頼度Ｃ^Ｍ _ｉｊ、Ｃ^Ｌ _ｉｊを特定する（Ｓ３）。

続いて、距離画像生成部１２３は、Ｓ２において選択された第１画素に対応する距離の値Ｉ^Ｍ _ｉｊ及び第２画素に対応する距離の値Ｉ^Ｌ _ｉｊを、特定した信頼度Ｃ^Ｍ _ｉｊ、Ｃ^Ｌ _ｉｊに基づいて合成する（Ｓ４）。具体的には、距離画像生成部１２３は、式（４）に、第１画素に対応する距離の値Ｉ^Ｍ _ｉｊ、第２画素に対応する距離の値Ｉ^Ｌ _ｉｊ、特定した信頼度Ｃ^Ｍ _ｉｊ、Ｃ^Ｌ _ｉｊを入力することにより、合成距離画像Ｉ^Ｃの画素に対応する距離の値Ｉ^Ｃ _ｉｊを算出する。

続いて、距離画像生成部１２３は、全ての第１画素及び第２画素が選択されたか否かを判定する（Ｓ５）。距離画像生成部１２３は、全ての第１画素及び第２画素が選択されたと判定すると、Ｓ６に処理を移し、全ての第１画素及び第２画素が選択されていないと判定すると、Ｓ２に処理を移す。

Ｓ５においてＹＥＳと判定される場合、距離画像生成部１２３により、合成距離画像Ｉ^Ｃを構成する全ての画素のそれぞれに対応して距離の値Ｉ^Ｃ _ｉｊが算出され、合成距離画像Ｉ^Ｃが生成された状態となる。Ｓ６において、出力部１２４は、距離画像生成部１２３が生成した合成距離画像Ｉ^Ｃを出力する。

［第１の実施形態の効果］
以上説明したように、第１の実施形態に係る距離画像生成装置１は、撮像装置２が撮像した撮像画像に基づいて生成された第１距離画像Ｉ^Ｍを構成する複数の画素である複数の第１画素のそれぞれと、測距装置３により推定された被写体と測距装置３との距離を推定した第２距離画像Ｉ^Ｌを構成する複数の画素である複数の第２画素のそれぞれとについて、画素に対応する距離の信頼度を特定する。そして、距離画像生成装置１は、距離画像における位置が対応している複数の第１画素及び第２画素のそれぞれについて、当該第１画素の信頼度と当該第２画素の信頼度とに基づいて画素に対応する距離の値を合成することにより、合成距離画像Ｉ^Ｃを生成する。このようにすることで、距離画像生成装置１は、単眼カメラが撮像した画像に基づく距離画像の長所及び測距装置３が生成した距離画像の長所を有する距離画像を生成することができる。また、第１の実施形態では、距離画像生成装置１は、単眼カメラにより撮像された撮像画像に基づいて第１距離画像を取得するため、厳密なキャリブレーションを必要とするステレオカメラと測距装置を組み合わせる場合と比較して、取り扱いが容易であり、また、機器のコストも安価である。

＜第２の実施形態＞
［ステレオカメラが撮像した距離画像の長所を反映させる］
続いて、第２実施形態に係る距離画像生成装置１について説明する。第２実施形態に係る距離画像生成装置１は、ステレオカメラが撮像した距離画像の長所を反映した距離画像を生成する点で第１実施形態と異なる。以下、第２実施形態に係る距離画像生成装置１について説明する。なお、第１実施形態と同じ部分については適宜説明を省略する。

図４は、第２の実施形態に係る距離画像生成装置１の概要を説明する図である。
第２の実施形態に係る距離画像生成装置１の画像取得部１２１は、図４に示すように、少なくとも２つの方向から被写体を同時に撮像する撮像装置としてのステレオカメラが撮像した２つの撮像画像に基づいて生成された距離画像である第３距離画像Ｉ^Ｓと、当該２つの撮像画像のうち一方の画像に基づいて生成された距離画像である第４距離画像Ｉ^Ｍとを取得する。なお、第４距離画像Ｉ^Ｍは例えば、第１の実施形態と同様に単眼カメラの撮像画像から被写体までの距離を推定する深層学習モデルにより、生成される。

信頼度特定部１２２は、第３距離画像Ｉ^Ｓを構成する複数の画素のそれぞれと、第４距離画像Ｉ^Ｍを構成する複数の画素のそれぞれとについて、画素に対応する距離の信頼度を特定する。第３画素の信頼度Ｃ^Ｓ _ｉｊ、第４画素の信頼度Ｃ^Ｍ _ｉｊとすると、第３画素の信頼度Ｃ^Ｓ _ｉｊと、第４画素の信頼度Ｃ^Ｍ _ｉｊとの関係は、以下の式（６）により示される。

信頼度特定部１２２は、距離画像における位置が対応している第３画素に対応する距離と、第４画素に対応する距離との差分に基づいて、当該第３画素及び当該第４画素のそれぞれの信頼度Ｃ^Ｓ _ｉｊ、Ｃ^Ｍ _ｉｊを特定する。具体的には、信頼度特定部１２２は、以下の式（７）により第４画素の信頼度Ｃ^Ｍ _ｉｊを特定し、その後、特定した第４画素の信頼度Ｃ^Ｍ _ｉｊを式（６）に代入することにより、当該第４画素に対応する第３画素の信頼度Ｃ^Ｓ _ｉｊを特定する。式（７）において、Ｉ^Ｓ _ｉｊは、第３距離画像Ｉ^Ｓの各画素（第３画素）に対応する距離の値であり、Ｉ^Ｍ _ｉｊは、第４距離画像Ｉ^Ｍの各画素（第４画素）に対応する距離の値である。また、式（７）におけるオフセット値ｄ_１と、第１の実施形態に示す式（２）におけるオフセット値ｄとは同一又は異なるものである。

また、式（７）に示されるｓｉｇｍｏｉｄ（ｘ）は、シグモイド関数であり、以下の式（８）で示される。ここで、式（８）におけるパラメータａ_１と、第１の実施形態に示す式（３）におけるパラメータａとは同一又は異なるものである。

距離画像生成部１２３は、距離画像における位置が対応している第３距離画像Ｉ^Ｓの画素と、第４距離画像Ｉ^Ｍの画素とを、特定した信頼度に基づいて合成することにより、距離画像を生成する。具体的には、距離画像生成部１２３は、以下の式（９）に、第３画素に対応する距離の値Ｉ^Ｓ _ｉｊ、第４画素に対応する距離の値Ｉ^Ｍ _ｉｊ、特定された信頼度Ｃ^Ｓ _ｉｊ及びＣ^Ｍ _ｉｊを入力し、第３距離画像Ｉ^Ｓと第４距離画像Ｉ^Ｍとを合成した距離画像Ｉ^Ｃ１を構成する画素に対応する距離の値Ｉ^Ｃ１ _ｉｊを算出する。距離画像生成部１２３は、距離画像Ｉ^Ｃ１を構成する全ての画素のそれぞれに対応する距離の値Ｉ^Ｃ１ _ｉｊを算出することにより、距離画像Ｉ^Ｃ１を生成する。

距離画像生成装置は、生成した距離画像Ｉ^Ｃ１を第１距離画像Ｉ^Ｃ１とし、第１距離画像Ｉ^Ｃ１と、第２距離画像Ｉ^Ｌとを、第１実施形態に示す処理手順と同様の処理手順で合成することにより、合成距離画像Ｉ^Ｃ２を生成する。

［第２の実施形態の効果］
以上説明したように、第２の実施形態に係る距離画像生成装置１は、ステレオカメラが撮像した２つの撮像画像に基づいて生成された第３距離画像Ｉ^Ｓを構成する複数の画素である複数の第３画素のそれぞれと、当該２つの撮像画像のうち一方の撮像画像に基づいて生成された第４距離画像^Ｍを構成する複数の画素である複数の第４画素のそれぞれとについて、画素に対応する距離の信頼度を特定する。そして、距離画像生成装置１は、距離画像における位置が対応している複数の第３画素及び第４画素のそれぞれについて、当該第３画素の信頼度と当該第４画素の信頼度とに基づいて画素に対応する距離の値を合成することにより、第１距離画像Ｉ^Ｃ１を生成する。その後、距離画像生成装置１は、第１距離画像Ｉ^Ｃ１と第２距離画像Ｉ^Ｌとに基づいて、第１実施形態と同様に合成距離画像Ｉ^Ｃ２を生成する。

このようにすることで、距離画像生成装置１は、ステレオカメラが撮像した画像に基づく距離画像の長所、単眼カメラが撮像した画像に基づく距離画像の長所、及び測距装置３が生成した距離画像の長所を有する距離画像を生成することができる。

また、第２の実施形態に係る距離画像生成装置１は、ステレオカメラが撮像した撮像画像に基づいて生成された第３距離画像Ｉ^Ｓと、当該２つの撮像画像のうち一方の撮像画像に基づいて生成された第４距離画像Ｉ^Ｍとに基づいて第１距離画像を生成し、その後、生成した第１距離画像と、測距装置３が生成した第２距離画像とに基づいて合成距離画像を生成するため、第３距離画像Ｉ^Ｓと第４距離画像Ｉ^Ｍの長所を有する合成距離画像に第２距離画像の長所をさらに反映させることができる。第２距離画像における距離の推定精度は、第３距離画像、第４距離画像における距離の推定精度に比べて高いことから、距離画像生成装置１は、合成距離画像に第２距離画像の長所を反映させることにより、合成距離画像における距離の推定精度を高めることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、上述の実施の形態では、距離画像生成装置１が乗用車、バス、トラック等の車両に設けられているものとしたが、これに限らない。距離画像生成装置１は、これらの車両に限らず、二輪車、電車等の、障害物との距離を推定することが必要な移動体に設けられてもよく、これらの車両に搭載された撮像装置が撮像した撮像画像に基づく距離画像と、測距装置が生成した距離画像に基づいて、距離画像Ｉ^Ｃを生成してもよい。

また、距離画像生成装置１は、第２の実施形態において、ステレオカメラが撮像した２つの撮像画像に基づく距離画像Ｉ^Ｓと、当該２つの撮像画像のいずれか一方の撮像画像に基づく距離画像Ｉ^Ｍとを合成して距離画像Ｉ^Ｃ１を生成し、当該距離画像Ｉ^Ｃ１と、測距装置３が生成した距離画像Ｉ^Ｌとに基づいて合成距離画像Ｉ^Ｃ２を生成したが、これに限らない。

距離画像生成装置１は、ステレオカメラが撮像した２つの撮像画像に基づく距離画像Ｉ^Ｓと、測距装置３が生成した距離画像Ｉ^Ｌとに基づいて距離画像Ｉ^Ｃ１を生成し、当該距離画像Ｉ^Ｃ１と、ステレオカメラが撮像した２つの撮像画像のいずれか一方の撮像画像に基づく距離画像Ｉ^Ｍとを合成して合成距離画像Ｉ^Ｃ２を生成してもよい。

また、距離画像生成装置１は、ステレオカメラが撮像した２つの撮像画像のいずれか一方の撮像画像に基づく距離画像Ｉ^Ｍと、測距装置３が生成した距離画像Ｉ^Ｌとに基づいて距離画像Ｉ^Ｃ１を生成し、当該距離画像Ｉ^Ｃ１と、ステレオカメラが撮像した２つの撮像画像に基づく距離画像Ｉ^Ｓとを合成して合成距離画像Ｉ^Ｃ２を生成してもよい。

また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 距離画像生成装置
１１ 記憶部
１２ 制御部
１２１ 画像取得部
１２２ 信頼度特定部
１２３ 距離画像生成部
１２４ 出力部
２ 撮像装置
３ 測距装置

Claims (5)

1. 撮像装置が撮像した画像の入力に対して、前記画像を構成する複数の画素のそれぞれに対応する被写体と、前記撮像装置との距離を推定した距離画像である第１距離画像を出力する深層学習モデルに、前記撮像装置が撮像した画像を入力し、前記深層学習モデルから出力された第１距離画像を取得するとともに、光又は電波を被写体に照射し、被写体が反射した光又は電波に基づいて被写体との距離を測定する測距装置により生成された前記被写体と前記測距装置との距離を推定した距離画像である第２距離画像を取得する画像取得部と、
   前記第１距離画像を構成する複数の画素である複数の第１画素のそれぞれと、前記第２距離画像を構成する複数の画素である複数の第２画素のそれぞれとについて、画素に対応する距離の信頼度を特定する信頼度特定部と、
   前記距離画像における位置が対応している前記複数の第１画素及び前記第２画素のそれぞれについて、当該第１画素に対応する前記距離の値と当該第１画素の信頼度とを乗算した値と、当該第２画素に対応する前記距離の値と当該第２画素の信頼度とを乗算した値とを合計することにより、前記第１距離画像と前記第２距離画像とを合成した距離画像である合成距離画像を生成する距離画像生成部と、
   を備え、
   前記信頼度には、最大値及び最小値が設定されているとともに、前記距離画像における位置が対応している前記第１画素の信頼度と、前記第２画素の信頼度との和は一定であり、
   前記信頼度特定部は、前記距離画像における位置が対応している前記第１画素に対応する距離と前記第２画素に対応する距離との差分の絶対値から、前記深層学習モデルの学習時に出力される前記第１画素が示す距離の推定値と当該距離の正解値との誤差の値に基づいて決定されるオフセット値を減算して得られる値が大きければ大きいほど、前記第１画素の信頼度が高くなるように、前記第１画素及び前記第２画素のそれぞれの前記信頼度を特定する、
   距離画像生成装置。
2. 前記第２距離画像には、前記距離が推定できなかった画素が含まれており、
   前記信頼度特定部は、前記第２距離画像における前記第２画素が、前記距離が推定できなかった画素である場合には、当該第２画素の前記信頼度を前記最小値とし、当該第２画素に対応する位置の前記第１画素の前記信頼度を前記最大値とする、
   請求項１に記載の距離画像生成装置。
3. 前記距離画像生成部は、前記距離画像における位置が対応している前記複数の第１画素及び前記第２画素のそれぞれにおいて、前記信頼度特定部が特定した前記第２画素の信頼度が所定の閾値以上である場合、当該第２画素の信頼度と当該第１画素の信頼度とに基づいて画素に対応する前記距離の値を合成し、前記第２画素の信頼度が所定の閾値未満である場合、前記合成距離画像の当該第２画素に対応する画素の前記距離の値を無効であることを示す値とすることにより、前記合成距離画像を生成する、
   請求項１又は２に記載の距離画像生成装置。
4. 前記画像取得部は、少なくとも２つの方向から被写体を同時に撮像する前記撮像装置が撮像した２つの画像に基づいて生成された、前記画像を構成する複数の画素のそれぞれに対応する前記被写体と、前記撮像装置との距離を推定した距離画像である第３距離画像を取得するとともに、前記２つの画像のうち一方の画像に基づいて生成された距離画像である第４距離画像を取得し、
   前記信頼度特定部は、前記第３距離画像を構成する複数の画素である複数の第３画素のそれぞれと、前記第４距離画像を構成する複数の画素である複数の第４画素のそれぞれとについて、画素に対応する距離の信頼度を特定し、
   前記距離画像生成部は、前記距離画像における位置が対応している前記複数の第３画素及び前記第４画素のそれぞれについて、当該第３画素の信頼度と当該第４画素の信頼度とに基づいて画素に対応する前記距離の値を合成することにより、前記第１距離画像を生成し、
   前記画像取得部は、前記距離画像生成部が生成した前記第１距離画像を取得する、
   請求項１から３のいずれか１項に記載の距離画像生成装置。
5. コンピュータが実行する、
   撮像装置が撮像した画像の入力に対して、前記画像を構成する複数の画素のそれぞれに対応する被写体と、前記撮像装置との距離を推定した距離画像である第１距離画像を出力する深層学習モデルに、前記撮像装置が撮像した画像を入力し、前記深層学習モデルから出力された第１距離画像を取得するとともに、光又は電波を被写体に照射し、被写体が反射した光又は電波に基づいて被写体との距離を測定する測距装置により生成された前記被写体と前記測距装置との距離を推定した距離画像である第２距離画像を取得するステップと、
   前記第１距離画像を構成する複数の画素である複数の第１画素のそれぞれと、前記第２距離画像を構成する複数の画素である複数の第２画素のそれぞれとについて、画素に対応する距離の信頼度を特定するステップと、
   前記距離画像における位置が対応している前記複数の第１画素及び前記第２画素のそれぞれについて、当該第１画素に対応する前記距離の値と当該第１画素の信頼度とを乗算した値と、当該第２画素に対応する前記距離の値と当該第２画素の信頼度とを乗算した値とを合計することにより、前記第１距離画像と前記第２距離画像とを合成した距離画像である合成距離画像を生成するステップと、
   を有し、
   前記信頼度には、最大値及び最小値が設定されているとともに、前記距離画像における位置が対応している前記第１画素の信頼度と前記第２画素の信頼度との和は一定であり、
   前記信頼度を特定するステップにおいて、前記コンピュータは、前記距離画像における位置が対応している前記第１画素に対応する距離と前記第２画素に対応する距離との差分の絶対値から、前記深層学習モデルの学習時に出力される前記第１画素が示す距離の推定値と当該距離の正解値との誤差の値に基づいて決定されるオフセット値を減算して得られる値が大きければ大きいほど、前記第１画素の信頼度が高くなるように、前記第１画素及び前記第２画素のそれぞれの前記信頼度を特定する、
   距離画像生成方法。
   

Images