JP6197724B2 - 距離画像生成装置 - Google Patents

Description

本発明は、距離画像生成装置に関する。

対象物までの距離値を示すいわゆる距離画像を生成する場合において、距離画像生成装置から近距離に高反射率の物体が存在すると、レンズ内に高強度の反射光が入射する。そして、高強度の入射光は、レンズと受光素子との間で散乱する。このような散乱光は、高強度の入射光が入射される画素の周辺の画素に入射する。そのため、対応する物体が存在しない画素についても距離値が生成され、物体が存在していないにも関わらず存在しているように見える現象、いわゆるフレア現象が発生する。
例えば特許文献１に開示されている距離画像生成装置は、撮影空間を複数の領域に分割するとともに、光源を複数の照射部に分割している。そして、高強度の光が入射する領域に対する発光強度を調整することで、散乱光の発生を抑制している。

特開２０１３−５０３１０号公報

しかしながら、従来の技術では、発光強度を調整するために光源を分割する必要があり、装置がコスト高になる。
そこで、本発明は、光源を分割する必要がなくコストを抑えた構成により、距離画像から散乱光の影響を除去することができる距離画像生成装置を提供する。

本発明に係る距離画像生成装置によれば、散乱光処理手段は、発光部から光を発してから当該光が物体に反射して受光部の画素に入射するまでの時間に基づいて物体までの距離を特定し、その距離と画素に入射された入射光の強度に基づいて、画素に入射された入射光が散乱光であるか否かを判定する。強度判定手段は、入射光の強度が所定の強度判定用の閾値以上である画素を高強度画素として判定する。画素選択手段は、高強度画素の周囲に位置する画素を選択画素として選択する。そして、散乱光処理手段は、選択画素に入射された入射光が散乱光であると判定すると、その選択画素に対して特定された距離を無効にする。

この構成によれば、強度判定手段、画素選択手段、散乱光処理手段による一連の処理により距離画像から散乱光の影響を除去することができ、光源である発光部を分割する必要がなく、コストを抑えることができる。

距離画像生成装置の構成例を概略的に示すブロック図 散乱光の入射が推定される範囲を示す図（その１） 選択画素が選択された状態を示す図（その１） 距離／強度閾値データを示す図 選択画素に設定されている距離値および強度値の例を示す図 距離値および強度値を無効化した状態を示す図 散乱光の入射が推定される範囲を示す図（その２） 選択画素が選択された状態を示す図（その２） 散乱光の入射が推定される範囲を示す図（その３） 各画素に設定されている強度値の例を示す図（その１） 各画素について求めた差分値の例を示す図（その１） 選択画素が選択された状態を示す図（その３） 各画素に設定されている強度値の例を示す図（その２） 各画素について求めた差分値の例を示す図（その２） 選択画素が選択された状態を示す図（その４） （ａ）は高反射率の物体および低反射率の物体と距離画像生成装置との位置関係を示す図、（ｂ）は従来の技術により散乱光の有無を判定する場合を示す図、（ｃ）は本実施形態の技術により散乱光の有無を判定する場合を示す図

以下、距離画像生成装置に係る一実施形態について図面を参照しながら説明する。図１に例示する距離画像生成装置１０は、発光部１１、受光部１２および距離画像生成部１３を備える。発光部１１は、例えばＬＥＤあるいはレーザなどで構成される光源を有する。発光部１１は、光源から光を発すると発光信号を出力する。受光部１２は、マトリクス状に配置された図示しない複数の画素を備える。各画素は、距離画像生成装置１０により生成される距離画像の画素に対応しており、それぞれ図示しない受光素子を備える。受光素子は、受光すると受光信号を出力する。また、受光素子は、受光した入射光の強度に応じて強度信号を出力する。

距離画像生成部１３は、距離算出処理部２１、強度判定処理部２２、画素選択処理部２３、散乱光処理部２４を備える。これら処理部２１〜２４は、距離画像生成部１３がマイクロコンピュータにおいて制御プログラムを実行することにより、ソフトウェアによって仮想的に実現するものである。なお、これら処理部２１〜２４は、ハードウェアによって構成してもよい。また、距離画像生成部１３は、距離値メモリ３１および強度値メモリ３２を備える。距離値メモリ３１、強度値メモリ３２は、例えばフラッシュメモリなどといった記憶媒体で構成される。距離画像生成装置１０は、距離値メモリ３１に格納される距離値に基づき距離画像を生成する。

距離算出処理部２１は、発光部１１から入力される発光信号および受光部１２から入力される受光信号に基づいて、物体までの距離を算出する。即ち、距離算出処理部２１は、発光部１１から発光信号が入力されてから、受光部１２の各画素に対応する受光素子から受光信号が入力されるまでの時間、つまり、発光部１１から光を発してから当該光が物体に反射して受光部１２の各画素に入射するまでの時間を算出する。そして、距離算出処理部２１は、特定した時間と光の速度に基づいて、受光部１２の各画素と物体との間の距離を算出する。即ち、距離算出処理部２１は、いわゆるＴＯＦ方式(Time of Flight)により物体までの距離を算出する。そして、距離算出処理部２１は、各画素に対応して算出した距離値を距離値メモリ３１に記憶する。

強度判定処理部２２は、受光部１２の各画素に対応する受光素子から与えられる強度信号に基づいて、各画素に入射した入射光の強度を特定する。そして、強度判定処理部２２は、各画素に対応して特定した強度値を強度値メモリ３２に記憶する。また、強度判定処理部２２は、各画素に対応して特定した強度値と、予め設定されている所定の強度判定用の閾値Ｓ１とを比較する。そして、強度判定処理部２２は、入射光の強度が閾値Ｓ１以上である画素を高強度画素として判定する。この場合、閾値Ｓ１として「１０」が設定されている。なお、閾値Ｓ１は、適宜変更して設定することができる。

画素選択処理部２３は、強度判定処理部２２が特定した高強度画素の周囲に位置する画素を選択画素として選択する。例えば図２に示すように、入射光の強度が１０である画素が高強度画素Ｇｈとして特定されている場合には、その周囲の画素Ｇａに散乱光が入射していることが推定される。なお、図２では、破線で囲む範囲Ｒａ内に散乱光が発生していると仮定している。

そのため、画素選択処理部２３は、例えば図３に示すように、高強度画素Ｇｈの周囲に存在する画素を選択画素Ｇｓとして選択する。この場合、画素選択処理部２３は、高強度画素Ｇｈを中心として、左右方向においてそれぞれ２画素ずつ、上下方向においてそれぞれ２画素ずつを選択画素Ｇｓとして選択する。また、画素選択処理部２３は、高強度画素Ｇｈを中心として、右斜め上方向、右斜め下方向、左斜め下方向、左斜め上方向においてそれぞれ１画素ずつを選択画素Ｇｓとして選択する。即ち、画素選択処理部２３は、散乱光が発生していると推定される範囲Ｒａの全体を包含するように選択画素Ｇｓを選択する。なお、散乱光が発生していると推定される範囲は、例えば、高強度画素Ｇｈに入射する入射光の強度に基づいて、実験データや過去の実測データなどを参照することにより求めることができる。

散乱光処理部２４は、距離値メモリ３１および強度値メモリ３２を参照して、画素選択処理部２３が選択した選択画素Ｇｓに対して特定された距離値および強度値を抽出する。そして、散乱光処理部２４は、抽出した距離値および強度値に基づいて、選択画素Ｇｓに入射された入射光が散乱光であるか否かを判定する。即ち、距離画像生成装置１０には、例えば図４に示す距離／強度閾値データが格納されている。距離／強度閾値データは、距離に応じて設定された強度閾値を規定したデータである。例えば、距離「２」に対応して設定されている強度閾値は「５」であり、距離「８」に対応して設定されている強度閾値は「１」である。散乱光処理部２４は、各選択画素Ｇｓの距離値および強度値と距離／強度閾値データとを照合することにより、各選択画素Ｇｓに入射された入射光が散乱光であるか否かを判定する。

例えば図５には、図３に例示した選択画素Ｇｓに対して特定された距離値および強度値の例を示している。なお、各画素に記載されている数値のうち、上段の値が強度値であり、下段の値が距離値である。この場合、距離値が「２」である選択画素Ｇｓの強度値は、何れも、距離「２」に対応する強度閾値「５」よりも小さい。よって、散乱光処理部２４は、これらの選択画素Ｇｓに入射された入射光は「散乱光である」と判定する。一方、距離値が「８」である選択画素Ｇｓの強度値は、何れも、距離「８」に対応する強度閾値「１」よりも大きい。よって、散乱光処理部２４は、これらの選択画素Ｇｓに入射された入射光は「散乱光でない」と判定する。

散乱光処理部２４は、選択画素Ｇｓに入射された入射光が散乱光であると判定すると、その選択画素Ｇｓに対して特定された距離値を無効にする。即ち、例えば図６に示すように、散乱光処理部２４は、散乱光が入射された選択画素Ｇｓに対応して距離値メモリ３１に格納されている距離値をクリアつまり「０」にする。また、散乱光処理部２４は、選択画素Ｇｓに入射された入射光が散乱光であると判定すると、その選択画素Ｇｓに対して特定された強度値を無効にする。即ち、散乱光処理部２４は、散乱光が入射された選択画素Ｇｓに対応して強度値メモリ３２に格納されている強度値をクリアつまり「０」にする。

これにより、散乱光が発生していると推定される範囲Ｒａに重なる画素の距離値を無効化することができるから、生成される距離画像から散乱光の影響が除去されるようになる。なお、画素選択処理部２３による選択画素Ｇｓの選択方法は、上述したものに限られない。ここで、選択画素Ｇｓの選択方法の例をいくつか説明する。

例えば図７に示すように、入射光の強度が２０である画素が高強度画素Ｇｈとして特定されている場合には、図２に例示した場合、つまり高強度画素Ｇｈの入射光の強度が１０である場合よりも広い範囲Ｒｂに散乱光が発生していると推定される。そのため、画素選択処理部２３は、例えば図８に示すように、高強度画素Ｇｈに入射された入射光の強度の大きさに応じて選択画素Ｇｓを選択する範囲を変更する。即ち、画素選択処理部２３は、高強度画素Ｇｈの入射光の強度が大きい場合には、選択画素Ｇｓを選択する範囲を広くする。これにより、図２に例示した場合よりも多くの選択画素Ｇｓが選択され、散乱光が発生していると推定される範囲Ｒｂの全体を包含するように選択画素Ｇｓが選択される。なお、図示はしないが、画素選択処理部２３は、高強度画素Ｇｈの入射光の強度が小さい場合には、選択画素Ｇｓを選択する範囲を狭くする。

また、例えば図９に示すように、高強度画素Ｇｈの周囲の画素において散乱光が入射されると推定される範囲は、高強度画素Ｇｈを中心とする円形の範囲に限られるものではなく、例えば楕円形の範囲Ｒｃなどといった様々な形状が考えられる。そのため、画素選択処理部２３は、次のようにして選択画素Ｇｓを選択するように構成してもよい。

即ち、例えば図１０に示すように、各画素の入射光の強度値が特定されていると仮定する。なお、各画素中に示す数値は当該画素の強度値である。このとき、画素選択処理部２３は、高強度画素Ｇｈに入射された入射光の強度値「１０」と、当該高強度画素Ｇｈの周囲の画素に入射された入射光の強度値との差分を求める。図１１には、各画素について求めた差分値を示している。そして、図１２に示すように、画素選択処理部２３は、求めた差分値が所定の画素選択用の閾値Ｓ２よりも小さい画素を選択画素Ｇｓとして選択する。この場合、閾値Ｓ２として「８」が設定されており、図１１において差分値が閾値「８」よりも小さい画素が選択画素Ｇｓとして選択される。なお、閾値Ｓ２は、適宜変更して設定することができ、例えば、高強度画素Ｇｈに入射された入射光の強度に応じて閾値Ｓ２を変更するように構成してもよい。

また、画素選択処理部２３は、次のようにして選択画素Ｇｓを選択するように構成してもよい。即ち、画素選択処理部２３は、高強度画素Ｇｈの周囲の画素に入射された入射光の強度と当該画素の周囲の画素に入射された入射光の強度との差分を求める。
具体的に説明すると、例えば図１３に示すように、画素選択処理部２３は、例えば高強度画素Ｇｈの周囲の画素Ｇａ［１］について、その入射光の強度値である「３」を抽出する。なお、各画素中に示す数値は当該画素の強度値である。また、画素選択処理部２３は、その画素Ｇａ［１］の周囲において当該画素Ｇａ［１］に隣接する画素の入射光の強度値をそれぞれ参照し、そのうち入射光の強度値が最も大きい画素Ｇａ［２］を特定する。この場合、高強度画素Ｇｈが画素Ｇａ［２］として特定され、その入射光の強度値である「１０」が抽出される。そして、画素選択処理部２３は、画素Ｇａ［１］の入射光の強度値「３」と画素Ｇａ［２］の入射光の強度値「１０」との差分を求める。このようにして、画素選択処理部２３は、各画素の差分値を求める。図１４には、図１３に示すように各画素の強度値が特定されている場合において、各画素について求めた差分値を示している。

そして、図１５に示すように、画素選択処理部２３は、求めた差分値が所定の画素選択用の閾値Ｓ３よりも大きい画素を選択画素Ｇｓとして選択する。この場合、閾値Ｓ３として「１」が設定されており、図１４において差分値が閾値「１」よりも大きい画素が選択画素Ｇｓとして選択される。なお、閾値Ｓ３は、適宜変更して設定することができ、例えば、高強度画素Ｇｈに入射された入射光の強度に応じて閾値Ｓ３を変更するように構成してもよい。

本実施形態に係る距離画像生成装置１０によれば、強度判定処理部２２、画素選択処理部２３、散乱光処理部２４による一連の処理により、入射光の強度が高強度である画素の周囲に存在する画素のうち、入射された入射光が散乱光であると判定された画素の距離値を無効化することができる。これにより、光源である発光部１１を分割した構成としなくとも、生成される距離画像から散乱光の影響を除去することができ、コストを抑えることができる。

また、例えば図１６（ａ）に示すように、距離画像生成装置に対し、高反射率の物体Ａが比較的近距離に存在し、低反射率の物体Ｂが比較的遠距離に存在すると仮定する。この場合において、例えば図１６（ｂ）に示すように、高反射率の物体Ａに対応する高強度画素Ｇｈを除く全ての画素について散乱光の有無を判定する技術を適用したとすると、低反射率の物体Ｂに対応する画素の距離値もクリアされるおそれがあり、生成される距離画像において、低反射率の物体Ｂが見落とされる可能性がある。なお、図１６（ｂ）において網掛けを施した範囲に含まれる画素が、散乱光の有無が判定される画素である。

距離画像生成装置１０によれば、このような従来の技術とは異なり、高強度画素Ｇｈの周囲に存在する画素のうち散乱光が入射していると推定される画素を選択し、その選択された画素について散乱光の有無を判定するように構成した。これにより、例えば図１６（ｃ）に示すように、低反射率の物体Ｂに対応する画素の距離値がクリアされることが防止され、低反射率の物体Ｂに係る情報が距離画像から除去されてしまうことを回避することができる。なお、図１６（ｃ）において網掛けを施した範囲に含まれる画素が、散乱光の有無が判定される画素である。

また、距離画像生成装置１０によれば、高強度画素Ｇｈに入射された入射光の強度の大きさに応じて選択画素Ｇｓを選択する範囲を変更することが可能である。従って、高反射率の物体に対応する画素の周囲において散乱光が入射されているおそれがある画素を精度良く選択することができる。

また、距離画像生成装置１０によれば、高強度画素Ｇｈに入射された入射光の強度と当該高強度画素Ｇｈの周囲の画素に入射された入射光の強度との差分を求め、その差分が所定の画素選択用の閾値Ｓ２よりも小さい画素を選択画素Ｇｓとして選択することが可能である。また、距離画像生成装置１０によれば、高強度画素Ｇｈの周囲の画素に入射された入射光の強度と当該画素の周囲の画素に入射された入射光の強度との差分を求め、その差分が所定の画素選択用の閾値Ｓ３よりも大きい画素を選択画素Ｇｓとして選択することが可能である。これにより、高反射率の物体に対応する画素の周囲において散乱光が入射されているおそれがある画素を一層精度良く選択することができる。

また、距離画像生成装置１０によれば、高強度画素Ｇｈに入射された入射光の強度の大きさに応じて画素選択用の閾値Ｓ２，Ｓ３を変化させることが可能である。これにより、高反射率の物体に対応する画素の周囲において散乱光が入射されているおそれがある画素を一層精度良く選択することができる。
本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。

図面中、１０は距離画像生成装置、１１は発光部、１２は受光部、２２は強度判定処理部（強度判定手段）、２３は画素選択処理部（画素選択手段）、２４は散乱光処理（散乱光処理手段）を示す。

Claims (5)

1. 発光部（１１）から光を発してから当該光が物体に反射して受光部（１２）の画素に入射するまでの時間に基づいて前記物体までの距離を特定し、その距離と前記画素に入射された入射光の強度に基づいて、前記画素に入射された入射光が散乱光であるか否かを判定する散乱光処理手段（２４）と、
   入射光の強度が所定の強度判定用の閾値以上である画素を高強度画素として判定する強度判定手段（２２）と、
   前記高強度画素の周囲に位置する画素を選択画素として選択する画素選択手段（２３）と、を備え、
   距離に対応して強度閾値が設定されており、
   前記散乱光処理手段は、特定した前記距離に対応する前記強度閾値よりも前記選択画素に入射された入射光の強度が小さい場合に当該入射光が散乱光であると判定し、前記選択画素に入射された入射光が散乱光であると判定すると、その選択画素に対して特定された前記距離を無効にする距離画像生成装置。
   
2. 前記画素選択手段は、前記高強度画素に入射された入射光の強度の大きさに応じて前記選択画素を選択する範囲を変更する請求項１に記載の距離画像生成装置。
3. 前記画素選択手段は、前記高強度画素に入射された入射光の強度と当該高強度画素の周囲の画素に入射された入射光の強度との差分を求め、その差分が所定の画素選択用の閾値よりも小さい画素を前記選択画素として選択する請求項１に記載の距離画像生成装置。
4. 前記画素選択手段は、前記高強度画素の周囲の画素に入射された入射光の強度と当該画素の周囲の画素に入射された入射光の強度との差分を求め、その差分が所定の画素選択用の閾値よりも大きい画素を前記選択画素として選択する請求項１に記載の距離画像生成装置。
5. 前記高強度画素に入射された入射光の強度の大きさに応じて前記画素選択用の閾値を変化させる請求項３または４に記載の距離画像生成装置。

Images