JP7382601B2 - 測距装置 - Google Patents

Description

本発明は、画像に基づいて距離を測定する測距装置に関するものである。

従来、ステレオカメラにより撮影された左右の画像を利用して、距離を測定する測距装置が知られている（例えば、特許文献１）。特許文献１では、畳み込みニューラルネットワーク（ＣＮＮ）を利用して、左右の画像において対応する位置（対応点）を適切にマッチングさせることにより、視差を精度よく計算していた。このため、距離を精度よく測定することができた。

特表２０１８－５３７７６６号公報

しかしながら、空や路面など、左右の画像において対応情報が少ない箇所では、対応する位置を精度よくマッチングさせることができず、誤認識や誤差が生じるという課題があった。

本発明は、上記課題を解決するためになされたものであり、その目的は、視差を精度良く測定することができる測距装置を提供することにある。

上記課題を解決するための手段は、撮影装置によって異なる位置から車両の周辺が撮影されることにより得られた複数の撮影画像に基づいて視差を測定する測距装置において、前記複数の撮影画像に基づいて、視差を算出する視差算出部と、前記複数の撮影画像のうちいずれかの撮影画像に含まれる撮影対象の種類及びその領域を識別する識別部と、前記識別部により識別された撮影対象の種類及びその領域に応じて、前記視差算出部により算出された視差を修正する視差修正部と、を備える。

空や路面など、複数の撮影画像において対応情報が少ない箇所であっても、識別部により識別された撮影対象の種類及びその領域という知識を利用して、適切に視差を修正することができる。このため、視差、すなわち、距離を精度よく算出することが可能となる。

測距装置を示すブロック図である。 （ａ）は、比較例における撮影画像の模式図であり、（ｂ）は、（ａ）の撮影画像に対応する視差画像の模式図であり、（ｃ）は、比較例における撮影画像の模式図であり、（ｄ）は、（ｃ）の撮影画像に対応する視差画像の模式図である。 視差算出処理を示すフローチャートである。 （ａ）は、右の撮影画像の模式図であり、（ｂ）は、左の撮影画像の模式図であり、（ｃ）は、識別された画像の模式図であり、（ｄ）は、修正前の視差画像の模式図である。 （ａ）は、修正前に視差画像の模式図であり、（ｂ）は、修正後の視差画像の模式図であり、（ｃ）は、視差画像の路面領域における縦方向の座標と、視差との関係性を示す図である。 （ａ）は、撮影画像の模式図であり、（ｂ）は、修正前の視差画像の模式図であり、（ｃ）は、修正後の視差画像の模式図である。 （ａ）は、撮影画像の模式図であり、（ｂ）は、修正前の視差画像の模式図であり、（ｃ）は、修正後の視差画像の模式図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。本実施形態は、車両に搭載される測距装置を具体化している。測距装置は、車両の周辺に存在する物体（例えば、他の車両や道路構造物等）までの距離を測定するために利用されるものである。

まず、本実施形態に係る測距装置の概略構成について図１を用いて説明する。車両は、撮像装置としてのステレオカメラ１０と、測距装置２０と、を備えている。

ステレオカメラ１０は、車両の前方を撮影できるよう光軸を車両の前方に向けた状態で車両の前部に設置されている。ステレオカメラ１０は、右カメラ１１及び左カメラ１２を備えている。右カメラ１１及び左カメラ１２は、上下（重力）方向において同じ高さに配置されるとともに左右（水平）方向に離れた位置に配置されている。

右カメラ１１及び左カメラ１２は、車両の前方における同一の周辺状況を異なる方向から撮影する。右カメラ１１及び左カメラ１２は、所定周期で同時に撮影を行い、右カメラ１１で撮影された右画像及び左カメラ１２で撮影された左画像は、それぞれ測距装置２０に出力される。右カメラ１１及び左カメラ１２は、例えば、それぞれがＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。

測距装置２０は、ＣＰＵや各種メモリ等を備えたコンピュータを主体として構成されている。測距装置２０は、ステレオカメラ１０の右カメラ１１及び左カメラ１２によってそれぞれ出力された右撮影画像及び左撮影画像に基づいて、左右の撮影画像に含まれる撮影対象（車両前方において撮影されたもの）を識別するとともに、各撮影対象までの距離を算出する。

各撮影対象までの距離の算出には、周知のステレオマッチング（対応点検索）処理を用いた手法が適用される。簡単に説明すると、測距装置２０は、同時に撮影された右撮影画像及び左撮影画像を取得し、これらの撮影画像に対応する対象の視差（撮影画像上のずれ量）を算出し、視差に基づき、三角測量の原理を用いて距離を算出する。

なお、測距装置２０により算出された距離は、図示しない外部装置に出力される。そして、外部装置により、各撮影対象までの距離に基づいて各種処理が実施される。例えば、他車両や道路構造物などの物体までの距離に基づいて、物体に対する接触回避処理等が実施される。

ところで、白い壁や窓など左右の撮影画像において対応情報が少ない箇所では、対応する位置を精度よくマッチングさせることができず、誤認識や誤差が生じるという課題があった。例えば、図２（ａ）に示すような撮影画像が取得された場合、図２（ｂ）に示すような視差画像が生成されていた。図２（ｂ）の視差画像において、楕円で囲まれた部分Ｐ１１が示すように、窓であるはずの領域において、視差に誤差が生じている場合があった。

同様に、空や路面など、左右の撮影画像において対応情報が少ない箇所においても同様の課題があった。例えば、図２（ｃ）に示すような撮影画像が取得された場合、図２（ｄ）に示すような視差画像が生成されていた。図２（ｄ）の視差画像において、楕円で囲まれた部分Ｐ１２，Ｐ１３が示すように、空であるはずの領域や、路面であるはずの領域において、視差に誤差が生じている場合があった。

そこで、以下のように測距装置２０を構成している。以下、図に基づいて詳しく説明する。測距装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶部としての記憶装置、入出力インターフェース等を備える周知のマイクロコンピュータである。図１に示すように、測距装置２０は、前処理部３０、視差算出部４０、識別部としての画像識別部５０、及び視差修正部６０としての機能を備える。これらの機能は、測距装置２０が備える記憶装置（記憶用メモリ）に記憶されたプログラムが実行されることで、各種機能が実現される。なお、各種機能は、ハードウェアである電子回路によって実現されてもよく、あるいは、少なくとも一部をソフトウェア、すなわちコンピュータ上で実行される処理によって実現されてもよい。

図３に示す距離測定処理は、所定周期ごとに測距装置２０により実行されるものである。最初に、測距装置２０は、ステレオカメラ１０から左右の撮影画像（図４（ａ），図４（ｂ）参照）を入力する（ステップＳ１０１）。次に、測距装置２０の前処理部３０は、前処理を実行する（ステップＳ１０２）。

ステップＳ１０２において、前処理部３０は、ステレオカメラ１０のパラメータや歪み係数等を算出するカメラキャリブレーションや、ステレオカメラ１０から取得（入力）した左右の撮影画像に対して、算出されたパラメータなどを用いた平行化処理（レクティフィケーション）を実施する。

次に、測距装置２０の視差算出部４０は、前処理が実行された左右の撮影画像に基づいて、対応点検索を行い、視差を算出し、視差画像（距離画像）を生成する（ステップＳ１０３）。また、視差算出部４０は、左右の撮影画像の画素毎又は視差毎に相関係数（相関値）が算出された相関空間を設定し、動的計画法を用いて、その相関空間全体を使用して視差を推定（最適化）する（ステップＳ１０４）。このステップＳ１０３，Ｓ１０４は、例えば、ＳＧＭ（Semi Global Matching）やＭＰＶ（Multi Path Viterbi）の手法を利用して実行される。このステップＳ１０３，Ｓ１０４により、図２（ｄ）に示すような視差画像（修正前）を取得することができる。

測距装置２０の画像識別部５０は、左カメラ１２からの左撮影画像を基準画像として入力し、左撮影画像に対してセグメンテーションを実施し、撮影画像に含まれる撮影対象の種類（ラベル、カテゴリ）を識別するとともに、種類ごとに領域を識別する（ステップＳ１０５）。ステップＳ１０５では、例えば、画像識別部５０は、Ｕ－Ｎｅｔ等、セマンティックセグメンテーションを利用して、特徴的なカテゴリを形成する画素の集まり（領域）を認識する。

ステップＳ１０５において、本実施形態の画像識別部５０は、撮影画像を、空のカテゴリ、路面のカテゴリ、物体のカテゴリに識別し、左撮影画像を、空であること示す空領域、路面であること示す路面領域、物体であること示す物体領域に識別する。このステップＳ１０５により、図２（ｃ）に示すように、撮影対象の種類及びその領域が識別される。

なお、ステップＳ１０５の処理を実行するタイミングは、ステップＳ１０１以降であれば、任意に変更してよい。また、ステップＳ１０２～Ｓ１０４の処理のいずれかの処理と平行して実施してもよい。

そして、視差修正部６０は、画像識別部５０により識別された撮影対象の種類及びその領域に応じて、視差算出部４０により算出された視差を修正する（ステップＳ１０６）。具体的には、視差修正部６０は、画像識別部５０により撮影対象の種類が空であると識別された空領域では、入力された左右の撮影画像によって取りうる視差のうち、最も遠方であることを示す視差以下の値に修正する。本実施形態では、視差修正部６０は、空領域における視差を、無限遠となるように修正する。

また、視差修正部６０は、画像識別部５０により撮影対象の種類が路面であると識別された路面領域では、視差算出部４０により生成された視差画像において、縦方向における座標と、当該座標における視差との関係性を特定する。視差画像において、縦方向とは奥行方向に相当する。そして、凹凸がなく、平坦な一般的な路面が撮影された場合、視差画像の路面領域では、手前側（下側）から奥側（上側）に向かって視差が徐々に小さく（距離が長く）なることがわかっている。すなわち、路面領域では、視差画像の縦方向における座標と、当該座標における視差との関係性が、図５（ｃ）に示すように、ほぼ直線状となることがわかっている。そこで、視差修正部６０は、路面領域では、縦方向における座標と、当該座標における視差との関係性を近似式（関数）で表現し、近似式により表される直線から所定値以上離れた視差が存在する場合、当該近似式に近づけるように視差を修正する。

例えば、図５（ａ）の修正前の視差画像において楕円で示すように、路面領域において誤差が生じた場合、図５（ｃ）に示すように、関係性を示す直線から所定値以上離れた位置に視差が出現する。そこで、視差修正部６０は、関係性を示す直線に近づけるように（本実施形態では、一致させるように）、当該座標における視差を修正する。これを路面領域全体に対して繰り返し行うことにより、図５（ｂ）に示すように、路面領域では、手前側（下側）から奥側（上側）に向かって視差が徐々に小さくなる。

また、視差修正部６０は、視差算出部４０により生成された視差画像の縦方向において、路面領域よりも上方に、物体であると識別された物体領域が存在する場合であって、当該物体領域内に、路面領域における最小視差よりも大きな視差が存在する場合には、当該視差を小さくするように修正する。

つまり、路面領域よりも上方に、物体であると識別された物体領域が存在する場合であって、当該物体領域内に、路面領域における最小視差よりも大きな視差が存在する場合、そのまま解釈すると、物体の一部が路面よりも近くに存在し、物体の一部が浮かんでいることとなる。このような視差は、通常、異常である。

そこで、視差修正部６０は、当該視差を小さくするように修正する。具体的には、視差修正部６０は、当該視差を、物体領域のうち、路面領域よりも上方に存在する領域における他の視差（周辺視差）と一致させるように修正する。

そして、視差修正部６０は、画像識別部５０により識別された撮影対象の種類及びその領域に応じて、視差算出部４０により算出された視差を修正した後、外部装置に修正後の視差画像を出力する。

以上のように、視差が修正されることによる作用について説明する。

図６（ａ）に示すような撮影画像が取得された場合、修正前の視差画像は、図６（ｂ）に示すような画像となる。つまり、楕円で示すように、空領域に、視差の誤差が生じており、路面領域において視差の誤差が生じている。この視差画像が、視差修正部６０により修正されると、図６（ｃ）に示すように、空領域における誤った視差が、無限遠の視差に修正される。また、路面領域における誤った視差が、修正され、手前側（下側）から奥側（上側）に向かって視差が徐々に小さくなる。

図７（ａ）に示すような撮影画像が取得された場合、修正前の視差画像は、図７（ｂ）に示すような画像となる。つまり、破線で示すように、空領域に、視差の誤差が生じており、物体領域において視差の誤差が生じている。この視差画像が、視差修正部６０により修正されると、図７（ｃ）に示すように、空領域における誤った視差が、無限遠の視差に修正される。また、物体領域における誤った視差が、小さくなるように修正され、周辺視差と一致するようになっている。

本実施形態の構成により、以下の効果を有する。

空や路面など、複数の撮影画像において対応情報が少ない箇所であっても、視差修正部６０は、画像識別部５０により識別された撮影対象の種類及びその領域という知識を利用して、適切に視差を修正することができる。このため、視差、すなわち、距離を精度よく算出することが可能となる。

視差修正部６０は、複数の撮影画像において対応情報が少ない空領域では、複数の撮影画像によって取りうる視差のうち、最も遠方であることを示す視差以下の値（本実施形態では無限遠）に修正する。これにより、空領域における視差が、最も遠方であることを示すように、適切に修正することができる。

凹凸がなく、平坦な一般的な路面が撮影された場合、視差画像の路面領域では、手前側（下側）から奥側（上側）に向かって視差が徐々に小さく（距離が長く）なることがわかっている。すなわち、路面領域では、視差画像の縦方向における座標と、当該座標における視差との関係性が、図５（ｃ）に示すように、ほぼ直線状となることがわかっている。そこで、視差修正部６０は、路面領域では、縦方向における座標と、当該座標における視差との関係性を特定し、当該関係性から所定値以上はずれた視差が存在する場合には、当該関係性に近づけるように視差を修正している。これにより、路面領域では、手前側（下側）から奥側（上側）に向かって視差が徐々に小さくなり、路面領域における視差の誤りが修正される。

視差画像において、路面領域よりも上方に、物体であると識別された物体領域が存在する場合であって、当該物体領域内に、路面領域における最小視差よりも大きな視差が存在する場合、そのまま解釈すると、物体の一部が路面よりも近くに存在し、物体の一部が浮かんでいることとなる。このような視差は、通常、異常である。そこで、視差算出部４０により生成された視差画像の縦方向において、路面領域よりも上方に、物体であると識別された物体領域が存在する場合であって、当該物体領域内に、路面領域における最小視差よりも大きな視差が存在する場合には、当該視差を小さくするように修正することとした。具体的には、視差修正部６０は、当該視差を、物体領域のうち、路面領域よりも上方に存在する領域における他の視差（周辺視差）と一致させるように修正するようにした。これにより、物体領域における視差の誤りが適切に修正される。

視差算出部４０は、左右の撮影画像の画素毎又は視差毎に相関値が算出された相関空間を設定し、動的計画法を用いて、その相関空間全体を使用して視差を推定する。これにより、全体として視差が適切に推定される一方で、誤差の領域が広がる可能性がある。そこで、上記視差修正部６０による誤差の修正を行うことにより、このような誤差を抑制することが可能となる。

（他の実施形態）
・上記実施形態において、車両に電柱など長尺物が積載されている場合、長尺物の一部が車両からはみ出し、路面から実際に浮いている状態である可能性がある。このような場合、路面領域よりも上方に、物体であると識別された物体領域が存在し、かつ、当該物体領域内に、路面領域における最小視差よりも大きな視差が存在することとなる。上記実施形態では、このような場合、視差修正部６０により視差が修正されていたが、所定の条件を満たす場合には、修正しなくてもよい。

すなわち、視差修正部６０は、物体領域内に存在する視差の相関係数が所定値以上であって、かつ、当該相関係数となる視差が１つしかない場合、視差を修正しないようにしてもよい。または、視差修正部６０は、着目した画素が物体のうち車両であると識別された領域内に存在する場合、視差を修正しないようにしてもよい。これにより、車両に電柱など長尺物が積載されている場合に視差が誤って修正されてしまうことを抑制できる。

１０…ステレオカメラ、１１…右カメラ、１２…左カメラ、４０…視差算出部、５０…画像識別部、６０…視差修正部。

Claims (6)

1. 撮像装置（１０，１１，１２）によって異なる位置から車両の周辺が撮影されることにより得られた複数の撮影画像に基づいて視差を測定する測距装置（２０）において、
   前記複数の撮影画像に基づいて、視差を算出する視差算出部（４０）と、
   前記複数の撮影画像のうちいずれかの撮影画像に含まれる撮影対象の種類及びその領域を識別する識別部（５０）と、
   前記識別部により識別された撮影対象の種類及びその領域に応じて、前記視差算出部により算出された視差を修正する視差修正部（６０）と、を備え、
   前記視差修正部は、前記視差算出部により算出された視差に基づいて生成された視差画像の縦方向において、前記識別部により路面であると識別された路面領域よりも上方に、物体であると識別された物体領域が存在する場合であって、当該物体領域内に、前記路面領域における最小視差よりも大きな視差が存在する場合には、当該視差を小さくするように修正する、測距装置。
2. 前記視差修正部は、前記物体領域のうち、前記路面領域よりも上方に存在する領域内に、前記路面領域における最小視差よりも大きな視差が存在し、当該視差を小さくするように修正する場合、当該視差を、前記物体領域のうち、前記路面領域よりも上方に存在する領域における他の視差と一致させるように修正する請求項１に記載の測距装置。
3. 前記視差修正部は、前記物体領域内に存在する視差の相関係数が所定値以上であって、かつ、当該相関係数となる視差が１つしかない場合、又は修正の対象となる画素が物体のうち車両であると識別された領域内に存在する場合、視差を修正しない請求項１又は２に記載の測距装置。
4. 前記視差修正部は、前記識別部により前記撮影対象の種類が空であると識別された空領域では、前記複数の撮影画像によって取りうる視差のうち、最も遠方であることを示す視差以下の値に修正する請求項１～３のうちいずれか１項に記載の測距装置。
5. 前記視差修正部は、前記識別部により前記撮影対象の種類が路面であると識別された路面領域では、前記視差算出部により算出された視差に基づいて生成された視差画像において、縦方向における座標と、当該座標における視差との関係性を特定し、当該関係性から所定値以上はずれた視差が存在する場合には、当該関係性に近づけるように視差を修正する請求項１～４のうちいずれか１項に記載の測距装置。
6. 前記視差算出部は、前記複数の撮影画像の画素毎又は視差毎に相関係数が算出された相関空間を設定し、動的計画法を用いて、その相関空間全体を使用して視差を推定する請求項１～５のうちいずれか１項に記載の測距装置。

Images