JP7133378B2 - 距離画像生成装置 - Google Patents

Description

本発明は、距離画像生成装置に関する。

距離画像生成装置として、特許文献１に記載されているような、ステレオカメラで撮像した一対の撮像画像において互いに対応する画素である対応画素における視差を求めるステレオマッチングによって距離画像（視差画像）を生成するものが知られている。

特開平６－２１５１１１号公報 特開２０１５－１１４２６９号公報

しかし、画像の特徴が少ない路面は、誤マッチングを起こしやすく、特に動的計画法であるビタビアルゴリズムを用いて対応画素を求めた場合、模様が少ない路面は周囲の視差値と同じ値になりやすいため、車両間の路面の視差を車両と同じ視差と誤るおそれがある。そのため、誤マッチングを抑制した距離画像を生成できる技術が望まれていた。

本発明の一形態によれば、車両（１０）に搭載される距離画像生成装置（１１０）が提供される。この距離画像生成装置は、ステレオカメラ（１２２）で撮影された左右の撮像画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（１１１）と、路面までの距離を表す路面距離画像を生成する路面距離画像生成部（１１２）と、前記距離画像と前記路面距離画像における距離の差が予め定められた距離閾値以上となる領域を、前記距離画像において立体物があると推定される立体物領域として検出する立体物検出部（１１３）と、前記基準画像におけるエッジ強度を算出するエッジ算出部（１１４）と、前記立体物領域における前記エッジ強度が予め定めた強度閾値以下となる置換対象領域の前記距離画像の各画素の持つ距離情報を、前記距離情報が示す距離よりも大きな距離を示す情報に置換する距離置換部（１１５）と、を備える。

この距離画像生成装置によれば、立体物があると推定される立体物領域におけるエッジ強度が予め定めた値以下となる置換対象領域の距離画像の各画素の持つ距離情報を、その距離情報が示す距離よりも大きな距離を示す情報に置換するため、誤マッチングを抑制した距離画像を生成できる。

自動運転制御システムの構成の概要を示す説明図である。 距離画像生成処理の一例を示したフローチャートである。 ステレオカメラの撮像画像から距離画像を生成する処理の説明図。 立体物領域を検出する処理の説明図。 置換対象領域を検出する処理の説明図。 路面までの距離を推定する処理の説明図。

Ａ．第１実施形態：
図１に示すように、車両１０は、自動運転制御システム１００を備える。本実施形態において、自動運転制御システム１００は、車両１０の自動運転を実行する。運転手が手動で運転してもよい。本実施形態において、自動運転制御システム１００は、距離画像生成装置１１０と、ステレオカメラ１２２と、周辺物体センサ１２４と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、車載ネットワーク２５０と、を備える。距離画像生成装置１１０と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。

距離画像生成装置１１０は、距離画像生成部１１１と、路面距離画像生成部１１２と、立体物検出部１１３と、エッジ算出部１１４と、距離置換部１１５と、を備える。距離画像生成装置１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

距離画像生成部１１１は、ステレオカメラ１２２で撮像された左右の撮像画像を基準画像及び比較画像として用いて、基準画像に存在する物体までの距離を表す距離画像を生成する。「距離画像」とは、基準画像に存在する物体までの距離を表す画像である。距離画像の生成方法については後述する。

路面距離画像生成部１１２は、路面までの距離を表す路面距離画像を生成する。「路面距離画像」とは、基準画像における路面までの距離を表す画像である。路面距離画像の生成方法については後述する。

立体物検出部１１３は、距離画像において立体物があると推定される立体物領域を検出する。立体物検出部１１３は、距離画像生成部１１１が生成した距離画像と路面距離画像生成部１１２が生成した路面距離画像における距離の差が予め定められた距離閾値以上となる領域を立体物領域として検出する。

エッジ算出部１１４は、ステレオカメラ１２２で撮像された基準画像におけるエッジ強度を算出する。エッジ強度としては、基準画像の輝度値の明暗差に応じた種々の値を採用可能である。例えば各画素の輝度値にソーベルフィルタやプレヴィットフィルタを適用して得られた結果の絶対値を採用することができる。

距離置換部１１５は、置換対象領域の距離画像の各画素の持つ距離情報を、その距離情報が示す距離よりも大きな距離を示す情報に置換する。距離置換部１１５は、立体物検出部１１３が検出した立体物領域におけるエッジ算出部１１４が算出したエッジ強度が予め定めた強度閾値以下となる領域を置換対象領域として検出する。

ステレオカメラ１２２は、自車両の周囲を撮像して画像を取得する。周辺物体センサ１２４は、自車両の周囲の状況を検出する。周辺物体センサ１２４として、例えば、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。

自動運転制御部２１０は、駆動力制御ＥＣＵ２２０と制動力制御ＥＣＵ２３０と操舵制御ＥＣＵ２４０とを制御して自動運転機能を実現する。

駆動力制御ＥＣＵ２２０は、モータなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、自動運転制御部２１０で演算された要求駆動力に応じて動力源を制御する。

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、自動運転制御部２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、自動運転制御部２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。

図２に示す距離画像生成処理は、距離画像生成装置１１０が距離画像を生成する一連の処理である。この処理は自動運転制御システム１００の動作中、距離画像生成装置１１０により繰り返し実行される処理である。距離画像生成装置１１０は、距離画像生成処理において、図３～５に示すような画像を生成する。

まず、図３に示すように、距離画像生成部１１１は、ステップＳ１００において、距離画像Ｐ１を生成する。距離画像生成部１１１は、ステレオカメラ１２２によって撮影された左画像と右画像を取得する。本実施形態では、右画像を基準画像Ｐｒとして使用し、左画像を比較画像Ｐｌとして使用する。距離画像生成部１１１は、基準画像Ｐｒと比較画像Ｐｌから、距離画像Ｐ１としての視差画像を作成する。視差画像の作成処理としては、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を類似度の指標として用いたブロックマッチング等の既知の方法を使用可能である。また、例えば、特許文献２に記載されているような、既知のビタビアルゴリズムを用いてマッチングにおける対応画素を求めてもよい。視差画像において、遠い物体ほど視差が小さく、近い物体ほど視差が大きい。従って、視差画像は、基準画像に存在する物体までの距離を表す画像として使用できる。なお、視差Ｄと距離Ｚとの間には次の式（１）の関係が成立する。
Ｚ＝ｋ／Ｄ …（１）
ここで、ｋはカメラの特性に応じて決まる係数である。

（１）式に従って求めた距離Ｚを画素値とした距離画像（狭義の距離画像）を視差画像の代わりに用いることも可能である。本実施形態では、視差画像を距離画像（広義の距離画像）として使用する。また、以下の説明では、「視差」と「距離」を同義語として使用する。

次に、路面距離画像生成部１１２は、ステップＳ１１０において、路面距離画像Ｐ２（図４）を生成する。本実施形態において、路面距離画像生成部１１２は、ステレオカメラ１２２の基準画像Ｐｒの撮像時における地面からの高さや、俯角等の情報を用いて、水平に延びる路面のみが撮像された場合の路面距離画像を生成する。

続いて、図４に示すように、立体物検出部１１３は、ステップＳ１２０において、立体物領域Ｒ１を検出する。立体物検出部１１３は、ステップＳ１００において距離画像生成部１１１が生成した距離画像Ｐ１と、ステップＳ１１０において路面距離画像生成部１１２が生成した路面距離画像Ｐ２と、を比較して距離の差が予め定められた距離閾値以上となる距離画像Ｐ１の領域を立体物領域Ｒ１として検出する。この距離閾値は、予め実験的に定めることができる。

続いて、距離置換部１１５は、ステップＳ１３０において、ステップＳ１２０で立体物検出部１１３が検出した立体物領域Ｒ１におけるエッジ算出部１１４が算出したエッジ強度が予め定めた強度閾値以下となる置換対象領域Ｒ２（図５）を検出する。この強度閾値は、予め実験的に定めることができる。例えば、エッジ強度を８ビットで表現した場合には、強度閾値をその中央の値である１２７に設定してもよい。

最後に、図５に示すように、距離置換部１１５は、ステップＳ１４０において、ステップＳ１３０で検出した置換対象領域Ｒ２の距離画像Ｐ１の各画素の持つ距離情報を、その距離情報が示す距離よりも大きな距離を示す情報に置換した距離画像Ｐ３を生成する。本実施形態において、距離置換部１１５は置換対象領域Ｒ２の距離画像Ｐ１の各画素の持つ距離情報を置換対象領域Ｒ２に対応する路面距離画像Ｐ２における距離情報に置換する。これにより、図５に示すように、置換後の距離画像Ｐ３は誤マッチング部分が減少する。

以上で説明した本実施形態の距離画像生成装置１１０によれば、立体物があると推定される立体物領域Ｒ１におけるエッジ強度が予め定めた強度閾値以下となる置換対象領域Ｒ２の距離画像Ｐ１の各画素の持つ距離情報を、その距離情報が示す距離よりも大きな距離である置換対象領域Ｒ２に対応する路面距離画像Ｐ２における距離情報が示す距離に置換するため、誤マッチングを抑制した距離画像Ｐ３を生成できる。

Ｂ．その他の実施形態：
上記実施形態において、路面距離画像生成部１１２は、ステレオカメラ１２２の情報から路面距離画像Ｐ２を生成している。この代わりに、路面距離画像生成部１１２は、距離画像Ｐ１の水平方向ごとの画素群において最も多く占める距離情報を用いて、路面までの距離と推定して、路面距離画像Ｐ２を生成してもよい。この形態によれば、例えば車両１０が坂道を走行している場合でも、誤マッチングを抑制した距離画像を生成できる。

例えば、図６に示すように、路面距離画像生成部１１２は、距離画像Ｐ１の水平方向ごとの画素群において最も多く占める距離情報から、距離画像Ｐ１の水平位置における路面までの距離を示すピーク度数直線ＰＬを求め、このピーク度数直線ＰＬを用いて路面までの距離を推定し、路面距離画像Ｐ２を生成できる。まず、路面距離画像生成部１１２は、距離画像Ｐ１から視差ヒストグラム画像Ｐ４を生成する。図６の上部に示すように、距離画像Ｐ１の横軸をＵ、縦軸をＶとする。視差ヒストグラム画像Ｐ４は、視差Ｄと距離画像Ｐ１のＶ座標とを２つの座標軸とした画像であり、距離画像Ｐ１においてＶ座標（水平方向）毎に視差Ｄの出現度数を算出し、その出現度数を座標（Ｄ，Ｖ）における画素の画素値とした画像である。次に、図６の下部に示すように、路面距離画像生成部１１２は、視差ヒストグラム画像Ｐ４において、そのＶ座標毎に出現度数が最もピークとなっている画素を求め、それらのピーク画素から推定された直線であるピーク度数直線ＰＬを求める。このピーク度数直線ＰＬは、以下の式（２）で表される。
Ｖ＝ａ・Ｄ＋ｂ …（２）
ここで、ａ、ｂは係数である。なお、路面距離画像生成部１１２は、単に距離画像Ｐ１の水平方向ごとの画素群において最も多く占める距離情報を路面までの距離と推定して、路面距離画像Ｐ２を生成してもよい。

また、上記実施形態において、距離置換部１１５は、置換対象領域Ｒ２の距離画像Ｐ１の各画素の持つ距離情報を、より大きな距離に置換するために、置換対象領域Ｒ２に対応する路面距離画像Ｐ２における距離情報に置換している。この代わりに、距離置換部１１５は、置換対象領域Ｒ２の距離画像Ｐ１の各画素の持つ距離情報としての視差Ｄを、例えば次の式（３）、（４）によって求められる視差Ｄｃに置換してもよい。
Ｄｃ ＝ Ｄ × １ ／ ｃ …（３）
ここでｃは１より大きい係数である。
Ｄｃ ＝ Ｄ － ΔＤ …（４）
ここでΔＤは０より大きく、Ｄ以下である定数である。また、視差Ｄを０またはｎｕｌｌに置換してもよい。視差Ｄがｎｕｌｌである画素は、視差が０である画素と同様に扱われ,その距離は無限大であると見なされる。距離画像Ｐ１の距離情報が狭義の距離を表す情報の場合にも、同様に処理することによって、より大きな距離を表す距離情報に置換することが可能である。

本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０ 車両、１００ 自動運転制御システム、１１０ 距離画像生成装置、１１１ 距離画像生成部、１１２ 路面距離画像生成部、１１３ 立体物検出部、１１４ エッジ算出部、１１５ 距離置換部、１２２ ステレオカメラ、１２４ 周辺物体センサ、２１０ 自動運転制御部、２２０ 駆動力制御ＥＣＵ、２３０ 制動力制御ＥＣＵ、２４０ 操舵制御ＥＣＵ、２５０ 車載ネットワーク

Claims (3)

1. 車両（１０）に搭載される距離画像生成装置（１１０）であって、
   ステレオカメラ（１２２）で撮影された左右の撮像画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（１１１）と、
   路面までの距離を表す路面距離画像を生成する路面距離画像生成部（１１２）と、
   前記距離画像と前記路面距離画像における距離の差が予め定められた距離閾値以上となる領域を、前記距離画像において立体物があると推定される立体物領域として検出する立体物検出部（１１３）と、
   前記基準画像におけるエッジ強度を算出するエッジ算出部（１１４）と、
   前記立体物領域における前記エッジ強度が予め定めた強度閾値以下となる置換対象領域の前記距離画像の各画素の持つ距離情報を、前記距離情報が示す距離よりも大きな距離を示す情報に置換する距離置換部（１１５）と、を備える、距離画像生成装置。
2. 請求項１に記載の距離画像生成装置であって、
   前記距離置換部は、前記置換対象領域の前記距離情報を前記置換対象領域に対応する前記路面距離画像における距離情報に置換する、距離画像生成装置。
3. 請求項１または請求項２に記載の距離画像生成装置であって、
   前記路面距離画像生成部は、前記距離画像の水平方向ごとの画素群において最も多く占める距離情報を用いて前記路面までの距離を推定する、距離画像生成装置。

Images