JP6712775B2

JP6712775B2 - 路面推定装置、車両制御装置、路面推定方法、およびプログラム

Info

Publication number: JP6712775B2
Application number: JP2016158836A
Authority: JP
Inventors: 崇文徳弘; 賢福本; 山根　一郎; 一郎山根
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-08-12
Filing date: 2016-08-12
Publication date: 2020-06-24
Anticipated expiration: 2036-08-12
Also published as: WO2018030010A1; DE112017004047T5; US20190152487A1; JP2018026058A; CN109564682A

Description

本開示は、路面推定装置、車両制御装置、路面推定方法、およびプログラムに関する。

近年、コンピュータの処理能力の向上に伴い、カメラによって撮影された画像から、コンピュータを用いて道路形状等を推定する装置が考案されている。そのような装置の一例として、単眼カメラ画像より推定した道路形状と、デジタル道路地図の道路形状とを照合することにより、走行中の道路等の概略的な形状を推定する道路形状推定装置が提案されている（特許文献１参照）。

車載ステレオカメラに関する画像処理技術の研究において、路面の検出は重要なテーマである。路面を精度良く検出することによって、走行可能経路の探索や、通行人や自動車等の障害物認識をより効率的に行うことが出来るからである。

特開２００１−３３１７８７号公報

一般に、路面には段差や窪みがある。路面の段差や窪み等の立体的形状をレーザー光の照射等を行わない受動型３次元計測によって特定するためには、２以上のカメラ（ステレオカメラ）によって撮影された、視差を含む複数の画像を用いる必要がある。近年、大域マッチング方法であるＳｅｍｉ−ＧｌｏｂａｌＭａｔｃｈｉｎｇ（ＳＧＭ）等の技術が開発され、ステレオカメラの画像から、路面上の白線等のエッジ情報を用いることなく路面情報を３次元空間内の点群として得ることができるようになった。しかしながら、ＳＧＭを用いて得られた点群には誤差が混入する。当該誤差のために、本来路面上に分布するはずの点群が、路面の上下方向に幅をもって分布してしまう。その結果、点群から路面の立体的形状を精度良く推定することができないという問題があった。

本開示の目的は、改善された検出精度を有する路面推定装置を提供することである。

本開示に係る路面推定装置は、ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する空間計測部と、地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するフィルタ部と、前記路面候補点に基づいて路面を推定する路面推定部と、を備える構成を採る。

本開示に係る車両制御装置は、本開示に係る路面推定装置と、搭載された車両を制御する制御部と、を備え、前記制御部は、前記路面推定装置が推定した推定路面に応じて、前記車両を制御する、構成を採る。

本開示によれば、改善された検出精度を有する路面推定装置を提供することができる。

第１の実施の形態に係る路面推定装置のブロック図である。ｘ−ｙ−ｚ座標系とｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標系の間の座標変換の説明図である。ｘ−ｙ−ｚ座標系におけるｙ−ｚ平面への路面モデルおよび３次元計測点の射影図である。第１の実施の形態に係る路面推定装置の動作フローチャートである。コンピュータ２１００のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。

（第１の実施の形態）
図１は、第１の実施の形態に係る路面推定装置１００のブロック図である。路面推定装置１００は、撮影部１１０、空間計測部１２０、路面モデル作成部１３０、フィルタ部１４０、路面推定部１５０、および車両制御部１６０を備える。

撮影部１１０は、自車両の前方の画像を撮影する。撮影部１１０は、一例において、左側カメラおよび右側カメラを備えるステレオカメラである。他の例において、撮影部１１０は、例えばＴＯＦカメラ等の３次元計測が可能なカメラである。

空間計測部１２０は、左側カメラおよび右側カメラの２台のカメラからそれぞれ同一対象物を撮影した左側画像および右側画像を入力し、それらの画像から、当該同一対象物の３次元位置を計測する。

図２は、ｘ−ｙ−ｚ座標系とｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標系の間の座標変換の説明図である。図２において、対象物の位置Ｐが、左側画像１１２の位置Ｑに映っており、右側画像１１４の位置Ｒに映っている。図２において、ｙ軸およびｖ軸は、紙面の奥行き方向に延在し、ｕ軸およびｖ軸は、左側画像１１２および右側画像１１４において、それぞれ左右方向および上下方向に延在する。

位置Ｑの左側画像１１２におけるｕ−ｖ座標値（ｕ_ｌ，ｖ_ｌ）は、左側カメラの焦点Ｏ’を中心とする位置Ｑのｘ−ｙ座標値（ｕ_ｌ，ｖ_ｌ）に一致する。位置Ｒの右側画像１１４におけるｕ−ｖ座標値（ｕ_ｒ，ｖ_ｒ）は、右側カメラの焦点Ｏを中心とする位置Ｒのｘ−ｙ座標値（ｕ_ｒ，ｖ_ｒ）に一致する。

まず、右側カメラの焦点Ｏを中心とした対象物の位置Ｐのｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）を、対象物の位置Ｐのｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕ_ｒ，ｖ_ｒ，ｄ）、カメラ間距離ｂ、および焦点距離ｆを用いて表す。ここで、ｄ＝ｕ_ｌ−ｕ_ｒは視差（ｄｉｓｐａｒｉｔｙ）値を表す。

線分Ｏ’Ｐを、Ｏを通るように平行移動した線分ＯＳと右側画像１１４との交点をＱ’とすると、Ｑ’はＯを中心とするｘ−ｙ座標値（ｕ_ｌ，ｖ_ｌ）を有する。三角形ＯＰＳに着目すると、次の式（１）が導かれる。
ｘ：ｂ＝ｕ_ｒ：ｄ … （１）

ｙ座標（図２の奥行き方向）およびｚ座標についても同様の式が成立し、これらの式より、ｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕ_ｒ，ｖ_ｒ，ｄ）からｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）への変換式である次の式（２）が導かれる。

次に、対象物の位置Ｐのｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕ_ｒ，ｖ_ｒ，ｄ）を、右側カメラの焦点Ｏを中心とした対象物の位置Ｐのｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）、カメラ間距離ｂ、および焦点距離ｆを用いて表す。図２より、次の式（３）が導かれる。
ｘ：ｕ_ｒ＝ｙ：ｖ_ｒ＝ｚ：ｆ … （３）

式（３）より、ｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）からｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕ_ｒ，ｖ_ｒ，ｄ）への変換式である次の式（４）が導かれる。

このように、対象物の３次元計測点は、ｘ−ｙ−ｚ座標系およびｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標系のいずれを用いても表されることに留意する。

空間計測部１２０は、左側画像および右側画像から同一対象物を検出し、当該同一対象物の３次元計測点を出力する。例えば、同一対象物を検出するために、左側画像または右側画像の各ピクセルに対して、当該ピクセルに対応する部分における視差をマッピングした視差マップ等の視差情報を用いる。例えば、ＳＧＭを用いて視差マップを取得する。なお、撮影部１１０が直接３次元計測を行うことが可能なカメラである場合、空間計測部１２０は、撮影部１１０が行った３次元計測の結果を、そのまま３次元計測点として出力してもよい。

空間計測部１２０が出力する３次元計測点には、視差情報の誤差等に起因する誤差が混入する。図３はｘ−ｙ−ｚ座標系におけるｙ−ｚ平面への路面モデル２１０および３次元計測点の射影図である。ここで、ｙ軸は鉛直方向に延在し、ｚ軸は車両前方方向に延在する。３次元計測点は、図３に示すように幅を持った分布を有する。誤差が混入した３次元計測点に基づいて路面推定部１５０が路面を推定すると、推定された当該路面にも誤差が混入してしまう。

そこで、第１の実施の形態においては、路面推定部１５０が推定路面を推定する前に、空間計測部１２０が出力する３次元計測点に、当該３次元計測点の情報とは異なる情報であって、路面を表す情報に基づいてフィルタ部１４０が図３を参照して後述されるフィルタをかけて、３次元計測点の集合に含まれる路面候補点を取得する。これにより、より精度の高い路面候補点に基づいて路面推定部１５０が路面を推定するので、推定された当該路面の精度も改善される。また、路面の推定に用いる３次元計測点の個数が減少するので、路面推定部１５０は路面をより高速に推定することができる。

路面モデル作成部１３０は、路面モデル２１０を作成する。一例において、路面モデル作成部１３０は、３次元地図の情報および自車両の位置情報に基づいて、路面を表す情報として３次元空間内の平面または曲面で表される路面モデル２１０を作成する。例えば、路面モデル作成部１３０は、地図の情報および自車両の位置情報から、撮影部１１０の道路の横断方向、道路の縦断方向、および撮影方向の傾きを検知する。また、路面モデル作成部１３０は、自車両の傾きを検知する傾きセンサからの傾き情報を入力し、入力した傾き情報に基づいて、撮影部１１０の道路の横断方向、道路の縦断方向、および撮影方向の傾きを検知してもよい。

３次元地図の情報は、例えば、道路の縦断勾配を示す情報、道路の横断勾配を示す情報、道路の幅員を示す情報であり、一般的にカーナビゲーションシステムで用いられる地図の情報よりも高精度であることが好ましい。道路の幅員情報は、道路の中心線より右部分の幅員である右幅員、中心線より左部分の幅員である左幅員を含んでもよい。路面モデル作成部１３０は、これらの情報に基づいて、撮影部１１０の撮影方向を基準として、２次元曲面で表される路面モデル２１０を生成する。一例において、路面モデル作成部１３０は、道路の幅員の範囲内で路面モデル２１０を作成するが、道路の幅員の範囲外においては、道路の横断勾配を延長することにより路面モデル２１０を作成してもよい。

フィルタ部１４０は、路面モデル作成部１３０が作成した路面モデル２１０を入力する。次いで、フィルタ部１４０は、路面２１０に基づいて、３次元計測点を路面候補点として採用するか外れ候補点として除去するかを判定するために用いるフィルタを決定する。一例において、フィルタは、路面２１０からの法線方向の幅であるフィルタ幅によって画定される範囲によって特徴付けられる。例えば、図３に示されるように、フィルタは破線２２０および破線２３０によって画定される範囲によって特徴付けられる。

一例において、フィルタ部１４０は、撮影部１１０の誤差特性に応じて、フィルタ幅を変更する。撮影部１１０がステレオカメラである場合、空間計測部１２０が計測する３次元計測点には、撮影部１１０からの距離の２乗に比例した誤差が混入する。すなわち、対象物が撮影部１１０から遠くにあるほど、３次元計測点により大きい誤差が混入する。したがって、例えば、図３に示されるように、撮影部１１０から離れるほどフィルタ幅を広げるように、撮影部１１０からの距離に応じて幅を変更することによって、遠方の点を過度に除外することを抑制することができる。また、フィルタ幅の変更は、図３に示されるように、撮影部１１０からの距離に応じて連続的に変更するものに限られない。例えば１０ｍ未満の距離に対してはフィルタ幅を１０ｃｍにし、１０ｍ以上の距離に対してはフィルタ幅を３０ｃｍにする等、撮影部１１０からの距離に応じてフィルタ幅がステップ状に広がるように変更してもよい。

路面モデル２１０を入力したフィルタ部１４０は、空間計測部１２０から入力した３次元計測点にフィルタをかけて、路面候補点を取得する。図３においては、入力した３次元計測点のうち、破線２２０および破線２３０によって画定される範囲の内側にある３次元計測点２４０を路面候補点として採用し、当該範囲の外側にある３次元計測点２５０を外れ候補点として除外する。

路面推定部１５０は、フィルタ部１４０から出力された路面候補点に基づいて、路面を推定する。前述したとおり、対象物が撮影部１１０から遠くにあるほど、３次元計測点により大きい誤差が混入する。ここで、対象物が撮影部１１０から遠くにあるほど、ｚ座標値は大きくなり、ｄｉｓｐａｒｉｔｙ座標値（視差値）は小さくなる。反対に、対象物が撮影部１１０から近くにあるほど、ｚ座標値は小さくなり、ｄｉｓｐａｒｉｔｙ座標値（視差値）は大きくなる。したがって、一例として、路面推定部１５０は、３次元計測点への誤差の混入がより少ない、大きいｄｉｓｐａｒｉｔｙ座標値から、小さいｄｉｓｐａｒｉｔｙ座標値に向かって路面を推定する。

例えば、ｄｉｓｐａｒｉｔｙ座標軸方向に空間を複数の区分に分割し、大きいｄｉｓｐａｒｉｔｙ値に対応する区分から始めて、隣接する区分の順に、次の式（５）

で表される２次曲面を用いて、当該区分に含まれる路面候補点との誤差を最小化するパラメータａ_０〜ａ_４を、例えば最小二乗法を用いて求めることができる。

複数の区分の全てのパラメータａ_０〜ａ_４を求めた後、路面推定部１５０は、それらのパラメータにより規定される２次曲面をつなぎ合わせることにより、路面を推定する。

路面推定部１５０が推定した推定路面においては、地図情報においては表現されていない路面も推定される。したがって、地図情報のみに基づいて路面を推定する場合と比較して、より実際の路面に忠実な推定路面を取得することができる。

車両制御部１６０は、推定路面に基づいて車両を制御する。例えば、車両制御部１６０は、推定路面および空間計測部１２０が出力した３次元計測点に基づいて車両前方の障害物を認識する認識部（図示せず）からの入力に基づき、障害物の回避行動をとるように、自車両を制御する。また、例えば道路が未舗装道路である、道路が工事中である、道路に段差や窪みがある等の理由により、推定路面の表面が凸凹している場合がある。そのような場合には、車両制御部１６０は、例えば車両の速度を減速するように、或いはサスペンションの堅さを例えば小さく調節して衝撃を吸収するように、自車両を制御する。推定路面に基づいて自車両を制御することにより、車両制御部１６０は、自車両がこれから通過する部分の路面の状態に併せて自車両を制御することができる。したがって、実際の自車両の振動に基づいて制御する場合と比較して、より柔軟な制御が可能となり、自車両の乗り心地をより良くすることができる。さらに、空間計測部１２０が出力した３次元計測点群から路面に相当する点群（例えばフィルタ部１４０から出力された路面候補点群）を差し引くことにより、前述の認識部は、路面以外の３次元物体を抽出することができる。路面以外の３次元物体を抽出することにより、路面推定装置１００は、走行可能経路探索や障害物認識の目的にも応用することができる。

図４は、路面推定装置１００の動作フローチャートである。まず、路面モデル作成部１３０が地図情報から路面モデル２１０を作成する（ステップＳ１１００）。次いで、空間計測部１２０は、撮影部１１０が撮影した画像に基づいて自車両前方の空間を計測する（ステップＳ１２００）。ここで、ステップＳ１１００およびステップＳ１２００の順序は逆でも構わない。次いで、路面モデル作成部１３０が作成した路面モデル２１０を用いて、空間計測部１２０が出力した３次元計測点にフィルタ部１４０がフィルタをかけて、路面候補点を取得する（ステップＳ１３００）。次いで、路面候補点を用いて、路面推定部１５０が路面を推定する（ステップＳ１４００）。次いで、路面推定部１５０が推定した推定路面に基づいて、車両制御部１６０が自車両を制御する（ステップＳ１５００）。

一例において、撮影部１１０が撮影する画像のフレーム毎に、路面モデル作成部１３０が路面モデル２１０を作成し、空間計測部１２０が自車両前方の空間を計測し、フィルタ部１４０が３次元計測点にフィルタをかけ、路面推定部１５０は、路面を推定する。こうすると、撮影部１１０の近くの点と比較して３次元計測点の推定の精度が低い撮影部１１０の遠くの点についても、自車両が走行して当該遠くの点に近づくにつれて、その３次元計測点の推定の精度を上げることができる。

図５は、コンピュータ２１００のハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。

図５に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

本開示に係る路面推定装置は、車両に備えたステレオカメラが撮影した画像から、路面を推定するのに好適である。

１００路面推定装置
１１０撮影部
１２０空間計測部
１３０路面モデル作成部
１４０フィルタ部
１５０路面推定部
１６０車両制御部
２１００コンピュータ
２１０１入力装置
２１０２出力装置
２１０３ＣＰＵ
２１０４ＲＯＭ
２１０５ＲＡＭ
２１０６記憶装置
２１０７読取装置
２１０８送受信装置
２１０９バス

Claims

ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する空間計測部と、
地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するフィルタ部と、
前記路面候補点に基づいて路面を推定する路面推定部と、
を備える路面推定装置。
前記フィルタは、前記路面モデルが表す平面または曲面からの法線方向の幅であるフィルタ幅によって画定される範囲の内側にある３次元計測点を前記路面候補点として採用し、前記範囲の外側にある３次元計測点を外れ候補点として除外する、請求項１に記載の路面推定装置。
前記フィルタ幅は、前記ステレオカメラからの距離に応じて幅を変更することを特徴とする、請求項２に記載の路面推定装置。
請求項１から３のいずれかに記載の路面推定装置と、
搭載された車両を制御する制御部と、
を備え、
前記制御部は、前記路面推定装置が推定した推定路面に応じて、前記車両を制御する、車両制御装置。
前記制御部は、前記推定路面に応じて、前記車両のサスペンションの堅さを調節する、請求項４に記載の車両制御装置。
前記制御部は、前記推定路面に応じて、前記車両の速度を調節する、請求項４または５に記載の車両制御装置。
ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測するステップと、
地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するステップと、
前記路面候補点に基づいて路面を推定するステップと、
を備える路面推定方法。
コンピュータに、
ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測するステップと、
地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するステップと、
前記路面候補点に基づいて路面を推定するステップと、
を実行させるプログラム。