WO2019216393A1

WO2019216393A1 - 路面状態推定方法、路面状態推定装置および路面状態推定システム

Info

Publication number: WO2019216393A1
Application number: PCT/JP2019/018649
Authority: WO
Inventors: 克洋金森; 達男伊藤
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2018-05-10
Filing date: 2019-05-09
Publication date: 2019-11-14

Abstract

路面状態推定方法は、車両（１００）が走行する路面の状態を推定する路面状態推定方法であって、路面（１０）をカメラ（１０１）で撮像して得られた画像情報を用いて、路面（１０）の観測領域（Ｒ１）を決定し、画像情報から観測領域（Ｒ１）における第１の路面情報を取得し、路面（１０）の状態を路面センサ（１０４）で検出して得られたセンシング情報から観測領域（Ｒ１）における第２の路面情報を取得し、第１の路面情報および第２の路面情報に基づいて観測領域（Ｒ１）の路面状態を推定する。

Description

路面状態推定方法、路面状態推定装置および路面状態推定システム

　本開示は、車両が走行する路面の路面状態を推定する路面状態推定方法、路面状態推定装置および路面状態推定システムに関する。

　車両の自動運転では、車両が走行する路面の路面状態を事前に観測し、路面状態に適した自動運転をリアルタイムに行うことが必要になる。特許文献１には、非接触式で路面状態を推定する技術が開示されている。当該技術では、車両前方に位置する遠くの路面を撮像して路面の輝度情報を得るカメラと、車両前方であってバンパーの直下付近における近くの路面の情報を得る近距離センサとが用いられる。近距離センサは、路面の輝度情報を得るセンサ、路面上の水分量を検出する近赤外線センサ、および、路面の温度を測定する温度センサによって構成される。当該技術では、これらカメラと近距離センサとを併用することにより、車両が走行する予定の路面の状態を推定することができる。例えば、カメラによる路面の輝度情報と、近距離センサによる路面の乾湿および温度に関する情報とに基づいて積雪、水溜まり、凍結などの路面状態を、車両が走行するよりも先に推定することができる。

特開２００９－４２１１５号公報

　特許文献１に開示された技術では、遠くの路面と近くの路面とを観測しているが、路面上に積雪や水溜まりなどがあることを考えると、少しでも遠くの路面を観測することが望ましい。遠くの路面を観測する場合、カメラから得られる輝度情報がしきい値よりも明るいと路面が乾燥していると考えられ、しきい値よりも暗いと路面が湿潤していると考えられるが、当該技術では、天候等による影響を受けることを避けるため、近距離センサで得られた輝度情報および水分量情報に基づいて上記しきい値を学習している。

　しかし、路面は理想的なランバート反射面ではないため、カメラで得られる遠くの路面の輝度情報と近距離センサで得られる近くの路面の輝度情報とで、観測結果が異なってしまうことがある。また、降雪後の路面では、路面上の数ｍごとに雪、氷、水溜まり、乾燥路面など異なる路面状態が次々に現れるため、遠くの路面の観測結果と近くの路面の観測結果とが対応しないことがある。このため、遠くの路面および近くの路面の両者の路面状態を同一とみなして処理する方法では、路面状態を高精度に推定できないという問題がある。

　そこで本開示は、路面状態を高精度に推定できる路面状態推定方法等を提供することを目的とする。

　本開示の一態様に係る路面状態推定方法は、車両が走行する路面の状態を推定する路面状態推定方法であって、前記路面をカメラで撮像して得られた画像情報を用いて、前記路面の観測領域を決定し、前記画像情報から前記観測領域における第１の路面情報を取得し、前記路面の状態を路面センサで検出して得られたセンシング情報から前記観測領域における第２の路面情報を取得し、前記第１の路面情報および前記第２の路面情報に基づいて前記観測領域の路面状態を推定する。

　本開示の一態様に係る路面状態推定装置は、車両が走行する路面の状態を推定する路面状態推定装置であって、前記路面をカメラで撮像することによって得られた画像情報を用いて、前記路面の観測領域を決定する観測領域決定部と、前記画像情報から前記観測領域における第１の路面情報を取得する第１路面情報取得部と、前記路面の状態を路面センサで検出することによって得られたセンシング情報から前記観測領域における第２の路面情報を取得する第２路面情報取得部と、前記第１の路面情報および前記第２の路面情報に基づいて前記観測領域の路面状態を推定する路面状態推定部とを備える。

　本開示の一態様に係る路面状態推定システムは、上記路面状態推定装置と、前記路面を撮像するカメラと、前記路面の状態を検出する路面センサとを備える。

　本開示の路面状態推定方法等によれば、路面状態を高精度に推定することができる。

図１は、実施の形態１の路面状態推定システムが搭載される車両の上面図である。図２は、実施の形態１の路面状態推定システムが搭載される車両の側面図である。図３は、実施の形態１の路面状態推定システムを示すブロック図である。図４は、実施の形態１の路面状態推定方法を示すフローチャートである。図５は、実施の形態１の路面状態推定システムおよび路面状態推定装置を示すブロック図である。図６は、車両が直進する場合の画像情報を示す模式図である。図７は、車両が直進する場合のオプティカルフローを示す模式図である。図８は、観測領域および時間遅れの決定方法を示すフローチャートである。図９は、車両が左にカーブする場合の画像情報を示す模式図である。図１０は、車両が左にカーブする場合のオプティカルフローを示す模式図である。図１１は、車両が左折する場合の画像情報を示す模式図である。図１２は、車両が左折する場合のオプティカルフローを示す模式図である。図１３は、実施の形態２の路面状態推定システムが搭載される車両の側面図である。図１４は、実施の形態２の路面状態推定システムおよび路面状態推定装置を示すブロック図である。図１５は、観測領域がタイヤ位置を通過するか否かを判定するフローチャートである。図１６は、車両が直進する場合の画像情報を示す模式図である。図１７は、車両が左にカーブする場合の画像情報を示す模式図である。図１８は、車両が左折する場合の画像情報を示す模式図である。図１９は、実施の形態３の路面状態推定システムおよび路面状態推定装置を示すブロック図である。図２０は、観測領域および時間遅れの決定方法を示すフローチャートである。図２１は、画像情報からオプティカルフローを導出する場合の問題点の１つを示す模式図である。図２２は、車両が直進する場合のオプティカルフローを示す模式図である。

　このように、画像情報を用いて路面の観測領域を決定し、観測領域における第１の路面情報および第２の路面情報に基づいて路面状態を推定することで、路面状態を高精度に推定することができる。

　また、前記センシング情報は、前記路面センサで検出された前記路面の反射光輝度、水分量および温度のうち少なくとも１つの情報を含んでいてもよい。

　これによれば、第２の路面情報を高精度に取得することができる。

　また、前記路面状態を推定する際に、前記車両の走行に応じて相対移動する前記観測領域の移動ベクトルおよび移動時間に基づいて、前記観測領域が同じとなる前記第１の路面情報および前記第２の路面情報を選定し、選定した前記第１の路面情報および前記第２の路面情報に基づいて前記路面状態を推定してもよい。

　このように、観測領域が同じとなる第１の路面情報および第２の路面情報を選定することで、観測領域における路面状態を高精度に推定することができる。

　また、前記観測領域を決定する際に、さらに、前記車両の操舵情報および車速情報を用いて前記観測領域を決定してもよい。

　これによれば、操舵情報および車速情報に応じて、路面状態を推定する際に採用する路面情報を決めることができ、路面状態を高精度に推定することができる。

　このように、観測領域決定部にて路面の観測領域を決定し、路面状態推定部にて当該観測領域における第１の路面情報および第２の路面情報に基づいて路面状態を推定することで、路面状態を高精度に推定することができる。

　これによれば、第２路面情報取得部にて第２の路面情報を高精度に取得することができる。

　また、路面状態推定装置は、前記車両の走行に応じて相対移動する前記観測領域が前記路面センサの検出位置に合致するまでのオプティカルフローを導出するオプティカルフロー導出部と、前記車両の走行に応じて相対移動する前記観測領域が前記路面センサの検出位置に合致するまでの時間である時間遅れを計算する時間遅れ計算部とをさらに備え、前記路面状態推定部は、前記オプティカルフローおよび前記時間遅れに基づいて、前記観測領域が同じとなる前記第１の路面情報および前記第２の路面情報を選定し、選定した前記第１の路面情報および前記第２の路面情報に基づいて前記路面状態を推定してもよい。

　このように、上記オプティカルフローおよび上記時間遅れに基づいて、観測領域が同じとなる第１の路面情報および第２の路面情報を選定することで、観測領域における路面状態を高精度に推定することができる。

　また、前記車両の走行に応じて相対移動する前記観測領域が前記車両のタイヤ位置に合致するまでのオプティカルフローを導出するオプティカルフロー導出部と、前記車両の走行に応じて相対移動する前記観測領域が前記車両のタイヤ位置に合致するまでの時間である時間遅れを計算する時間遅れ計算部とをさらに備え、前記路面状態推定部は、前記オプティカルフローおよび前記時間遅れに基づいて、前記観測領域が同じとなる前記第１の路面情報および前記第２の路面情報を選定し、選定した前記第１の路面情報および前記第２の路面情報に基づいて前記路面状態を推定してもよい。

　また、前記路面状態推定部は、前記オプティカルフロー導出部が、前記オプティカルフローを導出できなかった場合に、前記第２の路面情報を用いて前記路面状態を推定してもよい。

　これによれば、オプティカルフロー導出部がオプティカルフローを導出できなかった場合であっても、路面状態を高精度に推定することができる。

　また、路面状態推定装置は、前記車両の操舵情報を検出する操舵検出部と、前記車両の車速情報を検出する車速検出部とをさらに備え、前記観測領域決定部は、さらに、前記操舵情報および前記車速情報を用いて、前記観測領域を決定してもよい。

　この路面状態推定システムによれば、カメラから得た画像情報を用いて路面の観測領域を決定し、画像情報から得た第１の路面情報および路面センサから得た第２の路面情報に基づいて路面状態を推定することができる。これにより、路面状態を高精度に推定することができる。

　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

　以下、本開示の一態様に係る路面状態推定方法、路面状態推定装置および路面状態推定システムについて、図面を参照しながら具体的に説明する。

　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。

　（実施の形態１)
　実施の形態１の路面状態推定システム、路面状態推定装置および路面状態推定方法の概略について、図１～図４を参照しながら説明する。

　図１は、実施の形態１の路面状態推定システム１が搭載される車両１００の上面図である。図２は、路面状態推定システム１が搭載される車両１００の側面図である。図３は、路面状態推定システム１を示すブロック図である。

　路面状態推定システム１は、車両１００の運転席内に設置されるカメラ１０１と、バンパー１０２の下部に設置される路面センサ１０４と、車両１００が走行する予定の路面１０の状態を推定する路面状態推定装置５とを備える。

　カメラ１０１は、車両１００の前方２ｍ以上６０ｍ以下に位置する遠くの路面１０を撮像する。カメラ１０１は、例えば、可視光を対象としたモノクロカメラ、カラーカメラまたは偏光カメラ等である。カメラ１０１を用いることで、路面状態推定装置５は、車両１００を運転するユーザが運転時に見るシーンと同じような画像情報を得ることができる。カメラ１０１は、直射日光や影などの影響を受けにくいので、路面状態推定装置５は、路上の水溜まりやマーキング、積雪の程度、道路上の轍の位置、局所的な凹凸などを観測することができる。

　路面センサ１０４は、カメラ１０１よりも近くの路面１０、例えば車両１００の前方０．４ｍ以上０．６ｍ以下に位置する路面１０の状態を検出する。路面センサ１０４は、複数の波長からなる近赤外光等を車両１００のタイヤ１０３付近の路面１０に照射し、反射光輝度比等から当該路面１０の水分量を検出する。また、路面センサ１０４は、サーモパイル等を使った温度センサを有し、路面上の水膜の厚さおよび凍結状態等を検出する。このように路面センサ１０４は、水膜、氷および雪を区別して検出することができるので、路面状態推定装置５は、画像情報だけでは得られないセンシング情報（物理情報）を取得することができる。

　路面状態が良くない場合には、カメラ１０１から得られる画像情報、および、路面センサ１０４から得られるセンシング情報の両方を合わせて路面状態を正しく認識することが求められる。しかし、カメラ１０１および路面センサ１０４は設置場所や設置の向きによって観測可能な領域が異なるため、画像情報とセンシング情報とを合わせて路面状態を認識することは容易ではない。例えば、図１および図２に示すように、路面センサ１０４にて検出する検出領域１０５は、カメラ１０１の視野１０６と重ならず、センシング情報と画像情報とを単純に合わせることは難しい。そこで、本実施の形態の路面状態推定装置５等では、以下で示すように、画像情報とセンシング情報とを合わせて路面状態を推定している。

　図３に示すように、路面状態推定装置５は、観測領域決定部３０２と、第１路面情報取得部３０５と、第２路面情報取得部３０６と、路面状態推定部３０７とを備える。この路面状態推定装置５の各構成要素が有する機能は、マイクロプロセッサ、メモリ、および、メモリに格納されたプログラム等によって実現される。

　観測領域決定部３０２は、路面１０をカメラ１０１で撮像して得られた画像情報を用いて、路面１０の観測領域を決定する。観測領域決定部３０２は、観測領域を決定する際に、路面センサ１０４の検出位置を含む画像情報を用いて観測領域を決定する。なお、観測領域の決定にしかたについては後述する。

　第１路面情報取得部３０５は、カメラ１０１で得られた画像情報から観測領域における第１の路面情報を取得する。第１の路面情報は、例えば、路上の水溜まりやマーキング、積雪の程度、道路上の轍の位置、局所的な凹凸などの情報である。

　第２路面情報取得部３０６は、路面１０の状態を路面センサ１０４で検出して得られたセンシング情報から観測領域における第２の路面情報を取得する。第２の路面情報は、例えば、乾燥、水、氷、積雪などの路面状態を示す情報である。

　路面状態推定部３０７は、第１の路面情報および第２の路面情報に基づいて観測領域の路面状態を推定する。路面状態推定部３０７は、路面１０の路面状態を推定する際に、第１の路面情報および第２の路面情報を統合して、路面状態を推定する。

　図４は、実施の形態１の路面状態推定方法を示すフローチャートである。

　図４に示すように、実施の形態１の路面状態推定方法では、まず、路面１０をカメラ１０１で撮像して得られた画像情報を用いて、路面１０の観測領域を決定する（ステップＳ１００）。次に、上記画像情報から観測領域における第１の路面情報を取得する（ステップＳ２００）。次に、路面１０の状態を路面センサ１０４で検出して得られたセンシング情報から観測領域における第２の路面情報を取得する（ステップＳ３００）。次に、第１の路面情報および第２の路面情報に基づいて観測領域の路面状態を推定する（ステップＳ４００）。これらのステップＳ１００～Ｓ４００は、車両１００の走行中において随時実行されている。

　以下、路面状態推定装置５の詳細について、図５～図１２を参照しながら説明する。

　図５は、路面状態推定システム１および路面状態推定装置５を示すブロック図である。図５には、路面状態推定装置５に接続されているカメラ１０１および路面センサ１０４も示されている。

　路面状態推定装置５は、オプティカルフロー導出部３０１、観測領域決定部３０２、時間遅れ計算部３０３、対応づけ計算部３０４、第１路面情報取得部３０５、第２路面情報取得部３０６および路面状態推定部３０７を備えている。

　オプティカルフロー導出部３０１は、カメラ１０１で撮像された動画の時間的に異なる２枚のフレーム画像から、画面上の特徴点の見かけ上の移動ベクトル、すなわちオプティカルフローを導出する。オプティカルフローを導出する方法としては、画像の時空間微分の拘束方程式を用いる方法、および、テンプレートマッチングを利用するブロックマッチング法が知られている。本実施の形態では、ブロックマッチング法を用い、例えば、非特許文献１（徐剛、辻三郎著　「３次元ビジョン」　共立出版　１９９８）に記載されているように、画像を階層化し、低い分解能の画像のテンプレートマッチングを行ってから次第に高い分解能の画像のテンプレートマッチングを行う。ブロックマッチング法は、一般に長い処理時間を必要とするが、非特許文献１に記載されている方法を用いることで、処理時間を短縮することが可能になる。

　図６は、車両１００が直進する場合の画像情報を示す模式図である。図６には、無限遠点Ｅ、観測領域Ｒ０、および、路面センサ１０４の検出位置Ｓ０が示されている。観測領域Ｒ０は、観測対象である観測領域Ｒ１を決める際に初期基準として使用される路面領域である。観測領域Ｒ０およびＲ１のぞれぞれは、カメラ１０１の視野１０６内に位置している。路面センサ１０４の検出位置Ｓ０は、路面センサ１０４の検出領域１０５の中心位置である。本実施の形態では、ダッシュボード１０７に隠れて見えないはずの検出位置Ｓ０が、画面上にて視覚化されている。この検出位置Ｓ０は、カメラ１０１の設置場所および角度と、路面センサ１０４の設置場所および角度と、路面１０に対する路面センサ１０４の角度とに基づいて求められる。前述したオプティカルフロー導出部３０１は、車両１００の走行に応じて相対移動する観測領域Ｒ０が路面センサ１０４の検出位置Ｓ０に合致するまでのオプティカルフローを導出する。

　図６に示すように、車両１００が直線道路を走行中の場合、観測領域Ｒ０は、無限遠点Ｅと路面センサ１０４の検出位置Ｓ０とを結ぶ直線上に存在する。観測領域Ｒ０は、車両１００の走行に応じて相対移動し、一定時間経過後に検出位置Ｓ０を包含する位置まで移動し、路面センサ１０４にて検出される。

　図７は、車両１００が直進する場合のオプティカルフローを示す模式図である。図７には、オプティカルフローのフローベクトルが無限遠点Ｅから放射状に広がる様子が示されている。オプティカルフローは、動画サイズがＭ×Ｎ画素である場合、Ｍ×Ｎ個の各画素におけるフローベクトルから構成される画素ごとの２次元移動度ベクトルの場、すなわちフレームレートｆｐｓの画素移動量に相当する量である。図７におけるフローベクトルは、画像上の格子点上でのみ示されている。

　観測領域決定部３０２は、路面センサ１０４の検出位置Ｓ０および上記オプティカルフローに基づいて、観測領域Ｒ１を決定する。言い換えれば、観測領域決定部３０２は、検出位置Ｓ０と、車両１００の走行に応じて相対移動する観測領域Ｒ０の移動ベクトルとに基づいて、観測領域Ｒ１を決定する。

　時間遅れ計算部３０３は、車両１００の走行に応じて相対移動する観測領域Ｒ１が路面センサ１０４で検出されるまでの時間である時間遅れΔｔを計算する。

　図８は、観測領域Ｒ１および時間遅れΔｔの決定方法を示すフローチャートである。図８には、車両１００が直線走行している場合の例が示されている。なお、図８に示す決定方法は、車両１００が直線走行している場合に限られず、カーブ走行中、交差点などにおける左折または右折の場合にも適用される。

　まずステップＳ１１１にて、路面センサ１０４の検出位置Ｓ０でのフローベクトルＶ０を取得する。具体的には、路面センサ１０４の検出位置Ｓ０（２次元座標）におけるフローベクトルＶ０（２成分ベクトル）を、オプティカルフローの場を外挿することによって取得する。外挿方法は任意であり、検出位置Ｓ０から最近傍のフローベクトルをそのまま使っても良い。次に、ステップＳ１１２にて、繰り返しパラメータである時刻ｔを０とし、ステップＳ１１３にて、フローベクトルＶ０の逆ベクトル（－Ｖ０）を時刻ｔにおける位置Ｓｔに加算することで、時刻（ｔ＋１）における位置Ｓ（ｔ＋１）を求める。

　次に、ステップＳ１１４で、時刻ｔをインクリメントし、ステップＳ１１５にて、位置Ｓｔが観測領域Ｒ０の中心位置として適切であるか否かを判定する。

　位置Ｓｔが観測領域Ｒ０の中心位置として適切でない場合（Ｓ１１５にてＮｏ）、ステップＳ１１８に進み、時刻ｔが時刻ｔｍａｘに満たない時間であれば（Ｓ１１８にてＹｅｓ）、ステップＳ１１３へ戻って上記ステップを繰り返す。位置Ｓｔが観測領域Ｒ０の中心位置として適切であるという判断は、位置Ｓｔが図６に示す無限遠点Ｅよりも画面における下側に存在すること、かつ、全画面の中心付近に存在することを条件として判断される。この条件は、車両１００から見て遠くの路面１０の位置にあること、例えば、車両１００から２ｍ以上６０ｍ以下の路面１０の位置にあることという条件に置き換えることもできる。

　ステップＳ１１５にて位置Ｓｔが観測領域Ｒ０の中心位置として適切である（Ｙｅｓ）と判定された場合、ステップＳ１１６で位置Ｓｔを中心に長方形の観測領域Ｒ１が設定される。そしてステップＳ１１７にて、時間遅れΔｔが、時刻ｔとフレームレートｆｐｓとの積として算出される。

　なお、ステップＳ１１８にて、時刻ｔが時刻ｔｍａｘに到達してしまった場合は（Ｓ１１８にてＮｏ）、検出位置Ｓ０で検出される観測領域Ｒ０が見つからなかったことになり、観測領域Ｒ０と検出位置Ｓ０との対応づけが失敗となる。

　図９は、車両１００が左にカーブする場合の画像情報を示す模式図である。図１０は、車両１００が左にカーブする場合のオプティカルフローを示す模式図である。

　図９に示すように車両１００がカーブする場合、オプティカルフローは１点から放射状に延びるようなフローベクトルにならないが、この場合でも図１０に示すように、最初にフローベクトルＶ０を決定した後に、図８に示す繰り返し処理を行うことで位置Ｓｔを決定することができる。そして、位置Ｓｔに対して図８のステップＳ１１５以降の処理を実行することで、観測領域Ｒ１を決定することができる。

　図１１は、車両１００が左折する場合の画像情報を示す模式図である。図１２は、車両１００が左折する場合のオプティカルフローを示す模式図である。

　図１１に示すように車両１００が左折する場合、図１２に示すオプティカルフローは、ほぼ一様に横向きに流れるため、路面センサ１０４の検出位置Ｓ０に対応する観測領域Ｒ０を見つけることができない。そのため検出位置Ｓ０と観測領域Ｒ０との対応づけは失敗となるが、左折の場合は低速度で運転しているので、第２の路面情報を用いて路面１０の状態を推定してもよい。

　以下、観測領域Ｒ０と検出位置Ｓ０との対応づけに成功した場合について説明する。

　図５に示す対応づけ計算部３０４では、第１の路面情報に対応させるべき第２の路面情報の時刻が計算される。例えば、時刻ｔの第１の路面情報が採用された場合、時刻（ｔ＋Δｔ）の第２の路面情報が採用される。

　第１路面情報取得部３０５では、カメラ１０１で撮像された画像情報から「Ｄｒｙ（乾燥）」、「Ｗｅｔ（湿潤）」、「Ｉｃｅ（凍結）」、「Ｓｎｏｗ（積雪）」などの第１の路面情報を取得する。この方法として、自然光の環境で偏光カメラを使って画像情報から路面状態を取得する従来技術が、非特許文献２（山田宗男、上田浩次、堀場勇夫、津川定之、山本新著　「画像処理による車載型路面状態検出センサの開発」　電気学会論文誌Ｃ，１２４，３　ＰＰ７５３－７６０　２００４）に記載されているので、詳細は省略する。偏光カメラとしては、１台のモノクロカメラにてＨ（水平）偏光成分画像とＶ（垂直）偏光成分画像とを時間的に同時に画角ずれなく取得できるものが望ましく、偏光イメージングカメラ（４ＤＴｅｃｈｎｏｌｏｇｙ社製ＰｏｌａｒＣａｍ）、あるいは、偏光カメラ（ＬＵＣＩＤ社製ＰＨＸ０５０Ｓ－Ｐ／Ｑ）などを用いればよい。

　第２路面情報取得部３０６では、路面センサ１０４から出射した光の反射光の検出と、路面１０の温度データとから「乾燥」、「水」、「氷」、「積雪」などの第２の路面情報を取得する。この方法は、前述した特許文献１に記載されているため、ここでは詳細の記載を省略する。なお、ここでの時刻は、対応づけ計算部３０４で補正された時刻（ｔ＋Δｔ）が使われる。

　路面状態推定部３０７では、車両１００の走行に応じて相対移動する観測領域Ｒ１の移動ベクトルおよび移動時間に基づいて、観測領域Ｒ１が同じとなる第１の路面情報および第２の路面情報を選定する。そして、選定した第１の路面情報および第２の路面情報に基づいて路面状態を推定する。この推定のしかたは、上記対応づけが「成功」と「失敗」とで異なる。

　例えば図６、図９などで示したように、観測領域Ｒ０と検出位置Ｓ０との対応づけが成功した場合は、同一の観測領域Ｒ１である遠くの路面１０に関する第１の路面情報と、近くの路面１０に関する第２の路面情報とが得られる。路面状態推定部３０７では、これらの路面情報を用いて、遠くの路面１０の画像情報に基づく路面状態の推定精度を向上させる。具体的には、時刻ｔの画像情報に対して時間Δｔだけ時間が経過した後に、路面センサ１０４で検出した反射光輝度および水分量から得られるセンシング情報を付加し、画像情報に基づく推定結果を走行中にリアルタイム学習する。これによって、画像情報に基づく第１の路面情報が、天候や路面１０の複雑性によらず高精度化でき、路面状態推定部３０７は、高速走行時にも時間的余裕をもって路面状態を推定できる。

　一方、図１１で示したように観測領域Ｒ０と検出位置Ｓ０との対応づけが失敗した場合、画像情報からの第１の路面情報をそのまま使うことはできない。この場合、路面状態推定装置５は、路面センサ１０４から得られたセンシング情報のみを用いて路面状態を推定してもよい。

　本実施の形態の路面状態推定装置５等では、所定の時刻にてカメラ１０１で撮像された遠くの路面１０の情報が一定時間遅れて近くの路面センサ１０４で再度観測され、かつ、両者の対応づけが実現される。このため、同一の観測領域Ｒ１について、カメラ１０１による遠くの路面１０の路面情報と路面センサ１０４による詳細な路面情報とを合わせて取得することができ、２ｍ以上６０ｍ以下の先の路面状態の推定を高精度化することができる。また、十分な時間的余裕をもって自動運転の車両制御をすることができる。

　なお上記では、路面状態推定装置５が、車両１００の走行に応じて相対移動する観測領域Ｒ０が路面センサ１０４の検出位置Ｓ０に合致するまでのオプティカルフローを導出するオプティカルフロー導出部３０１と、上記観測領域Ｒ０が路面センサ１０４の検出位置Ｓ０に合致するまでの時間である時間遅れΔｔを計算する時間遅れ計算部３０３とを備える例について説明したが、上記における検出位置Ｓ０を、タイヤ１０３が路面１０に接する位置であるタイヤ位置に置き換えても同様のことが言える。

　すなわち、路面状態推定装置５は、車両１００の走行に応じて相対移動する観測領域Ｒ０が車両１００のタイヤ位置に合致するまでのオプティカルフローを導出するオプティカルフロー導出部３０１と、上記観測領域Ｒ０が車両１００のタイヤ位置に合致するまでの時間である時間遅れΔｔを計算する時間遅れ計算部３０３とをさらに備えていてもよい。そして路面状態推定部３０７が、当該オプティカルフローおよび当該時間遅れΔｔに基づいて、観測領域Ｒ０が同じとなる第１の路面情報および第２の路面情報を選定し、選定した第１の路面情報および第２の路面情報に基づいて路面状態を推定してもよい。

　（実施の形態２）
　実施の形態２の路面状態推定システム、路面状態推定装置および路面状態推定方法について、図１３～図１８を参照しながら説明する。

　図１３は、実施の形態２の路面状態推定システム１Ａが搭載される車両１００の側面図であり、図２との共通箇所には同じ符号を記している。

　路面状態推定システム１Ａは、車両１００の運転席内に設置されるカメラ１０１と、車両１００の運転席内に設置される路面センサ１０４Ａと、車両１００が走行する予定の路面１０の状態を推定する路面状態推定装置５Ａとを備える。

　カメラ１０１は、例えば、車両１００の前方２ｍ以上６０ｍ以下に位置する遠くの路面１０を撮像する。

　路面センサ１０４Ａは、例えば、車両１００の前方２ｍ以上６０ｍ以下に位置する遠くの路面１０の状態を検出する。路面センサ１０４Ａは、図１の路面センサ１０４と異なり、複数の波長からなる近赤外のＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光またはレーザ光を路面１０に照射し、その反射光輝度比等から当該路面１０の水分量を検出することで、路面１０の乾燥、湿潤、凍結、雪などの状態を検出する。また、路面センサ１０４Ａは、サーモパイル等を使った温度センサを有し、路面上の水膜の厚さおよび凍結状態等を検出する。このように路面センサ１０４Ａは、水膜、氷および雪を区別して検出することができるので、カメラ１０１の画像情報だけでは得られないセンシング情報を取得することができる。

　図１３に示すように、路面センサ１０４Ａの検出領域１０５Ａは、カメラ１０１の視野１０６と重なっている。このため実施の形態２の路面状態推定システム１Ａでは、実施の形態１のようにカメラとセンサとの関連付の問題は発生しない。しかしながら、実施の形態２では、路面センサ１０４Ａが必ずしもタイヤ１０３の通る路面１０を検出するわけでないという課題がある。

　図１４は、路面状態推定システム１Ａおよび路面状態推定装置５Ａを示すブロック図であり、図５と同一の構成には同一符号を付している。

　路面状態推定装置５Ａは、オプティカルフロー導出部３０１、通過位置判定部３０８、第１路面情報取得部３０５、第２路面情報取得部３０６および路面状態推定部３０７を備えている。

　オプティカルフロー導出部３０１は、カメラ１０１で撮像された動画の時間的に異なる２枚のフレーム画像から画面上のオプティカルフローを検出する。このオプティカルフローは、全画素に対して算出される。オプティカルフロー導出部３０１は、車両１００の走行に応じて相対移動する観測領域Ｒ１が後述するタイヤ位置Ｆ０に合致するまでのオプティカルフローを導出する。なお、観測領域Ｒ１は、実施の形態１と同様の方法で求められる。

　通過位置判定部３０８は、観測領域Ｒ１がタイヤ位置Ｆ０を通過するか否かを判定する。タイヤ位置Ｆ０とは、本来死角になっているタイヤ１０３の位置を画面上に可視化したものである。また、通過位置判定部３０８では、車両１００の走行に応じて相対移動する観測領域Ｒ１がタイヤ位置Ｆ０に合致するまでの時間である時間遅れΔｔが計算される。

　図１５は、観測領域Ｒ１がタイヤ位置Ｆ０を通過するか否かを判定するフローチャートである。図１６は、車両１００が直進する場合の画像情報を示す模式図である。図１７は、車両１００が左にカーブする場合の画像情報を示す模式図である。図１５に示す判定方法は、車両１００が直線走行をしている場合（図１６参照）または、車両１００がカーブする場合（図１７）に適用される。

　まずステップＳ１２１にて、タイヤ位置Ｆ０でのフローベクトルＶ０を取得する。具体的には、タイヤ位置Ｆ０（２次元座標）におけるフローベクトルＶ０（２成分ベクトル）を、オプティカルフローの場を外挿することによって取得する。外挿方法は任意であり、タイヤ位置Ｆ０から最近傍のフローベクトルをそのまま使っても良い。次に、ステップＳ１２２にて、繰り返しパラメータである時刻ｔを０とし、ステップＳ１２３にて、フローベクトルＶ０の逆ベクトル（－Ｖ０）を時刻ｔにおける位置Ｆｔに加算することで、時刻（ｔ＋１）における位置Ｆ（ｔ＋１）を求める。次に、ステップＳ１２４で、時刻ｔをインクリメントし、ステップＳ１２５にて、位置Ｆｔが観測領域Ｒ１内にあるかどうかを判定する。

　位置Ｆｔが観測領域Ｒ１内にない場合（Ｓ１２５にてＮｏ）、ステップＳ１２８に進み、時刻ｔが時刻ｔｍａｘに満たない時間であれば（Ｓ１２８にてＹｅｓ）、ステップＳ１２３へ戻って上記ステップを繰り返す。

　ステップＳ１２５で観測領域Ｒ１内にある（Ｙｅｓ）と判断された場合、ステップＳ１２７にて、時間遅れΔｔが、時刻ｔとフレームレートｆｐｓとの積として算出される。またステップＳ１２８にて、時刻ｔが時刻ｔｍａｘに到達してしまった場合は（Ｓ１２８にてＮｏ）、観測領域Ｒ１がタイヤ位置Ｆ０を通過しないケースとなり、観測領域Ｒ１とタイヤ位置Ｆ０との対応づけが失敗となる。

　第１路面情報取得部３０５では、カメラ１０１で撮像された画像情報から「Ｄｒｙ（乾燥）」、「Ｗｅｔ（湿潤）」、「Ｉｃｅ（凍結）」、「Ｓｎｏｗ（積雪）」などの第１の路面情報を取得する。

　第２路面情報取得部３０６では、路面センサ１０４Ａにて、ＬＥＤまたはレーザ光を発射し、その反射光の検出と路面１０の温度データとから「乾燥」、「水」、「氷」、「積雪」などの第２の路面情報を取得する。

　路面状態推定部３０７では、車両１００の走行に応じて相対移動する観測領域Ｒ１の移動ベクトルおよび移動時間に基づいて、観測領域Ｒ１が同じとなる第１の路面情報および第２の路面情報を選定する。そして、選定した第１の路面情報および第２の路面情報に基づいて路面状態を推定する。

　図１６および図１７などのシーンでは、同じ観測領域Ｒ１に対して、カメラ１０１で得られた第１の路面情報と、路面センサ１０４Ａで得られた第２の路面情報とが存在し、時刻ｔにてカメラ１０１等で得られた路面情報は、時間遅れΔｔだけ経過した後にタイヤ１０３が通過する際の路面情報となる。したがって、高速走行時にも十分な時間的余裕をもって、路面状態を推定できる。

　図１８は、車両１００が左折する場合の画像情報を示す模式図である。

　図１８に示すように、交差点での左折シーンなど観測領域Ｒ１をタイヤ位置Ｆ０が通過しない場合、第１の路面情報および第２の路面情報は使えない。しかし、このような場合は、車両１００が比較的低速の場合に限定されるため、タイヤ１０３自身が有するブレーキ用センサからの情報に基づいて自動運転を行う制御に切り替えてもよい。

　また、路面センサ１０４Ａの検出領域１０５Ａがタイヤ位置Ｆ０を通過しない場合であっても、広視野のカメラ１０１で撮像された路面１０の一部がタイヤ位置Ｆ０を通過する場合もある。この場合、路面状態推定部３０７は、路面センサ１０４Ａで得られた第２の路面情報を採用せず、カメラ１０１で得られた第１の路面情報を採用してもよい。

　また図１８に示すように、観測領域Ｒ１が、路面１０ではなく他車に重なってしまうこともある。この場合、路面状態推定部３０７は、カメラ１０１で得られた画像情報から路面１０が観測されていないことを認識した後、路面センサ１０４Ａで得られた第２の路面情報を採用せず、カメラ１０１で得られた第１の路面情報を採用してもよい。

　（実施の形態３）
　実施の形態３の路面状態推定システム、路面状態推定装置および路面状態推定方法について、図１９～図２２を参照しながら説明する。

　実施の形態２では、画像情報、特にオプティカルフローの取得によって観測領域Ｒ１とタイヤ位置Ｆ０とを対応づけていた。しかし視野１０６内には静止した路面や建物のみならず、人や対向車など多くの移動する物体が存在するため、任意のシーンにおいて車両１００の走行のみに起因する正確なオプティカルフローを求めることは困難である。本実施の形態では、このような状況に対応するため、ステアリングホイールの回転角を取得する操舵検出部からの操舵情報と車速検出部からの車速情報を追加情報として用いて、カメラ光学系での投影計算を実施することにより、理論上のオプティカルフローを計算する。

　図１９は、実施の形態３の路面状態推定システム１Ｂおよび路面状態推定装置５Ｂを示すブロック図であり、図５と同一のブロックには同一符号を付している。なお、図１９には、カメラ１０１、路面センサ１０４の他に、路面状態推定システム１Ｂの構成要素である操舵検出部３１１および車速検出部３１２も示されている。

　路面状態推定装置５Ｂは、オプティカルフロー導出部３０１、観測領域決定部３０２、時間遅れ計算部３０３、対応づけ計算部３０４、第１路面情報取得部３０５、第２路面情報取得部３０６および路面状態推定部３０７を備えている。

　図２０は、観測領域Ｒ１および時間遅れΔｔを決定するためのフローチャートである。

　まずステップＳ１３０で、ステアリングホイール４１０（図２２参照）の操舵角θｗが時間的に一定であるか否かを判定する。

　操舵角θｗが一定である場合は（Ｓ１３０にてＹｅｓ）、ステップＳ１３１にて操舵情報および車速情報に基づき検出位置Ｓ０でのフローベクトルＴＶ０を取得する。

　操舵角θｗが一定でない場合は（Ｓ１３０にてＮｏ）、ステアリングホイール４１０の回転角が大きく変動している最中であると判断する。この場合、観測領域Ｒ０と路面センサ１０４の検出位置Ｓ０との対応づけが困難であるので、ステップＳ１３９の対応づけ失敗に移行する。これは、車両１００が交差点にて左折または右折しようとする場合などに、オプティカルフローが大きく横に流れてしまうのと、オプティカルフローには対向車の走行状態なども重ねあわされるため、観測領域Ｒ０と検出位置Ｓ０との対応づけが極めて困難となるからである。前述した図８のステップＳ１１１では、検出位置Ｓ０（２次元座標）におけるフローベクトルＶ０（２成分ベクトル）をオプティカルフローの場を外挿することによって求めているが、現実には検出位置Ｓ０から最近傍のフローベクトルをそのまま使って求めると、以下のような問題も生じる。

　図２１は、画像情報からオプティカルフローを導出する場合の問題点の１つを示す模式図である。図２１には、車両１００の車線には他の車は不在で路面１０が観測されているのに対し、対向車線には対向車４０１が数台連続して走行している様子が示されている。この時、検出位置Ｓ０のオプティカルフローを最近傍のフローベクトルを使って求めると手前に高速で走行する対向車４０１の動きベクトル４０２が使われて、誤った結果となってしまう。

　図２２は、車両１００が直進する場合のオプティカルフローを示す模式図である。

　図２２には、ステアリングホイール４１０の状態と車両１００の速度、およびカメラ１０１の光学系パラメータから計算されるオプティカルフローが描かれている。この理論上のオプティカルフローの計算手法は、操舵角θｗおよび車速から一定時刻ごとに決定される路面上物体をカメラ１０１の焦点位置に透視投影する演算を逐次的に行えばよく、非特許文献１などに記載されている透視投影を用いることで実現される。

　図２２では、操舵角θｗ＝０（初期位置）、かつ、操舵角速度ｄθ／ｄｔ＝０（ステアリングホイール回転なし）のため、車両１００は直進しており、オプティカルフローは、無限遠点Ｅから放射状に描かれている。理論上のフローベクトルＴＶ０は、検出位置Ｓ０でも計算可能であり、ステップＳ１３３において、フローベクトルＴＶ０の逆ベクトル（－ＴＶ０）を時刻ｔにおける位置Ｓｔに加算することで、時刻（ｔ＋１）における位置Ｓ（ｔ＋１）を求める。そして、ステップＳ１３７にて、観測領域Ｒ０が路面センサ１０４で検出されるまでの時間である時間遅れΔｔが、時刻ｔとフレームレートｆｐｓとの積として算出される。なおこの例では、直進した道路で操舵角θｗ＝０である時を想定しているが、道がゆるやかにカーブしているときの走行状態でもステアリングホイール４１０は一定角を維持するため、操舵角θｗが時間的に一定となり、この場合にも理論上のフローベクトルは計算可能である。

　（その他の実施の形態）
　以上、本開示の一つまたは複数の態様に係る路面状態推定方法等について、各実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。

　本開示は、車両が走行する路面の路面状態を推定する方法等として有用である。

１、１Ａ、１Ｂ　路面状態推定システム
５、５Ａ、５Ｂ　路面状態推定装置
１０　　路面
１００　車両
１０１　カメラ
１０２　バンパー
１０３　タイヤ
１０４、１０４Ａ　路面センサ
１０５、１０５Ａ　検出領域
１０６　視野
１０７　ダッシュボード
３０１　オプティカルフロー導出部
３０２　観測領域決定部
３０３　時間遅れ計算部
３０４　対応づけ計算部
３０５　第１路面情報取得部
３０６　第２路面情報取得部
３０７　路面状態推定部
３０８　通過位置判定部
３１１　操舵検出部
３１２　車速検出部
４０１　対向車
４０２　動きベクトル
４１０　ステアリングホイール
Ｅ　　無限遠点
Ｆ０　タイヤ位置
Ｆｔ　位置
Ｒ０、Ｒ１　観測領域
Ｓ０　検出位置
Ｓｔ　位置
ｔ、ｔ＋１　時刻
Δｔ　時間遅れ
Ｖ０、－Ｖ０　フローベクトル
θｗ　操舵角
ｄθ／ｄｔ　操舵角速度

Claims

　車両が走行する路面の状態を推定する路面状態推定方法であって、
　前記路面をカメラで撮像して得られた画像情報を用いて、前記路面の観測領域を決定し、
　前記画像情報から前記観測領域における第１の路面情報を取得し、
　前記路面の状態を路面センサで検出して得られたセンシング情報から前記観測領域における第２の路面情報を取得し、
　前記第１の路面情報および前記第２の路面情報に基づいて前記観測領域の路面状態を推定する
　路面状態推定方法。
　前記センシング情報は、前記路面センサで検出された前記路面の反射光輝度、水分量および温度のうち少なくとも１つの情報を含む
　請求項１に記載の路面状態推定方法。
　前記路面状態を推定する際に、前記車両の走行に応じて相対移動する前記観測領域の移動ベクトルおよび移動時間に基づいて、前記観測領域が同じとなる前記第１の路面情報および前記第２の路面情報を選定し、選定した前記第１の路面情報および前記第２の路面情報に基づいて前記路面状態を推定する
　請求項１または２に記載の路面状態推定方法。
　前記観測領域を決定する際に、さらに、前記車両の操舵情報および車速情報を用いて前記観測領域を決定する
　請求項１～３のいずれか１項に記載の路面状態推定方法。
　車両が走行する路面の状態を推定する路面状態推定装置であって、
　前記路面をカメラで撮像することによって得られた画像情報を用いて、前記路面の観測領域を決定する観測領域決定部と、
　前記画像情報から前記観測領域における第１の路面情報を取得する第１路面情報取得部と、
　前記路面の状態を路面センサで検出することによって得られたセンシング情報から前記観測領域における第２の路面情報を取得する第２路面情報取得部と、
　前記第１の路面情報および前記第２の路面情報に基づいて前記観測領域の路面状態を推定する路面状態推定部と
　を備える路面状態推定装置。
　前記センシング情報は、前記路面センサで検出された前記路面の反射光輝度、水分量および温度のうち少なくとも１つの情報を含む
　請求項５に記載の路面状態推定装置。
　前記車両の走行に応じて相対移動する前記観測領域が前記路面センサの検出位置に合致するまでのオプティカルフローを導出するオプティカルフロー導出部と、
　前記車両の走行に応じて相対移動する前記観測領域が前記路面センサの検出位置に合致するまでの時間である時間遅れを計算する時間遅れ計算部と
　をさらに備え、
　前記路面状態推定部は、前記オプティカルフローおよび前記時間遅れに基づいて、前記観測領域が同じとなる前記第１の路面情報および前記第２の路面情報を選定し、選定した前記第１の路面情報および前記第２の路面情報に基づいて前記路面状態を推定する
　請求項５または６に記載の路面状態推定装置。
　前記車両の走行に応じて相対移動する前記観測領域が前記車両のタイヤ位置に合致するまでのオプティカルフローを導出するオプティカルフロー導出部と、
　前記車両の走行に応じて相対移動する前記観測領域が前記車両のタイヤ位置に合致するまでの時間である時間遅れを計算する時間遅れ計算部と
　をさらに備え、
　前記路面状態推定部は、前記オプティカルフローおよび前記時間遅れに基づいて、前記観測領域が同じとなる前記第１の路面情報および前記第２の路面情報を選定し、選定した前記第１の路面情報および前記第２の路面情報に基づいて前記路面状態を推定する
　請求項５または６に記載の路面状態推定装置。
　前記路面状態推定部は、前記オプティカルフロー導出部が、前記オプティカルフローを導出できなかった場合に、前記第２の路面情報を用いて前記路面状態を推定する
　請求項７または８に記載の路面状態推定装置。
　前記車両の操舵情報を検出する操舵検出部と、
　前記車両の車速情報を検出する車速検出部と
　をさらに備え、
　前記観測領域決定部は、さらに、前記操舵情報および前記車速情報を用いて、前記観測領域を決定する
　請求項５～９のいずれか１項に記載の路面状態推定装置。
　請求項５～１０のいずれか１項に記載の路面状態推定装置と、
　前記路面を撮像するカメラと、
　前記路面の状態を検出する路面センサと
　を備える路面状態推定システム。