WO2023223427A1 - 道路異状推定システム、道路異状推定方法、およびプローブ車両 - Google Patents

Abstract

本開示は、道路異状の推定精度を向上させることが可能な道路異状推定システムを提供することを目的とする。本開示による道路異状推定システムは、道路異状検出装置と道路異状推定装置とを備える。道路異状検出装置は、道路関連情報を取得する道路関連情報取得部と、自車両の位置情報を含む自車両関連情報を取得する自車両関連情報取得部と、点検者が道路異状があるか否かを判断した道路異状判断情報と、点検者の視線方向の情報とを含む点検者関連情報を取得する点検者関連情報取得部と、道路関連情報と自車両関連情報と点検者関連情報とを関連付けたプローブ情報を生成する制御部と、プローブ情報を送信するプローブ情報送信部とを備える。道路異状推定装置は、プローブ情報を取得するプローブ情報取得部と、プローブ情報に基づいて少なくとも道路異状が生じている位置、道路異状の種別、および道路異状の信頼度を推定する道路異状推定部とを備える。

Description

道路異状推定システム、道路異状推定方法、およびプローブ車両

　本開示は、道路異状を推定する道路異状推定システム、道路異状推定方法、およびプローブ車両に関する。

　従来、計測車両にセンサを設置して道路の路面の状態を自動的に検出する技術が開示されている（例えば、特許文献１参照）。特許文献１に開示されている計測車両には、位置姿勢計測ユニットおよび路面性状計測ユニットが搭載されている。路面性状計測ユニットは、路面を撮像するラインカメラを備えており、ラインカメラが撮像した路面画像から路面性状を検出する。路面性状計測ユニットは、単位画像と、単位画像の路面性状を表す路面性状データと、単位画像を撮像した時刻と単位画像に撮像された路面の位置と単位画像を撮像した計測車両の姿勢とを含む位置姿勢情報とを対応付けた単位路面性状情報を生成する。単位路面性状情報では、高精度な位置姿勢情報が路面性状データに対応付けられているため、路面性状データの管理および解析が容易となる。

特開２０２０－１４４０７９号公報

　特許文献１に開示されている技術のように、道路異状の検出を車両に設置されたセンサのみに頼ると、センシング漏れが発生して道路異状を判断することができない場合がある。

　本開示は、このような問題を解決するためになされたものであり、道路異状の推定精度を向上させることが可能な道路異状推定システム、道路異状推定方法、およびプローブ車両を提供することを目的とする。

　上記の課題を解決するために、本開示による道路異状推定システムは、道路異状検出装置と道路異状推定装置とを備える道路異状推定システムであって、道路異状検出装置は、道路の状態に関する情報を含む道路関連情報を取得する道路関連情報取得部と、自車両の位置情報を含む自車両関連情報を取得する自車両関連情報取得部と、自車両の乗員である点検者が道路異状があるか否かを判断した道路異状判断情報と、点検者の視線方向の情報とを含む点検者関連情報を取得する点検者関連情報取得部と、道路関連情報取得部が取得した道路関連情報と、自車両関連情報取得部が取得した自車両関連情報と、点検者関連情報取得部が取得した点検者関連情報とを関連付けたプローブ情報を生成する制御部と、制御部が生成したプローブ情報を送信するプローブ情報送信部とを備え、道路異状推定装置は、プローブ情報送信部が送信したプローブ情報を取得するプローブ情報取得部と、プローブ情報取得部が取得したプローブ情報に基づいて、少なくとも道路異状が生じている位置、道路異状の種別、および道路異状の信頼度を推定する道路異状推定部とを備える。

　本開示によれば、道路異状の推定精度を向上させることが可能となる。

　本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態による道路異状推定システムの構成の一例を示すブロック図である。 実施の形態による道路異状推定システムの構成の一例を示すブロック図である。 実施の形態による道路異状推定システムの構成の一例を示すブロック図である。 実施の形態によるプローブ車両に搭載された各装置の動作の一例を示すフローチャートである。 実施の形態によるサーバに備えられた各装置の動作の一例を示すフローチャートである。 実施の形態による道路異状検出装置および道路異状推定装置のハードウェア構成の一例を示す図である。 実施の形態による道路異状検出装置および道路異状推定装置のハードウェア構成の一例を示す図である。

　以下、図面を参照しながら、本開示の実施の形態について説明する。

　＜実施の形態＞
　＜構成＞
　図１は、実施の形態による道路異状推定システムの構成の一例を示すブロック図である。なお、図１では、実施の形態による道路異状推定システムにおける必要最小限の構成を示している。

　道路異状推定システム１は、道路異状検出装置２と道路異状推定装置８とを備えている。

　道路異状検出装置２は、道路関連情報取得部３と、自車両関連情報取得部４と、点検者関連情報取得部５と、制御部６と、プローブ情報送信部７とを備えている。道路関連情報取得部３は、道路の状態に関する情報を含む道路関連情報を取得する。自車両関連情報取得部４は、自車両の位置情報を含む自車両関連情報を取得する。点検者関連情報取得部５は、自車両の乗員である点検者が道路異状があるか否かを判断した道路異状判断情報と、点検者の視線方向の情報とを含む点検者関連情報を取得する。なお、点検者とは、道路異状の有無を視認できる者のことをいう。点検者は、助手席に座ってもよく、後部座席に座ってもよい。また、点検者は、一人に限らず複数人であってもよい。

　制御部６は、道路関連情報取得部３が取得した道路関連情報と、自車両関連情報取得部４が取得した自車両関連情報と、点検者関連情報取得部５が取得した点検者関連情報とを関連付けたプローブ情報を生成する。プローブ情報送信部７は、制御部６が生成したプローブ情報を送信する。

　道路異状推定装置８は、プローブ情報取得部９および道路異状推定部１０を備えている。プローブ情報取得部９は、プローブ情報送信部７が送信したプローブ情報を取得する。道路異状推定部１０は、プローブ情報取得部９が取得したプローブ情報に基づいて、少なくとも道路異状が生じている位置、道路異状の種別、および道路異状の信頼度を推定する。

　次に、図１に示す道路異状検出装置２および道路異状推定装置８を含む道路異状推定システムの他の構成について、図２，３を用いて説明する。

　図２，３は、他の構成に係る道路異状推定システム１の構成の一例を示すブロック図である。

　道路異状推定システム１は、プローブ車両１１（自車両）と、サーバ２０とを備えている。プローブ車両１１とサーバ２０とは、ネットワークを介して、相互に無線通信可能に接続されている。

　なお、図２，３の例では、道路異状検出装置１２と道路異状推定装置２１とが別個に設けられているが、これに限るものではない。例えば、道路異状検出装置１２および道路異状推定装置２１は、プローブ車両１１に一体に設けてもよく、サーバ２０に一体に設けてもよい。

　道路異状検出装置１２および道路異状推定装置２１は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）、および車両の外部に設けられたサーバ（サーバ２０以外のサーバ）などを適宜に組み合わせてシステムとして構築してもよい。この場合、道路異状検出装置１２および道路異状推定装置２１の各機能または各構成要素は、上記システムを構築する各機能に分散して配置される。

　＜プローブ車両１１に搭載された各装置の構成＞
　図２に示すように、プローブ車両１１は、道路異状検出装置１２と、点検者視線情報検出装置１３と、道路異状判断入力装置１４と、ロケータ装置１５と、ＩＭＵ（Inertial Measurement Unit）１６と、道路関連情報検出装置１７と、警告装置１８と、通信装置１９とを備えている。

　道路異状検出装置１２は、点検者関連情報取得部５と、自車両関連情報取得部４と、環境地図記憶部１２１と、道路関連情報取得部３と、制御部６と、車両側通信部１２２とを備えている。

　ここで、「道路異状」とは、道路の路面、道路上に設置された道路設備、道路の壁面など、道路上に存在する交通関連物の異状のことをいう。「路面の異状」とは、路面の変形（例えば、路面のひび、路面の陥没、および路面の隆起など）、路面上に表示された道路標示の劣化などをいう。「道路設備の異状」とは、道路標識のかすれや、他の物体によって道路標識が隠れている状態、ガードレールの変形などをいう。「壁面の異状」とは、道路に面する壁面の変形などをいう。なお、路面の異状は、路面上に存在する異物などの一時的な異状を含んでもよい。

　点検者関連情報取得部５は、点検者視線情報検出装置１３から出力された点検者の視線情報に基づいて、点検者の視線方向を特定する。点検者関連情報取得部５は、特定した点検者の視線方向の情報と、道路異状判断入力装置１４から出力された道路異状判断情報とを点検者関連情報として取得する。

　自車両関連情報取得部４は、ロケータ装置１５から出力されたプローブ車両１１の位置情報と、ＩＭＵ１６から出力されたプローブ車両１１の加速度および角速度を自車両関連情報として取得する。

　環境地図記憶部１２１は、例えばＲＡＭ(Random Access Memory)などであり、環境地図を記憶している。環境地図記憶部１２１に記憶される環境地図は、プローブ車両１１の移動環境内におけるプローブ車両１１の自己位置の推定、および道路異状の位置の算出などに利用される。なお、環境地図記憶部１２１は、道路異状検出装置１２の外部（プローブ車両１１の外部を含む）に設けてもよい。

　道路関連情報取得部３は、道路関連情報検出装置１７から出力された道路関連情報を取得する。道路関連情報は、道路関連情報検出装置１７が取得した画像、および交通関連物の異状情報を含む。交通関連物の異状情報は、異状の有無、および異状の種別などを含む。

　制御部６は、点検者関連情報取得部５が取得した点検者関連情報と、自車両関連情報取得部４が取得した自車両関連情報と、道路関連情報取得部３が取得した道路関連情報とを関連付けたプローブ情報を生成する。また、制御部６は、プローブ情報に基づいて環境地図を生成し、環境地図、自車両関連情報、および点検者関連情報に基づいて道路異状が生じている位置情報を算出する。制御部６は、プローブ情報をサーバ２０に送信するための送信命令を車両側通信部１２２に出力する。

　車両側通信部１２２は、プローブ情報送信部７を有している。プローブ情報送信部７は、制御部６から取得した送信命令に基づいて、通信装置１９と通信を行う。通信装置１９は、プローブ車両１１に搭載されており、サーバ２０との間で無線通信を実行する。図２の例では、通信装置１９とサーバ２０とは、インターネットを介して無線接続されている。

　点検者視線情報検出装置１３は、車内撮影装置１３１および車内画像処理部１３２を備えている。点検者視線情報検出装置１３は、例えばＤＭＳ（Driver Monitoring System）である。なお、点検者視線情報検出装置１３が備える車内撮影装置１３１および車内画像処理部１３２は一例であり、点検者の視線情報を検出することができればよく、その手段に拘るものではない。例えば、点検者の視線方向を推定するために画像処理によって点検者の頭部の向きを検出し、検出した頭部の向きから点検者の視線方向を推定する装置を用いてもよい。また、点検者の眼鏡に三次元位置センサを設け、三次元位置センサが検出した三次元位置から点検者の頭部の方向を推定する装置を用いてもよい。

　車内撮影装置１３１は、例えばプローブ車両１１に搭載されたインカメラなどである。車内撮影装置１３１は、プローブ車両１１に乗車している点検者を撮影する。撮影した画像は、静止画であってもよく、動画であってもよい。

　車内画像処理部１３２は、車内撮影装置１３１が撮影した画像を処理することによって、点検者の視線を検出する。ここでの視線とは、点検者の目と、点検者が目視している一点とを結ぶ線分のことをいう。車内画像処理部１３２は、検出した点検者の視線情報を点検者関連情報取得部５に出力する。点検者の視線情報は、車内撮影装置１３１に対する点検者の目の位置、および点検者の視線の角度などを含む。

　道路異状判断入力装置１４は、点検者が道路異状を発見したときに道路異状の信憑性を示す信頼度を入力するための装置である。道路異状判断入力装置１４は、例えば、道路異状の信頼度を表す「低」、「中」、および「高」のスイッチを備えている。点検者は、道路異状を発見すると、「低」、「中」、または「高」のいずれかのスイッチを押下する。なお、道路異状判断入力装置１４は、「道路異状の信頼あり」を示す１つのスイッチのみを備えてもよい。この場合、点検者がスイッチを押下したときは「道路異状の信頼あり」を示し、点検者がスイッチを押下していないときは「道路異状の信頼なし」を示すことになる。このように、道路異状の信頼度を「信頼あり」および「信頼なし」の２値としてもよい。

　ロケータ装置１５は、例えばＧＮＳＳ（Global Navigation Satellite System）を用いて、プローブ車両１１の位置に関する信号を生成し、生成した信号を自車両関連情報取得部４に出力する。

　ＩＭＵ１６は、プローブ車両１１の加速度および角速度を計測する。ＩＭＵ１６は、計測した加速度および角速度のデータを慣性計測データとして自車両関連情報取得部４に出力する。

　道路関連情報検出装置１７は、車外撮影装置１７１および車外画像処理部１７２を備えている。なお、道路関連情報検出装置１７が備える車外撮影装置１７１および車外画像処理部１７２は一例であり、道路関連情報を検出することができればよく、その手段に拘るものではない。

　車外撮影装置１７１は、例えばプローブ車両１１に搭載されたフロントカメラおよびリアカメラなどである。フロントカメラおよびリアカメラは、プローブ車両１１の周辺の道路を撮影する。撮影した画像は、静止画であってもよく、動画であってもよい。なお、車外撮影装置１７１は、フロントカメラおよびリアカメラのいずれか一方であってもよい。

　車外画像処理部１７２は、車外撮影装置１７１が撮影した画像を処理することによって、道路関連情報を検出する。

　警告装置１８は、プローブ車両１１の前方に道路異状があることを、事前に点検者に警告する装置である。具体的には、道路関連情報取得部３が取得した道路関連情報に道路異状に関する情報が含まれている場合、警告装置１８は、制御部６の指示に従って、プローブ車両１１の前方に道路異状があることを点検者に事前に知らせるための警告処理を実行する。

　なお、警告装置１８は、例えば音を発するスピーカなどの機器であってもよく、警告内容を画面に表示するディスプレイであってもよい。なお、プローブ車両１１は、警告装置１８を備えない構成としてもよい。

　＜サーバ２０に設けられた各装置の構成＞
　図３に示すように、サーバ２０は、道路異状推定装置２１および通信装置２２を備えている。通信装置２２は、プローブ車両１１との間で無線通信を実行する。図３の例では、通信装置２２とプローブ車両１１とは、インターネットを介して無線接続されている。

　道路異状推定装置２１は、サーバ側通信部２１１と、プローブ情報取得部９と、プローブ情報記憶部２１２と、道路異状推定部１０と、道路環境地図データベース２１３とを備えている。

　プローブ情報取得部９は、サーバ側通信部２１１および通信装置２２を介して、プローブ車両１１から送信されたプローブ情報を取得する。プローブ情報取得部９は、取得したプローブ情報をプローブ情報記憶部２１２に格納する。

　プローブ情報記憶部２１２は、例えばＲＡＭなどであり、プローブ情報を記憶している。なお、プローブ情報記憶部２１２は、道路異状推定装置２１の外部（サーバ２０の外部を含む）に設けてもよい。

　道路異状推定部１０は、プローブ情報記憶部２１２に記憶されているプローブ情報に基づいて道路異状を推定し、推定した道路異状情報を道路環境地図データベース２１３に格納する。道路異状情報は、道路異状の種別、道路異状が生じている位置、道路異状の信頼度などを含む。道路異状の信頼度とは、道路異状検出装置１２が検出した道路異状に対して設定されるパラメータである。信頼度が低い道路異状は、道路異状の信憑性が低いことを示している。また、道路異状の種別は、例えば、路面破損、路面欠損、路面変形、路面上の異物の存在、標示の不明瞭、破損対象（路面、道路設備、壁面など）の情報を含んでもよい。

　道路環境地図データベース２１３では、地図情報に基づいて道路異状情報が登録されている。なお、道路環境地図データベース２１３は、道路異状推定装置２１の外部（サーバ２０の外部を含む）に設けてもよい。

　＜動作＞
　＜プローブ車両１１に搭載された各装置の動作＞
　図４は、プローブ車両に搭載された各装置の動作の一例を示すフローチャートである。図４の動作は、例えばプローブ車両１１のエンジンの始動などによって開始する。

　ステップＳ１０１において、車外撮影装置１７１は、プローブ車両１１の周辺を撮影する。例えば、車外撮影装置１７１は、フロントカメラまたはリアカメラ、あるいは両方のカメラを用いて、プローブ車両１１の周辺を撮影する。

　ステップＳ１０２において、車外画像処理部１７２は、車外撮影装置１７１が撮影した画像に対して、道路関連情報を検出するための処理を行う。車外画像処理部１７２は、例えば、深層学習を用いて生成した学習モデルを利用した画像認識によって、道路異状を検出する。道路異状の検出結果には、道路異状の種別、および道路異状の確信度が含まれている。ここで、道路異状の確信度は、道路異状の検出のアルゴリズムにおける、検出結果の道路異状らしさ（道路異状の可能性）を示す値である。また、道路異状の確信度は、「低」、「中」、および「高」などの複数の段階で表現してもよい。車外画像処理部１７２は、道路異状の検出結果を道路関連情報として道路関連情報取得部３に出力する。

　ステップＳ１０３において、制御部６は、道路関連情報取得部３が取得した道路関連情報に基づいて、道路異状があるか否かを判断する。道路異状がある場合は、ステップＳ１０４に移行する。一方、道路異状がない場合は、ステップＳ１０５に移行する。

　ステップＳ１０４において、制御部６は、警告装置１８に対して、警告を行うための命令を出力する。警告装置１８は、制御部６からの命令に従って、点検者に警告するための処理を行う。

　ステップＳ１０５において、車内撮影装置１３１は、少なくとも点検者の顔が含まれるように撮影する。

　ステップＳ１０６において、車内画像処理部１３２は、車内撮影装置１３１が撮影した画像に対して、点検者の視線情報を検出するための処理を行う。車内画像処理部１３２は、検出した点検者の視線情報を点検者関連情報取得部５に出力する。点検者関連情報取得部５は、車内画像処理部１３２から取得した点検者の視線情報に基づいて、点検者の視線方向を特定する。

　ステップＳ１０７において、点検者関連情報取得部５は、道路異状判断入力装置１４から道路異状判断情報を取得したか否かを判断する。なお、点検者関連情報取得部５は、道路異状判断入力装置１４から道路異状判断情報を取得した場合、点検者が道路異状を発見したと判断し、点検者の視線先には道路異状があるものとする。この場合、車外画像処理部１７２が道路異状を検出した場合と道路異状を検出しなかった場合とが含まれる。点検者関連情報取得部５が道路異状判断入力装置１４から道路異状判断情報を取得した場合は、ステップＳ１０９に移行する。一方、点検者関連情報取得部５が道路異状判断入力装置１４から道路異状判断情報を取得していない場合は、ステップＳ１０８に移行する。

　ステップＳ１０８において、制御部６は、車外画像処理部１７２が道路異状を検出したか否かを判断する。具体的には、制御部６は、道路関連情報に道路異状の情報が含まれているか否かを判断する。車外画像処理部１７２が道路異状を検出した場合は、ステップＳ１１３に移行する。一方、車外画像処理部１７２が道路異状を検出していない場合は、ステップＳ１０１に戻る。

　ステップＳ１０９において、自車両関連情報取得部４は、ＩＭＵ１６からプローブ車両１１の加速度および角速度を取得する。

　ステップＳ１１０において、制御部６は、道路関連情報取得部３が取得した道路関連情報に含まれているプローブ車両１１の周辺の画像と、自車両関連情報取得部４が取得した自車両関連情報に含まれているプローブ車両１１の加速度および角速度とに基づいて、プローブ車両１１の位置、姿勢、および移動を推定し、プローブ車両１１の周辺の画像における各画素に深度情報を付与することによって、プローブ車両１１の周辺における三次元情報の集合である環境地図を生成する。

　ステップＳ１１１において、制御部６は、環境地図におけるプローブ車両１１の位置（座標）の推定を行う。また、制御部６は、プローブ車両１１に乗車している点検者の視線情報に基づいて、環境地図における点検者の視線先の座標を算出する。

　ステップＳ１１２において、制御部６は、自車両関連情報に含まれているプローブ車両１１の位置情報に基づいて、環境地図における点検者の視線先の座標に対応する位置情報を算出する。具体的には、制御部６は、環境地図において推定されたプローブ車両１１の位置（座標）に、自車両関連情報に含まれているプローブ車両１１の位置情報を付与する。そして、制御部６は、環境地図における点検者の視線先の座標とプローブ車両１１の位置（座標）との相対的な位置関係に基づいて、環境地図における点検者の視線先の座標に対応する位置情報を算出する。このように算出された点検者の視線先の位置情報は、点検者が発見した道路異状の位置情報であるものとする。

　ステップＳ１１３において、制御部６は、道路関連情報と、点検者関連情報と、自車両関連情報とを関連付けたプローブ情報を生成する。プローブ情報には、道路異状の位置情報が含まれる。具体的には、ステップＳ１１２において点検者の視線先の位置情報を算出した場合は、当該点検者の視線先の位置情報が道路異状の位置情報としてプローブ情報に含まれる。また、ステップＳ１０８において車外画像処理部１７２が道路異状を検出した場合（ステップＳ１０８で「Ｙｅｓ」の場合）は、車外撮影装置１７１が道路異状を撮影した時のプローブ車両１１の位置情報を、道路異状の位置情報としてプローブ情報に含めてもよい。

　制御部６は、生成したプローブ情報をサーバ２０に送信するための命令を車両側通信部１２２に出力する。車両側通信部１２２は、制御部６からの命令に従って、プローブ情報をサーバ２０に送信する。

　ステップＳ１１４において、制御部６は、プローブ車両１１の走行が終了したか否かを判断する。例えば、制御部６は、プローブ車両１１のエンジンがＯＦＦになった場合に走行が終了したと判断する。プローブ車両１１の走行が終了した場合は、図４の動作を終了する。一方、プローブ車両１１の走行が終了していない場合は、ステップＳ１０１に戻る。

　＜サーバ２０に備えられた各装置の動作＞
　図５は、サーバ２０に備えられた各装置の動作の一例を示すフローチャートである。

　ステップＳ２０１において、プローブ情報取得部９は、通信装置２２およびサーバ側通信部２１１を介して、プローブ車両１１が送信したプローブ情報を取得する。

　ステップＳ２０２において、プローブ情報取得部９は、取得したプローブ情報をプローブ情報記憶部２１２に格納する。

　ステップＳ２０３において、道路異状推定部１０は、プローブ情報記憶部２１２に記憶されているプローブ情報を取得して、道路異状があるか否かを判断する。具体的には、道路異状推定部１０は、プローブ情報に含まれている道路関連情報に基づいて、道路関連情報検出装置１７が道路異状を検出した場合は道路異状があると判断してもよい。道路異状推定部１０は、プローブ情報に含まれている点検者関連情報に、道路異状判断入力装置１４から出力された道路異状判断情報が含まれている場合は道路異状があると判断してもよい。道路異状推定部１０は、プローブ情報に含まれている道路関連情報および点検者関連情報に基づいて、道路関連情報検出装置１７が道路異状を検出し、かつ点検者関連情報に道路異状判断入力装置１４から出力された道路異状判断情報が含まれている場合は、道路異状があると判断してもよい。

　道路異状がある場合は、ステップＳ２０４に移行する。一方、道路異状がない場合は、ステップＳ２０１に戻る。

　ステップＳ２０４において、道路異状推定部１０は、プローブ情報に道路異状判断情報が含まれているか否かを判断する。プローブ情報に道路異状判断情報が含まれている場合は、ステップＳ２０５に移行する。一方、プローブ情報に道路異状判断情報が含まれていない場合は、ステップＳ２０６に移行する。

　ステップＳ２０５において、道路異状推定部１０は、プローブ情報に含まれている道路異状判断情報に応じて、道路異状の信頼度を決定する。例えば、道路異状判断入力装置１４が「低」、「中」、および「高」のスイッチを備える場合、道路異状判断情報にはいずれかのスイッチの押下情報が含まれている。道路異状推定部１０は、道路異状判断情報に含まれるスイッチの押下情報を、道路異状の信頼度とする。例えば、点検者が「中」のスイッチを押下した場合、道路異状の信頼度は「中」となる。なお、道路異状の信頼度は、「低」、「中」、および「高」のような複数の段階で表現されてもよく、数値で表現されてもよい。

　ステップＳ２０６において、道路異状推定部１０は、画像処理による道路異状が検出されたか否かを判断する。具体的には、道路異状推定部１０は、プローブ情報に含まれている道路関連情報に、車外画像処理部１７２が検出した道路異状が含まれているか否かを判断する。画像処理による道路異状が検出されている場合は、ステップＳ２０７に移行する。一方、画像処理による道路異状が検出されていない場合は、ステップＳ２１０に移行する。

　ステップＳ２０７において、道路異状推定部１０は、点検者が道路異状を発見して検出済みか否かを判断する。例えば、点検者の視線情報に基づいて算出された道路異状の位置情報がプローブ情報に含まれている場合、道路異状推定部１０は、車外撮影装置１７１が撮影した画像に点検者の視線情報に基づいて算出された道路異状の位置が含まれており、かつ車外画像処理部１７２が当該画像から道路異状を検出したか否かを判断する。あるいは、道路異状推定部１０は、ステップＳ２０４においてプローブ情報に道路異状判断情報が含まれていると判断した場合、点検者が道路異状を発見して検出済みと判断してもよい。点検者が道路異状を発見して検出済みである場合は、ステップＳ２０８に移行する。一方、点検者が道路異状を発見して検出済みでない場合は、ステップＳ２０９に移行する。

　ステップＳ２０８において、道路異状推定部１０は、道路関連情報に含まれている道路異状の確信度（画像処理による道路異状の確信度）に応じて、ステップＳ２０５で決定した道路異状の信頼度を調整する。例えば、道路異状の確信度が「高」であり、ステップＳ２０５で決定した道路異状の信頼度が「中」である場合、道路異状推定部１０は、信頼度を「高」に更新する。

　ステップＳ２０９において、道路異状推定部１０は、道路関連情報に含まれている道路異状の確信度（画像処理による道路異状の確信度）に応じて、道路異状の信頼度を決定する。例えば、道路異状の確信度が「高」の場合、道路異状推定部１０は、道路異状の信頼度を「高」に決定する。

　ステップＳ２１０において、道路異状推定部１０は、プローブ情報に含まれている自車両関連情報に基づいて、道路異状の位置においてプローブ車両１１の振動が検出されたか否かを判断する。具体的には、道路異状推定部１０は、自車両関連情報に含まれているプローブ車両１１の加速度および角速度が予め定められた閾値以上である場合、プローブ車両１１の振動が検出されたと判断してもよい。プローブ車両１１の振動が検出された場合は、ステップＳ２１１に移行する。一方、プローブ車両１１の振動が検出されなかった場合は、ステップＳ２１２に移行する。

　ステップＳ２１１において、道路異状推定部１０は、プローブ車両１１の振動の大きさ委に応じて、道路異状の信頼度を調整する。振動の大きさは、例えば、「小」、「中」、「大」などの複数の段階で表現してもよく、数値で表現してもよい。例えば、道路異状の信頼度が「中」であり、プローブ車両１１の振動の大きさが「大」である場合、道路異状推定部１０は、道路異状の信頼度を「高」に更新する。

　ステップＳ２１２において、道路異状推定部１０は、道路異状の信頼度が予め定められた閾値以上であるか否かを判断する。信頼度の閾値は、例えば、「低」、「中」、および「高」などの複数の段階で表現してもよく、数値で表現してもよい。

　例えば、信頼度の閾値を「低」に設定し、道路異状の信頼度が「中」または「高」である場合、道路異状推定部１０は、道路異状の信頼度が閾値以上であると判断する。道路異状の信頼度が閾値以上である場合は、ステップＳ２１３に移行する。一方、道路異状の信頼度が閾値以上でない場合は、ステップＳ２０１に戻る。

　ステップＳ２１３において、道路異状推定部１０は、プローブ情報に含まれている道路異状の種別、位置、および信頼度を道路異状情報として道路環境地図データベース２１３に登録する。

　道路環境地図データベース２１３に登録された道路異状情報は、例えば下記の状況で利用することができる。
  ・道路のメンテナンス業者が、道路の破損状況の全体を俯瞰的に把握する。
  ・道路のメンテナンス業者が、道路補修の優先度を決めた上で補修計画を立案する。
  ・車両に道路破損情報を提供し、車両のドライバに対して走行の注意喚起をする。

　＜変形例＞
　上記では、点検者の道路異状判断情報に道路異状の信頼度を含む場合について説明したが、道路異状の有無のみに関する情報を道路異状判断情報に含めてもよい。この場合、道路異状判断入力装置１４は、上記のような「低」、「中」、および「高」のボタンを備える代わりに、「異状あり」を示す１つのボタンのみを備えればよい。上記のような細やかな判断はできないが、道路異状推定装置２１の処理が簡単になる。

　上記では、道路関連情報検出装置１７が道路異状の確信度を含む道路関連情報を出力する場合について説明したが、道路関連情報検出装置１７は道路異状の有無に関する情報を道路関連情報に含めて出力するようにしてもよい。

　上記では、点検者関連情報に点検者の視線情報を含む場合について説明したが、点検者関連情報に点検者の視線情報を含めないようにしてもよい。この場合、点検者の視線情報を使用しないため、点検者の視線先にある道路異状の正確な位置は分からないが、点検者が道路異状判断入力装置１４に入力した時点でのプローブ車両１１の位置情報と、点検者の標準的な前方注視距離とに基づいて、道路異状が存在する位置を推定することができる。プローブ車両１１が速いほど、前方注視距離は遠方になる。

　図３のステップＳ１１０、図４のステップＳ２０９およびステップＳ２１０では、プローブ車両１１の加速度および角速度を用いる場合について説明したが、これらの情報を用いずに画像処理の結果のみに基づいて道路異状を推定してもよい。

　図３のステップＳ１０３およびステップＳ１０４では、事前に点検者に道路異状を警告する場合について説明した。この場合、道路異状の位置が分かり易いように、ＨＵＤ（Head Up Display）装置を用いて特定の記号または図形を道路異状の位置に重畳して表示するようにしてもよい。なお、事前に点検者に道路異状を警告しないようにしてもよい。

　図３のステップＳ１０９～ステップＳ１１２では、環境地図を生成して用いることによって点検者の視線先の座標を道路異状の位置情報とする場合について説明したが、環境地図および点検者の視線情報は用いなくてもよい。この場合、ステップＳ１１３においてプローブ情報には点検者の視線情報が含まれないため、プローブ車両１１の位置情報などを道路異状の位置情報としてもよい。

　＜効果＞
　本実施の形態によれば、画像処理による道路異状の検出結果のみでなく、点検者による道路異状の判断結果も考慮しているため、道路異状の誤検出を抑制し、道路異状の推定精度を向上させることが可能となる。また、プローブ車両１１に点検者が乗車して上記で説明した作業をリアルタイムに行うため、道路異状の推定を効率良く行うことができる。

　＜ハードウェア構成＞
　実施の形態で説明した道路異状検出装置１２における道路関連情報取得部３、自車両関連情報取得部４、点検者関連情報取得部５、制御部６、および車両側通信部１２２の各機能は、処理回路により実現される。すなわち、道路異状検出装置１２は、道路関連情報を取得し、自車両関連情報を取得し、点検者関連情報を取得し、道路関連情報と、自車両関連情報と、点検者関連情報とを関連付けたプローブ情報を生成し、プローブ情報を送信するための処理回路を備える。処理回路は、専用のハードウェアであってもよく、メモリに格納されるプログラムを実行するプロセッサ（ＣＰＵ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）であってもよい。

　処理回路が専用のハードウェアである場合、図６に示すように、処理回路３０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。道路関連情報取得部３、自車両関連情報取得部４、点検者関連情報取得部５、制御部６、および車両側通信部１２２の各機能をそれぞれ処理回路３０で実現してもよく、各機能をまとめて１つの処理回路３０で実現してもよい。

　処理回路３０が図７に示すプロセッサ３１である場合、道路関連情報取得部３、自車両関連情報取得部４、点検者関連情報取得部５、制御部６、および車両側通信部１２２の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ３２に格納される。プロセッサ３１は、メモリ３２に記録されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、道路異状検出装置１２は、道路関連情報を取得するステップ、自車両関連情報を取得するステップ、点検者関連情報を取得するステップ、道路関連情報と、自車両関連情報と、点検者関連情報とを関連付けたプローブ情報を生成するステップ、プローブ情報を送信するステップが結果的に実行されることになるプログラムを格納するためのメモリ３２を備える。また、これらのプログラムは、道路関連情報取得部３、自車両関連情報取得部４、点検者関連情報取得部５、制御部６、および車両側通信部１２２の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ＤＶＤ（Digital Versatile Disc）等、または、今後使用されるあらゆる記憶媒体であってもよい。

　なお、道路関連情報取得部３、自車両関連情報取得部４、点検者関連情報取得部５、制御部６、および車両側通信部１２２の各機能について、一部の機能を専用のハードウェアで実現し、他の機能をソフトウェアまたはファームウェアで実現するようにしてもよい。

　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　上記では、図２に示す道路異状検出装置１２のハードウェア構成について説明したが、図３に示す道路異状推定装置２１のハードウェア構成についても同様である。

　なお、本開示の範囲内において、実施の形態を適宜、変形、省略したりすることが可能である。

　本開示は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、限定的なものではない。例示されていない無数の変形例が想定され得るものと解される。

　１　道路異状推定システム、２　道路異状検出装置、３　道路関連情報取得部、４　自車両関連情報取得部、５　点検者関連情報取得部、６　制御部、７　プローブ情報送信部、８　道路異状推定装置、９　プローブ情報取得部、１０　道路異状推定部、１１　プローブ車両、１２　道路異状検出装置、１３　点検者視線情報検出装置、１４　道路異状判断入力装置、１５　ロケータ装置、１６　ＩＭＵ、１７　道路関連情報検出装置、１８　警告装置、１９　通信装置、２０　サーバ、２１　道路異状推定装置、２２　通信装置、３０　処理回路、３１　プロセッサ、３２　メモリ、１２１　環境地図記憶部、１２２　車両側通信部、１３１　車内撮影装置、１３２　車内画像処理部、１７１　車外撮影装置、１７２　車外画像処理部、２１１　サーバ側通信部、２１２　プローブ情報記憶部、２１３　道路環境地図データベース。

Claims (11)

1. 　道路異状検出装置と道路異状推定装置とを備える道路異状推定システムであって、
   　前記道路異状検出装置は、
   　道路の状態に関する情報を含む道路関連情報を取得する道路関連情報取得部と、
   　自車両の位置情報を含む自車両関連情報を取得する自車両関連情報取得部と、
   　前記自車両の乗員である点検者が道路異状があるか否かを判断した道路異状判断情報と、前記点検者の視線方向の情報とを含む点検者関連情報を取得する点検者関連情報取得部と、
   　前記道路関連情報取得部が取得した前記道路関連情報と、前記自車両関連情報取得部が取得した前記自車両関連情報と、前記点検者関連情報取得部が取得した前記点検者関連情報とを関連付けたプローブ情報を生成する制御部と、
   　前記制御部が生成した前記プローブ情報を送信するプローブ情報送信部と、
   を備え、
   　前記道路異状推定装置は、
   　前記プローブ情報送信部が送信した前記プローブ情報を取得するプローブ情報取得部と、
   　前記プローブ情報取得部が取得した前記プローブ情報に基づいて、少なくとも道路異状が生じている位置、前記道路異状の種別、および前記道路異状の信頼度を推定する道路異状推定部と、
   を備える、道路異状推定システム。
2. 　前記道路異状推定装置は、前記プローブ情報取得部が取得した前記プローブ情報を記憶するプローブ情報記憶部をさらに備える、請求項１に記載の道路異状推定システム。
3. 　前記制御部は、前記道路関連情報取得部が取得した前記道路関連情報に道路異状に関する情報が含まれている場合に前記道路異状を前記点検者に事前に警告する制御を行う、請求項１に記載の道路異状推定システム。
4. 　前記道路異状判断情報は、前記点検者が道路異状があると判断した場合は当該道路異状の信憑性を示す信頼度を含み、
   　前記道路異状推定部は、前記信頼度が予め定められた閾値以上である場合は、前記道路異状があると推定する、請求項１に記載の道路異状推定システム。
5. 　前記道路関連情報は、道路異状の可能性を示す確信度を含み、
   　前記道路異状推定部は、前記確信度に応じて前記信頼度を調整する、請求項４に記載の道路異状推定システム。
6. 　前記点検者関連情報取得部は、ＤＭＳ（Driver Monitoring System）から前記点検者の視線方向の情報を取得する、請求項１に記載の道路異状推定システム。
7. 　前記点検者関連情報は、前記自車両の速度に応じた前記点検者の前方注視距離を含む、請求項１に記載の道路異状推定システム。
8. 　前記道路関連情報は、前記道路の路面、前記道路上に設置された道路設備、および前記道路の壁面のうちの少なくとも１つが写っている画像を含み、
   　前記自車両関連情報は、前記自車両の加速度および角速度をさらに含み、
   　前記制御部は、前記画像と前記自車両の加速度および角速度とに基づいて、前記自車両の位置、姿勢、および移動を推定し、前記画像の各画素に深度情報を付与することによって、前記自車両の周辺の環境地図を生成する、請求項１に記載の道路異状推定システム。
9. 　前記制御部は、前記環境地図と、前記自車両関連情報に含まれている前記自車両の位置情報と、前記点検者関連情報に含まれている前記点検者の視線方向の情報とに基づいて、前記環境地図における前記自車両の位置の座標および前記点検者の視線先の位置の座標を算出し、前記自車両の位置の座標と前記点検者の視線先の位置の座標との相対的な位置関係に基づいて前記点検者の視線先の位置情報を算出する、請求項８に記載の道路異状推定システム。
10. 　道路の状態に関する情報を含む道路関連情報を取得し、
    　自車両の位置情報を含む自車両関連情報を取得し、
    　前記自車両の乗員である点検者が道路異状があるか否かを判断した道路異状判断情報と、前記点検者の視線方向の情報とを含む点検者関連情報を取得し、
    　取得した前記道路関連情報と、取得した前記自車両関連情報と、取得した前記点検者関連情報とを関連付けたプローブ情報を生成し、
    　生成した前記プローブ情報に基づいて、少なくとも道路異状が生じている位置、前記道路異状の種別、および前記道路異状の信頼度を推定する、道路異状推定方法。
11. 　道路異状検出装置を搭載するプローブ車両であって、
    　前記道路異状検出装置は、
    　道路の状態に関する情報を含む道路関連情報を取得する道路関連情報取得部と、
    　自車両の位置情報を含む自車両関連情報を取得する自車両関連情報取得部と、
    　前記自車両の乗員である点検者が道路異状があるか否かを判断した道路異状判断情報と、前記点検者の視線方向の情報とを含む点検者関連情報を取得する点検者関連情報取得部と、
    　前記道路関連情報取得部が取得した前記道路関連情報と、前記自車両関連情報取得部が取得した前記自車両関連情報と、前記点検者関連情報取得部が取得した前記点検者関連情報とを関連付けたプローブ情報を生成する制御部と、
    　前記制御部が生成した前記プローブ情報を送信するプローブ情報送信部と、
    を備える、プローブ車両。

Images