JP7025080B1 - 識別装置、識別プログラム、および識別方法 - Google Patents

Abstract

【課題】効率的に路面の損傷を検出することができる識別プログラムを提供する。【解決手段】本開示のプログラムは、プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、プロセッサに、車両に搭載され、車両の周辺の路面を撮影するステップと、撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行させる。【選択図】図１１

Description

本開示は、識別装置、識別プログラム、および識別方法に関する。

近年、カメラで道路の状態を撮影し、路面の損傷の有無を検出するシステムが知られている。

例えば特許文献１には、点検車両を路面上で走行させながら路面をカメラで撮像し、撮像画像から、点検装置の影、路面上のペイントされた表示案内、および路面の汚れ等の検出対象である損傷箇所ではない部分を除去するシステムが開示されている。

特開２００５－４３３２４号公報

従来技術のような検出システムでは、一定の時間間隔で道路の画像を撮影して画像処理する方法が行われることが一般的である。しかしながらこの方法によると、車両が停止している間にも、走行時と同じように路面の撮影、および撮影後の画像処理を繰り返してしまい、ほとんど内容の同じ画像が多く撮影されて評価されることにより、質の高い情報が得られにくいという問題があった。

本開示では、効率的に路面の損傷を検出することができる識別装置、識別方法、および識別プログラムを提供することを目的とする。

本開示のプログラムは、プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、プロセッサに、車両に搭載され、車両の周辺の路面を撮影するステップと、撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行させる。

本開示の識別装置、識別プログラム、および識別方法によれば、効率的に路面の損傷を検出することができる。

本実施形態に係る識別装置の構成例を表すブロック図である。 図１に示される携帯端末の機能構成の例を示すブロック図である。 端末装置を車両に搭載した状態を説明する図である。 情報処理サーバに表示される第１画面の例を示す図である。 図１に示されるサーバの機能構成の例を示すブロック図である。 情報処理サーバに表示される第２画面の例を示す図である。 識別装置により識別される損傷の種類の第１例を示す図である。 識別装置により識別される損傷の種類の第２例を示す図である。 識別装置により実行される路面の損傷の検出処理のフローを説明する図である。 評価データの一例を示す図である。 識別装置により実行される路面の損傷の検出における動作モードの制御処理のフローを説明する図である。

以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

（実施形態）
＜１．実施形態の概要＞
本開示の識別装置１の実施形態の概要について説明する。
本実施形態に係る識別装置１は、車両が走行する道路における路面の損傷を識別して、損傷の有無を検出する装置である。

また、識別装置１は、周辺の路面の状態に応じて、路面の損傷の検出処理の動作モードを変更するステップを実行する。
識別装置１が制御する路面の損傷の検出処理の動作モードには以下が挙げられる。
・撮影部による路面の撮影の頻度
・端末装置からサーバへの撮影画像の送信レート
・路面の撮影画像の評価処理の頻度
本実施形態では、周辺の路面を走行する周辺車両の走行状態の変化を、撮影画像を用いて検出する方法を例に挙げて、識別装置１の構成および処理について説明する。

＜２．システム構成＞
まず、図１を用いて本実施形態に係る識別装置１の構成について説明する。図１は、本実施形態に係る識別装置１の構成例を表すブロック図である。図１に示される識別装置１は、端末装置１０と、情報処理サーバ２０と、を備えている。
端末装置１０と情報処理サーバ２０とは、ネットワーク３０を介して相互に通信可能に接続されている。ネットワーク３０は、有線又は無線ネットワークにより構成される。

端末装置１０及び情報処理サーバ２０は、無線基地局３１、又は無線ＬＡＮ規格３２を用いて、ネットワーク３０と接続する。なお、端末装置１０及び情報処理サーバ２０は、有線通信により、ネットワーク３０と接続されてもよい。
ここで、識別装置１を構成する各装置（例えば、端末装置１０と情報処理サーバ２０）の集合体を、１つの「情報処理装置」として把握することができる。すなわち、複数の装置の集合体として識別装置１を実現し、識別装置１を実現するための複数の機能の配分を、各装置のハードウェアの処理能力に基づき適宜決定することとしてもよい。

＜２．端末装置１０の構成＞
端末装置１０は、車両に搭載される端末である。端末装置１０は、例えば、スマートフォン、タブレット端末、又はラップトップパソコン等の汎用の携帯端末である。端末装置１０として、複数のスマートフォン、タブレット端末、及びラップトップパソコン等を使用してもよい。このような携帯端末は、運転中の車両の走行経路の確認を目的として車両に搭載される端末であってもよい。
また、端末装置１０は、事故発生時の状況記録を目的として車両に搭載される汎用のドライブレコーダに、後述する端末装置１０としての各機能を搭載した機器を用いてもよい。
すなわち、本発明において路面の状態を撮影する端末装置１０は、路面の撮影のためにのみ用いられる専用の装置に限られず、他の目的で搭載される端末装置１０が有する撮影機能を利用して、付帯的に路面を撮影する兼用の装置であってもよい。

端末装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５とを含んで構成される。
プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

メモリ１２は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

ストレージ１３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。

通信ＩＦ１４は、識別装置１が外部の装置と通信するため、信号を入出力するためのインタフェースである。

入出力ＩＦ１５は、ユーザからの入力操作を受け付けるための入力装置（例えば、マウス等のポインティングデバイス、キーボード）、及び、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）とのインタフェースとして機能する。

情報処理サーバ２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５とを含んで構成される。プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５とは、それぞれ、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５と同様であるため、説明を省略する。

情報処理サーバ２０は、コンピュータ、及びメインフレーム等により実現される。なお、情報処理サーバ２０は、１台のコンピュータにより実現されてもよいし、複数台のコンピュータが組み合わされて実現されてもよい。

＜３．端末装置１０の構成＞
図２は、端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０と、音声処理部１４０（マイク１４１及びスピーカ１４２を含む）と、撮影部１５０と、記憶部１６０と、制御部１７０と、ＧＰＳアンテナ１８０と、を備えている。なお、端末装置１０は、操作受付部１３０として、キーボードを備えていてもよい。

端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。

アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。

アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。

第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１７０へ与える。

操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、ディスプレイ１３１を含む。なお、操作受付部１３０は静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成されている。

ディスプレイ１３２は、制御部１７０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。

音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１７０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。
マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

撮影部１５０は、車両に搭載され、路面の画像を撮影する装置である。具体的には、撮影部１５０は、受光素子により光を受光して、撮影画像１６１として出力するカメラである。
撮影部１５０は、例えば、撮影部１５０から撮影対象までの距離を検出できる深度カメラである。撮影部１５０は、静止画のみならず、動画を撮影することができる。撮影部１５０により動画を撮影する場合には、動画を構成する１フレーム毎の画像が撮影画像１６１として扱われる。図３は端末装置１０を車両に搭載した状態を説明する図である。

図３Ａは、車両に搭載した端末装置１０の外観を示す図である。図３Ｂは、車両に搭載した端末装置１０に表示される撮影画像１６１の例を示す図である。
図３Ａに示すように、端末装置１０は、撮影部１５０が車両の前方を向く姿勢で車両に搭載される。撮影部１５０は、車両の前方の路面の状態を所定の時間ごとに断続的に撮影する。

図３Ｂに示すように、撮影画像１６１には、路面の損傷を囲むバウンディングボックスＢを出力する。このように、損傷を囲むバウンディングボックスＢを出力することで、路面の損傷の有無のみならず、損傷の位置が識別され、損傷の状態についてより詳細な情報が得られる。また、バウンディングボックスＢによって損傷の位置が強調され、識別結果の確認が容易となる。

ＧＰＳ（Global Positioning System）アンテナ１８０は、車両の位置を検出し、車両が走行した経路に関する情報を取得する。ＧＰＳアンテナ１８０は、取得した車両の位置、および走行経路に関する情報を制御部１７０の送受信部１７２に送信する。送受信部１７２は、受信した車両の位置、および走行経路に関する情報を、情報処理サーバ２０に送信する。

図４は、本実施形態に係る情報処理サーバ２０に表示される第１画面ＤＰ１の例を示す図である。第１画面ＤＰ１は、識別部１７３が損傷を検出した検出画像２０２１を受信した場合に表示されてよい。ここで、識別装置１は、ＧＰＳアンテナ１８０から取得した車両の走行経路に関する情報を、画像が撮影された位置に関する情報として、情報処理サーバ２０に送信する。

本例では、地図ＤＰ１１上に符号Ｒで示す走行経路が示されるとともに、符号Ｄで示すマーカーによって、路面の損傷が検出された検出画像２０２１（図５参照）が撮影された位置が示されている。これにより、どこでどのような損傷が生じているのかが明らかとなり、損傷が生じている場所に応じて適切な管理者へ通知することができる。
第１画面ＤＰ１は、画像が撮影された位置を示す地図ＤＰ１１、画像が撮影された路面の情報ＤＰ１２、画像を一意に特定するためのデータＩＤ ＤＰ１３及び画像が撮影された日時を示すタイムスタンプＤＰ１４等を含む。

図示の例では、画像が撮影された路面の情報ＤＰ１２は、交通量（Traffic Volume 、車線数（ Number of Lane）、幅員（ Road Width）、法定の最高速度（ Max Speed）およびタイプ（ Road Type）を含むが、これら以外の情報が含まれてもよいし、これらのうちいずれかが含まれなくてもよい。
このように、データＩＤ ＤＰ１３、およびタイムスタンプＤＰ１４が表示されていることにより、撮影画像１６１のデータを一意に特定した上で、いつどのような損傷が生じているのかを明らかにすることができ、修復を行うタイミング等の判断材料を提供することができる。

図２に示す記憶部１６０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１６０は、撮影画像１６１、第１学習済みモデル１６２、および第２学習済みモデル１６３を記憶している。撮影画像１６１は、撮影部１５０により撮影された画像である。

制御部１７０は、記憶部１６０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１７０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１７０は、プログラムに従って動作することにより、入力操作受付部１７１と、送受信部１７２と、識別部１７３と、表示処理部１７４と、周辺認識部１７５と、動作制御部１７６しての機能を発揮する。

入力操作受付部１７１は、入力装置に対するユーザの入力操作を受け付ける処理を行う。

送受信部１７２は、端末装置１０が、情報処理サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。送受信部１７２は、撮影部１５０が撮影した撮影画像１６１のうち、識別部１７３が損傷を検出した画像である検出画像２０２１を、情報処理サーバ２０に送信する処理を実行する。

識別部１７３は、端末装置１０の撮影部１５０が路面を撮影した撮影画像１６１に対して、路面の損傷を識別することで、路面における損傷の有無を評価する。
本実施形態では、後述する動作制御部１７６により制御を除く標準状態において、撮影部１５０は、所定の時間間隔で画像を撮影し、識別部１７３は、所定の時間間隔以内に、路面の損傷を識別する。ここで、所定の時間間隔は、例えば１．２秒である。１．２秒間隔で画像を撮影する場合、車両を４０ｋｍ／ｈ（約１１．１ｍ／ｓ）で走行させれば、約１３ｍ毎に路面が撮影されることとなり、路面を途切れることなく撮影することができる。
このように、識別部１７３によって、撮影部１５０の撮影間隔以内に路面の損傷が認識されるため、所定の時間間隔を車両の速度に応じて適切に選択することで、路面を途切れることなく撮影して損傷を識別することができる。

識別部１７３は、第１学習済みモデル１６２を用いて、路面の損傷の有無を識別する。
第１学習済みモデル１６２は、例えば、予め記憶部１６０に記憶されている。第１学習済みモデル１６２は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
第１学習済みモデル１６２は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルである。

第１学習済みモデル１６２は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第１学習済みモデル１６２は、入力される画像情報に対し、損傷の箇所および損傷の種類を出力するように学習されている。
このとき、学習用データは、例えば、過去に路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所に関する情報と、損傷の種類に関する情報と、を正解出力データとする。

具体的には、第１学習済みモデル１６２は、様々な種類の損傷を有する路面の画像の特徴量（基準特徴量）と、評価対象である撮影画像１６１の特徴量と、を比較して類似度を評価することで、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である撮影画像１６１の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷があると判断される。なお、様々な種類の損傷について、基準特徴量がそれぞれ設定されている。損傷の種類については後述する。

本実施形態に係る第１学習済みモデル１６２は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る第１学習済みモデル１６２は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のニューラルネットワークモデル（以下「多層化ネットワーク」という。）であるとする。多層化ネットワークを用いる第１学習済みモデル１６２は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。第１学習済みモデル１６２は、人工知能ソフトウェアの一部であるプログラムモジュールとしての使用が想定される。

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。

また識別部１７３は、第２学習済みモデル１６３を用いて、検出画像２０２１において検出された損傷が、道路領域内に位置するかどうかを判定する。

第２学習済みモデル１６３は、例えば、予め記憶部１６０に記憶されている。第２学習済みモデル１６３は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
第２学習済みモデル１６３は、画像中に検出された損傷箇所が、道路領域内にあるかどうかの識別を行うモデルである。

第２学習済みモデル１６３は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第２学習済みモデル１６３は、入力される画像情報に対し、損傷の箇所が道路領域内にあるかどうかを出力するように学習されている。
このとき、学習用データは、例えば、過去に損傷のある路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所が道路領域内に位置するかどうかに関する情報を正解出力データとする。

具体的には、第２学習済みモデル１６３は、道路領域内に損傷がある路面の画像の特徴量（基準特徴量）と、評価対象である検出画像２０２１の特徴量と、を比較して類似度を評価することで、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である検出画像２０２１の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷が道路領域内にあると判断される。

本実施形態に係る第２学習済みモデル１６３は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る第２学習済みモデル１６３は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層化ネットワークであるとする。多層化ネットワークを用いる第２学習済みモデル１６３は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。第２学習済みモデル１６３は、人工知能ソフトウェアの一部であるプログラムモジュールとしての使用が想定される。

識別部１７３は、撮影した位置および走行経路に関する情報を撮影した撮影画像１６１に関連付ける。識別部１７３は、撮影画像１６１を撮影した時刻、車両の位置、および車両の進行方向に関する情報を撮影画像１６１に関連付ける。

表示処理部１７４は、ユーザに対し情報を提示する処理を行う。表示処理部１７４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理等を行う。

周辺認識部１７５は、車両の周辺の路面の状態を認識する。周辺認識部１７５は以下の情報を用いて、路面の状態を認識する。
・撮影部１５０が撮影した撮影画像１６１
・ＧＰＳアンテナ１８０により取得した位置情報
・車両の電子制御装置により伝達される各種の制御信号（ＣＡＮ情報）
・車両に搭載された図示しないジャイロセンサが取得した加速度情報
・車両に搭載された図示しないＬｉＤＡＲ（light detection and ranging）等のレーザ光を用いたセンサが取得したセンシング結果

周辺の路面の状態には、周辺車両の走行状態が含まれる。
周辺車両の走行状態とは、例えば前方車両の発進又は停止、車両と周辺車両との車間距離、および周辺車両の車両に対する相対速度のうちの少なくともいずれかを含む。

本実施形態では、周辺認識部１７５は、撮影画像１６１を用いて車両の周辺の路面の状態を認識する。周辺認識部１７５は、撮影部１５０が撮影した時系列に並ぶ複数の撮影画像を比較し、撮影された検出対象物（周辺車両）の大きさ、および撮影画像における位置の時間変化（差分）を検出することで、周辺車両の走行状態を識別する。

周辺認識部１７５は、撮像画像の時系列データから、自車両の対地速度を算出する。また、周辺認識部１７５は、撮像画像の時系列データから、前方車両の相対速度を算出する。前方車両の相対速度を時間で微分することで、前方車両の自車両に対する加速度が算出される。そして、周辺認識部１７５は、自車両の対地速度、および前方車両の相対速度（加速度）から、前方車両の速度を算出する。

例えば、撮影画像１６１に撮像された前方車両の位置が、時系列に沿って遠ざかる場合には、前方車両は自車両に対して相対速度が大きくなる。このように、前方車両の自車両に対する相対速度を算出することで、前方車両の停車および発進を識別することができる。

また、周辺認識部１７５による識別の際では、前方車両を撮影画像１６１に撮影された検出対象物とせずに、撮影画像１６１に撮像された路面部分を検出対象物として、画像の変化を分析することで、間接的に周辺車両の走行状態を識別してもよい。この場合には、撮影画像１６１における検出対象物の面積を確保できることで、オートバイ等の小型車両の検出の精度補完をすることができる。
すなわち、周辺車両の走行状態を認識する際には、周辺車両の周囲の状況の変化を認識することで、周辺車両の走行状態の変化を認識することができる。

動作制御部１７６は、車両の周辺の端末装置１０における路面の損傷の検出に関する動作を制御する。動作制御部１７６は、周辺認識部１７５が識別した周辺車両（前方車両）の走行状態の変化に応じて、路面の損傷の検出処理の動作モードを変更する。動作制御部１７６が制御する検出処理の動作モードを以下に列挙する。
・撮影部１５０による路面の撮影モード
・端末装置１０からサーバへの撮影画像１６１の送信モード
・路面の撮影画像１６１の評価モード
これらの各制御について、以下に詳述する。

動作制御部１７６は、前方車両の走行状態の変化に応じて、撮影部１５０による路面の撮影モードを変更する。具体的には、動作制御部１７６は、周辺認識部１７５が認識した周辺車両との車間距離、および相対速度の変化に伴い、撮影部１５０による路面の撮影における撮影の停止、又は撮影レートの変更を行う。

また、動作制御部１７６は、前方車両の走行状態の変化に応じて、端末装置１０から情報処理サーバ２０に検出画像２０２１を送信する際の送信モードを変更する。具体的には、動作制御部１７６は、周辺認識部１７５が認識した周辺車両の停止に伴い、送受信部１７２による検出画像２０２１の情報処理サーバ２０への送信を停止、又は送信する頻度を低下する。
また、動作制御部１７６は、前方車両の発進に伴い、送受信部１７２による検出画像２０２１の情報処理サーバ２０への送信を開始、又は送信する頻度を向上する。

また、動作制御部１７６は、前方車両の走行状態の変化に応じて、路面の損傷の有無を識別するステップにおける識別モードを変更する。具体的には、動作制御部１７６は、周辺認識部１７５が認識した周辺車両の速度、周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、識別部１７３による路面の損傷の有無を評価する処理頻度を変更する。

＜４．情報処理サーバ２０の構成＞
図５は、情報処理サーバ２０の機能的な構成を示す図である。図５に示すように、情報処理サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、情報処理サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、情報処理サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、検出画像２０２１と、第３学習済みモデル２０２２と、第４学習済みモデル２０２３と、評価データ２０２４と、を記憶する。

検出画像２０２１は、端末装置１０から送信された画像情報である。すなわち、検出画像２０２１は、端末装置１０の識別部１７３が、路面の損傷を検出した撮影画像１６１である。
第３学習済みモデル２０２２および評価データ２０２４については後述する。

制御部２０３は、情報処理サーバ２０のプロセッサ２１がプログラムに従って処理を行うことにより、送受信部２０３１、再識別部２０３２、位置判定部２０３３、および評価部２０３４としての機能を発揮する。

送受信部２０３１は、情報処理サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理、および情報処理サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送受信部２０３１は、車両が走行する外部環境に関する情報を取得する。外部環境に関する情報には、天気に関する情報、時刻に関する状況、明るさに関する情報が含まれる。

再識別部２０３２は、端末装置１０から送信された複数の検出画像２０２１に対して、第３学習済みモデル２０２２を用いた識別を行うことで、路面の損傷の有無の識別を再度行う。

第３学習済みモデル２０２２は、例えば、予め記憶部２０２に記憶されている。第３学習済みモデル２０２２は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
第３学習済みモデル２０２２は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルであり、識別における判断基準以外は、第１学習済みモデル１６２と同様の構成を備えている。

情報処理サーバ２０の再識別部２０３２が用いる第３学習済みモデル２０２２による識別の基準は、端末装置１０の識別部１７３が用いる第１学習済みモデル１６２による識別の基準とは異なっている。例えば、第１学習済みモデル１６２による識別の方が、第３学習済みモデル２０２２により識別よりも緩い判断基準となっている。

具体的には、第３学習済みモデル２０２２において設定されている基準特徴量に対する閾値は、第１学習済みモデル１６２において設定されている基準特徴量に対する閾値よりも許容される数値幅が狭くなっている。すなわち、第３学習済みモデル２０２２では、第１学習済みモデル１６２よりも特徴量の類似度が高い場合において、当該撮影画像１６１に損傷があると判断される。

また、再識別部２０３２は、路面の損傷が、道路領域内に位置するかどうかの判定を再度行う。再識別部２０３２は、第４学習済みモデル２０２３を用いて、検出画像２０２１において検出された損傷が、道路領域内に位置するかどうかを判定する。

第４学習済みモデル２０２３は、例えば、予め記憶部２０２に記憶されている。第４学習済みモデル２０２３は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
第４学習済みモデル２０２３は、画像中に検出された損傷箇所が道路領域内にあるかどうかの識別を行うモデルであり、識別における判断基準以外は、第２学習済みモデル１６３と同様の構成を備えている。

情報処理サーバ２０の再識別部２０３２が用いる第４学習済みモデル２０２３による識別の基準は、端末装置１０の識別部１７３が用いる第２学習済みモデル１６３による識別の基準とは異なっている。例えば、第２学習済みモデル１６３による識別の方が、第４学習済みモデル２０２３により識別よりも緩い判断基準となっている。

具体的には、第４学習済みモデル２０２３において設定されている基準特徴量に対する閾値は、第２学習済みモデル１６３において設定されている基準特徴量に対する閾値よりも許容される数値幅が狭くなっている。すなわち、第４学習済みモデル２０２３では、第２学習済みモデル１６３よりも特徴量の類似度が高い場合において、検出された路面の損傷が、道路領域内にあると判定する。

位置判定部２０３３は、端末装置１０の送受信部１７２から送信された複数の検出画像２０２１に撮影された路面の損傷が、同一箇所であるかどうかを判定する。具体的には、位置判定部２０３３は、検出画像２０２１、および検出画像２０２１が撮影された位置情報を用いて、複数の検出画像２０２１に撮影された前記路面の損傷が、同一箇所かどうかを判定する。
また、位置判定部２０３３は、車両の走行経路に関する情報を用いて、複数の検出画像２０２１に撮影された路面の損傷が、同一箇所かどうかを判定してもよい。

評価部２０３４は、位置判定部２０３３により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する。具体的には、評価部２０３４は、時系列に沿って路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する。
ここで、路面の損傷に関する情報とは、検出画像２０２１が撮影された位置における損傷の有無に関する情報、および検出画像２０２１のうちの少なくとも一方を含む。

評価部２０３４は、外部環境に関する情報を用いて、存在確率への重み付けを行ってもよい。例えば、視界の悪い雨天時の検出結果よりも、視界が良い晴天時の検出結果に対して高い重みづけを行ってもよい。また、外が暗い夕方よりも、外が明るい昼間の検出結果に高い重みづけを行ってもよい。
評価部２０３４は、座標の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。

図６は、本実施形態に係る情報処理サーバ２０に表示される第２画面ＤＰ２の例を示す図である。
第２画面ＤＰ２は、情報処理サーバ２０の再識別部２０３２が損傷を検出した検出画像２０２１および識別結果を受信した場合に表示されてよく、第１画面ＤＰ１と並べて表示されてもよい。情報処理サーバ２０は、第２画面ＤＰ２を表示して、識別結果が正しいか管理者に確認させ、誤っている場合には管理者から識別結果の訂正を受け付けてよい。

第２画面ＤＰ２には、撮影部１５０により撮影された検出画像２０２１、チェック済みフェーズＤＰ２２、タイムスタンプＤＰ２３、対応状況ＤＰ２４、損傷種類ＤＰ２５が含まれている。第２画面ＤＰ２には、識別部１７３により識別された損傷を囲むバウンディングボックスＢが表示されている。

チェック済みフェーズＤＰ２２には、損傷のチェック作業の進捗状況が表示されている。図示の例において、符号ＤＰ２２１に示す携帯端末のアイコンは、端末装置１０での損傷の識別が完了していることを示す。符号ＤＰ２２２に示すディスプレイのアイコンは、情報処理サーバ２０での損傷の識別が完了していることを示す。符号ＤＰ２２３に示す眼のアイコンは、その後に行われるクラウドソーシングによるチェック処理が完了していることを示す。

第２画面ＤＰ２におけるタイムスタンプＤＰ２３には、検出画像２０２１を撮影した際に付与された日時に関する情報が示されている。すなわち、検出画像２０２１を撮影した日時および時刻を示す情報である。
第２画面ＤＰ２における対応状況ＤＰ２４は、当該損傷に対して行われる対応に関する情報が記載されている。対応に関する情報としては、例えば、経過観察、管理者への報告予定、管理者への報告済み、修繕予定、等が挙げられる。

第２画面ＤＰ２における損傷種類ＤＰ２５には、損傷の種類が記載されている。ここで、損傷の種類について、図７よび図８を用いて説明する。
図７は、識別装置１により識別される損傷の種類の第１例を示す図である。図８は、識別装置１により識別される損傷の種類の第２例を示す図である。

図７Ａに示すＤ００で識別される損傷の種類は、縦方向（進行方向）に沿って延びる線状のひび割れであり、車輪走行部に発生する損傷を指す。
図７Ｂに示すＤ０１で識別される損傷の種類は、縦方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。施工ジョイント部とは、アスファルト舗装のつなぎ目を意味する。

図７Ｃに示すＤ１０で識別される損傷の種類は、横方向（道路の幅方向）に沿って延びる線状のひび割れであり、車輪走行部に発生する損傷を指す。
図７Ｄに示すＤ１１で識別される損傷の種類は、横方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。

図８Ａに示すＤ２０で識別される損傷の種類は、亀甲状のひび割れを指す。
図８Ｂに示すＤ４０で識別される損傷の種類は、段差、ポットホール、および剥離を指す。
図８Ｃで示すＤ４３で識別される損傷の種類は、横断歩道のかすれを指す。
図８Ｄで示すＤ４４で識別される損傷の種類は、白線のかすれを指す。

なお、上記の損傷の種類はあくまで例示であり、その他の損傷の種類を含んでもよい。このように、路面の損傷の有無のみならず、損傷の種類が識別され、損傷の状態について詳細な情報を得ることができる。

＜５．識別装置１の制処理＞
＜５－１．路面の損傷の検出における制御処理＞
次に、識別装置１の基本的な処理として、路面の損傷の検出における制御処理について説明する。図９は、識別装置１により実行される処理のフローを説明する図である。この図で説明する処理は、識別装置１により行われる処理の大枠であり、実際には後述する検出処理の制御処理を並行した処理が行われる。

図９に示すように、まず、撮影部１５０が所定の時間間隔で画像を撮影する（ステップＳ１１０）。撮影部１５０は、撮影した撮影画像１６１を記憶部１６０に記憶させる。
ステップＳ１１０の後に、識別部１７３は、撮影画像１６１に撮影された路面における損傷の有無を識別する（ステップＳ１１１）。具体的には、識別部１７３は、第１学習済みモデル１６２に撮影画像１６１を入力することで、損傷の有無に関する出力を得る。

ステップＳ１１１において、損傷が確認されない場合（ステップＳ１１２のＮｏ）には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。

ステップＳ１１１において、損傷が確認された場合には（ステップＳ１１２のＹｅｓ）、識別部１７３が、損傷が道路領域内かどうかを判定する（ステップＳ１１３）。具体的には、識別部１７３は、撮影画像１６１を第２学習済みモデル１６３に入力することで、損傷が道路領域内かどうかの出力を得る。

ステップＳ１１３において、損傷が道路領域内ではないと出力された場合には、（ステップＳ１１４のＮｏ）には、具体的には、損傷が歩道や周囲の建物等に位置する場合には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。

ステップＳ１１３において、損傷が道路領域内であると出力された場合には、識別部１７３は、撮影位置に関する情報を関連付ける（ステップＳ１１５）。
ステップＳ１１５の後に、端末装置１０の送受信部１７２が、検出画像２０２１を情報処理サーバ２０に送信する（ステップＳ１１６）。これにより、情報処理サーバ２０の送受信部２０３１が、検出画像２０２１を受信し、記憶部２０２に記憶させる。

ステップＳ１１６の後に、情報処理サーバ２０の再識別部２０３２が、検出画像２０２１に対して損傷の有無を再度識別する（ステップＳ１１７）。具体的には、再識別部２０３２は、第３学習済みモデル２０２２に撮影画像１６１を入力することで、損傷の有無に関する出力を得る。

ステップＳ１１７において、損傷が確認されない場合（ステップＳ１１８のＮｏ）には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。

ステップＳ１１７において、損傷が確認された場合（ステップＳ１１８のＹｅｓ）には、再識別部２０３２が、損傷が道路領域内かどうかを判定する（ステップＳ１１９）。
具体的には、再識別部２０３２は、撮影画像１６１を第４学習済みモデル２０２３に入力することで、損傷が道路領域内かどうかの出力を得る。

ステップＳ１１９において、損傷が道路領域内ではないと出力された場合には、（ステップＳ１２０のＮｏ）には、具体的には、損傷が歩道や周囲の建物等に位置する場合には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。

ステップＳ１１９において、損傷が道路領域内であると出力された場合には、クラウドソーシングによる目視チェックを実行する（ステップＳ１２１）。具体的には、不特定多数のチェッカーに対して検出画像２０２１を送信し、チェックを受ける。この結果において、損傷であるという回答数が一定の数を超えた場合に、損傷があるものとして扱う。

ステップＳ１２１の後に、位置判定部２０３３は、検出画像２０２１の位置を判定する。すなわち、損傷が確認された検出画像２０２１について、同一箇所であるかどうかの判定を行う。具体的には、情報処理サーバ２０の記憶部２０２には、撮影した日時の異なる多数の検出画像２０２１が記憶されている。位置判定部２０３３は、これらの多数の検出画像２０２１に対して、緯度、経度等の座標を用いて、同一箇所として識別する。

ステップＳ１２２の後に、評価部２０３４は、損傷の確率分布を算出する（ステップＳ１２３）。具体的には、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。この時の評価結果を図１０で説明する。図１０は、評価データ２０２４の一例を示す図である。

図１０に示すように、評価部２０３４は、車両の走行経路における出発点（start）から目的地（Goal）までの座標位置毎に、時系列に沿って、路面の損傷に関する情報を統合する。具体的には、評価部２０３４は、時間を変数とする確率を算出する。図１０に示す評価データ２０２４の例では、クラウドソーシングによる目視チェックにおいて損傷があると判断された検出画像２０２１の評価指標を１とし、クラウドソーシングによる目視チェックまでのいずれかの工程で損傷がないと判断された検出画像２０２１の評価指標を０として集計している。そして、存在確率は、全標本数に対して１と検出された確率を算出する。

評価部２０３４は、最終的な判断として、存在確率の閾値を設定する。例えば閾値を８０％と設定した場合には、存在確率が８０％以上の座標に対して、損傷があると判断する。この際、評価部２０３４は、撮影された地点における外部環境（天候、時刻、明るさ）により、重みづけを行ってもよい。例えば、悪天候時には傷の誤認が想定される。このため、１２月１日の座標（ｘ１、ｙ１）が悪天候であった場合には、評価指標に×０．９とする。同様に、夕方や暗い環境で撮影された検出画像２０２１の評価指標に予め設定された重み係数を乗じてもよい。このような重み係数の値は、外部環境の条件の影響度に応じて任意に設定することができる。

＜５－２．検出における動作モードの制御処理＞
次に、路面の損傷の検出における動作モードの制御処理について説明する。図１１は、識別装置１により実行される路面の損傷の検出における動作モードの制御処理のフローを説明する図である。
動作モードの制御処理は、前述した路面の損傷の検出処理と並行して行われる。このため、図１１では、図１０で説明した処理の一部を左側に記載し、動作モードの制御処理を右側に示している。

図１１に示すように、端末装置１０の周辺認識部１７５は、前方車両の走行状態を認識する（ステップＳ２１０）。具体的には、周辺認識部１７５は、既に取得された撮影画像１６１を用いて差分処理を行い、前方車両の加速度（相対速度）の変化、自車両との車間距離の変化を認識する。これにより、前方車両の発進又は停止も認識する。

ステップＳ２１０において、前方車両の走行状態に変化がない場合（ステップＳ２１１のＮｏ）には、継続して前方車両の走行状態をチェックする。周辺認識部１７５による前方車両の走行状態のチェックは、識別装置１による全ての処理が継続する間、継続して行われる。

一方、ステップＳ２１０において、前方車両の走行状態に変化がある場合（ステップＳ２１１のＹｅｓ）には、端末装置１０の動作制御部１７６が、撮影部１５０の撮影レートを変更する（ステップＳ２２０）。具体的には、動作制御部１７６は、前述したステップＳ１１０の撮影部１５０による路面の撮影における撮影レートを変更する。例えば、撮影レートの変更は、以下の態様で行われる。
・前方車両の発進に伴い、撮影レートを上げる（撮影を開始する）
・前方車両の停止に伴い、撮影レートを下げる（撮影を停止する）
・前方車両との車間距離の拡大に伴い、撮影レートを上げる
・前方車両との車間距離の縮小に伴い、撮影レートを下げる
・前方車両の加速度（相対速度）の増加に伴い、撮影レートを上げる
・前方車両の加速度（相対速度）の減少に伴い、撮影レートを下げる
なお、撮影レートの変更では、撮影自体は継続して同じレートで撮影を行い、端末装置１０の記憶部１６０に保存する際の頻度を調整するという態様であってもよい。

このため、例えば前方車両が停止した際、前方車両との車間距離が縮小した際、又は前方車両の加速度が減少した際には、撮影の頻度が下がり、撮影部１５０が取得する撮像画像の単位時間当たりの枚数が少なくなる。
一方、前方車両が発進した際、前方車両との車間距離が拡大した際、又は前方車両の加速度が増加した際には、撮影の頻度があがり、撮影部１５０が取得する撮像画像の単位時間当たりの枚数が多くなる。

また、ステップＳ２１０において、前方車両の走行状態に変化がある場合（ステップＳ２１１のＹｅｓ）には、端末装置１０の動作制御部１７６が、識別部１７３の識別速度を変更する（ステップＳ２３０）。具体的には、動作制御部１７６は、前述したステップＳ１１６の識別部１７３による撮像画像に対する路面の損傷の識別処理の頻度を変更する。例えば、識別処理の頻度の変更は、以下の態様で行われる。
・前方車両の発進に伴い、識別処理の頻度を上げる（識別処理を開始する）
・前方車両の停止に伴い、識別処理の頻度を下げる（識別処理を停止する）
・前方車両との車間距離の拡大に伴い、識別処理の頻度を上げる
・前方車両との車間距離の縮小に伴い、識別処理の頻度を下げる
・前方車両の加速度（相対速度）の増加に伴い、識別処理の頻度を上げる
・前方車両の加速度（相対速度）の減少に伴い、識別処理の頻度を下げる

このため、例えば前方車両が停止した際、前方車両との車間距離が縮小した際、又は前方車両の加速度が減少した際には、撮影画像１６１に対する路面の損傷の識別処理の頻度が下がり、単位時間当たりにおける、損傷の有無が識別される撮像画像の枚数が少なくなる。
一方、前方車両が発進した際、前方車両との車間距離が拡大した際、又は前方車両の加速度が増加した際には、撮影画像１６１に対する路面の損傷の識別処理の頻度が上がり、単位時間当たりにおける、損傷の有無が識別される撮像画像の枚数が多くなる。

また、ステップＳ２１０において、前方車両の走行状態に変化がある場合（ステップＳ２１１のＹｅｓ）には、端末装置１０の動作制御部１７６が、送受信部１７２の検出画像２０２１の送信レートを変更する（ステップＳ２４０）。具体的には、動作制御部１７６は、前述したステップＳ１１６の送受信部１７２による検出画像２０２１の情報処理サーバ２０への送信レートを変更する。例えば、送信レートの変更は以下の態様により行われる。
・前方車両の発進に伴い、送信レートを上げる（送信処理を開始する）
・前方車両の停止に伴い、送信レートを下げる（送信処理を停止する）
・前方車両との車間距離の拡大に伴い、送信レートを上げる
・前方車両との車間距離の縮小に伴い、送信レートを下げる
・前方車両の加速度（相対速度）の増加に伴い、送信レートを上げる
・前方車両の加速度（相対速度）の減少に伴い、送信レートを下げる
送信レートの変更では、例えば１回のリクエストで複数枚の検出画像２０２１を情報処理サーバ２０に送信するとした場合に、リクエストの頻度を増減させることで行われる。

このため、例えば前方車両が停止した際、前方車両との車間距離が縮小した際、又は前方車両の加速度が減少した際には、端末装置１０から情報処理サーバ２０に送信される検出画像２０２１の単位時間当たりの枚数が少なくなる。
一方、前方車両が発進した際、前方車両との車間距離が拡大した際、又は前方車両の加速度が増加した際には、端末装置１０から情報処理サーバ２０に送信される検出画像２０２１の単位時間当たりの枚数が少なくなる。

動作制御部１７６は、前方車両の走行状態の変化に応じて、継続して各機能部の動作モードの制御を行う。この処理は、前方車両の走行状態の変化がなくなるまで継続する。

＜６．小括＞
以上説明したように、本実施形態に係る識別装置１によれば、端末装置１０の動作制御部１７６が、周辺認識部１７５が認識した周辺の路面の状態の変化に応じて、検出処理の動作モードを変更する。このため、例えば前方車両の発進時に多くの撮影画像１６１を取得し、多くの撮影画像１６１に対して損傷の識別を行い、多くの検出画像２０２１を端末装置１０から情報処理サーバ２０に送信することができる。一方、例えば前方車両の停車時に少しの撮影画像１６１を取得し、少しの撮影画像１６１に対して損傷の識別を行い、少しの検出画像２０２１を端末装置１０から情報処理サーバ２０に送信することができる。
このため、前方車両により隠れていた路面が露出した際に、多くの検出を行うとともに、前方車両により車両の前方が隠れている場合には、検出の頻度を抑えることができる。これにより、例えば一様に検出処理を行う構成と比較して、周辺車両の走行状態に応じて効率的に路面の損傷を検出することができ、質の高い情報により、効率的に路面の損傷を検出することができる。

また、路面の検出に用いて撮影画像１６１を用いて、周辺車両の走行状態の変化を認識する場合には、他のセンサを必要とせず、簡易な構成で、周辺車両の走行状態の変化の認識を行うことができる。

また、端末装置１０の動作制御部１７６が、撮影部１５０が撮影した時系列に並ぶ複数の画像を比較することで、周辺車両の走行状態を識別するので、周辺車両の状態を正確に把握することができる。

また、端末装置１０の周辺認識部１７５が、周辺車両の走行状態として、周辺車両の発進又は停止、車両と周辺車両との車間距離、および周辺車両の車両に対する相対速度のうちの少なくともいずれかの変化を認識するので、周辺車両の走行状態の様々な変化を適切に認識することができる。

また、端末装置１０の動作制御部１７６が、車両の位置情報、車両に搭載されたジェイロセンサ、および車両のＣＡＮ情報のうちのいずれかを用いて、相対速度を検出するので、精度の高い検出を行うことができる。

また、端末装置１０の動作制御部１７６が、認識した周辺車両との車間距離、および相対速度の変化に伴い、撮影部１５０による路面の撮影における撮影の停止、又は撮影レートの変更を行う。このため、前方の路面に前方車両が位置していない状態などの撮影が必要なタイミングで、効率的な撮影を行うことができる。

また、端末装置１０の動作制御部１７６が、認識した周辺車両の速度、周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、路面の損傷の有無を評価する処理の頻度を変更する。このため、撮影部１５０による撮像画像の枚数が増加した場合に、識別処理の遅れが生じるのを防ぐことができる。

また、端末装置１０の動作制御部１７６が、認識した周辺車両の停止に伴い、検出画像２０２１の情報処理サーバ２０への送信を停止、又は送信する頻度を低下するとともに、周辺車両の発進に伴い、検出画像２０２１の情報処理サーバ２０への送信を開始、又は送信する頻度を向上する。このため、識別部１７３が識別した検出画像２０２１が増加した場合に、検出画像２０２１を効率的に端末装置１０から情報処理サーバ２０に送信することができる。

また、端末装置１０の撮影部１５０が撮影した撮影画像１６１に対して、端末装置１０の識別部１７３が損傷の有無を識別する。そして、撮影画像１６１のうち、端末装置１０において損傷が検出された検出画像２０２１のみを情報処理サーバ２０に送信する。
このため、撮影された膨大な量の撮影画像１６１のうち、全ての撮影画像１６１を端末装置１０から情報処理サーバ２０に送信する必要がなく、一部の撮影画像１６１に相当する、損傷が検出された検出画像２０２１のみを、端末装置１０から情報処理サーバ２０に送信すれば足りる。これにより、撮影を行う端末装置１０からのデータの通信量を大きく抑えることができる。

また、情報処理サーバ２０の位置判定部２０３３が、撮影された損傷の位置が同一箇所であるかどうかを判定し、評価部２０３４が、路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する。
このため、一枚の撮影画像１６１による判定ではなく、多数の撮影画像１６１から総合的に損傷の有無を判断することができ、路面の損傷の有無の検出を精度よく行うことができる。

また、評価部２０３４が、時系列に沿って、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する。これにより、損傷の識別における誤判定を吸収しながら、統計的に損傷の有無を判断することができる。

また、評価部２０３４が、外部環境に関する情報を用いて、存在確率への重み付けを行うので、撮影時の条件の違いを考慮して、精度の高い識別を行うことができる。

また、位置判定部２０３３が、検出画像２０２１、および検出画像２０２１が撮影された位置情報を用いて、複数の検出画像２０２１に撮影された路面の損傷が、同一箇所かどうかを判定する。これにより、大量の撮影画像１６１を用いて同一箇所の損傷がどのように推移するのかを確認することができる。

また、位置判定部２０３３が、車両の走行経路に関する情報を用いて、複数の検出画像２０２１に撮影された路面の損傷が、同一箇所かどうかを判定する。これにより、車両の進行方向を考慮して、撮影された時点に対する損傷の位置を正確に把握することができる。

また、識別部１７３が、検出画像２０２１において検出された損傷が、道路領域内に位置するかどうかを判定する。このため、歩道や周囲の設備の損傷をノイズとして除外することができる。

また、情報処理サーバ２０が、検出画像２０２１に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無の識別、および路面の損傷が、道路領域内に位置するかどうかの判定を再度行う再識別部２０３２をさらに備えている。このため、損傷の識別をより高精度に行うことができる。

また、再識別部２０３２は、識別部１７３と異なる識別基準に従って、路面の損傷の有無を再度識別する。このため、例えば再識別部２０３２による識別基準を識別部１７３による識別基準よりも高くすることで、端末装置１０での一次的な識別では損傷がありそうな撮影画像１６１を拾い上げ、情報処理サーバ２０での二次的な識別ではノイズを除外するというように、多様な識別を行うことができる。

＜７．変形例＞
上述の実施形態においては、端末装置１０の周辺認識部１７５が、前方車両の走行状態の変化を認識する例を示したが、このような態様に限られない。例えば、撮影部１５０により自車両の後方の路面を撮影して、路面の損傷を検出する場合には、周辺認識部１７５は、自車両の後方を走行する車両の走行状態の変化を認識してもよい。
また、撮影部１５０により自車両の側方の路面を撮影して、路面の損傷を検出する場合には、周辺認識部１７５は、自車両の後方を走行する車両の走行状態の変化を認識してもよい。すなわち、周辺認識部１７５は、撮影部１５０が撮影する方向と同じ方向を走行する車両の走行状態の変化を認識すればよい。

また、周辺認識部１７５は、撮影部１５０が撮影した撮影画像１６１を用いることなく、周辺車両の走行状態を認識してもよい。この場合には、車両に搭載されたＬｉＤＡＲ（light detection and ranging）等のレーザ光を用いたセンサやその他の計測機器が取得したセンシング結果により、周辺車両の走行状態を認識することができる。

また、端末装置１０の動作制御部１７６が、撮影部１５０、識別部１７３、および送受信部１７２それぞれの動作を制御する例を示したが、この例に限られない。動作制御部１７６は、撮影部１５０、識別部１７３、および送受信部１７２のうちのいずれかの動作を制御すれば足りる。

また、周辺認識部１７５は、自車両の速度が閾値以下の場合には、自車両が停止している状態であり、路面の撮影を頻繁に行う必要がないと判断し、周辺車両の認識を行う処理を停止してもよい。

また、評価部２０３４が時系列に沿って統合する路面の損傷に関する情報が、検出画像２０２１が撮影された位置における損傷の有無に関する情報である例を示したが、この限りではない。例えば、評価部２０３４は、検出画像２０２１を路面の損傷に関する情報として、時系列に沿って統合してもよい。この場合には、時系列に沿って成長する損傷の様子が描写された画像の集合（動画）を得ることができる。

また、上述の実施形態では、１台の車両に搭載される端末装置１０により撮影された撮影画像１６１を評価する例を示したが、このような態様に限られない。例えば、多数の車両により撮影された撮影画像１６１の評価をおこなってもよい。
具体的には、事前に登録された多数のユーザが撮影した撮影画像１６１に対して、それぞれの端末装置１０において損傷の有無の識別を行う。そして、複数の撮影画像１６１のうち、損傷が検出された検出画像２０２１が、それぞれの端末装置１０から情報処理サーバ２０に送信され、情報処理サーバ２０において、前述したそれぞれの評価処理が行われてもよい。このような構成を採用すれば、端末装置１０として、汎用の携帯端末やドライブレコーダのような兼用の装置を採用することにより、様々な走行経路における膨大な数の撮影地点において撮影された、大量の検出画像２０２１を容易に取得することができる。これにより、算出された路面の損傷の存在確率の精度を確保することができる。

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

＜付記＞
実施形態で説明した事項を、以下に付記する。

（付記１）
プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、プログラムは、
プロセッサに、
車両に搭載され、車両の周辺の路面を撮影するステップと、
撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、
周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行させるプログラム。

（付記２）
動作モードを変更するステップでは、
車両の周辺を走行する周辺車両の走行状態の変化に応じて、検出処理の動作モードを変更する、付記１に記載のプログラム。

（付記３）
動作モードを変更するステップでは、
撮影部が撮影した時系列に並ぶ複数の画像を比較することで、周辺車両の走行状態を識別する、付記２に記載のプログラム。

（付記４）
周辺車両の走行状態とは、
周辺車両の発進又は停止、車両と周辺車両との車間距離、および周辺車両の車両に対する相対速度のうちの少なくともいずれかを含む、付記２又は３に記載のプログラム。

（付記５）
周辺車両の走行状態とは、周辺車両の車両に対する相対速度を指し、
動作モードを変更するステップでは、
車両の位置情報、車両に搭載されたジェイロセンサ、および車両のＣＡＮ情報のうちのいずれかを用いて、相対速度を検出する、付記２から４のいずれかに記載のプログラム。

（付記６）
検出処理の動作モードを変更するステップでは、
路面の画像を撮影するステップにおける撮影モードを変更する付記１から５のいずれかに記載のプログラム。

（付記７）
検出処理の動作モードを変更するステップでは
認識した周辺車両との車間距離、および相対速度の変化に伴い、路面の撮影における撮影の停止、又は撮影レートの変更を行う、付記６に記載のプログラム。

（付記８）
プロセッサに、
画像のうち、損傷を検出した検出画像を情報処理サーバに送信するステップを実行させ、
検出処理の動作モードを変更するステップでは、
送信するステップにおける送信モードを変更する付記１から７のいずれかに記載のプログラム。

（付記９）
検出処理の動作モードを変更するステップでは
認識した周辺車両の停止に伴い、検出画像の情報処理サーバへの送信を停止、又は送信する頻度を低下するとともに、周辺車両の発進に伴い、検出画像の情報処理サーバへの送信を開始、又は送信する頻度を向上する、付記８に記載のプログラム。

（付記１０）
検出処理の動作モードを変更するステップでは、
路面の損傷の有無を評価するステップにおける識別モードを変更する付記１から９のいずれかに記載のプログラム。

（付記１１）
検出処理の動作モードを変更するステップでは、
認識した周辺車両の速度、周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、路面の損傷の有無を評価する処理の頻度を変更する、付記１０に記載のプログラム。

（付記１２）
プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置が行う方法であって、方法は、
プロセッサが、
車両に搭載され、車両の周辺の路面を撮影するステップと、
撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、
周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行する方法。

（付記１３）
プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行うシステムであって、システムは、
プロセッサが、
車両に搭載され、車両の周辺の路面を撮影する手段と、
撮影部が撮影した画像から、路面の損傷の有無を評価する手段と、
周辺の路面の状態の変化に応じて、検出処理の動作モードを変更する手段と、を備えるシステム。

１…識別装置
１０…端末装置
１５０…撮影部
１７０…制御部
１７１…入力操作受付部
１７２…送受信部
１７３…識別部
１７４…表示処理部
１７５…周辺認識部
１７６…動作制御部
２０…情報処理端末
２０３…制御部
２０３１…送受信部
２０３２…再識別部
２０３３…位置判定部
２０３４…評価部

Claims (17)

1. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、前記プログラムは、
   前記プロセッサに、
   車両に搭載された撮影部により、前記車両の周辺の路面を撮影するステップと、
   前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
   前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行させ、
   前記検出処理の動作モードを変更するステップでは、
   前記路面の画像を撮影するステップにおける撮影モードを変更するプログラム。
2. 前記検出処理の動作モードを変更するステップでは
   認識した前記周辺車両との車間距離、および相対速度の変化に伴い、前記路面の撮影における撮影の停止、又は撮影レートの変更を行う、請求項１に記載のプログラム。
3. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、前記プログラムは、
   前記プロセッサに、
   車両に搭載された撮影部により、前記車両の周辺の路面を撮影するステップと、
   前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
   前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行させ、
   前記検出処理の動作モードを変更するステップでは、
   前記路面の損傷の有無を評価するステップにおける識別モードを変更するプログラム。
4. 前記検出処理の動作モードを変更するステップでは、
   認識した前記周辺車両の速度、前記周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、前記路面の損傷の有無を評価する処理の頻度を変更する、請求項３に記載のプログラム。
5. 前記動作モードを変更するステップでは、
   前記車両の周辺を走行する周辺車両の走行状態の変化に応じて、前記検出処理の動作モードを変更する、請求項１から４のいずれか１項に記載のプログラム。
6. 前記動作モードを変更するステップでは、
   前記撮影部が撮影した時系列に並ぶ複数の画像を比較することで、前記周辺車両の走行状態を識別する、請求項５に記載のプログラム。
7. 前記周辺車両の走行状態とは、
   前記周辺車両の発進又は停止、前記車両と前記周辺車両との車間距離、および前記周辺車両の前記車両に対する相対速度のうちの少なくともいずれかを含む、請求項５又は６に記載のプログラム。
8. 前記周辺車両の走行状態とは、前記周辺車両の前記車両に対する相対速度を指し、
   前記動作モードを変更するステップでは、
   前記車両の位置情報、前記車両に搭載されたジャイロセンサ、および前記車両のＣＡＮ情報のうちのいずれかを用いて、前記相対速度を検出する、請求項５から７のいずれか１項に記載のプログラム。
9. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、前記プログラムは、
   前記プロセッサに、
   車両に搭載された撮影部により、前記車両の周辺の路面を撮影するステップと、
   前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
   前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行させ、
   前記動作モードを変更するステップでは、
   前記車両の周辺を走行する周辺車両の前記車両に対する相対速度の変化に応じて、前記検出処理の動作モードを変更するプログラム。
10. 前記プロセッサに、
    前記画像のうち、損傷を検出した検出画像を情報処理サーバに送信するステップを実行させ、
    前記検出処理の動作モードを変更するステップでは、
    前記送信するステップにおける送信モードを変更する請求項９に記載のプログラム。
11. 前記検出処理の動作モードを変更するステップでは
    認識した前記周辺車両の停止に伴い、前記検出画像の前記情報処理サーバへの送信を停止、又は送信する頻度を低下するとともに、周辺車両の発進に伴い、前記検出画像の前記情報処理サーバへの送信を開始、又は送信する頻度を向上する、請求項１０に記載のプログラム。
12. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置が行う方法であって、前記方法は、
    前記プロセッサが、
    車両に搭載された撮影部により、前記車両の周辺の路面を撮影するステップと、
    前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
    前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行し、
    前記検出処理の動作モードを変更するステップでは、
    前記路面の画像を撮影するステップにおける撮影モードを変更する方法。
13. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行うシステムであって、前記システムは、
    前記プロセッサが、
    車両に搭載された撮影部により、前記車両の周辺の路面を撮影する手段と、
    前記撮影部が撮影した画像から、前記路面の損傷の有無を評価する手段と、
    前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更する手段と、を備え、
    前記検出処理の動作モードを変更する手段は、
    前記路面の画像を撮影するステップにおける撮影モードを変更するシステム。
14. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置が行う方法であって、前記方法は、
    前記プロセッサが、
    車両に搭載された撮影部により、前記車両の周辺の路面を撮影するステップと、
    前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
    前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行し、
    前記検出処理の動作モードを変更するステップでは、
    前記路面の損傷の有無を評価するステップにおける識別モードを変更する方法。
15. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行うシステムであって、前記システムは、
    前記プロセッサが、
    車両に搭載された撮影部により、前記車両の周辺の路面を撮影する手段と、
    前記撮影部が撮影した画像から、前記路面の損傷の有無を評価する手段と、
    前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更する手段と、を備え、
    前記検出処理の動作モードを変更する手段は、
    前記路面の損傷の有無を評価するステップにおける識別モードを変更するシステム。
16. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置が行う方法であって、前記方法は、
    前記プロセッサが、
    車両に搭載された撮影部により、前記車両の周辺の路面を撮影するステップと、
    前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
    前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行し、
    前記検出処理の動作モードを変更するステップでは、
    前記車両の周辺を走行する周辺車両の前記車両に対する相対速度の変化に応じて、前記検出処理の動作モードを変更する、方法。
17. プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行うシステムであって、前記システムは、
    前記プロセッサが、
    車両に搭載された撮影部により、前記車両の周辺の路面を撮影する手段と、
    前記撮影部が撮影した画像から、前記路面の損傷の有無を評価する手段と、
    前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更する手段と、を備え、
    前記検出処理の動作モードを変更する手段は、
    前記車両の周辺を走行する周辺車両の前記車両に対する相対速度の変化に応じて、前記検出処理の動作モードを変更する、システム。

Images