JP6946812B2

JP6946812B2 - 学習サーバ及び支援システム

Info

Publication number: JP6946812B2
Application number: JP2017141093A
Authority: JP
Inventors: 佑樹前
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2021-10-06
Anticipated expiration: 2037-07-20
Also published as: JP2019021201A

Description

本発明は、車載カメラの撮影データをもとに画像認識処理を行うととともに学習によりその処理を適応化する機能を有する学習サーバ及び支援システムに関する。

近年、自動車にはＡＤＡＳ（先進運転支援システム）と呼ばれる技術の導入が急速に拡大している。ＡＤＡＳでは、車両にカメラが搭載され、画像認識技術による物体の検知・認識が行われ、車線維持支援、前方車両追従、緊急自動ブレーキ等の運転支援が行われる。

一方で、画像認識技術は、コンピュータの発達、特に近年のＡＩ（人工知能）を中心とした学習機能の進化により、その精度は急速に向上している。ＡＤＡＳ分野でも、ＡＩや学習機能といった技術により、出荷後の車両において画像認識精度を向上させることに対して大きな期待が向けられている。

そのような画像認識技術を車両に適用した技術として、学習サーバが、車両の画像認識処理に使用された画像データを取得し、学習によって得られたパラメータを車両に提供する技術がある（例えば、特許文献１参照）。具体的には、車載装置は、自装置に保存されているパラメータを用いて画像認識処理を行い、使用した画像データを学習データとし学習サーバに送信する。学習サーバは、各車載装置からの学習データに基づき画像認識処理についての学習処理を行ってパラメータを更新し、更新後のパラメータを各車載装置に提供する。

特開２０１５−１３５５５２号公報

ところで、特許文献１に開示の技術では、撮影画像を学習データとし、天候や時間帯等のような環境データとともに、学習サーバに送信する。しかし、ＡＤＡＳを対象とするような画像を扱う技術の場合には、周囲の物体の認識をより適切に行う必要があり、想定外の環境変化が発生したりした場合であっても、認識精度の低下を抑制する技術が求められている。

本発明はこのような状況に鑑みてなされたものであり、上記課題を解決できる技術を提供することを目的とする。

本発明の学習サーバは、車両（５）の画像認識処理において評価が付されるとともに撮影日時の情報及び前記車両の位置情報を含む付加情報が関連づけられている撮影データを取得するデータ取得部（８３）と、前記撮影データを蓄積するとともに、前記画像認識処理に用いるパラメータの学習に用いるデータセットを蓄積するデータ保持部（９１）と、前記車両から前記撮影データを取得したときに、学習タイミングであるか否かを判断するデータ判定部（８４）と、前記学習タイミングである場合に、前記撮影データに関連づけられている前記付加情報を参照して、学習に用いるデータを前記データ保持部から選択し学習を行うサーバ側学習部（８５）と、学習結果を前記車両に通知する更新部（８６）とを備え、前記サーバ側学習部（８５）は、前記データ保持部に、前記撮影データと類似する環境のデータが含まれているデータセットを検索し（Ｓ１４）、前記データセットがあれば（Ｓ１４のＹ）、前記類似する環境のデータと従来環境のデータとを用いて学習を行い（Ｓ１８）、前記データセットがなければ（Ｓ１４のＮ）、前記撮影データと前記従来環境のデータとを用いて学習を行う（Ｓ１６）。
本発明は、車載カメラ（４０）を有する車両（５）と、学習サーバ（７０）とを備え支援システムであって、前記車両は、画像認識処理を行う車載装置（１０）を備え、前記車載装置は、前記車載カメラによる撮影データをもとに画像認識処理を行うとともに、前記画像認識処理に対する評価を行う画像判断部（２３）と、前記評価が信頼度に関する基準値より低いか否かを判断し、低い場合に、前記撮影データを、前記画像認識処理に対する前記評価、撮影時刻及び撮影位置を含む付加情報を関連づけて、前記学習サーバへ送信する通知判断部（２５）と、を備え、前記学習サーバは、前記車両から前記撮影データを、前記付加情報とともに取得するデータ取得部（８３）と、前記撮影データを蓄積するとともに、前記画像認識処理に用いるパラメータの学習に用いるデータセットを蓄積するデータ保持部（９１）と、前記車両から前記撮影データを取得したときに、学習タイミングであるか否かを判断するデータ判定部（８４）と、前記学習タイミングである場合に、前記撮影データに関連づけられている前記付加情報を参照して、学習に用いるデータを前記データ保持部から選択し学習を行うサーバ側学習部（８５）と、学習結果を前記車両に通知する更新部（８６）とを備え、前記サーバ側学習部（８５）は、前記データ保持部に、前記撮影データと類似する環境のデータが含まれているデータセットを検索し（Ｓ１４）、前記データセットがあれば（Ｓ１４のＹ）、前記類似する環境のデータと従来環境のデータとを用いて学習を行い（Ｓ１８）、前記データセットがなければ（Ｓ１４のＮ）、前記撮影データと前記従来環境のデータとを用いて学習を行い（Ｓ１６）、前記画像判断部は、前記更新部から取得した前記学習結果を、前記画像認識処理に反映させる。

本発明によると、画像認識処理を行う車両において、画像認識処理の認識精度の低下を抑制する技術を実現できる。

実施形態に係る、運転支援システムの概略構成を示す図である。実施形態に係る、運転支援システムの概略構成を示す図である。実施形態に係る、車載装置の機能ブロック図である。実施形態に係る、サブサーバの機能ブロック図である。実施形態に係る、学習支援サーバにおける学習器の再学習処理を示したフローチャートである。実施形態に係る、送信頻度判定処理の具体例１を示すフローチャートである。実施形態に係る、送信頻度判定処理の具体例２を示すフローチャートである。実施形態に係る、送信頻度判定処理の具体例３を示すフローチャートである。

図１及び図２を参照して、本実施形態の運転支援システム１の概略を説明する。図示のように、運転支援システム１は、複数の車両５と、それら車両５がネットワーク２を介して接続する学習支援サーバ７０とを備える。それぞれの車両５は、例えば、ＡＤＡＳ機能を有し、その機能を実現する車載装置１０を備える。

車載装置１０は、ＡＤＡＳ機能における画像認識処理により撮影データ中の物体をラベリングする機能を有する。さらに、車載装置１０は、ラベリング処理について能動学習（Active Learning）の機能を備え、能動学習において「苦手データ」と判断したものを、ネットワーク２を介して学習支援サーバ７０に送信する。

苦手データとは、学習器にとって情報量の多いデータを指し、より具体的には、不確かさ度が高いデータや複数種類の学習器で出力に違いがあるデータを言い、以下では、便宜的に「信頼度が低いデータ」と称する。学習器とは、後述する学習器２４やサーバ側学習部８５に対応する。

信頼度の算出方法としては、例えば、エントロピー法があるが、これに限る趣旨ではなく、最小／最大確信度法（Least/Largest Confident）や周辺確率（Margin Sampling）を用いることができる。エントロピー法では、算出されたエントロピー値が大きい場合に、信頼度が低いデータと評価される。

送信される苦手データは、撮影データそのものであってもよいし、ラベリングされた領域が抽出された画像データであってもよい。後者の場合、ラベリングされた領域毎に信頼度が算出されるため、車両５と学習支援サーバ７０との通信のデータ量及び必要とされる記憶領域を大幅に抑制できる。車両５と比べて処理能力が高く及び蓄積されているデータが非常に多い学習支援サーバ７０で、苦手データを学習するために、効果的な学習により、パラメータの更新を迅速かつ的確に行うことができる。

なお、学習の機会は、新たな種類の車両５（例えば、車両メーカー等から市場へ販売される新型車両、フルモデルチェンジ車両、マイナーチェンジ車両）や新しい種類の車載装置１０（例えば、車載装置メーカーが製造する新型製品、改変モデル製品）を新たに市場に投入した後に多く、一定期間後は逓減していくと考えられる。それに対応して、車両５と学習支援サーバ７０との通信負荷や学習支援サーバ７０の学習におる処理負荷も変化する。そこで、車両５から学習支援サーバ７０へ送信することを判断する際に、その判断基準となる信頼度の閾値を高めに設定することで、通信量及び学習量（すなわち処理負荷）をコントロール（すなわち、通信量の低減や学習量の低減）することができる。

学習支援サーバ７０は、複数の車両５から取得した苦手データを利用して、画像認識処理におけるパラメータを学習によって更新し、車両５に返信する。車両５は、学習支援サーバ７０から取得した更新後のパラメータを車載装置１０に適用することで、画像認識処理の精度を向上させることができる。

例えば、車両５では、日本、アメリカ、ヨーロッパ、中東、アフリカ等のように走行環境が異なる地域に応じて、車両５の画像認識処理におけるパラメータが調整されている。したがって、ある時空間における苦手な状況が、他の時空間で解決済みの場合がある。その場合、学習支援サーバ７０を介して、時空間的に画像認識処理におけるパラメータを共有することで、ある地域等において想定されていないような環境条件においても、画像認識処理の認識精度を向上させることができる。

すなわち、学習支援サーバ７０は、苦手データを送信した車両５に関する従来環境のデータと、他の環境のデータであって苦手データと同様のデータを含むと想定される環境のデータとを組み合わせて再学習しパラメータを更新する。更新後のパラメータを車両５に送信し適用させることで、車両５における画像認識処理の精度を向上させる。

より具体的には、天候が雪となることを想定していない中東の環境（天気、道路、歩行者等）に適合した画像認識処理機能があると仮定する。また、雪を想定した北欧の環境（天気、道路、歩行者等）に適合した画像認識処理機能があると仮定する

ここで、中東において天気に関する環境が大きく変化し、本来想定していない降雪となった場合を想定する。車両５は、能動学習機能を用いて認識時に苦手とするデータ（苦手データ）を学習支援サーバ７０に通知する。

学習支援サーバ７０では、従来環境のデータと、苦手データと類似する環境で撮影されたデータ（以下、便宜的に「類似環境データセット」と称する）とを組み合わせて再学習する。ここでは、例えば北欧のデータに、降雪を想定したデータが含まれていると想定できる。そこで、中東の環境を想定した従来環境のデータと、類似環境データセットと想定できる北欧のデータとを組み合わせ、再度学習する。

学習支援サーバ７０は、学習の結果得られた新たなパラメータを、ネットワーク２を介して、苦手データを送信してきた車両５に対して送信する。これによって、苦手データを送信した車両５は、その時点の環境に適合した画像認識処理を行うことができる。すなわち、環境変化した地域において、ラグ（時間差）を最低限にしつつ、誤認識またはラベリング不能といった状態を低減することができる。なお、上記例では、空間的に異なる環境のパラメータの共有を想定しているが、当然に時間的に異なる環境、例えば、昼や夜と言った環境についても、同様である。

一方、ある時空間における苦手な状況が他の時空間でも苦手な場合も想定される。すなわち、苦手データが、従来環境のデータとは異なる環境において生じたデータである場合がある。その場合、学習支援サーバ７０は、従来環境のデータと新環境データである苦手データとを組み合わせて再学習し、パラメータを更新する。すなわち、苦手データを訓練データである従来環境のデータに加えて学習を行う。

更新後のパラメータを車両５に送信し適用させることで、車両５における画像認識処理の精度を向上させる。これによって、新たな環境についても考慮した新しいパラメータを車両５の画像認識処理に適用させることができる。

図２に示すように、学習支援サーバ７０は、複数のサブサーバ７１、ここでは、３台のサブサーバ（Ａ）７１ａ〜サブサーバ（Ｃ）７１ｃを備え、車両５が販売等され日常的に走行する地域である仕向地毎に用いられるサブサーバ７１が予め定められている。

例えば、仕向地が日本の車両５に対してはサブサーバ（Ａ）７１ａが、仕向地がヨーロッパの車両５に対してはサブサーバ（Ｃ）７１ｃが、通信相手として設定されている。サブサーバ（Ａ）７１ａ〜サブサーバ（Ｃ）７１ｃそれぞれは、協働可能に接続されている。なお、サブサーバ（Ａ）７１ａ〜サブサーバ（Ｃ）７１ｃを区別しない場合は、単に「サブサーバ７１」と称する。

車載装置１０は、車載カメラ４０が取得する撮像データをもとに画像認識処理を行い、撮像データに含まれる物体を識別し、その識別結果をもとに運転支援（例えば、ブレーキアシスト処理や前方車接近警報処理）を行う。

ところで、車載装置１０が実現する様々な機能には、その機能に対して仕向地に応じたパラメータ値が設定されている。画像認識機能におけるパラメータを、学習器２４が学習し調整する。すなわち、それぞれの車載装置１０の学習器２４は、車両５の運行蓄積によって、その学習機能により環境に適応化される。

一方、一台の車両５では、走行する環境等が限られ学習量に限りがある。そこで、学習支援サーバ７０が、学習器２４の画像認識処理の結果を吸い上げ、再度学習した結果を、ここではパラメータを車両５に返す。車両５は、学習支援サーバ７０から返ってきたパラメータを画像認識処理に反映させる。

詳細は後述するが、車載装置１０は、学習器２４を有し、画像認識処理機能の適応化を行う。学習器２４は、機械学習の機能の一つとして、ストリームベース型の能動学習機能を備える。ストリームベース型の能動学習機能では、認識対象となるデータに対して、ラベル付するか否かをその場で判断し、原則として判断後のデータは破棄される。本実施形態では、車両５の車載装置１０は、画像認識処理機能において苦手データと判断したデータを学習支援サーバ７０に通知する。

図３は、車載装置１０の機能ブロック図であって、主にＡＤＡＳ機能における画像認識処理の学習機能に着目して示している。

車載装置１０は、支援処理部２０と、車載カメラ４０と、車載通信部１２と、センサ部１８とを備える。

車載通信部１２は、携帯電話回線、無線ＬＡＮ規格やブルートゥース（登録商標）等の近距離無線通信規格の無線通信インタフェイスであって、ネットワーク２に接続され、学習支援サーバ７０と通信する。

センサ部１８は、例えば、ＧＮＳＳ（Global Navigation Satellite System／全球測位衛星システム）センサ１３と、対物センサ１４と、温度センサ１５と、車両状態センサ１６とを備える。

ＧＮＳＳセンサ１３は、ＧＮＳＳ信号を受信し車両５の位置を特定する。対物センサ１４は、例えば、車両前方に向けて搭載されたミリ波レーダーやレーザスキャナーであって、数１０ｍの範囲の物体を検出することができる。

温度センサ１５は、車両５の周囲の温度を検知する。車両状態センサ１６は、車両５の動作をもとに、車両５が置かれている状態を検知する。車両状態センサ１６は、例えば、ワイパーの動作や雨滴センサーを制御するＥＣＵ（Electronic Control Unit）から情報を取得し、外部の晴雨の状態等を判断する。

車載カメラ４０は、例えば、車両前方を撮影する前方カメラ４１、車両後方を撮影する後方カメラ４２、車両左方向を撮影する左側方カメラ４３、車両右方向を撮影する右側方カメラ４４を備える。

支援処理部２０は、ＭＰＵ（Micro-Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって各機能を実現する。具体的な機能として、支援処理部２０は、主制御部２１と、画像取得部２２と、画像判断部２３と、学習器２４と、通知判断部２５と、車載記憶部２６とを備える。

主制御部２１は、各構成要素を統括的に制御する。画像取得部２２は、車載カメラ４０を制御し、車両１０の周囲の画像、すなわち撮像データを取得する。取得した撮像データは、画像判断部２３へ送られる。

画像判断部２３は、ＡＤＡＳ機能を実行中において、車載カメラ４０の撮像データや時刻情報、ＧＮＳＳセンサ１３、対物センサ１４、温度センサ１５、車両状態センサ１６の各情報をもとに、撮像データに含まれる物体を判別しラベリング処理を行うともに、判別の信頼度を算出する。ラベリング処理及び信頼度の算出処理については、公知の技術を用いる。

信頼度として、上述のように、エントロピー法を適用して、エントロピーが大きい場合に信頼度を低いと判断する。判別する物体として、他の車両や、自転車、表示や信号等の設置物、車道、人物、動物等がある。すなわち、撮影データにおいて、ラベリング対象となる領域である。以下では便宜的に、撮像データに関連づけられラベリング処理に用いられる各種情報を「付加情報」と称して説明する。付加情報として、車両５の位置情報、時間情報、気象情報、温度情報等がある。

ラベリング処理及び信頼度の算出処理における画像認識アルゴリズムに関する技術として、ステレオビジョンに代表される構造推定や、歩行者認識に代表されるパターン認識がある。

パターン認識によりラベリング処理を行う技術として、ＨｏＧ（Histograms of Oriented Gradients）特徴やＳＶＭ（Support Vector Machine）識別器、ＤＰＭ（Deformable Parts Model）、深層学習（Deep Learning）等を単独または組み合わせた技術がある。画像認識アルゴリズム、すなわちラベリング処理においては、各種のパラメータが設定され、物体を判別している。このパラメータを調整することで、ラベリング処理の信頼度が向上する。

学習器２４は、画像判断部２３における画像認識処理後に、使用された撮像データについて能動学習する。本実施形態では、能動学習として、ストリームベース型能動学習が適用される。ストリームベース型能動学習では、認識対象となるデータに対して、ラベル付けするか否かをその場で判断し、判断後のデータは破棄される。

通知判断部２５は、学習器２４で学習された能動学習データを、学習支援サーバ７０に送るか否かの判断をし、学習支援サーバ７０に送るべき苦手データを抽出する。抽出された苦手データは、撮像データ及びそれに関連づけられている付加情報から構成されており、車載記憶部２６に記録される。

車載記憶部２６は、非遷移的実体的記録媒体(non-transitory tangible storage media）であって、例えば、ＲＡＭ（Random Access Memory）等の主記憶部、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Disk）、ＨＤＤ（Hard Disk Drive）等の補助記憶部、フラッシュメモリーカードや光学記録媒体等を含む。

車載記憶部２６に記録されている苦手データは、車両５の識別情報と共に、順次、学習支援サーバ７０に対してて送信される。ただし、車載通信部１２によるネットワーク接続状態が不良の状態のときには、良好な状態になったときに、学習支援サーバ７０に対して送信される。

識別情報とは、車両５を特定する情報であってもよいし車種情報であってもよいが、少なくとも学習支援サーバ７０において、苦手データを送信した車両５の画像判断部２３に適用されている画像認識機能（すなわち、画像認識処理プログラム）を特定することができる情報である。なお、学習支援サーバ７０での学習結果を、苦手データを送信した車両５を特定して返信する場合には、個々の車両を特定する車両識別番号（Vehicle Identification Number）やネットワークアドレス等が必要となる。

図４に示すように、サブサーバ７１は、主制御部８１と、サーバ通信部８２と、ＡＬデータ取得部８３と、データ判定部８４と、サーバ側学習部８５と、更新部８６と、ＤＢ９０とを備え、車両５から取得した苦手データをもとに、車両５の画像認識機能の最適化を行う。すなわち、画像認識機能のパラメータの更新処理を行う。

主制御部８１は、サブサーバ７１の各要素を統括的に制御する。サーバ通信部８２は、ネットワーク２を介して、車載装置１０や他のサブサーバ７１と接続する。

ＡＬデータ取得部８３は、サブサーバ７１から苦手データを取得し、後述するＤＢ９０のデータ保持部９１に記録し蓄積するとともに、データ判定部８４に渡す。

データ判定部８４は、取得した苦手データやデータ保持部９１に蓄積されている苦手データをもとに、複数の車両５からの送信頻度が所定の閾値を超えているか閾値以下であるかを判断する。すなわち、苦手データを用いて学習するために適切なデータ数が蓄積されているか否かを判断する。言い換えると、データ判定部８４は、車両５から苦手データを取得すると、車両５に設定されているパラメータを再度学習すべきタイミングであるか否かを蓄積されているデータ数を考慮して判断する。

なお、他の車両５からの苦手データの送信が多い場合には、苦手データが発生する可能性が高く、パラメータの更新が求められていると判断できる。一方、他の車両５からの苦手データの送信が少ない場合には、例えば、ノイズや考慮に入れことが難しい環境条件の影響によって、苦手データが比較的少ない頻度で送信されてきたと判断できる。

サーバ側学習部８５は、データ判定部８４において、パラメータの学習タイミングであると判断された場合、苦手データ及びデータ保持部９１に蓄積されているデータから、学習に必要なデータを抽出し学習を行う。

更新部８６は、サーバ側学習部８５の学習の結果が良好な場合、車両５に学習後のパラメータをネットワーク２を介して送信するとともに、ＤＢ９０のパラメータ保持部９２の該当パラメータを学習後のパラメータに更新する。

ＤＢ９０は、データ保持部９１と、パラメータ保持部９２と、閾値保持部９３とを備える。

データ保持部９１は、車両５から取得した苦手データを蓄積するとともに、サーバ側学習部８５の学習において用いるデータ（以下、「従来環境のデータセット」ともいう。）を予め保持している。予め保持されているデータには、苦手データと同様に、付加情報が関連づけられている。

パラメータ保持部９２は、車両５に提供すべき最新のパラメータを保持している。閾値保持部９３は、データ判定部８４の判断処理の基準となる条件を保持している。

つづいて、図５のフローチャートを参照して、学習支援サーバ７０における学習処理について説明する。

ＡＬデータ取得部８３が車両５側の能動学習に基づく苦手データを取得すると（Ｓ１０）、データ判定部８４は、送信頻度判定処理として、その苦手データをデータ保持部９１に記録するとともに、データ保持部９１に保持されている複数の車両５からの苦手データの送信頻度が所定の閾値以下であるか超えているを判断する（Ｓ１２）。送信頻度判定処理の具体例１〜３については、図６〜８で後述する。

送信頻度が閾値以下の場合には（Ｓ１２のＹ）、学習支援サーバ７０で学習を行う条件を満たしていないと判断し、当該フローチャートによる処理を終了し、新たな苦手データの受信を待機する。

送信頻度が閾値を超える場合には（Ｓ１２のＮ）、学習支援サーバ７０で学習を行う条件を満たしている判断し、サーバ側学習部８５は、車両５から取得した苦手データを含む既存データセット（すなわち、類似環境データセット）の検索を行い、検索ヒットするか否かを判断する（Ｓ１４）。言い換えると、サーバ側学習部８５は、自身が属するサブサーバ７１のデータ保持部９１及び他のサブサーバ７１のデータ保持部９１に、類似環境データセットが存在するか否かを判断する。

類似環境データセットが存在する場合（Ｓ１４のＹ）、サーバ側学習部８５は、その類似環境データセットと従来環境のデータセットとを組み合わせて、再学習する（Ｓ１６）。

類似環境データセットが存在しない場合（Ｓ１４のＮ）、サーバ側学習部８５は、集めた苦手データと従来環境のデータセットとを組み合わせて、再学習する（Ｓ１８）。再学習後（Ｓ１６、Ｓ１８）、更新部８６は、学習後のパラメータを送信する（Ｓ２０）。

つづいて、図６〜８のフローチャートを参照して、苦手データの送信頻度判定処理（Ｓ１２）のより具体例１〜３を説明する。

まず、図６の具体例１を参照して、天気等の影響を考慮するケースについて説明する。ここでは、降雪が無い、あるいはほとんど稀にしか発生しない地域で降雪があり、道路に雪が積もり走行可能領域の認識が難しくなるケースを想定する。

データ判定部８４は、苦手データを送信した車両５の送信時位置から所定範囲内、ここでは５ｋｍ範囲内で、他の車両５から過去１時間内に学習支援サーバ７０に苦手データが送信された頻度ｘ１をカウントする（Ｓ１２１）。なお、送信時位置と撮影位置、また、また、送信日時と撮影日時は、それぞれ実質的に同じと見なせる。

つぎに、データ判定部８４は、その送信時位置から所定範囲内、ここでは５ｋｍ範囲内で、前日の同時刻から過去１時間内に学習支援サーバ７０に送信された頻度ｙ１をカウントする（Ｓ１２２）。

データ判定部８４は、それら頻度ｘ１、ｙ１の差分の大きさ（｜ｘ１−ｙ１｜）が天気用閾値Ｔｈ１以下であるか超えているかを判断する（Ｓ１２３）。天気用閾値Ｔｈ１は、例えば、１０００に設定される。

差分の大きさが天気用閾値Ｔｈ１以下である場合（Ｓ１２３のＹ）、データ判定部８４は、前日とほぼかわらないと判断し、学習器の再学習を行わず終了する。

差分の大きさが天気用閾値Ｔｈ１を超える場合（Ｓ１２３のＮ）、処理は類似環境データセットの検索（図５のＳ１４）に移行する。すなわち、データ判定部８４は、前日と異なる状況にある、または学習ができていないと判断し、学習器による学習が好ましいと判断する。

このような処理を行うことで、車両５が市場に出たあとであっても、画像認識処理に設定されているパラメータを、無線通信等（ＯＴＡ（Over-The-Air））によって、車両５の使用環境に適したものに迅速に調整することができる。

つづいて図７の具体例２を参照しては、道路上に落下物や工事構造物などのような異物の影響を考慮するケースについて説明する。例えば、高速道路上で落下物があったり工事に伴う看板・パイロン等の物体があると、普段の高速道路におけるコンテキストと異り画像認識処理が難しくなる。また、それら異物が取り除かれた場合には、それらを考慮していたときのパラメータを用いた画像認識処理では、認識精度が低下するおそれがある。そこで、そのような短期的な変化にも対応してパラメータを調整する。

まず、データ判定部８４は、苦手データを送信した車両５の送信時位置から所定範囲内、ここでは０．５ｋｍ範囲内で、他の車両５から過去１時間内に学習支援サーバ７０に苦手データが送信された頻度ｘ２をカウントする（Ｓ２２１）。

つぎに、データ判定部８４は、その送信時位置から所定範囲内、ここでは０．５ｋｍ範囲内で、他の車両５から過去１時間前〜２時間前の間に学習支援サーバ７０に送信された頻度ｙ２をカウントする（Ｓ２２２）。

データ判定部８４は、それら頻度ｘ２、ｙ２の差分の大きさ（｜ｘ２−ｙ２｜）が異物用閾値Ｔｈ２以下であり、かつ、それら頻度ｘ２、ｙ２がそれぞれ所定の閾値以上、例えば１０００以上であるかを判断する（Ｓ２２３）。異物用閾値Ｔｈ２は、例えば、１００に設定される。ただし、頻度ｘ２、ｙ２のそれぞれに設定される閾値は、同じでもよいし異なってもよい。また、学習を行うことを優先する場合には、例えば、頻度ｘ２、ｙ２に閾値が設定されないくともよい。

差分の大きさが異物用閾値Ｔｈ２以下であって二つの頻度ｘ２、ｙ２ともに１０００以上である場合（Ｓ２２３のＹ）、データ判定部８４は、前日とほぼかわらないと判断し、学習器の再学習を行わず終了する。

差分の大きさが異物用閾値Ｔｈ２を超えるか、または二つの頻度ｘ２、ｙ２のいずれかが１０００未満である場合（Ｓ２２３のＮ）、処理は類似環境データセットの検索（図５のＳ１４）に移行する。すなわち、データ判定部８４は、前日と異なる状況にある、または学習ができていないと判断し、学習器による学習が好ましいと判断する。

このような処理を行うことで、車両５が走行している環境において、比較的短期な変化があった場合でも、画像認識処理に設定されているパラメータを、車両５の使用環境に適したものに迅速に調整することができる。

つづいて図８の具体例３を参照して、特殊な道路等の環境を考慮するケースについて説明する。例えば、ある地域において、トンネルの高さが想定していた高さより低すぎて、トンネルとは認識せずに障害物と認識する傾向が高くなる場合がある。このように想定していない特徴の環境が存在する場合でも、パラメータを調整することで画像認識処理の精度を向上させる。

まず、データ判定部８４は、苦手データを送信した車両５の送信時位置から所定範囲内、ここでは５ｋｍ範囲内で、他の車両５から過去１時間内に学習支援サーバ７０に苦手データが送信された頻度ｘ３をカウントする（Ｓ３２１）。

つぎに、データ判定部８４は、その送信時位置から所定範囲内、ここでは５ｋｍ範囲内で、前日の同時刻から過去１時間の間に他の車両５から学習支援サーバ７０に送信された頻度ｙ３をカウントする（Ｓ３２２）。

データ判定部８４は、それら頻度ｘ３、ｙ３の差分の大きさ（｜ｘ３−ｙ３｜）が特殊環境用閾値Ｔｈ３以下であるか超えているか、かつ、それら頻度ｘ３、ｙ３がそれぞれ所定値以上、例えば１００００以上であるかを判断する（Ｓ３２３）。特殊環境用閾値Ｔｈ３は、例えば、１００に設定される。また、学習を行うことを優先する場合には、例えば、頻度ｘ３、ｙ３に閾値が設定されないくともよい。

差分の大きさが特殊環境用閾値Ｔｈ３以下であって二つの頻度ｘ３、ｙ３ともに１００００以上である場合（Ｓ３２３のＹ）、データ判定部８４は、前日とほぼかわらないと判断し、学習器の再学習を行わず終了する。

差分の大きさが特殊環境用閾値Ｔｈ３を超えるか、または二つの頻度ｘ２、ｙ２のいずれかが１００００未満である場合（Ｓ３２３のＮ）、処理は類似環境データセットの検索（図５のＳ１４）に移行する。すなわち、データ判定部８４は、前日と異なる状況にある、または学習ができていないと判断し、学習器による学習が好ましいと判断する。

このような処理を行うことで、車両５が走行している環境において、想定されていないような環境であるが、実際には想定すべき環境が、画像認識処理において適切に考慮されるようにパラメータを調整することができる。

なお、環境変化等によって画像認識処理における認識精度が低下する条件として、上記のように天気や道路上の異物、特殊な環境等を例示したがこれに限る趣旨ではない。例えば、歩行者や車両等についても適用することができる。すなわち、歩行者について、ファッションの流行の変化によって、道路と同化するような服装が流行ると、歩行者認識の精度が低下するおそれがある。車両においては、新たな形状の車両や、自動車やバス等におけるラッピング装飾に含まれるイラスト等の影響によって、車両と認識すべきものを別の物体と認識するおそれがある。これらのような状況が生じても、画像認識処理におけるパラメータに、最小のタイムラグで反映させることができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１運転支援システム、２ネットワーク、５車両、１０車載装置、
１２車載通信部、１３ＧＮＳＳセンサ、１４対物センサ、
１５温度センサ、１６車両状態センサ、１８センサ部、
２０支援処理部、２１主制御部、２２画像取得部、２３画像判断部、
２４学習器、２５通知判断部、２６車載記憶部、４０車載カメラ、
４１前方カメラ、４２後方カメラ、４３左側方カメラ、
４４右側方カメラ、７０学習支援サーバ、７１サブサーバ、
７１ａ〜７１ｃサブサーバ（Ａ）〜（Ｃ）、８１主制御部、
８２サーバ通信部、８３ＡＬデータ取得部、８４データ判定部、
８５サーバ側学習部、８６更新部、９０ＤＢ、９１データ保持部、
９２パラメータ保持部、９３閾値保持部

Claims

車両（５）の画像認識処理において評価が付されるとともに撮影日時の情報及び前記車両の位置情報を含む付加情報が関連づけられている撮影データを取得するデータ取得部（８３）と、
前記撮影データを蓄積するとともに、前記画像認識処理に用いるパラメータの学習に用いるデータセットを蓄積するデータ保持部（９１）と、
前記車両から前記撮影データを取得したときに、学習タイミングであるか否かを判断するデータ判定部（８４）と、
前記学習タイミングである場合に、前記撮影データに関連づけられている前記付加情報を参照して、学習に用いるデータを前記データ保持部から選択し学習を行うサーバ側学習部（８５）と、
学習結果を前記車両に通知する更新部（８６）とを備え、
前記サーバ側学習部（８５）は、前記データ保持部に、前記撮影データと類似する環境のデータが含まれているデータセットを検索し（Ｓ１４）、
前記データセットがあれば（Ｓ１４のＹ）、前記類似する環境のデータと従来環境のデータとを用いて学習を行い（Ｓ１８）、
前記データセットがなければ（Ｓ１４のＮ）、前記撮影データと前記従来環境のデータとを用いて学習を行う（Ｓ１６）、
学習サーバ。
前記撮影データは、前記車両の前記画像認識処理において、不確かさ度が高いと評価されたデータまたは複数種類の学習器で学習した場合に出力に違いが生じると評価されたデータである、請求項１に記載の学習サーバ。
仕向地毎に前記車両に関連づけられたサブサーバ（７１ａ〜７１ｃ）を複数備え、
前記サーバ側学習部（８５）は、前記撮影データを送信した車両に関連づけられた前記サブサーバに前記類似する環境のデータが存在しない場合に、他のサブサーバに存在する前記類似する環境のデータを検索する、
請求項１又は２に記載の学習サーバ。
前記データ判定部は、前記データ保持部を検索し、前記撮影データを送信した車両の位置から所定範囲で、前記撮影データの撮影時刻から所定時間内に送信された撮影データの頻度である第１頻度（ｘ１）と、前記撮影時刻の前日に対応する時刻から所定時間内に送信された撮影データの頻度である第２頻度（ｙ１）と、をカウントし（Ｓ１２１、Ｓ１２２）、
前記第１頻度と前記第２頻度との差分の大きさ（｜ｘ１−ｙ１｜）が、所定の閾値（Ｔｈ１）を超えている場合に（Ｓ１２３のＮ）、前記学習タイミングであると判断する、
請求項１から３までのいずれかに記載の学習サーバ。
前記データ判定部は、前記データ保持部を検索し、前記撮影データを送信した車両の位置から所定範囲で、前記撮影データの撮影時刻から第１所定時間内に送信された撮影データの頻度である第１頻度（ｘ２）と、前記所定範囲と同じ範囲で、前記第１所定時間より前の第２所定時間内に送信された撮影データの頻度である第２頻度（ｙ２）と、をカウントし（Ｓ２２１、Ｓ２２２）、
前記第１頻度と前記第２頻度との差分の大きさ（｜ｘ２−ｙ２｜）が、所定の閾値（Ｔｈ２）を超えている場合に（Ｓ２２３のＮ）、前記学習タイミングであると判断する、
請求項１から３までのいずれかに記載の学習サーバ。
前記データ判定部は、前記データ保持部を検索し、前記撮影データを送信した車両の位置から所定範囲で、前記撮影データの撮影時刻から所定時間内に送信された撮影データの頻度である第１頻度（ｘ３）と、前記撮影時刻の前日に対応する時刻から所定時間の間に送信された撮影データの頻度である第２頻度（ｙ３）と、をカウントし（Ｓ３２１、Ｓ３２２）、
前記第１頻度と前記第２頻度との差分の大きさ（｜ｘ３−ｙ３｜）が、所定の閾値（Ｔｈ３）を超えている場合に（Ｓ３２３のＮ）、前記学習タイミングであると判断する、
請求項１から３までのいずれかに記載の学習サーバ。
車載カメラ（４０）を有する車両（５）と、学習サーバ（７０）とを備え支援システムであって、
前記車両は、画像認識処理を行う車載装置（１０）を備え、
前記車載装置は、
前記車載カメラによる撮影データをもとに画像認識処理を行うとともに、前記画像認識処理に対する評価を行う画像判断部（２３）と、
前記評価が信頼度に関する基準値より低いか否かを判断し、低い場合に、前記撮影データを、前記画像認識処理に対する前記評価、撮影時刻及び撮影位置を含む付加情報を関連づけて、前記学習サーバへ送信する通知判断部（２５）と、
を備え、
前記学習サーバは、
前記車両から前記撮影データを、前記付加情報とともに取得するデータ取得部（８３）と、
前記撮影データを蓄積するとともに、前記画像認識処理に用いるパラメータの学習に用いるデータセットを蓄積するデータ保持部（９１）と、
前記車両から前記撮影データを取得したときに、学習タイミングであるか否かを判断するデータ判定部（８４）と、
前記学習タイミングである場合に、前記撮影データに関連づけられている前記付加情報を参照して、学習に用いるデータを前記データ保持部から選択し学習を行うサーバ側学習部（８５）と、
学習結果を前記車両に通知する更新部（８６）とを備え、
前記サーバ側学習部（８５）は、前記データ保持部に、前記撮影データと類似する環境のデータが含まれているデータセットを検索し（Ｓ１４）、
前記データセットがあれば（Ｓ１４のＹ）、前記類似する環境のデータと従来環境のデータとを用いて学習を行い（Ｓ１８）、
前記データセットがなければ（Ｓ１４のＮ）、前記撮影データと前記従来環境のデータとを用いて学習を行い（Ｓ１６）、
前記画像判断部は、前記更新部から取得した前記学習結果を、前記画像認識処理に反映させる、
支援システム。