WO2025057560A1 - Ａｉモデル学習システム、及びａｉモデル学習方法 - Google Patents

Abstract

本発明は、入力データに対してＡＩモデルでの推論処理を行うＡＩ推論処理部（１２Ａ）と、ＡＩ推論処理部（１２Ａ）で推論処理が正しく行われなかったときの入力データを検討データとして取得するＡＩ検証部（１３Ａ）と、検討データにおける特徴量を抽出する特徴量抽出部（１３Ｂ）と、特徴量に類似する類似データを収集する類似データ収集部（１４Ａ）と、類似データ収集部（１４Ａ）で収集した類似データを用いてＡＩモデルの再学習を行うＡＩ学習部（１５Ｂ）とを有する。すなわち、本発明によれば、ＡＩ推論処理が正しく行われなかった入力データに対して、入力データの特徴量を抽出し、類似する類似データを他から収集して再学習を行うことで、必要とする認識データを適切に収集することができる。

Description

ＡＩモデル学習システム、及びＡＩモデル学習方法

　本発明は、例えば自動車等の車両を自動運転する自動運転装置のＡＩモデル学習システム、及びＡＩモデル学習方法に関するものである。

　最近では、自動車を自律的に走行させる自動運転の開発が進められており、この自動運転を実行するには、ＡＩ機能を用いて自動車の走行制御を行うことが有効である。そして、自動車に搭載されているＡＩモデルで、自動車の走行制御を高い推論精度で実現するには、十分な量の認識データを用いて、ＡＩモデル、特に認識モデルを検証、解析することが重要である。尚、認識データは、例えば典型的には画像データであり、以下では代表して画像データで説明を進める。

　このＡＩモデルの検証、解析においては、走行上の安全性を担保するために、膨大な時間をかけて、実際の様々な走行条件における画像データを網羅的に収集する必要がある。
特に、自動車を自動運転させるためには、多様な走行条件の下での走行環境の画像データが必要である。このため、実際に自動車を走行させながら画像データを収集し、検証、解析を行っている。

　しかしながら、一般的に画像データの収集は、撮影が容易な情景の画像データが大量に収集され、通常と異なる情景の画像データが集まらなく、様々な画像データが網羅的に収集されないことから十分な検証、解析ができないという課題があった。

　このような事態を解消するため、網羅的な画像データの収集を行なう技術として、例えば、特許文献1（国際公開第２０２２／１０７５９５号）に記載されている技術が知られている。

　特許文献１には、効率的に認識モデルの再学習を行うことを目的として、認識モデルの再学習に用いる画像データの候補となる画像データ候補を収集するタイミングを制御する収集タイミング制御部と、収集された画像データ候補の中から、画像データ候補の特徴、及び、蓄積されている画像データとの類似度のうち少なくとも１つに基づいて、画像データ候補から画像データを選択する画像データ収集部とを備えることが示されている。

　尚、認識モデルは、自動車の周囲の所定の認識対象（以下、物標と表記することもある）の認識に用いられ、画像データ収集部は、自動車に設置されているカメラ等の撮像手段で自動車の周囲を撮影することにより得られた画像データを含む画像データ候補の中から、適切な画像データを選択している。

国際公開第２０２２/１０７５９５号

　ところで、特許文献１に記載されている画像データの収集方法は、ある外的事象(例えば、工事の発生、事故の発生、降雨状態、降雪状態等の事象)に基づいて、画像データを収集するかどうかを決め、この外的事象に基づいて収集した画像データを認識モデルの出力結果(信頼度)に応じで分類するものである。

　しかしながら、この画像データの収集方法では、該当する外的事象に遭遇しないと、画像データを収集することができない。また、この画像データの収集方法では、必要としない画像データにおいても一律に収集するので、無駄な検証、解析を行うことになる。このような背景から、必要とする画像データを適切に収集することが求められている。

　本発明の目的は、ＡＩモデルの検証・解析を行うための再学習において、必要とする画像データを適切に収集することができるＡＩモデル学習システム、及びＡＩモデル学習方法を提供することにある。

　本発明は、ＡＩモデルの再学習のためのＡＩモデル学習システムであって、入力データに対してＡＩモデルでの推論処理を行うＡＩ推論処理部と、ＡＩ推論処理部での推論処理が正しく行われなかったときの入力データを検討データとして取得するＡＩ検証部と、検討データにおける特徴量を抽出する特徴量抽出部と、特徴量に類似する類似データを収集する類似データ収集部と、類似データ収集部で収集した類似データを用いてＡＩモデルの再学習を行うＡＩ学習部とを有する、ことを特徴とする。

　本発明によれば、ＡＩ推論処理が正しく行われなかった入力データに対して、入力データの特徴量を抽出し、この特徴量に類似する類似データを他から収集して再学習を行うことで、必要とする画像データを適切に収集することができる。

本発明になるＡＩモデル学習システムの考え方を説明する説明図である。 本発明の第１の実施形態になるＡＩモデル学習システムの構成を示すブロック図である。 本発明の第１の実施形態になるＡＩモデル学習システムの制御フローを示すフローチャート図である。 画像データからＡＩモデルによって物標を認識するときの認識誤りの例を説明する説明図である。 図４に示す物標の認識誤りの領域を切り出すための第１の制御フローを示すフローチャート図である 図４に示す物標の認識誤りの領域を切り出すための第２の制御フローを示すフローチャート図である 図４に示す物標の認識誤りの領域を切り出すための第３の制御フローを示すフローチャート図である ニューラルネットワークによる特徴量抽出部から特徴量を抽出する例を示す説明図である。 車両側制御装置における類似画像データを探索する場合の制御フローを示すフローチャート図である。 車両側制御装置からの類似画像データの有効性を判断する場合の制御フローチャート図である。 再学習に使用する類似画像データを選択するための第1の制御フローを示す制御フローチャート図である。 再学習に使用する類似画像データを選択するための第２の制御フローを示す制御フローチャート図である。 再学習に使用する類似画像データを選択するための第３の制御フローを示す制御フローチャート図である。 本発明の第２の実施形態になるＡＩモデル学習システムの構成を示すブロック図である。

　以下、本発明の実施形態について図面を用いて詳細に説明するが、本発明は以下の実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。

　図1は、本発明の第１の実施形態の考え方を説明するためのＡＩ学習システムの構成を示している。本実施形態では、ＡＩ機能部を備えたサーバ側制御部が搭載されたサーバ１０と、これもＡＩ機能部を備えた車両側制御装置１１が搭載された車両（ここでは、自動車）と、サーバ１０と車両とが無線で通信可能なように、夫々に設けられた通信手段（図示せず）から構成されている。

　尚、車両側制御装置１１は、後述するようにサーバ１０からの要請で、ＡＩモデルで推論できない入力データに類似（合致も含む）した類似データを検索してサーバ１０に提供する機能を備えている。

　ここで、サーバ１０のＡＩ機能部は、検証すべきＡＩモデル（ここでは認識モデル）が搭載されている。また、車両側制御装置のＡＩ機能部は、車両を自動運転することができる現行のＡＩ機能部とされている。認識データは、ここでは車両の周囲の所定の認識対象（物標等）の認識に用いられる画像データである。認識対象は、自動運転で必要とされる、自車回りの他の車両、歩行者、自転車、及び交通標識等の物標である。

　今、車両側制御装置１１からは、自身のＡＩモデルが認識誤りした可能性のある画像データを、通信手段を介してサーバ１０に送信する。尚、この時の画像データは認識誤りの候補としての位置づけである。サーバ１０のサーバ側制御部は少なくとも、「評価・検証機能部」と「再学習機能部」の２つの機能を備えている。

　「評価・検証機能部」は、モデル解析とモデルの可視化の機能を備えて、解析結果を画面上で、開発者や設計者が検証できるように構成されている。また、モデル解析では、受信した画像データに対してＡＩモデルによる検証を実行し、ＡＩモデルが、画像データ内の物標が正しく推論できない情景を抽出（領域抽出）する。

　例えば、一例として画像１０Ａは注視領域のずれを示している。画像（IMG.1～IMG.3）は、注視領域の正解値（破線で示す）に対する推論値（実線で示す）のずれを示し、画像（IMG.1）はずれが小さく確実度は０.９２である。また、画像（IMG.2）は、ずれが大きく確実度は０.５１であり、画像（IMG.3）は、ずれが中程度で確実度は０.７６である。
このため、例えば、画像（IMG.2）は、注視領域が正しく推論できていないと見做される。

　そして、正しく推論できない情景の特徴量を抽出し、この特徴量のデータを多くの他の車両の車両側制御装置１１に送信する。ここで、他の車両側制御装置１１は地理的な制約はなく、例えば国内に存在する車両に対して送信される。これによって、正しく推論できていない情景の特徴量に類似する画像データが存在する範囲を広めることができる。

　一方、多くの他の車両側制御装置１１は、自身が保持している画像データの特徴量の中から、送られてきた特徴量に類似した画像データ（以下、類似画像データと表記する）を探索し、類似画像データが存在する場合は、その類似画像データを、通信手段を介して再びサーバ１０のサーバ側制御部に送信する。

　サーバ側制御部の「再学習機能部」は、受信した類似画像データを用いて再学習機能を実行する。「再学習機能部」は、収集した類似画像データをＡＩモデルで推論し、教師情報を満足すると、学習データとして確定する。ここで、教師情報は、開発者や設計者によって与えられている。再学習が終了すると、車両側制御装置１１に対してＡＩモデルの更新を実行する。ＡＩモデルの更新は必要に応じて行われるもので、ＡＩモデルのバージョンアップ版として、次の自動運転装置に反映させることもできる。

　ここで、「評価・検証機能部」と「再学習機能部」は、同一のサーバ１０に備えられていても良く、また異なったサーバ１０に別々に備えられていても良いものである。例えば、「評価・検証機能部」は、車両側制御装置１１を製造する部品メーカのサーバ１０に設けられ、「再学習機能部」は、車両を製造する車両メーカに設けられることが考えられる。

　このように、ＡＩ推論処理が正しく行われなかった画像データに対して、画像データの特徴量を抽出し、この特徴量に類似する類似画像データを他の車両から収集して再学習を行うことで、必要とする画像データを適切に収集することができる。

　次に、図１に示した本実施形態の考え方の具体的な構成や動作について、以下に図面を用いて説明する。尚、以下では、「評価・検証機能部」と「再学習機能部」は、同一のサーバ１０に備えられているものとして説明する。

　図２は、ＡＩモデル学習システムの制御ブロックを示しており、この制御ブロックは、サーバ１０のサーバ側制御部に構築されている。制御ブロックは、コンピュータやロジック回路等のハードウエア、及びコンピュータの演算を実行するソフトウエア等から構成されている。このため、制御ブロックは機能ブロックと捉えることができる。

　図２において、本実施形態なるＡＩモデル学習システムは、入力される画像データに対して認識モデルによる推論処理を行うＡＩ推論ブロック１２と、この認識モデルによる推論処理の正しさを検証するＡＩ検証ブロック１３と、類似画像データである学習用データ候補を収集する学習データ候補収集ブロック１４と、学習データ候補収集ブロック１４で収集した学習候補データを用いてＡＩの再学習を行うＡＩ学習ブロック１５とを有することを特徴としている。尚、「ブロック」は「機能部」と読み替えることもできる。

　ＡＩ推論ブロック１２は、少なくとも、ＡＩ推論処理部１２Ａと、ＡＩ推論不具合候補検出部１２Ｂと、入力データ取得部１２Ｃとを備えている。

　ＡＩ推論処理部１２Ａは、例えば、入力された画像データの中から物標と思われる画像データの候補を推論する。この画像データはＡＩ推論不具合候補検出部１２Ｂに送られ、ＡＩ推論不具合候補検出部１２Ｂによって、推論処理が正しく行われなかった可能性がある画像データが検出される。入力データ取得部１２Ｃは、推論処理が正しく行われなかった可能性がある画像データを取得して、ＡＩ検証ブロック１３に入力する。

　ＡＩ検証ブロック１３は、少なくとも、ＡＩ検証部１３Ａと、特徴量抽出部１３Ｂとを備えている。

　ＡＩ検証部１３Ａは、推論処理が正しく行われなかった可能性がある画像データの物標が、正解値に対して異なっているか否か、閾値に対して満足しているか否か等の判断を実行する。ここで、正解値や閾値は、開発者や設計者によって設定されるものである。そして、正解値と異なっている、閾値を満足しないといった判断がなされた場合は、その物標の存在している領域を特徴量抽出領域として設定する。

　次に、特徴量抽出部１３Ｂは、設定された特徴量抽出領域の画像データから物標の特徴量を抽出する。尚、特徴量の抽出は画像処理における周知の手法と同様である。特徴量抽出部１３Ｂは、抽出された特徴量データを学習データ候補収集ブロック１４に入力する。

　学習データ候補収集ブロック１４は、少なくとも類似画像データ収集部１４Ａを備えている。

　類似画像データ収集部１４Ａは、少なくとも特徴量抽出部１３Ｂからの特徴量データと、この特徴量データに類似した特徴量を備える類似画像データの探索依頼データを、自動運転装置を搭載した他の車両に対して無線送信（例えばプッシュ送信や定時送信）する。
ここで、他の車両とは地理的な制約がなく、広い範囲（例えば、市単位、県単位、及び日本国全体）に存在している車両である。

　このため、類似画像データが存在する可能性を高くすることができる。また、各車両に蓄積されているデータベースから類似画像データが得られるので、即応性も高めることができる。

　車両に搭載されている車両側制御装置１１は、自身の記憶手段（データベース）に記憶されている画像データから、送られてきた特徴量データに類似した特徴量を備える画像データを探索し、該当する画像データが存在すると、類似画像データ収集部１４Ａに無線送信で返信する。尚、該当する画像データが無い場合は、その旨の返信データを類似画像データ収集部１４Ａに無線送信する。類似画像データは、１つの場合もあるし、複数の場合もある。類似画像データ収集部１４Ａは、収集された類似画像データを学習用画像データとしてＡＩ学習ブロック１５に送信する。

　ＡＩ学習ブロック１５は、少なくとも画像選択部１５Ａと、ＡＩ学習部１５Ｂと、ＡＩ更新部１５Ｃとを備えている。

　画像選択部１５Ａは、類似画像データ収集部１４Ａから送られてきた類似画像データを学習用データとして選択するもので、この選択は、類似画像データが、正解値に対して異なっているか否か、閾値を満足するか否かといった判断をすることで行われる。ここで、正解値や閾値は開発者や設計者によって設定されるものである。そして、正解値と異なっている、閾値を満足しないと判断された場合は、類似画像データは、学習用データとしてＡＩ学習部１５Ｂに送られる。

　ＡＩ学習部１５Ｂは、選択された類似画像データを用いて、周知の再学習を実行する。
その後にＡＩ更新部１５ＣでＡＩモデル（ここでは認識モデル）を更新する。更新されたＡＩモデルは、ＡＩ推論ブロック１２のＡＩ推論処理部１２Ａにフィードバックされて、ＡＩ推論処理部１２ＡのＡＩモデルが更新される。

　尚、ＡＩ推論ブロック１２から画像データをＡＩ検証ブロック１３に入力するにあたり、車両側制御装置１１には、事前にユーザの同意を得ることを条件とし、ＡＩ検証ブロック１３に入力する画像データを自車内に保存する画像データ保存機能部が備えられ、ＡＩ学習ブロック１５で再学習されたＡＩモデルによって車両側制御装置１１のＡＩモデルが更新される場合は、ユーザが自車内に保存された画像データに対する更新されたＡＩモデルでの改善効果を確認することが可能な改善効果確認機能部が備えられている。

　以上に説明した制御ブロックの動作は、実際にはサーバ側制御部を構成するコンピュータによる演算処理で実行される。次にコンピュータによる類似画像データの再学習の制御フローを、図３を用いて説明する。

　≪ステップＳ１０≫
　ステップＳ１０においては、ＡＩ推論を実行する。この推論は入力された画像データの中から物標と思われる画像データの候補を推論する。そして、この画像データから推論処理が正しく行われなかった可能性がある画像データが検出される。推論処理が正しく行われなかった画像データが検出されると、ステップＳ１１～Ｓ１２の処理が実行される。

　≪ステップＳ１１≫～≪ステップＳ１２≫
　ステップＳ１１～Ｓ１２においては、推論処理が正しく行われなかった可能性がある画像データの物標が、正解値に対して異なっているか否か、閾値を満足しているか否かといった判断を実行する。ここで、正解値や閾値は開発者や設計者によって設定されるものである。

　そして、正解値と異なっている、閾値を満足しないといった判断がなされた場合は、改善が必要と判断されるので、その物標の存在している領域を特徴量抽出領域として設定する。尚、ステップＳ１１～Ｓ１２のＡＩ検証ステップについての詳細な説明は後述する。

　特徴量抽出領域が設定されると、ステップＳ１３の処理が実行される。ここで、ステップＳ１２で改善が必要無いと判断されると、終了に抜けて次の起動タイミングを待つことになる。

　≪ステップＳ１３≫
　ステップＳ１３においては、ステップＳ１２で設定された特徴量抽出領域の画像データから、推論処理が正しく行われなかった可能性がある物標の特徴量を抽出する。この特徴量の抽出は画像処理における周知の手法と同様である。特徴量を抽出すると、ステップＳ１４の処理が実行される。

　≪ステップＳ１４≫
　ステップＳ１４においては、類似画像データの収集を多くの他の車両の車両側制御装置１１に対して依頼する。この依頼は、ステップＳ１３で求めた特徴量データと、この特徴量データに類似した特徴量を備える類似画像データの探索依頼データを、自動運転装置を搭載した他の車両に対して無線送信（例えばプッシュ送信や定時送信）することで実行される。尚、車両側制御装置１１の探索処理の詳細についての説明は後述する。

　ステップＳ１４による依頼の後に、車両側制御装置１１から類似画像データの返信があるとステップＳ１５の処理が実行される。ここで、類似画像データは、多くの他の車両側制御装置１１から返信されることが予想されるので、受信した類似画像データを記憶しておき、所定の時期にステップＳ１５を実行することもできる。

　≪ステップＳ１５≫
　ステップＳ１５においては、収集された類似画像データを解析して適切な画像データか否かを判断して、適切な類似画像データを選択する。この選択は、類似画像データが、正解値に対して異なっているか否か、閾値を満足しているか否かを判断することで行われる。正解値や閾値は、開発者や設計者によって設定されるものである。そして、正解値と異なっている、閾値を満足しないといった判断がなされると、学習用データとして取り扱われることになる。尚、ステップＳ１５の類似画像データ選択処理についての詳細は後述する。類似画像データが選択されると、ステップＳ１６～Ｓ１７の処理が実行される。

　≪ステップＳ１６≫～≪ステップＳ１７≫
　ステップＳ１６においては、選択された類似画像データを用いて、周知の再学習を実行する。尚、再学習の実行に際して、ステップＳ１７で物標の認識結果を再検証する。そして、再検証の結果、認識が正しくされていなく推論結果が改善されていない場合は、再びステップＳ１４に戻って、同様の処理ステップを実行する。一方、再検証の結果、認識が正しく行われて推論結果が改善されている場合は、終了に抜けて、次の起動タイミングを待つことになる。

　以上が本実施形態におけるＡＩモデル学習システムの構成であるが、次に、上述した制御フローの中で主要な処理機能について説明する。

　先ず、ステップＳ１１～Ｓ１２の検証ステップについて、具体的な判断方法を図４～図７に基づき説明する。図４は、入力された画像データが推論処理されて特徴量抽出領域に設定される状態を視覚的に示し、図５は、推論結果による改善の必要性の判断処理フロー、図６は、信頼度による改善の必要性の判断処理フロー、図７は、判定根拠による改善の必要性の判断処理フローを示している。

　図４において、ある時刻に入力される入力画像データＩＭＧ－Ａは、物標として、画面の奥側に向かって車両ＣＡ、車両ＣＢ、車両ＣＣが存在している。同様に画面の手前側に自転車ＢＹが存在している。また、道路上には右折を示す道路標示ＲＭが描かれている。

　このような入力画像データにおいて、ＡＩモデルによる推論処理を行った場合、画像データＩＭＧ－Ｂは、物標の推論結果の出力状態を示しており、車両ＣＡ、車両ＣＢ、自転車ＢＹは認識されているので正しく推論しているが、車両ＣＣについては正しく推論していない可能性がある。このため、車両ＣＣを正しく推論するための新たな画像データが必要となる。

　また、ＡＩモデルによる推論処理を行った場合、画像データＩＭＧ－Ｃは、信頼度の出力状態を示しており、車両ＣＡ、自転車ＢＹは、信頼度が閾値（ここでは、０.５０に設定）を超えているため、正しく推論しているが、車両ＣＢについては信頼度が閾値を超えていないため、正しく推論していない可能性がある。このため、車両ＣＢを正しく推論するための新たな画像データが必要となる。尚、車両ＣＣは推論結果で正しく推論されていないので未検出となっている。

　また、ＡＩモデルによる推論処理を行った場合、画像データＩＭＧ－Ｄは、物標の判断根拠の出力状態を示しており、車両ＣＡ、車両ＣＢ、車両ＣＣの判断根拠は夫々の車両に対応しているが、自転車ＢＹについては、道路標示ＲＭに対して判断根拠が出力されており、判断根拠が正しく推論されていない可能性がある。このため、自転車ＢＹの判断根拠を正しく推論するための新たな画像データが必要となる。

　次に、上述した各推論結果を導き出す手法を、制御フローを用いて説明する。図５～図７は、推論結果による改善の必要性の判断処理フローを示している。

　図５は、物標の推論結果についての判断処理フローである。以下、処理ステップ毎に説明する。

　≪ステップＳ２０≫
　ステップＳ２０においては、入力データ取得部１２Ｃから、推論処理が正しく行われなかった可能性がある画像データを入力する。画像データを入力すると、ステップＳ２１の処理を実行する。

　≪ステップＳ２１≫
　ステップＳ２１においては、入力された画像データを基に、物標の推論処理を実行する。尚、この推論は、物標の「クラス情報」と物標の「位置情報」を推論する。「クラス情報」は、物標が車両、二輪車、歩行者等の何れかの情報であり、「位置情報」は物標を囲む領域の座標情報である。物標の推論処理を行うと、ステップＳ２２の処理を実行する。

　≪ステップＳ２２≫
　ステップＳ２２においては、ステップＳ２１で推論した物標の推論結果を出力する。この推論結果の出力は、画像データの中の物標の全てについて実行される。推論結果が出力されるとステップS２４の処理を実行する。但し、並行してステップS２３の処理も実行されている。

　≪ステップＳ２３≫
　ステップＳ２３においては、設計者や開発者によって、物標毎の推論結果正解値が生成されている。推論結果正解値は、物標のクラス情報と物標の位置情報であり、ステップＳ２１で推論された物標の「クラス情報」と「物標の位置情報」に対応するものである。生成された推論結果正解値は、ステップＳ２４で推論された物標のクラス情報と物標の位置情報と比較される。

　≪ステップＳ２４≫～≪ステップＳ２５≫
　ステップＳ２４においては、ステップＳ２２で出力された画像データの物標の推論結果と、ステップＳ２３で生成された物標の推論結果正解値を比較する。

　比較の結果、推論結果と推論結果正解値が一致していれば（ＮＯ判断）終了に抜け、一致していなければ（ＹＥＳ判断）ステップＳ２６の処理を実行する。図４の画像データＩＭＧ－Ｂに戻って、車両ＣＡ、車両ＣＢ、自転車ＢＹは、 推論結果と正解値が一致した物標であり、車両ＣＣは推論結果と推論結果正解値が一致しない物標である。

　≪ステップＳ２６≫
　ステップＳ２６においては、不一致と判断された物標の不一致領域を抽出する。この不一致領域は、先に説明した特徴量抽出領域となる。図４の画像データＩＭＧ－Ｂに示すように、車両ＣＣが推論結果と正解値が一致しない物標となる。そして、抽出された不一致領域の画像データは、特徴量抽出部１３Ｂで特徴量が抽出される。不一致領域が抽出されると終了に抜ける。

　次に図６は、物標の信頼度についての判断処理フローである。以下、処理ステップ毎に説明する。

　≪ステップＳ３０≫
　ステップＳ３０においては、入力データ取得部１２Ｃから、推論処理が正しく行われなかった可能性がある画像データを入力する。画像データを入力すると、ステップＳ３１の処理を実行する。

　≪ステップＳ３１≫
　ステップＳ３１においては、入力された画像データを基に、物標の推論処理を実行する。尚、この推論は、物標の「信頼度」を推論する。ここで「信頼度」は、どの程度の自信をもって推論したかの度合を示す数値情報である。物標の推論処理を行うと、ステップＳ３２の処理を実行する。

　≪ステップＳ３２≫
　ステップＳ３２においては、ステップＳ３１で推論した物標の信頼度を出力する。この信頼度の出力は、画像データの中の物標の全てについて実行される。信頼度が出力されるとステップＳ３４の処理を実行する。但し、並行してステップＳ３３の処理も実行されている。

　≪ステップＳ３３≫
　ステップＳ３３においては、設計者や開発者によって、信頼度閾値が設定される。ここで信頼度閾値は、画像データに含まれる物標を認識する際の信頼度の下限値（ここでは、０.５０に設定）に設定されている。尚、信頼度閾値は物標毎に設定することもできる。
設定された信頼度閾値は、ステップＳ３２で出力された物標の信頼度と比較される。

　≪ステップＳ３４≫～≪ステップＳ３５≫
　ステップＳ３４においては、ステップＳ３２で出力された画像データの物標の信頼度と、ステップＳ３３で生成された物標の信頼度閾値を比較する。

　比較の結果、ステップＳ３２における信頼度が、信頼度閾値を上回っていれば（ＮＯ判断）終了に抜け、信頼度閾値を下回っていれば（ＹＥＳ判断）ステップＳ３６の処理を実行する。図４のＩＭＧ－Ｃに戻って、車両ＣＡ、自転車ＢＹは、信頼度が０.５０以上なので、信頼度が信頼度閾値を上回る物標であり、車両ＣＢは信頼度が０.４５なので、信頼度が信頼度閾値を下回る物標である。

　≪ステップＳ３６≫
　ステップＳ３６においては、信頼度が信頼度閾値を下回る物標の領域を抽出する。この領域は、先に説明した特徴量抽出領域となる。図４のＩＭＧ－Ｃに示すように、車両ＣＢが信頼度閾値を下回る物標となる。そして、抽出された領域の画像データは、特徴量抽出部１３Ｂで特徴量が抽出される。信頼度が信頼度閾値を下回る領域が抽出されると終了に抜ける。

　次に図７は、物標を認識するための注目すべき領域（判断根拠領域）についての判断処理フローである。以下、処理ステップ毎に説明する。

　≪ステップＳ４０≫
　ステップＳ４０においては、入力データ取得部１２Ｃから、推論処理が正しく行われなかった可能性がある画像データを入力する。画像データを入力すると、ステップＳ４１の処理を実行する。

　≪ステップＳ４１≫
　ステップＳ４１においては、入力された画像データを基に、物標の推論処理を実行する。尚、この推論は、物標の「判断根拠領域」を推論する。ここで「判断根拠領域」は、物標を認識するために注目する領域の情報である。物標の推論処理を行うと、ステップＳ４２の処理を実行する。

　≪ステップＳ４２≫
　ステップＳ４２においては、ステップＳ４１で推論した物標の判断根拠領域を出力する。この判断根拠領域は、推論によって物標を推論した際に注目した領域である。この判断根拠領域の出力は、画像データの中の物標の全てについて実行される。判断根拠領域が出力されるとステップＳ４４の処理を実行する。但し、並行してステップＳ４３の処理も実行されている。

　≪ステップＳ４３≫
　ステップＳ４３においては、設計者や開発者によって、物標毎の判断根拠領域が設定される。ここで判断根拠領域は、画像データに含まれる全ての物標に設定されている。設定された判断根拠領域は、ステップＳ４２で出力された物標の判断根拠領域と比較される。

　≪ステップＳ４４≫～≪ステップＳ４５≫
　ステップＳ４４においては、ステップＳ４２で出力された画像データの物標の判断根拠領域と、ステップＳ４３で設定された物標の判断根拠領域を比較する。

　比較の結果、ステップＳ４２における判断根拠領域が、設定された判断根拠領域と一致していれば（ＮＯ判断）終了に抜け、一致していなければ（ＹＥＳ判断）ステップＳ４６の処理を実行する。図４の画像データＩＭＧ－Ｄに戻って、車両ＣＡ、車両ＣＢ、車両ＣＣは、ステップＳ４２における判断根拠領域が、設定された判断根拠領域と一致した物標であり、自転車ＢＹは、ステップＳ４２における判断根拠領域が、設定された判断根拠領域と一致しない物標である。自転車ＢＹの場合は道路標示ＲＭが判断根拠領域となっている。

　≪ステップＳ４６≫
　ステップＳ４６においては、不一致と判断された物標の不一致領域を抽出する。この不一致領域は、先に説明した特徴量抽出領域となる。図４の画像データＩＭＧ－Ｄに示すように、道路標示ＲＭと自転車ＢＹが、判断根拠領域が一致しない物標となる。そして、抽出された不一致領域の画像データは、特徴量抽出部１３Ｂで特徴量が抽出される。不一致領域が抽出されると終了に抜ける。

　そして、改善が必要な画像データの不一致領域は、特徴量抽出領域とされて物標の特徴量が抽出される。特徴量は種々の方法で抽出されても良い。例えば、特徴抽出領域に対応する画像データをＡＩモデルに入力した際の中間データを用いて抽出される。その状態を図８に示している。

　図８において、ＡＩモデルの特徴量抽出部は、畳み込み層とプーリング層からなるニューラルネットワークから構成されており、入力された画像データが順番に畳み込み層、プーリング層を通すことによって、特徴量を抽出することができる。尚、図８にある畳み込み層に入力される画像データの数字は、「水平画素数×垂直画素数×チャネル数」を示している。本実施形態では、特にクラス識別部２０に入力される前の中間データが、領域候補抽出部２１で特徴量として抽出される。

　次に抽出された特徴量に類似する類似画像データの収集方法について説明する。サーバ側制御部から、多くの他の車両に類似画像データの収集依頼が送信されると、多くの他の車両は、この送信依頼を受信することになる。そして、この収集依頼を受信すると、それぞれの車両の車両側制御装置１１は、自身が記憶、保持している画像データから、類似画像データを探索する。このデータ探索の処理フローを、図９を用いて説明する。

　≪ステップＳ５０≫
　ステップＳ５０においては、サーバ１０からの類似画像データの探索依頼に待機している。この状態でステップＳ５１の処理を実行する。

　≪ステップＳ５１≫
　ステップＳ５１においては、サーバ１０からの探索依頼があったか否かを判断する。この判断で、探索依頼を受信しないと判断すると終了に抜け、サーバ１０からの類似画像データの探索依頼に待機する。一方、サーバ１０からの探索依頼があったと判断するとステップ５２の処理を実行する。

　≪ステップＳ５２≫
　ステップＳ５２においては、送信されてきた類似画像データの特徴量に類似した特徴量を備える画像データを、自身が備えているデータベースから探索する。この探索過程で、類似した特徴量を備える画像データが見つかるとステップＳ５３の処理を実行する。例えば、図４のＩＭＧ－Ｂの車両ＣＣの特徴量、ＩＭＧ－Ｃの車両ＣＢの特徴量、ＩＭＧ－Ｄの道路標示ＲＭと自転車ＢＹの特徴量と類似した特徴量を備えた画像データである。

　≪ステップＳ５３≫
　ステップＳ５３においては、類似画像データが探索されて見つかる（ＹＥＳ判断）とステップＳ５４の処理を実行する。一方、類似画像データが見つからない（ＮＯ判断）とステップＳ５５の処理を実行する。

　≪ステップＳ５４≫
　ステップＳ５４においては、探索の結果、見つかった類似画像データをサーバ１０に送信する。類似画像データの送信が完了すると、終了に抜けて次の探索依頼に待機する。

　≪ステップＳ５５≫
　ステップＳ５５においては、探索の結果、類似画像データが未発見であることをサーバ１０に送信する。未発見であることの送信が完了すると、終了に抜けて次の探索依頼に待機する。

　サーバ１０のサーバ側制御部では、車両側制御装置１１から送られてくる類似画像データを受信すると、類似画像データを選択する。送られてきた類似画像データを全て用いて再学習を行うことは無駄が多すぎ、あまりにも効率的でない。このため、特徴量の類似度を判断基準として、類似画像データを選択するようにしている。

　次にこの制御フローを、図１０～図１３を用いて説明する。図１０は、特徴量の類似度を判断する制御フローを示し、図１１～図１３は類似している特徴量を備える画像データを選択する制御フローを示している。

　先ず、特徴量の類似度を判断する制御フローを図１０に基づき説明する。

　≪ステップＳ６０≫
　ステップＳ６０においては、車両側制御装置１１からの類似画像データを、ＡＩモデルを用いて推論処理する。推論処理を完了するとステップ６１の処理を実行する。

　≪ステップＳ６１≫
　ステップＳ６１においては、推論処理された結果の中に、収集対象の物標と同一クラス領域があるか否を判断する。この判断で、同一クラスの物標の領域が無いと判断されると、ステップＳ６０に戻り、次の類似画像データの推論処理を実行する。一方、同一クラスの領域があると判断されると、ステップＳ６２～Ｓ６３の処理を実行する。

　≪ステップＳ６２≫～≪ステップＳ６３≫
　ステップＳ６２においては、収集対象の物標と同一クラス領域があると判断されると、この領域の特徴量を算出する。特徴量が算出されるとステップ６４の処理を実行する。このとき、並行してステップＳ６３の処理も実行されている。ステップＳ６３においては、設計者や開発者によって、収集対象領域の画像データの特徴量が算出、設定される。ここで特徴量は、以下のような考え方で求められる。

　本実施形態では、ステップＳ６２で求めた類似画像データの画素の平均値と、収集対象領域の画像データの画素の平均値の差分から類似度を判定している。この類似度を満足すると、再学習のための画像データの候補として用いることができる。

　画像データは、Ｒ/Ｇ/Ｂの３要素で表現可能であることから、ステップＳ６３における収集対象画像領域の画像データを、Target_R(i)、Target_G(i)、Target_B(i)と表現する。ここで「i」は画像中のi番目のデータ（i=0～N-1）、「N」は画像中の画素数である。
これにより、収集対象画像領域の平均値は以下の「数１」で求められる。

　同様に、類似画像データを、Input_R(i)、Input_G(i)、Input_B(i)と表現する。類似画像データの平均値も以下の「数２」で求められる。ここで、収集対象の画像領域と画像サイズが異なる場合を想定し、画像中の画素数＝Mとして算出している。

「数１」及び「数２」でそれぞれの画像データの平均値が求められると、ステップＳ６４の処理が実行される。

　≪ステップＳ６４≫
　ステップＳ６４においては、ステップＳ６２とステップＳ６３で求めた特徴量（画像データの平均値）を比較して、両者の差分値（ｄｉｆｆ）を求める。差分値（ｄｉｆｆ）は以下の「数３」で求められる。この差分値（ｄｉｆｆ）は「類似度」を表している。

　差分値（ｄｉｆｆ）が求められると、ステップＳ６５の処理が実行される。ここで上述した方法は、収集対象画像領域と入力画像領域の類似度を画像平均値で算出する方法だが、これ以外にも、ヒストグラムを用いた方法や、相関係数を用いた方法で類似度を算出することも可能である。

　また、上述した方法は、比較する画像データがＲ/Ｇ/Ｂの３枚で構成されるデータを扱っているが、図8の領域候補抽出部で示した水平１２８画素×垂直９６画素××５１２チャネルで構成されるデータについても同様に取り扱うことができる。

　≪ステップＳ６５≫
　ステップＳ６５においては、ステップＳ６４で求めた差分値（ｄｉｆｆ）が、所定の類似度閾値よりも小さいか否かを判断している。「数３」で判るように、差分値（ｄｉｆｆ）が小さいほど類似していることを示している。このため、差分値（ｄｉｆｆ）が類似度閾値よりも小さいと判断（ＹＥＳ判断）されると、ステップＳ６６の処理を実行する。一方、差分値（ｄｉｆｆ）が類似度閾値よりも大きいと判断（ＮＯ判断）されると、ステップＳ６０に戻って、他の類似画像データについて同様の処理ステップを実行する。

　≪ステップＳ６６≫
　ステップＳ６６においては、類似画像データの特徴量の差分値（ｄｉｆｆ）が、与えられた類似度閾値を満足しているため、再学習用の画像データとして有効と見なされＡＩ学習ブロックに通知される。

　次に有効と見なされた類似画像データは、再学習のための画像選択部１５Ａで選択されることになる。この選択条件は図５～図７に示した条件と同一としている。以下、この選択処理フローについて説明する。

　図１１は、物標の推論結果についての判断処理フローである。以下、処理ステップ毎に説明する。

　≪ステップＳ７０≫
　ステップＳ７０においては、類似画像データ収集部１４Ａから、類似画像データを入力する。画像データを入力すると、ステップＳ７１の処理を実行する。

　≪ステップＳ７１≫
　ステップＳ７１においては、入力された類似画像データを基に、物標の推論処理を実行する。尚、この推論は、物標の「クラス情報」と物標の「位置情報」を推論する。「クラス情報」は、物標が車両、二輪車、歩行者等であり、「位置情報」は物標を囲む領域の座標情報である。物標の推論処理を行うと、ステップＳ７２の処理を実行する。

　≪ステップＳ７２≫
　ステップＳ７２においては、ステップＳ７１で推論した物標の推論結果を出力する。この推論結果の出力は、類似画像データの中の物標の全てについて実行される。推論結果が出力されるとステップＳ７４の処理を実行する。但し、並行してステップＳ７３の処理も実行されている。

　≪ステップＳ７３≫
　ステップＳ７３においては、設計者や開発者によって、物標毎の推論結果正解値が生成されている。推論結果正解値は、物標のクラス情報と物標の位置情報であり、ステップＳ７１で推論された物標の「クラス情報」と「物標の位置情報」に対応するものである。生成された推論結果正解値は、ステップＳ７４で推論された物標のクラス情報と物標の位置情報と比較される。

　≪ステップＳ７４≫～≪ステップＳ７５≫
　ステップＳ７４においては、ステップＳ７２で出力された画像データの物標の推論結果と、ステップＳ７３で生成された物標の推論結果正解値を比較する。

　比較の結果、推論結果と推論結果正解値が一致していれば（ＮＯ判断）終了に抜け、一致していなければ（ＹＥＳ判断）ステップＳ７６の処理を実行する。

　≪ステップＳ７６≫
　ステップＳ７６においては、類似画像データを再学習のための画像データとして選択する。選択された類似画像データはＡＩ学習部１５Ｂに送られて、再学習が実行される。

　次に図１２は、物標の信頼度についての判断処理フローである。以下、処理ステップ毎に説明する。

　≪ステップＳ８０≫
　ステップＳ８０においては、類似画像データ収集部１４Ａから、類似画像データを入力する。画像データを入力すると、ステップＳ８１の処理を実行する。

　≪ステップＳ８１≫
　ステップＳ８１においては、入力された類似画像データを基に、物標の推論処理を実行する。尚、この推論は、物標の「信頼度」を推論する。ここで「信頼度」は、どの程度の自信をもって推論したかの度合を示す数値情報である。物標の推論処理を行うと、ステップＳ８２の処理を実行する。

　≪ステップＳ８２≫
　ステップＳ８２においては、ステップＳ８１で推論した物標の信頼度を出力する。この信頼度の出力は、画像データの中の物標の全てについて実行される。信頼度が出力されるとステップＳ８４の処理を実行する。但し、並行してステップＳ８３の処理も実行されている。

　≪ステップＳ８３≫
　ステップＳ８３においては、設計者や開発者によって、物標毎の信頼度閾値が設定される。ここで信頼度閾値は、画像データに含まれる物標を認識する際の信頼度の下限値に設定されている。設定された信頼度閾値は、ステップＳ８２で出力された物標の信頼度と比較される。

　≪ステップＳ８４≫～≪ステップＳ８５≫
　ステップＳ８４においては、ステップＳ８２で出力された画像データの物標の信頼度と、ステップＳ８３で生成された物標の信頼度閾値を比較する。

　比較の結果、ステップＳ８２における信頼度が、信頼度閾値を上回っていれば（ＮＯ判断）終了に抜け、信頼度閾値を下回っていれば（ＹＥＳ判断）ステップＳ８６の処理を実行する。

　≪ステップＳ８６≫
　ステップＳ８６においては、類似画像データを再学習のための画像データとして選択する。選択された類似画像データはＡＩ学習部１５Ｂに送られて、再学習が実行される。

　次に図１３は、物標を認識するための注目すべき領域（判断根拠領域）についての判断処理フローである。以下、処理ステップ毎に説明する。

　≪ステップＳ９０≫
　ステップＳ９０においては、類似画像データ収集部１４Ａから、類似画像データを入力する。画像データを入力すると、ステップＳ９１の処理を実行する。

　≪ステップＳ９１≫
　ステップＳ９１においては、入力された画像データを基に、物標の推論処理を実行する。尚、この推論は、物標の「判断根拠領域」を推論する。ここで「判断根拠領域」は、物標を認識するために注目する領域の情報である。物標の推論処理を行うと、ステップＳ９２の処理を実行する。

　≪ステップＳ９２≫
　ステップＳ９２においては、ステップＳ９１で推論した物標の判断根拠領域を出力する。この判断根拠領域は、推論によって物標を推論した際に注目した領域である。この判断根拠領域の出力は、画像データの中の物標の全てについて実行される。判断根拠領域が出力されるとステップＳ９４の処理を実行する。但し、並行してステップＳ９３の処理も実行されている。

　≪ステップＳ９３≫
　ステップＳ９３においては、設計者や開発者によって、物標毎の判断根拠領域が設定される。ここで判断根拠領域は、画像データに含まれる物標に全てに設定されている。設定された判断根拠領域は、ステップＳ９２で出力された物標の判断根拠領域と比較される。

　≪ステップＳ９４≫～≪ステップＳ９５≫
　ステップＳ９４においては、ステップＳ９２で出力された画像データの物標の判断根拠領域と、ステップＳ９３で設定された物標の判断根拠領域を比較する。

　比較の結果、ステップＳ９２における判断根拠領域が、設定された判断根拠領域と一致していれば（ＮＯ判断）終了に抜け、一致していなければ（ＹＥＳ判断）ステップＳ９６の処理を実行する。

　≪ステップＳ９６≫
　ステップＳ９６においては、類似画像データを再学習のための画像データとして選択する。選択された類似画像データはＡＩ学習部１５Ｂに送られて、再学習が実行される。

　尚、図１１～図１３による再学習のための画像データの選択が終了すると、図３のステップＳ１６による再学習を実行し、これが終了するとステップＳ１７の推論結果の改善の有無を検証する。

　ここで、ステップＳ１７の推論結果の改善の有無は、図１１～図１３の処理フローを再実行することによって、学習後の推論結果が別途指定した推論結果出力正解値と合致する、或いは学習後の信頼度が、別途指定した信頼度閾値を上回る、或いは判断根拠領域が、判断根拠領域正解値と合致する場合に、改善があったと判断することものである。

　以上のような構成とすることにより、ＡＩ推論処理が正しく行われなかった入力データに対して、入力データの特徴量を抽出し、この特徴量に類似する類似データを他から収集して再学習を行うことで、必要とする画像データを適切に収集することができる。

　次に、本発明の第２の実施形態について説明する。先に説明した実施形態では、ＡＩ推論ブロック１２、ＡＩ検証ブロック１３、学習データ候補収集ブロック１４、及びＡＩ学習ブロック１５は、サーバ１０のサーバ側制御部に設けられていた。

　これに対して、第２の実施形態では、ＡＩ推論ブロック１２と学習データ候補収集ブロック１４は、車両側制御装置１１に設けられ、ＡＩ検証ブロック１３とＡＩ学習ブロック１５は、サーバ側制御部に設けられている。尚、ＡＩ推論ブロック１２は、推論結果の正誤を判定するＡＩ推論結果正誤判定部１２Ｄを備えている。このため、推論を誤った画像データがＡＩ検証部１３Ａに入力される。

　ここで、車両側制御装置１１に設けられたＡＩ推論ブロック１２と学習データ候補収集ブロック１４、及びサーバ１０のサーバ側制御部に設けられたＡＩ検証ブロック１３とＡＩ学習ブロック１５は、第１の実施形態と同様の機能、動作を行うものとなっている。

　以上のような構成の本発明においては、ＡＩモデルの再学習のためのＡＩモデル学習システムであって、入力データに対してＡＩモデルでの推論処理を行うＡＩ推論処理部と、ＡＩ推論処理部での推論処理が正しく行われなかったときの入力データを検討データとして取得するＡＩ検証部と、検討データにおける特徴量を抽出する特徴量抽出部と、特徴量に類似する類似データを収集する類似データ収集部と、類似データ収集部で収集した類似データを用いてＡＩモデルの再学習を行うＡＩ学習部とを有する、ことを特徴とする。

　これによれば、ＡＩ推論処理が正しく行われなかった入力データに対して、入力データの特徴量を抽出し、この特徴量に類似する類似データを他から収集して再学習を行うことで、必要とする画像データを適切に収集することができる。

　尚、本発明は上記したいくつかの実施形態に限定されるものではなく、様々な変形例が含まれる。上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。各実施形態の構成について、他の構成の追加、削除、置換をすることも可能である。
 

Claims (14)

1. 　ＡＩモデルの再学習のためのＡＩモデル学習システムであって、
   　入力データに対して前記ＡＩモデルでの推論処理を行うＡＩ推論処理部と、
   　前記ＡＩ推論処理部での推論処理が正しく行われなかったときの前記入力データを検討データとして取得するＡＩ検証部と、
   　前記検討データにおける特徴量を抽出する特徴量抽出部と、
   　前記特徴量に類似する類似データを収集する学習データ候補収集部と、
   　前記学習データ候補収集部で収集した前記類似データを用いて前記ＡＩモデルの再学習を行うＡＩ学習部と、
   を有することを特徴とするＡＩモデル学習システム。
2. 　請求項１に記載のＡＩモデル学習システムであって、
   　前記ＡＩ検証部は、前記入力データを前記ＡＩモデルに入力した際の推論結果が、別途指定した推論結果正解値と異なる場合は、前記入力データの領域を特徴量抽出領域として設定する
   ことを特徴とするＡＩモデル学習システム。
3. 　請求項１に記載のＡＩモデル学習システムであって、
   　前記ＡＩ検証部は、前記入力データを前記ＡＩモデルに入力した際の信頼度が、別途指定した信頼度閾値を下回る場合は、前記入力データの領域を特徴量抽出領域として設定する
   ことを特徴とするＡＩモデル学習システム。
4. 　請求項１に記載のＡＩモデル学習システムであって、
   　前記ＡＩ検証部は、前記入力データを前記ＡＩモデルに入力した際の判断根拠領域が、別途指定した判断根拠領域正解値と異なる場合は、前記判断根拠領域を特徴量抽出領域として設定する
   ことを特徴とするＡＩモデル学習システム。
5. 　請求項２～４の何れか１項に記載のＡＩモデル学習システムであって、
   　前記特徴量抽出部は、前記特徴量抽出領域に対応する前記入力データを用いて前記特徴量を抽出する
   ことを特徴とするＡＩモデル学習システム。
6. 　請求項２～４の何れか１項に記載のＡＩモデル学習システムであって、
   　前記特徴量抽出部は、前記特徴量抽出領域に対応する前記入力データを前記ＡＩモデルに入力した際に得られる中間データを用いて前記特徴量を抽出する
   ことを特徴とするＡＩモデル学習システム。
7. 　請求項５に記載のＡＩモデル学習システムであって、
   　前記学習データ候補収集部は、前記特徴量との類似度が、別途指定した類似度閾値を上回る領域がある場合は、前記類似データを前記ＡＩ学習部に出力する
   ことを特徴とするＡＩモデル学習システム。
8. 　請求項７に記載のＡＩモデル学習システムであって、
   　前記ＡＩ学習部は、
   　前記ＡＩモデルに前記類似データを入力した場合における、前記推論結果が前記推論結果正解値と異なる場合、或いは前記信頼度が前記信頼度閾値を下回る場合、或いは前記判断根拠領域が前記判断根拠領域正解値と異なる場合は、前記類似データを学習データとして選択する
   ことを特徴とするＡＩモデル学習システム。
9. 　ＡＩモデルの再学習のためのＡＩモデル学習方法であって、
   　入力データに対してＡＩ推論を行うＡＩ推論処理と、
   　前記ＡＩ推論の推論結果に対して検証を行うＡＩ検証処理と、
   　前記推論結果に対する改善の必要性を判断する改善要否判断処理と、
   　前記改善が必要と判断された際の前記入力データに対する特徴量を抽出する特徴量抽出処理と、
   　抽出された前記特徴量に類似する類似データを収集する類似データ収集処理と、
   　前記類似データを用いて再学習を行うＡＩ学習処理と、
   　を実行することを特徴とするＡＩモデル学習方法。
10. 　請求項９に記載のＡＩモデル学習方法であって、
    　前記ＡＩ学習処理による前記再学習の後に、前記ＡＩ推論が改善されたか否かを判断する改善有無判断処理が実行され、
    　前記改善有無判断処理は、
    　前記再学習の後の前記推論結果が別途指定した推論結果出力正解値と合致した場合、或いは学習後の信頼度が、別途指定した信頼度閾値を上回った場合、或いは判断根拠領域が、判断根拠領域正解値と合致した場合に、改善があったと判断する
    ことを特徴とするＡＩモデル学習方法。
11. 　車両を自動運転するためのＡＩモデルを再学習するためのＡＩモデル学習システムであって、
    　前記車両から送られてくる画像データに対して前記ＡＩモデルでの推論処理を行うＡＩ推論機能部と、
    　前記ＡＩ推論機能部での推論処理が正しく行われなかったときの前記画像データにおける物標を特徴量取得領域として設定するＡＩ検証機能部と、
    　前記特徴量取得領域の前記画像データの特徴量を抽出する特徴量抽出機能部と、
    　前記特徴量に類似する類似画像データの収集を、複数の他の前記車両に対して依頼し、他の前記車両から前記類似画像データを収集する類似画像データ収集機能部と、
    　前記類似画像データ収集機能部で収集した前記類似画像データを用いて前記ＡＩモデルの再学習を行うＡＩ学習機能部と、
    を有することを特徴とするＡＩモデル学習システム。
12. 　請求項１１に記載のＡＩモデル学習システムであって、
    　前記ＡＩ推論機能部は、ＡＩ推論処理部と、ＡＩ推論不具合候補検出部とを備えおり、
    　前記ＡＩ推論処理部は、入力された前記画像データの中から物標と思われる前記画像データの候補を推論し、前記画像データは前記ＡＩ推論不具合候補検出部に送られ、前記ＡＩ推論不具合候補検出部によって、推論処理が正しく行われなかった可能性がある前記画像データを検出して前記ＡＩ検証機能部に入力し、
    　前記ＡＩ検証機能部は、ＡＩ検証部と、特徴量抽出部と備えており、
    　前記ＡＩ検証部は、推論処理が正しく行われなかった可能性がある前記画像データの前記物標が、正解値に対して異なっているか否か、閾値に対して満足しているか否か等の判断を行い、前記正解値と異なっている、前記閾値を満足しないといった判断がなされた場合は、その物標の存在している領域を特徴量抽出領域として設定し、
    　前記特徴量抽出部は、設定された前記特徴量抽出領域の前記画像データから前記物標の特徴量を抽出して前記類似画像データ収集機能部に入力し、
    　前記類似画像データ収集機能部は、前記特徴量抽出部からの前記特徴量を、自動運転装置を搭載した複数の他の前記車両の車両側制御装置に対して無線送信し、前記車両側制御装置は、自身の記憶手段に記憶されている前記画像データから、送られてきた前記特徴量に類似した前記特徴量を備える前記類似画像データを探索して前記類似画像データ収集機能部に無線送信で返信し、前記類似画像データ収集機能部は、受信した前記類似画像データを前記ＡＩ学習機能部に入力し、
    　前記ＡＩ学習機能部は、画像選択部と、ＡＩ学習部と、ＡＩ更新部とを備えており、
    　前記画像選択部は、前記類似画像データ収集機能部から送られてきた前記類似画像データを学習用データとして選択して前記ＡＩ学習部に入力し、
    　前記ＡＩ学習部は、選択された前記類似画像データを用いて前記ＡＩモデルを再学習し、前記ＡＩ更新部で前記ＡＩモデルを更新する
    ことを特徴とするＡＩモデル学習システム。
13. 　請求項１２に記載のＡＩモデル学習システムであって、
    　前記車両側制御装置には、事前にユーザの同意を得ることを条件とし、前記ＡＩ検証機能部に入力する前記画像データを保存する画像データ保存機能部が備えられ、前記ＡＩ学習機能部で再学習された前記ＡＩモデルによって前記車両側制御装置の前記ＡＩモデルが更新される場合は、保存された前記画像データに対する更新された前記ＡＩモデルでの改善効果を確認することが可能な確認機能部が設けられている
    ことを特徴とするＡＩモデル学習システム。
14. 　請求項１２に記載のＡＩモデル学習システムであって、
    　前記ＡＩ推論機能部と前記類似画像データ収集機能部は、前記車両側制御装置に搭載され、
    　前記ＡＩ検証機能部とＡＩ学習機能部は、サーバのサーバ側制御部に搭載されている
    ことを特徴とするＡＩモデル学習システム。