JP7281595B1

JP7281595B1 - セルフ給油システム

Info

Publication number: JP7281595B1
Application number: JP2022207762A
Authority: JP
Inventors: 耕太岩永; 学飯利; 真弘小谷
Original assignee: Nomura Research Institute Ltd
Current assignee: Nomura Research Institute Ltd
Priority date: 2022-12-26
Filing date: 2022-12-26
Publication date: 2023-05-25
Anticipated expiration: 2042-12-26

Abstract

【課題】複数のＳＳについてその特徴や特性に応じた適切な学習モデルを構築して危険行為や不正行為を検知する。【解決手段】エッジ端末３は、カメラ５からＳＳ内を撮影した画像データを取得するデータ取得部３１と、ＡＩモデル３４を用いたＡＩ処理により給油許否を判定するＡＩ判別部３２と、給油許否の判定結果と対応する画像データとを運用管理サーバ６に送信するサーバ連携部３６とを有し、運用管理サーバ６は、各エッジ端末３から送信された画像データと判定結果とを取得して収集データ６７として記録するデータ収集部６１と、収集データ６１から教師データを抽出するデータ処理部６２と、機械学習により各ＳＳ２のＡＩモデル６６を更新する機械学習部６３と、更新されたＡＩモデル６６の精度を評価するＡＩモデル評価部６４と、更新されたＡＩモデル６６を、適用する各ＳＳ２のエッジ端末３に送信して反映させるＡＩモデル管理部６５とを有する。【選択図】図１

Description

本発明は、セルフ給油式のガソリンスタンドやサービスステーション（以下総称して「ＳＳ」と記載する場合がある）における給油システムの技術に関し、特に、利用者等の危険行為を監視して給油許否を判断するセルフ給油システムに適用して有効な技術に関するものである。

利用者がセルフサービスで給油を行うセルフ給油式のＳＳが普及してきている。このようなＳＳでは、利用者による喫煙等の危険行為や、車両以外の携行缶等への給油などの不正行為が行われないよう、危険物取扱者の資格を有するスタッフが常時監視することが求められている。例えば、計量機付近等を監視カメラにより撮影した画像をスタッフが建物内などからモニターでリアルタイムに監視し、給油を許可した場合にのみ利用者が給油できるような仕組みが一般的である。

このようなセルフ式のＳＳにおける危険行為や不正行為の監視に関連する技術として、例えば、特開２０２０－１４０２３６号公報（特許文献１）には、給油スペースを撮像した画像群に基づいて不正行為を機械学習した学習モデルを用いて、給油スペースを撮像した画像について画像解析により不正行為の有無を検知し、検知結果に基づいて給油可否に関する情報を生成することが記載されている。

また、特開２０２１－１８７５２３号公報（特許文献２）には、監視カメラにより撮影された計量機付近の画像から、給油者の給油に関する異常の有無をＡＩによる画像認識技術を用いて判定するとともに、給油者による給油開始時に、前回の給油において判定された結果を当該給油者に報知することが記載されている。

特開２０２０－１４０２３６号公報特開２０２１－１８７５２３号公報

特許文献１に記載されたような従来技術によれば、ＡＩにより給油スペースでの不正行為を検知することが可能となり、監視者を補って、もしくは監視者に代わって不正行為を検知することで監視者の負担を低減することができるといえる。さらに、特許文献２に記載されたような従来技術によれば、ＡＩにより判定された不正行為等について、次回の給油時にも同じ行為が繰り返されることを未然に防止することも可能になるといえる。

しかしながら、ＡＩによる判定の基礎となる監視カメラにより撮影される画像は、例えば、監視カメラの設置位置や画角、季節、天候、周辺環境等の立地等、様々な外的要因により特徴が大きく異なり得る上に、利用者の行動特性や車両、車種等についても地域や季節、時間帯などの要因により特徴が異なり得る。したがって、例えば、全国各地に多数のＳＳを展開しているチェーンにおいて、全ＳＳで単一の学習モデルを用いて不正行為を検知しようとした場合には、ＳＳ毎に精度にばらつきが出てしまうおそれがある。一方で、各ＳＳで個別に学習モデルを構築しようとしても、各ＳＳ単位では適切かつ十分な内容と量の教師データを用意できず、適切な学習モデルを得られない場合も想定される。

そこで本発明の目的は、複数のＳＳについてその特徴や特性に応じた適切な学習モデルを構築して危険行為や不正行為を検知するセルフ給油システムを提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記載および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態であるセルフ給油システムは、セルフ給油のＳＳにおける利用者による計量機での給油の可否を制御するセルフ給油システムであって、各ＳＳに設置された情報処理端末と、当該各情報処理端末がネットワークを介して接続する運用管理サーバと、を有するものである。

前記情報処理端末は、前記ＳＳに設置されたカメラから前記ＳＳ内を撮影した画像データを取得するデータ取得部と、前記画像データから前記利用者の危険行為等の有無を判別するためのＡＩモデルを用いたＡＩ処理により、前記利用者に対する給油許否を判定するＡＩ判別部と、前記ＡＩ判別部による給油許否の判定結果の情報と、対応する前記画像データと、を前記運用管理サーバに送信するサーバ連携部と、を有する。

また、前記運用管理サーバは、前記各情報処理端末から送信された前記画像データと、前記判定結果の情報と、を取得して収集データとして記録するデータ収集部と、前記収集データから、前記各ＳＳの前記ＡＩモデルに対して適用する教師データを抽出するデータ処理部と、前記教師データを用いて機械学習により各ＳＳの前記ＡＩモデルを更新する機械学習部と、前記機械学習部により更新された前記ＡＩモデルの精度を評価するＡＩモデル評価部と、前記機械学習部により更新された前記各ＳＳの前記ＡＩモデルを、適用する前記各ＳＳの前記情報処理端末に送信して反映させるＡＩモデル管理部と、を有する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、複数のＳＳについてその特徴や特性に応じた適切な学習モデルを構築して危険行為や不正行為を検知することが可能となる。

本発明の一実施の形態であるセルフ給油システムの構成例について概要を示した図である。本発明の一実施の形態におけるＡＩによる危険行為等の判別とＡＩモデルの更新の処理の流の例について概要を示した図である。本発明の一実施の形態におけるＡＩモデルの統合方法の例について概要を示した図である。本発明の一実施の形態におけるＡＩモデルの統合方法の他の例について概要を示した図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

＜システム構成＞
図１は、本発明の一実施の形態であるセルフ給油システムの構成例について概要を示した図である。本実施の形態のセルフ給油システム１は、全国各地のＳＳ２にそれぞれ設置されたエッジ端末３と、これらが図示しないネットワークを介して接続される中央の運用管理サーバ６とを含んで構成される情報処理システムであり、ＳＳ２での利用者による給油の可否を制御するシステムである。

エッジ端末３は、各ＳＳ２においてカメラ５により撮影された利用者の行為や状況等に係る画像データを取得し、ＡＩによる画像認識技術により危険行為や不正行為の有無を判定して、判定結果に応じて計量機４での給油許否を制御するとともに、給油許否の判定結果の情報と対応する画像データを併せて運用管理サーバ６に伝達する機能を有するエッジデバイスである。また、運用管理サーバ６は、各エッジ端末３からの判定結果の情報と画像データを収集して、これらから学習用の教師データを抽出して機械学習（追加学習）を行ってＡＩモデルを更新し、エッジ端末３に送信して反映させることで給油許否の判定精度を向上させるという機械学習のライフサイクルを実現するいわゆるＭＬＯｐｓ（Machine Learning Operations：機械学習／運用）の機能を有するサーバシステムである。

エッジ端末３は、例えば、専用もしくはＰＣ等の汎用の情報処理端末により実装され、図示しないＣＰＵ（Central Processing Unit）により、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録装置からメモリ上に展開したＯＳ（Operating System）やＤＢＭＳ（DataBase Management System）等のミドルウェアや、その上で稼働するソフトウェアを実行することで、上述したエッジ端末３の各種機能を実現する。このエッジ端末３は、例えば、ソフトウェアとして実装されたデータ取得部３１、ＡＩ判別部３２、ＡＩモデル管理部３３、ＳＳ設備連携部３５、およびサーバ連携部３６などの各部を有する。

データ取得部３１は、ＳＳ２に設置された１つ以上のカメラ５により撮影された利用者の行為や状況等に係る画像（所定の時間間隔毎に撮影された画像の集合）データを取得する機能を有する。例えば、カメラ５と連携して画像データを常時記録するレコーダーから、利用者の来場などの所定のイベントの発生をトリガーとして必要な範囲の画像データを取り出すようにしてもよいし、カメラ５から送られた画像データを直接取得して記録するようにしてもよい。なお、カメラ５は、例えば、ＳＳ２に設置された各計量機４付近をそれぞれ個別に、もしくは複数まとめて撮影範囲とするように１つ以上設置されているのが望ましい。カメラ５の向きや撮影倍率等をリモートからスタッフが操作して、撮影範囲を動的に変更できるようにしてもよい。

ＡＩ判別部３２は、データ取得部３１によって取得した利用者の行為や状況等に係る画像データに基づいて、ＡＩモデル３４を用いてＡＩによる画像解析を行い、利用者による危険行為や不正行為、もしくはこれらに至る蓋然性の高い状況の有無等を判別し、給油許否を判定する機能を有する。使用するＡＩのエンジンや画像解析のアルゴリズム等については特に限定されず、公知のものを適宜使用することができる。給油を拒否する対象となる行為等としては、例えば、喫煙やその他の火気の所持、携行缶等の車両以外の物への給油、所定の手順に従わない計量機４の操作等が挙げられる。本実施の形態では、例えば、これらの行為に関連性を有し得る物体（「タバコ」「携行缶」など）や利用者の車種（「ＳＵＶ」「バイク」「軽トラック」など）等を画像解析により認識することで、対応する行為の有無を判別する。

ＡＩによる判別結果に基づいて自動的に給油許否を判定して計量機４に指示するようにしてもよいし、ＡＩによる判定結果を図示しないモニター上に表示し、ＳＳ２のスタッフが確認した上で最終的な判定結果を手動で入力・指示するようにしてもよい。また、明らかな危険行為については自動で判定し、許否どちらの判断もあり得るような場合は通知の上で手動で判定するなど、自動・手動での判定を適宜組み合わせるようにしてもよい。

なお、ＡＩによる判定結果に係るデータ、すなわち、カメラ５により撮影された画像データの集合と、対応する給油許否の判定結果のデータは、教師データの候補として、後述するようにサーバ連携部３６により運用管理サーバ６に送られる。一般的には、画像データの１枚１枚に対して、公知のアノテーションツール等を用いて人が手動でどこに何があるかのラベルを付しているが、全て人手で行うと膨大な数となってしまう。そこで本実施の形態では、ＡＩ判別部３２による物体検知の結果として自動的に付されたラベルを人が確認して修正するという形をとることで教師データの候補の生成を容易にする。なお、画像データの１枚１枚に対しては最終的な給油許否の判定結果は関連付けられないが、例えば、危険行為があった瞬間の画像データに対しては、最終的な給油許否の判定結果を関連付けるようにしてもよい。

ＡＩモデル管理部３３は、運用管理サーバ６から展開されたＡＩモデル３４を取得して保持・管理する機能を有する。運用管理サーバ６から取得したＡＩモデル３４について新旧のバージョン管理を行い、スタッフからの指示等に基づいて旧バージョンのＡＩモデル３４にロールバックする機能を有していてもよい。

ＳＳ設備連携部３５は、ＳＳ２に設置された各計量機４等の設備や、図示しないＰＯＳ（Point of Sales）、ＳＳＣ（Self Service Console）などの端末から情報を取得したり、指示を送信したりして制御する機能を有する。例えば、ＡＩ判別部３２からの給油許否の判定結果に基づく指示に応じて、計量機４（もしくは図示しないＰＯＳやＳＳＣ）に対して開栓や給油開始・停止等の指示信号を送信して制御する。ＡＩ判別部３２が利用者による危険行為等を検知した場合に、図示しないパトランプや監視端末等を介してスタッフに通知したり、計量機４付近に設置された図示しないスピーカーやデジタルサイネージ装置等を介して利用者に通知したりする機能を有していてもよい。

サーバ連携部３６は、運用管理サーバ６と図示しないネットワークを介して通信して連携する機能を有する。例えば、エッジ端末３で取得・収集等した危険行為等に関連するデータ（例えば、カメラ５により撮影された画像データと、対応する給油許否の判定結果等）を送信したり、これらのデータに基づいてサーバ連携部３６において更新されたＡＩモデル３４を取得したりする。エッジ端末３自体の稼働状況に係るデータ等を送信し、本部において統合的に各地のＳＳ２の運用状況の管理を行えるようにしてもよい。

運用管理サーバ６は、例えば、１つ以上のサーバ機器もしくはクラウドコンピューティングサービス上に構築された１つ以上の仮想サーバ等により実装され、図示しないＣＰＵにより、ＨＤＤやＳＳＤ等の記録装置からメモリ上に展開したＯＳやＤＢＭＳ、Ｗｅｂサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、上述したＭＬＯｐｓに係る各種機能などを実現する。この運用管理サーバ６は、例えば、ソフトウェアとして実装されたデータ収集部６１、データ処理部６２、機械学習部６３、ＡＩモデル評価部６４、およびＡＩモデル管理部６５などの各部を有する。また、データベースやファイルテーブルなどにより実装される収集データ６７および学習用データ６８などのデータストアを有する。

データ収集部６１は、各エッジ端末３から送られるＡＩによる危険行為等の判定結果の情報と対応する画像データを取得して、収集データ６７として記録・蓄積する機能を有する。なお、収集データ６７として、判定結果や画像データだけでなく、判定時もしくは画像データ取得時の位置情報、天気、時間などを併せて収集・記録・蓄積してもよい。

データ処理部６２は、蓄積された収集データ６７から、所定の条件に合致するものを抽出して教師データとし、学習用データ６８に記録する機能を有する。パラメータチューニング用の検証データや、評価用のテストデータを併せて抽出するようにしてもよい。なお、教師データの抽出は、所定の間隔で定期的に行うようにしてもよいし、収集データ６７に新たなデータが蓄積されたタイミングで随時行うようにしてもよい。

教師データとして抽出する所定の条件としては、例えば、エッジ端末３での判定結果において、ＡＩ判別部３２によるＡＩでの判定結果は給油拒否であったが、スタッフが手動で給油を許可した場合、もしくは逆にＡＩでの判定結果は給油許可であったが、スタッフが手動で給油を拒否した場合などが挙げられる。危険行為等に該当するかに係るＡＩでの判定スコアが所定より低いにも関わらず、スタッフが手動で給油を許可した場合、もしくは逆に判定スコアが所定より高いにも関わらず、スタッフが手動で給油を拒否した場合などを含めるようにしてもよい。抽出する教師データは、例えば、画像データと給油許否の判断結果の組み合わせとすることができる。給油許否の判断結果に代えて、画像データとＡＩによる物体検出のスコア（例えば、「携行缶：０．８」など）の組み合わせとしてもよい。

機械学習部６３は、学習用データ６８上の更新された教師データに基づいて機械学習により各ＳＳ２にそれぞれ適用するＡＩモデル６６を生成する機能を有する。また、ＡＩモデル評価部６４は、生成されたＡＩモデル６６について、図示しない検証データやテストデータを用いて判定の精度を確認・評価する機能を有する。また、ＡＩモデル管理部６５は、機械学習部６３により生成されたＡＩモデル６６を保持・管理し、各ＡＩモデル６６についてこれを適用するＳＳ２のエッジ端末３に送信して展開する機能を有する。各ＡＩモデル６６について新旧のバージョン管理を行い、運用管理サーバ６の管理者等からの指示等に基づいて旧バージョンのＡＩモデル６６にロールバックする機能を有していてもよい。なお、使用するＡＩのエンジンについては特に限定されず、各エッジ端末３で使用するものと併せて公知のものを適宜使用することができる。

上述したように、全てのＳＳ２で単一のＡＩモデル３４（ＡＩモデル６６）を用いて危険行為等を検知しようとした場合には、ＳＳ２毎に精度にばらつきが出てしまうおそれがある。一方で、各ＳＳ２で個別にＡＩモデル３４を構築しようとしても、各ＳＳ２単位では適切かつ十分な内容と量の教師データを用意できず、適切なＡＩモデル３４を得られない場合も想定される。そこで本実施の形態では、上述したように、適切な教師データを効率的に生成できるようにするとともに、後述するように、複数のＳＳ２についてその特徴や特性に応じた適切なＡＩモデル３４（ＡＩモデル６６）を統合的に適用して、危険行為等を効率的に精度よく検知することを可能とする。

なお、図１の例で示したエッジ端末３と運用管理サーバ６が有する各部の構成は一例であり、機器やインフラのスペックその他の状況等に応じて、例えば、エッジ端末３の一部の機能を運用管理サーバ６側で実装したり、逆に運用管理サーバ６の一部の機能をエッジ端末３側で実装したり、柔軟に構成することができる。ＳＳ２のカメラ５についても、エッジ端末３の全部もしくは一部の機能と一体となって構成することも可能である。

＜処理の流れ＞
図２は、本発明の一実施の形態におけるＡＩによる危険行為等の判別とＡＩモデル３４（ＡＩモデル６６）の更新の処理の流の例について概要を示した図である。各ＳＳ２のエッジ端末３では、１つ以上のカメラ５により撮影された画像データをデータ取得部３１により取得し（Ｓ０１）、ＡＩ判別部３２により画像認識を行って、危険行為等に該当する事象が発生しているか否か（これらと関連性を有する物体があるか否か）を判別するとともに（Ｓ０２）、判別結果をモニター等に表示して（Ｓ０３）、スタッフに提示する。

そして、提示された判別結果と、スタッフが該当する利用者の実際の様子を直接視認するなどして確認した上での給油許否の判断結果の入力を受け付けて、その内容に応じてＳＳ設備連携部３５を介してＰＯＳやＳＳＣ等に指示して、計量機４の開栓を制御するとともに（Ｓ０４）、給油許否の最終的な判断結果の情報と、対応するカメラ５の画像データを、サーバ連携部３６により運用管理サーバ６に送信する（Ｓ０５）。

運用管理サーバ６では、各ＳＳ２のエッジ端末３から送信された判断結果の情報と画像データをデータ収集部６１により取得して収集データ６７に記録し（Ｓ１１）、これをトリガーとして、もしくは定期的なタイミングで、データ処理部６２により、収集データ６７から所定の条件により教師データの候補を選別・抽出して学習用データ６８に記録する（Ｓ１２）。

教師データの候補を選別・抽出する条件は、上述したように、例えば、ＡＩでの判定結果は給油拒否であったが、スタッフが手動で給油を許可した場合（もしくはその逆）や、ＡＩでの判定スコアが所定より低いにも関わらず、スタッフが手動で給油を許可した場合（もしくはその逆）などとすることができる。なお、本実施の形態では、教師データの候補の選別・抽出を運用管理サーバ６側で行うものとしているが、データの発生元であるエッジ端末３側で選別を行い、選別されたデータのみ運用管理サーバ６に送信するようにしてもよい。

その後、選別・抽出された教師データの候補について、管理者等がその妥当性について判断し、教師データとして最終的に確定させた結果についての入力・指定を受け付けて、学習用データ６８を更新（不要なデータを削除）する（Ｓ１３）。教師データの被覆性や均一性、妥当性について所定の手法によりスコアリングして、管理者等に提示するようにしてもよい。このように、本実施の形態では、教師データの選別・抽出に際して、最終的には管理者等による手動での判断を介在させるものとしているが、必須ではなく省略することも可能である。

教師データが確定すると、これを機械学習部６３により追加学習させて既存のＡＩモデル６６を更新する（Ｓ１４）。そして、ＡＩモデル評価部６４により、更新後のＡＩモデル６６に検証データを推定させて、判別結果と精度を確認・評価する（Ｓ１５）。このとき、例えば、更新前のＡＩモデル６６による判別結果や精度と比較することで、性能が向上しているか否かを評価する。

その後、更新後のＡＩモデル６６の評価結果について、管理者等が確認し、十分に性能が向上しているかを含めてその妥当性について判断し、新しいＡＩモデル６６として最終的に確定させた結果についての入力・指示を受け付けて、ＡＩモデル管理部６５を介してＡＩモデル６６を更新（不要なＡＩモデル６６を削除）する（Ｓ１６）。そして、更新後のＡＩモデル６６をＡＩモデル管理部６５により対象のエッジ端末３に送信する（Ｓ１７）。これを受信したエッジ端末３では、ＡＩモデル管理部３３により更新後のＡＩモデル３４として反映させる（Ｓ０６）。その後は、ステップＳ０１に戻ってカメラ５の画像データからのＡＩによる判別処理を繰り返す。

なお、ＳＳ２のスタッフが、更新後のＡＩモデル３４による危険行為等の判別結果に異常や不具合があると判断した場合、スタッフからの入力・指示を受け付けて、更新前の旧バージョンのＡＩモデル３４にロールバックするようにしてもよい（Ｓ０７）。また、いずれかのＳＳ２においてＡＩモデル３４をロールバックしたことを運用管理サーバ６もしくはその管理者等が検知した場合、管理者等からの入力・指示を受け付けて、（後述するＡＩモデル３４の統合の結果として）対象のＡＩモデル３４と同じモデルを採用している他のＳＳ２のＡＩモデル３４（ＡＩモデル６６）についても同様にロールバックして反映させるようにしてもよい（Ｓ１８）。

＜ＡＩモデルの統合＞
上述したように、本実施の形態では、複数のＳＳ２についてその特徴や特性に応じた適切なＡＩモデル３４を統合的に適用して、危険行為等を効率的に精度よく検知することを可能とする。

図３は、本発明の一実施の形態におけるＡＩモデル３４の統合方法の例について概要を示した図である。図３では、１番目からｎ番目のｎ個のＳＳ２（図中では「ＳＳ_１」～「ＳＳ_ｎ」で示す）においてそれぞれ適用されているＡＩモデル３４のうち、ｉ番目のＳＳ２である「ＳＳ_ｉ」に適用されているＡＩモデル３４を、他のＳＳ２に適用されているＡＩモデル３４で置換する形でＡＩモデル３４を統合する例についての概念を示している。

この方法では、上段の図に示すように、まず、対象の「ＳＳ_ｉ」における検証データ（ＡＩモデル３４の精度を検証するためのデータ）を「ＳＳ_１」～「ＳＳ_ｎ」の全てのＳＳ２のＡＩモデル３４に入力し、それぞれ信頼度スコアを求めた上で、正解データと信頼度スコアの差分を各ＳＳ２のＡＩモデル３４毎に集計する。そして、集計結果において差分（正解とのズレ）の集計値が最も少ないものを統合先のＡＩモデル３４として選択する。図３では、「ＳＳ_５」の集計結果が最も少なかったという場合を例示しており、この場合、「ＳＳ_ｉ」のＡＩモデル３４として「ＳＳ_５」を使用することになる。

ＡＩモデル３４の統合方法の他の例として、例えば、各ＳＳ２に適用されているＡＩモデル３４毎に、各検証データに対応する信頼度スコアを単純合算してその合計値が最も大きいものを統合先のＡＩモデル３４として選択してもよい。また、対象の「ＳＳ_ｉ」のＡＩモデル３４の信頼度スコアの合計値と、他のＳＳ２に適用されているＡＩモデル３４の信頼度スコアの合計値とを比較し、対象の「ＳＳ_ｉ」のＡＩモデル３４の信頼度スコアの合計値を（最も）上回るものを統合先のＡＩモデル３４として選択してもよい。

統合先のＡＩモデル３４を選択すると、当該ＡＩモデル３４を、統合元のＳＳ２と統合先のＳＳ２の教師データによって学習させて、更新後のＡＩモデル３４を得る。図３の例では、下段の図に示すように、統合先として選択された「ＳＳ_５」のＡＩモデル３４を、自身の「ＳＳ_５」の教師データと、統合元の「ＳＳ_ｉ」の教師データによって学習させて、更新後の「ＳＳ_５」のＡＩモデル３４を得る例を示している。このように、図３の例では、統合先の「ＳＳ_５」の更新後のＡＩモデル３４を、「ＳＳ_５」自身だけでなく、より精度が上がる「ＳＳ_ｉ」でも用いることになり、ＡＩモデル３４を効果的に統合することができる。

図４は、本発明の一実施の形態におけるＡＩモデル３４の統合方法の他の例について概要を示した図である。上述した図３の例では、統合元のＳＳ２について、当該ＳＳ２の検証データを入力した際の差分の集計値が最も少ないＳＳ２のＡＩモデル３４を統合先のＡＩモデル３４として統合していたが、図４の例では、全てのＳＳ２の検証データについて、全てのＳＳ２のＡＩモデル３４に対して総当りで入力して差分を集計する。

上段の表では、「ＳＳ_１」～「ＳＳ_ｎ」の各ＳＳ２の検証データを列とし、「ＳＳ_１」～「ＳＳ_ｎ」の各ＳＳ２のＡＩモデル３４を行として、各検証データを総当たりで各ＡＩモデル３４に入力した際の差分を集計した結果を示している。ここでは、各検証データについて、自身のＳＳ２のＡＩモデル３４に入力した場合（例えば、「ＳＳ_１」の検証データを「ＳＳ_１」のＡＩモデル３４に入力した場合）を「△」で示し、他のＳＳ２のＡＩモデル３４に入力した場合について、自身のＳＳ２のＡＩモデル３４に入力した場合よりも精度が良くなる場合を「○」、精度が同じか悪くなる場合を「×」で示している。その上で、ＡＩモデル３４の単位で「○」の数を集計した結果を右端の列に示しており、図４の例では「ＳＳ_ｎ－１」が５つで最も多いことを示している。

ここでは、「○」の数が最も多いＡＩモデル３４を統合先の候補とする。すなわち、図４の例では、最も「○」が多い「ＳＳ_ｎ－１」のＡＩモデル３４は、自身以外の他の「○」がついた５つのＳＳ２（図４の例では「ＳＳ_１」、「ＳＳ_２」、…、「ＳＳ_ｉ」、…）における統合先の候補となる。その後、統合先の候補が決まったＳＳ２のＡＩモデル３４の行を表から削除し、残ったＳＳ２のＡＩモデル３４について、上記と同様に、最も「○」が多いものを選択して統合先の候補とする処理を繰り返すことで、各ＳＳ２について統合先のＳＳ２のＡＩモデル３４を決定する。

その後、下段の図に示すように、統合先の候補のＡＩモデル３４を、自身のＳＳ２の教師データに加えて、統合元のＳＳ２の教師データによって学習させて、更新後のＡＩモデル３４を」得る。図４の例では、「ＳＳ_ｎ－１」のＡＩモデル３４を、自身の「ＳＳ_ｎ－１」の教師データに加えて、統合元となる「ＳＳ_１」、「ＳＳ_２」、…、「ＳＳ_ｉ」、…の５つのＳＳ２の教師データによって学習させて、更新後の「ＳＳ_ｎ－１」を得る例を示している。このように、図４の例では、「ＳＳ_ｎ－１」のＡＩモデル３４を、「ＳＳ_ｎ－１」自身だけでなく、より精度が上がる「ＳＳ_１」、「ＳＳ_２」、…、「ＳＳ_ｉ」、…の他の５つのＳＳ２でも用いることになり、ＡＩモデル３４を効果的に統合することができる。

上述の図３もしくは図４の統合方法の例によれば、ＳＳ２毎にカメラ５の設置方向等の環境条件が種々に異なる複数の画像データを学習しているＡＩモデル３４が混在している場合でも、環境条件の近いＡＩモデル３４を分類することなく、ＡＩの精度に基づいてＡＩモデル３４を統合しており、統合における人の判断を減らして正確かつ高速に実施することができる。ただし、環境条件の同一性を評価して環境条件の近いＡＩモデル３４を分類した後に図３もしくは図４に示した動作を行う構成であってもよい。例えば、複数のＡＩモデル３４向けの複数の画像データを用いてＡＩモデル３４をクラスタリングすることで環境条件の近いＡＩモデル３４を分類することが可能である。これにより、画像の中に写っている各オブジェクトの大きさ、配置等の同一性を加味した分類がなされる。

なお、上述したようなＡＩモデル３４（ＡＩモデル６６）の統合に係る処理は、例えば、運用管理サーバ６のＡＩモデル管理部６５等により、定期的なタイミングで行ってもよいし、学習用データ６８に蓄積された新しい教師データが一定の量に達したことなどをトリガーとして不定期に行ってもよい。

上述したようなＡＩモデル３４（ＡＩモデル６６）の統合に係る処理では、例えば、教師データと検証データに、利用者の車種が乗用車である画像データばかりが採用されていた場合、乗用車に特化したＡＩモデル３４（ＡＩモデル６６）になってしまう可能性がある。この場合、例えば、利用者の車種が乗用車の場合には正解率が高いが、バイクの場合には正解率が極端に悪化してしまうということが起こり得る。

そこで、例えば、図２における運用管理サーバ６によるステップＳ１２、Ｓ１３での教師データ候補の抽出と人による確認の処理において、予め、正常給油と異常給油のデータの適切な比率や、乗用車とバイクの来店比率のような比率（黄金比）を設定しておく。そして、抽出した教師データ（例えば、１日単位で集約した結果等）が黄金比から著しく乖離している場合には、管理者等に通知・警告するなどした上で、黄金比に近づくように抽出する教師データの取捨選択を自動もしくは手動で行うようにしてもよい。その際、除外したデータについて管理者等に提示して、妥当性などの判断結果を受け付けるようにしてもよい。また、黄金比については、定期的にモニタリングしながら管理者等によりその妥当性を判断するのが望ましい。

もしくは、例えば、ＡＩでの判別の精度に影響を与え得る外因（例えば、天候や利用者の車種など）を予め定義しておき、収集データ６７に蓄積されたデータのうち、各ＳＳ２での外因の発生に関連する統計（例えば、車種の来店比率（「ＳＵＶ」：１０％、「バン」：５０％、「バイク」：１０％、「トラック」：３０％）など）を自動的に取得して黄金比としてもよい。この場合、統計情報の取得のために、給油拒否の異常ケースだけでなく給油許可の正常ケースも収集する。そして、当該統計情報（発生比率）に基づいて収集データ６７から教師データの候補を動的に抽出する。被覆性の観点で不足するデータがある場合は、例えば、カメラ５の画角などの特性が近似する他のＳＳ２のデータで補充してもよい。

なお、教師データだけでなく検証データを同様の手法により取得してもよい。

以上に説明したように、本発明の一実施の形態であるセルフ給油システム１によれば、各ＳＳ２についてその特徴や特性に応じた適切な教師データ、検証データを得ることができるとともに、複数のＳＳ２についてその特徴や特性に応じてＡＩモデル３４を統合的に適用して、危険行為等を効率的に精度よく検知することが可能となる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

本発明は、セルフ給油式のガソリンスタンドやサービスステーションにおける給油システムに利用可能である。

１…セフル給油システム、２…ＳＳ、３…エッジ端末、４…計量機、５…カメラ、６…運用管理サーバ、
３１…データ取得部、３２…ＡＩ判別部、３３…ＡＩモデル管理部、３４…ＡＩモデル、３５…ＳＳ設備連携部、３６…サーバ連携部、
６１…データ収集部、６２…データ処理部、６３…機械学習部、６４…ＡＩモデル評価部、６５…ＡＩモデル管理部、６６…ＡＩモデル、６７…収集データ、６８…学習用デー

Claims

セルフ給油のガソリンスタンドやサービスステーション（以下「ＳＳ」という）における利用者による計量機での給油の可否を制御するセルフ給油システムであって、
各ＳＳに設置された情報処理端末と、当該各情報処理端末がネットワークを介して接続する運用管理サーバと、を有し、
前記情報処理端末は、
前記ＳＳに設置されたカメラから前記ＳＳ内を撮影した画像データを取得するデータ取得部と、
前記画像データから前記利用者の危険行為等の有無を判別するためのＡＩモデルを用いたＡＩ処理により、前記利用者に対する給油許否を判定するＡＩ判別部と、
前記ＡＩ判別部による給油許否の判定結果の情報と、対応する前記画像データと、を前記運用管理サーバに送信するサーバ連携部と、を有し、
前記運用管理サーバは、
前記各情報処理端末から送信された前記画像データと、前記判定結果の情報と、を取得して収集データとして記録するデータ収集部と、
前記収集データから、前記各ＳＳの前記ＡＩモデルに対して適用する教師データを抽出するデータ処理部と、
前記教師データを用いて機械学習により各ＳＳの前記ＡＩモデルを更新する機械学習部と、
前記機械学習部により更新された前記ＡＩモデルの精度を評価するＡＩモデル評価部と、
前記機械学習部により更新された前記各ＳＳの前記ＡＩモデルを、適用する前記各ＳＳの前記情報処理端末に送信して反映させるＡＩモデル管理部と、を有する、セルフ給油システム。
請求項１に記載のセルフ給油システムにおいて、
前記運用管理サーバは、
第１のＳＳの第１のＡＩモデルに対して適用する検証データを、他の全ての前記ＳＳの前記ＡＩモデルにそれぞれ適用して正解との差分を集計し、集計した差分が最も小さい第２のＡＩモデルについて、前記第１のＳＳの教師データと、前記第２のＡＩモデルに対応する第２のＳＳの教師データと、を用いて機械学習により更新し、更新した前記第２のＡＩモデルを、前記第１のＡＩモデルに代えて前記第１のＳＳに適用する、セルフ給油システム。
請求項１に記載のセルフ給油システムにおいて、
前記運用管理サーバは、
全ての前記ＳＳの前記ＡＩモデルに対して適用する検証データを、全ての前記ＳＳの前記ＡＩモデルそれぞれに対して総当りで適用して正解との差分をそれぞれ集計し、前記各ＡＩモデルのうち、対応する第１のＳＳの検証データを適用したときより差分が小さくなる他の第２のＳＳの数が最も多い第１のＡＩモデルについて、前記第１のＳＳの教師データと、前記各第２のＳＳの教師データと、を用いて機械学習により更新し、更新した前記第１のＡＩモデルを、前記各第２のＳＳの前記ＡＩモデルに代えてそれぞれ適用する、セルフ給油システム。
請求項１に記載のセルフ給油システムにおいて、
前記運用管理サーバの前記データ処理部は、
前記教師データにおける所定の項目に係る所定の発生比率の設定を保持し、前記収集データから取得した前記教師データにおける前記所定の項目の発生比率が前記所定の発生比率と所定以上乖離する場合は、前記所定の発生比率に近づくよう、前記収集データから取得する前記教師データを取捨選択する、セルフ給油システム。
請求項４に記載のセルフ給油システムにおいて、
前記所定の発生比率は、前記各情報処理端末の前記ＡＩ判別部における危険行為等の有無の判別の精度に影響を与える所定の外因の発生に係る統計情報に基づいて設定される、セルフ給油システム。
セルフ給油のガソリンスタンドやサービスステーション（以下「ＳＳ」という）における利用者による計量機での給油の可否を制御するセルフ給油システムであって、
前記ＳＳ内を撮影した画像データを取得するデータ取得部と、
前記画像データから前記利用者の危険行為等の有無を判別するためのＡＩモデルを用いたＡＩ処理により、前記利用者に対する給油許否を判定するＡＩ判別部と、
前記ＡＩ判別部による給油許否の判定結果の情報と、対応する前記画像データとを収集データとして記録するデータ収集部と、
前記収集データから、前記各ＳＳの前記ＡＩモデルに対して適用する教師データを抽出するデータ処理部と、
前記教師データを用いて機械学習により各ＳＳの前記ＡＩモデルを更新する機械学習部と、
前記機械学習部により更新された前記ＡＩモデルの精度を評価するＡＩモデル評価部と、
前記機械学習部により更新された前記各ＳＳの前記ＡＩモデルを、適用する前記各ＳＳの前記ＡＩモデルとして反映させるＡＩモデル管理部と、を有する、セルフ給油システム。