JP7273109B2 - セルフ給油監視システム及び学習装置 - Google Patents
セルフ給油監視システム及び学習装置 Download PDFInfo
- Publication number
- JP7273109B2 JP7273109B2 JP2021110868A JP2021110868A JP7273109B2 JP 7273109 B2 JP7273109 B2 JP 7273109B2 JP 2021110868 A JP2021110868 A JP 2021110868A JP 2021110868 A JP2021110868 A JP 2021110868A JP 7273109 B2 JP7273109 B2 JP 7273109B2
- Authority
- JP
- Japan
- Prior art keywords
- refueling
- self
- abnormal behavior
- behavior
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Loading And Unloading Of Fuel Tanks Or Ships (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
すなわち、本発明に係るセルフ給油監視システムは、セルフ給油の際に給油者が行う可能性がある所定の行動を学習した学習モデルを用いて、セルフ給油の様子を撮影したカメラ映像から所定の行動を検知する監視装置と、セルフ給油の際に監視員からセルフ給油の許否に関する操作を受け付ける端末装置と、監視装置による所定の行動の検知結果と端末装置に対する操作内容との比較によって所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を、所定の行動の学習モデルを再学習するための学習データとして記憶する画像データベースを有する学習装置とを備えたことを特徴とする。
すなわち、本発明に係る学習装置は、セルフ給油の様子を撮影したカメラ映像から給油者が行う可能性がある所定の行動を検知する監視装置によって使用される学習モデルを学習する学習装置であって、監視装置による検知結果とセルフ給油の際に監視員が端末装置に入力したセルフ給油の許否に関する操作内容との比較によって所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を、所定の行動の学習モデルを再学習するための学習データとして記憶する画像データベースを有することを特徴とする。
[学習データ収集の第1実施例]
図4には、第1実施例に係る学習データ収集の処理フロー例を示してある。セルフ給油を行おうとする利用者(給油者)が車両に乗車して給油所に来店し、計量機に近接する停止エリアに車両を停車させ、降車後、給油のための行動を開始する。このとき、監視カメラ140は、セルフ給油を行う際の給油者の行動を撮影し、そのカメラ映像を監視装置110に送信する。監視装置110は、予め設定された学習モデルに基づく分析プログラムを使用してカメラ映像を分析し、給油者が行う可能性がある所定の行動を検知する。
図5には、第2実施例に係る学習データ収集の処理フロー例を示してある。第2実施例では、給油口に対する給油ノズルの挿入状態(全挿入/半挿入)を検知するための学習モデルに着目して説明する。監視装置110は、計量機から給油ノズルが外されたことがセンサー150によって検知されるまで待機する(ステップS201)。計量機から給油ノズルが外されたことが検知されると、監視装置110は、学習モデルに基づいてカメラ映像を分析し、給油口に対する給油ノズルの挿入状態を判定する(ステップS202)。
図6A、図6Bには、第3実施例に係る学習データ収集の処理フロー例を示してある。図6Aの処理フロー例は、給油者が行うべきでない異常行動を検知するための学習モデルに関する学習データ収集に関するものである。図6Bの処理フロー例は、給油者が行うべき正常行動を検知するための学習モデルに関する学習データ収集に関するものである。異常行動としては、例えば、タバコ所持、携行缶、危険行動、給油ノズルの半挿入が挙げられる。また、正常行動としては、例えば、給油ノズルの全挿入が挙げられる。
監視装置110は、学習モデルに基づくカメラ映像の分析を行って、異常行動の有無を判定する(ステップS301)。異常行動が検知されない場合(ステップS301:No)には、監視装置110は、監視員に給油の許否に関する操作を促す。その後、給油を許可する操作(例えば、給油許可ボタン360の押下)を端末装置120が受け付けた場合(ステップS302:OK)には、監視装置110は、異常行動の未検知が適切であったと判断する。一方、給油を許可する操作を端末装置120が受け付けずに他の操作(例えば、異常行動確認ボタン351~354のいずれかの押下)を受け付けた場合(ステップS302:NG)には、監視装置110は、異常行動の検知漏れと判断し、そのときのカメラ映像を異常行動のポジティブ用学習データとして記憶する(ステップS303)。
監視装置110は、学習モデルに基づくカメラ映像の分析を行って、正常行動の有無を判定する(ステップS401)。正常行動が検知された場合(ステップS401:Yes)には、監視装置110は、監視員に給油の許否に関する操作を促す。その後、給油を許可する操作(例えば、給油許可ボタン360の押下)を端末装置120が受け付けた場合(ステップS402:OK)には、監視装置110は、正常行動の検知が適切であったと判断する。一方、給油を許可する操作を端末装置120が受け付けずに他の操作(例えば、異常行動確認ボタン351~354のいずれかの押下)を受け付けた場合(ステップS402:NG)には、監視装置110は、正常行動の誤検知と判断し、そのときのカメラ映像を正常行動のネガティブ用学習データとして記憶する(ステップS403)。
図7には、第4実施例に係る学習データ収集の処理フロー例を示してある。図7の処理フロー例は、給油者が行うべきでない複数種類の異常行動を学習した学習モデルに対する学習データ収集に関するものである。複数種類の異常行動としては、例えば、タバコ所持、携行缶、危険行動、給油ノズルの半挿入が挙げられる。
図8には、第5実施例に係る学習データ収集の処理フロー例を示してある。図8の処理フロー例は、給油者が行うべき正常行動と給油者が行うべきでない異常行動を学習した学習モデルに対する学習データ収集に関するものである。このような学習モデルとしては、例えば、正常行動としてノズルの全挿入を検出し、異常行動としてノズルの半挿入を検出する学習モデルが挙げられる。
Claims (11)
- セルフ給油の際に給油者が行う可能性がある所定の行動を学習した学習モデルを用いて、セルフ給油の様子を撮影したカメラ映像から前記所定の行動を検知する監視装置と、
セルフ給油の際に監視員からセルフ給油の許否に関する操作を受け付ける端末装置と、
前記監視装置による前記所定の行動の検知結果と前記端末装置に対する操作内容とが一致しない場合に、前記所定の行動の検知漏れ又は誤検知と判定し、前記所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を、前記所定の行動の学習モデルを再学習するための学習データとして記憶する画像データベースを有する学習装置とを備えたことを特徴とするセルフ給油監視システム。 - 請求項1に記載のセルフ給油監視システムにおいて、
前記所定の行動の検知漏れと判定された場合のカメラ映像が、前記所定の行動の正解時の様子を示すポジティブ用学習データとして前記画像データベースに記憶され、
前記所定の行動の誤検知と判定された場合のカメラ映像が、前記所定の行動の不正解時の様子を示すネガティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべき正常行動を学習した学習モデルであり、
前記監視装置が前記正常行動を検知しなかったが、前記端末装置がセルフ給油を許可する操作を受け付けた場合に、前記正常行動の検知漏れと判定されて、その際のカメラ映像が前記正常行動のポジティブ用学習データとして前記画像データベースに記憶され、
前記監視装置が前記正常行動を検知したが、前記端末装置がセルフ給油を許可する操作を受け付けなかった場合に、前記正常行動の誤検知と判定されて、その際のカメラ映像が前記正常行動のネガティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべきでない異常行動を学習した学習モデルであり、
前記監視装置が前記異常行動を検知しなかったが、前記端末装置がセルフ給油を許可する操作を受け付けなかった場合に、前記異常行動の検知漏れと判定されて、その際のカメラ映像が前記異常行動のポジティブ用学習データとして前記画像データベースに記憶され、
前記監視装置が前記正常行動を検知したが、前記端末装置がセルフ給油を許可する操作を受け付けた場合に、前記異常行動の誤検知と判定されて、その際のカメラ映像が前記異常行動のネガティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべきでない複数種類の異常行動を学習した学習モデルであり、
前記監視装置は、監視員が前記複数種類の異常行動のいずれかを確認してセルフ給油を許可しない場合に、前記監視員から前記確認した異常行動の種類を受け付け、
前記監視装置が前記複数種類の異常行動のいずれも検知しなかったが、前記端末装置がセルフ給油を許可する操作ではなく前記確認した異常行動の種類を受け付けた場合に、前記端末装置が受け付けた異常行動の種類についての検知漏れと判定されて、その際のカメラ映像が当該異常行動の種類についてのポジティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべきでない複数種類の異常行動を学習した学習モデルであり、
前記監視装置が前記複数種類の異常行動のいずれかを検知したが、前記端末装置がセルフ給油を許可する操作を受け付けた場合に、前記監視装置が検知した異常行動の種類についての誤検知と判定されて、その際のカメラ映像が当該異常行動の種類についてのネガティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべきでない複数種類の異常行動を学習した学習モデルであり、
前記監視装置は、監視員が前記複数種類の異常行動のいずれかを確認してセルフ給油を許可しない場合に、前記監視員から前記確認した異常行動の種類を受け付け、
前記監視装置が前記複数種類の異常行動のいずれかを検知し、前記端末装置がセルフ給油を許可する操作ではなく前記確認した異常行動の種類を受け付けたが、前記監視装置が検知した異常行動の種類と前記端末装置が受け付けた異常行動の種類とが一致しない場合に、前記端末装置が受け付けた異常行動の種類についての検知漏れと判定されて、その際のカメラ映像が当該異常行動の種類についてのポジティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべき正常行動と給油者が行うべきでない異常行動を学習した学習モデルであり、
前記監視装置が前記正常行動と前記異常行動のいずれも検知しなかったが、前記端末装置がセルフ給油を許可する操作を受け付けた場合に、前記正常行動の検知漏れと判定されて、その際のカメラ映像が前記正常行動のポジティブ用学習データとして前記画像データベースに記憶され、
前記監視装置が前記正常行動と前記異常行動のいずれも検知しなかったが、前記端末装置がセルフ給油を許可する操作を受け付けなかった場合に、前記異常行動の検知漏れと判定されて、その際のカメラ映像が前記異常行動のポジティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべき正常行動と給油者が行うべきでない異常行動を学習した学習モデルであり、
前記監視装置が前記正常行動を検知したが、前記端末装置がセルフ給油を許可する操作を受け付けなかった場合に、前記異常行動の検知漏れと判定されて、その際のカメラ映像が前記異常行動のポジティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - 請求項2に記載のセルフ給油監視システムにおいて、
前記学習モデルは、給油者が行うべき正常行動と給油者が行うべきでない異常行動を学習した学習モデルであり、
前記監視装置が前記異常行動を検知したが、前記端末装置がセルフ給油を許可する操作を受け付けた場合に、前記正常行動の検知漏れと判定されて、その際のカメラ映像が前記正常行動のポジティブ用学習データとして前記画像データベースに記憶されることを特徴とするセルフ給油監視システム。 - セルフ給油の様子を撮影したカメラ映像から給油者が行う可能性がある所定の行動を検知する監視装置によって使用される学習モデルを学習する学習装置であって、
前記監視装置による検知結果とセルフ給油の際に監視員が端末装置に入力したセルフ給油の許否に関する操作内容とが一致しないことにより、前記所定の行動の検知漏れ又は誤検知と判定し、前記所定の行動の検知漏れ又は誤検知と判定された場合のカメラ映像を、前記所定の行動の学習モデルを再学習するための学習データとして記憶する画像データベースを有することを特徴とする学習装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021110868A JP7273109B2 (ja) | 2021-07-02 | 2021-07-02 | セルフ給油監視システム及び学習装置 |
JP2023073122A JP2023109766A (ja) | 2021-07-02 | 2023-04-27 | セルフ給油監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021110868A JP7273109B2 (ja) | 2021-07-02 | 2021-07-02 | セルフ給油監視システム及び学習装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023073122A Division JP2023109766A (ja) | 2021-07-02 | 2023-04-27 | セルフ給油監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023007794A JP2023007794A (ja) | 2023-01-19 |
JP7273109B2 true JP7273109B2 (ja) | 2023-05-12 |
Family
ID=85112551
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021110868A Active JP7273109B2 (ja) | 2021-07-02 | 2021-07-02 | セルフ給油監視システム及び学習装置 |
JP2023073122A Pending JP2023109766A (ja) | 2021-07-02 | 2023-04-27 | セルフ給油監視システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023073122A Pending JP2023109766A (ja) | 2021-07-02 | 2023-04-27 | セルフ給油監視システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7273109B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016015045A (ja) | 2014-07-02 | 2016-01-28 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2019053384A (ja) | 2017-09-13 | 2019-04-04 | 沖電気工業株式会社 | 異常検知システム、情報処理装置、及び、異常検知方法 |
JP2021091459A (ja) | 2019-12-11 | 2021-06-17 | Eneos株式会社 | セルフ給油管理システム |
JP2021091460A5 (ja) | 2019-12-11 | 2022-10-17 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021091460A (ja) | 2019-12-11 | 2021-06-17 | Eneos株式会社 | セルフ給油管理システム |
-
2021
- 2021-07-02 JP JP2021110868A patent/JP7273109B2/ja active Active
-
2023
- 2023-04-27 JP JP2023073122A patent/JP2023109766A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016015045A (ja) | 2014-07-02 | 2016-01-28 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2019053384A (ja) | 2017-09-13 | 2019-04-04 | 沖電気工業株式会社 | 異常検知システム、情報処理装置、及び、異常検知方法 |
JP2021091459A (ja) | 2019-12-11 | 2021-06-17 | Eneos株式会社 | セルフ給油管理システム |
JP2021091460A5 (ja) | 2019-12-11 | 2022-10-17 |
Also Published As
Publication number | Publication date |
---|---|
JP2023007794A (ja) | 2023-01-19 |
JP2023109766A (ja) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112004061A (zh) | 一种基于计算机视觉的卸油流程规范性智能监控方法 | |
JP5289022B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6393946B2 (ja) | 監視装置、方法、プログラム、又はシステム | |
CN112578690B (zh) | 一种楼宇能耗智能管控系统及方法 | |
CN110889339A (zh) | 基于头肩检测的危险区域分级预警方法与系统 | |
CN109509545A (zh) | 基于生物识别的查房考核方法、装置、服务器及介质 | |
US20190281187A1 (en) | Login support system that supports login to electronic apparatus, and information processing apparatus | |
JP7012472B2 (ja) | 宅配レンタカーカメラシステム | |
JP7273109B2 (ja) | セルフ給油監視システム及び学習装置 | |
JP2024071768A (ja) | セルフ給油管理システム | |
JP5387595B2 (ja) | 人物監視装置、人物監視方法、及びコンピュータプログラム | |
JP6017163B2 (ja) | 警備装置、及び警備方法 | |
CN111062366B (zh) | 一种消控室内人员姿态检测方法及系统 | |
US9767347B2 (en) | Analysis processing system | |
US20210216755A1 (en) | Face authentication system and face authentication method | |
CN111881733B (zh) | 一种工人作业工步规范视觉识别判定与指导方法和系统 | |
CN114125274A (zh) | 一种无人值守机房报警方法、系统、存储介质及智能终端 | |
JP2019101465A (ja) | 情報処理システム、その制御方法、制御プログラム、および記録媒体 | |
CN114701934A (zh) | 电梯的安防控制方法、装置、系统以及云平台、存储介质 | |
JP7166106B2 (ja) | 設置環境推定装置及びプログラム | |
JP7281595B1 (ja) | セルフ給油システム | |
JP2009201014A (ja) | 要約文作成装置及び要約文作成方法 | |
US20230011396A1 (en) | Systems and methods for providing personalized and contextualized environment security information | |
CN113095110B (zh) | 人脸数据动态入库的方法、装置、介质及电子设备 | |
CN118278899B (zh) | 一种集气站安全管控的方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221026 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7273109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |