以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態)
図1は、本実施の形態における燃料供給システムのブロック図である。
図2は、本実施の形態における燃料供給システムの模式図である。
燃料供給システム1は、情報処理装置10と、燃料供給装置20とを備えている。なお、ここでは、燃料供給装置20が一つである場合について説明するが、燃料供給システム1は、2以上の燃料供給装置20を備えていても良い。情報処理装置10と1または2以上の燃料供給装置20とは、無線または有線のネットワーク等により通信可能となるよう接続されている。
情報処理装置10は、取得情報受付部101、解析部102、ユーザ認識情報格納部103、処理部104、ユーザ情報格納部105、ユーザ情報出力部106、取得部107、供給関連情報格納部108、解析蓄積部109、属性対応情報格納部110、および属性対応出力部111を備えている。
燃料供給装置20は、カメラ201、取得情報出力部202、受付部203、供給機204、制御部205、出力部206、操作受付部207、および供給関連出力部208を備えている。燃料供給装置20の正面には、ドーム形状の静電除去シート210が取付けられている。また、燃料供給装置20の正面には、モニタ2061と、このモニタ2061の画面に設けられたタッチパネル2071とが取付けられている。また、燃料供給装置20には、1以上のホース211を介して燃料を供給するノズル212が取付けられている。燃料供給装置20は、燃料計量器と考えてもよい。
燃料供給装置20は、移動体に燃料を供給する装置である。移動体とは、例えば、自動車や自動二輪車、原動機付き自転車、電動機付自転車等である。燃料とは、移動体が利用する燃料であり、例えば、ガソリンや、軽油、アルコール等の液体燃料、LPガス、水素ガス等の気体燃料、電気等である。以下、本実施の形態においては、燃料が液体燃料であり、移動体が、液体燃料を利用する自動車や、自動二輪等の移動体である場合について説明する。ただし、燃料供給装置20が供給する燃料は、液体燃料に限定されるものではなく、また、移動体は、液体燃料を利用する移動体に限定されるものではない。
取得情報受付部101は、移動体に燃料を供給する燃料供給装置20が有するセンサが取得した情報である取得情報を受け付ける。以下、本実施の形態においては、燃料供給装置20が有するセンサが、カメラ201であり、センサが取得した取得情報が、カメラ201が撮影した画像である例について説明する。すなわち、取得情報受付部101が、カメラ201が撮影した画像を受け付ける例について説明する。取得情報受付部101は、例えば、燃料供給装置20の取得情報出力部202から、カメラ201が撮影した画像を受信する。カメラ201が撮影した画像とは、例えば、カメラ201が燃料供給を行なう際のユーザを撮影した画像である。カメラ201が撮影した画像とは、例えば、燃料供給を行なう際に燃料供給装置20のカメラ201の前に立ったユーザをカメラ201が撮影した画像である。カメラ201が撮影する画像は、ここでは動画像である場合について説明するが、カメラ201が撮影する画像は、1または2以上の静止画像であってもよい。例えば、カメラ201が撮影する画像は、予め決められた時間間隔ごとに撮影された複数の静止画像の群であっても良い。カメラ201が撮影した画像は、カラー画像であっても良く、モノクローム画像であっても良い。また、カメラ201が撮影した画像のフォーマット等は問わない。なお、取得情報受付部101による画像の受付は、画像の受信に限定されるものではなく、例えば、信号線等を介してカメラ201等が出力する画像の受け付け等であっても良い。
解析部102は、取得情報受付部101が受け付けた取得情報を解析する。ここでは、解析部102が、取得情報受付部101が受け付けた画像を解析する例について説明する。解析部102は、例えば、画像を解析することにより、画像が予め決められた条件を満たすか否かを判断する。解析部102は、例えば、画像内のユーザの状況について解析を行なう。ユーザの状況についての解析とは、ユーザが保持する物品の解析や、ユーザの人数の解析や、ユーザの動作の解析である。以下、解析部102が行なう解析および判断の処理の例について説明する。ただし、解析部102が行なう解析は、以下の解析に限定されるものではない。
(1)保持する物品についての解析
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザによる予め決められた物品の保持を検知し、保持が検知された場合に、予め決められた条件を満たすと判断する。予め決められた物品とは、例えば、燃料を供給する際に保持していることが危険と考えられる物品である。予め決められた物品は、例えば、火気である。火気は、例えば、火のついたタバコである。ここでの保持は、例えば、タバコを口にくわえることも含むと考えてよい。また、予め決められた物品は、ライター等であってもよい。また、予め決められた物品は、携帯電話やいわゆるスマートフォン等の携帯端末であってもよい。解析部102は、例えば、燃料の引火等を防ぐために、火気等の予め決められた物品の保持を検知する。解析部102は、例えば、画像認識を行なって、画像から予め決められた物品を検知する。例えば、解析部102は、画像から特徴を分離抽出し、パターンマッチングや変換等を行い、予め決められた物品の特徴を特定し認識する。画像認識は、例えば、予め決められた物品について取得しておいた特徴点の情報や、予め決められた物品の画像等を用いて行なう。例えば、解析部102は、予め決められた物品の特徴点と一致する特徴点を有する画像を、取得情報受付部101が受け付けた画像から、パターンマッチング等を行なって検知する。この特徴点の情報は、例えば、情報処理装置10の図示しない格納部に蓄積しておくようにして、解析時に適宜読み出すようにすればよい。なお、解析部102が利用する画像認識処理は、上記の画像認識処理に限定されるものではない。特定の物品を検知する画像認識処理については、公知技術であるため、ここでは詳細な説明は省略する。なお、これ以降において解析部102が行なう画像認識も、ここで説明した画像認識と同様の画像認識を行なうようにすればよい。この場合、ここでの予め決められた物品は、画像認識により検知する対象物に適宜読み換えるようにすればよい。
(2)人数についての解析
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内に複数の人物が存在するか否かを判断し、複数の人物が存在すると判断した場合に、予め決められた条件を満たすと判断する。例えば、解析部102は、画像から、上記と同様に画像認識を行なって人間を検知し、検知した人間の数が、2人以上であるか否かを判断する。2人以上であれば、予め決められた条件を満たすと判断する。一人であれば、予め決められた条件を満たさないと判断する。複数人で燃料の供給を行なうと静電気等が発生して、燃料に引火する場合がある。解析部102は、このような燃料の引火を防ぐために、複数の人物が燃料の供給を行なうことを検知する。人間を検知する際には、画像を解析して画像内の人間の顔を検知するようにしても良い。そして、検知した顔が、2以上であれば、条件を満たすと判断し、一つであれば、条件を満たさないと判断しても良い。人の検知や、人間の顔認識については公知であるため、ここでは詳細な説明は省略する。
(3)動作についての解析
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザの動作が、予め決められた条件を満たすか否かを判断する。解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザが予め決められた動作を行なったか否かを検知し、予め決められた動作を行なったことが検知されていない場合に、予め決められた条件を満たすと判断し、予め決められた動作を行なったことが検知された場合に、予め決められた条件を満たさないと判断する。ここでの、予め決められた動作は、例えば、安全のために、燃料供給の前に必須となる動作である。予め決められた動作は、例えば、燃料供給装置20に取付けられた静電除去シート210をタッチする動作である。例えば、解析部102は、画像を解析して、画像内のユーザが静電除去シート210をタッチしたことを検知し、タッチされたことが検知された場合、予め決められた条件を満たさないと判断し、タッチされたことが検知されない場合は、予め決められた条件を満たすと判断する。解析部102は、例えば、静電除去シート210がタッチされたことが検知されるまでは、予め決められた条件を満たすと判断し続けるようにしてもよい。また、静電除去シート210がタッチされたことが検知される前に、燃料を供給するガンノズル等と呼ばれるノズル等にタッチする等の予め決められた動作が検知された場合に、予め決められた条件を満たすと判断してもよい。なお、静電除去シート210へのタッチのように、解析部102による検知の対象が一度行なえばよい動作である場合、解析部102は、例えば、この動作を一度検知した後は、検知したことを示すフラグ等の情報を図示しない格納部等に蓄積するようにし、その後の、同じ動作を検知する処理においては、このフラグの情報が検出できれば、取得情報受付部101が受け付けた画像からこの動作の検出を行なわなくても、画像内のユーザの動作が、予め決められた条件を満たすという判断結果を取得するようにする。
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザが予め決められた動作を行なったか否かを判断し、予め決められた動作を行なったことが検知された場合に、予め決められた条件を満たすと判断し、予め決められた動作を行なったことが検知されなかった場合に、予め決められた条件を満たさないと判断してもよい。例えば、解析部102は、ユーザが、移動体以外へ燃料供給(例えば、給油)を行なうための動作を行なったか否かを判断し、移動体以外へ燃料供給を行なうための動作を行なったことが検知された場合に、予め決められた条件を満たすと判断し、検知されなかった場合には、予め決められた条件を満たさないと判断してもよい。移動体以外へ燃料供給を行なうための動作とは、例えば、ポリタンクにガソリン等の燃料を供給するための動作であり、例えば、燃料のノズルの移動先が、移動体と重なる位置であるか否かを画像から検知することで、移動体への燃料供給であるか否かを検知することができる。あるいは、解析部102は、画像内においてポリタンクを検知し、検知できた場合に、移動体以外への燃料供給であると判断してもよい。
なお、解析部102は、画像の解析結果と、燃料供給装置20に設けられた他のセンサ等(図示せず)が検知した情報等との組合せが、予め決められた条件を満たすか否かを判断するようにしてもよい。例えば、解析部102が画像から、ユーザが移動体に燃料供給を行なう予め決められた動作(例えば、移動体の燃料供給口に燃料供給装置のノズル等を差し込む動作)を検知し、この動作の検知が、静電除去シート210に設けた圧力センサ(図示せず)がユーザのタッチによる圧力を検知した後である場合には、予め決められた条件を満たさないと判断して安全担保処理を行なわないようにし、上記の動作が、静電除去シート210に設けた圧力センサ(図示せず)がユーザのタッチによる圧力を検知していない状況で検知された場合には、予め決められた条件を満たすと判断して安全担保処理を行なうようにしてもよい。
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザが登録されたユーザであるか否かを判断してもよい。登録されたユーザとは、例えば、特定の組織の一員として登録されているユーザである。特定の組織の一員とは、例えば、特定の会の会員等である。特定の会とは、例えば、給油所等の、燃料の提供を行なうものが運営している顧客向けの会である。例えば、解析部102は、取得情報受付部101が受け付けた画像から、ユーザの顔の特徴点の情報を取得し、予め蓄積されている1または2以上の登録されたユーザの顔の特徴点の情報から、取得した特徴点の情報と一致する特徴点のユーザを検知する。取得するユーザの特徴点の情報は、例えば、予め決められた特徴点の情報である。ここでは、後述するユーザ認識情報格納部103に予め格納されている登録されている1以上のユーザの顔の特徴点の情報を用いてユーザが登録されたユーザであるか否かを判断する場合について説明する。例えば、解析部102は、取得情報受付部101が受け付けた画像から、ユーザの顔の特徴点の情報を取得し、ユーザ認識情報格納部103に格納されている1または2以上の登録されたユーザの顔の特徴点の情報から、取得した特徴点の情報と一致する特徴点の情報を検知し、検知できた場合、登録されたユーザであると判断する。解析部102は、登録されたユーザである場合に、例えば、このユーザに対応付けられたユーザ識別子を解析結果として取得する。例えば、解析部102は、画像から取得した特徴点の情報と一致する特徴点の情報がユーザ認識情報格納部103に格納されている特徴点の情報から検知された場合に、この特徴点の情報に対応付けてユーザ認識情報格納部103に格納されているユーザ識別子を取得しても良い。ユーザ識別子は、例えば、ユーザの会員番号等であっても良く、ユーザに割当てられたユニークな文字列等であっても良く、ユーザのメールアドレス等であっても良い。ここでの特徴点の情報の一致は、完全一致であっても良く、部分一致(例えば、閾値以上の一致)であっても良い。なお、登録されたユーザを認識する処理は、顔認証処理等において公知技術であるため、ここでは詳細な説明は省略する。ただし、解析部102が行なう登録ユーザであるか否かの判断処理は、上記の処理に限定されるものではない。
また、解析部102は、例えば、画像を解析して、取得情報受付部101が受け付けた画像内のユーザに関する属性値を解析結果として取得してもよい。ユーザに関する属性値は、例えば、ユーザの性別や、ユーザの年齢や年齢層等を示す値である。例えば、解析部102は、取得情報受付部101が受け付けた画像から、ユーザの顔や体型等についてユーザの特徴点の情報を取得し、取得した情報を用いてユーザに関する属性値を取得する。例えば、解析部102は、SVMや、SVR、深層学習、決定木、ランダムフォレスト等の機械学習等の技術を用いて、画像から取得した特徴点の情報を用いて、ユーザに関する属性値を取得する。例えば、解析部102は、画像から取得した複数のユーザの特徴点の情報と、この複数のユーザのそれぞれに関する属性値とを予め学習させた学習データを用いて、画像から取得した特徴点の情報から、ユーザの属性値を取得する。学習データは、例えば、図示しない格納部等に予め格納されているようにすればよい。なお、機械学習等により、ユーザの特徴点の情報から、ユーザの性別や年齢等を取得する処理は公知技術であるため、ここでは、詳細な説明は省略する。なお、解析部102が、ユーザに関する属性値を取得する処理は、上記の処理に限定されるものではない。
ユーザ認識情報格納部103には、1または2以上のユーザの顔の特徴点の情報が格納されている。この1または2以上のユーザは、例えば、会員等に予め登録されたユーザである。ここでは、一例として、ユーザ認識情報格納部103に、会員等に予め登録されたユーザの顔の特徴点の情報と、このユーザのユーザ識別子とを有する1または2以上のユーザ認識情報が格納されている場合について説明する。例えば、上述した解析部102は、画像から取得した特徴点と一致する特徴点を有するユーザ認識情報をユーザ認識情報格納部103に格納されているユーザ認識情報から検知し、検知したユーザ認識情報が有するユーザ識別子を取得する。なお、ユーザ認識情報格納部103には、1または2以上のユーザの顔の特徴点の情報の代わりに、ユーザの顔の画像等が格納されているようにして、解析部102が登録されたユーザ等を検知する際に、格納されている顔の画像からユーザの顔の特徴点の情報を取得するようにしても良い。
ユーザ認識情報格納部103は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部についても同様である。
処理部104は、解析部102の解析結果に応じた処理を行なう。処理部104は、例えば、解析部102が予め決められた条件を満たすと判断した場合に、解析結果に応じた処理として、安全を担保するための安全担保処理を行なう。例えば、解析部102が、上記で(1)~(3)に示したような判断を行なった結果、予め決められた条件を満たすと判断した場合に、処理部104は、解析結果に応じた処理として、安全を担保するための安全担保処理を行なうようにしてもよい。安全担保処理とは、例えば、燃料供給装置20を用いて燃料供給を行なう際の安全を担保するための処理である。安全担保処理とは、例えば、安全を担保するための警告の出力である。ここでの警告とは、警告を出力するための情報と考えてもよい。警告は、例えば、燃料供給を行えない状況であることを通知する情報や、燃料供給を禁止することを通知する情報や、燃料供給を行なうためにはどのような点を改善すべきかを通知する情報であっても良い。ここでの警告は、警告音や、警告する音声の出力であってもよく、警告するテキストや画像の出力であっても良い。警告は、例えば、上記の(1)~(3)の判断結果にそれぞれ応じて異なっていてもよい。ここでの警告の出力は、情報処理装置10が出力しても良く、燃料供給装置20が出力してもよい。例えば、処理部104は、燃料供給装置20に対し、所望の警告を出力させるための指示等を出力してもよい。ここでの出力は、ネットワーク等を介した送信であってもよい。
また、安全担保処理は、燃料供給を禁止する制御処理であっても良い。燃料供給を禁止する制御処理は、例えば、燃料供給を禁止するよう燃料供給装置20を制御する処理である。燃料供給を禁止する制御処理とは、燃料を供給するための操作を受け付けなくする制御処理であっても良く、燃料を供給する操作を受け付けても、燃料が供給されないようにする制御処理であってもよい。例えば、処理部104は、燃料供給を禁止する制御指示を燃料供給装置20に出力するようにしても良い。ここでの出力は、ネットワーク等を介した送信であってもよい。
なお、安全担保処理を行なった後に、解析部102が予め決められた条件を満たさなくなったことを検知した場合に、処理部104は、安全担保処理を終了したり解除したりするようにしてもよい。例えば、警告の出力を終了したり、燃料供給の禁止を終了する制御出力を行なってもよい。例えば、処理部104は、警告の出力を終了する指示や、燃料供給の禁止を終了する制御指示を、燃料供給装置20に送信しても良い。
なお、ここでの出力は、モニタへの表示、音出力、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。ユーザ情報出力部106は、モニタやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
ユーザ情報格納部105には、ユーザ情報が格納される。ユーザ情報は、上述したような登録されたユーザに関する情報である。例えば、ユーザ情報は、特定の組織に属する会員であるユーザに関する情報である。ユーザ情報は、例えば、ユーザが有しているポイントやクーポン等の特典に関する情報であっても良く、ユーザ情報は、ユーザの名前、年齢、性別、住所等の情報であっても良く、ユーザの特定の組織における階級やクラス等を示す情報であってもよい。ユーザ情報は、これらの2以上の情報を有していてもよい。ユーザ情報は、例えば、対応するユーザのユーザ識別子と対応付けてユーザ情報格納部105に格納される。
ユーザ情報出力部106は、解析部102が解析結果として取得したユーザ識別子を用いて、ユーザ情報格納部105からこのユーザ識別子に対応付けられたユーザ情報を取得して出力する。ここでの出力は、モニタへの表示、音出力、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。例えば、ユーザ情報出力部106は、取得したユーザ識別子と一致するユーザ識別子を、ユーザ情報格納部105に格納されているユーザ識別子の中から検知し、検知したユーザ識別子と対応付けられたユーザ情報を読み出して出力する。例えば、ユーザ情報出力部106は、取得したユーザ情報を、燃料供給装置20に送信する。
ユーザ情報出力部106は、モニタやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
取得部107は、燃料供給装置20が行なう燃料供給に関連する供給関連情報を取得する。供給関連情報は、例えば、燃料供給を行なった日時や、供給した燃料の量を示す情報や、供給した燃料の料金の情報や、燃料の種類を示す情報等である。例えば、取得部107は、燃料供給装置20が出力する供給関連情報を取得する。例えば、取得部107は、燃料供給装置20が送信する供給関連情報を受信する。取得部107は、例えば、情報を受信する受信手段等を有していても良い。
供給関連情報格納部108には、供給関連情報が、解析部102が取得した画像の解析結果と対応付けて蓄積される。
解析蓄積部109は、解析部102が取得した解析結果と、取得部107が取得した供給関連情報とを対応付けて蓄積する。ここでの解析結果は、例えば、解析部102が取得したユーザ識別子、またはユーザに関する属性値であっても良く、その両方であってもよい。
属性対応情報格納部110には、1または2以上の属性対応情報が格納される。属性対応情報は、ユーザの属性値と対応付けて、属性対応情報格納部110に格納される。一の属性値と対応付けられて属性対応情報格納部110に格納されている属性対応情報は、この属性値に対応づけられた情報である。一の属性値に対応付けられた属性対応情報は、この属性値を有するユーザに対して提供することが好ましい、あるいは提供することが求められる情報である。属性対応情報は、例えば、広告である。例えば、一の属性値に対応付けられた属性対応情報は、この属性値を有するユーザに提供することが望まれる広告である。ここでの広告は、テキストデータの広告であってもよく、静止画像や動画像の広告であってもよく、音声の広告であってもよく、そのデータの種類等は問わない。また、一の属性値に対応付けられた属性対応情報は、この属性値を有するユーザに提供することが望まれるクーポンや景品やサービスの引換券等の特典情報であってもよい。クーポンは、例えば、クーポンコード等であってもよい。
属性対応出力部111は、解析部102が取得したユーザの属性値に応じて属性対応情報を取得し出力する。例えば、属性対応出力部111は、属性対応情報格納部110から、解析部102が取得したユーザの属性値と予め決められた関係を有する属性値と対応付けられて蓄積されている属性対応情報を取得し出力する。予め決められた関係は、例えば、一致する、という関係であっても良い。例えば、属性対応出力部111は、属性対応情報格納部110から、解析部102が取得したユーザの属性値と一致する属性値と対応付けられて蓄積されている属性対応情報を取得し出力する。ここでの一致は、完全一致であっても良く、部分一致であってもよい。また、予め決められた関係は、包含関係にある関係等であっても良い。ここでの出力は、モニタへの表示、音出力、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。例えば、属性対応出力部111は、取得した属性対応情報を燃料供給装置20に送信する。
属性対応出力部111は、モニタやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
カメラ201は、燃料供給装置20が有するセンサである。カメラ201は、画像を撮影する。例えば、カメラ201は、CCD(Charge Coupled Device)やCMOS(Complementary MOS)等の撮像素子と、レンズ等の光学系を有するカメラである。カメラ201は、例えば、可視光に感度を有するカメラである。ただし、赤外線に感度を有するカメラであっても良い。カメラ201は、例えば、燃料の供給を行なうユーザが撮影できる位置に設けられており、このユーザを撮影する。カメラ201は、通常、燃料供給装置20の正面に設けられており、正面に位置するユーザを撮影する。燃料供給装置20の正面とは、例えば、供給する燃料のオーダー等を受け付けるインターフェース(図示せず)等が設けられている面である。カメラ201が撮影する画像は、通常、動画像であるが、一定又は不定のタイミング毎に連続して撮影される静止画像であっても良い。
カメラ201の光軸方向、取付け位置、画角、画素数、撮影する画像がカラーであるかモノクロームであるか等は問わない。カメラ201は、例えば、燃料供給を行なうために燃料供給装置20の正面に立ったユーザを撮影可能な位置に取付けられていることが好ましい。また、カメラ201は、解析部102が行なう解析に利用可能な画像が撮影可能な画角や光軸方向、画素数等を有していることが好ましい。例えば、解析部102が、ユーザの顔から、解析によってユーザを特定する場合、カメラ201は、ユーザの顔が撮影可能となるような光軸方向および画角となるよう燃料供給装置20に取付けられていることが好ましい。カメラ201は、例えば、広角レンズや魚眼レンズ等を備えたカメラであることが好ましい。また、解析部102が、ユーザが静電除去シート210にタッチした否かを解析する場合、カメラ201は、静電除去シート210が撮影可能となるような光軸方向および画角となるよう燃料供給装置20に取付けられていることが好ましい。カメラ201が画像の撮影を開始するタイミング等は問わない。例えば、カメラ201は、常時、画像を撮影していても良く、ユーザが後述するタッチパネル2071等を操作した場合に撮影を開始しても良い。なお、燃料供給装置20が有するカメラ201は、通常一つであるが、複数であっても良い。また、カメラ201は、撮影した画像の画角等を補整した画像を、後述する取得情報出力部202に渡しても良い。なお、カメラ201は、距離画像センサ(図示せず)を用いて距離画像を撮影するカメラであっても良い。
取得情報出力部202は、燃料供給装置20が有するセンサが取得した取得情報を情報処理装置20に出力する。ここでは、取得情報出力部202が、センサであるカメラ201が撮影した画像を情報処理装置10に出力する例について説明する。ここでの出力は、送信であっても良い。例えば、取得情報出力部202は、カメラ201が撮影した画像を情報処理装置10に送信する。取得情報出力部202は、カメラ201が撮影した画像を、タイムラグができるだけ生じないように出力することが好ましい。例えば、取得情報出力部202は、無線または有線の通信手段で実現される。
受付部203は、情報処理装置10から出力される情報を受け付ける。受付部203は、例えば、情報処理装置10から出力される警告、燃料供給を禁止するための制御指示、ユーザ情報、および属性対応情報を受け付ける。ここでの受け付けは受信であっても良い。受付部203は、例えば、処理部104が送信する警告を受信する。また、受付部203は、例えば、処理部104が送信する燃料供給を禁止するための制御指示を受信する。また、受付部203は、例えば、ユーザ情報出力部106が送信するユーザ情報を受信する。また、受付部203は、例えば、属性対応出力部111が送信する属性対応情報を受信する。例えば、受付部203は、無線または有線の通信手段で実現される。
供給機204は、燃料を供給する処理等を行なう。供給機204は、例えば、図示しない燃料タンク、燃料タンクと連通する燃料の経路となる供給管、供給管の途中に設けられた燃料を供給するためのポンプ、流量パルス発振器等と接続された燃料の流量計等を備えている。この供給管の先端(燃料タンクとは反対側の端部)に、ホース211を介してノズル212が取付けられている。供給機204は、例えば、通常のガソリン等の液体燃料の燃料供給装置と同様の構成を有していればよい。供給機204の構成は公知であるため、詳細な説明は省略する。なお、供給機204の構成は、燃料が供給可能なものであれば、この構成に限定されるものではない。
なお、燃料供給装置20は、ユーザに対して決済処理等を行なう決済処理部(図示せず)等を有していても良い。決済処理は、例えば、課金処理も含むと考えてもよい。決済処理部については、通常の燃料供給装置等において公知であるため、ここでは詳細な説明は省略する。
制御部205は、供給機204による燃料の供給を制御する。例えば、制御部205は、供給機204からの燃料供給の開始や停止を制御する。制御部205は、例えば、後述する操作受付部207が受け付けた操作に応じて、供給機204からの燃料供給の開始や停止を制御する。制御部205は、受付部203が受け付けた燃料供給を禁止するための制御指示に応じて、燃料供給を行なわないようにする。例えば、制御部205は、燃料供給を禁止するための制御指示に応じて、燃料を供給する操作を受け付けられないよう操作受付部207等を制御してもよく、燃料を供給する操作を受け付けても供給機204が燃料を供給しないよう制御してもよい。燃料を供給する操作を受け付けないようにする制御は、例えば、供給機204がノズル212から液体燃料を供給するものである場合、供給機204に接続されたノズル212の燃料を供給するためのレバーを引けないようにロックすることや、レバーを引いても、燃料を供給する指示が、供給機204が有する燃料を送り出すポンプ(図示せず)に送信されないようにすることであっても良い。なお、燃料供給を禁止する制御は、かかる制御に限定されるものではない。
制御部205は、供給機204等から上述したような供給関連情報を取得する。また、制御部205は、カメラ201や取得情報出力部202等の他の処理部の処理を制御してもよい。また、制御部205は、上述したような図示しない決済処理部の処理を制御してもよい。なお、制御部205は、受付部203が燃料供給の禁止を終了する制御指示を受け付けた場合、この制御指示に応じて、燃料供給の禁止を終了してもよい。燃料供給の禁止を終了する、ということは、例えば、供給機204を燃料供給可能な状態に制御することである。
出力部206は、例えば、受付部203が受け付けた警告の出力を行なう。例えば、出力部206は、受付部203が受け付けたユーザ情報を出力する。また、出力部206は、例えば、受付部203が受け付けた広告等の属性対応情報を出力する。ここでの出力は、表示であっても良く、音声出力であっても良く、これらの組合せであっても良い。なお、出力部206は、例えば、燃料供給装置20に対する操作や、料金決済のための操作等を受け付けるための操作メニュー画面等を表示してもよい。出力部206は、表示を、例えば、燃料供給装置20の正面に設けられたモニタ2061を用いて行なう。ただし、出力部206が利用する表示デバイスはモニタ2061に限定されるものではない。また、出力部206が警告の出力を終了する指示を受付部203が受け付けた場合、この指示に応じて警告の表示を終了しても良い。
操作受付部207は、燃料供給装置20に対する操作を受け付ける。例えば、操作受付部207は、燃料供給を行なうための操作や、料金決済のための操作等を受け付けてもよい。操作受付部207は、例えば、出力部206が表示する操作メニュー画面等を介して操作を受け付ける。ここでは、操作受付部207がタッチパネル2071を介して操作を受け付ける場合を例に挙げて説明する。ただし、操作受付部207が操作を受け付ける入力デバイス等は、タッチパネル2071に限定されるものではない。例えば、操作受付部207は、図示しないボタン等を介して操作を受け付けても良い。
供給関連出力部208は、制御部205が取得した供給関連情報を情報処理装置10に出力する。ここでの出力は、例えば、送信である。例えば、供給関連出力部208は、無線または有線の通信手段で実現される。
次に、情報処理装置10の動作の一例について図3のフローチャートを用いて説明する。
(ステップS101)取得情報受付部101は、カメラ201が撮影した画像の受け付け(例えば、受信)を開始するか否かを判断する。例えば、取得情報受付部101は、画像を受け付けていない状態において、新たに画像を受け付けた場合に、画像の受付を開始する。取得情報受付部101は、画像の受け付けを開始すると判断した場合、カメラ201が順次撮影する画像の受け付けを開始し、ステップS102に進む。また、画像の受け付けを開始しない場合、ステップS101に戻る。
(ステップS102)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが登録されたユーザであるか否かを判断する。登録されたユーザである場合、このユーザのユーザ識別子を取得し、ステップS103に進み、登録されたユーザでない場合、ステップS104に進む。
(ステップS103)ユーザ情報出力部106は、ステップS102で取得されたユーザ識別子に対応するユーザ情報をユーザ情報格納部105から取得して出力する。ここでの出力は、例えば、燃料供給装置20への送信である。そして、ステップS105に進む。
(ステップS104)ユーザ情報出力部106は、登録されたユーザでないことを示す情報を出力する。ここでの出力は、例えば、燃料供給装置20への送信である。そして、ステップS105に進む。
(ステップS105)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザの属性値を取得する。
(ステップS106)属性対応出力部111は、ステップS105で取得した属性対応情報を属性対応情報格納部110から取得して出力する。ここでの出力は、例えば、燃料供給装置20への送信である。
(ステップS107)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた物品を保持しているか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。例えば、燃料供給時に保持していることが禁止されている物品を保持していることを検知した場合、予め決められた条件を満たすと判断し、保持していない場合、条件を満たさないと判断する。予め決められた条件を満たす場合、ステップS108に進み、満たさない場合、ステップS111に進む。
(ステップS108)処理部104は、安全担保処理を行なう。例えば、処理部104は、安全担保処理として、燃料供給を禁止する制御指示と、物品の保持に関する警告とを燃料供給装置20へ送信する。
(ステップS109)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた物品を保持しているか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。条件を満たす場合、ステップS109に戻り、条件を満たさない場合、ステップS110に進む。
(ステップS110)処理部104は、安全担保処理を終了する。例えば、処理部104は、燃料供給の禁止を終了する制御指示と、物品の保持に関する警告の出力を終了する指示とを、燃料供給装置20へ送信する。
(ステップS111)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザの人数を検知し、人数が複数であるか否かを検知する。そして、検知した結果が予め決められた条件を満たすか否かを判断する。例えば、人数が複数である場合、予め決められた条件を満たすと判断し、複数でない場合、条件を満たさないと判断する。予め決められた条件を満たす場合、ステップS112に進み、満たさない場合、ステップS115に進む。
(ステップS112)処理部104は、安全担保処理を行なう。例えば、処理部104は、燃料供給を禁止する制御指示と、複数の人数が燃料供給装置20の近くにいることに関する警告とを、燃料供給装置20へ送信する。
(ステップS113)取得情報受付部101が受け付けた画像を解析して、ユーザの人数を検知し、人数が複数であるか否かを検知する。そして、検知した結果が予め決められた条件を満たすか否かを判断する。条件を満たす場合、ステップS113に戻り、条件を満たさない場合、ステップS114に進む。
(ステップS114)処理部104は、安全担保処理を終了する。例えば、処理部104は、燃料供給の禁止を終了する制御指示と、複数の人数が燃料供給装置20の近くにいることに関する警告の出力を終了する指示とを、燃料供給装置20へ送信する。
(ステップS115)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた動作を行なったか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。例えば、静電除去シート210へのタッチ等の燃料供給時に必須の予め決められた動作が行なわれていない場合、予め決められた条件を満たすと判断し、動作が行なわれた場合、条件を満たさないと判断する。予め決められた条件を満たす場合、ステップS116に進み、満たさない場合、ステップS119に進む。なお、静電除去シート210へのタッチのように、予め決められた動作が、給油を行なう際に一度行なえばよい動作である場合、解析部102は、例えば、このステップや、後述するステップS117において、一度、ユーザが予め決められた動作を行なったことが検知された場合、フラグ等の情報を図示しない格納部等に蓄積するようにして、その後のこのステップS115の処理においては、解析部102は、このフラグ等の情報が格納されていることが検知された場合、画像を解析せずに、動作の検知結果が予め決められた条件を満たさないと判断するようにする。
(ステップS116)処理部104は、安全担保処理を行なう。例えば、処理部104は、燃料供給を禁止する制御指示と、予め決められた動作を行なわれていないことに関する警告とを、燃料供給装置20へ送信する。
(ステップS117)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた動作を行なったか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。条件を満たす場合、ステップS117に戻り、条件を満たさない場合、ステップS118に進む。
(ステップS118)処理部104は、安全担保処理を終了する。例えば、処理部104は、燃料供給の禁止を終了する制御指示と、予め決められた動作を行なわれていないことに関する警告の出力を終了する指示とを、燃料供給装置20へ送信する。
(ステップS119)取得情報受付部101は、画像の受け付けが終了したか否かを判断する。例えば、燃料供給装置20からの画像の送信が終了したか否かを判断する。終了した場合、ステップS120に進み、終了していない場合、ステップS107に戻る。
(ステップS120)取得部107は、供給関連情報を取得したか否かを判断する。例えば、燃料供給装置20から供給関連情報を受信したか否かを判断する。供給関連情報を取得した場合(例えば、受信した場合)、ステップS121に進み、取得していない場合、ステップS120に戻る。
(ステップS121)解析蓄積部109は、ステップS120で取得した供給関連情報を、解析部102が上記で取得した解析結果のうちの予め指定された1以上を対応付けて供給関連情報格納部108に蓄積する。上記で取得した解析結果は、例えば、ユーザ識別子であっても良く、ユーザの属性値であっても良い。なお、解析部102が上記以外の解析を行なうようにし、解析によって取得した解析結果を、解析蓄積部109が供給関連情報と対応付けて蓄積するようにしても良い。そして、ステップS101に戻る。
なお、図3のフローチャートにおいて、解析部102が複数の解析を行なう順番等は、上記の順番に限定されるものではない。例えば、ステップS115からステップS118までの処理は、ステップS107の前に行なうようにしても良い。
なお、図3のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、燃料供給装置20の動作の一例について図4のフローチャートを用いて説明する。なお、ここでは、燃料供給装置20が行なう決済処理や、供給する燃料に関するオーダーを受け付ける処理等は省略する。
(ステップS201)カメラ201は、撮影開始のタイミングであるか否かを判断する。例えば、操作受付部207が燃料供給をオーダーするための操作(例えば、燃料供給開始のためのメニュー項目の選択やボタンの押下等)を受け付けた場合に、カメラ201は撮影開始のタイミングであると判断しても良い。また、図示しない赤外線センサ等のセンサが、ユーザが燃料供給装置20の正面に居ることを検知した場合に、カメラ201は撮影開始のタイミングであると判断してもよい。撮影開始のタイミングである場合、ステップS202に進み、撮影開始のタイミングでない場合、ステップS201に戻る。
(ステップS202)カメラ201は、撮影を開始して画像を取得する。カメラ201は、例えば、連続的に撮影を行なって動画像を取得する。
(ステップS203)取得情報出力部202は、カメラ201が撮影した画像を情報処理装置10に出力する。ここでの出力は、例えば送信である。
(ステップS204)受付部203は、ユーザ情報を情報処理装置10から受け付けたか否か(例えば、受信したか否か)を判断する。受け付けた場合、ステップS205に進み、受け付けていない場合、ステップS206に進む。
(ステップS205)出力部206は、ステップS204で受け付けたユーザ情報を出力する。例えば、出力部206は、ユーザ情報をモニタ2061に表示してもよく、図示しないスピーカ等からユーザ情報を音声出力してもよい。そして、ステップS207に進む。
(ステップS206)受付部203は、登録されたユーザでないことを示す情報を情報処理装置10から受け付けたか否か(例えば、受信したか否か)を判断する。受け付けた場合、ステップS207に進み、受け付けていない場合、ステップS204に戻る。
(ステップS207)受付部203は、情報処理装置10から属性対応情報を受け付けたか(受信したか)否かを判断する。受け付けた場合、ステップS208に進み、受け付けていない場合、ステップS207に戻る。
(ステップS208)出力部206は、ステップS207で受け付けた属性対応情報を出力する。例えば、出力部206は、受け付けた属性対応情報である広告の画像や音声を、モニタ2061や図示しないスピーカ等から出力する。
(ステップS209)受付部203は、燃料供給の禁止の制御指示と、警告とを受け付けたか否かを判断する。例えば、燃料供給の禁止の制御指示と、警告とを、情報処理装置10から受信したか否かを判断する。受け付けた場合(例えば、受信した場合)、ステップS210に進み、受け付けていない場合、ステップS214に進む。
(ステップS210)制御部205は、ステップS209で受け付けた制御指示に応じて、燃料供給の禁止の制御を行なう。例えば、操作受付部207等が燃料を供給する操作を受け付けないように制御してもよく、燃料を供給する操作を受け付けても、供給機204が燃料を供給しないよう供給機204等を制御しても良い。ここで受け付ける燃料供給の禁止の制御指示および警告は、図3において説明したステップS108、ステップS112、およびステップS116のいずれのステップで出力されたものであっても良い。
(ステップS211)出力部206は、ステップS209で受け付けた警告を出力する。
(ステップS212)受付部203は、燃料供給の禁止を終了する制御指示と、警告の出力を終了する指示とを受け付けたか否か(例えば、情報処理装置10から受信したか否か)を判断する。受け付けていない場合、ステップS212に戻り、受け付けた場合、ステップS213に進む。
(ステップS213)制御部205は、ステップS212で受け付けた制御指示に応じて、ステップS210で行なった燃料供給を禁止する制御を終了して、燃料供給を可能な状況とする。例えば、燃料の供給中に、燃料供給を禁止する制御によって、燃料の供給が中断された場合においては、燃料の供給を再開可能な状態とする。また、出力部206は、ステップS212で受け付けた指示に応じて、ステップS211で行なった警告の出力を終了する。そして、ステップS209に戻る。
(ステップS214)操作受付部207は、燃料を供給する操作をユーザから受け付けたか否かを判断する。燃料を供給する操作は、例えば、ノズル212に設けられた燃料を供給する図示しないレバー等を握る操作である。受け付けた場合、ステップS215に進み、受け付けていない場合、ステップS209に戻る。なお、既に、燃料を供給する操作をユーザから受け付けている場合や、既に燃料を供給する操作を受け付けて、燃料の供給が行なわれている場合等も、ここでは、燃料を供給する操作を受け付けたと判断しても良い。
(ステップS215)供給機204は、燃料を供給する。
(ステップS216)供給機204は、燃料供給を終了するか否かを判断する。例えば、予め決められた量の燃料が供給された時点で燃料供給を終了する。終了する場合、ステップS217に進み、終了しない場合、ステップS209に戻る。
(ステップS217)カメラ201は撮影を終了する。また、取得情報出力部202は、画像の出力を終了する。
(ステップS218)供給関連出力部208は、制御部205から供給関連情報を取得し、情報処理装置10に出力(例えば、送信)する。そして、ステップS201に戻る。
なお、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
(具体例)
以下、本実施の形態における燃料供給システム1の具体的な動作について一例を挙げて説明する。ここでは、燃料供給装置20が、レギュラーガソリン、いわゆるハイオクガソリンと呼ばれる高オクタン価ガソリン、および軽油を供給可能なものである場合を例に挙げて説明する。
ユーザが、ガソリンの給油を行なうために、移動体である自動車を燃料供給装置20の前に駐車して、自動車から降りて、燃料供給装置20の正面に立ったとする。そして、給油を行なうために、モニタ2061に表示される給油をオーダーするためのメニューボタンを、タッチパネル2071を介して押したとする。操作受付部207がこの操作を受け付けると、カメラ201は、撮影を行なうタイミングであると判断して、燃料供給装置20の正面のユーザの撮影を開始する。取得情報出力部202は、カメラ201が取得した動画像を、順次、情報処理装置10に対して送信する。ここでは、カメラ201は、広角レンズ(図示せず)を有しているものとする。
情報処理装置10の取得情報受付部101は、燃料供給装置20から画像が送信されると、この画像の受信を開始する。
図5は、ユーザ認識情報格納部103に格納されているユーザ認識情報を管理するユーザ認識情報管理表である。ユーザ認識情報管理表は、「ユーザID」および「特徴点」という属性を有している。「ユーザID」は、ユーザ識別子であり、ここでは、例えば、ユーザの会員番号であるとする。「特徴点」は、ユーザの顔の特徴点の情報であり、ここでは、複数の特徴点の情報が格納されたファイルのファイル名を示している。ユーザ認識情報管理表の各レコード(行)が、それぞれのユーザに対応したユーザ認識情報であるとする。このユーザ認識情報管理表は、燃料供給装置20を用いた給油を提供する企業が運営する会員制度の会員として予め登録されたユーザのユーザ識別子と、そのユーザの顔の特徴点の情報とを有するユーザ認識情報を管理するものであるとする。
図6(a)~図6(d)は、解析部102が行なう解析を説明するための、取得情報受付部101が受信した画像の1フレームを示す図である。各画像には、ドーム形状の静電除去シート210が写っているものとする。
図7は、ユーザ情報格納部105に格納されているユーザ情報を管理するユーザ情報管理表を示す図である。ユーザ情報管理表は、「ユーザID」と「ユーザ情報」という属性を有している。「ユーザ情報」は、さらに「ポイント数」と「氏名」という属性を有している。「ユーザID」については、図5の「ユーザID」と同様である。「ユーザ情報」は、ユーザ情報である。「ポイント数」は、ユーザが有するポイント数であるとする。ポイント数とは、例えば、給油に関して発生する料金の支払の割引に利用できるポイントの値や、物品に交換可能なポイントの値である。「氏名」は、ユーザの氏名である。ここでは、ユーザ情報が、ポイント数と、氏名とで構成されている
図8(a)は、出力部206によるユーザ情報の表示例を示す図であり、図8(b)は、出力部206による属性対応情報の表示例を示す図である。
解析部102は、取得情報受付部101が受信した画像を解析して、画像に撮影されているユーザが登録されたユーザであるか否かを判断する。例えば、取得情報受付部101が受信した画像が、図6(a)に示すような画像であったとすると、解析部102は、まず、ユーザの顔61を認識し、認識したユーザの顔61から複数の特徴点の情報を取得する。そして、図5に示したユーザ認識情報管理表の各レコードの中から、「特徴点」の属性値が示すファイルが有する複数の特徴点が、ユーザの顔61から取得した複数の特徴点と一致するレコードを検出する。ここでは、複数の特徴点のうちの予め設定された閾値以上の比率が一致(例えば、特徴点が90%以上一致等)する場合、顔から取得した複数の特徴点と、一のレコードの「特徴点」の属性値が示すファイルが有する複数の特徴点とが一致すると判断する。そして、一致するレコードが検出できた場合、解析部102は、検出されたレコードの「ユーザID」の属性値を取得する。ここでは、「特徴点」の情報が一致するレコードが検出され、そのレコードの「ユーザID」である「M1003」を解析部102が取得したとする。
ユーザ情報出力部106は、図7に示したユーザ情報管理表のレコード(行)の中から、「ユーザID」の属性値が、解析部102が上記で取得した「ユーザID」である「M1003」と一致するレコードを検出し、検出したレコードの「ポイント数」の属性値である「750」と「氏名」の属性値である「木村C助」を取得する。そして、ユーザ情報出力部106は、取得したユーザ情報であるポイント数「750」と氏名「木村C助」とを、燃料供給装置20に送信する。
燃料供給装置20の受付部203は、ユーザ情報であるポイント数「750」と氏名「木村C助」とを情報処理装置10から受信する。出力部206は、受信したポイント数と氏名とを、図8(a)に示すようにモニタ2061に表示する。受信した情報は、例えば、予め用意されたテンプレート等に配置して表示される。このようにして、ユーザの顔を自動的に認識して、ユーザ情報を燃料供給装置20のモニタ2061に表示することができる。
なお、ユーザ認識情報管理表において「特徴点」の情報が一致するレコードが検出できず、登録されたユーザであると判断できなかった場合、上記のようなユーザ情報等を取得する処理は行なわない。
次に、解析部102は、上記のように画像から取得したユーザの顔の特徴点から、図示しない格納部等に予め格納されている学習データを用いて、ユーザの属性値を取得する。ここでは、属性値として性別と年齢層とを示す情報を取得する。ここで用いられる学習データは、例えば、複数のユーザから取得した各ユーザの顔の特徴点と、各ユーザの性別と、各ユーザの年齢とを含む学習データである。解析部102は、属性値として、性別「男性」および年齢層「40代」という情報を取得したとする。
図9は、属性対応情報格納部110に格納されている属性対応情報を管理する属性対応情報管理表を示す図である。属性対応情報管理表は、「性別」、「年齢層」、および「属性対応情報」という属性を有している。「性別」は、ユーザの性別、「年齢層」は、ユーザの年齢層、「属性対応情報」は、広告の情報であり、ここでは、広告の動画像のファイル名を示している。この「属性対応情報」が示す広告の情報は、同じレコードの「性別」および「年齢層」が示す性別および年齢層のユーザをターゲットとした広告の情報であるとする。
図10(a)~図10(c)は、出力部206が出力する警告の表示例である。
属性対応出力部111は、図9に示す属性対応情報管理表において、「性別」の属性値が「男性」であり、かつ「年齢層」の属性値が「40代」であるレコードを検出し、検出したレコードの「属性対応情報」の属性値である「m40.mp4」を取得する。そして、属性対応情報であるファイル名が「m40.mp4」である広告の動画像のファイルを取得し、取得したファイルを燃料供給装置20に送信する。
燃料供給装置20の受付部203が属性対応情報であるファイル名が「m40.mp4」である動画像のファイルを受信すると、出力部206は、図8(b)に示すように、この動画像のファイルを燃料供給装置20のモニタ2061に表示する。これにより、ユーザの性別および年齢層にあった広告の動画像がモニタ2061に表示される。
なお、ここでは、燃料供給装置20の操作受付部207は、例えば、上記のような給油をオーダーするための操作を受け付けたあと、属性対応情報である広告の出力が終了するまでの間に、給油の種類や、給油量を指定する操作や、料金支払等の操作を受け付けていたとする。そして、この操作の受け付けに応じて、燃料供給装置20が、ユーザによるノズル212のレバー(図示せず)の操作に応じて給油が可能な状態となっていたとする。ここでの給油の種類や、給油量を指定する操作の受け付けは、例えば、出力部206がモニタ2061に表示する給油の種類や、給油量、支払方法等を受け付けるためのメニュー画面等により受け付けるようにすればよい。
情報処理装置10の解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが、予め決められた物品を保持していることを検知する処理を行なう。ここでは、予め決められた物品がタバコであるとする。すなわち、解析部102は、ユーザがタバコを保持していることを検知する処理を行なう。ここでは、例えば、取得情報受付部101が受け付けた画像が、上述したような図6(a)に示したような画像であるとすると、解析部102はこの画像内において画像認識を行なって、タバコを検知する処理を行なう。そして、タバコが検知されなかった場合、解析部102は、ユーザが予め決められた物品を保持していることに関して、予め決められた条件を満たさないと判断する。例えば、図6(a)においては、タバコが検知されないため、解析部102は予め決められた条件を満たさないと判断する。このため、処理部104は、安全担保処理を行なわない。そして、解析部102は、後述するように、人数について解析を行なう。
ここで、仮に、取得情報受付部101が受け付けた画像が、図6(b)に示すような画像であり、この画像から画像認識によりタバコ62が検知されたとすると、解析部102は、ユーザが予め決められた物品を保持していることに関して、予め決められた条件を満たすと判断する。このため、処理部104は、安全担保処理として、給油を禁止する制御指示と、タバコを保持していることに関する警告とを、燃料供給装置20に送信する。タバコを保持していることに関する警告は、例えば、タバコを保持しているために給油ができないこと、およびタバコを捨てることをユーザに求める警告のテキストの情報であるとする。この警告は、予め図示しない格納部等に格納されているものとする。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油を禁止する制御指示と、警告とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204が燃料を供給しないように制御する。具体的には、燃料供給装置20のノズル212に設けられた給油を行なうレバー(図示せず)を握ったとしても、燃料がノズル212から供給できないように、供給機204を制御する。例えば、給油を行なうレバー(図示せず)を握っても、供給機204の燃料を供給するポンプ(図示せず)が動作しないよう制御する。
また、出力部206は、受付部203が受信した警告を図10(a)に示すように、モニタ2061に表示する。
情報処理装置10の解析部102は、予め決められた物品であるタバコを保持していることを一旦検知した場合、再度、取得情報受付部101が受け付ける画像を解析して、ユーザが、タバコを保持していることを検知する処理を、予め決められた物品を保持していることが検知されなくなるまで繰り返し行なう。これにより、ユーザが予め決められた物品であるタバコを保持している間は、安全担保処理が継続されることとなる。そして、解析部102が、ユーザがタバコを保持していることを検知しなくなった場合、解析部102は、予め決められた条件を満たさないと判断する。この判断に応じて、処理部104は、給油の禁止を終了する制御指示と、警告の出力を終了する指示とを燃料供給装置20に送信する。そして、解析部102は、人数に関する解析を行なう。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油の禁止を終了する制御指示と、警告の出力を終了する指示とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204による給油の禁止を終了し、給油可能な状態となるよう制御する。また、出力部206は警告の出力を終了する。
上記のように、ユーザが保持する物品(ここでは、タバコ)について予め決められた条件を満たさないと判断した場合、解析部102は、画像内に複数の人物が存在するか否かを検知する処理を行なう。例えば、解析部102は、取得情報受付部101が受け付けた画像において、顔認識を行なって顔を検知し、検知した顔の数をカウントする。ここでは、例えば、取得情報受付部101が受け付けた画像が、上述したような図6(a)に示したような画像であるとすると、解析部102はこの画像内において顔認識を行なって顔を検知して、顔の数をカウントする。そして、顔が一つしか検知されなかった場合、解析部102は、複数の人物が検知されないと判断し、人数についての予め決められた条件を満たさないと判断する。例えば、図6(a)においては、顔が一つしか検知されないため、解析部102予め決められた条件を満たさないと判断する。このため、処理部104は、安全担保処理を行なわない。そして、解析部102は、後述するように、ユーザの動作について解析を行なう。
ここで、仮に、取得情報受付部101が受け付けた画像が、図6(c)に示すような画像であり、この画像から画像認識により顔61および顔63が検知されたとすると、検知した顔の数をカウントして、解析部102は、複数の人物を検知したと判断する。このため、解析部102は、人数に関して、予め決められた条件を満たすと判断する。このため、処理部104は、安全担保処理として、給油を禁止する制御指示と、複数の人物が存在することに関する警告を、燃料供給装置20に送信する。複数の人物が存在することに関する警告は、例えば、複数の人物が存在するために給油ができないこと、および一人で給油することをユーザに求めるテキストの情報であるとする。この警告は、予め図示しない格納部等に格納されているものとする。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油を禁止する制御指示と、警告とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204が燃料を供給しないように制御する。また、出力部206は、受付部203が受信した警告を図10(b)に示すように、モニタ2061に表示する。
情報処理装置10の解析部102は、複数の人物が存在することを一旦検知した場合、取得情報受付部101が受け付ける画像を解析して、ユーザが、複数の人物が存在することを検知する処理を、複数の人物が存在することが検知されなくなるまで繰り返し行なう。これにより、複数の人物が存在する間は、安全担保処理が継続されることとなる。そして、解析部102が、複数の人物が存在することを検知しなくなった場合、解析部102は、予め決められた条件を満たさないと判断する。この判断に応じて、処理部104は、給油の禁止を終了する制御指示と、警告の出力を終了する指示とを燃料供給装置20に送信する。そして、解析部102は、ユーザの動作に関する解析を行なう。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油の禁止を終了する制御指示と、警告の出力を終了する指示とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204による給油の禁止を終了し、給油可能な状態となるよう制御する。また、出力部206は警告の出力を終了する。
画像内に複数の人物が存在することを検知しなかった場合、解析部102は、ユーザが予め決められた動作を検知する処理を行なう。ここでの予め決められた動作は、静電除去シート210にタッチする動作である。例えば、解析部102は、取得情報受付部101が受け付けた画像内の静電除去シート210が位置する領域210aに、ユーザの手が侵入したか否かを検知する処理を行なう。例えば、静電除去シート210が位置する領域210aに対する物体の侵入を検知し、検知した場合に、検知した物体がユーザの手であるか否かを画像認識を行なって判断する。そして、ユーザの手である場合に、静電除去シート210にタッチしたことを検知する。それ以外の場合(例えば、領域210aに対する物体の侵入が検知できない場合や、侵入した物体がユーザの手でない場合等)には、タッチしたことを検知しない。例えば、取得情報受付部101が受け付けた画像が、図6(d)に示すような画像であったとすると、解析部102は、静電除去シート210が位置する領域210a内に物体の侵入を検知し、この物体が手であることを検知して、ユーザが静電除去シート210にタッチしたことを検知する。これにより、解析部102は、ユーザが静電除去シート210にタッチしたと判断して、ユーザの動作が予め決められた条件を満たさないと判断する。このため、処理部104は、安全担保処理を行なわない。そして、後述するように、取得情報受付部101が画像を受け付けたか否かの判断処理を行なう。なお、一旦、静電除去シート210に対するタッチを検出した以降は、解析部102は、ユーザが静電除去シート210にタッチしたか否かの検知を行なわずに、ユーザの動作が予め決められた条件を満たさないと判断する。
ここで、例えば、取得情報受付部101が受け付けた画像が、図6(a)に示したような画像であるとすると、静電除去シート210が位置する領域210aに物体が侵入していないため、解析部102は、ユーザが静電除去シート210にタッチしていないと判断し、ユーザの動作についての予め決められた条件を満たすと判断する。このため、処理部104は、安全担保処理を行なう。処理部104は、安全担保処理として、給油を禁止する制御指示と、静電除去シート210にタッチしていないことに関する警告とを、燃料供給装置20に送信する。静電除去シート210にタッチしていないことに関する警告は、例えば、静電除去シート210にタッチしていないため給油ができないこと、および静電除去シート210にタッチすることをユーザに求めるテキストの情報であるとする。この警告は、予め図示しない格納部等に格納されているものとする。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油を禁止する制御指示と、警告とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204が燃料を供給しないように制御する。また、出力部206は、受付部203が受信した警告を図10(c)に示すように、モニタ2061に表示する。
情報処理装置10の解析部102は、静電除去シート210にタッチしていないことを一旦、検知した場合、取得情報受付部101が受け付ける画像を解析して、ユーザが、静電除去シート210にタッチしていないことを検知する処理を、ユーザが静電除去シート210にタッチしたことが検知されるまで繰り返し行なう。これにより、静電除去シート210にタッチするまでは、安全担保処理が継続される。そして、解析部102が、静電除去シート210にタッチしたことを検知した場合、解析部102は、予め決められた条件を満たさないと判断する。この判断に応じて、処理部104は、給油の禁止を終了する制御指示と、警告の出力を終了する指示とを燃料供給装置20に送信する。なお、一旦、静電除去シート210に対するタッチを検出した以降は、解析部102は、ユーザが静電除去シート210にタッチしたか否かの検知を行なわずに、ユーザの動作が予め決められた条件を満たさないと判断する。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油の禁止を終了する制御指示と、警告の出力を終了する指示とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204による給油の禁止を終了し、給油可能な状態となるよう制御する。また、出力部206は警告の出力を終了する。
上記のように、ユーザの動作が予め決められた条件を満たさないと判断された場合、取得情報受付部101は、画像の受け付け(ここでは、画像の受信)を終了したか否かの判断処理を行なう。解析部102は、取得情報受付部101が画像の受け付けを終了したと判断するまで、上述したようなユーザの保持する物品についての解析、人数についての解析、および動作についての解析を繰り返す。
燃料供給装置20の操作受付部207は、給油を禁止する制御を制御部205から受けていない状態において、ユーザから給油を行なう操作を受け付けたか否かの判断を行なう。そして、操作受付部207が、ノズル212の給油を行なうレバー等を介して、レバーを握る操作等の、給油を行なうための操作を受け付けた場合、供給機204は、ノズル212から給油を行なう。
受付部203は、給油開始前も、給油中も、給油を禁止する制御指示および警告を受信したか否かの判断を行なう。この判断は、カメラ201による撮影が終了するまで行なわれる。例えば、給油中に、受付部203が給油を禁止する制御指示を受信した場合、この制御指示に応じて、制御部205が供給機204に対して給油を禁止する制御を行なうことで、給油が中断される。また、出力部206は、受信した警告を表示する。この給油の中断や警告の出力は、上記と同様に、受付部203が給油の禁止を終了する制御指示および警告の出力を終了する指示を受信することによって解除され、給油が再開され、警告の表示も消える。
供給機204は、ユーザ等により指定された量の給油が行なわれたか否かを判断し、指定された量が給油されたと判断した場合に供給機204は給油を終了する。
供給機204が、給油を終了すると、カメラ201は撮影を終了し、取得情報出力部202は画像の出力を終了する。
供給関連出力部208は、供給機204が行なった給油に関する供給関連情報として、レギュラーやハイオク等の給油の種類、給油量、金額、給油開始日時等の情報を、制御部205等から取得し、取得した供給関連情報を情報処理装置10に送信する。取得した供給関連情報は、給油の種類を示す「ハイオク」と、給油量を示す「40.0」L、給油開始時刻「14:20」であるとする。
情報処理装置10の取得情報受付部101は、燃料供給装置20からの画像の送信が終了すると、画像の受信が終了したと判断する。取得情報受付部101が、画像の受信を終了したと判断した場合、取得部107は、燃料供給装置20から供給関連情報を受信したか否かの判断処理を繰り返す。そして、取得部107が供給関連情報を受信した場合、解析蓄積部109は、取得部107が受信した供給関連情報と、解析部102が取得した解析結果のうちの予め決められた1以上の解析結果とを対応付けて、供給関連情報格納部108に蓄積する。ここでは、解析結果として、ユーザ識別子「M1003」を対応付けて蓄積する。そして、一回の給油について情報処理装置10が行なう処理が終了する。
図11は、供給関連情報格納部108に格納された供給関連情報と解析結果とを対応付けて管理するための供給関連情報管理表を示す図である。供給関連情報管理表は、供給関連情報を示す「供給関連情報」とユーザ識別子である「ユーザID」という属性を有する。「ユーザID」は、解析部102が取得した解析結果の一つである。「供給関連情報」はさらに「種類」、「給油量」、「時刻」という属性を有している。「種類」は供給する燃料の種類名である。「給油量」は給油した量である。「時刻」は、給油開始時刻である。ここでは、図11の一行目のレコードが、新たに追記された供給関連情報と解析結果であるとする。
以上、本実施の形態によれば、燃料供給装置20が有するカメラが撮影した画像の解析結果に応じて処理を行なうことで、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
例えば、解析結果が予め決められた条件を満たす場合に、安全担保処理を行なって、ユーザが安全な状況でない場合に、燃料供給を禁止したりすることができる。
なお、上記実施の形態において、情報処理装置10と燃料供給装置20とがネットワークを介して接続された個別の装置である場合について説明したが、情報処理装置10の構成を適宜、燃料供給装置20の構成に加えて設けるようにして、情報処理装置10と燃料供給装置20とを一の燃料供給装置で実現するようにしても良い。この場合、上記実施の形態における情報の送信や受信は、適宜、信号線や配線等を介した情報の出力や入力と読み替えてもよい。また、この場合、情報処理装置10と燃料供給装置20との間で情報の送受信を行なうために設けられていた構成等の、省略可能な構成は適宜省略しても良い。また、情報処理装置10と燃料供給装置20との間で情報の送受信を行なうために設けられていた構成は、情報の入出力を行なうための構成として用いてもよい。例えば、このような燃料供給装置は、カメラ201と、カメラ201が撮影した画像を解析する解析部102と、解析部102の解析結果に応じた処理を行なう処理部104とを備えた燃料供給装置である。
なお、上記実施の形態においては、燃料供給装置20が有するセンサとして可視光に感度を有するカメラ201を用いた場合について説明したが、燃料供給装置20が有するセンサは、カメラ201に限定されるものではない。例えば、このセンサは、解析部が上記において説明したような解析の1以上を行なうことが可能な情報を取得可能なものであればどのようなセンサであってもよい。このセンサは、感知対象物の複数の位置についての情報(例えば、複数の位置についての色や輝度、距離情報等)を取得するセンサであることが好ましい。また、上記実施の形態においては、センサであるカメラ201が撮影した画像を解析部102が解析する場合について説明したが、解析部102は、センサが取得した情報である取得情報を用いて上記のような解析のうちの1以上を行なうものであればよい。この場合、上記実施の形態においてカメラ201が撮影した画像について説明した箇所は、適宜に、センサが取得した取得情報に読み替えるようにすればよい。例えば、カメラ201が撮影した画像を受け付ける取得情報受付部101を、センサが取得した取得情報を受け付ける取得情報受付部101に読み替えるようにすればよい。また、取得情報受付部101が受け付けた画像を解析する解析部102を、取得情報受付部101が受け付けた取得情報を解析する解析部102と読み替えるようにすればよい。
例えば、燃料供給装置20が有するセンサが、赤外線に感度を有する赤外線センサであってもよく、センサが取得する取得情報は、赤外線センサが取得した赤外線画像であってもよい。この場合、例えば、上記の実施の形態の説明におけるカメラ201が撮影した画像は、適宜、赤外線画像と読み替えるようにすればよい。ここでの赤外線センサは、複数の光電変換素子を平面状に配置したセンサであることが好ましい。例えば、この赤外線センサは、いわゆる赤外線サーモグラフィーであってもよい。なお、赤外線画像から、解析部102が上記のような解析を行なう処理は、公知技術であるため、ここでは詳細な説明は省略する。なお、赤外線画像においては、赤外線の強度分布を知ることができるため、火気の検出が容易となる。同様に、人間の体温を検出して、人間の居る位置を特定することで、人間の人数を検出することが容易になる。
また、例えば、燃料供給装置20が有するセンサは、赤外線を用いて距離画像を取得するいわゆる赤外線距離センサであってもよく、センサが取得する取得情報が、距離画像であってもよい。この場合、例えば、上記の実施の形態の説明におけるカメラ201が撮影した画像は、適宜、距離画像と読み替えるようにすればよい。距離画像とは、例えば、画像の各画素を色の値で表す代わりに、被写体までの距離を示す値で表した画像である。距離画像については、公知技術であるため、ここでは詳細な説明は省略する。また、距離画像から、解析部102が上記のようなユーザの動作等の解析を行なう処理は、公知技術であるため、ここでは詳細な説明は省略する。
なお、燃料供給装置20が有するセンサは、上記のようなセンサの2以上の組合せであっても良い。
また、上記実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記実施の形態において、一の装置に存在する2以上の通信手段(取得情報出力部202や供給関連出力部208など)は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部(例えば、ハードディスクやメモリ等の記録媒体)にアクセスしながらプログラムを実行してもよい。
なお、上記各実施の形態における情報処理装置10を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、移動体に燃料を供給する燃料供給装置が有するセンサで取得された取得情報を受け付ける取得情報受付部と、取得情報受付部が受け付けた取得情報を解析する解析部と、解析部の解析結果に応じた処理を行なう処理部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図12は、上記プログラムを実行して、上記実施の形態による情報処理装置等を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図12において、コンピュータシステム900は、CD-ROM(Compact Disk Read Only Memory)ドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図13は、コンピュータシステム900の内部構成を示す図である。図13において、コンピュータ901は、CD-ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム900に、上記実施の形態による情報処理装置等の機能を実行させるプログラムは、CD-ROM921に記憶されて、CD-ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD-ROM921、またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、上記実施の形態による情報処理装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。