JP6520094B2 - 監視システム、プログラム、及び監視方法 - Google Patents

Description

本発明は、監視システム、プログラム、及び監視方法に関わり、特に商品の登録が行われる登録装置と、登録装置により登録された商品についての精算を行う精算装置とを備える精算システムに対応する監視システム、プログラム、及び監視方法に関する。

スーパーマーケットなどの店舗において、来店者が未精算の商品（品物）を持ったまま店舗外に出るという不正行為（「カゴ抜け」とも呼ばれる）が行われることがある。
このような不正行為は、主に店員（オペレータ）が商品を登録するために操作する登録装置と、顧客自身が登録後の商品の代金を精算する精算装置とを個別に備える精算システムにおいても同様に行われる可能性がある。
つまり、登録装置により商品の登録が行われた後において、本来であれば顧客が精算装置を使用して登録済みの商品について精算を行わねばならないのに、顧客が精算を行わずに未精算の商品を持ったまま店舗外に出てしまうという不正行為が行われる可能性がある。

一方で、店舗において行われる不正行為への対策として、顧客を監視カメラにより撮像して得られる画像を利用することも知られている（例えば、特許文献１参照）。具体的には、会計処理時の顧客を撮像した撮像画像を記憶しておくようにする。そのうえで、商品の返品や交換などの例外処理を行う場合には、例外処理時の顧客の撮像画像と、例外対象の商品購入時の顧客の撮像画像とを照合する。そして、照合の結果、例外処理時の顧客と例外対象の商品購入時の顧客とが一致しなければ警告を行うというものである。

特開２０１１−６５３２６号公報

しかし、例えば特許文献１の構成は、例外処理に対応して、例外処理時の顧客の撮像画像と、例外対象の商品購入時の顧客の撮像画像とを照合するという構成である。このために、特許文献１によっては、上記の登録装置と精算装置とを個別に備える精算システムにおいて、登録された商品を精算しないまま店舗から出場するような不正行為を抑止することは難しい。

本発明は、このような事情に鑑みてなされたもので、登録装置と精算装置とを個別に備える精算システムを備える店舗において、顧客を撮像した画像の利用によって、登録後の商品を精算せずに店舗外に持ち出すような不正行為が有効に抑制されるようにすることを目的とする。

上述した課題を解決するための本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段と、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する人物判定手段と、登録人物に一致する精算人物のないことが前記人物判定手段により判定されるのに基づいて、所定の態様で報知を行う報知制御手段とを備える監視システムである。

上記構成によれば、登録装置にて商品が登録される顧客を撮像して得られる画像に基づいて登録人物が識別され、精算装置にて精算を行っている顧客を撮像して得られる画像に基づいて精算人物が識別される。そして、登録人物に一致する精算人物のないことが判定されるのに基づき、報知が行われる。
上記の構成では、顧客を撮像した画像の利用により、登録装置により登録された商品を精算しないまま店舗の外に持ち出す不正行為が行われたことを的確に判定して報知を行うことが可能になる。これにより、上記のような不正行為を有効に抑制することが可能になる。

本発明の一態様は、上記の監視システムであって、前記報知制御手段は、登録人物と一致する精算人物のないことが前記人物判定手段により判定される状態が、前記登録人物が撮像されてから一定時間以上継続した場合に、所定の態様で報知を行ってもよい。

上記構成によれば、登録装置により商品の登録を済ませた顧客が精算装置に移動して精算を行うまでに要する標準的な時間に基づいて報知を行うべきか否かが決定されるので、適切なタイミングで報知を行うことが可能になる。

本発明の一態様は、上記の監視システムであって、前記精算システムが備えられる店舗に入場する顧客を撮像するように設けられる入場対応撮像手段をさらに備え、前記人物判定手段は、登録人物が精算人物に一致しなかった場合に、さらに、前記入場対応撮像手段により撮像された画像に基づいて識別される入場人物のうちから、前記登録人物と一致する入場人物を探索し、探索された入場人物が前記精算人物と一致するか否かについて判定し、前記報知制御手段は、前記探索された入場人物が前記精算人物と一致しないことが前記人物判定手段により判定されるのに基づいて、所定の態様で警告報知を行ってもよい。

上記構成によれば、登録装置により商品登録を済ませた人物と精算を行った人物とが実際には同じであるのにかかわらず、一致しないとの誤判定が得られとしても、入場時に撮像された人物の画像を利用して、誤判定の結果を訂正することが可能になる。これにより、登録装置により商品登録を済ませた人物と精算を行った人物の一致についての判定結果の精度を向上させることができる。

本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、前記精算システムが備えられる店舗から出場する顧客を撮像するように設けられる出場対応撮像手段と、前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記出場対応撮像手段により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定する人物判定手段と、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段とを備える監視システムである。

上記構成によれば、出場しようとする人物が精算装置により精算を行ったか否かが判定されるため、商品を精算しないまま店舗の外に持ち出す不正行為を抑制することが可能になる。

本発明の一態様は、上記の監視システムであって、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段をさらに備え、前記人物判定手段は、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記出場人物に一致する登録人物があるか否かについて判定し、前記出場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記出場人物に一致する精算人物があるか否かについて判定し、前記報知制御手段は、前記精算人物のうちで前記出場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行ってもよい。

上記構成によれば、出場しようとする人物が登録装置により登録を行っているが、精算装置により精算を行わっていない場合に緊急警告報知が行われるようにすることができる。

本発明の一態様は、上記の監視システムであって、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段をさらに備え、前記人物判定手段は、前記精算人物のうちで前記出場人物に一致する精算人物がないと判定した場合に、さらに、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記出場人物に一致する登録人物があるか否かについて判定し、前記報知制御手段は、前記登録人物のうちで前記出場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行ってもよい。

上記構成によっても、出場しようとする人物が登録装置により登録を行っているが、精算装置により精算を行っていない場合に緊急警告報知が行われるようにすることができる。

本発明の一態様は、上記の監視システムであって、前記報知制御手段は、前記登録人物のうちで前記出場人物に一致する登録人物があるか否かについて判定し、前記出場人物に一致する登録人物がないと判定した場合は、前記緊急警告報知よりも軽度な警告としての報知を行ってもよい。

上記構成によれば、商品の登録も精算もせずに商品を持ち出そうとする不正に対して警告を行うことができる。

本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段と、前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段と、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段と、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段とを備え、前記人物判定手段は、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記入場人物に一致する精算人物があるか否かについて判定し、前記報知制御手段は、前記精算人物のうちで前記入場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行う監視システムである。

上記構成によれば、入口を通過しようとする人物が精算装置により精算を行ったか否かが判定されるため、商品を精算しないまま入口を通過して店舗の外に持ち出す不正行為を抑制することが可能になる。
また、上記構成によれば、出口ではなく入口から出場しようとする人物が登録装置により登録を行っているが、精算装置により精算を行っていない場合に緊急警告報知が行われるようにすることができる。

本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段と、前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段と、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段と、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段とを備え、前記人物判定手段は、前記精算人物のうちで前記入場人物に一致する精算人物がないと判定した場合に、さらに、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記報知制御手段は、前記登録人物のうちで前記入場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行う監視システムである。

上記構成によっても、出口ではなく入口から出場しようとする人物が登録装置により登録を行っているが、精算装置により精算を行っていない場合に緊急警告報知が行われるようにすることができる。

本発明の一態様は、上記の監視システムであって、前記報知制御手段は、前記登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物がないと判定した場合は、前記緊急警告報知よりも軽度な警告としての報知を行ってもよい。

上記構成によれば、商品の登録も精算もせずに商品を持ち出そうとする不正に対して警告を行うことができる。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する人物判定手段、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段として機能させるためのプログラムである。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗から出場する顧客を撮像するように設けられる出場対応撮像手段により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定する人物判定手段、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段として機能させるためのプログラムである。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段として機能させるためのプログラムであって、前記人物判定手段は、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記入場人物に一致する精算人物があるか否かについて判定し、前記報知制御手段は、前記精算人物のうちで前記入場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行うプログラムである。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段、前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段として機能させるためのプログラムであって、前記人物判定手段は、前記精算人物のうちで前記入場人物に一致する精算人物がないと判定した場合に、さらに、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記報知制御手段は、前記登録人物のうちで前記入場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行うプログラムである。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する人物判定ステップと、前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップとを備える監視方法である。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗から出場する顧客を撮像するように設けられる出場対応撮像手段により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定する人物判定ステップと、前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップとを備える監視方法である。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定ステップと、前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップとを備え、前記人物判定ステップは、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記入場人物に一致する精算人物があるか否かについて判定し、前記報知制御ステップは、前記精算人物のうちで前記入場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行う監視方法である。
本発明の一態様は、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定ステップと、前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップとを備え、前記人物判定ステップは、前記精算人物のうちで前記入場人物に一致する精算人物がないと判定した場合に、さらに、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記報知制御ステップは、前記登録人物のうちで前記入場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行う監視方法である。

以上説明したように、本発明によれば、登録装置と精算装置とを個別に備える精算システムを備える店舗において、顧客を撮像した画像の利用によって、登録後の商品を精算せずに店舗外に持ち出すような不正行為が有効に抑制されるようになる。

第１実施形態に係る精算システムについての店舗における配置態様例を示す図である。 第１実施形態に係る精算システムの構成例を示す図である。 第１実施形態に係る登録装置の構成例を示す図である。 第１実施形態に係る登録装置が備える撮像部の設置態様例を示す図である。 第１実施形態に係る精算装置の外観例を示す図である。 第１実施形態に係る精算装置の構成例を示す図である。 第１実施形態に係る精算監視装置の構成例を示す図である。 第１実施形態に係る登録人物識別データテーブルの構成例を示す図である。 第１実施形態に係る精算人物識別データテーブルの構成例を示す図である。 第１実施形態に係る精算監視装置が１人の登録人物に対応する登録人物識別データを登録人物識別データテーブルに格納するために実行する処理手順例を示すフローチャートである。 第１実施形態に係る精算監視装置が１人の精算人物に対応する精算人物識別データを精算人物識別データテーブルに格納するために実行する処理手順例を示すフローチャートである。 第１実施形態に係る精算監視装置が警告の報知のために実行する処理手順例を示すフローチャートである。 第２実施形態に係る精算システムの店舗における配置態様例を示す図である。 第２実施形態に係る精算システムの構成例を示す図である。 第２実施形態に係る入場人物識別データテーブルの構成例を示す図である。 第２実施形態に係る出場人物識別データテーブルの構成例を示す図である。 第２実施形態に係る精算監視装置が警告の報知のために実行する処理手順例を示すフローチャートである。 第２実施形態に係る精算監視装置が緊急警告の報知のために実行する処理手順例を示すフローチャートである。

＜第１実施形態＞
［精算システムの概要］
以下、本発明の一実施形態による監視システムについて図面を参照して説明する。本実施形態における監視システムは、商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品に対応する登録情報に基づいて精算を行う１以上の精算装置とを備える精算システムに対応する。具体的には、本実施形態においては、上記の精算システムに監視システムが含まれる。

図１を参照して、本実施形態の精算システムの概要について説明する。本実施形態の精算システムは、上記のように監視システムを含む。同図は、本実施形態における精算システムが導入された店舗１０を示している。同図に示す店舗１０においては、２つの登録装置２００−１、２００−２と２つの精算装置３００−１、３００−２が配置されている。

なお、以降において、登録装置２００−１、２００−２について特に区別しない場合には、登録装置２００と記載し、精算装置３００−１、３００−２について特に区別しない場合には、精算装置３００と記載する。
また、同図においては、各２つの登録装置２００と精算装置３００とが店舗１０に設置された例を示している。しかし、店舗１０において設置される登録装置２００と精算装置３００との数については特に限定されるものではない。また、登録装置２００の数と精算装置３００の数も同じである必要はなく、互いに異なっていてよい。

登録装置２００は、顧客が購入する商品（買上商品）について、店員（オペレータ）が商品登録を行うための装置である。
登録装置２００−１は、カウンタ台２２−１に設置される。同様に、登録装置２００−２は、カウンタ台２２−２に設置される。なお、以降の説明においてカウンタ台２２−１、２２−２について特に区別しない場合には、カウンタ台２２と記載する。

精算装置３００は、顧客が自分の買い上げた商品についての精算を行うための装置である。同図に示すように、精算装置３００−１、３００−２は、登録装置２００が設置されたカウンタ台２２−１からサッカー台３０に向かう動線の途中の位置に設置される。

ここで、同図に示される顧客Ｃ１を例に挙げて、店舗１０における精算システムの利用態様例について説明する。
顧客Ｃ１は、店舗１０の入口１１から入場すると、同図では図示していない商品の売り場に向かい、購入したい商品を買い物カゴに入れていく。そして、購入したい全ての商品を買い物カゴに入れ終えると、顧客Ｃ１は、登録装置２００に向かう。同図においては、顧客Ｃ１が登録装置２００−１に向かった場合を示している。

登録装置２００−１を操作する店員Ｓ１は、顧客Ｃ１が持ってきた買い物カゴに入っている商品を、顧客Ｃ１に対応する１つの取引における商品として登録する操作を行う。
店員Ｓ１は、顧客Ｃ１に対応する商品の登録を完了すると合計計算を指示する操作を行う。合計計算を指示する操作が行われるのに応じて、登録装置２００−１は、顧客Ｃ１に対応する１つの取引において登録された商品の合計金額などを計算し、会計券を発行する。会計券には、買い上げ商品の内訳や、合計金額などが印字されている。

店員Ｓ１は、発行された会計券を顧客Ｃ１に渡す。顧客Ｃ１は、渡された会計券を持って、精算のために精算装置３００−１の設置された場所まで移動する。顧客は、店舗１０内に設置されている精算装置３００−１と３００−２のいずれを使用して精算を行ってもよいのであるが、同図では、精算装置３００−１の設置された場所に移動して、精算装置３００−１により精算を行う場合を示している。

顧客Ｃ１は、例えば精算装置３００−１が備えるスキャナ部に会計券の印字内容を読み込ませる。精算装置３００−１は、読み込んだ会計券に応じて精算のガイドなどを表示する。顧客Ｃ１は、表示されたガイドに従って代金に応じた現金を投入する、あるいはクレジットカードなどの利用によって代金の支払い（精算）を行う。精算が終了するのに応じて、精算装置３００−１はレシートを発行する。顧客Ｃ１は、発行されたレシートを受け取る。精算を終えた顧客Ｃは、例えばサッカー台３０まで移動し、サッカー台３０を利用して買い物カゴから買い物袋などへ商品を入れ替えることができる。そして、買い物袋に商品を入れ替え終えた顧客Ｃ１は、出口１２から店舗１０の外へ出る。
なお、精算装置３００−２の前に立つ顧客Ｃ２も、店員Ｓ２により商品の登録を行ってもらったうえで会計券を受け取り、精算装置３００−１、３００−２のいずれかにより精算を行えばよい。

このように、店舗１０に備えられる本実施形態の精算システムは、店員が顧客の買い上げた商品を登録する操作を行う登録装置２００と、顧客が精算を行う精算装置３００とが個別に設けられた構成を有する。

ここで、上記のように登録装置２００と精算装置３００とが個別に設けられた精算システムを備える店舗では商品の精算を行わずに、未精算の商品を持ったまま店舗外に出てしまうという不正行為が行われる可能性がある。このような不正行為は、カゴ抜けと呼ばれるもののうちの１つである。

そこで、本実施形態の精算システムにおいては、以下のような監視システムとしての構成を含むことで、上記のような不正行為への対策を図る。
同じ図１に示されるように、店舗１０においては、登録装置２００のそれぞれに対応して、撮像部（カメラ：登録対応撮像手段の一例）２１２が設けられる。撮像部２１２は、登録装置２００に含まれる部位であって、対応の登録装置２００にて商品を登録してもらうために登録装置２００が設置されたカウンタ台２２の前に立っている顧客を撮像するように設けられる。
また、精算装置３００のそれぞれには撮像部（カメラ：精算対応撮像手段の一例）３４０が設けられる。撮像部３４０は、精算装置３００に含まれる部位であって、精算のために精算装置３００の前に立っている顧客を撮像するように設けられる。

図１においては図示を省略しているが、本実施形態の精算システムにおいては、精算監視装置が備えられる。精算監視装置は、登録装置２００での商品登録を完了させた顧客が精算装置３００により精算を行ったか否かを監視するための装置である。
精算監視装置は、撮像部２１２により撮像された画像に基づいて認識される人物（以下、登録人物とも呼ぶ）と、撮像部３４０により撮像された画像に基づいて認識される人物（精算人物）とを照合（比較）する。照合の結果に基づいて、登録人物に一致する精算人物のない状態が一定時間以上継続した場合に、精算監視装置は、未済取引があると判定する。ここでの未済取引とは、登録装置２００による商品の登録が完了してから一定時間を経過しても精算が完了していない取引のことであり、精算が行われないまま商品を持ち逃げされた不正行為が行われた可能性がある。

上記のように未済取引があった場合に、精算監視装置は、その旨を警告する警告報知を所定の態様により行うための制御を実行する。本実施形態において警告報知は、例えば、登録装置２００などにおいて表示により行われる。警告報知の表示を見ることで、店員は、未済取引が発生し、不正行為が行われている可能性のある状況にあることを把握できる。
このようにして、本実施形態の精算システムは、顧客を撮像して得られる画像を利用して未済取引の発生の有無を判定し、未済取引の発生したことを判定するのに応じて報知を行うようにされている。これにより、本実施形態では、登録装置２００による登録後の商品を精算せずに店舗外に持ち出すような不正行為が有効に抑制される。

［精算システムの構成例］
図２は、本実施形態における精算システム１の構成例を示している。本実施形態の精算システム１は、ストアコントローラ１００と、複数の登録装置２００と、複数の精算装置３００と、精算監視装置４００とを備える。なお、登録装置２００は１つであってもよい。精算装置３００も１つであってもよい。

ストアコントローラ１００と、登録装置２００と、精算装置３００と、精算監視装置４００とは、互いに、通信網１１０を経由して接続されている。通信網１１０としては、例えばＬＡＮ（Local Area Network）を挙げることができる。また、通信網１１０は、有線であってもよいし、無線であってもよい。

ストアコントローラ１００は、ＰＯＳシステム１を制御するコンピュータであり、例えばＰＯＳシステム１におけるサーバとして機能する。
ストアコントローラ１００は、例えば、商品マスタを記憶する。商品マスタは、各商品の商品識別情報（例えばＪＡＮコード）、商品名称、販売価格などの商品情報を格納するファイルである。ストアコントローラ１００は、商品の販売状況及び仕入れ状況等に応じて更新された最新の商品マスタを、適宜、他の装置（登録装置２００、精算装置３００、精算監視装置４００）に送信することができる。

また、ストアコントローラ１００は、取引に関するログファイルとして、取引ごとの取引内容を示す取引情報を記憶する。取引情報は、例えば買い上げ商品の内訳などに対応する取引の登録に応じて登録装置２００が生成した登録情報と、精算に応じて精算装置３００が生成した精算情報とを含む。

本実施形態のＰＯＳシステム１において、登録装置２００は、図１にて説明したように、店舗において予め定められた所定の位置に配置される。また、精算装置３００も店舗における所定の位置に配置される。具体的には、精算装置３００は、登録装置２００により店員に買い上げ商品の登録をしてもらった顧客が出口に至るまでの動線における所定位置に配置される。

登録装置２００は、顧客が購入する商品（買上商品）について、店員（オペレータ）が商品登録を行うための装置である。
登録装置２００は、店員の操作により１つの取引に応じた商品の登録を完了させるのに応じて、前述のように取引情報の一部である登録情報を生成し、ストアコントローラ１００に送信する。
登録装置２００は、取引ごとに応じた登録が行われるのに応じて登録情報を生成し、生成した登録情報をストアコントローラ１００に送信する。ストアコントローラ１００は、受信した登録情報を１つの取引情報として記憶する。これにより、１つの取引に対応する取引情報が新規登録される。

精算装置３００は、顧客自らが精算を行うための装置である。
また、精算装置３００は、登録装置２００により登録済の取引に対応して顧客による精算が完了するのに応じて精算情報を生成し、生成した精算情報をストアコントローラ１００に送信する。
ストアコントローラ１００は、受信された精算情報を該当の取引情報に含めるようにして記憶する。

精算監視装置４００は、登録装置２００での商品の登録を済ませた顧客が精算装置３００により精算を行ったか否かを監視する。精算監視装置４００は、登録装置２００により登録を行った顧客の撮像画像に基づいて識別される人物と、精算装置３００により精算を行った顧客の撮像画像に基づいて識別される人物との照合結果に基づいて、未済取引の有無を判定する。そして、精算監視装置４００は、未済取引の有ることを判定するのに応じて、その旨についての警告報知を行う。

［登録装置の構成例］
図３を参照して登録装置２００の構成例について説明する。
同図に示すように、登録装置２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、スキャナ部２０４、店員用表示部２０５、客用表示部２０６、操作部２０７、通信部２０８、ブザー２０９、印刷部２１０、ハードディスク２１１及び撮像部（カメラ）２１２を備える。
各構成要素は、互いにバスを介して接続されており相互に通信可能である。なお、スキャナ部２０４、撮像部２１２は、登録装置２００と一体ではなく、登録装置２００に着脱可能な別体（外付）であってもよい。

ＣＰＵ２０１は、中央処理装置であり、ＲＯＭ２０２に記憶されているプログラムを読み出して実行することにより、登録装置２００の動作を制御する。
ＲＯＭ２０２は、補助記憶装置の１つであり、上記プログラムを記憶している読み出し専用メモリである。

ＲＡＭ２０３は、ＣＰＵ２０１の主記憶装置であり、ＣＰＵ２０１の演算結果が一次的に記憶されるメモリである。
スキャナ部２０４は、商品に付されているバーコード（商品コード）を光学的に読み取る。ＣＰＵ２０１は、スキャナ部２０４によって読み取られたバーコード（商品コード）をＲＡＭ２０３に記憶させる。

店員用表示部２０５は、店員向けに各種の情報を表示する。例えば、店員用表示部２０５は、商品マスタから取得した情報（例えば、商品の名称、価格等）を表示する。
また、店員用表示部２０５は、タッチパネルとして構成されることで、店員への表示機能に加え、店員からの入力を受け付けることもできる。
例えば、店員用表示部２０５は、商品登録用の画面（商品登録画面）の表示中において、当該商品登録画面に設けられたボタン（プリセットボタン）を店員がタッチすることによって、当該ボタンに予め設定登録されている商品の商品情報（商品コード等）の入力を受け付けることができる。

客用表示部２０６は、顧客向けに各種の情報を表示する。例えば、客用表示部２０６は、商品マスタから取得した情報を表示する。客用表示部２０６は、店員用表示部２０５と同様、タッチパネルであってもよい。

操作部２０７は、登録装置２００を動作させる各種のキー、小計キー、現計キー、置数キー、訂正キー、プリセットキー等の操作ボタンからなる。例えば、操作部２０７は、予めプリセットキーに設定登録されている商品情報（商品コード等）の入力を受け付ける。

通信部２０８は、通信網１１０を経由し、他の装置（ストアコントローラ１００、他の登録装置２００、精算装置３００、精算監視装置４００）と通信する。
ブザー２０９は、店員に注意を促すブザー音を発生させる。

印刷部２１０は、精算装置３００における精算処理を行うときに必要となる情報を２次元バーコード（例えば、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標））化して所定の印刷媒体に印刷し、会計券として発行（発券）する。具体的に、会計券の２次元バーコードは、会計券番号と、対応の取引における買い上げ商品とその数量、買い上げ金額（合計金額）などの情報を含む。会計券は、顧客が精算装置３００により精算を行うにあたり、精算装置３００に会計情報を読み込ませるためのものである。
ハードディスク２１１は、各種の情報を記憶する補助記憶装置である。
撮像部２１２は、図１にて説明したように、登録装置２００による商品の登録が行われている顧客を撮像するように設けられる。撮像部２１２が撮像することによって得られる画像は、静止画像であってもよいし、動画像であってもよい。このように撮像部２１２が撮像した画像は、例えばＣＰＵ２０１の制御によって、通信部２０８から通信網１１０を経由して、精算監視装置４００に対して登録時画像として送信される。

図４の斜視図を参照して、撮像部２１２の設置位置と撮像方向について説明する。
図４（ａ）と図４（ｂ）の各斜視図は、カウンタ台２２に設置された登録装置２００の斜視図である。図４（ａ）と図４（ｂ）において、矢印Ａは、顧客の移動方向（会計動線）を表し、ドット表示領域Ｂは、登録装置２００を操作する店員により商品を登録してもらっているときの顧客の標準的な立ち位置を表している。すなわち、図４（ａ）は、会計動線の上流側から見た登録装置２００の斜視図であり、図４（ｂ）は会計動線の下流側から見た登録装置２００の斜視図である。図４（ｃ）は、登録時画像の画像内容の一例である。

撮像部２１２は、少なくとも顧客の顔、もしくは顧客の顔と胴体（上半身までであってもよいし、下半身が含まれてもよい）とが撮像されるように配置される。つまり、図４（ａ）及び図４（ｂ）において示すドット表示領域Ｂ上に立った顧客を撮像した場合に、図４（ｃ）に示すような状態の画像が得られるように配置する。
このために、一例として、撮像部２１２は、図４（ａ）及び図４（ｂ）に示すように、カウンタ台２２の近傍に置かれた商品棚２０の上部に配置されたうえで、上記のように商品が登録されている顧客が撮像されるように撮像方向が設定される。

なお、例えば、客用表示部２０６の上部に撮像部２１２を配置しても、顧客の顔、もしくは顧客の顔と胴体とが撮像された登録時画像を得ることができる。
なお、撮像部２１２と登録装置２００の本体とはケーブルによって接続され、該ケーブルにより登録時画像の画像データが撮像部２１２から本体に送信されるようにしてもよい。あるいは、撮像部２１２と登録装置２００の本体とが無線接続されたうえで、無線通信により登録時画像の画像データが撮像部２１２から登録装置２００の本体に送信されるようにしてもよい。

［精算装置の構成例］
次に、図５を参照して精算装置３００の外観例について説明する。
精算装置３００は、図５に示すように、決済部３１０、表示部３３０、撮像部３４０及びサインポール部３５０を備える。

決済部３１０は、会計券に対応する登録情報に基づいて決済を実行する部位である。決済部３１０は、リーダ部３１２、印刷物発行口３１４、硬貨投入口３１５、札入れ口３１６及び釣銭口３１８を含む。

リーダ部３１２は、会計券の２次元バーコードを光学的に読み取る。
印刷物発行口３１４は、精算の完了に応じて、精算内容を示す精算レシートを発行する。なお、印刷物発行口３１４は、精算レシート以外の印刷物を発行してもよい。
硬貨投入口３１５は、顧客が支払いのために入金する預かり金としての金種のうち硬貨を入金するための部位である。
札入れ口３１６は、顧客が支払いのために入金する預かり金としての金種のうち紙幣を入金するための部位である。
釣銭口３１８は、釣銭を排出する部位である。

表示部３３０は、精算に関してユーザが操作するための画像が表示される。また、表示部３３０はタッチパネルとして構成されており、顧客は、表示部３３０に対して操作を行うことにより精算が行える。

撮像部（カメラ）３４０は、精算を行うために精算装置３００の前に立っている顧客の顔、もしくは顧客の顔と服装を撮像できるように設置される。撮像部（カメラ）３４０が撮像して得られた画像は、ＣＰＵ３０１の制御によって、通信部３０６から通信網１１０を経由して精算監視装置４００に対して精算時画像として送信される。撮像部３４０が撮像して得られる画像は、静止画像であってもよいし、動画像であってもよい。

サインポール部３５０は、先端の発光部が点灯または点滅する。例えば、買い物客が店員を呼ぶ操作をした場合に点灯する。

図６は、精算装置３００の構成例を示している。なお、図６において、図５と同一部分には同一符号を付して説明を省略する。
図６に示す精算装置３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ハードディスク３０４、操作部３０５、通信部３０６、決済部３１０、表示部３３０、撮像部（カメラ）３４０及びサインポール部３５０を備える。

ＣＰＵ３０１は、ＲＯＭ３０２に記憶されたプログラムを実行し、精算装置３００全体を制御する。
ＲＯＭ３０２は、補助記憶装置の１つとして各種の情報を記憶する。例えば、精算装置３００のＲＯＭは、精算処理をＣＰＵ３０１に実行させるためのプログラムを記憶する。
ＲＡＭ３０３は、ＣＰＵ３０１の主記憶装置であって、ＣＰＵ３０１の演算結果を一次的に記憶するメモリである。
ハードディスク３０４は、ＣＰＵ３０１の補助記憶装置として各種の情報を記憶する。

操作部３０５は、精算装置３００を動作させるための各種の操作ボタンを一括して示したものである。

通信部３０６は、通信網１１０を経由し、他の装置（ストアコントローラ１００、登録装置２００、他の精算装置３００、精算監視装置４００）と通信する。

決済部３１０は、図５にて説明したように、リーダ部３１２、印刷物発行口３１４、硬貨投入口３１５、札入れ口３１６及び釣銭口３１８を含み、リーダ部３１２により読み取った会計券に対応する登録情報に基づいて決済を実行する部位である。
ＣＰＵ３０１は、例えばリーダ部３１２により読み取られた会計券の会計券番号に対応する登録情報をストアコントローラ１００から取得する。そして、ＣＰＵ３０１が決済部３１０を制御することにより、例えば顧客の入金に応じた決済が決済部３１０にて行われる。

表示部３３０は、例えば、タッチパネルとして構成される。表示部３３０は、ＣＰＵ３０１の表示制御に応じて、精算などに関係する各種の画像を表示する。また、タッチパネルに対して行われた操作に応じた操作信号をＣＰＵ３０１に出力する。
また、ＣＰＵ３０１は、買い物客が店員を呼ぶ操作を操作部３０５に対して行うのに応じて、サインポール部３５０の発光部が点灯または点滅するように制御する。

［精算監視装置の構成例］
図７は、精算監視装置４００の構成例を示している。
同図に示す精算監視装置４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ハードディスク４０４、表示部４０５、操作部４０６及び通信部４０７を備える。

ＣＰＵ４０１は、ＲＯＭ４０２に記憶されたプログラムを実行し、精算監視装置４００全体を制御する。
ＣＰＵ４０１は、ＲＯＭ４０２に記憶されたプログラムを実行することにより、人物判定手段と、報知制御手段としての機能部を実現する。
人物判定手段は、撮像部３４０により撮像された画像に基づいて識別される精算人物のうちで、撮像部２１２により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する。
また、報知制御手段は、登録人物に一致する精算人物のないことが人物判定手段により判定されるのに基づいて、所定の態様で報知を行う。

ＲＯＭ４０２は、補助記憶装置の１つであり、ＣＰＵ４０１が実行するプログラムの他、所定の情報を記憶する不揮発性のメモリである。
ＲＡＭ４０３は、ＣＰＵ４０１の主記憶装置であって、ＣＰＵ４０１の演算結果を一時的に記憶する、随時読み出し書き込みメモリである。

ハードディスク４０４は、ＣＰＵ４０１の補助記憶装置として各種の情報を記憶する。
ハードディスク４０４が記憶する情報には、登録時画像と精算時画像とが含まれる。
登録時画像は、登録装置２００が備える撮像部２１２によって撮像され、登録装置２００から送信された画像である。
精算時画像は、精算装置３００が備える撮像部３４０によって撮像され、精算装置３００から送信された画像である。
また、ハードディスク４０４は、登録人物識別データと精算人物識別データとを記憶する。登録人物識別データは、登録時画像に基づいて生成され、登録時画像において撮像されていた登録人物を識別するデータである。精算人物識別データは、精算時画像に基づいて生成され、精算時画像において撮像されていた精算人物を識別するデータである。

ＣＰＵ４０１は、以下のようにして登録時画像に基づいて登録人物識別データを生成することができる。つまり、ＣＰＵ４０１は、登録時画像から顔検出を行い、検出した顔の画像部分を取り出す。ＣＰＵ４０１は、取り出された顔の画像部分についての特徴量を抽出し、抽出した特徴量を表すデータを登録人物識別データとする。
また、ＣＰＵ４０１は、顔に加えて、服装についての特徴量を表すデータを登録人物識別データにさらに含めてよい。この場合、ＣＰＵ４０１は、登録時画像からさらに人物の顔以外の胴体部分（上半身までであってもよいし、下半身が含まれてもよい）を検出し、検出した胴体部分を取り出す。ＣＰＵ４０１は、取り出された胴体部分の特徴量を抽出する。このように抽出された特徴量は、服装についての特徴量となる。ＣＰＵ４０１は、このように抽出した服装についての特徴量を表すデータを登録人物識別データに含める。

また、ＣＰＵ４０１は、上記の登録人物識別データと同様の処理によって、精算時画像に基づいて登場人物識別データを生成することができる。
また、例えば登録時画像における顔の画像部分、または、登録時画像における顔及び胴体の画像部分をそのまま登録人物識別データとして用いることもできる。同様に、精算時画像における顔の画像部分、または精算時画像における顔及び胴体の画像部分をそのまま精算人物識別データとして用いることもできる。

ハードディスク４０４は、登録人物識別データを登録人物識別データテーブルの構造により記憶する。
図８は、登録人物識別データテーブル４４１の一例を示している。同図に示す登録人物識別データテーブル４４１における１つのレコードが、１人の登録人物に対応する。１つのレコードは、登録装置ＩＤ、撮像時刻、登録人物識別データ及び確認フラグの各格納領域を含む。

登録装置ＩＤの格納領域は、対応の登録人物識別データの生成元である登録時画像の送信元の登録装置２００を一意に示すＩＤ（識別子）の格納領域である。
撮像時刻の格納領域は、対応の登録人物識別データの生成元である登録時画像が撮像された撮像時刻を格納する領域である。撮像時刻の情報は、登録時画像とともに登録装置２００から送信される。登録人物識別データテーブル４４１における撮像時刻の情報は、対応の登録人物としての顧客の買い上げた商品の登録が登録装置２００にて行われた時刻として扱われる。
登録人物識別データの格納領域は、対応の登録人物識別データを格納する領域である。
確認フラグの格納領域は、確認フラグを格納する領域である。確認フラグは、対応の登録人物識別データにより識別される登録人物が精算を済ませているか否かを示すフラグである。本実施形態における確認フラグは、１により精算を済ませていることを示し、０により精算が済んでいないことを示す。

ハードディスク４０４は、精算人物識別データを精算人物識別データテーブルの構造により記憶する。
図９は、精算人物識別データテーブル４４２の一例を示している。同図に示す精算人物識別データテーブル４４２における１つのレコードが、１人の精算人物に対応する。１つのレコードは、精算装置ＩＤ、撮像時刻、精算人物識別データ及び確認フラグの各格納領域を含む。

精算装置ＩＤの格納領域は、対応の精算人物識別データの生成元である精算時画像の送信元の精算装置３００を一意に示すＩＤ（識別子）の格納領域である。
撮像時刻の格納領域は、対応の精算人物識別データの生成元である精算時画像が撮像された撮像時刻を格納する領域である。撮像時刻の情報は、精算時画像とともに精算装置３００から送信される。精算人物識別データテーブル４４２における撮像時刻の情報は、対応の精算人物としての顧客が精算装置３００により精算を行った時刻として扱われる。
精算人物識別データの格納領域は、対応の精算人物識別データを格納する領域である。
確認フラグの格納領域は、確認フラグを格納する領域である。精算人物識別データテーブル４４２における確認フラグは、対応の精算人物識別データにより識別される精算人物について、当該精算人物と一致する登録人物があったか否かを示すフラグである。確認フラグは、１により一致する登録人物があったことを示し、０により一致する登録人物がないことを示す。

説明を図７に戻す。
表示部４０５は、ＣＰＵ４０１の制御に応じて各種の監視用画像を表示する。監視用画像の１つとして、ＣＰＵ４０１は、操作により指定された取引に対応する登録時画像と精算時画像を表示部４０５に表示させることができる。
また、表示部４０５は、タッチパネルとして構成されており、表示部４０５の画面に対して指などの操作体を触れることによる操作が可能である。

操作部４０６は、精算監視装置４００において備えられる各種キー、ボタンなどの操作子を一括して示したものである。
通信部４０７は、通信網１１０を経由して、ストアコントローラ１００、登録装置２００及び精算装置３００などと通信を実行する。

［処理手順例］
続いて、図１０のフローチャートを参照して、精算監視装置４００が１人の登録人物に対応する登録人物識別データを登録人物識別データテーブル４４１に格納するために実行する処理手順例について説明する。
登録装置２００は、静止画像または動画像による登録時画像を送信する。精算監視装置４００におけるＣＰＵ４０１は、受信された登録時画像をハードディスク４０４に記憶（バッファリング）する。

ステップＳ１０１：ＣＰＵ４０１は、上記のようにハードディスク４０４にバッファリングされた登録時画像を入力し、入力した登録時画像から人物検出を行う。

ステップＳ１０２：ＣＰＵ４０１は、ステップＳ１０１による人物検出により、先に検出されていたのとは異なる新しい人物が検出されたか否かについて判定する。ここでの人物検出は、例えば顔、容姿までを認識する必要はなく、人物であるか否かが検出されればよい。一具体例として、ここでの人物検出は、登録時画像において、人に対応して定められたテンプレートと一定以上の類似度を有する画像部分を検出するような処理であればよい。
そのうえで、ＣＰＵ４０１は、例えば、登録の済んだ顧客が登録装置２００から離れることにより登録時画像から人物が検出されなくなり、その後、次の顧客が登録装置２００の前に移動してきたことにより登録時画像から再び人物が検出されたことを以て、新しい人物を検出したと判定すればよい。
ステップＳ１０２にて新しい人物が検出されなかった場合、ＣＰＵ４０１は、ステップＳ１０１に処理を戻すことにより新たに登録時画像を入力し、人物検出を実行する。

ステップＳ１０３：ＣＰＵ４０１は、ステップＳ１０２により新しい人物が検出されると、新しい人物が検出された登録時画像を利用して、前述のようにして登録人物識別データを生成する。
ステップＳ１０４：ＣＰＵ４０１は、ステップＳ１０３により生成された登録人物識別データに加え、登録装置ＩＤ、撮像時刻及び確認フラグを含むレコードを生成する。このように生成されたレコードに含まれる確認フラグの初期値は、精算が済んでいないことを示す０である。そして、ＣＰＵ４０１は、生成したレコードを登録人物識別データテーブル４４１に格納する。

次に、図１１のフローチャートを参照して、精算監視装置４００が１人の精算人物に対応する精算人物識別データを精算人物識別データテーブル４４２に格納するために実行する処理手順例について説明する。
精算装置３００は、静止画像または動画像による精算時画像を送信する。精算監視装置４００におけるＣＰＵ４０１は、受信された精算時画像をハードディスク４０４に記憶（バッファリング）する。

ステップＳ２０１：ＣＰＵ４０１は、上記のようにハードディスク４０４にバッファリングされた精算時画像を入力し、入力した精算時画像から人物検出を行う。

ステップＳ２０２：ＣＰＵ４０１は、ステップＳ２０１による人物検出により、先に検出されていたのとは異なる新しい人物が検出されたか否かについて判定する。ここでの人物検出も、例えば顔、容姿までを認識する必要はなく、人物であるか否かが検出されればよい。
そのうえで、ＣＰＵ４０１は、例えば、精算の済んだ顧客が精算装置３００から離れることにより精算時画像から人物が検出されなくなり、その後、次の顧客が精算装置３００の前に移動してきたことにより精算時画像から再び人物が検出されたことを以て、新しい人物を検出したと判定すればよい。
ステップＳ２０２にて新しい人物が検出されなかった場合、ＣＰＵ４０１は、ステップＳ２０１に処理を戻すことにより新たに精算時画像を入力し、人物検出を実行する。

ステップＳ２０３：ＣＰＵ４０１は、ステップＳ２０２により新しい人物が検出されると、新しい人物が検出された時画像を利用して、前述のようにして精算人物識別データを生成する。
ステップＳ２０４：ＣＰＵ４０１は、ステップＳ２０３により生成された精算人物識別データに加え、精算装置ＩＤ、撮像時刻及び確認フラグを含むレコードを生成する。このようにレコードが生成された段階における確認フラグは、精算が済んでいないことを示す０である。そして、ＣＰＵ４０１は、生成したレコードを精算人物識別データテーブル４４２に格納する。

次に、図１２のフローチャートを参照して、精算監視装置４００が警告の報知のために実行する処理手順例について説明する。ここでの警告の報知は、前述のように、登録人物と一致する精算人物のない状態が一定時間以上継続した場合に対応し、未精算のまま商品を店外に持ち出す不正行為が発生した蓋然性が高いということを根拠に行われるものである。

ステップＳ３０１：精算監視装置４００においてＣＰＵ４０１は、図１１にて説明した処理によって、精算人物識別データを含むレコードが精算人物識別データテーブル４４２に対して新規に格納されるのを監視している。
ステップＳ３０２：ステップＳ３０１により精算人物識別データを含むレコードが新規に格納されたことが判定されるのに応じて、ＣＰＵ４０１は、未確認の登録人物識別データに付与される番号を示す変数ｎに初期値である１を代入する。
未確認の登録人物識別データとは、未だ精算人物との一致が確認されていない登録人物に対応する登録人物識別データである。

ステップＳ３０３：次に、ＣＰＵ４０１は、ｎ番目の未確認の登録人物識別データと、今回のステップＳ３０１に応じて精算人物識別データテーブルに格納された新規の精算人物識別データとを比較する。
ステップＳ３０４：ステップＳ３０４による比較の結果、ｎ番目の未確認の登録人物識別データにより識別される登録人物と、新規の精算人物識別データにより識別される精算人物とが一致するか否かについて判定する。

ステップＳ３０５：ステップＳ３０４において一致との判定結果が得られた場合とは、ｎ番目の未確認の登録人物識別データにより識別される登録人物としての顧客（未確認の登録人物識別データにより特定される顧客）が精算を行った場合である。この場合、ＣＰＵ４０１は、ｎ番目の未確認の登録人物識別データを含むレコードに格納される確認フラグを０から１に更新する。つまり、ＣＰＵ４０１は、登録人物識別データに対応する確認フラグについて、対応の登録人物が精算を済ませていることが示される状態に更新する。
ステップＳ３０６：また、ＣＰＵ４０１は、ステップＳ３０４において一致との判定結果が得られるのに応じて、以下の処理を実行する。つまり、ＣＰＵ４０１は、今回のステップＳ３０１に応じて精算人物識別データテーブルに格納された新規の精算人物識別データを含むレコードに格納される確認フラグを０から１に更新する。つまり、ＣＰＵ４０１は、精算人物識別データに対応する確認フラグについて、対応の精算人物に一致する登録人物があったことの確認が行われたことを示す状態に更新する。

ステップＳ３０７：ステップＳ３０４において一致との判定結果が得られなかった場合、ＣＰＵ４０１は、ｎ番目の未確認の登録人物識別データを含むレコードに含まれている撮像時刻が示す時刻から一定時間を経過したか否かについて判定する。
ステップＳ３０７における判定対象の撮像時刻は、ｎ番目の未確認の登録人物識別データにより特定される顧客が登録装置２００における撮像部２１２により撮像された時刻である。
また、ステップＳ３０７にて判定される一定時間は、例えば、顧客が登録装置２００での買上商品の登録を済ませてから精算装置３００まで移動して精算を行うのに要する一般的な時間を考慮して定められる。
従って、ステップＳ３０７は、ｎ番目の未確認の登録人物識別データにより特定される顧客が登録装置２００にて商品登録を行ってから、標準的な時間内に精算装置３００まで移動してきたか否かを判定する処理である。

ステップＳ３０７にて撮像時刻から一定時間を経過していないと判定された場合には、未だ、ｎ番目の未確認の登録人物識別データにより特定される顧客には不正を行うつもりは無いが、精算装置３００にまで移動してきていない状態にある可能性が高い。
そこで、この場合のＣＰＵ４０１は、ステップＳ３０８をスキップしてステップＳ３０９に処理を移行させる。

ステップＳ３０８：一方、ステップＳ３０７にて撮像時刻から一定時間を経過していると判定された場合には、ｎ番目の未確認の登録人物識別データにより特定される顧客が、精算装置３００により精算を行わずに商品を持ち出す不正行為を行った可能性が高い。そこで、この場合のＣＰＵ４０１は、上記の不正行為が発生した可能性が高い状況にあることの警告報知を行う。

ここで、ステップＳ３０８による警告報知としては以下のような態様が採られればよい。即ち、ＣＰＵ４０１は、精算監視装置４００の表示部４０５にて不正行為が発生した可能性のあることを示すメッセージを表示させることができる。また、ＣＰＵ４０１は、所定の警告音や、メッセージ音声などによって不正行為が発生した可能性のあることが報知されるように制御してもよい。
なお、精算監視装置４００は、例えば店舗１０における事務用の部屋や警備員が常駐する場所など、店員もしくは警備員などが即座に警告報知に気付くことができるような場所に設置されることが好ましい。

また、ＣＰＵ４０１は、通信網１１０経由による通信を利用して、精算システム１における精算監視装置４００以外の装置においても警告報知が行われるように制御することができる。
例えば、ＣＰＵ４０１は、ストアコントローラ１００にて警告報知としての表示や警告音、メッセージ音声などの出力が行われるように制御することができる。
また、ＣＰＵ４０１は、登録装置２００のうちの全てあるいは所定の一部において、警告報知の表示や警告音、メッセージ音声などの出力が行われるようにすることができる。なお、警告音については、登録装置２００が備えるブザー２０９を使用して出力させることができる。
登録装置２００により警告報知が行われることで、不正行為が行われている現場に近い場所にいる店員がいちはやく警告報知に気付くことができるので、不正行為に対して迅速に対応できる。
また、ＣＰＵ４０１は、精算装置３００におけるサインポール部３５０を警告報知に対応した所定パターンにより点灯または点滅させるように制御することもできる。

ここで、ステップＳ３０７により撮像時刻から一定時間が経過したことが判定された場合においては、ｎ番目の未確認の登録人物識別データにより特定される顧客が、不正行為を行っている可能性のある顧客である。
そこで、ステップＳ３０８により、精算監視装置４００、ストアコントローラ１００、登録装置２００などにおいて表示による警告報知を行わせる場合には、ＣＰＵ４０１は、ｎ番目の登録人物識別データの生成元の登録時画像をともに表示させてもよい。このように登録時画像を表示させることで、警告報知の画像を見た店員や警備員などは、不正行為を行った可能性のある顧客の容姿を確認できる。

ステップＳ３０９：上記のようにステップＳ３０８の処理を実行した場合、あるいはステップＳ３０７にて撮像時刻から一定時間を経過していなかった場合、あるいはステップＳ３０６の処理を完了した場合、ＣＰＵ４０１は、変数ｎをインクリメントする。

ステップＳ３１０：ＣＰＵ４０１は、ステップＳ３０９によりインクリメントされた変数ｎについて最大値よりも大きいか否かについて判定する。ここでの判定に用いられる最大値は、登録人物識別データテーブル４４１に格納される登録人物識別データのうち、未確認の登録人物識別データの数である。
ステップＳ３１０において変数ｎが最大値以下であると判定された場合、未だ新規の精算人物識別データと比較を行っていない未確認の登録人物識別データが残っている。そこで、この場合のＣＰＵ４０１は、ステップＳ３０３に処理を戻すことで、次の未確認の登録人物識別データと新規の精算人物識別データとを比較する処理に移行する。
一方、ステップＳ３１０において変数ｎが最大値より大きいと判定された場合には、同図に示す処理が終了される。
このような処理によって、登録装置２００での商品の登録を済ませてから一定時間を経過しても精算装置３００まで移動してきていない顧客、即ち、不正行為を行った可能性のある顧客の存在を認知することができる。そして、不正行為のある顧客の存在が認知されるのに応じて、精算システム１において警告のための報知が行われる。

＜第２実施形態＞
［精算システムの概要］
続いて、第２実施形態について説明する。図１３は、第２実施形態における精算システムが導入された店舗１０の例を示している。同図において、図１と同一部分には同一符号を付して説明を省略する。

同図に示す店舗１０においては、入口１１に対応して入場撮像装置５００（入場対応撮像手段の一例）が備えられ、出口１２に対応して出場撮像装置６００（出場対応撮像手段の一例）が備えられる。
入場撮像装置５００は、店舗１０に入場する顧客を撮像するように設けられる。具体的に、入場撮像装置５００は、同図に示すように、入口１１から店舗１０内に顧客Ｃが入場してきたような場合に、店舗１０内に入場した顧客Ｃの顔、もしくは顧客Ｃの顔と胴体部分とが撮像されるように設けられる。
出場撮像装置６００は、店舗１０から出場する顧客を撮像するように設けられる。具体的に、入場撮像装置５００は、同図に示すように、出口１２から顧客Ｃが出ようとしているときの顧客Ｃの顔、もしくは顧客Ｃの顔及び胴体部分が撮像されるように設けられる。

なお、同図においては、１つの入口１１が設けられた例が示されているが、入口１１は複数が設けられてもよい。複数の入口１１が設けられる場合、入口１１ごとに入場撮像装置５００が設けられればよい。同様に、出口１２についても複数が設けられてよく、複数の出口１２が設けられる場合には、出口１２ごとに入場撮像装置５００が設けられればよい。
また、入口と出口とが共通とされた出入口であってもよい。この場合には、出入口から店舗に入場しようとする顧客の顔が撮像できるように入場撮像装置５００を設け、出入口から店舗に出場しようとする顧客の顔が撮像できるように出場撮像装置６００を設ければよい。

［精算システムの構成例］
図１４は、第２実施形態における精算システム１Ａの構成例を示している。同図において、図２と同一部分には同一符号を付して説明を省略する。
同図に示すように、精算システム１Ａにおいては、入場撮像装置５００と出場撮像装置６００とがさらに備えられる。入場撮像装置５００及び出場撮像装置６００は、それぞれ、通信網１１０と接続される。

入場撮像装置５００は、撮像によって得られた画像（入場時画像）を通信網１１０経由で精算監視装置４００に送信する。
精算監視装置４００は、受信された入場時画像を例えばハードディスク４０４にバッファリングする。精算監視装置４００は、バッファリングされた入場時画像を利用して、図１０または図１１と同様の処理によって入場人物識別データを生成する。入場人物識別データは、入口１１から入場した人物（入場人物）を識別するデータである。そして、精算監視装置４００は、生成した入場人物識別データを含むレコードを入場人物識別データテーブルに格納する。

本実施形態における精算監視装置４００のハードディスク４０４は、入場人物識別データテーブルを記憶する。図１５は、入場人物識別データテーブル４４３の一例を示している。同図に示す入場人物識別データテーブル４４３における１つのレコードが、１人の入場人物に対応する。１つのレコードは、撮像装置ＩＤ、撮像時刻、入場人物識別データ及び確認フラグの各格納領域を含む。

撮像装置ＩＤの格納領域は、対応の入場人物識別データの生成元である入場時画像の送信元の入場撮像装置５００を一意に示すＩＤ（識別子）の格納領域である。図１３では店舗１０において１つの入場撮像装置５００が備えられた例を示しているので、各レコードにおいて格納される撮像装置ＩＤは同じとなる。しかし、例えば複数の入口ごとに応じて複数の入場撮像装置が設けられる場合には、入場撮像装置ごとに異なる撮像装置ＩＤが付与される。
撮像時刻の格納領域は、対応の入場人物識別データの生成元である入場時画像が撮像された撮像時刻を格納する領域である。撮像時刻の情報は、入場時画像とともに入場撮像装置５００から送信される。入場人物識別データテーブル４４３の撮像時刻は、対応の入場人物としての顧客が、店舗１０に入場したときの時刻として扱われる。

入場人物識別データの格納領域は、対応の入場人物識別データを格納する領域である。
確認フラグの格納領域は、確認フラグを格納する領域である。入場人物識別データに対応する確認フラグは、対応の入場人物識別データにより識別される入場人物が精算を済ませているか否かを示すフラグである。この入場人物識別データに対応の確認フラグも、１により精算を済ませていることを示し、０により精算が済んでいないことを示す。

また、本実施形態における精算監視装置４００のハードディスク４０４は、出場人物識別データテーブルを記憶する。図１６は、出場人物識別データテーブル４４４の一例を示している。同図に示す出場人物識別データテーブル４４４における１つのレコードが、１人の出場人物に対応する。１つのレコードは、撮像装置ＩＤ、撮像時刻、出場人物識別データの各格納領域を含む。

撮像装置ＩＤの格納領域は、対応の出場人物識別データの生成元である出場時画像の送信元の出場撮像装置６００を一意に示すＩＤ（識別子）の格納領域である。図１３では店舗１０において１つの出場撮像装置６００が備えられた例を示しているので、各レコードにおいて格納される撮像装置ＩＤは同じとなる。しかし、例えば複数の入口ごとに応じて複数の出場撮像装置が設けられる場合には、出場撮像装置ごとに異なる撮像装置ＩＤが付与される。
撮像時刻の格納領域は、対応の出場人物識別データの生成元である出場時画像が撮像された撮像時刻を格納する領域である。撮像時刻の情報は、出場時画像とともに出場撮像装置６００から送信される。出場人物識別データテーブル４４４における撮像時刻は、対応の出場人物としての顧客が店舗１０から出場した時刻として扱われる。
出場人物識別データの格納領域は、対応の出場人物識別データを格納する領域である。

［入場時画像の利用態様例］
本実施形態において、入場時画像は、登録人物としての顧客が精算装置３００による精算を一定時間内に完了したか否かについての判定の精度を向上させるために利用される。
例えば、撮像時の顧客の風貌や姿勢などにより、登録時画像や精算時画像における人物の撮像状態が良好でないような場合に、登録人物識別データや精算人物識別データの精度が低下する場合がある。このような場合、実際には同じ顧客を撮像して生成された精算人物識別データと登録人物識別データとであるのにかかわらず、図１２のステップＳ３０４にて一致しないと判定されてしまう可能性がある。

そこで、本実施形態の精算監視装置４００は、精算人物とｎ番目の登録人物識別データにより識別される登録人物とが一致しないと判定された場合には、精算人物と一致する入場人物を探索する。そして、探索された入場人物と、ｎ番目の登録人物識別データにより識別される登録人物とが一致するか否かについて改めて判定する。
そして、探索された入場人物と、ｎ番目の登録人物識別データにより識別される登録人物とが一致したのであれば、精算監視装置４００は、この登録人物が精算人物と一致するものとして処理されるようにする。これにより、例えば登録人物識別データの精度が低下して、精算人物と登録人物とが実際には同じ顧客であるのにかかわらず、一致していないと誤判定された場合であっても、最終的に正しい判定結果が得られる可能性が高くなる。

［処理手順例］
図１７のフローチャートは、本実施形態における精算監視装置４００が警告の報知のために実行する処理手順例について説明する。なお、同図において、図１２と同様の処理となるステップについては同一符号を付して説明を省略する。

ステップＳ３２１：ステップＳ３０４にて、ｎ番目の未確認の登録人物識別データにより識別される登録人物と、新規の精算人物識別データにより識別される精算人物とが一致しないとの判定結果が得られた場合、ＣＰＵ４０１は、以下の処理を実行する。
つまり、ＣＰＵ４０１は、入場人物識別データテーブル４４３に格納される入場人物識別データのうちから、ｎ番目の未確認の登録人物識別データにより識別される登録人物と一致する入場人物に対応する入場人物識別データを探索する。

なお、ステップＳ３２１において、ＣＰＵ４０１は、入場人物識別データテーブル４４３に格納される入場人物識別データのうちで、対応の確認フラグが０を示す入場人物識別データを探索対象として探索を行えばよい。即ち、この場合のＣＰＵ４０１は、精算装置３００による精算を済ませたことが確認されていない入場人物に対応する入場人物識別データを探索対象とすればよい。これにより、例えば全ての入場人物識別データを探索する場合よりも探索時間を短縮することができる。

ステップＳ３２２：次に、ＣＰＵ４０１は、ステップＳ３２１により探索された入場人物識別データと、新規の精算人物識別データとを比較する。
ステップＳ３２３：ＣＰＵ４０１は、ステップＳ３２２による比較結果に基づき、ステップＳ３２１により探索された入場人物識別データにより識別される入場人物と、新規の精算人物識別データにより識別される精算人物とが一致するか否かについて判定する。
ステップＳ３２３により一致しないとの判定結果が得られた場合、先のステップＳ３０４にて得られた不一致との判定結果も正しいものとして扱われる。そこで、この場合のＣＰＵ４０１は、ステップＳ３０７に処理を進める。

ステップＳ３２４：一方、ステップＳ３２１により探索された入場人物識別データにより識別される入場人物と、新規の精算人物識別データにより識別される精算人物とが一致することが判定された場合、ＣＰＵ４０１は、以下の処理を実行する。
つまり、ＣＰＵ４０１は、ステップＳ３２３において精算人物と一致することが判定された入場人物を識別する入場人物識別データに対応して入場人物識別データテーブルに格納される確認フラグを１に更新する。これにより、確認フラグによっては、対応の入場人物としての顧客が精算装置３００により精算済であることが示される。
ステップＳ３２４の処理が終了した後は、例えば図１２にて説明したのと同様のステップＳ３０５、Ｓ３０６の処理を実行すればよい。

このような処理によって、精算人物と登録人物とが実際には同じ顧客であるのにかかわらず、精算人物と登録人物とが一致していないとの判定結果が得られたような場合であっても、入場人物識別データに基づいて正しい判定結果に訂正することが可能になる。つまり、本実施形態においては、登録人物としての顧客が精算装置３００による精算を一定時間内に完了したか否かについての判定の精度が向上される。

［出場時画像の利用態様例］
また、本実施形態において出場時画像は、登録装置２００により登録された商品を精算せずに店舗１０の外に持ち出そうとする不正行為がほぼ確定的に行われようとしている状態であるか否かを判定するのに利用される。
つまり、例えば不正行為者が精算装置３００による精算を行うことなく商品を店舗１０の外に持ち出そうとした場合には、不正行為者が出口１２を通過しようとするときに出場撮像装置６００により撮像され、不正行為者を出場人物として識別する出場人物識別データが出場人物識別データテーブルに格納される。しかし、この場合の不正行為者は、精算装置３００による精算を行っていないので、不正行為者を精算人物として識別する精算人物識別データは精算人物識別データに格納されていない。

そこで、本実施形態の精算監視装置４００は、新規の出場人物識別データが出場人物識別データテーブルに格納されるごとに、新規の出場人物識別データにより識別される出場人物と一致する精算人物が存在するか否かについて判定する。
新規の出場人物識別データにより識別される出場人物と一致する精算人物が存在すれば、対応の出場人物は、精算装置３００により精算を行っていることになる。つまり、この場合の出場人物は不正行為を行ってはいない。
これに対して、新規の出場人物識別データにより識別される出場人物と一致する精算人物が存在しない場合、対応の出場人物により不正行為が行われている可能性が高い。そこで、この場合の精算監視装置４００は、緊急警告報知を行う。緊急警告報知は、不正行為の行われることが確定的であって、不正行為が現在において行われようとしている状況に対応して緊急に行われる報知である。

［処理手順例］
図１８のフローチャートは、本実施形態における精算監視装置４００が、上記の緊急警告報知のために実行する処理手順例について説明する。
ステップＳ４０１：精算監視装置４００においてＣＰＵ４０１は、出口１２を人が通過しようとするのに応じて、出場人物識別データを含むレコードが出場人物識別データテーブル４４４に対して新規に格納されるのを監視している。なお、出場人物識別データを含むレコードが出場人物識別データテーブル４４４に対して新規に格納されるタイミングは、出口１２を人が通過しようとするタイミングに対応する。
ステップＳ４０２：出場人物識別データを含むレコードが出場人物識別データテーブル４４４に対して新規に格納されたのに応じて、ＣＰＵ４０１は、未確認の精算人物識別データに付与される番号を示す変数ｍに対して、初期値として１を代入する。

ステップＳ４０３：次に、ＣＰＵ４０１は、精算人物識別データテーブル４４２におけるｍ番目の未確認（確認フラグが０）の精算人物識別データと、ステップＳ４０１に対応して出場人物識別データテーブルに格納された新規の出場人物識別データとを比較する。
ステップＳ４０４：ＣＰＵ４０１は、ステップＳ４０３による比較結果から、ｍ番目の未確認の精算人物識別データにより識別される精算人物と、新規の出場人物識別データにより識別される出場人物とが一致するか否かについて判定する。

ステップＳ４０４において一致したとの判定結果が得られた場合、新規の精算人物識別データにより識別される出場人物は、精算人物識別データにより精算人物としても識別されている。つまり、新規の精算人物識別データにより識別される出場人物としての顧客は、精算装置３００による精算を済ませている。
この場合、緊急警告報知を行う必要がない。そこで、この場合のＣＰＵ４０１は、同図に示す処理を終了すればよい。

ステップＳ４０５：一方、ステップＳ４０４において一致しないとの判定結果が得られた場合、ＣＰＵ４０１は、変数ｍをインクリメントする。
ステップＳ４０６：ＣＰＵ４０１は、ステップＳ４０５によりインクリメントされた変数ｍが最大値より大きいか否かについて判定する。ここでの判定に用いられる最大値は、精算人物識別データテーブル４４２に格納される精算人物識別データにおける未確認の精算人物識別データの数である。

ステップＳ４０６により変数ｍが最大値以下であると判定された場合には、未だステップＳ４０３により新規の出場人物識別データと比較を行っていない未確認の精算人物識別データが残っている。
そこで、この場合のＣＰＵ４０１は、処理をステップＳ４０３に戻すことによって、次の未確認の精算人物識別データと新規の出場人物識別データとを比較する。

ステップＳ４０７：一方、ステップＳ４０６により変数ｍが最大値より大きいことが判定された場合には、未確認の精算人物識別データにより識別される精算人物のいずれもが、新規の出場人物識別データにより識別される出場人物と一致していない。
この場合、新規の精算人物識別データにより特定される人物は精算装置３００にて精算を行っておらず、従って、不正行為を行っている可能性が高い。そこで、この場合のＣＰＵ４０１は、緊急警告報知を行う。

なお、緊急警告報知の態様としては、例えば図１２のステップＳ３０８による警告報知に準ずればよい。つまり、緊急警告報知は、精算監視装置４００、ストアコントローラ１００、登録装置２００などにおいて表示または音声出力によって行われてよい。また、精算装置３００のサインポール部３５０における点灯、点滅などによって行われるようにしてもよい。

なお、上記の図１８に示した処理では、精算監視装置４００は、撮像部３４０により撮像された画像に基づいて識別される精算人物のうちで、出場撮像装置６００により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定している。そして、出場人物に一致する精算人物のないことが判定されれば緊急警告表示を行っている。
しかし、本実施形態においては、出場人物に一致する精算人物があるか否かの判定に対して、出場人物に一致する登録人物があるか否かの判定をさらに組み合わせてもよい。

出場人物に一致する精算人物があるか否かの判定に対して、出場人物に一致する登録人物があるか否かの判定を組み合わせる具体例として以下の２例を挙げる。
１つ目の例は、以下のようになる。つまり、精算監視装置４００が、先ず、登録人物識別データのうちで出場人物識別データに一致する登録人物識別データがあるか否かについて判定する。そして、出場人物識別データに一致する登録人物識別データがあると判定した場合に、さらに精算人物のうちで出場人物識別データに一致する精算人物識別データがあるか否かについて判定する。ここで、出場人物識別データに一致する精算人物識別データのないことが判定された場合には、対象の人物が登録装置２００にて商品を登録してはいるが、精算装置３００にて精算を行わずに出口１２から出ようとしている状況にある。そこで、この場合の精算監視装置４００は緊急警告報知を行う。
また、出場人物識別データに一致する登録人物識別データがないと判定された場合には、対象の人物は店内に入場はしたが、結局は商品を購入することなく店舗を出ようとしている可能性が高い。そこで、この場合の精算監視装置４００は、緊急警告報知を行わないようにすればよい。但し、この場合には、商品を登録することなく店外に持ち出そうとする不正行為が行われている可能性もある。そこで、この場合の精算監視装置４００は、緊急警告報知よりも軽度の警告報知を行うようにしてもよい。

また、２つ目の例は、上記の例とは逆に、精算監視装置４００が、先ず、精算人物識別データのうちで出場人物識別データに一致する精算人物識別データがあるか否かについて判定する。出場人物識別データに一致する精算人物があると判定した場合に、さらに登録人物のうちで出場人物識別データに一致する登録人物識別データがあるか否かについて判定する。ここで、出場人物識別データに一致する精算人物識別データがあれば、対象の人物が精算を済ませてから店外に出場しようとしている状況であるため警告報知の必要はない。
これに対して、出場人物識別データに一致する精算人物識別データがない場合、対象の人物は、精算を行わずに商品を店外に持ち出そうとしている可能性がある。そこで、出場人物識別データに一致する精算人物識別データがない場合、精算監視装置４００は、さらに出場人物識別データに一致する登録人物識別データがあるか否かについて判定する。ここで、出場人物識別データに一致する登録人物識別データがあった場合、対象の人物は、登録装置２００にて商品の登録は行ったが、精算装置３００で精算を行わずに店外に出ようとしていることになる。そこで、この場合の精算監視装置４００は、緊急警告報知を行う。
また、２つ目の例においても、出場人物識別データに一致する登録人物識別データがないと判定された場合には、１つ目の例と同様に、精算監視装置４００は、緊急警告報知を行わない、あるいは緊急警告報知よりも軽度の警告報知を行うようにすればよい。

また、本実施形態においては、さらに、図１７に例示した以外の態様で、入場撮像装置５００により撮像された画像に基づいて識別される入場人物を、精算監視装置４００が行う警告報知に利用してもよい。
例えば、図１３の店舗１０において、入口１１から入場した顧客が、誤って出口１２ではなくまた入口１２から出てしまうような場合が考えられる。そこで、このような場合に対応して、入場撮像装置５００については、入口１１から店舗１０に入場しようとする顧客と、入口１１から出場私用とする顧客とを区別することなく、入口１１を通過しようとする顧客を撮像するように設ける。そのうえで、図１８における処理、または、上記の２例において、出場人物識別データに代えて、入場人物識別データを利用して一致判定を行うようにしてもよい。このような構成であれば、入口１１から出場してしまう顧客にも対応して、不正行為の有無を判定することが可能になる。

具体的には、図１８の処理への適用にあたっては、ステップＳ４０１にて新規の入場人物識別データが格納されたかを判定する。また、ステップＳ４０３にて、精算人物識別データと入場人物識別データとを比較するように構成すればよい。
また、上記の２例においては、登録人物識別データのうちで出場人物識別データに一致する登録人物があるか否かについての判定に代えて、登録人物識別データのうちで入場人物識別データに一致する登録人物があるか否かについての判定を行えばよい。また、精算人物のうちで出場人物識別データに一致する精算人物識別データがあるか否かについての判定に代えて、精算人物のうちで入場人物識別データに一致する精算人物識別データがあるか否かについて判定するように構成すればよい。

＜変形例＞
以下、本実施形態の変形例について説明する。
例えば、複数の顧客がグループで買い物に来ているような場合には、精算監視装置４００は、これらの顧客ごとに取得された識別データ（第１実施形態においては登録人物識別データ、精算人物識別データであり、第２実施形態においては入場人物識別データ、出場人物識別データをさらに含む）をグループ化して管理してもよい。
そのうえで、精算監視装置４００は、上記のようにグループ化した識別データを利用して、グループによる不正行為の監視を行ってもよい。具体的に、グループにおける少なくとも１人が登録装置２００にて商品の登録を行ってから精算装置３００にて精算せずに一定時間が経過したり、出口１２から出て行ったような場合には、予備的に警告報知を行う。そして、最後の１人まで精算装置３００にて精算せずに一定時間が経過したり、出口１２から出て行ったような場合には、正式に警告報知を行うようにすることができる。

また、撮像部２１２により静止画像を撮像する場合、登録装置２００において、１つの取引に対応する商品の登録の開始をトリガとして、所定の時間間隔により複数の静止画像を登録時画像として撮像するようにしてもよい。
この場合、精算監視装置４００は、複数の静止画像による登録時画像のうちから人物の状態（例えばサイズ、コントラストなど）が最良のものを選択して登録人物識別データを生成することができる。あるいは、複数の登録時画像を複合的に利用して登録人物識別データを生成してもよい。
この場合、精算監視装置４００は、複数の静止画像による画像のうちのそれぞれから人物の状態（例えばサイズ、コントラストなど）が最良のものを選択して各識別データを生成することができる。あるいは、複数の静止画像を複合的に利用して識別データを生成してもよい。

同様に、精算装置３００においても、精算する顧客の検出をトリガとして、所定の時間間隔により複数の静止画像を精算時画像として撮像するようにしてもよい。
また、入場撮像装置５００または出場撮像装置６００においても同様に、１人の顧客の入場または出場に対応して複数の静止画像を、入場時画像または出場時画像として撮像するようにしてもよい。

また、例えば撮像部２１２により撮像された複数の静止画像については、対応の登録装置２００において一覧表示されるようにし、一覧表示のうちから店員の操作によって選択された１つの静止画像を、登録時画像として精算監視装置４００に送信するようにしてもよい。このようにすれば、複数の静止画像のうちから、被写体としての顧客が最も良好に撮像されている静止画像を登録時画像として精算監視装置４００に送信することができる。
また、例えば店員が一覧表示を確認したところ、顧客が良好に撮像された静止画像が無いと判断した場合には、店員の操作に応じて、再度、撮像部２１２による撮像が行われるようにしてもよい。

また、警告報知または緊急警告報知などの報知は、精算監視装置４００、ストアコントローラ１００、登録装置２００、精算装置３００以外の装置によっても行われるようにしてもよい。例えば、店員や警備員が携帯する端末（スマートフォン、携帯電話、その他専用端末など）に対して、プッシュ通知、電子メールなどによって報知が行われるようにしてもよい。

また、図示は省略するが、例えば図１の店舗１０において、精算装置３００により精算を済ませた顧客が出口１２に至るまでの経路においてゲートが設けられてもよい。このようにゲートが設けられる場合には、例えば、ゲートを通過しようとする顧客を撮像するように出場撮像装置６００を設けてもよい。
さらに、警告報知あるいは緊急警告報知に際して、不正行為を行った者がゲートを通過して店舗の外へと容易に逃げられないように、例えばゲートが閉じたままの状態となって開かないようにする制御を精算監視装置４００が行ってもよい。

また、登録装置２００が備える撮像部２１２に代えて、登録装置２００とは独立した撮像装置が備えられてもよい。この場合には、撮像装置は、例えば登録装置２００を介することなく通信網１１０経由で登録時画像を精算監視装置４００に送信すればよい。
また、精算装置３００が備える撮像部３４０に代えて、精算装置３００とは独立した撮像装置が備えられてもよい。この場合の撮像装置も、例えば精算装置３００を介することなく通信網１１０経由で精算時画像を精算監視装置４００に送信すればよい。

また、第２実施形態の変形例として、入場撮像装置５００と出場撮像装置６００のうちのいずれか一方が省略された構成が採られてもよい。

なお、上述の精算監視装置４００としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の精算監視装置４００としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１，１Ａ 精算システム、１０ 店舗、２０ 商品棚、２２ カウンタ台、３０ サッカー台、１００ ストアコントローラ、２００ 登録装置、２１２ 撮像部、３００ 精算装置、３４０ 撮像部、３５０ サインポール部、４００ 精算監視装置、４４１ 登録人物識別データテーブル、４４２ 精算人物識別データテーブル、４４３ 入場人物識別データテーブル、４４４ 出場人物識別データテーブル、５００ 入場撮像装置、６００ 出場撮像装置

Claims (18)

1. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、
   前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段と、
   前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、
   前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する人物判定手段と、
   前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段と
   を備える監視システム。
2. 前記報知制御手段は、
   登録人物と一致する精算人物のないことが前記人物判定手段により判定される状態が、前記登録人物が撮像されてから一定時間以上継続した場合に、所定の態様で報知を行う
   請求項１に記載の監視システム。
3. 前記精算システムが備えられる店舗に入場する顧客を撮像するように設けられる入場対応撮像手段をさらに備え、
   前記人物判定手段は、
   登録人物が精算人物に一致しなかった場合に、さらに、前記入場対応撮像手段により撮像された画像に基づいて識別される入場人物のうちから、前記登録人物と一致する入場人物を探索し、探索された入場人物が前記精算人物と一致するか否かについて判定し、
   前記報知制御手段は、
   前記探索された入場人物が前記精算人物と一致しないことが前記人物判定手段により判定されるのに基づいて、所定の態様で警告報知を行う
   請求項１または２に記載の監視システム。
4. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、
   前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、
   前記精算システムが備えられる店舗から出場する顧客を撮像するように設けられる出場対応撮像手段と、
   前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記出場対応撮像手段により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定する人物判定手段と、
   前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段と
   を備える監視システム。
5. 前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段をさらに備え、
   前記人物判定手段は、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記出場人物に一致する登録人物があるか否かについて判定し、前記出場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記出場人物に一致する精算人物があるか否かについて判定し、
   前記報知制御手段は、前記精算人物のうちで前記出場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行う
   請求項４に記載の監視システム。
6. 前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段をさらに備え、
   前記人物判定手段は、前記精算人物のうちで前記出場人物に一致する精算人物がないと判定した場合に、さらに、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記出場人物に一致する登録人物があるか否かについて判定し、
   前記報知制御手段は、前記登録人物のうちで前記出場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行う
   請求項４に記載の監視システム。
7. 前記報知制御手段は、前記登録人物のうちで前記出場人物に一致する登録人物があるか否かについて判定し、前記出場人物に一致する登録人物がないと判定した場合は、前記緊急警告報知よりも軽度な警告としての報知を行う
   請求項５または６に記載の監視システム。
8. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、
   前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、
   前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段と、
   前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段と、
   前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段と、
   前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段とを備え、
   前記人物判定手段は、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記入場人物に一致する精算人物があるか否かについて判定し、
   前記報知制御手段は、前記精算人物のうちで前記入場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行う
   監視システム。
9. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムであって、
   前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段と、
   前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段と、
   前記精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段と、
   前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段と、
   前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段とを備え、
   前記人物判定手段は、前記精算人物のうちで前記入場人物に一致する精算人物がないと判定した場合に、さらに、前記登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、
   前記報知制御手段は、前記登録人物のうちで前記入場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行う
   監視システム。
10. 前記報知制御手段は、前記登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物がないと判定した場合は、前記緊急警告報知よりも軽度な警告としての報知を行う
    請求項８または９に記載の監視システム。
11. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する人物判定手段、
    前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段
    として機能させるためのプログラム。
12. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗から出場する顧客を撮像するように設けられる出場対応撮像手段により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定する人物判定手段、
    前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段
    として機能させるためのプログラム。
13. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段、
    前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段として機能させるためのプログラムであって、
    前記人物判定手段は、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記入場人物に一致する精算人物があるか否かについて判定し、
    前記報知制御手段は、前記精算人物のうちで前記入場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行う
    プログラム。
14. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムが備えるコンピュータを、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定手段、
    前記人物判定手段による判定結果に応じて、所定の態様で報知を行う報知制御手段として機能させるためのプログラムであって、
    前記人物判定手段は、前記精算人物のうちで前記入場人物に一致する精算人物がないと判定した場合に、さらに、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、
    前記報知制御手段は、前記登録人物のうちで前記入場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行う
    プログラム。
15. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物に一致する精算人物があるか否かについて判定する人物判定ステップと、
    前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップと
    を備える監視方法。
16. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗から出場する顧客を撮像するように設けられる出場対応撮像手段により撮像された画像に基づいて識別される出場人物に一致する精算人物があるか否かについて判定する人物判定ステップと、
    前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップと
    を備える監視方法。
17. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定ステップと、
    前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップとを備え、
    前記人物判定ステップは、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、前記入場人物に一致する登録人物があると判定した場合に、さらに前記精算人物のうちで前記入場人物に一致する精算人物があるか否かについて判定し、
    前記報知制御ステップは、前記精算人物のうちで前記入場人物に一致する精算人物のないことが判定された場合に、所定の態様で緊急警告報知を行う
    監視方法。
18. 商品の登録が行われる１以上の登録装置と、前記登録装置により登録された商品についての精算を行う１以上の精算装置とを備える精算システムに対応する監視システムにおける監視方法であって、
    前記精算装置により精算を行っている顧客を撮像するように設けられる精算対応撮像手段により撮像された画像に基づいて識別される精算人物のうちで、前記精算システムが備えられる店舗の入口を通過しようとする顧客を撮像するように設けられる入場対応撮像手段により撮像された画像に基づいて識別される入場人物に一致する精算人物があるか否かについて判定する人物判定ステップと、
    前記人物判定ステップによる判定結果に応じて、所定の態様で報知を行う報知制御ステップとを備え、
    前記人物判定ステップは、前記精算人物のうちで前記入場人物に一致する精算人物がないと判定した場合に、さらに、前記登録装置により商品の登録が行われている顧客を撮像するように設けられる登録対応撮像手段により撮像された画像に基づいて識別される登録人物のうちで前記入場人物に一致する登録人物があるか否かについて判定し、
    前記報知制御ステップは、前記登録人物のうちで前記入場人物に一致する登録人物のあることが判定された場合に、所定の態様で緊急警告報知を行う
    監視方法。

Images