JP7523992B2 - 画像解析装置、監視システムおよびチェックアウトシステム - Google Patents

画像解析装置、監視システムおよびチェックアウトシステム Download PDF

Info

Publication number
JP7523992B2
JP7523992B2 JP2020140023A JP2020140023A JP7523992B2 JP 7523992 B2 JP7523992 B2 JP 7523992B2 JP 2020140023 A JP2020140023 A JP 2020140023A JP 2020140023 A JP2020140023 A JP 2020140023A JP 7523992 B2 JP7523992 B2 JP 7523992B2
Authority
JP
Japan
Prior art keywords
product
processor
image
checkout
products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020140023A
Other languages
English (en)
Other versions
JP2022035589A (ja
Inventor
唯志 竹野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2020140023A priority Critical patent/JP7523992B2/ja
Priority to US17/338,624 priority patent/US20220058609A1/en
Publication of JP2022035589A publication Critical patent/JP2022035589A/ja
Application granted granted Critical
Publication of JP7523992B2 publication Critical patent/JP7523992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/202—Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/204—Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、画像解析装置、監視システムおよびチェックアウトシステムに関する。
従来、商品を購入する顧客自身の操作によって商品の登録および決済を行うセルフレジ（セルフチェックアウト装置）がある。従来のセルフレジには、会計処理へ移行しようとする場合に未登録の商品があれば、顧客に対してアラートを通知する機能を有するものがある。しかしながら、実施の運用では、レシートを分ける目的などで同一人物が連続して複数回の会計処理を行う場合がある。
上述したような従来のセルフレジは、会計処理への移行時に未登録の商品があればアラートを出す。このため、利用者が複数回に分けて会計を行うために未登録の商品が残った状態で会計処理への移行するたびにアラートが通知される。複数回に分けて会計することは、不正行為ではないので、未登録の商品が残った状態で会計処理への移行するたびにアラートを解除する必要がある。
特開２０１８－１１６５２５号公報
本発明が解決しようとする課題は、複数回に分け実施される会計処理を正しく監視できる画像解析装置、監視システムおよびチェックアウトシステムを提供することである。
実施形態によれば、画像解析装置は、画像インターフェースとプロセッサとを有する。画像インターフェースは、商品置き場にある個々の商品に対する商品情報を入力する作業と商品情報を入力した商品に対する会計の作業とを実施するための作業エリアを含む撮影領域を撮影した撮影画像を取得する。プロセッサは、前記商品置き場に商品情報が未入力の商品が存在する状態で会計が実行された場合に前記作業エリアから人物が立ち去ったことを検出すると、アラートを出力する。
図１は、本実施形態に係るチェックアウト装置および画像解析装置を含むチェックアウトシステムの構成例を示すブロック図である。 図２は、本実施形態に係るチェックアウト装置の外観を示す図である。 図３は、本実施形態に係るチェックアウト装置における制御系の構成例を示すブロック図である。 図４は、本実施形態に係る画像解析装置の構成例を示すブロック図である。 図５は、本実施形態に係るアテンダント端末の構成例を示すブロック図である。 図６は、本実施形態に係るチェックアウト装置の動作例を説明するためのフローチャートである。 図７は、本実施形態に係る画像解析装置の動作例を説明するためのフローチャートである。 図８は、本実施形態に係るアテンダント端末のディスプレイに表示するアラートの表示例を示す図である。
以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係るチェックアウトシステム１の構成例を示すブロック図である。
図１に示すように、チェックアウトシステム１は、チェックアウト装置２、画像解析装置３、セキュリティカメラ４、および、アテンダント端末５などを有する。図１に示す構成例において、画像解析装置３およびアテンダント端末５は、チェックアウト装置２の利用状況などを監視する監視システムを構成する。なお、チェックアウト装置２は、画像解析装置３を含む装置として構成しても良い。
チェックアウト装置２は、商品登録処理および会計処理を実行する装置である。本実施形態において、チェックアウト装置２は、利用者自身の操作によって、当該利用者が購入する商品に対する登録処理および会計処理を行うセルフチェックアウト装置（セルフレジ）であるものとする。
セキュリティカメラ４は、各チェックアウト装置２の利用状況やチェックアウト装置２を操作する利用者の動作などを監視するための画像を撮影する。セキュリティカメラ４は、チェックアウト装置２における商品登録または会計処理に伴う作業を利用者が行うための作業エリアを含む領域の画像を撮影するように構成される。セキュリティカメラ４は、作業エリアを含む撮影領域を撮影した画像を画像解析装置３へ供給する。セキュリティカメラ４は、チェックアウト装置２ごとに設置しても良いし、複数のチェックアウト装置２ごとに設置するようにしても良い。
画像解析装置３は、セキュリティカメラ４が撮影する撮影画像を解析する。画像解析装置３は、セキュリティカメラ４の撮影画像からチェックアウト装置２の利用者の動作やチェックアウト装置２の利用状況などを解析する解析処理を実行する。また、画像解析装置３は、チェックアウト装置２の利用状況や利用者の動作などの解析結果に応じてアラートを出力したり、解析結果を示す情報をアテンダント端末５またはチェックアウト装置２へ通知したりする。
アテンダント端末５は、監視対象とするチェックアウト装置２の利用状況などを示す情報を係員に報知する。アテンダント端末５は、チェックアウト装置２および画像解析装置３に接続される。複数のチェックアウト装置２を監視対象とする場合、アテンダント端末５は、監視対象とする複数のチェックアウト装置２における利用状況などを一元的に監視する。
アテンダント端末５は、監視対象となるチェックアウト装置２の利用状況を示す情報を表示するディスプレイ９０（図４参照）を有する。例えば、監視対象とするチェックアウト装置２が複数である場合、アテンダント端末５は、ディスプレイ９０の表示画面を監視対象とするチェックアウト装置２の台数分で分割し、分割した各画面に各チェックアウト装置２の利用状況などを示す情報や監視画像などを表示する。
次に、実施形態に係るチェックアウト装置２の構成例について説明する。
図２は、本実施形態に係るチェックアウト装置２の外観を示す図である。
図２に示すチェックアウト装置２は、商品を購入する顧客の操作によって、商品登録処理および会計処理が実行されるセルフチェックアウト装置（セルフレジ）であるものとする。
図２に示すように、チェックアウト装置２は、本体１０と、本体１０の左右に配置された第１の商品載置台１１と第２の商品載置台１２とを備える。本実施形態において、第１の商品載置台１１は登録処理前の商品を載置する商品置き場である。また、第２の商品載置台１２は登録処理後の商品を載置するものとする。ただし、登録処理前の商品は、ショッピングカート（以下、カート）に入れた状態で所定位置（商品置き場）に配置されるようにしても良い。この場合、登録処理前の商品を入れたカートを配置する所定位置は、セキュリティカメラ４の撮影範囲内になるものであれば良い。
第１の商品載置台１１は、本体１０に向かって本体１０の右側に配置する。例えば、第１の商品載置台１１には、利用者が購入しようとする商品（登録処理前の商品）を入れたかご（容器）が載置される。また、第１の商品載置台１１は、利用者が購入しようとする商品（登録処理前の商品）が直接載置されるものとしても良い。第１の商品載置台１１は、少なくとも載置された商品がセキュリティカメラ４で撮影される範囲にあるものであれば良い。
また、第２の商品載置台１２は、本体１０に向かって本体１０の左側に配置する。第２の商品載置台１２は、第１の商品載置台１１から取り出されて登録処理がなされた商品が載置される。例えば、第２の商品載置台１２は、本体１０のバーコードが読み取られた商品、或は、キー操作により商品を示す情報（商品情報）を入力した商品（登録処理後の商品）が載置される。図２に示す構成例では、第２の商品載置台１２は、上部に支柱を介して一時置き台１２ａを設ける。一時置き台１２ａは、例えば、商品を買い物袋に入れる前に一時的に載置するために使用される。一時置き台１２ａには、左右に離間させて２本の保持アーム１２ｂが設けられる。保持アーム１２ｂは、買い物袋（レジ袋）を開口させた状態で係止する。
本体１０には、ディスプレイ２１、カードリーダライタ（ＲＷ）２２、プリンタ２３、スピーカ２４、スキャナ２５、ハンドスキャナ２６、および、現金処理機２７が設けられる。さらに、本体１０の上部には、支柱を介してカメラ２８が設けられる。
ディスプレイ２１は、表示デバイス２１ａとタッチセンサ２１ｂとを含むタッチパネルである。表示デバイス２１ａは、操作案内、顧客が選択可能なアイコン（タッチキー）、或は、アラートとして警告のメッセージなどを表示する。表示デバイス２１ａは、例えば、ＬＣＤ（Liquid Crystal Display）である。タッチセンサ２１ｂは、表示デバイス２１ａの表示画面（操作画面）における人のタッチ位置を検出する。タッチセンサ２１ｂは、検知したタッチ位置を示す情報を処理部としての後述するプロセッサへと送る。
例えば、表示デバイス２１ａは、顧客のタッチ操作により支払い方法（現金、カード）などの選択指示や各種情報を入力するためのＧＵＩ（Graphical User Interface）を表示する。また、表示デバイス２１ａは、案内画面、情報入力画面、商品登録画面、精算画面などを表示する。案内画面は、顧客に操作方法を知らせるための案内（メッセージ）を表示する画面である。情報入力画面は、例えば、バーコードが付されていない商品の情報を入力するための操作画面である。商品登録画面は、登録した商品に関する情報を表示する画面である。商品登録画面では、例えば、スキャナ２５又はハンドスキャナ２６が読み取ったバーコードによって識別した商品、および、キー操作で指定された商品などの情報を表示する。精算画面は、商品の代金を顧客が支払う会計処理において、購入する商品（登録した商品）の合計金額、預かり金額、および、釣り銭額などを表示する画面である。
カードリーダライタ（ＲＷ）２２は、カードを処理する。カードリーダライタ２２は、カード挿入口を有する。カードリーダライタ２２は、カードに記録されたデータを読み取る機能とカードへデータを書き込む機能とを有する。カードリーダライタ４９は、磁気情報を記録する磁気カードであっても良いし、接触式あるいは非接触式のＩＣカードであっても良い。また、カードリーダライタ２２は、複数種のカードを処理する機構を有するものであっても良い。
例えば、カードリーダライタ２２は、カード挿入口に挿入される精算用のクレジットカード又は会員カードなどのカードを処理する。精算（決済）用のカードとしては、クレジットカード、デビットカード、電子マネーカード、プリペイドカードなどがある。また、会員カードとしては、会員情報を記録したメンバーズカード、或は、サービスとして利用可能なポイントを記録したポイントカードなどがある。
プリンタ２３は、レシートを印刷する。プリンタ２３は、レシート発行口を有する。プリンタ２３は、レシート用紙に対して各種の文字列や画像などを印刷することによりレシートを発行する。プリンタ２３は、例えばサーマルプリンタやドットインパクトプリンタなどを実現される。例えば、プリンタ２３は、会計処理が完了した場合に、処理内容（会計内容）を印刷したレシートを作成し、作成したレシートをレシート発行口から排出する。
スピーカ２４は、アラートしての警告音、或は、メッセージとしての音声などの音を出力する。
スキャナ２５およびハンドスキャナ２６は、商品を識別する情報を読み取るものである。本実施形態において、スキャナ２５およびハンドスキャナ２６は、商品を識別する情報として商品に付されたバーコードを読み取るものとする。スキャナ２５は、商品に付されたバーコードが相対するように、顧客が翳す商品のバーコードの画像を光学的に読み取る。ハンドスキャナ２６は、顧客によって手持ちで操作されるもので、商品に付されたバーコードに近接されることによりバーコードの画像を光学的に読み取る。なお、スキャナ２５およびハンドスキャナ２６は、商品を認識する情報を読み取るものであれば良く、例えば、バーコード以外の情報を読み取るものであっても良い。
現金処理機２７は、現金を処理するものである。現金処理機２７は、紙幣投入口、紙幣排出口、硬貨投入口および硬貨排出口などを有する。現金処理機２７は、紙幣投入口２７ａに投入された紙幣を処理する。現金処理機２７は、釣銭としての紙幣を紙幣排出口２７ｂから排出する。現金処理機２７は、硬貨投入口２７ｃに投入された硬貨を受け入れて処理する。現金処理機２７は、釣銭としての硬貨を硬貨排出口２７ｄから排出する。
カメラ２８は、少なくても登録処理前（未登録）の商品が置かれる領域（載置領域）を含む撮影範囲の画像を撮影する。例えば、第１の商品載置台１１に登録処理前の商品を入れたカゴが載置される形態である場合、カメラ２８は、カゴ内の全体を撮影するように撮影範囲が設定される。また、第１の商品載置台１１に登録処理前の商品を直接載置される形態である場合、カメラ２８は、第１の商品載置台１１の全体を撮影するように撮影範囲が設定される。また、登録処理前の商品を入れたカートが所定位置に配置される場合、カメラ２８は、所定位置のカート内を撮影するように撮影範囲が設定される。なお、カートを配置する所定位置は、例えば、第１の商品載置台１１近傍などに設定される。
また、カメラ２８は、顧客による商品登録処理と会計処理のための作業の様子を撮影するように設置しても良い。この場合、カメラ２８は、第１の商品載置台１１と第２の商品載置台１２とが撮影範囲に含まれるように設定する。このような設定によれば、カメラ２８は、第１の商品載置台１１に載置された商品が第２の商品載置台１２に載置されるまでの間の映像を撮影できる。カメラ２８が撮影した映像は、データメモリ４３などに保存しておくことにより、エラーが発生した場合などに状況を確認するために使用できる。
また、カメラ２８は、セキュリティカメラ４として用いても良い。カメラ２８をセキュリティカメラ４として用いる場合、カメラ２８は、チェックアウトの対象となる商品に対して利用者が商品登録および会計処理などの作業を実施するための作業エリアを含む撮影範囲を撮影するように設定される。また、カメラ２８がセキュリティカメラ４として用いられる場合、カメラ２８が撮影する画像は、画像解析装置３にも供給されるように構成される。
次に、本実施形態に係るチェックアウト装置２における制御系の構成について説明する。
図３は、本実施形態に係るチェックアウト装置２における制御系の構成例を示すブロック図である。
図３に示す構成例において、チェックアウト装置２の本体１０は、制御ユニット３０を有する。制御ユニット３０は、例えば、コンピュータで実現される。制御ユニット３０には、ディスプレイ２１、カードリーダライタ２２、プリンタ２３、スピーカ２４、スキャナ２５、ハンドスキャナ２６、現金処理機２７およびカメラ２８などが電気的に接続される。また、制御ユニット３０は、プロセッサ４０、ＲＯＭ（read-only memory）４１、ＲＡＭ（random-access memory）４２、データメモリ４３、および、各種のインターフェース（ＩＦ）４４～５３を有する。
プロセッサ４０は、プログラムを実行することにより種々の処理を実行する。プロセッサ４０は、例えば、ＣＰＵ（central processing unit）である。プロセッサ４０は、ＲＯＭ４１又はデータメモリ４３が記憶するプログラムを実行することにより各種の処理機能を実現する。例えば、プロセッサ４０は、商品の登録（入力）処理用のプログラムを実行することにより、登録モードとして商品の商品情報を登録（入力）する商品登録処理を実行する。プロセッサ４０は、会計処理用のプログラムを実行することにより、会計モードとして商品の代金を決済する会計処理を実行する。
ＲＯＭ４１は、不揮発性のメモリであり、プログラムおよびデータを記憶する。例えば、ＲＯＭ４１は、オペレーティングシステム、ミドルウェア、アプリケーションなどのプログラムを記憶する。また、ＲＯＭ４１は、プロセッサ４０が各種の処理を実行する場合に参照するデータを記憶しても良い。
ＲＡＭ４２は、作業用のデータを記憶する。ＲＡＭ４２は、いわゆるワークエリアとして利用されるメモリである。ＲＡＭ４２は、プロセッサ４０が各種の処理を実行する場合に参照するデータ、或は、一時的に使用するデータなどを適宜記憶する。
データメモリ４３は、データを記憶するメモリである。データメモリ４３は、書き換え可能な不揮発性のメモリである。データメモリ４３は、例えばＥＥＰＲＯＭ（登録商標）（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）、あるいはＳＳＤ（solid state drive）などで構成する。データメモリ４３は、プロセッサ４０が各種の処理を実行する場合に使用するデータ、或は、プロセッサ４０による処理で生成されたデータを保存する。また、データメモリ４３は、プロセッサ４０が実行する各種のプログラムを記憶しても良い。例えば、データメモリ４３は、登録処理用のプログラム、会計処理用のプログラムを記憶しても良い。
また、ＲＡＭ４２あるいはデータメモリ４３は、商品登録処理において登録した商品（登録商品）に関する情報を記憶する。ＲＡＭ４２あるいはデータメモリ４３は、例えば、登録商品に関する情報をリスト形式のデータ（登録商品リスト）として記録しても良い。また、ＲＡＭ４２あるいはデータメモリ４３は、カメラ２８が撮影する撮影画像を記憶する。データメモリ４３は、例えば、カメラ２８が撮影する撮影画像に撮影時刻を示すタイムスタンプのデータを付加した映像データを記憶しても良い。
プロセッサ４０は、スキャナＩＦ４４を介してスキャナ２５に接続する。プロセッサ４０は、スキャナＩＦ４４を介してスキャナ２５が読み取る画像（スキャン画像）を取得する。また、プロセッサ４０は、スキャナＩＦ４５を介してハンドスキャナ２６に接続する。プロセッサ４０は、スキャナＩＦ４５を介してハンドスキャナ２６が読み取る画像（スキャン画像）を取得する。プロセッサ４０は、スキャナ２５又はハンドスキャナ２６のスキャン画像に含まれるバーコードをデコードすることによりバーコードが示す商品を識別する。
プロセッサ４０は、表示ＩＦ４６を介してディスプレイ２１に接続する。プロセッサ４０は、表示ＩＦ４６を介してディスプレイ２１の表示デバイス２１ａが表示する表示内容を制御する。また、プロセッサ４０は、表示ＩＦ４６を介してディスプレイ２１のタッチセンサ２１ｂが検知するタッチ位置を示す情報を取得する。例えば、プロセッサ４０は、登録処理前（未登録）の商品が存在することを報知するためのアラート或はインジケータとしてのメッセージをディスプレイ２１に表示する。また、プロセッサ４０は、タッチ位置を示す情報によりディスプレイ２１に表示した各アイコン（タッチキー）への入力を検知する。
プロセッサ４０は、カードＩＦ４７を介してカードリーダライタ２２に接続する。プロセッサ４０は、カードＩＦ４７を介してカードリーダライタ２２によるカードに対する処理を制御する。例えば、プロセッサ４０は、カードリーダライタ２２が処理するクレジットカードによる精算処理を実行する。
プロセッサ４０は、プリンタＩＦ４８を介してプリンタ２３に接続する。プロセッサ４０は、プリンタＩＦ４８を介してプリンタ２３を制御する。例えば、プロセッサ４０は、プリンタ２３により会計処理の結果を示すレシートを発行する。
プロセッサ４０は、音声ＩＦ４９を介してスピーカ２４に接続する。プロセッサ４０は、音声ＩＦ４９を介してスピーカ２４から出力する音を制御する。例えば、プロセッサ４０は、登録処理前の商品が存在することを報知するためのアラートとしての音（ブザー）をスピーカ２４により出力する。
プロセッサ４０は、入出金ＩＦ５０を介して現金処理機２７に接続する。プロセッサ４０は、入出金ＩＦ５０を介して現金処理機２７を制御する。例えば、プロセッサ４０は、顧客が入金した現金を現金処理機２７が計数し、現金処理機２７が計数した入金金額を示す情報を取得する。また、プロセッサ４０は、入金した金額と登録済みの商品の合計金額（商品代金）とから算出した釣銭を現金処理機２７によって放出する制御を行う。
プロセッサ４０は、カメラＩＦ５１を介してカメラ２８に接続する。プロセッサ４０は、カメラＩＦ５１を介してカメラ２８が撮影する撮影画像を取得する。例えば、プロセッサ４０は、会計処理に移行する際にカメラ２８が撮影する第１の商品載置台１１上のカゴ（容器）内の画像を含む撮影画像を取得する。また、プロセッサ４０は、登録処理中において継続的に（例えば所定周期で）カメラ２８が撮影する第１の商品載置台１１上のカゴ（容器）内の画像を含む撮影画像を取得する。
プロセッサ４０は、通信ＩＦ５２を介して画像解析装置３に接続する。プロセッサ４０は、通信ＩＦ５２を介して画像解析装置３へ当該チェックアウト装置２の利用状況（例えば、会計処理への移行など）を示す情報を送信する。また、プロセッサ４０は、通信ＩＦ５３を介して画像解析装置３によるセキュリティカメラ４が撮影した画像に対する解析結果を示す情報を取得するようにしても良い。
プロセッサ４０は、通信ＩＦ５３を介してアテンダント端末５に接続する。プロセッサ４０は、通信ＩＦ５３を介してアテンダント端末５に動作状況を示す情報を送信する。例えば、プロセッサ４０は、チェックアウト装置２による商品の登録状況あるいは会計処理の実行状況などの利用状況を示す情報をアテンダント端末５へ送信する。また、プロセッサ４０は、画像解析装置３による画像解析の結果に応じてアテンダント端末５へアラートを送信するようにしても良い。
なお、通信ＩＦ５２および通信ＩＦ５３は、１つのインターフェースで実現しても良い。例えば、チェックアウト装置２がＬＡＮ（local area network）などのネットワークに接続された画像解析装置３およびアテンダント端末５と通信する構成であれば、通信ＩＦ５２および通信ＩＦ５３は、ネットワーク通信を行うための通信インターフェースであっても良い。また、チェックアウト装置２と画像解析装置３とを１つの装置で実現する場合、通信ＩＦ５２又は５３は省略しても良い。この場合、プロセッサ４０、メモリ４１およびＲＯＭ４２等を含む制御ユニットが後述する画像解析装置３としての画像解析処理を実行するようにすれば良い。
また、プロセッサ４０は、通信ＩＦ５２又は５３を介して管理サーバなどのコンピュータに接続するようにしても良い。例えば、プロセッサ４０は、通信ＩＦ５３によりチェックアウト装置２で登録された商品あるいは会計済みとなった商品を示す情報を管理サーバへ送信する。また、プロセッサ４０は、通信ＩＦ５３を介して通信するストアコンピュータから商品に関する情報などを適宜取得するようにしても良い。
次に、本実施形態に係る画像解析装置３における制御系の構成について説明する。
図４は、本実施形態に係る画像解析装置３における制御系の構成例を示すブロック図である。
図４に示す構成例において、画像解析装置３は、例えば、コンピュータで実現される。画像解析装置３は、セキュリティカメラ４、チェックアウト装置２およびアテンダント端末５に通信接続される。画像解析装置３は、プロセッサ６０、ＲＯＭ（read-only memory）６１、ＲＡＭ（random-access memory）６２、データメモリ６３、画像インターフェース（ＩＦ）６４、および、通信インターフェース（ＩＦ）６５、６６を有する。
プロセッサ６０は、プログラムを実行することにより種々の処理を実行する。プロセッサ６０は、例えば、ＣＰＵ（central processing unit）である。プロセッサ６０は、ＲＯＭ６１又はデータメモリ６３が記憶するプログラムを実行することにより各種の処理機能を実現する。例えば、プロセッサ６０は、画像解析用のプログラムを実行することにより、セキュリティカメラ４から取得する画像に基づいてチェックアウト装置２の利用状況などを解析する画像解析処理を実行する。さらに、プロセッサ４０は、会計処理への移行を検知するためのプログラムを実行することにより、チェックアウト装置２が会計処理に移行したことを検知する。また、プロセッサ４０は、動作認識用のプログラムを実行することにより、チェックアウト装置２に対応する作業エリアにおける人物の有無、あるいは、人物の動作などを認識する処理を実行する。
ＲＯＭ６１は、不揮発性のメモリであり、プログラムおよびデータを記憶する。例えば、ＲＯＭ６１は、オペレーティングシステム、ミドルウェア、アプリケーションなどのプログラムを記憶する。また、ＲＯＭ６１は、プロセッサ６０が各種の処理を実行する場合に参照するデータを記憶しても良い。
ＲＡＭ６２は、作業用のデータを記憶する。ＲＡＭ６２は、いわゆるワークエリアとして利用されるメモリである。ＲＡＭ６２は、プロセッサ６０が各種の処理を実行する場合に参照するデータ、或は、一時的に使用するデータなどを適宜記憶する。
データメモリ６３は、データを記憶するメモリである。データメモリ６３は、書き換え可能な不揮発性のメモリである。データメモリ４３は、例えばＥＥＰＲＯＭ（登録商標）（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）、あるいはＳＳＤ（solid state drive）などで構成する。データメモリ６３は、プロセッサ６０が各種の処理を実行する場合に使用するデータ、或は、プロセッサ６０による処理で生成されたデータを保存する。
例えば、データメモリ６３は、セキュリティカメラ４が撮影した画像を一定期間分保存する。さらに、データメモリ６３は、セキュリティカメラ４が撮影した画像のうち画像解析処理によってアテンダント端末５に表示させるべきと判定された一連の画像を保存する。また、データメモリ６３は、プロセッサ６０が実行する各種のプログラムを記憶しても良い。例えば、データメモリ４３は、画像解析処理用のプログラム、会計処理への移行を検知するためのプログラム、人物の動きなどを認識するためのプログラムなどのプログラムを記憶しても良い。
プロセッサ６０は、画像ＩＦ６４を介してセキュリティカメラ４に接続する。プロセッサ６０は、画像ＩＦ６４を介してセキュリティカメラ４が撮影した画像（撮影画像）を取得する。なお、チェックアウト装置２が具備するカメラ２８をセキュリティカメラ４として利用する場合、プロセッサ６０は、通信ＩＦ６５を介してセキュリティカメラ４としてのカメラ２８が撮影する画像を取得するようにしても良い。
プロセッサ６０は、通信ＩＦ６５を介してチェックアウト装置２に接続する。プロセッサ６０は、通信ＩＦ６５を介してチェックアウト装置２から会計処理へ移行したことを示す信号を取得しても良い。また、プロセッサ６０は、セキュリティカメラ４が撮影した撮影画像に対する解析結果として得られた利用者の状況（例えば、作業エリアにおける人物の有無など）を示す情報をチェックアウト装置２へ送信するようにしても良い。
プロセッサ６０は、通信ＩＦ６６を介してアテンダント端末５に接続する。プロセッサ６０は、通信ＩＦ６６を介してアテンダント端末５に画像解析処理の結果として得られた情報を送信する。例えば、プロセッサ６０は、利用者が未登録（未会計）の商品を残した状態でチェックアウト装置２の作業エリアから立ち去った場合、アテンダント端末５へアラート（利用者が未登録の商品を残した状態で作業エリアから立ち去ったことを示す情報）を送信するようにしても良い。また、プロセッサ６０は、アラートと共にセキュリティカメラ４が撮影した撮影画像をアテンダント端末５へ送信するようにしても良い。
なお、通信ＩＦ６５および通信ＩＦ６６は、ＬＡＮ（local area network）などのネットワークを介してチェックアウト装置２およびアテンダント端末５と通信するための１つの通信インターフェースであっても良い。
次に、本実施形態に係るアテンダント端末５における制御系の構成について説明する。
図５は、本実施形態に係るアテンダント端末５における制御系の構成例を示すブロック図である。
図５に示す構成例において、アテンダント端末５は、ディスプレイ９０を具備する。アテンダント端末５は、ディスプレイを有するコンピュータなどで実現される。アテンダント端末５は、プロセッサ８０、ＲＯＭ（read-only memory）８１、ＲＡＭ（random-access memory）８２、データメモリ８３、表示インターフェース（ＩＦ）８４、および、通信インターフェース（ＩＦ）８５、８６を有する。
プロセッサ８０は、プログラムを実行することにより種々の処理を実行する。プロセッサ８０は、例えば、ＣＰＵ（central processing unit）である。プロセッサ８０は、ＲＯＭ８１又はデータメモリ８３が記憶するプログラムを実行することにより各種の処理機能を実現する。例えば、プロセッサ８０は、監視用のプログラムを実行することにより、画像解析装置３からのアラートの通知に応じてディスプレイ９０にアラートを表示したり、セキュリティカメラ４が撮影した画像を表示したりする。
ＲＯＭ８１は、不揮発性のメモリであり、プログラムおよびデータを記憶する。例えば、ＲＯＭ８１は、オペレーティングシステム、ミドルウェア、アプリケーションなどのプログラムを記憶する。また、ＲＯＭ８１は、プロセッサ８０が各種の処理を実行する場合に参照するデータを記憶しても良い。
ＲＡＭ８２は、作業用のデータを記憶する。ＲＡＭ８２は、いわゆるワークエリアとして利用されるメモリである。ＲＡＭ８２は、プロセッサ８０が各種の処理を実行する場合に参照するデータ、或は、一時的に使用するデータなどを適宜記憶する。
データメモリ８３は、データを記憶するメモリである。データメモリ８３は、書き換え可能な不揮発性のメモリである。データメモリ８３は、例えばＥＥＰＲＯＭ（登録商標）（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）、あるいはＳＳＤ（solid state drive）などで構成する。データメモリ８３は、プロセッサ８０が各種の処理を実行する場合に使用するデータ、或は、プロセッサ８０による処理で生成されたデータを保存する。また、データメモリ８３は、プロセッサ８０が実行する各種のプログラムを記憶しても良い。
プロセッサ８０は、表示ＩＦ８４を介してディスプレイ９０に接続する。プロセッサ８０は、表示ＩＦ８６を介してディスプレイ９０の表示デバイスが表示する表示内容を制御する。また、ディスプレイ９０は、タッチセンサ内蔵の表示装置であっても良い。この場合、プロセッサ８０は、表示ＩＦ８４を介してディスプレイ９０のタッチセンサが検知するタッチ位置を示す情報を取得するようにしても良い。例えば、プロセッサ８０は、タッチ位置を示す情報によりディスプレイ９０に表示した各アイコン（タッチキー）への入力を検知する。
プロセッサ８０は、通信ＩＦ８５を介してチェックアウト装置２に接続する。例えば、プロセッサ８０は、通信ＩＦ８５を介してチェックアウト装置２から商品登録処理あるいは会計処理の処理内容を示す情報を取得する。また、プロセッサ８０は、カメラ２８が撮影した撮影画像をチェックアウト装置２から取得するようにしても良い。
プロセッサ８０は、通信ＩＦ８６を介して画像解析装置３に接続する。プロセッサ８０は、通信ＩＦ８６を介して画像解析装置３から画像解析処理により発生したアラートなどを取得する。例えば、プロセッサ８０は、通信ＩＦ８６を介して画像解析装置３から未会計の商品を残した状態で利用者が立ち去った旨のアラートを受信する。また、プロセッサ８０は、通信ＩＦ８６を介して画像解析装置３からアラートと共に表示するセキュリティカメラ４が撮影した撮影画像を受信する。
なお、通信ＩＦ６５および通信ＩＦ６６は、ＬＡＮ（local area network）などのネットワークを介してチェックアウト装置２および画像解析装置３と通信するための１つの通信インターフェースであっても良い。
次に、上記のように構成されるチェックアウト装置２の動作例について説明する。
図６は、チェックアウト装置２による商品登録処理および会計処理を含む動作例を説明するためのフローチャートである。
ここで、利用者は、購入する商品を持ってチェックアウト装置２の前に訪れるものとする。利用者は、購入する商品（登録前の商品）を所定の位置にセットする。例えば、利用者は、購入する商品（対象商品）を入れたカゴ（容器）を商品置き場としての第１の商品載置台１１上に載置する。また、利用者は、購入する商品を第１の商品載置台１１上に直接載置しても良い。また、利用者は、購入する商品を入れたカートを商品置き場としての所定位置に配置するようにしても良い。
購入する商品を商品置き場にセットした後、利用者は、所定の操作によりチェックアウト処理又は商品登録処理の開始を指示する。例えば、利用者は、ディスプレイ２１に表示されるタッチキーをタッチすることにより商品登録処理の開始を指示する。また、商品登録処理の開始は、利用者の動きに応じてプロセッサ４０が認識するようにしても良い。例えば、プロセッサ４０は、カメラ２８が撮影する画像を解析することにより利用者の動きを認識し、認識した利用者の動きに応じて商品登録処理の開始を判断しても良い。
チェックアウト装置２のプロセッサ４０は、商品登録処理の開始指示に応じて対象となる商品の商品情報を登録（入力）する商品登録処理を実行する（ＡＣＴ１１）。商品登録処理（登録モード）において、プロセッサ４０は、利用者の操作に応じてスキャナ２５又はハンドスキャナ２６が読み取るバーコードにより個々の商品を識別する。バーコードにより商品が識別できた場合、プロセッサ４０は、識別した商品に関する情報（商品情報）を登録する。
また、登録処理において、プロセッサ４０は、商品を利用者が指定する商品として登録しても良い。例えば、プロセッサ４０は、取り出した商品をディスプレイ２１に表示するタッチキーを利用者が操作して指定する商品として登録しても良い。商品の登録が完了したと判断した利用者は、会計処理への移行（登録処理の終了）を指示する。例えば、利用者は、ディスプレイ２１に表示されるタッチキーを操作することにより会計処理への移行を指示する。
会計処理への移行（又は、商品登録処理の終了）が指示された場合（ＡＣＴ１２、ＹＥＳ）、プロセッサ４０は、登録された商品に対する会計処理へ移行する。会計処理へ移行すると、プロセッサ４０は、登録された全商品の合計金額を決済する会計処理を実行する（ＡＣＴ１３）。例えば、プロセッサ４０は、登録された各商品の代金を特定し、各商品の代金の合計金額を算出する。プロセッサ４０は、算出した合計金額をディスプレイ２１に表示し、顧客からの合計金額を収受する処理を行う。商品の合計金額の収受が完了すると、プロセッサ４０は、登録した商品に対する会計処理を終了する。
登録した商品に対する会計処理を終了する場合、プロセッサ４０は、当該利用者が続けて商品登録および会計処理を実施するか否かを判断する（ＡＣＴ１４）。当該利用者は、続けて次の商品に対する登録処理および会計処理を実行する場合、所定の操作により次の商品登録処理の開始を指示する。
例えば、プロセッサ４０は、会計処理を終了してから所定期間において当該利用者による次の商品に対する登録処理の開始指示を受付ける。所定期間において次の商品に対する登録処理の開始が指示された場合、プロセッサ４０は、ＡＣＴ１１へ戻り、上述した商品登録処理を実行する。また、所定期間内に次の商品に対する登録処理の開始が指示されない場合、プロセッサ４０は、当該利用者に対する一連の処理を終了する。
また、プロセッサ４０は、会計処理を終了してから当該利用者が所定領域（例えば、作業エリア）から立ち去るまで、次の商品に対する登録処理の開始指示を受付けるようにしても良い。当該利用者が所定領域から立ち去ったか否かは、プロセッサ４０がカメラ２８の撮影画像から検出するようにしても良いし、画像解析装置３によるセキュリティカメラ４の撮影画像に対する解析結果から判定（検出）するようにしても良い。プロセッサ４０は、当該利用者が所定領域から立ち去った場合、あるいは、当該利用者による一連の処理の終了指示が入力された場合、当該利用者に対する一連の処理を終了する。
次に、本実施形態に係る画像解析装置３の動作について説明する。
図７は、本実施形態に係る画像解析装置３による画像解析処理を含む動作例を説明するためのフローチャートである。
画像解析装置３のプロセッサ６０は、画像ＩＦ６４を介して監視対象とするチェックアウト装置２に対応する作業エリアを含む撮影範囲を撮影した画像をセキュリティカメラ４から取得する（ＡＣＴ３１）。プロセッサ６０は、セキュリティカメラ４から取得する撮影画像に基づいて作業エリアに人が存在するか否かを判定する（ＡＣＴ３２）。チェックアウト装置２の作業エリアに人が存在しない場合（ＡＣＴ３２、ＮＯ）、プロセッサ６０は、ＡＣＴ３１へ戻り、ＡＣＴ３２の処理を繰り返し行う。
なお、プロセッサ６０は、ＡＣＴ３１の処理として、チェックアウト装置２において利用者による操作に応じた処理が開始されたときからセキュリティカメラ４の撮影画像を取得するようにしても良い。また、プロセッサ６０は、ＡＣＴ３２の処理として、センサなどを用いて作業エリアに人が存在すること、あるいは、作業エリアに人が進入してきたことを検知するようにしても良い。
また、作業エリアに人が存在する場合（ＡＣＴ３２、ＹＥＳ）、プロセッサ６０は、セキュリティカメラ４が撮影画像をデータメモリ６３に記憶する処理を開始する（ＡＣＴ３３）。ここで、プロセッサ６０は、作業エリアに存在する人が作業エリアから立ち去るまでの間、セキュリティカメラ４が撮影する画像を継続的にデータメモリ６２に記憶するものとする。また、プロセッサ６０は、記憶する撮影画像に撮影時刻を示す情報などに対応づけてデータメモリ６３に保存する。
ただし、プロセッサ６０は、作業エリアにおける人が存在の有無にかかわらずに、セキュリティカメラ４の撮影画像をデータメモリ６３に記憶するようにしても良い。この場合、プロセッサ６０は、データメモリ６３に記憶する撮影画像に撮影時刻を対応づけて記録し、さらに、作業エリアに人が存在することが検出された時刻（作業エリアに人が進入してきた時刻）をデータメモリ６３に記録しておくようにすれば良い。
また、プロセッサ６０は、チェックアウト装置２の利用状況を監視する（ＡＣＴ３４）。本実施形態において、プロセッサ６０は、利用状況の監視によってチェックアウト装置２が会計処理に移行したか否かをチェックする（ＡＣＴ３５）。例えば、プロセッサ６０は、通信ＩＦ６６により会計処理への移行を示す信号をチェックアウト装置２から受信するようにしても良い。この場合、プロセッサ６０は、チェックアウト装置２から会計処理への移行を示す信号を受信したことに基づいてチェックアウト装置２が会計処理に移行したものと判定する。
また、プロセッサ６０は、画像ＩＦ６４により取得するセキュリティカメラ４の撮影画像に対する画像分析によってチェックアウト装置２のディスプレイ２１に表示される画面の遷移を検出するようにしても良い。この場合、プロセッサ６０は、ディスプレイ２１に表示される画面が会計処理の画面に遷移したことを検出することにより会計処理への移行したことを検出できる。
また、プロセッサ６０は、画像ＩＦ６４により取得するセキュリティカメラ４の撮影画像に対する画像分析によって利用者の作業状況（動作）を認識するようにしても良い。例えば、プロセッサ６０は、ＯｐｅｎＰｏｓｅのような骨格推定技術を用いて利用者の作業状況を認識する処理を実現することができる。この場合、プロセッサ６０は、利用者が実施した作業が会計処理への移行を指示する作業であることを検出することにより会計処理への移行したことを検出するようにしても良い。
チェックアウト装置２が会計処理に移行したことを検出した場合（ＡＣＴ３５、ＹＥＳ）、プロセッサ６０は、画像ＩＦ６４により会計処理へ移行したときにセキュリティカメラ４の撮影画像を取得する（ＡＣＴ３６）。プロセッサ６０は、会計処理へ移行したと判定されたときにセキュリティカメラ４が撮影した撮影画像において未登録の商品が残っているか否かをチェックする（ＡＣＴ３６）。
例えば、プロセッサ６０は、画像ＩＦ６４により取得するセキュリティカメラ４の撮影画像において未登録の商品が第１の商品載置台（未登録の商品が置かれる商品置き場）１１に残されているか否かを判定する。また、プロセッサ６０は、商品置き場としての所定位置に置かれるカートに未登録の商品が残っているか否かを判定するようにしても良い。ここで、プロセッサ６０は、例えば、ＳＳＤのような物体検出技術を用いた商品の検出処理によって未登録の商品が残っているか否かの判定を実現することができる。また、プロセッサ６０は、ＡｌｅｘＮｅｔのような識別技術を用いた商品の検出処理によって、未登録の商品があるかないかを判定するようにしても良い。
未登録の商品が残されていると判定した後（ＡＣＴ３８、ＹＥＳ）、プロセッサ６０は、セキュリティカメラ４の撮影画像を取得し（ＡＣＴ３９）、チェックアウト装置２が商品登録処理に移行したか否かをチェックする（ＡＣＴ４０）。例えば、プロセッサ６０は、通信ＩＦ６６により商品登録処理への移行を示す信号をチェックアウト装置２から受信するようにしても良い。この場合、プロセッサ６０は、チェックアウト装置２が商品登録処理への移行を示す信号に基づいてチェックアウト装置２が商品登録処理に移行したものと判定する。
また、プロセッサ６０は、チェックアウト装置２のディスプレイ２１に表示される画面の遷移により商品登録処理への移行したことを検出するようにしても良い。また、プロセッサ６０は、撮影画像に対する画像分析によって利用者が実施した作業を認識することにより商品登録処理へ移行したことを検出するようにしても良い。
チェックアウト装置２が商品登録処理に移行していない場合（ＡＣＴ４０、ＮＯ）、プロセッサ６０は、作業エリアに利用者（会計の作業を行う人物）が存在しているか否かをチェックする（ＡＣＴ４１）。例えば、プロセッサ６０は、セキュリティカメラ４から取得する撮影画像を解析することにより作業エリアに利用者が存在しているかをチェックする。例えば、プロセッサ６０は、ＯｐｅｎＰｏｓｅのような骨格推定技術又はＳＳＤのような物体検出技術を用いて利用者が作業エリアに存在するか否かを判定するようにしても良い。
利用者が作業エリア内に存在すると判定した場合（ＡＣＴ４１、ＹＥＳ）、プロセッサ６０は、ＡＣＴ３９へ戻り、ＡＣＴ３９－４１の処理を繰り返し実行する。つまり、プロセッサ６０は、利用者が作業エリア内に存在する間にチェックアウト装置２が商品登録処理に移行した場合（ＡＣＴ４０、ＹＥＳ）、ＡＣＴ３４へ戻る。この結果として、プロセッサ６０は、会計処理を行った利用者が作業エリア内に留まって次の商品の登録処理および会計処理する行為に対してアラートを出力しないようにできる。
また、利用者が作業エリア内に存在しないと判定した場合（ＡＣＴ４１、ＮＯ）、プロセッサ６０は、当該利用者が作業エリアに進入してから退出するまでの一連の画像データを保存する（ＡＣＴ４３）。例えば、プロセッサ６０は、カメラ４の撮影画像を継続的に保存しているデータメモリ６３から当該利用者が作業エリアに進入してから退出するまでの一連の画像を抽出する。プロセッサ６０は、当該利用者が作業エリアに進入してから退出するまでの一連の画像をデータメモリ６３に監視確認用の画像として保存する。
また、利用者が作業エリア内に存在しないと判定した場合（ＡＣＴ４１、ＮＯ）、プロセッサ６０は、未登録の商品を残したままで作業エリアから退出した利用者がいることを店員に報知するためにアラートを出力する（ＡＣＴ４４）。例えば、プロセッサ６０は、アテンダント端末５へアラートを出力する。この場合、アテンダント端末５は、画像解析装置３からのアラートの通知に応じて、ディスプレイ９０に未登録の商品を残したままで作業エリアから退出した利用者がいることを示すポップアップ画像を表示する。また、プロセッサ６０は、アラートと共に当該利用者を含む撮影画像（監視確認用の画像）をアテンダント端末５へ送信するようにしても良い。この場合、アテンダント端末５は、利用者を含む撮影画像をディスプレイ９０に表示するようにしても良い。
図８は、アテンダント端末５におけるアラートの報知例としての報知画面の表示例である。
図８に示す表示例において、アテンダント端末５は、４つのチェックアウト装置２を監視対象とするものとする。図８に示す例では、ディスプレイ９０は、４つのチェックアウト装置（チェックアウト装置Ａ、Ｂ、Ｃ、Ｄ）に対応するように４分割した監視画面を表示する。
チェックアウト装置Ａにおいて未登録の商品を残したままで利用者が作業エリアから立ち去った場合、ディスプレイ９０は、チェックアウト装置Ａに対応する監視画面にアラートを表示する。図８に示す表示例において、チェックアウト装置Ａの監視画面には、アラートとして「商品未登録での立ち去りを検出」というメッセージと共に撮影画像を表示させる画像表示用のウインドウを表示する。
画像表示用のウインドウには、画像の表示を指示するための再生ボタンが表示される。管理者が再生ボタンを指示すると、アテンダント端末５のプロセッサ８０は、画像解析装置３から取得する当該利用者を含む撮影画像（監視確認用の画像）を表示させる。例えば、監視確認用の画像は、当該利用者が作業エリアに進入してから退出するまでの一連の撮影画像群である。この場合、プロセッサ８０は、当該利用者が作業エリアに進入してから退出するまでの一連の画像を時系列で連続して画像表示用のウインドウに表示させるようにすれば良い。
なお、プロセッサ６０は、監視員（管理者）が所持する携帯端末にアラートを通知するようにしても良い。また、プロセッサ６０は、所定のメールアドレス（例えば、監視員のメールアドレス）に対してアラートの通知を含む電子メールを送付するようにしても良い。さらに、プロセッサ６０は、チェックアウト装置２などに設けた表示器を点灯させてアラートを報知するようにしても良い。
以上のように、本実施形態に係る画像解析装置は、チェックアウト装置における対象商品に対する商品情報を入力する作業と商品情報を入力した商品に対する会計の作業とを実施するための作業エリアを含む撮影領域を撮影した撮影画像をセキュリティカメラから取得する。画像解析装置は、商品情報が未入力の商品が存在する状態で会計が実行された場合、作業エリアにおいて会計作業を行う人物の立ち去りを監視する。画像解析装置は、商品情報が未入力の商品が存在する状態で作業エリアから人物が立ち去ったことを検出すると、アテンダント端末へアラートを通知する。
これにより、レシートを分けるなどの目的で複数回の会計処理を実行しようとする利用者に対して１度の会計処理が終了するごとにアラートを報知することなく、複数回に分けて商品の登録処理および会計処理を行うことを許容できる。また、商品が未登録の状態のままで作業エリアから立ち去った場合には、アテンダント端末へアラートを通知することで不正な使用に対する警報も実現でき、セキュリティ性も保つことができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…チェックアウトシステム、２…チェックアウト装置、３…画像解析装置、４…セキュリティカメラ、５…アテンダント端末、１１…第１の商品載置台（商品置き場）、４０…プロセッサ（第１のプロセッサ）、４５、４６…通信インターフェース、６０…プロセッサ（第２のプロセッサ）、６３…データメモリ、６４…画像インターフェース、６５、６６…通信インターフェース、８０…プロセッサ（第１のプロセッサ）、８５、８６…通信インターフェース、９０…ディスプレイ。

Claims (5)

  1. 商品置き場にある個々の商品に対する商品情報を入力する作業と商品情報を入力した商品に対する会計の作業とを実施するための作業エリアを含む撮影領域を撮影した撮影画像を取得する画像インターフェースと、
    前記商品置き場に商品情報が未入力の商品が存在する状態で会計が実行された場合に前記作業エリアから人物が立ち去ったことを検出すると、アラートを出力するプロセッサと、
    を有する画像解析装置。
  2. さらに、前記画像インターフェースにより取得する撮影画像を記憶するメモリを有し、
    前記プロセッサは、前記商品置き場に商品情報が未入力の商品が存在する状態で会計が実行された場合に前記作業エリアから人物が立ち去ったことを検出すると、前記会計の作業を行った人物が前記作業エリアに進入してから退出するまでの一連の画像を前記メモリに保存する、
    請求項１に記載の画像解析装置。
  3. さらに、監視員が目視するディスプレイを具備するアテンダント端末と通信する通信インターフェースを有し、
    前記プロセッサは、前記商品置き場に商品情報が未入力の商品が存在する状態で会計が実行された場合に前記作業エリアから人物が立ち去ったことを検出すると、前記会計の作業を行った人物が前記作業エリアに進入してから退出するまでの一連の画像を前記アテンダント端末へ送信する、
    請求項１又は２の何れかに記載の画像解析装置。
  4. 画像解析装置とアテンダント端末とを有する監視システムであって、
    前記画像解析装置は、
    前記アテンダント端末と通信する第１の通信インターフェースと、
    商品置き場にある個々の商品に対する商品情報を入力する作業と商品情報を入力した商品に対する会計の作業とを実施するための作業エリアを含む撮影領域を撮影する画像を取得する画像インターフェースと、
    前記商品置き場に商品情報が未入力の商品が存在する状態で会計が実行された場合に前記作業エリアから立ち去った人物を検出すると、前記第１の通信インターフェースを介して前記アテンダント端末へ未入力の商品が残っていることを示す情報を出力するプロセッサと、を有し、
    前記アテンダント端末は、
    前記画像解析装置と通信する第２の通信インターフェースと、
    前記第２の通信インターフェースを介して前記画像解析装置から未入力の商品が残っていることを示す情報を受信した場合、未入力の商品が残っていることを報知するアラートをディスプレイに表示させる第２のプロセッサと、を有する、
    監視システム。
  5. チェックアウト装置と画像解析装置とを含むチェックアウトシステムであって、
    前記チェックアウト装置は、
    商品情報が未入力の商品が置かれる商品置き場と、
    前記商品置き場から取り出された個々の商品の商品情報を入力する商品入力処理と前記商品入力処理によって商品情報が入力された商品に対する決済を行う会計処理とを実行する第１のプロセッサと、を有し、
    前記画像解析装置は、
    前記商品置き場にある個々の商品に対する商品情報を入力する作業と商品情報を入力した商品に対する会計の作業とを実施するための作業エリアを含む撮影領域を撮影した撮影画像を取得する画像インターフェースと、
    前記商品置き場に商品情報が未入力の商品が存在する状態で会計が実行された場合に前記作業エリアから人物が立ち去ったことを検出すると、アラートを出力する第２のプロセッサと、を有する、
    チェックアウトシステム。
JP2020140023A 2020-08-21 2020-08-21 画像解析装置、監視システムおよびチェックアウトシステム Active JP7523992B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020140023A JP7523992B2 (ja) 2020-08-21 2020-08-21 画像解析装置、監視システムおよびチェックアウトシステム
US17/338,624 US20220058609A1 (en) 2020-08-21 2021-06-03 Image analysis apparatus, monitoring system, and checkout system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020140023A JP7523992B2 (ja) 2020-08-21 2020-08-21 画像解析装置、監視システムおよびチェックアウトシステム

Publications (2)

Publication Number Publication Date
JP2022035589A JP2022035589A (ja) 2022-03-04
JP7523992B2 true JP7523992B2 (ja) 2024-07-29

Family

ID=80270904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020140023A Active JP7523992B2 (ja) 2020-08-21 2020-08-21 画像解析装置、監視システムおよびチェックアウトシステム

Country Status (2)

Country Link
US (1) US20220058609A1 (ja)
JP (1) JP7523992B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965249B (zh) * 2022-12-16 2024-01-23 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116525A (ja) 2017-01-19 2018-07-26 東芝テック株式会社 チェックアウト装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319420A1 (en) * 2020-04-12 2021-10-14 Shenzhen Malong Technologies Co., Ltd. Retail system and methods with visual object tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116525A (ja) 2017-01-19 2018-07-26 東芝テック株式会社 チェックアウト装置

Also Published As

Publication number Publication date
JP2022035589A (ja) 2022-03-04
US20220058609A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US11676124B2 (en) Checkout apparatus
EP3098791A1 (en) Merchandise information processing apparatus that confirms merchandise code scanning
EP3352152A1 (en) Checkout apparatus and checkout method
JP7534229B2 (ja) 不正行為認識装置及びその制御プログラム、不正行為認識方法
US20180075424A1 (en) Settlement apparatus and method of settling a transaction using the same
JP2024107092A (ja) 精算システム、およびプログラム
JP7523992B2 (ja) 画像解析装置、監視システムおよびチェックアウトシステム
CN107424353B (zh) 结算装置及其控制方法、以及结账系统
KR20230077629A (ko) 결제자 감시 장치 및 그 프로그램, 결제자 감시 방법
KR20230014627A (ko) 정보 처리 시스템, 정보 처리 장치 및 그 제어 프로그램
EP3901878A1 (en) Commodity reading device and commodity reading method
JP2019096035A (ja) 決済装置、登録決済装置及び情報処理プログラム
JP7551484B2 (ja) チェックアウト装置および商品数のチェックプログラム
US20220180343A1 (en) Checkout apparatus, monitoring apparatus, and monitoring method
JP7510862B2 (ja) 商品読取装置および商品読取プログラム
JP6367778B2 (ja) 決済装置及びその制御プログラム
JP7555852B2 (ja) 不正行為認識装置及びその制御プログラム、並びに不正行為認識方法
JP7514770B2 (ja) 不正行為認識装置及びその制御プログラム、不正行為認識方法
JP7318067B2 (ja) チェックアウトシステム、決済装置及びその制御プログラム
JP6808789B2 (ja) 決済装置及びその制御プログラム
JP6585239B2 (ja) チェックアウトシステム及びその制御方法
JP7200201B2 (ja) 決済装置及びその制御プログラム
JP6914685B2 (ja) 硬貨払出装置、決済装置及びそのプログラム
JP2022187193A (ja) 販売管理システム
JP2023023430A (ja) 販売データ処理装置、およびプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240717

R150 Certificate of patent or registration of utility model

Ref document number: 7523992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150