JP2024012188A - 商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法 - Google Patents

商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法 Download PDF

Info

Publication number
JP2024012188A
JP2024012188A JP2023116100A JP2023116100A JP2024012188A JP 2024012188 A JP2024012188 A JP 2024012188A JP 2023116100 A JP2023116100 A JP 2023116100A JP 2023116100 A JP2023116100 A JP 2023116100A JP 2024012188 A JP2024012188 A JP 2024012188A
Authority
JP
Japan
Prior art keywords
product
customer
camera
identification
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023116100A
Other languages
English (en)
Inventor
ウォン・ジョン
Woong Jeon
ウンミン・キム
Eunmin Kim
ドンサン・ユン
Dongsan Yoon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwha Vision Co Ltd
Original Assignee
Hanwha Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Vision Co Ltd filed Critical Hanwha Vision Co Ltd
Publication of JP2024012188A publication Critical patent/JP2024012188A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/009—User recognition or proximity detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顧客の意図的な異常行為を判断して商品の損失を防止する。【解決手段】セルフチェックアウト装置１は、商品識別ゾーンが備えられ、識別商品が位置する商品認識テーブル１１、撮影方向が商品識別ゾーンになるように配置され、商品識別ゾーンを撮影して商品映像を取得する第１カメラ１６、商品認識テーブル及び店内を含む監視領域を撮影して映像を取得する第２カメラ１８、第１カメラにより取得された商品映像のうち商品に付与された識別コードを検出、解析して第１カメラにより撮影された商品識別結果を出力する商品識別部、第２カメラにより取得された監視領域の映像を解析して顧客行為の判断結果を出力する顧客行動判断部、第１カメラにより撮影された商品識別結果及び第２カメラにより撮影された顧客行為の判断結果に基づいて顧客行為を異常行為と正常行為とに判別し、判別結果に応じて制御信号を発生するプロセッシング部、を含む。【選択図】図１

Description

本明細書は、商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法に関する。
現在、スーパーやディスカウントストアなどの売り場で顧客が購入する商品の大部分は、商品に取り付けられているバーコードで認識されている。バーコードスキャナ及びコンピュータを含むＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システムは、このような商品の認識のために広く使われており、顧客が購入した商品の価格を迅速かつ正確に計算できるため、売り場で非常に有用に活用されている。ＰＯＳシステムはバーコードスキャナをコンピュータの入力装置として使用して商品に取り付けられたバーコードから商品を認識することで、各商品の価格を判別する。
一方、このようなＰＯＳシステムを利用しても、商品のバーコードをバーコードスキャナに認識させる人が必要であり、これは売り場の運営に必要なリソースのうち相当部分を占めるため、最近は売り場の運営に必要なリソースを軽減するために、顧客が直接購入した商品をバーコードスキャナに認識させて決済できるセルフチェックアウト装置（Ｓｅｌｆ－Ｃｈｅｃｋｏｕｔ Ｄｅｖｉｃｅ）（セルフチェックアウト端末または無人計算装置ともいう。）を導入する売り場が増えている。
しかしながら、店内においてセルフチェックアウト装置を利用する顧客の一部は、２つの商品のうち１つのみをバーコードスキャナで認識して決済するか、商品をバーコードスキャナに認識させずに持っていくなど、売り場の商品が損失する場合がしばしば発生する。
前述の内容は、本発明の技術的思想に対する背景技術の理解のためのものに過ぎず、従って、それは本発明の技術分野の当業者に公知の先行技術に該当する内容と理解できない。
本明細書は前述の問題点を解決するためのもので、本明細書の一実施形態は店内に設置されたセルフチェックアウト装置において映像に基づいて顧客の意図的な異常行為を判断して商品の損失（ｌｏｓｓ）を防止することを目的とする。
また、本明細書の一実施形態はセルフチェックアウト装置により撮影した映像に基づいてイベント映像、顧客の決済行為と関連した映像及び店内で発生した顧客の行為と関連した映像を参照して商品の盗難確認、交換及び払い戻しを容易にし、顧客の異常行為に関連した証拠映像を保存及び抽出することを目的とする。
本発明が解決しようとする課題は以上で言及された課題に制限されず、言及されていない他の課題は以下の記載から通常の技術者に明確に理解できるであろう。
本明細書は、セルフチェックアウト（Ｓｅｌｆ－Ｃｈｅｃｋｏｕｔ）装置を提示する。前記セルフチェックアウト装置は、商品識別ゾーン（ｚｏｎｅ）が備えられ、識別予定の商品が位置する商品認識テーブル；撮影方向が商品識別ゾーンになるように配置され、前記商品識別ゾーンを撮影して商品識別ゾーン内の商品の映像を取得する第１カメラ、前記商品認識テーブル及び店内を含む監視領域を撮影して前記監視領域の映像を取得する第２カメラ；前記第１カメラにより取得された商品の映像から商品に付与された識別コードを検出し、前記検出された識別コードを解析して前記第１カメラにより撮影された商品の識別結果を出力する商品識別部；前記第２カメラにより取得された監視領域の映像を解析して前記第２カメラに撮影された顧客行為の判断結果を出力する顧客行為判断部；及び前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客行為の判断結果に基づいて前記顧客の行為を異常行為と正常行為とに判別し、前記判別結果に応じて制御信号を発生するプロセッシング部；を含む。
前記セルフチェックアウト装置及びその他の実施形態は、次のような特徴を含む。
実施形態により、前記顧客行為判断部は、前記第２カメラにより取得された監視領域の映像を分析して前記第２カメラに撮影された顧客の行為を判断する人工ニューラルネットワークを含み、前記人工ニューラルネットワークは、前記商品識別部により商品が識別された時の前記第２カメラにより撮影された顧客の行為映像及び前記商品識別部により商品が識別されていない時の第２カメラにより撮影された顧客の行為映像を学習して、商品を前記商品識別ゾーンに位置させて識別されるようにする行為に該当しない顧客の行為を判断するように訓練されたものであってもよい。
実施形態により、また、前記プロセッシング部は、前記第２カメラにより取得された前記監視領域の映像を分析して前記第２カメラに撮影された顧客の顔表情変化、顔色変化及び心拍測定値のうち少なくとも１つに基づいて前記第２カメラに撮影された顧客行為を異常行為と正常行為とに判別し、前記判別結果に応じて制御信号を発生する。
実施形態により、また、前記プロセッシング部は、特定商品が入力されると、前記第２カメラにより撮影された顧客の行為映像のうち前記特定商品と関連した顧客の行為映像を保存し、保存された特定商品に関連した顧客の行為映像のうち異常行為として判別された映像により前記人工ニューラルネットワークを学習させて、前記特定商品に対する顧客の異常行為を判断する前記人工ニューラルネットワークの判断能力を更新する。
実施形態により、また、前記プロセッシング部は、前記第２カメラにより撮影された映像の分析により顧客が年齢制限商品を取ったと判断されると、年齢制限商品を取った顧客の顔映像を分析して年齢を算出し、前記年齢制限商品を取った顧客の年齢が前記年齢制限商品を購入できない年齢であると判断された場合、前記年齢制限商品を取った顧客が前記商品認識テーブルの前で認識されると、前記年齢制限商品に対する前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記年齢制限商品を取った顧客の行為が異常行為であるか否かを判別する。
実施形態により、また、前記商品認識テーブル周辺の一定領域に配置された識別前商品テーブル及び識別後商品テーブルをさらに含み、前記顧客の異常行為は、前記顧客行動判断部が前記顧客の手から２つ以上の商品を認識する場合、前記顧客行動判断部が前記顧客の手で１つの商品を認識したが認識された商品が識別されない場合、及び前記識別前商品テーブルから顧客がピックアップした商品が識別されずに前記識別後商品テーブルに移動される場合を含む。
実施形態により、また、前記識別前商品テーブル及び前記識別後商品テーブルは、前記識別前商品テーブル及び前記識別後商品テーブルの上に置かれた商品の重量を測定する重量測定センサを含み、前記プロセッシング部は、前記重量測定センサが前記識別前商品テーブル及び前記識別後商品テーブルの少なくとも１つにおいて重量変化を感知し、前記重量変化を感知した時間帯に前記商品識別部により商品が識別されない場合、又は、前記重量測定センサが前記識別前の商品テーブルから減少した重量より前記識別後商品テーブルにおいて少ない重量の増加を感知し、前記重量変化を感知した時間帯に前記商品識別部により商品が識別された場合に前記顧客が異常行為をしたと判断（ｄｅｃｉｄｅ）する判別（ｄｉｓｔｉｎｇｕｉｓｈ）結果を出力する。
実施形態により、また、前記プロセッシング部は、第１カメラにより撮影された商品の識別結果及び第２カメラにより撮影された顧客の行為の判断結果に基づいて前記顧客の行為と関連したイベントに関するメタデータを生成し、前記メタデータが生成された第１カメラ及び第２カメラの映像データと前記メタデータを対応させて映像データ保存装置に保存し、及び検索語が入力されると、前記検索語を前記メタデータから検索して前記検索語に対応する映像データを前記映像データ保存装置から抽出して再生する。
実施形態により、また、前記プロセッシング部は、第１カメラ及び第２カメラにより撮影された映像において商品が認識された場合、認識された商品と関連した顧客の行動に関する映像を映像データ保存装置に保存するものの、前記認識された商品を特定する情報をメタデータに記録した後、前記メタデータを前記認識された商品と関連した顧客の行動に関する映像とマッチングして保存し、及び前記認識された商品を特定する検索語が入力されると、前記検索語を前記メタデータから検索して前記認識された商品と関連した顧客の行動に関する映像を前記地蔵映像データ保存装置から抽出する。
実施形態により、また、前記プロセッシング部は、前記第２カメラに撮影された顧客に関する個人識別情報（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉａｂｌｅ Ｉｎｆｏｒｍａｔｉｏｎ）に対応する個人識別用オブジェクトを生成し、前記個人識別用オブジェクトを前記第２カメラに撮影された顧客と関連した前記第１カメラにより取得された映像データ及び前記第２カメラにより取得された映像データに対応させて前記映像データ保存装置に保存する。
実施形態により、また、前記人工ニューラルネットワークは、前記第２カメラにより撮影された顧客の行為映像内の人物に対するスケルトンアルゴリズムにより前記顧客の行為を判断する。
一方、本明細書はセルフチェックアウト装置の制御方法を提示する。前記方法は、第１カメラにより商品認識テーブルに備えられた商品識別ゾーンを撮影して商品識別ゾーン内の商品の映像を取得する段階；第２カメラにより前記商品認識テーブル及び店内を含む監視領域を撮影して前記監視領域の映像を取得する段階；前記第１カメラにより取得された商品の映像から商品に付与された識別コードを検出し、前記検出された識別コードを解析して前記第１カメラにより撮影された商品の識別結果を出力する段階；前記第２カメラにより取得された前記監視領域の映像を解析して前記第２カメラに撮影された顧客の行為の判断結果を出力する段階；前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて、前記顧客の行為を異常行為と正常行為のいずれか１つに判別する段階；及び前記判別結果に応じて制御信号を発生する段階を含む。
前記セルフチェックアウト装置の制御方法及びその他の実施形態は、次のような特徴を含む。
実施形態により、前記顧客の行為を異常行為と正常行為のいずれか１つに判別する段階は、人工ニューラルネットワークを介して前記第２カメラにより取得された監視領域の映像を分析して前記第２カメラに撮影された顧客の行為を判断する段階を含み、前記人工ニューラルネットワークは、前記商品が識別された時の前記第２カメラにより撮影された顧客の行為映像及び前記商品が識別されていない時の第２カメラにより撮影された顧客の行動映像を学習して、商品を前記商品識別ゾーンに位置させて識別されるようにする行為に該当しない顧客の行為を判断するように訓練されたものであってもよい。
実施形態により、また、前記セルフチェックアウト装置の制御方法は、前記第２カメラにより取得された前記監視領域の映像を分析して前記第２カメラに撮影された顧客の顔表情変化、顔色変化及び心拍測定値のうち少なくとも１つに基づいて前記第２カメラに撮影された顧客行為の判断結果を出力する段階をさらに含んでもよい。
実施形態により、また、前記セルフチェックアウト装置の制御方法は、特定商品が入力されると、前記第２カメラにより撮影された顧客の行為映像のうち前記特定商品と関連した顧客の行為映像を保存する段階；及び保存された前記特定商品に関連した顧客の行為映像のうち異常行為と判別された映像により前記人工ニューラルネットワークを学習させて、前記特定商品に対する顧客の異常行為を判断する前記人工ニューラルネットワークの判断性能を更新する段階をさらに含んでもよい。
実施形態により、また、前記セルフチェックアウト装置の制御方法は、前記第２カメラにより撮影された映像の分析により顧客が年齢制限商品を取ったと判断されると、年齢制限商品を取った顧客の顔映像を分析して年齢を算出する段階；及び前記年齢制限商品を取った顧客の年齢が前記年齢制限商品を購入できない年齢であると判断された場合、前記年齢制限商品を取った顧客が前記商品認識テーブル前で認識されると、前記年齢制限商品に対する前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記年齢制限商品を取った顧客の行為が異常行為であるか否かを判別する段階をさらに含んでもよい。
実施形態により、また、前記監視領域は、前記商品認識テーブル周辺の一定領域に配置された識別前商品テーブル及び識別後商品テーブルを含み、前記異常行為は、前記顧客の手から２つ以上の商品が認識される場合、前記顧客の手で１つの商品が認識されたが認識された商品が識別されていない場合及び前記識別前商品テーブルから前記顧客がピックアップした商品が識別されずに前記識別後商品テーブルに移動される場合を含んでもよい。
実施形態により、また、前記セルフチェックアウト装置の制御方法は、前記識別前商品テーブル及び前記識別後商品テーブル上に置かれた商品の重量を測定する段階をさらに含み、前記顧客の行為を異常行為と正常行為のいずれか１つに判別する段階は、前記識別前商品テーブル及び前記識別後商品テーブルの少なくとも１つにおいて重量変化を感知し、前記重量変化を感知した時間帯に商品が識別されない場合又は前記識別前商品テーブルから減少した重量より前記識別後商品テーブルにおいてより少ない重量の増加を感知し、前記重量変化を感知した時間帯に商品が識別された場合、前記顧客が異常行為をしたと判別（ｄｉｓｔｉｎｇｕｉｓｈ）する段階をさらに含んでもよい。
実施形態により、また、前記セルフチェックアウト装置の制御方法は、前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記顧客の行為と関連したイベントに対するメタデータを生成する段階；前記メタデータが生成された前記第１カメラ及び前記第２カメラの映像データと前記メタデータを対応させて映像データ保存装置に保存する段階；及び検索語が入力されると、前記検索語を前記メタデータから検索して前記検索語に対応する映像データを前記映像データ保存装置から抽出して再生する段階をさらに含んでもよい。
実施形態により、また、前記セルフチェックアウト装置の制御方法は、前記第１カメラ及び前記第２カメラにより撮影された映像において商品が認識された場合、認識された商品と関連した顧客の行動に関する映像を画像データ保存装置に保存するものの、前記認識された商品を特定する情報をメタデータに記録した後、前記メタデータを前記認識された商品と関連した顧客の行動に関する映像にマッチングして保存する段階；及び前記認識された商品を特定する検索語が入力されると、前記検索語を前記メタデータから検索して前記認識された商品に関連した顧客の行動に関する映像を前記映像データ保存装置から抽出する段階をさらに含んでもよい。
本明細書に開示された実施形態は、店内に設置されたセルフチェックアウト装置から取得した映像に基づいて顧客の意図的な異常行為を判断して商品が損失することを防止できる効果がある。
また、本明細書に開示された実施形態は、セルフチェックアウト装置で撮影した映像に基づいてイベント映像、顧客の決済行為と関連した映像及び店内で発生した顧客の行為と関連した映像を参照して商品の盗難確認、交換及び払い戻しを容易にし、顧客の異常行為と関連した証拠映像を保存及び抽出できる効果がある。
また、本明細書に開示された実施形態は、店内に設置されたセルフチェックアウト装置で取得した映像に基づいて顧客の年齢及び心理状態を判断し、顧客の年齢及び心理状態に応じて発生しうる異常行為を判別して予防できる効果がある。
一方、本発明で得られる効果は以上で言及した効果に制限されず、言及していない他の効果は下記の記載から本発明が属する技術分野において通常の知識を有する者に明確に理解できるであろう。
本明細書に添付される以下の図面は、本発明の好ましい実施形態を例示するものであり、発明を実施するための具体的な内容と共に本発明の技術思想をさらに理解させるためのものであるため、本発明はそのような図面に記載された事項にのみ限定されて解釈されてはならない。
本発明の実施形態による例示的なセルフチェックアウト装置の外観図である。 監視カメラにより取得された監視領域に関する映像の例を示した図である。 一実施形態によるセルフチェックアウト装置の構成を示したブロック図である。 一実施形態による制御部の機能ブロック図である。 一実施形態によるセルフチェックアウト装置の制御方法を説明するフローチャートである。
本明細書に開示された技術は、商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法に適用できる。しかしながら、本明細書に開示された技術はこれに限定されず、前記技術の技術的思想が適用できる全ての装置及び方法にも適用できる。
本明細書において使用される技術的用語は、特定の実施形態を説明するために使用されたものに過ぎず、本明細書に開示された技術の思想を限定しようとする意図ではないことに留意すべきである。また、本明細書において使用される技術的用語は、本明細書において他に定義されない限り、本明細書に開示された技術の属する分野において通常の知識を有する者により一般的に理解される意味に解釈されるべきであり、過度に包括的な意味に解釈されるか、過度に縮小された意味に解釈されてはならない。また、本明細書において使用される技術的な用語が本明細書に開示された技術の思想を正確に表現できない誤った技術的用語である場合には、本明細書に開示された技術が属する分野で通常の知識を有する者が正しく理解できる技術的用語に代替されて理解されるべきである。また、本明細書において使用される一般的な用語は辞書に定義されている内容に従って、または前後の文脈上によって解釈されなければならず、過度に縮小された意味に解釈されてはならない。
本明細書において使用される第１、第２などの序数を含む用語は多様な構成要素の説明のために使用できるが、前記構成要素は前記用語により限定されてはならない。前記用語は、ある構成要素を他の構成要素から区別する目的にのみ使用される。例えば、本発明の権利範囲を逸脱せずに第１構成要素は第２構成要素と命名されてもよく、同様に、第２構成要素も第１構成要素と命名されてもよい。
以下、添付の図面を参照して本明細書に開示された実施形態を詳しく説明し、図面符号に関係なく同一または類似した構成要素は同一の参照番号を付与し、これに関する重複説明は省略する。
また、本明細書に開示された技術の説明において、関連した公知技術に関する具体的な説明が本明細書に開示された技術の要旨を不明確にする可能性があると判断される場合、その詳細な説明を省略する。また、添付の図面は本明細書に開示された技術の思想を容易に理解できるようにするためのものであり、添付の図面によりその技術の思想が制限されると解釈されてはならないことを留意すべきである。
本発明の一実施形態による映像またはイメージは、特別な限定がない限り、静止映像及び動画を両方とも含む。
以下では、添付の図面を参照して実施形態を詳細に説明する。
図１は、本発明の実施形態による例示的なセルフチェックアウト装置の外観図である。
図１を参照すると、一実施形態によるセルフチェックアウト装置１はハウジング１０、２０、３０を有する。ハウジング１０、２０、３０は、セルフチェックアウト装置１を総括的に制御する制御装置（図示せず、図３の１００）や、外部の電子装置とデータ通信を行う通信インタフェース（図示せず）や、セルフチェックアウト装置１に駆動電力を供給する電源装置（図示せず）などを収容する。
ハウジング１０は、商品認識テーブル１１、表示装置１２及び入力装置１３、カードリーダー１４、領収書プリンタ１５、商品認識カメラ１６、ハンディスキャナ１７及び監視カメラ１８を備える。
ハウジング２０は、その上部に識別前商品テーブル２１を備え、その内部に識別前商品テーブル２１に載せられた物の重量を測定できる重量測定センサ（図示せず）を備える。
ハウジング３０は、その上部に識別後商品テーブル３１を備え、その内部に識別後商品テーブル３１に載せられた物の重量を測定できる重量測定センサ（図示せず）を備える。
商品認識テーブル１１には商品識別ゾーン（ｚｏｎｅ）（図２の１１－１）が設けられ、商品認識カメラ１６の撮影領域は商品識別ゾーンに設定される。顧客（使用者、ショッピング客）は決済しようとする商品を商品識別ゾーンに位置させるものの、商品の識別コードが商品認識カメラ１６の撮影方向に向かうように位置させることにより商品認識カメラ１６が決済する商品の識別コードを撮影できるようにする。
表示装置１２は、ショッピング及び決済に関する情報を表示する。入力装置１３は、顧客からショッピング及び決済に関する命令を受ける。表示装置１２及び入力装置１３は、１つのモジュール形態で構成されてもよい。表示装置１２及び入力装置１３は、例えば、タッチ入力センサ（入力装置１３に該当する）とＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル（表示装置１２に該当する）が結合されたＬＣＤモジュールの形態で構成されてもよい。表示装置１２は、セルフチェックアウト装置１の操作方法案内画面または操作メニュー画面、商品スキャン結果画面、商品決済画面などを表示することができる。商品スキャン結果画面には、商品認識カメラ１６により撮影された商品の映像、識別された識別コードに基づく商品名、商品単価、商品重量などの商品精算に伴う情報が表示される。商品決済画面にはショッピング合計金額、決済手段情報、ポイント（リワード）情報などが表示される。入力装置１３は、表示装置１２の画面表示に応じる顧客（使用者）の操作命令またはメニュー選択などが入力される。
カードリーダー１４は、磁気カードまたはＩＣカード（例えば、クレジットカード、デビットカード、またはポイントカードなど）に記録された情報を読み込む。
領収書プリンタ１５は、商品の決済が完了した後、購入した商品名、商品単価、ショッピング合計金額などの情報が記載された領収書を印刷して出力する。
商品認識カメラ１６は、その撮影方向が商品認識テーブル１１の上面に設けられた商品識別ゾーン（図２の１１-１）に向かうようにハウジング１０の上部に固定され、商品識別ゾーンを撮影して商品識別ゾーン内に位置した商品の映像を取得する。本実施形態では、商品認識カメラ１６がハウジング１０の上部に固定されているが、商品認識カメラ１６の固定位置はハウジング１０の上部に限定されず、領収書プリンタ１５が設置された位置であるハウジング１０の前面部または商品認識テーブル１１の内部に商品認識カメラ１６の画角が商品識別ゾーンに向かうように設置されてもよい。この時、商品認識テーブル１１の上面、すなわち、商品識別ゾーンは透明な材質で形成されてもよく、商品認識カメラ１６は透明な材質の商品識別ゾーンを透過して入射された商品に関する映像を取得することができる。商品認識カメラ１６は、いずれかの一ヵ所にのみ設置されるのではなく、ハウジング１０の上部と領収書ハウジング１０の前面部及びハウジング１０の上部と商品認識テーブル１１の内部など、２つ以上の場所に同時に備えられてもよい。
商品認識カメラ１６は商品の表面に印刷された識別コード（例えば、バーコード）に関する映像を取得してセルフチェックアウト装置１が商品を識別するようにするため、バーコードリーダー（ｂａｒ ｃｏｄｅ ｒｅａｄｅｒ）またはバーコードスキャナ（ｂａｒ ｃｏｄｅ ｓｃａｎｎｅｒ）と呼ばれてもよい。本明細書では、商品に表示された識別コードとして一次元バーコードを例示しているが、ＱＲコードのような二次元バーコードであってもよい。また、セルフチェックアウト装置１は識別コードによる商品の認識だけでなく、商品認識カメラ１６が撮影した商品の映像分析により商品を直接認識することもできる。
ハンディスキャナ１７は、顧客が商品を商品識別ゾーンに位置させたにもかかわらず商品のバーコードが認識されない場合、商品認識のために使用する補助装置であり、ハンディ型のバーコードリーダーまたはバーコードスキャナでありうる。
監視カメラ１８は、商品認識テーブル１１及びその周辺の一定領域を含む監視領域を撮影して前記監視領域の映像を取得することができる。商品認識テーブル１１周辺の一定領域は、商品認識テーブル１１の左側及び右側の識別前商品テーブル２１及び識別後商品テーブル３１が位置する領域を含んでもよい。また、商品認識テーブル１１周辺の一定領域は、商品認識テーブル１１の正面の顧客が計算時に立っている一定領域を含んでもよい。図１においては、監視カメラ１８がハウジング１０の上部において撮影方向が前記監視領域になるように設置されているが、その設置場所がハウジング１０の上部に限定されず、監視領域が商品認識テーブル１１及びその周辺の一定領域を含むようにするハウジング１０、２０、３０以外の別の場所に設置されてもよい。商品認識テーブル１１周辺の一定領域にはセルフチェックアウト装置１が設置された店内の商品が陳列された販売台及び店内の移動通路などが含まれてもよく、監視カメラ１８は店内の商品が陳列された販売台及び店内の移動通路などを監視する映像を取得できる。監視カメラ１８は、図１の例においてはハウジング１０の上部に設置されていると図示されているが、店内の天井に設置されてもよく、店内の壁面または柱に設置されてもよく、その設置位置はセルフチェックアウト装置１のハウジングに限定されない。また、監視カメラ１８は、セルフチェックアウト装置１のハウジング１０の上部と店内の天井または店内の壁面など複数の場所に複数設置されてもよい。
監視カメラ１８は商品認識テーブル１１及び店内を撮影して商品と関連した顧客の行動が含まれた動画を撮影する。例えば、監視カメラ１８は、商品認識テーブル１１において顧客が商品を商品認識カメラ１６に認識させる行動、顧客が決済手段を用いて商品購買のための決済をする行動などを撮影することができる。また、監視カメラ１８は、店内の販売台及び通路を撮影して顧客が商品を持ち上げる行動、顧客が商品を買い物かご又はショッピングカートに入れる行動、顧客が商品を移動させる行動など商品と関連した顧客の行動に関する映像を撮影することができる。また、監視カメラ１８は商品認識テーブル１１の前や商品が陳列された販売台及び店内の通路などに立っている顧客の顔も撮影することができる。また、監視カメラ１８は顧客の手に持っているか、または顧客の買い物かご又はショッピングカートに入っている商品の映像も撮影することができる。これらの映像はそれぞれ映像自体の内容を説明し、撮影時間情報を含むフラグまたはタグなどのメタデータと共に後述するセルフチェックアウト装置１の内部の保存部またはセルフチェックアウト装置１の外部の保存部に保存され、使用者はいつでもメタデータに記録された情報を検索語として使用して指定された検索語が含まれた全ての動画を高速で検索できる。
図２は、監視カメラ１８により取得された監視領域に関する映像の例を示した図である。
図２は、図１のセルフチェックアウト装置１のハウジング１０の上部に設置された監視カメラ１８により撮影される領域の例を示した図であり、図２を参照すると、識別前商品テーブル２１の上には買い物かご４０が置かれている。商品認識テーブル１１の商品識別ゾーン１１－１には、商品５０がその識別コード５１が商品認識カメラ１６に向かうようにして顧客の手６０により位置される。識別の後、商品テーブル３１の上には商品識別が完了した商品５２が置かれている。一般に、顧客は決済するための識別前の商品を買い物かご４０に入れたまま識別前商品テーブル２１に載せるよう案内され、顧客は買い物かご４０に入っている識別前の商品を１つずつ取って商品識別ゾーン１１－１にしばらく（例えば、表示装置１２に商品識別が完了したことを知らせる画面が表示されるまで、または、商品識別ゾーン１１－１の縁部に沿って設けられたＬＥＤ照明から特定色の照明が点灯するまで）位置させて商品を識別させる。商品識別が完了した商品５２は識別後商品テーブル３１に置かれる。
再び図１を参照すると、識別前商品テーブル２１は商品認識カメラ１６により認識される前の商品が一時的に置かれるテーブルであり、商品がカートに入ったまま置かれてもよく、商品のみが置かれてもよい。識別前商品テーブル２１の内部に備えられた重量測定センサは、顧客が識別前商品テーブル２１に置かれた商品を取る時、識別前商品テーブル２１の重量減少を感知する。
識別後商品テーブル３１は商品認識カメラ１６により認識された後の商品が置かれるテーブルである。識別後商品テーブル３１の内部に備えられた重量測定センサは、顧客が商品認識カメラ１６により商品を識別した後、識別後に商品テーブル３１に商品を置く時、識別後商品テーブル３１の重量増加を感知することができる。
図示された構成要素は必須のものではないため、それより多くの構成要素を有するか、それより少ない構成要素を有するセルフチェックアウト装置１が実現されてもよい。このような構成要素は、ハードウェアまたはソフトウェアとして実現されるか、ハードウェアとソフトウェアの結合により実現されてもよい。
図３は、一実施形態によるセルフチェックアウト装置１の構成を示したブロック図である。
図３を参照すると、セルフチェックアウト装置１は制御装置１００と、制御装置１００に接続される様々な周辺機器（装置）とから構成される。
制御装置１００は、制御部１１０、保存部１２０、グラフィック処理部１３０、入出力インタフェース１４０、通信インタフェース１５０を有する。
制御部１１０は、セルフチェックアウト装置１を総括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。制御部１１０は保存部１２０に保存されている制御プログラムを読み込んで、制御プログラムを実行して商品の認識及び認識された商品に対する決済過程を行う。
保存部１２０は揮発性記憶部（図示せず）及び不揮発性記憶部（図示せず）を含む。揮発性記憶部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、制御部１１０に実行させるためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）プログラム、アプリケーションプログラムの一部や映像データが一時的に保存される。不揮発性記憶部は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリであり、制御部１１０により実行されるアプリケーションプログラムやアプリケーションプログラムの実行に使われるデータを不揮発的に保存する。また、不揮発性記憶部には商品認識カメラ１６及び監視カメラ１８により取得された映像データが保存されることもできる。
グラフィック処理部１３０は、制御部１１０からの命令に従って、前述の操作案内や操作メニューの表示、商品スキャン結果画面、商品決済画面などを生成した後、映像信号に変換して表示装置１２に出力する。また、グラフィック処理部１３０は、商品認識カメラ１６から取得された商品映像において商品の識別コード認識のための映像処理及び監視カメラ１８から取得された監視領域に関する映像において顧客の行為判断のための映像処理を行うことができる。
入出力インタフェース（Ｉｎｔｅｒｆａｃｅ）１４０は接続される入力装置１３などの周辺機器を制御する。また、入出力インタフェース１４０はデータ保存のために外部記憶媒体（図示せず）にデータを送信し、外部記憶媒体からデータを読み込むこともできる。
通信インタフェース（Ｉｎｔｅｒｆａｃｅ）１５０はネットワークを介して外部とデータを送受信するものであり、本明細書で開示されるネットワークは、例えば、無線ネットワーク、有線ネットワーク、インターネットのような共用ネットワーク、私設ネットワーク、モバイル通信ネットワーク用広域システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ；ＧＳＭ）ネットワーク、汎用パケット無線ネットワーク（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｎｅｔｗｏｒｋ；ＧＰＲＮ）、近距離ネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＷＡＮ）、メトロポリタンエリアネットワーク （Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＭＡＮ）、セルラーネットワーク、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ；ＰＳＴＮ）、パーソナルネットワーク（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース、Ｗｉ－Ｆｉダイレクト（Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ）、近距離場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、超広帯域（Ｕｌｔｒａ－Ｗｉｄｅ ｂａｎｄ）、これらの組み合わせ、または任意の他のネットワークであってもよいが、これらに限定されるものではない。
制御部１１０には、システムバス１９０を介して、前述の保存部１２０、グラフィック処理部１３０、入出力インタフェース１４０、通信インタフェース１５０などが接続される。
入出力インタフェース１４０には、前述の入力装置１３、カードリーダー１４、領収書プリンタ１５、商品認識カメラ１６、ハンディスキャナ１７、監視カメラ１８、識別前商品テーブル２１の内部の重量測定センサ２１－１及び識別後商品テーブル３１の内部の重量測定センサ３１－１だけでなく、案内装置１９も接続される。前記装置またはセンサから取得されたデータは入出力インタフェース１４０を介して制御部１１０に伝達され、制御部１１０はこれを処理して必要な所に伝達する、または、制御命令の実行に直接使用する。
案内装置１９は商品認識から決済までの一連の処理過程で、必要な音または照明を出力することができる。例えば、案内装置１９は、制御装置１００の制御信号により円滑な商品認識を説明するために案内音声を出力する、または、商品の未識別などの不正があった場合に警告音または警告照明を出力することができる。また、案内装置１９は、制御装置１００の制御信号により商品の識別が正常に完了した場合にアラーム音を出力することができる。
一方、一実施形態によるセルフチェックアウト装置１は、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）などの保存部１２０または前記通信インタフェース１５０を介して外部に別途備えられたＮＶＲ（Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）またはクラウドストレージに商品認識カメラ１６及び監視カメラ１８により取得されたすべての映像を保存することができる。特に、監視カメラ１８により取得された映像のうちイベントが発生したと判断された映像は、イベントの内容を記載したメタデータが一緒にマッチングされて保存されることができ、また、図１に関する説明において前述したように監視カメラ１８により取得された映像のうち商品と関連した顧客の行動が含まれた映像及び商品を撮影した映像は、該当映像の内容及び撮影時間情報を記載したメタデータが一緒にマッチングされて保存されることができる。そして、ユーザは後で、このように保存された映像データのうちメタデータの検索によりユーザが確認しようとするイベントが発生した映像、ユーザが確認しようとする商品と関連した顧客の行動を撮影した映像、及びユーザが確認しようとする商品が撮影された映像をさらに再生または抽出して別途の映像ファイルとして保存できる。検索語として使用できるメタデータに含まれた情報としては、商品名、バーコード情報、領収書情報などが含まれる。
図４は、一実施形態による制御部１１０の機能ブロック図である。
図１ないし図４を参照すると、制御部１１０は、プロセッシング部１１１、商品識別部１１２及び顧客行為判断部１１３を含んで構成される。制御部１１０は、保存部１２０に保存されている制御プログラムを読み込み、制御プログラムを実行してシステムバス１９０を介して制御部１１０に連結されている入力装置１３、カードリーダー１４、領収書プリンタ１５、商品認識カメラ１６、ハンディスキャナ１７、監視カメラ１８、識別前商品テーブル２１の内部の重量測定センサ及び識別後商品テーブル３１の内部の重量測定センサ２１－１、３１－１及び案内装置１９を制御することにより商品決済過程を処理し、商品の決済過程中に発生する商品の損失を予防するための過程の処理する制御装置１００の機能を行うことができる。
商品識別部１１２は、商品認識カメラ１６により取得された商品に関する映像から商品に付与された識別コード５１を検出し、検出された識別コード５１を解釈して商品認識カメラ１６により撮影された商品がどの商品であるかを識別してその結果を出力する。顧客が認識させようとする商品を商品識別ゾーン１１－１に位置させれば、商品認識カメラ１６は自動的に露出程度と焦点を調整して商品識別ゾーン１１－１に置かれた識別コードが含まれた商品の映像を取得する。商品認識カメラ１６はレンズ、フォーカシング装置、露出調節装置及びＣＭＯＳなどの撮像素子などを有し、撮影した商品の映像データを出力する。図１の例示においては、商品認識カメラ１６は撮影方向が下向きになるように設置されて商品認識ゾーン１１－１に置かれた商品を上側から撮影するが、前述のように商品認識カメラ１６の固定位置はハウジング１０の上部に限定されず、ハウジング１０の前面部または商品認識テーブル１１の内部など、商品認識ゾーン１１－１に置かれた商品自体の映像または商品に付着された識別コードを撮影できる位置であれば、その位置がどこでも構わない。
商品識別部１１２は、商品認識カメラ１６から取得された映像データを解析して、映像中にどのような商品が存在するかを検出する。商品識別部１１２は、取得された商品映像内に商品の識別コードが存在するか否かを検出する。具体的には、商品識別部１１２は映像データを所定サイズの領域に分割して、各領域に対して識別コードに相当するパターンがあるか否かを検出する。商品識別部１１２は、商品映像から識別コードが検出された場合には、検出された識別コードを解析して撮影された商品がどの商品であるかを判断する。
顧客行為判断部１１３は、映像セグメンテーション技術を利用して監視カメラ１８が監視領域内の商品認識テーブル１１、識別前商品テーブル２１及び識別後商品テーブル３１に対して取得した映像、そして顧客の手を撮影して取得した映像において商品の存在を認識するか商品の個数を判断し、商品の種類を判断することができる。
顧客行為判断部１１３は、監視カメラ１８により取得された監視領域に関する映像を解釈して前記監視カメラ１８が撮影した顧客の行為を判断することができる。
顧客行為判断部１１３は、人工知能基盤の映像分析により顧客の行為を判断するＡＩプロセッシング部１１３－１を含んでもよい。
ＡＩプロセッシング部１１３－１は、監視カメラ１８により取得された前記監視領域の映像を分析して監視カメラ１８に撮影された顧客の行為を判断する人工ニューラルネットワークを含む。前記人工ニューラルネットワークは、商品識別部１１２により商品が識別された時の監視カメラ１８により撮影された顧客の行為映像及び商品識別部１１２により商品が識別されていない時の監視カメラ１８により撮影された顧客の行為映像を学習して、商品５０を商品識別ゾーン１１－１に位置させて識別されるようにする行為に該当しない顧客の異常行為を判断するように訓練される。
人工ニューラルネットワークは、監視カメラ１８により撮影された顧客の行為映像内で顧客が商品を識別させるためにセルフチェックアウト装置１の前で行う動作に対するスケルトンアルゴリズムにより顧客の行為を判別することができる。スケルトンアルゴリズムにより判別できる顧客の行為は、識別前商品テーブル２１から商品を取る行為、手に持った商品のスキャンのために商品識別ゾーン１１－１に商品を持っていく行為、商品のスキャンがうまく行われないため繰り返して商品識別ゾーン１１－１に商品を持っていく行為、商品の識別コードが商品認識カメラ１６に向けられるように商品の方向を変える行為などでありうる。
顧客の異常行為の種類の例としては、（ａ）顧客が１回に２つ以上の商品を識別前商品テーブルから取って２つ以上の商品が顧客の手から認識される場合、（ｂ）顧客が取った商品が１つに認識されたが認識された商品が商品識別部１１２において識別されていない場合、（ｃ）識別前商品テーブル２１から顧客がピックアップした商品が商品識別部１１２において識別されずに識別後商品テーブル３１に移動される場合、（ｄ）商品をスキャンするための行動がない状態、すなわち、商品が識別されていない状態で識別前商品テーブル２１及び識別後商品テーブル３１の重量変化が感知された場合を含んでもよい。
顧客の異常行為は前述の例に限定されず、多様な例がさらに追加されてもよい。
従って、顧客行為判断部１１３は人工ニューラルネットワークを介して監視カメラ１８により取得された監視領域の映像を解釈して監視カメラ１８に撮影された顧客の行為を分析し、分析結果に基づいて顧客の異常行為を判断する。
プロセッシング部１１１は、商品認識カメラ１６により撮影された商品の識別結果及び監視カメラ１８により撮影された顧客の行為に対する判断結果に基づいて監視カメラ１８に撮影された顧客の行為を異常行為と正常行為のいずれか１つに判別することができる。
一方、プロセッシング部１１１は、リアルタイムで識別前商品テーブル２１に備えられた重量測定センサ２１－１及び識別後商品テーブル３１に備えられた重量測定センサ３１－１から識別前商品テーブル２１及び識別後商品テーブル３１の少なくとも１つにおいて重量変化を感知した結果及び商品識別部１１２から商品識別結果を受信して、重量変化を感知した時間帯に商品識別部１１２において商品が識別されない場合に監視カメラ１８に撮影された顧客が異常行為をしたと判断（ｄｅｃｉｄｅ）する判別（ｄｉｓｔｉｎｇｕｉｓｈ）結果を出力することができる。また、プロセッシング部１１１は、リアルタイムで重量測定センサ２１－１、３１－１から識別前商品テーブル２１から減少した重量より識別後商品テーブル３１おいてより少ない重量の増加を感知した結果及び商品識別部１１２から商品識別結果を受信して、重量変化を感知した時間帯に商品識別部１１２において商品が識別された場合も監視カメラ１８に撮影された顧客が異常行為をしたと判断（ｄｅｃｉｄｅ）する判別（ｄｉｓｔｉｎｇｕｉｓｈ）結果を出力することができる。
プロセッシング部１１１は、前述の識別前商品テーブル２１及び識別後商品テーブル３１における重量変化に基づいて顧客の異常行為を判断する時、顧客行為判断部１１３による顧客行為判断結果を参照することができる。例えば、識別前商品テーブル２１から顧客が商品を取ると、識別前商品テーブル２１の重量測定センサ２１－１では重量の減少が感知される。しかしながら、顧客が一定時間内に商品識別ゾーン１１－１に商品を位置させていないにもかかわらず、識別後商品テーブル３１の重量測定センサ３１－１において重量の増加が感知されると、顧客行為判断部１１３は顧客が意図的に商品の識別コードを認識させていないと判断して顧客が異常行為をしたと判別する。他の例として、識別前商品テーブル２１から顧客が商品を取る行動により識別前商品テーブル２１の重量測定センサ２１－１において一定重量の減少が感知され、商品識別部１１２において１つの商品が識別されたが、識別後商品テーブル３１の重量測定センサ３１－１が識別前商品テーブル２１から減少した重量よりはるかに少ない重量の増加を感知した場合には、プロセッシング部１１１は顧客が取った２つの商品のうち１つの商品に対してのみ識別コードを識別させ、他の１つの商品は識別コードを識別させていないことであると判断して顧客が異常行為をしたと判別する。
プロセッシング部１１１は、商品識別部１１２による商品認識カメラ１６により撮影された商品の識別結果及び顧客行為判断部１１３による監視カメラ１８により撮影された顧客行為の判断結果に基づいて顧客の行為を異常行為と正常行為に判別し、顧客行動判断結果に応じて制御信号を発生させる。例えば、プロセッシング部１１１は顧客行為判断の結果、顧客が不正行為をしたと判断されると、案内装置１９を制御して顧客の不正行為を知らせる警告音を発生させること、または、警告灯を作動させることができる。他の例において、プロセッシング部１１１は顧客行為判断の結果、顧客が不正行為をしたと判断されると、案内装置１９を制御して顧客の不正行為を別途の管理者端末に通知することができる。
一方、プロセッシング部１１１は、商品認識カメラ１６により撮影された商品の識別結果及び監視カメラ１８により撮影された顧客行為の判断結果に基づいて監視カメラ１８に撮影された顧客の行為と関連したイベントに対するメタデータを生成し、メタデータが生成された商品認識カメラ１６及び監視カメラ１８の映像データとメタデータを対応させて映像データ保存装置（前述の保存部１２０又は外部のＮＶＲ又はクラウドストレージ）に保存することができる。ここで、メタデータはイベントの種類を示すか、又はイベントの内容を説明するか、またはイベントを識別できるようにする情報を含んでもよい。また、メタデータは映像内の顧客行動の種類を示すか、映像内の顧客行動の内容を説明するか、または映像内の顧客行動を識別できるようにする情報を含んでもよい。さらに、メタデータは、特定商品の識別コード情報、特定商品に関する映像認識情報、及び監視カメラ１８により撮影された顧客固有の個人識別情報（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉａｂｌｅ Ｉｎｆｏｒｍａｔｉｏｎ）などをさらに含んでもよい。
プロセッシング部１１１は、例えば、次の（ｉ）～（ｖｉ）の条件が発生する場合、メタデータを生成した後、生成されたメタデータを条件が発生した映像データと結合して映像データ保存装置に保存する。
（ｉ）商品が認識され、識別コード情報を正常に取得した場合
（ｉｉ）商品は認識されたが、識別コード情報を取得できなかった場合
（ｉｉｉ）識別コードが認識されていない製品をハンディスキャナ１７で再びスキャンする場合
（ｉｖ）非常ボタンまたは管理者呼び出しボタンを押した場合
（ｖ）顧客がセルフチェックアウト装置１の使用を開始した場合
（ｖｉ）顧客が商品スキャンを完了し、決済段階に入った場合
プロセッシング部１１１は、監視カメラ１８で撮影された顧客に関する映像から個人識別情報を抽出し、個人識別情報に対応する個人識別オブジェクトを生成した後、生成された個人識別オブジェクトを監視カメラ１８に撮影された顧客と関連した映像データ、すなわち、前記顧客が商品認識カメラ１６により認識させた商品の識別コード情報及び監視カメラ１８により取得された顧客の商品スキャン関連行為を撮影した映像データに対応して保存することができる。個人識別情報は人の顔認識情報及び性別、毛髪色、身長、顔色、帽子着用有無、服色などであってもよく、これらそれぞれの個人識別情報はこれを定義する数字、ＱＲコードなどを含むイメージとして人が識別しにくい形態の個人識別オブジェクトに変換される。前述の個人識別情報は個人情報保護法に違反しないように、ブロックチェーンにＱＲコードイメージとして保存されてもよい。一方、前記個人識別情報は前記監視カメラ１８だけでなく、セルフチェックアウト装置１が設置された店内のＷＩ－ＦＩ、Ｂｌｕｅｔｏｏｔｈ、Ｌｉｄａｒまたは３Ｄカメラなどにより取得されることもできる。
プロセッシング部１１１は、個人識別情報を用いて顧客の年齢を判断することができる。特に、プロセッシング部１１１は人の顔映像を分析して高い正確度で年齢を推定することができる。プロセッシング部１１１は監視カメラ１８から取得した映像をリアルタイムで分析した結果、酒やタバコなど購買年齢に制限がある商品が陳列された販売台から制限年齢より幼いと判断された顧客が年齢制限商品をピックアップしたと判断された場合、該当顧客を追跡して該当顧客が商品認識テーブル１１において年齢制限商品を認識させる過程で管理者などの売り場の職員にアラームを与えることができる。また、プロセッシング部１１１は、前記年齢制限商品をピックアップした顧客が商品認識テーブル１１の前に位置すると、前記年齢制限商品に対する商品認識カメラ１６の識別結果及び監視カメラ１８が前記年齢制限商品をピックアップした顧客の行動を撮影した映像に基づいて、前記年齢制限商品をピックアップした顧客の行為が異常行為であるか否かを判断する。また、プロセッシング部１１１は監視カメラ１８が商品認識テーブル１１において前記年齢制限商品をピックアップした顧客の行動を撮影した映像を映像保存装置に保存する。前記年齢制限商品をピックアップした顧客の行動を撮影した映像は、映像に対する説明を記述したメタデータと共に保存され、保存された映像は今後顧客の異常行為を証明する資料として使用できる。
また、プロセッシング部１１１は監視カメラ１８により顧客の心拍を測定することもできる。プロセッシング部１１１は個人識別情報及び心拍測定値などに基づいて感情状態、緊張状態、興奮状態などの顧客の状態を判断することができる。プロセッシング部１１１は監視カメラ及び店内のＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、Ｌｉｄａｒまたは３Ｄカメラなどにより収集されたデータを分析して顧客の心臓拍動の変化を測定することができ、心拍と顔表情の変化、顔色の変化、身体動きなどに基づいて顧客の状態を判断することができる。顧客の状態判断結果は、プロセッシング部１１１が顧客の異常行為を判断する基礎資料として使用できる。例えば、プロセッシング部１１１はある顧客が商品認識テーブル１１の前で急激に心拍数が変わること、または、顔色が変わることを認識した場合、該当顧客が異常行為をする可能性があると判断して該当顧客の行動を撮影した映像データを映像保存装置に保存することができる。
プロセッシング部１１１は、管理者の指示に従って映像データ保存装置において特定商品に対する識別コードと関連した映像データまたはメタデータに対応する映像データを検索することができ、検索結果として識別コードと関連した映像データ及びメタデータに対応する映像データを再生することができる。また、特定イベントが発生した映像を検索しようとする場合には、メタデータから該当イベントを検索していつイベントが発生したのか、どのメタデータを保存したのかを確認することができ、該当時点に録画された映像も再生することができる。
従って、管理者は商品の損失確認、顧客の要求による購買履歴確認などのために映像データ保存装置に保存された映像を検索及び再生することができる。例えば、顧客Ａが製品Ｂを購入した後、これを払い戻そうとするが、領収書を保管していない場合に、実際に該当売り場で製品Ｂを購入したかどうかを確認するために映像データ保存装置において製品Ｂのバーコードを検索して実際に該当製品を該当売り場で購入したのか、払い戻し有効期間の確認のために該当製品がいつ販売されたのか、購買当時顧客Ａの姿が写っているかなどを確認できる。他の例としては、管理者が商品在庫点検中に製品Ａの数量が一致しないことを発見した場合、映像データ保存装置において最近の製品点検日から在庫異常発見日までの製品Ａの購買回数を確認し、もし損失（Ｌｏｓｓ）と疑われる場合、商品の識別コード未認識事例とハンディスキャナの再スキャン事例を確認して使用者が誤ってまたは意図的に製品Ａの識別コードをスキャンしたことはないかを確認することができる。
一方、管理者はある商品が頻繁に損失（盗難）されていると確認された場合、損失した商品を特定してセルフチェックアウト装置１に入力すると、制御部１１０は監視カメラ１８が撮影した映像から前記特定された商品と関連した顧客の行動が入っている映像を全て保存部１２０または外部の映像データ保存装置に保存する。以後、管理者が前記保存された映像のうち顧客の異常行為（特定商品の窃盗のための行為）を確認した映像を選択して学習データに分類すると、制御部１１０は学習データに分類された映像を累積して保存する。制御部１１０は、前記学習データが累積されると、前記学習データを使用して前述のＡＩプロセッシング部１１３－１の人工ニューラルネットワークを学習させる。制御部１１０は、前記人工ニューラルネットワークが前記特定商品を窃盗する顧客の異常行為を判断できるように顧客の異常行為映像を学習させることにより、よく損失される商品と関連した顧客の異常行為を探知できるアルゴリズムを高度化することができる。また、管理者は前記保存部１２０または外部の映像データ保存装置に保存されている既存の顧客の行動が含まれたイベント映像に対して特定された商品が含まれた映像をメタデータで検索して抽出し、抽出された映像のうち顧客の異常行為が確認された映像を選択して前記学習データに含める。
以下では、図１ないし図５を参照して、一実施形態によるセルフチェックアウト装置の制御方法について説明する。
図５は、一実施形態によるセルフチェックアウト装置の制御方法を説明するフローチャートである。
図５を参照すると、セルフチェックアウト装置１は商品認識カメラ１６により商品認識テーブル１１に設けられた商品識別ゾーン１１－１を撮影して商品識別ゾーン１１－１内の商品の映像を取得する（Ｓ５１０）。
これと同時に、セルフチェックアウト装置１は、監視カメラ１８により前記商品認識テーブル１１及び前記商品認識テーブル１１の周辺の識別前商品テーブル２１及び識別後商品テーブル３１が位置した領域及び顧客が立っている領域を含む一定領域を含む監視領域を撮影して前記監視領域の映像を取得する（Ｓ５２０）。
セルフチェックアウト装置１は、前記商品認識カメラ１６により取得された商品の映像のうち商品に付与された識別コードを検出し、前記検出された識別コードを解釈して前記商品認識カメラ１６により撮影された商品の識別結果を出力する（Ｓ５３０）。
セルフチェックアウト装置１は、前記監視カメラ１８により取得された前記監視領域の映像を解釈して顧客の行為に対する判断結果を出力する（Ｓ５４０）。
セルフチェックアウト装置１は、前記商品認識カメラ１６により撮影された商品の識別結果及び前記監視カメラ１８により撮影された顧客の行為に対する判断結果に基づいて、前記監視カメラ１８に撮影された顧客の行為を異常行為と正常行為のいずれか１つに判別する（Ｓ５５０）。セルフチェックアウト装置１は、人工ニューラルネットワークを介して前記監視カメラ１８により取得された前記監視領域の映像を分析して前記監視カメラ１８に撮影された顧客の行為を判断することができる。ここで、前記人工ニューラルネットワークは、前記商品が識別された時の監視カメラ１８により撮影された顧客の行為映像及び前記商品が識別されていない時の監視カメラ１８により撮影された顧客の行為映像を学習して、商品を前記商品識別ゾーンに位置させて識別されるようにする行為に該当しない顧客の行為を判断するよう訓練されることができる。
最後に、セルフチェックアウト装置１は前記顧客行為判別結果に応じて警告音を発生する、または警告照明を作動するなどの制御信号を発生する（Ｓ５６０）。
前述の各段階で、セルフチェックアウト装置１により行われる細部的な機能は、前述の図１ないし図４に関する説明において詳細に説明しているため、ここでは説明の重複を防止するために省略する。
前述の説明において、段階、過程または動作は、本発明の実現例によって追加の段階、過程または動作にさらに分割されるか、より少ない段階、プロセスまたは動作に組み合わせることができる。また、一部の段階、過程または動作は必要に応じて省略されてもよく、段階または動作間の順序が転換されてもよい。また、前述のセルフチェックアウト装置の制御方法が含む各段階または動作は、コンピュータプログラムで実現されてコンピュータで読み取り可能な記録媒体に保存されてもよく、コンピュータ装置により各段階、過程または動作が実行されてもよい。
本明細書において使用された用語「部」は（例えば、制御部など）、例えば、ハードウェア、ソフトウェアまたはファームウェア（ｆｉｒｍｗａｒｅ）のいずれか１つまたは２つ以上の組み合わせを含む単位（ｕｎｉｔ）を意味し得る。「部」は、例えば、ユニット（ｕｎｉｔ）、ロジック（ｌｏｇｉｃ）、論理ブロック（ｌｏｇｉｃａｌ ｂｌｏｃｋ）、部品（ｃｏｍｐｏｎｅｎｔ）、または回路（ｃｉｒｃｕｉｔ）などの用語と置き換えて使用（ｉｎｔｅｒｃｈａｎｇｅａｂｌｙ ｕｓｅ）されてもよい。「部」は、一体で構成された部品の最小単位又はその一部となり得る。「部」は、１つまたはそれ以上の機能を行う最小単位又はその一部となることもできる。「部」は機械的または電子的に実現されることができる。例えば、「部」は、周知であるかまたは将来開発される、ある動作を実行するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップ、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）またはプログラマブル論理装置（ｐｒｏｇｒａｍｍａｂｌｅ－ｌｏｇｉｃ ｄｅｖｉｃｅ）の少なくとも１つを含む。
多様な実施形態による装置（例えば、モジュールまたはその機能）または方法（例：動作）の少なくとも一部は、例えば、プログラムモジュールの形態でコンピュータ読み取り可能な保存媒体（Ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉａ）に保存された命令語として実現されることができる。前記命令語がプロセッサにより実行される場合、前記１つ以上のプロセッサが前記命令語に該当する機能を行うことができる。コンピュータ読み取り可能な媒体は、コンピュータシステムにより読み取れるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な保存媒体／コンピュータで判読可能な記録媒体は、ハードディスク、フロッピーディスク、マグネチック媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）（例：磁気テープ）、光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）（例：ＣＤ－ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）（例：フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ））、ハードウェア装置（例えば、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、又はフラッシュメモリ）などがあり、また、キャリアウェーブ（例えば、インターネットを介する送信）の形態で実現されるものも含む。また、プログラム命令には、コンパイラにより作られるような機械語コードだけではなく、インタプリタなどを使用してコンピュータにより実行できる高級言語コードを含む。前述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
多様な実施形態によるモジュールまたはプログラムモジュールは、前述の構成要素のうち少なくとも１つを含むか、一部が省略されるか、または追加的な他の構成要素をさらに含んでもよい。様々な実施形態によるモジュール、プログラムモジュール、または他の構成要素により実行される動作は、順次的、並列的、反復的、またはヒューリスティック（ｈｅｕｒｉｓｔｉｃ）な方法で実行できる。また、一部の動作は異なる順序で実行されるか、省略されるか、または他の動作が追加されてもよい。
本明細書に使用される場合、「１つ」は、１つまたは１つ以上として定義される。さらに、特許請求の範囲における「少なくとも１つの」および「１つ以上の」のような導入語句の使用は、同一の請求項に「少なくとも１つ」及び「１つ以上」のような導入語句及び「１つ」のような不明瞭な語句が含まれている場合であっても、不明瞭な語句「１つ」による別の請求項要素の導入が、このような要素を１つのみを含む発明に対してそのように導入された請求項要素を含む任意の特定請求項を制限することを意味すると解釈されてはならない。
本文書において、「ＡまたはＢ」または「Ａ及び／又はＢの少なくとも１つ」などの表現は、一緒に羅列された項目のすべての可能な組み合わせを含む。
別途記載されない限り、「第１」および「第２」のような用語は、そのような用語が説明する要素を任意で区別するために使用される。従って、これらの用語は必ずしも、このような要素の時間的なまたは他の優先順位を示すように意図されたものではなく、特定の手段が相互に異なる特許請求項に記載されているという事実だけでは、これらの手段の組み合わせを有利に使用することができないということを示すものではない。従って、これらの用語は、そのような要素の時間的または他の優先順位を示すように必ずしも意図されるものではない。特定の措置が互いに異なる主張に引用されたという単純な事実だけでこのような措置の組み合わせが有用に使用できないことを示すものではない。
また、詳細な説明及び請求範囲における「前」、「後」、「頂部」、「上部」、「下」、「底」、「上に」「下」などの用語は説明のために使用されているが、永久的な相対的位置を説明するために必ずしも使用されるものではない。そのように使われる用語は、本明細書に記述された本発明の実施形態が、例えば、ここに図示されるか、他に説明されたもの以外の他の方向に作動できるように適切な環境下で相互交換可能であると理解される。
図示の単純性及び明瞭性のために、図面に図示された要素ら（要素）は必ずしも一定の割合で描かれたものではないと理解されるであろう。また、適切であると考えられる場合、参照番号は、対応するか類似する要素を示すために図面間において繰り返されることができる。
同一の機能を達成するための構成要素の配列は効果的に「関連」されて希望する機能が達成される。従って、特定の機能性を達成するために結合された任意の２つの構成要素は、構造または仲介する構成要素と関係なく、希望する機能が達成されるように互いに「関連」されると見なすことができる。同様に、このように関連した２つの構成要素は、希望する機能を達成するために互いに「作動可能に連結」されるか「作動可能に結合」されたものであると見なすことができる。
また、通常の技術者は前述の動作の機能性間の境界が単に例示的なものであることを認識するであろう。複数の動作は単一動作に結合されることができ、単一動作は追加動作に分散されることができ、動作は時間的に少なくとも部分的に重なって実行されることができる。また、代案的な実施形態は特定動作に対する複数のインスタンスを含み、動作の順序は多様な他の実施形態において変更できる。しかしながら、他の修正、変形及び代案も可能である。従って、詳細な説明及び図面は制限的な意味ではなく、例示的なものと見なされるべきである。
「Ｘであり得る」という語句は、条件Ｘが充足されることを示す。この語句はまた、条件Ｘが充足されない可能性もあることを示している。例えば、特定の構成要素を含むシステムに対する参照は、システムが特定の構成要素を含まないシナリオも含める必要がある。例えば、特定の動作を含む方法に対する参照は、該当方法が特定の構成要素を含まないシナリオも含むべきである。ただし、他の例として、特定の動作を実行するように構成されたシステムに対する参照は、システムが特定の作業を実行するように構成されていないシナリオも含むべきである。
用語「含む」、「有する」、「構成された」、「成る」及び「本質的に成る」は相互交換的に使用される。例えば、任意の方法は、少なくとも図面及び／又は明細書に含まれた動作を含み、図面及び／又は明細書に含まれた動作のみを含むことができる。または、「含む」という単語は請求項に羅列された要素または動作の存在を排除しない。
通常の技術者は、論理ブロック間の境界が単に例示的なものであり、代案的な実施形態が論理ブロックまたは回路素子を併合するか、または多様な論理ブロックまたは回路素子上に機能の代替的な分解を課すことができることを認識できるであろう。従って、ここに図示されたアーキテクチャは単なる例示的なものであり、実際には同じ機能を達成する多くの他のアーキテクチャが実現できると理解されなければならない。
また、例えば、一実施形態において、図示された例は単一の集積回路上又は同一の装置内に位置する回路として実現されてもよい。対案的に、前記例のようにしてもよい。代替的に、前記例は任意の数の別個の集積回路または適合な方式で互いに相互接続された別個の装置として実現されてもよく、他の変更、修正、変形及び代案も可能である。従って、明細書及び図面は制限的な意味ではなく、例示的なものとみなされなければならない。
また、例えば、前述の例又はその一部は、任意の適切なタイプのハードウェア記述言語のような、物理回路又は物理回路に変換可能な論理表現のソフトウェア又はコード表現として実現されてもよい。
また、本発明は、非プログラマブルハードウェアとして実現された物理的装置またはユニットに限定されないが、一般的に本願では「コンピュータシステム」として表示されるメインフレーム、ミニコンピュータ、サーバ、ワークステーション、パーソナルコンピュータ、ノートパッド（ｎｏｔｅｐａｄ）、携帯情報端末（ＰＤＡ）、電子ゲーム（ｅｌｅｃｔｒｏｎｉｃ ｇａｍｅｓ）、自動車及びその他の組込みシステム、携帯電話及び多様な無線装置などの適切なプログラムコードに従って動作することにより所望の装置機能を実行できるプログラム可能な装置またはユニットにも適用できる。
この明細書に言及されたシステム、装置又はデバイスは少なくとも１つのハードウェア構成要素を含む。
本明細書で説明したような連結は、例えば、中間装置を介してそれぞれのノード、ユニット、または装置からまたはそれぞれのノード、ユニット、または装置に信号を送信するのに好適な任意のタイプの連結であってよい。従って、黙示的または他に言及されない限り、連結は、例えば、直接連結または間接連結であり得る。連結は、単一の接続、複数の接続、単方向連結、または双方向連結であることを参照して説明又は描写されてもよい。しかしながら、異なる実施形態は、連結の実現を変化させてよい。例えば、双方向連結ではなく、別個の単方向連結が用いられてよく、逆もまた可能である。また、複数の連結は、複数の信号を連続的にまたは時間多重化方式で送信する単一連結に置き換えられてもよい。同様に、複数の信号を送信する単一連結は、これらの信号のサブセットを送信する様々な連結に分離されてもよい。従って、信号を送信するための多くのオプションが存在する。
以上で、本明細書の技術に対する好ましい実施形態が添付の図面を参照して説明された。ここで、本明細書及び請求範囲に使用された用語や単語は通常的または辞書的な意味に限定して解釈されてはならず、本発明の技術的思想に符合する意味と概念に解釈されなければならない。本発明の範囲は、本明細書に開示された実施形態に限定されるものではなく、本発明は、本発明の思想及び特許請求範囲に記載された範疇内において多様な形態に修正、変更、または改善されることができる。
１：セルフチェックアウト装置
１０：ハウジング １１：商品認識テーブル
２０：ハウジング ２１：識別前テーブル
３０：ハウジング ３１：識別後テーブル
１１：商品認識テーブル １１－１：商品識別ゾーン
１２：表示装置 １３：入力装置
１４：カードリーダー １５：領収書プリンタ
１６：商品認識カメラ １７：ハンディスキャナ
１８：監視カメラ １９：案内装置
２１－１、３１－１：重量測定センサ ５０、５２：商品
５１：識別コード ６０：顧客の手
１００：制御装置 １１０：制御部
１１１：プロセッシング部 １１２：商品識別部
１１３：顧客行為判断部
１１３-１：ＡＩプロセッシング部
１２０：保存部 １３０：グラフィック処理部
１４０：入出力インタフェース １５０：通信インタフェース
１９０：システムバス

Claims (20)

  1. 商品識別ゾーン（ｚｏｎｅ）が備えられ、識別される商品が位置する商品認識テーブル；
    撮影方向が前記商品識別ゾーンになるように配置され、前記商品識別ゾーンを撮影して前記商品識別ゾーン内の商品の映像を取得する第１カメラ；
    前記商品認識テーブル及び店内を含む監視領域を撮影して前記監視領域の映像を取得する第２カメラ；
    前記第１カメラにより取得された商品の映像のうち商品に付与された識別コードを検出し、前記検出された識別コードを解析して前記第１カメラにより撮影された商品の識別結果を出力する商品識別部；
    前記第２カメラにより取得された監視領域の映像を解析して前記第２カメラに撮影された顧客の行為の判断結果を出力する顧客行為判断部；及び
    前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記顧客の行為を異常行為と正常行為に判別し、判別結果に応じて制御信号を発生するプロセッシング部；を含むことを特徴とするセルフチェックアウト（Ｓｅｌｆ－Ｃｈｅｃｋｏｕｔ）装置。
  2. 前記顧客行為判断部は、
    前記第２カメラにより取得された前記監視領域の映像を分析して前記第２カメラに撮影された顧客の行為を判断する人工ニューラルネットワークを含み、
    前記人工ニューラルネットワークは、
    前記商品識別部により商品が識別された時の前記第２カメラにより撮影された顧客の行為映像及び前記商品識別部により商品が識別されていない時の前記第２カメラにより撮影された顧客の行為映像を学習して、商品を前記商品識別ゾーンに位置させて識別されるようにする行為に該当しない顧客の行為を判断するように訓練されたことを特徴とする請求項１に記載のセルフチェックアウト装置。
  3. 前記プロセッシング部は、
    前記第２カメラにより取得された前記監視領域の映像を分析して前記第２カメラに撮影された顧客の顔表情変化、顔色変化及び心拍測定値のうち少なくとも１つに基づいて前記第２カメラに撮影された顧客行為を異常行為と正常行為とに判別し、前記判別結果に応じて制御信号を発生することを特徴とする請求項２に記載のセルフチェックアウト装置。
  4. 前記プロセッシング部は、
    特定商品が入力されると、前記第２カメラにより撮影された顧客の行為映像のうち前記特定商品に関連した顧客の行為映像を保存し、
    保存された特定商品に関連した顧客の行為映像のうち異常行為に判別された映像により前記人工ニューラルネットワークを学習させて、前記特定商品に対する顧客の異常行為を判断する前記人工ニューラルネットワークの判断能力を更新することを特徴とする請求項２に記載のセルフチェックアウト装置。
  5. 前記プロセッシング部は、
    前記第２カメラにより撮影された映像の分析により顧客が年齢制限商品を取ったと判断されると、年齢制限商品を取った顧客の顔映像を分析して年齢を算出し、前記年齢制限商品を取った顧客の年齢が前記年齢制限商品を購入できない年齢であると判断された場合、
    前記年齢制限商品を取った顧客が前記商品認識テーブルの前で認識される場合、前記年齢制限商品に対する前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記年齢制限商品を取った顧客の行為が異常行為であるか否かを判別することを特徴とする請求項２に記載のセルフチェックアウト装置。
  6. 前記商品認識テーブル周辺の一定領域に配置された識別前商品テーブル及び識別後商品テーブルをさらに含み、
    前記顧客の異常行為は、
    前記顧客行為判断部が前記顧客の手から２つ以上の商品を認識する場合、
    前記顧客行為判断部が前記顧客の手から１つの商品を認識したが認識された商品が識別されていない場合、及び
    前記識別前商品テーブルから顧客がピックアップした商品が識別されずに前記識別後商品テーブルに移動する場合を含むことを特徴とする請求項２に記載のセルフチェックアウト装置。
  7. 前記識別前商品テーブル及び前記識別後商品テーブルは、前記識別前商品テーブル及び前記識別後商品テーブル上に置かれた商品の重量を測定する重量測定センサを含み、
    前記プロセッシング部は、
    前記重量測定センサが前記識別前商品テーブル及び前記識別後商品テーブルの少なくとも１つにおいて重量変化を感知し、前記重量変化を感知した時間帯に前記商品識別部において商品が識別されなかった場合、または前記重量測定センサが前記識別前商品テーブルから減少した重量より前記識別後商品テーブルにおいてより少ない重量の増加を感知し、前記重量変化を感知した時間帯に前記商品識別部において商品が識別された場合に顧客が異常行為をしたと判断（ｄｅｃｉｄｅ）する判別（ｄｉｓｔｉｎｇｕｉｓｈ）結果を出力することを特徴とする請求項６に記載のセルフチェックアウト装置。
  8. 前記プロセッシング部は、
    前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記顧客の行為と関連したイベントに対するメタデータを生成し、
    前記メタデータが生成された前記第１カメラ及び前記第２カメラの映像データと前記メタデータを対応させて映像データ保存装置に保存し、及び
    検索語が入力されると、前記検索語を前記メタデータから検索して前記検索語に対応する映像データを前記映像データ保存装置から抽出して再生することを特徴とする請求項１に記載のセルフチェックアウト装置。
  9. 前記プロセッシング部は、
    前記第１カメラ及び前記第２カメラにより撮影された映像において商品が認識された場合、認識された商品と関連した顧客の行動に関する映像を映像データ保存装置に保存するものの、前記認識された商品を特定する情報をメタデータに記録した後、前記メタデータを前記認識された商品と関連した顧客の行動に関する映像にマッチングして保存し、及び
    前記認識された商品を特定する検索語が入力されると、前記検索語を前記メタデータから検索して前記認識された商品に関連した顧客の行動に関する映像を前記映像データ保存装置から抽出することを特徴とする請求項１に記載のセルフチェックアウト装置。
  10. 前記プロセッシング部は、
    前記第２カメラに撮影された顧客に対する個人識別情報（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉａｂｌｅ Ｉｎｆｏｒｍａｔｉｏｎ）に対応する個人識別用オブジェクトを生成し、
    前記個人識別用オブジェクトを前記第２カメラに撮影された顧客と関連した前記第１カメラにより取得された映像データ及び前記第２カメラにより取得された映像データに対応させて前記映像データ保存装置に保存することを特徴とする請求項８に記載のセルフチェックアウト装置。
  11. 前記人工ニューラルネットワークは、
    前記第２カメラにより撮影された顧客の行為映像内の人物に対するスケルトンアルゴリズムにより前記顧客の行為を判断することを特徴とする請求項２に記載のセルフチェックアウト装置。
  12. 第１カメラにより商品認識テーブルに備えられた商品識別ゾーンを撮影して前記商品識別ゾーン内の商品の映像を取得する段階；
    第２カメラにより前記商品認識テーブル及び店内を含む監視領域を撮影して前記監視領域の映像を取得する段階；
    前記第１カメラにより取得された商品の映像のうち商品に付与された識別コードを検出し、前記検出された識別コードを解析して前記第１カメラにより撮影された商品の識別結果を出力する段階；
    前記第２カメラにより取得された監視領域の映像を解析して前記第２カメラに撮影された顧客の行為の判断結果を出力する段階；
    前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記顧客の行為を異常行為と正常行為のいずれか１つに判別する段階；及び
    判別結果に応じて制御信号を発生する段階を含むセルフチェックアウト装置の制御方法。
  13. 前記顧客の行為を異常行為と正常行為のいずれか１つに判別する段階は、
    人工ニューラルネットワークを介して前記第２カメラにより取得された前記監視領域の映像を分析して前記第２カメラに撮影された顧客の行為を判断する段階を含み、
    前記人工ニューラルネットワークは、
    前記商品が識別された時の前記第２カメラにより撮影された顧客の行為映像及び前記商品が識別されていない時の前記第２カメラにより撮影された顧客の行為映像を学習して、商品を前記商品識別ゾーンに位置させて識別されるようにする行為に該当しない顧客の行為を判断するように訓練されたことを特徴とする請求項１２に記載のセルフチェックアウト装置の制御方法。
  14. 前記第２カメラにより取得された監視領域の映像を分析して前記第２カメラに撮影された顧客の表情変化、顔色変化及び心拍測定値のうち少なくとも１つに基づいて前記第２カメラに撮影された顧客行為の判断結果を出力する段階；をさらに含むことを特徴とする請求項１３に記載のセルフチェックアウト装置の制御方法。
  15. 特定商品が入力されると、前記第２カメラにより撮影された顧客の行為映像のうち前記特定商品と関連した顧客の行為映像を保存する段階；及び
    保存された特定商品に関連した顧客の行為映像のうち異常行為に判別された映像により前記人工ニューラルネットワークを学習させて、前記特定商品に対する顧客の異常行為を判断する前記人工ニューラルネットワークの判断性能を更新する段階；をさらに含むことを特徴とする請求項１３に記載のセルフチェックアウト装置の制御方法。
  16. 前記第２カメラにより撮影された映像の分析により顧客が年齢制限商品を取ったと判断されると、年齢制限商品を取った顧客の顔映像を分析して年齢を算出する段階；及び
    前記年齢制限商品を取った顧客の年齢が前記年齢制限商品を購入できない年齢と判断された場合、前記年齢制限商品を取った顧客が前記商品認識テーブル前で認識されると、前記年齢制限商品に対する第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて前記年齢制限商品を取った顧客の行為が異常行為であるか否かを判別する段階；をさらに含むことを特徴とする請求項１３に記載のセルフチェックアウト装置の制御方法。
  17. 前記監視領域は、
    前記商品認識テーブル周辺の一定領域に配置された識別前商品テーブル及び識別後商品テーブルを含み、
    前記異常行為は、
    前記顧客の手から２つ以上の商品が認識される場合、前記顧客の手から１つの商品が認識されたが認識された商品が識別されない場合、及び前記識別前商品テーブルから前記顧客がピックアップした商品が識別されずに前記識別後商品テーブルに移動される場合を含むことを特徴とする請求項１３に記載のセルフチェックアウト装置の制御方法。
  18. 前記識別前商品テーブル及び前記識別後商品テーブルの上に置かれた商品の重量を測定する段階；をさらに含み、
    前記顧客の行為を異常行為と正常行為のいずれか１つに判別する段階は、
    前記識別前商品テーブル及び前記識別後商品テーブルの少なくとも１つから重量変化を感知し、前記重量変化を感知した時間帯に商品が識別されない場合、または前記識別前商品テーブルから減少した重量より前記識別後商品テーブルにおいてより少ない重量の増加を感知し、前記重量変化を感知した時間帯に商品が識別された場合に前記顧客が異常行為をしたと判別（ｄｉｓｔｉｎｇｕｉｓｈ）する段階をさらに含むことを特徴とする請求項１７に記載のセルフチェックアウト装置の制御方法。
  19. 前記第１カメラにより撮影された商品の識別結果及び前記第２カメラにより撮影された顧客の行為の判断結果に基づいて、前記顧客の行為と関連したイベントに対するメタデータを生成する段階；
    前記メタデータが生成された前記第１カメラ及び前記第２カメラの映像データと前記メタデータを対応させて映像データ保存装置に保存する段階；及び
    検索語が入力されると、前記検索語を前記メタデータから検索し、前記検索語に対応する映像データを前記映像データ保存装置から抽出して再生する段階；をさらに含むことを特徴とする請求項１２に記載のセルフチェックアウト装置の制御方法。
  20. 前記第１カメラ及び前記第２カメラにより撮影された映像において商品が認識された場合、認識された商品と関連した顧客の行動に関する映像を映像データ保存装置に保存するものの、前記認識された商品を特定する情報をメタデータに記録した後、前記メタデータを前記認識された商品と関連した顧客の行動に関する映像にマッチングして保存する段階；及び
    前記認識された商品を特定する検索語が入力されると、前記検索語を前記メタデータから検索して前記認識された商品に関連した顧客の行動に関する映像を前記映像データ保存装置から抽出する段階；をさらに含むことを特徴とする請求項１２に記載のセルフチェックアウト装置の制御方法。
JP2023116100A 2022-07-15 2023-07-14 商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法 Pending JP2024012188A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220087387A KR20240010176A (ko) 2022-07-15 2022-07-15 상품 손실 방지를 위한 영상 분석 기반의 자가 결제 장치 및 이의 제어 방법
KR10-2022-0087387 2022-07-15

Publications (1)

Publication Number Publication Date
JP2024012188A true JP2024012188A (ja) 2024-01-25

Family

ID=87280849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023116100A Pending JP2024012188A (ja) 2022-07-15 2023-07-14 商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法

Country Status (4)

Country Link
US (1) US20240029441A1 (ja)
EP (1) EP4307197A1 (ja)
JP (1) JP2024012188A (ja)
KR (1) KR20240010176A (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2050058A1 (en) * 2020-01-22 2021-07-23 Itab Shop Products Ab Customer behavioural system

Also Published As

Publication number Publication date
US20240029441A1 (en) 2024-01-25
EP4307197A1 (en) 2024-01-17
KR20240010176A (ko) 2024-01-23

Similar Documents

Publication Publication Date Title
US8944322B2 (en) Tri-optic scanner
US11049373B2 (en) Storefront device, storefront management method, and program
JP6992874B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP6686290B2 (ja) システム及び方法
US20160371524A1 (en) Commodity recognition apparatus and commodity recognition method
EP2312542A1 (en) Information processing device, information processing system, control method for an information processing device, and a program
JP6330115B1 (ja) 商品管理サーバ、自動レジシステム、商品管理プログラムおよび商品管理方法
US20160300247A1 (en) Sales data processing apparatus, server and method for acquiring attribute information
JP2014232370A (ja) 認識辞書作成装置及び認識辞書作成プログラム
JP7310969B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
CN104299334B (zh) 信息处理装置及其控制方法
US20230102033A1 (en) Payment processing system, payment processing method, and recording medium
US20240211952A1 (en) Information processing program, information processing method, and information processing device
US20140222602A1 (en) Information processing apparatus and method for detecting stain on iamge capturing surface thereof
JP6443184B2 (ja) 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
JP7327458B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2024012188A (ja) 商品損失防止のための映像分析基盤のセルフチェックアウト装置及びその制御方法
US12093912B2 (en) Apparatus, method for controlling the same, and storage medium
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP2022020661A (ja) 監視装置及びプログラム
JP6498065B2 (ja) 情報処理装置、処理方法およびプログラム
JP7315046B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP6696554B2 (ja) 精算システム及び精算方法