JP6638075B2 - インテリジェントショッピングカートの商品の識別方法およびシステム - Google Patents

インテリジェントショッピングカートの商品の識別方法およびシステム Download PDF

Info

Publication number
JP6638075B2
JP6638075B2 JP2018537664A JP2018537664A JP6638075B2 JP 6638075 B2 JP6638075 B2 JP 6638075B2 JP 2018537664 A JP2018537664 A JP 2018537664A JP 2018537664 A JP2018537664 A JP 2018537664A JP 6638075 B2 JP6638075 B2 JP 6638075B2
Authority
JP
Japan
Prior art keywords
shopping cart
product
waiting
purchase
total weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018537664A
Other languages
English (en)
Other versions
JP2019505920A (ja
Inventor
成坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Chaohi Net Technology Co Ltd
Original Assignee
Xian Chaohi Net Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Chaohi Net Technology Co Ltd filed Critical Xian Chaohi Net Technology Co Ltd
Publication of JP2019505920A publication Critical patent/JP2019505920A/ja
Application granted granted Critical
Publication of JP6638075B2 publication Critical patent/JP6638075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/08—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K2007/10504—Data fields affixed to objects or articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20121—Active appearance model [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Handcart (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明はインテリジェントショッピングカートと物品識別の技術分野に属し、具体的には、インテリジェントショッピングカートの商品の識別方法およびシステムに関する。
90年代の初めから今まで十数年以来にわたって、人々は徐々にスーパーマーケットでのショッピングに慣れてきた。建てたスーパーマーケット、コンビニエンスストア、ハイパーマーケット（以下、スーパーマーケットと略称） は全国の各都市の中心に基づいてシティエリア全体と各コミュニティに拡大している。スーパーマーケットは新しいビジネスとして、伝統的なストリートショップ、百貨店、および自営業の中規模店など伝統産業の地位に対してますます優位を占めている。その機能はより多様化、全面化しつつあるので、沢山なものが、スーパーマーケットに行かなければ買えないと言われている。
スーパーマーケットでショッピングすることは、便利にすることを目的としているが、ますます多くの消費者がスーパーマーケットでショッピングすることについて、支払い待ちのため時間がかかり、迅速なショッピング方法が実現されないことにますます顧客は不満を募らせている。そのため、あるスーパーマーケットとショッピングモールでは、すでにセルフチェックアウトシステムが採用されている。しかし、盗難防止のモニターがないので、商品が盗まれたり、紛失したりするために使用放棄された。スーパーマーケットの勘定速度が遅いので、消費者が長く並んで支払い待ちをするという現象が完全に解決される技術はいままで提案されていない。
本発明が解決する技術的問題は、従来のスーパーマーケットの支払システムの低効率を解決するためのインテリジェントショッピングカートの商品の識別方法を提供することにある。
上記の技術的問題を解決するために、本発明において、インテリジェントショッピングカートのシステム内に使用され、コードを走査して商品を読み取り、重量を感知し、画像を採集・トラッキング・分析・比較することを一体化するショッピングカート内の商品をインテリジェントに識別する方法であって、
購入待ち商品のバーコード情報を読み取り、対応の商品の予め記憶された情報を取得し、前記商品の予め記憶された情報がすくなくとも前記購入待ち商品の標準重量m0を含むステップと、
連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報がショッピングカート内に購入待ち商品を入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないかのいずれかを行うステップと、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較するステップと、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報は正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である。
更に、当該方法において、前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、次に対応するアルゴリズムで商品の実際の総重量を計算し、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートにすでに取り入れられたと判定された場合には、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止する
ことを含む。
更に、前記重量センサによって検知された商品の総重量に関する具体的なアルゴリズムは、
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動く場合、重量センサによって計量されたn個の重量データの平均値は、商品の実際な総重量とし、
3-3）ショッピングカートが激しく動く場合、重量センサが計量した値は商品の実際の総重量とすることができない、
3-4）ショッピングカートが動作状態から静止状態になる場合、重量センサがstから始めの6つの連続かつ同一のデータを計量したとき、前記値は商品の実際な総重量とする。
更に、前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0の範囲の間隔値mmin〜mmax内にある場合、|mΔ|はm0に合致すると判断し、|mΔ|が前記m0の範囲の間隔値mmin〜mmax外にある場合、|mΔ|はm0に合致しないと判断する。
更に、|mΔ|とm0が合致する条件で、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除して報知する。
更に、|mΔ|とm0が合致しない条件で、エラーと報知し、ショッピングカートを自動的にロックさせる。
更に、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断するが、変化値を検出したとともに、または検出した後に設定された時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともに、ショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する。
更に、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに取り入れたと判断したが、変化値が検出される前に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせて購入待ち商品を取り出して報知し、商品が取り出された後にショッピングカートに対してロックを解除する。
更に、ショッピングカート内に、商品の総重量がそのまま変更しない前提で、購入待ち商品のバーコード情報を読取り、対応する標準重量を取得し、設定された待ち時間内にバーコード情報の読取を禁止し、ショッピングカート内の商品の総重量が増加する変化値が前記標準重量に合致すると検出した場合、ショッピングカート内に購入待ち商品を取り入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる。
上記に基づいて、本発明は、購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含む初期化モジュールと、
連続して検出してショッピングカート内商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断可能であり、前記動きの情報がショッピングカート内に購入待ち商品を取り入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかである計量モジュールと、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較する比較計算モジュールと、
をさらに備え、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である
ことを含む。
1）本発明の方法によれば、ユーザは自分でショッピングをする過程中に商品をショッピングカートに取り入れた後に、システムのアルゴリズムは自動的に識別し、正しい商品をショッピングリストに記入し、ユーザがショッピングを終了した後に直接支払うことができ、このように、消費者が支払い待ちの時間を大幅に節約し、スーパーマーケットにもより多くのユーザ数を増やし、同時に、キャッシャーの数が減少し、スーパーマーケットの経営原価を低減し、収入チャネルを増やす。
2）本発明のシステムによれば、サードパーティのAPIインターフェイスを使用し、スーパーマーケットシステムとシームレスに接続し、システムのプロモーションを便利に推進する。
3）ショッピングカートが静止状態でも動作中でも、いずれの場合もショッピングカート内の商品の総重量を正確に迅速に計量することができる。
4）重量感知装置を介してインテリジェントショッピングカートの重量情報を収集し、このコード走査装置により、予めサーバに入力された商品情報データが検索され、モニター装置を介して商品の画像情報を収集し、画像情報で商品の軌跡をトラッキングして重量を比較することで、購入待ち商品を双方向に検証し、正確な商品の識別結果を保証することができる。
5）従来の画像トラッキングアルゴリズムはインテリジェントショッピングカートの目標トラッキング実験において、目標の形状や寸法や姿勢の変化なので、目標をトラッキングしにくくなり、同時に、ショッピングの種類が非常に多いので、固定特徴で抽出することが困難であり、目標を正確にトラッキングする確率は低い。本発明によるショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムでの照明変化、遮蔽、非剛性の変形、モーションブラー、背景クラッタ及び回転などビデオに対してすべて良好にトラッキングでき、ショッピングカートの目標トラッキングの成功率は99％に達することができ、同時に、目標トラッキングアルゴリズムの運行速度は、従来のディープラーニングアルゴリズムより数桁速く、埋め込みタイプのリアルタイムに目標に対してトラッキングすることができる。
本発明におけるインテリジェントショッピングカートの商品の識別方法のフローチャートである。 本発明におけるインテリジェントショッピングカートの商品の識別システムの構造を示す図である。 本発明実施例におけるユーザがコードを走査した後のアルゴリズムの識別のフローチャート図である。 本発明における動画のトラッキング方法のフローチャートである。
現在、ある実施例を参照しながら本発明の原理を説明する。これらの実施例はただ当業者の理解の便宜のために、本開示の目的を便宜的に説明するものであり、本発明の範囲を制限するものではない。この説明の開示内容は下記の説明の方式の以外の各種の方式で実施することができる。
例えば、本文に記載されるように、用語「含む」および各種の変化はオープンエンドの用語であると理解されるであろう。それは「含むが、限定されるものではない」ことを意味する。用語「基づく」は「少なくとも一部に基づく」と理解されるであろう。用語「1つの実施例」は「少なくとも１つの実施例」と理解されるであろう。用語「別の実施例」は「少なくとも他の実施例」と理解されるであろう。
図1は本発明におけるインテリジェントショッピングカートの商品の識別方法のフローチャートであり、本実施例におけるインテリジェントショッピングカート商品の識別方法であって、
S100：購入待ち商品のバーコード情報を読取り、対応の商品の予め記憶された情報を取得し、前記予め記憶された情報は少なくとも前記購入待ち商品の標準重量m0を含む。本実施例において、好適には、前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0の範囲の間隔値mmin〜mmax内にある場合、|mΔ|とm0が合致すると判断し、|mΔ|が前記m0の範囲の間隔値mmin〜mmaxの外にある場合、|mΔ|とm0が合致しないと判断するステップと、
S101：連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得するステップと、
S102：変化値mΔにより前記購入待ち商品を行う動きの情報を判断でき、前記動きの情報が、ショッピングカート内に購入待ち商品を取り入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかであるステップと、
S103：前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較するステップと、
S104：|mΔ|とm0が合致すると、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正しいとするステップと、
S105：|mΔ|とm0が合致しないと、取得された商品の予め記憶された情報と購入待ち商品が合致しないとする、及び・または判断された動きの情報がエラーであるとするステップと、
を含む。
本実施例において、好適には、上記の方法において、前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの移動状態を判定して、次に対応するアルゴリズムで商品の実際の総重量を計算することと、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートに入れられたと判定された場合には、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止することと、
を更に含む。
本実施例において、好適には、上記の重量センサは商品の総重量の具体的なアルゴリズムを計量し、
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動くとき、重量センサによって計量されたn個の重量データの平均値は商品の実際な総重量とし、
3-3）ショッピングカートが激しく動く場合、重量センサが計量した値商品の実際の総重量とすることができず、
3-4）ショッピングカートが動作状態から静止になる場合、重量センサがstから始めの6つの連続な同一のデータを収集したとき、前記値は商品の実際な総重量とする。
本実施例において、好適には、|mΔ|とm0が合致する条件で、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除して報知する。
本実施例において、好適には、|mΔ|とm0が合致しない条件で、エラーと報知し、ショッピングカートを自動的にロックさせる。
本実施例において、好適には、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出したと判断するが、変化値が検出されたとともに、または検出された設定時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともにショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する。
本実施例において、好適には、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に了購入待ち商品をすでに取り入れたと判断したが、変化値が検出される前に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
本実施例において、好適には、ショッピングカート内に、商品の総重量が変更されない前提で、購入待ち商品のバーコード情報を読取り、対応の標準重量を取得し、設定された待ち時間内にバーコード情報を読取禁止し、ショッピングカート内の商品の総重量が増加する変化値が前記標準重量に合致することを検出した場合、ショッピングカート内に購入待ち商品を取り入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる。
本実施例における方法によれば、ユーザは自分でショッピング過程中に商品をショッピングカートに取り入れた後に、システムのアルゴリズムは自動的に識別し、正しい商品をショッピングリストに記入し、ユーザがショッピング終了時に直接支払い、このように、消費者が支払い待ちの時間を大幅に節約し、スーパーマーケットにもより多くのユーザ数を増やし、同時に、キャッシャーの数が減少し、スーパーマーケットの経営原価を低減し、収入チャネルを増やす。
図2は本発明におけるインテリジェントショッピングカートの商品の識別システムの構造を示す図である。インテリジェントショッピングカート商品の識別システムは、
購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含む初期化モジュール1と、
ショッピングカート内商品の総重量mn+1を連続して検出して得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報がショッピングカート内に購入待ち商品を入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかである計量モジュール2と、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較する比較計算モジュール3と、
を備え、
|mΔ|とm0が合致すると、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正しく、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び・または判断された動きの情報がエラーである
ことを含む。
図3は本発明実施例におけるユーザがコードを走査した後のアルゴリズム認定のフローチャートであり、以下は具体的な説明である。
本実施例はショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムを提供し、前記ショッピングカートにおいて、ショッピングカートの商品の総重量をリアルタイムにモニターする重量センサと、購入待ち商品バーコード情報を読取する1次元コードスキャナと、商品の映像を収集するカメラと、商品の全ての保存された情報を記憶するコンピュータとを備える必要があり、前記コンピュータは、複数のデータをモニターし、総合的に分析した後、取得された商品の予め記憶された情報が購入待ち商品と合致するかどうか、商品の動きの情報が正しく判断されるかどうか、例えば、ショッピングカート内の商品に何か不具合があるかどうか、抜け落ちがあるかどうか、取り込みがあるかどうかなどを正確に識別でき、コードを再走査してバックオフィスマネージャに警告するようにユーザに報知することができる。
一、本実施例において、ショッピングカート内の商品情報のアルゴリズムをインテリジェントに識別することは、具体的には下記のステップで実施される。
ステップ1：バーコードを読み取り、画像を収集し、重量データを計量開始する。 画像を取得し始めるとき、まず、ショッピングカートの画像を計量し、画像内のバスケットの4本の辺に沿って四辺形の枠をショッピングカゴの警告枠Aとして描く。
ステップ2：ユーザがショッピングをしていない、即ちショッピングカートに商品が表示されていない場合、タブレットに取り付けられたカメラは、ショッピングカートの写真を次のショッピング前の背景画像としてキャッチし、背景画像P1として記録する。
ステップ3：購入待ち商品のバーコード情報を読取、対応の商品の予め記憶された情報を取得し、前記商品の予め記憶された情報が前記購入待ち商品の名称、標準重量m0 、商品の写真、商品の仕様および割引情報などを含む、標準重量m0の範囲の間隔値がmmin〜mmaxである。
ステップ4：現時点に購入待ち商品を含む画面をキャッチし、画面P2と記録する。目標商品を含む画像P2を用いて背景画像P1を差し引き、目標商品の初期領域R1を取得し、この時点で、R1は、カメラによってモニターされるショッピングカートのバスケット範囲Aにあり、即ちR1はAに含まれる。
ステップ5：次の時間内に、ミーンシフト（meanshift）アルゴリズムビデオの各フレームにおける領域R1をフレーム毎にトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、インテリジェントショッピングカートのショッピング装置に取り入れず、R1が所定の時間内にずっとAに属している場合、成功的にショッピングすると判断し、購入待ち商品をショッピング装置に取り入れる。
ステップ6：ショッピングカート上には、ショッピングカート内の商品の総重量をリアルタイムに連続して検出する重量センサが設けられ、ショッピングカートがロックを解除した状態で、重量センサリアルタイムはショッピングカート内の商品の総重量を連続して検出する。
連続して検出して重量センサショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、mΔ>0である場合、ショッピングカート内に購入待ち商品が取り入れたと判断し、mΔ<0である場合、ショッピングカート内から購入待ち商品が取り出されたと判断し、mΔ=0である場合、購入待ち商品に対して操作を行わない。
ステップ7：前記変化値の絶対値|mΔ|と標準重量m0を比較し、ここで、絶対値|mΔ|が購入待ち商品の実際の重量である。
3.1）|mΔ|が前記m0の範囲の間隔値mmin~mmax内にある場合、|mΔ|とm0が合致すると判断し、即ち、商品の識別結果としては、取得された商品の予め記憶された情報と購入待ち商品が合致し、図像を収集・分析・判断する動きの情報は正確とする。
その後、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除する。
3.2）|mΔ|が前記m0の範囲の間隔値mmin〜mmax外にある場合、|mΔ|とm0合致しないと判断し、即ち、商品の識別結果としては、取得された商品の予め記憶された情報と購入待ち商品は合致せず、及び・または判断された動きの情報は不正確であるとして、その後、不正確と報知し、ショッピングカートを自動的にロックさせる。
二、本実施例のショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムにおいて、商品の重量を計量する過程では40ｍｓの周波数で重量センサのデータをリアルタイムに連続して読取る。しかし、ショッピングカートが動いているか、または水平ではない地面に位置する場合、読取られた重量データは購入待ち商品の実際の重量に合致しないので、購入待ち商品の識別根拠としてはならない。そのため、重量センサは商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、その後、ショッピングカートの異なる状態に応じて、対応のアルゴリズムを採用して商品の実際の重量を正確に出力できる。具体的な方法は下記の通りである。
2.1）商品の重量情報を計量する前に、まず、ショッピングカートの状態が静止しているか、スムーズに動いているか、激しく動いているか、または動作状態から静止状態に移行しているかどうかを判断する。
ショッピングカートには3軸加速度センサが取り付けられ、ショッピングカートはリアルタイムで3軸加速度x、y、zを受信する。加速度の分解原理により、ショッピングカートの水平加速度を計算し、加速度がある値よりも小さい場合、ショッピングカートは静止状態にあり、加速度がある値より大きい場合、ショッピングカートは動作状態にある。。
2.2）異なる状態のショッピングカートに対して重量センサのデータ計量方法が異なることはテストして分かる。具体的に下記の通りである。
1）ショッピングカートが静止状態にある場合、重量センサによって計量された値はすべてｓｔから始め、即ち、重量センサによって計量された値は商品の実際の総重量とすることができる。
2）ショッピングカートがスムーズに動くとき、重量センサによって計量されたn個の重量データの平均値が、商品の実際な総重量とする。
3）ショッピングカートが激しく動く場合、重量センサが収集した値商品の実際な総重量とすることができない。
4）ショッピングカートが動き状態から静止になる場合、かつ重量センサがstから始めの6つの連続な同一のデータを収集したとき、前記値は商品の実際な総重量とする。具体的な方法は、取得された重量センサのレポートデータを取得した後、先に動きデータチームに記憶する。当該データが「st」で始める場合、当該データ静止データのチームに記憶し、そうでなければ、静止データチームをクリアする。静止なデータチームの長さが6に達し、かつ全てのデータが等しい場合、商品の実際な重量を出力することができ、同時に、動きチームを同時にクリアし、そうしなければ場合、動きチームが一定量に達した場合、商品の平均値を求め、すなわち商品の実際な総重量が得られる。
図4は本発明における動画のトラッキング方法のフローチャートであり、購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像収集して下記のように分析し、
S400：ショッピング装置の警告フレームAを初期化する。
S401：ユーザがショッピングをしていないときに、当該時点のショッピング装置の画面を次のショッピング前の背景画像として収集して背景画像P1として記録される。
S402：ユーザがショッピングをしているときに、当該商品の情報が識別される場合、当時点で目標商品を含む画面がP2として取り込まれる。
S403：目標商品を含む画像P2を用いて背景画像P1を差し引くことにより、目標商品の初期領域R1が取得される。
S404：ビデオの各フレームにおける領域R1をトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、R1が所定の時間内にずっとAに属している場合、成功裏にショッピングできたと判断し、目標商品をショッピング装置内に入れる。
具体的に、上記の動画のトラッキング方法では下記のステップを含む。
三、ショッピングカートには、カメラが取り付けられ、購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像を採集して分析開始する。
1、ショッピングカートのバスケットの画像を取り込む可能な位置にモニター装置を載置し、タッチスクリーンコンピュータがユーザから走査コードを受信した後、アルゴリズムが開始される。まず、四角枠をショッピング装置の4本の辺に沿って、タッチスクリーンコンピュータの画面上にショッピング装置のアラートフレームAとして描く。
2、ユーザがショッピングをしていない場合、即ちショッピング装置に商品が表示されていない場合、タッチスクリーンコンピュータに取り付けられたモニター装置は、当該時点のショッピング装置の写真を次のショッピング前に背景画像としてキャッチし、背景画像P1として記録される。
3、ユーザがショッピングをしている場合、即ち購入が必要な商品に、印刷されたバーコードをタッチスクリーンコンピュータの正面の赤外線走査コード領域に置いてコードを走査し、赤外線走査コードガンがバーコードまたは二次元コードを走査して当該商品情報が表示される時、インテリジェントショッピングカートのモニター装置は、当該時点で目標商品を含む画面をキャッチし、P2として記録される。
3、目標商品を含む画像P2を用いて背景画像P1を差し引き、目標商品の初期領域R1を取得し、当該時点で、R1は、カメラによってモニターされるショッピングカートのバスケット範囲Aにあり、即ちR1はAに含まれる。
4、次の時間内に、ミーンシフト（meanshift）アルゴリズムビデオの各フレームにおける領域R1をフレームごとにトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、インテリジェントショッピングカートのショッピング装置に入れなく、R1が所定の時間内にずっとAに属している場合、成功裏にショッピングできたと判断し、目標商品をショッピング装置に入れる。
重量アルゴリズムとビデオアルゴリズム両方は、商品がショッピング装置内に入れられたと認定する場合、商品をタッチスクリーンコンピュータに表示されたショッピングリストに追加される。
重量アルゴリズムとビデオアルゴリズム両方は商品がショッピング装置内から取り出されたと認定する場合、商品をタッチスクリーンコンピュータに表示されたショッピングリストから削除する。
重量アルゴリズムとビデオアルゴリズム両方が合致すると認定する場合、タッチスクリーンコンピュータはユーザに再操作を報知する。
商品の誤配置や商品の巻き込みを防止するためである。異常動作がモニターされた後、トラッキングビデオをダメージ防止モジュールシステムに送信されることがある。商品情報の予め記憶の記憶部に記憶された商品画像の特徴データが十分でない場合、ショッピングカートの比較・計算モジュール3は、商品が正しく置かれているかどうかを正確に判定することができない。
ここで、ビデオ録画の停止時間は、ショッピングカート内の商品の総重量の値に基づいて、ショッピングカート内に購入待ち商品をすでに取り入れたと判断された後、またはショッピングカートから購入待ち商品をすでに取り出した場合、ビデオを録画停止可能な第1種の方法と、商品のトラッキング時間が予め設定され、予めに設定されたトラッキング時間が終了するときにビデオ録画が停止される第2種の方法と、のいずれか１つの方法で制御される。
四、一般的な状況を以下のように処理されるいくつかの方法について
a、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断されるが、変化値が検出されたとともに、または検出された後に、商品の総重量が変化した後に予め設定された時間内に、通常に10秒、ずっと購入待ち商品のバーコード情報が取得されなかったことは、ユーザが購入待ち商品を取り出すとともにまたは取り出した後に、ユーザは購入待ち商品に対してコードの走査を行っていないことを示す。
処理方法としては、ショッピングカートを自動的にロックさせ、購入待ち商品に対して走査コードを行うことを報知し、ショッピングリストから購入待ち商品を削除し、購入待ち商品のバーコード情報を取得した後または購入待ち商品をショッピングカートに入れた後、ショッピングカートは自動的にロックを解除する。
b、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに入れたと判断し、商品の総重量が変化する前に、購入待ち商品のバーコード情報を取得しないことは、購入待ち商品をいれる前に、ユーザは購入待ち商品に対してコードの走査を行っていないことを示す。
処理方法としては、ショッピングカートをロックさせ、購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
c、ショッピングカート内の商品の総重量がずっと変化しないと検出したが、購入待ち商品のバーコード情報、およびその標準重量など予め記憶された情報が取得されたことは、この時にユーザは当該購入待ち商品をショッピングカート内に入れて準備していることを示す。
処理方法としては、設定される待ち時間内に他の購入待ち商品のバーコード情報を読取り禁止し、ショッピングカート内の商品の総重量の変化値と標準重量が合致すると検出した場合、購入待ち商品の予め記憶された情報を直接にショッピングリストに記憶する。
d、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに入れたと判断し、アルゴリズムをトラッキングして商品の動きの軌跡を分析することにより走査された商品がショッピングカートに入れられていないことは、ユーザが商品を取り替えたことを示す。
処理方法としては、ショッピングカートをロックし、購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
e、ユーザがコードを走査できない状況について、1）ショッピングカートがロックされる場合に走査できない。2）商品のバーコード情報を取得した後に、商品の取り入れを待つ設定時間内に走査できない。アルゴリズムによりユーザが走査できると判定する場合、バーコード情報を取得した後、ショッピングカート内には商品が取り出されたかどうかを判断する。
ショッピングカートが自動的にロックされる状況について、1）ショッピングカート内に取り替え商品があるかどうかを検出している場合、2）購入待ち商品を取り入れる前に走査しない場合、3）購入待ち商品を取り出した後に走査しない場合がある。
実施例：
図1においてアルゴリズム識別のフローチャートに示すように、
ユーザが商品のコードを走査した後、すぐにショッピングカート内の商品の総重量の変化値を検出し、商品の総重量が減少するかどうかが検出される。
1.1）ショッピングカート内の商品の総重量が小さくなると、この時点に検出された変化値mΔと当該商品が取り入れる時の標準重量m0を比較する。変化値mがm0の範囲の間隔値mmin~mmax 内にある場合、前記商品を取り出したと認識し、前記商品を削除できる。そうしなければ、ショッピングカートをロックして当該取り出した商品を再走査することをユーザに報知する。
1.2）ショッピングカート内の商品の総重量がかわらない場合、ショッピングカートが走査可能な状態にある場合、商品情報をサーバーに取得請求でき、画像を収集・分析し商品の動き軌跡をトラッキングし、商品を入れるのを待つ状態のカウントダウンになる。理由としては、ショッピングカートはコード走査を繰り返すことができず、自動的にロックされているときにショッピングカートがコードを走査することが許可されないので、上記ショッピングカートが走査可能な状態にあることは、走査された商品がすぐにショッピングカートに置かれることを示す。上記商品の待ち時間内に、検出された商品の総重量が増加すると、ショッピングカート内の商品の情報が識別され始め、画像収集分析の結果が統合されて商品を識別する。成功裏に識別すると、商品をショッピングリストに取り入れ、成功裏に取り入れるとロックされ、ユーザがエラー操作をクリアしないと、ショッピングカートのロックは解除できない。
本発明は具体的な構造および・または方法に係る動きで説明しているが、添付されている特許申請の範囲に限定された開示は上記の具体的な特徴または動きに制限されることではない。上記の具体的な特徴と動きはただ実施例に係るクレームの例だけである。

Claims (8)

  1. インテリジェントショッピングカートの商品の識別方法であって、
    購入待ち商品のバーコード情報を読取し、前記購入待ち商品の標準重量m 0 を少なくとも含む対応の商品の予め記憶された情報を取得するステップと、
    連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを得て、変化値mΔにより、前記購入待ち商品が行う動きの情報を判断するステップと、
    前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較し、
    |mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報は正確であり、
    |mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報は不正確であるステップとを含み、
    前記商品の予め記憶された情報が少なくとも前記購入待ち商品の標準重量m0を含み、
    前記動きの情報は、ショッピングカート内への購入待ち商品の取り入れ、ショッピングカート内からの購入待ち商品の取り出し、または操作の不実行であり、
    購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像を収集・分析し、
    ショッピングカートの警告フレームAを初期化し、
    ユーザがショッピングをしていないときに、当時点のショッピングカートの画面を次のショッピング前の背景画像として収集して背景画像P1として記録し、
    ユーザがショッピングをしているときに、当該商品の情報が識別される場合、当時点で目標商品を含む画面をP2キャッチし、
    目標商品を含む画像P2を用いて背景画像P1を差し引くことにより、目標商品の初期領域R1が取得され、
    ビデオの各フレームにおける領域R1をトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、R1が所定の時間内にずっとAに属している場合、目標商品がショッピングカート内に入ったとし、ショッピングが成功したと判断する、
    ことを特徴とするインテリジェントショッピングカートの商品の識別方法。
  2. 前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、次に対応するアルゴリズムで商品の実際の総重量を計算するステップと、
    購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画開始し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートにすでに取り入れたと判定された場合に、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止するステップと、を
    含むことを特徴とする
    請求項１に記載のインテリジェントショッピングカートの商品の識別方法。
  3. 前記重量センサによって計量される物品の総重量に関する特定のアルゴリズムは、
    ショッピングカートが静止にある場合、重量センサによって計量された値が、商品の実際の総重量であり、
    ショッピングカートがスムーズに動く場合、重量センサによって計量されたｓｔから始まる６つの連続且つ同一のデータの平均値が、商品の実際の総重量であり、
    ショッピングカートが激しく動く場合、重量センサが計量した値は商品の実際の総重量としてはならず、
    ショッピングカートが動作状態から静止になる場合、重量センサが連続且つ同一のデータを計量したとき、前記値を商品の実際の総重量とする
    ことを特徴とする
    請求項２に記載のインテリジェントショッピングカートの商品の識別方法。
  4. 前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0範囲の間隔値mmin〜mmax内にある場合、|mΔ|とm0が合致すると判断し、|mΔ|が前記m0範囲の間隔値mmin〜mmax外にある場合、|mΔ|とm0が合致しないと判断する
    ことを特徴とする
    請求項1〜3のいずれか1項に記載のインテリジェントショッピングカートの商品の識別方法。
  5. |mΔ|とm0が合致する場合、ショッピングカート内に入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除することを報知し、
    |mΔ|とm0が合致しない場合、エラーと報知し、ショッピングカートを自動的にロックさせる
    ことを特徴とする
    請求項4に記載のインテリジェントショッピングカートの商品の識別方法。
  6. 検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断するが、変化値を検出したとともに、検出した後の設定時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともにショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する
    ことを特徴とする
    請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
  7. 検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに取り入れたと判断するが、変化値が検出される前に、購入待ち商品のバーコード情報が取得されていないと、ショッピングカートをロックさせ購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する
    ことを特徴とする
    請求項１に記載のインテリジェントショッピングカートの商品の識別方法。
  8. ショッピングカート内の商品の総重量が変わらない前提で、購入待ち商品のバーコード情報を読取り、対応する標準重量の情報を取得した場合、設定された待ち時間内にバーコード情報を読取禁止し、ショッピングカート内の商品の総重量の増加する変化値と前記標準重量が合致することを検出した場合、ショッピングカート内に購入待ち商品をとり入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる
    ことを特徴とする
    請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
JP2018537664A 2017-01-04 2017-01-04 インテリジェントショッピングカートの商品の識別方法およびシステム Active JP6638075B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/000102 WO2018126345A1 (zh) 2017-01-04 2017-01-04 一种智能购物车商品鉴别方法及系统

Publications (2)

Publication Number Publication Date
JP2019505920A JP2019505920A (ja) 2019-02-28
JP6638075B2 true JP6638075B2 (ja) 2020-01-29

Family

ID=62788944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537664A Active JP6638075B2 (ja) 2017-01-04 2017-01-04 インテリジェントショッピングカートの商品の識別方法およびシステム

Country Status (4)

Country Link
US (1) US11328282B2 (ja)
EP (1) EP3428870A4 (ja)
JP (1) JP6638075B2 (ja)
WO (1) WO2018126345A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875707B (zh) * 2018-07-18 2022-06-21 京东方科技集团股份有限公司 购物车内物品放置位置建议的方法、购物车及存储介质
CN110956761B (zh) * 2018-09-26 2022-12-27 北京京东尚科信息技术有限公司 对象处理方法及其系统、计算机系统及计算机可读介质
EP3953885A4 (en) * 2019-04-30 2023-08-16 Tracxpoint LLC SYSTEM AND PROCEDURES FOR CUSTOMER ACTION VERIFICATION IN A SHOPPING CART AND POSITION
JP7438879B2 (ja) * 2020-07-22 2024-02-27 東芝テック株式会社 システム、棚装置およびカートｐｏｓ
CN112102559B (zh) * 2020-08-13 2022-04-19 四川虹美智能科技有限公司 基于重力感应的商品识别方法和装置
US20220157134A1 (en) * 2020-11-19 2022-05-19 Ebay Inc. Automated shopping cart
CN113593148A (zh) * 2021-06-24 2021-11-02 皮卫华 一种基于智能购物车防作弊方法及系统
CN114013901A (zh) * 2021-09-30 2022-02-08 杭州拼便宜网络科技有限公司 货物二次上架方法、装置、设备和存储介质
CN114882370A (zh) * 2022-07-07 2022-08-09 西安超嗨网络科技有限公司 商品智能识别方法、装置、终端及存储介质
CN115965249B (zh) * 2022-12-16 2024-01-23 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2201423C (en) * 1997-04-01 2007-06-26 Michael Coveley Cashierless shopping store and components for use therein
US6189789B1 (en) * 1998-09-09 2001-02-20 International Business Machines Corporation Method and system for a merchandise checkout system
US6854656B2 (en) * 2003-05-08 2005-02-15 Fujitsu Limited Self-scanning system with enhanced features
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
JP2007034789A (ja) * 2005-07-28 2007-02-08 Ishida Co Ltd ショッピングカート及びショッピングシステム
CN100585653C (zh) * 2007-09-30 2010-01-27 西安朔方信息技术有限公司 超市自助结算购物方法
US7944354B2 (en) * 2007-11-29 2011-05-17 International Business Machines Corporation System and method for shopping cart security
JP2010044479A (ja) * 2008-08-11 2010-02-25 Ishida Co Ltd Ｐｏｓ端末装置
JP2010280468A (ja) * 2009-06-03 2010-12-16 Oki Electric Ind Co Ltd 物品管理装置、物品運搬装置、物品処理システム及び方法
EP2529343A1 (en) * 2010-01-25 2012-12-05 Exposé Retail Strategies Incorporated Point of sale device for use with a shopping cart
JP2011203058A (ja) * 2010-03-25 2011-10-13 Toshiba Tec Corp 情報処理装置、情報処理システムおよび制御プログラム
US20120284132A1 (en) * 2011-05-03 2012-11-08 Uniyoung Kim Display device attachable to shopping carts, shopping cart, and digital signage display
CN104331831B (zh) * 2014-11-05 2017-11-17 青岛海信智能商用系统股份有限公司 自助收款系统、自助结账系统和自助结账方法
CN104787102B (zh) * 2015-04-28 2017-09-05 西安超嗨网络科技有限公司 智能购物车、智能购物系统及其使用方法
CN105083354B (zh) * 2015-09-07 2018-10-19 张俊 一种自助购物系统及购物车及自助购物方法
CN105915857A (zh) * 2016-06-13 2016-08-31 南京亿猫信息技术有限公司 超市购物车监控系统及其监控方法
CN106204226A (zh) * 2016-07-14 2016-12-07 广州极汇信息科技有限公司 自助结账智能购物方法及其装置
CN106408369B (zh) * 2016-08-26 2021-04-06 西安超嗨网络科技有限公司 一种智能鉴别购物车内商品信息的方法

Also Published As

Publication number Publication date
US11328282B2 (en) 2022-05-10
WO2018126345A1 (zh) 2018-07-12
US20210209575A1 (en) 2021-07-08
EP3428870A4 (en) 2019-11-06
JP2019505920A (ja) 2019-02-28
EP3428870A1 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6638075B2 (ja) インテリジェントショッピングカートの商品の識別方法およびシステム
US11100333B2 (en) Method and apparatus for detecting suspicious activity using video analysis
US9262832B2 (en) Cart inspection for suspicious items
EP1872307A2 (en) Method and apparatus for detecting suspicious activity using video analysis
KR20230060452A (ko) 행동 판정 프로그램, 행동 판정 방법 및 행동 판정 장치
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
EP4125020A1 (en) Information processing program, information processing method, and information processing apparatus
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
EP4113458A1 (en) Information processing program, information processing method, and information processing apparatus
EP4372653A1 (en) Risk identification method, apparatus, device and storage medium for self-service checkout
KR20230046947A (ko) 컴퓨터 판독 가능한 기억 매체, 정보 처리 방법 및 정보 처리 장치
KR20230046978A (ko) 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치
JP2023050597A (ja) 通知プログラム、通知方法および情報処理装置
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R150 Certificate of patent or registration of utility model

Ref document number: 6638075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250