JP7135329B2 - 情報処理方法、情報処理装置、および情報処理プログラム - Google Patents

情報処理方法、情報処理装置、および情報処理プログラム Download PDF

Info

Publication number
JP7135329B2
JP7135329B2 JP2018015408A JP2018015408A JP7135329B2 JP 7135329 B2 JP7135329 B2 JP 7135329B2 JP 2018015408 A JP2018015408 A JP 2018015408A JP 2018015408 A JP2018015408 A JP 2018015408A JP 7135329 B2 JP7135329 B2 JP 7135329B2
Authority
JP
Japan
Prior art keywords
customer
information
flow line
acquired
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018015408A
Other languages
English (en)
Other versions
JP2019133431A (ja
Inventor
明子 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018015408A priority Critical patent/JP7135329B2/ja
Priority to US16/962,289 priority patent/US11574294B2/en
Priority to PCT/JP2019/001998 priority patent/WO2019151068A1/ja
Publication of JP2019133431A publication Critical patent/JP2019133431A/ja
Priority to JP2022136416A priority patent/JP2022171693A/ja
Application granted granted Critical
Publication of JP7135329B2 publication Critical patent/JP7135329B2/ja
Priority to US18/090,747 priority patent/US20230136054A1/en
Priority to US18/234,525 priority patent/US20230394555A1/en
Priority to US18/234,557 priority patent/US20230394556A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/202—Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

情報処理方法、情報処理装置、および情報処理プログラムに関し、映像のデータを処理する技術に関する。
コンビニエンスストア、スーパーマーケットなどの小売量販店には、店内を撮影するための監視用カメラが設置されている。一般的に、店員または警備員が、映像をモニター上で監視することによって、万引きなどの犯罪や不正を発見する。しかしながら、万引きを防止するための別の方法も存在する。
例えば、特許文献１には、商品にＲＦＩＤ（Radio Frequency Identification）タグを配置する方法が開示されている。しかしながら、特許文献１に記載された方法では、全ての商品にＲＦＩＤタグを付加する必要があるため、コストが嵩むという問題がある。また、どの客が商品を取得したのかという情報を得ることはできない。
また、客の動線を追跡する技術（例えば、特許文献２）を用いて、客を監視する方法も存在する。特許文献３では、客が取得した商品点数の情報と、客を撮影した画像とを紐付けて管理する。客が取得した商品を精算したとき、ＰＯＳ（Point of Sales）端末に登録された商品点数と、客が取得した商品点数とを比較する。これらの商品点数が一致しない場合、不正の可能性があると判断する。
特許文献３に開示された方法は、店員または警備員が映像を監視し続ける必要が無いという利点を有する。
特開２００７－０７９６１５号公報 特開２０１１－１７０５６２号公報 特開２００４－１７１２４１号公報
しかしながら、特許文献３に開示された方法では、客を撮影した画像を客に無許可で管理するため、プライバシーに関する問題がある。
本発明の目的は、客のプライバシーを考慮しつつ、個人を識別せずに、客ごとの商品の取得状況を正確に把握することにある。
本発明の一態様に係わる情報処理方法は、映像から客の動線情報を取得し、前記客が商品を取得したことを検出し、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて、記憶手段に格納させる。
本発明の一態様に係わる情報処理装置は、映像から客の動線情報を取得する情報取得手段と、前記客が商品を取得したことを検出する行動検出手段と、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させる記録手段とを備えている。
本発明の一態様に係わる情報処理プログラムは、映像から客の動線情報を取得することと、前記客が商品を取得したことを検出することと、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させることとを、コンピュータに実行させる。
本発明の一態様によれば、個人を識別せずに、客ごとの商品の取得状況を正確に把握することができる。
実施形態１に係わる店内監視装置の構成を示すブロック図である。 実施形態１に係わる店内監視装置の記憶部に格納されている動線－取得点数情報のＤＢ（Data Base）の一例を示す図である。 実施形態１に係わる店内監視装置の動作の第１の例を示すフローチャートである。 実施形態１に係わる店内監視装置の動作の第２の例を示すフローチャートである。 実施形態２に係わる店内監視装置の構成を示すブロック図である。 実施形態３に係わる店内監視装置のハードウェア構成を示す図である。
〔実施形態１〕
図１～図４を参照して、本実施形態に係わる店内監視装置の構成および動作を説明する。
（店内監視装置１の構成）
図１は、本実施形態に係わる店内監視装置１の構成を示すブロック図である。図１に示すように、店内監視装置１は、撮像部１１と、動線分析部１２と、棚前行動検出部１３と、異常検出部１４と、報知部１５と、記憶部１６とを備えている。
撮像部１１は、店内を撮影して、映像（動画）のデータを生成する。撮像部１１は、映像を撮影するための１または複数台のカメラを含んでいてもよい。撮像部１１は、店内を撮影して得られた映像のデータ（映像フレームを構成する画素データ）を、動線分析部１２、棚前行動検出部１３、および異常検出部１４に送信する。記憶部１６は、動線－取得点数情報を記憶している。
動線－取得点数情報とは、客の動線情報と、店内で客が取得した商品点数の情報とを紐付けた情報である。なお、客が取得した商品点数とは、ここでは、客が棚から手に取り、所持している商品の数を意味する。
図２は、記憶部１６に格納されている動線－取得点数情報のＤＢの一例を示す図である。図３に示すように、動線－取得点数情報のＤＢでは、例えば、客の動線を特定するＩＤ（動線ＩＤ）と、客の時系列の位置情報（時刻／座標）と、客が取得した商品点数（個）とが互いに関連付けられていてよい。なお、図２において、客の時系列の位置は、撮像部１１のカメラから見た３Ｄの視点（ビュー）座標で表されている。なお、動線－取得点数情報は、図２に示すＤＢに限定されない。
動線情報は、時間の経過に伴う移動体（ここでは客）の位置の変化の情報を含む。移動体が移動することによって描く軌跡が動線である。
動線分析部１２、棚前行動検出部１３、異常検出部１４、および報知部１５の動作については後に説明する。
なお、店内監視装置１は、撮像部１１および記憶部１６を含んでいなくてもよい。この場合、店内監視装置１は、撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置１は、動線－取得点数情報を記憶装置（例えばメモリ）に格納させる。
（第１の異常検出処理）
図３を参照して、店内監視装置１が実行する異常検出処理の一例として、第１の異常検出処理の流れを説明する。図３は、第１の異常検出処理の流れを示すフローチャートである。
図３に示すように、第１の異常検出処理では、動線分析部１２は、撮像部１１から受信した映像のデータを用いて、客の動線を追跡する（Ｓ１０１）。より詳細には、動線分析部１２は、一定時間ごとに、映像を構成する各フレームから客を検出し、検出した客の位置の時間変化を分析することによって、客の動線情報を生成し、出力する。移動体の動線を追跡する技術は、例えば、特許文献２に開示されている。本実施形態では、客の動線を追跡する技術に関する詳細な説明を省略する。
棚前行動検出部１３は、撮像部１１より受信した映像のデータを分析することによって、客が棚（ゴンドラ）に対して行う行動を検出し、客が棚から取得した商品点数を計測する（Ｓ１０２）。客が棚から商品を取得したり、棚に商品を戻したりする行動（棚前行動）を検出する技術は、例えば、特許文献３に開示されている。本実施形態では、棚前行動を検出する技術に関する詳細な説明を省略する。
棚前行動検出部１３は、動線分析部１２が生成した客の動線情報と、客が棚から取得した商品点数の情報とを紐付けて、動線－取得点数情報として、記憶部１６に格納させる（Ｓ１０３）。
異常検出部１４は、レジ前エリア内に客が入ったことを検出する。レジ前エリア内には、取得した商品を精算しようとする客が並んでいる。店の構造等によって、レジ待ちの客が並ぶエリアの位置および形状は異なる。そのため、異常検出部１４が人を検出するためのレジ前エリアは、店ごとに設定されてよい。
客がレジ前エリア内へ移動したことを検出したとき（Ｓ１０４でＹｅｓ）、異常検出部１４は、記憶部１６が記憶している動線－取得点数情報を参照して、レジ前エリア内にいる客のうち、最前列の客に対応する動線を特定するとともに、その最前列の客が取得した商品点数の情報を取得する（Ｓ１０５）。以下では、レジ前エリア内にいる客のうち、最前列の客のことを、判定対象と呼ぶ。
また、異常検出部１４は、判定対象がレジ前エリア内へ移動した後でＰＯＳ端末に登録された商品点数の情報も取得する。そして、異常検出部１４は、ＰＯＳ端末に登録された商品点数と、判定対象が取得した商品点数とを比較する（Ｓ１０６）。
第１の異常検出処理では、異常検出部１４は、判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数とが一致しないことを、異常として検出する。判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数とが一致しない場合（Ｓ１０７でＮｏ）、異常検出部１４は、報知部１５に異常を報知させる（Ｓ１０８）。報知部１５は、例えば、警備員が所持する携帯端末または事務所内の端末に、異常信号（アラート）を送信してもよい。
一変形例では、判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数との差が１よりも大きい一定数（閾値）を超える場合、異常検出部１４は、報知部１５に異常を報知させてもよい。
（第２の異常検出処理）
図４を参照して、店内監視装置１が実行する異常検出処理の他の例として、第２の異常検出処理の流れを説明する。図４は、第２の異常検出処理の流れを示すフローチャートである。
図４に示すように、第２の異常検出処理では、動線分析部１２は、撮像部１１から受信した映像に基づいて、客の動線を追跡する（Ｓ２０１）。
棚前行動検出部１３は、撮像部１１より受信した映像から、客が棚（ゴンドラ）に対して行う行動を検出し、客が棚から取得した商品点数を計測する（Ｓ２０２）。
動線分析部１２および棚前行動検出部１３は、客の動線情報と、客が棚から取得した商品点数の情報とを紐付けて、動線－取得商品情報として、記憶部１６に格納させる（Ｓ２０３）。第２の異常検出処理のＳ２０１～Ｓ２０３は、第１の異常検出処理のＳ１０１～Ｓ１０３と同じである。
異常検出部１４は、特定エリア外へ客が出たことを検出する。特定エリアとは、例えば、商品を陳列する棚が配置されているエリア、レジ前エリア、および、客が未精算の商品を持っていることを許容されるその他のエリアである。異常検出部１４は、特定エリア内から客が出たことを検出する代わりに、客が特定ラインを横切ったことを検出してもよい。特定ラインは、客が未精算の商品を所持していることを許容されるエリアと、許容されないエリアとの境界である。
客が特定エリア内から出たことを検出したとき（Ｓ２０４でＹｅｓ）、異常検出部１４は、記憶部１６が記憶している動線－取得点数情報を参照して、特定エリア外へ出た客に対応する動線を特定するとともに、客が取得した商品点数の情報を記憶部１６から取得する（Ｓ２０５）。
第２の異常検出処理では、異常検出部１４は、客が未精算の商品を取得したまま、特定エリア外へ出たことを異常として検出する。客が未精算の商品を取得したまま、特定エリア外へ出た場合（Ｓ２０６でＹｅｓ）、異常検出部１４は、報知部１５に異常を報知させる（Ｓ２０７）。報知の方法は特に限定されない。報知部１５は、例えば、警備員が所持する携帯端末または事務所内の端末に異常信号（アラート）を送信してもよい。
（変形例）
一変形例に係わる店内監視装置１は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、店内監視装置１は、動線分析結果、および棚前行動の検出結果を、外部装置から受信する。あるいは、外部装置が、動線－取得点数情報を生成して記憶部１６に格納し、店内監視装置１は、外部装置によって記憶部１６に格納された動線－取得点数情報を取得してもよい。
本変形例の構成によれば、店内監視装置１は、動線分析部１２および棚前行動検出部１３を備えていなくてもよい。すなわち、客の動線分析（図３のＳ１０１）および棚前行動検出（図３のＳ１０２）の処理のために要するコンピュータリソースを削減することができる。
（本実施形態の効果）
本実施形態の構成によれば、客の動線情報と、客の取得した商品点数の情報と紐付けて記憶する。記憶した情報を用いることにより、どの客がいくつの商品を取得したのかを、簡単な構成で、かつ正確に計測することができる。
そのため、客が精算の済んでいない商品を所持したまま店を出るなど、不正が疑われる客の行動を検出することができる。さらに、客を撮影した映像を管理しないので、客のプライバシーを適切に保護することができる。
加えて、不正が疑われる行動を検出したときに、異常を報知することにより、警備員や店員に対応を促すことができる。したがって、警備員や店員は、不正を発見するために、映像を継続的に監視している必要がない。これにより、警備員や店員の負担を軽減するとともに、警備員や店員が不正を見落とすことを防止することができる。
〔実施形態２〕
図５を参照して、本実施形態に係わる店内監視装置について説明する。
（店内監視装置２の構成）
図５は、本実施形態に係わる店内監視装置２の構成を示すブロック図である。図５に示すように、店内監視装置２は、情報取得部２１、行動検出部２２、および記録部２３を備えている。図示しないが、店内監視装置２は、外部の撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置２は、動線－取得点数情報を外部の記憶装置（例えばメモリ）に格納させる。あるいは、店内監視装置２は、撮像装置および記憶装置を含んでいてもよい。
情報取得部２１は、外部の撮像装置が撮影した映像のデータを分析することによって生成された客の動線情報を取得する。ここで、映像中の客の動線を追跡する技術は、例えば、特許文献２に開示されている。
行動検出部２２は、棚前行動の検出技術（例えば特許文献３）を用いて、店内で客が商品を取得したことを検出する。
記録部２３は、客の動線情報と、前記客が取得した商品点数の情報とを紐付けて、前述した動線－取得点数情報として、記憶手段（図示せず）に記憶する。なお、本実施形態の記録部２３は、前記実施形態１の動線分析部１２および棚前行動検出部１３の一部と対応する。なお、一変形例に係わる店内監視装置２は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、記録部２３は、外部装置が行った客の動線分析および棚前行動検出の各結果を取得して、記憶手段（図示せず）に記憶する。
（本実施形態の効果）
本実施形態の構成によれば、客の動線情報と、客が取得した商品点数の情報とを紐付けて、記憶手段に記憶する。そのため、記憶手段に記憶された情報（動線－取得点数情報）を参照することによって、どの客がいくつの商品を取得したのかを正確に計測することができる。このようにして計測された商品点数の情報は、例えば、万引きを防止するために利用することができる。客が精算をしていない商品を店外に持ち出そうとしていることが分かるからである。また、客の動線情報は、客を撮影した画像とは異なり、プライバシーにかかわる情報を含んでいない。したがって、客のプライバシーを適切に保護することができる。
〔実施形態３〕
図６を参照して、本実施形態に係わる店内監視装置について説明する。
（店内監視装置３の構成）
図６は、本実施形態に係わる店内監視装置３の構成を示す図である。店内監視装置３は、コンピュータ装置によって、ハードウェアとして実現される。店内監視装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＡＭ（Random Access Memory）３２、記憶装置３３、入出力装置３４、および通信インターフェース３５を備えている。
店内監視装置３の機能は、前記実施形態１または２の店内監視装置１または２の機能と同じである。つまり、店内監視装置３は、前記実施形態１または２の店内監視装置１または２に含まれる機能ブロックの動作を実現する。店内監視装置３の機能は、ＣＰＵ３１がＲＡＭ３１に読み込んだプログラムを実行することによって実現される。
記憶装置３３は、前記実施形態１の記憶部１６を含む。記憶装置３３には、動線－取得点数情報が格納されている。
入出力装置３４は、前記実施形態１の報知部１５を含む。入出力装置３４は、ディスプレイなどのユーザインターフェースを含んでいてもよい。
通信インターフェース３５は、外部の撮像装置から映像データを取得するために使用される。
（本実施形態の効果）
本実施形態の構成によれば、前記実施形態１または２で説明した店内監視装置の機能が、ＣＰＵなどのコンピュータ資源を用いて、ハードウェアとして実現される。そのため、客のプライバシーを考慮しつつ、どの客がいくつの商品を取得したのかを正確に計測することができる。
１、２、３ 店内監視装置
１２ 動線分析部
１３ 棚前行動検出部
１４ 異常検出部
１５ 報知部
１６ 記憶部
２１ 情報取得部
２２ 行動検出部
２３ 記録部

Claims (10)

  1. 映像から客の動線情報を取得し、
    前記客が商品を取得したことを検出し、
    前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させ、
    未精算の商品を持っていることを許容される所定のエリアから出た前記客の位置に対応する、記憶された前記動線情報を特定し、
    特定された前記動線情報に紐づけられた商品点数の情報を取得し、
    取得された前記商品点数が１以上であることを、異常として検出する
    ことを特徴とする情報処理方法。
  2. 前記客の前記動線情報と、前記客が取得した前記商品点数の情報とを紐付けて記憶する記憶手段が記憶する情報を参照して、前記客の行動に関する異常を検出することを特徴とする請求項１に記載の情報処理方法。
  3. 精算時に前記客が取得していた商品点数と、レジスターで前記客が精算した商品点数とが一致しないことを、異常として検出することを特徴とする請求項１または２に記載の情報処理方法。
  4. 取得した商品をレジスターで精算しようとする客が並ぶエリアであるレジスター前エリアにいる客のうち、最前列の客に対応する動線を特定し、
    特定した前記客の動線に紐づく第１商品点数を取得し、
    前記客がレジスターで精算した第２商品点数を取得し、
    前記第１商品点数と、前記第２商品点数とが一致しないことを、異常として検出することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理方法。
  5. 前記客が所定のラインを横切ったとき、前記客が取得していた商品点数が１以上であることを、異常として検出することを特徴とする請求項２から４のいずれか１項に記載の情報処理方法。
  6. 前記異常を検出したことを報知することを特徴とする請求項２から５のいずれか１項に記載の情報処理方法。
  7. 映像から客の動線情報を取得する情報取得手段と、
    前記客が商品を取得したことを検出する行動検出手段と、
    前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させる記録手段と、
    未精算の商品を持っていることを許容される所定のエリアから出た前記客の位置に対応する、記憶された前記動線情報を特定し、
    特定された前記動線情報に紐づけられた商品点数の情報を取得し、
    取得された前記商品点数が１以上であることを、異常として検出する異常検出手段とを備えたことを特徴とする情報処理装置。
  8. 前記異常検出手段は、前記記憶手段が記憶する情報を参照して、前記異常を検出することを特徴とする請求項７に記載の情報処理装置。
  9. 映像から客の動線情報を取得することと、
    前記客が商品を取得したことを検出することと、
    前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させることと、
    未精算の商品を持っていることを許容される所定のエリアから出た前記客の位置に対応する、記憶された前記動線情報を特定することと、
    特定された前記動線情報に紐づけられた商品点数の情報を取得することと、
    取得された前記商品点数が１以上であることを、異常として検出することとを、コンピュータに実行させるための情報処理プログラム。
  10. 前記紐づけて記憶された情報を参照して、前記客の行動に関する異常を検出することを、前記コンピュータに実行させることを特徴とする請求項９に記載の情報処理プログラム。
JP2018015408A 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム Active JP7135329B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018015408A JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム
PCT/JP2019/001998 WO2019151068A1 (ja) 2018-01-31 2019-01-23 情報処理方法、情報処理装置、および記録媒体
US16/962,289 US11574294B2 (en) 2018-01-31 2019-01-23 Information processing method, information processing device, and recording medium
JP2022136416A JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム
US18/090,747 US20230136054A1 (en) 2018-01-31 2022-12-29 Information processing method, information processing device, and recording medium
US18/234,525 US20230394555A1 (en) 2018-01-31 2023-08-16 Information processing method, information processing device, and recording medium
US18/234,557 US20230394556A1 (en) 2018-01-31 2023-08-16 Information processing method, information processing device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018015408A JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022136416A Division JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019133431A JP2019133431A (ja) 2019-08-08
JP7135329B2 true JP7135329B2 (ja) 2022-09-13

Family

ID=67478012

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018015408A Active JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム
JP2022136416A Pending JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022136416A Pending JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム

Country Status (3)

Country Link
US (4) US11574294B2 (ja)
JP (2) JP7135329B2 (ja)
WO (1) WO2019151068A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145632A1 (ja) 2012-03-30 2013-10-03 日本電気株式会社 動線データ解析装置、システム、プログラム及び方法
JP2015001879A (ja) 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システム及びプログラム
JP2017157216A (ja) 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2201423C (en) * 1997-04-01 2007-06-26 Michael Coveley Cashierless shopping store and components for use therein
US6700310B2 (en) * 2000-10-13 2004-03-02 Lear Corporation Self-powered wireless switch
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
JP2004171241A (ja) 2002-11-20 2004-06-17 Casio Comput Co Ltd 不正監視システムおよびプログラム
JP2007079615A (ja) 2005-09-09 2007-03-29 Toshiba Tec Corp 商品管理装置
US20070219866A1 (en) * 2006-03-17 2007-09-20 Robert Wolf Passive Shopper Identification Systems Utilized to Optimize Advertising
US20110125551A1 (en) * 2009-11-24 2011-05-26 Mark Peiser Method and System for In-Store Media Measurement
JP4802285B2 (ja) 2010-02-17 2011-10-26 東芝テック株式会社 動線関連付け方法、装置及びプログラム
US20170068945A1 (en) 2014-03-20 2017-03-09 Nec Corporation Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10885642B1 (en) * 2019-10-25 2021-01-05 7-Eleven, Inc. Scalable position tracking system for tracking position in large spaces
US11188763B2 (en) * 2019-10-25 2021-11-30 7-Eleven, Inc. Topview object tracking using a sensor array
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
US11176598B2 (en) * 2018-12-10 2021-11-16 Accenture Global Solutions Limited Artificial intelligence and machine learning based conversational agent
US11023728B1 (en) * 2019-10-25 2021-06-01 7-Eleven, Inc. Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
US11023740B2 (en) * 2019-10-25 2021-06-01 7-Eleven, Inc. System and method for providing machine-generated tickets to facilitate tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145632A1 (ja) 2012-03-30 2013-10-03 日本電気株式会社 動線データ解析装置、システム、プログラム及び方法
JP2015001879A (ja) 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システム及びプログラム
JP2017157216A (ja) 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム

Also Published As

Publication number Publication date
US20230136054A1 (en) 2023-05-04
US20210065152A1 (en) 2021-03-04
US20230394555A1 (en) 2023-12-07
JP2022171693A (ja) 2022-11-11
WO2019151068A1 (ja) 2019-08-08
US11574294B2 (en) 2023-02-07
JP2019133431A (ja) 2019-08-08
US20230394556A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
US20210407267A1 (en) Theft prediction and tracking system
JP6249021B2 (ja) セキュリティシステム、セキュリティ方法及びセキュリティプログラム
US8448858B1 (en) Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
JP7318697B2 (ja) 商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
JP5673888B1 (ja) 情報通知プログラム及び情報処理装置
JP2011248836A (ja) 滞留検出システム及びプログラム
US20230027382A1 (en) Information processing system
WO2020170854A1 (ja) セルフｐｏｓシステム、セルフｐｏｓ端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
JP5903557B2 (ja) セキュリティシステム
WO2018104999A1 (ja) 情報処理装置、制御方法、及びプログラム
JP6836173B2 (ja) 万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置
JP6536643B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7135329B2 (ja) 情報処理方法、情報処理装置、および情報処理プログラム
US10891491B2 (en) In-store monitoring device, in-store monitoring method, and recording medium
JP2023007363A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2023031766A (ja) セルフレジ監視システム及びセルフレジ監視方法
JP2022127013A (ja) セルフチェックアウトシステム及びプログラム
CN115546703B (zh) 自助收银的风险识别方法、装置、设备及存储介质
JP6531804B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2021073595A (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7135329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151