JP7428241B2 - 処理装置、処理方法及びプログラム - Google Patents
処理装置、処理方法及びプログラム Download PDFInfo
- Publication number
- JP7428241B2 JP7428241B2 JP2022516800A JP2022516800A JP7428241B2 JP 7428241 B2 JP7428241 B2 JP 7428241B2 JP 2022516800 A JP2022516800 A JP 2022516800A JP 2022516800 A JP2022516800 A JP 2022516800A JP 7428241 B2 JP7428241 B2 JP 7428241B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- customer
- time
- series information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000009471 action Effects 0.000 claims description 59
- 230000033001 locomotion Effects 0.000 claims description 59
- 238000010191 image analysis Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
顧客が手に持っている商品の画像を取得する取得手段と、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段と、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段と、
前記顧客が前記特定の行動を行った旨を登録する登録手段と、
を有する処理装置が提供される。
コンピュータが、
顧客が手に持っている商品の画像を取得し、
前記画像に基づき、前記商品の位置の時系列情報を生成し、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断し、
前記顧客が前記特定の行動を行った旨を登録する処理方法が提供される。
コンピュータを、
顧客が手に持っている商品の画像を取得する取得手段、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段、
前記顧客が前記特定の行動を行った旨を登録する登録手段、
として機能させるプログラムが提供される。
「概要」
本実施形態の処理装置は、顧客が手に持っている商品を撮影するカメラが生成した画像を取得すると、その画像に基づきその商品(顧客が手に持っている商品)の位置の時系列情報を生成し、当該位置の時系列情報で示される商品の移動状況に基づき、顧客がその商品(顧客が手に持っている商品)に対して行った行動を特定する。当該処理装置によれば、顧客の店内行動を分析するための新たな手法が実現される。
次に、処理装置のハードウエア構成の一例を説明する。
図2に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、画像解析部12と、判断部13と、登録部14とを有する。
当該処理では、画像解析部12は、画像を解析し、画像内に存在する商品を認識する。画像内に存在する商品を認識する技術は広く知られており、画像解析部12はあらゆる技術を採用することができる。以下、一例を説明する。
当該処理では、画像解析部12は、商品認識処理で認識された商品の画像内の位置を追跡する。画像内に存在する物体の画像内の位置を追跡する技術は広く知られており、画像解析部12はあらゆる技術を採用することができる。
当該処理では、画像解析部12は、商品認識処理で認識された商品、及び、追跡処理で追跡中の商品の位置を算出する。商品の位置は、例えば3次元の座標系における座標で示される。設置位置が固定され、予め互いの位置関係が明らかになっている複数のカメラで顧客が手に持っている商品(同一の被写体)を互いに異なる位置及び異なる向きから撮影する場合、その複数のカメラが生成した画像に基づき、3次元空間内の当該商品の位置を算出することができる。認識された商品の位置情報を時系列順に記憶することで、顧客が手に持っている商品の位置の時系列情報が生成される。
当該処理では、画像解析部12は、画像に含まれる顧客の外観(例:顔)に基づき、顧客の属性を推定することができる。推定する属性は、性別、年齢、国籍等、画像から推定可能であり、かつ、顧客の嗜好調査やマーケティング調査において有用な情報である。
判断部13は、顧客が手に持っている商品の位置の時系列情報に基づき、顧客が商品陳列棚から商品を取り出した後、その商品を商品陳列棚に戻したことを検出してもよい。例えば、商品の位置を示すための3次元の座標系において商品陳列棚の位置を定義する。そして、判断部13は、この3次元の座標系内で変動する商品の位置と、予め定義された商品陳列棚の位置(固定)との相対的な位置関係に基づき、顧客が手に持っている商品に対して当該行動(手に取った後に商品陳列棚に戻す)を行ったことを検出してもよい。
以上、本実施形態の処理装置10は、顧客が手に持っている商品の位置の時系列情報を生成し、当該位置の時系列情報で示される商品の移動状況に基づき顧客がその商品(顧客が手に持っている商品)に対して行った行動を特定する。当該処理装置によれば、顧客の店内行動を分析するための新たな手法が実現される。
本実施形態の処理装置10は、顧客が手に持っている商品を撮影するカメラが生成した画像を解析してその商品の向きの時系列情報を生成し、当該商品の向きの時系列情報に基づき、顧客がその商品(顧客が手に持っている商品)に対して行った行動を特定する。以下、詳細に説明する。
1. 顧客が手に持っている商品の画像を取得する取得手段と、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段と、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段と、
前記顧客が前記特定の行動を行った旨を登録する登録手段と、
を有する処理装置。
2. 前記判断手段は、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出する1に記載の処理装置。
3. 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第1の時間帯が前記商品の移動速度が前記基準値未満である第2の時間帯を挟み込んだパターンを含む場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する2に記載の処理装置。
4. 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第1の時間帯が前記商品の移動速度が前記基準値未満である第2の時間帯を挟み込み、前記第2の時間帯の長さが基準値以上であるパターンを含む場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する2又は3に記載の処理装置。
5. 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第1の時間帯が前記商品の移動速度が前記基準値未満である第2の時間帯を挟み込んだパターンを含まない場合、前記顧客が商品陳列棚から取り出した前記商品を、外観を視認することなく買い物かごに入れたと判断する2から4のいずれかに記載の処理装置。
6. 前記画像解析手段は、前記画像に基づき前記商品の向きの時系列情報を生成し、
前記判断手段は、前記商品の向きの時系列情報に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する1から5のいずれかに記載の処理装置。
7. 前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが所定レベル以上変化した場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する6に記載の処理装置。
8. 前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが第1の向きから第2の向きに変化し、その後、前記第1の向きに戻った場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する6又は7に記載の処理装置。
9. コンピュータが、
顧客が手に持っている商品の画像を取得し、
前記画像に基づき、前記商品の位置の時系列情報を生成し、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断し、
前記顧客が前記特定の行動を行った旨を登録する処理方法。
10. コンピュータを、
顧客が手に持っている商品の画像を取得する取得手段、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段、
前記顧客が前記特定の行動を行った旨を登録する登録手段、
として機能させるプログラム。
Claims (9)
- 顧客が手に持っている商品の画像を取得する取得手段と、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段と、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段と、
前記顧客が前記特定の行動を行った旨を登録する登録手段と、
を有し、
前記判断手段は、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出する処理装置。 - 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第1の時間帯が前記商品の移動速度が前記基準値未満である第2の時間帯を挟み込んだパターンを含む場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する請求項1に記載の処理装置。 - 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第1の時間帯が前記商品の移動速度が前記基準値未満である第2の時間帯を挟み込み、前記第2の時間帯の長さが基準値以上であるパターンを含む場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する請求項1又は2に記載の処理装置。 - 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第1の時間帯が前記商品の移動速度が前記基準値未満である第2の時間帯を挟み込んだパターンを含まない場合、前記顧客が商品陳列棚から取り出した前記商品を、外観を視認することなく買い物かごに入れたと判断する請求項1から3のいずれか1項に記載の処理装置。 - 前記画像解析手段は、前記画像に基づき前記商品の向きの時系列情報を生成し、
前記判断手段は、前記商品の向きの時系列情報に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する請求項1から4のいずれか1項に記載の処理装置。 - 前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが所定レベル以上変化した場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する請求項5に記載の処理装置。 - 前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが第1の向きから第2の向きに変化し、その後、前記第1の向きに戻った場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する請求項5又は6に記載の処理装置。 - コンピュータが、
顧客が手に持っている商品の画像を取得し、
前記画像に基づき、前記商品の位置の時系列情報を生成し、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断し、
前記顧客が前記特定の行動を行った旨を登録し、
前記特定の行動を行ったか否かを判断する処理では、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出する処理方法。 - コンピュータを、
顧客が手に持っている商品の画像を取得する取得手段、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段、
前記顧客が前記特定の行動を行った旨を登録する登録手段、
として機能させ、
前記判断手段は、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出するプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/017716 WO2021214986A1 (ja) | 2020-04-24 | 2020-04-24 | 処理装置、処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021214986A1 JPWO2021214986A1 (ja) | 2021-10-28 |
JP7428241B2 true JP7428241B2 (ja) | 2024-02-06 |
Family
ID=78270586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022516800A Active JP7428241B2 (ja) | 2020-04-24 | 2020-04-24 | 処理装置、処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230154039A1 (ja) |
JP (1) | JP7428241B2 (ja) |
WO (1) | WO2021214986A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080159634A1 (en) | 2006-12-30 | 2008-07-03 | Rajeev Sharma | Method and system for automatically analyzing categories in a physical space based on the visual characterization of people |
WO2019181499A1 (ja) | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | 店舗管理装置および店舗管理方法 |
-
2020
- 2020-04-24 WO PCT/JP2020/017716 patent/WO2021214986A1/ja active Application Filing
- 2020-04-24 JP JP2022516800A patent/JP7428241B2/ja active Active
- 2020-04-24 US US17/919,582 patent/US20230154039A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080159634A1 (en) | 2006-12-30 | 2008-07-03 | Rajeev Sharma | Method and system for automatically analyzing categories in a physical space based on the visual characterization of people |
WO2019181499A1 (ja) | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | 店舗管理装置および店舗管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021214986A1 (ja) | 2021-10-28 |
US20230154039A1 (en) | 2023-05-18 |
WO2021214986A1 (ja) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4717934B2 (ja) | 関係分析方法、関係分析プログラム、および、関係分析装置 | |
TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
WO2019165892A1 (zh) | 自动售货方法、装置和计算机可读存储介质 | |
JP2019527865A (ja) | 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 | |
JP6549558B2 (ja) | 売上登録装置、プログラム及び売上登録方法 | |
JP5238933B2 (ja) | 客層付販売情報生成システム | |
JP2011253344A (ja) | 購買行動分析装置、購買行動分析方法、およびプログラム | |
JP6500374B2 (ja) | 画像処理装置及び画像処理プログラム | |
JPWO2020240834A1 (ja) | 不正推定システム、不正推定方法、及びプログラム | |
JP7487732B2 (ja) | 情報処理装置、表示システム、情報処理方法およびプログラム | |
JP7428241B2 (ja) | 処理装置、処理方法及びプログラム | |
CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
JP7343047B2 (ja) | 処理装置、処理方法及びプログラム | |
JP2015194791A (ja) | Pos端末装置 | |
JP2021135620A (ja) | 不正防止システム、及び不正防止プログラム | |
WO2020189196A1 (ja) | 情報処理装置、情報処理システム、表示制御方法および記録媒体 | |
JP7396476B2 (ja) | 処理装置、処理方法及びプログラム | |
JP2021026724A (ja) | 情報処理システムと情報処理装置と情報処理方法と情報処理プログラム | |
JP7525022B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7380869B2 (ja) | 処理装置、前処理装置、処理方法、及び前処理方法 | |
JP2019083058A (ja) | 画像処理装置及び画像処理プログラム | |
WO2021245835A1 (ja) | 処理装置、処理方法及びプログラム | |
JP7435758B2 (ja) | 処理システム、処理方法及びプログラム | |
KR102550560B1 (ko) | 인공지능을 이용한 전자 시스템 | |
JP7337625B2 (ja) | 購買行動データ収集システム、及び購買行動データ収集プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7428241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |