JP7211455B2 - 処理システム、処理方法及びプログラム - Google Patents
処理システム、処理方法及びプログラム Download PDFInfo
- Publication number
- JP7211455B2 JP7211455B2 JP2021100724A JP2021100724A JP7211455B2 JP 7211455 B2 JP7211455 B2 JP 7211455B2 JP 2021100724 A JP2021100724 A JP 2021100724A JP 2021100724 A JP2021100724 A JP 2021100724A JP 7211455 B2 JP7211455 B2 JP 7211455B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- processing system
- image
- display control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/201—Price look-up processing, e.g. updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
- G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
- G07G1/145—PLU-management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Description
情報を表示する表示面に物体が載置されるディスプレイと、
前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置を検出する検出手段と、
前記載置位置を示す情報を前記ディスプレイに表示させる表示制御手段と、
を有する処理システムが提供される。
コンピュータが、
情報を表示する表示面に物体が載置されるディスプレイの前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置を検出する検出工程と、
前記載置位置を示す情報を前記ディスプレイに表示させる表示制御工程と、
を実行する処理方法が提供される。
コンピュータを、
情報を表示する表示面に物体が載置されるディスプレイの前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置を検出する検出手段、
前記載置位置を示す情報を前記ディスプレイに表示させる表示制御手段、
として機能させるプログラムが提供される。
まず、本実施形態の処理システムの概要を説明する。本実施形態の処理システムは、載置台に載置された物体を画像解析で検出し、画像解析の結果をディスプレイに表示する。なお、載置台の物体を載置する面が情報を表示するディスプレイとなっている。すなわち、ディスプレイの表示面に物体が載置され、当該ディスプレイに画像解析の結果が表示される。
本実施形態の処理システム10は、物体の種別を認識し、その認識結果に応じた情報をディスプレイ11に表示する点で、第1の実施形態と異なる。
本実施形態の処理システム10は、物体の形状を検出し、その検出結果に応じた情報をディスプレイ11に表示する点で、第1及び第2の実施形態と異なる。
本実施形態の処理システム10は、物体の色を検出し、その検出結果に応じた情報をディスプレイ11に表示する点で、第1乃至第3の実施形態と異なる。
本実施形態の処理システム10は、複数の物体が近接して載置されている場合、複数の物体が近接して載置されていない場合と異なる態様で所定の情報をディスプレイ11に表示する点で、第1乃至第4の実施形態と異なる。複数の物体が近接して載置されている場合、各々に対応して所定の情報をディスプレイ11に表示すると見難くなる場合がある。当該場合に表示手法を異ならせることで、複数の物体が近接して載置されている場合であっても所定の情報を見やすくなる。
本実施形態の処理システム10は、物体の種別を認識できない場合に認識できない原因を特定し、特定した原因に応じた情報をディスプレイ11に表示する点で、第1乃至第5の実施形態と異なる。
本実施形態の処理システム10は、商品を登録するPOS(point of sales)レジスターとしての利用に限定される点で、第1乃至第6の実施形態と異なる。POSレジスターは店員が操作することを想定したものであってもよいし、客が操作することを想定したものであってもよい。
載置台上の物体の画像を解析することによって得られる認識結果をディスプレイ11上の正しい位置に表示させるためには、カメラ4により生成される画像の座標系と、ディスプレイ11の表示面の座標系とを整合させる必要がある。本実施形態では、この課題を解決するための構成について説明する。
表示制御部13によって表示される第1画像は、カメラ4により生成された画像上の座標をディスプレイ11の表示面上の座標に変換する座標変換ルールを生成するために利用される画像である。図16乃至図21は、載置台1に設けられたディスプレイ11に表示される第1画像の一例を示す図である。
1. 情報を表示する表示面に物体が載置されるディスプレイと、
前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置を検出する検出手段と、
前記載置位置を示す情報を前記ディスプレイに表示させる表示制御手段と、
を有する処理システム。
2. 1に記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記表示面上に載置された物体の種別を認識する処理システム。
3. 2に記載の処理システムにおいて、
前記物体は商品であり、
会計対象の商品が前記表示面に載置され、
前記検出手段により認識された商品種を会計対象として登録する登録手段をさらに有する処理システム。
4. 1から3のいずれかに記載の処理システムにおいて、
前記表示制御手段は、前記載置位置に対応付けて所定の情報を前記ディスプレイに表示させる処理システム。
5. 4に記載の処理システムにおいて、
前記表示制御手段は、前記載置位置を囲む枠を前記ディスプレイに表示させる処理システム。
6. 5に記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記表示面上に載置された物体の所定の面の形状を検出し、
前記表示制御手段は、前記所定の面の形状と相似の形状の前記枠を前記ディスプレイに表示させる処理システム。
7. 6に記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記所定の面の大きさを検出し、
前記表示制御手段は、前記所定の面と相似の形状で、かつ、前記所定の面より大きい前記枠を前記ディスプレイに表示させる処理システム。
8. 4に記載の処理システムにおいて、
前記表示制御手段は、前記載置位置と予め定められた位置関係にある位置に前記所定の情報を表示させる処理システム。
9. 4から8のいずれかに記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記表示面上に載置された物体の色を検出し、
前記表示制御手段は、検出された物体の色に基づき決定した色で、前記所定の情報を表示させる処理システム。
10. 4から9のいずれかに記載の処理システムにおいて、
前記表示制御手段は、互いの距離が基準値以下である複数の前記載置位置に対応付けて表示させる前記所定の情報を、他の前記載置位置に対応付けて表示させる前記所定の情報と異ならせる処理システム。
11. 10に記載の処理システムにおいて、
前記表示制御手段は、互いの距離が基準値以下である複数の前記載置位置に対応付けて1つの前記所定の情報を表示させるとともに、当該所定の情報に対応付けられた前記載置位置の数を示す情報を表示させる処理システム。
12. 10に記載の処理システムにおいて、
前記表示制御手段は、互いの距離が基準値以下である複数の前記載置位置各々に対応付けて表示させる前記所定の情報の色を互いに異ならせる処理システム。
13. 2又は3に従属する4から12のいずれかに記載の処理システムにおいて、
前記表示制御手段は、種別を認識された物体の前記載置位置に対応付けて表示させる情報と、種別を認識されていない物体の前記載置位置に対応付けて表示させる情報とを異ならせる処理システム。
14. 2又は3に従属する4に記載の処理システムにおいて、
前記表示制御手段は、認識された物体の種別に応じた情報を表示させる処理システム。
15. 14に記載の処理システムにおいて、
前記物体は商品であり、
前記表示制御手段は、商品の名称、金額及び広告の中の少なくとも1つを表示させる処理システム。
16. 2に記載の処理システムにおいて、
前記検出手段は、前記表示面上に載置された物体の種別を認識できない場合、認識できない原因を特定し、
前記表示制御手段は、特定された原因に応じた情報を前記ディスプレイに表示させる処理システム。
17. コンピュータが、
情報を表示する表示面に物体が載置されるディスプレイの前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置を検出する検出工程と、
前記載置位置を示す情報を前記ディスプレイに表示させる表示制御工程と、
を実行する処理方法。
18. コンピュータを、
情報を表示する表示面に物体が載置されるディスプレイの前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置を検出する検出手段、
前記載置位置を示す情報を前記ディスプレイに表示させる表示制御手段、
として機能させるプログラム。
Claims (15)
- 情報を表示する表示面に物体が載置されるディスプレイと、
前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置および前記物体の色を検出する検出手段と、
前記載置位置に対応付けて、検出された前記色に基づき決定した色で所定の情報を前記ディスプレイに表示させる表示制御手段と、
を有する処理システム。 - 請求項1に記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記表示面上に載置された物体の種別を認識する処理システム。 - 請求項2に記載の処理システムにおいて、
前記物体は商品であり、
会計対象の商品が前記表示面に載置され、
前記検出手段により認識された商品種を会計対象として登録する登録手段をさらに有する処理システム。 - 請求項1から3のいずれか1項に記載の処理システムにおいて、
前記表示制御手段は、前記載置位置を囲む枠を前記ディスプレイに表示させる処理システム。 - 請求項4に記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記表示面上に載置された物体の所定の面の形状を検出し、
前記表示制御手段は、前記所定の面の形状と相似の形状の前記枠を前記ディスプレイに表示させる処理システム。 - 請求項5に記載の処理システムにおいて、
前記検出手段は、前記画像データに基づき、前記所定の面の大きさを検出し、
前記表示制御手段は、前記所定の面と相似の形状で、かつ、前記所定の面より大きい前記枠を前記ディスプレイに表示させる処理システム。 - 請求項1から6のいずれか1項に記載の処理システムにおいて、
前記表示制御手段は、前記載置位置と予め定められた位置関係にある位置に前記所定の情報を表示させる処理システム。 - 請求項1から7のいずれか1項に記載の処理システムにおいて、
前記表示制御手段は、互いの距離が基準値以下である複数の前記載置位置に対応付けて1つの前記所定の情報を表示させるとともに、当該所定の情報に対応付けられた前記載置位置の数を示す情報を表示させる処理システム。 - 請求項1から7のいずれか1項に記載の処理システムにおいて、
前記表示制御手段は、互いの距離が基準値以下である複数の前記載置位置各々に対応付けて表示させる前記所定の情報の色を互いに異ならせる処理システム。 - 請求項2又は3に従属する請求項4から9のいずれか1項に記載の処理システムにおいて、
前記表示制御手段は、種別を認識された物体の前記載置位置に対応付けて表示させる情報と、種別を認識されていない物体の前記載置位置に対応付けて表示させる情報とを異ならせる処理システム。 - 請求項2又は3に記載の処理システムにおいて、
前記表示制御手段は、認識された物体の種別に応じた情報を表示させる処理システム。 - 請求項11に記載の処理システムにおいて、
前記物体は商品であり、
前記表示制御手段は、商品の名称、金額及び広告の中の少なくとも1つを表示させる処理システム。 - 請求項2に記載の処理システムにおいて、
前記検出手段は、前記表示面上に載置された物体の種別を認識できない場合、認識できない原因を特定し、
前記表示制御手段は、特定された原因に応じた情報を前記ディスプレイに表示させる処理システム。 - コンピュータが、
情報を表示する表示面に物体が載置されるディスプレイの前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置および前記物体の色を検出する検出工程と、
前記載置位置に対応付けて、検出された前記色に基づき決定した色で所定の情報を前記ディスプレイに表示させる表示制御工程と、
を実行する処理方法。 - コンピュータを、
情報を表示する表示面に物体が載置されるディスプレイの前記表示面を撮影するカメラにより生成された画像データに基づき、前記表示面上に載置された物体の前記表示面上の載置位置および前記物体の色を検出する検出手段、
前記載置位置に対応付けて、検出された前記色に基づき決定した色で所定の情報を前記ディスプレイに表示させる表示制御手段、
として機能させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017231435 | 2017-12-01 | ||
JP2017231435 | 2017-12-01 | ||
JP2019557016A JP6965941B2 (ja) | 2017-12-01 | 2018-08-29 | 処理システム、処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019557016A Division JP6965941B2 (ja) | 2017-12-01 | 2018-08-29 | 処理システム、処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168151A JP2021168151A (ja) | 2021-10-21 |
JP7211455B2 true JP7211455B2 (ja) | 2023-01-24 |
Family
ID=66663907
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019557016A Active JP6965941B2 (ja) | 2017-12-01 | 2018-08-29 | 処理システム、処理方法及びプログラム |
JP2021100724A Active JP7211455B2 (ja) | 2017-12-01 | 2021-06-17 | 処理システム、処理方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019557016A Active JP6965941B2 (ja) | 2017-12-01 | 2018-08-29 | 処理システム、処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200394404A1 (ja) |
JP (2) | JP6965941B2 (ja) |
TW (1) | TWI748136B (ja) |
WO (1) | WO2019106900A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019106900A1 (ja) * | 2017-12-01 | 2019-06-06 | 日本電気株式会社 | 処理システム、処理方法及びプログラム |
JP7360997B2 (ja) | 2020-06-18 | 2023-10-13 | 京セラ株式会社 | 情報処理システム、情報処理装置、および情報処理方法 |
JP2024504161A (ja) | 2021-01-24 | 2024-01-30 | クレイトン・コーポレイション | バッテリーのための電極バインダー |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011165139A (ja) | 2010-02-15 | 2011-08-25 | Toshiba Tec Corp | コードシンボル読取装置及び制御プログラム |
US20170017944A1 (en) | 2015-07-15 | 2017-01-19 | Toshiba Tec Kabushiki Kaisha | Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium |
WO2017126253A1 (ja) | 2016-01-21 | 2017-07-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2017126254A1 (ja) | 2016-01-21 | 2017-07-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9041508B2 (en) * | 2008-08-08 | 2015-05-26 | Snap-On Incorporated | Image-based inventory control system and method |
WO2019106900A1 (ja) * | 2017-12-01 | 2019-06-06 | 日本電気株式会社 | 処理システム、処理方法及びプログラム |
-
2018
- 2018-08-29 WO PCT/JP2018/031882 patent/WO2019106900A1/ja active Application Filing
- 2018-08-29 JP JP2019557016A patent/JP6965941B2/ja active Active
- 2018-08-29 US US16/767,890 patent/US20200394404A1/en not_active Abandoned
- 2018-11-06 TW TW107139241A patent/TWI748136B/zh active
-
2021
- 2021-06-17 JP JP2021100724A patent/JP7211455B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011165139A (ja) | 2010-02-15 | 2011-08-25 | Toshiba Tec Corp | コードシンボル読取装置及び制御プログラム |
US20170017944A1 (en) | 2015-07-15 | 2017-01-19 | Toshiba Tec Kabushiki Kaisha | Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium |
WO2017126253A1 (ja) | 2016-01-21 | 2017-07-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2017126254A1 (ja) | 2016-01-21 | 2017-07-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019106900A1 (ja) | 2019-06-06 |
JPWO2019106900A1 (ja) | 2020-12-17 |
TWI748136B (zh) | 2021-12-01 |
JP2021168151A (ja) | 2021-10-21 |
TW201926194A (zh) | 2019-07-01 |
JP6965941B2 (ja) | 2021-11-10 |
US20200394404A1 (en) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7211455B2 (ja) | 処理システム、処理方法及びプログラム | |
JP7143925B2 (ja) | 情報処理装置、表示位置調整方法、およびプログラム | |
JP7396722B2 (ja) | システム、処理方法及びプログラム | |
JP2023041760A (ja) | 登録装置、登録方法及びプログラム | |
US20230130674A1 (en) | Computer-readable recording medium storing learning program, learning method, and information processing apparatus | |
JP7070654B2 (ja) | 登録装置、登録方法及びプログラム | |
EP4174796A1 (en) | Inference program, learning program, inference method, and learning method | |
JPWO2015159550A1 (ja) | 情報処理システム、制御方法、及びプログラム | |
JP7215474B2 (ja) | 登録システム、登録方法及びプログラム | |
JP7248010B2 (ja) | 登録システム、登録方法及びプログラム | |
JP6981538B2 (ja) | 画像識別レジ装置、画像識別レジシステム、商品情報表示方法、およびプログラム | |
JP7006767B2 (ja) | 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム | |
JP7322945B2 (ja) | 処理装置、処理方法及びプログラム | |
JP6984725B2 (ja) | 登録装置、登録方法及びプログラム | |
JP7205603B2 (ja) | 登録装置、登録方法及びプログラム | |
JP7435716B2 (ja) | 登録装置、登録方法及びプログラム | |
JP2014002502A (ja) | 手のばし検出装置、手のばし検出方法及びプログラム | |
WO2023105726A1 (ja) | 作業分析装置 | |
JP2019139711A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7211455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |