JP6498065B2 - 情報処理装置、処理方法およびプログラム - Google Patents
情報処理装置、処理方法およびプログラム Download PDFInfo
- Publication number
- JP6498065B2 JP6498065B2 JP2015148141A JP2015148141A JP6498065B2 JP 6498065 B2 JP6498065 B2 JP 6498065B2 JP 2015148141 A JP2015148141 A JP 2015148141A JP 2015148141 A JP2015148141 A JP 2015148141A JP 6498065 B2 JP6498065 B2 JP 6498065B2
- Authority
- JP
- Japan
- Prior art keywords
- purchaser
- clerk
- terminal device
- accounting
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 15
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 35
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 description 33
- 238000004458 analytical method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
<システム構成>
図1は、第1の実施の形態におけるシステム構成の一例である。以下で説明する各機器はネットワークで接続されている。
図2は、サーバ103のハードウェア構成を示す図である。HDD(ハードディスクドライブ)202またはROM203は、OS(オペレーティングシステム)上で動作するアプリケーションプログラムが格納されている。CPU205は、OSとアプリケーションプログラムをHDD202あるいはROM203から読み出してRAM204にロードし、実行することで以下に説明するサーバ上の動作処理が実現する。そして、処理結果はファイルとしてHDD202に格納され、あるいはデータとしてRAM204に記憶される。入力装置207は、サーバの使用者による入力情報および各種センサの読み取り値を取得する。出力装置206は、表示処理結果を表示画面上に表示する表示装置である。さらに、通信装置208を介してネットワークに接続されたレジ端末101、NWカメラ102、DB105−107などと通信を行う。これらはバス201で互いに接続されている。なお、タブレット型レジ端末101、マーケティングレポート閲覧端末108も図2と同様の構成である。
図3は、本実施形態で想定する店舗において、図1のNWカメラ102の設置例を示している。なお、以下では、店舗に来店した顧客を「来店客」、商品を購入する顧客を「購入客」と呼ぶこととする。
図4を用いて店員が会計を開始してから、購買情報と購入客の顔特徴を関連付けて保存するまでの処理の流れを説明する。
なお、サーバ103は、所定期間で蓄積された顧客顔特徴DB106と、POSデータDB107をもとに、マーケティングレポートを生成するが、詳細な説明は省略する。
図6〜図8を用いて、店員および購入客候補の識別処理を説明する。
この処理により、図8(B)に示すデータが得られる。項目806は、購入客候補IDであり、項目807、808、809はそれぞれ異なる顔特徴の種別を示している。顔特徴は、例えば、顔の各パーツの形状、顔のパーツの位置関係、顔の輪郭、それらから推定された年齢、性別の情報から構成される。
図4のS408にて、レジ端末101が購入客候補の顔画像を表示する表示処理を説明したが、ここでは、その際に表示されるレジ端末101の表示画面の一例を図9を用いて説明する。
第1の実施の形態では、購入客に応対する店員が必ずNWカメラ303に撮影される想定であるが、店員がNWカメラ303で撮影されていることを忘れ、NWカメラ303の撮影画角外に出てしまう可能性がある。また、撮影画角内であっても、NWカメラ303から離れすぎていて、店員の顔識別に失敗してしまう可能性がある。この場合、購入客が特定できずに購買情報との紐づけができなくなってしまう可能性がある。
本実施形態においても、全体の流れは基本的に図4と同じであるが、S404の内部処理が第1の実施形態と異なる。
第1、第2の実施形態では、店員の顔に基づいて購入客を識別していた。第3の実施形態では、レジ端末101が赤外線を発光する装置を備え、NWカメラ303で赤外線を検知することで購入客を識別する形態である。
図12は、実施形態3における処理の流れを説明した図である。
102 ネットワークカメラ
103 サーバ
105 店員顔特徴データベース
106 顧客顔特徴データベース
Claims (15)
- 複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻に基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する通信手段と、
前記購入客識別指示に基づいて撮像手段が取得する画像から検出された人物のうち、 前記選択手段によって選択された前記店員に対応する特徴に基づいて、前記店員ではない他の人物を購入客の候補として判別する判別手段と、
を有し、
前記通信手段は、前記判別手段によって判別された前記購入客の候補の画像を、前記会計端末装置に送信し、
前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信する、
ことを特徴とする情報処理装置。 - 前記店員ではない他の人物が複数いる場合に、前記判別手段は、前記店員と前記店員ではない他の人物の関連性に基づいて、前記購入客の候補を判別することを特徴とする請求項1に記載の情報処理装置。
- 前記判別手段は、前記店員と前記店員ではない他の人物との空間的な近さに基づいて、購入客の候補の順位付けを行って購入客を判別することを特徴とする請求項2に記載の情報処理装置。
- 前記判別手段は、前記会計端末装置において会計の開始が行われた時刻の前後所定時間に対応する範囲において、前記撮像手段によって撮像された画像から検出される人物を購入客の候補として判別することを特徴とする請求項1に記載の情報処理装置。
- 前記判別手段が前記店員を識別し前記店員でない他の人物を購入客の候補として判別することに失敗した場合に、前記送信手段は、前記会計端末装置に店員が撮像手段に近づくように指示する警告情報を送信することを特徴とする請求項1に記載の情報処理装置。
- 複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する通信手段と、
前記購入客識別指示に基づいて撮像手段が取得する画像から人物を検出する検出手段と、
前記撮像手段から得られる画像から前記会計端末装置を当該会計端末装置が発光する赤外線を識別することによって識別する識別手段と、
前記会計端末装置の識別手段で識別された当該会計端末装置との関連性に基づいて、前記検出手段によって検出された人物から購入客の候補を判別する判別手段と、
を有し、
前記通信手段は、前記判別手段によって判別された購入客の候補の画像を、前記会計端末装置に送信し、
前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信することを特徴とする情報処理装置。 - 請求項1乃至6のいずれかに記載の前記送信手段によって送信された購入客の複数の候補の画像を、前記会計端末装置に表示させる表示手段と、
前記表示手段によって表示された購入客の複数の候補の画像のうち少なくとも1つの画像を選択する選択手段と、
前記選択手段によって選択された画像と購買情報とを受信し、前記画像と前記購買情報を関連付けする関連付け手段とを有することを特徴とする会計端末装置。 - 複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する第一の送信工程と、
前記購入客識別指示に基づいて撮像手段が取得する画像から検出された人物のうち
前記選択手段によって選択された前記店員に対応する特徴に基づいて、前記店員ではない他の人物を購入客の候補として判別する判別工程と、
前記判別工程において判別された購入客の候補の画像を、前記会計端末装置に送信する第二の送信工程と、
前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信する受信工程と、
を有することを特徴とする情報処理装置の処理方法。 - 前記店員ではない他の人物が複数いる場合に、前記判別工程において、前記店員と前記店員ではない他の人物の関連性に基づいて、前記購入客の候補を判別することを特徴とする請求項8に記載の情報処理装置の処理方法。
- 前記判別工程において、前記店員と前記店員ではない他の人物との空間的な近さに基づいて、購入客の候補の順位付けを行って購入客を判別することを特徴とする請求項9に記載の情報処理装置の処理方法。
- 前記判別工程において、前記会計端末装置において会計の開始が行われた時刻の前後所定時間に対応する範囲において、前記撮像手段によって撮像された画像から検出される人物を購入客の候補として判別することを特徴とする請求項8に記載の情報処理装置の処理方法。
- 前記判別工程において前記店員を識別し前記店員でない他の人物を購入客の候補として判別することに失敗した場合に、前記会計端末装置に店員が撮像手段に近づくように指示する警告情報を送信する第三の送信工程を有することを特徴とする請求項8に記載の情報処理装置の処理方法。
- 複数の店員から会計を行う店員を選択する選択手段を有し持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する第一の送信工程と、
前記購入客識別指示に基づいて撮像手段が取得する画像から人物を検出する検出工程と、
前記撮像手段から得られる画像から前記会計端末装置を当該会計端末装置が発光する赤外線を識別することによって識別する識別工程と、
前記会計端末装置の識別工程において識別された前記会計端末装置との関連性に基づいて、前記検出工程において検出された人物から購入客の候補を判別する判別工程と、
前記判別工程において判別された購入客の候補の画像を、前記会計端末装置に送信する第二の送信工程と、
前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信する受信工程と、
を有することを特徴とする情報処理装置の処理方法。 - 請求項8乃至13のいずれかに記載の第二の送信工程において送信された購入客の複数の候補の画像を、会計端末装置の表示手段に表示させる表示処理工程と、
前記表示処理工程において表示された購入客の複数の候補の画像のうち少なくとも1つの画像を選択する選択工程と、
前記選択工程によって選択された画像と購買情報とを受信し、前記画像と前記購買情報を関連付けする関連付け工程とを有することを特徴とする会計端末装置の処理方法。 - 請求項8乃至14のいずれかに記載の処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015148141A JP6498065B2 (ja) | 2015-07-27 | 2015-07-27 | 情報処理装置、処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015148141A JP6498065B2 (ja) | 2015-07-27 | 2015-07-27 | 情報処理装置、処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017027529A JP2017027529A (ja) | 2017-02-02 |
JP6498065B2 true JP6498065B2 (ja) | 2019-04-10 |
Family
ID=57949857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015148141A Active JP6498065B2 (ja) | 2015-07-27 | 2015-07-27 | 情報処理装置、処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6498065B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7250443B2 (ja) * | 2018-06-19 | 2023-04-03 | 東芝テック株式会社 | 画像処理装置 |
JP7109520B2 (ja) * | 2020-11-24 | 2022-07-29 | パナソニックホールディングス株式会社 | 購入商品推定装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3947877B2 (ja) * | 2004-03-03 | 2007-07-25 | Necソフト株式会社 | 商品販売システム、商品販売方法、商品販売プログラム及び売場サーバ |
JP2010113692A (ja) * | 2008-11-10 | 2010-05-20 | Nec Corp | 顧客行動記録装置及び顧客行動記録方法並びにプログラム |
JP5790160B2 (ja) * | 2011-05-31 | 2015-10-07 | 株式会社寺岡精工 | セルフ会計posシステム及び会計装置 |
JP6444655B2 (ja) * | 2014-01-14 | 2018-12-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 表示方法、滞在情報表示システム、表示制御装置、及び表示制御方法 |
-
2015
- 2015-07-27 JP JP2015148141A patent/JP6498065B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017027529A (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11507933B2 (en) | Cashier interface for linking customers to virtual data | |
US20230017398A1 (en) | Contextually aware customer item entry for autonomous shopping applications | |
US11847689B2 (en) | Dynamic customer checkout experience within an automated shopping environment | |
EP3525156B1 (en) | Order information determining method and apparatus | |
US11663571B2 (en) | Inventory management computer system | |
US20180253708A1 (en) | Checkout assistance system and checkout assistance method | |
TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
JP6261197B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
US11216651B2 (en) | Information processing device and reporting method | |
JP5571633B2 (ja) | 健康度報知装置、プログラム及び健康度報知方法 | |
JP2016038771A (ja) | 会計システム、情報処理方法、及び、処理装置 | |
JP7516759B2 (ja) | 処理装置、処理方法及びプログラム | |
JP5658720B2 (ja) | 情報処理装置及びプログラム | |
JP6498065B2 (ja) | 情報処理装置、処理方法およびプログラム | |
JP2024015277A (ja) | 情報提供装置及びその制御プログラム | |
CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
JP2016024601A (ja) | 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム | |
JP2022020661A (ja) | 監視装置及びプログラム | |
JP2018025882A (ja) | 情報処理装置及びその制御方法、表示装置、コンピュータプログラム | |
JP6696554B2 (ja) | 精算システム及び精算方法 | |
JP2021184320A (ja) | 情報処理装置およびプログラム | |
JP2017068506A (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6498065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |