JP6847137B2 - 情報処理装置、棚管理システム、情報処理方法、及びプログラム - Google Patents
情報処理装置、棚管理システム、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6847137B2 JP6847137B2 JP2019006892A JP2019006892A JP6847137B2 JP 6847137 B2 JP6847137 B2 JP 6847137B2 JP 2019006892 A JP2019006892 A JP 2019006892A JP 2019006892 A JP2019006892 A JP 2019006892A JP 6847137 B2 JP6847137 B2 JP 6847137B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- information
- image
- unit
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 84
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
第1実施形態では、大型量販店やスーパーマーケットなどにおいて、商品が陳列された棚の画像から商品位置を管理するシステムを想定するが、商品を販売するあらゆる店舗(コンビニエンスストアや専門店など)にも適用可能である。また、棚に陳列されるものは商品に限らず、撮像画像に含まれる物体を棚に配置して管理する場合にも適用可能である。以下、物体は、商品を例にして説明するが、これに限られるものではない。
<システム構成>
図1は、第1実施形態に係る棚管理システム1の概略構成を示す図である。図1に示すように、棚管理システム1は、撮像装置102Aと、撮像装置102Bと、撮像装置102Cと、情報処理装置104とを有する。また、上述した装置の全部又は一部は、通信ネットワークを介して相互通信可能に接続されている。通信ネットワークは、例えば、インターネット、LAN、専用線、電話回線、企業内ネットワーク、移動体通信網、Bluetooth(登録商標)、WiFi(Wireless Fidelity)、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。なお、撮像装置(例えばカメラ)や情報処理装置(例えばサーバ)の数は上記例に限られず、システムの規模に応じて適宜必要な数の撮像装置や情報処理装置が設けられれば良い。以下、撮像装置102A、102B、102Cを個別に区別せず、まとめて表現する場合は、単に「撮像装置102」と表記する。
図2は、第1実施形態に係る情報処理装置104のハードウェア構成の一例を示す図である。図2に示すように、情報処理装置104は、プロセッサ202と、メモリ204と、ストレージ206と、入出力インタフェース(入出力I/F)208と、通信インタフェース(通信I/F)210とを含む。情報処理装置104のHWの各構成要素は、例えばバスBを介して相互に接続される。
図3は、第1実施形態に係る撮像装置102の機能構成の一例を示す図である。図3に示す例では、撮像装置102は、撮像部302と、送信部304とを有する。撮像部302は、例えば、複数の商品が陳列された棚を撮像する。撮像部302は、複数の商品を含む棚全体が写るようにして撮像する。撮像部302は、撮像した画像を送信部304に出力する。ここで、撮像装置と棚との関係について説明する。
図4は、撮像装置102と各棚との関係の一例を示す図である。図4に示す例では、撮像装置102は、4個(102A、102B、102C、102D)設置される。また、図4に示す店舗のレイアウトは、例えば1階(1F)のフロアのレイアウトを示しており、各棚に識別情報(以下、「棚ID」とも称す。)が割り当てられる。例えば、棚IDの例として、「1F11」、「1F12」などである。また、各棚IDには、自身の棚が撮像される撮像装置の識別情報(以下、「撮像装置ID」とも称す。)が割り当てられる。例えば、撮像装置102Aの撮像装置IDを「1」、撮像装置102Bの撮像装置IDを「2」とすると、棚ID「1F11」には、撮像装置ID「1」が対応付けられ、棚ID「1F13」には、撮像装置ID「2」が対応付けられる。
図5は、第1実施形態に係る情報処理装置104の機能構成の一例を示す図である。図5に示す例では、情報処理装置104は、通信部402と、記憶部404と、画像取得部406と、認識部408と、特定部410と、判定部412と、位置情報取得部414と、出力部416と、実績取得部418とを有する。
図6は、商品配置情報の一例を示す図である。図6に示す例では、商品配置情報は、商品IDに対し、棚位置情報、在庫情報、及び期限情報が関連付けられる。例えば、商品ID「1111111」には、棚位置情報「1F42−6−1−1」、在庫「30」、期限「2018/11/8」が関連付けられている。
図7は、ディープラーニングを用いる認識部408の機能構成の一例を示す図である。図7に示す例では、認識部408は、第1制御部502と、第1認識処理部504と、第2認識処理部506とを有する。
次に、図8A〜図8Cを用いて、出力の態様の例について説明する。図8Aは、不適切な位置にある商品に対するエラーメッセージ(位置アラート)の一例を示す図である。図8Aに示す例では、出力部416は、撮像された画像に対して不適切な商品を強調表示し、正しい配置場所(配置位置)を提示する。正しい配置場所は、認識された商品の商品IDに基づいて、商品配置情報から特定可能である。出力部416は、図8Aに示すような出力画面の情報を、店員が所有するタブレット端末等に表示してもよいし、店舗内の管理者等が確認する情報処理装置の表示装置に表示してもよい。
次に、第1実施形態に係る棚管理システム1の動作について説明する。図9は、第1実施形態におけるシステムの棚管理処理の一例を示すフローチャートである。図9に示す例では、棚管理システム1において、ステップS102で、撮像装置102は、複数の商品を含む商品棚を撮像する。撮像装置102は、店舗内の棚を俯瞰できるよう上部に設置されたり、棚の内部に設置されたりする。
第2実施形態では、第1実施形態で説明した棚管理システム1を用いて、ユーザに商品の位置を提示するシステムについて説明する。例えば、ユーザが、店舗内で所定のアプリケーションを用いて商品名を検索すると、その商品が陳列されている棚の情報が提示されたり、その商品を含む棚の画像が提示されたりする。
第2実施形態におけるシステム構成では、図1に示すシステム構成に、ユーザが利用する情報処理装置が1又は複数追加される。ユーザが利用する情報処理装置とは、スマートフォンなどの携帯端末、タブレット端末、パーソナルコンピュータなどの処理装置である。以下、ユーザが利用する情報処理装置を、「ユーザ端末」とも表記する。ユーザ端末のハードウェア構成は、図2に示すハードウェア構成と同様である。
図11は、第2実施形態における情報処理装置104の機能構成の一例を示す図である。図11に示す例では、情報処理装置104は、図5に示す機能に加え、検索部602を含む。以下、第1実施形態と異なる機能について説明する。
図12は、第2実施形態におけるユーザ端末700の機能構成の一例を示す図である。図12に示す例では、ユーザ端末700は、通信部702と、入力部704と、要求部706と、表示制御部708とを有する。通信部702は、例えば、通信I/F210により実現され、入力部704は、例えば、入出力I/F208により実現され、要求部706及び表示制御部708は、例えばプロセッサ202及び作業領域としてのメモリ204などにより実現されうる。
次に、図13A〜図13Bを用いて、第2実施形態における出力の態様の例について説明する。図13Aは、商品検索画面の一例を示す図である。図13Aに示す例では、表示制御部708は、商品名や商品のカテゴリをユーザに入力させるための入力欄を含む検索画面を表示装置に表示するよう制御する。検索画面は、検索ボタンと、戻るボタンとを含む。ユーザが検索ボタンを押下すると、要求部706によりリクエスト処理が実行され、ユーザが戻るボタンを押下すると、前の画面(例えばメニュー画面)に戻る。
次に、第2実施形態に係るユーザ端末700及び情報処理装置104の動作について説明する。図14は、第2実施形態におけるシステムの商品検索処理の一例を示すシーケンス図である。図14に示す例では、ステップS202で、ユーザ端末700の表示制御部708は、検索画面を表示するよう制御する(例えば、図13A参照。)。
第3実施形態では、第1実施形態で説明した棚管理システム1に加えて、商品が陳列された棚に貼付された広告情報(「POP(ポップ)」とも呼ばれる。)の妥当性を判定する。妥当性とは、例えば、棚に貼付されたポップが、その棚に陳列された商品を表しているか、金額が正しいか、ポップの位置が正しいかなどである。
なお、本発明は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。
Claims (11)
- 商品を識別する商品識別情報と、前記商品の配置位置を示し、撮像装置IDを含む位置情報とを関連づけた商品配置情報を記憶する記憶部と、
各撮像装置から、複数の商品が陳列された棚が撮像された画像とともに撮像装置IDを取得する画像取得部と、
前記画像に含まれる商品ごとに、前記商品を認識する認識部と、
前記画像に含まれる商品ごとに、前記商品の配置位置を特定する特定部と、
認識された商品の商品識別情報と、特定された配置位置を示し、取得された撮像装置IDを含む位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定する判定部と、
前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得する位置情報取得部と、
取得された前記商品の位置情報を出力する出力部と、
を備える情報処理装置。 - 前記記憶部は、店舗のレイアウトを示すレイアウト情報を記憶し、
前記位置情報は、前記レイアウトにおける位置を示し、
前記出力部は、取得された前記商品の位置情報を、前記レイアウトにおける位置として表示する、請求項1に記載の情報処理装置。 - 前記出力部は、前記対応関係が前記商品配置情報に記憶されていないと判定された商品を含む画像を、前記位置情報とともに出力する、請求項1又は2に記載の情報処理装置。
- 前記出力部は、前記画像内の前記判定された商品を、他の商品とは異なる態様で表示する、請求項3に記載の情報処理装置。
- 前記特定部は、画像に含まれる商品ごとに、消費期限又は賞味期限を特定し、
前記判定部は、認識された消費期限又は賞味期限が、現在の日時を経過しているか否かを判定し、
前記位置情報取得部は、前記消費期限又は前記賞味期限が前記現在の日時を経過している商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得し、
前記出力部は、前記消費期限又は前記賞味期限が前記現在の日時を経過している商品の位置情報を、前記対応関係が前記商品配置情報に記憶されていない商品の位置情報とは異なる態様で出力する、請求項1から4のいずれか一項に記載の情報処理装置。 - 前記商品ごとの購買実績を取得する実績取得部をさらに備え、
前記位置情報取得部は、前記購買実績に応じて所定の商品の位置情報を、前記商品配置情報から取得し、
前記出力部は、前記購買実績に応じた前記所定の商品の位置情報を、他の商品の位置情報とは異なる態様で出力する、請求項1から5のいずれか一項に記載の情報処理装置。 - 前記画像は、各棚内に設置された前記撮像装置により、前記撮像装置が設置された棚の正面に位置する棚が撮像された画像である、請求項1から6のいずれか一項に記載の情報処理装置。
- 前記判定部は、前記画像から所定の棚に貼付される広告情報を抽出し、前記広告情報から認識された文字列又は数字列と、前記所定の棚に陳列される前記商品の前記商品配置情報に含まれる文字列又は数字列との比較結果に基づいて、前記広告情報の妥当性を判定する、請求項1から7のいずれか一項に記載の情報処理装置。
- 1又は複数の撮像装置と、情報処理装置とを含む棚管理システムであって、
前記1又は複数の撮像装置は、
複数の商品が陳列された棚を撮像する撮像部と、
撮像された画像とともに撮像装置IDを送信する送信部と、を備え、
前記情報処理装置は、
前記商品を識別する商品識別情報と、前記商品の配置位置を示し、撮像装置IDを含む位置情報とを関連づけた商品配置情報を記憶する記憶部と、
前記1又は複数の撮像装置により撮像された前記画像とともに前記撮像装置IDを取得する画像取得部と、
前記画像に含まれる商品ごとに、前記商品を認識する認識部と、
前記画像に含まれる商品ごとに、前記商品の配置位置を特定する特定部と、
認識された商品の商品識別情報と、特定された配置位置を示し、取得された前記撮像装置IDを含む位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定する判定部と、
前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得する位置情報取得部と、
取得された前記商品の位置情報を出力する出力部と、を備える、
棚管理システム。 - 商品を識別する商品識別情報と、前記商品の配置位置を示し、撮像装置IDを含む位置情報とを関連づけた商品配置情報を記憶する記憶部と、制御部とを備える情報処理装置が実行する情報処理方法であって、
前記制御部が、
各撮像装置から、複数の商品が陳列された棚が撮像された画像とともに撮像装置IDを取得し、
前記画像に含まれる商品ごとに、前記商品を認識し、
前記画像に含まれる商品ごとに、前記商品の配置位置を特定し、
認識された商品の商品識別情報と、特定された配置位置を示し、取得された撮像装置IDを含む位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定し、
前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得し、
取得された前記商品の位置情報を出力する、情報処理方法。 - 商品を識別する商品識別情報と、前記商品の配置位置を示し、撮像装置IDを含む位置情報とを関連づけた商品配置情報を記憶する記憶部と、制御部とを備える情報処理装置に実行させるためのプログラムであって、
前記制御部に、
各撮像装置から、複数の商品が陳列された棚が撮像された画像とともに撮像装置IDを取得し、
前記画像に含まれる商品ごとに、前記商品を認識し、
前記画像に含まれる商品ごとに、前記商品の配置位置を特定し、
認識された商品の商品識別情報と、特定された配置位置を示し、取得された撮像装置IDを含む位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定し、
前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得し、
取得された前記商品の位置情報を出力する、処理を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019006892A JP6847137B2 (ja) | 2019-01-18 | 2019-01-18 | 情報処理装置、棚管理システム、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019006892A JP6847137B2 (ja) | 2019-01-18 | 2019-01-18 | 情報処理装置、棚管理システム、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119000A JP2020119000A (ja) | 2020-08-06 |
JP6847137B2 true JP6847137B2 (ja) | 2021-03-24 |
Family
ID=71890740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019006892A Active JP6847137B2 (ja) | 2019-01-18 | 2019-01-18 | 情報処理装置、棚管理システム、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6847137B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7360660B1 (ja) | 2022-09-09 | 2023-10-13 | 株式会社マーケットヴィジョン | 情報処理システム |
JP7515196B2 (ja) | 2022-10-14 | 2024-07-12 | 香港商圓美智能科技有限公司 | スマート商品棚管理システム及びその稼働方法 |
JP2024106436A (ja) * | 2023-01-27 | 2024-08-08 | パナソニックIpマネジメント株式会社 | 売場管理システムおよび売場管理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6269851B2 (ja) * | 2014-09-30 | 2018-01-31 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
WO2016199405A1 (ja) * | 2015-06-09 | 2016-12-15 | 日本電気株式会社 | 棚割支援装置、棚割支援システム、棚割支援方法、および、記録媒体 |
US9864969B2 (en) * | 2015-06-26 | 2018-01-09 | Toshiba Tec Kabushiki Kaisha | Image processing apparatus for generating map of differences between an image and a layout plan |
JP2017097644A (ja) * | 2015-11-25 | 2017-06-01 | 株式会社日立システムズ | 商品情報収集装置、商品情報管理システムおよび商品情報管理方法 |
WO2017163879A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 行動分析装置、行動分析システム、行動分析方法及びプログラム |
JP6956485B2 (ja) * | 2016-12-09 | 2021-11-02 | 東芝テック株式会社 | 表示制御装置及びプログラム |
US20180232686A1 (en) * | 2017-02-16 | 2018-08-16 | Toshiba Tec Kabushiki Kaisha | Article management apparatus and article management method |
JP6996093B2 (ja) * | 2017-03-13 | 2022-01-17 | 日本電気株式会社 | 管理装置、管理方法及びプログラム |
JP6440043B1 (ja) * | 2017-06-27 | 2018-12-19 | 株式会社マーケットヴィジョン | 商品特定システム |
JP6376582B1 (ja) * | 2018-01-19 | 2018-08-22 | 株式会社 テクノミライ | デジタルセールス・プロフィットシステム、方法及びプログラム |
-
2019
- 2019-01-18 JP JP2019006892A patent/JP6847137B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020119000A (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5201905B2 (ja) | 商品情報表示システム | |
JP6847137B2 (ja) | 情報処理装置、棚管理システム、情報処理方法、及びプログラム | |
JP7243627B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
JP6202216B2 (ja) | 情報処理装置、棚札管理システム、制御方法、及びプログラム | |
US20160350709A1 (en) | System and method for inventory management | |
JP6484956B2 (ja) | 陳列状況管理方法、陳列状況管理プログラムおよび情報処理装置 | |
WO2016148027A1 (ja) | 情報処理装置、発注支援方法及び支援方法 | |
JP6277251B1 (ja) | 管理装置、管理システム、及びプログラム | |
US20170091705A1 (en) | Method and apparatus for using label data to assist in performing a retail store function | |
WO2021039126A1 (ja) | 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム | |
JP2016192120A (ja) | 出荷作業支援方法、出荷作業支援装置および出荷作業支援プログラム | |
WO2019116620A1 (ja) | 処理装置、処理方法及びプログラム | |
WO2020195763A1 (ja) | 情報処理装置、情報処理方法と記録媒体 | |
JP2023139297A (ja) | 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム | |
JP5783154B2 (ja) | 顧客管理装置、顧客管理方法、及びプログラム | |
JP2019211908A (ja) | サーバ装置、及びプログラム | |
JP2018181238A (ja) | 在庫管理装置、在庫管理方法及びプログラム | |
JP2009245115A (ja) | 商品情報提供サーバ、及び商品情報提供システム | |
JP6711216B2 (ja) | 物品探索プログラム、物品探索方法、及び情報処理装置 | |
JP2021096695A (ja) | 情報処理システム、情報処理システムの制御方法及びプログラム | |
JP2015225505A (ja) | 情報検索端末及び情報検索システム | |
JP2019219861A (ja) | 物品のステータスを更新する装置、システム及び方法 | |
JP6734961B1 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP2013186484A (ja) | コーディネート支援装置、コーディネート支援プログラムおよびコーディネート支援システム | |
JP6796787B1 (ja) | 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6847137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |