JP7243627B2 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents
情報処理装置、情報処理システム、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7243627B2 JP7243627B2 JP2019544538A JP2019544538A JP7243627B2 JP 7243627 B2 JP7243627 B2 JP 7243627B2 JP 2019544538 A JP2019544538 A JP 2019544538A JP 2019544538 A JP2019544538 A JP 2019544538A JP 7243627 B2 JP7243627 B2 JP 7243627B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- information
- display information
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 145
- 238000000034 method Methods 0.000 title claims description 41
- 238000010191 image analysis Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Display Racks (AREA)
Description
携帯端末は、商品棚が撮像されている棚画像を情報処理装置に送信する。
情報処理装置は、1)送信された棚画像を受信し、その棚画像を画像解析して、商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、2)実陳列情報と、商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、3)比較情報を用いて、基準陳列情報が示す基準に合致しない商品と、基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す結果画像を生成し、携帯端末へ送信する生成手段と、を有する。
携帯端末は、結果画像を受信してディスプレイ装置に表示させる。
<概要>
図1は、実施形態1に係る情報処理装置(図2でその構成を例示する情報処理装置2000)の動作を概念的に例示する図である。ここで、図1を用いて説明する情報処理装置2000の動作は、情報処理装置2000の理解を容易にするための例示であり、情報処理装置2000の動作を限定するものではない。情報処理装置2000の動作の詳細やバリエーションについては後述する。
本実施形態の情報処理装置2000によれば、棚画像12が画像解析されることで生成される実陳列情報と、基準陳列情報とが比較されることにより、その結果を表す比較情報が生成される。このように実陳列情報と基準陳列情報とを比較することにより、商品棚20における商品の陳列状況が基準に合致しているか否かを把握することができる。よって、商品の陳列状況が基準に合致しているか否かを人が目視で確認するケースと比較し、商品の陳列状況が基準に合致しているか否かを容易に把握することができる。
図2は、情報処理装置2000の機能構成を例示する図である。情報処理装置2000は、画像解析部2020及び比較部2040を有する。画像解析部2020は、棚画像12を画像解析することで、実陳列情報を生成する。比較部2040は、実陳列情報と基準陳列情報とを比較することで、比較情報を生成する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
カメラ10は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えばカメラ10は、スマートフォンやタブレット端末などに設けられているカメラである。
例えば情報処理装置2000のユーザは、携帯端末を介して情報処理装置2000を利用する。情報処理装置2000のユーザは、例えばラウンダーなど、商品の陳列状況をチェックする作業を行う人である。図4は、情報処理装置2000の利用形態を例示する図である。図4では、情報処理装置2000と携帯端末3000により、情報処理システム4000が構成されている。携帯端末3000は、ユーザによって利用される携帯端末である。情報処理装置2000は、例えばサーバ装置として実現される。
図5は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。画像解析部2020は、棚画像12を取得する(S102)。画像解析部2020は、棚画像12を画像解析することで、実陳列情報を生成する(S104)。比較部2040は基準陳列情報を取得する(S106)。比較部2040は、実陳列情報と基準陳列情報とを比較することで、比較情報を生成する(S108)。
画像解析部2020が棚画像12を取得する方法は任意である。例えば画像解析部2020は、前述した携帯端末3000によって送信されるリクエストに含まれる棚画像12を取得する。その他にも例えば、画像解析部2020は、棚画像12を指定するユーザ操作を受け付けたことに応じて、指定された棚画像12が記憶されている記憶装置にアクセスして、その棚画像12を取得してもよい。
情報処理装置2000は、取得した棚画像12に含まれる商品棚20が、店舗等に設置されているどの商品棚であるのかを特定する必要がある。例えば情報処理装置2000は、棚画像12を取得する際に、その棚画像12に含まれる商品棚20を特定する識別子も取得するようにする。
画像解析部2020は、棚画像12を画像解析することで、実陳列情報を生成する(S104)。以下、実陳列情報に含める情報について説明する。
実陳列情報は、商品棚20に陳列されている各商品の識別情報を含む。例えば商品の識別情報は、商品名や、JAN(Japanese Article Number)コードなどの識別子である。以下では、特に断らない限り、商品の識別情報として商品名が使用されることを前提として説明を行う。後述する基準陳列情報においても同様である。
その他にも例えば、実陳列情報は、商品が属するグループの名称を示す。商品が属するグループは、例えば前述した商品名と同様に、商品データベースから取得することができる。なお、グループ名の代わりに、メーカの識別子など、メーカを識別できる任意の情報を利用することもできる。後述する基準陳列情報においても同様である。
その他にも例えば、実陳列情報は、商品のメーカを示す。商品のメーカは、例えば前述した商品名と同様に、商品データベースから取得することができる。なお、メーカ名の代わりに、メーカの識別子など、メーカを識別できる任意の情報を利用することもできる。後述する基準陳列情報においても同様である。
その他にも例えば、実陳列情報は、商品の商品棚20における位置を示す。商品の位置は、例えば、段方向の位置(例えば、最上段から何段目に位置するか)と、列方向の位置(例えば、左端の列から何列目に位置するか)との組み合わせで表される。ここで、商品棚が含まれる画像から各商品の位置を特定する技術には、既存の技術を利用することができる。
その他にも例えば、実陳列情報は、商品のフェイス数を示す。なお、商品棚20において、同一の商品が離れて陳列されることもありうる。図6は、同一の商品が離れて陳列されているケースを例示する図である。図6において、商品Aは、エリア70-1とエリア70-2とに分けて配置されている。エリア70-1におけるフェイス数は2であり、エリア70-2におけるフェイス数は3である。
図7は、実陳列情報の構成を例示する図である。図7の陳列情報を、テーブル400と表記する。テーブル400は、商品402、グループ404、メーカ406、位置408、及びフェイス数410という列を有する。
前述したように、基準陳列情報は、商品棚20における商品の陳列の基準を表す。以下、基準陳列情報に示される情報について説明する。
例えば基準陳列情報は、商品棚20に陳列されるべき各商品の識別情報(商品名や JAN コードなど)を示す。以下の説明では、特に断らない限り、基準陳列情報が示す商品の識別情報は商品名であるとする。
その他にも例えば、基準陳列情報は、商品棚20において各商品が置かれるべき位置を示す。基準陳列情報が示す商品の位置は、例えば、段方向の位置と列方向の位置との組み合わせで表される。この場合、基準陳列情報は、商品の段方向の位置及び列方向の位置の双方が、基準陳列情報によって示される位置となるべきことを示している。
その他にも例えば、基準陳列情報は、商品のフェイス数を示す。例えば、基準陳列情報が商品Aのフェイス数として5を示している場合、商品Aは、フェイス数が5となるように陳列されるべきことを示している。
その他にも例えば、基準陳列情報は、或る商品について、その商品がまとめて配置されるべきこと(並列要求)を示していてもよい。言い換えれば、並列要求が基準陳列情報に示されている商品は、図6で例示したように複数のエリアに分かれて配置されてはいけないことを意味する。
その他にも例えば、基準陳列情報は、複数の商品間の配置関係についての要求(以下、配列要求)を示してもよい。例えば、配列要求は、「商品Aと商品Bを互いに隣接させて配置する」という要求である。例えば基準陳列情報が、商品Aと商品Bについて、位置を示さずに配列要求を示しているとする。この場合、商品Aと商品Bは、互いに隣接している限り、商品棚20の任意の位置に配置してよいこととなる。
その他にも例えば、基準陳列情報は、各商品について、その商品に基準陳列情報が適用される期間を示してもよい。例えば基準陳列情報が、商品Aについて、「2017/10/01 から 2017/10/31」という適用期間を示している場合、基準陳列情報が示す商品Aについての情報(例えば位置など)は、上記適用期間内において守るべき必要があることを意味する。なお、適用期間は、商品毎ではなく、商品のグループや、基準陳列情報全体について定められていてもよい。
図8は、基準陳列情報の構成を例示する図である。図8のテーブルを、テーブル500と表記する。テーブル500は、商品502、グループ504、メーカ506、位置508、フェイス数510、並列要求512、配列要求514、及び適用期間516、という列を有している。
情報処理装置2000が基準陳列情報を取得する方法は様々である。例えば、情報処理装置2000からアクセス可能な記憶装置に、基準陳列情報を予め記憶させておく。この場合、情報処理装置2000は、この記憶装置にアクセスすることで、基準陳列情報を取得する。この際、情報処理装置2000は、処理対象とする商品棚20の識別子を用いて、その商品棚20に関する基準陳列情報を取得する。また、特定のメーカの基準陳列情報を取得する場合、情報処理装置2000は、上述の方法で取得したメーカ名等を用いて、特定のメーカの基準陳列情報を取得する。
比較部2040は、実陳列情報と基準陳列情報とを比較し、その比較結果を表す比較情報を生成する(S108)。そのために、比較部2040は、基準陳列情報が示す各基準(商品、商品のグループ、又はメーカについての各基準)が、実陳列情報において満たされているか否かの判定を行う。
基準陳列情報が、商品棚20に陳列されるべき商品の商品名、各商品の位置、各商品のフェイス数などといった複数の項目について基準を示しているとする。この場合、比較部2040は、基準陳列情報に示されている項目全てについて実陳列情報と基準陳列情報とを比較してもよいし、一部の項目について実陳列情報と基準陳列情報とを比較してもよい。後者の場合、例えばユーザによる入力操作により、比較する項目が指定される。
比較部2040は、実陳列情報によって表される商品の陳列状況が基準陳列情報に示される基準と合致している度合いを表す指標値を算出してよい。この指標値を合致率と呼ぶ。例えば合致率は、「商品棚20に陳列されている、基準陳列情報に示される基準と合致している商品の数」を、「その商品棚20に陳列すべき商品の総数」で割った値として定義することができる。以下の数式(1)は、この定義を表している。ここで、「或る商品が基準に合致している」とは、実陳列情報が示すその商品の情報が、基準陳列情報が示す全ての基準(位置やフェイス数など)に合致していることを意味する。
前述したように、情報処理装置2000は、棚画像12に含まれる商品棚20を特定するために、商品棚20の識別子を取得する。そして、情報処理装置2000は、その識別子で特定される商品棚20についての基準陳列情報を取得する。ここで仮に、棚画像12に含まれる商品棚20とは別の商品棚20の識別子を情報処理装置2000が取得してしまうと、情報処理装置2000は、棚画像12に含まれる商品棚20の陳列状況と、他の商品棚20についての基準陳列情報とを比較してしまう。そのため、この場合に算出される棚別合致率は、低くなる蓋然性が高い。
図10は、実施形態2の情報処理装置2000の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
結果画像が表示されるディスプレイ装置は、任意のディスプレイ装置とすることができる。例えばディスプレイ装置は、情報処理装置2000に接続されているディスプレイ装置や携帯端末3000のディスプレイ装置などである。その他にも例えば、ディスプレイ装置は、商品棚20が設置されている店舗のスタッフルームなどに設置されている端末や、その店舗を運営する会社のオフィスに設置されている端末に接続されているディスプレイ装置であってもよい。その他にも例えば、或るメーカのラウンダーなどが、商品棚20においてそのメーカの商品が正しく陳列されているかを調べるために、情報処理装置2000を利用するとする。この場合、結果画像が表示されるディスプレイ装置は、そのメーカのオフィスなどに設置されている端末に接続されているディスプレイ装置であってもよい。なお、スタッフルームやオフィスに設置されている端末は、例えば PC である。
結果画像の具体的な内容は様々である。以下、結果画像のバリエーションについて例示する。
結果画像80を表示させるディスプレイ装置が情報処理装置2000以外の端末に接続されている場合、結果画像80に対する入力操作はその端末によって検出される。例えば結果画像80が、携帯端末3000のディスプレイ装置に表示される場合、結果画像80に対する入力操作は携帯端末3000によって検出される。
棚画像12の一部が不鮮明などの理由から、棚画像12に含まれる商品の一部を認識できないことがありうる。この場合、実陳列情報は、特定できない何らかの商品(不明商品)が置かれている位置を示してもよい。
結果画像80は、基準陳列情報が示す基準に合致しない部分について、基準陳列情報が示す基準を表す情報(すなわち、どのように陳列状況を修正すれば基準に合致するかを表す情報)を含んでもよい。以下、この情報を修正情報と呼ぶ。
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
1. 商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、を有する情報処理装置。
2. 前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記画像解析手段は、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、1.に記載の情報処理装置。
3. 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも1つを示す、2.に記載の情報処理装置。
4. 前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、1.乃至3.いずれか一つに記載の情報処理装置。
5. 前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、1.乃至3.いずれか一つに記載の情報処理装置。
6. 前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成手段を有する、請求項1乃至5いずれか一項に記載の情報処理装置。
7. 前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、6.に記載の情報処理装置。
8. 前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、6.又は7.に記載の情報処理装置。
前記携帯端末は、商品棚が撮像されている棚画像を前記情報処理装置に送信し、
前記情報処理装置は、
前記送信された棚画像を受信し、その棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成し、前記携帯端末へ送信する生成手段と、を有し、
前記携帯端末は、前記結果画像を受信してディスプレイ装置に表示させる、情報処理システム。
10. 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも1つを示す前記実陳列情報を生成する、9.に記載の情報処理システム。
11. 前記基準陳列情報は、前記商品棚における前記商品の陳列位置、フェイス数、又は他の商品との配置関係を示す、10.に記載の情報処理システム。
12. 前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、9.乃至11.いずれか一つに記載の情報処理システム。
13. 前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、9.乃至11.いずれか一つに記載の情報処理システム。
14. 前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、9.乃至13.いずれか一つに記載の情報処理システム。
15. 前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、9.乃至14.いずれか一つに記載の情報処理システム。
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、を有する制御方法。
17. 前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記画像解析ステップにおいて、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、16.に記載の制御方法。
18. 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも1つを示す、17.に記載の制御方法。
19. 前記比較ステップにおいて、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、16.乃至18.いずれか一つに記載の制御方法。
20. 前記比較ステップにおいて、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、16.乃至18.いずれか一つに記載の制御方法。
21. 前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成ステップを有する、16.乃至20.いずれか一項に記載の制御方法。
22. 前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、21.に記載の制御方法。
23. 前記生成ステップにおいて、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、21.又は22.に記載の制御方法。
Claims (9)
- 商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成手段と、を有し、
前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記画像解析手段は、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成し、
前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表し、
前記生成手段は、前記結果画像において、
棚画像に、前記比較の結果を示す重畳データを重畳させ、
前記基準陳列情報が示す基準に合致する商品の画像領域と、前記基準陳列情報が示す基準に合致しない商品の画像領域と、商品が陳列されていない画像領域のうち、前記基準陳列情報によれば商品が陳列されるべきである位置を表す画像領域と、にそれぞれ異なる模様または異なる色の前記重畳データを、前記棚画像に重畳させる、情報処理装置。 - 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも1つを示す、請求項1に記載の情報処理装置。
- 前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項1または2に記載の情報処理装置。
- 前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、請求項1または2に記載の情報処理装置。
- 前記結果画像は、さらに、前記合致率を表す文字列を含む、請求項3または4に記載の情報処理装置。
- 前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、請求項1に記載の情報処理装置。
- 情報処理装置及び携帯端末を有する情報処理システムであって、
前記携帯端末は、商品棚が撮像されている棚画像を前記情報処理装置に送信し、
前記情報処理装置は、
前記送信された棚画像を受信し、その棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成し、前記携帯端末へ送信する生成手段と、を有し、
前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記情報処理装置の前記画像解析手段は、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成し、
前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表し、
前記情報処理装置の前記生成手段は、前記結果画像において、
棚画像に、前記比較の結果を示す重畳データを重畳させ、
前記基準陳列情報が示す基準に合致する商品の画像領域と、前記基準陳列情報が示す基準に合致しない商品の画像領域と、商品が陳列されていない画像領域のうち、前記基準陳列情報によれば商品が陳列されるべきである位置を表す画像領域と、にそれぞれ異なる模様または異なる色の前記重畳データを、前記棚画像に重畳させ、当該結果画像を前記携帯端末へ送信し、
前記携帯端末は、前記結果画像を受信してディスプレイ装置に表示させる、情報処理システム。 - コンピュータによって実行される制御方法であって、
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成ステップと、を有し、
前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記画像解析ステップにおいて、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成し、
前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表し、
前記生成ステップにおいて、前記結果画像において、
棚画像に、前記比較の結果を示す重畳データを重畳させ、
前記基準陳列情報が示す基準に合致する商品の画像領域と、前記基準陳列情報が示す基準に合致しない商品の画像領域と、商品が陳列されていない画像領域のうち、前記基準陳列情報によれば商品が陳列されるべきである位置を表す画像領域と、にそれぞれ異なる模様または異なる色の前記重畳データを、前記棚画像に重畳させる、制御方法。 - 請求項8に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023004493A JP7416292B2 (ja) | 2017-09-29 | 2023-01-16 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2023212804A JP2024019591A (ja) | 2017-09-29 | 2023-12-18 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017191790 | 2017-09-29 | ||
JP2017191790 | 2017-09-29 | ||
PCT/JP2018/033600 WO2019065212A1 (ja) | 2017-09-29 | 2018-09-11 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023004493A Division JP7416292B2 (ja) | 2017-09-29 | 2023-01-16 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019065212A1 JPWO2019065212A1 (ja) | 2020-10-22 |
JP7243627B2 true JP7243627B2 (ja) | 2023-03-22 |
Family
ID=65901825
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544538A Active JP7243627B2 (ja) | 2017-09-29 | 2018-09-11 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2023004493A Active JP7416292B2 (ja) | 2017-09-29 | 2023-01-16 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2023212804A Pending JP2024019591A (ja) | 2017-09-29 | 2023-12-18 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023004493A Active JP7416292B2 (ja) | 2017-09-29 | 2023-01-16 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2023212804A Pending JP2024019591A (ja) | 2017-09-29 | 2023-12-18 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (5) | US11531960B2 (ja) |
JP (3) | JP7243627B2 (ja) |
WO (1) | WO2019065212A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10846561B1 (en) * | 2020-04-01 | 2020-11-24 | Scandit Ag | Recognition and selection of discrete patterns within a scene or image |
JP6665337B1 (ja) * | 2019-07-02 | 2020-03-13 | 株式会社スタディスト | メーカーが販売を希望する商品の販売促進作業を管理するための装置およびその装置において実行されるプログラム |
JP7405144B2 (ja) * | 2019-08-22 | 2023-12-26 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
JP6754987B1 (ja) * | 2019-08-29 | 2020-09-16 | パナソニックIpマネジメント株式会社 | 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム |
JP6899535B2 (ja) * | 2019-11-18 | 2021-07-07 | パナソニックIpマネジメント株式会社 | 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム |
JP2021009674A (ja) * | 2020-01-21 | 2021-01-28 | 株式会社スタディスト | メーカーが販売を希望する商品の販売促進作業を管理するための装置およびその装置において実行されるプログラム |
US11922271B1 (en) | 2020-05-15 | 2024-03-05 | Scandit Ag | Virtual screen standby mode for mobile device camera |
JP7464129B2 (ja) * | 2020-07-31 | 2024-04-09 | 日本電気株式会社 | 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム |
JP7533615B2 (ja) | 2020-11-11 | 2024-08-14 | 日本電気株式会社 | 表示制御装置、表示制御方法、及びプログラム |
US11495036B1 (en) | 2021-01-29 | 2022-11-08 | Scandit Ag | Segmenting images for optical character recognition |
JP2021082364A (ja) * | 2021-03-05 | 2021-05-27 | パナソニックIpマネジメント株式会社 | 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074014A (ja) | 2010-08-31 | 2012-04-12 | Ns Solutions Corp | 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム |
JP2014002722A (ja) | 2012-05-11 | 2014-01-09 | Dassault Systemes | 買い物経験における仮想イメージと現実イメージとの比較 |
WO2014087725A1 (ja) | 2012-12-04 | 2014-06-12 | 日本電気株式会社 | 商品情報処理装置、そのデータ処理方法、およびプログラム |
WO2016117600A1 (ja) | 2015-01-22 | 2016-07-28 | 日本電気株式会社 | 商品棚割管理装置及び商品棚割管理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9361729B2 (en) * | 2010-06-17 | 2016-06-07 | Microsoft Technology Licensing, Llc | Techniques to present location information for social networks using augmented reality |
US9626798B2 (en) | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
US9026631B2 (en) * | 2012-01-24 | 2015-05-05 | International Business Machines Corporation | Business-to-business social network |
DE102012110504B4 (de) | 2012-11-02 | 2019-09-12 | Snaptrack, Inc. | Elektroakustisches Filter mit Tiefpasscharakteristik |
JP5881022B1 (ja) * | 2014-09-11 | 2016-03-09 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
JP6269851B2 (ja) | 2014-09-30 | 2018-01-31 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US9536167B2 (en) | 2014-12-10 | 2017-01-03 | Ricoh Co., Ltd. | Realogram scene analysis of images: multiples for scene analysis |
WO2017210419A1 (en) | 2016-06-03 | 2017-12-07 | Magic Leaf, Inc. | Augmented reality identity verification |
-
2018
- 2018-09-11 JP JP2019544538A patent/JP7243627B2/ja active Active
- 2018-09-11 WO PCT/JP2018/033600 patent/WO2019065212A1/ja active Application Filing
- 2018-09-11 US US16/651,762 patent/US11531960B2/en active Active
-
2022
- 2022-11-14 US US17/986,038 patent/US12014324B2/en active Active
-
2023
- 2023-01-16 JP JP2023004493A patent/JP7416292B2/ja active Active
- 2023-08-01 US US18/229,022 patent/US20230376894A1/en active Pending
- 2023-08-01 US US18/228,975 patent/US20240020635A1/en active Pending
- 2023-08-02 US US18/229,324 patent/US20230376895A1/en active Pending
- 2023-12-18 JP JP2023212804A patent/JP2024019591A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074014A (ja) | 2010-08-31 | 2012-04-12 | Ns Solutions Corp | 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム |
JP2014002722A (ja) | 2012-05-11 | 2014-01-09 | Dassault Systemes | 買い物経験における仮想イメージと現実イメージとの比較 |
WO2014087725A1 (ja) | 2012-12-04 | 2014-06-12 | 日本電気株式会社 | 商品情報処理装置、そのデータ処理方法、およびプログラム |
WO2016117600A1 (ja) | 2015-01-22 | 2016-07-28 | 日本電気株式会社 | 商品棚割管理装置及び商品棚割管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024019591A (ja) | 2024-02-09 |
US12014324B2 (en) | 2024-06-18 |
JP2023029656A (ja) | 2023-03-03 |
US11531960B2 (en) | 2022-12-20 |
US20230074521A1 (en) | 2023-03-09 |
WO2019065212A1 (ja) | 2019-04-04 |
JP7416292B2 (ja) | 2024-01-17 |
US20240020635A1 (en) | 2024-01-18 |
JPWO2019065212A1 (ja) | 2020-10-22 |
US20230376894A1 (en) | 2023-11-23 |
US20200258033A1 (en) | 2020-08-13 |
US20230376895A1 (en) | 2023-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7243627B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
US20230394428A1 (en) | Information processing apparatus, control method, and program | |
US10116861B1 (en) | Guided image capture user interface | |
JP6202215B2 (ja) | 情報処理装置、棚札管理システム、制御方法、及びプログラム | |
WO2020061939A1 (zh) | 识别设备的方法、装置、系统、存储介质、处理器和终端 | |
EP3182349A2 (en) | Planogram matching | |
US9031872B1 (en) | Digital sign with incorrectly stocked item identification | |
JP6395012B1 (ja) | コンピュータプログラム | |
KR102319893B1 (ko) | 재고 파악 방법 및 시스템 | |
JP7259754B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6847137B2 (ja) | 情報処理装置、棚管理システム、情報処理方法、及びプログラム | |
US20230306741A1 (en) | Product detection device, product detection method, and recording medium | |
US10275439B2 (en) | Information processing device, display method and control program | |
JP2012208811A (ja) | 商品検索システム | |
JP2018169732A (ja) | 情報処理システム及びプログラム | |
JP2018073226A (ja) | 情報処理システム、代替物取得支援方法、データベース作成装置、情報処理装置、情報処理方法および情報処理プログラム | |
JP6491124B2 (ja) | 熟読率計測システム、方法及びプログラム | |
US20230385895A1 (en) | Display control apparatus, display control method, and non-transitory computer-readable medium | |
WO2021117625A1 (ja) | 表示制御装置、制御方法、及びプログラム | |
JP6702434B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP4819546B2 (ja) | 情報提供装置、方法、およびプログラム | |
CN115222466A (zh) | 一种商品及其图片的关联方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230116 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230123 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7243627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |