JP7476967B2 - 学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム - Google Patents

学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム Download PDF

Info

Publication number
JP7476967B2
JP7476967B2 JP2022539961A JP2022539961A JP7476967B2 JP 7476967 B2 JP7476967 B2 JP 7476967B2 JP 2022539961 A JP2022539961 A JP 2022539961A JP 2022539961 A JP2022539961 A JP 2022539961A JP 7476967 B2 JP7476967 B2 JP 7476967B2
Authority
JP
Japan
Prior art keywords
shelf
product
image
learning data
data generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539961A
Other languages
English (en)
Other versions
JPWO2022024366A5 (ja
JPWO2022024366A1 (ja
Inventor
莉奈 富田
裕司 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022024366A1 publication Critical patent/JPWO2022024366A1/ja
Publication of JPWO2022024366A5 publication Critical patent/JPWO2022024366A5/ja
Application granted granted Critical
Publication of JP7476967B2 publication Critical patent/JP7476967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、学習データ生成装置、学習データ生成方法、学習データ生成システムおよび学習データ生成プログラムに関する。
現在、人手不足による店舗従業員の確保の問題は深刻さを増している。そのような環境の中で、商品の在庫管理、陳列棚の商品補充作業などを省力化し、従業員の負担を軽減するための技術の開発が望まれている。
店舗において、商品棚等に陳列された商品の欠品および陳列乱れを検知するために、陳列された商品の画像を学習させた学習モデルを用いて検知する手法が知られている。
尚、商品の欠品や陳列乱れを検知する学習モデルを生成するには、大量の商品画像（教師データ）が必要となるが、質の良い教師データを大量に入手するのは困難である。
特許文献1は、機械学習を用いた画像解析システムにおいて、背景画像と物体画像を合成して学習用の画像を生成する手法について開示する。
特許文献２は、ベクトルモデルや３Ｄモデル等のデータから機械学習訓練用の画像を、ニューラルネットワークを用いて生成する手法について開示する。
特開２０１４－１７８９５７号公報 特開２０１９－１５９６３０号公報
しかしながら、特許文献１および２は、店舗における商品の欠品や陳列乱れの検知のための技術を開示しない。店舗における商品の画像データを取得するには、店舗毎に撮影条件を設定する必要がある。例えば、ある特定の商品の画像を撮影するにおいても、店舗毎に、使用する棚が異なったり、棚は同じでも陳列する際の商品の向きや陳列の手法が異なったりする。よって、一か所で撮影された画像を学習データとして学習モデルを学習させると、各店舗における商品の欠品や陳列乱れの検知において、誤認識が発生しやすく、検知精度が落ちる。また、質の良い学習用画像を、店舗毎に大量にかつ効率よく撮影することは困難である。
本開示の目的の１つは、上記の課題を解決し、店舗において商品を検知するための学習モデルの学習にあたり、商品の誤認識を防止する学習データを生成する技術を提供することである。
本開示の一態様における学習データ生成装置は、
商品を陳列する棚の一区画である棚画像を取得する棚画像取得部と、
前記棚に陳列される商品の商品画像を取得する商品画像取得部と、
前記棚画像と前記商品画像とを合成して学習データを生成する合成部と、を備え、
前記合成部は、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する。
本開示の一態様における学習データ生成システムは、
上記に記載の学習データ生成装置と、
前記棚画像を撮影し、前記学習データ生成装置に向けて送信する第１カメラと、
前記商品画像を撮影し、前記学習データ生成装置に向けて送信する第２カメラと
を備える。
本開示の一態様における学習データ生成方法は、
商品を陳列する棚の一区画である棚画像を取得し、
前記棚に陳列される商品の商品画像を取得し、
前記棚画像と前記商品画像とを合成して学習データを生成すること、を備え、
前記合成においては、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する。
本開示の一態様における学習データ生成プログラムは、
商品を陳列する棚の一区画である棚画像を取得し、
前記棚に陳列される商品の商品画像を取得し、
前記棚画像と前記商品画像とを合成して学習データを生成すること、を備え、
前記合成においては、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する
ことをコンピュータに実現させる。
プログラムは非一時的なコンピュータ読み取り可能な記録媒体に格納されていてもよい。
なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
また、本開示の各種の構成要素は、必ずしも個々に独立した存在である必要はない。複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
また、本開示の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本開示の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
さらに、本開示の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生してもよい。ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複してもよい。
さらに、本開示の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生してもよい。ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複してもよい。
本開示の効果は、店舗において商品を検知するための学習モデルの学習にあたり、商品の誤認識を防止する学習データを生成できることである。
本開示の第１実施形態に係る学習データ生成システムの構成例を概念的に示すブロック図である。 本開示の第１実施形態に係る学習データ生成装置および学習装置の内部構成例を示す図である。 棚画像情報のデータ構造の一例を示す図である。 棚画像の一例を示す図である。ある。 陳列棚画像の一例を示す図である。 陳列棚画像の一例を示す図である。 商品画像情報のデータ構造の一例を示す図である。 商品画像の一例を示す図である。 複数の角度から撮影された商品画像の例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 仕切りに沿って陳列される商品の一例を示す図である。 本開示の第１実施形態に係る学習データ生成装置の動作の一例を示すフローチャートである。 本開示の第２実施形態に係る学習データ生成システムの構成例を示すブロック図である。 配置パターンの一例を示す図である。 本開示の第２実施形態に係る学習データ生成装置の動作の一例を示すフローチャートである。 本開示の第３実施形態に係る学習データ生成装置の構成例を示すブロック図である。 学習データ生成システムの各装置を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本開示の本質に関わらない部分の構成については省略してあり、図示されていない。
実施形態において「取得」とは、自装置が他の装置や記録媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力されること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記録媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
＜第１実施形態＞
（学習データ生成システム）
図１は、本開示の第１実施形態に係る学習データ生成システム１００の構成例を概念的に示すブロック図である。学習データ生成システム１００は、学習データ生成装置１と、学習装置２と、カメラ３、４と、を含む。カメラ３およびカメラ４と学習データ生成装置１との間は通信ネットワーク５を介して接続されてもよい。学習データ生成装置１と学習装置２とは同じハードウェアに備えられてもよいし、別のハードウェアとして存在してもよい。カメラ３、４は同一のカメラであってもよいし、更に多くのカメラを使用してもよい。
カメラ３（第１カメラとも称呼する）は、店舗毎に備えられる、商品棚を撮影するためのカメラである。カメラ３は魚眼レンズを備えた広域を撮影するカメラであってもよい。カメラ３は店舗内を移動する機構を備えたカメラでもよい。カメラ３は、店舗の店員が所持するカメラであってもよい。カメラ３は商品棚の一区画である棚画像を撮影する（図１参照）。
カメラ４（第２カメラとも称呼する）は、商品の画像を撮影するためのカメラである。カメラ４は、特定の撮影場所において、まとめて商品の撮影を行ってもよいし、店舗毎に商品の撮影を行ってもよい。カメラ４は、店舗の店員が所持するカメラであってもよい。
学習データ生成システム１００の動作について説明する。カメラ３が撮影した商品棚の棚画像、カメラ４が撮影した商品画像は、学習データ生成装置１に送られる。学習データ生成装置１は棚画像と商品画像とを合成して、学習データを生成する。学習装置２は学習モデルを備え、生成された学習データを学習モデルに学習させる。学習モデルは、商品の欠品、陳列乱れなどの検知を行うための学習を行う。
（学習データ生成装置）
次に、図２を参照して学習データ生成装置１および学習装置２の内部構造について説明する。
学習データ生成装置１は、棚画像取得部１１、商品画像取得部１２、棚画像記憶部１３、商品画像記憶部１４、合成部１５および合成画像記憶部１６を備えている。
棚画像取得部１１は、カメラ３にて撮影された、商品を陳列するための商品棚の一区画である棚画像を取得する。具体的に、棚画像取得部１１は、カメラ３から取得された棚画像を取得すると、当該棚画像に関連する棚画像情報を生成し、棚画像と棚画像情報とを紐づけて棚画像記憶部１３に格納する。棚画像情報とは、例えば図３に示すように、棚画像ＩＤ（Identifier）、撮影日時、店舗名（店舗ＩＤ）、位置ＩＤ、仕切りの有無である。
棚画像ＩＤとは、棚画像をユニークに識別するための識別子である。例えば、撮影順の連番であってもよい。
撮影日時とは、カメラ３が当該棚画像を撮影した日時である。撮影日時はカメラ３のタイムスタンプ機能から取得してもよい。棚画像の撮影日時を含めることにより、合成部１５は合成のために棚画像を取得する際に最新の撮影日時の棚画像を選択できる。また合成部１５は、ある店舗で特定の期間に使用されていた棚画像を取得したい場合、当該撮影日時を基に、当該棚画像を取得することができる。
店舗名（店舗ＩＤ）とは、店舗名または店舗をユニークに識別するための識別子である。位置ＩＤとは、店舗内における棚画像の位置を特定するための識別子である。例えば、ある店舗に、１０個の棚（棚番号１-１０）があり、図４に示す棚が図６に示す商品棚（ホットショーケース。棚番号１とする）の右下の６番の位置に配置されるとする。この場合、位置ＩＤは「１（棚番号）－６（位置番号）」となる。
仕切りの有無とは、商品棚に陳列台を仕切るための仕切り（レールなど）が有る（図５参照）か、仕切りが無い（図６参照）かを示す情報である。具体例として仕切りの有無には、仕切りがあれば「１」、仕切りが無ければ「０」と入力される。尚、画像情報のうち撮影日時以外の情報は、棚画像取得部１１に予め設定されていてもよい。
商品画像取得部１２は、カメラ４にて撮影された、商品棚に陳列されるべき商品の商品画像を取得する。商品画像取得部１２は、商品画像を取得する際、当該商品画像に関連する商品画像情報（図７参照）を生成し、商品画像と商品画像情報とを紐づけて商品画像記憶部１４に格納する。
商品画像情報は、例えば図７に示すように、商品画像ＩＤ、商品名、撮影日時、向きおよび商品の形状を含む。商品画像ＩＤは、商品画像（図８参照）をユニークに識別するための識別子である。商品名は、商品の名称（例えば図８であればハッシュドポテト）である。撮影日時は当該商品画像を撮影した日時である。向きは、商品が撮影された配置（例えば図８であれば真上から見た横置きの配置）である。例えば図９に示すように、斜め配置、縦置き配置、斜めの２つ重ね置き配置などを含めてよい。商品の形状は、商品がどの陳列に適した形状かを示す情報である。
商品の形状としては、形が明確なもの（形がかわりにくいもの）と、形状があいまいなもの（形が変わりやすいもの）を含む。形が明確なもの、例えば表面が硬い商品（缶ジュース等）は列状に配置するほうが好ましいため、商品の形状としては、例えば「硬い＿列状配置」と記載される。形があいまいなもの、例えば崩れないように空気入りでパッキング包装された商品（生菓子等）はランダム配置が好ましいため、商品の形状としては、例えば「柔らかい＿ランダム配置」と記載される。この他、商品を積み重ねて陳列することが可能を示す情報を記載してもよい。尚、商品画像情報のうち、撮影日時はカメラ４のタイムスタンプ機能から取得し、他の情報は設計者が画像撮影する際に手入力してよい。
棚画像記憶部１３は、棚画像取得部１１から取得する棚画像および棚画像情報を格納する。
商品画像記憶部１４は、商品画像取得部１２から取得する商品画像および商品画像情報を格納する。
合成部１５は、ある店舗における学習データを合成する際、当該店舗の識別子（店舗名および店舗ＩＤの少なくとも片方）に紐づけられた棚画像を棚画像記憶部１３から取得する。合成部１５は、棚画像と商品画像とを合成して学習データを生成する。合成部１５は、商品棚の形状および商品の形状の少なくとも一方に応じて、商品画像の陳列を異ならせて棚画像に合成する。
商品棚の形状は、前記商品を陳列させるための凹凸を有する凹凸の形状と、平面の形状とを含む。当該凹凸とは、例えば、陳列のための仕切り（例えばレール）である。具体例として、図５に示す商品棚（冷蔵ショーケース）には商品陳列のための仕切りがある。尚、図６に示す商品棚（ホットショーケース）には商品陳列のための仕切りが無く、平面の形状である。
商品の形状は、商品画像情報（図７）に含まれる情報であり、形が明確なもの（例えば表面が硬い商品缶ジュースなど）と、形状があいまいなもの（例えば空気入りでパッキング包装された商品生菓子など）を含む。形が明確なものは、列状に配置するほうが好ましい。形があいまいなものは、ランダム配置が好ましい。
合成部１５は、商品棚の形状または商品の形状の少なくとも一方に応じて、商品画像の陳列を異ならせて棚画像に合成する。例えば棚台に、当該凹凸（仕切り）を備える棚（図５参照）や、商品の形状が明確なもの（図７参照）については、合成部１５は、仕切りに沿って列状に配置される商品画像を合成する。例えば棚台に当該仕切りを備えない平面の棚（図６参照）や、商品の形状があいまいなもの（図７参照）については、合成部１５は、棚画像にランダムに配置される商品画像を合成する。合成部１５は、棚画像情報（図３）および商品画像情報（図７）を取得することにより、仕切りの有無や商品の形状を判断する。
例えば、商品「ハッシュドポテト」を、商品棚（図５のホットショーケース参照）に陳列した画像を合成するとする。この場合、合成部１５は棚画像記憶部１３から当該商品棚の棚画像（図４参照）と棚画像情報を、商品画像記憶部１４からハッシュドポテトの商品画像と商品画像情報を取得する。
合成部１５は、当該棚画像情報の内、仕切りの有無が「０（無）」であると、商品画像を棚画像上にランダムに配置して重畳する。例えば、図１０は、合成部１５が棚画像に商品画像一つを重畳した合成画面であり、図１１は、合成部１５が、棚画像に商品画像２つをランダムに重畳した合成画面である。
合成部１５は、当該棚画像情報の内、仕切りの有無が「１（有）」であると、商品画像を棚画像に規則的に、例えば列状に、配置する。例えば、図１２は、合成部１５が棚画像に商品画像４つを手前から奥に一列に並べて重畳した合成画面である。
尚、合成部１５は、取得した商品画像情報に含まれる商品形状が「柔らかい＿ランダム配置」だった場合に、上記のように棚画像に商品画像をランダムに重畳して、合成画面を生成してもよい。合成部１５は、仕切りの有無および商品形状の両方を判断してから、合成のための陳列を決定してもよい。
合成画像記憶部１６は、合成部１５が生成した学習データを格納する。
学習装置２は、学習部２１および学習モデル記憶部２２を備えている。
学習部２１は、合成画像記憶部１６から学習データを取得し、学習モデル記憶部２２に格納される学習モデルに取得した学習データを用いて学習させる。
学習モデル記憶部２２は、学習モデルを格納する。学習モデルは店舗毎、商品毎、商品棚毎、またはこれらの組合せにより生成されて良い。
（学習データ生成装置の動作）
学習データ生成システム１００における学習データ生成装置１の動作を図１３に示すフローチャートを参照して説明する。尚、棚画像記憶部１３には予めカメラ３が撮影した各店舗の商品棚の商品画像が、商品画像記憶部１４には予めカメラ４が撮影した複数の商品の商品画像が格納されているものとする。また、以下の説明においては、店舗Ａにおける商品棚Ｂの棚画像Ｃに、特定の商品Ｄを合成した画像を生成するものとする。
まずステップＳ１０１において、合成部１５は棚画像を取得する。具体的に、合成部１５は、棚画像記憶部１３から、店舗Ａの店舗ＩＤ（例えば、Ａ）および商品棚Ｂ－棚画像Ｃの位置ＩＤ（例えば、Ｂ-Ｃ）を基に、該当する棚画像を取得する。
ステップＳ１０２において、合成部１５は、商品画像記憶部１４から、商品Ｄの商品ＩＤ（例えば、Ｄ）を基に商品Ｄの商品画像を取得する。このとき合成部１５は、商品Ｄの商品画像と共に、当該商品画像情報を取得する。
ステップＳ１０３において、合成部１５は、当該棚画像と当該商品画像とを合成して学習データを生成する。この際、合成部１５は、商品棚の形状および商品の形状の少なくとも一方に応じて、商品画像の陳列を異ならせて棚画像に合成する。具体的に合成部１５は、取得した商品画像情報に含まれる仕切りの有無を示す情報を基に、この棚画像に仕切りがあるか否かを判断する。仕切りが無いと判断された場合、合成部１５は、棚画像Ｃ上に商品Ｄの画像をランダムに並べて合成する（図１１参照）。仕切りが有ると判断された場合、合成部１５は、棚画像Ｃ上に商品Ｄの画像を列状（例えば、手前から奥まで一列）に並べて合成する（図１２参照）。合成部１５は、商品の形状を基に、商品をランダムに並べて合成するか、列状に並べて合成するかを決めてもよい。
ステップＳ１０４において、合成部１５は合成した画像を合成画像記憶部１６に格納する。
尚、この後、学習装置２の学習部２１は、適宜、合成画像記憶部１６に格納される合成画像を取得し、学習モデルに学習させる。
以上により、学習データ生成システム１００における学習データ生成装置１の動作を終了する。
（第１実施形態の効果）
本開示の第１実施形態によると、店舗において商品を検知するための学習モデルの学習にあたり、商品の誤認識を防止する学習データを生成できる。これは、棚画像取得部１１が商品を陳列する棚の一区画である棚画像を取得し、商品画像取得部１２が棚に陳列される商品の商品画像を取得し、合成部１５が棚画像と商品画像とを合成して学習データを生成し、合成部１５は、棚の形状および商品の形状の少なくとも一方に応じて、商品画像の陳列を異ならせて棚画像に合成するからである。
このように合成することにより、様々な陳列状態を実物の画像を用いて再現した大量の学習データを生成することができるため、画像認識精度を向上させることができる。
＜第２実施形態＞
第１実施形態においては、棚画像と商品画像の合成において、配置パターンについて触れていない。しかし、ある商品の陳列にはある程度の配置パターンがあるため、当該配置パターンに沿って合成を行った方が更に実践に即した学習データを生成することができる。よって第２実施形態においては、配置パターンを基に棚画像および商品画像を合成する手法について説明する。
（学習データ生成システム）
図１４は、本開示の第２実施形態に係る学習データ生成システム２００の構成例を概念的に示すブロック図である。学習データ生成システム２００は、第１実施形態と同様に、学習データ生成装置１ａと、学習装置２と、カメラ３、４と、を含む。
学習データ生成装置１ａは、棚画像取得部１１、商品画像取得部１２、棚画像記憶部１３、商品画像記憶部１４、合成部３５、パターン記憶部３７および合成画像記憶部１６を備えている。
パターン記憶部３７は、商品の配置のパターンを格納する。当該配置のパターンは、各店舗からアンケート回答などにて取得してもよいし、各店舗に設置されたカメラから陳列された商品画像を取得し、当該画像を機械学習して求めてもよい。配置のパターンとは、例えば、平置き、重ね置き、縦重ね、横重ね、斜め重ね、右詰め、左詰めなどであり、これらの組合せであってもよい。
合成部３５は、パターン記憶部３７に格納されるパターンを基に、棚画像と商品画像とを合成して学習データを生成する。ある店舗において、商品棚の形状が「仕切り無しのホットショーケース」で、当該商品棚内における商品「コロッケ」が「右に詰めて」「斜めに重ねる」パターンで陳列され、かつ、左側から商品が取られるとする。この場合、合成部３５は、この配置パターンをパターン記憶部３７から取得し、取得した配置パターンに従って、図１５に示すような棚画像および商品画像（左は商品数３個の画像、右は商品数２個の画像）を学習データとして合成する。これにより学習モデルの検知精度をより高めることができる。
その他の装置および部は第１実施形態と同様である。
（学習データ生成装置の動作）
学習データ生成システム２００における学習データ生成装置１ａの動作を図１６に示すフローチャートを参照して説明する。尚、棚画像記憶部１３には予めカメラ３が撮影した各店舗の商品棚の商品画像が、商品画像記憶部１４には予めカメラ４が撮影した複数の商品の商品画像が、パターン記憶部３７には各店舗における商品毎の配置パターンが格納されているものとする。以下の説明においては、店舗Ａにおける商品棚Ｂの棚画像Ｃに、特定の商品Ｄを合成した画像を生成するものとする。
まずステップＳ２０１において、合成部３５は棚画像を取得する。具体的に、合成部３５は、棚画像記憶部１３から、店舗Ａの店舗ＩＤ（例えば、Ａ）および商品棚Ｂ－棚画像Ｃの位置ＩＤ（例えば、Ｂ-Ｃ）を基に、該当する棚画像を取得する。
ステップＳ２０２において、合成部３５は、商品画像記憶部１４から、商品Ｄの商品ＩＤ（例えば、Ｄ）を基に商品Ｄの商品画像を取得する。このとき合成部３５は、商品Ｄの商品画像と共に、当該商品画像情報を取得する。
ステップＳ２０３において、合成部３５は、パターン記憶部３７から当該商品の配置パターンを取得する。合成部３５は、取得した棚画像の形状（例えば、仕切りの有無）および商品の形状の少なくとも片方と、取得した配置パターンとに従って、棚画像と商品画像とを合成し、学習データを生成する。
ステップＳ２０４において、合成部３５は合成した画像を合成画像記憶部１６に格納する。
尚、この後、学習装置２の学習部２１は、適宜、合成画像記憶部１６に格納される合成画像を取得し、学習モデルに学習させる。
以上により、学習データ生成システム２００における学習データ生成装置１ａの動作を終了する。
（第２実施形態の効果）
本開示の第２実施形態によると、店舗において商品を検知するための学習モデルの学習にあたり、商品の誤認識を防止する学習データを生成できる。これは、棚画像取得部１１が商品を陳列する棚の一区画である棚画像を取得し、商品画像取得部１２が棚に陳列される商品の商品画像を取得し、合成部３５が棚の形状および商品の形状の少なくとも片方とパターン記憶部３７に格納されるパターンとを基に、棚画像と商品画像とを合成して学習データを生成するからである。
＜第３実施形態＞
本開示の第３実施形態に係る学習データ生成装置４０について図１７を参照して説明する。学習データ生成装置４０は、第１実施形態および第２実施形態の最小構成態様である。学習データ生成装置４０は、棚画像取得部４１、商品画像取得部４２および合成部４３を備える。
棚画像取得部４１は、商品を陳列する棚の一区画である棚画像を取得する。商品画像取得部４２は、棚に陳列される商品の商品画像を取得する。合成部４３は、棚画像と商品画像とを合成して学習データを生成し、さらに合成部４３が棚の形状および商品の形状の少なくとも一方に応じて、商品画像の陳列を異ならせて棚画像に合成する。
本開示の第３実施形態に係る学習データ生成装置４０によると、店舗において商品を検知するための学習モデルの学習にあたり、商品の誤認識を防止する学習データを生成できる。これは、棚画像取得部４１が商品を陳列する棚の一区画である棚画像を取得し、商品画像取得部４２が棚に陳列される商品の商品画像を取得し、合成部４３が棚画像と商品画像とを合成して学習データを生成し、合成部４３は、棚の形状および商品の形状の少なくとも一方に応じて、商品画像の陳列を異ならせて棚画像に合成するからである。
＜ハードウェア構成＞
本発明の各実施形態において、学習データ生成システム１００、２００に含まれる各装置の各構成要素は、機能単位のブロックを示している。各装置（学習データ生成装置１、１ａ、４０など）の各構成要素の一部又は全部は、例えば図１８に示すような情報処理装置５００とプログラムとの任意の組み合わせにより実現される。情報処理装置５００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
商品を陳列する棚の一区画である棚画像を取得する棚画像取得部と、
前記棚に陳列される商品の商品画像を取得する商品画像取得部と、
前記棚画像と前記商品画像とを合成して学習データを生成する合成部と、を備え、
前記合成部は、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する
学習データ生成装置。
［付記２］
前記棚の形状は、前記商品を陳列させるための凹凸を有する凹凸の形状と、平面の形状とを含み、
前記合成部は、前記凹凸の形状の棚においては前記棚画像に列状に配置される前記商品画像を合成し、前記平面の形状の棚においては前記棚画像にランダムに配置される前記商品画像を合成する
付記１に記載の学習データ生成装置。
［付記３］
前記棚画像を格納する棚画像記憶部をさらに備え、
前記棚画像は、前記棚を使用する店舗を識別する識別子に紐づけられて格納され、
前記合成部は、ある店舗における学習データを合成する際、当該店舗の識別子に紐づけられた前記棚画像を前記棚画像記憶部から取得する
付記１に記載の学習データ生成装置。
［付記４］
前記棚画像は、前記棚の内における商品の位置を識別する位置識別子に紐づけられて前記棚画像記憶部に格納され、
前記合成部は、前記棚内の特定の位置における学習データを合成する際、当該位置識別子に紐づけられた前記棚画像を前記棚画像記憶部から取得する
付記３に記載の学習データ生成装置。
［付記５］
前記商品画像を格納する商品画像記憶部をさらに備え、
前記合成部は、ある商品に関する学習データを合成する際、当該商品の前記商品画像を前記商品画像記憶部から取得する
付記１に記載の学習データ生成装置。
［付記６］
前記商品画像記憶部は、前記商品が複数の異なる角度から撮影された前記商品画像を格納する
付記５に記載の学習データ生成装置。
［付記７］
前記棚画像と前記商品画像との合成のパターンを格納するパターン記憶部をさらに備え、
前記合成部は、前記パターン記憶部に格納される前記パターンを基に、前記棚画像と前記商品画像とを合成して学習データを生成する
付記１または付記２に記載の学習データ生成装置。
［付記８］
付記１乃至付記７のいずれかに記載の学習データ生成装置と、
前記棚画像を撮影し、前記学習データ生成装置に向けて送信する第１カメラと、
前記商品画像を撮影し、前記学習データ生成装置に向けて送信する第２カメラと
を備える学習データ生成システム。
［付記９］
商品を陳列する棚の一区画である棚画像を取得し、
前記棚に陳列される商品の商品画像を取得し、
前記棚画像と前記商品画像とを合成して学習データを生成すること、を備え、
前記合成においては、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する
学習データ生成方法。
［付記１０］
前記棚の形状は、前記商品を陳列させるための凹凸を有する凹凸の形状と、平面の形状とを含み、
前記合成においては、前記凹凸の形状の棚においては前記棚画像に列状に配置される前記商品画像を合成し、前記平面の形状の棚においては前記棚画像にランダムに配置される前記商品画像を合成する
付記９に記載の学習データ生成方法。
［付記１１］
前記棚画像は、前記棚を使用する店舗を識別する識別子に紐づけられて格納され、
前記合成においては、ある店舗における学習データを合成する際、当該店舗の識別子に紐づけられた前記棚画像を棚画像記憶手段から取得する
付記９に記載の学習データ生成方法。
［付記１２］
前記合成においては、前記棚内の特定の位置における学習データを合成する際、前記棚の内における商品の位置を識別する位置識別子に紐づけられた前記棚画像を前記棚画像記憶手段から取得する
付記１１に記載の学習データ生成方法。
［付記１３］
前記合成においては、ある商品に関する学習データを合成する際、当該商品の前記商品画像を商品画像記憶手段から取得する
付記９に記載の学習データ生成方法。
［付記１４］
前記商品画像記憶手段は、前記商品が複数の異なる角度から撮影された前記商品画像を格納する
付記１３に記載の学習データ生成方法。
［付記１５］
前記合成においては、前記棚画像と前記商品画像との合成のパターンを格納するパターン記憶手段に格納される前記パターンを基に、前記棚画像と前記商品画像とを合成して学習データを生成する
付記９または付記１０に記載の学習データ生成方法。
［付記１６］
商品を陳列する棚の一区画である棚画像を取得し、
前記棚に陳列される商品の商品画像を取得し、
前記棚画像と前記商品画像とを合成して学習データを生成すること、を備え、
前記合成においては、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する
ことをコンピュータに実現させる学習データ生成プログラムを格納する記録媒体。
［付記１７］
前記棚の形状は、前記商品を陳列させるための凹凸を有する凹凸の形状と、平面の形状とを含み、
前記合成においては、前記凹凸の形状の棚においては前記棚画像に列状に配置される前記商品画像を合成し、前記平面の形状の棚においては前記棚画像にランダムに配置される前記商品画像を合成する
付記１６に記載の記録媒体。
［付記１８］
前記棚画像は、前記棚を使用する店舗を識別する識別子に紐づけられて格納され、
前記合成においては、ある店舗における学習データを合成する際、当該店舗の識別子に紐づけられた前記棚画像を棚画像記憶手段から取得する
付記１６に記載の記録媒体。
［付記１９］
前記合成においては、前記棚内の特定の位置における学習データを合成する際、前記棚の内における商品の位置を識別する位置識別子に紐づけられた前記棚画像を前記棚画像記憶手段から取得する
付記１８に記載の記録媒体。
［付記２０］
前記合成においては、ある商品に関する学習データを合成する際、当該商品の前記商品画像を商品画像記憶手段から取得する
付記１６に記載の記録媒体。
［付記２１］
前記商品画像記憶手段は、前記商品が複数の異なる角度から撮影された前記商品画像を格納する
付記２０に記載の記録媒体。
［付記２２］
前記合成においては、前記棚画像と前記商品画像との合成のパターンを格納するパターン記憶手段に格納される前記パターンを基に、前記棚画像と前記商品画像とを合成して学習データを生成する
付記１６または付記１７に記載の記録媒体。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１ 学習データ生成装置
１ａ 学習データ生成装置
２ 学習装置
３ カメラ
４ カメラ
５ 通信ネットワーク
１１ 棚画像取得部
１２ 商品画像取得部
１３ 棚画像記憶部
１４ 商品画像記憶部
１５ 合成部
１６ 合成画像記憶部
２１ 学習部
２２ 学習モデル記憶部
３５ 合成部
３７ パターン記憶部
４０ 学習データ生成装置
４１ 棚画像取得部
４２ 商品画像取得部
４３ 合成部
１００ 学習データ生成システム
２００ 学習データ生成システム
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス

Claims (10)

  1. 商品を陳列する棚の一区画である棚画像を取得する棚画像取得手段と、
    前記棚に陳列される商品の商品画像を取得する商品画像取得手段と、
    前記棚画像と前記商品画像とを合成して学習データを生成する合成手段と、
    前記棚画像を格納する棚画像記憶手段と、を備え、
    前記棚画像は、前記棚を使用する店舗を識別する識別子に紐づけられて格納され、
    前記合成手段は、ある店舗における学習データを合成する際、当該店舗の識別子に紐づけられた前記棚画像を前記棚画像記憶手段から取得し、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて、取得した前記棚画像に合成する
    学習データ生成装置。
  2. 前記棚の形状は、前記商品を陳列させるための凹凸を有する凹凸の形状と、平面の形状とを含み、
    前記合成手段は、前記凹凸の形状の棚においては前記棚画像に列状に配置される前記商品画像を合成し、前記平面の形状の棚においては前記棚画像にランダムに配置される前記商品画像を合成する
    請求項１に記載の学習データ生成装置。
  3. 前記棚画像は、前記棚の内における商品の位置を識別する位置識別子に紐づけられて前記棚画像記憶手段に格納され、
    前記合成手段は、前記棚内の特定の位置における学習データを合成する際、当該位置識別子に紐づけられた前記棚画像を前記棚画像記憶手段から取得する
    請求項１または２に記載の学習データ生成装置。
  4. 前記商品画像を格納する商品画像記憶手段をさらに備え、
    前記合成手段は、ある商品に関する学習データを合成する際、当該商品の前記商品画像を前記商品画像記憶手段から取得する
    請求項１から３のいずれかに記載の学習データ生成装置。
  5. 前記商品画像記憶手段は、前記商品が複数の異なる角度から撮影された前記商品画像を格納する
    請求項４に記載の学習データ生成装置。
  6. 前記棚画像と前記商品画像との合成のパターンを格納するパターン記憶手段をさらに備え、
    前記合成手段は、前記パターン記憶手段に格納される前記パターンを基に、前記棚画像と前記商品画像とを合成して学習データを生成する
    請求項１から５のいずれかに記載の学習データ生成装置。
  7. 請求項１から６のいずれかに記載の学習データ生成装置と、
    前記棚画像を撮影し、前記学習データ生成装置に向けて送信する第１カメラと、
    前記商品画像を撮影し、前記学習データ生成装置に向けて送信する第２カメラと
    を備える学習データ生成システム。
  8. 商品を陳列する棚の一区画である棚画像を取得し、
    前記棚に陳列される商品の商品画像を取得し、
    前記棚画像と前記商品画像とを合成して学習データを生成すること、を備え、
    前記棚を使用する店舗を識別する識別子に紐づけられて格納され、
    前記合成においては、ある店舗における学習データを合成する際、当該店舗の識別子に紐づけられた前記棚画像を棚画像記憶手段から取得し、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて、取得した前記棚画像に合成する
    学習データ生成方法。
  9. 前記合成においては、前記棚内の特定の位置における学習データを合成する際、前記棚の内における商品の位置を識別する位置識別子に紐づけられた前記棚画像を前記棚画像記憶手段から取得する
    請求項８に記載の学習データ生成方法。
  10. 商品を陳列する棚の一区画である棚画像を取得し、
    前記棚に陳列される商品の商品画像を取得し、
    前記棚画像と前記商品画像とを合成して学習データを生成すること、を備え、
    前記合成においては、前記棚の形状または前記商品の形状の少なくともいずれか一つに応じて、前記商品画像の陳列を異ならせて前記棚画像に合成する
    ことをコンピュータに実現させる学習データ生成プログラム。
JP2022539961A 2020-07-31 2020-07-31 学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム Active JP7476967B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029494 WO2022024366A1 (ja) 2020-07-31 2020-07-31 学習データ生成装置、学習データ生成システム、学習データ生成方法および記録媒体

Publications (3)

Publication Number Publication Date
JPWO2022024366A1 JPWO2022024366A1 (ja) 2022-02-03
JPWO2022024366A5 JPWO2022024366A5 (ja) 2023-04-14
JP7476967B2 true JP7476967B2 (ja) 2024-05-01

Family

ID=80035325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539961A Active JP7476967B2 (ja) 2020-07-31 2020-07-31 学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム

Country Status (3)

Country Link
US (1) US20230281992A1 (ja)
JP (1) JP7476967B2 (ja)
WO (1) WO2022024366A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182653A (ja) 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2018186398A1 (ja) 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
JP2019125144A (ja) 2018-01-16 2019-07-25 株式会社富士通アドバンストエンジニアリング 商品情報管理プログラム、方法及び装置、並びに商品管理プログラム、方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7124281B2 (ja) * 2017-09-21 2022-08-24 株式会社リコー プログラム、情報処理装置、画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182653A (ja) 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2018186398A1 (ja) 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
JP2019125144A (ja) 2018-01-16 2019-07-25 株式会社富士通アドバンストエンジニアリング 商品情報管理プログラム、方法及び装置、並びに商品管理プログラム、方法及び装置

Also Published As

Publication number Publication date
US20230281992A1 (en) 2023-09-07
WO2022024366A1 (ja) 2022-02-03
JPWO2022024366A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
US10685496B2 (en) Saving augmented realities
US10440352B2 (en) Image processing apparatus and method
Bagdanov et al. The florence 2d/3d hybrid face dataset
JP2020530167A5 (ja)
US10547822B2 (en) Image processing apparatus and method to generate high-definition viewpoint interpolation image
US20140240354A1 (en) Augmented reality apparatus and method
CN109949347A (zh) 人体跟踪方法、装置、系统、电子设备和存储介质
JP2010517130A (ja) レンチキュラ印刷のための方法およびシステム
US11557060B2 (en) Systems and methods for scanning three-dimensional objects
CN114419289B (zh) 一种基于Unity的虚拟场景货架陈列方法及系统
KR20180126146A (ko) 2.5차원 이미지를 활용한 가상 전시 공간 시스템 및 제공 방법
JP2019534511A (ja) 自由動作ｆｖｖアプリケーションのためのマルチレイヤｕｖマップに基づくテクスチャレンダリング
CN106203225A (zh) 基于深度的图像元素删除
JP7476967B2 (ja) 学習データ生成装置、学習データ生成システム、学習データ生成方法および学習データ生成プログラム
JP7459947B2 (ja) 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
JPH10111951A (ja) 画像処理方法および装置および記憶媒体
JP6623565B2 (ja) 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
WO2018033952A1 (ja) パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
RU2011135244A (ru) Процессор сигналов, способ обработки сигналов, устройство отображения и программный продукт
JP2008191751A (ja) 配置シミュレーションシステム
KR102453296B1 (ko) 정보 처리장치, 그 제어방법 및 컴퓨터 프로그램
JP7380863B2 (ja) 画像記憶装置、画像記憶方法、及びプログラム
JP2012146214A (ja) 写真画像データの作成方法及びそれを利用したインターネット接続環境における商品販売促進システム
JP2017058657A (ja) 情報処理装置、制御方法、コンピュータプログラム及び記憶媒体
KR100897305B1 (ko) 요소 영상을 이용한 3차원 집적 영상 방법, 시스템 및 이를실행하는 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401