JP7388531B2 - 物品特定装置、物品特定方法、及びプログラム - Google Patents

物品特定装置、物品特定方法、及びプログラム Download PDF

Info

Publication number
JP7388531B2
JP7388531B2 JP2022501498A JP2022501498A JP7388531B2 JP 7388531 B2 JP7388531 B2 JP 7388531B2 JP 2022501498 A JP2022501498 A JP 2022501498A JP 2022501498 A JP2022501498 A JP 2022501498A JP 7388531 B2 JP7388531 B2 JP 7388531B2
Authority
JP
Japan
Prior art keywords
article
image
imaging means
size data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022501498A
Other languages
English (en)
Other versions
JPWO2021166146A5 (ja
JPWO2021166146A1 (ja
Inventor
悠 鍋藤
克 菊池
壮馬 白石
貴美 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021166146A1 publication Critical patent/JPWO2021166146A1/ja
Publication of JPWO2021166146A5 publication Critical patent/JPWO2021166146A5/ja
Application granted granted Critical
Publication of JP7388531B2 publication Critical patent/JP7388531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、物品特定装置、物品特定方法、及びプログラムに関する。
画像を用いて商品などの物品を特定することは、様々な場所で行われている。一例としては、店舗や倉庫などにおいて、人が棚から取り出した物品を特定することが行われている。そして特許文献1には、ニューラルネットワークを用いて複数の画像を学習し、この学習結果を用いて商品の類別を特定することが記載されている。特許文献1において、画像から商品を含む矩形領域が切り出され、この矩形領域を用いて上記した処理が行われる。
特表2019-526848号公報
本発明者は、画像処理を用いて物品を特定する際に、物品の特定精度を向上させることを検討した。本発明の目的は、画像処理を用いて物品を特定する際に、物品の特定精度を向上させることにある。
本発明によれば、物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用される物品特定装置であって、
前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
前記物品特定装置は、
前記第1撮像手段が生成した第1画像を取得するとともに、第2撮像手段が生成した第2画像を取得する取得手段と、
前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成する画像処理手段と、
前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する判定手段と、
を備える物品特定装置が提供される。
本発明によれば、物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用されるコンピュータが行う方法であって、
前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
前記コンピュータは、
前記第1撮像手段が生成した第1画像を取得するとともに、第2撮像手段が生成した第2画像を取得し、
前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成し、
前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する、物品特定方法が提供される。
本発明によれば、物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用されるコンピュータに用いられるプログラムで会って、
前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
前記プログラムは、前記コンピュータに、
前記第1撮像手段が生成した第1画像を取得するとともに、第2撮像手段が生成した第2画像を取得する機能と、
前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成する機能と、
前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する機能と、
を持たせるプログラムが提供される。
本発明によれば、画像処理を用いて物品を特定する際に、物品の特定精度を向上させることができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態に係る物品特定装置の使用環境を示す図である。 撮像装置を説明するための図である。 物品特定装置の機能構成の一例を示すブロック図である。 物品特定装置のハードウェア構成例を示す図である 基準記憶部が記憶している基準の生成方法の一例を示すフローチャートである。 物品特定装置が行う物品の特定処理の第1例を示すフローチャートである。 物品特定装置が行う物品の特定処理の第2例を示すフローチャートである。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
図1は、実施形態に係る物品特定装置10の使用環境を示す図である。図2は、撮像装置200を説明するための図である。物品特定装置10は、撮像装置200が生成した画像を処理することにより、物品棚40に載置された物品50、又は物品棚40から取り出された物品50を特定する。
物品棚40は、例えば店舗や倉庫に配置されており、少なくとも一つの棚を有している。棚の上には物品50が載置されている。すなわち物品棚40の棚は、物品載置領域の一例である。
撮像装置200は、物品棚40の棚及びその前方の少なくとも一方を撮影する。図2に示す例において、撮像装置200は物品棚40の棚及びその前方の双方を撮影する。そして撮像装置200は2つの撮像ユニット210を有している。2つの撮像ユニット210は、いずれも照明部220及び撮像部20を有している。一方の撮像部20は第1撮像部の一例であり、他方の撮像部20は第2撮像部の一例である。
照明部220の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明部220は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、LEDなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がLEDの場合、照明部220が延在する方向(図において上下方向)に、複数のLEDが並んでいる。
そして撮像部20は、照明部220の一端側に設けられており、照明部220の光が放射される方向を撮像範囲としている。例えば図1及び図2の左側の撮像ユニット210において、撮像部20は下方及び右斜め下を撮像範囲としている。また、図1及び図2の右側の撮像ユニット210において、撮像部20は上方及び左斜め上を撮像範囲としている。
図2に示すように、2つの撮像ユニット210は、物品棚40の前面フレーム(又は両側の側壁の前面)42に取り付けられる。この際、第1の撮像ユニット210は、一方の前面フレーム42に、撮像部20が上方に位置する向きに取り付けられ、第2の撮像ユニット210は、第1の撮像ユニット210とは逆側の前面フレーム42に、撮像部20が下方に位置する向きに取り付けられる。このため、棚が延在する方向(第1方向の一例)において、一方の撮像部20、物品棚40、及び他方の撮像部20は、この順に並んでいる。また、一方の撮像部20は物品棚40の棚より上に位置し、他方の撮像部20は物品棚40の棚より下に位置している。これにより、2つの撮像部20の間隔は広くなる。
そして第1の撮像ユニット210の撮像部20は、物品棚40の開口部及びその前方を撮像範囲に含むように、その撮像部20の下方及び斜め下方を撮像する。一方、第2の撮像ユニット210の撮像部20は、物品棚40の開口部及びその前方を撮像範囲に含むように、上方及び斜め上方を撮像する。このように2つの撮像ユニット210を用いることで、物品棚40の開口部及びその前方の全範囲を撮影することができる。このため、撮像装置200が生成した画像を処理すると、物品棚40から取り出された物品を特定することができる。
そして物品特定装置10は、特定した物品50の品名を示す情報を、外部装置30に出力する。
物品棚40が店舗に配置されている場合、外部装置30は、物品50に対する顧客の動向を集める装置、例えば顧客がいったん手に取ったが棚に戻した商品を特定する装置であってもよいし、POS(Point of sale system)の商品登録装置であってもよい。後者の場合、物品特定装置10の後述する画像処理部120は、2つの撮像部20のいずれかが生成した画像から、物品棚40から物品50を取り出した顧客の顔画像又はその特徴量を抽出し、物品50の品名を示す情報、例えば商品コードと共に外部装置30に出力してもよい。
また、物品棚40が物流の倉庫に配置されている場合、外部装置30は、例えば物品の出荷を管理する装置である。
図3は、物品特定装置10の機能構成の一例を示すブロック図である。物品特定装置10は、取得部110、画像処理部120、及び判定部130を有している。
取得部110は、2つの撮像部20が生成した画像を取得する。
画像処理部120は、取得部110が取得した画像を処理することにより、第1サイズデータ及び第2サイズデータを生成する。第1サイズデータは、一方の撮像部20(例えば図1及び図2において右側の撮像部20)が生成した画像(以下、第1画像と記載)において物品が写っている領域の大きさを示している。第2サイズデータは、他方の撮像部20(例えば図1及び図2において左側の撮像部20)が生成した画像(以下、第2画像と記載)において物品が写っている領域の大きさを示している。一例として、物品領域が矩形である場合、第1サイズデータ及び第2サイズデータは、矩形の面積であってもよいし、矩形の長辺及び短辺の長さであってもよい。ここで面積及び長さは、いずれも画素数で示されてもよい。
判定部130は、第1サイズデータと第2サイズデータの関係が基準を満たすときに、第1画像及び第2画像の少なくとも一方を用いた画像処理による物品の品名の推定結果を正しいと判定する。
2つの撮像ユニット210の相対位置は固定されている。このため、物品50の大きさ及び位置が決まっていた場合、第1サイズデータ及び第2サイズデータはいずれも一意に定まる。このため、物品50の大きさが決まると、第2サイズデータは、第1サイズデータを変数とした関数で算出することができる。判定部130は、この関数に相当する情報を、基準として用いる。なお、この基準は、例えば後述するように機械学習を用いて生成される。
本図に示す例において、判定部130が用いる基準は基準記憶部132に記憶されている。基準記憶部132は、物品棚40別、かつ物品50の品目(例えば特定のサイズのペットボトル)又は品名(例えば商品名)別に、上記した基準を記憶している。言い換えると、物品棚40が変わらなくても物品50の品目が変わると、上記した基準は変わる。また、物品棚40が変わって2つの撮像ユニット210の相対位置が変わっても、上記した基準は変わる。なお、基準記憶部132は、物品特定装置10の一部であってもよいし、物品特定装置10の外部に位置していてもよい。
なお、物品の品名を推定するための画像処理は、例えば画像処理部120によって行われる。画像処理部120は、第1サイズデータと第2サイズデータの関係が基準を満たすか否かを判定する前に、品名の推定を行ってもよいし、この判定の後に品名の推定を行ってもよい。前者の場合、判定部130は、推定された品名に対応する基準を基準記憶部132から読み出して使用する。
図4は、物品特定装置10のハードウェア構成例を示す図である。物品特定装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は物品特定装置10の各機能(例えば取得部110、画像処理部120、及び判定部130)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は基準記憶部132としても機能する。
入出力インタフェース1050は、物品特定装置10と各種入出力機器とを接続するためのインタフェースである。例えば物品特定装置10は、入出力インタフェース1050を介して撮像装置200と通信する。
ネットワークインタフェース1060は、物品特定装置10ネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。物品特定装置10は、ネットワークインタフェース1060を介して撮像装置200及び外部装置30と通信してもよい。
図5は、基準記憶部132が記憶している基準の生成方法の一例を示すフローチャートである。本図に示す処理は、例えば物品棚40、物品50の品名又は品目、及び物品棚40に対する撮像装置200の位置の組み合わせ毎に行われる。このため、本図に示す処理は、物品棚40に対して撮像装置200が取り付けられた後に、物品50の品目(又は品名)別に行われるのが好ましい。また、本図において、基準記憶部132が記憶している基準は物品特定装置10によって生成されているが、他の装置によって生成されてもよい。
まず、物品特定装置10の使用者は、物品棚40に物品50を配置し、この物品50を物品棚40から取り出す。すると、撮像装置200の2つの撮像部20は、物品棚40から取り出された物品50を撮像し、第1画像及び第2画像を生成する。物品特定装置10の取得部110は、この第1画像及び第2画像を取得する(ステップS10)。
次いで物品特定装置10の画像処理部120は、第1画像から物品50が写っている領域(以下、物品領域と記載)を切り出し、この物品領域の大きさを示すデータを第1サイズデータとする。また、画像処理部120は、第2画像から物品50の物品領域を切り出し、この物品領域の大きさを示すデータを第2サイズデータとする(ステップS20)。
そして物品特定装置10の画像処理部120は、第1画像及び第2画像の少なくとも一方を処理することにより、物品50の品名を特定する(ステップS30)。例えば画像処理部120は、物品50の品名別に用意された特徴量を用いて、物品50の品名を特定する。
物品特定装置10は、画像処理部120が生成した第1サイズデータ、第2サイズデータ、及び物品50の品名を、一つの教師データとする。そしてステップS10~S30に示す処理を、教師データが必要な数集まるまで繰り返す(ステップS40)。ここで、ステップS10~S30を繰り返すたびに、物品50は、物品棚40のうち互いに異なる場所に配置されるのが好ましい。
ここで、教師データは、品目別に設けられてもよい。この場合、複数の品名別の教師データは、品目別に集約される。
その後、物品特定装置10は、物品50の品名又は品目別に教師データを機械学習することにより、上記した基準を生成し、この基準を基準記憶部132に記憶させる(ステップS50)。
図6は、物品特定装置10が行う物品50の特定処理の第1例を示すフローチャートである。本図に示す例において、物品棚40には同じ品目かつ同じ大きさの物品50のみが載置されている。このため、判定部130が用いる基準は一つでよい。判定部130は、予めこの基準を基準記憶部132から読み出しておく。
店舗の顧客や倉庫の従業員などの人が物品棚40から物品50を取り出すと、撮像装置200の2つの撮像部20は、第1画像及び第2画像を生成する。物品特定装置10の取得部110は、この第1画像及び第2画像を取得する(ステップS110)。すると物品特定装置10の画像処理部120は、図5のステップS20と同様の処理を行うことにより、第1サイズデータ及び第2サイズデータを生成する(ステップS120)。次いで判定部130は、画像処理部120が生成した第1サイズデータ及び第2サイズデータの関係性が基準を満たすか否かを判断する(ステップS130)。基準を満たした場合(ステップS130:Yes)、判定部130は、画像処理による物品50の特定結果を採用することにする(ステップS140)。一方、基準を満たさなかった場合(ステップS130:No)、判定部130は、画像処理による物品50の特定結果を採用しないことにする(ステップS142)。そして判定部130は、品名の特定結果を外部装置30に出力する(ステップS150)。
なお、本図に示す例において、画像処理部120による物品50の品名の推定が行われるタイミングは、ステップS110の後であれば、いつでもよい。例えば画像処理部120は、ステップS110とステップS120の間に物品50の品名を推定してもよいし、ステップS140の後に物品50の品名を推定してもよい。後者の場合、ステップS130でNoとなった場合、画像処理部120は、物品50の品名の推定処理を行わない。
図7は、物品特定装置10が行う物品50の特定処理の第2例を示すフローチャートである。ステップS110及びステップS120で行われる処理は、図6と同様である。
ステップS120の後、画像処理部120は、第1画像及び第2画像の少なくとも一方を用いることにより、物品50の品名を推定する(ステップS122)。そして判定部130は、画像処理部120が推定した品名に対応する基準を基準記憶部132から読み出す(ステップS124)。
その後の処理(ステップS130~ステップS150)は、図6と同様である。
以上、本実施形態によれば、物品特定装置10は、2つの撮像部20が撮像した画像の少なくとも一方を用いて物品50の品名を推定する。2つの撮像部20は、物品棚40を挟むように配置されている。そして物品特定装置10は、一方の撮像部20が生成した第1画像において物品50が写っている領域の大きさと、他方の撮像部20が生成した第2画像において物品50が写っている領域の大きさと、の関係が基準を満たすときに、50の品目の推定結果が正しいと判断する。このため、画像処理を用いて物品を特定する際に、物品の特定精度は向上する。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用される物品特定装置であって、
前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
前記物品特定装置は、
前記第1撮像手段が生成した第1画像を取得するとともに、第2撮像手段が生成した第2画像を取得する取得手段と、
前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成する画像処理手段と、
前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する判定手段と、
を備える物品特定装置。
2.上記1に記載の物品特定装置において、
前記画像処理手段は、前記判定手段が前記第1サイズデータと前記第2サイズデータが基準を満たすか否かを判定する前に、前記画像処理により前記物品の品名を推定し、
前記判定手段は、前記物品の品名の推定結果に応じた前記基準を用いる物品特定装置。
3.上記1又は2に記載の物品特定装置において、
前記第1撮像手段は前記物品載置領域より上に位置しており、前記第2撮像手段は前記物品載置領域より下に位置している物品特定装置。
4.上記1~3のいずれか一項に記載の物品特定装置において、
前記基準は機械学習を用いて設定されている物品特定装置。
5.物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用されるコンピュータが行う方法であって、
前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
前記コンピュータは、
前記第1撮像手段が生成した第1画像を取得するとともに、第2撮像手段が生成した第2画像を取得し、
前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成し、
前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する、物品特定方法。
6.上記5に記載の物品特定方法において、
前記コンピュータは、
前記判定手段が前記第1サイズデータと前記第2サイズデータが基準を満たすか否かを判定する前に、前記画像処理により前記物品の品名を推定し、
前記物品の品名の推定結果に応じた前記基準を用いる物品特定方法。
7.上記5又は6に記載の物品特定方法において、
前記第1撮像手段は前記物品載置領域より上に位置しており、前記第2撮像手段は前記物品載置領域より下に位置している物品特定方法。
8.上記5~7のいずれか一項に記載の物品特定方法において、
前記基準は機械学習を用いて設定されている物品特定方法。
9.物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用されるコンピュータに用いられるプログラムで会って、
前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
前記プログラムは、前記コンピュータに、
前記第1撮像手段が生成した第1画像を取得するとともに、第2撮像手段が生成した第2画像を取得する機能と、
前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成する機能と、
前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する機能と、
を持たせるプログラム。
10.上記9に記載のプログラムにおいて、
前記コンピュータに、
前記判定手段が前記第1サイズデータと前記第2サイズデータが基準を満たすか否かを判定する前に、前記画像処理により前記物品の品名を推定させ、
前記物品の品名の推定結果に応じた前記基準を用いさせるプログラム。
11.上記9又は10に記載のプログラムにおいて、
前記第1撮像手段は前記物品載置領域より上に位置しており、前記第2撮像手段は前記物品載置領域より下に位置しているプログラム。
12.上記9~11のいずれか一項に記載のプログラムにおいて、
前記基準は機械学習を用いて設定されているプログラム。
10 物品特定装置
20 撮像部
30 外部装置
40 物品棚
42 前面フレーム
50 物品
110 取得部
120 画像処理部
130 判定部
132 基準記憶部
200 撮像装置
210 撮像ユニット
220 照明部

Claims (6)

  1. 物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用される物品特定装置であって、
    前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
    前記物品特定装置は、
    前記第1撮像手段が生成した第1画像を取得するとともに、前記第2撮像手段が生成した第2画像を取得する取得手段と、
    前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成する画像処理手段と、
    前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する判定手段と、
    を備える物品特定装置。
  2. 請求項1に記載の物品特定装置において、
    前記画像処理手段は、前記判定手段が前記第1サイズデータと前記第2サイズデータの関係前記基準を満たすか否かを判定する前に、前記画像処理により前記物品の品名を推定し、
    前記判定手段は、前記物品の品名の推定結果に応じた前記基準を用いる物品特定装置。
  3. 請求項1又は2に記載の物品特定装置において、
    前記第1撮像手段は前記物品載置領域より上に位置しており、前記第2撮像手段は前記物品載置領域より下に位置している物品特定装置。
  4. 請求項1~3のいずれか一項に記載の物品特定装置において、
    前記基準は機械学習を用いて設定されている物品特定装置。
  5. 物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用されるコンピュータが行う方法であって、
    前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
    前記コンピュータは、
    前記第1撮像手段が生成した第1画像を取得するとともに、前記第2撮像手段が生成した第2画像を取得し、
    前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成し、
    前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する、物品特定方法。
  6. 物品載置領域及びその前方の少なくとも一方を撮影する第1撮像手段及び第2撮像手段と共に使用されるコンピュータに用いられるプログラムでって、
    前記第1撮像手段、前記物品載置領域、及び前記第2撮像手段は、第1方向においてこの順に並んでおり、
    前記プログラムは、前記コンピュータに、
    前記第1撮像手段が生成した第1画像を取得するとともに、前記第2撮像手段が生成した第2画像を取得する機能と、
    前記第1画像において物品が写っている領域の大きさを示す第1サイズデータを生成するとともに、前記第2画像において前記物品が写っている領域の大きさを示す第2サイズデータを生成する機能と、
    前記第1サイズデータと前記第2サイズデータの関係が基準を満たすときに、前記第1画像及び前記第2画像の少なくとも一方を用いた画像処理による前記物品の品名の推定結果を正しいと判定する機能と、
    を持たせるプログラム。
JP2022501498A 2020-02-20 2020-02-20 物品特定装置、物品特定方法、及びプログラム Active JP7388531B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006733 WO2021166146A1 (ja) 2020-02-20 2020-02-20 物品特定装置、物品特定方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021166146A1 JPWO2021166146A1 (ja) 2021-08-26
JPWO2021166146A5 JPWO2021166146A5 (ja) 2022-10-14
JP7388531B2 true JP7388531B2 (ja) 2023-11-29

Family

ID=77391856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022501498A Active JP7388531B2 (ja) 2020-02-20 2020-02-20 物品特定装置、物品特定方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230064123A1 (ja)
JP (1) JP7388531B2 (ja)
WO (1) WO2021166146A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015138349A (ja) 2014-01-21 2015-07-30 東芝テック株式会社 商品読取装置、販売データ処理装置および制御プログラム
WO2018151008A1 (ja) 2017-02-14 2018-08-23 日本電気株式会社 画像認識システム、画像認識方法及び記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596434B2 (ja) * 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015138349A (ja) 2014-01-21 2015-07-30 東芝テック株式会社 商品読取装置、販売データ処理装置および制御プログラム
WO2018151008A1 (ja) 2017-02-14 2018-08-23 日本電気株式会社 画像認識システム、画像認識方法及び記録媒体

Also Published As

Publication number Publication date
WO2021166146A1 (ja) 2021-08-26
JPWO2021166146A1 (ja) 2021-08-26
US20230064123A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
JP7019357B2 (ja) 棚情報推定装置及び情報処理プログラム
TWI618916B (zh) 貨架庫存估測方法與系統
EP2722810A1 (en) Commodity display information tabulation method, data structure, and recording medium recording the same
US10929629B2 (en) Positional relationship detection device and positional relationship detection system
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
JP2024040297A (ja) 物品推定装置、物品推定方法、及びプログラム
JP2022162153A (ja) システム、処理方法及びプログラム
JP2020017253A (ja) 商品管理システム及び商品管理方法
JP2022528022A (ja) スーパーマーケット商品棚上の商品の分析方法及びシステム
JP7388531B2 (ja) 物品特定装置、物品特定方法、及びプログラム
JP6769554B2 (ja) 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
US8622284B1 (en) Determining and recording the locations of objects
JP6536707B1 (ja) 画像認識システム
JP7367846B2 (ja) 商品検出装置、商品検出方法、及びプログラム
WO2021060032A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021214880A1 (ja) 処理装置、処理方法及びプログラム
JP7428244B2 (ja) 商品特定装置、商品特定方法、およびプログラム
JP2018049584A (ja) 食事量推定プログラム、食事量推定方法及び食事量推定装置
CN111783627A (zh) 商品存量确定方法、装置及设备
JP7491366B2 (ja) 身長推定装置、身長推定方法、及びプログラム
WO2021149221A1 (ja) 価格情報決定装置、価格決定方法、及びプログラム
WO2021186704A1 (ja) 身長推定装置、身長推定方法、及びプログラム
JP7428241B2 (ja) 処理装置、処理方法及びプログラム
JP6769555B2 (ja) 物品識別装置、物品識別方法、計算装置、システムおよびプログラム
WO2022244176A1 (ja) 欠品検出装置、欠品検出方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231030

R151 Written notification of patent or utility model registration

Ref document number: 7388531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151