JP6274097B2 - 商品識別装置および商品認識ナビゲーション方法 - Google Patents
商品識別装置および商品認識ナビゲーション方法 Download PDFInfo
- Publication number
- JP6274097B2 JP6274097B2 JP2014255539A JP2014255539A JP6274097B2 JP 6274097 B2 JP6274097 B2 JP 6274097B2 JP 2014255539 A JP2014255539 A JP 2014255539A JP 2014255539 A JP2014255539 A JP 2014255539A JP 6274097 B2 JP6274097 B2 JP 6274097B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- products
- identification device
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000001514 detection method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 10
- 241000283973 Oryctolagus cuniculus Species 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 12
- 241001465754 Metazoa Species 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 235000012055 fruits and vegetables Nutrition 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 101100412093 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rec16 gene Proteins 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F9/00—Shop, bar, bank or like counters
- A47F9/02—Paying counters
- A47F9/04—Check-out counters, e.g. for self-service stores
- A47F9/046—Arrangement of recording means in or on check-out counters
- A47F9/047—Arrangement of recording means in or on check-out counters for recording self-service articles without cashier or assistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Description
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、商品を指し示すボタンの押下や画面へのタッチ、または別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取るという運用がなされていた。
オブジェクト認識の対象商品が適切なアングルで撮影できない場合、商品登録装置は、即座に商品を認識できない。この場合に、オペレータは、バーコードの読取操作と同様の感覚で、商品登録装置のカメラに商品をできるだけ近づけるように操作するおそれがある。
オペレータが翳した物体の画像を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記物体を検出する物体検出手段と、
前記物体検出手段が検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断手段と、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を前記撮影手段に向けるように、前記オペレータに対して前記物体の回転を誘導する誘導手段と、
を備えることを特徴とする商品識別装置である。
オペレータが翳した物体の画像を撮影する撮影ステップと、
前記撮影ステップで撮影した画像から前記物体を検出する物体検出ステップと、
検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断ステップと、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を撮影するように、前記オペレータに対して前記物体の回転を誘導する誘導ステップと、
を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法である。
(第1の実施形態)
図1は、第1の実施形態における商品識別装置2などの外観を示す斜視図である。
図1に示すように、商品登録装置1は、各商品を登録する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。この商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。
商品識別装置2は、横長テーブル状のカウンタ台5の長手方向の中央に設置されている。商品識別装置2は、薄型の直方体状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ27(図2参照)が配置されている。
POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図2参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図の手前側に向いている。この顧客用ディスプレイ34は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
第1の買物カゴ4Lは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Rは、第1の買物カゴ4Lから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4L内の商品は、商品識別装置2を操作するオペレータにより取り出され、第2の買物カゴ4Rに移動される。この移動過程で、商品が商品識別装置2の読取窓52に翳される。このとぎ、読取窓52内に配置されたカメラ27(図2参照)は商品を撮像する。
なお、本発明は、顧客自らがオペレータとしてキャッシュレジスタを操作するセルフレジに適用してもよく、限定されない。
商品登録装置1は、商品識別装置2とPOS端末3とを含んで構成される。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、カメラ27と、スピーカ28と、電源29とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成された制御手段である。ROM212には、CPU211によって実行されるプログラムが記憶される。
CPU211には、表示・操作部22と、インタフェース25と、カメラ27、スピーカ28とが、内部バスや各入出力回路(不図示)を介して接続される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する表示手段である。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。
電源29は、この商品識別装置2の各部に電力を供給する。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。
マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、ドロワ37と、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。
プリンタ38は、レシートなどに印字を行う。POS端末3は、CPU311の制御のもとで、各取引の取引内容をレシートに印字する。
電源39は、このPOS端末3の各部に電力を供給する。
商品識別装置2のCPU211は、ROM212に格納されるプログラムを実行することにより、画像取得部90と、物体検出部91、類似度演算部92、類似度判断部93、誘導部94、確定通知部95、入力取得部96、情報出力部97の各部を具現化する。また、同様に、POS端末3のCPU311は、HDD36に格納されるプログラムを実行することにより、売上登録部99を具現化する。POS端末3のHDD36には更に、特徴量ファイル361と類似商品データベース362とが格納される。
具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部90は、カメラ27によって、この商品の画像を撮影する。物体検出部91は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部91は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出(認識)する。
類似度演算部92は更に、特徴量ファイル361に記録された各商品(以下、取扱商品という)の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル361に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル361に記録されている各商品が想定する商品画像を100%の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部92は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年9月8日検索],インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on,[平成26年9月8日検索],インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
なお、各条件M,Nは、適宜設定可能であり、前記した例に限定されるものではない。
誘導部94は、このような候補商品の組み合わせ情報、および、これら候補商品の特徴方向の情報を類似商品データベース362に格納する。これにより、同一の撮影条件と同一の候補にかかる計算処理を実施することなく、迅速にナビゲーション可能である。
情報出力部97は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名や値引き情報など)を、インタフェース25を介してPOS端末3に出力する。
商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の直方体状のハウジング51と、このハウジング51の上部に取り付けられた表示・操作部22と、表示・操作部22の左奥側に裏向きに設置された顧客用ディスプレイ24とを含んで構成される。
このハウジング51の正面には、読取窓52が設けられる。
読取窓52には、照明271とカメラ27(撮像手段)とが配置される。認識領域8Mは、カメラ27が物体を撮影し、この物体を検知して商品を特定する領域である。
この商品識別装置2は、カメラ27による物体を検知し、物体の商品名などを識別し、POS端末3に商品登録処理を行わせる。
特徴量ファイル361の各レコードは、特徴量欄361a、画像リンク欄361b、方向欄361c、商品ID欄361d、単価欄361e、商品名欄361fの各欄を含んでいる。この特徴量ファイル361には、各商品を複数の方向から撮影した基準画像と、その撮影方向の情報との組み合わせが格納される。
特徴量欄361aは、この商品の基準画像の特徴量ベクトルを格納する欄である。特徴量欄361aの格納情報は、後記する画像リンク欄361bの画像を分析して得られるものである。
画像リンク欄361bは、この商品の基準画像のリンクを格納する欄である。リンクで示される基準画像は、この商品を6方向のいずれかから撮影した画像である。
方向欄361cは、この商品の基準画像の撮影方向を示すベクトルである。
商品ID欄361dは、この商品を識別する情報を格納する欄である。
単価欄361eは、この商品の単価を格納する欄である。
商品名欄361fは、この商品の名称を格納する欄である。
図6(a)は、ウサギのぬいぐるみの正面方向の基準画像を示している。このときX軸を正面方向から見て右方向、Y軸を正面方向から見て上方向、Z軸を正面方向から見て奥向きと定義すると、撮影方向のベクトルは、(X,Y,Z)=(0,0,1)である。ぬいぐるみなどは一般的に、この正面方向の基準画像が最もオブジェクト認識に適した方向である。
図6(c)は、ウサギのぬいぐるみの上方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(0,−1,0)である。
図6(d)は、ウサギのぬいぐるみの下方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(0,1,0)である。
図6(e)は、ウサギのぬいぐるみの右方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(−1,0,0)である。
図6(f)は、ウサギのぬいぐるみの左方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(1,0,0)である。
このように、6方向の商品の基準画像を予め記録することにより、どのような方向で商品を翳したときであっても、この商品を容易に認識可能である。
図7(a)は、クマのぬいぐるみの正面方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(0,0,1)であり、図6(a)で示したウサギのぬいぐるみとの相違が最も大きくなる。よって、クマのぬいぐるみとウサギのぬいぐるみとは、正面方向の画像の類似度が最も小さくなる。
図7(c)は、クマのぬいぐるみの上方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(0,−1,0)である。図6(c)で示したウサギのぬいぐるみとの相違は比較的小さい。
図7(d)は、クマのぬいぐるみの下方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(0,1,0)である。図6(d)で示したウサギのぬいぐるみとの相違は比較的小さい。
図7(e)は、クマのぬいぐるみの右方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(−1,0,0)である。図6(e)で示したウサギのぬいぐるみとの相違は比較的小さい。
図7(f)は、クマのぬいぐるみの左方向の基準画像を示している。このとき撮影方向のベクトルは、(X,Y,Z)=(1,0,0)である。図6(f)で示したウサギのぬいぐるみとの相違は比較的小さい。
類似商品データベース362は、第1商品ID欄362a、第1方向欄362b、第2商品ID欄362c、第2方向欄362d、特徴画像欄362e、特徴方向欄362f、回転軸ベクトル欄362gを含んで構成される。類似商品データベース362は、過去の商品識別の学習結果であり、これを参照することにより、オブジェクト認識の演算処理をスキップして高速に処理することができる。
第1商品ID欄362aは、類似する2つの候補商品のうち一方の商品IDを格納する欄であり、第2商品ID欄362cは、他方の商品IDを格納する欄である。
第1方向欄362bは、類似する2つの候補商品のうち一方の商品の基準画像の撮影方向を格納する欄であり、第2方向欄362d、他方の商品の基準画像の撮影方向を格納する欄である。
特徴画像欄362eは、類似する2つの候補商品のうち一方の商品の基準画像のうち、2つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる画像のリンクを格納する欄である。
特徴方向欄362fは、類似する2つの候補商品のうち一方の商品の基準画像のうち、2つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる方向ベクトルを格納する欄である。
回転軸ベクトル欄362gは、対象商品を類似度最小方向に向けるときの回転軸のベクトルを格納する欄である。このベクトルを、撮影画像上のベクトルに変換することで、回転を誘導する画面上の矢印を表示することができる。
第1の実施形態の商品の仮登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)の商品であるウサギのぬいぐるみを取り出して、読取窓52のカメラ27に翳して、このウサギのぬいぐるみを仮登録までの一連の処理である。
ステップS12において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS15において、類似度判断部93は、類似度が閾値T以上となる取扱商品が特徴量ファイル361にあるか否かにより、商品を一意に特定したか否かを判断する。類似度判断部93は、類似度が閾値T以上となる取扱商品を一意に特定したならば、ステップS22の処理に進み、複数の候補商品が存在したならば、ステップS16の処理に進み、いずれの候補商品も存在しなかったならば、ステップS11の処理に戻る。具体的にいうと、類似度判断部93は、ウサギのぬいぐるみとクマのぬいぐるみが候補商品として存在すると判断する。更に類似度判断部93は、この商品はウサギのぬいぐるみに最も類似し、その次にクマのぬいぐるみにも類似すると判断する。
ステップS16において、誘導部94は、類似商品データベース362に候補商品の回転方向情報が存在するか否かを判断する。すなわち誘導部94は、類似度が高い1番目と2番目の候補商品の組み合わせを類似商品データベース362から検索して、対応するレコードが存在するか否かにより、候補商品の回転方向情報の存在を判断する。誘導部94は、類似商品データベース362に候補商品の回転方向情報が存在するならば(Yes)、ステップS19の処理に進み、回転方向情報が存在しないならば(No)、ステップS17の処理に進む。
ステップS18において、誘導部94は、特徴の相違が顕著となる撮影方向を特定して、2つの候補商品の組み合わせ情報と共に類似商品データベース362に記録する。これにより、同様な候補商品を検出した場合には、類似度を計算することなく、迅速に誘導表示することができる。
ステップS20において、誘導部94は、回転軸ベクトルを表示座標系に変換する。これにより、表示座標系における回転軸を特定できる。
ステップS21において、誘導部94は、画面上に矢印を表示することによって、オペレータが翳している商品の回転をナビゲーションする。ステップS21の処理が終了すると、ステップS11の処理に戻る。
ステップS22において、確定通知部95は、商品の画像とともに、商品名と単価とをウインドウ表示し、確定商品に関する情報をスピーカ28に出力する。これにより確定通知部95は、商品を一意に特定したことをオペレータに知らせることができる。
ステップS23において、情報出力部97は、確定商品について、その商品を示す情報(例えば、商品IDや商品名や値引き情報など)を、インタフェース25を介してPOS端末3に出力し、図9の処理を終了する。POS端末3は、この商品を仮登録し、精算の指示と共に商品マスタファイルに登録する。
図10(a)は、ウサギのぬいぐるみの上方向をカメラ27に翳したときのディスプレイ221の表示例である。
ディスプレイ221には、ウサギのぬいぐるみと共に、このぬいぐるみの回転を誘導する矢印が表示されている。この矢印は、オペレータに対して、ウサギのぬいぐるみを矢印方向に回転するように誘導している。このとき、類似度判断部93は、ウサギのぬいぐるみとクマのぬいぐるみを候補商品として判断している。
その後、オペレータは、ウサギのぬいぐるみを矢印方向に回転する。これにより、ウサギのぬいぐるみの顔がカメラ27に翳される。
ディスプレイ221には、ウサギのぬいぐるみと共に、「うさき・ぬいぐるみ・800円」のウインドウが表示されている。このウインドウは、オペレータに対して、商品が一意に識別できたことを伝えている。
図11は、第2の実施形態における類似商品データベース362Aの構成を示す図である。第1の実施形態の類似商品データベース362と同一の要素には同一の符号を付与している。
類似商品データベース362Aは、第1の実施形態の類似商品データベース362と異なり、特徴方向欄362f、回転軸ベクトル欄362gを含んでいないが、それ以外は同一の欄を含んで構成される。
第2の実施形態の商品の仮登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)の商品であるクマのぬいぐるみを取り出して、読取窓52のカメラ27に翳して、このクマのぬいぐるみを仮登録までの一連の処理である。
ステップS30において、誘導部94は、類似商品データベース362Aに候補商品の特徴の相違が顕著な基準画像の情報が存在するか否かを判断する。誘導部94は、この情報が存在するならば(Yes)、ステップS33の処理に進み、この情報が存在しないならば(No)、ステップS31の処理に進む。
ステップS32において、誘導部94は、両商品の特徴の相違が顕著な基準画像を、2つの候補商品の組み合わせ情報と共に類似商品データベース362に記録する。これにより、同様な候補商品を検出した場合には、類似度を計算することなく、迅速に誘導表示することができる。
ステップS33において、誘導部94は、両商品の特徴の相違が顕著な基準画像を表示することによって、オペレータが翳している商品の回転をナビゲーションする。ステップS20の処理が終了すると、ステップS11の処理に戻る。
このように動作することで、誘導部94は、オペレータが翳している商品を、特徴の相違が顕著な基準画像の方向に翳すようにナビゲーションすることができる。
図13(a)は、クマのぬいぐるみの上方向をカメラ27に翳したときのディスプレイ221の表示例である。
このとき、ディスプレイ221には、クマのぬいぐるみが全画面で表示されていると共に、このぬいぐるみの正面方向の基準画像と、「このように回転」のガイダンスが表示されている。このガイダンスは、オペレータに対して、クマのぬいぐるみの正面方向をカメラ27に向けるように誘導している。
その後、オペレータは、クマのぬいぐるみを矢印方向に回転する。これにより、クマのぬいぐるみの顔がカメラ27に翳される。これにより、商品識別装置2は、この商品がクマのぬいぐるみであることを識別可能である。
このとき、ディスプレイ221には、クマのぬいぐるみと共に、「クマ・ぬいぐるみ・1200円」のウインドウが表示されている。このウインドウは、オペレータに対して、商品が一意に識別できたことを伝えている。
(a) 商品の基準画像の撮影方向は、6方向に限定されない。
(b) 商品の回転のナビゲーションは、上記実施形態に限定されない。例えば、音声やポリゴンの回転アニメーションなどによって、商品の回転をナビゲーションしてもよい。
(c) 候補商品の数は、2つに限定されず、3以上の候補商品から特徴(相違)が顕著となる方向を決定してもよい。
(d) 候補商品の基準画像の比較は、撮影時に定義した方向が同一のものに比較に限定されない。類似度が高い2つの基準画像の方向からの相対方向で比較してもよい。
〔付記〕
<請求項1>
オペレータが翳した物体の画像を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記物体を検出する物体検出手段と、
前記物体検出手段が検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断手段と、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を前記撮影手段に向けるように、前記オペレータに対して前記物体の回転を誘導する誘導手段と、
を備えることを特徴とする商品識別装置。
<請求項2>
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記物体の回転を誘導する方向の矢印を表示する表示手段、
を備えることを特徴とする請求項1に記載の商品識別装置。
<請求項3>
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像の方向の情報を記憶手段に蓄積する、
ことを特徴とする請求項1または請求項2に記載の商品識別装置。
<請求項4>
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記複数の商品の各基準画像のうち相違が顕著な画像を表示する表示手段、
を備えることを特徴とする請求項1に記載の商品識別装置。
<請求項5>
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、かつ前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像を識別する情報を記憶手段に蓄積する、
を備えることを特徴とする請求項1または請求項4に記載の商品識別装置。
<請求項6>
オペレータが翳した物体の画像を撮影する撮影ステップと、
前記撮影ステップで撮影した画像から前記物体を検出する物体検出ステップと、
検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断ステップと、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を撮影するように、前記オペレータに対して前記物体の回転を誘導する誘導ステップと、
を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法。
2 商品識別装置
21 マイクロコンピュータ (制御手段)
211 CPU
212 ROM
213 RAM
22 表示・操作部
221 ディスプレイ (表示手段)
222 タッチパネル
23 キーボード
24 顧客用ディスプレイ
27 カメラ (撮影手段)
28 スピーカ
3 POS端末
36 HDD
361 特徴量ファイル
362 類似商品データベース
90 画像取得部
91 物体検出部 (物体検出手段)
92 類似度演算部
93 類似度判断部 (類似度判断手段)
94 誘導部 (誘導手段)
95 確定通知部
96 入力取得部
97 情報出力部
99 売上登録部
Claims (6)
- オペレータが翳した物体の画像を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記物体を検出する物体検出手段と、
前記物体検出手段が検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断手段と、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を前記撮影手段に向けるように、前記オペレータに対して前記物体の回転を誘導する誘導手段と、
を備えることを特徴とする商品識別装置。 - 前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記物体の回転を誘導する方向の矢印を表示する表示手段、
を備えることを特徴とする請求項1に記載の商品識別装置。 - 前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像の方向の情報を記憶手段に蓄積する、
ことを特徴とする請求項1または請求項2に記載の商品識別装置。 - 前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記複数の商品の各基準画像のうち相違が顕著な画像を表示する表示手段、
を備えることを特徴とする請求項1に記載の商品識別装置。 - 前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、かつ前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像を識別する情報を記憶手段に蓄積する、
を備えることを特徴とする請求項1または請求項4に記載の商品識別装置。 - オペレータが翳した物体の画像を撮影する撮影ステップと、
前記撮影ステップで撮影した画像から前記物体を検出する物体検出ステップと、
検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断ステップと、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を撮影するように、前記オペレータに対して前記物体の回転を誘導する誘導ステップと、
を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014255539A JP6274097B2 (ja) | 2014-12-17 | 2014-12-17 | 商品識別装置および商品認識ナビゲーション方法 |
US14/924,387 US9811816B2 (en) | 2014-12-17 | 2015-10-27 | Commodity identification device and commodity recognition navigation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014255539A JP6274097B2 (ja) | 2014-12-17 | 2014-12-17 | 商品識別装置および商品認識ナビゲーション方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018001095A Division JP6547856B2 (ja) | 2018-01-09 | 2018-01-09 | 情報表示装置、誘導表示方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016115282A JP2016115282A (ja) | 2016-06-23 |
JP6274097B2 true JP6274097B2 (ja) | 2018-02-07 |
Family
ID=56130015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014255539A Active JP6274097B2 (ja) | 2014-12-17 | 2014-12-17 | 商品識別装置および商品認識ナビゲーション方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9811816B2 (ja) |
JP (1) | JP6274097B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6274097B2 (ja) * | 2014-12-17 | 2018-02-07 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
JP6295944B2 (ja) * | 2014-12-18 | 2018-03-20 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
JP6193897B2 (ja) * | 2015-01-05 | 2017-09-06 | 東芝テック株式会社 | 情報処理装置、店舗システム及びプログラム |
JP6316245B2 (ja) * | 2015-07-22 | 2018-04-25 | 東芝テック株式会社 | 情報処理装置およびプログラム |
JPWO2017085771A1 (ja) * | 2015-11-16 | 2018-09-20 | 富士通株式会社 | 精算支援システム、精算支援プログラム、及び精算支援方法 |
US20170193290A1 (en) * | 2016-01-06 | 2017-07-06 | Toshiba Tec Kabushiki Kaisha | Commodity registration apparatus and commodity registration method |
JP6801676B2 (ja) * | 2016-01-21 | 2020-12-16 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP6742171B2 (ja) * | 2016-06-27 | 2020-08-19 | 東芝テック株式会社 | 決済処理装置 |
US10331969B2 (en) * | 2016-10-28 | 2019-06-25 | Ncr Corporation | Image processing for scale zero validation |
JP6851193B2 (ja) * | 2016-12-20 | 2021-03-31 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP6873711B2 (ja) * | 2017-01-16 | 2021-05-19 | 東芝テック株式会社 | 商品認識装置 |
JP7131621B2 (ja) * | 2018-09-26 | 2022-09-06 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP7469624B2 (ja) | 2019-04-26 | 2024-04-17 | 株式会社デンソーウェーブ | 二次元コード読取装置、設置位置調整装置、プログラム |
CN110414559B (zh) * | 2019-06-26 | 2021-09-03 | 武汉大学 | 智能零售柜商品目标检测统一框架的构建方法及商品识别方法 |
JP7235119B2 (ja) * | 2019-08-08 | 2023-03-08 | 日本電気株式会社 | 処理装置、会計装置、処理方法及びプログラム |
CN111126384A (zh) * | 2019-12-12 | 2020-05-08 | 创新奇智(青岛)科技有限公司 | 基于特征融合的商品分类系统及分类方法 |
US11200671B2 (en) * | 2019-12-31 | 2021-12-14 | International Business Machines Corporation | Reference image guided object detection in medical image processing |
US20210407109A1 (en) * | 2020-06-24 | 2021-12-30 | Maui Jim, Inc. | Visual product identification |
US20220277313A1 (en) * | 2021-02-26 | 2022-09-01 | Ncr Corporation | Image-based produce recognition and verification |
JP2023027501A (ja) * | 2021-08-17 | 2023-03-02 | Necプラットフォームズ株式会社 | 商品認識システム、商品認識装置、方法、及びプログラム |
JP7113469B1 (ja) | 2021-12-24 | 2022-08-05 | 学校法人明治大学 | 物体認識システム、物体認識プログラム及び、物体認識方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8255291B1 (en) * | 2000-08-18 | 2012-08-28 | Tensilrus Capital Nv Llc | System, method and apparatus for interactive and comparative shopping |
JP3860552B2 (ja) * | 2003-03-25 | 2006-12-20 | 富士通株式会社 | 撮影装置 |
JP4257549B2 (ja) * | 2007-07-17 | 2009-04-22 | トヨタ自動車株式会社 | 操作装置 |
DE102007045897A1 (de) * | 2007-09-26 | 2009-04-09 | Carl Zeiss Microimaging Gmbh | Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe |
JP2009163331A (ja) * | 2007-12-28 | 2009-07-23 | Toshiba Tec Corp | 商品販売データ処理装置及びコンピュータプログラム |
JP5132733B2 (ja) * | 2010-08-23 | 2013-01-30 | 東芝テック株式会社 | 店舗システムおよびプログラム |
KR101641513B1 (ko) * | 2010-10-22 | 2016-07-21 | 엘지전자 주식회사 | 이동 단말기의 영상 촬영 장치 및 그 방법 |
JP5736823B2 (ja) * | 2011-02-16 | 2015-06-17 | オムロンヘルスケア株式会社 | 体重管理装置 |
JP5497702B2 (ja) * | 2011-07-29 | 2014-05-21 | 楽天株式会社 | 情報提供装置、情報提供方法、情報提供プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体 |
JP2014160514A (ja) | 2011-09-06 | 2014-09-04 | Toshiba Tec Corp | 情報処理装置、プログラムおよび情報処理方法 |
JP5551143B2 (ja) * | 2011-12-02 | 2014-07-16 | 東芝テック株式会社 | 店舗システムおよびプログラム |
JP5518918B2 (ja) | 2012-02-29 | 2014-06-11 | 東芝テック株式会社 | 情報処理装置、店舗システム及びプログラム |
JP2013210971A (ja) | 2012-03-30 | 2013-10-10 | Toshiba Tec Corp | 情報処理装置及びプログラム |
JP5760022B2 (ja) * | 2013-02-28 | 2015-08-05 | 東芝テック株式会社 | 商品情報表示装置及びコンピュータプログラム |
US20140278742A1 (en) * | 2013-03-15 | 2014-09-18 | Michael Joseph MacMillan | Store-wide customer behavior analysis system using multiple sensors |
JP6264834B2 (ja) * | 2013-10-24 | 2018-01-24 | 富士通株式会社 | ガイド方法、情報処理装置およびガイドプログラム |
US9306970B2 (en) * | 2013-10-25 | 2016-04-05 | MSA Security, Inc. | Systems and methods for facilitating remote security threat detection |
US20150121523A1 (en) * | 2013-10-25 | 2015-04-30 | MSA Security, Inc. | Systems and methods for facilitating remote security threat detection |
JP2015099549A (ja) * | 2013-11-20 | 2015-05-28 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
JP5770899B2 (ja) * | 2014-09-03 | 2015-08-26 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP6274097B2 (ja) * | 2014-12-17 | 2018-02-07 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
-
2014
- 2014-12-17 JP JP2014255539A patent/JP6274097B2/ja active Active
-
2015
- 2015-10-27 US US14/924,387 patent/US9811816B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9811816B2 (en) | 2017-11-07 |
US20160180509A1 (en) | 2016-06-23 |
JP2016115282A (ja) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6274097B2 (ja) | 商品識別装置および商品認識ナビゲーション方法 | |
JP6369258B2 (ja) | 商品登録装置、商品登録方法およびプログラム | |
JP6141207B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP6348827B2 (ja) | 情報処理装置、店舗システムおよびプログラム | |
JP6220679B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5450560B2 (ja) | 商品データ処理装置、商品データ処理方法及び制御プログラム | |
JP5612645B2 (ja) | 情報処理装置及びプログラム | |
JP6147676B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP6360350B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP2014052800A (ja) | 情報処理装置及びプログラム | |
JP5551140B2 (ja) | 情報処理装置及びプログラム | |
JP2017139019A (ja) | 情報処理装置、及びプログラム | |
JP6208091B2 (ja) | 情報処理装置およびプログラム | |
JP6547856B2 (ja) | 情報表示装置、誘導表示方法およびプログラム | |
US20150023548A1 (en) | Information processing device and program | |
JP6409637B2 (ja) | 商品登録装置、およびその商品登録方法 | |
JP6375924B2 (ja) | 商品登録装置、商品特定方法及びプログラム | |
JP6376955B2 (ja) | 情報処理装置、販売データ処理装置およびプログラム | |
JP5770899B2 (ja) | 情報処理装置及びプログラム | |
JP2017211880A (ja) | 情報処理装置及びプログラム | |
JP6503670B2 (ja) | 商品登録装置、商品登録方法、および商品登録プログラム | |
JP5797703B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP6295944B2 (ja) | 商品識別装置および商品認識ナビゲーション方法 | |
JP6384309B2 (ja) | 商品識別装置、商品認識ナビゲーション方法及びプログラム | |
JP2018136621A (ja) | 情報処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6274097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |