JP6222345B2 - Pos端末装置、posシステム、画像処理方法及びプログラム - Google Patents

Pos端末装置、posシステム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6222345B2
JP6222345B2 JP2016508316A JP2016508316A JP6222345B2 JP 6222345 B2 JP6222345 B2 JP 6222345B2 JP 2016508316 A JP2016508316 A JP 2016508316A JP 2016508316 A JP2016508316 A JP 2016508316A JP 6222345 B2 JP6222345 B2 JP 6222345B2
Authority
JP
Japan
Prior art keywords
product
image
pos terminal
dimensional
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016508316A
Other languages
English (en)
Other versions
JPWO2015140855A1 (ja
Inventor
京騎 井上
京騎 井上
英路 村松
英路 村松
道生 永井
道生 永井
信一 阿南
信一 阿南
準 小林
準 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015140855A1 publication Critical patent/JPWO2015140855A1/ja
Application granted granted Critical
Publication of JP6222345B2 publication Critical patent/JP6222345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Description

本発明は、POS(Point Of Sales)端末装置、POSシステム、画像処理方法及びプログラムに関し、特に商品の決済を行うために用いられるPOS端末装置、POSシステム、画像処理方法及びプログラムに関する。
スーパマーケットや量販店等の決済場所(料金支払所:レジ)に設置するPOS(Point Of Sales)端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接POS端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、POS端末装置の操作に要する時間はさらに増大する。
そのため、POS端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。この技術に関連して、特許文献1には、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段とを有する店舗システムが開示されている。
特許第5132732号公報
カメラで商品を撮影する際、商品の画像だけでなく背景の画像も撮影されてしまう。商品の認識処理において、背景の画像は不要なノイズとなる。したがって、商品の認識処理をするためには、背景の画像を除去する必要がある。一方、特許文献1には、背景を除去する方法が開示されていない。よって、特許文献1に開示された技術では、背景の画像を含んだ画像を用いて商品の認識処理を行う。したがって、商品認識の精度が悪化するため、商品の認識率が悪化するおそれがある。
本発明は、このような課題を解決するためになされたものであり、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なPOS端末装置、POSシステム、画像処理方法及びプログラムを提供することにある。
本発明にかかるPOS端末装置は、複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する少なくとも1つの撮像手段と、前記撮像手段によって生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成する三次元画像生成手段と、前記三次元画像を用いて、前記商品の画像を抽出する商品画像抽出手段とを有する。
また、本発明にかかるPOSシステムは、POS端末装置と、前記POS端末装置と通信を行う管理装置とを有する。
また、本発明にかかる画像処理方法は、複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成し、前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成し、前記三次元画像を用いて、前記商品の画像を抽出する。
また、本発明にかかるプログラムは、複数の視点で商品を少なくとも1つの撮像手段に撮像させて、当該複数の視点それぞれに対応する複数の二次元画像を生成させるステップと、前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成するステップと、前記三次元画像を用いて、前記商品の画像を抽出するステップとをコンピュータに実行させる。
本発明によれば、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なPOS端末装置、POSシステム、画像処理方法及びプログラムを提供できる。
本発明の実施の形態にかかるPOS端末装置の概要を示す図である。 実施の形態1にかかるPOS端末装置の外観を示す側面図である。 実施の形態1にかかるPOS端末装置の外観を示す平面図である。 実施の形態1にかかるPOS端末装置のハードウェア構成を示す図である。 実施の形態1にかかるPOS端末装置の機能ブロック図である。 実施の形態1にかかるPOS端末装置の処理を示すフローチャートである。 商品画像抽出部の処理を説明するための図である。 商品画像抽出部の処理を説明するための図である。 形状及びパッケージが同じであっても、サイズが異なる商品を例示する図である。 実施の形態2にかかるPOS端末装置の外観を示す平面図である。 実施の形態2にかかるPOS端末装置の機能ブロック図である。 実施の形態2にかかるPOS端末装置の処理を示すフローチャートである。 実施の形態3にかかるPOS端末装置の外観を示す平面図である。 実施の形態3にかかるPOS端末装置の機能ブロック図である。 実施の形態3にかかるPOS端末装置の処理を示すフローチャートである。 左側の鏡像及び右側の鏡像を含む二次元画像を例示する図である。 実施の形態4にかかるPOS端末装置の外観を示す平面図である。 実施の形態4にかかるPOS端末装置の機能ブロック図である。 実施の形態4にかかるPOS端末装置の処理を示すフローチャートである。 実施の形態5にかかるPOS端末装置の開始制御部を示す機能ブロック図である。 実施の形態5にかかるPOS端末装置の開始制御部の処理を示すフローチャートである。 実施の形態6にかかるPOSシステムを示す図である。 実施の形態6にかかる管理装置のハードウェア構成を示す図である。 実施の形態6にかかるPOS端末装置の機能ブロック図である。 実施の形態6にかかる管理装置の機能ブロック図である。
(本発明にかかる実施の形態の概要)
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図1は、本発明の実施の形態にかかるPOS端末装置1の概要を示す図である。図1に示すように、POS端末装置1は、少なくとも1つの撮像部2(撮像手段)と、三次元画像生成部4(三次元画像生成手段)と、商品画像抽出部6(商品画像抽出手段)とを有する。
撮像部2は、複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する。三次元画像生成部4は、撮像部2によって生成された複数の二次元画像を用いて、商品の画像を含む三次元画像を生成する。商品画像抽出部6は、三次元画像を用いて、商品の画像を抽出する。本発明の実施の形態にかかるPOS端末装置1は、商品の認識率の向上に寄与するために、撮像部2によって撮影された画像から商品の画像を抽出することが可能となる。また、上記POS端末装置1を有するPOSシステム、上記処理を実行する画像処理方法についても、商品の認識率の向上に寄与するために、撮像部によって撮影された画像から商品の画像を抽出することが可能となる。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。
図2は、実施の形態1にかかるPOS端末装置100の外観を示す側面図である。また、図3は、実施の形態1にかかるPOS端末装置100の外観を示す平面図である。また、図4は、実施の形態1にかかるPOS端末装置100のハードウェア構成を示す図である。
POS端末装置100は、店員用表示操作部102と、顧客用表示部104と、情報処理装置110と、撮像部130とを有する。POS端末装置100は、例えばカウンタ台(図示せず)に載置され、POS端末装置100を挟んで、図2の左側に顧客が、右側に店員が対峙する。
店員用表示操作部102は、例えばタッチパネル、LCD(Liquid Crystal Display)、又はキーボード等である。店員用表示操作部102は、情報処理装置110の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。
顧客用表示部104は、例えばタッチパネル又はLCD等である。顧客用表示部104は、情報処理装置110の制御によって、顧客に必要な情報を表示する。また、顧客用表示部104は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。
情報処理装置110は、例えばコンピュータである。情報処理装置110は、例えばCPU(Central Processing Unit)等の制御部112と、例えばメモリ又はハードディスク等の記憶部114と、通信装置116とを有する。情報処理装置110は、店員用表示操作部102、顧客用表示部104及び撮像部130の動作を制御する。また、情報処理装置110は、店員用表示操作部102によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置110は、撮像部130によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置116は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。
撮像部130は、店員が顧客から受け取った商品Aの画像(商品画像)を読み取る。これによって、POS端末装置100は、商品の認識処理を行う。詳しくは後述する。撮像部130は、例えばCCD(Charge-Coupled Device)等の撮像素子(カメラ)であって、商品Aの画像を読み取る処理を行う。具体的には、撮像部130は、商品Aを撮像して、その商品Aの画像を含む二次元のカラー画像又はモノクロ画像(二次元画像)を生成する。なお、以下、用語「二次元画像」は、情報処理における処理対象としての、「二次元画像を示す画像データ」も意味する。なお、撮像部130によって生成された二次元画像には、商品Aの背後にある背景物体Bが、背景として含まれ得る。
また、実施の形態1においては、撮像部130は、例えば2つの撮像素子である撮像部L130L及び撮像部R130Rから構成される。撮像部L130L及び撮像部R130Rは、間隔D離れて左右にそれぞれ設けられている。撮像部L130Lは、左側の視点から商品Aを撮像して、左側の視点に対応する二次元画像ImLを生成する。同様に、撮像部R130Rは、右側の視点から商品Aを撮像して、右側の視点に対応する二次元画像ImRを生成する。これにより、撮像部130は、複数の視点それぞれに対応する複数の二次元画像を生成する。
図5は、実施の形態1にかかるPOS端末装置100の機能ブロック図である。また、図6は、実施の形態1にかかるPOS端末装置100の処理を示すフローチャートである。実施の形態1にかかるPOS端末装置100は、認識処理部200を有する。認識処理部200は、二次元画像撮影制御部202と、三次元画像生成部204と、商品画像抽出部206と、商品認識処理部208とを有する。
なお、認識処理部200は、例えば、制御部112の制御によって、プログラムを実行させることによって実現できる。より具体的には、認識処理部200は、制御部112の制御により、記憶部114に格納されたプログラムを実行させることによって実現される。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部200の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態における認識処理部及び開始制御部についても同様である。
二次元画像撮影制御部202は、左側の視点から、商品画像を含む二次元画像ImLを、撮像部L130Lに撮影させる(S102)。具体的には、二次元画像撮影制御部202は、撮像部L130Lを制御して、撮像部130に向けられた商品を、左側の視点から撮像させる。そして、二次元画像撮影制御部202は、撮像部L130Lによって生成された二次元画像ImLを取得し、三次元画像生成部204に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Bの画像(背景画像)も含まれうる。
二次元画像撮影制御部202は、右側の視点から、商品画像を含む二次元画像ImRを、撮像部R130Rに撮影させる(S104)。具体的には、二次元画像撮影制御部202は、撮像部R130Rを制御して、撮像部130に向けられた商品を、右側の視点から撮像させる。そして、二次元画像撮影制御部202は、撮像部R130Rによって生成された二次元画像ImRを取得し、三次元画像生成部204に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Bの画像(背景画像)も含まれうる。
三次元画像生成部204は、二次元画像ImL及び二次元画像ImRを用いて、三次元画像を生成する(S110)。そして、三次元画像生成部204は、生成された三次元画像を、商品画像抽出部206に対して出力する。具体的には、三次元画像生成部204は、二次元画像ImL及び二次元画像ImRそれぞれで撮像された、商品A及び背景物体Bの各位置までの距離(奥行き)を算出する。そして、三次元画像生成部204は、商品A及び背景物体Bにおける各位置に対応する画素の集合として構成される三次元画像を生成する。なお、以下、用語「三次元画像」は、情報処理における処理対象としての、「三次元画像を示す画像データ」も意味する。
ここで、三次元画像における画素は、商品Aにおける各位置及び背景物体Bにおける各位置の色情報と、その各位置までの距離を示す距離情報とを含む。例えば、撮影対象の物体(商品A又は背景物体B)における位置Pが三次元画像の画素(X1,Y1)に対応する場合、画素(X1,Y1)は、位置Pの色情報と、撮像部130から位置Pまでの距離を示す距離情報とを含む。なお、色情報は、RGB(Red-Green-Blue)それぞれにおける輝度値、階調値又は色調値等を含む。
さらに具体的には、三次元画像生成部204は、例えば、二次元画像ImLと二次元画像ImRとの視差を用いて、商品A及び背景物体Bにおける各位置までの距離を算出する。視差は2つの二次元画像間の物体のずれ量であり、ブロックマッチングなどにより算出することができる。撮影された物体までの距離Zと視差dの関係は、d=f×D/Zで表される。ここで、fは、撮像部L130L及び撮像部R130Rの焦点距離である。距離Zと視差dとは相関があり、本実施形態での距離情報(奥行き情報)として利用することができる。また、距離Zと視差dとは、互いに単調に減少する関係であり、これらの関係から視差情報を距離情報(奥行き情報)として利用することができる。
商品画像抽出部206は、三次元画像において撮像部130からの距離が閾値Th1(第1の閾値)以下の区域を判別し、三次元画像から、その区域に対応する画像区域を、商品画像として抽出する(S112)。さらに、商品画像抽出部206は、抽出された商品画像を、商品認識処理部208に対して出力する。
具体的には、商品画像抽出部206は、三次元画像を構成する各画素について、各画素に含まれる距離情報が示す距離と、閾値Th1とを比較する。そして、商品画像抽出部206は、閾値Th1以下である距離を示す距離情報を含む画素を抽出する。これにより、商品画像抽出部206は、抽出された画素の集合を、商品画像に対応する画像区域として抽出する。
図7A及び図7Bは、商品画像抽出部206の処理を説明するための図である。図7Aは、三次元画像生成部204によって生成された、商品画像を含む三次元画像Im3を例示する図である。三次元画像Im3には、商品画像A(実線で示す)と、背景画像B(一点鎖線で示す)とが含まれる。図7A及び図7Bの例において、商品画像Aに対応する商品Aは、ペットボトル飲料である。また、背景画像Bに対応する背景物体Bは、POS端末装置100と対向するように配置された棚である。商品画像Aに対応する商品Aは、撮像部130からの距離が閾値Th1以下である位置にある。一方、背景画像Bに対応する背景物体Bは、撮像部130からの距離が閾値Th1を超える位置にある。
商品画像抽出部206は、三次元画像Im3において、閾値Th1以下である距離を示す距離情報を含む画素の集合である画像区域を、三次元画像Im3から抜き出す。ここで、上述したように、商品画像Aに対応する商品Aは、撮像部130からの距離が閾値Th1以下である位置にある。これによって、図7Bに例示するような、商品画像Eが抽出される。ここで、商品画像Eには、背景画像が含まれていない。つまり、商品画像抽出部206は、三次元画像Im3から、背景画像Bを除去している。
商品認識処理部208(図5)は、商品画像抽出部206によって抽出された商品画像を用いて、商品認識処理を行う(S114)。POS端末装置100は、商品認識処理部208による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。ここで、商品情報は、商品を識別するための情報であって、例えば、商品名、商品メーカ名、商品の価格等を含んでもよい。また、商品情報は、商品のサイズ(容量)を含んでもよい。
商品認識処理について、具体的には、例えば、商品認識処理部208は、予め、商品名とその商品に関する情報(基準商品情報)とを対応付けて記憶している。商品認識処理部208は、抽出された商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。基準商品情報については、以下に例示する。
例えば、基準商品情報は、商品の基準となる画像(基準商品画像)であってもよい。その場合、商品認識処理部208は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部208は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。
また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ(商品特徴データ)であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感(つや等)を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも1つを含んでもよい。この場合、商品認識処理部208は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部208は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部208は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部208は、商品のパッケージに付された文字情報をOCR(Optical Character Reader)によって読み取ることによって、商品名を認識してもよい。
ここで、商品画像抽出部206によって抽出された商品画像は、背景が除去されている。したがって、商品認識処理部208が商品の認識処理を行う際に、背景を除外して処理する必要がなくなる。三次元画像(又は二次元画像)に商品画像だけでなく背景画像が含まれると、商品認識処理において、まず、三次元画像において、商品画像がどこにあるかを認識する必要がある。特に、セルフレジ等のように、不特定多数の顧客がPOS端末装置100を使用する場合、撮像部130に対してどの位置に商品を向けるかは、その顧客によって異なる。この、商品画像がどこにあるかを認識する処理は、例えば、基準商品情報を、三次元画像に含まれる全ての画像について照合しなければならない。そのため、処理時間が膨大となる。
一方、本実施の形態においては、商品画像そのものを使用するので、三次元画像において商品画像がどこにあるかを認識する必要はない。したがって、本実施の形態にかかるPOS端末装置100は、商品認識処理の処理速度を向上させることが可能となる。言い換えると、本実施の形態にかかるPOS端末装置100は、商品認識処理における資源の負荷を低減させることが可能となる。また、商品画像のデータ量は、三次元画像のデータ量よりも、背景が除去されている分、小さくなる。したがって、処理対象のデータ量を削減できるので、資源の低減及び負荷の低減を実現することが可能となる。したがって、タブレット端末等の、資源に乏しい装置を、本実施の形態にかかるPOS端末装置100として使用することも可能となる。なお、ここでいう「資源」とは、POS端末装置100自体のハードウェア資源だけでなく、ネットワーク資源をも含む。つまり、本実施の形態においては、ネットワーク負荷を低減することも可能である。
さらに、商品画像に背景画像が含まれると、商品認識処理において、その背景画像が考慮されてしまう。そのため、商品認識処理における認識率が悪化する。一方、商品画像抽出部206によって抽出された商品画像は、背景が除去されているので、認識率を向上させることが可能となる。
また、撮像部130によって撮影された商品画像を含む二次元画像に、その商品を持った店員等の体の画像が含まれてしまう場合がある。ここで、商品画像を抽出する際に、予め撮影しておいた背景画像との差分を用いる方法では、この店員等の体も差分として認識される。したがって、抽出された商品画像に店員等の体の画像も含まれてしまい、店員等の体の画像がノイズとなって商品の認識率が低下する。
ここで、人が商品を撮像部130に商品を向けるとき、通常、手を伸ばして商品を向ける。したがって、店員等の体は、通常、撮像部130から離れている。したがって、本実施の形態においては、商品画像抽出部206は、店員等の体の画像を除去することができる。そのため、商品認識処理部208は、店員等の体の画像を考慮せずに、商品の画像のみで、商品の認識処理を行うことができる。したがって、本実施の形態にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。
また、予め撮影しておいた背景画像との差分を用いる方法では、外光(例えば夕日)等の影響で背景の色合いが予め撮影しておいた背景画像と異なる場合も、商品画像を抽出する際に、この背景も差分として認識されてしまうおそれがある。したがって、商品画像に背景の画像も含まれてしまい、背景の画像がノイズとなって商品の認識率が低下する。
ここで、背景物体Bは、撮像部130から離れている。したがって、本実施の形態においては、商品画像抽出部206は、背景の色の変化に関わらず、背景を確実に除去できる。したがって、本実施の形態にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。
また、抽出された商品画像は、三次元画像の一部である。したがって、抽出された商品画像には、商品Aにおける各位置までの距離、つまり奥行きを示す距離情報が含まれている。これにより、商品認識処理部208は、商品Aの表面の凹凸形状を認識することができる。したがって、商品認識処理部208は、この認識された商品Aの表面の凹凸形状を用いて、商品Aの認識処理を行うことが可能となる。
例えば、図7A及び図7Bの例で、商品Aであるペットボトル飲料の容器は、略円筒形状である。したがって、商品Aに対応する商品画像Eにおいて、中央部分e1から両端e2にかけて、距離が遠くなるようになっている。言い換えると、商品画像Eにおいて、中央部分に対応する画素の距離情報が示す距離は、両端部分に対応する画素の距離情報が示す距離よりも短い。これにより、商品認識処理部208は、商品画像Eにおいて、中央部分e1が凸となっており、両端e2が凹となっていることを認識することができる。したがって、商品特徴データが、距離情報に対応する凹凸形状を示すデータを含むことによって、凹凸形状を用いた商品認識処理を行うことが可能となる。
これにより、本実施の形態にかかるPOS端末装置100は、例えば、商品のパッケージに付された写真(例えばリンゴの写真)と、実物(例えばリンゴそのもの)とを区別して、商品の認識処理を行うことが可能となる。つまり、本実施の形態にかかるPOS端末装置100は、リンゴの写真を、平面的であって凹凸がないと認識し、リンゴそのものを、立体的であって凹凸があると認識する。また、本実施の形態にかかるPOS端末装置100は、例えばリンゴとトマトのように、外形形状及び色が類似しているが凹凸形状が異なる商品を区別して、商品の認識処理を行うことが可能となる。したがって、本実施の形態にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。
また、商品の中には、商品の形状及びパッケージが同じであっても、サイズが異なるものがある。例えば、図8に示すように、ペットボトル飲料は、中身が同じであっても、サイズ(容量)が異なる複数の種類のものが販売されている。このような商品は、一般的に、サイズによって価格が異なる。このような場合、単に商品画像を用いて商品認識処理を行うだけでは、その商品のサイズは認識できない。したがって、適切な価格で決済するためには、店員等が価格又は容量等を手で入力する必要がある。
一方、本実施の形態にかかるPOS端末装置100は、上述したように、三次元画像生成部204において、商品までの距離を算出することができる。三次元画像における商品画像の寸法は、実際の商品の寸法が同じであっても、その距離(奥行き)が遠くなるほど小さくなり、距離(奥行き)が近くなるほど大きくなる。つまり、三次元画像における商品画像の寸法と、商品までの距離とから、幾何学的に、実際の商品のサイズを把握することができる。
したがって、商品認識処理部208は、抽出された商品画像に含まれる、商品までの距離を示す距離情報を取得し、商品画像の寸法を計測することによって、商品のサイズを認識するようにしてもよい。具体的には、商品認識処理部208は、商品画像を構成する各画素の距離情報から、商品までの距離を算出する。算出方法は、例えば、商品画像のエッジに対応する画素が示す距離を、商品までの距離としてもよいし、商品画像の区域内の各画素が示す距離の平均を、商品までの距離としてもよい。
さらに、商品認識処理部208は、三次元画像における商品画像のサイズを計測する。商品画像のサイズは、例えば、縦寸法及び横寸法が計測される。そして、商品認識処理部208は、商品画像のサイズと、商品までの距離とから、実際の商品の寸法を算出する。ここで、商品認識処理の基準となる基準商品情報は、商品の寸法と容量とを含んでもよい。したがって、商品認識処理部208は、商品の名称及び容量(図8の例では、「商品名ABCの容量500ml」)といったことを把握することができる。これにより、本実施の形態にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。
ここで、本実施の形態とは異なる距離を計測する手段として、距離センサ(深度センサ)を有する三次元カメラがある。三次元カメラは、距離センサの他に、さらに、本実施の形態と同様に二次元画像を生成する撮像部を有する。距離センサは、赤外線を照射する照射部と、物体を反射した赤外線を受光する受光部とを有する。距離センサは、例えばTOF(Time Of Flight)方式で、物体の各位置それぞれについて、距離を計測する。そして、距離センサは、物体の各位置までの距離を示す画素の集合である距離画像を生成する。照射部、受光部及び撮像部は、互いに近接して配置されている。
さらに、三次元カメラは、撮像部によって生成された二次元画像と、距離画像とを対応付ける。具体的には、三次元カメラは、二次元画像における各画素に対応する物体の位置と、距離画像における各画素に対応する物体の位置とを対応付ける。このとき、撮像部と距離センサとの間の距離と、撮像部及び距離センサそれぞれの視野角とから、二次元画像における各画素位置と、距離画像における各画素位置との位置合わせを行うような処理を行う。ここで、この位置合わせを行う処理を精度よく行うことは容易ではなく、したがって、二次元画像と距離画像とを対応付けることは、容易ではない。
一方、本実施の形態にかかるPOS端末装置100は、撮像部として、二次元画像を生成する撮像素子を使用し、複数の視点で撮像された複数の二次元画像を用いて、三次元画像を生成するように構成されている。つまり、本実施の形態においては、距離センサは不要である。したがって、上記のような、位置合わせ処理を行う必要はない。したがって、本実施の形態においては、三次元画像を生成する処理を容易にすることが可能となる。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2は、撮像部が1つである点で、実施の形態1と異なる。なお、実施の形態1と実質的に同様の構成部分については同じ符号を付し、説明を省略する(後述する他の実施の形態についても同様)。
図9は、実施の形態2にかかるPOS端末装置100の外観を示す平面図である。実施の形態2にかかるPOS端末装置100は、1つの撮像部130を有する。撮像部130は、情報処理装置110の制御部112による制御によって、例えば水平方向に移動するように構成されている。なお、これ以外の実施の形態2にかかるPOS端末装置100のハードウェア構成は、実施の形態1にかかるPOS端末装置100と実質的に同一である。
例えば、撮像部130は、左側位置Lから、水平方向に間隔D離れた右側位置Rに移動する。なお、撮像部130は、実施の形態2にかかる撮像部130と同様の機能を有する。つまり、撮像部130は、左側位置Lで、左側の視点から商品Aを撮像して、左側の視点に対応する二次元画像ImLを生成する。同様に、撮像部130は、右側位置Rで、右側の視点から商品Aを撮像して、右側の視点に対応する二次元画像ImRを生成する。これにより、撮像部130は、複数の視点それぞれに対応する複数の二次元画像を生成する。
図10は、実施の形態2にかかるPOS端末装置100の機能ブロック図である。また、図11は、実施の形態2にかかるPOS端末装置100の処理を示すフローチャートである。実施の形態2にかかるPOS端末装置100は、認識処理部220を有する。認識処理部220は、二次元画像撮影制御部222と、三次元画像生成部204と、商品画像抽出部206と、商品認識処理部208とを有する。
二次元画像撮影制御部222は、左側の視点から、商品画像を含む二次元画像ImLを、撮像部130に撮影させる(S202)。具体的には、二次元画像撮影制御部222は、撮像部130を左側位置Lに位置させる。二次元画像撮影制御部222は、撮像部130を制御して、撮像部130に向けられた商品を、左側の視点から撮像させる。そして、二次元画像撮影制御部222は、撮像部130によって生成された二次元画像ImLを取得し、三次元画像生成部204に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Bの画像(背景画像)も含まれうる。
二次元画像撮影制御部222は、撮像部130を、左側位置Lから右側位置Rに移動させる(S204)。そして、二次元画像撮影制御部222は、右側の視点から、商品画像を含む二次元画像ImRを、撮像部130に撮影させる(S206)。具体的には、二次元画像撮影制御部222は、撮像部130を制御して、撮像部130に向けられた商品を、右側の視点から撮像させる。そして、二次元画像撮影制御部222は、撮像部130によって生成された二次元画像ImRを取得し、三次元画像生成部204に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Bの画像(背景画像)も含まれうる。
三次元画像生成部204は、S110の処理と同様にして、二次元画像ImL及び二次元画像ImRを用いて、三次元画像を生成する(S210)。二次元画像ImLは、左側の視点から撮影されている。また、二次元画像ImRは、右側の視点から撮像されている。したがって、二次元画像ImLと二次元画像ImRとで視差が生じる。したがって、S110の処理と同様に、三次元画像生成部204は、視差dを算出することができる。さらに、三次元画像生成部204は、左側位置Lと右側位置Rとの間隔Dと、視差dとから、d=f×D/Zの関係式を用いて、距離Zを算出することができる。
商品画像抽出部206は、S112の処理と同様にして、三次元画像において撮像部130からの距離が閾値Th1(第1の閾値)以下の区域を判別し、三次元画像から、その区域に対応する画像区域を、商品画像として抽出する(S212)。さらに、商品認識処理部208は、S114の処理と同様にして、商品画像抽出部206によって抽出された商品画像を用いて、商品認識処理を行う(S214)。
以上説明したように、実施の形態2にかかるPOS端末装置100は、実施の形態1にかかるPOS端末装置100と同様に、商品画像を含む三次元画像を用いて商品の認識処理を行う。したがって、実施の形態1と同様に、実施の形態2にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。さらに、距離センサを用いないので、距離センサを用いることによって必要な位置合わせ等の複雑な処理を行うことなく、三次元画像を生成することが可能となる。
さらに、実施の形態2にかかるPOS端末装置100は、1つの撮像部130のみを用いて三次元画像を生成するように構成されている。したがって、実施の形態1と比較して、撮像部130の個数を削減することが可能となる。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3は、撮像部が1つである点で、実施の形態1と異なる。また、実施の形態3は、撮像部を移動させない点で、実施の形態2と異なる。
図12は、実施の形態3にかかるPOS端末装置100の外観を示す平面図である。実施の形態3にかかるPOS端末装置100は、1つの撮像部130を有する。さらに、実施の形態3にかかるPOS端末装置100は、光学ユニット140を有する。光学ユニット140は、撮像部130の前に設けられている。なお、これ以外の実施の形態3にかかるPOS端末装置100のハードウェア構成は、上述した実施の形態にかかるPOS端末装置100と実質的に同一である。
光学ユニット140は、撮像部130が、左右それぞれの視点で商品を撮像するための部材である。光学ユニット140は、左側鏡142L及び左側鏡144Lと、右側鏡142R及び右側鏡144Rとを有する。左側鏡142L及び左側鏡144Lは、それらの鏡面が互いに向かい合うように配置されている。同様に、右側鏡142R及び右側鏡144Rは、それらの鏡面が互いに向かい合うように配置されている。
左側鏡142Lは、商品A(及び背景物体B)からの光を、左方向から反射させる。左側鏡144Lは、左側鏡142Lからの反射光を反射させる。撮像部130は、撮像素子の左側で、左側鏡142L及び左側鏡144Lで反射された、商品A(及び背景物体B)からの光を受光する。
右側鏡142Rは、商品A(及び背景物体B)からの光を、右方向から反射させる。右側鏡144Rは、右側鏡142Rからの反射光を反射させる。撮像部130は、撮像素子の右側で、右側鏡142R及び右側鏡144Rで反射された、商品A(及び背景物体B)からの光を受光する。
これにより、撮像部130は、左側鏡144Lに映った左側の視点における商品A(及び背景物体B)の鏡像MLと、右側鏡144Rに映った右側の視点における商品A(及び背景物体B)の鏡像MRとを含む二次元画像を生成する。鏡像MLは、二次元画像において左側に形成され、鏡像MRは、二次元画像において右側に形成される。つまり、撮像部130は、左右の複数の視点で商品Aを撮像して、複数の視点それぞれに対応する複数の二次元画像(鏡像ML及び鏡像MR)を生成する。
図13は、実施の形態3にかかるPOS端末装置100の機能ブロック図である。また、図14は、実施の形態3にかかるPOS端末装置100の処理を示すフローチャートである。実施の形態3にかかるPOS端末装置100は、認識処理部240を有する。認識処理部240は、二次元画像撮影制御部242と、鏡像抽出部244と、三次元画像生成部204と、商品画像抽出部206と、商品認識処理部208とを有する。
二次元画像撮影制御部242は、商品の鏡像ML及び鏡像MRを含む二次元画像Im2を、撮像部130に撮影させる(S302)。二次元画像撮影制御部242は、撮像部130を制御して、左側鏡144Lの鏡面及び右側鏡144Rの鏡面を撮像させる。これにより、上述したように、撮像部130によって撮像される二次元画像Im2には、左側の視点おける商品Aの鏡像MRと、右側の視点における商品Aの鏡像MLとを含まれる。そして、二次元画像撮影制御部242は、撮像部130によって生成された二次元画像Im2を取得し、鏡像抽出部244に対して出力する。
鏡像抽出部244は、二次元画像Im2から、鏡像ML及び鏡像MRを抽出する(S304)。そして、鏡像抽出部244は、抽出された鏡像ML及び鏡像MRを、三次元画像生成部204に対して出力する。これによって、三次元画像生成部204は、左側の視点から撮影された二次元画像である鏡像MLと、右側の視点から撮影された二次元画像である鏡像MRとを取得する。なお、鏡像ML及び鏡像MRには、商品画像の他に、背景画像をも含まれ得る。
図15は、鏡像ML及び鏡像MRを含む二次元画像Im2を例示する図である。鏡像MLは、二次元画像Im2の左側の領域SLに位置している。一方、鏡像MRは、二次元画像Im2の右側の領域SRに位置している。鏡像ML及び鏡像MRは、商品画像A(実線で示す)及び背景画像B(一点鎖線で示す)を含む。
ここで、撮像部130と光学ユニット140との位置関係を一定にすることにより、撮像部130によって撮像された二次元画像Im2において、鏡像MLの領域SL及び鏡像MRの領域SRを一定とすることができる。これにより、鏡像抽出部244は、二次元画像Im2において鏡像ML及び鏡像MRを認識することができる。したがって、鏡像抽出部244は、二次元画像Im2から、鏡像ML及び鏡像MRを抽出することができる。
三次元画像生成部204は、S110の処理と同様にして、鏡像ML及び鏡像MRを用いて、三次元画像を生成する(S310)。鏡像MLは、左側の視点から撮影されている。また、鏡像MRは、右側の視点から撮像されている。したがって、鏡像MLと鏡像MRとで視差が生じる。したがって、S110の処理と同様に、三次元画像生成部204は、視差dを算出することができる。さらに、三次元画像生成部204は、光学ユニット140における左側鏡と右側鏡との間隔をDとすると、視差dから、d=f×D/Zの関係式を用いて、距離Zを算出することができる。
そして、商品画像抽出部206は、S112の処理と同様にして、三次元画像において撮像部130からの距離が閾値Th1(第1の閾値)以下の区域を判別し、三次元画像から、その区域に対応する画像区域を、商品画像として抽出する(S312)。さらに、商品認識処理部208は、S114の処理と同様にして、商品画像抽出部206によって抽出された商品画像を用いて、商品認識処理を行う(S314)。
以上説明したように、実施の形態3にかかるPOS端末装置100は、実施の形態1にかかるPOS端末装置100と同様に、商品画像を含む三次元画像を用いて商品の認識処理を行う。したがって、実施の形態1と同様に、実施の形態3にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。さらに、距離センサを用いないので、距離センサを用いることによって必要な位置合わせ等の複雑な処理を行うことなく、三次元画像を生成することが可能となる。
さらに、実施の形態3にかかるPOS端末装置100は、1つの撮像部130のみを用いて三次元画像を生成するように構成されている。したがって、実施の形態1と比較して、撮像部130の個数を削減することが可能となる。さらに、実施の形態3にかかるPOS端末装置100は、撮像部130を左右に移動させることなく、三次元画像を生成するように構成されている。したがって、実施の形態2と比較して、構造を簡略化することが可能となる。
(実施の形態4)
次に、実施の形態4について説明する。実施の形態4は、撮像部が1つである点で、実施の形態1と異なる。また、実施の形態4は、撮像部を移動させない点で、実施の形態2と異なる。また、実施の形態4は、光学ユニットが設けられていない点で、実施の形態3と異なる。
図16は、実施の形態4にかかるPOS端末装置100の外観を示す平面図である。実施の形態4にかかるPOS端末装置100は、1つの撮像部130を有する。この撮像部130は、商品Aについて、複数のタイミングで、二次元画像を撮像する。例えば、撮像部130は、手などを用いて商品Aを移動させたときの、二次元の動画を撮影する。なお、これ以外の実施の形態3にかかるPOS端末装置100のハードウェア構成は、上述した実施の形態にかかるPOS端末装置100と実質的に同一である。
撮像部130は、例えば商品Aを左右に移動させたときの、二次元の動画(二次元動画)を撮影する。このとき、二次元動画は、商品画像が含まれた複数の静止画(フレーム)から構成され得る。この複数の静止画は、商品Aを、様々な視点から撮影して得られたものである。したがって、撮像部130は、複数の視点で商品Aを撮像して、それぞれの視点に対応する複数の二次元画像(静止画)を生成する。
図17は、実施の形態4にかかるPOS端末装置100の機能ブロック図である。また、図18は、実施の形態4にかかるPOS端末装置100の処理を示すフローチャートである。実施の形態4にかかるPOS端末装置100は、認識処理部260を有する。認識処理部260は、二次元動画撮影制御部262と、二次元画像取得部264と、三次元画像生成部268と、商品画像抽出部270と、商品認識処理部208とを有する。
二次元動画撮影制御部262は、商品画像を含む二次元動画を、撮像部130に撮影させる(S402)。具体的には、二次元動画撮影制御部262は、撮像部130を制御して、撮像部130に向けられた商品Aの動画を撮像させる。このとき、商品Aは、POS端末装置100に対して例えば水平方向に移動してもよいし、撮像部130の前で回転(自転)するように移動してもよい。そして、二次元動画撮影制御部262は、撮像部130によって生成された二次元動画を取得し、二次元画像取得部264に対して出力する。
二次元画像取得部264は、二次元動画から、商品画像を含む複数の二次元画像を取得する(S404)。具体的には、二次元画像取得部264は、二次元動画に含まれる複数の静止画(フレーム)を、商品画像を含む二次元画像として抽出する。そして、二次元画像取得部264は、抽出された複数の二次元画像を、三次元画像生成部268に対して出力する。
三次元画像生成部268は、複数の二次元画像を用いて、商品画像を含む三次元画像を生成する(S410)。さらに、三次元画像生成部268は、生成された三次元画像を、商品画像抽出部270に対して出力する。三次元画像生成部268は、商品Aの水平方向への移動速度を判別可能である場合には、複数の二次元画像における視差を利用して、上述した実施の形態と同様に、商品画像を含む三次元画像を生成してもよい。
また、三次元画像生成部268は、複数の視点から撮影された商品Aの複数の二次元画像から、商品Aの三次元形状のモデリングを行うことによって、三次元画像を生成してもよい。例えば、三次元画像生成部268は、SFM(Structure from Motion)の手法を用いて、三次元形状のモデリングを行うことが可能となる。
具体的には、三次元画像生成部268は、複数の二次元画像それぞれから、特徴点を抽出して、その特徴点を、複数の二次元画像間でマッチングする。これによって、三次元空間における商品Aの各点の位置(三次元座標)を推定することができる。また、三次元画像生成部268は、複数の二次元画像間において移動していると推定される特徴点を、商品Aに対応する点であると推定してもよい。一方、三次元画像生成部268は、複数の二次元画像間においてほとんど移動していないと推定される特徴点を、背景物体Bに対応する点であると推定してもよい。つまり、三次元画像生成部268によって生成される三次元画像において、商品Aと背景物体Bとが区別され得る。
商品画像抽出部270は、三次元画像から、商品画像を抽出する(S412)。三次元画像生成部268が視差を利用して三次元画像を生成した場合、商品画像抽出部270は、S112の処理と同様にして、商品画像を抽出することができる。一方、三次元画像生成部268が商品Aの三次元形状のモデリングを行うことによって三次元画像を生成した場合、上述したように、三次元画像において商品Aと背景物体Bとが区別される。したがって、商品画像抽出部270は、商品画像を抽出することができる。
商品認識処理部208は、S114の処理と同様にして、商品画像抽出部270によって抽出された商品画像を用いて、商品認識処理を行う(S414)。このとき、商品画像には、商品Aの三次元形状を示す情報が含まれ得る。したがって、商品特徴データが、三次元形状に関するデータを含むことによって、商品認識処理部208は、この三次元形状を用いた商品認識処理を行うことができる。
以上説明したように、実施の形態4にかかるPOS端末装置100は、実施の形態1にかかるPOS端末装置100と同様に、商品画像を含む三次元画像を用いて商品の認識処理を行う。したがって、実施の形態1と同様に、実施の形態4にかかるPOS端末装置100は、商品の認識率をさらに向上させることが可能となる。さらに、距離センサを用いないので、距離センサを用いることによって必要な位置合わせ等の複雑な処理を行うことなく、三次元画像を生成することが可能となる。
さらに、実施の形態4にかかるPOS端末装置100は、1つの撮像部130のみを用いて三次元画像を生成するように構成されている。したがって、実施の形態1と比較して、撮像部130の個数を削減することが可能となる。さらに、実施の形態4にかかるPOS端末装置100は、撮像部130を左右に移動させることなく、三次元画像を生成するように構成されている。したがって、実施の形態2及び実施の形態3と比較して、構造を簡略化することが可能となる。
(実施の形態5)
次に、実施の形態5について説明する。実施の形態5は、POS端末装置100が、認識処理だけでなく、商品の認識処理を開始するか否かを制御する開始制御を行う点で、実施の形態1と異なる。なお、実施の形態5にかかる構成は、実施の形態1だけでなく、他の実施の形態にも適用可能である。
図19は、実施の形態5にかかるPOS端末装置100の開始制御部300を示す機能ブロック図である。また、図20は、実施の形態5にかかるPOS端末装置100の開始制御部300の処理を示すフローチャートである。開始制御部300は、二次元画像撮影制御部302と、三次元画像生成部304と、物体接近判別部と、認識処理実行制御部308とを有する。開始制御部300は、物体が撮像部130に接近したか否かを判別して、認識処理部200に処理を実行させるか否かを制御する。
なお、開始制御部300は、上述した認識処理部と同様に、例えば、制御部112の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部114に格納されたプログラムを、制御部112の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。
開始制御部300は、三次元画像を取得する(S502)。具体的には、二次元画像撮影制御部302は、二次元画像撮影制御部202と同様に、左側の視点から、物体の画像を含む二次元画像ImLを、撮像部L130Lに撮影させる。また、二次元画像撮影制御部302は、二次元画像撮影制御部202と同様に、右側の視点から、物体の画像を含む二次元画像ImRを、撮像部R130Rに撮影させる。三次元画像生成部304は、三次元画像生成部204と同様に、二次元画像ImL及び二次元画像ImRを用いて、三次元画像を生成する。三次元画像生成部304は、生成された三次元画像を、物体接近判別部306に出力する。これにより、開始制御部300は、三次元画像を取得する。
物体接近判別部は、三次元画像を用いて、閾値Th2(第2の閾値)以内に物体が接近したか否かを判別する(S504)。例えば、物体接近判別部306は、三次元画像を解析して、撮像部130から閾値Th2以内の距離を示す画素が存在するか否かを判別する。物体接近判別部306は、閾値Th2以内の距離を示す画素が存在する場合に、物体が接近していると判別する。一方、物体接近判別部306は、閾値Th2以内の距離を示す画素が存在しない場合に、物体が接近していないと判別する。
なお、閾値Th2は、撮像部130に店員等が商品を向けて商品認識をさせようとするときの、撮像部130から商品(物体)までの距離を考慮して決定される。また、撮像部130から閾値Th2の位置までの間には、店員等が撮像部130に商品を向けるとき以外のときには、物体が存在しないように、閾値Th2が決定される。また、閾値Th2は、閾値Th1よりも大きな値であってもよい。
物体接近判別部306によって閾値Th2以内に物体が接近していると判別された場合(S504のYES)、認識処理実行制御部308は、認識処理部200に対し、商品認識処理を開始するように制御する(S506)。一方、物体接近判別部306によって閾値Th2以内に物体が接近していないと判別された場合(S504のNO)、認識処理実行制御部308は、認識処理部200が商品認識処理を行っているか否かを判断する(S508)。認識処理部200が商品認識処理を行っていない場合(S508のNO)、処理はS502に戻る。
一方、認識処理部200が商品認識処理を行っている場合(S508のYES)、認識処理実行制御部308は、認識処理部200に対し、商品認識処理を終了するように制御する(S510)。つまり、開始制御部300の処理は、POS端末装置100が起動している間は、常に行われてもよい。一旦、物体(商品)が撮像部130に接近したために、認識処理部200による商品の認識処理が開始された場合であっても、認識処理が終了したとき、又は認識処理を行っている間に物体(商品)が撮像部130から離れた(つまり撮像部130から物体までの距離が閾値Th2を超過した)ときは、開始制御部300は、認識処理部200に対し、商品認識処理を終了するように制御する。
このように、実施の形態5にかかるPOS端末装置100は、物体(商品)が撮像部130に接近したときのみ商品認識処理を行う。商品認識処理を行うとき、POS端末装置100(特に撮像部130、制御部112及び記憶部114)の負荷は増大する。したがって、このように構成されていることによって、商品認識処理を行う必要がないときに、POS端末装置100の資源の負荷を低減させることが可能となる。なお、ここでいう「資源」とは、POS端末装置100自体のハードウェア資源だけでなく、ネットワーク資源をも含む。
(実施の形態6)
次に、実施の形態6について説明する。実施の形態6は、後述するように、商品認識処理をPOS端末装置100が行わない点で、実施の形態1と異なる。なお、実施の形態6の構成は、実施の形態1だけでなく、他の実施の形態にも適用可能である。
図21は、実施の形態6にかかるPOSシステム400を示す図である。図21に示すように、POSシステム400は、POS端末装置100と、管理装置420とを有する。POS端末装置100と、管理装置420とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。POS端末装置100と、管理装置420とは、ネットワーク(例えば、無線LAN(Local Area Network)又はインターネット等)を介して互いに接続されていてもよい。また、POS端末装置100と、管理装置420とは、赤外線通信又はBluetooth(登録商標)等の近距離無線通信方式によって互いに通信してもよい。
実施の形態6にかかるPOS端末装置100は、実施の形態1にかかるPOS端末装置100と実質的に同一のハードウェア構成を有している。POS端末装置100は、通信装置116を用いて、管理装置420と通信を行う。この場合、通信装置116は、管理装置420と通信を行うために必要な処理を行う。
管理装置420は、商品情報等を管理する情報処理装置である。管理装置420は、POS端末装置100が配置された店舗に配置されていてもよい。また、管理装置420は、複数の店舗に配置された各POS端末装置100を一括して管理してもよく、この場合、管理装置420は、POS端末装置100が配置された店舗とは別の場所に配置されうる。また、管理装置420は、例えばサーバであって、クラウドサーバであってもよい。
図22は、実施の形態6にかかる管理装置420のハードウェア構成を示す図である。管理装置420は、例えばCPU等の制御部422と、例えばタッチパネル、LCD又はキーボード等のユーザインタフェースである入出力部424と、例えばメモリ又はハードディスク等の記憶部426と、通信装置428とを有する。通信装置428は、POS端末装置100(又は他の管理装置420)と通信を行うために必要な処理を行う。
図23は、実施の形態6にかかるPOS端末装置100の機能ブロック図である。POS端末装置100は、認識処理部410を有する。認識処理部410は、二次元画像撮影制御部202と、三次元画像生成部204と、商品画像抽出部206と、商品画像送信部418とを有する。上述したように、認識処理部410は、例えば、制御部112の制御によって、プログラムを実行させることによって実現できる。
実施の形態6にかかる認識処理部410は、商品認識処理部208を有さず、商品画像送信部418を有する点で、実施の形態1にかかる認識処理部200と異なる。商品画像抽出部206は、抽出された商品画像を、商品画像送信部418に対して出力する。商品画像送信部418は、商品画像(商品画像の画像データ)を、管理装置420に対して送信する。なお、商品画像送信部418は、商品画像を送信する際に、現在の時刻及びPOS端末装置100の識別情報等も、管理装置420に対して送信してもよい。
図24は、実施の形態6にかかる管理装置420の機能ブロック図である。管理装置420は、認識処理部430を有する。また、認識処理部430は、商品画像受信部432と、商品認識処理部438とを有する。
なお、認識処理部430は、例えば、制御部422の制御によって、プログラムを実行させることによって実現できる。より具体的には、認識処理部430は、制御部422の制御により、記憶部426に格納されたプログラムを実行させることによって実現される。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部430の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。
商品画像受信部432は、POS端末装置100によって送信された商品画像(商品画像データ)等を受信し、商品認識処理部438に対して出力する。商品認識処理部438は、実施の形態1にかかる商品認識処理部208と実質的に同一の機能を有する。したがって、商品認識処理部438は、商品画像抽出部206によって抽出された商品画像を用いて、上述した実施の形態1と同様に、商品認識処理を行う。さらに、管理装置420は、得られた商品情報を、POS端末装置100に対して送信する。POS端末装置100は、管理装置420から受信した商品情報を用いて、その商品の決済処理等を行う。
実施の形態6のように、商品認識処理をPOS端末装置100ではなく管理装置420で行うことによって、商品認識処理に必要な基準商品情報を、各POS端末装置100が記憶する必要がなく、また、POS端末装置100が商品認識処理を行う必要がない。したがって、POS端末装置100の資源を節約することが可能となる。また、タブレット端末等、資源の乏しいPOS端末装置100においても、本実施の形態を適用することが可能となる。また、実施の形態6においても、商品画像抽出部206によって商品画像が抽出される。したがって、実施の形態1と同様に、管理装置420による商品認識処理において、資源の負荷を低減させること、処理速度を向上させること、商品の認識率を向上させること、商品の凹凸形状を把握すること、及び、商品のサイズ(容量)を把握することが、可能となる。
また、上述したように、商品画像抽出部206によって抽出される商品画像は、三次元画像から背景画像が除去されている。したがって、商品画像のデータ量は、背景画像を含む三次元画像のデータ量よりも小さい。管理装置420で商品認識処理を行う場合に、管理装置420に対し、POS端末装置100が背景画像を含む3次元画像の画像データを送信すると、データ量が大きいため、通信ネットワークの負荷が増大する。一方、管理装置420に対し、POS端末装置100が商品画像の画像データを送信すると、データ量が小さいため、通信ネットワークの負荷が低減される。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも1つは、なくても構わない。例えば、図6のフローチャートにおいて、S102の処理は、S104の処理の後で行われてもよい。図11のフローチャートにおいても同様である。つまり、撮像する順序は、左右どちらが先でも構わない。
また、本実施の形態にかかる構成は、POS端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。
また、本実施の形態にかかるPOS端末装置100は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がPOS端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるPOS端末装置100を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。
また、本実施の形態にかかるPOS端末装置100は、上述したように、タブレット端末(タブレットPOS)等の、資源が乏しい端末にも応用可能である。この場合、撮像部130は、タブレット端末に内蔵されていなくてもよく、タブレット端末とは別個(外付け)の装置であってもよい。
また、実施の形態1等では、複数の視点として、左からの視点及び右からの視点を例として挙げたが、このような構成に限られない。三次元画像を生成することが可能であれば、例えば上からの視点及び下からの視点でもよい。また、実施の形態2において、撮像部130は、水平方向に移動するとしたが、例えば垂直方向(上下方向)に移動してもよい。
また、実施の形態2においては、撮像部130は左側位置L及び右側位置Rでそれぞれ二次元画像を撮影するとしたが、このような構成に限られない。例えば、撮像部130は、移動する間の動画を撮影してもよく、三次元画像生成部は、撮影された動画を構成する複数のフレーム(静止画)のうちの任意の複数の静止画を用いて三次元画像を生成してもよい。このとき、三次元画像生成部は、その静止画が撮影されたときの撮像部130の位置を認識することによって、ある静止画が撮影されてから次の静止画が撮影されるまでの移動距離を算出することができる。したがって、三次元画像生成部は、その移動距離をDとして、上述したd=f×D/Zの関係式を用いて、三次元画像を生成することが可能である。
また、例えば実施の形態1の構成と実施の形態6の構成とを組み合わせてもよい。つまり、実施の形態6にかかるPOS端末装置100においても、商品認識処理を行うようにしてもよい。言い換えると、実施の形態6にかかるPOS端末装置100が、商品認識処理部208を有してもよい。この場合、POS端末装置100の負荷が予め定められた第1の負荷値よりも増加した場合に、POS端末装置100が管理装置420に商品画像を送信し、商品認識処理を管理装置420が行うようにしてもよい。一方、管理装置420の負荷が予め定められた第2の負荷値よりも増加している場合、又は通信ネットワークの負荷が予め定められた第3の負荷値よりも増加している場合に、POS端末装置100は、管理装置420に商品画像を送信しないで、自らのPOS端末装置100で商品認識処理を行うようにしてもよい。同様に、実施の形態6の構成を、実施の形態1以外の別の実施の形態の構成と組み合わせてもよい。
このように、POS端末装置100の負荷、管理装置420の負荷及び通信ネットワークの負荷に応じて、適宜、負荷分散を行うことが可能となる。この場合、POS端末装置100又は管理装置420が、POS端末装置100の負荷、管理装置420の負荷及び通信ネットワークの負荷を計測する手段、及び、計測された負荷と第1〜第3の負荷値とをそれぞれ比較する手段を有してもよい。
また、上述した実施の形態において、商品画像抽出部は、三次元画像から商品画像を抽出するとしたが、この「抽出」する処理は、三次元画像から商品画像を抜き出す処理に限られない。つまり、商品画像抽出部は、三次元画像においてどの領域が商品画像かを判断し、その三次元画像における商品画像を選択するように処理してもよい。この場合、商品認識処理部は、選択された商品画像を用いて、商品認識処理を行ってもよい。言い換えると、本実施の形態において、「商品画像を抽出する」とは、三次元画像において商品画像を選択する処理をも包含する概念である。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
(付記)
以上の実施の形態に関し、更に以下の付記を開示する。
(付記1)
複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成し、
前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成し、
前記三次元画像を用いて、前記商品の画像を抽出する
画像処理方法。
(付記2)
前記商品以外の背景の画像を除去して、前記商品の画像を抽出する
付記1に記載の画像処理方法。
(付記3)
前記抽出された商品の画像に基づいて、当該商品の認識処理を行う
付記1又は2に記載の画像処理方法。
(付記4)
前記抽出された商品の画像における当該商品の凹凸形状を認識し、前記認識された商品の凹凸形状に基づいて、当該商品の認識処理を行う
付記3に記載の画像処理方法。
(付記5)
前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出し、
前記三次元画像から、前記算出された距離が予め定められた第1の閾値以下の位置に対応する画像区域を、商品の画像として抽出する
付記1から4のいずれか1項に記載の画像処理方法。
(付記6)
前記三次元画像における、前記抽出された商品の画像のサイズを算出し、
前記算出された商品の画像のサイズと、前記算出された前記商品における各位置までの距離とに基づいて、前記商品のサイズを認識し、
前記認識された商品のサイズに基づいて、当該商品の認識処理を行う
付記5に記載の画像処理方法。
(付記7)
前記算出された距離が予め定められた第2の閾値以内に前記商品が接近したことを判別し、
前記商品が接近したと判別された場合に、前記抽出する処理を実行する
付記5又は6に記載の画像処理方法。
(付記8)
1つの撮像素子を移動させることによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
付記1から7のいずれか1項に記載の画像処理方法。
(付記9)
1つの撮像素子の前に設けられた複数の鏡それぞれに映った複数の鏡像を撮像することによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
付記1から7のいずれか1項に記載の画像処理方法。
(付記10)
複数の撮像素子それぞれによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
付記1から7のいずれか1項に記載の画像処理方法。
(付記11)
複数の視点で商品を少なくとも1つの撮像手段に撮像させて、当該複数の視点それぞれに対応する複数の二次元画像を生成させるステップと、
前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成するステップと、
前記三次元画像を用いて、前記商品の画像を抽出するステップと
をコンピュータに実行させるプログラム。
(付記12)
前記商品以外の背景の画像を除去して前記商品の画像を抽出するステップ
をさらに前記コンピュータに実行させる付記11に記載のプログラム。
(付記13)
前記抽出された商品の画像に基づいて、当該商品の認識処理を行うステップ
をさらに前記コンピュータに実行させる付記11又は12に記載のプログラム。
(付記14)
前記抽出された商品の画像における当該商品の凹凸形状を認識し、前記認識された商品の凹凸形状に基づいて、当該商品の認識処理を行うステップ
をさらに前記コンピュータに実行させる付記13に記載のプログラム。
(付記15)
前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出するステップと、
前記三次元画像から、前記算出された距離が予め定められた第1の閾値以下の位置に対応する画像区域を、商品の画像として抽出するステップと
をさらにコンピュータに実行させる付記11から14のいずれか1項に記載のプログラム。
(付記16)
前記三次元画像における、前記抽出された商品の画像のサイズを算出するステップと、
前記算出された商品の画像のサイズと、前記算出された前記商品における各位置までの距離とに基づいて、前記商品のサイズを認識するステップと、
前記認識された商品のサイズに基づいて、当該商品の認識処理を行うステップと
をさらにコンピュータに実行させる付記15に記載のプログラム。
(付記17)
前記算出された距離が予め定められた第2の閾値以内に前記商品が接近したことを判別するステップ
をさらに前記コンピュータに実行させ、
前記商品が接近したと判別された場合に、前記抽出するステップが実行される
付記15又は16に記載のプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2014年3月20日に出願された日本出願特願2014−057377を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 POS端末装置
2 撮像部
4 三次元画像生成部
6 商品画像抽出部
100 POS端末装置
110 情報処理装置
130 撮像部
140 光学ユニット
142L 左側鏡
142R 右側鏡
144L 左側鏡
144R 右側鏡
200 認識処理部
202 二次元画像撮影制御部
204 三次元画像生成部
206 商品画像抽出部
208 商品認識処理部
220 認識処理部
222 二次元画像撮影制御部
240 認識処理部
242 二次元画像撮影制御部
244 鏡像抽出部
260 認識処理部
262 二次元動画撮影制御部
264 二次元画像取得部
268 三次元画像生成部
270 商品画像抽出部
300 開始制御部
302 二次元画像撮影制御部
304 三次元画像生成部
306 物体接近判別部
308 認識処理実行制御部
400 POSシステム
410 認識処理部
418 商品画像送信部
420 管理装置
430 認識処理部
432 商品画像受信部
438 商品認識処理部

Claims (14)

  1. 複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する少なくとも1つの撮像手段と、
    前記撮像手段によって生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成する三次元画像生成手段と、
    前記三次元画像を用いて、前記商品の画像を抽出する商品画像抽出手段と
    を有し、
    前記三次元画像生成手段は、前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出し、
    前記商品画像抽出手段は、前記三次元画像から、前記算出された距離が予め定められた第1の閾値以下の位置に対応する画像区域を、商品の画像として抽出する
    POS端末装置。
  2. 前記商品画像抽出手段は、前記商品以外の背景の画像を除去して、前記商品の画像を抽出する
    請求項1に記載のPOS端末装置。
  3. 前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段
    をさらに有する請求項1又は2に記載のPOS端末装置。
  4. 前記認識処理手段は、前記抽出された商品の画像における当該商品の凹凸形状を認識し、前記認識された商品の凹凸形状に基づいて、当該商品の認識処理を行う
    請求項3に記載のPOS端末装置。
  5. 前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段
    をさらに有し、
    前記認識処理手段は、
    前記三次元画像における、前記抽出された商品の画像のサイズを算出し、
    前記算出された商品の画像のサイズと、前記三次元画像生成手段よって算出された前記商品における各位置までの距離とに基づいて、前記商品のサイズを認識し、
    前記認識された商品のサイズに基づいて、当該商品の認識処理を行う
    請求項に記載のPOS端末装置。
  6. 前記三次元画像生成手段によって算出された距離が予め定められた第2の閾値以内に前記商品が接近したことを判別する判別手段
    をさらに有し、
    前記商品画像抽出手段は、前記判別手段によって前記商品が接近したと判別された場合に、前記抽出する処理を実行する
    請求項1から5のいずれか1項に記載のPOS端末装置。
  7. 前記撮像手段は、1つの撮像素子で構成され、前記撮像素子を移動させることによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
    請求項1からのいずれか1項に記載のPOS端末装置。
  8. 前記撮像手段は、1つの撮像素子で構成され、前記1つの撮像素子の前に設けられた複数の鏡それぞれに映った複数の鏡像を撮像することによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
    請求項1からのいずれか1項に記載のPOS端末装置。
  9. 前記撮像手段は、複数の撮像素子で構成され、前記複数の撮像素子それぞれによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
    請求項1からのいずれか1項に記載のPOS端末装置。
  10. 前記抽出された商品の画像に基づいて当該商品の認識処理を行う管理装置に対して、前記抽出された商品の画像を示すデータを送信する送信手段
    をさらに有する請求項1からのいずれか1項に記載のPOS端末装置。
  11. 請求項1から10のいずれか1項に記載のPOS端末装置と、
    前記POS端末装置と通信を行う管理装置と
    を有するPOSシステム。
  12. 前記POS端末装置は、前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段をさらに有し、
    前記POS端末装置と、前記管理装置とは、通信ネットワークを介して接続され、
    前記POS端末装置の負荷が予め定められた第1の負荷値よりも増加した場合に、前記POS端末装置は、前記管理装置に対して、前記抽出された商品の画像を示すデータを送信し、前記管理装置が、当該商品の認識処理を行い、
    前記管理装置の負荷が予め定められた第2の負荷値よりも増加している場合、又は前記通信ネットワークの負荷が予め定められた第3の負荷値よりも増加している場合に、前記POS端末装置は、前記管理装置に前記抽出された商品の画像を示すデータを送信せず、前記認識処理手段が、当該商品の認識処理を行う
    請求項11に記載のPOSシステム。
  13. 複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成し、
    前記生成された前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出して、前記商品の画像を含む三次元画像を生成し、
    前記三次元画像から、前記算出された距離が予め定められた第1の閾値以下の位置に対応する画像区域を、商品の画像として抽出する
    画像処理方法。
  14. 複数の視点で商品を少なくとも1つの撮像手段に撮像させて、当該複数の視点それぞれに対応する複数の二次元画像を生成させるステップと、
    前記生成された前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出して、前記商品の画像を含む三次元画像を生成するステップと、
    前記三次元画像から、前記算出された距離が予め定められた第1の閾値以下の位置に対応する画像区域を、商品の画像として抽出するステップと
    をコンピュータに実行させるプログラム。
JP2016508316A 2014-03-20 2014-11-07 Pos端末装置、posシステム、画像処理方法及びプログラム Active JP6222345B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014057377 2014-03-20
JP2014057377 2014-03-20
PCT/JP2014/005618 WO2015140855A1 (ja) 2014-03-20 2014-11-07 Pos端末装置、posシステム、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2015140855A1 JPWO2015140855A1 (ja) 2017-04-06
JP6222345B2 true JP6222345B2 (ja) 2017-11-01

Family

ID=54143881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508316A Active JP6222345B2 (ja) 2014-03-20 2014-11-07 Pos端末装置、posシステム、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20170011378A1 (ja)
JP (1) JP6222345B2 (ja)
WO (1) WO2015140855A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650368B2 (en) * 2016-01-15 2020-05-12 Ncr Corporation Pick list optimization method
JP6798831B2 (ja) * 2016-09-07 2020-12-09 東芝テック株式会社 情報処理装置およびプログラム
US10674054B2 (en) 2016-10-21 2020-06-02 Toshiba Tec Kabushiki Kaisha Image processing apparatus and image processing method
WO2018151008A1 (ja) * 2017-02-14 2018-08-23 日本電気株式会社 画像認識システム、画像認識方法及び記録媒体
JP6801490B2 (ja) * 2017-02-14 2020-12-16 日本電気株式会社 画像認識システム
US10198651B2 (en) 2017-02-16 2019-02-05 Toshiba Tec Kabushiki Kaisha Article recognition apparatus, settlement apparatus and article recognition method
JP6898123B2 (ja) * 2017-03-23 2021-07-07 東芝テック株式会社 情報処理装置及びプログラム
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
US10417911B2 (en) * 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
JP6947283B2 (ja) * 2018-03-02 2021-10-13 日本電気株式会社 店舗装置、店舗システム、画像取得方法、およびプログラム
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
JP6628336B2 (ja) * 2018-06-20 2020-01-08 株式会社マーケットヴィジョン 情報処理システム
JP7117969B2 (ja) 2018-10-15 2022-08-15 東芝テック株式会社 読取装置およびプログラム
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
JP6887167B2 (ja) * 2019-04-01 2021-06-16 株式会社マーケットヴィジョン 画像処理システム
TWI765218B (zh) * 2020-01-21 2022-05-21 創意引晴股份有限公司 無條碼商品結帳裝置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
JP2000076455A (ja) * 1998-08-31 2000-03-14 Minolta Co Ltd 3次元形状データ処理装置
JP2010118716A (ja) * 2008-11-11 2010-05-27 Isuzu Motors Ltd ステレオ撮像装置
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP5535508B2 (ja) * 2009-03-31 2014-07-02 Necインフロンティア株式会社 セルフpos装置及びその動作方法
JP5132732B2 (ja) * 2010-08-23 2013-01-30 東芝テック株式会社 店舗システムおよびプログラム
JP5620416B2 (ja) * 2012-01-31 2014-11-05 東芝テック株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
WO2015140855A1 (ja) 2015-09-24
US20170011378A1 (en) 2017-01-12
JPWO2015140855A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6222345B2 (ja) Pos端末装置、posシステム、画像処理方法及びプログラム
JP6318557B2 (ja) Pos端末装置、posシステム、画像処理方法及びプログラム
US11386297B2 (en) Learning data generation device, learning data generation method, and recording medium
JP6172380B2 (ja) Pos端末装置、posシステム、商品認識方法及びプログラム
JP7351861B2 (ja) ユーザ識別子を指定するシステム及びその方法
US11373320B1 (en) Detecting inventory changes by comparing image data
EP3447681B1 (en) Separation of objects in images from three-dimensional cameras
EP2751748B1 (en) Methods and arrangements for identifying objects
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
US9262681B1 (en) Probabilistic registration of interactions, actions or activities from multiple views
JP6520913B2 (ja) 物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム
US20150039458A1 (en) Method and system for automated retail checkout using context recognition
US10628695B2 (en) Fast item identification for checkout counter
US11900724B2 (en) System and method for providing machine-generated tickets to facilitate tracking
US20190188513A1 (en) Systems and methods for object deskewing using stereovision or structured light
US11281888B2 (en) Separation of objects in images from three-dimensional cameras
JP2021512385A (ja) 物理的な売り場で購買を支援するための方法及びシステム
US20230037427A1 (en) Identifying barcode-to-product mismatches using point of sale devices and overhead cameras
JP6649084B2 (ja) 宅配システム
JP6569762B2 (ja) Pos端末装置、posシステム、画像処理方法及びプログラム
JP7201020B2 (ja) 情報処理装置、システム、画像処理方法及びプログラム
WO2023039677A1 (en) Contactless checkout system with theft detection
JP7258939B2 (ja) サーバ、プログラム、及び情報管理方法
US11417025B2 (en) Information processing apparatus, article identification apparatus, and article identification system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R150 Certificate of patent or registration of utility model

Ref document number: 6222345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150