JPWO2019163095A1 - 登録装置、登録方法及びプログラム - Google Patents

登録装置、登録方法及びプログラム Download PDF

Info

Publication number
JPWO2019163095A1
JPWO2019163095A1 JP2020501954A JP2020501954A JPWO2019163095A1 JP WO2019163095 A1 JPWO2019163095 A1 JP WO2019163095A1 JP 2020501954 A JP2020501954 A JP 2020501954A JP 2020501954 A JP2020501954 A JP 2020501954A JP WO2019163095 A1 JPWO2019163095 A1 JP WO2019163095A1
Authority
JP
Japan
Prior art keywords
product
image
analysis
registration device
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020501954A
Other languages
English (en)
Other versions
JP7070654B2 (ja
Inventor
壮馬 白石
壮馬 白石
岩元 浩太
浩太 岩元
秀雄 横井
秀雄 横井
二徳 高田
二徳 高田
恵美 北川
恵美 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019163095A1 publication Critical patent/JPWO2019163095A1/ja
Application granted granted Critical
Publication of JP7070654B2 publication Critical patent/JP7070654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、商品を載置する台の載置面を撮影した画像を取得する画像取得部(11)と、画像に含まれる商品を認識する解析部(12)と、認識された商品を会計対象として登録する登録部(14)と、解析部(12)による画像の解析の進行状況に対応した音を出力する出力部(13)と、を有する登録装置(10)を提供する。

Description

本発明は、登録装置、登録方法及びプログラムに関する。
特許文献1には、会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する商品登録装置が開示されている。
特許文献2には、表示面上の実オブジェクトの情報に応じて表示面に表示される表示オブジェクトの表示領域を決定する表示制御装置が開示されている。当該表示制御装置は、食卓に置かれた食器の種別を認識し、種別に応じた表示エフェクトおよび音を出力することができる。
特開2016−62545号公報 国際公開第2015/098189号
会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する技術においては、会計作業者が画像解析の進行状況を把握し難という問題がある。本発明は、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようにすることを課題とする。
本発明によれば、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段と、
を有する登録装置が提供される。
また、本発明によれば、
コンピュータが、
商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
前記解析工程での前記画像の解析の進行状況に対応した音を出力する出力工程と、
を実行する登録方法が提供される。
また、本発明によれば、
コンピュータを、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段、
として機能させるプログラムが提供される。
本発明によれば、画像解析で会計対象の商品を認識して登録する技術において、会計作業者が画像解析の進行状況を把握できるようになる。
上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の登録装置のハードウエア構成の一例を示す図である。 本実施形態の登録装置の機能ブロック図の一例を示す図である。 本実施形態の登録装置を利用した会計処理で利用されるカメラと台の一例を模式的に示す図である。 本実施形態の登録装置の処理の流れの一例を示すフローチャートである。
<第1の実施形態>
まず、本実施形態の登録装置の概要を説明する。本実施形態の登録装置は、商品を販売する店舗での会計処理に利用される。登録装置は、いわゆるPOS(point of sales)レジスターであってもよい。登録装置は、店員に操作されることを前提とした装置であってもよいし、顧客に操作されることを前提とした装置であってもよい。
登録装置を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。会計処理において、会計作業者(店員、顧客等)は、会計対象の商品を台の載置面に載置する。登録装置は、カメラにより生成された画像を取得すると、画像を解析し、画像に含まれる商品を認識する。そして、登録装置は、認識した商品を会計対象の商品として登録する。
なお、登録装置は、会計作業者が画像解析の進行状況を把握できるようにする機能を有する。具体的には、登録装置は、画像解析の進行状況に応じて、進行状況に対応した音を出力する。進行状況に対応した複数の音は互いに異なる。
このような本実施形態の登録装置によれば、会計作業者は、登録装置から出力された音に基づき、画像解析の進行状況を把握することができる。
次に、本実施形態の登録装置の構成を詳細に説明する。まず、登録装置のハードウエア構成の一例について説明する。登録装置が備える機能は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、登録装置のハードウエア構成を例示するブロック図である。図1に示すように、登録装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aを有さなくてもよい。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク等)、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
図2に、登録装置10の機能ブロック図の一例を示す。図示するように、登録装置10は、画像取得部11と、解析部12と、出力部13と、登録部14とを有する。
画像取得部11は、商品を載置する台の載置面を撮影した画像を取得する。上述の通り、登録装置10を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。画像取得部11は、当該カメラにより生成された画像を取得する。カメラは動画像(複数の画像)を生成し、画像取得部11は当該動画像をカメラから取得してもよい。
図3に、台とカメラの一例を模式的に示す。図では、台1と、部材2と、支柱3と、カメラ4とが示されている。部材2は、台1の上面に位置し、台1の一部をなす。部材2の露出面が、商品を載置する載置面となる。なお、部材2はディスプレイであってもよいし、他の部材であってもよい。カメラ4は支柱3に取り付けられており、上方から部材2の露出面を撮影する。カメラ4により生成された画像は、有線及び/又は無線での通信により、不図示の登録装置10に送信される。
図2に戻り、解析部12は、画像取得部11により取得された画像を解析し、画像に含まれる商品を認識する。解析部12は、パターンマッチング技術などを利用して、商品を認識することができる。
例えば、解析部12は、画像の二値化、輪郭線抽出等の技術を利用して画像に含まれる物体を検出する(物体検出)。その後、解析部12は、検出した物体の画像に現れる外観の特徴(画像内の物体が存在する領域の特徴)と、予め登録されている複数の商品各々の外観の特徴とを照合することで、その物体がいずれの商品であるかを特定する(商品認識)。例えば、解析部12は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
出力部13は、解析部12による画像の解析の進行状況に対応した音を出力する。進行状況に対応した複数の音は互いに異なる。例えば、出力部13は、物体検出の完了に応じてある音(例:「ピ」)を出力し、商品認識の完了に応じて他の音(例:「ポ」)を出力してもよい。なお、ここでは、物体検出の完了及び商品認識の完了に応じて音を出力する例を示したが、画像解析が他の状況に達したことに応じて音を出力する構成としてもよい。
登録部14は、解析部12により認識された商品を会計対象として登録する。例えば、登録部14は、解析部12により認識された商品の商品情報を商品マスタから取得し、取得した商品情報の少なくとも一部を登録装置10に登録する。商品情報は、価格、商品名、商品コード等を含む。
以上説明した本実施形態の登録装置10によれば、台に載置された商品を画像解析で認識し、認識した商品を会計処理の対象として登録することができる。このような登録装置10によれば、商品の登録作業が効率化する。
また、登録装置10は、画像解析の進行状況に応じて、進行状況に対応した音を出力することができる。進行状況に対応した複数の音は互いに異なる。例えば、登録装置10は、物体検出の完了に応じてある音(例:「ピ」)を出力し、商品認識の完了に応じて他の音(例:「ポ」)を出力することができる。このような登録装置10によれば、会計作業者は、登録装置10から出力される音に基づき、画像解析の進行状況を把握することができる。
<第2の実施形態>
本実施形態の登録装置10は、第1の実施形態と異なるタイミングで音を出力することができる。以下、詳細に説明する。
登録装置10のハードウエア構成の一例は、第1の実施形態と同様である。
登録装置10の機能ブロック図の一例は、第1の実施形態同様、図2で示される。画像取得部11及び登録部14の構成は、第1の実施形態と同様である。
解析部12は、第1の実施形態同様、画像取得部11により取得された画像を解析し、画像に含まれる商品を認識する。解析部12は、「物体の検出」、「物体が台に載置されたことの認識」、「台に載置された物体がいずれの商品であるかの特定」をこの順に実行することができる。
物体の検出は、画像の二値化、輪郭線抽出等のあらゆる技術を利用して実現できる。
物体が台に載置されたことの認識は、例えば、以下のようにして実現することができる。まず、予め、画像内の台の載置面の表示領域を示す情報を解析部12に保持させておく。表示領域は、画像内の任意の点を原点とし、任意の方向をx軸及びy軸とした座標系の座標で示されてもよい(例:表示領域が多角形である場合、頂点の座標)。画像内の一部が台の載置面の表示領域であってもよいし、画像の全部が台の載置面の表示領域であってもよい。台の設置位置、カメラの設置位置、カメラの向き等は固定され、台とカメラとの相対的な位置関係等は一定であるものとする。そして、解析部12は、台の載置面の表示領域に存在する物体の動きが所定時間以上停止したことを検出すると、その物体が台に載置されたと認識してもよい。
台に載置された物体がいずれの商品であるかの特定(商品認識)は、検出した物体の画像に現れる外観の特徴(画像内の物体が存在する領域の特徴)と、予め登録されている複数の商品各々の外観の特徴とを照合することで実現される。例えば、解析部12は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
出力部13は、解析部12により物体が台に載置されたことを認識されると、当該状況に対応した第1の音を出力する。また、出力部13は、解析部12により台に載置された物体がいずれの商品であるかを特定されると、当該状況に対応した第2の音を出力する。第1の音及び第2の音は、互いに異なる音である。
なお、出力部13は、解析部12により物体が検出されると、当該状況に対応した音(第1及び第2の音と異なる音)を出力してもよい。
次に、図4のフローチャートを用いて、本実施形態の登録装置10の処理の流れの一例を説明する。
処理がスタートされると、画像取得部11はカメラからの画像の取得を開始する。そして、解析部12は、画像の解析を開始する。
解析部12により物体が台に載置されたことを認識されると(S10のYes)、出力部13は、その状況に対応した第1の音を出力する(S11)。なお、解析部12により物体が台に載置されたことを認識されない間(S10のNo)、第1の音は出力されない。
その後、解析部12によりその物体がいずれの商品であるか特定されると(S12のYes)、出力部13は、その状況に対応した第2の音を出力する(S13)。また、S13では、登録部14は、特定された商品を会計対象として登録する。なお、解析部12により台に載置された物体がいずれの商品であるかを特定されなければ(S12のNo)、第2の音は出力されない。
その後、解析部12により次の物体が台に載置されたことを認識されると(S14のYes)、出力部13は、その状況に対応した第1の音を出力する(S15)。その後、解析部12によりその物体がいずれの商品であるか特定されると(S16のYes)、出力部13はその状況に対応した第2の音を出力し、登録部14は特定された商品を会計対象として登録する(S17)。
解析部12によるS14及びS16での新たな認識/特定がなく(S14のNo、S16のNo)、精算処理の入力があった場合(S18のYes)、登録装置10は精算処理を実行する(S19)。例えば、登録装置10は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録装置10は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録装置10は、精算処理のための情報(登録された商品を示す情報、支払合計金額等)を他の精算装置に送信してもよい。
以上説明した本実施形態の登録装置10によれば、第1の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置10によれば、物体が台に載置されたことの認識、及び、商品認識各々に応じて、互いに異なる音を出力することができる。
このような本実施形態の登録装置10によれば、会計作業者は、登録装置10から出力された音に基づき、台への物体の載置を認識されたことを把握できる。また、会計作業者は、商品認識されたことを把握できる。会計作業者は、画像解析の進行状況を把握できるので、不安なく登録作業を進めることができる。
<第3の実施形態>
本実施形態の登録装置10は、商品認識された際に出力される音が、第1及び第2の実施形態と異なる。以下、詳細に説明する。
登録装置10のハードウエア構成の一例は、第1及び第2の実施形態と同様である。
登録装置10の機能ブロック図の一例は、第1及び第2の実施形態同様、図2で示される。画像取得部11及び登録部14の構成は、第1及び第2の実施形態と同様である。
解析部12は、認識した商品の商品カテゴリを特定する。解析部12のその他の構成は、第1及び第2の実施形態と同様である。例えば、予め、商品毎に商品カテゴリを示した商品カテゴリ情報を、解析部12に保持させておく。そして、解析部12は、画像解析で商品を認識すると、当該商品カテゴリ情報を参照し、認識した商品の商品カテゴリを特定する。
出力部13は、解析部12により台に載置された物体がいずれの商品であるか認識された際に出力する第2の音を、認識された商品の商品カテゴリに応じて異ならせる。例えば、出力部13は、「食品」が特定された際に「ポ」という音を出力し、「日用雑貨」が特定された際に「ポー」という音を出力してもよい。出力部13のその他の構成は、第1及び第2の実施形態と同様である。
以上説明した本実施形態の登録装置10によれば、第1及び第2の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置10によれば、会計作業者は、登録装置10から出力された音に基づき、商品認識されたことのみならず、認識内容(商品カテゴリ)を把握することができる。それに基づき、会計作業者は、認識内容が間違っていないかを確認できる。
<第4の実施形態>
本実施形態の登録装置10は、商品認識された際に出力される音が、第1及び第2の実施形態と異なる。以下、詳細に説明する。
登録装置10のハードウエア構成の一例は、第1及び第2の実施形態と同様である。
登録装置10の機能ブロック図の一例は、第1及び第2の実施形態同様、図2で示される。画像取得部11及び登録部14の構成は、第1及び第2の実施形態と同様である。
解析部12は、商品認識の認識結果の信頼度を出力する。当該信頼度は、パターンマッチングで算出された類似度(認識した商品と画像に含まれる物体との類似度)であってもよい。解析部12のその他の構成は、第1及び第2の実施形態と同様である。
出力部13は、解析部12により台に載置された物体がいずれの商品であるか認識された際に出力する第2の音を、認識結果の信頼度に応じて異ならせる。例えば、信頼度を「高」、「中」、「低」のように複数に階層分けし、階層毎に音が用意されてもよい。例えば、出力部13は、信頼度が「高」の場合に「ポ」という音を出力し、信頼度が「中」の場合に「ポポ」という音を出力し、信頼度が「低」の場合に「ポポポ」という音を出力してもよい。出力部13のその他の構成は、第1及び第2の実施形態と同様である。
以上説明した本実施形態の登録装置10によれば、第1及び第2の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置10によれば、会計作業者は、登録装置10から出力された音に基づき、商品認識されたことのみならず、商品認識の信頼度を把握することができる。会計作業者は、信頼度が低い場合には、認識内容が間違っていないか確認することができる。本実施形態によれば、会計作業者は、全ての商品に対して認識内容が間違っていないか確認するのでなく、信頼度が低い商品に対してのみ認識内容の確認をすることができる。結果、作業の手間を省くことができる。
<第5の実施形態>
本実施形態の登録装置10は、第1乃至第4の実施形態と異なるタイミングで音を出力することができる。以下、詳細に説明する。
登録装置10のハードウエア構成の一例は、第1乃至第4の実施形態と同様である。
登録装置10の機能ブロック図の一例は、第1乃至第4の実施形態同様、図2で示される。画像取得部11及び登録部14の構成は、第1乃至第4の実施形態と同様である。
解析部12は、動画像に含まれる複数のフレーム(画像)を連続的に解析する。そして、解析部12は、第1のフレームの直前のフレームで認識されなかった第1の商品を第1のフレームで認識した後、第1のフレームの後のフレームに対する認識結果が所定の条件を満たすと、第1の商品が画像に含まれるという認識結果を確定する。所定の条件は、第1の商品を第1のフレームで認識した後、Mフレーム連続で第1の商品を認識することであってもよい(Mは1以上の整数)。解析部12のその他の構成は、第1乃至第4の実施形態と同様である。
出力部13は、解析部12により第1の商品が第1のフレームで認識されると第3の音を出力する。そして、出力部13は、解析部12により上記所定の条件を満たすと判断されると第2の音を出力する。第3の音は、画像解析のその他の状況に対応した音(例:第1の音、第2の音)と異なる。出力部13のその他の構成は、第1乃至第4の実施形態と同様である。
登録部14は、第1の商品が画像に含まれるという認識結果を確定された後、第1の商品を会計対象として登録する。
以上説明した本実施形態の登録装置10によれば、第1乃至第4の実施形態と同様な作用効果を実現できる。また、本実施形態の登録装置10によれば、1つのフレームに対する解析結果だけでなく、複数のフレームに対する解析結果に基づいて、画像に含まれる商品の認識結果を確定することができる。結果、解析結果の信頼性を高めることができる。
また、本実施形態の登録装置10によれば、会計作業者は、登録装置10から出力される音に基づき、複数のフレームに対する解析結果に基づいて画像に含まれる商品の認識結果を確定する処理の進行状況を把握することができる。結果、会計作業者は、より詳細に画像解析の状況を把握できる。
ここで、すべての実施形態に適用可能な変形例を説明する。登録装置10は、出力部13からの音の出力をON/OFFする切替部を有してもよい。切替部は、ユーザ入力に応じてON/OFFを切り替えることができる。出力部13からの音の出力がONになっている場合、出力部13は、解析部12による画像の解析の進行状況に応じて、進行状況に対応した音を出力する。一方、出力部13からの音の出力がOFFになっている場合、出力部13は、解析部12による画像の解析の進行状況に対応した音を出力しない。音の出力を煩わしく思う客や店舗は、登録装置10を操作し、OFF設定にすることで、音の出力を回避できる。このように、当該変形例によれば、ユーザフレンドリーな構成を実現できる。
すべての実施形態に適用可能な他の変形例を説明する。解析部12により、物体が台に載置されたことを認識されたが、その物体がいずれの商品であるかを特定されない場合(商品認識されない場合)、出力部13はその旨を示す音を出力してもよい。当該音は、画像解析のその他の状況に対応した音(例:第1の音、第2の音、第3の音)と異なる。商品認識されない場合は、例えば、上述した類似度が基準値以上となる商品が存在しない場合であってもよい。当該変形例によれば、会計作業者は、物体検出されているが、商品認識されない状況を、登録装置10から出力された音により把握することができる。結果、画像解析の状況を詳細に把握できる。
以下、参考形態の例を付記する。
1. 商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段と、
を有する登録装置。
2. 1に記載の登録装置において、
前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第1の前記音を出力する登録装置。
3. 1又は2に記載の登録装置において、
前記出力手段は、前記解析手段により前記商品を認識されると、第2の前記音を出力する登録装置。
4. 3に記載の登録装置において、
前記出力手段は、前記第2の音を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
5. 3に記載の登録装置において、
前記出力手段は、前記第2の音を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
6. 3から5のいずれかに記載の登録装置において、
前記解析手段は、第1のフレームの直前のフレームで認識されなかった第1の前記商品を前記第1のフレームで認識した後、前記第1のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第1の商品が前記画像に含まれるという認識結果を確定し、
前記出力手段は、前記解析手段により前記第1の商品が前記第1のフレームで認識されると第3の前記音を出力し、前記解析手段により前記所定の条件を満たすと判断されると前記第2の音を出力する登録装置。
7. コンピュータが、
商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
前記解析工程での前記画像の解析の進行状況に対応した音を出力する出力工程と、
を実行する登録方法。
8. コンピュータを、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段、
として機能させるプログラム。

Claims (8)

  1. 商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
    前記画像に含まれる前記商品を認識する解析手段と、
    認識された前記商品を会計対象として登録する登録手段と、
    前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段と、
    を有する登録装置。
  2. 請求項1に記載の登録装置において、
    前記出力手段は、前記解析手段により物体が前記台に載置されたことを認識されると、第1の前記音を出力する登録装置。
  3. 請求項1又は2に記載の登録装置において、
    前記出力手段は、前記解析手段により前記商品を認識されると、第2の前記音を出力する登録装置。
  4. 請求項3に記載の登録装置において、
    前記出力手段は、前記第2の音を、認識された前記商品の商品カテゴリに応じて異ならせる登録装置。
  5. 請求項3に記載の登録装置において、
    前記出力手段は、前記第2の音を、前記商品の認識結果の信頼度に応じて異ならせる登録装置。
  6. 請求項3から5のいずれか1項に記載の登録装置において、
    前記解析手段は、第1のフレームの直前のフレームで認識されなかった第1の前記商品を前記第1のフレームで認識した後、前記第1のフレームの後のフレームに対する認識結果が所定の条件を満たすと、前記第1の商品が前記画像に含まれるという認識結果を確定し、
    前記出力手段は、前記解析手段により前記第1の商品が前記第1のフレームで認識されると第3の前記音を出力し、前記解析手段により前記所定の条件を満たすと判断されると前記第2の音を出力する登録装置。
  7. コンピュータが、
    商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
    前記画像に含まれる前記商品を認識する解析工程と、
    認識された前記商品を会計対象として登録する登録工程と、
    前記解析工程での前記画像の解析の進行状況に対応した音を出力する出力工程と、
    を実行する登録方法。
  8. コンピュータを、
    商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
    前記画像に含まれる前記商品を認識する解析手段、
    認識された前記商品を会計対象として登録する登録手段、
    前記解析手段による前記画像の解析の進行状況に対応した音を出力する出力手段、
    として機能させるプログラム。
JP2020501954A 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム Active JP7070654B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006718 WO2019163095A1 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019163095A1 true JPWO2019163095A1 (ja) 2021-02-04
JP7070654B2 JP7070654B2 (ja) 2022-05-18

Family

ID=67687180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501954A Active JP7070654B2 (ja) 2018-02-23 2018-02-23 登録装置、登録方法及びプログラム

Country Status (3)

Country Link
US (1) US12079793B2 (ja)
JP (1) JP7070654B2 (ja)
WO (1) WO2019163095A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12079793B2 (en) * 2018-02-23 2024-09-03 Nec Corporation Registration apparatus, registration method, and non-transitory storage medium
JP2022139727A (ja) * 2021-03-12 2022-09-26 東芝テック株式会社 読取装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156934A (ja) * 2012-01-31 2013-08-15 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2016115173A (ja) * 2014-12-16 2016-06-23 カシオ計算機株式会社 売上処理装置、および客層別商品人気分析方法
JP2017102595A (ja) * 2015-11-30 2017-06-08 株式会社寺岡精工 商品販売データ処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196204A1 (en) * 2001-06-26 2002-12-26 Matthew Senn Steven Michael Retail customer and product purchase divider with interactive retail transaction functions
US7551060B1 (en) * 2005-10-19 2009-06-23 Ncr Corporation Feedback device
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
WO2012103155A2 (en) * 2011-01-24 2012-08-02 Datalogic ADC, Inc. Systems and methods for providing feedback to a user operating an automated checkstand
US20170039030A1 (en) 2013-12-27 2017-02-09 Sony Corporation Display control device, display control method, and program
JP6555866B2 (ja) 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム
US20160180658A1 (en) * 2014-12-19 2016-06-23 Symbol Technologies, Inc. Apparatus and method for adaptive notifications
JP2016212502A (ja) * 2015-04-30 2016-12-15 東芝テック株式会社 顧客管理システム、顧客管理装置、及び顧客管理方法
JP6916015B2 (ja) * 2017-03-23 2021-08-11 東芝テック株式会社 販売データ処理装置およびプログラム
US11188953B2 (en) * 2017-09-20 2021-11-30 Panasonic Intellectual Property Management Co., Ltd. Product suggestion system, product suggestion method, and program
JP6303160B1 (ja) * 2017-11-01 2018-04-04 和則 藤沢 購入商品精算支援システム
US12079793B2 (en) * 2018-02-23 2024-09-03 Nec Corporation Registration apparatus, registration method, and non-transitory storage medium
JP2019185472A (ja) * 2018-04-12 2019-10-24 東芝テック株式会社 商品販売データ処理装置およびプログラム
JP2020035015A (ja) * 2018-08-27 2020-03-05 東芝テック株式会社 チェックアウト装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156934A (ja) * 2012-01-31 2013-08-15 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2016115173A (ja) * 2014-12-16 2016-06-23 カシオ計算機株式会社 売上処理装置、および客層別商品人気分析方法
JP2017102595A (ja) * 2015-11-30 2017-06-08 株式会社寺岡精工 商品販売データ処理装置

Also Published As

Publication number Publication date
US20210097355A1 (en) 2021-04-01
JP7070654B2 (ja) 2022-05-18
US12079793B2 (en) 2024-09-03
WO2019163095A1 (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP2019168762A (ja) 精算システム、精算方法及びプログラム
JP7464156B2 (ja) 登録装置、登録方法及びプログラム
JP7070654B2 (ja) 登録装置、登録方法及びプログラム
JP7070674B2 (ja) 登録システム、登録方法及びプログラム
JP7248010B2 (ja) 登録システム、登録方法及びプログラム
WO2019181034A1 (ja) 登録システム、登録方法及びプログラム
WO2020170963A1 (ja) 処理装置、処理方法及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
JP6984725B2 (ja) 登録装置、登録方法及びプログラム
JP7200487B2 (ja) 精算システム、精算方法及びプログラム
JP7215474B2 (ja) 登録システム、登録方法及びプログラム
JP7435716B2 (ja) 登録装置、登録方法及びプログラム
JP7464162B2 (ja) 処理装置、処理方法及びプログラム
WO2020174526A1 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R151 Written notification of patent or utility model registration

Ref document number: 7070654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151