JP6885814B2 - 商品読取装置および商品読取プログラム - Google Patents

商品読取装置および商品読取プログラム Download PDF

Info

Publication number
JP6885814B2
JP6885814B2 JP2017139926A JP2017139926A JP6885814B2 JP 6885814 B2 JP6885814 B2 JP 6885814B2 JP 2017139926 A JP2017139926 A JP 2017139926A JP 2017139926 A JP2017139926 A JP 2017139926A JP 6885814 B2 JP6885814 B2 JP 6885814B2
Authority
JP
Japan
Prior art keywords
product
unit
article
recognition
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017139926A
Other languages
English (en)
Other versions
JP2019021105A (ja
Inventor
飯坂　仁志
仁志 飯坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2017139926A priority Critical patent/JP6885814B2/ja
Priority to US16/037,463 priority patent/US20190026718A1/en
Publication of JP2019021105A publication Critical patent/JP2019021105A/ja
Application granted granted Critical
Publication of JP6885814B2 publication Critical patent/JP6885814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10415—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being fixed in its position, such as an access control device for reading wireless access cards, or a wireless ATM
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G06V30/2247—Characters composed of bars, e.g. CMC-7
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Description

本発明の実施形態は、商品読取装置および商品読取プログラムに関する。
従来、画像認識によって商品を読み取る（認識する）装置が知られている。このような装置は、物品を撮像した画像のデータを、商品のデータに照らし合わせ、それらがある程度以上似ている場合に、撮像された物品がそのデータの商品であると自動的に確定する。
このような装置では、撮像された物品が何れかの商品であるかを確定できない場合は、商品を認識する処理を停止して、操作画面（ガイダンス画面）を表示する。また、このような装置は、ユーザの操作を受け付けることによって操作画面の表示が終了すると、商品を認識する処理を再開していた。
しかしながら、ある商品が撮像された後、次の商品の撮像が開始されるまでの間に、ユーザの手や商品以外の物品等が撮像される場合がある。このようなユーザの意図しない撮像によって商品を認識する処理が停止した場合、ユーザは、商品を認識する処理を再開させるために、操作画面の表示を終了する操作を行っていた。このため、ユーザの作業負荷が高くなる場合があった。
本発明が解決しようとする課題は、商品を認識する処理を再開させるためのユーザの作業負荷を低減することができる商品読取装置および商品読取プログラムを提供することである。
実施形態の商品読取装置は、検出部と、認識部と、表示制御部と、受付部と、出力部と、を備える。検出部は、撮像装置が撮像した画像から物品を検出する。認識部は、検出された物品の特徴量と商品の基準となる特徴量との類似度に基づいて物品に該当する一の商品を特定する認識処理を実行する。表示制御部は、認識部が物品に該当する一の商品を特定できなかった場合、物品に該当する商品の候補である商品候補を選択可能に表す操作画面を表示部に表示する。受付部は、操作画面から一の商品候補の選択を受け付ける。出力部は、認識部が一の商品を特定した場合、または受付部が一の商品候補の選択を受け付けた場合、当該一の商品を示す識別情報を出力する。また、認識部は、出力部による識別情報の出力から第１の時間が経過した後に、認識処理を実行する。
図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、実施形態にかかるＰＯＳ端末装置および商品読取装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態にかかるＰＬＵファイルのデータ構成の一例を模式的に示す図である。 図４は、実施形態にかかるＰＯＳ端末装置および商品読取装置が有する機能の一例を示すブロック図である。 図５は、実施形態にかかるガイダンス画面の一例を示す図である。 図６は、実施形態にかかる商品読取装置で実行される商品読取処理の手順の一例を示すフローチャートである。 図７は、実施形態にかかる読取開始画面の一例を示す図である。 図８は、実施形態にかかるオブジェクト認識の実行画面の一例を示す図である。 図９は、実施形態にかかるガイダンス表示処理の手順の一例を示すフローチャートである。
以下、実施形態にかかる情報処理装置およびプログラムについて説明する。本実施形態では、情報処理装置の一例を商品読取装置１０１とする。図１は、本実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。チェックアウトシステム１は、ＰＯＳ端末装置１１および商品読取装置１０１を備える。このようなチェックアウトシステム１は、例えばスーパーマーケット等の店舗に導入される。
ＰＯＳ端末装置１１は、ドロワ２１の上面に載置される。ドロワ２１は、チェックアウト台５１に載置される。ドロワ２１は、紙幣および硬貨を収納し、ＰＯＳ端末装置１１から開放動作の制御を受ける。ＰＯＳ端末装置１１は、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、タッチパネル２５を備える。
キーボード２２は、ＰＯＳ端末装置１１の上面に配され、オペレータ（店員等）に操作される。表示デバイス２３は、表示面２３ａに、オペレータに向けた情報を表示する。タッチパネル２５は、表示面２３ａに積層され、オペレータによる操作を受け付ける。顧客用表示デバイス２４は、表示面２４ａに、顧客向けの情報を表示する。オペレータは、本実施形態のチェックアウトシステム１のユーザである。
商品読取装置１０１は、カウンタ台１５１に載置される。カウンタ台１５１の上面は、荷受け面１５２である。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３としては、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとがある。
商品読取装置１０１は、ＰＯＳ端末装置１１とデータ送受信可能に接続されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。
ハウジング１０２の正面には、読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された液晶表示器等の表示デバイス１０６が設けられる。表示デバイス１０６は、本実施形態における表示部の一例である。表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、カード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面には、顧客に情報を提供するための顧客用表示デバイス１０９が設置される。
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納される。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、オペレータによって商品Ｇが商品読取装置１０１の読取窓１０３にかざされる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は、商品Ｇ（物品）を撮像する。本実施形態においては、商品読取装置１０１が撮像された物品に該当する商品Ｇを特定し、特定した商品Ｇを示す識別情報（商品ＩＤ等）をＰＯＳ端末装置１１に出力することを「商品を読み取る」と称する。
図２は、本実施形態にかかるＰＯＳ端末装置１１および商品読取装置１０１のハードウェア構成の一例を示すブロック図である。ＰＯＳ端末装置１１は、情報処理を実行するマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、ＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを備える。また、マイクロコンピュータ６０は、時間を計時するＲＴＣ（Real Time Clock）等の計時部（不図示）を備える。
ＰＯＳ端末装置１１のＣＰＵ６１には、各種の入出力回路（何れも不図示）を介して、図１に示した各部（ドロワ２１、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、タッチパネル２５）の他、通信インターフェース２６、ＨＤＤ（Hard Disk Drive）６４、接続インターフェース６５、およびプリンタ６６が接続されている。キーボード２２は、数字や演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。
ＨＤＤ６４は、ＰＬＵ（Price Look Up）ファイルＦ１等のデータファイルや、各種プログラム等を記憶する。また、ＨＤＤ６４は、商品読取装置１０１が読み取った商品を登録する売上マスタファイル（不図示）を記憶する。
ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録等に関する情報との関連付けが設定されたデータファイルである。図３は、本実施形態にかかるＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。図３に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、商品ＩＤと、商品名、単価等の商品Ｇに関する情報と、その商品Ｇを撮像した商品画像とが関連付けて登録される。また、ＰＬＵファイルＦ１には、商品Ｇ毎に、後述するオブジェクト認識においてその商品Ｇの特徴量が関連付けられて登録される。商品ＩＤは商品Ｇを示す識別情報の一例であり、商品Ｇ毎にユニークに割り当てられる。
商品画像は、店舗内で販売される商品Ｇの各々を予め撮像した画像である。商品画像は、後述する商品候補の表示の際に、その商品候補を表す画像として表示される。商品画像の代わりに表示用の画像やイラスト等がＰＬＵファイルＦ１に登録されてもよい。
特徴量は、商品Ｇ表面の色合いや模様、凹凸状況、形状等、商品Ｇの特徴を表した情報である。特徴量は、後述する認識部１６１３によって商品Ｇを特定するための基準として用いられる。特徴量は、各商品Ｇの撮像画像（例えば、商品画像）から予め抽出される。
なお、本実施形態では、各商品Ｇの特徴量がＰＬＵファイルＦ１に予め登録される構成としているが、後述する認識部１６１３が、オブジェクト認識の度に各商品画像から特徴量を抽出する構成を採用してもよい。また、ＰＬＵファイルＦ１には、さらに、バーコードに対応付けられた商品ＩＤと、商品名、単価等の商品Ｇに関する情報と、その商品Ｇを撮像した商品画像とが登録されてもよい。また、バーコードに対応付けられた商品Ｇに関する情報については、別のデータファイル等に登録されても良い。以下では、ＰＬＵファイルＦ１等に登録された商品Ｇを「登録商品」という。
図２に戻り、ＰＯＳ端末装置１１のＣＰＵ６１は、接続インターフェース６５を介して、商品読取装置１０１との間でデータ送受信を行う。ＨＤＤ６４に記憶されたＰＬＵファイルＦ１は、接続インターフェース６５を介し、商品読取装置１０１から読み出し可能である。
また、ＰＯＳ端末装置１１のＣＰＵ６１は、通信インターフェース２６を介して、ストアコンピュータＳＣとのデータ通信を行う。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（不図示）は、ＰＯＳ端末装置１１に配信されるＰＬＵファイルＦ１、当該ＰＬＵファイルＦ１に登録された各登録商品の在庫状態を管理するための在庫管理ファイル等を記憶する。
商品読取装置１０１は、商品読取部１１０と、表示・操作部１０４とを備える。商品読取部１１０は、マイクロコンピュータ１６０と、撮像部１６４と、音声出力部１６５と、接続インターフェース１７５とを備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、ＲＴＣ等の計時部（不図示）とを備える。
撮像部１６４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等であり、読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像した画像（フレーム画像、撮像画像）はＲＡＭ１６３に保存される。撮像部１６４は、スキャナとも称され得る。また、撮像部１６４の外部に位置する読取窓１０３がスキャナと称される場合もある。撮像部１６４は、本実施形態における撮像装置の一例である。
音声出力部１６５は、警告音等を発生するための音声回路とスピーカ等である。接続インターフェース１７５は、後述の接続インターフェース１７６およびＰＯＳ端末装置１１の接続インターフェース６５と接続してデータ送受信を行うためのインターフェースである。
表示・操作部１０４は、タッチパネル１０５と、表示デバイス１０６と、キーボード１０７と、顧客用表示デバイス１０９と、接続インターフェース１７６とを備える。接続インターフェース１７６は、接続インターフェース１７５と接続し、データ送受信を行うためのインターフェースである。
図４は、本実施形態にかかるＰＯＳ端末装置１１および商品読取装置１０１が有する機能の一例を示すブロック図である。図４に示すように、商品読取装置１０１は、取込部１６１１と、検出部１６１２と、認識部１６１３と、表示制御部１６１４と、受付部１６１５と、判定部１６１６と、出力部１６１７と、受信部１６１８とを備える。
取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。取込部１６１１は、撮像動作開始後に、ＲＡＭ１６３から撮像部１６４が撮像した画像を順次取り込む。取込部１６１１による画像の取り込みは、ＲＡＭ１６３に保存された順に行う。
検出部１６１２は、取込部１６１１が取り込んだ画像から、読取窓１０３にかざされた物品を検出する。具体的には、検出部１６１２は、取込部１６１１が取り込んだ画像に含まれる物品の全部または一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、検出部１６１２は、前回の画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分を検出することにより、読取窓１０３にかざされた物品の写り込み領域を検出する。検出部１６１２が物品を検出する方法は、これに限定されるものではない。
本実施形態において、物品は、商品Ｇと商品Ｇ以外の物体とを含むものとする。商品Ｇ以外の物体は、例えばオペレータの身体の一部（手等）や、買物カゴ１５３等である。
認識部１６１３は、オブジェクト認識またはバーコードの読み取りによって、検出部１６１２が検出した物品に該当する商品Ｇを特定（確定）する。認識部１６１３により特定された商品は、確定商品とも称され得る。
具体的には、認識部１６１３は、取込部１６１１が取り込んだ画像に基づいて、検出部１６１２が検出した物品にバーコードが付されているか否かを判断する。例えば、認識部１６１３は、取込部１６１１が取り込んだ画像の中にバーコードが写っていることを認識した場合に、認識部１６１３は、検出部１６１２が検出した物品にバーコードが付されていると判断する。この場合、認識部１６１３は、バーコードを読み取って、ＰＬＵファイルＦ１等に登録された商品Ｇの中から、当該物品に該当する一の商品を特定する。認識部１６１３による画像中のバーコードの認識および読み取りには、公知の技術が用いられる。バーコードは本実施形態におけるコードシンボルの一例である。コードシンボルはバーコードに限定されるものではなく、二次元コード等であっても良い。
認識部１６１３は、検出部１６１２が検出した物品にバーコードが付されていないと判断した場合、オブジェクト認識を実行する。オブジェクト認識は、画像認識によって検出部１６１２が検出した物品に該当する商品を特定する処理であり、本実施形態における認識処理の一例である。具体的には、認識部１６１３は、取込部１６１１が取り込んだ画像から、検出部１６１２で検出された物品の表面の状態（表面の色合い、模様、凹凸状況、形状等）を特徴量として抽出する。そして、認識部１６１３は、抽出した特徴量と、ＰＬＵファイルＦ１に登録された各商品Ｇの特徴量とを比較し、その類似度をそれぞれ算出する。
類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された商品Ｇの基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。認識部１６１３は、例えば、公知の一般物体認識（generic object recognition）等の技術を用いて、類似度を算出する。
また、認識部１６１３は、検出された物品と、各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合、検出された物品の特徴量と、各登録商品の特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、各登録商品との類似度の総和が１００％となるように類似度を算出すればよい。
認識部１６１３は、類似度が閾値以上の登録商品のうち、その類似度の値が他と比べて非常に高くなる登録商品が１つ存在する場合、当該登録商品を、検出部１６１２が検出した物品に該当する商品Ｇとして特定する。例えば、認識部１６１３は、類似度が１番目に高い登録商品の類似度が、類似度が２番目に高い登録商品の類似度と比較して、２０％以上の差を有する場合に、類似度が１番目に高い登録商品を、検出された物品に該当する商品Ｇとして特定する。類似度の閾値は例えば、７５％であるが、これに限定されるものではない。
また、認識部１６１３は、１つの登録商品を商品Ｇとして特定することができなかった場合に、類似度が閾値以上の登録商品がある場合は、これらを商品候補として抽出する。商品候補とは、後述するガイダンス画面で選択肢として表示される登録商品であり、検出された物品に該当する商品の候補である。認識部１６１３は、抽出した商品候補を後述する表示制御部１６１４に送出する。また、類似度が閾値以上の登録商品がなければ、認識部１６１３は、商品候補が存在しないことを表示制御部１６１４に送出する。認識部１６１３が送出した情報は、表示制御部１６１４によって後述のガイダンス画面に表示される。
オブジェクト認識における商品Ｇの特定および商品の抽出の手法はこれに限定されるものではない。また、商品Ｇの特定のための条件に用いられる類似度の閾値と、商品候補の抽出のための条件に用いられる類似度の閾値とは、同一の値でもよいし、異なる値であってもよい。
また、認識部１６１３は、後述の表示制御部１６１４によってガイダンス画面が表示されている間は、オブジェクト認識およびバーコードの読み取りを停止し、ガイダンス画面の表示が終了すると、オブジェクト認識またはバーコードの読み取りを再開する。
ここで、顧客が一取引で複数の商品Ｇを購入する場合、オペレータによって複数の商品Ｇが１つずつ読取窓１０３にかざされ、撮像部１６４によって撮像される。このような一取引内において、認識部１６１３は、前回の商品ＩＤの出力から第１の時間が経過するまでは、次の商品Ｇに対するオブジェクト認識を行わない。
商品ＩＤの出力とは、後述の出力部１６１７が、検出部１６１２が検出した物品に該当する商品Ｇの商品ＩＤをＰＯＳ端末装置１１に出力することである。換言すれば、認識部１６１３は、商品ＩＤの出力から第１の時間が経過した後に、オブジェクト処理を実行する。認識部１６１３がオブジェクト認識を行わない第１の時間は、不感知時間、待機時間とも称され得る。本実施形態では第１の時間は１秒とするが、これに限定されるものではない。
一般に、商品ＩＤが出力された後は、オペレータによって、読取が完了した商品Ｇの第２の買物カゴ１５３ｂへの移動や、次の商品Ｇを第１の買物カゴ１５３ａから出す作業が行われる。このため、商品ＩＤの出力からオペレータが次の商品Ｇを読取窓１０３にかざすまでの間は、オペレータの身体の一部等が読取窓１０３の前を通過することによるオペレータの意図しない撮像が行われやすい。このような場合に、商品Ｇ以外の物品に対して認識部１６１３がオブジェクト認識を実行すると、該当する商品Ｇを特定することができないため、オブジェクト認識およびバーコードの読み取りが停止し、後述のガイダンス画面が表示される。本実施形態の認識部１６１３は、前回の商品ＩＤの出力から第１の時間が経過するまでオブジェクト認識を行わないため、商品Ｇ以外の物品がオブジェクト認識の対象となることを抑制することができる。このため、本実施形態の認識部１６１３は、オブジェクト認識およびバーコードの読み取りの停止と、不要なガイダンス画面の表示とを抑制することができる。
また、認識部１６１３は、検出された物品にバーコードが付されていると判断した場合は、前回の商品ＩＤの出力から第１の時間が経過しているか否かにかかわらず、バーコードの読み取りを行う。このため、本実施形態の認識部１６１３は、バーコードの読み取りについては待機時間を設けずに連続して処理を行うことができる。
表示制御部１６１４は、認識部１６１３が検出された物品に該当する商品Ｇを特定することができなかった場合、表示デバイス１０６にガイダンス画面を表示する。ガイダンス画面は、商品候補を選択可能に表す画面であり、本実施形態における操作画面の一例である。
図５は、本実施形態にかかるガイダンス画面Ａ１の一例を示す図である。図５に示すように、ガイダンス画面Ａ１には、選択ボタンＡ１２ａと、再認識ボタンＢ１と、商品候補の選択を促すメッセージＭ１と、商品Ｇ（物品）の再認識を促すメッセージＭ２と、が表示される。選択ボタンＡ１２ａは、商品候補として抽出された登録商品の商品画像が選択肢として表示された画像である。また、再認識ボタンＢ１は、オブジェクト認識またはバーコードの読み取りの再開を指示するための操作子である。
図５では、ガイダンス画面Ａ１に４つの選択ボタンＡ１２ａが表示された例を示しているが、選択ボタンＡ１２ａの個数は特に問わないものとする。また、表示制御部１６１４は、商品候補の個数に応じて、選択ボタンＡ１２ａの個数を動的に増加又は減少させてもよい。また、商品候補が存在しない場合、表示制御部１６１４は、選択ボタンＡ１２ａを表示しなくても良いし、全ての登録商品を選択可能に表示しても良い。また、この場合、表示制御部１６１４は、“認識エラー”等のメッセージを表示してオペレータに報知をしてもよい。
表示制御部１６１４は、後述の受付部１６１５がガイダンス画面Ａ１上の選択ボタンＡ１２ａや、再認識ボタンＢ１が操作されたことを受け付けた場合、ガイダンス画面Ａ１の表示を終了する。また、表示制御部１６１４は、物品が撮像部１６４の撮像範囲に存在しなくなった（物品がフレームアウトした）後に、検出部１６１２が物品を検出した（物品がフレームインした）場合、ガイダンス画面Ａ１の表示を終了する。
また、表示制御部１６１４は、判定部１６１６が物品が撮像部１６４の撮像範囲に存在しなくなったと判定してから第２の時間が経過した場合に、ガイダンス画面Ａ１の表示を終了する。本実施形態では第２の時間は１０秒とするが、これに限定されるものではない。第２の時間は、表示継続時間とも称され得る。また、表示制御部１６１４は、オペレータに操作手順等を指示するために、表示デバイス１０６に各種の画面を表示する。各画面の詳細については後述する。
図４に戻り、受付部１６１５は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、受付部１６１５は、ガイダンス画面Ａ１に表示された商品候補の選択ボタンＡ１２ａのうち、何れか一つに対する選択操作を受け付ける。受付部１６１５は、選択された商品候補を、撮像部１６４によって撮像された物品に該当する商品Ｇとして受け付ける。また、受付部１６１５は、ガイダンス画面Ａ１に表示された再認識ボタンＢ１により、オブジェクト認識またはバーコードの読み取りの再開を指示する操作を受け付ける。
判定部１６１６は、ガイダンス画面Ａ１が表示されている間、取込部１６１１によって取り込まれた画像から検出部１６１２によって物品が検出され続けているか否かを判断することによって、物品が撮像部１６４の撮像範囲に存在するか否かを判定する。より詳細には、判定部１６１６は、時系列に取り込まれる各画像から物品を検出したか否かの結果を検出部１６１２から取得し、物品が継続して検出されている場合に、物品が撮像部１６４の撮像範囲に存在すると判定する。また、判定部１６１６は、時系列に取り込まれる各画像から物品が検出されなくなった場合に、物品が撮像部１６４の撮像範囲に存在しなくなったと判定する。物体が撮像範囲に存在するか否かを判定する処理は、プレ・オブジェクト認識とも称され得る。
また、判定部１６１６は、物品が撮像部１６４の撮像範囲に存在しなくなったと判断した場合に、タイマー（不図示）をセットして表示制御部１６１４がガイダンス画面Ａ１の表示を継続する第２の時間（例えば１０秒）の計時を開始する。
出力部１６１７は、認識部１６１３が物品に該当する商品Ｇを特定した場合、または、受付部１６１５が商品候補の選択を受け付けた場合、当該商品Ｇの商品ＩＤをＰＯＳ端末装置１１に出力（送信）する。ＰＯＳ端末装置１１に出力される情報は商品Ｇを特定可能な情報であればよく、商品名、商品画像のファイル名、ＰＬＵファイルＦ１での格納アドレス等を通知してもよい。また、出力部１６１７は、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末装置１１に出力してもよい。
また、出力部１６１７は、当該商品Ｇの商品ＩＤをＰＯＳ端末装置１１に送信した場合に、タイマー（不図示）をセットして認識部１６１３がオブジェクト認識を行わない第１の時間（例えば１秒）の計時を開始する。判定部１６１６および出力部１６１７による計時の手段はタイマーに限定されるものではない。
受信部１６１８は、ＰＯＳ端末装置１１から商品Ｇの読み取りの開始および終了を通知する信号等を受信する。
また、図４に示すように、ＰＯＳ端末装置１１は、売上登録部６１１を備える。売上登録部６１１は、商品読取装置１０１から出力（通知）された商品ＩＤと販売個数とに基づいて、対応する商品Ｇの売上登録を行う。具体的には、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤおよび当該商品ＩＤに対応する商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。
以下、チェックアウトシステム１の動作について説明する。図６は、本実施形態にかかる商品読取装置１０１で実行される商品読取処理の手順の一例を示すフローチャートである。このフローチャートの処理は、受信部１６１８がＰＯＳ端末装置１１から商品Ｇの読み取りの開始の通知を受けた場合に開始される。
取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始し、撮像部１６４が撮像した画像を取り込む（Ｓ１）。また、撮像部１６４による撮像が開始されると、表示制御部１６１４は、オペレータに対して物品を読取窓１０３にかざすことを促すため、読取開始画面を表示デバイス１０６に表示する。図７は、本実施形態にかかる読取開始画面Ａ２の一例を示す図である。読取開始画面Ａ２では、第１の領域Ａ２１には取込部１６１１が取り込んだ画像が表示され、第２の領域Ａ２２には商品Ｇをスキャナ（読取窓１０３）にかざすことを促すメッセージＭ３やイラスト等が表示される。
そして、検出部１６１２は、取込部１６１１が取り込んだ画像から物品を検出する。検出部１６１２は、物品を検出した場合は（Ｓ２“Ｙｅｓ”）、次のＳ３の処理に進み、物品を検出しない場合は（Ｓ２“Ｎｏ”）、Ｓ１の処理に戻る。
次に、認識部１６１３は、取込部１６１１が取り込んだ画像に基づいて、検出部１６１２が検出した物品にバーコードが付されているか否かを判断する（Ｓ３）。認識部１６１３は、物品にバーコードが付されていると判断した場合（Ｓ３“Ｙｅｓ”）、バーコードを読み取って、ＰＬＵファイルＦ１等に登録された登録商品の中から、当該物品に該当する商品Ｇを特定する（Ｓ４）。
出力部１６１７は、認識部１６１３が特定した商品Ｇの商品ＩＤをＰＯＳ端末装置１１に出力する（Ｓ５）。また、この際、出力部１６１７は、タイマーをセットして第１の時間の計時を開始する（Ｓ６）。
ここで、取込部１６１１は、受信部１６１８がＰＯＳ端末装置１１から商品読取処理の終了を通知する信号を受信したか否かを判断する（Ｓ７）。商品読取処理の終了を通知する信号を受信した場合（Ｓ７“Ｙｅｓ”）、このフローチャートの処理は終了する。一方、商品読取処理の終了を通知する信号を受信していない場合（Ｓ７“Ｎｏ”）、取込部１６１１は、Ｓ１の処理に戻って新たな画像を取り込む。
また、認識部１６１３は、物品にバーコードが付されていないと判断した場合（Ｓ３“Ｎｏ”）、出力部１６１７が前回の商品ＩＤの出力をしてから第１の時間が経過したか否かを判断する。具体的には、認識部１６１３は、出力部１６１７がＳ６の処理でセットしたタイマーがタイムアウトしたか否かを判断する（Ｓ８）。また、同一の取引内において初回の出力がまだ行われていない場合、認識部１６１３は、Ｓ８の判断を行わない。
タイマーがタイムアウトしていない場合（Ｓ８“Ｎｏ”）、認識部１６１３は、画像に対するオブジェクト認識の処理を行わない。この場合、Ｓ１の処理に戻り、取込部１６１１は、次の画像の取り込みを行う。
タイマーがタイムアウトした場合（Ｓ８“Ｙｅｓ”）、認識部１６１３は、オブジェクト認識を実行する（Ｓ９）。具体的には、認識部１６１３は、取込部１６１１が取り込んだ画像から、検出部１６１２で検出された物品の特徴量を抽出する。そして、認識部１６１３は、抽出した特徴量と、ＰＬＵファイルＦ１に登録された各商品Ｇの特徴量とを比較し、その類似度をそれぞれ算出する。
そして、認識部１６１３は、算出した類似度に基づいて、物品に該当する商品Ｇを特定することができるか否かを判断する（Ｓ１０）。具体的には、認識部１６１３は、類似度が閾値以上の登録商品のうち、その類似度の値が他と比べて非常に高くなる登録商品が１つ存在する場合、当該登録商品を、検出部１６１２が検出した物品に該当する商品Ｇとして特定する（Ｓ１０“Ｙｅｓ”）。
また、Ｓ９で認識部１６１３がオブジェクト認識を実行している間、表示制御部１６１４は、表示デバイス１０６にオブジェクト認識の実行画面を表示する。図８は、本実施形態にかかるオブジェクト認識の実行画面Ａ３の一例を示す図である。実行画面Ａ３では、第１の領域Ａ３１には取込部１６１１が取り込んだ画像が表示され、第２の領域Ａ３２にはオブジェクト認識が実行中であることを示すメッセージＭ４が表示される。
認識部１６１３が物品に該当する商品Ｇを特定した場合（Ｓ１０“Ｙｅｓ”）、出力部１６１７は、Ｓ５、Ｓ６の処理を行う。また、この場合、取込部１６１１は、Ｓ７の処理を行う。
一方、物品に該当する商品Ｇを特定できなかった場合（Ｓ１０“Ｎｏ”）、認識部１６１３は、類似度が閾値以上の登録商品がある場合は、これらを商品候補として抽出し、表示制御部１６１４に送出する。また、類似度が閾値以上の登録商品がなければ、認識部１６１３は、商品候補が存在しないことを表示制御部１６１４に送出する。そして、表示制御部１６１４は、認識部１６１３が物品に該当する商品Ｇを特定できなかった場合、ガイダンス表示処理を実行する（Ｓ１１）。また、ガイダンス表示処理の後は、Ｓ７の処理が実行される。図９は、本実施形態にかかるガイダンス表示処理の手順の一例を示すフローチャートである。
表示制御部１６１４は、表示デバイス１０６にガイダンス画面Ａ１を表示する（Ｓ２１）。ガイダンス画面Ａ１の表示中に、受付部１６１５が、ガイダンス画面Ａ１の選択ボタンＡ１２ａの中から何れか一つの商品候補に対する選択操作を受け付けた場合（Ｓ２２“Ｙｅｓ”）、受付部１６１５は、選択された商品候補を、撮像部１６４によって撮像された物品に該当する商品Ｇとして受け付ける。
受付部１６１５が商品候補の選択を受け付けた場合、出力部１６１７は、選択された商品Ｇの商品ＩＤをＰＯＳ端末装置１１に出力する（Ｓ２３）。また、この場合、出力部１６１７は、図６のＳ６の処理と同様に、タイマーをセットして第１の時間の計時を開始する。
何れか一つの商品候補が物品に該当する商品Ｇとして選択され、当該商品Ｇの商品ＩＤがＰＯＳ端末装置１１に出力された場合（Ｓ２２“Ｙｅｓ”、Ｓ２３）、表示制御部１６１４はガイダンス画面Ａ１の表示を終了する（Ｓ２４）。
また、表示制御部１６１４は、ガイダンス画面Ａ１に表示された再認識ボタンＢ１が操作された（再認識が選択された）ことを受付部１６１５が受け付けると（Ｓ２２“Ｎｏ”、Ｓ２５“Ｙｅｓ”）、ガイダンス画面Ａ１の表示を終了する（Ｓ２４）。表示制御部１６１４がガイダンス画面Ａ１の表示を終了すると、このフローチャートの処理は終了し、図６に示すフローチャートの処理に戻る。
一方、ガイダンス画面Ａ１の選択ボタンＡ１２ａと再認識ボタンＢ１の何れも操作されない場合（Ｓ２２“Ｎｏ”、Ｓ２５“Ｎｏ”）、判定部１６１６は、物品が撮像部１６４の撮像範囲に存在するか否か、換言すれば、物品がフレームアウトしたか否かを判定する（Ｓ２６）。判定部１６１６は、物品が撮像部１６４の撮像範囲に存在しなくなったと判断した場合、換言すれば、物品がフレームアウトした場合（Ｓ２６“Ｙｅｓ”）、タイマーをセットして、表示制御部１６１４がガイダンス画面Ａ１の表示を継続する第２の時間の計時を開始する（Ｓ２７）。
物品が撮像部１６４の撮像範囲に存在する場合、換言すれば、物品がフレームアウトしていない場合（Ｓ２６“Ｎｏ”）、判定部１６１６は、物品が撮像部１６４の撮像範囲に存在するか否かの判定の処理を継続する。判定部１６１６が判定の処理を継続している間、受付部１６１５は、Ｓ２２およびＳ２５の処理を繰り返す。
物品がフレームアウトした後に、検出部１６１２が物品を検出した（物品がフレームインした）場合（Ｓ２８“Ｙｅｓ”）、表示制御部１６１４は、ガイダンス画面Ａ１の表示を終了する（Ｓ２４）。フレームアウトした物品と、その後にフレームインした物品とは異なる物品でもよい。例えば、Ｓ２でオペレータの手が検出され、Ｓ２６で当該オペレータの手が撮像範囲からフレームアウトした後に、Ｓ２８で商品Ｇが撮像範囲にフレームインした場合、表示制御部１６１４は、ガイダンス画面Ａ１の表示を終了する。
また、物品がフレームアウトした後に、物品がフレームインしない場合（Ｓ２８“Ｎｏ”）、表示制御部１６１４は、第２の時間が経過したか否か（Ｓ２７でセットされたタイマーがタイムアウトしたか否か）を判断する（Ｓ２９）。
Ｓ２７でセットされたタイマーがまだタイムアウトしていない場合（Ｓ２９“Ｎｏ”）、表示制御部１６１４は、ガイダンス画面Ａ１の表示を継続する。タイマーがタイムアウトするまで、Ｓ２８およびＳ２９の処理が繰り返される。また、物品がフレームアウトした後も、ガイダンス画面Ａ１の表示が継続している間は、受付部１６１５はＳ２２の商品候補の選択の受付およびＳ２５の再認識ボタンＢ１の操作の受け付けが可能であるものとする。
また、Ｓ２７でセットされたタイマーがタイムアウトした場合（Ｓ２９“Ｙｅｓ”）、表示制御部１６１４は、ガイダンス画面Ａ１の表示を終了し（Ｓ２４）、図６に示すフローチャートの処理に戻る。
このように、本実施形態の商品読取装置１０１は、商品ＩＤの出力から第１の時間が経過した後にオブジェクト認識を実行するため、商品Ｇ以外の物品がオブジェクト認識の対象となることを抑制し、それに伴って商品Ｇを認識する処理の停止と不要なガイダンス画面Ａ１の表示とを抑制する。このため、本実施形態の商品読取装置１０１によれば、商品Ｇを認識する処理を再開させるためのオペレータの作業負荷を低減することができる。
また、本実施形態の商品読取装置１０１は、検出された物品にバーコードが付されていると判断した場合は、前回の商品ＩＤの出力から第１の時間が経過しているか否かにかかわらず、バーコードの読み取りを行う。このため、本実施形態の商品読取装置１０１によれば、バーコードの読み取りについては待機時間を設けずに連続して処理を行うことができ、オペレータの作業効率の低下を抑制することができる。
また、本実施形態の商品読取装置１０１は、ガイダンス画面Ａ１が表示されている間に物品が撮像範囲に存在しなくなったと判定した後に物品を検出した場合に、ガイダンス画面Ａ１の表示を終了して、オブジェクト認識またはバーコードの読み取りを再開する。このため、本実施形態の商品読取装置１０１によれば、オペレータによるガイダンス画面Ａ１上の操作がなくともガイダンス画面Ａ１の表示を終了してオブジェクト認識等を再開するため、商品Ｇを認識する処理を再開させるためのオペレータの作業負荷を低減することができる。
また、本実施形態の商品読取装置１０１は、物品が撮像範囲に存在しなくなったと判定してから第２の時間が経過した場合にガイダンス画面Ａ１の表示を終了するため、オペレータの作業負荷をさらに低減することができる。
なお、本実施形態のチェックアウトシステム１、ＰＯＳ端末装置１１および商品読取装置１０１の構成は一例であり、これに限定されるものではない。また、本実施形態では、ユーザはオペレータ（店員等）であるとして説明したが、これに限定されるものではない。例えば、商品読取装置１０１はセルフチェックアウト装置（セルフＰＯＳ）に適用されても良く、この場合、ユーザは顧客となる。
また、本実施形態の商品読取装置１０１では、認識部１６１３がオブジェクト処理を行わない第１の時間の計時を開始するタイミングは前回の商品ＩＤの出力を基準としたが、売上登録部６１１による前回の売上登録を基準としてもよい。
また、図５，７，８に示したガイダンス画面Ａ１、読取開始画面Ａ２、実行画面Ａ３の表示内容や画面構成は一例であり、これらに限定されるものではない。また、表示制御部１６１４は、上述した画面以外に種々の画面を表示デバイス１０６に表示しても良い。
また、上述した本実施形態の商品読取装置１０１の各部の機能は、一部のみ採用されても良い。例えば、認識部１６１３が前回の商品ＩＤの出力から第１の時間が経過するまではオブジェクト認識を行わないことと、物品が撮像部１６４の撮像範囲に存在しなくなった後に検出部１６１２が物品を検出した場合に表示制御部１６１４がガイダンス画面Ａ１の表示を終了することと、判定部１６１６が物品が撮像部１６４の撮像範囲に存在しなくなったと判定してから第２の時間が経過した場合に表示制御部１６１４がガイダンス画面Ａ１の表示を終了することと、はいずれか１つまたは２つが採用されても良い。
本実施形態の商品読取装置１０１およびＰＯＳ端末装置１１で実行される商品読取プログラム等のプログラムは、ＲＯＭ等に予め組み込まれて提供される。当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、本実施形態の商品読取装置１０１およびＰＯＳ端末装置１１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の商品読取装置１０１およびＰＯＳ端末装置１１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の商品読取装置１０１で実行される商品読取プログラムは、上述した各部（取込部、検出部、認識部、表示制御部、受付部、判定部、出力部、受信部）を含むモジュール構成となっている。ＣＰＵ（プロセッサ）は、上記記憶媒体から商品読取プログラムを読み出して、上記各部を主記憶装置上にロードする。これにより取込部、検出部、認識部、表示制御部、受付部、判定部、出力部、受信部が、主記憶装置上に生成される。また、本実施形態のＰＯＳ端末装置１１で実行されるプログラムは、上述した売上登録部を含むモジュール構成となっている。ＣＰＵは、上記記憶媒体から当該プログラムを読み出して、上記各部を主記憶装置上にロードする。これにより売上登録部が主記憶装置上に生成される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ チェックアウトシステム
１１ ＰＯＳ端末装置
１０１ 商品読取装置
１０３ 読取窓
１０４ 表示・操作部
１０５ タッチパネル
１０６ 表示デバイス
１１０ 商品読取部
１６０ マイクロコンピュータ
１６４ 撮像部
６１１ 売上登録部
１６１１ 取込部
１６１２ 検出部
１６１３ 認識部
１６１４ 表示制御部
１６１５ 受付部
１６１６ 判定部
１６１７ 出力部
１６１８ 受信部
Ａ１ ガイダンス画面
Ａ１２ａ 選択ボタン
Ｂ１ 再認識ボタン
Ｆ１ ＰＬＵファイル
Ｇ 商品
特開２０１７−６８５１号公報

Claims (6)

  1. 撮像装置が撮像した画像から物品を検出する検出部と、
    検出された前記物品の特徴量と商品の基準となる特徴量との類似度に基づいて前記物品に該当する一の前記商品を特定する認識処理を実行する認識部と、
    前記認識部が前記物品に該当する一の前記商品を特定できなかった場合、前記物品に該当する前記商品の候補である商品候補を選択可能に表す操作画面を表示部に表示する表示制御部と、
    前記操作画面から一の前記商品候補の選択を受け付ける受付部と、
    前記認識部が一の前記商品を特定した場合、または前記受付部が一の前記商品候補の選択を受け付けた場合、当該一の前記商品を示す識別情報を出力する出力部と、を備え、
    前記認識部は、前記出力部による前記識別情報の出力から第１の時間が経過した後に、前記認識処理を実行する、
    商品読取装置。
  2. 前記認識部は、前記画像に基づいて前記物品にコードシンボルが付されているか否かを判断し、前記コードシンボルが付されていると判断した場合は、前記識別情報の出力から前記第１の時間が経過しているか否かにかかわらず、前記コードシンボルの読み取りを行って前記物品に該当する一の前記商品を特定する、
    請求項１に記載の商品読取装置。
  3. 撮像装置が撮像した画像から物品を検出する検出部と、
    検出された前記物品の特徴量と商品の基準となる特徴量との類似度に基づいて前記物品に該当する一の前記商品を特定する認識処理の実行、または前記物品に付されたコードシンボルの読み取りを行う認識部と、
    前記認識部が前記認識処理を実行した場合であって、前記物品に該当する一の前記商品を特定できなかった場合に、前記物品に該当する前記商品の候補である商品候補を選択可能に表す操作画面を表示部に表示する表示制御部と、
    前記操作画面が表示されている間、前記画像から前記検出部によって前記物品が検出され続けているか否かを判定することによって、前記物品が前記撮像装置の撮像範囲に存在するか否かを判定する判定部と、を備え、
    前記表示制御部は、前記判定部が前記物品が前記撮像範囲に存在しなくなったと判定した後に、前記検出部が前記物品を検出した場合に、前記操作画面の表示を終了し、
    前記認識部は、前記操作画面が表示されている間は、前記認識処理および前記コードシンボルの読み取りを停止し、前記操作画面の表示が終了すると、前記認識処理または前記コードシンボルの読み取りを再開する、
    商品読取装置。
  4. 前記表示制御部は、さらに、前記判定部が前記物品が前記撮像範囲に存在しなくなったと判定してから第２の時間が経過した場合に、前記操作画面の表示を終了する、
    請求項３に記載の商品読取装置。
  5. コンピュータに実行させるためのプログラムであって、
    撮像装置が撮像した画像から物品を検出する検出ステップと、
    検出された前記物品の特徴量と商品の基準となる特徴量との類似度に基づいて前記物品に該当する一の前記商品を特定する認識処理を実行する認識ステップと、
    前記認識ステップが前記物品に該当する一の前記商品を特定できなかった場合、前記物品に該当する前記商品の候補である商品候補を選択可能に表す操作画面を表示部に表示する表示制御ステップと、
    前記操作画面から一の前記商品候補の選択を受け付ける受付ステップと、
    前記認識ステップが一の前記商品を特定した場合、または前記受付ステップが一の前記商品候補の選択を受け付けた場合、当該一の前記商品を示す識別情報を出力する出力ステップと、を含み、
    前記認識ステップは、前記出力ステップによる前記識別情報の出力から第１の時間が経過した後に、前記認識処理を実行する、
    商品読取プログラム。
  6. コンピュータに実行させるためのプログラムであって、
    撮像装置が撮像した画像から物品を検出する検出ステップと、
    検出された前記物品の特徴量と商品の基準となる特徴量との類似度に基づいて前記物品に該当する一の前記商品を特定する認識処理の実行、または前記物品に付されたコードシンボルの読み取りを行う認識ステップと、
    前記認識ステップが前記認識処理を実行した場合であって、前記物品に該当する一の前記商品を特定できなかった場合に、前記物品に該当する前記商品の候補である商品候補を選択可能に表す操作画面を表示部に表示する表示制御ステップと、
    前記操作画面が表示されている間、前記画像から前記検出ステップによって前記物品が検出され続けているか否かを判定することによって、前記物品が前記撮像装置の撮像範囲に存在するか否かを判定する判定ステップと、を備え、
    前記表示制御ステップは、前記判定ステップが前記物品が前記撮像範囲に存在しなくなったと判定した後に、前記検出ステップが前記物品を検出した場合に、前記操作画面の表示を終了し、
    前記認識ステップは、前記操作画面が表示されている間は、前記認識処理および前記コードシンボルの読み取りを停止し、前記操作画面の表示が終了すると、前記認識処理または前記コードシンボルの読み取りを再開する、
    商品読取プログラム。
JP2017139926A 2017-07-19 2017-07-19 商品読取装置および商品読取プログラム Active JP6885814B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017139926A JP6885814B2 (ja) 2017-07-19 2017-07-19 商品読取装置および商品読取プログラム
US16/037,463 US20190026718A1 (en) 2017-07-19 2018-07-17 Commodity scanning apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017139926A JP6885814B2 (ja) 2017-07-19 2017-07-19 商品読取装置および商品読取プログラム

Publications (2)

Publication Number Publication Date
JP2019021105A JP2019021105A (ja) 2019-02-07
JP6885814B2 true JP6885814B2 (ja) 2021-06-16

Family

ID=65023386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017139926A Active JP6885814B2 (ja) 2017-07-19 2017-07-19 商品読取装置および商品読取プログラム

Country Status (2)

Country Link
US (1) US20190026718A1 (ja)
JP (1) JP6885814B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201906157D0 (en) * 2019-05-02 2019-06-19 Ocado Innovation Ltd An apparatus and method for imaging containers
US11037124B1 (en) * 2020-02-26 2021-06-15 Viscovery Inc. Checkout apparatus for barcodeless merchandise
JP2021182342A (ja) * 2020-05-20 2021-11-25 東芝テック株式会社 会計装置
CN111639493A (zh) * 2020-05-22 2020-09-08 上海微盟企业发展有限公司 一种地址信息标准化方法、装置、设备及可读存储介质
US20230196584A1 (en) * 2021-12-20 2023-06-22 Industrial Technology Research Institute Object detection method and object detection system for video

Also Published As

Publication number Publication date
US20190026718A1 (en) 2019-01-24
JP2019021105A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6885814B2 (ja) 商品読取装置および商品読取プログラム
JP6141208B2 (ja) 情報処理装置及びプログラム
JP5677389B2 (ja) 情報処理装置及びプログラム
JP5620416B2 (ja) 情報処理装置及びプログラム
JP2014153894A (ja) 情報処理装置及びプログラム
US8805092B2 (en) Store system, reading apparatus, and sales registration apparatus
JP2013050924A (ja) 店舗システム及びプログラム
JP6258761B2 (ja) 情報処理装置及びプログラム
JP5166496B2 (ja) コード読取装置及びプログラム
JP6122805B2 (ja) 情報処理装置及びプログラム
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
JP2018055716A (ja) 情報処理装置及びプログラム
JP5802712B2 (ja) 情報処理装置及びプログラム
JP2013045300A (ja) 顔認証装置、顔認証方法及びプログラム
JP6190019B2 (ja) 情報処理装置及びプログラム
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP2013145454A (ja) 情報処理装置及びプログラム
JP2012053710A (ja) 店舗システム、売上登録装置及びプログラム
JP5250002B2 (ja) 読取装置及びプログラム
JP6138060B2 (ja) 情報処理装置及びプログラム
JP2014153880A (ja) 情報処理装置及びプログラム
US20170083891A1 (en) Information processing apparatus and information processing method
JP5341844B2 (ja) 店舗システム、売上登録装置及びプログラム
JP6272810B2 (ja) 情報処理装置およびプログラム
JP6392927B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210513

R150 Certificate of patent or registration of utility model

Ref document number: 6885814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150