JP6851193B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6851193B2
JP6851193B2 JP2016246968A JP2016246968A JP6851193B2 JP 6851193 B2 JP6851193 B2 JP 6851193B2 JP 2016246968 A JP2016246968 A JP 2016246968A JP 2016246968 A JP2016246968 A JP 2016246968A JP 6851193 B2 JP6851193 B2 JP 6851193B2
Authority
JP
Japan
Prior art keywords
dictionary
article
product
unit
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016246968A
Other languages
English (en)
Other versions
JP2018101292A (ja
Inventor
飯坂　仁志
仁志 飯坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2016246968A priority Critical patent/JP6851193B2/ja
Priority to US15/839,567 priority patent/US10360690B2/en
Publication of JP2018101292A publication Critical patent/JP2018101292A/ja
Application granted granted Critical
Publication of JP6851193B2 publication Critical patent/JP6851193B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。
従来、撮像画像に含まれる物品の特徴量と、予め辞書登録された基準物品の特徴量とを比較し、その類似度に基づいて物品の種別等を認識する物体認識に係る技術が存在している。また、この技術を用いて、青果品等の商品の識別や品種を識別し、その識別結果に基づいて商品の売上登録を行う情報処理装置が提案されている。
ところで、商品の売上登録を行う情報処理装置では、使用される場所や時期等の使用環境が変わると、認識の対象とする物品や認識の対象から除外する物品も変わる場合がある。このような場合、予め用意された辞書では新たな物品に対応することができないため、その新たな物品の特徴量を辞書登録することが必要となる。しかしながら、従来の技術では、新たな物品の辞書登録を容易に行うことができず、利便性の上で改善の余地があった。
本発明の実施形態が解決しようとする課題は、辞書登録を容易に行うことが可能な情報処理装置及びプログラムを提供することである。
実施形態の情報処理装置は、物体認識に用いる辞書であって、認識の対象とする第１物品各々の特徴量が登録された第１辞書と、認識の対象から除外する第２物品各々の特徴量が登録された第２辞書とを記憶する記憶手段と、辞書登録の対象となる物品の属性として、認識又は除外の対象かを択一的に選択させるための選択画面を表示装置に表示させる表示手段と、前記選択画面に基づき選択された属性を受け付ける受付手段と、辞書登録の対象となる物品を撮像した撮像画像から当該物品の特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量を、前記受付手段が受け付けた属性に対応する前記第１辞書又は前記第２辞書に登録する登録手段と、を備える。
図１は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図２は、実施形態に係るＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、実施形態に係るＰＬＵファイルのデータ構成を例示する概念図である。 図４は、実施形態に係る除外用辞書ファイルのデータ構成を例示する概念図である。 図５は、実施形態に係るＰＯＳ端末の機能構成を示すブロック図である。 図６は、撮像画像の一例を示す図である。 図７は、確定画面の一例を示す図である。 図８は、商品候補選択画面の一例を示す図である。 図９は、物品属性選択画面の一例を示す図である。 図１０は、基準商品入力画面の一例を示す図である。 図１１は、除外物品入力画面の一例を示す図である。 図１２は、実施形態のＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図１３は、実施形態のＰＯＳ端末が実行する辞書登録処理の一例を示すフローチャートである。
以下、実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。本実施形態では、スーパーマーケット等の店舗に導入された、一取引に係る商品の登録及び精算を行うＰＯＳ端末を備えるチェックアウトシステムに適用した例について説明するが、この実施形態に限定されないものとする。
図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員等）によって操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりも更に奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
また、商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかをオペレータに指定させるための画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、オペレータにより指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。一方、ＰＯＳ端末１１は、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
キーボード２２は、「１」、「２」、「３」等の数字や乗算等の算術演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。
ＨＤＤ６４に記憶されているプログラムの一例は、売上登録処理用プログラムＰＲ１や辞書登録処理用プログラムＰＲ２である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１、除外用辞書ファイルＦ２である。
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納する。以下の説明では、ＰＬＵファイルＦ１を辞書（第１辞書）として用いるが、第１辞書はＰＬＵファイルＦ１と異なるファイルであってもよい。第１辞書は、認識の対象となる商品Ｇ（以下、基準商品）を撮像した画像から抽出した当該基準商品の特徴量を記憶する。第１辞書は、ＰＬＵファイルＦ１と異なるファイルである場合、同一の基準商品に係る特徴量と、ＰＬＵファイルＦ１の情報とは、後述する商品ＩＤ等によって対応付けられる。なお、特徴量は、基準商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。
図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、基準商品である商品Ｇ毎に、ユニークに割り当てられた識別情報である商品ＩＤ、商品Ｇが属する商品分類、商品名、単価、その商品を示すイラスト画像等の商品Ｇに関する商品情報と、その商品Ｇの特徴量とを関連付けて格納する。ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介して、商品読取装置１０１が読み出し可能に構成されている。
なお、物品の品種を認識（検出）する必要がある場合には、ＰＬＵファイルＦ１は、品種毎に商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを対応付けて管理する。また、候補の表示にイラスト画像を用いずに文字で候補を表示する場合は、イラスト画像はＰＬＵファイルＦ１に格納しなくてもよい。また、ＰＬＵファイルＦ１を構成する項目は、図３の例に限らないものとする。
除外用辞書ファイルＦ２は、第２辞書の一例である。除外用辞書ファイルＦ２は、認識の対象から除外する物品（以下、除外物品という）の各々について、当該除外物品の特徴量を格納する。係る、除外用辞書ファイルＦ２は、ＰＬＵファイルＦ１と同様に辞書として用いられる。
除外用辞書ファイルＦ２には、汎用的な除外物品の特徴量が予め登録されている。例えば、図１に示したチェックアウトシステム１の構成では、読取窓１０３はオペレータ側に向けて配置されているため、オペレータの体の一部（手や腕）等、商品Ｇ以外の物品を撮像部１６４が撮像する可能性がある。そこで、撮像部１６４が撮像する可能性のある手や腕を汎用的な除外物品とし、その特徴量を除外用辞書ファイルＦ２に記憶している。これにより、オペレータの手が撮像部１６４で撮像された場合に、手を商品Ｇ（基準商品）と認識してしまう誤認識の発生を低減することができる。
図４は、除外用辞書ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、除外用辞書ファイルＦ２は、除外物品毎に、ユニークに割り当てられた識別情報である物品ＩＤ、物品名と、その除外物品を撮像した画像から読み取られた色合いや表面の凹凸状況等の特徴量とを関連付けて格納する。なお、図４では、除外物品として、人の手に関する情報を格納した例を示しているが、除外物品はこれに限らないものとする。除外用辞書ファイルＦ２は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。また、除外用辞書ファイルＦ２を構成する項目は、図４の例に限らないものとする。
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１や除外用辞書ファイルＦ２が格納されている。
更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は、接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。接続インターフェース１７６は、表示・操作部１０４において、タッチパネル１０５、表示デバイス１０６、キーボード１０７及び顧客用表示デバイス１０９に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。撮像部１６４は、例えば３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。
更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図５を参照して説明する。
図５は、ＰＯＳ端末１１の機能構成を示すブロック図である。まず、売上登録処理に係る機能構成について説明する。図５に示すように、ＰＯＳ端末１１のＣＰＵ６１は、売上登録処理用プログラムＰＲ１と協働することで、画像取込部５０１、物品検出部５０２、特徴量抽出部５０３、類似度算出部５０４、認識処理部５０５、商品提示部５０６、入力受付部５０７、情報入力部５０８及び売上登録部５０９を機能部として実現する。
画像取込部５０１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５０１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像（フレーム画像）を順次取り込む。画像取込部５０１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
図６は、画像取込部５０１によって取り込まれた撮像画像の一例を示す図である。図６に示すように、オペレータが読取窓１０３に商品Ｇをかざすと、撮像部１６４の読取領域Ｒに商品Ｇの全部または一部が入る。そして、撮像部１６４により撮影された商品Ｇの撮像画像は、商品読取装置１０１の表示デバイス１０６に表示される。
物品検出部５０２は、画像取込部５０１により取り込まれた撮像画像に写っている物品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれた撮像画像を２値化した画像から輪郭線等を抽出する。次いで、前回の撮像画像から抽出された輪郭線と、今回の撮像画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品Ｇ等の物品を検出する。
特徴量抽出部５０３は、物品検出部５０２が物品を検出した撮像画像から、当該物品の特徴量を抽出する。具体的には、特徴量抽出部５０３は、撮像画像に含まれる物品の領域（写り込み領域）から、当該物品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。
類似度算出部５０４は、特徴量抽出部５０３が撮像画像から抽出した特徴量と、ＰＬＵファイルＦ１及び除外用辞書ファイルＦ２に登録された各特徴量とを比較し、その類似度をそれぞれ算出する。ここで、類似度は、撮像画像から抽出した特徴量と、ＰＬＵファイルＦ１及び除外用辞書ファイルＦ２に登録された各特徴量とが、どの程度類似しているかを定量的に示すものである。例えば、撮像画像から抽出した特徴量が、ある基準商品の特徴量と完全に一致する場合、類似度は１００％（１．０）となる。
なお、類似度は、例えば色合いと表面の凹凸状況とで、重み付けを変えて算出してもよい。また、類似度の算出方法は特に問わないものとする。例えば、類似度は、絶対評価で算出してもよいし、相対評価で算出してもよい。類似度を絶対評価で算出する場合、撮像画像から抽出した特徴量と、ＰＬＵファイルＦ１及び除外用辞書ファイルＦ２に登録された各特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価で算出する場合、撮像画像から抽出した特徴量と、ＰＬＵファイルＦ１及び除外用辞書ファイルＦ２に登録された各特徴量との類似度の総和が１．０（１００％）となるよう算出すればよい。
認識処理部５０５は、類似度算出部５０４が算出した類似度に基づき、撮像画像に含まれる物品との類似度が所定の閾値以上となった基準商品を、当該物品の候補として認識する。具体的には、認識処理部５０５は、撮像画像に写っている物品と除外物品との類似度が支配的か否かを判定する。
ここで、除外物品との類似度が支配的か否かを判定する方法は、特に問わず、種々の方法を採用すること可能である。例えば、認識処理部５０５は、除外物品との類似度の最大値が所定の閾値（５０％、８０％等）を上回る場合に、除外物品との類似度が支配的と判定する。また、認識処理部５０５は、除外物品との類似度の最大値が、基準商品との類似度の最大値を上回る場合に、除外物品との類似度が支配的と判定する。
認識処理部５０５は、撮像画像に含まれる物品と除外物品との類似度が支配的となった場合、当該物品の候補を基準商品から認識する処理を抑制する。これにより、例えば、オペレータの手が撮像されたような場合、除外物品（手）との類似度が支配的となるため、手を基準商品と誤認識してしまうことを防ぐことができる。また、例えば、商品Ｇを把持する手が当該商品Ｇの大部分を覆っているような場合も、除外物品（手）との類似度が支配的となるため、商品Ｇの誤認識を防ぐことができる。
一方、除外物品との類似度が非支配的である場合、認識処理部５０５は、基準商品の各々について算出された類似度に基づき、当該類似度が所定の閾値を超えた基準商品を撮像画像に含まれる物品の候補として認識（選定）する。
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。係る一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２８年８月３０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２８年８月３０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、本実施形態では、基準商品との類似度について複数の条件が段階的に設けられており、認識処理部５０５は、充足する条件に応じて撮像画像に含まれる物品の確定あるいは候補の選定を行うものとする。
例えば、認識処理部５０５は、類似度が第１閾値（例えば９０％）以上となった基準商品が存在するか否かを判定する。この条件に該当する基準商品が一つ存在する場合、認識処理部５０５は、当該基準商品を撮像画像に含まれる物品（確定商品）として認識（確定）する。また、類似度が第１閾値以上の基準商品が複数存在する場合、認識処理部５０５は、当該基準商品の各々を、撮像画像に含まれる物品の候補（商品候補）として認識する。なお、認識処理部５０５は、連続して撮像された一連する撮像画像において、類似度が第１閾値以上となった回数をカウントし、この回数が所定回数以上となった場合に、上述した第１閾値に係る条件を充足すると判定としてもよい。
また、認識処理部５０５は、類似度が第１閾値未満で且つ第２閾値（第１閾値＞第２閾値、例えば５０％）以上の基準商品が存在するか否かを判定する。この条件に該当する基準商品が存在する場合、認識処理部５０５は、当該基準商品の各々を、撮像画像に含まれる物品の候補（商品候補）として認識する。なお、認識処理部５０５は、連続して撮像された一連する撮像画像において、類似度が第１閾値未満で且つ第２閾値以上となった回数をカウントし、この回数が所定回数以上となった場合に、上述した第２閾値に係る条件を充足すると判定してもよい。
なお、閾値やカウント数は適宜設定可能であり、上述した例に限定されるものではない。また、カウント数はそれぞれ条件毎に異なる回数を設けるものであってもよい。
商品提示部５０６は、認識処理部５０５の認識結果を画像出力や音声出力等によってオペレータや顧客に報知する。具体的には、商品提示部５０６は、撮像画像に含まれる物品として一の基準商品が一意に確定された場合、その旨を示す確定画面Ａ１（図７参照）を、表示デバイス１０６に表示させる。
図７は、確定画面Ａ１の一例を示す図である。撮像画像に含まれる物品として一の基準商品が一意に確定された場合、商品提示部５０６は、読取領域Ｒ（図６参照）の撮像画像の表示を停止し、確定された基準商品に対応するイラスト画像Ｇ１および商品名（ＡＡＡ）をＰＬＵファイルＦ１から読み出して、確定画面Ａ１に表示する。また、商品提示部５０６は、ＰＬＵファイルＦ１から読み出した基準商品の商品名、商品価格（単価）を、商品名表示領域Ａ１１、価格表示領域Ａ１２にそれぞれ表示する。
また、商品提示部５０６は、撮像画像に含まれる物品に候補として、一又は複数の基準商品が認識された場合、当該基準商品に関する情報を商品候補として表示デバイス１０６に表示させる。具体的には、商品提示部５０６は、候補として認識された基準商品のイラスト画像及び商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５０４が算出した類似度の高いものから順に、商品候補選択画面Ａ２（図８参照）に表示する。
図８は、商品候補選択画面Ａ２の一例を示す図である。図８に示すように、商品候補選択画面Ａ２の商品候補提示領域Ａ２１には、類似度の高い候補から順に、当該商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３及び各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ２１の下部には、商品リストから商品を選択するための選択ボタンＡ２２が設けられており、商品リストから選択された商品は上述した確定商品として処理される。なお、図８では、イラスト画像Ｇ１〜Ｇ３に対応する３つの候補を表示した例を示したが、候補の数や表示方法はこれに限定されるものではない。
なお、表示デバイス１０６に商品候補のイラスト画像Ｇ１〜Ｇ３が表示されている状態でも、これら商品候補に対する選択操作を受付けない場合には、画像取込部５０１による画像取込処理、物品検出部５０２による検出処理、特徴量抽出部５０３による特徴量抽出処理、類似度算出部５０４による類似度算出処理、認識処理部５０５による認識処理は継続される。従って、商品候補が選択されない間は、表示デバイス１０６の画面に読取領域Ｒの撮像画像が表示される。
入力受付部５０７は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば、入力受付部５０７は、表示デバイス１０６に表示された商品候補のイラスト画像Ｇ１〜Ｇ３（図８参照）の中から何れか１つのイラスト画像に対する選択操作を受付ける。入力受付部５０７は、選択されたイラスト画像の基準商品を、撮像部１６４で撮像された商品Ｇに対応する確定商品であるとして受付ける。なお、商品提示部５０６は、入力受付部５０７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面Ａ１を表示デバイス１０６に表示させる。
情報入力部５０８は、上述のように確定された確定商品について、その確定商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介して入力する。なお、情報入力部５０８は、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。
売上登録部５０９は、情報入力部５０８から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部５０９は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
次に、辞書登録に係る機能構成について説明する。上述したように、ＰＯＳ端末１１は、撮像部１６４で撮像された物品（商品Ｇ）の特徴量と、ＰＬＵファイルＦ１に登録された基準商品の特徴量との類似度に基づき、その物品を認識するための処理を実行する。また、ＰＯＳ端末１１は、除外用辞書ファイルＦ２を用いることで、除外物品との類似度が支配的となった場合に、物品の認識処理を抑制している。
ところで、チェックアウトシステム１を使用する場所や時期等の使用環境が変わると、基準商品や除外物品も変わってくるような場合がある。例えば、新種の青果や、特定の地域で生産される地産商品等については、初期状態のＰＬＵファイルＦ１には登録されていない。そのため、認識の対象とするためには、それらの物品の特徴量をＰＬＵファイルＦ１に登録することが必要になる。また、例えば、店員が着用する制服の柄を除外物品とするような場合、制服は店舗や系列店毎に異なることが一般的であるため、初期状態のＰＬＵファイルＦ１には登録されていない。そのため、制服の柄を除外物品とするためには、店舗や系列店毎に着用する制服に応じた柄の特徴量を除外用辞書ファイルＦ２に登録することが必要になる。
そこで、ＰＯＳ端末１１は、ＰＬＵファイルＦ１や除外用辞書ファイルＦ２の辞書に対する辞書登録を支援するための機能部を備えている。具体的には、ＰＯＳ端末１１のＣＰＵ６１は、辞書登録処理用プログラムＰＲ２と協働することで、辞書登録を支援するための機能部として辞書登録部５１１を実現する。
辞書登録部５１１は、上述した画像取込部５０１、物品検出部５０２及び特徴量抽出部５０３等と協働することで、基準商品又は除外物品の特徴量を追加登録するための登録処理を実行する。具体的には、辞書登録部５１１は、表示・操作部１０４やキーボード１０７等を介して辞書登録の指示を受け付けると、登録対象の物品の属性を選択させるための物品属性選択画面Ａ３（図９参照）を、表示デバイス１０６にさせる。
図９は、物品属性選択画面Ａ３の一例を示す図である。図９に示すように、物品属性選択画面Ａ３は、登録する物品の属性として、認識対象か除外対象かを選択するための操作子（選択ボタンＡ３１、選択ボタンＡ３２）を有する。ここで、選択ボタンＡ３１は、認識対象を選択するための操作子である。また、選択ボタンＡ３２は、除外対象を選択するための操作子である。辞書登録部５１１は、選択ボタンＡ３１の操作を受け付けると、認識対象の物品（基準商品）の登録が指示されたと判断する。また、辞書登録部５１１は、選択ボタンＡ３２の操作を受け付けると、除外対象の物品（除外物品）の登録が指示されたと判断する。
辞書登録部５１１は、基準商品の登録が指示されたことを条件に、新たに登録する基準商品に関する情報を入力するための基準商品入力画面Ａ４（図１０参照）を、表示デバイス１０６に表示する。
図１０は、基準商品入力画面Ａ４の一例を示す図である。図１０に示すように、基準商品入力画面Ａ４は、商品ＩＤ、商品分類、商品名、単価、イラスト画像等の商品情報を入力するための入力項目Ａ４１〜Ａ４５を有する。ここで、入力項目Ａ４５には、例えば、イラスト画像の格納先を示すパス等が入力される。
辞書登録部５１１は、入力項目Ａ４１〜Ａ４５に入力された後、基準商品入力画面Ａ４に設けられた設定ボタンＡ４６の操作を受け付けると、入力された商品情報をＲＡＭ６３等に保持する。次いで、辞書登録部５１１は、画像取込部５０１と協働することで、撮像部１６４の撮像動作を開始させ、新たに登録する基準商品（商品Ｇ）の撮像を開始する。また、辞書登録部５１１は、物品検出部５０２及び特徴量抽出部５０３と協働することで、撮像画像に含まれる基準商品の写り込み領域から特徴量を抽出する。そして、辞書登録部５１１は、先に保持した商品情報と抽出した特徴量とを登録情報として、ＰＬＵファイルＦ１に登録（辞書登録）する。
また、辞書登録部５１１は、除外物品の登録が指示されたことを条件に、新たに登録する除外物品に関する情報を入力するための除外物品入力画面Ａ５（図１１参照）を、表示デバイス１０６に表示する。
図１１は、除外物品入力画面Ａ５の一例を示す図である。図１１に示すように、除外物品入力画面Ａ５は、物品ＩＤ、物品名等の除外物品情報を入力するための入力項目Ａ５１、Ａ５２を有する。
辞書登録部５１１は、入力項目Ａ５１、Ａ５２が入力された後、除外物品入力画面Ａ５に設けられた設定ボタンＡ５３の操作を受け付けると、入力された商品情報及びイラスト画像をＲＡＭ６３等に保持する。次いで、辞書登録部５１１は、画像取込部５０１と協働することで、撮像部１６４の撮像動作を開始させ、新たに登録する除外物品（制服の柄等）の撮像を開始する。また、辞書登録部５１１は、物品検出部５０２及び特徴量抽出部５０３と協働することで、撮像画像に含まれる除外物品の写り込み領域から特徴量を抽出する。そして、辞書登録部５１１は、先に保持した除外物品情報と抽出した特徴量とを登録情報として、除外用辞書ファイルＦ２に登録（辞書登録）する。
なお、抽出する特徴量の個数は特に問わないものとするが、複数であることが好ましい。具体的には、辞書登録部５１１は、一の物品（基準商品、除外物品）について連続して撮像された一連する複数の撮像画像から、所定個数分の特徴量を抽出し、当該特徴量を登録する。従って、物品検出部５０２により物品が検出された撮像画像毎に、当該物品の特徴量が特徴量抽出部５０３によって抽出される。なお、抽出する特徴量の個数は、キーボード２２やキーボード１０７等を介して指定可能な構成としてもよい。
さらに、辞書登録部５１１は、新たに登録した登録情報を他のＰＯＳ端末１１等と共有するため、当該登録情報を登録先のファイルを示すカテゴリ情報とともにストアコンピュータＳＣに送信する。ストアコンピュータＳＣは、ＰＯＳ端末１１から登録情報とカテゴリ情報とを受信すると、そのカテゴリ情報がＰＬＵファイルＦ１及び除外用辞書ファイルＦ２の何れに該当するかを判定する。ストアコンピュータＳＣは、該当するファイルに登録情報を登録することで当該ファイルを更新した後、その更新後のファイルをＰＯＳ端末１１の各々に配信する。なお、登録情報をストアコンピュータＳＣに送信するタイミングや、更新後のファイルをＰＯＳ端末１１に配信するタイミングは特に問わないものとする、例えば、更新後直ちに送信（配信）してもよいし、予め定められた時間に送信（配信）してもよい。
このように、辞書登録部５１１は、辞書登録の指示を受け付けると、上述した物品属性選択画面Ａ３、基準商品入力画面Ａ４及び除外物品入力画面Ａ５を提供することで、新たな物品の辞書登録を支援する。
以下、ＰＯＳ端末１１の動作について説明する。まず、図１２を参照して、ＰＯＳ端末１１が実行する売上登録処理について説明する。ここで、図１２は、ＰＯＳ端末１１が実行する売上登録処理の一例を示すフローチャートである。
まず、画像取込部５０１は、撮像部１６４に撮像オン信号を出力することで、撮像部１６４により撮像動作を開始させる（ステップＳ１１）。これに伴い、画像取込部５０１は、撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を取り込む（ステップＳ１２）。
続いて、物品検出部５０２は、ステップＳ１２で取り込まれた撮像画像から物品が写り込んだ領域を検出する（ステップＳ１３）。ステップＳ１３において、物品が検出されない場合には（ステップＳ１３；Ｎｏ）、ステップＳ１２に戻る。ステップＳ１３において、物品が検出された場合（ステップＳ１３；Ｙｅｓ）、特徴量抽出部５０３は、その物品が検出された画像中の領域から特徴量を抽出する（ステップＳ１４）。
続いて、類似度算出部５０４は、ステップＳ１４で抽出された特徴量と、ＰＬＵファイルＦ１及び除外用辞書ファイルＦ２に登録された各特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ１５）。
続いて、認識処理部５０５は、ステップＳ１５で算出された類似度に基づき、撮像画像に含まれる物品と除外物品との類似度が支配的か否かを判定する（ステップＳ１６）。例えば、認識処理部５０５は、除外物品について算出された類似度の最大値や、当該最大値と基準商品について算出された類似度の最大値との比較結果等に基づき、除外物品との類似度が支配的か否かを判定する。
ステップＳ１６において、撮像画像に含まれる物品と除外物品との類似度が支配的と判定した場合（ステップＳ１６；Ｙｅｓ）、認識処理部５０５は、ステップＳ１２に戻る。また、除外物品との類似度が非支配的と判定した場合（ステップＳ１６；Ｎｏ）、認識処理部５０５は、基準商品について算出された類似度に基づいて、撮像画像に含まれた物品に対するオブジェクト認識処理を実行する。
続いて、認識処理部５０５は、確定商品が存在するか否かを判定する（ステップＳ１７）。例えば、認識処理部５０５は、算出された類似度が第１閾値（例えば９０％）以上の基準商品が一つ存在するような場合、その基準商品を確定商品と判定する。
確定商品が存在する場合（ステップＳ１７：Ｙｅｓ）、商品提示部５０６は、確定商品のイラスト画像を含む確定画面Ａ１を表示させる（ステップＳ２１）。また、情報入力部５０８は、確定商品とされた基準商品の商品ＩＤ等を、キーボード１０７を介して別途入力された販売個数とともにＲＡＭ６３などの一時記憶ファイルに一時的に記憶し（ステップＳ２２）、ステップＳ２３に移行する。
また、確定商品が存在しない場合（ステップＳ１７；Ｎｏ）、認識処理部５０５は、商品候補が存在するか否かを判定する（ステップＳ１８）。例えば、認識処理部５０５は、算出された類似度が第１閾値（例えば９０％）以上の基準商品が複数存在するような場合や、第２閾値（例えば５０％）以上の基準商品が存在する場合に、それらの基準商品を商品候補と判定する。
商品候補が存在する場合（ステップＳ１８：Ｙｅｓ）、商品提示部５０６は、各商品候補のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域Ａ２１に表示させる（ステップＳ１９）。
続いて、入力受付部５０７は、商品候補のイラスト画像に対する選択操作を受付けたか否かを判定する（ステップＳ２０）。選択を受付けた場合（ステップＳ２０：Ｙｅｓ）にはステップＳ２１に移行し、商品提示部５０６は確定画面Ａ１を表示させる。一方、選択を受付けない場合（ステップＳ２０：Ｎｏ）には、ステップＳ１２に戻る。なお、ステップＳ１８において、商品候補が存在しないと判定した場合も（ステップＳ１８；Ｎｏ）、ステップＳ１２に戻る。
ステップＳ２３においてＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合（ステップＳ２３：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２３：Ｙｅｓ）、画像取込部５０１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了する（ステップＳ２４）。
次いで、売上登録部５０９は、ステップＳ２２で記憶した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ２５）。
このように、ＰＯＳ端末１１、撮像部１６４で撮像された物体の画像から抽出される特徴量と、ＰＬＵファイルＦ１及び除外用辞書ファイルＦ２に登録された各物体の特徴量との類似度を算出する。そして、除外物品との類似度が支配的となる場合には、撮像部１６４で撮像された物体の認識を抑制し、基準物品との類似度が支配的となった場合に、撮像部１６４で撮像された物体の認識を行う。これにより、除外物品を基準物品と認識してしまう誤認識の発生を低減することができるため、一般物体認識（オブジェクト認識）の認識の精度を向上させることができる。
次に、図１３を参照して、ＰＯＳ端末１１が実行する辞書登録処理について説明する。ここで、図１３は、ＰＯＳ端末１１が実行する辞書登録処理の一例を示すフローチャートである。
まず、辞書登録部５１１は、表示・操作部１０４やキーボード１０７等を介して辞書登録の指示があるまで待機する（ステップＳ３１；Ｎｏ）。辞書登録の指示を受け付けると（ステップＳ３１；Ｙｅｓ）、辞書登録部５１１は、登録対象の物品の属性を選択させるための物品属性選択画面Ａ３を表示デバイス１０６に表示させる（ステップＳ３２）。
物品属性選択画面Ａ３を介して属性の選択が行われると、辞書登録部５１１は、選択された属性が認識対象か否かを判定する（ステップＳ３３）。認識対象が選択された場合（ステップＳ３３；Ｙｅｓ）、辞書登録部５１１は、基準商品に関する情報を入力するための基準商品入力画面Ａ４を表示デバイス１０６に表示させる（ステップＳ３４）。
基準商品入力画面Ａ４に商品情報が入力された後、設定ボタンＡ４６の操作を受け付けると、辞書登録部５１１は、入力された商品情報をＲＡＭ６３等に保持する。次いで、辞書登録部５１１は、画像取込部５０１と協働することで、撮像部１６４による撮像を開始させる（ステップＳ３５）。なお、辞書登録部５１１は、設定ボタンＡ４６の操作に応じて、読取窓１０３に物品（基準物品）をかざす旨の案内を表示デバイス１０６に表示させてもよい。
続いて、辞書登録部５１１は、物品検出部５０２及び特徴量抽出部５０３と協働することで、撮像画像に含まれる物品の写り込み領域から特徴量を抽出する（ステップＳ３６）。次いで、辞書登録部５１１は、先に保持した商品情報と抽出した特徴量とを新たな登録情報としてＰＬＵファイルＦ１に登録し（ステップＳ３７）、ステップＳ４２に移行する。
一方、ステップＳ３３において、除外対象が選択された場合（ステップＳ３３；Ｎｏ）、辞書登録部５１１は、除外物品に関する情報を入力するための除外物品入力画面Ａ５を表示デバイス１０６に表示させる（ステップＳ３８）。
除外物品入力画面Ａ５に除外物品情報が入力された後、設定ボタンＡ５３の操作を受け付けると、辞書登録部５１１は、入力された除外物品情報をＲＡＭ６３等に保持する。次いで、辞書登録部５１１は、画像取込部５０１と協働することで、撮像部１６４による撮像を開始させる（ステップＳ３９）。なお、辞書登録部５１１は、設定ボタンＡ５３の操作に応じて、読取窓１０３に物品（除外物品）をかざす旨の案内を表示デバイス１０６に表示させてもよい。
続いて、辞書登録部５１１は、物品検出部５０２及び特徴量抽出部５０３と協働することで、撮像画像に含まれる物品の写り込み領域から特徴量を抽出する（ステップＳ４０）。次いで、辞書登録部５１１は、先に保持した除外物品情報と抽出した特徴量とを新たな登録情報として除外用辞書ファイルＦ２に登録し（ステップＳ４１）、ステップＳ４２に移行する。
そして、辞書登録部５１１は、画像取込部５０１と協働することで、撮像部１６４による撮像を終了させた後（ステップＳ４２）、本処理を終了する。
このように、ＰＯＳ端末１１は、辞書登録の指示を受け付けると、物品属性選択画面Ａ３を介して、辞書に登録する物品の属性を受け付ける。そして、ＰＯＳ端末１１は、各種画面を介して入力された商品情報や除外物品情報を、新たに登録する物品の撮像画像から抽出した特徴量とともに、その物品の属性に対応する辞書（ＰＬＵファイルＦ１、除外用辞書ファイルＦ２）に登録する。これにより、オペレータは、ＰＬＵファイルＦ１又は除外用辞書ファイルＦ２を直接操作することなく、新たな物品を辞書登録することができるため、ＰＬＵファイルＦ１又は除外用辞書ファイルＦ２に対する辞書登録を容易に行うことができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、辞書登録に係る機能部（画像取込部５０１、物品検出部５０２、特徴量抽出部５０３、辞書登録部５１１等）や装置構成（撮像部１６４、ＰＬＵファイルＦ１、除外用辞書ファイルＦ２）をＰＯＳ端末１１が備える構成としたが、これに限らないものとする。例えば、ストアコンピュータＳＣや、ＰＣ（Personal Computer）等、他の情報処理装置が備える構成としてもよい。
また、上記実施形態では、辞書登録処理において、基準商品入力画面Ａ４や除外物品入力画面Ａ５を表示させることで、商品情報や除外物品情報を入力させたが、これに限らないものとする。例えば、物品の属性が選択された後、直ちに物品の撮像、特徴量の抽出に移行してもよい。この場合、ＰＬＵファイルＦ１、除外用辞書ファイルＦ２に新たに登録された物品について、商品情報や除外物品情報の入力が後ほど行われる構成としてもよい。
また、上記実施形態の情報処理装置で実行されるプログラムは、当該情報処理装置が備える記憶媒体（ＲＯＭまたは記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、上記実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
１ チェックアウトシステム
１１ ＰＯＳ端末
１０１ 商品読取装置
５０１ 画像取込部
５０２ 物品検出部
５０３ 特徴量抽出部
５０４ 類似度算出部
５０５ 認識処理部
５０６ 商品提示部
５０７ 入力受付部
５０８ 情報入力部
５０９ 売上登録部
５１１ 辞書登録部
Ｆ１ ＰＬＵファイル
Ｆ２ 除外用辞書ファイル
特開２０１３−８９０８３号公報

Claims (5)

  1. 物体認識に用いる辞書であって、認識の対象とする第１物品各々の特徴量が登録された第１辞書と、認識の対象から除外する第２物品各々の特徴量が登録された第２辞書とを記憶する記憶手段と、
    辞書登録の対象となる物品の属性として、認識又は除外の対象かを択一的に選択させるための選択画面を表示装置に表示させる表示手段と、
    前記選択画面に基づき選択された属性を受け付ける受付手段と、
    辞書登録の対象となる物品を撮像した撮像画像から当該物品の特徴量を抽出する抽出手段と、
    前記抽出手段が抽出した特徴量を、前記受付手段が受け付けた属性に対応する前記第１辞書又は前記第２辞書に登録する登録手段と、
    を備える情報処理装置。
  2. 前記表示手段は、前記物品に関する情報を入力するための入力画面を前記表示装置に表示させ、
    前記登録手段は、前記入力画面を介して入力された前記物品に関する情報を、前記抽出手段が抽出した特徴量に関連付けて、前記受付手段が受け付けた属性に対応する前記第１辞書又は前記第２辞書に登録する請求項１に記載の情報処理装置。
  3. 前記撮像画像に含まれた前記物品の写り込み領域を検出する検出手段を更に備え、
    前記抽出手段は、前記検出手段が検出した前記写り込み領域から特徴量を抽出する請求項１又は２に記載の情報処理装置。
  4. 前記抽出手段は、一連する複数の前記撮像画像から所定個数分の特徴量を抽出し、
    前記登録手段は、前記抽出手段が抽出した前記所定個数分の特徴量を、前記受付手段が受け付けた属性に対応する前記第１辞書又は前記第２辞書に登録する請求項１〜３の何れか一項に記載の情報処理装置。
  5. 情報処理装置のコンピュータを、
    物体認識に用いる辞書であって、認識の対象とする第１物品各々の特徴量が登録された第１辞書と、認識の対象から除外する第２物品各々の特徴量が登録された第２辞書とを記憶する記憶手段と、
    辞書登録の対象となる物品の属性として、認識又は除外の対象かを択一的に選択させるための選択画面を表示装置に表示させる表示手段と、
    前記選択画面に基づき選択された属性を受け付ける受付手段と、
    辞書登録の対象となる物品を撮像した撮像画像から当該物品の特徴量を抽出する抽出手段と、
    前記抽出手段が抽出した特徴量を、前記受付手段が受け付けた属性に対応する前記第１辞書又は前記第２辞書に登録する登録手段と、
    して機能させるためのプログラム。
JP2016246968A 2016-12-20 2016-12-20 情報処理装置及びプログラム Active JP6851193B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016246968A JP6851193B2 (ja) 2016-12-20 2016-12-20 情報処理装置及びプログラム
US15/839,567 US10360690B2 (en) 2016-12-20 2017-12-12 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016246968A JP6851193B2 (ja) 2016-12-20 2016-12-20 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2018101292A JP2018101292A (ja) 2018-06-28
JP6851193B2 true JP6851193B2 (ja) 2021-03-31

Family

ID=62561800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016246968A Active JP6851193B2 (ja) 2016-12-20 2016-12-20 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US10360690B2 (ja)
JP (1) JP6851193B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046669B (zh) * 2019-04-22 2019-12-24 广东石油化工学院 基于素描图像的半耦合度量鉴别字典学习的行人检索方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5450560B2 (ja) 2011-10-19 2014-03-26 東芝テック株式会社 商品データ処理装置、商品データ処理方法及び制御プログラム
JP5847117B2 (ja) * 2013-05-28 2016-01-20 東芝テック株式会社 認識辞書作成装置及び認識辞書作成プログラム
JP5826801B2 (ja) * 2013-07-19 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6147676B2 (ja) * 2014-01-07 2017-06-14 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6428240B2 (ja) * 2014-12-17 2018-11-28 カシオ計算機株式会社 商品登録装置、商品認識方法、およびプログラム
JP6274097B2 (ja) * 2014-12-17 2018-02-07 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法

Also Published As

Publication number Publication date
US10360690B2 (en) 2019-07-23
JP2018101292A (ja) 2018-06-28
US20180174313A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
JP6141207B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
EP3293673A1 (en) Commodity registration apparatus configured to perform object recognition
JP5612645B2 (ja) 情報処理装置及びプログラム
JP6193897B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2013089085A (ja) 情報処理装置、情報処理方法及びプログラム
JP6306775B2 (ja) 情報処理装置、及びプログラム
JP6258761B2 (ja) 情報処理装置及びプログラム
JP2014153894A (ja) 情報処理装置及びプログラム
US20170344853A1 (en) Image processing apparatus and method for easily registering object
JP2014052800A (ja) 情報処理装置及びプログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP2018055716A (ja) 情報処理装置及びプログラム
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP6336351B2 (ja) 情報処理装置及びプログラム
JP6851193B2 (ja) 情報処理装置及びプログラム
JP2018142358A (ja) 情報処理装置及びプログラム
US9792635B2 (en) Information processing apparatus and method for updating feature values of products for object recognition
JP5802803B2 (ja) 情報処理装置及びプログラム
JP2018136621A (ja) 情報処理装置およびプログラム
JP5529982B2 (ja) 情報処理装置
JP6348784B2 (ja) 情報処理装置及びプログラム
JP5820011B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP5698856B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6851193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150