JP6336351B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6336351B2
JP6336351B2 JP2014162934A JP2014162934A JP6336351B2 JP 6336351 B2 JP6336351 B2 JP 6336351B2 JP 2014162934 A JP2014162934 A JP 2014162934A JP 2014162934 A JP2014162934 A JP 2014162934A JP 6336351 B2 JP6336351 B2 JP 6336351B2
Authority
JP
Japan
Prior art keywords
unit
product
feature
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014162934A
Other languages
English (en)
Other versions
JP2016038796A (ja
Inventor
岡村　敦
敦 岡村
雄一郎 畠中
雄一郎 畠中
佑季子 横山
佑季子 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2014162934A priority Critical patent/JP6336351B2/ja
Priority to EP15180170.1A priority patent/EP2985741A1/en
Publication of JP2016038796A publication Critical patent/JP2016038796A/ja
Application granted granted Critical
Publication of JP6336351B2 publication Critical patent/JP6336351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。
従来、物品を撮像した画像から抽出される当該物品の特徴量と、辞書に予め登録された照合用の特徴量とを比較し、その類似度に応じて当該物品の種別等を認識する技術が存在している。また、この物品認識に係る技術を青果品等の商品の識別に用い、識別された商品を売上登録する店舗システムが提案されている。
ところで、上記した従来技術では、一の撮像手段で撮像された画像から一の特徴量を抽出することが一般的に行われている。しかしながら、この従来技術では、商品の外観上の特徴を一面からしか捉えることができない。そのため、例えば商品の種別や品種によっては、その商品の特徴を捉えることができず、認識が困難となる場合がある。このような場合、その商品の撮像角度（撮像方向）等を変えながら、再度撮像を行うことが必要となるため、処理の効率化を妨げる要因となる。そのため、従来の技術では、商品の認識率向上の観点において改善の余地があった。
本発明が解決しようとする課題は、認識率を向上させることが可能な情報処理装置及びプログラムを提供することである。
実施形態の情報処理装置は、少なくとも一の撮像手段を含む、互いに異なる特性を有した複数の特徴取得手段の各々から、当該特徴取得手段で取得された物品の外観を示す情報を取り込む取込手段と、前記取込手段が取り込んだ情報から、前記物品の外観上の特徴を示す特徴量を前記特徴取得手段毎に抽出する抽出手段と、前記特徴取得手段の特性に基づき抽出された各商品の照合用特徴量を前記特徴取得手段毎に記憶する記憶手段と、前記抽出手段が前記特徴取得手段毎に抽出した特徴量と、対応する特徴取得手段用の前記照合用特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物品の候補となる商品候補を、前記特徴取得手段毎に認識する認識手段と、前記認識手段で認識された商品候補の類似度について、その平均値を前記特徴取得手段毎に算出し、当該平均値が高い方の商品候補を統合結果として出力する統合手段と、前記統合手段で統合された商品候補に関する情報を表示する表示手段と、を備える。
図１は、第１の実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図２は、第１の実施形態に係るＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示したＰＬＵファイルのデータ構成を例示する概念図である。 図４は、第１の実施形態に係るＰＯＳ端末の機能構成を示すブロック図である。 図５は、商品候補画面の表示例を示す図である。 図６は、第１の実施形態に係るＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図７は、第１の実施形態の変形例に係るＰＯＳ端末の機能構成を示すブロック図である。 図８は、第１の実施形態の変形例に係るＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図９は、第２の実施形態に係るＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図１０は、第２の実施形態に係るＰＯＳ端末の機能構成を示すブロック図である。 図１１は、第２の実施形態に係るＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図１２は、第２の実施形態の変形例に係るＰＯＳ端末の機能構成を示すブロック図である。 図１３は、第２の実施形態の変形例に係るＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図１４は、セルフＰＯＳの構成を示す外観斜視図である。 図１５は、セルフＰＯＳのハードウェア構成を示すブロック図である。
以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
［第１の実施形態］
図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録・精算を行うＰＯＳ端末１０と、商品に関する情報を読み取る商品読取装置２０とを備える。以下では、ＰＯＳ端末１０及び商品読取装置２０を本実施形態にかかる情報処理装置として適用する例について説明する。
ＰＯＳ端末１０は、チェックアウト台３０上のドロワ４０の上面に載置されている。ドロワ４０は、ＰＯＳ端末１０によって開放動作の制御を受ける。ＰＯＳ端末１０の上面には、オペレータ（店員）によって押下操作されるキーボード１１が配置されている。キーボード１１を操作するオペレータから見てキーボード１１よりも奥側には、オペレータに向けて情報を表示する第１表示デバイス１２が設けられている。第１表示デバイス１２は、その表示面１２ａに情報を表示する。表示面１２ａには、タッチパネル１３が積層されている。第１表示デバイス１２よりも更に奥側には、第２表示デバイス１４が回転可能に立設されている。第２表示デバイス１４は、その表示面１４ａに情報を表示する。なお、第２表示デバイス１４は、表示面１４ａを図１中奥側に向くように回転させることによって、客に向けて情報を表示する。
ＰＯＳ端末１０が載置されているチェックアウト台３０とＬ字を形成するようにして、横長テーブル状のカウンタ台５０が配置されている。カウンタ台５０の上面には、荷受け面５１が形成されている。荷受け面５１には、商品Ｇを収納する買物カゴ６０が載置される。買物カゴ６０は、顧客によって持ち込まれる第１買物カゴ６０ａと、第１買物カゴ６０ａから商品読取装置２０を挟んだ位置に載置される第２買物カゴ６０ｂとに分けて考えることができる。なお、買物カゴ６０は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ６０（第２買物カゴ６０ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
カウンタ台５０の荷受け面５１には、ＰＯＳ端末１０とデータ送受信可能に接続された商品読取装置２０が設置されている。商品読取装置２０は、薄型矩形形状のハウジング２１を備える。ハウジング２１の正面には読取窓２２が配置されている。ハウジング２１の上部には、表示・操作部２３が取り付けられている。表示・操作部２３には、タッチパネル２４が表面に積層された表示部である第１表示デバイス２５が設けられている。第１表示デバイス２５の右隣にはキーボード２６が配設されている。キーボード２６の右隣には、図示しないカードリーダのカード読取溝２７が設けられている。オペレータから見て表示・操作部２３の裏面左奥側には、客に情報を提供するための第２表示デバイス２８が設置されている。
このような商品読取装置２０は、商品読取部２１０（図２参照）を備えている。商品読取部２１０は、読取窓２２の奥側に、特徴取得手段としての第１撮像部２０４及び第２撮像部２０５を配置している（図２参照）。
客によって持ち込まれた第１買物カゴ６０ａには、一取引に係る商品Ｇが収納される。第１買物カゴ６０ａ内の商品Ｇは、商品読取装置２０を操作するオペレータにより第２買物カゴ６０ｂに移動される。この移動過程で、商品Ｇが商品読取装置２０の読取窓２２に向けられる。この際、読取窓２２内に配置された第１撮像部２０４及び第２撮像部２０５（図２参照）は商品Ｇを撮像する。
第１撮像部２０４及び第２撮像部２０５により撮像された画像に含まれる商品Ｇが、ＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を商品読取装置２０の表示・操作部２３に表示する。そして、商品読取装置２０は、指定された商品の商品ＩＤをＰＯＳ端末１０に通知する。ＰＯＳ端末１０では、商品読取装置２０から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示せず）等に記録して売上登録を行う。
図２は、ＰＯＳ端末１０及び商品読取装置２０のハードウェア構成を示すブロック図である。まず、商品読取装置２０の構成について説明する。
商品読取装置２０は、情報処理を実行する情報処理部としてのマイクロコンピュータ２００を備える。マイクロコンピュータ２００は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）２０１に、ＲＯＭ（Read Only Memory）２０２とＲＡＭ（Random Access Memory）２０３とがバス接続されて構成されている。ＲＯＭ２０２には、ＣＰＵ２０１によって実行されるプログラムが記憶される。
また、商品読取装置２０のＣＰＵ２０１には、第１撮像部２０４、第２撮像部２０５及び音声出力部２０６が各種の入出力回路（何れも図示せず）を介して接続される。第１撮像部２０４、第２撮像部２０５及び音声出力部２０６は、ＣＰＵ２０１によって動作が制御される。
表示・操作部２３は接続インターフェース２０７を介して、商品読取部２１０及びＰＯＳ端末１０に接続される。表示・操作部２３は、商品読取部２１０のＣＰＵ２０１、ＰＯＳ端末１０のＣＰＵ１０１によって動作が制御される。第１表示デバイス２５は、ＣＰＵ１０１やＣＰＵ２０１の制御の下、後述する商品候補画面（図５参照）等の各種画面を表示する。また、第１表示デバイス２５は、各種の業務を選択指示するための業務選択画面（図示せず）を表示する。業務選択画面は、例えば、後述する売上登録等の各処理の実行を指示するための選択メニューを有する。
第１撮像部２０４及び第２撮像部２０５は、撮像装置（撮像手段）である。第１撮像部２０４及び第２撮像部２０５は、ＣＰＵ２０１の制御の下で読取窓２２からの撮像を行う。第１撮像部２０４及び第２撮像部２０５が撮像する画像は、読取窓２２内から見た商品Ｇの外観を示す情報となる。ここで、第１撮像部２０４及び第２撮像部２０５は、撮像方法や機能等において互いに異なる特性を有する。なお、各撮像部の特性は特に問わず、種々の形態を採用することができる。
例えば、第１撮像部２０４及び第２撮像部２０５を、ＲＧＢの３波長帯で撮像を行う同一構成の撮像装置とする。そして、両撮像部の撮像方向が、互いに異なる向きとなるよう読取窓２２内に配置する。具体的には、読取窓２２の正面に位置する商品Ｇを、一方の撮像部が正面から撮像し、他方の撮像部が上下左右の何れか一方向から撮像する構成としてもよい。また、読取窓２２の正面に位置する商品Ｇを、読取窓２２内の左右方向から撮像する構成としてもよい。また、読取窓２２の正面に位置する商品Ｇを、読取窓２２内の上下方向から撮像する構成としてもよい。
また、例えば、第１撮像部２０４をＲＧＢの３波長帯で撮像を行う撮像装置とし、第２撮像部２０５を当該３波長帯以外の特定波長帯を撮像可能な撮像装置としてもよい。この構成を採用する場合、第２撮像部２０５は、特定波長帯とともにＲＧＢの３波長帯の何れか又は全てを撮像してもよい。また、特定波長帯は、可視光帯であってもよいし、非可視光帯（赤外線、紫外線等）であってもよい。また、特定波長帯は、一に限らず複数であってもよい。なお、この構成を採用する場合、第１撮像部２０４及び第２撮像部２０５の撮像方向は、同一としてもよいし、互いに異なる向きとしてもよい。
また、例えば、第１撮像部２０４及び第２撮像部２０５を、撮像倍率の異なる撮像装置としてもよい。具体的には、第１撮像部２０４が中心射影方式の通常レンズを備える構成とし、第２撮像部２０５が魚眼レンズを備える構成としてもよい。なお、この構成を採用する場合、第１撮像部２０４及び第２撮像部２０５の撮像方向は、同一としてもよいし、互いに異なる向きとしてもよい。
第１撮像部２０４及び第２撮像部２０５は、例えば、３０ｆｐｓで動画像の撮像を行う。撮像された画像（フレーム画像）はＲＡＭ２０３に保存される。なお、移動体となる商品Ｇをブレなく撮像するため、第１撮像部２０４及び第２撮像部２０５のシャッター時間を短く設定することが好ましい。
音声出力部２０６は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部２０６は、ＣＰＵ２０１の制御の下で警告音や音声による報知を行う。
更に、商品読取部２１０は、ＰＯＳ端末１０の接続インターフェース１０６や、表示・操作部２３の接続インターフェース２０７に接続可能な、接続インターフェース２０８を備える。ＣＰＵ２０１は、接続インターフェース２０８を介して、ＰＯＳ端末１０との間で各種データの送受信を行う。また、ＣＰＵ２０１は、接続インターフェース２０８を介して、表示・操作部２３との間でデータ送受信を行う。
ＰＯＳ端末１０も、情報処理を実行する情報処理部としてのマイクロコンピュータ１００を備える。マイクロコンピュータ１００は、各種演算処理を実行し各部を制御するＣＰＵ１０１に、ＲＯＭ１０２とＲＡＭ１０３とがバス接続されて構成されている。ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶される。
また、ＰＯＳ端末１０のＣＰＵ１０１には、上述したキーボード１１、第１表示デバイス１２、タッチパネル１３、第２表示デバイス１４、ドロワ４０が何れも各種の入出力回路（何れも図示せず）を介して接続される。これらは、ＣＰＵ１０１による制御を受ける。
キーボード１１は、数字や算術演算子が上面に表示されているテンキー１１ａ、仮締めキー１１ｂ、及び締めキー１１ｃ等を含む。
ＰＯＳ端末１０のＣＰＵ１０１には、ＨＤＤ（Hard Disk Drive）１０４が接続されている。ＨＤＤ１０４には、プログラムや各種ファイルが記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１０の起動時に、その全部又は一部がＲＡＭ１０３にコピーされてＣＰＵ１０１により実行される。ＨＤＤ１０４に記憶されているプログラムの例は、後述する売上登録処理や辞書登録処理用のプログラム等である。また、ＨＤＤ１０４に記憶されているファイルの例は、ＰＬＵファイルＦ１等である。
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納するデータファイルである。以下の説明では、ＰＬＵファイルＦ１を商品Ｇとの照合用の辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであってもよい。辞書は、撮像した画像データから抽出した商品Ｇの照合用データ（特徴量）を記憶する。辞書はＰＬＵファイルＦ１と異なるファイルである場合、同一の商品について、辞書に記憶される特徴量と、ＰＬＵファイルＦ１の情報（商品情報）とは対応付けられる。
図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品毎に、商品情報と、イラスト画像と、特徴量とを格納するファイルである。商品情報は、各商品にユニークに割り当てられた識別情報である商品ＩＤ、商品が属する商品分類、商品名、品種、単価等の商品に関する情報を含む。イラスト画像は、その商品を写真やイラストで表した画像データである。
特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したデータである。係る特徴量は、後述する類似度の判定の際に照合用のデータとして用いられる。以下、ＰＬＵファイルＦ１に辞書登録された商品を登録商品という。
なお、本実施形態では、同一の登録商品について、後述する第１類似度算出部１１５及び第２類似度算出部１１６が共通の特徴量を参照する形態とするが、これに限らないものとする。具体的には、第１撮像部２０４及び第２撮像部２０５が有する特性の相違が、当該撮像部が撮像した画像から抽出される特徴量に有意に反映される場合、その特性に応じた特徴量をそれぞれ用意してもよい。
例えば、第１撮像部２０４と第２撮像部２０５とで撮像可能な波長帯域が異なる場合、これらの撮像部で撮像された各画像から抽出される商品（登録商品）の特徴量は、各撮像部の機能に応じて異なる。そのため、このような場合には、同一の登録商品について各画像から抽出された特徴量の各々を、第１撮像部２０４用、第２撮像部２０５用として個別に登録する。これにより、後述する第１類似度算出部１１５及び第２類似度算出部１１６が参照する特徴量を、相違させることができる。
例えば、読取窓２２の正面に位置する商品Ｇに対し、第１撮像部２０４が上方から商品Ｇを撮像する場合、第２撮像部２０５が下方から商品Ｇを撮像する場合を想定する。また、果物等のヘタ部を上方、果頂部（ヘタ部の反対側）を下方に向けて、読取窓２２にかざすよう定められているとする。このような状況下では、第１撮像部２０４及び第２撮像部２０５で撮像された各画像から抽出される果物（登録商品）の特徴量は、各撮像部の撮像方向に応じて異なる。そのため、このような場合には、その果物（登録商品）について、ヘタ部と果頂部との特徴を表す特徴量を、第１撮像部２０４用、第２撮像部２０５用として個別に登録する。これにより、後述する第１類似度算出部１１５及び第２類似度算出部１１６が参照する特徴量を、相違させることができる。
また、店舗によっては、物品の品種まで商品Ｇを認識する場合がある。このような場合には、図３に示すように、品種毎に商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ（商品）が「ＹＹ」の場合において、「ＹＹ＿１」、「ＹＹ＿２」、「ＹＹ＿３」のような品種毎にその商品に関する情報と、イラスト画像と、特徴量とを管理する。また、候補の表示にイラスト画像を用いず、文字で候補を表示する場合は、イラスト画像をＰＬＵファイルＦ１に格納しなくてもよい。
図２に戻り、ＰＯＳ端末１０のＣＰＵ１０１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース１０５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１０に配信されるＰＬＵファイルＦ１が格納されている。
更に、ＰＯＳ端末１０のＣＰＵ１０１には、商品読取装置２０との間でデータ送受信を可能にする接続インターフェース１０６が接続されている。接続インターフェース１０６には、商品読取装置２０が接続されている。また、ＰＯＳ端末１０のＣＰＵ１０１には、レシート等に印字を行うプリンタ１０７が接続されている。ＰＯＳ端末１０は、ＣＰＵ１０１の制御の下、一取引の取引内容をレシートに印字する。
次に、ＰＯＳ端末１０のＣＰＵ１０１がプログラムを実行することで実現される、ＰＯＳ端末１０の機能構成について、図４を参照して説明する。
図４は、ＰＯＳ端末１０の機能構成を示すブロック図である。ＰＯＳ端末１０のＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、図４に示す下記機能部を備える。以下、ＰＯＳ端末１０が備える各機能部について説明する。
第１取込部１１１は、第１撮像部２０４に撮像オン信号を出力することで、第１撮像部２０４に撮像動作を開始させる。第１取込部１１１は、撮像動作開始後に、第１撮像部２０４が撮像した画像（フレーム画像）を順次取り込む。第１取込部１１１による画像の取り込みは、ＲＡＭ２０３に保存された順、つまり撮像された順に行われる。
第２取込部１１２は、第２撮像部２０５について、第１取込部１１１と同様の処理を行う。なお、第１取込部１１１と第２取込部１１２との取り込みタイミングは、同期していてもよいし非同期であってもよい。以下、第１撮像部２０４が撮像した画像を「第１画像」、第２撮像部２０５が撮像した画像を「第２画像」と表記する。
第１抽出部１１３は、第１取込部１１１が取り込んだ第１画像から、第１撮像部２０４で撮像された商品Ｇの特徴量を抽出する。具体的に、第１抽出部１１３は、第１取込部１１１が取り込んだ第１画像から、商品Ｇの全部又は一部が表された領域（輪郭線）を検出する。そして、第１抽出部１１３は、検出した領域から、その色合いや凹凸状況等の表面の状態を表した特徴量を、第１撮像部２０４が撮像した商品Ｇの特徴量として抽出する。
なお、商品Ｇの検出方法は特に問わず、例えば公知のパターンマッチング技術や動体検知技術等を用いてもよい。また、商品検出の他の方法としては、第１画像から肌色領域が検出されたか否か、つまりオペレータの手の写り込みが検出されたか否かを判定する。そして、肌色領域が検出された場合、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を行う。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭線を商品が表された領域として検出する。
第２抽出部１１４は、第２取込部１１２が取り込んだ第２画像について、第１抽出部１１３と同様の処理を行う。以下、第１抽出部１１３が撮像した特徴量を「第１特徴量」、第２抽出部１１４が抽出した特徴量を「第２特徴量」と表記する。
第１類似度算出部１１５は、第１抽出部１１３が抽出した第１特徴量と、ＰＬＵファイルＦ１に登録された商品（以下、登録商品）の特徴量とを比較することで、商品Ｇと登録商品との類似度を算出する。また、第１類似度算出部１１５は、類似度の算出を各登録商品について実行し、その類似度が所定の閾値を上回った登録商品を、商品Ｇの候補（商品候補）として認識する。
類似度は、登録商品の画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部又は一部の画像がどの程度類似しているかを示すものである。また、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれる。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年５月１９日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年５月１９日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、撮像された商品Ｇの画像と、登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
また、類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
第２類似度算出部１１６は、第２抽出部１１４が抽出した第２特徴量について、第１類似度算出部１１５と同様の処理を行う。なお、ＰＬＵファイルＦ１に、第１撮像部２０４及び第２撮像部２０５用の特徴量が個別に用意されている場合には、対応する特徴量を用いて類似度を算出する。
第１統合部１１７は、第１類似度算出部１１５及び第２類似度算出部１１６の各々で認識された結果（商品候補）を類似度に基づいて統合し、最終的な認識結果を出力する。統合方法は特に問わず、種々の方法を採用することができる。例えば、第１類似度算出部１１５及び第２類似度算出部１１６の各々で認識された商品候補のうち、商品Ｇとの類似度の高いものから所定数（例えば４個）を最終的な認識結果として出力してもよい。なお、第１類似度算出部１１５及び第２類似度算出部１１６で認識された同一の商品候補については、高い方の類似度を採用するものとする。
また、第１類似度算出部１１５及び第２類似度算出部１１６の各々で認識（算出）された各商品候補の類似度について、その平均値を類似度算出部毎に算出する。そして、算出した平均値を比較し、その値が高い方の商品候補群を最終的な認識結果として出力してもよい。なお、商品候補群が所定数を超える場合には、類似度の高いものから所定数を選択して出力する。
また、第１類似度算出部１１５及び第２類似度算出部１１６の各々で認識された商品候補の中で、類似度の値が他と比べて非常に高くなる商品候補が一つ存在するような場合、その商品候補を確定商品として自動確定してもよい。
商品提示部１１８は、第１統合部１１７から出力された商品候補（登録商品）に関する情報を、第１表示デバイス２５に表示させる。より詳細には、商品提示部１１８は、認識結果として出力された登録商品のレコードをＰＬＵファイルＦ１から読み出し、第１表示デバイス２５の商品候補画面内に表示させる。
図５は、商品候補画面の表示例を示す図である。図５に示すように、第１表示デバイス２５に表示される商品候補画面Ａ１は、撮像画像領域Ａ１１と、商品候補領域Ａ１２とを含む。
撮像画像領域Ａ１１は、第１取込部１１１（或いは第２取込部１１２）が取り込んだ撮像画像を表示するための領域である。撮像画像領域Ａ１１の下部には、部門コードや商品リスト等から手動で商品Ｇを認識（登録）するための手動登録ボタンＢ１が設けられる。ＣＰＵ２０１は、手動登録ボタンＢ１の操作に応じて、商品Ｇの認識（登録）を手動で行うための手動登録画面（図示せず）を第１表示デバイス２５に表示する。なお、手動登録画面を介して指定された商品は、確定商品として処理される。
商品候補領域Ａ１２は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域Ａ１２には、表示領域Ａ２が配置される。図５では、商品候補領域Ａ１２に４つの表示領域Ａ２を設定した例を示しているが、表示領域Ａ２の個数は特に問わないものとする。商品提示部１１８は、表示領域Ａ２に、商品候補の商品画像や商品名等の商品情報（ＸＸ、ＸＡ等）を配置して表示する。なお、商品候補領域Ａ１２に表示された商品候補は、タッチパネル２４を介して選択可能に構成される。上記の構成により、商品読取装置２０のオペレータは、商品候補領域Ａ１２に表示された商品候補の中から、商品Ｇに該当する商品候補を確定商品として選択することができる。
入力受付部１１９は、タッチパネル２４又はキーボード２６を介して第１表示デバイス２５の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１１９は、商品候補に対する選択操作に基づき、表示された商品候補の中から商品Ｇに該当する確定商品の選択操作を受け付ける。
情報入力部１２０は、入力受付部１１９が受け付けた操作内容に応じた情報を、接続インターフェース２０８を介して自装置に入力する。例えば、情報入力部１２０は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を入力する。なお、情報入力部１２０は、タッチパネル２４又はキーボード２６を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。
売上登録部１２１は、情報入力部１２０から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部１２１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
以下、図６を参照して本実施形態の動作について説明する。図６は、ＰＯＳ端末１０が実行する売上登録処理の一例を示すフローチャートである。
ＰＯＳ端末１０のＣＰＵ１０１は、第１表示デバイス１２に表示された業務選択画面（図示せず）のメニューから「売上登録」が選択されると、売上登録処理を開始する。まず、第１取込部１１１及び第２取込部１１２は、第１撮像部２０４及び第２撮像部２０５に撮像オン信号を出力することで撮像動作を開始させる（ステップＳ１１）。これに伴い、第１取込部１１１は、第１撮像部２０４が撮像した第１画像を取り込む。また、第２取込部１１２は、第２撮像部２０５が撮像した第２画像を取り込む（ステップＳ１２）。
続いて、第１抽出部１１３は、第１画像から第１特徴量を抽出する。また、第２抽出部１１４は、第２画像から第２特徴量を抽出する（ステップＳ１３）。
第１類似度算出部１１５は、第１特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する。また、第２類似度算出部１１６は、第２特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ１４）。次いで、第１類似度算出部１１５及び第２類似度算出部１１６は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品候補）が存在するか否かを判定する（ステップＳ１５）。
ステップＳ１５において、第１類似度算出部１１５及び第２類似度算出部１１６の両方で、閾値以上の登録商品が存在しないと判定された場合には（ステップＳ１５；Ｎｏ）、ステップＳ１２に戻る。また、第１類似度算出部１１５及び第２類似度算出部１１６の両方又は一方で、閾値以上の登録商品が存在すると判定された場合（ステップＳ１５；Ｙｅｓ）、その登録商品（商品ＩＤ）が商品候補として認識される。
続いて、第１統合部１１７は、ステップＳ１５の認識結果（商品候補）を統合する（ステップＳ１６）。商品提示部１１８は、ステップＳ１６で統合された商品候補に関する情報を第１表示デバイス２５に表示する（ステップＳ１７）。次いで、入力受付部１１９は、タッチパネル２４又はキーボード２６を介して、確定商品の選択を受け付けたか否かを判定する（ステップＳ１８）。確定商品の選択操作を受け付けない場合（ステップＳ１８；Ｎｏ）、ステップＳ１２に戻る。
また、ステップＳ１８において、確定商品の選択操作を受け付けると（ステップＳ１８；Ｙｅｓ）、情報入力部１２０は、その商品の商品ＩＤ等の情報を、ＰＯＳ端末１０に入力する（ステップＳ１９）。なお、タッチパネル２４又はキーボード２６を介して販売個数が別途入力された場合には、ステップＳ１９において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１０に入力するものとする。また、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を入力する形態としてもよい。
次いで、売上登録部１２１は、ステップＳ１９で入力された商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等の商品情報を読み出し、売上マスタファイルに登録する（ステップＳ２０）。
続いて、ＣＰＵ１０１は、キーボード１１の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ２１）。業務を継続する場合（ステップＳ２１；Ｎｏ）、ＣＰＵ１０１は、ステップＳ１２へ戻り処理を継続させる。業務を終了する場合（ステップＳ２１；Ｙｅｓ）、第１取込部１１１及び第２取込部１１２は、撮像オフ信号を出力することで、第１撮像部２０４及び第２撮像部２０５による撮像を終了させ（ステップＳ２２）、本処理を終了する。
以上のように、本実施形態によれば、第１撮像部２０４及び第２撮像部２０５の各々で撮像された画像から特徴量を抽出し、当該特徴量に基づいて商品候補の認識を行う。これにより、商品Ｇの外観上の特徴を多面的に捉えることができるため、精度のよい特徴量を抽出する機会を増やすことができる。また、これにより、商品Ｇの認識率を向上させることができるため、売上処理の効率化を図ることができる。
なお、本実施形態では、特徴取得手段である二つの撮像装置（第１撮像部２０４及び第２撮像部２０５）を用いることで、第１画像及び第２画像の各々から特徴量を抽出する構成を説明した。しかしながら、使用する撮像装置の個数や、抽出する特徴量の個数はこれに限らないものとする。
例えば、三つ以上の撮像装置を用いて、二以上の特徴量を抽出する構成としてもよい。この場合、各撮像装置が撮像した画像から特徴量を抽出する特徴量抽出部や、類似度の判定を行う類似度算出部の個数は特に問わず、撮像装置と同数としてもよい。また、ＰＬＵファイルＦ１に登録する特徴量は、各撮像装置が有する特性毎に用意してもよい。
また、一つの撮像装置を用いて、二以上の特徴量を抽出する構成としてもよい。例えば、読取窓２２内に配置した一つの撮像装置として、ＲＧＢの３波長帯と当該３波長帯以外の特定波長帯とを撮像可能な第１撮像部２０４を用いてもよい。この場合、第１抽出部１１３及び第２抽出部１１４が、第１撮像部２０４が撮像した第１画像から、３波長帯及び特定波長帯での特徴量をそれぞれ抽出する形態としてもよい。また、第１画像を３波長帯と特定波長帯との画像成分とを分離する分離部を別途設け、分離された画像成分から第１抽出部１１３及び第２抽出部１１４が特徴量を抽出する形態としてもよい。なお、ＰＬＵファイルＦ１に登録する特徴量は、撮像装置が有する特性（３波長帯、特定波長帯）毎に用意してもよい。
また、本実施形態では、第１画像及び第２画像の各々から商品候補を認識し、その認識結果を第１統合部１１７で統合する形態としたが、他の段階で統合する形態としてもよい。例えば、第１画像及び第２画像の段階で統合する形態としてもよい。以下、この形態を、本実施形態の変形例として説明する。
［変形例］
図７は、第１の実施形態の変形例１に係るＰＯＳ端末１０ａの機能構成を示すブロック図である。ＰＯＳ端末１０ａのＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、図７に示す各機能部を備える。以下、ＰＯＳ端末１０ａが備える各機能部について説明する。なお、上記実施形態と同様の機能部については、同一の符号を付与し説明を適宜省略する。
第２統合部１３１は、第１取込部１１１及び第２取込部１１２が取り込んだ第１画像及び第２画像を統合し、統合画像を生成する。統合画像は、例えば、第１画像と第２画像とを、縦や横に並べた画像である。なお、第１取込部１１１及び第２取込部１１２の取り込みタイミングを同期させることで、同一時刻に取り込まれた第１画像及び第２画像から統合画像を生成してもよい。
第３抽出部１３２は、第２統合部１３１が生成した統合画像から特徴量（第３特徴量）を抽出する。具体的に、第３抽出部１３２は、統合画像に含まれた第１画像及び第２画像の各々に対し、上述した第１抽出部１１３（第２抽出部１１４）と同様の処理を実行する。なお、第３特徴量の抽出は、統合画像（フレーム）毎に、第１画像及び第２画像の両方から行う形態としてもよいし、交互に行う形態としてもよい。
第３類似度算出部１３３は、第３抽出部１３２が抽出した第３特徴量と、ＰＬＵファイルＦ１に登録された登録商品の特徴量とを比較することで、商品Ｇと登録商品との類似度を算出する。また、第３類似度算出部１３３は、類似度の算出を各登録商品について実行し、その類似度が所定の閾値を上回った登録商品を、商品候補として認識する。なお、閾値を上回る登録商品が所定数以上となった場合には、類似度の高いものから所定数選択する。また、ＰＬＵファイルＦ１に、第１撮像部２０４及び第２撮像部２０５用の特徴量が個別に用意されている場合には、対応する特徴量を用いて類似度を算出する。
そして、商品提示部１１８は、第３類似度算出部１３３で認識された商品候補（登録商品）に関する情報を、第１表示デバイス２５に表示させる。
図８は、ＰＯＳ端末１０ａが実行する売上登録処理の一例を示すフローチャートである。なお、ステップＳ３１、Ｓ３２、Ｓ３７〜Ｓ４２の処理は、上述したステップＳ１１、Ｓ１２、Ｓ１７〜Ｓ２２と同様であるため、説明を適宜省略する。
ステップＳ３３において、第２統合部１３１は、ステップＳ３２で取り込まれた第１画像及び第２画像を統合することで、統合画像を生成する（ステップＳ３３）。次いで、第３抽出部１３２は、ステップＳ３３で生成された統合画像から第３特徴量を抽出する（ステップＳ３４）。
続いて、第３類似度算出部１３３は、ステップＳ３４で抽出された第３特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ３５）。次いで、第３類似度算出部１３３は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品候補）が存在するか否かを判定する（ステップＳ３６）。
ステップＳ３６において、第３類似度算出部１３３が、閾値以上の登録商品が存在しないと判定した場合（ステップＳ３６；Ｎｏ）、ステップＳ３２に戻る。また、第３類似度算出部１３３は、閾値以上の登録商品が存在すると判定した場合（ステップＳ３６；Ｙｅｓ）、その登録商品（商品ＩＤ）を商品候補として認識する。そして、商品提示部１１８は、ステップＳ３６で認識された商品候補に関する情報を第１表示デバイス２５に表示する（ステップＳ３７）。
このように、本変形例によれば、上記実施形態と同様に、商品Ｇの外観上の特徴を多面的に捉えることができるため、精度のよい特徴量を抽出する機会を増やすことができる。また、これにより、商品Ｇの認識率を向上させることができるため、売上処理の効率化を図ることができる。
［第２の実施形態］
次に、第２の実施形態について説明する。本実施形態では、上述した第２撮像部２０５に代えて、他の特徴量取得手段を備える構成について説明する。なお、上述した実施形態と同様の構成要素については、同一の符号を付与し説明を適宜省略する。
図９は、第２の実施形態に係るＰＯＳ端末７０及び商品読取装置８０のハードウェア構成を示すブロック図である。ここで、商品読取装置８０は、上述した商品読取装置２０の構成うち、第２撮像部２０５に代えて測距部８０１を備える点で異なっている。
測距部８０１は、特徴量取得手段として機能する。測距部８０１は、ＴＯＦ（Time Of Flight）方式等を用いた距離画像センサや、測域センサ等の距離センサである。測距部８０１は、図１に示した読取窓２２内に配置され、測定を行う測定範囲は第１撮像部２０４の撮像範囲と略同等となるよう設定されている。測距部８０１は、ＣＰＵ２０１の制御の下で動作することで、測距部８０１（読取窓２２）から第１撮像部２０４の撮像範囲内に存在する物体までの３次元距離を測定する。この測距部８０１の測定結果は、読取窓２２内から見た商品Ｇの外観（凹凸等の奥行き）を示す情報となる。
ＰＯＳ端末７０は、ＨＤＤ１０４にＰＬＵファイルＦ２を備える。ＰＬＵファイルＦ２は、ＰＬＵファイルＦ１と同様のデータ構成（図３参照）を有するが、格納する特徴量が異なる。ＰＬＵファイルＦ２は、第１撮像部２０４と測距部８０１との特性に応じた特徴量をそれぞれ記憶する。具体的に、ＰＬＵファイルＦ２は、各登録商品について、第１撮像部２０４で撮像された画像から抽出した特徴量を、第１撮像部２０４用の特徴量として記憶する。また、ＰＬＵファイルＦ２は、各登録商品について、測距部８０１で測定された距離情報から抽出した特徴量を、測距部８０１用の特徴量として記憶する。距離情報から抽出される特徴量は、登録商品の外観上の形状や凹凸等の特徴を表すものとなる。
なお、本実施形態では、登録商品毎に、第１撮像部２０４及び測距部８０１用の特徴量をそれぞれ設ける形態としたが、これらの特徴量を統合した共起特徴量を一つ設ける形態としてもよい。共起特徴量は、第１撮像部２０４と測距部８０１との特徴量を、共起関係に基づいて対応付けたものである。例えば、第１撮像部２０４用の特徴量において彩度や明度の高い領域が、測距部８０１用の特徴量において読取窓２２に最も近接する傾向にある場合、これらの要素を対応付ける。
次に、ＰＯＳ端末７０のＣＰＵ１０１がプログラムを実行することで実現される、ＰＯＳ端末７０の機能構成について、図１０を参照して説明する。
図１０は、ＰＯＳ端末７０の機能構成を示すブロック図である。ＰＯＳ端末７０のＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、図１１に示す機能部を備える。なお、上述したＰＯＳ端末１０と同様の機能部については、同一の符号を付与している。
第３取込部７１１は、測距部８０１の測定結果を距離情報として順次取り込む。なお、距離情報の取り込みは、第１取込部１１１の取り込みタイミングと同期して行うことが好ましい。
第４抽出部７１２は、第３取込部７１１が取り込んだ距離情報から、第１撮像部２０４で撮像された商品Ｇの特徴量（以下、第４特徴量）を抽出する。例えば、第４抽出部７１２は、第３取込部７１１が取り込んだ距離情報から、読取窓２２に近接した所定範囲の領域を検出する。そして、第４抽出部７１２は、読取窓２２との離間距離に基づき、検出した領域の凹凸状況等の表面の状態を表した第４特徴量を、第１撮像部２０４が撮像した商品Ｇの特徴量として抽出する。なお、第４抽出部７１２が抽出の対象とする領域は、第１抽出部１１３が検出した領域としてもよい。
第４類似度算出部７１３は、第４抽出部７１２が抽出した第４特徴量と、ＰＬＵファイルＦ１に登録された登録商品の特徴量とを比較することで、商品Ｇと登録商品との類似度を算出する。また、第４類似度算出部７１３は、類似度の算出を各登録商品について実行し、その類似度が所定の閾値を上回った登録商品を、商品Ｇの商品候補として認識する。なお、第１類似度算出部１１５は、第１撮像部２０４用に用意された各登録商品の特徴量と比較し、第４類似度算出部７１３は、測距部８０１用に用意された各登録商品の特徴量と比較を行うものとする。
第１統合部１１７は、第１類似度算出部１１５及び第４類似度算出部７１３の各々で認識された結果（商品候補）を類似度に基づいて統合し、最終的な認識結果を出力する。
以下、図１１を参照して本実施形態の動作について説明する。ここで、図１１は、ＰＯＳ端末７０が実行する売上登録処理の一例を示すフローチャートである。なお、ステップＳ５１、Ｓ５６〜Ｓ６２の処理は、上述したステップＳ１１、Ｓ１６〜Ｓ２２と同様であるため、説明を適宜省略する。
第１取込部１１１が第１撮像部２０４の撮像動作を開始させると、第１取込部１１１は、第１撮像部２０４が撮像した第１画像を取り込む。また、第３取込部７１１は、測距部８０１の測定結果を距離情報として取り込む（ステップＳ５２）。
続いて、第１抽出部１１３は、第１画像から第１特徴量を抽出する。また、第４抽出部７１２は、距離情報から第４特徴量を抽出する（ステップＳ５３）。
第１類似度算出部１１５は、第１特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する。また、第４類似度算出部７１３は、第４特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ５４）。次いで、第１類似度算出部１１５及び第４類似度算出部７１３は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品候補）が存在するか否かを判定する（ステップＳ５５）。
ステップＳ５５において、第１類似度算出部１１５及び第４類似度算出部７１３の両方で、閾値以上の登録商品が存在しないと判定された場合には（ステップＳ５５；Ｎｏ）、ステップＳ５２に戻る。また、第１類似度算出部１１５及び第４類似度算出部７１３の両方又は一方で、閾値以上の登録商品が存在すると判定された場合（ステップＳ５５；Ｙｅｓ）、その登録商品（商品ＩＤ）が商品候補として認識される。
そして、第１統合部１１７がステップＳ５５の認識結果（商品候補）を統合すると（ステップＳ５６）、商品提示部１１８は、統合された商品候補に関する情報を第１表示デバイス２５に表示する（ステップＳ５７）。
以上のように、本実施形態によれば、第１撮像部２０４で撮像された画像及び測距部８０１で取得された距離情報から特徴量を抽出し、当該特徴量に基づいて商品候補の認識を行う。これにより、商品Ｇの外観上の特徴を多面的に捉えることができるため、精度のよい特徴量を抽出する機会を増やすことができる。また、これにより、商品Ｇの認識率を向上させることができるため、売上処理の効率化を図ることができる。
なお、本実施形態では、第１類似度算出部１１５及び第４類似度算出部７１３での認識結果を第１統合部１１７で統合する形態としたが、他の段階で統合する形態としてもよい。例えば、測距部８０１を距離画像センサとした場合、測定結果（距離情報）は画像データ（距離画像）として出力される。このような場合、上述した第１実施形態の変形例のように、第１画像及び距離画像の段階で統合する形態としてもよい。この形態を採用する場合、ＰＯＳ端末７０の機能部の構成は、処理の対象を第１画像及び距離画像に代えることで、図７に示した構成を適用することができる。
また、本実施形態では、第１撮像部２０４と測距部８０１とを設けたが、第１撮像部２０４が距離画像センサとしての機能を兼ね備える場合には、第１撮像部２０４のみ備える構成としてもよい。この場合、第１抽出部１１３及び第２抽出部１１４が、第１撮像部２０４が撮像した第１画像から、第１特徴量と第２特徴量とをそれぞれ抽出する構成としてもよい。また、第１画像から距離画像の成分を分離する分離部を別途設け、第１抽出部１１３及び第２抽出部１１４が、分離された画像成分から第１特徴量と第２特徴量とを抽出する構成としてもよい。
また、ＰＬＵファイルＦ２が共起特徴量を記憶する場合には、第１画像及び距離情報（或いは距離画像）から、それらの共起関係を特徴量として抽出する形態としてもよい。以下、この形態を、本実施形態の変形例として説明する。
［変形例］
図１２は、第２の実施形態の変形例に係るＰＯＳ端末７０ａの機能構成を示すブロック図である。ＰＯＳ端末７０ａのＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、図１２に示す各機能部を備える。以下、ＰＯＳ端末７０ａが備える各機能部について説明する。なお、第１取込部１１１、第３取込部７１１、商品提示部１１８、入力受付部１１９、情報入力部１２０及び売上登録部１２１については、上記実施形態と同様であるため説明を適宜省略する。
第５抽出手段７２１は、第１取込部１１１及び第３取込部７１１が取り込んだ第１画像と距離情報（或いは距離画像）とに基づき、両情報に含まれる要素間の関係を特徴量（第５特徴量）として抽出する。ここで「要素」は、上述した共起特徴量に応じて定まる。例えば、共起特徴量として、彩度（明度）と離間距離との共起関係が定められているとする。この場合、例えば、第１画像内の特定領域の彩度（明度）と、距離情報に含まれた当該領域での離間距離とが対応する要素となる。なお、要素とする領域は、商品Ｇを検出した領域とすることが好ましい。また、第５特徴量を抽出する単位は特に問わず、画素単位であってもよいし、離間距離を基準に区分けした小領域単位であってもよい。
第５類似度算出部７２２は、第５抽出手段７２１が抽出した第５特徴量と、ＰＬＵファイルＦ２に登録された各登録商品の共起特徴量とを比較することで、商品Ｇと登録商品との類似度を算出する。また、第５類似度算出部７２２は、類似度の算出を各登録商品について実行し、その類似度が所定の閾値を上回った登録商品を、商品Ｇの商品候補として認識する。なお、第５類似度算出部７２２は、閾値を上回る登録商品が所定数以上となった場合、類似度の高いものから登録商品を所定数選択する。
そして、商品提示部１１８は、第５類似度算出部７２２で認識された商品候補（登録商品）に関する情報を、第１表示デバイス２５に表示させる。
図１３は、ＰＯＳ端末７０ａが実行する売上登録処理の一例を示すフローチャートである。なお、ステップＳ７１、Ｓ７２、Ｓ７６〜Ｓ８１の処理は、上述したステップＳ５１、Ｓ５２、Ｓ５７〜Ｓ６２と同様であるため、説明を適宜省略する。
ステップＳ７３において、第５抽出手段７２１は、ステップＳ７２で取り込まれた第１画像及び距離情報から、第５特徴量を抽出する（ステップＳ７３）。
第５類似度算出部７２２は、ステップＳ７３で抽出された第５特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の共起特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ７４）。次いで、第５類似度算出部７２２は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品候補）が存在するか否かを判定する（ステップＳ７５）。
ステップＳ７５において、第５類似度算出部７２２が、閾値以上の登録商品が存在しないと判定した場合（ステップＳ７５；Ｎｏ）、ステップＳ７２に戻る。また、第５類似度算出部７２２は、閾値以上の登録商品が存在すると判定した場合（ステップＳ７５；Ｙｅｓ）、その登録商品（商品ＩＤ）を商品候補として認識する。
そして、商品提示部１１８は、ステップＳ７５で認識された商品候補に関する情報を第１表示デバイス２５に表示する（ステップＳ７６）。
このように、本変形例によれば、上記実施形態と同様に、商品Ｇの外観上の特徴を多面的に捉えることができるため、精度のよい特徴量を抽出する機会を増やすことができる。また、これにより、商品Ｇの認識率を向上させることができるため、売上処理の効率化を図ることができる。
以上、本発明の実施形態を説明したが、上記各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記各実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組合せ等を行うことができる。また、上記各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記各実施形態では、ＰＯＳ端末１０がＰＬＵファイルＦ１（或いはＰＬＵファイルＦ２）を備える形態としたが、これに限らないものとする。例えば、商品読取装置２０が備える形態としてもよいし、ＰＯＳ端末１０及び商品読取装置２０がアクセス可能な外部装置が備える形態としてもよい。
また、上記実施形態では、ＰＯＳ端末１０（或いはＰＯＳ端末７０）を情報処理装置とする例を説明したが、これに限らないものとする。例えば、商品読取装置２０が、ＰＯＳ端末１０が備える機能部の何れか又は全てを備えることで、特徴量や類似度、確定商品等をＰＯＳ端末１０に出力する形態としてもよい。
また、上記実施形態では、チェックアウトシステム１として、ＰＯＳ端末１０と商品読取装置２０とで構成されるシステム構成の装置を説明したが、これに限らないものとする。例えば、ＰＯＳ端末１０及び商品読取装置２０の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１０及び商品読取装置２０の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
図１４はセルフＰＯＳ９０の構成を示す外観斜視図、図１５はセルフＰＯＳ９０のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１４及び図１５に示すように、セルフＰＯＳ９０の本体９１には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器９２が設けられている。また、本体９１は、タッチパネル２４が表面に配設された第１表示デバイス２５や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部２１０を備えている。
第１表示デバイス２５としては例えば液晶表示器が用いられる。第１表示デバイス２５は、客にセルフＰＯＳ９０の操作方法を知らせるための案内画面や、各種の入力画面を表示する。また、第１表示デバイス２５は、商品読取部２１０で読み込んだ商品情報を表示する登録画面を表示する。また、第１表示デバイス２５は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
商品読取部２１０は、客が商品を商品読取部２１０の読取窓２２にかざすことで、当該商品の画像を第１撮像部２０４及び第２撮像部２０５により読み取る（撮像する）ものである。
本体９１の右側には、かごに入った未精算の商品を置くための第１載置台９３が設けられる。また、本体９１の左側には、精算済みの商品を置くための第２載置台９４が設けられる。第２載置台９４には、精算済みの商品を入れるための袋を掛けるためのフック９５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台９６が設けられている。また、第１載置台９３、第２載置台９４には第１計量器９７、第２計量機９８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
このような構成のセルフＰＯＳ９０を店舗システムに適用した場合、セルフＰＯＳ９０が情報処理装置として機能することになる。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
１ チェックアウトシステム
１０、１０ａ、７０、７０ａ ＰＯＳ端末
２０、８０ 商品読取装置
１１１ 第１取込部
１１２ 第２取込部
１１３ 第１抽出部
１１４ 第２抽出部
１１５ 第１類似度算出部
１１６ 第２類似度算出部
１１７ 第１統合部
１１８ 商品提示部
１１９ 入力受付部
１２０ 情報入力部
１２１ 売上登録部
１３１ 第２統合部
１３２ 第３抽出部
１３３ 第３類似度算出部
７１１ 第３取込部
７１２ 第４抽出部
７１３ 第４類似度算出部
７２１ 第５抽出手段
７２２ 第５類似度算出部
Ｆ１、Ｆ２ ＰＬＵファイル
特開２０１３−８９０８５号公報

Claims (6)

  1. 少なくとも一の撮像手段を含む、互いに異なる特性を有した複数の特徴取得手段の各々から、当該特徴取得手段で取得された物品の外観を示す情報を取り込む取込手段と、
    前記取込手段が取り込んだ情報から、前記物品の外観上の特徴を示す特徴量を前記特徴取得手段毎に抽出する抽出手段と、
    前記特徴取得手段の特性に基づき抽出された各商品の照合用特徴量を前記特徴取得手段毎に記憶する記憶手段と、
    前記抽出手段が前記特徴取得手段毎に抽出した特徴量と、対応する特徴取得手段用の前記照合用特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物品の候補となる商品候補を、前記特徴取得手段毎に認識する認識手段と、
    前記認識手段で認識された商品候補の類似度について、その平均値を前記特徴取得手段毎に算出し、当該平均値が高い方の商品候補を統合結果として出力する統合手段と、
    前記統合手段で統合された商品候補に関する情報を表示する表示手段と、
    を備える情報処理装置。
  2. 前記特徴取得手段は、互いに異なる撮像方向から前記物品を撮像する複数の撮像手段を含み、
    前記取込手段は、前記撮像手段の各々で撮像された画像を前記情報として取り込む請求項１に記載の情報処理装置。
  3. 前記特徴取得手段は、前記撮像手段と当該撮像手段の撮像範囲に存在する前記物品までの３次元距離を測定する測距手段とを含み、
    前記取込手段は、前記撮像手段が撮像した画像を前記情報として取り込むとともに、前記測距手段が測定した前記３次元距離を前記情報として取り込む請求項１に記載の情報処理装置。
  4. 前記特徴取得手段は、撮像可能な波長帯域が異なる複数の撮像手段を含み、
    前記取込手段は、前記撮像手段の各々で撮像された画像を前記情報として取り込む請求項１に記載の情報処理装置。
  5. 前記記憶手段は、前記商品の各々について、所定の要素に係る特徴量間の共起関係を共起特徴量として記憶し、
    前記認識手段は、前記抽出手段が前記要素について抽出した特徴量間の関係と、前記記憶手段に記憶された各商品の前記照合用特徴量とを比較し、その類似度を算出する請求項１〜４の何れか一項に記載の情報処理装置。
  6. コンピュータを、
    少なくとも一の撮像手段を含む、互いに異なる特性を有した複数の特徴取得手段の各々から、当該特徴取得手段で取得された物品の外観を示す情報を取り込む取込手段と、
    前記取込手段が取り込んだ情報から、前記物品の外観上の特徴を示す特徴量を前記特徴取得手段毎に抽出する抽出手段と、
    前記特徴取得手段の特性に基づき抽出された各商品の照合用特徴量を前記特徴取得手段毎に記憶する記憶手段と、
    前記抽出手段が前記特徴取得手段毎に抽出した特徴量と、対応する特徴取得手段用の前記照合用特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物品の候補となる商品候補を、前記特徴取得手段毎に認識する認識手段と、
    前記認識手段で認識された商品候補の類似度について、その平均値を前記特徴取得手段毎に算出し、当該平均値が高い方の商品候補を統合結果として出力する統合手段と、
    前記統合手段で統合された商品候補に関する情報を表示する表示手段と、
    して機能させるためのプログラム。
JP2014162934A 2014-08-08 2014-08-08 情報処理装置及びプログラム Active JP6336351B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014162934A JP6336351B2 (ja) 2014-08-08 2014-08-08 情報処理装置及びプログラム
EP15180170.1A EP2985741A1 (en) 2014-08-08 2015-08-07 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014162934A JP6336351B2 (ja) 2014-08-08 2014-08-08 情報処理装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018087951A Division JP6517398B2 (ja) 2018-05-01 2018-05-01 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2016038796A JP2016038796A (ja) 2016-03-22
JP6336351B2 true JP6336351B2 (ja) 2018-06-06

Family

ID=53835309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014162934A Active JP6336351B2 (ja) 2014-08-08 2014-08-08 情報処理装置及びプログラム

Country Status (2)

Country Link
EP (1) EP2985741A1 (ja)
JP (1) JP6336351B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891389B2 (ja) * 2015-03-31 2021-06-18 日本電気株式会社 商品登録装置、プログラム、制御方法、及び精算システム
JP2018101206A (ja) * 2016-12-19 2018-06-28 東芝テック株式会社 情報処理装置およびプログラム
US10853702B2 (en) * 2017-07-24 2020-12-01 Yi Tunnel (Beijing) Technology Co., Ltd. Method and apparatus for checkout based on image identification technique of convolutional neural network
JP6548771B1 (ja) * 2018-04-05 2019-07-24 和則 藤沢 消費財調達支援システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083718A (ja) * 2001-09-14 2003-03-19 Mitsubishi Electric Engineering Co Ltd 高速移動体の外観検査システム
JP4032776B2 (ja) * 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP4626418B2 (ja) * 2005-06-27 2011-02-09 トヨタ自動車株式会社 対象物検出装置、及び対象物検出方法
JP2007034747A (ja) * 2005-07-27 2007-02-08 Fuji Xerox Engineering Co Ltd 物品確認装置、撮像装置及び物品確認方法
JPWO2007043679A1 (ja) * 2005-10-14 2009-04-23 シャープ株式会社 情報処理装置およびプログラム
JP4952920B2 (ja) * 2007-06-04 2012-06-13 カシオ計算機株式会社 被写体判定装置、被写体判定方法及びそのプログラム
JP4925120B2 (ja) * 2007-07-02 2012-04-25 独立行政法人産業技術総合研究所 物体認識装置および物体認識方法
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
JP5431429B2 (ja) * 2011-09-06 2014-03-05 東芝テック株式会社 情報処理装置及びプログラム
JP2014035302A (ja) * 2012-08-09 2014-02-24 Panasonic Corp 対象物検出装置、対象物検出方法、プログラム
JP2014052811A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム

Also Published As

Publication number Publication date
EP2985741A1 (en) 2016-02-17
JP2016038796A (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6141207B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP5518918B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2013089085A (ja) 情報処理装置、情報処理方法及びプログラム
JP6306775B2 (ja) 情報処理装置、及びプログラム
JP2014052800A (ja) 情報処理装置及びプログラム
JP2014052810A (ja) 情報処理装置及びプログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP2015053030A (ja) 情報処理装置、店舗システム及びプログラム
JP6239460B2 (ja) 情報処理装置及びプログラム
JP6336351B2 (ja) 情報処理装置及びプログラム
JP6517398B2 (ja) 情報処理装置及びプログラム
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP2013156940A (ja) 情報処理装置、店舗システム及びプログラム
JP5451787B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6348784B2 (ja) 情報処理装置及びプログラム
JP5802803B2 (ja) 情報処理装置及びプログラム
JP6177199B2 (ja) 情報処理装置及びプログラム
JP5529982B2 (ja) 情報処理装置
JP2013156934A (ja) 情報処理装置、店舗システム及びプログラム
JP5820011B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP6964166B2 (ja) 認識システム、情報処理装置、及びプログラム
JP2018101292A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180502

R150 Certificate of patent or registration of utility model

Ref document number: 6336351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150