JP6428240B2 - 商品登録装置、商品認識方法、およびプログラム - Google Patents

商品登録装置、商品認識方法、およびプログラム Download PDF

Info

Publication number
JP6428240B2
JP6428240B2 JP2014255521A JP2014255521A JP6428240B2 JP 6428240 B2 JP6428240 B2 JP 6428240B2 JP 2014255521 A JP2014255521 A JP 2014255521A JP 2014255521 A JP2014255521 A JP 2014255521A JP 6428240 B2 JP6428240 B2 JP 6428240B2
Authority
JP
Japan
Prior art keywords
product
image
voice input
voice
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014255521A
Other languages
English (en)
Other versions
JP2016115279A (ja
Inventor
茂輝 榎本
茂輝 榎本
佐藤　芳広
芳広 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014255521A priority Critical patent/JP6428240B2/ja
Priority to US14/936,454 priority patent/US20160180174A1/en
Priority to CN201510954879.8A priority patent/CN105719412A/zh
Publication of JP2016115279A publication Critical patent/JP2016115279A/ja
Application granted granted Critical
Publication of JP6428240B2 publication Critical patent/JP6428240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は、商品を売上登録する商品登録装置および商品認識方法に関する。
従来、電子式キャッシュレジスタ（商品登録装置）は、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことで、キャッシュレジスタのオペレータの負担を軽減することができる。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、オペレータが商品コードや金額をキーボードで入力するという運用がなされていた。
近年では、青果品などをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、予め用意された特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
例えば、特許文献１には、撮像手段で撮像された対象物の画像情報と各商品の基準画像情報とを比較し、類似度が所定範囲内にある基準画像情報に対応した商品を対象物に該当する商品候補として表示手段に表示させる情報処理装置について記載されている。
特開２０１３−８９２５８号公報
しかしながら、特許文献１に記載の装置は、撮像された対象物の画像が非常に類似している場合（例えば、産地の異なるりんごやみかん）、オペレータはキーボードや画面タッチによる選択操作を必要としていた。例えば、和歌山（うんしゅう）、愛媛などの複数の産地の商品「みかん」を商品登録する場合、画像認識により「みかん」の産地等を判定することは困難である。このため、オペレータはいったん画像読み取り操作を中断しキーボードや画面タッチによる選択操作を行う必要があった。
また、清算前に、認識を済ませた商品と同じ商品を追加して複数登録したい場合にも同様の認識操作を繰り返さなければならない。また、キャンセルについても同様の操作が必要であった。
このように、バーコードを付してない青果品のように商品が類似しており、しかも産地が複数に亘る商品や、該当商品の追加登録・キャンセルをしたい場合、オペレータはキーボード操作等に戻らざるを得ず、作業効率が低下するという問題があった。
本発明の課題は、商品の売上登録操作の作業性を向上させることである。
上記課題を達成するため、本発明の商品登録装置は、物体を画像として撮影する撮影手段と、音声を入力する音声入力手段と、前記物体が前記撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段と、を備え、前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、ことを特徴とする。
本発明の商品認識方法は、物体を画像として撮影する撮影ステップと、音声を入力する音声入力ステップと、前記物体が前記撮影ステップにより画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力ステップにより入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御ステップと、を含み、前記制御ステップにおいて、前記物体が前記撮影ステップにより画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、ことを特徴とする。
本発明のプログラムは、コンピュータを、物体が撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段、として機能させ、前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、ことを特徴とするプログラム。
本発明によれば、商品の売上登録操作の作業性を向上させることができる。
本実施形態における商品登録装置の外観を示す斜視図である。 本実施形態における商品登録装置の概略を示す構成図である。 本実施形態における商品登録装置の概略を示す機能ブロック図である。 本実施形態における商品識別装置の正面図である。 本実施形態における特徴量ファイルの一例を示す図である。 本実施形態における商品登録処理を示すフローチャートである。 本実施形態における商品登録装置の音声認識バッファの一例を示す図である。 本実施形態における商品登録装置のディスプレイに表示される商品の確認画面の例である。 本実施形態における商品登録装置の商品認識方法を説明するタイミングチャートである。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、同一の要素が異なる図に示されていても同一の符号を付与して、その重複する説明を省略することがある。
（実施形態）
図１は、本発明の実施形態における商品登録装置１の外観を示す斜視図である。
図１に示すように、商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。
商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。読取窓５２の上部には、マイク２８が配置されている。
ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。
ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図１の手前側に向いている。この顧客用ディスプレイ３４は、図１の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２にかざされる。このとぎ、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。
商品識別装置２では、カメラ２７により撮像された画像に含まれる商品が、後記する特徴量ファイル３６１（図２参照）に記録されたどの商品に対応するかを指定させるための画面をディスプレイ２２１に表示する。商品識別装置２は更に、指定された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイル（不図示）などに記録して、売上登録を行う。
図２は、本実施形態における商品登録装置１の概略を示す構成図である。
商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２９と、電源３０とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、マイク２８、スピーカ２９とが、内部バスや各入出力回路（不図示）を介して接続される。
表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどであり、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）からの撮像を行う撮像手段である。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。
マイク２８は、オペレータから発せられた音を入力する。マイク２８は、商品識別装置２の読取窓５２の上部に配置されることで、オペレータの音声を入力することを想定している。
スピーカ２９は、予め設定された警告音などを発生する。スピーカ２９は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源３０は、この商品識別装置２の各部に電力を供給する。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。
ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
ＨＤＤ３６には、プログラムや各種ファイルが記憶されている。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば特徴量ファイル３６１が記録されるが、商品販売データ処理用のプログラムが記録されてもよい。特徴量ファイル３６１は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する（図５参照）。
インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。
図３は、本実施形態における商品登録装置１の概略を示す機能ブロック図である。以下の説明では、適宜図１と図２とを参照する。
商品識別装置２のＣＰＵ２１１は、ＲＯＭ２１２に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、類似度演算部９２、類似度判断部９３、音声認識部９４、音声認識バッファ９４１、商品特定部９５、確定通知部９６、情報出力部９７の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１は、ＨＤＤ３６に格納されるプログラムを実行することにより、売上登録部９９の各部を具現化する。ＰＯＳ端末３のＨＤＤ３６には更に、特徴量ファイル３６１および音声認識ＤＢ３６２が格納される。
画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像を順次取り込む。画像取得部９０によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。
物体検出部９１は、画像取得部９０によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。
類似度演算部９２は、カメラ２７が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部９２は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部９２は、処理時間を短縮することができる。
類似度演算部９２は更に、特徴量ファイル３６１に記録された各商品（以下、取扱商品という）の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記録されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部９２は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
なお、撮像された商品の画像と、特徴量ファイル３６１に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、特徴量ファイル３６１に４つの商品＃１〜＃４が記録されていたとする。このとき撮像された商品は、例えば、商品＃１に対して類似度が０．６５、商品＃２に対しては類似度が０．２、商品＃３に対しては類似度が０．１、商品＃４に対しては類似度が０．０５などのように算出する。
類似度判断部９３は、画像取得部９０が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル３６１に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部９３は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件Ｘ，Ｙ，Ｚを用いる場合について説明する。
ここで、条件Ｘおよび条件Ｙは、フレーム画像上の物体を、特徴量ファイル３６１に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Ｚは、フレーム画像上の物体から、特徴量ファイル３６１に記録された取扱商品の候補を抽出するための条件である。
類似度判断部９３は、例えば、条件Ｘまたは／および条件Ｙを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部９３は、条件Ｚを満たす取扱商品については、確定商品ではなく、カメラ２７が撮像した商品の候補であると判定する。そして、類似度判断部９３は、特徴量ファイル３６１に記録された複数の取扱商品から条件Ｚを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。
条件Ｘ〜Ｚは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件Ｘ〜Ｚを設けることができる。ここでは、閾値Ｔｘ〜Ｔｚによって条件Ｘ〜Ｚを設定する場合について説明する。なお、閾値Ｔｘ〜Ｔｚの順に小さくなるものとする。
類似度判断部９３は、取扱商品との類似度が予め定められた閾値Ｔｘ以上となった回数をカウントし、この回数が所定回数以上となった場合に条件Ｘが満たされたと判定する。
また、類似度判断部９３は、取扱商品との類似度が閾値Ｔｘ未満、かつ、閾値Ｔｙ以上となった場合に、条件Ｙが満たされたと判定する。そして、条件Ｙを満たした取扱商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。
更に、類似度判断部９３は、取扱商品との類似度が閾値Ｔｙ未満、かつ、閾値Ｔｚ以上である場合に、条件Ｚが満たされたと判定する。
なお、各条件Ｘ〜Ｚは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。
このように、類似度判断部９３は、条件Ｚを満たした取扱商品の写真画像および商品名を特徴量ファイル３６１から読み出し、類似度演算部９２が算出した類似度の高い順に、商品候補として出力する。
音声認識部９４は、音声認識ＤＢ３６２を参照して発せられた音声を認識する。具体的には、オペレータが発声した言葉は音声信号としてマイク２８から音声認識部９４へ取り込まれ、音声認識部９４は、この音声信号を波形分析して特徴パターンを抽出し、音声認識し、音声認識結果を音声認識バッファ９４１（図７参照）に一時的に格納する。図７に示すように、音声認識バッファ９４１は、オペレータの発声タイミング（音声入力の開始時間と終了時間）と、その発声タイミングにおける音声入力の音声認識結果を格納する。この例では、開始時間０:００:１０から終了時間０:００:１５までに音声入力された音声信号の音声認識結果「あおもり」が格納されている。次の発声タイミングでは、開始時間０:００:１７から終了時間０:００:２０までに音声入力された音声信号の音声認識結果「ふたつ」が格納されている。
商品特定部９５は、類似度判断部９３が、オブジェクト認識した商品の商品候補から音声認識部９４による音声認識により商品または商品の個数を特定する。
具体的には、商品特定部９５は、カメラ２７により撮影された商品を認識したタイミングを含む前後所定期間において入力された音声を、商品認識の補助情報として用いて商品またはその個数を特定する。また、商品特定部９５は、カメラ２７により撮影された商品を認識したタイミングを含む前後所定期間において入力された音声に基づいて商品の登録または商品登録のキャンセルを実行する。
確定通知部９６は、商品特定部により商品およびその個数を特定されたことを、画像出力や音声出力などによってオペレータや客に報知する。より詳細には、確定通知部９６は、特定された商品およびその個数をディスプレイ２２１に表示させ、特定された商品に関する情報をスピーカ２９に出力する。スピーカ２９は、特定された商品の情報をオペレータや客に報知する。
情報出力部９７は、上述のようにして特定された商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。
なお、情報出力部９７は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９７がＰＯＳ端末３に出力する情報としては、情報出力部９７が特徴量ファイル３６１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。
ＰＯＳ端末３の売上登録部９９は、情報出力部９７から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部９９は、特徴量ファイル３６１を参照して、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録（仮登録）を行う。
図４は、本実施形態における商品識別装置２の正面図である。
商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２とマイク２８が設けられ、マイク２８はオペレータの発声が明瞭に収音し易い位置に設置される。具体的には、読取窓５２の中央上側やディスプレイ２２１の中央下側に設置する。マイク２８を読取窓５２の中央上側やディスプレイ２２１の中央下側に設置すると、マイク２８の高さ位置がオペレータの顔に接近するので、オペレータの発声を良好に収音することができる。また、このマイク２８の取付位置は、ハウジング５１の中央位置であり、オペレータ以外の音（例えば顧客の発音）が回り込んでくることを防ぐことができる。
読取窓５２には、照明２７１とカメラ２７（撮像手段）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を特定する領域である。
図５は、本実施形態における特徴量ファイル３６１の一例を示す図である。
図５に示すように、特徴量ファイル３６１は、商品の特徴量ごとに、画像リンク先、音声データ、商品ＩＤ、単価、および商品名を格納する。なお、画像リンク先は、画像データであってもよい。音声データは、音声認識ＤＢ３６２のサンプルデータに対応している。特徴量ファイル３６１は、例えば、商品の特徴量として、「青森りんごの特徴量」、「長野りんごの特徴量」、…、「温州みかんの特徴量」、「愛媛みかんの特徴量」、…ごとに、画像リンク先「Ｎ０００１Ｆ．ｊｐｇ」…、音声データ「あおもり」…、商品ＩＤ「Ｎ０００１」…、単価「１００」、商品名「りんご・青森産」…を格納する。後記するように、商品特定部９５は、オブジェクト認識による「商品の特徴量」から商品候補を抽出し、音声認識による「音声認識結果」から該当商品を確定する。
図６は、本実施形態における商品登録処理を示すフローチャートである。図６（ａ）は商品認識の補助情報として用いる音声の認識処理および音声認識結果の格納を実行するフロー、図６（ｂ）はオブジェクト認識処理から商品の仮登録を実行するフローである。図６（ａ）のフローと図６（ｂ）のフローとは並列動作する。各フロー間は通信によってリンクされ、オブジェクト認識処理と音声認識結果の連携が図られる。
本実施形態の商品登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品を取り出して、読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに入れるまでの一連の処理である。
なお、本発明を顧客がオペレータであるセルフレジに適用してもよい。
<音声補助情報による商品特定>
オペレータが発声すると、音声認識部９４は、ステップＳ１１の処理を開始する。
ステップＳ１１において、音声認識部９４は、マイク２８からオペレータの音声入力を受け付ける。音声認識部９４は、オペレータから発せられた音声レベルが所定値以上である場合に音声入力があるとする。具体的には、オペレータは、まず「あおもり」と発声する場合を例に採る。
ステップＳ１２において、音声認識部９４は、オペレータが発声した音声信号を波形分析して特徴パターンを抽出し音声認識する。ここでは、音声認識部９４は、オペレータの発声の「あおもり」を認識するものとする。
音声認識の具体例について、図９を参照して説明する。
図９（ｂ）は、音声信号の音声レベルの入力（高／低）を示すタイミングチャートである。図９（ｂ）の音声信号は、説明の便宜上簡略化したエンベロープで描かれている。また、音声レベルが所定値以下（例えば０レベル）では、音声信号の入力はないものとし、所定値レベル以上で音声信号の入力があるものとする。実際には、ノイズ成分を考慮して適当な所定値を設定する。
図９（ｂ）に示すように、時刻：Ｔ０から１つ目の音声信号Ｓ１の音声レベルが高く、時刻：Ｔ２で１つ目の音声信号Ｓ１の入力が終了する。その後、図９（ｃ）に示すように、音声認識部９４は、１つ目の音声信号Ｓ１の音声レベルが低い（０レベル）になった時刻：Ｔ２で、時刻：Ｔ０から発生が開始された音声信号Ｓ１を取り込んで波形分析する。そして、特徴パターンを抽出して音声認識する（図６（ａ）のステップＳ１２）。この音声認識処理には所定時間を要し、図９（ｄ）に示す時刻：Ｔ１２で終了する。
図６（ａ）のフローに戻って、ステップＳ１３において、音声認識部９４は、音声認識が成功したか否かを判別し、音声認識が不成功の場合は本フローを終了する。
音声認識が成功したならば（Ｙｅｓ）、ステップＳ１４において、音声認識部９４は、音声認識結果を音声認識バッファ９４１（図７参照）に格納する。図７の例の場合、音声認識バッファ９４１には、オペレータが発声した音声認識結果「あおもり」が格納されている。また、図６の符号Ｓ３１に示すように、音声認識バッファ９４１に保存した音声認識結果「あおもり」は、ステップＳ２４の処理で参照される。
ステップＳ１５において、商品特定部９５は、図６の符号Ｓ３２に示すように、オブジェクト認識乃至仮登録のフロー（図６（ｂ）参照）による商品の仮登録の結果を取得して所定期間前に仮登録したか否かを判別する。
所定期間前に仮登録していないならば（Ｎｏ）、本音声認識乃至仮登録情報の更新のフローを終了する。
ここでは、オブジェクト認識による商品が仮登録されていないので、音声認識結果「あおもり」が音声認識バッファ９４１に格納されて本フローが終了する。
なお、所定期間前に仮登録されている場合（Ｙｅｓ）、ステップＳ１６以降に進む。ステップＳ１６〜１８については後記する。
次に、図６（ａ）のフローとは並列動作している図６（ｂ）のオブジェクト認識乃至仮登録のフローについて説明する。
オペレータは、あおもり」と発声するとともに、商品「リンゴ」をカメラ２７にかざす。
オペレータが商品をカメラ２７にかざすと、画像取得部９０は、ステップＳ２１の処理を開始する。
ステップＳ２１において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品画像のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。
図９（ａ）は、オブジェクト認識の開始および終了タイミングを示すタイミングチャートである。オブジェクト認識処理の開始（時刻：Ｔ１）から終了（時刻：Ｔ４）までの期間において、各フレーム画像をキャプチャすることでオブジェクトが認識される。本実施形態では、物体検出部９１がオブジェクト認識処理を開始してから類似度判断部９３が類似度を判断するまでの期間を含む一定期間を、オブジェクト認識処理の開始（時刻：Ｔ１）から終了（時刻：Ｔ４）までの期間としている。
図８（ａ）は、ディスプレイ２２１に表示される確認画面の例である。図８（ａ）の矢印は、商品登録操作にあたり、オペレータが、第１の買物カゴ４Ｌの商品を取り出して、読取窓５２のカメラ２７にかざす操作を表している。例えば、カメラ２７は、商品「りんご」を撮像してフレーム画像（撮像画像）としてＲＡＭ２１３に保存する。
図６（ｂ）のフローに戻って、ステップＳ２２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。
ステップＳ２３において、物体検出部９１は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ２４の処理に進み、商品である物体の認識に成功しなかったならば（Ｎｏ）、本フローを終了する。ステップＳ２１〜Ｓ２３を具体的にいうと、オペレータが商品を読取窓５２のカメラ２７にかざし、商品識別装置２が、この商品である物体の検出に成功する一連の処理である。
上記ステップＳ２３でオブジェクト認識が成功したならば（Ｙｅｓ）、ステップＳ２４において、商品特定部９５は、音声認識バッファ９４１の音声認識結果に基づいて、所定期間前に音声入力有りか否かを判別する。
この場合、音声認識バッファ９４１に音声認識結果「あおもり」が格納されており、これを参照して、ステップＳ２４では所定期間前に音声入力が有り（Ｙｅｓ）と判断する。
所定期間前に音声入力が有るならば、ステップＳ２５において、商品特定部９５は、音声認識結果を識別補助情報とする。具体的には、商品特定部９５は、音声認識結果「あおもり」を補助情報とする。
図６（ｂ）のフローに戻って、ステップＳ２６おいて、商品特定部９５は、この識別補助情報を基に、商品マスタ（売上マスタ）から商品名・単価・個数を検索して呼び出す。具体的には、商品特定部９５は、商品マスタ（売上マスタ）からこの商品の商品名「青森りんご」と商品単価「１００円」とを検索して呼び出す。これにより、図８（ｂ）に示すように、ディスプレイ２２１には、特定した商品「青森りんご」と商品単価「１００円」が表示される。
ステップＳ２７おいて、情報出力部９７は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して仮登録させる。これにより、ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤに基づき、商品を仮登録する。このとき確定通知部９６は、確定商品の写真画像を含む確定画面をディスプレイ２２１に表示させるとともに、確定商品の商品名を音声で通知する。ステップＳ２７の処理が終了すると、図６の処理が終了する。
また、ステップＳ２７おいて、商品特定部９５は、図６の符号Ｓ３２に示すように、商品の仮登録の結果を記録し、ステップＳ１５の処理で参照させる。
<音声補助情報による商品の個数決定>
商品「青森りんご」を認識したタイミングを含む所定期間後において、再び音声入力「ふたつ」と発声する場合には下記の処理となる。
オペレータが再び発声すると、音声認識部９４は、ステップＳ１１の処理を開始する。
ステップＳ１１において、音声認識部９４は、マイク２８からオペレータの音声入力を受け付ける。音声認識部９４は、オペレータから発せられた音声レベルが所定値以上である場合に音声入力があるとする。
ここでは、図９（ｂ）に示すように、２つ目の音声信号Ｓ２の入力が時刻：Ｔ３から開始し、時刻：Ｔ５で終了する。２つ目の音声信号Ｓ２は、「ふたつ」である。
ステップＳ１２において、音声認識部９４は、オペレータが発声した音声信号を波形分析して特徴パターンを抽出し音声認識する。音声認識部９４は、図９（ｄ）に示すように、時刻：Ｔ５から時刻：Ｔ１３において、オペレータの発声の「ふたつ」を音声認識する。なお、「青森りんご」の仮登録から「ふたつ」は、所定期間（例えば３秒）で発声されている。
ステップＳ１３において、音声認識部９４は、音声認識が成功したか否かを判別する。
音声認識が成功し（Ｙｅｓ）、ステップＳ１４において、音声認識部９４は、音声認識結果を音声認識バッファ９４１（図７参照）に格納する。この場合、音声認識バッファ９４１には、オペレータが発声した音声認識結果「ふたつ」が格納されている。
ステップＳ１５において、商品特定部９５は、図６の符号Ｓ３２に示すように、オブジェクト認識乃至仮登録のフロー（図６（ｂ）参照）による商品の仮登録の結果を取得して所定期間前に仮登録したか否かを判別する。この場合、ステップＳ２７の処理により商品「青森りんご」が仮登録されている。このため、商品特定部９５は、所定期間前に仮登録有り（Ｙｅｓ）と判断し、ステップＳ１６に進む。
商品特定部９５は、音声認識バッファ９４１に格納されている音声認識結果「ふたつ」を取得するので、ステップＳ２４では所定期間前に音声入力が有り（Ｙｅｓ）と判断する。
ステップＳ１６において、商品特定部９５は、音声認識結果を識別補助情報とする。ここでは、音声認識結果「ふたつ」を補助情報とする。
ステップＳ１７おいて、商品特定部９５は、この識別補助情報を基に、商品マスタ（図示省略）から商品名・単価・個数を検索して呼び出す。具体的には、特定された商品「青森りんご」に対して補助情報として音声認識結果「ふたつ」用いて商品個数を決定する。
ステップＳ１８おいて、商品特定部９５は、商品の仮登録情報を更新して本フローを終了する。
図８および図９を再び参照して、再度の音声入力による音声認識結果を識別補助情報として用いて商品を特定する例について説明する。
再度の音声入力およびその音声認識処理により、特定商品「青森りんご」について、個数を決定している。例えば、オペレータは音声「ふたつ」を発音し、音声認識部９４が「２点」であることを音声認識することで、特定した商品「青森りんご」が２点（２個）であると決定する。図９（ｄ）に示すように、商品名検索結果は、時刻：Ｔ１３までは個数の指定がなかったものが、時刻：Ｔ１３からは個数「２点」となり、商品名「青森りんご」が「２点」であることが決定される。これにより、商品識別装置２は、この商品「青森りんご」の商品名と個数を確定することができる。
なお、図９の例は、商品を特定するオブジェクト認識が不成功である場合において、個数を決定するケースである。ここで、オブジェクト認識が不成功の場合には、音声認識を行うまでもなく、一意に商品が特定されている場合も含む。例えば、商品「りんご」が一種類しかない場合には、オペレータは商品名を特定する「あおもり」の発声は省略することができる。このように、オペレータは音声による個数の入力のみを行うことができる。図示は省略するが、図９（ｂ）において１つ目の音声信号Ｓ１を取り去り、２つ目の音声信号Ｓ２（時刻：Ｔ１３）で「あおもり」の発声を「ふたつ」の発声に変えたものとなる。ここで、２つ目の音声信号Ｓ２（時刻：Ｔ１３）までの「あおもり」の発声を「キャンセル」の発声に変えることで、上記と同様の処理で、商品登録のキャンセルを行うことができる。
また、図５の特徴量ファイル３６１の「音声」に複数の音声を設定し、いずれかの音声を認識した場合であっても商品を特定できるようにしてもよい。例えば、商品「りんご」の場合、産地名「あおもり」に加えて、「つがる」を設定しておくようにすれば、「つがる」を発声すれば、「あおもり」を発声した場合と同様に商品「青森リンゴ」が特定される。また、図５の特徴量ファイル３６１の「音声」は、産地のほか愛称・通称であってもよい。例えば、商品「みかん」の場合、産地名「わかやま」に加えて、通称名「うんしゅう」を設定しておくようにすれば、「うんしゅう」を発声すれば、「わかやま」を発声した場合と同様に商品「温州みかん」が特定される。
この商品登録処理により、オペレータは、キーボード操作をすることなしに商品の売上登録や追加登録・キャンセルの操作ができる。特に、画像によるオブジェクト認識だけでは実現が困難であった商品の産地による特定や個数の指定、商品のキャンセルなどを簡単に行うことができ、作業効率を大幅に向上させることができる。
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ），（ｂ）のようなものがある。
（ａ） 認識する音声はどのようなものでもよい。例えば、産地や愛称（通称）、個数のほか、キャンセルでもよく、これらの組合せでもよい。また、この音声認識の数や順序も任意である。
（ｂ） カメラ２７により撮影された商品を認識した期間が、マイク２８によって入力されて認識した音声の期間と重なっていればよく、どのような重なり具合でもよい。例えば、図９（ａ）に示すように、オブジェクト認識の開始（時刻：Ｔ１）または終了（時刻：Ｔ４）のうち、いずれか一部が重なればよい。また、認識した音声の期間が、オブジェクト認識の開始（時刻：Ｔ１）から終了（時刻：Ｔ４）までの期間にすべて重なるものでもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を撮影する撮影手段と、
音声を入力する音声入力手段と、
前記撮影手段により撮影された物体を認識したタイミングを含む前後所定期間において入力された前記音声を、前記物体認識の補助情報として用いて商品を認識する制御手段と、
を備えることを特徴とする商品登録装置。
＜請求項２＞
前記制御手段は、前記撮影手段により撮影された物体を認識したタイミングを含む前後所定期間において入力された前記音声に基づいて商品の個数を認識する、
ことを特徴とする請求項１に記載の商品登録装置。
＜請求項３＞
画像を撮影する撮影手段と、
音声を入力する音声入力手段と、
前記撮影手段により撮影された商品を認識したタイミングを含む前後所定期間において入力された前記音声に基づいて前記商品の登録または商品登録のキャンセルを実行する制御手段と、
を備えることを特徴とする商品登録装置。
＜請求項４＞
画像を撮影する撮影ステップと、
音声を入力する音声入力ステップと、
前記撮影ステップにより撮影された物体を認識したタイミングを含む前後所定期間において入力された前記音声を、前記物体認識の補助情報として用いて商品を認識する制御ステップと、
を含むことを特徴とする商品認識方法。
＜請求項５＞
画像を撮影する撮影ステップと、
音声を入力する音声入力ステップと、
前記撮影手段により撮影された商品を認識したタイミングを含む前後所定期間において入力された前記音声に基づいて前記商品の登録または商品登録のキャンセルを実行する制御ステップと、
を含むことを特徴とする商品認識方法。
１ 商品登録装置
２ 商品識別装置
２１ マイクロコンピュータ
２１１ ＣＰＵ （制御手段）
２１２ ＲＯＭ
２１３ ＲＡＭ
２２ 表示・操作部
２２１ ディスプレイ
２２２ タッチパネル
２４ 顧客用ディスプレイ
２５ インタフェース
２７ カメラ （撮像手段）
２８ マイク
２９ スピーカ
３０ 電源
３ ＰＯＳ端末
３６ ＨＤＤ
３６１ 特徴量ファイル （辞書）
３６２ 音声認識ＤＢ （辞書）
９０ 画像取得部
９１ 物体検出部
９２ 類似度演算部
９３ 類似度判断部
９４ 音声認識部
９４１ 音声認識バッファ
９５ 商品特定部
９６ 確定通知部
９７ 情報出力部
９９ 売上登録部

Claims (8)

  1. 物体を画像として撮影する撮影手段と、
    音声を入力する音声入力手段と、
    前記物体が前記撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段と、
    を備え、
    前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、
    ことを特徴とする商品登録装置。
  2. 前記制御手段は、商品の前記上位分類は認識できたにも関わらず、前記下位分類として商品の産地までは認識することができなかった場合には、商品の産地を示す種類の補助情報が必要である旨を通知する通知情報を表示させるとともに、当該通知情報と並べて前記上位分類を表示させる、
    ことを特徴とする請求項１に記載の商品登録装置。
  3. 前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に当該画像を前記表示手段に表示させ、
    前記通知情報を前記表示手段に表示させる際には前記画像中の物体と重ならないように表示させる、
    ことを特徴とする請求項１または２に記載の商品登録装置。
  4. 前記制御手段は、前記音声入力手段により入力された音声を補助情報として用いて商品の下位分類まで認識をした際に、前記通知情報に替えて前記下位分類を前記表示手段に表示させる、
    ことを特徴とする請求項１から３の何れか一項に記載の商品登録装置。
  5. 前記制御手段は、前記下位分類を前記表示手段に表示させる際に、前記商品の単価を並べて表示させる、
    ことを特徴とする請求項４に記載の商品登録装置。
  6. 前記制御手段は、前記音声入力手段により入力された音声を前記補助情報として用いて商品の下位分類まで認識をした後に、更に前記音声入力手段により音声が入力された際には当該音声を数情報として用いて商品の個数を特定する、
    ことを特徴とする請求項１から５の何れか一項に記載の商品登録装置。
  7. 物体を画像として撮影する撮影ステップと、
    音声を入力する音声入力ステップと、
    前記物体が前記撮影ステップにより画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力ステップにより入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御ステップと、
    を含み、
    前記制御ステップにおいて、前記物体が前記撮影ステップにより画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、
    ことを特徴とする商品認識方法。
  8. コンピュータを、
    物体が撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段、
    として機能させ、
    前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、
    ことを特徴とするプログラム。
JP2014255521A 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム Active JP6428240B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014255521A JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム
US14/936,454 US20160180174A1 (en) 2014-12-17 2015-11-09 Commodity registration device and commodity registration method
CN201510954879.8A CN105719412A (zh) 2014-12-17 2015-12-17 商品注册装置以及商品注册方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014255521A JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016115279A JP2016115279A (ja) 2016-06-23
JP6428240B2 true JP6428240B2 (ja) 2018-11-28

Family

ID=56129802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014255521A Active JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム

Country Status (3)

Country Link
US (1) US20160180174A1 (ja)
JP (1) JP6428240B2 (ja)
CN (1) CN105719412A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193290A1 (en) * 2016-01-06 2017-07-06 Toshiba Tec Kabushiki Kaisha Commodity registration apparatus and commodity registration method
JP6851193B2 (ja) * 2016-12-20 2021-03-31 東芝テック株式会社 情報処理装置及びプログラム
CN110019899B (zh) * 2017-08-25 2023-10-03 腾讯科技（深圳）有限公司 一种目标对象识别方法、装置、终端及存储介质
JP6647485B1 (ja) * 2018-08-27 2020-02-14 隆均 半田 商品代金精算システム
US20240062213A1 (en) * 2021-03-25 2024-02-22 Nec Corporation Detection system, detection method, and storage medium

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083638A (en) * 1990-09-18 1992-01-28 Howard Schneider Automated point-of-sale machine
US5426282A (en) * 1993-08-05 1995-06-20 Humble; David R. System for self-checkout of bulk produce items
JPH07244782A (ja) * 1994-03-04 1995-09-19 Ishida Co Ltd キャッシュコーナ
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5839104A (en) * 1996-02-20 1998-11-17 Ncr Corporation Point-of-sale system having speech entry and item recognition support system
JP2000249595A (ja) * 1999-03-01 2000-09-14 Ishida Co Ltd 商品処理システム
JP2001319275A (ja) * 2000-05-12 2001-11-16 Shinei:Kk セルフオーダーエントリシステム
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2005526323A (ja) * 2002-05-17 2005-09-02 フジツー トランスアクション ソリューションズ インコーポレイション セルフ・チェックアウトの方法および装置
EP1806708B1 (en) * 2005-05-23 2013-03-20 Toshiba TEC Kabushiki Kaisha Commodity sales registration processing system and commodity information registering apparatus
US8876001B2 (en) * 2007-08-07 2014-11-04 Ncr Corporation Methods and apparatus for image recognition in checkout verification
US20090113475A1 (en) * 2007-08-21 2009-04-30 Yi Li Systems and methods for integrating search capability in interactive video
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
US8260455B2 (en) * 2008-12-05 2012-09-04 Siemens Industry, Inc. Address label re-work station
JP5579202B2 (ja) * 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5372191B2 (ja) * 2012-01-30 2013-12-18 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP2013191180A (ja) * 2012-03-15 2013-09-26 Ishida Co Ltd Ｐｏｓ端末装置
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5936993B2 (ja) * 2012-11-08 2016-06-22 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5744824B2 (ja) * 2012-12-03 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5760022B2 (ja) * 2013-02-28 2015-08-05 東芝テック株式会社 商品情報表示装置及びコンピュータプログラム
JP5848734B2 (ja) * 2013-08-30 2016-01-27 東芝テック株式会社 商品登録装置
JP5865316B2 (ja) * 2013-08-30 2016-02-17 東芝テック株式会社 商品登録装置およびプログラム
US20150100445A1 (en) * 2013-10-08 2015-04-09 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for interaction with objects to implement a retail function
JP6180285B2 (ja) * 2013-11-06 2017-08-16 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
US20150324635A1 (en) * 2014-04-30 2015-11-12 Eye Stalks Corporation Dba Bay Sensors Methods, systems, and apparatuses for visitor monitoring
US20150339647A1 (en) * 2014-05-23 2015-11-26 Toshiba Tec Kabushiki Kaisha Commodity information input apparatus and commodity information input method
JP6369258B2 (ja) * 2014-09-22 2018-08-08 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム

Also Published As

Publication number Publication date
JP2016115279A (ja) 2016-06-23
CN105719412A (zh) 2016-06-29
US20160180174A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
JP5619095B2 (ja) 商品認識装置及び商品認識プログラム
JP6428240B2 (ja) 商品登録装置、商品認識方法、およびプログラム
JP6141208B2 (ja) 情報処理装置及びプログラム
JP6258761B2 (ja) 情報処理装置及びプログラム
JP6360350B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6745646B2 (ja) 認識システム、情報処理装置、及びプログラム
JP2018055716A (ja) 情報処理装置及びプログラム
EP3002739A2 (en) Information processing apparatus and information processing method by the same
JP2015038721A (ja) 情報処理装置及びプログラム
JP6190019B2 (ja) 情報処理装置及びプログラム
JP6547856B2 (ja) 情報表示装置、誘導表示方法およびプログラム
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP6409637B2 (ja) 商品登録装置、およびその商品登録方法
JP6295944B2 (ja) 商品識別装置および商品認識ナビゲーション方法
US9792635B2 (en) Information processing apparatus and method for updating feature values of products for object recognition
JP2015035094A (ja) 情報処理装置、店舗システム及びプログラム
US20190370774A1 (en) Information processing apparatus and method of controlling an information processing apparatus
JP5903414B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6610724B2 (ja) 商品登録装置、およびプログラム
JP5885708B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6384309B2 (ja) 商品識別装置、商品認識ナビゲーション方法及びプログラム
JP6306776B2 (ja) 情報処理装置及びプログラム
JP2020177705A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R150 Certificate of patent or registration of utility model

Ref document number: 6428240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150