JP5554796B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP5554796B2
JP5554796B2 JP2012037634A JP2012037634A JP5554796B2 JP 5554796 B2 JP5554796 B2 JP 5554796B2 JP 2012037634 A JP2012037634 A JP 2012037634A JP 2012037634 A JP2012037634 A JP 2012037634A JP 5554796 B2 JP5554796 B2 JP 5554796B2
Authority
JP
Japan
Prior art keywords
unit
information
type
feature
price
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012037634A
Other languages
English (en)
Other versions
JP2013069259A (ja
Inventor
晃子 須崎
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011193732 priority Critical
Priority to JP2011193732 priority
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2012037634A priority patent/JP5554796B2/ja
Publication of JP2013069259A publication Critical patent/JP2013069259A/ja
Application granted granted Critical
Publication of JP5554796B2 publication Critical patent/JP5554796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/17Recognition of food, fruit, vegetables

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、撮像装置が撮像した商品の画像と、予めデータベースに登録されている画像とを比較することにより、商品の種別(野菜、果物、魚、肉など)や商品名(鯵、鰯、大根、キャベツ、バナナなど)を特定することが可能な技術(例えば、特許文献1参照)が知られている。

しかしながら、従来では、撮像装置が撮像した商品の画像から商品の種別や商品名を特定することはできるものの、撮像装置が撮像した商品の画像から商品(例えば、りんご)の産地、サイズ、個数、重量、等級、階級などを特定するのは困難であるという課題がある。

本実施形態の情報処理装置は、記憶手段と、品種認識手段と、特徴認識手段と、特定手段とを有する。記憶手段は、商品の品種と当該商品に付加される所定の付加物の特徴とに対応付けて、当該商品の産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を登録したテーブルを記憶する。品種認識手段は、商品を撮像した撮像画像から撮像対象の商品の品種を認識する。特徴認識手段は、前記撮影画像から前記撮像対象の商品に付加され付加物の特徴を認識する。特定手段は、前記テーブルを参照し、前記商品認識手段が認識した商品の品種および前記特徴認識手段が認識した付加物の特徴に対応する所定情報を特定する

図1は、本実施形態に係る情報処理装置およびプログラムを適用したチェックアウトシステムの外観構成を示す斜視図である。 図2は、POS端末および商品読取装置のハードウェア構成を示すブロック図である。 図3は、各CPUの機能構成を示すブロック図である。 図4は、商品に付加される付加物の一構成例を示す模式図である。 図5は、情報特定テーブルの一構成例を示す模式図である。 図6は、PLUファイルの一構成例を示す模式図である。 図7は、商品読取装置における処理動作の流れを示すフローチャートである。 図8は、POS端末における処理動作の流れを示すフローチャートである。 図9は、オペレータ用の表示デバイスに表示される表示画面の一構成例を示す模式図である。

以下、実施形態について添付図面を参照して説明する。

なお、本実施形態に係る情報処理装置およびプログラムは、概略的には、撮像装置で撮像した撮像画像から、商品の品種および商品に付加される所定の付加物の特徴を認識し、該認識した商品の品種および付加物の特徴から、商品の産地、サイズ、個数、重量、等級および階級などの所定情報を自動的に識別し、商品の価格を自動的に求めることが可能な装置およびプログラムである。

図1は、本実施形態に係る情報処理装置およびプログラムを適用したチェックアウトシステム1の外観構成を示す斜視図である。

図1に示すように、このチェックアウトシステム1は、一取引にかかる商品の登録、精算を行うPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。

POS端末11の上面には、オペレータ(ユーザ)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。

なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。

POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受面152が形成されている。荷受面152には、商品Aを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に位置付けられる第2の買物カゴ153bとに分けて考えることができる。

カウンタ台151の荷受面152には、POS端末11とデータ送受信自在に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。

ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。

このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部(撮像装置)164(図2参照)を配置している。

顧客によって持ち込まれた第1の買物カゴ153aには、一取引にかかる商品Aが収納されている。商品Aは、オペレータの手によって第2の買物カゴ153bへと移動される。この移動過程で、商品Aが商品読取装置101の読取窓103に向けられる。この際、読取窓103の奥側に配置された撮像部164(図2参照)は商品Aを撮像する。

図2は、POS端末11および商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。

POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。

キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。

POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。

HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1(図6参照)である。PLUファイルF1は、店舗に陳列して販売する商品Aの各々について、商品Aの売上登録にかかる情報が設定されたファイルである。

図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。

さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシートなどに印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介してPOS端末11に接続されている。表示・操作部104はPOS端末11のCPU61によって動作が制御される。

撮像部164は、カラーCCDイメージセンサやカラーCOMSイメージセンサなどであり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像はRAM163に保存される。

音声出力部165は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部165は、CPU161の制御の下で警告音などの音声による報知を行う。

さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。CPU161の制御の下、商品読取装置101の撮像部164によって撮像された撮像画像から認識された商品Aの品種および商品Aに付加される付加物ATの特徴に基づいて特定された商品の所定情報(産地、サイズ、個数などを示す情報)と、商品の品種を示す品種情報とは、接続インタフェース175を介して出力され、接続インタフェース65を介してPOS端末11に入力される。

ここで、上記説明したチェックアウトシステム1を構成する本実施形態のPOS端末11および商品読取装置101の概略的な機能について説明する。

即ち、本実施形態の商品読取装置101は、撮像部164が撮像した撮像画像から商品Aの品種および商品Aに付加される付加物ATの特徴を認識し、当該商品Aの産地、サイズまたは個数などを示す所定情報を特定し、商品Aの品種を示す品種情報と上記特定した所定情報をPOS端末11に送信する。一方、本実施形態のPOS端末11は、商品読取装置101から受信した情報(上記品種情報および上記所定情報)に基づいて、商品Aの単価を示す価格情報を取得し、一取引にかかる商品の会計処理を実行する。

次に、CPU161、CPU61がプログラムを順次実行することで実現されるCPU161、CPU61の機能部について、図3を参照して説明する。図3は、CPU161、CPU61の機能構成を示すブロック図である。

図3に示すように、CPU161は、プログラムを順次実行することにより、表示処理部161aと、操作入力部161bと、撮像画像取込部161cと、品種認識部161dと、特徴認識部161eと、所定情報特定部161fと、値引き情報特定部161hと、情報送信部161gとしての機能を備える。

ここで、表示処理部161aは、オペレータ用の表示デバイス106に情報を表示するものであり、本実施形態では、図9に示す商品特定画面Sを表示するものである。図9は、表示デバイス106に表示される商品特定画面Sの一構成例を示す模式図である。図9に示すように、この商品特定画面Sは、撮像部(撮像装置)164が撮像した商品Aの画像(撮像画像)Pを表示する撮像エリアA1と、撮像エリアA1に表示される商品Aの品種の認識候補(商品候補)Iを表示する候補表示エリアA2とを有している。

操作入力部161bは、キーボード107やタッチパネル105からのオペレータの操作を入力するものであり、本実施形態では、図9に示す商品特定画面Sにおいてオペレータによる商品候補の選択操作を受け付ける。

撮像画像取込部161cは、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させるとともに、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を順次取り込むものである。なお、撮像画像取込部161cによるフレーム画像の取り込みは、RAM163に保存された順に行われる。

品種認識部161dは、撮影部164が撮像した撮像画像から商品Aの品種を認識するものである。より具体的には、この品種認識部161dは、撮像画像から、特徴量として商品Aの表面の状態(表面の色合い、模様(パターン)、凸凹状況など)を読み取って、予め登録されている商品Aの品種毎の特徴量と比較することにより、特定の物体としての商品Aの品種を認識するものである。

なお、上記のように画像中に含まれる商品を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

特徴認識部161eは、撮影部164が撮影した撮像画像から商品Aに付加される所定の付加物AT(図4参照)と、付加物ATに付加された所定の付加マークM(図4参照)の特徴を認識するものである。ここで、所定の付加物ATとは、例えば、商品Aを載置する部材(トレイ)や、商品Aに貼付される部材(シール)や、商品Aを収容する部材(ネット)などであり、所定の付加マークMとは、例えば、付加物ATに貼付される部材(シール)や、付加物ATに結び付けられる部材(紐)などであり、特徴認識部161eは、それら各部材の色や形状などの特徴を認識する。なお、図4は、商品Aに付加される付加物ATの一構成例を示す模式図である。図4の例では、付加物ATが、複数の商品Aを一つに纏めたパック商品PAのトレイである場合を示している。なお、この例では、付加物ATとしてのトレイの色が「オレンジ色」となっている。

所定情報特定部161fは、品種認識部161dが認識した商品Aの品種および特徴認識部161eが認識した付加物ATおよび付加マークMの特徴(色や形状など)から、商品Aの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を特定するものである。

より具体的には、この所定情報特定部161fは、上記認識された商品Aの品種および付加物ATの特徴をもとに、予め記憶している情報特定テーブルT1(図5参照)を参照して、上記商品Aの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を特定する。図5は、情報特定テーブルT1の一構成例を示す模式図である。図5に示すように、情報特定テーブルT1は、商品Aの品種と付加物ATの特徴とに対応付けて商品Aの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を登録するテーブルである。なお、図5の例では、商品Aの品種「りんご(ふじ)」と、付加物ATがパック商品PAのトレイである場合の付加物ATの色「オレンジ色」および付加物ATに付加される付加マークM「丸マーク」とに対応付けて所定情報として「青森県産、サイズS、3個」が登録され、商品Aの品種「松茸」と、付加物ATがパック商品PAのトレイである場合の付加物ATの色「ブルー色」および付加物ATに付加される付加マークM「四角マーク」とに対応付けて所定情報として「中国産、重量300g」が登録されている様子を示している。

値引き情報特定部161hは、上記した一般物体認識技術などを用いて、撮影部164が撮像した撮像画像からパック商品PAに付加される値引きラベルALが示す値引き情報(例えば、50円引き)を特定するものである。具体的には、この値引き額特定部161hは、撮像画像から、特徴量として値引きラベルALの表面の状態{表面の色合い、「50円引きなどのパック商品PAに関する値引き額を示す値引き情報を含む模様(パターン)など}を読み取って、予め登録されている値引きラベルALの特徴量と比較することにより、値引きラベルALが示す値引き情報を特定するものである。

情報送信部161gは、品種認識部161dが認識した商品Aの品種を示す品種情報、所定情報特定部161fが特定した商品Aの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報、値引き情報特定部161hが特定した値引き情報などをPOS端末11に送信するものである。

また、図3に示すように、CPU61は、プログラムを順次実行することにより、情報受信部61a、単価取得部61b、商品価格算出部61c、売上登録部61d、会計処理部61eとしての機能を備える。

情報受信部61aは、商品読取装置101の情報送信部161gから送信される情報、即ち、上記品種情報、上記所定情報、上記値引き情報などを含む情報を受信するものである。

単価取得部61bは、情報受信部61aが受信した情報(即ち、商品Aの品種を示す品種情報と、商品Aの産地、サイズを示す情報やパック商品PAの重量を示す情報)をもとに、上記品種情報で特定される商品Aの単価を示す価格情報を図6に示すPLUファイルF1から検索して取得するものである。図6は、PLUファイルF1の一構成例を示す模式図である。図6に示すように、PLUファイルF1は、商品Aごとに、ユニークに割り当てられた商品ID(商品コード)、商品名、単価などの商品Aに関する情報などを格納するファイルである。

商品価格算出部61cは、単価取得部61bが取得した単価情報、情報受信部61aが受信した情報に含まれる個数を示す個数情報、値引き情報などからパック商品PAなどの複数の商品Aが一つに纏められた商品の販売価格を算出するものである。

売上登録部61dは、商品読取装置101が読み取り、商品として特定された商品Aの商品ID(商品コード)、商品名、単価などを売上マスタファイルなどに記録して売上登録を行うものである。

会計処理部61eは、売上登録部61dにより登録された一取引に係る商品の会計処理を行うものである。

次に、上記した構成を有するチェックアウトシステム1における処理動作の詳細について説明する。

まず、最初に商品読取装置101の処理動作について説明する。図7は、商品読取装置101における処理動作の流れを示すフローチャートである。

図7に示すように、POS端末11による商品登録の開始などに応じて処理が開始されると、撮像画像取込部161cは、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS1)。続いて、撮像画像取込部161cは、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS2)。

続いて、品種認識部161dは、取り込んだ撮像画像から商品Aの品種{りんご(ふじ)など}を認識する(ステップS3)。

ここで、ステップS3における認識の結果、商品Aの品種の認識候補が複数出てくる場合がある。そこで、商品Aの品種の認識候補が複数ある場合には(ステップS4:Yes)、CPU161は、表示デバイス106に図9に示すような商品特定画面Sを表示し、その商品特定画面Sに含まれる候補表示エリアA2に商品Aの品種の認識候補(商品候補)を表示して(ステップS5)、オペレータ(キャッシャ)に商品候補が複数あることを報知する。

その後、CPU161は、オペレータがタッチパネル105を介して正しいと思われる商品候補を選択したと判定すると(ステップS6:Yes)、処理をステップS7に進める。

一方、商品Aの品種の認識候補が複数ない場合、即ち、一つの品種に絞り込めた場合には(ステップS4:No)、CPU161は、上記ステップS5、S6の処理は実行せずに、処理をそのままステップS7に進める。

続いて、ステップS7において、特徴認識部161eが、取り込んだ撮像画像から商品Aに付加される所定の付加物ATの特徴(色や形状など)を認識する。なお、このステップS7の処理において、付加物ATの特徴を認識できなかった場合、即ち、付加物ATが撮像部164で撮像されなかった場合には、オペレータ用の表示デバイス106が表示する商品特定画面S(図9参照)上に、「トレイを読取窓103にかざして下さい。」や「商品Aを読取窓103の前で回転させて下さい。」などオペレータ(キャッシャ)に付加物ATを撮像部164に撮像させるための指示情報を表示するのが好ましい。

その後、所定情報特定部161fが、ステップS3で認識した商品Aの品種と、ステップS7で認識した付加物ATの特徴をもとに、情報特定テーブルT1を参照し、該当する所定情報(産地、サイズ、個数、重量、等級、階級などを示す情報)を特定する(ステップS8)。

続いて、値引き額特定部161hが、ステップS2で取り込んだ撮像画像中にパック商品PAに付加される値引きラベルALの画像が含まれている場合、撮像画像から値引きラベルALが示す値引き情報(例えば、50円引き)を特定する(ステップS12)。

続いて、情報送信部161gが、ステップS3で認識した商品Aの品種を示す品種情報、ステップS8で特定された所定情報、ステップS12で特定された値引き額を示す値引き情報などをPOS端末11に送信する(ステップS9)。

続いて、CPU161は、POS端末11から商品登録の終了通知などによる業務終了の有無を判定する(ステップS10)。ここで、業務を継続する場合(ステップS10:No)、CPU161は、ステップS2へ処理を戻して処理を継続させる。他方、業務を終了する場合(ステップS10:Yes)、撮像画像取込部161cは、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS11)、処理を終了する。

次に、POS端末11の処理動作について説明する。図8は、POS端末11における処理動作の流れを示すフローチャートである。

図8に示すように、POS端末11では、情報受信部61aが、商品読取装置101から上記品種情報、上記所定情報、上記値引き情報などを含む情報や商品コードを示す情報などを受信すると(ステップS21)、続いて、単価取得部61bが、上記受信した情報をもとに、PLUファイルF1を参照し、上記品種情報で特定される商品Aの単価を示す価格情報などを含む登録情報を取得する(ステップS22)。

その後、POS端末11では、売上登録部61dが、ステップS22で取得した登録情報に基づいて商品の売上情報を売上マスタファイルなどに登録する処理を実行する(ステップS23)。

なお、ステップS21において値引き情報を受信していた場合には、このステップS23において、単価取得部61bが取得した価格情報とステップS21で受信した値引き情報とから算出したパック商品PAの販売価格を売上情報として売上マスタファイルに登録する。例えば、単価取得部61bが取得した価格情報が「150円」で、ステップS21で受信した所定情報に含まれる個数情報が「3個」で、ステップS21で受信した値引き情報が「50円引き」であった場合には、売上登録部61dは、{3(個)×150(円)}−50(円)という計算式から、パック商品PAの販売価格を400(円)として算出する。

続いて、POS端末11では、CPU61が、キーボード22の操作指示(締めキー22fの押下操作など)による売上登録の終了などによる業務終了の有無を判定する(ステップS24)。ここで、業務を終了する場合(ステップS24:Yes)、会計処理部61eが、一取引にかかる売上対象の商品Aの会計処理を実行し(ステップS25)、該会計処理終了後、CPU61は、処理を終了する。他方、業務を継続する場合(ステップS24:No)、CPU61は、ステップS21へ処理を戻して処理を継続させる。

次に、上記図7および図8の具体的な処理の一例について説明する。

例えば、客が、図4に示すパック商品PA{即ち、商品Aとしての3個のりんご(ふじ)が丸マークが付加されたオレンジ色のトレイATに入れられ、ラップLで収容された商品}を一つのみ入れた買物カゴ153をカウンタ台151に持ってきて会計する場合であって、上記パック商品PAに含まれる商品Aの品種を特定できた場合(即ち、一つの品種に絞り込めた場合)の処理について説明する。

この場合、まず、オペレータ(キャッシャ)が、キーボード22などを用いて、POS端末11による商品登録の開始指示を行い、続いて、買物カゴ153から上記パック商品PAを取り上げて読取窓103に向け、パック商品PAを撮像部164に撮像させる。即ち、このとき、商品読取装置101では、ステップS1において、撮像画像取込部161cが、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始し、ステップS2において、撮像画像取込部161cが、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)、即ち、パック商品PAの撮像画像を取り込む。

続いて、ステップS3において、品種認識部161dが、取り込んだ撮像画像からパック商品PAに含まれる商品Aの品種として「りんご(ふじ)」を認識する。その後、ステップS7において、特徴認識部161eが、取り込んだ撮像画像から商品Aに付加される所定の付加物ATの色として「オレンジ色」を認識し、付加マークMの形状として「丸」を認識する。

その後、ステップS8において、所定情報特定部161fが、ステップS3で認識した商品Aの品種「りんご(ふじ)」と、ステップS7で認識した付加物ATの特徴「オレンジ色」および付加マークMの特徴「丸」をもとに、情報特定テーブルT1を参照し、該当する所定情報として「青森県産、サイズS、3個」を特定する。

続いて、ステップS9において、情報送信部161gが、ステップS3で認識した商品Aの品種「りんご(ふじ)」を示す品種情報と、ステップS8で特定された所定情報、即ち、「青森県産、サイズS、3個」を示す情報とをPOS端末11に送信する。

一方、POS端末11では、ステップS21において、情報受信部61aが、商品読取装置101から上記品種情報(即ち、商品Aの品種「りんご(ふじ)」を示す情報)および上記所定情報(即ち、「青森県産、サイズS、3個」を示す情報)を含む情報を受信すると、続いて、ステップS22において、単価取得部61bが、上記受信した情報、即ち、商品Aの品種「りんご(ふじ)」を示す情報および「青森県産、サイズS」を示す所定情報をもとに、PLUファイルF1を参照し、上記品種情報で特定される商品Aの単価を示す単価情報「150円」を含む登録情報を取得する。

その後、ステップS23において、売上登録部61dが、ステップS22で取得した登録情報に基づいて商品の売上情報を登録し、その後、ステップS24において、業務終了と判定された場合(ステップS24:Yes)、続く、ステップS25において、会計処理部61eが、一取引にかかる商品の会計処理を実行する。即ち、この場合、会計処理部61eは、ステップS22で取得した単価情報「150円」と、ステップS21で受信した情報に含まれる個数情報「3個」とから、パック商品PAの価格を算出して会計処理(釣銭算出処理やレシート発行処理など)を実行する。

次に、その他の具体的な処理の一例について説明する。

例えば、客が、中国産の松茸が四角マークが付加されたブルー色のトレイATに入れられ、ラップLで収容されたパック商品PAを一つのみ入れた買物カゴ153をカウンタ台151に持ってきて会計する場合であって、上記パック商品PAに含まれる商品Aの品種を特定できた場合(即ち、一つの品種に絞り込めた場合)の処理について説明する。

この場合、ステップS3において、品種認識部161dが、取り込んだ撮像画像からパック商品PAに含まれる商品Aの品種として「松茸」を認識する。その後、ステップS7において、特徴認識部161eが、取り込んだ撮像画像から商品Aに付加される所定の付加物ATの色として「ブルー色」を認識し、付加マークMの形状として「四角」を認識する。

その後、ステップS8において、所定情報特定部161fが、ステップS3で認識した商品Aの品種「松茸」と、ステップS7で認識した付加物ATの特徴「ブルー色」および付加マークMの特徴「四角」をもとに、情報特定テーブルT1を参照し、該当する所定情報として「中国産、重量300g」を特定する。

続いて、ステップS9において、情報送信部161gが、ステップS3で認識した商品Aの品種「松茸」を示す品種情報と、ステップS8で特定された所定情報、即ち、「中国産、重量300g」を示す情報とをPOS端末11に送信する。

一方、POS端末11では、ステップS21において、情報受信部61aが、商品読取装置101から上記品種情報(即ち、商品Aの品種「松茸」を示す情報)および上記所定情報(即ち、「中国産、重量300g」を示す情報)を含む情報を受信すると、続いて、ステップS22において、単価取得部61bが、上記受信した情報、即ち、商品Aの品種「松茸」を示す情報および「中国産、重量300g」を示す所定情報をもとに、PLUファイルF1を参照し、上記品種情報で特定される商品Aの単価を示す単価情報「1,000円」を含む登録情報を取得する。

その後、ステップS23において、売上登録部61dが、ステップS22で取得した登録情報に基づいて商品の売上情報を登録し、その後、ステップS24において、業務終了と判定された場合(ステップS24:Yes)、続く、ステップS25において、会計処理部61eが、一取引にかかる商品の会計処理を実行する。即ち、この場合、会計処理部61eは、ステップS22で取得した単価情報「1,000円」から、パック商品PAの価格を「1,000円」として会計処理(釣銭算出処理やレシート発行処理など)を実行する。

以上説明した実施形態によれば、撮像部(撮像装置)164が撮像した商品の画像(撮像画像)から商品の産地、サイズ、個数などの所定情報を特定することが可能となる。また、本実施形態によれば、特定した商品の産地、サイズ、個数などの所定情報に基づいて、商品の価格を求めることが可能となる。

即ち、本実施形態によれば、POS端末11が商品の産地、サイズ、個数などの所定情報を自動的に特定し、商品の価格を自動的に求める構成となっているため、オペレータ(キャッシャ)が目視により商品の産地、サイズ、個数などを認識し、該認識結果と所定の価格表とに基づいてPOS端末11に商品の価格を手入力するというオペレータにとって煩わしい操作を省略させることが可能である。

また、本実施形態によれば、産地や、サイズなどを認識し難い商品の産地や、サイズをPOS端末11が自動的に認識するように構成したため、会計時におけるオペレータの作業を軽減することが可能である。

以上、例示的な実施形態に基づいて説明したが、本発明は、上記した実施形態により限定されるものではない。

例えば、上記した実施形態では、商品Aに付加される所定の付加物ATとして、商品Aを載置する部材としてのパック商品PAの「トレイ」の場合について説明したが、これに限定されず、付加物ATとして、商品Aに貼付される部材としての「シール」や、商品Aを収容する部材としての「ネット」などのその他の付加物を適用することも可能である。

また、上記した実施形態では、所定の付加物ATとして付加マークMが付加されている付加物ATを用い、付加物ATおよび付加マークMの特徴(色、形状など)を認識する形態について説明したが、付加マークMが付加されていない付加物ATを用い、付加物ATの特徴(色、形状など)のみを認識するような形態とすることも可能である。

また、上記した実施形態では、付加物ATに付加される付加物として付加マークMの場合について説明したが、これに限定されず、タグや紐などのその他の付加物を利用することも可能である。

また、上記した実施形態では、付加物ATおよび付加マークMの特徴として、付加物ATの「色」や付加マークMの「形状」を認識する形態について説明したが、これに限定されず、付加物ATの形状{例えば、付加物ATがシールである場合におけるシールの形状(丸、三角、四角など)など}や付加マークMの色を認識する形態とすることも可能である。

また、上記した実施形態では、値引き情報特定部161hが商品PAに付加される値引きラベルALから値引き情報を特定する形態について説明したが、これに限定されず、例えば、付加物ATの特徴(色)や付加マークMの特徴(形状)に対応付けて情報特定テーブルT1(図5参照)が記憶する所定情報の中に値引き情報(例えば、50円引き)を含ませておき、所定情報特定部161fが、特徴認識部161eが認識した付加物ATおよび付加マークMの特徴から、値引き情報を含む所定情報を特定するような形態とすることも可能である。

また、上記した実施形態では、商品読取装置101において商品Aの産地、サイズおよび個数の少なくとも一つを示す所定情報を特定する処理(処理A)を行い、POS端末11において商品読取装置101から受信した情報に基づいて商品Aまたは複数の商品Aを一つに纏めた商品(パック商品PA)の価格を求める処理(処理B)を行う形態について説明したが、これに限定されるものではない。即ち、上記処理Aおよび処理Bの両方を、商品読取装置101またはPOS端末11のいずれか一方で行わせても良い。

また、上記した実施形態では、図5に示す情報特定テーブルT1および図6に示すPLUファイルF1を利用して、商品Aの産地や、サイズや、個数や、重量や、等級や、階級などの所定情報を特定するとともに、商品Aまたは複数の商品Aを一つに纏めた商品(パック商品PA)の価格を求める形態について説明したが、これに限定されず、図5および図6に示すテーブル、ファイルとは異なる構成のテーブル、ファイルを利用することも可能である。

例えば、情報特定テーブルT1として、商品Aの品種と付加物ATの特徴とに対応付けて商品コードを登録するテーブルを採用し、他方、PLUファイルF1として、商品コードに対応付けてパック商品やネット商品の商品名(例えば、「りんご(ふじ) 青森県産 サイズS 3個入り」や、「りんご(ふじ) 長野県産 サイズS 3個入り」など)と、価格(例えば、450円や、360円など)とを登録するファイルを採用し、商品読取装置101が商品コードを特定し、その特定した商品コードをPOS端末11に送信し、POS端末11が受信した商品コードに対応付けられた商品Aの価格を求めるような形態とすることも可能である。

また、上記した実施形態では、所定情報特定部161fが特定する所定情報として、商品Aの産地、サイズ、個数、重量、等級、階級などの情報である場合について説明したが、これに限定されず、その他の情報であっても良いものとする。

また、上記した実施形態では、店員(キャッシャ)が使用するPOS端末11および商品読取装置101から構成されるチェックアウトシステムに適用した場合について説明したが、これに限定されず、従来から一般的に知られているセルフチェックアウトシステムにも適用することが可能である。

また、上記した実施形態では、本実施形態に係る情報処理装置およびプログラムをPOS端末11および商品読取装置101に適用した場合について説明したが、これに限定されず、その他の情報処理装置に適用することも可能である。

また、上記した実施形態のPOS端末11および商品読取装置101で実行されるプログラムは、ROMなどの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供または配布したりすることも可能である。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

1 チェックアウトシステム
11 POS端末(情報処理装置)
101 商品読取装置(情報処理装置)
61、161 CPU
161a 表示処理部
161b 操作入力部
161c 撮像画像取込部
161d 品種認識部(品種認識手段)
161e 特徴認識部(付加物認識手段)
161f 所定情報特定部(特定手段、記憶手段)
161g 情報送信部
161h 値引き情報特定部(値引き情報特定手段)
61a 情報受信部
61b 単価取得部
61c 商品価格算出部(取得手段)
61d 売上登録部
61e 会計処理部
A 商品
AT 付加物
M 付加マーク
T1 情報特定テーブル
F1 PLUファイル

特開2005−92565号公報

Claims (6)

  1. 商品の品種と当該商品に付加される所定の付加物の特徴とに対応付けて、当該商品の産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を登録したテーブルを記憶する記憶手段と、
    商品を撮像した撮像画像から撮像対象の商品の品種を認識する品種認識手段と、
    前記撮影画像から前記撮像対象の商品に付加され付加物の特徴を認識する特徴認識手段と、
    前記テーブルを参照し、前記商品認識手段が認識した商品の品種および前記特徴認識手段が認識した付加物の特徴に対応する所定情報を特定する特定手段と、
    を有する情報処理装置。
  2. 前記特定手段が特定した所定情報から前記撮像対象の商品の価格を取得する取得手段、
    を更に有する、請求項1に記載の情報処理装置。
  3. 前記付加物の特徴から値引き情報を特定する値引き情報特定手段と、
    前記取得手段で取得した価格と前記値引き情報特定手段で特定した値引き情報とから前記商品の販売価格を算出する商品価格算出手段と、
    を更に有する、請求項2に記載の情報処理装置。
  4. 前記取得手段は、前記特定手段が特定した商品の重量を示す所定情報から当該商品の価格を取得する、請求項2に記載の情報処理装置。
  5. 前記付加物は、商品を載置する部材、商品に貼付される部材、或いは、商品を収容する部材として構成され、
    前記特徴認識手段は、前記部材の色や形状を識別する、請求項1〜4のいずれか一項に記載の情報処理装置。
  6. コンピュータを、
    商品を撮像した撮像画像から撮像対象の商品の品種を認識する品種認識手段と、
    前記撮影画像から前記撮像対象の商品に付加され付加物の特徴を認識する特徴認識手段と、
    商品の品種と当該商品に付加される所定の付加物の特徴とに対応付けて当該商品の産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を登録したテーブルを参照し、前記商品認識手段が認識した商品の品種および前記特徴認識手段が認識した付加物の特徴に対応する所定情報を特定する特定手段と、
    して機能させるプログラム。
JP2012037634A 2011-09-06 2012-02-23 情報処理装置およびプログラム Active JP5554796B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011193732 2011-09-06
JP2011193732 2011-09-06
JP2012037634A JP5554796B2 (ja) 2011-09-06 2012-02-23 情報処理装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012037634A JP5554796B2 (ja) 2011-09-06 2012-02-23 情報処理装置およびプログラム
US13/604,789 US20130058541A1 (en) 2011-09-06 2012-09-06 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2013069259A JP2013069259A (ja) 2013-04-18
JP5554796B2 true JP5554796B2 (ja) 2014-07-23

Family

ID=47753212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012037634A Active JP5554796B2 (ja) 2011-09-06 2012-02-23 情報処理装置およびプログラム

Country Status (2)

Country Link
US (1) US20130058541A1 (ja)
JP (1) JP5554796B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5928526B2 (ja) * 2013-12-16 2016-06-01 株式会社寺岡精工 商品販売データ処理装置
JP5962641B2 (ja) * 2013-12-19 2016-08-03 株式会社寺岡精工 商品販売データ処理装置
JP2015194791A (ja) * 2014-03-31 2015-11-05 日本電気株式会社 Pos端末装置
DE102014009686A1 (de) * 2014-07-02 2016-01-07 Csb-System Ag Verfahren zur Erfassung schlachttierbezogener Daten an einem Schlachttier
JP6394340B2 (ja) * 2014-12-09 2018-09-26 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム
JP6263483B2 (ja) * 2015-01-26 2018-01-17 東芝テック株式会社 物品認識装置、販売データ処理装置および制御プログラム
JPWO2017126254A1 (ja) * 2016-01-21 2018-11-15 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6679344B2 (ja) * 2016-02-29 2020-04-15 東芝テック株式会社 計量システム
JP6736334B2 (ja) * 2016-04-07 2020-08-05 東芝テック株式会社 画像処理装置
JP6709862B6 (ja) * 2017-07-24 2020-07-22 ▲図▼▲霊▼通▲諾▼(北京)科技有限公司Yi Tunnel (Beijing) Technology Co.,Ltd. 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06180785A (ja) * 1992-12-11 1994-06-28 Casio Comput Co Ltd 売上データ処理装置
US6687677B1 (en) * 1999-11-22 2004-02-03 International Business Machines Corporation System and method for deploying a procurement and accounts payable system
JP2002083200A (ja) * 2000-09-06 2002-03-22 Seiko Epson Corp 特典情報発行システム、広告情報発行システム、ディジタルコンテンツ配信システム及び記憶媒体
JP2002245235A (ja) * 2001-02-20 2002-08-30 Hitachi Ltd 家庭電気機器、加入者登録方法、受注方法及びデータ処理システム
WO2003027926A1 (fr) * 2001-09-20 2003-04-03 Mcdonald's Company(Japan),Ltd Systeme de prediction du nombre de biens vendus
US20040032973A1 (en) * 2002-08-13 2004-02-19 Eastman Kodak Company Method for using remote imaging to predict quality parameters for agricultural commodities
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
JP2004310670A (ja) * 2003-04-10 2004-11-04 Toshiba Corp 情報処理装置及び情報処理方法
JP4422706B2 (ja) * 2006-07-28 2010-02-24 東芝テック株式会社 データコード読取装置
JP5213025B2 (ja) * 2008-02-14 2013-06-19 国立大学法人 東京大学 ナノカーボン物質分散液とその製造方法、ナノカーボン物質構成体
US8109439B2 (en) * 2008-04-08 2012-02-07 Toshiba Tec Kabushiki Kaisha Commodity registration processing apparatus
JP5811849B2 (ja) * 2009-12-24 2015-11-11 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム

Also Published As

Publication number Publication date
US20130058541A1 (en) 2013-03-07
JP2013069259A (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
US20160189128A1 (en) Store system and sales registration method
US9245424B2 (en) Store system and sales registration method
US9036870B2 (en) Commodity recognition apparatus and commodity recognition method
CN103366474B (zh) 信息处理装置及信息处理方法
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
US20120047039A1 (en) Store system and sales registration method
CN102431692B (zh) 标签发放装置及标签发放方法
CN102842190B (zh) 结账装置及商品销售数据处理方法
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
US9042660B2 (en) Information processing apparatus and information processing method
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
CN103208154A (zh) 信息处理装置、店铺系统及信息处理方法
JP5297506B2 (ja) コード読取装置およびプログラム
US8927882B2 (en) Commodity search device that identifies a commodity based on the average unit weight of a number of commodities resting on a scale falling within a predetermined weight deviation of a referece unit weight stored in a database
JP5349554B2 (ja) 情報処理装置及びプログラム
US9292748B2 (en) Information processing apparatus and information processing method
JP2005115504A (ja) 画像検索システムおよび画像データベース
US20130141585A1 (en) Checkout system and method for operating checkout system
US20120047040A1 (en) Store system and sales registration method
JP5228010B2 (ja) 商品情報処理装置及びプログラム
JP2004206357A (ja) 販売商品データの出力装置及び販売商品データの出力方法
US20130057692A1 (en) Store system and method
CN102456123B (zh) 商品信息读取装置
JP5406235B2 (ja) 商品データ処理装置及びプログラム
JP4538056B2 (ja) データコード読取装置及び商品登録システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20131106

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20131112

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140529

R150 Certificate of patent (=grant) or registration of utility model

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5554796