JP6503670B2 - 商品登録装置、商品登録方法、および商品登録プログラム - Google Patents

商品登録装置、商品登録方法、および商品登録プログラム Download PDF

Info

Publication number
JP6503670B2
JP6503670B2 JP2014192543A JP2014192543A JP6503670B2 JP 6503670 B2 JP6503670 B2 JP 6503670B2 JP 2014192543 A JP2014192543 A JP 2014192543A JP 2014192543 A JP2014192543 A JP 2014192543A JP 6503670 B2 JP6503670 B2 JP 6503670B2
Authority
JP
Japan
Prior art keywords
product
quality
discount
processing
commodity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014192543A
Other languages
English (en)
Other versions
JP2016062548A (ja
Inventor
鈴木 秀夫
秀夫 鈴木
弘 赤尾
弘 赤尾
佐藤 芳広
芳広 佐藤
荻島 清志
清志 荻島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014192543A priority Critical patent/JP6503670B2/ja
Publication of JP2016062548A publication Critical patent/JP2016062548A/ja
Application granted granted Critical
Publication of JP6503670B2 publication Critical patent/JP6503670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、商取引における商品の登録を行う商品登録装置、商品登録方法、および商品登録プログラムに関する。
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、当該物品の種別等を認識(検出)する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている(特許文献1参照)。
特許5518918号公報
しかしながら、特許文献1に記載される技術では、商品の特定はできるものの、商品の品質を特定することができなかった。商品の品質とは、使用目的を満たしているかどうかを決定するための評価の対象となる固有の性質や性能をいうが、ここでは特に、外観で判定可能なもの(例えば、キズの有無など)を想定している。低品質の商品(例えば、キズのある商品)は、商取引後の顧客の満足度に影響を与えるので、顧客が低品質の商品であることを知らずに購入するのを防止することが望ましい。
本発明は、前記問題に鑑みてなされたものであり、商取引における商品の登録を行う際に、商品の品質を確認して処理することができる商品登録装置、商品登録方法、および商品登録プログラムを提供することを課題とする。
前記課題を解決するため、本発明に係る商品登録装置は、撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置であって、前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段と、前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段と、を備え、前記品質処理手段は、前記対応処理として値引き処理を行う場合には、前記値引き処理の根拠となった撮影画像が値引きの根拠画像として掲載されたレシートを発行させる、ことを特徴とする。
また、本発明に係る商品登録方法は、撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置の商品登録方法であって、前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定ステップと、前記品質判定ステップでの判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理ステップと、を有し、前記品質処理ステップは、前記対応処理として値引き処理を行う場合には、前記値引き処理の根拠となった撮影画像が値引きの根拠画像として掲載されたレシートを発行させる、ことを特徴とする。
また、本発明に係る商品登録プログラムは、撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置におけるコンピュータを、前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段、前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段、として機能させ、前記品質処理手段は、前記対応処理として値引き処理を行う場合には、前記値引き処理の根拠となった撮影画像が値引きの根拠画像として掲載されたレシートを発行させる、ことを特徴とする。
本発明によれば、商取引における商品の登録を行う際に、商品の品質を確認して処理することができる。
本発明の第1実施形態に係る商品識別装置を用いたチェックアウトシステムの外観概略図である。 本発明の第1実施形態に係る商品識別装置およびPOS端末のハードウェア構成を示すブロック図である。 特徴量ファイルのデータ構成を例示した概略図である。 品質管理ファイルのデータ構成を例示した概略図である。 売上マスタファイルのデータ構成を例示した概略図である。 プリンタが印刷するレシートを例示した概略図である。 本発明の第1実施形態に係る商品識別装置およびPOS端末の機能を示すブロック図である。 本発明の第1実施形態に係る商品識別装置によって撮影した撮像画面を例示した図である。 本発明の第1実施形態に係る商品識別装置によって品質の判定結果を表示した判定結果画面を例示した図である。 本発明の第1実施形態に係る商品識別装置の商品登録処理の全体動作を示すフローチャートを例示した図である。 本発明の第1実施形態に係る商品識別装置の品質処理の動作を示すフローチャートを例示した図である。 POS端末の動作を示すフローチャートを例示した図である。 本発明の第2実施形態に係る商品識別装置およびPOS端末の機能を示すブロック図である。 品質管理ファイルのデータ構成を例示した概略図である。 本発明の第2実施形態に係る商品識別装置によって品質の判定結果を表示した判定結果画面を例示した図である。 本発明の第2実施形態に係る商品識別装置の商品登録処理の全体動作を示すフローチャートを例示した図である。 本発明の第2実施形態に係る商品識別装置の品質処理の動作を示すフローチャートを例示した図である。
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
[第1実施形態]
図1は、第1実施形態における商品識別装置とPOS端末の外観を示す斜視図である。
図1に示すように、チェックアウトシステム1は、各商品を登録する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。この商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。商品識別装置2とPOS端末3とは、データ通信可能に接続されている。なお、特許請求の範囲の商品登録装置は、チェックアウトシステム1を構成する商品識別装置2またはPOS端末3の単体の各装置やチェックアウトシステム1の全体を含む概念である。
商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の矩形状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ27(図2参照)が配置されている。ハウジング51の上部には、表示・操作部22が取り付けられている。表示・操作部22には、ディスプレイ221が設けられている。このディスプレイ221の表面には、タッチパネル222(図2参照)が積層されている。ディスプレイ221の右隣には、キーボード23が配置されている。キーボード23の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部22の左奥側には、顧客に情報を提供するための顧客用ディスプレイ24が裏向きに設置されている。
POS端末3は、チェックアウト台6上のドロワ37の上面に載置されている。このドロワ37は、POS端末3によって開放動作の制御を受ける。POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図2参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向(水平方向)に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図の手前側に向いている。この顧客用ディスプレイ34は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
POS端末3が載置されているチェックアウト台6とL字を形成するようにして、横長テーブル状のカウンタ台5が配置されている。カウンタ台5の上面には、荷受け面が形成されている。荷受け面には、商品を収納する第1の買物カゴ4Rと、第2の買物カゴ4Lとが載置される。以下、第1の買物カゴ4Rと、第2の買物カゴ4Lとを特に区別しないときには、単に買物カゴ4と記載する場合がある。これら買物カゴ4は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ4は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
第1の買物カゴ4Rは、例えば、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Lは、第1の買物カゴ4Rから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4R内の商品は、商品識別装置2を操作するオペレータにより第2の買物カゴ4Lに移動される。この移動過程で、商品が商品識別装置2の読取窓52に向けられる。この際、読取窓52内に配置されたカメラ27(図2参照)は商品を撮像する。
商品識別装置2では、カメラ27により撮像された画像に含まれる商品が、後記ずる特徴量ファイル361(図2参照)に登録されたどの商品に対応するかを指定させるための画面を表示・操作部22に表示する。商品識別装置2は更に、指定された商品の商品IDをPOS端末3に通知する。POS端末3は、商品識別装置2から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル363(図2参照)などに記録して、売上登録を行う。そして、プリンタ38は、売上登録された取引内容をレシートに印字する。
図2は、第1実施形態における商品識別装置とPOS端末の概略を示す構成図である。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、カメラ27と、スピーカ28と、電源29とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶される。CPU211には、表示・操作部22と、インタフェース25と、カメラ27、スピーカ28とが、内部バスや各入出力回路(不図示)を介して接続される。
表示・操作部22は、ディスプレイ221と、タッチパネル222と、キーボード23と、顧客用ディスプレイ24とを含んで構成され、CPU211によって動作が制御される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。
カメラ27は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等であり、CPU211の制御の下で、読取窓52(図1参照)からの撮像を行う撮像手段である。カメラ27は、例えば30[fps]の動画像の撮像を行う。カメラ27が所定のフレームレートで順次撮像したフレーム画像(撮像画像)は、RAM213に保存される。
スピーカ28は、予め設定された警告音などを発生する。スピーカ28は、CPU211の制御の下で警告音や音声による報知を行う。
POS端末3は、マイクロコンピュータ31と、ディスプレイ321と、タッチパネル322と、キーボード33と、顧客用ディスプレイ34と、インタフェース35と、HDD36と、ドロワ37と、プリンタ38と、電源39とを含んで構成される。
マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)と、ドロワ37とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。
ディスプレイ321は、CPU311の指示により、オペレータに対する情報を表示する。タッチパネル322は、ディスプレイ321により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ34は、CPU311の指示により、顧客に対する情報を表示する。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。
インタフェース35は、商品識別装置2に接続され、商品識別装置2との間でデータ送受信を可能とする。
HDD36には、プログラムや各種ファイルが記憶されている。HDD36に記憶されているプログラムや各種ファイルは、POS端末3の起動時に、その全部または一部がRAM313にコピーされてCPU311により実行される。HDD36には、特徴量ファイル361と、品質管理ファイル362と、売上マスタファイル363とが記憶されるが、商品販売データ処理用のプログラムが記憶されてもよい。なお、特徴量ファイル361および品質管理ファイル362は、予め作成されており、売上マスタファイル363は、商取引が行われた時点で更新される。
図3は、特徴量ファイル361のデータ構成を例示する概念図である。図3に示すように、特徴量ファイル361は、商品ごとに、ユニークに割り当てられた商品ID、商品が属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)とを格納するファイルである。商品画像は、商品の類似度の判定に用いられる商品の撮像画像(写真)である。特徴量ファイル361は、インタフェース35を介して、商品識別装置2が読み出し可能に構成されている。
図4は、品質管理ファイル362のデータ構成を例示する概念図である。図4に示すように、品質管理ファイル362は、商品ごとに、商品ID、商品名等の商品を識別する情報と、商品の品質の判定を行う項目を示す品質確認情報とを格納するファイルである。商品の品質とは、使用目的を満たしているかどうかを決定するための評価の対象となる固有の性質や性能をいうが、ここでは特に、外観で判定可能なものを想定している。その為、品質確認情報としては、例えば、キズの有無、変色の有無、変形の有無などが該当する。品質管理ファイル362には、品質にばらつきが多い商品や、時間の経過に伴い品質が低下する商品、例えば、生鮮食品を登録しておくとよい。品質管理ファイル362は、インタフェース35を介して、商品識別装置2が読み出し可能になっている。
図5は、売上マスタファイル363のデータ構成を例示する概念図である。図5に示すように、売上マスタファイル363は、取引番号(取引No.)、取引区分、レジ番号(レジNo.)、取引日時、責任者番号(責任者No.)、責任者名、商品販売データ、値引きデータ、小計金額、外税対象額、外税額、合計金額、内税額、合計点数の各項目データを含む。
取引番号(取引No.)は、そのPOS端末3で商取引を処理する毎に発番される固有の番号である。取引区分は、当該商取引が売上登録によるものなのか返品登録によるものなのかを区分する。レジ番号(レジNo.)は、当該POS端末3に対して予め付与された固有の番号である。取引日時は、当該商取引が実施された日付及び時刻である。責任者番号(責任者No.)及び責任者名は、当該商取引を処理したキャッシャ固有のID番号とその氏名である。
商品販売データは、商品ごとの商取引の内容であり、例えば、商品ID、商品名、単価、点数、金額、証拠画像等で構成される。商品IDは商品を識別する情報であり、商品名は商品の名称である。単価は商品一つあたりの価格であり、点数は購入した商品の数であり、金額は単価に点数を掛けたものである。証拠画像は、商品識別装置2のカメラ27(図2参照)で品質管理対象の商品(品質管理ファイル362に登録された商品)を撮影した画像である。
値引きデータは、商取引において低品質の商品を値引き処理した場合に作成されるものであり、例えば、商品ID、値引き理由、値引き情報等で構成される。値引き理由は、値引きを行う理由であって、例えば、商品にキズがある場合や、商品が変形・変色している場合である。値引き情報は、例えば、値引き額(例えば、30円引き)や値引き率(例えば、10%引き)である。
小計金額は、当該商取引で売上処理または返品処理された商品の合計額である。外税対象額は、当該商取引で売上処理または返品処理された外税対象商品の合計額である。外税額は、前記外税対象額に対して賦課される外税の金額である。合計金額は、当該商取引で売上処理または返品処理された商品の合計額に前記外税額を加算した金額である。内税額は、前記合計金額に含まれる内税の金額である。合計点数は、当該商取引で売上処理または返品処理された商品の点数である。
図2に示すプリンタ38は、CPU311の制御のもとで、各取引の取引内容をレシートに印字する。その場合に、プリンタ38は、レシートに値引き情報についても印字する。また、プリンタ38は、値引き理由(「キズあり」等)や値引き理由のマーク(アイコン)を印刷してもよい。さらに、値引きを行う商品を撮影した証拠画像をレシートに印刷してもよい。プリンタ38が印刷するレシートを例示した概略図を図6に示す。図6では、商品名「もも」の左側に「値引」が印字されており、「もも」が値引商品であることを明示している。また、商品名「もも」の下側に「キズ 10%割」が印字されており、「もも」にキズがあるので10%(20円)の値引きが行われたことを明示している。なお、レシートの下部には証拠画像が印刷されているので、顧客は、商品を購入した時点での商品の状態を後ほど確認することができる。また、レシートの上部には、取引Noが印字されており、オペレータは、この取引Noを用いて売上マスタファイルとレシートの情報との照合を行うことが可能である。これにより、商品を購入した後で顧客による品質のクレームがあった場合に、レシートに印字された取引Noをキーにして売上マスタファイルの証拠画像を参照することで、購入時点での商品の詳細な状態を確認できると共に、品質に基づいた値引きを行っていることを顧客に対して説明することができる。
図7は、第1実施形態における商品識別装置とPOS端末の概略を示す機能ブロック図である。
商品識別装置2は、ROM212(図2参照)に格納されるプログラムをCPU211(図2参照)で実行することにより、画像取得部61と、物体検出部62、類似度演算部63、類似度判断部64、品質判定部65、品質処理部66、品質報知部67、情報出力部68の各部を具現化する。また、同様に、POS端末3は、HDD36(図2参照)に格納されるプログラムをCPU311(図2参照)で実行することにより、売上登録部71を具現化する。
画像取得部61は、カメラ27に撮像オン信号を出力してカメラ27(図2参照)に撮像動作を開始させる。更に画像取得部61は、カメラ27が撮像してRAM213に保存されたフレーム画像を順次取り込む。画像取得部61によるフレーム画像の取り込みは、RAM213に保存された順に行われる。画像取得部61によって取り込まれたフレーム画像の一例を図8に示す。図8では、桃を撮影した様子を示している。
物体検出部62は、画像取得部61によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部61は、カメラ27によって、この商品の画像を撮影する。物体検出部62は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓52に向けると、画像取得部61は、カメラ27によって、この商品および手の画像を撮影する。物体検出部62は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部62は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部62は、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
類似度演算部63は、カメラ27が撮像した商品の画像から、この商品の表面の凹凸状況、色合い、輪郭や大きさ等の商品の状態を特徴量として読み取る。なお、類似度演算部63は、処理時間の短縮を図るため、これらの特徴量の一部のみを読み取り、例えば、商品の輪郭や大きさを考慮しないものとしてもよい。
類似度演算部63は更に、特徴量ファイル361に登録された各商品(以下、登録商品という)の商品画像から、当該登録商品の表面の凹凸状況、色合い、形状(輪郭や大きさ)等の商品の状態を特徴量として読み取り、商品の特徴量とそれぞれ比較することで、商品と特徴量ファイル361に登録された商品との類似度を算出する。ここで類似度とは、特徴量ファイル361に記憶されている各商品が想定する商品画像を100%の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部63は、例えば、特徴量の種類ごとに重み付けをして類似度を算出してもよい。
このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。柳井 啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井 啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日, Vol.48,No.SIG16、1-24頁,[平成26年9月8日検索],インターネット
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on,[平成26年9月8日検索],インターネット
なお、撮像された商品の画像と、特徴量ファイル361に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル361に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル361に登録された各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各登録商品との類似度の総和が1.0(100%)となるよう算出する。特徴量ファイル361に4つの商品(商品ID「XXXX0001〜XXXX0004」)が登録されていたとすると、撮像された商品は、例えば、商品ID「XXXX0001」の商品に対して類似度が0.65、商品ID「XXXX0002」の商品に対しては類似度が0.2、商品ID「XXXX0003」の商品に対しては類似度が0.1、商品ID「XXXX0004」の商品に対しては類似度が0.05などのように算出する。
類似度判断部64は、画像取得部61が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル361に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品の画像との類似度について複数の条件が段階的に設けられており、類似度判断部64は、満たされる条件に応じて登録商品の確定または商品の候補の選定を行う。
類似度判断部64は、例えば、登録商品との類似度が予め定められた第1閾値(例えば75%)以上となった回数をカウントし、この回数が所定回数以上となった場合に登録商品であると確定する。そして、類似度判断部64は、確定した登録商品を表す情報(撮影した画像、イラストや商品名等)をディスプレイ221(図2参照)および顧客用ディスプレイ24(図2参照)に表示する。なお、特定の類似度の回数が所定回数以上となった場合(例えば、類似度が90%〜75%)に、オペレータによる確認操作を行うようにしてもよい。
また、類似度判断部64は、登録商品との類似度が第1閾値(例えば75%)未満、かつ、第1閾値より小さい第2閾値(例えば10%)以上となった回数をカウントし、この回数が所定回数以上となった場合に商品候補であると判定し、商品候補を表す情報を(撮影した画像、イラストや商品名等)をディスプレイ221に表示する。また、類似度判断部64は、表示した商品候補の中からのオペレータによる選択操作により、登録商品を確定する。そして、類似度判断部64は、確定した登録商品を表す情報(撮影した画像、イラストや商品名等)をディスプレイ221および顧客用ディスプレイ24に表示する。
品質判定部65は、期待される品質を備える商品(正規品)に比べて実際に商取引を行う商品の品質の度合いを判定するものである。商品の品質とは、使用目的を満たしているかどうかを決定するための評価の対象となる固有の性質や性能をいうが、ここでは特に、外観で判定可能なもの(例えば、キズの有無、変色・変形の有無など)を想定している。顧客が低品質の商品(例えば、キズのある商品や変色・変形している商品)とは知らずに商取引を行った場合には、商取引後の顧客の満足度を低下させてしまう。
品質判定部65は、品質管理ファイル362に登録される品質確認情報に関連する種類の特徴量を、特徴量ファイル361に登録された登録商品の商品画像および撮像された商品のフレーム画像から読み取って比較することで、特定の種類の特徴量に基づく類似度を判定する。品質判定部65は、特徴量の種類ごとに重み付けをして類似度を算出してもよい。そして、品質判定部65は、算出した類似度が離れる程(類似度が低い程)に品質が低いと判定し、品質が一定以下のもの(低品質の商品)を特定する。ここで、比較対象のフレーム画像は、任意のものでよいが、類似度判断部64の処理で登録商品の商品画像との類似度が最も高いと判定されたものを用いるのがよい。なお、類似度演算部63で読み取った特徴量を用いてもよいし、新たに登録商品の商品画像およびフレーム画像から特徴量を読み取ってもよい。なお、品質判定部65は、品質を判定したフレーム画像(品質管理ファイル362に登録された商品のフレーム画像)を証拠画像として商品IDに関連付けて保存しておく。
品質管理ファイル362(図4参照)の品質確認情報として「キズの有無」が登録されている商品の場合を説明する。品質判定部65は、「キズの有無」に関連する特徴量として、特徴量ファイル361に登録された登録商品の商品画像、および、撮像された商品のフレーム画像から商品の表面の凹凸状況や商品の色合いなどの特徴量を読み取る。そして、登録商品の商品画像から読み取った特徴量とフレーム画像から読み取った特徴量とを比較して、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を判定する。
品質管理ファイル362(図4参照)の品質確認情報として「変色の有無」が登録されている商品の場合を説明する。品質判定部65は、「変色の有無」に関連する特徴量として、特徴量ファイル361に登録された登録商品の商品画像、および、撮像された商品のフレーム画像からも商品の表面の凹凸状況や商品の色合いなどの特徴量を読み取る。そして、登録商品の商品画像から読み取った特徴量とフレーム画像から読み取った特徴量とを比較して、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を判定する。
品質管理ファイル362(図4参照)の品質確認情報として「変形の有無」が登録されている商品の場合を説明する。品質判定部65は、「変形の有無」に関連する特徴量として、特徴量ファイル361に登録された登録商品の商品画像、および、撮像された商品のフレーム画像からも商品の形状(輪郭や大きさ)などの特徴量を読み取る。そして、登録商品の商品画像から読み取った特徴量とフレーム画像から読み取った特徴量とを比較して、商品の形状(輪郭や大きさ)などに基づく類似度を判定する。
品質処理部66は、商品の品質に基づいて、顧客満足度を高める処理を実行するものである。品質処理部66は、例えば、品質判定部65によって期待される品質を備える商品(正規品)に比べて高品質または低品質であると特定された商品について、正規品とは異なる処理を実行する。ここでは、低品質の商品の値段を正規品に比べて安くする(値引きする)ことを想定する。その為、図7では、品質処理部66は、値引き処理部661として構成されている。
値引き処理部661は、品質判定部65によって低品質であると特定された商品について、商品の値引きに関する値引き情報(例えば、値引き額、値引き率など)を作成するものである。値引き処理部661は、例えば、類似度が90%の場合に10%引き、類似度が80%の場合に20%引き、類似度が70%の場合に30%引きのように、類似度が離れる程(類似度が低い程)に値引き率や値引き額を大きくするように算出する。また、値引き処理部661は、値引き情報を作成した商品について、値引き理由(例えば、「キズあり」、「変色あり」、「変形あり」など)を値引き情報に関連付けて保存しておく。
品質報知部67は、品質判定部65によって低品質であると特定された商品について、その旨をオペレータや顧客に報知する。品質報知部67は、例えば、登録商品を表す情報(撮影した画像、イラストや商品名等)をディスプレイ221(図2参照)および顧客用ディスプレイ24(図2参照)に表示する際に、その画面の一部に値引き理由と共に値引き情報を表示する。品質報知部67によって表示された画面の一例を図9に示す。図9では、登録商品として桃が確定した場合に、桃のイラストの右側に値引き理由(キズあり)および値引き情報(10%引き)を表示している。
また、品質報知部67は、ディスプレイ221(図2参照)にオペレータによる「値引き」および「キャンセル」の選択を受け付ける各種ボタンを表示するようにする。値引きボタンが選択された場合には、情報出力部68は、上述のようにして確定された登録商品について、値引き理由および値引き情報をインタフェース25(図2参照)を介してPOS端末3に出力する。一方、キャンセルボタンが選択された場合には、当該商品の登録を中止して、オペレータが次の商品の登録処理を行う。
情報出力部68は、上述のようにして確定された登録商品について、その商品を示す情報(例えば、商品ID等)、タッチパネル222(図2参照)やキーボード23(図2参照)を介して別途入力された販売点数、および品質処理を行った商品の証拠画像を、インタフェース25(図2参照)を介してPOS端末3に出力する。また、情報出力部68は、値引き処理を行った商品について、値引き理由および値引き情報をインタフェース25(図2参照)を介してPOS端末3に出力する。
POS端末3の売上登録部71は、情報出力部68から出力された商品ID、販売点数、値引き理由、値引き情報、および証拠画像に基づいて、対応する商品の売上登録を行う。具体的に、売上登録部71は、特徴量ファイル361を参照して、商品販売データ(図5参照)を作成して売上マスタファイル363に登録する。また、売上登録部71は、通知された商品ID、値引き理由、値引き情報、および証拠画像を用いて、値引きデータ(図5参照)を作成して売上マスタファイル363に登録する。
次に、チェックアウトシステム1の売上登録処理について図10を参照して説明する(適宜、図2、3参照)。図10は、商品識別装置2の商品登録処理の全体動作を示すフローチャートを例示した図である。
POS端末3による商品登録の開始等に応じて処理が開始されると、画像取得部61は、カメラ27に撮像オン信号を出力してカメラ27による撮像を開始する(ステップS10)。
画像取得部61は、カメラ27が撮像してRAM213に保存されたフレーム画像(撮像画像)を取り込む(ステップS20)。続いて、物体検出部62は、画像取得部51が取り込んだ画像から商品の検出を行う(ステップS30)。具体的にいうと、オペレータが商品をカメラ27にかざすことによって、この商品がオブジェクトとして認識される。続いて、類似度演算部63は、商品の画像から商品の特徴量を読み取り、特徴量ファイル361に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する(ステップS40)。
類似度判断部64は、例えば、ステップS40で算出した類似度に応じて商品候補を表す情報をディスプレイ221に表示し、オペレータによる選択操作により登録商品を確定する(ステップS50)。続いて、確定した商品が低品質である場合に、品質処理が実行される(ステップS60)。この処理については、図11を参照して後述する。続いて、類似度判断部64は、確定した登録商品を表す情報(確定画面)をディスプレイ221および顧客用ディスプレイ24に表示する(ステップS70)。また、ステップS60で品質処理が行われた場合、品質報知部67は、ディスプレイ221および顧客用ディスプレイ24に商取引を行った商品が低品質である旨(値引き理由)および値引き情報等を表示する(図9参照)。オペレータは、この画面を見て、値引きと購入キャンセルのどちらを希望するか顧客に確認し、顧客が希望した処理のボタンを選択する。
続いて、商品識別装置2のCPU211は、ステップS60で品質処理が実行されているか否かを判定する(ステップS73)。品質処理が実行された場合(ステップS73で“Yes”)、CPU211はステップS75に処理を進め、また、品質処理が実行されていない場合(ステップS73で“No”)、CPU211はステップS78に処理を進める。
ステップS73で“Yes”と判定された場合、商品識別装置2のCPU211は、オペレータにより「値引き」と「購入キャンセル」の何れの処理が選択されたのかを判定する(ステップS75)。「購入キャンセル」が選択された場合(ステップS75で“キャンセル”)、CPU211は、ステップS20へ処理を戻して次の処理を継続させる。具体的にいうと、オペレータは、次の商品の画像データの取り込みを行う(ステップS20)。一方、「値引き」が選択された場合(ステップS75で“値引き”)、CPU211は、ステップS80へ処理を進める。
ステップS73で“No”と判定された場合、情報出力部68は、確定された登録商品について、その商品を示す情報(例えば、商品ID等)、販売個数、証拠画像等をPOS端末3に出力する(ステップS78)。一方、ステップS75で“値引き”と判定された場合、情報出力部68は、確定された登録商品について、その商品を示す情報(例えば、商品ID等)、販売個数、証拠画像、値引き情報等をPOS端末3に出力する(ステップS80)。POS端末3の処理については、図12を参照して後述する。
続いて、CPU211は、オペレータの指示によりPOS端末3から商品登録の終了通知等による業務終了の有無を判定する(ステップS90)。業務を継続する場合(ステップS90で“No”)、CPU211は、ステップS20へ処理を戻して次の処理を継続させる。オペレータの指示により業務を終了する場合(ステップS90で“Yes”)、画像取得部61は、カメラ27に撮像オフ信号を出力してカメラ27による撮像を終了する(ステップS100)。
このように処理することで、低品質の商品を特定した場合に、顧客にその旨を報知することができる。その為、顧客満足度が低下する虞がない。
次に、ステップS60の品質処理について図11を参照して説明する(適宜、図2、3参照)。図11は、商品識別装置2の品質処理の動作を示すフローチャートを例示した図である。
品質判定部65は、ステップS50で確定した商品が品質処理の対象商品であるか否か、ここでは、ステップS50で確定した商品が品質管理ファイル362に登録されているか否かを判定する(ステップS61)。品質処理の対象でない場合(ステップS61で“No”)、品質判定部65は、ステップS70へ処理を進めて次の処理を継続させる。
品質処理の対象である場合(ステップS61で“Yes”)、品質判定部65は、キズの有無による値引きの判定が必要であるか否か、ここでは、品質管理ファイル362の品質確認情報に「キズの有無」が登録されているか否かを判定する(ステップS62)。キズの有無による値引きの判定が必要でない場合(ステップS62で“No”)、品質判定部65は、ステップS64へ処理を進めて次の処理を継続させる。キズの有無による値引きの判定が必要である場合(ステップS62で“Yes”)、値引き処理部661は、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を算出し、類似度が90%の場合に10%引き、類似度が80%の場合に20%引き、類似度が70%の場合に30%引きのように、類似度から値引き情報を作成する(ステップS63)。
続いて、品質判定部65は、変色の有無による値引きの判定が必要であるか否か、ここでは、品質管理ファイル362の品質確認情報に「変色の有無」が登録されているか否かを判定する(ステップS64)。変色の有無による値引きの判定が必要でない場合(ステップS64で“No”)、品質判定部65は、ステップS66へ処理を進めて次の処理を継続させる。変色の有無による値引きの判定が必要である場合(ステップS64で“Yes”)、値引き処理部661は、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を算出し、類似度が90%の場合に10%引き、類似度が80%の場合に20%引き、類似度が70%の場合に30%引きのように、類似度から値引き情報を作成する(ステップS65)。
続いて、品質判定部65は、変形の有無による値引きの判定が必要であるか否か、ここでは、品質管理ファイル362の品質確認情報に「変形の有無」が登録されているか否かを判定する(ステップS66)。変形の有無による値引きの判定が必要でない場合(ステップS66で“No”)、品質判定部65は、ステップS60の処理を終了し、ステップS70へ処理を進めて次の処理を継続させる。変形の有無による値引きの判定が必要である場合(ステップS66で“Yes”)、値引き処理部661は、形状などに基づく類似度を算出し、類似度が90%の場合に10%引き、類似度が80%の場合に20%引き、類似度が70%の場合に30%引きのように、類似度から値引き情報を作成する(ステップS67)。
このように処理することで、低品質の商品を特定した場合に、低品質の商品の値段を正規品に比べて安くする(値引きする)ことができる。その為、顧客満足度が低下する虞がない。なお、ステップS63、ステップS65、ステップS67で重複して値引き情報が作成された場合は、例えば、値引き率や値引き額を合算してもよいし、最大値を当該商品の値引き率や値引き額としてもよい。
次に、チェックアウトシステム1の売上登録処理におけるPOS端末3側の動作について図12を参照して説明する(適宜、図2、3参照)。図12は、POS端末3の動作を示すフローチャートを例示した図である。
POS端末3の売上登録部71は、ステップS78やステップS80で情報出力部68が出力したその商品を示す情報(例えば、商品ID等)、販売個数、証拠画像、値引き理由、値引き情報等を受信する(ステップS210)。続いて、売上登録部71は、ステップS210で受信した情報を用いて商品販売データおよび値引きデータを作成し(ステップS220)、売上マスタファイル363に登録する(ステップS230)。
続いて、売上登録部71は、オペレータによるキーボード33の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS240)。業務を継続する場合(ステップS240で“No”)、売上登録部71は、ステップS210へ戻り次の商品の処理を継続させる。オペレータの指示により業務を終了する場合(ステップS240で“Yes”)、売上登録部71は、売上登録の処理を終了する。
以上のように、第1実施形態に係る商品識別装置2は、特徴量ファイル361に登録された登録商品の商品画像および撮像された商品のフレーム画像から読み取って比較することで、特定の種類の特徴量に基づく類似度を判定する。そして、類似度が離れる程(類似度が低い程)に品質が低いと判定し、品質が一定以下のもの(低品質の商品)を特定する。その為、商品識別装置2は、商取引における商品の登録を行う際に、低品質の商品を特定することができる。なお、特徴量ファイル361に予め商品固有の特徴量を情報として登録しておき、その情報を用いる類似度を判定することも可能である。
また、第1実施形態に係る商品識別装置2は、低品質の商品を特定した場合に、顧客にその旨を報知すると共に、低品質の商品の値段を正規品に比べて安くする(値引きする)。その為、顧客満足度が低下する虞がない。
また、第1実施形態に係る商品識別装置2は、売上マスタファイル363(電子ジャーナル)に値引き理由や証拠画像を残しておく。その為、月毎の締め処理や週毎の締め処理で、売上マスタファイル363を参照することで、品質管理の検証作業を行うことが可能である。
[第2実施形態]
図13は、第2の実施形態における商品識別装置とPOS端末の概略を示す機能ブロック図である。
第2実施形態では、POS端末3Aの品質管理ファイル362Aの内容が第1実施形態と異なっている。また、商品識別装置2Aの品質処理部66が、値引き処理部661に加えて取替処理部662をさらに備えていると共に、品質報知部67Aの内容が第1実施形態と異なっている。以下では、第1実施形態との違いについて説明する。
図14は、品質管理ファイル362Aのデータ構成を例示する概念図である。図14に示すように、品質管理ファイル362Aは、商品ごとに、商品ID、商品名等の商品を識別する情報と、商品の品質の判定を行う項目を示す品質確認情報と、商品が低品質であると判定された場合に商品の取り替えを促すか否かを示す取替可否情報とを格納するファイルである。取替可否情報に「可」が登録されている商品については、商品が低品質であった場合に取り替えを促すことを示す。一方、取替可否情報に「否」が登録されている商品については、商品が低品質であった場合に取り替えを促さないことを示す。
取替処理部662は、品質判定部65によって低品質であると特定された商品について、商品の取り替えが可能であるか否かを判定する。取替処理部662は、例えば、品質管理ファイル362Aの取替可否情報として「可」が登録されていた商品に対して、類似度が予め設定した閾値を超えた場合に取り替えが可能であると判定してもよいし、値引き処理部661によって算出された値引き率や値引き額が予め設定した閾値を超えた場合に取り替えが可能であると判定してもよい。
品質報知部67Aは、品質判定部65によって低品質であると特定された商品について、その旨をオペレータや顧客に報知する。品質報知部67Aは、例えば、登録商品を表す情報(撮影した画像、イラストや商品名等)をディスプレイ221(図2参照)および顧客用ディスプレイ24に表示する際に、その画面の一部に値引き理由と共に値引き情報および商品の取り替えが可能である旨を表示する。品質報知部67Aによって表示された画面の一例を図15に示す。図15では、登録商品として桃が確定した場合に、桃のイラストの右側に値引き理由(キズあり)、値引き情報(10%引き)および商品の取り替えが可能である旨を表示している。
また、品質報知部67Aは、ディスプレイ221(図2参照)にオペレータによる「値引き」、「取替」および「キャンセル」の選択を受け付ける各種ボタンを表示するようにする。値引きボタンが選択された場合には、第1実施形態で説明した通りに、情報出力部68は、上述のようにして確定された登録商品について、値引き理由および値引き情報を、インタフェース25(図2参照)を介してPOS端末3に出力する。一方、取替ボタンが選択された場合には、当該商品の登録を中止して、例えば、オペレータが新たな商品と当該低品質の商品とを取り替えた後に、再度、新たな商品で登録処理を行うようにする。また、キャンセルボタンが選択された場合には、当該商品の登録を中止して、オペレータが次の商品の登録処理を行う。
次に、商品識別装置2Aの商品登録処理について図16を参照して説明する(適宜、図13参照)。図16は、商品識別装置2の商品登録処理の全体動作を示すフローチャートを例示した図である。
ステップS10〜ステップS50の処理は、第1実施形態と同じなので説明を省略する。ステップS50に続いて、確定した商品が低品質である場合に、品質処理が実行される(ステップS60A)。この処理については、図17を参照して後述する。続いて、類似度判断部64は、確定した登録商品を表す情報(確定画面)をディスプレイ221および顧客用ディスプレイ24に表示する(ステップS70A)。また、ステップS60Aで品質処理が行われた場合、品質報知部67Aは、ディスプレイ221および顧客用ディスプレイ24に商取引を行った商品が低品質である旨(値引き理由)、値引き情報(10%引き)および取替が可能である旨を表示する(図15参照)。オペレータは、この画面を見て、値引き、取り替え、購入キャンセルの何れを希望するか顧客に確認し、顧客が希望した処理のボタンを選択する。
続いて、商品識別装置2のCPU211は、ステップS60Aで品質処理が実行されているか否かを判定する(ステップS73A)。品質処理が実行された場合(ステップS73で“Yes”)、CPU211はステップS75Aに処理を進め、また、品質処理が実行されていない場合(ステップS73Aで“No”)、CPU211はステップS78に処理を進める。
ステップS73Aで“Yes”と判定された場合、商品識別装置2のCPU211は、オペレータにより「値引き」、「取替」、「キャンセル」の何れが選択されたのかを判定する(ステップS75A)。「取替」または「キャンセル」が選択された場合(ステップS75Aで“取替”または“キャンセル”)、CPU211は、ステップS20へ処理を戻して次の処理を継続させる。具体的にいうと、オペレータは、「取替」を選択した場合には、同じ商品が展示してある売り場に新たな商品を取りに行き、新たな商品をカメラ27にかざすことによって、ステップS20の画像データの取り込みを行う。一方、オペレータは、「キャンセル」を選択した場合には、次の商品の画像データの取り込みを行う(ステップS20)。一方、「値引き」が選択された場合(ステップS75Aで“値引き”)、CPU211は、ステップS80へ処理を進める。なお、ステップS78〜ステップS100の処理は、第1実施形態と同じなので説明を省略する。
次に、ステップS60Aの品質処理について図17を参照して説明する(適宜、図13参照)。図17は、商品識別装置2Aの品質処理の動作を示すフローチャートを例示した図である。
ステップS61〜ステップS67の処理は、第1実施形態と同じなので説明を省略する。ステップS67に続いて、取替処理部662は、品質管理ファイル362Aの取替可否情報として「可」が登録されていた商品に対して商品の取り替えが可能であるか否かを判定する(ステップS68)。ステップS68で商品の取り替えが可能であると判定された場合に、品質報知部67Aは、ディスプレイ221(図2参照)に商品の取り替えが可能である旨やオペレータによる「取替」の選択を受け付けるボタンを表示する。
以上のように、第2実施形態に係る商品識別装置2Aは、低品質の商品を特定した場合に、低品質の商品の値段を正規品に比べて安くする(値引きする)か、または、新たな商品に取り替えるかを顧客に選択させることができる。その為、顧客満足度が低下する虞がさらにない。なお、新たな商品への取り替えるのみを提案するようにすることも可能である。
[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。各実施形態の変形例を以下に示す。
第1実施形態では、低品質の商品の値引きを行い、第2実施形態では、低品質の商品の値引きまたは取り替えを行っていた。しかしながら、顧客満足度を高める処理はこれに限定されるものではなく、種々の処理を実行することが可能である。例えば、低品質の商品を購入した場合に、おまけ(買い物補助券、割引券等)を発券するようにしてもよいし、会社や店舗毎に行っているポイントサービスにおいてポイントを追加するようにしてもよい。
また、高品質の商品の場合(正規品よりも品質が高い場合)、その事を顧客に対して積極的にアピールすることにより顧客満足度をより高めるようにしてもよい。例えば、高品質の商品については、「この商品優良品」等のメッセージをレシートに明示するようにしてもよい。商品が高品質であるか否かの判定は、例えば、特徴量ファイル361に高品質な商品を撮像した商品画像(高品質基準画像)を格納し、カメラ27で撮影した商品の特徴量と高品質基準画像から読み取った特徴量との比較をすることで類似度を算出し、算出した類似度から商品の品質を判定するようにしてもよい。
なお、高品質の判定方法として、上記では高品質画像との比較を行っているが、他の方法として、大きさの比較がある。大きさは、純粋には品質とは関係がないが、大きいものはお得であり、ある意味、「優良品=高品質商品」と言える。具体的には、標準品画像の大きさ情報を持ち、画像認識時に大きさも判定し(キャッシャが持っている手のサイズとの比較で判定できる)、標準品画像のサイズと比較して大きい場合、顧客にとってはお得なので、この商品はお得品(優良品:純粋な意味の高品質とは若干異なる)として提示しても良い。
また、上記を加味すれば、低品質商品は、標準品画像との比較のみで類似度に応じた値引等を行ったが、大きさも考慮し、標準品よりも小さい商品を値引対象とするようにしても良い。
また、各実施形態では、商品登録用に撮影したフレーム画像(撮像画像)を用いて、商品の品質の判定を行っていた。しかしながら、商品の品質の判定は、これに限定されるものではない。例えば、商品登録用に撮影したフレーム画像(撮像画像)とは異なる条件で撮影したフレーム画像(撮像画像)を用いて商品の品質の判定を行うようにしてもよい。具体的には、商品に照射する光の強さを変えたり、波長を変えたり(可視光線、赤外線等)してもよい。また、商品を撮影する位置や方向を変えたり、解像度を変えたりしてもよい。
また、品質の判定を複数回行うようにしてもよい。その場合に、1回目の品質の判定において低品質とされた場合に、前記説明したように撮影条件を変更した撮影をさらに行って、詳細な品質の判定を2回目として行うようにするのがよい。
また、各実施形態では、POS端末3,3A側で、特徴量ファイル361および品質管理ファイル362,362Aを保有していたが、商品識別装置2,2A側でこれらの情報を保有するようにしてもよい。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置であって、
前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段と、
前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段と、
を備えることを特徴とする商品登録装置。
[請求項2]
前記品質判定手段は、期待される品質を備える正規品の特徴量と前記撮像画像から算出した特徴量とを比較した類似度から前記商品の品質を判定する、
ことを特徴とする請求項1に記載の商品登録装置。
[請求項3]
前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として商品の品質に基づいた値引きを行う、
ことを特徴とする請求項1または請求項2に記載の商品登録装置。
[請求項4]
商取引を記録した売上マスタファイルを有するPOS端末に対して、値引きを行った商品の前記撮像画像を証拠画像として送信する情報出力部をさらに備える、
ことを特徴とする請求項3に記載の商品登録装置。
[請求項5]
前記商取引の情報および前記値引きを行った商品を示す情報を紙媒体に印刷する画像形成手段をさらに備える、
ことを特徴とする請求項3または請求項4に記載の商品登録装置。
[請求項6]
オペレータへの指示手段をさらに備え、
前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として、商品の品質に基づいた値引きが可能であることを示す情報あるいは商品の取り替えが可能であることを示す情報を前記指示手段に表示する、
ことを特徴とする請求項1または請求項2に記載の商品登録装置。
[請求項7]
オペレータへの指示手段をさらに備え、
前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として前記指示手段を介して商品の取り替えをオペレータに指示する、
ことを特徴とする請求項1または請求項2に記載の商品登録装置。
[請求項8]
前記品質判定手段は、商品の登録を行うために撮像した前記撮像画像とは異なる条件で撮像した新たな撮像画像から前記商品の品質を判定する、
ことを特徴とする請求項1ないし請求項7の何れか一項に記載の商品登録装置。
[請求項9]
前記品質判定手段は、前記商品のキズの有無、変色の有無および変形の有無の内の少なくとも何れか一つを品質として判定する、
ことを特徴とする請求項1ないし請求項8の何れか一項に記載の商品登録装置。
[請求項10]
撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置の商品登録方法であって、
前記撮像手段によって撮像された撮像画像から前記商品の品質を判定し、
判定結果に基づいて、当該商品の品質に関する対応処理を行う、
ことを特徴とする商品登録方法。
[請求項11]
請求項10に記載の商品登録方法を商品登録装置としてコンピュータに実行させるための商品登録プログラム。
1 チェックアウトシステム(商品登録装置)
2,2A 商品識別装置(商品登録装置)
3,3A POS端末(商品登録装置)
21 マイクロコンピュータ
22 表示・操作部(報知手段)
25 インタフェース
27 カメラ(撮像手段)
28 スピーカ(報知手段)
31 マイクロコンピュータ
33 キーボード
34 顧客用ディスプレイ
35 インタフェース
36 HDD
361 特徴量ファイル
362 品質管理ファイル
363 売上マスタファイル
38 プリンタ(画像形成手段)
61 画像取得部
62 物体検出部
63 類似度演算部
64 類似度判断部
65 品質判定部
66 品質処理部
661 値引き処理部
662 取替処理部
67,67A 品質報知部
68 情報出力部
71 売上登録部

Claims (7)

  1. 撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置であって、
    前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段と、
    前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段と、
    を備え、
    前記品質処理手段は、前記対応処理として値引き処理を行う場合には、前記値引き処理の根拠となった撮影画像が値引きの根拠画像として掲載されたレシートを発行させる、
    ことを特徴とする商品登録装置。
  2. 前記品質判定手段は、期待される品質を備える正規品の特徴量と前記撮像画像から算出した特徴量とを比較した類似度から前記商品の品質を判定する、
    ことを特徴とする請求項1に記載の商品登録装置。
  3. 前記品質処理手段は、前記品質判定手段により商品の品質が低いと判定された場合に、前記対応処理として前記値引き処理を行う、
    ことを特徴とする請求項1または請求項2に記載の商品登録装置。
  4. オペレータへの指示手段をさらに備え、
    前記品質処理手段は、前記品質判定手段により商品の品質が低いと判定された場合に、前記対応処理として、商品の品質に基づいた値引きが可能であることを示す情報あるいは商品の取り替えが可能であることを示す情報を前記指示手段に表示し、前記値引きが選択された場合に、さらに前記値引き処理を行う、
    ことを特徴とする請求項1ないし請求項3の何れか一項に記載の商品登録装置。
  5. 前記品質判定手段は、前記商品のキズの有無、変色の有無および変形の有無の内の少なくとも何れか一つを品質として判定する、
    ことを特徴とする請求項1ないし請求項4の何れか一項に記載の商品登録装置。
  6. 撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置の商品登録方法であって、
    前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定ステップと、
    前記品質判定ステップでの判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理ステップと、
    を有し、
    前記品質処理ステップは、前記対応処理として値引き処理を行う場合には、前記値引き処理の根拠となった撮影画像が値引きの根拠画像として掲載されたレシートを発行させる、
    ことを特徴とする商品登録方法。
  7. 撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置におけるコンピュータを、
    前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段、
    前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段、
    として機能させ、
    前記品質処理手段は、前記対応処理として値引き処理を行う場合には、前記値引き処理の根拠となった撮影画像が値引きの根拠画像として掲載されたレシートを発行させる、
    ことを特徴とする商品登録プログラム。
JP2014192543A 2014-09-22 2014-09-22 商品登録装置、商品登録方法、および商品登録プログラム Active JP6503670B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014192543A JP6503670B2 (ja) 2014-09-22 2014-09-22 商品登録装置、商品登録方法、および商品登録プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014192543A JP6503670B2 (ja) 2014-09-22 2014-09-22 商品登録装置、商品登録方法、および商品登録プログラム

Publications (2)

Publication Number Publication Date
JP2016062548A JP2016062548A (ja) 2016-04-25
JP6503670B2 true JP6503670B2 (ja) 2019-04-24

Family

ID=55796089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014192543A Active JP6503670B2 (ja) 2014-09-22 2014-09-22 商品登録装置、商品登録方法、および商品登録プログラム

Country Status (1)

Country Link
JP (1) JP6503670B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7214967B2 (ja) * 2018-03-22 2023-01-31 日本電気株式会社 商品情報取得装置、商品情報取得方法、およびプログラム
US20220148017A1 (en) * 2019-02-25 2022-05-12 Nec Corporation Processing apparatus, and processing method
JP6946502B2 (ja) * 2020-03-18 2021-10-06 ソフトバンク株式会社 サーバ装置、方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01292597A (ja) * 1988-05-20 1989-11-24 Tokyo Electric Co Ltd 電子式キャッシュレジスタ
JP2607481Y2 (ja) * 1992-11-17 2001-09-04 株式会社エムアンドシーシステム レシート
JP2000076556A (ja) * 1998-08-31 2000-03-14 Fujitsu Ltd Posシステム及びレシート発行方法
JP2001252625A (ja) * 2000-03-14 2001-09-18 Kyowa Kikai Kk 物品検査装置
JP5062222B2 (ja) * 2009-06-04 2012-10-31 カシオ計算機株式会社 データ処理装置およびプログラム
JP5194149B2 (ja) * 2010-08-23 2013-05-08 東芝テック株式会社 店舗システムおよびプログラム
JP5596630B2 (ja) * 2011-06-22 2014-09-24 東芝テック株式会社 商品リスト発券装置
JP2013073294A (ja) * 2011-09-27 2013-04-22 Toshiba Tec Corp 商品販売データ処理装置およびレシート印字記載方法

Also Published As

Publication number Publication date
JP2016062548A (ja) 2016-04-25

Similar Documents

Publication Publication Date Title
JP5194149B2 (ja) 店舗システムおよびプログラム
JP5544332B2 (ja) 店舗システムおよびプログラム
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP5483622B2 (ja) 店舗システム及びプログラム
JP5132732B2 (ja) 店舗システムおよびプログラム
JP5612645B2 (ja) 情報処理装置及びプログラム
JP5825222B2 (ja) 情報処理装置及び決済処理方法
JP5551196B2 (ja) 情報処理装置及びプログラム
JP6147676B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5647637B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2012043374A (ja) 店舗システムおよびプログラム
JP5620416B2 (ja) 情報処理装置及びプログラム
JP6747873B2 (ja) 情報処理装置及びプログラム
JP5722963B2 (ja) 店舗システムおよびプログラム
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
JP6239460B2 (ja) 情報処理装置及びプログラム
JP6503670B2 (ja) 商品登録装置、商品登録方法、および商品登録プログラム
JP6547856B2 (ja) 情報表示装置、誘導表示方法およびプログラム
JP6336351B2 (ja) 情報処理装置及びプログラム
JP2017211880A (ja) 情報処理装置及びプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP5256260B2 (ja) 店舗システムおよびプログラム
US20170300932A1 (en) Sales data processing apparatus, server and method for acquiring attribute information
JP5529948B2 (ja) 店舗システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6503670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150