JP6439415B2 - 売上処理装置、および売上処理方法 - Google Patents

Description

本発明は、オブジェクト認識を利用した売上処理装置、および売上処理方法に関する。

自家製のパンを販売するベーカリー（パン屋）において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、ＰＯＳ端末（レジ）で代金の精算を受ける。ここでＰＯＳとは、販売時点情報管理（Point Of Sale system）の略称である。このようなベーカリーでは、自家製のパンを袋詰めせず、陳列台にそのまま陳列することが多い。これにより、出来たてのパンをそのまま味や食感を落とすことなしに顧客に提供でき、かつパンの包装の工数を省略することができる。その反面、パンを袋詰めしないことにより、パンをバーコードで管理できないという問題がある。

自家製のパンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。従来、ベーカリーの店員は、トレー上のパンの種類を正確に見分けて手作業でＰＯＳ端末に入力する必要があった。よって、店員に対する所定の訓練期間が必要であった。

このため近年では、トレー上のパンをカメラで撮影し、この画像情報からトレー上のパンの種類と数量とを画像認識（オブジェクト認識）して、商品登録を自動化するベーカリー用のＰＯＳ端末が出現している。これにより、ベーカリーの店員の訓練期間を短縮することができる。

そのような従来技術の一例である特許文献１においては、課題として「画像認識によりパンの種類を正確に識別する。」という旨が記載され、構成として「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」という旨が記載されている。

また、ベーカリー等においては、マーケティング等のために、レジでの精算時に購入者の客層（性別／年代）登録を行う場合がある。この客層登録の方法としては、例えば、特許文献２に開示されているような店員が客の容姿（顔など）を見て客層を判断してレジにおける客層ボタンを操作する方法（以下、「手動客層登録方法」という。）や、特許文献３に開示されているような固定カメラによって撮影した顧客の顔によって客層を自動判別して登録する方法（以下、「自動客層登録方法」という。）がある。

特開２０１１−１７０７４５号公報 特開平７−３７１６４号公報 特開２０１０−５５２４８号公報

しかしながら、手動客層登録方法では、顧客は、店員が自分の容姿（顔など）を見て客層登録をしていることを知覚しうるので、不愉快に感じる可能性がある。また、自動客層登録方法でも、顧客は、自分の顔を固定カメラで撮影されていることを知覚しうるので、不愉快に感じる可能性があると共に、個人情報保護の観点からも好ましくない。したがって、従来技術では、売上処理時に客層の情報の登録を簡易に行うことができないという問題があった。

そこで、本発明は、画像認識による商品登録時に、合わせて客層の情報の登録を簡易に行えるようにすることを目的とする。

本発明は、上記目的を達成するため、
画像撮影により商品を認識することによって当該商品の売上登録処理を行う売上処理装置であって、
顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段と、
前記画像撮影時に商品を認識する際に、前記客層識別用物品がその撮影画像内にあれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、前記認識した商品の売上登録処理を行うと共に、前記取得した客層の情報の登録処理を行う制御手段と、
を備えたことを特徴とする売上処理装置である。

本発明は、上記目的を達成するため、
画像撮影により商品を認識することによって当該商品の売上登録処理を行う売上処理装置のコンピュータを制御する売上処理方法であって、
前記コンピュータを、
顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段、
前記画像撮影時に商品を認識する際に、前記客層識別用物品がその撮影画像内にあれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、前記認識した商品の売上登録処理を行うと共に、前記取得した客層の情報の登録処理を行う制御手段、
として機能させるようにした売上処理方法である。

本発明によれば、画像認識による商品登録時に、合わせて客層の情報の登録を簡易に行うことができる。

本実施形態における売上処理装置を示す外観斜視図である。 本実施形態における売上処理装置を示す構成概略図である。 本実施形態における売上処理装置を示す論理ブロック図である。 本実施形態における客層識別用付属品としてのコースターの例を示す図である。 本実施形態における画面遷移の例の１画面目を示す図である。 本実施形態における画面遷移の例の２画面目を示す図である。 本実施形態における画面遷移の例の３画面目を示す図である。 本実施形態における画面遷移の例の４画面目を示す図である。 本実施形態における売上処理装置の動作を示すアクティビティ図である。 本実施形態におけるオブジェクト認識用データの例を示す図である。 本実施形態における商品内容データの例を示す図である。 本実施形態における売上マスタの例を示す図である。 本実施形態における商品等認識処理を示すフローチャートである。 本実施形態における客層別分析レポート出力処理を示すフローチャートである。 本実施形態における客層別分析レポートの例を示す図である。 本実施形態の変形例における客層識別用付属品としてのトレーを示す図である。

以下、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。また、本実施形態では、売上処理装置をベーカリーに導入した場合を例にとって説明する。

図１は、本実施形態における売上処理装置１を示す外観斜視図である。
図１に示すように、売上処理装置１は、顧客用ディスプレイ１１と、タッチディスプレイ１２と、キャッシュドロワ１３と、プリンタ１４と、撮影装置１５と、撮影台１６とを備えており、ベーカリーにおいて商品の会計を行うカウンタ台２に設置される。なお、商品の会計を行う際、売上処理装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立つ。顧客は、カウンタ台２の図面奥側に立つ。
売上処理装置１は、ＰＯＳ端末として機能し、画像撮影により商品を認識することによって商品登録して売上処理を行う。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥側を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額等）を表示する。

タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂ（図２参照）が積層されたものであり、オペレータ側である図面手前側を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額等）を表示すると共に、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券等を保管する引出しであり、タッチディスプレイ１２の直下に位置している。
プリンタ１４は、タッチディスプレイ１２の左下に位置しており、商品の会計時に会計の内容（商品名、金額等）をレシートに印字する。

撮影装置１５は、撮影台１６における撮影装置１５によって撮影可能な領域である撮影領域１５１内の商品または／および付属品を真上から撮影する。撮影台１６は、商品を購入する顧客が会計時に商品を載せたトレー３を置く台である。照明装置（不図示）は、この撮影装置１５に隣接して取り付けられており、撮影装置１５による撮影領域１５１を照明する。商品とは、例えば自家製のパンである。また、付属品とは、例えば、トレー３、カゴ、コースター４（飲料容器の下に敷く台）、スプーン、フォーク、箸、ストロー、ナプキン、砂糖袋、ガムシロップ容器、ミルク容器等であり、商品の購入時に顧客によって使用されるものである。以下、商品と付属品のことを、「商品等」と記載する場合がある。また、付属品において、例えば、トレー３、カゴ、コースター４、スプーン、フォーク、箸、ストロー、ナプキン、トング、食器のうち少なくとも１種類以上を客層識別用付属品（客層識別用物品）として使用することができ、本実施形態ではコースター４を客層識別用付属品として使用する（図４で後記）。

撮影装置１５が撮影する際、撮影領域１５１には照明装置から照明光が照射され、トレー３の下からはバックライト光源１７からのバックライトが上向きに照射される。このトレー３は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー３の色は半透明の白色または淡色とすることが望ましい。更にトレー３は、その上面に微細なマット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。

顧客は、トレー３に商品である任意数のパン５を載せて、このトレー３を撮影台１６に載せる。オペレータ（店員）は、顧客から飲み物の注文を受けると、このトレー３に客層識別用付属品であるコースター４を載せる。図１の例では１個のパン５と１枚のコースター４とがトレー３の上に載せられている。その後、オペレータ（店員）は、商品である飲み物をキッチンから受け取り、コースター４の上に載せる。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によって撮影領域１５１内の商品等を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。

トレー３は、前記したように半透明である。そして、トレー３に載った状態のパン５を撮影装置１５により撮影する際には、そのトレー３の背後である裏面側に、バックライト光源１７からバックライトを照射する。これにより、照明装置からの照明光によってパン５の周囲に形成される影を可及的に排除し得る。撮影装置１５により撮影する際にバックライト光源１７からバックライトが照射された状態にするには、例えば、常にバックライト光源１７を点灯させる。しかし、これに限られず、バックライト光源１７の点灯と撮影装置１５の撮影とを同期させてもよい。これを実現するためには、売上処理装置１が撮影装置１５とバックライト光源１７を統括して制御し、撮影装置１５の撮影時にバックライト光源１７が同期して点灯するようにすればよい。

売上処理装置１は、撮影装置１５によって撮影された画像を処理することで、トレー３の上の商品を特定（認識）する。売上処理装置１は更に、客層識別用付属品であるトレー３、カゴ、コースター４、スプーン、フォーク、箸、ストロー、ナプキンのうち少なくとも１種類以上に基づいて、客層を識別し、その客層の情報を売上マスタ１０７（図３参照）に登録（売上登録）する。本実施形態の売上処理装置１は、コースター４によって客層を特定する。これにより、売上処理装置１は、売上登録時に、販売した商品と共に、購入した客層も合わせて登録することができる。

図２は、本実施形態における売上処理装置１を示す構成概略図である。
売上処理装置１は、図１で示した構成以外に、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、記憶部１０４と、スピーカ１８とを備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ１０１は、中央制御装置であり、売上処理装置１全体の制御を司る制御手段である。
ＲＡＭ１０２は、ＣＰＵ１０１によって使用される一時記憶手段であり、ＣＰＵ１０１が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ＲＯＭ１０３は、不揮発性の記憶手段であり、ＣＰＵ１０１によって実行されるプログラム等を記憶する。

顧客用ディスプレイ１１は、ＣＰＵ１０１によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
ディスプレイ１２Ａは、ＣＰＵ１０１によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
タッチパネル１２Ｂは、ディスプレイ１２Ａに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部１０４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等によって構成され、各種プログラムや各種ファイルを記憶する記憶手段である。記憶部１０４に記憶されている各種プログラムや各種ファイルは、売上処理装置１の起動時に、その全部または一部がＲＡＭ１０２にコピーされてＣＰＵ１０１により実行される。この記憶部１０４には、各種のデータが記憶されているが、少なくとも、顧客に提供（譲渡、または、貸し渡し）される客層識別用付属品毎に、客層の情報が対応付けて記憶されている（詳細は後記）。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成される。撮影装置１５は、ＣＰＵ１０１の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ１０２に保存される。

バックライト光源１７は、ＣＰＵ１０１の制御の下で、撮影装置１５によってトレー３やトレー３の上の商品等を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。

キャッシュドロワ１３は、ＣＰＵ１０１の指示により開放制御される。
プリンタ１４は、例えば熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ１０１の指示により、会計の内容をレシートに印字する。
スピーカ１８は、予め設定された報知音等を発生する。スピーカ１８は、ＣＰＵ１０１の制御の下で警告音や音声による報知を行う。

図３は、本実施形態における売上処理装置１を示す論理ブロック図である。
売上処理装置１のＣＰＵ１０１（図２参照）は、ＲＯＭ１０３（図２参照）に格納された不図示のプログラムを実行することにより、処理部９を具現化する。処理部９は、画像記憶部９１と、オブジェクト認識処理部９２と、確定通知部９３と、候補商品提示部９４と、入力取得部９５と、売上登録部９６と、情報出力部９７と、レポート出力部９８と、を含んで構成される。このオブジェクト認識処理部９２は、物体検出部９２１と、類似度演算部９２２と、類似度判断部９２３とを備えている。

処理部９は、画像撮影時に商品を認識する際に、客層識別用付属品の有無を判別し、客層識別用付属品があれば記憶部１０４を参照して対応する客層の情報を取得し、認識した商品の売上登録処理（売上マスタ１０７への登録処理）を行うと共に、取得した客層の情報の登録処理（売上マスタ１０７への登録処理）を行う。
処理部９は、記憶部１０４に格納されたオブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７とを参照する。

オブジェクト認識用データ１０５は、商品等（パンや付属品）の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等で構成される。これらの情報は、オブジェクト認識用データ１０５に予め登録されている。オブジェクト認識用データ１０５は、店舗に陳列して販売する商品等の各々について、商品等の名称またはＩＤ（IDentifier）と、その商品等の特徴量との関連付けが設定されたデータファイルであり、商品等の認識用の辞書データとして機能する（図７で後記）。

商品内容データ１０６は、商品の内容情報が設定されたデータファイルである。商品内容データ１０６には、商品の内容情報として、商品の名称またはＩＤ、単価等が設定される（図８で後記）。
売上マスタ１０７は、商品の売上登録を記録するファイルであり、販売日時、販売商品、売上金額等のほかに、顧客の客層が記録される（図９で後記）。

画像記憶部９１は、撮影装置１５が撮影したフレーム画像（カラーデジタル画像）を順次取り込んで記憶する。
物体検出部９２１は、エッジ検出等を用いて、取り込んだフレーム画像における商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー３を撮影台１６に載せて、オペレータが撮影を指示すると、処理部９は、撮影装置１５によって撮影台１６上の撮影領域１５１を撮影する。物体検出部９２１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、画像を輪郭線に囲まれた各領域に分離して、物体を検出する。

類似度演算部９２２は、個々の商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部９２２は、各分離画像について、大きさ、形状、色、絵柄のうち少なくとも１つ以上の状態を特徴量として演算する。類似度演算部９２２は更に、各分離画像の特徴量と、オブジェクト認識用データ１０５に記録された商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ１０５に記録された商品等との類似度をそれぞれ算出する。

ここで、類似度とは、オブジェクト認識用データ１０５に記録されている商品等がリファレンスとして想定する物体（画像）の特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部９２２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。例えば、下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１０月３１日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、例えば、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１０月３１日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影画像の特徴量と、オブジェクト認識用データ１０５に記録された商品等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影画像の特徴量と、オブジェクト認識用データ１０５に記録された各商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ１０５として記憶された商品等の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。

また、類似度を相対評価として算出する場合には、各商品等との類似度の総和が１．０（１００％）となるよう算出する。例えば、オブジェクト認識用データ１０５として商品Ａ，Ｂ、付属品Ｍ，Ｎの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、付属品Ｍに対しては類似度が０．１、付属品Ｎに対しては類似度が０．０５、等のように算出する。

類似度判断部９２３は、物体の分離画像ごとに、所定のアルゴリズムにより、類似度演算部９２２が算出した類似度に基づいて、例えば、対応する商品等に関して次の３択で判断する。
（１）分離画像に対応する商品等（商品、付属品）が一意に決定された。
（２）分離画像に対応する商品等（商品、付属品）の候補が１つ以上存在する。
（３）分離画像に対応する商品等（商品、付属品）が無いと決定する。

この判断のための条件として、例えば、記憶部１０４は、次に説明する条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい商品等の類似度が９０％以上」、かつ、「類似度の一番大きい商品等の類似度と、類似度の二番目に大きい商品等の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品等が類似度９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａが一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品等が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品等が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在すると判断する。

条件Ｘ，Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ，Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像の物体について、商品等が一意に確定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１による表示やスピーカ１８による音声出力等によってオペレータや顧客に報知する。
より詳細には、確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像を、例えば、緑の枠線と共に顧客用ディスプレイ１１やディスプレイ１２Ａに表示することで、分離画像に対応した商品等が一意に確定されたことを示す。

候補商品提示部９４は、類似度判断部９２３が上記（２）と判断した分離画像を、例えば、黄色の枠線と共にディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、分離画像に対応した商品等の候補が１つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル１２Ｂを介してタッチすることで、ディスプレイ１２Ａには、商品等の候補である写真画像および商品名が、類似度の高いものから順に表示される。
このとき候補商品提示部９４は、条件Ｙを満たした商品等の写真画像および商品名をオブジェクト認識用データ１０５および商品内容データ１０６から読み出し、類似度演算部９２２が算出した類似度の高いものから、ディスプレイ１２Ａに順次表示させる。

なお、ディスプレイ１２Ａに商品等の候補の写真画像が表示されていても、これら商品等の候補に対する選択操作がない場合には、撮影装置１５による撮影と、画像記憶部９１による画像の記憶処理と、物体検出部９２１による物体の検出処理と、類似度演算部９２２による類似度の演算処理とは継続される。

入力取得部９５は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（２）と判断され、黄色の枠線と共にディスプレイ１２Ａに分離画像が表示された場合、入力取得部９５は、オペレータによるタッチパネル１２Ｂを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、商品等の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。

売上登録部９６は、商品等の名称またはＩＤに基づいて、オブジェクト認識用データ１０５、商品内容データ１０６を参照し、その商品等の売上登録を行う。具体的には、売上登録部９６は、例えば、販売日時、販売商品、売上金額等に加えて、顧客の客層を一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。売上登録部９６は更に、ＲＡＭ１０２等に記録した売上の仮登録情報を売上マスタ１０７等に記録して、売上登録を行う。

情報出力部９７は、上述のようにして確定された確定商品等の商品ＩＤと、これに対応する商品分類、商品名、単価、販売個数等を顧客用ディスプレイ１１、ディスプレイ１２Ａに表示し、プリンタ１４に出力する。

レポート出力部９８は、売上マスタ１０７を参照し、売上情報に基づいて商品別の売上レポートを出力し、また、客層別の情報に基づいて客層別の分析処理を実行し、その分析処理に基づいた客層別分析レポートを出力する（詳細は図１１、図１２で後記）。

図４は、本実施形態における客層識別用付属品としてのコースター４の例を示す図である。本実施形態では、説明を簡潔にするために、客層を、成人男性、成人女性、男児、女児の４種類に分けている。

図４（ａ）に示すように、成人男性用コースター４Ａ（４）は、円形で青色無地のコースターである。
図４（ｂ）に示すように、成人女性用コースター４Ｂ（４）は、輪郭が花柄イメージで波打った形状の略円形で赤色無地のコースターである。

図４（ｃ）に示すように、男児用コースター４Ｃ（４）は、円形で青色無地の背景にロケットの絵柄を施したコースターである。
図４（ｄ）に示すように、女児用コースター４Ｄ（４）は、輪郭が花柄イメージで波打った形状の略円形で赤色無地の背景にウサギの絵柄を施したコースターである。

このように、４種類のコースター４（４Ａ〜４Ｄ）は、青色が男性用、赤色が女性用、そして、絵柄無しが成人用、絵柄有りが子供用となっているので、オペレータ（店員）にとってわかりやすい。したがって、オペレータ（店員）は、顧客から飲み物の注文を受けたとき、その顧客の容姿（顔など）を見て、成人男性、成人女性、男児、女児のいずれの客層であるかを認識し、その客層に対応するコースター４（４Ａ〜４Ｄのいずれか）を容易に選び、トレー３に載せることができる。

図５Ａ〜図５Ｄは、本実施形態における画面遷移の例を示す図である。この画面は、タッチディスプレイ１２（図２参照）に表示される。また、顧客が男児である場合を例にとって説明する。

図５Ａは、メロンパン５Ａ（５）を載せたトレー３が撮影台１６に置かれたときの画面の例を示す図である。
当初、タッチディスプレイ１２には、撮影装置１５によるスルー画が表示される。顧客（男児）は、トレー３に商品であるメロンパン５Ａ（５）を載せて、このトレー３を撮影台１６に載せる。その後、顧客（男児）は、所望の飲み物をオペレータである店員に注文する。

オペレータは、画面右下の撮影ボタンにタッチして撮影を開始すると共に、顧客（男児）からアイス紅茶・Ｓサイズの注文を受けると、このトレー３に客層識別用付属品である男児用コースター４Ｃ（４）と付属品であるストロー６を載せる。これにより、タッチディスプレイ１２には、図５Ｂの画面が表示される。

図５Ｂは、トレー３に、メロンパン５Ａ（５）に加えて男児用コースター４Ｃ（４）とストロー６とが置かれたときの画面の例を示す図である。この画面で、メロンパン５Ａ（５）には緑の輪郭（破線で図示）が付与され、メロンパン５Ａ（５）の分離画像に対応した商品等が一意に確定されたことを示す。また、メロンパン５Ａ（５）に対応して、商品の内容を示す「メロンパン・１８０円」のウインドウが表示される。また、この画面で、男児用コースター４Ｃ（４）とストロー６にも緑の輪郭（破線で図示）が付与され、それぞれの分離画像に対応した商品等が一意に確定されたことを示す。

次に、オペレータは、アイス紅茶・Ｓサイズ７をトレー３に載せる。これにより、タッチディスプレイ１２には、図５Ｃの画面が表示される。図５Ｃは、トレー３の上のコースター４にアイス紅茶・Ｓサイズ７が更に置かれたときの画面の例を示す図である。この画面で、更にアイス紅茶・Ｓサイズ７にも緑の輪郭（破線で図示）が付与され、アイス紅茶・Ｓサイズ７の分離画像に対応した商品等が一意に確定されたことを示す。また、アイス紅茶・Ｓサイズ７に対応して、商品の内容を示す「アイス紅茶Ｓ・１３０円」のウインドウが表示される。

この後、オペレータ（店員）は、画面右下の確定ボタンをタッチする。これにより、タッチディスプレイ１２には、図５Ｄの画面が表示される。図５Ｄは、精算画面の例を示す図である。
タッチディスプレイ１２には、商品名と単価と個数とが列挙して表示され、更に合計金額が表示される。オペレータが画面右下の精算ボタンにタッチして精算を実行すると、これらの商品の販売に関する情報が客層情報と共に売上マスタ１０７に登録される。

図６は、本実施形態における売上処理装置１の動作を示すアクティビティ図である。
売上処理装置１は、電源がオンされると、モードＭ１０のスルー画表示モードに遷移する。
モードＭ１０は、スルー画表示モードである。このとき売上処理装置１は、撮影装置１５のスルー画をそのままタッチディスプレイ１２に表示する。具体的には、このスルー画とは、図５Ａに例示した画面である。モードＭ１０において画面上の撮影ボタンがタッチされると、売上処理装置１はモードＭ１１に遷移する。

モードＭ１１は、商品等認識処理モードである。このとき売上処理装置１は、撮影装置１５による撮影画像にオブジェクト認識処理を行い、商品等を認識する。商品等認識処理の詳細は、後記する図１０で詳細に説明する。モードＭ１１において商品等認識処理が終了すると、売上処理装置１はモードＭ１２に遷移する。

モードＭ１２は、認識結果表示モードである。このとき売上処理装置１は、商品等認識処理の結果を表示する。具体的には、この商品等認識処理の結果の表示とは、図５Ｂ、５Ｃに例示した画面である。なお、モードＭ１１、モードＭ１２では、類似度判断部９２３が前記した「（２）分離画像に対応する商品等（商品、付属品）の候補が１つ以上存在する。」と判断した場合の各処理、すなわち、分離画像を黄色の枠線で囲った表示や、候補である写真画像等の表示およびその選択入力受付等も行う。モードＭ１２において画面上の確定ボタンがタッチされると、売上処理装置１はモードＭ１３に遷移する。

モードＭ１３は、精算画面表示モードである。このとき売上処理装置１は、精算画面を表示してオペレータに確認を促す。具体的には、この精算画面表示とは、図５Ｄに例示した画面である。モードＭ１３において画面上の精算ボタンがタッチされると、売上処理装置１はモードＭ１４に遷移する。

モードＭ１４は、売上マスタ登録処理モードである。このとき売上処理装置１は、販売日時、販売商品、売上金額等のほかに、顧客の客層を売上マスタ１０７に登録する。
モードＭ１４の後、売上処理装置１は、一連の処理を終了する。

図７は、本実施形態におけるオブジェクト認識用データ１０５の一例を示す図である。
オブジェクト認識用データ１０５は、商品等に係る特徴量欄１０５ａと、画像リンク欄１０５ｂと、種別欄１０５ｃと、対応する商品等名称欄１０５ｄと、客層欄１０５ｅと、を含んで構成される。なお、オブジェクト認識用データ１０５は、これらの欄に限定されず、オブジェクト認識に係る任意のデータの欄を含んでもよい。

特徴量欄１０５ａは、この商品等（パンや付属品）の種類毎にモデル化された特徴量を格納する。
画像リンク欄１０５ｂは、この商品等に係るリファレンス画像のリンクを格納する。特徴量欄１０５ａに格納された特徴量は、このリファレンス画像の大きさ、形状、色、絵柄の状態等を示す情報である。類似度判断部９２３は、特徴量欄１０５ａを参照することにより、分離画像に係る物体がどの商品等と類似度が高いかを判断することができる。

種別欄１０５ｃは、この商品等が、商品そのもの、客層識別用付属品、客層識別用付属品以外の付属品のいずれであるかの種別を格納する。本実施形態において、客層識別用付属品は、コースター４であるが、これに限定されず、トレー３、カゴ、スプーン、フォーク、箸、ストロー、ナプキン等であってもよい。

商品等名称欄１０５ｄは、この商品等の名称を格納する。種別欄１０５ｃに「商品」が格納されているとき、商品等名称欄１０５ｄには、商品の商品名が格納される。また、種別欄１０５ｃに「客層識別用付属品」が格納されているとき、商品等名称欄１０５ｄには、この客層識別用付属品に対応する名称が格納される。

客層欄１０５ｅは、種別欄１０５ｃに「客層識別用付属品」が格納されている場合に、その客層識別用付属品に対応する客層が格納される。処理部９は、一意に確定した商品等に係る種別欄１０５ｃが「客層識別用付属品」であるとき、この客層欄１０５ｅを参照することで、対応する客層を認識することができる。具体的には、処理部９は、種別欄１０５ｃが「客層識別用付属品」で、客層欄１０５ｅが「成人男性」であるとき、対応する客層が「成人男性」であることを認識することができる。

図８は、本実施形態における商品内容データ１０６の一例を示す図である。
商品内容データ１０６は、商品名欄１０６ａと、画像リンク欄１０６ｂと、単価欄１０６ｃとを含んで構成される。なお、商品内容データ１０６は、これらの欄に限定されず、商品に係る任意の内容データの欄を含んでもよい。

商品名欄１０６ａには、商品の商品名が格納される。
画像リンク欄１０６ｂには、商品の画像リンクが格納される。
単価欄１０６ｃには、商品の単価が格納される。売上処理装置１の売上登録部９６は、この単価欄１０６ｃを参照して、売上を算出する。

図９は、本実施形態における売上マスタ１０７の例を示す図である。
売上マスタ１０７は、顧客No.欄１０７ａと、販売日時欄１０７ｂと、販売商品欄１０７ｃと、売上金額欄１０７ｄと、客層欄１０７ｅと、を含んで構成される。なお、売上マスタ１０７は、これらの欄に限定されず、売上に係る任意のデータの欄を含んでもよい。

顧客No.欄１０７ａには、商品を購入した顧客毎のシリアルナンバーが格納される。
販売日時欄１０７ｂには、販売日時が格納される。
販売商品欄１０７ｃには、販売商品の名称が格納される。
売上金額欄１０７ｄには、売上金額が格納される。
客層欄１０７ｅには、商品を購入した顧客の客層が格納される。売上処理装置１の売上登録部９６は、オブジェクト認識用データ１０５（図７）の種別欄１０５ｃ、客層欄１０５ｅを参照し、客層識別用付属品（コースター４Ａ〜４Ｄ）に対応する客層をこの客層欄１０７ｅに登録する。

図１０は、本実施形態における商品等認識処理（図６のモードＭ１１）を示すフローチャートである。
顧客がトレー３を撮影台１６に載せて、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすると（図５Ａ参照）、処理部９は、一連の処理を開始する。
ステップＳ１において、処理部９は、撮影装置１５に撮影オン信号を出力して画像のキャプチャ（撮影）を開始する。画像記憶部９１は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ１０２に記憶する。

ステップＳ２において、オブジェクト認識処理部９２は、画像記憶部９１が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部９２１は、商品等である物体の分離画像の認識（検出）を試みる。類似度演算部９２２は、検出した分離画像から特徴量を演算し、各商品等との類似度を算出する。更に類似度判断部９２３が、前記所定のアルゴリズムにより、対応する商品等を判定する。

具体的には、トレー３にメロンパン５Ａ（５）と男児用コースター４Ｃ（４）とストロー６とが載っているとき（図５Ｂ参照）、物体検出部９２１は、メロンパン５Ａ（５）の分離画像と、男児用コースター４Ｃ（４）の分離画像と、ストロー６の分離画像とを検出する。類似度演算部９２２は、メロンパン５Ａ（５）の分離画像と、男児用コースター４Ｃ（４）の分離画像と、ストロー６の分離画像とから、それぞれの特徴量を読み取り、各商品等との類似度を算出する。類似度判断部９２３は、前記所定のアルゴリズムにより、メロンパン５Ａ（５）の分離画像のオブジェクトがメロンパンであり、男児用コースター４Ｃ（４）の分離画像のオブジェクトが男児用コースターであり、ストロー６の分離画像のオブジェクトがストローであると判定する。

同様に、トレー３にアイス紅茶・Ｓサイズ７が追加されたとき（図５Ｃ参照）、物体検出部９２１は、アイス紅茶・Ｓサイズ７の分離画像を検出する。類似度演算部９２２は、アイス紅茶・Ｓサイズ７の分離画像から、特徴量を読み取り、各商品等との類似度を算出する。類似度判断部９２３は、前記所定のアルゴリズムにより、アイス紅茶・Ｓサイズ７の分離画像のオブジェクトがアイス紅茶・Ｓサイズであると判定する。

次に、処理部９は、認識したオブジェクト分、ステップＳ３〜Ｓ１０の処理を繰り返す。この繰り返し処理により、商品販売情報と客層情報の仮登録が行われる。ここで、商品販売情報と客層情報の仮登録とは、売上マスタ１０７以外の任意の記憶領域（例えばＲＡＭ１０２）に、それら情報を一時的に格納することをいう。

ステップＳ４において、売上登録部９６は、客層識別用付属品を検出したか否かを判定し、Ｙｅｓの場合はステップＳ５に進み、Ｎｏの場合はステップＳ７に進む。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の種別欄１０５ｃ（図７）を参照し、認識したオブジェクトであるメロンパン５Ａ（５）、男児用コースター４Ｃ（４）、ストロー６、アイス紅茶・Ｓサイズ７のうち、「種別」が「客層識別用付属品」になっている男児用コースター４Ｃ（４）についてだけ「Ｙｅｓ」なのでステップＳ５に進み、残り３つのメロンパン５Ａ（５）とストロー６とアイス紅茶・Ｓサイズ７については「Ｎｏ」なのでステップＳ７に進む。

ステップＳ５において、売上登録部９６は、客層を検索する。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の客層欄１０５ｅ（図７参照）を検索し、男児用コースター４Ｃ（４）に対応する客層が「男児」であることを特定する。ステップＳ５の後、ステップＳ６に進む。

ステップＳ６において、売上登録部９６は、この客層を売上に仮登録する。具体的には、売上登録部９６は、この販売に関する顧客の客層が「男児」であることを一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。ステップＳ６の後、ステップＳ７に進む。

ステップＳ７において、売上登録部９６は、商品を検出したか否かを判定し、Ｙｅｓの場合はステップＳ８に進み、Ｎｏの場合はステップＳ１０に進む。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の種別欄１０５ｃ（図７）を参照し、認識したオブジェクトであるメロンパン５Ａ（５）、男児用コースター４Ｃ（４）、ストロー６、アイス紅茶・Ｓサイズ７のうち、「種別」が「商品」になっているメロンパン５Ａ（５）とアイス紅茶・Ｓサイズ７について「Ｙｅｓ」なのでステップＳ８に進み、残り２つの男児用コースター４Ｃ（４）とストロー６については「Ｎｏ」なのでステップＳ１０に進む。なお、ストロー６の「種別」は「付属品（客層識別用付属品以外の付属品）」である。

ステップＳ８において、売上登録部９６は、商品を検索する。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の商品等名称欄１０５ｄ（図７参照）を検索し、メロンパン５Ａ（５）に対応する商品が「メロンパン」で、アイス紅茶・Ｓサイズ７に対応する商品が「アイス紅茶・Ｓサイズ」であることを特定する。ステップＳ８の後、ステップＳ９に進む。

ステップＳ９において、売上登録部９６は、この商品を売上に仮登録する。具体的には、売上登録部９６は、販売した商品が「メロンパン」と「アイス紅茶・Ｓサイズ」であることを一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。

処理部９は、認識したオブジェクト分、ステップＳ３〜Ｓ１０の処理を繰り返した後、処理を終了する。
なお、図６のアクティビティ図からわかるように、図１０のモードＭ１１において仮登録した販売商品情報と客層情報は、最終的に、モードＭ１４の売上マスタ登録処理モードにおいて、売上登録部９６によって売上マスタ１０７に反映（登録）される。

このように、本実施形態の売上処理装置１によれば、トレー３上の商品（パン５など）と一緒に客層識別用付属品（コースター４）もオブジェクト認識させることで、客層の情報の登録を簡易に行うことができる。

そして、このように客層の情報を登録（収集）することで、ベーカリー等の商品販売店において、マーケティング等を戦略的に行い、売上や顧客満足度の向上等を図ることができる。具体的には、例えば、客層別分析レポートを出力することで、客層別に売れ筋の商品を調べ、それを元に効率的に商品発注や新商品開発等を行うことができる。この客層別分析レポートの出力の例について、図１１、図１２を参照して説明する。

図１１は、本実施形態における客層別分析レポート出力処理を示すフローチャートである。ここで、記憶部１０４の売上マスタ１０７には、売上登録処理に基づいて各商品の売上情報を収集して記憶する売上情報収集メモリ（売上情報記憶手段）や、客層登録処理に基づいて客層別の情報（客層別の総客数、客層別の総売上数、客層別の総売上金額、商品毎の客層別客数、商品毎の客層別売上数、商品毎の客層別売上金額等）を収集して記憶する客層別収集メモリ（客層別記憶手段）が設けられている。そして、レポート出力部９８は、それらの各メモリの内容に基づいて、日々の商品別売上レポートや期間別レポート等に加えて、客層別分析レポートを出力することができる。

ステップＳ１１において、レポート出力部９８は、売上マスタ１０７の売上情報収集メモリから売上情報を読み出す。
次に、ステップＳ１２において、レポート出力部９８は、売上マスタ１０７の客層別収集メモリを参照し、客層別の分析処理を実行し、客層別に、商品毎の客数、売上数、売上金額を集計する。

次に、ステップＳ１３において、売上マスタ１０７の客層別収集メモリを参照すると共に、ステップＳ１２における集計結果を用いて、客層別の分析処理を実行し、客層別に、総客数、総売上数、総売上金額およびそれらの比率を算出する。

次に、ステップＳ１４において、レポート出力部９８は、所定のフォーマットを用いて、ステップＳ１２、Ｓ１３での処理結果に基づいた客層別分析レポートを出力（例えばタッチディスプレイ１２に表示）する。

図１２は、本実施形態における客層別分析レポートの例を示す図である。図１２に示すように、客層別分析レポートでは、分析対象日に関して、客層別に、上から順に、総客数およびその比率、総売上数およびその比率、総売上金額およびその比率、ならびに、商品毎（商品別）の客数、売上数、売上金額の情報が表示される。

ベーカリー等の商品販売店の経営者やスタッフ等は、この客層別分析レポートを見ることで、客層別の売れ筋の商品等を知ることができ、それを元に効率的に商品発注や新商品開発等を行うことができる。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｇ）のようなものがある。

（ａ）上記実施形態では、客層識別用付属品としてコースター４を採用した。しかし、これに限られず、例えば、客層識別用付属品としてトレー３を採用してもよい。図１３は、客層識別用付属品としてのトレー３を示す図である。

図１３（ａ）に示すように、成人男性用トレー３Ａ（３）は、半透明の水色のトレーである。
図１３（ｂ）に示すように、成人女性用トレー３Ｂ（３）は、半透明のピンク色のトレーである。
図１３（ｃ）に示すように、男児用トレー３Ｃ（３）は、半透明の水色で、成人男性用トレー３Ａ（３）よりも小さなトレーである。
図１３（ｄ）に示すように、成人女性用トレー３Ｄ（３）は、半透明のピンク色で、成人女性用トレー３Ｂ（３）よりも小さなトレーである。

このように、４種類のトレー３（３Ａ〜３Ｄ）は、水色が男性用、ピンク色が女性用、そして、小さいサイズが子供用となっているので、オペレータ（店員）にとってわかりやすい。したがって、オペレータ（店員）は、顧客にトレー３を渡すとき、その顧客の容姿（顔など）を見て、成人男性、成人女性、男児、女児のいずれの客層であるかを認識し、その客層に対応するトレー３（３Ａ〜３Ｄのいずれか）を容易に選び、その顧客に渡すことができる。

（ｂ）上記実施形態および上記変形例（ａ）では、客層識別用付属品（コースター４、トレー３）を店員が選んで顧客に渡すものとした。しかし、これに限られず、顧客が自分の客層に合った客層識別用付属品を自分で選んで取るようにしてもよい。つまり、客層識別用付属品は、売上登録処理の対象の商品に対応する付属品等として店員から提供される物品あるいは顧客自ら取得する物品であり、複数の客層毎に予め店内に用意されていればよい。

（ｃ）上記実施形態および上記変形例（ａ）では、客層を、成人男性、成人女性、男児、女児の４種類に分けた。しかし、これに限られず、例えば、男女それぞれを年齢層毎に区分して、９歳以下、１０歳〜１９歳、２０歳〜２９歳、３０歳〜３９歳、４０歳〜４９歳、５０歳〜５９歳、６０歳〜６９歳、７０歳以上に分け、それぞれの客層に対応する客層識別用付属品を用いるようにしてもよい。

（ｄ）上記実施形態では、商品をパンと飲料とした。しかし、それら以外のもの、例えば、キャベツやにんじん等に代表される野菜や、リンゴや梨等に代表される果物や、ちくわ・天ぷら等に代表される調理品や、手作りのぬいぐるみ、こけし等の物品等を商品としてもよい。つまり、形態として完全な同一物ではないが、同じような似通った形態を有する製造物・生産品が、オブジェクト認識を利用した売上処理装置１の認識対象となり得る。したがって、ベーカリー以外のスーパー、コンビニエンスストア、玩具店、土産販売店等に売上処理装置１を用いてもよい。

（ｅ）上記実施形態では、バックライトによって半透明なトレー上のパンやコースター等を照らして撮影している。しかし、これに限られず、不透明なトレーを使い、上方からの照明によってトレー上のパンやコースター等を照らして撮影してもよい。

（ｆ）上記実施形態および上記変形例（ａ）では、客層毎に、客層識別用付属品（コースター４、トレー３）を、大きさ、色、形状、絵柄の違いを利用して対応させた。しかし、これに限られず、例えば、客層毎に、それら以外に客層識別用付属品の数量の違いも利用して対応させてもよい。例えば、ナプキンを客層識別用付属品として、成人男性には水色のナプキンを１枚、成人女性にはピンク色のナプキンを１枚、男児には水色のナプキンを２枚、女児にはピンク色のナプキンを２枚、をそれぞれ対応させるようにしてもよい。

（ｇ）客層識別用付属品は、上記したもののほかに、顧客に提供される景品（おもちゃ等）、リーフレット、広告チラシ、ポイントカード、クーポン、スクラッチカードなどであってもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像撮影により商品を認識することによって当該商品の売上登録処理を行う売上処理装置であって、
顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段と、
前記画像撮影時に商品を認識する際に、前記客層識別用物品がその撮影画像内にあれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、前記認識した商品の売上登録処理を行うと共に、前記取得した客層の情報の登録処理を行う制御手段と、
を備えたことを特徴とする売上処理装置。
＜請求項２＞
前記記憶手段には、前記客層識別用物品毎に、大きさ、形状、色、絵柄のうち少なくとも１つ以上の特徴量が、前記客層の情報に対応付けて記憶されている、
ことを特徴とする請求項１に記載の売上処理装置。
＜請求項３＞
前記客層識別用物品は、登録対象の前記商品に対応する付属品として店員から提供される物品あるいは顧客自ら取得する物品であり、複数の客層毎に予め店内に用意される物品である、
ことを特徴とする請求項１または請求項２に記載の売上処理装置。
＜請求項４＞
前記売上登録処理に基づいて各商品の売上情報を収集して記憶する売上情報記憶手段と、
前記客層登録処理に基づいて客層別の情報を収集して記憶する客層別記憶手段と、
前記売上情報記憶手段に記憶された売上情報に基づいて商品別の売上レポートを出力し、また、前記客層別記憶手段に記憶された客層別の情報に基づいて客層別の分析処理を実行し、その分析処理に基づいた客層別分析レポートを出力するレポート出力手段と、
を更に備えたことを特徴とする請求項１から請求項３の何れかに記載の売上処理装置。
＜請求項５＞
画像撮影により商品を認識することによって当該商品の売上登録処理を行う売上処理装置のコンピュータを制御する売上処理方法であって、
前記コンピュータを、
顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段、
前記画像撮影時に商品を認識する際に、前記客層識別用物品がその撮影画像内にあれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、前記認識した商品の売上登録処理を行うと共に、前記取得した客層の情報の登録処理を行う制御手段、
として機能させるようにした売上処理方法。

１ 売上処理装置
１０１ ＣＰＵ （制御手段の一例）
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 記憶部 （記憶手段の一例）
１０５ オブジェクト認識用データ
１０６ 商品内容データ
１０７ 売上マスタ
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置 （撮影手段の一例）
１５１ 撮影領域
１６ 撮影台
１７ バックライト光源
１８ スピーカ
２ カウンタ台
３、３Ａ〜３Ｄ トレー （客層識別用物品の一例）
４、４Ａ〜４Ｄ コースター （客層識別用物品の一例）
５ パン （商品の一例）
５Ａ メロンパン （商品の一例）
６ ストロー
７ アイス紅茶・Ｓサイズ
９ 処理部
９１ 画像記憶部
９２ オブジェクト認識処理部
９２１ 物体検出部
９２２ 類似度演算部
９２３ 類似度判断部
９３ 確定通知部
９４ 候補商品提示部
９５ 入力取得部
９６ 売上登録部
９７ 情報出力部
９８ レポート出力部（レポート出力手段の一例）

Claims (5)

1. 画像撮影により商品を認識することによって当該商品の売上登録処理を行う売上処理装置であって、
   顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段と、
   前記画像撮影時に商品を認識する際に、前記客層識別用物品がその撮影画像内にあれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、前記認識した商品の売上登録処理を行うと共に、前記取得した客層の情報の登録処理を行う制御手段と、
   を備えたことを特徴とする売上処理装置。
2. 前記記憶手段には、前記客層識別用物品毎に、大きさ、形状、色、絵柄のうち少なくとも１つ以上の特徴量が、前記客層の情報に対応付けて記憶されている、
   ことを特徴とする請求項１に記載の売上処理装置。
3. 前記客層識別用物品は、登録対象の前記商品に対応する付属品として店員から提供される物品あるいは顧客自ら取得する物品であり、複数の客層毎に予め店内に用意される物品である、
   ことを特徴とする請求項１または請求項２に記載の売上処理装置。
4. 前記売上登録処理に基づいて各商品の売上情報を収集して記憶する売上情報記憶手段と、
   前記取得した客層の情報の登録処理に基づいて客層別の情報を収集して記憶する客層別記憶手段と、
   前記売上情報記憶手段に記憶された売上情報に基づいて商品別の売上レポートを出力し、また、前記客層別記憶手段に記憶された客層別の情報に基づいて客層別の分析処理を実行し、その分析処理に基づいた客層別分析レポートを出力するレポート出力手段と、
   を更に備えたことを特徴とする請求項１から請求項３の何れかに記載の売上処理装置。
5. 画像撮影により商品を認識することによって当該商品の売上登録処理を行う売上処理装置のコンピュータを制御する売上処理方法であって、
   前記コンピュータを、
   顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段、
   前記画像撮影時に商品を認識する際に、前記客層識別用物品がその撮影画像内にあれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、前記認識した商品の売上登録処理を行うと共に、前記取得した客層の情報の登録処理を行う制御手段、
   として機能させるようにした売上処理方法。

Images