JP6369319B2 - 売上処理装置、および客層別商品人気分析方法 - Google Patents

Description

本発明は、オブジェクト認識を利用した売上処理装置、および客層別商品人気分析方法に関する。

手作りのパンを販売するベーカリー（パン屋）において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、ＰＯＳ端末（レジ）で代金の精算を受ける。ここで、ＰＯＳとは、販売時点情報管理（Point Of Sale system）の略称である。このようなベーカリーでは、手作りのパンを袋詰めせず、陳列台にそのまま陳列することが多い。これにより、出来たてのパンをそのまま味や食感を落とすことなしに顧客に提供でき、かつパンの包装の工数を省略することができる。その反面、パンを袋詰めしないことにより、パンをバーコードで管理できないという問題がある。

手作りのパンの種類は多種・多様であり、同一種別の商品であっても外観が完全に同一とは限らない。従来、ベーカリーの店員は、トレー上のパンの種類を正確に見分けて手作業でＰＯＳ端末に入力する必要があった。よって、店員に対する所定の訓練期間が必要であった。

このため近年では、トレー上のパンをカメラで撮影し、この画像情報からトレー上のパンの種類と数量とを画像認識（オブジェクト認識）して、商品登録を自動化するベーカリー用のＰＯＳ端末が出現している。これにより、ベーカリーの店員の訓練期間を短縮することができる。

そのような従来技術の一例である特許文献１においては、課題として「画像認識によりパンの種類を正確に識別する。」という旨が記載され、構成として「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」という旨が記載されている。

また、従来から、ベーカリー等の商品販売店において、マーケティング等のために、商品毎の売上数や販売時刻を集計して分析する売上分析が行われている。この売上分析によれば、どの商品がどの時間帯にどれだけ売れているかを知ることができ、いわゆる売れ筋商品を特定すること等ができる。

また、マーケティング等のために、レジでの精算時に購入者の客層（性別／年代）登録を行う場合がある。この客層登録の方法としては、例えば、特許文献２に開示されているような店員が客の容姿（顔など）を見て客層を判断してレジにおける客層ボタンを操作する方法（以下、「手動客層登録方法」という。）や、特許文献３に開示されているような固定カメラによって撮影した顧客の顔によって客層を自動判別して登録する方法（以下、「自動客層登録方法」という。）がある。

特開２０１１−１７０７４５号公報 特開平７−３７１６４号公報 特開２０１０−５５２４８号公報

しかしながら、前記した従来の売上分析では、同一種別の商品でありながら外観上の個体差がある商品（例えば、手作りのパン、ケーキ、和菓子、ぬいぐるみ、こけし等）について、外観上の個体差が売上にどのように影響しているのかを分析することはできない。例えば、手作りのパンの場合、同一種別の商品であっても、パンによって大きさ、形状、色、トッピング（あんパンのゴマ等）の付け方等に個体差があるが、どのようなパンが売れやすく、どのようなパンが売れにくいのかを分析することはできない。

外観上の個体差による売上への影響（消費者の嗜好）を分析できれば、次回以降、その商品を手作りする際の参考にでき、売上や顧客満足度の向上等を図ることができる。その分析の際、さらに、商品の客層別の人気傾向も分析できればよりよいが、前記した手動客層登録方法と自動客層登録方法のいずれの場合でも、顧客は自分について客層登録されていることを知覚することで不愉快に感じる可能性がある。

そこで、本発明は、外観上の個体差がある商品の画像認識による商品登録時に、合わせて客層の情報の登録を簡易に行い、当該商品の客層別の人気分析を行えるようにすることを目的とする。

本発明は、上記目的を達成するため、
撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う売上処理装置であって、
顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段と、
前記撮影画像の認識処理により前記商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて前記記憶手段に記憶させると共に、前記撮影画像内に前記客層識別用物品が認識されていれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を前記記憶手段に記憶させる記憶制御手段と、
前記記憶手段に記憶された同一種別の複数の商品について、前記客層の情報および前記商品個別情報を参照することで、客層別の人気度を分析する人気分析手段と、
前記人気分析手段により分析された商品の客層別の人気度を、前記商品個別情報に基づく特徴情報と共に出力する出力手段と、
を備えたことを特徴とする売上処理装置である。

本発明は、上記目的を達成するため、
撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う際に、顧客に提供される客層識別用物品毎に客層の情報を対応付けて記憶する記憶手段を用いて行う客層別商品人気分析方法であって、
前記撮影画像の認識処理により前記商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて前記記憶手段に記憶させると共に、前記撮影画像内に前記客層識別用物品が認識されていれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を前記記憶手段に記憶させる記憶制御ステップと、
前記記憶手段に記憶された同一種別の複数の商品について、前記客層の情報および前記商品個別情報を参照することで、客層別の人気度を分析する人気分析ステップと、
前記人気分析ステップで分析された商品の客層別の人気度を、前記商品個別情報に基づく特徴情報と共に出力する出力ステップと、
を含むことを特徴とする客層別商品人気分析方法である。

本発明によれば、外観上の個体差がある商品の画像認識による商品登録時に、合わせて客層の情報の登録を簡易に行い、当該商品の客層別の人気分析を行うことができる。

第１の実施形態における売上処理装置を示す外観斜視図である。 第１の実施形態における売上処理装置を示す構成概略図である。 第１の実施形態における売上処理装置を示す論理ブロック図である。 第１の実施形態における客層識別用付属品としてのトレーを示す図である。 第１の実施形態における、ベーカリーの陳列台にあんパンを載せている様子の例を示す図である。 第１の実施形態における画面遷移の例を示す図である。 第１の実施形態における売上処理装置の動作を示すアクティビティ図である。 第１の実施形態におけるオブジェクト認識用データの例を示す図である。 第１の実施形態における商品内容データの例を示す図である。 第１の実施形態における売上マスタの例を示す図である。 第１の実施形態における商品等認識処理を示すフローチャートである。 第１の実施形態における客層別商品人気分析処理を示すフローチャートである。 第１の実施形態における、あんパンの特徴量座標平面の例を示す図である。 第１の実施形態における、あんパンのグループ毎の代表画像を購入層と共に表示した画面の例を示す図である。 第２の実施形態における、あんパンの特徴量座標平面の例を示す図である。 第２の実施形態における、あんパンのグループ毎の代表画像を購入層と共に表示した画面の例を示す図である。 第３の実施形態における、あんパンの特徴量座標平面の例を示す図である。 第３の実施形態における、あんパンのグループ毎の代表画像を購入層と共に表示した画面の例を示す図である。

以下、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。また、第１の実施形態では、売上処理装置をベーカリーに導入した場合を例にとって説明する。さらに、第１の実施形態では、図示および説明を簡潔にするために、客層を男性と女性の２種類に分けた例で説明する。

図１は、第１の実施形態における売上処理装置１を示す外観斜視図である。
図１に示すように、売上処理装置１は、顧客用ディスプレイ１１と、タッチディスプレイ１２と、キャッシュドロワ１３と、プリンタ１４と、撮影装置１５と、撮影台１６とを備えており、ベーカリーにおいて商品の会計を行うカウンタ台２に設置される。なお、商品の会計を行う際、売上処理装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立つ。顧客は、カウンタ台２の図面奥側に立つ。

売上処理装置１は、ＰＯＳ端末として機能し、撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う。なお、売上処理装置１は、少なくとも、外観上の個体差がある商品を扱うが、合わせて、外観上の個体差がない商品を扱ってもよい。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥側を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額等）を表示する。

タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２）の表面にタッチパネル１２Ｂ（図２）が積層されたものであり、オペレータ側である図面手前側を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額等）を表示すると共に、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券等を保管する引出しであり、タッチディスプレイ１２の直下に位置している。
プリンタ１４は、タッチディスプレイ１２の左下に位置しており、商品の会計時に会計の内容（商品名、金額等）をレシートに印字する。

撮影装置１５は、撮影台１６における撮影装置１５によって撮影可能な領域である撮影領域１５１内のトレー３および商品（以下、トレー３等の付属品および商品を総称して「商品等」という。）を真上から撮影する。撮影台１６は、商品を購入する顧客が会計時に商品を載せたトレー３を置く台である。照明装置（不図示）は、この撮影装置１５に隣接して取り付けられており、撮影装置１５による撮影領域１５１を照明する。商品とは、例えば手作りのパンである。また、付属品とは、例えば、トレー３、カゴ、コースター、スプーン、フォーク、箸、ストロー、ナプキン、砂糖袋、ガムシロップ容器、ミルク容器等であり、商品の購入時に顧客によって使用されるものである。また、付属品において、例えば、トレー３、カゴ、コースター、スプーン、フォーク、箸、ストロー、ナプキン、トング、食器のうち少なくとも１種類以上を客層識別用付属品（客層識別用物品）として使用することができる。本実施形態では、トレー３を客層識別用付属品として使用する（図４で後記）。

撮影装置１５が撮影する際、撮影領域１５１には照明装置から照明光が照射され、トレー３の下からはバックライト光源１７からのバックライトが上向きに照射される。このトレー３は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー３の色は半透明の白色または淡色とすることが望ましい。更にトレー３は、その上面に微細なマット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。

顧客は、客層識別用付属品であるトレー３に商品である任意数のパン（例えばあんパン５）を載せて、このトレー３を撮影台１６に載せる。図１の例では１個のあんパン５がトレー３の上に載せられている。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によって撮影領域１５１内の商品等を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。

トレー３は、前記したように半透明である。そして、トレー３に載った状態のパンを撮影装置１５により撮影する際には、そのトレー３の背後である裏面側に、バックライト光源１７からバックライトを照射する。これにより、照明装置からの照明光によってパンの周囲に形成される影を可及的に排除し得る。撮影装置１５により撮影する際にバックライト光源１７からバックライトが照射された状態にするには、例えば、常にバックライト光源１７を点灯させる。しかし、これに限定されず、バックライト光源１７の点灯と撮影装置１５の撮影とを同期させてもよい。これを実現するためには、売上処理装置１が撮影装置１５とバックライト光源１７を統括して制御し、撮影装置１５の撮影時にバックライト光源１７が同期して点灯するようにすればよい。

売上処理装置１は、撮影装置１５による画像撮影時に商品等を認識する際に、客層識別用物品がその撮影画像内にあれば、その客層識別用物品によって客層を識別し、認識した商品を売上マスタ１０７に売上登録すると共に、識別した客層の情報、および、撮影画像から算出した当該商品の個別特徴量（商品個別情報）を売上マスタ１０７（図３参照）に登録する。これにより、売上処理装置１は、売上登録時に、販売した商品と共に、購入した客層、および、個別特徴量も合わせて登録することができる。

図２は、第１の実施形態における売上処理装置１を示す構成概略図である。
売上処理装置１は、図１で示した構成以外に、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、記憶部１０４と、スピーカ１８とを備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ１０１は、中央制御装置であり、売上処理装置１全体の制御を司る制御手段である。
ＲＡＭ１０２は、ＣＰＵ１０１によって使用される一時記憶手段であり、ＣＰＵ１０１が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ＲＯＭ１０３は、不揮発性の記憶手段であり、ＣＰＵ１０１によって実行されるプログラム等を記憶する。

顧客用ディスプレイ１１は、ＣＰＵ１０１によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
ディスプレイ１２Ａは、ＣＰＵ１０１によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
タッチパネル１２Ｂは、ディスプレイ１２Ａに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部１０４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等によって構成され、各種プログラムや各種ファイルを記憶する記憶手段である。記憶部１０４に記憶されている各種プログラムや各種ファイルは、売上処理装置１の起動時に、その全部または一部がＲＡＭ１０２にコピーされてＣＰＵ１０１により実行される。記憶部１０４は、各種ファイルを記憶するが、少なくとも、顧客に提供（譲渡、または、貸し渡し）される客層識別用物品毎に、客層の情報を対応付けて記憶する（詳細は後記）。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成される。撮影装置１５は、ＣＰＵ１０１の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ１０２に保存される。

バックライト光源１７は、ＣＰＵ１０１の制御の下で、撮影装置１５によってトレー３やトレー３の上の商品を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。

キャッシュドロワ１３は、ＣＰＵ１０１の指示により開放制御される。
プリンタ１４は、例えば熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ１０１の指示により、会計の内容をレシートに印字する。
スピーカ１８は、予め設定された報知音等を発生する。スピーカ１８は、ＣＰＵ１０１の制御の下で警告音や音声による報知を行う。

図３は、第１の実施形態における売上処理装置１を示す論理ブロック図である。
売上処理装置１のＣＰＵ１０１（図２）は、ＲＯＭ１０３（図２）に格納された不図示のプログラムを実行することにより、処理部９を具現化する。処理部９は、画像記憶部９１と、オブジェクト認識処理部９２と、確定通知部９３と、候補商品提示部９４と、入力取得部９５と、売上登録部９６と、情報出力部９７と、人気分析処理部９８と、を含んで構成される。このオブジェクト認識処理部９２は、物体検出部９２１と、類似度演算部９２２と、類似度判断部９２３とを備えている。

処理部９は、記憶部１０４に格納されたオブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７とを参照して、各種処理を行う。
処理部９は、撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて記憶部１０４の売上マスタ１０７に記憶させると共に、撮影画像内に客層識別用物品（トレー３）が認識されていれば、記憶部１０４のオブジェクト認識用データ１０５を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を記憶部１０４の売上マスタ１０７に記憶させる。

ここで、商品（あんパン５）の外観上の個体差に基づく商品個別情報としては、例えば、商品の認識画像から算出される個別特徴量や、認識画像そのものや、認識画像のその商品種別の基準画像との差分情報等が挙げられるが、これらに限定されない。第１の実施形態では、当該商品個別情報として個別特徴量（例えば、あんパン５の上面視の全体形状や、全体の大きさ等）を採用する。

オブジェクト認識用データ１０５は、商品等（パンや付属品）の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等で構成される。これらの情報は、オブジェクト認識用データ１０５に予め登録されている。オブジェクト認識用データ１０５は、店舗に陳列して販売する商品等の各々について、商品等の名称またはＩＤ（IDentifier）と、その商品等の特徴量との関連付けが設定されたデータファイルであり、商品等の認識用の辞書データとして機能する（図８で後記）。

商品内容データ１０６は、商品の内容情報が設定されたデータファイルである。商品内容データ１０６には、商品の内容情報として、商品の名称またはＩＤ、単価等が設定される（図９で後記）。

売上マスタ１０７は、商品の売上登録を記録するファイルであり、販売日時、販売商品、売上金額等のほかに、個別特徴量、顧客の客層等が記録される、（図１０で後記）。

画像記憶部９１は、撮影装置１５が撮影したフレーム画像（カラーデジタル画像）を順次取り込んで記憶する。
物体検出部９２１は、エッジ検出等を用いて、取り込んだフレーム画像における商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー３を撮影台１６に載せて、オペレータが撮影を指示すると、処理部９は、撮影装置１５によって撮影台１６上の撮影領域１５１を撮影する。物体検出部９２１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、画像を輪郭線に囲まれた各領域に分離して、物体を検出する。

類似度演算部９２２は、個々の商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部９２２は、各分離画像について、大きさ、形状、色、絵柄等のうち少なくとも１つ以上の状態を特徴量として演算する。類似度演算部９２２は更に、各分離画像の特徴量（個別特徴量）と、オブジェクト認識用データ１０５に記録された商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ１０５に記録された商品等との類似度をそれぞれ算出する。

ここで、類似度とは、オブジェクト認識用データ１０５に記録されている商品等がリファレンスとして想定する物体（画像）の特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部９２２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量毎に重み付けをしてもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。例えば、下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１０月３１日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）毎に領域分割することによって一般物体認識を行う技術は、例えば、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１０月３１日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影画像の特徴量と、オブジェクト認識用データ１０５に記録された商品等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影画像の特徴量と、オブジェクト認識用データ１０５に記録された各商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ１０５として記憶された商品等の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。

また、類似度を相対評価として算出する場合には、各商品等との類似度の総和が１．０（１００％）となるよう算出する。例えば、オブジェクト認識用データ１０５として商品Ａ，Ｂ、付属品Ｍ，Ｎの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、付属品Ｍに対しては類似度が０．１、付属品Ｎに対しては類似度が０．０５、等のように算出する。

類似度判断部９２３は、物体の分離画像毎に、所定のアルゴリズムにより、類似度演算部９２２が算出した類似度に基づいて、例えば、対応する商品等に関して次の３択で判断する。
（１）分離画像に対応する商品等（商品、付属品）が一意に決定された。
（２）分離画像に対応する商品等（商品、付属品）の候補が１つ以上存在する。
（３）分離画像に対応する商品等（商品、付属品）が無いと決定する。

この判断のための条件として、例えば、記憶部１０４は、次に説明する条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい商品等の類似度が９０％以上」、かつ、「類似度の一番大きい商品等の類似度と、類似度の二番目に大きい商品等の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品等が類似度９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａが一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品等が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品等が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在すると判断する。

条件Ｘ，Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ，Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像の物体について、商品等が一意に確定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１による表示やスピーカ１８による音声出力等によってオペレータや顧客に報知する。
より詳細には、確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像を、例えば、緑の枠線と共に顧客用ディスプレイ１１やディスプレイ１２Ａに表示することで、分離画像に対応した商品等が一意に確定されたことを示す。

候補商品提示部９４は、類似度判断部９２３が上記（２）と判断した分離画像を、例えば、黄色の枠線と共にディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、分離画像に対応した商品等の候補が１つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル１２Ｂを介してタッチすることで、ディスプレイ１２Ａには、商品等の候補である写真画像および商品等の名称が、類似度の高いものから順に表示される。
このとき候補商品提示部９４は、条件Ｙを満たした商品等の写真画像および商品等の名称をオブジェクト認識用データ１０５および商品内容データ１０６から読み出し、類似度演算部９２２が算出した類似度の高いものから、ディスプレイ１２Ａに順次表示させる。

なお、ディスプレイ１２Ａに商品等の候補の写真画像が表示されていても、これら商品等の候補に対する選択操作がない場合には、撮影装置１５による撮影と、画像記憶部９１による画像の記憶処理と、物体検出部９２１による物体の検出処理と、類似度演算部９２２による類似度の演算処理とは継続される。

入力取得部９５は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（２）と判断され、黄色の枠線と共にディスプレイ１２Ａに分離画像が表示された場合、入力取得部９５は、オペレータによるタッチパネル１２Ｂを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、商品等の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。

売上登録部９６は、商品等の名称またはＩＤに基づいて、オブジェクト認識用データ１０５、商品内容データ１０６を参照し、その商品等の売上登録を行う。具体的には、売上登録部９６は、例えば、販売日時、販売商品、売上金額等に加えて、顧客の客層、および、個別特徴量を一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。売上登録部９６は更に、ＲＡＭ１０２等に記録した売上の仮登録情報を売上マスタ１０７等に記録して、売上登録を行う。

情報出力部９７は、上述のようにして確定された商品等のＩＤと、これに対応する商品分類、商品名、単価、販売個数等を顧客用ディスプレイ１１、ディスプレイ１２Ａに送信して表示させたり、プリンタ１４に送信して印刷（印字）させたりする等の各種の出力を行う。

人気分析処理部９８は、売上マスタ１０７に記憶された同一種別の複数の商品について、客層の情報および個別特徴量を参照することで、商品の客層別の人気度を分析する（図１２で後記）。また、人気分析処理部９８は、情報出力部９７を用いて、分析された商品の客層別の人気度を、商品個別情報に基づく特徴情報と共に出力する。

ここで、商品個別情報に基づく特徴情報としては、例えば、その商品が属するグループの代表画像（詳細は後記）や、認識画像の中でその商品種別の基準画像や不人気商品画像と比較した場合の特徴を色分けや文字メッセージ等で明示した画像等が挙げられるが、これらに限定されない。第１の実施形態では、当該特徴情報としてグループの代表画像を採用する。

また、人気分析処理部９８による情報出力部９７を用いた商品個別情報に基づく特徴情報の出力としては、例えば、顧客用ディスプレイ１１やタッチディスプレイ１２にその情報を送信して表示させることや、プリンタ１４や他のプリンタにその情報を送信して印刷させることや、売上処理装置１以外のコンピュータ装置（例えば本部のパソコン）にその情報を分析結果として送信して記憶させること等が挙げられるが、これらに限定されない。なお、出力する情報に音声データを含め、送信先装置で音声出力させてもよい。

図４は、客層識別用付属品としてのトレー３を示す図である。
図４（ａ）に示すように、男性用トレー３Ａ（３）は、半透明の水色のトレーである。
図４（ｂ）に示すように、女性用トレー３Ｂ（３）は、半透明のピンク色のトレーである。

このように、２種類のトレー３（３Ａ，３Ｂ）は、水色が男性用、ピンク色が女性用となっているので、オペレータ（店員）にとってわかりやすい。したがって、オペレータ（店員）は、顧客にトレー３を渡すとき、その顧客の容姿（顔など）を見て、男性、女性のいずれの客層であるかを認識し、その客層に対応するトレー３（３Ａ，３Ｂのいずれか）を容易に選び、その顧客に渡すことができる。

図５は、第１の実施形態における、ベーカリーの陳列台６にあんパンを載せている様子の例を示す図である。図５では、図示および説明を簡潔にするために、上面視の全体形状と、全体の大きさの２点に関し、４種類のあんパンを示している。

あんパン５Ａ（５）は、上面視で全体の真円度（以下、単に「真円度」という。）が高い円形状で、全体の大きさ（以下、単に「大きさ」という。）が大きい。
また、あんパン５Ｂ（５）は、真円度が低い楕円形状で、大きさが大きい。
また、あんパン５Ｃ（５）は、真円度が低い楕円形状で、大きさが小さい。
また、あんパン５Ｄ（５）は、真円度が高い円形状で、大きさが大きい。

このように、同一種別の商品でありながら外観上の個体差がある４つのあんパン５Ａ〜５Ｄが陳列台６に載せられている場合、顧客は、あんパン５を購入するとき、自分の嗜好に基づいてあんパン５Ａ〜５Ｄから選択することになる。

図６は、第１の実施形態における画面遷移の例を示す図である。この画面は、タッチディスプレイ１２（図２）に表示される。
図６（ａ）は、あんパン５（あんパン５Ａ〜５Ｄのいずれか）を載せたトレー３が撮影台１６に置かれたときの画面の例を示す図である。

まず、タッチディスプレイ１２には、撮影装置１５によるスルー画が表示される。顧客は、トレー３に商品であるあんパン５を載せて、このトレー３を撮影台１６に載せる。オペレータが画面右下の撮影ボタンにタッチして撮影を開始すると、タッチディスプレイ１２には図６（ｂ）の画面が表示される。

図６（ｂ）の画面で、あんパン５には緑の輪郭（破線で図示）が付与され、あんパン５の分離画像に対応した商品が一意に確定されたことを示す。また、あんパン５に対応して、商品の内容を示す「あんパン・１５０円」のウインドウが表示される。また、客層識別用付属品であるトレー３にも緑の輪郭（破線で図示）が付与され、トレー３の分離画像に対応した物品が一意に確定されたことを示す。また、この客層識別用付属品であるトレー３を認識することで、対応する客層を特定することができる。

この後、オペレータ（店員）は、画面右下の確定ボタンをタッチする。これにより、タッチディスプレイ１２には、図６（ｃ）の画面が表示される。図６（ｃ）の画面では、販売商品の商品名と単価とが表示され、更に合計金額が表示される。オペレータが画面右下の精算ボタンにタッチして精算を実行すると、これらの商品の販売に関する情報が、撮影したあんパン５の画像から算出した個別特徴量、および、トレー３により特定した客層の情報と共に売上マスタ１０７に登録される。

図７は、第１の実施形態における売上処理装置１の動作を示すアクティビティ図である。
売上処理装置１は、電源がオンされると、モードＭ１０のスルー画表示モードに遷移する。
モードＭ１０は、スルー画表示モードである。このとき、売上処理装置１は、撮影装置１５のスルー画をそのままタッチディスプレイ１２に表示する。具体的には、このスルー画とは、図６（ａ）に例示した画面である。モードＭ１０において画面上の撮影ボタンがタッチされると、売上処理装置１はモードＭ１１に遷移する。

モードＭ１１は、商品等認識処理モードである。このとき売上処理装置１は、撮影装置１５による撮影画像にオブジェクト認識処理を行い、商品等を認識する。商品等認識処理の詳細は、後記する図１１で詳細に説明する。モードＭ１１において商品等認識処理が終了すると、売上処理装置１はモードＭ１２に遷移する。

モードＭ１２は、認識結果表示モードである。このとき、売上処理装置１は、商品等認識処理の結果を表示する。具体的には、この商品等認識処理の結果の表示とは、図６（ｂ）に例示した画面である。なお、モードＭ１１、モードＭ１２では、類似度判断部９２３が前記した「（２）分離画像に対応する商品等（商品、付属品）の候補が１つ以上存在する。」と判断した場合の各処理、すなわち、分離画像を黄色の枠線で囲った表示や、候補である写真画像等の表示およびその選択入力受付等も行う。モードＭ１２において画面上の確定ボタンがタッチされると、売上処理装置１はモードＭ１３に遷移する。

モードＭ１３は、精算画面表示モードである。このとき、売上処理装置１は、精算画面を表示してオペレータに確認を促す。具体的には、この精算画面表示とは、図６（ｃ）に例示した画面である。モードＭ１３において画面上の精算ボタンがタッチされると、売上処理装置１はモードＭ１４に遷移する。

モードＭ１４は、売上マスタ登録処理モードである。このとき売上処理装置１は、販売日時、販売商品、売上金額等のほかに、個別特徴量、および、客層の情報を売上マスタ１０７に登録する。
モードＭ１４の後、売上処理装置１は、一連の処理を終了する。

図８は、第１の実施形態におけるオブジェクト認識用データ１０５の一例を示す図である。
オブジェクト認識用データ１０５は、商品等に係る特徴量欄１０５ａと、画像リンク欄１０５ｂと、種別欄１０５ｃと、対応する商品等名称欄１０５ｄと、客層欄１０５ｅと、を含んで構成される。なお、オブジェクト認識用データ１０５は、これらの欄に限定されず、オブジェクト認識に係る任意のデータの欄を含んでもよい。

特徴量欄１０５ａは、この商品等（パンや付属品）の種類毎にモデル化された特徴量を格納する。この特徴量は、このリファレンス画像の大きさ、形状、色、絵柄の状態等を示す情報である。類似度判断部９２３は、特徴量欄１０５ａを参照することにより、分離画像に係る物体がどの商品等と類似度が高いかを判断することができる。
画像リンク欄１０５ｂは、この商品等に係るリファレンス画像のリンク先情報を格納する。

種別欄１０５ｃは、この商品等が、商品、客層識別用付属品以外の付属品、客層識別用付属品（トレー３）のいずれであるかの種別を格納する。
商品等名称欄１０５ｄは、この商品等の名称を格納する。例えば、種別欄１０５ｃに「商品」が格納されているとき、商品等名称欄１０５ｄには、商品の商品名が格納される。

客層欄１０５ｅは、種別欄１０５ｃに「客層識別用付属品」が格納されている場合に、その客層識別用付属品に対応する客層が格納される。処理部９は、一意に確定した商品等に係る種別欄１０５ｃが「客層識別用付属品」であるとき、この客層欄１０５ｅを参照することで、対応する客層を認識することができる。具体的には、例えば、処理部９は、種別欄１０５ｃが「客層識別用付属品」で、客層欄１０５ｅが「男性」であるとき、対応する客層が「男性」であることを認識することができる。

図９は、第１の実施形態における商品内容データ１０６の一例を示す図である。
商品内容データ１０６は、商品名欄１０６ａと、画像リンク欄１０６ｂと、単価欄１０６ｃとを含んで構成される。なお、商品内容データ１０６は、これらの欄に限定されず、商品に係る任意の内容データの欄を含んでもよい。

商品名欄１０６ａには、商品の商品名が格納される。
画像リンク欄１０６ｂには、オブジェクト認識用データ１０５の画像リンク欄１０５ｂと同様、商品の画像リンク先情報が格納される。
単価欄１０６ｃには、商品の単価が格納される。売上処理装置１の売上登録部９６は、この単価欄１０６ｃを参照して、売上を算出する。

図１０は、第１の実施形態における売上マスタ１０７の例を示す図である。
売上マスタ１０７は、顧客No.欄１０７ａと、販売日時欄１０７ｂと、販売商品欄１０７ｃと、売上金額欄１０７ｄと、特徴量欄１０７ｅと、客層欄１０７ｆと、を含んで構成される。なお、売上マスタ１０７は、これらの欄に限定されず、売上に係る任意のデータの欄を含んでもよい。

顧客No.欄１０７ａには、商品を購入した顧客毎のシリアルナンバーが格納される。
また、販売日時欄１０７ｂには、商品の販売日時が格納される。
また、販売商品欄１０７ｃには、販売した商品の名称が格納される。
また、売上金額欄１０７ｄには、売上金額が格納される。

特徴量欄１０７ｅには、販売商品の個別特徴量が格納される。売上処理装置１の売上登録部９６は、販売商品の画像情報から算出した個別特徴量をこの特徴量欄１０７ｅに登録する。
客層欄１０７ｆには、商品を購入した顧客の客層が格納される。売上処理装置１の売上登録部９６は、オブジェクト認識用データ１０５（図８）の種別欄１０５ｃ、客層欄１０５ｅを参照し、客層識別用付属品（トレー３）に対応する客層をこの客層欄１０７ｆに登録する。

図１１は、第１の実施形態における商品等認識処理（図７のモードＭ１１）を示すフローチャートである。
顧客がトレー３を撮影台１６に載せて、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすると（図６（ａ））、処理部９は、一連の処理を開始する。
ステップＳ１において、処理部９は、撮影装置１５に撮影オン信号を出力して画像のキャプチャ（撮影）を開始する。画像記憶部９１は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ１０２に記憶する。

ステップＳ２において、オブジェクト認識処理部９２は、画像記憶部９１が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部９２１は、商品等である物体の分離画像の認識（検出）を試みる。類似度演算部９２２は、検出した分離画像から特徴量を演算し、各商品等との類似度を算出する。更に類似度判断部９２３が、前記所定のアルゴリズムにより、対応する商品等を判定する。

具体的には、トレー３にあんパン５が載っているとき（図６（ａ）、（ｂ））、物体検出部９２１は、あんパン５の分離画像を検出する。類似度演算部９２２は、あんパン５の分離画像から特徴量（個別特徴量）を演算し、各商品等との類似度を算出する。類似度判断部９２３は、前記所定のアルゴリズムにより、あんパン５の分離画像のオブジェクトがあんパンであると判定する。

また、物体検出部９２１は、トレー３の分離画像を検出する。類似度演算部９２２は、トレー３の分離画像から特徴量を演算し、各商品等との類似度を算出する。類似度判断部９２３は、前記所定のアルゴリズムにより、トレー３の分離画像のオブジェクトが客層識別用付属品であるトレーであると判定する。

次に、処理部９は、認識したオブジェクト分、ステップＳ３〜Ｓ１０の処理を繰り返す。この繰り返し処理により、商品販売情報と個別特徴量と客層の情報の仮登録が行われる。ここで、商品販売情報と個別特徴量と客層の情報の仮登録とは、売上マスタ１０７以外の任意の記憶領域（例えばＲＡＭ１０２）に、それら情報を一時的に格納することをいう。

ステップＳ４において、売上登録部９６は、客層識別用付属品を検出したか否かを判定し、Ｙｅｓの場合はステップＳ５に進み、Ｎｏの場合はステップＳ７に進む。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の種別欄１０５ｃ（図８）を参照し、認識したオブジェクトであるトレー３、あんパン５のうち、「種別」が「客層識別用付属品」になっているトレー３についてだけ「Ｙｅｓ」なのでステップＳ５に進み、残りのあんパン５については「Ｎｏ」なのでステップＳ７に進む。

ステップＳ５において、売上登録部９６は、客層を検索する。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の客層欄１０５ｅ（図８参照）を検索し、このトレー３（男性用トレー３Ａ（３）であるものとする。）に対応する客層が「男性」であることを特定する。ステップＳ５の後、ステップＳ６に進む。

ステップＳ６において、売上登録部９６は、この客層を売上に仮登録する。具体的には、売上登録部９６は、この販売に関する顧客の客層が「男性」であることを一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。ステップＳ６の後、ステップＳ７に進む。

ステップＳ７において、売上登録部９６は、商品を検出したか否かを判定し、Ｙｅｓの場合はステップＳ８に進み、Ｎｏの場合はステップＳ１０に進む。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の種別欄１０５ｃ（図８）を参照し、認識したオブジェクトであるトレー３、あんパン５のうち、「種別」が「商品」になっているあんパン５についてだけ「Ｙｅｓ」なのでステップＳ８に進み、残りトレー３については「Ｎｏ」なのでステップＳ１０に進む。

ステップＳ８において、売上登録部９６は、商品を検索する。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の商品等名称欄１０５ｄ（図８参照）を検索し、あんパン５に対応する商品が「あんパン」であることを特定する。ステップＳ８の後、ステップＳ９に進む。

ステップＳ９において、売上登録部９６は、この商品を売上に仮登録する。具体的には、売上登録部９６は、販売した商品が「あんパン」であることと、ステップＳ２で算出した個別特徴量を一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。

処理部９は、認識したオブジェクト分、ステップＳ３〜Ｓ１０の処理を繰り返した後、処理を終了する。
なお、図７のアクティビティ図からわかるように、図１１のモードＭ１１において仮登録した販売商品情報と個別特徴量と客層の情報は、最終的に、モードＭ１４の売上マスタ登録処理モードにおいて、売上登録部９６によって売上マスタ１０７に反映（登録）される。

このように、本実施形態の売上処理装置１によれば、商品（あんパン５など）と客層識別用付属品（トレー３）を一緒にオブジェクト認識させることで、客層の情報の売上マスタ１０７への登録を簡易に行うと共に、個別特徴量を売上マスタ１０７に登録することができる。

図１２は、第１の実施形態における客層別商品人気分析処理を示すフローチャートである。例えば、ベーカリーの閉店後に、オペレータがタッチディスプレイ１２上で客層別商品人気分析開始の操作をすると、処理部９の人気分析処理部９８は、一連の処理を開始する。ここでは、あんパン５の客層別商品人気分析処理を行うものとする。

ステップＳ１１において、人気分析処理部９８は、売上マスタ１０７（図１０）から、分析対象の販売商品であるあんパン５の個別特徴量（特徴量欄１０７ｅ）と、客層の情報（客層欄１０７ｆ）を読み出す。

次に、ステップＳ１２において、人気分析処理部９８は、分析対象の販売商品であるあんパン５を、売上マスタ１０７（図１０）の客層の情報（客層欄１０７ｆ）に基づいて、購入した客層の傾向で複数のグループに分類する。具体的には、ここでは、男性のみが購入したあんパン５（商品）と、女性のみが購入したあんパン５（商品）と、男女両方が購入したあんパン５（商品）と、に分類する。この分類の例について、図１３を参照して説明する。

図１３は、第１の実施形態における、あんパンの特徴量座標平面の例を示す図である。ここでは、図示および説明を簡潔にするために、あんパン５における複数の特徴量のうち、真円度（横軸）と、大きさ（縦軸）の２つの特徴量に着目して説明する。

図１３において、販売した複数のあんパン５のうち、男性が購入したあんパン５の分布を示すのがグループＧ１で、女性が購入したあんパン５の分布を示すのがグループＧ２であるものとする。

その場合、男性のみが購入したあんパン５の分布を示すのがグループＧ１２（重心部分はＰ１２）で、女性のみが購入したあんパン５の分布を示すのがグループＧ１３（重心部分はＰ１３）で、男女両方が購入したあんパン５の分布を示すのがグループＧ１１（重心部分はＰ１１）となる。

図１２に戻って、次に、ステップＳ１３において、人気分析処理部９８は、情報出力部９７を用いて、分類したグループＧ１１〜Ｇ１３毎の代表画像と購入層（購入した客層の傾向）をタッチディスプレイ１２に表示させる。この表示の例について、図１４を参照して説明する。なお、グループＧ１１〜Ｇ１３毎の代表画像は、例えば、図１３のそれぞれの領域の重心部分Ｐ１１〜Ｐ１３に対応する画像を使用すればよい。

図１４は、第１の実施形態における、あんパン５のグループ毎の代表画像を購入層と共に表示した画面の例を示す図である。図１４に示すように、タッチディスプレイ１２に、左から順に、購入層が男女両方のグループＧ１１の代表画像、購入層が男性のみのグループＧ１２の代表画像、購入層が女性のみのグループＧ１３の代表画像がそれぞれ表示領域２１，２２，２３に表示される。

オペレータや経営者等は、この画面を見ることで、あんパン５の外観上の個体差が客層別の売上にどのように影響しているのかを知ることができ、次回以降、その商品を手作りする際の参考にして、売上や顧客満足度の向上等を図ることができる。具体的には、図１４の例では、真円度が高くて大きさが大きいあんパン５（グループＧ１１）は男女両方に購入されていることがわかる。また、表示領域２２，２３を見比べることで、男性は、真円度が高いことよりも大きさが大きいことを重要視してあんパン５を購入していることがわかる。また、女性は、逆に、大きさが大きいことよりも真円度が高いことを重要視してあんパン５を購入していることがわかる。したがって、例えば、女性客が多い時間帯（日中等）は真円度が高いあんパン５を多めに作るようにし、また、男性客が多い時間帯（夜等）は大きさが大きいあんパン５を多めに作るようにすればよい。

このように、第１の実施形態の売上処理装置１によれば、外観上の個体差がある商品（あんパン５）の画像認識による商品登録時に、客層識別用付属品（トレー３）を用いることで合わせて客層の情報の登録を簡易に行い、さらに、商品の客層別の人気分析を行い、分析結果を表示することができる。

（第２の実施形態）
次に、第２の実施形態について、図１５、図１６を用いて説明する。図１〜図１１は、第１の実施形態と共通なので、説明を省略する。第１の実施形態では、分析対象の販売商品であるあんパン５を、男性のみが購入したあんパン５と、女性のみが購入したあんパン５と、男女両方が購入したあんパン５と、に分類し、それぞれの代表画像と購入層を表示した。第２の実施形態は、分析対象の販売商品であるあんパン５を、男性が購入したあんパン５と、女性が購入したあんパン５とに分類し、それぞれの代表画像と購入層を表示する例である。また、第２の実施形態では、着目する２つの特徴量を特に指定せずに、特徴量Ｘ，Ｙとする。したがって、図１５、図１６は大まかなイメージ図である。

図１５は、第２の実施形態における、あんパンの特徴量座標平面の例を示す図であり、横軸は特徴量Ｘで、縦軸は特徴量Ｙである。図１５において、販売した複数のあんパン５のうち、男性が購入したあんパン５の分布を示すのがグループＧ２１（重心部分はＰ２１）で、女性が購入したあんパン５の分布を示すのがグループＧ２２（重心部分はＰ２２）である。

図１６は、第２の実施形態における、あんパン５のグループ毎の代表画像を購入層と共に表示した画面の例を示す図である。図１６に示すように、タッチディスプレイ１２に、左から順に、購入層が男性のグループＧ２１の代表画像、購入層が女性のグループＧ２２の代表画像が、それぞれ表示領域３１，３２に表示される。

オペレータや経営者等は、この画面を見ることで、男性が好むあんパン５と女性が好むあんパン５の外観上の個体差を認識し、次回以降、あんパン５を手作りする際の参考等にすることができる。

（第３の実施形態）
次に、第３の実施形態について、図１７、図１８を用いて説明する。図１〜図１１は、第１の実施形態と共通なので、説明を省略する。第３の実施形態では、第２の実施形態と同様、着目する２つの特徴量を特に指定せずに、特徴量Ｘ，Ｙとする。したがって、図１７、図１８は大まかなイメージ図である。第３の実施形態は、分析対象の販売商品であるあんパン５について、女性のみが購入したあんパン５のグループが存在しない場合に、男性のみが購入したあんパン５のグループをさらに複数の子グループに分類して、それぞれの代表画像と購入層を表示する例である。

図１７は、第３の実施形態における、あんパンの特徴量座標平面の例を示す図であり、横軸は特徴量Ｘで、縦軸は特徴量Ｙである。図１７において、販売した複数のあんパン５のうち、男性が購入したあんパン５の分布を示すのがグループＧ３１で、女性が購入したあんパン５の分布を示すのがグループＧ３２（重心部分はＰ３２）である。

また、男性のみが購入したあんパン５のグループを、さらに複数の子グループＧ４１（重心部分はＰ４１），Ｇ４２（重心部分はＰ４２），Ｇ４３（重心部分はＰ４３），Ｇ４４（重心部分はＰ４４）に分類した。

図１８は、第３の実施形態における、あんパン５のグループ、子グループ毎の代表画像を購入層と共に表示した画面の例を示す図である。図１８に示すように、タッチディスプレイ１２に、上段の左から順に、購入層が男女両方のグループＧ３２の代表画像、購入層が男性のみＡの子グループＧ４１の代表画像、購入層が男性のみＢの子グループＧ４２の代表画像が、それぞれ表示領域４１，４２，４３に表示される。また、下段の左から順に、購入層が男性のみＣの子グループＧ４３の代表画像、購入層が男性のみＤの子グループＧ４４の代表画像が、それぞれ表示領域４４，４５に表示される。なお、女性のみが購入したあんパン５のグループは存在しないので、表示領域４６には代表画像が表示されない。

オペレータや経営者等は、この画面を見ることで、男女両方が好むあんパン５の代表画像だけでなく、男性のみが購入した（つまり、女性に不人気の）あんパン５の複数種類の代表画像を認識し、次回以降、あんパン５を手作りする際の参考等にすることができる。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｊ）のようなものがある。

（ａ）上記実施形態では、商品をパンとした。しかし、それら以外のものでも、例えば、外観上の個体差がある手作りのケーキ、和菓子、ぬいぐるみ、こけし等の物品を商品としてもよい。

（ｂ）上記実施形態では、バックライトによって半透明なトレー上のパン等を照らして撮影している。しかし、これに限定されず、不透明なトレーを使い、上方からの照明によってトレー上のパン等を照らして撮影してもよい。

（ｃ）上記実施形態では、図示および説明を簡潔にするために、商品（あんパン５）の特徴量を二次元として説明した。しかし、これに限定されず、商品の特徴量を三次元以上としてもよい。

（ｄ）上記実施形態では、商品（あんパン５）の撮影画像に基づいて個別特徴量を算出し、保存し、使用するものとした。しかし、これに限定されず、商品（あんパン５）の撮影画像をその商品種別の基準画像と比較して、その差分に基づいて個別特徴量を算出し、保存し、使用するものとしてもよい。

（ｅ）上記実施形態では、一日の営業に関して客層別商品人気分析を行った。しかし、これに限定されず、一日の営業の中の所定時間帯に関してや、複数の営業日に関して、客層別商品人気分析を行ってもよい。例えば、ベーカリーのように複数のロット（焼き上がり）がある場合、例えば、そのロット時間帯毎に客層別人気分析を行えばよい。

（ｆ）上記実施形態では、客層識別用付属品としてトレー３を採用した。しかし、これに限定されず、例えば、客層識別用付属品としてコースター、スプーン、フォーク、箸、ストロー、ナプキン、トング、食器、景品（おもちゃ等）、リーフレット、広告チラシ、ポイントカード、クーポン、スクラッチカードなどの他の物品を採用してもよい。

（ｇ）上記実施形態では、図示および説明を簡潔にするために、客層を、男性、女性の２種類に分けた。しかし、これに限定されず、例えば、男女それぞれを年齢層毎に区分して、９歳以下、１０歳〜１９歳、２０歳〜２９歳、３０歳〜３９歳、４０歳〜４９歳、５０歳〜５９歳、６０歳〜６９歳、７０歳以上に分け、それぞれの客層に対応する客層識別用付属品を用いるようにしてもよい。

（ｈ）商品の客層別人気分析を行う際、商品の販売順序（図１０の売上マスタ１０７の顧客No.欄１０７ａの数値）や販売時刻（図１０の売上マスタ１０７の販売日時欄１０７ｂの情報）を考慮してもよい。具体的には、例えば、男女両方に売れている商品グループであっても、男性には早く売れていて、女性には遅く売れているときは、男性に人気があって女性に不人気であると判断するようにすればよい。

（ｉ）上記実施形態では、画像認識した個別商品毎に、商品個別情報として個別特徴量を算出して記憶した（図１０の売上マスタ１０７の特徴量欄１０７ｅ）。しかし、これに限定されず、個別特徴量は記憶せずに、代わりに、商品個別情報として認識画像そのもの（商品個別情報）を個々の商品に対応する情報として記憶するようにしてもよい。

（ｊ）上記実施形態では、人気度が高いグループの商品の代表画像として、特徴量座標平面（図１３、図１５、図１７）におけるそのグループの領域の重心部分に対応する画像を使用するものとした。しかし、これに限定されず、グループの代表画像として、一番人気の（つまり、最初に販売された）商品の画像そのものを使用してもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う売上処理装置であって、
顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段と、
前記撮影画像の認識処理により前記商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて前記記憶手段に記憶させると共に、前記撮影画像内に前記客層識別用物品が認識されていれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を前記記憶手段に記憶させる記憶制御手段と、
前記記憶手段に記憶された同一種別の複数の商品について、前記客層の情報および前記商品個別情報を参照することで、客層別の人気度を分析する人気分析手段と、
前記人気分析手段により分析された商品の客層別の人気度を、前記商品個別情報に基づく特徴情報と共に出力する出力手段と、
を備えたことを特徴とする売上処理装置。
＜請求項２＞
前記記憶制御手段は、前記商品個別情報として、前記撮影画像の認識処理により取得した前記商品の個別特徴量を、前記記憶手段に記憶させ、
前記人気分析手段は、前記記憶手段に記憶された同一種別の複数の商品を、前記客層の情報に基づいて、購入した客層の傾向で複数のグループに分類し、
前記複数のグループそれぞれについて、属する商品の前記個別特徴量に基づいて、前記商品個別情報に基づく特徴情報として代表画像を生成し、
前記出力手段は、前記複数のグループ毎の代表画像を、前記購入した客層の傾向とともに出力する、
ことを特徴とする請求項１に記載の売上処理装置。
＜請求項３＞
撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う際に、顧客に提供される客層識別用物品毎に客層の情報を対応付けて記憶する記憶手段を用いて行う客層別商品人気分析方法であって、
前記撮影画像の認識処理により前記商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて前記記憶手段に記憶させると共に、前記撮影画像内に前記客層識別用物品が認識されていれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を前記記憶手段に記憶させる記憶制御ステップと、
前記記憶手段に記憶された同一種別の複数の商品について、前記客層の情報および前記商品個別情報を参照することで、客層別の人気度を分析する人気分析ステップと、
前記人気分析ステップで分析された商品の客層別の人気度を、前記商品個別情報に基づく特徴情報と共に出力する出力ステップと、
を含むことを特徴とする客層別商品人気分析方法。

１ 売上処理装置
１０１ ＣＰＵ （制御手段、記憶制御手段の一例）
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 記憶部 （記憶手段の一例）
１０５ オブジェクト認識用データ
１０６ 商品内容データ
１０７ 売上マスタ
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置
１５１ 撮影領域
１６ 撮影台
１７ バックライト光源
１８ スピーカ
２ カウンタ台
３、３Ａ、３Ｂ トレー （客層識別用物品の一例）
５、５Ａ〜５Ｄ あんパン （商品の一例）
６ 陳列台
９ 処理部
９１ 画像記憶部
９２ オブジェクト認識処理部
９２１ 物体検出部
９２２ 類似度演算部
９２３ 類似度判断部
９３ 確定通知部
９４ 候補商品提示部
９５ 入力取得部
９６ 売上登録部
９７ 情報出力部 （出力手段の一例）
９８ 人気分析処理部 （人気分析手段の一例）

Claims (3)

1. 撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う売上処理装置であって、
   顧客に提供される客層識別用物品毎に、客層の情報を対応付けて記憶する記憶手段と、
   前記撮影画像の認識処理により前記商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて前記記憶手段に記憶させると共に、前記撮影画像内に前記客層識別用物品が認識されていれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を前記記憶手段に記憶させる記憶制御手段と、
   前記記憶手段に記憶された同一種別の複数の商品について、前記客層の情報および前記商品個別情報を参照することで、客層別の人気度を分析する人気分析手段と、
   前記人気分析手段により分析された商品の客層別の人気度を、前記商品個別情報に基づく特徴情報と共に出力する出力手段と、
   を備えたことを特徴とする売上処理装置。
2. 前記記憶制御手段は、前記商品個別情報として、前記撮影画像の認識処理により取得した前記商品の個別特徴量を、前記記憶手段に記憶させ、
   前記人気分析手段は、前記記憶手段に記憶された同一種別の複数の商品を、前記客層の情報に基づいて、購入した客層の傾向で複数のグループに分類し、
   前記複数のグループそれぞれについて、属する商品の前記個別特徴量に基づいて、前記商品個別情報に基づく特徴情報として代表画像を生成し、
   前記出力手段は、前記複数のグループ毎の代表画像を、前記購入した客層の傾向とともに出力する、
   ことを特徴とする請求項１に記載の売上処理装置。
3. 撮影画像の認識処理により商品の種別を特定して当該商品の売上処理を行う際に、顧客に提供される客層識別用物品毎に客層の情報を対応付けて記憶する記憶手段を用いて行う客層別商品人気分析方法であって、
   前記撮影画像の認識処理により前記商品の種別を特定して当該商品の売上処理を行う際に、当該撮影画像の認識処理により取得した当該商品の外観上の個体差に基づく商品個別情報を、当該商品の種別に対応付けて前記記憶手段に記憶させると共に、前記撮影画像内に前記客層識別用物品が認識されていれば、前記記憶手段を参照して当該客層識別用物品に対応する客層の情報を取得し、当該取得した客層の情報を前記記憶手段に記憶させる記憶制御ステップと、
   前記記憶手段に記憶された同一種別の複数の商品について、前記客層の情報および前記商品個別情報を参照することで、客層別の人気度を分析する人気分析ステップと、
   前記人気分析ステップで分析された商品の客層別の人気度を、前記商品個別情報に基づく特徴情報と共に出力する出力ステップと、
   を含むことを特徴とする客層別商品人気分析方法。

Images