JP6528397B2 - 売上処理装置、商品人気分析方法およびプログラム - Google Patents

Description

本発明は、オブジェクト認識を利用した売上処理装置、商品人気分析方法およびプログラムに関する。

手作りのパンを販売するベーカリー（パン屋）において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、ＰＯＳ端末（レジ）で代金の精算を受ける。ここでＰＯＳとは、販売時点情報管理（Point Of Sale system）の略称である。このようなベーカリーでは、手作りのパンを袋詰めせず、陳列台にそのまま陳列することが多い。これにより、出来たてのパンをそのまま味や食感を落とすことなしに顧客に提供でき、かつパンの包装の工数を省略することができる。その反面、パンを袋詰めしないことにより、パンをバーコードで管理できないという問題がある。

手作りのパンの種類は多種・多様であり、同一種別の商品であっても外観が完全に同一とは限らない。従来、ベーカリーの店員は、トレー上のパンの種類を正確に見分けて手作業でＰＯＳ端末に入力する必要があった。よって、店員に対する所定の訓練期間が必要であった。

このため近年では、トレー上のパンをカメラで撮影し、この画像情報からトレー上のパンの種類と数量とを画像認識（オブジェクト認識）して、商品登録を自動化するベーカリー用のＰＯＳ端末が出現している。これにより、ベーカリーの店員の訓練期間を短縮することができる。

そのような従来技術の一例である特許文献１においては、課題として「画像認識によりパンの種類を正確に識別する。」という旨が記載され、構成として「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」という旨が記載されている。

また、従来から、ベーカリー等の商品販売店において、マーケティング等のために、商品毎の売上数や販売時刻を集計して分析する売上分析が行われている。この売上分析によれば、どの商品がどの時間帯にどれだけ売れているかを知ることができ、いわゆる売れ筋商品を特定すること等ができる。

特開２０１１−１７０７４５号公報

しかしながら、前記した従来の売上分析では、同一種別の商品でありながら外観上の個体差がある商品（例えば、手作りのパン、ケーキ、和菓子、ぬいぐるみ、こけし等）について、個体差が売上にどのように影響しているのかを分析することはできない。例えば、手作りのパンの場合、同一種別の商品であっても、パンによって大きさ、形状、色、トッピング（あんパンのゴマ等）の付け方等に個体差があるが、どのようなパンが売れやすく、どのようなパンが売れにくいのかを分析することはできない。個体差による売上への影響（消費者の嗜好）を分析できれば、次回以降、その商品を手作りする際の参考にでき、売上や顧客満足度の向上等を図ることができる。

そこで、本発明は、外観上の個体差がある商品の人気分析を行えるようにすることを目的とする。

上記目的を達成するため、本発明に係る売上処理装置は、画像認識により商品種別を特定して商品の売上処理を行う売上処理装置であって、前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、前記画像認識の際に取得された当該商品の画像情報または当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて販売実績情報として記憶手段に記憶するよう制御する記憶制御手段と、前記記憶手段に記憶された前記販売実績情報を参照することで、当該商品が売れるまでの経過時間に基づいた人気度または互いに同一種別とされた複数の商品のなかでの当該商品の売れた順番に基づいた人気度を、所定の種別とされた商品に対して商品毎に判定する判定手段と、前記判定手段で所定の人気度と判定された商品の前記画像情報または前記商品個別情報を前記人気度に対応付けて出力する出力手段と、
を備えたことを特徴とする。

また、本発明に係る商品人気分析方法は、画像認識により商品種別を特定して商品の売上処理を行う売上処理装置が実行する商品人気分析方法であって、前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、前記画像認識の際に取得された当該商品の画像情報または当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて販売実績情報として記憶手段に記憶する記憶ステップと、前記記憶手段に記憶された前記販売実績情報を参照することで、当該商品が売れるまでの経過時間に基づいた人気度または互いに同一種別とされた複数の商品のなかでの当該商品の売れた順番に基づいた人気度を、所定の種別とされた商品に対して商品毎に判定する判定ステップと、前記判定ステップで所定の人気度と判定された商品の前記画像情報または前記商品個別情報を前記人気度に対応付けて出力する出力ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像認識により商品種別を特定して商品の売上処理を行う売上処理装置のコンピュータを、前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、前記画像認識の際に取得された当該商品の画像情報または当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて販売実績情報として記憶手段に記憶するよう制御する記憶制御手段、前記記憶手段に記憶された前記販売実績情報を参照することで、当該商品が売れるまでの経過時間に基づいた人気度または互いに同一種別とされた複数の商品のなかでの当該商品の売れた順番に基づいた人気度を、所定の種別とされた商品に対して商品毎に判定する判定手段、前記判定手段で所定の人気度と判定された商品の前記画像情報または前記商品個別情報を前記人気度に対応付けて出力する出力手段、として機能させることを特徴とする。

本発明によれば、外観上の個体差がある商品の人気分析を行うことができる。

第１の実施形態における売上処理装置を示す外観斜視図である。 第１の実施形態における売上処理装置を示す構成概略図である。 第１の実施形態における売上処理装置を示す論理ブロック図である。 第１の実施形態における、ベーカリーの陳列台にあんパンを載せている様子の例を示す図である。 第１の実施形態における画面遷移の例を示す図である。 第１の実施形態における売上処理装置の動作を示すアクティビティ図である。 第１の実施形態におけるオブジェクト認識用データの例を示す図である。 第１の実施形態における商品内容データの例を示す図である。 第１の実施形態における売上マスタの例を示す図である。 第１の実施形態における商品等認識処理を示すフローチャートである。 第１の実施形態における商品の人気分析処理を示すフローチャートである。 第１の実施形態における、あんパンの特徴量座標平面の例を示す図である。 第１の実施形態における、あんパンのグループ毎の代表画像を人気度と共に表示した画面の例を示す図である。 第２の実施形態における商品の人気分析処理を示すフローチャートである。 第２の実施形態における、あんパンの特徴量座標平面の例を示す図である。 第２の実施形態における、タイムセール開始前に販売されたあんパンのグループの代表画像と、タイムセール開始後に販売されたあんパンのグループの３つの子グループの代表画像と、を表示した画面の例を示す図である。

以下、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。また、第１の実施形態では、売上処理装置をベーカリーに導入した場合を例にとって説明する。

図１は、第１の実施形態における売上処理装置１を示す外観斜視図である。
図１に示すように、売上処理装置１は、顧客用ディスプレイ１１と、タッチディスプレイ１２と、キャッシュドロワ１３と、プリンタ１４と、撮影装置１５と、撮影台１６とを備えており、ベーカリーにおいて商品の会計を行うカウンタ台２に設置される。なお、商品の会計を行う際、売上処理装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立つ。顧客は、カウンタ台２の図面奥側に立つ。

売上処理装置１は、ＰＯＳ端末として機能し、画像認識により商品であるパン等の種別や個数を特定し、合計代金等の表示や、販売管理・売上処理等の演算・入出力を実行する。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥側を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額等）を表示する。

タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２）の表面にタッチパネル１２Ｂ（図２）が積層されたものであり、オペレータ側である図面手前側を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額等）を表示すると共に、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券等を保管する引出しであり、タッチディスプレイ１２の直下に位置している。
プリンタ１４は、タッチディスプレイ１２の左下に位置しており、商品の会計時に会計の内容（商品名、金額等）をレシートに印字する。

撮影装置１５は、撮影台１６における撮影装置１５によって撮影可能な領域である撮影領域１５１内のトレー３および商品（以下、トレー３等の付属品および商品を総称して「商品等」という。）を真上から撮影する。撮影台１６は、商品を購入する顧客が会計時に商品を載せたトレー３を置く台である。照明装置（不図示）は、この撮影装置１５に隣接して取り付けられており、撮影装置１５による撮影領域１５１を照明する。商品とは、例えば手作りのパンである。

撮影装置１５が撮影する際、撮影領域１５１には照明装置から照明光が照射され、トレー３の下からはバックライト光源１７からのバックライトが上向きに照射される。このトレー３は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー３の色は半透明の白色または淡色とすることが望ましい。更にトレー３は、その上面に微細なマット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。

顧客は、トレー３に商品である任意数のパン（例えばあんパン５）を載せて、このトレー３を撮影台１６に載せる。図１の例では１個のあんパン５がトレー３の上に載せられている。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によって撮影領域１５１内の商品等を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。

トレー３は、前記したように半透明である。そして、トレー３に載った状態のパンを撮影装置１５により撮影する際には、そのトレー３の背後である裏面側に、バックライト光源１７からバックライトを照射する。これにより、照明装置からの照明光によってパンの周囲に形成される影を可及的に排除し得る。撮影装置１５により撮影する際にバックライト光源１７からバックライトが照射された状態にするには、例えば、常にバックライト光源１７を点灯させる。しかし、これに限定されず、バックライト光源１７の点灯と撮影装置１５の撮影とを同期させてもよい。これを実現するためには、売上処理装置１が撮影装置１５とバックライト光源１７を統括して制御し、撮影装置１５の撮影時にバックライト光源１７が同期して点灯するようにすればよい。

売上処理装置１は、撮影装置１５によって撮影された画像を処理することで、トレー３の上の商品を特定する。そして、売上処理装置１は、商品の販売情報を売上マスタ１０７（図３）に登録（売上登録）する。

図２は、第１の実施形態における売上処理装置１を示す構成概略図である。
売上処理装置１は、図１で示した構成以外に、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、記憶部１０４と、スピーカ１８とを備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ１０１は、中央制御装置であり、売上処理装置１全体の制御を司る制御手段である。
ＲＡＭ１０２は、ＣＰＵ１０１によって使用される一時記憶手段であり、ＣＰＵ１０１が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ＲＯＭ１０３は、不揮発性の記憶手段であり、ＣＰＵ１０１によって実行されるプログラム等を記憶する。

顧客用ディスプレイ１１は、ＣＰＵ１０１によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
ディスプレイ１２Ａは、ＣＰＵ１０１によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額等）を表示する表示手段である。
タッチパネル１２Ｂは、ディスプレイ１２Ａに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部１０４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等によって構成され、各種プログラムや各種ファイルを記憶する記憶手段である。記憶部１０４に記憶されている各種プログラムや各種ファイルは、売上処理装置１の起動時に、その全部または一部がＲＡＭ１０２にコピーされてＣＰＵ１０１により実行される。記憶部１０４は、各種ファイルを記憶するが、少なくとも、外観上の個体差がある商品の販売情報を、販売順序が識別可能に記憶する。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成される。撮影装置１５は、ＣＰＵ１０１の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ１０２に保存される。

バックライト光源１７は、ＣＰＵ１０１の制御の下で、撮影装置１５によってトレー３やトレー３の上の商品を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。

キャッシュドロワ１３は、ＣＰＵ１０１の指示により開放制御される。
プリンタ１４は、例えば熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ１０１の指示により、会計の内容をレシートに印字する。
スピーカ１８は、予め設定された報知音等を発生する。スピーカ１８は、ＣＰＵ１０１の制御の下で警告音や音声による報知を行う。

図３は、第１の実施形態における売上処理装置１を示す論理ブロック図である。
売上処理装置１のＣＰＵ１０１（図２）は、ＲＯＭ１０３（図２）に格納された不図示のプログラムを実行することにより、処理部９を具現化する。処理部９は、画像記憶部９１と、オブジェクト認識処理部９２と、確定通知部９３と、候補商品提示部９４と、入力取得部９５と、売上登録部９６と、情報出力部９７と、人気分析処理部９８と、オブジェクト認識用データ更新部９９と、を含んで構成される。このオブジェクト認識処理部９２は、物体検出部９２１と、類似度演算部９２２と、類似度判断部９２３とを備えている。

処理部９は、記憶部１０４に格納されたオブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７とを参照して、各種処理を行う。例えば、処理部９は、画像認識により商品の種別を特定して当該商品の売上処理を行う際に、当該画像認識で取得された当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて記憶部１０４の売上マスタ１０７に記憶させる。

ここで、商品（あんパン５）の外観上の個体差に基づく商品個別情報としては、例えば、商品の認識画像から算出される個別特徴量や、認識画像そのものや、認識画像のその商品種別の基準画像との差分情報等が挙げられるが、これらに限定されない。第１の実施形態では、当該商品個別情報として個別特徴量（例えば、あんパン５の上面視の全体形状や、トッピングであるゴマの配置面積等）を採用する。

また、商品（あんパン５）の売上に基づく販売時点に関する販売時点状況とは、商品の販売順序や販売時刻に関する情報であり、例えば、図９の売上マスタ１０７の顧客No.欄１０７ａの数値（販売順序に相当）や販売日時欄１０７ｂの情報である。第１の実施形態では、当該販売時点状況として顧客No.欄１０７ａの数値を採用する。

オブジェクト認識用データ１０５は、商品（パン等）の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等で構成される。これらの情報は、オブジェクト認識用データ１０５に予め登録されている。オブジェクト認識用データ１０５は、店舗に陳列して販売する商品の各々について、商品の名称またはＩＤ（IDentifier）と、その商品の特徴量との関連付けが設定されたデータファイルであり、商品の認識用の辞書データとして機能する（図７で後記）。

商品内容データ１０６は、商品の内容情報が設定されたデータファイルである。商品内容データ１０６には、商品の内容情報として、商品の名称またはＩＤ、単価等が設定される（図８で後記）。

売上マスタ１０７は、商品の売上登録を記録するファイルであり、販売日時、販売商品、売上金額、個別特徴量等が、販売順序が識別可能に、記録される（図９で後記）。

画像記憶部９１は、撮影装置１５が撮影したフレーム画像（カラーデジタル画像）を順次取り込んで記憶する。
物体検出部９２１は、エッジ検出等を用いて、取り込んだフレーム画像における商品の候補となる画像を背景から分離する、即ち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー３を撮影台１６に載せて、オペレータが撮影を指示すると、処理部９は、撮影装置１５によって撮影台１６上の撮影領域１５１を撮影する。物体検出部９２１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、画像を輪郭線に囲まれた各領域に分離して、物体を検出する。

類似度演算部９２２は、個々の商品の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部９２２は、各分離画像について、大きさ、形状、色、絵柄などのうち少なくとも１つ以上の状態を特徴量として演算する。類似度演算部９２２は更に、各分離画像の特徴量（個別特徴量）と、オブジェクト認識用データ１０５に記録された商品の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ１０５に記録された商品との類似度をそれぞれ算出する。

ここで、類似度とは、オブジェクト認識用データ１０５に記録されている商品がリファレンスとして想定する物体（画像）の特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部９２２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量毎に重み付けをしてもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。例えば、下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１０月３１日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）毎に領域分割することによって一般物体認識を行う技術は、例えば、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１０月３１日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影画像の特徴量と、オブジェクト認識用データ１０５に記録された商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影画像の特徴量と、オブジェクト認識用データ１０５に記録された各商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ１０５として記憶された商品の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。

また、類似度を相対評価として算出する場合には、各商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、オブジェクト認識用データ１０５として商品Ａ，Ｂの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．９５、商品Ｂに対しては類似度が０．０５、のように算出する。

類似度判断部９２３は、物体の分離画像毎に、所定のアルゴリズムにより、類似度演算部９２２が算出した類似度に基づいて、例えば、対応する商品に関して次の３択で判断する。
（１）分離画像に対応する商品が一意に決定された。
（２）分離画像に対応する商品の候補が１つ以上存在する。
（３）分離画像に対応する商品が無いと決定する。

この判断のための条件として、例えば、記憶部１０４は、次に説明する条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい商品の類似度が９０％以上」、かつ、「類似度の一番大きい商品の類似度と、類似度の二番目に大きい商品の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａが一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在すると判断する。

条件Ｘ，Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ，Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像の物体について、商品が一意に確定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１による表示やスピーカ１８による音声出力等によってオペレータや顧客に報知する。
より詳細には、確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像を、例えば、緑の枠線と共に顧客用ディスプレイ１１やディスプレイ１２Ａに表示することで、分離画像に対応した商品が一意に確定されたことを示す。

候補商品提示部９４は、類似度判断部９２３が上記（２）と判断した分離画像を、例えば、黄色の枠線と共にディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、分離画像に対応した商品の候補が１つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル１２Ｂを介してタッチすることで、ディスプレイ１２Ａには、商品の候補である写真画像および商品名が、類似度の高いものから順に表示される。
このとき候補商品提示部９４は、条件Ｙを満たした商品の写真画像および商品名をオブジェクト認識用データ１０５および商品内容データ１０６から読み出し、類似度演算部９２２が算出した類似度の高いものから、ディスプレイ１２Ａに順次表示させる。

なお、ディスプレイ１２Ａに商品の候補の写真画像が表示されていても、これら商品の候補に対する選択操作がない場合には、撮影装置１５による撮影と、画像記憶部９１による画像の記憶処理と、物体検出部９２１による物体の検出処理と、類似度演算部９２２による類似度の演算処理とは継続される。

入力取得部９５は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（２）と判断され、黄色の枠線と共にディスプレイ１２Ａに分離画像が表示された場合、入力取得部９５は、オペレータによるタッチパネル１２Ｂを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、商品の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。

売上登録部９６は、商品の名称またはＩＤに基づいて、オブジェクト認識用データ１０５、商品内容データ１０６を参照し、その商品の売上登録を行う。具体的には、売上登録部９６は、例えば、販売日時、販売商品、売上金額等に加えて、画像情報から算出した個別特徴量を一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。売上登録部９６は更に、ＲＡＭ１０２等に記録した売上の仮登録情報を売上マスタ１０７等に記録して、売上登録を行う。

情報出力部９７は、上述のようにして確定された確定商品等の商品ＩＤと、これに対応する商品分類、商品名、単価、販売個数等を顧客用ディスプレイ１１、ディスプレイ１２Ａに送信して表示させたり、プリンタ１４に送信して印刷（印字）させたりする等の各種の出力を行う。

人気分析処理部９８は、同一種別の複数の商品について、売上マスタ１０７におけるその個々の商品の販売時点状況を参照することで、その個々の商品またはグループの人気度を判定する（図１１、図１４で後記）。
また、人気分析処理部９８は、情報出力部９７を用いて、判定した人気度に対応する個別商品の商品個別情報、あるいはその商品個別情報に基づく特徴情報を出力させる。

ここで、商品個別情報に基づく特徴情報としては、例えば、その商品が属するグループの代表画像（詳細は後記）や、認識画像の中でその商品種別の基準画像や不人気商品画像と比較した場合の特徴を色分けや文字メッセージ等で明示した画像等が挙げられるが、これらに限定されない。第１の実施形態では、当該特徴情報としてグループの代表画像を採用する。

また、人気分析処理部９８による情報出力部９７を用いた商品個別情報、あるいは商品個別情報に基づく特徴情報の出力としては、例えば、顧客用ディスプレイ１１やタッチディスプレイ１２にそれらの情報を送信して表示させることや、プリンタ１４や他のプリンタにそれらの情報を送信して印刷させることや、売上処理装置１以外のコンピュータ装置（例えば本部のパソコン）にそれらの情報を分析結果として送信して記憶させること等（以下、「出力（表示、印刷、送信等）」という。）が挙げられるが、これらに限定されない。なお、出力する情報に音声データを含め、送信先装置で音声出力させてもよい。

オブジェクト認識用データ更新部９９は、オブジェクト認識用データ１０５を更新する（図１１、図１４で後記）。

図４は、第１の実施形態における、ベーカリーの陳列台にあんパンを載せている様子の例を示す図である。図４では、図示および説明を簡潔にするために、上面視の全体形状と、トッピングであるゴマの配置面積の２点に関し、４種類のあんパンを示している。

あんパン５Ａ（５）は、上面視で全体の真円度（以下、単に「真円度」という。）が高い円形状で、ゴマの配置面積が広い。
また、あんパン５Ｂ（５）は、真円度が低い楕円形状で、ゴマの配置面積が狭い。
また、あんパン５Ｃ（５）は、真円度が低い楕円形状で、ゴマの配置面積が広い。
また、あんパン５Ｄ（５）は、真円度が高い円形状で、ゴマの配置面積が狭い。

このように、同一種別の商品でありながら外観上の個体差がある４つのあんパン５Ａ〜５Ｄが陳列台に載せられている場合、顧客は、あんパン５を購入するとき、自分の嗜好に基づいてあんパン５Ａ〜５Ｄから選択することになる。

図５は、第１の実施形態における画面遷移の例を示す図である。この画面は、タッチディスプレイ１２（図２）に表示される。
図５（ａ）は、あんパン５（あんパン５Ａ〜５Ｄのいずれか）を載せたトレー３が撮影台１６に置かれたときの画面の例を示す図である。
まず、タッチディスプレイ１２には、撮影装置１５によるスルー画が表示される。顧客は、トレー３に商品であるあんパン５を載せて、このトレー３を撮影台１６に載せる。オペレータが画面右下の撮影ボタンにタッチして撮影を開始すると、タッチディスプレイ１２には図５（ｂ）の画面が表示される。

図５（ｂ）の画面で、あんパン５には緑の輪郭（破線で図示）が付与され、あんパン５の分離画像に対応した商品が一意に確定されたことを示す。また、あんパン５に対応して、商品の内容を示す「あんパン・１５０円」のウインドウが表示される。

この後、オペレータ（店員）は、画面右下の確定ボタンをタッチする。これにより、タッチディスプレイ１２には、図５（ｃ）の画面が表示される。図５（ｃ）の画面では、販売商品の商品名と単価とが表示され、更に合計金額が表示される。オペレータが画面右下の精算ボタンにタッチして精算を実行すると、これらの商品の販売に関する情報が個別特徴量と共に売上マスタ１０７に登録される。

図６は、第１の実施形態における売上処理装置１の動作を示すアクティビティ図である。
売上処理装置１は、電源がオンされると、モードＭ１０のスルー画表示モードに遷移する。
モードＭ１０は、スルー画表示モードである。このとき売上処理装置１は、撮影装置１５のスルー画をそのままタッチディスプレイ１２に表示する。具体的には、このスルー画とは、図５（ａ）に例示した画面である。モードＭ１０において画面上の撮影ボタンがタッチされると、売上処理装置１はモードＭ１１に遷移する。

モードＭ１１は、商品等認識処理モードである。このとき売上処理装置１は、撮影装置１５による撮影画像にオブジェクト認識処理を行い、商品を認識する。商品等認識処理の詳細は、後記する図１０で詳細に説明する。モードＭ１１において商品等認識処理が終了すると、売上処理装置１はモードＭ１２に遷移する。

モードＭ１２は、認識結果表示モードである。このとき売上処理装置１は、商品等認識処理の結果を表示する。具体的には、この商品等認識処理の結果の表示とは、図５（ｂ）に例示した画面である。なお、モードＭ１１、モードＭ１２では、類似度判断部９２３が前記した「（２）分離画像に対応する商品の候補が１つ以上存在する。」と判断した場合の各処理、即ち、分離画像を黄色の枠線で囲った表示や、候補である写真画像等の表示およびその選択入力受付等も行う。モードＭ１２において画面上の確定ボタンがタッチされると、売上処理装置１はモードＭ１３に遷移する。

モードＭ１３は、精算画面表示モードである。このとき売上処理装置１は、精算画面を表示してオペレータに確認を促す。具体的には、この精算画面表示とは、図５（ｃ）に例示した画面である。モードＭ１３において画面上の精算ボタンがタッチされると、売上処理装置１はモードＭ１４に遷移する。

モードＭ１４は、売上マスタ登録処理モードである。このとき売上処理装置１は、販売日時、販売商品、売上金額等のほかに、個別特徴量を売上マスタ１０７に登録する。
モードＭ１４の後、売上処理装置１は、一連の処理を終了する。

図７は、第１の実施形態におけるオブジェクト認識用データ１０５の一例を示す図である。
オブジェクト認識用データ１０５は、商品に係る特徴量欄１０５ａと、画像リンク欄１０５ｂと、種別欄１０５ｃと、対応する商品名欄１０５ｄと、を含んで構成される。なお、オブジェクト認識用データ１０５は、これらの欄に限定されず、オブジェクト認識に係る任意のデータの欄を含んでもよい。

特徴量欄１０５ａは、この商品（パン等）の種類毎にモデル化された特徴量を格納する。
画像リンク欄１０５ｂは、この商品に係るリファレンス画像のリンクを格納する。特徴量欄１０５ａに格納された特徴量は、このリファレンス画像の大きさ、形状、色、絵柄の状態等を示す情報である。類似度判断部９２３は、特徴量欄１０５ａを参照することにより、分離画像に係る物体がどの商品と類似度が高いかを判断することができる。

種別欄１０５ｃは、この商品等が、商品そのものか、付属品（コースター、スプーン等）のいずれであるかの種別を格納する。
商品名欄１０５ｄは、この商品等の名称を格納する。種別欄１０５ｃに「商品」が格納されているとき、商品名欄１０５ｄには、商品の商品名が格納される。

図８は、第１の実施形態における商品内容データ１０６の一例を示す図である。
商品内容データ１０６は、商品名欄１０６ａと、画像リンク欄１０６ｂと、単価欄１０６ｃとを含んで構成される。なお、商品内容データ１０６は、これらの欄に限定されず、商品に係る任意の内容データの欄を含んでもよい。

商品名欄１０６ａには、商品の商品名が格納される。
画像リンク欄１０６ｂには、オブジェクト認識用データ１０５の画像リンク欄１０５ｂと同様、商品の画像リンクが格納される。
単価欄１０６ｃには、商品の単価が格納される。売上処理装置１の売上登録部９６は、この単価欄１０６ｃを参照して、売上を算出する。

図９は、第１の実施形態における売上マスタ１０７の例を示す図である。
売上マスタ１０７は、顧客No.欄１０７ａと、販売日時欄１０７ｂと、販売商品欄１０７ｃと、売上金額欄１０７ｄと、特徴量欄１０７ｅと、を含んで構成される。なお、売上マスタ１０７は、これらの欄に限定されず、売上に係る任意のデータの欄を含んでもよい。

顧客No.欄１０７ａには、商品を購入した顧客毎のシリアルナンバー（販売順序情報）が格納される。
販売日時欄１０７ｂには、商品の販売日時が格納される。例えば、店である時刻にタイムセール（商品の半額化等）が開始されたとき、商品がタイムセールの前後のどちらの時間帯（販売時間帯）に販売されたかは、この販売日時欄１０７ｂを参照することで特定できる。
販売商品欄１０７ｃには、販売した商品の名称が格納される。
売上金額欄１０７ｄには、売上金額が格納される。
特徴量欄１０７ｅには、販売商品の個別特徴量が格納される。売上処理装置１の売上登録部９６は、販売商品の画像情報から算出した個別特徴量をこの特徴量欄１０７ｅに登録する。

図１０は、第１の実施形態における商品等認識処理（図６のモードＭ１１）を示すフローチャートである。
顧客がトレー３を撮影台１６に載せて、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすると（図５（ａ））、処理部９は、一連の処理を開始する。
ステップＳ１において、処理部９は、撮影装置１５に撮影オン信号を出力して画像のキャプチャ（撮影）を開始する。画像記憶部９１は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ１０２に記憶する。

ステップＳ２において、オブジェクト認識処理部９２は、画像記憶部９１が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部９２１は、商品である物体の分離画像の認識（検出）を試みる。類似度演算部９２２は、検出した分離画像から特徴量を演算し、各商品との類似度を算出する。更に類似度判断部９２３が、前記所定のアルゴリズムにより、対応する商品を判定する。

具体的には、トレー３にあんパン５が載っているとき（図５（ｂ））、物体検出部９２１は、あんパン５の分離画像を検出する。類似度演算部９２２は、あんパン５の分離画像から特徴量（個別特徴量）を演算し、各商品との類似度を算出する。類似度判断部９２３は、前記所定のアルゴリズムにより、あんパン５の分離画像のオブジェクトがあんパンであると判定する。

次に、処理部９は、認識したオブジェクト分、ステップＳ３〜Ｓ１７の処理を繰り返す。この繰り返し処理により、商品販売情報と個別特徴量の仮登録が行われる。ここで、商品販売情報と個別特徴量の仮登録とは、売上マスタ１０７以外の任意の記憶領域（例えばＲＡＭ１０２）に、それら情報を一時的に格納することをいう。

ステップＳ４において、売上登録部９６は、商品を検出したか否かを判定し、Ｙｅｓの場合はステップＳ５に進み、Ｎｏの場合はステップＳ７に進む。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の種別欄１０５ｃ（図７）を参照し、認識したオブジェクトであるあんパン５の「種別」が「商品」になっている（「Ｙｅｓ」）のでステップＳ５に進む。

ステップＳ５において、売上登録部９６は、商品を検索する。具体的には、売上登録部９６は、オブジェクト認識用データ１０５の商品名欄１０５ｄ（図７）を検索し、あんパン５に対応する商品が「あんパン」であることを特定する。ステップＳ５の後、ステップＳ６に進む。

ステップＳ６において、売上登録部９６は、この商品を売上に仮登録する。具体的には、売上登録部９６は、販売した商品が「あんパン」であることを一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。

処理部９は、認識したオブジェクト分、ステップＳ３〜Ｓ７の処理を繰り返した後、処理を終了する。
なお、図６のアクティビティ図からわかるように、図１０のモードＭ１１において仮登録した販売商品情報と個別特徴量は、最終的に、モードＭ１４の売上マスタ登録処理モードにおいて、売上登録部９６によって売上マスタ１０７に反映（登録）される。

図１１は、第１の実施形態における商品の人気分析処理を示すフローチャートである。例えば、ベーカリーの閉店後に、オペレータがタッチディスプレイ１２上で人気分析処理開始の操作をすると、処理部９の人気分析処理部９８は、一連の処理を開始する。ここでは、あんパン５の人気分析処理を行うものとする。

ステップＳ１１において、人気分析処理部９８は、売上マスタ１０７（図９）から、対象の販売商品であるあんパン５の個別特徴量（特徴量欄１０７ｅ）を、販売順序情報（顧客No.欄１０７ａの数値）と共に読み出す。ここで、顧客No.欄１０７ａの数値は、前記したように商品を購入した顧客毎のシリアルナンバーであり、販売順序情報（販売時点状況）として使用することができる。

次に、ステップＳ１２において、人気分析処理部９８は、対象の販売商品であるあんパン５を、個別特徴量に基づいて、それぞれのグループが共通した特徴を有する複数のグループに分類する。この分類の例について、図１２を参照して説明する。

図１２は、第１の実施形態における、あんパンの特徴量座標平面の例を示す図である。ここでは、図示および説明を簡潔にするために、あんパン５における複数の特徴量のうち、真円度（横軸）と、ゴマの配置面積（縦軸）の２つの特徴量に着目して説明する。

図１２に示すように、販売した複数のあんパン５が特徴量座標平面で図示のように分布していた場合、例えば、それらを４つのグループＧ１〜Ｇ４に分類することができる。
グループＧ１は、真円度が高く、ゴマの配置面積が広いあんパン５のグループである。
グループＧ２は、真円度が高く、ゴマの配置面積が狭いあんパン５のグループである。
グループＧ３は、真円度が低く、ゴマの配置面積が広いあんパン５のグループである。
グループＧ４は、真円度が低く、ゴマの配置面積が狭いあんパン５のグループである。

図１１に戻って、次に、ステップＳ１３において、人気分析処理部９８は、グループＧ１〜Ｇ４毎の人気度を算出する。この人気度の算出は、例えば、グループ毎の平均販売順位を算出し、平均販売順位が早いほど人気度が高いと判断すればよい。

例えば、対象の販売商品であるあんパン５について、まず、読み出した売上マスタ１０７の顧客No.欄１０７ａの数値に基づいて、あんパン５のみの販売順序を特定する。具体的には、例えば、あんパン５が１０個販売された場合、あんパン５以外のパンも含めた販売順序が、３，５，８，１０，１２，１６，２０，２２，２５，３０番目であったとすると、それらをあんパン５のみの販売順序１，２，３，４，５，６，７，８，９，１０番目に変換する。

そして、例えば、グループＧ１について、販売個数が３個で販売順序が１，３，５番目だとすると、平均販売順位は（１＋３＋５）番目／３個＝３位となる。
また、グループＧ２について、販売個数が３個で販売順序が２，６，７番目だとすると、平均販売順位は（２＋６＋７）番目／３個＝５位となる。
また、グループＧ３について、販売個数が２個で販売順序が４，９番目だとすると、平均販売順位は（４＋９）番目／２個＝６．５位となる。
また、グループＧ４について、販売個数が２個で販売順序が８，１０番目だとすると、平均販売順位は（８＋１０）番目／２個＝９位となる。
そうすると、グループＧ１〜Ｇ４は、各平均販売順位から、人気度が高い順にグループＧ１，Ｇ２，Ｇ３，Ｇ４であったものとわかる。

なお、人気度の算出法は、これに限定されない。例えば、上記例では対象の販売商品の全商品における販売順序をその商品のみの販売順序に変換したが、そのような変換をせずに、元の販売順序のままで平均販売順位を算出してもよい。
また、平均販売順位、つまり、販売順位の平均値ではなく、販売順位の中央値に基づいて人気度を算出してもよい。

また、販売順序ではなく、販売時刻（図９の売上マスタ１０７の販売日時欄１０７ｂ）（販売時点状況）に基づいて、人気度を算出してもよい。具体的には、例えば、まず、グループ別の販売時刻チャートを作成する、即ち、各グループを横軸、販売時刻を縦軸とし、各商品の販売時刻を、同一グループ内でプロットする。そして、縦軸の上方を販売開始時刻からの時間経過とすると、下方にプロットが多いほどグループの人気度が高いと判断できる。例えば、グループ毎のプロットの販売時刻の平均値（中央値でもよい。）を算出し、各グループの平均値を比較することで、各グループの人気順位がわかる。

なお、ベーカリーのように複数のロット（焼き上がり）がある場合、例えば、そのロット時間帯毎に販売順序や販売時刻に基づいて人気度を算出すればよい。

次に、ステップＳ１４において、人気分析処理部９８は、グループＧ１〜Ｇ４毎の代表画像（商品個別情報に基づく特徴情報）を人気度と共に表示する。この表示の例について、図１３を参照して説明する。なお、グループＧ１〜Ｇ４毎の代表画像は、例えば、図１２のそれぞれの領域の重心部分に対応する画像を使用すればよい。

図１３は、第１の実施形態における、あんパン５のグループＧ１〜Ｇ４毎の代表画像を人気度と共に表示した画面の例を示す図である。図１３に示すように、タッチディスプレイ１２に、左から人気度の高い順に、グループＧ１，Ｇ２，Ｇ３，Ｇ４の代表画像がそれぞれ表示領域２１，２２，２３，２４に表示される。

オペレータは、この画面を見ることで、あんパン５の外観上の個体差が売上にどのように影響しているのかを知ることができ、次回以降、その商品を手作りする際の参考にして、売上や顧客満足度の向上等を図ることができる。図１３の例では、真円度の高いほうが人気度の高いことがわかる。また、ゴマの配置面積の広いほうが人気度の高いことがわかる。また、表示領域２２，２３の各代表画像から、真円度が高くてゴマの配置面積が狭いグループＧ２のほうが、真円度が低くてゴマの配置面積が広いグループＧ３よりも人気度の高いことがわかる。

図１１に戻って、次に、ステップＳ１５において、処理部９は、オペレータによるタッチディスプレイ１２における終了ボタン（図１３）か代表画像の表示タッチを受け付け、終了ボタンがタッチされた場合は処理を終了し、代表画像がタッチされた場合はステップＳ１６に進む。ここで、オペレータは、例えば、人気度が一番高いあんパン５の代表画像（図１３の表示領域２１に表示された代表画像）を新たなオブジェクト認識用データにしたい場合は、表示領域２１をタッチする。

ステップＳ１６において、オブジェクト認識用データ更新部９９は、オブジェクト認識用データ１０５（図７）のあんパン５に対応する特徴量欄１０５ａを、表示領域２１に表示された代表画像に対応する特徴量に置き換えることで、オブジェクト認識用データ１０５の更新を行い、処理を終了する。

このように、第１の実施形態の売上処理装置１によれば、外観上の個体差がある商品の人気分析を行うことで、ベーカリー等の商品販売店において、マーケティング等を戦略的に行い、売上や顧客満足度の向上等を図ることができる。具体的には、図１１〜図１３の例では、次回以降、人気度の高い外観のあんパン５（図１３の表示領域２１のあんパン５）を手作りするように留意することで、あんパン５の売上や顧客満足度等を向上させることができる。

（第２の実施形態）
次に、第２の実施形態の売上処理装置１について説明する。第２の実施形態は、販売したあんパン５を、タイムセール開始前後の２つの時間帯でグループ（販売時間帯で分けられた複数のグループ）分けする例である。なお、図１〜図１０は第１の実施形態の場合と同様なので、説明を省略する。

図１４は、第２の実施形態における商品の人気分析処理を示すフローチャートである。例えば、ベーカリーの閉店後に、オペレータがタッチディスプレイ１２上で人気分析処理開始の操作をすると、処理部９の人気分析処理部９８は、一連の処理を開始する。ここでは、第１の実施形態と同様、あんパン５の人気分析処理を行うものとする。また、ベーカリーにおいて、夕方のある時刻から、タイムセールが開始され、それ以降はあんパン５の価格が半額になったものとする。したがって、タイムセール開始前に販売されたあんパン５は人気度が高く、タイムセール開始後に販売されたあんパン５は人気度が低いと考えられる。

ステップＳ２１において、人気分析処理部９８は、売上マスタ１０７（図９）から、対象の販売商品であるあんパン５について、タイムセール開始前のあんパン５の個別特徴量（特徴量欄１０７ｅ）と、タイムセール開始後のあんパン５の個別特徴量（特徴量欄１０７ｅ）と、を読み出す。

次に、人気分析処理部９８は、ステップＳ２２において、タイムセール開始前に販売されたあんパン５の代表画像を表示し、ステップＳ２３において、タイムセール開始後に販売されたあんパン５の代表画像を表示する。これらの表示の例について、図１５、図１６を参照して説明する。

図１５は、第２の実施形態における、あんパンの特徴量座標平面の例を示す図である。ここでは、図示および説明を簡潔にするために、あんパン５における複数の特徴量のうち、全体の色の濃さ（横軸）と、ゴマの中心からの偏り度（縦軸）の２つの特徴量に着目して説明する。

図１５に示すように、販売したあんパン５が特徴量座標平面で図示のように分布していた場合、グループＧ１１は、タイムセール開始前に販売されたあんパン５のグループである。また、タイムセール開始後に販売されたあんパン５のグループは、さらに、それぞれの子グループが共通した特徴を有する複数の子グループＧ１２、Ｇ１３、Ｇ１４に分類できる。この子グループへの分類は、タイムセール開始後に販売されたあんパン５のグループを単一とすると、その代表画像が、タイムセール開始前に販売されたあんパン５のグループの代表画像と近くなってしまう事態を避けるためである。

グループＧ１１は、タイムセール開始前に販売されたあんパン５のグループであり、色の濃さが中程度で、ゴマの偏り度が低い。そして、重心部分のＰ１１に対応する画像を代表画像とすることができる。
子グループＧ１２は、タイムセール開始後に販売されたあんパン５の子グループの１つであり、色の濃さが濃く、ゴマの偏り度が低い。そして、重心部分のＰ１２に対応する画像を代表画像とすることができる。

子グループＧ１３は、タイムセール開始後に販売されたあんパン５の子グループの１つであり、色の濃さが薄く、ゴマの偏り度が低い。そして、重心部分のＰ１３に対応する画像を代表画像とすることができる。
子グループＧ１４は、タイムセール開始後に販売されたあんパン５の子グループの１つであり、色の濃さが中程度で、ゴマの偏り度が高い。そして、重心部分のＰ１４に対応する画像を代表画像とすることができる。

図１６は、第２の実施形態における、タイムセール開始前に販売されたあんパンのグループの代表画像と、タイムセール開始後に販売されたあんパンのグループの３つの子グループの代表画像と、を表示した画面の例を示す図である。

図１６に示すように、タッチディスプレイ１２において、上段の表示領域３１にタイムセール開始前に販売されたあんパン５のグループの代表画像が表示され、下段の表示領域３２，３３，３４にそれぞれタイムセール開始後に販売されたあんパン５の子グループＧ１２、Ｇ１３、Ｇ１４の代表画像が表示される。

オペレータは、この画面を見ることで、あんパン５の外観上の個体差が売上にどのように影響しているのかを知ることができ、次回以降、その商品を手作りする際の参考にして、売上や顧客満足度の向上等を図ることができる。図１６の例では、色の濃さが中程度で、ゴマの偏り度の低いあんパン５（表示領域３１）が人気度の高いことがわかる。また、表示領域３２，３３，３４のあんパン５を見ることで、タイムセール開始後に販売された人気度の低いあんパン５の３つのタイプを認識することができる。

図１１に戻って、次に、ステップＳ２４において、処理部９は、オペレータによるタッチディスプレイ１２における終了ボタン（図１６）か代表画像の表示タッチを受け付け、終了ボタンがタッチされた場合は処理を終了し、代表画像がタッチされた場合はステップＳ２５に進む。ここで、オペレータは、例えば、タイムセール開始前に販売されたあんパン５の代表画像（図１６の表示領域３１）を新たなオブジェクト認識用データにしたい場合は、表示領域３１をタッチする。

ステップＳ２５において、オブジェクト認識用データ更新部９９は、オブジェクト認識用データ１０５（図７）のあんパン５に対応する特徴量欄１０５ａの特徴量を、表示領域３１に表示された代表画像に対応する特徴量に置き換えることで、オブジェクト認識用データ１０５の更新を行い、処理を終了する。

このように、第２の実施形態の売上処理装置１によれば、外観上の個体差がある商品の人気分析を行うことで、ベーカリー等の商品販売店において、マーケティング等を戦略的に行い、売上や顧客満足度の向上等を図ることができる。具体的には、図１４〜図１６の例では、次回以降、タイムセール開始前に販売されたあんパン５の外観になるように手作りするように留意することで、あんパン５の売上や顧客満足度等を向上させることができる。また、タイムセール開始後に販売されたあんパン５（不人気商品）を表示することで、そのような外観のあんパン５を作らないように留意することができる。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｉ）のようなものがある。

（ａ）上記実施形態では、商品をパンとした。しかし、それら以外のものでも、例えば、外観上の個体差がある手作りのケーキ、和菓子、ぬいぐるみ、こけし等の物品を商品としてもよい。

（ｂ）上記実施形態では、バックライトによって半透明なトレー上のパン等を照らして撮影している。しかし、これに限定されず、不透明なトレーを使い、上方からの照明によってトレー上のパン等を照らして撮影してもよい。

（ｃ）上記実施形態では、図示および説明を簡潔にするために商品（あんパン５）の特徴量を二次元として説明した。しかし、これに限定されず、商品の特徴量を三次元以上としてもよい。

（ｄ）上記実施形態では、商品（あんパン５）の撮影画像に基づいて個別特徴量を算出し、保存し、使用するものとした。しかし、これに限定されず、商品（あんパン５）の撮影画像をその商品種別の基準画像と比較して、その差分に基づいて個別特徴量を算出し、保存し、使用するものとしてもよい。

（ｅ）上記実施形態では、販売した商品（あんパン５）についてのみ、人気分析を行った。しかし、これに限定されず、売れ残った商品も撮影してオブジェクト認識して個別特徴量を算出し、保存し、使用することで、人気度の低い商品として代表画像を表示する等してもよい。

（ｆ）第２の実施形態では、タイムセール開始後に販売された商品（あんパン５）のグループを、さらに、複数の子グループに分類した。しかし、これに限定されず、タイムセール開始後に販売された商品のグループを単一のまま扱い、そのグループの代表画像を表示するようにしてもよい。

（ｇ）第２の実施形態では、時間帯をタイムセール開始の前後の２つに分けて、商品（あんパン５）の人気分析を行った。しかし、これに限定されず、時間帯を、例えば１時間毎に分けるなど、３つ以上に分けて商品の人気分析を行ってもよい。

（ｈ）上記実施形態では、画像認識した個別商品毎に、商品個別情報として個別特徴量を算出して記憶した（図９の売上マスタ１０７の特徴量欄１０７ｅ）。しかし、これに限定されず、個別特徴量は記憶せずに、代わりに、商品個別情報として認識画像そのものを個々の商品に対応する情報として記憶するようにしてもよい。その場合、例えば、人気分析処理の際に、同一種別の中で、販売時点が早い商品の認識画像を、人気商品の特徴として、販売時点が遅い商品の認識画像と対比する形式で、分析結果として出力（表示、印刷、送信等）すればよい。

（ｉ）上記実施形態では、人気度が高いグループの商品の代表画像として、特徴量座標平面（図１２、図１５）におけるそのグループの領域の重心部分に対応する画像を使用するものとした。しかし、これに限定されず、グループの代表画像として、一番人気の（つまり、最初に販売された）商品の画像そのものを使用してもよい。その一番人気の商品の画像を表示する場合、合わせて不人気の商品の画像を並べて表示すれば、その一番人気の商品の特徴を更に容易に視認できるようになる。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像認識により商品種別を特定して商品の売上処理を行う売上処理装置であって、
前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、当該画像認識で取得された当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて記憶手段に記憶するよう制御する記憶制御手段と、
前記記憶手段に記憶された同一種別の複数の商品について、その個々の商品の前記販売時点状況を参照することで、その個々の商品の人気度を判定する判定手段と、
前記判定手段で判定された人気度に対応する個別商品の前記商品個別情報、あるいはその商品個別情報に基づく特徴情報を出力する出力手段と、
を備えたことを特徴とする売上処理装置。
＜請求項２＞
前記記憶制御手段は、前記商品個別情報として、認識した画像から算出した商品の個別特徴量を、前記記憶手段に記憶するよう制御し、
前記判定手段は、前記記憶手段に記憶された同一種別の複数の商品を、前記個別特徴量に基づいて、それぞれのグループが共通した特徴を有する複数のグループに分類し、
前記販売時点状況を参照することで、前記複数のグループ毎の人気度を判定し、
前記出力手段は、前記商品個別情報に基づく特徴情報として、前記複数のグループ毎の代表画像を、前記判定手段で判定された人気度とともに出力する、
ことを特徴とする請求項１に記載の売上処理装置。
＜請求項３＞
前記判定手段は、前記記憶手段に記憶された同一種別の複数の商品を、前記販売時点状況に基づいて、販売時間帯で分けられた複数のグループに分類し、
前記出力手段は、前記商品個別情報に基づく特徴情報として、前記複数のグループ毎の代表画像を、前記販売時間帯が早いほど人気度が高いという情報とともに出力する、
ことを特徴とする請求項１に記載の売上処理装置。
＜請求項４＞
画像認識により商品種別を特定して商品の売上処理を行う際の商品人気分析方法であって、
前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、当該画像認識で取得された当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて記憶手段に記憶する記憶ステップと、
前記記憶手段に記憶された同一種別の複数の商品について、その個々の商品の前記販売時点状況を参照することで、その個々の商品の人気度を判定する判定ステップと、
前記判定ステップで判定された人気度に対応する個別商品の前記商品個別情報、あるいはその商品個別情報に基づく特徴情報を出力する出力ステップと、
を含むことを特徴とする商品人気分析方法。

１ 売上処理装置
１０１ ＣＰＵ （制御手段、記憶制御手段の一例）
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 記憶部 （記憶手段の一例）
１０５ オブジェクト認識用データ
１０６ 商品内容データ
１０７ 売上マスタ
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置 （撮影手段の一例）
１５１ 撮影領域
１６ 撮影台
１７ バックライト光源
１８ スピーカ
２ カウンタ台
３ トレー
５、５Ａ〜５Ｄ あんパン（商品の一例）
６ 陳列台
９ 処理部
９１ 画像記憶部
９２ オブジェクト認識処理部
９２１ 物体検出部
９２２ 類似度演算部
９２３ 類似度判断部
９３ 確定通知部
９４ 候補商品提示部
９５ 入力取得部
９６ 売上登録部
９７ 情報出力部（出力手段の一例）
９８ 人気分析処理部（判定手段の一例）
９９ オブジェクト認識用データ更新部

Claims (4)

1. 画像認識により商品種別を特定して商品の売上処理を行う売上処理装置であって、
   前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、前記画像認識の際に取得された当該商品の画像情報または当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて販売実績情報として記憶手段に記憶するよう制御する記憶制御手段と、
   前記記憶手段に記憶された前記販売実績情報を参照することで、当該商品が売れるまでの経過時間に基づいた人気度または互いに同一種別とされた複数の商品のなかでの当該商品の売れた順番に基づいた人気度を、所定の種別とされた商品に対して商品毎に判定する判定手段と、
   前記判定手段で所定の人気度と判定された商品の前記画像情報または前記商品個別情報を前記人気度に対応付けて出力する出力手段と、
   を備えたことを特徴とする売上処理装置。
2. 前記記憶制御手段は、前記商品個別情報として、前記商品の画像情報から算出した商品の個別特徴量を、前記記憶手段に記憶するよう制御し、
   前記判定手段は、互いに同一種別とされた複数の商品を、前記個別特徴量に基づいて、それぞれのグループ内で商品が共通した特徴を有するように複数のグループに分類するとともに、前記複数のグループ間での前記人気度を判定し、
   前記出力手段は、前記グループ毎に前記人気度を対応付けて出力する、
   ことを特徴とする請求項１に記載の売上処理装置。
3. 画像認識により商品種別を特定して商品の売上処理を行う売上処理装置が実行する商品人気分析方法であって、
   前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、前記画像認識の際に取得された当該商品の画像情報または当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて販売実績情報として記憶手段に記憶する記憶ステップと、
   前記記憶手段に記憶された前記販売実績情報を参照することで、当該商品が売れるまでの経過時間に基づいた人気度または互いに同一種別とされた複数の商品のなかでの当該商品の売れた順番に基づいた人気度を、所定の種別とされた商品に対して商品毎に判定する判定ステップと、
   前記判定ステップで所定の人気度と判定された商品の前記画像情報または前記商品個別情報を前記人気度に対応付けて出力する出力ステップと、
   を含むことを特徴とする商品人気分析方法。
4. 画像認識により商品種別を特定して商品の売上処理を行う売上処理装置のコンピュータを、
   前記画像認識により前記商品の種別を特定して当該商品の売上処理を行う際に、前記画像認識の際に取得された当該商品の画像情報または当該商品の外観上の個体差に基づく商品個別情報を、その商品の種別と、その商品の売上に基づく販売時点に関する販売時点状況と、に対応づけて販売実績情報として記憶手段に記憶するよう制御する記憶制御手段、
   前記記憶手段に記憶された前記販売実績情報を参照することで、当該商品が売れるまでの経過時間に基づいた人気度または互いに同一種別とされた複数の商品のなかでの当該商品の売れた順番に基づいた人気度を、所定の種別とされた商品に対して商品毎に判定する判定手段、
   前記判定手段で所定の人気度と判定された商品の前記画像情報または前記商品個別情報を前記人気度に対応付けて出力する出力手段、
   として機能させることを特徴とするプログラム。

Images