JP6394340B2 - 商品登録装置、商品登録方法およびプログラム - Google Patents

Description

本発明は、オブジェクト（物体）認識を利用した商品登録装置、商品登録方法およびプログラムに関する。

従来、物品を撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することにより、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、パンや青果物等の商品の認識に用いて、認識された商品を売上登録する店舗システムが提案されている（特許文献１、２参照）。

一方、スーパーマーケットや、ベーカリー（パン屋）、青果物店、コンビニエンスストア等の商品販売店において、商品登録装置（電子式キャッシュレジスタ）を用いた販売に関する情報（以下、「販売情報」と称する。）の登録（記録）が行われている。販売情報としては、例えば、販売商品の識別情報や価格、販売日時等である。この販売情報に加えて、特売日や特売セール時間（タイムセール）の値引き額、販売個数、顧客の客層などの仕入れや販売等の将来計画に指標となる情報（以下、「販売関連情報」と称する。）の登録（記録）も販売情報と併せて行われている。商品販売店では、例えば、ＰＯＳ（Point Of Sale system：販売時点情報管理）レジスタ端末のキーボードに客層情報入力キーを設け、販売商品の登録時に該当する客層を示す客層情報入力キー（例えば、「男・大人」キー、「女・子供」キー等）が指定入力（押下）されることにより、客層に関する情報を取得したり、店舗に来店した顧客を撮影した画像情報を解析して客層情報を取得したりしている（特許文献３参照）。そして、商品販売店では、性別、年齢等で客層を分類し、客層別に売上げの高い商品を調べ、これらのデータを新商品開発や商品発注等の業務に役立たせているところが多い。

特開２０１１−１７０７４５号公報 特開２０１３−１８２４５７号公報 特開２０１０−０５５２４８号公報

しかしながら、前記した顧客を撮影した画像情報を解析して客層情報等の販売関連情報を取得する技術は、顧客の個人情報（プライバシー）の観点から、画像情報を取得する時点での問題が指摘され、採用しづらいのが現状である。一方、オブジェクト（物体）認識をして商品を認識し、認識された商品を登録する際に、客層等の販売関連情報を入力しようとすると、オブジェクト認識の処理を行った後に、客層等の販売関連情報の入力のために、レジスタのキーを入力する必要が生じ、操作が煩雑となる。さらには、顧客に商品登録以外の操作を行っていることが認識され、何の操作を行っているかといった疑念を生じさせるおそれもある。

本発明の課題は、煩雑な操作をすることなく販売関連情報を登録できるようにすることである。

本発明に係る商品登録装置は、商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段と、撮影手段により撮影された撮影画像を用いて物体を認識し、前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する制御手段と、を備え、前記制御手段は、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とする。

また、本発明に係る商品登録方法は、商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段を備えた商品登録装置が実行する商品登録方法であって、撮影手段により撮影された撮影画像を用いて物体を認識する第１ステップと、前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する第２ステップと、を有し、前記第１ステップは、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とする。
また、本発明に係るプログラムは、商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段を備えた商品登録装置におけるコンピュータを、撮影手段により撮影された撮影画像を用いて物体を認識する認識手段、前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する登録制御手段、として機能させ、前記認識手段は、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とする。

本発明によれば、煩雑な操作をすることなく販売関連情報を登録することができる。

本発明の第１の実施形態に係る商品登録装置の外観の概略図である。 本発明の第１の実施形態に係る商品登録装置のハードウェア構成を示す図である。 本発明の第１の実施形態に係る商品登録装置の機能ブロック図である。 本発明の第１の実施形態に係る商品登録装置が行う、商品と指標物との判定処理を説明するための図である。 本発明の第１の実施形態に係る商品マスタ情報のデータ構成例を示す図である。 本発明の第１の実施形態に係る指標物マスタ情報のデータ構成例を示す図である。 本発明の第１の実施形態に係る指標物が位置する所定の領域と区分を説明するための図である。 本発明の第１の実施形態に係る指標物位置対応情報のデータ構成例を示す図である。 本発明の第１の実施形態に係る指標物が位置する所定の領域と区分により客層情報を確定することを示す図である。 本発明の第１の実施形態に係る指標物が位置する所定の領域と区分により値引き情報を確定することを示す図である。 本発明の第１の実施形態に係る指標物が位置する所定の領域により、商品等を確定することを示す図である。 本発明の第１の実施形態に係る商品販売登録情報のデータ構成例を示す図である。 本発明の第１の実施形態に係る商品登録装置の商品・販売関連情報登録処理の流れを示すフローチャートである。 本発明の第２の実施形態に係る商品登録装置の機能ブロック図である。 本発明の第２の実施形態に係るジェスチャマスタ情報のデータ構成例を示す図である。 本発明の第２の実施形態に係る指標物（手）のジェスチャにより、個数を認識させることを示す図である。 本発明の第２の実施形態に係る指標物（手）のジェスチャにより、値引き対象商品を認識させることを示す図である。 本発明の第２の実施形態に係る商品登録装置の商品・販売関連情報登録処理の流れを示すフローチャートである。

次に、本発明を実施するための形態（以下、「本実施形態」という。）における商品登録装置１について説明する。

＜第１の実施形態＞
まず、本発明の第１の実施形態に係る商品登録装置１について説明する。
図１は、本発明の第１の実施形態に係る商品登録装置１の外観の概略図である。図１に示すように、商品登録装置１は、顧客用ディスプレイ１１、タッチディスプレイ１２、キャッシュドロワ１３、プリンタ１４、撮影装置１５、撮影台１６、バックライト光源１７を備え、商品販売店のカウンタ台２に設置される。なお、商品の会計を行う際、商品登録装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立ち、商品を購入する顧客はカウンタ台２の図面奥側に立つ。
商品登録装置１は、ＰＯＳレジスタ端末として機能し、商品の種類（識別情報）や個数等の情報を受け付け、合計代金等の表示や、販売管理・売上実績管理等のための情報を入出力する。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額など）を表示する。
タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂ（図２参照）が積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額など）を表示するとともに、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券などを保管する引き出しである。
プリンタ１４は、商品の会計時に会計の内容（商品名、金額など）をレシートに印字する。

撮影装置１５は、撮影台１６に置かれたトレー３、トレー３上の商品、および、指標物を撮影する。この撮影装置１５には、照明装置（不図示）が隣接して取り付けられており、撮影装置１５の撮影領域１５１を照射する。なお、ここで、指標物とは、オペレータの手や、直接手では扱わない方が好ましい商品を挟む等するための道具（例えば、ベーカリー（パン屋）では「トング」等）であり、オブジェクト認識により販売関連情報を入力するときの指標として用いるものである。この指標物については、後記して詳細に説明する。

撮影台１６は、商品を購入する顧客が会計時に商品を載せたトレー３を置く台である。
撮影領域１５１は、撮影台１６における撮影装置１５によって撮影可能な領域である。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によってトレー３上の商品を撮影する際に商品の撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。
また、トレー３は、光を透過するように半透明になっている。そして、トレー３に載った状態の商品を撮影装置１５により撮影する際には、照明装置から照射光が照射されるとともに、トレー３の下からは、バックライト光源１７によりバックライトが上向きに照射される。これにより、商品の周囲に形成される影を可及的に排除し得る。

本発明の第１の実施形態に係る商品登録装置１では、撮影装置１５によって撮影された画像を処理することにより、トレー３上の商品を認識するとともに、トレー３の所定の領域、例えば、縁部（後記する図４参照）と手やトング等の指標物との重なりを認識し、その重なり部分の位置等を特定することにより、販売関連情報を識別し登録を行う。ここで、販売関連情報とは、前記したように、例えば、顧客の客層情報や、商品の割引情報などであり、商品の販売に関連して登録される情報である。

次に、図２を参照（適宜図１も参照）して、商品登録装置１の構成について説明する。
図２は、本発明の第１の実施形態に係る商品登録装置１のハードウェア構成を示す図である。
商品登録装置１は、図１において示した構成以外に、ＣＰＵ（Central Processing Unit）２０、ＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２２、記憶部２３を備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ２０は、中央制御装置であり、商品登録装置１全体の制御を司る。
ＲＡＭ２１は、ＣＰＵ２０によって使用される一時記憶手段である。ＣＰＵ２０が実行するプログラムに係る画像データ等を一時的に記憶する。
ＲＯＭ２２は、不揮発性の記憶手段であり、ＣＰＵ２０によって実行されるプログラム等を記憶する。

顧客用ディスプレイ１１は、ＣＰＵ２０によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
ディスプレイ１２Ａは、ＣＰＵ２０によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
タッチパネル１２Ｂは、ディスプレイ１２Ａにより表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部２３は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により構成され、各種プログラムや各種ファイルを記憶する。記憶部２３に記憶されている各種プログラムや各種ファイルは、商品登録装置１の起動時に、その全部または一部がＲＡＭ２１にコピーされてＣＰＵ２０により実行される。記憶部２３には、図３を参照して後記する、商品マスタ情報１００、指標物マスタ情報２００、指標物位置対応情報３００および商品販売登録情報４００等が記憶されている。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成され、ＣＰＵ２０の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ２１に保存される。

バックライト光源１７は、ＣＰＵ２０の制御の下で、撮影装置１５によってトレー３やトレー３上の商品、指標物を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、撮影装置１５に隣接して取り付けられた照明装置等によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。バックライト光源１７によるバックライト照射のタイミングは、例えば、撮影装置１５の撮影のタイミングに合わせてもよいし、常時でもよい。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券などを保管し、ＣＰＵ２０の指示により開放される。
プリンタ１４は、例えば、熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ２０の指示により、会計の内容をレシートに印字する。

次に、図３を参照（適宜図１、２も参照）して、商品登録装置１の機能について説明する。図３は、本発明の第１の実施形態に係る商品登録装置１の機能ブロック図である。
商品登録装置１のＣＰＵ２０は、ＲＯＭ２２に格納されたプログラムを実行することにより、処理部１０の各機能を具現化する。処理部１０は、撮影手段によって撮影された物体が、商品であるか、指標物であるかを撮影画像に基づき判定する。そして、処理部１０は、商品を認識するとともに、指標物を認識し、その指標物の位置情報を取得することにより、客層情報や割引情報などの販売関連情報を特定して登録する。この処理部１０は、画像記憶部１１０、オブジェクト認識処理部１２０、販売関連情報確定部１３０、商品・販売関連情報提示部１４０、入力取得部１５０、販売情報登録部１６０、情報出力部１７０を備える。

画像記憶部１１０は、撮影装置１５によって撮影されＲＡＭ２１に保存されたフレーム画像（カラーデジタル画像）を順次取り込む。この画像記憶部１１０によるフレーム画像の取り込みは、ＲＡＭ２１に保存された順に行われる。

オブジェクト認識処理部１２０は、画像記憶部１１０が取り込んだフレーム画像について、所定の領域（例えば、トレー３の縁部３０（図４参照））と手やトング等の指標物とが重なるか否かを認識することにより、商品か、指標物かを判定する。そして、オブジェクト認識処理部１２０は、パターンマッチング技術などを用いて、商品や指標物の画像を背景から分離することで、物体を検出する。この背景分離技術は、具体的には、例えば、フレーム画像を二値化して各輪郭線を抽出、確定してそれらの領域の画像を区画分離することで実行される。なお、商品や指標物の画像を背景から分離した状態の画像を、以下、物体認識画像や分離画像と称することがある。
そして、オブジェクト認識処理部１２０は、トレー３上の商品を認識するとともに、所定の領域に位置する（所定の領域と重なる）指標物を認識し、その指標物の位置を検知する。以下、具体的に説明する。

このオブジェクト認識処理部１２０は、物体領域判定部１２１と、商品検出部１２２と、指標物検出部１２５とを含んで構成される。
物体領域判定部１２１は、画像記憶部１１０が取り込んだフレーム画像について、オブジェクト認識することにより、所定の領域と重なる物体であるか否かを判定する。そして、物体領域判定部１２１は、所定の領域と重ならないと判定した物体については、その物体が商品であるとして、その物体認識画像（分離画像）を商品検出部１２２に引き渡す。一方、物体領域判定部１２１は、所定の領域と重なると判定した物体については、その物体が指標物であるとして、その物体認識画像（分離画像）を指標物検出部１２５に引き渡す。

図４は、本発明の第１の実施形態に係る商品登録装置１が行う、商品と指標物との判定処理を説明するための図である。図４（ａ）は、商品が物体ａ（カレーパン）、物体ｂ（メロンパン）、指標物（物体ｃ）が、オペレータの「手」の場合を示す。また、図４（ｂ）は、商品が物体ａ（カレーパン）、物体ｂ（メロンパン）、指標物（物体ｄ）が、パン等を挟む「トング」の場合を示している。

図４（ａ）に示す例においては、物体領域判定部１２１は、３つの物体（物体ａ、物体ｂ、物体ｃ）およびトレー３（縁部３０）を認識する。そして、物体領域判定部１２１は、物体ａおよび物体ｂについては、所定の領域（ここでは、トレー３の縁部３０）に重ならない、つまり、商品であると判定して、その物体認識画像（分離画像）を商品検出部１２２に引き渡す。一方、物体領域判定部１２１は、物体ｃについては、所定の領域（ここでは、トレー３の縁部３０）に重なる、つまり、指標物であると判定して、その物体認識情報を指標物検出部１２５に引き渡す。

図４（ｂ）に示す例においては、物体領域判定部１２１は、３つの物体（物体ａ、物体ｂ、物体ｄ）およびトレー３（縁部３０）を認識する。そして、物体領域判定部１２１は、物体ａおよび物体ｂについえは、所定の領域（ここでは、トレー３の縁部３０）に重ならない、つまり、商品であると判定して、その物体認識画像（分離画像）を商品検出部１２２に引き渡す。一方、物体領域判定部１２１は、物体ｄについては、所定の領域（ここでは、トレー３の縁部３０）に重なる、つまり、指標物であると判定して、その物体認識情報を指標物検出部１２５に引き渡す。なお、以下においては、指標物がオペレータの「手」である場合を主として説明する。

図３に戻り、商品検出部１２２は、物体領域判定部１２１が、所定の領域に重ならないと判定した物体、具体的には、商品に対するオブジェクト（物体）認識の全体を司り、商品類似度演算部１２３および商品類似度判断部１２４を備える。

商品類似度演算部１２３は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。商品類似度演算部１２３はさらに、演算した分離画像の特徴量と、記憶部２３内の商品マスタ情報１００（後記する、図５参照）の一部として予め記憶されている各商品の特徴量と比較し、類似度を算出する。ここで、類似度とは、商品マスタ情報１００に記憶されている商品が想定する特徴量を１００％の類似度とした場合に、物体認識画像（分離画像）がどの程度まで類似しているかを示すものである。なお、類似度を算出する際、特徴量が複数種類ある場合には、複数の特徴量に基づいて総合評価するが、そのとき、特徴量ごとに重み付けをしてもよい。

図５は、本発明の第１の実施形態に係る商品マスタ情報１００のデータ構成例を示す図である。図５に示すように、商品マスタ情報１００には、商品ＩＤに対応付けて、商品名、その商品の単価、特徴量が格納される。ここで、特徴量は、その商品の代表画像であってもよいし、形状、大きさ、色合い等の特徴を示すデータであってもよく、商品類似度演算部１２３の類似度の算出方法に適した情報の形式で格納される。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、さらにその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１１月１０日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１１月１０日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影された商品の画像と、商品マスタ情報１００に登録された登録商品の商品画像（代表画像）等の類似度の算出方法は特に問わないものとする。例えば、撮影された商品の画像と、商品マスタ情報１００に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、商品マスタ情報１００に記憶された各商品の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。

また、類似度を相対評価として算出する場合には、各商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、商品マスタ情報１００として商品Ａ、Ｂ、Ｃ、Ｄの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、商品Ｃに対しては類似度が０．１、商品Ｄに対しては類似度が０．０５、などのように算出する。

図３に戻り、商品類似度判断部１２４は、物体の分離画像ごとに、商品類似度演算部１２３が算出した類似度に基づいて、例えば、対応する商品等に関して次の３択で判断する。
（１）分離画像に対応する商品が一意に決定された。
（２）分離画像に対応する商品の候補が１つ以上存在する。
（３）分離画像に対応する商品が無いと決定する。

この判断のための条件として、例えば、記憶部２３は、条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい商品の類似度が９０％以上」、かつ、「類似度の一番大きい商品の類似度と、類似度の二番目に大きい商品の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａは、一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在する。

条件Ｘ、Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ、Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

指標物検出部１２５は、物体領域判定部１２１が、所定の領域（ここでは、トレー３の縁部３０）に重なると判定した物体、具体的には、指標物に対するオブジェクト（物体）認識の全体を司り、指標物認識部１２６および指標物位置判断部１２７を備える。

指標物認識部１２６は、物体領域判定部１２１から取得した物体認識画像（分離画像）について、形状、大きさ、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。指標物認識部１２６は、演算した分離画像の特徴量と、記憶部２３内の指標物マスタ情報２００（後記する、図６参照）として予め記憶されている各指標物の特徴量とを比較し、類似度を算出する。そして、指標物認識部１２６は、例えば、「類似度が一番大きい指標物の類似度が７０％以上」であれば、分離画像に対応する指標物を、その類似度が一番大きいもの（例えば、「手」や「トング」）であると認識する。

図６は、本発明の第１の実施形態に係る指標物マスタ情報２００のデータ構成例を示す図である。図６に示すように、指標物マスタ情報２００には、指標物ＩＤに対応付けて、指標物名、その指標物の特徴量が格納される。ここでは、指標物として、「手」と「トング」の例を示している。特徴量には、その指標物の、形状、大きさ、色合い等の特徴を示すデータや代表画像が格納される。図６では、図４（ａ）に示したように、オペレータの手がトレー３の縁部３０に重なっている状態での分離画像における典型的な手の形（左手・右手）の特徴量として、代表画像αに示す複数の手の形の特徴量を登録した例を示している。また、図６では、図４（ｂ）に示したように、トングがトレー３の縁部３０に重なっている状態での分離画像における典型的なトングの形の特徴量として、代表画像βに示す複数のトングの形の特徴量を登録した例を示している。このように、手の形やトングの形として典型的な複数の特徴量を予め指標物マスタ情報２００に登録しておく。

指標物認識部１２６は、取得した物体認識画像（分離画像）を、指標物マスタ情報２００に記憶された各指標物の特徴量と比較することにより、その分離画像に対応する指標物を決定する。そして、決定した指標物の情報（例えば、「手」や「トング」）を販売関連情報確定部１３０に引き渡す。

図３に戻り、指標物位置判断部１２７は、物体領域判定部１２１から取得した物体認識画像（分離画像）について、所定の領域に重なると判定した物体（例えば、「手」や「トング」）のトレー３の縁部３０における位置を特定する。

例えば、指標物位置判断部１２７は、撮影装置１５（図１参照）側、つまり、撮影台１６に置かれたトレー３を上部から撮影した画像（フレーム画像）において、図７に示すように、トレー３の縁部３０の左側の領域を第１の領域（符号３０１）とし、縁部３０の右側の領域を第２の領域（符号３０２）とする。
そして、指標物位置判断部１２７は、取得した物体認識画像（分離画像）の指標物が所定の領域（ここでは、縁部３０）のうちのさらにどの領域の区分に位置するかを判断する。例えば、指標物位置判断部１２７は、第１領域の区分[１]と重なる形で指標物が位置すると判断する。指標物位置判断部１２７は、判断した指標物の位置情報（例えば、「第１領域・区分[１]」を、販売関連情報確定部１３０に引き渡す。

図３に戻り、販売関連情報確定部１３０は、指標物認識部１２６から取得した指標物の情報と、指標物位置判断部１２７から取得した指標物の位置情報とに基づき、記憶部２３内の指標物位置対応情報３００を参照することにより、販売関連情報を確定する。

図８は、本発明の第１の実施形態に係る指標物位置対応情報３００のデータ構成例を示す図である。図８に示すように、指標物位置対応情報３００には、指標物およびその指標物の位置情報に対応付けて、販売関連情報が記憶される。
例えば、指標物認識部１２６から取得した指標物の情報が「手」であり、指標物位置判断部１２７から取得した指標物の位置情報が領域「１」（第１領域）の区分「１」である場合には、販売関連情報（ここでは、客層情報）として「女性・子供」が対応付けられる。同様に、指標物認識部１２６から取得した指標物の情報が「手」であり、指標物位置判断部１２７から取得した指標物の位置情報が領域「２」（第２領域）の区分「２」である場合には、販売関連情報として「男性・大人」が対応付けられる。

販売関連情報確定部１３０は、指標物位置対応情報３００（図８）を参照することにより、販売関連情報（客層情報）を確定する。例えば、販売関連情報確定部１３０は、図９に示す例の場合に、指標物が「手」であり、指標物の位置情報が第１領域の区分[１]であることから、指標物位置対応情報３００を参照し、販売関連情報（客層情報）が、「女性・子供」であることを確定する。そして、販売関連情報確定部１３０は、その確定した販売関連情報を、商品・販売関連情報提示部１４０に出力する。

なお、販売関連情報確定部１３０は、販売関連情報として、値引き情報（ここでは、値引き額）を設定してもよい。例えば、図１０（ａ）に示す第３領域において、指標物位置対応情報３００（図８参照）に、指標物が「手」であり、指標物の位置情報が第３領域の区分[１]の場合に「１０円引き」、区分[２]の場合に「２０円引き」、区分[３]の場合に「５０円引き」というように格納しておく。そして、販売関連情報確定部１３０は、図１０（ｂ）に示す例のように、指標物の情報が「手」であり、指標物の位置情報が領域「３」（第３領域）の区分「１」である場合に、販売関連情報（ここでは、値引き額）として「１０円引き」であることを確定する。このようにすることにより、販売関連情報確定部１３０は、指標物の情報とその位置情報とに基づき、販売関連情報（値引き額）を特定することができる。なお、販売関連情報として、値引き割合（１割引き、２割引き、５割引）等を設定するようにしてもよい。

また、販売関連情報確定部１３０は、指標物（手やトング等）が、所定の領域に位置することに基づき、商品等の登録を確定させる処理（会計内容の確定処理）を行うようにすることもできる。
例えば、図１１（ａ）に示す、トレー３の縁部３０の第４領域および第５領域を、商品等の登録確定処理に対応付けて指標物位置対応情報３００（図８参照）に登録しておく。そして、販売関連情報確定部１３０は、図１１（ｂ）に示す例のように、指標物の情報が「手」であり、指標物の位置情報として領域「４」（第４領域）であると指標物位置判断部１２７が判断した場合に、商品等の登録確定処理（会計内容の確定処理）を実行する。このようにすることにより、オペレータは、タッチディスプレイ１２（図１参照）において確定ボタンを操作することなく、商品の識別情報や個数などを確定することができる。

図３に戻り、商品・販売関連情報提示部１４０は、商品類似度判断部１２４が商品の類似度を判断した、上記（１）の決定した商品の画像や、上記（２）の複数の候補の商品の画像を、ディスプレイ１２Ａや顧客用ディスプレイ１１に表示するとともに、確定した販売関連情報等を、ディスプレイ１２Ａに表示する。

入力取得部１５０は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（１）または（２）と判断され、商品の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。
なお、商品や販売関連情報等の確定は、入力取得部１５０を介して、オペレータによる入力操作を受け付けることにより行われてもよいし、前記したように、販売関連情報確定部１３０が、商品等の登録確定処理を実行するトレー３上の所定の領域（図１１の例では、第４領域および第５領域）に指標物が位置することを認識することにより行ってもよい。

販売情報登録部１６０は、入力取得部１５０または販売関連情報確定部１３０により確定された商品や販売関連情報について、記憶部２３内の商品販売登録情報４００に登録を行う。
図１２は、本発明の第１の実施形態に係る商品販売登録情報４００のデータ構成例を示す図である。図１２に示すように、商品販売登録情報４００には、販売ＩＤ、販売時刻、商品ＩＤ、商品名、単価（定価）、値引き額、個数、売上金額、客層情報などが登録される。
ここで、販売情報登録部１６０は、販売ＩＤおよび販売時刻に対応付けて、販売が確定された商品について、商品マスタ情報１００を参照し、商品ＩＤ、商品名、単価（定価）を取得して登録する。そして、販売情報登録部１６０は、確定された商品毎の販売個数に基づき、売上金額を計算して登録する。また、販売情報登録部１６０は、販売関連情報確定部１３０が確定した、客層情報や値引き額などの販売関連情報を登録する。

情報出力部１７０は、前記のようにして確定された商品の商品ＩＤと、これに対応する商品名、単価、販売個数等を顧客用ディスプレイ１１、ディスプレイ１２Ａに表示し、プリンタ１４に出力する。

＜処理の流れ＞
次に、商品登録装置１の処理の流れを説明する。
図１３は、本発明の第１の実施形態に係る商品登録装置１の商品・販売関連情報登録処理の流れを示すフローチャートである。
商品登録装置１は、撮影台１６の撮影領域１５１を撮影装置１５によって、常時撮影し続ける。または、顧客がトレー３を撮影台１６に載せ、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすることにより、商品登録装置１の処理部１０が撮影装置１５からの画像を取り込み、一連の処理を開始する。

先ず、処理部１０は、撮影装置１５からの画像のキャプチャを開始する（ステップＳ１０）。画像記憶部１１０は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ２１に記憶する。
次に、オブジェクト認識処理部１２０は、画像記憶部１１０が記憶したフレーム画像に対して、オブジェクト認識処理を行う。
具体的には、オブジェクト認識処理部１２０の物体領域判定部１２１が、撮影画像上のオブジェクト（商品や指標物）が所定の領域（例えば、トレー３の縁部３０）と重なっているか否かを認識するとともに、そのオブジェクト（商品や指標物）を背景から分離することで、物体認識画像（分離画像）を生成する（ステップＳ１１）。そして、物体領域判定部１２１は、認識したオブジェクトが、所定の領域と重なる否かを判定し（ステップＳ１２）、重なる場合には（ステップＳ１２→Ｙｅｓ）、そのオブジェクトが指標物であると判定して、その物体認識画像を指標物検出部１２５に出力し、ステップＳ１３に進む。一方、物体領域判定部１２１は、認識したオブジェクトが、所定の領域と重ならない場合には（ステップＳ１２→Ｎｏ）、そのオブジェクトが商品であると判定して、その物体認識画像を商品検出部１２２に出力し、ステップＳ１９に進む。

次に、指標物検出部１２５は、物体領域判定部１２１から取得したオブジェクト（物体認識画像）ごとに次にステップＳ１３〜Ｓ１８の処理を繰り返す。
まず、指標物検出部１２５の指標物認識部１２６は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い等の特徴量を演算し、記憶部２３内の指標物マスタ情報２００（図６参照）と比較することにより類似度を算出する（ステップＳ１４）。そして、指標物認識部１２６は、このオブジェクトが登録した指標物であるか否かを判定する（ステップＳ１５）。この物体が指標物と判定された場合には（ステップＳ１５→Ｙｅｓ）、指標物認識部１２６は、判定した指標物の情報を販売関連情報確定部１３０に出力し、次のステップＳ１６に進む。一方、この物体が指標物と判定されなかった場合には（ステップＳ１５→Ｎｏ）、ステップＳ１８に進む。

続いて、指標物検出部１２５の指標物位置判断部１２７が、物体領域判定部１２１が取得したフレーム画像（撮影画像）を用いて、物体領域判定部１２１から取得した物体認識画像（分離画像）について、所定の領域（例えば、トレー３の縁部３０）に重なるとした物体（例えば、「手」や「トング」）のトレー３の縁部３０における位置を判断する（ステップＳ１６）。例えば、指標物位置判断部１２７は、図９に示す例においては、指標物（「手」）が、第１領域の区分[１]にあると判断する。そして、指標物位置判断部１２７は、その判断した位置情報を、販売関連情報確定部１３０に出力する。

次に、販売関連情報確定部１３０は、指標物認識部１２６から取得した指標物の情報と、指標物位置判断部１２７から取得した指標物の位置情報とに基づき、記憶部２３内の指標物位置対応情報３００（図８）を参照することにより、販売関連情報を確定する（ステップＳ１７）。
例えば、販売関連情報確定部１３０は、図９に示す例においては、指標物位置対応情報３００（図８）を参照することにより、指標物が「手」であり、指標物の位置情報が第１領域の区分[１]であることから、販売関連情報（ここでは、客層情報）が、「女性・子供」であると確定する。

そして、処理部１０（指標物検出部１２５）は、物体領域判定部１２１から取得した物体認識画像（分離画像）のすべてについて処理を繰り返したかを判断する（ステップＳ１８）。指標物検出部１２５は、取得したすべての物体認識画像（分離画像）について処理を繰り返していなかったならば、ステップＳ１３の処理に戻り、取得したすべての物体認識画像（分離画像）について処理を繰り返したならば、ステップＳ２３に進む。

一方、ステップＳ１２において、物体領域判定部１２１が、認識したオブジェクトについて、所定の領域と重ならないと判定した場合には（ステップＳ１２→Ｎｏ）、商品検出部１２２は、物体領域判定部１２１から取得したオブジェクト（物体認識画像）ごとに次のステップＳ１９〜Ｓ２２の処理を繰り返す。
まず、商品検出部１２２の商品類似度演算部１２３は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い等の特徴量を演算し、記憶部２３内の商品マスタ情報１００（図５参照）と比較することにより類似度を算出する（ステップＳ２０）。

続いて、商品検出部１２２の商品類似度判断部１２４は、商品類似度演算部１２３が算出した類似度に基づいて、物体認識画像（分離画像）に対応する商品を検出する（ステップＳ２１）。ここで、対応する商品が複数検出された場合には、その候補の商品の画像をディスプレイ１２Ａや顧客用ディスプレイ１１に表示し、入力取得部１５０が、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付けることにより、商品を選択する。

そして、商品検出部１２２は、物体領域判定部１２１から取得した物体認識画像（分離画像）のすべてについて処理を繰り返したかを判断する（ステップＳ２２）。商品検出部１２２は、取得したすべての物体認識画像（分離画像）について処理を繰り返していなかったならば、ステップＳ１９の処理に戻り、取得したすべての物体認識画像（分離画像）について処理を繰り返したならば、ステップＳ２３に進む。

ステップＳ２３において、商品・販売関連情報提示部１４０は、販売関連情報確定部１３０が確定した販売関連情報（例えば、客層情報）と、商品検出部１２２が検出した商品の情報（商品の識別情報や単価、個数、合計金額等）とを、ディスプレイ１２Ａに表示する。なお、このとき、商品・販売関連情報提示部１４０は、例えば、販売関連情報が客層情報である場合には、客層情報以外の商品の情報（商品の識別情報や単価、個数、合計金額等）を、顧客用ディスプレイ１１に表示する。つまり、顧客用ディスプレイ１１には客層情報を表示しないようにする。

続いて、処理部１０は、表示された情報が確定（会計内容が確定）されたか否かを判断する（ステップＳ２４）。具体的には、処理部１０は、タッチディスプレイ１２（タッチパネル１２Ｂ）がオペレータにより操作されたことにより、入力取得部１５０が確定ボタンのタッチされたことを検知するか、指標物検出部１２５が、図１１（ｂ）に示すように、「手」等の指標物が、登録確定を示す領域（第４領域）に位置することを検出することにより、ディスプレイ１２Ａに表示された、商品の情報と販売関連情報とを確定する。
そして、表示された情報が確定されていないと処理部１０が判断したならば（ステップＳ２４→Ｎｏ）、ステップＳ１０に戻り処理を続ける。一方、表示された情報が確定したと判断したならば（ステップＳ２４→Ｙｅｓ）、次のステップＳ２５に進む。

ステップＳ２５において、販売情報登録部１６０は、確定された商品の情報と販売関連情報について、記憶部２３内の商品販売登録情報４００（図１２参照）に登録を行い、処理を終了する。

このようにすることにより、商品登録装置１は、オブジェクト認識により商品登録をする際に、商品か指標物であるかを判定し、タッチディスプレイ１２等での操作を行うことなく、その指標物の所定の位置情報を特定することにより販売関連情報を確定し、商品の情報と販売関連情報とを登録することができる。よって、販売関連情報を入力するためのタッチディスプレイ１２やレジスタのキー等を用いた煩雑な操作をなくすことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態に係る商品登録装置１Ａについて説明する。
第２の実施形態に係る商品登録装置１Ａの外観の概略図およびハードウェア構成は、第１の実施形態に係る商品登録装置１と同様のため（図１、図２参照）、記載を省略する。

第２の実施形態に係る商品登録装置１Ａは、第１の実施形態に係る商品登録装置１の機能に加え、指標物が「手」である場合に、その手の形状（ジェスチャ）を認識することにより、より詳細な販売関連情報を、タッチディスプレイ１２等での操作を行うことなく、登録できるものである。例えば、商品登録装置１Ａは、後記する図１６（ｂ）に示すように、複数個の同一商品（物体ｂ：メロンパン）の個数を登録したり、図１７（ｂ）に示すように、複数個の商品のうちの一つを特定して値引き情報を登録したりする。

図１４は、本発明の第２の実施形態に係る商品登録装置１Ａの機能ブロック図である。図３に示した本発明の第１の実施形態に係る商品登録装置１と同一の機能を備える構成については、同一の名称と符号を付し、説明を省略する。
図１４に示す商品登録装置１Ａが、商品登録装置１（図３）と異なる点は、図３の処理部１０が、図１４では処理部１０Ａになっていること、オブジェクト認識処理部１２０の指標物検出部１２５の中の指標物位置判断部１２７が、指標物位置判断部１２７Ａとなっていること、オブジェクト認識処理部１２０にジェスチャ認識部１２８が加わっていること、記憶部２３の中に、ジェスチャマスタ情報５００が加わっていることである。

指標物位置判断部１２７Ａは、第１の実施形態における指標物位置判断部１２７が有する、所定領域に重なる物体（「手」や「トング」等）のトレー３の縁部３０における位置を判断する機能に加えて、次に示す機能を有する。
指標物位置判断部１２７Ａは、指標物認識部１２６が、指標物が「手」であると決定した場合に、画像記憶部１１０が取り込んだフレーム画像に基づき、その指標物（「手」）が商品の画像と重なっているか否かを判定する。そして、指標物位置判断部１２７Ａは、指標物（「手」）が、商品の画像と重なっていると判定した場合、その指標物（「手」）の物体認識画像（分離画像）をジェスチャ認識部１２８に引き渡す。

ジェスチャ認識部１２８は、物体領域判定部１２１から取得した物体認識画像（分離画像）について、形状、大きさ、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。ジェスチャ認識部１２８は、演算した分離画像の特徴量と、記憶部２３内のジェスチャマスタ情報５００として予め記憶されている手の形状（ジェスチャ）の特徴量とを比較し、類似度を算出する。そして、ジェスチャ認識部１２８は、例えば、「類似度が一番大きい手の形状（ジェスチャ）の類似度が８０％以上」であれば、分離画像に対応する指標物がその手の形状（ジェスチャ）であると認識する。

図１５は、本発明の第２の実施形態に係るジェスチャマスタ情報５００のデータ構成例を示す図である。図１５に示すように、ジェスチャマスタ情報５００には、ジェスチャＩＤに対応付けて、そのジェスチャ（手の形状）の特徴量（手の形状、大きさ、色合い等の特徴を示すデータや代表画像）、および、そのジェスチャ（手の形状）に関する対応情報（販売関連情報）が記憶される。
例えば、ジェスチャＩＤ「Ｇ００１」は、左手の手の平側を撮影装置１５に向けて、人差し指をたてるジェスチャ（手の形状）が、対応情報（販売関連情報）として「１」（１個）であることを示している。ジェスチャＩＤ「Ｇ００６」は、右手の手の平側を撮影装置１５に向けて、人差し指をたてるジェスチャ（手の形状）が、対応情報（販売関連情報）として「６」（６個）であることを示している。
また、ジェスチャＩＤ「Ｇ０２０」は、左手の手の甲側を撮影装置１５に向けて、人差し指をたてるジェスチャ（手の形状）が、対応情報（販売関連情報）として、そのジェスチャと画面上で重なっている商品が「値引き対象商品」であることを示している。同様に、ジェスチャＩＤ「Ｇ０２１」は、右手の点甲側を撮影装置１５に向けて、人差し指をたてるジェスチャ（手の形状）が、対応情報（販売関連情報）として、そのジェスチャと画面上で重なっている商品が「値引き対象商品」であることを示している。なお、ジェスチャＩＤ「Ｇ０２０」と「Ｇ０２１」とにおいて、値引き対象商品に予め同一の値引き額（割引率）を設定しておいてもよいし、例えば、ジェスチャＩＤ「Ｇ０２０」の値引き対象商品は「１０円引き」、ジェスチャＩＤ「Ｇ０２１」の値引き対象商品は「２０円引き」というように設定しておいてもよい。

ジェスチャ認識部１２８は、図１６（ａ）に示すように、例えば、商品（物体ｂ：メロンパン）が重なることにより、その個数を商品検出部１２２が正確に認識できないときに、図１６（ｂ）に示すように、オペレータが、その商品の個数をジェスチャで画像認識させる。つまり、図１６（ｂ）では、オペレータがジェスチャマスタ情報５００（図１５参照）におけるジェスチャＩＤ「Ｇ００５」の手の形状（ジェスチャ）を商品（物体ｂ：メロンパン）と重なるようにして、画像認識させることにより、商品（物体ｂ：メロンパン）が「５」個であることを認識させる。

また、ジェスチャ認識部１２８は、図１７（ａ）に示すように、２つの異なる商品（物体ａ：カレーパン、物体ｂ：メロンパン）が、商品検出部１２２により検出された場合において、その片方の物体（例えば、物体ｂ：メロンパン）のみを値引きしたいときに、図１７（ｂ）に示す画像を商品登録装置１Ａに認識させる。つまり、オペレータがジェスチャマスタ情報５００（図１５参照）におけるジェスチャＩＤ「Ｇ０２１」の手の形状（ジェスチャ）を、値引きしたい商品、ここでは、物体ｂ（メロンパン）と重ねるようにして、画像認識させることにより、商品（物体ｂ：メロンパン）が値引き対象商品であり、値引き額（例えば、２０円引き）を決定することができる。

＜処理の流れ＞
次に、商品登録装置１Ａの処理の流れを説明する。
図１８は、本発明の第２の実施形態に係る商品登録装置１Ａの商品・販売関連情報登録処理の流れを示すフローチャートである。図１８に示した処理のうち、図１３に示す本発明の第１の実施形態に係る商品登録装置１と同一の処理には、同一の名称と符号を付し、適宜説明を省略する。

まず、商品登録装置１Ａの処理部１０Ａは、図１３のステップＳ１０〜Ｓ１２と同様の処理を行い、認識したオブジェクトが所定の領域に重なるか否かを判定する（ステップＳ１２）。そして、物体領域判定部１２１が、認識したオブジェクトについて、所定の領域と重ならないと判定した場合（ステップＳ１２→Ｎｏ）、その物体が商品であると判定して、ステップＳ１９→Ｓ２２の商品に対するオブジェクト認識処理を実行する。

一方、物体領域判定部１２１が、認識したオブジェクトについて、所定の領域と重なると判定した場合（ステップＳ１２→Ｙｅｓ）、指標物検出部１２５およびジェスチャ認識部１２８は、以下の処理をオブジェクト（物体認識画像）ごとに繰り返す（ステップＳ１３〜Ｓ１８）。

まず、指標物検出部１２５の指標物認識部１２６は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い等の特徴量を演算し、記憶部２３内の指標物マスタ情報２００（図６参照）と比較することにより類似度を算出する（ステップＳ１４）。そして、指標物認識部１２６は、このオブジェクトが登録した指標物であるか否かを判定する（ステップＳ１５）。このオブジェクトが指標物と判定された場合には（ステップＳ１５→Ｙｅｓ）、次にステップＳ１００に進む。一方、この物体が指標物と判定されなかった場合には（ステップＳ１５→Ｎｏ）、ステップＳ１８に進む。

ステップＳ１００において、指標物位置判断部１２７Ａは、指標物認識部１２６が、指標物が「手」であると認識し、かつ、その指標物（「手」）が商品の画像と重なっているか否かを判定する。ここで、ステップＳ１００の条件を満たない場合には（ステップＳ１００→Ｎｏ）、ステップＳ１６に進み、指標物位置判断部１２７Ａは、そのオブジェクトについて、所定の領域（例えば、トレー３の縁部３０）における位置を判断する。そして、販売関連情報確定部１３０が、指標物位置対応情報３００（図８）を参照し、販売関連情報を確定する（ステップＳ１７）。

一方、ステップＳ１００の条件を満たした場合には（ステップＳ１００→Ｙｅｓ）、ジェスチャ認識部１２８が、指標物の特徴量と、記憶部２３内のジェスチャマスタ情報５００（図１５）として予め記憶されている手の形状（ジェスチャ）の特徴量とを比較し、その指標物の手の形状（ジェスチャ）を認識する（ステップＳ１０１）。そして、ジェスチャ認識部１２８は、認識した手の形状（ジェスチャ）に関する対応情報（販売関連情報）を取得する（ステップＳ１０２）。

そして、処理部１０Ａは、ステップＳ１８において、物体領域判定部１２１から取得した物体認識画像（分離画像）のすべてについて処理を繰り返したかを判断する。処理部１０Ａは、取得したすべての物体認識画像（分離画像）について処理を繰り返していなかったならば、ステップＳ１３の処理に戻り、取得したすべての物体認識画像（分離画像）について処理を繰り返したならば、ステップＳ２３に進む。
ステップＳ２３以降の処理は、図１３に示した処理と同様の処理を行い、商品の情報や販売関連情報などを、ディスプレイ１２Ａに表示して確定した場合に、商品販売登録情報４００（図１２参照）に登録を行い、処理を終える。

このようにすることにより、商品登録装置１Ａは、オブジェクト認識により商品登録する際に、指標物である「手」の形状（ジェスチャ）を認識することにより、より詳細な販売関連情報を、タッチディスプレイ１２等での操作を行うことなく、登録することができる。よって、販売関連情報を入力するためのタッチディスプレイ１２やレジスタのキー等を用いた煩雑な操作をなくすことができる。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能である。
（ａ） 本発明の商品登録装置１は、パン以外の食品、例えばキャベツやニンジン等に代表される野菜や、リンゴや梨等に代表される果物、ちくわ・天ぷら等に代表される調理品を認識する際に、その商品を購入した顧客の客層情報や商品の割引情報等を販売関連情報として商品の情報とともに登録するようにしてもよい。
（ｂ） 本実施形態では、所定の領域としてトレー３の縁部３０（図４参照）を例として説明したが、これに限定されず、予め商品登録装置１に撮影装置１５の撮影領域１５１内の特定の領域を登録しておくことにより、同様の作用効果を得ることができる。例えば、トレー３がない場合であっても、撮影領域１５１内の撮影台１６の表面に、所定の領域とわかるように色を付した領域を設けるようにし、物体がその領域と重なることにより、商品登録装置１が指標物と判定するようにしてもよい。
（ｃ） 本実施形態では、指標物として、手とトングを例に説明したが、取り扱う商品に合わせて、菜箸やフォーク・スプーン等でもよく、これらの指標物を指標物マスタ情報２００（図６）に予め登録しておくようにする。

＜その他＞
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段と、
撮影手段により撮影された撮影画像を用いて物体を認識し、前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する制御手段と、
を備えることを特徴とする商品登録装置。
＜請求項２＞
前記制御手段は、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とする請求項１に記載の商品登録装置。
＜請求項３＞
前記販売関連情報は、前記商品を購入する顧客の客層を示す客層情報であり、
前記記憶手段は、前記所定の領域のうちの前記指標物が重なる位置毎に、異なる属性の客層を対応付けて記憶しており、
前記制御手段は、前記指標物が前記所定の領域と重なる位置に基づき、前記客層を判定して前記販売関連情報として登録することを特徴とする請求項２に記載の商品登録装置。
＜請求項４＞
前記販売関連情報は、前記商品の価格の割引情報であり、
前記記憶手段は、前記所定の領域のうちの前記指標物が重なる位置毎に、前記割引情報を対応付けて記憶しており、
前記制御手段は、前記指標物が前記所定の領域と重なる位置に基づき、前記割引情報を取得して前記販売関連情報として登録することを特徴とする請求項２に記載の商品登録装置。
＜請求項５＞
前記記憶手段は、前記指標物である手の複数の形状を、前記販売関連情報に対応付けて記憶しており、
前記制御手段は、前記指標物と認識した物体が手であり、かつ、前記撮影画像において前記商品と認識した物体と当該指標物と認識した物体とが重なる場合に、当該手の形状を認識し、対応する販売関連情報を取得して登録することを特徴とする請求項２に記載の商品登録装置。
＜請求項６＞
前記記憶手段は、前記指標物である手の複数の形状それぞれを、前記商品の個数に対応付けて前記販売関連情報として記憶することを特徴とする請求項５に記載の商品登録装置。
＜請求項７＞
前記記憶手段は、前記指標物である手の複数の形状それぞれを、前記商品の割引情報に対応付けて前記販売関連情報として記憶することを特徴とする請求項５に記載の商品登録装置。
＜請求項８＞
商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報を予め記憶手段に記憶させるステップと、
撮影手段により撮影された撮影画像を用いて物体を認識するステップと、
前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録するステップと、
を有することを特徴とする商品登録方法。

１，１Ａ 商品登録装置
１０，１０Ａ 処理部
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置
１６ 撮影台
１７ バックライト光源
２０ ＣＰＵ
２１ ＲＡＭ
２２ ＲＯＭ
２３ 記憶部
１００ 商品マスタ情報
１１０ 映像記憶部
１２０ オブジェクト認識処理部
１２１ 物体領域判定部
１２２ 商品検出部
１２３ 商品類似度演算部
１２４ 商品類似度判断部
１２５ 指標物検出部
１２６ 指標物認識部
１２７，１２７Ａ 指標物位置判断部
１２８ ジェスチャ認識部
１３０ 販売関連情報確定部
１４０ 商品・販売関連情報提示部
１５０ 入力取得部
１６０ 販売情報登録部
１７０ 情報出力部
２００ 指標物マスタ情報
３００ 指標物位置対応情報
４００ 商品販売登録情報
５００ ジェスチャマスタ情報

Claims (8)

1. 商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段と、
   撮影手段により撮影された撮影画像を用いて物体を認識し、前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する制御手段と、
   を備え、
   前記制御手段は、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とする商品登録装置。
2. 前記販売関連情報は、前記商品を購入する顧客の客層を示す客層情報であり、
   前記記憶手段は、前記所定の領域のうちの前記指標物が重なる位置毎に、異なる属性の客層を対応付けて記憶しており、
   前記制御手段は、前記指標物が前記所定の領域と重なる位置に基づき、前記客層を判定して前記販売関連情報として登録することを特徴とする請求項１に記載の商品登録装置。
3. 前記販売関連情報は、前記商品の価格の割引情報であり、
   前記記憶手段は、前記所定の領域のうちの前記指標物が重なる位置毎に、前記割引情報を対応付けて記憶しており、
   前記制御手段は、前記指標物が前記所定の領域と重なる位置に基づき、前記割引情報を取得して前記販売関連情報として登録することを特徴とする請求項１に記載の商品登録装置。
4. 前記記憶手段は、前記指標物である手の複数の形状を、前記販売関連情報に対応付けて記憶しており、
   前記制御手段は、前記指標物と認識した物体が手であり、かつ、前記撮影画像において前記商品と認識した物体と当該指標物と認識した物体とが重なる場合に、当該手の形状を認識し、対応する販売関連情報を取得して登録することを特徴とする請求項１に記載の商品登録装置。
5. 前記記憶手段は、前記指標物である手の複数の形状それぞれを、前記商品の個数に対応付けて前記販売関連情報として記憶することを特徴とする請求項４に記載の商品登録装置。
6. 前記記憶手段は、前記指標物である手の複数の形状それぞれを、前記商品の割引情報に対応付けて前記販売関連情報として記憶することを特徴とする請求項４に記載の商品登録装置。
7. 商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段を備えた商品登録装置が実行する商品登録方法であって、
   撮影手段により撮影された撮影画像を用いて物体を認識する第１ステップと、
   前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する第２ステップと、
   を有し、
   前記第１ステップは、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とする商品登録方法。
8. 商品の販売に関連する情報を示す販売関連情報を登録するために用いる指標物に対応付けて前記販売関連情報が記憶されている記憶手段を備えた商品登録装置におけるコンピュータを、
   撮影手段により撮影された撮影画像を用いて物体を認識する認識手段、
   前記商品と前記指標物とが認識された場合に、前記記憶手段に記憶された前記指標物に対応する販売関連情報を、認識された前記商品の情報とともに登録する登録制御手段、
   として機能させ、
   前記認識手段は、前記撮影画像を用いて認識された物体のうち、所定の領域に重なって位置する物体を前記指標物と認識し、前記所定の領域に重ならずに位置する物体を前記商品と認識することを特徴とするプログラム。

Images