JP6549558B2 - 売上登録装置、プログラム及び売上登録方法 - Google Patents

Description

本発明は、販売店舗等において商品の売り上げを登録する装置、いわゆるレジ、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）端末等に関する。また、本発明は特に、商品を画像認識する際に必要となる学習結果データの蓄積に関する。

一般に、ＰＯＳ端末では、バーコードリーダーにて商品に添付したＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コード等のバーコードを読み取ることにより、その商品を識別するためのコード情報を取得し、このコード情報を商品データベースに問い合わせることにより、その商品の商品名や単価等、その商品に係る情報を取得して、売上処理を行う。
このようなバーコードによる識別を行う代わりに、或いは、バーコードによる識別と併用して、カメラにて商品を撮影して商品の画像を生成し、その画像から特徴量を算出して、画像認識データベース（以下画像認識ＤＢと略記）に予め登録済みの様々な商品画像の特徴量と比較すること、所謂一般物体認識をコンピュータにて行うことによって商品を識別するＰＯＳシステムが例えば特許文献１にて提案されている。
一般に、画像認識は学習のフェーズと認識のフェーズからなる。図１９に示すように、学習フェーズでは、ＰＯＳシステムに認識させようとする商品群それぞれの画像を学習画像として用意し、学習画像から特徴量を抽出することにより学習を行い、その結果を学習結果データとして蓄積する。認識フェーズでは、ある商品の画像を入力画像として生成すると、学習フェーズでの特徴量抽出と同様の手法により、その入力画像から特徴量を抽出し、その特徴量と、学習結果データとして蓄積した各商品の特徴量を比較することにより、その商品を認識し、認識結果を得る。
このように、画像認識によって商品を認識するには、予め学習結果データを用意する必要がある。つまり、商品を画像認識するには、画像認識の実行に先立って、画像認識の対象となる商品すべてについて、認識する際の判断基準となる学習画像、或いは、学習画像から抽出した特徴量のデータを、その商品を示す商品ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ、識別子）に関連付けた上で、ＰＯＳシステム内の記憶装置に格納しておく必要があることを意味する。
学習画像／特徴量と商品ＩＤとの関連付けを記憶装置に格納する処理に要する時間は、店舗において取り扱う商品の種類の数に応じて長時間化する。特に、スーパーマーケットやコンビニエンスストアのように、極めて多種類の商品を取り扱う店舗では相当の時間を要する。
学習結果データの作成に関し、例えば特許文献２には、学習結果データに相当する認識辞書の作成方法が記載されている。
同文献に記載の商品読取装置は、業務モードとして商品認識モードと認識辞書作成モードとを有する。学習結果データに相当する認識辞書を作成する際には、タッチパネルに表示されるメニュー画面から認識辞書作成モードを選択する。認識辞書作成モードに移行する際には、認識辞書作成モードへの移行を商品読取装置に対して指示する明示的な操作を行うようにオペレータに要求していることに注意されたい。このことは、認識辞書作成モードを選択可能なオペレータを、パスワード入力等によって制限することが好ましい旨記載されていることからもわかる（第００２４段落）。
また、同文献によれば、認識辞書モードに移行した後、オペレータは、まず、辞書作成対象商品の商品ＩＤ等をキーボード、タッチパネル等により入力する。次に、その商品を読取窓にかざした状態で、オペレータは撮影キーを入力してその商品の画像を撮影する（第００３２−００３７段落、図７）。

特開２０１０−２３７８８６号公報 特開２０１３−２４６７９０号公報

従来の技術によれば、学習結果データの蓄積は、それのみを目的とした操作をオペレータ等に要求していた。学習結果データを蓄積する際に必要な処理、即ち、商品を撮影して商品画像を生成し、商品画像から特徴量を算出し、該当する商品ＩＤ等と紐づけて学習結果データとして記録する、といった一連の処理を行うことのみを目的とした操作をオペレータに要求していた。
特に、こういった操作を店頭のＰＯＳ端末にて行う場合、営業時間中に行うのは困難なので、営業時間外に学習結果データの蓄積処理のための時間を用意しなければならないことが多い。このため、学習結果データが蓄積するスピードが遅く、その結果として、学習結果データの蓄積による認識精度の改善が困難な状況にあった。
本発明はこのような状況を鑑みてなされたものであり、本発明が解決しようとする課題は、画像認識を行う際に必要となる学習結果データを用意するための労力や時間を軽減する技術を提供することである。

上述の課題を解決するため、本発明は、その一態様として、被写体を撮影して画像を生成する撮影手段と、前記被写体となった商品に対応する識別子を取得する識別手段と、前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段とを備えることを特徴とする売上登録装置を提供する。
また、本発明は、他の一態様として、被写体を撮影して画像を生成する撮影手段と、前記被写体となった商品に対応する識別子を取得する識別手段と備える他の情報処理装置とネットワークを介して接続可能な情報処理装置であって、前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段を備えることを特徴とする情報処理装置を提供する。
また、本発明は、他の一態様として、被写体を撮影して画像を生成する撮影手段と、前記被写体となった商品に対応する識別子を取得する識別手段と、前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段とを備えることを特徴とする情報処理システムを提供する。
また、本発明は、他の一態様として、被写体を撮影して画像を生成する撮影手段と、前記被写体となった商品に対応する識別子を取得する識別手段と、前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段としてコンピュータを機能させるためのプログラムを提供する。
また、本発明は、他の一態様として、被写体を撮影して画像を生成する撮影段階と、前記被写体となった商品に対応する識別子を取得する識別段階と、前記撮影段階による画像の生成、及び、売上処理のための前記識別段階による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶段階とを含むことを特徴とする売上登録方法を提供する。

本発明によれば、売上登録装置において、商品を機械に認識させる際にオペレータが行う動作を利用して、商品の画像をその商品の識別子と関連付けて蓄積しつつ、売上処理を行うことができる。このため、商品を画像認識するために必要な学習結果データの収集を、商品の売上登録と並行して行うことができる。

図１は本発明の一実施の形態である売上登録装置１のブロック図である。
図２は画像認識ＤＢ６のレコード構造の一例を示す図である。
図３は画像認識ＤＢ６のレコード構造の一例を示す図である。
図４は画像認識ＤＢ６のレコード構造の一例を示す図である。
図５は商品情報ＤＢ７のレコード構造の例を示す図である。
図６は売上登録装置１の動作を説明するためのフローチャートである。
図７は本発明の実施例１である売上登録装置１００のブロック図である。
図８は売上登録装置１００の商品情報ＤＢ７におけるレコード構造の例について説明するための図である。
図９は売上登録装置１００の動作を説明するためのフローチャートである。
図１０は本発明の実施例２である売上登録装置２００のブロック図である。
図１１は売上登録装置２００の画像認識ＤＢ６のレコード構造の例を説明するための図である。
図１２は売上登録装置２００の商品情報ＤＢ７のレコード構造の例を説明するための図である。
図１３は売上登録装置２００の画像認識ＤＢ６に格納された値の例を示す図である。
図１４は売上登録装置２００の商品情報ＤＢ７に格納された値の例を示す図である。
図１５は売上登録装置２００の動作を説明するためのフローチャートである。
図１６は売上登録装置２００の動作を説明するためのフローチャートである。
図１７はステップＳ６５において売上登録装置２００の商品情報ＤＢ７に格納される値の例を示す図である。
図１８は売上登録装置２００の動作を説明するためのフローチャートである。
図１９は画像認識における学習フェーズと認識フェーズについて説明するための図である。

本発明の実施の形態である売上登録装置１について説明する。売上登録装置１は例えばＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）レジスタであり、商品の売上登録を行う。図１を参照すると、売上登録装置１は、イメージセンサ２、被写体検出部３、制御装置４、商品識別部５、画像認識ＤＢ６、商品情報ＤＢ７、売上処理部８を備える。
イメージセンサ２は固体撮像素子等の光電変換素子であり、より具体的には、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。イメージセンサ２の撮影範囲内には、例えば不図示の読取テーブルがあり、売上登録装置１のオペレータは、イメージセンサ２の撮影範囲に収まるように商品を読取テーブルに載せる。
被写体検出部３は、イメージセンサ２の撮影範囲内に被写体が存在するか否かを判定する。被写体検出部３による検出手法には様々なものが考えられる。
例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザーダイオードを光源として、イメージセンサ２の撮影範囲に向けて高速に点滅し、その反射光の位相遅れの程度を計測することにより、被写体までの距離を計測することが考えられる。計測した距離がイメージセンサ２の撮影範囲内であれば、被写体が撮影範囲内にあるものとして検出する。
また、超音波センサを用いて距離を測定することとしてもよい。この場合、圧電セラミック等の送波器からイメージセンサ２の撮影範囲に向けて超音波を発し、その反射を圧電セラミック等の受波器により受信する。超音波を発信してからその反射を受信するまでの所要時間と音速との関係を演算装置にて演算することにより、被写体までの距離を計測する。
または、複数台のイメージセンサを用意して、三角測量の原理に従って距離を計測する所謂ステレオ法、イメージセンサを２台用いる代わりに、１台のイメージセンサを１台の発光装置に置き換えて計測を行うアクティブステレオ法を用いてもよい。
これらの検出手法は、被写体までの距離を計測し、計測した距離と、イメージセンサ２の撮影範囲までの距離との比較によって、イメージセンサ２の撮影範囲内に被写体があるか否かの判定を演算処理装置にて行うものである。従って、各検出手法における距離測定の基準点から、イメージセンサ２の撮影範囲までの距離を、判定を行う演算処理装置にアクセス可能な記憶装置に予め記憶しておく必要がある。距離測定の基準点とは、反射光の位相遅れに基づく手法であれば光源の位置であり、超音波センサを用いる手法であれば送波器の位置となる。
更には、イメージセンサ２を用いて撮影範囲を常時撮影して生成したフレーム画像を、予め用意した撮影範囲に何もない状態のフレーム画像と比較することにより、被写体の有無を判定することとしてもよい。
制御装置４は売上登録装置１の動作を制御する制御装置である。特に、イメージセンサ２の撮影範囲内に被写体が存在することを、被写体検出部３が検出すると、制御装置４は、イメージセンサ２にて撮影を行って、フレーム画像を生成する。イメージセンサ２の撮影範囲内に被写体を一回検出したときに生成するフレーム画像の数は、１つとは限らず、複数であってもよい。
商品識別部５は、イメージセンサ２の撮影範囲内にある被写体が予め登録した商品である場合に、その商品に対して予め付与された、その商品を示す識別子、即ち、商品ＩＤを出力する。識別した被写体が、登録済み商品のいずれにも該当しない等の理由により識別できなかった場合には、識別不能商品に対して予め定められた商品ＩＤを出力することとしてもよい。
ここで、イメージセンサ２による撮影範囲となる空間を空間Ｖｉと呼ぶものとする。被写体検出部３による被写体の検出範囲となる空間を空間Ｖｄと呼ぶものとする。また、商品識別部５が商品を識別可能であるような空間を空間Ｖｒと呼ぶものとする。このとき、イメージセンサ２、被写体検出部３、商品識別部５は、空間Ｖｉ、Ｖｄ、Ｖｒは少なくとも一部が互いに重なるように構成される。空間Ｖｉ、Ｖｄ、Ｖｒが重なる空間を空間Ｖｓと呼ぶものとする。
商品識別部５が行う識別の手法には、様々なものが考えられる。例えば、商品識別部５としては、商品に添付したバーコードに基づいて商品を識別するものが考えられる。この場合、商品識別部５は、商品に添付されたバーコードシンボルを光学読取して、対応するコード情報を出力するバーコードリーダーと、バーコードリーダーにて読み取ったコード情報を商品ＩＤに変換するテーブルを格納した記憶装置を備える。商品ＩＤとコード情報の対応関係は商品情報ＤＢ７に格納してもよい。バーコードの種類は問わず、ＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コード、ＥＡＮ（Ｅｕｒｏｐｅａｎ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コード、ＵＰＣ（Ｕｎｉｖｅｒｓａｌ Ｐｒｏｄｕｃｔ Ｃｏｄｅ）コードのようなストライプ状のバーコード、或いは、ＱＲコード（登録商標）のような二次元バーコードであってもよい。
商品識別部５は、イメージセンサを用いて、商品そのものや商品のパッケージに人間が読むために記載された商品名、商品ＩＤ等の文字情報を含むフレーム画像を生成し、そのフレーム画像に対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行うことにより、商品ＩＤを取得するものを商品識別部５としてもよい。このときに用いるイメージセンサは、イメージセンサ２で兼用してもよいし、別に用意することとしてもよい。
また、商品識別部５は、イメージセンサ２、または、売上登録装置１に他に設けたイメージセンサを用いて生成した被写体のフレーム画像に対して画像認識処理を施すことにより、商品ＩＤを取得するものであってもよい。
この場合、商品識別部５は、画像認識ＤＢ、特徴量演算処理装置、論理演算処理装置を備える。画像認識ＤＢは、画像認識を行おうとする商品の画像から算出した特徴量と、その商品の商品ＩＤとを互いに関連付けて予め記憶したデータベースである。画像認識ＤＢは、後述する画像認識ＤＢ６にて兼ねることとしてもよいし、別途設けることとしてもよい。特徴量演算処理装置は、イメージセンサ２にて生成したフレーム画像から特徴量を算出する。論理演算処理装置は、画像認識ＤＢに予め記憶してある各商品の特徴量と、特徴量演算処理装置にてフレーム画像から算出した特徴量との比較結果に基づいて、フレーム画像中の商品に対応する商品ＩＤを画像認識ＤＢ５１から取得して出力する。
尚、画像認識における特徴量には様々なものがあるが、本発明は特定の種類の特徴量に依存するものではない。例えば、特徴量には、対象物体の全体の輝度分布に基づくものがある。また、特徴量には、Ｈａａｒ−ｌｉｋｅ特徴量、ＥＯＨ（Ｅｄｇｅ ｏｆ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍｓ）特徴量、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、Ｅｄｇｅｌｅｔ特徴量のように、対象物体の局所情報に基づくものがある。更に、特徴量には、Ｊｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴量、Ｓｈａｐｌｅｔ特徴量、Ｊｏｉｎｔ ＨＯＧ特徴量のように、局所領域のつながりに基づくものがある。このように、特徴量には様々な種類があるが、本発明はどの特徴量を用いる場合であっても適用することができる。
また、一般に、画像の特徴量は、その画像を構成する画素の画素値に基づいて算出される。本発明では、その画像を構成するすべての画素の画素値に基づいて特徴量を算出することとしてもよいし、或いは、その画像を構成する所定の一部の画素の画素値に基づいて特徴量を算出することとしてもよい。画素値とはその画素が発する色の種類や明るさを示す値である。
画像認識ＤＢ６は、被写体検出部３による検出結果に応じてイメージセンサ２にて生成したフレーム画像と、商品識別部５が出力する商品ＩＤとを互いに関連付けて記憶するためのデータベースである。この場合、画像認識ＤＢ６は例えば図２に示すような構造のレコードを有する。
フレーム画像に基づく特徴量を算出する不図示の特徴量演算処理装置を売上登録装置１が更に備えることとしてもよい。この場合、画像認識ＤＢ６は、フレーム画像と共に、或いは、フレーム画像に代わって、そのフレーム画像に基づいて特徴量演算処理装置が算出した特徴量を、商品識別部５が出力する商品ＩＤと互いに関連付けて記憶することが好ましい。一般に、特徴量のデータ量はその元となったフレーム画像のデータ量よりも小さいので、フレーム画像の代わりに特徴量を記憶する場合には、画像認識ＤＢ６に必要な容量を小さくすることができる。特徴量のみを商品ＩＤと関連付けて格納する場合、画像認識ＤＢ６は例えば図３に示すような構造のレコードを有する。特徴量と画像の両方を商品ＩＤと関連付けて格納する場合、画像認識ＤＢ６は例えば図４に示すような構造のレコードを有する。
商品情報ＤＢ７は、商品の商品ＩＤと、その商品の販売元、商品名、単価等、その商品に係る情報とを関連付けて予め記憶したデータベースである。ＰＬＵ（Ｐｒｉｃｅ Ｌｏｏｋ Ｕｐ）方式のバーコードで用いられる商品マスタデータベースに相当する。商品情報ＤＢ７のレコードの構造の例を図５に示す。
売上処理部８は、商品識別部５が出力する商品ＩＤに基づいて、少なくともその商品の単価を商品情報ＤＢ７から取得して、その商品に関する売上処理を行う。売上処理では、例えば、商品識別部５にて識別した商品それぞれについて、商品情報ＤＢ７から取得した単価に基づいて合計金額を求める。
また、売上処理部８は、それぞれの商品について商品情報ＤＢ７から取得した商品名、単価、合計金額等を不図示のディスプレイ装置に表示し、レシートとして不図示のプリンタにて印刷する。
次に、図６を参照して売上登録装置１の動作について説明する。
売上登録装置１のオペレータは、売上登録を行う商品を買い物籠等から取り出して、イメージセンサ２、被写体検出部３、商品識別部５の検出範囲が重なった空間Ｖｓに移動させる（ステップＳ１）。
空間Ｖｓは、被写体検出部３による被写体の検出範囲となる空間Ｖｄの一部乃至全部でもある。商品が存在することを被写体検出部３が検出する（ステップＳ２）と、制御装置４は、イメージセンサ２によって、商品を撮影したフレーム画像を生成する（ステップＳ３）。
空間Ｖｓはイメージセンサ２による撮影範囲となる空間Ｖｉの一部乃至全部でもあるので、このタイミングでフレーム画像を生成するとその中に商品が撮影されていることになる。ステップＳ３では、同一商品について複数枚のフレーム画像を生成することとしてもよい。また、売上登録装置１が特徴量を算出するための演算処理装置を備える場合には、生成したフレーム画像に基づいて特徴量を算出することとしてもよい。
イメージセンサ２によるフレーム画像の生成が完了した後、或いは、フレーム画像の生成と並行して、制御装置４は、商品識別部５によりその商品の識別を行い、その商品の商品ＩＤを取得する（ステップＳ４）。
空間Ｖｓは商品識別部５が商品を識別可能である空間Ｖｒの一部乃至全部でもあるので、イメージセンサ２によるフレーム画像生成と、商品識別部５による商品識別を同時並行的に行うこととしてもよい。
所定の複数のフレーム画像を生成するものとしたとき、全フレーム画像を生成する前に、商品識別部５による識別が完了する場合が起こりうる。このような場合には、所定数のフレーム画像の生成を待って次のステップＳ５に進む。
次に、制御装置４は、ステップＳ３にて生成したフレーム画像（或いはフレーム画像の特徴量）と、ステップＳ４にて取得した商品ＩＤとを互いに関連付けて、画像認識ＤＢ６に登録する（ステップＳ５）。
また、制御装置４は、ステップＳ４にて商品識別部５から取得した商品ＩＤに対応する商品情報を、商品情報ＤＢ７から取得（ステップＳ６）して、売上処理部８にて売上処理を行う（ステップＳ７）。
一般に、商品識別部５のような機械に商品を認識させる場合には、その機械のセンサに対し、商品の適切な向きを正対させる必要がある。機械による認識手法には、例えば、商品に添付したバーコードシンボルの光学読取によるもの、商品パッケージ等に印刷された文字情報をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学文字認識）により識別するものであっても、或いは、商品の画像から算出した特徴量の比較に基づいて行われる画像認識技術によるものであっても変わらない。以下、こうした機械による認識手法を総称して機械認識と呼ぶものとする。
例えば、商品識別部５がバーコードによる認識を行う場合であれば、商品のバーコードが記載された面をバーコードリーダーの読取部に正対させる必要がある。
また、商品識別部５が画像認識によって商品を認識する場合であっても、商品毎にその商品を画像認識するのに好適な方向と不向きな方向があり、イメージセンサに対して画像認識に好適な面を向ける必要がある。
通常、ＰＯＳ端末のオペレータは、こうした商品の機械認識と商品の向きの関係を知っているので、商品識別部５が商品を正しく認識しない場合には、商品の向きを少しずつ変えることにより、画像認識を成功させている。
熟練したオペレータの中には、商品について画像認識を成功させやすい向きを経験的に知っているため、その商品を空間Ｖｒに移動させる前の段階で商品を適切な向きに向けることができる者もいるが、そのような熟練者であってもすべての商品について同様に機械認識を行わせるのは難しい。特に、初めて扱う商品については、熟練者といえども商品の向きを試行錯誤する。通常のスキルを有するオペレータや、特に、買い物客自身がオペレータとなってＰＯＳ端末を操作するいわゆる無人レジの場合には、こうした試行錯誤が多く発生する。
発明者らは、このときの商品の動作に着目して本発明を想起した。即ち、商品の機械認識を行う際、多くのオペレータは、商品識別部５が商品を識別可能な空間Ｖｒ内に商品を移動させた後、その商品を様々な向きに回転させる。このときに商品を撮影すれば、様々な方向からその商品を撮影したフレーム画像が得られる。こうして得られた多方向からのフレーム画像それぞれから特徴量を求め、それらの特徴量を、その後に機械認識が成功したときに得られる商品ＩＤと関連付けて画像認識ＤＢ６に記録する。
このような売上登録装置１によれば、日々に行う売上処理の一環として、商品の画像及び特徴量の少なくとも一方を画像認識ＤＢ６に新規登録することができる。また、既に画像認識ＤＢ６に登録済みの商品であっても、登録済みの画像とは異なるアングルで撮影した商品の画像乃至その特徴量を追加することができる。これにより、画像認識を行う際に必要となる学習結果データ、即ち、商品の画像、特徴量を用意することのみを目的とした商品の撮影作業を、削減乃至省略することができる。

一実施例として売上登録装置１００について説明する。売上登録装置１００は、バーコードによる認識を行い、新規の商品画像／特徴量を画像認識ＤＢ６に追加するとともに、追加した商品画像／特徴量に基づいて画像認識を行う。実施形態として説明した売上登録装置１に対応する機能ブロックには同じ参照符号を付している。
図７に示すように、売上登録装置１００は、商品識別部５としてバーコードリーダー５１を備える。また、商品情報ＤＢ７には、バーコードリーダー５１にて読み取ったコード情報と、商品ＩＤとの対応関係が格納されている。この場合の商品情報ＤＢ７のレコード構造の例を図８に示す。尚、コード情報と商品ＩＤが同一の場合には、図５のレコード構造を用いることができる。
更に、商品識別部５は、商品を画像認識にて識別するため、特徴量演算処理装置５２、論理演算処理装置５３を備える。特徴量演算処理装置５２は、イメージセンサ２にて生成したフレーム画像から特徴量を算出する。論理演算処理装置５３は、画像認識ＤＢ６に予め記憶してある各商品の特徴量と、特徴量演算処理装置５２にてフレーム画像から算出した特徴量との比較結果に基づいて、フレーム画像中の商品に対応する商品ＩＤを画像認識ＤＢ６から取得して出力する。尚、画像認識ＤＢ６は、図３または図４に示したレコード構造のように、商品ＩＤと特徴量の対応関係を格納するものとする。
次に、売上登録装置１００の動作について説明する。売上登録装置１００は、基本的には売上登録装置１と同様に、図９のよう動作する。尚、図６のフローチャートと同じ動作を行うステップには同じ参照符号を付している。本実施例では、イメージセンサ２は商品識別部５の一部としても分類することができる。
ステップＳ１からステップＳ３まで進み、フレーム画像を生成すると、制御装置４は特徴量演算処理装置５２を用いて、そのフレーム画像から特徴量を生成する（ステップＳ４１）。次に、制御装置４は、論理演算処理装置５３を用いて、生成した特徴量と、画像認識ＤＢ６に既に登録済みの特徴量とを比較することにより、生成した特徴量と同じまたは近い特徴量と関連付けられた商品ＩＤを画像認識ＤＢ６から取得する（ステップＳ４２）。
一方、ステップＳ３、Ｓ４１、Ｓ４２と並行して、制御装置４は、バーコードリーダー５１により商品に添付のバーコードシンボルを読み取り、そのバーコードシンボルに対応するコード情報を取得する（ステップＳ４３）。そして、制御装置４は、取得したコード情報に対応する商品ＩＤを、商品情報ＤＢ７から取得する（ステップＳ４４）。
このように、フレーム画像に対する画像認識（ステップＳ３、Ｓ４１、Ｓ４２）、または、バーコード読み取り（ステップＳ４３、Ｓ４４）の両方を並行して行い、どちらかの手順で商品ＩＤを取得する。
どちらの手順で生成した商品ＩＤを優先して採用すべきかについては様々な方法が考えられる。例えば単に先着を優先することとしてもよい。画像認識ＤＢ６に特徴量を登録済みの商品が少ない状況では、フレーム画像の特徴量から商品ＩＤを特定できない商品が多くなるので、必然的に、バーコードに基づいて商品ＩＤを取得するケースが多くなる。または、被写体検出部３にて被写体を検出してから一定時間が経過した後、いずれか一方の手順で商品ＩＤが得られた場合にはその商品ＩＤを採用し、両方の手順で商品ＩＤが得られた場合にはバーコードに基づく商品ＩＤを優先するとしてもよい。
図６のステップＳ５−Ｓ７と同様にして、フレーム画像に基づいて特徴量演算処理装置５２にて生成した特徴量を商品ＩＤと関連付けて商品画像ＤＢ６に登録する（ステップＳ５）一方、取得した商品ＩＤに対応する商品情報に基づいて売上処理部８にて売上処理を行う（ステップＳ６、Ｓ７）。
本実施例の売上登録装置１００によれば、画像認識ＤＢ６に特徴量が十分に蓄積されていないときは、バーコードに基づいて商品を識別して売上処理を行いつつも、バーコードリーダーにバーコードを読み取らせる際にオペレータが商品を回転させる動作を利用して、商品を多方向から撮影することで、同一商品について多方向から撮影したフレーム画像を生成し、それらの特徴量を生成して、画像認識ＤＢ６を拡充していく。売上登録装置１００を長く運用すると、ある商品について、どの方向からであっても特徴量に基づいて認識可能なほどに特徴量が画像認識ＤＢ６に蓄積される。この段階に至ると、オペレータがどのような角度でその商品を空間Ｖｓにかざしても、画像認識によりその商品の商品ＩＤを取得可能となる。その結果、売上登録装置１００は、バーコードを添付した方向とは無関係に商品を機械識別可能となるので、売上登録処理に要する時間を短縮することができる。
尚、本実施例では、バーコードリーダー５１をイメージセンサ２とは異なるものとして説明したが、イメージセンサ２でバーコードリーダーを兼ねることとしてもよい。この場合、更に、イメージセンサ２が生成したフレーム画像を解析してバーコードを検出し、該当するコード情報に変換する処理を実行する演算処理装置が必要となる。

一般に、商品の中には階層的に分類可能なものが存在する。例えば、果物のりんごには、「りんご」という果物の名称からなる上位分類の下に、「紅玉」、「つがる」、「ふじ」といった品種からなる下位分類が存在する。同様にして、例えばその他の果物や野菜を上位分類と下位分類に分類することができる。通常、卸売りの段階では果物や野菜にバーコード等、商品を識別するためのタグ、シール等は添付されていないので、こうした商品を機械により識別して売上処理を行うには、予めバーコード等を貼付するか、画像認識により識別する。
本実施例では、画像認識により野菜、果物等を上位分類で識別し、その下位分類の画像、商品情報をオペレータに表示して、選択入力を促す。選択した下位分類の商品情報に基づいて売上処理を行いつつ、オペレータが選択した下位分類と、上位分類の基礎としたフレーム画像の特徴量とを関連付けて画像認識データベースに追加していく。
このような売上処理を継続していくことにより、画像認識データベースにおける下位分類の特徴量の登録数を増加させる。下位分類の特徴量が蓄積していくと、その商品の下位分類での識別精度が向上していく。
本実施例の売上登録装置２００について図１０を参照して説明する。本実施例の特徴的な動作を説明するため、売上登録装置２００は入力装置１１、表示装置１２を備える旨を明示する。入力装置１１はキーボード、マウス、テンキー、タッチディスプレイ等、オペレータによる入力操作を受け付ける装置である。表示装置１２は、オペレータに対してテキスト情報や画像を表示する装置であり、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等による表示装置である。
本実施例では、商品ＩＤを上位分類ＩＤと下位分類ＩＤに二分する。ある上位分類に属するすべての商品に対して、同一の上位分類ＩＤを付与する。その上位分類に属する下位分類の間で互いに異なる下位分類ＩＤを付与する。また、上位分類そのものを指す商品ＩＤを定めるため、上位分類が何であるかにかかわらず、所定の下位分類ＩＤを、上位分類そのものを指すための下位分類ＩＤとして定める。
例えば、果物のりんごに属するすべての商品に対して、上位分類ＩＤとしてＡＡＡを付与するものとする。また、りんごの下位分類である「紅玉」、「つがる」、「ふじ」に対して、下位分類ＩＤとして、それぞれ順に００１、００２、０００３と付与するものとする。また、上位分類そのものを指す下位分類ＩＤを０００とする。このとき、「紅玉」、「つがる」、「ふじ」の商品ＩＤはそれぞれ順に、「ＡＡＡ００１」、「ＡＡＡ００２」、「ＡＡＡ００３」となる。また、上位分類「りんご」を指す商品ＩＤは「ＡＡＡ０００」となる。
このため、画像認識ＤＢ６のレコードは例えば図１１のような構造となる。また、商品情報ＤＢ７のレコードは例えば図１２のような構造となる。
次に、売上登録装置２００の動作について説明する。今、画像認識ＤＢ６には図１３のようなテーブルが格納されているものとする。また、商品情報ＤＢ７には図１４のようなテーブルが格納されているものとする。どちらのテーブルにも、上述のりんごの例の他に、「きたあかり」、「インカレッド」、「キタムラサキ」を下位分類とする上位分類「じゃがいも」に関するデータが格納されている。
ただし、以下に説明する動作を行う前の時点では、画像認識ＤＢ６には「りんご」の下位分類の画像、特徴量は未登録である。このためこれらの下位分類の特徴量フィールドには未登録を示すＮＵＬＬ値が格納されているものとする。「じゃがいも」の下位分類については画像、特徴量ともに登録済みである。
上位分類の特徴量は、その上位分類に属するすべての商品に適合する特徴量である。例えば、上位分類「りんご」の特徴量「Ｆ０００」は、下位分類「紅玉」、「つがる」、「ふじ」でもある程度適合する。
図１５を参照して説明する。オペレータが空間Ｖｓに「紅玉」を移動させたものとする（ステップＳ５１）。すると、売上登録装置２００において、制御装置４による制御の元で以下のような動作がなされる。被写体検出部３が「紅玉」を検出する（ステップＳ５２）と、イメージセンサ２により「紅玉」を含むフレーム画像を生成（ステップＳ５３）し、そのフレーム画像に基づいて特徴量演算処理装置５２が特徴量を算出する（ステップＳ５４）。ここでは、フレーム画像として「ＩＭＧ００１」が生成され、その特徴量として「Ｆ００１」が生成されたものとする。
次に、論理演算処理装置５３は、ステップＳ５４にて生成した特徴量「Ｆ００１」と、画像認識ＤＢ６に予め登録されている特徴量とを比較して、該当する商品の商品ＩＤを画像認識ＤＢ６から取得する（ステップＳ５５）。
ここでは、図１３に示したように、下位分類の特徴量はＮＵＬＬ値のため、画像認識の結果として「紅玉」が出力されることはない。代わって、その上位分類である「りんご」の特徴量「Ｆ０００」が最も近い値としてマッチする。このため、論理演算処理装置５３は画像認識ＤＢ６から商品ＩＤとして「ＡＡＡ０００」を取得する。ステップＳ５６の分岐は「はい」が選択される。
続いて図１６を参照すると、制御装置４は、取得した商品ＩＤ「ＡＡＡ０００」に属する各商品の画像があれば画像認識ＤＢ６から取得する（ステップＳ６１）。また、取得した商品ＩＤ「ＡＡＡ０００」に属する各商品の商品名、単価等の商品情報を商品情報ＤＢ７から取得する（ステップＳ６２）。
そして、商品ＩＤ「ＡＡＡ０００」が示す上位分類に属する各商品の画像、商品情報を表示装置１２に表示して、それらの商品の中から、ステップＳ５１でオペレータが空間Ｖｓに移動させた商品を確認乃至選択するための入力を行うように促すメッセージを表示する（ステップＳ６３）。
ここでは、上位分類「りんご」に属する下位分類、即ち、「紅玉」、「つがる」、「ふじ」の各商品情報が表示される。現時点では、画像認識ＤＢ６に下位分類の商品の画像は登録されていないので、商品の画像は表示されない。
表示装置１２にて表示された「紅玉」、「つがる」、「ふじ」の商品情報を見て、オペレータは自身が画像認識させた「りんご」が「紅玉」である旨の選択入力を入力装置１１から行う（ステップＳ６４）。この入力を受けて、制御装置４は、入力された「紅玉」の商品ＩＤ、即ち、「ＡＡＡ００１」と、ステップＳ５３にて生成されたフレーム画像「ＩＭＧ００１」、及び、ステップＳ５４にて算出された特徴量「Ｆ００１」とを、互いに関連付けて画像認識ＤＢ６に登録する（ステップＳ６５）。ステップＳ６５の後で画像認識ＤＢ６には図１７のようなテーブルが格納される。また、ステップＳ６５と並行して、処理装置４は、ステップＳ６４にて入力された商品の商品情報を商品情報ＤＢ７から取得して（ステップＳ６６）、その商品情報に基づいて売上処理部８にてその商品の売上処理を行う（ステップＳ６７）。
一方、オペレータが、例えば「じゃがいも」の「インカレッド」を空間Ｖｓに置いた場合、画像認識ＤＢ６には既に「インカレッド」の特徴量「Ｆ１０２」が登録されているため、ステップＳ１５で得られる商品ＩＤ「ＢＢＢ００２」は、下位分類のものとなり、ステップＳ５６は「いいえ」が選択される。
このとき、図１８に示すように動作する。ステップＳ７１−Ｓ７３はステップＳ５−Ｓ７と基本的に同じである。
ここでは「インカレッド」を画像認識したときの動作として説明したが、上述のようにステップＳ６５にて画像認識ＤＢ６に新規にフレーム画像「ＩＭＧ００１」及び特徴量「Ｆ００１」を登録後の「紅玉」であっても、同様の動作となる。つまり、当初は上位分類の「りんご」としか機械識別されなかった「紅玉」が、売上処理を行った後では、下位分類の「紅玉」として機械識別されるようになる。
このように、売上登録装置２００によれば、売上処理を継続して行っていく中で、画像認識を行う際の学習結果データ、即ち、画像認識ＤＢ６に登録された特徴量が増えていくだけでなく、画像認識を上位分類から下位分類へと細分化して行うことができるように特徴量を蓄積することができる。この特徴量の蓄積は、売上処理の一環として行われるので、学習結果データを蓄積するための労力を軽減することができる。
以上、本発明を実施の形態に即して説明したが、本発明はこれに限定されるものではない。
上述の実施形態及び実施例では、スタンドアロンの売上登録装置として説明したが、本発明がこれに限定されるものではないことは、当業者であれば容易に理解できるであろう。
例えば、画像認識ＤＢ６、商品情報ＤＢ７をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）上のサーバに配置し、他の機能ブロックをネットワーク端末に設ける構成であっても、本発明は実施可能である。また、このようにネットワーク上に配置した画像認識ＤＢ６、商品情報ＤＢ７を、このようなネットワーク端末の複数間で共有しても本発明は実施可能である。
実施例１として説明した売上登録装置１００をベースにして、その機能を、クライアントコンピュータとサーバコンピュータ（以下、それぞれクライアント、サーバと記す）とに分散した形態について説明する。このとき、クライアント、サーバはそれぞれネットワークインタフェース装置を備え、ＬＡＮ、ＷＡＮを介して互いにデータ通信可能なように接続される。売上登録装置１００のうち、イメージセンサ２、被写体検出部３、制御装置４、バーコードリーダー５１、売上処理部８をクライアントに設ける一方、特徴量演算処理装置５２、論理演算処理装置５３、画像認識ＤＢ６、商品情報ＤＢ７をサーバに設ける。
このようなクライアントとサーバからなる情報処理システムとして構成する場合、複数のクライアントで一台のサーバを利用することができる。そのため、特徴量演算処理装置５２、論理演算処理装置５３、画像認識ＤＢ６、商品情報ＤＢ７を複数のクライアントで共用することができる。その結果、学習結果データを複数のクライアントから集めて一台のサーバに集積することができる。
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、これらに限定されるものではない。
（付記１）
被写体を撮影して画像を生成する撮影手段と、
前記被写体となった商品に対応する識別子を取得する識別手段と、
前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段と
を備えることを特徴とする売上登録装置。
（付記２）
前記識別手段による識別結果に基づいてその商品の商品情報を取得して、取得した商品情報に基づいてその商品の売上処理を行う売上処理手段を更に備えることを特徴とする付記１に記載の売上登録装置。
（付記３）
前記撮影手段は予め定められた撮影範囲を撮影して画像を生成し、
前記撮影範囲内の被写体の存在を検出する検出手段を更に備え、
前記撮影手段は、前記検出手段による被写体の検出に応じて画像を生成する
ことを特徴とする付記１及び付記２のいずれかに記載の売上登録装置。
（付記４）
商品が識別できない場合、前記識別手段は、識別不能な商品に対して予め定められた識別子を取得することを特徴とする付記１乃至付記３のいずれかに記載の売上登録装置。
（付記５）
前記識別手段として、バーコードリーダーを備えることを特徴とする付記１乃至付記４のいずれかに記載の売上登録装置。
（付記６）
前記記憶手段に予め記憶したフレーム画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段を、前記識別手段として備えることを特徴とする付記１乃至付記５のいずれかに記載の売上登録装置。
（付記７）
上位分類と、その上位分類に属する一乃至複数の下位分類に分類される商品を売上登録の対象に含む売上登録装置であって、
前記記憶手段に予め記憶した、上位分類の商品のフレーム画像から生成した特徴量、或いは、前記記憶手段に予め記憶した、上位分類の商品の特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、下位分類に分類される商品の前記識別子を、前記記憶手段から取得する画像認識手段を備えることを特徴とする、付記６に記載の売上登録装置。
（付記８）
前記識別手段として、
バーコードリーダー、及び、
前記記憶手段に予め記憶した前記一乃至複数のフレーム画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段
の両方を備え、
前記画像認識手段は、前記バーコードリーダーによる識別結果を優先して前記記憶手段に記憶した内容に基づいて商品の識別を行う
ことを特徴とする、付記１乃至付記７のいずれかに記載の売上登録装置。
（付記９）
被写体を撮影して画像を生成する撮影手段と、
前記被写体となった商品に対応する識別子を取得する識別手段と、
を備える他の情報処理装置とネットワークを介して接続可能な情報処理装置であって、
前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段を備えることを特徴とする情報処理装置。
（付記１０）
前記記憶手段に予め記憶した画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記撮影手段にて生成した画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段を備えることを特徴とする付記９に記載の情報処理装置。
（付記１１）
前記記憶手段に予め記憶した、上位分類の商品の画像から生成した特徴量、及び、前記記憶手段に予め記憶した、上位分類の商品の特徴量のいずれか一方と、前記撮影手段にて生成した画像から算出された特徴量との比較に基づいて、その上位分類に属する下位分類に分類される商品の前記識別子を、前記記憶手段から取得する画像認識手段を備えることを特徴とする、付記１０に記載の情報処理装置。
（付記１２）
前記他の情報処理装置はバーコードリーダーを備え、
前記情報処理装置は、前記記憶手段に予め記憶した画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記撮影手段にて生成した画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段を備え、
前記画像認識手段は、前記バーコードリーダーによる識別結果を優先して前記記憶手段に記憶した内容に基づいて商品の識別を行う
ことを特徴とする、付記９乃至付記１１のいずれかに記載の情報処理装置。
（付記１３）
被写体を撮影して画像を生成する撮影手段と、
前記被写体となった商品に対応する識別子を取得する識別手段と、
前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段と
を備えることを特徴とする情報処理システム。
（付記１４）
前記識別手段による識別結果に基づいてその商品の商品情報を取得して、取得した商品情報に基づいてその商品の売上処理を行う売上処理手段を更に備えることを特徴とする付記１３に記載の情報処理システム。
（付記１５）
前記撮影手段は予め定められた撮影範囲を撮影して画像を生成し、
前記撮影範囲内の被写体の存在を検出する検出手段を更に備え、
前記撮影手段は、前記検出手段による被写体の検出に応じて画像を生成する
ことを特徴とする付記１３及び付記１４のいずれかに記載の情報処理システム。
（付記１６）
商品が識別できない場合、前記識別手段は、識別不能な商品に対して予め定められた識別子を取得することを特徴とする付記１３乃至付記１５のいずれかに記載の情報処理システム。
（付記１７）
前記識別手段として、バーコードリーダーを備えることを特徴とする付記１３乃至付記１６のいずれかに記載の情報処理システム。
（付記１８）
前記記憶手段に予め記憶した画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記撮影手段にて生成した画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段を、前記識別手段として備えることを特徴とする付記１３乃至付記１７のいずれかに記載の情報処理システム。
（付記１９）
上位分類と、その上位分類に属する一乃至複数の下位分類に分類される商品を売上登録の対象に含む情報処理システムであって、
前記記憶手段に予め記憶した、上位分類の商品の画像から生成した特徴量、及び、前記記憶手段に予め記憶した、上位分類の商品の特徴量のいずれか一方と、前記撮影手段にて生成した画像から算出された特徴量との比較に基づいて、下位分類に分類される商品の前記識別子を、前記記憶手段から取得する画像認識手段を備えることを特徴とする、付記１８に記載の情報処理システム。
（付記２０）
前記識別手段として、
バーコードリーダー、及び、
前記記憶手段に予め記憶した画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記撮影手段にて生成した画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段
の両方を備え、
前記画像認識手段は、前記バーコードリーダーによる識別結果を優先して前記記憶手段に記憶した内容に基づいて商品の識別を行う
ことを特徴とする、付記１３乃至付記１９のいずれかに記載の情報処理システム。
（付記２１）
被写体を撮影して画像を生成する撮影手段と、
前記被写体となった商品に対応する識別子を取得する識別手段と、
前記撮影手段による画像の生成、及び、売上処理のための前記識別手段による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶手段と
してコンピュータを機能させるためのプログラム。
（付記２２）
前記識別手段による識別結果に基づいてその商品の商品情報を取得して、取得した商品情報に基づいてその商品の売上処理を行う売上処理手段を更にコンピュータを機能させることを特徴とする付記２１に記載のプログラム。
（付記２３）
前記撮影手段は予め定められた撮影範囲を撮影して画像を生成し、
前記撮影範囲内の被写体の存在を検出する検出手段を更にコンピュータに機能させ、
前記撮影手段は、前記検出手段による被写体の検出に応じて画像を生成する
ことを特徴とする付記２１及び付記２２のいずれかに記載のプログラム。
（付記２４）
商品が識別できない場合、前記識別手段は、識別不能な商品に対して予め定められた識別子を取得することを特徴とする付記２１乃至付記２３のいずれかに記載のプログラム。
（付記２５）
前記識別手段として、バーコードリーダーの出力に基づいて識別を行うことを特徴とする付記２１乃至付記２４のいずれかに記載のプログラム。
（付記２６）
前記記憶手段に予め記憶したフレーム画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段を、前記識別手段としてコンピュータに機能させることを特徴とする付記２１乃至付記２５のいずれかに記載のプログラム。
（付記２７）
前記記憶手段に予め記憶した、上位分類の商品のフレーム画像から生成した特徴量、或いは、前記記憶手段に予め記憶した、上位分類の商品の特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、その上位分類に属する下位分類に分類される商品の前記識別子を、前記記憶手段から取得する画像認識手段をコンピュータに機能させることを特徴とする、付記２６に記載のプログラム。
（付記２８）
前記識別手段として、
バーコードリーダーの出力に基づく識別、及び、
前記記憶手段に予め記憶した前記一乃至複数のフレーム画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段
の両方をコンピュータに機能させ、
前記画像認識手段は、前記バーコードリーダーによる識別結果を優先して前記記憶手段に記憶した内容に基づいて商品の識別を行う
ことを特徴とする、付記２１乃至付記２７のいずれかに記載のプログラム。
（付記２９）
被写体を撮影して画像を生成する撮影段階と、
前記被写体となった商品に対応する識別子を取得する識別段階と、
前記撮影段階による画像の生成、及び、売上処理のための前記識別段階による識別子の取得の両方の実行を契機として、当該画像及び当該画像に基づいて生成された特徴量の少なくとも一部と、当該識別子とを関連付けて記憶する記憶段階と
を含むことを特徴とする売上登録方法。
（付記３０）
前記識別段階による識別結果に基づいてその商品の商品情報を取得して、取得した商品情報に基づいてその商品の売上処理を行う売上処理段階を更に含むことを特徴とする付記２９に記載の売上登録方法。
（付記３１）
前記撮影段階は予め定められた撮影範囲を撮影して画像を生成し、
前記撮影範囲内の被写体の存在を検出する検出段階を更に含み、
前記撮影段階は、前記検出段階による被写体の検出に応じて画像を生成する
ことを特徴とする付記２９及び付記３０のいずれかに記載の売上登録方法。
（付記３２）
商品が識別できない場合、前記識別段階は、識別不能な商品に対して予め定められた識別子を取得することを特徴とする付記２９乃至付記３１のいずれかに記載の売上登録方法。
（付記３３）
前記識別段階として、バーコードリーダーによるバーコードの読み取りを含むことを特徴とする付記２９乃至付記３２のいずれかに記載の売上登録方法。
（付記３４）
前記記憶段階に予め記憶したフレーム画像に基づいて算出された特徴量、及び、前記記憶段階に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶段階から前記識別子を取得する画像認識段階を、前記識別段階として含むことを特徴とする付記２９乃至付記３３のいずれかに記載の売上登録方法。
（付記３５）
上位分類と、その上位分類に属する一乃至複数の下位分類に分類される商品を売上登録の対象に含む売上登録方法であって、
前記記憶段階に予め記憶した、上位分類の商品のフレーム画像から生成した特徴量、或いは、前記記憶段階に予め記憶した、上位分類の商品の特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、下位分類に分類される商品の前記識別子を、前記記憶段階から取得する画像認識段階を含むことを特徴とする、付記３４に記載の売上登録方法。
（付記３６）
前記識別段階として、
バーコードリーダーによるバーコードの読み取り、及び、
前記記憶段階に予め記憶した前記一乃至複数のフレーム画像に基づいて算出された特徴量、及び、前記記憶段階に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶段階から前記識別子を取得する画像認識段階
の両方を含み、
前記画像認識段階は、前記バーコードリーダーによる識別結果を優先して前記記憶段階に記憶した内容に基づいて商品の識別を行う
ことを特徴とする、付記２９乃至付記３５のいずれかに記載の売上登録方法。
この出願は、２０１４年３月２８日に出願された日本出願特願第２０１４−０６８５０２号を基礎とする優先権を主張し、その開示のすべてをここに取り込むものである。

Claims (12)

1. 商品を撮影して画像を生成する撮影手段と、
   前記商品に対応する識別子を取得する識別手段と、
   取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて記憶手段に記憶させる制御手段と、
   を備え、
   前記制御手段は、前記商品に付与されたバーコードを読み取ることにより前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させ、
   前記制御手段は、予め記憶された前記商品の特徴量に関する情報及び前記商品に付与された前記バーコードを読み取ることにより前記識別子が取得された場合に前記制御手段によって記憶された前記商品の特徴量に関する情報と前記画像に含まれる前記商品の特徴量との比較により前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させる、
   ことを特徴とする売上登録装置。
2. 前記識別手段による識別結果に基づいてその商品の商品情報を取得して、取得した商品情報に基づいてその商品の売上処理を行う売上処理手段を更に備えることを特徴とする請求項１に記載の売上登録装置。
3. 前記撮影手段は予め定められた撮影範囲を撮影して画像を生成し、
   前記撮影範囲内の商品の存在を検出する検出手段を更に備え、
   前記撮影手段は、前記検出手段による商品の検出に応じて画像を生成することを特徴とする請求項１及び請求項２のいずれかに記載の売上登録装置。
4. 商品が識別できない場合、前記識別手段は、識別不能な商品に対して予め定められた識別子を取得することを特徴とする請求項１乃至請求項３のいずれかに記載の売上登録装置。
5. 前記識別手段として、バーコードリーダーを備えることを特徴とする請求項１乃至請求項４のいずれかに記載の売上登録装置。
6. 前記記憶手段に予め記憶したフレーム画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段を、前記識別手段として備えることを特徴とする請求項１乃至請求項５のいずれかに記載の売上登録装置。
7. 上位分類と、その上位分類に属する一乃至複数の下位分類に分類される商品を売上登録の対象に含む売上登録装置であって、
   前記記憶手段に予め記憶した、上位分類の商品のフレーム画像から生成した特徴量、或いは、前記記憶手段に予め記憶した、上位分類の商品の特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、下位分類に分類される商品の前記識別子を、前記記憶手段から取得する画像認識手段を備えることを特徴とする、請求項６に記載の売上登録装置。
8. 前記識別手段として、
   バーコードリーダー、及び、
   前記記憶手段に予め記憶した前記一乃至複数のフレーム画像に基づいて算出された特徴量、及び、前記記憶手段に予め記憶した特徴量のいずれか一方と、前記イメージセンサにて生成したフレーム画像から算出された特徴量との比較に基づいて、前記記憶手段から前記識別子を取得する画像認識手段
   の両方を備え、
   前記画像認識手段は、前記バーコードリーダーによる識別結果を優先して前記記憶手段に記憶した内容に基づいて商品の識別を行う
   ことを特徴とする、請求項１乃至請求項７のいずれかに記載の売上登録装置。
9. 商品を撮影して画像を生成する撮影手段と、
   前記商品に対応する識別子を取得する識別手段と、
   を備える他の情報処理装置とネットワークを介して接続可能な情報処理装置であって、
   取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて記憶手段に記憶させる制御手段を備え、
   前記制御手段は、前記商品に付与されたバーコードを読み取ることにより前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させ、
   前記制御手段は、予め記憶された前記商品の特徴量に関する情報及び前記商品に付与された前記バーコードを読み取ることにより前記識別子が取得された場合に前記制御手段によって記憶された前記商品の特徴量に関する情報と前記画像に含まれる前記商品の特徴量との比較により前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させる、
   ことを特徴とする情報処理装置。
10. 商品を撮影して画像を生成する撮影手段と、
    前記商品に対応する識別子を取得する識別手段と、
    取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて記憶手段に記憶させる制御手段と、
    を備え、
    前記制御手段は、前記商品に付与されたバーコードを読み取ることにより前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させ、
    前記制御手段は、予め記憶された前記商品の特徴量に関する情報及び前記商品に付与された前記バーコードを読み取ることにより前記識別子が取得された場合に前記制御手段によって記憶された前記商品の特徴量に関する情報と前記画像に含まれる前記商品の特徴量との比較により前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させる、
    ことを特徴とする情報処理システム。
11. 撮影手段が撮影した商品に対応する識別子を取得する識別手段と、
    取得された前記識別子と前記撮影手段が前記商品を撮影した画像に含まれる前記商品の特徴量とを紐づけて記憶手段に記憶させる制御手段としてコンピュータを機能させるためのプログラムであって、
    前記制御手段は、前記商品に付与されたバーコードを読み取ることにより前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させ、
    前記制御手段は、予め記憶された前記商品の特徴量に関する情報及び前記商品に付与された前記バーコードを読み取ることにより前記識別子が取得された場合に前記制御手段によって記憶された前記商品の特徴量に関する情報と前記画像に含まれる前記商品の特徴量との比較により前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させる、
    ことを特徴とするプログラム。
12. 情報処理装置が、
    撮影手段が撮影した商品に対応する識別子を取得する識別段階と、
    取得された前記識別子と前記撮影手段が前記商品を撮影した画像に含まれる前記商品の特徴量とを紐づけて記憶手段に記憶させる制御段階と
    を含み、
    前記制御段階は、前記商品に付与されたバーコードを読み取ることにより前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させ、
    前記制御段階は、予め記憶された前記商品の特徴量に関する情報及び前記商品に付与された前記バーコードを読み取ることにより前記識別子が取得された場合に前記制御段階において記憶された前記商品の特徴量に関する情報と前記画像に含まれる前記商品の特徴量との比較により前記識別子が取得された場合、取得された前記識別子と前記画像に含まれる前記商品の特徴量とを紐づけて前記記憶手段に記憶させる、
    ことを特徴とする売上登録方法。

Images