JP5847117B2 - 認識辞書作成装置及び認識辞書作成プログラム - Google Patents

認識辞書作成装置及び認識辞書作成プログラム Download PDF

Info

Publication number
JP5847117B2
JP5847117B2 JP2013112033A JP2013112033A JP5847117B2 JP 5847117 B2 JP5847117 B2 JP 5847117B2 JP 2013112033 A JP2013112033 A JP 2013112033A JP 2013112033 A JP2013112033 A JP 2013112033A JP 5847117 B2 JP5847117 B2 JP 5847117B2
Authority
JP
Japan
Prior art keywords
product
distance
image
recognition dictionary
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013112033A
Other languages
English (en)
Other versions
JP2014232370A (ja
Inventor
秀彦 宮越
秀彦 宮越
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2013112033A priority Critical patent/JP5847117B2/ja
Publication of JP2014232370A publication Critical patent/JP2014232370A/ja
Application granted granted Critical
Publication of JP5847117B2 publication Critical patent/JP5847117B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6253User interactive design ; Environments; Tool boxes
    • G06K9/6254Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6255Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/17Recognition of food, fruit, vegetables

Description

本発明の実施形態は、商品を撮像した画像からその商品を認識するシステムに用いられる認識辞書の作成装置及びコンピュータを当該作成装置として機能させるためのプログラムに関する。

撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像から物体の外観特徴量を抽出し、認識辞書に登録されている各基準画像の特徴量データと照合して、特徴量の類似度を算出する。そして、類似度が最も高い基準画像に相当する物体を、撮像部で撮像された物体として認識する。近年、このような物体認識技術を小売店の会計システム(POSシステム)に適用して、顧客が買い上げる商品を認識する提案がなされている。

特開2012−069094号公報

上述した物体認識技術を会計システムに適用する場合、ユーザであるキャッシャまたは客は、対象となる商品を撮像部に向けて翳すことになる。このとき、撮像部から商品までの距離が一定でないと、商品画像の解像度が変化する。その一方で、基準画像の解像度は一定である。このため、商品画像の解像度と基準画像の解像度とが異なると、認識率が低下する懸念がある。このような懸念は、1つの商品に対して解像度が異なる複数の基準画像の特徴量データを認識辞書に用意し、商品画像から得られる商品の外観特徴量を、当該商品画像と解像度が近似した基準画像の特徴量データと照合することによって払拭される。そこで、1つの商品に対して解像度が異なる複数の基準画像の特徴量データを保存する認識辞書を容易に作成できる認識辞書作成装置が望まれている。

一実施形態において、認識辞書作成装置は、撮像部と、測定手段と、特定手段と、生成手段と、記憶手段と、補正手段と、生成後抽出手段と、生成後登録手段とを備える。撮像部は、商品を撮像する。測定手段は、撮像部からこの撮像部で撮像された商品までの距離を測定する。特定手段は、商品を特定する。生成手段は、撮像部で撮像された商品の画像に基づいて、測定手段により測定された距離よりも長い所定の登録距離まで商品を撮像部から離したときの商品画像を生成する。記憶手段は、撮像部からの離間距離毎に標準形状の物体を撮像した際の物体の表面での反射光の減衰傾向を表わす補正係数を記憶する。補正手段は、補正手段により補正された商品画像を登録距離に対する補正係数で補正する。生成後抽出手段は、生成手段により生成された商品画像から当該商品の外観特徴量を抽出する。生成後登録手段は、生成後抽出手段により抽出した外観特徴量を特定手段により特定された商品の登録距離における特徴量データとして当該登録距離データと関連付けて認識辞書に登録する。

一実施形態である店舗会計システムの外観図。 スキャナ装置とPOS端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに格納されるデータの構造を示す模式図。 商品情報ファイルに格納されるデータの構造を示す模式図。 補正ファイルに格納されるデータの構造を示す模式図。 物体を設定距離d1でスキャナ装置に翳している状態とその状態の撮像画像の一例とを示す図。 物体を設定距離d2でスキャナ装置に翳している状態とその状態の撮像画像の一例とを示す図。 物体を設定距離d3でスキャナ装置に翳している状態とその状態の撮像画像の一例とを示す図。 スキャナ装置が商品認識装置として動作する場合の機能構成を示すブロック図。 スキャナ装置が認識辞書作成装置として動作する場合の機能構成を示すブロック図。 認識辞書作成プログラムに従いスキャナ装置のCPUが実行する情報処理手順を示す流れ図。 認識辞書作成プログラムに従いスキャナ装置のCPUが実行する情報処理手順を示す流れ図。

以下、認識辞書作成装置の一実施形態について、図面を用いて説明する。
なお、本実施形態は、店舗会計システムの商品認識装置として機能するスキャナ装置1に、認識辞書作成装置としての機能をさらに持たせた場合である。

図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置1と、顧客の代金支払いを処理する決済部としてのPOS(Point Of Sales)端末2とを含む。スキャナ装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を挟んで設置される。スキャナ装置1とPOS端末2とは、通信ケーブル8(図2を参照)によって電気的に接続される。

スキャナ装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・操作デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、スキャナ装置1の本体を構成する薄型矩形形状のハウジング1Aに取り付けられる。

ハウジング1Aには、撮像部14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面に形成される。撮像部14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、CCD撮像素子に限定されない。例えばCMOS(complementary metal oxide semiconductor)を用いたものであってもよい。

前記読取窓1Bの近傍には、測定手段としての距離センサ15が設けられる。距離センサ15は、前記撮像部14からこの撮像部14で撮像された商品までの距離測定に供せられる。かような距離センサ15としては、赤外線LEDとフォトトランジスタとを組み合わせたもの、あるいは超音波やレーザ光を用いたもの等の周知の距離センサが適用可能である。

POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。

会計カウンタ3は、顧客通路3Aに沿って配置される。レジ台4は、顧客通路3Aの顧客移動方向である矢印Cの方向に対して下流側の会計カウンタ3の端部の顧客通路3Aとは反対側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3とレジ台4とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース3Bとなる。

会計カウンタ3の略中央には、スキャナ装置1のハウジング1Aが、キーボード11、タッチパネル12及び読取窓1Bをそれぞれキャッシャ側に向けて立設される。スキャナ装置1の客用ディスプレイ13は、顧客通路3A側を向いてハウジング1Aに取り付けられる。

会計カウンタ3のスキャナ装置1を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置1により登録された商品Mを入れるための買物カゴ7を置くためのスペースとなる。

図2は、スキャナ装置1とPOS端末2とのハードウェア構成を示すブロック図である。スキャナ装置1は、スキャナ部101と操作・出力部102とを備える。スキャナ部101は、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)113、接続インターフェース114を含む。またスキャナ部101は、前記撮像部14及び距離センサ15も含む。CPU111、ROM112、RAM113及び接続インターフェース114は、バスライン115に接続される。また、撮像部14及び距離センサ15も、入出力回路(不図示)を介してバスライン115に接続される。

CPU111は、コンピュータの中枢部分に相当する。CPU111は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置1としての各種の機能を実現するべく各部を制御する。

ROM112は、上記コンピュータの主記憶部分に相当する。ROM112は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ROM112は、CPU111が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラムと認識辞書作成プログラムとが含まれる。

RAM113は、上記コンピュータの主記憶部分に相当する。RAM113は、CPU111が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またRAM113は、CPU111が各種の処理を行う際のワークエリアとしても利用される。

操作・出力部102は、前記キーボード11、タッチパネル12及び客用ディスプレイ13を含む。また操作・出力部102は、接続インターフェース116及び音声合成部117も含む。キーボード11、タッチパネル12、客用ディスプレイ13は、それぞれ入出力回路(不図示)を介してバスライン118に接続される。また、接続インターフェース116及び音声合成部117も、バスライン118に接続される。

タッチパネル12は、パネル型のディスプレイ12aと、このディスプレイ12aの画面上に重ねて配置されたタッチパネルセンサ12bとを備える。
音声合成部117は、バスライン118を介して入力されるコマンドに応じて音声信号をスピーカ16に出力する。スピーカ16は、音声信号を音声に変換して出力する。

POS端末2も、制御部本体としてCPU201を搭載する。そしてこのCPU201に、バスライン202を介して、ROM203、RAM204、補助記憶部205、通信インターフェース206及び接続インターフェース207が接続される。また、バスライン202には、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5の各部も、それぞれ入出力回路(不図示)を介して接続される。

通信インターフェース206は、LAN(Local Area Network)等のネットワークを介して店舗サーバ(不図示)と接続される。この接続により、POS端末2は、店舗サーバとデータの送受信が可能となる。

接続インターフェース207は、通信ケーブル8を介して、スキャナ装置1の両接続インターフェース114,116と接続される。この接続により、POS端末2は、スキャナ装置1のスキャナ部101から情報を受信する。また、POS端末2は、スキャナ装置1の操作・出力部102を構成するキーボード11、タッチパネル12、客用ディスプレイ13、音声合成部117との間でデータ信号を送受信する。一方、スキャナ装置1は、この接続により、POS端末2の補助記憶部205に保存されているデータファイルにアクセスする。

補助記憶部205は、例えばHDD(Hard Disk Drive)装置またはSSD(Solid State Drive)装置であって、種々のプログラムの他、認識辞書ファイル30、商品情報ファイル40、補正ファイル50等のデータファイルを保存する。本実施形態において、認識辞書ファイル30は、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33の3種類のファイルからなる。また、補正ファイル50は、小型球体用補正ファイル51、中型球体用補正ファイル52、大型球体用補正ファイル53、小型楕円体用補正ファイル54、中型楕円体用補正ファイル55、大型楕円体用補正ファイル56、小型円柱用補正ファイル57、中型円柱用補正ファイル58及び大型円柱用補正ファイル59の9種類のファイルからなる。なお、大型球体用補正ファイル53、小型楕円体用補正ファイル54、中型楕円体用補正ファイル55、大型楕円体用補正ファイル56、小型円柱用補正ファイル57及び中型円柱用補正ファイル58は、図示を省略する。

図3は、認識辞書ファイル30に格納されるデータの構造を示す模式図である。図3に示すように、認識辞書ファイル30には、設定距離が予め格納される。例えば、短距離用認識辞書ファイル31には設定距離d1として“5cm”が格納され、中距離用認識辞書ファイル32には設定距離d2として“15cm”が格納され、長距離用認識辞書ファイル33には設定距離d3として“30cm”が格納される。

また、認識辞書ファイル30には、商品ID、商品名及び特徴量データを含む認識辞書レコードが複数格納される。商品IDは、各商品を個々に識別するための一意のコードである。商品名は、対応する商品IDによって特定される商品の名称である。特徴量データは、対応する商品IDで識別される商品を、撮像部14から対応する設定距離d1,d2またはd3だけ離して撮像した基準画像から、その商品の表面情報(外観形状、色合い、模様、凹凸具合等)である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものである。

なお、撮像部14からの距離とは、読取窓1Bからの離間距離を表わす。つまり、読取窓1Bに接した状態は、撮像部14からの距離が0cmとなる。読取窓1Bから離れるにしたがって、撮像部14からの距離は増加する。

図4は、商品情報ファイル40に格納されるデータの構造を示す模式図である。図4に示すように、商品情報ファイル40には、商品ID、商品名、単価、形状コード、サイズコード、登録済フラグfを含む商品情報レコードが複数格納される。商品IDは、各商品を個々に識別するための一意のコードである。商品名及び単価は、対応する商品IDによって特定される商品の名称及び1点当たりの販売価格である。

形状コードは、対応する商品IDによって特定される商品の外観形状に基づく分類を表わす。本実施形態において、各商品の形状は、「球体」、「楕円体」及び「円柱」の3種類に分類される。例えばリンゴ、スイカ、メロン等は「球体」に属する。レモン、キャベツ等は「楕円体」に属する。ダイコン、ニンジン、ごぼう等は「円柱」に属する。そして、形状「球体」の形状コードは“SP”、形状「楕円体」の形状コードは“EL”、形状「円柱」の形状コードは“CY”と定義される。

サイズコードは、対応する商品IDによって特定される商品の大きさに基づく分類を表わす。本実施形態において、各商品の大きさは、「大型」、「中型」及び「小型」の3種類に分類される。例えばスイカ、ダイコン、キャベツ等は「大型」に属する。リンゴ、メロン、ニンジン、ごぼう等は「中型」に属する。レモン等は「小型」に属する。そして、大きさ「大型」のサイズコードは“L”、大きさ「中型」のサイズコードは“M”、大きさ「小型」のサイズコードは“S”と定義される。

登録済フラグfは、対応する商品IDによって特定される商品の特徴量データが認識辞書ファイル30に登録されているか否かを識別する。本実施形態において、特徴量データが認識辞書ファイル30に登録されていないとき、登録済フラグfは“0”にリセットされる。特徴量データが認識辞書ファイル30に登録されると、登録済フラグfは“1”にセットされる。

図5は、補正ファイル50に格納されるデータの構造を示す模式図である。図5に示すように、補正ファイル50には、形状コードとサイズコードとが予め格納される。すなわち、小型球体用補正ファイル51には形状コード“SP”とサイズコード“S”とが格納され、中型球体用補正ファイル52には形状コード“SP”とサイズコード“M”とが格納され、大型球体用補正ファイル53には形状コード“SP”とサイズコード“S”とが格納される。小型楕円体用補正ファイル54には形状コード“EL”とサイズコード“S”とが格納され、中型楕円体用補正ファイル55には形状コード“EL”とサイズコード“M”とが格納され、大型楕円体用補正ファイル56には形状コード“EL”とサイズコード“L”とが格納される。小型円柱用補正ファイル57には形状コード“CY”とサイズコード“S”とが格納され、中型円柱用補正ファイル58には形状コード“CY”とサイズコード“M”とが格納され、大型円柱用補正ファイル59には形状コード“EL”とサイズコード“L”とが格納される。

また、補正ファイル50には、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33の各設定距離d1,d2,d3(d1<d2<d3)にそれぞれ関連付けて、セルコードS1〜Sz毎の補正係数kij(1≦i≦3、1≦j≦z)がセットされる。

以下、図6〜図8を用いて、セルコードS1〜Szと補正係数kijとについて具体的に説明する。

図6の(a)は、中型楕円体の標準形状を有する物体60をスキャナ装置1の読取窓1Bから短距離用認識辞書ファイル31の設定距離d1だけ離して翳した状態を示す。同図(b)は、その状態で撮像部14により撮像された画像の1フレーム(フレーム画像61)を示す。図7の(a)は、同物体60をスキャナ装置1の読取窓1Bから中距離用認識辞書ファイル32の設定距離d2だけ離して翳した状態を示す。同図(b)は、その状態で撮像部14により撮像された画像の1フレーム(フレーム画像62)を示す。図8の(a)は、同物体60をスキャナ装置1の読取窓1Bから長距離用認識辞書ファイル33の設定距離d3だけ離して翳した状態を示す。同図(b)は、その状態で撮像部14により撮像された画像の1フレーム(フレーム画像63)を示す。

各フレーム画像61,62,63を対比すればわかるように、フレーム画像61,62,63にそれぞれ映し出された物体60の画像64,65,66は、読取窓1Bから物体60までの距離に比例する。すなわち、読取窓1Bから物体60までの距離が長くなるほど、物体60の画像64,65,66は縮小される。したがって、フレーム画像61に映し出されている物体60の画像64を、距離(d2−d1)に相当する縮小率で縮小することによって、フレーム画像62に映し出される物体60の画像65を得ることができる。同様に、フレーム画像61に映し出されている物体60の画像64を、距離(d3−d1)に相当する縮小率で縮小することによって、フレーム画像63に映し出される物体60の画像65を得ることができる。

しかしながら、スキャナ装置1の撮像部14に付属する照明用光源から照射される照明光は、一般には面発光ではない。図6〜図8の(a)において、矢印Rは、上記照明用光源から照射される照明光を模式的に示している。図示するように、例えば読取窓1Bの上方からの光は斜め下方に向けて照射され、下方からの光は斜め上方に向けて照射されるというように、照明光は、傾きを有して物体60に照射される。このため、物体60が読取窓1Bから離れるにつれて物体60に照射される光量が減少する。したがって、物体60の読取窓1Bと対向する面の反射光は、物体60が読取窓1Bから離れるにつれて減衰するが、光源が面発光でないため、その減衰の度合いは、単純に距離の二乗に反比例するというものではない。また、物体60の読取窓1Bと対向する面の中心部分と外周部分とでも、反射光の減衰度合いは異なる。

以上の観点から、フレーム画像61に映し出されている物体60の画像64を、距離に相当する縮小率で縮小するだけでなく、反射光の減衰度合いに応じて補正を施すことで、実際に撮像した画像に近い画像65,66を得ることができる。補正係数kijは、物体60の画像64を距離に相当する縮小率で縮小した画像65,66を、その距離に応じた反射光の減衰度合いに応じて補正するためのパラメータである。

このような補正係数kijを得るために、本実施形態では、商品の形状(球体、楕円体、円柱)及びサイズ(大型、中型、小型)の組合せ毎に、標準形状をなす物体60が用意される。標準形状とは、該当する形状及びサイズに属する各商品の形状及びサイズのなかで代表的なものである。なお、物体60の表面の色は白色が望ましい。

補正ファイル50の作成装置は、物体60毎に、図6(a)に示す状態のときのフレーム画像61と、図7(a)に示す状態のときのフレーム画像62と、図8(a)に示す状態のときのフレーム画像63とを取り込む。そして作成装置は、図6〜図8の各(b)に示すように、各フレーム画像61,62,63を、同一サイズのセルでマトリクス状に区分する。各セルには、セルコードS1,S2,…,Sn,…,Szが順番に割当てられる。

作成装置は、各フレーム画像61,62,63の同じセルコードS1,S2,…,Sn,…,Szが割当てられた同一位置のセル毎に反射光量を求め、その減衰度合いを数値化する。そして作成装置は、その数値を補正係数k1jとする。例えば、セルコードS1のセルについて、フレーム画像61の反射光量を“1”と正規化した場合のフレーム画像62の反射光量に相当する値と、フレーム画像63の反射光量に相当する値とを、作成装置は算出する。この場合、“1”が補正係数k11となり、フレーム画像62の反射光量に相当する値が補正係数k21となり、フレーム画像63の反射光量に相当する値が補正係数k31となる。セルコードS2〜Szのセルについても、作成装置は同様の値を算出して、補正係数kijを求める。

つまり、設定距離d1に対応したフレーム画像61からは、補正係数k11,k12,…,k1n,…,k1zが求められる。設定距離d2に対応したフレーム画像62からは、補正係数k21,k22,…,k2n,…,k2zが求められる。設定距離d3に対応したフレーム画像63からは、補正係数k31,k32,…,k3n,…,k3zが求められる。

物体60が「球体・小型」の標準形状をなす物体であった場合、作成装置は、小型球体用補正ファイル51に対して、上述した設定距離d1,d2,d3別の補正係数k11,k12,…,k1n,…,k1z、補正係数k21,k22,…,k2n,…,k2z及び補正係数k31,k32,…,k3n,…,k3zをセットする。かくして、小型球体用補正ファイル51が作成される。

物体60が「球体・中型」の標準形状をなす物体であった場合には、作成装置は、中型球体用補正ファイル52に対して同様の補正係数kijをセットする。かくして、中型球体用補正ファイル52が作成される。大型球体用補正ファイル53、小型楕円体用補正ファイル54、中型楕円体用補正ファイル55、大型楕円体用補正ファイル56、小型円柱用補正ファイル57、中型円柱用補正ファイル58及び大型円柱用補正ファイル59についても同様である。

因みに、補正係数kijは、スキャナ装置1が有する撮像部14の特性(性能)のみならず、スキャナ装置1が設置される場所の周囲光等によっても変化する。このため、スキャナ装置1を導入する際に、ユーザはそのスキャナ装置1に対して最適な補正ファイル50を作成して、当該スキャナ装置1が接続されるPOS端末2にダウンロードする必要がある。なお、上述したような補正ファイル50の作成装置は、適当なアプリケーションプログラムを組むことにより、汎用のコンピュータによって実現可能である。

図9は、スキャナ装置1が商品認識装置として動作する場合の機能構成を示すブロック図である。客が買い上げる商品Mをスキャナ装置1に認識させる場合、ユーザは、キーボード11またはタッチパネル12を操作して商品認識モードを選択する。そしてオペレータは、商品Mを読取窓1Bに翳す。

商品認識モードが選択されると、スキャナ装置1では、前記商品認識プログラムが起動する。そしてこの商品認識プログラムに従い、CPU111が、距離検出手段71、距離判定手段72、辞書選択手段73、抽出手段74、類似度算出手段75、候補出力手段76及び確定手段77としての機能を実現する。以下、各機能を具体的に説明する。

商品Mが読取窓1Bに翳されると、CPU111は、距離検出手段71として機能する。すなわちCPU111は、距離センサ15から出力される距離データを、撮像部14から商品Mまでの測定距離dとして取り込む。測定距離dが取り込まれると、CPU111は、距離判定手段72として機能する。すなわちCPU111は、測定距離dが、認識辞書ファイル30に設定される設定距離d1,d2またはd3のいずれに近似しているかを判定する。

測定距離dに近似する設定距離d1,d2またはd3が特定されると、CPU111は、辞書選択手段73として機能する。すなわちCPU111は、測定距離dに近似していると特定された設定距離の認識辞書ファイル30を選択する。例えば、設定距離d1が特定された場合には、CPU111は短距離用認識辞書ファイル31を選択する。設定距離d2が特定された場合には、CPU111は中距離用認識辞書ファイル32を選択する。設定距離d3が特定された場合には、CPU111は長距離用認識辞書ファイル33を選択する。

またCPU111は、商品Mが読取窓1Bに翳されると、抽出手段74として機能する。すなわちCPU111は、撮像部14で撮像された画像から、その画像に映し出されている商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。外観特徴量が抽出されると、CPU111は、類似度算出手段75として機能する。すなわちCPU111は、抽出手段74により抽出された外観特徴量を、辞書選択手段73によって選択された認識辞書ファイル30の商品別特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を、辞書登録されている商品毎に算出する。

商品毎の類似度が算出されると、CPU111は、候補出力手段76として機能する。すなわちCPU111は、類似度の大きい順に例えば5番目までの商品を認識商品候補として選択可能にタッチパネル12に表示出力する。認識商品候補が表示されると、CPU111は、確定手段77として機能する。すなわちCPU111は、キーボード11またはタッチパネル12の操作入力により、認識商品候補の中から選択された商品を、客が買い上げる商品として確定する。もしくはCPU111は、認識商品候補の中で類似度が最も高い商品を客が買い上げる商品として確定する。

確定された商品の販売データは、通信ケーブル8を介してPOS端末2に送られる。かくしてPOS端末2では、確定手段77によって確定された商品の販売データが売上登録される。

図10は、スキャナ装置1が認識辞書作成装置として動作する場合の機能構成を示すブロック図である。商品Mの認識辞書レコードを認識辞書ファイル30に登録する場合、ユーザは、キーボード11またはタッチパネル12を操作して認識辞書作成モードを選択する。

認識辞書作成モードが選択されると、スキャナ装置1では、前記認識辞書作成プログラムが起動する。そして認識辞書作成プログラムに従い、CPU111が、特定手段81、確認手段82、警告手段83、距離検出手段84、生成前抽出手段85、生成前登録手段86、取得手段87、生成手段88、補正手段89、生成後抽出手段90及び生成後登録手段91としての機能を実現する。以下、図11及び図12の流れ図を用いて、各機能を具体的に説明する。なお、図11及び図12に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

認識辞書作成プログラムが起動すると、CPU111は、商品情報ファイル40を検索する。そしてCPU111は、登録済フラグfが“0”にリセットされている商品情報レコードが存在するか否かを確認する(Act1)。全ての商品情報レコードの登録済フラグfが“1”にセットされていた場合(Act1にてNO)、認識辞書ファイル30に特徴量データを登録しなければならない商品は存在しない。この場合、CPU111は、未登録商品が無いことをユーザに通知して(Act2)、処理を終了する。通知方法としては、タッチパネル12への表示、スピーカ16からの音声出力等がある。

登録済フラグfが“0”にリセットされている商品情報レコードが存在する場合(Act1にてYES)、CPU111は、その登録済フラグfが“0”にリセットされている商品情報レコードの商品名を一覧にした未登録商品リストを作成し、タッチパネル12に表示させる(Act3)。

未登録商品リストの商品名は、タッチ操作により選択可能である。また、未登録商品リストの画面には、終了ボタンも表示される。CPU111は、商品名が選択されるか、終了ボタンがタッチされるのを待機する(Act4,5)。

ユーザは、未登録商品リストに表示された商品のなかから登録対象の商品Mを選択して、その商品名にタッチする。そしてユーザは、登録対象の商品Mを読取窓1Bに翳す。

登録対象の商品Mが選択されると(Act4にてYES)、CPU111は、特定手段81として機能する。特定手段81は、撮像部14で撮像される商品を特定する手段である。すなわちCPU111は、タッチ操作された商品名の商品を登録対象の商品Mとして特定し、その商品名を含む商品情報レコードを商品情報ファイル40から取得して、RAM113に格納する(Act6)。

登録対象の商品Mが特定されると、CPU111は、認識辞書ファイル30に設定されている設定距離d1,d2,d3のなかで最も短い設定距離di(本実施形態ではd1)を登録距離dxとして設定する(Act7)。また、CPU111は、タッチパネル12に登録画面を表示させる(Act8)。登録画面には、撮像部14で撮像された画像を表示するための領域が形成される。また、この領域の近傍に、商品Mを撮像部14に翳すことを案内するガイダンスが表示される。このとき、ガイダンスの内容をスピーカ16から音声で発するようにしてもよい。

登録画面を表示させると、CPU111は、撮像部14に対して撮像オン信号を出力する(Act9)。この撮像オン信号により、撮像部14が撮像領域の撮像を開始する。撮像部14で撮像された撮像領域のフレーム画像は、RAM113に順次保存される。

撮像オン信号を出力したCPU111は、RAM113に保存されたフレーム画像を取り込む(Act10)。そしてCPU111は、このフレーム画像に商品Mが撮像されているか否かを確認する(Act11)。フレーム画像に商品Mが撮像されていない場合(Act11にてNO)、CPU111は、RAM113から次のフレーム画像を取り込む(Act10)。そしてCPU111は、このフレーム画像に商品Mが撮像されているか否かを確認する(Act11)。

フレーム画像に商品Mが撮像されている場合(Act11にてYES)、CPU111は、確認手段82として機能する。確認手段82は、撮像部14で撮像された画像に商品の全形が映し出されているか確認する手段である。すなわちCPU111は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPU111は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が全周にわたり抽出されると、CPU111は、フレーム画像に商品Mの全形が映し出されているとみなす(Act12)。

フレーム画像に商品Mの全形が映し出されていない場合(Act12にてNO)、CPU111は、警告手段83として機能する。警告手段83は、撮像部14で撮像された画像に商品の全形が映し出されていない場合に警告する手段である。すなわちCPU111は、商品の全形が映し出されていないことを通知する警告メッセージを登録画面に表示させる(Act13)。このとき、同様の警告メッセージをスピーカ16から音声で発するようにしてもよい。

警告後、CPU111は、RAM113から次のフレーム画像を取り込む(Act10)。そしてCPU111は、このフレーム画像に商品Mの全形が映し出されているか否かを確認する(Act11,Act12)。

フレーム画像に商品Mの全形が映し出されていた場合(Act12にてYES)、CPU111は、距離検出手段84として機能する。距離検出手段84は、撮像部14からこの撮像部14で撮像された商品Mまでの距離を取り込む手段である。すなわちCPU111は、距離センサ15から出力される距離データを、撮像部14から商品Mまでの測定距離dとして取り込む(Act14)。

測定距離dを取り込むと、CPU111は、この測定距離dと登録距離dxとを比較する(Act15)。その結果、測定距離dが登録距離dxに満たない場合(Act15にて「d<dx」)、CPU111は、測定距離dが所定の登録距離dxに達するまでの商品Mの移動距離Δd(Δd=dx−d)を算出する。そしてCPU111は、この移動距離Δdを登録画面に表示させる(Act16)。しかる後、CPU111は、RAM113から次のフレーム画像を取り込み(Act10)、Act11以降の処理を実行する。

これに対し、測定距離dが登録距離dxを超える場合には(Act15にて「d>dx」)、商品Mを撮像部14から登録距離dxだけ離して翳した段階では、商品Mの全形を撮像することができない。この場合、CPU111は、登録距離dxを認識辞書ファイル30に設定されている設定距離d1,d2,d3のなかで次に短い設定距離d(i+1)に変更する(Act17)。しかる後、CPU111は、RAM113から次のフレーム画像を取り込み(Act10)、Act11以降の処理を実行する。

なお、図示しないが、Act17の処理において、登録距離dxが既に設定距離d1,d2,d3のなかで最長の距離であった場合、商品Mを認識できないのでエラーとする。

測定距離dが登録距離dxと一致した場合には(Act15にて「d=dx」)、CPU111は、測定距離dが所定の登録距離dxに達したことを報知するメッセージを、登録画面に表示させる(Act21)。このとき、同様なメッセージをスピーカ16から音声で発するようにしてもよい。

CPU111は、自動登録モードが設定されているか否かを判断する(Act22)。スキャナ装置1は、認識辞書作成装置として動作する場合のモードとして自動登録モードと手動登録モードとがあり、予めオプションとしてどちらかのモードが設定されている。この動作モードは、ユーザが適宜変更することができる。

自動登録モードが設定されている場合(Act22でYES)、CPU111は、生成前抽出手段85として機能する。これに対し、手動登録モードが設定されている場合には(Act22でNO)、CPU111は、登録キーが入力されるのを待機する(Act23)。登録キーは、キーボード11に配置されている。あるいは、手動登録モードの場合に限り登録画面に登録キーを表示させてもよい。登録キーが入力されると(Act23にてYES)、CPU111は、生成前抽出手段85として機能する。

生成前抽出手段85は、撮像部14で撮像された商品Mの画像から当該商品Mの外観特徴量を抽出する手段である。すなわちCPU111は、Act11の処理で商品Mが検出されたフレーム画像からその商品画像を切り出す(Act24)。そしてCPU111は、この商品画像から商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する(Act25)。

商品Mの外観特徴量が抽出されると、CPU111は、生成前登録手段86として機能する。生成前登録手段86は、生成前抽出手段85により抽出した外観特徴量を特定手段81により特定された商品の距離センサ15により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイル30に登録する手段である。すなわちCPU111は、登録距離dxが設定距離として格納されている認識辞書ファイル30を選択する(Act26)。そしてCPU111は、Act6の処理でRAM113に格納した商品情報レコードの商品ID及び商品名と、Act25の処理で抽出された特徴量データとを関連付けて、Act26の処理で選択した認識辞書ファイル30に登録する(Act27)。

次に、CPU111は、取得手段87として機能する。取得手段87は、撮像部14で撮像された商品Mの外観形状を取得する手段である。すなわちCPU111は、Act12の処理で認識された商品Mの全形から、その形状が球体、楕円体または円柱のどれに該当するか、また、サイズは小型、中型または大型のどれに該当するかを、例えばテンプレートマッチングの画像処理方法により判定する(Act28)。

次に、CPU111は、認識辞書ファイル30に設定されている設定距離のなかで、現時点の登録距離dxの次に短い設定距離を新たな登録距離dyとして設定する(Act29)。そしてCPU111は、生成手段88として機能する。生成手段88は、撮像部14で撮像された商品の画像に基づいて、距離センサ15により測定された距離よりも長い所定の登録距離まで商品を撮像部14から離したときの商品画像を生成する手段である。すなわちCPU111は、新たな登録距離dyと登録距離dxとの差を求める。そしてCPU111は、この差に相当する縮小率で、Act24の処理で切り出した商品画像を縮小する(Act30)。画像を縮小する方法は、ニアレストネイバー法、バイリニア法、バイキュービック法等の周知の方法を適用できる。

次に、CPU111は、補正手段89として機能する。補正手段89は、生成手段88により生成された商品画像を登録距離dyに対する補正係数で補正する手段である。すなわちCPU111は、補正ファイル50の中から、Act28の処理で決定された商品Mの形状及びサイズが格納された補正ファイル50を選択する(Act31)。そしてCPU111は、この補正ファイル50から登録距離dyに対応するセルコードS1〜Sz別の補正係数kijを読み出す。そしてCPU111は、このセルコードS1〜Sz別の補正係数kijを、Act30の処理で商品画像が縮小されたフレーム画像の同一セルの部位に適応することで、縮小された商品画像の輝度を補正する(Act32)。

補正後、CPU111は、生成後抽出手段90として機能する。生成後抽出手段90は、生成手段88により生成された商品画像から当該商品の外観特徴量を抽出する手段である。すなわちCPU111は、Act32の処理で補正されたフレーム画像から縮小された商品画像を切り出す(Act33)。そしてCPU111は、この商品画像から商品Mの形状、表面の色合い、模、凹凸状況等の外観特徴量を抽出する(Act34)。

商品Mの外観特徴量が抽出されると、CPU111は、生成後登録手段91として機能する。生成後登録手段91は、生成後抽出手段90により抽出した外観特徴量を特定手段81により特定された商品の登録距離dyにおける特徴量データとして当該登録距離データと関連付けて認識辞書ファイル30に登録する手段である。すなわちCPU111は、認識辞書ファイル30のなかから設定距離として登録距離dyが格納されている認識辞書ファイル30を選択する(Act35)。そしてCPU111は、Act6の処理でRAM113に格納した商品情報レコードの商品ID及び商品名と、Act34の処理で抽出された特徴量データとを関連付けて、Act35の処理で選択した認識辞書ファイル30に登録する(Act36)。

しかる後、CPU111は、登録距離dyが設定距離の最大値であるか否かを確認する(Act37)。登録距離dyが設定距離の最大値でない場合(Act37にてNO)、CPU111は、Act29の処理に戻る。そして、認識辞書ファイル30に設定されている設定距離のなかで、現時点の登録距離の次に短い設定距離を新たな登録距離dyとして設定したならば、CPU111はAct30以降の処理を再度実行する。
登録距離dyが設定距離の最大値である場合、Act1の処理に戻る。かくして、未登録商品リストが更新されるので、ユーザは、次の登録対象の商品Mを選択する。そしてユーザは、その商品名にタッチし、商品Mを読取窓1Bに翳す。そうすることにより、スキャナ装置1では、Act6〜Act37の処理が再度実行される。

なお、認識辞書ファイル30の作成作業を終える場合、ユーザは終了ボタンにタッチする。終了ボタンがタッチされると(Act5にてYES)、CPU111は、未登録商品リストを消去して、認識辞書作成装置としての動作を終了する。

本実施形態のスキャナ装置1を用いて商品Mの認識辞書レコードを認識辞書ファイル30に登録する場合、ユーザは、先ず、スキャナ装置1の動作モードとして認識辞書作成モードを選択する。そうすると、タッチパネル12に未登録商品リストが表示されるので、ユーザは、リストから商品Mを選択する。そうすると、タッチパネル12に登録画面が表示されるので、ユーザは、商品Mを読取窓1Bに翳す。

スキャナ装置1では、距離センサ15により読取窓1Bから商品Mまでの距離dが測定される。このとき、登録距離dxとして、短距離用認識辞書ファイル31の設定距離d1(例えば5cm)が設定されているので、スキャナ装置1では、距離dが登録距離dxに一致するか否かが判定される。距離dが登録距離dxに満たない場合、スキャナ装置1では、登録距離dxまでの差Δdが通知される。そこでユーザは、商品Mを差Δdだけ読取窓1Bから離す。

こうして、読取窓1Bから商品Mまでの距離dが登録距離dxに一致すると、スキャナ装置1では、距離dが登録距離dxに達したことを報知するメッセージが通知される。ここで、自動登録モードが設定されている場合には、スキャナ装置1では、撮像部14で撮像されているフレーム画像から商品Mの画像が切り出され、この商品Mの画像から商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量が抽出される。そして、設定距離d1が設定されている短距離用認識辞書ファイル31に対して、商品Mの商品ID及び商品名とともに、抽出された外観特徴量をパラメータで表す特徴量データが登録される。

なお、自動登録モードでなく手動登録モードが設定されている場合には、ユーザは登録キーを入力する。そうすると、スキャナ装置1では、撮像部14で撮像されている画像から商品Mの画像が切り出され、この商品Mの画像から商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量が抽出される。そして、設定距離d1が設定されている短距離用認識辞書ファイル31に対して、商品Mの商品ID及び商品名とともに、抽出された外観特徴量をパラメータで表す特徴量データが登録される。

商品Mの特徴量データを含む認識辞書レコードが短距離用認識辞書ファイル31に登録されると、スキャナ装置1では、商品Mの画像から商品Mの形状及びサイズが取得される。またスキャナ装置1では、新たな登録距離dyとして、中距離用認識辞書ファイル32の設定距離d2が設定される。そして商品Mの画像が、距離d2と距離d1との差[d2−d1]に相当する縮小率で縮小される。

さらに、スキャナ装置1では、商品Mの形状及びサイズに対応した補正ファイル50が選択される。例えば商品Mの形状が楕円体であり、サイズが中型であると仮定すると、中型楕円体用補正ファイル55が選択される。

補正ファイル50が選択されると、スキャナ装置1では、この補正ファイル50から設定距離d2に対応するセルコード別の補正係数k21〜k2zが選択される。そして、商品Mの画像が差[d2−d1]に相当する縮小率で縮小されたフレーム画像がセル毎に補正係数k21〜k2zによって補正される。

スキャナ装置1では、補正後のフレーム画像から縮小された商品Mの画像が切り出され、この商品画像から商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量が抽出される。そして、設定距離d2が設定されている中距離用認識辞書ファイル32に対して、商品Mの商品ID及び商品名とともに、抽出された外観特徴量をパラメータで表す特徴量データが登録される。

次いで、スキャナ装置1では、新たな登録距離dyとして、長距離用認識辞書ファイル33の設定距離d3が設定される。そして商品Mの画像が、距離d3と距離d1との差[d3−d1]に相当する縮小率で縮小される。

また、スキャナ装置1では、商品Mの形状及びサイズに対応した補正ファイル50から設定距離d3に対応するセルコード別の補正係数k31〜k3zが選択される。そして、商品Mの画像が差[d3−d1]に相当する縮小率で縮小されたフレーム画像がセル毎に補正係数k21〜k2zによって補正される。

スキャナ装置1では、補正後のフレーム画像から縮小された商品Mの画像が切り出され、この商品画像から商品Mの形状、表面の色合い、模様、凹凸状況等の外観特徴量が抽出される。そして、設定距離d3が設定されている長距離用認識辞書ファイル33に対して、商品Mの商品ID及び商品名とともに、抽出された外観特徴量をパラメータで表す特徴量データが登録される。

かくして、短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33にそれぞれに対し、商品Mの特徴量データを含む商品認識レコードが登録される。その場合において、短距離用認識辞書ファイル31に登録された特徴量データは、当該商品Mを撮像部14から設定距離d1だけ離した状態で撮像した画像から得たものである。また、中距離用認識辞書ファイル32に登録された特徴量データは、当該商品Mを撮像部14から設定距離d2だけ離した状態で撮像した画像に近似させた画像から得たものである。同様に、長距離用認識辞書ファイル33に登録された特徴量データは、当該商品Mを撮像部14から設定距離d3だけ離した状態で撮像した画像に近似させた画像から得たものである。

このように本実施形態によれば、ユーザが商品Mを撮像部14から設定距離d1だけ離して翳すだけで、設定距離d1よりも離れた設定距離d2及び設定距離d3で撮像された画像から得られる特徴量データが認識辞書ファイル30に登録される。つまり、距離別の認識辞書ファイル30を作成するために、1つの商品に対して解像度が異なる複数の基準画像を撮像する必要がない。したがって、距離別の認識辞書ファイル30を簡単な手間で効率よく作成することができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、認識辞書ファイル30を短距離用認識辞書ファイル31、中距離用認識辞書ファイル32及び長距離用認識辞書ファイル33の3種類としたが、認識辞書ファイル30の種類は3種類に限定されるものではない。短距離と長距離の2種類だけであってもよいし、個々のファイルの設定距離さえ異なれば4種類以上であってもよい。

また、認識辞書ファイル30を距離別に分割しなくてもよい。例えば認識辞書データに設定距離d1〜d3のデータを付加することによって、認識辞書ファイル30を物理的に1ファイルで構成できるようになる。

前記実施形態では、補正ファイル50を小型球体用補正ファイル51、中型球体用補正ファイル52、大型球体用補正ファイル53、小型楕円体用補正ファイル54、中型楕円体用補正ファイル55、大型楕円体用補正ファイル56、小型円柱用補正ファイル57、中型円柱用補正ファイル58及び大型円柱用補正ファイル59の9種類としたが、補正ファイル50の種類は9種類に限定されるものではない。商品の外観形状を区別する分類及び商品のサイズを区別する分類の項目数に応じて適宜設定される。また、設定距離とセルコード別の補正係数とからなるレコードに、形状コードとサイズコードとを付加することによって、補正ファイル50を1つのデータファイルで構成することも可能である。

前記実施形態では、フレーム画像61の反射光量を“1”と正規化した場合のフレーム画像62の反射光量に相当する値とフレーム画像63の反射光量に相当する値を補正係数kijとした。しかし、補正係数kijは、これに限定されるものではない。撮像部14からの離間距離毎に標準形状の物体60を撮像した際の物体表面での反射光の減衰傾向を表わすパラメータであればよい。

なお、撮像部14に付属する照明用光源が面発光であった場合には、補正係数kijによる補正は不要となる。この場合、補正ファイル50を省略できる。また、認識辞書作成プログラムに従いスキャナ装置1のCPU111が実行する情報処理手順のAct31及びAct32の処理を省略できる。

前記実施形態では、商品認識装置として機能するスキャナ装置1に認識辞書作成装置としての機能を持たせたが、商品認識装置としての機能は必ずしも必要とはしない。すなわち、認識辞書作成装置を専用機として構成してもよい。この場合、認識辞書ファイル30、商品情報ファイル40及び補正ファイル50は、専用機が実装する補助記憶部で格納するか、専用機に対してネットワークを介して接続されるサーバの記憶装置で格納すればよい。

なお、認識辞書作成装置の譲渡は一般に、認識辞書作成プログラム等のプログラムがROMに記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された認識辞書作成プログラム等がユーザなどの操作に応じて書き込まれてもよい。認識辞書作成プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]商品を撮像する撮像部と、前記撮像部から、前記撮像部で撮像された商品までの距離を測定する測定手段と、前記商品を特定する特定手段と、前記撮像部で撮像された前記商品の画像に基づいて、前記測定手段により測定された距離よりも長い所定の登録距離まで前記商品を前記撮像部から離したときの商品画像を生成する生成手段と、この生成手段により生成された前記商品画像から当該商品の外観特徴量を抽出する生成後抽出手段と、前記生成後抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記登録距離における特徴量データとして当該登録距離データと関連付けて認識辞書に登録する生成後登録手段と、を具備したことを特徴とする認識辞書作成装置。
[2]前記撮像部からの離間距離毎に標準形状の物体を撮像した際の前記物体表面での反射光の減衰傾向を表わす補正係数を記憶する記憶手段と、前記生成手段により生成された前記商品画像を前記登録距離に対する前記補正係数で補正する補正手段と、をさらに具備し、前記生成後抽出手段は、前記補正手段により補正された前記商品画像から当該商品の外観特徴量を抽出することを特徴とする付記[1]記載の認識辞書作成装置。
[3]前記撮像部で撮像された商品の外観形状を取得する取得手段、をさらに具備し、前記記憶手段は、前記撮像部からの離間距離毎に異なる標準形状の物体をそれぞれ撮像した際の前記物体表面での反射光の減衰傾向を表わす補正係数を前記標準形状別に記憶し、前記補正手段は、前記取得手段により取得された外観形状に類似する標準形状の補正係数で補正することを特徴とする付記[2]記載の認識辞書作成装置。
[4]前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する生成前抽出手段と、前記生成前抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて前記認識辞書に登録する生成前登録手段と、をさらに具備したことを特徴とする付記[1]乃至[3]のうちいずれか1記載の認識辞書作成装置。
[5]前記撮像部で撮像された画像に前記商品の全形が映し出されているか確認する確認手段と、前記商品の全形が映し出されていない場合に警告する警告手段と、をさらに具備したことを特徴とする付記[1]乃至[4]のうちいずれか1記載の認識辞書作成装置。
[6]撮像部で撮像された前記商品の画像データ及び測定手段により測定された前記撮像部から、前記撮像部で撮像された商品までの距離データを取り込む機能を有したコンピュータに、前記商品を特定する機能、前記撮像部で撮像された前記商品の画像に基づいて、前記測定手段により測定された距離よりも長い所定の登録距離まで前記商品を前記撮像部から離したときの商品画像を生成する機能、生成された前記商品画像から当該商品の外観特徴量を抽出する機能、抽出された外観特徴量を前記特定された商品の前記登録距離における特徴量データとして当該登録距離データと関連付けて認識辞書に登録する機能、を実現させるための認識辞書作成プログラム。

1…スキャナ装置、2…POS端末、12…タッチパネル、14…撮像部、15…距離センサ、30…認識辞書ファイル、40…商品情報ファイル、50…補正ファイル。

Claims (5)

  1. 商品を撮像する撮像部と、
    前記撮像部から、前記撮像部で撮像された商品までの距離を測定する測定手段と、
    前記商品を特定する特定手段と、
    前記撮像部で撮像された前記商品の画像に基づいて、前記測定手段により測定された距離よりも長い所定の登録距離まで前記商品を前記撮像部から離したときの商品画像を生成する生成手段と、
    前記撮像部からの離間距離毎に標準形状の物体を撮像した際の前記物体の表面での反射光の減衰傾向を表わす補正係数を記憶する記憶手段と、
    前記生成手段により生成された前記商品画像を前記登録距離に対する前記補正係数で補正する補正手段と、
    前記補正手段により補正された前記商品画像から当該商品の外観特徴量を抽出する当該商品の外観特徴量を抽出する生成後抽出手段と、
    前記生成後抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記登録距離における特徴量データとして当該登録距離データと関連付けて認識辞書に登録する生成後登録手段と、
    を具備したことを特徴とする認識辞書作成装置。
  2. 前記撮像部で撮像された商品の外観形状を取得する取得手段、
    をさらに具備し、
    前記記憶手段は、前記撮像部からの離間距離毎に異なる標準形状の物体をそれぞれ撮像した際の前記物体表面での反射光の減衰傾向を表わす補正係数を前記標準形状別に記憶し、
    前記補正手段は、前記取得手段により取得された外観形状に類似する標準形状の補正係数で補正することを特徴とする請求項記載の認識辞書作成装置。
  3. 前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する生成前抽出手段と、
    前記生成前抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて前記認識辞書に登録する生成前登録手段と、
    をさらに具備したことを特徴とする請求項1または2に記載の認識辞書作成装置。
  4. 前記撮像部で撮像された画像に前記商品の全形が映し出されているか確認する確認手段と、
    前記商品の全形が映し出されていない場合に警告する警告手段と、
    をさらに具備したことを特徴とする請求項1乃至のうちいずれか1記載の認識辞書作成装置。
  5. 撮像部で撮像された商品の画像データ及び測定手段により測定された前記撮像部から前記撮像部で撮像された商品までの距離データを取り込む機能を有したコンピュータに、
    前記商品を特定する機能、
    前記撮像部で撮像された前記商品の画像に基づいて、前記測定手段により測定された距離よりも長い所定の登録距離まで前記商品を前記撮像部から離したときの商品画像を生成する機能、
    前記撮像部からの離間距離毎に標準形状の物体を撮像した際の前記物体の表面での反射光の減衰傾向を表わす補正係数を記憶し、生成された前記商品画像を前記登録距離に対する前記補正係数で補正する補正する機能、
    補正された前記商品画像から当該商品の外観特徴量を抽出する機能、
    抽出された外観特徴量を前記特定された商品の前記登録距離における特徴量データとして当該登録距離データと関連付けて認識辞書に登録する機能、
    を実現させるための認識辞書作成プログラム。
JP2013112033A 2013-05-28 2013-05-28 認識辞書作成装置及び認識辞書作成プログラム Active JP5847117B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013112033A JP5847117B2 (ja) 2013-05-28 2013-05-28 認識辞書作成装置及び認識辞書作成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013112033A JP5847117B2 (ja) 2013-05-28 2013-05-28 認識辞書作成装置及び認識辞書作成プログラム
US14/285,688 US9454708B2 (en) 2013-05-28 2014-05-23 Recognition dictionary creation apparatus and method for creating recognition dictionary by the same

Publications (2)

Publication Number Publication Date
JP2014232370A JP2014232370A (ja) 2014-12-11
JP5847117B2 true JP5847117B2 (ja) 2016-01-20

Family

ID=51985156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013112033A Active JP5847117B2 (ja) 2013-05-28 2013-05-28 認識辞書作成装置及び認識辞書作成プログラム

Country Status (2)

Country Link
US (1) US9454708B2 (ja)
JP (1) JP5847117B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017796A2 (en) 2013-08-02 2015-02-05 Digimarc Corporation Learning systems and methods
DE102014009686A1 (de) * 2014-07-02 2016-01-07 Csb-System Ag Verfahren zur Erfassung schlachttierbezogener Daten an einem Schlachttier
JP6193897B2 (ja) * 2015-01-05 2017-09-06 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US10282722B2 (en) * 2015-05-04 2019-05-07 Yi Sun Huang Machine learning system, method, and program product for point of sale systems
JP6272810B2 (ja) * 2015-09-30 2018-01-31 東芝テック株式会社 情報処理装置およびプログラム
US20170193290A1 (en) * 2016-01-06 2017-07-06 Toshiba Tec Kabushiki Kaisha Commodity registration apparatus and commodity registration method
JP2017211711A (ja) * 2016-05-23 2017-11-30 東芝テック株式会社 チェックアウトシステム
JP2018101292A (ja) * 2016-12-20 2018-06-28 東芝テック株式会社 情報処理装置及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115888A (en) * 1991-02-04 1992-05-26 Howard Schneider Self-serve checkout system
US5497314A (en) * 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5883968A (en) * 1994-07-05 1999-03-16 Aw Computer Systems, Inc. System and methods for preventing fraud in retail environments, including the detection of empty and non-empty shopping carts
JPH08138028A (ja) * 1994-11-11 1996-05-31 Tec Corp 物品認識装置
JP3556425B2 (ja) 1997-03-18 2004-08-18 株式会社東芝 共有辞書更新方法および辞書サーバ
US6075594A (en) * 1997-07-16 2000-06-13 Ncr Corporation System and method for spectroscopic product recognition and identification
US5967264A (en) * 1998-05-01 1999-10-19 Ncr Corporation Method of monitoring item shuffling in a post-scan area of a self-service checkout terminal
AUPQ212499A0 (en) * 1999-08-10 1999-09-02 Ajax Cooke Pty Ltd Item recognition method and apparatus
JP2005065265A (ja) * 2003-07-31 2005-03-10 Omron Corp フレーム調節装置、撮像装置および印刷装置
JP4320272B2 (ja) * 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
US9778093B2 (en) * 2006-12-26 2017-10-03 Toshiba Global Commerce Solutions Holdings Corporation Determining product length for use in regulating transactions in a self-checkout conveyer system
US8068674B2 (en) * 2007-09-04 2011-11-29 Evolution Robotics Retail, Inc. UPC substitution fraud prevention
EP2071515A1 (en) * 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visually tracking an object in real world using 2D appearance and multicue depth estimations
JP5288440B2 (ja) * 2007-12-27 2013-09-11 株式会社Ihi 人体検出装置及び人体検出方法
US7448542B1 (en) * 2008-05-05 2008-11-11 International Business Machines Corporation Method for detecting a non-scan at a retail checkout station
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
JP5535508B2 (ja) 2009-03-31 2014-07-02 Necインフロンティア株式会社 セルフpos装置及びその動作方法
JP2012247968A (ja) * 2011-05-27 2012-12-13 Toshiba Tec Corp 情報処理装置、情報処理方法及び制御プログラム

Also Published As

Publication number Publication date
US20140355838A1 (en) 2014-12-04
JP2014232370A (ja) 2014-12-11
US9454708B2 (en) 2016-09-27

Similar Documents

Publication Publication Date Title
US9659198B2 (en) System and method of determining if a surface is printed or a mobile device screen
US20170211931A1 (en) Dimensioning system with guided alignment
US9729744B2 (en) System and method of border detection on a document and for producing an image of the document
CN102938050B (zh) 基于pos的条形码符号读取系统
US20160042241A1 (en) Interactive indicia reader
CN102376136B (zh) 店铺系统及商品销售数据处理方法
CN101159084B (zh) 自结账终端
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2004127013A (ja) 販売時点情報管理装置
JP5544332B2 (ja) 店舗システムおよびプログラム
US9042660B2 (en) Information processing apparatus and information processing method
JP2013210971A (ja) 情報処理装置及びプログラム
JP5431429B2 (ja) 情報処理装置及びプログラム
JP5553866B2 (ja) 商品認識装置及び認識辞書追加プログラム
US20160189128A1 (en) Store system and sales registration method
US9092050B2 (en) Checkout device with multi-touch input device
US9036870B2 (en) Commodity recognition apparatus and commodity recognition method
JP5132732B2 (ja) 店舗システムおよびプログラム
JP5551143B2 (ja) 店舗システムおよびプログラム
JP5826152B2 (ja) 商品認識装置及び商品認識プログラム
CN103810468B (zh) 商品识别装置及商品识别方法
JP5744824B2 (ja) 商品認識装置及び商品認識プログラム
JPH07234971A (ja) 商品販売登録データ処理装置
US20120059704A1 (en) Product information processing apparatus and product information processing method
US20130001290A1 (en) Object identification using barcode reader

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151124

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5847117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150