JP5658720B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP5658720B2
JP5658720B2 JP2012196400A JP2012196400A JP5658720B2 JP 5658720 B2 JP5658720 B2 JP 5658720B2 JP 2012196400 A JP2012196400 A JP 2012196400A JP 2012196400 A JP2012196400 A JP 2012196400A JP 5658720 B2 JP5658720 B2 JP 5658720B2
Authority
JP
Japan
Prior art keywords
product
commodity
image
unit
exclusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012196400A
Other languages
English (en)
Other versions
JP2014052806A (ja
Inventor
秀彦 宮越
秀彦 宮越
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2012196400A priority Critical patent/JP5658720B2/ja
Publication of JP2014052806A publication Critical patent/JP2014052806A/ja
Application granted granted Critical
Publication of JP5658720B2 publication Critical patent/JP5658720B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/2018Identifying/ignoring parts by sensing at different wavelengths
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/17Recognition of food, fruit, vegetables

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品を撮像等することでその物体の色や色分布、サイズ、形状等の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、この物品の種別等を認識する技術が存在している。また、この技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。

ところで、例えば、物品を手で保持した状態で撮像するような場合、その物品が写り込んだ画像中の領域から特徴量を抽出することで、物品の特徴量を効率的に読み取ることが可能である。しかしながら、従来の技術では、物品の写り込み領域と、この物品以外の写り込み領域と、を区分けすることが困難であるという問題があった。

実施の形態の情報処理装置は、第1特定手段と、判別手段と、第2特定手段と、抽出手段と、物体認識手段とを備える。第1特定手段は、撮像領域中の温度分布を表す熱画像から、人体温の温度範囲にある手形状の第1領域を特定する。判別手段は、前記第1領域の形状から人の手が物体を掴んでいる方向を判別する。第2特定手段は、前記第1領域に隣接し且つ前記判別手段が判別した方向に存在する第2領域を特定する。抽出手段は、前記第2特定手段が特定した前記第2領域に基づいて、前記撮像領域を撮像した撮像画像中の特定の領域から特徴量を抽出する。物体認識手段は、前記抽出手段が抽出した特徴量を用いて、前記撮像領域中に存在する物体を認識する。

図1は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。 図2は、図1に示したPOS端末及び商品読取装置のハードウェア構成を示すブロック図である。 図3は、図2に示したPLUファイルのデータ構成の一例を模式的に示す図である。 図4は、図2に示した除外領域特定用ファイルのデータ構成の一例を模式的に示す図である。 図5は、図2に示した確定領域特定用ファイルのデータ構成の一例を模式的に示す図である。 図6は、図2に示した商品特性ファイルのデータ構成の一例を模式的に示す図である。 図7は、図1に示したPOS端末及び商品読取装置の機能構成を示すブロック図である。 図8は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。 図9は、商品読取装置が実行する商品認識処理の手順を示すフローチャートである。 図10は、POS端末が実行する売上登録処理の手順を示すフローチャートである。 図11は、実施形態に係るセルフPOSの構成を示す斜視図である。 図12は、図11に示したセルフPOSのハードウェア構成を示すブロック図である。

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うPOS端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。

図1は、チェックアウトシステム1の外観構成を示す斜視図である。図1に示すように、チェックアウトシステム1は、POS端末11と、情報処理装置としての商品読取装置101とを備える。

POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。

なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。

POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。

カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。

ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。

このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に第1カメラ164及び第2カメラ165(図2参照)を配置している。

顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bへと移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された第1カメラ164及び第2カメラ165(図2参照)は商品Gを撮像する。

図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。

POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。

POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。

キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。

POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、各種プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。

また、HDD64には、PLUファイルF1、除外領域特定用ファイルF2、確定領域特定用ファイルF3及び商品特性ファイルF4等のデータファイルが記憶されている。なお、PLUファイルF1、除外領域特定用ファイルF2、確定領域特定用ファイルF3及び商品特性ファイルF4は、後述する接続インターフェース65を介し、商品読取装置101から読み出し(参照)可能に保持されているものとする。

PLUファイルF1は、店舗内で販売される商品Gと、その商品Gの売上登録に係る情報と、の関連付けが設定されたデータファイルである。

図3は、PLUファイルF1のデータ構成の一例を模式的に示す図である。同図に示すように、PLUファイルF1には、商品G毎に、ユニークに割り当てられた商品IDと、商品Gが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像とが、その商品Gの商品情報として登録されている。以下、商品IDと関連付けられた商品Gを登録商品という。

除外領域特定用ファイルF2は、商品読取装置101で撮像される撮像画像において、後述する特徴量の抽出対象から除外する領域(除外領域)を特定するための条件(以下、除外条件という)を格納したデータファイルである。

図4は、除外領域特定用ファイルF2のデータ構成の一例を模式的に示す図である。同図に示すように、除外領域特定用ファイルF2には、除外領域の特定に係る種々の除外条件が、各除外条件を識別するための管理番号と関連付けて格納されている。除外条件には、例えば、所定の温度範囲、その温度範囲を有する領域の形状、当該領域の配置位置等を定義することが可能である。

ここで、管理番号“01”の除外条件は、人が商品G等の対象物を片手で保持した状態を、後述する第1カメラ164で撮像した際の熱画像(サーモグラフィ)を用いて定義した例を示している。この例では、人体温の温度範囲(34〜40度)を有する領域A11(人の手に相当する形状の領域)を条件としている。

また、管理番号“02”の除外条件は、人が商品G等の対象物を両手で保持した状態を、後述する第1カメラ164で撮像した際の熱画像を用いて定義した例を示している。この例では、人体温の温度範囲を有する領域A12、A13(人の手に相当する形状の領域)と、この領域A12、A13の配置位置(例えば、対向配置されている等)を条件としている。

このように、除外領域特定用ファイルF2の除外条件には、店員が商品Gを読取窓103に向けた際の撮像画像から、商品Gの認識の妨げとなる人の手等の写り込み領域を特定するための条件が保持されている。

確定領域特定用ファイルF3は、商品読取装置101で撮像される撮像画像において、特徴量の抽出対象とする領域(以下、確定領域という)を特定するための条件(以下、確定条件という)を格納したデータファイルである。

図5は、確定領域特定用ファイルF3のデータ構成の一例を模式的に示す図である。同図に示すように、確定領域特定用ファイルF3には、確定領域の特定に係る種々の確定条件が、管理番号と関連付けて格納されている。確定条件には、先の除外条件と同様、例えば、所定の温度範囲、その温度範囲を有する領域の形状、当該領域の配置位置等を定義することが可能である。

ここで、管理番号“01”の確定条件は、図4に示した管理番号“01”の除外条件を用いて定義されており、人体温の温度範囲を有した手形状の領域A11に隣接する領域(破線で囲んだ領域A21参照)であることを条件としている。この場合、手の形状から物を掴んでいる方向を判別し、その方向に応じて領域A21を定義する形態としてもよい。

また、管理番号“02”の確定条件は、図4に示した管理番号“02”の除外条件を用いて定義されており、領域A12とA13との間に存在する領域(破線で囲んだ領域A22参照)であることを条件としている。また、管理番号“03”の確定条件は、冷蔵・冷凍の温度範囲(例えば、−10〜10度)等の所定の温度範囲の領域であることを条件としている。

このように、確定領域特定用ファイルF3の除外条件には、店員が商品Gを読取窓103に向けた際の撮像画像から、認識の対象となる商品Gが存在する領域を特定するための条件が保持されている。

なお、図4、図5の一部では、熱画像を用いて除外条件、確定条件を定義する例を示したが、これに限らず、特定対象とする領域の形状、位置関係、温度分布等の条件を、それらの状態の特徴を表す特徴量(数値パラメータ等)、関係式等を用いて定義する形態としてもよい。また、図5では、除外領域(除外条件)に付随して確定条件を定義する形態としたが、これに限らず、除外条件とは独立して確定条件を定義する形態としてもよい。また、本実施形態では、除外条件及び確定条件の両条件を定義する形態としたが、これに限らず、何れか一方の条件を定義する形態としてもよい。

また、後述する第2カメラ165の撮像画像に基づき定めた除外条件及び確定条件を、除外領域特定用ファイルF2や確定領域特定用ファイルF3に格納してもよい。例えば、撮像画像中の肌色領域を、人の手の写り込み領域(除外領域)とする除外条件を定義してもよい。また、店舗内で販売される商品Gの全部または一部の輪郭線を別途記憶しておき、この輪郭線に略一致した撮像画像中の領域を、読取窓103に向けられた商品の写り込み領域(確定領域)とする確定条件を定義してもよい。

商品特性ファイルF4には、店舗内で販売される商品Gの各々と、その商品Gの特徴を表す情報とが関連付けて格納されている。

図6は、商品特性ファイルF4のデータ構成の一例を模式的に示す図である。同図に示すように、商品特性ファイルF4には、商品G毎に、商品IDと、その商品Gを撮像した撮像画像(以下、商品画像という)と、が関連付けて登録されている。ここで、商品IDは、PLUファイルF1に登録された商品IDに対応する。なお、商品特性ファイルF4のデータ構成は図6の例に限らず、例えば、商品画像から読み取られる商品Gの色合いや模様、表面の凹凸状況、形状等の特徴量を、商品画像の代わりに登録する形態としてもよい。

図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1等が格納されている。

さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御の下、一取引の取引内容をレシートに印字する。

一方、商品読取装置101は、POS端末11と同様にマイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。

CPU161には、第1カメラ164、第2カメラ165、音声出力部166が各種の入出力回路(いずれも図示せず)を介して接続されている。第1カメラ164、第2カメラ165、音声出力部166は、CPU161によって動作が制御される。なお、読取窓103の奥側等に、第1カメラ164及び第2カメラ165の撮像領域に照明光を照射する照明部が設けられているものとする(図示せず)。

第1カメラ164は、遠赤外線を用いたサーモカメラ等である。第1カメラ164は、CPU161の制御の下で読取窓103から撮像を行い、撮像領域中の被写体から放射される遠赤外線、つまり撮像領域中の温度の分布を熱画像(サーモグラフィ)として出力する。第2カメラ165は、カラーCCDセンサやカラーCMOSセンサ等のイメージセンサを有した撮像装置である。第2カメラ165は、CPU161の制御の下で読取窓103から撮像を行い、撮像により得られた画像を撮像画像として出力する。なお、第1カメラ164及び第2カメラ165の撮像範囲は、読取窓103の外側に向けて略同位置となる設定されているものとする。

第1カメラ164及び第2カメラ165は、例えば30fps等の所定のフレームレートで撮像を行う。撮像された画像は、RAM163に順次保存される。なお、第1カメラ164及び第2カメラ165の撮像タイミングは同期していることが好ましい。

音声出力部166は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部166は、CPU161の制御の下で警告音等の音声による報知を行う。

また、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、接続インターフェース175には、接続インターフェース176を介して、表示・操作部104が接続されており、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。

次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図7を参照して説明する。

図7は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図7に示すように、商品読取装置101のCPU161は、プログラムを順次実行することにより、画像取込部1611、除外領域特定部1612、確定領域特定部1613、特徴量抽出部1614、類似度判定部1615、商品候補提示部1616、入力受付部1617及び情報出力部1618としての機能を備える。

画像取込部1611は、第1カメラ164に撮像オン信号を出力して第1カメラ164に撮像動作を開始させ、この第1カメラ164の撮像によりRAM163に保存された熱画像を順次取り込む。また、画像取込部1611は、第2カメラ165に撮像オン信号を出力して第2カメラ165に撮像動作を開始させ、この第2カメラ165の撮像によりRAM163に保存された撮像画像を順次取り込む。なお、画像取込部1611による熱画像及び撮像画像の取り込みは、RAM163に保存された順に行われる。また、画像取込部1611による熱画像及び撮像画像の取り込みは、同じタイミングで行われることが好ましい。

除外領域特定部1612は、除外領域特定用ファイルF2に格納された除外条件に従い、画像取込部1611により取り込まれた熱画像内から除外領域を特定する。

例えば、画像取込部1611が取得した熱画像中に、図4に示した管理番号“01”の除外条件(領域A11)を満たす充足領域が存在する場合、除外領域特定部1612は、この充足領域を除外領域と特定する。また、画像取込部1611が取得した熱画像中に、図4に示した管理番号“02”の除外条件(領域A12、A13)を満たす充足領域が存在する場合、除外領域特定部1612は、これらの充足領域を除外領域と特定する。

なお、除外領域特定用ファイルF2に、第2カメラ165の撮像画像に基づく除外条件が定義されている場合には、除外領域特定部1612は、画像取込部1611により取り込まれた撮像画像を解析し、この撮像画像中に除外条件を満たす充足領域が存在するか否かを判定する。

また、除外領域特定部1612は、除外領域特定用ファイルF2に格納された除外条件を管理番号単位で個別に判定するものとするが、複数の管理番号での除外条件をAND、OR等で論理的に組み合わせた複合除外条件を用いて判定する形態としてもよい。なお、画像取込部1611により取り込まれた熱画像及び撮像画像と、除外条件との判定方法は特に問わず、例えば、パターンマッチングや後述する物体認識技術等の公知技術を用いる形態としてもよい。

確定領域特定部1613は、確定領域特定用ファイルF3に格納された確定条件に従い、画像取込部1611により取り込まれた撮像画像内から確定領域を特定する。

例えば、画像取込部1611が取得した熱画像中に、図5に示した管理番号“01”の確定条件(領域A21)を満たす充足領域が存在する場合、確定領域特定部1613は、この充足領域を確定領域と特定する。また、画像取込部1611が取得した熱画像中に、図5に示した管理番号“02”の除外条件(領域A22)を満たす充足領域が存在する場合、確定領域特定部1613は、この充足領域を除外領域と特定する。また、画像取込部1611が取得した熱画像中に、図5に示した管理番号“03”の除外条件を満たす充足領域が存在する場合、確定領域特定部1613は、この充足領域を除外領域と特定する。

なお、図5の管理番号“01”、“02”のように、確定条件の判定に除外領域を用いる場合には、確定領域特定部1613は、除外領域特定部1612の特定結果を用いて確定領域の特定を行うものとする。

また、確定領域特定用ファイルF3に、第2カメラ165の撮像画像に基づく確定条件が定義されている場合には、確定領域特定部1613は、画像取込部1611により取り込まれた撮像画像を解析し、この撮像画像中に確定条件を満たす充足領域が存在するか否かを判定するものとする。

また、確定領域特定部1613は、確定領域特定用ファイルF3に格納された確定条件を管理番号単位で個別に判定するものとするが、複数の管理番号での確定条件をAND、OR等で論理的に組み合わせた複合除外条件を用いて判定する形態としてもよい。なお、画像取込部1611により取り込まれた熱画像及び撮像画像と、確定条件との判定方法は特に問わず、例えば、パターンマッチングや後述する物体認識技術等の公知技術を用いてもよい。

特徴量抽出部1614は、除外領域特定部1612及び確定領域特定部1613で特定された領域に基づき、画像取込部1611により取り込まれた撮像画像から、当該撮像画像に含まれた商品Gの表面の状態(表面の色合い、模様(パターン)、凸凹状況、形状等)を特徴量として抽出する。

具体的に、特徴量抽出部1614は、除外領域特定部1612で特定された除外領域に対応する撮像画像中の領域を、特徴量の抽出対象から除外する。また、特徴量抽出部1614は、確定領域特定部1613で特定された確定領域に対応する撮像画像中の領域を特徴量の抽出対象とし、この領域に含まれる画像から特徴量を抽出する。

ここで、特徴量の抽出対象となる領域は、読取窓103に向けられた商品Gの写り込み領域となる。これにより、商品Gの特徴量を効率的に抽出することができ、また、その精度を向上することができるため、後述する類似度判定部1615での商品Gの認識率を向上させることができる。

なお、除外領域及び確定領域のうち、除外領域が特定された場合には、撮像画像から除外領域を除外した残りの領域から特徴量を抽出するものとする。また、除外領域及び確定領域のうち、確定領域が特定された場合には、この確定領域から特徴量を抽出するものとする。

類似度判定部1615は、特徴量抽出部1614で抽出された特徴量と、POS端末11の商品特性ファイルF4に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す類似度が所定の閾値以上となる登録商品(商品ID)を、商品特性ファイルF4から特定する。

具体的に、類似度判定部1615は、特徴量を比較することで、撮像画像中に含まれた商品と、商品特性ファイルF4に登録された各登録商品との類似度をそれぞれ算出し、その類似度が所定の閾値以上となった登録商品(商品ID)を、第2カメラ165で撮像された商品Gの候補として認識する。

上記のように画像中に含まれる物体を認識することは、一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成24年7月26日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成24年7月26日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Gの画像と、商品特性ファイルF4に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Gの画像と、商品特性ファイルF4に登録された登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Gの画像と、商品特性ファイルF4に登録された各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Gと、商品特性ファイルF4に登録された各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。

商品候補提示部1616は、類似度判定部1615で候補として認識された登録商品に関する情報を、商品候補として表示デバイス106に表示させる。具体的に、商品候補提示部1616は、候補として認識された登録商品の商品情報をPOS端末11のPLUファイルF1から読み出し、類似度の高いものから、表示デバイス106に順次表示させる。

図8は、商品候補の表示例を示す図である。図8に示すように、表示デバイス106の表示画面のうち、商品候補提示領域A31には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像G1、G2、G3が商品名とともに表示される。これらイラスト画像G1、G2、G3は、タッチパネル105に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域A31の下部には、商品リストから商品を選択するための選択ボタンB11が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域A32には、画像取込部1611により取り込まれた第2カメラ165の撮像画像が表示される。

なお、図8では、3つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて商品特性ファイルF4に登録された商品画像を表示する形態としてもよい。また、領域A33に第1カメラ164の熱画像を表示する形態としてもよい。

図7に戻り、入力受付部1617は、タッチパネル105又はキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受け付ける。例えば、入力受付部1617は、表示デバイス106に表示された商品候補のイラスト画像(図8参照)の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部1617は、選択されたイラスト画像の商品候補を、第2カメラ165によって撮像された商品Gに対応する商品(確定商品)として受け付ける。

情報出力部1618は、上述のように確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を、接続インターフェース175を介してPOS端末11に出力する。

なお、情報出力部1618は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品ID等とともにPOS端末11に出力してもよい。また、情報出力部1618がPOS端末11に出力する情報としては、情報出力部1618がPLUファイルF1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、イラスト画像、イラスト画像のファイル名を通知してもよいし、その商品IDの格納場所(PLUファイルF1での格納アドレス)を通知してもよい。

一方、POS端末11のCPU61は、プログラムを実行することにより、売上登録部611としての機能を備える。売上登録部611は、商品読取装置101の情報出力部1618から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部611は、PLUファイルF1を参照し、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。

次に、チェックアウトシステム1の動作について説明する。まず、商品読取装置101の動作について説明する。図9は、商品読取装置101が実行する商品認識処理の手順を示すフローチャートである。

図9に示すように、POS端末11による商品登録の開始等に応じて処理が開始されると、画像取込部1611は、第1カメラ164及び第2カメラ165に撮像オン信号を出力して第1カメラ164及び第2カメラ165による撮像を開始する(ステップS11)。続いて、画像取込部1611は、第1カメラ164及び第2カメラ165での撮像によりRAM163に保存された熱画像及び撮像画像を取り込む(ステップS12)。

除外領域特定部1612は、POS端末11の除外領域特定用ファイルF2に格納された除外条件に基づき、画像取込部1611が取得した熱画像内に、除外条件を満たす充足領域が存在するか否かを判定する(ステップS13)。なお、除外領域特定用ファイルF2に撮像画像に基づき除外条件が定義されている場合には、画像取込部1611が取得した撮像画像についても、除外条件の判定を行うものとする。

ステップS13において、充足領域が存在すると判定した場合(ステップS13;Yes)、除外領域特定部1612は、その充足領域を除外領域と特定し(ステップS14)、ステップS15に移行する。また、充足領域が存在しないと判定した場合には(ステップS13;No)、ステップS15に直ちに移行する。

確定領域特定部1613は、POS端末11の確定領域特定用ファイルF3に格納された確定条件に基づき、画像取込部1611が取得した熱画像内(或いは撮像画像内)に、確定条件を満たす充足領域が存在するか否かを判定する(ステップS15)。

ステップS15において、充足領域が存在すると判定した場合(ステップS15;Yes)、確定領域特定部1613は、その充足領域を確定領域と特定し(ステップS16)、ステップS17に移行する。また、充足領域が存在しないと判定した場合には(ステップS15;No)、ステップS17に直ちに移行する。

続いて、特徴量抽出部1614は、ステップS14、S16で特定された除外領域、確定領域に基づき、ステップS12で取り込まれた撮像画像内での商品Gの写り込み領域から特徴量を抽出する(ステップS17)。類似度判定部1615は、ステップS17で抽出された特徴量と、POS端末11の商品特性ファイルF4に登録された各商品の特徴量との類似度を算出する(ステップS18)。次いで、類似度判定部1615は、ステップS18で類似度を算出した登録商品の中に、商品Gの特徴量との類似度が閾値以上となった登録商品が存在するか否かを判定する(ステップS19)。

ステップS19において、類似度が閾値以上の登録商品が存在すると判定した場合(ステップS19;Yes)、類似度判定部1615は、その登録商品を商品Gの候補として認識しステップS20に移行する。なお、類似度が閾値以上の登録商品が存在しないと判定した場合には(ステップS19;No)、ステップS12に再び戻る。

続くステップS20において、商品候補提示部1616は、ステップS19で候補として認識された登録商品に関する情報を、商品候補として表示デバイス106に表示させる(ステップS20)。

入力受付部1617は、タッチパネル105又はキーボード107を介して、表示デバイス106に表示された商品候補の選択を受け付けたか否かを判定する(ステップS21)。ここで、選択操作を受け付けた場合(ステップS21;Yes)、入力受付部1617は、選択された商品候補を、第2カメラ165によって撮像された商品Gに対応する確定商品として受け付け、ステップS22に移行する。一方、選択を受け付けない場合には(ステップS21;No)、ステップS12に再び戻る。

続いて、情報出力部1618は、ステップS21で選択された確定商品について、その商品を示す商品ID等の情報を、接続インターフェース175を介してPOS端末11に出力し(ステップS22)、ステップS23に移行する。

ここで、タッチパネル105又はキーボード107を介して販売個数が別途入力された場合には、ステップS22において、確定商品を示す情報とともに、その販売個数をPOS端末11に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“1”を出力する形態としてもよい。

ステップS23において、CPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する(ステップS23)。ここで、業務を継続する場合(ステップS23;No)、CPU161は、ステップS12へ処理を戻して処理を継続させる。また、業務を終了する場合(ステップS23;Yes)、画像取込部1611は、第2カメラ165に撮像オフ信号を出力することで、第2カメラ165による撮像を終了し(ステップS24)、処理を終了する。

なお、上記の処理では、ステップS13、S14の後にステップS15、S16を実行する形態としたが、これに限らず、ステップS15、S16の後にステップS13、S14を実行する形態としてもよいし、ステップS13、S14の処理と、ステップS15、S16の処理とを並列で行う形態としてもよい。また、類似度が閾値以上となる登録商品が存在しない場合には、類似する登録商品が存在しない旨を表示デバイス106に表示させ、商品リストからの選択を促すものとする。

次に、POS端末11の処理動作について説明する。図10は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、CPU61は、商品読取装置101が図9のステップS23で出力した、確定商品の商品IDとその販売個数とを受信する(ステップS31)。次いで、売上登録部611は、ステップS31で受信した商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等を読み出し、商品読取装置101で読み取られた商品Gの売上を売上マスタファイルに登録する(ステップS32)。

続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS33)。業務を継続する場合(ステップS33;No)、CPU61は、ステップS31へ再び戻り処理を継続させる。業務を終了する場合(ステップS33;Yes)、CPU61は処理を終了する。

以上のように、本実施形態によれば、第1カメラ164により取得される熱画像を用いて、除外領域と確定領域とを特定することができるため、商品Gの認識の妨げとなる人の手等の写り込み領域と、認識の対象となる商品Gが存在する領域と、容易に区分けすることができる。これにより、特徴量の抽出を効率的に行うことができるとともに、その精度を向上することができるため、商品Gの認識率を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、POS端末11が、PLUファイルF1、除外領域特定用ファイルF2、確定領域特定用ファイルF3及び商品特性ファイルF4を備える形態としたが、これに限らず、商品読取装置101が、PLUファイルF1、除外領域特定用ファイルF2、確定領域特定用ファイルF3及び商品特性ファイルF4の一部又は全てを備える形態としてもよい。

また、上記実施形態では、商品読取装置101において、商品候補の識別を行う形態としたが、商品読取装置101の機能部の一部又は全てをPOS端末11が備える形態としてもよい。例えば、POS端末11が、除外領域特定部1612、確定領域特定部1613、特徴量抽出部1614、類似度判定部1615を備え、商品読取装置101が、画像取込部1611、商品候補提示部1616、入力受付部1617及び情報出力部1618を備える形態としてもよい。この場合、商品読取装置101側では、画像取込部1611により取り込まれた撮像画像をPOS端末11に送信し、POS端末11側で認識された商品(登録商品)の結果を受信し、この受信した結果を商品候補提示部1616が商品候補として提示する構成とすることができる。また、商品読取装置101の機能部の全てをPOS端末11が備える場合、商品読取装置101は撮像装置として機能し、POS端末11では、商品読取装置101から送信された撮像画像に基づき商品候補の表示と選択を行う。

また、上記実施形態では、POS端末11と商品読取装置101とで構成されるチェックアウトシステム1のうち、商品読取装置101に本発明の実施形態を適用したが、これに限るものではなく、POS端末11及び商品読取装置101の機能を備えた1台構成の装置または、例えば、図1に示す商品読取装置101及びPOS端末11が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。

ここで、図11は、セルフPOS200の外観構成を示す斜視図、図12は、セルフPOS200のハードウェア構成を示すブロック図である。なお、以下では、図1及び図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図11及び図12に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された表示デバイス106や、商品Gの種別等を認識(検出)するために商品画像を読み取る商品読取部110を備えている。

表示デバイス106としては例えば液晶表示器が用いられる。表示デバイス106は、客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部110は、客が商品を商品読取部110の読取窓103にかざすことでその商品Gの熱画像及び撮像画像を第1カメラ164及び第2カメラ165により取得するものである。

また、本体202の右側にはかごに入った未精算の商品Gを置くための商品載置台203が設けられ、本体202の左側には精算済みの商品Gを置くための商品載置台204が設けられ、精算済みの商品Gを入れるための袋を掛けるための袋掛けフック205や、精算済みの商品Gを袋に入れる前に一時的に置いておくための一時置き台206が設けられている。商品載置台203及び204には計量器207、208がそれぞれ備えられており、精算の前後で商品Gの重量が同じであることを確認する機能を有している。

また、セルフPOS200の本体202には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201が設けられている。

このような構成のセルフPOS200に本発明の実施形態を適用した場合、セルフPOS200が情報処理装置として機能することになる。なお、POS端末11と商品読取装置101との機能を備えた1台構成の装置は、上述した構成のセルフPOS200に限らず、計量器207及び208を除いて構成された装置であってもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、PDA(Personal Digital Assistant)等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。

1 チェックアウトシステム
11 POS端末
611 売上登録部
101 商品読取装置
1611 画像取込部
1612 除外領域特定部
1613 確定領域特定部
1614 特徴量抽出部
1615 類似度判定部
1616 商品候補提示部
1617 入力受付部
1618 情報出力部
F1 PLUファイル
F2 除外領域特定用ファイル
F3 確定領域特定用ファイル
F4 商品特性ファイル

特開2001−34841号公報

Claims (2)

  1. 撮像領域中の温度分布を表す熱画像から、人体温の温度範囲にある手形状の第1領域を特定する第1特定手段と、
    前記第1領域の形状から人の手が物体を掴んでいる方向を判別する判別手段と、
    前記第1領域に隣接し且つ前記判別手段が判別した方向に存在する第2領域を特定する第2特定手段と、
    前記第2特定手段が特定した前記第2領域に基づいて、前記撮像領域を撮像した撮像画像中の特定の領域から特徴量を抽出する抽出手段と、
    前記抽出手段が抽出した特徴量を用いて、前記撮像領域中に存在する物体を認識する物体認識手段と、
    を備える情報処理装置。
  2. コンピュータを、
    撮像領域中の温度分布を表す熱画像から、人体温の温度範囲にある手形状の第1領域を特定する第1特定手段と、
    前記第1領域の形状から人の手が物体を掴んでいる方向を判別する判別手段と、
    前記第1領域に隣接し且つ前記判別手段が判別した方向に存在する第2領域を特定する第2特定手段と、
    前記第2特定手段が特定した前記第2領域に基づいて、前記撮像領域を撮像した撮像画像中の特定の領域から特徴量を抽出する抽出手段と、
    前記抽出手段が抽出した特徴量を用いて、前記撮像領域中に存在する物体を認識する物体認識手段と、
    して機能させるためのプログラム。
JP2012196400A 2012-09-06 2012-09-06 情報処理装置及びプログラム Active JP5658720B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012196400A JP5658720B2 (ja) 2012-09-06 2012-09-06 情報処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012196400A JP5658720B2 (ja) 2012-09-06 2012-09-06 情報処理装置及びプログラム
US13/968,558 US20140064570A1 (en) 2012-09-06 2013-08-16 Information processing apparatus and information processing method

Publications (2)

Publication Number Publication Date
JP2014052806A JP2014052806A (ja) 2014-03-20
JP5658720B2 true JP5658720B2 (ja) 2015-01-28

Family

ID=50187670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012196400A Active JP5658720B2 (ja) 2012-09-06 2012-09-06 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20140064570A1 (ja)
JP (1) JP5658720B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6348784B2 (ja) * 2014-06-27 2018-06-27 東芝テック株式会社 情報処理装置及びプログラム
JP2016192091A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 商品登録装置、制御方法、およびプログラム
EP3483780A1 (en) * 2017-11-10 2019-05-15 Skidata Ag Classification and identification systems and methods

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US6069696A (en) * 1995-06-08 2000-05-30 Psc Scanning, Inc. Object recognition system and method
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2002074511A (ja) * 2001-06-21 2002-03-15 Toshiba Tec Corp 商品販売登録データ処理装置
US7454390B2 (en) * 2004-03-17 2008-11-18 Panasonic Corporation Ingredient cooking-operation recognition system and computer-readable recording medium which is recorded with ingredient cooking-operation recognition program
DE102006044365A1 (de) * 2006-09-20 2008-04-03 Mettler-Toledo (Albstadt) Gmbh Automatische Erkennungsvorrichtung
JP4900302B2 (ja) * 2008-03-31 2012-03-21 沖電気工業株式会社 配達物自動引受装置
JP5231296B2 (ja) * 2009-03-12 2013-07-10 東芝テック株式会社 商品データ入力装置
DE102009044156A1 (de) * 2009-10-01 2011-04-07 Wincor Nixdorf International Gmbh System für einen selbstbedienten Warenerfassungsplatz und Verfahren hierzu

Also Published As

Publication number Publication date
US20140064570A1 (en) 2014-03-06
JP2014052806A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
US9245424B2 (en) Store system and sales registration method
US8856035B2 (en) Store system and sales registration method
US9076177B2 (en) System and method for providing commodity information, and storage medium containing related program
US9042660B2 (en) Information processing apparatus and information processing method
CN103208154B (zh) 信息处理装置、店铺系统及信息处理方法
US20130057692A1 (en) Store system and method
US20150213425A1 (en) Commodity data registration apparatus, checkout system and checkout data transmission method
US20140023241A1 (en) Dictionary registration apparatus and method for adding feature amount data to recognition dictionary
US20160189128A1 (en) Store system and sales registration method
CN103226687B (zh) 商品读取装置及商品读取方法
US9036870B2 (en) Commodity recognition apparatus and commodity recognition method
JP5235228B2 (ja) ラベル発行装置およびプログラム
US20130057670A1 (en) Information processing apparatus and method
CN102842190B (zh) 结账装置及商品销售数据处理方法
JP5132732B2 (ja) 店舗システムおよびプログラム
US9990541B2 (en) Commodity recognition apparatus and commodity recognition method
US20130058541A1 (en) Image processing apparatus and method
JP2014102678A (ja) 商品認識装置及び商品認識プログラム
JP5707375B2 (ja) 商品認識装置及び商品認識プログラム
JP5551143B2 (ja) 店舗システムおよびプログラム
US9569665B2 (en) Commodity recognition apparatus
US20130103509A1 (en) Commodity data processing apparatus and commodity data processing method
JP2014095983A (ja) 商品認識装置及び商品認識プログラム
JP5166496B2 (ja) コード読取装置及びプログラム
US20130223682A1 (en) Article recognition system and article recognition method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141128

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5658720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150