JP6949596B2 - 商品データ処理装置及び商品データ処理プログラム - Google Patents

Description

本発明の実施形態は、商品データ処理装置及び商品データ処理プログラムに関する。

一般に、商品を販売する店舗には、買物客が購入しようとする商品に印刷または貼り付けられたバーコードを読み、バーコードが表す商品コードをもとに購入対象とする商品の登録を行う商品登録装置が設けられている。商品登録装置は、販売対象とする全ての商品についての情報が記録された商品マスタファイル（データベース）から商品コードに対応するデータを読み出し、商品コードに対応づけて予め登録された価格データをもとに会計処理のためのデータを作成する。また、商品コードと対応づけて商品に関連する説明情報を予め記憶させておくことで、買物客が購入する商品の説明情報を表示させることも考えられている。

また、従来では、商品を撮影した画像をもとに、商品に貼り付けられた値引用のシールを検出して、値引用のシールが示す値引き額を判別して、商品に対して予め登録された価格データから値引きして出力する商品登録装置も知られている。

従来の商品登録装置では、商品情報を表示させることができるが、商品コードと対応づけて予め商品情報を登録しておかなければならない。また、商品のパッケージには買物客が商品を購入する判断に役立つ様々な情報、例えば、商品の価格の他に、消費期限や賞味期限などの期限情報、アレルギー物質（アレルゲン）の原材料情報などがある。商品登録装置においてこれらの情報を表示させるためには、予め個々の商品コードと対応づけて商品マスタファイルに表示対象として記憶させておかなければならず、店舗側の作業負担が大きい。商品登録装置において表示されない情報については、買物客が商品パッケージの記載された多数の情報から、商品を購入する判断に役立つ情報を探し出して確認しなければならず、見落とす可能性もある。

特開２０１４−１９９６６９号公報

本発明が解決しようとする課題は、買物客による商品の購入判断に有効な文字情報を簡易に提示することができる商品データ処理装置及び商品データ処理プログラムを提供することである。

実施形態によれば、商品データ処理装置は、入力手段、認識手段、情報判断手段、及び出力手段を有する。入力手段は、顧客に固有の識別データを入力する。認識手段は、商品パッケージを撮影した画像に対して、前記画像から出力対象とする文字が記載された位置を特定するための、前記識別データと対応するキーパターンをもとに、前記キーパターンの前記画像における位置を基準とした範囲について文字認識処理により文字情報を認識する。情報判断手段は、前記文字情報が出力対象として妥当であるか判断する。出力手段は、前記情報判断手段により妥当であると判断された前記文字情報を出力する。

本実施形態におけるチェックアウトシステムの構成を示すブロック図。 本実施形態におけるＰＯＳ端末（プロセッサ）の制御処理を示すフローチャート。 本実施形態における商品画像処理を示すフローチャート。 本実施形態における文字認識処理を示すフローチャート。 本実施形態におけるレシート発行処理を示すフローチャート。 商品を撮影した画像の一例を示す図。 図６に示す画像から検出された領域ＰＡ２の詳細な画像例を示す図。 商品を撮影した画像の一例を示す図。 図８に示す画像から検出された領域ＰＢ２，ＰＢ３の詳細な画像例を示す図。 本実施形態における判断データテーブルに設定されるデータの一例を示す図。 本実施形態における登録画面の一例を示す図。 本実施形態における紙レシートの一例を示す図。

以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態におけるチェックアウトシステム（商品データ処理システム）の構成を示すブロック図である。図１に示すチェックアウトシステムは、例えばスーパーマーケットなどの店舗に設置される。チェックアウトシステムには、チェックアウト業務のための処理を実行する複数の商品データ処理装置（ＰＯＳ（Point Of Sales）端末１０、登録装置１２、会計装置１２Ａ１，１２Ａ２）、店舗サーバ１３が含まれている。

また、チェックアウトシステムは、インターネット等を含む外部のネットワーク２０と接続され、ネットワーク２０を通じて、顧客管理サーバ２１、電子レシートサーバ２２、電子機器２３などの他の機器とデータを送受信することができる。顧客管理サーバ２１は、会員登録した買物客に関するデータを記憶し、買物客による商品の購入を管理する。電子レシートサーバ２２は、買物客が商品を購入した取引内容をデータ化した電子レシートをチェックアウトシステムから受信して買物客毎に管理する。電子機器２３は、買物客により使用されるもので、例えばパーソナルコンピュータやスマートフォンにより構成される。電子機器２３は、ネットワーク２０を通じて顧客管理サーバ２１にアクセスし、買物客毎に固有の情報（後述する顧客登録情報など）を記憶させるために使用される。また、電子機器２３は、ネットワーク２０を通じて電子レシートサーバ２２にアクセスして、電子レシートを買物客に閲覧させるために使用される。

図１に示すチェックアウトシステムには、従業員により買物客が購入しようとする商品の登録及び決済の操作がされるＰＯＳ端末１０と、従業員により商品の登録操作がされる登録装置１２と、登録装置１２において登録がされた商品についての決済処理を買物客が行う複数の会計装置１２Ａ１，１２Ａ２が設けられている。登録装置１２と会計装置１２Ａ１，１２Ａ２は、セミセルフタイプのチェックアウトシステムを構成する。

また、チェックアウトシステムには、買物客により購入しようとする商品の登録及び決済の操作がされるセルフタイプのチェックアウトシステムが含まれても良い。セルフタイプのチェックアウトシステムの商品データ処理装置は、ＰＯＳ端末１０と同様の構成を有するものとして図示を省略する。

なお、１つの店舗において、ＰＯＳ端末１０のみが設置されていても良いし、セミセルフタイプあるいはセルフタイプのチェックアウトシステムの何れか一方のみが設置されていても良いし、混在して設置されても良い。

図１は、本実施形態におけるＰＯＳ端末１０及び会計装置１２Ａ１の構成を示すブロック図である。なお、登録装置１２は、ＰＯＳ端末１０と同様の構成を有するものとして詳細な説明を省略する。また、会計装置１２Ａ２は、会計装置１２Ａ１と同様の構成を有するものとして詳細な説明を省略する。

ＰＯＳ端末１０は、コンピュータの機能が実装されており、プロセッサ（ＣＰＵ（central processing unit）等）１１ａ、ＲＯＭ（read-only memory）１１ｂ、ＲＡＭ（random-access memory）１１ｃ、記憶ユニット１１ｄ、釣銭機１１ｅ、通信ユニット１１ｆ、スキャナ１１ｇ、タッチパネル１１ｈ、キーボード１１ｊ、カメラ１１ｋ、プリンタ１１ｍ、カードリーダライタ１１ｎ、及びディスプレイ１１ｐを有する。

プロセッサ１１ａは、ＲＯＭ１１ｂ及びＲＡＭ１１ｃに記憶されたオペレーティングシステム、ミドルウェア及びアプリケーションプログラムに基づいて、各種の動作を実現するべく各部を制御するための回路である。

ＲＯＭ１１ｂ及びＲＡＭ１１ｃは、プロセッサ１１ａにより実行される各種プログラムの他、プロセッサ１１ａが各種の処理を行う上で参照するデータを記録する。例えば、ＲＡＭ１１ｃには、商品の情報を登録する処理が実行される場合に、買物客による購入対象とする商品の情報が登録される商品登録テーブル、商品を撮影した画像データ、画像データに対する文字認識処理により得られた文字情報、文字認識処理により認識された文字情報が出力対象として妥当であるか判断するために参照される判断データテーブル（図１０参照）が記録される。

プロセッサ１１ａにより実行されるプログラムには、スキャナ１１ｇを通じて商品の情報（商品コード等）を入力する処理、商品登録テーブルに登録された商品の情報に応じた決済処理に用いられる取引情報を生成する処理、取引情報をもとにした決済処理などを実行するための制御プログラムが含まれる。さらに、プロセッサ１１ａにより実行されるプログラムには、商品パッケージの画像から買物客による商品の購入判断に有効な文字情報を検出して出力する商品データ処理プログラムが含まれる。プロセッサ１１ａは、商品データ処理プログラムを実行することにより、商品パッケージを撮影した画像に対する文字認識処理により文字情報を認識する文字認識部、文字情報が出力対象として妥当であるか判断する情報判断部、情報判断部により妥当であると判断された文字情報を出力させる出力部の各機能を実現する。

記憶ユニット１１ｄは、プロセッサ１１ａが各種の処理を行う上で使用するデータ、あるいはプロセッサ１１ａの処理によって生成されたデータを記憶する。記憶ユニット１１ｄとしては、例えばＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）などを使用できる。

釣銭機１１ｅは、プロセッサ１１ａによる決済処理等と連動して、現金の入出金を自動的に行う装置であり、投入される硬貨及び紙幣を収受（入金）し、釣銭とする硬貨及び紙幣を排出（出金）する。
通信ユニット１１ｆは、例えばＬＡＮ１４を介して、登録装置１２、会計装置１２Ａ１，１２Ａ２、店舗サーバ１３等との通信を行う。

スキャナ１１ｇは、例えば、光学的スキャンにより商品の情報を読み取って、例えばバーコードによって表される商品に固有の商品コードを入力する。スキャナ１１ｇは、固定式またはハンディ式のバーコードスキャナとしても良いし、商品を撮影した画像から画像認識技術を利用して商品を識別するタイプとしても良い。また、スキャナ１１ｇは、１つのタイプのみを設けても良いし、複数のタイプのものを設けても良い。

カメラ１１ｋは、スキャナ１１ｇにより商品コードが読み取られる商品を撮影して、商品パッケージの画像データを出力する。カメラ１１ｋは、例えばスキャナ１１ｇと近接した位置に設けられる。カメラ１１ｋは、バーコード（商品コード）をスキャナ１１ｇにより読み取らせるために、商品とスキャナ１１ｇと近接された際に商品パッケージの画像を撮影する。

また、複数台のカメラ１１ｋを設けて、例えば商品のバーコードが付された商品パッケージ面だけでなく、その他の裏面、側面を含めた商品パッケージ面を撮影するようにしても良い。例えば、商品を載置する台を設けて、台の底面部を透明な部材により構成する。カメラ１１ｋは、台の底面部と台の上方に設けて、台に載置された商品の裏面と表面のそれぞれの商品パッケージの画像を撮影する。なお、スキャナ１１ｇにより商品パッケージの画像を取得できる場合には、カメラ１１ｋを省略することができる。

プリンタ１１ｍは、例えばサーマルプリンタまたはドットインパクトプリンタなどであり、レシート発行処理により、レシート用紙に対して各種の文字列、画像、コードパターン（バーコード、２次元コードなど）などを印刷して、取引レシート等を発行する。プリンタ１１ｍは、レシート用紙に対して、商品名、単価、合計金額などの取引内容を表す情報の他、商品パッケージを撮影した画像に対する文字認識処理により検出された文字情報を印刷することができる。文字情報は、例えば文字列をそのまま印刷する他、文字情報を表すコードパターン（バーコード、２次元コードなど）により印刷することができる。

カードリーダライタ１１ｎは、カードに記録されたデータを読み取るとともに、カードへデータを書き込む。カードは、クレジットカード、デビットカード、電子マネーカード、プリペイドカードなどの決済用カードの他に、メンバーズカード、ポイントカードなどの決済処理に関わる情報を記録する各種のカードを含む。カードリーダライタ１１ｎは、磁気式、接触式、あるいは非接触式の何れのデバイスであっても良いし、また複数種のデバイスを含んでいても良い。

ディスプレイ１１ｐは、例えば買物客に対して情報を提供するための客面用として用いられるデバイスであり、カラーＬＣＤ等の周知のデバイスを利用できる。ディスプレイ１１ｐは、商品名、単価、合計金額などの取引内容を表す情報の他、商品パッケージを撮影した画像に対する文字認識処理により検出された文字情報を表示するために使用される。

なお、セミセルフタイプのチェックアウトシステム（登録装置１２、会計装置１２Ａ１，１２Ａ２）の場合、登録装置１２において商品パッケージの画像に対する文字認識処理を実行して文字情報を検出して、決済処理に用いられる取引情報と共に会計装置１２Ａ１（あるいは会計装置１２Ａ２）に送信する。

会計装置１２Ａ１は、コンピュータの機能が実装されており、プロセッサ（ＣＰＵ等）１２ａ、ＲＯＭ（read-only memory）１２ｂ、ＲＡＭ（random-access memory）１２ｃ、記憶ユニット１２ｄ、釣銭機１２ｅ、通信ユニット１２ｊ、スキャナ１２ｆ、タッチパネル１２ｇ、プリンタ１２ｈ、及びカードリーダライタ１２ｉを有する。なお、会計装置１２Ａ１に設けられる各部は、ＰＯＳ端末１０の同じ名称の各部と同様に機能するものとして詳細な説明を省略する。

プロセッサ１２ａは、ＲＯＭ１２ｂあるいはＲＡＭ１２ｃに記憶された制御プログラムに基づいて、登録装置１２の登録処理により生成された取引情報をもとに決済処理を実行する。また、プロセッサ１２ａは、商品データ処理プログラムに基づいて、登録装置１２から受信した文字情報を、前述したＰＯＳ端末１０のプリンタ１１ｍと同様にしてレシート用紙に印刷させることができる。また、プロセッサ１２ａは、登録装置１２から受信した文字情報をもとに、前述したＰＯＳ端末１０のディスプレイ１１ｐと同様に、取引内容の情報と共に文字情報をタッチパネル１２ｇに表示させることができる。

なお、セミセルフタイプのチェックアウトシステムでは、会計装置１２Ａ１，１２Ａ２において商品パッケージの画像に対する文字認識処理を実行して、文字情報をタッチパネル１２ｇあるいはプリンタ１２ｈにより出力させるようにしても良い。この場合、スキャナ１２ｆにより商品を撮影して商品パッケージの画像データを入力する。

店舗サーバ１３は、チェックアウトシステム（商品データ処理システム）の全体を管理する。店舗サーバ１３は、コンピュータの機能が実装されており、例えばプロセッサ、ＲＯＭ、ＲＡＭ、記憶ユニット、通信ユニット、ディスプレイ、キーボード、プリンタを有する。

店舗サーバ１３は、商品データ処理装置（ＰＯＳ端末１０、登録装置１２、会計装置１２Ａ１，１２Ａ２）における処理を集計する他、商品データ処理装置における処理に必要なデータを提供する。例えば、店舗サーバ１３は、商品パッケージに掲載された文字情報のうち、出力対象として妥当とする文字情報を判断するための判断データテーブルを提供することができる（詳細を図１０に示す）。判断データテーブルには、複数の商品に対して共通する情報の他、買物客毎に固有の顧客登録情報が含まれる。顧客登録情報には、例えば商品パッケージに記載された文字のうち、出力対象とする文字あるいは文字列を示す情報が含まれる。

顧客登録情報は、例えば電子機器２３を用いて、買物客が予め顧客管理サーバ２１に登録しておくことができる。顧客管理サーバ２１は、電子機器２３を通じて受信された文字あるいは文字列を示す情報を、買物客に固有の会員識別データ（ＩＤ）と対応づけて記憶する。

店舗サーバ１３は、例えばＰＯＳ端末１０または登録装置１２において、会員カードを読み取ることで会員識別データが入力された場合に、会員識別データをもとに、顧客管理サーバ２１に買物客の顧客登録情報を問い合わせる。顧客管理サーバ２１は、店舗サーバ１３からの問い合わせに応じて、会員識別データと対応づけて記憶している顧客登録情報を店舗サーバ１３に送信する。店舗サーバ１３は、顧客管理サーバ２１から受信した顧客登録情報を記憶すると共に、会員識別データが入力されたＰＯＳ端末１０または登録装置１２に送信する。これにより、ＰＯＳ端末１０または登録装置１２は、買物客に対応する顧客登録情報を用いた、出力対象とする文字情報の妥当性を判断することが可能となる。

なお、前述した説明では、ＰＯＳ端末１０または登録装置１２は、買物客に対応する顧客登録情報を、店舗サーバ１３を介して顧客管理サーバ２１から受信するとしているが、例えば顧客登録情報が記録された電子機器２３あるいは会員カードから直接、入力するようにしても良い。また、買物客に対応する顧客登録情報は、顧客管理サーバ２１ではなく、電子機器２３から店舗毎の店舗サーバ１３に対して登録されるようにしても良い。

次に、本実施形態における商品データ処理装置の動作について説明する。ここでは、ＰＯＳ端末１０の動作について説明する。図２、図３、図４及び図５は、本実施形態におけるＰＯＳ端末１０（プロセッサ１１ａ）の制御処理を示すフローチャートである。

プロセッサ１１ａは、制御処理を開始すると、ＲＡＭ１１ｃに記録される商品登録テーブルの登録内容をクリアする（Ａｃｔ１）。また、プロセッサ１１ａは、タッチパネル１１ｈ及びディスプレイ１１ｐに登録画面を表示させる（Ａｃｔ２）。登録画面は、商品登録テーブルに登録された商品の情報などを表示するためのもので、登録処理の実施状況を従業員あるいは買物客に確認させるための画面である。タッチパネル１１ｈに表示される従業員用の登録画面には、従業員が商品を指定するための商品ボタン及び小計ボタンなどの各種の機能ボタンなどを含む。登録画面には、例えば商品登録テーブルに登録された商品に関する商品名、個数及び単価と、その商品を登録した後の買上商品の合計個数及び合計金額などが表示される。

プロセッサ１１ａは、登録画面を表示させた状態において、タッチパネル１１ｈの画面中に表示された小計ボタンへのタッチ操作、及びスキャナ１１ｆを通じて商品コードが取得されるのを待ち受ける。ここで、商品コードが入力されると（Ａｃｔ３、Ｙｅｓ）、商品コードに応じた商品に関する情報を商品マスタファイル（データベース）から読み出して、商品登録テーブルに登録する。また、プロセッサ１１ａは、カメラ１１ｋにより撮影を実行させて、商品コードが読み取られた商品の画像データを入力する（Ａｃｔ４）。

プロセッサ１１ａは、カメラ１１ｋによる撮影により入力された画像データに対する商品画像処理を実行する（Ａｃｔ５）。

図３は、本実施形態における商品画像処理を示すフローチャートである。
まず、プロセッサ１１ａは、商品を撮影した画像から、文字情報の抽出対象とする矩形領域を検出する（Ａｃｔ２１）。すなわち、プロセッサ１１ａは、商品パッケージに記載された出力対象となりえる文字情報が、画像中の特定の矩形領域として判別される領域内に存在することを前提にして矩形領域を検出する。

図６は、商品を撮影した画像の一例を示す図である。図６は、例えば「刺身用まぐろ」が商品トレイに入れてパッケージされた商品の一例を示している。図６に示す画像例では、商品トレイの外形に相当する領域ＰＡ１、商品に貼り付けられた商品ラベルに相当する領域ＰＡ２が矩形領域として検出される。また、図６に示す画像例では、商品の広告用ラベルに相当する領域ＰＡ３が検出されるが矩形領域ではないため、文字情報の抽出対象から除外される。

なお、本実施形態におけるシステムにおいて、矩形領域は、厳密な矩形によって規定される領域に限定されるものではなく、矩形に類似する図形（概矩形）によって規定される領域を含むものとする。

図７は、図６に示す画像から検出された領域ＰＡ２の詳細な画像例を示す図である。図７に示すように、商品ラベルには、商品に関する多数の情報が文字によって記載されている。

図８は、図６とは異なる商品を撮影した画像の一例を示す図である。図８は、例えば「ポテトチップス」が袋に収容された商品の一例を示している。図８に示す画像例では、バーコード（商品コード）が記載された面において、顧客向けの各種の情報が記載された複数の領域ＰＢ１，ＰＢ２，ＰＢ３，ＰＢ４が検出される。商品パッケージに記載される情報には、販売（製造）者による顧客に向けた商品に関する情報の他、法律によって掲載が定められた情報が含まれる。これらの情報は、買物客に対して明示するために矩形枠に記載されることが多い。

図９は、図８に示す画像から検出された領域ＰＢ２，ＰＢ３の詳細な画像例を示す図である。図９に示すように、領域ＰＢ２には、名称、原材料名、内容量、賞味期限、保存方法、製造者など情報が文字により記載されている。領域ＰＢ３には、商品に含まれるアレルゲン（アレルギー物質）についての情報が文字により記載されている。

プロセッサ１１ａは、商品の画像から検出された矩形領域の画像に対して文字認識処理を実行して、出力対象とする文字情報を検出する（Ａｃｔ２２）。プロセッサ１１ａは、矩形領域の画像に対して、判断データテーブルに設定されたデータを参照して、文字認識を実行して出力対象として妥当とする文字情報を抽出する。プロセッサ１１ａは、商品の画像から検出された全ての矩形領域の画像について文字認識処理が完了するまで（Ａｃｔ２３、Ｙｅｓ）、処理を繰り返して実行する。

図１０は、本実施形態における判断データテーブルに設定されるデータの一例を示している。
判断データテーブルには、例えばキーパターン、フォーマット、認識対象文字列などのデータが設定される。キーパターンは、矩形領域の画像から出力対象とする文字が記載された位置を特定するための基準とするパターンである。例えば、キーパターンが画像から検出された場合に、キーパターンの近傍にある文字情報を出力対象として抽出する。

図１０に示す判断データテーブルでは、キーパターンとして、例えば「加工日」「消費期限」が設定されている。すなわち、「加工日」のキーパターンが存在する近傍にある文字、具体的には判断データテーブルに設定されたフォーマットが示す配列によって、日付を表す認識対象文字列「０〜９」に該当する文字列を抽出することを示している。「消費期限」についても同様である。

また、キーパターンの近傍は、キーパターン毎に定義することができる。例えば、キーパターン「加工日」の場合には、キーパターンの位置から予め設定された距離の範囲内にあり、かつ矩形領域の辺と平行にキーパターンと共に配列された文字列を認識対象とする。また、他のキーパターンについては、単純にキーパターンの位置との距離のみに基づいて認識対象を判断することができる。

また、キーパターンは、例えばパターンマッチングに用いられるテンプレートを表している。すなわち、「加工日」あるいは「消費期限」の文字列の並びに類似する画像パターンを矩形領域の画像からパターンマッチングより抽出できるようにしている。

なお、図１０に示す例では、文字列の並びがキーパターンとして設定されているが、図形、ロゴパターン、修飾（変形）文字などをキーパターンとして設定しても良い。また、キーパターンは、パターンマッチングに使用されるテンプレートとするだけでなく、文字列（キーワード）とすることも可能である。キーパターンとして、キーワードが設定される場合、文字認識の処理結果とする文字列にキーワードに該当する文字列があるか判断する。そして、キーワードに該当する文字列がある場合、キーワードに該当する文字列の近傍に存在する文字情報を出力対象として判断する。

さらに、判断データテーブルには、認識対象文字列として、例えばアレルゲンに含まれる食品を表す文字あるいは文字列（単語）が設定されている。すなわち、アレルゲンに関する文字情報は、多くの買物客に対して商品の購入判断に有効な情報であるため、予め判断データテーブルに設定されている。なお、アレルゲンに関係しない、その他の文字あるいは文字列（単語）が認識対象文字列として設定されていても良い。

さらに、判断データテーブルには、買物客の会員識別データ（ＩＤ）が商品登録時に入力された場合に、店舗サーバ１３から受信される会員識別データに対応する顧客登録情報が追加される。図１０に示す例では、顧客登録情報として「しいたけ」「えのき」の文字列（単語）が認識対象文字列として追加されている。例えば、買物客は、「しいたけ」「えのき」を原材料に含む商品を購入したくない場合に、予め「しいたけ」「えのき」を顧客登録情報として登録しておく。これにより、商品パッケージに「しいたけ」「えのき」の文字列が記載されている場合に、この文字情報が出力されるようにできる。なお、認識対象文字列として「しいたけ」「えのき」を追加することで、原材料名が記載された矩形領域に限らず、例えば料理レシピなどの説明が記載された矩形領域に含まれる該当する文字列を、出力対象とする文字情報として判断させることができる。

また、顧客登録情報として、認識対象文字列を設定するだけでなく、認識対象文字列と対応づけてキーパターンとしてキーワード（文字列）を設定するようにしても良い。例えば、認識対象文字列「しいたけ」と対応づけて、キーパターンとしてキーワード「原材料名」を設定することにより、「原材料名」の文字列の近傍に記載された「しいたけ」の文字列を出力対象とする文字情報として判断し、料理レシピなどの説明に含まれる「しいたけ」の文字列を出力対象から除外することができる。

さらに、判断データテーブルに対して、電子機器２３を通じて顧客登録情報を追加するだけでなく、文字情報の出力有無、予め判断データテーブルに設定された内容（キーパターン、フォーマット、認識対象文字列）の有効／無効などを設定できるようにしても良い。これにより、後述する文字認識処理において、文字情報の出力有が設定される場合のみ、文字情報の検出を実行させることができる。同様にして、判断データテーブルの有効と設定された情報のみを用いて、文字情報の出力を制御することができる。

図４は、本実施形態における文字認識処理を示すフローチャートである。
まず、プロセッサ１１ａは、判断データテーブルに設定されたキーパターンをもとに、矩形領域の画像からキーパターンに相当する画像を検索する（Ａｃｔ３１）。例えば、図７に示す画像の場合、判断データテーブルに設定されたキーパターン「加工日」「消費期限」のテンプレートに類似する画像パターンＫＷ１，ＫＷ２が検出される。

キーパターン「加工日」「消費期限」ついては、例えばキーパターンの位置から予め設定された距離の範囲内にあり、かつ矩形領域の辺と平行にキーパターンと共に配列された文字列を認識対象とすることが定義されているものとする。

この場合、プロセッサ１１ａは、キーパターン「加工日」の位置を基準にして、矩形領域の上辺と右辺（あるいは左辺）のそれぞれと平行な位置に存在する画像群を認識対象として抽出し（Ａｃｔ３２）、それぞれについて文字認識を実行する（Ａｃｔ３３）。この場合、上辺と平行な位置に存在する「１７．０７．０６」の画像群ＲＣ１と、右辺と平行な位置に存在する「消費期限」の画像群ＫＷ２が抽出され、それぞれについて文字認識が実行される。

プロセッサ１１ａは、文字認識により得られた文字（文字列）データに対して、出力対象とする文字情報として妥当であるかを判断する（Ａｃｔ３４）。キーパターンをもとに抽出された文字については、判断データテーブルにおいて、フォーマット及び認識対象文字列が設定されている。従って、プロセッサ１１ａは、判断データテーブルに設定されたフォーマット及び認識対象文字列をもとに、文字情報の妥当性を判別する。

例えば、キーパターン「加工日」をもとにした文字認識により「１７．０７．０６」「消費期限」の文字情報が得られているものとする。この場合、プロセッサ１１ａは、「１７．０７．０６」の文字の並びが判断データテーブルに設定されたフォーマット（ｘｘ．ｘｘ．ｘｘ）に合致し、また認識対象文字列として設定された文字「０〜９」に該当すると判断することができる。よって、プロセッサ１１ａは、「１７．０７．０６」の文字を出力対象とする文字情報として妥当であると判断する（Ａｃｔ３５、Ｙｅｓ）。なお、フォーマットについては、完全合致に限定するものではなく、一部が一致した場合に合致していると判断することも可能である。プロセッサ１１ａは、出力対象として妥当と判断した文字情報を、ＲＡＭ１１ｃあるいは記憶ユニット１１ｄにおいて記録させる（Ａｃｔ３６）。一方、プロセッサ１１ａは、「消費期限」の文字情報については、判断データテーブルの設定と合致しないため妥当ではないと判断する（Ａｃｔ３５、Ｎｏ）。

なお、キーパターン「消費期限」ついても、前述と同様の処理が実行される。プロセッサ１１ａは、「消費期限」の近傍に記載された「１７．０７．０８」の画像群ＲＣ２について文字認識を実行し、文字認識により抽出された文字情報を出力対象として妥当と判断し、ＲＡＭ１１ｃあるいは記憶ユニット１１ｄにおいて記録させる。

また、プロセッサ１１ａは、キーパターン、あるいはキーパターンの近傍に該当しない他の画像群については、それぞれ認識対象として抽出して（Ａｃｔ３２）、それぞれについて文字認識を実行する（Ａｃｔ３３）。この際、プロセッサ１１ａは、矩形領域の画像中から矩形領域の辺（上下辺、左右辺）と平行に配列された文字に相当する画像群を認識対象として抽出し、これらの画像群（文字列）に対してのみ文字認識処理をする。すなわち、買物客による商品の購入判断に有効な文字情報は、商品パッケージにおいて明瞭な形式により記載され、一般的に矩形領域内において横書き、あるいは縦書きされている。従って、矩形領域の辺と平行に配列された文字列に対してのみ文字認識処理をすることで、出力対象となり得る記載のみを文字認識の対象とし、商品の広告用の文字情報やパッケージの修飾用の記載など、出力対象となり得ない記載を処理対象から除外することができる。

図７に示す矩形領域の画像の場合、商品の名称、金額、加工者の住所などを示す文字列が、矩形領域の辺と平行に配列されているため認識対象として抽出される。なお、これらの文字列に対する文字認識により得られた文字情報については、判断データテーブルに選択された設定内容と合致しないと判断されるため（Ａｃｔ３５、Ｎｏ）、出力対象として判断されない。

一方、図９に示す矩形領域の画像の場合には、キーパターンが存在しないため、キーパターンの位置を基準とした認識対象の抽出が実行されない。プロセッサ１１ａは、矩形領域の画像中から矩形領域の辺と平行に配列された文字に相当する画像群を認識対象として抽出し、これらの画像群（文字列）に対して文字認識処理をする（Ａｃｔ３２，３３）。この結果、プロセッサ１１ａは、領域ＰＢ３に含まれる画像群ＲＣ３，ＲＣ４に対する文字認識により得られた文字情報が、判断データテーブルに認識対象文字列として設定された文字（単語）に該当するものと判断する。すなわち、プロセッサ１１ａは、領域ＰＢ３においては、「小麦」「牛肉」「ごま」「大豆」「豚肉」「卵」「乳」「えび」の文字情報が認識対象文字列として設定された文字（単語）に該当するため、出力対象とする文字情報として妥当であると判断する（Ａｃｔ３５、Ｙｅｓ）。

なお、アレルゲンに相当する認識対象文字列に対して、キーパターン（キーワード）として「アレルゲン」が設定されている場合、プロセッサ１１ａは、「アレルゲン」に相当する画像群ＫＷ３の近傍に記載された「小麦」「牛肉」「ごま」「大豆」「豚肉」のみを出力対象とする文字情報として妥当と判断することができる。すなわち、「アレルゲン」に相当する画像群ＫＷ３から離れた位置に記載された「卵」「乳」「えび」の文字情報を出力対象から除外することができる。

こうして、商品画像処理により出力対象とする文字情報が矩形領域の画像から検出されると、プロセッサ１１ａは、出力対象とする文字情報を商品登録テーブルに登録された商品と対応づけて記録する（Ａｃｔ６）。また、プロセッサ１１ａは、登録された商品に関する商品名、価格などの情報をタッチパネル１１ｈ及び買物客向けのディスプレイ１１ｐに表示させる。この際、プロセッサ１１ａは、登録された商品の商品パッケージから出力対象とする文字情報が抽出されている場合には、この文字情報を商品に関する情報と共に表示させる。

さらに、プロセッサ１１ａは、出力対象として判別された文字情報をもとにしたチェック処理を実行する。チェック処理では、例えば商品登録テーブルに登録した価格などの変更の要／不要の判定、警告などの通知の要／不要を判定する。

プロセッサ１１ａは、例えば「消費期限」について文字情報が抽出されている場合、文字情報が示す消費期限までの残り日数が予め設定された日数より少なければ「値引き」が必要と判断し、また消費期限までの残り日数がなければ「販売中止」と判断する。プロセッサ１１ａは、商品登録テーブルに登録された価格からの値引き、あるいは登録済みの商品の削除などを実行すると共に、警告の通知が必要であると判別する（Ａｃｔ７、Ｙｅｓ）。プロセッサ１１ａは、タッチパネル１１ｈ及び買物客向けのディスプレイ１１ｐに対して、価格の変更、あるいは販売中止の警告メッセージなどを表示させる（Ａｃｔ８）。

また、プロセッサ１１ａは、商品パッケージから抽出された出力対象とする文字情報が、アレルゲンなどの商品の購入判断に重要な情報である場合には、警告の通知が必要であると判断する（Ａｃｔ７、Ｙｅｓ）。プロセッサ１１ａは、商品パッケージから抽出された文字情報をディスプレイ１１ｐに表示させて、買物客に警告する（Ａｃｔ８）。これにより、買物客は、該当する商品の購入の取り消しを、この時点で従業員に要求することが可能となる。

以下、同様にして、プロセッサ１１ａは、商品コードが読み取られた商品のそれぞれについて、前述した処理を実行する。

図１１は、本実施形態における登録画面の一例を示す図である。図１１に示すように、登録画面には、商品に関する商品名、単価、金額の情報と共に、商品パッケージから抽出され、出力対象として妥当と判断された文字情報が表示されている。なお、前述した説明では、商品「刺身用まぐろ」の商品パッケージ（商品ラベル）から文字情報として「１７．０７．０６」「１７．０７．０８」が抽出される。しかし、文字情報のみでは、これらの文字情報が何を意味しているか不明であるため、対象とする商品の商品名「刺身用まぐろ」と、それぞれの文字情報の抽出に使用されたキーパターン「加工日」「消費期限」を表す文字列が付加されている。

プロセッサ１１ａは、買物客が購入しようとする全ての商品の登録が完了して締め操作がされると（Ａｃｔ９、Ｙｅｓ）、商品登録テーブルに登録された商品について決済処理を実行し、レシート発行処理を実行する。

図５は、本実施形態におけるレシート発行処理を示すフローチャートである。
プロセッサ１１ａは、電子レシートの発行が設定されている場合（Ａｃｔ４１、Ｙｅｓ）、電子レシートデータを作成する（Ａｃｔ４２）。例えば、電子レシートの発行の有無は、例えば会員識別データと対応づけてされているものとする。

プロセッサ１１ａは、決済処理された処理内容に含まれるレシートに記載すべき各種のデータ（レシート記載データ）と、出力対象として判断された文字情報をもとに電子レシートデータを作成する（Ａｃｔ４２）。なお、商品パッケージから抽出された文字情報は、文字そのままの形態により出力するようにしても良いし、例えば２次元コードなどの画像パターンに変換して出力するようにしても良い。

プロセッサ１１ａは、電子レシートデータを会員識別データと対応づけて、店舗サーバ１３を介して電子レシートサーバ２２に送信する（Ａｃｔ４３）。電子レシートサーバ２２は、チェックアウトシステムから受信した、文字情報を含む電子レシートデータを会員識別データと対応づけて記憶する。従って、買物客は、電子機器２３を用いて電子レシートサーバ２２にアクセスし、文字情報を含む電子レシートの内容を確認することができる。

一方、プロセッサ１１ａは、紙レシートを発行するか否かを確認するための画面をディスプレイ１１ｐに表示させる。プロセッサ１１ａは、紙レシートの発行を買物客が希望することを示す入力があった場合（Ａｃｔ４４、Ｙｅｓ）、処理内容に含まれるレシートに記載すべき各種のデータ（レシート記載データ）と、出力対象として判断された文字情報をもとに、プリンタ１１ｍによりレシートを発行させる（Ａｃｔ４５）。

図１２は、本実施形態における紙レシートの一例を示す図である。
図１２に示すように、紙レシートでは、決済処理の内容と共に、商品パッケージの画像から検出された文字情報が印刷される。これにより、買物客は、紙レシートをもとに、購入した商品から検出された文字情報を容易に確認することができる。なお、紙レシートにおいても、文字情報を２次元コードなどの画像パターンに変換して印刷するようにしても良い。この場合、買物客は、例えば電子機器２３を用いて紙レシートに印刷された２次元コードをカメラ等により読み取り、電子機器２３に実装されたプログラムにより２次元コードを文字情報に変換させて、ディスプレイに表示させることができる。

なお、前述した説明では、文字情報の出力形態として、ディスプレイ（タッチパネル）における文字による表示、レシート用紙への印刷（文字、２次元コードなどの画像パターン）、電子レシートデータによる出力の例を示しているが、その他の出力形態を用いることも可能である。例えば、音声による出力や商品パッケージから切り出された文字情報に該当する画像の出力などであっても良い。

このようにして、本実施形態における商品データ処理装置（ＰＯＳ端末１０）では、商品パッケージ（商品ラベル）に記載された、消費期限、賞味期限などの期限情報やアレルギー物質の情報など、買物客による商品の購入判断に有効な文字情報を、商品を撮影した画像から抽出して出力させることができる。これにより、買物客は、出力された文字情報を参照して、商品の購入を判断することができる。

また、文字情報をもとにしたチェック処理を実行することで、例えば期限情報をもとに、消費期限を過ぎた商品を販売しない、あるいは消費期限が近い商品について自動的に値下げするなどの処理を実行することができる。また、文字情報の内容によっては、商品の登録処理中に警告表示させることができる。従って、例えば、商品パッケージに対して、出力対象とする文字情報が印刷されたシールを貼り付けることで、商品マスタファイルの内容を変更することなく、ＰＯＳ端末１０の動作を制御することができる。例えば、消費期限を変更したシール、例えば「消費期限 １７．０７．０７」のシールを、図７に示す商品ラベルが貼り付けられた商品に後付けすることで、消費期限を「１７．０７．０７」に変更した価格の割引きや「販売中止」の判断、警告出力の要／不要の判定をさせることができる。

また、本実施形態における商品データ処理装置は、商品パッケージ（商品ラベル）に記載された文字情報を抽出して出力するので、商品マスタファイル（データベース）に登録することなく、買物客による商品の購入判断に有効な文字情報を簡易に出力させることが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

１０…ＰＯＳ端末、１２…登録装置、１２Ａ１，１２Ａ２…会計装置、１３…店舗サーバ、１１ａ…プロセッサ、１１ｊ…キーボード、１１ｋ…カメラ、２１…顧客管理サーバ、２２…電子レシートサーバ、２３…電子機器。

Claims (6)

1. 顧客に固有の識別データを入力する入力手段と、
   商品パッケージを撮影した画像に対して、前記画像から出力対象とする文字が記載された位置を特定するための、前記識別データと対応するキーパターンをもとに、前記キーパターンの前記画像における位置を基準とした範囲について文字認識処理により文字情報を認識する認識手段と、
   前記文字情報が出力対象として妥当であるか判断する情報判断手段と、
   前記情報判断手段により妥当であると判断された前記文字情報を出力させる出力手段とを有する商品データ処理装置。
2. 前記認識手段は、
   前記画像から矩形領域を検索し、
   前記矩形領域の画像についてのみ文字認識処理をする請求項１の商品データ処理装置。
3. 前記認識手段は、
   前記矩形領域の辺と平行に配列された文字列に対してのみ文字認識処理をする請求項２記載の商品データ処理装置。
4. 前記情報判断手段は、
   前記文字情報が、前記キーパターンに対応して設定された認識対象文字列と一致する場合に出力対象として妥当と判断する請求項１〜３の何れかに記載の商品データ処理装置。
5. 前記認識手段は、
   特定の並びの文字情報についてのみ認識をする請求項１〜３の何れかに記載の商品データ処理装置。
6. コンピュータを、
   顧客に固有の識別データを入力する入力手段と、
   商品パッケージを撮影した画像に対して、前記画像から出力対象とする文字が記載された位置を特定するための、前記識別データと対応するキーパターンをもとに、前記キーパターンの前記画像における位置を基準とした範囲について文字認識処理により文字情報を認識する認識手段と、
   前記文字情報が出力対象として妥当であるか判断する情報判断手段と、
   前記情報判断手段により妥当であると判断された前記文字情報を出力させる出力手段として機能させるための商品データ処理プログラム。

Images