JP5439623B2 - 商品読取装置及び商品読取プログラム - Google Patents

Description

本発明の実施形態は、撮像手段を用いた商品読取装置及びコンピュータを前記商品読取装置として機能させるための商品読取プログラムに関する。

データコードの一種にバーコードがある。スーパーマーケット等で販売される商品には、大抵、その商品固有の商品コードを示すバーコードが付されている。商品に付されたバーコードをスキャナでスキャニングすることにより、当該商品の商品コードを読み取る商品読取装置は広く普及している。また、ＣＣＤカメラ等の撮像手段によって撮影された商品の画像からその商品に付されたバーコードを認識することで、当該商品の商品コードを読み取る商品読取装置も開発されている。これらの商品読取装置によって読み取られた商品コードは、ＰＯＳ（Point Of Sales）端末に出力されて、当該商品の販売データ処理に供される。

ところで、全ての商品にバーコードが付されているとは限らない。例えば、ばら売りの野菜，果物，惣菜などには、バーコードが付されないことが多い。そこで、このようなバーコード無し商品にも対応するために、従来の商品読取装置は、一般に表示デバイスをタッチパネルとしている。そして、このタッチパネルの画面にバーコード無し商品の画像等を表示させ、オペレータのタッチ入力により商品が選択されると、商品読取装置からＰＯＳ端末に、選択された商品の商品コードを出力する。

特開２００８−０３３６４０号公報

従来のこの種の商品読取装置を操作するオペレータ（店員または客）は、バーコードが付されている商品については、読取窓に商品のバーコード部分をかざす。しかし、バーコードが付されていない商品については、タッチパネルの画面から所望の商品を選択する。このように、バーコードが付されている商品と付されていない商品とで操作手順が大きく異なる。

本発明が解決しようとする課題は、バーコードが付されている商品と付されていない商品とで、操作手順が大きく代わることなく商品情報を読み取ることができる商品読取装置及び商品読取プログラムを提供しようとするものである。

一実施形態において、商品読取装置は、商品認識手段と、データコード認識手段と、切替手段と、表示手段と、出力手段とを備える。商品認識手段は、撮像手段が撮像した画像からその画像に含まれる商品を認識する。データコード認識手段は、撮像手段が撮像した画像からその画像に含まれる商品に付されたデータコードを認識する。切替手段は、商品認識手段による商品認識処理とデータコード認識手段によるデータコード認識処理のどちらの処理を有効にするかを切り替える。表示手段は、切替手段によりデフォルトでない処理が有効な状態に切り替わったならば、前記撮像手段で撮像された画像を表示する。出力手段は、商品認識手段により認識された商品の情報またはデータコード認識手段により認識されたデータコードの情報を出力する。

第１の実施形態に係る店舗会計システムの外観図。 同システムに組み込まれる商品読取装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 同システムで用いられる商品データファイルのデータ構造を示す模式図。 同システムの商品読取装置において、ＣＰＵが実現する機能構成を示す模式図。 同システムの商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 同システムの商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 同システムの商品読取装置において、タッチパネルに表示される登録画面の一例を示す平面図。 同システムの商品読取装置において、タッチパネルに表示される画像認識画面の一例を示す平面図。 同システムの商品読取装置において、タッチパネルに表示される商品確定画面の一例を示す平面図。 同システムの商品読取装置において、タッチパネルに表示される数量入力画面の一例を示す平面図。 第２の実施形態に係る商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 第２の実施形態に係る商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 第２の実施形態に係る商品読取装置において、タッチパネルに表示される画像認識画面の一例を示す平面図。 第３の実施形態に係る商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 第４の実施形態に係る商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 第５の実施形態に係る商品読取装置の外観斜視図。

以下、商品読取装置の実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケット等の店舗に設けられた会計カウンタに立設される縦型の商品読取装置に適用した場合である。

（第１の実施形態）
図１は、一実施形態に係る店舗会計システムの外観図である。このシステムは、登録部としての商品読取装置１と、決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。商品読取装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。商品読取装置１とＰＯＳ端末２とは、図示しない通信ケーブルにより電気的に接続される。

商品読取装置１は、商品の登録に必要なデバイスとしてキーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、商品読取装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

会計カウンタ３の略中央には、商品読取装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。商品読取装置１の客用ディスプレイ１３は、顧客通路側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３の商品読取装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。また、下流側の荷受面は、商品読取装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、商品読取装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。商品読取装置１は、制御部本体としてＣＰＵ（Central Processing Unit）１０１を搭載する。そしてこのＣＰＵ１０１に、アドレスバス，データバス等のバスライン１０２を介して、ＲＯＭ１０３とＲＡＭ１０４とが接続される。ＲＯＭ１０３には、ＣＰＵ１０１によって実行されるプログラムが記憶される。

この他、バスライン１０２には、入出力回路（不図示）を介して前記撮像部１４が接続される。また、接続インターフェース１０５及び接続インターフェース１０６を介して、表示・操作デバイスであるキーボード１１、タッチパネル１２及び客用ディスプレイ１３が、バスライン１０２に接続される。タッチパネル１２は、例えば液晶ディスプレイを用いたパネル表示部１２１と、この表示部の画面上に重ねて配置されたタッチパネルセンサ１２２とを備える。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ（Hard Disk Drive）装置２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担うストアコンピュータＳＣと接続される。この接続により、ＰＯＳ端末２は、ストアコンピュータＳＣとデータの送受信が可能となる。例えばＰＯＳ端末２は、ストアコンピュータＳＣから商品データファイル８を受信する。受信した商品データファイル８は、ＨＤＤ装置２０５に保存される。

接続インターフェース２０７は、通信ケーブルを介して、商品読取装置１の両接続インターフェース１０５，１０６と接続される。この接続により、ＰＯＳ端末２は、商品読取装置１とデータの送受信が可能となる。例えばＰＯＳ端末２は、商品読取装置１で読み取られた商品情報を受信する。またＰＯＳ端末２は、前記商品データファイル８のデータを商品読取装置１に送信する。

図３は、商品データファイル８のデータ構造を示す模式図である。図３に示すように、商品データファイル８には、各商品を識別する商品コードに関連付けて、その商品の属性（商品分類）、名称（商品名）、単価、外観特徴パラメータ等が記憶される。外観特徴パラメータは、商品の形状、表面の色合い、模様、凹凸状況等のような商品の標準的な外観の特徴量を商品毎に数値化したものである。

かかる構成の商品読取装置１とＰＯＳ端末２とを含む店舗会計システムにおいて、商品読取装置１のＣＰＵ１０１は、図４に示すように、撮像手段である撮像部１４が撮像した画像からその画像に含まれる商品を認識する商品認識手段３１と、撮像部１４が撮像した画像からその画像に含まれる商品に付されたデータコードを認識するデータコード認識手段３２と、商品認識手段３１による商品認識処理とデータコード認識手段３２によるデータコード認識処理のどちらの処理を有効にするかを切り替える切替手段３３と、商品認識手段３１により認識された商品の情報またはデータコード認識手段３２により認識されたデータコードの情報を出力する出力手段３４としての機能を有する。これらの機能は、ＲＯＭ１０３に格納された商品読取プログラムにしたがって実現される。

図５及び図６の流れ図を用いて上記ＣＰＵ１０１の各機能について説明する。この流れ図は、前記商品読取プログラムにしたがってＣＰＵ１０１が実行する情報処理の要部手順を示すものである。

この処理は、例えばＰＯＳ端末２から接続インターフェース１０５を介して商品登録の開始を指令するコマンドが入力されると開始される。先ず、ＣＰＵ１０１は、タッチパネル１２のパネル表示部１２１に登録画面４０を表示させる（ＳＴ１）。

登録画面４０の一例を、図７に示す。図示するように登録画面４０は、カレントエリア４１と明細エリア４２とを有する。カレントエリア４１は、最新の登録商品の商品名、単価、数量、金額等を表示するための領域である。明細エリア４２は、１商取引で登録された各商品の商品名、単価、数量、金額等を表示するための領域である。また、登録画面４０には、［自動認識］ボタン４３の画像も表示される。［自動認識］ボタン４３の機能については、後述する。

次に、ＣＰＵ１０１は、撮像部１４に対して撮像オン信号を出力する（ＳＴ２）。この撮像オン信号により、撮像部１４は撮像領域の撮像を開始する。撮像部１４で撮像されたフレーム画像はＲＡＭ１０４に順次保存される。そこでＣＰＵ１０１は、ＲＡＭ１０４に保存されたフレーム画像を取り込む（ＳＴ３）。

フレーム画像を取り込む毎に、ＣＰＵ１０１は、その画像を解析してデータコードの一種であるバーコードを認識する（ＳＴ４）。画像解析によるバーコードの認識技術は、例えば特開２００８−０３３６４０号公報に記載されている。

ＣＰＵ１０１は、フレーム画像からバーコードを認識できたか否かを判定する（ＳＴ５）。バーコードを認識できない場合（ＳＴ５にてＮＯ）、ＣＰＵ１０１は、［自動認識］ボタン４３の画像がタッチ操作されたか否かを判断する（ＳＴ６）。タッチ操作されていない場合（ＳＴ６にてＮＯ）、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３）。

フレーム画像からバーコードを認識できた場合（ＳＴ５にてＹＥＳ）、ＣＰＵ１０１は、そのバーコードから２値のコード情報を読み取る（ＳＴ７）。そしてＣＰＵ１０１は、読み取ったコード情報を、接続インターフェース１０５を介してＰＯＳ端末２に出力する（ＳＴ８）。

ＰＯＳ端末２のＣＰＵ２０１は、商品読取装置１からコード情報を受信すると、そのコード情報で商品データファイル８を検索する。そして、当該コード情報に一致する商品コードを検出すると、この商品コードに関連付けられた商品名、単価等を読出す。そして、この商品コード、商品名及び単価と、販売点数、販売金額等とを含む商品販売データを、ＲＡＭ２０４に登録処理する。また、商品コード、商品名、単価、販売点数、販売金額等の登録商品情報を、接続インターフェース２０７を介して商品読取装置１に出力する。商品読取装置１に出力された登録商品情報は、接続インターフェース１０６を介してタッチパネル１２に与えられ、パネル表示部１２１に表示されている登録画面４０のカレントエリア４１に表示される。

ステップＳＴ８にてコード情報をＰＯＳ端末２に出力した後、ＣＰＵ１０１は、商品登録の終了を指令するコマンドが入力されたか否かを判断する（ＳＴ９）。終了指令コマンドが入力されていない場合（ＳＴ９にてＮＯ）、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３）。

接続インターフェース１０５を介して終了指令コマンドが入力された場合には（ＳＴ９にてＹＥＳ）、ＣＰＵ１０１は、撮像部１４に対して撮像オフ信号を出力する（ＳＴ１０）。この撮像オフ信号により、撮像部１４は撮像領域の撮像を終了する。

前記終了指令コマンドは、例えばキーボード１１に配置された［合計］キーが入力操作されたことに応じて、ＰＯＳ端末２から商品読取装置１に出力される。すなわち、ＰＯＳ端末２のＣＰＵ２０１は、商品読取装置１から［合計］キーのキー信号が入力されると、終了指令コマンドを商品読取装置１に出力する。また、ＲＡＭ２０４に登録された商品販売データに基づいて、１商取引の登録締め処理を実行する。

ステップＳＴ６にて［自動認識］ボタン４３の画像がタッチ操作されたことを検知した場合（ＳＴ６にてＹＥＳ）、ＣＰＵ１０１は、パネル表示部１２１に画像認識画面５０を表示させる。そして、撮像部１４で撮像されたフレーム画像を画像認識画面５０に表示させる（ＳＴ１１）。

画像認識画面５０の一例を、図８に示す。図示するように画像認識画面５０は、フレーム画像の表示領域５１を有しており、登録画面４０の上に重ねてポップアップ表示される。このとき、登録画面４０から［自動認識］ボタン４３の画像は消去される。

ＣＰＵ１０１は、ＲＡＭ１０４から取り込んだフレーム画像、すなわち画像認識画面５０の表示領域５１に表示されるフレーム画像から、その画像に含まれる商品Ｍを認識する（ＳＴ１２）。具体的には、ＣＰＵ１０１は先ず、フレーム画像から、肌色領域の有無を検出する。肌色領域が検出された場合、すなわちオペレータの手の映り込みが検出された場合、ＣＰＵ１０１は、フレーム画像を二値化した画像から輪郭線などを抽出する。これにより、ＣＰＵ１０１は、オペレータの手が把持していると想定される商品Ｍの輪郭抽出を試みる。商品Ｍの輪郭が抽出されると、ＣＰＵ１０１は、その輪郭内の画像から、商品の形状、表面の色合い、模様、凹凸状況等の特徴量を読み取る。これらの商品特徴量を読み取ることができたならば、ＣＰＵ１０１は、商品Ｍを認識できたとみなす。ＣＰＵ１０１は、商品Ｍを認識できるまで、表示領域５１に表示されるフレーム画像の商品認識処理を繰り返す。

このような画像中に含まれる物体を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
フレーム画像から商品Ｍを認識できたならば、ＣＰＵ１０１は、認識された商品Ｍの特徴量データをＰＯＳ端末２に出力する（ＳＴ１３）。

ＰＯＳ端末２のＣＰＵ２０１は、商品読取装置１から商品Ｍの特徴量データを入力すると、その特徴量データを、商品データファイル８に記憶されている各商品の商品別外観特徴パラメータと照合する。そして、商品Ｍの特徴量に最も類似した外観特徴パラメータを有する商品を、商品Ｍとして確定する。

商品Ｍが確定されると、ＣＰＵ２０１は、商品データファイル８からこの商品Ｍの商品コード、商品名、単価等を読出す。また、販売点数を“１”として販売金額を算出する。そして商品コード、商品名、単価、販売点数、販売金額等の確定商品情報を、接続インターフェース２０７を介して商品読取装置１に出力する。商品読取装置１に出力された確定商品情報は、接続インターフェース１０６を介してタッチパネル１２に与えられ、パネル表示部１２１に表示されている登録画面４０のカレントエリア４１に表示される。

この時点における登録画面４０の表示例を、図９に示す。図示するように登録画面４０のカレントエリア４１には、フレーム画像から認識された商品Ｍの名称、単価、点数、金額等が表示される。また、［ＯＫ］ボタン４４と［数量］ボタン４５と［キャンセル］ボタン４６の画像も表示される。

ステップＳＴ１３にて商品Ｍの特徴量データをＰＯＳ端末２に出力したＣＰＵ１０１は、確定商品情報を待機する（ＳＴ１４）。そして、接続インターフェース１０５を介してＰＯＳ端末２から確定商品情報を受信したならば（ＳＴ１４にてＹＥＳ）、ＣＰＵ１０１は、この確定商品情報をＲＡＭ１０４に格納する（ＳＴ１５）。次いで、ＣＰＵ１０１は、タッチパネル１２の［ＯＫ］ボタン４４、［数量］ボタン４５または［キャンセル］ボタン４６のいずれかのボタン画像がタッチ操作されるのを待機する（ＳＴ１６，ＳＴ１７，ＳＴ１８）。

ここで、接続インターフェース１０５を介して入力されるタッチパネルセンサ１２２の信号により、［キャンセル］ボタン４６の画像がタッチ操作されたと検知すると（ＳＴ１８にてＹＥＳ）、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３）。このとき、登録画面４０には、［ＯＫ］ボタン４４、［数量］ボタン４５及び［キャンセル］ボタン４６に代えて、［自動認識］ボタン４３の画像が再度表示される。

また、接続インターフェース１０５を介して入力されるタッチパネルセンサ１２２の信号により、［数量］ボタン４５の画像がタッチ操作されたと検知すると（ＳＴ１７にてＹＥＳ）、ＣＰＵ１０１は、パネル表示部１２１に数量入力画面６０を表示させる（ＳＴ１９）。

数量入力画面６０の一表示例を、図１０に示す。図示するように数量入力画面６０は、［０］〜［９］までの置数キーと［Ｅｎｔｅｒ］キーとを含み、登録画面４０上に重ねてポップアップ表示される。

ＣＰＵ１０１は、数量入力画面６０から数量が入力されるのを待機する（ＳＴ２０）。タッチパネルセンサ１２２の信号により、置数キーによる置数後に［Ｅｎｔｅｒ］キーが入力されたことを検知すると（ＳＴ２０にてＹＥＳ）、ＣＰＵ１０１は、置数データを数量と認識する。そして、ＲＡＭ１０４で記憶している販売点数のデータを置数された数量に変更する。また、販売金額のデータも単価に置数された数量を乗じた金額に変更する（ＳＴ２１）。このとき、図１０に示すようにカレントエリア４１に表示されている販売点数及び販売金額も同様に変更される。しかる後、ＣＰＵ１０１は、［ＯＫ］ボタン４４、［数量］ボタン４５または［キャンセル］ボタン４６のいずれかのボタン画像がタッチ操作されるのを再度待機する（ＳＴ１６，ＳＴ１７，ＳＴ１８）。

一方、タッチパネルセンサ１２２の信号により、［ＯＫ］ボタン４４の画像がタッチ操作されたと検知した場合には（ＳＴ１６にてＹＥＳ）、ＣＰＵ１０１は、ＲＡＭ１０４で記憶している商品コード、商品名、単価、販売点数、販売金額等の確定商品情報をＰＯＳ端末２に出力する（ＳＴ２２）。

接続インターフェース２０７を介して商品読取装置１から確定商品情報を受信したＰＯＳ端末２のＣＰＵ２０１は、この確定商品情報を商品販売データとして、ＲＡＭ２０４に登録処理する。

ステップＳＴ２２にて確定商品情報をＰＯＳ端末２に出力した後、ＣＰＵ１０１は、商品登録の終了を指令するコマンドが入力されたか否かを判断する（ＳＴ２３）。終了指令コマンドが入力されていない場合（ＳＴ２３にてＮＯ）、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３）。このとき、登録画面４０には、［ＯＫ］ボタン４４、［数量］ボタン４５及び［キャンセル］ボタン４６に代えて、［自動認識］ボタン４３の画像が再度表示される。

終了指令コマンドが入力された場合には（ＳＴ２３にてＹＥＳ）、ＣＰＵ１０１は、撮像部１４に対して撮像オフ信号を出力する（ＳＴ２４）。この撮像オフ信号により、撮像部１４は撮像を終了する。

このように、商品読取装置１は、商品読取プログラムにしたがってＣＰＵ１０１が実行する情報処理手順のステップＳＴ４の処理によりデータコード認識手段３３を構成し、ステップＳＴ１２の処理により商品認識手段３１を構成し、ステップＳＴ６の処理により切替手段３３を構成し、ステップＳＴ８またはＳＴ１３の処理により出力手段３４を構成する。

また、データコード認識手段３２によるデータコード（バーコード）の認識処理は、商品登録の開始を指令するコマンドが入力された後であれば実行可能であるが、商品認識手段３１による商品認識処理は、［自動認識］ボタン４３の画像がタッチ操作されないと、実行されない。しかも、商品認識処理にて認識された１商品の情報がＰＯＳ端末２に出力されると、ステップＳＴ３の処理に戻る。すなわち、データコード認識手段３２によるデータコードの認識処理が有効となる。

このように、商品読取装置１は、データコード認識手段３２によるデータコードの認識処理をデフォルトの処理としている。そして、自動認識ボタン４３の操作入力により切替が宣言されると、デフォルトでない処理、つまりは商品認識手段３１による商品認識処理を有効にする。そして、このデフォルトでない商品認識処理は、１つの商品を認識すると終了し、デフォルトの処理であるデータコードの認識処理が再び有効になる。

また、商品読取装置１は、ステップＳＴ６にて［自動認識］ボタン４３がタッチ操作されると、ステップＳＴ１１にてパネル表示部１２１に画像認識画面５０を表示させる。画像認識画面５０が表示されると、商品読取装置１のオペレータは、デフォルトでない処理、つまりは商品認識手段３１による商品認識処理が有効であると認識できる。すなわち商品読取装置１は、ステップＳＴ１１の処理により、デフォルトでない処理が有効であることを報知する報知手段を構成する。

本実施形態の店舗会計システムが導入された店舗のキャッシャは、買物カゴ６から未登録の商品Ｍを取り出す毎に、その商品にバーコードが付されているか否かを判断する。そして、バーコードが付されている場合には、その商品のバーコードが付されている面を読取窓１Ｂにかざす。そうすると、図５に示される情報処理手順のステップＳＴ３，４，７，８の処理が順に実行されて、タッチパネル１２に表示されている登録画面４０のカレントエリア４１に、当該商品Ｍの商品名、販売点数、単価、販売金額が表示される。また、当該商品Ｍの販売データがＰＯＳ端末２に登録処理される。

一方、バーコードが付されていない商品の場合には、タッチパネル１２に表示されている［自動認識］ボタン４３の画像にタッチした後、その商品を読取窓１Ｂにかざす。そうすると、同情報処理手順のステップＳＴ１１，１２，１３，１４，１５の処理が順に実行されて、登録画面４０のカレントエリア４１に、当該商品Ｍの商品名、販売点数、単価、販売金額が表示される。

このとき、販売点数は“１”である。商品Ｍが複数ある場合、キャッシャは、［数量］ボタン４５の画像にタッチする。そうすると、数量入力画面６０が表示されるので、キャッシャは、商品Ｍの数量を入力する。そうすると、カレントエリア４１の販売点数と販売金額が変更される。その後、キャッシャが［ＯＫ］ボタン４７の画像にタッチすると、ＰＯＳ端末２では入力数量分の商品Ｍの販売データが登録処理される。

このように本実施形態の商品読取装置１であれば、バーコードが付されている商品と同様に、バーコードが付されていない商品についても、読取窓１Ｂに商品をかざすだけで商品情報を読み取らせることができる。したがって、バーコードが付されている商品と付されていない商品との間で、操作手順が大きく代わることはない。

しかも、商品読取装置１は、データコード認識手段３２によるデータコード認識処理をデフォルトの処理としており、［自動認識］ボタン４３の画像がタッチ操作されない限り、商品認識手段３１による商品認識処理が有効にはならない。現状、スーパーマーケット等で販売される商品にはデータコードの一種としてバーコードが大抵付されており、バーコードが付されていない商品の方が少ない。したがって、オペレータは、登録商品のうちの大部分についてはその商品のバーコードを読取窓１Ｂにかざすだけであり、バーコードが付されていない一部の商品については［自動認識］ボタン４３の画像にタッチしてからその商品を読取窓１Ｂにかざせばよいので、作業効率に優れた商品読取装置１を提供することができる。

また、商品認識手段３１による商品認識処理によって１商品が認識されると、自動的にデータコード認識手段３２によるデータコード認識処理に戻る。このためオペレータは、バーコードが付されていない商品を登録するときのみ［自動認識］ボタン４３の画像にタッチすればよい。したがって、バーコードが付された商品の方が付されていない商品よりも多い店では、［自動認識］ボタン４３にタッチする回数が少ないので、操作が煩雑にならず効率的である。

さらに、オペレータが［自動認識］ボタン４３の画像にタッチすると、パネル表示部１２１に画像認識画面５０が表示される。したがって、オペレータは、画像認識画面５０が表示されたことから商品認識手段３１による商品認識処理が有効であると容易に認識できる。すなわち、デフォルトでない処理が有効であることをオペレータに容易に認識させることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、デフォルトでない処理、すなわち商品認識手段３１による商品認識処理は、１つの商品を認識すると終了する。そして、デフォルトの処理、すなわちデータコード認識手段３２によるデータコード認識処理が再び有効になる。このため、バーコードが付されていない商品を登録する都度、［自動認識］ボタン４３の画像にタッチする必要がある。第２の実施形態は、バーコードが付されていない商品を続けて登録する場合には、［自動認識］ボタン４３の画像にタッチしないで処理できるようにしたものである。

この第２の実施形態が第１の実施形態と異なる点は、商品読取プログラムにしたがってＣＰＵ２０１が実行する情報処理の一部であり、第２の実施形態における情報処理の要部手順を図１１及び図１２の流れ図で示す。なお、図５，図６に示した第１の実施形態の情報処理手順と同一部分には同一符号を付しており、詳細な説明は省略する。

図１１に示すように、第２の実施形態においても、ステップＳＴ６にて［自動認識］ボタン４３の画像がタッチ操作されたことを検知すると（ＳＴ５にてＹＥＳ）、ＣＰＵ１０１は、パネル表示部１２１に画像認識画面５０を表示させる。そして、撮像部１４で撮像されたフレーム画像を画像認識画面５０に表示させる（ＳＴ１１）。

第２の実施形態における画像認識画面５０の一例を、図１３に示す。図示するように、画像認識画面５０は、フレーム画像の表示領域５１を有しており、登録画面４０の上に重ねてポップアップ表示される。このとき、登録画面４０から［自動認識］ボタン４３の画像は消去され、代わりに［認識終了］ボタン４７と［キャンセル］ボタン４８の画像が表示される。

しかる後、ＣＰＵ１０１は、画像認識画面５０の表示領域５１に表示されるフレーム画像から、その画像に含まれる商品Ｍを認識する（ＳＴ１２）。またＣＰＵ１０１は、［認識終了］ボタン４７または［キャンセル］ボタン４８の画像がタッチ操作されたか否かも監視する（ＳＴ３１，ＳＴ３２）。そして、［キャンセル］ボタン４８の画像がタッチ操作された場合には（ＳＴ３２にてＹＥＳ）、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３３）。そして、ステップＳＴ１２の処理に戻り、ＣＰＵ１０１は、取り込んだフレーム画像から、その画像に含まれる商品Ｍを認識する（ＳＴ１２）。

これに対し、［認識終了］ボタン４７の画像がタッチ操作された場合には（ＳＴ３１にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ３の処理に戻る。そしてＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込み（ＳＴ３）、その画像を解析してデータコードの一種であるバーコードを認識する（ＳＴ４）。

［認識終了］ボタン４７または［キャンセル］ボタン４８の画像がタッチ操作されることなく、フレーム画像から商品Ｍを認識できたならば（ＳＴ３１にてＮＯ、ＳＴ３２にてＮＯ）、ＣＰＵ１０１は、認識された商品Ｍの特徴量データをＰＯＳ端末２に出力する（ＳＴ１３）。以後、ＣＰＵ１０１は、第１の実施形態で説明したステップＳＴ１４〜ＳＴ２４の処理を実行する。

ただし第１の実施形態では、ステップＳＴ２３の処理において終了指令コマンドが入力されていない場合（ＳＴ２３にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ３の処理に戻ったが、第２の実施形態では、前記ステップＳＴ３３の処理を経てステップＳＴ１２の処理に戻る。すなわち第１の実施形態では、終了指令コマンドが入力されていない場合に、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込んでバーコードの認識処理を実行したが、第２の実施形態では、ＣＰＵ１０１は、次のフレーム画像に対して商品認識処理を実行する。

このように、第２の実施形態の商品読取装置１においては、［自動認識］ボタン４３の画像がタッチ操作されて、デフォルトでない商品認識処理に入ると、［認識終了］ボタン４７がタッチ操作されるまで、デフォルトの処理であるデータコード認識処理に戻ることはない。換言すれば、デフォルトでない処理が有効になると、［認識終了］ボタン４７のタッチ入力により終了が宣言されるまで有効状態を維持し、終了が宣言されると、デフォルトの処理を有効にする。ここに、［認識終了］ボタン４７は、デフォルトでない処理の終了を宣言する宣言手段として機能する。

第２の実施形態の商品読取装置１であれば、バーコードが付されていない商品を続けて登録する場合に、都度、［自動認識］ボタン４３の画像にタッチしなければならない面倒がなくなる。

（第３，第４の実施形態）
前記第１または第２の実施形態では、デフォルトの処理、すなわちデータコード認識手段３２によるデータコード認識処理が有効な状態において、［自動認識］ボタン４３の画像がタッチ操作されると（ＳＴ６にてＹＥＳ）、デフォルトでない処理、すなわち商品認識手段３１による商品認識処理が有効となる（ＳＴ１２）。しかしながら、データコード認識手段３２によるバーコードの認識精度と、商品認識手段３１による商品の認識精度とを比較すると、認識精度はデータコード認識手段３２の方が高い。このため、たとえ商品認識手段３１による商品認識処理が有効となっても、画像からバーコードが認識できる場合にはデータコード認識手段３２によるデータコード認識処理を実行した方がよい。

そこで次に、商品読取装置１が、切替手段３３により有効となった認識処理を実行する前に、有効とならなかった認識処理を実行する割込手段をさらに備え、この割込手段により有効とならなかった認識処理を実行したが認識できなかったとき、有効となった認識処理を実行するようにした第３，第４の実施形態について説明する。因みに、第３の実施形態は、第１の実施形態に係る商品読取装置１に確認手段を設けたものであり、第４の実施形態は、第２の実施形態に係る商品読取装置１に確認手段を設けたものである。

第３の実施形態に係る商品読取装置１において、ＣＰＵ１０１が商品読取プログラムにしたがって実行する情報処理の要部手順を図１４に示す。なお、第１の実施形態の同処理手順である図５と共通する処理ステップには同一の符号を付し、詳しい説明は省略する。

図５と図１４とを対比すればわかるように、第３の実施形態が第１の実施形態と異なる点は、ステップＳＴ１１の画像認識画面表示処理の後に、ＳＴ４１の判断処理を追加した点である。すなわちＣＰＵ１０１は、フレーム画像からバーコードを認識できたか否かを再度判定する（ＳＴ４１）。そしてバーコードを認識できた場合には（ＳＴ４１にてＹＥＳ）、ＣＰＵ１０１は、そのバーコードから２値のコード情報を読み取る（ＳＴ７）。バーコードを認識できなかった場合には（ＳＴ４１にてＮＯ）、ＣＰＵ１０１は、フレーム画像から、その画像に含まれる商品Ｍを認識する（ＳＴ１２）。

このように、第３の実施形態において、商品読取装置１は、ＣＰＵ１０１が実行する情報処理手順のステップＳＴ４１の処理により、割込手段を構成する。

次に、第４の実施形態に係る商品読取装置１において、ＣＰＵ１０１が商品読取プログラムにしたがって実行する情報処理の要部手順を図１５に示す。なお、第２の実施形態の同処理手順である図１１と共通する処理ステップには同一の符号を付し、詳しい説明は省略する。

図１１と図１５とを対比すればわかるように、第４の実施形態が第２の実施形態と異なる点は、ステップＳＴ１１の画像認識画面表示処理の後に、ＳＴ５１の判断処理を追加した点である。すなわちＣＰＵ１０１は、フレーム画像からバーコードを認識できたか否かを再度判定する（ＳＴ５１）。そしてバーコードを認識できた場合には（ＳＴ５１にてＹＥＳ）、ＣＰＵ１０１は、そのバーコードから２値のコード情報を読み取る（ＳＴ７）。バーコードを認識できなかった場合には（ＳＴ５１にてＮＯ）、ＣＰＵ１０１は、フレーム画像から、その画像に含まれる商品Ｍを認識する（ＳＴ１２）。

このように、第４の実施形態において、商品読取装置１は、ＣＰＵ１０１が実行する情報処理手順のステップＳＴ５１の処理により、割込手段を構成する。

第３または第４の実施形態によれば、オペレータが［自動認識］ボタン４３の画像にタッチした後も、商品読取装置１は、再度、デフォルトの処理であるデータコード認識処理を実行して、フレーム画像からバーコードを認識できるか否かを判定する。そして、バーコードを認識できなかった場合には、商品読取装置１は、デフォルトでない処理である商品認識処理を実行して、フレーム画像から商品を認識する。

これに対し、バーコードを認識できた場合には、商品読取装置１は、そのバーコード情報を読み取って、ＰＯＳ端末２に出力する。すなわち、オペレータが［自動認識］ボタン４３の画像にタッチした後でも、商品読取装置１は、商品認識処理よりもデータコード認識処理を優先して実行するようにしている。したがって、商品認識手段３１による商品認識処理が有効となっても、画像からバーコードが認識できる場合にはデータコード認識手段３２によるデータコード認識処理が実行される。このため、誤操作で自動認識ボタン４３が押された場合であっても、バーコード読取を行うことができる。

（第５の実施形態）
前記第１乃至第４実施形態では、切替手段３３を動作させるスイッチとして［自動認識］ボタン４３の画像を登録画面４０上に表示させた。このため、図１に示す店舗会計システムにおいて、バーコードが付されていない商品を登録する際には、オペレータは、以下の手順で作業を進めることになる。

先ず、オペレータは、右手で買物カゴ６から未登録の商品Ｍを取り出す。そして、この商品Ｍにバーコードが付されているか否かを確認する。バーコードが付されていない場合、オペレータは左手で［自動認識］ボタン４３の画像にタッチする。あるいは、商品Ｍを左手に持ち替えてから、右手で［自動認識］ボタン４３の画像にタッチする。しかる後、オペレータは商品を読取窓１Ｂにかざす。これにより、商品が正しく認識されたならば、オペレータは商品を買物カゴ７に入れる。

読取窓１Ｂは、ハウジング１Ａの中央部に形成されている。一方、登録画面４０は、ハウジング１Ａの上方に設けられたタッチパネル１２に表示される。したがって、オペレータは、商品を持っていない方の手でタッチパネル１２の［自動認識］ボタン４３にタッチするか、商品を持った手を上げて［自動認識］ボタン４３にタッチした後、手を下ろして読取窓１Ｂにかざすことになる。このように、［自動認識］ボタン４３がタッチパネル１２に設けられていると、オペレータの作業効率が低くなる。

そこで第５の実施形態では、切替手段３３を動作させるスイッチとして、図１６に示すように、商品読取装置１における読取窓１Ｂの周囲部近傍に接触式の操作子７０を配置する。図１６の例では、操作子７０の配置場所を、読取窓１Ｂに向かって右側つまりは顧客移動方向上流側の側面とする。操作子７０は、静電容量式のタッチスイッチである。

第５の実施形態では、オペレータは、以下の手順で商品登録作業を進める。先ず、オペレータは、右手で買物カゴ６から未登録の商品Ｍを取り出す。そして、この商品Ｍにバーコードが付されているか否かを確認する。バーコードが付されていない場合、オペレータは、商品を持った右手の指で操作子７０にタッチする。次いで、オペレータは商品を読取窓１Ｂにかざす。これにより、商品が正しく認識されたならば、オペレータは商品を買物カゴ７に入れる。

このように、第５の実施形態によれば、オペレータは、商品読取装置１を挟んで顧客移動方向上流側の買物カゴ６から取り出した商品を下流側の買物カゴ６に移し入れるという一連の作業の中で、バーコードが付されている商品についてはそのバーコード部分を読取窓１Ｂにかざし、バーコードが付されていない商品については操作子７０にタッチして切替手段３３を動作させてから商品Ｍを読取窓１Ｂにかざすということが可能となる。したがって、バーコードが付された商品と付されていない商品とが混在している場合でも、スムーズに多くの商品を登録できるので、オペレータの作業負荷を軽減できる。

また、第５の実施形態において操作子７０は、接触式のスイッチである。したがって、オペレータが操作子７０にタッチしない限り、商品認識手段３１による商品認識処理は有効にならない。仮に、非接触式のスイッチを適用した場合には、オペレータが商品を読取窓１Ｂにかざした際に商品認識手段３１による商品認識処理が有効となり、バーコードが付されているにも拘らず、認識精度の低い商品認識処理が実行されてしまうが、第５の実施形態では、このような問題は起こり得ない。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記各実施形態は、キャッシャが対応する会計カウンタの商品読取装置１に適用したが、適用事例はこれに限定されるものではない。例えば、客自身が自ら会計を行うセルフチェックアウトシステムの商品読取装置に適用することも可能である。また、商品読取装置１がＰＯＳ端末２に組み込まれて一体として構成されていてもよい。要は、商品読取装置１とＰＯＳ端末２とからなるチェックアウトシステムに適用可能である。

また、前記第１〜第４の実施形態では、切替手段３３を動作させる指令として［自動認識］ボタン４３の画像を登録画面４０上に表示させたが、切替手段３３は、これに限定されるものではない。例えば、キーボード１１に配置されているキーの１つを、［自動認識］ボタン４３と同様の機能を有するキーとしてもよい。［ＯＫ］ボタン４４、［数量］ボタン４５、［認識終了］ボタン４７、［キャンセル］ボタン４６，４８についても同様である。あるいは、キャッシャ（または客）の足元に備えられたフットスイッチによって、切替手段３３を構成することも可能である。このようなフットスイッチを足で操作することによって、ユーザの操作性向上を図ることができる。

また、前記第５の実施形態では、切替手段３３を動作させる指令としての操作子７０の配置場所を読取窓１Ｂに向かって右側としたが、配置場所はここに限定されるものではない。例えば、読取窓１Ｂの周囲部における上側あるいは下側であってもよい。また、読取窓１Ｂに向かって右側だけでなく左側にも操作子７０を設けてもよい。読取窓１ｂの周囲部左右に操作子７０を設けることによって、顧客移動方向が読取窓に向かって右側から左側のレーンであっても、その逆の方向のレーンであっても対応できるメリットがある。

また、第２及び第４の実施形態において必要な［認識終了］ボタン４７についても、その代わりに接触式の操作子を読取窓１Ｂの周囲部に設けてもよい。

また、前記実施形態では、画像認識画面５０や数量入力画面６０を登録画面４０の上に重ねてポップアップ表示するようにしたが、ポップアップ表示ではなく、登録画面４０に代えてパネル表示部１２１に表示させてもよい。

また、前記実施形態では、画像認識画面５０を表示させることを報知手段としたが、報知手段はこれに限定されるものではなく、他の表示，音等の報知手段により、デフォルトでない処理が有効であることを報知するように構成することも可能である。

また、前記実施形態では、データコード認識手段３２によるデータコード認識処理をデフォルトとしたが、商品認識手段３１による商品認識処理をデフォルトとしてもよい。このような態様は、バーコード等のデータコードが付されている商品に対して付されていない商品の比率が大きくなればなるほど有効となる。なお、データコード認識手段３２によって認識されるデータコードはバーコードに限定されるものではなく、例えば二次元コードであってもよい。

また、前記実施形態では、商品データファイル８に商品別の外観特徴パラメータを記憶したが、パラメータの代わりに標準的な外観を有する商品の画像情報を記憶しても、商品認識手段３１によって商品を認識することは可能である。

また、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ１０３に発明の機能を実現させる商品読取プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…商品読取装置、２…ＰＯＳ端末、８…商品データファイル、１２…タッチパネル、１４…撮像部、４０…登録画面、４３…自動認識ボタン、４７…認識終了ボタン、５０…画像認識画面、６０…数量入力画面、７０…操作子、１０１，２０１…ＣＰＵ。

Claims (9)

1. 撮像手段が撮像した画像からその画像に含まれる商品を認識する商品認識手段と、
   前記撮像手段が撮像した画像からその画像に含まれるデータコードを認識するデータコード認識手段と、
   前記データコード認識手段によるデータコード認識処理をデフォルトの処理とし、前記商品認識手段による商品認識処理をデフォルトでない処理として、前記デフォルトの処理が有効な状態から前記デフォルトでない処理が有効な状態に切り替える切替手段と、
   この切替手段により前記デフォルトでない処理が有効な状態に切り替わったならば、前記撮像手段で撮像された画像を表示する表示手段と、
   前記有効な状態にある前記データコード認識処理または前記商品認識処理により認識されたデータコードの情報または商品の情報を出力する出力手段と、
   を具備したことを特徴とする商品読取装置。
2. 前記デフォルトでない処理が有効になると、このデフォルトでない処理で１つの商品またはデータコードを認識した後に前記デフォルトの処理を有効にすることを特徴とする請求項１記載の商品読取装置。
3. 前記デフォルトでない処理の終了を宣言する宣言手段、をさらに具備し、
   前記デフォルトでない処理が有効になると前記宣言手段により終了が宣言されるまで有効状態を維持し、前記宣言手段により終了が宣言されると前記デフォルトの処理を有効にすることを特徴とする請求項１記載の商品読取装置。
4. 前記デフォルトでない処理が有効であることを報知する報知手段、をさらに具備したことを特徴とする請求項１乃至３のうちいずれか１記載の商品読取装置。
5. 前記切替手段により有効となった前記デフォルトでない処理を実行する前に、前記デフォルトの処理を実行する割込手段、をさらに具備し、
   前記割込手段により前記デフォルトの処理を実行したが認識できなかったとき、前記デフォルトでない処理を実行することを特徴とする請求項１記載の商品読取装置。
6. 前記デフォルトでない処理を実行して１つの商品またはデータコードを認識した後は、前記デフォルトの処理を有効にすることを特徴とする請求項５記載の商品読取装置。
7. 前記切替手段は、前記撮像手段によって撮像される商品をかざすための読取窓の周囲部に配置された接触式操作子が入力されたか否かによって切り替えることを特徴とする請求項１記載の商品読取装置。
8. 前記接触式操作子は、静電容量式のタッチスイッチであることを特徴とする請求項７記載の商品読取装置。
9. コンピュータに、
   撮像手段が撮像した画像からその画像に含まれる商品を認識する商品認識機能と、
   前記撮像手段が撮像した画像からその画像に含まれるデータコードを認識するデータコード認識機能と、
   前記データコード認識処理をデフォルトの処理とし、前記商品認識処理をデフォルトでない処理として、前記デフォルトの処理が有効な状態から前記デフォルトでない処理が有効な状態に切り替える切替機能と、
   前記デフォルトでない処理が有効な状態に切り替わったならば、前記撮像手段で撮像された画像を表示部に表示させる表示機能と、
   前記有効な状態にある前記データコード認識処理または前記商品認識処理により認識されたデータコードの情報または商品の情報を出力する出力機能と、
   を実現させるための商品読取プログラム。

Images