JP5586641B2 - 商品読取装置及び商品読取プログラム - Google Patents

Description

本発明の実施形態は、撮像手段を用いた商品読取装置及びコンピュータを前記商品読取装置として機能させるための商品読取プログラムに関する。

従来、物品を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識する技術が知られている。また、このような自動認識技術を用いて客が購入する商品を識別し、識別された商品を売上登録する店舗システムが提案されている。

特開２０１１−１６５１３９号公報

しかしながら従来技術においては、画像データに複数の商品が含まれている場合に、その画像データを商品の部分と商品以外の部分とに切り分けて処理するが、商品以外の部分を商品と誤認識してしまう可能性がある。

本発明が解決しようとする課題は、画像データに含まれる複数の商品を認識する処理において、誤認識を低減することができる商品読取装置及び商品読取プログラムを提供しようとするものである。

一実施形態において、商品読取装置は、タッチパネルと、枠線表示手段と、修正受付手段と、枠線修正手段と、商品認識手段と、出力手段と、を備える。タッチパネルは、撮像手段で撮像された画像を表示する。枠線表示手段は、タッチパネルに表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる。修正受付手段は、枠線内が予め定められた時間タッチされた場合、枠線のサイズ修正を受け付ける。枠線修正手段は、枠線内のタッチ時間に応じて画像上の枠線のサイズを変化させる。商品認識手段は、枠線内の画像に含まれる商品を認識する。出力手段は、の商品認識手段により認識された商品の情報を出力する。

一実施形態に係る店舗会計システムの外観図。 同システムに組み込まれる商品読取装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 同システムで用いられる商品データファイルのデータ構造を示す模式図。 同システムの商品読取装置において、ＣＰＵが実現する機能構成を示す模式図。 同システムの商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 同システムの商品読取装置において、ＣＰＵが商品読取プログラムにしたがって実行する情報処理の要部手順を示す流れ図。 図５におけるステップＳＴ１６の枠線変更処理の手順を具体的に示す流れ図。 本実施形態において、パネル表示部に表示される画像の一例を示す図。 図８に示す画像において、デフォルトサイズの枠線が表示された状態を示す図。 図９に示される枠線を修正する過程を示す図。 図８に示す画像において、修正後の枠線が表示された状態を示す図。

以下、商品読取装置の実施形態について、図面を用いて説明する。この実施形態は、パンや洋菓子などを販売するベーカリーショップあるいはドーナツを販売するドーナツショップ等の店舗に設けられた会計カウンタに立設される縦型の商品読取装置に適用した場合である。

図１は、一実施形態に係る店舗会計システムの外観図である。このシステムは、登録部としての商品読取装置１と、決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。商品読取装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。商品読取装置１とＰＯＳ端末２とは、図示しない通信ケーブルにより電気的に接続される。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、店員のスペースとなる。

商品読取装置１は、会計カウンタ３の顧客通路側の縁の略中央部に立設された板状のボディ部１０Ａと、このボディ部１０Ａの正面上端部から、上記正面に対して略直交する方向（会計カウンタ３と対向する方向）に突出した庇部１０Ｂとを備える。そして、ボディ部１０Ａの頂部に、商品の登録に係るデバイスとしてキーボード１１、タッチパネル１２及び客用ディスプレイ１３が取り付けられる。また、庇部１０Ｂに、撮像手段としての撮像部１４が内蔵される。

撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、庇部１０Ｂの会計カウンタ３と対向する面に形成された読取窓（不図示）から撮像レンズを通してＣＣＤ撮像素子のエリアに結像する画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

会計カウンタ３には、客が購入する商品（パン，洋菓子，ドーナツ等）を載せたトレイ６が置かれる。店員は、図１に示すように、商品が載せられたトレイ６を会計カウンタ３の庇部１０Ｂの下方に置く。そうすると、撮像部１４によって商品を含むトレイ６の画像が撮像され、撮像された画像は、商品読取装置１の機能によりタッチパネル１２に表示される。つまり、会計カウンタ３における庇部１０ｂの下側は、撮像部１４の撮像領域となる。

ＰＯＳ端末２は、商取引の決済に係るデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。
図２は、商品読取装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。商品読取装置１は、制御部本体としてＣＰＵ（Central Processing Unit）１０１を搭載する。そしてこのＣＰＵ１０１に、アドレスバス，データバス等のバスライン１０２を介して、ＲＯＭ１０３とＲＡＭ１０４とが接続される。ＲＯＭ１０３には、ＣＰＵ１０１によって実行されるプログラムが記憶される。

この他、バスライン１０２には、入出力回路（不図示）を介して前記撮像部１４が接続される。また、接続インターフェース１０５及び接続インターフェース１０６を介して、表示・操作デバイスであるキーボード１１、タッチパネル１２及び客用ディスプレイ１３が、バスライン１０２に接続される。タッチパネル１２は、例えば液晶ディスプレイを用いたパネル表示部１２１と、この表示部１２１の画面上に重ねて配置されたタッチパネルセンサ１２２とを備える。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ（Hard Disk Drive）装置２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担うストアコンピュータＳＣと接続される。この接続により、ＰＯＳ端末２は、ストアコンピュータＳＣとデータの送受信が可能となる。例えばＰＯＳ端末２は、ストアコンピュータＳＣから商品データファイル７を受信する。受信した商品データファイル７は、ＨＤＤ装置２０５に保存される。

接続インターフェース２０７は、通信ケーブルを介して、商品読取装置１の両接続インターフェース１０５，１０６と接続される。この接続により、ＰＯＳ端末２は、商品読取装置１とデータの送受信が可能となる。例えばＰＯＳ端末２は、商品読取装置１で読み取られた商品情報を受信する。またＰＯＳ端末２は、前記商品データファイル７のデータを商品読取装置１に送信する。

図３は、商品データファイル７のデータ構造を示す模式図である。図３に示すように、商品データファイル７には、各商品を識別する商品コードに関連付けて、その商品の名称（商品名）、単価、外観特徴パラメータ等が記憶される。外観特徴パラメータは、商品の形状、表面の色合い、模様、凹凸状況等のような商品の標準的な外観の特徴量を商品毎に数値化したものである。

かかる構成の商品読取装置１とＰＯＳ端末２とを含む店舗会計システムにおいて、商品読取装置１のＣＰＵ１０１は、図４に示すように、タッチパネル（表示部）１２に表示される画像、つまりは、撮像部（撮像手段）１４で撮像された画像に、その画像に含まれる商品を囲うための枠線を表示させる枠線表示手段３１と、前記枠線の修正指示を受け付ける修正受付手段３２と、前記修正指示に従い、前記画面上の枠線を修正する枠線修正手段３３と、前記枠線内の画像に含まれる商品を認識する商品認識手段３４と、この商品認識手段３４により認識された商品の情報をＰＯＳ端末２に出力する出力手段３５と、を備える。

図５乃至図７の流れ図を用いて上記ＣＰＵ１０１の各機能について説明する。これらの流れ図は、前記商品読取プログラムにしたがってＣＰＵ１０１が実行する情報処理の要部手順を示すものである。

この処理は、例えば顧客の購入商品が載せられたトレイ６を会計カウンタ３の撮像領域にセットした店員が、キーボード１１の読取開始キー（不図示）を操作することによって生じるキー信号に応じて開始される。先ず、ＣＰＵ１０１は、撮像部１４に対して撮像オン信号を出力する（ＳＴ１）。この撮像オン信号により、撮像部１４は撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域の画像データは、ＲＡＭ１０４に順次保存される。

ＣＰＵ１０１は、ＲＡＭ１０４に保存された画像データを取り込む（ＳＴ２）。そしてＣＰＵ１０１は、このデータの画像Ｇをタッチパネル１２のパネル表示部１２１に表示させる（ＳＴ３）。またＣＰＵ１０１は、枠線カウンタＬを“０”にリセットする（ＳＴ４）。枠線カウンタＬは、ＲＡＭ１０４に形成されている。

図８は、パネル表示部１２１に表示される画像Ｇの一例である。パネル表示部１２１には、トレイ６とこのトレイ６に載せられた商品Ｍ１，商品Ｍ２．商品Ｍ３，商品Ｍ４とを含む画像Ｇが表示される。また、確定ボタンＢ１と取消ボタンＢ２の画像も表示される。なお、確定ボタンＢ１と取消ボタンＢ２については、キーボード１１に配置されているキーを代用し、タッチパネル１２の画面から省略することも可能である。

ＣＰＵ１０１は、パネル表示部１２１の画面がタッチ入力されるのを待機する（ＳＴ５）。タッチパネルセンサ１２２からの信号によりタッチパネル１２の画面がタッチ入力されたことを検知すると（ＳＴ５にてＹＥＳ）、ＣＰＵ１０１は、そのタッチ位置が画像Ｇ内か否かを判断する（ＳＴ６）。タッチ位置が画像Ｇ内でない場合（ＳＴ６にてＮＯ）、ＣＰＵ１０１は、確定ボタンＢ１または取消ボタンＢ２のいずれかのボタン画像がタッチ入力されたか否かを判断する（ＳＴ７）。タッチ位置がいずれのボタン画像でもない場合（ＳＴ７にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ１０１は、ＲＡＭ１０４から次の画像データを取り込み（ＳＴ２）、パネル表示部１２１に表示させる（ＳＴ３）。

タッチ位置が画像Ｇ内であった場合（ＳＴ６にてＹＥＳ）、ＣＰＵ１０１は、内蔵のタイマ機能を利用して、タッチされている時間Ｔを計時する（ＳＴ８）。そして、このタッチ時間Ｔが所定時間ｔ（例えば２秒）を越えたか否かを判断する（ＳＴ９）。タッチ時間Ｔが所定時間ｔを越えていない場合（ＳＴ９にてＮＯ）、ＣＰＵ１０１は、タッチが解除されてか否かを判断する（ＳＴ１０）。タッチが解除されていない場合（ＳＴ１０にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ８の処理に戻る。すなわちＣＰＵ１０１は、タッチ時間Ｔの計時を継続する（ＳＴ８）。

タッチ時間Ｔが所定時間ｔを越える前にタッチが解除された場合（ＳＴ１０にてＹＥＳ）、ＣＰＵ１０１は、タッチされていた画像Ｇ内の位置が後述する枠線の外側であるか否かを判断する（ＳＴ１１）。タッチ位置が枠線の外側である場合（ＳＴ１１にてＹＥＳ）、ＣＰＵ１０１は、そのタッチ位置を中心として予め設定されたサイズの矩形状枠線を画像Ｇに重ねて表示させる（ＳＴ１２）。またＣＰＵ１０１は、前記枠線カウンタＬを“１”だけカウントアップする（ＳＴ１３）。しかる後、ＣＰＵ１０１は、ステップＳＴ５の処理に戻る。すなわち、パネル表示部１２１の画面がタッチ入力されるのを再度待機する（ＳＴ５）。

これに対し、タッチ位置が枠線の外側でない場合、つまり枠線の内側か線上である場合には（ＳＴ１１にてＮＯ）、ＣＰＵ１０１は、そのタッチ位置の外側の枠線またはタッチされていた枠線を消去する（ＳＴ１４）。また、ＣＰＵ１０１は、前記枠線カウンタＬを“１”だけカウントダウンする（ＳＴ１５）。しかる後、ＣＰＵ１０１は、ステップＳＴ５の処理に戻る。すなわち、パネル表示部１２１の画面がタッチ入力されるのを再度待機する（ＳＴ５）。

タッチ時間Ｔが所定時間ｔを越えた場合（ＳＴ９にてＹＥＳ）、ＣＰＵ１０１は、枠線変更処理を実行する（ＳＴ１６）。枠線変更処理については、後述する。

次に、ボタン画像がタッチ入力された場合について、図６を用いて説明する。ステップＳＴ７にてボタン画像がタッチ入力されたと判断された場合（ＳＴ７にてＹＥＳ）、ＣＰＵ１０１は、タッチ入力されたボタン画像が確定ボタンＢ１なのか取消ボタンＢ２なのかを判別する（ＳＴ１７）。取消ボタンＢ２の画像がタッチ入力された場合（ＳＴ１７にて「取消」）、ＣＰＵ１０１は、画像Ｇの上に重ねて表示されている全ての枠線を消去する（ＳＴ１８）。しかる後、ステップＳＴ４の処理に戻る。すなわち、枠線カウンタＬを“０”にリセットして、次のタッチ入力を待機する（ＳＴ４）。

一方、確定ボタンＢ１の画像がタッチ入力された場合には（ＳＴ１７にて「確定」）、ＣＰＵ１０１は、撮像部１４に対して撮像オフ信号を出力する（ＳＴ１９）。この撮像オフ信号により、撮像部１４は撮像を停止する。

次いで、ＣＰＵ１０１は、枠線カウンタＬが“０”より大きいか否かを判定する（ＳＴ２０）。枠線カウンタＬが“０”の場合（ＳＴ２０にてＮＯ）、今回の処理が終了する。

枠線カウンタＬが“０”より大きい場合（ＳＴ２０にてＹＥＳ）、ＣＰＵ１０１は、画像Ｇに重ねて表示されている枠線毎に、その枠線内の画像から、その画像に含まれる商品を認識する（ＳＴ２１）。具体的には、ＣＰＵ１０１は先ず、枠線内の画像を二値化した画像から輪郭線等を抽出する。これにより、ＣＰＵ１０１は、枠線内の画像に映し出されている商品の輪郭抽出を試みる。商品の輪郭が抽出されると、ＣＰＵ１０１は、その輪郭内の画像から、商品の形状、表面の色合い、模様、凹凸状況等の特徴量を読み取る。そしてＣＰＵ１０１は、読み取った特徴量データを、ＲＡＭ１０４に一時記憶する（ＳＴ２２）。

枠線内の画像から商品が認識され、その特徴量データがＲＡＭ１０４に格納されると、ＣＰＵ１０１は、枠線カウンタＬを“１”だけカウントダウンする（ＳＴ２３）。そしてＣＰＵ１０１は、枠線カウンタＬが“０”になったか否かを判断する（ＳＴ２４）。枠線カウンタＬが“０”より大きい場合（ＳＴ２４にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ２１の処理に戻る。すなわち、別の枠線内の画像から、その画像に含まれる商品を認識する（ＳＴ２２）。

枠線カウンタＬが“０”になると（ＳＴ２４にてＹＥＳ）、ＣＰＵ１０１は、ＲＡＭ１０４で記憶した特徴量のデータ、すなわち各枠線内の画像からそれぞれ認識された商品毎の特徴量データを、接続インターフェース１０５を介してＰＯＳ端末２に送信出力する（ＳＴ２５）。

ＰＯＳ端末２のＣＰＵ２０１は、商品読取装置１から各商品の特徴量データを入力すると、それらの特徴量データを、商品データファイル７に記憶されている各商品の商品別外観特徴パラメータと照合する。そして特徴量データ毎に、そのデータの特徴量に最も類似した外観特徴パラメータを有する商品を、売上商品として確定する。

売上商品が確定されると、ＣＰＵ２０１は、商品データファイル７からこの売上商品の商品コード、商品名、単価等を読出す。また、販売点数を“１”として販売金額を算出する。そしてこの商品コード、商品名、単価、販売点数、販売金額等を含む商品販売データを、ＲＡＭ２０４に売上処理する。

図７は、ステップＳＴ１６の枠線変更処理の手順を具体的に示す流れ図である。画像Ｇのタッチ時間Ｔが所定時間ｔを超え、枠線変更処理に入ると、ＣＰＵ１０１は、タッチ位置が枠線の内側なのか（ＳＴ３１）、線上なのか（ＳＴ３２）を判断する。枠線の内側でも線上でもない場合（ＳＴ３１，ＳＴ３２にていずれもＮＯ）、ＣＰＵ１０１は、タッチが解除されるのを待機する（ＳＴ３３）。タッチが解除されたならば（ＳＴ３３にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ５の処理に戻る。すなわちＣＰＵ１０１は、次のタッチ入力を待機する（ＳＴ５）。

一方、タッチ位置が枠線の内側であった場合（ＳＴ３１にてＹＥＳ）、ＣＰＵ１０１は、その枠線内の１箇所のみ連続してタッチされているのか否かを判断する（ＳＴ３４）。枠線内の１箇所のみ連続してタッチされている場合（ＳＴ３４にてＹＥＳ）、ＣＰＵ１０１は、枠線のサイズ修正を受け付ける。そしてＣＰＵ１０１は、枠線のサイズを拡大若しくは縮小する（ＳＴ３５）。

枠線内の１箇所のみ連続してタッチされているのではない場合（ＳＴ３４にてＮＯ）、枠線内の複数個所が連続してタッチされているのか否かを判断する（ＳＴ３６）。枠線内の複数個所が連続してタッチされている場合（ＳＴ３６にてＹＥＳ）、ＣＰＵ１０１は、枠線の形状修正を受け付ける。そしてＣＰＵ１０１は、枠線の形状を矩形から円形に、または円形から矩形に変更する（ＳＴ３７）。

枠線内の１箇所以上が連続してタッチされているのではない場合（ＳＴ３６にてＮＯ）、ＣＰＵ１０１は、タッチ位置がスライド移動しているか否かを判断する（ＳＴ３８）。タッチ位置がスライド移動している場合（ＳＴ３８にてＹＥＳ）、ＣＰＵ１０１は、枠線の位置修正を受け付ける。そしてＣＰＵ１０１は、そのタッチ位置の移動に追随させて枠線を移動させる（ＳＴ３９）。

しかる後、ＣＰＵ１０１は、タッチ位置が解除されたか否かを判断する（ＳＴ４０）。タッチ位置が解除されていない場合（ＳＴ４０にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ３４の処理に戻る。すなわち、タッチ位置が枠線内の１箇所であれば枠線のサイズ変更処理を継続し（ＳＴ３５）、２箇所以上であれば枠線の形状変更処理を継続し（ＳＴ３７）、タッチ位置が移動しているならば枠線の追従移動処理を継続する（ＳＴ３９）。タッチ位置が解除されると（ＳＴ４０にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ５の処理に戻る。すなわちＣＰＵ１０１は、次のタッチ入力を待機する（ＳＴ５）。

他方、タッチ位置が枠線の線上であった場合には（ＳＴ３２にてＹＥＳ）、ＣＰＵ１０１は、タッチ位置がスライド移動しているか否かを判断する（ＳＴ４１）。タッチ位置がスライド移動している場合（ＳＴ４１にてＹＥＳ）、ＣＰＵ１０１は、枠線の角度修正を受け付ける。そしてＣＰＵ１０１は、その移動方向に従い枠線を移動量に相当する分だけ回転させる（ＳＴ４２）。回転は、枠線の中心点を回転軸とする。

ＣＰＵ１０１は、タッチ位置が解除されたか否かを判断する（ＳＴ４３）。タッチ位置が解除されていない場合（ＳＴ４３にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ４１の処理に戻る。すなわち、タッチ位置が移動しているならば枠線の回転処理を継続する（ＳＴ４２）。タッチ位置が解除されると（ＳＴ４３にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ５の処理に戻る。すなわちＣＰＵ１０１は、次のタッチ入力を待機する（ＳＴ５）。

このように、商品読取装置１においては、商品読取プログラムにしたがってＣＰＵ１０１が実行する情報処理手順のステップＳＴ１２の処理により枠線表示手段３１が構成され、ステップＳＴ９，ＳＴ３１，ＳＴ３２，ＳＴ３４，ＳＴ３６，ＳＴ３８の各処理により修正受付手段３２が構成され、ステップＳＴ３５，ＳＴ３７，ＳＴ３９，ＳＴ４２の各処理により枠線修正手段３３が構成される。また、同処理手順のステップＳＴ２１の処理により商品認識手段３４が構成され、ステップＳＴ２５の処理により出力手段３５が構成される。

今、商品Ｍ１，Ｍ２，Ｍ３，Ｍ４が載せられたトレイ６を会計カウンタ３の撮像領域に置いて、店員がキーボード１１の読取開始キーを操作したところ、撮像部１４によって図８に示す画像Ｇが撮像され、タッチパネル１２に表示されたとする。この場合、店員は先ず、各商品Ｍ１，Ｍ２，Ｍ３，Ｍ４の画像にそれぞれタッチする。このときのタッチ時間Ｔは、所定時間ｔよりも短い。タッチし終えると、図９に示すように、それぞれタッチしたポジションＰ１，Ｐ２，Ｐ３，Ｐ４を中心に矩形状の枠線Ｌ１，Ｌ２，Ｌ３，Ｌ４がデフォルトサイズで表示される。

ここで、商品Ｍ１に対するデフォルトサイズの枠線Ｌ１は、商品Ｍ１の外形よりも小さい。このため、枠線Ｌ１を拡大する必要がある。この場合、店員は、商品Ｍ１の略中心である１箇所に再度タッチし、そのまま所定時間ｔが経過するのを待つ。そうすると、図１０に示すように、タッチしたポジションＰ１ａを中心に枠線Ｌ１が動的に拡大する。そこで、商品Ｍ１の外形が囲われるサイズまで枠線Ｌ１が拡大したならば、店員はタッチを解除する。因みに、商品Ｍ１の外形が囲われるサイズまで拡大された枠線を符号Ｌ１ａで表わす。

なお、この１箇所のタッチ操作を所定時間ｔ以上継続すると、枠線Ｌ１は例えばデフォルトサイズの２倍まで動的に拡大し、その後、縮小に転じ、例えばデフォルトサイズの１／２倍まで動的に縮小する。以後、タッチ操作が続いている限り、枠線Ｌ１は拡大と縮小を繰り返す。なお、タッチ操作が所定時間ｔを経過すると枠線が縮小し、その後、拡大に転じてもよい。

商品Ｍ２に対するデフォルトサイズの枠線Ｌ２は、所定角度回転させることで商品Ｍ２の外形を囲う。この場合、店員は、枠線Ｌ２の例えば左上角のポジションＰ２ａにタッチしたならば、タッチしている指を画面から離すことなく下方へ動かす。そうすると、タッチ位置の移動に追随して枠線Ｌ２がその中心を回転軸として反時計回りに回転するので、図１０に示すように、枠線Ｌ２が商品Ｍ２の外形を囲う位置、つまりはポジションＰ２ｂで、タッチを解除する。因みに、商品Ｍ２の外形が囲われる位置まで回転した枠線を符号Ｌ２ａで表わす。

なお、ポジションＰ２ａにタッチした指を画面から離すことなく上方へ動かしたならば、枠線Ｌ２は、その中心を回転軸として時計回りに回転する。また、枠線Ｌ２の例えば右下角のポジションにタッチし、その指を画面から離すことなく下方へ動かしたならば、枠線Ｌ２は時計回りに回動し、上方へ動かしたならば、枠線Ｌ２は反時計回りに回動する。

なお、枠線Ｌ２を回転させたが、そのサイズが小さく、商品Ｍ２の外形を囲うことができない場合には、枠線Ｌ２の回転後若しくは回転前に、枠線Ｌ２内の１点を所定時間ｔ以上タッチして枠線Ｌ２を拡大させればよい。

商品Ｍ３に対するデフォルトサイズの枠線Ｌ３は、商品Ｍ３の外形よりも小さい。ただし、他の商品Ｍ４の一部に掛かっているため、そのまま拡大させることはできない。このような場合には、商品Ｍ３の形状に合わせて、枠線Ｌ３を横長の楕円形にすればよい。すなわち店員は、図１０に示すように、商品Ｍ３の左右両端近傍の２つのポジションＰ３ａ，Ｐ３ｂにタッチし、そのまま所定時間ｔが経過するのを待つ。そうすると、矩形状の枠線Ｌ３が、ポジションＰ３ａとポジションＰ３ｂとを結ぶ線分の方向を長手方向とする楕円形の枠線Ｌ３ａに変化する。この形状変化により、枠線Ｌ３ａによって、他の商品Ｍ４の少なくとも一部に掛かることなく商品Ｍ３の外形が囲われたならば、タッチを解除する。

なお、枠線Ｌ３の形状を変化させたが、そのサイズが小さく、商品Ｍ３の外形を囲うことができない場合には、枠線Ｌ３の形状変化後若しくは変化前に、枠線Ｌ３内の１点を所定時間ｔ以上タッチして枠線Ｌ３を拡大させればよい。

また、変化後の形状は、横長の楕円形に限定されるものではない。例えば、商品の上下両端近傍の２つのポジションにタッチすることで縦長の楕円形に変形させることができる。同様に、正三角形の頂点となる３箇所、若しくは正方形の頂点となる４箇所にタッチすることで、正円に変形させることもできる。

商品Ｍ４に対するデフォルトの枠線Ｌ４は、商品Ｍ４の外形を囲っており、かつ、他の商品の外形に掛かってはいない。したがって、枠線Ｌ４のサイズや形状などを変更する必要はない。

以上のタッチ操作を行うことにより、図１１に示すように、各商品Ｍ１，Ｍ２，Ｍ３．Ｍ４は、それぞれ枠線Ｌ１ａ，Ｌ２ａ，Ｌ３ａ，Ｌ４によってその外形が囲われる。そこで店員は、確定ボタンＢ１にタッチする。そうすると、商品読取装置１においては商品認識処理が行われる。この処理の際、商品読取装置１では、枠線Ｌ１ａ，Ｌ２ａ，Ｌ３ａ，Ｌ４毎に、その枠線内の画像について商品認識処理が実行される。その結果、枠線Ｌ１ａ内の画像からは商品Ｍ１の特徴量データが抽出され、枠線Ｌ２ａ内の画像からは商品Ｍ２の特徴量データが抽出され、枠線Ｌ３ａ内の画像からは商品Ｍ３の特徴量データが抽出され、枠線Ｌ４内の画像からは商品Ｍ４の特徴量データが抽出される。

こうして、商品読取装置１において認識された各商品Ｍ１，Ｍ２，Ｍ３，Ｍ４の特徴量データは、接続インターフェース１０５を介してＰＯＳ端末２に送信出力される。ＰＯＳ端末２では、各商品の特徴量データが、商品データファイル７に記憶されている各商品の商品別外観特徴パラメータと照合される。そして、商品の特徴量に最も類似した外観特徴パラメータを有する商品が選択され、売上商品として確定される。

このように、撮像部１４によって撮像された画像Ｇからその画像に含まれる複数の商品Ｍ１．Ｍ２．Ｍ３．Ｍ４を認識する際には、各商品Ｍ１．Ｍ２．Ｍ３．Ｍ４をそれぞれ枠線Ｌ１ａ，Ｌ２ａ，Ｌ３ａ，Ｌ４で囲うようにする。そうすることにより、商品読取装置１では、各枠線Ｌ１ａ，Ｌ２ａ，Ｌ３ａ，Ｌ４によってそれぞれ囲われた領域の画像だけが解析されて、各商品Ｍ１．Ｍ２．Ｍ３．Ｍ４が１つ１つ認識される。したがって、画像Ｇ全体を商品の部分と商品以外の部分とに切り分けてから各商品Ｍ１．Ｍ２．Ｍ３．Ｍ４を認識する場合と比較すると、切り分ける処理が不要となるので、商品認識処理に要する商品読取装置１の負荷を軽減できる効果を奏する。また、オペレータが誤って商品以外の領域を枠線で囲わないかぎり、商品以外の部分を商品として誤認識することはないので、誤認識による処理の遅れも未然に防止できる。

しかも、商品を囲う枠線は、先ず、デフォルトサイズでタッチパネル１２に表示され、その後、オペレータのタッチ操作により拡大，縮小、回転、形状変化等の修正を加えることができる。このため、１画像に形状の異なる複数の商品が含まれる場合でも、容易に各商品をそれぞれ枠線で囲うことができるので、作業性が良好である。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、デフォルトサイズの枠線と修正後の枠線とで線種に違いはないが、実線と破線、細線と太線というように線種に違いを持たせてもよい。そうすることにより、デフォルトサイズの枠線なのか修正後の枠線なのかを容易に識別できるようになる。また、デフォルトサイズの枠線と修正後の枠線とで線の色を変えて、識別できるようにすることも可能である。

また、例えば図９において、各商品Ｍ１，Ｍ２，Ｍ３，Ｍ４の外形をデフォルトサイズの枠線Ｌ１，Ｌ２，Ｌ３，Ｌ４で囲んだ際、枠線Ｌ４は修正の必要がないが、枠線Ｌ１，Ｌ２，Ｌ３は修正が必要である。このような場合に、枠線Ｌ４は例えば実線で表示し、枠線Ｌ１，Ｌ２，Ｌ３は実線以外の例えば破線で表示して、修正が必要であることをオペレータに知らしめるようにしてもよい。

また、前記実施形態は、キャッシャが対応する会計カウンタの商品読取装置１に適用したが、適用事例はこれに限定されるものではない。例えば、客自身が自ら会計を行うセルフチェックアウトシステムの商品読取装置に適用することも可能である。また、商品読取装置１がＰＯＳ端末２に組み込まれて一体として構成されていてもよい。要は、商品読取装置１とＰＯＳ端末２とからなるチェックアウトシステムに適用可能である。

また、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ１０３に発明の機能を実現させる商品読取プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］撮像手段で撮像された画像を表示する表示部と、前記表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる枠線表示手段と、前記枠線の修正指示を受け付ける修正受付手段と、前記修正指示に従い、前記画面上の枠線を修正する枠線修正手段と、前記枠線内の画像に含まれる商品を認識する商品認識手段と、この商品認識手段により認識された商品の情報を出力する出力手段と、を具備したことを特徴とする商品読取装置。
［２］前記表示部は、タッチパネルであり、前記修正受付手段は、前記枠線内が予め定められた時間タッチされた場合、前記枠線のサイズ修正を受け付け、前記枠線修正手段は、前記枠線内のタッチ時間に応じて前記枠線のサイズを変化させることを特徴とする付記［１］記載の商品読取装置。
［３］前記表示部は、タッチパネルであり、前記修正受付手段は、前記枠線内が予め定められた時間タッチされた場合、前記枠線の形状修正を受け付け、前記枠線修正手段は、前記枠線内のタッチ部位に応じて前記枠線の形状を変化させることを特徴とする付記［１］記載の商品読取装置。
［４］前記表示部は、タッチパネルであり、前記修正受付手段は、前記枠線内が予め定められた時間タッチされた場合、前記枠線の位置修正を受け付け、前記枠線修正手段は、前記枠線内のタッチ位置の移動に追従して前記枠線を移動させることを特徴とする付記［１］記載の商品読取装置。
［５］前記表示部は、タッチパネルであり、前記修正受付手段は、前記枠線内が予め定められた時間タッチされた場合、前記枠線の角度修正を受け付け、前記枠線修正手段は、前記枠線内のタッチ位置の移動に追従して前記枠線を当該枠の中心を回転軸として回転させることを特徴とする付記［１］記載の商品読取装置。
［６］撮像手段で撮像された画像を表示する表示部を備えたコンピュータに、前記表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる機能と、前記枠線の修正指示を受け付けさせる機能と、前記修正指示に従い、前記画面上の枠線を修正させる機能と、前記枠線内の画像に含まれる商品を認識させる機能と、認識された商品の情報を出力させる機能と、を実現させるための商品読取プログラム。

１…商品読取装置、２…ＰＯＳ端末、７…商品データファイル、１２…タッチパネル、１４…撮像部、１０１，２０１…ＣＰＵ。

Claims (5)

1. 撮像手段で撮像された画像を表示するタッチパネルと、
   前記タッチパネルに表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる枠線表示手段と、
   前記枠線内が予め定められた時間タッチされた場合、前記枠線のサイズ修正を受け付ける修正受付手段と、
   前記枠線内のタッチ時間に応じて前記画像上の枠線のサイズを変化させる枠線修正手段と、
   前記枠線内の画像に含まれる商品を認識する商品認識手段と、
   この商品認識手段により認識された商品の情報を出力する出力手段と、
   を具備したことを特徴とする商品読取装置。
2. 撮像手段で撮像された画像を表示するタッチパネルと、
   前記タッチパネルに表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる枠線表示手段と、
   前記枠線内が予め定められた時間タッチされた場合、前記枠線の形状修正を受け付ける修正受付手段と、
   前記枠線内のタッチ部位に応じて前記画像上の枠線の形状を変化させる枠線修正手段と、
   前記枠線内の画像に含まれる商品を認識する商品認識手段と、
   この商品認識手段により認識された商品の情報を出力する出力手段と、
   を具備したことを特徴とする商品読取装置。
3. 撮像手段で撮像された画像を表示するタッチパネルと、
   前記タッチパネルに表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる枠線表示手段と、
   前記枠線内が予め定められた時間タッチされた場合、前記枠線の位置修正を受け付ける修正受付手段と、
   前記枠線内のタッチ位置の移動に追従して前記画像上の枠線を移動させる枠線修正手段と、
   前記枠線内の画像に含まれる商品を認識する商品認識手段と、
   この商品認識手段により認識された商品の情報を出力する出力手段と、
   を具備したことを特徴とする商品読取装置。
4. 撮像手段で撮像された画像を表示するタッチパネルと、
   前記タッチパネルに表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる枠線表示手段と、
   前記枠線内が予め定められた時間タッチされた場合、前記枠線の角度修正を受け付ける修正受付手段と、
   前記枠線内のタッチ位置の移動に追従して前記画像上の枠線を当該枠の中心を回転軸として回転させる枠線修正手段と、
   前記枠線内の画像に含まれる商品を認識する商品認識手段と、
   この商品認識手段により認識された商品の情報を出力する出力手段と、
   を具備したことを特徴とする商品読取装置。
5. 撮像手段で撮像された画像を表示するタッチパネルを備えたコンピュータに、
   前記タッチパネルに表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる機能と、
   前記枠線内が予め定められた時間タッチされた場合、前記枠線の位置修正を受け付けさせる機能と、
   前記枠線内のタッチ位置の移動に追従して前記画像上の枠線を移動させる機能と、
   前記枠線内の画像に含まれる商品を認識させる機能と、
   認識された商品の情報を出力させる機能と、
   を実現させるための商品読取プログラム。

Images