JP5535508B2 - セルフｐｏｓ装置及びその動作方法 - Google Patents

Description

本発明はセルフＰＯＳ装置に関し、特にセルフＰＯＳのバーコード読み取りをサポートし、顧客情報の読み取りの案内を適切に行い且つ顧客の不正行為を防止するセルフＰＯＳ装置及びその動作方法に関する。

従来、スーパーストア（スーパー）やコンビニエンスストア（コンビニ）を含む量販店等の店舗では、顧客の精算処理の迅速化、効率化及び効率的な売上、発注及び在庫情報管理等のためにＰＯＳ端末が開発され広く普及している。

斯かる店舗の経営効率を改善するためには、人件費を抑えるために、顧客自身がＰＯＳを操作して購入を希望する商品情報を入力して精算処理を行うセルフＰＯＳ装置（以下、単にセルフＰＯＳという場合もある）が提案され普及しつつある。斯かるセルフＰＯＳでは、顧客自身が簡単、迅速且つ正確に操作可能にする操作性の改善と共に顧客による不正を防止して、商品情報を正しく入力することが必要である。

店舗に設置されているセルフＰＯＳでは、顧客への操作案内（サポート）や不正防止のために数台のセルフＰＯＳに１人の割合で案内及び監視を目的として店員を配置するのが一般的である。

斯かるセルフＰＯＳに関連する従来技術は、種々の特許文献等に開示されている。商品の品名、単価等の商品データと共にその商品の外観特徴に関するデータを商品別に予め記憶する商品別データ記憶部を設けることにより、商品の売上登録処理を煩雑なキー操作をすることなく可能にする商品販売登録データ処理装置が開示されている（例えば、特許文献１参照。）。

また、商品の重量とバーコードの関連付けを商品のバーコードを読み込んだ際に記憶して学習するように重量データを取り込むことにより、商品データファイルに個々の商品の重量を登録する作業の煩わしさを解消するセルフチェックアウト端末が開示されている（例えば、特許文献２参照。）。

更に、商品バーコード読取装置、警報装置、画像データを出力する監視カメラ等の撮像部を備え、顧客による商品の不正持出を防止するセルフチェックアウト端末が開示されている（例えば、特許文献３参照。）。

更にまた、商品の重量検知部を設けることにより、顧客が商品のバーコード読取を行うことなく会計処理を行い、商品の不正持ち帰るのを防止するセルフチェックアウト端末が開示されている（例えば、特許文献４参照。）。

特開２００２−７４５１１号公報 特開２００７−２９３７６５号公報 特開２００８−２７４２７号公報 特開２００８−２７６５４０号公報

しかし、上述の如き従来技術には、操作性及び顧客による不正の検知及び防止等の点で改善するべき課題を有する。例えば、原材料の値上げ等により予告なく商品の容量を変化させる商品も少なくないので、斯かる場合には重量データの更新が必要になると共に顧客とのトラブルの原因ともなり得る。従って、商品の重量データを使用して監視する手法は実用的ではないにもならず重量検知部により装置の小型軽量化を阻害する。

また、形状認識技術を使用する場合は、商品の基本図形とバーコードを関連付けて予め登録する必要があるため、特に多種多様な商品を扱う店舗では、多大な工数を必要とする。また、撮影された商品の特長点を抽出してバーコードと関連付けて記憶する方式では、低価格の商品についても厳しい判断が行われ、高価な商品に対して甘い判断が行われる虞があるので効率が悪い。

更に、少なくとも複数台のセルフＰＯＳに対して１人の案内や監視のための店員を配置する必要があり、セルフＰＯＳ導入の最大の目的である人件費削減の効果が充分に得られない。

本発明は、従来技術の上述の如き課題又は欠点に鑑みなされたものであり、斯かる課題を克服又は軽減し、操作性に優れると共に顧客による不正を効果的に防止可能なセルフＰＯＳ装置及びその動作方法を提供することを主たる目的とする。

本発明によるセルフＰＯＳ装置及びその動作方法は、次の如き特徴的な構成を採用している。

（１）本発明のセルフＰＯＳ装置は、店舗等で顧客が購入を希望する商品の商品データを読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段を含み、前記顧客が購入する商品の精算処理を行うセルフＰＯＳ装置において、
前記店舗で取り扱う商品の特長点を抽出して基本図形を登録する登録手段と、前記撮像手段により撮影された前記商品の画像を前記基本図形と対比判定する判定手段とを備え、
前記商品の画像と対比される基本図形が前記登録手段に登録されていない場合には、前記撮影手段により撮影された最初の画像に基づき前記基本図形を生成して前記登録手段に登録するセルフＰＯＳ装置。
（２）店舗等で顧客が購入を希望する商品の商品データを読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段を含み、前記顧客が希望する商品の精算処理を行うセルフＰＯＳ装置において、
前記店舗で取り扱う商品の特長点を抽出して基本図形を登録する登録手段と、
前記撮像手段により撮影された前記商品の画像を前記基本図形と対比判定する判定手段と、該判定手段により不正読取の可能性を検知時に警報を発生する警報手段とを備えるセルフＰＯＳ装置。
（３）店舗等で顧客が購入を希望する商品の商品データを読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段を含み、前記顧客が希望する商品の精算処理を行うセルフＰＯＳ装置において、
前記店舗で取り扱う商品の特長点を抽出して基本図形を登録する登録手段と、
前記撮像手段により撮影された前記商品の画像を前記基本図形と対比判定する判定手段とを備え、
前記撮像手段は前記スキャナで読み取られる商品の異なる側の画像を撮影する少なくとも２個よりなるセルフＰＯＳ装置。
（４）前記撮像手段で読み取られた前記商品の画像及び前記登録手段に登録された前記商品の基本図形の相関値を求める相関値演算手段を更に備える上記（１）、（２）又は（３）のセルフＰＯＳ装置。
（５）前記相関値が所定の閾値以上である場合に、前記登録手段に登録され基本図形を入れ替える上記（４）のセルフＰＯＳ装置。
（６）前記警報手段が警報を発するとき、前記スキャナによる商品の読取動作を中止させる動作中止手段を備える上記（２）のセルフＰＯＳ装置。
（７）前記動作中止手段は、前記店舗内の他の機器により店員により操作可能にする上記（６）のセルフＰＯＳ装置。

また、本発明のセルフＰＯＳ装置の動作方法は、
（８）店舗等で顧客が購入を希望する商品の商品データを読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段を含み、前記顧客が購入する商品の精算処理を行うセルフＰＯＳ装置の動作方法において、
前記スキャナにより読み取られる前記商品データに対応する前記商品の画像の特長点を抽出して基本画像を登録する基本画像登録ステップと、
前記撮像手段で撮影された前記画像を前記基本画像と対比判定する判定ステップと、
前記撮像手段で撮影された商品の画像と対比する前記基本画像が存在しないとき、前記撮影手段で撮影された商品の画像に基づき前記基本画像を作成するステップと
を備えるセルフＰＯＳ装置の動作方法。
（９）店舗等で顧客が購入を希望する商品の商品データを読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段とを含み、前記顧客が購入する商品の精算処理を行うセルフＰＯＳ装置の動作方法において、
前記スキャナにより読み取られる前記商品データに対応する前記商品の画像の特長点を抽出して基本画像を登録する基本画像登録ステップと、
前記撮像手段で撮影された前記商品の画像を前記基本画像と対比判定する判定ステップと、
該判定ステップにより不正読み取りの可能性を検出したとき、警報を発生する警報ステップと
を備えるセルフＰＯＳ装置の動作方法。
（１０）前記判定ステップは、前記商品の価格帯毎に判定の閾値を異ならせ、高い価格帯の商品の判定基準を厳しく設定する上記（８）又は（９）のセルフＰＯＳ装置の動作方法。
（１１）前記警報ステップにより前記警報が発生するとき、前記店舗の店員により前記商品の商品データの読取動作を中止させる動作中止ステップを備える上記（９）のセルフＰＯＳ装置の動作方法。
（１２）前記警報ステップにより前記警報が発生するとき、前記警報を無視して前記商品の読取動作を継続して前記精算動作の円滑化を図るステップを備える上記（９）のセルフＰＯＳの動作方法。

上述の如き特徴的な構成を採用する本発明のセルフＰＯＳ装置及びその動作方法によると、次の如き実用上の特有の効果を奏する。

本発明によると、商品の特長点を抽出する非本図形を予め登録する必要がないので、操作が簡単である。その理由は、スキャナにより商品の商品コード（バーコード）の読取時にカメラ（撮像手段）により図形を読み取りその特長点を抽出することにより基本図形を登録するので、例え最初の商品であっても基本図形を登録可能であるからである。店舗で取り扱う商品の基本図形の学習機能により、読み取るサンプル数が増加するほど、形状認識の精度を向上することが可能である。

また、本発明によると、顧客による不正読み取りを効果的に防止可能である。その理由は、顧客による不正行為はカメラにより撮影した図形データに基づき基本図形を参照して判断可能であるからである。更に、顧客による不正行為は、商品の相互に反対側から複数のカメラで撮影して画像データを得ることが可能であるからである。更にまた、不正行為の虞が検知されると、警報ランプ等により店員に知らせ、有人ＰＯＳ等ならセルフＰＯＳの読取動作を中止可能であるからである。

本発明のセルフＰＯＳ装置に使用されるセルフＰＯＳの実施例を示し、（Ａ）は正面図、（Ｂ）は右側面図及び（Ｃ）は斜視図である。 図１のセルフＰＯＳ１０のスキャナによる商品コード読取動作の説明図であり、（Ａ）は側面図及び（Ｂ）は部分拡大斜視図である。 図１に示すセルフＰＯＳの具体例を示し、（Ａ）は斜視図及び(Ｂ)はその各部の仕様説明図である。 本発明に応用可能なダイナミックスペースカービング法の説明図である。 本発明によるセルフＰＯＳ装置の説明図であり、（Ａ）は商品のバーコードと基本図形の関連付け説明図、（Ｂ）は商品価格別相関閾値の説明図、（Ｃ）は基本図形学習閾値の説明図及び（Ｄ）はセルフＰＯＳのディスプレイ上の表示画面例を示す。 一般的な店舗システムのシステム構成図である。 図６に示す有人ＰＯＳの具体例を示す斜視図である。 本発明によるセルフＰＯＳ動作方法を示すフローチャートである。

次に、本発明によるセルフＰＯＳ装置及びその動作方法の好適な実施例を、添付図面を参照して詳細に説明する。但し、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。

先ず、図１は、本発明の主要部であるセルフＰＯＳの概略全体構成を示し、図１（Ａ）はセルフＰＯＳ１０の正面図、図１（Ｂ）はセルフＰＯＳ１０の右側面図及び図１（Ｃ）はセルフＰＯＳ１０の斜視図である。

このセルフＰＯＳ１０は、本体部２０及びこの本体部２０の上方に設けられたコントロール（制御）部３０により構成されている。本体部２０は、店舗に陳列して販売される商品（図示せず）に添付された商品コード等の商品データ（以下、バーコードという）をスキャンするバーコードスキャナ（以下、単にスキャナという）２１、このスキャナ２１の近傍に配置されたカメラ（撮像手段）２２及び各部を制御する電子回路や電源回路等を収容する筐体２３により構成されている。他方、コントロール部３０は、各種の文字や画像情報を表示する、例えば液晶表示パネル（ＬＣＤ）等のディスプレイ（表示画面）３１及び後述する各種の制御部を有する。

このセルフＰＯＳ装置１０は、本体部２０の前面に配置された商品（図１中には不図示）のバーコードをスキャナ２１によりスキャンして読み取ると同時にカメラ２２で撮影された商品の３次元画像を抽出して、商品のバーコードと関連付けて記憶する。

ここで、顧客が商品のバーコードをセルフＰＯＳ１０のスキャナ２１に読み取らせる際には、スキャナ２１の読み取り用レーザー光（レーザービーム）の出力側には顧客の手等が妨害とならないようにスキャンさせる必要がある。そのために、カメラ２２は、スキャナ２１の側に設けるのが形状認識を容易にするので好ましい。

図２は、図１に示すセルフＰＯＳ１０のスキャナ２１による商品のバーコード読み取り動作及びカメラ２２による商品撮影動作の説明図である。更に、このセルフＰＯＳ１０は、会計処理に使用する電子マネーマルチリーダ（非接触ＩＣカードリーダ）２４、レシートプリンタ２５及び警報ランプ（図２（Ｂ）参照）２７を備えている。図２（Ａ）は、スキャナ２１による読み取り用レーザー光２６によるスキャン範囲を斜線で示す。図２（Ｂ）は、図２（Ａ）のスキャナ２１部分の拡大図である。

図２（Ｂ）に示す如く、スキャナ２１は、その下方に配置した商品４０の表面の少なくともバーコード４１が貼付された部分をレーザー光２６でスキャンしてバーコード４１を読み取る。

しかし、顧客が悪意を持って不正を働く場合には、例えばスキャナ２１に向けた１つの商品の裏側（即ち、図２（Ｂ）の商品４０の下側）に別の商品を隠してスキャンを行ったかのように見せかけることも想定される。斯かる不正行為を防止するために、カメラ２２をスキャナ２１と反対側に設けた方がよい。そこで、図２（Ｂ）中には、カメラ２２をスキャナ２１側とその下方の両方に図示している。このように、異なる位置に２台のカメラ２２を配置し、これら２台のカメラ２２により商品４０の上下両面からスキャン操作を監視するのも効果的である。

次に、図３を参照して、本発明によるセルフＰＯＳ１０の好適な実施例の詳細な構成を説明する。図３（Ａ）に示す如く、セルフＰＯＳ１０の本体部２０の一番下には、レシートプリンタ２５が設置され、その上部に商品４０のバーコード４１を読み取るためのスキャナ（固定スキャナ）２１が配置されている。このスキャナ２１は、レーザー光の照射角度が斜めになるように設置されている。更に、このスキャナ２１のレーザー光を遮るように電子マネーマルチリーダ（複数規格対応の非接触ＩＣカードリーダ）２４が設置されている。

本体部２０の上方に配置されたコントローラ部３０は、大型のＸＧＡディスプレイ（表示画面）３１、磁気カードリーダ３２及びスピーカ３３を有する。本体部２０とディスプレイ３１は、約２ｍｍの金属板の上に取り付けられており、安定的に設置されると共に設置場所に顧客が購入予定の商品４０を載置するスペースを確保する役割を果たしている。上述した如く、カメラ２２は、スキャナ２１の近傍及びスキャナ２１を下側から見上げる位置に２台取り付けられている。

図３（Ｂ）には、図３（Ａ）のコントロール部３０、ディスプレイ部３１、レシートプリンタ２５、スキャナ２１、電子マネーマルチリーダ２４、スピーカ３３及びカードリーダ３２等の具体例の仕様を示す。

次に、セルフＰＯＳ１０の動作を簡単に説明する。店舗へ買い物に来た顧客は、自分が購入を希望する商品（図２（Ｂ）の４０）を選択して（又は買い物カゴに入れて）セルフＰＯＳ１０の前に運び精算する。セルフＰＯＳ１０の足となる板金には、右側に黄色い枠の中に「スキャン前」本体部正面の青色枠の中に「スキャンエリア」、左側には緑色の枠の中に「スキャン後」と表示されている。そこで、先ず右側の「スキャン前」のエリアに商品を載せる。

その後、商品を１個ずつスキャンエリアに移動させ、スキャナ２１で商品４０のバーコード４１を順次読み取らせる。通常のＰＯＳ（セルフＰＯＳを含む）では、バーコード４１を読み取ると読み取り完了を知らせるために「ピッ」等の読み取り完了音を出す。しかし、本発明のセルフＰＯＳ１０では、この時点では読み取り完了音は出さない。

セルフＰＯＳ１０は、読み取った商品４０のバーコード４１を店舗内に設置されたＰＬＵサーバ（図６を参照して後述）に問い合わせを行う。そして、その商品の商品名、商品の単価等の売上集計処理に必要なデータをバーコード４１に関連付けて記憶されている基本図形とサンプル数のデータを得る。

また、セルフＰＯＳ１０のスキャンエリアには上述の如く２台のカメラ２２が上下に設置されているので、スキャンエリアに人間（顧客）の手が入ったことを認識する。そこで、顧客が持っている商品（物体）４０の形状認識をバーコード４１の読み取りを、ＰＬＵサーバへの問い合わせと同時進行で行う。

顧客の手を認識は、既知の手法（例えば、特開２００６−３５０４３４号公報に開示されている手法）による。また、顧客の手に一部が隠れている商品（物体）４０の認識は、例えば図４に示す既知の「ダイナミックスペースカービング法」等を使用してもよい。

セルフＰＯＳ１０は、ＰＬＵサーバから受け取ったデータにバーコードに関連付けて記憶されている基本図形があるか否かの確認を行う。バーコードに関連付けて記憶されている基本図形がない場合には、今回形状認識した物体を基本図形として、「サンプル数」の値を「１」として、バーコードデータと共にＰＬＵサーバに送信する。

ＰＬＵサーバは、セルフＰＯＳ１０から受け取った基本図形と「サンプル数」をバーコードと関連付けて記憶する。図５は、上述したセルフＰＯＳ１０の動作に関連する説明図である。図５（Ａ）は、バーコードと基本図形の関連付けを説明する図である。即ち、バーコード、各バーコードの読み込んだサンプル回数及び基本図形を含んでいる。図５（Ｂ）は、商品価格別相関値閾値を示す。図５（Ｃ）は、基本図形学習閾値を示す。図５（Ｄ）は、セルフＰＯＳ１０のディスプレイ３１に表示される表示画面の具体例を示す。

セルフＰＯＳ１０にスキャナ２１で読み取った商品４０のバーコード４１に関連付けて記憶されている基本図形があれば、形状認識を行った商品（物体）と基本図形の相関値を計算する。セルフＰＯＳ１０は、予め設定された商品の価格と相関値の閾値を関連付けた相関値閾値表を持っている（図５（Ｂ）参照）。商品（物体）４０と基本図形から計算した相関値とＰＬＵサーバから得た商品の価格から相関値閾値表を参照し相関値が閾値を超えていた場合には、商品４０が正常に読み取られたと判断し、バーコード読み取りの完了を示す「ピッ」等の音を発生させる。そして、読み取られた商品４０の商品名、商品の価格等を購入商品として精算可能な形で記憶し、ディスプレイ３１に商品名、価格等を表示する。

また、セルフＰＯＳ１０は、予め設定された基本図形学習閾値（図５（Ａ）参照）も有する。商品（物体）と基本図形から計算した相関値が基本図形学習閾値を超えていると、先ほど行った形状認識の計算結果を元の基本図形のサンプル数がＮ回であった場合には、今回の形状認識の計算結果を基本図形のＮ＋１回目の学習数値として基本図形の再計算を行う。再計算された基本図形とサンプル数は、バーコードデータと共にＰＬＵサーバに送られる。

ＰＬＵサーバは、セルフＰＯＳ１０から受け取った商品４０のバーコード４１に関連付けて記憶している基本図形とサンプル数のデータを新たにセルフＰＯＳ１０から受け取ったデータに書き換える。相関値が基本図形学習閾値を超えていない場合には、形状認識の計算結果は捨てられる。

次に、商品（物体）と基本図形から計算した相関値とＰＬＵサーバから得た商品の価格から相関値閾値表を参照し、相関値が閾値を超えていなかった場合の動作の説明を行う。

閾値を超えなかった場合は、商品４０の形状認識が正しく行えなかった場合及び顧客が悪意を持って商品の不正な読み取りを行った場合の２通りの場合が考えられる。閾値を超えなかった場合、セルフＰＯＳ１０は、顧客に商品の再読み取りを促すために、例えば「商品を正しい位置に置いてください」又は「再度読み取らせてください」等のメッセージを出す。そして、商品４０のバーコード４１を再度読み取ると共に再度形状認識を行い相関値の計算を行う。

再計算の結果が閾値を超えれば、読み取りの完了音、画面表示、基本図形の学習を前述と同様の手順で行う。再計算でも閾値を超えていなかった場合、セルフＰＯＳ１０は、商品４０のバーコード４１の前に別の商品のバーコードを置いて２つの商品を一緒にスキャンさせ１つの商品と見せかける等の不正が行われている可能性も考えられる。そこで、セルフＰＯＳ１０は、図１（Ｂ）に示す赤色の警報ランプ２７を点灯又は点滅させ店員に知らせる。店員は、セルフＰＯＳ１０の後のカウンタ内にいるのが通常であるので、この警報ランプ２７の点灯に気付く。逆に、顧客からはセルフＰＯＳ１０の後側の警報ランプ２７は見にくいので、店員は顧客に気付かれることなく、顧客の行動を監視できる。

ここで、図６及び図７を参照して、セルフＰＯＳ１０を備える一般的な店舗用機器を含む店舗システム構成を説明する。図７は図６中の店舗システムを構成する有人ＰＯＳ１２０の１例を示す斜視図である。

図６に示す店舗システム１００は、上述の如き１台以上のセルフＰＯＳ１０と共にＰＬＵサーバ（又は店舗サーバ）１１０、複数の有人ＰＯＳ１２０Ａ、１２０Ｂ及び受発注端末（ＳＴ１３０及びＧＯＴ１４０）を備え、店舗内ＬＡＮ１５０により相互接続されている。更に、この店舗ＬＡＮ１５０は、ルータ１６０を介してＩＰ回線１７０に接続されているのが好ましい。

また、図７に示す有人ＰＯＳ１２０は、本体部１２２及びコントロール部１２４により構成されている。そして、コントロール部１２４は液晶表示パネル等のディスプレイ１２５を含み、オペレータが指定するセルフＰＯＳ１０の動作を停止させる「ＰＯＳ停止」１２６及びセルフＰＯＳ１０の異常を無視する「無視」１２７等の操作ボタン（ソフトキー）を備えている。更に、これらの操作ボタンの近傍には、スキャナ２１で読み取られたバーコード４１に対応する商品名の表示部１２８を有し、例えば「グリコ アーモンドチョコレート」の如き商品名が表示される。

セルフＰＯＳ１０には「動作中止機能」を備えており、上述の如き商品の不正な読み取り等を検知すると、店員が有人ＰＯＳ１２０や受発注端末１３０、１４０等から指定したセルフＰＯＳ１０の動作を中止させ、フリーズ状態にすることができる。

顧客が不審な行動をしている場合には、店員はセルフＰＯＳ１０を動作中止する。セルフＰＯＳ１０が動作中止状態（フリーズ状態）になれば、顧客は商品４０の精算処理ができないので、店員を呼ぶこととなる。そこで、店員は、有人ＰＯＳ１２０へ顧客を誘導するか、セルフＰＯＳ１０の設置場所へ行き、隠し操作でセルフＰＯＳ１０の「動作中止状態」を解除する。その結果、店員監視のもとで商品４０のスキャン等の精算処理を行うことになるので、効果的な不正防止が可能である。

尚、セルフＰＯＳ１０の「動作中止機能」は、セルフＰＯＳ１０の電源をＯＦＦにするか、実際には動作状態にあるにも拘わらず外部からの入力を無視してフリーズ状態に見せかけるか又はディスプレイ３１の画面を真っ暗にして顧客にセルフＰＯＳ１０が故障したと思わせてもよい。店員は、セルフＰＯＳ１０を再度起動させるための隠し操作の知識を有するので、セルフＰＯＳ１０を復旧させることができる。

また、相関値閾値及び基本図形学習閾値は、セルフＰＯＳ１０に記憶しているのではなく、ＰＬＵサーバ１１０に記憶するのが好ましい。バーコード読み取り後のセルフＰＯＳ１０からの問い合わせの都度、これらの値をＰＬＵサーバ１１０からセルフＰＯＳ１０へ送られる。更に、相関値閾値は、価格毎に設定するのではなく、スキャナ２１で読み取られる商品４０のバーコード４１に関連付けて記憶してもよい。基本図形学習閾値も同様である。

顧客が購入を希望する全ての商品４０のスキャンが終了すると、顧客は「支払いボタン」を押下する。その結果、ディスプレイ３１に表示された精算金額を確認し、その後に電子マネーマルチリーダ２４で決済を行う。顧客の精算が終了すると、レシートプリンタ２５からレシートが印字されて出力される。

次に、図８のフローチャートを参照して、本発明によるセルフＰＯＳの動作方法、即ち上述したセルフＰＯＳ１０の動作を詳細に説明する。

先ず、セルフＰＯＳ１０のスキャナ２１で読み取られた商品４０のバーコード４１入力の有無、即ちバーコード４１に関連付けて登録又は記憶された基本図形があるか否かを判断する（ステップＳ１）。バーコード４１の入力がない場合（ステップＳ１：ＮＯ）には、ステップＳ１へ戻り、バーコード４１の入力を待つ。バーコード４１の入力があると（ステップＳ１：ＹＥＳ）、カメラ２２により商品４０を撮影して画像認識を実行する（ステップＳ２）。

次に、ＰＬＵサーバ１１０に問い合わせを行う（ステップＳ３）。ＰＬＵサーバ１１０から、商品名、価格（単価）、基本図形及びサンプル数（即ち、今までに撮影した当該商品の画像の数）Ｎを受け取る（ステップＳ４）。そして、サンプル数Ｎが０より大きいか否か判断する（ステップＳ５）。

バーコード４１に関連付けて登録された基本図形が存在しない場合（ステップＳ５：ＮＯ）には、カメラ２２で今回撮影した図形を当該商品４０の基本図形として登録し、「サンプル数Ｎ」を「１」とする（ステップＳ１７）。バーコード４１の読み取り終了音「ピッ」を発生する（ステップＳ１８）。その商品４０の商品名及び価格をディスプレイ３１に表示し（ステップＳ１９）、後述するステップＳ１３へ移行する。

他方、サンプル数Ｎ＞０の場合（ステップＳ５：ＹＥＳ）、カメラ２２で撮影した商品、即ち形状認識を行った商品４０と基本図形の相関値を計算する（ステップＳ６）。セルフＰＯＳ１０には予め設定された商品の価格と相関値の閾値を関連付けた相関値閾値表（図５（Ｂ）参照）を有している。そこで、相関値＞相関値閾値か否か、即ち商品と基本図形から計算した相関値とＰＬＵサーバ１１０から得た商品の価格から相関値閾値表を参照して相関値が閾値を超えているか否か判断する（ステップＳ７）。

相関値＞相関値閾値の場合（ステップＳ７：ＹＥＳ）には、商品４０が正しく読み取られたと判断し、バーコード４１読み取りの完了を示す完了音「ピッ」を発生する（ステップＳ８）。そして、その商品４０の商品名及び価格等を購入商品として精算可能な形でディスプレイ３１に表示する（ステップＳ９）。

次に、サンプル数Ｎがサンプル数基準値を超えているか否か、即ち商品の図形学習が十分であるか否かを判断する（ステップＳ１０）。カメラ２２で撮影した商品４０の画像を学習に用い、基本図形を更新し、サンプル数Ｎ＝Ｎ＋１とし（ステップＳ１１）、基本図形を再計算する（ステップＳ１２）。そして、サンプル数基準値を超えるまでは、バーコード４１、故本図形及びサンプル数をＰＬＵサーバ１１０へ送信し、カメラ２２から入力される商品４０の画像は全て学習に利用される（ステップＳ１３）。例えば、「おでんの詰め合わせ」のように液体と共に袋詰めされた形状が一定でない商品の場合には、学習しても特徴点の抽出が不可能であるので、サンプル数Ｎが基準値を超えた時点で基準図形なしとして画像認識適用外の商品としてバーコード４１と関連付けて記憶する。画像認識適用外商品は、予め登録しておくことも可能である。

また、セルフＰＯＳ１０は、予め設定登録された基本図形学習値（図５（Ｃ）参照）を備えている。商品４０及び基本図形から計算した相関値が基本図形学習閾値を超えていた場合には、先ほど行った形状認識けいさんけっかを元の基本図形のサンプル数がＮ回であったとき、今回の形状認識の計算結果を基本図形のＮ＋１回目の学習数値として基本図形の再計算を行う。再計算された基本図形とサンプル数Ｎは、スキャナ２１により読み取られたバーコード４１のデータと共にＰＬＵサーバ１１０へ送られる。ＰＬＵサーバ１１０は、セルフＰＯＳ１０から受け取ったバーコードに関連付けて記憶している基本図形とサンプル数Ｎのデータを、新たにセルフＰＯＳ１０から受け取ったデータに書き換える。

商品４０に関する基本図形の学習は、例えば既知のパラメトリック固有空間法等を使用して行う。形状のサンプル数を増やせば、認識率が向上することが知られている。例えば、フレーム数が多いほど認識率が向上し、部分認識法による形状認識によると、例えばサンプル数Ｎが１０以上であれば、認識率は約９９％に向上する。

上述したサンプル数基準値は、認識率が約９９％になるサンプル数とするのが望ましい。従って、サンプル数基準値は、形状認識方法により変化する。相関値が基本図形学習閾値を超えていない場合には、形状認識の計算結果は廃棄する。その後、顧客による精算ボタンの押下の有無を判断する（ステップＳ１４）。精算ボタンの押下がなければ（ステップＳ１４：ＮＯ）、上述したステップＳ１へ戻る。他方、精算ボタンの押下があれば（ステップＳ１４：ＹＥＳ）、顧客は、ディスプレイ３１に表示された商品データ及び精算金額を確認して、電子マネーマルチリーダ２４で電子マネー（図示せず）による支払を含む精算処理を行い（ステップＳ１５）、レシートプリンタ２５でレシートを印刷して発行し（ステップＳ１６）、精算又は会計処理を終了する。

次に、カメラ（撮像手段）２２で撮影した商品４０の画像と基本図形から計算した相関値がＰＬＵサーバ１１０から得た商品の価格相関値閾値表（図５（Ｂ）参照）を参照する相関値が閾値を超えていなかった場合（ステップＳ７：ＮＯ）の動作を説明する。

閾値を超えなかった場合は、商品４０の形状認識が正常に行えなかった場合と顧客が悪意を持って商品４０の不正な読み取りを行った場合が考えられる。そこで、前者の場合に対応するために、セルフＰＯＳ１０は、顧客に対して商品４０の再読み取りを促すために、「もう一度読み取らせてください」又は「商品を正しい位置に置いてください」等の案内メッセージを出す（ステップＳ２０）。そこで、商品４０のバーコード４１の再読み取りを行い（ステップＳ２１）、再度形状認識を行い、商品４０の図形と基本図形の相関値の計算を行う（ステップＳ２２）。

次に、再計算した相関値＞相関値閾値の判断を行う（ステップＳ２３）。再計算の結果が閾値を超えれば（ステップＳ２３：ＹＥＳ）、上述したステップＳ８へ移行し、読取完了音を発生する。そして、商品４０の商品名、価格等の商品データをディスプレイ３１に表示する（ステップＳ９）と共に上述した基本図形の学習を行う。

他方、再計算でも閾値を超えていなかった場合（ステップＳ２３：ＮＯ）には、商品４０の前に他の商品のバーコードを置いてバーコード４１の不正読取を行うか又はスキャナ２１により２個の商品を一緒にスキャンさせて１個の商品と見せかける等の不正読取動作を行っている可能性がある。そこで、セルフＰＯＳ１０の背後に設けられた赤色の警報ランプ２７を点灯又は点滅させて店員に知らせる（ステップＳ２４）ことにより、上述の如く（顧客に気付かれることなく）店員が適正処置、例えば店員が別の有人ＰＯＳ１２０等の操作によりセルフＰＯＳ１０の「動作停止機能」を作動させる

上述した従来のセルフＰＯＳでは、例えば不正読取を検知すると、単に商品の読取動作を停止するのみである。店舗に多くの店員がいる場合には、何れかの店員が対応可能であるが、少数の店員でセルフＰＯＳを店舗の片隅に配置して対応する、特に小規模店舗の場合には、セルフＰＯＳの読取動作停止は運用上好ましくない結果を招くこととなる。しかし、本発明のセルフＰＯＳ装置では、店舗内の有人ＰＯＳ１２０（又は受発注端末１３０、１４０）等により、セルフＰＯＳ１０の読取動作を店員が操作可能にするので、コンビニ等の小規模店舗を少数（１〜２名）の店員により効率的に運用することが可能である。

本発明のセルフＰＯＳ装置では、セルフＰＯＳ１０の警報ランプ２７が点灯したときに、有人ＰＯＳ１２０等から上述した「動作中止」の指示機能に加えて、図７に示す「無視」ボタン１２７により、トラブルを起こしそうな顧客の場合には画像認識の不一致を無視するよう操作することも可能である。この「無視」機能により、顧客との無用なトラブルを防止し又は店員の手が離せないような場合には、不正を無視して業務の円滑化を優先させることも可能である。

上述した相関閾値及び基本図形学習閾値は、セルフＰＯＳ１０に記憶するのではなく、ＰＬＵサーバ１１０に記憶し、セルフＰＯＳ１０による商品４０のバーコード４１を読み取り後に、セルフＰＯＳ１０からの要求に応じてＰＬＵサーバ１１０からセルフＰＯＳ１０へ送るように構成してもよい。更に、相関値閾値は、商品４０の価格毎に設定するのではなく、商品毎にバーコードに関連付けて記憶してもよい。基本図形学習閾値についても同様である。

尚、顧客は、精算が終了するとセルフＰＯＳ１０の近傍（例えば、左側）に置かれた精算済み商品及び発行されたレシートを持って帰宅する。

以上、本発明によるセルフＰＯＳ装置及びその動作方法の好適な実施例について詳述した。しかし、本発明は、斯かる実施例に限定されるべきではなく、特定用途に応じて種々の変形変更が可能である。

例えば顧客の手に一部が隠れている商品（物体）の認識を行うダイナミックスペースカービング法（図４（Ａ）〜（Ｅ）参照）等は、実際には認識率が余りよくない。その場合に、手の動きを認識する認識方法の研究が進んでいる。例えば、複数のカメラを用いて人間の手の動きを認識させると、その認識率は相当に改善できる。例えば、セルフＰＯＳは、手に持った商品の形状認識を行わせず、手の動作の認識のみを行わせる。

また、セルフＰＯＳ１０による商品のバーコード読取部の前を手が通過したことを認識すると、バーコードの読み取りがあったか確認する。手の通過を認識し、バーコードの読み取りが確認されたとき、バーコード読取完了音「ピッ」を出力し、ＰＬＵサーバ１１０に商品４０の商品名及び価格等の精算に必要な商品データを問い合わせる。ＰＬＵサーバ１１０から得られた商品名及び価格をディスプレイ３１に表示し、精算可能なようにデータを記憶する。

手の動きが認識できず、バーコードの読み取りのみを検知した場合にも、バーコード読取完了音「ピッ」を出力し、ＰＬＵサーバ１１０に商品名及び価格等の精算に必要なデータを問い合わせ、ＰＬＵサーバ１１０から得られた商品名及び価格をディスプレイ３１に表示し、精算可能なように商品データを記憶する。

手の通過を認識したがバーコード４１の読み取り不能であった場合には、「もう一度読み取らせてください」等のメッセージを出力し、顧客に再度の商品スキャンを促す。その結果、バーコード４１の読み取りができれば、バーコード４１の読取完了音「ピッ」を出力し、ＰＬＵサーバ１１０に商品名及び価格等の精算に必要なデータを問い合わせる。そして、ＰＬＵサーバ１１０から得られた商品名及び価格をディスプレイ３１に表示し、精算可能なようにデータを記憶する。

「もう一度読み取らせてください」の再スキャンメッセージを出力した後も手の通過のみを認識して、バーコードの読み取りができない場合には、店員に異常を知らせるためにセルフＰＯＳ１０の後部に設けられた警報ランプ２７を点灯させて店員に異常を知らせる。

更に、他の実施例を説明する。現在の画像認識技術では、手に隠れた商品（物体）４０を完全に認識することができないのが現状である。しかし、手に商品（物体）４０を持っているか否かの認識は略確実にできる。

上述した実施例にあるような動作を、スキャンエリアを手が通過したことを認識して行うのではなく、スキャンエリアを商品（物体）１０を持った手が通過したときに行うようにすることで、単に手が通過しただけで、再読み取りのメッセージを出力することを防止できる。

本発明によるセルフＰＯＳ装置及びその動作方法は、上述の如き特徴的な構成を採用し、特有の効果を奏するので、スーパーやコンビニ等の店舗面積の小さな店舗に設置されるＰＯＳに好適である。

１０ セルフＰＯＳ
２０ 本体部
２１ スキャナ（商品コード読取手段）
２２ カメラ（撮像手段）
２７ 警報ランプ（警報手段）
３０ コントロール部
３１ ディスプレイ（表示画面）
４０ 商品
４１ バーコード（商品コード）
１００ 店舗内機器システム
１１０ ＰＬＵサーバ
１２０ 有人ＰＯＳ

Claims (11)

1. 店舗等で顧客が購入を希望する商品の商品データを商品の上面から読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段を含み、前記顧客が購入する商品の商品データを読み取るスキャン処理と購入する商品の精算処理とを行うセルフＰＯＳ装置において、
   前記店舗で取り扱う商品の特長点を抽出して、商品の商品データに関連付けて基本図形を登録する登録手段と、前記撮像手段により撮影された前記商品の画像を、前記スキャナで読み取られた商品の商品データと関連付けられた基本図形と対比判定する判定手段とを備え、
   前記商品の画像と対比される基本図形が前記登録手段に登録されていない場合には、前記撮像手段により撮影された最初の画像に基づき前記基本図形を生成して、前記スキャナで読み取られた商品の商品データと関連付けて前記登録手段に登録し、
   前記撮像手段は、前記スキャナで読み取られる商品の上面の画像と下面の画像とを撮影する２個のカメラよりなることを特徴とするセルフＰＯＳ装置。
2. 前記判定手段により不正読取の可能性を検知時に、前記スキャン処理を行っている顧客からは見にくい前記セルフＰＯＳ装置の後部に設けられた警報ランプを点灯または点滅させる警報手段を備えることを特徴とする請求項１に記載のセルフＰＯＳ装置。
3. 前記警報ランプを点灯または点滅させるとき、前記店舗内で店員が操作する他の機器により、前記スキャナによる商品の読取動作を中止させる動作中止手段を備えることを特徴とする請求項２に記載のセルフＰＯＳ装置。
4. 前記店舗内で店員が操作する他の機器により、前記商品の読取動作の中止を解除する動作中止解除手段を備えることを特徴とする請求項３に記載のセルフＰＯＳ装置。
5. 前記撮像手段で読み取られた前記商品の画像及び前記登録手段に登録された前記商品の基本図形の相関値を求める相関値演算手段を更に備えることを特徴とする請求項１乃至４のいずれか一項に記載のセルフＰＯＳ装置。
6. 前記相関値が所定の閾値以上である場合に、前記登録手段に登録され基本図形を入れ替えることを特徴とする請求項５に記載のセルフＰＯＳ装置。
7. 店舗等で顧客が購入を希望する商品の商品データを商品の上面から読み取るスキャナ及び該スキャナで読み取られる前記商品の画像を撮影する撮像手段を含み、前記撮像手段は、前記スキャナで読み取られる商品の上面の画像と下面の画像とを撮影する２個のカメラよりなり、前記顧客が購入する商品の商品データを読み取るスキャン処理と購入する商品の精算処理とを行うセルフＰＯＳ装置の動作方法において、
   前記スキャナにより読み取られる前記商品データに対応する前記商品の画像の特長点を抽出して、商品の商品データに関連付けて基本画像を登録する基本画像登録ステップと、
   前記撮像手段で撮影された前記画像を、前記スキャナで読み取られた商品の商品データと関連付けられた基本画像と対比判定する判定ステップと、
   前記撮像手段で撮影された商品の画像と対比する前記基本画像が存在しないとき、前記撮像手段で撮影された商品の画像に基づき前記基本画像を作成して、前記スキャナで読み取られた商品の商品データと関連付けて基本画像として登録するステップと
   を備えることを特徴とするセルフＰＯＳ装置の動作方法。
8. 前記セルフＰＯＳ装置は、前記スキャン処理を行っている顧客からは見にくい後部に警報ランプを有し、
   前記判定ステップにより不正読み取りの可能性を検出したとき、前記警報ランプを点灯または点滅させる警報ステップと
   を備えることを特徴とする請求項７に記載のセルフＰＯＳ装置の動作方法。
9. 前記警報ステップにより前記警報が発生するとき、前記店舗内で店員が操作する他の機器により、前記商品の商品データの読取動作を中止させる動作中止ステップを備えることを特徴とする請求項８に記載のセルフＰＯＳ装置の動作方法。
10. 前記店舗内で店員が操作する他の機器により、前記商品の読取動作の中止を解除する動作中止解除ステップを備えることを特徴とする請求項９に記載のセルフＰＯＳ装置の動作方法。
11. 前記判定ステップは、前記商品の価格帯毎に判定の閾値を異ならせ、高い価格帯の商品の判定基準を厳しく設定することを特徴とする請求項７乃至１０のいずれか一項に記載のセルフＰＯＳ装置の動作方法。

Images