JP6302849B2 - 物品認識装置、販売データ処理装置および制御プログラム - Google Patents

物品認識装置、販売データ処理装置および制御プログラム Download PDF

Info

Publication number
JP6302849B2
JP6302849B2 JP2015011444A JP2015011444A JP6302849B2 JP 6302849 B2 JP6302849 B2 JP 6302849B2 JP 2015011444 A JP2015011444 A JP 2015011444A JP 2015011444 A JP2015011444 A JP 2015011444A JP 6302849 B2 JP6302849 B2 JP 6302849B2
Authority
JP
Japan
Prior art keywords
unit
cpu
image
display
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015011444A
Other languages
English (en)
Other versions
JP2016136339A (ja
Inventor
唯志 竹野
唯志 竹野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2015011444A priority Critical patent/JP6302849B2/ja
Priority to US14/995,564 priority patent/US20160217449A1/en
Publication of JP2016136339A publication Critical patent/JP2016136339A/ja
Application granted granted Critical
Publication of JP6302849B2 publication Critical patent/JP6302849B2/ja
Priority to US16/519,040 priority patent/US20190347636A1/en
Priority to US16/918,638 priority patent/US20200334656A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、物品認識装置、販売データ処理装置および制御プログラムに関する。
ビデオカメラなどを用いて認識対象の物品を撮像して得た画像から、当該物品を認識する物品認識装置は、例えばＰＯＳ（point-of-sale）装置などに組み込まれる形態で実現されている。
そしてこのような物品認識装置において、画像内での物品の位置の変化に基づいて各種の操作を入力する技術は、既に知られている。この技術を用いれば、オペレータは、認識させるためにかざしている物品を移動させることにより、各種操作を行うことができる。
ところが、物品認識装置で検出した物品の位置の変化が、オペレータの感覚での物品の移動とは異なることがある。そしてこのような場合には、オペレータの動作に対する操作入力の反応が遅くなったり、オペレータの意としない操作として誤入力されたりする恐れがあった。
そこで、オペレータが所要とする操作が適切に入力されるように、オペレータが物品を適切に移動させることを可能とすることが望まれていた。
特開２００４−１２７０１３号公報
本発明が解決しようとする課題は、オペレータが所要とする操作が適切に入力されるように、オペレータが物品を適切に移動させることを可能とする物品認識装置、販売データ処理装置および制御プログラムを提供することである。
実施形態の物品認識装置は、認識ユニット、検出ユニット、入力ユニットおよび制御ユニットを含む。認識ユニットは、撮像デバイスが撮像した動画に含まれるオブジェクトを認識する。検出ユニットは、認識ユニットが認識対象とするオブジェクトの動画のフレーム内での範囲のうちの一部の範囲として前記オブジェクトの位置を検出する。入力ユニットは、フレーム内に定めた操作用領域の中の位置が検出ユニットにより検出されたことに応じて、当該位置を含む操作用領域に関連付けられた操作として入力する。制御ユニットは、検出ユニットにより検出された位置を表す画像を動画に重畳して表示するように表示デバイスを制御する。
一実施形態に係る商品読取装置を含んだ店舗会計システムの外観図。 図１に示す店舗会計システムにおける電気的要素のブロック図。 領域設定テーブルに含まれた設定情報による各機能領域の定義の一例を示す図。 商品読取装置に設けられたＣＰＵのフローチャート。 商品読取装置に設けられたＣＰＵのフローチャート。 一例としての操作画面を示す図。 図６に示す操作画面から更新された後の一例としての操作画面を示す図。 図７に示す操作画面から更新された後の一例としての操作画面を示す図。 図８に示す操作画面から更新された後の一例としての操作画面を示す図。 図９に示す操作画面の変形例としての操作画面を示す図。
以下、物品認識装置の実施形態について、図面を用いて説明する。本実施形態は、スーパーマーケット等の店舗で販売される商品を認識対象の物品とする商品読取装置に適用した場合である。さらに詳しくは、本実施形態は、上記店舗に設けられた会計カウンタに立設される縦型の商品読取装置に適用した場合である。
図１は本実施形態に係る商品読取装置を含んだ店舗会計システムの外観図である。この店舗会計システムは、販売データ処理装置の一例である。
図１に示す店舗会計システムは、商品読取装置１００およびＰＯＳ端末２００を含む。商品読取装置１００は、会計カウンタ３００の上に取り付けられる。ＰＯＳ端末２００は、レジ台４００に載置されたドロワ５００の上に設置される。商品読取装置１００とＰＯＳ端末２００とは、図示しない通信ケーブルにより電気的に接続される。ドロワ５００に代えて、自動釣銭機が設置される場合もある。
商品読取装置１００は、ハウジング１０１、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４および撮像部１０５を含む。
ハウジング１０１は、平型の箱状をなし、会計カウンタ３００の上に立つ。ハウジング１０１は、上端においてキーボード１０２、タッチパネル１０３、客用ディスプレイ１０４を支持し、内部において撮像部１０５を支持する。ハウジング１０１は、撮像部１０５に対向して読取窓１０１ａを有し、読取窓１０１ａの前に位置する物体（オブジェクト）を、読取窓１０１ａを介して撮像部１０５により撮像可能とする。
ＰＯＳ端末２００は、ハウジング２０１、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５を含む。
ハウジング２０１は、キーボード２０２をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ２０３および客用ディスプレイ２０４を外部に位置する状態で支持し、プリンタ２０５を内部にて支持する。
会計カウンタ３００は、細長い天板３００ａを含む。会計カウンタ３００は、天板の長手方向に沿った顧客通路（図１における奥側）とオペレータスペース（図１における手前側）とを分ける。ハウジング１０１は、天板３００ａの長手方向の略中央に位置し、キーボード１０２、タッチパネル１０３および読取窓１０１ａをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ１０４を顧客通路側に向ける。天板３００ａの上面は、商品読取装置１００を挟んで顧客移動方向の上流側の領域については、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用される。また、下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。かくして通常は、売上商品は顧客移動方向の上流側の領域から、読取窓１０１ａの前を通して下流側の領域へと移される。つまり、売上登録の際の売上商品の動線方向は、顧客の移動方向にほぼ一致する。売上商品の標準的な動線（以下、標準的動線と称する）は、図１における右側から左側に向かう水平方向となる。
レジ台４００は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ３００の端部に並ぶようにオペレータスペース側に位置する。
図２は図１に示す店舗会計システムにおける電気的要素のブロック図である。なお、図２に示される要素のうちで図１に示されるのと同一の要素には図１と同一の符号を付する。
商品読取装置１００は電気的要素として、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４のほかに、撮像デバイス１０５ａ、ＣＰＵ（central processing unit）１０６、ＲＯＭ（read-only memory）１０７、ＲＡＭ（random-access memory）１０８、キーボードインタフェース（キーボードＩ／Ｆ）１０９、パネルインタフェース（パネルＩ／Ｆ）１１０、表示インタフェース（表示Ｉ／Ｆ）１１１、撮像インタフェース（撮像Ｉ／Ｆ）１１２、ＰＯＳ端末インタフェース（ＰＯＳ端末Ｉ／Ｆ）１１３およびバスライン１１４を含む。なお、バスライン１１４は、アドレスバスおよびデータバスなどを含み、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、キーボードインタフェース１０９、パネルインタフェース１１０、表示インタフェース１１１、撮像インタフェース１１２およびＰＯＳ端末インタフェース１１３を互いに接続する。
キーボード１０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
タッチパネル１０３は、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル１０３は、ＣＰＵ１０６の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル１０３は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル１０３は、オペレータに対して提示するべき各種の情報を表した画像を表示するためや、オペレータの操作を入力するために利用される。
客用ディスプレイ１０４は、ＣＰＵ１０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ１０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ１０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
撮像デバイス１０５ａは、図示しない撮像レンズとともに撮像部１０５に含まれる。撮像デバイス１０５ａは、エリアイメージセンサであるＣＣＤ（charge coupled device）撮像素子とその駆動回路とを含む。撮像レンズは、撮像領域の画像をＣＣＤ撮像素子に結像する。撮像領域とは、読取窓１０１ａから撮像レンズを通してＣＣＤ撮像素子のエリアに結像する領域を指す。撮像デバイス１０５ａは、撮像領域の画像（フレーム画像）を表すフレームデータを一定の時間間隔で取得し、当該フレームデータを出力する。かくして、撮像デバイス１０５ａによる撮像方向は、ハウジング１０１の内部から読取窓１０１ａを通してハウジング１０１の外部へと向かう方向となる。つまり、撮像デバイス１０５ａから見た商品の標準的動線は、左から右への方向となり、フレーム画像の左側が標準的動線の上流側に、また右側が下流側になる。
ＣＰＵ１０６は、ＲＯＭ１０７およびＲＡＭ１０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品読取装置１００としての各種の動作を実現するべく商品読取装置１００の各要素を制御する。
ＲＯＭ１０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ１０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ１０７は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する場合もある。ＲＯＭ１０７は、領域設定テーブルを記憶する。
領域設定テーブルは、フレーム画像の範囲（フレーム範囲）内における各種の機能領域を定義する設定情報を含む。
図３は領域設定テーブルに含まれた設定情報による各機能領域の定義の一例を示す図である。
図３の例ではフレーム範囲１０内に、一位候補領域１１、二位候補領域１２、三位候補領域１３および四位候補領域１４の４つの機能領域が定義されている。
一位候補領域１１は、フレーム範囲１０内の標準的導線の下流側の上角に配置された三角形状の領域である。二位候補領域１２は、フレーム範囲１０内の標準的導線の下流側の下角に配置された三角形状の領域である。三位候補領域１３は、フレーム範囲１０内の標準的導線の上流側の上角に配置された三角形状の領域である。四位候補領域１４は、フレーム範囲１０内の標準的導線の上流側の下角に配置された三角形状の領域である。
一位候補領域１１〜四位候補領域１４には、後述する認識処理により選定される一位候補、二位候補、三位候補および四位候補がそれぞれ関連付けられる。一位候補は、オブジェクトがその商品である可能性が最も高いと判定された商品である。二位候補〜四位候補は、オブジェクトがその商品である可能性が２番目〜４番目に高いと判定された商品である。
一位候補領域１１、二位候補領域１２、三位候補領域１３および四位候補領域１４に相当する４つの領域に対してどの候補を関連付けるかは、任意に変更が可能である。また各領域の配置や形状についても任意である。
ＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。
ＲＯＭ１０７またはＲＡＭ１０８に記憶されるアプリケーションプログラムには、後述する制御処理に関して記述した制御プログラムを含む。なお、商品読取装置１００の譲渡は、一般的に制御プログラムがＲＯＭ１０７に記憶された状態にて行われる。商品読取装置１００に補助記憶ユニットを設けて、この補助記憶ユニットに制御プログラムを記憶した状態にて商品読取装置１００の譲渡がなされても良い。補助記憶ユニットとしては、ＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ハードディスクドライブ、あるいはＳＳＤ（solid state drive）などが利用できる。しかし、制御プログラムがＲＯＭ１０７や補助記憶ユニットに記憶されない状態で、補助記憶ユニットを備えた商品読取装置１００が譲渡されても良い。そして、リムーバブルな記録媒体に記録して、あるいはネットワークを介して制御プログラムが譲渡され、この制御プログラムが上記の別途に譲渡された商品読取装置１００の補助記憶ユニットに書き込まれても良い。記録媒体としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどが利用できる。
キーボードインタフェース１０９は、キーボード１０２とＣＰＵ１０６とのデータの授受をインタフェースする。キーボードインタフェース１０９としては、例えばＰＳ／２規格またはＵＳＢ（universal serial bus）規格に準拠した周知のデバイスを利用できる。
パネルインタフェース１１０は、タッチパネル１０３とＣＰＵ１０６とのデータおよび映像信号の授受をインタフェースする。パネルインタフェース１１０は、表示デバイス用のインタフェースとタッチセンサ用のインタフェースとを含む。表示デバイス用のインタフェースとしては、例えばＶＧＡ（video graphics array）規格（アナログＲＧＢ規格）、ＤＶＩ（digital video interface）規格またはＬＶＤＳ（low voltage differential signaling）規格に準拠した周知のデバイスを利用できる。タッチセンサ用のインタフェースとしては、例えばＵＳＢ規格またはＲＳ（recommended standard）−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
表示インタフェース１１１は、客用ディスプレイ１０４とＣＰＵ１０６との映像信号の授受をインタフェースする。表示インタフェース１１１としては、客用ディスプレイ１０４が蛍光管表示器である場合には、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。また表示インタフェース１１１としては、客用ディスプレイ１０４がＬＣＤである場合には、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
撮像インタフェース１１２は、撮像デバイス１０５ａとＣＰＵ１０６とのデータの授受をインタフェースする。撮像インタフェース１１２としては、例えばＵＳＢ規格またはＩＥＥＥ（institute of electrical and electronic engineers）１３９４規格に準拠した周知のデバイスを利用できる。
ＰＯＳ端末インタフェース１１３は、ＰＯＳ端末２００とＣＰＵ１０６とのデータの授受をインタフェースする。ＰＯＳ端末インタフェース１１３としては、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
ＰＯＳ端末２００は電気的要素として、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５のほかに、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース（表示Ｉ／Ｆ）２１１，２１２、プリンタインタフェース（プリンタＩ／Ｆ）２１３、読取装置インタフェース（読取装置Ｉ／Ｆ）２１４、ドロワインタフェース（ドロワＩ／Ｆ）２１５、通信デバイス２１６およびバスライン２１７を含む。なお、バスライン２１７は、アドレスバスおよびデータバスなどを含み、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース２１１、表示インタフェース２１２、プリンタインタフェース２１３、読取装置インタフェース２１４、ドロワインタフェース２１５および通信デバイス２１６を互いに接続する。
キーボード２０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
オペレータ用ディスプレイ２０３は、ＣＰＵ２０６の制御の下に任意の画像を表示する。オペレータ用ディスプレイ２０３は、オペレータに対して提示するべき各種の画像を表示するために利用される。オペレータ用ディスプレイ２０３としては、例えばＬＣＤが利用できる。
客用ディスプレイ２０４は、ＣＰＵ２０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ２０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ２０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
プリンタ２０５は、ＣＰＵ２０６の制御の下に、取引の内容を表したレシート画像をレシート用紙に対してプリントする。プリンタ２０５としては、周知の各種方式の既存のプリンタが利用できる。典型的にはプリンタ２０５は、サーマルプリンタである。
ＣＰＵ２０６は、ＲＯＭ２０７およびＲＡＭ２０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、ＰＯＳ端末２００としての各種の動作を実現するべく各部を制御する。
ＲＯＭ２０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ２０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ２０７は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する場合もある。
ＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ２０８の記憶領域の一部は、売上登録された商品についての情報を管理するための商品リストエリアとして使用される。
補助記憶ユニット２０９は、例えばハードディスクドライブやＳＳＤなどであり、ＣＰＵ２０６が各種の処理を行う上で使用するデータや、ＣＰＵ２０６での処理によって生成されたデータを保存する。
キーボードインタフェース２１０は、キーボード２０２とＣＰＵ２０６とのデータの授受をインタフェースする。キーボードインタフェース２１０としては、例えばＰＳ／２規格またはＵＳＢ規格に準拠した周知のデバイスを利用できる。
表示インタフェース２１１は、オペレータ用ディスプレイ２０３とＣＰＵ１０６との映像信号の授受をインタフェースする。表示インタフェース２１１としては、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
表示インタフェース２１２は、客用ディスプレイ２０４とＣＰＵ２０６との映像信号の授受をインタフェースする。表示インタフェース２１２としては、客用ディスプレイ２０４が蛍光管表示器である場合には、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。また表示インタフェース２１２としては、客用ディスプレイ２０４がＬＣＤである場合には、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
プリンタインタフェース２１３は、プリンタ２０５とＣＰＵ２０６とのデータの授受をインタフェースする。プリンタインタフェース２１３としては、例えばＵＳＢ規格、ＲＳ−２３２Ｃ規格またはＩＥＥＥ１２８４規格（いわゆるセントロニクス仕様）などに準拠した周知のデバイスを利用できる。
読取装置インタフェース２１４は、商品読取装置１００とＣＰＵ２０６とのデータの授受をインタフェースする。読取装置インタフェース２１４としては、ＰＯＳ端末インタフェース１１３が準拠する規格に準拠した周知のデバイスを利用できる。
ドロワインタフェース２１５は、ＣＰＵ２０６からドロワ開放が指示されたことに応じてドロワ５００を開放させるための駆動信号をドロワ５００に対して出力する。
通信デバイス２１６は、通信ネットワーク６００を介してサーバ７００と通信する。通信デバイス２１６としては、例えば既存のＬＡＮ通信デバイスを適用できる。
次に以上のように構成された店舗会計システムにおける商品読取装置１００の動作について説明する。
図４および図５は商品読取装置１００の動作を制御するためのＣＰＵ１０６による制御処理のフローチャートである。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
例えばキーボード２０２でのオペレータによる所定の操作により売上商品の登録の開始が指示されるなどにより登録処理の開始条件が成立すると、ＣＰＵ２０６は読取装置インタフェース２１４より読取開始コマンドを商品読取装置１００へ送る。この読取開始コマンドは、ＰＯＳ端末インタフェース１１３によりＣＰＵ１０６に通知される。そしてＣＰＵ１０６は読取開始コマンドを受けると、制御プログラムに基づく図４，５に示す制御処理を開始する。あるいは、キーボード１０２またはタッチパネル１０３でのオペレータによる所定の操作により売上商品の登録の開始が指示されるなどにより登録処理の開始条件が成立すると、ＣＰＵ１０６は図４，５に示す制御処理を開始する。
図４に示すＡｃｔ１においてＣＰＵ１０６は、タッチパネル１０３の画面を操作画面とする。具体的にはＣＰＵ１０６は例えば、操作画面を表す画像データを生成してＲＡＭ１０８に保存するとともに、当該画像データに基づく表示を行うようにタッチパネル１０３を制御する。この制御の下にタッチパネル１０３は、ＲＡＭ１０８から画像データに基づく画像を表示する。
図６は一例としての操作画面ＳＣ１を示す図である。
操作画面ＳＣ１は、６つの領域Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ１５，Ｒ１６を含む。
領域Ｒ１１は、撮像デバイス１０５ａにより撮像された画像を表示するための領域である。領域Ｒ１２〜Ｒ１５は、一位候補〜四位候補のそれぞれの商品名を表示するとともに、各候補商品のうちから売上商品として確定する商品を選択するためのボタンとなる領域である。領域Ｒ１６は、商品読取装置１００の操作を案内するメッセージを表示する領域である。
操作画面ＳＣ１における領域Ｒ１１〜Ｒ１５は、いずれもブランクである。操作画面ＳＣ１における領域Ｒ１６は、売上商品を撮像部１０５の前にかざすことをオペレータに促す文字メッセージＬ１を表す。
Ａｃｔ２においてＣＰＵ１０６は、撮像デバイス１０５ａによる撮像を開始する。具体的にはＣＰＵ１０６は、撮像インタフェース１１２より撮像デバイス１０５ａに対して撮像オン信号を出力する。この撮像オン信号を受けて撮像デバイス１０５ａは、動画撮像を開始する。かくして、この状態においてオペレータが手で把持した売上商品を読取窓１０１ａにかざすと、撮像デバイス１０５ａが撮像した動画に売上商品が映り込む。撮像デバイス１０５ａは、周期的にフレームデータを出力する。
Ａｃｔ３においてＣＰＵ１０６は、撮像デバイス１０５ａが出力するフレームデータをＲＡＭ１０８に保存する。
Ａｃｔ４においてＣＰＵ１０６は、操作画面を更新する。具体的にはＣＰＵ１０６は、ＲＡＭ１０８に保存したフレームデータが表す画像の鏡像を領域Ｒ１１に示すようにする。
図７はＡｃｔ４で操作画面ＳＣ１から更新された後の一例としての操作画面ＳＣ２を示す図である。なお、操作画面ＳＣ２の要素のうちの操作画面ＳＣ１にも含まれる要素については、図６と同一の符号を付している。
操作画面ＳＣ２では、売上商品の画像ＩＭ１が、領域Ｒ１１に表されている。
Ａｃｔ５においてＣＰＵ１０６は、抽出処理を行う。抽出処理は、フレームデータが表す画像（以下、フレーム画像と称する）から、そこに映り込んだオブジェクトを抽出する処理である。具体的にはＣＰＵ１０６は例えば、先ず、フレーム画像から肌色領域の検出を試みる。ＣＰＵ１０６は、肌色領域を検出できた場合、すなわちオペレータの手がフレーム画像に映り込んでいる場合には、フレーム画像を二値化した上で、これにより得られた二値化画像から輪郭線などを抽出する。ＣＰＵ１０６はこれにより、オペレータの手が把持していると想定される売上商品の輪郭を特定する。ＣＰＵ１０６は、当該輪郭の内側の領域をオブジェクトとして抽出する。なお、図７では、オペレータの手の図示を省略している。
Ａｃｔ６においてＣＰＵ１０６は、オブジェクトが抽出できたか否かを確認する。そしてＣＰＵ１０６は、オブジェクトが抽出できなかったならばＮｏと判定し、Ａｃｔ３へと戻る。つまりＣＰＵ１０６は、オブジェクトが抽出できるまで、新たなフレーム画像を対象としたオブジェクトの抽出を繰り返し試みる。そしてＣＰＵ１０６は、オブジェクトを抽出できたならばＡｃｔ６にてＹｅｓと判定し、Ａｃｔ７へと進む。
Ａｃｔ７においてＣＰＵ１０６は、認識処理を行う。認識処理は、Ａｃｔ５で抽出されたオブジェクトを対象として、そのオブジェクトがどの商品の画像であるかを識別する処理である。この認識処理には、周知の技術を利用できる。以下に、認識処理の具体例の１つを説明する。
ＣＰＵ１０６は、Ａｃｔ５にて抽出したオブジェクトを解析し、形状、表面の色合い、模様、凹凸具合等の特徴量を読み取る。そしてＣＰＵ１０６は、読み取った特徴量と、各商品に予め関連付けられた特徴量とのマッチングからオブジェクトがどの商品であるかを識別する。この識別のために、ＲＯＭ１０７、ＲＯＭ２０７および補助記憶ユニット２０９のいずれかに、認識辞書ファイルを記憶しておく。認識辞書ファイルは、認識対象である商品毎に、その商品を識別する商品ＩＤ（ＰＬＵコード）および商品名と関連付けて、複数の特徴量データを記述する。商品を撮影した基準画像から、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものを特徴量データとする。そして、１つの商品に対し、その商品を様々な方向から撮影した基準画像のそれぞれから得た特徴量データを、該当する商品の商品ＩＤに関連付けている。１つの商品に対する特徴量データの数は、固定ではない。また、特徴量データの数は、商品によって異なっていても良い。また、商品名は必ずしも認識辞書ファイルに含まれていなくても良い。
ここでの商品の識別には、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されており、この技術を上記のオブジェクト認識に利用できる。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されており、この技術も上記のオブジェクト認識に利用できる。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
外観が類似する商品は少なからず存在することが一般的である。このため、上記の認識処理により、売上商品を確定することは好ましく無い。そこでＣＰＵ１０６はＡｃｔ７においては、商品毎に求めた類似度が高い商品を最大４つまで選び、類似度が高い順に一位候補〜四位候補として設定する。なおＣＰＵ１０６は、一位候補〜四位候補のそれぞれのＰＬＵコードをＲＡＭ１０８に書き込む。ただしＣＰＵ１０６は、最大の類似度が予め定めた値未満である場合には、候補商品無しとする。
かくして、制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは認識ユニットとして機能する。
Ａｃｔ８においてＣＰＵ１０６は、上記の認識処理で候補商品が有ったか否かを確認する。そしてＣＰＵ１０６は、候補商品が無かったならばＮｏと判定し、Ａｃｔ３に戻る。しかしながらＣＰＵ１０６は、少なくとも一位候補を設定したならばＹｅｓと判定し、Ａｃｔ９へと進む。
Ａｃｔ９においてＣＰＵ１０６は、オブジェクトの位置を検出する。具体的にはＣＰＵ１０６は例えば、オブジェクトの範囲の重心を求め、その位置をオブジェクトの位置とする。かくして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは検出ユニットとして機能する。
Ａｃｔ１０においてＣＰＵ１０６は、操作画面を更新する。具体的にはＣＰＵ１０６は、操作画面を、Ａｃｔ７における認識結果を表すようにする。またＣＰＵ１０６は、領域Ｒ１１に表示されている画像にＡｃｔ９で検出した位置を表すマーカを重畳表示する。さらにＣＰＵ１０６は、領域Ｒ１６における表示を、候補商品のうちで売上商品として確定する商品を選択することをオペレータに促す文字メッセージに置き換える。
図８はＡｃｔ１０で操作画面ＳＣ２から更新された後の一例としての操作画面ＳＣ３を示す図である。なお、操作画面ＳＣ３の要素のうちの操作画面ＳＣ１，ＳＣ２にも含まれる要素については、図６，７と同一の符号を付している。
操作画面ＳＣ３は、Ａｃｔ７において、一位候補〜四位候補として「ジョナゴールド」「紅玉」「フジ」「もも」がそれぞれ設定された場合を示している。
領域Ｒ１１内の一位候補領域１１〜四位候補領域１４にそれぞれ相当する箇所には、一位候補〜四位候補のそれぞれの商品名を表す文字列Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４が示されている。なお、領域Ｒ１１に表示しているのはフレームデータが示す画像の鏡像であるから、領域Ｒ１１内の一位候補領域１１〜四位候補領域１４にそれぞれ相当する箇所は、図３に対して鏡像関係となっている。領域Ｒ１２〜Ｒ１５の中には、一位候補〜四位候補のそれぞれの商品名を表す文字列Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４が示されている。領域Ｒ１１内には、Ａｃｔ９で検出した位置を表すマーカＭが示されている。領域Ｒ１６には、候補商品のうちから売上商品として確定する商品を選択することをオペレータに促す文字メッセージＬ２が示されている。
かくして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは制御ユニットとして機能する。
ＣＰＵ１０６はＡｃｔ１０を終えたならば、図５に示すＡｃｔ１１へと進む。
Ａｃｔ１１においてＣＰＵ１０６は、撮像デバイス１０５ａが出力するフレームデータをＲＡＭ１０８に保存する。
Ａｃｔ１２においてＣＰＵ１０６は、Ａｃｔ５と同様にして抽出処理を行う。
Ａｃｔ１３においてＣＰＵ１０６は、オブジェクトが抽出できたか否かを確認する。そしてＣＰＵ１０６は、オブジェクトが抽出できたならばＹｅｓと判定し、Ａｃｔ１４へと進む。
Ａｃｔ１４においてＣＰＵ１０６は、Ａｃｔ９と同様にしてオブジェクトの位置を検出する。なお、以下においては、Ａｃｔ９およびＡｃｔ１４で検出された位置を、検出位置と称する。
Ａｃｔ１５においてＣＰＵ１０６は、操作画面を更新する。具体的にはＣＰＵ１０６は、領域Ｒ１１における表示を、Ａｃｔ１１で新たに保存したフレームデータが表すフレーム画像に置き換える。またＣＰＵ１０６は、Ａｃｔ１４での新たな検出位置を表すようにマーカＭの表示位置を変更する。またＣＰＵ１０６は、Ａｃｔ１４での新たな検出位置への、その前の検出位置を基準とした変化方向を計算し、その変化方向を表すインジケータを領域Ｒ１１に表示されている画像に重畳表示する。またＣＰＵ１０６は、一位候補領域１１〜四位候補領域１４のうちの上記の変化方向の先に位置する領域に相当する箇所に表示している文字列を拡大する。
図９はＡｃｔ１５で操作画面ＳＣ３から更新された後の一例としての操作画面ＳＣ４を示す図である。なお、操作画面ＳＣ４の要素のうちの操作画面ＳＣ１〜ＳＣ３にも含まれる要素については、図６〜８と同一の符号を付している。
操作画面ＳＣ４は、オペレータが、撮像部１０５の前にかざしている売上商品を左斜め上方向に移動させた場合を示している。
領域Ｒ１１では、売上商品の画像ＩＭ２が表されている。マーカＭは、画像ＩＭ２を対象のオブジェクトに関する検出位置に移動されている。領域Ｒ１１では、マーカＭの位置の変化方向を示したインジケータＩＮ１が表されている。操作画面ＳＣ３における文字列Ｌ１１は、それを拡大した文字列Ｌ１１ａに置き換えられている。
なお、オペレータが売上商品を意図的に動かさない場合でも、売上商品は小刻みに動くことが多い。このような売上商品の動きによるオブジェクトの位置の変化方向をインジケータで表すと、向きの異なるインジケータが短い周期で次々に表されることとなり、操作画面が見辛いものとなってしまう恐れがある。そこで、このようなことが生じないように処置することが好ましい。当該処置としては例えば、Ａｃｔ９，Ａｃｔ１４での位置検出の分解能を低くしておくことが考えられる。あるいは上記の処置として、予め定めた大きさ以上の位置変化が生じた場合にのみインジケータを表すようにすることが考えられる。
Ａｃｔ１６においてＣＰＵ１０６は、検出位置が、一位候補領域１１〜四位候補領域１４のうちのいずれかの領域内であるか否かを確認する。そしてＣＰＵ１０６は、検出位置が、一位候補領域１１〜四位候補領域１４のいずれでもない領域にあるならばＮｏと判定し、Ａｃｔ１１に戻る。かくしてＣＰＵ１０６は、撮像デバイス１０５ａが順次に出力するフレームデータのそれぞれからオブジェクトが抽出でき、かつそのオブジェクトの位置が一位候補領域１１〜四位候補領域１４のいずれでもない領域にあり続ける間は、Ａｃｔ１１〜Ａｃｔ１６を繰り返す。そしてＣＰＵ１０６は、検出位置が、一位候補領域１１〜四位候補領域１４のうちのいずれかの領域内に入ったならば、Ａｃｔ１６にてＹｅｓと判定し、Ａｃｔ１７へと進む。
Ａｃｔ１７においてＣＰＵ１０６は、一位候補領域１１〜四位候補領域１４のうちの検出位置が入った領域に関連付けられた候補商品を売上商品として仮確定する。そしてＣＰＵ１０６はこののち、Ａｃｔ１１に戻る。かくして一位候補領域１１〜四位候補領域１４は、候補商品の中から確定候補を選択するための操作、すなわち販売登録のための操作が関連付けられた操作用領域である。そして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは上記の操作を入力する入力ユニットとして機能する。
オペレータが、撮像部１０５の前にかざしている売上商品を、撮像部１０５の視野外まで移動させると、フレーム画像に売上商品が映り込まなくなる。このため、ＣＰＵ１０６がＡｃｔ１２にてオブジェクトを抽出できなくなる。そしてこの場合にＣＰＵ１０６は、Ａｃｔ１３でＮｏと判定し、Ａｃｔ１８へと進む。
Ａｃｔ１８においてＣＰＵ１０６は、売上商品が仮確定されているか否かを確認する。そしてＣＰＵ１０６は、仮確定されているならばＹｅｓと判定し、Ａｃｔ１９へと進む。
Ａｃｔ１９においてＣＰＵ１０６は、仮確定されている商品を売上商品として確定する。この場合ＣＰＵ１０６は、この売上商品として確定した商品のＰＬＵコードを、ＰＯＳ端末インタフェース１１３を介してＰＯＳ端末２００へと通知する。そしてＣＰＵ１０６はこののち、図４中のＡｃｔ３へと戻る。
ＰＯＳ端末２００は、上記のようにＰＬＵコードが通知されると、これを読取装置インタフェース２１４が受信する。そして読取装置インタフェース２１４は、ＰＬＵコードをＣＰＵ２０６に通知する。これに応じてＣＰＵ２０６は、通知されたＰＬＵコードで識別される商品の販売に関わるデータ処理を行う。このデータ処理は、例えば既存の別のＰＯＳ端末で行われている処理と同じであって良い。かくしてＣＰＵ２０６を中枢部分とするコンピュータは処理ユニットとして機能する。
なおＣＰＵ１０６は、売上商品が仮確定されていないならば、Ａｃｔ１８でＮｏと判定し、Ａｃｔ１９をパスして図４中のＡｃｔ３へと戻る。つまりＣＰＵ１０６、一位候補領域１１〜四位候補領域１４のうちの候補商品が関連付けられている領域を一度も通過すること無いままにオブジェクトが抽出できなくなった場合には、Ａｃｔ７での認識結果を破棄して、新たなオブジェクトの抽出を試みる状態に戻る。
ただしＣＰＵ１０６は、Ａｃｔ１１〜Ａｃｔ１６のループを繰り返している期間中に、領域Ｒ１２〜Ｒ１５のいずれかがタッチされたことがタッチパネル１０３にて検出されたならば、そのタッチされた領域に対応する候補商品を売上商品として確定する。そしてこののちにＣＰＵ１０６は、Ａｃｔ１１〜Ａｃｔ１３と同様な処理を、オブジェクトが抽出できなくなるまで繰り返し、オブジェクトが抽出できなくなったらＡｃｔ３に戻る。ただしこの処理は、図４，５では図示を省略している。なおＣＰＵ１０６は、このような領域Ｒ１２〜Ｒ１５のいずれかをタッチすることに応じての売上商品の確定を、オブジェクトが抽出できなくなった後も、新たなオブジェクトが抽出されるまでの間は行うようにしても良い。
かくしてＣＰＵ１０６は、候補商品を認識済みのオブジェクトの位置が、一位候補領域１１〜四位候補領域１４のうちの候補商品が関連付けられている領域のうちの１つの中に入ったならば、その領域に関連付けられている候補商品を確定候補として定める。そしてＣＰＵ１０６は、確定候補が定められている状態でオブジェクトが抽出できなくなったならば、確定候補となっている商品を売上商品として確定する。
従ってオペレータは、タッチパネル１０３の画面が図８に示す操作画面ＳＣ３であるときに、売上商品を、候補商品名が表示されている領域を通過させながら撮像部１０５の視野外まで移動させることにより、通過させた領域に関連付けられた商品を売上商品として確定させることができる。
そしてこのときにオペレータは、領域Ｒ１１中に示されたマーカＭを、確定したい商品名が表示されている領域に向けて移動させれば良い。従ってオペレータは、売上商品を適切な商品として確定させるための売上商品の移動を適切に行うことが可能となる。
またオペレータは、例えば図９に示されるインジケータＩＮ１を目視することにより、売上商品の移動が商品読取装置１００によってどのように認識されているのかを知ることができる。そしてこれによりオペレータは、売上商品を適切な商品として確定させるための売上商品の移動をさらに適切に行うことが可能となる。
またオペレータは、例えば図９に示す文字列Ｌ１１ａのように拡大された文字列により示される商品名が、売上商品として確定しようとしている商品とは異なっているならば、誤った方向に売上商品を移動させていることを知ることができる。そしてオペレータは、売上商品として確定しようとしている商品の商品名が拡大して示されるように売上商品を移動させることによって、売上商品を適切な商品として確定させるための売上商品の移動をさらに適切に行うことが可能となる。
この実施形態は、次のような種々の変形実施が可能である。
領域Ｒ１１においては、インジケータに代えて、オブジェクトの位置の軌跡を表しても良い。
図１０は操作画面ＳＣ４の変形例としての操作画面ＳＣ５を示す図である。なお、操作画面ＳＣ５の要素のうちの操作画面ＳＣ１〜ＳＣ４にも含まれる要素については、図６〜９と同一の符号を付している。
領域Ｒ１１では、売上商品の画像ＩＭ３が表されている。マーカＭは、画像ＩＭ３を対象のオブジェクトとしての検出位置に表されている。領域Ｒ１１では、オブジェクトの位置の軌跡ＴＲ１が表されている。
ＣＰＵ１０６は例えば、Ａｃｔ１４で繰り返し検出される検出位置を領域Ｒ１１中に同時に表すことにより、軌跡ＴＲ１を描くことができる。またＣＰＵ１０６は例えば、Ａｃｔ１４で繰り返し検出される検出位置を時間順につないだ折れ線または曲線として、軌跡ＴＲ１を描くことができる。
一位候補領域１１〜四位候補領域１４に相当する領域には、売上商品の選択のための操作以外の操作が関連付けられても良い。あるいは、一位候補領域１１〜四位候補領域１４とは別に、売上商品の選択のための操作以外の操作が関連付けられた領域が設定されても良い。
一位候補領域１１〜四位候補領域１４に相当する領域や、その他に設定した領域には、販売登録に関わる操作とは異なる操作が関連付けられても良い。
商品の販売登録以外の用途での物品の認識を行う装置として実現することも可能である。
撮像部１０５を商品読取装置１００に備えず、外付けの撮像デバイスで得られたフレームデータを取り込んで上記の処理を行うようにしても良い。
ＣＰＵ１０６の処理の具体的内容は、同様な機能を実現できれば任意に変更が可能である。例えば、前記実施形態では、商品読取装置１００が商品を確定するまでの機能を全て有したが、その機能を商品読取装置１００とＰＯＳ端末２００に分散させて構成してもよい。また、ＰＯＳ端末２００が商品を確定するまでの機能を全て有して構成してもよい。つまり、図４および図５に示す制御処理の一部または全てを、ＲＯＭ２０７または補助記憶ユニット２０９に記憶された制御プログラムに基づくＣＰＵ２０６の処理により実現しても良い。
商品読取装置１００の機能を内蔵したＰＯＳ端末やキャッシュレジスタとして実現することも可能である。
販売データ処理のための商品の認識には限らず、様々な物品の認識のために本願の技術を利用することが可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
[付記１] 撮像デバイスが撮像した動画に含まれるオブジェクトを認識する認識ユニットと、
前記認識ユニットが認識対象とする前記オブジェクトの前記動画のフレーム内での位置を検出する検出ユニットと、
前記フレーム内に定めた操作用領域の中の位置が前記検出ユニットにより検出されたことに応じて、当該位置を含む前記操作用領域に関連付けられた操作として入力する入力ユニットと、
前記検出ユニットにより検出された位置を表す画像を前記動画に重畳して表示するように表示デバイスを制御する制御ユニットと、
を具備したことを特徴とする物品認識装置。
[付記２] 前記制御ユニットは、前記画像を前記検出ユニットによる最も新しい検出位置のみを表す前記画像を前記動画に重畳して表示するように前記表示デバイスを制御することを特徴とする付記１に記載の物品認識装置。
[付記３] 前記制御ユニットは、前記画像を前記検出ユニットによる最も新しい検出位置と、その検出位置へと至る前記検出位置の変化方向とを表す前記画像を前記動画に重畳して表示するように前記表示デバイスを制御することを特徴とする付記１に記載の物品認識装置。
[付記４] 前記制御ユニットは、前記画像を前記検出ユニットによる検出位置の軌跡を表す前記画像を前記動画に重畳して表示するように前記表示デバイスを制御することを特徴とする付記１に記載の物品認識装置。
[付記５] 撮像デバイスが撮像した動画に含まれるオブジェクトを認識する認識ユニットと、
前記認識ユニットが認識対象とする前記オブジェクトの前記動画のフレーム内での位置を検出する検出ユニットと、
前記フレーム内に定めた操作用領域の中の位置が前記検出ユニットにより検出されたことに応じて、当該位置を含む前記操作用領域に関連付けられ、販売登録に関わる操作として入力する入力ユニットと、
前記認識ユニットによる認識結果と前記入力ユニットで入力された操作とに基づいて物品の販売に関わるデータ処理を行う処理ユニットと、
前記検出ユニットにより検出された位置を表す画像を前記動画に重畳して表示するように表示デバイスを制御する制御ユニットと、
を具備したことを特徴とする販売データ処理装置。
[付記６] コンピュータを、
撮像デバイスが撮像した動画に含まれるオブジェクトを認識する認識ユニットと、
前記認識ユニットが認識対象とする前記オブジェクトの前記動画のフレーム内での位置を検出する検出ユニットと、
前記フレーム内に定めた操作用領域の中の位置が前記検出ユニットにより検出されたことに応じて、当該位置を含む前記操作用領域に関連付けられた操作として入力する入力ユニットと、
前記検出ユニットにより検出された位置を表す画像を前記動画に重畳して表示するように表示デバイスを制御する制御ユニットと、
して機能させるための制御プログラム。
１００…商品読取装置、１０１…ハウジング、１０１ａ…読取窓、１０２…キーボード、１０３…タッチパネル、１０４…客用ディスプレイ、１０５…撮像部、１０５ａ…撮像デバイス、１０６…ＣＰＵ、１０７…ＲＯＭ、１０８…ＲＡＭ、１０９…キーボードインタフェース、１１０…パネルインタフェース、１１１…表示インタフェース、１１２…撮像インタフェース、１１３…ＰＯＳ端末インタフェース、１１４…バスライン、２００…ＰＯＳ端末。

Claims (6)

  1. 撮像デバイスが撮像した動画に含まれるオブジェクトを認識する認識ユニットと、
    前記認識ユニットが認識対象とする前記オブジェクトの前記動画のフレーム内での範囲のうちの一部の範囲として前記オブジェクトの位置を検出する検出ユニットと、
    前記フレーム内に定めた操作用領域の中の位置が前記検出ユニットにより検出されたことに応じて、当該位置を含む前記操作用領域に関連付けられた操作として入力する入力ユニットと、
    前記検出ユニットにより検出された位置を表す画像を前記動画に重畳して表示するように表示デバイスを制御する制御ユニットと、
    を具備した物品認識装置。
  2. 前記制御ユニットは、前記画像を前記検出ユニットによる最も新しい検出位置のみを表す前記画像を前記動画に重畳して表示するように前記表示デバイスを制御する、
    請求項１に記載の物品認識装置。
  3. 前記制御ユニットは、前記画像を前記検出ユニットによる最も新しい検出位置と、その検出位置へと至る前記検出位置の変化方向とを表す前記画像を前記動画に重畳して表示するように前記表示デバイスを制御する、
    請求項１に記載の物品認識装置。
  4. 前記制御ユニットは、前記画像を前記検出ユニットによる検出位置の軌跡を表す前記画像を前記動画に重畳して表示するように前記表示デバイスを制御する、
    請求項１に記載の物品認識装置。
  5. 撮像デバイスが撮像した動画に含まれるオブジェクトを認識する認識ユニットと、
    前記認識ユニットが認識対象とする前記オブジェクトの前記動画のフレーム内での範囲のうちの一部の範囲として前記オブジェクトの位置を検出する検出ユニットと、
    前記フレーム内に定めた操作用領域の中の位置が前記検出ユニットにより検出されたことに応じて、当該位置を含む前記操作用領域に関連付けられ、販売登録に関わる操作として入力する入力ユニットと、
    前記認識ユニットによる認識結果と前記入力ユニットで入力された操作とに基づいて物品の販売に関わるデータ処理を行う処理ユニットと、
    前記検出ユニットにより検出された位置を表す画像を前記動画に重畳して表示するように表示デバイスを制御する制御ユニットと、
    を具備したことを特徴とする販売データ処理装置。
  6. コンピュータを、
    撮像デバイスが撮像した動画に含まれるオブジェクトを認識する認識ユニットと、
    前記認識ユニットが認識対象とする前記オブジェクトの前記動画のフレーム内での範囲のうちの一部の範囲として前記オブジェクトの位置を検出する検出ユニットと、
    前記フレーム内に定めた操作用領域の中の位置が前記検出ユニットにより検出されたことに応じて、当該位置を含む前記操作用領域に関連付けられた操作として入力する入力ユニットと、
    前記検出ユニットにより検出された位置を表す画像を前記動画に重畳して表示するように表示デバイスを制御する制御ユニットと、
    して機能させるための制御プログラム。
JP2015011444A 2015-01-23 2015-01-23 物品認識装置、販売データ処理装置および制御プログラム Active JP6302849B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015011444A JP6302849B2 (ja) 2015-01-23 2015-01-23 物品認識装置、販売データ処理装置および制御プログラム
US14/995,564 US20160217449A1 (en) 2015-01-23 2016-01-14 Product recognition apparatus, sales data processing apparatus, and control method
US16/519,040 US20190347636A1 (en) 2015-01-23 2019-07-23 Product recognition apparatus, sales data processing apparatus, and control method
US16/918,638 US20200334656A1 (en) 2015-01-23 2020-07-01 Product recognition apparatus, sales data processing apparatus, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015011444A JP6302849B2 (ja) 2015-01-23 2015-01-23 物品認識装置、販売データ処理装置および制御プログラム

Publications (2)

Publication Number Publication Date
JP2016136339A JP2016136339A (ja) 2016-07-28
JP6302849B2 true JP6302849B2 (ja) 2018-03-28

Family

ID=56434499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015011444A Active JP6302849B2 (ja) 2015-01-23 2015-01-23 物品認識装置、販売データ処理装置および制御プログラム

Country Status (2)

Country Link
US (3) US20160217449A1 (ja)
JP (1) JP6302849B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10041827B2 (en) * 2015-12-21 2018-08-07 Ncr Corporation Image guided scale calibration
US10331969B2 (en) * 2016-10-28 2019-06-25 Ncr Corporation Image processing for scale zero validation

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7540424B2 (en) * 2000-11-24 2009-06-02 Metrologic Instruments, Inc. Compact bar code symbol reading system employing a complex of coplanar illumination and imaging stations for omni-directional imaging of objects within a 3D imaging volume
US7708205B2 (en) * 2003-11-13 2010-05-04 Metrologic Instruments, Inc. Digital image capture and processing system employing multi-layer software-based system architecture permitting modification and/or extension of system features and functions by way of third party code plug-ins
US8042740B2 (en) * 2000-11-24 2011-10-25 Metrologic Instruments, Inc. Method of reading bar code symbols on objects at a point-of-sale station by passing said objects through a complex of stationary coplanar illumination and imaging planes projected into a 3D imaging volume
US20090134221A1 (en) * 2000-11-24 2009-05-28 Xiaoxun Zhu Tunnel-type digital imaging-based system for use in automated self-checkout and cashier-assisted checkout operations in retail store environments
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
US20110284625A1 (en) * 2005-12-16 2011-11-24 Taylor Smith Digital image capture and processing system supporting multiple third party code plug-ins with configuration files having conditional programming logic controlling the chaining of multiple third-party plug-ins
US8146811B2 (en) * 2007-03-12 2012-04-03 Stoplift, Inc. Cart inspection for suspicious items
JP4436872B2 (ja) * 2008-01-24 2010-03-24 東芝テック株式会社 データコード読み取り装置
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
US20110257985A1 (en) * 2010-04-14 2011-10-20 Boris Goldstein Method and System for Facial Recognition Applications including Avatar Support
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
JP5194149B2 (ja) * 2010-08-23 2013-05-08 東芝テック株式会社 店舗システムおよびプログラム
US8789757B2 (en) * 2011-02-02 2014-07-29 Metrologic Instruments, Inc. POS-based code symbol reading system with integrated scale base and system housing having an improved produce weight capturing surface design
US20120203647A1 (en) * 2011-02-09 2012-08-09 Metrologic Instruments, Inc. Method of and system for uniquely responding to code data captured from products so as to alert the product handler to carry out exception handling procedures
US20120223141A1 (en) * 2011-03-01 2012-09-06 Metrologic Instruments, Inc. Digital linear imaging system employing pixel processing techniques to composite single-column linear images on a 2d image detection array
CN104272329A (zh) * 2011-03-17 2015-01-07 P·坎贝尔 货架跟踪(ost)系统
EP3654627A3 (en) * 2011-06-28 2020-08-05 NCR Corporation Image processing to prevent access to private information
JP5483622B2 (ja) * 2011-08-31 2014-05-07 東芝テック株式会社 店舗システム及びプログラム
JP5551140B2 (ja) * 2011-10-19 2014-07-16 東芝テック株式会社 情報処理装置及びプログラム
JP5567606B2 (ja) * 2012-01-31 2014-08-06 東芝テック株式会社 情報処理装置及びプログラム
US8976030B2 (en) * 2012-04-24 2015-03-10 Metrologic Instruments, Inc. Point of sale (POS) based checkout system supporting a customer-transparent two-factor authentication process during product checkout operations
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9022288B2 (en) * 2012-09-05 2015-05-05 Metrologic Instruments, Inc. Symbol reading system having predictive diagnostics
JP5668042B2 (ja) * 2012-10-31 2015-02-12 東芝テック株式会社 商品読取装置、商品販売データ処理装置および商品読取プログラム
US20140289073A1 (en) * 2013-03-14 2014-09-25 Steven K. Gold Product Localization and Interaction
JP6369258B2 (ja) * 2014-09-22 2018-08-08 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム
IL238473A0 (en) * 2015-04-26 2015-11-30 Parkam Israel Ltd A method and system for discovering and mapping parking areas
US11170409B2 (en) * 2017-05-19 2021-11-09 Abl Ip Holding, Llc Wireless beacon based systems utilizing printable circuits

Also Published As

Publication number Publication date
JP2016136339A (ja) 2016-07-28
US20160217449A1 (en) 2016-07-28
US20200334656A1 (en) 2020-10-22
US20190347636A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US20140177912A1 (en) Commodity reading apparatus, commodity sales data processing apparatus and commodity reading method
US20170116491A1 (en) Commodity recognition apparatus and commodity recognition method
US9990619B2 (en) Holding manner learning apparatus, holding manner learning system and holding manner learning method
US20200334656A1 (en) Product recognition apparatus, sales data processing apparatus, and control method
US10482447B2 (en) Recognition system, information processing apparatus, and information processing method
JP6747873B2 (ja) 情報処理装置及びプログラム
JP5572651B2 (ja) 商品読取装置および商品読取プログラム
US20150206119A1 (en) Commodity reading apparatus, sales data processing apparatus having the same and method for recognizing commodity
JP5622756B2 (ja) 商品読取装置及び商品読取プログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP2013250768A (ja) 商品認識装置及び商品認識プログラム
JP6263483B2 (ja) 物品認識装置、販売データ処理装置および制御プログラム
JP6239460B2 (ja) 情報処理装置及びプログラム
US20170344851A1 (en) Information processing apparatus and method for ensuring selection operation
JP2015041157A (ja) 商品認識装置およびその制御プログラム
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP2015099550A (ja) 商品認識装置及び商品認識プログラム
EP3364384A1 (en) Information processing apparatus and information processing method
JP6348784B2 (ja) 情報処理装置及びプログラム
JP6964166B2 (ja) 認識システム、情報処理装置、及びプログラム
JP2020067782A (ja) 読取装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180305

R150 Certificate of patent or registration of utility model

Ref document number: 6302849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150