JP6178250B2

JP6178250B2 - 情報処理装置およびプログラム

Info

Publication number: JP6178250B2
Application number: JP2014011380A
Authority: JP
Inventors: 岡村　敦; 敦岡村
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2014-01-24
Filing date: 2014-01-24
Publication date: 2017-08-09
Anticipated expiration: 2034-01-24
Also published as: JP2015138504A

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、物品を撮像した画像データから当該物品の特徴を表す特徴量を抽出し、予め用意された照合用物品の特徴量を示すデータと比較することで、当該物品の種別等を認識する技術が存在する。より詳細には、商品の表面の色合い、模様、凹凸状況等の情報を取得して、商品を認識する。そして、この技術を用いて、スーパーマーケットやコンビニエンスストア等の店舗で販売される青果品等の商品を認識（識別）し、認識した商品の商品販売処理を実行する仕組みが提案されている。

しかしながら、包装された商品や袋詰めされた商品は、袋の状態（透明度、印刷等）の影響で、特徴量の抽出に問題があった。

本発明が解決しようとする課題は、袋詰めされた商品や包装された商品であっても、精度よく商品の認識ができる、情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、画像入力手段と、第１商品特定手段と、第２商品特定手段と、を備える。画像入力手段は、少なくとも一部が光学的に透明な領域を有して包装主体となる本体部と、前記透明な領域に形成され、商品を物体認識する領域を示すマーカと、を備える包装部材、および当該包装部材に収納された商品、の撮像画像を入力する。第１商品特定手段は、前記撮像画像において前記マーカの画像を認識すると、前記撮像画像のうち前記マーカで囲まれた領域について物体認識処理を行って、前記包装部材に収納されている商品を特定する。第２商品特定手段は、前記撮像画像において前記マーカの画像を認識しなければ、前記撮像画像について物体認識処理を行って、前記包装部材に収納されている商品を特定する。

実施形態のプログラムは、情報処理装置を制御するコンピュータを、画像入力手段と、第１商品特定手段と、第２商品特定手段と、して機能させる。画像入力手段は、少なくとも一部が光学的に透明な領域を有して包装主体となる本体部と、前記透明な領域に形成され、商品を物体認識する領域を示すマーカと、を備える包装部材、および当該包装部材に収納された商品、の撮像画像を入力する。第１商品特定手段は、前記撮像画像において前記マーカの画像を認識すると、前記撮像画像のうち前記マーカで囲まれた領域について物体認識処理を行って、前記包装部材に収納されている商品を特定する。第２商品特定手段は、前記撮像画像において前記マーカの画像を認識しなければ、前記撮像画像について物体認識処理を行って、前記包装部材に収納されている商品を特定する。

図１は、第１実施形態の包装部材の表側を示す図である。図２は、包装部材の裏側を示す図である。図３は、チェックアウトシステムの外観構成を示す斜視図である。図４は、図３に示した商品情報読取装置のハードウェア構成を示すブロック図である。図５は、商品マスタのファイル構成の一例を示すメモリマップである。図６は、商品情報読取装置の機能構成を示す機能ブロック図である。図７は、商品情報読取装置の制御処理の流れを示すフローチャートである。図８は、第２実施形態のチェックアウトシステムのハードウェア構成を示すブロック図である。図９は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。図１０は、セルフＰＯＳの構成を示す外観斜視図である。図１１は、セルフＰＯＳのハードウェア構成を示すブロック図である。

（第１実施形態）
以下、図１〜図７を参照して、第１実施形態に係る包装部材、情報処理装置およびプログラムを詳細に説明する。第１実施形態では、包装部材として包装袋を用いて説明する。また、情報処理装置として商品情報読取装置を用いて説明する。なお、以下に説明する第１実施形態によりこの発明が限定されるものではない。

図１は、包装袋１の表側の外観を示す図である。図１において、包装袋１は、本体部に商品２を収納する構成となっている。具体的には、包装袋１は、例えばポリエチレン素材やナイロン素材等の柔軟性を有する袋状の構成を有しており、本体部の内部に収納する商品２を入れて、口を閉止することで商品２を収納する。

また、包装袋１には、本体部の外面一部に印刷部３を有している。例えば、表側の印刷部３には、例えば収納する商品２の商品名５が印刷または印字されている。包装袋１には、商品２の産地や生産者、消費期限等が印刷または印字されていてもよい。

また、包装袋１の本体部の表側には、その中央部分に、マーカ６が印刷されて形成されている。マーカ６は、長方形状の２重線の枠で形成されている。マーカ６を構成する枠の、長方形の４箇所の９０度折れ曲がる角部には、角部であることを示すポイント７ａ、７ｂ、７ｃ、７ｄを有している。ポイント７ａとポイント7ｄは、長方形の角部の対角線上の位置を示している。またポイント７ｂとポイント７ｃは、長方形の角部の他の対角線上の位置を示している。

包装袋１に形成されたマーカ６は、マーカ６で囲まれる領域４を形成している。この領域４は、後述する物体認識における認識領域であって、ポイント７ａ〜７ｄで囲まれる領域である。包装袋１の領域４内は、光学的に透明に形成しており、文字や画像等一切印刷はされていない。そのため、この領域４内では、内部に収納された商品２は、包装袋１の外部から透過して見える。したがって、この包装袋１のマーカ６内の商品２について、後述する商品情報読取装置２１は、物体認識をすることが可能である。なお、マーカ６で特定される領域の大きさは、物体認識を行う装置の光学系の大きさに依存して決められる。

なお、包装袋１のマーカ６の外側は、文字や画像等が印刷されていたり、不透明であってもよいし、透明であってもよい。

図２は、包装袋１の裏側の外観を示す図である。図２において、包装袋１の右上部には、収納された商品２を特定する商品コードを含むバーコード８が印刷されている。このバーコード８をコードリーダで読取ることで、商品コードを商品情報読取装置２１（図３を参照）に入力する。また、包装袋１の裏側中央部には、収納する商品２のイメージ９等が印刷されている。また、包装袋１の裏側中央部には、収納した商品と産地が印刷されている。上述の説明では、包装袋１の表側にマーカ６を有し、包装袋１の裏側にバーコード８や商品２のイメージ９等を有しているが、この実施形態に限らない。例えば、包装袋１の表側にバーコード８を有し、包装袋１の裏側にマーカ６を有していてもよいし、同じ面にマーカ６とバーコード８を有していてもよい。さらに、包装袋１は、マーカ６を有していれば、バーコード８を有していなくてもよい。なお、マーカ６の位置は、ＰＯＳ端末１１がマーカ６を認識できる位置であれば、どの位置に印刷してもよい。

図３は、チェックアウトシステムの外観構成を示す斜視図である。図３に示すように、チェックアウトシステムは、ＰＯＳ端末１１と、情報処理装置としての商品情報読取装置２１とを備える。

ＰＯＳ端末１１は、チェックアウト台１９上のドロワ１３上面に載置する。ドロワ１３は、ＰＯＳ端末１１によって開放動作の制御を受ける。オペレータ（店員等）によって操作されるキーボード等から構成される操作部１５は、ＰＯＳ端末１１の上面に配置する。操作部１５を操作するオペレータから見て操作部１５よりも奥側には、オペレータに向けて情報を表示するオペレータ用表示部１４を備える。オペレータ用表示部１４は、商品情報や決済情報等の情報を表示する。タッチパネル１８は、オペレータ用表示部１４上に積層される。顧客用表示部１６は、オペレータ用表示部１４よりもさらに奥側に回転自在に立設される。顧客用表示部１６は、商品情報や決済情報等の情報を表示する。

なお、図３に示す顧客用表示部１６は、表示面を図３中手前側（オペレータ側）に向いた状態であるが、表示面が図３中奥側（顧客側）に向くように顧客用表示部１６を回転させることによって、顧客用表示部１６は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されるチェックアウト台１９とＬ字を形成するようにして、横長テーブル状のカウンタ台３１が配置されている。カウンタ台３１の上面には、荷受け面３２が形成される。荷受け面３２には、商品２を収納する買物カゴ３３が載置される。買物カゴ３３は、顧客によって持ち込まれる第１の買物カゴ３４と、第１の買物カゴ３４から商品情報読取装置２１を挟んだ位置に載置される第２の買物カゴ３５とに分けて考えることができる。

カウンタ台３１の荷受け面３２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品情報読取装置２１が設置される。商品情報読取装置２１は、薄型矩形形状のハウジング２２を備える。

ハウジング２２の正面には、読取窓２３が配置される。ハウジング２２の上部には、オペレータ用表示部２４が取り付けられる。オペレータ用表示部２４の右隣にはキーボードで構成される操作部２７が配設される。オペレータから見てオペレータ用表示部２４の裏面左奥側には、顧客に情報を提供するための顧客用表示部２９が設置される。

顧客によって持ち込まれた第１の買物カゴ３４には、一取引に係る商品２が収納される。第１の買物カゴ３４内の商品２は、商品情報読取装置２１を操作するオペレータにより第２の買物カゴ３５へと移動される。この移動過程で、商品２が商品情報読取装置２１の読取窓２３に向けられる。この際、読取窓２３内に配置された撮像部４７（図４参照）は商品２を撮像する。

次に、図４と図５を用いて、商品情報読取装置２１のハードウェアについて説明する。図４は、商品情報読取装置２１のハードウェア構成を示すブロック図である。図４において、商品情報読取装置２１は、制御主体となるＣＰＵ（Central Processing Unit）４１、各種プログラムを記憶するＲＯＭ（Read Only Memory）４２、各種データを展開するＲＡＭ（Random Access Memory）４３、各種プログラムを記憶するメモリ部４４等を備えており、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４は、互いにデータバス４５を介して接続されている。ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ４１がＲＯＭ４２やメモリ部４４に記憶されＲＡＭ４３に展開された制御プログラム４４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ４３は、制御プログラム４４１を初めとする各種プログラムを展開する他、撮像部４７で撮像され、後述する物体認識によって認識された商品２の商品情報を記憶する商品情報記憶部４３１を有する。

メモリ部４４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリであって、制御プログラム４４１を含むプログラム等を記憶する。また、メモリ部４４は、商品マスタ４４２（図５を参照）を記憶している。

また、データバス４５には、操作部２７、オペレータ用表示部２４、顧客用表示部２９、撮像部４７が、コントローラ４６を介して接続されている。

操作部２７は、商品情報読取装置２１での商品の読取操作を終了するための終了キー２７１を含む各種のキーを有している。

オペレータ用表示部２４は、表示面を店員に向けて設置され、店員に対して情報を表示する。顧客用表示部２９は、表示面を顧客に向けて設置され、顧客に対して情報を表示する。

撮像部４７は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等であり、読取窓２３に翳された商品２の撮像を行う撮像手段である。例えば撮像部４７では３０ｆｐｓの動画像の撮像を行う。撮像部４７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ４３に保存される。

また、データバス４５は、ＰＯＳ端末１１と電気的に接続する接続Ｉ／Ｆ（Interface）４８を接続している。接続Ｉ／Ｆ４８は、回線４９と接続している。

商品マスタ４４２は、店舗内で販売される商品２と、その商品２の売上登録等に関する情報との関連付けが設定されたデータファイルである。図５は、商品マスタ４４２のデータ構成の一例を模式的に示す図である。同図に示すように、商品マスタ４４２は、商品２毎に、ユニークに割り当てられた商品ＩＤを記憶する商品ＩＤ部５１と、商品名を記憶する商品名部５２、単価を記憶する単価部５３と、その商品２を予め撮像した商品画像を記憶する商品画像部５４とを有する。また、商品マスタ４４２は、予め商品２毎に、その商品２の特徴量（基準商品の特徴量データ）が関連付けられて記憶した特徴量部５５を有する。

商品画像部５４は、後述する類似度判定の際に、比較の対象とされる基準商品の各々を撮像した画像である。商品画像は、後述する商品候補の提示の際に、その商品候補を表す画像として提示される。また、特徴量部５５には、各商品２の撮像画像（例えば、商品画像）から予め抽出された、その商品２の特徴量が、対応する商品ＩＤに関連付けて記憶される。ここで、特徴量とは、商品２の表面の色合いや模様、凹凸状況等、商品２の特徴を表した情報である。

次に、図６と図７を用いて、第１実施形態の商品情報読取装置２１の制御について説明する。図６は、商品情報読取装置２１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ４２やメモリ部４４に記憶された制御プログラム４４１を含む各種プログラムに従うことで、マーカ認識手段１０１と商品特定手段１０２を機能させる。

マーカ認識手段１０１は、包装部材に収納された商品の画像が入力され、当該画像から前記包装部材に形成された所定の領域を示すマーカを認識する機能を有する。

商品特定手段１０２は、領域内の画像を後述する物体認識によって認識して、包装部材に収納される商品を特定する機能を有する。

上記のように画像中に含まれる物体を認識することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１月２４日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像を物品（オブジェクト）毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２５年１月２４日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

図７は、商品情報読取装置２１の制御処理の流れを示すフローチャートである。図７において、制御部１００は、読取窓２３に翳された商品画像を含む画像を撮像部４７で読取った結果、画像が入力されたか否かを判断する（ステップＳ１１）。入力されたと判断した場合は（ステップＳ１１のＹｅｓ）、次に制御部１００は、入力された画像にバーコード８が含まれているか否かを判断する（ステップＳ１２）。バーコードが含まれているか否かは、画像を解析して、予め記憶しているバーコードの画像を基にパターンマッチングにより判断される。

バーコード８が含まれていると判断した場合は（ステップＳ１２のＹｅｓ）、制御部１００は、当該バーコード８から商品コードを取得する（ステップＳ１３）。そして制御部１００は、取得した商品コードに対応した商品情報を商品マスタ４４２から読み出して、商品情報記憶部４３１に記憶する（ステップＳ１４）。そして制御部１００は、商品マスタ４４２から読み出した商品情報にもとづいて、商品名や単価を、オペレータ用表示部２４と顧客用表示部２９に表示する（ステップＳ１５）。そして制御部１００は、ステップＳ１１に戻って待機する。

一方、入力された画像にバーコード８を含まないと判断した場合は（ステップＳ１２のＮｏ）、制御部１００（マーカ認識手段１０１）は、入力された画像に基づいて、包装袋１に印刷された、長方形状の枠で形成されるマーカ６を認識したか否かを判断する（ステップＳ２１）。マーカ６の認識は、公知のパターン認識技術を用いて、入力した画像と予め記憶したマーカの画像とを対比させ、入力した画像に予め記憶したマーカの画像が含まれているか否かで行う。

マーカ６を認識したと判断した場合は（ステップＳ２１のＹｅｓ）、制御部１００は、認識したマーカ６に基づいて、マーカ６で囲まれた領域４を物体認識する領域として特定する（ステップＳ２２）。そして制御部１００は、特定された領域４内の画像の物体認識を実行する（ステップＳ２３）。

次に制御部１００は、領域４の状態（表面の色合い、模様、凸凹状況等）を特徴量として抽出する。そして制御部１００は、商品マスタ４４２の特徴量部５５に記憶された各登録商品の特徴量と、抽出された特徴量とを比較し、その類似度をそれぞれ算出する。算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品ＩＤ）を、撮像部４７で撮像された商品２として認識する。認識された商品の画像情報は、商品情報の一部として商品画像部５４から読み出される。

ここで、類似度は、商品２の特徴量と、商品マスタ４４２に記憶された商品２の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、商品マスタ４４２に登録された各登録商品の特徴量との一致度を示す値や、商品２の特徴量と商品マスタ４４２に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合、撮像された商品２の画像と、登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品２と、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

次に制御部１００（商品特定手段１０２）は、物体認識した結果、領域４内の画像から商品２を認識したか否かを判断する（ステップＳ２４）。領域４内の画像から商品２を認識したと判断した場合は（ステップＳ２４のＹｅｓ）、制御部１００は、ステップＳ１４に移って、認識された商品２の、画像情報を含む商品情報を商品マスタ４４２から読み出して、商品情報記憶部４３１に記憶する。続いて制御部１００は、ステップＳ１５を実行する。そして制御部１００は、ステップＳ１１に戻って待機する。また、領域内４の画像から商品２を認識していないと判断した場合は（ステップＳ２４のＮｏ）、制御部１００は、オペレータ用表示部２４と顧客用表示部２９に、商品２を認識できなかったため、操作をやり直すことを促すエラーメッセージを表示する（ステップＳ２５）。そして制御部１００は、ステップＳ１１に戻って待機する。

一方、ステップＳ２１において、マーカ６を認識していないと判断した場合は（ステップＳ２１のＮｏ）、制御部１００は、入力された画像に対して物体認識を実行する（ステップＳ３１）。そして制御部１００は、商品２を認識したか否かを判断する（ステップＳ３２）。商品２を認識したと判断した場合は（ステップＳ３２のＹｅｓ）、制御部１００は、当該認識した商品２について、ステップＳ１４の処理とステップＳ１５の処理を実行する。そして制御部１００は、ステップＳ１１に戻って待機する。また、商品２を認識できなかったと判断した場合は（ステップＳ３２のＮｏ）、制御部１００は、ステップＳ１１に戻って待機する。

ステップＳ３１において商品２を検出する方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品２の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品２を検出する。

またステップＳ１１において、撮像部４７から画像を入力していないと判断した場合は（ステップＳ１１のＮｏ）、制御部１００は、操作部２７の終了キー２７１が操作されたか否かを判断する（ステップＳ４１）。操作されたと判断した場合は（ステップＳ４１のＹｅｓ）、制御部１００は、商品情報記憶部４３１に記憶された商品情報を、接続Ｉ／Ｆ４８から回線４９を介して、ＰＯＳ端末１１に送信する（ステップＳ４２）。一方、終了キー２７１が操作されていないと判断した場合は（ステップＳ４１のＮｏ）、制御部１００は、ステップＳ１１に戻って待機する。

このような第１実施形態によると、包装部材である包装袋１にはマーカ６が形成されていて、マーカ６が特定する領域４は透明に形成されているため、包装袋１に収納された商品２は、領域４内において物体認識されるため、袋詰めされた商品２であっても精度良く商品２の認識を行える。

また、第１実施形態によれば、情報処理装置である商品情報読取装置２１は、マーカ６を認識して、マーカ６で囲まれた領域４内の画像を物体認識して包装袋１に収納された商品２を特定するため、袋詰めされた商品２であっても精度良く商品２の認識を行える。

（第２実施形態）
次に、図８と図９を用いて、第２実施形態について説明する。第２実施形態では、情報処理装置としてＰＯＳ端末１１を用いて説明する。なお、以下に説明する第２実施形態によりこの発明が限定されるものではない。また第２実施形態において、包装部材は第１実施形態と同じ包装袋１である。

図８は、第２実施形態のチェックアウトシステムである、ＰＯＳ端末１１と商品情報読取装置２１のハードウェア構成を示すブロック図である。なお、図８において、商品情報読取装置２１の構成は、すでに図４において説明しているため、説明を省略する。図８における商品情報読取装置２１は、図４の商品情報読取装置２１と比較して、商品情報記憶部４３１と商品マスタ４４２を具備しておらず、これらの構成は、ＰＯＳ端末１１が備えている。

図８において、ＰＯＳ端末１１は、制御主体となるＣＰＵ６１、各種プログラムを記憶するＲＯＭ６２、各種データを展開するＲＡＭ６３、各種プログラムを記憶するメモリ部６４等を備えており、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、メモリ部６４は、互いにデータバス６５を介して接続されている。ＣＰＵ６１とＲＯＭ６２とＲＡＭ６３が、制御部２００を構成する。すなわち、制御部２００は、ＣＰＵ６１がＲＯＭ６２やメモリ部６４に記憶されＲＡＭ６３に展開された制御プログラム６４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ６３は、制御プログラム６４１を初めとする各種プログラムを展開する他、撮像部４７で撮像された商品２の商品情報を記憶する商品情報記憶部６３１を有する。

メモリ部６４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリであって、制御プログラム６４１を含むプログラム等を記憶する。また、メモリ部６４は、商品マスタ６４２を記憶している。この商品マスタ６４２は、商品マスタ４４２（図５を参照）と同一構成である。

また、データバス６５には、操作部１５、オペレータ用表示部１４、顧客用表示部１６、印字部６７が、コントローラ６６を介して接続されている。

操作部１５は、ファンクションキー、テンキー、締めキー等の各種キーを有している。

オペレータ用表示部１４は、表示面を店員に向けて設置され、店員に対して情報を表示する。顧客用表示部１６は、表示面を顧客に向けて設置され、顧客に対して情報を表示する。

また、データバス６５は、接続Ｉ／Ｆ６８を接続している。接続Ｉ／Ｆ６８は、回線４９と接続している。回線４９によって、接続Ｉ／Ｆ４８と接続Ｉ／Ｆ６８とが電気的に接続している。

図９は、ＰＯＳ端末１１の制御処理の流れを示すフローチャートである。図９において、制御部２００が実行するステップＳ５１〜ステップＳ５４は、図７のステップＳ１１〜ステップＳ１４と同一の制御であるため、その説明を省略する。なお、第２実施形態では、商品情報読取装置２１は、撮像部４７で読取った画像を接続Ｉ／Ｆ４８を介してＰＯＳ端末１１に送信し、制御部２００は、ステップＳ５１において、商品情報読取装置２１から画像情報を入力（受信）したか否かを判断する。また、制御部２００は、ステップＳ５４において、取得した商品コードに対応した商品情報を商品マスタ６４２から読み出して、商品情報記憶部６３１に記憶する。また、制御部２００は、ステップＳ５４で記憶した商品情報の全部または一部を、接続Ｉ／Ｆ６８を介して商品情報読取装置２１に送信する（ステップＳ５５）。送信された商品情報は、制御部１００が、商品情報読取装置２１のオペレータ用表示部２４と顧客用表示部２９に表示する。

また、図９において、制御部２００が実行するステップＳ６１〜ステップＳ６４は、図７のステップＳ２１〜ステップＳ２４と同一の制御であるため、その説明を省略する。なお、制御部２００は、ステップＳ６４において、一つの商品２を認識しなかった場合（ステップＳ６４のＮｏ）、制御部２００は、エラー情報を、接続Ｉ／Ｆ６８を介して商品情報読取装置２１に送信する（ステップＳ６５）。

また、図９において、制御部２００が実行するステップＳ７１〜ステップＳ７２は、図７のステップＳ３１〜ステップＳ３２と同一の制御であるため、その説明を省略する。

制御部２００がステップＳ５１において、商品情報読取装置２１から画像情報が入力されていないと判断した場合は（ステップＳ５１のＮｏ）、制御部２００は、操作部１５に設けられた決済キー（図示せず）が操作されたか否かを判断する（ステップＳ８１）。操作されたと判断した場合は（ステップＳ８１のＹｅｓ）、制御部２００は、商品情報記憶部６３１に記憶した商品情報および入力された金額情報等に基づいて、当該取引の決済処理を実行する（ステップＳ８２）。そして制御部２００は、処理を終了する。また、決済キーが操作されていないと判断した場合は（ステップＳ８１のＮｏ）、制御部２００は、ステップＳ５１に戻って待機する。

このような第２実施形態によれば、情報処理装置であるＰＯＳ端末１１は、包装袋１に形成された物体認識する透明な領域４を特定するマーカ６を認識し、マーカ６内の画像を物体認識して、包装袋１に収納された商品２を特定するため、袋詰めされた商品や包装された商品であっても精度よく認識することができる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、包装袋１のマーカ６で囲まれた領域４を透明としたが、内部に収納された商品２が透過できる程度の略透明色であってもよい。

また、実施形態では、マーカ６として二重線の枠で領域４を形成したが、単線の枠で領域４を形成してもよいし、枠ではなく、４つのポイントであるポイント７ａ〜７ｄのみを印刷して、ポイント７ａ〜７ｄで囲まれる領域４を形成してもよい。また、例えば対角線上に形成された２つのポイントであるポイント７ａとポイント７ｄ、またはポイント７ｂとポイント７ｃで領域４を形成するようにしてもよい。また、例えば、ポイント７ａ、ポイント７ｂ、ポイント７ｃ等の、３つのポイントによって領域４を形成してもよい。この場合、ポイント７ａ〜７ｄは、角部であることを示し、領域４を形成することができる、ドット形状、または９０度に屈曲した「く」字上の図形とするとよい。

また、実施形態では、マーカ６の認識にパターン認識技術を用いたが、マーカ６を物体であるとして、物体認識技術を用いてマーカ６を認識してもよい。

また、上記第１実施形態では情報処理装置としてＰＯＳ端末１１を適用し、第２実施形態では情報処理装置として商品情報読取装置２１を適用したが、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置２１の機能を両方備えた１台構成の装置又は、例えば、図３に示す商品情報読取装置２１及びＰＯＳ端末１１が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。ＰＯＳ端末１１及び商品情報読取装置２１の機能を両方備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１０は、セルフＰＯＳ８０の外観構成を示す斜視図、図１１は、セルフＰＯＳ８０のハードウェア構成を示すブロック図である。なお、以下では、図１０および／または図１１の参照符号８１〜８６、８７と８８、９０〜９２、８７１、８３１、８４１、８４２は、図４の参照符号４１〜４６、２７と２９、４７〜４９、２７１、４３１、４４１、４４２と同一構成である。また、図１１の参照符号８９は、図８の参照符号６７と同一構成である。そのため、これらの構成についての説明を省略する。

図１０及び図１１に示すように、セルフＰＯＳ８０の本体９１は、タッチパネル８７が表面に配設された顧客用表示部８８や、商品の種別等を認識（検出）するために商品画像を撮像する撮像部９０を備える。

顧客用表示部８８としては例えば液晶表示器が用いられる。顧客用表示部８８は、客にセルフＰＯＳ８０の操作方法を知らせるための案内画面や、各種の入力画面や、撮像部９０で撮像した商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

撮像部９０は、顧客が商品に付されたコードシンボルを撮像部９０の読取窓９０１にかざすことで商品画像を撮像部９０により撮像するものである。

また、本体９１の右側には、かごに入った未精算の商品を置くための商品載置台９２を設け、本体９１の左側には、精算済みの商品を置くための商品載置台９３を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック９５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台９６を設ける。商品載置台９２及び９３の内部には、載置された商品を計量する計量器（図示せず）をそれぞれ備えており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ８０の本体９１には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器９４を設ける。

このような構成のセルフＰＯＳ８０に本発明の実施形態を適用した場合、セルフＰＯＳ８０が情報処理装置として機能する。なお、ＰＯＳ端末１１と商品情報読取装置２１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ８０に限らず、計量器を含まない構成の装置であってもよい。

また、第１実施形態では商品情報読取装置２１を情報処理装置とし、第２実施形態ではＰＯＳ端末１１を情報処理装置としたが、本発明の構成の一部を具備した商品情報読取装置２１と本発明の構成の一部を具備したＰＯＳ端末１１の両方を、情報処理装置としてもよい。

なお、実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の情報処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１包装袋
４領域
６マーカ
１１ＰＯＳ端末
２１商品情報読取装置
１００制御部
１０１マーカ認識手段
１０２商品特定手段
２００制御部

特開２０１３−０８９０８５号公報

Claims

少なくとも一部が光学的に透明な領域を有して包装主体となる本体部と、前記透明な領域に形成され、商品を物体認識する領域を示すマーカと、を備える包装部材、および当該包装部材に収納された商品、の撮像画像を入力する画像入力手段と、
前記撮像画像において前記マーカの画像を認識すると、前記撮像画像のうち前記マーカで囲まれた領域について物体認識処理を行って、前記包装部材に収納されている商品を特定する第１商品特定手段と、
前記撮像画像において前記マーカの画像を認識しなければ、前記撮像画像について物体認識処理を行って、前記包装部材に収納されている商品を特定する第２商品特定手段と、
を備えた情報処理装置。
情報処理装置を制御するコンピュータを、
少なくとも一部が光学的に透明な領域を有して包装主体となる本体部と、前記透明な領域に形成され、商品を物体認識する領域を示すマーカと、を備える包装部材、および当該包装部材に収納された商品、の撮像画像を入力する画像入力手段と、
前記撮像画像において前記マーカの画像を認識すると、前記撮像画像のうち前記マーカで囲まれた領域について物体認識処理を行って、前記包装部材に収納されている商品を特定する第１商品特定手段と、
前記撮像画像において前記マーカの画像を認識しなければ、前記撮像画像について物体認識処理を行って、前記包装部材に収納されている商品を特定する第２商品特定手段と、
して機能させるためのプログラム。