JP6485105B2 - 商品販売データ処理装置 - Google Patents

Description

本発明は、商品販売データ処理装置に関する。

顧客により選択された風袋に顧客により選択された商品を入れた被計量物を計量するカメラ付きのセルフ式計量装置が知られている（例えば、特許文献１参照）。この計量装置は、撮像した画像に応じて風袋の大きさを特定し、計量結果に応じて商品の価格を表記したラベルを発行する。顧客はそのラベルを風袋に貼り付け、レジにてその商品の金額を支払う。
一般的なカメラ付きセルフ式計量装置では、カメラの露光調整を撮像範囲の全領域で同じように行っていた。

特開２０１３−１０８８１７号公報

しかしながら、カメラ付きセルフ式計量装置を設置した環境によっては、ライトなどの影響により撮像範囲の一部分だけが明るい、影などの影響により撮像範囲の一部分だけが暗いなど、撮像範囲で明るさが不均一の場合がある。このように撮像条件が良好でない場合、適切に画像認識を行えず、風袋の大きさを特定することができないことがある。

本発明は、上述した問題に鑑みてなされたもので、撮像範囲の明るさが不均一であっても、撮像範囲の一部分または全部の露光値などの撮像条件を調整して、高精度に画像認識することができる商品販売データ処理装置を提供すること、などを目的とする。

このような目的を達成するために、本発明の商品販売データ処理装置は、以下の構成を少なくとも具備するものである。
撮像手段により撮像される物体を認識して販売データを処理する商品販売データ処理装置であって、
前記撮像手段により撮像される撮像範囲の一部分または全部の領域を指定する領域指定手段と、
前記領域指定手段により指定された領域に関する撮像条件である露光値を変更する撮像条件変更手段と、を有し、
前記撮像範囲の範囲内に商品を載置するための凹部を形成し、該撮像範囲の周囲には複数のはみ出し検出部を設けた、
ことを特徴とする。

本発明によれば、撮像範囲の明るさが不均一であっても、撮像範囲の一部分または全部の露光値などの撮像条件を調整して、高精度に画像認識することができる商品販売データ処理装置を提供することができる。
また、本発明の商品販売データ処理装置は、高い商品認識率を有し、正しく商品登録を行うことができる。

本発明の実施形態に係る商品販売データ処理装置の一例を示す斜視図。 商品販売データ処理装置の一例を示す図、（ａ）は商品販売データ処理装置の電気的な機能ブロックの一例を示す図、（ｂ）は制御部の機能ブロックの一例を示す図。 容器（風袋）の一例を示す図、（ａ）は角型容器の一例を示す図、（ｂ）は丸型容器の一例を示す図。 商品販売データ処理装置に記憶されているデータの一例を示す図、（ａ）は商品情報の一例を示す図、（ｂ）は容器情報の一例を示す図。 商品販売データ処理装置の印字部から発行されるラベルの一例を示す図。 撮像範囲において均一な明るさの場合のメンテナンス画面の一例を示す図。 撮像範囲において不均一な明るさの場合のメンテナンス画面の一例を示す図。 撮像範囲内の指定領域の露光値を増加させる場合の設定画面の一例を示す図。 撮像範囲内の指定領域の露光値を減少させる場合の設定画面の一例を示す図。

本発明の実施形態に係る商品販売データ処理装置を、図面を参照しながら説明する。本発明の実施形態は図示の内容を含むが、これのみに限定されるものではない。なお、以後の各図の説明で、既に説明した部位と共通する部分は同一符号を付して重複説明を一部省略する。

図１は本発明の実施形態に係る商品販売データ処理装置の一例を示す斜視図である。
本実施形態では、商品販売データ処理装置１００を撮像部（カメラ）付きのセルフ式計量装置に適用した場合を説明する。この商品販売データ処理装置１００は、例えば、スーパーなどの店舗に設置され、商品の種類、個数、金額などの販売データを生成して、その販売データを、金銭登録機、ホストコンピュータなどに登録することができる。また、この商品販売データ処理装置１００は、プリンタなどの印字部９を備え、印字部９により販売データに応じたラベルを発行することができる。

本実施形態では、店舗では、例えば、容器（風袋）に収容した商品などを販売している。顧客は商品を選んで容器に収容し、その商品を収容した容器を、撮像部付きのセルフ式計量装置である商品販売データ処理装置１００の計量部７の計量皿などに載置する。
商品販売データ処理装置１００は、容器（風袋）、商品の種類、商品の種類毎の個数などを撮像部８により撮像された画像データに対して画像認識処理を施し、その画像認識処理の結果および計量結果に基づいて、商品、商品の個数、商品の種類などを印字したラベルを発行する。顧客は、このラベルを容器に貼付し、金銭登録機の設置された場所にて、所定の金額を支払う。
以下、商品販売データ処理装置１００（セルフ式計量装置）の各構成要素を詳細に説明する。

図１に示したように、商品販売データ処理装置１００の装置本体部１００ａに、計量皿（不図示）などを備えた計量部７が設けられている。装置本体部１００ａには、プリンタなどの印字部９が設けられており、排紙口９ａから印字部９により発行されたラベルが排紙される。
装置本体部１００ａの上部には支柱部１００ｂにより支持された操作部５や表示部６などが設けられている。本実施形態では、操作部５や表示部６としてタッチパネル装置を採用している。操作部５、表示部６、または、支柱部１００ｂには、計量部７の計量皿（載置部（載置手段））などに載置された商品（容器）を撮像する撮像部８が設けられている。計量部７上に撮像部８の撮像範囲８０（認識範囲）が設定されている。
例えば、計量部７の計量皿（載置部）の表面に光の反射を防ぐ表面処理を施してもよい。これにより、計量部７の計量皿（載置部）に関し、不要な光の反射を防ぐことができ、撮像画像により商品（容器）の形状や色の識別率を向上させることができる。

図２は商品販売データ処理装置１００の一例を示す図である。詳細には、図２（ａ）は商品販売データ処理装置の電気的な機能ブロックの一例を示す図、図２（ｂ）は制御部の機能ブロックの一例を示す図である。
本発明の実施形態に係る商品販売データ処理装置１００は、制御部１（ＣＰＵ）と、記憶部としてのＲＯＭ２およびＲＡＭ３と、補助記憶部４と、操作部５と、表示部６と、計量部７と、撮像部８と、印字部９と、通信部１０と、音声出力部１１（スピーカ）と、などを有する。上記各構成要素は、バスなどの通信線１２などにより電気的に接続されている。

制御部１（ＣＰＵ）は、商品販売データ処理装置１００の各構成要素を統括的に制御する。

ＲＯＭ２は本発明に係る各種プログラムや設定値などを記憶する。ＲＡＭ３はプログラムを実行するためのワークエリアを有する。また、本実施形態では記憶部としてのＲＡＭ３は、商品の単位質量情報を含む商品情報（商品データ）、容器情報などを記憶する。

補助記憶部４は、例えば、着脱自在なフラッシュメモリなどの記憶装置であり、商品販売データ処理装置１００に関する設定情報などを保存可能である。
操作部５は、スイッチ、ボタン、タッチパネルなどであり、操作者（客など）により操作され、所定の操作入力に応じた信号を制御部１に出力する。
表示部６は、制御部１の制御により、本発明に係る表示を行う。本実施形態では、タッチパネル式の表示部６を採用している。

計量部７は、計量皿（載置部）などを有し、計量皿などに載置された商品の質量を計量し、商品（物品）の質量を示す情報を制御部１に出力する。計量部７の計量皿は、規定の色とすることが好ましい。こうすることで、例えば、計量皿などに載置された商品や、商品に付された識別子のマークの形状や色相の認識率を上げることができる。
また、計量部７の計量皿は、撮像部８の撮像範囲内に凹部が形成されていることが好ましい。この計量部７の計量皿の凹部は、この凹部に商品を載置させるガイドとして機能し、商品の認識率を上げることができる。なお、計量部７の計量皿は、上記凹部にかぎらず、凸部でも、線等でも、撮像部８の撮像範囲（商品を置くべき位置）を操作者（顧客）が直接または間接的にわかるように構成されていればよい。

撮像部８は商品、物品、容器などを撮像する。本実施形態では、計量部７上の撮像範囲８０（認識範囲）に載置された商品を撮像し、画像データを制御部１に出力する。撮像部８としては、ＣＣＤ撮像装置、ＣＭＯＳ撮像装置などを挙げることができる。

印字部９は、制御部１の制御により、物品を容器に収容した商品の販売データ（商品の種類、個数、金額など）をラベルに印字する。

通信部１０は、制御部１の制御により、有線式または無線式の通信路を介して金銭登録機、ホストコンピュータなどのコンピュータとデータ通信を行うことが可能である。

音声出力部１１（スピーカ）は、制御部１の制御により、商品販売データ処理装置１００（セルフ式計量装置）に関する操作案内、エラー音などの音を所定のタイミングで発音可能である。

制御部１（ＣＰＵ）は、記憶部に記憶された制御用プログラムを実行することにより、コンピュータとしての商品販売データ処理装置１００に、本発明に係る機能を実現させる。本実施形態では、制御部１は、図２（ｂ）に示したように、商品判定部１６１、商品登録部１６２、領域指定部１６３（領域指定手段）、撮像条件変更部１６４（撮像条件変更手段）、などを有する。

商品判定部１６１は、撮像部８からの画像データに基づいて商品を特定する。詳細には、商品判定部１６１は、撮像部８からの画像データから、商品の大きさ、形状、色、容器に貼付されたシールなどの図形、文字、記号などのいずれか又はその組み合わせに基づいて、記憶部に記憶されている商品の種類情報と照らし合わせて、商品を特定する処理を行う。上記シールに印字された図形、文字、記号などは容器に直接印字されていてもよい。本実施形態では、商品判定部１６１は、撮像部８による画像データから商品の容器の大きさに基づいて容器を特定する処理を行う。

商品登録部１６２は、撮像部８で撮像した画像データ、計量部７による商品の質量、記憶部に記憶されている商品データに基づいて、商品の料金等を決定し、商品の販売データを生成して登録する。
例えば、商品が量り売り販売形態の場合、計量部７で計量された商品などの質量データに基づいて、商品の販売データを生成して登録する。また、例えば、商品が個数売り販売形態の場合、計量部７で計量された商品などの質量データや、撮像部８で撮像した画像データにより特定した商品の個数と、記憶部に記憶されている商品の単価に基づいて、商品の販売データを生成して登録する。
また、商品登録部１６２は、販売データを印字部により用紙に印字して、ラベルを発行する処理を行う。

領域指定部１６３は、撮像部８（撮像手段）により撮像される撮像範囲の一部分または全部の領域を指定する。

撮像条件変更部１６４は、領域指定部１６３（領域指定手段）により指定された領域に関する露光値などの撮像条件を変更する。

図３は容器（風袋）の一例を示す図である。詳細には、図３（ａ）は角型容器の一例を示す図、図３（ｂ）は丸型容器の一例を示す図である。
本実施形態では、図３（ａ）に示したように、商品として角型容器（風袋）に品物を収容して販売してもよいし、図３（ｂ）に示したように丸型容器に品物を収容して販売してもよい。また、予め容器毎に量り売りや個数売りなどの販売形態を設定しておき、容器に応じて販売形態を特定してもよい。

図４は商品販売データ処理装置の記憶部に記憶されているデータの一例を示す図である。詳細には、図４（ａ）は商品情報の一例を示す図、図４（ｂ）は容器情報の一例を示す図である。

商品情報（物品情報）は、商品の分類、商品コード（物品コード）、コロッケやサラダなどの商品名称、産地名、単位重量（単位質量データ）、規格単位、容器コード、単価などを関連付けて記憶している。
なお、撮像部（撮像手段）で物品（商品）を撮像した撮像データ（画像データ）により物品（商品）を特定する場合は、商品情報に商品を特定する商品特定情報（商品特定情報は、商品の寸法、色、形状などを数値化したデータ）を更に備えてもよい。

容器情報は、容器コード、角形容器や丸形容器などの容器名称（容器の種類）、容器特定情報（特定情報）、販売形態情報、商品コード（物品コード）、容器の質量データ（風袋重量データ、または風袋質量データ）、などを関連付けて記憶している。
容器特定情報は、容器の面積（撮像部により容器を撮像した場合の容器の面積）、容器の形状などを示す情報である。なお、容器の形状などを示す情報は、容器を上方から撮像したときの形状、面積、色等に限られず、例えば、撮像部（撮像手段）で物品（商品）の底部を撮像し撮像データ（画像データ）を取得する場合、容器の底部の形状、底部の面積、底部の色などが容器特定情報（特定情報）になり、撮像部（撮像手段）の撮像方向が容器の側端（前後、左右いずれも）である場合、容器の側端の形状、側端の面積、側端の色等が容器特定情報（特定情報）となる。販売形態情報としては、例えば、個数売りの場合は０で示し、量り売りの場合は１で示している。つまり、販売形態情報は、容器による販売形態が量り売りであるか否かを示している。
なお、容器特定情報の設定は設定画面で行うものであり、計量部の載置部に載置した空容器を撮像部で撮像し二値化処理を行い容器の面積を取得する。この取得した面積を容器の容器特定情報（特定情報）として記憶部に記憶する。なお、容器特定情報は面積に限らず、例えば、容器を二値化したドットの数であってもよいし、あるいは、外観形状（シルエット）、立体的な実寸法（縦、横、高さ）、容器表面の色や柄などを複合的に組み合わせたものであってもよい。

本実施形態では、容器（トレイ）の種類と、容器（トレイ）に収容された物品の種類が関連付けられて記憶部に記憶されている。また、容器（トレイ）の種類と、販売形態情報が関連付けられて記憶部に記憶されている。

図５は商品販売データ処理装置の印字部から発行されるラベルの一例を示す図である。
ラベルには、例えば、商品の名称、製造年月日、賞味期限、商品の値段、店舗名、店舗の住所、バーコードなどが印字される。
顧客は、発行されたラベルを容器に貼付して、金銭登録機の設置された場所にて、所定の金額を支払う。

図６は、撮像範囲において均一な明るさの場合のメンテナンス画面の一例を示す図である。
商品販売データ処理装置は、例えば、メンテナンス画面に、撮像部により撮像された商品などの画像（キャプチャ画像６１）に対して、設定された閾値に基づいて２値化処理を施して得られた２値化画像（変換後画像６２）、容器認識に関する良（○）または不良（Ｘ）を示すデータ、容器サイズのデータ、容器等がはみ出しているか否かを示すデータ（はみ出していない場合に丸印（○）、容器等がはみ出している場合にＸ印を示す）、容器種別を示すデータ、シールの色を示すデータ、などを表示する。

キャプチャ画像６１には、商品の認識範囲６１ａが設定されている。認識範囲６１ａは、例えば、計量部の計量皿上の商品載置領域などに対応するように設定されることが好ましい。商品がその認識範囲６１ａからはみ出した場合や、操作者の手などがキャプチャ画像６１に写った場合に、制御部は、正確に商品の容器を特定することができないと判断し、エラー処理を行う。制御部によるエラー処理としては、表示部にエラーを示す表示を行う処理、商品を認識範囲６１ａ内に載置するように促す表示を表示部に表示させる処理、などを挙げることができる。

詳細には、本実施形態では、認識範囲６１ａの周囲に複数のはみ出し検出部６１ｃを設けている。制御部１は、例えば、はみ出し検出部６１ｃの画素値が閾値以上の場合に、認識範囲６１ａから商品がはみ出している、操作者の手などがキャプチャ画像６１に写っている、などのエラーであると判断し、エラー処理を行う。

また、商品販売データ処理装置は、容器や商品などの被測定物毎に、特定情報としての被測定物のサイズの平均値を示す平均値マーク７１、被測定物（物体）を特定する際に参照される被測定物（物体）の大きさの許容範囲を示す許容範囲情報７２を関連付けて記憶部に記憶しており、必要に応じてメンテナンス画面に表示する（図６参照）。

また、表示部の画面中央から画面下部には、縦軸に被測定物に割り当てられた識別番号を示し、横軸に被測定物の大きさ（サイズ）、本実施形態では、画素数などを示している。

また、本実施形態では、許容範囲情報７２は、例えば、被測定物を複数回測定した測定値の分布（正規分布など）から算出された識別範囲情報７３と、識別範囲よりも大きい誤差範囲情報７４と、を有する。
尚、識別範囲情報７３は、被測定物の大きさ（サイズ）を複数回測定した平均値を基に、所定の幅を持たせることにより算出してもよい。
また、制御部は、載置部上の撮像位置に対応して、撮像部により得られる画像データに歪みが発生する場合、その歪みを補正して被測定物の大きさを算出する際の補正処理に基づいて、所定の幅を持たせることにより、所定の幅を有する識別範囲情報７３を算出してもよい。

また、誤差範囲情報７４は、例えば、撮像部により被測定物を撮像する際、照明光や太陽光などの撮影環境（撮影状況）により、被測定物の大きさ（サイズ）の測定誤差を考慮して算出された範囲を示す。
この誤差範囲情報７４は、被測定物を複数回測定した測定値の分布（正規分布など）から算出されてもよいし、平均値に対応して予め規定された割合で、平均値から算出してもよい。

図７は撮像範囲において不均一な明るさの場合のキャプチャ画面の一例を示す図である。
商品販売データ処理装置の設置環境によっては、影などの影響により撮像範囲の一部分だけが暗いなど、撮像範囲で明るさが不均一の場合がある。図７に示した例では、撮像範囲の左側領域の一部分に影があり、キャプチャ画像６１の左側領域の一部分が暗くなっている。この場合、２値化画像（変換後画像６２）において、容器や商品の左側領域が正しい形状になっていない。

図８は、撮像範囲内の指定領域の露光値を増加させる場合の設定画面の一例を示す図である。
本発明の実施形態では、撮像部８（撮像手段）により撮像される撮像範囲の一部分または全部の領域を指定し、その領域の露光値などの撮像条件を変更することで、撮像範囲内の明るさの不均一を低減し、容器や商品を正しく認識させる処理を行う。次に、その処理の一実施形態を説明する。

図８に示した設定画面には、撮像画像全体の露光値を示す露光値表示部５１、露光値を１ポイントずつ減少させる減少ボタン５２ａ、露光値を１ポイントずつ増加させる増加ボタン５２ｂ、露光値を１０ポイントずつ減少せる減少ボタン５２ｃ、露光値を１０ポイントずつ増加せる増加ボタン５２ｄ、露光値を自動設定させる自動設定ボタン５３が表示されている。

また、図８に示した設定画面には、キャプチャボタン６０（キャプチャーキー）、領域ＡＲに関する部分露光値表示部５４、部分露光値を１ポイントずつ減少させる減少ボタン５５ａ、部分露光値を１ポイントずつ増加させる増加ボタン５５ｂ、領域ＡＲの左辺に対応する直線５６１を左側に移動させる左移動ボタン５６ａ、直線５６１を右側に移動させる右移動ボタン５６ｂ、領域ＡＲの右辺に対応する直線５７１を左側に移動させる左移動ボタン５７ａ、直線５７１を右側に移動させる右移動ボタン５７ｂ、領域ＡＲの上辺に対応する直線５８１を上側に移動させる上移動ボタン５８ａ、直線５８１を下側に移動させる下移動ボタン５８ｂ、領域ＡＲの下辺に対応する直線５９１を上側に移動させる上移動ボタン５９ａ、直線５９１を下側に移動させる下移動ボタン５９ｂ、設定処理を終了させる終了ボタン６９などが表示されている。尚、領域ＡＲは、直線５６１、直線５７１、直線５８１、直線５９１により囲まれた領域である。
制御部は上記ボタン（キー）などが操作された場合、それぞれに割り当てられた機能を実行する。

図８に示した例では、左移動ボタン５６ａ、右移動ボタン５６ｂ、左移動ボタン５７ａ、右移動ボタン５７ｂ、上移動ボタン５８ａ、下移動ボタン５８ｂ、上移動ボタン５９ａ、下移動ボタン５９ｂをユーザ（操作者）が操作することにより、撮像部により撮像される撮像範囲の一部分または全部の領域ＡＲを容易に指定することができる。
尚、領域指定手段としては、この形態に限られるものではなく、例えば、タッチパネルを操作して領域ＡＲの境界領域をなぞることにより、領域ＡＲを指定してもよい。
また、領域指定手段は、一つまたは複数の領域ＡＲを指定してもよい。

ユーザ（操作者）は、減少ボタン５５ａまたは増加ボタン５５ｂを操作することにより、指定された領域ＡＲの露光値を容易に調整することができる。本実施形態では、露光値表示部５１に表示された露光値と、部分露光値表示部５４に表示された値を加減することにより、領域ＡＲの露光値を調整することができる。
尚、撮像条件変更手段は、領域ＡＲの露光値を変更できる手段であれば、この形態に限られるものではない。

図９は撮像範囲内の指定領域の露光値を減少させる場合の設定画面の一例を示す図である。図９に示した例では、領域ＡＲの露光値を低下させることにより、撮像領域全体の明るさの不均一を低減させている。

上述したように、撮像範囲内の指定領域の露光値の補正は、使用環境が変化しない場合に一度だけ行えばよく、使用環境が変化した場合には、撮像範囲内の指定領域の露光値の補正を再度行えばよい。

以上、説明したように、本発明の実施形態に係る商品販売データ処理装置１００は、撮像部８（撮像手段）により撮像される物体（容器や商品など）を認識して販売データを処理する。この商品販売データ処理装置１００は、撮像部８（撮像手段）により撮像される撮像範囲の一部分または全部の領域ＡＲを指定する領域指定部１６３（領域指定手段）と、領域指定部１６３（領域指定手段）により指定された領域ＡＲに関する露光値などの撮像条件を変更する撮像条件変更部１６４（撮像条件変更手段）と、を有する。
このため、撮像部８の撮像範囲の明るさが不均一であっても、領域指定部１６３により指定された、撮像範囲の一部分または全部の領域ＡＲに関する露光値などの撮像条件を撮像条件変更部１６４（撮像条件変更手段）が変更することで、高精度に画像認識することができる商品販売データ処理装置を提供することができる。

また、本実施形態では、領域指定部１６３による領域の指定は、表示部６（表示手段）より表示した撮像範囲の一部分または全部の領域ＡＲを指定することにより行うことができる。このため、ユーザ（設定者）は、表示部６に表示された撮像範囲の画像を見ながら、簡単な操作により、撮像範囲の一部分または全部の領域ＡＲの露光値を容易に調整することができる。
尚、上記撮像範囲の領域の指定や露光値（部分露光値）の設定を、制御部１が撮像部による撮像画像の各画素値に基づいて自動で最適値に設定する処理を行ってもよい。こうすることで、制御部が撮像領域の一部分または全部に関して、露光値を最適に自動で設定することができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
また、上述の各図で示した実施形態は、その目的及び構成等に特に矛盾や問題がない限り、互いの記載内容を組み合わせることが可能である。
また、各図の記載内容はそれぞれ独立した実施形態になり得るものであり、本発明の実施形態は各図を組み合わせた一つの実施形態に限定されるものではない。
尚、上記実施形態では、撮像部により得られた画像の一部分または全部の領域の露光値などを変更したが、この形態に限られるものではない。例えば、撮像部にハード的なフィルタを部分的に設けるなどして、撮像時に部分的に露出を異ならせるようにすることで、本発明に係る撮像条件を変更してもよい。

１ 制御部（ＣＰＵ）
２ ＲＯＭ（記憶部：記憶手段）
３ ＲＡＭ（記憶部：記憶手段）
４ 補助記憶部
５ 操作部（操作手段：タッチパネル）
６ 表示部（表示手段：タッチパネル）
７ 計量部（計量手段）
８ 撮像部（取得手段、読取手段、撮像手段、スキャナ部（スキャナ装置））
９ 印字部（印字手段）
１１ 音声出力部（スピーカ）
１００ 商品販売データ処理装置（セルフ式販売装置）
１６１ 商品判定部
１６２ 商品登録部
１６３ 領域指定部
１６４ 撮像条件変更部

Claims (1)

1. 撮像手段により撮像される物体を認識して販売データを処理する商品販売データ処理装置であって、
   前記撮像手段により撮像される撮像範囲の一部分または全部の領域を指定する領域指定手段と、
   前記領域指定手段により指定された領域に関する撮像条件である露光値を変更する撮像条件変更手段と、を有し、
   前記撮像範囲の範囲内に商品を載置するための凹部を形成し、該撮像範囲の周囲には複数のはみ出し検出部を設けた、
   ことを特徴とする商品販売データ処理装置。