JP6473056B2 - 店舗システムとそのプログラム - Google Patents

Description

この発明は、パン、野菜、菓子、薬品等の商品を画像認識により識別する店舗システムとそのプログラムに関する。

出願人は、パン、生野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像識別により識別するシステムを開発した（例えば特許文献１ 特許5510924）。商品を画像識別により自動的に識別できると、例えばPOS端末でのレジ打ち作業を軽減でき、またパン、生野菜等のようにバーコード等を付けるのに適さない商品を、POS端末で容易に処理できる。さらに薬品の場合、処方箋と薬品とが一致していることを確認できる。

商品の認識では、２つの商品が重なり１つの商品として認識されることがある。そこで出願人は、重なった商品を分離する手法を提案した（特許文献２ 特許5750603）。図２にそのアルゴリズムを示す。物品の輪郭３２は輪郭ベクトルＰ１〜Ｐ４等により表現される。輪郭３２に、所定の距離内で向かい合うくびれ３４，３５が有る場合、くびれの外側に線３７，３８を引き、ベクトルＤ１，Ｄ２を発生させる。くびれ３４，３５の深さはベクトルＤ１，Ｄ２の長さで表すことができ、くびれ３４，３５を接続する線３６の長さはくびれの間隔を表す。また線３６と輪郭３２との角度θ１，θ２はくびれの急峻さを表す。そこでベクトルＤ１，Ｄ２の長さ、線３６の長さ、及び角度θ１，θ２等が所定の条件を満たす場合、線３６に沿って物品を分割する。これに伴い、図２の左側に示すように輪郭ベクトルＰ５，Ｐ６を発生させる。

特許文献３（特許5722963）は、店舗システムでの商品の再識別を記載している。画像認識した商品をタッチパネルに示すと共に、削除、追加、分割等のアイコンが用意されている。再識別する範囲を囲むように、タッチパネルを指でなぞる、あるいは再識別範囲の対角線の２頂点をタッチパネル上で指定するなどにより、再識別範囲を指定する。

特許5510924 特許5750603 特許5722963

特許文献２の手法では、１個の商品が２個の商品に過分割されることがある。物品の輪郭３２のみでなく高さ画像を追加して図２での分割候補の線３６の高さを利用する、線３６の周囲での明度の変化を利用するなども可能であるが、いずれにせよ完全に過分割を防止することは難しい。さらに、過分割が生じたときに、図２の線３６をなぞって線３６を削除するようにすると、線３６を正確になぞる必要がある。例えば線３６から多少とも離れた位置がなぞられると、どの線を削除するのかの解釈が複雑になる。

この発明の課題は、どの領域とどの領域とを統合し１個の商品とみなすのかを、入力位置が多少不正確でも、正確に指定できるようにすることにある。

この発明は、
１個〜複数個の商品を撮像するカメラと、
前記カメラの画像から個々の商品の輪郭を切り出すと共に、切り出した個々の商品の種類を画像の特徴により識別する画像識別部と、
商品の画像と識別結果とを表示するモニタ、とを備える店舗システムにおいて、
１個の商品が複数個の領域に過分割されている際に、過分割により生じている複数個の領域が前記モニタ上でマニュアルにより指定されたことを受け付け、指定された複数個の領域に対し、輪郭が互いに向かいあっている部分で複数個の領域を１個の商品へ統合する統合処理部、を備えていることを特徴とする。商品の輪郭を切り出すとは、背景あるいは他の商品と区別するように、商品の輪郭を抽出することである。

この発明の店舗システムのプログラムは、１個〜複数個の商品を撮像するカメラの画像から、個々の商品の種類を識別し、商品の画像と識別結果とをモニタに表示する店舗システムのプログラムにおいて、
コンピュータを、
個々の商品の輪郭を切り出すと共に、切り出した個々の商品の種類を画像の特徴により識別する画像識別部と、
１個の商品が複数個の領域に過分割されている際に、過分割により生じている複数個の領域が前記モニタ上でマニュアルにより指定されたことを受け付け、指定された複数個の領域に対し、輪郭が互いに向かいあっている部分で複数個の領域を１個の商品へ統合する統合処理部、
として機能させる。

この発明では、過分割により生じている複数個の領域をマニュアルにより指定させる。例えば統合すべき各領域中の少なくとも一点を指定させることにより、その点が属する領域を統合すべき事を指定できる。そして輪郭が互いに向かい合っている部分で指定された複数個の領域を統合する。即ちこの発明では、単に統合する複数の領域を指定させ、これらの領域で輪郭が互いに向かい合っている部分を統合する。この発明では、削除すべき輪郭中の部分を指定させるのではない。削除すべき輪郭中の部分を指定させると、マニュアル入力の軌跡と輪郭とが一致しないなどにより処理が曖昧になる。また統合する複数個の領域を囲むように入力させるのでもない。このような入力は面倒である。なお輪郭が向かい合っているとは、輪郭が平行であることには限らない。例えば輪郭間の距離が短ければ、向きが異なっていても、向かい合っているといえる。

好ましくは、統合処理部は、モニタ上で１ストロークのマニュアル入力で指定された、複数個の領域を統合するように構成されている。即ち、ストロークの起点が属する領域と終点が属する領域を統合する領域とし、これ以外の領域をストロークの途中で通過している場合、その領域も統合する。１ストロークとは、例えばタッチパネルに指で入力する場合、所定の時間以上指をタッチパネルから離さずに動かした指の軌跡のことである。マウス等の場合も、同様にマウスを続けて操作した軌跡のことである。画像識別部は、１ストロークのマニュアル入力が完了すると、識別を開始する旨のマニュアル入力無しで、統合された商品の識別を開始するように構成されている。１ストロークが完了し統合する複数の領域が指定されると、「確定」「再識別」等のアイコン等を操作せずに、統合した商品の再識別を開始できる。

また好ましくは、統合処理部は、輪郭間の距離が所定の画素数以下の部分で、即ち輪郭が十分に近接している部分で、複数個の領域を統合するように構成されている。

実施例の店舗システムのブロック図 領域の分割アルゴリズムを示す図 実施例での画像認識アルゴリズムを示すフローチャート 実施例での領域統合アルゴリズムを示すフローチャート 領域統合に伴う処理を示す波形図で、1)は領域統合アイコンのon/offを、2)はタッチ入力を、3)は輪郭ベクトルの削除を、4)はタッチ入力完了後の再認識を示す 実施例でのタッチパネルの表示で、パンが過分割されている 実施例でのタッチパネルの表示で、領域の統合が入力されている 過分割された野菜を模式的に示す図 過分割された菓子を模式的に示す図 過分割された薬品を模式的に示す図

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１は店舗システム２のアーキテクチャーを示し、撮像装置４はベース８とカラーのデジタルカメラ１２とを備え、他に商品の高さ画像を撮像するための立体視カメラ、商品の温度画像を撮像するための赤外線カメラなどを備えていても良い。そして例えばトレイ１０上に図示しない商品を乗せ、カメラ１２で撮像してカラー画像を取得する。

認識装置６は例えば店舗でのレジのＰＯＳシステムと一体で、コンピュータとタッチパネル３０を共用するが、別体でも良い。メモリ１４にトレイ１０上の商品と背景とのカラー画像をＲＧＢ，あるいはＨＳＶなどのフォーマットで記憶する。画像認識部１８により、例えば背景上の画素を０，商品上の画素を１とする二値画像により、背景と商品とを分離し、二値画像をメモリ１５に記憶する。二値画像での商品の輪郭に沿って輪郭ベクトルを発生させ、輪郭を複数の輪郭ベクトルにより多角形近似し、輪郭ベクトルの始点位置と先端位置及び輪郭ベクトルの番号等をメモリ１６に記憶する。なお１個の商品（領域）の輪郭ベクトルを接続すると、閉じた輪郭となる。

画像認識部１８は、特許文献２の手法等により、１つの領域を２個以上の商品へ分割する。この処理により、複数の商品が接触している場合でも、個々の商品を抽出できるようにする。また画像認識部１８は、輪郭ベクトルで囲まれた個々の商品毎に、ＲＧＢ画像あるいはＨＳＶ画像の特徴、例えば明度、色相、テクスチャー、及びそれらに関する統計量等を、データベース２０に記憶した商品画像の特徴と比較する。このようにして個々の商品の種類を識別する。

レジ処理部２２は、識別された商品の種類と個数とに基づき会計処理を行い、また売り上げの記録を作成する。会計処理を確定させる前に、トレイ１０上の商品のカラー画像に、識別結果（商品の種類と価格など）を追加し、タッチパネル３０などのモニタに表示する。好ましくはタッチパネル３０を店員用とし、他に顧客用のフラットパネルディスプレイを追加し、商品のカラー画像と識別結果とを顧客にも表示する。

タッチパネル３０の画像等から、２個以上の商品を１個の商品として認識している、１個の商品を複数個の商品として認識している、あるいは商品の輪郭は正しいが種類を誤って認識している等の問題を、店員や顧客が確認できる。種類を誤っている場合は、その商品のある領域をタッチパネル３０上で指などにより指定して、画像認識部１８により再識別する。複数個の商品を１個の商品として認識している場合は、タッチパネル３０上で指などにより分割線を入力し、分割処理部２４により入力された分割線を解釈して輪郭ベクトルを追加する。そして分割された各領域毎に、画像認識部１８により商品の種類を再識別する。

統合処理部２６は、複数個の商品へと過分割された領域を、１個の商品（領域）に統合する。統合処理用のアイコンがタッチパネル３０等に表示され、このアイコンにアクセスする、あるいは図示しないキーボード等に統合処理を行うことが入力されると、統合処理部２６が動作を開始する。統合処理部では、過分割された複数の領域を結ぶように、タッチパネルへ入力されると、１ストロークで結ばれた複数の領域を統合の対象として受付ける。そして１ストローク内で結ばれた複数の領域に対し、領域の輪郭ベクトルが所定の画素数以下の間隔で向き合っている範囲を検出し、その範囲内の輪郭ベクトルを削除する。これによって輪郭ベクトルが閉じなくなる場合は、開口部に輪郭ベクトルを追加し輪郭を閉じる。そしてタッチパネル等への１ストロークの入力が完了すると、このストローク内で通過した複数の領域が１個の商品を表すものとし、商品の種類を画像認識部１８に再識別させる。

統合処理で重要なのは、統合する領域を指定することである。また統合する領域は２個とは限らず、３個以上の複数個でも良い。なお輪郭を削除する範囲を通過するようにタッチパネル３０に入力することは必須ではない。タッチパネル３０をなぞる指の軌跡が仮に輪郭を削除すべき部分を通らなくても、統合すべき領域が正しく指定されれば、領域を統合できる。また実施例では実装していないが、例えば統合アイコンにタッチした後に、統合する２個の領域の内部にタッチすることにより２個の領域を指定させるようにしても、これらの領域を統合できる。

タッチパネル３０は他のカラーモニタに変更しても良く、マウス等のポインティングデバイスで統合する領域を指定しても良い。また店舗システムのプログラムはプログラムメモリ２８に記憶されている。

図３に画像認識アルゴリズムを示す。ステップ１でカメラ１２によりＲＧＢ画像を取得し、ステップ２で背景を分離した二値画像を発生させる。ステップ３で、二値画像の輪郭に沿って輪郭ベクトルを発生させる。ステップ４で、商品毎の画像の特徴をデータベース２０のデータと比較し、商品の種類を識別する。そしてステップ５で、トレイ１０上の商品のＲＧＢ画像に、商品の種類と金額等を重ね合わせて、タッチパネル３０等に表示する。この表示に対し店員、顧客等の確認を求め（ステップ６）、修正がなければ商品の認識を確定させて（ステップ７）、代金の精算及び売り上げ記録の作成等へ進む。

ステップ６で識別結果を修正する場合、結合子Ａから図４の処理へ移る。識別結果の修正には、領域の統合、分割、商品の種類の誤り等があり、ステップ１０で「領域統合」のアイコンがタッチされると、領域の統合を開始する。ステップ１１で、統合する複数の領域をつなぐように、タッチパネル３０にタッチすることを求める。そして１ストローク内で通過した複数の領域を統合する。

ステップ１２で、統合（領域をつなぐこと）を指定された領域の輪郭ベクトルをサーチし、統合すべき領域の輪郭ベクトルが所定の画素数以下の距離で向かい合っている範囲を検出し、この範囲内の輪郭ベクトルを削除する。例えば図４の右側で、領域Ａ，Ｂの統合が指定されたものとし、所定の画素数から成る距離をｇとして示す。距離ｇは例えば８ビット、１６ビット等とし、距離の計算では、例えばユークリッド距離、あるいはｘ方向の距離とｙ方向の距離の内の大きい方の距離等を用いる。距離がｇ以下で向かい合う領域Ａ，Ｂの輪郭ベクトルを削除し、統合された領域Ａ’（Ａ’＝Ａ＋Ｂで、Ａ’はＡ，Ｂの和集合）とする。輪郭ベクトルの削除により輪郭に開口が生じると、図４の右側の輪郭ベクトルＰ８，Ｐ９等を追加し、領域Ａ’の輪郭を閉じる。また統合した領域内に画素値が０の部分があると、画素値を１に変更する。

この処理で用いているのは、１ストロークで通過する領域として、統合する領域Ａ，Ｂをマニュアルで指定させることと、領域Ａ，Ｂの輪郭ベクトルで距離がg以下で向かい合っているものを削除することである。そして輪郭自体をなぞるのではないので、タッチパネル３０へタッチした位置が多少不正確でも問題が生じない。領域Ａ，Ｂの指定は、例えば領域Ａの内部にタッチパネル上でタッチした後に指をタッチパネルから離し、次の領域Ｂの内部にタッチするようなものでも良い。しかしこの入力方法では、領域Ａと領域Ｂの間で指がタッチパネルから離れるので、統合する領域の入力が完了したことを、別に入力する必要がある。これに対して、領域Ａ，Ｂをつなぐように、指をタッチパネルから離さずに入力させ、指をタッチパネルから離したときが入力の完了となるようにすると、入力完了を別途に入力させずに、商品の再識別に進むことができる。

２個の領域を１個に統合するとは限らず、３個以上の領域を１個に統合することもある。そこで、タッチパネル３０から所定時間以上連続して指が離れる（１ストロークが完了する）までに指定された領域を統合する。１ストローク内で次の領域が指定されると（ステップ１３）、ステップ１１へ戻り、ステップ１２を再度実行する。

１ストロークが終わると、ストローク内で通過した領域を１個に統合する。そして「再識別」等のアイコンへのタッチを要求せずに、統合した領域に対し自動的に商品の種類を再識別する（ステップ１４）。この後、結合子Ｂから図３のステップ６へ戻る。

図５に、領域統合の過程を示す。1)は領域統合の処理のオン/オフを示し、領域統合のアイコンへタッチされると領域統合の処理を開始し、１ストロークが完了すると処理をオフする。2)は１ストロークのタッチ入力を示し、このストロークでは領域Ａ，Ｂ，Ｃが指定されている。3)は領域Ａ，Ｂ，Ｃ間の輪郭ベクトルＰ１０〜Ｐ１３の削除を示す。そして１ストロークが完了すると、4)で領域Ａ，Ｂ，Ｃを統合した新たな領域に対し、商品の種類を再識別する。

図６，図７はタッチパネル３０
の表示を示し、図６では１個のパンが２個に過分割されている。そこで、図７にＵ字状の磁石で表す領域統合アイコンにタッチし、過分割された２つの領域を結ぶように、指でタッチパネル３０に入力する。これに伴って過分割していた輪郭の範囲を削除し、指が離れると「再識別」等の入力を求めずに再識別し、識別結果を表示する。なお図７の「登録」アイコンは、識別結果を確定させるためのアイコンである。

実施例では、輪郭ベクトル間の間隔が所定の画素数以下の部分を抽出し、この部分で輪郭を削除することにより、複数の領域を統合した。また領域の統合に伴って、輪郭に開口が生じる場合は、輪郭ベクトルを追加した。しかしながら統合のアルゴリズムは任意である。例えば統合の条件となる距離ｇに対し、1/2ｇ程度の画素数だけ指定された各領域を拡張する。すると距離ｇ以下で輪郭が向かい合っている部分で、指定された領域を統合できる。次いで拡張により統合された領域を同じ画素数だけ縮小する。輪郭が向かい合っていた部分は、統合されているので縮小されず、他の部分は元の領域の輪郭へ縮小される。なお、これに伴って統合部に孔が残る可能性があることが問題な場合、縮小前に所定の幅以下の孔を埋めて領域の一部とすることが好ましい。

実施例ではパンの識別を示したが、識別対象はより広い。図８は１束の葉ものの野菜が分割線５０により２束と過分割される例を示し、図９は２個の同心円がつながった菓子の容器が分割線５１により過分割される例を示している。図１０は、薬品の錠剤が、くびれ５４，５５と溝５６とのため、分割線５２で過分割される例を示している。これらの過分割は、実施例により解消できる。また実施例ではトレイ１０を用いたが、商品をトレイ１０上で撮像する必要はない。

２ 店舗システム
４ 撮像装置
６ 認識装置
８ ベース
１０ トレイ
１２ カメラ
１４〜１６ メモリ
１８ 画像認識部
２０ データベース
２２ レジ処理部
２４ 分離処理部
２６ 統合処理部
２８ プログラムメモリ
３０ タッチパネル
３２ 輪郭
３４，３５ くびれ
５０〜５２ 分割線
５４，５５ くびれ
５６ 溝

Ｐ１〜Ｐ６ 輪郭ベクトル
ｇ ギャップ
Ａ，Ｂ，Ｃ 領域

Claims (3)

1. １個〜複数個の商品を撮像するカメラと、
   前記カメラの画像から個々の商品の輪郭を切り出すと共に、切り出した個々の商品の種類を画像の特徴により識別する画像識別部と、
   商品の画像と識別結果とを表示するモニタ、とを備える店舗システムにおいて、
   １個の商品が複数個の領域に過分割されている際に、過分割により生じている複数個の領域が前記モニタ上で１ストロークのマニュアル入力により指定されたことを受け付け、指定された複数個の領域に対し、輪郭が互いに向かいあっている部分で複数個の領域を１個の商品へ統合する統合処理部、を備え、
   前記画像識別部は、１ストロークのマニュアル入力が完了すると、識別を開始する旨のマニュアル入力無しで、統合された商品の識別を開始するように構成されている、ことを特徴とする、店舗システム。
2. 指定された複数個の領域の輪郭中で、輪郭間の距離が所定の画素数以下の部分を統合するように、統合処理部が構成されていることを特徴とする、請求項１に記載の店舗システム。
3. １個〜複数個の商品を撮像するカメラの画像から、個々の商品の種類を識別し、商品の画像と識別結果とをモニタに表示する店舗システムのプログラムにおいて、
   コンピュータを、
   個々の商品の輪郭を切り出すと共に、切り出した個々の商品の種類を画像の特徴により識別する画像識別部と、
   １個の商品が複数個の領域に過分割されている際に、過分割により生じている複数個の領域が前記モニタ上で１ストロークのマニュアル入力により指定されたことを受け付け、指定された複数個の領域に対し、輪郭が互いに向かいあっている部分で複数個の領域を１個の商品へ統合する統合処理部、
   として機能させると共に、
   前記コンピュータに、前記１ストロークのマニュアル入力が完了すると、識別を開始する旨のマニュアル入力無しで、統合された商品の識別を開始する手順を実行させる、店舗システムのプログラム。

Images