JP6230814B2 - 物品識別システムとそのプログラム - Google Patents

Description

この発明はパン等の物品の識別に関し、特に画像認識により物品の種類を識別するシステムとそのプログラムとに関する。

出願人は、パン、野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像認識により識別することを検討している（例えば特許文献１ 特開2011-170745）。問題の１つは、個々の物品、即ち個品、が互いに接触していると、画像上で個品へ切り分けること、即ち個々の物品の画像を抽出すること、が難しい点に有る。

特許文献２（特開2012-198848）は、パンの画像の輪郭から屈曲点を抽出し、屈曲点間を接続するように、パンとパンとの境界線の候補を発生させることを提案している。そして真の境界線では、境界線候補が短く、輪郭のくびれが深く、屈曲点の周囲で輪郭は鋭角に屈曲し、かつ境界線を直径とする円がパンからはみ出さない、と指摘している。そして特許文献２は、上記の特徴を備えている候補を境界線として、個々のパンを分離することを提案している。

非特許文献１（第１１回情報科学技術フォーラム 2012 講演論文集 H-019）は、トレイ上で互いに接触しているパンに対して、RGB画像と距離画像とを取得し、距離画像からWatershed法により、個々のパンを切り分けることを提案している。例えばトレイからの距離が極大となる点（カメラから見てパンが凸になる点）を開始点とし、開始点から始めて距離の勾配が小さい領域を併合して１つの領域とし、勾配が大きい部分を境界とするように、画像を分割する。パンの分離に成功する場合、１個のパンが１個の領域となる。

特開2011-170745 特開2012-198848

第１１回情報科学技術フォーラム 2012 講演論文集 H-019

特許文献２の手法では、単純な形状の物品が互いに接触している場合は、一般に正しく切り分けることができる。しかし複雑な形状の物品が接触していると、個品へ正確に切り分けることは難しい。また非特許文献１の手法では、実際の物品よりも細かな領域へ切り分ける傾向があり、これらの領域の統合を的確に行うことが難しい。

この発明の課題は、互いに接触している物品を正確に切り分けることにある。

この発明の物品識別システムは、
互いに接触している複数個の物品の、カラー画像と距離画像とを取得する撮像装置と、
前記距離画像の所要部を、基準平面からの距離に変換する座標変換部と、
基準平面からの距離から、物品の輪郭を抽出する輪郭抽出部と、
輪郭抽出部で求めた輪郭に対し、輪郭の屈曲点を抽出すると共に、基準平面からの距離が小さな谷を通って屈曲点間を接続する分割候補線を発生させる分割候補線発生部と、
分割候補線により切り分けた個々の物品の種類を、画像認識により識別する個品識別部、とを備えている。

またこの発明は、互いに接触している複数個の物品の、カラー画像と距離画像とを取得する撮像装置と、
撮像装置からのカラー画像と距離画像とに基づき、互いに接触している複数個の物品を個々の物品へ切り分け、個々の物品の種類を識別するコンピュータとから成る、物品識別システムのためのプログラムであって、
前記コンピュータを、
前記距離画像の所要個所を、基準平面からの距離に変換する座標変換部と、
基準平面からの距離から、物品の輪郭を抽出する輪郭抽出部と、
輪郭抽出部で求めた輪郭に対し、輪郭の屈曲点を抽出すると共に、基準平面からの距離が小さな谷を通って屈曲点間を接続する分割候補線を発生させる分割候補線発生部と、
分割候補線により切り分けた個々の物品の種類を、画像認識により識別する個品識別部、分割候補線により切り分けた個々の物品の種類を、画像認識により識別する個品識別部、として機能させる。

距離画像の所要個所とは、例えば物品の輪郭、分割候補線であり、距離画像全体を基準平面からの距離の画像（正規化距離画像）に変換しても、所要部のみを距離に変換しても良い。この発明は、前記カラー画像での分割候補線上の明度に基づき、明度が高い分割候補線を削除し、明度が低い分割候補線を残すことにより、互いに接触している複数個の物品を個々の物品へ切り分ける検証部をさらに備えている。距離画像の分解能が低い場合でも、明度が高い分割候補線を削除することにより、１個の物体を２個の物体に分離することを防止できる。

座標変換部により、撮像装置からの距離を、トレイの底面等の基準平面からの距離に変換する。これによって物品のくぼみと境界は距離の谷となり、物品が突き出している部分は距離の山あるいは尾根となる。基準平面からの距離に基づき、エッジを抽出すること、あるいは基準平面よりも高い面で２値化すること等により、物品の輪郭を抽出できる。しかし物品が互いに接触している境界は輪郭として認識できないことがある。なおこの発明では、基準平面からの距離を用いて個品を切り出し、基準平面からの距離の画像を正規化距離画像ということがある。

特許文献２の手法を正規化距離画像に適用し、輪郭の屈曲点を抽出する。次に基準平面からの距離が小さな谷を通って屈曲点間を接続するように、分割候補線を発生させると、互いに接触している物品を個々の物品に切り分けることができる。基準平面に近い位置を通って屈曲点間を接続するので、分割候補線を的確に抽出できる。そして切り分けた個々の物品は、従来法と同様にして、物品の種類を画像認識により識別できる。
しかし複雑な形状の物品でかつ距離画像の分解能が不足する場合、偽の分割候補線が発生することがある。偽の分割候補線は物品のくびれ等に対応し、カラー画像での明度が高いという特徴がある。これに対し真の物品の境界では、分割候補線の明度が低いという特徴がある。そこでカラー画像での明度に基づき、分割候補線を検証すると、より正確に複数の物品を個々の物品へ切り分けることができる。

カラー画像はRGB画像として用いても、HSV等の画像に変換して用いても良い。また明度として、RGB画像でのRの値とGの値とBの値の平均値等を用いても良い。この平均値は明度の近似値である。分割候補線上の明度を簡単に扱うため、例えば分割候補線上の明度の平均値、中央値等を用いることが好ましい。屈曲点の妥当性については、特許文献２に記載の手法を適宜に用いればよい。基準平面は、トレイ等の容器の底面に限らず、例えばトレイを置く台の上面等としても良い。

実施例の物品識別システムの使用環境を示す図 実施例の物品識別システムのブロック図 実施例の物品識別アルゴリズムを示すフローチャート 実施例で分割線上の明度に着目する意味を示す図 トレイ上のパンのグレイスケール画像 トレイの底面からの距離画像 トレイ上のパンのグレイスケール画像 パンのカラー画像のみに基づく切り分け結果を示す図 トレイの底面からの距離画像 距離画像の屈曲点間を距離画像の谷により接続する分割線を示す図 距離画像の屈曲点間を距離画像の谷により接続するように分割線を発生させ、分割線上の明度の平均値が閾値以上のものを削除した際の、パンの切り分け結果を示す図 距離画像にWatershed法を適用した際の、パンの切り分け結果を示す図 距離画像からのエッジの抽出による、パンの切り分け結果を示す図

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１において、２は物品識別装置で、パーソナルコンピュータ等から成り、例えばテーブル４に収容され、アーム５に取り付けられた撮像装置６と共に、物品識別システムを構成する。なお実施例で用いた撮像装置６は安価なもので、距離画像の分解能が低い。８はカラーカメラでRGB画像を撮像する。９はIR（赤外線）プロジェクタ、１０はIR（赤外線）カメラで、プロジェクタ９から、トレイ１１とパン１２，１３とに投影された格子点を、IRカメラ１０で撮像し、カメラ１０からの距離を求める。撮像装置６は、トレイ１１及び互いに接触するパン１２，１３等の、距離画像と、RGB画像等のカラー画像とを出力する。トレイ１１に代わりバケット等の容器、ベルトコンベヤ等を用いても良く、パンの代わりに野菜、果物、魚類、肉類、錠剤等を認識しても良い。また互いに接触する複数個の物品を識別するが、１個の物品を識別することがあっても良い。テーブル１６にはPOS装置１８が設けられ、物品識別装置２からの個品の識別データに基づき、会計処理を行う。なお物品識別装置２からのデータの出力先は任意である。また１４は記憶媒体で、図３のアルゴリズムを、物品識別装置２に実行させ、図２のように機能させるための物品識別プログラムを記憶している。

図２は物品識別装置２を示し、図３はその動作を示す。入力は撮像装置６からのRGB画像と距離画像で（ステップ１）、HSV変換部２４によりRGB画像をHSV画像（色相と彩度と明度の画像）に変換する（ステップ２）。個品の識別に明度のみを用いる場合、HSV画像ではなく明度の画像に変換すればよい。座標変換部２６は、撮像装置６からの距離の画像を、トレイ１１の底面からの距離の画像に変換する（ステップ３）。例えば同じ形状のトレイ１１を常時用いる場合、物品が無いトレイ１１の底面を撮像して、その距離画像から基準平面の方程式を求めて記憶する。そしてこの方程式を用いて、基準平面からの距離を表すように、距離画像を座標変換する。なお座標変換の手法は任意である。

メモリ２８はHSV画像を記憶し、メモリ３０は撮像装置６からの距離を表す画像を記憶し、メモリ３２はトレイ１１の底面からの距離の画像、即ち正規化距離画像を記憶する。輪郭抽出部３４は、正規化した距離画像から物品の輪郭を抽出し、例えば正規化した距離画像でのエッジにより、あるいは正規化した距離画像を適宜の閾値で２値化して輪郭を抽出する（ステップ４）。閾値は固定でも可変でも良い。

屈曲点検出部３５は、輪郭の屈曲点を検出する（ステップ５）。輪郭の接線方向あるいは法線方向が大きく変化することが屈曲点の条件である。２個の屈曲点間を距離画像の谷、即ちトレイ１１からの高さが所定値以下のルートを経由して接続する線を、分割候補線とし、分割候補線発生部３６により発生させる（ステップ６）。分割候補線は、谷を経由することが第１の条件で、これ以外に短く、分割候補線を直径とする円が輪郭からはみ出さず、両端の屈曲点での屈曲が著しいものが、信頼性が高い。谷は、トレイからの高さが谷の両側の領域に比べて低いことを意味し、例えば谷からその両外側への高さの勾配が＋か０とすればよい。

検証部３８は、分割候補線上の明度の平均値が閾値以上であると分割候補線を削除し、分割候補線上の明度の平均値が閾値未満のものを残して、残った分割候補線により互いに接触している複数個の物品を個々の物品へ切り分ける（ステップ７）。平均値に代えて中央値等を用いても良い。なお、分割候補線の信頼性が低い場合、オペレータが分割候補線を削除し、追加し、あるいは修正できるようにしても良い（ステップ８）。個々の物品へ切り分けると、距離画像と、HSV画像あるいはRGB画像とをメモリ３０，３２から読み出す（ステップ９）。物品のテクスチャ、形状、色相と彩度、明度等に基づき、個品識別データベース４０のデータを参照して、個品識別部４２により物品の種類を識別することができる（ステップ１０）。特に距離画像があるので、物品の体積、及び基準平面からの距離の平均と分散を形状の特徴に追加し、物品表面の凹凸の程度をテクスチャの特徴に追加できる。認識結果をPOS装置１８等へ出力する（ステップ１１）。

分割候補線上の明度を用いる意味を図４に示す。４４は物品のくびれで、距離画像の谷であり、４５は物品間の境界で、同様に距離画像の谷である。一般に距離画像の分解能は、RGB画像の分解能に比べ低いので、距離画像のみから、くびれ４４と境界４５を識別することには限界がある。くびれ４４の底面には、トレイ１１の底面に平行なエリアがあることが多く、このエリアでは鎖線のように光線を反射するので、明度が高くなる。これに対し境界４５にはトレイ１１の底面に平行なエリアがあることは少ない。このため、くびれ４４ではRGB画像もしくはグレースケール画像が明るくなり、境界４５ではRGB画像もしくはグレースケール画像が暗くなる。

図５はトレイ上のパンのグレースケール画像を示し、図６はトレイを基準として正規化した距離画像を示す。図５の画像からは、個々のパンをカラー画像のみから切り出すことができる。図６の正規化した距離画像では、トレイ１１の底面とパンとを正確に分離できている。

図７は、くびれのある複雑な形状のパンが互いに接触している、グレースケール画像を示す。特許文献２のようにして、明度画像の輪郭から屈曲点と分割候補線とを発生させると、図８のようになり、不要な分割候補線が多数含まれている。

図７に対応する正規化した距離画像を図９に示し、距離画像の輪郭から、特許文献２のようにして屈曲点を抽出する。屈曲点の対は多数個有るが、正規化距離画像での谷により接続できる屈曲点の対を抽出し、抽出した屈曲点の対での正規化距離画像の谷を分割候補線とする。

分割候補線は図１０のようになり、不要な分割候補線が含まれている。これは距離画像の分解能が不足し、物品の接触部が基準平面から実際よりも高く撮像されるためである。距離画像の分解能を増すとこの問題は解決できるが、撮像装置が高価になる。そこで分割候補線上の明度の平均値が閾値以上のものを削除すると、図１１のようになり、複雑な形状で互いに接触している複数個のパンを分離できる。

図１２は、非特許文献１でのWatershed法が有効でない例を示し、カラー画像と正規化した距離画像とを用い、トレイの底面から距離が極大となる点、即ち物品上の凸部をマーカー領域の初期値とする。この領域に距離の勾配が小さいエリアを併合するようにして領域を拡大すると、右下の結果となり、領域の統合が困難なため、物品を正確に分離できない。RGB画像に対してWatershed法を適用すると、左下の結果となり、やはり物品を正確に分離できない。

図１３は正規化した距離画像でのエッジから物品を切り出す際の失敗例を示し、エッジのみでは、パンの分離が不完全な輪郭が得られる。この輪郭に対し、屈曲点の検出と分割候補線の発生、及び明度が高い分割候補線の削除を行うと、パンを正しく分離できる。なおカラー画像でのエッジ、例えば明度のエッジを用いると、入力画像での右下のドーナツは２個の物品と認識される。

実施例ではパンの識別を示したが、野菜、果物、魚介類、肉類、薬品の錠剤等、識別対象の物品は任意である。距離画像の取得はIRプロジェクタとIRカメラによるものに限らない。

２ 物品識別装置
４ テーブル
５ アーム
６ 撮像装置
８ カラーカメラ
９ IRプロジェクタ
１０ IRカメラ
１１ トレイ
１２，１３ パン
１４ 記憶媒体
１６ テーブル
１８ POS装置
２０ バス
２２ 入力部
２４ HSV変換部
２６ 座標変換部
２８〜３２ メモリ
３４ 輪郭抽出部
３５ 屈曲点検出部
３６ 分割候補線発生部
３８ 検証部
４０ 個品識別データベース
４２ 個品識別部
４４ くびれ
４５ 境界

Claims (2)

1. 互いに接触している複数個の物品の、カラー画像と距離画像とを取得する撮像装置と、
   前記距離画像の所要個所を、基準平面からの距離に変換する座標変換部と、
   基準平面からの距離から、物品の輪郭を抽出する輪郭抽出部と、
   輪郭抽出部で求めた輪郭に対し、輪郭の屈曲点を抽出すると共に、基準平面からの距離が小さな谷を通って屈曲点間を接続する分割候補線を発生させる分割候補線発生部と、
   前記カラー画像での分割候補線上の明度に基づき、明度が高い分割候補線を削除し、明度が低い分割候補線を残すことにより、互いに接触している複数個の物品を個々の物品へ切り分ける検証部と、
   分割候補線により切り分けた個々の物品の種類を、画像認識により識別する個品識別部、とを備える物品識別システム。
2. 互いに接触している複数個の物品の、カラー画像と距離画像とを取得する撮像装置と、
   撮像装置からのカラー画像と距離画像とに基づき、互いに接触している複数個の物品を個々の物品へ切り分け、個々の物品の種類を識別するコンピュータとから成る、物品識別システムのためのプログラムであって、
   前記コンピュータを、
   前記距離画像の所要個所を、基準平面からの距離に変換する座標変換部と、
   基準平面からの距離から、物品の輪郭を抽出する輪郭抽出部と、
   輪郭抽出部で求めた輪郭に対し、輪郭の屈曲点を抽出すると共に、基準平面からの距離が小さな谷を通って屈曲点間を接続する分割候補線を発生させる分割候補線発生部と、
   前記カラー画像での分割候補線上の明度に基づき、明度が高い分割候補線を削除し、明度が低い分割候補線を残すことにより、互いに接触している複数個の物品を個々の物品へ切り分ける検証部と、
   分割候補線により切り分けた個々の物品の種類を、画像認識により識別する個品識別部、検証部により切り分けた個々の物品の種類を、画像認識により識別する個品識別部、として機能させるプログラム。