JPH08138028A

JPH08138028A - 物品認識装置

Info

Publication number: JPH08138028A
Application number: JP6277471A
Authority: JP
Inventors: Hitoshi Iizaka; 仁志飯坂
Original assignee: TEC CORP
Current assignee: TEC CORP
Priority date: 1994-11-11
Filing date: 1994-11-11
Publication date: 1996-05-31

Abstract

(57)【要約】【目的】容易かつ確実に物品の特徴量を抽出し、精度の
高い物品認識を行う。【構成】対象商品を撮像してＲ，Ｇ，Ｂのカラー画像デ
ータに変換する画像入力部１１と、この画像入力部が出
力するカラー画像データから対象商品の領域を抽出する
対象領域抽出部１４と、抽出した対象商品の領域から対
象商品の重心回りの慣性モーメントに関する特徴量を抽
出する形状測定部１５と、抽出した対象物品のカラー画
像データをＸＹＺ及びＬ^*ａ^*ｂ^*の色空間を表わす表
色系のデータに変換する色空間変換部１６と、この色空
間変換部からの色空間データから色空間上の明度、色度
分布に関する特徴量を抽出する分布測定部１７と、抽出
した特徴量を特徴量データベース１９の特徴量と照合
し、対象商品を認識する商品認識部１８とを備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば商品の単価や商
品名等のデータを自動的に登録する場合の商品認識など
に使用される物品認識装置に関する。

【０００２】

【従来の技術】例えば、スーパマーケット等の店舗にお
いて、顧客が買い求めた商品を精算する場合、例えばＰ
ＯＳ（ポイント・オブ・セールス）端末を使用して商品
の登録を行った後に、顧客から支払いを受け、代わりに
顧客にレシートを渡すようになっている。

【０００３】このような装置において、従来は、ＰＯＳ
端末を操作するキャッシャが商品に付いているバーコー
ドをバーコードスキャナーで読み取ると、バーコードス
キャナーからバーコードデータがＰＯＳ端末に入力し、
このＰＯＳ端末でバーコードを認識しその結果をホスト
コンピュータ等の上位装置に転送することで商品の商品
名や価格等の売上げ情報を登録するようになっていた。

【０００４】また、対象物を画像処理して識別する装置
として、従来、特開平５−２４２２５４号公報に開示さ
れているものが知られている。これは、対象物の大き
さ、形状に関する特徴量を測定する手段、表面色に関す
る特徴量を測定する手段、表面に形成されているパター
ンを認識する手段を設け、測定された特徴量及び認識さ
れたパターンに関する情報をデータベースを検索するこ
とにより対象物を識別するようになっている。

【０００５】

【発明が解決しようとする課題】商品に付いているバー
コードをバーコードスキャナーで読み取って商品登録す
るものでは、１レーンに最低１人のキャッシャが必要と
なり、また、商品の性質上バーコードを直接付与できな
い生鮮食品等はキャッシャが視覚認識し、ＰＯＳ端末に
付設しているキーボードを使用して商品コード等を入力
する必要があった。

【０００６】また、公報のものは、長さ、幅、厚さ等を
大きさ、形状の特徴量としているが、スーパマーケット
等の店舗で販売される商品の形状は多種多様であり、単
に長さ、幅、厚さ等の情報では商品の形状を充分に表わ
すことができない。

【０００７】例えば、顧客が買い求めた商品をベルトコ
ンベア上に載せ、それを撮像して画像処理する場合に
は、商品の向き（回転方向）が任意となるので、商品の
長さ、幅、厚さ等の特徴量を得るには、商品の回転角を
算出し、長さや幅の補正を行う必要がある。

【０００８】また、カメラと対象物の距離（高さ）が変
動することによって撮像される対象物の長さや幅も変動
するため、形状を認識するために拡大や縮小により大き
さの補正を行い、さらに長さ、幅を傾きで補正する必要
があり、繁雑な処理を必要とする。

【０００９】さらに、商品のように形状が多種多様で、
しかも商品の向きが任意となる場合には、商品の表面に
表示されている文字や商標、模様等のパターンを抽出す
ることはきわめて困難となる。

【００１０】そこで、本発明は、対象物品が商品のよう
に多種多様であっても、また撮像方向に対して対象物品
の向きや高さが任意であっても容易にかつ確実に対象物
品の特徴量を抽出でき、精度の高い物品認識ができる物
品認識装置を提供する。

【００１１】

【課題を解決するための手段】請求項１対応の発明は、
物品搬送装置により搬送する各種物品を画像処理により
認識する物品認識装置において、各種物品を撮像してカ
ラー画像データに変換する画像入力手段と、この画像入
力手段が出力するカラー画像データから対象物品の領域
を抽出する対象領域抽出手段と、この対象領域抽出手段
にて抽出した対象物品の領域から対象物品の重心回りの
慣性モーメントに関する特徴量を抽出する第１の特徴量
抽出手段と、対象領域抽出手段にて抽出した対象物品の
カラー画像データから色空間上の明度、色度分布に関す
る特徴量を抽出する第２の特徴量抽出手段と、各種物品
の特徴量を記憶した特徴量データベースと、各特徴量抽
出手段が抽出した特徴量を特徴量データベースの特徴量
と照合し、対象物品を認識する物品認識手段とを備えた
ものである。

【００１２】請求項２対応の発明は、請求項１記載の物
品認識装置において、第１の特徴量抽出手段は、対象領
域抽出手段が抽出した対象物品のカラー画像データを基
に各色毎に２値化処理を行い、それぞれの２値画像に対
する重心回りの慣性モーメントに関する特徴量を抽出す
るものである。

【００１３】

【作用】請求項１対応の発明においては、画像入力手段
が出力するカラー画像データから対象物品の領域を抽出
し、この抽出した対象物品の領域から対象物品の重心回
りの慣性モーメントに関する特徴量を抽出する。また、
抽出した対象物品のカラー画像データから色空間上の明
度、色度分布に関する特徴量を抽出する。そして抽出し
た各特徴量を特徴量データベースの特徴量と照合し、対
象物品を認識する。

【００１４】請求項２対応の発明においては、重心回り
の慣性モーメントに関する特徴量を抽出する場合に、抽
出した対象物品のカラー画像データを基に各色毎に２値
化処理を行い、それぞれの２値画像に対する重心回りの
慣性モーメントに関する特徴量を抽出する。

【００１５】

【実施例】以下、本発明の実施例を図面を参照して説明
する。

【００１６】（第１の実施例）この実施例は請求項１に
対応した実施例で、図１に示すように、画像入力部１１
からＲ，Ｇ，Ｂのカラー画像データを入力切替部１２に
供給している。前記画像入力部１１は、ＣＣＤカラーカ
メラ等の撮像装置からなり、ベルトコンベア等の物品搬
送装置（図示せず）上を搬送する対象物品、例えば対象
商品を上部或いは側面から撮像し、Ｒ，Ｇ，Ｂのカラー
画像データを出力するようになっている。

【００１７】前記入力切替部１２は、マイクロプロセッ
サ（図示せず）からの制御信号により、出力方向を切替
えるもので、例えば動作開始時等、まだ対象商品が物品
搬送装置によって搬送されないときに前記画像入力部１
１からのカラー画像データを背景画像メモリ１３に出力
し、一旦、カラー画像データが前記背景画像メモリ１３
に記憶された後は、前記画像入力部１１からのカラー画
像データを対象領域抽出部１４に出力するように切替え
るようになっている。

【００１８】前記背景画像メモリ１３は入力するカラー
画像データを背景画像データとして記憶する。

【００１９】前記対象領域抽出部１４は、入力するカラ
ー画像データの中から対象商品に該当する画素を対象領
域として抽出する。すなわち、前記入力切替部１２から
Ｒ，Ｇ，Ｂのカラー画像データを入力すると共に、前記
背景画像メモリ１３に記憶しているＲ1 ，Ｇ1 ，Ｂ1 の
背景画像データを入力し、各画素毎に｜Ｒ−Ｒ1 ｜、｜
Ｇ−Ｇ1 ｜、｜Ｂ−Ｂ1 ｜の差分を求め、この差分値が
１つでも閾値を越えた場合には、その入力画素を対象領
域として抽出する。

【００２０】そして抽出結果は、例えば対象領域として
抽出した画素を「１」、それ以外の画素を「０」として
２値信号に変換して形状測定部１５に出力し、また、抽
出した画素のＲＧＢデータを色空間変換部１６に出力す
る。

【００２１】前記形状測定部１５は、第１の特徴量抽出
手段を構成するもので、前記対象領域抽出部１４からの
２値信号によって２値画像を構成し、形状を示す特徴
量、すなわち、対象商品の重心回りの慣性モーメントに
関する特徴量を抽出する。

【００２２】この抽出は、先ず、対象領域の２値面積Ｍ
₀₀を測定する。２値面積Ｍ₀₀は下式で与えられる。

【数１】

【００２３】但し、ｆ（ｘ，ｙ）は対象商品の抽出結果
を示す２値信号であり、対象商品に該当する画素が存在
する場合は、ｆ（ｘ，ｙ）＝１、それ以外はｆ（ｘ，
ｙ）＝０である。

【００２４】次に１次モーメントＭ₁₀，Ｍ₀₁を次式で求
める。

【数２】

【００２５】これを０次モーメントＭ₀₀で正規化するこ
とで重心座標（ｇｘ，ｇｙ）を求める。ｇｘ＝Ｍ₁₀／Ｍ₀₀ ｇｙ＝Ｍ₀₁／Ｍ₀₀ 次に重心回りの２次モーメントＭ₂₀，Ｍ₀₂を次式で求め
る。

【数３】

【００２６】そして、重心回りのモーメントをＭ² ₀₀で
正規化することで、正規化された重心回りの慣性モーメ
ントＭ_cを得る。

【００２７】Ｍ_c＝（Ｍ₂₀＋Ｍ₀₂）／Ｍ² ₀₀ なお、２値面積Ｍ₀₀、重心座標（ｇｘ，ｇｙ）、２値信
号ｆ（ｘ，ｙ）の関係を図で示すと図２に示すようにな
る。

【００２８】正規化された重心回りの慣性モーメントＭ
_cは、形状のみに依存し、位置（平行移動、回転移動）
や大きさ（拡大、縮小）に対して不変な値である。従っ
て、顧客が商品を任意方向で物品搬送装置に載せた場合
や撮像装置の位置が移動してもモーメント情報には影響
はなく、常に安定した値を得ることができる。

【００２９】また、対象商品の大きさを特徴量として使
用する場合には、対象領域の２値面積Ｍ₀₀が利用でき
る。ここで、撮像装置と対象商品の距離（高さ）が変動
した場合には、その変動量を別途制御装置（図示せず）
等で検出し、この検出した変動量を使って２値面積Ｍ₀₀
を補正すれば大きさの拡大、縮小についても容易に対応
ができる。

【００３０】前記色空間変換部１６は、入力されるＲＧ
ＢデータをＸＹＺ及びＬ^*ａ^*ｂ^*の色空間を表わす表
色系のデータに変換する。ＲＧＢデータからＸＹＺ表色
系の３刺激値Ｘ，Ｙ，Ｚへの変換、そしてＸ，Ｙ，Ｚか
らＬ^*ａ^*ｂ^*表色系のＬ^*，ａ^*，ｂ^*への変換は下
記の式で与えられる。

【００３１】

【数４】

【００３２】但し、Ｘ_n，Ｙ_n，Ｚ_nは完全拡散面の３
刺激値である。

【００３３】前記色空間変換部１６は、ＲＧＢデータを
変換して得た色空間データを分布測定部１７に供給して
いる。

【００３４】前記分布測定部１７は、前記色空間変換部
１６と共に第２の特徴量抽出手段を構成するもので、色
空間データの分布状況を測定する。例えば、Ｌ^*ａ^*ｂ
^*表色系は、図３に示すように、横軸ａ^*、縦軸ｂ^*の
直交座標による色度図と、これに垂直な明度を表わす指
数のＬ^*とからなる立体的な色空間である。ａ^*軸、ｂ
^*軸の原点は無彩色の座標で、原点から外側に離れるに
従って色の彩度が高くなる。

【００３５】そこで、明度を表わすＬ^*と、色度を表わ
すａ^*，ｂ^*に分離して分布を測定することが可能であ
り、ａ^*，ｂ^*については図４に示すように、ａ^*，ｂ
^*色度図を複数の極小領域に分割し、対象商品を構成す
る各画素の色度を計算することで対象商品全体の色度分
布を測定する。Ｌ^*についても複数の領域に分割し、色
度と同様に明度分布を測定することができる。

【００３６】また、Ｌ^*ａ^*ｂ^*の３次元空間を極小領
域に分割して分布状態を測定してもよい。

【００３７】このように、全抽出画素に対して測定され
た色空間の分布情報が前記分布測定部１７から商品認識
部１８に供給されるようになっている。なお、色空間は
ＸＹＺ及びＬ^*ａ^*ｂ^*に限られるものではなく、他の
色空間についても適用可能である。

【００３８】前記商品認識部１８は、前記形状測定部１
５で求めた特徴量と前記分布測定部１７で求めた特徴量
を、予め用意していた特徴量データベース１９と照合
し、類似度の最も高いデータベースの商品データ（商品
名や価格等）を識別情報として出力する。

【００３９】すなわち、商品認識部１８は図５に示すよ
うに、誤差値を格納するメモリＭinを初期化し、特徴量
データベース１９内の商品データを読み出す。そして各
特徴量Ａ，Ｂ，…毎にデータベースとの差分値を求め、
さらにその２乗和を求める。すなわち、（ＤＢa −ａ）
²＋（ＤＢa −ｂ）²＋…＝ｘを求める。このｘの値は
類似度が高くなるほど小さくなる。なお、ＤＢa は商品
の特徴量Ａに関する値、ＤＢb は商品の特徴量Ｂに関す
る値でデータベースのデータである。また、ａは対象商
品に対して求めた特徴量Ａに関する値、ｂは対象商品に
対して求めた特徴量Ｂに関する値である。

【００４０】そして、合計値ｘをＭinの値と比較し、ｘ
＜Ｍinであれば、このときの商品データを商品メモリに
格納し、ｘの値を新たなＭinとする。こうして特徴量デ
ータベース１９内の商品データについて対象商品との特
徴量の比較を行い、比較が終了すると商品メモリに格納
した商品データを識別情報として出力する。

【００４１】なお、マイクロプロセッサ（図示せず）か
らの制御信号により、類似度の高いデータベースの商品
データの数点を識別情報として出力してもよい。

【００４２】こうして対象商品に最も近い商品データが
データベースから読み出され識別情報として出力される
ことになる。

【００４３】このように、形状測定部１５で対象領域抽
出部１４からの２値信号によって２値画像を構成し、対
象商品の重心回りの慣性モーメントに関する特徴量を抽
出し、分布測定部１７で色空間データの分布状況を測定
して色空間の分布情報の特徴量を抽出し、この各特徴量
を特徴量データベース１９の情報と照合して対象商品の
認識を行っているので、対象商品が多種多様であって
も、また撮像方向に対して対象商品の向きや高さが任意
であっても、容易にかつ確実に対象商品の特徴量を抽出
でき、精度の高い認識ができる。

【００４４】（第２の実施例）なお、前記実施例と同一
の部分には同一の符号を付して詳細な説明は省略する。

【００４５】この実施例は請求項２に対応した実施例
で、図６に示すように、対象領域抽出部１４からの２値
信号と共にＲＧＢデータも形状測定部１５１に供給して
いる。

【００４６】形状測定部１５１は、対象領域を示す２値
信号に基づいてＲＧＢデータに対してそれぞれ２値化処
理を行い、２値画像を作成する。ここでの２値化処理に
は固定の閾値を利用する方法や対象画像毎に適応する閾
値を求めて２値化する手法がある。

【００４７】そして、Ｒ，Ｇ，Ｂの各２値画像に対し、
前記実施例同様に形状を示すモーメントを求める。こう
して求めた特徴量は商品認識部１８に供給される。

【００４８】このようにすればＲＧＢデータをそれぞれ
２値化し、特徴量を求めることによって形状を示す特徴
量が３つに増えることになり、認識率の向上を図ること
ができ、さらに精度の高い認識ができる。

【００４９】例えば、外形が同一であるシリーズ商品や
外形がほとんど変わらない同種商品についても色合いが
異なればモーメント情報に差が生じることになり、商品
認識を行うための有効な特徴量として利用することがで
きる。

【００５０】なお、前記各実施例において、重量測定部
を設け、この重量測定装置で物品搬送装置を搬送する対
象商品の重量を測定し、この測定した重量を商品認識部
１８に供給するようにすれば、商品の認識にさらに商品
の重量を加えることができるので、さらに認識率を高め
ることが可能となる。

【００５１】また、前記各実施例において、商品認識部
で類似度を計算する際に、形状測定部及び分布測定部か
らの特徴量の類似度に重み係数を掛け合わせ、その合計
値で商品を識別するようにしてもよい。

【００５２】なお、前記各実施例では対象物品を商品と
した場合について述べたが必ずしもこれに限定するもの
でないのは勿論である。

【００５３】本発明は、商品登録を行うチェックアウト
システムに適用でき、このようなシステムに適用した場
合スキャナー操作やキー操作が不要となり、従ってオペ
レータやキャッシャを配置する必要がなく、人件費の大
幅な削減や配置スペースの削減が可能となる。

【００５４】

【発明の効果】請求項１対応の発明によれば、抽出した
対象物品の領域から対象物品の重心回りの慣性モーメン
トに関する特徴量を抽出すると共に抽出した対象物品の
カラー画像データから色空間上の明度、色度分布に関す
る特徴量を抽出し、この各特徴量を特徴量データベース
と照合して物品の認識を行っているので、対象物品が商
品のように多種多様であっても、また撮像方向に対して
対象物品の向きや高さが任意であっても容易にかつ確実
に対象物品の特徴量を抽出でき、精度の高い物品認識が
できる。

【００５５】請求項２対応の発明によれば、抽出した対
象物品のカラー画像データを基に各色毎に２値化処理を
行い、それぞれの２値画像に対する重心回りの慣性モー
メントに関する特徴量を抽出すると共に抽出した対象物
品のカラー画像データから色空間上の明度、色度分布に
関する特徴量を抽出し、この各特徴量を特徴量データベ
ースと照合して物品の認識を行っているので、さらに精
度の高い物品認識ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図。

【図２】同実施例における形状測定部が重心回りの慣性
モーメントを求めるときの２値面積、重心座標（ｇｘ，
ｇｙ）、２値信号ｆ（ｘ，ｙ）の関係を示す図。

【図３】同実施例における色空間を示す平面図。

【図４】同実施例における領域分割した色空間を示す平
面図。

【図５】同実施例における商品認識部の商品識別処理を
示す流れ図。

【図６】本発明の第２の実施例を示すブロック図。

【符号の説明】

１１…画像入力部１４…対象領域抽出部１５…形状測定部１６…色空間変換部１７…分布測定部１８…商品認識部１９…特徴量データベース

Claims

【特許請求の範囲】

【請求項１】物品搬送装置により搬送する各種物品を
画像処理により認識する物品認識装置において、前記各種物品を撮像してカラー画像データに変換する画
像入力手段と、この画像入力手段が出力するカラー画像
データから対象物品の領域を抽出する対象領域抽出手段
と、この対象領域抽出手段にて抽出した対象物品の領域
から対象物品の重心回りの慣性モーメントに関する特徴
量を抽出する第１の特徴量抽出手段と、前記対象領域抽
出手段にて抽出した対象物品のカラー画像データから色
空間上の明度、色度分布に関する特徴量を抽出する第２
の特徴量抽出手段と、各種物品の特徴量を記憶した特徴
量データベースと、前記各特徴量抽出手段が抽出した特
徴量を前記特徴量データベースの特徴量と照合し、対象
物品を認識する物品認識手段とを備えたことを特徴とす
る物品認識装置。
【請求項２】第１の特徴量抽出手段は、対象領域抽出
手段が抽出した対象物品のカラー画像データを基に各色
毎に２値化処理を行い、それぞれの２値画像に対する重
心回りの慣性モーメントに関する特徴量を抽出すること
を特徴とする請求項１記載の物品認識装置。