JPS62212789A

JPS62212789A - 物品認識方式

Info

Publication number: JPS62212789A
Application number: JP5470886A
Authority: JP
Inventors: Taichi Sugiyama; 太一杉山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1986-03-14
Filing date: 1986-03-14
Publication date: 1987-09-18

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、物品をイメージセンサから入力し。

その情報を量子化、特徴抽出を行なうことによる物品の
認識方式に関する。

Ｌ従来の技術〕従来、ある物品をセンサーにより認識し判別す−ろ場合
、各物品の色、形０闇値１重量などの特徴を抽出し予め
登録されている標準パターンと比較することにより他の
物品と区別することが行なわれている。

第５図は、従来のブロツク図を示している。１はＣＣＬ
）などで構成されるイメージセンサで、２はセンサ１で
センスした情報を何段階かの明度によって量子化を行な
う回路であり、更に３の特徴抽出回路によって量子化さ
れた情報から特徴抽出が行なわれる。５は予め対象物の
イメージ情報の標準パターンを登録しておくところであ
り、イメージセンサ１からイメージ入力がされると特徴
抽出回路５からのデータと標準パターン登録部５からの
データの比較が制御部６で行なわれる。その結果１表示
部７に比較結果が表示される。以上が一般的な画像認識
技術であるが、現在の認識技術では固形物や文字などの
ように限定された範囲での認識率は向上してきている。

ところが一般的な不確定物、流動物や料理のように盛り
付けが人手で行なうため大所では同じだが細かい所では
違っているものなど、認識が不可か見誤まることが多い
。

〔発明が解決しようとする問題点〕

上記従来技術例では、認識の難しい流動物や料理のよう
に画像の特徴に不確定部分（変動部分）が多いものに対
しては、認識が困難であった。

本発明の目的は、上記対象物に対しても認識率を向上さ
せるための手段を与えることを目的とする。

〔問題点を解決するための手段〕

上記目的は、対象物を検知するセンサー、センサー情報
の量子化手段、特徴抽出手段、特徴データの正規化手段
、標準パターン登録手段を持ち対象物が検知された時、
その正規化された％微データと標準パターンとを比較し
類似度を求めることにより１判別が誤まる恐れがある場
合、その結果を表示する手段を持つことＫより実現され
る。

〔作用〕そのため、まず検知対象物のサンプルをいくつか抜き取
り、センサから入力し色、形などの指標毎に量子化、特
敞抽出、正規化を経て標準パター／として登録する。

上記動作を対象となる品糧毎に行なうがこの時。

新たに入力された品撫の正規化データが既に登録されて
いる（１！準パターンと全指標に関し重なることがない
かどうか調べ１重なる場合は類似するということで表示
部にアラーム表示ならびに重複状況を出力する。これを
基に１重複する対象物間に。

区別をつけるための特徴付げを行なった浸再登録する。

それにより、一般対象物の認識率を高める。

〔実施例〕

本発明の実施ブロツク図を第１図に示す。

１は対象物を検知するイメージセンサ−で、特にＣＣＤ
のようなイメージセンサの場合、対象物を小さいエリア
に分割しセンスする。２は、１からのイメージ情報を明
度により何段階かに分け、量子化を行なう回路である。

量子化は赤（Ｒ）、緑（Ｇ）。

青（Ｂ）の各画素毎に行なわれる。、３は量子化回路２
かもの量子情報を基に各色の画素数、形１面積などの特
徴を抽出する回路である。特徴抽出は後で詳細に説明す
るが第２図に示すフローのように。

一つの品種の全サンプルならびに１つの対象物に対して
もセンスする角度をいろいろ変えてできる限り多くのデ
ータを入力する。４は、一つの品種に対して得られた情
報を、各指標毎にデータを正規化する回路である。正規
化以降の処理は制御部６を登録モードにしておくことに
より下記過程で行なわれる。まず、各指標毎に平均をと
る。

次に標準偏差を出す。（、＝ｎ　）ルその結果、５の標準パターン登録部に１品名、指標名に
対応して各指標毎正規化された（；−５ｙ）〜（、：ｒ
＋３ｆ）の値を添えて標準パターンとして登録する。

ここで標準パターンとして±５ｒの区間を設定したのは
、母集団のデータが正規分布している場合ｘ；：ｌ：５
ｔｒの区間に９９７％のデータが含まれるという結果に
基くものであるが、この場合厳密にはｄ−は標本から出
した値であり母集団の標準偏差として使うためにはでき
る限り多くの標本データをとる必要がある。

次に制御部６は以上のような各回路の統合開銀を行なう
もので、登録モード時は正規化されたデータを標準パタ
ーン登録部へ書込み、後で詳細に説明する第３図のフロ
ーのように判別チェ９クモード時は、各品名毎に登録さ
れた標準パターン期志が重なっていないかどうかを指示
し、その結果を７の表示部に出力指示する。８は７の表
示結果を参照しそれによりどのマークを付けるかを決定
し、該当品種にマークを付ける付加部である。

第４図は１食堂の料理の認識に関する標準パターンの登
録例であり１品名、各指標毎Ｖｃｘ±５＃の区間が設定
されている。

第２図には、１品種の標準パターンの登録動作が示され
ている。本例では画像データは検知する位置で若干異な
るため、検知する角度を１０°ずつ変えていき、０°〜
３６０′までの特徴データ抽出する。

第７図で具体的に登録の例を示すと、サラダの例では、
盛り付けた野菜などがはみ出ているか容器のりんかくを
出すため、見えている容器のりんかくからすべてをつな
ぎ合わせて完全なりんかくをつくる操作がまず行なわれ
る。次に容器の中を小さな領域に分割し、その領域中を
占める色の種類（以下、画素という）を調べ、赤、緑、
′Ｗの各画素数を算出する。検知する角度を変えてさら
にデータを算出する。更に側面から見た画像情報を加え
ることにより認識精度が向上する。また１画素数もある
程度まで各色階調毎に算出すると認識精度が同上する。

第２図に戻り、更にいくつかの標本を入力することＫよ
りデータを増やしている。

次に、正規化回路４において抽出された％微データを指
標毎に平均６）をとり、標準偏差（−を求め。

正規化データ！−５ｔ、Ｚ＋５”を標準パターン登録部
５に登録する。登録されたパターンが、第４図に例示さ
れている。全品種に関して上記手順で登録したあと、お
互いの品種が区別できるパターンになっているか判別精
度をチェヴクする必要がある。

第３図にチェ・ｌり動作を示している。

まず１品種毎に各指標値が重なっていないか比較動作を
行なっていく。本なっているものが存在しなければ、各
品種判別回層と判断し終了する。

重なっている場合は１例えば品ｆｉＡとＢが重なってい
るため判別不可及び重なり具合を表示する。

表示情報をもとに区別できるようにするため標識を追加
する。例えば品種Ａに緑色のマークもしくはデコレーシ
璽ンを追加する。追加された８遣は。

第２図に示す手順で再度登録動作を行なう。再度、。

全品種の重なりがないか検証する。

第４図は、料理の標準パターンのテーブル例テある。品
名はうどん、ラーメン、定食Ａ、Ｂ・・・・・・などが
あり、正規化された％微データは１画素データ赤（Ｒ）
、緑（Ｇ）、青（Ｂ）のドツト数で表現されている。第
４図の上表は、定食ＡとＢにおいて全指標値が重なって
Ｓり判別できないことを示している。そのため、定食Ａ
に料理の外観を損わないように緑色のデコレーションを
付は加える。それにより、定食Ａを再登録した時は、緑
（Ｇ）、青ＣＢ）の画素が増加し、全料理が判別可能と
なる。

ここでデコレーションを追加する作業は人手。

あるいは、マーク付加部８のように本システムと連動し
て自動的に行なわれることも可能である。

次に１本実施例で求められた特徴情報を利用した食堂Ｐ
ＯＳシステムについて説明する。

第６図に社員食堂形態のＰＯＳシステムを示す。

本例では選択した料理、ＩＤカードをセンサの下に置く
定置式を示している。１１４はバーコードで表現された
ＩＤカード（磁気カード上に印刷されていて共用化され
ていてもよい。）１１５は選択した料理であり利用者は
、お盆１１３の上にのせた状態で台１１７の上に置く。

台の下は、はかり１１６となっており重量をはかること
ができる。台の上方には、光源１０１．イメージセンサ
１０２があり、イメージセンサ１０２は台１１７の上に
置かれたＩＣカード１１４．料理１１５からの反射光を
赤、緑、青。

更に色調を数段階に分けて感じとることができるＣＣＤ
センサーから構成されている。また、バーコードを読取
るために利用されているレーザスキャナなどと組合わせ
ることも可能である。

１０２から入力された画像情報は１０３の量子化回路へ
送られる。量子化回路１０３は、入力された情報を色の
種類１階調毎に０，１の２値により量子化を行なうもの
である。１０４は、１ｏ３で量子化された情報からバー
コードパターンを検出するＩＣカード認Ｒ部である。

１０５は量子化回路１０３で得られた画像情報の特徴抽
出部であり、まず最初に、第７図で示すようにサラダの
例では、盛り付けた野菜などがはみ出ているが容器のり
んかくを出すため、見えている容器のりんかくからすべ
てをつなぎ合わせて完全なりんかくをつくる操作が行な
われる。次に容器の中を小さな領域に分割し、その領域
中を占める色の種類Ｃ以下１画素という）を調べ、赤、
緑。

青の各画素数を算出する。更に側面から見た画像情報を
加えることにより認識精度が向上する。また１画素数も
ある程度まで各色階調毎に算出すると認識精度が向上す
る。あまり細かい階調で算出すると誤差分も入ってくる
ので、かえって認識精度が低下することもある。認識精
度を更に向上させるため、はかり１１６からの重量情報
も、特徴抽出部１０５に入力される。１０７は、各料理
の特徴を記憶している標準パターン記憶部であり、登録
モードで特徴抽出部１０５からの特徴データを記憶する
ことができる。第８図は、その記憶テーブル例を示して
いる。このテーブルは、先に述べた実施例で予め求めら
れたものである。画素Ｒ，Ｇ、Ｂはそれぞれ赤、緑、青
の画素数を示しており、容器の面積も全画素数にて表現
されている。

また、認識精度を向上させるために１つの標準パターン
だけでなく、料理の置く方向１位置を変えて複数パター
ン登録しておくことが望ましい。

また、別の運用として、類似の料理が出る場合容器の色
を変えたり、デコレーションを加えることにより料理の
認識精度を上げる工夫もある。

１０６は、標準パターン記憶部１０７からの標準パター
ンと特徴抽出部１０５からの特徴情報との比較を行なう
パターンマツチング部である。核部は非登録モードで比
較操作を行ない、登録モードで１０５からのデータをＩ
Ｑ７へ転送する。１０８は１以上述べてきた如き画像認
識処理全体の統括制御（前述の登録モードなども含む）
を行なったり、ホストコンピュータ１０９１表示部１１
１．レシート１１２などの周辺器とのインターフェース
制御を行なう。

マ穴１ｏ４からのＩＣカード情報の１０９への転送も行
なう。１１０は食堂を利用する社員のＩＤ情報。

給与控除情報が記録されているファイルである。

次に、上記食堂システムの運用方法には、大きく登録モ
ードと非登録モードとに分かれる。登録モードは１例え
ば毎日仕込む料理の特徴を記憶させるモードを言い、毎
朝もしくは新規の料理サンプルが出来上がった時点で本
食堂システムに入力させる必要がある。非登録モードは
、一般の料理販売動作を言う。

第９図は、登録モード時の流れ図を示している。

まず、制御部１０８を登録モードに設定する。次に登録
したい料理を台１１７の上に置き登録動作をスタートさ
せる。イメージセンサ１０２より入力された画像情報は
１０３で量子化され、１０５で色、形。

面積などの特徴が抽出され、１０７の標準パターンＩ憶
部へ記憶される。次にスケール１１６からのデータも１
０７の標準パターン記憶部に記憶される。

登録した料理の品名、単価を登録する。以上の動作を登
録したい料理メニュー分だけ繰返す。また。

入力方法としてイメージセンサやはかりばかりで−なく
制御部１０８から人手による登録をしてもよい。

第１０図は、非登録モードの販売動作を示している。同
様な手順で画像データを量子化していくがまず最初にお
盆の上に置かれているＩＩＪカードの認識から初める。

認識したＩＬ）情報を制御部１０８を介してホストコン
ピュータ１０９へ転送する。ホストコンピュータ１０９
では社員ファイル１１０の内容と照合チェｑりしその結
果を制御部１０８へ返送する。制御部１０８では照合結
果がＯＫならば、引き続いて料理の画像認識を継続する
。登録された標準パターンと比較を行なう際、最も類似
度の高いメニューを決定していく。決定されたメニュー
に基づいて合計金額を表示部１１１に表示すると同時Ｖ
Ｃ１１２にてレシートを発行する。上記販売情報はホス
トコンピュータ１０９に送られ１社員ファイル１１０の
給与控除情報を更新する。また、これらの情報を集計し
料理の追加仕込みなどの判断だ利用される。以上の説明
でＩＤ情報の照合結果がだめであったり、料理が認識で
きない時はその旨１１１に表示し別の窓口で人手による
受払いを行な５ことになる。

〔発明の効果〕

以上説明した如く、物品の判別可否を予め知ることによ
り、物品の再特徴付げを行なうことができ、それにより
物品の認識精度を向上させることができる。

【図面の簡単な説明】

第１図は発明のブロック図、第２図は発明の物品の登録
動作を示す図、第３図は物品の判別精度チェ・Ｉり動作
を示す図、第４図は登録された標準パターンテーブル例
を示す図、第５図は従来のブロック図、第６図は発明の
食堂システム例、第７図は料理の画像認識例を示す図、
第８図は登録されている標準パターンテーブルを示す図
、第９図は料理、、登録の流れ図、第１０図は販売動作
の流れ図である。１・・・イメージセンサ−１２・・・量子化回路、６・
・・。特徴抽出回路、４・・・正規化回路、５・・・標準バタ
ー。ン登録部、６・・・制御部、７・・・表示部、８・・・
マーク。付加部。　　　　　　　　　　　　　　　　　　５第　
１　図午　　正１１．９．イｃＪ回女　　　　　？　マーク何
かＡ「第　２図１・・・１今イ盲１．予°−タｔ＄ｉ摩１％に手１１とｌ第　３　図第　４　図り金ギ＋王！利利可第　Ｓ　図第６図光：凱第　７０第　８　図第　ｑ　図

Claims

【特許請求の範囲】

１．　物品を検知しかつ．検知された情報を量子化、特
徴抽出を行なう物品認識方式において、検知対象となっている物品の種類毎に対応してパターン
マッチングのため標準パターンとなる特徴データを登録
する際、該データ間の値を相互比較し類似度を定量的に
チェックし類似度が一定度数以上であればその類似情報
に基づき識別のためのマークを該当物品に付加すること
を特徴とする物品認識方式。