JPH08335236A

JPH08335236A - 食堂料金精算システム

Info

Publication number: JPH08335236A
Application number: JP16479795A
Authority: JP
Inventors: Nobuo Kuchiki; 伸夫朽木
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1995-06-07
Filing date: 1995-06-07
Publication date: 1996-12-17

Abstract

(57)【要約】【目的】トレイ２上の複数の食器３を認識することに
よって、食堂料金を精算するシステムに於いて、食器ど
うしに重なりがあっても、これを正確且つ迅速に分離識
別することの出来る食堂料金精算システムを提供する。【構成】トレイ台１に載置されたトレイ２上の複数の
食器３を撮影するＣＣＤカメラ４と、ＣＣＤカメラ４か
ら得られる画像を処理して各食器の形状を認識し、認識
された食器の形状に基づいて食堂料金を精算する画像認
識処理回路５とを具え、画像認識処理回路５は、互いに
接触する食器３の画像の接触部を検知し、これらの画像
を該接触部にて切り離すことにより、トレイ２上の各食
器３を識別する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、食堂等においてトレイ
上に載せられた複数の食器の形状を認識することによっ
て、食事の料金を精算するシステムに関するものであ
る。

【０００２】

【従来の技術】従来、食堂における料金の精算手続きを
自動化して、精算時の混雑を解消するべく、トレイ台に
載置されたトレイ上の複数の食器をカメラによって撮影
し、その画像から各食器の形状を認識し、認識された食
器の形状に基づいて食堂料金を精算する方式が提案され
ている(特開昭61-16393号〔G07F9/10〕)。この様な食堂
料金精算システムに於いては、トレイ上の複数の食器を
確実に撮影すること、トレイ上の食器どうしに重なりが
あっても、これを正確に分離識別出来ること等が要求さ
れる。

【０００３】そこで、トレイ台にガイドを設けて、トレ
イの位置決めを確実に行わんとするもの(特開平6-28370
号〔G06F15/21〕)や、食器どうしの重なりを画像処理の
上で分離識別せんとするもの(特開平4-290174号〔G06F1
5/62〕)が提案されている。

【０００４】トレイ台にガイドを設ける方式(特開平6-2
8370号)に於いては、トレイ台には、トレイが密に嵌合
すべき凹部が形成され、これによって、トレイが２次元
的に位置決めされ、且つその回転が阻止される。この結
果、カメラの視野角の範囲内に食器が位置決めされ、そ
の画像を正確に捕らえることが出来る。

【０００５】一方、食器どうしの重なりを画像処理によ
って分離識別する方式(特開平4-290174号)は、不定形を
含む複合形状パターンから所定の円形又は四角形を識別
せんとするものであって、画像の輪郭を追跡し、その結
果を多数の判別条件と照合することによって、画像の重
なり部分が推定される。

【０００６】

【発明が解決しようとする課題】しかしながら、トレイ
台にガイドを設ける方式では、トレイをトレイ台の凹部
に嵌合させる作業が煩雑で面倒であり、却って精算時の
混雑を招く虞れがある。又、トレイの形状が変更される
と、ガイドの形状も変更せねばならず、実用上の問題が
ある。一方、食器画像どうしの重なり部分を推定する従
来の方式では、その推定アルゴリズムが複雑であり、
又、１つの円形パターンに対して最小二乗法による演算
処理を繰り返す必要があって、形状認識に時間がかかる
問題がある。

【０００７】本発明の目的は、トレイ上の食器どうしに
重なりがあっても、これを正確且つ迅速に分離識別する
ことの出来る食堂料金精算システムを提供することであ
る。本発明の他の目的は、トレイ台にトレイを単に載置
するだけで、トレイ上の複数の食器が確実に撮影される
食堂料金精算システムを提供することである。

【０００８】

【課題を解決する為の手段】本発明に係る食堂料金精算
システムは、トレイ台に載置されたトレイ上の複数の食
器を撮影する撮像手段と、撮像手段から得られる画像を
処理して各食器の形状を認識し、食器を識別する食器識
別手段と、識別された食器の種類に応じて食堂料金を精
算する料金精算手段とを具えている。ここで、食器識別
手段は、互いに接触する食器の画像の接触部を検知し、
これらの画像を該接触部にて切り離すことにより、トレ
イ上の各食器を識別するものである。

【０００９】具体的構成に於いて、トレイが透明或いは
半透明資材から形成される場合、トレイ台のトレイ載置
面の下方には、照明手段が上向きに配備される。

【００１０】又、トレイが食器とは異なる色の不透明資
材から形成される場合、トレイ台の上方位置には、トレ
イ載置面に向けて照明手段が配備される。この場合、食
器識別手段は、撮像手段によって撮影された画像からト
レイの領域を抜き取り、該抜取り領域内におけるトレイ
色以外の色部分に対し、食器識別のための画像処理を施
す。

【００１１】又、具体的構成に於いて、撮像手段は、外
部から供給されるトリガー信号に応じて１画面分の画像
を取り込むことが可能であって、トレイ台には、トレイ
が載置されたことを検知するための複数のスイッチ手段
が配設され、これらのスイッチ手段がトレイを検知した
とき、撮像手段へトリガー信号が送出される。

【００１２】又、具体的構成に於いて、食器識別手段
は、撮像手段からの濃淡画像を２値化する手段と、２値
化された画像に対して収縮及び膨張からなるノイズ除去
処理を施す手段と、ノイズ除去処理の施された２値化画
像にラベリング処理及びチェーンコード化処理を施し、
複数の食器が互いに接触する領域の両端に位置する一対
の接点を検出する手段とを具え、一対の接点の連結線の
位置を食器画像の接触部と認識する。

【００１３】食器識別手段は更に、前記接触部での切離
し処理を経た画像に対し、第２回目のラベリング処理を
施す手段と、ラベルの付与された各画像について、その
面積及び、重心位置から画像輪郭線までの距離を計測す
る手段と、該計測結果に基づいて各画像の形状的特徴を
認識し、食器を識別する手段とを具えている。

【００１４】

【作用】上記本発明の食堂料金精算システムに於いて
は、互いに接触する食器の画像を接触部にて切り離し、
切り離した画像に対して形状認識を施して、各食器を識
別するので、形状認識処理は、予め判明している食器の
形状に基づいて行なえばよく、処理が簡易となる。

【００１５】トレイが透明或いは半透明資材から形成さ
れる場合、トレイ台に照明手段を埋設することによっ
て、トレイ台に載置されたトレイは下方から照明を受
け、トレイを透過した光が食器によって遮断される結
果、食器の形状がシルエットとなって、撮像手段に取り
込まれることになる。従って、撮像手段に取り込まれた
画像に対して形状認識処理を施すことによって、食器の
識別が可能である。

【００１６】又、トレイが食器とは異なる色の不透明資
材から形成される場合、トレイ台の上方位置に照明手段
を配備することによって、トレイ台に載置されたトレイ
及び食器は、上方から照明を受け、それらの画像が撮像
手段に取り込まれることになる。ここで、食器識別手段
によって、前記取り込まれた画像からトレイの色を抽出
して、トレイの領域を抜き取り、該抜取り領域内におけ
るトレイ色の部分とそれ以外の色部分に分離すれば、食
器の形状は、トレイ色以外の色部分の輪郭として認識す
ることが出来る。従って、前記抜取り領域内におけるト
レイ色以外の色部分に対して形状認識処理を施すことに
よって、食器の識別が可能である。

【００１７】又、トレイ台に複数のスイッチ手段を配設
した具体的構成に於いては、これらのスイッチ手段が全
てＯＮとなる位置にトレイが載置されることによって、
撮像手段の視野角の領域にトレイ及び食器が入ることに
なる。そして、これらのスイッチ手段のＯＮ信号に基づ
いて、撮像手段に対してトリガー信号が供給され、トレ
イ及び食器を含む１画面分の画像が取り込まれる。

【００１８】又、食器識別手段の具体的構成に於いて
は、ノイズ除去処理によって、トレイ上にこぼれた残飯
などの画像がノイズとして除去されるので、その後の形
状認識処理が正確に行なわれる。又、ラベリング処理及
びチェーンコード化処理によって、複数の食器の接触領
域が容易に検出される。該接触領域の両端に位置する一
対の接点を連結し、該連結線に沿って画像を分離すれ
ば、互いに接触する食器の画像が食器毎に分離されるこ
とになる。

【００１９】食器識別手段の更に具体的な構成に於いて
は、前記接触部での切離し処理を経た画像は、円、楕
円、或いは長方形など、食器の一般的な形状となってい
るので、これを前提に、各画像の面積や重心位置から画
像輪郭線までの距離を計測すれば、これらの計測結果に
基づいて、各画像の形状的特徴(例えば円の場合は重心
位置から画像輪郭線までの距離が一定であること等)か
ら、食器の大きさ及び形状を特定することが可能であ
る。

【００２０】

【発明の効果】本発明に係る食堂料金精算システムによ
れば、トレイ上の食器どうしに重なりがあったとして
も、簡易な演算処理によって、各食器の画像を正確且つ
迅速に識別することが出来る。又、トレイ台にトレイを
単に載置するだけで、トレイ上の複数の食器が確実に撮
影されて、料金の精算が正確に行なわれる。

【００２１】

【実施例】以下、本発明の一実施例につき、図面に沿っ
て詳述する。図１は、食堂料金精算システムの構成を表
わしており、トレイ台(１)のトレイ載置面の上方位置に
は、トレイ(２)及びトレイ上の食器(３)を撮影すべきＣ
ＣＤカメラ(４)が下向きに設置されている。ＣＣＤカメ
ラ(４)は、外部から供給されるシャッタートリガー信号
によりシャッターが切られて、１画面分の画像を取り込
むことが出来る所謂ランダムシャッタートリガーモード
を有している。該ＣＣＤカメラ(４)から出力される１画
面分の画像信号は画像認識処理回路(５)へ供給される。

【００２２】又、トレイ台(１)には、ＣＣＤカメラ(４)
の視野角の範囲内にトレイ(２)が設置されたとき、該ト
レイ(２)の両端部を光学的に検知すべき第１検出スイッ
チ(11)及び第２検出スイッチ(12)が埋設されている。

【００２３】第１及び第２検出スイッチ(11)(12)からの
ＯＮ信号は、画像認識処理回路(５)へ供給されて、ＣＣ
Ｄカメラ(４)に対するシャッタートリガー信号が作成さ
れ、ＣＣＤカメラ(４)へ送出される。これによって、Ｃ
ＣＤカメラ(４)のシャッターが切られて、トレイ(２)及
び食器(３)を含む１画面分の画像が取り込まれる。

【００２４】そして、画像認識処理回路(５)では、ＣＣ
Ｄカメラ(４)によって取り込まれた１画面分の画像信号
に対し、後述する所定の画像認識処理が実行され、食器
の識別及び食堂料金の精算が行なわれる。画像認識処理
回路(５)による演算処理結果はディスプレイ(６)に表示
され、料金徴収者に報知される。

【００２５】図２は、トレイ(２)が透明或いは半透明の
場合の照明手段の構成を表わしており、トレイ台(１)の
トレイ設置面の下方に、照明具(７)が上向きに埋設され
ている。これによって、トレイ(２)が下方から照明さ
れ、トレイ(２)を透過した光が食器(３)によって遮断さ
れる。この結果、食器の形状がシルエットとなって、Ｃ
ＣＤカメラ(４)に取り込まれることになる。

【００２６】一方、図３は、トレイ(２)が食器(３)の色
とは異なる不透明色である場合の照明手段の構成を表わ
しており、トレイ台(１)のトレイ設置面の上方位置に、
照明具(８)(８)が下向きに設置されている。これによっ
て、トレイ(２)及びトレイ上の食器(３)が上方から照明
され、トレイ(２)及び食器(３)の形状がカラー画像とし
て、ＣＣＤカメラ(４)に取り込まれることになる。

【００２７】この場合、前記画像認識処理回路(５)は、
ＣＣＤカメラ(４)に取り込まれた１画面分の画像から、
トレイと同色の画像部分を抽出することによって、トレ
イの輪郭線を認識し、該輪郭線に包囲されている画像領
域を抜き取る。そして、更に該抜取り領域を、トレイと
同色の部分とそれ以外の色部分に分離し、トレイ色以外
の色部分を食器の形状として認識する。

【００２８】図４は、画像認識処理回路(５)による画像
認識処理の流れを表わしており、先ずステップＳ１に
て、第１検出スイッチ(11)及び第２検出スイッチ(12)が
共にＯＮとなったかどうかを判断し、ＹＥＳのとき、ス
テップＳ２に移行して、ＣＣＤカメラ(４)から１画面分
の画像信号を取り込む。

【００２９】図６は、画像認識処理回路(５)に取り込ま
れた原画像の一例を表わしている。図示する例では、ト
レイ上に、円形、矩形及び楕円形の３枚の食器が載って
おり、これらの３枚の食器は互いに一部で重なってい
る。又、図６の原画像には、食器の画像部分の周辺に若
干のノイズが混入している。これは、トレイの外周縁に
おける光の屈折によって生じる影や、トレイ上面の汚
れ、傷等によって生じたものである。

【００３０】次に図４のステップＳ３にて、所定の食器
識別処理を実行し、その結果に基づいて、ステップＳ４
では料金の精算を行なう。

【００３１】図５は、上記ステップＳ３における食器識
別処理の具体的手順を表わしている。先ずステップＳ２
１にて、原画像を所定のスレッショルドレベルで２値化
する。これによって、原画像を構成する各画素は“０”
又は“１”で表わされることになる。図７は、“０”を
白、“１”を黒で表わした２値画像を示している。該２
値画像には、食器の画像部分の周辺に、図６の原画像に
含まれていたノイズが残存したままである。

【００３２】次に図５のステップＳ２２にて、前記２値
画像に対して収縮及び膨張からなるノイズ除去処理(例
えば「画像処理の基本技法」技術評論社発行、５３〜５
６頁参照)を施す。収縮、膨張処理は、画像中の連結成
分の境界画素を全て削除或いは増殖させる処理であっ
て、収縮処理を数回施した後、同じ回数だけ膨張処理を
施す。これによって、画像中の孤立点が除去される。前
記の例では、図７の２値画像に含まれているノイズが除
去されて、図８に示す如くノイズのない２値画像が得ら
れることになる。

【００３３】続いて、図５のステップＳ２３にて、ノイ
ズ除去処理を経た２値画像に対してラベリング処理(例
えば「画像処理の基本技法」技術評論社発行、４５〜４
９頁参照)を施す。ラベリング処理とは、画像データ中
に隣接する画素が存在する場合、それらの画像群を１つ
のグループと見なして、ラベルを割り当てる処理であっ
て、上下左右のいずれかに隣接画素が存在するときに１
グループと見なす４連結ラベリングと、上下左右及び斜
め方向のいずれかに隣接画素が存在する場合に１グルー
プと見なす８連結ラベリングがある。図８の例では、互
いに重なった３枚の食器の画像に対し、１つのラベルが
割り当てられることになる。

【００３４】その後、図５のステップＳ２４にて２値画
像を反転し、ステップＳ２５にて、反転２値画像に対し
て、再度のラベリングを施す。この結果、複数の食器が
接触して、これらの食器の画像に包囲された島が生じた
場合にも、該島に対してラベルが割り当てられる。

【００３５】続いて、ステップＳ２６では、ラベルの割
り当てられた画像中の連結成分に対してチェーンコード
化処理(例えば「画像処理の基本技法」技術評論社発
行、７６〜７８頁参照)を施す。チェーンコード化処理
とは、連結成分の輪郭または線分を追跡して、その方向
に“０”〜“７”の方向指数(チェーンコード)を付与す
る処理であって、ラベルの割り当てられた各画像につい
て、食器の外形によって形成される輪郭(外輪郭)と、互
いに接触する複数の食器の間に生じる隙間の輪郭(内輪
郭)の追跡を行なう。そして、夫々のラベルについてチ
ェーンコードを記憶する。

【００３６】次に、ステップＳ２７にて、ラベルの割り
当てられた各連結成分について、記憶されている輪郭線
のチェーンコードに基づき、食器どうしの重なりによっ
て生じる画像の接点を検出する。

【００３７】図９は接点検出の手続きを表わしており、
先ず、ステップＳ４１にて接点候補点を選出する。接点
候補点は、図１０に例示する様にチェーンコードが０→
６、１→７、２→０、３→１、４→２、５→３、６→
４、７→５のように窪み方向へ急激に変化する点であっ
て、０→６と変化するチェーンコードの組合せの場合、
０→７→６や７→７→６のようにチェーンコード間に１
つ又は２つのチェーンコードが存在するときも変化点と
する。従って、変化点とすべきチェーンコードの組合せ
は全部で２４パターン存在する。

【００３８】次に図９のステップＳ４２にて、接点候補
点において、前後５画素の輪郭線に基づいて該候補点を
中心とする方向変化の角度を計算する。例えば、図１１
(ａ)の如く２つの食器の接触によって生じた接点候補点
であれば、方向変化の角度θは鋭角となるが、図１１
(ｂ)の如く１つの食器の輪郭線上に生じたノイズに起因
する接点候補点であれば、角度θは鈍角となる。従っ
て、図９のステップＳ４３にて、角度θを所定のしきい
値(例えば１２０°)と比較して、しきい値よりも小さい
ときはステップＳ４４にて真の接点と判断し、しきい値
以上のときはステップＳ４５にて輪郭線上のノイズと判
断する。

【００３９】図１２(ａ)(ｂ)は夫々、図１１(ａ)(ｂ)に
おける方向変化点近傍の拡大図であって、丸印が図形を
構成する画素を表わしている。ここでは、５→３と変化
するチェーンコードが接点候補点として検出され、該候
補点を中心とする前後５つ目の画素の開き角度を、方向
変化の角度として検出している。この場合、図１２(ａ)
の接点候補点が真の接点と判断され、図１２(ｂ)の接点
候補点は輪郭線上のノイズと判断されて無視される。

【００４０】食器の重なりによる真の接点については、
図１３に示す如く互いに一対となる接点のペア(ａ，
ｂ)、(ｃ，ｄ)が存在する。そこで、図５のステップＳ
２８にて、ラベルの付された全ての連結成分について、
このような接点ペアを作成する。接点ペアの作成には、
例えば下記の条件１〜３を満足する２つの接点を発見す
る方法が採用される。

【００４１】(条件１) ペアの判断をすべき２つの接点
について、互いの接点ベクトル(例えば図１３の接点
ａ、ｂについては、接点ａ、ｂにおける方向変化のベク
トルＡ、Ｂ)のなす角度θ₁(０°≦θ₁≦１８０°)が、
所定のしきい値(例えば１５０°)以上である。 (条件２) 注目する接点ベクトルと、その接点から他の
接点へ至る直線(例えば図１３の接点ａ，ｂについて
は、接点ａから接点ｂに至る直線Ｅ)のなす角度θ₂が所
定のしきい値(例えば１５０°)以上である。 (条件３) 上記条件１及び２を満たす接点ペアの中で、
その２点間の距離が所定のしきい値(円形の食器の場合
は例えばその直径の０.３〜１.０倍)以下のもので、且
つ最小である。

【００４２】図１３の場合、接点ａとｂや、ｃとｄは、
ペアと判断されるが、接点ａとｃや、ａとｄはペアとは
判断されない。

【００４３】全てのラベルについて接点ペアを作成した
後、図５のステップＳ２９にて、ペアと判断された２つ
の接点を互いに直線で結んで境界線を作成し、互いに連
結して１つのラベルが付されている図形要素を、該境界
線にて２つの食器の図形の連結成分に分離する。この処
理は、境界線上の画素“１”を“０”に置き換えること
によって行なわれる。

【００４４】図１４は、図８の２値画像の例において、
互いに接触している２つの食器の接触部に夫々接点ペア
を作成し、これらの接点ペアを相互に連結して境界線を
作成した状態を表わしている。又、図１５は、２値画像
を前記境界線にて個々の食器の画像に分断した状態を表
わしている。

【００４５】その後、図５のステップＳ３０にて、個々
の食器の画像に分断された２値画像を対象として再ラベ
リングを施す。そして、ステップＳ３１では、ラベル毎
に形状認識を行なう。

【００４６】図１６は、所謂「判別木法」を採用した形
状認識処理の具体的手順を表わしており、各食器をその
形状的特徴によって順次識別していくものである。先ず
ステップＳ５１にて、１つのラベルが割り当てられた画
像(以下、対象画像という)の面積を計測する。具体的に
は、対象画像を構成している画素数の総和を面積とする
ことが出来る。

【００４７】次にステップＳ５２にて、対象画像の重心
座標を計測する。一般に、関数ｆ(ｘ，ｙ)の慣性モーメ
ントＭ_ijは下記数１によって表わされる。

【数１】Ｍ_ij＝Σｘⁱｙ^jｆ(ｘ，ｙ) ここで、ｆ(ｘ，ｙ)は、対象画像の内部で“１”の値を
とり、対象画像の外部で“０”の値をとる。又、ｉ＝
０、ｊ＝０の場合、即ちＭ₀₀は対象画像の面積を表わ
す。

【００４８】従って、対象画像の重心の座標(ｘ、ｙ)
は、下記数２によって求めることが出来る。

【数２】ｘ＝Ｍ₁₀／Ｍ₀₀ ｙ＝Ｍ₀₁／Ｍ₀₀

【００４９】次に、ステップＳ５３にて、対象画像にチ
ェーンコード化を施し、チェーンコードを記憶した後、
ステップＳ５４にて、重心座標から各チェーンコード位
置までの線分の長さを算出し、最大長さとなる線分を長
軸、最小長さとなる線分を短軸として把握する。図１７
は、図１５の３つの画像を対象とする長軸と短軸を表わ
している。

【００５０】続いて、図１６のステップＳ５５にて、長
軸と短軸の長さの差が所定のしきい値よりも大きいかど
うかを判断し、ＮＯの場合はステップＳ５６にて食器は
円形であると判断し、ステップＳ５７にて、その半径
(例えば長軸と短軸の平均値)から、円形食器を特定す
る。

【００５１】又、ステップＳ５５にて、ＹＥＳと判断さ
れたときは、食器の形状は楕円或いは矩形であるものと
して、先ずステップＳ５８にて、直角候補点を選出す
る。直角候補点は、図１８に例示する如く、チェーンコ
ードが６→０、７→１、０→２、１→３、２→４、３→
５、４→６、５→７のように膨らみ方向へ急激に変化す
る点であって、６→０と変化するチェーンコードの組合
せの場合、６→７→０や７→７→０のようにチェーンコ
ード間に１つ又は２つのチェーンコードが存在するとき
も変化点とする。従って、変化点とすべきチェーンコー
ドの組合せは全部で２４パターン存在する。

【００５２】次に図１６のステップＳ５９にて、直角候
補点において、前後５画素の輪郭線に基づいて該候補点
を中心とする方向変化の角度を計算する。続いて、ステ
ップＳ６０にて、方向変化の角度を所定のしきい値(例
えば８０°)と比較し、しきい値を上回っているとき
は、その点を直角点と判断し、ステップＳ６１にて、対
象画像は、その直角点を輪郭線上に有する矩形の食器の
画像であると判断する。その後、ステップＳ６２にて、
対象図形の面積、長軸長さ、及び短軸長さから、矩形の
食器を特定する。

【００５３】一方、ステップＳ６０にてＮＯと判断され
たときは、ステップＳ６３に移行して、残るは楕円の食
器であると判断する。その後、ステップＳ６４にて、対
象図形の面積、長軸長さ、及び短軸長さから、楕円の食
器を特定する。図１６に示す一連の手続きは、図５のス
テップＳ３０にてラベルの付与された全ての画像を対象
として繰り返される。

【００５４】尚、上述の形状認識処理に於いては、円
形、矩形及び楕円の３種類の形状の食器を対象としてい
るが、６角形や８角形等の多角形の食器に対しても、図
１６のステップＳ５８での角度検出を直角以外の角度に
拡張すれば、同様に形状認識が可能である。

【００５５】上述の食器識別処理に於いては、トレイ上
の複数の食器が互いに重なっている場合にその接触部を
検知し、食器画像を接触部にて切り離した上で、食器毎
の画像を認識して、食器を特定する方式を採用している
ので、簡易な演算処理によって、食器を正確且つ迅速に
特定することが出来る。

【００５６】又、図１に示す構成によれば、トレイ台
(１)上のトレイ(２)を第１検出スイッチ(11)及び第２検
出スイッチ(12)の位置まで押し出すことによって、両ス
イッチがＯＮとなった瞬間にＣＣＤカメラ(４)のシャッ
ターが切られるので、トレイ台(１)にトレイ(２)を位置
決めするための特別なガイドは不要であり、料金の精算
を受ける際の煩わしさはない。

【００５７】上記実施例の説明は、本発明を説明するた
めのものであって、特許請求の範囲に記載の発明を限定
し、或は範囲を減縮する様に解すべきではない。又、本
発明の各部構成は上記実施例に限らず、特許請求の範囲
に記載の技術的範囲内で種々の変形が可能であることは
勿論である。例えば、第１検出スイッチ(11)及び第２検
出スイッチ(12)は位置調整可能に設けて、トレイの大き
さや形状の変更に容易に対応出来る構成とすることも可
能である。

【図面の簡単な説明】

【図１】本発明に係る食堂料金精算システムの構成を示
す図である。

【図２】下方から照明を行なう場合の照明具の配置を示
す図である。

【図３】上方から照明を行なう場合の照明具の配置を示
す図である。

【図４】画像認識処理回路の動作を表わすフローチャー
トである。

【図５】食器識別処理の具体的手続きを表わすフローチ
ャートである。

【図６】食器の原画像を示す図である。

【図７】図６の例における２値画像を示す図である。

【図８】収縮、膨張処理を経た２値画像を示す図であ
る。

【図９】接点検出の手順を示すフローチャートである。

【図１０】接点候補点の選出方法を説明する図である。

【図１１】真の接点とノイズの判別方法を説明する図で
ある。

【図１２】接点を中心とする方向変化角度の算出方法を
説明する図である。

【図１３】接点ペアの判別方法を説明する図である。

【図１４】図８の例において、接点ペアの作成を経て得
られる画像を示す図である。

【図１５】同上の例において、複数の食器の画像が分断
された状態を示す図である。

【図１６】形状認識処理の具体的な手続きを表わすフロ
ーチャートである。

【図１７】対象画像毎の長軸と短軸を示す図である。

【図１８】直角候補点の選出方法を説明する図である。

【符号の説明】

(１) トレイ台 (11) 第１検出スイッチ (12) 第２検出スイッチ (２) トレイ (３) 食器 (４) ＣＣＤカメラ (５) 画像認識処理回路 (６) ディスプレイ

Claims

【特許請求の範囲】

【請求項１】トレイ上の複数の食器を認識することに
よって、食堂料金を精算するシステムに於いて、トレイ
台に載置されたトレイ上の複数の食器を撮影する撮像手
段と、撮像手段から得られる画像を処理して各食器の形
状を認識し、食器を識別する食器識別手段と、識別され
た食器の種類に応じて食堂料金を精算する料金精算手段
とを具え、食器識別手段は、互いに接触する食器の画像
の接触部を検知し、これらの画像を該接触部にて切り離
すことにより、トレイ上の各食器を識別することを特徴
とする食堂料金精算システム。
【請求項２】トレイは透明或いは半透明資材から形成
され、トレイ台のトレイ載置面の下方には、照明手段が
上向きに配備されている請求項１に記載の食堂料金精算
システム。
【請求項３】トレイは、食器とは異なる色の不透明資
材から形成され、トレイ台の上方位置には、トレイ載置
面に向けて照明手段が配備されている請求項１に記載の
食堂料金精算システム。
【請求項４】食器識別手段は、撮像手段によって撮影
された画像からトレイの領域を抜き取り、該抜取り領域
内におけるトレイ色以外の色部分に対し、食器識別のた
めの画像処理を施す請求項３に記載の食堂料金精算シス
テム。
【請求項５】撮像手段は、外部から供給されるトリガ
ー信号に応じて１画面分の画像を取り込むことが可能で
あって、トレイ台には、トレイが載置されたことを検知
するための複数のスイッチ手段が配設され、これらのス
イッチ手段がトレイを検知したとき、撮像手段へトリガ
ー信号が送出される請求項１乃至請求項４の何れかに記
載の食堂料金精算システム。
【請求項６】食器識別手段は、撮像手段からの濃淡画
像を２値化する手段と、２値化された画像に対して収縮
及び膨張からなるノイズ除去処理を施す手段と、ノイズ
除去処理の施された２値化画像にラベリング処理及びチ
ェーンコード化処理を施し、複数の食器が互いに接触す
る領域の両端に位置する一対の接点を検出する手段とを
具え、一対の接点の連結線の位置を食器画像の接触部と
認識する請求項１乃至請求項５の何れかに記載の食堂料
金精算システム。
【請求項７】食器識別手段は更に、前記接触部での切
離し処理を経た画像に対し、第２回目のラベリング処理
を施す手段と、ラベルの付与された各画像について、そ
の面積及び、重心位置から画像輪郭線までの距離を計測
する手段と、該計測結果に基づいて各画像の形状的特徴
を認識し、食器を識別する手段とを具えている請求項６
に記載の食堂料金精算システム。