JPH09185717A - 物品のパターン認識方法 - Google Patents

Abstract

(57)【要約】 【課題】複数の四角形の物品が接触していたり、四角形
の物品に円形の物品が重なりあっていて平行辺が存在し
ていなくても四角形の物品のパターン及び大きさを正確
に認識する。 【解決手段】撮像した食器の輪郭から直線辺を抽出し、
この抽出した直線辺から四角形の食器を認識する場合
に、着目する辺の両端に四角形の内角が存在することを
条件に、着目する辺の両端の内角間の距離を四角形の大
きさとすることで四角形の食器を識別する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、食器や他の物品等
の物品のパターン認識方法に関する。

【０００２】

【従来の技術】この種のパターン認識方法としては、例
えば特開平４−２９０１７４号公報のものが知られてい
る。これは、２値化した食器画像の輪郭を抽出し、この
抽出した輪郭上に適当な長さのベクトルを順次作成し、
このベクトル間の角度から変曲点を抽出する。そして、
変曲点間の輪郭が円弧であるか直線であるかを判別し、
円形については円弧の中心、半径を求めることにより判
別する。また、四角形については平行辺の検出を行い、
平行辺間の距離を四角形の大きさとすることで判別して
いた。

【０００３】

【発明が解決しようとする課題】ところで、社員食堂な
どではトレー上に御飯、味噌汁、おかずが入った食器が
複数配置されるため、食器が互いに接触する可能性が高
く、このため、トレー上の食器を撮像して得た食器画像
の輪郭は本来の食器の形状である円形や四角形にはなら
ずにこれらを合成した輪郭となる場合が多い。このよう
な場合に、従来のように平行辺の検出だけでは食器の配
置によっては認識できない問題があった。すなわち、食
器同士が接触すると平行辺が存在しない状態になる場合
が多々あった。

【０００４】そこで、請求項１乃至１１記載の発明は、
複数の四角形の物品が接触していたり、四角形の物品に
円形の物品が重なりあっていて平行辺が存在していなく
ても四角形の物品のパターン及び大きさを正確に認識で
きる物品のパターン認識方法を提供する。また、請求項
２及び４記載の発明は、さらに、角が完全に直角でない
物品の大きさも正確に認識できる物品のパターン認識方
法を提供する。また、請求項５記載の発明は、さらに、
同一四角形を構成する垂直辺を、正確かつ簡単に検出で
きる物品のパターン認識方法を提供する。また、請求項
７乃至１１記載の発明は、さらに、平行辺が存在する場
合も四角形の物品のパターン及び大きさを正確に認識で
きる物品のパターン認識方法を提供する。

【０００５】

【課題を解決するための手段】請求項１記載の発明は、
物品を撮像カメラで撮像し、この撮像した物品の輪郭か
ら直線辺を抽出し、この抽出した直線辺から四角形の物
品を認識するパターン認識方法において、四角形の物品
を認識を、着目する辺の両端に四角形の内角が存在する
ことを条件に、着目する辺の両端の内角間の距離を四角
形の大きさとすることにある。

【０００６】請求項２記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品を認識を、着目
する辺の両端に四角形の内角が存在することを条件に、
輪郭上で内角と判断した部分より、内角を挟んで両方向
に適当な間隔離した２つの小線分を輪郭上に取り、この
２つの小線分の直線方程式の交点を内角の座標とし、着
目する辺の両端の内角座標間の距離を四角形の大きさと
することにある。

【０００７】請求項３記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品を認識を、着目
する辺の一方に、この着目する辺と垂直で同一四角形を
構成する辺が存在し、かつこの着目する辺のもう一方に
四角形の内角が存在することを条件に、着目する辺と垂
直な辺との交点と前記内角間の距離を四角形の大きさと
することにある。

【０００８】請求項４記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品を認識を、着目
する辺の一方に、この着目する辺と垂直で同一四角形を
構成する辺が存在し、かつこの着目する辺のもう一方に
四角形の内角が存在することを条件に、同一四角形を構
成する垂直辺については、この垂直辺の直線方程式と着
目する辺の直線方程式の交点座標を求め、内角について
は輪郭上で内角と判断した部分より、内角を挟んで両方
向に適当な間隔離した２つの小線分を輪郭上に取り、こ
の２つの小線分の直線方程式の交点を内角の座標とし、
この内角座標と、着目する辺と垂直辺の交点座標との間
の距離を四角形の大きさとすることにある。

【０００９】請求項５記載の発明は、請求項３又は４記
載の物品のパターン認識方法において、着目する辺とこ
の辺と同一四角形を構成する垂直辺の検出は、先ず、２
辺のベクトルが垂直であることを検出し、次にこの２つ
の辺を結んだベクトルを利用して２辺の位置関係の検証
を行い、さらにこの２辺が同一四角形を構成するか否か
の検証を、一方の辺の端に内角が存在するならばその内
角ともう一方の辺を結んだベクトルを利用することによ
り行うことにある。

【００１０】請求項６記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品を認識を、同一
四角形を構成する平行辺の検出を、２辺のベクトルが互
いに逆向きで２辺に重なり部分が存在することを検出す
ることにより行い、この平行辺が同一四角形を構成する
か否かの検証を、一方の辺の両端のいずれかに内角が存
在するならば、この内角ともう一方の辺を結んだベクト
ルを利用して行い、検出した平行辺間の距離を四角形の
大きさとすることにある。

【００１１】請求項７記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品の認識を、平行
辺が存在するか否かを検出することによって行い、平行
辺の検出は、２辺のベクトルが互いに逆向きで２辺に重
なり部分が存在することを検出して２辺の位置関係を検
証し、さらに２辺間の距離を判別することにより同一四
角形を構成する平行な２辺を検出することによって行
い、平行辺が存在する場合には、平行辺間の距離を四角
形の大きさとし、平行辺が存在しない場合には、着目す
る辺の一方に、この着目する辺と垂直で同一四角形を構
成する辺が存在し、かつこの着目する辺のもう一方に四
角形の内角が存在することを条件に着目する辺と垂直な
辺との交点と内角との距離を四角形の大きさとするか、
又は、着目する辺の両端に四角形の内角が存在すること
を条件に内角間の距離を四角形の大きさとすることにあ
る。

【００１２】請求項８記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、４角形の物品の認識を、平行
辺が存在するか否かを検出することによって行い、平行
辺の検出は、２辺のベクトルが互いに逆向きで２辺に重
なり部分が存在することを検出して２辺の位置関係を検
証し、さらに２辺間の距離を判別することにより同一四
角形を構成する平行な２辺を検出することによって行
い、平行辺が存在する場合には、平行辺間の距離を四角
形の大きさとし、平行辺が存在しない場合には、着目す
る辺の一方に、この着目する辺と垂直で同一四角形を構
成する辺が存在し、かつこの着目する辺のもう一方に四
角形の内角が存在することを条件に着目する辺と垂直な
辺との交点と内角との距離を四角形の大きさとするか、
又は、着目する辺の両端に四角形の内角が存在すること
を条件に内角間の距離を四角形の大きさとし、四角形の
内角の存在は、輪郭上を２つのベクトルで操作し、この
２つのベクトルのなす角度とこの２つのベクトル同士の
向きの関係から四角形の内角を識別することで確認する
ことにある。

【００１３】請求項９記載の発明は、物品を撮像カメラ
で撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品の認識を、同一
四角形を構成する互いに垂直な２辺の検出を行うととも
に平行辺が存在するか否かを検出することによって行
い、互いに垂直な２辺の検出は、２辺のベルトルの垂
直、方向を検出して２辺の位置関係を検証し、さらに２
辺間の距離を判別することにより同一四角形を構成する
垂直な２辺を検出することによって行い、また、平行辺
の検出は、２辺のベクトルが互いに逆向きで２辺に重な
り部分が存在することを検出して２辺の位置関係を検証
し、さらに２辺間の距離を判別することにより同一四角
形を構成する平行な２辺を検出することによって行い、
平行辺が存在する場合には、平行辺間の距離を四角形の
大きさとし、平行辺が存在しない場合には、着目する辺
の一方に、この着目する辺と垂直で同一四角形を構成す
る辺が存在し、かつこの着目する辺のもう一方に四角形
の内角が存在することを条件に着目する辺と垂直な辺と
の交点と内角との距離を四角形の大きさとするか、又
は、着目する辺の両端に四角形の内角が存在することを
条件に内角間の距離を四角形の大きさとすることにあ
る。

【００１４】請求項１０記載の発明は、物品を撮像カメ
ラで撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品の認識を、平行
辺が存在するか否かを検出するとともに物品の色を検出
することによって行い、平行辺の検出は、２辺のベクト
ルが互いに逆向きで２辺に重なり部分が存在することを
検出して２辺の位置関係を検証し、さらに２辺間の距離
を判別することにより同一四角形を構成する平行な２辺
を検出することによって行い、物品の色の検出は、輪郭
線により構成した物品の辺の膨脹処理を行い、この膨脹
処理した辺の画像と物品の画像との論理積画像を作成
し、この論理積画像の統計をとることにより行い、平行
辺が存在する場合には、平行辺間の距離を四角形の大き
さとし、平行辺が存在しない場合には、着目する辺の一
方に、この着目する辺と垂直で同一四角形を構成する辺
が存在し、かつこの着目する辺のもう一方に四角形の内
角が存在することを条件に着目する辺と垂直な辺との交
点と内角との距離を四角形の大きさとするか、又は、着
目する辺の両端に四角形の内角が存在することを条件に
内角間の距離を四角形の大きさとすることにある。

【００１５】請求項１１記載の発明は、物品を撮像カメ
ラで撮像し、この撮像した物品の輪郭から直線辺を抽出
し、この抽出した直線辺から四角形の物品を認識するパ
ターン認識方法において、四角形の物品の認識を、平行
辺が存在するか否かを検出するとともに物品の色を検出
することによって行い、平行辺の検出は、２辺のベクト
ルが互いに逆向きで２辺に重なり部分が存在することを
検出して２辺の位置関係を検証し、さらに２辺間の距離
を判別することにより同一四角形を構成する平行な２辺
を検出することによって行い、物品の色の検出は、輪郭
線により構成した物品の辺の膨脹処理を行い、この膨脹
処理した辺の画像と物品の画像との論理積画像を作成
し、この論理積画像の統計をとることにより行い、平行
辺が存在する場合には、平行辺間の距離を四角形の大き
さとし、平行辺が存在しない場合には、着目する辺の一
方に、この着目する辺と垂直で同一四角形を構成する辺
が存在し、かつこの着目する辺のもう一方に四角形の内
角が存在することを条件に着目する辺と垂直な辺との交
点と内角との距離を四角形の大きさとするか、又は、着
目する辺の両端に四角形の内角が存在することを条件に
内角間の距離を四角形の大きさとし、四角形の内角の存
在は、輪郭上を２つのベクトルで操作し、この２つのベ
クトルのなす角度とこの２つのベクトル同士の向きの関
係から四角形の内角を識別することで確認することにあ
る。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。なお、この実施の形態は本発明を
食堂における料金自動精算装置に適用したものについて
述べる。図１は全体の構成を示すブロック図で、物品と
してトレー１に載せた各種食器２，２，…を撮像カメラ
３で撮像する。そして、この撮像カメラ３からの画像信
号を食器認識装置４に供給する。

【００１７】前記食器認識装置４は、食器画像取込部
５、食器画像分離部６、図形認識部７及び料金精算部８
からなり、前記食器画像取込部５が撮像カメラ３からの
画像信号を取込むと次段の食器画像分離部６に供給し、
この食器画像分離部６は画像から食器画像のみを分離し
て次段の図形認識部７に供給する。前記図形認識部７は
食器画像のパターンから図形の大きさや色などを認識
し、それぞれの図形がどの食器かを識別して前記料金精
算部８に供給する。

【００１８】前記料金精算部８には予め食器の形状や大
きさに応じて内容物の価格が設定されており、この料金
精算部８は、図形認識部７での食器の識別結果に基づい
てトレー１の各種食器２に載っている内容物の合計金額
を算出して表示器に表示する。客は、この表示器に表示
した合計金額に基づいて金銭支払いを行い精算を行うこ
とになる。

【００１９】前記図形認識部７は、本願発明にかかる要
部を構成し、図２に示す流れ図に基づく処理を行うよう
になっている。この処理は、先ず、Ｓ１にて、分離した
食器画像を２値化し輪郭を抽出する。続いて、Ｓ２に
て、直線、円弧への分解を行う。すなわち、抽出した輪
郭をベクタライズすることにより、輪郭を構成する個々
の点の座標を取り出す。例えば、輪郭が図３に示すよう
に抽出されたとすると、この輪郭を部分辺に分解する。
部分辺への分解は、図４に示すように、輪郭上を２つの
隣接した小ベクトルａ，ｂで全て操作してベクトル同士
のなす角がある閾値以上の部分については四角形の食器
の内角、又は食器同士の隣接部分と判断して行う。図３
の輪郭は図５に示すように円弧や直線に分解する。

【００２０】このとき、四角形の内角の検出を行い、さ
らに内角の座標を求める。図６に示すように、ベクトル
ａから見て左回りを＋、すなわち、ベクトルａとｂのな
す角は＋と定義し、また、ベクトルａから見て右回りを
−、すなわち、ベクトルａとｃのなす角は−と定義す
る。四角形の内角は、例えば、図７に示すように、輪郭
を左回りに辿ると、内角の部分ではベクトルａから見て
ベクトルｂは略＋９０度であり、四角形同士が接触した
部分では略−９０度になる。なお、輪郭を右回りに辿れ
ばこの逆となる。同様な方法で、ａ，ｂのベクトルの向
きを互いに逆方向にして輪郭上を辿ってもベクトル同士
の向きの関係は内角と四角形の接触部分で逆になる。

【００２１】このような条件に当てはまる内角の座標を
求める。ベクトルａ、ｂのなす角が最も＋９０度に近く
なる輪郭上のベクトルｂの始点（ベクトルａの終点）を
内角座標としてもよいが、食器の角は厳密には丸いこと
を考慮して、この内角点を挟んで両方向に適当な間隔を
離した２つの小線分ａ、ｂを輪郭上に作成し、この２つ
の小線分の直線方程式の交点を内角の座標とすることで
厳密に内角の座標を決定できる。この内角の座標の求め
方は図８に示す。なお、小線分を作成するのは２点を通
る直線を求めると考えることができる。このように部分
辺への分解と内角の検出、内角の座標を決定することが
できる。なお、部分辺が円弧であるか直線であるかは、
例えば、始点が同じで終点の違う２つのベクトルを部分
辺上に作成し、ベクトル間の角度により直線、円弧を判
別できる。

【００２２】続いて、Ｓ３にて、辺の色を求める。これ
は、図９に示す流れ図に基づいた処理を行う。これは、
先ず、Ｓ３１にて、分解した辺を膨脹処理する。すなわ
ち、図１０の(a) に示すような辺を膨脹して図１０の
(b) に示すように太らせる。続いて、Ｓ３２にて、食器
の彩度の画像と膨脹させた辺との論理積画像の統計をと
る。すなわち、図１０の(c) から(d) に示すような処理
を行って論理積画像を作成し、さらに適当な閾値により
低色彩部分と高色彩部分とをわけ、それぞれの画素数の
統計をとる。これは、図１０の(e) に示す色区分を２つ
にした場合に相当する。

【００２３】続いて、Ｓ３３にて、彩度の低い部分があ
る閾値以上あるかを判断し、彩度の低い部分がある閾値
以上あれば、低色彩部分の方が多く白又は黒になり、彩
度の低い部分がある閾値以上無ければ、高色彩部分の方
が多く他の色彩色となる。

【００２４】彩度の低い部分がある閾値以上あり、低色
彩と判断すると、Ｓ３４にて、膨脹させた辺と食器の明
度画像との論理積画像を作成する。そして、適当な閾値
により低明度部分と高明度部分にわけ、それぞれの画素
数の統計をとる。これは、図１０の(e) に示す色区分を
２つにした場合に相当する。続いて、Ｓ３５にて、明度
の低い部分がある閾値以上あるかを判断し、明度の低い
部分がある閾値以上あれば、Ｓ３６にて辺の色は黒であ
ると判断し、また、明度の低い部分がある閾値以上無け
れば、Ｓ３７にて、辺の色は白であると判断する。

【００２５】また、彩度の低い部分がある閾値以上無
く、高色彩と判断すると、Ｓ３８にて、膨脹させた辺と
食器の色相画像との論理積画像を作成する。そして、適
当な閾値によりいくつかの色区分にわけ、それぞれの色
区分に含まれる画素数の統計をとる。そして、Ｓ３９に
て、最も画素数の多い色相区分をその辺の色とする。こ
のようにして、食器中に料理が存在しても食器の縁の色
を識別することにより食器の色を正確に判別できる。そ
して、辺の色を識別することにより、平行辺の検証、垂
直辺の検証などに色による検証も加えることができる。

【００２６】以上のようにして分解した直線辺データと
内角データ、辺の色の情報を用いて、Ｓ４にて、四角形
の判断を行う。この四角形の判断は、図１１に基づいて
行う。なお、この図１１の処理は左向きに輪郭を辿った
場合の処理であり、また、ある閾値よりも短い辺は判断
の対象外としている。

【００２７】すなわち、Ｓ４１にて、直線辺の両端にど
のような角が存在するかを検出し、データとして登録す
る。続いて、Ｓ４２にて、同一図形を構成する互いに垂
直な２辺を検出する。ここでは、着目する辺の右側に存
在する同一図形を構成する垂直な辺の検出を行う。図１
２の(a) に示すように、先ず、着目する辺Ｐのベクトル
ａに対し辺Ｑのベクトルｂは＋９０度でなければならな
い。この原理は内角を検出した時と同様の理論である。
さらに、辺Ｐと辺Ｑの間の距離はある閾値内であること
を条件として加えてもよい。

【００２８】しかし、これだけの条件では確実な検出を
行うことはできない。例えば、図１２の(b) に示すよう
な場合、着目する辺Ｐのベクトルａに対し辺Ｑのベクト
ルｂは＋９０度でなければならないという条件は満たし
ているが、明らかに辺Ｐと辺Ｑは同一図形の縦と横の辺
ではない。そこで、辺Ｐの先と辺Ｑの始点を結んだベク
トルｃを作成し、ベクトルａとベクトルｃのなす角が−
ならＮＧ、なす角が＋ならＯＫとする。図１２の(b) の
場合はなす角が−となるのでＮＧとなり、同一図形を構
成する互いに垂直な２辺として検出しない。

【００２９】以上により同一図形を構成するであろう垂
直辺を検出したことになる。しかし、本当に同一図形を
構成するものであるか否かの検証は別途必要となる。そ
こで、着目する辺Ｐの右側にすでに内角を検出している
場合、内角と辺Ｑの始点（Ｑ上ならどこでもよい。）を
結んだベクトルｃと辺Ｐのベクトルａのなす角は略＋９
０度でなければならないが、図１３の(a) の場合はこの
条件を満たさないので同一四角形を構成する垂直辺とは
しない。これに対し、図１３の(b) の場合は、内角と辺
Ｑの始点を結んだベクトルｃと辺Ｐのベクトルａのなす
角が略＋９０度となっているので同一四角形を構成する
垂直辺とする。なお、図中○は検出済みの内角を示して
いる。これは２つの四角形が接触している場合などに生
じるケースである。

【００３０】また、辺Ｑの左側にすでに内角を検出して
いる場合、辺Ｐの先とその内角をむすんだベクトルｃと
辺Ｐのベクトルａとのなす角は略０度でなければならな
いが、図１４の(a) 場合は、この条件を満たさないので
同一四角形を構成する垂直辺とはしない。これに対し、
図１４の(b) の場合は、ベクトルｃとベクトルａのなす
角が略０度となっているので同一四角形を構成する垂直
辺とする。これもまた、２つの四角形が接触している場
合などに生じるケースである。

【００３１】ここで垂直辺として検出してはならない辺
Ｐと辺Ｑの例を図１５に示す。この場合、図１４の(a)
の場合と同様の方法で内角Ｙを利用したベクトルを作成
することにより、同一四角形を構成する垂直辺とはしな
い判断を行うことになる。

【００３２】すなわち、辺Ｐと辺Ｑは同一図形を構成す
る横と縦の辺でないことを判断する。以上のように、２
辺の端のいずれかに存在する内角ともう一方の辺を結ん
だベクトルを利用することにより、同一図形を構成する
縦と横の辺か否かの検証を行うことができる。

【００３３】続いて、Ｓ４３にて、同一図形を構成する
互いに平行な２辺を検出する。ここでは先ず、図１６に
示すように、着目する辺Ｐと検出対象の辺Ｑは重なり部
分を有し、辺Ｐのベクトルａと辺Ｑのベクトルｂのなす
角は１８０度でなければならない。しかし、これだけで
は同一図形を構成する平行辺であるかどうかはわからな
い。例えば図１７の(a) 及び(b) に示すように、辺Ｐの
終点側に内角を検出している場合、辺Ｐのベクトルａに
対し、内角と辺Ｑの始点を結んだベクトルｃは＋９０度
〜＋１８０度の範囲である必要がある。図１７の(b) は
この条件を満たしているのでＯＫ、すなわち、辺Ｐと辺
Ｑは同一図形を構成する平行辺となるが、図１７の(a)
はこの条件を満たさずＮＧとなる。

【００３４】また、図１７の(c) 及び(d) に示すよう
に、辺Ｐの始点側に内角を検出している場合、辺Ｐのベ
クトルａに対し、内角と辺Ｑの始点を結んだベクトルｃ
は０度〜＋９０度の範囲である必要がある。図１７の
(d) はこの条件を満たしているのでＯＫ、すなわち、辺
Ｐと辺Ｑは同一図形を構成する平行辺となるが、図１７
の(c) はこの条件を満たさずＮＧとなる。

【００３５】また、図１７の(e) 及び(f) に示すよう
に、辺Ｑの始点側に内角を検出している場合、辺Ｐのベ
クトルａに対し、内角と辺Ｐの終点を結んだベクトルｃ
は＋１８０度〜＋２７０度の範囲である必要がある。図
１７の(f) はこの条件を満たしているのでＯＫ、すなわ
ち、辺Ｑと辺Ｐは同一図形を構成する平行辺となるが、
図１７の(e) はこの条件を満たさずＮＧとなる。

【００３６】また、図１７の(g) 及び(h) に示すよう
に、辺Ｑの終点側に内角を検出している場合、辺Ｐのベ
クトルａに対し、内角と辺Ｐの始点を結んだベクトルｃ
は＋２７０度〜＋３６０度の範囲である必要がある。図
１７の(h) はこの条件を満たしているのでＯＫ、すなわ
ち、辺Ｑと辺Ｐは同一図形を構成する平行辺となるが、
図１７の(g) はこの条件を満たさずＮＧとなる。また、
着目する辺Ｐの終点側にすでに検出した同一図形を構成
する垂直辺Ｒが存在するならば、垂直辺Ｒの始点（Ｒ上
ならどこでもよい。）と辺Ｑの始点を結んだベクトルｃ
と辺Ｐのベクトルａのなす角は＋９０度以上でなければ
ならないという条件を満たす必要がある。これに対し、
図１８の(a) に示す図形の場合は、垂直辺Ｒの始点と辺
Ｑの始点を結んだベクトルｃと辺Ｐのベクトルａのなす
角は＋９０度以下なのでＮＧとなる。

【００３７】また、着目する辺Ｐの終点側に内角が存在
し、かつ辺Ｑの始点側にも内角が存在するならば、内角
同士を結んだベクトルｃと辺Ｐのベクトルａのなす角は
＋９０度以上でなければならないという条件を満たす必
要がある。これに対し、図１８の(b) に示す図形の場合
は、内角同士を結んだベクトルｃと辺Ｐのベクトルａの
なす角は＋９０度以下なのでＮＧとなる。

【００３８】また、辺Ｑの始点側に内角が存在し、辺Ｐ
の終点と内角を結んだベクトルｃと辺Ｐのベクトルａの
なす角は＋９０度以下でなければならないという条件を
満たす必要があるのに対し、図１８の(c) に示す図形の
場合は、ベクトルｃと辺Ｐのベクトルａのなす角が＋９
０度を越えているのでＮＧとなる。以上の場合において
もＮＧとなるのは四角形同士が接触した場合等に生じ
る。実際の図形の配置例を図１９に示す。図１９の(a)
は、辺Ｐと辺Ｑが同一図形を構成する平行辺でない場合
であり、内角Ｚに関し、図１７の(a) の場合が当て嵌ま
りＮＧとなり、また、内角Ｗに関し、図１７の(g) の場
合が当て嵌まりＮＧとなる。また、図１９の(b) は、辺
Ｐと辺Ｑが同一図形を構成する平行辺である場合であ
り、内角Ｙに関し、図１７の(d) の場合が当て嵌まりＯ
Ｋとなり、また、内角Ｚに関し、図１７の(b) の場合が
当て嵌まりＯＫとなる。

【００３９】以上のように、２つの平行辺の両端のいず
れかに内角が存在するならば、内角ともう一方の辺とを
結んだベクトルを利用することにより、同一四角形を構
成する平行辺であるか否かを正確、かつ簡単に検出でき
る。なお、この平行辺の検証の場合も食器の色の情報を
用いることでさらに精度を向上できる。以上のようにし
て、内角、同一図形を構成する垂直辺、平行辺の検出を
行うことになる。続いて、Ｓ４４にて、同一図形に含ま
れる辺をまとめ、図形番号を与える。そして、Ｓ４５に
て、各図形に対し、四角形の判別条件に基づき識別を行
う。すなわち、Ｓ４２及びＳ４３にて求めた情報を用い
て四角形の大きさを決定する。

【００４０】先ず、四角形の判別条件は、「１つ、平行
辺が存在する。２つ、着目する辺の両側に内角が存在す
る。３つ、着目する辺の一方に同一図形を構成する垂直
辺が存在し、もう一方に内角が存在する。」という３つ
の条件とする。図２０に示すように、同一図形として登
録した辺の中に平行辺Ｐ，Ｑが存在する場合は、平行辺
間の距離ｄを四角形の大きさとする。

【００４１】また、Ｓ４３にて食器の配置等により、平
行辺を検出することができなかったならば、２つ目、３
つ目の条件により四角形の識別を行うことになる。先ず
２つ目の条件を利用する場合を述べる。例えば、図２１
に示す場合は、同一図形を構成する平行辺は存在しな
い。しかし、着目する辺Ｐの両端に内角Ｙ、Ｚが存在す
るので、この内角間の距離ｄを四角形の大きさとするこ
とができる。このように、最低でも１辺と内角２つが存
在すれば平行辺が存在しなくても四角形を識別すること
ができる。内角間の距離を四角形の大きさとすることで
様々な置き方に対応できるようになるが、実際に利用さ
れる置き方例を示すと図２３に示すような置き方例があ
る。この場合、内側の輪郭は食器の輪郭か、それとも料
理の輪郭であるか判断できないため、輪郭として確実な
のは外側の輪郭となる。従って、平行辺の検出も、対角
線の検出もできないが、１つの辺と内角２つは検出でき
るので、２つ目の条件を利用して四角形の大きさを識別
できる。

【００４２】次に３つ目の条件を利用する場合を述べ
る。例えば、図２２に示す場合は、同一図形を構成する
平行辺は存在しない。しかし着目する辺Ｐの一方に同一
図形を構成する垂直辺Ｑが存在し、かつもう一方に内角
Ｙが存在するので、辺Ｐと辺Ｑの交点と内角Ｙ間の距離
を四角形に大きさとすることができる。同一四角形を構
成する垂直辺の求め方、内角座標の求め方については前
述した通りである。このように２つ目、３つ目の条件を
利用することで平行辺が存在しない場合でも四角形の大
きさを識別することができる。

【００４３】結果として、四角形の大きさを識別する新
しい２条件（１辺とこの辺の両端に２内角が存在する。
１辺と同一四角形を構成する垂直辺と１つの内角が存在
する。）を平行辺が存在するという条件に加えること
で、平行辺間の距離だけを四角形の大きさとする場合に
比べて四角形の大きさを識別する精度を向上できる。特
に、１辺と２つの内角が存在するという条件は、食器同
士が接触した場合に非常に効果を発揮する。

【００４４】また、Ｓ４５にて条件に当てはまらない場
合が生じると、続いて、Ｓ４６にて、条件を満たさない
図形が１つでも存在すればトレー１上の食器２を置き直
すという作業を行い、再度四角形の判断処理を繰り返す
ことになる。以上のように、平行辺、垂直辺、内角の情
報を用いることによって置き方への制約を緩和し、たと
え複数の四角形の食器２が接触していたり、四角形の食
器２に円形の食器２が重なっていても四角形の食器のパ
ターン及び大きさを精度よく、正確に認識することがで
きる。また、平行辺、垂直辺、内角の検証に辺の色の識
別も加えているので、四角形の食器のパターン及び大き
さを精度よく、より正確に認識することができる。

【００４５】Ｓ４での四角形の判断が終了すると、続い
てＳ５にて、円形の判断を行う。この円形の判断は、最
小２乗法を利用することにより、円弧の中心と半径を求
めることにより行う。これにより、円形の食器も正確に
識別することができる。

【００４６】ここで実際に大きさを識別する例を述べる
と、予め四角形Ａと四角形Ｂの大きさをメモリに登録し
ておく。例えば、四角形Ａの大きさを８×１０、四角形
Ｂの大きさを５×１２として登録しておく。この場合、
同一四角形の２辺の長さは同一でもよいが、四角形同士
では２辺の長さは違わなければならない。そして、図２
１に示すように、内角Ｙと内角Ｚ間の距離ｄから大きさ
１０が測定されたとすると、大きさ１０は四角形Ａの１
つの辺に当て嵌まるので、この四角形は四角形Ａと識別
することになる。

【００４７】なお、この実施の形態は本発明を食堂にお
ける料金自動精算装置に適用し、食器のパターン認識を
行う場合について述べたが必ずしもこれに限定するもの
ではなく、食器以外の物品のパターン認識にも適用でき
る。

【００４８】

【発明の効果】以上、請求項１乃至１１記載の発明によ
れば、複数の四角形の物品が接触していたり、四角形の
物品に円形の物品が重なりあっていて平行辺が存在して
いなくても四角形の物品のパターン及び大きさを正確に
認識できる。また、請求項２及び４記載の発明によれ
ば、さらに、角が完全に直角でない物品の大きさも正確
に認識できる。また、請求項５記載の発明によれば、さ
らに、同一四角形を構成する垂直辺を、正確かつ簡単に
検出できる。また、請求項７乃至１１記載の発明によれ
ば、さらに、平行辺が存在する場合も四角形の物品のパ
ターン及び大きさを正確に認識できる。

【図面の簡単な説明】

【図１】本発明の実施の形態を示す料金自動精算装置の
ブロック図。

【図２】同実施の形態における四角形及び円形の図形認
識処理を示す流れ図。

【図３】同実施の形態の図形認識処理における画像の輪
郭例を示す図。

【図４】同実施の形態の図形認識処理における部分辺へ
の分解方法を説明するための図。

【図５】同実施の形態の図形認識処理における分解した
画像の輪郭例を示す図。

【図６】同実施の形態の図形認識処理における四角形の
内角を検出する場合の角度の定義を説明するための図。

【図７】同実施の形態の図形認識処理における四角形の
内角及び接触部分の角の検出方法を説明するための図。

【図８】同実施の形態の図形認識処理における四角形の
内角の座標の求め方を説明するための図。

【図９】同実施の形態の図形認識処理における辺の色を
求める処理の内容を示す流れ図。

【図１０】図９における辺の色を求める処理を説明する
ための模式図。

【図１１】同実施の形態の図形認識処理における四角形
の判断処理の内容を示す流れ図。

【図１２】同実施の形態の図形認識処理の四角形判断処
理における垂直辺検出時のＯＫ、ＮＧの判断条件を説明
するための図。

【図１３】同実施の形態の図形認識処理の四角形判断処
理における垂直辺検出時のＯＫ、ＮＧの判断条件を説明
するための図。

【図１４】同実施の形態の図形認識処理の四角形判断処
理における垂直辺検出時のＯＫ、ＮＧの判断条件を説明
するための図。

【図１５】同実施の形態の図形認識処理の四角形判断処
理における垂直辺検出時のＯＫ、ＮＧの判断条件が実際
に利用される例を示した図。

【図１６】同実施の形態の図形認識処理の四角形判断処
理における平行辺検出時の判断条件を説明するための
図。

【図１７】同実施の形態の図形認識処理の四角形判断処
理における平行辺検出時のＯＫ、ＮＧの判断条件を説明
するための図。

【図１８】同実施の形態の図形認識処理の四角形判断処
理における平行辺検出時のＮＧの判断条件を説明するた
めの図。

【図１９】同実施の形態の図形認識処理の四角形判断処
理における平行辺検出時のＯＫ、ＮＧの実際の図形にお
ける判断を説明するための図。

【図２０】同実施の形態の図形認識処理の四角形判断処
理において平行辺が存在するときの四角形の大きさの決
定を説明するための図。

【図２１】同実施の形態の図形認識処理の四角形判断処
理において１つの辺と両端の内角間の距離から四角形の
大きさを決定することを説明するための図。

【図２２】同実施の形態の図形認識処理の四角形判断処
理において１つの辺の一方に同一図形を構成する垂直辺
と、もう一方に存在する内角との距離から四角形の大き
さを決定することを説明するための図。

【図２３】同実施の形態の図形認識処理の四角形判断処
理において１つの辺と両端の内角間の距離から四角形の
大きさを決定する１例を示した図。

【符号の説明】

２…食器 ３…撮像カメラ ４…食器認識装置 ７…図形認識部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品を認識を、着目する辺の両端に四角形の内
   角が存在することを条件に、着目する辺の両端の内角間
   の距離を四角形の大きさとすることを特徴とする物品の
   パターン認識方法。
2. 【請求項２】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品を認識を、着目する辺の両端に四角形の内
   角が存在することを条件に、輪郭上で内角と判断した部
   分より、内角を挟んで両方向に適当な間隔離した２つの
   小線分を輪郭上に取り、この２つの小線分の直線方程式
   の交点を内角の座標とし、着目する辺の両端の内角座標
   間の距離を四角形の大きさとすることを特徴とする物品
   のパターン認識方法。
3. 【請求項３】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品を認識を、着目する辺の一方に、この着目
   する辺と垂直で同一四角形を構成する辺が存在し、かつ
   この着目する辺のもう一方に四角形の内角が存在するこ
   とを条件に、着目する辺と垂直な辺との交点と前記内角
   間の距離を四角形の大きさとすることを特徴とする物品
   のパターン認識方法。
4. 【請求項４】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品を認識を、着目する辺の一方に、この着目
   する辺と垂直で同一四角形を構成する辺が存在し、かつ
   この着目する辺のもう一方に四角形の内角が存在するこ
   とを条件に、同一四角形を構成する垂直辺については、
   この垂直辺の直線方程式と着目する辺の直線方程式の交
   点座標を求め、内角については輪郭上で内角と判断した
   部分より、内角を挟んで両方向に適当な間隔離した２つ
   の小線分を輪郭上に取り、この２つの小線分の直線方程
   式の交点を内角の座標とし、この内角座標と、着目する
   辺と垂直辺の交点座標との間の距離を四角形の大きさと
   することを特徴とする物品のパターン認識方法。
5. 【請求項５】 着目する辺とこの辺と同一四角形を構成
   する垂直辺の検出は、先ず、２辺のベクトルが垂直であ
   ることを検出し、次にこの２つの辺を結んだベクトルを
   利用して２辺の位置関係の検証を行い、さらにこの２辺
   が同一四角形を構成するか否かの検証を、一方の辺の端
   に内角が存在するならばその内角ともう一方の辺を結ん
   だベクトルを利用することにより行うことを特徴とする
   請求項３又は４記載の物品のパターン認識方法。
6. 【請求項６】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品を認識を、同一四角形を構成する平行辺の
   検出を、２辺のベクトルが互いに逆向きで２辺に重なり
   部分が存在することを検出することにより行い、この平
   行辺が同一四角形を構成するか否かの検証を、一方の辺
   の両端のいずれかに内角が存在するならば、この内角と
   もう一方の辺を結んだベクトルを利用して行い、検出し
   た平行辺間の距離を四角形の大きさとすることを特徴と
   する物品のパターン認識方法。
7. 【請求項７】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品の認識を、平行辺が存在するか否かを検出
   することによって行い、平行辺の検出は、２辺のベクト
   ルが互いに逆向きで２辺に重なり部分が存在することを
   検出して２辺の位置関係を検証し、さらに２辺間の距離
   を判別することにより同一四角形を構成する平行な２辺
   を検出することによって行い、 平行辺が存在する場合には、平行辺間の距離を四角形の
   大きさとし、平行辺が存在しない場合には、着目する辺
   の一方に、この着目する辺と垂直で同一四角形を構成す
   る辺が存在し、かつこの着目する辺のもう一方に四角形
   の内角が存在することを条件に着目する辺と垂直な辺と
   の交点と内角との距離を四角形の大きさとするか、又
   は、着目する辺の両端に四角形の内角が存在することを
   条件に内角間の距離を四角形の大きさとすることを特徴
   とする物品のパターン認識方法。
8. 【請求項８】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 ４角形の物品の認識を、平行辺が存在するか否かを検出
   することによって行い、平行辺の検出は、２辺のベクト
   ルが互いに逆向きで２辺に重なり部分が存在することを
   検出して２辺の位置関係を検証し、さらに２辺間の距離
   を判別することにより同一四角形を構成する平行な２辺
   を検出することによって行い、 平行辺が存在する場合には、平行辺間の距離を四角形の
   大きさとし、平行辺が存在しない場合には、着目する辺
   の一方に、この着目する辺と垂直で同一四角形を構成す
   る辺が存在し、かつこの着目する辺のもう一方に四角形
   の内角が存在することを条件に着目する辺と垂直な辺と
   の交点と内角との距離を四角形の大きさとするか、又
   は、着目する辺の両端に四角形の内角が存在することを
   条件に内角間の距離を四角形の大きさとし、 四角形の内角の存在は、輪郭上を２つのベクトルで操作
   し、この２つのベクトルのなす角度とこの２つのベクト
   ル同士の向きの関係から四角形の内角を識別することで
   確認することを特徴とする物品のパターン認識方法。
9. 【請求項９】 物品を撮像カメラで撮像し、この撮像し
   た物品の輪郭から直線辺を抽出し、この抽出した直線辺
   から四角形の物品を認識するパターン認識方法におい
   て、 四角形の物品の認識を、同一四角形を構成する互いに垂
   直な２辺の検出を行うとともに平行辺が存在するか否か
   を検出することによって行い、互いに垂直な２辺の検出
   は、２辺のベルトルの垂直、方向を検出して２辺の位置
   関係を検証し、さらに２辺間の距離を判別することによ
   り同一四角形を構成する垂直な２辺を検出することによ
   って行い、また、平行辺の検出は、２辺のベクトルが互
   いに逆向きで２辺に重なり部分が存在することを検出し
   て２辺の位置関係を検証し、さらに２辺間の距離を判別
   することにより同一四角形を構成する平行な２辺を検出
   することによって行い、 平行辺が存在する場合には、平行辺間の距離を四角形の
   大きさとし、平行辺が存在しない場合には、着目する辺
   の一方に、この着目する辺と垂直で同一四角形を構成す
   る辺が存在し、かつこの着目する辺のもう一方に四角形
   の内角が存在することを条件に着目する辺と垂直な辺と
   の交点と内角との距離を四角形の大きさとするか、又
   は、着目する辺の両端に四角形の内角が存在することを
   条件に内角間の距離を四角形の大きさとすることを特徴
   とする物品のパターン認識方法。
10. 【請求項１０】 物品を撮像カメラで撮像し、この撮像
    した物品の輪郭から直線辺を抽出し、この抽出した直線
    辺から四角形の物品を認識するパターン認識方法におい
    て、 四角形の物品の認識を、平行辺が存在するか否かを検出
    するとともに物品の色を検出することによって行い、平
    行辺の検出は、２辺のベクトルが互いに逆向きで２辺に
    重なり部分が存在することを検出して２辺の位置関係を
    検証し、さらに２辺間の距離を判別することにより同一
    四角形を構成する平行な２辺を検出することによって行
    い、物品の色の検出は、輪郭線により構成した物品の辺
    の膨脹処理を行い、この膨脹処理した辺の画像と物品の
    画像との論理積画像を作成し、この論理積画像の統計を
    とることにより行い、 平行辺が存在する場合には、平行辺間の距離を四角形の
    大きさとし、平行辺が存在しない場合には、着目する辺
    の一方に、この着目する辺と垂直で同一四角形を構成す
    る辺が存在し、かつこの着目する辺のもう一方に四角形
    の内角が存在することを条件に着目する辺と垂直な辺と
    の交点と内角との距離を四角形の大きさとするか、又
    は、着目する辺の両端に四角形の内角が存在することを
    条件に内角間の距離を四角形の大きさとすることを特徴
    とする物品のパターン認識方法。
11. 【請求項１１】 物品を撮像カメラで撮像し、この撮像
    した物品の輪郭から直線辺を抽出し、この抽出した直線
    辺から四角形の物品を認識するパターン認識方法におい
    て、 四角形の物品の認識を、平行辺が存在するか否かを検出
    するとともに物品の色を検出することによって行い、平
    行辺の検出は、２辺のベクトルが互いに逆向きで２辺に
    重なり部分が存在することを検出して２辺の位置関係を
    検証し、さらに２辺間の距離を判別することにより同一
    四角形を構成する平行な２辺を検出することによって行
    い、物品の色の検出は、輪郭線により構成した物品の辺
    の膨脹処理を行い、この膨脹処理した辺の画像と物品の
    画像との論理積画像を作成し、この論理積画像の統計を
    とることにより行い、 平行辺が存在する場合には、平行辺間の距離を四角形の
    大きさとし、平行辺が存在しない場合には、着目する辺
    の一方に、この着目する辺と垂直で同一四角形を構成す
    る辺が存在し、かつこの着目する辺のもう一方に四角形
    の内角が存在することを条件に着目する辺と垂直な辺と
    の交点と内角との距離を四角形の大きさとするか、又
    は、着目する辺の両端に四角形の内角が存在することを
    条件に内角間の距離を四角形の大きさとし、 四角形の内角の存在は、輪郭上を２つのベクトルで操作
    し、この２つのベクトルのなす角度とこの２つのベクト
    ル同士の向きの関係から四角形の内角を識別することで
    確認することを特徴とする物品のパターン認識方法。