JP5073597B2 - ボタン認識装置およびボタン認識方法 - Google Patents

Description

本発明は、ボタン認識装置およびボタン認識方法に係り、特に、ボタンの構成情報を取得し、表裏を判別するボタン認識装置およびボタン認識方法に関する。

従来より、自動ボタン縫い付け装置によってボタンを縫製物に縫い付けるにあたり、ボタンの表裏を判別するボタン認識装置が用いられている。

例えば、特許文献１には、ボタンの表裏を検知するためのボタン検知装置を備えた自動ボタン縫着装置が記載されている。このボタン検知装置は、ボタンつまみ足が上昇する際に、このボタンつまみ足によって保持されたボタンの上面に係合可能な位置に進退自在に配置され、ボタンの上面における縁部と中央部に係合可能なボタン検知手段と、このボタン検知手段の上下変位によってボタンの表裏を判別する判別手段とを有している。

この自動ボタン検知装置は、例えば、ボタン検知手段として、ボタン有無検知レバーおよびボタン表裏検知レバーを備えている。このような自動ボタン検知装置は、ボタン供給アームによってボタンつまみ足にボタンが供給された後、ボタンつまみ足が上昇する際に、ボタンの縁部によってボタン有無検知レバーが押し上げられたか否かにより、ボタンつまみ足におけるボタンの有無を検知するようになっている。また、自動ボタン検知装置は、ボタンの表面における中央部は窪んでおり、裏面における中央部は平面状であるというボタンの形状を利用して、ボタンつまみ足が上昇する際に、ボタンの中央部によってボタン表裏検知レバーが押し上げられたか否かにより、ボタンの表裏を判別するようになっている。

また、特許文献２には、ボタン収納部および移動経路に所定の振動を発生させることにより、ボタン収納部に収納されたボタンを、ボタンの表裏選別後にボタン排出口から順次排出させるボタン供給部を備えたボタン供給装置が記載されており、このボタン供給装置は、移動経路の途中においてボタン選別機構を備えている。そして、このボタン選別機構においては、通常のボタンは、表面が窪んでおり裏面が平面状であるという形状を利用して、裏面が下側を向いているボタンは通過させるが、表面が下側を向いているボタンは、ボタン収納部における下方に落下させるようになっている。これにより、ボタン供給装置は、ボタンの表裏を判別し、表面が上側を向いているボタンのみをボタン排出口から順次排出するようになっている。

さらに、特許文献３には、ミシンに供給するボタンの上面を撮像して前方画像を取得する撮像手段を備えたボタンの縫着方向設定装置が記載されている。このボタンの縫着方向設定装置は、撮像手段により取得された前方画像と、ボタンについて予め記録された規格画像とに基づいて、ボタンを平面形状における所定の角度に傾けて配置して、ミシンに供給するようになっている。

また、特許文献３にも記載があるように、従来のボタン供給装置は、ボタンの糸通し孔に係止される係止ピンを有するボタン搬送部が設けられ、このボタン搬送部は、係止ピン上に載置されたボタンの上面からボタンを回転させながら係止ピン上に押し当ててボタンの糸通し孔に係止ピンを係止させることにより、ボタンを平面形状における所定の角度に傾けた状態で保持して、ミシンに供給するようになっている。

特許第２６５９０７３号公報 特開平１０−１９４４３５号公報 特公平２−０２３１９７号公報

しかし、前述の特許文献１に記載の自動ボタン検知装置および特許文献２に記載のボタン供給装置によれば、ボタンの表裏の判別を、ボタンの表面における中央部が窪み、裏面が平面状であるというボタン形状を利用して行うため、例えば、表裏の判別を形状ではなく表面に形成された刻印や画像等によってのみ判別可能なボタンについては、表裏を判別することができなかった。このため、前述の従来の自動ボタン検知装置およびボタン供給装置は、例えば、表裏の面形状が同じような多種多様なボタンの表裏判別に対応することができないという問題を有していた。

さらに、引用文献３に記載のボタンの縫着方向設定装置によれば、ボタンの表面に形成された刻印や画像等によっても、ボタンの表裏を判別することが可能であるが、例えば、ボタンが光を反射する材料によって形成されている場合、ボタンの色彩や模様によっては、取得した前方画像において背景画像とボタン画像とを区別することが困難なことがあった。さらには、前述のボタンの縫着方向設定装置によれば、ボタンが透明または半透明の材料によって構成されている場合には、撮像手段によってボタンについて予め記録された規格画像と比較するために十分な前方画像を取得することができない場合があった。このため、このボタンの縫着方向設定装置は、例えば反射性の材料や透明、半透明の材料によって形成されているような多種多様なボタンの判別に対応することができないという問題を有していた。

また、従来のボタン供給装置は、ボタンを係止ピンに持させる際に、製造精度の悪いボタンを排除することができなかった。例えば、糸通し孔の形成位置の精度が悪いボタンがボタン搬送部上に載置された場合、係止ピンが糸通し孔に係止されないまま回転装置によってボタンが係止ピン上に押し当てられてしまい、係止ピンが折れてしまうおそれがあるという問題を有していた。

本発明はこれらの点に鑑みてなされたものであり、多種多様なボタンの構成情報を取得して、ボタンの表裏の判別精度の向上を図ることができるとともに、ミシンにより仕上がりよく縫製物にボタンを縫い付けることが可能なボタン認識装置およびボタン認識方法を提供することを目的とする。

前記目的を達成するため、請求項１に記載の発明に係るボタン認識装置の特徴は、ボタンの前面に対して垂直に照射光を照射する同軸落射照明装置と、前記ボタンの後面側に配置され、前記ボタンの後面から照射光を照射する透過照明装置と、前記ボタンの前面に対して斜方から照射光を照射する斜方照明装置と、前記同軸落射照明装置によって照射光が照射された状態での前記ボタンの前面の前方照明画像、前記斜方照明装置によって照射光が照射された状態での前記ボタンの前面の斜方照明画像および前記透過照明装置によって照射光が照射された状態での前記ボタンの前面の透過照明画像をそれぞれ撮像する撮像装置と、前記前方照明画像、前記斜方照明画像、および前記透過照明画像を用いて前記ボタンの構成情報を取得し、前記各照明画像、前記構成情報および予め記録された前記ボタンの規格画像を用いて前記ボタンの表裏を判別する画像処理装置とを備えた点にある。

ここで、ボタンの構成情報とは、ボタンの外形・凹凸形状・外径・中心位置・平面形状における角度、およびボタンにおける糸通し孔の位置および径・中心位置等の撮像対象となるボタンを構成する諸要素の情報をいう。

この請求項１に記載の発明によれば、前方照明画像のみならず、透過照明画像や斜方照明画像を用いることにより、ボタンの構成情報を精度よく取得することができる。すなわち、ボタン認識装置は、斜方照明装置によってボタンを照射した状態で撮像装置によってボタンの前面を撮像することにより、ボタンの前面の凹凸形状についての構成情報を取得することができる。また、ボタン認識装置は、透過照明装置によってボタンを照射した状態で撮像装置によってボタンの前面を撮像することにより、不透明体のボタンにおける糸通し孔の形成位置等について、高精度の構成情報を取得することができる。

請求項２に記載の発明に係るボタン認識装置の特徴は、請求項１に記載のボタンの認識装置において、前記画像処理装置が、前記前方照明画像を用いて前記ボタンの前面の色彩を判別するとともに、前記前方照明画像および前記透過照明画像を用いて前記ボタンの透光度を判別し、判別した前記ボタンの色彩および透光度に応じて前記各照明装置の照明条件を調整する点にある。

この請求項２に記載の発明によれば、ボタンの前面の色彩情報を取得し、ボタンの透光度によってボタンを分類し、ボタンの色彩および透光度に応じて各照明装置における照射条件を設定することができる。これにより、より鮮明なボタンの各照明画像を取得することができるので、多種多様のボタンについて、より高精度の情報を取得することができる。

請求項３に記載の発明に係るボタン認識装置の特徴は、請求項２に記載のボタンの認識装置において、前記画像処理装置により判別されたボタンの色彩に応じて、前記ボタンに対する前記斜方照明装置の位置を調整することにより、前記斜方照明装置から前記ボタンの前面に照射される前記照射光の角度を調整する位置調整装置を備えた点にある。

この請求項３に記載の発明によれば、ボタンの色彩に応じて、位置調整装置によってボタンに対する斜方照明装置の位置を調整することにより、斜方照明装置からボタンの前面に照射される照射光の角度を調整することができる。これにより、斜方照明装置によって、より鮮明にボタンの前面の凹凸形状を映し出すことができるので、多種多様なボタンについてより高精度の構成情報を取得することができ、表裏判別の精度もより向上させることができる。

請求項４に記載の発明に係るボタン認識装置の特徴は、請求項２または請求項３に記載のボタン認識装置において、前記透過照明装置として、前記ボタンの背景色を表示する表示装置を用い、前記表示装置は、前記画像処理装置により判別された前記ボタンの色彩に応じて、照射する照射光の色彩を設定する点にある。

この請求項４に記載の発明によれば、透過照明装置としての表示装置は照射光の色彩を変更することができるので、ボタンの色彩に応じて表示装置からの照射光の色彩を変更することにより、前方照明画像におけるボタン部分と背景部分とをより容易に分離することができるような背景色を設定することが可能となる。これにより、同軸落射照明装置によって、より鮮明にボタンの前面を映し出すことができるので、多種多様なボタンについてより高精度の構成情報を取得することができ、表裏判別の精度もより向上させることができる。

請求項５に記載の発明に係るボタン認識装置の特徴は、請求項２乃至請求項４のいずれか１項に記載のボタン認識装置において、前記透過照明装置として、前記ボタンの背景パターンを表示する表示装置を用い、前記表示装置は、前記画像処理装置により判別された前記ボタンの透光度に応じて、前記背景パターンを設定する点にある。

この請求項５に記載の発明によれば、透過照明装置としての表示装置は表示する背景パターンを変更することができるので、ボタンの透過度に応じて表示装置により表示される背景パターンを変更することにより、前方照明画像におけるボタン部分と背景部分とを容易に分離可能な背景パターンを設定することが可能となる。これにより、同軸落射照明装置によって、より鮮明にボタンの前面を映し出すことができるので、多種多様なボタンについてより高精度の構成情報を取得することができ、表裏判別の精度をより向上させることができる。

請求項６に記載の発明に係るボタン認識方法の特徴は、ボタンの前面に対して垂直に照射光を照射して、撮像装置により前記ボタンの前面の前方照明画像を撮像する前方照明画像取得工程と、前記ボタンの後面から照射光を照射して、前記撮像装置により前記ボタンの前面の透過照明画像を撮像する透過照明画像取得工程と、前記ボタンの前面に対して斜方から照射光を照射して、前記撮像装置により前記ボタンの前面の斜方照明画像を撮像する斜方照明画像取得工程と、前記前方照明画像、前記斜方照明画像および前記透過照明画像を用いて前記ボタンの構成情報を取得し、前記各照明画像、前記構成情報および予め記録されたボタンの規格画像を用いて前記ボタンの表裏を判別する画像処理工程とを有する点にある。

この請求項６に記載の発明によれば、前方照明画像のみならず、透過照明画像や斜方照明画像を用いることにより、ボタンの構成情報を精度よく取得することができる。すなわち、本発明に係るボタン認識方法は、ボタンの前面に対して斜方から照射光を照射した状態でボタンの前面を撮像することにより、ボタンの前面の凹凸形状についての構成情報を取得することができる。また、ボタン認識方法は、ボタンの後面から照射光を照射した状態でボタンの前面を撮像することにより、不透明体のボタンにおける糸通し孔の形成位置等について、高精度の構成情報を取得することができる。

請求項７に記載の発明に係るボタン認識方法の特徴は、請求項６に記載のボタン認識方法において、前記前方照明画像を用いて前記ボタンの前面の色彩情報を取得し、前記前方画像および前記透過照明画像を用いて、前記ボタンの透過度に応じて前記ボタンを分類し、前記ボタンの色彩および透光度に応じて前記各照明装置の照明条件を調整する点にある。

この請求項７に記載の発明によれば、ボタンの前面の色彩情報を取得し、ボタンの透光度によってボタンを分類し、ボタンの色彩および透光度に応じて各照明画像取得工程における照射条件を設定することができる。これにより、より鮮明なボタンの各照明画像を取得することができるので、多種多様のボタンについて、より高精度の情報を取得することができる。

請求項８に記載の発明に係るボタン認識方法の特徴は、請求項７に記載の発明に係るボタン認識方法において、前記ボタンの色彩に応じて、前記斜方照明画像取得工程において前記ボタンに対して照射光を照射する位置を調整することにより、前記ボタンの前面に照射される照射光の角度を調整する位置調整工程を有する点にある。

この請求項８に記載の発明によれば、ボタンの色彩に応じて、斜方照明画像取得工程においてボタンに照射光を照射する照射位置を調整することにより、ボタンの前面に斜方から照射される照射光の照射角度を調整することができる。これにより、斜方照明画像取得工程において、ボタンの前面の凹凸形状がより鮮明に映し出された斜方照明画像を取得することができるので、多種多様なボタンについてより高精度の構成情報を取得することができ、表裏判別の精度もより向上させることができる。

請求項９に記載の発明に係るボタン認識方法の特徴は、請求項７または請求項８に記載のボタン認識方法において、前記前方照明画像取得工程において、前記ボタンの色彩に応じて、前記ボタンの背景の色彩を設定する点にある。

この請求項９に記載の発明によれば、ボタンの色彩に応じてボタンの背景の色彩を設定することができるので、前方照明画像においてボタン部分と背景部分とをより容易に分離することができるような背景の色彩を設定することが可能となる。これにより、前方照明画像取得工程において、より鮮明な前方照明画像を取得することができるので、多種多様なボタンについてより高精度の構成情報を取得することができ、表裏判別の精度もより向上させることができる。

請求項１０に記載の発明に係るボタン認識方法の特徴は、請求項７乃至請求項９のいずれか１項に記載のボタン認識方法において、前記前方照明画像取得工程で、前記ボタンの透光度に応じて、前記ボタンの背景パターンを設定する点にある。

この請求項１０に記載の発明によれば、ボタンの透過度に応じてボタンの背景パターンを設定することができるので、前方照明画像においてボタン部分と背景部分とを分離可能な背景パターンを設定することが可能となる。これにより、前方照明画像取得工程において、より鮮明な前方照明画像を取得することができるので、多種多様なボタンについてより高精度の構成情報を取得することができ、表裏判別の精度をより向上させることができる。

請求項１１に記載の発明に係るボタン認識方法の特徴は、請求項１０に記載のボタン認識方法において、前記ボタンの透光度により前記ボタンが透明な材料により構成されていると分類された場合には、前記ボタンの背景パターンを周期的な模様に設定し、前記ボタンを透過することにより前記ボタン部分の背景パターンが歪んで視認されることを利用して、前記前方照明画像における背景部分とボタン部分とを分離し、前記ボタンの外形輪郭線を取得する点にある。

この請求項１１に記載の発明によれば、透明の材料からなるボタンについて前方照明画像を取得する際に、背景パターンを周期的な模様とすることにより、背景部分とボタン部分とをより明確に分離して、ボタンの外形輪郭線を抽出することができる。

以上述べたように、本発明に係るボタン認識装置によれば、多種多様のボタンについて、高精度の構成情報に基づいてボタンの表裏を判別することができ、表裏の判別精度を向上させることができるとともに、前記構成情報を用いて不良品のボタンを除去したり、ボタンを平面形状における所定の角度に傾けて配置させることができ、ミシンによって仕上がりよく縫製物にボタンを縫い付けることができる。

また、本発明に係るボタン認識装置によれば、不透明体のボタンにおける糸通し孔の形成位置について高精度の構成情報を取得することにより、製造精度が悪いボタンを判別することができるので、ミシンの縫い針が糸通し孔を通過せずにボタンに接触することによる縫い針折れ等のトラブルの発生を防止することができる。

また、本発明に係るボタン認識方法によれば、多種多様のボタンについて、高精度の構成情報に基づいてボタンの表裏を判別することができ、表裏の判別精度を向上させることができるとともに、前記構成情報を用いて不良品のボタンを排除したり、ボタンを平面形状における所定の角度に傾けて配置させることができ、ミシンによって仕上がりよく縫製物にボタンを縫い付けることができる。

また、本発明に係るボタン認識方法によれば、不透明体のボタンにおける糸通し孔の形成位置について高精度の構成情報を取得することにより、製造精度が不良なボタンを判別することができるので、ミシンの縫い針が糸通し孔を通過せずにボタンに接触することによる縫い針折れ等のトラブルの発生を防止することができる。

以下、本発明に係るボタン認識装置の一実施形態を図１から図１３を参照して説明する。

図１は、本実施形態に係るボタン認識装置を示す概略側面断面図であり、図２は、図１のボタン認識装置の構成を示すブロック図である。

図１および図２に示すように、本実施形態に係るボタン認識装置１は、ボタン２の前面（上面）の画像を取得する撮像装置としてのカメラ３がボタン２の前方（図１において上方）に配置されており、このカメラ３は、ボタン２の上面の画像を取得するようになっている。

ボタン２の上方であって、ボタン２とカメラ３との間には、ボタン２の上面に対して垂直に照射光を照射するための同軸落射照明装置５が配設されている。同軸落射照明装置５は、ボタン２の上方に配置されたハーフミラー５ａと、カメラ３によって取得されるボタン２の上面の画像の撮像領域から外れた位置に配置され、ハーフミラー５ａにおけるボタン２に対向している下面に対して照射光を照射する光源５ｂとを有している。ハーフミラー５ａは、光源５ｂから照射された照射光を下面において反射して、ボタン２の上面に対して垂直に照射するように、光源５ｂおよびボタン２に対して所定の角度をもって配置されている。そして、同軸落射照明装置５は、カメラ３に対向する上面側からボタン２に対して照射光を照射できるようになっている。

そして、カメラ３は、同軸落射照明によってボタン２の上面に照射光を照射した状態でボタン２の上面を撮像することにより前方照明画像を取得するようになっており、これにより、ボタン２の上面における色彩や、文字・図形等の模様等を映し出すことができるようになっている。

ボタン２の上方であって、ボタン２と同軸落射照明との間には、ボタン２の上面に対して斜方から照射光を照射する斜方照明装置７が配設されている。斜方照明装置７は、カメラ３による画像の撮像領域から外れた位置に配置され、ボタン２の上面に対して斜方から照射光を照射する一対の光源７ａとを有している。両光源７ａは、ボタン２に対して右側上方および左側上方の対称の位置からそれぞれ同一の照射角度によってボタン２の上面を照射する位置に配置されている。

また、ボタン認識装置１は、ボタン２に対する斜方照明装置７の位置を調整することにより、斜方照明装置７からボタン２の上面に照射される照射光の照射角度を調整する位置調整装置９を備えている。本実施形態においては、位置調整装置９は、ボタン２の上面に対する斜方照明装置７の高さ位置を調整することにより、ボタン２の上面に照射される照射光の照射角度を調整することができるようになっている。

そして、カメラ３は、斜方照明装置７によってボタン２の上面に照射光を照射した状態でボタン２の上面を撮像して斜方照明画像を取得するようになっており、これにより、ボタン２の上面に形成された刻印等の凹凸形状を映し出すことができるようになっている。このカメラ３による撮像の前に、位置調整装置９は、同軸落射照明装置５によって取得された前方照明画像を用いて判別されたボタン２の色彩に応じて、ボタン２に対する斜方照明装置７の高さ位置を調整することにより、斜方照明装置７の両光源７ａからボタン２の上面に照射される照射光の照射角度を調整するようになっている。

ボタン２の下面側には、ボタン２の下面から照射光を照射する透過照明装置として液晶表示パネル１０が設けられており、液晶表示パネル１０は、ボタン２の下面から照射光を照射する照明装置として機能するほか、ボタン２を載置する載置台として機能するようになっている。さらに、液晶表示パネル１０による表示は、前方照明画像や斜方照明画像を取得する際の背景として機能するようになっている。

そして、カメラ３は、液晶表示パネル１０によってボタン２の下方から照射光を照射した状態でボタン２の上面を撮像して透過照明画像を取得することができるようになっており、これにより、ボタン２のシルエットを映し出すようになっている。

また、ボタン認識装置１は、カメラ３によって取得された前方照明画像、斜方照明画像および透過照明画像について各種の処理を行う画像処理装置１２を有している。画像処理装置１２は、前方照明画像を用いてボタン２の上面の色彩を判別し、前方照明画像と透過照明画像とを用いてボタン２の透光度に応じてボタン２が不透明体、半透明体、透明体のいずれで形成されているかを分類し、さらには、前方照明画像、斜方照明画像および透過照明画像を用いてボタン２の構成を計測して構成情報を取得し、構成情報に基づいてボタン２の表裏を判別するようになっている。

画像処理装置１２は、画像処理装置１２の各部を制御するＣＰＵ１５と、前方照明画像、斜方照明画像および透過照明画像を記録する画像メモリ１６と、各照明画像と照合するためのボタン２の上面についての規格画像等が予め記録されている第１記録メモリ１７と、ＣＰＵ１５が画像処理を行うための画像データの仮の格納場所であるワークメモリ１８とを有している。カメラ３は、アナログ・デジタルコンバータ（Ａ／Ｄコンバータ）１９を介して画像メモリ１６に接続されており、カメラ３が取得した前方照明画像、斜方照明画像および透過照明画像の各画像データは、Ａ／Ｄコンバータ１９によりデジタル化された後、画像メモリ１６において記録されるようになっている。

また、画像処理装置１２は、カメラ３の制御を行うカメラ制御部２１と、同軸落射照明装置５の制御を行う同軸落射照明制御部２２と、斜方照明装置７の制御を行う斜方照明制御部２３と、位置調整装置９の制御を行う位置調整制御部２５、および液晶表示パネル１０の制御を行うパネル制御部２６とを有している。

さらに、画像処理装置１２は、各照明装置５、７、１０によって各照明画像を取得するために各照明装置５、７、１０および位置調整装置９を制御する処理、前方照明画像を用いて色彩を判別する処理、前方照明画像および透過照明画像を用いて透光度によってボタン２を分類する処理、および各照明画像を用いてボタン２の構成情報を取得し、ボタン２の表裏を判別する処理を行うための画像処理プログラムを有している。画像処理プログラムは、第２記録メモリ２８に記録されている。

そして、画像処理装置１２は、ＣＰＵ１５によって、第２記録メモリ２８から画像処理プログラムを読み出して、各制御部２１、２２、２３、２５、２６に制御情報を出力し、各制御部２１、２２、２３、２５、２６によって、各照明装置５、７、１０によりボタン２に照射光を照射し、位置調整装置９により斜方照明装置７の高さ位置を調整して、カメラ３によりボタン２を撮像するようになっている。また、画像処理装置１２は、ＣＰＵ１５によって、前方照明画像を用いてボタン２の色彩を判別し、色彩情報を取得するとともに、ボタン２の構成を計測してボタン２の構成情報を取得して、ボタン２の表裏を判別するようになっている。

このとき、画像処理装置１２は、前方照明画像の前方照明画像データに基づいて判別したボタン２の色彩に応じて、液晶表示パネル１０の表示によるボタン２の背景色を設定するようになっている。また、画像処理装置１２は、前方照明画像および透過照明画像の各画像データを用いてボタン２の透光度によって分類したボタン２の種類に応じて、液晶表示パネル１０により表示されるボタン２の背景パターンを設定するようになっている。さらに、画像処理装置１２は、前方照明画像および透過照明画像の各画像データに基づいて判別したボタン２の色彩に応じて、位置調整装置９によって調整する斜方照明装置７の高さ位置を決定するようになっている。

そして、ＣＰＵ１５は、インターフェース（Ｉ／Ｆ）２０を介してミシンの各部を制御するミシン制御部３０に接続されており、画像処理装置１２のＣＰＵ１５は、ボタン２の構成情報および表裏の判別結果をＩ／Ｆ２０を介してミシン制御部３０に出力するようになっている。ミシン制御部３０は、ボタン２の表面が上方を向いているという判別結果を入力した場合には、入力したボタン２の構成情報における平面形状のボタン２の傾きの構成情報に基づいて、平面状におけるボタン２の配置角度を補正し、ボタン２を縫製物に縫い付けるようになっている。一方、ミシン制御部３０は、ボタン２の裏面が上方を向いているという判別結果を入力した場合には、ボタン２を除去し、撮像対象となる次のボタン２を液晶表示パネル１０の上にセットするようになっている。

次に、本実施形態にかかるボタン認識装置１を用いたボタン認識方法につき、図３から図１３を参照して説明する。

図３は、本実施形態に係るボタン認識方法の各工程を示すフローチャートである。

図３に示すように、まず、ボタン認識装置１の画像処理装置１２におけるＣＰＵ１５は、透過照明画像を取得する透過照明画像取得工程を行う（ＳＴ１）。

この透過照明画像取得工程において、まず、画像処理装置１２のＣＰＵ１５は、第２記録メモリ２８から画像処理プログラムを読み出し、パネル制御部２６を介して液晶表示パネル１０を制御し、液晶表示パネル１０によって、所定の色彩、光量により所定の背景パターンを表示する。この透過照明画像取得工程の段階では、画像処理装置１２は、撮像対象であるボタン２の透光度や色彩等を認識していないので、液晶表示パネル１０においてまず白色無地パターンを表示する。その後、ＣＰＵ１５は、液晶表示パネル１０によって液晶表示パネル１０の上に載置されたボタン２の下方からボタン２に白色の照射光を照射した状態で、カメラ３によってボタン２の上面を撮像することにより、透過照明画像を取得する。そして、ＣＰＵ１５は、透過照明画像の透過照明画像データをＡ／Ｄコンバータ１９によってデジタル化した後、画像メモリ１６に記録する。

このとき、ボタン２が不透明な材料で構成されている場合には、カメラ３は、明瞭なシルエットの透過照明画像を取得することができる。また、ボタン２が透明な材料で構成されている場合には、液晶表示パネル１０からの照射光はボタン２を透過してしまうので、カメラ３により取得された透過照明画像は、全体的に白くなってしまい、カメラ３は、ボタンの明瞭なシルエットが映し出された透過照明画像を取得することができない。さらに、ボタン２が半透明な材料で構成されている場合には、カメラ３によって取得した透過照明画像は、コントラストが低かったり、輝度がまだらでボタン２の形状がおぼろげとなり、カメラ３は、ボタンの明瞭なシルエットが映し出された透過照明画像を取得することができない。

続いて、ＣＰＵ１５は、透過照明画像取得工程の後、透過照明画像データを用いて、ボタン２の外径・中心位置、糸通し孔の数・外径・中心位置・形成位置等のボタン２の構成を計測し、構成情報を取得する第１計測工程を行う（ＳＴ２）。

この第１計測工程においては、図４に示すように、まず、画像処理装置１２のＣＰＵ１５は、透過照明画像データについて、背景部分とボタン部分とに分けるためのしきい値を設定し、二値化処理を行う（ＳＴ１０１）。透過照明画像データについて二値化処理を行った二値化画像データにおいては、例えば、液晶表示パネル１０からの照射光がカメラ３に到達する部分が０となり、到達しない部分が１となる。ここで、第１計測工程において用いるしきい値としては、透過照明画像データにおいて背景部分とボタン部分とを分けるときに、透光度がほとんど０％である不透明な材料で構成されているボタン２のみを分類できるように、不透明な材料により構成されているボタン２においては外形輪郭線の抽出が困難となる程度の値に調整することが望ましい。そして、ＣＰＵ１５は、二値化処理を行った透過照明画像の二値化画像データをワークメモリ１８に出力する。

続いて、ＣＰＵ１５は、前記二値化画像データのノイズ処理を行う（ＳＴ１０２）。ノイズ処理としては、０に隣接する１を０にするオープニング処理と、１に隣接する０を１にするクロージング処理を行うことにより、細かいノイズ成分の除去、線の途切れの埋め、および穴埋めを行う。

次に、ＣＰＵ１５は、前記二値化画像データを用いてボタン２の外形輪郭線を抽出する処理を行う（ＳＴ１０３）。外形輪郭線を抽出する処理としては、画像において連結した画素の集合に、番号（ラベル）を付加することにより画素の集合を分類するラベリング処理を行い、各画素の集合の境界線を追跡することにより、ボタン２の外形輪郭線を抽出することができる。なお、ここでは、画像データが背景のみの場合、ラベル数を０としてラベルを付加するものとする。この場合、ボタン２が不透明な場合は、ラベルとして１が付加されるが、ボタン２が透明で背景のみで全く外形輪郭線が得られなかったり、断片的な画素の集合が取得されたりする場合は、ラベル数として０や２以上の番号が付されることになる。

その後、ＣＰＵ１５は、外形輪郭線を抽出する工程において、ボタン２の外形輪郭線の抽出の処理で付加されたラベル数を判別することにより、外形輪郭線が正常に抽出できたか否かを判別する（ＳＴ１０４）。これにより、ＣＰＵ１５は、ボタン２の外形輪郭線が正常に抽出できないと判断した場合には（ＳＴ１０４においてＮｏ）、撮像対象となっているボタン２が透明体または半透明体であると判断し、透過照明画像データを用いた第１計測工程を終了する。

ここで、ＳＴ１０３の処理では、ボタン２が透明体であった場合、液晶表示パネル１０からの照射光は、ボタン２を透過してカメラ３に到達してしまうので、透過照明画像取得工程においてカメラ３はボタン２のシルエットを映し出すことができない。このため、二値化処理（ＳＴ１０１）、ノイズ処理（ＳＴ１０２）が終了した段階において、透過照明画像データの二値化画像データは背景部分のみしか存在しないので、ＣＰＵ１５は、外形輪郭線を抽出する工程（ＳＴ１０３）において、ボタン２の外形輪郭線が正常に抽出できず、ラベル数が１となっているため、ボタン２が透明体であると判断、分類する（ＳＴ１０４においてＮｏ）。

また、ボタン２が半透明体であった場合、ボタン２による液晶表示パネル１０からの照射光の遮断が不十分であるので、透過照明画像取得工程においてカメラ３によって映し出される透過照明画像が低コントラストとなる場合がある。このような場合にも、二値化処理（ＳＴ１０１）、ノイズ処理（ＳＴ１０２）が終了した段階において、前述のボタン２が透明体の場合と同様に、ラベル数が１となっているため、ボタン２の外形輪郭線が正常に抽出できないと判断される（ＳＴ１０４においてＮｏ）ことになる。

また、ボタン２が半透明体であり、かつボタン２の厚みが均一でない場合には、ボタン２を透過する液晶表示パネル１０の照射光の透光度が均一にならず、このため、カメラ３により取得された透過照明画像は濃度がまだらであったり、濃度の変化が緩やかとなる。このため、例えば、ＣＰＵ１５による二値化処理（ＳＴ１０１）やノイズ処理（ＳＴ１０２）が行われると、ボタン２の画像として断片的な複数の画素の集合が形成され、外形輪郭線抽出処理におけるラベリング処理（ＳＴ１０３）において、２以上のラベル数が付されることになり、ＣＰＵ１５は、ラベル数が２以上であることを判断することにより、撮像対象となっているボタン２は半透明な材料からなり、透過照明画像によっては十分にボタン２の外形輪郭線を抽出することができないと判断することができる（ＳＴ１０４においてＮｏ）。なお、抽出したボタン２の外形輪郭線が円形かどうか、または急峻な外周縁上の点か否かを検出することにより、ボタン２が半透明体であることを判断しても良い。

そして、ＣＰＵ１５は、外形輪郭線を抽出する工程において、ボタン２の外形輪郭線を正常に抽出できたと判断した場合には（ＳＴ１０４においてＹｅｓ）、糸通し孔の外形輪郭線を抽出する処理を行う（ＳＴ１０５）。この糸通し孔の外形輪郭線の抽出工程においては、透過照明画像の二値化画像データにおいて背景を排除した後、再度ラベリング処理を行い、検出したボタン部分の境界線を追跡することにより、糸通し孔の外形輪郭線を抽出する。

次いで、ＣＰＵ１５は、前記二値化画像データを用いてボタン２の外径を検出し、ボタン２の中心位置を取得した後（ＳＴ１０６）、糸通し孔の外形輪郭線の抽出工程においてラベリング処理された二値化データを用いて、糸通し孔の数を取得する（ＳＴ１０７）。

次に、ＣＰＵ１５は、ＳＴ１０７において検出された数の糸通し孔のすべてについて外径および中心位置を取得する工程を終了したか否かを判別する（ＳＴ１０８）。このとき、ＣＰＵ１５は、糸通し孔のすべてについて外径および中心位置を取得する工程を終了していないと判断した場合には（ＳＴ１０８においてＮｏ）、前記二値化画像データを用いて糸通し孔の外径を検出し、糸通し孔の中心位置を取得して（ＳＴ１０９）、このボタン２の外径・中心位置、糸通し孔の数・外径・中心位置・形成位置に関する構成情報をインタフェース（Ｉ/Ｆ）２０を介してミシン制御部３０に出力する。また、この情報は表裏判別工程で利用するため、ワークメモリ１８に保持しておく。その後、ＣＰＵ１５は、再度、ＳＴ１０８において検出された数のすべての糸通し孔の外径および中心位置を取得する工程を終了したか否かを判別する（ＳＴ１０８）。

一方、ＣＰＵ１５は、すべての糸通し孔の外径および中心位置の取得が終了したと判断した場合には（ＳＴ１０８においてＹｅｓ）、透過照明画像データを用いた第１計測工程を終了する。

続いて、ＣＰＵ１５は、前方照明画像を取得する前方照明画像取得工程を行う（ＳＴ３）。

この前方照明画像取得工程において、まず、画像処理装置１２のＣＰＵ１５は、画像プログラムに基づき、パネル制御部２６を介して液晶表示パネル１０を制御し、液晶表示パネル１０によって、所定の色彩および光量によって所定の背景パターンを表示する。この前方照明画像取得工程の段階では、液晶表示パネル１０を背景パネルとして使用するので、黒色無地のパターンの表示を行う。そして、ＣＰＵ１５は、同軸落射照明装置５によって液晶表示パネル１０の上に載置されたボタン２の上方からボタン２に対して垂直に照射光を照射した状態で、カメラ３によってボタン２の上面を撮像することにより、カラーの前方照明画像を取得する。この前方照明画像取得工程においては、ボタン２の形状や上面に記載された文字、図形等の模様が映し出される。そして、ＣＰＵ１５は、前方照明画像の前方照明画像データをＡ／Ｄコンバータ１９によってデジタル化した後、画像メモリ１６に記録する。

次に、ＣＰＵ１５は、前方照明画像データを用いて色彩情報を取得することにより色彩を判別する色彩判別工程を行う（ＳＴ４）。

この色彩判別工程においては、図５に示すように、まず、前方照明画像データについて、再び、第１ボタン計測工程（ＳＴ２）のボタン２の外形輪郭線を抽出する工程（ＳＴ１０３）と同様の処理を行い、前方照明画像データにおけるボタン２の外形輪郭線を抽出する（ＳＴ２０１）。

続いて、ＣＰＵ１５は、上述したＳＴ１０３における工程でのラベリング処理により付されたラベル数の値と前方照明画像データの外形輪郭線抽出の工程（ＳＴ２０１）でのラベリング処理により付されたラベル数とに基づいて、撮像対象となるボタン２が透明体か否かを判別する（ＳＴ２０２）。なお、この判断においては、ＳＴ１０３とＳＴ２０１の両工程でのラベリング処理によるラベル数がともに０である場合に、ボタン２が透明体であると判断する（ＳＴ２０２においてＹｅｓ）。

このとき、ＣＰＵ１５は、ボタン２が透明体でないと判断した場合には（ＳＴ２０２においてＮｏ）、ボタン２が不透明体または半透明体であると判断し、透過照明画像データおよび前方照明画像データを用いて、ボタン２の色彩情報を得るためのサンプリング領域を設定する（ＳＴ２０３）。次に、ＣＰＵ１５は、前記サンプリング領域における各画素について、ＲＧＢ値の平均値をそれぞれ算出し（ＳＴ２０４）、さらに、前記サンプリング領域における各画素のＲＧＢ値を、色相、明度、彩度の色彩情報の表現に変換した後（ＳＴ２０５）、前記色相および前記明度の色彩情報をマンセル表色系に基づいて数値化して色情報を取得し、ワークメモリ１８に出力、保持しておき（ＳＴ２０６）、色彩情報取得工程を終了する。ここで取得した色情報は、斜方照明装置の高さ位置調整工程（ＳＴ９）、表裏判別工程（ＳＴ１３）で利用する。

一方、ＣＰＵ１５は、撮像対象となるボタン２が透明体であると判断した場合には（ＳＴ２０２においてＹｅｓ）、色彩情報を取得することができないので、色彩情報取得工程を終了する。

次に、ＣＰＵ１５は、ボタン２が不透明体または半透明体で構成されていたため色彩情報取得工程（ＳＴ４）において色彩情報を取得することができたか否かを判別し（ＳＴ５）、取得できないと判断した場合には（ＳＴ５においてＮｏ）、ボタン２が透明な材料で構成されているボタンであると分類し、透明な材料により構成されたボタン２の外径・中心位置、糸通し孔の数・外径・中心位置・形成位置等の構成を計測し構成情報を取得する第２計測工程を行う（ＳＴ６）。

この第２計測工程においては、図６に示すように、まず、ＣＰＵ１５は、液晶表示パネル１０において表示されるボタン２の背景パターンを設定する（ＳＴ３０１）。背景パターンとしては、例えば、図７（１）示す横縞模様や、図７（２）に示す斜め縞模様や、図７（３）に示す市松模様のような周期的な模様が用いられる。

続いて、ＣＰＵ１５は、パネル制御部２６を介して、液晶表示パネル１０により背景パターンの設定工程（ＳＴ３０１）において設定された背景パターンを表示する（ＳＴ３０２）。

さらに、ＣＰＵ１５は、同軸落射照明制御部２２を介して同軸落射照明装置５によりボタン２に照射光を照射しながら、カメラ制御部２１を介してカメラ３により前方照明画像を撮像して前方照明画像データを取得する（ＳＴ３０３）。そして、ＣＰＵ１５は、この前方照明画像データを画像メモリ１６に記録する。

次に、ＣＰＵ１５は、第２計測工程（ＳＴ６）の前方照明画像を取得する工程（ＳＴ３０３）において取得した前方照明画像データを用いて、ボタン２の外形輪郭線を抽出する処理を行う（ＳＴ３０４）。

ここで、液晶表示パネル１０からの照射光は、透明体のボタン２を透過して空気中に出射する際に必ず屈折する。また、透明体のボタン２を透過した照射光は、ボタン２の形状によっては透視歪が発生し、ボタン２によって凸レンズの条件が成立すれば拡散され、凹レンズの条件が成立すれば集光することとなる。このため、取得した前方照明画像データ上において、背景部分は液晶表示パネル１０によって表示された背景パターンがそのまま周期的なパターンによって撮像される。一方、ボタン部分は背景パターンの周期性が乱れることとなる。これにより、撮像されたパターンが周期的な部分と周期的ではない部分との境界線を追跡することにより、背景とボタン２とを分離し、ボタン２の外径輪郭線を抽出することができる。

このボタン２の外径輪郭線の抽出工程は（ＳＴ３０４）、背景パターンの模様の周期情報はわかっているので、例えば、前方照明画像データについてフーリエ変換を行って周波数成分にし、背景部分の周波数成分のみを削除した後、逆フーリエ変換を行って、元の前方照明画像データに戻すことにより行う。これにより、図８に示すようなボタン部分のみの前方照明画像データを得る。そして、このようなボタン部分のみの前方照明画像データについて、背景部分とボタン部分との境界線を追跡して、図９に示すような二値化画像データを得て、ボタン２の外径輪郭線を抽出する。

そして、ＣＰＵ１５は、ボタン２の外径輪郭線の抽出工程（ＳＴ３０４）において、抽出したボタン２の外形輪郭線が円形かどうか、または急峻な外周縁上の点を有するか否かを検出することにより、正常に外形輪郭線を抽出することができたか否かを判別し（ＳＴ３０５）、正常に抽出することができないと判断した場合には（ＳＴ３０５においてＮｏ）、第２計測工程（ＳＴ６）を終了する。

一方、ＣＰＵ１５は、外形輪郭線を正常に抽出することができたと判断した場合には（ＳＴ３０５においてＹｅｓ）、糸通し孔の輪郭線を抽出する処理を行う（ＳＴ３０６）。この糸通し孔の輪郭線の抽出工程においては、図８に示すＳＴ３０４において取得したボタン部分のみの前方照明画像データを用いて、ＳＴ３０５と同等の方法により糸通し孔の輪郭線を抽出することができる。また、ＳＴ３０５と同等の方法によって図９に示す二値化画像データを得た後、この二値化画像データを用いてＳＴ１０５と同等の方法により糸通し孔の輪郭線を抽出してもよい。

その後、ＣＰＵ１５は、前記二値化画像データを用いてボタン２の外径を検出し、ボタン２の中心位置を取得した後（ＳＴ３０７）、糸通し孔の輪郭線の抽出工程においてラベリング処理された二値化データを用いて、糸通し孔の数を取得する（ＳＴ３０８）。

次に、ＣＰＵ１５は、ＳＴ３０８において検出された数の糸通し孔のすべてについて外径および中心位置を取得する工程を終了したか否かを判別する（ＳＴ３０９）。このとき、ＣＰＵ１５は、糸通し孔のすべてについて外径および中心位置を取得する工程を終了していないと判断した場合には（ＳＴ３０９においてＮｏ）、前記二値化画像データを用いて糸通し孔の外径を検出し、糸通し孔の中心位置を取得し（ＳＴ３１０）、このボタン２の外径・中心位置、糸通し孔の数・外径・中心位置・形成位置に関する構成情報をインタフェース（Ｉ/Ｆ）２０を介してミシン制御部３０に出力する。また、この情報は表裏判別工程で利用するため、ワークメモリ１８に保持しておく。その後、ＣＰＵ１５は、再度、ＳＴ３０８において検出された数の糸通し孔のすべてについて外径および中心位置を取得する工程を終了したか否かを判別する（ＳＴ３０９）。

一方、ＣＰＵ１５は、糸通し孔のすべてについての外径および中心位置の取得が終了したと判断した場合には（ＳＴ３０９においてＹｅｓ）、第２計測工程を終了する。

一方、ＣＰＵ１５は、色彩情報取得工程（ＳＴ４）において色彩情報を取得することができできたと判断した場合には（ＳＴ５においてＹｅｓ）、第１ボタン計測工程（ＳＴ２）において、ＳＴ１０４で肯定判断される（ＳＴ１０４においてＹｅｓ）ことより、ボタン２の外形輪郭線を抽出できたか否かを判別する（ＳＴ７）。そして、ボタン２の外形輪郭線を抽出することができなかったと判断した場合には（ＳＴ７においてＮｏ）、半透明の材料により構成されたボタン２の外径・中心位置、糸通し孔の数・外径・中心位置・形成位置等の構成を計測し構成情報を取得する第３計測工程を行う（ＳＴ８）。

この第３計測工程においては、図１０に示すように、まず、ＣＰＵ１５は、液晶表示パネル１０において表示されるボタン２の背景パターンを設定する（ＳＴ４０１）。この背景パターンとしては、ＳＴ４の色彩判別工程において判別されたボタン２の色彩に対して、より背景分離が容易になるような背景色となるように設定する。例えば、第３計測工程においてカラー画像を用いて処理を行う場合には、ボタン２の色彩と補色の関係にある色彩を背景色として設定するとよい。また、第３計測工程においてカラー画像を濃淡画像にしてこの濃淡画像を用いて処理を行う場合には、背景部分とボタン部分の濃度差がより大きくなるような色彩を背景色として設定するとよい。さらには、白色または黒色をボタン２の色彩に応じて切り替えてもよい。

続いて、ＣＰＵ１５は、パネル制御部２６を介して液晶表示パネル１０により背景パターンの設定工程（ＳＴ４０１）において設定された背景パターンを表示する（ＳＴ４０２）。そして、ＣＰＵ１５は、同軸落射照明制御部２２を介して、同軸落射照明装置５によりボタン２に照射光を照射しながら、カメラ３部を介してカメラ３により前方照明画像を撮像して前方照明画像データを取得し（ＳＴ４０３）、この前方照明画像データを画像メモリ１６に記録する。

次に、ＣＰＵ１５は、第３計測工程（ＳＴ８）の前方照明画像を取得する工程（ＳＴ４０３）において取得した前方照明画像データを用いて、ボタン２の外形輪郭線を抽出する処理を行う（ＳＴ４０４）。

このボタン２の外形輪郭線を抽出する工程においては（ＳＴ４０４）、前方照明画像データをカラー画像のまま用いる場合には、背景色は、背景パターンの設定工程（ＳＴ４０１）において設定されたものであるためわかっているので、背景パターンの色彩情報をもとに、ボタン２と背景の領域を分割して、その境界線を追跡することによりボタン２の外形輪郭線を抽出することができる。また、前記前方照明画像のカラー画像を濃淡画像にして、この濃淡画像を用いてボタン２の外形輪郭線の抽出を行う場合、背景パターンの設定工程（ＳＴ４０１）において、予め背景部分とボタン部分との濃度差が大きくなるように設定されているため、背景部分とボタン部分とのコントラストが高い。このため、判別分析法などの動的なしきい値取得アルゴリズムを用いてしきい値を求め、前記前方照明画像の濃淡画像について二値化処理を行うことにより、透過照明画像データと同様の画像データを得ることができる。その後、ＳＴ１０３と同様に前記前方照明画像データについてラベリング処理を行い、背景とボタン２との境界線を追跡することにより、ボタン２の外形輪郭線を抽出する。

そして、ＣＰＵ１５は、ボタン２の外形輪郭線の抽出工程（ＳＴ４０４）において、抽出したボタン２の外形輪郭線が円形かどうか、または急峻な外周縁上の点を有するか否かを検出することにより、正常に外形輪郭線を抽出することができたか否かを判別し（ＳＴ４０５）、正常に抽出することができないと判断した場合には（ＳＴ４０５においてＮｏ）、第３計測工程（ＳＴ８）を終了する。

一方、ＣＰＵ１５は、外形輪郭線を正常に抽出することができたと判断した場合には（ＳＴ４０５においてＹｅｓ）、糸通し孔の輪郭線を抽出する処理を行う（ＳＴ４０６）。この糸通し孔の輪郭線の抽出工程は、ＳＴ４０４のボタン２の外形輪郭線を抽出する工程と同等の方法を用いて、糸通し孔の輪郭線を抽出することができる。

その後、ＣＰＵ１５は、前記前方照明画像データを用いてボタン２の外径・中心位置を検出し（ＳＴ４０７）、前記前方照明画像データを用いて、糸通し孔の数を取得する（ＳＴ４０８）。

次に、ＣＰＵ１５は、ＳＴ４０８において検出された数の糸通し孔のすべてについて外径および中心位置を取得する工程を終了したか否かを判別し（ＳＴ４０９）、終了していないと判断した場合には（ＳＴ４０９においてＮｏ）、前記前方照明画像データを用いて糸通し孔の外径を検出し、糸通し孔の中心位置を取得して（ＳＴ４１０）、このボタン２の外径・中心位置、糸通し孔の数・外径・中心位置・形成位置に関する構成情報をインタフェース（Ｉ/Ｆ）２０を介してミシン制御部３０に出力する。また、この情報は表裏判別工程で利用するため、ワークメモリ１８に保持しておく。その後、ＣＰＵ１５は、再度、ＳＴ４０８において検出された数の糸通し孔のすべてについて外径および中心位置を取得する工程を終了したか否かを判別する（ＳＴ４０９）。

一方、ＣＰＵ１５は、糸通し孔のすべてについて外径および中心位置の取得が終了したと判断した場合には（ＳＴ４０９においてＹｅｓ）、第３計測工程を終了する。

そして、ＣＰＵ１５は、第２計測工程（ＳＴ６）が終了した場合、第３計測工程（ＳＴ８）が終了した場合、またはＳＴ２の第１ボタン計測工程においてボタン２の外形輪郭線を抽出できたと判断した場合には（ＳＴ７においてＹｅｓ）、斜方照明装置７によってボタン２に対して照射光を照射する位置を調整することにより（ＳＴ９）、ボタン２の上面に照射される照射光の角度を調整する。

斜方照明装置７の位置調整工程においては、図１１に示すように、まずＣＰＵ１５は、色彩判別工程（ＳＴ４）において判別されたボタン２の色彩情報に基づいて、ボタン２の上面における光の反射率を取得し（ＳＴ５０１）、演算した反射率から、ボタン２の上面の傾斜や刻印等の凹凸形状を撮像可能にするための斜方照明装置７から照射する照射光の照射角度（θ）および光量を取得する（ＳＴ５０２）。ここで、ボタン２の上面の色彩の明度が低く反射率が低いほど、θを大きく設定し（図１参照）、ボタン２の上面の色彩の明度が高く反射率が高いほど、換言すれば明るい色ほど、θを小さく設定するとともに光量を多く設定する。このような反射率とθおよび光量との関係は、予め実験により算出し、テーブルとして第１記録メモリ１７に記録しておくこともできる。そして、ＣＰＵ１５は、演算したθによって斜方照明装置７からの照射光がボタン２の上面に照射されるように、斜方照明装置７の高さ位置を演算し（ＳＴ５０３）、設定した斜方照明装置７の高さ位置を位置調整制御部２５に出力するとともに、光量を斜方照明制御部２３に出力して（ＳＴ５０４）、位置調整工程を終了する。

続いて、ＣＰＵ１５は、斜方照明装置７によってボタン２の上面を照射光により照射した状態で、カメラ３によりボタン２の上面を撮像して斜方照明画像を取得する処理を行う（ＳＴ１０）。

この斜方照明画像取得工程においては、ＣＰＵ１５は、位置調整制御部２５により入力した高さ位置に基づいて斜方照明装置７の高さ位置を調整するとともに、斜方照明制御部２３により入力した光量に基づいて斜方照明装置７の光量を調整し、ボタン２の上方から前記高さ位置および光量により斜方照明装置７によって所定の角度をもってボタン２の上面に散乱光の照射光を照射する。そして、ＣＰＵ１５は、斜方照明装置７によってボタン２の上面に照射光を照射した状態で、カメラ制御部２１を介してカメラ３によってボタン２の上面を撮像して斜方照明画像の暗視野画像を取得する。この斜方照明画像取得工程においては、特に、ボタン２の上面の凹凸形状が映し出される。

その後、ＣＰＵ１５は、ＳＴ３、ＳＴ３０３、またはＳＴ４０３の前方照明画像取得工程において取得した前方照明画像と、ＳＴ１０の斜方照明画像取得工程において取得した斜方照明画像とを合成する処理を行う（ＳＴ１１）。

この画像合成工程において、ＣＰＵ１５は、例えば、図１２（ａ）に示すよう撮像対象のボタン２について、ＳＴ１０の斜方照明画像取得工程において撮像された図１２（ｂ）に示す斜方照明画像と、ＳＴ３、ＳＴ３０３、またはＳＴ４０３の前方照明画像取得工程において取得された図１２（ｃ）に示すような前方照明画像とを合成する。ここで、斜方照明画像取得工程（ＳＴ１０）において取得される斜方照明画像の暗視野画像においては、撮影対象のボタン２が透明体の場合には、ボタン２の上面に記載された文字、図形等の模様は、ボタン２の上面において斜方照明装置７からの照射光が散乱して白く映し出される。しかし、ボタン２が不透明体の場合には、ボタン２の上面に記載された画像は映し出されず、ボタン２の上面の凹凸形状が映し出されることとなる。一方、前方照明画像においては、特に、ボタン２の上面の画像が映し出されている。これにより、ＣＰＵ１５は、斜方照明画像と前方照明画像とを合成して、図１２（ｄ）に示すようなボタン２の上面に記載された画像および凹凸形状が映し出された合成画像を生成する。

さらに、ＣＰＵ１５は、画像合成工程（ＳＴ１１）における合成画像を用いて、ボタン２の上面に記載された文字等の模様や、凹凸形状により形成された文字等の模様を検出する処理を行う（ＳＴ１２）。

この画像検出工程においては、ＣＰＵ１５は、合成画像データについてラベリング処理を行い、ボタン２の上面の模様部分について模様の外形輪郭線を追跡し、模様の外形輪郭線を抽出する。続いて、ＣＰＵ１５は、模様のラベル毎に重心を求めて、模様の中心位置を検出し、この模様中心位置の情報を、各ボタン２のボタン２の外形、凹凸形状、外径および中心位置、さらには糸通し孔の位置、外径、および中心位置等の構成情報に付加する。これにより、ボタン２の表面に模様がある場合、ボタン２を縫製物に縫着する際に複数のボタン２において模様の向きが揃うように、ボタン２の平面形状における角度を調整することが可能となる。

そして、ＣＰＵ１５は、ＳＴ１〜ＳＴ１２において取得された撮像対象となるボタン２の透過照明画像、前方照明画像、および斜方照明画像を用いて判別および計測され、ワークメモリ１８に保持していた色彩情報および構成情報を用いて、ボタン２の表裏を判別する（ＳＴ１３）。

この表裏判別工程においては、図１３に示すように、まず、ＣＰＵ１５は、ワークメモリ１８に保存されているボタン２の構成情報に基づいて、ボタン２の平面形状における角度およびボタン２の中心位置を取得する（ＳＴ６０１）。

ボタン２の平面形状における角度を取得する工程においては、１つのボタン２について２つの糸通し孔が形成されている場合には、２つの糸通し孔の中心位置を連結する直線の傾きによって、平面形状におけるボタン２の角度を取得する。１つのボタン２について３つの糸通し孔が正三角形の各頂点上に形成されている場合には、３つの糸通し孔のうちいずれか１つの糸通し孔の中心位置をとおり、かつ他の２つの糸通し孔を連結する直線に対して垂直な直線の傾きによって、平面形状におけるボタン２の角度を取得する。１つのボタン２について４つの糸通し孔が形成されている場合には、４つの糸通し孔のうちいずれか１つの糸通し孔を選択して、選択した糸通し孔に一番近接して形成された糸通し孔と選択した糸通し孔との中心位置を連結する直線を基準とする。さらに、選択されていない他の３つの糸通し孔についても一番近接して形成された糸通し孔と直線によって連結し、各直線の傾きを加味して平均を採用することにより、平面形状におけるボタン２の角度を取得する。

ボタン２の中心位置の取得工程においては、ボタン２の外形輪郭線の重心をボタン２の中心位置とする。

続いて、ＣＰＵ１５は、ボタン２における糸通し孔の数を判別する（ＳＴ６０２）。

ここで、糸通し孔の数が２つの場合には、まず、撮像対象となるボタン２の合成画像と比較されるボタン２の規格画像を２方向に回転したか否かを判別し（ＳＴ６０３）、２方向に回転していないと判断した場合には（ＳＴ６０３においてＮｏ）、合成画像と規格画像とのマッチングを行って相関値を求めた後（ＳＴ６０４）、規格画像を１８０°回転して（ＳＴ６０５）、再度、規格画像を２方向に回転したか否かを判別する（ＳＴ６０３）。このようにして、２方向分の合成画像と規格画像との相関値を求める。

糸通し孔の数が３つの場合には、まず、規格画像を３方向に回転したか否かを判別し（ＳＴ６０６）、３方向に回転していないと判断した場合には（ＳＴ６０６においてＮｏ）、合成画像と規格画像とのマッチングを行って相関値を求めた後（ＳＴ６０７）、規格画像を１２０°回転して（ＳＴ６０８）、再度、規格画像を３方向に回転したか否かを判別する（ＳＴ６０６）。このようにして、３方向分の合成画像と規格画像との相関値を求める。

糸通し孔の数が４つの場合には、まず、規格画像を４方向に回転したか否かを判別し（ＳＴ６０９）、４方向に回転していないと判断した場合には（ＳＴ６０９においてＮｏ）、合成画像と規格画像とのマッチングを行って相関値を求めた後（ＳＴ６１０）、規格画像を９０°回転して（ＳＴ６１１）、再度、規格画像を４方向に回転したか否かを判別する（ＳＴ６０９）。このようにして、４方向分の合成画像と規格画像との相関値を求める。

さらに、ＣＰＵ１５は、各方向について、各相関値のうちの最大値を評価値に決定し（ＳＴ６１２）、ボタン２の表裏を判別するために予め設定されているしきい値と評価値とを比較して、相関値の方が大きいか否か判別する（ＳＴ６１３）。そして、規格画像としてボタン２の表面の画像データが登録されている場合、ＣＰＵ１５は、相関値の方がしきい値よりも大きいと判断した場合には（ＳＴ６１３においてＹｅｓ）、撮像対象となっているボタン２は表面が上方に向いていると判断し（ＳＴ６１４）、相関値の方がしきい値よりも小さいと判断した場合には（ＳＴ６１３においてＮｏ）、ボタン２は裏面が上方に向いていると判断する（ＳＴ６１５）。このとき、撮像対象となったボタン２が、例えば外周縁が欠けている等の不良品であって、相関値の方がしきい値よりも小さくなってしまった場合には、ボタン２は裏面が上方に向いていると判断されることとなる。

ＣＰＵ１５は、撮像対象となっているボタン２の表裏を判別した後、表裏の判別結果、色彩情報および構成情報をＩ／Ｆ２０を介してミシン制御部３０に出力する（ＳＴ６１６）。

ミシン制御部３０は、入力したボタン２の表裏の判別結果に基づき、ボタン２の裏面が上方に向いているのであれば、そのボタン２を除去し、ボタン２の表面が上方に向いているのであれば、入力したボタン２の構成情報に基づいて糸通し孔の形成位置や糸通し孔の外径を確認する。そして、ミシン制御部３０は、糸通し孔の形成位置がずれていたり、糸通し孔の外径が小さいと判断した場合には、そのようなボタン２も除去し、正常なボタン２であると判断した場合には、構成情報に基づきボタン２の平面形状における角度を調整して、縫製物に縫い付ける作業を行う。

本実施形態によれば、前方照明画像のみならず、透過照明画像や斜方照明画像を用いることにより、ボタン２の外形・外径・中心位置・上面の凹凸形状、糸通し孔の数・外径・中心位置・形成位置等の構成情報を精度よく取得することができる。すなわち、ボタン認識装置１は、斜方照明装置７によってボタン２を照射した状態でカメラ３によってボタン２の上面を撮像することにより、ボタン２の上面の凹凸形状についての構成情報を取得することができる。また、ボタン認識装置１は、液晶表示パネル１０によってボタン２を照射した状態でカメラ３によってボタン２の上面を撮像することにより、不透明体のボタン２における糸通し孔の形成位置等について、高精度の構成情報を取得することができる。

したがって、本実施形態に係るボタン認識装置１は、多種多様のボタン２について、高精度の構成情報に基づいてボタン２の表裏を判別することができ、表裏の判別精度を向上させることができるとともに、前記構成情報を用いて不良品のボタン２を除去したり、ボタン２を平面形状における所定の角度に向けて配置させることができ、ミシンによって仕上がりよく縫製物にボタン２を縫い付けることができる。

また、ボタン認識装置１は、不透明体のボタン２における糸通し孔の形成位置について高精度の構成情報を取得することにより、製造精度が不良なボタン２を判別することができるので、ミシンの縫い針が糸通し孔を通過せずにボタン２に接触することによる縫い針折れ等のトラブルの発生を防止することができる。

さらに、ボタン認識装置１は、ボタン２の上面の色彩情報を取得し、ボタン２の透光度によってボタン２を分類し、ボタン２の色彩及び透光度に応じて各照明装置５、７、１０における照射条件を設定することができる。これにより、より鮮明なボタン２の各照明画像を取得することができるので、多種多様のボタン２について、より高精度の情報を取得することができる。

さらにまた、ボタン２の色彩に応じて、位置調整装置９によってボタン２に対する斜方照明装置７の位置を調整することにより、斜方照明装置７からボタン２の上面に照射される照射光の角度を調整することができる。これにより、斜方照明装置７によって、より鮮明にボタン２の上面の凹凸形状を映し出すことができるので、多種多様なボタン２についてより高精度の構成情報を取得することができ、表裏判別の精度もより向上させることができる。

また、液晶表示パネル１０は照射光の色彩を変更することができるので、ボタン２の色彩に応じて液晶表示パネル１０からの照射光の色彩を変更することにより、前方照明画像においてボタン部分と背景部分とをより容易に分離することができるような背景色を設定することが可能となる。例えば、不透明の材料からなるボタン２については黒色の背景色に設定し、半透明の材料からなるボタン２について、ボタン２の色彩と補色関係の色彩を背景色に設定したり、前方照明画像においてボタン部分と背景部分とのコントラストがより高くなる色彩を背景色に設定することにより、背景部分とボタン部分とをより明確に分離して、ボタン２の外形輪郭線を抽出することができる。これにより、同軸落射照明装置５によって、より鮮明にボタン２の上面を映し出すことができるので、多種多様なボタン２についてより高精度の構成情報を取得することができ、表裏判別の精度もより向上させることができる。

また、液晶表示パネル１０は表示する背景パターンを変更することができるので、ボタン２の透過度に応じて液晶表示パネル１０により表示される背景パターンを変更することにより、前方照明画像においてボタン２と背景とを分離可能な背景パターンを設定することが可能となる。例えば、不透明の材料からなるボタン２については、液晶表示パネル１０によって無地の背景パターンを表示し、透明の材料からなるボタン２については、液晶表示パネル１０によって周期的な模様の背景パターンを表示することにより、背景部分とボタン部分とをより明確に分離して、ボタン２の外形輪郭線を抽出することができる。これにより、同軸落射照明装置５によって、より鮮明にボタン２の上面を映し出すことができるので、多種多様なボタン２についてより高精度の構成情報を取得することができ、表裏判別の精度をより向上させることができる。

なお、本発明は前記実施形態に限定されるものではなく、必要に応じて種々変更することが可能である。

例えば、前記実施の形態では、第１計測処理、第２計測処理、第３計測処理等の各計測処理は、液晶表示パネル１０上に１個のボタンを載置した状態で行っているが、液晶表示パネル１０上に特定種類のボタンを複数載置し、各計測処理中で複数のボタンを１回の撮像により計測しても良い。

また、上記実施の形態では、ボタン２が不透明体、半透明体、透明体のいずれの材料で構成されているかを判断、分類するために、各画像データにおいてボタン２により形成される集合体のラベリング処理において付されたラベル数を用いて判断しているが、ＳＴ１で取得される透過照明画像データにおける背景以外の影部分として認識される画素の有無、及び、影部分として認識された画像の背景分に対する光の透光量により検出される透光度に基づいて、不透明体、半透明体、透明体のそれぞれを分類しても良い。

本発明に係るボタン認識装置の一実施形態を示す概略側面断面図 図１のボタン認識装置の構成を示すブロック図 本発明に係るボタン認識方法の一実施形態を示すフローチャート 図３に示すボタン認識方法における第１計測工程を示すフローチャート 図３に示すボタン認識方法における色彩情報取得工程を示すフローチャート 図３に示すボタン認識方法における第２計測工程を示すフローチャート （ａ）〜（ｃ）は、図６に示す第２計測工程において取得された前方照明画像を示す平面図 図７に示す前方照明画像の背景部分を除去した場合を示す平面図 図８における背景部分を除去した前方照明画像を二値化処理した場合を示す平面図 図３に示すボタン認識方法における第３計測工程を示すフローチャート 図３に示すボタン認識方法における斜方照明装置の位置調整工程を示すフローチャート （ａ）〜（ｄ）は、図３に示すボタン認識方法におけるボタン合成工程において用いられる各照明画像を示す平面図 図３に示すボタン認識方法における表裏判定工程を示すフローチャート

符号の説明

１ ボタン認識装置
２ ボタン
３ カメラ
５ 同軸落射照明装置
５ａ ハーフミラー
５ｂ 光源
７ 斜方照明装置
７ａ 光源
９ 位置調整装置
１０ 液晶表示パネル
１２ 画像処理装置
１５ ＣＰＵ
１６ 画像メモリ
１７ 第１記録メモリ
１８ ワークメモリ
１９ Ａ／Ｄコンバータ
２１ カメラ制御部
２２ 同軸落射照明制御部
２３ 斜方照明制御部
２５ 位置調整制御部
２６ パネル制御部
２８ 第２記録メモリ
３０ ミシン制御部

Claims (11)

1. ボタンの前面に対して垂直に照射光を照射する同軸落射照明装置と、
   前記ボタンの後面側に配置され、前記ボタンの後面から照射光を照射する透過照明装置と、
   前記ボタンの前面に対して斜方から照射光を照射する斜方照明装置と、
   前記同軸落射照明装置によって照射光が照射された状態での前記ボタンの前面の前方照明画像、前記斜方照明装置によって照射光が照射された状態での前記ボタンの前面の斜方照明画像、および前記透過照明装置によって照射光が照射された状態での前記ボタンの前面の透過照明画像をそれぞれ撮像する撮像装置と、
   前記前方照明画像、前記斜方照明画像および前記透過照明画像を用いて前記ボタンの構成情報を取得し、前記各照明画像、前記構成情報および予め記録された前記ボタンの規格画像を用いて前記ボタンの表裏を判別する画像処理装置とを備えたことを特徴とするボタン認識装置。
2. 前記画像処理装置は、前記前方照明画像を用いて前記ボタンの前面の色彩を判別するとともに、前記前方照明画像および前記透過照明画像を用いて前記ボタンの透光度を判別し、判別した前記ボタンの色彩および透光度に応じて前記各照明装置の照明条件を調整することを特徴とする請求項１に記載のボタン認識装置。
3. 前記画像処理装置により判別されたボタンの色彩に応じて、前記ボタンに対する前記斜方照明装置の位置を調整することにより、前記斜方照明装置から前記ボタンの前面に照射される前記照射光の角度を調整する位置調整装置を備えたことを特徴とする請求項２に記載のボタン認識装置。
4. 前記透過照明装置として、前記ボタンの背景色を表示する表示装置を用い、
   前記表示装置は、前記画像処理装置により判別された前記ボタンの色彩に応じて、照射する照射光の色彩を設定することを特徴とする請求項２または請求項３に記載のボタン認識装置。
5. 前記透過照明装置として、前記ボタンの背景パターンを表示する表示装置を用い、
   前記表示装置は、前記画像処理装置により判別された前記ボタンの透光度に応じて、前記背景パターンを設定することを特徴とする請求項２乃至請求項４のいずれか１項に記載のボタン認識装置。
6. ボタンの前面に対して垂直に照射光を照射して、撮像装置により前記ボタンの前面の前方照明画像を撮像する前方照明画像取得工程と、
   前記ボタンの後面から照射光を照射して、前記撮像装置により前記ボタンの前面の透過照明画像を撮像する透過照明画像取得工程と、
   前記ボタンの前面に対して斜方から照射光を照射して、前記撮像装置により前記ボタンの前面の斜方照明画像を撮像する斜方照明画像取得工程と、
   前記前方照明画像、前記斜方照明画像および前記透過照明画像を用いて前記ボタンの構成情報を取得し、前記各照明画像、前記構成情報および予め記録された前記ボタンの規格画像を用いて前記ボタンの表裏を判別する画像処理工程とを有することを特徴とするボタン認識方法。
7. 前記前方照明画像を用いて前記ボタンの前面の色彩情報を取得し、
   前記前方画像および前記透過照明画像を用いて、前記ボタンの透過度に応じて前記ボタンを分類し、
   前記ボタンの色彩および透光度に応じて前記各照明装置の照明条件を調整することを特徴とする請求項６に記載のボタン認識方法。
8. 前記ボタンの色彩に応じて、前記斜方照明画像取得工程において前記ボタンに対して照射光を照射する位置を調整することにより、前記ボタンの前面に照射される照射光の角度を調整する位置調整工程を有することを特徴とする請求項７に記載のボタン認識方法。
9. 前記前方照明画像取得工程において、前記ボタンの色彩に応じて、前記ボタンの背景の色彩を設定することを特徴とする請求項７または請求項８に記載のボタン認識方法。
10. 前記前方照明画像取得工程において、前記ボタンの透光度に応じて、前記ボタンの背景パターンを設定することを特徴とする請求項７乃至請求項９のいずれか１項に記載のボタン認識方法。
11. 前記ボタンの透光度により前記ボタンが透明な材料により構成されていると分類された場合には、前記ボタンの背景パターンを周期的な模様に設定し、前記ボタンを透過することにより前記ボタン部分の背景パターンが歪んで視認されることを利用して、前記前方照明画像における背景部分とボタン部分とを分離し、前記ボタンの外形輪郭線を取得することを特徴とする請求項１０に記載のボタン認識方法。

Images