JP5084634B2 - ボタンの表裏判定方法 - Google Patents

Description

本発明は、カメラでボタンを撮像し、その撮像画像からボタンの表裏を判定するボタンの表裏判定方法に関する。

衣類等の被縫製物にボタンを縫い付けるボタン付けミシンでは、ボタン保持部が被縫製物の近傍でボタンを保持して縫いを行う。このとき、ボタン保持部にはボタン供給装置によって逐次ボタンが供給されるが、ボタン保持部にボタンが供給されるときにボタンの表裏が正しい向きとなっている必要がある。このため、ボタンの表裏を判定する機構が必要とされているが、従来の機構としてはボタンの一方の面（例えば裏）が凸状となっているボタンの場合に、ボタンの搬送経路に設けられた選別板により凸面が上向きに搬送されているボタンのみを搬送経路からボタンを落下させることでボタンの表裏判定を行うボタン選別装置が知られている（例えば特許文献１）。
特開平１０−１９４４３５号公報

しかしながら、従来のボタン選別装置では一方の面が凸面であるといったような顕著な物理的特徴による表裏判定を行えるボタンにのみ適用可能であり、表と裏の形状に大きな差がないボタンの表裏を判定することはできないといった問題点があった。また、適用可能なボタンであってもボタンの大きさや種類によって選別板の微調整を行う必要があり、煩雑な作業を伴うといった問題点があった。加えて、当該微調整には熟練を要し、誰でも行えるものではなかった。

そこで、ボタンをカメラ等の撮像装置で撮像し、画像認識処理を用いてボタンの表裏を判定する方法が検討されている。画像認識処理によるボタンの表裏判定を行う場合、テンプレートマッチングによる方法が考えられる。テンプレートマッチングを用いてボタンの表裏を判定する場合、ボタンが所定の向き（例えば表面が上）となるよう配置された状態で所定の方向（例えば上方）から撮像した撮像画像である判定元画像をあらかじめ用意し、供給するボタンを所定の方向から撮像した画像と判定元画像とを比較してその近似の度合いによって供給するボタンの表裏を判定する。また、テンプレートマッチングは画像の近似の度合いによって是非の判定を行うので、同時にボタンの種類の同非も判定される。一定以上近似していれば供給するボタンの表面は同種種類であり、かつ、正しい向きと判定され、そうでなければエラー即ち当該ボタンは裏面が上、あるいは異なるボタンであると判定される。

しかしながら、判定元画像を撮像した後に時間が経過することで、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件と、表裏を判定される対象となるボタンに対する照明等の諸条件とが変化すると、同種の種類のボタンであって、かつ、表裏が正しい向きのボタンであっても、画像の近似の度合いが一定以上とならずにエラーとなることがあるといった問題点があった。

本発明は、上述の問題点に鑑み、より好適にボタンの表裏判定を行えるボタンの表裏判定方法を提供することを目的とする。

請求項１記載の発明は、カメラでボタンを撮像し、その撮像画像からボタンの表裏を判定するボタンの表裏判定方法において、表又は裏の基準となるボタンを前記カメラで撮像する第１の撮像工程と、表裏を判定する対象となるボタンを撮像する第２の撮像工程と、前記第１の撮像工程で得られた撮像画像と前記第２の撮像工程で得られた撮像画像とから前記第２の撮像画像に写ったボタンの表裏を判定する判定工程と、を有し、前記第１の撮像工程は、前記第２の撮像工程と同時又は前記第２の撮像工程の直前に行うことを特徴とする。

請求項２記載の発明は、請求項１に記載のボタンの表裏判定方法において、前記第１の撮像工程は、前記第２の撮像工程を行うのと同時又は前記第２の撮像工程を行う直前に毎回行うことを特徴とする。

請求項３記載の発明は、請求項１又は２に記載のボタンの表裏判定方法において、表又は裏の基準となるボタンと表裏を判定する対象となるボタンとを並べて配置し、ひとつのカメラで当該表又は裏の基準となるボタンと表裏を判定する対象となるボタンを同時に撮像することを特徴とする。

請求項４記載の発明は、請求項１又は２に記載のボタンの表裏判定方法において、前記第１の撮像工程と前記第２の撮像工程は、異なるカメラによって行われることを特徴とする。

請求項５記載の発明は、請求項１に記載のボタンの表裏判定方法において、前記第１の撮像工程で得られた撮像画像と前記第２の撮像工程で得られた撮像画像とが所定以上近似していた場合、当該第２の撮像工程で得られた撮像画像を次の第１の撮像工程の撮像画像とすることを特徴とする。

請求項６記載の発明は、請求項１から５のいずれか一項に記載のボタンの表裏判定方法において、前記第１の撮像工程及び前記第２の撮像工程は、前記ボタンを側方から撮像することを特徴とする。

請求項７記載の発明は、請求項１から６のいずれか一項に記載のボタンの表裏判定方法において、前記第１の撮像工程で得られた撮像画像の一部又は一部を加工した画像を用いてボタンの表裏の判定を行うことを特徴とする。
なお、「所定以上近似」とは、第１の撮像画像に写った表又は裏の基準となるボタンと、第２の撮像画像に写った表裏を判定するボタンとが共に同じ面（表又は裏）を撮像されていると判定工程で判定される程度に近似していることを指す。

請求項１記載の発明によれば、第１の撮像工程は第２の撮像工程と同時又は第２の撮像工程の直前に行う。つまり、表裏を判定したいボタンがある場合、表裏を判定したいボタンの撮像と同時またはその直前に表又は裏の基準となるボタンの撮像を行える。よって、表裏を判定したいボタンの判定元画像があらかじめ用意されていなくてもよく、表裏を判定したいボタンの撮像と同様の要領で表又は裏の基準となるボタンの撮像を行えば事足りる。
また、第１の撮像工程は第２の撮像工程と同時又は第２の撮像工程の直前に行うので、第１の撮像工程と第２の撮像工程の照明等の条件を同様とすることで、第１の撮像工程で得られる撮像画像と第２の撮像工程で得られる撮像画像の照明等の条件を同様にすることが可能となる。つまり、表又は裏の基準となるボタンの撮像画像と、表裏を判定する対象となるボタンの撮像画像との間に照明等の条件による類似度の剥離を防止することが可能となる。従って、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件が変化すると、同種かつ表裏が正しい向きのボタンであっても画像の近似の度合いが一定以上とならずにエラーとなることがあるといった従来の問題点を解消することができ、より好適にボタンの表裏判定を行える。

請求項２記載の発明によれば、第１の撮像工程は、第２の撮像工程を行うのと同時又は第２の撮像工程を行う直前に毎回行う。つまり、表裏を判定する対象となるボタンの撮像が行われるたびに、表又は裏の基準となるボタンの撮像をその都度行う。よって、第１の撮像工程と第２の撮像工程との間の時間経過は極めて短くなり、各ボタンの照明条件等がほぼ同一となる。従って、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件が変化すると、同種かつ表裏が正しい向きのボタンであっても画像の近似の度合いが一定以上とならずにエラーとなることがあるといった従来の問題点を解消することができ、より好適にボタンの表裏判定を行える。

請求項３記載の発明によれば、表又は裏の基準となるボタンと表裏を判定する対象となるボタンとを並べて配置して撮像する。よって、各ボタンの撮像時の照明等の条件をほぼ同一とすることが可能となる。従って、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件が変化すると、同種かつ表裏が正しい向きのボタンであっても画像の近似の度合いが一定以上とならずにエラーとなることがあるといった従来の問題点を解消することができ、より好適にボタンの表裏判定を行える。
また、表又は裏の基準となるボタンと表裏を判定する対象となるボタンとを並べて配置して撮像するので、１台のカメラで基準となるボタンと表裏を判定する対象のボタンの両方をその撮像範囲に含めて同時に撮像することが容易となる。このとき、当該１台のカメラで得られた撮像画像のうち基準となるボタンが写った領域と表裏を判定する対象のボタンが写った領域との比較処理を行えばボタンの表裏判定が行える。従って、第１の撮像工程と第２の撮像工程とを個別に行う場合に比してその工程が短縮され、より円滑にボタンの表裏判定を行える。

請求項４記載の発明によれば、第１の撮像工程と第２の撮像工程は、異なるカメラによって行われる。これによって、表又は裏の基準となるボタンを撮像するカメラと、表裏を判定する対象となるボタンを撮像するカメラとが異なるものとなるので、同一のカメラで各ボタンを撮像する場合に比して、表又は裏の基準となるボタンと表裏を判定するボタンの配置関係の自由度が大幅に向上する。

請求項５記載の発明によれば、第１の撮像工程で得られた撮像画像と第２の撮像工程で得られた撮像画像とが所定以上近似していた場合、当該第２の撮像工程で得られた撮像画像を次の第１の撮像工程の撮像画像とする。つまり、第１の撮像画像に写った表又は裏の基準となるボタンと、第２の撮像画像に写った表裏を判定するボタンとが共に同じ面（表又は裏）を撮像されていると判定工程で判定される程度に近似している場合、第２の撮像工程で得られた撮像画像を、その次に「表裏を判定する対象となるボタン」の撮像画像に対する「表又は裏の基準となるボタン」の撮像画像として扱う。これによって、表裏を判定するボタンが表又は裏の基準となるボタンと同じ面を向いている場合は、次に表裏を判定する対象となるボタンを撮像する第２の撮像工程の際に同時またはその直前に行う第１の撮像工程をその前に行った第２の撮像工程に置き換えることが可能となる。よって、第１の撮像工程を個別に行う回数を低減させることができ、より円滑にボタンの表裏判定を行える。

請求項６記載の発明によれば、第１の撮像工程及び第２の撮像工程は、ボタンを側方から撮像する。ところで、ボタンの表裏判定の際には、第１の撮像工程で得られた表又は裏の基準となるボタンの撮像画像と、第２の撮像工程で得られた表裏を判定する対象となるボタンの撮像画像との比較処理を行う。このとき、一般的にボタンは表又は裏面の面積よりもその側方の面積の方が小さい。従って、ボタンを側方から見た場合にその表裏を判定可能な視覚的特徴がある場合は、ボタンを側方から撮像することで、表又は裏面の一方を当該面に対向して撮像する場合に比して表裏判定のために必要な撮像画像の面積を小さくすることが可能となる。よって、第１の撮像工程の撮像画像と第２の撮像工程の撮像画像との比較処理に要する時間を短縮でき、より好適にボタンの表裏判定を行える。

請求項７記載の発明によれば、第１の撮像工程で得られた撮像画像の一部又は一部を加工した画像を用いてボタンの表裏の判定を行う。例えば、ボタンの表又は裏を判定するのに十分な視覚的差異がボタンの一部に含まれている場合は、第１の撮像工程で撮像した画像から当該一部の撮像画像を得て、第２の撮像工程で得られた撮像画像に当該一部に対応する部分が含まれるかどうかを判別すればよい。従って、ボタン全体を撮像画像に含める場合に比して表裏判定のために必要な撮像画像の面積を小さくすることが可能となる。よって、第１の撮像工程の撮像画像と第２の撮像工程の撮像画像との比較処理に要する時間を短縮でき、より好適にボタンの表裏判定を行える。
また、ボタンは縫い付けのためのボタン穴を有する場合が多い。ボタン穴はボタンの向きによってその位置関係を変ずるので、ボタン穴の位置関係の差異が撮像画像に写ったボタンの差異となって現れる。よって、第１の撮像工程で得られたボタンの撮像画像と第２の撮像工程で得られたボタンの撮像画像との間でボタン穴の位置関係に差異があった場合、同種のボタンかつ当該ボタンの同じ面が撮像されていた場合であっても、表裏判定の比較処理においてボタン穴の位置関係の差異によって異なる面（あるいは異なるボタン）と判定されてしまう可能性がある。このとき、例えばボタン穴を塞ぐ加工を各撮像画像に施すことによって、ボタン穴の位置関係の差異による比較処理の誤判定を防止することが可能となる。よって、より好適にボタンの表裏判定を行える。また、画像の加工以外にも、ボタン穴を含まないボタンの一部の画像を用いてボタンの表裏判定を行うことによっても同様の効果が得られる。

（発明の全体構成）
以下、図を参照して本発明の実施の形態を詳細に説明する。
本発明によるボタンの表裏判定方法は、ボタン付けミシンのボタン供給装置によって供給されるボタンの表裏を判定する方法である。ボタンの表裏判定は、ボタン供給装置がボタン付けミシンにおいて被縫製物の近傍でボタンを保持するボタン保持部にボタンを搬送するよりも前に行われる。これによって、ボタン保持部には所定の種類の、かつ、常に所定の向きのボタンが供給され、誤った種類のボタンや誤った向きのボタンが供給されることで縫い品質が低下することがなくなり、縫い品質が大幅に向上する。
図１は本発明によるボタンの表裏判定方法で用いるボタン画像認識装置１の主要構成を示すブロック図である。ボタン画像認識装置１は、表裏判定の基準となるボタンＢ１及び表裏判定を行う対象となるボタンＢ２を撮像するカメラ２と、ボタンＢ１、Ｂ２の撮像時に各ボタンを照らす照明３と、ボタン画像認識装置１の各種処理内容を表示するモニタ４と、ボタンＢ１、Ｂ２の画像からボタンＢ２の表裏を判定する画像処理装置１０とを備える。なお、ボタンＢ１は「表又は裏の基準となるボタン」であり、ボタンＢ２は「表裏を判定する対象となるボタン」である。

カメラ２は、ボタンＢ１，Ｂ２の上方からボタンＢ１，Ｂ２を含む範囲を１回の撮像で撮像可能となるよう設けられ、ボタンＢ１，Ｂ２を撮像してその撮像画像Ｇを画像処理装置１０に入力する。なお、カメラ２によって入力される撮像画像Ｇはアナログ画像データであり、画像処理装置１０に入力されるとＡ／Ｄコンバータ１５（後述）によってデジタル画像データに変換される。
照明３は、ボタンＢ１の上方であってカメラ２によるボタンＢ１，Ｂ２の撮像範囲を遮らない位置に設けられ、少なくともカメラ２によるボタンＢ１，Ｂ２の撮像の際にボタンＢ１，Ｂ２に光を照射する。このとき、照明３はその照射光によるカメラ２の撮像画像Ｇの明暗がボタンＢ１，Ｂ２でほぼ同等となるよう設けられていることが望ましい。
モニタ４は、ボタン画像認識装置１の各種情報を表示する。その表示内容については後述する。

画像処理装置１０は、ボタン画像認識装置１の各部の制御に関する各種処理を行うＣＰＵ１１と、ＣＰＵ１１によって呼び出される各種プログラム及びデータ等を書き換え不能に記憶するＲＯＭ１２と、ＣＰＵ１１の各種処理において一時的に生じる各種データの格納領域となるＲＡＭ１３と、ＣＰＵ１１によって呼び出される各種プログラム及びデータ等を書き換え可能に記憶するＥＥＰＲＯＭ１４と、カメラ２によって入力されたアナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ１５と、を備えている。ＲＯＭ１２、ＲＡＭ１３，ＥＥＰＲＯＭ１４及びＡ／Ｄコンバータ１５はバスを介してＣＰＵ１１に接続されている。また、Ａ／Ｄコンバータ１５はカメラ２と接続されており、画像処理装置１０に入力されたカメラ２の撮像画像ＧはまずＡ／Ｄコンバータ１５に入力される。
ＣＰＵ１１は、ＲＯＭ１２又はＥＥＰＲＯＭ１４から各種プログラム及びデータ等を呼び出して実行処理し、ボタン画像認識装置１の各部を制御する。特に、ＲＯＭ１２にはカメラ２によって撮像されたボタンＢ１，Ｂ２の撮像画像からボタンＢ２の表裏判定及び表裏判定に関る各種処理を行うための画像処理プログラム１２ａが記憶されている。なお、以降特に記載がない場合、ボタン画像認識装置１の各種動作制御はＣＰＵ１１によるソフトウェア制御によって行われている。
Ａ／Ｄコンバータ１５は、カメラ２が撮像した撮像画像Ｇ（アナログ画像データ）をデジタル画像データに変換してＣＰＵ１１に入力する。ＣＰＵ１１はデジタル画像データに変換された撮像画像ＧからボタンＢ２の表裏を判定する。なお、以後の記載においては特筆しない限り「撮像画像Ｇ」はカメラ２によって撮像された画像データ全般をいい、特にアナログ画像データとデジタル画像データの区別は行わない。

次に、ボタンＢ１、Ｂ２について詳説する。図２はボタンＢ１（Ｂ２）の表面及び裏面を示す説明図である。図２（ａ）はボタンＢ１（Ｂ２）の表面を、図２（ｂ）はボタンＢ１（Ｂ２）の裏面を示す。
ボタンＢ１は、その一方の面（例えば表面）がカメラ２側つまり上方に、他方の面（例えば裏面）がボタンＢ１が配置される面側つまり下方となるよう配置される。ボタンＢ１はオペレータの手によってカメラ２の下方の所定位置となるよう配置され、配置後にその位置が変わることはない。
ボタンＢ２は、ボタン供給装置（図示略）が備える図示しないボタン搬送部（例えばボタンＢ２を図２の上下方向に沿って搬送するベルトコンベヤ等）によってカメラ２の下方を通るよう搬送されている。なお、ボタンＢ２はボタン供給装置によってボタン付けミシン（図示略）のボタン保持部（図示略）に逐次供給される縫いつけ用ボタンであり、ボタン搬送部はボタン保持部に供給される前の複数のボタンが蓄積されているボタン蓄積部（図示略）から一つずつボタンＢ２をカメラ２の下方を通るよう搬送する。つまり、ボタンＢ２は特定のひとつのボタンではなく逐次搬送される複数のボタンのうちの一つである。つまり、ボタン画像認識装置１はカメラ２の下方に据え置かれたボタンＢ１を基準としてボタン付けミシンに逐次供給されるボタンＢ２の表裏を判定する装置である。

なお、ボタンＢ１とボタンＢ２とは同種のボタンである。従って、ボタンＢ１とボタンＢ２との表裏及び穴の位置関係が一致する場合、カメラ２に撮像されるボタンＢ１とボタンＢ２とはほぼ同種のボタンとして写る。また、図１に示すように、ボタンＢ１，Ｂ２はその側方から見た場合には表面が直線状となり、裏面はなだらかな楕円の半円状となる形状である。また、図２（ａ）に示すように、ボタンＢ１（Ｂ２）の表面には凹部Ｃが設けられており、カメラ２によって上方から撮像された場合、表面が上向きの場合には凹部の内外の段差によるコントラストＣ１が生じる。一方、図２（ｂ）に示すように、裏面が上向きの場合には段差ＣがないのでコントラストＣ１は生じない。つまり、ボタンＢ１、Ｂ２は上方または側方からの撮像画像Ｇに写った当該ボタンの形状から表裏のいずれが上向き（あるいは下向き）であるかを認識可能となっている。
また、ボタン搬送部によって搬送されるボタンＢ２の向きは一定しない。例えば、図２に示すボタンＢ２はボタンＢ１と同様に一方の面（例えば表面）が上方となっているが、他方の面（例えば裏面）が上方となることもある。また、ボタン穴の位置関係も図２に示すボタンＢ２のようになるとは限らず、ボタンＢ１のボタン穴の配置に対して傾いていることもある。

（ボタン画像認識装置の動作）
次に、ボタン画像認識装置１の動作における各工程について詳説する。図３はボタン画像認識装置１の動作を示すフローチャートである。
図３に示すように、ボタン画像認識装置１は、カメラ２によってボタンＢ１，Ｂ２を撮像するボタン撮像工程（ステップＳ１）、ボタン撮像工程で得られた撮像画像Ｇの画質を改善するためノイズ除去などの各種処理を行う画質改善工程（ステップＳ２）、画質改善後の撮像画像ＧからボタンＢ２の表裏を判定する表裏判定工程（ステップＳ３）、ボタンＢ２の表裏判定の結果通知をモニタ４による表示等によって行う結果通知工程（ステップＳ４）を順次行う。以下、工程順に詳説する。なお、ステップＳ２〜Ｓ４の各工程はＣＰＵ１１がＲＯＭ１２の画像処理プログラム１２ａを呼び出して実行処理することで行われる。

（ボタン撮像工程）
まず、ステップＳ１のボタン撮像工程について詳説する。図４はカメラ２によるボタンＢ１、Ｂ２の撮像画像Ｇを示す説明図である。
ボタン搬送部によって搬送されるボタンＢ２のうちひとつがカメラ２の撮像範囲内に入り、かつ、図４に示す撮像画像Ｇの左右方向にボタンＢ２がボタンＢ１と並ぶよう位置したときにカメラ２によって撮像される。つまり、「表又は裏の基準となるボタン」であるボタンＢ１と、「表裏を判定する対象となるボタン」であるボタンＢ２とは同時に撮像されている。よって、表又は裏の基準となるボタンＢ１を撮像する「第１の撮像工程」と、表裏を判定する対象となるボタンＢ２を撮像する「第２の撮像工程」は同時に行われている。ボタンＢ２の位置は図示しないセンサー等によって検知され、ＣＰＵ１１は当該センサー等による入力に基づいてカメラ２を動作させることで撮像工程を行う。当該撮像工程によって得られた撮像画像Ｇは図４に示すようにボタンＢ１とボタンＢ２とがほぼ横並びに写る画像となる。また、このとき、横並びに並んだボタンＢ１とボタンＢ２のそれぞれの照明３に対する距離はほぼ同一となる。撮像画像Ｇは画像処理装置１０に入力され、Ａ／Ｄコンバータ１５によってデジタル画像データに変換されてＣＰＵ１１に入力される。なお、以後の工程においては当該デジタル画像データを「撮像画像Ｇ」と記載する。
なお、カメラ２の撮像範囲とボタンＢ１，Ｂ２との位置関係は、図４に示すように、ボタンＢ１とボタンＢ２との間に位置してカメラ２の撮像範囲を二分する中間線Ｐの位置がボタンＢ１とボタンＢ２とのほぼ中間位置となることが望ましい。また、ボタン撮像工程完了時にＣＰＵ１１は入力された撮像画像Ｇをモニタ４に出力してもよい。

（画質改善工程）
次に、ステップＳ２の画質改善工程について詳説する。画質改善工程では、ＣＰＵ１１はＡ／Ｄコンバータ１５から入力された撮像画像Ｇに対してノイズ除去処理（例えばフィルタ処理等）を行う。当該ノイズ除去処理の詳細は周知のノイズ除去処理と同様であるのでその詳細は省略する。ノイズ除去処理後、ＣＰＵ１１は当該デジタル画像データをＲＡＭ１３に格納する。

（表裏判定工程）
次に、ステップＳ３の表裏判定工程について詳説する。表裏判定工程は、撮像画像Ｇに写ったボタンＢ１を含む画像領域に基づくパターンマッチングをボタンＢ２が写った画像領域に対して行う。
図５はパターンマッチングの仕組みを示す説明図である。
パターンマッチングを行う場合、まずＣＰＵ１１は撮像画像Ｇに対してボタンＢ１を含む画像領域Ｐ１とボタンＢ２を含む画像領域Ｐ２とに分割する処理（画像分割）を行う。画像分割は、上述の中間線Ｐを境に撮像画像Ｇを二分することで行われる。
次に、ＣＰＵ１１は画像領域Ｐ１に対して輪郭検出処理を行ってボタンＢ１が写っている画像領域を割り出し、ボタンＢ１とその周囲を含むテンプレート画像領域Ｔ１を設定し、テンプレート画像領域Ｔ１内の画素数及び画素の明暗あるいは色分布に関する情報を取得してＲＡＭ１３に格納する処理（テンプレート画像領域取得）を行う。
次に、ＣＰＵ１１は画像領域Ｐ２に対して輪郭検出処理を行ってボタンＢ２が写っている画像領域を割り出し、ボタンＢ２とその周囲を含む判定画像領域Ｔ２を設定し、判定画像領域Ｔ２内の画素数及び画素の明暗あるいは色分布に関する情報を取得してＲＡＭ１３に格納する処理（判定画像領域取得）を行う。このとき、判定画像領域Ｔ２の縦横の画素数は少なくともテンプレート画像領域Ｔ１以上となるように設定する。

次に、ＣＰＵ１１はテンプレート画像領域Ｔ１と判定画像領域Ｔ２の画素の明暗あるいは色分布に関する情報から類似度の判定（パターンマッチング）を行う。この判定は、判定画像領域Ｔ２からテンプレート画像領域Ｔ１と同じ縦横の画素数の領域を逐次抜粋して判定する逐次処理により行う。
なお、「逐次処理」とは、まず判定対象となる画像領域（判定画像領域Ｔ２）の左上端から比較元となる画像領域（テンプレート画像領域Ｔ１）と同じ縦横の画素数となる画像領域の画素の明暗あるいは色分布に関する情報のみをテンプレート画像領域Ｔ１と比較判定して類似度を算出する。図５は、このようすをイメージで示しており、判定画像領域Ｔ２に破線で示すテンプレート画像領域Ｔ１を左上端が一致するように重ねた状態で、テンプレート画像領域Ｔ１と重なる位置の判定画像領域Ｔ２の画素の情報が各画素毎に全て比較される。次に、判定対象となる画像領域の右に１画素分ずれた位置から比較元となる画像領域と同じ縦横の画像領域について判定をし、その後さらに右に１画素分ずれた位置から…といったように、左上端から順に１画素づつずらして判定する。左右方向に比較元となる画像領域分の画素がなくなるほど右にずれた位置となった場合、次は下方向に１画素ずれた位置であってその左端の画素から比較元となる画像領域と同じ縦横の画像領域に対して行い、以後は右に１画素ずつずらしていく。つまり、判定対象となる画像領域内を比較元となる画像領域を順次ずらしながら重なる部分の類似度を算出する処理を行う。
上述のパターンマッチングにおいて、類似度が所定の閾値以上となった場合、ボタンＢ２はボタンＢ１と同種であると判定される。つまり、ボタンＢ２はボタンＢ１と同様に一方の面（例えば表面）が上向きとなっていると判定される。一方、類似度が所定の閾値未満となった場合、ボタンＢ２はボタンＢ１と異なると判定される。つまり、ボタンＢ２はボタンＢ１と異なり他方の面（例えば裏面）が上向きとなっていると判定される。あるいは、ボタン付けミシンのボタン保持部に逐次供給される複数のボタンの中にボタンＢ１と異なる種類のボタンが混入していた場合、当該異なる種類のボタンが撮像された場合にもやはり類似度が閾値未満となる可能性が高いので、ボタンＢ２はボタンＢ１と異なると判定される。なお、所定の閾値はＥＥＰＲＯＭ１４に記憶されている。

なお、パターンマッチングは、上述の逐次処理において類似度が所定の閾値以上となった時点でボタンＢ１とボタンＢ２とが同種であると判定してパターンマッチングを終了してもよいし、判定対象となる画像領域の左上端から右下端まで逐次処理を完了させて、その中で最大の類似度と所定の閾値とを比較してもよい。前者の場合、閾値が一定以上となった時点でパターンマッチングが終了するので比較的当該処理が早く終了できる。後者の場合、類似度と所定の閾値との比較処理が１回で済む。以下、図６及び図７を用いて上述の２通りの処理について詳説する。
まず、表裏判定工程において、パターンマッチングで類似度が所定の閾値以上となった時点で処理を終了する場合を示すフローチャートを図６に示す。まずＣＰＵ１１は上述の画像分割（ステップＳ１１）、テンプレート画像領域取得（ステップＳ１２）、判定画像領域取得（ステップＳ１３）を順次行い、その後判定対象となる画像領域Ｔ２の左上端の画素から順にテンプレート画像領域Ｔ１を重ねた状態で比較するパターンマッチングの逐次処理を行う（ステップＳ１４）。なお、ステップＳ１４における逐次処理は、逐次処理全体のうち判定画像領域Ｔ２内のある位置にテンプレート画像領域Ｔ１が重ねられた状態でのテンプレート画像領域Ｔ１の全画素分の比較処理１回の類似度算出処理を指す。次にＣＰＵ１１はステップＳ１４で得られた類似度が所定の閾値未満であるかどうか判定し（ステップＳ１５）、類似度が閾値未満でない場合即ち類似度が閾値以上となった場合（ステップＳ１５：ＮＯ）、ボタンＢ２はボタンＢ１と同種かつ同じ向きであると判定される（ステップＳ１６）。一方、ステップＳ１５で類似度が閾値未満だった場合（ステップＳ１５：ＹＥＳ）、ＣＰＵ１１は判定画像領域Ｔ２の右下端まで逐次処理が終了したか判定する（ステップＳ１７）。逐次処理が右下端まで終了した場合（ステップＳ１７：ＹＥＳ）、ボタンＢ２はボタンＢ１と異なる面が上向きあるいはボタンＢ１とは異なるボタンであると判定する（ステップＳ１８）。逐次処理が右下端まで終了していない場合（ステップＳ１７：ＮＯ）、ステップＳ１４に戻りテンプレート画像領域Ｔ１を次の位置にずらして逐次処理を実行する。

次に、最大の類似度と所定の閾値との比較を行う場合を示すフローチャートを図７に示す。なお、ステップＳ１１〜Ｓ１４は上述に示す処理と同様なので詳説を省略する。
ステップＳ１４の処理の後、ＣＰＵ１１はステップＳ１４で得られた類似度がそれまで現在の判定対称ボタンＢ２で得られた最大の類似度を越えるかどうか判定する（ステップＳ２１）。超えた場合（ステップＳ２１：ＹＥＳ）、ステップＳ１４で得られた類似度を現在のボタンＢ２における当該パターンマッチングの最大類似度としてＲＡＭ１３に格納し（ステップＳ２２）、判定画像領域Ｔ２の右下端まで逐次処理が終了したか判定する（ステップＳ２３）。一方、ステップＳ１４で得られた類似度がそれまでの最大の類似度を超えていなかった場合（ステップＳ２１：ＮＯ）、ステップＳ２３へと移行する。
ステップＳ２３において、逐次処理が右下端まで終了した場合（ステップＳ２３：ＹＥＳ）、ＣＰＵ１１はＲＡＭ１３に格納された当該パターンマッチングの最大類似度が所定の閾値未満かどうか判定する（ステップＳ２４）。類似度が閾値未満でない場合即ち類似度が閾値以上となった場合（ステップＳ２４：ＮＯ）、ボタンＢ２はボタンＢ１と同種かつ同じ向きであると判定される（ステップＳ２５）。一方、ステップＳ１５で類似度が閾値未満だった場合（ステップＳ２４：ＹＥＳ）、ボタンＢ２はボタンＢ１と異なる面が上向きあるいはボタンＢ１とは異なるボタンであると判定する（ステップＳ２６）。また、ステップＳ２３において逐次処理が右下端まで終了していない場合（ステップＳ２３：ＮＯ）、ステップＳ１４に戻る。

なお、パターンマッチングで類似度が所定の閾値以上となった時点で処理を終了するか、最大の類似度と所定の閾値とを比較するかの選択は、図示しない設定スイッチを操作することで選択可能となっている。
また、上述の判定画像領域取得（ステップＳ１３）を省略して画像領域Ｐ２全体に対してテンプレート画像領域Ｔ１によるパターンマッチングを行ってもよい。その場合、上述の図６及び図７を用いた説明における「判定画像領域Ｔ２」は「画像領域Ｐ２」と読み替える。

（結果通知工程）
次に、図３のステップＳ４に示す結果通知工程について詳説する。結果通知工程では、ＣＰＵ１１はボタンＢ２の表裏判定の結果をモニタ４に表示する。
なお、本実施の形態では結果通知をモニタ４による表示で行っているが、他の表示手段や報知手段によってもよい。例えば、ボタンＢ２がボタンＢ１と異なる面が上向きあるいはボタンＢ１とは異なるボタンであると判定された場合にはブザーを鳴らしてオペレータに知らせるようにしてもよい。

なお、表裏判定工程においてボタンＢ２がボタンＢ１と異なる面が上向きあるいはボタンＢ１とは異なるボタンであると判定された場合、ＣＰＵ１１はボタン搬送部の動作を停止させて当該ボタンＢ２がボタン付けミシンのボタン保持部に供給されないようにするための判定信号を出力してもよい。また、ボタンＢ２がボタンＢ１と異なる面が上向きあるいはボタンＢ１とは異なるボタンであると判定された場合に当該ボタンＢ２を自動的にふるい落としてボタン保持部に搬送させない構成を設け、ボタン保持部に供給されるボタンがボタンＢ１と同種かつ同種の向きであるボタンＢ２のみとなるように判定結果に基づく判定信号を出力してもよい。

（ボタン画像認識装置の動作）
ボタン画像認識装置１は、ボタンＢ２が一つずつ搬送されてボタンＢ１とほぼ横並びに位置し、かつボタンＢ１、Ｂ２が共にカメラ２の撮像範囲内となる度に上述の図３に示すステップＳ１〜Ｓ４の処理を行う。つまり、ステップＳ１のボタン撮像工程におけるボタンＢ１、Ｂ２の撮像はボタンＢ２が入れ替わる度に毎回行われる。従って、表又は裏の基準となるボタンＢ１を撮像する「第１の撮像工程」は、表裏を判定する対象となるボタンＢ２を撮像する「第２の撮像工程」が行われるのと同時に毎回行われる。
また、ステップＳ３の表裏判定処理は、上述の図５又は図７に示すフローチャートに従って、設定スイッチによって設定された側の処理が行われる。

（作用効果）
上述の実施の形態によれば、ボタン撮像工程にてボタンＢ１を撮像する「第１の撮像工程」とボタンＢ２を撮像する「第２の撮像工程」とを同時に行う。よって、表裏を判定したいボタンＢ２の判定元画像となるテンプレート画像領域Ｔ１に相当する画像があらかじめボタン画像認識装置１のＲＯＭ１２又はＥＥＰＲＯＭ１４に記憶されていなくてもよく、表裏を判定したいボタンＢ２の撮像と同様の要領でボタンＢ１の撮像を行えば事足りる。
また、第１の撮像工程は第２の撮像工程と同時に行うので、ボタンＢ１，Ｂ２に対する照明３の光の照射の具合をほぼ同様とすることで、テンプレート画像領域Ｔ１と判定画像領域Ｔ２又はボタンＢ２を含む画像領域Ｐ２の照明等の条件を同様にすることが可能となる。従って、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件が変化すると、同種かつ表裏が正しい向きのボタンであっても画像の近似の度合いが一定以上とならずにエラーとなることがあるといった従来の問題点を解消することができ、より好適にボタンの表裏判定を行える。

さらに、カメラ２による撮像時にはボタンＢ１とボタンＢ２とが並んで配置される位置関係のときに撮像する。よって、各ボタンの撮像時の照明３の光の照射の具合をほぼ同一とすることが可能となる。従って、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件が変化すると、同種かつ表裏が正しい向きのボタンであっても画像の近似の度合いが一定以上とならずにエラーとなることがあるといった従来の問題点を解消することができ、より好適にボタンの表裏判定を行える。
さらに、１台のカメラ２でボタンＢ１とボタンＢ２とを撮像するので、１台のカメラ２の動作制御によって第１の撮像工程と第２の撮像工程を同時に行える。従って、第１の撮像工程と第２の撮像工程とを個別に行う場合に比してその工程が短縮され、より円滑にボタンの表裏判定を行える。

さらに、ボタンＢ１の撮像は、ボタンＢ２が入れ替わる度に毎回行う。よって、各ボタンの照明条件等がほぼ同一となる。従って、判定元画像を撮像した際にボタンに照射されていた照明等の諸条件が変化すると、同種かつ表裏が正しい向きのボタンであっても画像の近似の度合いが一定以上とならずにエラーとなることがあるといった従来の問題点を解消することができ、より好適にボタンの表裏判定を行える。

（その他）
なお、上述の実施の形態におけるボタン画像認識装置１では、カメラ２はボタンＢ１，Ｂ２の両方を含む１枚の撮像画像Ｇを撮像するよう設けられているが、他の形態を取ってもよい。以下、図８及び図９を用いて他の形態の例について詳説する。
例えば、カメラを２つ設けてもよい。図８は２つのカメラ２Ａ，２Ｂを用いてボタンＢ１，Ｂ２を撮像する場合を示す説明図である。図８（ａ）はカメラ２Ａ，２ＢとボタンＢ１，Ｂ２の配置の関係を、図８（ｂ）はカメラ２Ａによる撮像画像Ｇ１を、図８（ｃ）はカメラ２Ｂによる撮像画像Ｇ２を示す。図８に示すように、２つのカメラ２Ａ，２Ｂを用いてボタンＢ１，Ｂ２を撮像する場合、カメラ２Ａでその撮像範囲にボタンＢ１を含む撮像画像Ｇ１を、カメラ２Ｂでその撮像範囲にボタンＢ２を含む撮像画像Ｇ２を撮像する。つまり、ボタンＢ１を撮像するカメラ２ＡとボタンＢ２を撮像するカメラ２Ｂとは異なるカメラとなる。この場合、ボタンＢ１とボタンＢ２を並べて配置しなくてもよくなり、ボタン画像認識装置の設計の自由度が高まる。なお、２つのカメラ２Ａ，２Ｂを用いる場合、カメラ２Ａの撮像画像Ｇ１の範囲からボタンＢ１を含むテンプレート画像領域Ｔ１を取得し、カメラ２Ｂの撮像画像Ｇ２の範囲又はカメラ２Ｂの撮像画像Ｇ２の範囲から取得されたボタンＢ２を含む判定画像領域Ｔ２に対してテンプレートマッチングを行う。この場合、上述の実施の形態の効果に加えて、一つのカメラ２で各ボタンを撮像する場合に比して、ボタンＢ１とボタンＢ２の配置関係の自由度が大幅に向上する。

また、ボタンＢ１，Ｂ２の側方にカメラ２を設けて撮像してもよい。図９はボタンＢ１，Ｂ２の側方にカメラ２を設けた場合を示す説明図である。図９（ａ）はカメラ２とボタンＢ１，Ｂ２の配置の関係を、図９（ｂ）はカメラ２による撮像画像Ｇ３を示す。図９（ａ）に示すように、ボタンＢ１，Ｂ２の側方にカメラを設けた場合、ボタンＢ１，Ｂ２は表又は裏面の面積よりもその側方の面積の方が小さいので、ボタンＢ１，Ｂ２を側方から撮像することで、上方から撮像する場合に比してテンプレート画像領域Ｔ１及び判定画像領域Ｔ２の画素数を小さくすることが可能となる。よって、テンプレートマッチングに要する時間を短縮でき、より好適にボタンの表裏判定を行える。
なお、２つのカメラ２Ａ，２Ｂを用いてその一方がボタンＢ１を，他方がボタンＢ２を側方から撮像するようにしてもよい。この場合、さらに上述の異なるカメラを用いてボタンＢ１，Ｂ２を撮像する場合の効果も得られる。

また、カメラ２の撮像範囲にひとつのボタンが収まる配置としてもよい。この場合、逐次供給されるボタンＢ２がカメラ２によって撮像されることとなる。ただし、最初の１回目の画像撮像時にはボタン搬送部に手動でボタンＢ１を所定位置に置き、ボタンＢ１をカメラ２で撮像するようにする。このとき、ボタンＢ１は一方の面（例えば表面）を上向きにする。ボタンＢ１は逐次搬送されるボタンＢ２と同種であり、かつ、一方の面が上向きであるので、そのままボタン付けミシンのボタン保持部に供給してしまってもよいし、撮像後に取り除いてもよい。ＣＰＵ１１は、ボタンＢ１の撮像画像からボタンＢ１を含むテンプレート画像領域Ｔ１を取得し、ＲＡＭ１３に格納する。
その後、ボタンＢ２が逐次供給されるが、カメラ２はまずボタンＢ１の撮像後最初にボ撮像範囲に入ったボタンＢ２を撮像する。その後、ＣＰＵ１１は、ＲＡＭ１３に格納されたテンプレート画像領域Ｔ１によって、ボタンＢ２の撮像画像又はボタンＢ２の撮像画像の範囲から取得されたボタンＢ２を含む判定画像領域Ｔ２に対してテンプレートマッチングを行う。その結果、類似度が所定の閾値以上となってボタンＢ２がボタンＢ１と同種、かつ、ボタンＢ２の向きがボタンＢ１と同一であった場合には、ＣＰＵ１１は当該ボタンＢ２の判定画像領域Ｔ２をＲＡＭ１３に格納して、その次に撮像されるボタンＢ２に対するテンプレート画像領域Ｔ１として用いる。つまり、ボタンＢ１を撮像した「第１の撮像工程」で得られた撮像画像からのテンプレート画像領域Ｔ１と、ボタンＢ２を撮像した「第２の撮像工程」で得られた撮像画像又はボタンＢ２の撮像画像の範囲から取得されたボタンＢ２を含む判定画像領域Ｔ２とが所定以上近似していた場合、当該第２の撮像工程で得られた撮像画像を次の第１の撮像工程の撮像画像とする。このとき、テンプレート画像領域Ｔ１とボタンＢ２の撮像領域全体とのパターンマッチングを行っていた場合は、ボタンＢ２の画像領域に対して輪郭検出処理等を行ってボタンＢ２の撮像領域からテンプレート画像領域Ｔ１として用いるための画像領域決定処理を行う必要がある。また、ボタンＢ２が所定以上近似していなかった場合は、その時の第１の撮像工程の撮像画像によるテンプレート画像領域Ｔ１を次のボタンＢ２の表裏判定に引き続き用いる。

この場合、一度ボタンＢ２の表裏判定が始まれば以降はボタンＢ２の撮像のみを行えばよい。従って、毎回ボタンＢ１の撮像も行う場合に比してカメラ２の撮像範囲が小さくてもよいので、テンプレートマッチングにおける各種画像処理の負荷が軽減される。よって、より円滑にボタンの表裏判定を行える。
加えて、ボタンＢ１を配置するためのスペースが必要なく、ボタン画像認識装置１をコンパクトにできる。
なお、カメラ２は、各ボタンの上方から撮像する配置でもよいし、側方から撮像する配置でもよい。

また、テンプレート画像領域Ｔ１はボタンＢ１の一部であってもよいし、テンプレート画像領域Ｔ１にあらかじめ加工を加えてもよい。図１０はテンプレート画像領域Ｔ１の他の実施例を示す説明図である。図１０（ａ）はボタン穴を除いた領域を用いる例、図１０（ｂ）はボタンＢ１の一部を用いる例、図１０（ｃ）はボタンＢ１のボタン穴を画像加工により塞いだ例を示す。
例えば、図１０（ａ）に示すように、ボタンＢ２の回転によりボタンの位置関係が変化し、撮像画像に写るボタンの視覚的特徴が変わりうる画像領域Ｔ３を除いた範囲をテンプレート画像領域Ｔ１としてもよい。また、図１０（ｂ）に示すように、ボタンＢ１の一部をテンプレート画像領域Ｔ１としてもよい。また、図１０（ｃ）に示すように、テンプレート画像領域Ｔ１内の画像領域Ｔ３の画素を当該ボタン穴の周囲のボタンＢ１の画素の明暗あるいは色分布と同様の画素に置き換えることでボタン穴を塞いでしまってもよい。なお、ボタンＢ１の一部をテンプレート画像領域Ｔ１とする場合、当該テンプレート領域にボタンＢ１、Ｂ２の表裏が識別可能な視覚的特徴を有する部分（例えば凹部Ｃによる段差のコントラストＣ１）が含まれている必要がある。
これによって、例えば図１０（ａ）、（ｂ）に示す範囲をテンプレート画像領域Ｔ１とした場合は、ボタンＢ１全体をテンプレート画像領域Ｔ１に含める場合に比して画素数を小さくすることが可能となる。よって、テンプレートマッチングに要する負荷を軽減すると共にその処理時間を短縮でき、より好適にボタンの表裏判定を行える。
また、ボタンＢ１とボタンＢ２との間でボタン穴の位置関係に差異があった場合、表裏判定のテンプレートマッチングにおいてボタン穴の位置関係の差異によって類似度が所定の閾値以上とならずに異なる面（あるいは異なるボタン）と判定されてしまう可能性がある。そこで、図１０（ａ）〜（ｃ）に示すテンプレート画像領域Ｔ１を用いることで、ボタン穴の位置関係の差異によるテンプレートマッチングの類似度の低減を防止することが可能となる。よって、より好適にボタンの表裏判定を行える。

また、ボタンＢ１，Ｂ２は上述の実施の形態に示す形状に限らないことは言うまでもない。ただし、カメラによる撮像をボタンの一方の面に対して行う場合はボタンの表裏が視覚的に識別可能である必要がある。また、カメラによる撮像をボタンの側方から行う場合はボタンを側方から見た場合に表裏が識別可能である必要がある。
また、過去に撮像された撮像画像のテンプレート画像領域Ｔ１をＥＥＰＲＯＭ１４に記憶しておき、その都度撮像されるテンプレート画像領域Ｔ１と平均化する処理を行ってその平均化後の画像と表裏を判定する対象となるボタンＢ２を含む判定画像領域Ｔ２とのパターンマッチングを行うようにしてもよい。また、平均化を行わずとも、その都度撮像されるボタンＢ１のテンプレート画像領域Ｔ１とボタンＢ２を含む判定画像領域Ｔ２とのパターンマッチングに加えて過去のテンプレート画像領域Ｔ１とボタンＢ２を含む判定画像領域Ｔ２とのパターンマッチングをさらに行うようにしてもよい。
また、本発明によるボタンの表裏判定方法を実施可能な構成であれば、当該方法を実施するための構成は上述の実施の形態に限定されないことは言うまでもない。例えば、カメラ２による各ボタンの撮像とＡ／Ｄコンバータ１５による撮像画像のアナログ／デジタル変換はイメージセンサ（例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等）によるデジタル画像イメージの取得に置き換えてもよい。

本発明によるボタンの表裏判定方法で用いるボタン画像認識装置の主要構成を示すブロック図である。 ボタンの表面及び裏面を示す説明図である。図２（ａ）はボタンＢ１の表面を、図２（ｂ）はボタンの裏面を示す。 ボタン画像認識装置の動作を示すフローチャートである。 カメラによるボタン、の撮像画像を示す説明図である。 パターンマッチングの仕組みを示す説明図である。 パターンマッチングで類似度が所定の閾値以上となった時点で処理を終了する場合を示すフローチャートである。 最大の類似度と所定の閾値との比較を行う場合を示すフローチャートである。 ２つのカメラを用いてボタンを撮像する場合を示す説明図である。図８（ａ）はカメラとボタンの配置の関係を、図８（ｂ）はカメラ２Ａによる撮像画像Ｇ１を、図８（ｃ）はカメラ２Ｂによる撮像画像Ｇ２を示す。 ボタンの側方にカメラを設けた場合を示す説明図である。図９（ａ）はカメラとボタンの配置の関係を、図９（ｂ）はカメラによる撮像画像を示す。 テンプレート画像領域の他の実施例を示す説明図である。図１０（ａ）はボタン穴を除いた領域を用いる例、図１０（ｂ）はボタンの一部を用いる例、図１０（ｃ）はボタンのボタン穴を画像加工により塞いだ例を示す。

符号の説明

２ カメラ
１０ 画像処理装置
１１ ＣＰＵ
１４ ＥＥＰＲＯＭ
Ｂ１，Ｂ２ ボタン

Claims (7)

1. カメラでボタンを撮像し、その撮像画像からボタンの表裏を判定するボタンの表裏判定方法において、
   表又は裏の基準となるボタンを前記カメラで撮像する第１の撮像工程と、
   表裏を判定する対象となるボタンを撮像する第２の撮像工程と、
   前記第１の撮像工程で得られた撮像画像と前記第２の撮像工程で得られた撮像画像とから前記第２の撮像画像に写ったボタンの表裏を判定する判定工程と、を有し、
   前記第１の撮像工程は、前記第２の撮像工程と同時又は前記第２の撮像工程の直前に行うことを特徴とするボタンの表裏判定方法。
2. 前記第１の撮像工程は、前記第２の撮像工程を行うのと同時又は前記第２の撮像工程を行う直前に毎回行うことを特徴とする請求項１に記載のボタンの表裏判定方法。
3. 表又は裏の基準となるボタンと表裏を判定する対象となるボタンとを並べて配置し、ひとつのカメラで当該表又は裏の基準となるボタンと表裏を判定する対象となるボタンを同時に撮像することを特徴とする請求項１又は２に記載のボタンの表裏判定方法。
4. 前記第１の撮像工程と前記第２の撮像工程は、異なるカメラによって行われることを特徴とする請求項１又は２に記載のボタンの表裏判定方法。
5. 前記第１の撮像工程で得られた撮像画像と前記第２の撮像工程で得られた撮像画像とが所定以上近似していた場合、当該第２の撮像工程で得られた撮像画像を次の第１の撮像工程の撮像画像とすることを特徴とする請求項１に記載のボタンの表裏判定方法。
6. 前記第１の撮像工程及び前記第２の撮像工程は、前記ボタンを側方から撮像することを特徴とする請求項1から５のいずれか一項に記載のボタンの表裏判定方法。
7. 前記第１の撮像工程で得られた撮像画像の一部又は一部を加工した画像を用いてボタンの表裏の判定を行うことを特徴とする請求項１から６のいずれか一項に記載のボタンの表裏判定方法。

Images