JP6723391B2 - 部品実装機及び生産ジョブ作成方法 - Google Patents

部品実装機及び生産ジョブ作成方法 Download PDF

Info

Publication number
JP6723391B2
JP6723391B2 JP2018566679A JP2018566679A JP6723391B2 JP 6723391 B2 JP6723391 B2 JP 6723391B2 JP 2018566679 A JP2018566679 A JP 2018566679A JP 2018566679 A JP2018566679 A JP 2018566679A JP 6723391 B2 JP6723391 B2 JP 6723391B2
Authority
JP
Japan
Prior art keywords
lighting
illumination
attachment
image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018566679A
Other languages
English (en)
Other versions
JPWO2018146734A1 (ja
Inventor
一也 小谷
一也 小谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2018146734A1 publication Critical patent/JPWO2018146734A1/ja
Application granted granted Critical
Publication of JP6723391B2 publication Critical patent/JP6723391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Exposure Control For Cameras (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本明細書は、部品実装基板の生産又はそれに関連する作業を行う装置に搭載されたカメラで撮像する撮像対象物を照明する照明装置に着脱可能に装着される照明装置用の照明条件変更アタッチメントを備えた部品実装機及び生産ジョブ作成方法に関する技術を開示したものである。
例えば、回路基板に部品を実装する部品実装機は、吸着ノズルに吸着した部品をその下方から照明装置で照明してカメラで撮像し、その画像を処理して当該部品の吸着位置ずれ等を計測し、その部品の吸着位置ずれ等を補正して回路基板に実装するようにしている。一般に、部品実装機の吸着ノズルに吸着した部品をその下方から照明する照明装置は、特許文献1(特開2015−106603号公報)に記載されているように、カメラの光軸と同じ方向から照明する同軸落射照明装置と、カメラの光軸の周囲を取り囲むように配置された光源によって部品の下面を斜め方向から照明する照明装置とを組み合わせて構成され、更に、照明装置は、上段、中段、下段の3段の光源から構成され、各段の光源の点灯/消灯の組み合わせパターンである点灯パターンを、撮像する部品の種類(サイズ、形状等)に応じて切り換えるようにしたものがある。
また、特許文献2(特開2001−94299号公報)に記載された部品実装機では、照明装置の各段の光源から照射される照明光が本来の照明対象部位以外の部位に照射されることを防止する手段として、光源と撮像対象物(照明対象物)との中間に遮光板を設けた構成となっている。
特開2015−106603号公報 特開2001−94299号公報
照明装置は、撮像対象物に対して斜め方向から照明光を照射するため、撮像対象物の凹凸による陰影ができて、その凹凸の形状を画像認識しやすくなるという特長がある。適正な照明を実現するには、撮像対象物の凹凸形状や、撮像対象物と光源との間の距離に応じて照明の角度等の照明条件を変更することが望ましい。
従来の照明装置でも、点灯パターン(照明の角度)等の照明条件を変更する機能が設けられているが、変更可能な照明条件のバリエーションが少なく、汎用性に乏しい。また、照明装置によって照明する撮像対象物には、様々な形状のものがあり、既設の照明装置では想定されていなかった新しい形状のものを照明する場合もある。更に、例えば、部品実装機においては、実装ヘッドを交換することで、実装ヘッドの吸着ノズルに吸着した部品(撮像対象物)と光源との間の距離が変化する場合もある。
これらの場合、既設の照明装置で変更可能な照明条件の範囲内では、適正な照明を実現できない場合があり、画像認識精度が低下する可能性がある。この対策として、撮像対象物の形状や、撮像対象物と光源との間の距離の変化に応じて、照明装置を設計変更して既設の照明装置と取り替えることは、コスト的に大きな負担となり、得策ではない。
上記課題を解決するために、部品実装基板の生産又はそれに関連する作業を行う装置に搭載されたカメラで撮像する撮像対象物を照明する照明装置に着脱可能に装着される照明装置用の照明条件変更アタッチメントであって、前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物に対する照明条件を変更する、照明装置用の照明条件変更アタッチメントと、
撮像対象物を撮像するカメラと、
前記撮像対象物を照明する照明装置と、
前記カメラで撮像した画像を処理して前記撮像対象物を認識する画像処理装置と、
前記カメラ、前記照明装置及び前記画像処理装置の動作を制御する制御装置と、を備えた部品実装機において、
前記照明装置用の照明条件変更アタッチメントが前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着される、部品実装機であって、
前記制御装置が実行する生産ジョブに、少なくとも前記照明条件変更アタッチメントの装着の有無を指定する情報が設定される。
このようにすれば、部品実装機の既設の照明装置で新しい形状の撮像対象物を照明する場合や、撮像対象物と光源との間の距離が変化する場合等で、既設の照明装置で変更可能な照明条件の範囲内では適正な照明を実現できない場合でも、既設の照明装置の光源に照明条件変更アタッチメントを着脱可能に装着するだけで、簡単に適正な照明を実現することができる。この場合、撮像対象物の形状や、撮像対象物と光源との間の距離の変化に応じて、照明条件変更アタッチメントを設計変更するだけで済み、既設の照明装置を取り替えずにそのまま使用できるため、照明装置の照明条件変更のためのコストが安く済むと共に、既設の照明装置の汎用性を高めることができる。
図1は一実施例におけるカメラユニットの構造を示す縦断側面図である。 図2は照明条件変更アタッチメントを装着した側射照明装置の拡大縦断側面図である。 図3は照明条件変更アタッチメントを装着した側射照明装置の拡大平面図である。 図4は他の照明条件変更アタッチメントを装着した側射照明装置の拡大縦断側面図である。 図5はカメラユニットの制御系の構成を示すブロック図である。
以下、部品実装機に適用して具体化した一実施例を説明する。
まず、図1を用いてカメラユニット11の構成を説明する。
カメラユニット11は、図示はしないが、部品実装機に上向きに取り付けられ、部品実装機の吸着ノズルに吸着した部品(撮像対象物)をその下方から同軸落射照明装置12と側射照明装置13によって照明してカメラ14で撮像する。カメラ14は、例えば、グレースケール画像(モノクロ画像)又はカラー画像を撮像する撮像素子を用いて構成されている。
このカメラ14の上方には、レンズユニット15が取り付けられ、このレンズユニット15の上方に同軸落射照明装置12が取り付けられ、この同軸落射照明装置12の上方に側射照明装置13が取り付けられている。図示はしないが、同軸落射照明装置12は、その側方から中心側に向けて光を水平方向に放射するLED等の発光源と、その発光源の光を上方の撮像対象物に向けて直角に反射するハーフミラー等を備えた構成となっている。
一方、図2及び図3に示すように、側射照明装置13は、例えば、上段、中段、下段の3段の側射光源21,22,23を椀状又は多角錐台状に配置した構成となっている。各段の側射光源21,22,23は、例えば、多数のLEDを実装した複数枚のLED実装基板を八角形等の多角形の環状に組み付けて構成され、各段の側射光源21,22,23の照明光がカメラ14の光軸上に位置する撮像対象物に対して斜め方向から照射されるように、撮像対象物に対する各段の側射光源21,22,23の側射照明の角度が設定されている。
この側射照明装置13の各段の側射光源21,22,23は、点灯/消灯を個別に切り換え可能に構成され、部品実装機の制御装置24(図5参照)によって、側射照明装置13の各段の側射光源21,22,23の点灯/消灯の組み合わせパターンである点灯パターンを、撮像対象物である部品の種類(サイズ、形状等)に応じて切り換えるようになっている。部品実装機の制御装置24は、カメラ14で撮像した画像を処理して撮像対象物を認識する画像処理装置としても機能する。
例えば、BGA部品下面のバンプの配列パターンをカメラ14で撮像する場合に、側射照明装置13の側射照明によってバンプのみを際立たせて撮像したい場合があるが、近年のBGA部品の小型化によってバンプのサイズが微小になると、BGA部品下面の配線パターンがバンプの画像に映り込んでしまい、バンプを正確に認識できない場合がある。この原因は、バンプのサイズが微小になると、BGA部品下面のバンプと配線パターンとの高低差が微小になって、側射照明装置13の側射照明の角度が微小なバンプの撮像に合わなくなってくるためと思われる。
また、部品実装機の実装ヘッドを交換することで、その実装ヘッドの吸着ノズルに吸着した部品(撮像対象物)と側射光源21,22,23との間の距離が変化する場合もある。この場合も、既設の側射照明装置13で変更可能な点灯パターンの範囲内では、適正な側射照明を実現できない場合があり、画像認識精度が低下する可能性がある。
この対策として、撮像対象物となる部品の形状や、部品と側射光源21,22,23との間の距離の変化に応じて、側射照明装置を設計変更して既設の側射照明装置13と取り替えることは、コスト的に大きな負担となり、得策ではない。
そこで、本実施例では、図2及び図3に示すように、側射照明装置13の上段の側射光源21の下側半分を覆うように着脱可能に装着する照明条件変更アタッチメント26を用意し、既設の側射照明装置13のみでは適正な側射照明を実現できない場合に、照明条件変更アタッチメント26を上段の側射光源21の下側半分を覆うように装着することで、点灯パターンを細分化するようにしている。この場合、照明条件変更アタッチメント26の装着状態を保持する手段は、係合手段、ねじ止め、貼着(粘着)等のいずれであっても良く、また、照明条件変更アタッチメント26が側射照明装置13に安定して載置できる構造であれば、照明条件変更アタッチメント26を側射照明装置13に載置するだけであっても良く、要は、照明条件変更アタッチメント26が着脱可能であれば良い。
図1乃至図3に示す照明条件変更アタッチメント26は、遮光材料により形成されている。この照明条件変更アタッチメント26を例えば上段の側射光源21の下側半分を覆うように装着することで、当該上段の側射光源21の下側半分を遮光して、当該上段の側射光源21の上側半分の照明光のみによって撮像対象物を側射照明する(中段及び下段の側射光源22,23は点灯しない)。このようにすれば、上段の側射光源21全体の照明光によって撮像対象物を側射照明する場合と比較して、当該上段の側射光源21の上側半分のみの照明光によって撮像対象物を水平方向に近い斜め方向のみから側射照明することができる。これにより、撮像対象物であるBGA部品下面の微小なバンプを側射照明してカメラ14で撮像する場合に、BGA部品下面の配線パターンがバンプの画像に映り込むことを防止できて、微小なバンプを精度良く画像認識することができる。
遮光材料により形成した照明条件変更アタッチメント26を装着する位置やサイズ(遮光面積)を適宜変更したり、複数種類の照明条件変更アタッチメント26を用意しても良い。撮像対象物である部品の種類(サイズ、形状等)に応じて、複数種類の照明条件変更アタッチメント26を使い分けるようにすれば、点灯パターンをより細分化して、精度良く画像認識できる部品の種類をより増やすことができる。
また、側射照明装置13に着脱可能に装着する照明条件変更アタッチメントは、遮光材料により形成した照明条件変更アタッチメント26に限定されず、様々な種類のものが考えられる。例えば、図4に示す照明条件変更アタッチメント27は、光を拡散又は偏光或は減衰させる材料により形成され、3段の側射光源21,22,23全体を覆うように着脱可能に装着される。この場合、3段の側射光源21,22,23のうち、点灯しない段の側射光源は、照明条件変更アタッチメント27で覆っても、全く側射照明に影響しないため、点灯する段の側射光源のみを照明条件変更アタッチメント27で覆うようにしても良い。また、例えば、通常の照明光では不鮮明な画像になる撮像対象物であっても、光を拡散又は偏光或は減衰させる材料により形成した照明条件変更アタッチメント27を装着することで、画像の鮮明度を高めて撮像対象物を画像認識しやすくなる場合がある。
或は、照明条件変更アタッチメント27を、光を集束又は屈折させる材料により形成して、撮像対象物を側射照明する光の少なくとも一部を集束又は屈折させるようにしても良い。この場合も、3段の側射光源21,22,23全体を照明条件変更アタッチメント27で覆っても良いし、点灯する段の側射光源のみを照明条件変更アタッチメント27で覆うようにしても良い。また、例えば、撮像対象物と側射光源21,22,23との間の距離の変化に応じて、側射照明の角度を変化させるために、集光材料(レンズ)又は屈折材料により形成した照明条件変更アタッチメント27を着脱可能に装着するようにしても良い。
或は、照明条件変更アタッチメント27を、所定の色に着色された透明材料により形成して、撮像対象物を側射照明する光の少なくとも一部の色を変更するようにしても良い。この場合も、3段の側射光源21,22,23全体を照明条件変更アタッチメント27で覆っても良いし、点灯する段の側射光源のみを照明条件変更アタッチメント27で覆うようにしても良い。また、例えば、撮像対象物のうちの認識したい部分を際立たせて撮像したい場合には、その部分の色に対して補色となる色に着色された透明な照明条件変更アタッチメント27を装着するようにしても良い。
以上説明した照明条件変更アタッチメント26又は27を部品実装機の側射照明装置13に装着する場合には、部品実装機の制御装置24は、照明条件変更アタッチメント26又は27が側射照明装置13に装着された状態で、その側射照明装置13で撮像対象物となる基準治具(図示せず)を側射照明してカメラ14で撮像してその画像を処理して画像中の基準治具部分の輝度を測定して、その輝度が所定の基準輝度となるように側射照明の明るさ(照度)、点灯時間、カメラ14のシャッタ速度のうちの少なくとも1つを変更する。このようにすれば、照明条件変更アタッチメント26又は27を側射照明装置13に装着した場合でも、照明条件変更アタッチメント26,27を装着しない場合と同様の輝度の画像を取得して同様の画像認識精度を確保することができる。
尚、側射照明装置13の上方に基準治具を設置する作業は、作業者が手作業で基準治具を側射照明装置13上面のカバーガラス30上などに載置するようにしても良いし、部品実装機の吸着ノズル(図示せず)に基準治具を吸着して側射照明装置13の上方に移動させるようにしても良い。或は、吸着ノズルを保持する実装ヘッド(図示せず)の下面側に基準治具を設けて側射照明装置13の上方に移動させるようにしても良い。
ところで、照明条件変更アタッチメント26,27の装着は、作業者が手作業で行うため、生産開始前に、部品実装ラインを構成する複数台の部品実装機のうち、照明条件変更アタッチメント26又は27の装着が必要な部品実装機を把握して、当該部品実装機の側射照明装置13に照明条件変更アタッチメント26又は27が装着されていることを作業者が目視で確認してから生産を開始するようにしている。しかし、目視確認だけでは、作業者が照明条件変更アタッチメント26又は27の装着の有無を見間違える可能性がある。
もし、照明条件変更アタッチメント26又は27の装着の有りで決定した撮像条件に対して、照明条件変更アタッチメント26又は27が装着されていないと、カメラ14で撮像した画像が想定以上に明るくなり、画像認識精度が低下して撮像対象物である部品を誤認識したり、画像処理エラーが発生して当該部品を廃棄することになる可能性がある。反対に、照明条件変更アタッチメント26又は27の装着の無しで決定した撮像条件に対して、照明条件変更アタッチメント26又は27が装着されていると、撮像した画像が想定以上に暗くなるため、同様に、部品の誤認識や画像処理エラーが発生する可能性がある。
そこで、本実施例では、生産開始前に各部品実装機の制御装置24によって各部品実装機の側射照明装置13に対する照明条件変更アタッチメント26又は27の装着の有無を自動的に確認するようにしている。以下、遮光材料により形成された照明条件変更アタッチメント26の装着の有無を自動的に確認する方法を説明する。
(1)部品を画像認識する際に使用する画像処理用部品データには、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データか、前記照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データかを区別する照明条件情報を含ませる。
(2)生産ジョブの作成時の最適化処理で、部品実装ラインを構成する複数台の部品実装機のうち、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データを使用する部品実装機(つまり照明条件変更アタッチメント26を装着する部品実装機)を決定して、当該部品実装機の制御装置24が実行する生産ジョブには、前記照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データを使用して画像認識する部品を、当該画像処理用部品データの照明条件情報に基づいて割り付ける。この際、照明条件変更アタッチメント26を装着する部品実装機の台数は、作業者が最適化処理前に指定しても良いし、最適化処理結果を用いて最適台数を算出しても良い。
(3)照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データを使用する部品実装機(つまり照明条件変更アタッチメント26を装着しない部品実装機)の制御装置24が実行する生産ジョブには、前記照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データを使用して画像認識する部品を、当該画像処理用部品データの照明条件情報に基づいて割り付ける。
尚、照明条件変更アタッチメント26を装着した部品実装機の台数や、照明条件変更アタッチメント26を装着しない部品実装機の台数、或は、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データを使用して画像認識する部品の数や、照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データを使用して画像認識する部品の数によっては、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データを使用して画像認識する部品と、照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データを使用して画像認識する部品の両方が混在して同じ部品実装機に割り付けられる場合がある。
(4)各部品実装機の側射照明装置13の上方に基準治具を設置する。この際、作業者が手作業で基準治具を側射照明装置13上面のカバーガラス30上などに載置するようにしても良いし、部品実装機の吸着ノズルに基準治具を吸着して側射照明装置13の上方に移動させるようにしても良い。或は、吸着ノズルを保持する実装ヘッドの下面側に基準治具を設けて側射照明装置13の上方に移動させるようにしても良い。
(5)各部品実装機の制御装置24は、側射照明装置13を点灯させて撮像対象物となる基準治具を側射照明してカメラ14で撮像してその画像を処理して画像中の基準治具部分の輝度を測定して、その輝度に基づいて照明条件変更アタッチメント26の装着の有無を判定する。この判定に用いる輝度判定値は、側射照明装置13の点灯パターン毎に、照明条件変更アタッチメント26の装着の有無の2種類の設計値を用い、これらを輝度測定値と比較して照明条件変更アタッチメント26の装着の有無を判定する。
(6)照明条件変更アタッチメント26の装着の有無の判定結果が生産ジョブの指定と一致するか否かを判定し、前記照明条件変更アタッチメント26の装着の有無が生産ジョブの指定と異なる場合には、その旨を作業者に通知する処理を実行する。例えば、生産ジョブの指定が「照明条件変更アタッチメント26の装着有り」であるのに、輝度判定により照明条件変更アタッチメント26の装着無しと判定された場合には、照明条件変更アタッチメント26を装着するように作業者に通知する。また、生産ジョブの指定が「照明条件変更アタッチメント26の装着無し」であるのに、照明条件変更アタッチメント26の装着有りと判定された場合には、側射照明装置13から照明条件変更アタッチメント26を取り外すように作業者に通知する。
尚、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データを使用して画像認識する部品と、照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データを使用して画像認識する部品の両方が混在して同じ部品実装機に割り付けられている場合には、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データが1つ以上あり、且つ、輝度判定により照明条件変更アタッチメント26の装着無しと判定された場合には、照明条件変更アタッチメント26を装着するように作業者に通知する。また、照明条件変更アタッチメント26を装着した状態で作成された画像処理用部品データが1つも無く、且つ、輝度判定により照明条件変更アタッチメント26の装着有りと判定された場合には、側射照明装置13から照明条件変更アタッチメント26を取り外すように作業者に通知する。照明条件変更アタッチメント26を取り外すことで、側射照明が明るくなり、その分、カメラ14のシャッタ速度を速くしてサイクルタイムの遅延を排除できる。
(7)照明条件変更アタッチメント26を装着しない状態で作成された画像処理用部品データを使用して画像認識する部品が、照明条件変更アタッチメント26を装着した部品実装機に割り付けられ、且つ、照明条件変更アタッチメント26を装着した部位の点灯パターンを使用する場合には、撮像時に同等の光量が得られるように、予め用意された計算式に基づいて点灯時間を延長してカメラ14のシャッタ速度を遅くして、遮光分の照明光量を補完する。この延長時間分は、上記(2)の生産ジョブの作成時の最適化処理で考慮済みとする。
尚、上記(1)〜(7)は、遮光材料により形成された照明条件変更アタッチメント26の装着の有無を自動的に確認する方法であるが、前述した光の拡散、偏光、減衰、集束、屈折、着色等の光学的特性の材料で形成した照明条件変更アタッチメント27についても、同様の方法で、装着の有無を自動的に確認することも可能である。
以上説明した本実施例によれば、側射照明装置13の側射光源21,22,23の少なくとも一部を覆うように照明条件変更アタッチメント26又は27を着脱可能に装着することで、撮像対象物に対する照明条件を変更することができるため、新しい形状の撮像対象物を側射照明する場合や、撮像対象物と側射光源21,22,23との間の距離が変化する場合等で、既設の側射照明装置13で変更可能な照明条件の範囲内では適正な側射照明を実現できない場合でも、既設の側射照明装置13の側射光源21,22,23に照明条件変更アタッチメント26又は27を着脱可能に装着するだけで、簡単に適正な側射照明を実現することができる。この場合、撮像対象物の形状や、撮像対象物と側射光源21,22,23との間の距離の変化に応じて、照明条件変更アタッチメント26又は27を設計変更するだけで済み、既設の側射照明装置13を取り替えずにそのまま使用できるため、側射照明装置13の照明条件変更のためのコストが安く済むと共に、既設の側射照明装置13の汎用性を高めることができる。
しかも、部品実装機の側射照明装置13に照明条件変更アタッチメント26又は27を装着する場合には、部品実装機の制御装置24は、照明条件変更アタッチメント26又は27が側射照明装置13に装着された状態で、前記側射照明装置13で撮像対象物となる基準治具を側射照明してカメラ14で撮像してその画像を処理して画像中の基準治具部分の輝度を測定して、その輝度が所定の基準輝度となるように側射照明の明るさ(照度)、点灯時間、カメラ14のシャッタ速度のうちの少なくとも1つを変更するようにしたので、照明条件変更アタッチメント26又は27を側射照明装置13に装着した場合でも、照明条件変更アタッチメント26,27を装着しない場合と同様の輝度の画像を取得して同様の画像認識精度を確保することができる。
また、部品実装機の制御装置24が実行する生産ジョブに、少なくとも照明条件変更アタッチメント26又は27の装着の有無を指定する情報を設定しておき、前記制御装置24は、生産開始前に前記側射照明装置13で撮像対象物となる基準治具を側射照明してカメラ14で撮像してその画像を処理して画像中の基準治具部分の輝度を測定して、その輝度に基づいて照明条件変更アタッチメント26又は27の装着の有無を判定して、その判定結果が前記生産ジョブの指定と一致するか否かを判定し、前記照明条件変更アタッチメント26又は27の装着の有無が前記生産ジョブの指定と異なる場合は、その旨を作業者に通知する処理を実行するようにしたので、部品実装機の制御装置24が照明条件変更アタッチメント26又は27の装着の有無を生産ジョブに基づいて自動的に判定して、その判定結果が生産ジョブの指定と異なる場合は、その間違いを作業者に通知して、照明条件変更アタッチメント26又は27の装着の有無を生産ジョブの指定と一致させるように促すことができる。これにより、照明条件変更アタッチメント26又は27の装着の有無が生産ジョブの指定と異なっている場合に、作業者がその間違いを知らずにそのまま生産を開始してしまうことを未然に防止できる。
また、撮像対象物となる部品を画像認識する際に使用する画像処理用部品データには、照明条件変更アタッチメント26又は27を装着した状態で作成された画像処理用部品データか、前記照明条件変更アタッチメント26又は27を装着しない状態で作成された画像処理用部品データかを区別する照明条件情報を含ませ、部品実装機の制御装置24は、生産開始前に側射照明装置13で撮像対象物となる基準治具を側射照明してカメラ14で撮像してその画像を処理して画像中の基準治具部分の輝度を測定して、その輝度に基づいて照明条件変更アタッチメント26又は27の装着の有無を判定して、その判定結果が当該部品実装機に割り付けられた前記画像処理用部品データの照明条件情報と一致するか否かを判定し、前記照明条件変更アタッチメント26又は27の装着の有無が前記画像処理用部品データの照明条件情報と異なる場合は、その旨を作業者に通知する処理を実行するようにしても良い。このようにすれば、部品実装機の制御装置14が照明条件変更アタッチメント26又は27の装着の有無を画像処理用部品データの照明条件情報に基づいて自動的に判定して、その判定結果が画像処理用部品データの照明条件情報と異なる場合は、その間違いを作業者に通知して、照明条件変更アタッチメント26又は27の装着の有無を画像処理用部品データの照明条件情報と一致させるように促すことができる。これにより、照明条件変更アタッチメント26又は27の装着の有無が画像処理用部品データの照明条件情報と異なっている場合に、作業者がその間違いを知らずにそのまま生産を開始してしまうことを未然に防止できる。
尚、側射照明装置13は、上段、中段、下段の3段に区分された側射光源21,22,23(光源エリア)を備えた構成に限定されず、2段又は4段以上に区分された側射光源(光源エリア)を備えた構成としたり、或は、側射照明装置の側射光源を複数段の光源エリアに区分せずに、側射照明時に常に全ての側射光源を点灯させるようにしても良い。
その他、本発明は、部品実装機に搭載した部品撮像用のカメラ14の側射照明装置13に照明条件変更アタッチメントを着脱可能に装着する構成に限定されず、回路基板の基準マーク等を上方から撮像するマーク撮像用カメラの側射照明装置に照明条件変更アタッチメントを着脱可能に装着する構成としても良く、また、部品実装機に限定されず、例えば、回路基板上の部品実装状態をカメラで撮像して外観検査する外観検査機や、事前に生産に使用する部品をカメラで撮像して画像処理用の部品形状データを作成する部品形状データ作成装置等、部品実装基板の生産に関連する作業を行う装置に搭載されたカメラの側射照明装置に適用して実施しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
尚、本実施形態では、側射照明に基づいて説明したが、同軸落射照明等にも利用できる。
また、照明条件変更アタッチメントは、様々な種類のものが考えられるが、例えば、照明条件変更アタッチメントを遮光材料により形成して、側射光源(又は同軸落射光源)の一部を覆うように着脱可能に装着することで、当該側射光源(又は同軸落射光源)の一部を遮光して撮像対象物を側射照明(又は同軸落射照明)する光源のエリアを変更するようにしても良い。照明条件変更アタッチメントの装着によって、側射照明(又は同軸落射照明)する光源のエリアを変更することで、撮像対象物に対する側射照明(又は同軸落射照明)の角度を変更することができる。
また、照明条件変更アタッチメントを、光を拡散又は偏光或は減衰させる材料により形成して、撮像対象物を側射照明(又は同軸落射照明)する光の少なくとも一部を拡散又は偏光或は減衰させるようにしても良い。例えば、通常の照明光では不鮮明な画像になる撮像対象物であっても、光を拡散又は偏光或は減衰させる材料により形成した照明条件変更アタッチメントを装着することで、画像の鮮明度を高めて撮像対象物を画像認識しやすくなる場合がある。
或は、照明条件変更アタッチメントを、光を集束又は屈折させる材料により形成して、撮像対象物を側射照明(又は同軸落射照明)する光の少なくとも一部を集束又は屈折させるようにしても良い。例えば、撮像対象物と側射光源(又は同軸落射光源)との間の距離の変化に応じて、側射照明(又は同軸落射照明)の角度を変化させるために、集光材料(レンズ)又は屈折材料により側射照明(又は同軸落射照明)の角度を変化させるように形成した照明条件変更アタッチメントを装着しても良い。
或は、照明条件変更アタッチメントを、所定の色に着色された透明材料により形成して、撮像対象物を側射照明(又は同軸落射照明)する光の少なくとも一部の色を変更するようにしても良い。例えば、撮像対象物のうちの認識したい部分を際立たせて撮像したい場合には、その部分の色に対して補色となる色に着色された透明な照明条件変更アタッチメントを装着するようにしても良い。
また、照明装置の側射光源(又は同軸落射光源)が、点灯/消灯を個別に切り換え可能な複数段の光源エリアに区分されて、点灯させる光源エリアと点灯させない光源エリアとの組み合わせパターンである点灯パターンを撮像対象物の種類に応じて変更可能に構成されている場合には、照明条件変更アタッチメントを、前記複数段の光源エリアのうちの点灯させる段の光源エリアを部分的に覆うように着脱可能に装着することで当該段の光源エリアの露出部分を縮小して前記点灯パターンを細分化するようにしても良い。
以上説明した照明装置用の照明条件変更アタッチメントを部品実装機の照明装置に装着する場合には、部品実装機の制御装置は、前記照明条件変更アタッチメントが前記照明装置に装着された状態で、前記照明装置で撮像対象物となる基準治具を照明してカメラで撮像してその画像を画像処理装置で処理して画像中の基準治具部分の輝度を測定して、その輝度が所定の基準輝度となるように照明の明るさ(照度)、点灯時間、カメラのシャッタ速度のうちの少なくとも1つを変更するようにしても良い。このようにすれば、照明条件変更アタッチメントを照明装置に装着した場合でも、照明条件変更アタッチメントを装着しない場合と同様の輝度の画像を取得して同様の画像認識精度を確保することができる。
また、部品実装機の制御装置が実行する生産ジョブ(生産プログラム)に、少なくとも前記照明条件変更アタッチメントの装着の有無を指定する情報を設定しておき、前記制御装置は、生産開始前に前記照明装置で前記撮像対象物となる基準治具を照明して前記カメラで撮像してその画像を前記画像処理装置で処理して前記画像中の基準治具部分の輝度を測定して、その輝度に基づいて前記照明条件変更アタッチメントの装着の有無を判定して、その判定結果が前記生産ジョブの指定と一致するか否かを判定し、前記照明条件変更アタッチメントの装着の有無が前記生産ジョブの指定と異なる場合には、その旨を作業者に通知する処理を実行するようにしても良い。このようにすれば、部品実装機の制御装置が照明条件変更アタッチメントの装着の有無を生産ジョブに基づいて自動的に判定して、その判定結果が生産ジョブの指定と異なる場合には、その間違いを作業者に通知して、照明条件変更アタッチメントの装着の有無を生産ジョブの指定と一致させるように促すことができる。これにより、照明条件変更アタッチメントの装着の有無が生産ジョブの指定と異なっている場合に、作業者がその間違いを知らずにそのまま生産を開始してしまうことを未然に防止できる。
また、部品実装機の画像処理装置が撮像対象物となる部品を画像認識する際に使用する画像処理用部品データには、前記照明条件変更アタッチメントを装着した状態で作成された画像処理用部品データか、前記照明条件変更アタッチメントを装着しない状態で作成された画像処理用部品データかを区別する照明条件情報を含ませ、部品実装機の制御装置は、生産開始前に照明装置で前記撮像対象物となる基準治具を照明して前記カメラで撮像してその画像を前記画像処理装置で処理して前記画像中の基準治具部分の輝度を測定して、その輝度に基づいて前記照明条件変更アタッチメントの装着の有無を判定して、その判定結果が当該部品実装機に割り付けられた前記画像処理用部品データの照明条件情報と一致するか否かを判定し、前記照明条件変更アタッチメントの装着の有無が前記画像処理用部品データの照明条件情報と異なる場合には、その旨を作業者に通知する処理を実行するようにしても良い。このようにすれば、部品実装機の制御装置が照明条件変更アタッチメントの装着の有無を画像処理用部品データの照明条件情報に基づいて自動的に判定して、その判定結果が画像処理用部品データの照明条件情報と異なる場合には、その間違いを作業者に通知して、照明条件変更アタッチメントの装着の有無を画像処理用部品データの照明条件情報と一致させるように促すことができる。これにより、照明条件変更アタッチメントの装着の有無が画像処理用部品データの照明条件情報と異なっている場合に、作業者がその間違いを知らずにそのまま生産を開始してしまうことを未然に防止できる。
また、部品実装機を複数台配列して構成した部品実装ラインの各部品実装機の制御装置が実行する生産ジョブを作成する場合には、前記各部品実装機の画像処理装置が前記撮像対象物となる部品を画像認識する際に使用する画像処理用部品データに、前記照明条件変更アタッチメントを装着した状態で作成された部品データか、前記照明条件変更アタッチメントを装着しない状態で作成された部品データかを区別する照明条件情報を含ませると共に、部品実装ラインを構成する複数台の部品実装機を、前記照明条件変更アタッチメントを装着する部品実装機と、前記照明条件変更アタッチメントを装着しない部品実装機とに分類し、更に、前記照明条件変更アタッチメントを装着する部品実装機の制御装置が実行する生産ジョブには、前記照明条件変更アタッチメントを装着した状態で作成された画像処理用部品データを使用して画像認識する部品を、前記画像処理用部品データの照明条件情報に基づいて割り付けると共に、前記照明条件変更アタッチメントの装着を指定する情報を設定し、一方、前記照明条件変更アタッチメントを装着しない部品実装機の制御装置が実行する生産ジョブには、前記照明条件変更アタッチメントを装着しない状態で作成された画像処理用部品データを使用して画像認識する部品を、前記画像処理用部品データの照明条件情報に基づいて割り付けると共に、前記照明条件変更アタッチメントを装着しないことを指定する情報を設定するようにすると良い。このようにすれば、部品実装ラインを構成する複数台の部品実装機のうちの一部の部品実装機に照明条件変更アタッチメントを装着する場合に、各部品実装機の制御装置が実行する生産ジョブを、照明条件変更アタッチメントの装着の有無に応じて適正に作成することができる。
11…カメラユニット、12…同軸落射照明装置、13…側射照明装置、14…カメラ、15…レンズユニット、21…上段の側射光源、22…中段の側射光源、23…下段の側射光源、24…制御装置(画像処理装置)、26,27…照明条件変更アタッチメント

Claims (10)

  1. 部品実装基板の生産又はそれに関連する作業を行う装置に搭載されたカメラで撮像する撮像対象物を照明する照明装置に着脱可能に装着される照明装置用の照明条件変更アタッチメントであって、前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物に対する照明条件を変更する、照明装置用の照明条件変更アタッチメントと、
    撮像対象物を撮像するカメラと、
    前記撮像対象物を照明する照明装置と、
    前記カメラで撮像した画像を処理して前記撮像対象物を認識する画像処理装置と、
    前記カメラ、前記照明装置及び前記画像処理装置の動作を制御する制御装置と、を備えた部品実装機において、
    前記照明装置用の照明条件変更アタッチメントが前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着される、部品実装機であって、
    前記制御装置が実行する生産ジョブに、少なくとも前記照明条件変更アタッチメントの装着の有無を指定する情報が設定される、部品実装機。
  2. 記制御装置は、生産開始前に前記照明装置で前記撮像対象物となる基準治具を照明して前記カメラで撮像してその画像を前記画像処理装置で処理して前記画像中の基準治具部分の輝度を測定して、その輝度に基づいて前記照明条件変更アタッチメントの装着の有無を判定して、その判定結果が前記生産ジョブの指定と一致するか否かを判定し、前記照明条件変更アタッチメントの装着の有無が前記生産ジョブの指定と異なる場合には、その旨を作業者に通知する処理を実行する、請求項に記載の部品実装機。
  3. 部品実装基板の生産又はそれに関連する作業を行う装置に搭載されたカメラで撮像する撮像対象物を照明する照明装置に着脱可能に装着される照明装置用の照明条件変更アタッチメントであって、前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物に対する照明条件を変更する、照明装置用の照明条件変更アタッチメントと、
    撮像対象物を撮像するカメラと、
    前記撮像対象物を照明する照明装置と、
    前記カメラで撮像した画像を処理して前記撮像対象物を認識する画像処理装置と、
    前記カメラ、前記照明装置及び前記画像処理装置の動作を制御する制御装置と、を備えた部品実装機において、
    前記照明装置用の照明条件変更アタッチメントが前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着される、部品実装機であって、
    前記画像処理装置が前記撮像対象物となる部品を画像認識する際に使用する画像処理用部品データには、前記照明条件変更アタッチメントを装着した状態で作成された画像処理用部品データか、前記照明条件変更アタッチメントを装着しない状態で作成された画像処理用部品データかを区別する照明条件情報が含まれ、
    前記制御装置は、生産開始前に前記照明装置で前記撮像対象物となる基準治具を照明して前記カメラで撮像してその画像を前記画像処理装置で処理して前記画像中の基準治具部分の輝度を測定して、その輝度に基づいて前記照明条件変更アタッチメントの装着の有無を判定して、その判定結果が当該部品実装機に割り付けられた前記画像処理用部品データの照明条件情報と一致するか否かを判定し、前記照明条件変更アタッチメントの装着の有無が前記画像処理用部品データの照明条件情報と異なる場合には、その旨を作業者に通知する処理を実行する、部品実装機。
  4. 部品実装基板の生産又はそれに関連する作業を行う装置に搭載されたカメラで撮像する撮像対象物を照明する照明装置に着脱可能に装着される照明装置用の照明条件変更アタッチメントであって、前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物に対する照明条件を変更する、照明装置用の照明条件変更アタッチメントと、
    撮像対象物を撮像するカメラと、
    前記撮像対象物を照明する照明装置と、
    前記カメラで撮像した画像を処理して前記撮像対象物を認識する画像処理装置と、
    前記カメラ、前記照明装置及び前記画像処理装置の動作を制御する制御装置と、
    を備え、
    前記照明装置用の照明条件変更アタッチメントが前記照明装置の光源の少なくとも一部を覆うように着脱可能に装着される部品実装機を複数台配列して構成した部品実装ラインの各部品実装機の制御装置が実行する生産ジョブを作成する生産ジョブ作成方法において、
    前記各部品実装機の画像処理装置が前記撮像対象物となる部品を画像認識する際に使用する画像処理用部品データに、前記照明条件変更アタッチメントを装着した状態で作成された部品データか、前記照明条件変更アタッチメントを装着しない状態で作成された部品データかを区別する照明条件情報を含ませ、
    前記部品実装ラインを構成する複数台の部品実装機を、前記照明条件変更アタッチメントを装着する部品実装機と、前記照明条件変更アタッチメントを装着しない部品実装機とに分類し、
    前記照明条件変更アタッチメントを装着する部品実装機の制御装置が実行する生産ジョブには、前記照明条件変更アタッチメントを装着した状態で作成された画像処理用部品データを使用して画像認識する部品を、前記画像処理用部品データの照明条件情報に基づいて割り付けると共に、前記照明条件変更アタッチメントの装着を指定する情報を設定し、
    前記照明条件変更アタッチメントを装着しない部品実装機の制御装置が実行する生産ジョブには、前記照明条件変更アタッチメントを装着しない状態で作成された画像処理用部品データを使用して画像認識する部品を、前記画像処理用部品データの照明条件情報に基づいて割り付けると共に、前記照明条件変更アタッチメントを装着しないことを指定する情報を設定する、生産ジョブ作成方法。
  5. 前記照明条件変更アタッチメントは、遮光材料により形成され、前記光源の一部を覆うように着脱可能に装着することで前記光源の一部を遮光して前記撮像対象物を照明する光源のエリアを変更する、請求項1乃至3のいずれかに記載の部品実装機
  6. 前記照明条件変更アタッチメントは、光を拡散又は偏光或は減衰させる材料により形成され、前記光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物を照明する光の少なくとも一部を拡散又は偏光或は減衰させる、請求項1乃至3のいずれかに記載の部品実装機
  7. 前記照明条件変更アタッチメントは、光を集束又は屈折させる材料により形成され、前記光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物を照明する光の少なくとも一部を集束又は屈折させる、請求項1乃至3のいずれかに記載の部品実装機
  8. 前記照明条件変更アタッチメントは、所定の色に着色された透明材料により形成され、前記光源の少なくとも一部を覆うように着脱可能に装着することで前記撮像対象物を照明する光の少なくとも一部の色を変更する、請求項1乃至3のいずれかに記載の部品実装機
  9. 前記照明装置の光源は、点灯/消灯を個別に切り換え可能な複数段の光源エリアに区分されて、点灯させる光源エリアと点灯させない光源エリアとの組み合わせパターンである点灯パターンを前記撮像対象物の種類に応じて変更可能であり、
    前記照明条件変更アタッチメントは、前記複数段の光源エリアのうちの点灯させる段の光源エリアを部分的に覆うように着脱可能に装着することで当該段の光源エリアの露出部分を縮小して前記点灯パターンを細分化する、請求項1乃至3のいずれかに記載の部品実装機
  10. 前記制御装置は、前記照明条件変更アタッチメントが前記照明装置に装着された状態で、前記照明装置で前記撮像対象物となる基準治具を照明して前記カメラで撮像してその画像を前記画像処理装置で処理して前記画像中の基準治具部分の輝度を測定して、その輝度が所定の基準輝度となるように照明の明るさ、点灯時間、前記カメラのシャッタ速度のうちの少なくとも1つを変更する、請求項1乃至3のいずれかに記載の部品実装機。
JP2018566679A 2017-02-07 2017-02-07 部品実装機及び生産ジョブ作成方法 Active JP6723391B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/004459 WO2018146734A1 (ja) 2017-02-07 2017-02-07 照明装置用の照明条件変更アタッチメント及び部品実装機並びに生産ジョブ作成方法

Publications (2)

Publication Number Publication Date
JPWO2018146734A1 JPWO2018146734A1 (ja) 2019-11-07
JP6723391B2 true JP6723391B2 (ja) 2020-07-15

Family

ID=63107309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566679A Active JP6723391B2 (ja) 2017-02-07 2017-02-07 部品実装機及び生産ジョブ作成方法

Country Status (2)

Country Link
JP (1) JP6723391B2 (ja)
WO (1) WO2018146734A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS556914U (ja) * 1978-06-28 1980-01-17
JP3806240B2 (ja) * 1998-02-09 2006-08-09 松下電器産業株式会社 照明装置及びその照度調整方法
JP2001133859A (ja) * 1999-11-01 2001-05-18 Fuji Photo Film Co Ltd ストロボ装置
JP2009020298A (ja) * 2007-07-11 2009-01-29 Nikon Corp 照明装置、照明装置に対する装着物、カメラ、照明システム、及び、カメラシステム

Also Published As

Publication number Publication date
WO2018146734A1 (ja) 2018-08-16
JPWO2018146734A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
KR101175595B1 (ko) 비접촉식 부품검사장치 및 부품검사방법
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
JP2001520392A (ja) 構成要素および/または基板の位置識別および/または品質検査のための装置における照明設定方法
JP2001255281A (ja) 検査装置
KR20090028505A (ko) 단부 검사 장치
JP2007103665A (ja) 実装基板の検査装置および印刷装置
JP6851095B2 (ja) ワイヤ形状検査装置およびワイヤ形状検査方法
JP5338772B2 (ja) 部品実装用装置および撮像用の照明装置ならびに照明方法
JP5903563B2 (ja) 部品実装装置
KR101079686B1 (ko) 영상인식장치 및 영상인식방법
CN112986282A (zh) 检查装置及检查方法
KR102240592B1 (ko) 표면 실장기, 부품 인식 장치, 부품 인식 방법
JP6723391B2 (ja) 部品実装機及び生産ジョブ作成方法
JP4351303B2 (ja) 電子部品の位置検出装置
KR101897043B1 (ko) 자동으로 조명 처리가 이루어지는 광학검사장치 및 이를 이용한 광학검사방법
KR20180087090A (ko) 검사 기준 화상을 통한 자동 조명 설정 방식의 머신 비전 시스템 및 동작 방법
JP7423797B2 (ja) 画像処理装置および実装装置、画像処理方法
JP6871953B2 (ja) 照明条件再現カメラスタンド及び生産ジョブの最適化方法
JP6339849B2 (ja) 検査装置
JP7562860B2 (ja) 部品実装機
JP6674880B2 (ja) 不良モード特定装置、部品実装機、不良モード特定方法
JP7271738B2 (ja) 撮像ユニット
WO2024121903A1 (ja) 画像処理装置
WO2024189728A1 (ja) 検査装置および検査システム
JP7212467B2 (ja) 部品実装装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R150 Certificate of patent or registration of utility model

Ref document number: 6723391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250