JP6676910B2 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP6676910B2
JP6676910B2 JP2015189302A JP2015189302A JP6676910B2 JP 6676910 B2 JP6676910 B2 JP 6676910B2 JP 2015189302 A JP2015189302 A JP 2015189302A JP 2015189302 A JP2015189302 A JP 2015189302A JP 6676910 B2 JP6676910 B2 JP 6676910B2
Authority
JP
Japan
Prior art keywords
groove
irradiation
light
inspection
irradiation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015189302A
Other languages
English (en)
Other versions
JP2017067459A (ja
Inventor
輝暁 櫻田
輝暁 櫻田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2015189302A priority Critical patent/JP6676910B2/ja
Publication of JP2017067459A publication Critical patent/JP2017067459A/ja
Application granted granted Critical
Publication of JP6676910B2 publication Critical patent/JP6676910B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、検査対象物に形成された溝の内面を検査する検査装置に関する。
従来から、検査対象物に形成された溝の内面を検査する検査装置が知られている。例えば、特許文献1は、スリット状の溝の上方から溝を撮像し、撮像した溝の内面の濃淡画像に基づいて、溝の内面を検査するスリット形状溝検査装置を開示する。
特開2001−317927号公報
(発明が解決しようとする課題)
しかし、特許文献1のスリット形状溝検査装置によれば、スリット状の溝の底面の撮像画像を得られるものの、側面においては表面の粗さの情報が得られるのみであり、側面の撮像画像を得ることができない。
したがって、このスリット形状溝検査装置は、溝の底面に形成された鋳巣のような深さのある欠陥を検出し、その検出結果に基づいて溝の底面を検査することができるが、側面に形成された深さのある欠陥を検出することができないため、溝の側面の欠陥の有無を検査することができない。
そこで、本発明は、検査対象のワークに形成された溝の底面及び側面の両方を同時に検査することができる検査装置を提供することを課題とする。
(課題を解決するための手段)
本発明の検査装置は、検査対象のワークに形成された溝の内面を検査する検査装置であって、溝の開口面に対面配置される対物レンズ(11)を備える。また、この対物レンズは、広角レンズである。
本発明において、「広角レンズ」は、画角が60°以上であるレンズを言う。従って、本発明に係る検査装置は、検査対象である溝の開口面に、画角が60°以上の対物レンズが対面配置するように構成される。また、本発明において、「溝の開口面に対面配置される対物レンズ」とは、溝の開口面の法線方向に対物レンズの光軸が一致するように、対物レンズが溝に対して配置されることを言う。
本発明に係る検査装置によれば、溝の開口面に対面配置された対物レンズを通じて溝の内面が視認される。また、対物レンズが画角の広い広角レンズであるため、溝の内面の広範囲を一度に見ることができる。よって、溝の底面及び側面の両方を同時に見ることができる。これにより、鋳巣のような深さのある欠陥が底面及び側面のどちらに形成されていても、その欠陥を検出することができる。すなわち、本発明によれば、溝の底面及び側面の両方を同時に検査することができる。
さらに、本発明の検査装置は、溝の内面を照射する照射装置(6)を備える。また、照射装置は、光の光芒の中心軸方向が溝の長手方向成分を持つように溝の内面に向かう光を放つ第一照射部(29,31)を含む。ここで、本発明に係る照射装置に関して言及している「溝の長手方向」とは、その照射装置が照射している領域における溝の延在方向を意味する。また、照射領域内で溝が湾曲しているような場合は、その湾曲部分の一部の接線方向を溝の長手方向とする。
この場合、第一照射部は、光の光芒の中心軸方向が溝の側面に向かう方向成分を持つように溝の内面に向かう光を放つと良い。さらに、第一照射部は、溝の内面に照射される光の照射領域が、溝をその幅方向に跨ぐように、溝の内面を照射するように構成されているとよい。さらにこの場合、第一照射部は、対物レンズを挟んで互いに対向配置した対の第一光源部(29,31)を備え、対の第一光源部は、対物レンズの光軸方向から見たときに互いに対向する方向に光を放つことにより、溝の内面であって対の第一光源部に囲まれた領域を照射するように構成されているとよい。すなわち、対の第一光源部は、対物レンズを挟んで互いに対向配置され、且つ、溝の内面であって、対物レンズに対向する部分を照射するように構成されているとよい。
本発明に係る検査装置によれば、照射装置は、溝の底面及び両側面に光を照射することができる。溝の底面及び両側面に光が照射されると、底面及び両側面の正常部は、底面や両側面に形成された鋳巣のような欠陥部よりも明るく見える。このため、正常部と欠陥部の明暗差が明確となり、欠陥の検出精度を向上させることができる、すなわち溝の内面の検査の精度を向上させることができる。
また、溝の形状が湾曲していない形状、すなわち溝が直線状である場合、第一照射部は、光の光芒の中心軸方向が溝の長手方向成分を持った光を溝の底面と側面に照射する。つまり、第一照射部は、照射光の進行方向が溝の長手方向成分を含むように、照射光を溝の内面に照射する。このような方向から光を溝の内面に照射することによって、検査面内の任意の位置における輝度のムラが抑制される。その結果、正常部であっても暗くなって正常部が欠陥であると判定される誤検出や、欠陥部が明るく見えることで欠陥部が欠陥として検出されない欠陥の見逃しを生じる可能性が低減する。よって、欠陥の検出精度を向上させることができる、すなわち溝の内面の検査の精度を向上させることができる。
さらに、本発明の照射装置は、光の光芒の中心軸方向が溝の長手方向に垂直な方向成分を持つように溝の内面に向かう光を放つ第二照射部(28,30)を含むとよい。この場合、第二照射部は、対物レンズを挟んで互いに対向配置した対の第二光源部(28,30)を備え、対の第二光源部は、対物レンズの光軸方向から見たときに互いに対向する方向に光を放つように構成されているとよい。そして対物レンズの光軸方向から見た場合における対の第二光源部の対向方向は、対の第一光源部の対向方向と直交する方向であると良い。
この場合、検査装置は、対物レンズが直線状の溝の開口面に対面配置しているときに、第一照射部のみが溝の内面を照射し、対物レンズが湾曲状の溝の開口面に対面配置しているときに、第一照射部及び第二照射部が溝の内面を照射するように、第一照射部と第二照射部との照射状態を制御する制御装置(8)を備えるのがよい。
本発明に係る検査装置によれば、第二照射部は、光の光芒の中心軸方向が溝の長手方向成分に垂直な方向成分を持った光を溝の底面及び側面に照射する。つまり、第二照射部は、照射光の進行方向が溝の長手方向に垂直な方向成分を含むように、照射光を溝の内面に照射する。これによれば、溝の形状が湾曲している形状、すなわちスリット状の溝が湾曲状である場合、第二照射部は、第一照射部で照射されにくい部分にも光を照射することができる。つまり、第一照射部で光を照射することができない溝の内面に、第二照射部から光を照射することができる。このため、湾曲状の溝の底面及び側面のどちらもムラなく光が照射され、検査面内の任意の位置における明るさのムラが抑制される。よって、欠陥の検出精度を向上させることができる、すなわち溝の内面の検査の精度を向上させることができる。
さらに、本発明の検査装置は、照射装置から放たれる光の光芒の指向角が6°以下であるとよい。また、照射装置から放たれる光の波長が620nm以上であるとよい。
本発明に係る検査装置によれば、照射装置から放たれた光の指向角が狭いため、欠陥部から反射される正反射光及び乱反射光が減少する。このため、溝の正常面は、鋳巣のような欠陥部よりも明るく見え、正常面と欠陥部の明暗差がより明確となる。よって、欠陥の検出精度を向上させることができる、すなわち溝の内面の検査の精度を向上させることができる。
また、照射装置から放たれる光の波長が620nm以上の長波長であるため、溝の内面で乱反射が生じにくく、検査面の任意の位置における明るさのムラが抑制される。よって、欠陥の検出精度を向上させることができる、すなわち溝の内面の検査の精度を向上させることができる。
さらに、本発明の検査装置は、対物レンズの光軸と垂直に交わる平面内の任意の位置に検査対象を移動させる移動装置(10)を備えるとよい。
本発明に係る検査装置によれば、対物レンズの光軸と垂直に交わる平面内の任意の位置に検査対象を移動させることができるため、溝の内面の任意の位置を検査することができる。また、対物レンズ及び溝との距離を所定の距離に保って検査対象を移動させることができるため、検査状態にばらつきが生じにくくなり、溝の内面の検査の精度を向上させることができる。
実施形態において、本発明に係る検査装置の全体構成の概略を示す概略図である。 図1における照射装置を紙面に向かって前側から見た概略図である。 図1における照射装置を右側から見た概略図である。 実施形態における検査装置がスリット状の溝の底面及び側面に欠陥があるか否かを判定し、ワークの内面の状態が良好か否かを判断するまでの過程の概要を示すフローチャートである。 図4Aに続くフローチャートである。 図4Bに続くフローチャートである。 本実施形態において、本発明に係る検査装置で直線状の溝の底面及び側面を撮像した撮像画像の模式図である。 本実施形態において、本発明に係る検査装置で直線状の溝の底面及び側面を撮像した撮像画像に対して歪み補正処理を行った画像の模式図である。 本実施形態において、歪み補正処理を行なった画像に対して視点変換処理を行った画像の模式図である。 欠陥候補の特徴量Raを示す図である。 直線状の溝に対して平行照射方式で光を照射した場合の照射装置の配置に関する模式図及びこの場合の輝度分布を示す図である。 直線状の溝に対して垂直照射方式で光を照射した場合の照射装置の配置に関する模式図及びこの場合の輝度分布を示す図である。 湾曲状の溝に対して垂直照射方式で光を照射した場合の照射装置の配置に関する模式図及びこの場合の輝度分布を示す図である。 湾曲状の溝に対して垂直・平行照射併用方式で光を照射した場合の照射装置の配置に関する模式図及びこの場合の輝度分布を示す図である。
以下、本発明に係る検査装置の実施形態について、図を参照して説明する。各図における方向は、各図に示す方向である。
図1は、本実施形態に係る検査装置1の全体構成の概要を示す図である。なお、図1において、紙面に向かって手前側を前側、紙面に向かって奥側を後側と定義する。
本実施形態の検査装置1は、検査対象であるワークWに形成されたスリット状の溝の底面及び両側面を同時に検査する。このために、溝の底面及び両側面が一つの撮像画像内に撮像されるように、溝の上方から後述のカメラ2で溝の内面を撮像する。検査装置1は、カメラ2で撮像された撮像画像に基づいて、溝の底面及び両側面に鋳巣や傷等のように深さのある欠陥があるか否かを判定し、その判定結果を基に、ワークWの状態、具体的にはワークWに形成された溝の表面状態が良好か否かを検査する。
検査装置1は、撮像装置3、入出力制御装置4、照射装置用電源装置5、照射装置6、支持装置7、制御装置8、ロボットアーム制御装置9及びワーク移動装置10を備える。撮像装置3は、図1に示すように、対物レンズ11、鏡筒12、レンズシステム13、連結アダプター14及びカメラ2を備える。
本実施形態において、対物レンズ11の下面視の形状(光軸方向から見た形状)は円形である。また、対物レンズ11は広角レンズであり、その画角は110°である。対物レンズ11は、外部から入射した光を集光する。対物レンズ11で集光された光は、鏡筒12の内部へ進行する。このとき、対物レンズ11の光軸と鏡筒12の中心軸が同軸となるように鏡筒12内の下端部に対物レンズ11が収容される。
鏡筒12は、円筒状に形成される。鏡筒12の中心軸方向は上下方向に一致する。また、鏡筒12の内部には、図示しない複数の反射鏡が設けられる。この複数の反射鏡を経由して鏡筒12から進行した光は、カメラ2内に備えられる後述する受光素子15に受光される。言い換えれば、複数の反射鏡は、対物レンズ11で集光された光がカメラ2内の受光素子15の受光面で受光されるように、この光を反射する。
レンズシステム13は、レンズ収容ボディー16、ピント調節用レンズ17、絞り18を備える。レンズシステム13は、鏡筒12の上側に配設される。
レンズ収容ボディー16は、円筒状に形成される。レンズ収容ボディー16の材質はアルミニウム製である。レンズ収容ボディー16の下端部は、鏡筒12の上端部に連結される。レンズ収容ボディー16の中心軸は上下方向に延び、鏡筒12の中心軸と同軸になるように、レンズ収容ボディー16が配設される。
本実施形態において、ピント調節用レンズ17は、1つのレンズで構成される。ピント調節用レンズ17は、レンズの位置や数を任意に変更することで、検査対象へピントを合わせることができる。そのため、ピント調節用レンズ17は、1つではなく必要に応じて複数のレンズで構成されていてもよい。ピント調節用レンズ17は、レンズ収容ボディー16内に収容される。ピント調節用レンズ17の下面視は、円形である。ピント調節用レンズ17の光軸は上下方向に延び、レンズ収容ボディー16の中心軸及び鏡筒12の中心軸と同軸になるように配設される。
絞り18は、図示しない絞り孔を備えており、レンズ収容ボディー16内に収容され、ピント調節用レンズ17の上側に配設される。このとき、絞り18は、絞り孔の中心軸がピント調節用レンズ17の中心軸と同軸になるように配設される。絞り18は、絞り孔の広さが調節されることで、連結アダプター14及び後述のカメラ2へ進行する光の光量を調節することが可能である。
連結アダプター14は、円筒状に形成される。連結アダプター14の材質はアルミニウム製である。連結アダプター14の下端部は、レンズ収容ボディー16の上端部に連結される。このとき、連結アダプター14は、その中心軸とレンズ収容ボディー16の中心軸が同軸になるように、レンズ収容ボディー16に連結される。
カメラ2は、カメラボディー19、受光素子15、信号増幅装置20及びAD(Analog To Digital)変換器21、等を備える。
カメラボディー19は、受光素子15、信号増幅装置20及びAD変換器21、等を収容する筐体である。カメラボディー19は、連結アダプター14の上方に配設される。カメラボディー19の下端部は、連結アダプター14の上端部に連結されることで連結アダプター14を介してレンズ収容ボディー16に連結される。カメラボディー19には、連結アダプター14と連結された部分に円孔が形成される。この円孔の中心軸は上下方向に延び、連結アダプター14の中心軸と同軸になるようにカメラボディー19が配設される。この円孔は、対物レンズ11、鏡筒12、レンズシステム13及び連結アダプター14を通過した光がカメラボディー19の内部の受光素子15に受光されるような位置に形成される。
受光素子15は、受光面を有し、連結アダプター14を通過した光を受光面で受光できる位置に配設される。受光素子15は、信号増幅装置20と電気的に接続される。本実施形態において、受光素子15は、CCD(Charge Coupled Device)である。受光素子15は、受光面で受光した光の強度に基づいた電荷を生成する。この電荷は、カメラボディー19内に収容された図示しないキャパシターに信号電荷として出力される。信号電荷は、キャパシターにおいてアナログの信号電圧に変換される。この信号電圧は、信号増幅装置20へ出力される。
信号増幅装置20は、AD変換器21と電気的に接続される。信号増幅装置20は、キャパシターから入力されたアナログの信号電圧を増幅させて、この増幅されたアナログの信号電圧をAD変換器21へ出力する。
AD変換器21は、増幅されたアナログの信号電圧を信号増幅装置20から入力し、増幅されたアナログの信号電圧をデジタルの信号へ変換する。AD変換器21は、入出力制御装置4に備えられた画像処理装置22と電気的に接続されており、このデジタルの信号を画像処理装置22へ出力する。
入出力制御装置4は、画像処理装置22、メモリ23、CPU24(Central Processing Unit)及び照射制御装置25、等を備える。また、入出力制御装置4は、検査用アプリケーションソフトを備える。検査用アプリケーションソフトは、撮像画像に対して後述するように検査領域の抽出等を行う。入出力制御装置4は、モニター26、キーボード27、制御装置8、照射装置用電源装置5と電気的に接続される。
画像処理装置22は、AD変換器21から入力されたデジタルの信号に基づいて、撮像画像を生成し、この撮像画像に対して所定の画像処理を行い、画像処理済の撮像画像データを生成し、この撮像画像データをメモリ23に出力する。ここでいう所定の画像処理とは、撮像された画像に発生した歪曲収差を補正する歪曲収差補正処理、撮像された画像内の溝の底面及び両側面が同一平面として見えるように画像を変換する視点変換処理、補正された画像内のノイズ成分を除去するノイズ除去処理、及び白と黒の2色で画像を生成する二値化処理、等である。
メモリ23は、画像処理装置22から入力された画像処理済の撮像画像データを一時的に保存するとともに、画像処理済の撮像画像データをモニター26へ出力する。
モニター26は、メモリ23から入力された画像処理済の撮像画像データに基づいて、撮像画像を表示する。また、モニター26は、検査用アプリケーションソフトの操作画面を表示する。操作者は、この検査用アプリケーションソフトを動作させるときや、設定を行うとき、等にキーボード27を操作する。
CPU24は、画像処理装置22、照射制御装置25及び制御装置8と電気的に接続される。CPU24は、後述する図4に示すフローチャートのプログラムの移行やプログラムでの判定や判定結果に応じたプログラムの移行などを行い、フローチャートに従った制御を実行するように画像処理装置22、照射制御装置25及び制御装置8へ指示する。
照射制御装置25は、照射装置用電源装置5へ照射制御信号を出力して照射装置用電源装置5を制御する。
照射装置用電源装置5は、入力された照射制御信号に基づいて、照射装置6へ電源となる電力を供給することで照射装置6を点灯させる。又、照射装置用電源装置5は、照射装置6への電力の供給を遮断することで照射装置6を消灯させる。
照射装置6は、第一照射部28、第二照射部29、第三照射部30及び第四照射部31を備える。第一照射部28、第二照射部29、第三照射部30及び第四照射部31は、鏡筒12の側方に配設される。このとき、これらの照射部の高さ位置が一致し、且つ、鏡筒12の中心軸から等距離となるように、それぞれの照射部が配設される。さらに、第一照射部28は、鏡筒12の中心軸を軸として第三照射部30と対称となるように配設される。つまり、第一照射部28と第三照射部30は、鏡筒12内の対物レンズ11を挟んで対向配置される。第二照射部29は、鏡筒12の中心軸を軸として第四照射部31と対称となるように配設される。つまり、第二照射部29と第四照射部31は、鏡筒12内の対物レンズ11を挟んで対向配置される。また、鏡筒12の軸方向、すなわち対物レンズ11の光軸方向から見て、第一照射部28と第三照射部30との対向方向と、第二照射部29と第四照射部31との対向方向とは、直交する。すなわち、第一照射部28、第二照射部29、第三照射部30及び第四照射部31は、第一照射部28と第三照射部30を結ぶ直線と第二照射部29と第四照射部31を結ぶ直線が垂直に交わるように、それぞれ配設される。
第一照射部28、第二照射部29、第三照射部30及び第四照射部31の発光面の形状は、正面視にて長方形である。それぞれの照射部には、複数のLED(Light Emitting Diode)素子32が備えられ、これらのLED素子32が面状に配列される。LED素子32は、620nm以上の波長を有し、赤色の光を放つ。この照射装置6のLED素子32から放たれる光の光芒の指向角は6°である。
第一照射部28、第二照射部29、第三照射部30及び第四照射部31は、電気的に照射装置用電源装置5に接続され、照射装置用電源装置5から電力が入力されることでLED素子32を発光させる。第一照射部28、第二照射部29、第三照射部30及び第四照射部31は、それぞれを独立させて点灯及び消灯が可能となるように構成される。また、第一照射部28、第二照射部29、第三照射部30及び第四照射部31の照射方向は、それぞれ独立させて変更可能となるように構成される。
図1において、第一照射部28は、鏡筒12の右側に配設される。第一照射部28の発光面は、第一照射部28から放たれる光の照射方向(光芒軸方向)が左下方となるように、水平方向から45°傾斜している。
図1において、第二照射部29は、鏡筒12の前側(紙面の手前側)に配設される。第二照射部29の発光面は、第二照射部29から放たれる光の照射方向(光芒軸方向)が紙面の奥側に向けて下方となるように、水平方向から45°傾斜している。
図1において、第三照射部30は、鏡筒12の左側に配設される。第三照射部30の発光面は、第三照射部30から放たれる光の照射方向(光芒軸方向)が右下方となるように、水平方向から45°傾斜している。
図1において、第四照射部31は、鏡筒12の後側(紙面の奥側)に配設される。第四照射部31の発光面は、第四照射部31から放たれる光の照射方向(光芒軸方向)が紙面の前側に向けて下方となるように、水平方向から45°傾斜している。
上記したように各照射部が配設されることにより、第一照射部28と第三照射部30(対の第一光源部)は、鏡筒12の中心軸方向(対物レンズの光軸方向)から見たときに、互いに対向する方向に光を放ち、第二照射部29と第四照射部31(対の第二光源部)は、鏡筒12の中心軸方向(対物レンズの光軸方向)から見たときに、互いに対向する方向に光を放つ。
照射装置6は、支持装置7によって支持される。支持装置7は、照射装置支持部材33、第一照射部支持部材34、第二照射部支持部材35、第三照射部支持部材36、第四照射部支持部材37、第一支持部材38、第二支持部材39、第三支持部材40、連結部材41及び第一台座部42を備える。
照射装置支持部材33は、照射装置6の上方に配設される。照射装置支持部材33の中央部には上下方向に貫通した貫通孔33aが形成される。この貫通孔33aの径は、鏡筒12の径より大きくなるように形成される。この貫通孔33aには、鏡筒12が挿入される。
第一照射部支持部材34は、照射装置支持部材33の図1において右側端部から下方に延設された2本の棒状部材である。第一照射部支持部材34の下方端部に第一照射部28の手前側面及び奥側面が接続されることにより、第一照射部28が第一照射部支持部材34に支持される。
第二照射部支持部材35は、照射装置支持部材33の図1において手前側端部から下方に延設された2本の棒状部材である。第二照射部支持部材35の下方端部に第二照射部29の右側面及び左側面が接続されることにより、第二照射部29が第二照射部支持部材35に支持される。
第三照射部支持部材36は、照射装置支持部材33の図1において左側端部から下方に延設された2本の棒状部材である。第三照射部支持部材36の下方端部に第三照射部30の手前側面及び奥側面が接続されることにより、第三照射部30が第三照射部支持部材36に支持される。
第四照射部支持部材37は、照射装置支持部材33の図1において奥側端部から下方に延設された2本の棒状部材である。第四照射部支持部材37の下方端部に第四照射部31の右側面及び左側面が接続されることにより、第四照射部31が第四照射部支持部材37に支持される。
図2は、照射装置6及び支持装置7の一部分を図1の手前側から見た概略図である。また、図3は、照射装置6及び支持装置7の一部分を図1の右側から見た概略図である。図2に示すように、照射装置支持部材33の上面の左側部と第一支持部材38の下面の右側部が連結される。このとき、図3に示すように、第一支持部材38は鏡筒12の手前側で照射装置支持部材33に連結される。また、図2に示すように、照射装置支持部材33の上面の左側部と第二支持部材39の下面の右側部が連結される。このとき、図3に示すように、第二支持部材39は鏡筒12の奥側で照射装置支持部材33に連結される。さらに、図1に示すように、第一支持部材38の左側面及び第二支持部材39の左側面が連結部材41の中央部の右側面に連結されることで第一支持部材38及び第二支持部材39が連結部材41に支持される。
第三支持部材40の右側面とカメラボディー19の左側面が連結される。第三支持部材40の左側面と連結部材41の上端部の右側面が連結されることでカメラボディー19は連結部材41に支持される。連結部材41の下端面と第一台座部42の上面の中央部が連結される。このようにして、照射装置6及び撮像装置3の位置が固定される。
制御装置8は、入出力制御装置4及びロボットアーム制御装置9と電気的に接続される。制御装置8は、画像処理装置22、照射制御装置25及びロボットアーム制御装置9に制御信号を出力し、撮像のタイミング、照射装置6の点灯及び消灯並びに後述のワーク支持台43の移動、等を制御する。本実施形態において、制御装置8は、図示しない起動スイッチを備えており、起動スイッチがONにされたときにあらかじめ設定されたプログラムに従って各装置に制御指示を行う。これにより、ワークWに形成された溝の表面状態が良好か否かの検査が自動で行われる。
ワーク移動装置10は、ロボットアーム44、第二台座部45及びワーク支持台43を備える。ロボットアーム44は、複数の関節を備えており、その基端にて第二台座部45に連結され、その先端にてワーク支持台43に連結される。ロボットアーム44の先端に連結されたワーク支持台43が3次元的に移動できるように、各関節の動きがロボットアーム制御装置9で制御される。
ワーク支持台43は、その上面にワークWが載置されるように構成される。ワーク支持台43の上面には、上方に延在する複数の図示しないピン及び図示しないワーク押え装置が設けられる。ピンは、ワーク支持台43にワークWを載置したときに、ワークWに形成された貫通孔がある位置と対応する位置に備えられる。そのため、貫通孔にピンが挿入されて、ワークWがワーク支持台43上で位置決めされる。そして、ワーク押え治具でワークWを固定する。
次に、検査対象であるワークWに形成されたスリット状の溝の内面を検査装置1が検査し、ワークWに形成された溝の表面状態が良好か否かを検査装置1が判断するまでの過程を説明する。図4A,B,Cは、この過程の概要を示すフローチャートである。
まず、図4AのフローチャートのステップS1において、前述のように図1のワークWに形成された貫通孔にワーク支持台43上のピンが挿入されるように、ワーク支持台43の上面にワークWが載置される。そして、ワーク押え装置でワークWが押えられることによりワークWがワーク支持台43に固定される。
次に、ステップS2において、制御装置8に備えられた起動スイッチがONにされると、制御装置8は、スリット状の溝の内面の初期検査位置を検査するために、ワークWが初期位置に移動されるように、ロボットアーム44を動作させるための指示信号であるロボットアーム初期位置信号をロボットアーム制御装置9に出力する。
次に、ステップS3において、ロボットアーム制御装置9にロボットアーム初期位置信号が制御装置8から入力されるとともに、ワークWを初期位置に移動させるようにロボットアーム44の動作が制御される。これにより、ワークWは初期位置に移動される。ワークWが初期位置に移動された場合、鏡筒12内の対物レンズは、ワークWに形成されている溝の開口面に対面配置される。図1においては、対物レンズが、溝の開口面の直上に配置される。なお、ワークWに形成されている溝は、底面及び、底面の両端から形成される両側面を有する。
次に、ステップS4において、撮像装置3は、検査対象であるスリット状の溝を溝の上方から撮像するとともに、画像処理装置22がその画像を基に、上面視における溝の形状が湾曲しているか否かを判定する。溝の形状が湾曲していると判定された場合、すなわち図4のステップS4の判定結果がYESの場合、CPU24は、プログラムをステップS5へ移行させる信号であるS5移行制御信号を制御装置8に出力する。一方、溝の形状が直線状であり、湾曲していないと判定された場合、すなわちステップS4の判定結果がNOの場合、CPU24は、プログラムをステップS6へ移行させる信号であるS6移行制御信号を制御装置8に出力する。
制御装置8は、S5移行制御信号が入力された場合、ステップS5にて、第一照射部28、第二照射部29、第三照射部30及び第四照射部31を点灯させる制御信号を照射制御装置25へ出力する。照射制御装置25は、この制御信号を入力すると、照射装置用電源装置5を制御して第一照射部28、第二照射部29、第三照射部30及び第四照射部31を点灯させる。これにより、第一照射部28、第二照射部29、第三照射部30、及び第四照射部31から放たれた光が、湾曲状の溝の内面であって、これらの照射部に囲まれた領域に照射される。また、このとき、第二照射部29から照射される光の照射方向及び第四照射部31から照射される光の照射方向が、照射領域における溝のある一部分の接線方向に沿った方向成分を持つように、これらの照射部と溝との相対位置関係が、ロボットアーム44により調整される。具体的には、第一照射部28、第二照射部29、第三照射部30、第四照射部31の溝に対する配置状態が、後述する図12(a)に示される照明装置G,H,I,Jの配置状態に一致するように、これらの照射部を溝に対して配置する。この図12(a)において、照明装置G,Hの配置状態が第二照射部29及び第四照射部31の配置状態に対応し、照明装置I,Jの配置状態が第一照射部28及び第三照射部30の配置状態に対応する。
一方、制御装置8は、S6移行指示信号が入力された場合、ステップS6にて、第二照射部29及び第四照射部31を点灯させる指示信号を照射制御装置25へ出力する。照射制御装置25は、この指示信号を入力すると、照射装置用電源装置5を制御して第二照射部29及び第四照射部31を点灯させる。これにより、第二照射部29及び第四照射部31から放たれた光が、直線状の溝の内面であって、これらの照射部に囲まれた領域に照射される。また、このとき、第二照射部29から照射される光の照射方向及び第四照射部31から照射される光の照射方向が、照射領域における溝の長手方向成分を持つように、これらの照射部と溝との相対位置関係が、ロボットアーム44により調整される。具体的には、第二照射部29及び第四照射部31の溝に対する配置状態が、後述する図10(a)に示される照明装置C,Dの配置状態に一致するように、これらの照射部を溝に対して配置する。
ステップS5又はステップS6で所定の照射装置6が点灯されると、CPU24は、プログラムをステップS7へ移行させる。
ステップS7において、制御装置8は、画像処理装置22を制御して、溝の底面及び両側面の撮像画像を画像処理装置22に取得させる。この場合において、照射装置6により溝の内面に照射された光の反射光が、対物レンズ11を介してカメラ2の受光素子15に受光される。受光素子15に受光された光の強度に基づいて、撮像画像が得られる。また、本実施形態においては、対物レンズ11が、画角110°の広角レンズであるので、溝の広い範囲に反射した光を集光することができる。よって、溝の底面にて反射した光のみならず、溝の両側面にて反射した光をも、同時に集光することができる。その結果、撮像画像には、溝の底面、及び、溝の両側面の表面が、同時に映し出される。
画像処理装置22が取得した撮像画像の模式図を図5に示す。図5の撮像画像には、光が対物レンズ11を通過することによる歪曲収差が発生している。このため、撮像画像は、左右の端に向かうほど縮んでいる。
次に、画像処理装置22は、ステップS8において、ステップS7で取得した撮像画像に生じた歪曲収差を補正する。この歪曲収差を補正する補正処理によって補正された画像の模式図を図6に示す。図6の歪曲収差が補正された画像は、図5の撮像画像に生じていた歪曲収差が補正されて、溝の底面及び側面の縮みが矯正されている。
次に、画像処理装置22は、ステップS9において、ステップS8で歪曲収差が補正された画像に対して、溝の底面及び側面の間に生じている遠近の差を無くすように補正する処理である視点変換処理を行う。この視点変換処理により補正された画像の模式図を図7に示す。視点変換処理により取得される画像に映された溝の側面部分は、溝の側面に対向する位置から側面を撮像した場合と同様な画像となる。このようにすることで、溝に形成された後述する欠陥の特徴量Raを正確に算出することが可能となる。
次に、画像処理装置22は、図4BのステップS10において、ステップS9で得られた画像内の図7の溝の底面部分に対して、あらかじめ設定された所定の面積をもつ矩形状の領域を底面の検査領域として抽出する。
次に、画像処理装置22は、ステップS11において、ステップS10で抽出された図7の溝の底面の検査領域内のノイズ成分を除去する。
次に、画像処理装置22は、ステップS12において、ステップS11で得られたノイズ成分が除去された図7の溝の底面の画像内の検査領域に対して、二値化処理を行う。二値化処理が行われた画像は、白色と黒色の2色で表された画像となる。
次に、画像処理装置22は、ステップS13において、ステップS12で得られた二値化処理された画像において、黒色で表された部分を溝の底面に形成された欠陥候補として抽出する。また、白色で表された部分は溝の底面における正常部である。
次に、画像処理装置22は、ステップS14において、ステップS13で抽出した図7の溝の底面における全ての欠陥候補の特徴量Raを算出する。本実施形態において、図8に示すように、この特徴量Raは、欠陥候補が内接するような最小の楕円における長径の長さである。
次に、画像処理装置22は、ステップS15において、ステップS14で抽出された全ての欠陥候補に対して、ステップS14で算出された特徴量Raが規格値以上である欠陥候補が存在するか否かを判定する。画像処理装置22は、ステップS15の判定結果をCPU24に出力する。特徴量Raが規格値以上である欠陥候補が一つ以上存在すると画像処理装置22が判定した場合、すなわちステップS15の判定結果がYESの場合、CPU24は、プログラムをステップS16へ移行させ、欠陥抽出回数Cdを+1加算する(欠陥抽出回数Cdをインクリメントする)。その後、プログラムをステップS17に移行させる。一方、特徴量Raが規格値以上である欠陥候補が存在しないと画像処理装置22が判定した場合、すなわちステップS15の判定結果がNOの場合、CPU24は、欠陥抽出回数Cdをインクリメントすることなく、プログラムをステップS17へ移行させる。
次に、画像処理装置22は、ステップS17において、前述のステップS9で得られた画像内の図7の溝の両側面におけるそれぞれの検査領域を抽出する。この場合、溝の両側面のそれぞれに対して、あらかじめ設定された所定の面積をもつ矩形状の領域をそれぞれの側面の検査領域として抽出する。
次に、画像処理装置22は、ステップS18において、ステップS17で抽出した溝の両側面の検査領域内のノイズ成分を除去する。
次に、画像処理装置22は、図4CのステップS19において、ステップS18で得られたノイズ成分が除去された図7の溝の両側面の検査領域の画像に対して、二値化処理を行う。
次に、画像処理装置22は、ステップS20において、ステップS19で得られた二値化処理された画像の中から黒色で表された部分を溝の両側面に形成された欠陥候補として抽出する。また、二値化処理された画像の白色で表された部分は、溝の側面における正常部である。
次に、画像処理装置22は、ステップS21において、ステップS20で抽出した溝の両側面における全ての欠陥候補に対して特徴量Raを算出する。
次に、画像処理装置22は、ステップS22において、ステップS21で算出された特徴量Raが規格値以上である欠陥候補が存在するか否かを判定する。特徴量Raが規格値以上である欠陥候補が存在すると画像処理装置22が判定した場合、すなわちステップS22の判定結果がYESの場合、CPU24は、プログラムをステップS23へ移行させ、欠陥抽出回数Cdを+1加算する(欠陥抽出回数Cdをインクリメントする)。その後、プログラムをステップS24に移行させる。一方、特徴量Raが規格値以上である欠陥候補が存在しないと画像処理装置22が判定した場合、すなわちステップS22の判定結果がNOの場合、CPU24は、欠陥抽出回数Cdをインクリメントすることなく、プログラムをステップS24へ移行させる。ここで、このときのワークWの位置における溝内の検査領域の検査が完了となる。
次に、ステップS24において、CPU24は、溝内の全検査領域の検査が完了したか否かを判定する。溝内の全検査領域の検査が完了していないとCPU24が判定した場合、すなわちステップS24の判定結果がNOの場合、CPU24は、プログラムをステップS25へ移行させる。
ステップS25において、制御装置8は、次の検査位置にワークWが移動されるように、ロボットアーム44を動作させるための指示信号であるロボットアーム移動信号をロボットアーム制御装置9に出力する。ロボットアーム制御装置9は、ロボットアーム移動信号が入力されるとともに、次の検査位置である前回検査した検査領域に隣り合う領域にワークWを移動させるようにロボットアーム44の動作を制御する。これにより、ワークWは、前回検査した検査領域に隣り合う検査領域に移動される。前回検査した検査位置に隣り合う検査位置にワークWが移動された場合、鏡筒12内の対物レンズは、溝の開口面に対面配置される。その後、CPU24は、プログラムをステップS4へ移行させる。なお、本実施形態において、次の検査領域は、前回の検査領域の一部が重なるようにして抽出される。これにより、前回の検査領域と次の検査領域に跨って形成された欠陥候補であっても見逃すことなく欠陥候補として抽出することが可能となる。
一方、ステップS24において、CPU24が溝内の全検査範囲の検査が完了したと判定した場合、すなわちステップS24の判定結果がYESの場合、CPU24は、プログラムをステップS26へ移行させる。
次に、ステップS26において、CPU24は、欠陥抽出回数Cdが1以上か否かを判定する。欠陥抽出回数Cdが1以上であるとCPU24が判定した場合、すなわちステップS26の判定結果がYESの場合、CPU24は、プログラムをステップS27へ移行させる。
ステップS27においては、ステップS26で欠陥抽出回数Cdが1以上であると判定されたため、CPU24は、ワークWに形成された溝の内面の状態が良好でないと判断する。
一方、ステップS26において、欠陥抽出回数Cdが1以上ではないとCPU24が判定した場合、すなわちステップS26の判定結果がNOの場合、CPU24は、プログラムをステップS28へ移行させる。
ステップS28においては、ステップS26で欠陥抽出回数Cdが1以上ではないと判定されたため、CPU24は、ワークWに形成された溝の内面の状態が良好であると判断する。このようにして、ワークWに形成された溝の内面が検査され、この溝の内面が良好か否かを検査装置1が判断する。
このように、本実施形態に係る検査装置によれば、溝の開口面に対面配置された対物レンズ11が、画角110°の広角レンズである。そのため、この対物レンズ11を通して、溝の底面及び両側面を一度に撮像することができる。よって、溝の底面及び側面の両方を同時に検査することができる。
ところで、上記構成の検査装置において、溝内に照射装置で光を照射すると、溝内がより明確に視認される。このとき、検査する溝の形状に適した方向から光を照射することで、溝内の位置によって輝度が異なるような輝度のムラが生じることを抑制できる。この輝度のムラが生じると、正常部であっても暗く見えることで正常部が欠陥であると判定されるといった誤検出や、欠陥部であっても明るく見えることで欠陥部が欠陥として検出されないといった欠陥の見逃しを生じる可能性がある。ここで、直線状の溝及び湾曲状の溝のそれぞれの溝へ光を照射する場合について、照射方向とそのときの溝内の輝度分布の様子について説明する。
まず、直線状の溝に照射装置で光を照射した場合の溝の底面及び側面の輝度分布について説明する。図9の(a)に示すように、直線状の溝を挟むようにして配設された2つの照射装置A,Bから放たれた光の光芒の中心軸方向が溝の長手方向に垂直な方向成分を持つような方向から溝の内面に光を照射する場合について考察する(以下、このような照射の仕方を平行照射方式とする)。平行照射方式により溝の内面を照射すると、図9の(b)に示すように、溝内の長手方向に沿って、輝度分布にムラが生じる可能性がある。平行照射方式により溝の内面を照射した場合には照射装置A,Bと溝の側面がそれぞれ正対するため、溝の側面に直接入射する光の量が増加する。このため、溝の側面に直接入射する光によって乱反射が生じ、その乱反射光の強度のばらつきが増大し、それが原因で、輝度分布にムラが生じると推察される。
次に、図10の(a)に示すように、溝をその幅方向から跨ぐようにして配設された2つの照射装置C,Dから放たれる光の光芒の中心軸が溝の長手方向成分を持つような方向から直線状の溝の内面に光を照射する場合について考察する(以下、このような照射の仕方を垂直照射方式とする)。垂直照射方式により溝の内面を照射した場合、溝の側面と照射装置が対面しない。このため、溝の側面に直接入射する光の量が減少する。つまり、溝の側面に直接入射する光の乱反射光の強度のばらつきが抑えられる。よって、溝の長手方向に沿った輝度分布のムラは小さい。このため、垂直照射方式で光を照射して直線状の溝内を検査すると、図10の(b)に示すように、溝内の長方形の領域における輝度分布のムラを抑制できる。よって、溝の内面の正常部は明るく見え、欠陥部は暗く見え、溝内の検査がより正確になる。なお、垂直照射方式で光を照射した場合でも、溝の側面に多少の光は照射されるので、図10(b)に示すように溝の底面がさほど暗くなることはない。
本実施形態において、この垂直照射方式は、第二照射部29と第四照射部31とによって溝内を照射する方式である。つまり、垂直照射方式は、照射光の進行方向が溝の長手方向成分を含むように、照射光を溝の内面に照射する照射方式である。垂直照射方式により直線状の溝内を照射することによって、溝の底面及び両側面における欠陥の検出精度がより向上し、その結果、直線状の溝の検査精度をより向上させることができる。
次に、湾曲状の溝に照射装置で光を照射した場合の溝内の長手方向の位置における輝度分布について説明する。図11の(a)に示すように、照射装置E,Fを用いて垂直照射方式で湾曲状の溝内に光を照射する場合、溝の位置によっては、溝の側面に光が遮られる領域が生じる。よって、図11の(b)に示すように、溝の位置によって輝度分布のムラが生じる可能性がある。このため、垂直照射方式で光を照射して湾曲状の溝内を検査すると、前述のように誤検出や欠陥の見逃しを生じる可能性がある。
一方、図12の(a)に示すように、湾曲状の溝に垂直照射方式として配設した2つの照射装置G,Hに加えて、平行照射方式として2つの照射装置I,Jを配設する、すなわち四方向から光を照射する(以下、垂直・平行照射併用方式とする)場合、垂直照射方式では十分に照射されなかった領域が、平行照射方式による照射によって照射される。このため、図12の(b)に示すように、溝内の輝度分布のムラが生じることを抑制できる。よって、垂直・平行照射併用方式で光を照射して湾曲状の溝内を検査すると、溝の内面の正常部は明るく見え、欠陥部は暗く見え、溝内の検査がより正確になる。
本実施形態において、この垂直・平行照射併用方式は、第一照射部28、第二照射部29、第三照射部30、第四照射部31によって溝内を照射する方式である。垂直・平行照射併用方式により湾曲状の溝内を照射することによって、溝の底面及び両側面における欠陥の検出精度がより向上し、その結果、湾曲状の溝の検査精度をより向上させることができる。
このように、本実施形態によれば、溝の内面を検査するにあたり、溝の開口面に対面配置した広角レンズによって、溝の内面を撮像している。よって、溝の底面及び両側面を同時に撮像することができる。従って、溝の底面及び両側面を同時に検査することができ、検査工数の短縮化を図ることができる。また、直線状の溝を検査する際には、垂直照射方式により溝の内面を照射するため、直線状の溝の検査精度をより向上させることができる。また、湾曲状の溝を検査する際には、垂直・平行照射併用方式により溝の内面を照射するため湾曲状の溝の検査精度をより向上させることができる。
以上、本発明の実施形態について説明したが、本発明は、上述の実施形態に限定されることはない。例えば、上記実施形態においては、対物レンズとして、画角が110°の広角レンズを用いた例を説明したが、画角が60°以上であれば、溝の底面及び両側面を同時に撮像することができる。また、上記実施形態においては、対物レンズを通じて得られた撮像画像に基づいて溝の内面を検査する例について説明したが、例えば目視によって溝の内面を検査することができる。このように、本発明は、その趣旨を逸脱しない範囲において適宜変更可能である。
1…検査装置、2…カメラ、3…撮像装置、4…入出力制御装置、5…照射装置用電源装置、6…照射装置、7…支持装置、8…制御装置、9…ロボットアーム制御装置、10…ワーク移動装置、11…対物レンズ、12…鏡筒、13…レンズシステム、14…連結アダプター、15…受光素子、22…画像処理装置、25…照射制御装置、28…第一照射部(第二照射部、第二光源部)、29…第二照射部(第一照射部、第一光源部)、30…第三照射部(第二照射部、第二光源部)、31…第四照射部(第一照射部、第一光源部)、32…LED素子、W…ワーク

Claims (4)

  1. 検査対象のワークに形成された溝の内面を検査する検査装置であって、
    前記溝の開口面に対面配置される対物レンズと、
    前記溝の内面を照射する照射装置と、を備え、
    前記対物レンズは広角レンズであり、
    前記照射装置は、光の光芒の中心軸方向が前記溝の長手方向成分を持つように前記溝の内面に向かう光を放つ第一照射部を含む
    検査装置。
  2. 請求項に記載の検査装置であって、
    前記照射装置は、光の光芒の中心軸方向が前記溝の長手方向に垂直な方向成分を持つように前記溝の内面に向かう光を放つ第二照射部を含む、
    検査装置。
  3. 請求項1又は2に記載の検査装置であって、
    前記照射装置から放たれる光の光芒の指向角が6°以下であり、
    前記照射装置から放たれる光の波長が620nm以上である、
    検査装置。
  4. 請求項1乃至3のいずれか一項に記載の検査装置において、
    前記対物レンズの光軸と垂直に交わる平面内の任意の位置に前記検査対象を移動させる移動装置を備える、
    検査装置。
JP2015189302A 2015-09-28 2015-09-28 検査装置 Active JP6676910B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015189302A JP6676910B2 (ja) 2015-09-28 2015-09-28 検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015189302A JP6676910B2 (ja) 2015-09-28 2015-09-28 検査装置

Publications (2)

Publication Number Publication Date
JP2017067459A JP2017067459A (ja) 2017-04-06
JP6676910B2 true JP6676910B2 (ja) 2020-04-08

Family

ID=58494476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015189302A Active JP6676910B2 (ja) 2015-09-28 2015-09-28 検査装置

Country Status (1)

Country Link
JP (1) JP6676910B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521614B (zh) * 2019-02-01 2023-10-17 由田新技股份有限公司 量测孔状结构的自动光学检测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220400A (en) * 1990-06-01 1993-06-15 Texas Instruments Incorporated Container inspection system
JP3592615B2 (ja) * 1999-06-07 2004-11-24 カネボウ株式会社 物品の内面検査装置
JP5313862B2 (ja) * 2009-12-25 2013-10-09 株式会社日立製作所 2次元光切断法による寸法測定方法および装置

Also Published As

Publication number Publication date
JP2017067459A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
US20160187265A1 (en) Bore Testing Device
JP5568947B2 (ja) ねじ穴または穴の内部表面欠陥検査装置
JP4550610B2 (ja) レンズ検査装置
WO2017145518A1 (ja) レーザ加工機における加工ノズル検査装置及び方法
JP2007327836A (ja) 外観検査装置及び方法
JP6417645B2 (ja) 表面形状測定装置のアライメント方法
JP6387381B2 (ja) オートフォーカスシステム、方法及び画像検査装置
JP2011220794A (ja) キャリブレーション治具およびこれを用いた撮像装置のキャリブレーション方法
JP6676910B2 (ja) 検査装置
US8519314B1 (en) Focus assist through intensity control of light source
JP5042503B2 (ja) 欠陥検出方法
US20170069110A1 (en) Shape measuring method
JP2011149814A (ja) 塗装検査装置及び塗装検査方法
TWI764801B (zh) 用於量測穿通孔之幾何參數的方法及系統
WO2006082932A1 (ja) 欠陥粒子測定装置および欠陥粒子測定方法
CN107121058B (zh) 测量方法
JP2008175818A (ja) 表面検査装置及び方法
JP2016038204A (ja) 内面形状検査用のセンサユニット及び内面形状検査装置
JP2014222221A (ja) 発光体の検査装置
JP2008057983A (ja) レンズ研磨精度評価装置及び評価方法
JP2010025805A (ja) 深さ測定装置及び深さ測定方法
JP5768349B2 (ja) スリット光輝度分布設計方法および光切断凹凸疵検出装置
KR101897084B1 (ko) 검사장비용 동축 조명장치
JP6251049B2 (ja) 表面形状検査装置
JP2014066669A (ja) 計測装置および計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6676910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151