JP7205832B2 - 穴内部検査装置 - Google Patents

穴内部検査装置 Download PDF

Info

Publication number
JP7205832B2
JP7205832B2 JP2020001544A JP2020001544A JP7205832B2 JP 7205832 B2 JP7205832 B2 JP 7205832B2 JP 2020001544 A JP2020001544 A JP 2020001544A JP 2020001544 A JP2020001544 A JP 2020001544A JP 7205832 B2 JP7205832 B2 JP 7205832B2
Authority
JP
Japan
Prior art keywords
hole
captured image
flaw
image
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020001544A
Other languages
English (en)
Other versions
JP2021110595A (ja
Inventor
輝久 四ツ谷
康成 横田
和之 銭尾
大祐 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai National Higher Education and Research System NUC
Original Assignee
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai National Higher Education and Research System NUC filed Critical Tokai National Higher Education and Research System NUC
Priority to JP2020001544A priority Critical patent/JP7205832B2/ja
Publication of JP2021110595A publication Critical patent/JP2021110595A/ja
Application granted granted Critical
Publication of JP7205832B2 publication Critical patent/JP7205832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、穴内部検査装置に関する。
穴を有する金属製品或いは鋳造品は、穴の内周面に傷、凹み、鋳巣といった欠陥が生じることがあり、出荷前に検査し、不良品を取り除く必要がある。
従来、穴の内部の検査は、特許文献1~特許文献3で開示されているように、レーザ、或いは照明光を投射して距離データや画像データを取得してコンピュータによる自動検査が行われている。
特許文献1の穴内部検査装置では、穴の開口部の外側の離れた位置から該穴の内部を撮像して、取得した撮像画像に基づいて穴の内部に存在する異物等の有無を判定するようにしている。
特許文献2の穴内部検査装置では、ミラーを先端部に有するプローブ支柱を穴の内部に挿入して、外部からレーザ光を前記ミラーを介して穴の内部に照射するようにしている。そして、穴内部検査装置は、前記穴の内部からの反射光を前記ミラーを介して前記プローブと平行な光軸に配置したハーフミラーを介して受光素子に帰還する光の強度を解析することにより、穴検査を行うようにしている。
特許文献3の穴検査装置では、先端に広角レンズを備えた挿入シャフトを、穴に挿入し、前記広角レンズを通じ得られた画像に基づいて穴の壁面を検査するようにしている。
特開2018-36203号公報 特開2016-173271号公報 特開2015-49044号公報
特許文献1及び特許文献2の検査では、一枚の画像から欠陥の種類を特定する場合、表面が曲面であって、照明光が穴の挿入方向へ投射している場合、例えば穴の内周面が鏡面となっていると、照明光(スポット光)、或いはレーザ光は、その鏡面で鏡面反射して、センサ側に反射しないため、その部分については正確な画像を取得できない問題がある。
さらに、従来の光による検査法では、単色による照明が検査物に対して行われていることから、欠陥部位の凹凸の判別が煩雑となる。
なお、特許文献3では、具体的に照明光を使用しているとの記載はないが、一般的に、検査は照明灯を備えた検査室等で行うことから、上記特許文献1と同様の問題があることに変わりはない。
本発明の目的は、上記課題を解決して、被検査体の穴の傷の種類の判別を容易にでき、検出時間、コストを従来よりも軽減できる穴内部検査装置を提供することにある。
上記問題点を解決するために、本発明の穴内部検査装置は、被検査体の穴に挿入される挿入部材と、前記挿入部材の先端側に対して、前記被検査体に対する挿入方向に沿って互いに色が異なる複数のカラー光源が固定配置された光源部と、前記挿入部材において、前記光源部よりも基端側に取付けられるとともに、前記光源部の投射光が前記被検査体の穴の内周面に対して反射したときの反射光を受入可能な位置に位置するレンズと、前記レンズを介して前記被検査体の穴の内周面の反射光を受光し、前記カラー光源のカラーが付与された領域を含む撮像画像を取得する撮像部と、前記撮像部から出力された撮像画像を入力する検査部を有する。
上記構成により、被検査体の穴の内周面に傷がない場合、撮像部により取得され、検査部に入力された撮像画像は、鏡面反射している場合にはその反射光によるものが得られているため、複数のカラー光源で照明されたそれぞれのカラーが付与された単色領域は一様の画素値が分布されたものとなる。
すなわち、互いに色が異なる複数のカラー光源は、それぞれ挿入部材の挿入方向に沿って配置されているため、取得される撮像画像は、各カラー光源の照明角度が異なることを、異なる色で認識可能であるとともに、一様の画素値が分布した単色領域がカラー光源の配置順序と同じ順序で配置されたものとなる。
この場合は、穴の内周面は傷なしの判定が可能となる。検査部では、この撮像画像によって検査が可能となる。
また、被検査体の穴の内周面に傷がある場合、傷の種類に応じて撮像部により取得され、検査部に入力された撮像画像には、乱反射した反射光によるもの、或いは、反射光がないこともある。このため、撮像画像は、穴の内周面に傷がある場合は、複数のカラー光源で照明されたそれぞれの部位において、傷がある部分は一様の画素値の分布とならず、例えば、鏡面反射している場合には、鏡面反射した部位よりも画素値が低減した領域が含まれる。このように撮像画像において、被検査体の穴の内周面に傷がない場合、或いは傷がある場合に応じて、検査部では、傷の検査が可能となる。
また、撮像画像において、色が異なる領域は、複数の異なる色のカラー光源の照明角度が異なることを意味する。そして、この照明角度の相違により、傷があった場合においては、その傷の挿入方向における長さの程度が分かることになる。
例えば、複数の単色の領域の全領域に1つの傷が挿入方向に延びている場合は、その傷の挿入方向における長さは長いことが分かり、1つの色の領域にのみ傷が撮像されている場合にはその傷の挿入方向の傷の長さは短いことが分かることになる。
なお、正常の被検査体であれば、穴の内周面が均一の粗面となっている場合、正常ではない被検査対象では、穴の内周面に凸部や凹部があると、鏡面の場合に比して、全体の画素値は下がるが、同様に傷の種類の判定が可能となる。
また、前記検査部は、前記撮像画像を表示して、作業者が目視可能に設けられた表示部としてもよい。
上記構成により、撮像画像を表示する表示部を作業者が目視することにより、撮像画像において、例えば、穴の内周面が鏡面の場合、傷がない部位は鏡面反射して高い画素値の領域となり、傷がある部位は乱反射して画素値が低い領域となり、或いは反射光がなくて画素値が最小値の領域となって表示されることになる。作業者は、穴の内周面に傷がある場合は、この画素値の相違によりその傷の種類を判定できる。
また、前記検査部は、判別装置に含まれるとともに、前記撮像画像に基づいて前記穴の内周面の傷の種類判別を行う傷種類判別部としてもよい。
上記構成により、撮像画像において、穴の内周面の傷がない部位は鏡面反射して高い画素値の領域となり、傷がある部位は傷の種類に応じた画素値に特有な領域となる。このことから、傷種類判別部は、穴の内周面に傷がある場合は、傷の種類に応じた画素値の相違によりその傷の種類を判定する。
また、前記被検査体を支持する支持部を有し、前記挿入部材、または前記支持部には、前記挿入部材を介して前記レンズを前記被検査体の穴に対して挿入方向にまたは反挿入方向に相対的に移動させる移動機構を有していてもよい。
上記構成により、前記移動機構が、挿入部材、または支持部を、前記被検査体の穴に対して相対的に挿入方向にまたは反挿入方向に移動させて、挿入方向または反挿入方向に移動時の撮像画像が取得される。
また、前記撮像部は、前記レンズの光軸における第1位置と、該第1位置から前記移動機構にて移動させた前記レンズの光軸における第2位置とで前記撮像画像である第1撮像画像及び第2撮像画像をそれぞれ取得し、前記検査部は、位置算出部を備え、前記位置算出部は、第1撮像画像と第2撮像画像にそれぞれ共通の傷像がある場合、第1位置と第2位置間の移動距離、第1撮像画像の前記傷像と前記光軸との間の第1距離、第2撮像画像の前記傷像と前記光軸との間の第2距離、並びに第1撮像画像または第2撮像画像に基づいて前記穴の内周面の傷の三次元位置を算出することにしてもよい。
上記位置算出部により、第1撮像画像と第2撮像画像にそれぞれ共通の傷像がある場合、第1位置と第2位置間の移動距離、第1撮像画像の傷像と前記光軸との間の第1距離、第2撮像画像の前記傷像と光軸との間の第2距離、並びに第1撮像画像または第2撮像画像に基づいて穴の内周面の傷の三次元位置を算出して得ることができる。
また、前記判別装置は、換算テーブルを備え、前記換算テーブルは、前記レンズの対角画角毎に、前記光軸から離間する前記被検査体の穴の内周面の部位から前記レンズの位置までを結ぶ直線が前記光軸と交差する交差角と、撮像画像における前記光軸から傷像迄の距離とが対応付けされていて、前記位置算出部は、前記換算テーブルに基づいて前記第1距離に対応する交差角を第1交差角として算出するとともに、前記第2距離に対応する交差角を第2交差角として算出し、第1交差角及び第2交差角、並びに前記移動距離に基づいて前記光軸からの前記穴の内周面の傷の離間距離を算出することにしてもよい。
上記構成により、位置算出部は、換算テーブルに基づいて第1距離に対応する交差角を第1交差角として算出するとともに、第2距離に対応する交差角を第2交差角として算出し、第1交差角及び第2交差角、並びに移動距離に基づいて光軸からの前記穴の内周面の傷の離間距離を算出することができる。
また、前記カラー光源は、点光源であってもよい。
上記構成により、カラー光源を点光源とすると、穴の内周面が半鏡面の場合、鏡面よりも良好に反射する。ここで、例えば内周面に擦り傷がある場合、該擦り傷の部位が半鏡面となる一例である。
また、前記カラー光源は、前記挿入方向に延出された線光源としてもよい。
上記構成により、カラー光源を線光源とすると、穴の内周面が鏡面の場合、半鏡面よりも良好に反射する。
また、前記複数のカラー光源のうち、相互に隣接するカラー光源間には該隣接する他のカラー光源の投射光を遮蔽する遮蔽部を有していることが好ましい。
上記構成により、遮蔽部により、相互に隣接するカラー光源による被検査体の穴での照明領域が区画することができる。
また、前記レンズは、広角レンズとすることが好ましい。
上記構成により、被検査体の穴におけるレンズに近い領域から、奥までの広がった範囲の撮像画像を取得する。
本発明によれば、被検査体の穴の傷の種類の判別を容易に行うことができ、検出時間、コストが従来よりも軽減できる効果を奏する。
第1実施形態の穴内部検査装置の略体図。 第1実施形態の穴内部検査装置の全体概略図。 撮像画像の一例の説明図。 (a)は鏡面反射の説明図、(b)の乱反射の一態様の説明図、(c)は乱反射の他の態様の説明図。 第2実施形態の穴内部検査装置の概略図。 第2実施形態の穴内部検査装置における判別装置60が実行するプログラムのフローチャート。 フローチャートのS10で取得した第1撮像画像であって、第1距離の説明図。 フローチャートのS20で取得した第2撮像画像であって、傷像の移動を示す説明図。 フローチャートのS20で取得した第2撮像画像であって、第2距離の説明図。 第1距離と第1交差角、及び第2距離と第2交差角との関係を示す概略原理図。 円筒座標系の説明図。 方位角φの算出の説明図。 他の実施形態の穴内部検査装置の概略図。 他の実施形態の穴内部検査装置の概略図。
(第1実施形態)
以下、本発明を具体化した一実施形態の穴内部検査装置を図1~図3を参照して説明する。
図1に示すように、穴内部検査装置10は、ベース部材12上に配置された本体部20、本体部20に設けられた撮像部30及び光源部40、本体部20を移動させる移動機構50、撮像部30で撮像した撮像画像を取得して傷の種類を判別する判別装置60、判別装置60に接続されたディスプレイ70を備えている。
本体部20は、断面四角形状に形成されていて、ベース部材12に設けられた一対のレール部材13間に配置されている。本体部20は、レール部材13に相対する側面にガイド突部14を有していて、レール部材13の内周面に対して長さ方向、すなわち、図1においては左右方向に延出されて凹設されたレール溝15に対して、摺動自在に係入されている。なお、図1では、本体部20よりも紙面の後ろ側のレール部材13のみが図示されていて、本体部20よりも前方側のレール部材13は省略して図示されている。また、図1では、逆にガイド突部14は、本体部20よりも紙面の後ろ側のガイド突部14が省略されていて、本体部20よりも前方側のガイド突部14が図示されている。
移動機構50は、ベース部材12上の一対の軸受51に対し図1において左右方向に延びて架設されたボールネジ52と、本体部20下面に固定されて、ボールネジ52と噛合するナット53と、ボールネジ52を軸心の回りで回転させる駆動モータ54とを備えている。駆動モータ54が正転駆動することにより、ボールネジ52が軸心の回りで回転され、この回転により、ナット53を介して本体部20が、図1において、左方向に移動する。本実施形態では、この左方向は、後述するステー41の被検査体80の穴82に対する挿入方向に相当する。また、駆動モータ54が逆転駆動することにより、ボールネジ52が軸心の回りで回転され、この回転により、ナット53を介して本体部20が、図1において右方向へ移動する。
撮像部30は、本体部20の一端側に配置された光学筒部31と、光学筒部31の先端に取り付けられたレンズ32と、レンズ32からの入射光を撮像するCCD、CMOS等のエリアイメージセンサからなる撮像素子33を有する。撮像素子33により取得した撮像画像は、判別装置60に入力される。
レンズ32は、本実施形態では35mm版換算で、14~35mmのいずれかの広角レンズとしている。広角レンズは、広角レンズではない標準レンズ、望遠レンズよりもピントが合焦する距離がレンズに近くなるとともに、被写界深度が広いため、好ましい。
本体部20には、左方向へ延出された挿入部材としてのステー41を備えている。ステー41は、本実施形態では、棒状に形成されているが、形状は棒状に限定するものでないが、後述する被検査体80の穴82に挿入可能な大きさである必要がある。
光源部40は、ステー41の先端に設けられている。光源部40は、複数のカラー光源42、43、44からなる。本実施形態では、カラー光源42、43、44は、点光源であって、LEDライトからなるが、LEDに限定するものではなく、LEDライト以外の光源であってもよい。例えば、カラー光源42、43、44は、白色発光の光源に各種の色が付いたゼラチンフィルム、または照明用フィルタで覆うことにより、前記各種の色の照明を行ってもよい。
上記のようにカラー光源42、43、44は異なる色で発光するとともに、図1に示すように、撮像部30のレンズ32よりも長さ方向に並ぶように配置されている。なお、カラー光源42、43、44の照度は、同一のものが好ましいが、極端な差がなければ、異なっていてもよい。
本実施形態では、カラー光源42、43、44は、それぞれ赤(R)、緑(G)、青(B)の色としているが、これらの色の組合せに限定するものではなく、この3種の色の組合せの内、1種、または2種を他の色に変更したり、3種の色の全てを他の色に変更した組合せにしてもよい。カラー光源42、43、44は、後述する被検査体80の穴82の内周面が鏡面であったときにその鏡面で投射光が鏡面反射したときの反射光がレンズ32に反射光を受入可能な位置に配置されている。
カラー光源42とレンズ32との間、カラー光源42、43間、カラー光源43、44間において、ステー41には、遮蔽部としての遮蔽部材45が配置されている。カラー光源42とレンズ32との間の遮蔽部材45は、カラー光源42の照明光がレンズ32に直接入らないようにしている。カラー光源42、43間、及びカラー光源43、44間の遮蔽部材45は、それぞれ隣接しているカラー光源の照明光が穴82の内周面に反射したとき、その反射光が極力混合しないように遮光するためのものである。遮蔽部材45の形状は、上記目的を達するものであれば、限定されない。
判別装置60は、コンピュータからなり、インターフェイス61、画像入力部62、傷種類判別部63、画像記憶部64、及び判別結果記憶部65を備えているとともに、ディスプレイ70が接続されている。インターフェイス61には、撮像部30は撮像素子33に接続されており、光源部40の照明による被検査体80の穴82内周面からの反射光を受光することにより撮像した撮像画像が撮像素子33から判別装置60に入力される。前記判別装置60は、駆動モータ54を正転または逆転駆動する制御を行う。
なお、撮像画像(カラー画像)は、静止画像、動画像のいずれでもよい。
被検査体80は図1において左右方向に延出されていて、ベース部材12上に載置される。被検査体80は、少なくとも一端が開口端となる穴82が穿設されている。従って、穴82は、一端が開口端となり、他端が閉塞端とするもの、両端が開口端となるものを含む。被検査体80自体の形状は、限定されるものではない。
また、被検査体80の材質は、金属、合成樹脂等を含み、穴82の内周面に鏡面が形成可能な材質であればよい。穴82の横断面形状は、円形、楕円形、三角形、四角形、多角形等であってもよく、限定するものではない。本実施形態では、穴82の横断面は、円形としている。
図1に示すように、被検査体80は、穴82の開口端を介して、ステー41の光源部40及び撮像部30が挿入されて、穴82の軸心に沿って、光源部40及び撮像部30が挿入方向または、反挿入方向に移動可能に配置される。
(第1実施形態の作用)
次に、穴内部検査装置10の作用を説明する。
まず、図1に示すように被検査体80を、穴82の軸心O1がステー41の光源部40と対向するようにしてベース部材12上に載置し固定する。ベース部材12は、支持部に相当する。
図2に示すように、そして、光源部40のカラー光源42、43、44を発光させた状態で、駆動モータ54を正転駆動して、移動機構50により本体部20を被検査体80の穴82内に挿入させる。なお、撮像部30の光軸O2と、軸心O1とは合致させるものとする。そして、穴内部検査装置10の画像入力部62は、撮像部30からの撮像画像をインターフェイス61を介して取得するとともに、画像記憶部64に記憶する。
また、傷種類判別部63は、検査部に想到し、画像入力部62に入力された穴82の内周面の撮像画像に基づいて、該内周面に、傷の有無及び傷があった場合は傷の種類判別を行う。
図3は、穴82の内周面全体が鏡面の場合、すなわち、穴82の内周面全体に傷がない場合において、画像入力部62が入力した1フレームの撮像画像の一例である。ここで、撮像画像は、レンズ32を基準にしてカラー光源42、カラー光源43、カラー光源44の順に遠位に位置するため、遠近法により、図3に示すように、同心円状の多重の色画像となる。同図において、100は、レンズ32の前方に位置したステー、及びカラー光源42とレンズ32間の遮蔽部材45の撮像領域である。同図において、リング状の単色領域102、104、106は、それぞれ、カラー光源(赤)42、カラー光源(緑)43、カラー光源(青)44の撮像領域である。リング状の単色領域102、104、106は、黒色以外の単色領域となる。また、リング状の単色領域102、104間、リング状の領域104、106間には、黒色領域103、105が存在する。黒色領域103は光源からの照射がない領域である。
カラー光源42、43間、及びカラー光源43、44間には、それぞれ遮蔽部材45が配置されていて、光源からの照射がない領域を積極的に生ずるようにしている。これにより、隣接するカラー光源によりそれぞれ照射された領域間に黒色の境界領域を生成することができる。
<穴の内周面全体が鏡面の場合>
このように穴82の内周面全体が鏡面の場合、図4(a)に示すように、カラー光源(赤)42、カラー光源(緑)43、カラー光源(青)44の照明光は、穴82の内周面において鏡面反射する。そして、この鏡面反射した反射光が、レンズ32を介して、撮像素子33にて撮像される。傷種類判別部63は、図3に示す撮像画像を取得すると、黒色領域103と、単色領域102、104、106とを区別する。単色領域102、104、106は、相互に異なる黒色以外の単色であって、その単色の画素値が高くなり、他の色の画素値が最小値となる。一方、黒色領域103、105は黒色となり、このことを利用して、傷種類判別部63は、単色領域102、104、106と黒色領域103、105とを判別する。
そして、傷種類判別部63は、各単色領域102、104、106において、各カラー光源の照明角度が異なることを、異なる色で認識可能であるとともに、画素値が一様に分布し、かつ、カラー光源の配置順序と同じ順序で配置されたものとなる。この場合は、傷種類判別部63は、穴の内周面は、単色領域毎に傷なしの判定をする。
<穴の内周面の一部が鏡面でなく、傷がある場合>
穴82の内周面の一部が鏡面でなく、傷が各単色領域102、104、106の少なくともいずれか1つの領域内にある場合について説明する。
穴82の内周面が鏡面ではなく、傷がある場合、傷がある部分は、鏡面反射せず、その色の画素値は鏡面反射した領域の画素値よりも少なくなる。従って、その部位は、傷があると判別できる。例えば穴82の内周面に擦り傷や凹み傷がある場合は、画像内に、その傷に特有の反射光による領域が現れる。
図4(b)は、擦り傷の場合に拡散反射光が生ずる説明図である。同図に示すように、擦り傷領域は、半鏡面となっており、各光源42、43、44からの入射光は、乱反射、すなわち、拡散反射する。そのため、擦り傷領域の画素値は、鏡面反射した部位に比較して一様に少なくなる。上記のようにして傷種類判別部63は、単色領域毎に、鏡面反射した部位と比較して、画素値が一様に少ない領域は、擦り傷があると判別する。
図4(c)は、凹み傷の場合の反射光の説明図である。同図に示すように、凹み傷の表面は、曲率半径が異なる部位を有していて、その部位で反射する場合がある。すなわち、図4(c)に示すように、凹み傷の片側の面では影になって反射せず、他方の片側の面で反射する場合がある。このような場合、単色領域において、鏡面反射した部位の画素値は高いものとなり、凹み傷がある領域の画素値は、極端に少なくなり、そのような領域が、例えば線状、曲線状に表れることとなる。このような場合、傷種類判別部63は、凹み傷があると判別する。
このように穴の内周面の一部に擦り傷がある場合と、凹み傷がある場合は、その傷の部位の撮像画像にはそれぞれ特有な画素値の分布が見られ、このことを利用して、傷種類判別部63は、傷の種類判別を行う。
なお、撮像画像において、色が異なる領域は、複数の異なる色のカラー光源42、43、44の照明角度が異なることを意味する。そして、傷種類判別部63は、この照明角度の相違により、傷があった場合においては、その傷の挿入方向における長さの程度を計算してもよい。例えば、複数の単色の領域の全領域に1つの傷が挿入方向に延びている場合は、その傷の挿入方向における長さは長いことが分かり、1つの色の領域にのみ傷が撮像されている場合にはその傷の挿入方向の傷の長さは短いことが分かることになる。
なお、黒色領域103、105では、傷種類判別部63は傷の種類判別は行わない。傷種類判別部63は、ディスプレイにその判別結果を表示し、判別結果記憶部65に記憶する。
本実施形態では、下記の特徴を有する。
(1)本実施形態の穴内部検査装置10は、被検査体80の穴82に挿入される挿入部材としてのステー41と、ステー41の先端側に対して、被検査体80に対する挿入方向に沿って互いに色が異なる複数のカラー光源42、43、44が固定配置された光源部40を備える。また、穴内部検査装置10は、ステー41において、光源部40よりも基端側に取付けられるとともに、光源部40の投射光が被検査体80の穴82の内周面に対して反射したときの反射光を受入可能な位置に位置するレンズ32を有する。また、穴内部検査装置10は、レンズ32を介して被検査体80の穴82の内周面の反射光を受光し、カラー光源42、43、44のカラーが付与された領域を含む撮像画像を取得する撮像部30を備える。また、穴内部検査装置10は、撮像部30から出力された撮像画像を入力する検査部としての傷種類判別部63を有する。
上記構成により、被検査体80の穴82の内周面に傷がない場合、撮像部30により取得され、傷種類判別部63に入力された撮像画像は、穴の内周面が鏡面の場合には、鏡面反射した反射光によるものが得られている。このため、複数のカラー光源で照明されたそれぞれのカラーが付与された単色領域は、各カラー光源の照明角度が異なることを、異なる色で認識可能であるとともに、一様の画素値が分布されたものとなる。
すなわち、互いに色が異なる複数のカラー光源は、それぞれステー41の挿入方向に沿って配置されている。このため、取得される撮像画像は、互いに色が異なるとともに、一様の画素値が分布した単色領域がカラー光源42、43、44の配置順序と同じ順序で配置されたものとなる。この場合は、穴82の内周面は傷なしの判定となる。傷種類判別部63では、この撮像画像によって検査が可能となる。
また、被検査体の穴の内周面に傷がある場合、傷の種類に応じて撮像部30により取得され、傷種類判別部63に入力された撮像画像には、乱反射した反射光によるもの、或いは、反射光がないこともある。このため、撮像画像は、穴の内周面に傷がある場合は、複数のカラー光源42、43、44で照明されたそれぞれの部位において、傷がある部分は一様の画素値の分布とならず、鏡面反射した部位よりも画素値が低減した領域が含まれる。このように撮像画像において、被検査体80の穴82の内周面に傷がない場合、或いは傷がある場合に応じて、傷種類判別部63では、傷の検査が可能となる。
また、撮像画像において、色が異なる領域は、複数の異なる色のカラー光源42、43、44の照明角度が異なることを意味する。そして、この照明角度の相違により、傷があった場合においては、その傷の挿入方向における長さの程度が分かることになる。
例えば、複数の色の領域の全領域に1つの傷が挿入方向に延びている場合は、その傷の挿入方向における長さは長いことが分かり、1つの色の領域にのみ傷が撮像されている場合にはその傷の挿入方向の傷の長さは短いことが分かることになる。
この結果、本実施形態によれば、穴の内周面が曲面であって、鏡面を有している被検査体の穴の傷の種類の判別を容易に行うことができ、検出時間、コストが従来よりも軽減できる。
(2)本実施形態の穴内部検査装置10は、検査部を撮像画像に基づいて穴82の内周面の傷の種類判別を行う傷種類判別部63としている。
この結果、撮像画像において、穴の内周面の傷がない部位は、穴の内周面が鏡面の場合、鏡面反射して高い画素値の領域となり、傷がある部位は傷の種類に応じた画素値に特有な領域となる。このことから、傷種類判別部63は、穴の内周面に傷がある場合は、傷の種類に応じた画素値の相違によりその傷の種類を判定できる。
(3)本実施形態の穴内部検査装置10は、被検査体80を支持する支持部としてのベース部材12を有し、挿入部材としてのステー41には、ステー41を被検査体80の穴82に対して挿入方向にまたは反挿入方向に相対的に移動させる移動機構50を有している。
この結果、本実施形態では、移動機構50が、ステー41を、被検査体80の穴82に対して相対的に挿入方向にまたは反挿入方向に移動させて、挿入方向または反挿入方向に移動時の撮像画像を取得できる。
(4)本実施形態の穴内部検査装置10では、カラー光源42、43、44は、点光源としている。
上記構成により、カラー光源を点光源としているため、例えば内周面に擦り傷がある場合、該擦り傷の部位が、点光源により、鏡面の場合よりも、反射光が良好に得られる。
(5)本実施形態の穴内部検査装置10では、複数のカラー光源42、43、44のうち、相互に隣接するカラー光源42、43及びカラー光源43、44間には該隣接する他のカラー光源の投射光を遮蔽する遮蔽部としての遮蔽部材45を有している。
この結果、本実施形態によれば、遮蔽部材45により、相互に隣接するカラー光源による被検査体の穴での照明領域が区画される。
(6)本実施形態の穴内部検査装置10では、レンズ32は、広角レンズとしている。この結果、本実施形態によれば、被検査体80の穴82におけるレンズに近い領域から、奥まで広がった範囲の撮像画像を取得できる。
(第2実施形態)
次に、第2実施形態を図5~図11を参照して説明する。本実施形態の穴内部検査装置10のハード構成の一部、及び、ソフト構成が一部異なっている。
穴内部検査装置10のハード構成では、前記実施形態では、カラー光源は、点光源としたが、本実施形態では、図5に示すように挿入方向に延出されたカラー光源は、線光源としている。このように構成すると、穴の内周面が鏡面の場合、半鏡面よりも良好に反射する。
また、前記実施形態の判別装置60は、インターフェイス61、画像入力部62、傷種類判別部63、画像記憶部64、判別結果記憶部65及びディスプレイ70を備えていたが、本実施形態では、さらに、図5に示すように位置算出部66、及び換算テーブル67を備えている。
(第2実施形態の作用)
上記のように構成された穴内部検査装置10の作用を図5~図11を参照して説明する。図6は、判別装置60が実行するプログラムのフローチャートである。なお、移動機構50により、撮像部30は、被検査体80の穴82の開口端側から撮像を開始するために、前記開口端を撮像開始位置として、移動させておくものとする。すなわち、本実施形態では、後述する穴82の内周面の傷の三次元位置は、レンズ32の光軸上の撮像開始位置を原点としている。なお、撮像開始位置を原点とすることに限定するものではなく、レンズ32の光軸上の任意の位置を原点としてもよい。本実施形態においても、撮像部30の光軸O2と、穴82の軸心O1とは合致させるものとする。
このフローチャートが開始されると、判別装置60は、撮像部30及び光源部40を駆動して、S10では、撮像部30から穴82の内周面の静止画像である撮像画像(カラー画像)を取得する。
S12では、S10で取得した穴82の内周面の撮像画像に新たな傷像があるか否かを判定するとともに、新しい傷像がある場合は、第1実施形態の判定と同様にその傷の種類を判定する。ここで、新たな傷像とは、前回取得した撮像画像に後述するS22の傷の三次元座標算出が行われていて、今回取得した撮像画像にはその傷像が相対的に移動した傷像ではないことを指す。また、最初にこのフローチャートが起動された場合には、このときに取得された撮像画像に傷があるか否かを判定することになる。S12で、撮像画像に新たな傷像がない場合には、S14に移行する。新たな傷像がある場合には、判別装置60は、S18に移行する。
S12で、撮像画像に新たな傷像がないと判定した場合には、S14で、判別装置60は、移動機構50の駆動モータ54を駆動して、撮像部30を穴82の挿入方向へ所定の移動量で移動する。この移動量は、撮像画像に傷像がある場合、次に取得する撮像画像においては傷像が撮像素子33の数十画素分を移動する量とすることが好ましい。
S16では、S14で撮像素子33を移動した場合の、累計の移動量が、撮像が終了する終了点までの累計の移動量となっているか否かを判別装置60が判定する。累計の移動量がこの終了点までの累計の移動量に達している場合には、判別装置60は、撮像開始位置まで、移動機構50の駆動モータ54を駆動して移動機構50により、撮像部30を移動させた後、このフローチャートを終了する。
S18では、S10で取得した撮像画像に基づいて、穴82の内周面の傷の三次元座標を算出し、算出が終了すると、三次元座標を算出した傷像について、判定済みデータを及び識別データをこの傷像に付与して、図示しない識別データ付与傷像の記憶部に格納した後、S14に移行する。
(穴82の内周面の傷の三次元座標の算出)
穴82の内周面の傷の三次元座標の算出について説明する。なお、説明の便宜上、図3とは異なり、図7~図9では、単色領域102、104、106と黒色領域103、105の図示は省略されているが、単色領域102、104、106のうちのいずれか1つの単色領域において、傷像K1、K2がそれぞれ図示されているものとして理解されたい。
本実施形態では、傷の三次元座標は図11に示す円筒座標系で算出される。円筒座標系は、図11に示すようにP点の位置を、基準軸Zからの距離r、基準軸Zに直交するX軸から測った方位角φ、及び、X軸を含むと共に基準軸Zに直交する基準平面Hからの距離zの三者によって決定する。なお、図11において、Y軸は、基準平面Hに含まれるとともに基準軸Z及びX軸に直交する。
図10は、本実施形態における傷の三次元座標を算出するために必要なパラメータa、bを取得するための原理図である。
図10において、Aは被検査体80の穴82の内周面の傷があると位置、Bは撮像部30におけるレンズ32の光軸O2上の第1位置、Cは撮像部30をBから移動した後の撮像部30におけるレンズ32の光軸O2上の第2位置、DはAを光軸O2上に投影した位置である。なお、説明の便宜上、図10では撮像部30の光学筒部31は省略している。
第1位置に撮像部30が位置している場合、Aに位置する傷は、撮像素子33には、光軸O2から第1距離a分離間した画素群に結像されて傷像K1を形成する。
また、撮像部30が移動距離L分移動した後の第2位置に位置している場合、Aに位置する傷は、撮像素子33には、光軸O2から第2距離b分離間した画素群に結像されて傷像K2を形成する。
ここで、図10に示すように、AD間の高さhは、三次元座標ではrに相当する。このrは、下記の式(1)で算出することができる。
r=AD
=BC・tan(θ1)・tan(θ2)/(tan(θ1)+tan(θ2)) ……(1)
また、θ2は、下記の式(2)で算出することができる。
θ2=180°-θ3 ……(2)
また、P点の距離z1は下記の式(3)で算出することができる。
z1=BD=AD/tan(θ1) ……(3)
なお、方位角φの算出については後述する。
ここで、θ1はAから傷像K1までの直線が光軸O2上と交差する第1交差角であり、θ2はAから傷像K2までの直線が光軸O2上と交差する第1交差角である。
また、第1距離aと第1交差角θ1との関係、及び第2距離bと第2交差角θ2との関係は、レンズ32の対角画角が決まっていれば、第1距離a及び第2距離bに基づいて、第1交差角θ1及び第2交差角θ2は一義的に決定することができる。
本実施形態では、換算テーブル67を有していて、該換算テーブル67には、使用するレンズ32の対角画角に応じて、第1距離a及び第2距離bがそれぞれ取得されると、位置算出部66は、この値に基づいて、換算テーブル67を参照することにより、第1交差角θ1及び第2交差角θ2が算出される。すなわち、換算テーブル67は、レンズ32の対角画角に対応させたものを用意することにより、その対角画角毎に対応した前記距離が算出されると、その距離に対応した交差角の換算が可能である。
具体的に説明すると、図7は、S10で取得した撮像画像であり、すなわち、撮像部30が第1位置で取得した第1撮像画像である。図8及び図9は、S20で取得した撮像画像であり、すなわち、撮像部30が第2位置で取得した第2撮像画像である。
図7に示すように、判別装置60の位置算出部66は、第1撮像画像において、傷像K1における重心と光軸O2の距離を第1距離aとして算出する。すなわち、撮像素子33は、複数の画素からなるエリアイメージセンサからなっているため、傷像K1における重心と光軸O2間の画素数をカウントし、その値を第1距離aとする。
図8に示すように、第2撮像画像では、二点鎖線で示す第1撮像画像における傷像K1よりも若干ずれた位置に傷像K2が得られる。
レンズ32の対角画角が予め分かっているため、撮像部30が穴の挿入方向、また反挿入方向に移動した場合の傷像K1の移動方向は、一義的に決定できる。本実施形態では、これを利用して、判別装置60の位置算出部66は、傷像K1の移動による結果が傷像K2であることを判定している。
次に、図9に示すように、判別装置60の位置算出部66は、第2撮像画像において、傷像K2における重心と光軸O2の距離を第2距離bとして算出する。すなわち、撮像素子33は、複数の画素からなるエリアイメージセンサからなっているため、傷像K2における重心と光軸O2間の画素数をカウントし、その値を第2距離bとする。
そして、位置算出部66は、式(1)~式(3)により、r及びz1を算出する。なお、本実施形態では、z1は、第2位置に移動する前に位置した第1位置を基準とした値である。このため、この値に対して、穴82の開口端の撮像開始位置からの撮像部30の第1位置まで移動した距離を判別装置60は、図示しない記憶部に記憶しており、この距離をさらに加算することにより、傷の穴82の開口端からの傷の位置を、基準平面Hからのzの値として求める。
また、位置算出部66は、図12に示すように、第2撮像画像において、光軸O2に直交するX軸を水平に配置したときのX軸から、光軸O2と傷像K2の重心を結ぶ直線Qまでの反時計回り方向の角度を方位角φとして算出する。なお、直線Qは、第1撮像画像において、光軸O2と傷像K2の重心を結ぶ直線としてもよい。この場合、第1撮像画像に基づいて方位角φを算出すればよい。
このようにして、位置算出部66は、穴82の内周面の傷の位置の三次元座標(r、φ、z)を算出する。
本実施形態では、下記の特徴を有する。
(1)穴内部検査装置10の撮像部30は、レンズ32の光軸O2における第1位置と、該第1位置から移動機構50にて移動させたレンズ32の光軸O2における第2位置とで第1撮像画像及び第2撮像画像をそれぞれ取得する。
また、位置算出部66、第1撮像画像と第2撮像画像にそれぞれ共通の傷像がある場合、第1位置と第2位置間の移動距離L、第1撮像画像の傷像K1と光軸O2との間の第1距離a、第2撮像画像の傷像K2と光軸O2との間の第2距離b、並びに第2撮像画像に基づいて穴82の内周面の傷の三次元位置を算出する。この結果、穴82の内周面の傷の三次元位置を容易に算出して得ることができる。
(2)穴内部検査装置10の判別装置60は、換算テーブル67を備えている。この換算テーブル67は、レンズ32の対角画角毎に、光軸O2から離間する被検査体80の穴82の内周面の部位からレンズ32の位置までを結ぶ直線が光軸O2と交差する交差角と、撮像画像における光軸O2から傷像迄の距離とが対応付けされている。位置算出部66は、この換算テーブル67に基づいて第1距離aに対応する第1交差角θ1を算出するとともに、第2距離bに対応する第2交差角θ2を算出する。そして、位置算出部66は、第1交差角θ1及び第2交差角θ2、並びに移動距離Lに基づいて光軸O2からの穴82の内周面の傷の離間距離である距離rを算出する。
この結果、本実施形態によれば、光軸O2からの穴82の内周面の傷の離間距離を算出できる。
本実施形態は、以下のように変更して実施することができる。
本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・前記実施形態では、穴の内周面の検査の対象を鏡面としたが、鏡面である必要はない。例えば内周面が均一の粗面を有している場合においても、その粗面に凹部や凸部があると、均一な粗面ではない領域となるため、その領域の傷の種類の判別を容易に行うことができ、検出時間、コストが従来よりも軽減できる。
・また、図13に示すように、検査部として、ディスプレイ70としてもよく、この場合は、ディスプレイ70に撮像画像を表示して、作業者が傷の種類を目視判別する。なお、駆動モータ54は、モータ制御装置90により、検査時には駆動モータ54を正転又は逆転制御する。
この場合、ディスプレイ70において、撮像画像を表示して作業者が目視することにより、撮像画像において、穴の内周面の傷がない部位は、内周面が鏡面の場合には、鏡面反射して高い画素値の領域は、無傷とし、傷がある部位は乱反射等して画素値が低い領域、或いは反射光がなくて画素値が最小値の領域となって表示されることになる。
作業者は、穴の内周面に傷がある場合は、この画素値の相違によりその傷の種類を判定できる。
・上記の各実施形態では、被検査体80をベース部材12に載置固定し、移動機構50により、本体部20、挿入部材としてのステー41を移動するようにした。
この構成に代えて、図14に示すように、反対に本体部20、挿入部材としてのステー41をベース部材12に固定し、被検査体80を、ベース部材12上において、左右方向に移動自在の載置台95に載置固定し、図示しない移動機構により、左右方向、すなわち、相対的に、穴82に対して、挿入方向または反挿入方向に移動可能にしてもよい。ここで、移動機構は、例えば、ベース部材12上を載置台95と、載置台95を前記方向に移動させるリニアモータで構成してもよい。勿論、リニアモータ以外の電動モータ、シリンダ等により、載置台95を移動させてもよい。
・前記実施形態において、レンズ32を広角レンズに限定するものではない。他のレンズであってもよい。例えば、35mm版換算で標準レンズとされる50mm、望遠レンズ、ズームレンズとしてもよい。
・前記実施形態では、カラー光源の数を3つとしているが、3つに限定するものではなく、2つ以上であればよい。
・遮蔽部としての遮蔽部材45を省略してもよい。
・図示はしないが、カラー光源42、43、44の周囲に拡散部材を配置してもよい。拡散部材は、例えば、半透明の筒状をなしていて、カラー光源42、43、44及び遮蔽部材45を共に覆うように外嵌可能に設ければ良い。
・第2実施形態では、レンズの画角を対角画角としたが、対角画角に限定するものではなく、垂直画角、水平画角としてもよい。
・第2実施形態では、三次元座標は、円筒座標系で説明したが、円筒座標系以外の座標系であってもよい。
10…穴内部検査装置
12…ベース部材(支持部)
13…レール部材
14…ガイド突部
15…レール溝
20…本体部
30…撮像部
31…光学筒部
32…レンズ
33…撮像素子
40…光源部
41…ステー(挿入部材)
42、43、44…カラー光源
45…遮蔽部材(遮蔽部)
50…移動機構
51…軸受
52…ボールネジ
53…ナット
54…駆動モータ
60…判別装置
61…インターフェイス
62…画像入力部
63…傷種類判別部(検査部)
64…画像記憶部
65…判別結果記憶部
66…位置算出部
67…換算テーブル
70…ディスプレイ
80…被検査体
102…赤の単色領域
103…黒色領域
104…緑の単色領域
105…黒色領域
106…青の単色領域
O1…軸心
O2…光軸

Claims (9)

  1. 被検査体の穴に挿入される挿入部材と、
    前記挿入部材の先端側に対して、前記被検査体に対する挿入方向に沿って相互に色が異なる複数のカラー光源が固定配置された光源部と、
    前記挿入部材において、前記光源部よりも基端側に取付けられるとともに、前記光源部の投射光が前記被検査体の穴の内周面に対して反射したときの反射光を受入可能な位置に位置するレンズと、
    前記レンズを介して前記被検査体の穴の内周面の反射光を受光し、前記カラー光源のカラーが付与された領域を含む撮像画像を取得する撮像部と、
    前記撮像部から出力された撮像画像を入力する検査部を有し、前記複数のカラー光源のうち、相互に隣接するカラー光源間には該隣接する他のカラー光源の投射光を遮蔽する遮蔽部を有する穴内部検査装置。
  2. 前記検査部は、前記撮像画像を表示して、作業者が目視可能に設けられた表示部である請求項1に記載の穴内部検査装置。
  3. 前記検査部は、判別装置に含まれるとともに、
    前記撮像画像に基づいて前記穴の内周面の傷の種類判別を行う傷種類判別部である請求項1に記載の穴内部検査装置。
  4. 前記被検査体を支持する支持部を有し、
    前記挿入部材、または前記支持部には、前記挿入部材を介して前記レンズを前記被検査体の穴に対して挿入方向または反挿入方向に相対的に移動させる移動機構を有する請求項3に記載の穴内部検査装置。
  5. 前記撮像部は、前記レンズの光軸における第1位置と、該第1位置から前記移動機構にて移動させた前記レンズの光軸における第2位置とで前記撮像画像である第1撮像画像及び第2撮像画像をそれぞれ取得し、
    前記検査部は、位置算出部を備え、
    前記位置算出部は、第1撮像画像と第2撮像画像にそれぞれ共通の傷像がある場合、第1位置と第2位置の移動距離、第1撮像画像の前記傷像と前記光軸との間の第1距離、第2撮像画像の前記傷像と前記光軸との間の第2距離、並びに第1撮像画像または第2撮像画像に基づいて前記穴の内周面の傷の三次元位置を算出する請求項4に記載の穴内部検査装置。
  6. 前記判別装置は、換算テーブルを備え、
    前記換算テーブルは、前記レンズの画角毎に、前記光軸から離間する前記被検査体の穴の内周面の部位から前記レンズの位置までを結ぶ直線が前記光軸と交差する交差角と、撮像画像における前記光軸から傷像迄の距離とが対応付けされていて、
    前記位置算出部は、前記換算テーブルに基づいて前記第1距離に対応する交差角を第1交差角として算出するとともに、前記第2距離に対応する交差角を第2交差角として算出し、
    第1交差角及び第2交差角、並びに前記移動距離に基づいて前記光軸からの前記穴の内周面の傷の離間距離を算出する請求項5に記載の穴内部検査装置。
  7. 前記カラー光源は、点光源である請求項1乃至請求項6のうちいずれか1項に記載の穴内部検査装置。
  8. 前記カラー光源は、前記挿入方向に延出された線光源である請求項1乃至請求項6のうちいずれか1項に記載の穴内部検査装置。
  9. 前記レンズは、広角レンズである請求項1乃至請求項のうちいずれか1項に記載の穴内部検査装置。
JP2020001544A 2020-01-08 2020-01-08 穴内部検査装置 Active JP7205832B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020001544A JP7205832B2 (ja) 2020-01-08 2020-01-08 穴内部検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020001544A JP7205832B2 (ja) 2020-01-08 2020-01-08 穴内部検査装置

Publications (2)

Publication Number Publication Date
JP2021110595A JP2021110595A (ja) 2021-08-02
JP7205832B2 true JP7205832B2 (ja) 2023-01-17

Family

ID=77059609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020001544A Active JP7205832B2 (ja) 2020-01-08 2020-01-08 穴内部検査装置

Country Status (1)

Country Link
JP (1) JP7205832B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043842A (ja) * 2021-09-16 2023-03-29 Jfeスチール株式会社 耐火物表面形状測定方法、耐火物損耗量測定方法および溶鉄の製造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191242A (ja) 2013-03-28 2014-10-06 Kubota Corp 内面検査装置
JP2017053790A (ja) 2015-09-11 2017-03-16 新日鐵住金株式会社 欠陥検出装置及び欠陥検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54146284U (ja) * 1978-03-31 1979-10-11

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191242A (ja) 2013-03-28 2014-10-06 Kubota Corp 内面検査装置
JP2017053790A (ja) 2015-09-11 2017-03-16 新日鐵住金株式会社 欠陥検出装置及び欠陥検出方法

Also Published As

Publication number Publication date
JP2021110595A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
JP5638517B2 (ja) 光学検査プローブ
JP5144401B2 (ja) ウエハ用検査装置
JP5120625B2 (ja) 内面測定装置
KR20120088773A (ko) 검사 장치, 3차원 형상 측정 장치, 구조물의 제조 방법
JP6859627B2 (ja) 外観検査装置
JP4724056B2 (ja) 検査装置
JP6786593B2 (ja) 多視点による対象検査装置及び方法
JP2019045470A (ja) 外観検査装置及びその方法
TWI449878B (zh) 用於光學地將一三維物體轉換一二維平面影像的裝置與方法
JP2012229978A (ja) 孔内周面撮影装置
US7625100B2 (en) System and method for inside can inspection
JP6859628B2 (ja) 外観検査方法および外観検査装置
JP2006337074A (ja) 外観検査装置
JP7205832B2 (ja) 穴内部検査装置
JP2017166903A (ja) 欠陥検査装置及び欠陥検査方法
JP6387381B2 (ja) オートフォーカスシステム、方法及び画像検査装置
JP5042503B2 (ja) 欠陥検出方法
KR100728694B1 (ko) 구멍 내벽 검사 장치
KR20200076078A (ko) 커버 글라스 검사장치
JP2010145253A (ja) 筒表面を撮影し方形平面画像を取得する方法
JP7030764B2 (ja) 多視点による対象検査装置及び方法
KR101745764B1 (ko) 광학식 판재 표면검사장치 및 판재 표면검사방법
JP7549349B2 (ja) 外周検査装置
JP4258401B2 (ja) 凹凸面の表面欠陥検査装置
JP7516201B2 (ja) 検査装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211025

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211103

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R150 Certificate of patent or registration of utility model

Ref document number: 7205832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150