JP7343133B1 - Image inspection methods and programs - Google Patents
Image inspection methods and programs Download PDFInfo
- Publication number
- JP7343133B1 JP7343133B1 JP2023074229A JP2023074229A JP7343133B1 JP 7343133 B1 JP7343133 B1 JP 7343133B1 JP 2023074229 A JP2023074229 A JP 2023074229A JP 2023074229 A JP2023074229 A JP 2023074229A JP 7343133 B1 JP7343133 B1 JP 7343133B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- inspection object
- observation
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013519 translation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 36
- 230000007547 defect Effects 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000011179 visual inspection Methods 0.000 description 5
- 230000037303 wrinkles Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000012768 molten material Substances 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】任意の曲線部を含む画像から特定個所のみを限定的に抽出して矩形画像に変換する画像検査方法を提供する。【解決手段】検査対象物を撮影して得られた画像を用いて検査対象物の良否判定を行う画像検査方法は、画像における検査対象物の所望個所に要観察部分を設定する第1ステップと、要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備える。好ましくは、取得された画素値を新たな矩形画像に整列させる第3ステップをさらに備える。【選択図】図1The present invention provides an image inspection method for extracting only a specific part from an image including arbitrary curved parts in a limited manner and converting the extracted part into a rectangular image. [Solution] An image inspection method for determining the quality of an inspection object using an image obtained by photographing the inspection object includes a first step of setting a required observation part at a desired location of the inspection object in the image. , a second step of acquiring linear or rectangular pixel values of a predetermined length extending in a predetermined direction from each of the consecutive pixels constituting the observation target portion. Preferably, the method further includes a third step of aligning the acquired pixel values into a new rectangular image. [Selection diagram] Figure 1
Description
本発明は、検査対象物を撮影して得られた画像により検査対象物の良否判定を行う画像検査方法およびプログラムに関する。 The present invention relates to an image inspection method and program for determining the quality of an inspection object using images obtained by photographing the inspection object.
工業製品における画像検査は、傷や汚れなどの欠陥検出を目的としており、一般に正常製品の画像との相違を見出す方法が実施される。
近年では、例えば正常画像や複数の欠陥画像を深層学習等に学習させ、検査対象物の画像の欠陥有無を判定する方法も多く利用されている。また、参照画像の情報のみを学習させ、対象画像の欠陥有無を検知するMT法(非特許文献1参照)等の機械学習の方法も知られている。さらに、古典的な方法ではあるが、二値化した画像の正常画像に対する差分の大きさにより判定を行う方法も利用されている。本明細書では、これらの欠陥有無を判定するためのアルゴリズムの総称を「検査アルゴリズム」と呼称する。
Image inspection of industrial products is aimed at detecting defects such as scratches and stains, and generally involves a method of detecting differences from images of normal products.
In recent years, many methods have been used in which, for example, a normal image or a plurality of defective images are trained by deep learning or the like to determine the presence or absence of a defect in an image of an object to be inspected. Furthermore, machine learning methods such as the MT method (see Non-Patent Document 1) are also known, in which only information on a reference image is learned and the presence or absence of defects in a target image is detected. Furthermore, although it is a classical method, a method is also used in which determination is made based on the magnitude of the difference between a binarized image and a normal image. In this specification, these algorithms for determining the presence or absence of defects are collectively referred to as "inspection algorithms."
画像検査の対象製品には様々なものがあるが、例えば自動車用エンジンのダイキャスト製品の画像検査は、人間による目視検査を自動化することを目的としており、目視検査と同等かそれ以上の検査精度が求められる。
ダイキャスト製品は、溶融したアルミニウムなどの素材を型に流し込み、素材の冷却後に型から取り出すことによって製造される。製品の目視検査では、バリ、欠け、又は湯じわ等の有無が検査され、欠陥の発生部位は、欠陥の種類により決まることが多い。例えば、バリはダイキャスト製品の外周等の型合わせ部で発生し、欠けはダイキャスト製品の角部や稜線部で発生する頻度が高いので、検査員はそのような個所を重点的に検査する。このように、欠陥の種類により、検査員の注目部位や判定条件が異なるのが一般的である。
画像検査は、検査員による目視検査を自動化することを目的としているので、画像検査の実施にあたっても欠陥ごとに最適な画像個所を設定し、検査アルゴリズムに渡すのが望ましい。
There are various products that are subject to image inspection, but for example, image inspection of die-cast products for automobile engines is aimed at automating visual inspection by humans, and the inspection accuracy is equivalent to or higher than that of visual inspection. is required.
Die-cast products are manufactured by pouring molten aluminum or other material into a mold and removing it from the mold after the material has cooled. In visual inspection of a product, the presence or absence of burrs, chips, hot water wrinkles, etc. is inspected, and the location of the defect is often determined by the type of defect. For example, burrs occur at mold matching areas such as the outer periphery of die-cast products, and chips frequently occur at corners and ridges of die-cast products, so inspectors should focus their inspections on such areas. . In this way, the inspector's attention area and judgment conditions generally differ depending on the type of defect.
Since the purpose of image inspection is to automate visual inspection by inspectors, it is desirable to set the optimal image location for each defect and pass it to the inspection algorithm when performing image inspection.
上述のように、製品の欠陥の種類によって、検査時に注目すべき個所が異なる。特に、検査対象物が複雑な形状を有する場合、効率的な検査を行うためには、注目個所(例えば、稜線部、外周部)に絞って検査を行うのが望ましい。しかしながら、従来の画像検査においては、検査のために撮影する画像が矩形であるため、検査画像には、注目部位以外の個所も含まれるという不都合がある(例えば、稜線部の欠けを検査しようとする場合、画像には、稜線部以外の個所や撮影対象物を載せる台なども映り込んでいる)。 As mentioned above, the areas to be focused on during inspection differ depending on the type of product defect. In particular, when the object to be inspected has a complicated shape, in order to perform an efficient inspection, it is desirable to focus the inspection on points of interest (for example, ridges, outer periphery). However, in conventional image inspection, since the image taken for inspection is rectangular, there is a problem that the inspection image includes areas other than the area of interest (for example, when trying to inspect a chip on a ridge line). (In this case, the image also includes areas other than the ridgeline and the stand on which the object is placed.)
また、既存の検査アルゴリズムが矩形画像を対象とするものが大半であるため、注目個所が湾曲部等を含む場合には、このような矩形画像をそのまま利用して検査アルゴリズムが適用されるため、対象部位以外の個所も含んだ部分について検査処理が行われることになり、処理時間の増大や検査精度劣化の原因となっている。 In addition, most existing inspection algorithms target rectangular images, so if the point of interest includes a curved part, the inspection algorithm is applied using such a rectangular image as is. Inspection processing is performed on parts including parts other than the target part, which causes an increase in processing time and a deterioration in inspection accuracy.
本発明は、このような状況下で開発されたものであって、任意の曲線部を含む画像から特定個所のみを限定的に抽出して矩形画像に変換する画像検査方法およびプログラムを提供することを目的としている。 The present invention was developed under such circumstances, and provides an image inspection method and program for extracting only a specific part from an image including an arbitrary curved part in a limited manner and converting the extracted part into a rectangular image. It is an object.
検査アルゴリズムが受け取る画像は一般に、縦横に格子状に並んだ画素集合であり、全体として矩形である。
本発明者は、検査注目個所が任意の曲線形状を含む場合であっても、曲線に沿った要観察部分のみを取り出して矩形画像に変換することができれば、既存の検査アリゴリズムを用いて短時間に高精度で画像処理を行うことが可能となることに着想した。
画像から矩形以外の部分を取り出して矩形に変形する技術として、従来、ポーラ展開と呼ばれる方法が知られている。ポーラ展開は、対象画像から特定された円形状について、円の中心と直径を求めた後、円の中心と外周(円周)とを放射状に結ぶ多数の直線を定義し、直線状の画素を整列させて矩形に変形する方法である。ポーラ展開では、円の中心部は大きく拡大されることになるが、外周部が矩形画像になるので、検査アルゴリズムの短時間かつ高精度での適用が容易になる。
しかし、ポーラ展開では、ダイキャスト製品等の画像検査において、欠陥の発生しやすい特定個所(例えば、外周部、角部、又は稜線部)を限定的に矩形画像として抽出することはできない。
本発明者は、以下に詳述するように、任意の曲線部を含む画像から特定個所のみを限定的に抽出して矩形画像に変換する方法およびプログラムを提案する。
The image received by the inspection algorithm is generally a collection of pixels arranged in a horizontal and vertical grid, with an overall rectangular shape.
The present inventor believes that even if the inspection target area includes an arbitrary curved shape, if it is possible to extract only the part that requires observation along the curve and convert it into a rectangular image, the inspection algorithm can be used in a short time using existing inspection algorithms. The idea was that it would be possible to perform image processing with high precision.
A method called polar expansion is conventionally known as a technique for extracting a non-rectangular portion from an image and transforming it into a rectangle. Polar expansion calculates the center and diameter of a circular shape identified from the target image, then defines a number of straight lines radially connecting the center and outer circumference (circumference) of the circle, and then calculates the linear pixels. This method aligns them and transforms them into a rectangle. In polar expansion, the center of the circle is greatly enlarged, but the outer periphery becomes a rectangular image, making it easier to apply the inspection algorithm in a short time and with high precision.
However, in polar expansion, in image inspection of die-cast products and the like, it is not possible to extract specific areas where defects are likely to occur (for example, the outer periphery, corners, or ridge lines) as a limited rectangular image.
As will be described in detail below, the present inventor proposes a method and a program for extracting only a specific part from an image including an arbitrary curved part in a limited manner and converting the extracted part into a rectangular image.
請求項1に記載された、検査対象物を撮影して得られた画像を用いて前記検査対象物の良否判定を行う画像検査方法は、前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定する第1ステップと、前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備え、取得された前記画素値が、前記画素の移動平均によって描かれる仮想曲線の接線と垂直方向に設定されることを特徴とするものである。
The image inspection method of determining the quality of the inspection object using an image obtained by photographing the inspection object according to
請求項2に記載された、検査対象物を撮影して得られた画像を用いて前記検査対象物の良否判定を行う画像検査方法は、前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定する第1ステップと、 前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備え、取得された前記画素値が、前記画素のうち予め設定された間隔の画素を結ぶ直線と垂直方向に設定されることを特徴とするものである。
The image inspection method according to
請求項3に記載された、検査対象物を撮影して得られた画像を用いて前記検査対象物の良否判定を行う画像検査方法は、前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定する第1ステップと、 前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備え、取得された前記画素値が、前記要観察部分を所定距離だけ平行移動させ、前記平行移動の前後の対応する画素間を結ぶことによって設定されることを特徴とするものである。 The image inspection method of determining the quality of the inspection object using an image obtained by photographing the inspection object, according to a third aspect of the present invention, includes: a first step of setting a straight line and/or a curved line, and a second step of obtaining a linear or rectangular pixel value of a predetermined length extending in a predetermined direction from each continuous pixel constituting the observation target portion. and the acquired pixel value is set by translating the observation target portion by a predetermined distance and connecting corresponding pixels before and after the translation. .
請求項4に記載された、検査対象物を撮影して得られた画像を用いて前記検査対象物の良否判定を行う画像検査プログラムは、前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定して記憶装置に格納するステップと、前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得して記憶装置に格納するステップとを備え、取得された前記画素値が、前記画素の移動平均によって描かれる仮想曲線の接線と垂直方向に設定されることを特徴とするものである。 According to a fourth aspect of the present invention, there is provided an image inspection program for determining the quality of the inspection object using an image obtained by photographing the inspection object; is set as a straight line and/or a curved line and stored in a storage device, and a linear or rectangular pixel value of a predetermined length extending in a predetermined direction is obtained from each continuous pixel constituting the observation portion. The method is characterized in that the acquired pixel value is set in a direction perpendicular to a tangent to a virtual curve drawn by a moving average of the pixels.
請求項5に記載された、検査対象物を撮影して得られた画像を用いて前記検査対象物の良否判定を行う画像検査プログラムは、前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定して記憶装置に格納するステップと、前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得して記憶装置に格納するステップとを備え、取得された前記画素値が、前記画素のうち予め設定された間隔の画素を結ぶ直線と垂直方向に設定されることを特徴とするものである。 According to a fifth aspect of the present invention, there is provided an image inspection program for determining the quality of the inspection object using an image obtained by photographing the inspection object, which includes an image inspection program for determining the quality of the inspection object using an image obtained by photographing the inspection object. is set as a straight line and/or a curved line and stored in a storage device, and a linear or rectangular pixel value of a predetermined length extending in a predetermined direction is obtained from each continuous pixel constituting the observation portion. acquiring and storing it in a storage device, and the acquired pixel value is set in a direction perpendicular to a straight line connecting pixels at preset intervals among the pixels. .
請求項6に記載された、検査対象物を撮影して得られた画像を用いて前記検査対象物の良否判定を行う画像検査プログラムは、前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定して記憶装置に格納するステップと、前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得して記憶装置に格納するステップとを備え、取得された前記画素値が、前記要観察部分を所定距離だけ平行移動させ、前記平行移動の前後の対応する画素間を結ぶことによって設定されることを特徴とするものである。 According to a sixth aspect of the present invention, there is provided an image inspection program for determining the quality of the inspection object using an image obtained by photographing the inspection object; is set as a straight line and/or a curved line and stored in a storage device, and a linear or rectangular pixel value of a predetermined length extending in a predetermined direction is obtained from each continuous pixel constituting the observation portion. the acquired pixel value is set by translating the observation-required portion by a predetermined distance and connecting corresponding pixels before and after the translation. It is characterized by this.
本発明の画像検査方法およびプログラムによれば、任意の曲線部を含む画像から特定個所のみを限定的に抽出して矩形画像に変換することができるので、既存の検査アリゴリズムを用いて短時間に高精度で画像処理を行うことが可能となる。 According to the image inspection method and program of the present invention, it is possible to extract only a specific part from an image including an arbitrary curved part and convert it into a rectangular image in a short time using existing inspection algorithms. It becomes possible to perform image processing with high precision.
次に、図面を参照して、ダイキャスト製品(以下「製品」という)の画像検査を例として、本発明の好ましい実施の形態に係る画像検査方法について説明する。図1は、本発明の好ましい実施の形態に係る画像検査方法のフロー図である。 Next, an image inspection method according to a preferred embodiment of the present invention will be described with reference to the drawings, taking image inspection of a die-cast product (hereinafter referred to as "product") as an example. FIG. 1 is a flow diagram of an image inspection method according to a preferred embodiment of the present invention.
図2(a)は、製品10の撮影画像を示した図である。撮影画像の背景は通常、黒色であり、本例では製品10の上方に照明があるため、背景を濃いグレー表示、製品10の上面を白色表示、製品10の側面を薄いグレー表示とする。製品の製造に際して、高圧力で互いに締め付けられた雄型と雌型(いずれも図示せず)が上方と下方にそれぞれ用意される。雄型と雌型との間の空間に溶融した素材が流し込まれ、素材の冷却後に、硬化した素材を型から取り出すことによって、製品10が得られる。そのため、型合わせ部10aが僅かに現れる。
FIG. 2(a) is a diagram showing a photographed image of the
図2(b)は、製品10の製造時に発生するバリ12、稜線部10bの欠け14、平面部の湯じわ16を示した図である。これらの欠陥のうち、バリ12は雄型と雌型の締め付け圧力が不足したり、雄型及び/又は雌型が熱変形したりした場合に型合わせ部10aで発生し易い。また、欠け14は、製品10の稜線部10bや角部10cで発生し易く、流し込まれる溶融素材(以下「湯」という)の注入圧力が不足した場合等に発生する。さらに、湯じわ16は、本来平面であるべき個所に凹凸が形成される欠陥であり、湯の流れが淀む個所(例えば、湯が型に流れ込むゲート付近、複数のゲートから型の内部に流し込まれた湯の合流個所)に発生し易い。
FIG. 2(b) is a
いま、図2(a)の撮影画像が得られ、手前に見える稜線部10bにおける欠け14の有無検査をする場合を考える。まず、画像の中から稜線部10b付近の領域(図3の破線部)のみに注目し、この領域を矩形画像にする手順を説明する。
Now, let us consider a case where the photographed image of FIG. 2(a) is obtained and the presence or absence of a
(第1ステップ)
まず第1ステップとして、図4(a)に示されるように、担当技術者が検査すべきと考える稜線部10b付近の個所に、要観察部分Aを直線及び/又は曲線により設定する。設定する方法は、画像にマウスやタッチペン等で直接描く等、任意の方法でよい。
(1st step)
First, as a first step, as shown in FIG. 4(a), a required observation area A is set by a straight line and/or a curved line at a location near the
図4(b)には、このようにして設定された要観察部分Aが示されている。要観察部分Aは、連続した画素の集合であり、本例では全体として下方に凸の湾曲形状を有している。要観察部分Aの左上端部を原点とする直交座標を考える。画像データでは、左上端部を原点とし、右方向をX軸の正、下方向をY軸の正とするのが一般的であることを考慮したものである。 FIG. 4(b) shows the observation-required portion A set in this way. The observation-required portion A is a set of continuous pixels, and in this example, has a downwardly convex curved shape as a whole. Consider rectangular coordinates with the origin at the upper left corner of the observation area A. This takes into account that in image data, the upper left end is generally the origin, the right direction is the positive X axis, and the downward direction is the positive Y axis.
以降の図面の説明のため、記号を定義する。
画素番号:i(本例では、i=0~63;X=62に縦に2画素あるため)
全画素数:N(本例では、N=64)
画素の座標:(Xi,Yi)
移動平均パラメータ:p
Symbols will be defined for the explanation of the drawings that follow.
Pixel number: i (in this example, i = 0 to 63; there are 2 pixels vertically at X = 62)
Total number of pixels: N (in this example, N=64)
Pixel coordinates: (X i , Y i )
Moving average parameter: p
移動平均パラメータpは、後述する新たな座標値を計算するためのパラメータであり、注目する画素番号iについての移動平均は、下式で与えられる。
X´=(Xi-p+Xi-p+1+・・・+Xi+Xi+1+・・・+Xi+p)/(2p+1)
Y´=(Yi-p+Yi-p+1+・・・+Yi+Yi+1+・・・+Yi+p)/(2p+1)
すなわち、要観察部分A上の注目する画素番号iにおいて、当該画素の両側p×2個と画素番号i自身の座標の平均座標を求める。
The moving average parameter p is a parameter for calculating a new coordinate value, which will be described later, and the moving average for the pixel number i of interest is given by the following formula.
X'=(X i-p +X i-p+1 +...+X i +X i+1 +...+X i+p )/(2p+1)
Y'=(Y i-p +Y i-p+1 +...+Y i +Y i+1 +...+Y i+p )/(2p+1)
That is, at the pixel number i of interest on the observation target portion A, the average coordinates of p×2 coordinates on both sides of the pixel and the coordinates of the pixel number i itself are determined.
(第2ステップ)
図1において破線で囲んだ第2ステップについて説明する。図5(a)には、図4(b)において一点鎖線で示した領域5aの拡大図が示されている。最初に、画素<イ>に注目する。画素<イ>の座標は、(31,21)である。移動平均パラメータpを2とすると、隣接する2個ずつの画素を含めた座標は、図5(b)に示す通りである。すなわち、画素<イ>の座標平均値は(31,20.6)となり、その位置を図5(a)において〇印<ロ>で示す。
(Second step)
The second step surrounded by a broken line in FIG. 1 will be explained. FIG. 5(a) shows an enlarged view of the
次に、画素<イ>の右隣に位置する画素<ハ>に注目する。画素<ハ>の座標は(32,21)である。画素<イ>の場合と同様にして、画素<ハ>の座標平均値(32,20.8)を求め、その位置を図5(c)において〇印<ニ>で示す。そして、<ロ>の中心と<ニ>の中心を結ぶ直線<ホ>を設定する(図5(d))。直線<ホ>は、画素<イ>における要観察部分Aの接線とみなすことができる。なお、隣接する画素(<イ>と<ハ>)の中心ではなく、隣接する画素の座標平均値(<ロ>と<ニ>)の中心を結んだのは、できるだけ自然な接線を求めるためである。 Next, pay attention to the pixel <C> located to the right of the pixel <A>. The coordinates of pixel <c> are (32,21). In the same manner as in the case of pixel <A>, the coordinate average value (32, 20.8) of pixel <C> is determined, and its position is indicated by a circle <D> in FIG. 5(c). Then, set a straight line <ho> connecting the center of <b> and the center of <d> (Fig. 5(d)). The straight line <E> can be regarded as a tangent to the observation target portion A at the pixel <A>. Note that the reason why we connected the centers of the coordinate average values of adjacent pixels (<B> and <D>) rather than the centers of adjacent pixels (<A> and <C>) is to find a tangent line that is as natural as possible. It is.
次に、図6(a)に示されるように、画素<イ>の中心から、直線<ホ>とほぼ垂直方向に延びた長さLの直線<へ>を設定する。直線<へ>を画素で示したのが、図6(b)である。直線<へ>は、本図の例では画素<イ>を入れて9個の画素を含む集合である(図6(b))。なお、図6(a)に示される例では、直線<へ>が画素<イ>の下側(斜め下方)に設定されているが、直線<へ>の設定方向は、矩形画像を得ようとする方向となる。すなわち、本例では、検査対象が製品10の稜線部10bであり、図4(b)の要観察部分Aの下側に位置する部分の矩形画像を得ようとしているので、直線<へ>は、画素<イ>の上側ではなく、下側に設定される。
Next, as shown in FIG. 6A, a straight line <to> with a length L extending from the center of the pixel <A> in a direction substantially perpendicular to the straight line <E> is set. FIG. 6(b) shows the straight line <to> using pixels. In the example shown in this figure, the straight line <to> is a set including nine pixels including pixel <a> (FIG. 6(b)). In the example shown in FIG. 6(a), the straight line <to> is set below the pixel <A> (diagonally downward), but the setting direction of the straight line <to> is set to obtain a rectangular image. The direction is as follows. That is, in this example, the inspection target is the
画素<イ>の右隣に位置する画素<ハ>についても、画素<イ>について直線<へ>を求めたのと同様にして、直線<チ>及び直線<チ>とほぼ垂直方向に延びた長さLの直線<リ>を設定する(図7(a))。より詳細に説明すると、画素<ハ>の座標平均値から新たな座標を求め、〇印<ニ>で示す。次に、画素<ハ>の右隣に位置する画素<ヌ>の座標平均値から新たな座標を求め、〇印<ト>で示す。そして、<ニ>の中心と<ト>の中心を結ぶ直線<チ>、および画素<ハ>の中心から直線<チ>とほぼ垂直方向に延びた長さLの直線<リ>を設定する。直線<リ>は、直線<へ>と同様に、画素<ハ>を入れて9個の画素を含む集合である(図7(b))。 Regarding the pixel <C> located on the right side of the pixel <A>, in the same way as the straight line <To> was obtained for the pixel <A>, a straight line <C> and a line extending approximately perpendicular to the straight line <C> are obtained. A straight line <li> of length L is set (FIG. 7(a)). To explain in more detail, new coordinates are determined from the coordinate average value of the pixel <C> and are indicated by a circle <D>. Next, new coordinates are determined from the coordinate average values of the pixel <nu> located on the right side of the pixel <c>, and are indicated by a circle <g>. Then, set a straight line <C> connecting the center of <D> and <G>, and a straight line <R> of length L extending from the center of pixel <C> in a direction almost perpendicular to the straight line <C>. . The straight line <li>, like the straight line <to>, is a set including nine pixels including the pixel <c> (FIG. 7(b)).
画素<イ>および画素<ハ>について実行した上述の処理を、要観察部分Aのすべての画素について行う。このようにして、要観察部分Aの画素が持つ輝度情報(以下「画素値」という)が取得される。図8に、その結果が示されている。図8では、求められた長さLの直線のみが表示されている。なお、要観察部分Aのうち両端に位置するp=2個の画素については、移動平均座標を計算できないため、長さLの直線は求められていない。 The above-described processing performed for pixel <A> and pixel <C> is performed for all pixels of observation target portion A. In this way, the brightness information (hereinafter referred to as "pixel value") possessed by the pixels of the observation target portion A is obtained. The results are shown in FIG. In FIG. 8, only the straight line with the determined length L is displayed. Note that for p=2 pixels located at both ends of the observation-required portion A, the moving average coordinates cannot be calculated, so a straight line of length L is not determined.
(第3ステップ)
次に、第3ステップとして、長さLの直線を含む画素を矩形に整列させる。図6(c)は、画素<イ>について求めた長さL(ここでは画素数9個)の直線<へ>を含む画素を整列させた図であり、図7(c)は、画素<ハ>について求めた長さL(同様に画素数9個)の直線<リ>を含む画素を整列させた図である。ここで、「整列させる」とは、画素を一列に並べ替えることを意味する。このようにして、画素<イ>および画素<ハ>について求めた斜め方向に延びる直線を、それぞれ<ル>および<ヲ>のように一列の縦の画素に並び替えることができる。<ル>と<ヲ>を並べると、横×縦の画素数が2×9の画像となる。
(3rd step)
Next, as a third step, pixels including straight lines of length L are arranged into a rectangle. FIG. 6(c) is a diagram in which pixels including a straight line <to> of length L (9 pixels in this case) determined for pixel <a> are aligned; It is a diagram in which pixels including a straight line <i> of length L (also 9 pixels) determined for <c> are arranged. Here, "aligning" means rearranging the pixels in a line. In this way, the diagonally extending straight lines obtained for the pixel <A> and the pixel <C> can be rearranged into a row of vertical pixels like <R> and <W>, respectively. When <ru> and <wo> are placed side by side, an image with horizontal and vertical pixels of 2 x 9 is created.
図9(a)は、長さLの直線の全てを整列させた状態を示した図、図9(b)は、これらを画素として図示した図である。要観察部分Aが、N個の画素で描かれており、本例では、移動平均パラメータp=2としたので、横方向に(N-4)本の長さLの画像データとなる。 FIG. 9(a) is a diagram showing a state in which all straight lines of length L are aligned, and FIG. 9(b) is a diagram showing these as pixels. The observation-required portion A is drawn with N pixels, and in this example, the moving average parameter p=2, resulting in (N-4) pieces of image data of length L in the horizontal direction.
以上の処理により、図3において破線で示した領域が矩形画像に変換された。例えば、図2の稜線部10bが正常な場合には、図10(a)のような矩形画像になるが、図2の稜線部10bに欠け14がある場合には、図10(b)のような画像になる。
Through the above processing, the area indicated by the broken line in FIG. 3 has been converted into a rectangular image. For example, if the
図11(a)は、製品10の外周部におけるバリ12の有無を検査するため、製品10の真上から撮影した画像を示した図である。上述の欠け14の有無の検査の場合と同様に、担当技術者が検査すべきと考える個所に要観察部分を設定し、矩形画像に変換することによって、バリ12がある場合には、図11(b)のような画像を得ることができる。
FIG. 11A is a diagram showing an image taken from directly above the
製品10における湯じわ16の有無についても、同様にして、矩形画像に変換することによって、迅速かつ容易に欠陥の有無を検査することができる。
Similarly, the presence or absence of
以上の実施形態の説明では、要観察部分Aの接線にほぼ垂直な所定長さの直線を得るために、要観察部分Aから求めた移動平均座標を用いたが、他の適当な方法を用いて、所定長さの直線を得てもよい。 In the above description of the embodiment, in order to obtain a straight line of a predetermined length that is substantially perpendicular to the tangent to the observation area A, the moving average coordinates obtained from the observation area A are used, but other suitable methods may also be used. A straight line of a predetermined length may be obtained.
例えば、注目する画素<イ>のp個(ここでは2個)両隣の画素の中心を結んで直線<ホ´>を求め、直線<ホ´>とほぼ垂直方向に延びた直線を設定して、所定長さの直線としてもよい(図12参照)。 For example, find a straight line <H'> by connecting the centers of p (in this case 2) neighboring pixels of the pixel of interest <A>, and set a straight line extending almost perpendicular to the straight line <H'>. , it may be a straight line of a predetermined length (see FIG. 12).
また、例えば、設定された要観察部分を所定距離だけ平行移動させ、元の要観察部分と平行移動後の要観察部分の対応する画素間を結ぶことにより、所定長さの直線としてもよい(図13(a))。この方法は、要観察部分の湾曲度が小さい場合に有効である。要観察部分の湾曲度が大きく、要観察部分の両端角度が180度以上となる場合(図13(b))には、適用できない。 Alternatively, for example, a straight line of a predetermined length may be created by translating the set observation-required part by a predetermined distance and connecting the corresponding pixels of the original observation-required part and the parallel-transferred observation-required part. Figure 13(a)). This method is effective when the degree of curvature of the portion to be observed is small. This method cannot be applied when the degree of curvature of the observation-required portion is large and the angles at both ends of the observation-required portion are 180 degrees or more (FIG. 13(b)).
図14は、本発明の画像検査方法によって得られた結果を示した種々の図である。すなわち、図14(a)には、下方に凸の曲線の外側に垂直線が描かれたケース、図14(b)には、任意の曲線に対して多数の垂直線を引き、垂直線上の画素値を得ることができるケースが示され、図14(c)および図14(d)には、ひし形の輪郭線の内側と外側にそれぞれ垂直線が描かれたケースが示されている。 FIG. 14 is a diagram showing various results obtained by the image inspection method of the present invention. In other words, Fig. 14(a) shows a case in which a vertical line is drawn outside a downwardly convex curve, and Fig. 14(b) shows a case in which a number of perpendicular lines are drawn to an arbitrary curve, and a case on the vertical line is drawn. A case in which pixel values can be obtained is shown, and FIGS. 14(c) and 14(d) show cases in which vertical lines are drawn on the inside and outside of the diamond outline, respectively.
また、以上の実施形態では、第2ステップにおいて、要観察部分Aの接線にほぼ垂直方向に延びた所定長さの直線を得る手法について説明されているが、このような直線を得る代わりに、矩形を得る手法でもよい。図15に示される例では、5画素×長さLの矩形を、1画素分重複しながら描かれている。 Furthermore, in the above embodiment, a method of obtaining a straight line of a predetermined length extending in a direction substantially perpendicular to the tangent to the observation-required portion A in the second step is described, but instead of obtaining such a straight line, A method of obtaining a rectangle may also be used. In the example shown in FIG. 15, a rectangle of 5 pixels×length L is drawn with an overlap of one pixel.
画素を整列させる第3ステップを用いず、第1ステップと第2ステップのみで本発明の画像検査方法を実施してもよい。既存の検査アルゴリズムの大半が矩形画像について検査を行うように構成されており、そのような場合には、第3ステップが有用であるが、矩形画像にしなくとも検査を行うことができる検査アルゴリズムを用いる場合には、第3ステップを実施する必要性に乏しいからである。 The image inspection method of the present invention may be performed using only the first and second steps without using the third step of aligning pixels. Most of the existing inspection algorithms are configured to inspect rectangular images, and in such cases, the third step is useful. This is because there is little need to implement the third step when using the method.
本発明の画像検査方法を適用するにあたり、撮影された正常画像や検査対象画像に位置ずれが生ずることがあるが、そのような場合には、公知の方法を用いて位置ずれの補正を行うのがよい。公知の方法としては、例えば、検査対象物に位置補正の基準点となるマークを予め設定しておく方法、画像間の輝度の相関を求め、相関が最大となるように位置補正を行う方法がある。 When applying the image inspection method of the present invention, a positional shift may occur in the photographed normal image or the image to be inspected. In such a case, it is necessary to correct the positional shift using a known method. Good. Known methods include, for example, a method in which a mark is set in advance on the object to be inspected to serve as a reference point for positional correction, and a method in which the correlation of brightness between images is determined and the positional correction is performed so that the correlation is maximized. be.
(画像検査プログラム)
次に、コンピュータに上述のステップ(第1ステップ~第3ステップ)を実行させるためのプログラムについて説明する。本プログラムが実行されるコンピュータは、バスによって相互に接続されたCPU(中央処理装置)、メモリ、ハードディスク等の記憶装置、キーボード、マウス、タッチペン等の入力装置、表示装置、及び出力装置(いずれも図示せず)を有する一般的な形式のものでよいし、或いはマイクロチップ形式の処理装置等でもよい。
(Image inspection program)
Next, a program for causing a computer to execute the above steps (first step to third step) will be described. The computer on which this program is executed includes a CPU (Central Processing Unit), memory, storage devices such as a hard disk, input devices such as a keyboard, mouse, and touch pen, display devices, and output devices (all of which are interconnected by a bus). (not shown), or a microchip type processing device.
まず、入力装置によって入力された要観察部分がメモリに格納される。次いで、メモリに格納された要観察部分を構成する連続する画素のうち隣り合う2つの画素(例えば、図5(c)における画素<イ>と<ハ>)の座標平均値がCPUにおいて計算され、メモリに格納される。このようにして計算された座標平均値の中心を結ぶ直線(例えば、図5(c)における直線<ホ>)が設定され、メモリに格納される。次いで、画素<イ>の中心から、直線<ホ>とほぼ垂直方向に延びた長さLの直線<へ>が設定され、メモリに格納される。 First, the observation-required part inputted by the input device is stored in the memory. Next, the CPU calculates the coordinate average value of two adjacent pixels (for example, pixels <A> and <C> in FIG. 5(c)) among the consecutive pixels constituting the observation area stored in the memory. , stored in memory. A straight line connecting the centers of the coordinate average values calculated in this way (for example, the straight line <H> in FIG. 5C) is set and stored in the memory. Next, a straight line <to> having a length L extending from the center of the pixel <a> in a direction substantially perpendicular to the straight line <h> is set and stored in the memory.
要観察部分を構成する連続する画素の全てについて、上述の処理が繰り返され、要観察部分の画素値が取得される。得られた長さLの直線がメモリに格納される。 The above-described process is repeated for all consecutive pixels constituting the observation-required portion, and the pixel values of the observation-required portion are acquired. The obtained straight line of length L is stored in memory.
このようにして得られた長さLの直線を表す画素の全てが矩形に整列され、メモリに格納される。最後に、得られたデータが、出力装置等から、検査アルゴリズムに入力される。 All of the pixels representing the straight line of length L obtained in this way are arranged into a rectangle and stored in memory. Finally, the obtained data is input to the inspection algorithm from an output device or the like.
上述の実施形態では、ほぼ垂直方向に延びた長さLの直線を得るのに、座標平均値が用いられているが、画像検査方法の場合と同様に、予め設定された間隔の画素を利用してもよいし、要観察部分を所定距離だけ平行移動させる手法を利用してもよい。また、不要であれば、画素を矩形に整列させるステップを用いなくともよい。 In the above-described embodiment, the coordinate average value is used to obtain a straight line of length L extending approximately vertically, but similarly to the image inspection method, pixels at preset intervals may be used. Alternatively, a method may be used in which the portion to be observed is moved in parallel by a predetermined distance. Further, if unnecessary, the step of arranging pixels into a rectangle may not be used.
なお、上述の例では、データがメモリに格納されるものとして説明したが、データ量が多い場合には、ハードディスク等の大容量記憶装置に格納される。 In the above example, the data is stored in memory, but if the amount of data is large, it is stored in a large capacity storage device such as a hard disk.
本発明は、以上の発明の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることはいうまでもない。 The present invention is not limited to the embodiments of the invention described above, and various modifications can be made within the scope of the invention described in the claims, and these are also included within the scope of the present invention. Needless to say, it is something that
例えば、上述の実施形態では、ダイキャスト製品の画像検査に関連して説明されているが、半導体パターンの検査等、外観検査を必要とするあらゆる検査に本発明を適用することができる。 For example, although the above-described embodiments have been described in relation to image inspection of die-cast products, the present invention can be applied to any inspection that requires visual inspection, such as inspection of semiconductor patterns.
10 製品
10a 型合わせ部
10b 稜線部
10c 角部
12 バリ
14 欠け
16 湯じわ
A 要観察部分
10
Claims (6)
前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定する第1ステップと、
前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備え、
取得された前記画素値が、前記画素の移動平均によって描かれる仮想曲線の接線と垂直方向に設定されることを特徴とする画像検査方法。 An image inspection method for determining the quality of an inspection object using an image obtained by photographing the inspection object, the method comprising:
a first step of setting a required observation portion at a desired location of the inspection object in the image using a straight line and/or a curved line;
a second step of acquiring linear or rectangular pixel values of a predetermined length extending in a predetermined direction from each of the continuous pixels constituting the observation-required portion ;
An image inspection method characterized in that the acquired pixel value is set in a direction perpendicular to a tangent to a virtual curve drawn by a moving average of the pixels.
前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定する第1ステップと、
前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備え、
取得された前記画素値が、前記画素のうち予め設定された間隔の画素を結ぶ直線と垂直方向に設定されることを特徴とする画像検査方法。 An image inspection method for determining the quality of an inspection object using an image obtained by photographing the inspection object, the method comprising:
a first step of setting a required observation portion at a desired location of the inspection object in the image using a straight line and/or a curved line;
a second step of acquiring linear or rectangular pixel values of a predetermined length extending in a predetermined direction from each of the continuous pixels constituting the observation-required portion;
An image inspection method characterized in that the acquired pixel value is set in a direction perpendicular to a straight line connecting pixels at preset intervals among the pixels.
前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定する第1ステップと、
前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得する第2ステップとを備え、
取得された前記画素値が、前記要観察部分を所定距離だけ平行移動させ、前記平行移動の前後の対応する画素間を結ぶことによって設定されることを特徴とする画像検査方法。 An image inspection method for determining the quality of an inspection object using an image obtained by photographing the inspection object, the method comprising:
a first step of setting a required observation portion at a desired location of the inspection object in the image using a straight line and/or a curved line;
a second step of acquiring linear or rectangular pixel values of a predetermined length extending in a predetermined direction from each of the continuous pixels constituting the observation-required portion;
An image inspection method characterized in that the acquired pixel value is set by translating the observation target portion by a predetermined distance and connecting corresponding pixels before and after the translation.
前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定して記憶装置に格納するステップと、 setting a required observation portion at a desired location of the inspection object in the image using a straight line and/or a curved line and storing it in a storage device;
前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得して記憶装置に格納するステップとを備え、 acquiring a linear or rectangular pixel value of a predetermined length extending in a predetermined direction from each of the continuous pixels constituting the observation-required portion and storing it in a storage device;
取得された前記画素値が、前記画素の移動平均によって描かれる仮想曲線の接線と垂直方向に設定されることを特徴とするコンピュータに実行させるための画像検査プログラム。An image inspection program to be executed by a computer, wherein the acquired pixel value is set in a direction perpendicular to a tangent to a virtual curve drawn by a moving average of the pixels.
前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定して記憶装置に格納するステップと、
前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得して記憶装置に格納するステップとを備え、
取得された前記画素値が、前記画素のうち予め設定された間隔の画素を結ぶ直線と垂直方向に設定されることを特徴とするコンピュータに実行させるための画像検査プログラム。 An image inspection program for determining the quality of an inspection object using an image obtained by photographing the inspection object,
setting a required observation portion at a desired location of the inspection object in the image using a straight line and/or a curved line and storing it in a storage device;
acquiring a linear or rectangular pixel value of a predetermined length extending in a predetermined direction from each of the continuous pixels constituting the observation-required portion and storing it in a storage device;
An image inspection program to be executed by a computer, wherein the acquired pixel value is set in a direction perpendicular to a straight line connecting pixels at preset intervals among the pixels.
前記画像における前記検査対象物の所望個所に要観察部分を直線及び/又は曲線により設定して記憶装置に格納するステップと、
前記要観察部分を構成する連続する画素の各々から、所定方向に延びた所定長さの直線状又は矩形状の画素値を取得して記憶装置に格納するステップとを備え、
取得された前記画素値が、前記要観察部分を所定距離だけ平行移動させ、前記平行移動の前後の対応する画素間を結ぶことによって設定されることを特徴とするコンピュータに実行させるための画像検査プログラム。 An image inspection program for determining the quality of an inspection object using an image obtained by photographing the inspection object,
setting a required observation portion at a desired location of the inspection object in the image using a straight line and/or a curved line and storing it in a storage device;
acquiring a linear or rectangular pixel value of a predetermined length extending in a predetermined direction from each of the continuous pixels constituting the observation-required portion and storing it in a storage device;
An image inspection to be executed by a computer, characterized in that the acquired pixel value is set by translating the observation target portion by a predetermined distance and connecting corresponding pixels before and after the translation. program .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023074229A JP7343133B1 (en) | 2023-04-28 | 2023-04-28 | Image inspection methods and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023074229A JP7343133B1 (en) | 2023-04-28 | 2023-04-28 | Image inspection methods and programs |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7343133B1 true JP7343133B1 (en) | 2023-09-12 |
Family
ID=87934874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023074229A Active JP7343133B1 (en) | 2023-04-28 | 2023-04-28 | Image inspection methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7343133B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11304723A (en) * | 1998-04-23 | 1999-11-05 | Matsushita Electric Works Ltd | Visual inspection method |
JP2017142219A (en) * | 2016-02-13 | 2017-08-17 | 国立大学法人徳島大学 | Image inspection device, image inspection program, recording medium readable by computer and recording apparatus |
-
2023
- 2023-04-28 JP JP2023074229A patent/JP7343133B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11304723A (en) * | 1998-04-23 | 1999-11-05 | Matsushita Electric Works Ltd | Visual inspection method |
JP2017142219A (en) * | 2016-02-13 | 2017-08-17 | 国立大学法人徳島大学 | Image inspection device, image inspection program, recording medium readable by computer and recording apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shan et al. | A stereovision-based crack width detection approach for concrete surface assessment | |
JP5645730B2 (en) | Method for detecting closed cracks on concrete surface | |
JP6029870B2 (en) | Method and apparatus for detecting deformation of concrete surface | |
JP3524853B2 (en) | Pattern inspection apparatus, pattern inspection method, and recording medium | |
TWI480967B (en) | Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis | |
JP4616120B2 (en) | Image processing apparatus and inspection apparatus | |
TWI773063B (en) | Image generation system and image generation method | |
JP5894012B2 (en) | Method for detecting linear deformation on concrete surface | |
CN117314912B (en) | Visual detection method and system for welding defects on surface of welded pipe | |
JP5852919B2 (en) | Crack detection method | |
JP2004294202A (en) | Defect detection method and device of screen | |
JP2010139317A (en) | Method and device for inspecting defect on surface of shaft-like tool | |
CN113284154B (en) | Steel coil end face image segmentation method and device and electronic equipment | |
CN105184770A (en) | Solder ball positioning and parameter identification method for ball grid array pin chip | |
Kim et al. | A vision-based system for monitoring block assembly in shipbuilding | |
JP2009071271A (en) | Pattern figure evaluating method, pattern figure evaluating device, pattern figure evaluating data generating device, and semiconductor figure evaluating system employing them | |
JP4233556B2 (en) | Image correction apparatus, pattern inspection apparatus, image correction method, and pattern inspection method | |
CN117929393A (en) | Lens defect detection method, system, processor and storage medium | |
CN105354855A (en) | High-rise structure appearance detection device and method | |
JP7343133B1 (en) | Image inspection methods and programs | |
US20160125590A1 (en) | Wafer Appearance Inspection Apparatus | |
CN113705564A (en) | Pointer type instrument identification reading method | |
JP2011013022A (en) | Pattern shape evaluation method and pattern shape evaluation apparatus | |
CN115690090B (en) | Defect sample image generation method, device, equipment and storage medium | |
JP5067677B2 (en) | Defect detection method, defect detection apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230510 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7343133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |