JP5908351B2 - Drilling position determination device, drilling position determination method, and program - Google Patents

Drilling position determination device, drilling position determination method, and program Download PDF

Info

Publication number
JP5908351B2
JP5908351B2 JP2012143201A JP2012143201A JP5908351B2 JP 5908351 B2 JP5908351 B2 JP 5908351B2 JP 2012143201 A JP2012143201 A JP 2012143201A JP 2012143201 A JP2012143201 A JP 2012143201A JP 5908351 B2 JP5908351 B2 JP 5908351B2
Authority
JP
Japan
Prior art keywords
luminance value
color
region
value
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012143201A
Other languages
Japanese (ja)
Other versions
JP2014006803A (en
Inventor
拓 阿須賀
拓 阿須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Precision Inc
Original Assignee
Seiko Precision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Precision Inc filed Critical Seiko Precision Inc
Priority to JP2012143201A priority Critical patent/JP5908351B2/en
Priority to TW102111201A priority patent/TWI513384B/en
Priority to CN201310240030.5A priority patent/CN103507108B/en
Publication of JP2014006803A publication Critical patent/JP2014006803A/en
Application granted granted Critical
Publication of JP5908351B2 publication Critical patent/JP5908351B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、穴開け位置決定装置、穴開け位置決定方法、及び、プログラムに関する。   The present invention relates to a punching position determination device, a punching position determination method, and a program.

回路基板(プリント基板)の製作には、1枚の大面積の基板に多数の回路パターンを印刷した後に各回路パターンに切断・分離して多数の回路基板を得る方法が行われている。この切断に際しては、基板に少なくとも1対のガイド穴を設け、このガイド穴を加工装置に設けられたガイドピンに挿着するなどして位置決めし、順次切断することが行なわれている。したがってガイド穴は切断位置を決める基礎になるものであり、正確な位置に形成される必要がある。
このガイド穴を形成する穴開け装置として、回路パターンを印刷する際に予め穴開け位置を示すマークも同時に印刷し、このマークを穴開け装置に設けられたX線カメラなどによって撮像して取得した画像を画像処理してその結果求められた位置にドリルを移動させて穴開けするものが用いられている。特許文献1には、この種の穴開け装置の一例が開示されている。
For manufacturing a circuit board (printed board), a method of printing a large number of circuit patterns on a single large-area substrate and then cutting and separating the circuit patterns to obtain a large number of circuit boards is performed. At the time of this cutting, at least one pair of guide holes is provided in the substrate, and the guide holes are positioned by inserting them into guide pins provided in the processing apparatus, and then sequentially cut. Therefore, the guide hole is a basis for determining the cutting position, and needs to be formed at an accurate position.
As a drilling device for forming this guide hole, when a circuit pattern is printed, a mark indicating a drilling position is printed at the same time, and the mark is obtained by imaging with an X-ray camera or the like provided in the drilling device. An image is processed, and a drill is moved to a position obtained as a result to make a hole. Patent Document 1 discloses an example of this type of punching device.

プリント基板上のマークは、例えばガラス繊維の芯材にガラスエポキシ樹脂を含浸させ、板状に形成した樹脂部材の一面だけに銅箔が張られたプリント基板の場合、この銅箔が円形状に残るようにエッチングされて形成される。このようなプリント基板を透過したX線を、X線カメラを介して観察すると、X線の透過率の高い樹脂部材は白く撮像され、X線の透過率の低いマーク部は黒く撮像される。   The mark on the printed circuit board is, for example, a printed circuit board in which a glass fiber core material is impregnated with a glass epoxy resin, and a copper foil is stretched only on one surface of the resin member formed into a plate shape. It is formed by etching so as to remain. When X-rays transmitted through such a printed circuit board are observed through an X-ray camera, a resin member having a high X-ray transmittance is imaged white, and a mark portion having a low X-ray transmittance is imaged black.

マークに対してガイド穴を形成する場合は、画像を取得した後に、X線カメラの撮像素子ごとの輝度値を求め、得られた輝度値を所定の閾値に基づいて白または黒に選別して画像を2値化する。次に2値化された画像における白から黒に変化する部分すなわちエッジ部分を検出することでマークの外形を特定し、特定されたマークの外形からガイド穴を形成する座標を決定して、その位置にガイド穴を開ける。   When forming a guide hole for a mark, after obtaining an image, obtain a luminance value for each image sensor of the X-ray camera, and select the obtained luminance value as white or black based on a predetermined threshold value. The image is binarized. Next, the outer shape of the mark is specified by detecting the part that changes from white to black in the binarized image, that is, the edge portion, and the coordinates for forming the guide hole are determined from the specified outer shape of the mark. Open a guide hole at the position.

特開平9−57695号公報JP-A-9-57695

プリント基板の樹脂部材の主な素材であるガラス繊維は、プリント基板の全面に均等に分布しているわけではない。このため、プリント配線板の場所によってX線の透過率が異なる。また、X線カメラの撮像素子それぞれの感度にばらつきがある。これらの要因により、例えば樹脂部材のみを撮像した画像であっても、その輝度は場所によって異なるものとなる。   The glass fibers that are the main material of the resin member of the printed board are not evenly distributed over the entire surface of the printed board. For this reason, the X-ray transmittance varies depending on the location of the printed wiring board. In addition, there are variations in the sensitivity of the imaging elements of the X-ray camera. Due to these factors, for example, even in an image obtained by imaging only the resin member, the luminance varies depending on the location.

例えば、樹脂部材は基本的には白く撮像されるが、その輝度値は様々な値をとる。すなわち、ある場所では輝度値(255)という値をとっていたものが、異なる場所では輝度値(250)という値をとるなど、その値は場所によって様々である。マーク部についても同様の現象が発生する。   For example, the resin member is basically imaged white, but the luminance value takes various values. That is, the value varies depending on the location, for example, the value of the luminance value (255) at a certain location takes the value of the luminance value (250) at a different location. A similar phenomenon occurs in the mark portion.

撮影された画像におけるマークの外形とプリント基板とのコントラスト差が大きい場合には、このようなばらつきは閾値を適切に設定することで除去されるため、マークの外形を正しく特定することができる。したがって、正しい位置にガイド穴が開けられる。   When the contrast difference between the outer shape of the mark in the photographed image and the printed board is large, such a variation is eliminated by appropriately setting the threshold value, so that the outer shape of the mark can be correctly specified. Therefore, the guide hole can be opened at the correct position.

しかしながら、図3(a)、(b)に示すように、画像全体の輝度に勾配があり、撮影されたマークとプリント基板の樹脂部とのコントラスト差が一様でない場合は、輝度値に基づいた閾値を決定することは困難である。こうした場合はマークの外形となるエッジ部分を特定しづらいので、画像処理によって決定されるガイド穴の加工座標の位置精度が悪くなる場合があった。あるいは、エッジが検出できずにマークの外形を特定できずにエラーとなってしまう場合があった。   However, as shown in FIGS. 3A and 3B, when the brightness of the entire image has a gradient and the contrast difference between the photographed mark and the resin portion of the printed circuit board is not uniform, it is based on the brightness value. It is difficult to determine the threshold value. In such a case, it is difficult to specify the edge portion that is the outer shape of the mark, and thus the position accuracy of the processing coordinates of the guide hole determined by image processing may be deteriorated. Alternatively, an edge may not be detected and the mark outline may not be specified, resulting in an error.

以上のように、従来のように撮像された画像に対して輝度値に基づいた閾値を設定する方法では対処しきれない場合があった。このため、プリント基板にガイド穴を開ける位置を適切に決定できる新たな手法が求められている。   As described above, there are cases where the conventional method of setting a threshold value based on a luminance value for an image captured cannot be dealt with. Therefore, there is a need for a new technique that can appropriately determine the position for opening the guide hole in the printed circuit board.

本発明は、このような点に鑑みてなされたものであり、プリント基板にガイド穴を開ける位置を適切に決定できる穴開け位置決定装置、穴開け位置決定方法、及び、プログラムを提供することを目的とする。   The present invention has been made in view of the above points, and provides a drilling position determination device, a drilling position determination method, and a program capable of appropriately determining a position for opening a guide hole in a printed circuit board. Objective.

上記目的を達成するため、本発明の第1の観点に係る穴開け位置決定装置は、
プリント基板にガイド穴を開ける予定位置に付されたマークを含む画像を撮像する撮像手段と、
前記撮像手段により撮像された画像の輝度値を求め、求めた輝度値に微分フィルタを施して得られる微分値が所定の閾値を超えた場合、前記マークのエッジ位置と判定する判定手段と、
前記判定手段が判定したエッジ位置を示す座標を記憶する記憶手段と、
前記記憶手段が記憶した全てのエッジ位置に対して、それぞれのエッジ位置を中心として、所定の画素数からなる領域を設定する設定手段と、
前記設定手段により設定されたそれぞれの領域について、領域の中心位置の中心輝度値と領域の平均輝度値とを求め、求めた中心輝度値と平均輝度値とを比較する比較手段と、
前記比較手段により比較された結果、中心輝度値が平均輝度値未満である場合、その領域の中心位置の色彩を第1の色彩に付し、中心輝度値が平均輝度値以上である場合、その領域の中心位置の色彩を第2の色彩に付し、前記設定手段により設定されなかった領域の色彩を前記第2の色彩に付す彩色手段と、
前記彩色手段により第1の色彩に付された領域を、前記ガイド穴を開ける予定位置と決定する決定手段と、を備える、
ことを特徴とする。
In order to achieve the above object, a punching position determination device according to a first aspect of the present invention is provided.
An image pickup means for picking up an image including a mark attached to a planned position for opening a guide hole in a printed circuit board;
Determining a luminance value of an image captured by the imaging unit, and a determination unit that determines the edge position of the mark when a differential value obtained by applying a differential filter to the calculated luminance value exceeds a predetermined threshold;
Storage means for storing coordinates indicating the edge position determined by the determination means;
Setting means for setting a region having a predetermined number of pixels around each edge position for all edge positions stored by the storage means;
For each region set by the setting means, a central luminance value at the center position of the region and an average luminance value of the region are obtained, and a comparing means for comparing the obtained central luminance value with the average luminance value;
As a result of comparison by the comparison means, when the central luminance value is less than the average luminance value, the color at the center position of the region is attached to the first color, and when the central luminance value is equal to or higher than the average luminance value, Coloring means for attaching the color of the center position of the area to the second color and attaching the color of the area not set by the setting means to the second color;
A determination unit that determines an area assigned to the first color by the coloring unit as a planned position for opening the guide hole;
It is characterized by that.

前記判定手段は、前記微分値が前記所定の閾値を超えなかった場合、前記撮像手段により撮像された画像を不鮮明な画像と判定する、ことも可能である。   The determination unit may determine that the image captured by the image capturing unit is an unclear image when the differential value does not exceed the predetermined threshold.

前記所定の画素数からなる領域は、5×5ピクセルからなる領域である、ことも可能である。   The area having the predetermined number of pixels may be an area having 5 × 5 pixels.

前記判定手段は、前記彩色手段により第2の色彩に付された領域に隣接する隣接領域の色彩を判定し、判定したすべての隣接領域の色彩が、前記第1の色彩である場合、前記所定の閾値を小さくする、ことも可能である。   The determining means determines the color of an adjacent area adjacent to the area assigned to the second color by the coloring means, and when the determined colors of all adjacent areas are the first color, the predetermined color It is also possible to reduce the threshold value.

前記第1の色彩は黒色であり、前記第2の色彩は白色である、ことも可能である。   It is also possible that the first color is black and the second color is white.

前記微分フィルタは、ソーベルフィルタである、ことも可能である。   The differential filter may be a Sobel filter.

本発明の第2の観点に係る穴開け位置決定方法は、
プリント基板にガイド穴を開ける予定位置に付されたマークを含む画像を撮像する撮像ステップと、
前記撮像ステップにより撮像された画像の輝度値を求め、求めた輝度値に微分フィルタを施して得られる微分値が所定の閾値を超えた場合、前記マークのエッジ位置と判定する判定ステップと、
前記判定ステップにより判定されたエッジ位置を示す座標を記憶する記憶ステップと、
前記記憶ステップにより記憶された全てのエッジ位置に対して、それぞれのエッジ位置を中心として、所定の画素数からなる領域を設定する設定ステップと、
前記設定ステップにより設定されたそれぞれの領域について、領域の中心位置の中心輝度値と領域の平均輝度値とを求め、求めた中心輝度値と平均輝度値とを比較する比較ステップと、
前記比較ステップにより比較された結果、中心輝度値が平均輝度値未満である場合、その領域の中心位置の色彩を第1の色彩に付し、中心輝度値が平均輝度値以上である場合、その領域の中心位置の色彩を第2の色彩に付し、前記設定ステップにより設定されなかった領域の色彩を前記第2の色彩に付す彩色ステップと、
前記彩色ステップにより第1の色彩に付された領域を、前記ガイド穴を開ける予定位置と決定する決定ステップと、を備える、
ことを特徴とする。
The drilling position determination method according to the second aspect of the present invention is:
An imaging step of capturing an image including a mark attached to a planned position for opening a guide hole in the printed circuit board;
Determining the luminance value of the image captured by the imaging step, and determining the edge position of the mark when a differential value obtained by applying a differential filter to the determined luminance value exceeds a predetermined threshold;
A storage step of storing coordinates indicating the edge position determined by the determination step;
A setting step for setting an area composed of a predetermined number of pixels around each edge position, with respect to all edge positions stored in the storing step;
For each region set by the setting step, a central luminance value of the central position of the region and an average luminance value of the region are obtained, and a comparison step for comparing the obtained central luminance value and the average luminance value;
As a result of the comparison in the comparison step, when the central luminance value is less than the average luminance value, the color at the center position of the region is attached to the first color, and when the central luminance value is equal to or higher than the average luminance value, A coloring step of attaching the color of the center position of the region to the second color and attaching the color of the region not set by the setting step to the second color;
A determination step of determining the region attached to the first color by the coloring step as a planned position for opening the guide hole,
It is characterized by that.

本発明の第3の観点に係るプログラムは、
コンピュータを、
プリント基板にガイド穴を開ける予定位置に付されたマークを含む画像を撮像する撮像手段、
前記撮像手段により撮像された画像の輝度値を求め、求めた輝度値に微分フィルタを施して得られる微分値が所定の閾値を超えた場合、前記マークのエッジ位置と判定する判定手段、
前記判定手段が判定したエッジ位置を示す座標を記憶する記憶手段、
前記記憶手段が記憶した全てのエッジ位置に対して、それぞれのエッジ位置を中心として、所定の画素数からなる領域を設定する設定手段、
前記設定手段により設定されたそれぞれの領域について、領域の中心位置の中心輝度値と領域の平均輝度値とを求め、求めた中心輝度値と平均輝度値とを比較する比較手段、
前記比較手段により比較された結果、中心輝度値が平均輝度値未満である場合、その領域の中心位置の色彩を第1の色彩に付し、中心輝度値が平均輝度値以上である場合、その領域の中心位置の色彩を第2の色彩に付し、前記設定手段により設定されなかった領域の色彩を前記第2の色彩に付す彩色手段、
前記彩色手段により第1の色彩に付された領域を、前記ガイド穴を開ける予定位置と決定する決定手段、
として機能させることを特徴とする。
The program according to the third aspect of the present invention is:
Computer
An image pickup means for picking up an image including a mark attached to a planned position for opening a guide hole in a printed circuit board;
Determining means for determining a luminance value of an image imaged by the imaging means and determining an edge position of the mark when a differential value obtained by applying a differential filter to the calculated luminance value exceeds a predetermined threshold;
Storage means for storing coordinates indicating the edge position determined by the determination means;
Setting means for setting a region having a predetermined number of pixels around each edge position for all edge positions stored by the storage means;
For each area set by the setting means, a central brightness value at the center position of the area and an average brightness value of the area are compared, and a comparison means for comparing the calculated central brightness value with the average brightness value;
As a result of comparison by the comparison means, when the central luminance value is less than the average luminance value, the color at the center position of the region is attached to the first color, and when the central luminance value is equal to or higher than the average luminance value, Coloring means for attaching the color at the center position of the region to the second color and attaching the color of the region not set by the setting means to the second color;
A determining unit that determines an area assigned to the first color by the coloring unit as a planned position for opening the guide hole;
It is made to function as.

本発明によれば、プリント基板にガイド穴を開ける位置を適切に決定できる。   According to the present invention, it is possible to appropriately determine the position where the guide hole is formed in the printed circuit board.

(a)は、本発明の実施の形態に係る穴開け位置決定装置の主要部の平面図であり、(b)は、(a)のI−I線での断面図である。(A) is a top view of the principal part of the drilling position determination apparatus which concerns on embodiment of this invention, (b) is sectional drawing in the II line | wire of (a). 制御部の機能ブロック図である。It is a functional block diagram of a control part. (a)は、撮像手段が撮像したマークを含む画像、(b)は、(a)の画像における座標Y1を通るA−A’線上の輝度値(輝度勾配)を示す図、(c)は、(b)の輝度値に微分フィルタを施した微分値を示す図である。(A) is an image including a mark imaged by the imaging means, (b) is a diagram showing a luminance value (luminance gradient) on the AA ′ line passing through the coordinate Y1 in the image of (a), and (c). It is a figure which shows the differential value which gave the differential filter to the luminance value of (b). 中心輝度値が平均輝度値未満である場合の領域の彩色方法を説明するための図である。It is a figure for demonstrating the coloring method of an area | region in case a center luminance value is less than an average luminance value. 中心輝度値が平均輝度値以上である場合の領域の彩色方法を説明するための図である。It is a figure for demonstrating the coloring method of an area | region when a center luminance value is more than an average luminance value. (a)は、X線カメラで撮像されたマークを含む画像を示す図であり、(b)は、(a)を画像処理した画像を示す図である。(A) is a figure which shows the image containing the mark imaged with the X-ray camera, (b) is a figure which shows the image which image-processed (a). 穴開け位置を決定する動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement which determines a punching position. (a)は、撮像手段が撮像したマークを含む輝度差の少ない画像、(b)は、(a)の画像における座標Y1を通るA−A’線上の輝度値(輝度勾配)を示す図、(c)は、(b)の輝度値に微分フィルタを施した微分値を示す図である。(A) is an image with a small luminance difference including a mark imaged by the imaging means, (b) is a diagram showing a luminance value (luminance gradient) on the line AA ′ passing through the coordinate Y1 in the image of (a), (C) is a figure which shows the differential value which gave the differential filter to the luminance value of (b). マークのエッジ位置を検出するために、閾値を変更したことを示す図である。It is a figure which shows having changed the threshold value in order to detect the edge position of a mark. 彩色方法の変形例を説明するための図である。It is a figure for demonstrating the modification of the coloring method.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本実施の形態に係る穴開け位置決定装置10は、図1(a)に平面図、図1(b)にI−I線での断面図で示すように、作業テーブル11と、一対のX線照射源12R,12Lと、一対のX線カメラ13R,13Lと、一対の穴開けドリル14R,14Lと、基板検出センサ15と、制御部16と、を備える。   As shown in the plan view of FIG. 1A and the cross-sectional view taken along the line II in FIG. 1B, the punching position determination device 10 according to the present embodiment includes a work table 11 and a pair of X A line irradiation source 12R, 12L, a pair of X-ray cameras 13R, 13L, a pair of drilling drills 14R, 14L, a substrate detection sensor 15, and a control unit 16 are provided.

作業テーブル11は、台17上にほぼ水平に配置されている。作業テーブル11上には、処理対象のプリント基板101を載置し、X線の照射及び穴開け作業を行うための処理領域11aと、処理対象のプリント基板101を載置し、処理領域11aに搬送するための搬送路11bを備える。プリント基板101は、図1のY軸方向に搬送・搬出される。   The work table 11 is disposed substantially horizontally on the table 17. On the work table 11, the processing target printed circuit board 101 is placed, and the processing region 11a for performing X-ray irradiation and punching operations and the processing target printed circuit board 101 are placed, and the processing region 11a is placed in the processing region 11a. The conveyance path 11b for conveying is provided. The printed circuit board 101 is transported and carried out in the Y-axis direction in FIG.

一対のX線照射源12R,12Lは、それぞれ作業テーブル11上側に配置され、制御部16の制御に従って、X線を発生し、下方(作業テーブル11上のプリント基板101)に向けて照射する。   The pair of X-ray irradiation sources 12R and 12L are respectively arranged on the upper side of the work table 11, generate X-rays under the control of the control unit 16, and irradiate downward (the printed circuit board 101 on the work table 11).

一対のX線カメラ13R,13Lは、それぞれ、制御部16の制御に従って、対応するX線照射源12R,12Lから照射され、処理対象のプリント基板101を透過したX線を受信し、プリント基板101上の位置合わせ用マークの画像を撮像する。   The pair of X-ray cameras 13 </ b> R and 13 </ b> L receive X-rays irradiated from the corresponding X-ray irradiation sources 12 </ b> R and 12 </ b> L and transmitted through the printed circuit board 101 to be processed according to the control of the control unit 16. An image of the upper alignment mark is taken.

一対の穴開けドリル14R,14Lは、制御部16の制御に従って、エアシリンダなどにより、上下方向(Z軸方向)に移動して、モータなどにより回転され、プリント基板101の所定位置に穴を開ける。   The pair of drilling drills 14R, 14L is moved in the vertical direction (Z-axis direction) by an air cylinder or the like under the control of the control unit 16 and rotated by a motor or the like to open a hole at a predetermined position on the printed circuit board 101. .

X線照射源12RとX線カメラ13Rと穴開けドリル14Rとは、X・Yステージ等により、一組として、X軸方向及びY軸方向に移動可能に構成されている。同様に、X線照射源12LとX線カメラ13Lと穴開けドリル14Lとは、X・Yステージ等により、一組として、X軸方向及びY軸方向に移動可能に構成されている。   The X-ray irradiation source 12R, the X-ray camera 13R, and the drill 14R are configured to be movable in the X-axis direction and the Y-axis direction as a set by an X / Y stage or the like. Similarly, the X-ray irradiation source 12L, the X-ray camera 13L, and the drilling drill 14L are configured to be movable in the X-axis direction and the Y-axis direction as a set by an X / Y stage or the like.

基板検出センサ15は、光センサ、マイクロスイッチ等から構成され、搬送路11bに沿って搬送されたプリント基板101を検出し、制御部16に検出信号を送信する。   The substrate detection sensor 15 includes an optical sensor, a micro switch, and the like, detects the printed circuit board 101 conveyed along the conveyance path 11b, and transmits a detection signal to the control unit 16.

制御部16は、CPU(中央処理装置)、記憶装置等から構成され、記憶装置に記憶している制御プログラムに従って動作し、各部を制御する。制御部16は、図2に示すように、撮像手段161、判定手段162、記憶手段163、設定手段164、比較手段165、彩色手段166、決定手段167として機能する。次に、各手段の機能について説明する。   The control unit 16 includes a CPU (central processing unit), a storage device, and the like, and operates according to a control program stored in the storage device to control each unit. As shown in FIG. 2, the control unit 16 functions as an imaging unit 161, a determination unit 162, a storage unit 163, a setting unit 164, a comparison unit 165, a coloring unit 166, and a determination unit 167. Next, the function of each means will be described.

撮像手段161は、基板検出センサ15から送信された検出信号を受け付けると、一対のX線照射源12R,12L、一対のX線カメラ13R,13Lを制御して、図3(a)に示すように、プリント基板101上に予め付された位置合わせ用のマーク201の画像200を撮像する。位置合わせ用のマーク201は、プリント基板101にガイド穴を開ける位置を決定するために用いられ、撮像手段161が撮像したマーク201が付された位置に基づいて、後述する処理により、ガイド穴を開ける位置が決定される。また、ここでは、マーク201は上述のように、板状に形成した樹脂部材の一面だけに銅箔が張られたプリント基板において、銅箔が円形状に残るようにエッチングされて形成されているものとする。したがって、このマーク201を、X線カメラで撮像すると、樹脂部材は白く、マーク201は黒く撮像される。   When the imaging unit 161 receives the detection signal transmitted from the substrate detection sensor 15, the imaging unit 161 controls the pair of X-ray irradiation sources 12R and 12L and the pair of X-ray cameras 13R and 13L, as shown in FIG. Then, an image 200 of an alignment mark 201 previously attached on the printed circuit board 101 is taken. The alignment mark 201 is used to determine the position at which the guide hole is to be formed in the printed circuit board 101, and the guide hole is formed by a process described later based on the position to which the mark 201 imaged by the imaging unit 161 is attached. The position to open is determined. Further, here, as described above, the mark 201 is formed by etching so that the copper foil remains in a circular shape on the printed board in which the copper foil is stretched only on one surface of the resin member formed in a plate shape. Shall. Therefore, when the mark 201 is imaged with an X-ray camera, the resin member is imaged white and the mark 201 is imaged black.

判定手段162は、撮像手段161により撮像されたマーク201の画像200の輝度値(輝度勾配)を求め、輝度値(輝度勾配)に微分フィルタを施して求めた微分値が所定の閾値を超えるか否かに基づいて、画像200上のマーク201のエッジ202を判定する。ここで、微分フィルタは、例えば、ソーベルフィルタ、プレヴィットフィルタ、ラプラシアンフィルタなど、マークのエッジ202を抽出するために用いられる任意のフィルタである。また、所定の閾値は、用いられる微分フィルタや微分値によって変化するものであり、任意である。また、マークのエッジとは、画像200上のマーク201の縁、境界位置である。具体的には、判定手段162が、画像200をスキャンして輝度値を求めた結果、例えば画像200のY方向の座標Y1を通るA−A’線では図3(b)のような輝度値の分布図が得られる。   The determination unit 162 obtains the luminance value (luminance gradient) of the image 200 of the mark 201 imaged by the imaging unit 161 and applies a differential filter to the luminance value (luminance gradient) to determine whether the obtained differential value exceeds a predetermined threshold value. Based on whether or not, the edge 202 of the mark 201 on the image 200 is determined. Here, the differential filter is an arbitrary filter used for extracting the edge 202 of the mark, such as a Sobel filter, a Previt filter, and a Laplacian filter. Further, the predetermined threshold varies depending on the differential filter used and the differential value, and is arbitrary. The mark edge is the edge or boundary position of the mark 201 on the image 200. Specifically, as a result of the determination unit 162 scanning the image 200 to obtain the luminance value, for example, the luminance value as shown in FIG. Is obtained.

画像200の輝度値に微分フィルタを施して微分値を求めると、例えば画像200のY方向の座標Y1を通るA−A’線では図3(c)に示すような結果が得られる。次に、判定手段162は、各画素における微分値が所定の閾値を超えるか否かを判定する。そして、微分値が所定の閾値を超えた場合、判定手段162は、図3(c)に示すように、微分値が所定の閾値を超えた場合、微分値が求められた画素の位置を、マーク201のエッジ202の位置と判定する。   When a differential filter is obtained by applying a differential filter to the luminance value of the image 200, for example, a result as shown in FIG. 3C is obtained on the A-A 'line passing through the coordinate Y1 in the Y direction of the image 200. Next, the determination means 162 determines whether the differential value in each pixel exceeds a predetermined threshold value. When the differential value exceeds a predetermined threshold value, as shown in FIG. 3C, the determination unit 162 determines the position of the pixel from which the differential value is obtained when the differential value exceeds the predetermined threshold value. The position of the edge 202 of the mark 201 is determined.

図3(c)の場合は、マーク201における左端側エッジXL1から左端側エッジXL2までの範囲にある画素がエッジとして検出されるとともに、右端側エッジXR1から右端側エッジXR2までの範囲にある画素がエッジとして検出されている。したがって、判定手段162は、座標(XL1,Y1)から(XL2,Y1)の範囲内にある全ての画素の座標および(XR1,Y1)から(XR2,Y1)の範囲内にある全ての画素の座標をA−A’線上のエッジ202の座標として、その値を記憶する。   In the case of FIG. 3C, pixels in the range from the left end side edge XL1 to the left end side edge XL2 in the mark 201 are detected as edges, and pixels in the range from the right end side edge XR1 to the right end side edge XR2 are detected. Is detected as an edge. Therefore, the determination unit 162 determines the coordinates of all the pixels within the range from the coordinates (XL1, Y1) to (XL2, Y1) and all the pixels within the range from (XR1, Y1) to (XR2, Y1). The coordinates are stored as the coordinates of the edge 202 on the line AA ′.

図3(c)において、左端側エッジXL1から左端側エッジXL2までの範囲をA−A’線上における右端側エッジ範囲b1とする。また、右端側エッジXR1から右端側エッジXR2までの範囲をA−A’線上における右端側エッジ範囲b2とする。   In FIG. 3C, a range from the left end side edge XL1 to the left end side edge XL2 is defined as a right end side edge range b1 on the A-A 'line. A range from the right end side edge XR1 to the right end side edge XR2 is defined as a right end side edge range b2 on the A-A ′ line.

なお、微分値が所定の閾値を超えてない場合、判定手段162は、微分値が求められた画素の位置を、画像200において不鮮明な画像位置であるとして、エラーの判定をする。   When the differential value does not exceed the predetermined threshold value, the determination unit 162 determines an error by assuming that the position of the pixel for which the differential value has been obtained is an unclear image position in the image 200.

記憶手段163は、画像200をスキャンする過程において、判定手段162がマーク201のエッジ202と判定した画素を示す座標をすべて記憶する。   The storage unit 163 stores all the coordinates indicating the pixels determined by the determination unit 162 as the edge 202 of the mark 201 in the process of scanning the image 200.

制御部16は、画像200において記憶手段163が記憶したエッジ202を示す座標に存在する画素のみを対象として適応2値化処理を施す。例えば図3(c)に示すA−A’線上ではエッジ範囲b1およびエッジ範囲b2内に存在する画素のみを対象として適応2値化処理を施す。   The control unit 16 performs an adaptive binarization process on only the pixel existing at the coordinates indicating the edge 202 stored in the storage unit 163 in the image 200. For example, on the A-A ′ line shown in FIG. 3C, the adaptive binarization process is performed only for pixels existing in the edge range b <b> 1 and the edge range b <b> 2.

具体的には、まず、設定手段164は、A−A’線上の左端側エッジXL1を示す座標(XL1,Y1)に存在する画素(注目画素と呼ぶ)を中心として例えば5×5ピクセルからなる領域を設定する。   Specifically, first, the setting unit 164 includes, for example, 5 × 5 pixels centering on a pixel (referred to as a target pixel) existing at coordinates (XL1, Y1) indicating the left end edge XL1 on the line AA ′. Set the area.

次に、比較手段165は、領域の中心位置にある注目画素の輝度値(中心輝度値)と、領域を形成する各画素の輝度値から平均の輝度値(平均輝度値)とを求める。ここで、中心輝度値とは、複数のピクセルからなる領域の中心の画素の輝度値(注目画素の輝度値)をいう。また、平均輝度値とは、複数のピクセルからなる領域からなる各画素の輝度値を平均したものをいう。図4に示すように、領域が5×5ピクセルからなる場合、設定手段164は、5×5ピクセルの中心にある画素の輝度値を中心輝度値として求め、25個の各画素の輝度値を平均したものを平均輝度値として求める。そして、比較手段165は、各領域において中心輝度値と平均輝度値とを比較することにより、中心輝度値と平均輝度値との大小関係を求める。   Next, the comparison unit 165 obtains an average luminance value (average luminance value) from the luminance value of the target pixel at the center position of the region (center luminance value) and the luminance value of each pixel forming the region. Here, the central luminance value refers to the luminance value of the pixel at the center of the region composed of a plurality of pixels (the luminance value of the target pixel). The average luminance value is an average of the luminance values of the pixels composed of a plurality of pixels. As shown in FIG. 4, when the region is composed of 5 × 5 pixels, the setting unit 164 obtains the luminance value of the pixel at the center of the 5 × 5 pixels as the central luminance value, and calculates the luminance value of each of the 25 pixels. The average is obtained as the average luminance value. Then, the comparison unit 165 obtains a magnitude relationship between the central luminance value and the average luminance value by comparing the central luminance value and the average luminance value in each region.

彩色手段166は、比較手段165により比較された結果、図4に示すように、中心輝度値(50)が平均輝度値(85=(255×5+80×5+50×5+20×10)/25)未満である場合、中心輝度値の色彩を第1の色彩(例えば、黒色)に設定する。また、彩色手段166は、図5に示すように、中心輝度値(150)が平均輝度値(144.8=(255×10+150×5+50×4+20×6)/25)以上である場合、中心輝度値の色彩を第2の色彩(例えば、白色)に設定する。   As a result of the comparison by the comparison unit 165, the coloring unit 166 has a central luminance value (50) less than the average luminance value (85 = (255 × 5 + 80 × 5 + 50 × 5 + 20 × 10) / 25) as shown in FIG. In some cases, the color of the central luminance value is set to the first color (for example, black). Further, as shown in FIG. 5, the coloring means 166 has a central luminance value when the central luminance value (150) is equal to or higher than the average luminance value (144.8 = (255 × 10 + 150 × 5 + 50 × 4 + 20 × 6) / 25). The color of the value is set to the second color (for example, white).

次に、制御部16は、エッジ範囲b1内であるとともに、今回適応2値化処理を行った座標(XL1,Y1)に隣接する画素を新たな注目画素として定め、その注目画素を中心として、例えば5×5ピクセルからなる領域を設定する。そして、制御部16は、比較手段165を用いて、新たな中心輝度値と新たな平均輝度値とを比較した結果に基づいて、新たな注目画素の色彩を設定する。   Next, the control unit 16 determines a pixel that is within the edge range b1 and is adjacent to the coordinate (XL1, Y1) for which the adaptive binarization processing is performed this time as a new pixel of interest, For example, an area composed of 5 × 5 pixels is set. And the control part 16 sets the color of a new attention pixel based on the result of having compared the new center luminance value and the new average luminance value using the comparison means 165. FIG.

制御部16は、エッジ範囲b1の+X端側の座標(XL2,Y1)に到達するまで、エッジ範囲b1内にある全ての画素に対して同様の処理を行う。エッジ範囲b1内の全ての画素に対する適応2値化処理が完了したと制御部16が判断した場合は、エッジ範囲b1に対する適応2値化処理を完了し、エッジ範囲b2に対する適応2値化処理を開始する。   The control unit 16 performs the same process on all the pixels in the edge range b1 until reaching the coordinate (XL2, Y1) on the + X end side of the edge range b1. When the control unit 16 determines that the adaptive binarization processing for all the pixels in the edge range b1 is completed, the adaptive binarization processing for the edge range b1 is completed, and the adaptive binarization processing for the edge range b2 is performed. Start.

このようにして、制御部16は、記憶手段163が記憶したエッジ202の座標に基づいた全てのエッジ範囲について上述した適応2値化処理を施す。   In this way, the control unit 16 performs the above-described adaptive binarization process on all edge ranges based on the coordinates of the edge 202 stored in the storage unit 163.

また、彩色手段166は、記憶手段163が記憶するエッジ範囲以外の領域の色彩を第2の色彩に付す。彩色手段166は、マーク201のエッジ202を含むエッジ範囲内の色彩を第1の色彩に付し、この領域以外の色彩を第2の色彩に付すことにより、マーク201が付された画像200の色彩を変更する。
色彩が変更された画像200は図6(b)に示すように、中空のリング状をなす。
Further, the coloring unit 166 adds the color of the region other than the edge range stored in the storage unit 163 to the second color. The coloring means 166 adds the color within the edge range including the edge 202 of the mark 201 to the first color, and adds the color other than this region to the second color, so that the image 200 with the mark 201 is added. Change the color.
The image 200 whose color has been changed has a hollow ring shape as shown in FIG.

決定手段167は、図6(b)に示す、色彩が変更された画像200から、第1の色彩に付されたマーク201の位置を特定し、このマーク201の位置を、ガイド穴を開ける位置と決定する。   The determining unit 167 identifies the position of the mark 201 attached to the first color from the image 200 shown in FIG. 6B in which the color has been changed, and determines the position of the mark 201 as the position for opening the guide hole. And decide.

次に、上記構成、機能を有する穴開け位置決定装置10の動作を説明する。
プリント基板101に穴開けを行う場合、作業者は、図1に示すように、プリント基板101を作業テーブル11上に載置し、例えば、手作業で、搬送路11bに沿ってプリント基板101をY軸方向に搬送し、搬入口18から処理領域11a内に挿入する。
Next, operation | movement of the punching position determination apparatus 10 which has the said structure and function is demonstrated.
When punching holes in the printed circuit board 101, the operator places the printed circuit board 101 on the work table 11 as shown in FIG. 1 and, for example, manually moves the printed circuit board 101 along the conveyance path 11b. It is conveyed in the Y-axis direction and inserted into the processing area 11a from the carry-in entrance 18.

プリント基板101が基板検出センサ15上に到達すると、基板検出センサ15は、検出信号を制御部16に送信する。制御部16は、検出信号に応答し、図7に示す処理を開始する。   When the printed circuit board 101 reaches the substrate detection sensor 15, the substrate detection sensor 15 transmits a detection signal to the control unit 16. In response to the detection signal, the control unit 16 starts the process shown in FIG.

まず、撮像手段161として機能する制御部16は、X線照射源12R,12L,X線カメラ13R,13Lをオンし、図3(a)に示すように、ガイド穴を開けるために用いられる位置合わせ用のマーク201が付されたプリント基板101の透過画像200を撮像する(ステップS101)。   First, the control unit 16 functioning as the imaging unit 161 turns on the X-ray irradiation sources 12R and 12L and the X-ray cameras 13R and 13L, and as shown in FIG. A transmission image 200 of the printed board 101 with the alignment mark 201 is taken (step S101).

続いて、作業者は、プリント基板101のおおよその位置合わせを行う。この段階では、上述のように、制御部16の処理により、X線照射源12Rと12LはX線を発生しており、X線カメラ13Rと13Lは、それぞれ、プリント基板101の透過画像を取得している。制御部16は、X線カメラ13Rと13Lの取得画像をモニタに表示する。   Subsequently, the operator performs an approximate alignment of the printed circuit board 101. At this stage, as described above, the X-ray irradiation sources 12R and 12L generate X-rays by the processing of the control unit 16, and the X-ray cameras 13R and 13L respectively acquire transmission images of the printed circuit board 101. doing. The control unit 16 displays the acquired images of the X-ray cameras 13R and 13L on the monitor.

作業者は、モニタの表示を見ながら、位置合わせマーク201が例えばモニタの中心に位置するように、プリント基板101を前後(Y軸方向)、横方向(X軸方向)に動かす。   The operator moves the printed circuit board 101 back and forth (Y-axis direction) and laterally (X-axis direction) so that the alignment mark 201 is positioned at the center of the monitor, for example, while watching the display on the monitor.

制御部16は、位置合わせマーク201がモニタのほぼ中心に位置し、停止したことを検出すると、図示せぬ押さえ部材により、プリント基板101を作業テーブル11に押しつけて固定する。   When the control unit 16 detects that the alignment mark 201 is located at substantially the center of the monitor and has stopped, the control unit 16 presses and fixes the printed board 101 to the work table 11 by a pressing member (not shown).

次に、判定手段162として機能する制御部16は、撮像した画像200をスキャンし、図3(b)に示すように、画像200の各画素の輝度値(各走査線の輝度勾配)を求め、輝度値(輝度勾配)に微分フィルタを施すことにより各画素における微分値を求める(ステップS102)。そして、制御部16は、すべての画素の微分値を求めたか否かを判定する(ステップS103)。   Next, the control unit 16 functioning as the determination unit 162 scans the captured image 200 and obtains a luminance value (a luminance gradient of each scanning line) of each pixel of the image 200 as illustrated in FIG. The differential value in each pixel is obtained by applying a differential filter to the luminance value (luminance gradient) (step S102). And the control part 16 determines whether the differential value of all the pixels was calculated | required (step S103).

すべての画素の微分値が判定されていない場合(ステップS103;No)、制御部16は、図3(c)に示すように、求めた微分値が所定の閾値を超えているか否かを判定する(ステップS104)。制御部16は、微分値が所定の閾値を超えているか否かを判定することにより、画像200において、微分値が求められた画素の位置を特定する。   When the differential values of all the pixels have not been determined (step S103; No), the control unit 16 determines whether or not the obtained differential value exceeds a predetermined threshold as shown in FIG. (Step S104). The control unit 16 determines the position of the pixel for which the differential value is obtained in the image 200 by determining whether or not the differential value exceeds a predetermined threshold value.

微分値が所定の閾値を超えている場合(ステップS104;Yes)、制御部16は、求めた微分値に対応する画素の位置を、画像200上におけるマーク201のエッジ202と判定(特定)し(ステップS105)、画像のスキャンを続け、他の画素の微分値を求める(ステップS102)。   When the differential value exceeds a predetermined threshold (step S104; Yes), the control unit 16 determines (identifies) the position of the pixel corresponding to the obtained differential value as the edge 202 of the mark 201 on the image 200. (Step S105), scanning of the image is continued, and a differential value of another pixel is obtained (Step S102).

微分値が所定の閾値を超えていない場合(ステップS104;No)、制御部16は、求めた微分値に対応する画素の位置を、画像200上における不鮮明な画像位置と判定(特定)し(ステップS106)、画像のスキャンを続け、他の画素の微分値を求める(ステップS102)。制御部16は、ステップS102からS106の処理を繰り返すことにより、画像200のすべての画素の微分値について、所定の閾値を超えているか否かを判定する。   When the differential value does not exceed the predetermined threshold (step S104; No), the control unit 16 determines (identifies) the position of the pixel corresponding to the obtained differential value as an unclear image position on the image 200 ( In step S106, scanning of the image is continued, and a differential value of another pixel is obtained (step S102). The control unit 16 determines whether or not the differential values of all the pixels of the image 200 exceed a predetermined threshold value by repeating the processing of steps S102 to S106.

すべての画素の微分値が判定された場合(ステップS103;Yes)、記憶手段163として機能する制御部16は、ステップS105で特定された画像200上のすべてのエッジ202の座標を記憶する(ステップS107)。   When the differential values of all the pixels are determined (Step S103; Yes), the control unit 16 functioning as the storage unit 163 stores the coordinates of all the edges 202 on the image 200 identified in Step S105 (Step S103). S107).

次に、設定手段164として機能する制御部16は、図3、4に示すように、画像200における座標が記憶されたエッジ202に位置する画素を注目画素として、適応2値化処理を行うために、注目画素を中心とした5×5ピクセルからなる領域を設定する(ステップS108)。例えば、制御部16は、図3(c)に示すA−A’線上のエッジ範囲b1に存在する全ての画素およびエッジ範囲b2に存在する全ての画素を中心とした5×5ピクセルからなる領域を設定する。   Next, as shown in FIGS. 3 and 4, the control unit 16 that functions as the setting unit 164 performs adaptive binarization processing using the pixel located at the edge 202 in which the coordinates in the image 200 are stored as the target pixel. Then, an area consisting of 5 × 5 pixels centered on the target pixel is set (step S108). For example, the control unit 16 is an area composed of 5 × 5 pixels centering on all the pixels existing in the edge range b1 on the line AA ′ shown in FIG. 3C and all the pixels existing in the edge range b2. Set.

次に、比較手段165として機能する制御部16は、領域の中心にある注目画素の中心輝度値と領域を形成する各画素の平均輝度値とを求める(ステップS109)。そして、制御部16は、各領域において、中心輝度値が平均輝度値以上であるか否かを判定する(ステップS110)。制御部16は、マーク201のエッジ202を含む各領域についてのみ中心輝度値と平均輝度値との大小関係を求めることにより、適応2値化処理している。適応2値化処理を行う範囲を、マーク201のエッジ202として特定された画素に限定することにより、画像処理の負担を軽減し、画像処理時間を短縮することができる。   Next, the control unit 16 functioning as the comparison unit 165 obtains the central luminance value of the target pixel at the center of the region and the average luminance value of each pixel forming the region (step S109). And the control part 16 determines whether a center luminance value is more than an average luminance value in each area | region (step S110). The control unit 16 performs adaptive binarization processing by obtaining a magnitude relationship between the central luminance value and the average luminance value only for each region including the edge 202 of the mark 201. By limiting the range for performing the adaptive binarization processing to the pixels specified as the edge 202 of the mark 201, it is possible to reduce the burden of image processing and shorten the image processing time.

中心輝度値が平均輝度値以上でない、つまり、中心輝度値が平均輝度値未満であると判定された場合(ステップS110;No)、彩色手段166として機能する制御部16は、注目画素の色彩(中心輝度値)を第1の色彩に設定する(ステップS111)。具体的には図4に示すように、例えば中心輝度値が50、平均輝度値が平均輝度値(85=(255×5+80×5+50×5+20×10)/25)である場合、中心輝度値は平均輝度値未満であるため、制御部16は、輝度値の大小関係を判定した5×5ピクセルの中心となる注目画素の輝度値を第1の色彩(例えば黒色(輝度値0))に設定する。   When it is determined that the central luminance value is not equal to or greater than the average luminance value, that is, the central luminance value is less than the average luminance value (step S110; No), the control unit 16 functioning as the coloring means 166 determines the color ( (Center luminance value) is set to the first color (step S111). Specifically, as shown in FIG. 4, for example, when the central luminance value is 50 and the average luminance value is an average luminance value (85 = (255 × 5 + 80 × 5 + 50 × 5 + 20 × 10) / 25), the central luminance value is Since the luminance value is less than the average luminance value, the control unit 16 sets the luminance value of the pixel of interest at the center of the 5 × 5 pixels for which the magnitude relationship of the luminance values is determined to the first color (for example, black (luminance value 0)). To do.

中心輝度値が平均輝度値以上であると判定された場合(ステップS110;Yes)、制御部16は、注目画素の色彩(中心輝度値)を、第2の色彩に設定する。(ステップS112)。具体的には図5に示すように、例えば中心輝度値が150、平均輝度値が平均輝度値(144.8=(255×10+150×5+50×4+20×6)/25)である場合、中心輝度値は平均輝度値以上であるため、制御部16は、輝度値の大小関係を判定した5×5ピクセルの中心となる注目画素の輝度値を第2の色彩(例えば白色(輝度値255))に設定する。   When it is determined that the central luminance value is equal to or higher than the average luminance value (step S110; Yes), the control unit 16 sets the color of the target pixel (central luminance value) to the second color. (Step S112). Specifically, as shown in FIG. 5, for example, when the central luminance value is 150 and the average luminance value is the average luminance value (144.8 = (255 × 10 + 150 × 5 + 50 × 4 + 20 × 6) / 25), the central luminance value Since the value is equal to or greater than the average luminance value, the control unit 16 sets the luminance value of the target pixel serving as the center of the 5 × 5 pixels for which the magnitude relationship between the luminance values is determined to the second color (for example, white (luminance value 255)). Set to.

次に、制御部16は、ステップS107でエッジ202として記憶された画素のすべてについて、中心輝度値と平均輝度値との大小関係を判定したか否かを判定する(ステップS113)。   Next, the control unit 16 determines whether or not the magnitude relationship between the center luminance value and the average luminance value has been determined for all the pixels stored as the edge 202 in step S107 (step S113).

エッジ202として記憶された画素のすべてで中心輝度値と平均輝度値との大小関係が判定されていない場合(ステップS113;No)、制御部16は、大小関係を判定していない画素について、中心輝度値が平均輝度値以上であるか否かを判定する(ステップS110)。制御部16は、ステップS110からS113の処理を繰り返すことにより、ステップS107でエッジ202として記憶されたすべての画素について、中心輝度値と平均輝度値との大小関係を判定する。   When the magnitude relationship between the central luminance value and the average luminance value has not been determined for all the pixels stored as the edge 202 (step S113; No), the control unit 16 determines the center for the pixels for which the magnitude relationship has not been determined. It is determined whether the luminance value is equal to or higher than the average luminance value (step S110). The controller 16 determines the magnitude relationship between the central luminance value and the average luminance value for all the pixels stored as the edge 202 in step S107 by repeating the processing of steps S110 to S113.

エッジ202として記憶されたすべての画素で中心輝度値と平均輝度値との大小関係が判定された場合(ステップS113;Yes)、制御部16は、エッジ202を含まない画素、すなわち、ステップS107でエッジ202として記憶されず、ステップS108で設定されなかったすべての画素の色彩を、第2の色彩に付す(ステップS114)。   When the magnitude relationship between the central luminance value and the average luminance value is determined for all the pixels stored as the edge 202 (step S113; Yes), the control unit 16 determines that the pixel does not include the edge 202, that is, in step S107. The colors of all the pixels not stored as the edge 202 and not set in step S108 are added to the second color (step S114).

そして、決定手段167として機能する制御部16は、ステップS111、S112、S114で色彩が付されたマーク201を含む画像200から、第1の色彩で付された領域を特定し、特定した結果から、この領域の特定の座標を、ガイド穴を開ける穴開け位置と決定する(ステップS115)。   And the control part 16 which functions as the determination means 167 specifies the area | region attached with the 1st color from the image 200 containing the mark 201 colored by step S111, S112, S114, and is based on the specified result. The specific coordinates of this region are determined as the drilling position for opening the guide hole (step S115).

上述した処理により、ガイド穴の穴開け位置が決定されると、制御部16は、穴開けドリル14R,14LをX軸方向及びY軸方向に移動して、穴開け位置に穴開けドリル14R,14Lの位置合わせを行い、位置合わせが完了すると、穴開けドリル14R,14Lを回転させながら下降させ、プリント基板101にガイド穴を開口する。   When the drilling position of the guide hole is determined by the above-described processing, the control unit 16 moves the drilling drills 14R and 14L in the X-axis direction and the Y-axis direction, so that the drilling drill 14R, 14L is aligned, and when the alignment is completed, the drilling drills 14R and 14L are lowered while rotating to open guide holes in the printed circuit board 101.

穴開けが完了すると、制御部16は、穴開けドリル14R,14Lを上昇させた後に停止させ、穴開け位置の測定などの後処理を行った後に、押さえ部材による押さえを解く、さらに、X線照射源12R,12L、X線カメラ13R,13Lをオフする。   When the drilling is completed, the control unit 16 raises the drilling drills 14R and 14L, stops them, performs post-processing such as measurement of the drilling position, and then releases the pressing by the pressing member. The irradiation sources 12R and 12L and the X-ray cameras 13R and 13L are turned off.

以上説明したように、この実施の形態に係る穴開け位置決定装置10によれば、プリント基板101に予め付された位置合わせ用のマーク201の位置を正確に特定できる。また、エッジ202を含む領域を適応2値化することにより、画像200のコントラスト差が小さく、また、一様でない場合であっても、マーク201の位置を特定することができる。また、エッジ202と判定した画素についてのみ適応2値化処理を行うことにより、画像処理の負担を軽減し、画像処理を行う時間を短縮することができる。   As described above, according to the punching position determining apparatus 10 according to this embodiment, the position of the alignment mark 201 previously attached to the printed circuit board 101 can be accurately specified. Further, by adaptively binarizing the region including the edge 202, the position of the mark 201 can be specified even when the contrast difference of the image 200 is small and not uniform. Further, by performing the adaptive binarization process only for the pixel determined to be the edge 202, it is possible to reduce the load of the image processing and shorten the time for performing the image processing.

なお、この発明は上記の実施の形態に限定されず種々の変更及び応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications are possible.

図8(a)〜(c)に示すように、画像200の輝度値(輝度勾配)の変化が少ないために、微分値が所定の閾値を超えない場合がある。このような場合、判定手段162は、図9に示すように、閾値を越える微分値が存在するようにエッジ範囲b1およびエッジ範囲b2の微分値の最大値に基づいて自動的に閾値を小さく修正することにより、マーク201のエッジ202を判定することもできる。   As shown in FIGS. 8A to 8C, since the change in the luminance value (luminance gradient) of the image 200 is small, the differential value may not exceed a predetermined threshold value. In such a case, as shown in FIG. 9, the determination unit 162 automatically corrects the threshold value to be small based on the maximum differential value of the edge range b1 and the edge range b2 so that there exists a differential value exceeding the threshold value. By doing so, the edge 202 of the mark 201 can also be determined.

また、図10に示すように、エッジ範囲内に存在する画素であって、第2の色彩(白色)に付された画素に隣接するすべての画素が、第1の色彩(黒色)に付されている場合、彩色手段166は、この第2の色彩(白色)に付された画素を、第1の色彩(黒色)に彩色することもできる。プリント基板101を撮像した場合にマーク201は黒色として撮像されるため、エッジ範囲に存在する画素は本来第1の色彩が付されるはずである。しかし、撮像された画像200にノイズが含まれる場合、比較手段165が誤判定し、誤った色彩が付されることがある。このため、彩色手段166は、エッジ範囲内に存在する画素であって、白色に付された領域に隣接するすべての隣接領域の色彩が黒色である場合には、この白色に付された領域の色彩を黒色に付すこともできる。このとき、判定手段162は、彩色手段166により白色に付された領域に隣接する隣接領域の色彩を判定する。そして、判定手段162は、隣接するすべての隣接領域の色彩が黒色である場合、図9に示すように、所定の閾値を小さくすることもできる。   Further, as shown in FIG. 10, all the pixels that exist within the edge range and are adjacent to the pixel assigned to the second color (white) are assigned to the first color (black). In this case, the coloring means 166 can also color the pixels assigned to the second color (white) to the first color (black). When the printed board 101 is imaged, the mark 201 is imaged as black, and thus the pixels existing in the edge range should be originally given the first color. However, when noise is included in the captured image 200, the comparison unit 165 may make an erroneous determination, and an incorrect color may be added. Therefore, the coloring means 166 is a pixel existing in the edge range, and when the color of all the adjacent areas adjacent to the white area is black, the coloring area 166 The color can also be black. At this time, the determination unit 162 determines the color of the adjacent region adjacent to the region given white by the coloring unit 166. And the determination means 162 can also make a predetermined | prescribed threshold value small, as shown in FIG. 9, when the color of all adjacent adjacent areas is black.

判定手段162が画像200において不鮮明な画像位置であるとエラー判定した場合、撮像手段161は、エラー判定された位置の画像を再び撮像することもできる。また、制御部16は、作業者に対して不鮮明な画像である旨の警告を行うこともできる。また、判定手段162は、所定の閾値を小さくし、微分値が小さくした所定の閾値を超えているか否かを判定することもできる。   When the determination unit 162 determines that the image position is unclear in the image 200, the imaging unit 161 can re-image the image at the position where the error is determined. The control unit 16 can also warn the worker that the image is unclear. The determination unit 162 can also determine whether or not the predetermined threshold value is reduced and the differential value exceeds the predetermined threshold value.

設定手段164が設定する領域は、5×5画素からなる領域に限定されず、中心輝度値と平均輝度値とが求められる領域(例えば、3×5画素からなる領域、3×10画素からなる領域など)であれば、任意である。   The area set by the setting unit 164 is not limited to an area composed of 5 × 5 pixels, but is an area where a central luminance value and an average luminance value are obtained (for example, an area composed of 3 × 5 pixels and 3 × 10 pixels). Area, etc.) is arbitrary.

中心輝度値は、領域の中心にある画素の輝度値に限定されず、領域の中心付近にある画素の輝度値、中心付近の複数の画素の輝度値の平均値など広く含むものである。また、平均輝度値は、各画素の輝度値の相加平均値に限られず、相乗平均値、調和平均値など広く含むものである。   The central luminance value is not limited to the luminance value of the pixel at the center of the region, but includes a wide range of luminance values of pixels near the center of the region, average values of luminance values of a plurality of pixels near the center, and the like. Further, the average luminance value is not limited to the arithmetic average value of the luminance values of each pixel, but includes a wide range such as a geometric average value and a harmonic average value.

第1の色彩、第2の色彩は、互いに異なる色彩であれば、黒色、白色に限定されず任意である。   The first color and the second color are not limited to black and white as long as they are different from each other, and are arbitrary.

また、本明細書におけるX線は、通常の意味のX線(波長が1pm−10nm程度の電磁波)に限定されず、ガンマ線、α線、β線等、人体に有害な電磁波・放射線を広く含むものである。また、可視光であってもよい。   In addition, the X-rays in this specification are not limited to X-rays having an ordinary meaning (electromagnetic waves having a wavelength of about 1 pm to 10 nm), but widely include electromagnetic waves and radiation harmful to the human body such as gamma rays, α rays, and β rays. It is a waste. Moreover, visible light may be sufficient.

上述した構成は、穴開け位置決定装置以外に、X線を用いて何らかの処理(撮像する、エネルギーを照射する、分析する)を行う装置に広く適用可能である。   The configuration described above can be widely applied to apparatuses that perform some processing (imaging, irradiate energy, analyze) using X-rays in addition to the punching position determination apparatus.

なお、上記実施形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disc Read-Only Memory)、DVD、MO(Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、取得等するようにしてもよい。
In the above embodiment, the program to be executed is stored and distributed in a computer-readable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read-Only Memory), a DVD, or an MO (Magneto-Optical Disc). Then, the above-described processing may be executed by installing the program.
Further, the program may be stored in a disk device or the like included in a predetermined server device on a communication network such as the Internet, and may be acquired by being superimposed on a carrier wave, for example.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to the specific embodiment which concerns, This invention includes the invention described in the claim, and its equivalent range It is.

10 穴開け位置決定装置
11 作業テーブル
11a 処理領域
11b 搬送路
12R、12L X線照射源
13R、13L X線カメラ
14R、14L 穴開けドリル
15 基板検出センサ
16 制御部
17 台
18 搬入口
161 撮像手段
162 判定手段
163 記憶手段
164 設定手段
165 比較手段
166 彩色手段
167 決定手段
200 画像
201 マーク
202 エッジ
DESCRIPTION OF SYMBOLS 10 Hole position determination apparatus 11 Work table 11a Processing area 11b Transport path 12R, 12L X-ray irradiation source 13R, 13L X-ray camera 14R, 14L Hole drill 15 Substrate detection sensor 16 Control part 17 Stand 18 Carry-in port 161 Imaging means 162 Determination means 163 Storage means 164 Setting means 165 Comparison means 166 Coloring means 167 Determination means 200 Image 201 Mark 202 Edge

Claims (8)

プリント基板にガイド穴を開ける予定位置に付されたマークを含む画像を撮像する撮像手段と、
前記撮像手段により撮像された画像の輝度値を求め、求めた輝度値に微分フィルタを施して得られる微分値が所定の閾値を超えた場合、前記マークのエッジ位置と判定する判定手段と、
前記判定手段が判定したエッジ位置を示す座標を記憶する記憶手段と、
前記記憶手段が記憶した全てのエッジ位置に対して、それぞれのエッジ位置を中心として、所定の画素数からなる領域を設定する設定手段と、
前記設定手段により設定されたそれぞれの領域について、領域の中心位置の中心輝度値と領域の平均輝度値とを求め、求めた中心輝度値と平均輝度値とを比較する比較手段と、
前記比較手段により比較された結果、中心輝度値が平均輝度値未満である場合、その領域の中心位置の色彩を第1の色彩に付し、中心輝度値が平均輝度値以上である場合、その領域の中心位置の色彩を第2の色彩に付し、前記設定手段により設定されなかった領域の色彩を前記第2の色彩に付す彩色手段と、
前記彩色手段により第1の色彩に付された領域を、前記ガイド穴を開ける予定位置と決定する決定手段と、を備える、
ことを特徴とする穴開け位置決定装置。
An image pickup means for picking up an image including a mark attached to a planned position for opening a guide hole in a printed circuit board;
Determining a luminance value of an image captured by the imaging unit, and a determination unit that determines the edge position of the mark when a differential value obtained by applying a differential filter to the calculated luminance value exceeds a predetermined threshold;
Storage means for storing coordinates indicating the edge position determined by the determination means;
Setting means for setting a region having a predetermined number of pixels around each edge position for all edge positions stored by the storage means;
For each region set by the setting means, a central luminance value at the center position of the region and an average luminance value of the region are obtained, and a comparing means for comparing the obtained central luminance value with the average luminance value;
As a result of comparison by the comparison means, when the central luminance value is less than the average luminance value, the color at the center position of the region is attached to the first color, and when the central luminance value is equal to or higher than the average luminance value, Coloring means for attaching the color of the center position of the area to the second color and attaching the color of the area not set by the setting means to the second color;
A determination unit that determines an area assigned to the first color by the coloring unit as a planned position for opening the guide hole;
A hole-determining device characterized by that.
前記判定手段は、前記微分値が前記所定の閾値を超えなかった場合、前記撮像手段により撮像された画像を不鮮明な画像と判定する、
ことを特徴とする請求項1に記載の穴開け位置決定装置。
The determination unit determines that the image captured by the imaging unit is an unclear image when the differential value does not exceed the predetermined threshold.
The perforation position determining device according to claim 1.
前記所定の画素数からなる領域は、5×5ピクセルからなる領域である、
ことを特徴とする請求項1又は2に記載の穴開け位置決定装置。
The region composed of the predetermined number of pixels is a region composed of 5 × 5 pixels.
The punching position determination device according to claim 1 or 2, characterized in that
前記判定手段は、前記彩色手段により第2の色彩に付された領域に隣接する隣接領域の色彩を判定し、判定したすべての隣接領域の色彩が、前記第1の色彩である場合、前記所定の閾値を小さくする、
ことを特徴とする請求項1乃至3の何れか1項に記載の穴開け位置決定装置。
The determining means determines the color of an adjacent area adjacent to the area assigned to the second color by the coloring means, and when the determined colors of all adjacent areas are the first color, the predetermined color Reduce the threshold of
The perforation position determining apparatus according to any one of claims 1 to 3.
前記第1の色彩は黒色であり、前記第2の色彩は白色である、
ことを特徴とする請求項1乃至4の何れか1項に記載の穴開け位置決定装置。
The first color is black and the second color is white;
The punching position determination device according to any one of claims 1 to 4, characterized in that:
前記微分フィルタは、ソーベルフィルタである、
ことを特徴とする請求項1乃至5の何れか1項に記載の穴開け位置決定装置。
The differential filter is a Sobel filter.
The punching position determination device according to any one of claims 1 to 5, characterized in that:
プリント基板にガイド穴を開ける予定位置に付されたマークを含む画像を撮像する撮像ステップと、
前記撮像ステップにより撮像された画像の輝度値を求め、求めた輝度値に微分フィルタを施して得られる微分値が所定の閾値を超えた場合、前記マークのエッジ位置と判定する判定ステップと、
前記判定ステップにより判定されたエッジ位置を示す座標を記憶する記憶ステップと、
前記記憶ステップにより記憶された全てのエッジ位置に対して、それぞれのエッジ位置を中心として、所定の画素数からなる領域を設定する設定ステップと、
前記設定ステップにより設定されたそれぞれの領域について、領域の中心位置の中心輝度値と領域の平均輝度値とを求め、求めた中心輝度値と平均輝度値とを比較する比較ステップと、
前記比較ステップにより比較された結果、中心輝度値が平均輝度値未満である場合、その領域の中心位置の色彩を第1の色彩に付し、中心輝度値が平均輝度値以上である場合、その領域の中心位置の色彩を第2の色彩に付し、前記設定ステップにより設定されなかった領域の色彩を前記第2の色彩に付す彩色ステップと、
前記彩色ステップにより第1の色彩に付された領域を、前記ガイド穴を開ける予定位置と決定する決定ステップと、を備える、
ことを特徴とする穴開け位置決定方法。
An imaging step of capturing an image including a mark attached to a planned position for opening a guide hole in the printed circuit board;
Determining the luminance value of the image captured by the imaging step, and determining the edge position of the mark when a differential value obtained by applying a differential filter to the determined luminance value exceeds a predetermined threshold;
A storage step of storing coordinates indicating the edge position determined by the determination step;
A setting step for setting an area composed of a predetermined number of pixels around each edge position, with respect to all edge positions stored in the storing step;
For each region set by the setting step, a central luminance value of the central position of the region and an average luminance value of the region are obtained, and a comparison step for comparing the obtained central luminance value and the average luminance value;
As a result of the comparison in the comparison step, when the central luminance value is less than the average luminance value, the color at the center position of the region is attached to the first color, and when the central luminance value is equal to or higher than the average luminance value, A coloring step of attaching the color of the center position of the region to the second color and attaching the color of the region not set by the setting step to the second color;
A determination step of determining the region attached to the first color by the coloring step as a planned position for opening the guide hole,
A method for determining a drilling position.
コンピュータを、
プリント基板にガイド穴を開ける予定位置に付されたマークを含む画像を撮像する撮像手段、
前記撮像手段により撮像された画像の輝度値を求め、求めた輝度値に微分フィルタを施して得られる微分値が所定の閾値を超えた場合、前記マークのエッジ位置と判定する判定手段、
前記判定手段が判定したエッジ位置を示す座標を記憶する記憶手段、
前記記憶手段が記憶した全てのエッジ位置に対して、それぞれのエッジ位置を中心として、所定の画素数からなる領域を設定する設定手段、
前記設定手段により設定されたそれぞれの領域について、領域の中心位置の中心輝度値と領域の平均輝度値とを求め、求めた中心輝度値と平均輝度値とを比較する比較手段、
前記比較手段により比較された結果、中心輝度値が平均輝度値未満である場合、その領域の中心位置の色彩を第1の色彩に付し、中心輝度値が平均輝度値以上である場合、その領域の中心位置の色彩を第2の色彩に付し、前記設定手段により設定されなかった領域の色彩を前記第2の色彩に付す彩色手段、
前記彩色手段により第1の色彩に付された領域を、前記ガイド穴を開ける予定位置と決定する決定手段、
として機能させるためのプログラム。
Computer
An image pickup means for picking up an image including a mark attached to a planned position for opening a guide hole in a printed circuit board;
Determining means for determining a luminance value of an image imaged by the imaging means and determining an edge position of the mark when a differential value obtained by applying a differential filter to the calculated luminance value exceeds a predetermined threshold;
Storage means for storing coordinates indicating the edge position determined by the determination means;
Setting means for setting a region having a predetermined number of pixels around each edge position for all edge positions stored by the storage means;
For each area set by the setting means, a central brightness value at the center position of the area and an average brightness value of the area are compared, and a comparison means for comparing the calculated central brightness value with the average brightness value;
As a result of comparison by the comparison means, when the central luminance value is less than the average luminance value, the color at the center position of the region is attached to the first color, and when the central luminance value is equal to or higher than the average luminance value, Coloring means for attaching the color at the center position of the region to the second color and attaching the color of the region not set by the setting means to the second color;
A determining unit that determines an area assigned to the first color by the coloring unit as a planned position for opening the guide hole;
Program to function as.
JP2012143201A 2012-06-26 2012-06-26 Drilling position determination device, drilling position determination method, and program Active JP5908351B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012143201A JP5908351B2 (en) 2012-06-26 2012-06-26 Drilling position determination device, drilling position determination method, and program
TW102111201A TWI513384B (en) 2012-06-26 2013-03-28 The hole position determining means, the opening position determining method and the program
CN201310240030.5A CN103507108B (en) 2012-06-26 2013-06-17 Perforating positioning apparatus and perforate localization method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012143201A JP5908351B2 (en) 2012-06-26 2012-06-26 Drilling position determination device, drilling position determination method, and program

Publications (2)

Publication Number Publication Date
JP2014006803A JP2014006803A (en) 2014-01-16
JP5908351B2 true JP5908351B2 (en) 2016-04-26

Family

ID=49890797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012143201A Active JP5908351B2 (en) 2012-06-26 2012-06-26 Drilling position determination device, drilling position determination method, and program

Country Status (3)

Country Link
JP (1) JP5908351B2 (en)
CN (1) CN103507108B (en)
TW (1) TWI513384B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019174288A (en) * 2018-03-28 2019-10-10 リコーエレメックス株式会社 Inspection system
JP7126849B2 (en) * 2018-04-13 2022-08-29 株式会社ディスコ processing equipment
CN113894445B (en) * 2021-12-09 2022-02-15 广东佛智芯微电子技术研究有限公司 Chip surface punching method based on integration of optical detection and automatic correction
CN117415883B (en) * 2023-12-18 2024-02-23 工业云制造(四川)创新中心有限公司 Intelligent process decision optimization method in cloud manufacturing environment

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2561166B2 (en) * 1990-03-26 1996-12-04 株式会社精工舎 Method and device for punching printed circuit board
JP2985045B2 (en) * 1994-11-30 1999-11-29 セイコープレシジョン株式会社 Drilling method and X-ray drilling device using X-ray
JP3499080B2 (en) * 1995-06-06 2004-02-23 セイコープレシジョン株式会社 Drilling apparatus for printed circuit board and drilling method using the same
JP3372419B2 (en) * 1996-02-26 2003-02-04 松下電工株式会社 Object recognition method
JP3689587B2 (en) * 1999-04-16 2005-08-31 日本特殊陶業株式会社 Printed wiring board
FR2802847B1 (en) * 1999-12-24 2002-03-29 Lectra Systemes Sa TREATMENT SYSTEM WITH PROTECTION DEVICE FOR SECURE TREATMENT TABLE.
JP2003266384A (en) * 2002-03-11 2003-09-24 Kasai Kogyo Co Ltd Piercing cutter
JP4165871B2 (en) * 2002-03-15 2008-10-15 キヤノン株式会社 Position detection method, position detection apparatus, and exposure apparatus
JP4466560B2 (en) * 2002-10-30 2010-05-26 凸版印刷株式会社 Wiring pattern inspection apparatus, inspection method, detection apparatus, and detection method
JP4338405B2 (en) * 2003-01-15 2009-10-07 パナソニック株式会社 Size measuring system and size measuring device
JP4566883B2 (en) * 2005-10-27 2010-10-20 王子製紙株式会社 Jamming prevention device and jamming prevention method for flat cutter
JP4542046B2 (en) * 2006-01-30 2010-09-08 セイコープレシジョン株式会社 Drilling method and drilling device

Also Published As

Publication number Publication date
CN103507108A (en) 2014-01-15
CN103507108B (en) 2015-11-18
JP2014006803A (en) 2014-01-16
TWI513384B (en) 2015-12-11
TW201401945A (en) 2014-01-01

Similar Documents

Publication Publication Date Title
JP6425755B2 (en) Foreign substance inspection method of substrate
KR101251372B1 (en) Three dimension shape measuring method
JP5325807B2 (en) Foreign object detection device on flat glass surface
KR20110124703A (en) Apparatus and method for defect inspection of wafer
JP5908351B2 (en) Drilling position determination device, drilling position determination method, and program
JP2014038045A (en) Inspection device, illumination, inspection method, program and substrate producing method
JP2009016455A (en) Substrate position detecting device and substrate position detecting method
JP2016145887A (en) Inspection device and method
JP5660861B2 (en) Foreign matter inspection method and foreign matter inspection apparatus on substrate
TW202022313A (en) Center detecting method for suppressing the situation that the outer periphery of wafer is incorrectly recognized when detecting the center of wafer
KR20150071228A (en) Apparatus of inspecting glass of three dimensional shape
JP3597484B2 (en) Solder printing inspection equipment
JP6387620B2 (en) Quality control system
JP2017223473A (en) Circuit board inspection device and circuit board manufacturing method
TWI549097B (en) A method of detecting images of appearance of electronic components and computer readable media thereof
JP2007047933A (en) Method and device for image recognition of rectangular component
JPH0794971B2 (en) Cross-section shape detection method
JP2006189294A (en) Inspection method and device of irregular defect
KR102005345B1 (en) An automobile junction box terminal vision inspection method using line scan camera
JP2006250610A (en) Visual inspection method of circuit board
JP6822207B2 (en) Inspection equipment
TWI579557B (en) Image detection method for printed substrate
JP2011258274A (en) Glass substrate inspecting device and glass substrate manufacturing method
JP4877427B2 (en) Glass substrate inspection apparatus and glass substrate manufacturing method
JP2739739B2 (en) Misalignment inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160323

R150 Certificate of patent or registration of utility model

Ref document number: 5908351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250