KR101366195B1 - Vision apparatus for inspecting pan nut - Google Patents

Vision apparatus for inspecting pan nut Download PDF

Info

Publication number
KR101366195B1
KR101366195B1 KR1020130088164A KR20130088164A KR101366195B1 KR 101366195 B1 KR101366195 B1 KR 101366195B1 KR 1020130088164 A KR1020130088164 A KR 1020130088164A KR 20130088164 A KR20130088164 A KR 20130088164A KR 101366195 B1 KR101366195 B1 KR 101366195B1
Authority
KR
South Korea
Prior art keywords
unit
pan nut
inclined surface
light source
nut
Prior art date
Application number
KR1020130088164A
Other languages
Korean (ko)
Inventor
이진석
Original Assignee
주식회사 서울금속
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서울금속 filed Critical 주식회사 서울금속
Priority to KR1020130088164A priority Critical patent/KR101366195B1/en
Application granted granted Critical
Publication of KR101366195B1 publication Critical patent/KR101366195B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

The present invention relates to a vision device for inspecting a pan nut to inspect areas between screw threads on the inner circumference of a pan nut. The vision device for inspecting a pan nut includes an optical unit with an inclined surface; a lighting unit which has an optical source for emitting light, which is arranged on the outer side of the inclined surface, and which slantly emits light towards areas between screw thread through the inclined surface; and a camera unit for taking images on the areas between the screw tread of a pan nut by receiving the slanting light which is reflected on the areas between the screw threads and subsequently reflected on the inclined surface.

Description

팬너트 비전 검사 장치{VISION APPARATUS FOR INSPECTING PAN NUT}VISION APPARATUS FOR INSPECTING PAN NUT}

본 발명은 팬너트의 내주면을 검사하기 위한 팬너트 비전 검사 장치에 관한 것이다.
The present invention relates to a pan nut vision inspection device for inspecting the inner peripheral surface of the pan nut.

전자 산업의 발전 및 수요 증대에 힘입어 체결요소 부품도 전자제품의 고품질화 트렌드를 뒷받침하기 위해 소형화·정밀화되고 있다. 이러한 전자제품의 고품질화에는 체결요소 부품의 품질 신뢰도 향상도 수반하게 된다. 그에 따라, 체결요소 부품의 검사는 품질관리의 중요한 부분으로 정착되고 있다.Due to the development and demand of the electronics industry, fastener components are also being miniaturized and precisiond to support the trend of high quality electronic products. In order to improve the quality of such electronic products, it is also accompanied with an improvement in the quality reliability of fastening element parts. Accordingly, inspection of fastening component parts has become an important part of quality control.

체결요소 부품의 자동화 검사 장비의 하나인 비전 검사 장치는, 체결 요소를 촬영한 이미지를 처리하여 제품의 외관을 검사할 수 있게 구성된 것이다.The vision inspection device, which is one of the automated inspection equipment of the fastening element component, is configured to process an image of the fastening element to inspect the appearance of the product.

이러한 검사 과정에서, 통상적으로 외면의 이미지를 얻으면 되는 나사류와 달리, 너트류는 중공부의 내주면의 나사산에 대한 이미지를 얻어야 하는 점에서 이미지 획득시에 어려움이 있다. 특히, 나사류 중에서도 일 단부가 막힌 팬너트의 경우에는 그 어려움이 더 크다고 할 수 있다.
In this inspection process, unlike the screws that usually need to obtain an image of the outer surface, there is a difficulty in obtaining the image in that the nuts have to obtain an image of the thread of the inner peripheral surface of the hollow part. In particular, in the case of a pan nut of which one end is blocked among the screw thread, the difficulty is greater.

본 발명의 목적은, 팬너트의 내주면에 형성된 나사산에 대한 보다 분명하면서도 전체적인 이미지를 한번의 촬영만으로도 획득할 수 있게 하는, 팬너트 비전 검사 장치를 제공하는 것이다.
SUMMARY OF THE INVENTION An object of the present invention is to provide a pan nut vision inspection apparatus, which makes it possible to obtain a more clear and overall image of a thread formed on an inner circumferential surface of a pan nut with only one shot.

상기 과제를 실현하기 위한 본 발명의 일 실시예와 관련된 팬너트 비전 검사 장치는, 팬너트의 내주면에 형성된 나사산 사이의 영역을 검사하기 위한 팬너트 비전 검사 장치로서, 경사면을 구비하는 광학 유닛; 조명광을 출력하는 광원을 구비하며, 상기 경사면의 외측에 배치되어 상기 조명광을 상기 경사면을 투과하여 상기 나사산 사이의 영역을 향해 경사지게 입사시키는 조명 유닛; 및 상기 경사지게 입사된 조명광에 의해 상기 나사산 사이의 영역에서 1차 반사된 반사광을 상기 경사면을 통해 2차 반사하여 수광함으로써 상기 팬너트의 나사산 사이의 영역에 대한 이미지를 획득하도록 형성되는 카메라 유닛을 포함할 수 있다.A pan nut vision inspection device according to an embodiment of the present invention for realizing the above object, as a pan nut vision inspection device for inspecting the area between the threads formed on the inner peripheral surface of the pan nut, an optical unit having an inclined surface; An illumination unit having a light source for outputting illumination light, the illumination unit being disposed outside the inclined surface to incline the illumination light inclined toward the area between the screw threads through the inclined surface; And a camera unit configured to acquire an image of the region between the threads of the pan nut by receiving the reflected light first reflected in the region between the threads by the obliquely incident illumination light through the inclined plane and receiving the reflected light. can do.

여기서, 상기 광학 유닛은, 상기 카메라 유닛 측으로 갈수록 단면적이 넓어지게 형성되고, 상기 카메라 유닛의 촬영축과 경사지게 배치되는 상기 경사면을 구비하는 콘렌즈를 포함할 수 있다.The optical unit may include a cone lens having an inclined surface that is formed to have a wider cross-sectional area toward the camera unit side and is disposed to be inclined with the photographing axis of the camera unit.

삭제delete

여기서, 상기 광원은, 상기 팬너트를 향해서만 조사되는 지향성 조명광을 출력하도록 형성될 수 있다.Here, the light source may be formed to output directional illumination light irradiated only toward the pan nut.

여기서, 상기 조명 유닛은, 상기 광원을 둘러싸도록 형성되는 반사체를 포함할 수 있다.Here, the lighting unit may include a reflector formed to surround the light source.

여기서, 상기 광원은 상기 광학 유닛에 대해 상대 이동 가능하게 형성될 수 있다.Here, the light source may be formed to be relatively movable with respect to the optical unit.

여기서, 상기 광원은, 상기 경사면의 둘레 방향을 따라 연장 형성된 환형체일 수 있다.Here, the light source may be an annular body extending in the circumferential direction of the inclined surface.

여기서, 몸체; 및 상기 콘렌즈를 수용하여 지지할 수 있도록 상기 몸체에 형성되는 수용부를 구비하는 지지 유닛이 더 구비될 수 있다.Where body; And a support unit having an accommodation portion formed in the body to accommodate and support the cone lens.

여기서, 상기 지지 유닛은, 상기 광원을 수용하며, 상기 몸체에 상기 수용부와 연통되도록 형성되는 안내홈을 더 포함할 수 있다.Here, the support unit may further include a guide groove for receiving the light source, the guide groove formed in communication with the receiving portion.

여기서, 상기 안내홈은, 상기 콘렌즈의 경사면의 경사 방향을 따라 형성될 수 있다.
Here, the guide groove may be formed along the inclined direction of the inclined surface of the cone lens.

상기와 같이 구성되는 본 발명에 관련된 팬너트 비전 검사 장치에 의하면, 팬너트의 내주면에 형성된 나사산에 대한 보다 분명하면서도 전체적인 이미지를 한 번의 촬영만으로도 획득할 수 있다. According to the pan nut vision inspection apparatus according to the present invention configured as described above, it is possible to obtain a more clear and overall image of the thread formed on the inner peripheral surface of the pan nut with only one shot.

따라서, 팬너트를 회전시키거나 또는 카메라 유닛을 회전시키는 등을 위한 구성을 사용하지 않을 수 있게 되어, 팬너트에 대한 검사를 간단화할 수 있다. Therefore, the configuration for rotating the pan nut, rotating the camera unit, or the like can be avoided, thereby simplifying inspection of the pan nut.

또한, 팬너트의 길이가 길더라도, 광량의 부족으로 인한 문제를 해소하여 내부 나사산에 대한 분명한 이미지를 획득할 수 있게 한다.
In addition, even if the length of the pan nut is long, it is possible to solve the problem caused by the lack of light and to obtain a clear image of the internal thread.

도 1은 본 발명의 일 실시예에 따른 팬너트 비전 검사 장치(100)의 평면도이다.
도 2는 도 1의 팬너트 비전 검사 장치(100)의 개념적인 단면도이다.
도 3은 본 발명의 다른 실시예에 따른 팬너트 비전 검사 장치(100')의 개념적인 단면도이다.
도 4는 본 발명의 또 다른 실시예에 따른 팬너트 비전 검사 장치(100'')의 개념적인 단면도이다.1 is a plan view of a pan nut vision inspection device 100 according to an embodiment of the present invention.
2 is a conceptual cross-sectional view of the pan nut vision inspection device 100 of FIG.
3 is a conceptual cross-sectional view of a pan nut vision inspection device 100 ′ according to another embodiment of the present invention.
4 is a conceptual cross-sectional view of a pan nut vision inspection device 100 ″ according to another embodiment of the present invention.

이하, 본 발명의 바람직한 실시예에 따른 팬너트 비전 검사 장치에 대하여 첨부한 도면을 참조하여 상세히 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.Hereinafter, a pan nut vision inspection apparatus according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the present specification, the same or similar reference numerals are given to different embodiments in the same or similar configurations.

도 1은 본 발명의 일 실시예에 따른 팬너트 비전 검사 장치(100)의 평면도이다.1 is a plan view of a pan nut vision inspection device 100 according to an embodiment of the present invention.

본 도면을 참조하면, 팬너트 비전 검사 장치(100)는, 공급 유닛(110), 이송 유닛(120), 대상물 감지 유닛(130), 조명 유닛(140), 광학 유닛(150), 카메라 유닛(160), 형상 측정 유닛(170), 및 배출 유닛(180)을 포함할 수 있다.Referring to this drawing, the pan nut vision inspection apparatus 100 includes a supply unit 110, a transfer unit 120, an object detection unit 130, an illumination unit 140, an optical unit 150, and a camera unit ( 160, the shape measuring unit 170, and the discharge unit 180.

공급 유닛(110)은 공급부(111) 및 정렬부(113)를 포함할 수 있다. 공급부(111)는 호퍼(hopper) 형태로 형성되며, 측정할 대상물(N)을 시간당 일정 양만큼 정렬부(113)에 공급한다. 여기서, 대상물(N)은 너트, 볼트, 또는 팬너트와 같은 나사류를 포함할 수 있다.The supply unit 110 may include a supply unit 111 and an alignment unit 113. The supplying unit 111 is formed in a hopper shape and supplies the object N to be measured to the aligning unit 113 by a predetermined amount of time. Here, the object N may include a screw, such as a nut, a bolt, or a fan nut.

정렬부(113)는 서로 모여져 있는 대상물(N)을 겹치지 않게 낱개 단위로 분리하고 일정한 자세로 정렬시킨다. 구성적인 측면에 있어서, 정렬부(113)는 볼(bowl) 피더(115), 직선 피더(117), 및 스페이서(119)를 포함할 수 있다.The aligning unit 113 separates the objects N gathered from each other in a single unit without overlapping and arranges them in a predetermined posture. In an architectural aspect, the alignment portion 113 may include a bowl feeder 115, a straight feeder 117, and a spacer 119.

볼 피더(115)는 대상물(N)이 모여져 있는 상태에서 진동에 의하여 상호 분리되면서 특정 방향을 따라 안내되도록 구성된다. 볼 피더(115)는 대상물(N)을 이송하는 중에 가이드의 형상에 의하여 대상물(N)이 특정 자세를 갖도록 유도하거나 특정된 자세를 갖지 않는 대상물(N)을 탈락시킨다. 종류에 있어서 볼 피더(115)는 계단형, 원추형, 원통형, 접시형, 단종형 등 알려져 있는 다양한 타입으로 형성될 수 있다.The ball feeder 115 is configured to be guided along a specific direction while being separated from each other by vibration in a state where the objects N are gathered. The ball feeder 115 induces the object N to have a specific attitude by the shape of the guide while the object N is being conveyed, or removes the object N that does not have the specified attitude. The ball feeder 115 may be formed in various types, such as a stepped shape, a conical shape, a cylindrical shape, a saucer shape, a discontinuous shape, and the like.

볼 피더(115)에 의해 일정 자세로 공급된 대상물(N)은 직선 피더(117)에 의해 일렬로 이송 유닛(120)에 정렬될 수 있도록 준비된다. 직선 피더(117)는 대상물(N)을 자중에 의해 자연적으로 이송되도록 하여 먼저 진행된 대상물(N)에 밀착시킨다. 공급 속도를 증대시키고 상호 간의 간격을 일정하게 유지하기 위해, 직선 피더(117)에는 공압 노즐과 같은 푸셔(pusher)가 구비될 수 있다. 직선 피더(117)의 끝단에는 한꺼번에 대상물(N)이 복수 개가 공급되는 것(잼)을 방지하기 위한 기계적 또는 전자적 장치가 구비될 수 있다. 그러한 잼 방지 장치로는 스프링에 의해 젖혀질 수 있는 암(arm) 또는 게이트(gate)나 롤러(roller) 등을 채택할 수 있다.The objects N supplied in a predetermined posture by the ball feeder 115 are prepared to be aligned with the transfer unit 120 in a line by the linear feeder 117. [ The linear feeder 117 makes the object N naturally conveyed by its own weight and closely adheres to the object N advanced first. In order to increase the feed rate and to maintain a constant spacing between the feeders, the linear feeder 117 may be provided with a pusher, such as a pneumatic nozzle. A mechanical or electronic device for preventing a plurality of objects N from being fed at a time can be provided at the end of the linear feeder 117. Such an anti-jam device may employ an arm or a gate or a roller that can be turned by a spring.

스페이서(119)는 직선 피더(117)에 의해 이송 유닛(120)에 놓여진 대상물(N)이 이송 유닛(120) 상에서 일정한 위치에 놓여 지도록 안내한다. 이송 유닛(120)에 놓여진 대상물(N)은 관성 또는 흔들림에 의해 설정된 위치에서 벗어나 있을 수 있다. 이를 맞추기 위해, 스페이서(119)는 대상물(N)과 접촉하여 대상물(N)을 이송 유닛(120)의 반경방향으로 이동할 수 있게 구성된다.The spacer 119 guides the object N placed on the transfer unit 120 by the linear feeder 117 to be placed at a predetermined position on the transfer unit 120. [ The object N placed on the transfer unit 120 may be out of position set by inertia or shake. The spacer 119 is configured to contact the object N to move the object N in the radial direction of the transfer unit 120. [

도 1에는 이송 유닛(120)의 상면에 대상물(N)이 '놓여 지는' 방식으로서 정렬부(113)도 그에 적용될 수 있는 일 예를 보인 것이나, 정렬을 위한 메커니즘은 대상물(N)에 따라 다양한 형태가 될 수 있다. 그러한 예로서, 정렬부(113)는 대상물(N)이 끼워지는 홈이 일정한 간격으로 외주 측면에 형성된 원형판을 포함할 수 있다. 1 shows an example in which the aligning unit 113 is also applicable to the method of placing the object N on the upper surface of the transfer unit 120. However, the mechanism for aligning may be various Can be a form. As an example, the aligning section 113 may include a circular plate on which grooves for holding the object N are formed on the outer peripheral side at regular intervals.

이송 유닛(120)은 일정한 회전 속도를 갖는 원형의 회전판(121)을 구비할 수 있다. 대상물(N)은 회전판(121)에 놓여지게 되며, 이송 유닛(120)은 대상물(N)을 이송하는 동안 단계적으로 측정(검사)을 받도록 하고 측정이 마쳐진 후 배출되도록 한다. 회전판(121)의 구동을 위하여 회동부 및 속도 제어를 위한 감속 장치 등이 포함될 수 있다. 회전판(121)은 대상물(N)을 상면에 배치하고 회전판(121)의 저면에서도 측정이 가능하도록 투명 글라스 형태로 형성될 수 있다. 이외에도 회전판(121)은 외주의 측면에 대상물(N)이 끼워질 수 있는 홈이 일정 간격으로 형성된 타입으로 형성될 수도 있다. The transfer unit 120 may have a circular rotary plate 121 having a constant rotation speed. The object N is placed on the rotary plate 121 and the transfer unit 120 is subjected to measurement (inspection) stepwise while transferring the object N, and the measurement is completed and then discharged. A rotary unit for driving the rotary plate 121, and a decelerator for controlling the speed may be included. The rotary plate 121 may be formed in a transparent glass shape so that the object N may be disposed on the upper surface and the lower surface of the rotary plate 121 may be measured. In addition, the rotary plate 121 may be formed in such a manner that grooves that allow the object N to be fitted thereon are formed at regular intervals on the side surface of the outer periphery.

대상물 감지 유닛(130)은 이송 유닛(120)에 옮겨진 대상물(N)을 감지한다. 대상물 감지 유닛(130)은 대상물(N)이 대상물 감지 유닛(130)을 지나쳐서 검사 영역으로 향하는지 감지하여 위치 및 대상물(N) 간의 간격에 관한 정보를 데이터 처리부에 전송한다. 대상물(N)의 감지를 위하여 광센서, 근접센서 등이 사용될 수 있다. 이외에도 대상물 감지 유닛(130)은 엔코더 형태로 구현될 수 있다.The object sensing unit 130 senses the object N transferred to the transfer unit 120. [ The object sensing unit 130 senses whether the object N passes through the object sensing unit 130 and is directed to the inspection region, and transmits information about the position and the interval between the objects N to the data processing unit. For sensing the object N, a light sensor, a proximity sensor, or the like may be used. In addition, the object sensing unit 130 may be implemented in an encoder form.

조명 유닛(140), 광학 유닛(150), 및 카메라 유닛(160)은 대상물(N)이 검사 영역 내에 왔을 때 대상물(N)의 표면에 대한 정보를 얻을 수 있게 구성된다. 얻어진 정보는 본 도면에 도시되지 않은 처리 유닛에 의해 나사산의 결손 또는 크랙과 같은 결함의 유무를 평가하는데 활용된다. 조명 유닛(140), 광학 유닛(150), 및 카메라 유닛(160)의 상세한 구성 및 작동 방식에 대하여는 도 2 내지 도 4를 참조하여 후술한다.The lighting unit 140, the optical unit 150, and the camera unit 160 are configured to obtain information about the surface of the object N when the object N comes within the inspection area. The information obtained is utilized by the processing unit not shown in this figure to evaluate the presence of defects such as thread defects or cracks. Detailed configurations and operation methods of the lighting unit 140, the optical unit 150, and the camera unit 160 will be described later with reference to FIGS. 2 to 4.

다시 도 1을 참조하면, 형상 측정 유닛(170)은 대상물(N)의 헤드 규격, 몸체의 직경, 몸체의 길이 등 다양한 크기적 요소를 측정할 수 있게 구성된다. 형상 측정 유닛(170)은 대상물(N)의 일측에 배치되는 백라이트와, 백라이트의 반대쪽에 배치되는 촬영기를 갖춤으로써 대상물(N)의 실루엣을 검사할 수 있게 구성될 수 있다.Referring back to FIG. 1, the shape measuring unit 170 may be configured to measure various size elements such as a head size of an object N, a diameter of a body, and a length of a body. The shape measuring unit 170 may be configured to inspect the silhouette of the object N by having a backlight disposed on one side of the object N and an imager disposed on the opposite side of the backlight.

배출 유닛(180)은 검사가 완료되었거나 재검사가 필요한(측정되지 않은) 대상물(N)을 분류하여 배출시킨다. 배출 유닛(180)은 적어도 하나의 양품 배출부(181, 182), 불량품 배출부(183), 및 재검사품 배출부(184)를 포함할 수 있다. 정확한 배출을 위하여 배출 유닛(180)은 공압으로 대상물(N)을 이동시키는 공압 노즐을 포함할 수 있다.The discharge unit 180 classifies and discharges the object N which has been inspected or needs to be re-inspected (not measured). The discharge unit 180 may include at least one good product discharge unit 181 and 182, a defective product discharge unit 183, and a retest product discharge unit 184. The discharge unit 180 may include a pneumatic nozzle for moving the object (N) at pneumatic pressure for accurate discharge.

이외에도 팬너트 비전 검사 장치(100)는 각 전자 부품들을 제어하거나 감지 또는 측정된 결과를 받는 데이터 처리부와, 검사 상태를 시각적으로 표시하기 위한 디스플레이를 포함할 수 있다. 데이터 처리부는 양품과 불량품, 및 재검사품을 구별하기 위한 알고리즘이 포함된 소프트웨어를 내장하고, 또한 사용자의 조작 또는 알림을 용이하게 하기 위한 시각적 사용자 인터페이스(graphic user interface: GUI)를 갖출 수 있다. 이하에서는, 상술한 팬너트 비전 검사 장치(100)의 조명 유닛(140), 광학 유닛(150), 및 카메라 유닛(160)에 대해 도 2를 참조하여 구체적으로 설명한다.In addition, the pan nut vision inspection apparatus 100 may include a data processor that controls each electronic component or receives a sensed or measured result, and a display for visually displaying the inspection state. The data processing unit includes software including an algorithm for distinguishing good products, defective products, and re-tested products, and can also have a visual user interface (GUI) for facilitating user's operation or notification. Hereinafter, the lighting unit 140, the optical unit 150, and the camera unit 160 of the pan nut vision inspection apparatus 100 described above will be described in detail with reference to FIG. 2.

도 2는 도 1의 팬너트 비전 검사 장치(100)의 개념적인 단면도이다. 본 실시예에서, 대상물은 팬너트(N)일 수 있다. 팬너트(N)는 헤드부(NH) 및 몸체부(NB)를 가질 수 있다. 여기서, 몸체부(NB)는 중공부(NC)를 가질 수 있으며, 중공부(NC)의 내주면(NI)에는 나사산이 형성될 수 있다.2 is a conceptual cross-sectional view of the pan nut vision inspection device 100 of FIG. In this embodiment, the object may be a fan nut (N). The fan nut N may have a head portion NH and a body portion NB. Here, the body portion NB may have a hollow portion NC, and a thread may be formed on the inner circumferential surface NI of the hollow portion NC.

이하에서는, 본 발명의 일 실시예와 관련된 팬너트 비전 검사 장치(100)의 주요 부분에 대해 설명한다. 본 도면을 참조하면, 팬너트 비전 검사 장치(100)는 이송 유닛(120), 조명 유닛(140), 광학 유닛(150), 및 카메라 유닛(160)을 포함할 수 있다.Hereinafter, the main part of the pan nut vision inspection device 100 according to an embodiment of the present invention will be described. Referring to this figure, the pan nut vision inspection apparatus 100 may include a transfer unit 120, an illumination unit 140, an optical unit 150, and a camera unit 160.

이송 유닛(120)은 팬너트(N)를 이송하는 요소이다. 이송 유닛(120)은 회전판(121)을 포함할 수 있다. 여기서, 팬너트(N)는 그 헤드부(NH)가 회전판(121)에 놓여진 상태로 이송될 수 있다.The transfer unit 120 is an element for transferring the fan nut N. The transfer unit 120 may include a rotary plate 121. Here, the fan nut N can be transported in a state in which the head portion NH thereof is placed on the rotary plate 121.

조명 유닛(140)은 팬너트(N)에 조명광(L1)을 조사하는 요소이다. 조명 유닛(140)은 광원(141)을 포함할 수 있다. The lighting unit 140 is an element that radiates the illumination light L1 to the pan nut N. The lighting unit 140 may include a light source 141.

광원(141)은 조명광(L1)을 출력하는 요소이다. 광원(141)은 팬너트(N)의 중공부(NC)를 향해 조명광(L1)을 조사하도록 형성될 수 있다. 이를 위해, 광원(141)은 팬너트(N) 측으로만 조사되는 지향성 조명광(L1)을 출력할 수 있다. 광원(141)은 후술하는 광학 유닛(150)의 둘레 방향을 따라 연장되는 환형체의 형태를 가질 수 있다.The light source 141 is an element that outputs the illumination light L1. The light source 141 may be formed to irradiate the illumination light L1 toward the hollow part NC of the pan nut N. To this end, the light source 141 may output the directional illumination light L1 irradiated only to the pan nut N side. The light source 141 may have a form of an annular body extending along the circumferential direction of the optical unit 150 described later.

광학 유닛(150)은 팬너트(N)에서 반사되는 반사광(L2)의 진행 방향을 변경시키는 요소이다. 광학 유닛(150)은 콘렌즈(151)를 포함할 수 있다.The optical unit 150 is an element for changing the traveling direction of the reflected light L2 reflected by the pan nut N. The optical unit 150 may include a cone lens 151.

콘렌즈(151)는 팬너트(N)의 내주면(NI)에서 반사되는 반사광(L2)을 카메라 유닛(160)으로 입사시키는 요소이다. 이를 위해, 콘렌즈(151)는 카메라 유닛(160) 측으로 벌어지는 방향을 따라 카메라 유닛(160)의 촬영축(X)과 경사지게 형성되는 경사면(151a)을 가질 수 있다. 이와 함께, 콘렌즈(151)는 상측면(151b), 및 하측면(151c)을 가질 수 있다.The cone lens 151 is an element for incident the reflected light L2 reflected from the inner circumferential surface NI of the pan nut N to the camera unit 160. To this end, the cone lens 151 may have an inclined surface 151a which is formed to be inclined with the photographing axis X of the camera unit 160 in a direction that opens toward the camera unit 160. In addition, the cone lens 151 may have an upper side 151b and a lower side 151c.

카메라 유닛(160)은 팬너트(N)를 촬영하는 요소이다. 카메라 유닛(160)은 콘렌즈(151)에서 반사되는 반사광(L2)으로부터 팬너트(N)의 내주면(NI)에 대한 이미지를 획득할 수 있다.The camera unit 160 is an element for photographing the pan nut N. The camera unit 160 may acquire an image of the inner circumferential surface NI of the pan nut N from the reflected light L2 reflected by the cone lens 151.

이하에서는, 상술한 팬너트 비전 검사 장치(100)의 작동 방식에 대해 설명한다.Hereinafter, the operation method of the pan nut vision inspection device 100 described above will be described.

본 실시예에서, 콘렌즈(151)는 팬너트(N)의 내주면(NI)에 대한 정확한 이미지를 획득하기 위하여, 그 하측면(151c)이 팬너트(N)와 상당히 좁은 간격을 두고 이격되도록 배치될 수 있으며, 또한 그 하측면(151c)의 지름(d1)이 중공부(NC)의 지름(d2)보다 크게 형성될 수 있다. 이에 따라, 콘렌즈(151)의 하측면(151c)과 팬너트(N)의 사이에 별도의 조명을 설치하기 어려워, 팬너트(N)의 내주면(NI)에 대한 명확한 이미지를 획득하기가 쉽지 않을 수 있다.In this embodiment, the cone lens 151 is spaced apart from the pan nut N at a substantially narrow interval so that the lower side 151c may be spaced apart from the pan nut N in order to obtain an accurate image of the inner peripheral surface NI of the pan nut N. The diameter d1 of the lower surface 151c may be larger than the diameter d2 of the hollow part NC. Accordingly, it is difficult to install a separate light between the lower side 151c of the cone lens 151 and the pan nut N, so that it is easy to obtain a clear image of the inner circumferential surface NI of the pan nut N. You may not.

본 실시예에 따르면, 팬너트(N)가 이송 유닛(120)에 의해 검사 영역에 도달하면, 콘렌즈(151)의 경사면(151a)의 외측에 배치된 광원(141)이 조명광(L1)을 출력할 수 있고, 이 조명광(L1)은 콘렌즈(151)의 경사면(151a)을 투과하여 팬너트(N)의 중공부(NC)로 입사될 수 있다. 이러한 구성에 의하면, 조명광(L1)이 내주면(NI)에 비스듬히 입사되므로, 나사산에 의해 생성되는 그림자를 최소화할 수 있어 나사골에 대한 명확한 이미지를 획득할 수 있다.According to the present embodiment, when the pan nut N reaches the inspection area by the transfer unit 120, the light source 141 disposed outside the inclined surface 151a of the cone lens 151 receives the illumination light L1. The illumination light L1 may pass through the inclined surface 151a of the cone lens 151 and enter the hollow portion NC of the pan nut N. According to this configuration, since the illumination light L1 is obliquely incident on the inner circumferential surface NI, the shadow generated by the thread can be minimized, so that a clear image of the screw bone can be obtained.

또한, 광원(141)은 팬너트(N) 측으로만 조사되는 지향성 조명광(L1)을 출력할 수 있으므로, 카메라 유닛(160) 측에서 바라볼 때 팬너트(N)의 내주면(NI)에서 반사되는 반사광(L2)과 간섭되지 않을 수 있다. 따라서, 팬너트(N)의 내주면(NI)에 대한 명확한 이미지를 획득할 수 있다.In addition, since the light source 141 may output the directional illumination light L1 irradiated only to the pan nut N side, it is reflected from the inner circumferential surface NI of the pan nut N when viewed from the camera unit 160 side. It may not interfere with the reflected light L2. Therefore, a clear image of the inner peripheral surface NI of the pan nut N can be obtained.

조명광(L1)이 팬너트(N)의 중공부(NC)에 조사되면, 팬너트(N)의 내주면(NI)에서 1차 반사되는 반사광(L2)은 콘렌즈(151)의 경사면(151a)에서 2차 반사될 수 있다. 2차 반사된 재반사광(L2)은 카메라 유닛(160)으로 입사될 수 있고, 이에 의해 카메라 유닛(160)은 팬너트(N)의 내주면(NI)에 대한 이미지를 획득할 수 있다.When the illumination light L1 is irradiated to the hollow portion NC of the pan nut N, the reflected light L2 that is primarily reflected from the inner circumferential surface NI of the pan nut N is the inclined surface 151a of the cone lens 151. Can be secondary reflected at The secondary reflected re-reflected light L2 may be incident to the camera unit 160, whereby the camera unit 160 may acquire an image of the inner circumferential surface NI of the pan nut N.

도 3은 본 발명의 다른 실시예에 따른 팬너트 비전 검사 장치(100')의 개념적인 단면도이다. 본 도면을 참조하면, 팬너트 비전 검사 장치(100')는 상술한 요소들 이외에 지지 유닛(190)을 더 포함할 수 있다.3 is a conceptual cross-sectional view of a pan nut vision inspection device 100 ′ according to another embodiment of the present invention. Referring to this figure, the pan nut vision inspection apparatus 100 ′ may further include a support unit 190 in addition to the above-described elements.

지지 유닛(190)은 콘렌즈(151)를 지지하는 요소이다. 지지 유닛(190)은 몸체(191), 수용부(193), 및 안내홈(195)을 포함할 수 있다.The support unit 190 is an element for supporting the cone lens 151. The support unit 190 may include a body 191, a receiving unit 193, and a guide groove 195.

몸체(191)는 카메라 유닛(160)과 팬너트(N) 사이에 고정될 수 있도록 팬너트 비전 검사 장치(100)의 고정형 요소 또는 외부의 고정형 요소와 연결될 수 있다.The body 191 may be connected to a fixed element or an external fixed element of the pan nut vision inspection apparatus 100 so as to be fixed between the camera unit 160 and the pan nut N.

수용부(193)는 몸체(191)의 두께 방향으로 관통 형성될 수 있다. 수용부(193)는 콘렌즈(151)의 경사면(151a)과 접하여 이를 지지할 수 있도록 콘렌즈(151)의 경사면(151a)에 대응하는 형상을 가질 수 있다.The receiving part 193 may be formed to penetrate in the thickness direction of the body 191. The receiving unit 193 may have a shape corresponding to the inclined surface 151a of the cone lens 151 to be in contact with and support the inclined surface 151a of the cone lens 151.

안내홈(195)은 수용부(193)의 내면에 콘렌즈(151)의 경사면(151a)의 경사 방향(S)을 따라 형성될 수 있다. 안내홈(195)에는 광원(141)이 이동 가능하게 수용될 수 있다.The guide groove 195 may be formed along the inclined direction S of the inclined surface 151a of the cone lens 151 on the inner surface of the accommodation unit 193. The light source 141 may be accommodated in the guide groove 195 to be movable.

이하에서는, 상술한 팬너트 비전 검사 장치(100')의 작동 방식에 대해 설명한다. 팬너트(N)는 그 형태에 따라 복수의 종류로 분류될 수 있다. 구체적으로, 팬너트(N)는 중공부(NC)의 폭이 좁고 길이가 긴 것으로부터 폭이 넓고 길이가 짧은 것까지 그 종류에 따라 복수의 형태를 가질 수 있다. 이에 따라, 팬너트(N)의 형태에 따라 이에 적합한 조명광(L1)이 요구될 수 있다.Hereinafter, an operation method of the pan nut vision inspection device 100 ′ described above will be described. The pan nut N may be classified into a plurality of types according to its shape. Specifically, the pan nut N may have a plurality of shapes depending on the type from the narrow and long length of the hollow part NC to the wide and short length. Accordingly, the illumination light L1 suitable for the shape of the pan nut N may be required.

본 실시예에서, 광원(141)은 이동 가능하게 형성될 수 있다. 구체적으로, 광원(141)은 안내홈(195)을 따라 이동 가능하게 형성될 수 있고, 여기서 안내홈(195)은 콘렌즈(151)의 경사면(151a)의 경사 방향(S)을 따라 형성될 수 있다. 이러한 구성에 의하면, 팬너트(N)의 형태에 따라 조명광(L1)의 조명 방향 및 조명 범위를 변화시킬 수 있어, 팬너트(N)의 내주면(NI)에 대한 보다 명확한 이미지를 획득할 수 있다.In this embodiment, the light source 141 may be formed to be movable. Specifically, the light source 141 may be formed to be movable along the guide groove 195, where the guide groove 195 may be formed along the inclined direction S of the inclined surface 151a of the cone lens 151. Can be. According to this structure, the illumination direction and illumination range of the illumination light L1 can be changed according to the shape of the pan nut N, and a clearer image of the inner peripheral surface NI of the pan nut N can be obtained. .

도 4는 본 발명의 또 다른 실시예에 따른 팬너트 비전 검사 장치(100'')의 개념적인 단면도이다. 4 is a conceptual cross-sectional view of a pan nut vision inspection device 100 ″ according to another embodiment of the present invention.

본 도면을 참조하면, 팬너트 비전 검사 장치(100'')의 조명 유닛(140'')은 상술한 광원(141) 이외에 반사체(143)를 더 포함할 수 있다. 반사체(143)는 광원(141)의 조명광(L1)의 조사 방향을 가이드하는 요소이다. 반사체(143)는 광원(141)을 둘러싸도록 형성될 수 있다.Referring to this drawing, the illumination unit 140 ″ of the pan nut vision inspection apparatus 100 ″ may further include a reflector 143 in addition to the light source 141 described above. The reflector 143 is an element that guides the irradiation direction of the illumination light L1 of the light source 141. The reflector 143 may be formed to surround the light source 141.

이러한 구성에 의하면, 광원(141)에서 출력되는 조명광(L1)은 반사체(143)에 의해 반사되어 중공부(NC)로 입사되므로, 팬너트(N)의 내주면(NI)에서 반사되는 반사광(L2)과 비간섭될 수 있다. 이에 따라, 보다 정확한 이미지를 획득할 수 있다. 또한, 콘렌즈(151)의 상측면(151b)으로 진행하는 조명광(L1)의 광량을 최소화할 수 있어 전력 대비 효율성을 향상시킬 수 있다.According to this configuration, since the illumination light L1 output from the light source 141 is reflected by the reflector 143 and is incident on the hollow part NC, the reflected light L2 reflected from the inner circumferential surface NI of the pan nut N. ) May be intrusive. Accordingly, a more accurate image can be obtained. In addition, the amount of light of the illumination light L1 traveling to the upper surface 151b of the cone lens 151 may be minimized, thereby improving efficiency with respect to power.

상기와 같은 팬너트 비전 검사 장치는 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.
Such a pan nut vision inspection device is not limited to the configuration and operation of the embodiments described above. The above embodiments may be configured such that various modifications may be made by selectively combining all or part of the embodiments.

100: 팬너트 비전 검사 장치 110: 공급 유닛
120: 이송 유닛 130: 대상물 감지 유닛
140: 조명 유닛 150: 광학 유닛
160: 카메라 유닛 170: 형상 측정 유닛
180: 배출 유닛 190: 지지 유닛100: pan nut vision inspection device 110: supply unit
120: transfer unit 130: object detection unit
140: lighting unit 150: optical unit
160: camera unit 170: shape measurement unit
180: discharge unit 190: support unit

Claims (10)

팬너트의 내주면에 형성된 나사산 사이의 영역을 검사하기 위한 팬너트 비전 검사 장치로서,
경사면을 구비하는 광학 유닛;
조명광을 출력하는 광원을 구비하며, 상기 경사면의 외측에 배치되어 상기 조명광을 상기 경사면을 투과하여 상기 나사산 사이의 영역을 향해 경사지게 입사시키는 조명 유닛; 및
상기 경사지게 입사된 조명광에 의해 상기 나사산 사이의 영역에서 1차 반사된 반사광을 상기 경사면을 통해 2차 반사하여 수광함으로써 상기 팬너트의 나사산 사이의 영역에 대한 이미지를 획득하도록 형성되는 카메라 유닛을 포함하는, 팬너트 비전 검사 장치.
A pan nut vision inspection device for inspecting an area between threads formed on an inner circumferential surface of a pan nut,
An optical unit having an inclined surface;
An illumination unit having a light source for outputting illumination light, the illumination unit being disposed outside the inclined surface to incline the illumination light inclined toward the area between the screw threads through the inclined surface; And
And a camera unit configured to acquire an image of the region between the threads of the pan nut by receiving the reflected light, which is firstly reflected in the region between the threads by the obliquely incident illumination light, through the inclined plane and receiving the reflected light. , Pannut vision inspection device.
제1항에 있어서,
상기 광학 유닛은,
상기 카메라 유닛 측으로 갈수록 단면적이 넓어지게 형성되고, 상기 카메라 유닛의 촬영축과 경사지게 배치되는 상기 경사면을 구비하는 콘렌즈를 포함하는, 팬너트 비전 검사 장치.
The method of claim 1,
The optical unit includes:
And a cone lens having a wider cross-sectional area toward the camera unit, the cone lens having the inclined surface disposed to be inclined with the photographing axis of the camera unit.
삭제delete 제1항에 있어서,
상기 광원은,
상기 팬너트를 향해서만 조사되는 지향성 조명광을 출력하도록 형성되는, 팬너트 비전 검사 장치.
The method of claim 1,
The light source includes:
And a pan nut vision inspection device configured to output directional illumination light irradiated only toward the pan nut.
제1항에 있어서,
상기 조명 유닛은,
상기 광원을 둘러싸도록 형성되는 반사체를 포함하는, 팬너트 비전 검사 장치.
The method of claim 1,
The lighting unit,
And a reflector formed to surround the light source.
제1항에 있어서,
상기 광원은 상기 광학 유닛에 대해 상대 이동 가능하게 형성되는, 팬너트 비전 검사 장치.

The method of claim 1,
And the light source is formed to be movable relative to the optical unit.

제1항에 있어서,
상기 광원은,
상기 경사면의 둘레 방향을 따라 연장 형성된 환형체인, 팬너트 비전 검사 장치.
The method of claim 1,
The light source includes:
A pan nut vision inspection device, which is an annular body extending along the circumferential direction of the inclined surface.
제2항에 있어서,
몸체; 및
상기 콘렌즈를 수용하여 지지할 수 있도록 상기 몸체에 형성되는 수용부를 구비하는 지지 유닛을 더 포함하는, 팬너트 비전 검사 장치.
3. The method of claim 2,
Body; And
And a support unit having a receiving portion formed in the body to accommodate and support the cone lens.
제8항에 있어서,
상기 지지 유닛은,
상기 광원을 수용하며, 상기 몸체에 상기 수용부와 연통되도록 형성되는 안내홈을 더 포함하는, 팬너트 비전 검사 장치.9. The method of claim 8,
The support unit includes:
And a guide groove accommodating the light source and formed in communication with the accommodating part in the body. 제9항에 있어서,
상기 안내홈은,
상기 콘렌즈의 경사면의 경사 방향을 따라 형성되는, 팬너트 비전 검사 장치.10. The method of claim 9,
The guide groove,
Fan nut vision inspection device is formed along the inclined direction of the inclined surface of the cone lens.
KR1020130088164A 2013-07-25 2013-07-25 Vision apparatus for inspecting pan nut KR101366195B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130088164A KR101366195B1 (en) 2013-07-25 2013-07-25 Vision apparatus for inspecting pan nut

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130088164A KR101366195B1 (en) 2013-07-25 2013-07-25 Vision apparatus for inspecting pan nut

Publications (1)

Publication Number Publication Date
KR101366195B1 true KR101366195B1 (en) 2014-02-25

Family

ID=50271721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130088164A KR101366195B1 (en) 2013-07-25 2013-07-25 Vision apparatus for inspecting pan nut

Country Status (1)

Country Link
KR (1) KR101366195B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154506A (en) * 2017-12-27 2018-06-12 合肥市雅视智能科技有限公司 A kind of hex nut automatic testing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000503401A (en) * 1996-10-30 2000-03-21 クロネス・アクチェンゲゼルシャフト Inspection equipment for bottles
JP2001108633A (en) * 1999-08-25 2001-04-20 Krones Ag Apparatus and method for optically inspecting beverage container without lid
JP2009150767A (en) * 2007-12-20 2009-07-09 Kirin Techno-System Co Ltd Apparatus for inspecting cylindrical inner surface
KR101067647B1 (en) 2009-03-03 2011-09-27 주식회사 서울금속 Crack inspection apparatus of head side part for accuracy screw's

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000503401A (en) * 1996-10-30 2000-03-21 クロネス・アクチェンゲゼルシャフト Inspection equipment for bottles
JP2001108633A (en) * 1999-08-25 2001-04-20 Krones Ag Apparatus and method for optically inspecting beverage container without lid
JP2009150767A (en) * 2007-12-20 2009-07-09 Kirin Techno-System Co Ltd Apparatus for inspecting cylindrical inner surface
KR101067647B1 (en) 2009-03-03 2011-09-27 주식회사 서울금속 Crack inspection apparatus of head side part for accuracy screw's

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154506A (en) * 2017-12-27 2018-06-12 合肥市雅视智能科技有限公司 A kind of hex nut automatic testing method

Similar Documents

Publication Publication Date Title
US8228493B2 (en) Carrying device and appearance inspection device for test objects
US8154593B2 (en) Appearance inspection device
JP3774891B2 (en) Device under test
US8123024B2 (en) Vibrating feeder, carrying device and inspection device
KR101454823B1 (en) Visual inspection apparatus
CN106596555B (en) Optical inspection apparatus employing multi-axis robot arm
JP2009031247A (en) Article appearance inspecting apparatus and surface inspecting apparatus
KR101376274B1 (en) Vision inspection apparatus
JP3774893B2 (en) Inspection device
KR101675467B1 (en) Vision inspection apparatus
KR101376273B1 (en) Vision inspection apparatus for inspecting object having mirror surface area and method thereof
KR101366195B1 (en) Vision apparatus for inspecting pan nut
KR101366196B1 (en) 3-dimentional vision apparatus for inspecting object and method for inspecting object
KR101554712B1 (en) Vision inspection apparatus and method thereof
KR101358112B1 (en) Vision inspection apparatus for inspecting plural sections of object
JP2009236633A (en) X-ray foreign matter inspection device
KR101366204B1 (en) Vision apparatus for inspecting pan nut using lighting
KR101366188B1 (en) Vision inspection apparatus having side surface and head surface inspecting function
KR101299127B1 (en) Lighting assembly for inspecting object using vision
KR101545312B1 (en) Apparatus for inspecting object and method thereof
KR20160026090A (en) Apparatus for inspecting cap
KR101415008B1 (en) Vision apparatus for inspecting object using lighting
KR101308885B1 (en) Screw supporting structure for screw inspection apparatus
KR101268944B1 (en) Apparatus for transferring parts for inspection
KR101358109B1 (en) Vision inspection apparatus having object guiding function

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee