KR101500375B1 - 차체 도장 외관 검사장치 - Google Patents

차체 도장 외관 검사장치 Download PDF

Info

Publication number
KR101500375B1
KR101500375B1 KR1020130074851A KR20130074851A KR101500375B1 KR 101500375 B1 KR101500375 B1 KR 101500375B1 KR 1020130074851 A KR1020130074851 A KR 1020130074851A KR 20130074851 A KR20130074851 A KR 20130074851A KR 101500375 B1 KR101500375 B1 KR 101500375B1
Authority
KR
South Korea
Prior art keywords
light source
line scan
illumination light
scan camera
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130074851A
Other languages
English (en)
Other versions
KR20150002968A (ko
Inventor
황상기
석진호
Original Assignee
현대자동차 주식회사
기아자동차 주식회사
디아이티 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사, 기아자동차 주식회사, 디아이티 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020130074851A priority Critical patent/KR101500375B1/ko
Priority to DE102013113903.5A priority patent/DE102013113903B4/de
Priority to US14/144,368 priority patent/US9546963B2/en
Priority to CN201310745495.6A priority patent/CN104251866B/zh
Publication of KR20150002968A publication Critical patent/KR20150002968A/ko
Application granted granted Critical
Publication of KR101500375B1 publication Critical patent/KR101500375B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection

Landscapes

  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

차체 도장 외관 검사장치가 개시된다. 개시된 차체 도장 외관 검사장치는 차체 도장 면의 외관 불량을 비전 검사하기 위한 것으서, ⅰ)로봇의 아암 선단에 장착되는 프레임과, ⅱ)도장 면에 대해 설정된 경사 각도로 조명광을 조사하는 제1 광원을 지니며 프레임에 장착되고, 도장 면에서 정반사된 제1 광원의 조명광으로 도장 면의 제1 비전 데이터를 획득하는 라인 스캔 카메라와, ⅲ)프레임에 설치되며, 라인 스캔 카메라가 도장 면에서 난반사된 조명광으로 도장 면의 제2 비전 데이터를 획득하도록 그 도장 면에 대해 수직 방향으로 조명광을 조사하는 제2 광원과, ⅳ)라인 스캔 카메라로부터 제1 및 제2 비전 데이터를 취득하고 이를 분석 처리하여 도장 면의 표면 불량 및 층간 불량을 검출하는 제어기를 포함할 수 있다.

Description

차체 도장 외관 검사장치 {DEVICE FOR INSPECTING VEHICLE BODY PAINT EXTERIOR}
본 발명의 실시 예는 차체 도장 외관 검사장치에 관한 것으로서, 보다 상세하게는 차체의 도장 외관을 비전 검사할 수 있도록 한 차체 도장 외관 검사장치에 관한 것이다.
일반적으로 자동차의 생산 공정에서의 차체 도장 공정은 고도의 방청과 미관을 요구하기 때문에, 일반 도장과 비교할 때 복잡한 공정을 가지고 있으며, 방청을 주목적으로 한 전처리 및 전착 공정과, 미관을 목적으로 한 중도 및 상도 공정이 기본이다.
즉, 차체 도장 공정은 차체가 완성된 후, 차체의 부식을 방지하고, 방음과 함께 미관을 수려하게 하여 상품성을 높이기 위한 것이다.
이러한 차체 도장 공정은 차체의 내,외판에 부착되어 있는 오물이나 유지 분을 완전히 제거함과 동시에 철판 면의 내식성 및 전착 도료와의 부착성을 좋게 하는 인산염 피막을 형성하는 전처리 공정을 진행한다.
그리고, 전처리 공정의 건조로를 통과한 차체를 전착 도료 중에 전몰시켜 외판은 물론 차체 내부까지 균일하게 전착 도료를 도장함으로서 방청과 표면광택의 인자가 되는 전착(하도) 공정 및 전착 건조 공정을 진행한다.
이어서, 이음부 등에 실러를 도포하는 과정을 거친 후, 도료의 내 치핑성, 평활성, 내후성 등을 갖게 하는 중도 공정 및 건로조 내에서 중도 도료의 건조를 이루는 중도 건조 공정을 진행한다.
다음으로는 미관상의 광택감을 주는 상도 베이스 및 클리어 공정을 통하여 도장막을 형성한 후, 다시 건조로 내에서 상도 도료의 건조를 이루는 상도 건조 공정를 수행하게 된다.
이와 같이, 차체에 도장이 완료되면, 육안검사를 통하여 차체 외관을 검사하는 외관검사를 하는데, 이 외관검사 공정에서는 도장표면의 먼지, 오물, 스크래치 등을 검사한다.
따라서, 육안검사를 통해 차체 도장의 수정이 필요하면, 상도 베이스 및 클리어 공정을 통하여 재 도장하거나, 폴리싱 작업 등의 수정공정을 통하여 수정한 후, 의장공장으로 투입한다.
그러나, 상기에서와 같은 도장 외관 검사공정에서는 작업자의 시각 및 촉각에 의한 수동 검사법이 적용되고 있기 때문에, 작업자의 피로 시 주관적인 판단이 증가하게 되고, 도장 컬러별 시각적 불리함(밝은 컬러의 눈부심 등) 등으로 도장 불량 차량이 후 공정으로 유출될 가능성이 있다.
본 발명의 실시 예들은 도장면 외관 불량의 유형에 따라 조명을 달리하여 도장 면의 표면 불량 및 층간 불량을 비전 검사할 수 있도록 한 차체 도장 외관 검사장치를 제공하고자 한다.
본 발명의 실시 예에 따른 차체 도장 외관 검사장치는, 차체 도장 면의 외관 불량을 비전 검사하기 위한 것으서, ⅰ)로봇의 아암 선단에 장착되는 프레임과, ⅱ)도장 면에 대해 설정된 경사 각도로 조명광을 조사하는 제1 광원을 지니며 상기 프레임에 장착되고, 도장 면에서 정반사된 제1 광원의 조명광으로 도장 면의 제1 비전 데이터를 획득하는 라인 스캔 카메라와, ⅲ)상기 프레임에 설치되며, 상기 라인 스캔 카메라가 도장 면에서 난반사된 조명광으로 도장 면의 제2 비전 데이터를 획득하도록 그 도장 면에 대해 수직 방향으로 조명광을 조사하는 제2 광원과, ⅳ)상기 라인 스캔 카메라로부터 제1 및 제2 비전 데이터를 취득하고 이를 분석 처리하여 도장 면의 표면 불량 및 층간 불량을 검출하는 제어기를 포함할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치에 있어서, 상기 제1 및 제2 광원은 상기 제어기에 의해 설정된 교차시간을 두고 온-오프될 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치는, ⅴ)상기 프레임의 일측에 설치되며, 도장 면의 이미지를 상기 라인 스캔 카메라로 반사하고, 도장 면에서 반사된 상기 제1 및 제2 광원의 조명광을 상기 라인 스캔 카메라로 반사하는 반사 거울과, ⅵ)상기 프레임의 다른 일측에 설치되며, 도장 면에서 반사된 제1 및 제2 광원의 조명광을 그 도장 면으로 반사하는 반사판을 더 포함할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치에 있어서, 상기 제1 광원은 상기 반사 거울의 수직 방향에 대해 45도 각도로 조명광을 조사할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치에 있어서, 상기 라인 스캔 카메라는 상기 반사 거울에 의해 반사된 도장 면의 이미지를 비전 촬영할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치에 있어서, 상기 반사 거울 및 반사판은 상기 프레임에 회전 가능하게 설치될 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치에 있어서, 상기 제2 광원은 상기 프레임에 회전 가능하게 설치될 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치는, ⅶ)상기 라인 스캔 카메라를 상기 제1 광원의 조사 방향으로 왕복 이동시키기 위해 상기 프레임에 설치되는 제1 이동부재와, ⅷ)상기 제2 광원을 수직 방향으로 왕복 이동시키기 위해 상기 프레임에 설치되는 제2 이동부재를 더 포함할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치는, 상기 제1 광원에서 조사된 조명광을 상기 반사 거울을 통해 도장 면으로 반사하고, 도장 면에서 정반사된 조명광을 상기 반사판을 통해 도장 면으로 반사하며, 도장 면에서 반사된 조명광을 상기 반사 거울을 통해 상기 라인 스캔 카메라로 반사하고, 상기 반사 거울을 통해 반사된 도장 면의 이미지를 상기 라인 스캔 카메라로 비전 촬영하며, 상기 제어기에서 상기 라인 스캔 카메라를 통해 획득한 제1 비전 데이터를 분석 처리하여 도장 면의 표면 불량을 판정할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치는, 상기 제2 광원에서 도장 면으로 조사되며 그 도장 면에서 난반사된 조명광을 상기 반사판을 통해 도장 면으로 반사하고, 상기 도장 면에서 반사된 조명광을 상기 반사 거울을 통해 상기 라인 스캔 카메라로 반사하며, 상기 반사 거울을 통해 반사된 도장 면의 이미지를 상기 라인 스캔 카메라로 비전 촬영하고, 상기 제어기에서 상기 라인 스캔 카메라를 통해 획득한 제2 비전 데이터를 분석 처리하여 도장 면의 층간 불량을 판정할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치는, 상기 도장 면의 표면 불량을 검사할 때, 상기 제어기를 통해 상기 제1 광원을 온(ON)시키며, 상기 제2 광원을 오프(OFF)시킬 수 있다.
또한, 본 발명의 실시 예에 따른 상기 차체 도장 외관 검사장치는, 상기 도장 면의 층간 불량을 검사할 때, 상기 제어기를 통해 제1 광원을 오프(OFF)시키고, 상기 제2 광원을 온(ON)시킬 수 있다.
본 발명의 실시 예들은 라인 스캔 카메라에 구비된 제1 광원의 조명광으로 도장 면을 비전 촬영하여 그 도장 면의 표면 불량을 검출할 수 있고, 별도 구비된 제2 광원의 조명광으로 도장 면을 비전 촬영하여 육안으로 검출할 수 없는 도장 면의 층간 불량을 검출할 수 있다.
따라서, 본 발명의 실시 예에서는 육안으로 도장 면의 외관 불량을 검사하는 종래 기술과 달리 비전 시스템을 이용하여 도장 면의 표면 불량 및 층간 불량을 자동으로 검출할 수 있으므로, 객관적인 판정으로 도장 불량 차량의 유출을 예방할 수 있다.
더 나아가, 본 발명의 실시 예에서는 다 차종에 대응하여 라인 스캔 카메라와 제2 광원의 위치를 가변시킬 수 있으므로, 다 차종의 유연 생산에 적극적으로 대응할 수 있다.
이 도면들은 본 발명의 예시적인 실시 예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니된다.
도 1은 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 개략적으로 도시한 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 도시한 사시도이다.
도 3은 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 도시한 정면 구성도이다.
도 4는 본 발명의 실시 예에 따른 차체 도장 외관 검사장치에 적용되는 제1 이동부재 부위를 개략적으로 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 차체 도장 외관 검사장치에 적용되는 제2 이동부재 부위를 개략적으로 도시한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 여러 부분 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다.
그리고, 하기의 상세한 설명에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성이 동일한 관계로 이를 구분하기 위한 것으로, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "...유닛", "...수단", "...부", "...부재" 등의 용어는 적어도 하나의 기능이나 동작을 하는 포괄적인 구성의 단위를 의미한다.
도 1은 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 개략적으로 도시한 블록 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 차체 도장 외관 검사장치(100)는 하도, 중도 및 상도 공정을 거치며 차체에 도장막을 형성하는 차체 도장 공정에 적용될 수 있다.
예를 들면, 본 장치(100)는 상도 공정에서 베이스 공정 및 클리어 공정을 통하여 베이스층(3) 및 클리어층(5)의 도장 면(1)을 형성하고, 건조로에서 상도 도료를 건조하는 상도 건조 공정을 마친 후, 도장 면(1)의 외관 불량을 검사하는 공정에 적용될 수 있다.
이하에서는 도장 면(1)에서 클리어층(5) 표면에 먼지, 오물, 크레터링, 스크래치, 핀홀, 칠흐름, 칠튐 등이 존재하는 외관 불량을 표면 불량이라고 하며, 도장 면(1)의 클리어층(5)과 베이스층(3) 사이에 샌딩 자국, 얼룩, 은폐 불량 등이 존재하는 외관 불량을 층간 불량이라고 한다.
본 발명의 실시 예에 따른 차체 도장 외관 검사장치(100)는 도장 면(1)의 외관 불량에 따라 도장 면(1)의 조명광 조사를 달리하여 클리어층(5)의 표면 불량 및 클리어층(5)과 베이스층(3) 사이의 층간 불량을 자동으로 비전 검사할 수 있는 구조로 이루어진다.
도 2는 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 도시한 사시도이고, 도 3은 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 도시한 정면 구성도이다.
도 1 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 차체 도장 외관 검사장치(100)는 기본적으로, 프레임(10), 제1 광원(30)을 지닌 라인 스캔 카메라(20), 제2 광원(40), 반사 거울(50), 반사판(60) 그리고 제어기(90)를 포함한다.
본 발명의 실시 예에서, 프레임(10)은 로봇(7)의 아암(9) 선단에 장.탈착되는 것으로, 로봇(7)의 아암(9) 선단과 선택적으로 결합하는 통상적인 구조의 툴 체인저(도면에 도시되지 않음)를 포함하고 있다.
상기에서와 같은 프레임(10)에는 이하에서 설명될 각종 구성요소들이 장착될 수 있다. 이러한 프레임(10)은 상기한 구성 요소들을 지지하기 위한 것으로서, 각종 블록, 플레이트, 하우징, 커버 등과 같은 부속 요소들을 구비하고 있다.
그러나, 상기 부속 요소들은 각각의 구성 요소들을 프레임(10)에 설치하기 위한 것이므로 본 발명의 실시 예에서는 예외적인 경우를 제외하고 상기한 부속 요소들을 프레임(10)으로 통칭한다.
예를 들면, 프레임(10)은 전후, 좌우 및 상측이 사각 틀로 구성되며, 그 전후, 좌우 및 상측에 바아 형태의 단위 프레임들이 가로 및 세로 방향으로 연결된 구조일 수 있다.
본 발명의 실시 예에서, 라인 스캔 카메라(20)는 뒤에서 설명될 소정의 조명광으로 차체의 도장 면(1)을 비전 촬영하고, 그 비전 데이터를 제어기(90)로 출력하는 비전 센서이다.
라인 스캔 카메라(20)는 프레임(10)에 장착되며, 차체의 도장 면(1)에 대해 설정된 경사 각도로 조명광을 조사하는 제1 광원(30)을 지니고 있다. 제1 광원(30)은 라인 스캔 카메라(20)의 광학계 주위에 설치될 수 있다. 이와 같은 제1 광원(30)을 지닌 라인 스캔 카메라(20)의 설치 구조는 뒤에서 자세하게 설명될 것이다.
여기서, 라인 스캔 카메라(20)는 도장 면(1)에서 정반사된 제1 광원(30)의 조명광으로 그 도장 면(1)의 표면 불량을 검사하기 위한 제1 비전 데이터를 획득할 수 있다. 그리고, 라인 스캔 카메라(20)는 도장 면(1)에서 난반사된 제2 광원(40)의 조명광으로 그 도장 면(1)의 층간 불량을 검사하기 위한 제2 비전 데이터를 획득할 수 있다.
상기한 바와 같은 제2 광원(40)은 프레임(10)에 설치되는 바, 라인 스캔 카메라(20)가 도장 면(1)에서 난반사된 조명광으로 도장 면(1)의 제2 비전 데이터를 획득할 수 있도록 그 도장 면(1)에 대해 수직 방향으로 조명광을 조사한다.
이 경우, 상기 제2 광원(40)은 통상적인 구조의 제1 모터(41)에 의해 프레임(10)에 회전 가능하게 설치될 수도 있다. 또한, 앞서 설명한 제1 광원(30)과 상기 제2 광원(40)은 뒤에서 더욱 설명될 제어기(90)에 의해 기 설정된 교차시간(대략 500㎲)을 두고 온-오프될 수 있다.
본 발명의 실시 예에서, 반사 거울(50)은 프레임(10)의 일측에 설치된다. 반사 거울(50)은 도장 면(1)의 이미지를 라인 스캔 카메라(20)로 반사하고, 도장 면(1)에서 반사된 제1 및 제2 광원(30, 40)의 조명광을 라인 스캔 카메라(20)로 반사한다.
여기서, 상기 반사 거울(50)은 통상적인 구조의 제2 모터(51)에 의해 프레임(10)에 회전 가능하게 설치될 수도 있다.
한편, 라인 스캔 카메라(20)는 반사 거울(50)에 의해 반사된 도장 면(1)의 이미지를 비전 촬영할 수 있으며, 그 라인 스캔 카메라(20)의 제1 광원(30)은 반사 거울(50)의 수직 방향에 대해 45도 각도로 조명광을 조사할 수 있다.
본 발명의 실시 예에서, 반사판(60)은 프레임(10)의 다른 일측에 설치된다. 반사판(60)은 도장 면(1)에서 반사된 제1 및 제2 광원(30, 40)의 조명광을 그 도장 면(1)으로 반사한다.
이 경우, 상기 반사판(60)은 통상적인 구조의 제3 모터(61)에 의해 프레임(10)에 회전 가능하게 설치될 수도 있다. 그리고, 반사판(60)은 도장 면(1)에서 반사된 제1 및 제2 광원(30, 40)의 조명광을 그 도장 면(1)으로 용이하게 반사할 수 있도록 조명광을 실질적으로 반사하는 반사면이 오목한 굴곡면으로 되어 있다.
다른 한편으로, 본 발명의 실시 예에서 라인 스캔 카메라(20)는 프레임(10)에 제1 광원(30)의 조사 방향으로 왕복 이동 가능하게 설치될 수 있다. 이를 위해 프레임(10)에는 도 4에서와 같이, 라인 스캔 카메라(20)를 제1 광원(30)의 조사 방향으로 왕복 이동시키기 위한 제1 이동부재(70)가 설치된다.
제1 이동부재(70)는 제1 구동 모터(71)와 제1 LM 모듈(73)을 포함하며, 제1 구동 모터(71)의 구동으로서 제1 LM 모듈(73)에 고정된 라인 스캔 카메라(20)를 제1 광원(30)의 조사 방향으로 왕복 이동시킬 수 있다. 여기서, 상기 제1 LM 모듈(73)은 하우징, 가이드 레일, 가이드 블록 및 리드 스크류를 포함하는 LM 가이드로 구비될 수 있다.
이러한 제1 이동부재(70)는 당 업계에서 널리 알려진 공지 기술의 LM 이동장치로서 이루어지므로, 본 명세서에서 그 구성의 더욱 자세한 설명은 생략하기로 한다.
그리고, 본 발명의 실시 예에서 제2 광원(40)은 프레임(10)에 수직 방향으로 왕복 이동 가능하게 설치될 수 있다. 이를 위해 프레임(10)에는 도 5에서와 같이 제2 광원(40)을 수직 방향으로 왕복 이동시키기 위한 제2 이동부재(80)가 설치된다.
제2 이동부재(80)는 제2 구동 모터(81)와 제2 LM 모듈(83)을 포함하며, 제2 구동 모터(81)의 구동으로서 제2 LM 모듈(83)에 고정된 제2 광원(40)을 수직 방향으로 왕복 이동시킬 수 있다. 여기서, 상기 제2 LM 모듈(83)은 하우징, 가이드 레일, 가이드 블록 및 리드 스크류를 포함하는 LM 가이드로 구비될 수 있다.
이러한 제2 이동부재(80)는 당 업계에서 널리 알려진 공지 기술의 LM 이동장치로서 이루어지므로, 본 명세서에서 그 구성의 더욱 자세한 설명은 생략하기로 한다.
본 발명의 실시 예에서, 제어기(90)는 도 1에서와 같이 전체 장치의 운영을 컨트롤하기 위한 것으로, 위에서 언급한 바 있는 제1 광원(30)을 가진 라인 스캔 카메라(20), 제2 광원(40), 제1,2,3 모터(41, 51, 61) 그리고 제1 및 제2 이동부재(70, 80)를 각각 제어할 수 있다.
더 나아가, 제어기(90)는, 라인 스캔 카메라(20)가 도장 면(1)에서 정반사된 제1 광원(30)의 조명광으로 도장 면(1)의 제1 비전 데이터를 획득하면, 그 라인 스캔 카메라(20)로부터 제1 비전 데이터를 취득하고 이를 분석하여 도장 면(1)의 표면 불량을 검출할 수 있다.
또한, 제어기(90)는, 라인 스캔 카메라(20)가 도장 면(1)에서 난반사된 제2 광원(40)의 조명광으로 도장 면(1)의 제2 비전 데이터를 획득하면, 그 라인 스캔 카메라(20)로부터 제2 비전 데이터를 취득하고 이를 분석하여 도장 면(1)의 층간 불량을 검출할 수 있다.
즉, 제어기(90)는 라인 스캔 카메라(20)로부터 제1 비전 데이터를 취득하여 정반사된 조명광의 표면 명암 차이를 분석함으로써 도장 면(1)의 표면 불량을 검출할 수 있다.
그리고, 제어기(90)는 라인 스캔 카메라(20)로부터 제2 비전 데이터를 취득하여 난반사된 조명광의 층간 명암 차이를 분석함으로서 도장 면(1)의 층간 불량을 검출할 수 있다.
이하, 상기와 같이 구성되는 본 발명의 실시 예에 따른 차체 도장 외관 검사장치를 이용한 차체 도장 외관 검사 방법을 앞서 개시한 도면들을 참조하여 상세하게 설명하기로 한다.
우선, 본 발명의 실시 예에서는 프레임(10)을 로봇(7)의 아암(9) 선단에 장착한 상태로 그 로봇(7)을 통해 프레임(10)을 차체의 도장 면(1) 측으로 이동시킨다.
여기서, 본 장치(100)의 라인 스캔 카메라(20)는 검사하고자 하는 차체의 차종에 따라 제1 이동부재(70)를 통해 제1 광원(30)의 조사 방향으로 왕복 이동할 수 있다. 그리고, 제2 광원(40) 또한 검사하고자 하는 차체의 차종에 따라 제2 이동부재(80)를 통해 프레임(10)의 수직 방향으로 왕복 이동할 수 있다.
더 나아가, 제2 광원(40)은 제1 모터(41)에 의해 회전하며 검사하고자 하는 차체 도장 면(1)의 설정된 수직 위치에 정위치할 수 있고, 반사 거울(50) 및 반사판(60) 또한 제2 및 제3 모터(51, 61)에 의해 회전하면서 라인 스캔 카메라(20) 및 제2 광원(40)의 위치에 맞게 가변될 수 있다.
이와 같은 상태에서, 본 발명의 실시 예에서는 제어기(90)를 통해 제1 광원(30)을 온(ON)시키며, 제2 광원(40)을 오프(OFF)시키고, 제1 광원(30)의 조명광을 반사 거울(50)로 조사한다. 이 때, 제1 광원(30)은 반사 거울(50)의 수직 방향에 대해 45도 각도로 조명광을 조사한다.
이렇게 제1 광원(30)에서 조사된 조명광은 반사 거울(50)을 통해 차체의 도장 면(1)으로 반사되고, 그 도장 면(1)에서 정반사되며 반사판(60)을 통해 다시 도장 면(1)으로 반사된다.
그리고, 제1 광원(30)의 조명광은 도장 면(1)에서 반사되며, 반사 거울(50)을 통해 라인 스캔 카메라(20)로 반사된다. 이에 라인 스캔 카메라(20)는 반사 거울(50)을 통해 반사된 도장 면(1)의 이미지를 제1 광원(30)의 조명광으로 비전 촬영하고 그 촬영된 제1 비전 데이터를 제어기(90)로 전송한다.
따라서, 제어기(90)는 라인 스캔 카메라(20)로부터 제1 비전 데이터를 취득하고 이를 분석하여 도장 면(1)의 표면 불량 예들 들면, 클리어층(5) 표면에 먼지, 오물, 크레터링, 스크래치, 핀홀, 칠흐름, 칠튐 등이 존재하는 외관 불량을 검출한다.
즉, 제어기(90)는 라인 스캔 카메라(20)로부터 제1 비전 데이터를 취득하여 정반사된 조명광의 표면 명암 차이를 분석함으로써 도장 면(1)의 표면 불량을 검출할 수 있다.
한편, 본 발명의 실시 예에서는 제어기(90)를 통해 설정된 교차시간을 두고 제1 광원을 오프(OFF)시키고, 제2 광원(40)을 온(ON)시키며, 제2 광원(40)의 조명광을 차체의 도장 면(1)으로 조사한다. 이 때, 제2 광원(40)은 차체의 도장 면(1)에 대해 수직 방향으로 조명광을 조사한다.
이렇게 제2 광원(40)에서 도장 면(1)으로 조사된 조명광은 그 도장 면(1)에서 난반사되며 반사판(60)을 통해 다시 도장 면(1)으로 반사되고, 그 도장 면(1)에서 반사되며 반사 거울(50)을 통해 라인 스캔 카메라(20)로 반사된다. 이에 라인 스캔 카메라(20)는 반사 거울(50)을 통해 반사된 도장 면(1)의 이미지를 제2 광원(40)의 조명광으로 비전 촬영하고 그 촬영된 제2 비전 데이터를 제어기(90)로 전송한다.
따라서, 제어기(90)는 라인 스캔 카메라(20)로부터 제2 비전 데이터를 취득하고 이를 분석하여 도장 면(1)의 층간 불량 예들 들면, 클리어층(5)과 베이스층(3) 사이에 샌딩 자국, 얼룩, 은폐 불량 등이 존재하는 외관 불량을 검출한다.
즉, 제어기(90)는 라인 스캔 카메라(20)로부터 제2 비전 데이터를 취득하여 난반사된 조명광의 층간 명암 차이를 분석함으로서 도장 면(1)의 층간 불량을 검출할 수 있다.
지금까지 설명한 바와 같은 본 발명의 실시 예에 따른 차체 도장 외관 검사장치(100)에 의하면, 라인 스캔 카메라(20)에 구비된 제1 광원(30)의 조명광으로 도장 면(1)을 비전 촬영하여 그 도장 면(1)의 표면 불량을 검출할 수 있고, 별도 구비된 제2 광원(40)의 조명광으로 도장 면(1)을 비전 촬영하여 육안으로 검출할 수 없는 도장 면(1)의 층간 불량을 검출할 수 있다.
따라서, 본 발명의 실시 예에서는 육안으로 도장 면(1)의 외관 불량을 검사하는 종래 기술과 달리 비전 시스템을 이용하여 도장 면(1)의 표면 불량 및 층간 불량을 자동으로 검출할 수 있으므로, 객관적인 판정으로 도장 불량 차량의 유출을 예방할 수 있다.
더 나아가, 본 발명의 실시 예에서는 다 차종에 대응하여 라인 스캔 카메라(20)와 제2 광원(40)의 위치를 가변시킬 수 있으므로, 다 차종의 유연 생산에 적극적으로 대응할 수 있다.
이상에서 본 발명의 실시 예들에 대하여 설명하였으나, 본 발명의 기술적 사상은 본 명세서에서 제시되는 실시 예에 제한되지 아니하며, 본 발명의 기술적 사상을 이해하는 당업자는 동일한 기술적 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 권리 범위 내에 든다고 할 것이다.
1... 도장 면 3... 베이스층
5... 클리어층 7... 로봇
9... 아암 10... 프레임
20... 라인 스캔 카메라 30... 제1 광원
40... 제2 광원 41... 제1 모터
50... 반사 거울 51... 제2 모터
60... 반사판 61... 제3 모터
70... 제1 이동부재 71... 제1 구동 모터
73... 제1 LM 모듈 80... 제2 이동부재
81... 제2 구동 모터 83... 제2 LM 모듈
90... 제어기

Claims (12)

  1. 차체 도장 면의 외관 불량을 비전 검사하기 위한 차체 도장 외관 검사장치로서,
    로봇의 아암 선단에 장착되는 프레임;
    도장 면에 대해 설정된 경사 각도로 조명광을 조사하는 제1 광원을 지니며 상기 프레임에 장착되고, 도장 면에서 정반사된 제1 광원의 조명광으로 도장 면의 제1 비전 데이터를 획득하는 라인 스캔 카메라;
    상기 프레임에 설치되며, 상기 라인 스캔 카메라가 도장 면에서 난반사된 조명광으로 도장 면의 제2 비전 데이터를 획득하도록 그 도장 면에 대해 수직 방향으로 조명광을 조사하는 제2 광원; 및
    상기 라인 스캔 카메라로부터 제1 및 제2 비전 데이터를 각각 취득하고 이를 분석 처리하여 도장 면의 표면 불량 및 층간 불량을 각각 검출하는 제어기;를 포함하며,
    상기 제1 및 제2 광원은 상기 제어기에 의해 설정된 교차시간을 두고 온-오프되되, 상기 제1 광원의 조명광을 도장 면에 조사하여 도장 면의 표면 불량을 검출하고자 하는 경우 제2 광원을 오프하고, 상기 제2 광원의 조명광을 도장 면에 조사하여 도장 면의 층간 불량을 검출하고자 하는 경우 상기 제1 광원을 오프하는 것을 특징으로 하는 차체 도장 외관 검사장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 프레임의 일측에 설치되며, 도장 면의 이미지를 상기 라인 스캔 카메라로 반사하고, 도장 면에서 반사된 상기 제1 및 제2 광원의 조명광을 상기 라인 스캔 카메라로 반사하는 반사 거울과,
    상기 프레임의 다른 일측에 설치되며, 도장 면에서 반사된 제1 및 제2 광원의 조명광을 그 도장 면으로 반사하는 반사판
    을 더 포함하는 차체 도장 외관 검사장치.
  4. 제3 항에 있어서,
    상기 제1 광원은 상기 반사 거울의 수직 방향에 대해 45도 각도로 조명광을 조사하는 것을 특징으로 하는 차체 도장 외관 검사장치.
  5. 제4 항에 있어서,
    상기 라인 스캔 카메라는 상기 반사 거울에 의해 반사된 도장 면의 이미지를 비전 촬영하는 것을 특징으로 하는 차체 도장 외관 검사장치.
  6. 제3 항에 있어서,
    상기 반사 거울 및 반사판은 상기 프레임에 회전 가능하게 설치되는 것을 특징으로 하는 차체 도장 외관 검사장치.
  7. 제1 항에 있어서,
    상기 제2 광원은 상기 프레임에 회전 가능하게 설치되는 것을 특징으로 하는 차체 도장 외관 검사장치.
  8. 제1 항에 있어서,
    상기 라인 스캔 카메라를 상기 제1 광원의 조사 방향으로 왕복 이동시키기 위해 상기 프레임에 설치되는 제1 이동부재와,
    상기 제2 광원을 수직 방향으로 왕복 이동시키기 위해 상기 프레임에 설치되는 제2 이동부재
    를 더 포함하는 차체 도장 외관 검사장치.
  9. 제3 항에 있어서,
    상기 차체 도장 외관 검사장치는,
    상기 제1 광원에서 조사된 조명광을 상기 반사 거울을 통해 도장 면으로 반사하고,
    도장 면에서 정반사된 조명광을 상기 반사판을 통해 도장 면으로 반사하며,
    도장 면에서 반사된 조명광을 상기 반사 거울을 통해 상기 라인 스캔 카메라로 반사하고,
    상기 반사 거울을 통해 반사된 도장 면의 이미지를 상기 라인 스캔 카메라로 비전 촬영하며,
    상기 제어기에서 상기 라인 스캔 카메라를 통해 획득한 제1 비전 데이터를 분석 처리하여 도장 면의 표면 불량을 판정하는 것을 특징으로 하는 차체 도장 외관 검사장치.
  10. 제3 항에 있어서,
    상기 차체 도장 외관 검사장치는,
    상기 제2 광원에서 도장 면으로 조사되며 그 도장 면에서 난반사된 조명광을 상기 반사판을 통해 도장 면으로 반사하고,
    상기 도장 면에서 반사된 조명광을 상기 반사 거울을 통해 상기 라인 스캔 카메라로 반사하며,
    상기 반사 거울을 통해 반사된 도장 면의 이미지를 상기 라인 스캔 카메라로 비전 촬영하고,
    상기 제어기에서 상기 라인 스캔 카메라를 통해 획득한 제2 비전 데이터를 분석 처리하여 도장 면의 층간 불량을 판정하는 것을 특징으로 하는 차체 도장 외관 검사장치.
  11. 제9 항에 있어서,
    상기 제어기를 통해 상기 제1 광원을 온(ON)시키며, 상기 제2 광원을 오프(OFF)시키는 것을 특징으로 하는 차체 도장 외관 검사장치.
  12. 제10 항에 있어서,
    상기 제어기를 통해 제1 광원을 오프(OFF)시키고, 상기 제2 광원을 온(ON)시키는 것을 특징으로 하는 차체 도장 외관 검사장치.
KR1020130074851A 2013-06-27 2013-06-27 차체 도장 외관 검사장치 Active KR101500375B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130074851A KR101500375B1 (ko) 2013-06-27 2013-06-27 차체 도장 외관 검사장치
DE102013113903.5A DE102013113903B4 (de) 2013-06-27 2013-12-12 Inspektionsvorrichtung für angemalte Fahrzeugoberfläche
US14/144,368 US9546963B2 (en) 2013-06-27 2013-12-30 Inspection device for painted surface of vehicle
CN201310745495.6A CN104251866B (zh) 2013-06-27 2013-12-30 用于车辆的涂漆表面的检查设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130074851A KR101500375B1 (ko) 2013-06-27 2013-06-27 차체 도장 외관 검사장치

Publications (2)

Publication Number Publication Date
KR20150002968A KR20150002968A (ko) 2015-01-08
KR101500375B1 true KR101500375B1 (ko) 2015-03-10

Family

ID=52017164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130074851A Active KR101500375B1 (ko) 2013-06-27 2013-06-27 차체 도장 외관 검사장치

Country Status (4)

Country Link
US (1) US9546963B2 (ko)
KR (1) KR101500375B1 (ko)
CN (1) CN104251866B (ko)
DE (1) DE102013113903B4 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007141B1 (ko) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 빅데이터를 이용한 차량 도장면 검사 및 재도장 예측 시스템
KR102007142B1 (ko) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 Iot를 이용한 차량 도장면 조명장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500375B1 (ko) * 2013-06-27 2015-03-10 현대자동차 주식회사 차체 도장 외관 검사장치
RU2696346C2 (ru) 2014-12-22 2019-08-01 Пирелли Тайр С.П.А. Устройство для контроля шин на производственной линии
KR102596252B1 (ko) 2014-12-22 2023-10-31 피렐리 타이어 소시에떼 퍼 아찌오니 생산라인에서 타이어를 검사하기 위한 방법 및 기기
JP6786593B2 (ja) 2015-08-26 2020-11-18 アーベーベー・シュバイツ・アーゲーABB Schweiz AG 多視点による対象検査装置及び方法
KR102595037B1 (ko) * 2015-12-16 2023-10-27 피렐리 타이어 소시에떼 퍼 아찌오니 타이어를 검사하는 장치 및 방법
CN106770349A (zh) * 2016-11-24 2017-05-31 四川吉盛印铁有限公司 一种马口铁双面质量检测方法
CN108020633B (zh) * 2017-12-04 2021-01-05 奇瑞汽车股份有限公司 一种涂装涂层缺陷快速鉴别方法
US11379968B2 (en) * 2017-12-08 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
FI3843908T3 (fi) * 2018-08-27 2024-09-17 3M Innovative Properties Company Oppimiskehys robottitoimista maalin korjausta varten
CN109909366B (zh) * 2019-04-01 2020-12-29 哈尔滨工业大学 面向超声冲击加工的光路辅助显微视觉检测系统和方法
US10996165B1 (en) * 2020-03-19 2021-05-04 The Boeing Company Apparatus and method for measuring UV coating effectiveness
CN111812063B (zh) * 2020-07-16 2022-11-04 中国计量大学 一种金属漆表面闪光效果的评价方法及测量装置
US11494892B2 (en) 2020-08-21 2022-11-08 Abb Schweiz Ag Surface defect detection system
CN113030102A (zh) * 2021-03-02 2021-06-25 成都小淞科技有限公司 基于机器视觉的漆面瑕疵检查系统
DE102021107115B4 (de) 2021-03-23 2025-01-30 B+M Surface Systems Gmbh Vorrichtung zur Untersuchung einer Oberfläche eines Bauteils
DE102022002183A1 (de) 2022-06-15 2023-12-21 TWlNNER GmbH Vorrichtung und Verfahren zur Detektion einer Fahrzeuglackreparatur
CN115112681B (zh) * 2022-08-24 2022-11-18 苏州弘皓光电科技有限公司 一种应用于芯片表面缺陷检测的自动扫描检测装置
CN116106330B (zh) * 2023-04-17 2023-06-20 武汉名杰模塑有限公司 一种汽车保险杠漆面缺陷检测装置及其检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06331559A (ja) * 1993-05-18 1994-12-02 Hitachi Ltd 異物検査方法および異物検査装置
JPH07306150A (ja) * 1994-05-10 1995-11-21 Kobe Steel Ltd 逆反射スクリーンによる表面検査装置
JP2005024284A (ja) * 2003-06-30 2005-01-27 Kanto Auto Works Ltd 車両用塗面検査装置
KR20090118024A (ko) * 2007-03-06 2009-11-17 가부시키가이샤 토프콘 표면 검사 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3985444A (en) * 1971-10-16 1976-10-12 Canon Kabushiki Kaisha Highly sensitive process for measuring fine deformation
US5237404A (en) * 1990-06-28 1993-08-17 Mazda Motor Corporation Inspection apparatus with improved detection of surface defects over large and curved surfaces
US5369488A (en) * 1991-12-10 1994-11-29 Olympus Optical Co., Ltd. High precision location measuring device wherein a position detector and an interferometer are fixed to a movable holder
US7136159B2 (en) * 2000-09-12 2006-11-14 Kla-Tencor Technologies Corporation Excimer laser inspection system
US6573987B2 (en) * 2001-01-02 2003-06-03 Robotic Vision Systems, Inc. LCC device inspection module
JP4808871B2 (ja) * 2001-07-12 2011-11-02 倉敷紡績株式会社 表面性状評価装置
CN100351626C (zh) * 2004-01-05 2007-11-28 番禺得意精密电子工业有限公司 光学检测系统
WO2006062987A2 (en) * 2004-12-09 2006-06-15 Inneroptic Technology, Inc. Apparatus, system and method for optically analyzing substrate
US7355689B2 (en) * 2005-01-31 2008-04-08 Applied Materials, Inc. Automatic optical inspection using multiple objectives
JP4730836B2 (ja) * 2005-09-15 2011-07-20 Jfeスチール株式会社 面歪の測定装置及び方法
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
KR101151274B1 (ko) * 2010-01-07 2012-06-14 주식회사 쓰리비 시스템 결점 검사장치
US9031734B2 (en) * 2010-09-29 2015-05-12 Aerobotics, Inc. Systems and methods for non-destructive inspection of airplanes
KR101320318B1 (ko) 2011-12-27 2013-10-23 주식회사 포스코 강판 권취용 슬리브 공급장치
KR101500375B1 (ko) 2013-06-27 2015-03-10 현대자동차 주식회사 차체 도장 외관 검사장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06331559A (ja) * 1993-05-18 1994-12-02 Hitachi Ltd 異物検査方法および異物検査装置
JPH07306150A (ja) * 1994-05-10 1995-11-21 Kobe Steel Ltd 逆反射スクリーンによる表面検査装置
JP2005024284A (ja) * 2003-06-30 2005-01-27 Kanto Auto Works Ltd 車両用塗面検査装置
KR20090118024A (ko) * 2007-03-06 2009-11-17 가부시키가이샤 토프콘 표면 검사 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007141B1 (ko) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 빅데이터를 이용한 차량 도장면 검사 및 재도장 예측 시스템
KR102007142B1 (ko) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 Iot를 이용한 차량 도장면 조명장치

Also Published As

Publication number Publication date
DE102013113903A8 (de) 2015-04-02
KR20150002968A (ko) 2015-01-08
DE102013113903B4 (de) 2018-10-04
US20150002653A1 (en) 2015-01-01
CN104251866A (zh) 2014-12-31
CN104251866B (zh) 2019-08-09
US9546963B2 (en) 2017-01-17
DE102013113903A1 (de) 2014-12-31

Similar Documents

Publication Publication Date Title
KR101500375B1 (ko) 차체 도장 외관 검사장치
US5636024A (en) Apparatus and method of inspection of specular and semi-specular surfaces
US6417919B1 (en) Methods for assessing visual tasks to establish desirable lighting and viewing conditions for performance of tasks, apparatus; and, applications
JP6738730B2 (ja) 欠陥検査システム及び方法
WO2006075582A1 (ja) ウインドガラス接着剤塗布の前処理装置及びその方法
US20130057678A1 (en) Inspection system and method of defect detection on specular surfaces
US10875592B2 (en) Automobile manufacturing plant and method
US20070153261A1 (en) Method and system for inspecting surfaces
IL179385A (en) Device and method for detecting scratches
KR101514409B1 (ko) 비전검사장치
CN114536112A (zh) 汽车外观检测与修复工作站
CN117783153A (zh) 一种镜片缺陷误判检测装置及方法
JPH0765972B2 (ja) パネル表面検査方法及び装置
JP2002131238A (ja) 外観検査装置
KR100785308B1 (ko) 칩 엘이디 표면 검사 방법 및 장치
KR20140116590A (ko) 자동차 프레임의 도장면 검사장치
US12264909B2 (en) Type of device(s) for automatically monitoring a coating and/or structure applied to a substrate with determination of reflective properties and/or geometric dimensions, and a corresponding method
JPH0247683B2 (ja) Hanshakyotsukitenkenshomeisochi
CN104568966A (zh) 评价反射表面的结构差异的方法和测量设备
KR101371490B1 (ko) 완성차의 안티치핑 필름 부착 유무 검사 장치 및 방법
KR102007141B1 (ko) 빅데이터를 이용한 차량 도장면 검사 및 재도장 예측 시스템
KR101052071B1 (ko) 자동차 도장 검사용 등기구를 이용한 자동차 도장 검사장치
KR200199447Y1 (ko) 블륨 표면흠 검출 장치
CN119959235A (zh) 一种新能源汽车底盘焊接缺陷检测设备
WO2024094298A1 (en) Surface inspection apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130627

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140623

Patent event code: PE09021S01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20140922

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150106

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150303

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150303

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190227

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220111

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230330

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240110

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250113

Start annual number: 11

End annual number: 11