KR101188352B1 - 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법 - Google Patents

비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법 Download PDF

Info

Publication number
KR101188352B1
KR101188352B1 KR1020110002210A KR20110002210A KR101188352B1 KR 101188352 B1 KR101188352 B1 KR 101188352B1 KR 1020110002210 A KR1020110002210 A KR 1020110002210A KR 20110002210 A KR20110002210 A KR 20110002210A KR 101188352 B1 KR101188352 B1 KR 101188352B1
Authority
KR
South Korea
Prior art keywords
sealer
vision
camera
coating
quality inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110002210A
Other languages
English (en)
Other versions
KR20120080794A (ko
Inventor
현 규 곽
김재민
Original Assignee
현 규 곽
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현 규 곽 filed Critical 현 규 곽
Priority to KR1020110002210A priority Critical patent/KR101188352B1/ko
Publication of KR20120080794A publication Critical patent/KR20120080794A/ko
Application granted granted Critical
Publication of KR101188352B1 publication Critical patent/KR101188352B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D65/00Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • B62D65/06Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components the sub-units or components being doors, windows, openable roofs, lids, bonnets, or weather strips or seals therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Coating Apparatus (AREA)

Abstract

본 발명은 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법에 관한 것으로서, 더욱 상세하게는 비젼시스템을 이용하여 차체패널류에 도포되는 실러의 도포유무, 도포량 등 품질검사에 꼭 필요한 부분만을 정확하게 검출하여, 실러의 도포품질 검사를 효과적으로 수행할 수 있도록 한 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법에 관한 것이다.
즉, 본 발명은 고가의 레이저 조사장치와 같은 불필요한 부분을 제거한 비젼시스템을 채택하여, 실러가 도포된 부분의 음영을 기준으로 실러의 도포유무, 도포면적, 도포위치, 도포량 등 품질검사에 꼭 필요한 항목을 정확하게 검사함으로써, 보다 효과적으로 실러 도포품질을 검사할 수 있도록 한 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법을 제공하고자 한 것이다.

Description

비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법{Device and method for inspecting sealer application condition using vision system}
본 발명은 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법에 관한 것으로서, 더욱 상세하게는 비젼시스템을 이용하여 차체패널류에 도포되는 실러의 도포유무, 도포량 등 품질검사에 꼭 필요한 부분만을 정확하게 검출하여, 실러의 도포품질 검사를 효과적으로 수행할 수 있도록 한 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법에 관한 것이다.
자동차의 차체패널류 조립 공정은 차체패널류 간의 접합부에 대하여 용접을 실시하는 공정과, 용접 공정후에 누수방지 및 방청, 방진, 방열, 강성 강화 등을 위해 실러(Sealer)를 도포하는 공정을 포함하고 있다.
통상, 자동차 제조 공정에서의 실러 도포 과정은 실러를 자동으로 토출시키는 자동식 실러 도포 장치에 의하여 이루어지는 바, 실러 도포 형상이 완전하지 않으면 접착력과 수밀도 등이 떨어지므로, 보다 효율적인 실러 도포 장치의 개발이 요구되고 있다.
더 나아가, 실러 도포 구간 전역에 걸쳐서 불량 발생 위치를 정확하게 검출하여 실러 도포 품질의 효율성을 제고할 수 있는 실러 도포 상태 검사장치가 요구되고 있다.
이러한 점을 감안하여, 종래기술의 일례로서 차체패널류에 도포되는 실러 비드의 입체적 프로파일 형상을 검출하여 실러 도포 품질을 검사할 수 있도록 한 실러 도포상태 검사 장치 및 그 방법이 대한민국 등록특허 제10-0890390호(2009,03,18)에 개시되어 있지만, 실러의 폭과 높이를 동시에 측정하여 실러의 단면 형상을 입체적으로 분석하기 위하여 고가의 레이저 조사장치를 필수적으로 구비해야 함에 따라 설치비용이 많이 드는 단점이 있고, 실러의 폭과 높이를 측정하는 과정과 실러의 단면 형상을 계산하는 수학적 알고리즘 과정이 매우 복잡한 단점이 있다.
종래기술의 다른 예로서, 2개의 영역스캔 카메라를 이용하여 고정밀 초고속으로 실러 도포 상태를 검사할 수 있고, 실러 도포 상태를 3차원적으로 검사할 수 있도록 2개의 영역스캔 카메라와 함께 레이저빔을 사용함으로써, 실러의 높이를 측정할 수 있는 실러 도포 상태 검사 시스템 및 그 방법이 대한민국 공개특허 제2010-0093215호(2010,08,25)에 개시되어 있지만, 마찬가지로 실러의 도포상태를 3차원 입체 형상으로 분석하기 위하여 고가의 레이저 조사장치를 필수적으로 구비해야 함에 따른 설치비용 상승 문제가 있고, 실러의 형상을 3차원 입체 형상으로 분석하기 위한 수학적 알고리즘 과정이 매우 복잡한 단점이 있다.
본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위하여 개발된 것으로서, 고가의 레이저 조사장치와 같은 불필요한 부분을 제거한 비젼시스템을 채택하여, 실러가 도포된 부분의 음영을 기준으로 실러의 도포유무, 도포면적, 도포위치, 도포량 등 품질검사에 꼭 필요한 항목을 정확하게 검사함으로써, 보다 효과적으로 실러 도포품질을 검사할 수 있도록 한 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명의 일 구현예는: 차체패널류가 거치되어 고정된 로봇의 기동신호를 수신하여 비젼컴퓨터에 전송하는 실러 제어반과; 실러 도포건의 인접 위치에 카메라 장착부재에 의하여 조립되어, 비젼컴퓨터로부터의 촬영개시신호를 수신하는 동시에 실러 도포건의 실러 도포 상태를 촬영하는 비젼카메라와; 비젼카메라와 함께 실러 도포건의 인접 위치에 조명 장착부재에 의하여 조립되어 실러 도포 부위를 비추어주는 조명수단과; 실러의 비드 상태를 촬영한 픽셀 데이터를 비젼카메라로부터 수신하여, 실러 도포상태에 대한 양호 또는 불량을 판정하는 비젼컴퓨터와; 비젼컴퓨터로부터의 양호 또는 불량 신호를 실러 제어반 및 로봇을 통해 전달받아, 실러 도포 공정에 대한 가동 또는 정지를 결정하는 공정 제어반; 을 포함하여 구성된 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 장치를 제공한다.
본 발명의 일 구현예에서, 상기 카메라 장착부재는: 실러 도포건의 상부 몸체부 둘레면에 장착되는 사각틀 형상으로서, 그 일측에는 카메라 장착용 경사면이 형성된 베이스 블록과; 비젼카메라를 감싸며 보호하는 카메라 커버 및 카메라 하우징과; 카메라 하우징과 일체로 조립되는 조립판과, 이 조립판의 하단에 일체로 형성되어 베이스 블록의 카메라 장착용 경사면에 조립되는 장착단으로 이루어진 카메라 브라켓; 으로 구성된 것을 특징으로 한다.
특히, 상기 베이스 블록의 카메라 장착용 경사면은 비젼카메라의 촬영각도와 일치하는 각도로 형성된 것을 특징으로 한다.
본 발명의 일 구현예에서, 상기 조명 장착부재는: 실러 도포건의 하부 실린더부에 압입 체결되도록 중공홀을 갖는 구조로서, 상단 양측에 스크류 조임구가 형성된 조명홀더와; 카메라 장착부재의 베이스 블록의 사방 외표면에 조립되어 조명홀더 및 조명수단을 감싸며 보호하는 다수개의 조명커버; 로 구성된 것을 특징으로 한다.
본 발명의 일 구현예에서, 상기 조명수단은: 조명 장착부재의 조명홀더의 외경부가 삽입되도록 중앙에 체결홀이 형성된 조명블록과; 조명블록의 상면에 일체로 돌출 형성되어 조명홀더의 상단부에 밀착 조립되는 체결단과; 조명블록의 저면에 장착되어 실러 도포 부분을 비추어주는 다수의 LED; 로 구성된 것을 특징으로 한다.
상기한 목적을 달성하기 위한 본 발명의 다른 구현예는: 차체패널류가 거치 고정된 로봇의 기동신호를 비롯하여, 차종신호와, 실러 도포 시작 및 종료신호를 실러 제어반에 전송하는 단계와; 상기 실러 제어반에서 차종신호와, 실러 도포 시작 및 종료신호를 비젼 컴퓨터에 전송하는 단계와; 로봇의 기동과 함께 실러 도포건의 온 작동에 의하여 차체패널류에 대한 실러 도포가 이루어지는 단계와; 비젼 컴퓨터로부터 촬영개시신호를 수신한 비젼카메라에서 차체패널류에 도포되는 실러의 비드 상태를 촬영하는 단계와; 비젼카메라에서 실러의 비드 상태를 촬영한 픽셀 데이터를 비젼컴퓨터로 전송하는 단계와; 비젼컴퓨터에서, 비젼카메라에서 촬영된 픽셀 데이터의 비드 픽셀값을 기준 비드 픽셀값과 비교하여 실러 도포 상태에 대한 양부를 판정하는 단계; 를 포함하는 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 방법을 제공한다.
본 발명의 다른 구현예에 따르면, 상기 비젼컴퓨터에서 판정된 실러 도포 상태에 대한 양호 또는 불량 신호가 실러 제어반 및 로봇을 경유하여 공정 제어반으로 전송되는 단계와; 양호 신호를 수신하면 로봇 및 실러 도포 건을 비롯한 전체 공정 설비를 계속 가동시키고, 불량 신호를 수신하면 전체 공정 설비를 중지시키는 공정 제어반의 제어 단계; 를 더 포함하는 것을 특징으로 한다.
특히, 상기 실러 도포 상태에 대한 양부를 판정하는 단계에서, 비젼카메라에서 촬영된 실러의 비드 픽셀값을 기준비드값 대비 퍼센트(%)로 환산하고, 환산된 퍼센트 값이 기준상한치 및 하한치 범위내에 속하면 양호로 판정하고, 속하지 않으면 불량으로 판정하는 것을 특징으로 한다.
또한, 상기 비젼카메라에서 촬영된 실러의 비드 픽셀값은 각 픽셀을 흑과 백으로 판별하여, 흑과 백의 갯수를 이진화시킨 것임을 특징으로 한다.
상기한 과제 해결 수단을 통하여, 본 발명은 다음과 같은 효과를 제공한다.
본 발명에 따르면, 기존에 고가의 레이저 조사장치를 이용하여 3차원 분석을 하던 것과 달리, 비젼카메라 및 비젼컴퓨터 등을 포함하는 비젼 시스템을 이용하여 차체패널류에 도포된 실러의 비드를 촬영하고, 촬영된 비드 픽셀값을 기준 비드 픽셀값과 비교하여 실러 도포 상태에 대한 양부를 간단하게 판정할 수 있다.
특히, 차체패널류에 도포된 실러 비드를 흑백(음영)을 나타내는 픽셀값 기준으로 간단히 검사 판정하여, 실러의 도포유무, 도포면적, 도포위치, 도포량 등 품질검사에 꼭 필요한 항목을 정확하고 효과적으로 검사할 수 있다.
도 1은 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성 및 제어 흐름을 나타내는 도면,
도 2는 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 각 구성을 보여주는 시스템 레이아웃,
도 3은 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼카메라와 조명수단의 조립 구조를 나타내는 분리 사시도,
도 4는 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼카메라에서 촬영된 실러 비드 모습을 나타내는 이미지,
도 5는 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼카메라의 데이터 추출 과정을 설명하는 이미지,
도 6은 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼컴퓨터의 사용자 프로그램 화면을 나타낸 이미지,
도 7은 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼컴퓨터의 사용자 프로그램 실행 화면으로서, 실러 도포 상태에 대한 양부 판정을 설명하는 이미지,
도 8은 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼컴퓨터의 사용자 프로그램에서, 양호 또는 불량 판정된 결과데이터 및 실러 비드 이미지를 저장하는 것을 보여주는 이미지,
도 9는 본 발명에 따른 비젼시스템을 이용한 실러 도포 품질 검사 장치의 구성중 비젼컴퓨터의 사용자 프로그램에서, 실러 도포 구간(녹색)과 미도포 불량 구간(붉은색)을 보여주는 이미지.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.
본 발명은 차체패널류의 실러 도포 부위에 실러를 도포할 때, 도포 시작점에서 도포 종료시점까지 도포되는 실러의 비드를 비젼카메라에서 연속적으로 분할 촬영하고, 각 분할 촬영된 비드 픽셀값마다 흑과 백의 명암 차이를 이용하여 흑으로 나타나는 비드 픽셀값을 데이타화시킨 다음, 이를 기준비드값과 비교하여 하한치 이하이면 과소도포 또는 미도포로 인한 불량으로 판정하고, 상한치 이상이면 과다 도포에 의한 불량으로 판정하며, 상하치 및 하한치 범위내이면 양호로 판정할 수 있도록 한 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법을 제공하고자 한 것이다.
이를 위해, 본 발명의 비젼시스템을 이용한 실러 도포 품질 검사 장치는 첨부한 도 1 내지 도 3에 도시된 바와 같이, 실러 도포건(10)에 장착되는 비젼카메라(20) 및 조명수단(70)을 비롯하여, 비젼카메라(20)에서 촬영된 영상데이터를 분석하여 양부 판정을 하는 비젼컴퓨터(30)와, 실러 도포 대상인 차체패널류를 거치 고정하고 있는 로봇(50)과, 비젼컴퓨터(30)의 양부 판정 신호를 수신하면서 실러 건(10) 및 로봇(50) 등의 작동 제어를 실시하는 실러 제어반(40)과, 전체 실러 도포 공정을 제어하는 상위 제어기인 공정제어반(60) 등을 포함하여 구성된다.
상기 비젼카메라(20)는 실러 도포건(10)의 인접 위치에 카메라 장착부재(80)에 의하여 조립되어 비젼컴퓨터(30)로부터의 촬영개시신호(TRIGGER)를 수신하는 동시에 실러 도포건의 실러 도포 상태를 촬영하게 된다.
보다 상세하게는, 상기 비젼카메라(20)는 카메라 장착부재(80)에 의하여 실러 도포건(10)의 인접 위치에 장착되어, 실러 도포건(10)으로부터 차체패널류에 실러가 도포될 때, 그 도포부분을 프레임 단위로 분할 촬영하고, 상기 조명수단(70)은 조명 장착부재(90)에 의하여 실러 도포건(10)의 하단부에 장착되어, 비젼카메라(20)의 명확한 촬영을 위하여 실러 도포 부분을 비추어주는 역할을 한다.
첨부한 도 3을 참조하면, 상기 카메라 장착부재(80)는 비젼카메라(20)를 실러 도포건(10)에 견고하게 장착 고정시키는 동시에 비젼카메라(20)의 촬영각도를 적정 수준으로 유지시키도록 제작 구비되며, 그 일 구성으로서 사각틀 형상이면서 일측에는 비젼카메라의 촬영 각도를 한정하고자 경사진 형태의 카메라 장착용 경사면(81)이 형성된 베이스 블록(82)이 실러 도포건(10)의 상부 몸체부 둘레면에 스크류에 의하여 조립 고정된다.
이때, 상기 비젼카메라(30)는 렌즈부를 제외하고, 그 외표면이 카메라 커버(83)와 카메라 하우징(84)에 의하여 감싸여지며 보호된다.
특히, 카메라 장착부재(80)의 구성중, 비젼 카메라(30)를 실러 도포건(10)에 실질적으로 조립 고정시키기 위한 수단으로서, 카메라 브라켓(87)이 사용된다.
즉, 상기 카메라 브라켓(87)은 평판형의 조립판(85)과, 이 조립판(85)의 하단에서 수직 절곡되는 형태로 일체로 형성되는 장착단(86)으로 구성되는 바, 카메라 하우징(84)이 조립판(85)에 밀착되어 스크류에 의하여 조립되고, 베이스 블록(82)의 카메라 장착용 경사면(81)에 장착단(86)이 밀착되어 스크류에 의하여 조립된다.
따라서, 상기 카메라 브라켓(87)의 장착단(86)이 베이스 블록(82)의 카메라 장착용 경사면(81)에 밀착 결합됨에 따라, 결국 카메라 장착용 경사면(81)의 각도에 맞추어 비젼카메라(30)의 촬영각도가 적정 수준으로 정해지게 된다.
상기 조명 장착부재(90)는 실러 도포건(10)의 하단 실린더부(12)에 장착되어 조명수단(70)을 견고하게 고정시키는 역할을 하는 바, 그 일 구성으로서 중앙에 상하로 관통된 중공홀(91)이 형성되고 상단 양측에는 스크류 조임구(92)가 형성된 조명홀더(93)를 구비하여, 실러 도포건(10)의 하부 실린더부(12)에 체결하게 된다.
즉, 상기 실러 도포건(10)의 하단 실린더부(12)를 조명홀더(93)의 중공홀(91)내에 압입되게 한 후, 스크류 조임구(92)를 통해 스크류를 조여줌으로써, 조명홀더(93)의 장착 고정이 이루어진다.
이때, 상기 조명 장착부재(90)의 다른 구성으로서, 다수개의 조명커버(94)가 카메라 장착부재(80)의 베이스 블록(82)의 사방 외표면에 스크류로 조립되어, 조명홀더(93) 및 조명수단(70)을 감싸며 보호하는 역할을 하게 된다.
한편, 상기 조명수단(70)은 중앙에 체결홀(71)이 형성된 사각틀 형상히면서 상면에 체결단(73)이 돌출 형성된 조명블록(72)을 골격으로 하고, 이 조명블럭(72)의 저면에 장착되는 다수의 LED(74)를 포함하여 구성된다.
따라서, 상기 조명블럭(72)의 체결홀(71)내에 조명 장착부재(90)의 구성중 조명홀더(93)의 외경부가 삽입되도록 한 후, 조명블럭(72)의 체결단(73)을 조명홀더(93)의 상단부에 밀착시켜 스크류로 조립함으로써, 조명 장착부재(90)에 의하여 조명수단(70)이 견고하게 장착 고정되는 상태가 된다.
이와 같이, 상기 비젼카메라(20)를 카메라 장착부재(80)를 이용하여 실러 도포건(10)의 상단부에 적정 수준의 촬영각도로 고정시키고, 상기 조명수단(70)을 조명 장착부재(90)를 이용하여 실러 도포건(10)의 하단부에 장착시킨 상태에서 실러 도포 상태에 대한 양부 판정이 진행될 수 있다.
이렇게 비젼카메라(20) 및 조명수단(70)이 실러 도포건(10)에 장착된 상태에서, 실러 도포 상태에 대한 양부 판정을 위한 비젼컴퓨터(30)가 비젼카메라(20)와 통신 가능하게 연결되고, 또한 비젼컴퓨터(30)의 양부 판정 신호를 수신하면서 실러 도포건(10) 및 로봇(50) 등의 작동 제어를 실시하는 실러 제어반(40)이 비젼컴퓨터(30)와 통신 가능하게 연결된다.
또한, 실러 도포 대상인 차체패널류를 거치 고정하고 있는 로봇(50)이 실러 제어반(40)와 통신 가능하게 연결되고, 전체 실러 도포 공정을 제어하는 상위 제어기인 공정제어반(60)이 로봇(50) 및 실리 도포건(10) 등과 통신 가능하게 연결된다.
한편, 상기 실러 제어반(40)은 차체패널류가 거치 고정된 로봇(50)의 기동신호를 비롯하여, 차종신호와, 실러 도포 시작 및 종료신호를 수신하여 비젼컴퓨터(30)에 전송하는 역할을 하고, 상기 공정 제어반(60)은 비젼컴퓨터(30)로부터의 양호 또는 불량 신호를 실러 제어반(40) 및 로봇(50)을 통해 전달받아, 실러 도포 공정에 대한 가동 또는 정지를 결정하여 수행하는 역할을 한다.
여기서, 상기와 같은 본 발명의 구성을 기반으로 이루어지는 실러 도포 품질 검사 방법을 설명하면 다음과 같다.
실러 도포 대상 부품인 차체 패널류가 로봇(50)에 클램핑되어 고정된 상태에서, 로봇이 기동하여 차체 패널류가 실러 도포건(10)쪽으로 이동하면, 실러 도포건(10)의 작동에 의하여 실러가 차체 패널류의 실러 도포 부위에 도포된다.
이때, 도 1 및 도 2에서 보듯이 차체패널류가 거치 고정된 로봇(50)으로부터 로봇 기동신호를 비롯하여, 도해당 차종신호와, 실러 도포 시작 및 종료신호가 실러 제어반(40)에 전송된다.
연이어, 상기 실러 제어반(40)에서 로봇의 초기 기동신호, 해당 차종신호, 실러 도포 시작 및 종료신호, 그리고 실러 도포건의 도포 온 신호 등을 비젼 컴퓨터(30)에 전송하게 된다.
상기와 같이, 로봇(50)의 기동과 함께 실러 도포건(10)의 온 작동에 의하여 차체패널류에 대한 실러 도포가 이루어지게 되면, 비젼컴퓨터(30)로부터 촬영개시신호를 수신한 비젼카메라(20)에서 차체패널류에 도포되는 실러의 비드 상태를 촬영하게 되고, 물론 조명수단(70)에서 실러가 도포되는 부분에 LED(74)에 의한 조명빛을 비추어주어 실러 비드에 대한 명확한 촬영이 이루어지게 된다.
이때, 도 4에서 보듯이 비젼컴퓨터(30)의 배너 프로그램을 통하여, 비젼카메라(20)에서 촬영된 실러 비드의 모습을 관찰할 수 있으며, 그 검사영역은 도포된 실러의 비드 부분이 되며, 비젼카메라(20)에서 실러의 비드 부분을 픽셀로 데이터 처리하여 비젼컴퓨터(30)로 전송하게 된다.
보다 상세하게는, 상기 비젼카메라(20)에서 실러의 비드 상태를 촬영한 픽셀 데이터를 비젼컴퓨터(30)로 전송하게 되는 바, 첨부한 도 5에 나타낸 바와 같이 촬영된 실러의 비드 픽셀값은 각 픽셀을 흑과 백으로 판별하여, 흑과 백의 갯수를 이진화시킨 데이터를 디지털 신호로 전송하게 된다.
이어서, 상기 비젼컴퓨터(30)에서, 비젼카메라(20)에서 촬영된 픽셀 데이터의 비드 픽셀값을 기준 비드 픽셀값과 비교하여 실러 도포 상태에 대한 양부 판정을 하게 된다.
비젼컴퓨터(30)의 사용자 프로그램을 실행시킨 도 6을 참조하면, 하단에는 해당 차종의 차체패널류 및 실러 도포 부위가 디스플레이되고, 그 우측에는 미리 실험을 통해 구한 기준비드값을 입력하여 저장할 수 있는 메뉴 등이 배치되며, 또한 위쪽에는 실시간으로 촬영되어 검출된 실러의 비드 픽셀값을 비롯하여, 기준비드값, 퍼센트 단위로 환산된 비교값, 기준상한치 및 하한치 등이 디스플레이되고, 그 좌측에는 실제 촬영된 비드 이미지 및 양부 판정 화면이 디스플레이 된다.
보다 상세하게는, 상기 실러 도포 상태에 대한 양부를 판정하는 단계를 보면, 첨부한 도 7에서 보는 바와 같이 비젼카메라(20)에서 촬영된 실러의 비드 픽셀값을 기준비드값 대비 퍼센트(%)로 환산하고, 환산된 퍼센트 값이 기준상한치 및 하한치 범위내에 속하면 양호로 판정하고, 속하지 않으면 불량으로 판정하게 된다.
다시 말해서, 비젼카메라(20)에서 촬영된 실러 비드 이미지를 흑과 백의 명암 차이를 이용하여 흑으로 나타나는 비드 픽셀값으로 데이타화시킨 다음, 실러의 비드 픽셀값을 기준비드값 대비 퍼센트(%)로 환산하고, 환산된 퍼센트 값이 기준 하한치 이하이면 과소도포 또는 미도포로 인한 불량으로 판정하고, 기준 상한치 이상이면 과다 도포에 의한 불량으로 판정하며, 기준 상하치 및 하한치 범위내이면 양호로 판정하게 된다.
이렇게 비젼컴퓨터(30)에서 판정된 실러 도포 상태에 대한 양호 또는 불량 판정 신호가 실러 제어반(40) 및 로봇(50)을 비롯하여, 공정 제어반(60)까지 전송되어진다.
상기 공정 제어반(60)에서 양호 신호를 수신하면 로봇(50) 및 실러 도포 건(10)을 비롯한 전체 공정 설비를 계속 가동시키는 제어를 하게 되고, 불량 신호를 수신하면 전체 공정 설비를 중지시키는 제어를 하게 된다.
한편, 본 발명에 따르면, 비젼카메라(20)에서 촬영된 실러 비드 이미지를 데이타화시켜 비젼컴퓨터(30)에 저장함으로써, 차후에 실러 비드에 대한 품질 평가에 사용될 수 있다.
보다 상세하게는, 첨부한 도 8에서 보듯이 비젼카메라(20)에서 촬영되어 양호 또는 불량 판정된 실러 비드 이미지를 비젼컴퓨터(30)에 저장하고, 또한 실러 비드 이미지에 대한 양부 판정 결과값을 나타내는 CSV(Comma Separated Values, 일종의 텍스트 파일) 파일을 엑셀 파일(EXCEL FILE)로 변환하되 사용자 판독이 용이하도록 엑셀 포멧(열 넓이, 틀고정, NG / OK 마킹)에 맞게 변환하여 비젼컴퓨터(30)에 저장하게 된다.
본 발명에 따르면, 상기와 같이 실러 도포 상태에 대한 양부를 판정하는 단계를 진행한 후, 불량으로 판정된 실러 도포 구간에 대하여 양호한 도포 상태가 되도록 아래와 같이 재도포작업(REWORK)이 더 진행된다.
먼저, 실링 도포 검사 결과, 첨부한 도 9에서 보듯이 실러 도포 구간중 붉은색으로 표시된 미도포 불량 구간이 발생하게 되면, 실러 도포 구간(도 9의 녹색부분)을 제외한 미도포 불량 구간에 대한 실러 재도포를 위하여 작업자가 실러 제어반(40)의 재도포작업 버튼을 선택하게 된다.
이어서, 실러 제어반(40)의 재작업 신호가 로봇(50) 및 실러 도포건(10)에 전송되면, 차체패널류를 거치 고정하고 있는 로봇(50)이 기동하는 동시에 실러 도포건(10)이 작동하고, 또한 비젼카메라(20)에서 실러 도포건(10)의 도포 구간을 촬영하게 된다.
이때, 비젼카메라(20)가 실러 도포 구간을 촬영하되, 이미 실러 도포가 이루어진 구간에서는 비젼컴퓨터(30)의 양호 신호가 실러 제어반(40)에 전송되어 실러 도포건(10)의 실러 도포가 이루어지지 않게 된다.
반면에, 비젼카메라(20)로부터 실러 미도포 구간을 촬영한 이미지 신호를 수신한 비젼컴퓨터(30)에서 실러 미도포 구간에 따른 불량 신호를 실러 제어반(40)에 전송하면, 실러 제어반(40)에서 실러 도포건(10)의 실러 도포를 인가하게 되어, 실러 미도포 구간에만 실러 도포가 이루어지게 된다.
이러한 실러 재도포작업 공정을 통하여, 이미 양호 판정이 이루어진 실러 도포 구간은 도포하지 않고, 불량 판정된 실러 미도포 구간에 다시 실러가 용이하게 도포됨으로써, 실러 미도포에 따른 불량을 용이하게 해소시킬 수 있다.
이상과 같이, 고가의 레이저 조사장치를 이용하여 실러 비드를 3차원 입체 형상으로 검출하여 품질 검사하던 기존의 복잡한 장치 및 방법과 달리, 차체패널류에 도포된 실러 비드를 흑백(음영)을 나타내는 픽셀값 기준만으로 간단히 검사 판정하여, 실러의 도포유무, 도포면적, 도포위치, 도포량 등 품질검사에 꼭 필요한 항목만을 정확하고 효과적으로 검사할 수 있다.
10 : 실러 도포건 20 : 비젼카메라
30 : 비젼컴퓨터 40 : 실러 제어반
50 : 로봇 60 : 공정 제어반
70 : 조명수단 71 : 체결홀
72 : 조명블록 73 : 체결단
74 : LED 80 : 카메라 장착부재
81 : 카메라 장착용 경사면 82 : 베이스 블록
83 : 카메라 커버 84 : 카메라 하우징
85 : 조립판 86 : 장착단
87 : 카메라 브라켓 90 : 조명 장착부재
91 : 중공홀 92 : 스크류 조임구
93 : 조명홀더 94 : 조명커버

Claims (10)

  1. 차체패널류가 거치 고정된 로봇(50)의 기동신호를 비롯하여, 차종신호와, 실러 도포 시작 및 종료신호를 수신하여 비젼컴퓨터(30)에 전송하는 실러 제어반(40)과;
    실러 도포건(10)의 인접 위치에 카메라 장착부재(80)에 의하여 조립되어, 비젼컴퓨터로부터의 촬영개시신호를 수신하는 동시에 실러 도포건의 실러 도포 상태를 촬영하는 비젼카메라(20)와;
    비젼카메라(20)와 함께 실러 도포건(10)의 인접 위치에 조명 장착부재(90)에 의하여 조립되어 실러 도포 부위를 비추어주는 조명수단(70)과;
    실러의 비드 상태를 촬영한 픽셀 데이터를 비젼카메라(20)로부터 수신하여, 실러 도포상태에 대한 양호 또는 불량을 판정하는 비젼컴퓨터(30)와;
    비젼컴퓨터(30)로부터의 양호 또는 불량 신호를 실러 제어반(40) 및 로봇(50)을 통해 전달받아, 실러 도포 공정에 대한 가동 또는 정지를 결정하는 공정 제어반(60);
    을 포함하여 구성된 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 장치.
  2. 청구항 1에 있어서,
    상기 카메라 장착부재(80)는:
    실러 도포건(10)의 상부 몸체부 둘레면에 장착되는 사각틀 형상으로서, 그 일측에는 카메라 장착용 경사면(81)이 형성된 베이스 블록(82)과;
    비젼카메라(30)를 감싸며 보호하는 카메라 커버(83) 및 카메라 하우징(84)과;
    카메라 하우징(84)과 일체로 조립되는 조립판(85)과, 이 조립판(85)의 하단에 일체로 형성되어 베이스 블록(82)의 카메라 장착용 경사면(81)에 조립되는 장착단(86)으로 이루어진 카메라 브라켓(87);
    으로 구성된 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 장치.
  3. 청구항 2에 있어서,
    상기 카메라 장착용 경사면(81)은 비젼카메라(30)의 촬영각도와 일치하는 각도로 형성된 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 장치.
  4. 청구항 1에 있어서,
    상기 조명 장착부재(90)는:
    실러 도포건(10)의 하부 실린더부(12)에 압입 체결되도록 중공홀(91)을 갖는 구조로서, 상단 양측에 스크류 조임구(92)가 형성된 조명홀더(93)와;
    카메라 장착부재(80)의 베이스 블록(82)의 사방 외표면에 조립되어 조명홀더(93) 및 조명수단(70)을 감싸며 보호하는 다수개의 조명커버(94);
    로 구성된 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 장치.
  5. 청구항 1 또는 청구항 4에 있어서,
    상기 조명수단(70)은:
    조명 장착부재(90)의 조명홀더(93)의 외경부가 삽입되도록 중앙에 체결홀(71)이 형성된 조명블록(72)과;
    조명블록(72)의 상면에 일체로 돌출 형성되어 조명홀더(93)의 상단부에 밀착 조립되는 체결단(73)과;
    조명블록(72)의 저면에 장착되어 실러 도포 부분을 비추어주는 다수의 LED(74);
    로 구성된 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 장치.
  6. 차체패널류가 거치 고정된 로봇(50)의 기동신호를 비롯하여, 차종신호와, 실러 도포 시작 및 종료신호를 실러 제어반(40)에 전송하는 단계와;
    상기 실러 제어반(40)에서 차종신호와, 실러 도포 시작 및 종료신호를 비젼 컴퓨터(30)에 전송하는 단계와;
    로봇(50)의 기동과 함께 실러 도포건(10)의 온 작동에 의하여 차체패널류에 대한 실러 도포가 이루어지는 단계와;
    비젼컴퓨터(30)로부터 촬영개시신호를 수신한 비젼카메라(20)에서 차체패널류에 도포되는 실러의 비드 상태를 촬영하는 단계와;
    비젼카메라(20)에서 실러의 비드 상태를 촬영한 픽셀 데이터를 비젼컴퓨터(30)로 전송하는 단계와;
    비젼컴퓨터(30)에서, 비젼카메라에서 촬영된 픽셀 데이터의 비드 픽셀값을 기준 비드 픽셀값과 비교하여 실러 도포 상태에 대한 양부를 판정하는 단계;
    를 포함하는 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 방법.
  7. 청구항 6에 있어서,
    비젼컴퓨터(30)에서 판정된 실러 도포 상태에 대한 양호 또는 불량 신호가 실러 제어반(40) 및 로봇(50)을 경유하여 공정 제어반(60)으로 전송되는 단계와;
    양호 신호를 수신하면 로봇(50) 및 실러 도포 건(10)을 비롯한 전체 공정 설비를 계속 가동시키고, 불량 신호를 수신하면 전체 공정 설비를 중지시키는 공정 제어반(60)의 제어 단계;
    를 더 포함하는 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 방법.
  8. 청구항 6에 있어서,
    상기 실러 도포 상태에 대한 양부를 판정하는 단계에서,
    비젼카메라(20)에서 촬영된 실러의 비드 픽셀값을 기준비드값 대비 퍼센트(%)로 환산하고, 환산된 퍼센트 값이 기준상한치 및 하한치 범위내에 속하면 양호로 판정하고, 속하지 않으면 불량으로 판정하는 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 방법.
  9. 청구항 6 또는 청구항 8에 있어서,
    상기 비젼카메라(20)에서 촬영된 실러의 비드 픽셀값은 각 픽셀을 흑과 백으로 판별하여, 흑과 백의 갯수를 이진화시킨 것임을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 방법.
  10. 청구항 6에 있어서,
    상기 비젼카메라(20)에서 촬영되어 양호 또는 불량 판정된 실러 비드 이미지 및 이 실러 비드 이미지에 대한 양부 판정 결과값을 비젼컴퓨터(30)에 저장하는 단계와;
    불량으로 판정된 실러 미도포 구간에 대하여 양호한 도포 상태가 되도록 실러 재도포작업(REWORK)이 진행되는 단계;
    를 더 포함하는 것을 특징으로 하는 비젼시스템을 이용한 실러 도포 품질 검사 방법.
KR1020110002210A 2011-01-10 2011-01-10 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법 Active KR101188352B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110002210A KR101188352B1 (ko) 2011-01-10 2011-01-10 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110002210A KR101188352B1 (ko) 2011-01-10 2011-01-10 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120080794A KR20120080794A (ko) 2012-07-18
KR101188352B1 true KR101188352B1 (ko) 2012-10-08

Family

ID=46713243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110002210A Active KR101188352B1 (ko) 2011-01-10 2011-01-10 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101188352B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101817747B1 (ko) 2016-12-05 2018-01-11 주식회사 로보아이티 실러도포로봇을 감시하는 원격감시장치
KR101817742B1 (ko) 2016-12-05 2018-01-11 주식회사 로보아이티 실러비전검사모듈 및 그를 포함하는 실러도포로봇
KR20180064119A (ko) 2016-12-05 2018-06-14 로보아이티 주식회사 실러도포로봇용 임베디드 검사장치 및 이를 포함하는 스마트 팩토리 감시시스템
KR20200057286A (ko) * 2018-11-16 2020-05-26 아진산업(주) 실러의 토출상태 검사방법
WO2024101858A1 (ko) * 2022-11-09 2024-05-16 캠아이 주식회사 로봇 연동 도포 농도 비전 검사 시스템 및 그 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061795B1 (ko) 2013-01-31 2020-01-03 삼성디스플레이 주식회사 평판 표시 장치의 실링 방법
KR101640425B1 (ko) * 2016-04-11 2016-07-18 (주)디엠소프트 실러 도포 상태 검사 시스템 및 방법
KR101876035B1 (ko) * 2016-07-05 2018-07-06 기아자동차주식회사 차체 실러 도포 품질 확인 장치 및 방법
CN107830802B (zh) * 2017-12-07 2024-03-15 沈阳理工大学 一种汽车配件涂胶质量在线动态检测装置及控制方法
KR102055113B1 (ko) * 2018-06-22 2019-12-12 대우공업 (주) 실러의 토출상태 검사장치 및 이를 이용한 실러의 토출상태 검사방법
KR102188477B1 (ko) * 2018-12-12 2020-12-08 (주)대명티에스 실러 도포 검사 장치, 실러 도포 검사 방법, 및 실러 도포 시스템
KR102643010B1 (ko) 2022-04-04 2024-03-05 (주)칼라일플루이드테크놀로지스코리아 노즐 높이 조절이 가능한 차체용 실러 도포장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513526B1 (ko) 2003-06-05 2005-09-07 현대자동차주식회사 차체 프라이머 도포 검사 방법
KR100598876B1 (ko) 2004-04-19 2006-07-10 현대자동차주식회사 차체 프라이머 도포 검사 시스템 및 방법
KR100740250B1 (ko) 2005-12-26 2007-07-18 (주) 인텍플러스 비전 검사 시스템 및 그를 이용한 검사 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513526B1 (ko) 2003-06-05 2005-09-07 현대자동차주식회사 차체 프라이머 도포 검사 방법
KR100598876B1 (ko) 2004-04-19 2006-07-10 현대자동차주식회사 차체 프라이머 도포 검사 시스템 및 방법
KR100740250B1 (ko) 2005-12-26 2007-07-18 (주) 인텍플러스 비전 검사 시스템 및 그를 이용한 검사 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101817747B1 (ko) 2016-12-05 2018-01-11 주식회사 로보아이티 실러도포로봇을 감시하는 원격감시장치
KR101817742B1 (ko) 2016-12-05 2018-01-11 주식회사 로보아이티 실러비전검사모듈 및 그를 포함하는 실러도포로봇
KR20180064119A (ko) 2016-12-05 2018-06-14 로보아이티 주식회사 실러도포로봇용 임베디드 검사장치 및 이를 포함하는 스마트 팩토리 감시시스템
KR20200057286A (ko) * 2018-11-16 2020-05-26 아진산업(주) 실러의 토출상태 검사방법
KR102174224B1 (ko) * 2018-11-16 2020-11-04 아진산업(주) 실러의 토출상태 검사방법
WO2024101858A1 (ko) * 2022-11-09 2024-05-16 캠아이 주식회사 로봇 연동 도포 농도 비전 검사 시스템 및 그 방법
KR20240068863A (ko) * 2022-11-09 2024-05-20 캠아이 주식회사 로봇 연동 도포 농도 비전 검사 시스템 및 그 방법
KR102749687B1 (ko) * 2022-11-09 2025-01-08 캠아이 주식회사 로봇 연동 도포 농도 비전 검사 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20120080794A (ko) 2012-07-18

Similar Documents

Publication Publication Date Title
KR101188352B1 (ko) 비젼시스템을 이용한 실러 도포 품질 검사 장치 및 방법
CN105783784B (zh) 检查装置及检查装置的控制方法
KR101078781B1 (ko) 3차원 형상 검사방법
EP3973502B1 (en) A system and method for determining whether a camera component is damaged
GB2284048A (en) Method for examining the surface of a workpiece
KR20100093215A (ko) 실러 도포 상태 검사 시스템 및 그 방법
KR101120049B1 (ko) 차량용 유리에 도포된 실런트 상태 검사방법 및 장치
WO2019124508A1 (ja) ワイヤ形状検査装置およびワイヤ形状検査方法
US20100309309A1 (en) Method for precisely detecting crack width
TW201604536A (zh) 應用重覆曝光之多曝光影像混和的檢測方法
US20240273707A1 (en) High-speed automatic film-foreign substance detection apparatus
CN113125343A (zh) 光学检测设备与光学检测方法
KR101802812B1 (ko) 물품의 외관 검사장치 및 이를 이용한 물품의 외관 검사방법
KR101114251B1 (ko) 3차원 표면 촬영 장치
CN117132599B (zh) 线路板缺陷检测方法、装置、电子设备及存储介质
JP4760029B2 (ja) 欠陥検査方法および欠陥検査装置
KR102702901B1 (ko) 다채널 led 조명의 균일도 측정장치 및 이를 이용한 다채널 led 조명의 균일도 측정방법
JP2018091770A (ja) 検査対象物の表面の凹凸を検査する方法及びその表面検査装置
KR20110119079A (ko) 기판검사장치 및 기판검사방법
TWI448606B (zh) 表面檢測裝置與方法
KR101876391B1 (ko) 단색광 모아레의 다채널 이미지를 이용한 3차원 검사 장치
KR102429699B1 (ko) 미래형 자동차 헤드램프 커버 렌즈 비전 검사 장치
CA2601486A1 (en) Methods for detecting compression wood in lumber
JP2007285753A (ja) 欠陥検出方法および欠陥検出装置
JP2021110551A (ja) 基板エッジ検査装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110110

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20120423

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120821

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120927

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120928

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20141117

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20141117

Start annual number: 4

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210915

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20220920

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20230920

Start annual number: 12

End annual number: 12