KR20130053091A - 판 파단 검출 장치 및 방법 - Google Patents

판 파단 검출 장치 및 방법 Download PDF

Info

Publication number
KR20130053091A
KR20130053091A KR1020110118617A KR20110118617A KR20130053091A KR 20130053091 A KR20130053091 A KR 20130053091A KR 1020110118617 A KR1020110118617 A KR 1020110118617A KR 20110118617 A KR20110118617 A KR 20110118617A KR 20130053091 A KR20130053091 A KR 20130053091A
Authority
KR
South Korea
Prior art keywords
image
pixel
steel sheet
edge
filtering
Prior art date
Application number
KR1020110118617A
Other languages
English (en)
Inventor
윤성욱
박창현
윤종필
배호문
최세호
Original Assignee
주식회사 포스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코 filed Critical 주식회사 포스코
Priority to KR1020110118617A priority Critical patent/KR20130053091A/ko
Publication of KR20130053091A publication Critical patent/KR20130053091A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/20—Metals
    • G01N33/204—Structure thereof, e.g. crystal structure
    • G01N33/2045—Defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 판 파단 검출 장치 및 방법에 관한 것으로서, 본 발명의 일 실시예에 의한 판 파단 검출 방법은, 강판을 촬영하여 상기 강판의 표면에 대한 원본영상을 획득하는 원본촬영 단계; 상기 원본영상에 대하여 필터링(filtering)을 수행하고, 상기 강판의 길이방향으로 미분을 수행하는 전처리 단계; 상기 전처리된 영상에서 에지를 검출하는 에지 검출단계; 및 상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거하는 사이즈 필터링 단계를 포함할 수 있다.

Description

판 파단 검출 장치 및 방법 {Diagnosis apparatus and method for strip breakage}
본 발명은 판 파단 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 강판의 표면을 촬영한 영상에 대하여 영상처리를 하여, 상기 강판의 판 파단 전조현상 중 하나인 판의 겹침형상을 검출할 수 있는 판 파단 검출 장치 및 방법에 관한 것이다.
냉간 압연판은 가구, 자동차, 음료수용 캔 등에 사용되는 중요한 산업용 철강소재이다. 상기 냉간 압연판을 만드는 공정은 용접, 산세, 냉간 압연, 권취 등의 연속작업으로 이루어지는데, 상기 냉간 압연 공정은 강판을 적절한 두께의 제품으로 소성 가공하는 핵심적인 공정이다.
상기 압연공정에서는 통상 4~5개의 스탠드로 구성된 냉간압연기를 이용하여 제품을 생산하는데, 여러 공정이 연속으로 이루어지는 작업 공정에서는 어느 한 공정에서 문제가 발생하면, 이후 다른 공정에도 영향을 미치게 되어 제품의 품질을 저하시킨다.
한편, 냉간 압연공정에서 판 파단, 즉 판이 찢어지는 사고가 발생하게 되면, 해당 제품을 사용할 수 없음은 물론 설비를 정상화시키는데 따른 비용과 시간이 많이 소요되어, 제품의 생산성을 크게 떨어뜨리고 있다.
냉간 압연공정에서 발생되는 판 파단의 원인은 상당히 다양하며, 구체적으로 소재 결함, 제어신호의 이상, 기계적인 이상 등이 원인이 될 수 있다.
예를 들어, 압연 중 과부하에 의해 판의 가장장리가 중심부에 비해 많이 변형되어 두께가 얇아지게 되면, 판 파단이 일어날 가능성이 높다. 또한 압연기의 롤이 부적절하게 연마되어 사용되면, 롤이 회전할 때마다 압연하중에 변화를 주게 되고, 이로 인해, 압연기의 진동발생에 의해 판 파단이 발생하기도 한다.
따라서, 상기 판 파단을 줄이기 위하여 여러 가지 장치 및 방법 등이 제안되고 있으며, 특히, 공개특허공보 특2001-0061661및 10-2004-0056825에서는 압연롤에서 발생하는 진동을 분석하여 판 파단의 징후를 예지하는 방법 등을 제시한바 있다.
하지만, 상기와 같은 압연롤의 진동을 분석하는 방법은 예측력이 좋지 않아서 판 파단 방지에 대한 실질적인 대처 방안이 되기는 어려운 면이 있다.
본 발명은 강판의 판 파단 전조현상을 검출할 수 있는 판 파단 검출장치를 제공하고자 한다.
본 발명은 또한, 강판의 판 파단 전조현상을 검출할 수 있는 판 파단 검출방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 판 파단 검출 방법은, 강판을 촬영하여 상기 강판의 표면에 대한 원본영상을 획득하는 원본촬영 단계; 상기 원본영상에 대하여 필터링(filtering)을 수행하고, 상기 강판의 길이방향으로 미분을 수행하는 전처리 단계; 상기 전처리된 영상에서 에지를 검출하는 에지 검출단계; 및 상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거하는 사이즈 필터링 단계를 포함할 수 있다.
여기서 상기 에지 검출단계는, 상기 전처리된 영상에 대해 가우시안 스무딩 필터링(Gaussian smoothing filtering)을 수행하는 평활화 과정; 상기 강판의 길이방향을 y축, 상기 강판의 폭방향을 x축으로 설정하고, 소벨(Sobel) 연산자를 이용하여 상기 영상의 강도 영상(intensity image) 및 각도 영상(angle image)을 생성하는 소벨 연산(Sobel operation) 과정; 상기 강도 영상의 픽셀이 가지는 강도(intensity) 값을, 대응하는 상기 각도 영상 상의 픽셀이 가지는 각도(angle)에 따라 선택되는 주변 픽셀의 강도 값과 비교하여, 상기 픽셀의 강도 값이 상기 주변 픽셀의 강도 값보다 작으면 상기 픽셀의 값을 0으로 설정하는 비 최대 억제(non-maximum suppression) 과정; 및 상기 비 최대 억제 과정에 의하여 얻어진 영상을 서로 다른 2개의 문턱치로 이진화하여 제1이진화 영상 및 제2이진화 영상을 생성하고, 상기 제1이진화 영상에서, 상기 제2이진화 영상의 블롭과 위치상 겹치는 상기 제1이진화 영상의 블롭은 유지하고, 나머지 블롭은 0으로 변환하는 이중 문턱치과정을 포함할 수 있다.
여기서, 상기 비 최대 억제 과정은 상기 선택되는 주변 픽셀은 상기 강도 값을 비교하려는 픽셀과 차인접한 픽셀일 수 있다.
여기서 상기 전처리 단계는 상기 원본영상 중에서 강판부분만을 추출하는 강판부분 추출과정; 상기 추출된 강판부분에 대하여, 상기 강판의 길이 방향보다 폭 방향으로 길이가 긴 필터를 이용하여 필터링하는 에버리징 필터과정; 및 상기 필터링된 영상에 대하여 상기 강판의 길이방향으로 미분을 수행하고 절대값을 취하는 미분과정을 포함할 수 있다.
본 발명의 일 실시예에 의한 판 파단 검출 장치는, 강판의 표면을 촬영하여 원본 영상을 생성하는 카메라; 상기 원본영상을 구성하는 픽셀 값에 대하여 필터링(filtering)을 수행하고, 상기 강판의 길이방향으로 미분을 수행하는 전처리부; 수정된 캐니 에지 검출 알고리즘(canny edge detection algorism)을 이용하여 상기 전처리된 영상에서 에지를 검출하는 에지 검출부; 및 상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거하는 사이즈 필터링부를 포함할 수 있다.
본 발명의 일 실시예에 의한 판 파단 검출 장치 및 방법에 의하면, 강판의 판 파단의 전조 현상을 광학적인 방법으로 실시간 검출할 수 있다.
또한, 상기 전조 현상을 강판 표면에 존재하는 오일 등의 다양한 이물질로부터 높은 신호대잡음비(SNR: Signal to Noise Ratio)로 검출할 수 있다.
도1은 본 발명의 일 실시예에 의한 판 파단 검출 방법을 나타내는 순서도이다.
도2는 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 에지 검출 단계를 설명하기 위한 순서도이다.
도3은 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 전처리 단계를 설명하기 위한 순서도이다.
도4는 본 발명의 일 실시예에 의한 판 파단 검출 장치를 나타내는 기능 블록도이다.
도5는 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 소벨 연산 과정 및 비 최대 억제 과정을 설명하기 위한 도면이다.
도6는 픽셀의 각도에 따라 구별되는 에지의 방향을 나타내는 다이어그램이다.
도7은 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 이중 문턱치 과정을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도1은 본 발명의 일 실시예에 의한 판 파단 검출 방법을 나타내는 순서도이다.
도1을 참조하면, 본 발명의 일 실시예에 의한 판 파단 검출 방법은, 원본촬영 단계(S10), 전처리 단계(S20), 에지 검출단계(S30) 및 사이즈 필터링 단계(S40)를 포함할 수 있다.
이하 도1을 참조하여, 본 발명의 일 실시예에 의한 판 파단 검출 방법을 설명한다.
원본촬영 단계(S10)는, 강판을 촬영하여 상기 강판의 표면에 대한 원본영상을 획득할 수 있다.
상기 원본촬영 단계(S10)에서는 조명장치를 이용하여 상기 강판에 빛을 조사할 수 있으며, 카메라를 이용하여 상기 강판의 표면을 촬영할 수 있다. 여기서 조명장치는 발광다이오드(LED: light emitting diode)일 수 있다.
상기 원본촬영 단계(S10)는 이송중인 강판을 촬영하여 상기 원본영상을 얻을 수 있다. 따라서, 상기 강판의 이송속도를 고려하여 선명한 화질의 영상을 얻을 수 있도록 상기 카메라의 촬영속도 등을 조절할 수 있다.
전처리 단계(S20)는, 상기 원본영상에 대하여 필터링을 수행하고, 상기 강판의 길이방향으로 미분을 수행할 수 있다.
상기 전처리 단계(S20)에서는, 상기 원본영상에서 판 파단의 전조현상을 검출하기 전에, 먼저 상기 원본영상에서 관심영역(ROI: Region Of Interest)를 설정하고, 상기 관심영역에 대하여 상기 강판의 표면에 존재하는 이물질 등에 의한 노이즈(noise) 영상을 제거하는 동작 등을 수행할 수 있다.
상기 전처리 단계(S20)는, 강판부분 추출 과정, 에버리지 필터 과정, 미분과정을 포함할 수 있으며, 상기 전처리 단계(S20)에 대하여는 이후 도3을 참조하여 자세히 설명한다.
에지(edge) 검출단계(S30)는, 상기 전처리된 영상에서 에지를 검출할 수 있다.
판 파단의 전조현상 중 하나인 판의 겹침형상(즉, 강판의 폭 방향으로 접힌듯한 형상)은 상기 원본영상에서 상기 강판의 폭 방향으로 길게 형성되는 가느다란 선의 형태로 나타날 수 있다.
상기 가느다란 선 형태는 결국 주변 픽셀과의 밝기 차이가 급격하게 변화하는 픽셀들에 의하여 형성되는 것이므로, 영상처리(image process)와 관련하여는 상기 가느다란 선 형태는 에지(edge)로 볼 수 있다.
따라서, 상기 에지 검출단계(S30)는, 상기 원본영상에서 에지를 검출함으로써 상기 겹침형상을 검출할 수 있다.
다만 상기 겹침형상은, 상기 강판의 폭 방향으로 길게 형성되는 특징을 가지고 있으므로, 상기 에지 검출단계(S30)에서는 상기 겹침형상을 잘 검출하기 위하여 적합하게 수정된 캐니 에지 검출 알고리즘(Canny edge detection algorism)을 이용할 수 있다.
구체적으로 상기 에지 검출단계(S30)는, 평활화(smoothing filtering) 과정, 소벨 연산(sobel operation) 과정, 비 최대 억제(non-maximum suppression) 과정 및 이중 문턱치(double threshould) 과정을 포함할 수 있다. 상기 에지 검출단계(S30)에 대한 구체적인 내용은 이후 도2를 참조하여 자세히 설명한다.
사이즈 필터링(size filtering) 단계(S40)는, 상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거할 수 있다.
상기 사이즈 필터링 단계(S40)에서는, 상기 에지 검출단계(S30)에서 검출된 에지 중에서 상기 겹침형상으로 볼 수 없는 에지를 제거할 수 있다. 즉, 상기 겹침형상에 해당하기 위해서는 상기 강판의 폭 방향으로 길이가 길게 에지가 형성되어야 하며, 상기 에지의 크기도 소정의 크기 이상이어야 한다.
따라서, 상기 사이즈 필터링 단계(S40)를 통하여 기 설정된 크기 이하인 에지를 제거함으로써 상기 겹침형상에 해당하지 않는 에지들은 제거할 수 있다.
구체적으로, 에지의 폭 방향 길이 및 에지의 면적에 대하여 기준값을 설정해두고, 상기 기준값 이하인 에지는 제거하는 방식으로 활용할 수 있다.
도시하지는 않았으나, 상기 사이즈 필터링 단계(S40) 이후에도 남아있는 에지가 있으면 이를 겹침형상으로 판정하고 알람을 발생시키는 단계를 더 포함할 수 있다.
또한, 상기 겹침형상의 폭 방향 길이 및 에지의 면적에 따라서 상기 겹침형상을 여러 등급으로 구별할 수 있으며, 상기 겹침형상이 기 설정된 등급에 해당되는 것으로 판정되면 알람과 함께 생산라인은 중단시키는 단계를 더 포함할 수 있다. 상기 등급은 상기 폭 방향 길이 및 에지의 면적이 클수록 더 높은 등급으로 설정될 수 있으며, 상기 기 설정된 등급은 상기 설정되는 등급 중에서 최고 등급일 수 있다.
도2는 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 에지 검출단계(S30)를 설명하기 위한 순서도이다.
도2를 참조하면, 상기 에지 검출단계(S30)는, 평활화 과정(smoothing filtering)(S31), 소벨 연산 과정(sobel operation)(S32), 비 최대 억제 과정(non-maximum suppression)(S33) 및 이중 문턱치(double threshold)(S34) 과정을 포함할 수 있다.
이하, 도2를 참조하여, 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 에지 검출단계(S3)를 설명한다.
평활화 과정(S31)는, 상기 전처리된 영상에 대해 스무딩 필터링(smoothing filtering)을 수행할 수 있다.
만약 노이즈가 많이 존재하는 영상에 대하여 에지 검출을 실시한다면, 상기 노이즈에 의하여 에지가 아닌 부분이 에지로 오검출되는 등의 문제가 발생할 수 있다.
따라서, 상기 전처리된 영상에 대하여 에지를 검출하기 전에, 상기 평활화 과정(S31)을 통하여 상기 전처리된 영상에 존재하는 노이즈를 무디게 할 수 있다. 구체적으로, 근접 픽셀들과 픽셀 값을 평균화하여 픽셀 값들의 변동이나 불연속성을 약하게 하는 방식으로 상기 노이즈를 무디게 할 수 있다.
상기 평활화 과정(S31)을 수행하고 나면, 실제 에지 부분은 여전히 픽셀 값의 뚜렷한 불연속성을 가지지만, 상기 강판 표면에 존재하는 이물질 등에 의한 노이즈들은 상기 불연속성이 약해지므로, 이후 에지 검출 시 더 이상 에지로 검출되지 않을 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 의한 스무딩 필터링은 [1 2 1; 2 4 2; 1 2 1]/16의 커널(kernel)을 이용하여 상기 평활화 과정(S31)을 수행할 수 있다. 여기서 상기 커널 이외에도 실제 에지의 불연속성을 유지하면서 노이즈를 무디게 할 수 있는 커널이면 어떠한 것도 활용할 수 있다.
소벨 연산 과정(S32)은, 상기 강판의 길이방향을 y축, 상기 강판의 폭 방향을 x축으로 설정하고, 소벨 연산자(sobel operator)를 이용하여 상기 영상의 강도 영상(intensity image) 및 각도 영상(angle image)을 생성할 수 있다.
상기 소벨 연산 과정(S32)을 구체적으로 살펴보면, 먼저 상기 x축에 대응하는 소벨 연산자([-1 0 1; -2 0 2; -1 0 1]) 및 y축에 대응하는 소벨 연산자([1 2 1; 0 0 0; -1 -2 -1])을 상기 평활화 과정(S31)에서 얻어진 영상에 대하여 적용하여 상기 x축 및 y축에 대응하는 각각의 픽셀값(Gx, Gy)을 얻을 수 있다.
상기 Gx 는 픽셀 값의 x축 방향으로의 변화량을 나타내는 값이고, 상기 Gy는 픽셀 값의 y축 방향으로의 변화량을 나타내는 값으로서, 각각 x축 및 y축으로의 방향성을 가지는 벡터(vector)이다.
상기 평활화 과정(S31)에서 얻어진 영상을 구성하는 각각의 픽셀들에 대응하여 각각의 x축 벡터 Gx와 y축 벡터 Gy가 존재한다. 따라서 상기 Gx 및 Gy를 이용하여 상기 각각의 픽셀의 픽셀값 변화량의 크기(즉, 강도 intensity) 및 상기 각각의 픽셀의 픽셀값 변화의 방향성(즉, 각도 angle)을 구할 수 있다. 구체적으로 상기 픽셀값 변화량의 크기는
Figure pat00001
에 의하여 계산되며, 상기 픽셀 값 변화의 방향성은
Figure pat00002
에 의하여 계산될 수 있다.
따라서, 각각의 픽셀들이 가지는 강도(intensity)를 픽셀 값으로 하여 상기 강도 영상을 얻을 수 있으며, 각각의 픽셀들이 가지는 각도(angle)을 픽셀 값으로 하여 상기 각도 영상을 얻을 수 있다.
도5(a)는 상기 평활화 과정에 의한 영상이고, 도5(b)는 상기 도5(a)에 대한 강도 영상이고, 도5(c)는 상기 도5(a)에 대한 각도 영상이다.
비 최대 억제(non-maximum suppression) 과정(S33)은, 상기 강도 영상의 픽셀이 가지는 강도 값을, 대응하는 상기 각도 영상 상의 픽셀이 가지는 각도에 따라 선택되는 주변 픽셀의 강도 값과 비교하여, 상기 픽셀의 강도 값이 상기 주변 픽셀의 강도 값보다 작으면 상기 픽셀의 값을 0으로 설정할 수 있다.
여기서 상기 선택되는 주변 픽셀은 상기 강도 값을 비교하려는 픽셀과 차인접한 픽셀일 수 있다.
상기 비 최대 억제 과정(S33)은, 픽셀이 가지는 각도에 따라서 에지의 방향을 특정의 개수로 나누고(예를 들어 4개), 상기 에지의 방향으로 큰 강도 값을 가지는 픽셀들만 강도 값을 유지하고, 낮은 강도 값을 가지는 픽셀들은 상기 강도 값을 0으로 변환시킬 수 있다. 이에 따라, 상기 영상에서 에지인 부분과 아닌 부분이 명확하게 구별되어 상기 에지 부분이 선명하게 나타날 수 있다.
도6은 픽셀의 각도에 따라 구별되는 에지의 방향을 나타내는 다이어그램이다.
상기 에지의 방향은 4개로 나눌 수 있으며, 이는 상기 도6에 도시된 바와 같이 4개의 영역으로 표시될 수 있다. 도6을 참조하면, 상기 4개 영역은 337.5도 ~ 22.5도 및 157.5도 ~ 202.5도를 포함하는 제1영역, 22.5도 ~ 67.5도 및 202.5도 ~ 247.5도를 포함하는 제2영역, 67.5도 ~ 112.5도 및 247.5도 ~ 292.5도를 포함하는 제3영역 및 112.5도 ~ 157.5도 및 292.5도 ~ 337.5도를 포함하는 제4영역으로 나뉠 수 있다.
상기 픽셀의 각도는 상기 4개 영역 중 어느 하나에 속하게 될 것이므로, 여기서 같은 영역에 포함되는 픽셀들은 모두 같은 에지 방향을 가지는 것으로 볼 수 있다.
상기 픽셀의 각도에 따라 상기 픽셀의 에지 방향이 정해지면, 상기 픽셀의 강도 값과 비교할, 상기 픽셀의 주변에 위치하는 주변 픽셀이 정해질 수 있다.
예를 들면, 임의의 픽셀이 상기 제1영역에 포함되면 상기 픽셀의 좌우에 위치하는 두 개의 픽셀이 상기 주변 픽셀로 정해질 수 있으며, 제2영역에 포함되면 상기 픽셀의 대각선 방향의 두 개의 픽셀, 제3영역의 경우 상기 픽셀의 상하에 위치하는 두 개의 픽셀, 제4영역의 경우에는 상기 픽셀의 역대각선 방향의 두 개의 픽셀이 상기 주변 픽셀로 정해질 수 있다.
즉, 상기 임의의 픽셀의 위치를 원점으로 보았을 때, 상기 제1영역은 (1,0), (-1,0)에 위치하는 두 개의 픽셀, 제2영역은 (-1, -1), (1, 1)에 위치하는 두 개의 픽셀, 제3영역은 (0, 1), (0, -1)에 위치하는 두 개의 픽셀, 그리고 제4영역은 (-1, 1), (1, -1)에 위치하는 두 개의 픽셀을 상기 주변 픽셀로 정할 수 있다.
다만, 여기서 상기 픽셀과 인접한 픽셀을 상기 주변 픽셀로 정하지 않고, 상기 픽셀과 위치상 떨어져 있는 픽셀들을 상기 주변 픽셀로 정할 수 있다. 즉, 상기 픽셀과 차인접하는 픽셀, 예를 들어 제1영역의 경우 (2, 0), (-2, 0), 제2영역의 경우 (-2, -2), (2, 2)에 위치하는 픽셀을 상기 주변픽셀로 정할 수 있다.
이는 상기 픽셀과 차인접한 픽셀들과 강도 값을 비교함으로써, 상기 에지의 연결성이 끊어지지 않도록 유지하기 위함이다. 앞서 살핀 바와 같이 상기 판 파단의 전조 현상인 겹침 형상은 상기 강판의 폭 방향으로 길게 형성되는 특징이 있기 때문에, 상기 에지의 연결성이 끊어지지 않도록 하는 것이 필요하다.
상기 주변 픽셀이 정해지면, 상기 픽셀과 상기 주변 픽셀의 강도 값을 비교하여, 상기 픽셀의 강도 값이 상기 주변 픽셀의 강도 값보다 크거나 같으면 상기 픽셀의 강도 값을 유지하지만, 상기 픽셀의 강도 값이 상기 주변 픽셀의 강도 값보다 작으면 상기 픽셀의 강도 값을 0으로 설정할 수 있다.
따라서, 상기 에지의 방향으로 높은 강도 값을 가지는 픽셀만이 상기 강도 값을 유지하고, 나머지 픽셀들은 강도 값이 0으로 설정될 것이므로, 에지 부분만이 선명하게 나타날 수 있다.
도5(d)는 상기 비 최대 억제 과정(S33)에 의해 얻은 영상으로서, 상기 도5(a)와 비교해 볼 때, 에지 부분만이 보다 선명하게 나타남을 확인할 수 있다.
이중 문턱치 과정(S34)은, 상기 비 최대 억제 과정(S33)에 의하여 얻어진 영상을 서로 다른 2개의 문턱치(threshold)로 이진화하여 제1이진화 영상 및 제2이진화 영상을 생성하고, 상기 제1이진화 영상에서, 상기 제2이진화 영상의 블롭(blob)과 위치상 겹치는 상기 제1이진화 영상의 블롭은 유지하고, 나머지 블롭은 0으로 변환할 수 있다.
상기 비 최대 억제 과정(S33)에 의하여도 여전히 노이즈가 존재할 수 있으므로, 이러한 노이즈들을 제거하기 위하여 상기 이중 문턱치 과정(S34)을 이용할 수 있다.
먼저 상기 노이즈들을 제거하기 위하여 상기 비 최대 억제 과정(S33)에 의하여 얻은 영상에 대하여, 이진화를 수행할 수 있다. 상기 이진화는 문턱치(threshold)를 기준으로, 상기 문턱치보다 낮은 픽셀은 모두 흑(black)으로 표현하고, 상기 문턱치보다 높은 픽셀은 모두 백(white)로 나타낼 수 있다.
다만, 상기 이진화에서 상기 문턱치가 중요한데, 상기 문턱치가 높으면 상기 이진화된 영상에서 상기 노이즈 뿐만 아니라 에지도 없어질 수 있으며, 상기 에지가 중간에 끊어질 수도 있다. 앞서 살핀 바와 같이 상기 겹침형상은 강판의 폭 방향으로 길게 나타나므로 상기 에지가 끊어지게 되면 실제 상기 겹침형상에 해당함에 불구하고 상기 폭 방향 길이가 짧아 상기 겹침형상이 아닌 것으로 판단할 위험이 있다.
반면에, 상기 문턱치가 낮으면 상기 이진화 이후에 상기 노이즈가 더 많이 형성되어 상기 겹침형상을 검출하기가 더 어려워 질 수도 있다.
따라서, 상기 이진화 과정에서 적절한 문턱치를 설정하여 상기 노이즈를 제거하는 것이 중요하지만, 모든 영상에 적합한 하나의 문턱치를 설정하는 것은 거의 불가능하고, 개별적인 영상마다 적절한 문턱치를 별도로 설정하는 것 또한 쉽지 않다.
상기와 같은 단점을 보완하기 위하여 상기 이중 문턱치 과정(S34)을 이용할 수 있다.
구체적으로, 상기 이중 문턱치 과정(S34)은, 상대적으로 낮은 값을 가지는 제1문턱치 및 상대적으로 높은 값을 가지는 제2문턱치를 설정하여, 상기 제1 문턱치 및 제2문턱치에 따라서 이진화를 수행하고 상기 제1문턱치에 의한 제1이진화 영상 및 상기 제2문턱치에 의한 제2이진화 영상을 생성할 수 있다.
상기 이진화 영상에는 백(white)로 표시되는 하나의 연결된 덩어리들이 존재하며, 상기 덩어리들은 블롭(blob)이라고 표현할 수 있다. 도7을 참조하면 상기 도7의 (a), (b), (c)에서 하얗게 표시되는 부분들이 모두 블롭이다.
상기 도7의 (a)가 제2문턱치에 의한 제2이진화 영상이고, 상기 도7의 (b)가 제1문턱치에 의한 제1이진화 영상이다.
상기 도7을 참조하여 설명하면, 상기 제1이진화 영상의 블롭 중에서 상기 제2이진화 영상의 블롭들과 겹치는 위치에 존재하는 상기 제1이진화 영상의 블롭들은 남겨두고 나머지 블롭들은 모두 흑(black)으로 나타내어 상기 도7의 (c)와 같은 영상을 얻을 수 있다.
즉, 상기 제1이진화 영상에 존재하는 블롭들 중에서 일부를 선택하여 남겨두고, 나머지 블롭들은 흑으로 변환하여 상기 도7(c)와 같은 영상을 얻는 것이다.
이는 상기 제1이진화 영상의 블롭이 상기 제2이진화 영상의 블롭보다 에지를 더 선명하고 명확하게 표시하기 때문에 상기 제1이진화 영상의 블롭을 선택하는 것이며, 또한, 상기 제1이진화 영상에만 나타나고 제2이진화 영상에는 나타나지 않은 블롭들은 에지가 아닌 단순한 노이즈로 볼 수 있으므로, 상기 블롭들을 제거함으로써 상기 노이즈를 제거할 수 있다.
따라서, 상기 이중 문턱치 과정(S34)을 통하여 노이즈를 제거하고 선명한 에지를 얻을 수 있다.
도3은 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 전처리 단계(S20)를 설명하기 위한 순서도이다.
도3을 참조하면, 상기 전처리 단계(S20)는, 강판부분 추출과정(S21), 에버리징 필터 과정(S21) 및 미분과정(S22)을 포함할 수 있다.
이하, 도3을 참조하여 본 발명의 일 실시예에 의한 판 파단 검출 방법에서의 전처리 단계(S20)를 설명한다.
강판부분 추출과정(S21)은, 상기 원본영상 중에서 강판부분만을 추출할 수 있다.
상기 원본영상 중에는 상기 강판 이외에 다른 것이 촬영된 부분이 포함될 수 있다. 상기 원본영상 전부에 대하여 영상처리를 수행하게 되면 연산량이 많이 지게 되므로, 상기 원본영상 중에서 상기 영상처리를 수행할 강판부분만을 따로 추출할 수 있다.
즉, 상기 원본영상 중에서 관심영역(ROI: Region of Interest)인 강판 부분만을 따로 추출하는 것이다.
에버리징 필터(averaging filter)과정(S22)은, 상기 추출된 강판부분에 대하여, 상기 강판의 길이 방향보다 폭 방향으로 길이가 긴 필터를 이용하여 필터링을 할 수 있다.
앞서 살핀 바와 같이, 상기 겹침형상은 상기 강판의 폭 방향으로 길게 형성되는 특징이 있으므로, 상기 폭 방향의 에지는 유지하면서 상기 강판의 표면에 존재하는 노이즈를 줄이기 위하여 필터링을 수행할 수 있다.
상기 폭 방향의 에지를 유지하기 위하여, 상기 강판의 길이 방향보다 폭 방향으로 길이가 긴 에버리징 필터를 활용할 수 있으며, 예를 들어 3 X 7 사이즈의 필터를 활용할 수 있다. 구체적으로 상기 필터의 커널은 [1 1 1 1 1 1 1; 1 1 1 1 1 1 1; 1 1 1 1 1 1 1]일 수 있다.
미분과정(S23)은, 상기 필터링된 영상에 대하여 상기 강판의 길이방향으로 미분을 수행하고 절대값을 취할 수 있다.
상기 미분을 이용하여 상기 픽셀의 밝기 값의 변화량을 계산할 수 있으며, 상기 밝기 값의 변화량은 특히 에지가 있는 부분에서 급격하게 변화할 수 있다. 따라서, 상기 미분을 통하여 상기 영상에 존재하는 에지를 보다 명확하게 할 수 있다.
여기서 상기 미분은 강판의 길이 방향으로 수행할 수 있는데, 이는 상기 강판의 폭 방향으로 길게 형성되는 상기 겹침형상을 보다 명확하게 검출하기 위함이다.
또한, 상기 에지는 픽셀의 밝기 값이 낮은 값에서 높은 값으로 변화하는 부분 및 높은 값에서 낮은 값으로 변화하는 부분을 모두 포함할 수 있으므로, 상기 미분값에 대하여 절대값을 취할 수 있다.
여기서 상기 미분을 위한 커널은 구체적으로, |[2 2 2; 0 0 0; -2 -2 -2]|일 수 있다.
도4는 본 발명의 일 실시예에 의한 판 파단 검출 장치를 나타내는 기능 블록도이다.
도4을 참조하면, 본 발명의 일 실시예에 의한 판 파단 검출 장치는 카메라(10), 영상처리장치(20)를 포함하여 구성될 수 있으며, 상기 영상처리장치는 전처리부(21), 에지검출부(22) 및 사이즈 필터링부(23)를 포함할 수 있다. 또한, 상기 판 파단 검출 장치는 조명장치(2)를 더 포함할 수 있다.
카메라(10)는, 강판(1)의 표면을 촬영하여 원본 영상을 생성할 수 있다. 상기 카메라(10)는, 상기 조명장치(2)가 조사한 빛을 이용하여 상기 강판(1)의 표면을 촬영할 수 있다. 여기서 상기 조명장치는 발광다이오드(LED: light emitting diode)일 수 있다.
여기서 상기 카메라(10)는 이송중인 강판(1)을 촬영하기 위하여, 상기 강판(1)의 이송속도에 맞게 상기 카메라의 촬영속도 등이 조절될 수 있다.
영상처리장치(20)는, 상기 카메라(10)를 통하여 생성된 원본영상에 대한 영상처리를 통하여, 상기 강판(1)의 표면에서 판 파단의 전조현상인 겹침형상을 검출할 수 있다.
전처리부(21)는, 상기 원본영상을 구성하는 픽셀 값에 대하여 필터링을 수행하고, 상기 강판의 길이방향으로 미분을 수행할 수 있다. 상기 전처리부(21)는 먼저 상기 카메라(10)에서 촬영된 원본영상에서 관심영역 즉, 강판 부분만을 추출할 수 있다. 이는 영상처리 과정에서 연산량을 줄이기 위함이다.
이후, 상기 강판 부분에 대하여 에버리징 필터링을 수행하여 노이즈를 줄인 이후에, 상기 강판의 길이 방향으로 미분을 수행하고 절대값을 취할 수 있다. 이 때, 상기 에버리징 필터링을 3 X 7 사이즈의 필터와 같이 강판의 길이 방향의 길이보다 폭 방향의 길이가 더 긴 필터를 활용하여 폭 방향의 에지는 유지하면서 노이즈를 줄일 수 있다. 또한, 상기 미분도 상기 강판의 길이 방향으로 수행하여 강판의 폭 방향으로 긴 에지를 보다 명확하게 검출할 수 있다.
상기 전처리부(21)는 상기 한 바와 같이 관심영역을 설정하고, 노이즈를 줄여주며 에지를 강조하여 이후 에지 검출부(22) 등에서 에지를 정확하게 검출할 수 있도록 영상처리를 할 수 있다.
에지 검출부(22)는, 수정된 캐니 에지 검출 알고리즘(canny edge detection algorism)을 이용하여 상기 전처리된 영상에서 에지를 검출할 수 있다.
상기 에지 검출부(22)는, 상기 전처리부에서 처리된 영상에 대하여, 상기 수정된 캐니 에지 검출 알고리즘, 즉, 평활화(smoothing filtering)과정, 소벨 연산(sobel operation)과정, 비 최대 억제(non-maximum suppression)과정 및 이중 문턱치(double threshold)과정을 적용하여 에지를 검출할 수 있다.
여기서 상기 비 최대 억제 과정은, 특히 주변 픽셀을 선택할 때, 인접한 픽셀을 선택하지 않고, 차인접한 픽셀을 선택함으로써, 상기 에지의 연결성이 끊어지지 않도록 유지할 수 있다.
사이즈 필터링부(23)는, 상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거할 수 있다. 상기 사이즈 필터링부(23)는 상기 에지 검출부(22)에서 검출된 에지에 대하여 상기 에지의 폭 방향의 길이 및 상기 에지의 면적을 측정할 수 있으며, 상기 측정된 길이 및 면적이 기 설정된 값 이하이면 상기 에지를 제거할 수 있다.
상기 겹침형상에 해당하기 위해서는 상기 강판의 폭 방향으로 길게 에지가 형성되어야 하며, 상기 에지의 면적도 일정 크기 이상일 필요가 있다. 따라서, 상기 사이즈 필터링부(23)에서는 상기 기 설정된 길이 및 면적 이하인 에지를 제거하여 상기 겹침형상에 해당할 수 있는 에지만을 남겨둘 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
1: 강판 2: 조명장치
10: 카메라 20: 영상처리장치
21: 전처리부 22: 에지 검출부
23: 사이즈 필터링부
S10: 원본 촬영 단계 S20: 전처리 단계
S21: 강판부분 추출 과정 S22: 에버리징 필터 과정
S23: 미분 과정 S30: 에지 검출 단계
S31: 평활화 과정 S32: 소벨 연산 과정
S33: 비 최대 억제 과정 S34: 이중 문턱치 과정
S40: 사이즈 필터링 단계

Claims (5)

  1. 강판을 촬영하여 상기 강판의 표면에 대한 원본영상을 획득하는 원본촬영 단계;
    상기 원본영상에 대하여 필터링(filtering)을 수행하고, 상기 강판의 길이방향으로 미분을 수행하는 전처리 단계;
    상기 전처리된 영상에서 에지를 검출하는 에지 검출단계; 및
    상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거하는 사이즈 필터링 단계를 포함하는 판 파단 검출 방법.
  2. 제1항에 있어서, 상기 에지 검출단계는
    상기 전처리된 영상에 대해 가우시안 스무딩 필터링(Gaussian smoothing filtering)을 수행하는 평활화 과정;
    상기 강판의 길이방향을 y축, 상기 강판의 폭 방향을 x축으로 설정하고, 소벨(Sobel) 연산자를 이용하여 상기 영상의 강도 영상(intensity image) 및 각도 영상(angle image)을 생성하는 소벨 연산(Sobel operation) 과정;
    상기 강도 영상의 픽셀이 가지는 강도(intensity) 값을, 대응하는 상기 각도 영상 상의 픽셀이 가지는 각도(angle)에 따라 선택되는 주변 픽셀의 강도 값과 비교하여, 상기 픽셀의 강도 값이 상기 주변 픽셀의 강도 값보다 작으면 상기 픽셀의 값을 0으로 설정하는 비 최대 억제(non-maximum suppression) 과정; 및
    상기 비 최대 억제 과정에 의하여 얻어진 영상을 서로 다른 2개의 문턱치로 이진화하여 제1이진화 영상 및 제2이진화 영상을 생성하고, 상기 제1이진화 영상에서, 상기 제2이진화 영상의 블롭과 위치상 겹치는 상기 제1이진화 영상의 블롭은 유지하고, 나머지 블롭은 0으로 변환하는 이중 문턱치(double threshold) 과정을 포함하는 판 파단 검출방법.
  3. 제2항에 있어서, 상기 비 최대 억제 과정은
    상기 선택되는 주변 픽셀은 상기 강도 값을 비교하려는 픽셀과 차인접한 픽셀인 판 파단 검출방법.
  4. 제1항에 있어서, 상기 전처리 단계는
    상기 원본영상 중에서 강판부분만을 추출하는 강판부분 추출과정;
    상기 추출된 강판부분에 대하여, 상기 강판의 길이 방향보다 폭 방향으로 길이가 긴 필터를 이용하여 필터링하는 에버리징 필터과정; 및
    상기 필터링된 영상에 대하여 상기 강판의 길이방향으로 미분을 수행하고 절대값을 취하는 미분과정을 포함하는 판 파단 검출 방법.
  5. 강판의 표면을 촬영하여 원본 영상을 생성하는 카메라;
    상기 원본영상을 구성하는 픽셀 값에 대하여 필터링(filtering)을 수행하고, 상기 강판의 길이방향으로 미분을 수행하는 전처리부;
    수정된 캐니 에지 검출 알고리즘(canny edge detection algorism)을 이용하여 상기 전처리된 영상에서 에지를 검출하는 에지 검출부; 및
    상기 검출된 에지 중에서 기 설정된 크기 이하인 에지를 제거하는 사이즈 필터링부를 포함하는 판 파단 검출장치.
KR1020110118617A 2011-11-15 2011-11-15 판 파단 검출 장치 및 방법 KR20130053091A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110118617A KR20130053091A (ko) 2011-11-15 2011-11-15 판 파단 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110118617A KR20130053091A (ko) 2011-11-15 2011-11-15 판 파단 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130053091A true KR20130053091A (ko) 2013-05-23

Family

ID=48662401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110118617A KR20130053091A (ko) 2011-11-15 2011-11-15 판 파단 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130053091A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028065A (ko) * 2014-09-02 2016-03-11 한국기술교육대학교 산학협력단 트랙 이미지 카운팅 방법
CN111452840A (zh) * 2020-04-17 2020-07-28 华北理工大学 一种基于单目视觉测量技术的铁路钢轨爬行位移检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028065A (ko) * 2014-09-02 2016-03-11 한국기술교육대학교 산학협력단 트랙 이미지 카운팅 방법
CN111452840A (zh) * 2020-04-17 2020-07-28 华北理工大学 一种基于单目视觉测量技术的铁路钢轨爬行位移检测方法
CN111452840B (zh) * 2020-04-17 2021-12-24 华北理工大学 一种基于单目视觉测量技术的铁路钢轨爬行位移检测方法

Similar Documents

Publication Publication Date Title
CN106780486B (zh) 一种钢板表面缺陷图像提取方法
WO2017168780A1 (ja) 鋼板の表面欠陥検査装置および表面欠陥検査方法
WO2014139273A1 (zh) 焊缝缺陷检测方法
JP6027295B1 (ja) 溶融めっき鋼板の表面欠陥検査装置および表面欠陥検査方法
JP6208426B2 (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN104135660A (zh) 一种摄像模组脏污检测方法及检测系统
CN107194921B (zh) 钢轨轨面光带的自动识别方法和装置
JP5169336B2 (ja) 帯状体の穴・割れ欠陥検出装置
CN110376211B (zh) 一种湿法涂胶的合成革卷边在线检测装置及方法
JP2008175588A (ja) 外観検査装置
CN104424645B (zh) 车辆的影像识别装置及其方法
JP5354187B2 (ja) 走行材の表面品質判定装置および表面品質判定方法
CN108171693B (zh) 一种自动检测劣质蘑菇的方法
KR20130053091A (ko) 판 파단 검출 장치 및 방법
CN115018869A (zh) 皮带偏移检测方法
JP2008122139A (ja) 用紙品質検査装置
JP5889778B2 (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
KR101328204B1 (ko) 열간 슬라브의 스크래치 검출 장치 및 방법
KR101543896B1 (ko) 스캡 결함 검출 장치 및 방법
JP6534278B2 (ja) 紙葉類判別装置及び紙葉類判別方法
JP6035124B2 (ja) 欠陥検査装置、及び欠陥検査方法
KR101417467B1 (ko) 교차 조명에 의한 후판의 표면 영상 처리 장치 및 방법
KR20160073557A (ko) 스카핑 불량 검출 장치 및 방법
JP2001028059A (ja) 色ムラ検査方法及び装置
KR101675532B1 (ko) 후판 표면 결함 탐상 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application