KR20130017402A - 열간소재의 표면결함검출장치 및 검출방법 - Google Patents
열간소재의 표면결함검출장치 및 검출방법 Download PDFInfo
- Publication number
- KR20130017402A KR20130017402A KR1020110079795A KR20110079795A KR20130017402A KR 20130017402 A KR20130017402 A KR 20130017402A KR 1020110079795 A KR1020110079795 A KR 1020110079795A KR 20110079795 A KR20110079795 A KR 20110079795A KR 20130017402 A KR20130017402 A KR 20130017402A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- binarization
- threshold value
- contour
- binarized
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims description 60
- 239000000463 material Substances 0.000 claims abstract description 90
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 47
- 201000011510 cancer Diseases 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims description 18
- 230000010339 dilation Effects 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 3
- 238000004020 luminiscence type Methods 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000009749 continuous casting Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005098 hot rolling Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
- G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 열간소재의 표면결함검출장치 및 검출방법에 관한 것으로서, 본 발명의 일 실시예에 의한 표면결함검출방법은, 열간소재을 촬영하여 상기 열간소재의 표면에 대한 원본영상을 획득하는 원본촬영 단계; 상기 원본 영상을 이진화하여 암(暗) 이진화 영상을 추출하는 암(暗) 이진화(binarization) 단계; 상기 원본영상을 이진화하여 명(明) 이진화 영상을 추출하는 명(明) 이진화 단계; 상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 추출하는 이미지 병합 단계; 및 상기 병합 이진화 영상으로부터 상기 열간소재의 표면에 존재하는 표면결함을 검출하는 결함검출단계를 포함할 수 있다.
Description
본 발명은 열간소재의 표면결함 검출 장치 및 검출 방법에 관한 것으로서, 보다 상세하게는 상기 열간소재의 표면을 촬영한 영상에 대하여 영상처리를 하여, 상기 열간소재의 표면결함을 자동으로 검출할 수 있는 열간소재의 표면결함 검출 장치 및 검출 방법에 관한 것이다.
열간압연공정은 연속주조공정에서 제조된 슬래브(slab)나 블룸(bloom) 또는 빌렛(billet) 등의 소재를 가열한 후 압연하여 스트립(strip)을 제조하는 공정이다.
상기 슬래브나 블룸 또는 빌렛 등의 열간소재는 여러가지 다양한 요인에 의하여 표면결함을 수반할 수 있다. 상기 열간소재의 표면결함은, 이후 압연 등의 후 공정에서 강판의 갈라짐 등의 결함으로 이어질 수 있다. 후 공정에 대하여 양호한 표면품질의 소재를 공급하기 위하여는 상기 열간소재에 대한 표면품질 검사 및 결함제거작업이 필요하다.
하지만, 상기 열간 상태의 열간소재의 표면에는 스케일(scale) 등의 찌꺼기가 많이 존재하므로, 상기 스케일과 실제 상기 열간소재의 표면에 발생한 표면결함과의 구별에 어려움이 있다. 또한, 상기 표면품질 검사는 육안에 의존하고 있으므로, 표면결함 검출 성능이 낮고 특히, 스케일에 의한 오검출율이 높아 결함탐지의 신뢰성이 좋지 못하였다.
본 발명은 열간소재의 표면결함을 검출할 수 있는 열간소재 표면결함 검출장치를 제공하고자 한다.
본 발명은 또한, 열간소재의 표면결함을 검출할 수 있는 열간소재 표면결함검출방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 방법은, 열간소재를 촬영하여 상기 열간소재의 표면에 대한 원본영상을 획득하는 원본촬영 단계; 상기 원본 영상을 이진화하여 암(暗) 이진화 영상을 추출하는 암(暗) 이진화(binarization) 단계; 상기 원본영상을 이진화하여 명(明) 이진화 영상을 추출하는 명(明) 이진화 단계; 상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 추출하는 이미지 병합 단계; 및 상기 병합 이진화 영상으로부터 상기 열간소재의 표면에 존재하는 표면결함을 검출하는 결함검출단계를 포함할 수 있다.
여기서 상기 암 이진화 단계는, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을0에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 1에 대응시켜 제1 암 이진화영상을 추출하는 제1 암 이진화 과정; 상기 원본 영상에 윤곽선 추출(edge detection)을 수행하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 0에 대응시켜윤곽선 이진화 영상을 추출하는 윤곽선 이진화 과정; 및 상기 윤곽선 이진화 영상을 이용하여, 상기 제1암이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성하는 암 이진화 영상 생성 과정을 포함할 수 있다.
여기서 상기 명 이진화 단계는, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 제1 명 이진화영상을 추출하는 제1 명 이진화 과정; 및 상기 윤곽선 이진화 영상을 이용하여, 상기 제1 명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성하는 명 이진화 영상 생성과정을 포함할 수 있다.
여기서 상기 임계값은, 상기 원본 영상 및 상기 윤곽선 영상의 이미지 프레임(image frame)에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼(column)에 따라 달리 설정될 수 있다.
여기서 상기 이미지 병합단계는, 상기 암 이진화 영상 및 상기 명 이진화 영상에 대해 논리합(OR) 연산을 수행하는 논리합 연산 과정; 및 상기 논리합 연산을 통하여 얻은 영상에 대하여 팽창(dilation)을 수행하여 상기 병합 이진화 영상을 추출하는 이미지 팽창 과정을 포함할 수 있다.
여기서 상기 결함검출단계는, 상기 병합 이진화 영상 및 상기 원본영상을 분류기를 이용하여 분석하고, 상기 열간소재의 표면에 존재하는 표면결함을 검출할 수 있다.
본 발명의 다른 실시예에 의한 표면결함 검출 장치는, 열간소재의 표면에 빛을 조사하는 조명장치; 상기 열간소재의 표면을 촬영하여 원본 영상을 생성하는 카메라; 상기 원본 영상을 이진화하여, 암 이진화 영상 및 명 이진화 영상을 생성한 후, 상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 생성하는 영상처리장치; 및 상기 병합 이진화 영상으로부터 상기 열간소재의 표면에 존재하는 결함을 검출하는 결함검출장치를 포함할 수 있다.
여기서, 상기 영상처리장치는, 상기 원본영상을 이진화하여 암(暗) 이진화 영상을 생성하는 암 이진화부; 상기 원본영상을 이진화하여 명(明) 이진화 영상을 생성하는 명 이진화부; 및 상기 암 이진화 영상 및 명 이진화 영상을 논리합(OR) 연산으로 결합하여 상기 병합 이진화 영상을 생성하는 이미지 결합부를 포함할 수 있다.
여기서 상기 암 이진화부는, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 0에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 1에 대응시켜 제1암 이진화영상을 추출하고, 상기 원본 영상에 윤곽선 추출(edge detection)을 수행하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 윤곽선 이진화 영상을 추출하고, 상기 윤곽선 이진화영상을 이용하여, 상기 제1 암 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성할 수 있다.
여기서 상기 명 이진화부는, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 제1명 이진화영상을 추출하고, 상기 윤곽선 이진화영상을 이용하여, 상기 제1 명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성할 수 있다.
여기서 상기 임계값은 상기 원본 영상 및 상기 윤곽선 영상의 이미지 프레임(image frame)에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼(column)에 따라 달리 설정될 수 있다.
여기서 상기 이미지 결합부는 상기 암 이진화 영상 및 명 이진화 영상에 대하여 논리합 연산을 수행하고, 상기 논리합 연산을 통하여 얻은 영상에 대하여 팽창(dilation)을 수행하여 상기 병합 이진화 영상을 추출할 수 있다.
여기서 상기 결함검출장치는, 상기 병합 이진화 영상 및 상기 원본영상을 분류기를 이용하여 분석하여, 상기 열간소재의 표면에 존재하는 표면결함을 검출할 수 있다.
본 발명의 열간소재의 표면결함 검출 장치 및 검출 방법에 의하면, 열간소재 표면결함검출의 성능을 현저히 향상시킬 수 있다. 특히, 열간소재의 표면에 존재하는 스케일에 의한 오검출을 크게 줄일 수 있으므로, 신뢰성을 향상시킬 수 있다.
본 발명의 열간소재의 표면결함 검출 장치 및 검출 방법에 의하면, 열간소재의 표면결함을 용이하게 검출할 수 있으므로, 열간소재의 품질 고급화 및 공정 개선에 효과가 있다.
도1은 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 장치를 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 방법을 나타내는 순서도이다.
도3은 본 발명의 일 실시예에 의한 암(暗) 이진화 단계를 나타내는 도면이다.
도4는 본 발명의 일 실시예에 의한 명(明) 이진화 단계를 나타내는 도면이다.
도5는 본 발명의 일 실시예에 의한 이미지 병합 단계를 나타내는 도면이다.
도6은 본 발명의 일 실시예에 의한 결함검출단계를 나타내는 도면이다.
도2는 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 방법을 나타내는 순서도이다.
도3은 본 발명의 일 실시예에 의한 암(暗) 이진화 단계를 나타내는 도면이다.
도4는 본 발명의 일 실시예에 의한 명(明) 이진화 단계를 나타내는 도면이다.
도5는 본 발명의 일 실시예에 의한 이미지 병합 단계를 나타내는 도면이다.
도6은 본 발명의 일 실시예에 의한 결함검출단계를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도1은 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 장치를 나타내는 개략도이다.
도1을 참조하면, 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 장치는, 조명장치(10), 카메라(20), 영상처리장치(30), 결함검출장치(40)를 포함할 수 있다.
이하, 도1을 참조하여, 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출장치를 설명한다.
조명장치(10)는, 열간소재(1)의 표면에 빛을 조사할 수 있다. 상기 조명장치(10)가 상기 열간소재(1)의 표면에 조사한 빛에 의하여, 상기 카메라(20)가 상기 열간소재(1)의 표면에 대한 영상 촬영을 할 수 있다.
상기 조명장치(10)는 발광다이오드(LED: light emitting diode)로 구성될 수 있으며, 특히 청색의 발광다이오드(blue LED)를 사용할 수 있다.
상기 열간소재(1)는 고온으로 가열되므로, 붉은 색 계통의 자발광을 할 수 있다. 상기 열간소재(1)에 대한 표면결함 검출시 상기 열간소재(1)의 자발광에 의하여 영향을 받을 수 있으므로 상기 열간소재(1)의 자발광에 의한 효과를 배제시킬 필요가 있다.
따라서, 상기 열간소재(1)에 대하여 상기 붉은 색과 파장의 차이가 있는 청색의 빛을 조사할 수 있다. 이후, 상기 카메라(20)는 상기 청색의 빛에 해당하는 파장만을 입력받아 상기 열간소재(1)에 존재하는 표면결함을 검출할 수 있다.
여기서 상기 열간소재(1)는, 빌릿(billet), 슬라브(slab), 블룸(bloom) 등 철강 반제품 중 어느 하나일 수 있다.
카메라(20)는, 상기 열간소재(1)의 표면을 촬영하여 원본 영상을 생성할 수 있다. 상기 카메라(20)는 상기 열간소재(1)를 실시간으로 촬영할 수 있으며, 상기 카메라(20)는 상기 카메라(20)의 촬상각을 고려하여 상기 열간소재(1)의 전체 폭을 촬영할 수 있도록 적절한 개수로 설치될 수 있다.
상기 카메라(20)가 촬영한 원본 영상은 상기 영상처리장치(30)로 전송될 수 있다.
앞서 살핀 바와 같이, 상기 카메라(20)는 청색계통의 파장만을 선택하여, 상기 열간소재(1)의 자발광에 의한 영향을 배제할 수 있다.
영상처리장치(30)는, 상기 원본 영상을 이진화하여, 암 이진화 영상 및 명 이진화 영상을 생성한 후, 상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 생성할 수 있다.
이진화(binarization), 특히 영상 이진화는 픽셀에 대하여 다양하게 분포되어 있는 색상값을 0과 1 의 두가지 값만으로 표현하는 것이다.
즉, 상기 영상처리장치(30)는 상기 열간소재(1)의 표면에 대한 원본 영상을 입력받아, 표면결함에 해당할 수 있는 후보군에 대하여만 1로 표현하고, 나머지 부분에 대하여는 0으로 표현할 수 있다. 상기 1로 표현된 부분은, 백(white)로 나타내고 상기 0으로 표현된 부분은 흑(black)으로 나타낼 수 있다. 따라서, 상기 영상처리장치(30)를 이용하면, 상기 원본 영상을 상기 표면결함에 대한 흑백영상으로 나타낼 수 있다.
여기서 상기 영상처리장치(30)는, 암 이진화부, 명 이진화부 및 이미지 결합부를 포함할 수 있다.
암 이진화부는, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 제1암 이진화영상을 추출할 수 있다. 또한, 상기 원본 영상에 윤곽선 추출(edge detection)을 수행하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 윤곽선 이진화 영상을 추출할 수 있다. 그리고, 상기 윤곽선 이진화영상을 이용하여, 상기 제1 암 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성할 수 있다.
먼저, 상기 입력된 원본 영상에서 어두운 영역을 검출하기 위하여, 상기 원본 영상을 구성하는 픽셀의 회색도(gray level)를 임계값과 비교할 수 있다.
상기 회색도는, 상기 픽셀의 명암의 정도를 나타내는 수치로서 일반적으로 8bit로 표현될 수 있다. 즉, 백과 흑의 명암 정도에 따라서 0~255로 표현될 수 있으며, 여기서 흑을 0, 백을 255로 두어, 상기 회색도의 값이 클수록 밝고 상기 회색도의 값이 작을수록 어두운 것으로 할 수 있다.
따라서, 상기 임계값을 기준으로 하여 상기 픽셀의 밝고 어두움을 결정할 수 있다. 즉, 상기 픽셀의 회색도가 상기 임계값보다 크면 밝은 것이고, 상기 픽셀의 회색도가 상기 임계값보다 작으면 어두운 것이다.
상기 암 이진화부는 상기 원본 영상에서 어두운 영역을 검출하는 것이므로, 상기 픽셀의 회색도와 임계값을 비교하여 상기 픽셀의 회색도 값이 상기 임계값보다 크면 0, 작으면 1로 설정할 수 있다. 여기서 상기 0으로 설정된 픽셀에 대하여는 회색도를 0으로 설정할 수 있으며, 상기 1로 설정된 픽셀에 대하여는 상기 회색도를 255로 설정할 수 있다. 따라서, 상기 임계값보다 회색도가 큰 픽셀은 흑으로 나타나고, 상기 임계값보다 회색도가 작은 픽셀은 백으로 나타나는 흑백의 제1 암 이진화 영상을 생성할 수 있다.
상기 열간소재(1)의 표면결함은 원본영상내에서 상기 표면결함이 아닌 부분보다 어둡게 나타날 수 있다. 따라서, 상기 암 이진화부는 상기 임계값보다 회색도가 낮은 픽셀에 대하여 1로 설정하여, 상기 표면결함이 상기 제1 암 이진화 영상에서 밝은 색 즉, 백으로 나타나도록 할 수 있다.
여기서 상기 임계값은, 상기 원본영상의 이미지 프레임(image frame)에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼(column)에 따라서 달리 설정될 수 있다.
일반적으로, 상기 원본 영상은 가운데는 밝은 반면에 좌우 모서리 부분은 어둡게 나타날 수 있다. 상기 원본 영상 전체에 대하여 하나의 임계값으로 이진화를 할 경우, 영상의 가운데 부분은 주로 0으로 이진화되거나 영상의 좌우 모서리 부분은 주로 1로 이진화되는 등 원하는 결과와 다른 결과가 나타날 수 있다. 따라서, 상기한 바와 같이, 상기 원본영상의 이미지 프레임의 각각의 컬럼 별로 상기 임계값을 달리 할 수 있다.
구체적으로, 상기 원본영상의 이미지 프레임이 1024(가로)*1600(세로)인 경우에 상기 임계값은 1024개를 가질 수 있다. 또한, 상기 임계값을 컬럼별로 달리 설정하는 예로서, "i번째 컬럼_임계값 = i번째 컬럼_픽셀평균값 - 2.0*i번째 컬럼_픽셀값표준편차"의 수식을 이용하여 상기 임계값을 설정할 수 있다.
다음으로, 상기 입력된 원본 영상에서 명암의 변화가 큰 영역을 검출하기 위하여, 상기 원본 영상에 대하여 윤곽선 추출을 수행하고 상기 윤곽선 영상에 대하여 이진화 할 수 있다.
상기 윤곽선 추출은 영상처리분야에서 윤곽선을 찾기 위하여 일반적으로 활용되는 기술이다. 상기 윤곽선 추출에는, 소벨 필터(Sobel filter), 라플라시안 필터(Laplacian filter), 로버츠 필터(Roberts filter), 프리위트 필터(Prewitte filter) 등이 사용될 수 있다.
일반적으로 상기 윤곽선은 주변의 픽셀에 비하여 명암의 변화량이 크기 때문에, 상기 윤곽선 추출을 통하여 주변에 비하여 명암의 변화량이 큰 부분을 찾을 수 있다. 상기 윤곽선 추출이후, 상기 윤곽선 영상에 대하여 이진화 하는 것은 앞서 설명한 바와 동일하다. 따라서, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 1, 작으면 0으로 설정할 수 있다. 상기 0으로 설정된 픽셀에 대하여는 회색도를 0으로 설정할 수 있으며, 상기 1로 설정된 픽셀에 대하여는 상기 회색도를 255로 설정할 수 있다. 따라서, 상기 임계값보다 회색도가 큰 픽셀은 백으로, 상기 임계값보다 작은 픽셀은 흑으로 나타나는 흑백의 윤곽선 이진화 영상을 생성할 수 있다.
일반적으로 상기 열간소재(1)의 표면결함은 원본영상내의 다른 부분과의 명암의 차이로 인하여 경계를 형성할 수 있다. 상기 경계는 상기 표면결함의 윤곽선을 이룰 수 있으며 상기 표면결함의 윤곽선은 다른 윤곽선보다 더 진하게 나타날 수 있다. 따라서, 상기 윤곽선 영상에 대한 이진화를 통하여 임계값 이상으로 진하게 윤곽선이 형성된 부분을 검출할 수 있다.
여기서 상기 임계값은, 앞서 설명한 바와 마찬가지로, 상기 이미지 프레임을 구성하는 각각의 컬럼에 따라서 달리 설정될 수 있다. 다만, 상기 윤곽선 이진화 영상을 추출하기 위하여 사용되는 임계값은 상기 제1 암 이진화 영상을 추출하기 위한 임계값과는 다를 수 있다.
상기 윤곽선 영상에 대한 상기 임계값을 컬럼별로 달리 설정하는 예로서,
"i번째컬럼_임계값=i번째컬럼_픽셀평균값+4.0*i번째컬럼_픽셀값표준편차"의 수식을 이용하여 상기 임계값을 설정할 수 있다.
상기 암 이진화부는, 상기 윤곽선 이진화 영상을 이용하여, 상기 제1암 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성할 수 있다.
구체적으로, 상기 제1암 이진화 영상 및 윤곽선 이진화 영상에는 상기 1에 대응하는 픽셀들이 뭉쳐있는 픽셀들의 집합이 존재할 수 있다. 상기 픽셀들의 집합에 대하여 레이블링(labeling)하여 상기 각각의 픽셀들의 집합을 서로 구별할 수 있다. 상기 레이블링된 픽셀들의 집합을 블롭(blob: binary lage object)이라고 할 수 있다.
여기서, 상기 제1 암 이진화 영상내에 존재하는 블롭들 중, 상기 윤곽선 이진화 영상내에 존재하는 블롭들과 좌표평면상에서 겹치는 위치에 존재하는 블롭들만을 선택할 수 있다. 즉, 상기 윤곽선 이진화 영상을 체로 이용하여 상기 제1암 이진화영상에서 필요한 블롭들만 남기고 나머지 블롭들은 제거하여 상기 암 이진화 영상을 생성하는 것으로 볼 수 있다.
명 이진화부는, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 제1명 이진화영상을 추출하고, 상기 윤곽선 이진화 영상을 이용하여, 상기 제1명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성할 수 있다.
먼저, 상기 입력된 원본 영상에서 밝은 영역을 검출하기 위하여, 상기 원본 영상을 구성하는 픽셀의 회색도와 임계값을 비교할 수 있다.
따라서, 상기 픽셀의 회색도가 상기 임계값보다 크면 1, 작으면 0으로 설정함으로써, 상기 입력된 원본 영상에서 밝은 영역을 검출할 수 있다. 상기 1로 설정된 픽셀에 대하여는 상기 회색도를 255로 설정할 수 있으며, 상기 0으로 설정된 픽셀에 대하여는 상기 회색도를 0으로 설정할 수 있다. 따라서, 상기 임계값보다 회색도가 큰 픽셀은 백으로, 상기 임계값보다 회색도가 작은 픽셀은 흑으로 나타나는 흑백의 제1 명 이진화 영상을 생성할 수 있다.
상기 열간소재(1)의 표면결함은 원본영상에서 상기 표면결함이 아닌 부분보다 밝게 나타날 수 있다. 따라서 상기 명 이진화부는 임계값보다 회색도가 높은 픽셀에 대하여 1로 설정하여, 상기 표면결함이 상기 제1 명 이진화 영상에서 밝은 색, 즉 백으로 나타나도록 할 수 있다.
여기서 상기 임계값은, 암 이진화부와 마찬가지로 상기 이미지 프레임을 구성하는 각각의 컬럼에 따라서 달리 설정될 수 있다. 여기서 상기 임계값은, 상기 제1 명 이진화 영상을 추출하기 위하여 설정되는 것이므로, 상기 제1 암 이진화 영상 및 윤곽선 이진화 영상을 추출하기 위한 임계값과는 다를 수 있다.
구체적으로, 상기 임계값을 설정하는 예로서, "i번째 컬럼_임계값 = i번째 컬럼_픽셀평균값 + 4.0*i번째컬럼_픽셀값표준편차"의 수식을 이용하여 상기 임계값을 설정할 수 있다.
다음으로 상기 명 이진화부는, 상기 윤곽선 이진화 영상을 이용하여, 상기 제1 명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성할 수 있다.
구체적으로, 상기 제1명 이진화 영상 및 윤곽선 이진화 영상에는 상기 1에 대응하는 픽셀들이 뭉쳐있는 픽셀들의 집합이 존재할 수 있다. 상기 픽셀들의 집합에 대하여 레이블링(labeling)하여 상기 각각의 픽셀들의 집합을 서로 구별할 수 있다. 상기 레이블링된 픽셀들의 집합을 블롭(blob: binary lage object)이라고 할 수 있다.
여기서, 상기 제1 명 이진화 영상내에 존재하는 블롭들 중, 상기 윤곽선 이진화 영상내에 존재하는 블롭들과 좌표평면상에서 겹치는 위치에 존재하는 블롭들만을 선택할 수 있다. 즉, 상기 윤곽선 이진화 영상을 체로 이용하여 상기 제1명 이진화영상에서 필요한 블롭들만 남기고 나머지 블롭들은 제거하여 상기 명 이진화 영상을 생성하는 것으로 볼 수 있다.
이미지 결합부는, 상기 암 이진화 영상 및 명 이진화 영상에 대하여 논리합(OR) 연산을 수행하고, 상기 논리합 연산을 통하여 얻은 영상에 대하여 팽창(dilation)을 수행하여 상기 병합 이진화 영상을 추출할 수 있다.
상기 이미지 결합부는 상기 암 이진화 영상 및 명 이진화 영상에 대하여 각각의 픽셀단위로 논리합 연산을 할 수 있다. 즉, 상기 암 이진화 영상 및 명 이진화 영상의 동일한 위치의 픽셀 값이 둘다 0인 경우에는 상기 픽셀의 값을 0으로 설정하고, 둘 중 하나라도 1이 있는 경우에는 1을 설정할 수 있다. 상기 논리합 연산을 통하여, 상기 암 이진화 영상 및 명 이진화 영상을 합하여 하나의 이미지 프레임에 나타낼 수 있다.
여기서 상기 이미지 결합부는, 상기 병합 이진화 영상에 대하여 팽창(dilation)과정을 추가적으로 수행할 수 있다.
상기 팽창(dilation)은, 영상처리분야에서 많이 사용되는 모폴로지 연산(morphological operation) 중 하나로서, 상기 병합 이진화 영상에 존재하는 흰색 영역들 즉, 블롭을 일정 정도 확대시킬 수 있다. 상기 팽창 과정을 통하여, 상기 병합 이진화 영상에 검출된 표면결함을 보다 명확하게 나타낼 수 있다.
결함검출장치(40)는, 상기 병합 이진화 영상으로부터 상기 열간소재(1)의 표면에 존재하는 결함을 검출할 수 있다.
일반적으로 상기 열간소재(1)의 표면에는 상기 결함 이외에 스케일(scale) 등의 찌꺼기가 존재할 수 있다. 상기 영상처리장치(30)의 영상처리에 의하여 실제 결함이 아닌 스케일 등의 찌꺼기는 상기 병합 이진화 영상에서 많이 제거될 수 있지만, 상기 결함검출장치에서 최종적으로 상기 결함과 스케일을 구별할 수 있다.
여기서 상기 결함검출장치(40)는, 상기 병합 이진화 영상 및 상기 원본영상을 분류기를 이용하여 분석하여, 상기 열간소재(1)의 표면에 존재하는 표면결함을 검출할 수 있다.
구체적으로 상기 분류기는, 인공지능, 데이터 마이닝 분야에서 많이 사용되는 SVM(support vector machine) 분류기, 인공신경회로망(ANN: artificial neural network), 자동구성네트워크(SOM: self-organizing map) 등을 사용할 수 있다.
상기 결함검출장치(40)는, 상기 병합 이진화 영상에 존재하는 흰색영역들의 크기, 장축 및 단축의 길이, 각도 등을 고려하여 상기 표면결함을 판별하도록 할 수 있다. 또한, 상기 이진 분류기는 상기 병합 이진화 영상에서 얻을 수 있는 상기 표면결함에 관한 정보뿐만아니라, 상기 원본 영상으로부터 얻을 수 있는 정보를 더 포함하여 판별할 수 있다.
상기 SVM 분류기, 인공신경회로망, 자동구성네트워크 등을 활용하여 상기 표면결함을 검출하는 것은 일반적인 방법에 의하므로 여기서는 자세한 설명을 생략한다.
도2는 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 방법을 나타내는 순서도이다.
도2를 참조하면, 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출 방법은, 원본촬영 단계(S10), 암 이진화 단계(S20), 명 이진화 단계(S30), 이미지 병합 단계(S40) 및 결함검출단계(S50)를 포함할 수 있다.
이하, 도2를 참조하여, 본 발명의 일 실시예에 의한 열간소재의 표면결함 검출방법을 설명한다.
원본촬영 단계(S10)는, 열간소재를 촬영하여 상기 열간소재의 표면에 대한 원본영상을 획득할 수 있다.
상기 원본촬영 단계(S10)는, 상기 열간소재에 대하여 빛을 조사한 후, 상기 열간소재에 의하여 반사된 빛을 카메라를 이용하여 촬영할 수 있다.
여기서 상기 열간소재에 조사하는 빛은, 청색의 빛일 수 있다. 상기 열간소재는 고온으로 가열된 상태에 있으므로, 붉은 색 계통의 자발광을 할 수 있다. 따라서, 상기 자발광시 발생하는 빛의 파장과 구별될 수 있는 청색의 빛을 이용하여 상기 열간소재를 촬영할 수 있다.
여기서 상기 열간소재는, 빌릿(billet), 슬라브(slab) 및 블룸(bloom) 등 철강 반제품 중 어느 하나 일 수 있다.
암 이진화 단계(S20)는, 상기 원본 영상을 이진화하여 암 이진화 영상을 추출할 수 있다.
이진화(binarization), 특히 영상 이진화는 픽셀에 대하여 다양하게 분포되어 있는 색상값을 0과 1의 두가지 값만으로 표현하는 것이다. 상기 픽셀의 값이 0이면 상기 픽셀은 흑(black)으로 표시되고, 상기 픽셀의 값이 1이면 상기 픽셀은 백(white)로 표시된다. 따라서, 상기 픽셀의 값에 따라 흑백의 영상을 출력할 수 있다.
여기서 상기 암 이진화 단계(S20)는, 제1암 이진화 과정(S21), 윤곽선 이진화 과정(S22) 및 암 이진화 영상 추출과정(S23)을 포함할 수 있다.
제1암 이진화 과정(S21)은, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 0에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 1에 대응시켜 제1 암 이진화영상을 추출할 수 있다.
여기서 픽셀의 회색도(gray level)는, 상기 픽셀의 명암의 정도를 나타내는 수치로서 일반적으로 8비트(bit)로 표현될 수 있다. 즉, 백과 흑의 명암 정도에 따라서 0~255로 표현될 수 있으며, 여기서 흑을 0, 백을 255로 두고, 상기 회색도의 값이 클수록 밝고 상기 회색도의 값이 작을수록 어두운 것으로 할 수 있다.
상기 제1암 이진화 과정(S21)은, 상기 임계값을 기준으로 하여 상기 임계값보다 상기 픽셀의 회색도가 작으면 1, 크면 0으로 설정하는 방식으로 이진화 할 수 있으며, 상기 0으로 설정된 픽셀에 대하여는 회색도를 0으로 설정할 수 있으며, 상기 1로 설정된 픽셀에 대하여는 상기 회색도를 255로 설정할 수 있다. 따라서 상기 제1 암 이진화 과정(S21)에 의하여 상기 임계값보다 어두운 영역은 백, 밝은 부분은 흑으로 표현된 제1암 이진화 영상을 추출할 수 있다.
앞서 살핀바와 같이, 열간소재의 표면결함은 주변보다 더 어둡게 나타날 수 있으므로, 상기 제1암 이진화 과정을 통하여 상기 표면결함을 검출할 수 있다.
앞서 살핀 바와 같이 상기 임계값은, 상기 원본영상의 이미지 프레임에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼(column)에 따라서 달리 설정될 수 있다. 상기 제1 암이진화 과정에서 사용되는 임계값을 설정하는 예로서, "i번째 컬럼_임계값 = i번째 컬럼_픽셀평균값 - 2.0*i번째 컬럼_픽셀값표준편차"의 수식에 의할 수 있다. 도3을 참조하면, 상기 원본 영상(P10)에 대하여 상기 제1암 이진화 과정(S21)을 수행하여 상기 제1암 이진화 영상(P21)을 추출할 수 있다.
윤곽선 이진화 과정(S22)은, 상기 원본 영상에 윤곽선 추출(edge detection)을 수행하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 윤곽선 이진화 영상을 추출할 수 있다.
상기 윤곽선 추출을 통하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상에 대하여 이진화를 수행하여 윤곽선 이진화 영상을 얻을 수 있음은 앞서 설명한 바와 같으므로, 여기서는 자세한 설명을 생략한다.
도3을 참조하면, 상기 원본영상(P10)에 대하여 상기 윤곽선 이진화 과정(S22)를 수행하여 상기 윤곽선 이진화 영상(P22)을 추출할 수 있다.
암 이진화 영상 추출과정(S23)은, 상기 윤곽선 이진화 영상을 이용하여, 상기 제1 암 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성하는 암 이진화 영상 생성 과정을 포함할 수 있다.
도3에 도시된 바와 같이, 상기 제1암 이진화 영상 및 윤곽선 이진화 영상에는 흰 색 영역이 여러 개의 덩어리를 이루어 나타날 수 있으며, 이러한 흰 색 영역의 덩어리들은 각각 상기 열간소재의 표면결함이 될 수 있는 후보군들이다. 상기 흰색 영역의 덩어리는 상기 1에 대응하는 픽셀들의 집합과 동일하다. 따라서, 상기 흰색 영역의 덩어리들에 대하여 레이블링(labeling)하여 상기 각각의 흰색 영역의 덩어리들을 서로 구별할 수 있으며, 상기 레이블링된 흰색 영역의 덩어리를 블롭이라고 할 수 있다.
앞서 살핀 바와 같이, 상기 제1 암 이진화 영상내에 존재하는 블롭들 중에서, 상기 윤곽선 이진화 영상내에 존재하는 블롭들과 좌표평면상에서 겹치는 위치에 존재하는 블롭들만을 선택하여 상기 암 이진화 영상을 생성할 수 있다.
도3을 참조하면, 제1암 이진화 영상(P21)의 흰색 영역 중, 윤곽선 이진화 영상(P22)내의 흰색 영역과 겹치는 위치에 존재하는 흰색 영역만이 암 이진화 영상(P23)에 나타나 있음을 확인할 수 있다.
명 이진화 단계(S30)는, 상기 원본 영상을 이진화하여 명 이진화영상을 추출할 수 있다.
여기서 상기 명 이진화 단계(S30)는, 제1명 이진화 과정(S31), 윤곽선 이진화 과정(S32) 및 명 이진화 영상 추출 과정(S33)을 포함할 수 있다.
제1 명 이진화 과정(S31)은, 상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 제1 명 이진화영상을 추출할 수 있다.
상기 제1 명 이진화 과정(S31)은, 상기 0으로 설정된 픽셀에 대하여는 회색도를 0으로 설정할 수 있으며, 상기 1로 설정된 픽셀에 대하여는 상기 회색도를 255로 설정할 수 있다. 따라서, 상기 제1 명 이진화 과정(S31)에 의하여 상기 임계값보다 어두운 영역은 흑, 밝은 부분은 백으로 표현된 제1 명 이진화 영상을 추출할 수 있다.
앞서 살핀바와 같이, 열간소재의 표면결함은 주변보다 더 밝게 나타날 수 있으므로, 상기 제1 명 이진화 과정을 통하여 상기 표면결함을 검출할 수 있다.
앞서 살핀 바와 같이, 상기 임계값은 상기 원본영상의 이미지 프레임에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼에 따라서 달리 설정될 수 있다. 상기 제1명 이진화 과정(S31)에서 사용되는 임계값은 예를 들어 "i번째 컬럼_임계값 = i번째 컬럼_픽셀평균값 + 4.0*i번째컬럼_픽셀값표준편차"의 수식을 이용할 수 있다.
도4를 참조하면, 상기 원본 영상(P10)에 대하여 상기 제1 명 이진화 과정(S31)을 수행하여 상기 제1 명 이진화 영상(P31)을 추출할 수 있다.
윤곽선 이진화 과정(S32)은 상기 암 이진화 단계(S20)에서의 윤곽선 이진화 과정(S22)과 동일하므로, 여기서는 자세한 설명을 생략한다.
도4을 참조하면, 상기 원본영상(P10)에 대하여 상기 윤곽선 이진화 과정(S32)를 수행하면 상기 제2 명 이진화 영상(P32)를 추출할 수 있다.
명 이진화 영상 추출 과정(S33)은, 상기 윤곽선 이진화 영상을 이용하여, 상기 제1 명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성할 수 있다.
도4에 도시된 바와 같이, 상기 제1 명 이진화 영상(P31) 및 제2 명 이진화 영상(P32)에는 흰 색 영역이 여러 개의 덩어리를 이루어 나타날 수 있으며, 이러한 흰 색 영역의 덩어리들은 각각 상기 열간소재의 표면결함이 될 수 있는 후보군들이다. 앞서 설명한 바와 같이, 상기 흰색 영역의 덩어리들에 대하여 레이블링(labeling)을 하여 상기 각각의 흰색 영역의 덩어리를 구별할 수 있으며, 상기 레이블링된 흰색 영역의 덩어리를 블롭이라고 할 수 있다.
앞서 살핀 바와 같이, 상기 제1명 이진화 영상내에 존재하는 블롭들 중에서, 상기 윤곽선 이진화 영상내에 존재하는 블롭들과 좌표평면상에서 겹치는 위치에 존재하는 블롭들만을 선택하여 상기 명 이진화 영상을 생성할 수 있다.
도4를 참조하면, 상기 제1 명 이진화 영상(P31)의 흰색 영역 중, 윤곽선 이진화 영상(P32)내의 흰색 영역과 겹치는 위치에 존재하는 흰색 영역만이 명 이진화 영상(P33)에 나타나 있음을 확인할 수 있다.
이미지 병합 단계(S40)는, 상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 추출할 수 있다.
여기서 상기 이미지 병합 단계(S40)는, 논리합 연산 과정(S41) 및 이미지 팽창 과정(S42)을 포함할 수 있다.
논리합 연산 과정(S41)은, 상기 암 이진화 영상 및 상기 명 이진화 영상에 대해 논리합(OR) 연산을 수행할 수 있다.
상기 암 이진화 영상 및 상기 명 이진화 영상의 픽셀은 1 또는 0의 두 가지 값만을 가질 수 있다. 따라서, 상기 암 이진화 영상 및 명 이진화 영상의 동일한 위치에 해당하는 픽셀 값에 대하여 논리합 연산을 수행할 수 있다. 즉, 상기 암 이진화 영상 및 명 이진화 영상의 픽셀 값 중 어느 하나라도 1이면 상기 픽셀 값을 1로 설정할 수 있다.
상기 논리합 연산 과정(S41)을 통하여 상기 암 이진화 영상 및 상기 명 이진화 영상을 합할 수 있다. 상기 암 이진화 영상에 나타난 표면결함 및 상기 명 이진화 영상에 나타난 표면결함을 동시에 하나의 이미지 프레임에 나타내기 위하여 상기 논리합 연산을 할 수 있다.
이미지 팽창 과정(S42)은, 상기 논리합 연산을 통하여 얻은 영상에 대하여 팽창(dilation)을 수행하여 상기 병합 이진화 영상을 추출할 수 있다.
상기 "팽창(dilation)"은 영상처리분야에서 많이 사용되는 모폴로지 연산(morphological operation) 중 하나이다. 상기 팽창에 의하면, 영상 내에 존재하는 흰색영역(즉, 블롭)을 일정한 양만큼 확장시킬 수 있다.
상기 팽창에 의하여, 상기 논리합 연산을 통하여 얻은 영상 중에 흰색영역의 크기를 확장시킬 수 있으므로, 상기 흰색영역을 보다 명확하게 구별할 수 있다. 이후, 상기 흰색영역에 대한 분석을 통하여 상기 열간소재의 표면결함여부를 판별할 수 있다.
도5를 참조하면, 암 이진화 영상(P23) 및 명 이진화 영상(P33)에 대하여 상기 논리합 연산 및 상기 팽창 과정을 거쳐 상기 병합 이진화 영상(P40)을 추출할 수 있다. 상기 병합 이진화 영상(P40)에 나타난 바와 같이, 상기 암 이진화 영상(P23) 및 명 이진화 영상(P33)의 흰색 영역이 상기 병합 이진화 영상(P40)에 모두 나타나 있으며, 상기 흰색 영역들은 상기 팽창에 의하여 그 크기가 확장되어 상기 흰색 영역이 보다 명확하게 나타나 있음을 확인할 수 있다. 상기 병합 이진화 영상(P40)을 분석하여 상기 열간소재의 표면결함여부를 판별할 수 있다.
결함검출단계(S50)는, 상기 병합 이진화 영상으로부터 상기 열간소재의 표면에 존재하는 표면결함을 검출할 수 있다.
상기 병합 이진화 영상에 나타나는 흰색 영역들(블롭)은 상기 열간소재의 표면에 존재하는 표면결함 또는 스케일 등의 찌꺼기 일 수 있다. 따라서, 상기 병합 이진화 영상에 존재하는 흰색 영역들 중 상기 표면결함을 판별할 필요가 있다.
여기서, 상기 흰색 영역의 면적을 고려하여, 상기 흰색 영역의 면적이 기 설정된 값 이상이면 상기 흰색 영역을 표면결함으로 결정할 수 있다. 여기서 추가적으로, 상기 흰색 영역의 장축 및 단축의 길이를 고려하여, 상기 장축 및 장축의 길이가 기 설정값 이상이면 상기 흰색 영역을 표면결함으로 결정할 수도 있다.
여기서 상기 결함검출단계(S50)는, 상기 병합 이진화 영상 및 상기 원본영상을 분류기를 이용하여 분석하고, 상기 열간소재의 표면에 존재하는 표면결함을 검출할 수 있다.
구체적으로 상기 분류기는, 인공지능, 데이터 마이닝 분야에 사용되는SVM(support vector machine) 분류기, 인공 신경 회로망(ANN: artificial neural network), 자동구성네트워크(SOM: self-organizing map) 등을 사용할 수 있다.
상기 병합 이진화 영상 중에서 상기 표면결함을 나타내는 흰색 영역의 특징, 예를 들어 상기 흰색 영역의 폭, 높이, 길이, 면적, 장축 및 단축의 길이, 각도 등을 고려하여, 상기 표면결함과 스케일을 구별하도록 할 수 있다.
여기서, 상기 이진 분류기는 상기 병합 이진화 영상에서 얻을 수 잇는 상기 표면결함에 관한 정보뿐만아니라, 상기 원본 영상으로부터 얻을 수 있는 정보를 더 포함하여 분석할 수 있다.
도6(a)와 같은 원본영상에 대하여, 본 발명의 일 실시예에 의한 표면결함검출방법을 적용하면, 도6(b)와 같이 표면결함과 스케일을 구별할 수 있다. 상기 도6(b)에서 붉은 색 사각형으로 표시된 부분이 표면결함을 표시한 것이다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
1: 열간소재 10: 조명장치
20: 카메라 30: 영상처리장치
40: 결함검출장치
S10: 원본촬영 단계
S20: 암 이진화 단계 S21: 제1암 이진화 과정
S22: 윤곽선 이진화 과정 S23: 암 이진화 영상 추출과정
S30: 명 이진화 단계 S31: 제1 명 이진화 과정
S32: 윤곽선 이진화 과정 S33: 명 이진화 영상 추출과정
S40: 이미지 병합 단계 S41: 논리합(OR) 연산 과정
S42: 이미지 팽창 과정
S50: 결함검출 단계
P10: 원본영상
P21: 제1 암 이진화 영상 P22: 윤곽선 이진화 영상
P23: 암 이진화 영상
P31: 제1 명 이진화 영상 P32: 윤곽선 이진화 영상
P33: 명 이진화 영상
P40: 병합 이진화 영상
20: 카메라 30: 영상처리장치
40: 결함검출장치
S10: 원본촬영 단계
S20: 암 이진화 단계 S21: 제1암 이진화 과정
S22: 윤곽선 이진화 과정 S23: 암 이진화 영상 추출과정
S30: 명 이진화 단계 S31: 제1 명 이진화 과정
S32: 윤곽선 이진화 과정 S33: 명 이진화 영상 추출과정
S40: 이미지 병합 단계 S41: 논리합(OR) 연산 과정
S42: 이미지 팽창 과정
S50: 결함검출 단계
P10: 원본영상
P21: 제1 암 이진화 영상 P22: 윤곽선 이진화 영상
P23: 암 이진화 영상
P31: 제1 명 이진화 영상 P32: 윤곽선 이진화 영상
P33: 명 이진화 영상
P40: 병합 이진화 영상
Claims (13)
- 열간소재을 촬영하여 상기 열간소재의 표면에 대한 원본영상을 획득하는 원본촬영 단계;
상기 원본 영상을 이진화하여 암(暗) 이진화 영상을 추출하는 암(暗) 이진화(binarization) 단계;
상기 원본영상을 이진화하여 명(明) 이진화 영상을 추출하는 명(明) 이진화 단계;
상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 추출하는 이미지 병합 단계; 및
상기 병합 이진화 영상으로부터 상기 열간소재의 표면에 존재하는 표면결함을 검출하는 결함검출단계를 포함하는 표면결함 검출 방법.
- 제1항에 있어서, 상기 암 이진화 단계는
상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을0에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 1에 대응시켜 제1 암 이진화영상을 추출하는 제1 암 이진화 과정;
상기 원본 영상에 윤곽선 추출(edge detection)을 수행하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 윤곽선 이진화 영상을 추출하는 윤곽선 이진화 과정; 및
상기 윤곽선 이진화 영상을 이용하여, 상기 제1암 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성하는 암 이진화 영상 생성 과정을 포함하는 표면결함 검출 방법.
- 제2항에 있어서, 상기 명 이진화 단계는
상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 제1 명 이진화영상을 추출하는 제1 명 이진화 과정; 및
상기 윤곽선 이진화 영상을 이용하여, 상기 제1 명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성하는 명 이진화 영상 생성과정을 포함하는 표면결함 검출 방법.
- 제2항 또는 제3항에 있어서, 상기 임계값은,
상기 원본 영상 및 상기 윤곽선 영상의 이미지 프레임(image frame)에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼(column)에 따라 달리 설정되는 표면결함 검출 방법.
- 제1항에 있어서, 상기 이미지 병합단계는
상기 암 이진화 영상 및 상기 명 이진화 영상에 대해 논리합(OR) 연산을 수행하는 논리합 연산 과정; 및
상기 논리합 연산을 통하여 얻은 영상에 대하여 팽창(dilation)을 수행하여 상기 병합 이진화 영상을 추출하는 이미지 팽창 과정을 포함하는 표면결함 검출 방법.
- 제1항에 있어서, 상기 결함검출단계는
상기 병합 이진화 영상 및 상기 원본영상을 분류기를 이용하여 분석하여, 상기 열간소재의 표면에 존재하는 표면결함을 검출하는 표면결함 검출 방법.
- 열간소재의 표면에 빛을 조사하는 조명장치;
상기 열간소재의 표면을 촬영하여 원본 영상을 생성하는 카메라;
상기 원본 영상을 이진화하여, 암 이진화 영상 및 명 이진화 영상을 생성한 후, 상기 암 이진화 영상 및 명 이진화 영상을 병합하여 병합 이진화 영상을 생성하는 영상처리장치; 및
상기 병합 이진화 영상으로부터 상기 열간소재의 표면에 존재하는 결함을 검출하는 결함검출장치를 포함하는 표면결함 검출 장치.
- 제7항에 있어서, 상기 영상처리장치는
상기 원본영상을 이진화하여 암(暗) 이진화 영상을 생성하는 암(暗) 이진화부;
상기 원본영상을 이진화하여 명(明) 이진화 영상을 생성하는 명(明) 이진화부; 및
상기 암 이진화 영상 및 명 이진화 영상을 논리합(OR) 연산으로 결합하여 상기 병합 이진화 영상을 생성하는 이미지 결합부를 포함하는 표면결함 검출 장치.
- 제8항에 있어서, 상기 암 이진화부는
상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 0에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 1에 대응시켜 제1암 이진화영상을 추출하고,
상기 원본 영상에 윤곽선 추출(edge detection)을 수행하여 윤곽선 영상을 생성하고, 상기 윤곽선 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 윤곽선 이진화 영상을 추출하고,
상기 윤곽선 이진화영상을 이용하여, 상기 제1 암 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 암 이진화 영상을 생성하는 표면결함 검출 장치.
- 제9항에 있어서, 상기 명 이진화부는
상기 원본 영상을 구성하는 픽셀의 회색도를 임계값과 비교하여, 상기 임계값보다 크면 상기 픽셀을 1에 대응시키고, 상기 임계값보다 작으면 상기 픽셀을 0에 대응시켜 제1명 이진화영상을 추출하고,
상기 윤곽선 이진화영상을 이용하여, 상기 제1 명 이진화 영상에 포함된 상기 1에 대응하는 픽셀들의 집합을 선택적으로 추출하여 상기 명 이진화 영상을 생성하는 표면결함 검출 장치.
- 제9항 또는 제10항에 있어서, 상기 임계값은
상기 원본 영상 및 상기 윤곽선 영상의 이미지 프레임(image frame)에 있어서, 상기 이미지 프레임을 구성하는 각각의 컬럼(column)에 따라 달리 설정되는 표면결함 검출 장치.
- 제8항에 있어서, 상기 이미지 결합부는
상기 암 이진화 영상 및 명 이진화 영상에 대하여 논리합 연산을 수행하고,
상기 논리합 연산을 통하여 얻은 영상에 대하여 팽창(dilation)을 수행하여 상기 병합 이진화 영상을 추출하는 표면결함 검출 장치.
- 제7항에 있어서, 상기 결함검출장치는
상기 병합 이진화 영상 및 상기 원본영상을 분류기를 이용하여 분석하여, 상기 열간소재의 표면에 존재하는 표면결함을 검출하는 표면결함 검출 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110079795A KR101272005B1 (ko) | 2011-08-10 | 2011-08-10 | 열간소재의 표면결함검출장치 및 검출방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110079795A KR101272005B1 (ko) | 2011-08-10 | 2011-08-10 | 열간소재의 표면결함검출장치 및 검출방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130017402A true KR20130017402A (ko) | 2013-02-20 |
| KR101272005B1 KR101272005B1 (ko) | 2013-06-05 |
Family
ID=47896560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110079795A KR101272005B1 (ko) | 2011-08-10 | 2011-08-10 | 열간소재의 표면결함검출장치 및 검출방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101272005B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160028065A (ko) * | 2014-09-02 | 2016-03-11 | 한국기술교육대학교 산학협력단 | 트랙 이미지 카운팅 방법 |
| KR101863196B1 (ko) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
| CN113785181A (zh) * | 2020-03-24 | 2021-12-10 | 京东方科技集团股份有限公司 | Oled屏幕点缺陷判定方法、装置、存储介质及电子设备 |
| KR20220170625A (ko) * | 2021-06-23 | 2022-12-30 | 주식회사 에프에스티 | 이물질 및 도금 불량 검사 방법 |
| CN117252876A (zh) * | 2023-11-17 | 2023-12-19 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101543896B1 (ko) | 2013-12-24 | 2015-08-11 | 주식회사 포스코 | 스캡 결함 검출 장치 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR940009662A (ko) * | 1992-10-29 | 1994-05-20 | 이헌조 | 물체의 윤곽선 추출방법 |
| JPH09329527A (ja) * | 1996-04-08 | 1997-12-22 | Advantest Corp | 画像処理方法および画像処理装置 |
| KR100713335B1 (ko) | 2005-08-11 | 2007-05-04 | 삼성전자주식회사 | 이미지 인식방법 |
| KR101031070B1 (ko) | 2008-07-23 | 2011-04-25 | 충북대학교 산학협력단 | 영상처리기법을 이용한 ｔｃｐ/ｃｏｆ의 불량 검출 방법 및그 시스템 |
-
2011
- 2011-08-10 KR KR1020110079795A patent/KR101272005B1/ko active IP Right Grant
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160028065A (ko) * | 2014-09-02 | 2016-03-11 | 한국기술교육대학교 산학협력단 | 트랙 이미지 카운팅 방법 |
| KR101863196B1 (ko) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
| CN113785181A (zh) * | 2020-03-24 | 2021-12-10 | 京东方科技集团股份有限公司 | Oled屏幕点缺陷判定方法、装置、存储介质及电子设备 |
| KR20220170625A (ko) * | 2021-06-23 | 2022-12-30 | 주식회사 에프에스티 | 이물질 및 도금 불량 검사 방법 |
| CN117252876A (zh) * | 2023-11-17 | 2023-12-19 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
| CN117252876B (zh) * | 2023-11-17 | 2024-02-09 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101272005B1 (ko) | 2013-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101272005B1 (ko) | 열간소재의 표면결함검출장치 및 검출방법 | |
| US11797886B2 (en) | Image processing device, image processing method, and image processing program | |
| CN106709436B (zh) | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 | |
| US10453195B2 (en) | Method of detecting tissue area of interest in digital pathology imaging by executing computer-executable instructions stored on a non-transitory computer-readable medium | |
| CN104504388A (zh) | 一种路面裂缝识别和特征提取算法及系统 | |
| CN113869300A (zh) | 基于多视觉融合的工件表面缺陷和字符识别的方法及系统 | |
| CN106097368A (zh) | 一种单板裂缝的识别方法 | |
| KR20150047100A (ko) | 투명체 검사 방법 및 투명체 검사 장치 | |
| JP2018096908A (ja) | 検査装置及び検査方法 | |
| CN118202383A (zh) | 缺陷检测方法、缺陷检测系统和缺陷检测程序 | |
| TWI512284B (zh) | 玻璃氣泡瑕疵檢測系統 | |
| KR101543896B1 (ko) | 스캡 결함 검출 장치 및 방법 | |
| KR101675532B1 (ko) | 후판 표면 결함 탐상 장치 및 방법 | |
| JP6623545B2 (ja) | 検査システム、検査方法、プログラムおよび記憶媒体 | |
| JP4743231B2 (ja) | 外観検査方法及び外観検査装置 | |
| KR101360653B1 (ko) | 압연재의 심 크랙 결함 검출 장치 | |
| JP4322230B2 (ja) | 表面欠陥検査装置及び表面欠陥検査方法 | |
| TWI510776B (zh) | 玻璃氣泡瑕疵檢測處理方法 | |
| JP4978215B2 (ja) | 加工面欠陥判定方法 | |
| Christie et al. | Fast inspection for size-based analysis in aggregate processing | |
| CN118506338A (zh) | 一种基于深度学习的电子器件印刷字符识别检测方法 | |
| JP4743230B2 (ja) | 外観検査方法及び外観検査装置 | |
| EP3869454A1 (en) | Method and system for change detection using ar overlays | |
| US12088776B2 (en) | Video generation apparatus, method and program | |
| Dias et al. | Identification of marks on tires using artificial vision for quality control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20110810 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20121203 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20130426 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20130530 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20130530 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20160530 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160530 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170529 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170529 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180530 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180530 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190529 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190529 Start annual number: 7 End annual number: 7 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20210310 |