KR101009575B1 - 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법 - Google Patents

영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법 Download PDF

Info

Publication number
KR101009575B1
KR101009575B1 KR1020080084625A KR20080084625A KR101009575B1 KR 101009575 B1 KR101009575 B1 KR 101009575B1 KR 1020080084625 A KR1020080084625 A KR 1020080084625A KR 20080084625 A KR20080084625 A KR 20080084625A KR 101009575 B1 KR101009575 B1 KR 101009575B1
Authority
KR
South Korea
Prior art keywords
image
feature vector
feature
defect
roll
Prior art date
Application number
KR1020080084625A
Other languages
English (en)
Other versions
KR20100025884A (ko
Inventor
최동혁
이명승
Original Assignee
건양대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건양대학교산학협력단 filed Critical 건양대학교산학협력단
Priority to KR1020080084625A priority Critical patent/KR101009575B1/ko
Publication of KR20100025884A publication Critical patent/KR20100025884A/ko
Application granted granted Critical
Publication of KR101009575B1 publication Critical patent/KR101009575B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8918—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법에 관한 것으로, 롤 또는 쉬트 단위 형태로 연속 생산된 물품의 표면을 촬영하고, 촬영된 영상 중에서 표면에 결함이 생긴 영상을 선별하고 결함의 형태에 따라 분류하며 분류된 영상별로 영상 처리하여 각 결함별 특징 벡터로 이루어진 특징 테이블을 구성하는 단계; 롤 또는 쉬트 단위 형태로 연속 생산된 대상 물품의 표면을 촬영하여 촬영된 영상 데이터를 입력하는 단계; 상기 영상 데이터를 영상 처리하여 특징 벡터를 추출하는 단계; 상기 특징 테이블의 각 결함별 특징 벡터와 대상 물품에 대한 특징 벡터를 대비하여 상기 특징 테이블에서 대상 물품에 대한 특징 벡터와 가장 근사한 각 결함별 특징 벡터를 검색하는 단계; 및 검색된 특징 벡터에 해당하는 결함이 발생한 것으로 상기 대상 물품을 분류하는 단계;를 포함한다. 본 발명에 따르면, 롤 또는 쉬트 단위 형태로 연속 생산되는 철, 비철, 플라스틱, 종이류와 같은 물품의 표면에서 검출된 결함들을 그 종류별로 정확히 분류함으로써, 생산되는 물품의 품질 및 생산성을 향상시킬 수 있는 효과가 있다.
롤, 쉬트, 결함, 영상, 가버필터, 특징점, 특징 벡터

Description

영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법{DETECT IMAGE CLASSIFICATION METHOD OF ARTICLES CONTINUOUSLY PRODUCED BY ROLL OR SHEET TYPE THROUGH IMAGE PROCESSING}
본 발명은 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법에 관한 것으로, 보다 상세하게는, 가버필터와 특징 벡터를 이용하여 공장의 자동화 시스템 중 롤 또는 쉬트 형태로 연속 생산되는 물품의 표면에 대한 영상을 처리함으로써 물품의 표면에서 검출된 결함들을 종류별로 분류할 수 있는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법에 관한 것이다.
롤 또는 쉬트 단위 형태로 연속 생산되는 철, 비철, 플라스틱, 종이류와 같은 물품의 표면에는 다양한 결함들이 발생된다. 이는 생산 환경이나 공정 자체의 문제, 제품의 관리 문제 등에서 발생될 수 있고 결함의 형태에 따라서 어떤 문제에 의해 해당 결함이 발생되었는지를 추정하여 결함 발생율을 저감하도록 하고 있다. 따라서 다양한 결함 중에서 결함의 형태에 따라 분류하는 것이 필요하다.
그런데 종래의 결함의 분류 방법은 사람이 일일이 물품의 표현을 눈으로 확 인하여 결함의 종류별로 분류하였다. 이를 위해서는 숙달된 작업자가 필요하고 작업자가 지속적으로 결함부위를 살펴 결함의 종류별로 분류하여야 한다. 따라서 종래의 방법에서는 숙달된 작업자를 육성하는데 소요되는 시간과 비용이 많이 들 뿐 아니라, 지속적인 작업으로 인하여 작업자의 피로가 증대되고, 이로 인해 결함 분류율이 저하되는 문제점이 있었다.
또한 결함의 분류는 대략 10가지 이상으로 많은데, 사람의 눈으로 결함을 정확한 분류별로 구분하는 것은 어려울 뿐만 아니라, 이것이 가능하다 하더라도, 지속적인 작업을 하다보면 작업자의 집중력 저하와 피로도 증대로 인해 결함 분류가 원활히 이루어지지 않는다는 문제점이 있었다.
따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 롤 또는 쉬트 단위 형태로 연속 생산되는 철, 비철, 플라스틱, 종이류와 같은 물품의 표면에서 검출된 결함들을 그 종류별로 정확히 분류하는 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법에 관한 것으로, 롤 또는 쉬트 형태로 연속 생산된 물품의 표면을 촬영하고, 촬영된 영상 중에서 표면에 결함이 생긴 영상을 선별하고 결함의 형태에 따라 분류하며 분류된 영상별로 영상 처리하여 각 결함별 특징 벡터로 이루어진 특징 테이블을 구성하는 단계; 롤 또는 쉬트 형태로 연속 생산된 대상 물품의 외면을 촬영하여 촬영된 영상 데이터를 입력하는 단계; 상기 영상 데이터를 영상 처리하여 특징 벡터를 추출하는 단계; 상기 특징 테이블의 각 결함별 특징 벡터와 대상 물품에 대한 특징 벡터를 대비하여 상기 특징 테이블에서 대상 물품에 대한 특징 벡터와 가장 근사한 각 결함별 특징 벡터를 검색하는 단계; 및 검색된 특징 벡터에 해당하는 결함이 발생한 것으로 상기 대상 물품을 분류하는 단계;를 포함한다.
그리고, 상기 특징 테이블 구성단계와 특징 벡터의 추출단계에서, 영상 처리는, 입력된 영상 데이터를 2차원 가버필터 함수를 통해 n개의 방향에 대한 결과 영상을 생성하는 단계; 생성된 결과 영상을 1/4 크기로 순차적으로 줄여나가면서 각 결과 영상별로 레벨 영상을 생성하는 단계; 각 방향별 결과 영상에서 복수개의 특징점을 선택하고 상기 특징점과 대응하는 각 레벨 영상에서의 특징점을 서로 연결하여 특징 벡터를 추출하는 단계;를 포함하고, 상기 2차원 가버필터 함수는,
Figure 112010053537200-pat00001
이고, 여기서, x'과 y'은, x'=(x-ξ)cosθ-(y-η)sinθ와 y'= (x-ξ)sinθ+(y-η)cosθ이며, θ는 상기 결과 영상의 방향에 대응하여 n개로 마련된다.
또한, 상기 2차원 가버필터는 영상 데이터를 8방향으로 처리하여 각각의 결과 영상을 생성하고, 상기 결과 영상으로부터, 상기 결과 영상을 1/4 크기로 줄인 제1레벨 영상과, 상기 제1레벨 영상을 1/4 크기로 줄인 제2레벨 영상과, 상기 제2레벨 영상을 1/4 크기로 줄인 제3레벨 영상을 생성할 수 있다.
상기 θ는 22.5°, 45°, 67.5°, 90°, 112.5°, 135°, 157.5°, 180°인 것을 특징으로 한다.
이때, 상기 각 영상에 대한 특징점은, 각 영상을 가로 4개와 세로 4개의 격자모양으로 분할하여 각 분할된 지점의 하나의 픽셀로 결정할 수 있다.
또한, 상기 특징 벡터의 검색 단계에서는, 상기 특징 테이블의 각 결함별 특징 벡터와 대상 물품에 대한 특징 벡터 간의 거리를 비교하여 대상 물품에 대한 특징 벡터와의 거리가 가장 가까운 결함별 특징 벡터를 검색한다.
이때, 상기 거리는 유클리드 거리이고, 상기 유클리드 거리 D는,
Figure 112008061510296-pat00002
이며, 여기서, 특징 테이블에 기재된 방향별 특징 벡터 V가 V=v1, v2, v3, …, v8이고, 대상 물품에 대한 어느 하나의 특징점의 방향별 특징 벡터가 V'=v'1, v'2, v'3, …, v'8인 것을 특징으로 한다.
한편, 상기 특징 테이블의 구성단계와 상기 영상 데이터의 입력단계에서는, CCD카메라를 이용하여 롤 또는 쉬트 형태로 연속 생산된 물품의 표면을 촬영하고, 촬영된 영상은 가로와 세로의 크기가 120×120으로 이루어질 수 있다.
본 발명에 따른 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법에 의하면, 롤 또는 쉬트 단위 형태로 연속 생산되는 철, 비철, 플라스틱, 종이류와 같은 물품의 표면에서 검출된 결함들을 그 종류별로 정확히 분류함으로써, 생 산되는 물품의 품질 및 생산성을 향상시킬 수 있는 효과가 있다.
이하에서는 본 발명에 따른 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법에 관하여 첨부되어진 도면과 더불어 설명하기로 한다. 특히 이하의 실시예에서는 주조한 후에 압연하여 제작되는 동판 또는 강판에 대해 주로 설명하지만, 이는 롤 또는 쉬트 형태로 연속 생산되는 물품의 예를 든 것일 뿐, 본 발명이 상기 물품에 대한 결함영상 분류에만 한정되는 것은 아니다.
본 발명은, 공장의 자동화 시스템 중 동판 혹은 강판과 같은 롤 또는 쉬트 형태로 제작되는 물품의 표면에서 검출된 결함들을 그 종류별로 분류하기 위한 것으로, 동판 혹은 강판 등 물품의 표면에서 나타나는 결함들은 생산 환경이나 공정 자체의 문제, 제품의 관리 문제 등에서 발생할 수 있는데, 이러한 결함들을 사람의 눈으로 직접 종류별로 분류하는 것보다 본 발명에서와 같은 방법을 이용하여 결함의 종류별로 분류함으로써 제품의 품질 향상 및 생산성을 향상시켜 더욱 큰 기대효과를 볼 수가 있다.
따라서 본 발명에서는, 입력된 여러 종류의 결함 영상들을 특징추출(feature extraction), 직물 분석(texture analysis) 등에 사용되는 가버필터와 특징 벡터를 이용하여 특징을 추출하고, 결함의 종류별로 분류하고자 한다.
이하에서는 본 발명에서 활용되는 가버필터와 특징 벡터에 대해 설명하고, 특징점을 비교하는 방법에 대해 설명한 후, 본 발명의 구체적인 실시예에 대해 설명하도록 하겠다.
<가버필터>
2차원 가버필터는 대상 신호에 대해 특정 위치, 특정 주파수 그리고 특정 방향의 성분만을 자유롭게 통과시킬 수 있는 필터이다. 이러한 2차원 가버필터 함수는 다음의 [수학식 1]과 같이 표현된다.
Figure 112008061510296-pat00003
여기서, x'과 y'은 다음의 [수학식 2]와 [수학식 3]과 같이 표현될 수 있다.
Figure 112008061510296-pat00004
Figure 112008061510296-pat00005
위 가버필터 함수에서는, [수학식 1]에 있는 파라메터 즉, λ(wavelength), θ(orientation), φ(phase offset), γ(aspect ratio) 그리고 σ(bandwidth)에 의 해서 출력되는 데이터가 결정된다.
보다 상세히 설명하면, 상기 가버필터 함수에서 λ는 가버필터에서 파장(Wavelength)을 의미하며, λ의 유효한 값은 2와 같거나 2보다 큰 값이다. 만약 가 2와 같다면 값이 φ값으로 90° 혹은 -90°과 같은 값은 사용할 수 없다.
θ는 가버필터 함수에서의 각도(degrees)를 의미하며, θ의 유효한 값은 0°에서부터 360° 사이의 값이다.
φ는 가버필터 함수에서 코사인 팩터(cosine factor)의 위상의 옵셋(offset)을 의미하고, φ의 유효한 값은 -180°에서 180°의 범위이다.
γ는 가우시안 팩터(Gaussian factor)의 타원율을 의미하고, γ의 값이 1이라면 원을 의미하게 된다.
한편, σ는 공간주파수의 대역폭을 의미한다.
이때 본 발명에서는 입력된 영상을 8방향으로 필터링하므로, 8개의 θ값이 사용된다. 즉, θ는 각각 22.5°, 45°, 67.5°, 90°, 112.5°, 135°, 157.5°, 180°로 사용된다.
그리고 본 발명에서는 λ(Wavelength)는 6으로, σ(공간주파수)는 3으로 주어 사용된다. 또한 가우시안 팩터의 타원율 γ의 값은 0.5를 고정으로 사용하였다.
이러한 λ와 σ 및 γ의 값은 상기 값들을 변화시켜 얻은 실험 결과로부터 최적화된 것이다.
도 2는 상기와 같이 방향의 수가 8이고, λ는 6으로, σ는 3으로 설정한 경우의 가버필터를 통한 기저영상(basic image)을 나타낸 것이다. 이때 도 2의 (a)에 서는 θ가 90°이고, 도 2의 (b)에서는 θ가 65.5°이며, 도 2의 (c)에서는 θ가 45°이고, 도 2의 (d)에서는 θ가 22.5°이다. 그리고 도 2의 (e)에서는 θ가 180°이고, 도 2의 (f)에서는 θ가 157.5°이며, 도 2의 (g)에서는 θ가 135°이고, 도 2의 (h)에서는 θ가 112.5°이다.
이와 같은 가버필터를 통하여 입력된 영상을 처리하면 도 3에 도시된 바와 같은 결과 영상을 얻을 수 있다. 즉, 도 3의 (a)와 같은, 주조한 후에 압연하여 제작된 물품 표면에 결함이 발생된 경우에, 그 물품의 표면을 촬영한 영상을 8방향으로 가버필터를 통과시키면 총 8개의 결과 영상을 얻을 수 있다. 그리고 이렇게 얻어진 8개의 결과 영상은 각각 1/4 크기로 순차적으로 줄여가면서 각 결과 영상별로 레벨 영상을 형성한다. 이때 본 실시예에서는 결과 영상으로부터, 결과 영상을 1/4 크기로 줄인 제1레벨 영상과, 상기 제1레벨 영상을 1/4 크기로 줄인 제2레벨 영상과, 상기 제2레벨 영상을 1/4 크기로 줄인 제3레벨 영상을 생성한다. 따라서 본 실시예에서는 8방향 4레벨의 영상을 토대로 결함을 분류하게 된다.
이러한 과정으로 생성된 각 방향별 결과 영상과 3개의 레벨 영상들이 한 세트로 하여 도 3의 (b) 내지 (i)와 같이 도시된다. 그리고 각 영상은 도 3의 (b) 내지 (i)에 도시한 바와 같이,
Figure 112008061510296-pat00006
,
Figure 112008061510296-pat00007
,
Figure 112008061510296-pat00008
,
Figure 112008061510296-pat00009
,
Figure 112008061510296-pat00010
, …과 같이 표시될 수 있다.
<특징 벡터>
상기와 같이 생성된 결과 영상과 각 레벨 영상에서 특징 벡터를 추출한다. 특징 벡터는 피라미드 구조에서 연관되는 같은 위치의 픽셀들을 체인으로 연결하여 서로 다른 특징을 가지는 다차원 벡터이다. 이러한 특징 벡터를 추출하기 위하여, 먼저 도 4에 도시된 바와 같이 영상에 일정한 간격의 격자점을 결정한다. 이러한 격자점이 특징점으로 된다.
상기 특징점은 기하학적 위치 정보와 국부적인 방향 정보를 갖는다. 그리고 특징점은 영상에서 하나의 픽셀에 대응하는 것으로, 결과 영상에 정해진 특징점은 각 레벨 영상에서 대응하는 픽셀로 연결된다. 예를 들면, 결과 영상에서 특징점의 x, y 좌표가 (30, 30)이라고 하면, 상기 결과 영상을 1/4 크기로 줄인 제1레벨 영상에서는 특징점의 x, y 좌표가 (15, 15)로 되는 것이다.
그리고 특징 벡터는 각 영상에서 서로 대응하는 특징점을 연결한 것으로 정의된다.
또한 상기 특징점의 개수는 특별히 한정된 것은 아니지만, 본 실시예에서는 각 영상을 가로 4개와 세로 4개의 격자 모양으로 분할하여 각 분할된 지점의 하나의 픽셀(격자점)로 결정하였다.
이와 같은 특징점을 토대로 특징 벡터를 결정하는 과정은 다음과 같이 이루어진다.
즉, x와 y 좌표에 대한 특징 벡터 (x, y)는, 가버필터에 위해 변환된 각각의 서브밴드(Subband)에서 각각의 레벨 N과 방향 K 별로,
Figure 112008061510296-pat00011
에 위치한 픽셀들 의 값을 연결하여 N × K차원의 방향성 특징을 가지게 된다.
가버필터에 의해 변환된 객체 영상에서 x와 y좌표에 대한 픽셀의 특징 벡터 (x, y)를 구성하는 식은 다음의 [수학식 4]와 같다.
Figure 112008061510296-pat00012
Figure 112008061510296-pat00013
……………………
Figure 112008061510296-pat00014
예를 들어, 만약 레벨 N이 2이고 방향 K가 4이고, 검출할 이미지에 위치한 특징점의 개수 P가 16이라면, 총 특징점의 총 개수는 N×K×P, 즉 128개의 특징점을 가지게 된다. 이 특징점들을 특징 벡터로 구성을 하면 위의 [수학식 4]와 같이 하나의 특징 벡터마다 8개의 특징점들이 연결되므로 총 16개의 특징 벡터가 구성된다.
좌표 (30, 30)에 대한 특징 벡터를 구성한다면 아래와 같다.
Figure 112008061510296-pat00015
Figure 112008061510296-pat00016
따라서 본 실시예에서는 방향 K가 8이고, 결과 영상으로부터 3개의 레벨 영상을 생성하였으므로, 레벨 N은 4이며, 각 영상에서의 특징점의 개수 P가 16개이므로, 총 특징점의 개수는 N×K×P, 즉 512개의 특징점을 가지게 된다. 그리고 상기 특징점들을 특징 벡터로 구성하면 위의 [수학식 4]와 같이 하나의 특징 벡터마다 32개의 특징점들이 연결되므로 총 16개의 특징 벡터가 구성된다.
이때 어느 하나의 특징점의 위치에서의 특징 벡터는, 간단히 V= v1, v2, …, v8으로 나타낼 수 있고(여기서는, 방향 K가 8인 경우이고, vn은 어느 하나의 특징점에서 n방향에서의 특징 벡터를 의미함), 이러한 특징 벡터는 총 16개가 생성되는 것이다.
<특징 벡터의 비교>
영상에 담겨진 객체들, 즉 결함 간에 유사성의 정도를 정량적으로 나타내기 위해서는 하나의 척도가 필요하다. 여러 가지 방법이 있지만, 가장 보편적으로 많이 사용되는 것이 거리(distance)이다.
본 실시예에서 특징 벡터의 거리 비교는 벡터들 간의 유클리드 거리(Euclidean distance)를 이용하였다. 유클리드 거리는 서로 다른 벡터 사이의 거 리를 비교하기 위한 방법이다. N차원을 가지는 두 특징 벡터 V = v1, v2, …, vn 과 V'= v'1, v'2, …, v'n사이의 유클리드 거리 D(V,V') 는 다음의 [수학식 5]와 같이 정의된다.
Figure 112008061510296-pat00017
이와 같은 유클리드 거리를 활용하여 대비하고자 하는 2개의 특징 벡터간의 유클리드 거리를 구하여 그 거리의 장단에 따라 유사도를 판단한다.
<구체적인 실시예>
다음으로, 도 1에 도시된 본 발명에 따른 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법의 순서도를 참고하여 본 발명의 구체적인 실시예에 대해 설명한다.
영상들의 결함 분류를 위해 사용된 실험 영상들은 실제 롤 또는 쉬트 형태로 제작되는 동판 혹은 철판과 같은 물품을 실시간으로 CCD카메라를 이용하여 촬영하고, 이렇게 촬영된 영상에서 결함이 발견된 부분만을 추출하여 사용한다.
촬영된 영상에서 추출한 결함 이미지들은 조명기구를 이용하여 일정한 밝기에서 촬영되었으며, 이미지들은 그레이 사진(gray image)으로 가로 120, 세로 120 의 크기를 가지며, 총 1000여개의 이미지들을 대상으로 사용하였다.
도 5에서 보여지는 바와 같이, 이미지에서 결함의 위치가 이미지의 중심의 바깥쪽보다는 중심부근에 대부분 위치하므로, 결함의 검출 범위는 가로 80, 세로 80 크기의 고정된 윈도우(도 5의 노란색 사각형 참조)를 사용했다.
그리고 결함이 형성된 영상을 선별하고 결함의 형태에 따라 분류하고, 분류된 영상별로 영상 처리하여 각 결함별 특징 벡터로 이루어진 특징 테이블을 구성한다.
보다 상세히 설명하면, 입력된 결함을 가지는 이미지들은 8방향과 4레벨의 가버필터를 이용하여 특징 벡터를 구성하였다. 상기 가버필터의 8개의 방향은 각각 22.5°, 45°, 67.5°, 90°, 112.5°, 135°, 157.5°, 180°이다. 그리고 레벨이 올라갈수록 가버필터를 통해 출력된 이미지는 입력된 이미지의 가로, 세로의 크기보다 가로와 세로의 길이가 1/2크기로 작아진다(즉, 입력된 영상을 1/4로 줄인다).
각 레벨의 영상을 맞게 격자모양으로 가로 4개 및 세로 4개로 분할하여 각 분할된 지점의 하나의 픽셀을 정하여 총 16개의 특징점을 만든다. 이때 각 레벨의 영상은 격자모양으로 가로 3개 및 세로 3개로, 또는 다른 개수로 분할할 수도 있음은 당연하다.
이와 같이 결정된 특징점들을 활용하여 특징 벡터를 추출하고, 추출된 특징 벡터는 결함별로 분류된 특징 테이블에 저장된다(단계 S10).
특징 테이블이 구성되면, 롤 또는 쉬트 형태의 대상 물품에 대한 결함분류 작업을 시작할 수 있다. 즉, 상기 대상 물품의 표면을 촬영하여 촬영된 영상 데이 터를 입력한다. 이때 촬영방법이나 촬영된 영상의 크기는, 상기 특징 테이블을 구성하는 단계와 동일하게 이루어진다(단계 S20).
결함의 종류 분류는 모델 영상과 가버필터를 통한 후보 영상의 특징점을 정합하고, 특징점의 특징 벡터에 대한 거리를 비교하여 결함을 분류한다. 이때 가버필터를 통한 후보 영상과 미리 저장된 모델 영상과의 특징점에 대한 방향별 특징 벡터의 유클리드 거리를 비교한다.
보다 상세히 설명하면, 가로 120, 세로 120 크기의 결함 이미지가 입력되면, 가버필터를 통해 결함이 있는 이미지들을 독립적인 방향과 레벨를 가지는 이미지로 변환한다(도 3 참조).
그리고 그 변환된 이미지를 가로 4개와 세로 4개의 격자모양으로 분할하여 각 분할된 지점의 하나의 픽셀을 각각 특징점으로 결정한다(도 4 참조). 이때 격자모양으로 분할하는 영상은, 최초 가로 120, 세로 120 크기의 영상이 아니라, 가로 80, 세로 80 크기의 영상을 사용한다(도 5 참조). 이는 영상에서 결함이 위치가 영상의 중심에 대부분 위치하기 때문에 이미지의 외곽으로부터 가로와 세로를 40씩 줄여 활용하는 것이다.
이렇게 결정된 특징점을 통해 상기에서 언급된 방법으로 특징 벡터를 추출한다(단계 S30). 이때 특징 벡터를 추출하는 방법은 상기에서 언급된 바와 같은 방식이 사용된다.
그리고 이렇게 추출된 특징 벡터를, 상기 특징 테이블의 각 결함별 특징 벡터와 대비하여 상기 특징 테이블에서 대상 물품에 대한 특징 벡터와 가장 근사한 각 결함별 특징 벡터를 검색한다. 이때 결함별 특징 벡터의 검색은, 대상 물품의 특징 벡터와 유클리드 거리가 짧은 특징 테이블의 특징 벡터를 찾아내는 과정으로 이루어진다(단계 S40).
그리고 이러한 과정으로 특징 테이블에서 가장 유클리드 거리가 가까운 특징 벡터를 찾아내면, 상기 특징 테이블에서 상기 특징 벡터가 속하는 결함분류로 상기 대상 물품의 결함이 결정되어 대상 물품의 결함이 분류된다(단계 S50).
이와 같은 방법으로 대상 물품의 결함을 분류하면, 대략 70.2%의 분류 성공률을 나타내는 것으로 실험결과 확인되었다. 이 정도의 분류 성공률이면 철, 비철, 플라스틱, 종이류와 같은 물품의 결함을 분류하여 이를 시정함으로써 롤 또는 쉬트 형태로 생산되는 물품의 품질 및 생산성 향상에 크게 기여할 수 있다.
또한 본 실시예에서는 대상 물품의 결함을 분류할 때, 각 영상별로 16개의 특징점을 결정하고, 4 레벨, 8방향으로 영상을 처리하였다. 따라서 만일 본 실시예에서보다 분류 성공률을 높이려면, 특징점의 개수를 늘리든지, 레벨 및 방향수를 늘리는 것으로 가능하다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
도 1에 도시된 본 발명에 따른 영상 처리를 통한 주조 물품의 결함영상 분류방법의 순서도,
도 2는 본 발명에 따른 분류방법에 사용되는 가버필터의 8방향에 대한 기저영상을 도시한 도면,
도 3은 입력영상과 결과영상을 도시한 도면,
도 4는 결과영상에 일정한 격자점을 형성한 상태를 설명하는 도면,
도 5는 촬영된 영상에서 영상의 크기에 대한 조정을 설명하는 도면이다.

Claims (8)

  1. 롤 또는 쉬트 형태로 연속 생산된 물품의 표면을 촬영하고, 촬영된 영상 중에서 표면에 결함이 생긴 영상을 선별하고 결함의 형태에 따라 분류하며 분류된 영상별로 영상 처리하여 각 결함별 특징 벡터로 이루어진 특징 테이블을 구성하는 단계;
    롤 또는 쉬트 형태로 연속 생산된 대상 물품의 표면을 촬영하여 촬영된 영상 데이터를 입력하는 단계;
    상기 영상 데이터를 영상 처리하여 특징 벡터를 추출하는 단계;
    상기 특징 테이블의 각 결함별 특징 벡터와 대상 물품에 대한 특징 벡터를 대비하여 상기 특징 테이블에서 대상 물품에 대한 특징 벡터와 가장 근사한 각 결함별 특징 벡터를 검색하는 단계; 및
    검색된 특징 벡터에 해당하는 결함이 발생한 것으로 상기 대상 물품을 분류하는 단계;를 포함하고,
    상기 특징 테이블 구성단계와 특징 벡터의 추출단계에서, 영상 처리는,
    입력된 영상 데이터를 2차원 가버필터 함수를 통해 n개의 방향에 대한 결과 영상을 생성하는 단계;
    생성된 결과 영상을 1/4 크기로 순차적으로 줄여나가면서 각 결과 영상별로 레벨 영상을 생성하는 단계;
    각 방향별 결과 영상에서 복수개의 특징점을 선택하고 상기 특징점과 대응하는 각 레벨 영상에서의 특징점을 서로 연결하여 특징 벡터를 추출하는 단계;를 포함하고,
    상기 2차원 가버필터 함수는,
    Figure 112010053537200-pat00025
    이고, 여기서, x'과 y'은,
    x'=(x-ξ)cosθ-(y-η)sinθ와 y'= (x-ξ)sinθ+(y-η)cosθ이며,
    θ는 상기 결과 영상의 방향에 대응하여 n개로 마련되는 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 2차원 가버필터는 영상 데이터를 8방향으로 처리하여 각각의 결과 영상을 생성하고,
    상기 결과 영상으로부터, 상기 결과 영상을 1/4 크기로 줄인 제1레벨 영상과, 상기 제1레벨 영상을 1/4 크기로 줄인 제2레벨 영상과, 상기 제2레벨 영상을 1/4 크기로 줄인 제3레벨 영상을 생성하는 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
  4. 제3항에 있어서,
    θ는 22.5°, 45°, 67.5°, 90°, 112.5°, 135°, 157.5°, 180°인 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
  5. 제4항에 있어서,
    상기 각 영상에 대한 특징점은, 각 영상을 가로 4개와 세로 4개의 격자모양으로 분할하여 각 분할된 지점의 하나의 픽셀로 결정하는 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
  6. 제5항에 있어서,
    상기 특징 벡터의 검색 단계에서는, 상기 특징 테이블의 각 결함별 특징 벡터와 대상 물품에 대한 특징 벡터 간의 거리를 비교하여 대상 물품에 대한 특징 벡터와의 거리가 가장 가까운 결함별 특징 벡터를 검색하는 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
  7. 제6항에 있어서,
    상기 거리는 유클리드 거리이고,
    상기 유클리드 거리 D는,
    Figure 112008061510296-pat00019
    이며,
    여기서, 특징 테이블에 기재된 방향별 특징 벡터 V가 V=v1, v2, v3, …, v8이고, 대상 물품에 대한 어느 하나의 특징점의 방향별 특징 벡터가 V'=v'1, v'2, v'3, …, v'8인 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
  8. 제1항에 있어서,
    상기 특징 테이블의 구성단계와 상기 영상 데이터의 입력단계에서는, CCD카메라를 이용하여 롤 또는 쉬트 형태로 연속 생산된 물품의 표면을 촬영하고, 촬영된 영상은 가로와 세로의 크기가 120×120으로 이루어지는 것을 특징으로 하는 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법.
KR1020080084625A 2008-08-28 2008-08-28 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법 KR101009575B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080084625A KR101009575B1 (ko) 2008-08-28 2008-08-28 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080084625A KR101009575B1 (ko) 2008-08-28 2008-08-28 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법

Publications (2)

Publication Number Publication Date
KR20100025884A KR20100025884A (ko) 2010-03-10
KR101009575B1 true KR101009575B1 (ko) 2011-01-20

Family

ID=42177292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080084625A KR101009575B1 (ko) 2008-08-28 2008-08-28 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법

Country Status (1)

Country Link
KR (1) KR101009575B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328266B1 (ko) 2011-12-26 2013-11-14 주식회사 포스코 열간 슬라브의 표면 크랙 검출 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402738B1 (ko) * 2012-12-24 2014-06-03 한국과학기술연구원 영상 기반의 선로 이상 검출 방법, 장치 및 이를 이용한 시스템
CN116630332B (zh) * 2023-07-26 2023-09-26 山东华航高分子材料有限公司 一种基于图像处理的pvc塑料管口缺陷检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
KR20020011529A (ko) * 2000-08-02 2002-02-09 송문섭 주파수 평면 분할 특징값과 저니크 변환을 이용한 영상의특징추출 방법/장치 및 그를 이용한 영상 검색 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
KR20020011529A (ko) * 2000-08-02 2002-02-09 송문섭 주파수 평면 분할 특징값과 저니크 변환을 이용한 영상의특징추출 방법/장치 및 그를 이용한 영상 검색 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
특징벡터의 차원축약 기법을 이용한 2단계 내용기반 이미지검색 시스템(한국통신학회논문지 ‘03-7 Vol.28 No.7C, 2003.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328266B1 (ko) 2011-12-26 2013-11-14 주식회사 포스코 열간 슬라브의 표면 크랙 검출 장치

Also Published As

Publication number Publication date
KR20100025884A (ko) 2010-03-10

Similar Documents

Publication Publication Date Title
JP4603512B2 (ja) 異常領域検出装置および異常領域検出方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
JP6884517B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108022233A (zh) 一种基于改进型Canny算子的工件边缘提取方法
CN108629775A (zh) 一种热态高速线材表面图像处理方法
CN105608441B (zh) 一种车型识别方法及系统
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
DE102015103022A1 (de) Verfahren und Vorrichtung zum Erkennen eines bekannten Objekts in einem Sehfeld eines dreidimensionalen Maschinensichtsystems
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN113793337B (zh) 基于人工智能的机车配件表面异常程度评估方法
CN107256547A (zh) 一种基于显著性检测的表面裂纹识别方法
JP4728444B2 (ja) 異常領域検出装置および異常領域検出方法
CN107463895B (zh) 基于邻域向量pca的弱小损伤目标检测方法
CN109816051B (zh) 一种危化品货物特征点匹配方法及系统
CN113012098B (zh) 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法
CN113252103A (zh) 一种基于matlab图像识别技术计算物料堆体积及质量的方法
CN114863464B (zh) 一种pid图纸图件信息的二阶识别方法
KR101009575B1 (ko) 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법
CN105359165B (zh) 确定文档中的条形码位置
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
JP2015184944A (ja) 人物検出装置
JP6350018B2 (ja) 対象物検出装置及び要素選択装置
KR20230036675A (ko) Cnn 영상처리기법을 이용한 의류 원단의 불량검출 방법
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
Tao et al. Measurement algorithm of notch length of plastic parts based on video

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140108

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee