KR102372027B1 - 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법 - Google Patents
컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR102372027B1 KR102372027B1 KR1020200033672A KR20200033672A KR102372027B1 KR 102372027 B1 KR102372027 B1 KR 102372027B1 KR 1020200033672 A KR1020200033672 A KR 1020200033672A KR 20200033672 A KR20200033672 A KR 20200033672A KR 102372027 B1 KR102372027 B1 KR 102372027B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- contrast
- foreign material
- value
- contrast image
- Prior art date
Links
- 239000000463 material Substances 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000012935 Averaging Methods 0.000 claims abstract description 8
- 239000012634 fragment Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 230000003628 erosive effect Effects 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
컨트라스트를 활용한 이물 검출 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 이물 검출 장치는 카메라 모듈의 이물을 검출하는 이물 검출 장치로서, 상기 카메라 모듈을 이용하여 촬영한 입력 이미지를 획득하고 평균화하는 이미지 획득부; 평균 이미지에 대해 컨트라스트 스트레칭 연산을 수행하여 컨트라스트 이미지를 생성하는 컨트라스트 이미지 생성부; 상기 컨트라스트 이미지에 대해 소정의 이미지 프로세싱 알고리즘을 적용하여 이물을 부각시키는 이미지 처리부; 및 상기 이미지 처리부를 거친 이미지를 디스플레이를 통해 출력하는 출력부를 포함할 수 있다.
Description
본 발명은 카메라 모듈의 이물 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 컨트라스트(contrast)를 활용하여 카메라 모듈의 이물을 검출하는 장치 및 방법에 관한 것이다.
카메라 모듈에 대한 이물 검사 시 종래에는 눈으로 확인하는 방법을 사용하였다. 하지만, 이 경우 불량의 원인에 대하여 파악하지 못하여 생산성 효율을 저하시키고, 이로 인한 제품의 파기에 관한 문제점을 안고 있었다.
시스템화가 진행되면서 이물을 검출하는 다양한 방법에 대하여 소개되어 이물에 대한 검출이 진행되고, 문제점을 파악한 후 클리닝하고 카메라 모듈을 재조립할 수 있는 공정을 적용함으로써 생산성을 높일 수 있게 되었다.
하지만, 투영성 및 약성의 이물기준에 대한 검출력 문제는 지속적으로 야기되고 있다. 투영성은 이물이 있음에도 빛이 투과하여 정상 결과처럼 보이는 문제이다. 투과되는 이물이 부착된 경우 또는 해상도의 크기가 늘어남에 따라 이물이 분산되어 보이지 않게 되는 현상을 말한다. 약성은 콘트라스트를 진행하였을 경우 농도에 대한 기준 중 하나(강성/약성 중 하나)로, 농도의 차이가 작은 경우를 나타낸다.
카메라 모듈에서 해상도의 증가, 렌즈의 화각에 대한 크기가 증가함에 따라 이물의 확장에 대한 검출 기준이 변경되어야 함에도 그대로 유지되어 전술한 것과 같은 문제성이 있음에도 이물이 검출되지 못하여 신뢰성 있는 결과를 제공하지 못하는 문제점이 있다.
기존 방법의 경우, 백색광 데이터를 이용하여 화면의 픽셀값에 대하여 휘도/색채 데이터를 검사하여 이물부착 여부를 판단하여 특성에 따라 불량제품의 원인을 규명하지만, 센싱부에 이물이 붙었을 경우 회색에 가까운 조도 값을 가지게 된다는 특성에 대해서는 이물의 농도 진하기에 따라 구분하는 특성을 판단하기 어렵다. 또한 이물 불량의 경우 불량 근거의 데이터 축적 및 환산범위의 오차에 따라서 이물 검사에 대한 실패에 따른 양산 과정의 유출 가능성을 배제할 수 없으므로 정확한 양/불에 대한 결과의 경우 특성에 따른 불량 유형 분석 결과가 주어져야 하지만 양산 공정에 적용하기는 쉽지 않다. 또한, 고휘도, 저휘도의 강조 알고리즘과 관련해서 카메라 모듈의 경우 렌즈의 곡면에 따라 많은 데이터가 밀집 되면서 어두워지는 현상과 같은 위치의 데이터에 대한 기준으로 고휘도, 저휘도의 편차가 심하여 운용이 어려운 점이 있다.
본 발명은 컨트라스트를 활용하여 이물 불량에 대한 기준을 명시하고, 출력결과에 대한 영상 판단의 기준과 평가된 기준의 육안 판정 비교 분석에 대해 신뢰성 있는 결과를 도출해 낼 수 있는 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법을 제공하기 위한 것이다.
본 발명은 이물에 의한 수율 저하의 원인에 대해 확정적인 결과 데이터를 출력해 줌으로써 관리자의 문제 파악이 빨라져 개선 효과가 상승하는 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 카메라 모듈의 이물을 검출하는 이물 검출 장치로서, 상기 카메라 모듈을 이용하여 촬영한 입력 이미지를 획득하고 평균화하는 이미지 획득부; 평균 이미지에 대해 컨트라스트 스트레칭 연산을 수행하여 컨트라스트 이미지를 생성하는 컨트라스트 이미지 생성부; 상기 컨트라스트 이미지에 대해 소정의 이미지 프로세싱 알고리즘을 적용하여 이물을 부각시키는 이미지 처리부; 및 상기 이미지 처리부를 거친 이미지를 디스플레이를 통해 출력하는 출력부를 포함하는 이물 검출 장치가 제공된다.
상기 컨트라스트 이미지 생성부는 상기 평균 이미지의 밝기값 중 최소값과 최대값 사이의 유효 범위를 절대 최소값과 절대 최대값 사이의 최대 범위로 밝기값 변경하여 컨트라스트를 확장시켜 상기 컨트라스트 이미지를 생성할 수 있다.
상기 컨트라스트 이미지 생성부는 상기 최소값과 상기 최대값의 편차량에 대한 기울기를 이용하여 컨트라스트 스트레칭 연산을 수행할 수 있다.
상기 컨트라스트 이미지의 각 픽셀의 변경된 밝기값 P는 하기 수학식과 같이 계산될 수 있다.
여기서, Y는 상기 평균 이미지의 해당 픽셀의 RGB 채널의 픽셀값으로 
이고, 가중치 
이며, 기울기 
이다.
상기 이미지 처리부는 상기 컨트라스트 이미지를 미리 설정된 수량의 조각 이미지로 분할하고, 상기 조각 이미지별로 픽셀들의 밝기값의 범위 형태를 분석하여 상기 조각 이미지마다 개별화된 이진화 처리를 수행하는 이진화 처리 모듈을 포함할 수 있다.
상기 이진화 처리 모듈은 상기 조각 이미지마다 밝기값에 대한 히스토그램을 구하고, 상기 히스토그램에서 빈도의 상승과 하락이 변화되는 지점 중에서 최소값을 기준으로 해당 조각 이미지에 대한 임계값을 설정하며, 상기 임계값보다 낮은 빈도량에 대해서는 배제 처리할 수 있다.
상기 이미지 처리부는 모폴로지 침식 연산을 통해 이진화 처리된 상기 컨트라스트 이미지에서 노이즈를 제거하는 노이즈 제거 모듈을 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이물 검출 장치에서 수행되는 카메라 모듈의 이물을 검출하는 방법으로서, 상기 카메라 모듈을 이용하여 촬영한 입력 이미지를 획득하고 평균화하는 단계; 평균 이미지에 대해 컨트라스트 스트레칭 연산을 수행하여 컨트라스트 이미지를 생성하는 단계; 상기 컨트라스트 이미지에 대해 소정의 이미지 프로세싱 알고리즘을 적용하여 이물을 부각시키는 단계; 및 상기 이미지 처리부를 거친 이미지를 디스플레이를 통해 출력하는 단계를 포함하는 이물 검출 방법이 제공된다.
상기 컨트라스트 이미지를 생성하는 단계는 상기 평균 이미지의 밝기값 중 최소값과 최대값 사이의 유효 범위를 절대 최소값과 절대 최대값 사이의 최대 범위로 밝기값 변경하여 컨트라스트를 확장시켜 상기 컨트라스트 이미지를 생성할 수 있다.
상기 컨트라스트 이미지를 생성하는 단계는 상기 최소값과 상기 최대값의 편차량에 대한 기울기를 이용하여 컨트라스트 스트레칭 연산을 수행할 수 있다.
상기 이물 부각 단계는, 상기 컨트라스트 이미지를 미리 설정된 수량의 조각 이미지로 분할하는 단계와; 상기 조각 이미지별로 픽셀들의 밝기값의 범위 형태를 분석하여 상기 조각 이미지마다 개별화된 이진화 처리를 수행하는 단계를 포함할 수 있다.
상기 이물 부각 단계는, 모폴로지 침식 연산을 통해 이진화 처리된 상기 컨트라스트 이미지에서 노이즈를 제거하는 단계를 더 포함할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 컨트라스트를 활용하여 이물 불량에 대한 기준을 명시하고, 출력결과에 대한 영상 판단의 기준과 평가된 기준의 육안 판정 비교 분석에 대해 신뢰성 있는 결과를 도출해 낼 수 있는 효과가 있다.
또한, 이물에 의한 수율 저하의 원인에 대해 확정적인 결과 데이터를 출력해 줌으로써 관리자의 문제 파악이 빨라져 개선 효과가 상승하는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 컨트라스트를 활용한 이물 검출 장치의 구성도,
도 2는 본 발명의 일 실시예에 따른 컨트라스트를 활용한 이물 검출 방법의 순서도,
도 3은 이물 검출 과정에 따른 이미지들(입력 이미지, 평균 이미지, 컨트라스트 이미지, 출력 이미지)을 나타낸 도면,
도 4는 이진화 처리 과정을 위한 이미지 분할 및 히스토그램을 나타낸 도면,
도 5는 제1 히스토그램에서의 이진화 처리 과정을 설명하기 위한 도면,
도 6은 모폴로지 연산 과정을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 컨트라스트를 활용한 이물 검출 방법의 순서도,
도 3은 이물 검출 과정에 따른 이미지들(입력 이미지, 평균 이미지, 컨트라스트 이미지, 출력 이미지)을 나타낸 도면,
도 4는 이진화 처리 과정을 위한 이미지 분할 및 히스토그램을 나타낸 도면,
도 5는 제1 히스토그램에서의 이진화 처리 과정을 설명하기 위한 도면,
도 6은 모폴로지 연산 과정을 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서에 첨부된 도면에서는 구성요소의 구분을 돕고자 색상이 부여되어 있다. 하지만, 동일 구성요소라 할지라도 사시도와 단면도에서는 그 색상이 달라질 수 있다. 그리고 다른 구성요소라 할지라도 동일 혹은 유사한 색상이 부여될 수도 있다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨트라스트를 활용한 이물 검출 장치의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 컨트라스트를 활용한 이물 검출 방법의 순서도이며, 도 3은 이물 검출 과정에 따른 이미지들(입력 이미지, 평균 이미지, 컨트라스트 이미지, 출력 이미지)을 나타낸 도면이고, 도 4는 이진화 처리 과정을 위한 이미지 분할 및 히스토그램을 나타낸 도면이며, 도 5는 제1 히스토그램에서의 이진화 처리 과정을 설명하기 위한 도면이고, 도 6은 모폴로지 연산 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따른 컨트라스트를 활용한 이물 검출 장치 및 방법은 검사 대상이 되는 카메라 모듈에서 획득한 이미지에 대해 소정의 이미지 프로세싱을 통해 이물이 상대적으로 부각되도록 하여 시각적으로 출력함으로써 카메라 모듈에 대한 이물이 누락되지 않고, 관리자 입장에서는 판단이 모호한 이물 불량에 대한 보다 명시적이고 신뢰성 있는 평가 기준을 제공할 수 있는 것을 특징으로 한다.
도 1을 참조하면, 본 실시예에 따른 컨트라스트를 활용한 이물 검출 장치(100)는 이미지 획득부(110), 컨트라스트 이미지 생성부(120), 이미지 처리부(130), 출력부(140)를 포함할 수 있다.
이미지 획득부(110)는 검사 대상이 되는 카메라 모듈을 이용하여 촬영한 입력 이미지를 획득한다(단계 S200). 이를 위해 카메라 모듈을 이용하여 백색간지(혹은 광원) 및/또는 흑색간지를 촬영한 이미지를 입력 이미지로 획득할 수 있다. 백색간지를 촬영한 입력 이미지의 경우 흑색이물이 용이하게 검출될 수 있고, 흑색간지를 촬영한 입력 이미지의 경우 백색이물이 용이하게 검출될 수 있다.
본 실시예에서는 이물 확인을 위해 카메라 모듈에 대한 신뢰성 있는 평가 기준을 제공하고자 한다. 신뢰성 있는 평가 기준을 제공하기 위해서는 동일한 환경일 것이 조건으로 요구되는 바, 이미지 획득부(110)에서 획득하는 입력 이미지에 포함된 미리 설정된 수량의 이미지 프레임을 평균화한 평균 이미지를 생성할 수 있다(단계 S210).
카메라 모듈로 특정 시점을 촬영할 경우 그 전후로 다수의 이미지 프레임이 동시에 획득될 수 있는 바, 입력 이미지는 연속된 혹은 일정 간격을 가지는 소정 수량의 이미지 프레임으로 구성될 수 있다. 평균 이미지를 생성하기 위한 이미지 프레임의 수량은 필요에 따라 가변 설정될 수 있다.
평균 이미지는 복수의 이미지 프레임에 대하여 각 좌표에서의 픽셀값(예를 들어, RGB 값)을 평균화함으로써 생성될 수 있다. 즉, 제1 이미지 프레임의 (x1, y1) 좌표의 픽셀값 p_1(x1,y1)에서부터 제n 이미지 프레임의 (x1, y1) 좌표의 픽셀값 p_n(x1,y1)을 평균한 평균 픽셀값을 평균 이미지의 (x1, y1) 좌표의 픽셀값(p_avg(x1,y1))으로 설정할 수 있다.
컨트라스트 이미지 생성부(120)는 평균 이미지에 대해 컨트라스트 스트레칭(contrast stretching) 연산을 수행하여 컨트라스트 이미지를 생성한다(단계 S220).
컨트라스트 스트레칭은 평균 이미지의 밝기값 중에서 최소값과 최대값 사이의 유효 범위를 이미지가 표현할 수 있는 절대 최소값(예컨대, 0)과 절대 최대값(예컨대, 255) 사이의 최대 범위로 밝기값을 변경하여 컨트라스트를 확장하는 1차 튜닝 과정이다. 이를 위해 최대값과 최소값의 편차량에 대한 기울기를 이용할 수 있다.
평균 이미지에 속하는 모든 픽셀의 밝기값 중 최소값을 Min, 최대값을 Max로 가정하고, 최대값과 최소값의 편차량에 대한 기울기 a와 가중치 W를 하기 수학식 1 및 수학식 2와 같이 구한다.
컨트라스트 이미지의 각 픽셀의 변경된 밝기값 P는 하기 수학식 3 및 4와 같이 계산될 수 있다.
Y는 평균 이미지의 해당 픽셀의 RGB 채널의 픽셀값(픽셀데이터)을 의미한다.
P는 튜닝된 픽셀 밝기값이며, 계산된 P가 255보다 큰 경우에는 255로, 0보다 작은 경우에는 0으로 변경할 수 있다.
컨트라스트 이미지 생성부(120)에 의해 각 픽셀의 밝기값이 튜닝됨으로써 평균 이미지보다 큰 컨트라스트를 갖는 컨트라스트 이미지가 생성될 수 있다.
이미지 처리부(130)는 컨트라스트 이미지에 대해 소정의 이미지 프로세싱 알고리즘을 적용하여 이물이 보다 명시적으로 부각되도록 할 수 있다.
이미지 처리부(130)는 이진화 처리 모듈(131)을 포함할 수 있다.
이진화 처리 모듈(131)은 컨트라스트 이미지를 미리 설정된 수량의 조각 이미지로 분할할 수 있다(단계 S230). 도 3을 참조하면, 컨트라스트 이미지(300)가 6개의 조각 이미지(ROI_1~ROI_6)로 분할된 예시가 도시되어 있다. 각 조각 이미지(ROI_n)는 동일한 크기 및 형상을 가질 수 있다.
이진화 처리 모듈(131)은 분할된 각 조각 이미지(ROI_n)마다의 특성, 즉 픽셀들의 밝기값의 범위 형태를 분석하고 각 조각 이미지(ROI_n)마다 개별화된 이진화 기준을 설정하여 이진화 처리를 수행할 수 있다.
일례로, 이진화 처리 모듈(131)은 분할된 각 조각 이미지(ROI_n)에 대해 히스토그램 조건부 계산을 수행한다(단계 S240).
도 4를 참조하면, 각 조각 이미지(ROI_n)에 대해 픽셀의 밝기값에 대한 히스토그램(H_1~H_6)을 구할 수 있다. 각 히스토그램(H_n)에서 X축은 픽셀의 밝기값이고, Y축은 밝기값의 빈도를 나타낸다.
히스토그램에서 빈도가 상승과 하락이 변화되는 지점 중 최소값을 기준으로 해당 조각 이미지에 대한 임계값을 설정한다. 이 임계값은 컨트라스트 이미지에서 하위 데이터에 대한 이진화를 위한 기준이 된다.
도 5에는 제1 조각 이미지(ROI_1)에 대한 히스토그램이 도시되어 있다.
히스토그램에서 값의 빈도가 가장 많은 값을 M_1, 2번째로 많은 값을 M_2라 할 때, M_1과 M_2 사이에서 상승과 하락이 변화되는 지점 중 최소 빈도를 가지는 값을 Mid로 설정할 수 있다. M_1 <= Mid && Mid <= M_2 혹은 M_2 <= Mid && Mid <= M_1 일 수 있다.
Mid를 임계값으로 하고, 해당 조각 이미지에서 Mid보다 낮은 값을 가지는 빈도량에 대해서는 배제 처리(삭제 처리)를 할 수 있다. 도 5에서 Mid의 빈도량(F_Mid)보다 작은 빈도수를 가지는 픽셀값들(M_3보다 작거나 M_4보다 큰 픽셀값들)에 대해서는 노이즈로 판단하고 그 데이터를 무시할 수 있다.
그리고 히스토그램에서 Mid의 좌측편에 속하는 픽셀들에 대해서는 그 밝기값을 0(zero)으로 변경시킬 수 있다.
조각 이미지(ROI_n)의 밝기 분포에 따라 Mid가 다르게 설정될 수 있으며, 조각 이미지별로 보다 정교한 이진화 처리가 가능해질 수 있다.
또한, 이미지 처리부(130)는 노이즈 제거 모듈(133)을 더 포함할 수 있다.
노이즈 제거 모듈(133)은 모폴로지(Morphology) 연산을 통해 이진화 처리된 컨트라스트 이미지에서 노이즈를 제거할 수 있다(단계 S250).
본 실시예에서 모폴로지 연산으로는 3 x 3 배열의 침식 연산(Erosion)이 적용될 수 있다.
도 6을 참조하면, 제1 픽셀(P1)의 경우 제1 픽셀(P1)을 중심으로 하는 3 x 3 배열의 제1 입력 이미지 범위를 설정한다. 그리고 가운데 십(+)자 모양으로 1이 설정된 3 x 3 침식 마스크를 적용시킨다. 제1 입력 이미지 범위에서 3 x 3 침식 마스크에서 1에 해당하는 픽셀값 중 1개 이상이 불일치하므로, 1의 값을 가지는 제1 픽셀(P1)이 출력 픽셀값이 0으로 변경된다.
제2 픽셀(P2)의 경우 제2 픽셀(P2)을 중심으로 하는 3 x 3 배열의 제2 입력 이미지 범위를 설정한다. 그리고 동일한 3 x 3 침식 마스크를 적용시킨다. 제1 입력 이미지 범위에서 3 x 3 침식 마스크에서 1에 해당하는 픽셀값이 모두 동일하므로, 1의 값을 가지는 제2 픽셀(P2)은 출력 픽셀값이 그대로 1을 유지하게 된다.
이러한 모폴로지 연산을 통해 이진화된 컨트라스트 이미지에서 노이즈(특히, 이물 주변부 노이즈)를 제거할 수 있다.
출력부(140)는 이진화 처리 및 노이즈 제거가 완료된 컨트라스트 이미지를 디스플레이를 통해 출력한다(단계 S260). 디스플레이를 통해 출력된 이미지에는 이물에 해당하는 부분만이 부각되어 표시됨으로써, 관리자가 용이하게 이물의 존부 및 특성(크기, 위치)을 확인할 수 있게 된다.
본 실시예예 따르면, 이물 불량에 대한 기준이 모호한 경우 선정 기준을 명시할 수 있는 결과물을 제공할 수 있고, 출력 결과에 대한 영상 판단의 기준과 평가 기준의 육안 판정 비교 분석에 대한 신뢰성 있는 결과를 제공해 줄 수 있다.
또한, 이물에 의한 수율 저하의 원인에 대하여 확정적인 결과 데이터를 출력해 줌으로써 관리자의 문제 파악이 빨라져 생산공정의 개선효과가 상승할 수 있다.
그리고 해상도 증가 및 렌즈 화각의 크기 증가에 따른 이물 확장에 대한 검출 기준의 변경에 대해서도 빠른 결과를 획득할 수 있다.
전술한 이물 검출 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 이물 검출 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 이물 검출 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이물 검출 장치 110: 이미지 획득부
120: 컨트라스트 이미지 생성부 130: 이미지 처리부
131: 이진화 처리 모듈 133: 노이즈 제거 모듈
140: 출력부
120: 컨트라스트 이미지 생성부 130: 이미지 처리부
131: 이진화 처리 모듈 133: 노이즈 제거 모듈
140: 출력부
Claims (12)
- 카메라 모듈의 이물을 검출하는 이물 검출 장치로서,
상기 카메라 모듈을 이용하여 촬영한 입력 이미지를 획득하고 평균화하는 이미지 획득부;
평균 이미지에 대해 컨트라스트 스트레칭 연산을 수행하여 컨트라스트 이미지를 생성하는 컨트라스트 이미지 생성부;
상기 컨트라스트 이미지에 대해 소정의 이미지 프로세싱 알고리즘을 적용하여 이물을 부각시키는 이미지 처리부; 및
상기 이미지 처리부를 거친 이미지를 디스플레이를 통해 출력하는 출력부를 포함하되,
상기 컨트라스트 이미지 생성부는 상기 평균 이미지의 밝기값 중 최소값과 최대값 사이의 유효 범위를 절대 최소값과 절대 최대값 사이의 최대 범위로 밝기값 변경하여 컨트라스트를 확장시켜 상기 컨트라스트 이미지를 생성하고,
상기 컨트라스트 이미지 생성부는 상기 최소값과 상기 최대값의 편차량에 대한 기울기를 이용하여 컨트라스트 스트레칭 연산을 수행하며,
상기 컨트라스트 이미지의 각 픽셀의 변경된 밝기값 P는 하기 수학식과 같이 계산되는 것을 특징으로 하는 이물 검출 장치,
여기서, Y는 상기 평균 이미지의 해당 픽셀의 RGB 채널의 픽셀값으로이고,
가중치이며,
기울기임.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 이미지 처리부는 상기 컨트라스트 이미지를 미리 설정된 수량의 조각 이미지로 분할하고, 상기 조각 이미지별로 픽셀들의 밝기값의 범위 형태를 분석하여 상기 조각 이미지마다 개별화된 이진화 처리를 수행하는 이진화 처리 모듈을 포함하는 이물 검출 장치.
- 제5항에 있어서,
상기 이진화 처리 모듈은 상기 조각 이미지마다 밝기값에 대한 히스토그램을 구하고, 상기 히스토그램에서 빈도의 상승과 하락이 변화되는 지점 중에서 최소값을 기준으로 해당 조각 이미지에 대한 임계값을 설정하며, 상기 임계값보다 낮은 빈도량에 대해서는 배제 처리하는 것을 특징으로 하는 이물 검출 장치.
- 제5항에 있어서,
상기 이미지 처리부는 모폴로지 침식 연산을 통해 이진화 처리된 상기 컨트라스트 이미지에서 노이즈를 제거하는 노이즈 제거 모듈을 더 포함하는 이물 검출 장치.
- 이물 검출 장치에서 수행되는 카메라 모듈의 이물을 검출하는 방법으로서,
상기 카메라 모듈을 이용하여 촬영한 입력 이미지를 획득하고 평균화하는 단계;
평균 이미지에 대해 컨트라스트 스트레칭 연산을 수행하여 컨트라스트 이미지를 생성하는 단계;
상기 컨트라스트 이미지에 대해 소정의 이미지 프로세싱 알고리즘을 적용하여 이물을 부각시키는 단계; 및
상기 이물이 부각된 이미지를 디스플레이를 통해 출력하는 단계를 포함하되,
상기 컨트라스트 이미지를 생성하는 단계는 상기 평균 이미지의 밝기값 중 최소값과 최대값 사이의 유효 범위를 절대 최소값과 절대 최대값 사이의 최대 범위로 밝기값 변경하여 컨트라스트를 확장시켜 상기 컨트라스트 이미지를 생성하고,
상기 컨트라스트 이미지를 생성하는 단계는 상기 최소값과 상기 최대값의 편차량에 대한 기울기를 이용하여 컨트라스트 스트레칭 연산을 수행하며,
상기 컨트라스트 이미지의 각 픽셀의 변경된 밝기값 P는 하기 수학식과 같이 계산되는 것을 특징으로 하는 이물 검출 방법,
여기서, Y는 상기 평균 이미지의 해당 픽셀의 RGB 채널의 픽셀값으로이고,
가중치이며,
기울기임.
- 삭제
- 삭제
- 제8항에 있어서,
상기 이물 부각 단계는,
상기 컨트라스트 이미지를 미리 설정된 수량의 조각 이미지로 분할하는 단계와;
상기 조각 이미지별로 픽셀들의 밝기값의 범위 형태를 분석하여 상기 조각 이미지마다 개별화된 이진화 처리를 수행하는 단계를 포함하는 이물 검출 방법.
- 제11항에 있어서,
상기 이물 부각 단계는, 모폴로지 침식 연산을 통해 이진화 처리된 상기 컨트라스트 이미지에서 노이즈를 제거하는 단계를 더 포함하는 이물 검출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200033672A KR102372027B1 (ko) | 2020-03-19 | 2020-03-19 | 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200033672A KR102372027B1 (ko) | 2020-03-19 | 2020-03-19 | 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210117456A KR20210117456A (ko) | 2021-09-29 |
| KR102372027B1 true KR102372027B1 (ko) | 2022-03-10 |
Family
ID=77924735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200033672A KR102372027B1 (ko) | 2020-03-19 | 2020-03-19 | 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102372027B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007263852A (ja) * | 2006-03-29 | 2007-10-11 | Dainippon Printing Co Ltd | 欠陥検出装置、欠陥検出方法、及び欠陥検出処理プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100605226B1 (ko) | 2004-06-10 | 2006-07-31 | 주식회사 팬택앤큐리텔 | 디지털 카메라 모듈의 이물질 검출 장치 및 방법 |
| KR101076478B1 (ko) * | 2004-11-25 | 2011-10-25 | 엘아이지에이디피 주식회사 | 스트레칭 기법을 활용한 평판 디스플레이 패널의 화상결함 검사 방법 및 기록매체 |
| JP5544344B2 (ja) * | 2011-09-26 | 2014-07-09 | 株式会社日立ハイテクノロジーズ | 欠陥観察方法及び欠陥観察装置 |
| KR20130124659A (ko) * | 2012-05-07 | 2013-11-15 | 순천대학교 산학협력단 | 객체 분리 시스템 및 방법 |
-
2020
- 2020-03-19 KR KR1020200033672A patent/KR102372027B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007263852A (ja) * | 2006-03-29 | 2007-10-11 | Dainippon Printing Co Ltd | 欠陥検出装置、欠陥検出方法、及び欠陥検出処理プログラム |
Non-Patent Citations (1)
| Title |
|---|
| 개선된 영상 처리기법을 이용한 콘크리트 표면 균열 추출 및 분석", 한국지능정보시스템학회, 2007.05.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210117456A (ko) | 2021-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102009494B1 (ko) | 웨이퍼 검사를 위한 분할 | |
| US20090202172A1 (en) | Image Inspection Apparatus, Image Inspection Method and Computer Program | |
| JP2004294202A (ja) | 画面の欠陥検出方法及び装置 | |
| US20230342907A1 (en) | Image analysis apparatus, image analysis method, and program | |
| JP2018506046A (ja) | タイヤ表面の欠陥を検出する方法 | |
| JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
| TWI512284B (zh) | 玻璃氣泡瑕疵檢測系統 | |
| JP2005172559A (ja) | パネルの線欠陥検出方法及び装置 | |
| TWI785270B (zh) | 在一晶圓上偵測一邏輯區域中之缺陷 | |
| JP2001184510A (ja) | 欠陥検出方法 | |
| KR101862310B1 (ko) | 얼룩결함 검사장치 및 얼룩결함 검사방법 | |
| JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
| KR102372027B1 (ko) | 컨트라스트를 활용한 카메라 모듈의 이물 검출 장치 및 방법 | |
| JP6623545B2 (ja) | 検査システム、検査方法、プログラムおよび記憶媒体 | |
| KR102290273B1 (ko) | 결함픽셀 검출 장치 및 방법 | |
| KR20060052459A (ko) | 화상 검사 장치, 화상 검사 방법, 제어 프로그램 및 컴퓨터판독가능한 기억 매체 | |
| Prabha et al. | Defect detection of industrial products using image segmentation and saliency | |
| KR101993654B1 (ko) | 표시패널의 얼룩 검사 장치 및 그 방법 | |
| JP2000199745A (ja) | 色ムラの検査方法及び装置 | |
| JP2001028059A (ja) | 色ムラ検査方法及び装置 | |
| TWI510776B (zh) | 玻璃氣泡瑕疵檢測處理方法 | |
| JP2000132684A (ja) | 外観検査方法 | |
| KR102613682B1 (ko) | 이물 검사를 위한 모아레 검출 방법 및 장치 | |
| JP4956077B2 (ja) | 欠陥検査装置及び欠陥検査方法 | |
| KR102114013B1 (ko) | 디스플레이 결함 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |