KR20120066252A - 결함 화소 처리 방법 및 장치 - Google Patents
결함 화소 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20120066252A KR20120066252A KR1020100127498A KR20100127498A KR20120066252A KR 20120066252 A KR20120066252 A KR 20120066252A KR 1020100127498 A KR1020100127498 A KR 1020100127498A KR 20100127498 A KR20100127498 A KR 20100127498A KR 20120066252 A KR20120066252 A KR 20120066252A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- value
- magnetic component
- detection threshold
- component mask
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000007547 defect Effects 0.000 title claims description 14
- 230000002950 deficient Effects 0.000 claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 34
- 230000002093 peripheral effect Effects 0.000 claims description 17
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 239000004615 ingredient Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000002800 charge carrier Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
이미지 센서의 결함으로 발생하는 결함 화소를 검출하고 이를 보정하는 결함 화소 처리 방법 및 장치가 개시된다. 입력 영상 중 결함 화소 여부를 판단하기 위한 대상 화소를 포함하는 M x M 베이어 패턴을 입력받는 영상 패턴 입력부, 상기 M x M 베이어 패턴 중 상기 대상 화소에 상응하는 자기 성분을 추출하여 N x N 자기 성분 마스크를 생성하는 자기 성분 추출부, 상기 N x N 자기 성분 마스크의 특성 분석을 통해 상기 대상 화소가 결함 화소인지 여부를 판단하는 결함 화소 판단부, 상기 대상 화소가 결함 화소인 경우 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 파악하여 보정을 수행하는 보정부 및 상기 대상 화소가 결함 화소인 경우 상기 보정부에서 수행된 보정값을 상기 대상 화소의 화소값으로 출력하고 상기 대상 화소가 정상 화소인 경우 상기 대상 화소의 화소값을 그대로 출력하는 출력부를 포함하는 결함 화소 처리 장치에 의하면, 베이어 영상으로부터 성분 분리를 수행한 후 특징을 파악하고 엄격한 검출 방법을 적용하여 검출 정확도를 높이고, 클러스터 결함 화소를 제거하는 것이 가능하다.
Description
본 발명은 이미지 센서의 결함으로 발생하는 결함 화소를 검출하고 이를 보정하는 결함 화소 처리 방법 및 장치에 관한 것이다.
이미지 센서는 광학 영상(optical image)을 전기 신호로 변환시키는 반도체 소자이다. 이 중에서 전하결합소자(Charge Coupled Device, CCD)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. 반면에, 씨모스(Complementary MOS; 이하 CMOS라 함) 이미지 센서는 제어회로 및 신호처리회로를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼의 MOS 트랜지스터를 만들고 이것을 이용하여 순차적으로 화소의 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
이러한 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 화소(pixel)들 또는 포토사이트(photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 화소들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 화소들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이(CFA; Color Filter Array)로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
컬러 영상의 컬러 필터 어레이는 일반적으로 베이어 패턴(Bayer Pattern)을 따른다. 즉, 화소들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 이미지 화소들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다. 이러한 베이어 패턴은 사람의 눈이 이미지의 녹색 내용으로부터 휘도(luminance) 정보의 대부분을 도출한다는 전제에 기초한다. 따라서, 전체 화소들 중 보다 많은 화소가 녹색이 되도록 함으로써 적색, 녹색 및 청색 화소들이 동일한 개수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 해상도 이미지가 생성될 수 있다.
이러한 이미지 센서는 제조 공정 상의 오류로 인해 데드 픽셀(dead pixel)이나 핫 픽셀(hot pixel) 등과 같은 결함 화소가 발생될 수 있다. 데드 픽셀은 화소 자체가 불량 등의 이유로 인하여 발색 자체를 하지 못하는 경우이고, 핫 픽셀은 화소 자체가 발색하지만 제대로 된 색을 발색하지 못하는 경우이다. 이와 같은 결함 화소는 이미지 센서의 등급과 가격을 결정하는 중요한 요소이다.
결함 화소에 의해 생성된 화소 데이터는 인접 화소에 의해 생성된 화소 데이터보다 지나치게 크거나 반대로 지나치게 작은 특징을 가진다. 종래 결함 화소 처리 방식은 주로 기준 화소값과 비교하여 그 차이가 일정 범위를 넘는 경우 해당 화소를 결함 화소로 검출하고 이를 보정하였다. 하지만, 검출 정확도가 낮아 정상 화소에 대해서도 결함 화소로 검출하는 경우가 많으며, 보정된 영상은 실제 영상에 비해 많은 왜곡이 발생하는 문제점이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 베이어 영상으로부터 성분 분리를 수행한 후 특징을 파악하고 엄격한 검출 방법을 적용하여 검출 정확도를 높이고, 클러스터 결함 화소(2개 이상 생긴 결함 화소)를 제거하는 것이 가능한 결함 화소 처리 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 결함 화소에 대하여 에지 패턴을 분류하여 위색(false color)이 발생하지 않도록 하는 최적의 화소값으로 보정하는 것이 가능한 결함 화소 처리 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 입력된 마스크 내에서 임계치 조정만으로도 개수에 상관없이 결함 화소를 검출하고 보정할 수 있으며, 조정 가능한 파라미터의 수가 적어 튜닝(tuning)이 간편한 결함 화소 처리 방법 및 장치를 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 입력 영상의 결함 화소를 처리하는 장치로서, 상기 입력 영상 중 결함 화소 여부를 판단하기 위한 대상 화소를 포함하는 M x M 베이어 패턴을 입력받는 영상 패턴 입력부; 상기 M x M 베이어 패턴 중 상기 대상 화소에 상응하는 자기 성분을 추출하여 N x N 자기 성분 마스크를 생성하는 자기 성분 추출부-여기서, M 및 N은 자연수이고, M > N임-; 상기 N x N 자기 성분 마스크의 특성 분석을 통해 상기 대상 화소가 결함 화소인지 여부를 판단하는 결함 화소 판단부; 상기 대상 화소가 결함 화소인 경우 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 파악하여 보정을 수행하는 보정부; 및 상기 대상 화소가 결함 화소인 경우 상기 보정부에서 수행된 보정값을 상기 대상 화소의 화소값으로 출력하고 상기 대상 화소가 정상 화소인 경우 상기 대상 화소의 화소값을 그대로 출력하는 출력부를 포함하는 결함 화소 처리 장치가 제공된다.
상기 M x M 베이어 패턴은 상기 대상 화소를 중심 화소로 포함할 수 있다.
상기 자기 성분 추출부는 상기 M x M 베이어 패턴 내의 화소들 중 상기 대상 화소의 색 성분과 동일한 색 성분을 가지는 화소들을 선택하여 그 상대적 위치가 대응되는 상기 N x N 자기 성분 마스크를 생성할 수 있다.
상기 결함 화소 판단부는, 상기 N x N 자기 성분 마스크 내의 중심 화소를 기준으로 주변 화소값과의 차이를 계산하여 결함 화소 여부를 판단하기 위한 기준값을 계산하는 기준값 계산 모듈과; 상기 N x N 자기 성분 마스크 내에 고주파 성분이 포함된 양을 유추하기 위한 주파수 차이값을 계산하는 주파수 차이값 계산 모듈과; 검출 임계치 그래프를 이용하여 상기 주파수 차이값에 따른 검출 임계치를 계산하는 검출 임계치 계산 모듈과; 상기 기준값 및 상기 검출 임계치를 비교하여 상기 대상 화소가 결함 화소인지 여부를 판단하는 판단 모듈을 포함할 수 있다.
상기 기준값 계산 모듈은 상기 N x N 자기 성분 마스크의 주변 화소들 각각과 중심 화소의 화소값 차이의 절대값을 계산하고, 이를 오름차순 정렬한 후 최초 소정 개수의 평균을 상기 기준값으로 계산할 수 있다.
상기 주파수 차이값 계산 모듈은 상기 N x N 자기 성분 마스크 내의 화소값 중 최대값과 최소값의 차이를 상기 주파수 차이값으로 계산할 수 있다.
상기 검출 임계치 계산 모듈은 하기 수학식에 따른 검출 임계치 그래프를 이용하여 상기 검출 임계치를 계산할 수 있다.
여기서, Freq_diff_value는 상기 주파수 차이값 계산 모듈에서 계산된 주파수 차이값이고, dpc_freq_thr은 저주파와 고주파를 구분하기 위한 주파수 임계치이며, dpc_freq_width는 저주파와 고주파의 임계치를 보간하는 너비이고, dpc_lf_thr은 저주파에 대한 결함 화소 검출 임계치이며, dpc_hf_thr은 고주파에 대한 결함 화소 검출 임계치이다.
상기 검출 임계치 그래프는 상기 대상 화소가 속하는 휘도 영역에 따라 조정 가능하다.
상기 보정부는 상기 N x N 자기 성분 마스크에서 중심 화소를 제외한 나머지 주변 화소들에 대하여 최대값과 최소값의 평균보다 크거나 같은 경우를 '1'로, 작은 경우를 '0'으로 매칭시키고, 임의의 주변 화소로부터 소정 방향으로 각 주변 화소들의 연속된 매칭값을 이진값에 대응시킴으로써 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 분류할 수 있다.
또한, 상기 보정부는 상기 N x N 자기 성분 마스크에 대하여 분류된 에지 바이너리 패턴에 따라 '0'으로 매칭된 주변 화소들의 화소값 평균, '1'로 매칭된 주변 화소들의 화소값 평균, 상기 N x N 자기 성분 마스크 내 모든 화소들의 화소값 중 중간값 중 하나를 상기 대상 화소의 보정값으로 결정할 수 있다.
한편 본 발명의 다른 측면에 따르면, 입력 영상의 결함 화소를 처리하는 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.
일 실시예에 따른 결함 화소 처리 방법은, 상기 입력 영상 중 결함 화소 여부를 판단하기 위한 대상 화소를 포함하는 M x M 베이어 패턴을 입력받는 단계; 상기 M x M 베이어 패턴 중 상기 대상 화소에 상응하는 자기 성분을 추출하여 N x N 자기 성분 마스크를 생성하는 단계-여기서, M 및 N은 자연수이고, M > N임-; 상기 N x N 자기 성분 마스크의 특성 분석을 통해 상기 대상 화소가 결함 화소인지 여부를 판단하는 단계; 상기 대상 화소가 결함 화소인 경우 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 파악하여 보정을 수행하는 단계; 및 상기 대상 화소가 결함 화소인 경우 상기 보정부에서 수행된 보정값을 상기 대상 화소의 화소값으로 출력하고 상기 대상 화소가 정상 화소인 경우 상기 대상 화소의 화소값을 그대로 출력하는 단계를 포함할 수 있다.
상기 M x M 베이어 패턴은 상기 대상 화소를 중심 화소로 포함할 수 있다.
상기 자기 성분 추출 단계는 상기 M x M 베이어 패턴 내의 화소들 중 상기 대상 화소의 색 성분과 동일한 색 성분을 가지는 화소들을 선택하여 그 상대적 위치가 대응되는 상기 N x N 자기 성분 마스크를 생성할 수 있다.
상기 결함 화소 판단 단계는, 상기 N x N 자기 성분 마스크 내의 중심 화소를 기준으로 주변 화소값과의 차이를 계산하여 결함 화소 여부를 판단하기 위한 기준값을 계산하는 단계와; 상기 N x N 자기 성분 마스크 내에 고주파 성분이 포함된 양을 유추하기 위한 주파수 차이값을 계산하는 단계와; 검출 임계치 그래프를 이용하여 상기 주파수 차이값에 따른 검출 임계치를 계산하는 단계와; 상기 기준값 및 상기 검출 임계치를 비교하여 상기 대상 화소가 결함 화소인지 여부를 판단하는 단계를 포함할 수 있다.
상기 기준값 계산 단계는, 상기 N x N 자기 성분 마스크의 주변 화소들 각각과 중심 화소의 화소값 차이의 절대값을 계산하는 단계; 이를 오름차순 정렬한 후 최초 소정 개수의 평균을 상기 기준값으로 계산하는 단계를 포함할 수 있다.
상기 주파수 차이값 계산 단계는 상기 N x N 자기 성분 마스크 내의 화소값 중 최대값과 최소값의 차이를 상기 주파수 차이값으로 계산할 수 있다.
상기 검출 임계치 계산 단계는 하기 수학식에 따른 검출 임계치 그래프를 이용하여 상기 검출 임계치를 계산할 수 있다.
여기서, Freq_diff_value는 상기 주파수 차이값 계산 단계에서 계산된 주파수 차이값이고, dpc_freq_thr은 저주파와 고주파를 구분하기 위한 주파수 임계치이며, dpc_freq_width는 저주파와 고주파의 임계치를 보간하는 너비이고, dpc_lf_thr은 저주파에 대한 결함 화소 검출 임계치이며, dpc_hf_thr은 고주파에 대한 결함 화소 검출 임계치이다.
상기 검출 임계치 그래프는 상기 대상 화소가 속하는 휘도 영역에 따라 조정 가능하다.
상기 보정 단계는, 상기 N x N 자기 성분 마스크에서 중심 화소를 제외한 나머지 주변 화소들에 대하여 최대값과 최소값의 평균보다 크거나 같은 경우를 '1'로, 작은 경우를 '0'으로 매칭시키는 단계; 임의의 주변 화소로부터 소정 방향으로 각 주변 화소들의 연속된 매칭값을 이진값에 대응시킴으로써 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 분류하는 단계를 포함할 수 있다.
또한, 상기 보정 단계는 상기 N x N 자기 성분 마스크에 대하여 분류된 에지 바이너리 패턴에 따라 '0'으로 매칭된 주변 화소들의 화소값 평균, '1'로 매칭된 주변 화소들의 화소값 평균, 상기 N x N 자기 성분 마스크 내 모든 화소들의 화소값 중 중간값 중 하나를 상기 대상 화소의 보정값으로 결정하는 단계를 더 포함할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 베이어 영상으로부터 성분 분리를 수행한 후 특징을 파악하고 엄격한 검출 방법을 적용하여 검출 정확도를 높이고, 클러스터 결함 화소(2개 이상 생긴 결함 화소)를 제거하는 것이 가능하다.
또한, 결함 화소에 대하여 에지 패턴을 분류하여 위색이 발생하지 않도록 하는 최적의 화소값으로 보정하는 것이 가능하다.
또한, 입력된 마스크 내에서 임계치 조정만으로도 개수에 상관없이 결함 화소를 검출하고 보정할 수 있으며, 조정 가능한 파라미터의 수가 적어 튜닝이 간편한 효과가 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 결함 화소 처리 장치의 개략적인 구성을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 5x5 베이어 패턴의 일례를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 3x3 자기 성분 마스크의 일례를 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 결함 화소 판단부의 개략적인 구성을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 검출 임계치 그래프를 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따른 휘도 표현 색상 바를 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 에지 바이너리 패턴을 구하기 위한 매칭 과정 및 생성된 에지 바이너리 패턴의 예시도,
도 8은 본 발명의 일 실시예에 따른 결함 화소 처리 방법의 순서도,
도 9는 본 발명의 일 실시예에 따른 결함 화소 처리 장치에 의해 처리되기 이전의 영상과 처리 이후의 영상을 비교하여 도시한 예시도.
도 2는 본 발명의 일 실시예에 따른 5x5 베이어 패턴의 일례를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 3x3 자기 성분 마스크의 일례를 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 결함 화소 판단부의 개략적인 구성을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 검출 임계치 그래프를 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따른 휘도 표현 색상 바를 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 에지 바이너리 패턴을 구하기 위한 매칭 과정 및 생성된 에지 바이너리 패턴의 예시도,
도 8은 본 발명의 일 실시예에 따른 결함 화소 처리 방법의 순서도,
도 9는 본 발명의 일 실시예에 따른 결함 화소 처리 장치에 의해 처리되기 이전의 영상과 처리 이후의 영상을 비교하여 도시한 예시도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 결함 화소 처리 장치의 개략적인 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 5x5 베이어 패턴의 일례를 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 3x3 자기 성분 마스크의 일례를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 결함 화소 판단부의 개략적인 구성을 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 검출 임계치 그래프를 나타낸 예시도이고, 도 6은 본 발명의 일 실시예에 따른 휘도 표현 색상 바를 나타낸 예시도이며, 도 7은 본 발명의 일 실시예에 따른 에지 바이너리 패턴을 구하기 위한 매칭 과정 및 생성된 에지 바이너리 패턴의 예시도이다.
본 실시예에 따른 결함 화소 처리 장치(100)는 결함 여부의 판단 대상이 되는 대상 화소를 포함하는 영상 패턴을 입력받고, 대상 화소에 상응하는 자기 성분만을 사용하여 결함 화소 여부를 판단하여 결함 화소를 검출하며, 검출된 결함 화소에 대해서는 미리 분류된 에지 바이너리 패턴을 사용하여 최적의 보정값을 찾고 이를 출력함으로써 보정을 수행한다.
이를 위해 본 실시예에 따른 결함 화소 처리 장치(100)는 M x M 베이어 패턴을 입력받고, 이로부터 대상 화소에 상응하는 자기 성분만을 사용하여 N x N 자기 성분 마스크를 생성하게 된다. 여기서, M, N은 자연수이며, M>N이다. 이하에서는 M=5, N=3인 경우를 예시하여 설명하지만, 본 발명의 권리범위가 이에 한정되는 것이 아님은 물론이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 화소 처리 장치(100)는 영상 패턴 입력부(110), 자기 성분 추출부(120), 결함 화소 판단부(130), 보정부(140), 출력부(150)를 포함한다.
영상 패턴 입력부(110)는 베이어 패턴을 가지는 입력 영상 프레임 중 결함 화소 여부의 판단 대상이 되는 대상 화소가 중심에 위치하는 5x5 베이어 패턴을 입력받는다.
도 2를 참조하면, 영상 패턴 입력부(110)에 입력되는 5x5 베이어 패턴의 일례가 도시되어 있다. 예를 들어, 한 장의 영상 프레임 중 R 성분의 대상 화소(Rc)를 중심 화소로 하는 5x5 베이어 패턴(10)이 선택되어 입력될 수 있다.
도 2에서는 대상 화소(Rc)가 R 성분을 가지는 것으로 도시되어 있으나, 나머지 색상 성분(B, Gr, Gb)의 화소에 대해서도 해당 화소를 중심으로 하는 5x5 베이어 패턴이 동일한 방법으로 선택될 수 있음은 자명하다.
자기 성분 추출부(120)는 영상 패턴 입력부(110)를 통해 입력된 5x5 베이어 패턴(10) 중 중심 화소와 동일한 색성분(즉, 자기 성분)의 화소만을 추출하여 3x3 자기 성분 마스크(20)를 생성한다. 도 3을 참조하면, 도 2에 예시된 5x5 베이어 패턴 중 빗금친 R 성분의 화소만을 추출하여 생성된 3x3 자기 성분 마스크(20)가 예시되어 있다. 3x3 자기 성분 마스크(20)의 각 성분(Pi)은 5x5 베이어 패턴(10) 중 Ri(여기서, i=1~8,c) 위치에 있는 R 성분에 대응된다(즉, Pi=Ri, i=1~8,c).
결함 화소 판단부(130)는 자기 성분 추출부(120)를 통해 생성된 3x3 자기 성분 마스크를 이용하여 대상 화소가 결함 화소인지 여부를 판단한다.
도 4를 참조하면, 결함 화소 판단부(130)는 기준값 계산 모듈(132), 주파수 차이값 계산 모듈(134), 검출 임계치 계산 모듈(136), 판단 모듈(138)을 포함한다.
기준값 계산 모듈(132)은 3x3 자기 성분 마스크 내에 있는 화소들에 대하여 중심 화소를 기준으로 주변 화소값과의 차이를 계산하여 결함 화소 여부를 판단할 수 있는 기준값을 계산한다.
예를 들면, 아웃라이어 제거 필터링(outlier remover filtering) 방식에 따라 하기 수학식 1과 같이 주변 화소 8개 각각과 중심 화소 사이의 화소값 차이의 절대값(S'i)을 계산하고, 이를 오름차순 정렬한 후 최초 소정 개수(예를 들어, 4개)의 평균, 즉 S'i가 작은 순서대로 소정 개수의 평균을 기준값으로 할 수 있다.
[수학식 1]
S'i = |Pi - Pc|, i = 1 ~ 8
이와 같이 계산된 기준값은 중심 화소를 주변 화소와 비교할 때 얼마나 튀는 값인지 확인하기 위한 것으로서, 영상 프레임 중 튀는 노이즈를 찾는데 이용된다.
주파수 차이값 계산 모듈(134)은 3x3 자기 성분 마스크 내에 예를 들어 에지(edge)와 같은 고주파 성분이 얼마나 포함되어 있는지를 유추할 수 있는 주파수 차이값을 계산한다. 예를 들면, 주파수 차이값은 하기 수학식 2에 의해 계산될 수 있다.
[수학식 2]
Freq_diff_value = max(P[1:8,c]) - min(P[1:8,c])
여기서, Freq_diff_value는 주파수 차이값이며, max(P[1:8,c])는 3x3 자기 성분 마스크 내의 화소값 중 최대값, min(P[1:8,c])은 3x3 자기 성분 마스크 내의 화소값 중 최소값을 나타낸다.
검출 임계치 계산 모듈(136)은 주파수 차이값에 따라 결함 화소를 검출하기 위한 검출 임계치를 계산한다. 검출 임계치의 계산은 도 5에 예시된 주파수 차이값에 따른 검출 임계치 그래프(30)를 이용하여 수행될 수 있으며, 검출 임계치는 색 성분의 종류에 관계없이 적용될 수 있다.
검출 임계치 그래프(30)에 있어서, dpc_thr은 결함 화소를 검출하기 위한 임계치이고, frequency는 주파수 차이값 계산 모듈(134)에서 계산된 주파수 차이값을 나타내며, 하기 수학식 3과 같이 표현될 수 있다.
[수학식 3]
여기서, Freq_diff_value는 주파수 차이값 계산 모듈(134)에서 계산된 주파수 차이값이고, dpc_freq_thr은 저주파와 고주파를 구분하기 위한 주파수 임계치이며, dpc_freq_width는 저주파와 고주파의 임계치를 보간하는 너비이고, dpc_lf_thr은 저주파에 대한 결함 화소 검출 임계치이며, dpc_hf_thr은 고주파에 대한 결함 화소 검출 임계치이다.
수학식 3에 따르면, 주파수 차이값이 저주파영역에 속하는 경우(Freq_diff_value<F1) 검출 임계치는 저주파 검출 임계치(dpc_lf_thr)이고, 주파수 차이값이 고주파영역에 속하는 경우(Freq_diff_value>F2) 검출 임계치는 고주파 검출 임계치(dpc_ hf_thr)이며, 주파수 차이값이 저주파 영역과 고주파 영역 사이에 속하는 경우(otherwise) 검출 임계치는 주파수 임계치, 주파수 보간 너비, 저주파 검출 임계치, 고주파 검출 임계치로 표현되는 1차 함수에 따른 값일 수 있다.
여기서, 주파수 임계치(dpc_freq_thr), 주파수 보간 너비(dpc_freq_width), 저주파 검출 임계치(dpc_lf_thr), 고주파 검출 임계치(dpc_hf_thr)는 사용자에 의해 조정 가능한 파라미터들로서, 대상 화소, 즉 중심 화소가 속하는 휘도 영역에 따라 그 값들이 실험적으로 통계적으로 결정되어 있을 수 있는 튜닝 포인트(tuning point)이다.
도 6을 참조하면 휘도 표현 색상 바(color bar)가 도시되어 있으며, 예를 들어 중심 화소의 휘도값이 제1 휘도 임계치(dpc_Luma_thr1)보다 작은 경우 영역1에 속하여 저휘도인 것으로 판단하고, 제2 휘도 임계치(dpc_Luma_thr2)보다 큰 경우 영역3에 속하여 고휘도인 것으로 판단하며, 제1 휘도 임계치와 제2 휘도 임계치 사이에 있는 경우 영역2에 속하여 중휘도인 것으로 판단할 수 있다. 이 판단 결과에 따라 주파수 임계치, 주파수 보간 너비, 저주파 검출 임계치, 고주파 검출 임계치 등의 파라미터가 결정되고, 그 결정된 바에 따라 도 5에 예시된 것과 같은 검출 임계치 그래프(30)를 획득할 수 있게 된다.
검출 임계치 계산 모듈(136)은 상기 과정을 통해 획득한 검출 임계치 그래프(30)를 이용하여 현재 주파수 차이값 계산 모듈(134)에서 계산한 주파수 차이값에 따른 검출 임계치를 찾을 수 있다.
판단 모듈(138)은 기준값 계산 모듈(132)에서 계산된 기준값과 검출 임계치 계산 모듈(136)에서 계산된 검출 임계치를 사용하여 3x3 자기 성분 마스크 내의 중심 화소가 결함 화소인지 여부를 검사한다. 예를 들어, 기준값이 검출 임계치가 보다 큰 경우 결함 화소로 판단하고, 기준값이 검출 임계치 이하인 경우 정상 화소로 판단할 수 있다.
다시 도 1을 참조하면, 보정부(140)는 결함 화소 판단부(130)에서의 판단 결과 결함 화소로 판단된 대상 화소에 대하여 화소값 보정을 수행한다. 화소값 보정은 대상 화소를 중심 화소로 하는 3x3 자기 성분 마스크(20)의 에지 바이너리 패턴(edge binary pattern)을 분류하고, 파악된 패턴에 대한 최적의 보정값을 찾음으로써 수행될 수 있다.
에지 바이너리 패턴의 일례가 도 7에 예시되어 있다. 3x3 자기 성분 마스크에서 중심 화소(C)를 제외한 나머지 주변 화소들에 대하여 최대값과 최소값의 평균보다 크거나 같은 경우 '1'로, 작은 경우 '0'으로 매칭시킨다(도 7의 (a) 참조). 그리고 임의의 주변 화소(예를 들어, 좌상측 화소)로부터 소정 방향(예를 들어, 시계 방향)으로 각 주변 화소들의 매칭값을 b0 내지 b7에 대응시킴으로써, [b0:b7]에 대응되는 8비트 에지 바이너리 패턴을 생성할 수 있다(도 7의 (b) 참조). 예를 들어 b0~b2가 '0'으로 매칭되고 b3~b7이 '1'로 매칭된 경우, 생성된 에지 바이너리 패턴은 '00011111'이다.
이러한 에지 바이너리 패턴은 총 256개의 패턴을 가질 수 있으며, 현재 결함 화소로 판단된 중심 화소에 대한 에지 바이너리 패턴이 파악되면, 사전에 실험적으로 계산한 분류기(classifier)에 적용시킴으로써 최적의 보정값을 찾을 수 있다. 예를 들면 '0'으로 매칭된 주변 화소들의 화소값 평균을 M1, '1'로 매칭된 주변 화소들의 화소값 평군을 M2, 3x3 자기 성분 마스크 내 모든 화소들의 화소값 중 중간값(median)을 M3라 할 때, M1, M2, M3 중 하나를 에지 바이너리 패턴의 종류에 따라 실험적으로 결정할 수 있을 것이다.
다시 도 1을 참조하면, 출력부(150)는 결함 화소 판단부(130)에서의 판단 결과 대상 화소가 정상 화소로 판단된 경우에는 보정되지 않은 원래 화소값을, 대상 화소가 결함 화소로 판단된 경우에는 보정부(140)에 의한 보정값을 해당 대상 화소의 화소값으로 출력한다.
도 8은 본 발명의 일 실시예에 따른 결함 화소 처리 방법의 순서도이다. 이하에서 설명되는 각각의 단계는 결함 화소 처리 장치(100)의 각 내부 구성요소에 의해 수행될 수 있다.
단계 S210에서 영상 패턴 입력부(110)는 입력 영상 프레임 중 결함 화소 여부를 판단하기 위한 대상 화소를 중심 화소로 포함하는 5x5 베이어 패턴을 입력받는다. 5x5 베이어 패턴의 일례가 도 2에 예시하여 도시되어 있다.
단계 S220에서 5x5 베이어 패턴 중 중심 화소와 동일한 색 성분을 가지는 화소들을 자기 성분으로서 추출하여 3x3 자기 성분 마스크를 생성한다. 3x3 자기 성분 마스크의 일례가 도 3에 예시하여 도시되어 있다.
단계 S230에서 3x3 자기 성분 마스크의 특성을 분석하여 대상 화소의 결함 화소 여부를 판단한다.
결함 화소 여부의 판단을 위해 우선 단계 S232에서 기준값 계산 모듈(132)은 중심 화소를 기준으로 주변 화소값과의 차이를 계산하여 결함 화소 여부를 판단할 수 있는 기준값을 계산한다. 기준값은 상기 수학식 1에서와 같이 3x3 자기 성분 마스크의 주변 화소 8개 각각과 중심 화소 사이의 화소값 차이의 절대값을 계산하고, 이를 오름차순 정렬한 후 선택된 최초 소정 개수의 평균일 수 있다.
이와는 독립적으로 단계 S234에서 주파수 차이값 계산 모듈(134)은 3x3 자기 성분 마스크 내에 고주파 성분이 얼마나 포함되어 있는지를 유추할 수 있는 주파수 차이값을 계산한다. 주파수 차이값의 계산 방법은 상기 수학식 2에 나타나 있다.
이후 단계 S236에서 검출 임계치 계산 모듈(136)은 검출 임계치 그래프를 이용하여 단계 S234에서 계산된 주파수 차이값에 따른 결함 화소를 검출하기 위한 검출 임계치를 계산한다. 여기서, 검출 임계치를 계산하기 위한 검출 임계치 그래프에 대해서는 앞서 수학식 3과 도 5를 참조하여 상세히 설명하였으며, 이는 대상 화소가 속하는 휘도 영역에 따라 효율적인 결함 화소의 검출 및 보정이 이루어질 수 있도록 사용자에 의해 조정될 수 있을 것이다.
단계 S238에서 판단 모듈(138)은 단계 S232에서 계산된 기준값과 단계 S236에서 계산된 검출 임계치를 서로 비교하여 해당 대상 화소가 결함 화소인지 여부를 판단한다. 예를 들어, 기준값이 검출 임계치보다 큰 경우 결함 화소로 판단하고, 같거나 작은 경우 정상 화소로 판단할 수 있다.
결함 화소로 판단한 경우 단계 S240으로 진행하여 보정부(140)는 결함 화소의 에지 바이너리 패턴을 분류하고 보정을 수행한다.
에지 바이너리 패턴의 분류는 대상 화소를 중심 화소로 하는 3x3 자기 성분 마스크에 대하여 주변 화소들의 화소값을 '0' 또는 '1'로 매칭시키고, 8비트의 이진값에 대응시킴으로써 수행될 수 있으며, 이에 대해서는 앞서 도 7을 참조하여 상세히 설명한 바 있다. 그리고 보정부(140)는 분류된 에지 바이너리 패턴에 따라 실험적으로 결정된 최정의 보정값을 찾는다.
이후 단계 S250에서 출력부(150)는 보정부(140)에서 보정된 보정값을 출력함으로써 결함 화소에 대한 처리를 완료하게 된다.
만약 단계 S238에서 정상 화소로 판단한 경우에는 단계 S260으로 진행하여 출력부(150)는 보정되지 않은 중심 화소값을 그대로 출력한다.
상술한 결함 화소 처리 방법은 결함 화소 처리 장치(100)에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
도 9는 본 발명의 일 실시예에 따른 결함 화소 처리 장치에 의해 처리되기 이전의 영상과 처리 이후의 영상을 비교하여 도시한 예시도이다.
도 9의 (a)는 본 발명의 일 실시예에 따른 결함 화소 처리 장치에 입력되는 원본 영상을 예시하여 도시한 것이고, 도 9의 (b)는 결함 화소를 검출하여 보정을 수행한 결과 영상을 예시하여 도시한 것이다.
도 9의 (a)에서 영상의 일부에 점처럼 표시되는 결함 화소가 다수 표시되어 있으나, 도 9의 (b)에서는 이러한 결함 화소들이 모두 검출되어 보정되었음을 알 수 있다.
본 발명에 따르면, M x M 베이어 패턴 중 자기 성분만을 사용하며, 중심 화소뿐만 아니라 N x N 자기 성분 마스크 내 주변 화소들의 특징을 파악하여 결함 화소를 검출하게 된다. 그리고 검출된 결함 화소는 마스크의 에지 바이너리 패턴을 분류하여 최적의 보정값을 찾기 때문에 위색의 발생을 최소화하면서 결함 화소를 제거할 수 있도록 한다. 또한, 개수의 제한 없이 검출 임계치의 조정만으로 결함 화소를 검출하고 보정할 수 있으며, 조정 가능한 파라미터의 수가 적어 튜닝이 간편한 장점이 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 결함 화소 처리 장치 110: 영상 패턴 입력부
120: 자기 성분 추출부 130: 결함 화소 판단부
140: 보정부 150: 출력부
10: 5x5 베이어 패턴 20: 3x3 자기 성분 마스크
132: 기준값 계산 모듈 134: 주파수 차이값 계산 모듈
136: 검출 임계치 계산 모듈 138: 판단 모듈
30: 검출 임계치 그래프
120: 자기 성분 추출부 130: 결함 화소 판단부
140: 보정부 150: 출력부
10: 5x5 베이어 패턴 20: 3x3 자기 성분 마스크
132: 기준값 계산 모듈 134: 주파수 차이값 계산 모듈
136: 검출 임계치 계산 모듈 138: 판단 모듈
30: 검출 임계치 그래프
Claims (21)
- 입력 영상의 결함 화소를 처리하는 장치로서,
상기 입력 영상 중 결함 화소 여부를 판단하기 위한 대상 화소를 포함하는 M x M 베이어 패턴(bayer pattern)을 입력받는 영상 패턴 입력부;
상기 M x M 베이어 패턴 중 상기 대상 화소에 상응하는 자기 성분을 추출하여 N x N 자기 성분 마스크를 생성하는 자기 성분 추출부-여기서, M 및 N은 자연수이고, M > N임-;
상기 N x N 자기 성분 마스크의 특성 분석을 통해 상기 대상 화소가 결함 화소인지 여부를 판단하는 결함 화소 판단부;
상기 대상 화소가 결함 화소인 경우 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴(edge binary pattern)을 파악하여 보정을 수행하는 보정부; 및
상기 대상 화소가 결함 화소인 경우 상기 보정부에서 수행된 보정값을 상기 대상 화소의 화소값으로 출력하고 상기 대상 화소가 정상 화소인 경우 상기 대상 화소의 화소값을 그대로 출력하는 출력부를 포함하는 결함 화소 처리 장치.
- 제1항에 있어서,
상기 M x M 베이어 패턴은 상기 대상 화소를 중심 화소로 포함하는 것을 특징으로 하는 결함 화소 처리 장치.
- 제1항에 있어서,
상기 자기 성분 추출부는 상기 M x M 베이어 패턴 내의 화소들 중 상기 대상 화소의 색 성분과 동일한 색 성분을 가지는 화소들을 선택하여 그 상대적 위치가 대응되는 상기 N x N 자기 성분 마스크를 생성하는 것을 특징으로 하는 결함 화소 처리 장치.
- 제1항에 있어서,
상기 결함 화소 판단부는,
상기 N x N 자기 성분 마스크 내의 중심 화소를 기준으로 주변 화소값과의 차이를 계산하여 결함 화소 여부를 판단하기 위한 기준값을 계산하는 기준값 계산 모듈과;
상기 N x N 자기 성분 마스크 내에 고주파 성분이 포함된 양을 유추하기 위한 주파수 차이값을 계산하는 주파수 차이값 계산 모듈과;
검출 임계치 그래프를 이용하여 상기 주파수 차이값에 따른 검출 임계치를 계산하는 검출 임계치 계산 모듈과;
상기 기준값 및 상기 검출 임계치를 비교하여 상기 대상 화소가 결함 화소인지 여부를 판단하는 판단 모듈을 포함하는 것을 특징으로 하는 결함 화소 처리 장치.
- 제4항에 있어서,
상기 기준값 계산 모듈은 상기 N x N 자기 성분 마스크의 주변 화소들 각각과 중심 화소의 화소값 차이의 절대값을 계산하고, 이를 오름차순 정렬한 후 최초 소정 개수의 평균을 상기 기준값으로 계산하는 것을 특징으로 하는 결함 화소 처리 장치.
- 제4항에 있어서,
상기 주파수 차이값 계산 모듈은 상기 N x N 자기 성분 마스크 내의 화소값 중 최대값과 최소값의 차이를 상기 주파수 차이값으로 계산하는 것을 특징으로 하는 결함 화소 처리 장치.
- 제4항에 있어서,
상기 검출 임계치 계산 모듈은 하기 수학식에 따른 검출 임계치 그래프를 이용하여 상기 검출 임계치를 계산하는 것을 특징으로 하는 결함 화소 처리 장치.
[수학식]
여기서, Freq_diff_value는 상기 주파수 차이값 계산 모듈에서 계산된 주파수 차이값이고, dpc_freq_thr은 저주파와 고주파를 구분하기 위한 주파수 임계치이며, dpc_freq_width는 저주파와 고주파의 임계치를 보간하는 너비이고, dpc_lf_thr은 저주파에 대한 결함 화소 검출 임계치이며, dpc_hf_thr은 고주파에 대한 결함 화소 검출 임계치임.
- 제4항에 있어서,
상기 검출 임계치 그래프는 상기 대상 화소가 속하는 휘도 영역에 따라 조정 가능한 것을 특징으로 하는 결함 화소 처리 장치.
- 제1항에 있어서,
상기 보정부는 상기 N x N 자기 성분 마스크에서 중심 화소를 제외한 나머지 주변 화소들에 대하여 최대값과 최소값의 평균보다 크거나 같은 경우를 '1'로, 작은 경우를 '0'으로 매칭시키고, 임의의 주변 화소로부터 소정 방향으로 각 주변 화소들의 연속된 매칭값을 이진값에 대응시킴으로써 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 분류하는 것을 특징으로 하는 결함 화소 처리 장치.
- 제9항에 있어서,
상기 보정부는 상기 N x N 자기 성분 마스크에 대하여 분류된 에지 바이너리 패턴에 따라 '0'으로 매칭된 주변 화소들의 화소값 평균, '1'로 매칭된 주변 화소들의 화소값 평균, 상기 N x N 자기 성분 마스크 내 모든 화소들의 화소값 중 중간값 중 하나를 상기 대상 화소의 보정값으로 결정하는 것을 특징으로 하는 결함 화소 처리 장치.
- 입력 영상의 결함 화소를 처리하는 방법으로서,
상기 입력 영상 중 결함 화소 여부를 판단하기 위한 대상 화소를 포함하는 M x M 베이어 패턴(bayer pattern)을 입력받는 단계;
상기 M x M 베이어 패턴 중 상기 대상 화소에 상응하는 자기 성분을 추출하여 N x N 자기 성분 마스크를 생성하는 단계-여기서, M 및 N은 자연수이고, M > N임-;
상기 N x N 자기 성분 마스크의 특성 분석을 통해 상기 대상 화소가 결함 화소인지 여부를 판단하는 단계;
상기 대상 화소가 결함 화소인 경우 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴(edge binary pattern)을 파악하여 보정을 수행하는 단계; 및
상기 대상 화소가 결함 화소인 경우 상기 보정부에서 수행된 보정값을 상기 대상 화소의 화소값으로 출력하고 상기 대상 화소가 정상 화소인 경우 상기 대상 화소의 화소값을 그대로 출력하는 단계를 포함하는 결함 화소 처리 방법.
- 제11항에 있어서,
상기 M x M 베이어 패턴은 상기 대상 화소를 중심 화소로 포함하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제11항에 있어서,
상기 자기 성분 추출 단계는 상기 M x M 베이어 패턴 내의 화소들 중 상기 대상 화소의 색 성분과 동일한 색 성분을 가지는 화소들을 선택하여 그 상대적 위치가 대응되는 상기 N x N 자기 성분 마스크를 생성하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제11항에 있어서,
상기 결함 화소 판단 단계는,
상기 N x N 자기 성분 마스크 내의 중심 화소를 기준으로 주변 화소값과의 차이를 계산하여 결함 화소 여부를 판단하기 위한 기준값을 계산하는 단계와;
상기 N x N 자기 성분 마스크 내에 고주파 성분이 포함된 양을 유추하기 위한 주파수 차이값을 계산하는 단계와;
검출 임계치 그래프를 이용하여 상기 주파수 차이값에 따른 검출 임계치를 계산하는 단계와;
상기 기준값 및 상기 검출 임계치를 비교하여 상기 대상 화소가 결함 화소인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제14항에 있어서,
상기 기준값 계산 단계는,
상기 N x N 자기 성분 마스크의 주변 화소들 각각과 중심 화소의 화소값 차이의 절대값을 계산하는 단계;
이를 오름차순 정렬한 후 최초 소정 개수의 평균을 상기 기준값으로 계산하는 단계를 포함하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제14항에 있어서,
상기 주파수 차이값 계산 단계는 상기 N x N 자기 성분 마스크 내의 화소값 중 최대값과 최소값의 차이를 상기 주파수 차이값으로 계산하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제14항에 있어서,
상기 검출 임계치 계산 단계는 하기 수학식에 따른 검출 임계치 그래프를 이용하여 상기 검출 임계치를 계산하는 것을 특징으로 하는 결함 화소 처리 방법.
[수학식]
여기서, Freq_diff_value는 상기 주파수 차이값 계산 단계에서 계산된 주파수 차이값이고, dpc_freq_thr은 저주파와 고주파를 구분하기 위한 주파수 임계치이며, dpc_freq_width는 저주파와 고주파의 임계치를 보간하는 너비이고, dpc_lf_thr은 저주파에 대한 결함 화소 검출 임계치이며, dpc_hf_thr은 고주파에 대한 결함 화소 검출 임계치임.
- 제14항에 있어서,
상기 검출 임계치 그래프는 상기 대상 화소가 속하는 휘도 영역에 따라 조정 가능한 것을 특징으로 하는 결함 화소 처리 방법.
- 제11항에 있어서,
상기 보정 단계는,
상기 N x N 자기 성분 마스크에서 중심 화소를 제외한 나머지 주변 화소들에 대하여 최대값과 최소값의 평균보다 크거나 같은 경우를 '1'로, 작은 경우를 '0'으로 매칭시키는 단계;
임의의 주변 화소로부터 소정 방향으로 각 주변 화소들의 연속된 매칭값을 이진값에 대응시킴으로써 상기 N x N 자기 성분 마스크의 에지 바이너리 패턴을 분류하는 단계를 포함하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제19항에 있어서,
상기 보정 단계는 상기 N x N 자기 성분 마스크에 대하여 분류된 에지 바이너리 패턴에 따라 '0'으로 매칭된 주변 화소들의 화소값 평균, '1'로 매칭된 주변 화소들의 화소값 평균, 상기 N x N 자기 성분 마스크 내 모든 화소들의 화소값 중 중간값 중 하나를 상기 대상 화소의 보정값으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 결함 화소 처리 방법.
- 제11항 내지 제20항 중 어느 한 항에 기재된 결함 화소 처리 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100127498A KR101175737B1 (ko) | 2010-12-14 | 2010-12-14 | 결함 화소 처리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100127498A KR101175737B1 (ko) | 2010-12-14 | 2010-12-14 | 결함 화소 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120066252A true KR20120066252A (ko) | 2012-06-22 |
| KR101175737B1 KR101175737B1 (ko) | 2012-08-21 |
Family
ID=46685669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100127498A KR101175737B1 (ko) | 2010-12-14 | 2010-12-14 | 결함 화소 처리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101175737B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140014662A (ko) * | 2012-07-25 | 2014-02-06 | 엘지디스플레이 주식회사 | 데이터보간장치 및 데이터보간방법 |
| US9258555B2 (en) | 2012-08-29 | 2016-02-09 | Hanwha Techwin Co., Ltd. | Apparatus and method for determining defect pixel |
| CN112666178A (zh) * | 2020-12-14 | 2021-04-16 | 杭州当虹科技股份有限公司 | 一种户外led大屏坏点在线监控方法 |
| KR20220081464A (ko) * | 2020-12-09 | 2022-06-16 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| CN118015000A (zh) * | 2024-04-09 | 2024-05-10 | 陕西思诺特精密科技有限公司 | 一种基于图像处理的导轨用表面缺陷检测方法 |
| WO2024125145A1 (zh) * | 2022-12-16 | 2024-06-20 | 深圳市中兴微电子技术有限公司 | 坏点检测方法、装置、设备及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4453332B2 (ja) * | 2003-10-17 | 2010-04-21 | ソニー株式会社 | 欠陥画素検出方法、検出装置および撮像装置 |
| KR100683415B1 (ko) * | 2005-12-29 | 2007-02-22 | 엠텍비젼 주식회사 | 불량픽셀 처리 장치 |
| KR100906606B1 (ko) * | 2007-06-28 | 2009-07-09 | 엠텍비젼 주식회사 | 불량 화소 처리 방법 및 장치 |
| KR100915970B1 (ko) * | 2007-09-10 | 2009-09-10 | 연세대학교 산학협력단 | 이미지 센서에 의해 획득된 영상의 컬러를 보정하는 방법및 장치 |
-
2010
- 2010-12-14 KR KR1020100127498A patent/KR101175737B1/ko active IP Right Grant
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140014662A (ko) * | 2012-07-25 | 2014-02-06 | 엘지디스플레이 주식회사 | 데이터보간장치 및 데이터보간방법 |
| US9258555B2 (en) | 2012-08-29 | 2016-02-09 | Hanwha Techwin Co., Ltd. | Apparatus and method for determining defect pixel |
| KR20220081464A (ko) * | 2020-12-09 | 2022-06-16 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| CN112666178A (zh) * | 2020-12-14 | 2021-04-16 | 杭州当虹科技股份有限公司 | 一种户外led大屏坏点在线监控方法 |
| WO2024125145A1 (zh) * | 2022-12-16 | 2024-06-20 | 深圳市中兴微电子技术有限公司 | 坏点检测方法、装置、设备及介质 |
| CN118015000A (zh) * | 2024-04-09 | 2024-05-10 | 陕西思诺特精密科技有限公司 | 一种基于图像处理的导轨用表面缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101175737B1 (ko) | 2012-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101175737B1 (ko) | 결함 화소 처리 방법 및 장치 | |
| US7800661B2 (en) | Programmable pattern matching device | |
| US7432985B2 (en) | Image processing method | |
| US7764319B2 (en) | Image processing apparatus, image-taking system, image processing method and image processing program | |
| KR101172399B1 (ko) | 화상형성장치 및 그 화질 개선 방법 | |
| US20130343646A1 (en) | Image processing apparatus and control method thereof | |
| US8737762B2 (en) | Method for enhancing image edge | |
| US8355537B2 (en) | Image processing apparatus and control method thereof | |
| US8335375B2 (en) | Image processing apparatus and control method thereof | |
| US8335373B2 (en) | Image processing apparatus and control method thereof | |
| US20080112639A1 (en) | Method and apparatus for removing noise in dark area of image | |
| US7945095B2 (en) | Line segment detector and line segment detecting method | |
| US8471933B2 (en) | Image processing apparatus, image processing method and computer program | |
| JP6740612B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP6676962B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4331120B2 (ja) | 欠陥画素検出方法 | |
| US20110149069A1 (en) | Image processing apparatus and control method thereof | |
| JP2003209704A (ja) | 画像処理方法、画像処理装置、画像形成装置、画像処理プログラムおよび記録媒体 | |
| CN111147693B (zh) | 一种全尺寸拍照图像的降噪方法及装置 | |
| JP4057662B2 (ja) | 画像処理装置および画像処理方法 | |
| US20060146197A1 (en) | Apparatus and method for correcting image | |
| CN112581380A (zh) | 图像的色彩增强方法、装置和服务器 | |
| JP3966448B2 (ja) | 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体 | |
| JP2007243330A (ja) | 画像処理装置、および網点文字の情報出力方法 | |
| JP5069599B2 (ja) | 映像変換装置、映像変換方法および映像変換プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150729 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160801 Year of fee payment: 5 |