KR101500252B1 - 화상 처리 장치 및 픽셀값 보간 방법 - Google Patents

Abstract

대상 결함 화소를 포함하는 판정 영역이 주기성 영역인지 판정하는 주기성 판정 유닛과, 제1 보간법으로 픽셀값을 생성하는 제1 픽셀값 생성 유닛과, 제2 픽셀값 보간법으로 픽셀값을 생성하는 제2 픽셀값 생성 유닛과, 주기성 판정 유닛의 판정에 기초하여 제1 픽셀값 생성 유닛과 제2 픽셀값 생성 유닛 중 어떤 것을 이용할지를 결정하는 제어 유닛과, 채용이 결정된 픽셀값 생성 유닛에 의해 생성된 픽셀값을 삽입하는 픽셀값 보간 유닛과, 결함 화소의 이웃 화소의 픽셀값을 갱신하는 픽셀값 갱신 유닛을 포함하는 화상 처리 장치가 제공된다.

Description

화상 처리 장치 및 픽셀값 보간 방법{IMAGE PROCESSING APPARATUS AND METHOD OF SUPPLEMENTING PIXEL VALUE}

본 발명은 화상 처리 장치 및 픽셀값을 보간하는 방법에 관한 것이며, 더 구체적으로는 픽셀값이 누락되거나 픽셀값이 부정한 화소의 픽셀값을 보간할 수 있는 화상 처리 장치 및 픽셀값 보간 방법에 관한 것이다.

광학 유닛을 이용하여 화상을 판독하는 스캐너 장치로서, CIS(Contact Image Sensor)를 채용한 스캐너 장치와, CCD(Charge Coupled Device)를 채용한 스캐너 장치가 알려져 있다. CIS를 채용한 스캐너 장치의 경우, 원고가 판독면과 접촉해 있을 때에는, 3차원 오브젝트를 판독하기에 적합하지 않다. 그러나, 이 CIS를 채용한 스캐너 장치는 CCD를 채용한 장치보다 더 얇고 값도 싸며 판독된 화상 데이터에 발생하기 쉬운 노이즈를 저감시키는 기술이 개선되고 있기 때문에, 오늘날 널리 사용되고 있다. 예컨대, CIS는 단일 경로로 원고의 화상을 양면 판독할 수 있는 화상 판독 장치에서 원고의 이면 화상을 판독하기 위해 채용되고 있다.

여기서, CIS의 경우, RGB의 광이 고속으로 전환되는 RGB 발광 다이오드(LED)를 광원으로서 이용한다. 원고로부터의 광은 렌즈를 통해서 이미지 센서(CMOS 이미지 센서)에 입력되고, 그 이미지 센서에 입력된 광은 각 화소의 전압값으로 변환되어 출력된다.

CIS를 채용한 스캐너 장치는 롤러로 원고를 센서에 밀착시켜 1 라인씩 원고의 화상을 판독하는 컨택트 이미지 센서를 채용한다. 단일의 긴 센서를 형성하기 어렵기 때문에, CIS의 판독 유닛은 길이 방향으로 배열된 복수의 짧은 센서들로 구성된다. 이 때문에, 센서 간에 일정한 갭이 생기고 이 갭에서는 화상 신호를 취득할 수 없다. 그 결과, 픽셀값이 없는(픽셀값이 누락된) 화소가 생긴다.

CIS를 채용한 스캐너 장치에 한정되지는 않지만, 화상을 판독하는 센서의 문제점이나, 원고가 세팅되는 컨택트 유리의 오염과 같이 광로에 존재하는 차폐물로 인해, 픽셀값이 누락하거나 픽셀값이 부정한 화소가 화상 데이터에 포함되는 상황이 있을 수 있다.

이러한 픽셀값이 누락되거나 픽셀값이 부정한 화소의 존재는 화질 저하를 일으킨다. 그래서, 픽셀값이 누락되거나 픽셀값이 부정한 화소의 픽셀값을, 주변 화소의 픽셀값에 기초해 추정하여, 누락된 픽셀값이나 부정한 픽셀값을 그 추정된 값으로 보간하는 기술이 알려져 있다.

예컨대, 픽셀값이 보간되는 대상 화소의 픽셀값을, 주변 화소의 픽셀값을 이용하여 추정하는, 선형 내삽, 2차 이상의 함수를 이용하는 다항식 내삽, 스플라인 내삽 등의 내삽법이 알려져 있다. 그러나, 선형 내삽을 이용한 내삽법은 그라데이션 변화가 적은 영역에 포함된 화소의 픽셀값을 내삽하는 데에는 적합하지만, 망점 영역과 같이 그라데이션 변화가 심한 영역에는 내삽법이 적합하지 않다.

다항식 내삽이나 스플라인 내삽을 이용한 내삽법은 디지털 사진 등의 화상에 있어서 화상의 변동 주기에 대해 샘플링 주기가 충분히 짧을 경우, 대상 화소의 픽셀값을 높은 정확도로 추정할 수 있다. 그러나, 망점 화상에 관해서는, 망점의 스크린 선수에 대해 화상의 해상도가 충분히 정의될 수 없기 때문에, 샘플링 주기가 화상의 변동 주기에 대해 불분명하므로, 정확한 픽셀값을 추정하기 어렵다.

그래서, 그러한 내삽에 의한 문제점을 해결하기 위해서, 패턴 매칭법이 제안되고 있다. 이 방법에서는, 전술한 바와 같이 내삽법으로 추정되기 어려운 고빈도(변동 주기가 짧은) 영역에 있는 대상 화소의 픽셀값이 그 대상 화소의 근방에 위치하는 유사 패턴을 이용하여 추정될 수 있다.

그러나, 패턴 매칭법에 따르면, 내삽법을 이용한 경우와 비교해서 기준 패턴에 포함된 화소의 다수개의 픽셀값을 이용하여 유사 패턴이 선택되기 때문에, 템플릿인 대상 화소를 포함하는 기준 패턴에 대한 최적의 유사 패턴이 취득될 수 있다고 해도, 선택된 유사 패턴이 반드시 대상 픽셀에 대해 최적의 픽셀값을 포함할 수는 없다. 이 문제는 패턴 매칭으로 기준 패턴의 유사 패턴을 탐색할 때에, 전체적으로 조금씩 기준 패턴과 상이한 패턴과, 대부분이 일치하지만 일부가 기준 패턴과 크게 상이한 패턴이 구별되지 않을 때에 생긴다.

특히, 특정 화소만이 픽셀값을 갖고 있는 스크린 선수가 높은 망점 영역의 경우, 유사 패턴을 선택하는 방법이 대상의 픽셀값의 추정에 큰 영향을 준다. 농도가 낮은 망점 영역의 경우, 그 영역의 대부분이 배경으로 이루어져 있고, 배경은 유사 패턴인 것으로 검출될 수도 또는 검출될 수 없을 수도 있다.

전술한 바와 같이, 대상 화소를 포함하는 영역의 특성에 기초하여 대상 화소의 픽셀값을 보간할 때에 적절한 방법을 이용하는 것이 필요하다.

일본 특허 번호 제4330164호에 따르면, 대상 화소가 망점 영역 내에 있을 경우에는, 대상 화소를 포함하는 대상 패턴의 유사 패턴을 선택하여, 그 대상 화소에 대응하는 위치에 위치하는 선택된 패턴 내의 화소의 픽셀값을 대상 화소에 대한 추정 픽셀값으로서 이용하는 패턴 매칭법을 이용하는 장치가 제안되고 있다.

이 장치에서는, 컨택트 이미지 센서 간의 갭에 대응하는 대상 화소가 망점 영역 내에 존재하는지 또는 비망점 영역 내에 존재하는지를 결정한 다음, 대상 화소가 망점 영역 내에 존재한다고 결정될 경우에는 선형 보간법을 이용하여 대상 화소의 픽셀값을 생성하고, 대상 화소가 비망점 영역 내에 존재한다고 결정될 경우에는 패턴 매칭법을 이용하여 대상 화소의 픽셀값을 생성한다.

이 때, 패턴 매칭법을 이용할 경우, 대상 화소의 근방 화상에는, 대상 화소를 포함하는 하나의 기준 블록과, 그 기준 블록과 동일한 사이즈를 갖는 복수의 참조 블록이 설정된다. 기준 블록 내의 화소 데이터와 각 참조 블록 내의 화소 데이터에 기초하여, 기준 블록과 각 참조 블록 간의 상관값이 산출된다. 기준 블록과의 상관값이 가장 높은 참조 블록이 선택되고, 대상 화소에 대응하는 선택된 참조 블록 내의 화소의 픽셀값이 그 대상 화소의 추정 픽셀값으로서 결정된다.

그러나, 종래에 알려진 보간법에서는, 대상 화소의 픽셀값이 충분히 정확하게 추정되지 않을 경우, 대상 화소와 그 대상 화소 주위의 화소의 픽셀값 간의 차가 너무 커져 불연속 화상이 된다는 문제가 있다. 또한, 컨택트 이미지 센서를 채용하는 CIS에서는, 조립 오차 때문에 센서 간의 갭 폭이 화소 폭의 정수배가 되지 않더라도 센서 간의 갭 폭이 화소 폭의 정수배라고 가정한다. 그러한 오차가 발생할 경우, 센서 중 어느 하나에 의해 판독된 화상 영역과 다른 센서에 의해 판독된 화상 영역 간에는 왜곡이 생길 수 있다.

예컨대, 서로 평행하게 그려진 선을 포함하는 화상이 부주사 방향을 따라 판독될 경우, 2 라인 간에 갭이 존재하는 선에 있어서 2 라인 사이의 거리는 다른 2 라인 사이의 거리와 상이해진다. 또한, 조립시 센서의 오차가 생긴다면, 부주사 방향에 대해 경사진 방향으로 연장되는 하나의 선을 포함하는 화상이 판독될 경우, 그 센서에 대응하여, 화상 데이터의 각 영역마다 그 선이 상하 방향 및 좌우 방향으로 각각 시프트할 것이다. 이들 경우에 있어서, 화상이 부주사 방향을 따라 연장되는 선을 포함하거나 화상이 단일 선을 포함하기 때문에, 그러한 오차가 생기더라도 화질에 심각한 영향을 주는 일은 없다. 그 이유는 화상에 영향을 미치는 갭의 수가 그다지 많지 않고 그 갭에 의해 생기는 왜곡도 발견되기 쉽지 않기 때문이다.

그러나, 망점 화상의 경우에는 그러한 오차가 화질에 심각한 영향을 줄 수 있다. 망점 화상의 경우, 망점이 주주사 방향인 수평 방향에 대해 스크린각을 갖는 선 상에 미리 정해진 주기(스크린 선수)로 배치되는데, 예컨대 스크린 선수는 인치 당 대략 40 내지 200이다. 특히 스크린 선수가 높은 화상의 경우, 망점의 간격이 약 0.1 ㎜에 매우 근접하게 되어, 센서의 조립 오차를 무시할 수 없다.

또한, 망점이 센서 간의 갭에 존재할 경우, 조립시 오차에 의해서 망점의 형상이 변형되고, 갭으로 인해 픽셀값이 누락된 대상 화소의 픽셀값은 추정되기 어렵다. 그렇기 때문에, 대상 화소의 추정 픽셀값은, 대상 화소의 좌측에 위치하는 영역 내의 화소에 의해 픽셀값이 추정되는 경우와, 대상 화소의 우측에 위치하는 영역 내의 화소에 의해 픽셀값이 추정되는 경우에 다를 수 있다. 이러한 경우에, 대상 화소에 대한 정확한 픽셀값을 찾기 곤란하다. 그러한 픽셀값의 평균이 대상 화소에 보간되더라도, 대상 화소와 그 대상 화소의 주변 화소 간에는 불연속성이 생길 수 있다.

일본 특허 제4330164호

본 발명은 상기 과제를 감안한 것으로서, 원래 픽셀값이 누락되거나 픽셀값이 부정한 대상 화소인 결함 화소의 픽셀값을 보간하여, 대상 화소와 그 대상 화소의 주변 화소 간의 불연속성을 흡수함으로써 대상 화소를 주변 화소에 조화시킬 수 있는 장치 또는 방법을 제공한다.

본 발명은 발명자들이 그렇게 얻은 지식에 기초하여 이루어진 것이며 다음의 구성을 갖는다.

실시형태에 따르면, 대상 화상에서 픽셀값이 보간되어야 하는 결함 화소를 포함하는 판정 영역을 설정하고, 상기 판정 영역이, 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하는 주기성 영역인지 또는 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하지 않는 비주기성 영역인지를 판정하는 주기성 판정 유닛과, 상기 결함 화소의 후보 픽셀값과, 상기 결함 화소의 근방에 위치하며 미리 정해진 영역 내에 포함되는 이웃 화소의 후보 픽셀값을 제1 보간법으로 생성하는 제1 픽셀값 생성 유닛과, 상기 결함 화소의 후보 픽셀값을 제1 보간법과 상이한 제2 보간법으로 생성하는 제2 픽셀값 생성 유닛과, 상기 주기성 판정 유닛의 판정에 기초하여, 상기 제1 픽셀값 생성 유닛과 상기 제2 픽셀값 생성 유닛 중 어떤 것을, 상기 결함 화소의 후보 픽셀값을 생성하기 위해 채용할 것인지를 결정하는 제어 유닛과, 상기 제어 유닛에 의해 채용이 결정된 제1 픽셀값 생성 유닛 또는 제2 픽셀값 생성 유닛 중 어느 하나에 의해 생성된 결함 화소의 후보 픽셀값을 삽입하는 픽셀값 보간 유닛과, 상기 제어 유닛에 의해 상기 제1 픽셀값 생성 유닛이 채용되기로 결정될 경우, 상기 제1 픽셀값 생성 유닛에 의해 생성된 이웃 화소의 후보 픽셀값을 이용하여 상기 이웃 화소의 픽셀값을 갱신하는 픽셀값 갱신 유닛을 포함하는 화상 처리 장치가 제공된다.

이 구조에 의해, 픽셀값이 급격히 변하는 화상에 대해서도 높은 정확도로 보간 작업이 수행될 수 있다. 또한, 제1 픽셀값 생성 유닛이 채용되기로 결정될 경우에, 적어도 제1 픽셀값 생성 유닛이 결함 화소의 픽셀값 외에 이웃 화소의 픽셀값을 생성하고, 픽셀값 갱신 유닛은 이웃 화소의 픽셀값을 갱신한다. 주위 위치가 이웃 화소의 위치보다 더 멀리 떨어진 주변 화소와 결함 화소 간의 불연속성이 완화될 수 있고 결함 화소가 다른 화소에 조화될 수 있다.

예컨대, 제1 보간법으로는 패턴 매칭법이 이용될 수 있고, 제2 보간법으로는 내삽법이 이용될 수 있다.

다른 실시형태에 있어서, 결함 화소를 포함하도록 설정된 판정 영역이, 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하는 주기성 영역인지 또는 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하지 않는 비주기성 영역인지를 판정하는 단계와, 상기 판정 영역이 주기성 영역인지 비주기성 영역인지의 판정에 기초하여, 상기 결함 화소의 후보 픽셀값과, 상기 결함 화소의 근방에 위치하며 미리 정해진 영역 내에 포함되는 이웃 화소의 후보 픽셀값을 제1 보간법으로 생성하는 제1 픽셀값 생성 유닛과, 상기 결함 화소의 후보 픽셀값을 제1 보간법과 상이한 제2 보간법으로 생성하는 제2 픽셀값 생성 유닛 중 어떤 것을, 상기 결함 화소의 후보 픽셀값을 생성하기 위해 채용할 것인지를 결정하는 단계와, 채용이 결정된 제1 픽셀값 생성 유닛 또는 제2 픽셀값 생성 유닛 중 어느 하나에 의해 생성된 결함 화소의 후보 픽셀값을 삽입하는 단계와, 상기 결함 화소의 픽셀값의 후보를 생성하기 위해 상기 제1 픽셀값 생성 유닛이 채용되기로 결정될 경우에, 상기 제1 픽셀값 생성 유닛에 의해 생성된 이웃 화소의 후보 픽셀값을 이용하여 이웃 화소의 픽셀값을 갱신하는 단계를 포함하는, 대상 화상에 포함되며 픽셀값이 보간되어야 하는 결함 화소의 픽셀값을 보간하는 방법이 제공된다.

다른 실시형태에 있어서, 전술한 바와 같이 결함 화소의 픽셀값을 보간하는 방법을 실현시키는 컴퓨터로 판독 가능한 프로그램, 또는 이 프로그램을 저장한 기록 매체도 제공될 수 있다. 기록 매체는 배포형 FD, CD, DVD, SD 카드, USB 메모리 등일 수 있다.

본 발명의 다른 목적, 특징 및 이점은 첨부하는 도면과 함께 이하의 상세한 설명으로부터 더 분명해질 것이다.
도 1은 실시형태의 화상 처리 장치의 하드웨어 구성을 예시하는 블록도이다.
도 2는 실시형태의 화상 처리 장치의 기능 구성을 예시하는 블록도이다.
도 3은 결함 화소가 포함되어 있는 화상 데이터를 예시하는 도면이다.
도 4a는 판정 영역에 포함된 화소를 예시하는 설명도이다.
도 4b는 판정 영역의 수평 방향의 화소의 위치와 화소의 픽셀값 간의 관계를 보여주는 설명도이다.
도 5a는 주기성을 갖는 화상을 보여주는 설명도이다.
도 5b는 주기성을 갖는 화상을 보여주는 설명도이다.
도 5c는 주기성이 없는 화상을 보여주는 설명도이다.
도 5d는 주기성이 없는 화상을 보여주는 설명도이다.
도 5e는 주기성이 없는 화상을 보여주는 설명도이다.
도 5f는 주기성이 없는 화상을 보여주는 설명도이다.
도 6a는 도 4a에 도시한 것과 동일한 화소를 예시하는 설명도이다.
도 6b는 결함 화소를 포함하는 대표 주기에 대응하는 화소를 보여주는 설명도이다.
도 6c는 결함 화소를 포함하는 템플릿을 예시하는 설명도이다.
도 6d는 템플릿을 포함하는 탐색 영역을 예시하는 설명도이다.
도 7은 결함 화소를 포함하는 템플릿을 예시하는 설명도이다.
도 8a는 직선 상에 배열되는 화소의 위치와 픽셀값 간의 관계를 보여주는 설명도이다.
도 8b는 곡선 상에 배열되는 화소의 위치와 픽셀값 간의 관계를 보여주는 설명도이다.
도 9는 도 2에 도시하는 화상 처리 장치의 각 유닛에 의해 수행되는 보간 작업을 예시하는 흐름도이다.
도 10은 도 9에 나타낸 단계 S910과 단계 S915의 작업을 상세하게 보여주는 흐름도이다.
도 11a는 판정 영역을 보여주는 설명도이다.
도 11b는 판정 영역을 보여주는 설명도이다.
도 11c는 판정 영역을 보여주는 설명도이다.
도 12는 도 10에 나타낸 단계 S1010, 단계 S1020 및 단계 S1025에서 수행되는 작업을 상세하게 보여주는 흐름도이다.
도 13은 제1 픽셀값 생성 유닛에 의해 단계 S930에서 수행되는 작업을 보여주는 흐름도이다.
도 14는 실시형태의 화상 처리 장치의 기능 구성을 도시하는 블록도이다.
도 15는 도 14에 도시한 화상 처리 장치의 각 유닛에 의해 수행되는 보간 작업을 예시하는 흐름도이다.

이하, 예시하는 실시형태를 참조하여, 본 발명에 대해 설명한다. 당업자라면, 본 발명의 지침을 이용하여 다수의 대체 실시형태가 실현될 수 있으며 본 발명이 이 예시적인 실시형태에 한정되지 않는다는 것을 알 것이다.

다음으로, 도면을 참조하여, 이하, 본 발명의 실시형태에 대해 설명한다.

도면의 설명에 있어서, 같은 구성요소에는 같은 도면부호를 부여하고 설명은 반복하지 않는다는 것을 주지해야 한다.

실시형태에 따르면, 픽셀값이 누락되거나 픽셀값이 부정한 화소(결함 화소)의 픽셀값을 추정하여 보간한다. 또한, 그 결함 화소의 근방에 위치하며, 결함 화소를 포함하는 미리 정해진 영역 내에 포함되는 이웃 화소의 픽셀값도 추정되어, 결함 화소, 이웃 화소, 그리고 그 이웃 화소보다 더 멀리 위치하는 화소의 픽셀값들이 연속되도록 변경된다. 짧은 거리 내에서 픽셀값들이 급격하게 변할 경우, 그 변화는 쉽게 인식될 수 있지만, 실시형태에 따르면, 이웃 화소의 픽셀값 역시 변경됨으로써 불연속성이 완화될 수 있다.

(제1 실시형태)

본 실시형태에 화상 처리 장치는 케이블을 통해 직접 또는 네트워크를 거쳐, 원고 등에 있는 화상을 판독하는 스캐너 장치와 접속된다.

스캐너 장치는 CIS를 채용한 스캐너 장치에 한정되지 않을 수 있다. 전술한 바와 같이, 이 스캐너 장치에 의해 취득된 화상 데이터는 센서 간의 갭 등에 의해 픽셀값이 누락하거나 픽셀값이 부정한 화소를 포함할 수 있기 때문에, 화상 처리 장치는 그러한 픽셀값이 누락하거나 픽셀값이 부정한 화소의 정확한 픽셀값을 추정하여 보간하는 보간 작업을 수행한다.

이하, 픽셀값이 누락하거나 픽셀값이 부정하여, 정확한 픽셀값을 추정하여 보간해야 하는 화소를 간단히 "결함 화소"라고 칭한다.

본 실시형태의 화상 처리 장치는 보간 작업이 수행되어야 하는 화상 데이터의 입력을 접수하고, 결함 화소를 특정하며, 어떤 보간법을 채용할지를 결정하고, 그 보간법으로 결함 화소에 대해 보간될 픽셀값을 구하며, 또한 그 결함 화소의 이웃에 존재하는 이웃 화소와 그 이웃 화소보다 더 멀리 존재하는 주변 화소 간의 불연속성을 완화시키기 위해 이웃 화소에 대한 픽셀값도 구하여, 이웃 화소의 픽셀값을 갱신한다.

여기서, 픽셀값은 1 화소를 8 비트로 표현하는 그레이 스케일 화상 데이터에 있어서, 블랙에 픽셀값 0이, 화이트에 픽셀값 255가 지정되는 0과 255 사이의 범위일 수 있다. 한편, 픽셀값은 1 화소를 레드, 그린, 블루의 각 색성분마다 8 비트로 표현하는 컬러 화상 데이터의 레드, 그린, 블루 성분 각각에 대해 0과 255 사이의 범위일 수 있으며, 블랙의 경우에는 모든 성분의 픽셀값이 0이고, 화이트의 경우에는 모든 성분의 픽셀값이 255이다.

이상의 작업을 실현하기 위해서, 화상 처리 장치는 작업을 실행할 수 있는 프로그램을 저장하는 기억 장치와, 이 프로그램을 판독하여 실행하는 프로세서와, 스캐너 장치나 네트워크와 접속하기 위한 인터페이스를 포함하는 개인용 컴퓨터(PC), 워크 스테이션, 서버, MFP 등으로 구성된다.

도 1은 본 실시형태의 화상 처리 장치(10)의 하드웨어 구성을 예시하는 블록도이다.

화상 처리 장치(10)는 프로세서로서 마이크로 프로세서 유닛(MPU)(11)과, 기억 장치로서, BIOS(Basic Input/Output System)나 펌웨어를 저장하는 비휘발성 메모리인 ROM(Read Only Memory)(12)과, MPU(11)에 의한 프로그램 작업을 가능하게 하는 실행 메모리 영역을 제공하는 RAM(Random Access Memory)(13)을포함한다.

화상 처리 장치(10)는 기억 장치 제어용 인터페이스(14)와, 하드 디스크(15)와, 직렬 또는 병렬 인터페이스(16)와, 입력 및 출력 장치(17)와, 표시 장치(18)와, 비디오 RAM(VRMA)(19)과, 그래픽 프로세싱 유닛(GPU)(20), 및 네트워크 I/F(21)를 더 포함한다.

MPU(11)는 기억 장치 제어용 인터페이스(14)를 통해, 기억 장치 중 하나인 하드 디스크(15)에 접속된다. 기억 장치 제어용 인터페이스(14)는 내부 버스를 통해 MPU(11)와 접속되는 인터페이스 중 하나이며, 하드 디스크(15)에 액세스하여 각종 애플리케이션이나 데이터를 판독, 실행 및 기록한다. 기억 장치 제어용 인터페이스(14)로는, IDE(Integrated Device Electronics), ATA(AT Attachment), 직렬 ATA, Ultra ATA 등의 규격에 따라, 하드 디스크(15)의 입력 및 출력을 제어할 수 있는 인터페이스를 사용할 수 있다.

MPU(11)는 내부 버스를 통해 USB(Universal Serial Bus), IEEE 1394 등의 직렬 또는 병렬 인터페이스(16)를 제어해서, 키보드, 마우스, 프린터 등의 입력 및 출력 장치(17)와 통신하여, 사용자로부터의 입력을 접수한다

VRAM(19)는 MPU(11)로부터의 지시에 따라, 비디오 화상을 표시 장치(18)에 표시하는 기억 장치로서 이용되는 RAM이다. VRAM(19)은 MPU(11)로부터의 지시에 따라 비디오 신호를 처리하여 표시 장치(18)에 표시한다.

GPU(20)는 화상 데이터 처리용 집적 회로이다. 네트워크 I/F(21)는 네트워크와 접속되어 화상 처리 장치(10)가 다른 장치와 통신하게 한다.

화상 처리 장치(10)에 있어서, 다음의 작업은 ROM(12), 하드 디스크(15) 또는 도시하지 않는 NV-RAM, SD 카드 등의 기억 장치에 저장된 프로그램을 MPU(11)이 판독하여, 적절한 OS(Operating System) 하에서 RAM(13)의 메모리 영역에 전개할 때에 실현될 수 있는데, MPU(11)는 그 작업을 실현시키기 위한 기능 유닛으로서 구성될 수 있다. OS로서는, Windows(등록 상표), UNIX(등록 상표), LINUX(등록 상표) 등을 채용할 수 있다. 화상 처리 장치(10)는 전술한 PC 등에 한정되지 않으며, 특정 용도를 위해 복수 기능의 복수 회로가 통합되어 있는 ASIC(Application Specific Integrated Circuit)으로 구성될 수 있다.

도 2는 실시형태의 화상 처리 장치(10)의 기능 구성을 예시하는 블록도이다.

전술한 바와 같이, 화상 처리 장치(10)에 있어서, 각각의 기능은 ROM(12), 하드 디스크(15) 등의 기억 장치에 저장되어 있는 프로그램을 프로세서인 MPU(11)이 판독하여 실행할 때에 실현될 수 있다.

화상 처리 장치(10)는 주기성 판정 유닛(30)과, 경계 판정 유닛(31)과, 제1 픽셀값 생성 유닛(32)과, 제2 픽셀값 생성 유닛(33)과, 제어 유닛(34)과, 픽셀값 보간 유닛(35), 및 픽셀값 갱신 유닛(36)을 포함한다.

도면에는 도시하지 않지만, 화상 처리 장치(10)는 결함 화소를 설정하는 화소 설정 유닛을 더 포함할 수 있다.

화소 설정 유닛은 대상 화상 데이터(이하, 간단히 "대상 화상"이라고도 함)에서 추정 픽셀값을 삽입하여 보간되는 대상 화소인 결함 화소를 검출한다. 결함 화소의 위치는 사전에 사용자에 의해 검출되어 지정될 수도 있고, 또는 이하와 같이 화소 설정 유닛에 의해 검출될 수도 있다.

위치는, 예컨대 왼쪽 아래 코너의 좌표를 기준 좌표 (0, 0)으로서 결정하는 좌표 (x, y)로 표현될 수 있으며, "x"는 기준 좌표로부터 주주사 방향과 동일한 우측 방향에 있어서의 화소수의 증가이고, "y"는 기준 좌표부터 상측 방향에 있어서의 화소수의 증가이다.

화상 처리 장치(10)의 화소 설정 유닛은, 예컨대 대상 화상 데이터에서 각 화소의 픽셀값을 체크하여, 미리 지정된 휘도 또는 컬러와 같거나 유사한 픽셀값을 갖는 화소를 선택하는 방법과, 픽셀값이 사전에 알려져 있는 화소를 포함하는 테스트 화상을 판독하여, 그렇게 취득된 화상 데이터 내의 화소의 픽셀값과, 모든 화소에 대해 테스트 화상 내의 대응하는 화소의 기지 픽셀값 간의 편차량을 평가하는 방법과, 수평 또는 수직 방향에 있어서의 화소의 픽셀값의 주기성이 불연속이 되는 위치를 검출하여, 그 검출된 위치에 위치한 화소를 결함 화소로서 검출하는 방법 등에 의해, 결함 화소를 검출할 수 있다.

결함 화소는 고립된 점에, 또는 복수의 연속된 점으로 이루어진 선의 일부에 대응할 수 있다. 센서 간의 갭이 이미지 센서의 이동 방향인 부주사 방향을 따라 연속으로 존재할 수 있기 때문에, 이러한 경우에, 선을 구성하는 누락 화소가 생성될 수 있다.

도 3은 보간되어야 하는 결함 화소가 포함되어 있는 화상 데이터를 예시하는 도면이다.

화상 데이터는 거의 같은 사이즈의 복수의 블랙점이 실질적으로 규칙적으로 배열되어 있는 망점을 포함한다. 도 3에 도시하는 화상 데이터는 점이 일정한 간격으로 배열되므로 주기성을 갖는다.

그러나, 화상 데이터에 분할선(70)이 있다. 이 분할선(70)은 대체로 코너에 있는 화상을 분할하기 위해 형성되며, 화상이 삭제되는 부분과, 점의 사이즈가 다른 것보다 큰 부분으로 구성된다. 화상 데이터의 주기성은 분할선(70)의 부분에서 불연속적이게 된다. 그렇기 때문에, 수평 방향의 주기성이 불연속적이 되는 위치를 검출함으로써, 그러한 화상 데이터에서 결함 화소를 검출할 수 있다.

다시 도 2를 참조하면, 주기성 판정 유닛(30)은 결함 화소를 포함하는 것으로서, 수평 방향으로 미리 정해진 폭을 갖고 수직 방향으로 미리 정해진 높이를 갖는 판정 영역을 설정한다. 그런 다음, 주기성 판정 유닛(30)은 그 판정 영역에 포함된 화소의 픽셀값의 변동에 주기성이 있는지를 판정한다. 이하, 포함하는 화소의 픽셀값의 변동에 주기성이 있는 영역을 "주기성이 있는 영역"이라고도 칭할 수 있다. 판정 영역은 높이가 1 화소와 같은 단일 선의 화소로 구성될 수도 있고, 또는 높이가 복수의 픽셀과 같은 직사각형 영역일 수도 있다.

판정 영역의 사이즈는 사전에 사용자에 의해서 설정될 수도 있고, 또는 주기성 판정 유닛(30)에 의해 동적으로 설정될 수도 있다. 판정 영역의 사이즈가 주기성 판정 유닛(30)에 의해 동적으로 설정되는 경우에도, 판정 영역의 초기 사이즈는 사전에 설정된다. 보간 작업이 설정된 사이즈로 적절하게 수행될 때에, 화상 처리 장치(10)는 판정 영역의 사전에 설정된 사이즈로 보간 작업을 한번 수행하고, 주기성 판정 유닛(30)이 판정 유닛의 사이즈를 줄이며, 화상 처리 장치(10)는 줄여진 판정 영역의 사이즈로 보간 작업을 다시 수행하는데, 화상 처리 장치(10)는 판정 영역의 사이즈를 미리 정해진 비율만큼 줄이면서 이 작업을 반복할 수 있다. 한편, 보간 작업이 설정된 사이즈로 적절하게 수행되지 않는 경우, 주기성 판정 유닛(30)이 판정 영역의 사이즈를 늘리고 화상 처리 장치(10)는 늘려진 판정 영역의 사이즈로 보간 작업을 다시 수행하는데, 화상 처리 장치(10)는 판정 영역의 사이즈를 미리 정해진 비율만큼 늘리면서 이 작업을 반복할 수 있다.

도 4a는 판정 영역(40)에 포함된 화소를 예시하는 설명도이다. 이 예에서, 판정 영역(40)은 높이가 1 화소이고 폭은 31 화소이다. 도 4a에 있어서, 망점인 블랙 화소(41)와 배경인 화이트 화소(42)가 일정 간격으로 교대로 배열되어 있고, 그라데이션을 주기 위해 픽셀값이 상이한 그레이 화소(43, 44)가 블랙 화소(41)와 화이트 화소(42) 사이에 위치한다. 판정 영역(40)은 갭에 의해 픽셀값이 누락된 결함 화소(45)를 더 포함한다.

도 4b는 판정 영역(40)의 화소에 있어서 수평 방향으로의 위치와 픽셀값 간의 관계를 보여주는 설명도이다.

하나의 화소는 1 픽셀값을 갖기 때문에, 인접한 화소들의 픽셀값이 연속적이지 않다. 그러나, 화소의 픽셀값을 그 위치를 따라 순조롭게 연결함으로써, 도 4b에 점선으로 나타내는 바와 같이, 픽셀값이 미리 정해진 주기로 증감하는 파형선이 그려질 수 있다. 그것은 도 4a에 도시하는 바와 같이 판정 영역(40)에 있어서 픽셀값의 변동에 주기성이 있다고 검출되는 것을 의미한다.

도 5a 내지 도 5f는 각각의 판정 영역에 포함된 다양한 화상을 보여주는 설명도이다.

도 5a는 주기성이 있고 점으로 표현된 망점 화상을 도시한다. 도 5b도 주기성이 있고 사선으로 표현된 망점 화상을 도시한다.

도 5c는 주기성이 없고 문자로 이루어진 불연속 영역을 포함하는 화상을 도시한다. 도 5d도 주기성이 없고 불규칙적으로 위치한 복수의 점으로 이루어진 불연속 영역을 포함하는 화상을 도시한다.

도 5e는 주기성이 없고 배경 등의 단색으로 이루어진 플랫 영역을 포함하는 화상을 도시한다. 도 5f도 주기성이 없고 배경 등의 그라데이션으로 이루어진 플랫 영역을 포함하는 화상을 도시한다.

망점으로 표현된 망점 화상이, 임의의 스크린각을 갖는 선 상에 배열된 복수의 점을 포함하기 때문에, 점들은 수평 방향에 대해 경사진 방향으로 일정한 간격으로 배열되지만 수평 방향으로 일정한 간격을 갖고 배열되지는 않는다. 이 때문에, 도 4b에 도시한 바와 같이 수평 방향으로 배열된 화소의 위치와 픽셀값 간의 관계를 표현할 경우, 진폭이 상이할 수 있으나, 그 관계는 일정한 간격으로 최대값과 최소값을 갖는 파형선으로 표현될 수 있어 주기성이 판정될 수 있다.

도 3, 도 4a 및 도 4b에 도시한 도면을 검사함으로써, 화상에 주기성이 있는지를 용이하게 판정할 수 있다.

주기성 판정 유닛(30)이 대상 화상 데이터의 판정 영역에 주기성이 있는지를 판정하는 방법에 대해 설명한다.

도면에 도시하지는 않지만, 주기성 판정 유닛(30)은 변동 주기를 계산하는 주기 계산 유닛을 포함할 수 있다. 주기성 판정 유닛(30)의 주기 계산 유닛은 판정 영역 내의 화소의 픽셀값의 변동 주기를 계산한다.

여기서, 판정 영역에 주기성이 있는지를 판정하기 위해 구하는, 판정 영역 내의 화소의 픽셀값의 변동 주기는 반드시 일정하지 않을 수 있다. 그래서, 주기성을 판정하기 위해 대표 주기라는 아이디어를 채용한다. 이 대표 주기를 구하는 일례에 대해 설명한다. 주기성 판정 유닛(30)의 주기 계산 유닛은 다음의 작업을 수행한다.

먼저, 최대 픽셀값을 갖는 화소의 위치(피크 위치)가 기록된다. 그리고, 피크와 다음 피크 간의 거리를 계산하여 판정 영역 내의 화소에 대해 거리의 빈도 히스토그램을 작성한다. 그런 다음, 최빈수(mode)인 최고 빈도 거리가 대표 주기로서 채용된다. 대표 주기는 화소수로 표현될 수 있다.

구체적으로, 도 4b에 도시하는 예에 있어서, 먼저 픽셀값이 최대인 화이트 화소(42)의 위치가 기록된다. 그리고, 서로 인접한 화이트 화소(42) 간의 거리가 계산된다. 이 예에서는, 거의 6 화소마다 피크가 있고, 6 화소의 인접한 피크 간의 거리가 최대 빈도이기 때문에, 대표 주기는 6 화소가 된다. 소정의 오차를 허용하면, 대표 주기±1의 거리를 이용할 수도 있다.

대표 주기를 구하기 위한 피크 위치에 있어서, 최대 픽셀값을 갖는 화소의 위치[예컨대, 도 4b에 있어서 블랙 화소(41)의 위치]를, 최대 픽셀값을 갖는 화소 대신에 이용할 수 있다.

또한, 최대 픽셀값을 갖는 화소의 위치에 또는 최소 픽셀값을 갖는 화소의 위치에 기초하여, 대표 주기를 구한 경우에, 자기상관을 이용할 수 있다. 자기상관을 이용하여 대표 주기를 구하면, 픽셀값의 변동의 주기성만 이용하는 것과 비교해서 노이즈 내성이 높아질 수 있다. 픽셀값에 노이즈가 포함되기 때문에, 복수의 픽셀값에 의해 구해진 자기상관은 픽셀값을 직접 이용하는 것과 비교해서 노이즈의 영향을 줄일 수 있다.

여기서, 자기상관이란, 제1 신호와, 이 제1 신호에 미리 정해진 위상 시프트를 부가하여 얻어진 제2 신호 간의 상관이다. 이 경우, 판정 영역 내에서 자기상관이 구해지고, 픽셀값 대신에 자기상관값을 이용하여, 판정 영역 내의 픽셀에 대한 거리의 빈도 히스토그램이 작성되며, 최빈수인 최고 빈도 거리가 대표 주기로서 채용된다. 이 자기상관값으로서는, 계산을 간략화하기 위해 공분산(S)을 이용할 수 있거나 상관 계수(R)를 이용할 수 있다.

공분산(S)은 2개의 픽셀값 간의 공분산의 크기를 나타내는 지표로서, 비교 대상 패턴 중 하나에 있어서 "i"번째 화소의 픽셀값을 x_i라고 표현하고, 비교 대상 패턴 중 다른 하나에 있어서 "i"번째 화소의 픽셀값을 y_i라고 표현하며, 비교 대상 패턴 중 하나의 픽셀값의 평균값을 x_m이라고 표현하고, 비교 대상 패턴 중 다른 하나에 있어서 화소의 픽셀값의 평균값을 y_m이라고 표현하며, 패턴에 포함된 화소수를 n이라고 표현할 경우, 이하의 수학식 1에서 구할 수 있다.

상관 계수(R)는 2개의 확률 변수 간의 유사성을 나타내는 지표이며, 비교 대상 패턴 중 하나의 표준 편차를 σ_x라고 하고, 비교 대상 패턴 중 다른 하나의 표준 편차를 σ_y라고 표현하면, 이하의 수학식 2에서 구할 수 있다.

주기성 판정 유닛(30)은 계산된 변동 주기에 기초하여, 판정 영역에 주기성이 있는지를 판정한다. 구체적으로, 주기성 판정 유닛(30)은 변동 주기의 신뢰도(C_v)를 산출한다. 주기성 판정 유닛(30)은 신뢰도가 임계값보다 높은 경우 판정 영역에 주기성이 있다고 판정하고, 신뢰도가 임계값 이하일 때 판정 영역에 주기성이 없다고 판정한다.

이하의 수학식 3을 이용하여 신뢰도(C_v)를 구할 수 있다. 수학식 3에 있어서, T는 대표 주기를 표현하고, F_r은 빈도 히스토그램에서 대표 주기 T에 대응하는 거리의 빈도를 표현하며, N은 판정 영역에 포함된 화소수를 표현한다. F_r의 주파수로서는, 대표 주기 T의 빈도뿐만 아니라, 대표 주기를 추정할 때의 오차를 허용하면 T±1의 빈도의 합계도 이용할 수 있다. 수학식 3은 판정 영역 내의 모든 화소 중에서, 대표 주기와 동일한 피크 거리를 갖는 화소의 비율을 신뢰도로서 표현한다.

임계값은 사전에 사용자에 의해 설정될 수도 또는 주기성 판정 유닛(30)에 의해 동적으로 결정될 수도 있다. 임계값이 사용자에 의해 설정될 경우에, 그 임계값은 시뮬레이션 또는 실험을 수행하여 영역에 주기성이 있는지를 판정하기 위한 적절한 신뢰도를 구함으로써 결정될 수 있다. 임계값이 주기성 판정 유닛(30)에 의해 동적으로 결정될 경우, 실제로 주기성이 있는 망점 영역에 대한 신뢰도(C_v)와 불연속 영역이나 주기성이 없는 플랫한 영역에 대한 신뢰도(C_v)를 구할 수 있고, 예컨대 이들의 평균값이 임계값으로서 이용될 수 있다.

이하, 화소의 픽셀값의 변동에 주기성이 있는 영역을 "주기성 영역"이라 칭하고, 주기성 영역 외의 영역을 "비주기성 영역"이라고 칭한다.

경계 판정 유닛(31)은 주기성 판정 유닛(30)에 의해 결함 화소를 포함하는 영역에 주기성이 있다고 판정될 경우에, 그 결함 화소가 실제로 주기성 영역에 속하는지를 확인한다. 주기성 판정 유닛(30)이 대상 영역을 포함하는 판정 영역에 주기성이 있는지를 판정하기 때문에, 화상 처리 장치(10)는 경계 판정 유닛(31)을 포함하지 않을 수도 있다. 그러나, 본 실시형태에서는, 화상 처리 장치(10)가 경계 판정 유닛(31)을 포함하는 경우에 대해 설명한다.

결함 화소는 주기성 영역 또는 비주기성 영역 중 하나에 존재하고, 결함 화소의 픽셀값은 같은 종류의 영역 내에서 그 결함 화소의 근방에 존재하는 화소의 픽셀값으로부터 추정될 수 있다. 예컨대, 결함 화소가 주기성 영역 내에 존재할 경우, 결함 화소를 포함하며 그 결함 화소를 중심에 갖는 복수의 연속 화소로 이루어진 대상 패턴은 그 대상 패턴의 근방에 존재하는 패턴과 유사하기 때문에, 그 유사 패턴에 기초하여 대상 패턴의 픽셀값이 추정될 수 있다.

그러나, 예컨대, 결함 화소를 포함하는 판정 영역이 주기성 판정 유닛(30)에 의해 주기성이 있다고 판정될지라도, 결함 화소가 주기성 영역과 비주기성 영역 간의 경계에 또는 그 부근에 존재한다면, 결함 화소는 사실상 주기성 영역 내에 속할 수 있다. 그 경우에, 결함 화소의 픽셀값이 주기성 영역 내의 화소의 픽셀값에 기초하여 추정되면, 결함 화소에 대해 정확한 픽셀값을 구할 수 없게 된다.

이 때문에, 경계 판정 유닛(31)은 결함 화소의 영역과 같은 종류의 영역에 있는 화소의 픽셀값을 이용하여 결함 화소에 대해 정확한 픽셀값을 추정하기 위해, 결함 화소가 주기성 영역에 또는 비주기성 영역에 속하는지를 판정한다.

경계 판정 유닛(31)은 결함 화소가 실제로 주기성 영역에 또는 비주기성 영역에 속하는지를 판정하기 위해 결함 화소의 근방에서 하나 이상의 참조 영역과 같게 설정한다.

판정 영역과 유사한 참조 영역은 높이가 1 화소와 같은 단일 선의 화소로 이루어질 수도 또는 높이가 복수의 화소와 같은 직시각형 영역일 수도 있다. 참조 영역의 사이즈는 전술한 판정 영역과 마찬가지로 사전에 사용자에 의해 설정될 수도 또는 화상 처리 장치(10)에 의해 동적으로 설정될 수도 있다. 참조 영역 중 2개는 결함 화소의 좌측 및 우측 양쪽에 설정될 수도 있으나 이렇게 한정되지는 않는다. 한편, 참조 영역은 결함 화소의 상측 및 우측에 설정될 수도 있고 또는 참조 영역은 결함 화소의 좌측 및 우측 그리고 상측 및 하측에 설정될 수도 있다.

예컨대, 경계 판정 유닛(31)은 2개의 참조 영역, 즉 결함 화소의 좌측 및 우측에서 좌측 참조 영역과 우측 참조 영역을 설정할 수 있으며, 각 참조 영역은 미리 정해진 수의 화소를 포함한다. 경계 판정 유닛(31)은 화상의 특징 중 하나인, 좌측 참조 영역 및 우측 참조 영역에 대한 픽셀값의 분산을 구하여, 결함 화소가 실제로 주기성 영역에 또는 비주기성 영역에 속하는지를 판정할 수 있다.

경계 판정 유닛(31)은 좌측 참조 영역과 우측 참조 영역의 양쪽의 분산이 임계값 이상인 경우에 결함 화소가 실제로 주기성 영역에 속한다고 판정할 수 있거나, 좌측 참조 영역과 우측 참조 영역의 양쪽의 분산이 임계값 미만인 경우에는 결함 화소가 실제로 비주기성 영역에 속한다고 판정할 수 있거나, 또는 좌측 참조 영역 또는 우측 참조 영역의 분산 중 하나는 임계값 이상이고 좌측 참조 영역 또는 우측 참조 영역의 분산 중 다른 하나는 임계값 미만인 경우에는 결함 화소가 주기성 영역과 비주기성 영역 간의 경계에 존재한다고 판정한다.

참조 영역은 결함 화소와 참조 화소 사이에 개재된 미리 정해진 거리로 결함 화소 주변에 설정될 수 있다. 미리 정해진 거리는, 예컨대 3 화소일 수 있다. 망점이 6 화소마다 배치되는 경우, 후술하는 패턴 매칭에서는, 템플릿이 결함 화소의 좌측 및 우측 양쪽에 각각 3 화소를 포함할 수 있다. 따라서, 결함 화소와 참조 영역 사이에 개재된 상기 거리로 참조 영역을 설정함으로써, 템플릿과 가장 유사한 패턴이 높은 확률로 존재할 수 있는, 템플릿에 가장 가까운 화소가 참조 영역으로서 설정될 수 있다. 그 거리는 3 화소에 한정되는 것이 아니라, 판정이 적절히 이루어질 수 있다면 어느 값일 수도 있다.

분산은 이하의 수학식 4에서 구할 수 있다. 수학식 4에 있어서, x_i는 참조 영역 내의 "i"번째 화소의 픽셀값을 표현하고, x_m은 참조 영역 내에서 화소의 픽셀값의 평균값을 표현하며, n은 참조 영역 내에 포함된 화소수를 표현한다. 분산을 이용하는 것 대신에, 화상이 컬러 화상인 경우에, 참조 영역에 포함된 화소의 최대 픽셀값(휘도값)과 최소 픽셀값(휘도값) 간의 차나, 참조 영역에 포함된 화소의 그린 성분의 최대 픽셀값과 그린 성분의 최소 픽셀값 간의 차를 이용할 수 있다.

제1 픽셀값 생성 유닛(32)은 보간법으로서 패턴 매칭법을 이용하여, 결함 화소의 픽셀값을 생성한다. 패턴 매칭법의 경우, 템플릿 매칭이 이용될 수 있다. 템플릿 매칭은, 화상에서 소정의 영역을 포함하고 소정의 사이즈를 갖는 템플릿으로서 기준 패턴을 설정하고, 그 화상 내의 탐색 영역에서 템플릿과 패턴 간의 일치도를 산출함으로써 이루어져 템플릿과 유사한 패턴을 찾을 수 있다.

이 기능을 실현하기 위해서 제1 픽셀값 생성 유닛(32)은 맨처음 템플릿의 사이즈를 결정한다. 템플릿의 폭은 앞에서 구한 대표 주기에 기초하여 결정될 수 있다. 템플릿의 폭은 대표 주기의 간격과 같게 결정될 수 있다. 그리고, 템플릿의 높이가 설정된다. 폭과 마찬가지로, 템플릿의 높이는 대표 주기의 간격과 같게 결정될 수 있다. 템플릿의 폭과 높이에 있어서, 이것들이 대표 주기의 간격과 같은 것에 한정되지 않고, 대표 주기의 간격보다 약간 길게 또는 짧게 결정될 수 있다. 예컨대, 템플릿의 폭 또는 높이는 대표 주기의 간격보다 좌측 및 우측에서 각각 1 화소만큼 길 수도 있고, 또는 대표 주기의 간격보다 좌측 및 우측에서 각각 1 화소만큼 짧을 수도 있다. 한편, 템플릿의 폭 또는 높이는 대표 주기의 간격보다 좌측 및 우측에서 각각 2 화소 이상만큼 길 수도 있고, 또는 대표 주기의 간격보다 좌측 및 우측에서 각각 1 화소만큼 짧을 수도 있다.

결함 화소가 망점 영역에 속하는 경우에, 템플릿 영역을 각 변이 거의 대표 주기와 같은 길이를 갖는 정사각형으로 설정할 수 있다.

도 6a는 도 4a에 도시하는 것과 같은 화소를 예시하는 설명도이다. 여기서, 대표 주기는 6 화소와 같다. 도 6b는 결함 화소(45)를 포함하는 대표 주기에 대응하는 화소를 보여주는 설명도이다.

도 6c는 결함 화소(45)를 포함하는 템플릿(46)을 예시하는 설명도이다. 템플릿(46)은 대표 주기가 6 화소와 같을 때에 폭 6 화소, 높이 6 화소의 사이즈를 갖는 정사각형일 수 있다. 템플릿을 그와 같이 설정함으로써, 템플릿은 도 6c에 도시한 바와 같은 망점으로 이루어진 화소군을 포함할 수 있다. 템플릿의 사이즈를 망점 중 하나에 대응하게 결정함으로써, 유사 패턴을 탐색할 때에, 망점 중 하나만의 정보를 이용하여 최적의 유사 패턴을 취득할 수 있다.

대표 주기가 매우 짧을 경우, 템플릿의 사이즈는 대표 주기보다 약간 길게 설정될 수 있다. 예컨대, 대표 주기가 3 화소와 같을 경우, 템플릿의 폭은 3 화소의 좌측 및 우측 양쪽에 1 화소씩 추가된 5 화소일 수 있다. 템플릿의 사이즈를 이와 같이 확대함으로써, 템플릿과 비교 패턴 간의 일치도가 적절하게 평가될 수 있고, 높은 신뢰도로 유사 패턴이 검출될 수 있다.

제1 픽셀값 생성 유닛(32)은 전술한 바와 같이 결정된 템플릿의 사이즈를 갖는 결함 화소를 포함하는 영역을 추출하여 템플릿으로서 설정한다. 이 때, 제1 픽셀값 생성 유닛(32)은 결함 화소가 폭과 높이 모두에 있어서 템플릿의 거의 중심에 포함되는 템플릿을 설정할 수 있다. 그 영역을 추출하여 설정함으로써, 결함 화소를 포함하는 패턴의 방향성에 의존하는 일 없이, 템플릿과 유사한 패턴을 탐색할 수 있다.

제1 픽셀값 생성 유닛(32)은 미리 정해진 사이즈의 탐색 영역을 설정하여 템플릿과 유사한 유사 패턴을 탐색한다.

탐색 영역은 대표 주기에 기초하여 설정될 수 있다.

도 6d는 템플릿(46)을 포함하는 탐색 영역(47)을 예시하는 설명도이다. 대표 주기가 전술한 바와 같이 폭에 있어서 6 화소와 같을 경우(높이는 1 화소), 탐색 영역(47)은, 템플릿(46)의 좌측 및 우측 양쪽에 6 화소씩 추가되어, 폭 18 화소, 화소수가 폭과 같은 높이 18 화소의 정사각형일 수 있다. 탐색 영역(47)의 폭과 높이를 같은 화소수로 설정함으로써, 탐색 영역(47)의 패턴의 방향성에 의존하지 않고 템플릿(46)과 유사한 패턴을 탐색할 수 있다. 전술한 탐색 영역의 사이즈에 있어서, 폭 18 화소, 높이 18 화소는 어디까지나 일례일 뿐이며, 이것에 한정되지 않는다. 탐색 영역(47)의 사이즈는 더 크게, 예컨대 폭 30 화소, 높이 30 화소로 설정될 수 있다.

탐색 영역은 전술한 바와 같이 정사각형에 한정되지 않지만, 화상 데이터를 버퍼링하는 메모리의 제약 등으로 인해 탐색 영역의 높이가 더 짧을 경우, 탐색 영역의 폭은, 탐색 영역에 포함된 화소수가 적어지면 정확도가 저하될 수 있기 때문에 더 넓게 설정될 수 있다.

또한, 주기성 판정 유닛(30)에 의해, 결함 화소의 좌측에 있는 좌측 부분 영역 또는 우측에 있는 우측 부분 영역에 주기성이 없다고 판정되면, 도 10을 참조하여 설명하겠지만, 그와 같은 부분 영역들은 탐색 영역에서 제외될 수 있다. 주기성이 없는 영역은 유사 패턴을 포함할 수 없기 때문에, 탐색 영역에서 그러한 영역을 제외시킴으로써, 잘못된 유사 패턴을 검출하는 것으로 인한 오류를 방지할 수 있다.

전술한 바와 같이 탐색 영역을 설정한 후에, 제1 픽셀값 생성 유닛(32)은 생성된 템플릿을 이용하여, 그 탐색 영역(47)에 포함된 유사 패턴을 탐색한다. 구체적으로, 제1 픽셀값 생성 유닛(32)은 템플릿(46)의 픽셀값과, 탐색 영역(47) 내의 각 위치의 픽셀값 간의 일치도를 구하여, 일치도가 가장 큰 위치를 유사 패턴으로서 선택한다. 일치도로서는, SAD(Sum of Absolute Difference)나 SSD(Sum of Squared Difference) 등의 차이, 상관 계수나 공분산 등의 유사도를 이용할 수 있다.

여기서, SAD는 템플릿과 비교되는 비교 패턴을 추출하는 단계와, 템플릿과 비교 패턴에 있어서 동일 위치에 있는 화소의 휘도값 간의 차를 구하는 단계와, 그 차의 절대값을 더해, 합계값을 산출하는 단계를 포함한다. 이에, 합계값이 작은 경우 비교 패턴은 템플릿에 유사하다고 판정될 수 있고, 합계값이 큰 경우에는 비교 패턴은 유사하지 않다고 판정될 수 있다.

SSD는 템플릿과 비교 패턴에 있어서 같은 위치에 있는 화소의 휘도차를 제곱하는 단계와, 그 값을 더해 합계값을 산출하는 단계를 포함한다. 따라서, 이 경우에도 마찬가지로, 합계값이 작다면 비교 패턴이 템플릿에 유사하다고 판정될 수 있고, 합계값이 크다면 비교 패턴은 유사하지 않다고 판정될 수 있다. 상기 수학식 1과 2에 따라 각각 공분산(S)과 상관 계수(R)가 구해질 수 있다.

상관 계수는 -1과 1 사이에서 값을 갖는다. 그 값이 1에 근접할 경우 플러스 상관이 강한 것을 의미하고, 그 값이 0에 근접할 경우 플러스 상관이 약한 것을 의미하며, 그 값이 -1에 근접할 경우 마이너스 상관이 있는 것을 의미한다. 다시 말해, 그 값이 1에 근접할 경우, 템플릿과 비교 패턴이 유사한 것을 의미하고, 그 값이 -1에 근접할 경우, 템플릿의 반대 패턴과 비교 패턴이, 또는 템플릿과 비교 패턴의 반대 패턴이 유사한 것을 의미한다. 이에, 상관 계수의 값이 클수록 유사도가 높은 것으로 판정된다. 공분산이 상관 계수에 대응하므로, 상관 계수의 값이 클수록 유사도가 높은 것으로 판정된다.

일치도를 평가할 때에, 결함 화소의 픽셀값이 일치도에 미치는 영향을 없애기 위해, 결함 화소를 일치도를 산출하는 데에는 이용하지 않을 수 있고, 또는 비교 패턴에 있어서 결함 화소의 대응하는 위치에 있는 화소의 픽셀값은 결함 화소의 픽셀값의 임시 픽셀값으로서 설정되어 일치도를 산출하는데 이용된다. 제1 픽셀값 생성 유닛(32)은 일치도가 높은 비교 패턴으로부터 복수의 유사 패턴을 선택할 수 있다.

또한, 템플릿이 복수의 결함 화소를 포함할 경우, 픽셀값이 보간되어야 하는 결함 화소뿐만 아니라, 나머지 결함 화소도 일치도를 산출하는데 이용될 수 없거나, 또는 비교 패턴에 있어서 결함 화소의 대응하는 위치에 있는 화소의 픽셀값이 결함 화소의 픽셀값의 임시 픽셀값으로서 설정되어 일치도를 산출하는데 이용된다. 동일한 작업이, 비교 패턴이 결함 화소 또는 복수의 결함 화소를 포함하는 경우에도 수행될 수 있다. 구체적으로, 비교 패턴이 결함 화소를 포함할 경우, 일치도에 미치는 결함 화소의 픽셀값의 영향을 없애기 위하여, 결함 화소는 일치도를 산출하는 데에 이용될 수 없거나, 또는 템플릿에 있어서 결함 화소의 대응 위치에 있는 화소의 픽셀값이 결함 화소의 픽셀값의 임시 픽셀값으로서 설정되어 일치도를 산출하는데 이용된다.

그러한 결함 화소는 기본적으로 픽셀값이 누락하거나 부정한 픽셀값을 포함하고 있어, 일치도를 산출하는 데에 사용되기에 적절하지 않다. 이미 픽셀값이 보간된 결함 화소의 경우, 일치도를 산출하는데 픽셀값을 이용할 수 있다.

도 7은 결함 화소를 포함하는 템플릿(46)의 다른 예를 보여주는 설명도이다. 템플릿(46)은 폭 5 화소, 높이 5 화소로 구성된 5개의 화소(a_{i -2,j-2} 내지 a_{i +2,j+2})를 포함한다.

여기서, 템플릿(46)은 맨처음 수직선 "i"에 있는 복수의 결함 화소(45a 내지 45e)를 포함하는 것이라 한다. 여기서, 보간 작업이 상측부터 순서대로 수행되기 때문에, 이제 보간될 대상 결함 화소는 화소 a_i,j(45c)와 화소 a_i,j-2(45a)이고, a_i,j-1(45b)은 이미 보간되어 보간된 픽셀값이 삽입된 상태이다.

이 상황에서, 다음과 같이 일치도가 산출될 수 있다.

제1 방법의 경우, 결함 화소(a_i,j-2, a_i,j-1, a_i,j, a_i,j+1, a_i,j+2) 이외의 화소의 픽셀값에 기초하여 일치도를 산출할 수 있다.

제2 방법의 경우, 비교 패턴에 있어서 결함 화소(a_i,j-2, a_i,j-1, a_i,j, a_i,j+1, a_i,j+2)의 대응 위치에 위치하는 화소의 픽셀값을 각각 결함 화소(a_i,j-2, a_i,j-1, a_i,j, a_i,j+1, a_i,j+2)에 대한 임시 픽셀값으로서 이용할 수 있고, 결함 화소(a_i,j-2, a_i,j-1, a_i,j, a_i,j+1, a_i,j+2) 이외의 화소의 픽셀값과 임시 픽셀값에 기초하여 일치도를 산출할 수 있다.

제3 방법의 경우, 이미 픽셀값이 결함 화소(a_{i ,j-2}, a_{i ,j-1})에 삽입되어 있다면, 이들 삽입된 픽셀값을 이용할 수 있고, 나머지 결함 화소(a_{i ,j}, a_{i ,j+1}, a_{i ,j+2})는 일치도를 산출하는데 이용되지 않을 수 있다.

제4 방법의 경우, 이미 픽셀값이 결함 화소(a_{i ,j-2}, a_{i ,j-1})에 삽입되어 있다면, 이들 삽입된 픽셀값을 이용할 수 있고, 나머지 결함 화소(a_{i ,j}, a_{i ,j+1}, a_{i ,j+2})의 경우, 비교 패턴에 있어서 결함 화소(a_{i ,j}, a_{i ,j+1}, a_{i ,j+2})의 대응 위치에 위치하는 화소의 픽셀값을 이용하여 전술한 바와 같이 임시 픽셀값이 설정될 수 있으며, 이들 결함 화소(a_{i ,j}, a_{i ,j+1}, a_{i ,j+2})는 일치도를 산출하는데 각각 이용된다.

그리고, 템플릿(46)과 가장 유사한 비교 패턴에 있어서, 템플릿(46) 내의 결함 화소(45c)의 위치에 대응하는 위치에 있는 화소의 픽셀값을 취득한다. 템플릿(46)과 가장 유사한 비교 패턴만 이용하는 경우에는, 이렇게 취득된 픽셀값이 결함 화소(45c)의 픽셀값으로서 이용된다. 일치도가 높은 순서대로 패턴으로부터 선택된 복수의 비교 패턴을 이용하는 경우에는, 선택된 비교 패턴의 픽셀값에 기초하여, 결함 화소(45c)의 픽셀값이 생성된다. 결함 화소(45c)의 픽셀값은, 그냥 평균을 구하는 방식, 또는 일치도가 높일수록 더 높은 가중치를 인가하는 식으로 픽셀값 각각에 가중치를 인가한 다음에 그 값들의 평균을 구하는 방식으로 생성될 수 있다.

여기서, 템플릿 매칭은 2차원 템플릿 매칭과 1차원 템플릿 매칭을 포함한다.

2차원 템플릿 매칭에서는, 화상 내의 결함 화소 근방의 임의의 영역, 즉 결함 화소의 좌우상하 또는 경사 방향에 있어서의 영역이 비교 패턴으로서 선택되고, 템플렛과 가장 유사한 비교 패턴은 템플릿과 각 비교 패턴 간의 일치도를 산출함으로써 선택된다.

1차원 템플릿 매칭에서는, 결함 화소가 존재하는 라인으로부터 템플릿과 비교 패턴이 추출된다. 그리고, 템플릿과 가장 유사한 비교 패턴은 템플릿과 각각의 비교 패턴 간의 일치도를 산출함으로써 선택된다.

본 실시형태에서는, 제1 픽셀값 생성 유닛(32)이 2차원 템플릿 매칭을 채용한다. 1차원 템플릿 매칭이 2차원 템플릿 매칭과는 상이한 보간법이기 때문에, 제2 픽셀값 생성 유닛(33) 또는 후술하는 제3 픽셀값 생성 유닛은 1차원 템플릿 매칭을 채용할 수 있다.

제1 픽셀값 생성 유닛(32)은 템플릿에 있어서 결함 화소의 위치에 대응하는 위치에 있는 화소의 픽셀값을, 템플릿에 대해 가장 유사한 비교 패턴으로서 선택된 비교 패턴으로부터 취득한다. 또한, 이 때, 제1 픽셀값 생성 유닛(32)은 이웃 화소로서, 선택된 비교 패턴에 있는 선택 화소 외의 화소의 픽셀값을 취득한다. 템플릿이 도 7에 도시하는 것일 경우, 결함 화소(a_i,j-2, a_i,j-1, a_i,j, a_i,j+1, a_i,j+2)는 5개 존재하고, 이웃 화소는 각 결함 화소의 좌측 및 우측에 각각 4개씩 존재하여 총 16 화소이다. 이것은 일례일 뿐이며, 이것에 한정되지는 않는다.

제2 픽셀값 생성 유닛(33)은 제1 픽셀값 생성 유닛(32)이 이용하는 것과 상이한 보간법을 이용하여 결함 화소의 픽셀값을 생성한다. 제1 픽셀값 생성 유닛(32)이 이용하는 것과는 상이한 보간법으로서, 내삽법을 이용할 수 있다. 내삽법은 최근방 내삽(0차 내삽), 선형 내선, 포물선 내삽(2차 내삽), 큐빅 내삽, 다항식 내삽, 스플라인 내삽, 라그랑지 내삽 등을 포함하며, 선형 내삽, 큐빅 내삽 등이 2차원으로 확장된 바이리니어(bilinear) 내삽, 바이큐빅(bicubic) 내삽 등을 더 포함한다.

도 8a는 라인 상에 이 순서로 배열된 화소(A 내지 F)의 위치와 픽셀값 간의 관계를 보여주는 설명도이다. 여기서, 화소(C)는 픽셀값이 누락된 결함 화소이다. 이 예에서는 화소(C)가 도 8a에 도시하는 바와 같이 사실상 흰색 원으로 표현되는 픽셀값을 갖는다고 한다. 이 경우에, 화소의 위치가 1만큼 오른쪽으로 이동할 때에, 픽셀값은 일정한 값만큼 증가하여 화소의 위치와 픽셀값 간의 관계는 선형 함수로 표현될 수 있다. 이에, 화소(C)의 픽셀값, 즉 보간될 화소의 픽셀값은 화소(A, B, D 내지 F)의 위치와 픽셀값에 기초해 얻어진 선형 함수를 이용해서 구해질 수 있다(선형 보간).

도 8b 역시, 곡선 상에 이 순서로 배열된 화소(A 내지 F)의 위치와 픽셀값 간의 관계를 보여주는 설명도이다. 여기서, 화소(C)는 픽셀값이 누락된 결함 화소이다. 이 예에서는 화소(C)가 도 8b에 도시하는 바와 같이 사실상 흰색 원으로 표현되는 픽셀값을 갖는다. 이 경우에, 화소의 위치와 픽셀값 간의 관계가 곡선으로 표현되기 때문에, 그 곡선에 가장 적합한 내삽법을 선택할 수 있다. 예컨대, 곡선이 2차 함수로 표현될 경우, 포물선 내삽이 채용될 수 있고, 곡선이 4차 함수로 표현될 경우, 큐빅 내삽이 채용될 수 있으며, 곡선이 다항식으로 표현될 경우, 다항식 내삽 또는 라그랑지 내삽이 채용될 수 있고, 곡선이 개별 다항식으로 표현될 경우, 스플라인 내삽이 채용될 수 있다.

내삽법이 결함 화소의 픽셀값을 생성하는 데에 이용될 경우에는, 이웃 화소의 픽셀값은 갱신되어서는 안 된다. 내삽법의 경우에, 이웃 화소의 원래의 픽셀값에 기초하여, 결함 화소의 픽셀값이 결정되지만, 이웃 화소의 픽셀값도 변경될 경우, 결함 화소의 픽셀값은 더 이상 이웃 화소의 픽셀값에 기초하여 내삽된 값을 표현하지 않는다. 그렇기 때문에, 이러한 경우, 이웃 화소의 픽셀값은 갱신되지 않는 것이 좋다. 여기서, "이웃 화소의 픽셀값이 갱신되지 않는다는 것"은 이웃 화소의 현재 픽셀값을 픽셀값 갱신 유닛(36)에 이웃 화소의 추정 픽셀값으로서 보내어, 픽셀값 갱신 유닛(36)으로 하여금 이웃 화소의 픽셀값을 그 보내진 픽셀값으로 치환하는 것을 포함한다. 이 경우에, 이웃 화소의 픽셀값은 실제로 변하지 않는다. 또한, "이웃 화소의 픽셀값이 갱신되지 않는다는 것"은 이웃 화소의 픽셀값을 갱신시키지 않도록 픽셀값 갱신 유닛(36)에 제어 신호를 보내는 것을 포함한다.

본 실시형태에서는, 제1 픽셀값 생성 유닛(32)이 패턴 매칭법을 채용하고 제2 픽셀값 생성 유닛(33)이 내삽법을 채용하는 구성을 설명하고 있지만, 이와 달리, 제1 픽셀값 생성 유닛(32)이 내삽법을 채용할 수도 있고 제2 픽셀값 생성 유닛(33)이 패턴 매칭법을 채용할 수도 있다. 한편, 제1 픽셀값 생성 유닛(32)과 제2 픽셀값 생성 유닛(33)은 2차원 템플릿 매칭이나 1차원 템플릿 매칭 등의 패턴 매칭법 중 하나, 또는 선형 내삽과 스플라인 내삽 등의 내삽법 중 하나를 채용할 수도 있다.

제어 유닛(34)이 화상 데이터를 접수할 경우, 제어 유닛(34)은 주기성 판정 유닛(30) 및 경계 판정 유닛(31)에 그 화상 데이터를 보낸다. 그리고, 제어 유닛(34)은 주기성 판정 유닛(30) 및 경계 판정 유닛(31)에 의해 판정된 판정 결과를 수신하고, 그 수신 결과에 기초하여, 제1 픽셀값 생성 유닛(32)과 제2 픽셀값 생성 유닛(33) 중 어떤 것을 픽셀값을 생성하기 위해 이용하는지 결정한다.

구체적으로, 본 실시형태에 있어서, 제어 유닛(34)은, 주기성 판정 유닛(30)에 의해 판정 영역 내의 픽셀값의 변동에 주기성이 있다고 판정되고, 경계 판정 유닛(31)에 의해 결함 화소가 주기성 영역 내에 존재한다고 판정될 경우에, 패턴 매칭법을 이용하는 제1 픽셀값 생성 유닛(32)을 채용하기로 결정하고, 그렇지 않은 경우, 제어 유닛(34)은 내삽법을 이용하는 제2 픽셀값 생성 유닛(33)을, 픽셀값을 생성하기 위해 채용하기로 결정한다.

그런 다음, 제어 유닛(34)은 채용하기로 결정된 제1 픽셀값 생성 유닛(32) 또는 제2 픽셀값 생성 유닛(33) 중 하나에 화상 데이터를 보내고, 그 채용된 픽셀값 생성 유닛에 의해 생성된 픽셀값을 수신한 다음, 그 픽셀값을 픽셀값 보간 유닛(35)에 보낸다.

픽셀값 보간 유닛(35)은 제어 유닛(34)으로부터 받은 픽셀값을, 화소 설정 유닛에 의해 설정된 결함 화소에 삽입한다. 구체적으로, 이 때 결함 화소에 픽셀값이 없는 경우, 픽셀값 보간 유닛(35)은 제어 유닛(34)으로부터 받은 픽셀값을 결함 화소의 픽셀값으로서 설정하고, 이미 결함 화소에 부정한 픽셀값 등의 픽셀값이 있는 경우에, 픽셀값 보간 유닛(35)은 결함 화소의 픽셀값을 제어 유닛(34)으로부터 받은 픽셀값으로 치환한다. 이상의 작업에 의해, 1 결함 화소에 대한 보간 작업이 완료된다.

픽셀값 갱신 유닛(36)은 결함 화소의 근방에 위치하며 템플릿 내의 미리 정해진 영역에 포함되는 이웃 화소의 픽셀값(원래의 픽셀값)을 제1 픽셀값 생성 유닛(32)에 의해 생성된 이웃 화소의 픽셀값으로, 갱신한다. 이웃 화소의 픽셀값을 갱신하는데 이용된 픽셀값으로서는, 제1 픽셀값 생성 유닛(32)에 의해 생성된 픽셀값이 이용될 수 있거나, 제1 픽셀값 생성 유닛(32)에 의해 성성된 픽셀값과, 이웃 화소의 원래의 픽셀값을 평균화하여 얻은 값이 이용될 수 있다. 평균값에 있어서, 결함 화소와의 거리에 기초해 가중치를 다르게 하는 식으로 가중치를 각 픽셀값에 인가할 수 있다. 예컨대, 결함 화소와의 거리가 멀수록, 대상 이웃 화소의 원래의 픽셀값에 더 큰 가중치가 인가된다.

픽셀값이 갱신되는 이웃 화소의 범위는 결함 화소의 각각마다 좌측 및 우측의 몇몇 화소를 포함하도록 설정될 수 있다. 예컨대, 그 영역은 전술한 바와 같이 템플릿과 동일한 사이즈로 설정될 수 있다. 이 범위는 사전에 설정될 수 있고, 또는 템플릿의 사이즈를 결정하는 방법과 마찬가지로 주기성 판정 유닛(30)에 의해 결정되는 대표 주기에 기초하여 결정될 수 있다. 경계 판정 유닛(31)에 의해 결함 화소가 주기성 영역과 비주기성 영역의 경계나 그 부근에 존재한다고 판정된 경우에는, 이웃 화소의 픽셀값은 갱신되지 않거나 그 범위가 좁아질 수 있다. 이러한 경우에, 비주기성 영역이, 일정한 픽셀값을 갖는 화소가 연속해서 존재하는 영역을 포함할 수 있기 때문에 그 범위는 비주기성 영역을 포함하지 않도록 설정될 수 있고, 상기 화소의 픽셀값이 변경될 경우, 화소는 서로 조화하지 않는다. 픽셀값 갱신 유닛(36)은 주기성 판정 유닛(30)의 주기 계산 유닛에 의해 계산된 변동 주기(대표 주기)에 기초하여 이웃 화소에 대해 미리 결정된 영역의 범위를 설정하는 범위 설정 유닛(도시 생략)을 포함할 수 있다.

화소 설정 유닛이 복수의 결함 화소를 검출할 경우, 도 2에 도시하는 바와 같이 각 유닛에 의해 수행되는 전술한 작업이 행해지는데, 픽셀값의 결함 화소에 삽입, 이웃 화소의 픽셀값의 갱신이 결함 화소 각각마다 행해진다.

도 9는 도 2에 도시한 화상 처리 장치(10)의 각 유닛에 의해 수행되는 보간 작업을 예시하는 흐름도이다.

보간 작업이 시작되면(단계 S900), 화소 설정 유닛은 픽셀값이 삽입되어야 하는 결함 화소를 검출하여, 그 검출된 화소를 대상 결함 화소로서 설정한다(단계 S905). 결함 화소의 검출은 전술한 방법에 따라 행해질 수 있다. 대상 화상에서 복수의 결함 화소가 포함되어 검출되면, 결함 화소는 그 화소의 좌표에 기초하여 수가 정해지며 결함 화소 중 하나가 그 정해진 수에 따라 순서대로 선택된다. 단계 S905에서, 선택된 결함 화소 중 하나가 대상 결함 화소로서 설정된다.

단계 S910에서, 주기성 판정 유닛(30)이 결함 화소를 포함하는 판정 영역을 설정하고, 그 판정 영역 내에 포함된 화소의 픽셀값의 변동에 주기성이 있는지를 판정한다. 구체적으로, 주기성 판정 유닛(30)은 전술한 판정 영역의 사이즈를 설정하는 방법을 이용하여 판정 영역을 설정하고, 전술한 주기성 판정 방법을 이용하여 판정 영역에 주기성이 있는지를 판정한다.

계속해서, 단계 S915에서, 경계 판정 유닛(31)이 대상 결함 화소가 주기성 영역과 비주기성 영역 사이의 경계에 존재하는지를 판정한다. 경계 판정 유닛(31)은 전술한 참조 영역의 사이즈를 설정하는 방법을 이용하여 좌측 참조 영역과 우측 참조 영역을 설정하고, 좌측 참조 영역과 우측 참조 영역에 대한 분산을 계산하며, 대상 결함 영역이 주기성 영역 내에 존재하는지를 판정한다. 좌측 참조 영역과 우측 참조 영역 양쪽의 계산된 분산이 임계값 이상이면, 경계 판정 유닛(31)은 대상 결함 화소가 주기성 영역 내에 존재한다고 판정한다.

이어서, 단계 S920에서, 대상 결함 화소의 픽셀값을 생성하는 보간법이 결정된다. 이 단계에서, 제어 유닛(34)은 단계 S910 및 단계 S915에서 판정된 결과에 기초하여, 제1 픽셀값 생성 유닛(32)과 제2 픽셀값 생성 유닛(33) 중 어떤 것을, 대상 결함 화소의 픽셀값을 생성하기 위해 채용할 것인지 결정한다. 전술한 바와 같이, 주기성 판정 유닛(30)과 경계 판정 유닛(31)에 의해 대상 결함 화소가 주기성 영역에 있다고 판정되면, 제어 유닛(34)은 패턴 매칭법을 채용하기로 결정하고, 반면 주기성 판정 유닛(30)과 경계 판정 유닛(31)에 의해 대상 결함 픽셀이 주기성 영역 내에 존재하지 않는다고 판정되면 제어 유닛(34)은 내삽법을 채용하기로 결정한다.

제어 유닛(34)은 단계 S925에서 제1 픽셀값 생성 유닛(32)이 채용되는지를 판정한다. 단계 S920에서 결정된 보간법이 패턴 매칭법이면, 패턴 매칭법을 이용하는 제1 픽셀값 생성 유닛(32)이 채용된다고 판정된다. 그렇지 않으면, 제1 픽셀값 생성 유닛(32)이 채용되지 않은 것이 판정된다.

단계 S925에서 제1 픽셀값 생성 유닛(32)이 채용된 것으로 판단된 경우, 프로세스는 단계 S930으로 진행된다. 단계 S930에서, 제1 픽셀값 생성 유닛(32)이 패턴 매칭법에 의해, 대상 결함 화소를 포함하는 템플릿과 유사한 패턴을 선택하고, 선택된 유사 패턴에 기초하여 대상 결함 화소의 픽셀값에 삽입될 픽셀값을 생성한다.

이 단계에서, 제1 픽셀값 생성 유닛(32)은 대상 결함 화소의 픽셀값 외에, 이웃 화소의 픽셀값도 추가 생성할 수 있다.

한편, 단계 S925에서 제1 픽셀값 생성 유닛(32)이 채용되지 않는 것으로 판정되면, 프로세스는 단계 S935로 진행된다. 단계 S935에서, 내삽법을 이용하는 제2 픽셀값 생성 유닛(33)이 채용된다. 제2 픽셀값 생성 유닛(33)은 내삽법으로 대상 결함 화소의 픽셀값을 생성한다.

이 단계에서, 제2 픽셀값 생성 유닛(33)은 대상 결함 화소의 픽셀값 외에, 이웃 화소의 픽셀값을 추가 생성할 수 있다.

단계 S940에서, 픽셀값 보간 유닛(35)은 단계 S930에서 또는 단계 S935에서 생성된 결함 화소의 픽셀값을 삽입한다. 이에 따라, 1 결함 화소의 보간이 완료된다.

단계 S945에서, 픽셀값 갱신 유닛(36)이 단계 S930에서 또는 단계 S935에서 생성된 이웃 화소의 픽셀값을 이용하여 이웃 화소의 픽셀값을 갱신한다.

단계 S950에서, 대상 영역에 포함된 모든 결함 화소의 완료 여부가 판정된다. 대상 화상 내의 모든 결함 화소가 완료되지 않으면, 프로세스는 단계 S905로 되돌아가고, 다음 결함 화소가 대상 결함 화소로서 설정되며 동일한 작업이 수행된다. 단계 S950에서 대상 화상 내의 모든 결함 화소가 완료되면, 프로세스는 단계 S955로 진행하여 이 작업을 종료한다.

도 10은 판정 영역에 포함된 화소의 픽셀값의 변동에 주기성이 있는지를 판정하는 도 9의 단계 S910과 단계 S915의 작업을 상세하게 보여주는 흐름도이다.

이 작업이 시작되면(단계 S1000), 주기성 판정 유닛(30)은 단계 S1005에서 판정 영역에 포함된 화소의 픽셀값에 기초하여 대표 주기를 계산한다. 이것은, 주기성 판정 유닛(30)이 신뢰도를 산출한 다음, 탐색 영역의 템플릿의 사이즈를 결정하는데 필요한 대표 주기를 계산하는 것을 의미한다. 그리고, 단계 S1010에서, 판정 영역의 주기성이 판정된다.

계속해서, 단계 S1015에서, 주기성 판정 유닛(30)은 판정 영역을 분할하고, 결함 화소를 중심으로서 설정하여 좌측 부분 영역과 우측 부분 영역으로서 설정한다. 본 실시형태에 있어서, 주기성 판정 유닛(30)은 부분 영역의 주기성을 판정하는 부분 주기성 판정 유닛을 더 포함한다. 본 실시형태에 있어서, 주기성 판정 유닛(30)은 판정 영역을 분할하고, 좌측 부분 영역과 우측 부분 영역으로 설정하여, 좌측 부분 영역과 우측 부분 영역에 주기성이 있는지를 판정한다.

단계 S1020에서, 주기성 판정 유닛(30)이 대표 주기를 계산하고 좌측 부분 영역에 대해 주기성을 판정한다. 주기성 판정 유닛(30)은 단계 S1025에서 대표 주기를 계산하고 우측 부분 영역에 대해 주기성을 판정한다. 이들 판정이 종료되면, 주기성 판정이 종료된다(단계 S1030).

도 11a는 대상 결함 화소(50)를 포함하는 판정 영역(51)을 보여주는 설명도이다. 도 10의 단계 S1015 내지 S1025에서, 판정 영역(51)은 도 11a에 도시하는 바와 같이, 결함 화소(50)가 그 중심에 위치하도록 설정된다.

그리고, 주기성 판정 유닛(30)은 판정 영역(51)의 결함 화소(50)의 좌측 부분과 우측 부분을 분할하여, 결함 화소(50)의 좌측 및 우측 부분 영역 양쪽에서 좌측 부분을 좌측 부분 영역(52)으로서, 우측 부분을 우측 부분 영역(53)으로서 설정한다. 주기성 판정 유닛(30)은 좌측 부분 영역(52) 및 우측 부분 영역(53)의 주기성을 판정한다.

이 예에서는, 좌측 부분 영역(52)과 우측 부분 영역(53)이, 결함 화소(50)만 제외한 판정 영역의 좌측 및 우측에 있는 화소와, 결함 화소(50)의 바로 위와 바로 아래의 화소 모두를 포함해 다소 크게 설정되어 있지만, 주기성이 적절하게 판정될 경우, 좌측 부분 영역(54)과 우측 부분 영역(55)은 도 11c에 도시하는 바와 같이 다소 작게 설정될 수도 있다. 또한, 좌측 부분 영역(52)과 우측 부분 영역(53)은 판정 영역(51) 내에 포함되지 않을 수도 있고 그 중 일부가 판정 영역(51)에 포함되지 않을 수도 있다.

도 11a에는, 판정 영역(51)이 3 화소의 높이와 3 화소보다 많은 화소수의 폭을 갖는 2차원 영역으로서 설정되어 있지만, 판정 영역(51)은 결함 화소(50)와 동일한 높이, 즉 높이 1 화소, 3 화소보다 많은 화소수의 폭을 갖는 1차원 영역으로서 설정될 수 있다.

결함 화소의 좌측 부분 영역과 우측 부분 영역의 주기성과, 결함 화소를 포함하는 판정 영역의 주기성을 판정함으로써, 주기성 판정 유닛(30)은 대상 결함 화소가 높은 정확도로 주기성 영역에 포함되어 있는지를 판정할 수 있다. 이것은, 주기성 판정 유닛(30)은 전체 판정 영역, 좌측 부분 영역 및 우측 부분 영역에 주기성이 있다면 대상 결함 화소가 주기성 영역에 포함되어 있다고 판정할 수 있다는 것을 의미한다.

또한, 도 12는 판정 영역에 포함된 화소의 픽셀값의 변동에 주기성이 있는지를 판정하기 위한 도 10의 단계 S1010, 단계 S1020 및 단계 S1025에서 수행되는 작업을 상세하게 보여주는 흐름도이다.

각 단계(단계 S1010, 단계 S1020 또는 단계 S1025)의 작업이 시작되면(단계 S1200), 주기성 판정 유닛(30)은 판정 영역에서 최대의 픽셀값을 갖는 화소의 피크들 간의 거리의 최빈수를 산출하고, 단계 S1205에서 전술한 바와 같이 픽셀값의 대표 주기로서 최빈수를 구한다. 도 10에 나타낸 단계 S1005에서 이미 판정 영역의 대표 주기가 계산되기 때문에, 판정 영역의 대표 주기를 계산하는 프로세스가 반복되지 않아도 되며, 여기서는 단계 S1005에서 계산된 대표 주기가 이용될 수 있다.

후속하여, 단계 S1210에서, 단계 S1205에서 구한 대표 주기를 이용하여 신뢰도가 산출된다. 단계 S1215에서 주기 판정 유닛(30)은 구한 신뢰도가 임계값을 초과하는지를 판정하여 그 영역의 주기성 여부를 판정한다. 그리고, 작업은 단계 S1220에서 종료된다. 주기성 판정 유닛(30)은 신뢰도가 임계값을 초과할 경우에는 영역에 주기성이 있다고 판정하고, 신뢰도가 임계값 이하일 경우에는 영역에 주기성이 없다고 판정한다.

도 10에 나타낸 작업에서는, 판정 영역의 대표 주기가 먼저 판정되고, 판정 영역의 주기성이 판정되며, 좌측 부분 영역의 주기성이 판정되며, 계속해서 우측 부분 영역의 주기성이 판정되어, 대상 결함 화소가 주기성 영역에 포함되는지가 판정되는데, 작업이 이것에 한정되지는 않는다. 예컨대, 판정 영역의 주기성은 좌측 부분 영역 및 우측 부분 영역의 주기성이 판정된 후에 판정될 수도 있다.

또한, 좌측 부분 영역과 우측 부분 영역의 주기성이 먼저 판정될 수 있고, 좌측 부분 영역과 우측 부분 영역 양쪽에 주기성이 있고 대표 주기가 같다고 판정되면, 이 대표 주기는 판정 영역에 대한 대표 주기로서 채용될 수 있으며, 또한 판정 영역은 주기성이 있다고 판정될 수 있다. 한편, 좌측 부분 영역과 우측 부분 영역 양쪽에 주기성이 없다고 판정될 경우, 판정 영역은 주기성이 없다고 판정될 수 있다.

또한, 좌측 부분 영역과 우측 부분 영역 중 적어도 하나에 주기성이 있다면, 대상 결함 화소는 주기성 영역에 포함되는 것으로 판정될 수 있고, 좌측 부분 영역과 우측 부분 영역 양쪽에 주기성이 없다면, 대상 결함 화소는 비주기성 영역에 포함되는 것으로 판정될 수 있다. 이것은 좌측 부분 영역과 우측 부분 영역 중 적어도 하나에 주기성이 있을 경우, 대상 결함 화소가 주기성 영역에 포함될 가능성이 높아지기 때문이다. 그렇기 때문에, 결함 화소의 픽셀값은 주기성 영역에 이용되는 보간법에 따라 높은 정확도로 생성될 수 있다.

도 13은 제1 픽셀값 생성 유닛(32)이 템플릿 매칭에 의해 결함 화소의 픽셀값을 생성하는 단계 S930에서 수행되는 작업을 보여주는 흐름도이다.

작업이 시작되면(단계 S1300), 제1 픽셀값 생성 유닛(32)이 단계 S1305에서 템플릿의 사이즈를 결정한다. 템플릿의 사이즈는 전술한 바와 같이 대표 주기에 기초하여 결정될 수 있다.

단계 S1310에서 제1 픽셀값 생성 유닛(32)은, 대상 결함 화소를 포함하는 것으로서, 결정된 템플릿의 사이즈에 기초하여 사이즈가 결정된 영역을 추출하고, 이 영역을 기준 패턴으로서 설정한다. 그리고, 단계 S1315에서 제1 픽셀값 생성 유닛(32)은 전술한 방법에 따라 대표 주기에 기초하여, 기준 패턴과 유사한 패턴(이하, 간단히 "유사 패턴"이라고 함)을 탐색하기 위한 탐색 영역을 결정하여 설정한다. 제1 픽셀값 생성 유닛(32)은 탐색 영역에서 템플릿으로서 기준 패턴을 이용하여 유사 패턴을 탐색한다. 템플릿과 각각의 비교 패턴 간의 일치도를 구함으로써 유사 패턴을 검출하여, 템플릿과의 일치도가 가장 높은 비교 패턴을 선택할 수 있다.

단계 1325에서, 제1 픽셀값 생성 유닛(32)은 선택된 유사 패턴과, 그 유사 패턴을 탐색하는데 이용된 템플릿을 비교하여, 템플릿에 있어서 결함 화소의 위치에 대응하는 위치에 있는 유사 패턴 내의 후보 화소를 선택하며, 선택된 후보 화소의 픽셀값을 대상 결함 화소에 삽입될 후보 픽셀값으로서 구한다. 또한, 제1 픽셀값 생성 유닛(32)은 선택된 유사 패턴을 지정 영역으로서 설정하고, 선택된 후보 화소의 근방 화소의 픽셀값을, 대상 결함 화소의 이웃 화소의 픽셀값에 대한 후보 픽셀값으로서 취득한다. 이 프로세스 후에, 프로세스는 단계 S1330으로 진행하고 작업을 종료한다.

하나의 유사 패턴만이 선택될 경우, 대상 결함 화소 또는 이웃 픽셀에 대응하는 화소의 픽셀값이 이용될 수 있고, 복수의 유사 패턴이 선택될 경우, 전술한 바와 같이 평균 등을 계산하여 이웃 화소를 취득할 수 있다.

(제2 실시형태)

제2 실시형태에 따른 화상 처리 장치에 대해 설명한다. 도 14는 화상 처리 장치의 구조예를 도시한다.

본 실시형태의 화상 처리 장치(10) 역시, 도 2에 도시한 제1 실시형태의 화상 처리 장치(10)와 마찬가지로, 주기성 판정 유닛(60), 경계 판정 유닛(61), 제1 픽셀값 생성 유닛(62), 제2 픽셀값 생성 유닛(63), 제어 유닛(64), 픽셀값 보간 유닛(65), 및 픽셀값 갱신 유닛(66)을 포함한다. 또한, 화상 처리 장치(10)는 제1 픽셀값 생성 유닛(62) 및 제2 픽셀값 생성 유닛(63)이 채용하는 보간법과는 상이한 보간법을 채용하여 결함 화소의 픽셀값 및 이웃 화소의 픽셀값을 생성하는 제3 픽셀값 생성 유닛(67)을 더 포함한다.

제2 실시형태의 화상 처리 장치(10)의 주기성 판정 유닛(60), 경계 판정 유닛(61), 제1 픽셀값 생성 유닛(62), 제2 픽셀값 생성 유닛(63), 제어 유닛(64), 픽셀값 보간 유닛(65), 및 픽셀값 갱신 유닛(66)은 전술한 제1 실시형태의 화상 처리 장치(10)의 주기성 판정 유닛(30), 경계 판정 유닛(31), 제1 픽셀값 생성 유닛(32), 제2 픽셀값 생성 유닛(33), 제어 유닛(34), 픽셀값 보간 유닛(35), 및 픽셀값 갱신 유닛(36)과 각각 같은 구성을 갖는다.

제3 픽셀값 생성 유닛(67)에 있어서, 보간법이 상이할지라도, 제3 픽셀값 생성 유닛(67)은 제1 픽셀값 생성 유닛(62) 및 제2 픽셀값 생성 유닛(63)과 마찬가지로 결함 화소 및 이웃 화소의 픽셀값을 생성하기 때문에, 여기에서는 그 설명을 생략한다.

제어 유닛(64)은 주기성 판정 유닛(60) 및 경계 판정 유닛(61)의 판정에 기초하여 보간법을 결정하고, 제1 픽셀값 생성 유닛(62), 제2 픽셀값 생성 유닛(63), 또는 제3 픽셀값 생성 유닛(67) 중 어떤 것을 채용할 것인지 결정하여, 선택된 픽셀값 생성 유닛으로 하여금 결함 화소에 삽입될 픽셀값을 생성하게 한다. 한편, 제1 픽셀값 생성 유닛(62), 제2 픽셀값 생성 유닛(63), 및 제3 픽셀값 생성 유닛(67)은 전부 결함 화소의 픽셀값을 사전에 병렬로 생성할 수 있고, 그리고 제어 유닛(64)은 픽셀값 생성 유닛 중 어떤 것을 채용할 것인지를 선택할 수 있다.

도 15는 도 14에 도시하는 화상 처리 장치(10)의 각 유닛에 의해 수행되는 보간 작업을 예시하는 흐름도이다.

보간 작업이 시작되면(단계 S1500), 화소 설정 유닛은 픽셀값이 삽입되어야 하는 결함 화소를 검출하고, 검출된 화소를 대상 결함 화소로서 설정한다(단계 S1505). 결함 화소의 검출은 전술한 방법에 따라 행해질 수 있다. 대상 화상에서 복수의 결함 화소가 포함되어 검출될 경우, 결함 화소는 화소의 좌표에 기초하여 수가 정해지고, 결함 화소 중 하나가 그 정해진 수에 따라 순서대로 선택된다. 단계 S1505에서, 선택된 결함 화소 중 하나가 대상 결함 화소로서 설정된다.

단계 S1510에서, 주기성 판정 유닛(60)이 대상 결함 화소를 포함하는 판정 영역을 설정하고, 그 판정 영역 내에 포함된 화소의 픽셀값의 변동에 주기성이 있는지를 판정한다. 구체적으로, 주기성 판정 유닛(60)은 전술한 판정 영역의 사이즈를 설정하는 방법을 이용하여 판정 영역을 설정하고, 전술한 주기성을 판정하는 방법을 이용하여 판정 영역에 주기성이 있는지를 판정한다.

계속해서, 단계 S1515에서, 경계 판정 유닛(61)은 대상 결함 화소가 주기성 영역에 또는 비주기성 영역 내에 존재하는지를 판정한다. 경계 판정 유닛(61)은 전술한 참조 영역의 사이즈를 설정하는 방법을 이용하여 좌측 참조 영역과 우측 참조 영역을 설정하고, 좌측 참조 영역과 우측 참조 영역에 대해 분산을 계산하며, 좌측 참조 영역과 우측 참조 영역 양쪽의 계산된 분산이 임계값 이상인 경우에 주기성 영역에 대상 결함 화소가 존재한다고 판정한다.

그리고, 단계 S1520에서, 대상 결함 화소의 픽셀값을 생성하는 보간법이 결정된다. 이 단계에서는, 제어 유닛(64)이 단계 S1510과 단계 S1515에서 판정된 결과에 기초하여, 제1 픽셀값 생성 유닛(62)에 의해 채용되는 보간법, 제2 픽셀값 생성 유닛(63)에 의해 채용되는 보간법, 및 제3 픽셀값 생성 유닛(67)에 의해 채용되는 보간법 중 어떤 것을 후보 픽셀값을 생성하는 데에 이용할 것인지를 결정한다.

예컨대, 제어 유닛(64)은 대상 결함 화소를 포함하는 판정 영역에 주기성이 있고, 그 대상 결함 화소가 주기성 영역 내에 존재할 경우, 제1 픽셀값 생성 유닛(62)에 의해 채용되는 템플릿 매칭법을 이용하기로 결정하고, 대상 결함 화소를 포함하는 판정 영역에 주기성은 있지만 그 결함 화소가 비주기성 영역 내에 존재할 경우에 제2 픽셀값 생성 유닛(63)에 의해 채용되는 내삽법을 이용하기로 결정하며, 대상 결함 화소를 포함하는 판정 영역에 주기성이 없고 대상 결함 화소가 비주기성 영역 내에 존재할 경우에는, 제3 픽셀값 생성 유닛(67)에 의해 채용되는 다른 보간법을 이용하기로 결정할 수 있다.

한편, 제어 유닛(64)은 결함 화소를 포함하는 판정 영역의 주기가 짧고 그 대상 결함 화소가 주기성 영역 내에 존재할 경우에는, 제1 픽셀값 생성 유닛(62)에 의해 채용되는 템플릿 매칭법을 이용하기로 결정하고, 대상 결함 화소를 포함하는 판정 영역의 주기가 짧고, 그 대상 결함 화소가 비주기성 영역 내에 존재할 경우에는, 제2 픽셀값 생성 유닛(63)에 의해 채용되는 내삽법을 이용하기로 결정하며, 그 외의 경우에는 제3 픽셀값 생성 유닛(67)에 의해 채용되는 다른 보간법을 이용하기로 결정할 수도 있다.

제3 픽셀값 생성 유닛(67)에 의해 채용되는 보간법은 제1 픽셀값 생성 유닛(62) 및 제2 픽셀값 생성 유닛(63)에 의해 채용되는 보간법과 상이하다면, 어느 방법일 수도 있다. 예컨대, 제1 픽셀값 생성 유닛(62)이 2차원 템플릿 매칭을 채용하고 제2 픽셀값 생성 유닛(63)이 큐빅 내삽을 채용하는 경우, 제3 픽셀값 생성 유닛(67)은 2차원 템플릿 매칭 및 큐빅 내삽과 다른, 1차원 템플릿 매칭, 최근방 내삽, 선형 내삽, 포물선 내삽, 다항식 내삽, 스플라인 내삽, 라그랑지 내삽, 바이리니어 내삽, 바이큐빅 내삽 등을 채용할 수 있다.

단계 S1525에서, 제어 유닛(64)은 결정된 보간법에 기초하여 제1 픽셀값 생성 유닛(62)의 채용 여부를 판정한다. 단계 S1525에서 제어 유닛(64)에 의해 제1 픽셀값 생성 유닛(62)이 채용된다고 판정되면, 프로세스는 단계 S1530으로 진행한다. 그리고, 제1 픽셀값 생성 유닛(62)은 채용된 보간법으로 대상 결함 화소의 픽셀값을 생성한다.

이 때, 제1 픽셀값 생성 유닛(62)은 중심으로서 대상 결함 화소와 그 대상 결함 화소의 근방에 위치하는 미리 정해진 수의 화소를 포함하는 이웃 화소를 설정하는데, 이것은 예컨대 픽셀값이 갱신되어야 하는 화소에 대한 템플릿에 대응한다. 그리고, 제1 픽셀값 생성 유닛(62)은 대상 결함 화소 외의 이웃 영역에 포함된 화소를 이웃 화소로서 설정하고, 그 이웃 화소의 픽셀값을 생성한다.

한편, 단계 S1525에서 제1 픽셀값 생성 유닛(62)이 채용되지 않는다고 판정되면, 프로세스는 단계 S1535로 진행한다. 단계 S1535에서, 제어 유닛(64)은 제2 픽셀값 생성 유닛(63)이 채용되는지를 판정한다. 제2 픽셀값 생성 유닛(63)이 채용된다고 판정되면, 프로세스는 단계 S1540로 진행한다.

제2 픽셀값 생성 유닛(63)은 보간법을 채용하여 대상 결함 화소의 픽셀값을 생성한다. 이 경우에, 보간법이 내삽법이기 때문에, 이웃 화소의 픽셀값은 전술한 바와 같이 갱신되지 않는 것이 좋다.

단계 S1535에서 제2 픽셀값 생성 유닛(63)이 채용되지 않는다고 판정되면, 프로세스는 단계 S1545로 진행한다. 단계 S1545에서, 제3 픽셀값 생성 유닛(67)은 보간법을 채용하여 대상 결함 화소의 픽셀값을 생성한다.

화상 처리 장치(10)가 각 보간법마다 이웃 화소의 픽셀값이 갱신되어야 하는지의 여부가 미리 설정되어 있는 설정 테이블을 더 포함할 수 있다. 픽셀값 생성 유닛은 설정 테이블을 참조하여 이웃 화소의 픽셀값을 갱신하도록 설정되어 있을 경우 이웃 화소의 픽셀값을 생성할 수 있다. 픽셀값 생성 유닛에 의해 채용된 보간법이 내삽법인 경우, 설정 테이블에서 이웃 화소의 픽셀값을 갱신하지 않도록 설정될 수 있다. 설정 테이블에서 이웃 화소의 픽셀값을 갱신하도록 설정될 경우, 이웃 영역 역시 설정 테이블에 설정될 수 있다.

또한, 보간법이 1차원 패턴 매칭일 경우, 이웃 화소의 픽셀값을 갱신하지 않는 것으로 설정될 수 있고, 보간법이 2차원 패턴 매칭일 경우에는, 설정 테이블에서 이웃 화소의 픽셀값을 갱신하도록 설정될 수 있다.

1차원 패턴 매칭의 경우, 대상 결함 화소와 같은 라인에 있는 화소를 포함하도록 템플릿이 선택되기 때문에, 이웃 화소의 픽셀값이 갱신될지라도 대상 결함 화소의 상측 또는 하측에 위치하는 화소의 픽셀값이 갱신되지 않기 때문에, 갱신된 부분은 다른 부분과 조화할 수 없다. 그러나, 2차원 패턴 매칭의 경우에는 이러한 문제가 생기지 않는다. 따라서, 2차원 패턴 매칭의 경우에만 설정 테이블에서 이웃 화소의 픽셀값을 갱신하여, 2차원 패턴 매칭을 채용하는 픽셀값 생성 유닛, 예컨대 제1 픽셀값 생성 유닛(62)이 이웃 화소의 픽셀값을 생성할 수 있다.

단계 S1550에서, 픽셀값 보간 유닛(65)은 단계 S1530, 단계 S1540, 또는 단계 S1545에서 생성된 대상 결함 화소의 픽셀값을 수신하고, 단계 S1505에서 설정된 대상 결함 화소에 그 픽셀값을 삽입한다. 그리고, 단계 S1555에서, 픽셀값 갱신 유닛(66)은 단계 S1530, 단계 S1540, 또는 단계 S1545에서 생성된 이웃 화소의 픽셀값을 수신하고, 이웃 영역에 있는 이웃 화소의 픽셀값을, 그 이웃 화소의 픽셀값을 갱신하도록 치환한다.

그 후, 단계 S1560에서, 대상 영역에 포함된 모든 결함 화소가 완료되었는지를 판정한다. 단계 S1505에서 복수의 결함 화소가 설정될 경우, 단계 S1505에서 설정된 결함 화소가 모두 완료되었다고 판정한다. 단계 S1560에서 대상 화소 내의 모든 결함 화소가 완료되었다고 판정된 경우에 프로세스는 단계 S1565로 진행하여 이 작업을 종료한다. 단계 S1565에서 대상 화상 내의 결함 화소가 모두 완료되지 않았다고 판정되면, 프로세스는 단계 S1505로 되돌아가고, 다음 결함 화소가 대상 결함 화소로서 설정되며, 같은 작업이 수행된다.

또한, 본 실시형태의 화상 처리 장치(10)는 제1 픽셀값 생성 유닛(62), 제2 픽셀값 생성 유닛(63), 또는 제3 픽셀값 생성 유닛(67)에 의해 생성된 결함 화소의 제1 후보 픽셀값을 검증하는 타당성 검증 유닛을 더 포함할 수 있다. 이 검증에 의해, 제1 후보 픽셀값이 타당하지 않으면, 제어 유닛(64)은 결함 화소의 제1 후보 픽셀값을 생성한 픽셀값 생성 유닛 외의 다른 픽셀값 생성 유닛을 선택하여, 결함 화소의 제2 후보 픽셀값을 생성하게 할 수 있다. 타당성 검증 유닛은 결함 화소의 제2 후보 픽셀값을 재차 검증할 수 있다.

예컨대, 타당성 검증 유닛은 후보 픽셀값이 생성될 때에 취득된 연관 데이터로 결함 화소의 후보 픽셀값을 검증할 수 있다.

예컨대, 보간법으로서 패턴 매칭법을 채용하는 제1 픽셀값 생성 유닛(62)이 채용될 경우, 연관 데이터는 템플릿과 비교 패턴 간의 차이도 또는 유사도를 포함할 수 있다. 이 때, 템플릿에 있어서 결함 화소의 픽셀값에 대해서는, 제1 픽셀값 생성 유닛(62)에 의해 생성된 결함 화소의 후보 픽셀값 또는 고려사항으로부터 그 픽셀값이 제외될 수 있다. 차이도 또는 유사도에 있어서, 전술한 바와 같은 SAD, SSD, 상관 계수, 공분산 등이 이용될 수 있다.

타당성 검증 유닛은, 차이도가 임계값 미만인지, 또는 유사도가 임계값 이상인지를 판정함으로써, 결함 화소의 후보 픽셀값이 타당한지 또는 부당한지를 판정할 수 있다. 타당성 검증 유닛은 차이도가 임계값 미만이거나 유사도가 임계값 이상인 경우에, 결함 화소의 후보 픽셀값이 타당하다고 판정할 수 있다. 이 때문에, 타당성 검증 유닛에서는, 결함 화소의 후보 픽셀값이 타당하다고 판정하는 조건이, 차이도가 임계값 미만이거나 유사도가 임계값 이상인 것이다. 임계값은 전술한 임계값과 같이, 사전에 사용자에 의해 설정될 수도 있고, 동적으로 결정될 수도 있다.

제어 유닛(64)은 타당성 검증 유닛으로 하여금 제1 픽셀값 생성 유닛(62)에 의해 생성된 결함 화소의 제1 후보 픽셀값을 검증하게 하여, 제1 후보 픽셀값이 부당하다고 판정될 경우 제2 픽셀값 생성 유닛(63)으로 하여금 결함 화소의 제2 후보 픽셀값을 생성하게 하고, 타당성 검증 유닛으로 하여금 제2 후보 픽셀값을 검증하게 하여, 제2 후보 픽셀값이 부당하다고 판정될 경우 제3 픽셀값 생성 유닛(67)으로 하여금 결함 화소의 제3 후보 픽셀값을 생성하게 한다. 한편, 제어 유닛(64)은 제1 픽셀값 생성 유닛(62), 제2 픽셀값 생성 유닛(63), 제3 픽셀값 생성 유닛(67) 모두로 하여금 사전에 병렬로 결함 화소의 픽셀값을 생성하게 하고, 타당성 검증 유닛에 의한 검증 결과에 기초하여, 후보 픽셀값 중 하나를 선택할 수 있다.

실시형태에 따르면, 본 발명의 화상 처리 장치(10)는 기본 구조로서, 주기성 판정 유닛(30 또는 60), 경계 판정 유닛(31 또는 61), 제1 픽셀값 생성 유닛(32 또는 62), 제2 픽셀값 생성 유닛(33 또는 63), 제어 유닛(34 또는 64), 픽셀값 보간 유닛(35 또는 65), 및 픽셀값 갱신 유닛(36 또는 66)을 포함한다.

화상 처리 장치(10)는 제1 실시형태에서 설명한 바와 같은 화소 설정 유닛을, 또는 제2 실시형태에서 설명한 바와 같은 타당성 검증 유닛이나 제3 픽셀값 생성 유닛을 더 포함할 수 있다.

화상 처리 장치(10)는 화소 설정 유닛, 제3 픽셀값 생성 유닛(67), 및 타당성 검증 유닛 중 하나, 2개 또는 전부가 기본 구성에 추가되는 구성을 가질 수 있다. 또한, 화상 처리 장치(10)는 제1 픽셀값 생성 유닛(32 또는 62), 제2 픽셀값 생성 유닛(33 또는 63), 및 제3 픽셀값 생성 유닛(67)에 한정되는 일 없이 3개보다 많은 픽셀값 생성 유닛을 더 포함할 수 있다. 또한, 화상 처리 장치(10)는 주기성 판정 유닛(30 또는 60)이 판정 영역에 주기성이 있는지를 판정할 수 있기 때문에 경계 판정 유닛(31 또는 61)을 포함하지 않을 수도 있다.

화상 처리 장치(10)와 함께, 화상 처리 장치(10)를 이용하여 화상을 검출하는 방법, 이 방법을 실현시키는 컴퓨터에 의해 판독 가능한 프로그램, 또는 이 프로그램을 저장하는 기록 매체도 제공될 수 있다. 기록 매체는 배포형 FD, CD, DVD, SD 카드, USB 카드 등일 수 있다.

또한, 화상 처리 장치는 제1 픽셀값 생성 유닛이 결함 화소의 후보 픽셀값을 생성할 때에 취득된 연관 데이터에 기초하여, 결함 화소의 생성된 후보 픽셀값이 타당한지를 검증하는 타당성 검증 유닛과, 제1 보간법 및 제2 보간법과 상이한 제3 보간법으로 결함 화소의 픽셀값을 생성하는 제3 픽셀값 생성 유닛을 더 포함할 수 있고, 제어 유닛은 주기성 판정 유닛의 판정에 기초하여, 제1 픽셀값 생성 유닛, 제2 픽셀값 생성 유닛, 또는 제3 픽셀값 제어 유닛 중 어떤 것을, 결함 화소의 픽셀값을 생성하기 위해 채용할 것인지를 결정하며, 제어 유닛은, 타당성 검증 유닛에 의해 결함 화소의 생성된 후보 픽셀값이 부당하다고 검증될 때에 제2 픽셀값 생성 유닛으로 하여금 결함 화소의 후보 픽셀값을 생성하게 하고, 타당성 검증 유닛으로 하여금 제2 픽셀값 생성 유닛에 의해 생성된 결함 화소의 후보 픽셀값을 검증하게 하여, 타당성 검증 유닛에 의해 결함 화소의 생성된 후보 픽셀값이 부당하다고 검증될 경우에 제3 픽셀값 생성 유닛으로 하여금 결함 화소의 후보 픽셀값을 생성하게 한다.

결함 화소의 픽셀값을 보간하는 방법에 있어서, 결함 화소를 포함하도록 설정된 판정 영역이 주기성 영역인지를 판정하는 단계는, 판정 영역 내의 화소의 픽셀값의 변동 주기를 계산하는 단계를 포함할 수 있고, 이웃 화소의 픽셀값을 갱신하는 단계는, 변동 주기를 계산하는 단계에서 계산된 변동 주기에 기초하여 미리 정해진 영역의 범위를 설정하는 단계를 포함할 수 있다.

결함 화소의 픽셀값을 보간하는 방법은, 판정 영역이 주기성 영역으로 판정될 때에 대상 화상에서 결함 화소에 인접한 하나 이상의 참조 영역을 설정하는 단계와, 참조 영역이 주기성 영역인지를 각 참조 영역마다 결정하는 단계와, 참조 영역 중 적어도 하나가 비주기성 영역으로 판정될 경우 주기성 영역과 비주기성 영역 간의 경계에 결함 화소가 존재하는지 판정하는 단계를 더 포함할 수 있다.

결함 화소의 픽셀값을 보간하는 방법에 있어서, 이웃 화소의 픽셀값을 갱신하는 단계에서, 결함 화소가 주기성 영역과 비주기성 영역 사이의 경계에 존재한다고 판정될 경우에, 이웃 화소의 픽셀값은 갱신되지 않는 것으로 결정된다.

결함 화소의 픽셀값을 보간하는 방법에 있어서, 이웃 화소의 픽셀값을 갱신하는 단계에서, 결함 화소가 주기성 영역과 비주기성 영역 사이의 경계에 존재한다고 판정될 경우에 주기성 영역과 비주기성 영역 사이의 경계에 존재한다고 판정된 참조 영역에 포함된 화소를 제외한 이웃 화소의 픽셀값이 갱신되는 것으로 결정된다.

결함 화소의 픽셀값을 보간하는 방법에 있어서, 제1 보간법은 패턴 매칭법일 수 있고, 제2 보간법은 내삽법일 수 있다.

결함 화소의 픽셀값을 보간하는 방법에 있어서, 이웃 화소의 픽셀값을 갱신하는 단계에서, 제2 픽셀값 생성 유닛이 채용되기로 결정될 경우에 이웃 화소의 픽셀값은 갱신되지 않는 것으로 결정된다.

결함 화소의 픽셀값을 보간하는 방법은, 제1 픽셀값 생성 유닛이 결함 화소의 후보 픽셀값을 생성할 때에 취득된 연관 데이터에 기초하여, 결함 화소의 생성된 후보 픽셀값이 타당한지를 검증하는 단계를 더 포함할 수 있고, 제2 픽셀값 생성 유닛은 제1 픽셀값 생성 유닛에 의해 생성된 후보 픽셀값이 부당하다고 검증될 때에 결함 화소의 후보 픽셀값을 생성하도록 결정된다.

결함 화소의 픽셀값을 보간하는 방법에 있어서, 결함 화소의 후보 픽셀값을 생성하기 위해 어떤 픽셀값 생성 유닛을 채용할 것인지를 결정하는 단계에서, 판정 영역이 주기성 영역인지 비주기성 영역인지의 판정에 기초하여, 제1 픽셀값 생성 유닛, 제2 픽셀값 생성 유닛, 또는 제1 보간법 및 제2 보간법과 상이한 제3 보간법으로 결함 화소의 후보 픽셀값을 생성하는 제3 픽셀값 생성 유닛 중 어떤 것을 결함 화소의 후보 픽셀값을 생성하기 위해 채용할 것인지가 결정된다.

본 발명은 구체적으로 개시한 실시형태들에 한정되지 않으며, 수정 및 변형이 본 발명의 범위에서 벗어나는 일 없이 이루어질 수 있다.

본 출원은 2011년 1월 28일에 출원한 일본 우선권 출원 제2011-016125호에 기초하며, 이것의 전체 내용은 여기에서의 참조에 의해 본 명세서에 원용된다.

Claims (15)

1. 화상 처리 장치에 있어서,
   대상 화상에서 픽셀값이 보간되어야 하는 결함 화소를 포함하는 판정 영역을 설정하고, 상기 판정 영역이, 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하는 주기성 영역인지 또는 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하지 않는 비주기성 영역인지를 판정하는 주기성 판정 유닛과,
   상기 결함 화소의 후보 픽셀값과, 상기 결함 화소의 근방에 위치하며 미리 정해진 영역 내에 포함되는 이웃 화소의 후보 픽셀값을 제1 보간법으로 생성하는 제1 픽셀값 생성 유닛과,
   상기 결함 화소의 후보 픽셀값을, 상기 제1 보간법과 상이한 제2 보간법으로 생성하는 제2 픽셀값 생성 유닛과,
   상기 주기성 판정 유닛의 판정에 기초하여, 상기 제1 픽셀값 생성 유닛과 상기 제2 픽셀값 생성 유닛 중 어떤 것을, 상기 결함 화소의 후보 픽셀값을 생성하기 위해 채용할 것인지 결정하는 제어 유닛과,
   상기 제어 유닛에 의해 채용이 결정된 제1 픽셀값 생성 유닛 또는 제2 픽셀값 생성 유닛 중 어느 하나에 의해 생성된 결함 화소의 후보 픽셀값을 삽입하는 픽셀값 보간 유닛과,
   상기 제어 유닛에 의해 상기 제1 픽셀값 생성 유닛이 채용되기로 결정될 경우, 상기 제1 픽셀값 생성 유닛에 의해 생성된 이웃 화소의 후보 픽셀값과, 상기 이웃 화소의 원래 픽셀값을 이용하여 상기 이웃 화소의 픽셀값을 갱신하는 픽셀값 갱신 유닛
   을 포함하는 화상 처리 장치.
2. 제1항에 있어서, 상기 제어 유닛은 상기 주기성 판정 유닛의 판정에 기초하여, 상기 픽셀값 갱신 유닛으로 하여금 상기 이웃 화소의 픽셀값을 갱신시킬지를 결정하는 것인 화상 처리 장치.
3. 제1항에 있어서, 상기 제어 유닛은 상기 주기성 판정 유닛에 의해 상기 판정 영역이 주기성 영역이라고 판정될 경우에, 상기 제1 픽셀값 생성 유닛을 채용하기로 결정하는 것인 화상 처리 장치.
4. 제1항에 있어서, 상기 제1 보간법은 패턴 매칭법이고, 상기 제1 픽셀값 생성 유닛은 상기 결함 화소를 포함하는 기준 패턴을 템플릿으로서 설정하고, 상기 대상 화상에서 설정된 탐색 영역으로부터 상기 템플릿과 유사한 하나 이상의 유사 패턴을 선택하며, 상기 기준 패턴에서의 결함 화소 및 이웃 화소의 위치와 선택된 유사 패턴에서의 화소의 위치에 기초하여, 상기 선택된 유사 패턴으로부터 상기 이웃 화소의 후보 픽셀값과 상기 결함 화소의 후보 픽셀값을 취득하는 것인 화상 처리 장치.
5. 제3항에 있어서, 상기 제1 보간법은 패턴 매칭법이고, 상기 제1 픽셀값 생성 유닛은 상기 결함 화소를 포함하는 기준 패턴을 템플릿으로서 설정하고, 상기 대상 화상에서 설정된 탐색 영역으로부터 상기 템플릿과 유사한 하나 이상의 유사 패턴을 선택하며, 상기 기준 패턴에서의 결함 화소 및 이웃 화소의 위치와 선택된 유사 패턴에서의 화소의 위치에 기초하여, 상기 선택된 유사 패턴으로부터 상기 이웃 화소의 후보 픽셀값과 상기 결함 화소의 후보 픽셀값을 취득하는 것인 화상 처리 장치.
6. 제2항에 있어서, 상기 주기성 판정 유닛은 상기 판정 영역 내의 화소의 픽셀값의 변동 주기를 계산하는 주기 계산 유닛을 포함하고, 상기 픽셀값 갱신 유닛은 상기 주기 계산 유닛에 의해 계산된 변동 주기에 기초하여, 상기 미리 정해진 영역의 범위를 설정하는 범위 설정 유닛을 포함하는 것인 화상 처리 장치.
7. 제1항에 있어서, 상기 주기성 판정 유닛에 의해 상기 판정 영역이 주기성 영역이라고 판정될 경우에, 상기 대상 화상에서 결함 화소의 근방에 하나 이상의 참조 영역을 설정하고, 상기 참조 영역 내의 화상의 특성에 기초하여, 상기 결함 화소가 주기성 영역에, 비주기성 영역에, 또는 주기성 영역과 비주기성 영역 사이의 경계에 존재하는지를 판정하는 경계 판정 유닛을 더 포함하는 화상 처리 장치.
8. 제7항에 있어서, 상기 제어 유닛은 상기 경계 판정 유닛에 의해 상기 결함 화소가 주기성 영역 내에 존재하지 않는다고 판정될 경우, 상기 픽셀값 갱신 유닛으로 하여금 상기 이웃 화소의 픽셀값을 갱신시키지 않기로 결정하는 것인 화상 처리 장치.
9. 제7항에 있어서, 상기 제어 유닛은 상기 픽셀값 갱신 유닛으로 하여금, 상기 경계 판정 유닛에 의해 주기성 영역 내에 존재하지 않는다고 판정된 참조 영역 내에 포함된 화소를 제외한 이웃 화소의 픽셀값을 갱신시키기로 결정하는 것인 화상 처리 장치.
10. 제1항에 있어서, 상기 제1 보간법은 패턴 매칭법이고, 상기 제2 보간법은 내삽법인 것인 화상 처리 장치.
11. 제10항에 있어서, 상기 제어 유닛은 상기 제2 픽셀값 생성 유닛이 채용되기로 결정될 경우에, 상기 픽셀값 갱신 유닛으로 하여금 상기 이웃 화소의 픽셀값을 갱신시키지 않기로 결정하는 것인 화상 처리 장치.
12. 제1항에 있어서,
    상기 제1 픽셀값 생성 유닛이 상기 결함 화소의 후보 픽셀값을 생성할 경우에 취득되는 연관 데이터에 기초하여, 상기 결함 화소의 생성된 후보 픽셀값이 타당한지를 검증하는 타당성 검증 유닛
    을 더 포함하고,
    상기 제어 유닛은 상기 타당성 검증 유닛에 의해 상기 결함 화소의 생성된 후보 픽셀값이 부당하다고 검증될 경우에, 상기 제2 픽셀값 생성 유닛으로 하여금 상기 결함 화소의 후보 픽셀값을 생성하게 하는 것인 화상 처리 장치.
13. 제1항에 있어서,
    상기 제1 보간법 및 상기 제2 보간법과 상이한 제3 보간법으로 상기 결함 화소의 후보 픽셀값을 생성하는 제3 픽셀값 생성 유닛
    을 더 포함하고,
    상기 제어 유닛은 상기 주기성 판정 유닛의 판정에 기초하여, 상기 제1 픽셀값 생성 유닛, 제2 픽셀값 생성 유닛, 또는 제3 픽셀값 생성 유닛 중 어떤 것을, 상기 결함 화소의 후보 픽셀값을 생성하기 위해 채용할 것인지를 결정하는 것인 화상 처리 장치.
14. 대상 화상에 포함되며 픽셀값이 보간되어야 하는 결함 화소의 픽셀값을 보간하는 방법에 있어서,
    상기 결함 화소를 포함하도록 설정된 판정 영역이, 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하는 주기성 영역인지 또는 이 판정 영역에 포함된 화소의 픽셀값이 주기적으로 변하지 않는 비주기성 영역인지를 판정하는 단계와,
    상기 판정 영역이 주기성 영역인지 또는 비주기성 영역인지의 판정에 기초하여, 상기 결함 화소의 후보 픽셀값과, 상기 결함 화소의 근방에 위치하며 미리 정해진 영역 내에 포함되는 이웃 화소의 후보 픽셀값을 제1 보간법으로 생성하는 제1 픽셀값 생성 유닛과, 상기 결함 화소의 후보 픽셀값을 상기 제1 보간법과 상이한 제2 보간법으로 생성하는 제2 픽셀값 생성 유닛 중 어떤 것을, 상기 결함 화소의 후보 픽셀값을 생성하기 위해 채용할 것인지 결정하는 단계와,
    채용이 결정된 제1 픽셀값 생성 유닛 또는 제2 픽셀값 생성 유닛 중 어느 하나에 의해 생성된 결함 화소의 후보 픽셀값을 삽입하는 단계와,
    상기 결함 화소의 픽셀값의 후보를 생성하기 위해 상기 제1 픽셀값 생성 유닛이 채용되기로 결정될 경우에, 상기 제1 픽셀값 생성 유닛에 의해 생성된 이웃 화소의 후보 픽셀값과, 상기 이웃 화소의 원래 픽셀값을 이용하여 상기 이웃 화소의 픽셀값을 갱신하는 단계
    을 포함하는 픽셀값 보간 방법.
15. 제14항에 있어서, 상기 이웃 화소의 픽셀값을 갱신하는 단계에서는, 상기 판정 영역이 주기성 영역인지 또는 비주기성 영역인지의 판정에 기초하여, 픽셀값 갱신 유닛으로 하여금 상기 이웃 화소의 픽셀값을 갱신시킬지가 결정되는 것인 픽셀값 보간 방법.

Images