KR20050058221A - 신호처리 방법 및 화상취득 장치 - Google Patents

신호처리 방법 및 화상취득 장치 Download PDF

Info

Publication number
KR20050058221A
KR20050058221A KR1020040104232A KR20040104232A KR20050058221A KR 20050058221 A KR20050058221 A KR 20050058221A KR 1020040104232 A KR1020040104232 A KR 1020040104232A KR 20040104232 A KR20040104232 A KR 20040104232A KR 20050058221 A KR20050058221 A KR 20050058221A
Authority
KR
South Korea
Prior art keywords
image
pixel
signal
image signal
pixels
Prior art date
Application number
KR1020040104232A
Other languages
English (en)
Other versions
KR100645856B1 (ko
Inventor
쿠도치아키
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20050058221A publication Critical patent/KR20050058221A/ko
Application granted granted Critical
Publication of KR100645856B1 publication Critical patent/KR100645856B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

화상입력장치(1)로부터 전송되어 온 전하Q(x,y)를 제1 신호강도S'(x,y)로 변환하고, 특정의 화소에 대한 제1 신호강도S'(x,y)에 대하여 신호처리를 행하는 경우, 인접하는 화소의 신호강도S'(x-1,y)와 S'(x+1,y)로부터 최대값(Smax)과 최소값(Smin)과 평균값(Save)을 구한다. S'(x,y)>Smax×A인 경우는 특정화소의 신호강도 S(x,y)=Save×C로 하고(A,C는 계수), S'(x,y)<Smin×B인 경우는 신호강도 S(x,y)=Save×D로 함으로써(B,D는 계수), 적절한 강도S(x,y)가 되도록 처리된다. 화상입력장치의 화소어레이 상에 부착된 이물이나 결정결함 등에 기인하는 결함화소인 것의 정확한 판정을 가능하게 하고, 결함화소에 기인하는 화상상의 결함을 보상한다.

Description

신호처리 방법 및 화상취득 장치{SIGNAL PROCESSING METHOD AND IMAGE ACQUISITION DEVICE}
본 발명은 CCD로 대표되는 화상입력장치로부터 출력되는 신호에 있어서의 신호처리방법 및 화상취득장치에 관한 것이다.
CCD 등의 화상입력장치로부터의 신호처리에 있어서, 종래의 신호처리방법은 화소라고 불려지는 포토다이오드 등으로 이루어진 광-전자변환소자의 신호를 그대로 이용하던지, 그 신호를 아날로그로부터 디지털 변환한 신호를 이용하였다. 도13부터 도17을 이용하여 종래의 신호처리방법을 설명한다. 도13~도17은 대상이 되는 화상신호인 광신호가 입력되고나서 표시장치 혹은 기억장치에 출력될 때까지의 이동에 대하여 순서를 따라서 나타내고 있다.
도13은 카메라 등으로 대표되는 반도체기판에 형성된 화상취득장치의 내부구조에 관한 개념도이며, CCD 등의 화상입력장치(1)와, 화상입력장치(1)로부터 출력된 화상신호를 처리하는 아날로그 디지털 변환 등의 신호처리장치(2)와, 화상데이터의 표시장치 혹은 기억장치(3)가 있다. 화상입력장치(1) 중에는 광전변환장치인 포토다이오드(11)가 복수개 있고, 각각(x,y)의 좌표를 가지고 있다. 여기서는 간략화를 위해 x=1~5, y=1~5의 영역을 나타내고 있다. 또한 수직방향(도면의 종방향)으로 전하를 전송하는 복수개의 수직방향 전하전송영역(12) 및 수평방향(도면의 횡방향)으로 전하를 전송하는 수평방향 전하전송영역(13)이 있다. 도13에서는 화상에 대응되는 광신호가 입력되고, 각각의 포토다이오드(11)에 광에 의한 신호전하가 발생한 상태를 나타내고 있고, 각 좌표의 포토다이오드(11)에는 Q(1,1)로부터 Q(5,5)로 나타내어지는 전하가 발생하는 것이 된다.
도14에서는 포토다이오드(11)의 전하가 수직방향 전하전송영역(12)으로 이동된 상태를 나타내고 있다. 도15에서는 수직방향 전하전송영역(12)의 전하가 수직방향으로 전송되고, y=1의 좌표로 나타내어지는 포토다이오드(11)에서 발생한 전하가 수평방향 전하전송영역(13)으로 이동한 상태를 나타내고 있다. 도16에서는 도15에 있어서 수평방향 전하전송영역(13)에 존재한 전하가 전송되고, 신호처리장치(2)에 있어서, 전하(Q)로부터 신호강도(S)로 변환된 후에 그 신호가 표시장치 혹은 기억장치(3)에 입력된 상태를 나타내고 있다. 도17에서는 도15로부터 도16의 동작을 반복한 결과, 모든 포토다이오드(11)의 정보가 표시장치 혹은 기억장치(3)로 이동한 상태를 나타내고 있다. 종래의 화상취득장치는 이상과 같이 동작한다.
그러나, 종래의 구성에서는, 예를 들면 도13의 좌표(2,2)의 화소에 나타낸 바와 같이 포토다이오드 부분에 미묘한 이물(21)이 부착된 경우는 그 장소의 전하만이 주변과 비교하여 극단적으로 작아지는 것에 의해 도18(a)에 나타낸 바와 같이, 화면상에서는 검은 점으로서 나타난다. 또한, 도13의 좌표(4,4)의 화소에 나타낸 바와 같이, 포토다이오드 부분에 반도체 기판의 결정결함(22)이 생긴 경우에는 광이 닿지 않아도 리크전류가 발생함으로써 그 장소의 전하만이 주변과 비교하여 극단적으로 커짐으로써 도18(b)에 나타낸 바와 같이 화면상에서 하얀점으로 나타난다. 이들은 화면상에서 현저화되기 때문에 화상입력장치로서는 충분한 성능을 갖고있다고는 할 수 없고, 화상입력장치의 제조수율이 저하되는 요인이 되었다. 이러한 문제를 해결하기 위해 제조공정에 있어서 이물의 저감이나 결정결함억제를 행하였지만, 제조공정을 복잡하게 하거나, 고가의 제조장치를 사용할 필요가 있어, 결과적으로 화상입력장치의 제조 비용을 저하시키는 것에 대한 제약이 되었다.
일본 특허공개 평9-46601호 공보에서는 상기 결함에 관한 과제를 해결하기 위해, 개개의 화소의 화소신호를 그 화소의 주변의 화소신호의 평균값과 비교하여 결함의 유무를 판정하는 방법이 제안되고 있다. 그러나 이 방법에서는 평균값과 비교하는 것에 의해, 주변화소 전체의 잡음레벨이 변동하였을 때 결함의 유무판단이 잡음레벨에 의존하여 다를 때가 있다. 또한, 인접하는 화소간에서 신호강도가 급준한 변화를 수반하는 화상에 대해서는, 복수화소의 평균값에 대하여, 특정의 화소신호 강도차가 크기 때문에 신호강도변화의 경계인 특정화소의 신호강도와 동등한 신호강도를 갖는 영역이 모두 결함이라도 잘못된 판정을 하고, 그것에 기초하는 신호강도보상을 행함으로써, 콘트래스트 등, 해상도를 높이는 것이 곤란하다는 문제가 있다.
본 발명은, 상기 종래의 문제점을 해결하는 것이며, 이물이나 결정결함 등에 기인하는 결함화소인 것의 정확한 판정을 가능하게 하고, 결함화소에 기인하는 화상상의 결함을 보상할 수 있는 신호처리방법 및 화상신호 취득장치를 제공하는데 있다.
이상의 문제점을 해결하기 위한 본 발명의 신호처리 방법 및 화상취득장치의 주된 수단을 들면 이하와 같다.
본 발명의 제1 신호처리방법은, 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수개 배열된 화상입력장치로부터 순차 출력되는 화소로부터의 화상신호를 처리하고 화상신호강도를 구하는 신호처리방법으로서, 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 최대값, 최소값 및 평균값을 구하는 제1 스텝과, 임의의 1화소의 화상신호강도가 최대값에 제1 계수를 곱한 값보다 큰 경우, 또는 최소값에 제2 계수를 곱한 값보다 작은 경우에, 임의의 1화소의 화상신호강도를 평균값에 기초하여 보정을 행한 제2 스텝을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 임의의 1화소의 화상신호강도를 그 주변의 화소의 화상신호강도의 최대값에 있는 계수를 곱한 값(제1 비교값)을 비교하고 있기 때문에, 임의의 1화소의 화상신호강도가 제1 비교값보가 큰 경우에, 그 임의의 1화소가 화상입력장치의 화소어레이의 기판에 발생한 결정결함 등에 기인한 결함화소인 것을 정확하게 판정할 수 있고, 그 결함화소의 화상신호강도를 그 주변의 화소의 화상신호강도의 평균값에 기초하여 보정함으로써 결함화소에 기인하는 화상상의 결함을 보상할 수 있다.
또한, 임의의 1화소의 화상신호강도를 그 주변의 화소의 화상신호강도의 최소값에 있는 계수를 곱한 값(제2 비교값)을 비교하고 있기 때문에, 임의의 1화소의 화상신호강도가 제2 비교값보다 작은 경우에, 그 임의의 1화소가 화상입력장치의 화소어레이상에 부착된 이물 등에 기인한 결함화소인 것을 정확하게 판정할 수 있고, 그 결함화소의 화상신호강도를 그 주변의 화소의 화상신호강도의 평균값에 기초하여 보정함으로써 결함화소에 기인하는 화상상의 결함을 보상할 수 있다.
이상과 같이, 특정화소(임의의 1화소)의 신호강도에 대하여 그 주변화소의 신호강도의 최대값이나 최소값에 기초하여 값과 비교함으로써, 용이하고 또한 정확하게 결함화소를 인식, 추출할 수 있고, 또한, 그 주변화소의 신호강도의 평균값으로부터 계산되는 신호인 결함화소의 신호강도를 대체함으로써, 결함을 보상하고, 표시화상으로부터 결함을 없애는 것이 가능하다. 또한, 종래와 같이 화상입력장치의 제조공정에 있어서 이물의 저감이나 결정결함억제를 행하기 위해 제조공정을 복잡하게 하거나 고가의 제조장치를 사용하는 것을 억제하여, 염가의 화상입력장치를 이용하는 것이 가능하게 된다.
이 제1의 신호처리 방법에 있어서, 제2 스텝은, 평균값에 제3 계수를 곱한 값에 임의의 1화소의 화상신호강도를 치환함으로써 보정을 행할 수 있다.
본 발명의 제2의 신호처리방법은, 입사광을 광전변환하는 화소가 수평방향 및 수직방향에 복수개 배열된 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하고 화상신호 강도를 구하는 신호처리 방법으로서, 화상입력장치에 실질적으로 광신호가 입력되지 않는 상태로 하여, 임의의 1화소의 주변에 배열된 복수개의 화상신호강도의 최대값을 구하는 제1 스텝과, 화상입력장치에 실질적으로 광신호가 입력되지 않는 상태에서의 임의의 1화소의 화상신호강도가 최대값에 제1 계수를 곱한 값보다 큰 경우에, 화소배열에 있어서의 임의의 1화소의 위치정보를 기억하는 제2 스텝과, 화상입력장치에 화상광신호를 입력했을 때, 제2 스텝에서 위치정보가 기억된 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 평균값을 구하는 제3 스텝과, 화상입력장치에 화상광신호를 입력했을 때에 구하는 제3 스텝과, 화상입력장치에 화상광신호를 입력했을 때에 구하는 화상신호강도 중 제2 스텝에서 위치정보가 기억된 임의의 1화소의 화상신호강도를, 제3 스텝으로 구한 평균값에 제2 계수를 곱한 값으로 치환하는 제4 스텝을 포함하는 것을 특징으로 한다.
이 제2의 신호처리 방법에 있어서, 제1 스텝에서 화상신호강도의 최대값을 구하는 임의의 1화소의 주변에 배열된 복수의 화소, 및 제3 스텝에서 화상신호의 평균값을 구하는 임의의 1화소의 주변에 배열된 복수의 화소는, 화상신호가 화상입력장치로부터 출력되는 순번에 있어서 임의의 1화소 전에 출력되는 화소인 것으로 하는 것이 가능하다.
이 제2의 신호처리 방법에 있어서, 제1 스텝과 제2 스텝을 화상입력장치의 전원투입시에 행하도록 하는 것이 바람직하다.
본 발명의 제3의 신호처리방법은, 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수개 배열된 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하고 화상신호강도를 구하는 신호처리방법으로서, 화상입력장치에 실질적으로 균일한 광신호가 입력되는 상태로 하여, 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 최소값을 구하는 제1 스텝과, 화상입력장치에 실질적으로 균일한 광신호가 입력되는 상태에서의 임의의 1화소의 화상신호강도가 최소값에 제1 계수를 곱한 값보다 작은 경우에, 화소배열에 있어서의 임의의 1화소의 위치정보를 기억하는 제2 스텝과, 화상입력장치에 화상광신호를 입력했을 때, 제2 스텝에서 위치정보가 기억된 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 평균값을 구하는 제3 스텝과, 화상입력장치에 화상광신호를 입력했을 때 구하는 화상신호강도 중 제2 스텝에서 위치정보가 기억된 임의의 1화소의 화상신호강도를 제3 스텝에서 구한 평균값에 제2 계수를 곱한 값으로 치환하는 제4 스텝을 포함하는 것을 특징으로 한다.
이 제3의 신호처리방법에 있어서, 제1 스텝에서 화상신호강도의 최소값을 구하는 임의의 1화소의 주변에 배열된 복수의 화소, 및 제3 스텝에서 화상신호강도의 평균값을 구하는 임의의 1화소의 주변에 배열된 복수의 화소는, 화상신호가 화상입력장치로부터 출력되는 순번에 있어서 임의의 1화소의 전에 출력되는 화소인 것으로 하는 것이 가능하다.
이 제3의 신호처리방법에 있어서, 제1 스텝과 제2 스텝을 화상입력장치의 전원투입시에 행하도록 하는 것이 바람직하다.
상기 제1~제3의 신호처리방법에 있어서, 화상신호강도는 적어도 1종류의 색신호강도인 것, 혹은 화상신호강도는 복수개의 색신호강도의 합계인 것으로 할 수 있다.
또한, 본 발명의 제1의 화상취득장치는, 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치와, 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구하는 신호처리장치와, 신호처리장치에서 구해진 화상신호강도를 입력하는 화상표시장치 또는 화상기억장치를 구비하고, 신호처리장치는, 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 최대값, 최소값 및 평균값을 구하고, 임의의 1화소의 화상신호강도가 최대값에 제1 계수를 곱한 값보다 큰 경우, 또는 최소값에 제2 계수를 곱한 값보다 작은 경우에, 임의의 1화소의 화상신호강도를 평균값에 기초하여 보정을 행하는 기능을 갖는 것을 특징으로 한다.
본 발명의 제2의 화상취득장치는, 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수 배열된 화상입력장치와, 화소의 화상입력장치에 있어서의 위치정보를 기억하는 위치정보 기억장치와, 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구하는 신호처리장치와, 신호처리장치에서 구해진 화상신호강도를 입력하는 화상표시장치 또는 화상기억장치를 구비하고, 신호처리장치는, 화상입력장치에 실질적으로 광신호가 입력되지 않는 상태로 하여, 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 최대값을 구하고, 임의의 1화소의 화상신호강도가 최대값에 제1 계수를 곱한 값보다 큰 경우에, 화소배열에 있어서의 임의의 1화소의 위치정보를 위치정보 기억장치에 기억하는 기능과, 화상입력장치에 화상광신호를 입력했을 때, 위치정보 기억장치에 위치정보가 기억된 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 평균값을 구하고, 화상입력장치에 화상광신호를 입력했을 때에 구하는 화상신호강도 중 위치정보 기억장치에 위치정보가 기억된 임의의 1화소의 화상신호강도를, 평균값에 제2 계수를 곱한 값으로 치환하는 기능을 갖는 것을 특징으로 한다.
본 발명의 제3의 화상취득장치는, 입사광을 광전변환하는 화소가 수평방향 및 수직방향에 복수배열된 화상입력장치와, 화소의 화상입력장치에 있어서의 위치정보를 기억하는 위치정보 기억장치와, 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구하는 신호처리장치와, 신호처리장치에서 구해진 화상신호강도를 입력하는 화상표시장치 또는 화상기억장치를 구비하고, 신호처리장치는, 화상입력장치에 실질적으로 균일한 광신호가 입력되는 상태로 하여, 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 최소값을 구하고, 임의의 1화소의 화상신호강도가 최소한에 제1 계수를 곱한 값보다 작은 경우에, 화소배열에 있어서의 임의의 1화소의 위치정보를 위치정보 기억장치에 기억하는 기능과, 화상입력장치에 화상광신호를 입력했을 때, 위치정보 기억장치에 위치정보가 기억된 임의의 1화소의 주변에 배열된 복수개의 화소의 화상신호강도의 평균값을 구하고, 화상입력장치에 화상광신호를 입력했을 때 구하는 화상신호 강도 중 위치정보 기억장치에 위치정보가 기억된 임의의 1화소의 화상신호강도를, 평균값에 제2 계수를 곱한 값으로 치환하는 기능을 가지는 것을 특징으로 한다.
이하, 본 발명의 실시형태에 대하여 도면을 참조하면서 설명한다.
(제1 실시형태)
도1은 본 발명의 제1 실시형태에 의한 화상입력장치로부터 출력된 화상신호의 처리플로우를 나타낸다. 이 예에서는 화상입력장치의 광신호를 표시장치나 기억장치에 전송하는 과정을 나타내는 플로우이며, 나중에 설명한다. 도2는 카메라 등으로 대표되는 화상취득장치의 내부구성에 관한 개념도이며, CCD 등의 화상입력장치(1), 아날로그-디지털 변환 등의 화상신호 처리장치(2), 화상데이터의 일시기억장치(4), 화상신호 처리장치(5) 및 화상데이터의 표시장치 혹은 기억장치(3)로 구성되고, 화상신호 처리장치(5)를 설치한 것이 특징이다. 화상입력장치(1) 중에는 광전변환수단인 포토다이오드(11)가 복수개 있고, 각각 화소가(x,y)의 좌표를 갖고 있다. 여기서는, 간략화를 위해 x=1~5, y=1~5의 영역을 나타내고 있다. 또한 수직방향(도면의 종방향)으로 전하를 전송하는 복수의 수직방향 전하전송영역(12) 및 수평방향(도면의 횡방향)으로 전하를 전송하는 수평방향 전하전송영역(13)이 있다.
다음으로 도2부터 도6을 참조하여 본 실시형태의 화상취득장치의 동작을 설명한다. 도2부터 도6은 화상인 광신호가 입력되고나서 화상표시장치 혹은 기억장치(3)에 출력되기까지의 과정에 대하여 순서대로 나타내고 있다.
우선, 도2에서는 화상인 광신호가 입력되어, 각각의 포토다이오드(11)에 전하가 발생된 상태를 나타내고 있고, 각 좌표의 포토다이오드(11)에는 Q(1,1)부터 Q(5,5)로 나타내어지는 전하가 발생되어 있는 것이 된다.
여기서 예로서 좌표(2,2)의 포토다이오드(11)상에 이물(21)이 부착되고, 좌표(4,4)의 포토다이오드(11)의 아래에 반도체 기판의 결정결함(22)이 존재하고 있다고 가정한다. 이 때문에, 좌표(2,2)의 포토다이오드(11)에는 이물(21)에 의해 입사하는 광이 방해받음으로써 본래의 전하Q(2,2)와 비교하여 극히 작은 양의 전하Q'(2,2)밖에 발생되지 않고, 또한 좌표(4,4)의 포토다이오드(11)에는 결정결함(22)에 의해 본래 전기적으로 절연되어 있는 영역으로부터의 전자의 유입이 일어남으로써, 본래의 전하Q(4,4)와 비교하여 극히 큰 양의 전하Q'(4,4)가 발생하게 된다.
도3에서는 포토다이오드(11)의 전하(전자)가 수직방향 전하전송영역(12)으로 이동한 상태를 나타내고 있다. 도4에서는 수직방향 전하전송영역(12)의 전하가 수직방향으로 전송되고, y=1의 좌표로 나타내어지는 모든 포토다이오드(11)에서 발생한 전자가 수평방향 전하전송영역(13)으로 이동한 상태를 나타내고 있다. 도5에서는 도4에 있어서 수직방향 전하전송영역(12)에 존재한 전자가 전송되고, 신호처리장치(2)(A/D변환장치)를 경유하고, 그래서 전하Q(x,y)로부터 제1 신호강도S'(x,y)로 변환된 후에, 일시 기억장치(4)에 입력되고, 또한 신호처리장치(결함보상장치)(5)를 경유하고, 이것에 의해 제1 신호강도S'(x,y)가 제2 신호강도S(x,y)로 변환된 후, 화상표시장치 혹은 기억장치(3)에 입력된다.
여기서, 결함보상장치인 신호처리처리장치(5)에 있어서의 신호처리 플로우에 대하여 도1을 이용하여 상세하게 설명한다. 또한, 도1에서는 신호처리장치(2)에 있어서의 처리도 함께 나타내고 있다. 도1의 스텝(101)에 기재되어 있는 함수(F)는 화상입력장치(1)로부터 전송되어 온 전하Q(x,y)로부터 제1 신호강도S'(x,y)로 변환하는 함수이며, 이 처리는 신호처리장치(2)에 있어서의 처리이다. 이후, 일시기억장치(4)를 통하여 신호처리장치(5)에 입력되고, 스텝(102~107)의 처리가 행하여 진다.
신호처리장치(5)에서는, 스텝(102)에 나타낸 바와 같이, 특정 화소에 대한 제1 신호강도S'(x,y)에 대하여 신호처리를 행하는 경우, 우선 인접하는 화소의 신호강도S'(x-1,y)와 S'(x+1, y)로부터 최대값(Smax)을 구한다. 여기서 함수(Fmax)는 주어진 신호강도로부터 최대값을 내는 함수이다. 다음으로, 같은 인접하는 화상의 신호강도 S'(x-1,y)와 S'(x+1, y)로부터 최소값(Smin)을 구한다. 여기서 함수(Fmin)는 주어진 신호강도로부터 최소값을 내는 함수이다. 또한 인접하는 신호강도S'(x-1,y)와 S'(x+1, y)로부터 그 평균값(Save)을 구한다. 여기서 함수(Fave)는 주어진 신호강도로부터 평균값을 내는 함수이다.
다음으로 특정화소의 신호강도S'(x,y)와 최대값(Smax)에 있는 계수(A)를 곱한 강도를 비교하고(스텝103), S'(x,y)>Smax×A인 경우는 특정화소의 신호강도S(x,y)=Save×C로 한다(스텝107). 여기서 C는 미리 정해진 계수이다. 이 처리에 의해, 신호강도S'(x,y)가 너무 큰 경우는, 적절한 강도 S(x,y)로 억제된다. 한편, S'(x,y)≤Smax×A인 경우는 신호강도S'(x,y)와 최소값(Smin)에 있는 계수(B)를 곱한 강도를 비교하고(스텝104), S'(x,y)<Smin×B인 경우는 신호강도S(x,y)로=S'(x,y)로 한다(스텝105). 여기서 D는 미리 정해진 계수이다. 신호처리장치(5)는 이상과 같은 처리를 행한다.
여기서 도7을 이용하여 상기의 신호처리방법에 의해 화상결함을 보상할 수 있는 것을 설명한다. 통상의 자연계에 있어서의 일반적인 화상신호로서는 도7(a)에 나타내는 바와 같이 서서히 변화하거나, 도7(b)에 나타낸 바와 같이 소정 화소의 장소로부터 급격히 변화하고, 강도가 비슷한 화소가 복수개 생기지만, CCD 등의 고제촬상소자에서는 10만개 이상의 화소가 존재하고, 그 1화소만이 그 주변과 비교하여 신호강도가 특별히 큰 경우나 특별히 작은 경우는 통상이라면 존재하지 않는다. 이러한 점에서 특정의 화소로부터의 신호강도가 그 주변화소와 비교하여 어떤 것 보다 크거나 혹은 작을 때는 결함이라고 인식할 수 있다. 이것은 도7에 있어서 정상인 신호곡선(실선)과 결함이 있는 화소(화소2,4)와 비교해 보면 명확하다. 단, 각각의 화소마다 제조상의 편차나 여러가지 잡음이 포함되기 때문에, 단순히 신호강도 그 자체를 비교하면 정상적인 신호를 결함으로서 인식해 버리는 경우가 있다. 그래서 도1에 있어서 설명한 바와 같은 각각의 계수를 화소간의 편차나 잡음의 정도에 따라 임으로 설정함으로써 결함식별의 정밀도를 높일 수 있고, 결함의 잘못된 인식을 피할 수 있다. 도7에서는 1차원 방향의 신호강도 변화에 대하여 나타내고 있지만, 2차원의 신호강도 변화에 대해서도 같다고 할 수 있다.
도6에서는 도4로부터 도5의 동작을 반복한 결과, 모든 포토다이오드(11)의 정보가 표시장치 혹은 기억장치(3)로 이동한 상태를 나타내고 있다. 도1에서 나타내어지는 본 발명의 신호처리를 행함으로써 좌표(2,2)의 포토다이오드(11)로부터 발생한 극히 작은량의 전하Q'(2,2)는 인접하는 신호강도와 비교하여 이들의 최소값보다 통상 작게 되기 때문에 S(2,2)=Save×D로 하고, 좌표(4,4)의 포토다이오드(11)로부터 발생한 극히 큰 양의 전하Q'(4,4)는 인접하는 신호강도와 비교하여 그들의 최대값보다 통상은 크게 되기 때문에 S(4,4)=Save×C가 된다. 이것에 의해 포토다이오드의 불량에 기인하는 특정의 화상신호는 그 근방의 신호강도의 평균 혹은 그것에 근접한 것이 되어 화면상의 결함으로서 나타나는 일이 없어진다.
또한, 본 실시형태에서는, 신호처리장치(5)에 있어서의 처리에서, 특정화소(x,y)에 대하여 (x+1,y)과 (x-1,y)라는 좌우의 화소의 신호를 이용하고 있는데, (x+n, y+m) (n,m은 마이너스를 포함하는 실수)의 화소에 관한 신호를 이용해도 좋은 것은 말할 필요도 없다.
또한, 계수A 및 B는 각각의 포토다이오드나 전송영역에 있어서의 제조 편차 등에 의해 결정할 수 있다. 예를 들면, 계수A에 관해서는 전 화소에 걸쳐서 균일한 광이 입사되는 상태에서 동작된 경우에 얻어지는 화소간의 신호강도의 편차로부터 결정할 수 있다. 이 경우는 통상의 경우는 신호강도 분포가 정규분포로 되므로, 그 분포로부터 얻어지는 σ를 평균값 혹은 메디안값으로 나눈 값으로 하는 것이 가능하며, A=1+σ/평균값(혹은 메디안 값)으로 하는 것이 바람직하다. 또한, 계수 B에 관해서는 입사광이 없는 상태에서 동작된 경우에 얻어지는 화소간의 신호강도의 편차로부터 결정할 수 있다. 이 경우는 통상의 경우는 신호강도의 대수가 정규분포로 되기 때문에, 그 분포로부터 얻어지는 σ를 평균값으로 혹은 메디안값으로 나눈 값으로 하는 것이 가능하며, B=1-σ/평균값(혹은 메디안값)으로 하는 것이 바람직하다. 물론 σ로 한 경우를 3σ로 해도, 다른 값을 이용해도 좋다.
다음으로 계수C 및 D에 대해서는 화상취득장치의 용도 등에 따라 적당한 값이 다르게 된다. 따라서 고의로 결함을 형성한 경우 등의 실제 결함을 가지고 있던 감응검사에 의해 적당한 계수를 설정하는 것이 필요하다. 단, 일반적으로는 결함보정을 행한 좌표가 그 주변보다 밝으면(신호강도가 강하면) 강조되어 인식되기 쉽고, 반대로 어두운 경우에는 둔감이 된다. 따라서 계수C 및 D는 1부터 0.5정도의 값으로 하는 것이 바람직하다. 또한 같은 정도의 신호강도차의 경우에는 밝은 쪽이 어두운 경우보다 차이로서 인식되기 쉽기 때문에, C는 1부터 0.8정도, D는 0.8부터 0.5정도로 하는 것이 바람직하다.
(제2 실시형태)
도8은 본 발명의 제2 실시형태에 의한 화상취득장치에 있어서의 화상신호의 신호처리 플로우를 나타내고, 도9는 카메라 등으로 대표되는 화상취득장치의 내부구성에 관한 개념도를 나타낸다. 도9에서는 제1의 실시형태에 의한 화상취득장치의 구성에 추가하여, 신호처리장치(5)에서 인식된 결함화소의 좌표정보를 기억하는 결함 위치정보 기억장치(6)가 부가되어 있다. 또한 이 제2 실시형태에서 이용하는 계수A, C는 제1의 실시형태에 이용한 계수A,C와 같다.
제2 실시형태에 의한 화상결함 처리방법에서는, 우선 도8(a)의 플로우와 같이, 도9의 화상취득장치에 있어서 광신호가 입력되지 않는 상태(입사광이 없는 상태)에서 화상입력장치(1) 등을 동작시킨다. 이 상태에서는 각 좌표(x,y)의 화소로부터 광의 입력이 없는 상태의 전하량Q(x,y)이 화상입력장치(1)로부터 A/D변환 등을 행하는 신호처리장치(2)에 입력되어 각 신호강도S'(x,y)로 변환되고(스텝201), 그 각 신호강도S'(x,y)가 일시 기억장치(4)를 통하여 신호처리장치(5)에 입력된다. 이 경우에는 결함이 없는 화소로부터 출력되는 화상강도신호는 모두 제조상의 편차나 잡음 레벨 이하로 되어 있게 된다.
즉 정상인 화소로부터의 신호강도는 도9의 결정결함(22)에 기인하는 큰 신호강도와 비교하여 충분히 작은 것이 된다. 따라서, 결정결함(22) 등에 기인하는 큰 신호강도를 발생하는 화소의 신호강도는 그 주변의 화소의 신호강도의 최대값(Smax)과 비교해도 큰 값이 되고, 결함인 것을 용이하고 또한 정확하게 인식할 수 있다. 따라서, 신호처리장치(5) 내에서는, 각각의 화소에 대하여 그 주변의 화소신호강도의 최대값(Smax)을 구하고(스텝202), 그 최대값(Smax)에 계수A를 곱한 값과 그 화소의 신호강도S'(x,y)를 비교하고(스텝203), S'(x,y)>Smax×A인 경우에는, 그 화소를 결함으로서 인식하여 그 좌표정보를 결함위치정보 기억장치(6)에 기억시킨다(스텝205).
이렇게 하여 결함화소의 위치기억이 종료된 후, 화상취득장치를 실제로 사용하여 촬영하는 경우, 도8(b)의 플로우와 같이, 화상에 대응하는 광을 화상입력장치(1)에 입력한 상태에서, 각 좌표(x,y)의 화소의 전하량Q(x,y)이 화상입력장치(1)로부터 신호처리장치(2)에 입력되어 각 신호강도S'(x,y)로 변환되고(스텝211), 그 각 신호강도S'(x,y)가 일시기억장치(4)를 통하여 신호처리장치(5)에 입력된다. 신호처리장치(5)에서는 결함위치정보 기억장치(6)에 기억된 결함좌표에 대응한 화소에 대해서만, 그 주변의 화소로부터의 신호의 평균값(Save)을 구하고, 그 평균값(Save)에 계수C를 곱한 값으로 치환하고(스텝212,214,215), 결함좌표가 아닌 것은 신호강도S(x,y)=S'(x,y)로서 스텝(212,213), 화상표시장치 혹은 기억장치(3)에 입력된다. 이처럼 화상결함을 보상하고, 없앨 수 있다.
통상의 자연계의 신호는 도7에 나타낸 바와 같이 하나의 화상만 그 주변과 비교하여 특별히 큰 경우나 작은 경우가 없기 때문에, 기억된 결함의 위치에 대하여 그 주변의 평균적인 신호를 준 경우에 주변과의 연속성이 유지된다. 따라서 화상상의 결함으로서 나타나는 일이 없다.
이것에 의해 특정의 결함화소에 대해서만의 신호처리에서 결함보상이 가능해지고, 제1의 실시형태와 같이 전 화소에 대한 신호처리와 비교하면 신호처리장치의 계산능력이 불충분한 경우에도 실현할 수 있고, 처리속도의 향상을 실현할 수 있다. 또한 화상입력장치(1)에 있어서 제조상 발생한 결함은 물론이고, 제조후에 발생한 결함, 예를 들면, 기기에 조합된 후에 전압인가에 의한 경시열화 등에 의해 발생하는 결정결함 등에 의한 결함도 보상할 수 있다.
또한, 평균값(Save)을 구하기 위한 주변화소수(n)를, n=1 즉 옆의 화소만을 이용해도 좋고, n=복수로서 많은 화소로부터의 신호를 이용해도 좋은 것은 분명하다.
(제3 실시형태)
도10은 본 발명의 제3 실시형태에 의한 화상취득장치의 화상신호의 신호처리 플로우를 나타낸다. 화상취득장치의 구성은 도9와 같다. 또한, 이 제3의 실시형테에서 이용하는 계수B,D는 제1의 실시형태에서 이용한 계수B,D와 같다.
이 실시형태에서는 우선 도10(a)의 플로우와 같이, 도9의 화상취득장치에 있어서 전 화소에 걸쳐서 균일한 광신호가 입력되는 상태에서 화상입력장치(1)를 동작시키고, 결함화소를 인식한다. 이 상태에서는 각 좌표(x,y)의 화소로부터 균일한 광입력상태의 전하Q(x,y)가 화상입력장치(1)로부터 A/D 변환 등을 행하는 신호처리장치(2)에 입력되어 각 신호강도S'(x,y)로 변환되고(스텝301), 그 각 신호강도S'(x,y)가 일시기억장치(4)를 통하여 신호처리장치(5)에 입력된다. 이 경우에는 결함이 없는 화소로부터 출력되는 화상강도신호는 일정한 강도 상에 제조상의 편차나 잡음레벨이 가산된 값으로 되어 있게 된다.
즉, 정상화소의 신호강도는 도9의 이물(21)에 기인하는 작은 신호강도와 비교하여 충분히 크게 된다. 따라서 이물(21) 등에 기인하는 작은 신호강도를 발생하는 화소의 신호강도는 그 주변의 화소의 신호강도의 최소값(Smin)과 비교해도 작은 값이 되고, 결함화소인 것을 인식할 수 있다. 따라서 각각의 화소에 대하여 그 주변의 화소신호의 최소값(Smin)에 계수B를 곱한 값과 비교함으로써, 용이하고 또한 정확하게 결함을 인식할 수 있다. 이처럼 하여 인식한 후, 결함화소의 좌표정보를 결함위치정보 기억장치(6)에 기억시킨다. 따라서, 신호처리장치(5)내에서는, 각각의 화소에 대하여 그 주변의 화소신호강도의 최소값(Smin)을 구하고(스텝302), 그 최소값(Smin)에 계수B를 곱한 값과 그 화소의 신호강도S'(x,y)를 비교하고(스텝303), S'(x,y)<Smin×B인 경우에는, 그 화소를 결함으로서 인식하여 그 좌표정보를 결함위치정보 기억장치(6)에 기억시킨다(스텝305). B의 값은 노이즈 레벨에 대한 여유도이며, 통상은 B=1로 한다. 그러나 노이즈가 큰 경우에는 B>1로 하는 것이 가능하다. 이렇게 인식한 결함화소의 좌표정보를 결함위치정보 기억장치(6)에 기억시켜 둔다.
이렇게 하여 결함화소의 위치기억이 종료된 후, 화상취득장치를 실제로 사용하여 촬영하는 경우, 도10(b)의 플로우와 같이, 화상에 대응하는 광을 화상입력장치(1)에 입력한 상태에서, 각 좌표(x,y)의 화소의 전하량Q(x,y)이 화상입력장치(1)로부터 신호처리장치(2)에 입력되어 각 신호강도S'(x,y)로 변환되고(스텝311), 그 각 신호강도S'(x,y)가 일시기억장치(4)를 통하여 신호처리장치(5)에 입력된다. 신호처리장치(5)에서는, 결함위치정보 기억장치(6)에 기억된 결함좌표에 대응하는 화소에 대해서만, 그 주변의 화소로부터의 신호의 평균값(Save)을 구하고, 그 평균값(Save)에 계수D를 곱한 값으로 치환하고(스텝312,314,315), 결함좌표가 아닌 것은 신호강도S(x,y)=S'(x,y)로서 (스텝312,313), 화상표시장치 혹은 기억장치(3)에 입력된다. 이처럼 화상결함을 보상하고, 없애는 것이 가능하다.
통상의 자연계의 신호는 도7에 나타낸 바와 같이 하나의 화소만 그 주변과 비교하여 특별히 큰 경우나 작은 경우가 없기 때문에, 기억된 결함위치에 대하여 그 주변의 평균적인 신호를 준 경우에 주변과의 연속성이 유지된다. 따라서 화상상의 결함으로서 나타나는 일이 없다.
이것에 의해 화상입력장치(1)에 있어서 제조상 발생한 결함은 물론이며, 제조후에 발생한 결함, 예를 들면 기기에 조합된 후에 부착하는 이물 등에 의한 결함을 보상할 수 있다.
또한, 평균값(Save)을 구하기 위한 주변화소수(n)를, n=1 즉 옆의 화소만을 이용해도 좋고, n=복수로서 많은 화소로부터의 신호를 이용해도 좋은 것은 분명하다.
(제4 실시형태)
도11은 본 발명의 제4 실시형태에 의한 화상취득장치의 화상신호의 신호처리 플로우를 나타낸다. 화상취득장치의 구성은 도9와 마찬가지이다. 또한, 이 제4의 실시형태에서 이용하는 계수A,C는 제1 실시형태에서 이용한 계수 A,C와 같다.
이 실시형태에서는, 우선, 도11(a)의 플로우와 같이, 도9의 화상취득장치에 있어서 광신호가 입력되지 않는 상태에서 화상입력장치(1)를 동작시켜, 결함화소 인식을 행한다. 이 상태에서 각 좌표(x,y)의 화소로부터의 광의 입력이 없는 상태의 전하량Q(x,y)이 화상입력장치(1)로부터 A/D변환 등을 행하는 신호처리장치(2)에 순차입력되어서 각 신호강도S'(x,y)로 변환되고(스텝401), 그 각 신호강도S'(x,y)가 신호처리장치(5)에 순차입력된다. 이 경우에는 결함이 없는 화소로부터 출력되는 화상강도신호는 모두 제조상의 편차나 잡음레벨 이하로 되어 있는 것이 된다.
즉, 정상인 화소로부터의 신호강도는 도9의 결정결함(22)에 기인하는 큰 신호강도와 비교하여 충분히 작은 것이 된다. 따라서 결정결함(22) 등에 기인하는 큰 신호강도를 발생하는 화소의 신호강도는 그 결함화소 이전에 입력되어 오는 화소의 신호강도의 최대값(Smax)과 비교하여도 큰 값이 되고, 결함인 것을 용이하고 또한 정확하게 인식할 수 있다. 따라서 신호처리장치(5)내에서는, 각각의 화소에 대하여 그 화소이전에 입력되어 오는 N개(N은 자연수)의 화소의 신호강도의 최대값(Smax)을 구하고(스텝402), 그 최대값(Smax)에 계수A를 곱한 값과 그 화소의 신호강도S'(x,y)를 비교하고(스텝403), S'(x,y)>Smax×A인 경우에는, 그 화소를 결함으로서 인식하여 그 좌표정보를 결함위치정보 기억장치(6)에 기억시킨다(스텝405).
이렇게 하여 결함화소의 위치기억이 종료된 후, 화상취득장치를 실제로 사용하여 촬영하는 경우, 도11(b)의 플로우와 같이, 화상에 대응하는 광을 화상입력장치(1)에 입력한 상태에서, 각 좌표(x,y)의 화소의 전하량Q(x,y)이 화상입력장치(1)로부터 신호처리장치(2)에 순차입력되어 각 신호강도S'(x,y)로 변환되고(스텝411), 그 각 신호강도S'(x,y)가 신호처리장치(5)에 순차입력된다. 신호처리장치(5)에서는, 결함위치정보 기억장치(6)에 기억된 결함좌표에 대응하는 화소에 대해서만, 그 화소이전에 입력되어 오는 N개(N은 자연수)의 화소로부터의 신호의 평균값(Save)을 구하고, 그 평균값(Save)에 계수C를 곱한 값으로 치환하여(스텝412,414,415), 결함좌표가 아닌 것은 신호강도S(x,y)=S'(x,y)로서 (스텝412,413), 화상표시장치 혹은 기억장치(3)에 입력된다. 이처럼 화상결함을 보상하고, 없애는 것이 가능하다.
통상의 자연계의 신호는 도7에 나타낸 바와 같이 하나의 화소만 그 주변과 비교하여 특별히 큰 경우나 작은 경우가 없기 때문에, 기억된 결함의 위치에 대하여 그 주변의 평균적인 신호를 준 경우에 주변과의 연속성이 유지된다. 따라서, 화상상의 결함으로서 나타나는 일이 없다. 일반적인 화상처리에 있어서는 신호의 연속성을 유지하기 위해 C=1이 적당하다. 그러나 화상의 콘트래스트를 중요시하는 경우에 있어서는 C>1로 함으로써 화상의 엣지를 강조하는 것이 가능하다.
이것에 의해 화상입력장치(1)에 있어서 제조상 발생한 결함은 물론이며, 제조후에 발생한 결함, 예를 들면 기기에 조합된 후에 부착되는 이물 등에 의한 결함을 보상하는 것이 간단한 구성에 의해 실현할 수 있다.
또한, 평균값(Save)을 구하기 위한 주변화소수(N)를, N=1 즉 옆(직전입력)의 화소만을 이용하여도 좋고, N=복수로서 많은 화소로부터의 신호를 이용해도 좋은 것은 분명하다. N=복수로 한 경우, 예를 들면 N=10으로 한 경우에는 N<10의 화소에 대하여 10개의 화소신호를 계산하는 것이 불가능해 진다. 이러한 경우에는 직전의 화소신호를 이용하여도, 지금까지의 모든 화소에 대한 평균값을 계산해도, 또는 그 외의 방법을 이용하여 계산해도 좋다.
(제5 실시형태)
도12는 본 발명의 제3 실시형태에 의한 화상취득장치의 화상신호의 신호처리 플로우를 나타낸다. 화상취득장치의 구성은 도9와 같다. 또한, 이 제5 실시형태에서 이용하는 계수B,D는 제1 실시형태에서 이용한 계수B,D와 같다.
이 실시형태에서는, 우선, 도12(a)의 플로우와 같이, 도9의 화상취득장치에 있어서 균일한 광입력상태에서 화상입력장치(1)를 동작시키고, 결함화소를 인식시킨다. 이 상태에서는 각 좌표(x,y)의 화소로부터 균일한 광입력상태의 전하Q(x,y)가 화상입력장치(1)로부터 A/D변환 등을 행하는 신호처리장치(2)에 순차입력되어서 각 신호강도S'(x,y)로 변환되고 스텝(501) 그 각 신호강도S'(x,y)가 신호처리장치(5)에 순차입력된다. 이 경우에는 화상강도신호는 일정한 강도상에 제조상의 편차나 잡음 레벨이 가산된 값으로 되어 있는 것이 된다.
즉, 정상화소의 신호강도는 도9의 이물(21)에 기인하는 작은 신호강도와 비교하여 충분히 큰 것이 된다. 따라서, 이물(21) 등에 기인하는 작은 신호의 강도를 발생하는 화소의 신호강도는 그 결함화소 이전에 입력되어 오는 화소의 신호강도의 최소값(Smin)과 비교하여도 작은 값이 되고, 결함화소인 것을 인식할 수 있다. 따라서 각각의 화소에 대하여 그 화소 이전에 입력되어 오는 N개(N은 자연수)의 화소의 신호강도의 최소값(Smin)에 계수B를 곱한 값과 비교함으로써, 용이하고 또한 정확하게 결함을 인식할 수 있다. 이처럼하여 인식한 후, 결함화소의 좌표정보를 결함위치정보 기억장치(6)에 기억시킨다. 따라서 신호처리장치(5) 내에서는, 각각의 화소에 대하여 그 화소 이전에 입력되어 오는 N개(N은 자연수)의 화소의 신호강도의 최소값(Smin)을 구하고(스텝502), 그 최소값(Smin)에 계수B를 곱한 값과 그 화소의 신호강도S'(x,y)를 비교하고(스텝503), S'(x,y)<Smin×B인 경우에는, 그 화소를 결함으로서 인식하여 그 좌표정보를 결함위치정보 기억장치(6)에 기억시킨다(스텝505). B의 값은 노이즈 레벨에 대한 여유도이며, 통상은 B=1로 한다. 그러나 노이즈가 큰 경우는 B>1로 하는 것이 가능하다. 이렇게 인식한 결함화소의 좌표정보를 결함위치정보 기억장치(6)에 기억시켜 둔다.
이렇게 하여 결함화소의 위치기억이 종료된 후, 화상취득장치를 실제로 사용하여 촬영하는 경우, 도12(b)의 플로우와 같이, 화상에 대응하는 광을 화상입력장치(1)에 입력한 상태에서, 각 좌표(x,y)의 화소의 전하량Q(x,y)이 화상입력장치(1)로부터 신호처리장치(2)에 순차입력되어 각 신호강도S'(x,y)로 변환되어(스텝511), 그 각 신호강도S'(x,y)가 신호처리장치(5)에 순차입력된다. 신호처리장치(5)에서는, 결함위치정보 기억장치(6)에 기억된 결함좌표에 대응하는 화소에 대해서만, 그 화소 이전에 입력되어 오는 N개(N은 자연수)의 화소로부터의 신호의 평균값(Save)을 구하고, 그 평균값(Save)에 계수D를 곱한 값으로 치환하여(스텝512,514,515), 결함좌표가 아닌 것은 신호강도S(x,y)=S'(x,y)로서 스텝(512,513), 화상표시장치 혹은 기억장치(3)에 입력된다. 이처럼 화상결함을 보상하고, 없애는 것이 가능하다.
통상의 자연계의 신호는 도7에 나타낸 바와 같이 하나의 화소만 그 주변과 비교하여 특별히 큰 경우나 작은 경우가 없기 때문에, 기억된 결함의 위치에 대하여 그 주변의 평균적인 신호를 준 경우에 주변과의 연속성이 유지된다. 따라서, 화상사의 결함으로서 나타나는 일이 없다. 일반적인 화상처리에 있어서는 인접하는 화소와의 신호의 연속성을 유지하기 위해 D=1이 적당하다. 그러나 화상의 콘트래스트를 중요시하는 경우에 있어서는 D>1로 함으로써 화상의 엣지를 강조하는 것이 가능하다.
이것에 의해 화상입력장치(1)에 있어서 제조상 발생한 결함은 물론이며, 제주후에 발생한 결함, 예를 들면 기기에 조합된 후에 부착되는 이물 등에 의한 결함을 보상하고, 결함을 없애는 것이 간단한 구성에 의해 실현할 수 있다.
또한, 평균값(Save)을 구하기 위한 주변화소수(N)를, N=1 즉 옆(직전입력)의 화소만을 이용해도 좋고, N=복수로서 많은 화소로부터의 신호를 이용해도 좋은 것은 분명하다.
상기 설명에 있어서, 제2, 제4의 실시형태에서는 광신호가 없는 경우, 제3, 제5의 실시형태에서는 균일한 광신호가 입사된 경우만 결함화소인식방법에 대하여 기재했는데, 이들 양방의 결함화소인식방법을 조합시킴으로써 흑색결함 및 백색결함의 쌍방이 결함위치정보 기억장치(6)에 기억되기 때문에 양방보상이 되는 것은 말할 필요가 없다.
또한, 제2~제5의 실시형태 및 그들 조합의 결함화소인식방법은, 화상취득장치의 전원투입시 혹은 동작시, 정지시의 임의의 타이밍에 있어서 행함으로써, 화상입력장치의 사용중이나 보관중에 발생한 결함에 대하여도 보상할 수 있다. 이 경우, 전원투입시에 자동적으로 결함화소인식을 행하는 기능을 부가함으로써 기기의 사용자가 인식하지 않고 결함의 보증이 가능해지는 것은 말할 필요도 없다.
또한, 제1~제5의 실시형태에서는 화소신호비교로서 물리적인 결함화소위치에 대하여 화소신호의 보상방법을 나타냈지만, 컬러 정보의 경우에는 적, 녹, 청이라는 색신호에 대해서도 같은 색신호에 관해서 결함화소신호와 그 주변의 화소신호를 비교함으로써, 보다 정밀도가 높은 결함보상이 가능해진다.
또한, 자연계의 화상정보는, 적, 녹, 청이라는 색신호의 조합을 하나의 화소로서 취급함으로써 표현하고 있다. 따라서 각 색신호만의 결함보증을 행하면, 적,녹,청이라는 색신호의 조합으로 실현되는 컬러 정보의 밸런스가 변하되기 때문에 부자연스런 색배합이 되는 경우가 있다. 이 때문에, 적, 녹, 청이라는 색신호의 조합신호를 하나의 화소신호로서 화상신호강도의 비교를 행함으로써, 같은 색신호마다의 비교만의 경우와 비교하여 자연적인 결함보상을 행할 수 있다. 이 경우에는 각각의 색 신호에 대하여 상술한 신호처리를 행하고, 결함보증을 행해야 하는 화소에 대하여 1개의 컬러 정보로서 취급되는 별도의 색신호의 화소에 대해서도 같은 신호처리를 행함으로써 실현할 수 있다.
또한, 상기 제1~제5의 실시형태에 있어서는, 신호처리계를 디지털적으로 구성한 경우에 대하여 설명했는데, 이것에 한정되는 것이 아닌 아날로그적으로 구성한 경우에도 마찬가지로 적용할 수 있는 것이다. 본 발명은 상술한 실시형태에 한정되지 않고 본 발명의 요지를 일탈하지 않고, 그 외 각종 구성을 취할 수 있는 것은 물론이다.
본 발명은, 물리적인 결함화소에 대하여의 화소신호의 보상을 행할 수 있고, CCD카메라 등에 유용하다.
도1은 본 발명의 제1의 실시형태에 의한 화상신호의 신호처리 플로우도이다.
도2는 본 발명의 제1의 실시형태에 의한 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도3은 본 발명의 제1의 실시형태에 의한 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도4는 본 발명의 제1의 실시형태에 의한 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도5는 본 발명의 제1의 실시형태에 의한 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도6은 본 발명의 제1의 실시형태에 의한 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도7은 화상신호강도의 1차원 분포를 나타내는 도이다.
도8은 본 발명의 제2 실시형태에 의한 화상신호의 신호처리 플로우도이다.
도9는 본 발명의 제2부터 제5의 실시형태에 있어서의 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도10은 본 발명의 제3 실시형태에 의한 화상신호의 신호처리 플로우도이다.
도11은 본 발명의 제4 실시형태에 의한 화상신호의 신호처리 플로우도이다.
도12는 본 발명의 제5 실시형태에 의한 화상신호의 신호처리 플로우도이다.
도13은 종래의 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도14는 종래의 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도15는 종래의 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도16은 종래의 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도17은 종래의 화상취득장치의 내부구성 및 화상신호전하의 흐름을 나타내는 도이다.
도18은, 결함화소가 있는 경우의 표시화상도이다.

Claims (13)

  1. 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구하는 경우,
    임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 최대값, 최소값 및 평균값을 구하는 제1 스텝: 및
    상기 임의의 1화소의 화상신호강도가 상기 최대값에 제1 계수를 곱한 값보다 큰 경우, 또는 상기 최소값에 제2 계수를 곱한 값보다 작은 경우에, 상기 임의의 1화소의 화상신호강도를 상기 평균값에 기초하여 보정을 행하는 제2 스텝을 포함하는 것을 특징으로 하는 신호처리방법.
  2. 제1항에 있어서, 상기 제2 스텝은, 상기 평균값에 제3 계수를 곱한 값에 상기 임의의 1화소의 화상신호강도를 치환함으로써 보정을 행하는 것을 특징으로 하는 신호처리방법.
  3. 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구할 때,
    상기 화상입력장치에 실질적으로 광신호가 입력되지 않는 상태로 하여, 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 최대값을 구하는 제1 스텝;
    상기 화상입력장치에 실질적으로 광신호가 입력되지 않는 상태에서의 상기 임의의 1화소의 화상신호강도가 상기 최대값에 제1 계수를 곱한 값보다 큰 경우에, 화소배열에 있어서의 상기 임의의 1화소의 위치정보를 기억하는 제2 스텝;
    상기 화상입력장치에 화상광신호를 입력했을 때, 상기 제2 스텝에서 위치정보가 기억된 상기 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 평균값을 구하는 제3 스텝; 및
    상기 화상입력장치에 화상광신호를 입력했을 때에 구하는 화상신호강도 중 상기 제2 스텝에서 위치정보가 기억된 상기 임의의 1화소의 화상신호강도를, 상기 제3 스텝에서 구한 상기 평균값에 제2 계수를 곱한 값으로 치환하는 제4 스텝을 포함하는 것을 특징으로 하는 신호처리방법.
  4. 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구할 때,
    상기 화상입력장치에 실질적으로 균일한 광신호가 입력되는 상태로 하여, 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 최대값을 구하는 제1 스텝;
    상기 화상입력장치에 실질적으로 균일한 광신호가 입력되는 상태에서의 상기 임의의 1화소의 화상신호강도가 상기 최소값에 제1 계수를 곱한 값보다 작은 경우에, 화소배열에 있어서의 상기 임의의 1화소의 위치정보를 기억하는 제2 스텝;
    상기 화상입력장치에 화상광신호를 입력했을 때, 상기 제2 스텝에서 위치정보가 기억된 상기 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 평균값을 구하는 제3 스텝; 및
    상기 화상입력장치에 화상광신호를 입력했을 때에 구하는 화상신호강도 중, 상기 제2 스텝에서 위치정보가 기억된 상기 임의의 1화소의 화상신호강도를 상기 제3 스텝에서 구한 상기 평균값에 제2 계수를 곱한 값으로 치환하는 제4 스텝을 포함하는 것을 특징으로 하는 신호처리방법.
  5. 제3항에 있어서, 상기 제1 스텝에서 화상신호강도의 최대값을 구하는 상기 임의의 1화소의 주변에 배열된 복수의 화소, 및 상기 제3 스텝에서 화상신호강도의 평균값을 구하는 상기 임의의 1화소의 주변에 배열된 복수의 화소는, 화상신호가 상기 화상입력장치로부터 출력되는 순번에 있어서 상기 임의의 1화소 전에 출력되는 화소인 것을 특징으로 하는 신호처리방법.
  6. 제4항에 있어서, 상기 제1 스텝에서 화상신호강도의 최소값을 구하는 상기 임의의 1화소의 주변에 배열된 복수의 화소, 및 상기 제3 스텝에서 화상신호강도의 평균값을 구하는 상기 임의의 1화소의 주변에 배열된 복수의 화소는, 화상신호가 상기 화상입력장치로부터 출력되는 순번에 있어서 상기 임의의 1화소 전에 출력되는 화소인 것을 특징으로 하는 신호처리방법.
  7. 제3항에 있어서, 상기 제1 스텝과 상기 제2 스텝을 상기 화상입력장치의 전원투입시에 행하는 것을 특징으로 하는 신호처리방법.
  8. 제4항에 있어서, 상기 제1 스텝과 상기 제2 스텝을 상기 화상입력장치의 전원투입시에 행하는 것을 특징으로 하는 신호처리방법.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 화상신호강도는 1종류 이상의 색신호강도인 것을 특징으로 하는 신호처리방법.
  10. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 화상신호강도는 복수의 색신호강도의 총합인 것을 특징으로 하는 신호처리방법.
  11. 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치와, 상기 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하여 화상신호강도를 구하는 신호처리장치와, 상기 신호처리장치에서 구해진 화상신호강도를 입력하는 화상표시장치 또는 화상기억장치를 구비하고,
    상기 신호처리장치는, 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 최대값, 최소값 및 평균값을 구하고, 상기 임의의 1화소의 화상신호강도가 상기 최대값에 제1 계수를 곱한 값보다 큰 경우, 또는 상기 최소값에 제2 계수를 곱한 값보다 작은 경우에, 상기 임의의 1화소의 화상신호강도를 상기 평균값에 기초하여 보정을 행하는 기능을 갖는 것을 특징으로 하는 화상취득장치.
  12. 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치와, 화소의 상기 화상입력장치에 있어서의 위치정보를 기억하는 위치정보 기억장치와, 상기 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하고 화상신호강도를 구하는 신호처리장치와, 상기 신호처리장치에서 구해진 화상신호강도를 입력하는 화상표시장치 또는 화상기억장치를 구비하고,
    상기 신호처리장치는,
    상기 화상입력장치에 실질적으로 광신호가 입력되지 않는 상태로 하여, 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 최대값을 구하고, 상기 임의의 1화소의 화상신호강도가 상기 최대값에 제1 계수를 곱한 값보다 큰 경우에, 화소배열에 있어서의 상기 임의의 1화소의 위치정보를 상기 위치정보 기억장치에 기억하는 기능; 및
    상기 화상입력장치에 화상광신호를 입력했을 때, 상기 위치정보 기억장치에 위치정보가 기억된 상기 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 평균값을 구하고, 상기 화상입력장체에 화상광신호를 입력했을 때에 구하는 화상신호강도 중 상기 위치정보 기억장치에 위치정보가 기억된 상기 임의의 1화소의 화상신호강도를, 상기 평균값에 제2 계수를 곱한 값으로 치환하는 기능을 갖는 것을 특징으로 하는 화상취득장치.
  13. 입사광을 광전변환하는 화소가 수평방향 및 수직방향으로 복수배열된 화상입력장치와, 화소의 상기 화상입력장치에 있어서의 위치정보를 기억하는 위치정보 기억장치와, 상기 화상입력장치로부터 순차출력되는 화소로부터의 화상신호를 처리하고 화상신호강도를 구하는 신호처리장치와, 상기 신호처리장치에서 구해진 화상신호강도를 입력하는 화상표시장치 또는 화상기억장치를 구비하고,
    상기 신호처리장치는,
    상기 화상입력장치에 실질적으로 균일한 광신호가 입력되는 상태로 하여, 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 최소값을 구하고, 상기 임의의 1화소의 화상신호강도가 상기 최소값에 제1 계수를 곱한 값보다 작은 경우에, 화소배열에 있어서의 상기 임의의 1화소의 위치정보를 상기 위치정보 기억장치에 기억하는 기능; 및
    상기 화상입력장치에 화상광신호를 입력했을 때, 상기 위치정보 기억장치에 위치정보가 기억된 상기 임의의 1화소의 주변에 배열된 복수의 화소의 화상신호강도의 평균값을 구하고, 상기 화상입력장치에 화상광신호를 입력했을 때에 구하는 화상신호강도 중 상기 위치정보 기억장치에 위치정보가 기억된 상기 임의의 1화소의 화상신호강도를, 상기 평균값에 제2 계수를 곱한 값으로 치환하는 기능을 갖는 것을 특징으로 하는 화상취득장치.
KR1020040104232A 2003-12-11 2004-12-10 신호처리 방법 및 화상취득 장치 KR100645856B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003413243A JP4255819B2 (ja) 2003-12-11 2003-12-11 信号処理方法および画像取得装置
JPJP-P-2003-00413243 2003-12-11

Publications (2)

Publication Number Publication Date
KR20050058221A true KR20050058221A (ko) 2005-06-16
KR100645856B1 KR100645856B1 (ko) 2006-11-15

Family

ID=34650499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040104232A KR100645856B1 (ko) 2003-12-11 2004-12-10 신호처리 방법 및 화상취득 장치

Country Status (5)

Country Link
US (1) US7636494B2 (ko)
JP (1) JP4255819B2 (ko)
KR (1) KR100645856B1 (ko)
CN (1) CN100382579C (ko)
TW (1) TWI286839B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956009B2 (ja) * 2006-02-02 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法
KR100813068B1 (ko) * 2006-07-28 2008-03-14 엘지전자 주식회사 전계 강도에 따른 화질 보상 방법 및 장치
KR100780242B1 (ko) * 2006-11-14 2007-11-27 삼성전기주식회사 이미지의 어두운 영역에서의 노이즈 제거 방법 및 장치
US8717435B2 (en) * 2008-04-09 2014-05-06 Hbc Solutions, Inc. Video monitoring device providing parametric signal curve display features and related methods
US8965076B2 (en) 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
AU2015351876B2 (en) * 2014-11-27 2017-11-23 Panasonic Intellectual Property Management Co., Ltd. Image acquisition device, image formation system, and image formation method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0161886B1 (ko) 1995-07-22 1998-12-15 문정환 고체촬상소자의 디팩트 보상장치
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US6529238B1 (en) * 1997-09-05 2003-03-04 Texas Instruments Incorporated Method and apparatus for compensation of point noise in CMOS imagers
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
JP3544304B2 (ja) * 1998-08-04 2004-07-21 日本ビクター株式会社 画素欠陥補正装置及び画素欠陥補正方法
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
US6806902B1 (en) * 1999-06-08 2004-10-19 Chrontel, Inc. System and method for correcting bad pixel data in a digital camera
JP3717725B2 (ja) * 1999-10-07 2005-11-16 三洋電機株式会社 画素欠陥検出方法及び画像処理装置
JP3754870B2 (ja) * 2000-04-28 2006-03-15 キヤノン株式会社 画像読取装置、シェーディング補正方法、及び記憶媒体
JP4497759B2 (ja) * 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
JP2002281303A (ja) * 2001-03-19 2002-09-27 Fuji Photo Film Co Ltd 画像処理装置、方法及び記録媒体
JP2003023570A (ja) 2001-07-06 2003-01-24 Sanyo Electric Co Ltd 画像データの修正方法及び画像信号処理装置
JP2003198946A (ja) * 2001-12-21 2003-07-11 Sony Corp 撮像装置及びその欠陥画素処理方法
US7239758B2 (en) * 2002-02-07 2007-07-03 Nikon Corporation Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
JP3952301B2 (ja) * 2003-08-29 2007-08-01 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4479373B2 (ja) * 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
US7683948B2 (en) * 2005-03-31 2010-03-23 Freescale Semiconductor, Inc. System and method for bad pixel replacement in image processing

Also Published As

Publication number Publication date
TWI286839B (en) 2007-09-11
CN100382579C (zh) 2008-04-16
CN1627803A (zh) 2005-06-15
JP4255819B2 (ja) 2009-04-15
US7636494B2 (en) 2009-12-22
US20050129329A1 (en) 2005-06-16
TW200525745A (en) 2005-08-01
KR100645856B1 (ko) 2006-11-15
JP2005175909A (ja) 2005-06-30

Similar Documents

Publication Publication Date Title
US6965395B1 (en) Methods and systems for detecting defective imaging pixels and pixel values
US8023010B2 (en) Defective pixel correction device
US20080252756A1 (en) Circuit and method for correction of defect pixel
US8284278B2 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
JPWO2007066628A1 (ja) 外観検査装置
EP1808680A2 (en) Measuring method and apparatus using color images
KR100645856B1 (ko) 신호처리 방법 및 화상취득 장치
US7251064B2 (en) Calibration of an image scanning system
JP4579570B2 (ja) シェーディング処理方法
US7619783B2 (en) Scanner analog-front-end calibration using percent of freedom
JP2001307079A (ja) 画像処理装置、画像処理方法および記録媒体
US10341504B2 (en) Photo response non-uniformity suppression
JP2000217039A (ja) 点欠陥検出方法および点欠陥画素値補正方法
US20060279646A1 (en) Pixel defect detection method for solid-state image pickup device
US7480420B2 (en) Method for recognizing abnormal image
US11647305B2 (en) Solid-state imaging apparatus, signal processing method of solid-state imaging apparatus and electronic device
US6703597B2 (en) Method for resolving photoelectron coupling in staggered charge-coupled device
JP3361077B2 (ja) 固体撮像装置
JP2005168044A (ja) 画像読取装置
JP2004112025A (ja) 固体撮像素子の欠陥画素補正装置
JP2005117143A (ja) 画像読取装置およびプログラム
JP2006041596A (ja) 固体撮像素子検査装置および固体撮像素子のシェーディング補正方法
CN1585451A (zh) 影像撷取装置的色差校正方法
JPH10126591A (ja) イメージセンサの画信号補正方法、画信号補正装置およびこれを用いた画像読取装置
JPH08102482A (ja) カラー表示装置の検査方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111019

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee