KR20080085753A - 스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치 - Google Patents

스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치 Download PDF

Info

Publication number
KR20080085753A
KR20080085753A KR1020080025282A KR20080025282A KR20080085753A KR 20080085753 A KR20080085753 A KR 20080085753A KR 1020080025282 A KR1020080025282 A KR 1020080025282A KR 20080025282 A KR20080025282 A KR 20080025282A KR 20080085753 A KR20080085753 A KR 20080085753A
Authority
KR
South Korea
Prior art keywords
signal
streaking
line
level
unit
Prior art date
Application number
KR1020080025282A
Other languages
English (en)
Inventor
유끼히로 기노시따
가즈시게 다까하시
마나부 하라
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080085753A publication Critical patent/KR20080085753A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Endoscopes (AREA)

Abstract

스트리킹의 리얼타임 보정을 가능하게 한다. 차광부 파형 검출부(130)는, 이미지 센서의 수평 차광부의 출력 신호를 이용하여 그 수평 차광부의 파형, 즉, 그 수평 차광부에서의 각 라인의 신호 레벨을 구한다. 흑 레벨 검출부(140)는, 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출한다. 감산부(150)는, 수평 차광부에서의 각 라인의 신호 레벨로부터 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호 Rst'를 구한다. 코어링부(160)는, 각 라인의 스트리킹 보정 신호 Rst'에 대하여 코어링 처리를 실시하여, 각 라인의 최종적인 스트리킹 보정 신호 Rst''를 얻는다. 이미지 센서의 차광부의 출력 신호만을 이용하여 스트리킹 보정 신호를 생성하기 때문에, 유효 화소부를 차광하지 않고 스트리킹 보정 신호를 리얼타임으로 얻을 수 있다.
Figure P1020080025282
이미지 센서, 차광, 파형, 보정 신호, 스트리킹, 코어링, 메디안 필터, 보정 게인, 촬상 장치, 보정 회로

Description

스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성 방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치 {STREAKING CORRECTION SIGNAL GENERATING CIRCUIT, STREAKING CORRECTION SIGNAL GENERATING METHOD, PROGRAM, STREAKING CORRECTION CIRCUIT AND IMAGING DEVICE}
본 발명은, 예를 들면 CCD(Charge Coupled　Device) 이미지 센서, CMOS(Complementary　Metal　Oxide Semiconductor) 이미지 센서 등을 이용하여 구성되는 고체 촬상 장치에 적용하기에 바람직한 스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성 방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치에 관한 것이다.
상세하게는, 본 발명은, 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 각 라인의 수평 차광부의 신호 레벨을 구함과 함께, 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하고, 각 라인의 수평 차광부의 신호 레벨로부터 흑 레벨을 감산하여 각 라인의 스트리킹 보정 신호를 구함으로써, 스트리킹의 리얼타임 보정이 가능해지도록 한 스트리킹 보정 신호 생성 회로 등에 관한 것이다.
종래, 촬상 장치로서, 예를 들면 CCD 이미지 센서, CMOS 이미지 센서 등을 이용하여 구성되는 고체 촬상 장치가 알려져 있다. 이 고체 촬상 장치로, 고휘도의 피사체를 촬상한 경우, 촬상 화상에 수평 방향으로 줄무늬 형상의 스트리킹이 생긴다.
예를 들면, 특허 문헌 1에는, 화소부를 차광했을 때와 수광했을 때의 직류 레벨의 차를 보정함으로써 스트리킹 보정을 행하는 것이 기재되어 있다.
[특허 문헌 1] 일본 특허 공개 제2005-130331호 공보
전술한 특허 문헌 1에 기재되는 기술에서는, 스트리킹 보정 신호를 얻을 때 수광부를 차광할 필요가 있어, 스트리킹을 리얼타임으로 검출할 수 없으며, 따라서, 스트리킹을 리얼타임으로 보정할 수 없다. 또한, 촬영 중에 종종 수광부를 차광하는 것은, 노광 시간의 손실로 이어지고, 또한 영상 신호의 취득이 비효율적으로 된다.
본 발명의 목적은, 스트리킹의 리얼타임 보정을 가능하게 하는 데 있다.
본 발명의 개념은,
수평 차광부 및 수직 차광부를 갖는 이미지 센서와,
상기 이미지 센서의 출력 신호에 기초하여, 각 라인의 스트리킹 보정 신호를 생성하는 스트리킹 보정 신호 생성 회로와,
상기 이미지 센서의 각 라인 출력 신호로부터, 상기 스트리킹 보정 신호 생성 회로에서 생성된 대응하는 라인의 스트리킹 보정 신호를 감산하여, 스트리킹 보정된 출력 신호를 얻는 감산기를 구비하는 촬상 장치에 있어서,
상기 스트리킹 보정 신호 생성 회로는,
상기 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 그 수평 차광부에서의 각 라인의 신호 레벨을 구하는 차광부 파형 검출부와,
상기 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하는 흑 레벨 검출부와,
상기 차광부 파형 검출부에서 구해진 수평 차광부에서의 각 라인의 신호 레벨로부터 상기 흑 레벨 검출부에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호를 구하는 감산부을 갖는
것을 특징으로 하는 촬상 장치에 있다.
본 발명에 있어서, 이미지 센서는 수평 차광부 및 수직 차광부를 갖고 있다. 스트리킹 보정 신호 생성 회로에서는, 이미지 센서의 출력 신호에 기초하여, 각 라인의 스트리킹 보정 신호가 생성된다. 즉, 차광부 파형 검출부에서는, 이미지 센서의 수평 차광부의 출력 신호가 이용되어, 각 라인의 수평 차광부의 신호 레벨이 구해진다. 또한, 흑 레벨 검출부에서는, 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨이 검출된다. 그리고, 감산부에서는, 각 라인의 수평 차광부의 신호 레벨로부터 흑 레벨이 감산되어, 각 라인의 스트리킹 보정 신호가 구해진다.
본 발명에 있어서, 차광부 파형 검출부는, 예를 들면 라인마다 수평 차광부를 구성하는 각 화소의 값의 평균치를 구하는 평균치 산출부와, 이 평균치 산출부에서 구해지는 각 라인의 화소 평균치를 시간 방향으로 평균화하는 디지털 필터와, 이 디지털 필터로부터 출력되는 각 라인의 화소 평균치에 대하여 수직 방향으로 적용하는 ε(엡실론) 필터와, 이 ε 필터로부터 출력되는 각 라인의 화소 평균치에 대하여 수직 방향으로 적용하는 메디안 필터를 가지며, 메디안 필터로부터 각 라인의 수평 차광부의 신호 레벨을 얻도록 되어도 된다.
이 경우, 평균치 산출부 및 디지털 필터에 의해, 수평 방향의 공간적, 또한 시간적인 랜덤 노이즈가 경감된다. 또한, ε 필터 및 메디안 필터에 의해, 수직 방향의 공간적인 랜덤 노이즈가 경감됨과 함께 임펄스적인 노이즈가 경감된다.
본 발명에 있어서, 예를 들면 스트리킹 보정 신호 생성 회로는, 감산부에서 구해진 각 라인의 스트리킹 보정 신호에 대하여 코어링 처리를 실시하는 코어링부를 더 갖도록 되어도 된다. 이 코어링 처리에 의해, 엣지 성분을 남기고, 미소한 노이즈를 제거하는 것이 가능하게 된다.
본 발명에 있어서, 예를 들면 스트리킹 보정 신호 생성 회로는, 이미지 센서의 출력 신호의 최하위 비트 이하로 소정수의 비트를 추가하여 처리를 행하도록 되어도 된다. 이 경우, 이미지 센서의 출력 신호의 최하위 비트 이하의 레벨의 스트리킹 성분에 대응한 스트리킹 보정 신호의 생성이 가능하게 된다.
본 발명에 있어서, 흑 레벨 검출부는, 예를 들면 수직 차광부를 구성하는 각 화소의 값의 평균치를 구하는 평균치 산출부와, 이 평균치 산출부에서 구해지는 화 소 평균치를 시간 방향으로 평균화하는 디지털 필터를 갖고, 디지털 필터로부터 흑 레벨을 얻도록 되어도 된다. 이 경우, 평균치 산출부 및 디지털 필터에 의해, 공간적, 또한 시간적인 랜덤 노이즈가 경감된다. 또한, 수직 차광부를 구성하는 각 화소의 값으로부터 흑 레벨을 검출하는 것이며, 수광부의 상태에 영향을 받지 않고, 흑 레벨을 안정하게 검출할 수 있다.
이와 같이 스트리킹 보정 신호 생성 회로에서는 이미지 센서의 차광부(수평 차광부, 수직 차광부)의 출력 신호만을 이용하여 스트리킹 보정 신호가 생성되는 것이며, 이미지 센서의 수광부를 차광하지 않고 스트리킹 보정 신호를 리얼타임으로 얻을 수 있어, 스트리킹의 리얼타임 보정이 가능하게 된다. 이 경우, 촬영 중에 수광부를 자주 차광할 필요가 없어, 영상 신호의 취득 효율의 저하를 초래할 일은 없다.
감산기에서는, 이미지 센서의 각 라인 출력 신호로부터, 스트리킹 보정 신호 생성 회로에서 생성된 대응하는 라인의 스트리킹 보정 신호가 감산되어, 스트리킹 보정된 출력 신호가 얻어진다. 이 감산기와 전술한 스트리킹 보정 신호 생성 회로로, 스트리킹 보정 회로가 구성된다. 이 스트리킹 보정 회로에서는, 스트리킹 보정 신호 생성 회로에서 생성된 스트리킹 보정 신호를 이용함으로써, 스트리킹의 리얼타임 보정이 행하여진다.
본 발명에 있어서, 스트리킹 보정 회로는, 예를 들면 이미지 센서의 출력 신호의 신호 레벨에 대하여 보정 게인을 발생하는 보정 게인 발생부와, 스트리킹 보정 신호 생성부에서 생성된 스트리킹 보정 신호에 보정 게인 발생부에서 발생되는 보정 게인을 승산하는 승산부를 더 구비하고, 감산기는, 이미지 센서의 출력 신호로부터 승산부에 의해 보정 게인이 승산된 스트리킹 보정 신호를 감산하도록 되어도 된다. 화소부에서의 스트리킹 성분은, 신호 레벨에 따라 변화한다. 전술한 바와 같이 스트리킹 보정 신호에 신호 레벨에 따른 보정 게인을 승산하여 이용함으로써, 스트리킹 보정의 정밀도를 높일 수 있다.
본 발명에 있어서, 보정 게인 발생부는, 예를 들면 이미지 센서의 출력 신호의 레벨을 검출하는 신호 레벨 검출부와, 이 신호 레벨 검출부의 검출 레벨에 대응한 보정 게인을 출력하는 메모리를 갖도록 되어도 된다. 이 경우, 아무런 연산 처리를 하지 않고, 메모리로부터 신호 레벨에 대응한 보정 게인을 얻는 것이 가능하게 된다. 또한, 보정 게인 발생부는, 예를 들면 이미지 센서의 출력 신호의 레벨을 검출하는 신호 레벨 검출부와, 이 신호 레벨 검출부의 검출 레벨을 포함하는 레벨 범위의 양단의 보정 게인을 출력하는 메모리와, 신호 레벨 검출부의 검출 레벨 및 메모리로부터 출력되는 양단의 보정 게인에 기초하여, 신호 레벨 검출부의 검출 레벨에 대응한 보정 게인을 구하는 연산부를 갖도록 되어도 된다. 이 경우, 메모리의 용량을 절약하는 것이 가능하게 된다.
본 발명에 의하면, 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 각 라인의 수평 차광부의 신호 레벨을 구함과 함께, 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하고, 각 라인의 수평 차광부의 신호 레벨로부터 흑 레벨을 감산하여 각 라인의 스트리킹 보정 신호를 구하는 것이며, 이미지 센 서의 수광부를 차광하지 않고 스트리킹 보정 신호를 리얼타임으로 얻을 수 있어, 스트리킹을 리얼타임으로 보정할 수 있다.
이하, 도면을 참조하면서, 본 발명의 실시 형태에 대하여 설명한다. 도 1은, 실시 형태로서의 촬상 장치(100)의 구성예를 도시하고 있다. 이 촬상 장치(100)는, 3판식의 컬러 촬상 장치이다. 이 촬상 장치(100)는, 이미지 센서(101R, 101G, 101B)와, 비디오 앰프(102R, 102G, 102B)와, A/D 변환기(103R, 103G, 103B)와, 보정 회로(104)와, 게인 조정 회로(105)와, 휘도 조정 회로(106)와, 감마 보정 회로(107)와, 출력 신호 생성 회로(108)를 갖고 있다. 여기에서, 보정 회로(104), 게인 조정 회로(105), 휘도 조정 회로(106), 감마 보정 회로(107) 및 출력 신호 생성 회로(108)는, 비디오 처리부(109)를 구성하고 있다.
이미지 센서(101R, 101G, 101B)는, 각각 적, 녹, 청의 각 화상용의 이미지 센서이다. 이들 이미지 센서(101R, 101G, 101B)는, 예를 들면 CCD, CMOS 등의 이미지 센서이다. 비디오 앰프(102R, 102G, 102B)는, 각각 이미지 센서(101R, 101G, 101B)로부터 출력되는 적, 녹, 청의 촬상 신호를 적절한 레벨로 조절한다. A/D 변환기(103R, 103G, 103B)는, 각각 비디오 앰프(102R, 102G, 102B)의 출력 신호를 아날로그 신호로부터 디지털 신호로 변환하여, 적, 녹, 청의 색 데이터 R, G, B를 출력한다.
보정 회로(104)는, A/D 변환기(103R, 103G, 103B)로부터 출력되는 색 데이터 R, G, B에 대하여, 스트리킹 보정, 결함 보정 등을 행한다. 게인 조정 회로(105) 는, 보정 회로(104)에서 얻어지는 각 색 데이터의 게인을 조정하여, 화이트 밸런스 조정, 색 조정 등을 행한다. 휘도 조정 회로(106)는, 영상 신호를 규정의 범위 내로 두기 위해, 게인 조정 회로(105)에서 얻어지는 각 색 데이터에 대하여 휘도 압축을 행한다.
감마 보정 회로(107)는, CRT(Cathode Ray　Tube) 등의 모니터 감마에 대응시키기 위해, 감마 보정을 행한다. 출력 신호 생성 회로(108)는, 감마 보정 회로(107)에서 얻어지는 적, 녹, 청의 색 데이터를, 최종적인 영상 출력 형식으로 변환하여 출력한다. 예를 들면, 출력 신호 생성 회로(108)는, 매트릭스 회로를 구비하고, 적, 녹, 청의 색 데이터를, 휘도 신호 Y, 적차 신호 Cr, 청차 신호 Cb의 형식으로 변환하여 출력한다.
도 1에 도시한 촬상 장치(100)의 동작을 간단하게 설명한다. 도시하지 않은 광학계에 의해 얻어지는 피사체로부터의 적, 녹, 청의 상광은 각각 이미지 센서(101R, 101G, 101B)의 촬상면에 입사되어, 그 촬상면에 적, 녹, 청의 각 색 화상이 결상된다. 이미지 센서(101R, 101G, 101B)에서는, 전술한 바와 같이 촬상면에 색 화상이 결상된 상태에서 촬상 처리가 행해져, 피사체에 대응한 적, 녹, 청의 색 신호(촬상 신호)가 얻어진다.
이미지 센서(101R, 101G, 101B)에서 얻어지는 적, 녹, 청의 각 색 신호는, 비디오 앰프(102R, 102G, 102B)와, A/D 변환기(103R, 103G, 103B)에 의해, 적절한 레벨로 조절되어 양자화된다. 그리고, A/D 변환기(103R, 103G, 103B)로부터 출력되는 적, 녹, 청의 색 데이터 R, G, B는 비디오 처리부(109)에 공급된다.
비디오 처리부(109)에서는, 적, 녹, 청의 색 데이터 R, G, B에 대하여, 보정 회로(104) 및 게인 조정 회로(105)에 의해, 스트리킹 보정, 결함 보정 등의 보정 처리, 화이트 밸런스 조정, 색 조정 등의 게인 조정 처리가 행하여진다. 또한, 비디오 처리 회로(109)에서는, 게인 조정 회로(105)로부터 출력되는 각 색 데이터에 대하여, 휘도 조정 회로(106) 및 감마 보정 회로(107)에 의해, 휘도 압축, 감마 보정 등의 처리가 행하여진다. 그리고, 감마 보정 회로(107)에서 얻어지는 각 색 데이터는 출력 신호 생성 회로(108)에 공급되어 최종적인 영상 신호 출력 형식(Y, Cr, Cb)으로 변환되어 출력된다.
전술한 바와 같이 보정 회로(104)는, 스트리킹 보정 회로를 포함하고 있다. 스트리킹 보정 회로를 게인 조정 회로(105) 이후의 회로에 포함시키는 것도 고려된다. 그러나, 게인 조정된 각 색 데이터로부터 스트리킹 성분을 검출하는 것은, 오검출로 이어져, 스트리킹 보정에 악영향을 미칠 우려가 있다. 그 때문에, 보정 회로(104)에 스트리킹 보정 회로를 포함시키는 형태가 최선이다.
도 2는, 스트리킹 보정 회로(110)의 구성예를 도시하고 있다. 이 도 2에 있어서, 스트리킹 보정 회로(110)는, 적, 녹, 청의 보정 신호 생성 회로(111R, 111G, 111B)와, 감산기(112)를 갖고 있다. 이 스트리킹 보정 회로(110)는, 적, 녹, 청의 색 데이터 Rin, Gin, Bin을 입력받아, 스트리킹 보정된 적, 녹, 청의 색 데이터 Rout, Gout, Bout를 출력한다.
적, 녹, 청의 보정 신호 생성 회로(111R, 111G, 111B)는, 각각, 입력되는 적, 녹, 청의 색 데이터 Rin, Gin, Bin에 기초하여, 적, 녹, 청의 각 라인의 스트 리킹 보정 신호 Rst, Gst, Bst를 생성한다. 감산기(112)는, 입력되는 적, 녹, 청의 각 라인의 색 데이터 Rin, Gin, Bin으로부터, 보정 신호 생성 회로(111R, 111G, 111B)에서 생성된 적, 녹, 청의 각 라인의 스트리킹 보정 신호 Rst, Gst, Bst를 감산하여, 스트리킹 보정된 적, 녹, 청의 색 데이터 Rout, Gout, Bout를 출력한다.
도 2에 도시한 스트리킹 보정 회로(110)의 동작을 설명한다. 입력되는 적, 녹, 청의 색 데이터 Rin, Gin, Bin은, 각각, 적, 녹, 청의 보정 신호 생성 회로(111R, 111G, 111B)에 공급됨과 함께, 감산기(112)에 공급된다. 적, 녹, 청의 보정 신호 생성 회로(111R)에서는, 각각, 적, 녹, 청의 색 데이터 Rin, Gin, Bin이 처리되어, 적, 녹, 청의 각 라인의 스트리킹 보정 신호 Rst, Gst, Bst가 생성된다.
적, 녹, 청의 보정 신호 생성 회로(111R, 111G, 111B)에서 생성된 적, 녹, 청의 스트리킹 보정 신호 Rst, Gst, Bst는 감산기(112)에 공급된다. 감산기(112)에서는, 적, 녹, 청의 각 라인의 색 데이터 Rin, Gin, Bin으로부터 적, 녹, 청의 각 라인의 스트리킹 보정 신호 Rst, Gst, Bst가 감산되어, 스트리킹 보정된 적, 녹, 청의 색 데이터 Rout, Gout, Bout가 얻어진다.
적, 녹, 청의 보정 신호 생성 회로(111R, 111G, 111B)의 구체적인 구성예에 대하여 설명한다. 적, 녹, 청의 보정 신호 생성 회로(111R, 111G, 111B)는 마찬가지로 구성되어 있기 때문에, 여기에서는, 적 보정 신호 생성 회로(111R)의 구성예만을 설명한다. 적 보정 신호 생성 회로(111R)는, 도 2에 도시한 바와 같이, 보정 신호 생성부(121)와, 신호 레벨 검출부(122)와, 보정 게인 생성부(123)와, 승산부(124)를 갖고 있다.
보정 신호 생성부(121)는, 입력되는 적 데이터 Rin에 기초하여, 각 라인의 스트리킹 보정 신호 Rst''를 생성한다. 이 보정 신호 생성부(121)는, 이미지 센서(101R)의 수평 차광부(HOPB: Horizontal　Optical　Black) 및 수직 차광부(VOPB: Vertical　Optical　Black)의 출력 신호를 이용하여, 각 라인의 스트리킹 보정 신호 Rst''를 생성한다.
도 3의 (a)는, 이미지 센서(101R)의 구조와 스트리킹의 발생예를 나타내고 있다. 이미지 센서(101R)는, 예를 들면 수평 방향으로 2200 화소, 수직 방향으로 1125 화소(1125 라인)를 구비한 구성으로 되어 있다. 그리고, 이 이미지 센서(101R)는, 수평 방향으로 예를 들면 36 화소분의 수평 차광부(HOPB)(201)와, 수직 방향으로 예를 들면 10∼20 화소분의 수직 차광부(VOPB)(202)와, 그 밖의 수광부(203)로 구성되어 있다. 예를 들면, 이 이미지 센서(101R)로 고휘도의 피사체, 예를 들면 광원(204)을 촬상한 경우, 수평 방향으로 줄무늬 형상의 스트리킹(205)이 발생한다.
도 4는, 보정 신호 생성부(121)의 구성예를 도시하고 있다. 이 보정 신호 생성부(121)는, 차광부 파형 검출부(130)와, 흑 레벨 검출부(140)와, 감산부(150)와, 코어링부(160)를 갖고 있다.
차광부 파형 검출부(130)는, 이미지 센서(101R)의 수평 차광부(201)의 출력 신호를 이용하여, 도 3의 (b)에 도시한 바와 같은, 그 수평 차광부(201)의 파형, 즉, 그 수평 차광부(201)에서의 각 라인의 신호 레벨을 구한다. 이 차광부 파형 검출부(130)는, 도 4에 도시한 바와 같이, 평균치 산출부(131)와, 디지털 필터로서 의 IIR(Infinite　Impulse　Response) 필터(132)와, ε(엡실론) 필터(133)와, 메디안 필터(134)가, 이 순서대로 접속되어 구성되어 있다.
평균치 산출부(131)는, 라인마다, 수평 차광부(201)를 구성하는 각 화소의 값의 평균치를 구한다. 이 평균치 산출부(131)에 의해 수평 방향의 공간적인 랜덤 노이즈가 경감된다.
IIR 필터(132)는, 평균치 산출부(131)에서 구해지는 각 라인의 화소 평균치를 시간 방향으로 평균화한다. IIR 필터는, 현 프레임의 입력 신호와 그 이전의 프레임의 출력 신호를 피드백 루프에 의해 이용하는 필터이다. 이 IIR 필터(132)에 의해 시간적인 랜덤 노이즈가 경감된다. 또한, IIR 필터(132) 대신에, FIR(Finite Impulse　Response) 필터 등의 그 밖의 디지털 필터를 이용할 수도 있다.
도 5는, IIR 필터(132)의 구성예를 도시하고 있다. 이 도 5에 있어서, IIR 필터(132)는, 감산기(132a), 승산기(132b), 가산기(132c, 132e) 및 지연기(132d)에 의해 구성되어 있다. 즉, 입력 신호 Sin은 감산기(132a) 및 가산기(132c)에 공급된다. 또한, 감산기(132a)의 출력 신호는 승산기(132b)에 공급되어, 계수가 승산된다. 계수에 의해, 현 프레임으로부터 몇 프레임 전까지의 출력 신호를 이용할지를 조절할 수 있다. 승산기(132b)의 출력 신호는 가산기(132c)에 공급되어, 전술한 입력 신호 Sin에 가산된다.
상기 가산기(132c)의 출력 신호는 가산기(132e) 및 지연기(132d)에 공급된다. 지연기(132d)는, 1 프레임의 지연 시간을 갖고 있다. 이 지연기(132d)의 출 력 신호는 가산기(132e)에 있어서 전술한 가산기(132c)의 출력 신호에 가산되어, 출력 신호 Sout가 얻어진다. 또한, 지연기(132d)의 출력 신호는 감산기(132a)에 공급되어, 입력 신호 Sin으로부터 감산된다.
전술한 IIR 필터(132)에 의해 시간적인 랜덤 노이즈가 경감된다. 또한, IIR 필터(132) 대신에, FIR(Finite　Impulse　Response) 필터 등의 그 밖의 디지털 필터를 이용할 수도 있다.
ε 필터(133)는, 소진폭의 노이즈를 제거하기 위한 비선형 필터이다. 이 ε 필터(133)는, IIR 필터(132)로부터 출력되는 각 라인의 화소 평균치에 대하여, 수직 방향으로 적용된다. 이 ε 필터(133)에 의해 수직 방향의 랜덤 노이즈가 경감된다.
여기에서, ε 필터(133)의 개요를 설명한다. 도 6의 (A)에 있어서, 필터 길이(5)(필터 계수는 모두 1)의 필터를 신호(화소 평균치) P3에 적용하는 경우를 생각한다. 필터 처리의 대상으로 되는 신호 P3의 전후에 존재하는 신호 P1, P2, P4, P5 중에서, 신호 P4는 신호 P3과의 차가 임계치 ΔE 이상이다. 그 때문에, 이 신호 P4를, 도 6의 (B)와 같이, 신호 P3과 동일한 값(신호 P4')으로 치환하여, 필터를 적용한다.
즉, 도 6의 (C)와 같이
N_P3=(P1+P2+P3+P4'(=P3)+P5)/5=(1+4+3+3+2)/5=2.6
으로 된다.
이상과 같은 필터를 적용하면, 도 7에 도시한 바와 같이, 처리 전의 신호 P1, P2, P3, P4, P5, …는, 처리 후의 신호 N_P1, N_P2, N_P3, N_P4, N_P5, …와 같이 변하여, 급격하게 값이 변화하지 않는 개소의 변동이 억제된다. 즉, ε 필터(133)에 의해, 수직 방향의 공간적인 랜덤 노이즈가 경감된다.
메디안(중간치) 필터(134)는, ε 필터(133)로부터 출력되는 각 라인의 화소 평균치에 대하여, 수직 방향으로 적용된다. 이 메디안 필터(134)는, 대상 신호를 중심으로 한 홀수개의 값을 크기순으로 재배열하여, 중앙의 값을 취하는 필터이다. 이 메디안 필터(134)에 의해, 임펄스적인 노이즈(예를 들면, 도 7의 신호 N_P4)가 제거된다. 이 메디안 필터(134)로부터, 전술한 수평 차광부(201)에서의 각 라인의 신호 레벨(수평 차광부(201)의 파형)이 얻어진다.
또한, 도시하고 있지 않지만, IIR 필터(132)의 계수, ε 필터(133)의 임계치 ΔE는, 리얼타임성과 노이즈 제거의 트레이드오프를 고려하여 외부로부터 조정 가능하게 된다. 또한, 노이즈 양이 작을 때에는, 리얼타임성을 중시하여, 공간 필터만을 적용하는 등, 노이즈 양에 따라 회로 구성이 변경되도록 하여도 된다.
도 4로 되돌아가서, 흑 레벨 검출부(140)는, 이미지 센서(101R)의 수직 차광부(202)의 출력 신호를 이용하여 흑 레벨을 검출한다. 도 3에 도시한 바와 같이, 촬영 중의 수평 차광부(201)에는 스트리킹이 실려 오기 때문에, 그 수평 차광부(201)의 출력 신호로부터는 흑 레벨을 양호한 정밀도로 검출할 수 없다. 그 때문에, 흑 레벨 검출부(140)에서는, 전술한 바와 같이 수직 차광부(202)의 출력 신호를 이용하여 흑 레벨을 검출한다.
상기 흑 레벨 검출부(140)는, 도 4에 도시한 바와 같이, 평균치 산출부(141) 와, 디지털 필터로서의 IIR 필터(142)가, 이 순서대로 접속되어 구성되어 있다. 흑 레벨 검출부(140)에서는, IIR 필터(142)를 시간축 방향으로 적용함으로써, 노이즈의 영향을 최소한으로 억제하면서, 리얼타임성이 유지되도록 하고 있다.
평균치 산출부(141)는, 수직 차광부(202)를 구성하는 각 화소의 값의 평균치를 구한다. 이 평균치 산출부(141)에 의해 수평 방향 및 수직 방향의 공간적인 랜덤 노이즈가 경감된다.
IIR 필터(142)는, 평균치 산출부(141)에서 구해지는 화소 평균치를 시간 방향으로 평균화한다. IIR 필터는, 현 프레임의 입력 신호와 그 이전의 프레임의 출력 신호를 피드백 루프에 의해 이용하는 필터이다(도 5 참조). 이 IIR 필터(142)에 의해 시간적인 랜덤 노이즈가 경감된다. 또한, IIR 필터(142) 대신에, FIR(Finite　Impulse　Response) 필터 등의 그 밖의 디지털 필터를 이용할 수도 있다. 이 IIR 필터(142)로부터 전술한 흑 레벨이 얻어진다.
감산부(150)는, 차광부 파형 검출부(130)에서 구해진 수평 차광부(201)에서의 각 라인의 신호 레벨로부터, 흑 레벨 검출부(140)에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호 Rst'、 즉 각 라인의 스트리킹 성분을 구한다(도 3의 (b) 참조).
코어링부(160)는, 감산부(150)에서 얻어지는 각 라인의 스트리킹 보정 신호 Rst'에 대하여 코어링 처리를 실시하여, 각 라인의 최종적인 스트리킹 보정 신호 Rst''를 출력한다. 코어링부(160)는, ε 필터(161)와, 감산기(162)와, 코어링 처리부(163)와, 가산기(164)를 갖고 있다.
ε 필터(161)는, 소진폭의 노이즈를 제거하기 위한 비선형 필터이다. 이 ε 필터(161)는, 전술한 차광부 파형 검출부(130)의 ε 필터(133)와 마찬가지로 구성되어 있다(도 6, 도 7 참조). 이 ε 필터(161)는, 감산부(150)로부터 출력되는 각 라인의 스트리킹 보정 신호 Rst'에 대하여, 수직 방향으로 적용된다.
감산기(162)는, 감산부(150)에서 얻어지는 각 라인의 스트리킹 보정 신호로부터, ε 필터(161)에 의해 생성된 대응하는 신호를 감산하여, 고주파 성분 Lin을 추출한다. 예를 들면, 어떤 라인의 스트리킹 보정 신호로부터 감산되는 신호는, ε 필터(161)에 있어서, 그 어떤 라인의 스트리킹 보정 신호와 그 전후의 소정 개수의 라인의 스트리킹 보정 신호를 이용하여, 생성된 신호로 된다.
코어링 처리부(163)는, 감산기(162)에서 얻어지는 각 라인의 고주파 성분 Lin에 대하여, 코어링 처리를 행한다. 즉, 코어링 처리부(163)는, 입력 신호 Lin의 절대치와, 미리 설정되어 있는 코어링 레벨의 대소를 비교하여, 코어링 레벨로부터 입력 신호 Lin의 절대치의 쪽이 큰 경우에는, 입력 신호 Lin을 그대로 출력 신호 Lout로 하고, 한편, 입력 신호 Lin의 절대치보다 코어링 레벨의 쪽이 큰 경우에는, 출력 신호 Lout를 0으로 한다. 즉, 이 코어링 처리부(163)에서의 코어링 처리는, 엣지 등의 비교적 신호 레벨이 큰 성분은 남기고, 그 이외의 작은 신호 레벨의 성분은 제외하는 처리이다.
도 8의 플로우차트는, 코어링 처리부(163)에서의, N번째의 라인에 대응한 코어링 처리의 수순을 나타내고 있다.
우선, 코어링 처리부(163)는, 스텝 ST1에 있어서, 처리를 개시하고, 그 후에 스텝 ST2로 옮긴다. 이 스텝 ST2에 있어서, 코어링 처리부(163)는, N번째의 입력 신호 Lin의 절대치를 계산한다. 그리고, 코어링 처리부(163)는, 스텝 ST3에 있어서, 스텝 ST2에서 얻어지는 절대치가 코어링 레벨보다 큰지의 여부를 판정한다. 절대치가 코어링 레벨보다 클 때, 코어링 처리부(163)는, 스텝 ST4에 있어서, 출력 신호 Lout로서 입력 신호 Lin을 그대로 출력하고, 그 후에, 스텝 ST5에 있어서, 처리를 종료한다. 한편, 스텝 ST3에서, 절대치가 코어링 레벨보다 크지 않을 때, 코어링 처리부(163)는, 스텝 ST6에 있어서, 출력 신호 Lout로서 0을 출력하고, 그 후에, 스텝 ST5에 있어서, 처리를 종료한다.
가산기(164)는, ε 필터(161)로부터 출력되는 각 라인의 신호에, 코어링 처리부(163)의 출력 신호 Lout를 가산하여, ε 필터(161)의 통과시에 제거된 고주파 성분의 복원을 행한다. 이 가산기(164)로부터 출력되는 각 라인의 신호가, 각 라인의 최종적인 스트리킹 보정 신호 Rst''로 된다. 코어링부(160)에서는, 코어링 처리부(163)에서의 코어링 레벨을 조절함으로써, 엣지 성분을 남기면서, 미소한 노이즈를 제거할 수 있다.
또한, 전술한 차광부 파형 검출부(130), 흑 레벨 검출부(140), 감산부(150) 및 코어링부(160)로 이루어지는 보정 신호 생성부(121)에 있어서는, 이미지 센서(101R)의 출력 신호, 즉 A/D 변환기(103R)에서 얻어지는 적 데이터 Rin의 최하위 비트(LSB) 이하로 소정수의 비트가 준비되어, 처리가 행하여진다. 예를 들면, 도 9에 도시한 바와 같이, 이미지 센서(101R)의 출력 신호가 12 비트인 경우, 보정 신호 생성부(121)에서는, 이미지 센서(101R)의 출력 신호의 LSB 이하로 4 비트가 더 추가(부가)되어 연산이 행하여진다. 이에 의해, 보정 신호 생성부(121)에서는, IIR 필터 연산 등에서 발생하는 LSB 이하의 성분의 절사를 회피할 수 있어, LSB 이하의 레벨의 스트리킹 성분에 대응한 스트리킹 보정 신호의 생성이 가능하게 된다.
도 4에 도시한 보정 신호 생성부(121)의 동작을 설명한다.
이미지 센서(101R)의 출력 신호 Rin은, 차광부 파형 검출부(130)의 평균치 산출부(131)에 공급된다. 이 평균치 산출부(131)에서는, 라인마다, 이미지 센서(101R)의 수평 차광부(201)를 구성하는 각 화소의 값의 평균치가 산출된다. 그리고, 이 평균치 산출부(131)에서 산출된 각 라인의 화소 평균치는, IIR 필터(132), ε 필터(133) 및 메디안 필터(134)를 통과하게 된다. 메디안 필터(134)로부터는, 차광부 파형 검출부(130)의 출력으로서, 시간적 및 공간적인 랜덤 노이즈가 경감되고, 또한 임펄스적인 노이즈가 제거된, 수평 차광부(201)에서의 각 라인의 신호 레벨(수평 차광부(201)의 파형)이 얻어진다.
또한, 이미지 센서(101R)의 출력 신호 Rin은, 흑 레벨 검출부(140)의 평균치 산출부(141)에 공급된다. 이 평균치 산출부(141)에서는, 이미지 센서(101R)의 수직 차광부(202)를 구성하는 각 화소의 값의 평균치가 구해진다. 이 평균치 산출부(141)에서 산출된 흑 레벨은 IIR 필터(142)를 통과하게 된다. IIR 필터(142)로부터는, 흑 레벨 검출부(140)의 출력으로서, 시간적 및 공간적인 랜덤 노이즈가 경감된 흑 레벨이 얻어진다.
차광부 파형 검출부(130)에서 구해진 수평 차광부(201)에서의 각 라인의 신호 레벨은 감산부(150)에 공급된다. 또한, 흑 레벨 검출부(140)에서 구해진 흑 레 벨은 감산부(150)에 공급된다. 이 감산부(150)에서는, 수평 차광부(201)에서의 각 라인의 신호 레벨로부터 흑 레벨이 감산되어, 각 라인의 스트리킹 보정 신호(각 라인의 스트리킹 성분) Rst'가 얻어진다.
이와 같이 감산부(150)에서 얻어지는 각 라인의 스트리킹 보정 신호 Rst'는, 코어링부(160)에 공급된다. 즉, 각 라인의 스트리킹 보정 신호 Rst'는, ε 필터(161) 및 감산기(162)에 공급된다. ε 필터(161)로부터는, 각 라인의 스트리킹 보정 신호 Rst'에 대응하여, 고주파 성분이 제거된 신호가 얻어진다. ε 필터(161)의 출력 신호는, 감산기(162) 및 가산기(164)에 공급된다.
감산기(162)에서는, 각 라인의 스트리킹 보정 신호 Rst'로부터, ε 필터(161)의 출력 신호가 감산되어, 고주파 성분 Lin이 추출된다. 이 고주파 성분 Lin은 코어링 처리부(163)에 공급된다. 코어링 처리부(163)에서는, 입력 신호 Lin의 절대치와, 미리 설정되어 있는 코어링 레벨의 대소가 비교되어, 코어링 레벨보다 입력 신호 Lin의 절대치의 쪽이 큰 경우에는, 입력 신호 Lin이 그대로 출력 신호 Lout로 되고, 한편, 입력 신호 Lin의 절대치보다 코어링 레벨의 쪽이 큰 경우에는, 출력 신호 Lout가 0으로 된다.
상기 코어링 처리부(163)의 출력 신호 Lout는 가산기(164)에 공급된다. 가산기(164)에서는, ε 필터(161)로부터 출력되는 각 라인의 신호에, 코어링 처리부(163)의 출력 신호 Lout가 가산되어, ε 필터(161)의 통과시에 제거된 고주파 성분의 복원이 행하여진다. 가산기(164)로부터는, 코어링부(160)의 출력, 나아가 보정 신호 생성부(121)의 출력으로서, 엣지 성분을 남기면서, 미소한 노이즈가 제거 된, 각 라인의 최종적인 스트리킹 보정 신호 Rst''가 얻어진다.
도 2로 되돌아가서, 신호 레벨 검출부(122) 및 보정 게인 생성부(123)는, 보정 게인 발생부를 구성하고 있다. 스트리킹 성분은, 적 데이터 Rin의 레벨(신호 레벨)이나 온도의 변화에 의해, 수평 차광부(201)에서 검출되는 레벨과, 수광부(203)에서 검출되는 레벨이 반드시 일치하지 않는 경우가 있다. 도 10은, 수광부(203)에서 검출되는 스트리킹 양과 수평 차광부(201)에서 검출되는 스트리킹 양의 레벨 비(스트리킹 비)와 신호 레벨의 관계의 일례를 나타내고 있다.
적 보정 신호 생성 회로(111R)에서는, 전술한 보정 신호 생성부(121)에서 생성된 스트리킹 보정 신호 Rst''에 대하여, 신호 레벨 검출부(122) 및 보정 게인 생성부(123)에 의해 발생되는 보정 게인 Gr을 승산함으로써, 스트리킹 보정 신호 Rst를 얻도록 하고 있다.
신호 레벨 검출부(122)는, 입력되는 적 데이터 Rin의 레벨(신호 레벨 Ldet)을, 화소마다 검출한다. 이 신호 레벨 검출부(122)에 있어서, 예를 들면 검출 대상의 화소와 그 수평 방향에 인접하는 화소에 대하여 ε 필터를 적용함으로써, 임펄스 신호의 영향을 억제하면서, 양호한 정밀도로 신호 레벨 Ldet를 검출할 수 있다. 보정 게인 생성부(123)는, 신호 레벨 검출부(122)에서 검출된 신호 레벨 Ldet에 대응한 보정 게인 Gr을 생성한다.
예를 들면, 보정 게인 생성부(123)는, 도 11의 (a)에 도시한 바와 같이, 룩업 테이블을 구성하는 메모리(123a)에 의해 구성된다. 이 경우, 메모리(123a)에는, 각 신호 레벨에 대응한 보정 게인(스트리킹 비)이 기억되어 있다. 메모 리(123a)에 신호 레벨 Ldet가 입력될 때, 그 메모리(123a)로부터는 신호 레벨 Ldet에 대응한 보정 게인 Gr이 판독되어 출력된다. 이와 같이 보정 게인 생성부(123)를 메모리(123a)만으로 구성하는 경우에는, 아무런 연산 처리를 하지 않고, 보정 게인을 용이하게 취득할 수 있다.
또한, 예를 들면 보정 게인 생성부(123)는, 도 11의 (b)에 도시한 바와 같이, 룩업 테이블을 구성하는 메모리(123b) 및 연산부(123c)에 의해 구성된다. 이 경우, 메모리(123b)에는, 도 12에 검정 동그라미로 나타낸 바와 같은 이산적인 신호 레벨에 대응한, 도 12에 흰 동그라미로 나타낸 바와 같은 보정 게인(스트리킹 비)이 기억되어 있다. 메모리(123b)에 신호 레벨 Ldet가 입력될 때, 그 메모리(123b)로부터는 신호 레벨 Lde를 포함하는 레벨 범위의 양단의 보정 게인 GL, GH가 판독되어 출력된다. 연산부(123c)에서는, 메모리(123b)로부터의 보정 게인 GL, GH와 신호 레벨 Ldet를 이용하여, 예를 들면 선형 보간 연산이 행해져, 신호 레벨 Ldet에 대응한 보정 게인 Gr이 생성되어 출력된다. 이와 같이 보정 게인 생성부(123)를 메모리(123b) 및 연산부(123c)로 구성하는 경우에는, 메모리(123b)의 용량을 절약할 수 있다.
승산부(124)는, 전술한 바와 같이 보정 신호 생성부(121)에서 생성된 스트리킹 보정 신호 Rst''에, 보정 게인 생성부(123)에서 얻어지는 신호 레벨에 대응한 보정 게인(스트리킹 비) Gr을 승산하여, 적 보정 신호 생성 회로(111R)의 출력으로 되는 스트리킹 보정 신호 Rst를 생성한다.
도 2에 도시한 적 보정 신호 생성 회로(111R)의 동작을 설명한다.
이미지 센서(101R)의 출력 신호로서의 적 데이터 Rin은, 보정 신호 생성부(121)에 공급된다. 이 보정 신호 생성부(121)에서는, 수평 차광부(201) 및 수직 차광부(202)의 출력 신호를 이용하여, 각 라인의 스트리킹 보정 신호 Rst''가 생성된다. 이 스트리킹 보정 신호 Rst''는 승산부(124)에 공급된다.
또한, 이미지 센서(101R)의 출력 신호로서의 적 데이터 Rin은, 신호 레벨 검출부(122)에 공급된다. 신호 레벨 검출부(122)에서는, 입력되는 적 데이터 Rin의 레벨(신호 레벨 Ldet)이, 화소마다 검출된다. 신호 레벨 검출부(122)에서 검출되는 신호 레벨 Ldet는 보정 게인 생성부(123)에 공급된다. 보정 게인 생성부(123)에서는, 신호 레벨 Ldet에 대응한 보정 게인 Gr이 생성된다. 이 보정 게인 Gr은 승산부(124)에 공급된다.
승산부(124)에서는, 전술한 바와 같이 보정 신호 생성부(121)에서 생성된 스트리킹 보정 신호 Rst''에, 보정 게인 생성부(123)에서 얻어지는 신호 레벨 Ldet에 대응한 보정 게인(스트리킹 비) Gr이 승산되어, 적 보정 신호 생성 회로(111R)의 출력으로 되는 스트리킹 보정 신호 Rst가 생성된다.
도 13의 플로우차트는, 도 2에 도시한 스트리킹 보정 회로(110)에서의, 스트리킹 보정의 처리 수순을 정리하여 나타낸 것이다.
우선, 보정 회로(110)는, 스텝 ST11에 있어서, 처리를 개시하고, 그 후에 스텝 ST12 및 스텝 ST13으로 진행한다.
보정 회로(110)는, 스텝 ST12에 있어서, 이미지 센서(101R)의 수평 차광부(201)의 출력 신호를 이용하여, 수평 차광부(201)의 파형, 즉 그 수평 차광 부(201)에서의 각 라인의 신호 레벨을 구한다.
여기에서, 스텝 ST12는, 스텝 ST12a∼ST12c로 이루어져 있다. 보정 회로(110)는, 스텝 ST12a에 있어서, 라인마다, 수평 차광부(201)를 구성하는 각 화소의 값의 평균치를 구하여, 수평 방향의 랜덤 노이즈를 경감한다(차광부 파형 검출부(130)의 평균치 산출부(131)). 그리고, 보정 회로(110)는, 스텝 ST12b에 있어서, 각 라인의 화소 평균치에 대하여, 시간축 방향으로 필터링하여, 시간 방향의 랜덤 노이즈를 경감한다(차광부 파형 검출부(130)의 IIR 필터(132)). 또한, 보정 회로(110)는, 스텝 ST12c에 있어서, 각 라인의 화소 평균치에 대하여, 공간축 방향으로 필터링하여, 수직 방향의 공간적인 랜덤 노이즈를 경감하고, 또한 임펄스적인 노이즈를 제거한다(차광부 파형 검출부(130)의 ε 필터(133) 및 메디안 필터(134)).
또한, 보정 회로(110)는, 스텝 ST13에 있어서, 이미지 센서(101R)의 수직 차광부(202)의 출력 신호를 이용하여 흑 레벨을 검출한다. 스텝 ST13은, 스텝 ST13a 및 스텝 ST13b로 이루어져 있다.
보정 회로(110)는, 스텝 ST13a에 있어서, 수직 차광부(202)를 구성하는 각 화소의 값의 평균치를 구하여, 공간축 방향의 랜덤 노이즈를 경감한다(흑 레벨 검출부(140)의 평균치 산출부(141)). 그리고, 보정 회로(110)는, 스텝 ST13b에 있어서, 화소 평균치에 대하여, 시간축 방향으로 필터링하여, 시간축 방향의 랜덤 노이즈를 경감한다(흑 레벨 검출부(140)의 IIR 필터(142)).
보정 회로(110)는, 전술한 스텝 ST12의 처리 및 스텝 ST13의 처리 후, 스텝 ST14에 있어서, 스트리킹 보정 처리를 행한다. 이 스텝 ST14는, 스텝 ST14a∼ST14d로 이루어져 있다.
보정 회로(110)는, 스텝 ST14a에 있어서, 스텝 ST12에서 얻어진 수평 차광부(201)에서의 각 라인의 신호 레벨로부터, 스텝 ST13에서 얻어진 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호(각 라인의 스트리킹 성분) Rst'를 생성한다(감산부(150)).
그리고, 보정 회로(110)는, 스텝 ST14b에 있어서, 각 라인의 스트리킹 보정 신호 Rst'에 대하여 코어링 처리를 하여, 엣지 성분을 남기면서, 미소한 노이즈를 제거한, 각 라인의 최종적인 스트리킹 보정 신호 Rst''를 생성한다(코어링부(160)).
그리고, 보정 회로(110)는, 스텝 ST14c에 있어서, 신호 레벨 Ldet에 대응한 보정 게인 Gr을 발생하고(신호 레벨 검출부(122), 보정 게인 생성부(123)), 각 라인의 스트리킹 보정 신호 Rst''에 보정 게인 Gr을 승산하여, 게인 조정된 스트리킹 보정 신호 Rst를 생성한다(승산부(124)).
또한, 보정 회로(110)는, 스텝 ST14d에 있어서, 각 라인의 적 데이터 Rin으로부터, 각각 대응하는 스트리킹 보정 신호 Rst를 감산하여, 스트리킹 보정된 적 데이터 Rout를 얻는다(감산기(112)).
또한, 도 13의 플로우차트는, 적 데이터 Rin에 대한 스트리킹 보정의 처리 수순을 나타낸 것인데, 스트리킹 보정 회로(110)에 있어서는, 녹 데이터 Gin 및 청 데이터 Bin에 대해서도 마찬가지의 처리 수순으로, 스트리킹 보정이 행하여진다.
전술한 바와 같이, 도 2에 도시한 스트리킹 보정 회로(110)에 있어서는, 이미지 센서(101R, 101G, 101B)의 차광부(수평 차광부(201), 수직 차광부(202))의 출력 신호만을 이용하여 스트리킹 보정 신호 Rst, Gst, Bst가 생성되는 것이며, 이미지 센서(101R, 101G, 101B)의 수광부(203)를 차광하지 않고 스트리킹 보정 신호를 리얼타임으로 얻을 수 있어, 스트리킹의 리얼타임 보정이 가능하게 된다. 이 경우, 촬영 중에 수광부(203)를 자주 차광하는 것이 필요없어, 영상 신호의 취득 효율의 저하를 초래하는 경우는 없다.
또한, 도 2에 도시한 스트리킹 보정 회로(110)에 있어서는, 보정 신호 생성부(121)에서 생성된 스트리킹 보정 신호 Rst''에 신호 레벨 Ldet에 따른 보정 게인 Gr을 승산하여 조정된 스트리킹 보정 신호 Rst, Gst, Bst를 이용하는 것이며, 스트리킹 보정의 정밀도를 높일 수 있다.
또한, 도 2에 도시한 스트리킹 보정 회로(110)에 있어서, 보정 신호 생성부(121)는, 이미지 센서(101R, 101G, 101B)의 출력 신호의 최하위 비트(LSB) 이하로 소정수의 비트를 추가하여 처리가 행해지는 것이며, 보정 신호 생성부(121)에서는, IIR 필터 연산 등에서 발생하는 LSB 이하의 성분의 절사를 회피할 수 있어, LSB 이하의 레벨의 스트리킹 성분에 대응한 스트리킹 보정 신호 Rst''의 생성이 가능해져, 스트리킹 보정의 정밀도를 보다 높일 수 있다.
본 발명은, 스트리킹의 리얼타임 보정이 가능하게 되는 것이며, 예를 들면 CCD 이미지 센서, CMOS 이미지 센서 등을 이용하여 구성되는 촬상 장치에 적용할 수 있다.
도 1은 실시 형태로서의 촬상 장치의 구성예를 도시하는 블록도.
도 2는 스트리킹 보정 회로의 구성예를 도시하는 블록도.
도 3은 이미지 센서의 구조와 스트리킹을 나타내는 도면.
도 4는 보정 신호 생성부의 구성예를 도시하는 블록도.
도 5는 IIR 필터의 구성예를 도시하는 블록도.
도 6은 ε 필터의 동작 개요를 설명하기 위한 도면.
도 7은 ε 필터의 적용예를 도시하는 도면.
도 8은 코어링 처리부에서의 코어링 처리의 수순을 나타내는 플로우차트.
도 9는 이미지 센서의 출력 신호의 비트 구성과 보정 신호 생성부 내에서의 비트 구성을 비교하여 나타내는 도면.
도 10은 신호 레벨과 스트리킹 비(수광부에서의 스트리킹 양/HOPB에서의 스트리킹 양)의 대응 관계의 일례를 나타내는 도면.
도 11은 보정 게인 생성부의 구성예를 도시하는 블록도.
도 12는 이산적인 신호 레벨과 스트리킹 비(수광부에서의 스트리킹 양/HOPB에서의 스트리킹 양)의 대응 관계의 일례를 나타내는 도면.
도 13은 스트리킹 보정 회로에서의, 스트리킹 보정의 처리 수순을 정리하여 나타내는 플로우차트.
<도면의 주요 부분에 대한 부호의 설명>
100: 촬상 장치
101R, 101G, 101B: 이미지 센서
102R, 102G, 102B: 비디오 앰프
103R, 103G, 103B: A/D 변환기
104: 보정 회로
105: 게인 조정 회로
106: 휘도 조정 회로
107: 감마 보정 회로
108: 출력 신호 생성 회로
109: 비디오 처리부
110: 스트리킹 보정 회로
111R: 적 보정 신호 생성 회로
111G: 녹 보정 신호 생성 회로
111B: 청 보정 신호 생성 회로
112: 감산기
121: 보정 신호 생성부
122: 신호 레벨 검출부
123: 보정 게인 생성부
124: 승산부
130: 차광부 파형 검출부
131: 평균치 산출부
132: IIR 필터
133: ε 필터
134: 메디안 필터
140: 흑 레벨 검출부
141: 평균치 산출부
142: IIR 필터
150: 감산부
160: 코어링부
161: ε 필터
162: 감산기
163: 코어링 처리부
164: 가산기
201: 수평 차광부
202: 수직 차광부
203: 수광부
204: 광원
205: 스트리킹

Claims (12)

  1. 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 그 수평 차광부에서의 각 라인의 신호 레벨을 구하는 차광부 파형 검출부와,
    상기 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하는 흑 레벨 검출부와,
    상기 차광부 파형 검출부에서 구해진 수평 차광부에서의 각 라인의 신호 레벨로부터 상기 흑 레벨 검출부에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호를 구하는 감산부
    를 구비하는 것을 특징으로 하는 스트리킹 보정 신호 생성 회로.
  2. 제1항에 있어서,
    상기 감산부에서 구해진 각 라인의 스트리킹 보정 신호에 대하여 코어링 처리를 실시하는 코어링부를 더 구비하는 것을 특징으로 하는 스트리킹 보정 신호 생성 회로.
  3. 제1항에 있어서,
    상기 차광부 파형 검출부는,
    라인마다 상기 수평 차광부를 구성하는 각 화소의 값의 평균치를 구하는 평균치 산출부와,
    상기 평균치 산출부에서 구해지는 각 라인의 화소 평균치를 시간 방향으로 평균화하는 디지털 필터와,
    상기 디지털 필터로부터 출력되는 각 라인의 화소 평균치에 대하여 수직 방향으로 적용하는 ε 필터와,
    상기 ε 필터로부터 출력되는 각 라인의 화소 평균치에 대하여 수직 방향으로 적용하는 메디안 필터를 갖고,
    상기 메디안 필터로부터 상기 수평 차광부에서의 각 라인의 신호 레벨을 얻는 것을 특징으로 하는 스트리킹 보정 신호 생성 회로.
  4. 제1항에 있어서,
    상기 차광부 파형 검출부, 상기 흑 레벨 검출부 및 상기 감산부는, 상기 이미지 센서의 출력 신호의 최하위 비트 이하로 소정수의 비트를 추가하여 처리를 행하는 것을 특징으로 하는 스트리킹 보정 신호 생성 회로.
  5. 제1항에 있어서,
    상기 흑 레벨 검출부는,
    상기 수직 차광부를 구성하는 각 화소의 값의 평균치를 구하는 평균치 산출부와,
    상기 평균치 산출부에서 구해지는 화소 평균치를 시간 방향으로 평균화하는 디지털 필터를 갖고,
    상기 디지털 필터로부터 상기 흑 레벨을 얻는 것을 특징으로 하는 스트리킹 보정 신호 생성 회로.
  6. 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 그 수평 차광부에서의 각 라인의 신호 레벨을 구하는 차광부 파형 검출 스텝과,
    상기 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하는 흑 레벨 검출 스텝과,
    상기 차광부 파형 검출 스텝에서 구해진 상기 수평 차광부에서의 각 라인의 신호 레벨로부터 상기 흑 레벨 검출 스텝에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호를 구하는 감산 스텝
    을 구비하는 것을 특징으로 하는 스트리킹 보정 신호 생성 방법.
  7. 컴퓨터를,
    이미지 센서의 수평 차광부의 출력 신호를 이용하여, 그 수평 차광부에서의 각 라인의 신호 레벨을 구하는 차광부 파형 검출 수단과,
    상기 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하는 흑 레벨 검출 수단과,
    상기 차광부 파형 검출 수단에서 구해진 상기 수평 차광부에서의 각 라인의 신호 레벨로부터 상기 흑 레벨 검출 수단에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호를 구하는 감산 수단
    으로서 기능시키기 위한 프로그램.
  8. 이미지 센서의 출력 신호에 기초하여 각 라인의 스트리킹 보정 신호를 생성하는 스트리킹 보정 신호 생성부와,
    상기 이미지 센서의 각 라인 출력 신호로부터, 상기 스트리킹 보정 신호 생성 회로에서 생성된 대응하는 라인의 스트리킹 보정 신호를 감산하여, 스트리킹 보정된 출력 신호를 얻는 감산기를 구비하고,
    상기 스트리킹 보정 신호 생성부는,
    상기 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 그 수평 차광부에서의 각 라인의 신호 레벨을 구하는 차광부 파형 검출 수단과,
    상기 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하는 흑 레벨 검출 수단과,
    상기 차광부 파형 검출 수단에서 구해진 수평 차광부에서의 각 라인의 신호 레벨로부터 상기 흑 레벨 검출 수단에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호를 구하는 감산 수단
    을 갖는 것을 특징으로 하는 스트리킹 보정 회로.
  9. 제8항에 있어서,
    상기 이미지 센서의 출력 신호의 신호 레벨에 대하여 보정 게인을 발생하는 보정 게인 발생부와,
    상기 스트리킹 보정 신호 생성부에서 생성된 스트리킹 보정 신호에 상기 보정 게인 발생부에서 발생되는 보정 게인을 승산하는 승산부를 더 구비하고,
    상기 감산기는, 상기 이미지 센서의 출력 신호로부터, 상기 승산부에 의해 상기 보정 게인이 승산된 상기 스트리킹 보정 신호를 감산하는 것을 특징으로 하는 스트리킹 보정 회로.
  10. 제9항에 있어서,
    상기 보정 게인 발생부는,
    상기 이미지 센서의 출력 신호의 레벨을 검출하는 신호 레벨 검출부와,
    상기 신호 레벨 검출부의 검출 레벨에 대응한 보정 게인을 출력하는 메모리
    를 갖는 것을 특징으로 하는 스트리킹 보정 회로.
  11. 제9항에 있어서,
    상기 보정 게인 발생부는,
    상기 이미지 센서의 출력 신호의 레벨을 검출하는 신호 레벨 검출부와,
    상기 신호 레벨 검출부의 검출 레벨을 포함하는 레벨 범위의 양단의 보정 게인을 출력하는 메모리와,
    상기 신호 레벨 검출부의 검출 레벨 및 상기 메모리로부터 출력되는 양단의 보정 게인에 기초하여, 상기 신호 레벨 검출부의 검출 레벨에 대응한 보정 게인을 구하는 연산부
    를 갖는 것을 특징으로 하는 스트리킹 보정 회로.
  12. 수평 차광부 및 수직 차광부를 갖는 이미지 센서와,
    상기 이미지 센서의 출력 신호에 기초하여, 각 라인의 스트리킹 보정 신호를 생성하는 스트리킹 보정 신호 생성 회로와,
    상기 이미지 센서의 각 라인 출력 신호로부터, 상기 스트리킹 보정 신호 생성 회로에서 생성된 대응하는 라인의 스트리킹 보정 신호를 감산하여, 스트리킹 보정된 출력 신호를 얻는 감산기를 구비하는 촬상 장치에서,
    상기 스트리킹 보정 신호 생성 회로는,
    상기 이미지 센서의 수평 차광부의 출력 신호를 이용하여, 그 수평 차광부에서의 각 라인의 신호 레벨을 구하는 차광부 파형 검출부와,
    상기 이미지 센서의 수직 차광부의 출력 신호를 이용하여 흑 레벨을 검출하는 흑 레벨 검출부와,
    상기 차광부 파형 검출부에서 구해진 상기 수평 차광부에서의 각 라인의 신호 레벨로부터 상기 흑 레벨 검출부에서 검출된 흑 레벨을 감산하여, 각 라인의 스트리킹 보정 신호를 구하는 감산부
    를 갖는 것을 특징으로 하는 촬상 장치.
KR1020080025282A 2007-03-20 2008-03-19 스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치 KR20080085753A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-00071699 2007-03-20
JP2007071699A JP4329833B2 (ja) 2007-03-20 2007-03-20 ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置

Publications (1)

Publication Number Publication Date
KR20080085753A true KR20080085753A (ko) 2008-09-24

Family

ID=39591003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080025282A KR20080085753A (ko) 2007-03-20 2008-03-19 스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치

Country Status (5)

Country Link
US (1) US7982785B2 (ko)
EP (1) EP1973337B1 (ko)
JP (1) JP4329833B2 (ko)
KR (1) KR20080085753A (ko)
CN (1) CN101272453B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106853B2 (en) 2013-10-22 2015-08-11 Kabushiki Kaisha Toshiba Solid-state imaging device

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5254830B2 (ja) * 2009-02-03 2013-08-07 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5589284B2 (ja) * 2009-02-19 2014-09-17 株式会社ニコン 撮像装置及び補正量算出プログラム
TWI449412B (zh) * 2009-05-27 2014-08-11 Altek Corp 影像資料補正方法
JP2011019135A (ja) * 2009-07-09 2011-01-27 Sony Corp 画像受信装置、画像受信方法および画像送信装置
JP5322816B2 (ja) * 2009-07-15 2013-10-23 キヤノン株式会社 撮像装置およびその制御方法
US20110069204A1 (en) * 2009-09-23 2011-03-24 Zoran Corporation Method and apparatus for image correction
JP5632703B2 (ja) 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5631153B2 (ja) * 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5746521B2 (ja) 2011-03-02 2015-07-08 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP5871496B2 (ja) * 2011-06-24 2016-03-01 キヤノン株式会社 撮像装置及びその駆動方法
CN102752607B (zh) * 2011-11-30 2016-06-22 新奥特（北京）视频技术有限公司 一种实现图像移动时拖尾特效的方法和装置
JP2015032842A (ja) * 2013-07-31 2015-02-16 ソニー株式会社 固体撮像素子、撮像装置、および補正方法
JP6319140B2 (ja) * 2015-03-03 2018-05-09 株式会社Ｊｖｃケンウッド 画像処理装置
CN107669289B (zh) * 2017-11-07 2020-09-11 上海联影医疗科技有限公司 焦点拖尾校正装置、方法、成像方法及计算机可读媒质
JP2019197980A (ja) * 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器および駆動方法
JP2020017910A (ja) 2018-07-27 2020-01-30 ソニーセミコンダクタソリューションズ株式会社 ストリーキング補正回路、撮像装置、及び、電子機器
CN111713097A (zh) * 2019-04-22 2020-09-25 深圳市大疆创新科技有限公司 图像数据处理方法、传输方法、传输装置及数据接口转换装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767038A (ja) 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
JP3808349B2 (ja) 2001-01-12 2006-08-09 三菱電機株式会社 黒レベル補正装置
US7218351B2 (en) * 2002-04-05 2007-05-15 Victor Company Of Japan, Limited Image-sensing apparatus for compensating video signal of a plurality of channels
JP4328115B2 (ja) 2003-03-24 2009-09-09 パナソニック株式会社 固体撮像装置
JP4341297B2 (ja) * 2003-05-23 2009-10-07 株式会社ニコン 信号処理装置、および電子カメラ
JP4367910B2 (ja) * 2003-10-02 2009-11-18 キヤノン株式会社 固体撮像装置
JP2005130331A (ja) 2003-10-27 2005-05-19 Victor Co Of Japan Ltd 撮像信号補正回路
JP4529563B2 (ja) 2004-07-06 2010-08-25 ソニー株式会社 偽信号抑制処理方法および偽信号抑制処理回路並びに撮像装置
JP2006025148A (ja) * 2004-07-07 2006-01-26 Sony Corp 信号処理装置及び方法
JP4363308B2 (ja) * 2004-11-02 2009-11-11 ソニー株式会社 固体撮像素子の信号処理装置及び方法並びに撮像装置
JP4625685B2 (ja) * 2004-11-26 2011-02-02 株式会社東芝 固体撮像装置
JP4742652B2 (ja) * 2005-04-14 2011-08-10 富士フイルム株式会社 撮像装置
JP4742359B2 (ja) * 2005-05-19 2011-08-10 カシオ計算機株式会社 動画撮像装置及びそのプログラム
JP2007013292A (ja) * 2005-06-28 2007-01-18 Olympus Corp 撮像装置
WO2007020930A1 (ja) 2005-08-15 2007-02-22 Sony Corporation 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP2007053691A (ja) 2005-08-19 2007-03-01 Micron Technol Inc サブｌｓｂを用いた拡張デジタルデータ路構造

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106853B2 (en) 2013-10-22 2015-08-11 Kabushiki Kaisha Toshiba Solid-state imaging device

Also Published As

Publication number Publication date
JP4329833B2 (ja) 2009-09-09
EP1973337A3 (en) 2010-03-31
CN101272453A (zh) 2008-09-24
JP2008236271A (ja) 2008-10-02
CN101272453B (zh) 2011-07-06
US20080231732A1 (en) 2008-09-25
EP1973337B1 (en) 2012-02-22
US7982785B2 (en) 2011-07-19
EP1973337A2 (en) 2008-09-24

Similar Documents

Publication Publication Date Title
KR20080085753A (ko) 스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치
US8233737B2 (en) Noise correction circuit, imaging apparatus, and noise correction method adding random number after noise removal
KR100825076B1 (ko) 촬상장치 및 그 잡음저감방법
JP4960309B2 (ja) 固体撮像装置
JP5060447B2 (ja) ノイズキャンセル処理回路および固体撮像装置
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
JP2007088873A (ja) 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP5743918B2 (ja) 画像処理装置
JP4268643B2 (ja) 撮像装置およびその雑音低減方法
JP4224996B2 (ja) 撮像装置
JP5411322B2 (ja) 撮像装置および撮像方法
US8564694B2 (en) Image pickup device and noise reduction method thereof
JP5282306B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
JP4642036B2 (ja) 撮像装置およびその雑音低減方法
JP2006238135A (ja) 画像処理装置及び画像処理プログラム
JP2009164839A (ja) 撮像装置及び信号処理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid