KR101292458B1 - 모자이크 도메인에서의 이미지 개선 - Google Patents

모자이크 도메인에서의 이미지 개선 Download PDF

Info

Publication number
KR101292458B1
KR101292458B1 KR1020087013853A KR20087013853A KR101292458B1 KR 101292458 B1 KR101292458 B1 KR 101292458B1 KR 1020087013853 A KR1020087013853 A KR 1020087013853A KR 20087013853 A KR20087013853 A KR 20087013853A KR 101292458 B1 KR101292458 B1 KR 101292458B1
Authority
KR
South Korea
Prior art keywords
image
input
sub
images
pixel
Prior art date
Application number
KR1020087013853A
Other languages
English (en)
Other versions
KR20080075515A (ko
Inventor
아나톨리 리트비노브
알렉스 아론
이리나 아론
에이나트 키드론
우리 킨로트
Original Assignee
테세라 인터내셔널, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테세라 인터내셔널, 인크 filed Critical 테세라 인터내셔널, 인크
Publication of KR20080075515A publication Critical patent/KR20080075515A/ko
Application granted granted Critical
Publication of KR101292458B1 publication Critical patent/KR101292458B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

이미지 장치는 모자이크 이미지 센서(24)를 포함하고 있는데, 이것은 복수의 입력 서브-이미지에 속하는 입력 픽셀 값의 스트림을 발생시키도록 구성되어 있고, 각각의 서브-이미지는 모자이크 이미지 센서에 입사되는 다른, 각각의 칼라의 광에 응답한다. 이미지 복원 회로(26)는 입력 서브-이미지의 각각에서 입력 픽셀 값을 수신하고 그리고 디지털식으로 필터링하도록 연결되어 대응하는 복수의 개선된 출력 서브-이미지를 발생시킨다. 이미지 신호 프로세서(ISP)(28)는 칼라 비디오 출력 이미지를 발생하기 위해, 복수의 출력 서브-이미지를 수신하고 결합하도록 연결되어 있다.
Figure R1020087013853
이미징 장치, 모자이크 이미지 센서, 입력 서브-이미지, 입력 픽셀 값, 출력 서브-이미지, 이미지 복원 회로,, 이미지 신호 프로세서

Description

모자이크 도메인에서의 이미지 개선{IMAGE ENHANCEMENT IN THE MOSAIC DOMAIN}
본 발명은 디지털 이미징에 관한 것이고, 더욱 상세히는 디지털 카메라에서 이미지 품질을 개선하기 위한 방법 및 디바이스에 관한 것이다.
디지털 카메라에 사용되는 대물 광학은 사이즈, 가격, 구경 사이즈의 한계 그리고 카메라 제조업자에 의해 부과되는 다른 요소들에 의존하여, 광학 점 확산 함수(PSF)을 최소화하고 그리고 변조 전달 함수(MTF)을 최대화하도록 전형적으로 설계된다. 결과적인 광학 시스템의 PSF는 초점 변화와 수차로 인해 이상적인 것으로부터 변할 수 있다. 디지털 이미지 프로세싱에 의해 이러한 PSF 편차를 보상하기 위한 방법이 종래 다수 알려져 있다. 예를 들면, 미국특허 6,154,574호는 이미지 프로세싱 시스템에서 초점을 벗어난 이미지를 디지털적으로 초점 맞추는 방법을 개시하고 있다. 평균 스텝(mean step) 반응은 초점이 맞지않는 이미지를 서브-이미지로 나누므로서 얻어지고, 그리고 계산 스텝은 각각의 서브-이미지에서 에지 방향에 대하여 반응한다. 평균 스텝 반응은 PSF 계수를 계산하는데 사용되는데, 이것은 차례로 이미지 회복 전달 함수를 결정하는데 적용된다. 초점이 맞는 이미지는 주파수 도메인에서 이 함수에 초점이 맞지않는 이미지를 곱하므로서 얻어진다.
PCT 국제공개 WO 2004/063989 A2는 이미지 감지 어레이와 이미지 프로세서를 포함하고 있는 전자 이미징 카메라를 개시하고 있는데, 이 프로세서는 블러(blur)가 감소된 출력 이미지를 발생하기 위해 전형적으로 디컨볼루션(deconvolution) 필터(DCF)의 형태로 어레이에 의해 신호 출력에 디블러링(deblurring) 함수를 적용한다. 이렇게 블러가 감소되면, 불량한 고유의 PSF를 가진 한편, 어레이를 감지하므로서 발생된 전자 이미지를 회복하여 양호한 출력 이미지를 낼 수 있는 카메라 광학의 설계와 사용을 가능하게 한다.
저렴한 칼라 비디오 카메라는 전형적으로 멀티-칼라 모자이크 필터 오버레이를 가진 싱글 솔리드-스테이트 이미지 센서를 사용한다. 모자이크 필터는 필터 소자가 이미지 센서의 각각의 디텍터 소자의 전방에 위치하는 미니어쳐 칼라 필터 소자의 마스크이다. 예를 들면, 미국특허 4,697,208은 솔리드-스테이트 이미지 센싱 소자와 상보(complementary) 칼라 타입 모자이크 필터를 가진 칼라 이미지 픽업 디바이스를 개시하고 있다. 모자이크로 칼라의 선택과 배열에 관계없이, 칼라 모자이크 필터를 가진 임의의 종류의 이미지 센서는 이하 "모자이크 이미지 센서"라 한다.
모자이크 필터에서 필터 소자는 일반적으로 주요 RGB 칼라 사이에서, 또는 상보 칼라 청록색, 자홍색 및 황색 사이에서 번갈아 나타난다. 칼라 모자이크 필터의 하나의 공통 타입은 "바이어(Bayer) 센서" 또는 "바이어 모자이크"라 부르는데, 이것은 다음과 같은 일반적인 형태를 가진다(R은 적색, G는 녹색 그리고 B는 청색의 칼라를 나타난다).
Figure 112008040994480-pct00001
다른 칼라 필터는 각각의 통과대역을 가지는데, 이것은 겹쳐질 수 있다. 바이어 모자이크는 미국특허 3,971,065호에 개시되어 있다.
모자이크 이미지 센서에 의해 산출된 이미지를 프로세싱하는 것은 전형적으로 센서 출력으로부터 3개의 칼라 신호(적색, 녹색 그리고 청색)를 추출하므로서 풀 칼라 이미지를 재구성하는 것을 포함한다. 이미지 신호 프로세서(ISP)는 출력 이미지의 각각의 픽셀을 위하여 휘도(Y)와 색차(C) 값을 계산하기 위해서 이미지 센서 출력을 처리한다. 그리고 ISP는 표준 비디오 포맷으로 이들 값(또는 대응하는 R,G 및 B 칼라 값)을 출력한다.
본 발명의 실시예는 전자 이미지의 프로세싱과 개선을 위한 방법 및 디바이스를 제공하고, 더욱 상세히는 모자이크 이미지 센서에 의해 산출되는 이미지에 관한 것이다. 센서는 복수의 입력 서브-이미지에 속하는 픽셀 값의 스트림을 출력하는데, 그 각각의 서브-이미지는 모자이크 이미지 센서에 입사하는 다른, 각각의 칼라의 광으로 인한 것이다. 이미지 복원 회로는 감소된 블러(blur)와 같은, 개선된 품질로 대응하는 출력 서브-이미지를 발생하도록 입력 서브-이미지의 각각에서 픽셀 값을 필터링한다. 그리고 이미지 신호 프로세서(ISP)는 칼라 비디오 출력 이미지를 발생하도록 출력 서브-이미지를 결합한다.
이러한 장치는 모자이크 서브-이미지가 디블러링(deblurring) 전에 칼라 출력 이미지를 재현하기 위해서 먼저 결합되는 종래의 방법과 비교하여 더욱 우수한 결과를 나타낸다는 것을 알았다. 더욱이, 일부의 실시예에서, 이미지 복원 회로에 의해 산출된 출력 서브-이미지는 모자이크 이미지 센서에 의해 산출된 입력 서브-이미지와 포맷에서 동일하여, 이미지 복원 회로는 센서 또는 ISP 설계에 변화가 없이, 센서와 ISP 사이에서 기존의 센서/ISP 결합과 통합될 수 있다.
그러므로, 본 발명의 실시예에 따라서, 이미징 장치는:
모자이크 이미지 센서에 입사하는 다른, 각각의 칼라의 광에 각각 응답하는 복수의 입력 서브-이미지에 속하는 입력 픽셀 값의 스트림을 발생하도록 구성된 모자이크 이미지 센서;
대응하는 복수의 개선된 출력 서브-이미지를 발생하도록 입력 서브-이미지의 각각에 입력 픽셀 값을 수신하고 그리고 디지털식으로 필터링하기 위해 연결된 이미지 복원 회로; 그리고
칼라 비디오 출력 이미지를 발생하도록 복수의 출력 서브-이미지를 수신하고 결합하기 위해 연결된 이미지 신호 프로세서(ISP);를 포함하고 있다.
개시된 실시예에서, 입력 서브-이미지와 출력 서브-이미지는 동일한 포맷을 가지고 있어서, ISP는 출력 서브-이미지 또는 입력 서브-이미지를 수신하고 결합하도록 연결될 수 있다. 전형적으로, 복수의 입력 서브-이미지에서 입력 픽셀 값은 모자이크 이미지 센서에 의해 출력되는 싱글 입력 픽셀 스트림에서 소정의 인터리빙(interleaving) 패턴으로 인터리빙되고, 그리고 출력 서브-이미지는 출력 픽셀 값을 포함하는데, 이것은 소정의 인터리빙 패턴에 따라서 출력 픽셀 스트림으로 이미지 복원 회로에 의해 인터리빙되어 있다.
일부의 실시예에서, 각각의 서브-이미지는 입력 블러를 가지고 있으며, 그리고 출력 서브-이미지는 이미지 복원 회로에 의한 필터링 후에, 입력 블러보다 더 작은 출력 블러를 가지고 있다. 하나의 실시예에서, 본 장치는 대물 광학을 포함하고 있는데, 이것은 입력 블러를 초래하는 점 확산 함수(PSF)를 가지고 있고, 그리고 이미지 복원 회로는 PSF에 따라서 결정된 필터 커널을 가진 디컨볼루션 필터(DCF)를 포함하고 있다. PSF는 이미지 센서의 평면상에서 변할 수 있고, 그리고 이미지 복원 회로는 다른 필터 커널을 이미지 센서의 평면상에서 PSF의 변화에 응답하여 이미지 센서의 다른 영역으로부터 입력 픽셀 값에 적용하도록 배열될 수 있다. 추가로 또는 대안으로, 이미지 복원 회로는 입력 서브-이미지의 특성에 따라서 입력 픽셀 값에 다른 필터 커널을 적용하도록 배열될 수 있다.
일부의 실시예에서, 모자이크 이미지 센서는 바이어(Bayer) 모자이크 패턴으로 배열되어 있는 필터 어레이를 포함하고 있다. 하나의 실시예에서, 입력 픽셀 값은 녹색과 청색 픽셀이 번갈아 일어나는 제 1 열과 녹색과 적색 픽셀이 번갈아 일어나는 제 2 열을 포함하고 있고, 그리고 이미지 복원 회로는 제 1 및 제 2 열 사이에서 녹색 픽셀의 감도의 편차를 보상하기 위해 연결된 녹색 밸런스 유닛을 포함하고 있다. 감도의 편차는 이미지 센서의 영역 상에서 균일하지 않으며, 그리고 녹색 밸런스 유닛은 감도에서 비균일 편차에 응답하여 비균일 보상을 적용하도록 배열되어 있다.
개시된 실시예에서, 모자이크 이미지 센서상에 소정의 블러로 광을 초점맞추도록 구성된 대물 광학을 포함하고 있고, 이미지 복원 회로는 불완전한 픽셀의 입력 픽셀 값을 보정하기 위해, 그리고 블러에 따라서 결정되는 최대 차이 이상 만큼 각각의 입력 서브-이미지 내에서 이웃 픽셀의 입력 픽셀 값과 다른 입력 픽셀 값을 가진 불완전 픽셀을 확인하는 스파이크 제거 유닛을 포함하고 있다.
일부의 실시예에서, 이미지 복원 회로는 서브-이미지에서 노이즈를 감소시키기 위해서 각각의 입력 서브-이미지를 디지털식으로 필터링하도록 배열된 노이즈 필터를 포함하고 있다. 하나의 실시예에서, 노이즈 필터는 입력 서브-이미지에서 로컬 기울기의 방향과 크기를 결정하기 위해서, 그리고 그 방향과 기울기에 응답하여 노이즈를 감소시키는 적용을 위한 필터 커널을 선택하기 위해서 배열되어 있다.
추가적으로 또는 대안으로서, 이미지 복원 회로는 노이즈 필터에 의한 노이즈의 감소후에 입력 서브-이미지를 필터링하도록 배열된 디컨벌루션 필터(DCF)를 포함하고 있다. 하나의 실시예에서, 이미지 복원 회로는 DCF가 에지 영역에서 필터링된 노이즈없이 입력 픽셀 값을 수신하고 그리고 에지 영역 외부에서 필터링된 노이즈로부터 노이즈 감소된 입력 픽셀 값을 수신하도록 입력 이미지에서 에지 영역을 확인하고, 그리고 DCF로의 입력을 제어하도록 배열된 에지 디텍터를 포함하고 있다. 에지 디텍터는 에지 픽셀을 검출하도록 배열되어 있고, 그리고 이미지 복원 회로는 에지 픽셀 주위로 에지 영역으로 픽셀을 추가하므로서 에지 영역을 넓히도록 배열된 확장 유닛을 포함할 수 있다. 전형적으로, 확장 유닛은 제 1 서브-이미지에서 에지 픽셀의 확인을 에지 디텍터로부터 수신하고, 그리고 적어도 제 2 서브-이미지에서 에지 픽셀의 이웃의 픽셀을 에지 영역에 추가하도록 배열되어 있다.
개시된 실시예에서, 이미지 복원 회로는 주어진 사이즈의 커널로 입력 서브-이미지를 감도록 배열된 디지털 필터, 그리고 필터 커널의 사이즈에 응답하여 선택된 폭을 가진, 입력 서브-이미지 주위의 픽셀 값의 마진을 추가하도록 배열된 프래밍 연장 유닛을 포함하고 있다.
일부의 실시예에서는, 복수의 입력 서브-이미지에서 입력 픽셀 값은 모자이크 이미지 센서에 의해 출력되는 싱글 입력 픽셀 스트림에서 소정의 인터리빙 패턴으로 인터리빙되어 있고, 그리고 이미지 복원 회로는 각각의 커널로 입력 서브-이미지의 각각을 감도록 배열되어 있는 디지털 필터를 포함하고 있고, 이 커널은 다른 서브-이미지로부터 개별적으로 각각의 서브-이미지를 필터링하도록 인터리빙 패턴에 응답하여, 마스킹되어 있다.
본 발명의 실시예에 따라서, 이미징 방법은,
모자이크 이미지 센서에 입사하는 다른, 각각의 칼라의 광에 각각 응답하는 복수의 입력 서브-이미지에 속하는 입력 픽셀 값의 스트림을 모자이크 이미지 센서로부터 수신하는 단계;
대응하는 복수의 개선된 출력 서브-이미지를 발생하도록 입력 서브-이미지의 각각에 입력 픽셀 값을 디지털식으로 필터링하는 단계; 그리고
칼라 비디오 출력 이미지를 발생하도록 출력 서브-이미지를 이미지 신호 프로세서(ISP)에 결합하는 단계;를 포함하고 있다.
본 발명은 첨부 도면을 참조하여 실시예의 상세한 설명으로부터 더 잘 이해될 것이다.
도 1은 본 발명의 실시예에 따라서, 전자 이미징 카메라를 도식적으로 예시하는 블록 다이어그램;
도 2는 본 발명의 실시예에 따라서, 이미지 복원 회로의 상세를 도식적으로 도시하는 블록 다이어그램;
도 3은 본 발명의 실시예에 따라서, 이미지 복원 회로에 사용되는 이미지 프래밍 기술을 예시하는 입력 버퍼의 일부분의 구성을 도시하는 도식적인 상세도;
도 4는 본 발명의 실시예에 따라서, 이미지 복원 회로에서 스파크 제거를 위해 사용되는 마스크의 도식적인 예시도;
도 5는 본 발명의 실시예에 따라서, 이미지 복원 회로에서 에지 개선을 위해 사용되는 마스크의 도식적인 예시도;
도 6은 본 발명의 실시예에 따라서, 노이즈 필터링 방법을 도식적으로 예시하는 챠트;
도 7은 본 발명의 실시예에 따라서, 복원되고 있는 이미지의 다른 부분들에 적용되는 한 세트의 디컨벌루션 필터의 도식적인 예시도; 그리고
도 8A 및 도 8B는 본 발명의 실시예에 따라서, 모자이크 이미지 센서에 의해 서브-이미지 출력에 적용되는 디컨벌루션 커닐 마스크의 도식적인 예시도이다.
개 요
도 1은 본 발명의 실시예에 따라서, 전자 이미징 카메라(20)를 도식적으로 예시하는 블록 다이어그램이다. 본 발명의 원리를 명확히 하고 구체화하기 위해서, 이러한 특정의, 단순화된 카메라 설계가 실시예로서 도시되어 있다. 하지만, 이들 원리는 본 설계에 한정되는 것이 아니고, 센서가 다른 칼라의 멀티플 서브-이미지를 산출하고, 그리고 개선된 칼라 출력 이미지를 산출하도록 결합되는 다른 타입의 이미징 시스템에서 이미지의 블러를 감소시키는데 적용될 수 있다.
카메라(20)에서, 대물 광학(22)은 장면으로부터의 광을 모자이크 이미지 센서(24) 상에 초점을 맞춘다. CCD 또는 CMOS 이미지 센서와 같은, 임의의 적절한 타입의 이미지 센서는 카메라에 사용될 수 있다. 이어지는 설명에서와 마찬가지로, 본 실시예에서, 센서는 바이어-타입 모자이크 필터를 가진 것으로 간주되어, 센서로부터 출력된 이미지 센서에서 각각의 픽셀(32)은 적색, 녹색 또는 청색 광에 반응한다. 그러므로, 모자이크 센서 출력은 대응하는 센서 소자의 픽셀 값으로 만들어진, 적색, 녹색 및 청색 광을 포함하는 것으로 볼 수 있다. 다른 서브-이미지에 속하는 픽셀 값은 전형적으로 모자이크 필터에서 칼라 소자의 순서에 따라서 출력 신호에 인터리빙되는데, 즉, 센서는 RGRGRG...(적색 및 녹색 필터를 교대하는)의 열을 출력하고, 뒤이어 GBGBGB...(녹색 및 청색을 교대하는)의 열 등이 교대 라인에 이어진다. 대안으로서, 여기에 설명된 방법 및 회로는 필요에 따라 변경하여, 다른 타입의 모자이크 센서 패턴으로 사용될 수 있다.
이미지 센서(24)에 의해 출력되는 픽셀 값의 스트림은 디지털 복원 회로(26)에 의해 수신되고 처리된다. 이러한 회로는 이어지는 도면을 참조하여 상세히 설명된다. 픽셀 값은 아날로그/디지털 컨버터(도시 생략)에 의해서 회로(26)에 의해 처리되기 전에 디지털화되는데, 이 컨버터는 센서(24) 또는 회로(26)에 통합될 수 있고, 또는 개별적인 요소로 될 수 있다. 어째든, 회로(26)는 이하 설명하는 바와 같이, 이미지 블러를 감소시키기 위해서 센서(24)에 의해 산출되는 적색, 녹색 및 청색 입력 서브-이미지를 처리한다. 그리고 회로(26)는 블러가 감소된 적색, 녹색 및 청색 서브-이미지를 출력한다.
전형적으로, 회로(26)는 센서(24)로부터 서브-이미지를 수신하는 동일한 포맷으로 서브-이미지를 출력한다. 예를 들면, 회로(26)는 싱글 출력 스트림을 발생시키도록 출력 서브-이미지에서 픽셀 값을 인터리빙할 수 있는데, 픽셀 값은 센서(24)로부터의 입력 픽셀 값과 동일한 인터리빙을 가지고 있다. 대안으로서, 회로(26)는 디멀티플렉스되도록 구성될 수 있고 그리고 각각의 서브-이미지를 개별적인 데이터 블록 또는 데이터 스트림으로서 출력할 수 있다.
ISP(28)는 복원 회로(26)ㄹ로부터 디블러링된 적색, 녹색 및 청색 출력 서브-이미지를 수신하고 그리고 서브-이미지를 결합하여 표준 비디오 포맷으로 칼라 비디오 출력 이미지(또는 이미지 시컨스)를 발생한다. 이러한 출력 이미지는 비디오 스크린(30)에 디스플레이될 수 있고, 또한 통신 링크상에 전달하고 및/또는 메모리에 저장될 수 있다. 회로(26)가 센서(24)로부터 서브-이미지를 수신하는 동일한 포맷으로 서브-이미지를 출력하는 실시예에서, ISP(28)는 회로(26)의 출력으로 처 리하거나 또는 센서(24)의 출력을 직접 처리하는 호환성있게 사용될 수 있다. 복원 회로(26)의 이러한 특징은 유리한데, 특히 복원 회로가 센서 또는 ISP를 변경시키지않고 기존의 센서 및 ISP와 함께 사용될 수 있다는 것이다. 또한, 센서와 ISP 사이에서 바이패스 링크(도시 생략)를 활성 또는 비활성시키므로서 회로(26)의 복원 기능을 간단하게 스위치 온 오프 시킬 수 있다.
ISP(28)에 의해 발생된 칼라 비디오 출력 이미지는 이미지에서 각각의 픽셀을 위한 칼라 정보와 휘도 양자를 전형적으로 포함하고 있다. 이러한 정보는 휘도와 색차(예를 들면, Y/C, 또는 칼라 코디네이트)에 관하여 또는 개별적인 칼라 값(RGB와 같은)에 관하여 인코딩될 수 있다. 하지만, 복원 회로(26)에 의해 처리되고 출력되는 서브-이미지는 그들이 나타내는 특정 칼라에 대해서만 밝기 정보를 담고있는 단색 이미지이다. 각각의 서브-이미지는 칼라 비디오 출력 이미지에서 나타날 픽셀의 서브세트만을 담고 있는데, 예를 들면 이들 픽셀은 대응하는 칼라 필터에 의해서 커버되는 이미지 센서의 소자에 의해서 산출된다. 다시 말해서, 도 1에 도시된 바이어 매트릭스의 예에서, R 및 B 서브-이미지는 출력 이미지에서 각각 픽셀의 4분의 1을 포함하고 있는 한편, G 서브-이미지는 나머지 반을 포함하고 있다.
전형적으로, 복원 회로(26) 및 ISP(28)는 하나 이상의 집적회로 칩에 편성되어 있는데, 이것은 주문 또는 반-주문 구성품으로 이루어져 있다. 복원 회로(26)와 ISP(28)가 도 1에서 분리된 기능 블록으로 도시되어 있지만, 복원 회로와 ISP의 기능은 싱글 집적회로 구성품으로 실행될 수 있다. 선택적으로, 이미지 센서(24) 는 회로(26)와 결합될 수 있고 그리고 시스템-온-칩(SoC) 또는 카메라-온-칩 설계에서 동일한 반도체 기판에 ISP(28)와 결합되는 것이 가능하다. 대안으로서, 복원 회로(26)와 ISP(28)의 모든 또는 일부의 기능은 디지털 신호 프로세서와 같은, 프로그램가능한 프로세서에서 소프트웨어로 실행될 수 있다. 이러한 소프트웨어는 전자 형태로 프로세서에 다운로드될 수 있고, 또는 대안으로서, 광학, 자기 또는 전자 메모리 미디어와 같은 유형의 미디어에 구비될 수 있다.
도 2는 본 발명의 실시예에 따라서, 복원 회로(26)의 기능적인 구성을 도식적으로 도시하는 블록 다이어그램이다. 전형적으로, 이들 기능 구성은 싱글 주문 또는 반-주문 집적회로 디바이스에 함께 편성되어 있다. 대안으로서, 도 2에 도시된 기능은 다수의 구성으로 나누어질 수 있는데, 이것은 하드웨어 또는 소프트웨어로 기능를 수행할 수 있다. 도 2에 도시된 예시적인 실시예에서, 회로(26)는 ISP(28)에 의해 싱글 칼라 출력 이미지 내로 결합되기 전에 서브-이미지의 블러를 감소시키기 위해 디컨벌루션 필터링함으로서 이미지 복원을 수행한다. 서브-이미지에서 회로(26)에 의해 수행된 다른 이미지 복원 기능은 스파이크 제거와 노이즈 필터링을 포함한다. 대안으로서 또는 추가적으로, 회로(26)는 이들 복원 기능의 단지 하나 또는 2개를 수행하도록, 또는 모자이크 서브-이미지의 스페이스에서 추가적인 디지털 필터링 기능을 수행하도록 구성될 수 있다.
녹색 밸런스 유닛(40)은 가능한 진폭 변화를 위해서 녹색-적색(Gr) 및 녹색-청색(Gb) 픽셀 값을 균형맞춘다. Gr 및 Gb는 RGRGRG...열 그리고 GBGBGB...열에서 각각 발생하는 녹색 픽셀이라 한다. 유닛(40)의 작용의 상세한 것은 아래 "녹색 밸런스"라는 제목의 섹션에서 설명한다.
녹색-밸런스 이미지 데이터는 입력 블러 바이어(IBB) 버퍼(42)에서 유지되어 있다. 플레이밍 확장 유닛(44)은 더미 픽셀의 오와 열을 버퍼에 추가하여 실제 이미지의 가장자리에서 픽셀의 정확한 처리를 보장한다. 버퍼(42)의 조직과 컨텐츠그리고 유닛(44)의 작용은 도 3을 참조하여 이하 설명된다.
스파이크 제거 유닛(46)은 이들 픽셀로부터 처리된 이미지 내로 노이즈의 전파를 방지하기 위해서, 불완전한 픽셀의 값을 확인하고 수정한다. 스파이크 제거 작용은 도 4를 참조하여 아래에서 설명된다.
에지 검출 유닛(48)은 적응 임계 값(50)을 근거로, 각각의 서브-이미지에서 에지 픽셀의 위치를 결정한다. 그리고, 확장 유닛(52)은 형태학적 작용을 적용하여 에지 영역을 담고 있는 출력 에지 마스크(OEM)를 발생시킨다. 예를 들면, 마스크는 에지 영역의 픽셀에서 "1"의 값을 가지고 있고 그리고 나머지에서는 "0"을 가질 수 있다. 회로(26)는 에지 정보의 손실을 피하기 위해서 이들 에지 영역에서 노이즈 억제를 적용하는 것을 피한다. 이들 에지 확인 기능은 도 5를 참조하여 아래에서 설명된다.
유사-다이나믹 노이즈 필터(54)가 각각의 서브-이미지에서 노이즈를 감소시키기 위해서 적용되어, IBB 수정된(IBBM) 픽셀 값을 발생시킨다. 필터(54)의 작용은 도 6을 참조하여 아래에서 설명된다. 그리고 셀렉터(56)는 유닛(52)에 의해 제공된 OEM의 대응하는 값을 근거로 디컨벌루션 필터(60)를 통과하는 각각의 픽셀의 적절한 값을 선택한다. 셀렉터는 에지 영역에서, IBB 버퍼(42)로부터 직접 취한, 픽셀의 수정되지않은 IBB 오리지널(IBBO) 값과 논-에지 픽셀의 IBBM 값을 선택한다. IBBO 값은 IBBO 및 IBBM 픽셀 스트림의 적절한 동기화를 유지하기 위해서 딜레이 라인(58)에 의해서 딜레이된다.
디컨벌루션 필터(DCF)(60)는 각각의 서브-이미지를 개별적으로 디블러링하는 작업을 수행한다. 필터(60)는 전형적으로 광학의 수차의 효과를 "취소"하기 위해서, 광학(22)의 점 확산 함수(PSF)에 대략 반비례하는 커널을 사용한다. 이러한 종류의 디컨벌루션 커널을 계산하기 위한 방법은 예를 들면, 상기한 WO 2004/063989 A2, 그리고 본 발명의 출원인에게 양도된 미국 특허출원 11/278,255호에 설명되어 있다. 대안으로서, 디블러링을 위한 것인지 또는 종래에 알려진 다른 이미지 처리 기능을 위한 것인지에 따라, 다른 종류의 필터 커널이 필터(60)에 의해 적용될 수 있다. 커널은 전형적으로 마스킹되어 있어서 각각의 서브-이미지는 입력 픽셀 스트림에서 서브-이미지의 인터리빙에도 불구하고, 다른 서브-이미지와 관계없이 필터링된다. 예시적인 마스크 패턴은 도 8A 및 도 8B에 도시되어 있다.
대부분의 카메라에서, 광학의 PSF는 카메라의 전체적인 시야에서 균일하지 않다. 그러므로, 카메라(20)에서, 예를 들면, 이미지 센서(24)의 다른 영역은 다른 PSF 프로파일에 따른다. 그러므로, 적합한 디블러링을 위해서, DCF 셀렉터(62)는 이미지의 다른 부분에서 다른 필터 커널을 픽셀에 적용한다. 이러한 필터 커널의 예시적인 장치는 도 7을 참조하여 아래에서 설명된다. 필터(60)에 의해 처리된 후, 디블러링된 서브-이미지는 ISP(28)로 출력된다.
녹색 밸런스
이 섹션은 녹색 밸런스 유닛(40)의 작용을 더 상세히 설명하는 것이다. 이론적으로, Gr- 및 Gb-타입 녹색 픽셀에 대응하는 센서 소자의 광감도는 동일해야 하지만, 실제로, 감도는 설계와 제조 공차로 인해서 다를 수 있다. 감도의 차이를 보정하는데 실패하는 것은 출력 이미지에서 일정한 패턴의 인공물을 야기할 수 있다. 그러므로, 회로(40)는 Gr 또는 Gb 픽셀 값(또는 양자)을 보정 계수를 곱한다.
보정 계수를 결정하기 위해서, 녹색 서브-이미지의 연속적인 열에서 픽셀 값의 평균(그리고 합)은 동일해야 한다고 가정한다. 합은 회로(40)에 의해 계산되고 그리고 각각 sumGreenRed 및 sumGreenBlue로 표현한다. 합의 비율은 보정 계수(f)를 제공한다.
Figure 112008040994480-pct00002
Figure 112008040994480-pct00003
로우-라이트 상태(관련된 값이 거의 0에 가깝다)에서 인공물을 만들지않기 위해서, 회로(40)는 sumGreenRed 및 sumGreenBlue가 어떤 최소 임계치를 넘을 때만 f를 계산한다. 더욱이, ε는 -1/32≤ε≤1/32와 같은 녹색 임밸런스의 일정한 기대 범위에 한정된다. Gb 픽셀의 값은 이들을 f로 곱하므로서 보정된다.
Figure 112008040994480-pct00004
이들 보정된 값은 이어지는 계산에서 원래 Gb 픽셀 값을 대처한다. 대안으로서, 보정 계수가 계산되고, 대신 Gr 픽셀 값에 적용되거나, 또는 Gb 및 Gr 양자 에 보정을 위해서 나눈다.
Gr 및 Gb 픽셀의 감도의 변화는 센서(24)의 영역에서 균일하지않을 수 있다. 이러한 경우, 회로(40)는 감도에서 비균일 변화에 응답하여 이미지의 영역에 f의 가변 값을 적용할 수 있다.
프레이밍 및 버퍼링
녹색 밸런스 후에, 픽셀은 입력 블러 바이어(IBB) 버퍼(42)에 삽입된다. 회로(26)가 "작동 중" 처리를 동작하고 있다고 가정하면, 픽셀 값은 센서(24)에 의해서 출력되고, 필터(60)는 L열의 값(예를 들면, L=15)을 포함하는 커널을 사용하고, 버퍼(42)는 입력 픽셀 값의 L 완전한 열을 유지하도록 설계되어 있다. 각각의 새로운 열이 버퍼 내로 판독되면서, 가장 오래된 열이 폐기된다. 더미 픽셀의 추가적인 오와 열이 실제 이미지 프레임의 위, 아래, 우측 및 좌측에 더해져서 이미지의 가장자리 근처의 필터링으로 인한 인공물의 창조를 피할 수 있다.
도 3은 본 발명의 실시예에 따라서 이미지를 프레이밍하기 위해 사용되는 방법을 예시하는, 센서(24)에 의해 포착된 이미지의 상부 가장자리 근처에서 버퍼(42)의 컨텐츠의 부분(70)을 도식적으로 예시한 상세도이다. 버퍼에서 열(72)은 GBGB... 및 RGRG...의 교대 열로, 실제 픽셀 값을 포함하고 있다. 첨자(1,2,3,4,...)는 입력 이미지의 상부 에지에서 열(1)로부터 시작하여, 열의 수를 나타낸다. 7개의 추가적인 열의 프레이밍 가장자리(76)가 입력 이미지에서 제 1 열 위에 추가되어 있다. 이들 추가적인 열은 실제 입력 프레임의 제 1의 2개 열에서 픽셀 값을 반영한다. 2개의 가장자리 오 또는 열을 반영하는, 유사한 가장자릭 가 입력 이미지의 아래에, 좌측에 그리고 우측에 추가된다.
프레이밍 확장 유닛(44)은 DCF(60)가 ISP(28)에 전송되는 출력 픽셀 값 내로 가짜 데이터를 도입하지않도록 보장하기 위해서 가장자리(76)를 추가한다. 프레이밍 가장자리의 범위는 DCF 커널의 사이즈에 의존한다. 그러므로, L=15인 경우에, 도 3에 도시된 바와 같이, 7개의 프레이밍 오와 열이 이 목적을 위해서 필요하다. 대안으로서, 다른 사이즈의 커널과 프레이밍 가장자리가 사용될 수 있다. 에지 검출 유닛(48)은 프레이밍 가장자리(76)의 열에서 가짜 에지를 찾을 수 있고, 그리고 필터(60)는 이전의 프레임의 아래 프레이밍 가장자리에서 프레이밍 가장자리의 컨텐츠를 픽셀로 감을 수 있지만, 열(72)에서 실제 픽셀 데이터는 이들 작용에 영향을 받지않는다(OEM에서 가짜 에지가 프레이밍 가장자리로부터 실제 픽셀 데이터의 프레임 내로 전파되는 것을 피하기 위해서, 확장 유닛(52)과 에지 검출 유닛(48)에 의해 사용된 커널에 따라, 필요하다면 추가적인 프레이밍 열 및/또는 오가 사용될 수 있다).
프레이밍 가장자리의 오와 열에서 픽셀 값은 회로(26) 내에서 내부적으로만 사용된다. 이들 픽셀 값은 필터(60)가 그 작용을 끝내고 그리고 ISP(28)로 통과되지않고 나서 강하된다.
스파이크 제거
회로(26)의 일부 적용에 있어서, 상기한 WO 2004/063989 A2 및 미국특허출원 11/278,255에서 설명한 바와 같이, 비교적 낮은 품질이고 그리고 이미지 센서(24)에서 블러 이미지를 산출한다. 다시 말해서, 광학의 PSF는 다수의 이웃 픽셀로 확 장되고 그리고 광학은 일종의 로-패스 공간 필터로서 작용한다. 결과적으로, 이미지 센서(24)에서 각각의 디텍터 소자는 이미지 장면의 영역으로부터 수집된 광을 감지하는데, 이것은 이웃 디텍터 소자의 감지 영역과 겹쳐진다. 그러므로, 입력 이미지에서 에지 그리고 다른 부분적인 변화는 부드러워져서, 주어진 픽셀 값이 동일 칼라의 이웃 픽셀의 값과 상당히 다르게 되는 것을 물리적으로 불가능하게 한다. 광학의 PSF는 임계값을 결정하는데 사용될 수 있어서 임계값보다 큰 동일 칼라의 이웃 픽셀의 값과 픽셀 값 사이의 차이는 이미지 센서에서 노이즈 또는 결점으로 인한 것이다.
도 4는 본 발명의 실시예에 따라서, 결함 픽셀을 확인하고 교정하기 위해서 스파이크 제거 유닛(46)에 의해 사용되는 마스크(90)의 도식적인 예시도이다. 픽셀(i,j)에 대해서, 스파이크 제거 유닛은 동일 칼라의 이웃 픽셀(92)을 고려하는데, 예를 들면, 도시된 바와 같이, 현재 픽셀의 위 또는 아래로 2개의 열 그리고 좌측 또는 우측으로 2개의 오의 픽셀이다. (그러므로, Gr 및 Gb 픽셀은 2개의 녹색 픽셀 타입이 스파이크 제거의 목적으로 교대로 결합될지라도, 전형적으로 분리되어 고려된다. 상기한 바와 같이, 이미지 프레임의 가장자리에서 픽셀에 대하여, 스파이크 제거 유닛은 마스크(90) 내의 실제 픽셀 값만을 고려하고, 그리고 가장자리(76)에서 미러 값은 고려하지않는다.) 각각의 입력 픽셀 값(p(i,j))에 대해서, 스파이크 제거 유닛은 다음과 같이 출력 픽셀 값을 결정한다.
Figure 112008040994480-pct00005
다시 말해서, p(i,j)의 값이 임계값+보다 큰 동일 칼라(마스크(90)에 의해 제공되는)의 이웃의 최대값보다 크면, 그 값은 이들 이웃 플러스 임계값+의 최대값으로 대체된다. 유사하게, p(i,j)의 값이 임계값-보다 큰 동일 칼라의 이웃의 최소값보다 작으면, 그 값은 이들 이웃 마이너스 임계값의 최소값으로 대체된다. 임계값은 카메라의 광학적 특성 및/또는 이미지의 타입을 근거로 계산될 수 있고(픽셀 값에서 상당히 국지화된 편차가 예견되는지의 여부를 표시한다), 또는 이들은 다른 기준에 따라 발견되어 설정될 수 있다. 유닛(46)의 작용의 결과로서, 그 이웃의 다른 픽셀보다 더 밝거나 또는 더 어두운 픽셀은 그 이웃으로부터 허용된 것보다 더 벗어나지 않도록 부드럽게 되어 있다.
에지 검출 및 확장
에지 검출 유닛(48)은 임의의 적절한 커널을 사용할 수 있어서 입력 이미지에서 에지의 위치를 검출할 수 있다. 본 발명자는 계산의 단순성을 위해서, 에지 계산에서 현재 픽셀과 동일한 오 또는 열에 있는 픽셀만을 에지 검출 커널에 포함시키는 것이 유리하다는 것을 알았다. 대안으로서, 커널은 또한 대각선 요소를 포함시킬 수 있다. 일부의 예시적인 커널과 에지 검출 절차가 아래에서 설명된다. 커널의 최적의 선택은 이미지의 컨텐츠 그리고 OEM의 에지 영역에 남아있을 수 있 는 잔류 노이즈와 에지의 예리함(sharpness)의 취사선택에서 사용자의 환경설정에 의존한다. 대안으로서, 유닛(48)은 종래에 알려진 다른 에지 검출 방법을 채용할 수 있다.
상기한 바와 같이, 유닛(48)에 의해 적용된 에지 검출 방법은 적응 임계값(50)을 사용하는데, 이것은 아래 설명에서 에지-임계-값(Edge-threshold-value)이라 한다. 이러한 임계값은 전형적으로 처리되는 이미지의 광 상태를 근거로 계산된다. 이들 상태는 평균 픽셀 값을 근거로 회로(26)에서 내부적으로 측정될 수 있다. 대안으로서, 임계값은 ISP(28)에 의해 자동으로 계산되고 출력되는 칼라 게인 파라미터를 근거로 계산될 수 있다. 예를 들면, 임계값은 칼라 게인의 가중 합 또는 다른 밝기 파라미터로서 계산될 수 있다. 가중 계수는 선택되어 에지 예리함 또는 잔류 노이즈의 원하는 취사선택을 결정할 수 있다.
모드 1-단순 기울기 에지 디텍터
이러한 에지 디텍터는 높은 해상도로 픽셀(p(i,j))의 근처에서 에지를 검출한다. 아래 공식에서 픽셀은 도 4에 도시된 도식에 따라서 인덱스되어 있고, 그리고 기울기 값은 다음과 같이 계산된다:
Figure 112008040994480-pct00006
확장 유닛(52)으로 출력되는 에지 값(e(i,j))은 픽셀(p(i,j))이 에지에 있을 때 1이고, 아니면 0이어서, 임의의 기울기 값이 임계값보다 크다면, 즉 임의의 다음 부등식이 TRUE로 계산된다면, e(i,j)=1이다:
Figure 112008040994480-pct00007
모드 2-복합 기울기 에지 디텍터
이러한 에지 디텍터는 최소한의 오류 검출로 양호한 스텝 검출과 높은 해상도 사이에서 절충한다. 이러한 경우, 기울기 값은 다음 식에 의해 주어진다:
Figure 112008040994480-pct00008
에지 값(e(i,j))은 임의의 다음 부등식이 TRUE로 계산된다면 1로 세팅된다.
Figure 112008040994480-pct00009
모드 3-스텝 에지 디텍터
이러한 에지 검출 방법은 스텝 에지를 검출한다. 이것은 에지 스텝 파라미터, edge-step을 사용하는데, 이것은 값 2로 전형적으로 설정된다. 이 방법은 다음과 같이 진행된다:
Figure 112008040994480-pct00010
에지 값(e(i,j))은 다음 조건중 하나가 만족된다면 1로 세팅된다:
Figure 112008040994480-pct00011
이경우에, e(i,j)의 값은 픽셀(p(i,j))의 실제 강도에 의존하지 않는다.
에지 확장
도 5는 본 발명의 실시예에 따라서, 확장 유닛(52)에 의해 사용된 마스크(100)의 도식적인 예시도이다. 에지 검출 유닛(48)은 각각의 픽셀을 위해 결정된 에지 값(e(i,j))을 포함하는 에지 맵(E(x,y))을 출력한다. 확장 유닛은 마스크(100)를 사용하여 에지 맵에 형태학적 딜레이션(dilation)을 적용하는데, 이것은 W(x,y)라 한다. 이러한 확장 스텝의 출력은 OEM이다:
Figure 112008040994480-pct00012
이러한 OEM은 상기 설명한 바와 같이, 스위칭 입력으로서 셀렉터(56)에 적용된다.
에지에 적용되는 확장의 정도는 마스크 파라미터(W1)에 의존한다. 도 5에 도시된 실시예에서, W1=3이다. 다시 말해서, 마스크(100)의 센터에서 주어진 픽셀(102)은 에지 위치(e(i,j)=1))로서 에지 검출 유닛(48)에 의해 확인되고, 그리고 마스크 영역 내에서 픽셀과 주변 픽셀(104)은 OEM에서 값 "1"을 수신한다. 다른 칼라의 픽셀 상에, 즉 다른 서브-이미지에 속하는 픽셀 상에 널리 이러한 에지를 확장하는 것이 유리하다는 것을 알았다(칼라가 특정된, 회로(26)에서 수행되는 다른 디지털 필터링와 다름). W1의 값은 로-패스 노이즈 필터링으로부터 보호되는 에지 영역의 원하는 폭에 의존하여, 적용 요구사항 및 사용자 환경설정에 따라 선택될 수 있다.
노이즈 필터(54)는 도 4에서 픽셀(92)과 같은, 동일 칼라의 이웃 픽셀의 값으로 현재의 픽셀 값을 평균내는 커널을 사용한다. 필터는 다음과 같이 출력 픽셀 값을 결정한다:
Figure 112008040994480-pct00013
여기에서, υ(i,j)는 (i,j) 필터 커널 계수의 값이고, 그리고 p(i,j)는 입력 픽셀 값이다. 이어지는 설명에서, 필터 커널(υ(i,j))의 중심 요소는 υ c 로 표시하고; 필터(υ(i±2,j) 및 υ(i,j±2))의 주변 요소는 υ p 로 표시하고; 그리고 필터(υ(i±2,j±2))의 코너 요소는 υ f 로 표시한다.
도 6은 본 발명의 실시예에 따라서, 필터(54)에 의해 적용된 유사-다이나믹 노이즈 필터링 방법을 도식적으로 예시하는 플로우 차트이다. 이러한 방법의 목적 은 픽셀 값 사이에서 기울기 변화가 있는 이미지의 영역에서 필터가 무분별하게 작동할 때 야기될 수 있는 이미지 해상도와 명암대비의 품질저하를 피하는 것이다. 이러한 목적을 위해서, 필터(54)는 미분 계산 스텝(110)에서, 각각의 픽셀의 로컬 지향성 미분을 계산한다. 미분은 다음과 같이 계산될 수 있다:
Figure 112008040994480-pct00014
(수직 미분항 △υ은 커널 계수(υ(i,j))와 혼동하지말아야 한다.)
필터(54)는 커널 선택 스텝(112)에서, 지향성 미분의 크기에 근거해서 적절한 커널을 선택한다. 이러한 목적을 위해서, 계산된 값(△υ,△h)은 수직/수평 임계값(th υh )과 비교되고, 그리고 △ d 1 , △ d 2 의 값은 대각선 임계값(thd)과 비교된다.
● △υ>th υ h 이면, υ(i,j±2)는 노이즈 제거에 관여하지않고, 그리고 대응하는 υ p 의 값은 0이다.
● △h>th υ h 이면, υ(i±2,j)는 노이즈 제거에 관여하지않고, 그리고 대응하는 υ p 의 값은 0이다.
● △ d 1 >th d 이면, υ(i+2,j+2) 그리고 υ(i-2,j-2)는 노이즈 제거에 관여하지않고, 그리고 대응하는 υ f 의 값은 0이다.
● △ d 2 >th d 이면, υ(i-2,j+2) 그리고 υ(i+2,j-2)는 노이즈 제거에 관여하지않고, 그리고 대응하는 υ f 의 값은 0이다.
필터(54)는 상기 조건을 만족시키는 각각의 픽셀에서 사용하기 위한 커널을 선택한다. 이러한 목적을 위해 사용될 수 있는 9개의 필터 커널의 예시적인 세트가 아래 부록 A에 리스트되어 있다. 다른 노이즈-제거 필터 커널(동적 또는 정적)이 유사하게 사용될 수 있는데, 당업자라면 잘 알 것이다.
필터(54)는 필터링 스텝(114)에서, 각각의 픽셀을 위한 출력 픽셀 값(
Figure 112008040994480-pct00015
)을 발생하기 위해서 각각의 픽셀의 이웃에서 입력 픽셀에 선택된 커널을 적용한다.
디컨벌루션 필터링
도 7은 본 발명의 실시예에 따라서, 셀렉터(56)에 의해 DCF(60)에 입력되는 픽셀 값에 적용되는 DCF 커널(122)의 세트(120)를 도식적으로 예시하는 도면이다. 이 실시예에서, 1600×1200 픽셀의 입력 이미지는 각각 100×100 픽셀의 192 세그먼트로 나누어진다고 가정한다. DCF(60)는 이미지에서 대응하는 위치에서 로컬 PSF에 따라, 다른 커널(122)(K0,K1,...,K32로 표시)을 각각의 세그먼트에 적용한다. 광학(22)의 원형 대칭으로 인하여, PSF 변화는 또한 이미지 평면 상에서 대칭이라고 가정하여, 단지 33개의 다른 커널이 이러한 구성에 저장되고 사용되는데 필요하다. 중심 영역(124)은 모두 동일 세트의 21개 커널을 사용하는 한편, 주변 영역(126)은 또 다른 세트의 12개의 커널을 사용한다. 대안으로서, 이미지 영역은 커널 할당의 목적으로 더욱 크거나 더욱 작은 세그먼트로 나누어질 수 있고, 또는 싱글 DCF 커널이 전체적인 이미지에 적용될 수 있다.
추가적으로 또는 대안으로서, DCF 섹터(62)는 카메라(20)에 의해 포착된 이미지(그러므로 입력 서브-이미지)의 특성에 따라서, 작동중의 필터 커널의 세트를 변경할 수 있다. 예를 들면, DCF 섹터는 이미지 조명 레벨, 이미지 컨텐츠의 타입, 또는 다른 요소에 따라서 다른 필터 커널을 선택할 수 있다.
도 8A 및 도 8B는 본 발명의 실시예에 따라서, DCF(60)에 의해 적용되는 커널 마스크(130,140)의 각각의 레이아웃을 도식적으로 예시하는 도면이다. 각각의 마스크는 각각의 칼라의 픽셀, 예를 들면 15×15 픽셀 마스크 영역에서 특정 서브-이미지에 속하는 픽셀을 표시한다. 마스크(130)는 녹색 픽셀에 적용되는 한편, 마스크(140)는 적색 및 청색 픽셀에 적용된다. 그러므로, 마스크(130)에 의해 덮혀있는 중심 픽셀(132)이 녹색일 때, 빗금 친 픽셀(134)은 중심 픽셀 주위의 15×15 픽셀의 이웃에서 다른 녹색 픽셀을 표시한다. 마스크(140)에 의해 덮여있는 중심 픽셀(132)이 적색 또는 청색일 때, 빗금 친 픽셀(134)은 이웃에서 다른 적색 또는 청색 픽셀을 표시한다.
입력 이미지의 각각의 픽셀에 대해서, DCF(60)는 픽셀이 위치하는 영역(122)을 위해 적절한 15×15 커널을 선택하고, 그리고 현재의 픽셀 칼라에 따라서, 마스크(130 또는 140)를 사용하는 커널을 마스킹한다. 각각의 경우에 적절한 마스크의 단지 빗금 친 픽셀(134)만이 DCF 작용에 참가한다. 빗금이 없는 픽셀의 계수는 0으로 세팅된다. 그러므로, 각각의 픽셀 값은 동일한 서브-이미지에 속하는 픽셀 값(예를 들면, 동일 칼라의 픽셀)만으로 감긴다. 감기는 픽셀 값은 상기한 바와 같이, 셀렉터(56)에 의해서 선택되는데, 이것은 에지 영역에서 딜레이 라인(58)에 의해서 출력되는 IBBO 값 그리고 논-에지 영역에서 노이즈 감소된 IBBM 값을 선택한다.
상기한 바와 같이, DCF(60)에 의해 적용된 커널 계수는 광학(22)에 의해 임퍼펙트 PSF에 응답하여 출력 이미지를 디블러링하도록 선택될 수 있다. 커널은 이미지 평면에서 현재의 픽셀의 위치 그리고 이미지 거리와 같은 다른 요소 양자에 따라서 변할 수 있다. 광학 및 DCF 커널은 선택될 수 있어서 카메라(20)의 필드의 유효 깊이를 증가시키는 것과 같은, 특정 이미지 개선 기능을 제공한다. 대안으로서, 다른 칼라의 서브-이미지에 교대로 적용되는 다른 필터링 기능을 가진 DCF(60)의 장치는 모자이크 칼라 스페이스에서 매우 다양한 다른 이미지 개선 기능을 수행하는데 사용될 수 있다.
여기에 설명된 실시예는 보기로서 인용되었고, 긔ㄹ고 본 발명은 여기에 특히 도시되고 설명된 것에 한정되는 것은 아니다. 오히려, 본 발명의 범위는 여기에서 설명된 여러 가지 특징의 결합 및 서브 결합 양자를 포함하고 있고, 마찬가지로 당업자라면 그 수정과 변화는 상기 설명을 이해하므로서 자명할 것이다.
부록 A- 노이즈 제거 필터 커널
아래 표는 다른 에지 상태 하에서 예시적인 노이즈 필터 계수 값을 도시하고 있다. 각각의 필터에서 모든 계수의 합은 1이므로, 평균 픽셀 값은 필터링 후에 변하지않을 것이다. 아래의 보기에서, 필터(54)의 가능한 커널을 위한 모든 계수 값은 명확하게 씌여있다. 대안으로서, 단지 일부의 계수가 명확하게 주어진 한편, 나머지는 합이 1이라는 조건에 의해 추측된다. 단순화를 위해서, 중심 계수(υ c )는 1에서 특정 커널에 사용되는 모든 다른 계수의 합을 뺀 것과 동일하다.
Figure 112008040994480-pct00016
Figure 112008040994480-pct00017

Claims (38)

  1. 이미징 장치에 있어서,
    모자이크 이미지 센서에 입사하는 다른, 각각의 칼라의 광에 각각 응답하는 복수의 입력 서브-이미지에 속하는 입력 픽셀 값의 스트림을 발생하도록 구성된 모자이크 이미지 센서로서, 상기 입력 서브-이미지는 한 세트의 대물 광학(objective optics)의 점 확산 함수(PSF; point spread function)에 의해 야기되는 입력 블러(blur)를 가지는 것인, 상기 모자이크 이미지 센서;
    복수의 출력 서브-이미지를 발생하도록 입력 서브-이미지의 각각에 입력 픽셀 값을 수신하고 그리고 디지털식으로 필터링하기 위해 연결된 이미지 복원 회로로서, 상기 이미지 복원 회로는 필터 커널을 가진 디컨볼루션 필터(DCF; deconvolution filter)를 포함하고 상기 DCF는 상기 PSF의 영향을 받지 않도록 함으로써 상기 출력 서브-이미지가 상기 입력 블러보다 작은 출력 블러를 갖도록 하는 것인, 상기 이미지 복원 회로; 및
    칼라 출력 이미지를 발생하도록 복수의 출력 서브-이미지를 수신하고 프로세싱하기 위해 연결된 이미지 신호 프로세서(ISP; image signal processor)
    를 포함하는 이미징 장치.
  2. 제 1 항에 있어서, 상기 입력 서브-이미지와 상기 출력 서브-이미지는 상기 ISP가 상기 출력 서브-이미지 또는 상기 입력 서브-이미지를 수신하고 그리고 프로세싱하기 위해 연결될 수 있도록 동일한 포맷을 가진 것인 이미징 장치.
  3. 제 2 항에 있어서, 상기 복수의 입력 서브-이미지에서 입력 픽셀 값은 상기 모자이크 이미지 센서에 의해 출력되는 싱글 입력 픽셀 스트림에서 미리 결정된 인터리빙 패턴으로 인터리빙되고, 상기 출력 서브-이미지는 상기 미리 결정된 인터리빙 패턴에 따라서 출력 픽셀 스트림에서 상기 이미지 복원 회로에 의해 인터리빙되는 출력 픽셀 값을 포함하는 것인 이미징 장치.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서, 상기 PSF는 상기 모자이크 이미지 센서의 평면상에서 변하고, 상기 이미지 복원 회로는 상기 모자이크 이미지 센서의 평면상에서 상기 PSF의 변화에 응답하여 상기 모자이크 이미지 센서의 다른 영역으로부터의 입력 픽셀 값에 다른 필터 커널을 적용하도록 배열되는 것인 이미징 장치.
  7. 제 1 항에 있어서, 상기 입력 서브-이미지의 특성에 따라 입력 픽셀 값에 상이한 필터 커널을 적용하기 위해, 상기 이미지 복원 회로가 배열되고, 상기 입력 서브-이미지의 특성은 이미지 조명 레벨, 이미지 컨텐츠 타입, 및 이미지 거리 중 하나인 것인 이미징 장치.
  8. 제 1 항에 있어서, 상기 모자이크 이미지 센서는 바이어(Bayer) 모자이크 패턴으로 배열되어 있는 필터 어레이를 포함하는 것인 이미징 장치.
  9. 제 8 항에 있어서, 상기 입력 픽셀 값은 녹색과 청색 픽셀이 번갈아 일어나는 제 1 열과 녹색과 적색 픽셀이 번갈아 일어나는 제 2 열을 포함하고, 상기 이미지 복원 회로는 상기 제 1 열과 상기 제 2 열 사이에서 녹색 픽셀의 감도의 편차를 보상하기 위해 연결된 녹색 밸런스 유닛을 포함하는 것인 이미징 장치.
  10. 제 9 항에 있어서, 상기 감도의 편차는 상기 모자이크 이미지 센서의 영역 상에서 균일하지 않으며, 상기 녹색 밸런스 유닛은 감도에서의 비균일 편차에 응답하여 비균일 보상을 적용하도록 배열되는 것인 이미징 장치.
  11. 제 1 항에 있어서, 상기 모자이크 이미지 센서 상에 미리 결정된 블러로 광을 초점 맞추도록 구성된 대물 광학을 더 포함하고,
    상기 이미지 복원 회로는, 각각의 입력 서브-이미지 내의 이웃 픽셀의 입력 픽셀 값에 비해, 미리 결정된 블러에 따라 결정되는 최대 임계치보다 큰 값만큼 다른 입력 픽셀 값을 가진 불완전 픽셀을 확인하고, 상기 불완전한 픽셀의 입력 픽셀 값을 보정하기 위한 스파이크 제거 유닛을 포함하는 것인 이미징 장치.
  12. 제 1 항에 있어서, 상기 이미지 복원 회로는 상기 입력 서브-이미지에서 노이즈를 감소시키기 위해서 상기 입력 서브-이미지 각각을 디지털식으로 필터링하도록 배열된 노이즈 필터를 포함하는 것인 이미징 장치.
  13. 제 12 항에 있어서, 상기 노이즈 필터는 상기 입력 서브-이미지에서 로컬 기울기의 방향과 크기를 결정하고, 상기 방향과 크기에 응답하여 상기 노이즈를 감소시키는 적용(application)을 위한 필터 커널을 선택하도록 배열된 것인 이미징 장치.
  14. 제 12 항에 있어서, 상기 DCF는 상기 노이즈 필터에 의한 노이즈의 감소 후에 상기 입력 서브-이미지를 필터링하도록 배열된 것인 이미징 장치.
  15. 제 14 항에 있어서, 상기 이미지 복원 회로는 상기 DCF가 에지 영역에서 노이즈 필터링 없이 상기 입력 픽셀 값을 수신하고, 상기 에지 영역 외부에서 상기 노이즈 필터로부터 노이즈 감소된 입력 픽셀 값을 수신하도록, 상기 입력 서브-이미지에서 에지 영역을 확인하고, 상기 DCF로의 입력을 제어하도록 배열된, 에지 디텍터를 포함하는 것인 이미징 장치.
  16. 제 15 항에 있어서, 상기 에지 디텍터는 에지 픽셀을 검출하도록 배열되고, 상기 이미지 복원 회로는 상기 에지 픽셀 주위에 있는 픽셀을 에지 영역들에 추가함으로써 에지 영역들을 넓히도록 배열된 확장 유닛을 포함하는 것인 이미징 장치.
  17. 제 16 항에 있어서, 상기 확장 유닛은 제 1 입력 서브-이미지에서 에지 픽셀의 확인을 상기 에지 디텍터로부터 수신하고, 적어도 제 2 입력 서브-이미지에서 에지 픽셀의 이웃의 픽셀을 에지 영역에 추가하도록 배열된 것인 이미징 장치.
  18. 제 1 항에 있어서, 상기 DCF는 주어진 사이즈의 커널로 입력 서브-이미지를 감도록 배열되고, 상기 장치는 상기 필터 커널의 사이즈에 응답하여 선택된 폭을 가진, 입력 서브-이미지 주위의 픽셀 값의 마진을 추가하도록 배열된 프래밍 연장 유닛을 더 포함하는 것인 이미징 장치.
  19. 제 1 항에 있어서, 복수의 입력 서브-이미지에서 입력 픽셀 값은 상기 모자이크 이미지 센서에 의해 출력되는 싱글 입력 픽셀 스트림에서 미리 결정된 인터리빙 패턴으로 인터리빙되고, 상기 DCF는 각각의 커널로 입력 서브-이미지의 각각을 감도록 배열되고, 상기 커널은 다른 입력 서브-이미지로부터 개별적으로 각각의 입력 서브-이미지를 필터링하도록, 상기 인터리빙 패턴에 응답하여, 마스킹되는 것인 이미징 장치.
  20. 이미징 방법에 있어서,
    모자이크 이미지 센서에 입사하는 다른, 각각의 칼라의 광에 각각 응답하는 복수의 입력 서브-이미지에 속하는 입력 픽셀 값의 스트림을 모자이크 이미지 센서로부터 수신하는 단계로서, 상기 입력 서브-이미지는 한 세트의 대물 광학(objective optics)의 점 확산 함수(PSF; point spread function)에 의해 야기되는 입력 블러(blur)를 가지는 것인, 상기 수신 단계;
    복수의 출력 서브-이미지를 발생하도록 입력 서브-이미지의 각각에 입력 픽셀 값을 디지털식으로 필터링하는 단계로서, 상기 PSF의 영향을 받지 않도록 함으로써 상기 출력 서브-이미지가 상기 입력 블러보다 작은 출력 블러를 갖게끔 하기 위해, 필터 커널을 가진 디컨볼루션 필터(DCF; deconvolution filter)를 상기 입력 서브-이미지에 적용하는 것을 포함하는, 상기 필터링 단계; 및
    칼라 출력 이미지를 발생하도록 상기 출력 서브-이미지를 프로세싱하는 단계
    를 포함하는 이미징 방법.
  21. 제 20 항에 있어서, 상기 입력 서브-이미지와 상기 출력 서브-이미지는 동일한 포맷을 가진 것인 이미징 방법.
  22. 제 21 항에 있어서, 복수의 입력 서브-이미지에서의 입력 픽셀 값은 상기 모자이크 이미지 센서에 의해 출력되는 싱글 입력 픽셀 스트림에서 미리 결정된 인터리빙 패턴으로 인터리빙되고, 상기 입력 픽셀 값을 디지털식으로 필터링하는 단계는 미리 결정된 인터리빙 패턴에 따라서 출력 픽셀 스트림에서 출력 서브-이미지의 출력 픽셀 값을 인터리빙하는 단계를 포함하는 것인 이미징 방법.
  23. 삭제
  24. 삭제
  25. 제 20 항에 있어서, 상기 PSF는 상기 모자이크 이미지 센서의 평면상에서 변하고, 상기 DCF를 적용하는 것은 상기 모자이크 이미지 센서의 평면상에서 PSF의 변화에 응답하여 상기 모자이크 이미지 센서의 다른 영역으로부터의 입력 픽셀 값에 다른 필터 커널을 적용하는 것을 포함하는 것인 이미징 방법.
  26. 제 20 항에 있어서, 상기 DCF를 적용하는 것은, 입력 서브-이미지의 특성에 따라 입력 픽셀 값에 상이한 필터 커널을 적용하는 것을 포함하고, 상기 입력 서브-이미지의 특성은 이미지 조명 레벨, 이미지 컨텐츠 타입, 및 이미지 거리 중 하나인 것인 이미징 방법.
  27. 제 20 항에 있어서, 상기 모자이크 이미지 센서는 바이어(Bayer) 모자이크 패턴으로 배열되어 있는 필터 어레이를 포함하는 것인 이미징 방법.
  28. 제 27 항에 있어서, 입력 픽셀 값은 녹색과 청색 픽셀이 번갈아 일어나는 제 1 열과 녹색과 적색 픽셀이 번갈아 일어나는 제 2 열을 포함하고, 상기 이미징 방법은, 입력 픽셀 값을 디지털식으로 필터링하기 전에 제 1 및 제 2 열 사이에서 녹색 픽셀의 감도의 편차를 보상하기 위해 입력 픽셀 값을 프로세싱하는 단계를 더 포함하는 것인 이미징 방법.
  29. 제 28 항에 있어서, 상기 감도의 편차는 상기 모자이크 이미지 센서의 영역 상에서 균일하지 않으며, 상기 입력 픽셀 값을 프로세싱하는 단계는 감도에서의 비균일 편차에 응답하여 비균일 보상을 적용하는 것을 포함하는 것인 이미징 방법.
  30. 제 20 항에 있어서, 미리 결정된 블러로 상기 대물 광학에 의해 상기 모자이크 이미지 센서 상에 광이 초점 맞추어지고, 상기 이미징 방법은, 각각의 입력 서브-이미지 내의 이웃 픽셀의 입력 픽셀 값에 비해, 미리 결정된 블러에 따라 결정되는 최대 임계치보다 큰 값만큼 다른 입력 픽셀 값을 가진 불완전 픽셀을 확인하고, 상기 불완전한 픽셀의 입력 픽셀 값을 보정하는 단계를 더 포함하는 것인 이미징 방법.
  31. 제 20 항에 있어서, 상기 입력 픽셀 값을 디지털식으로 필터링하는 단계는, 상기 입력 서브-이미지에서 노이즈를 감소시키기 위해서 각각의 입력 서브-이미지를 프로세싱하는 단계를 더 포함하는 것인 이미징 방법.
  32. 제 31 항에 있어서, 상기 각각의 입력 서브-이미지를 프로세싱하는 단계는, 상기 입력 서브-이미지에서 로컬 기울기의 방향과 크기를 결정하는 단계, 및 상기 방향과 크기에 응답하여 상기 노이즈를 감소시키는 적용(application)을 위한 필터 커널을 선택하는 단계를 포함하는 것인 이미징 방법.
  33. 제 31 항에 있어서, 노이즈를 감소시키기 위해 상기 입력 서브-이미지가 프로세싱된 후에 상기 DCF가 상기 입력 서브-이미지에 적용되는 것인 이미징 방법.
  34. 제 33 항에 있어서, 상기 DCF를 적용하는 것은, 상기 DCF가 에지 영역에서 노이즈를 감소시키는 프로세싱없이 입력 픽셀 값을 수신하고, 에지 영역 외부에서, 노이즈를 감소시키는 프로세싱 후에 상기 DCF가 노이즈 감소된 입력 픽셀 값을 수신하도록, 입력 서브-이미지에서 에지 영역을 확인하는 것, 및 상기 DCF로의 입력을 제어하는 것을 포함하는 것인 이미징 방법.
  35. 제 34 항에 있어서, 상기 에지 영역을 확인하는 것은, 에지 픽셀을 검출하는 것과, 에지 픽셀 주위에 있는 픽셀을 에지 영역들에 추가함으로써 에지 영역들을 넓히는 것을 포함하는 것인 이미징 방법.
  36. 제 35 항에 있어서, 상기 에지 영역을 넓히는 것은, 제 1 입력 서브-이미지에서 에지 픽셀을 검출하는 것과, 적어도 제 2 입력 서브-이미지에서 에지 픽셀의 이웃의 픽셀을 에지 영역에 추가하는 것을 포함하는 것인 이미징 방법.
  37. 제 20 항에 있어서, DCF를 적용하는 것은 주어진 사이즈의 커널을 가진 DCF를 적용하는 것을 포함하고, 상기 이미징 방법은, 상기 입력 서브-이미지를 디지털식으로 필터링하기 전에, 상기 커널의 사이즈에 응답하여 선택된 폭을 가진, 상기 입력 서브-이미지 주위의 픽셀 값의 마진을 추가하는 단계를 더 포함하는 것인 이미징 방법.
  38. 제 20 항에 있어서, 복수의 입력 서브-이미지에서 입력 픽셀 값은 상기 모자이크 이미지 센서에 의해 출력되는 싱글 입력 픽셀 스트림에서 미리 결정된 인터리빙 패턴으로 인터리빙되고, 상기 DCF를 적용하는 것은, 다른 출력 서브-이미지로부터 개별적으로 입력 서브-이미지 각각을 필터링하도록, 상기 인터리빙 패턴에 응답하여, 상기 입력 서브-이미지 각각에 마스킹되어 각각의 커널을 적용하는 것을 포함하는 것인 이미징 방법.
KR1020087013853A 2005-11-10 2006-11-07 모자이크 도메인에서의 이미지 개선 KR101292458B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US73552005P 2005-11-10 2005-11-10
US60/735,520 2005-11-10
PCT/IL2006/001284 WO2007054931A2 (en) 2005-11-10 2006-11-07 Image enhancement in the mosaic domain

Publications (2)

Publication Number Publication Date
KR20080075515A KR20080075515A (ko) 2008-08-18
KR101292458B1 true KR101292458B1 (ko) 2013-07-31

Family

ID=38023662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087013853A KR101292458B1 (ko) 2005-11-10 2006-11-07 모자이크 도메인에서의 이미지 개선

Country Status (6)

Country Link
US (1) US8115840B2 (ko)
EP (1) EP1958151B1 (ko)
JP (1) JP5155871B2 (ko)
KR (1) KR101292458B1 (ko)
CN (1) CN101490694B (ko)
WO (1) WO2007054931A2 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154636B2 (en) * 2005-12-21 2012-04-10 DigitalOptics Corporation International Image enhancement using hardware-based deconvolution
WO2008087627A2 (en) * 2007-01-16 2008-07-24 D-Blur Technologies Passing embedded data through a digital image processor
US7830428B2 (en) 2007-04-12 2010-11-09 Aptina Imaging Corporation Method, apparatus and system providing green-green imbalance compensation
US7876363B2 (en) 2007-04-19 2011-01-25 Aptina Imaging Corporation Methods, systems and apparatuses for high-quality green imbalance compensation in images
WO2008149363A2 (en) * 2007-06-05 2008-12-11 Dblur Technologies Ltd. Non-linear transformations for enhancement of images
JP5161311B2 (ja) * 2007-09-19 2013-03-13 トムソン ライセンシング 画像をスケーリングするシステムおよび方法
US8310587B2 (en) * 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
US8264615B2 (en) * 2008-06-19 2012-09-11 Marvell World Trade Ltd. Split edge enhancement architecture
KR100992362B1 (ko) * 2008-12-11 2010-11-04 삼성전기주식회사 컬러 보간 장치
US8687911B2 (en) * 2009-06-24 2014-04-01 Nokia Corporation Adaptive method for processing digital images, and an image processing device
US20110044554A1 (en) * 2009-08-21 2011-02-24 Konica Minolta Systems Laboratory, Inc. Adaptive deblurring for camera-based document image processing
US20110085729A1 (en) * 2009-10-12 2011-04-14 Miaohong Shi De-noising method and related apparatus for image sensor
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8611690B2 (en) * 2009-10-21 2013-12-17 Hewlett-Packard Development Company, L.P. Real-time video deblurring
JP2011130241A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp 撮像装置
JP5564977B2 (ja) * 2010-02-22 2014-08-06 ソニー株式会社 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム
US20110216157A1 (en) 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
KR101667798B1 (ko) * 2010-03-29 2016-10-20 삼성전자 주식회사 영상 처리 장치 및 이의 영상 처리 방법
KR101665137B1 (ko) 2010-04-07 2016-10-12 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
CN102860012B (zh) * 2010-04-21 2015-06-03 佳能株式会社 图像处理装置及图像处理方法
JP5513310B2 (ja) * 2010-08-26 2014-06-04 富士フイルム株式会社 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法
JP4931266B2 (ja) * 2010-08-27 2012-05-16 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP5660711B2 (ja) * 2010-09-16 2015-01-28 富士フイルム株式会社 復元ゲインデータ生成方法
US8699813B2 (en) 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US20120128244A1 (en) * 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
JP5935237B2 (ja) * 2011-03-24 2016-06-15 ソニー株式会社 固体撮像装置および電子機器
US8947501B2 (en) 2011-03-31 2015-02-03 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
IL212289A (en) * 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
JP2013083925A (ja) * 2011-09-29 2013-05-09 Canon Inc 撮像装置及びその制御方法
US8867844B2 (en) * 2012-02-01 2014-10-21 Sharp Laboratories Of America, Inc. Edge based template matching
JP6049358B2 (ja) * 2012-08-31 2016-12-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR101463194B1 (ko) * 2013-05-09 2014-11-21 한국과학기술원 이미지 블러 제거 장치 및 방법
US9088740B2 (en) * 2013-06-21 2015-07-21 Himax Imaging Limited System and method of reducing noise
KR102192674B1 (ko) * 2014-06-26 2020-12-17 삼성전자 주식회사 이미지 처리 장치 및 방법
JP6243087B2 (ja) * 2015-04-23 2017-12-06 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
US10600151B2 (en) * 2015-06-05 2020-03-24 Apple Inc. Automatic determination of a region of influence
US10176551B2 (en) * 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
JP7160044B2 (ja) * 2017-10-19 2022-10-25 ソニーグループ株式会社 電子機器
CN112424794B (zh) * 2018-07-11 2024-06-07 索迪欧有限公司 使用马赛克图像传感器检测高分辨率的机器可读标签
KR102592605B1 (ko) * 2018-12-06 2023-10-24 삼성전자주식회사 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치
EP3900327A1 (en) * 2019-02-27 2021-10-27 Huawei Technologies Co., Ltd. An image processing apparatus and method
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
US11575865B2 (en) * 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
KR20210097448A (ko) 2020-01-30 2021-08-09 삼성전자주식회사 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치
US11721001B2 (en) 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring
CN113269701B (zh) * 2021-05-08 2024-04-26 大连海事大学 一种基于注意力引导和核选择机制的低照度图像增强方法
US20230144311A1 (en) * 2021-11-10 2023-05-11 Ati Technologies Ulc Detecting and mitigating artifacts related to high chromatic colors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020041764A (ko) * 2000-11-28 2002-06-03 요트.게.아. 롤페즈 노이즈 감소 방법
KR20030020357A (ko) * 2000-07-06 2003-03-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
KR20050073189A (ko) * 2004-01-09 2005-07-13 삼성전자주식회사 이미지 스캐닝 방법 및 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4697208A (en) 1985-06-13 1987-09-29 Olympus Optical Co., Ltd. Color image pickup device with complementary color type mosaic filter and gamma compensation means
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6900838B1 (en) 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US6933970B2 (en) * 1999-12-20 2005-08-23 Texas Instruments Incorporated Digital still camera system and method
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
EP1326416A1 (en) 2002-01-03 2003-07-09 Fujifilm Electronic Imaging Limited Compensation of lens field curvature
JP3958603B2 (ja) * 2002-02-21 2007-08-15 オリンパス株式会社 電子内視鏡システム及び電子内視鏡システム用の信号処理装置
US7135698B2 (en) 2002-12-05 2006-11-14 Lockheed Martin Corporation Multi-spectral infrared super-pixel photodetector and imager
WO2004063989A2 (en) 2003-01-16 2004-07-29 D-Blur Technologies Ltd. Camera with image enhancement functions
US20070236573A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Combined design of optical and image processing elements
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
JP2005027182A (ja) 2003-07-04 2005-01-27 Star Micronics Co Ltd エレクトレットコンデンサマイクロホン
US7269295B2 (en) * 2003-07-31 2007-09-11 Hewlett-Packard Development Company, L.P. Digital image processing methods, digital image devices, and articles of manufacture
US20070146689A1 (en) * 2004-01-15 2007-06-28 Matsushita Electric Industrial Co., Ltd. Measuring method for optical transfer function, image restoring method, and digital imaging device
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
US7643062B2 (en) * 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
US8154636B2 (en) * 2005-12-21 2012-04-10 DigitalOptics Corporation International Image enhancement using hardware-based deconvolution
US20070236574A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Digital filtering with noise gain limit
US20070239417A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Camera performance simulation
EP2069851A4 (en) * 2006-09-14 2010-02-24 Tessera Tech Hungary Kft IMAGING SYSTEM WITH ASSOUPLY ASSEMBLED TOLERANCES AND ASSOCIATED METHODS
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030020357A (ko) * 2000-07-06 2003-03-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
KR20020041764A (ko) * 2000-11-28 2002-06-03 요트.게.아. 롤페즈 노이즈 감소 방법
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
KR20050073189A (ko) * 2004-01-09 2005-07-13 삼성전자주식회사 이미지 스캐닝 방법 및 장치

Also Published As

Publication number Publication date
EP1958151A2 (en) 2008-08-20
EP1958151A4 (en) 2009-11-11
EP1958151B1 (en) 2014-07-30
CN101490694B (zh) 2012-06-13
US8115840B2 (en) 2012-02-14
WO2007054931A2 (en) 2007-05-18
JP2009516256A (ja) 2009-04-16
WO2007054931A3 (en) 2008-12-31
KR20080075515A (ko) 2008-08-18
CN101490694A (zh) 2009-07-22
US20090147111A1 (en) 2009-06-11
JP5155871B2 (ja) 2013-03-06

Similar Documents

Publication Publication Date Title
KR101292458B1 (ko) 모자이크 도메인에서의 이미지 개선
TWI458333B (zh) 用於使用雜訊模型減少影像雜訊之方法及裝置
JP5067635B2 (ja) 撮像装置のための、エッジを保護しながらノイズを低減する方法および装置
KR100699834B1 (ko) 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
US8013914B2 (en) Imaging apparatus including noise suppression circuit
JP2007259401A (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
JP5169994B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2008289090A (ja) 撮像信号処理装置
US20140125847A1 (en) Image processing apparatus and control method therefor
JP2018093257A (ja) 撮像装置
KR100587143B1 (ko) 영상 신호의 에지 검출 방법
WO2008026847A1 (en) Image brightness compensating apparatus and method, recorded medium recorded the program performing it
CN103563360B (zh) 摄像装置及摄像装置的控制方法
JP2005012479A (ja) データ処理装置、画像処理装置、カメラおよびデータ処理方法
JP3633561B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010068329A (ja) 撮像装置
JP2008177724A (ja) 画像入力装置、信号処理装置および信号処理方法
TWI419079B (zh) 於馬賽克域之影像加強
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP4949766B2 (ja) 画像信号処理装置
JP4934183B2 (ja) 画像信号処理方法
JP5535443B2 (ja) 画像処理装置
IL191290A (en) Image enhancement in the mosaic domain
JP3962518B2 (ja) 画像信号処理装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160713

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170713

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180713

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190722

Year of fee payment: 7