KR20140116870A - 화상 처리 장치 및 화상 처리 방법과 프로그램 - Google Patents

화상 처리 장치 및 화상 처리 방법과 프로그램 Download PDF

Info

Publication number
KR20140116870A
KR20140116870A KR1020147019527A KR20147019527A KR20140116870A KR 20140116870 A KR20140116870 A KR 20140116870A KR 1020147019527 A KR1020147019527 A KR 1020147019527A KR 20147019527 A KR20147019527 A KR 20147019527A KR 20140116870 A KR20140116870 A KR 20140116870A
Authority
KR
South Korea
Prior art keywords
pixel
value
correction
color
pixels
Prior art date
Application number
KR1020147019527A
Other languages
English (en)
Other versions
KR101980931B1 (ko
Inventor
마사유키 다치
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140116870A publication Critical patent/KR20140116870A/ko
Application granted granted Critical
Publication of KR101980931B1 publication Critical patent/KR101980931B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

RGBW 배열의 화상에 대한 노이즈 저감, 결함 보정 처리를 실행하는 장치 및 방법을 제공한다. RGB 각 컬러 화소와 W(White) 화소를 갖는 RGBW 배열의 화상 데이터의 컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 주목 화소의 보정 화소값을 산출한다. 또한, 컬러 화소 근방의 W 화소를 적용하여, 그 컬러 화소가 텍스처 영역인지 여부를 판정하고, 텍스처 영역이 아닌 경우에만 결함 보정 처리를 실행한다.

Description

화상 처리 장치 및 화상 처리 방법과 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}
본 발명은, 화상 처리 장치 및 화상 처리 방법과 프로그램에 관한 것이다. 특히, 화상을 구성하는, 노이즈를 포함하는 화소나 결함 화소의 보정을 행하는 화상 처리 장치 및 화상 처리 방법과 프로그램에 관한 것이다.
디지털 카메라 등의 촬상 장치에 있어서, 촬상 소자에 사용하는 필터는, 예를 들어 RGB의 각 색을 배열한 베이어(Bayer) 배열 등이 많이 사용되지만, 이들 RGB 각 색 외에, RGB 각 파장의 전체 파장 영역을 포함하는 전체 파장 투과형 W(White) 화소를 구비한 RGBW 배열을 갖는 필터가 제안되어 있다.
그러나, W(White) 화소를 갖는 RGBW 배열 필터를 적용하여 촬영한 화상에 포함되는 노이즈 제거(NR: Noise Reduction) 처리에 있어서는 이하와 같은 문제가 있다. RGB 등의 컬러(Color) 화소는 W(White) 화소에 비하여 감도가 낮고, 노이즈가 많은데다, 노이즈 저감 대상 화소인 주목 화소의 보정 화소값을 산출하기 위해 이용 가능한 참조 화소, 즉 보정 대상 화소와 동일 색인 참조 화소의 샘플 수가 적다. 이 결과, 동색 화소를 참조한 노이즈 제거(NR) 처리를 실행하여도 충분한 노이즈 저감 효과가 얻어지지 않는다는 문제가 있다.
또한, 광 샷 노이즈와 같이 광의 강도에 따라서 노이즈가 변화하는 모델에 대응하기 위해서는, 자신에 실리는 노이즈 때문에 평활화 강도가 변동되어, 신호 레벨이 저하되는 문제가 있었다.
또한, W(White) 배열의 결함 보정에 있어서는, 컬러 화소의 샘플링 위치가 무작위로 되기 때문에, 결함과 텍스처의 구별이 어려워, 충분한 보정 효과가 얻어지지 않는다는 문제점도 있었다.
또한, 화상의 노이즈 제거 처리에 관한 종래 기술로서는, 예를 들어 특허문헌 1(일본 특허공개 제2003-224861호 공보), 특허문헌 2(일본 특허공개 제2011-76186호 공보) 등이 있다.
특허문헌 1(일본 특허공개 제2003-224861호 공보)은, 휘도 신호 (Y)의 주파수 성분 강도에 따라서 각 영역의 색차 신호 (C)의 주파수 성분을 제거함으로써, 노이즈를 제거하는 구성을 개시하고 있다. 그러나, 이 방법에서는, 휘도 신호 (Y)와 색차 신호 (C)에 상관이 없는 개소에서도 Y 신호에 기초하여 C 신호의 노이즈 제거를 행하기 때문에, 색 텍스처 등 휘도 변화가 적은 부분에서, 색차 신호가 상실되어버릴 우려가 있다.
특허문헌 2(일본 특허 공개 제2011-76186호 공보)는, W 화소를 이용하여 텍스처 방향 판정을 행하고, 그 결과에 기초하여 결함 보정을 행하는 방법을 개시하고 있다. 본 문헌은, W 화소에 대한 결함 보정 방법을 언급하고 있기는 하지만, W 이외의 컬러 화소에 대한 보정 방법은 언급하고 있지 않다. 또한, 좌우, 상하의 2차원 평면의 화소를 참조한 2차원(2D: 2Dimention) 처리를 전제로 하여, 많은 방향 판정 처리를 위해, 연산 비용이 커져 버린다는 문제가 있다.
일본 특허공개 제2003-224861호 공보 일본 특허공개 제2011-76186호 공보
본 발명은, 예를 들어 상기 문제점을 감안하여 이루어진 것으로, 전체 파장 투과형 W(White) 화소를 구비한 필터를 통해 촬영된 화상에 포함되는 노이즈의 저감이나 결함 보정을 행하는 화상 처리 장치, 및 화상 처리 방법과 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
화소값 보정을 실행하는 신호 처리부를 갖고,
상기 신호 처리부는,
RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력하고,
컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는 화상 처리 장치에 있다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 신호 처리부는, 상기 보간 W 화소의 화소값에 1개 이상의 포화 화소값이 존재하는지 여부를 판정하고, 상기 보간 W 화소의 화소값에 포화 화소값이 존재하지 않는 경우에는, 상기 보간 W 화소의 각 화소값에 기초하여 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하고, 상기 보간 W 화소의 화소값에 포화 화소값이 존재하는 경우에는, 상기 보간 W 화소를 적용하지 않고, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소의 각 화소값에 기초하여 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 신호 처리부는, 상기 참조 영역을 2차원 영역으로서 2차원 영역의 참조 영역에 있는 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하는 처리를 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 신호 처리부는, 상기 참조 영역을 1차원 영역으로서 1차원 영역의 참조 영역에 있는 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하는 처리를 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 신호 처리부는, 상기 화소값 보정을, 상기 주목 화소에 포함되는 노이즈를 저감하는 노이즈 저감 처리(NR)로서 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 신호 처리부는, 상기 컬러 화소가 결함 화소일 가능성이 있는지 여부를 판정하는 결함 가능성을 판정하고, 결함 가능성이 있다고 판정된 컬러 화소 근방의 W 화소를 적용하여, 그 컬러 화소가 텍스처 영역인지 여부를 판정하는 텍스처 검출 처리를 실행하고, 상기 텍스처 검출 처리에 있어서, 상기 컬러 화소가 텍스처 영역이라고 판정된 경우에는, 결함 보정 처리를 실행하지 않고, 상기 텍스처 검출 처리에 있어서, 상기 컬러 화소가 텍스처 영역이 아니라고 판정된 경우에는, 결함 보정 처리를 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 신호 처리부는, 상기 텍스처 검출 처리에 있어서, 결함 가능성이 있다고 판정된 컬러 화소의 최근접 W 화소와, 그 외측의 W 화소의 화소값 차분을 적용하여, 상기 컬러 화소가 텍스처 영역인지 여부를 판정한다.
또한, 본 발명의 제2 측면은,
화상 처리 장치에 있어서 화소값 보정을 실행하는 화상 처리 방법으로서,
상기 화상 처리 장치의 신호 처리부가,
RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력하고,
컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는 화상 처리 방법에 있다.
또한, 본 발명의 제3 측면은,
화상 처리 장치에 있어서 화소값 보정을 실행시키는 프로그램으로서,
상기 화상 처리 장치의 신호 처리부에,
RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력시키고,
컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출시키는 프로그램에 있다.
또한, 본 발명의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대하여, 컴퓨터 판독가능한 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 판독가능한 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초한, 보다 상세한 설명에 의해 명백해질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로는 한정되지 않는다.
본 발명의 일 실시예의 구성에 의하면, RGBW 배열의 화상에 대한 노이즈 저감, 결함 보정 처리를 실행하는 장치 및 방법이 실현된다.
구체적으로는, RGB 각 컬러 화소와 W(White) 화소를 갖는 RGBW 배열의 화상 데이터의 컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 주목 화소의 보정 화소값을 산출한다. 또한, 컬러 화소 근방의 W 화소를 적용하여, 그 컬러 화소가 텍스처 영역인지 여부를 판정하고, 텍스처 영역이 아닌 경우에만 결함 보정 처리를 실행한다.
이 처리에 의해, RGBW 배열의 화상에 대한 노이즈 저감, 결함 보정 처리를 실행하는 장치 및 방법이 실현된다.
도 1은, RGBW 배열의 예에 대하여 설명하는 도면이다.
도 2는, RGBW 배열에 있어서의 컬러 화소의 밀도 저하에 대하여 설명하는 도면이다.
도 3은, 본 발명의 화상 처리 장치에 있어서 실행하는 노이즈 저감 처리의 구체예에 대하여 설명하는 도면이다.
도 4는, 본 발명의 화상 처리 장치에 있어서 실행하는 노이즈 저감 처리에 적용되는 평활화 함수의 구체예에 대하여 설명하는 도면이다.
도 5는, 본 발명의 화상 처리 장치에 있어서 실행하는 노이즈 저감 처리의 구체예에 대하여 설명하는 도면이다.
도 6은, 평활화 강도를, W 화소를 이용하여 구하는 장점에 대하여 설명하는 도면이다.
도 7은, 본 발명의 화상 처리 장치에 있어서 실행하는 노이즈 저감 처리에 있어서, W 화소가 포화되어 있는 경우의 대책에 대하여 설명하는 도면이다.
도 8은, 라인 단위의 1차원(1D) 데이터를 이용하여 보간 W 화소의 설정과 보정을 실행하는 경우의 처리예를 설명하는 도면이다.
도 9는, 본 발명의 화상 처리 장치에 있어서 실행하는 노이즈 저감 처리의 상세 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면이다.
도 10은, RGBW 배열의 예에 대하여 설명하는 도면이다.
도 11은, 결함 보정 처리의 개요에 대하여 설명하는 도면이다.
도 12는, 일반적인 화소 결함의 검출 처리예에 대하여 설명하는 도면이다.
도 13은, 일반적인 화소 결함의 검출 처리예에 대하여 설명하는 도면이다.
도 14는, 본 발명의 화상 처리 장치에 있어서 실행하는 화상으로부터의 텍스처 검출 처리의 일례에 대하여 설명하는 도면이다.
도 15는, 본 발명의 화상 처리 장치에 있어서 실행하는 결함 보정 처리의 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면이다.
도 16은, 본 발명의 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
도 17은, 본 발명의 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
도 18은, 본 발명의 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
이하, 도면을 참조하면서 본 발명의 화상 처리 장치, 및 화상 처리 방법과 프로그램의 상세에 대하여 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.
1. 전체 파장 투과형 W(White) 화소를 포함하는 화소 배열에 대하여
2. 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출하는 처리예에 대하여
3. 결함 보정 대상으로 되는 컬러 화소의 보정 처리에 있어서, W 화소를 적용한 텍스처 검출 결과에 따라서 결함 보정을 실행하는 처리예에 대하여
4. 화상 처리 장치의 구성예에 대하여
4-1. 화상 처리 장치의 구성예 1
4-2. 화상 처리 장치의 구성예 2
4-3. 화상 처리 장치의 구성예 3
5. 본 발명의 구성의 결론
[1. 전체 파장 투과형 W(White) 화소를 포함하는 화소 배열에 대하여]
우선, 본 발명의 화상 처리 장치에 있어서의 노이즈 저감 처리나 결함 보정 처리의 대상으로 되는 화상을 촬영하는 촬상 소자의 화소 배열인 전체 파장 투과형 W(White) 화소를 포함하는 화소 배열의 예에 대하여 설명한다.
전술한 바와 같이, 디지털 카메라 등의 촬상 장치에 있어서, 촬상 소자에 사용하는 필터로서 RGB의 각 색을 배열하려는 베이어(Bayer) 배열이 널리 알려져 있지만, 요즈음, 이들 RGB 각 색 외에, 거의 RGB 각 색의 전체 파장 영역의 광을 투과시키는 전체 파장 투과형 W(White) 화소를 구비한 RGBW 배열을 갖는 필터가 제안되어 있다.
RGBW 배열의 구체적으로는, 예를 들어 도 1의 (a) 내지 (d)에 나타낸 RGBW 배열이 있다. 또한, 도 1의 (e)에는 참고예로서, 일반적인 RGB 배열인 베이어(Bayer) 배열을 나타내고 있다.
도 1에 나타낸 바와 같이, 다양한 W 화소를 포함하는 배열이 제안되어 있지만, W 화소를 이용함으로써, 종래의 베이어 배열에 비하여 RGB 각 색의 컬러(Color) 화소의 밀도가 저하된다.
화상에 포함되는 노이즈 제거 처리로서는, 노이즈 제거 대상 화소(주목 화소)와 동일 색의 근방 화소의 화소를 참조 화소로서 선택하고, 이 참조 화소의 화소값을 이용하여 노이즈 저감 화소의 보정 화소값을 산출하는 처리가 행해지는 경우가 많다.
그러나, 예를 들어 도 1의 (a) 내지 (d)에 나타낸 RGBW 배열은, 도 1의 (e)에 나타낸 베이어 배열에 비하여 RGB 각 화소의 밀도가 저하된다. 따라서, RGB 각 화소의 노이즈 저감을 목적으로 한 보정 처리를 행하는 경우에 이용 가능한 참조 화소, 즉, 보정 대상 화소의 색과 동일 색의 근방의 참조 가능 화소가 적어진다. 즉 단위 면적당 동일 색의 컬러 화소의 수가 적다. 이 결과, 충분한 수의 참조 화소의 화소값을 이용할 수 없어 보정 정밀도가 저하되어 버린다는 문제가 발생한다.
구체예에 대하여, 도 2를 참조하여 설명한다.
도 2는, 도 1에 나타낸 (a), (c)의 각 RGBW 화소 배열의 7×7 화소 영역을 나타낸 도면이다.
예를 들어, 도 2의 (a)에 있어서, 7×7 화소 영역의 중심 화소 (B)를 주목 화소, 즉 노이즈 제거 대상 화소로서 설정한다. 이 주목 화소를 중심으로 한 7×7 화소 영역을, 주목 화소를 중심으로 한 참조 영역으로 한다. 이 참조 영역에 포함되는 주목 화소와 동일한 색의 화소를 참조 화소로서 선택하고, 참조 화소의 화소값을 이용하여, 주목 화소의 보정 화소값, 즉 노이즈 저감 화소값을 산출하는 처리를 실행한다.
그러나, 도 2의 (a)에 나타낸 바와 같이, 중심 화소인 B 화소와 동일 색의 B 화소는, 7×7 화소의 참조 영역에 불과 4 화소밖에 포함되지 않는다.
또한, 노이즈 저감 처리를 행하는 경우, 예를 들어 보정 대상 화소인 주목 화소와 참조 화소의 화소값 차분에 따른 가중치를 설정하고, 가중치 부여 가산 등을 실행하여 주목 화소의 보정 화소값을 산출한다고 하는 처리가 많이 행해진다. 즉, 주목 화소와 그 주위의 동일 색인 참조 화소의 화소값을 평활화하도록 주목 화소의 화소값을 변경하는 보정 처리, 소위 평활화 처리가 행해진다. 그러나, 참조 화소의 수가 적으면, 예를 들어 보정 대상 화소나 참조 화소 중에 1개라도 에러 화소가 포함되는 경우 등에 부자연스러운 보정 화소값이 산출되어 버리는 경향이 높아진다는 문제가 있다.
이것은, 도 2의 (c)에 나타낸 화소 배열이나, 그 밖의 RGBW 배열에 있어서도 마찬가지이다. 또한, B 화소 이외의 RG 화소에 대해서도, RGBW 배열에서는, RGB 화소 배열에 비하여 단위 면적당 동일 색 화소의 수가 적어, 보정 화소값의 산출에 적용 가능한 참조 화소수의 저하에 의해 보정 정밀도가 저하된다는 문제가 있다.
[2. 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출하는 처리예에 대하여]
다음으로, 본 발명의 화상 처리 장치에 있어서 실행하는 화상의 노이즈 저감 처리예로서, 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출하는 처리예에 대하여 설명한다.
전술한 바와 같이, 예를 들어 도 1의 (a) 내지 (d)나, 도 2의 (a), (c)에 나타낸 RGBW 배열에서는, 도 1의 (e)에 나타낸 RGB 화소만으로 구성되는 베이어 배열에 비하여, RGB 각 컬러 화소의 화소 밀도가 저하된다.
예를 들어 도 2에 나타낸 주목 화소를 중심으로 하는 7×7 화소를 포함하는 참조 영역에는, 보정 대상으로 되는 중앙의 주목 화소와 동일 색의 화소가 적어, 이들의 적은 동일 색 화소를 참조한 보정 처리에서는, 보정 정밀도가 저하되어 버린다.
본 발명의 화상 처리 장치에서는, 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출한다. 도 3 이하를 참조하여 이 처리예에 대하여 설명한다.
도 3의 (1)의 촬영 화상(모자이크 화상)은, 도 2의 (a)와 마찬가지의 배열을 갖는 화상이며, RGBW 배열의 촬상 소자 출력 화상을 나타내고 있다. 촬상 소자의 출력 화상의 각 화소는 RGBW 중 어느 하나의 화소값만이 설정되어 있다.
또한, 이러한 화상은 모자이크 화상이라 불린다. 이 모자이크 화상의 각 화소 위치에 RGB 모든 화소값을 설정하는 처리는 디모자이크 처리라 불리며, 예를 들어 디지털 카메라에서는, 디모자이크 처리를 실행하여 각 화소 위치에 RGB 화소값을 설정한 화상을 메모리에 저장하고, 또한 디스플레이에 표시한다.
도 3에 나타낸 예는, 이 디모자이크 처리 전의 도 3의 (1)에 나타낸 모자이크 화상에 대하여, 각 화소의 노이즈 저감 처리를 행하는 경우의 예를 나타내고 있다.
도 3에 나타낸 예는, 보정 대상 화소, 즉 노이즈 저감 대상으로 되는 화소를 중심으로 하는 7×7 화소의 참조 영역을 설정하여 보정 대상 화소의 보정 화소값을 산출하는 경우의 예이다. 도 3에 나타낸 예는, 7×7 화소의 참조 영역의 중심 B 화소(B0)를 보정 대상 화소로 하고 있으며, 이 B 화소(B0)의 보정 화소값을 산출한다.
우선, 참조 영역으로부터 보정 대상 화소와 동일 색의 화소를 선택한다. 도 3의 (1)에 나타낸 B1, B2, B3, B4의 4개의 화소가 참조 화소로서 선택된다.
종래의 노이즈 저감 처리, 즉, 보정 대상 화소인 주목 화소와 참조 화소의 화소값 차분에 따른 가중치 부여 가산 등을 실행하여 주목 화소의 보정 화소값을 산출하는, 소위 평활화 처리를 행하는 경우에는, 예를 들어 이하와 같은 보정 화소값(B0')의 산출이 실행된다.
<식 a>
Figure pct00001
상기 식 a에 있어서, p, q, r, s, t는 주목 화소와 참조 화소의 화소값 차분에 따른 가중치(평활화 가중치)이며, 예를 들어 도 4에 나타낸 바와 같은 곡선을 정의하는 평활화 함수를 미리 규정하고, 이 평활화 함수에 따라서 설정된다.
이와 같이, 노이즈 저감 처리를 행하는 경우, 예를 들어 보정 대상 화소인 주목 화소와 참조 화소의 화소값 차분에 따른 가중치 부여 가산 등을 실행하여 주목 화소의 보정 화소값을 산출하는, 소위 평활화 처리가 많이 행해진다. 그러나, 참조 화소의 수가 적으면, 이 주목 화소와 참조 화소의 화소값 차분에 따른 가중치 부여 가산을 행한 경우, 예를 들어 1개라도 에러 화소가 포함되는 경우 등에는, 그에러 화소의 영향이 커져서, 최적의 평활화가 행해지지 않아 부자연스러운 보정 화소값이 산출되어 버리는 경우가 있다.
본 발명의 화상 처리 장치가 실행하는 주목 화소에 대한 노이즈 저감 처리, 즉 화소값 보정 처리에 있어서는, 보정 대상으로 되는 주목 화소(B0)와 4개의 참조 화소(B1 내지 B4)의 각 화소 위치의 W 화소값을 추정한다. 즉, 보정 대상으로 되는 주목 화소(B0)와 4개의 참조 화소(B1 내지 B4)의 각 화소 위치에 대한 W 화소 보간 처리를 행한다. 이들 W 화소 보간 처리는, 보간 화소 위치 주위의 W 화소를 참조 화소로 한 보간 처리에 의해 실행 가능하다.
도 3에 나타낸 RGBW 배열에서는, 참조 영역으로서 나타내는 7×7 화소 중의 약 절반의 화소가 W 화소에 의해 구성되며, W 화소의 화소 밀도가 가장 높다. 예를 들어 주목 화소(B0)와 4개의 참조 화소(B1 내지 B4)의 5개의 각 화소 위치의 주위에는 상하 및 좌우로 인접하여 4개의 W 화소가 존재한다. 각 보간 화소 위치에 있어서, 예를 들어 이들 4개의 W 화소의 화소값 평균을 산출하여 보간 W 화소의 W 화소값을 결정한다. 또는 에지 방향을 고려한 보간 처리, 예를 들어 화소값의 구배가 적은 방향의 화소 가중치를 크게 설정한 가중치 부여 가산 등에 의해 보간 화소값을 산출하여도 된다.
도 3의 (2)에 나타낸 보간 화상과 같이, 보정 대상으로 되는 주목 화소(B0)와 4개의 참조 화소(B1 내지 B4)의 각 화소 위치에 보간 W 화소(W0 내지 W5)를 설정한다.
보정 대상으로 되는 주목 화소(B0)의 노이즈 저감 후의 보정 화소값은, 이들 보간 W 화소의 W 화소값을 적용하여 산출한다.
구체적으로는, 도 5에 나타낸 바와 같이 보간된 W 화소값을 이용하여 산출되는 평활화 강도를 적용하여 보정 화소값을 산출한다.
예를 들어, 이하에 나타내는 수학식 1에 따라서, 주목 화소의 보정 화소값INR(p)를 산출한다.
Figure pct00002
상기 식에 있어서, 각 파라미터는 이하의 값을 나타낸다.
INR(p): 주목 화소의 보정 화소값(=노이즈 저감 처리 후의 보정 화소값)
Ωp: 주목 화소를 중심으로 한 참조 영역
I(q): 참조 영역(Ωp) 내의 주목 화소와 동일 색 화소의 참조 화소의 화소값
W(p): 주목 화소 위치의 보간 W 화소값
W(q): 참조 영역(Ωp) 내의 주목 화소와 동일 색 화소의 참조 화소 위치의 보간 W 화소값
φ: 평활화 함수
상기의 수학식 1에 따라서 참조 영역의 중심의 주목 화소의 보정 화소값을 산출한다. 상기 수학식 1은, 참조 화소 위치의 보간 W 화소값을 이용하여 평활화 가중치를 결정하여 주목 화소의 보정 화소값을 산출하는 식이다.
φ: 평활화 함수는, 앞에서 도 4를 참조하여 설명한 것과 마찬가지의 함수이며, 주목 화소와 참조 화소의 차분에 따른 가중치를 설정하는 함수이다. 또한, 이 처리예에서는, 주목 화소 위치에 대응하는 보간 W 화소의 W 화소값과 참조 화소 위치에 대응하는 보간 W 화소의 W 화소값의 차분에 따른 가중치를 산출하는 함수로 된다.
이와 같이, 예를 들어 7×7 화소의 참조 영역에 포함되는 B 화소의 수는 적지만 W 화소의 수는 많아, B 화소를 그대로 참조 화소로서 이용하는 것보다, 보간 W 화소를 이용하여 평활화 가중치를 결정하여 보정 화소값을 산출함으로써, 보다 정밀도가 높은 노이즈 저감 처리가 가능해진다.
특히, 컬러 필터의 분광 특성으로부터 W 화소와 RGB의 각 컬러 화소에는 강한 상관이 있기 때문에, 효과적이다. 또한, W 화소는 감도가 높기 때문에 노이즈가 적어, 에지나 텍스처에 따른 적절한 평활화 가중치를 결정하는 것이 가능해진다. 또한, W 화소에 실리는 노이즈와 컬러 화소에 실리는 노이즈에는 상관이 없기 때문에, 평활화 강도를 W 화소로부터 산출함으로써, 평활화 강도가 직접 평활화를 행하는 화소값에 의존하지 않아, 신호 레벨의 변화가 억제되는 이점도 있다.
또한, 도 3, 도 5를 참조하여 설명한 처리예는, 주목 화소를 B 화소로 하여, B 화소의 보정 화소값을 산출하는 처리예이지만, 그 밖의 컬러 화소인 RG에 대해서도, 마찬가지의 처리를 행한다.
즉, 보정 대상으로 되는 RGB 컬러 화소 중 어느 하나의 컬러 화소를 중심으로 한 참조 영역(예를 들어 7×7 화소)을 설정하여, 주목 화소와 참조 화소 위치에 W 화소를 보간하고, 상기의 수학식 1을 적용하여 노이즈를 저감한 보정 화소값을 산출한다.
또한, 참조 영역은 7×7 화소에 한하지 않고, 그 밖의 다양한 크기의 영역 설정이 가능하다.
본 처리예에서는, 상기의 수학식 1에 따라서 주목 화소의 노이즈 저감 화소값인 보정 화소값을 산출하고 있지만, 이 노이즈 저감(NR) 처리에 있어서, 평활화 강도를, W 화소를 이용하여 구하는 장점에 대하여 도 6을 참조하여 설명한다.
도 6에는, 이하의 각 처리예를 나타내고 있다.
(A) 평활화 강도를 컬러 화소로부터 산출한 경우의 노이즈 저감(NR) 처리를 실행한 경우의 신호 레벨의 변화예
(B) 평활화 강도를 보간 W 화소로부터 산출한 경우의 노이즈 저감(NR) 처리를 실행한 경우의 신호 레벨의 변화예
즉, 도 6의 (A)는, 예를 들어 도 3에 나타낸 B0 화소의 화소값 보정을 예로서 설명하면, 앞에서 설명한 식 a, 즉, 보정 화소값(B0')을 이하의 식 a에 따라서 산출하는 처리이다.
Figure pct00003
한편, 도 6의 (B)는 상기 수학식 1에 따라서 보정 화소값을 산출하는 처리에 상당한다.
도 6의 (A)에 나타낸 바와 같이, 평활화 강도를 컬러 화소 자신으로부터 구하는 경우, 보정 대상으로 되는 중심 화소에 정의 노이즈가 실린 경우에는 강한 보정(NR)이 걸려 신호가 크게 감소한다. 한편, 부의 노이즈가 실린 경우에는 약한 보정(NR)이 걸려, 신호의 증가는 적다. 전체적으로, 신호 레벨은 내려가 버린다.
한편, 도 6의 (B)에 나타낸 바와 같이, 평활화 강도를 보간 W 화소로부터 구함으로써, 보정 대상으로 되는 중심 화소에 정의 노이즈가 실린 경우에도 부의 노이즈가 실린 경우에도 거의 동일 정도의 보정(NR)을 거는 것이 가능하게 되어, 전체적으로 신호 레벨의 변화를 적게 한 보정이 가능해진다.
본 발명의 구성에서는, RGB에 실리는 노이즈와 W에 실리는 노이즈는 상관이 없는 것을 이용하여, 보간된 W 화소로부터 평활화 강도를 산출함으로써, 보정(NR)이 강하게 걸리는 개소와 약하게 걸리는 개소를 중앙 화소에 실리는 노이즈 레벨에 의하지 않고 랜덤으로 한다. 이에 의해, 보정(NR) 후의 신호의 평균 레벨을 중심값에 근접시키는 것이 가능해진다.
이와 같이, RGB 각 컬러 화소의 위치에 W 화소를 보간하고, 보간 W 화소값을 이용하여 평활화 가중치를 설정하는 구성에 있어서, 하나 문제로 되는 것은, W 화소가 포화되어 있는 경우이다. 포화 화소값을 갖는 화소는, 올바른 화소값을 반영하지 않을 가능성이 높아, 이러한 포화 화소를 참조 화소로 한 보정을 행하는 것은 바람직하지 않다.
이하, 도 7을 참조하여, W 화소가 포화되어 있는 경우의 대책에 대하여 설명한다.
보정 대상으로 되는 RGB 컬러 화소 중 어느 하나의 컬러 화소를 중심으로 한 참조 영역(예를 들어 7×7 화소)을 설정하여, 주목 화소와 참조 화소 위치에 W 화소를 보간한다.
여기까지의 처리는, 앞에서 도 3 내지 도 5를 참조하여 설명한 처리와 마찬가지이다.
도 7에 나타낸 바와 같이,
참조 영역의 중앙의 보정 대상으로 되는 주목 화소 위치에 보간 화소 W0,
주목 화소 주위의 7×7 화소의 참조 영역에 4개의 보간 W 화소 W1 내지 W4,
이들의 보간 W 화소를 설정한다.
다음으로, 이들의 보간 W 화소 중 어느 것이 포화되지 않는지의 포화 판정 처리를 행한다.
어느 하나의 보간 W 화소가 최대 화소값이면 포화 화소라고 판정한다.
보간 W 화소 W0 내지 W4의 모두가 포화 화소가 아닌 경우에는, 도 7의 (a)에 나타낸 바와 같이 전술한 수학식 1에 따라서 보간 W 화소를 적용하여 산출되는 평활화 가중치를 적용하여 주목 화소의 보정 화소값을 산출하여 보정(NR) 처리를 실행한다.
한편, 보간 W 화소 W0 내지 W4에, 1개라도 포화 화소가 포함되는 경우에는, 도 7의 (b)에 나타낸 바와 같이, 이하의 수학식 2에 따라서, 보간 W 화소를 적용하지 않고, 주목 화소, 및 주목 화소와 동일 색인 참조 화소의 차분에 기초하는 평활화 가중치를 적용하여 주목 화소의 보정 화소값을 산출하여 보정(NR) 처리를 실행한다.
Figure pct00004
상기 식에 있어서, 각 파라미터는 이하의 값을 나타낸다.
INR(p): 주목 화소의 보정 화소값(=노이즈 저감 처리 후의 보정 화소값)
Ωp: 주목 화소를 중심으로 한 참조 영역
I(q): 참조 영역(Ωp) 내의 주목 화소와 동일 색 화소의 참조 화소의 화소값
φ: 평활화 함수
이와 같이,
(a) 보간 W 화소의 화소값이 포화되지 않은 경우에는, 보간 W 화소를 적용하여 산출되는 평활화 가중치를 적용하여 주목 화소의 보정 화소값을 산출하여 보정(NR) 처리를 실행한다.
(b) 보간 W 화소의 화소값이 포화되어 있는 경우에는, 보간 W 화소가 아니라 본래의 컬러 화소를 적용하여 산출되는 평활화 가중치를 적용하여 주목 화소의 보정 화소값을 산출하여 보정(NR) 처리를 실행한다.
이와 같이 (a), (b) 2개의 처리를 보간 W 화소의 포화 유무에 따라서 전환하여 실행한다.
이와 같은 처리를 행함으로써, 포화한 보간 W 화소에 기초하는 보정이 회피되고, 고정밀도의 보정(NR) 처리를 실행할 수 있다.
전술한 노이즈 저감(NR) 처리는, 참조 영역을 7×7 화소로 한 2차원(2D) 평면을 이용한 처리이지만, 이러한 2차원 평면을 이용한 처리를 행하는 경우, 메모리에 적어도 참조 영역분의 2차원(2D) 화상을 유지하는 것이 필요해진다.
촬상 소자로부터의 화소값은, 예를 들어 수평 방향(x 방향)의 라인 단위로 순차 출력된다. 즉 신호 처리부에는, 1차원(1D) 데이터로서 순차, 입력된다.
전술한 참조 영역을 7×7 화소로 한 2차원(2D) 평면을 이용한 처리를 행하는 경우, 적어도 7 라인분의 데이터를 유지하는 것이 필요해지고, 용량이 큰 메모리가 필요해져서, 예를 들어 카메라 등의 비용 상승을 초래한다는 문제가 있다.
이와 같은 대용량 메모리의 이용을 회피하기 위해서, 라인 단위의 1차원(1D) 데이터를 이용하여 전술한 보간 W 화소의 설정을 행하고, 노이즈 저감 처리로서의 화소값 보정을 행하는 구성으로 하여도 된다. 또한, 그 후, 예를 들어 IIR(Infinit Impulse Response; 무한 임펄스 응답) 필터를 이용하여 수직 방향 화소를 참조한 보정을 행하는 구성도 가능하다. 또한, IIR 필터는, 시계열을 따라 입력되는 신호에 대하여, 현재의 신호와 그보다도 과거의 신호만을 참조한 처리로서 행해지는 필터 처리이며, 참조 화소값을 모두 유지하는 메모리를 생략할 수 있다.
도 8은, 라인 단위의 1차원(1D) 데이터를 이용하여 전술한 보간 W 화소의 설정과 보정을 실행하는 경우의 처리예를 설명하는 도면이다.
도 8의 (1)에 나타낸 데이터는, 촬상 소자로부터 출력되는 수평 라인의 화소 데이터에 상당한다.
여기서, 노이즈 저감 처리 대상으로 하는 주목 화소를 도면에 나타낸 중앙부의 B 화소, NR 처리 화소로 한다. 이 NR 처리 화소의 화소값은 I(p)이다.
이 NR 처리 화소와, 이 라인에 포함되는 B 화소의 위치에 보간 W 화소를 설정한다.
보간 W 화소의 화소값은, 각 B 화소에 인접하는 2개의 W 화소의 평균값 등, 인접 W 화소의 화소값을 적용하여 결정하면 된다.
이 보간 W 화소 설정 처리의 후, 전술한 수학식 1에 따른 보정 화소값의 산출을 실행한다.
단, 보간 W 화소의 화소값이 포화되어 있는 경우에는, 보간 W 화소를 이용하지 않고, 전술한 수학식 2에 따른 보정 화소값 산출을 실행한다.
이와 같은 처리를 행함으로써, 저비용으로 TAP 수가 많은 노이즈 저감 처리가 실현된다.
본 발명의 화상 처리 장치에 있어서 실행하는 노이즈 저감(NR) 처리의 처리 시퀀스에 대하여, 도 9에 나타낸 흐름도를 참조하여 설명한다.
도 9에 나타낸 흐름도는, 예를 들어 디지털 카메라 등의 화상 처리 장치에 있어서, 촬상 소자로부터 촬영 화상 신호를 입력하여 신호 처리를 실행하는 신호 처리부에서 실행하는 처리이다. 예를 들어 도 9에 나타낸 신호 처리 시퀀스를 기록한 프로그램에 따라서 프로그램 실행 기능을 갖는 신호 처리부 내의 CPU 등의 데이터 처리부에서 처리가 실행된다.
신호 처리부는, 촬상 소자로부터 입력하는 RGBW의 각 화소 신호를 1개씩 순차적으로, 보정 대상으로서 선택하여 처리를 행한다.
우선, 스텝 S101에 있어서, 보정 대상 화소(주목 화소)가 W(White) 화소인지 여부를 판정한다.
보정 대상 화소(주목 화소)가 W(White) 화소인 경우에는 스텝 S107로 진행된다.
보정 대상 화소(주목 화소)가 W(White) 화소가 아닌 경우, 즉 RGB 중 어느 하나의 컬러 화소인 경우에는, 스텝 S102로 진행된다.
보정 대상 화소(주목 화소)가 W(White) 화소인 경우에는 스텝 S107로 진행하고, 종래형의 평활화 처리를 실행하여, 보정 대상 화소(주목 화소)인 W 화소의 보정 화소값을 산출하고, 노이즈 저감 화소로 한다.
RGBW 배열에 있어서, W 화소는, 화소 밀도가 크기 때문에, W 화소만을 참조 화소로서 선택하여 W 화소만을 포함하는 참조 화소의 화소값을 이용하여 평활화 가중치를 설정하여 보정 화소값을 산출하여도 보정 정밀도가 저하될 가능성은 낮다.
한편, 보정 대상 화소(주목 화소)가 W(White) 화소가 아닌 경우, 즉 RGB 중 어느 하나의 컬러 화소인 경우에는, 스텝 S102로 진행된다.
스텝 S102에서는, 주목 화소를 중심으로 한 참조 화소 영역에 있는 주목 화소와 동일 색인 참조 화소 위치에 W 화소를 설정하는 W 화소 보간 처리를 실행한다.
이 처리는, 앞에서 도 3, 도 5를 참조하여 설명한 W 화소 보간 처리이다.
다음으로, 스텝 S103에 있어서, 보간 W 화소에 포화 화소가 1개라도 존재하는지 여부를 판정한다.
보간 W 화소에 포화 화소가 1개라도 존재하는 것이 확인된 경우에는, 스텝 S105로 진행된다.
보간 W 화소에 포화 화소가 1개도 존재하지 않는 것을 확인한 경우에는 스텝 S104로 진행된다.
보간 W 화소에 포화 화소가 1개도 존재하지 않는 것을 확인하고, 스텝 S104로 진행하면, 스텝 S104와 S106에 있어서, 앞에서 설명한 수학식 1에 따른 보정 화소값의 산출 처리를 행한다. 즉, 보간 W 화소의 화소값을 적용한 평활화 가중치를 이용하여, 수학식 1에 따라서 주목 화소의 화소값을 산출한다. 이 보정 화소값을 노이즈 저감 후의 주목 화소의 화소값으로서 설정한다.
한편, 보간 W 화소에 포화 화소가 1개 이상 존재하는 것을 확인한 경우에는, 스텝 S105와 S106에 있어서, 앞에서 설명한 수학식 2에 따른 보정 화소값의 산출 처리를 행한다. 즉, 보간 W 화소의 화소값을 적용하지 않고, 주목 화소와 주목 화소와 동일 색인 참조 화소의 화소값을 적용한 평활화 가중치를 산출하여, 수학식 2에 따라서 주목 화소의 화소값을 산출한다. 이 보정 화소값을 노이즈 저감 후의 주목 화소의 화소값으로서 설정한다.
스텝 S106에 있어서, 수학식 1 또는 수학식 2를 적용한 보정 화소값의 산출이 종료되면, 스텝 S110으로 진행된다.
스텝 S110에서는, 화상의 구성 화소의 전부에 대한 보정 화소값의 산출이 완료하였는지 여부를 판정한다. 미처리 화소가 있는 경우에는, 스텝 S101로 되돌아가서, 스텝 S101 이하의 처리를 미처리 화소에 대하여 실행하여 미처리 화소에 대한 보정 화소값 산출 처리를 행한다.
스텝 S110에 있어서, 모든 화소에 대한 처리가 종료하였다고 판정되면 처리를 종료한다.
[3. 결함 보정 대상으로 되는 컬러 화소의 보정 처리에 있어서, W 화소를 적용한 텍스처 검출 결과에 따라서 결함 보정을 실행하는 처리예에 대하여]
다음으로, 본 발명의 화상 처리 장치에 있어서 실행하는 화상에 포함되는 결함 화소의 보정 처리예로서, 보정 대상으로 되는 컬러 화소의 화소 위치 근방의 W 화소를 적용한 텍스처 검출을 행하고 텍스처 검출 결과에 따라서 보정 처리의 실행 필요 여부를 판정하여 보정을 행하는 처리예에 대하여 설명한다.
우선, 도 1, 도 2를 참조하여 설명한 바와 같이, W(White) 화소를 포함하는 RGBW 배열은 종래의 베이어(Bayer) 배열과 비교하여 컬러 화소 간 거리가 멀어지기 때문에, 결함 보정이 곤란해지는 문제가 있다.
특히, 하드웨어(HW) 비용을 삭감하기 위해서, 앞에서 도 8을 참조하여 설명한 바와 같은 1차원(1D)의 화소 데이터를 적용한 결함 보정 처리를 행하는 경우에는, 보다 화소 간 거리가 길어지기 때문에, 그 문제가 현저해진다.
또한, 1차원(1D)의 화소 데이터를 적용한 결함 보정 처리는, 예를 들어 보정 대상으로 되는 화소(주목 화소)와 동일 색의 근방 화소를 참조 화소로서 선택하고, 참조 화소의 화소값을 적용하여 보정 화소의 화소값을 산출하는 처리를 행한다.
이와 같은 경우, 동일 색의 화소가 보정 대상 화소 근방에 다수 존재하면, 보다 고정밀도의 보정이 가능해지지만, 보정 대상 화소 근방에 참조 가능한 동일 색의 화소가 적은 경우에는, 결함 보정의 정밀도가 저하되어 버린다. 특히, 촬영 화상에 포함되는 피사체의 모양 등의 텍스처가 존재하는 경우, 손상 화소가 드문드문 있으면, 결함인지 텍스처인지의 판별이 곤란해져서, 고정밀도의 결함 보정은 극히 곤란해진다.
예를 들어, 도 10에 나타낸 바와 같이, (a) 내지 (d)에 나타낸 RGBW 배열에 있어서, 수평 방향에서 보면 모든 배열에서 W 화소는 2 화소에 1개 있는데 반하여, 모든 배열의 RB 화소와 (c) 배열 이외의 G 화소는 4 화소에 하나의 비율로밖에 존재하지 않는다.
동색 화소 간의 거리가 이격될수록, 텍스처와 결함의 분리가 곤란해지기 때문에, 종래, 많이 행해지고 있던 1D 결함 보정의 방법을 그대로 적용할 수는 없다.
이하에서는, 보정 대상 화소(주목 화소)에 인접하는 W(White) 화소를 이용한 해석 처리를 실행하여, 결함인지 텍스처인지를 판별하고, 결함이라고 판단된 경우에 결함 보정을 실행하는 처리예에 대하여 설명한다.
우선, 도 11을 참조하여 본 발명의 결함 보정 처리의 개요에 대하여 설명한다.
최근에 이용되는 센서에서는, 화소 밀도가 높아져서, 화상 촬영 처리에 있어서의 실제 장면의 하나인 휘점은 광학계의 특성에 의해 2 화소 이상에 걸쳐 관측된다. 도 11의 (1)에 나타낸 바와 같이 하나의 휘점은, 예를 들어 중앙 컬러 화소 G뿐만 아니라, 인접하는 W 화소에 걸쳐서 관측된다. 한편, 화소 결함은 광학적 특성의 영향을 받지 않기 때문에, 1 화소 단체에서 크게 신호 레벨이 오르내린다.
또한, 도 11의 (2)에 나타낸 바와 같이, W(White) 화소는 가시광 전역을 투과하는 특성이 있기 때문에, 예를 들어 휘점의 영향으로 참조 영역의 중앙에 있는 보정 대상 화소(주목 화소)인 컬러 화소 (G)의 신호 레벨이 올라가는 경우에는 인접하는 W(White) 화소의 신호 레벨이 상승한다.
그러나, 보정 대상 화소(주목 화소)인 컬러 화소 (G)가 결함에 기인하여 화소 레벨이 올라가고 있는 경우에는, 인접하는 W 화소의 화소 레벨은 G 화소에 비하여 비교적 낮은 화소 레벨로 된다.
즉, 보정 대상 화소(주목 화소)에 인접하는 W(White) 화소를 이용한 해석 처리를 행함으로써, 결함인지 촬영 화상에 따른 텍스처인지를 판별하는 것이 유효해진다.
다음으로, 도 12, 도 13을 참조하여 일반적인 화소 결함의 검출 처리예에 대하여 설명한다.
우선, 도 12를 참조하여 결함 검출 처리예 1에 대하여 설명한다.
도 12에 나타낸 결함 검출 처리예는, 앞에서 도 8을 참조하여 설명한 것과 마찬가지의 1차원(1D)의 화소 라인 데이터를 이용한 결함 검출 처리예이다.
도 12의 화소 라인의 중앙의 보정 대상 화소(주목 화소) G(x)가 결함 화소인지 여부를 판정한다.
이 처리에 있어서, G(x)와 동일 색인 근방 G 화소의 화소값을 취득한다.
도면에 나타낸 예에서는, G(x+8), G(x+4), G(x), G(x-4), G(x-8), 이들의 각 G 화소의 화소값을 취득한다.
또한, 이들 5개의 G 화소의 화소값 중 최댓값(max)과, 최솟값(min)을 판정한다.
G(x)가 최댓값(max)인 경우에는, G(x) 화소가 백색점 결함일 가능성이 있다고 판정하고,
G(x)가 최솟값(min)인 경우에는, G(x) 화소가 흑색점 결함일 가능성이 있다고 판정한다.
백색점 결함은, 정상 화소값보다 높은 화소값을 출력하는 결함이며, 흑색점 결함은, 정상 화소값보다 낮은 화소값을 출력하는 결함이다.
다음으로, 도 13을 참조하여 결함 검출 처리예 2에 대하여 설명한다.
도 13에 나타낸 결함 검출 처리예는,
(a) 보정 대상 화소(주목 화소) G(x)의 화소값,
(b) 보정 대상 화소(주목 화소) G(x)의 주변 화소로부터 추정되는 보정 대상 화소(주목 화소) G(x) 위치의 추정 화소값,
이들 (a), (b)의 화소값을 비교하여 보정 대상 화소(주목 화소) G(x)가 결함 화소인지 여부를 판정하는 처리이다.
이 처리에 있어서도, 앞의 처리예 1과 마찬가지로, 우선, G(x)와 동일 색인 근방 G 화소의 화소값을 취득한다.
도면에 나타낸 예에서는, G(x+8), G(x+4), G(x), G(x-4), G(x-8), 이들의 각 G 화소의 화소값을 취득한다.
또한, G(x)의 좌측의 2개의 G 화소, G(x-4), G(x-8)로부터 추정되는 보정 대상 화소(주목 화소) G(x) 위치의 추정 화소값 Gl(x)을 이하의 식에 따라서 산출한다.
Figure pct00005
마찬가지로, G(x)의 우측의 2개의 G 화소, G(x+4), G(x+8)로부터 추정되는 보정 대상 화소(주목 화소) G(x) 위치의 추정 화소값 Gr(x)를 이하의 식에 따라서 산출한다.
Figure pct00006
이들 2개의 추정 화소값: Gl(x), Gr(x)와, 실제의 보정 대상 화소(주목 화소)의 화소값 G(x)를 비교한다.
G(x)가, 2개의 추정 화소값: Gl(x), Gr(x)의 최댓값(max)보다 큰 경우에는, G(x) 화소가 백색점 결함의 가능성이 있다고 판정하고,
G(x)가, 2개의 추정 화소값: Gl(x), Gr(x)의 최솟값(min)보다 작은 경우에는, G(x) 화소가 흑색점 결함의 가능성이 있다고 판정한다.
백색점 결함은, 정상 화소값보다 높은 화소값을 출력하는 결함이며, 흑색점 결함은, 정상 화소값보다 낮은 화소값을 출력하는 결함이다.
화소의 결함 검출은, 예를 들어 도 12, 도 13을 참조하여 설명한 처리에 따라서 실행된다. 또한, 이 밖에도 다양한 결함 검출 처리가 있으며, 본 발명의 구성에서는, 다양한 결함 검출 처리가 적용 가능하다.
다음으로, 본 발명의 화상 처리 장치에 있어서 실행하는 화상으로부터의 텍스처 검출 처리의 일례에 대하여, 도 14를 참조하여 설명한다.
도 14에는,
(1) 텍스처 검출용 화소의 설정예
(2) 텍스처 검출 시퀀스
이들을 나타내고 있다.
(1) 텍스처 검출용 화소의 설정예는, 앞에서 도 8을 참조하여 설명한 것과 마찬가지로, 1차원(1D)의 화소 데이터, 즉 1 라인의 화소 데이터를 이용한 예이다.
텍스처의 유무를 판별하는 대상인 보정 대상 화소(주목 화소)를 도 14의 (1)에 나타낸 G(x)로 한다.
이 주목 화소 G(x)의 근방의 W 화소의 화소값을 취득한다.
도 14의 (1)에 나타낸 예에서는,
W(x-3), W(x-1), W(x+1), W(x+3),
이들 4개의 근방 W 화소의 화소값을 취득한다.
예를 들어, 도 14의 (1)에 나타낸 그래프와 같이, 각 좌표 위치에 대응하는 각 화소의 신호 레벨이 취득된다.
도 14의 (2)는, 볼록 텍스처, 즉, 주목 화소 G(x)의 신호 레벨이 주위보다 높아지는 텍스처인지 여부를 판별하는 처리이다.
앞에서 도 11을 참조하여 설명한 바와 같이 하나의 휘점에 따라서 복수의 인접 화소의 화소값에 영향을 미치기 때문에, 볼록 텍스처의 경우에는 인접 W도 레벨이 오른다고 생각하면 된다.
따라서, 우선, 주목 화소 G(x)의 인접 W 화소의 최댓값을, 이하의 수학식 3에 따라서 산출한다.
Figure pct00007
다음으로, 상기의 인접 W 화소의 외측 2개의 W 화소의 최솟값을 이하의 수학 식 4에 따라서 산출한다.
Figure pct00008
다음으로, 상기 수학식 3에 따라서 산출되는, 주목 화소 G(x)의 인접 W 화소의 최댓값과, 상기 수학식 4에 따라서 산출되는, 주목 화소 G(x)의 외주 W 화소의 최솟값의 차분을 산출하여 미리 설정한 임계값(Th)과 비교한다.
이 차분이 임계값(Th)보다 큰 경우에는, 주목 화소 G(x)는 텍스처(볼록 텍스처)라고 판정된다.
이 차분이 임계값(Th)보다 크지 않은 경우에는, 주목 화소 G(x)는 텍스처(볼록 텍스처)가 아니라고 판정된다.
즉,
Figure pct00009
상기 수학식 5가 성립되면, 주목 화소 G(x)는 텍스처(볼록 텍스처)라고 판정된다.
상기 수학식 5가 성립되지 않은 경우에는, 주목 화소 G(x)는 텍스처(볼록 텍스처)가 아니라고 판정된다.
도 14의 (b)는, 볼록 텍스처, 즉, 주목 화소 G(x)의 신호 레벨이 주위보다 높아지는 텍스처인지 여부를 판별하는 처리이지만, 오목 텍스처, 즉, 주목 화소 G(x)의 신호 레벨이 주위보다 낮아지는 텍스처인지 여부를 판별하는 처리도 마찬가지로 실행된다.
오목 텍스처 판별 처리에서는, 우선, 주목 화소 G(x)의 인접 W 화소의 최솟값을, 이하의 수학식 3에 따라서 산출한다.
Figure pct00010
다음으로, 상기의 인접 W 화소의 외측 2개의 W 화소의 최댓값을 이하의 수학식 7에 따라서 산출한다.
Figure pct00011
다음으로, 상기 수학식 6에 따라서 산출되는, 주목 화소 G(x)의 인접 W 화소의 최솟값과, 상기 수학식 7에 따라서 산출되는, 주목 화소 G(x)의 외주 W 화소의 최댓값과의 차분을 산출하여 미리 설정한 임계값(Th)과 비교한다.
이 차분이 임계값(Th)보다 큰 경우에는, 주목 화소 G(x)는 텍스처(오목 텍스처)라고 판정된다.
이 차분이 임계값(Th)보다 크지 않은 경우에는, 주목 화소 G(x)는 텍스처(오목 텍스처)가 아니라고 판정된다.
즉,
Figure pct00012
상기 수학식 8이 성립되면, 주목 화소 G(x)는 텍스처(오목 텍스처)라고 판정된다.
상기 수학식 8이 성립되지 않은 경우에는, 주목 화소 G(x)는 텍스처(오목 텍스처)가 아니라고 판정된다.
이와 같이 본 발명의 화상 처리 장치는, W 화소를 적용한 텍스처 판정 처리를 행한다. 앞에서 도 12, 도 13을 참조하여 설명한 결함 가능성의 판정 처리를 실행하고, 나아가, 결함 가능성이 있다고 판정된 경우에는, 도 14를 참조하여 설명한 텍스처 판정 처리를 행하고, 결함 가능성이 있다고 판정된 화소가 텍스처라고 판정된 경우에는, 결함이 아니라고 판단하여 결함 보정으로서의 화소값 보정을 실행하지 않고, 그대로의 화소값을 유효한 화소값으로서 출력한다.
도 15를 참조하여, 본 발명의 화상 처리 장치에 있어서 실행하는 결함 보정 처리의 처리 시퀀스에 대하여 설명한다.
도 15에 나타낸 흐름도는, 예를 들어 디지털 카메라 등의 화상 처리 장치에 있어서, 촬상 소자로부터 촬영 화상 신호를 입력하여 신호 처리를 실행하는 신호 처리부에 있어서 실행하는 처리이다. 예를 들어 도 15에 나타낸 신호 처리 시퀀스를 기록한 프로그램에 따라서 프로그램 실행 기능을 갖는 신호 처리부 내의 CPU 등의 데이터 처리부에 있어서 처리가 실행된다.
신호 처리부는, 촬상 소자로부터 입력하는 RGBW의 각 화소 신호를 1개씩 순차적으로, 보정 대상으로서 선택하여 처리를 행한다.
우선, 스텝 S201에 있어서, 보정 대상 화소(주목 화소)가 W(White) 화소인지 여부를 판정한다.
보정 대상 화소(주목 화소)가 W(White) 화소인 경우에는 스텝 S207로 진행된다.
보정 대상 화소(주목 화소)가 W(White) 화소가 아닌 경우, 즉 RGB 중 어느 하나의 컬러 화소인 경우에는, 스텝 S202로 진행된다.
보정 대상 화소(주목 화소)가 W(White) 화소인 경우에는 스텝 S207로 진행하고, 종래형의 결함 보정 처리를 실행한다. 스텝 S207에서는, W(White) 화소의 결함 가능성을 판정하고, 결함 화소라고 판정한 경우에는 보정 대상 화소(주목 화소)인 W 화소의 보정 화소값을 산출하고, 출력 화소로 한다. 또한, RGBW 배열에 있어서, W 화소는, 화소 밀도가 크기 때문에, W 화소만을 참조 화소로서 선택하여 W 화소만을 포함하는 참조 화소의 화소값을 이용하여 보정 화소값을 산출하여도 보정 정밀도가 저하될 가능성은 낮다.
한편, 보정 대상 화소(주목 화소)가 W(White) 화소가 아닌 경우, 즉 RGB 중 어느 하나의 컬러 화소인 경우에는, 스텝 S202로 진행된다.
스텝 S202에서는, RGB 중 어느 하나의 컬러 화소인 주목 화소가 결함 화소일 가능성을 판정한다.
이 처리는, 예를 들어 앞에서 도 12, 도 13을 참조하여 설명한 결함 검출 처리를 적용하여 실행된다.
스텝 S203에 있어서, RGB 중 어느 하나의 컬러 화소인 주목 화소가 결함 화소일 가능성이 있다고 판정된 경우에는, 스텝 S204로 진행된다.
한편, 스텝 S203에 있어서, RGB 중 어느 하나의 컬러 화소인 주목 화소가 결함 화소일 가능성이 없다고 판정된 경우에는, 주목 화소에 대한 결함 보정을 행하지 않고 스텝 S210으로 진행된다.
스텝 S203에 있어서, RGB 중 어느 하나의 컬러 화소인 주목 화소가 결함 화소일 가능성이 있다고 판정된 경우에는, 스텝 S204에 있어서, 나아가, 주목 화소 텍스처 영역인지 여부를 판정하는 텍스처 판정 처리를 행한다.
이 텍스처 판정 처리는, 주목 화소 근방의 W 화소를 적용하여 실행한다. 즉, 앞에서 도 14를 참조하여 설명한 텍스처 판정 처리를 실행한다.
스텝 S205에 있어서, 주목 화소가 텍스처 영역이라고 판정된 경우에는, 주목 화소에 대한 결함 보정 처리는 행하지 않고, 스텝 S210으로 진행된다.
한편, 스텝 S205에 있어서, 주목 화소가 텍스처 영역이 아니라고 판정된 경우에는, 주목 화소가 결함 화소라고 판정되고, 스텝 S206에 있어서 결함 보정 처리를 실행한다.
또한, 이 결함 보정 처리는, 예를 들어 이하의 처리를 행한다.
주목 화소가, 백색점의 가능성이 있고 볼록 텍스처가 아니면, 예를 들어 이하의 결함 보정 (a), (b) 중 어느 하나의 처리를 행한다.
(a) 주목 화소 근방의 동일 색인 4개의 화소의 화소값 중, 고화소값 순의 2번째인 화소값(2nd_max)을 주목 화소의 보정 화소값으로 한다.
(b) 앞에서 도 13을 참조하여 설명한 주목 화소의 좌측의 동일 색 화소의 화소값으로부터의 제1 추정 화소값과, 우측의 동일 색 화소의 화소값으로부터의 제2 추정 화소값의 최댓값을 주목 화소의 보정 화소값으로 한다.
상기 (b)의 처리는, 예를 들어 주목 화소가 도 13에 나타낸 G(x)인 경우, 이하와 같이 하여 보정 화소값을 설정한다.
G(x)의 좌측의 2개의 G 화소, G(x-4), G(x-8)로부터, 이하의 식에 따라서 제1 추정 화소값 Gl(x)를 산출한다.
Figure pct00013
또한, G(x)의 우측의 2개의 G 화소, G(x+4), G(x+8)로부터, 이하의 식에 따라서 제2 추정 화소값 Gr(x)를 산출한다.
Figure pct00014
이들 2개의 추정 화소값: Gl(x), Gr(x)의 최댓값, 즉,
max(Gl(x), Gr(x)),
상기의 식에 따라서 선택되는 Gl(x), Gr(x) 중 어느 하나의 최대 화소값을 보정 대상으로 되는 주목 화소 G(x)의 보정 화소값으로 한다.
이와 같은 처리에 의해 보정 화소값을 설정한다.
한편, 주목 화소가, 흑색점의 가능성이 있고 오목 텍스처가 아니면, 예를 들어 이하의 결함 보정 (c), (d) 중 어느 하나의 처리를 행한다.
(c) 주목 화소 근방의 동일 색인 4개의 화소의 화소값 중, 저화소값 순의 2번째인 화소값(2nd_min)을 주목 화소의 보정 화소값으로 한다.
(d) 앞에서 도 13을 참조하여 설명한 주목 화소의 좌측의 동일 색 화소의 화소값으로부터의 제1 추정 화소값과, 우측의 동일 색 화소의 화소값으로부터의 제2 추정 화소값의 최솟값을 주목 화소의 보정 화소값으로 한다.
상기 (d)의 처리는, 예를 들어 주목 화소가 도 13에 나타낸 G(x)인 경우, 이하와 같이 하여 보정 화소값을 설정한다.
G(x)의 좌측의 2개의 G 화소, G(x-4), G(x-8)로부터, 이하의 식에 따라서 제1 추정 화소값 Gl(x)를 산출한다.
Figure pct00015
또한, G(x)의 우측의 2개의 G 화소, G(x+4), G(x+8)로부터, 이하의 식에 따라서 제2 추정 화소값 Gr(x)를 산출한다.
Figure pct00016
이 2개의 추정 화소값: Gl(x), Gr(x)의 최솟값, 즉,
min(Gl(x), Gr(x)),
상기의 식에 따라서 선택되는 Gl(x), Gr(x) 중 어느 하나의 최소 화소값이 보정 대상으로 되는 주목 화소 G(x)의 보정 화소값으로 한다.
이와 같은 처리에 의해 보정 화소값을 설정한다.
스텝 S206의 결함 보정 처리는 이러한 주목 화소의 보정 화소값 설정 처리로서 실효한다.
다음으로, 스텝 S210에서는, 화상의 구성 화소의 모두에 대한 스텝 S201 내지 S207의 결함 보정 처리가 완료하였는지 여부를 판정한다. 미처리 화소가 있는 경우에는, 스텝 S201로 되돌아가서, 스텝 S201 이하의 처리를 미처리 화소에 대하여 실행하고 미처리 화소에 대한 처리를 행한다.
스텝 S210에 있어서, 모든 화소에 대한 처리가 종료하였다고 판정되면 처리를 종료한다.
[4. 화상 처리 장치의 구성예에 대하여]
다음으로, 전술한 노이즈 저감 처리 및 결함 보정 처리를 실행하는 화상 처리 장치의 구성예에 대하여 설명한다.
도 16 내지 도 18을 참조하여, 본 발명의 화상 처리 장치의 복수의 구성예에 대하여 설명한다. 도 16 내지 도 18에 나타낸 신호 처리부는, 예를 들어 디지털 카메라에서의 신호 처리부로서 구성된다. 도 16 내지 도 18은, 이하의 설정으로 한 신호 처리부에 상당한다.
(a) 도 16에 나타낸 신호 처리부(200): 1차원(1D) 화소 데이터를 이용한 결함 보정과, 2차원(2D) 영역의 참조 영역을 이용한 노이즈 저감(NR) 처리를 실행하는 신호 처리부.
(b) 도 17에 나타낸 신호 처리부(300): 1차원(1D) 화소 데이터를 이용한 결함 보정과 노이즈 저감(NR) 처리를 실행하는 신호 처리부.
(c) 도 18의 신호 처리부(400): 2차원(2D) 영역의 참조 영역을 이용한 결함 보정과, 노이즈 저감(NR) 처리를 실행하는 신호 처리부.
이하, 이들의 신호 처리부의 구성과 처리에 대하여, 순차적으로 설명한다.
또한, 어느 하나의 신호 처리부도 예를 들어 디지털 카메라 내에 구성되고, 예를 들어 디지털 카메라의 메모리에 기억된 프로그램에 따라서 CPU 등에 의해 구성되는 제어부로부터 제어 신호를 입력하고, 제어 신호에 의해 규정된 타이밍이나 시퀀스에 따라서, 순차적으로 규정의 처리를 실행한다.
[4-1. 화상 처리 장치의 구성예 1]
우선, 도 16을 참조하여, 제1 화상 처리 장치의 구성예로서, 1차원(1D) 화소 데이터를 이용한 결함 보정과, 2차원(2D) 영역의 참조 영역을 이용한 노이즈 저감(NR) 처리를 실행하는 신호 처리부(200)를 갖는 화상 처리 장치의 예에 대하여 설명한다.
도 16에 나타낸 신호 처리부(200)는, 데이터 변환 처리부(210)와, RGB 신호 처리부(230)를 갖는다.
데이터 변환 처리부(210)는, 도 16에 나타낸 바와 같이, RGBW 화소 배열을 갖는 촬상 소자(150: 이미지 센서)로부터 수평 방향 라인의 화소 순으로 화소 신호를, 순차 입력한다.
데이터 변환 처리부(210)는, 촬상 소자(150: 이미지 센서)로부터 입력하는 수평 방향 라인의 화소 순으로 보정 대상 화소를 선택하여 1차원(1D) 화소 데이터를 이용한 결함 보정과, 2차원(2D) 영역의 참조 영역을 이용한 노이즈 저감(NR) 처리를 실행한다.
우선, W 화소 결함 보정부(211)와 컬러 화소 결함 보정부(212)에 있어서, 앞에서 설명한 항목 [3. 결함 보정 대상으로 되는 컬러 화소의 보정 처리에 있어서, W 화소를 적용한 텍스처 검출 결과에 따라서 결함 보정을 실행하는 처리예에 대하여]에 있어서, 도 10 내지 도 15를 참조하여 설명한 결함 보정 처리를 실행한다.
W 화소 결함 보정부(211)는, 결함 보정 대상 화소(주목 화소)가 W 화소인 경우의 처리를 실행한다. 컬러 화소 결함 보정부(212)는, 결함 보정 대상 화소(주목 화소)가 W 화소 이외의 RGB 각 컬러 화소인 경우의 처리를 실행한다.
또한, 이들 처리에 있어서, 컬러 화소 결함 보정부(212)는, 전술한 바와 같이 W 화소에 기초하는 텍스처 검출을 행하고, 주목 화소가 텍스처 영역이라고 판정된 경우에는, 주목 화소의 화소값 보정을 행하지 않고, 원래의 화소값을 유효한 화소값으로서 그대로 출력한다. 결함 화소이지만 텍스처가 아니라고 판정된 경우에는, 보정을 실행하여 보정 화소값을 설정한다.
W 화소 결함 보정부(211)와 컬러 화소 결함 보정부(212)에 있어서 결함 보정 처리가 완료된 화소 데이터는, 라인 메모리(213)에 저장된다.
다음의 W 화소 노이즈 저감(NR) 처리부(214)와, 컬러 화소 노이즈 저감(NR) 처리부(215)는, 라인 메모리(213)에 저장된 화소 데이터를 이용하여 2차원 영역의 참조 영역을 설정한 노이즈 저감 처리를 실행한다. 이 처리는, 앞에서 설명한 항목 [2. 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출하는 처리예에 대하여]에 있어서, 도 2 내지 도 9를 참조하여 설명한 처리이다.
예를 들어 처리 대상으로 하는 주목 화소를 중심으로 설정한 7×7 화소 등의 참조 영역을 설정하여 전술한 항목 [2]에 있어서 설명한 노이즈 저감 처리를 행한다.
W 화소 노이즈 저감(NR) 처리부(214)는, 노이즈 저감 처리 대상 화소(주목 화소)가 W 화소인 경우의 처리를 실행한다. 컬러 화소 노이즈 저감(NR) 처리부(215)는, 노이즈 저감 처리 대상 화소(주목 화소)가 W 화소 이외의 RGB 각 컬러 화소인 경우의 처리를 실행한다.
또한, 이들 처리에 있어서, 컬러 화소 노이즈 저감(NR) 처리부(215)는, 앞에서 도 3, 도 5, 도 7 등을 참조하여 설명한 바와 같이, 참조 영역에서의 주목 화소와 참조 화소 위치에 대한 보간 W 화소의 설정을 행하고, 보간 W 화소를 적용한 평활화 가중치를 산출하여 앞에서 설명한 수학식 1에 따라서 보정 화소값을 산출한다.
단, 보간 W 화소가 포화되어 있는 경우에는 앞에서 설명한 수학식 2를 적용한 보정 화소값 산출 처리를 실행한다.
또한, 이들 결함 보정과 노이즈 저감의 각 처리가 행해진 보정 화소 데이터는, 색 상관 리모자이크 처리부(220)에 입력된다.
색 상관 리모자이크 처리부(220)는, W 화소 노이즈 저감(NR) 처리부(214)와, 컬러 화소 노이즈 저감(NR) 처리부(215)로부터의 출력 신호인 RGBW 신호를 입력하고, RGBW의 컬러 배열로부터 RGB 배열(231)로의 변환 처리를 실행한다.
구체적으로는, 예를 들어,
W 화소 위치를 G 화소로 변환(G 화소값을 추정)한다=(GonW)
G 화소 위치를 R 화소로 변환(R 화소값을 추정)한다=(RonG)
G 화소 위치를 B 화소로 변환(B 화소값을 추정)한다=(BonG)
R 화소 위치를 R 화소로 변환(R 화소값을 보정)한다=(RonR)
B 화소 위치를 B 화소로 변환(B 화소값을 보정)한다=(BonB)
이들 5개의 변환이나 보정 처리를 실행한다.
또한, 이들 리모자이크 처리의 형태는 하나의 예이며, 촬상 소자에 설정된 컬러 필터의 구성에 의해 결정되는 입력 화상 신호와, RGB 신호 처리부(230)에 대하여 출력하는 출력 화상 신호의 대응 관계에 따라서 리모자이크 처리 형태가 결정된다.
본 실시예에 있어서의 색 상관 리모자이크 처리부(220)의 각 구성 요소는 이하의 처리를 실행한다.
W 위치 G 보간 파라미터 산출부(221)는, RGBW 배열의 W 화소 위치에 설정하는 G 화소값의 산출에 적용하는 보간 파라미터를 산출한다.
G 위치 RB 보간 파라미터 산출부(222)는, RGBW 배열의 G 화소 위치에 설정하는 R 화소값 또는 B 화소값의 산출에 적용하는 보간 파라미터를 산출한다.
R 위치 R 보간 파라미터 산출부(223)는, RGBW 배열의 R 화소 위치에 설정하는 보정 R 화소값의 산출에 적용하는 보간 파라미터를 산출한다.
B 위치 B 보간 파라미터 산출부(224)는, RGBW 배열의 B 화소 위치에 설정하는 보정 B 화소값의 산출에 적용하는 보간 파라미터를 산출한다.
가중 가산 처리부(225)는, 각 보간 파라미터 산출부(221 내지 224)의 산출한 보간 파라미터를 입력하고, RGB 배열(231: 베이어 배열)을 구성하는 각 화소의 RGB 신호값을 산출한다.
또한, 색 상관 리모자이크 처리부(220: 데이터 변환부)가 실행하는 RGBW 배열로부터 RGB 배열로의 데이터 변환 처리는, 기본적으로 본 출원인의 선행 출원인 일본 특허공개 제2011-55038호 공보에 기재된 처리가 이용 가능하다. 이 데이터 변환 처리의 상세에 대해서는, 일본 특허공개 제2011-55038호 공보를 참조하기 바란다.
이와 같이 하여, 가중 가산 처리부(225)가 생성한 RGB 배열(231: 베이어 배열)은, RGB 신호 처리부(230)로 출력된다.
RGB 신호 처리부(230)는, 일반적인 카메라나 화상 처리 장치가 갖는 RGB 배열(베이어 배열) 신호에 대한 신호 처리부와 마찬가지이다. RGB 신호 처리부(230)는, 가중 평균부(225)로부터 출력되는 RGB 배열(231: 베이어 배열)에 대한 신호 처리를 실행하여 컬러 화상을 생성한다. RGB 신호 처리부(230)는, 구체적으로는, 예를 들어 화이트 밸런스 조정 처리, 디모자이크 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등을 실행하여 컬러 화상을 생성한다.
[4-2. 화상 처리 장치의 구성예 2]
다음으로, 도 17을 참조하여, 제2 화상 처리 장치의 구성예로서, 1차원(1D) 화소 데이터를 이용한 결함 보정과 노이즈 저감(NR) 처리를 실행하는 신호 처리부(300)를 갖는 화상 처리 장치의 예에 대하여 설명한다.
도 17에 나타낸 신호 처리부(300)는, 데이터 변환 처리부(310)와, RGB 신호 처리부(330)를 갖는다.
데이터 변환 처리부(310)는, 도 17에 나타낸 바와 같이, RGBW 화소 배열을 갖는 촬상 소자(150: 이미지 센서)로부터 수평 방향 라인의 화소 순으로 화소 신호를, 순차 입력한다.
데이터 변환 처리부(310)는, 촬상 소자(150: 이미지 센서)로부터 입력하는 수평 방향 라인의 화소 순으로 보정 대상 화소를 선택하여 1차원(1D) 화소 데이터를 이용한 결함 보정과 노이즈 저감(NR) 처리를 실행한다.
우선, W 화소 결함 보정부(311)와 컬러 화소 결함 보정부(312)에 있어서, 앞에서 설명한 항목 [3. 결함 보정 대상으로 되는 컬러 화소의 보정 처리에 있어서, W 화소를 적용한 텍스처 검출 결과에 따라서 결함 보정을 실행하는 처리예에 대하여]에 있어서, 도 10 내지 도 15를 참조하여 설명한 결함 보정 처리를 실행한다.
W 화소 결함 보정부(311)는, 결함 보정 대상 화소(주목 화소)가 W 화소인 경우의 처리를 실행한다. 컬러 화소 결함 보정부(312)는, 결함 보정 대상 화소(주목 화소)가 W 화소 이외의 RGB 각 컬러 화소인 경우의 처리를 실행한다.
또한, 이들 처리에 있어서, 컬러 화소 결함 보정부(312)는, 전술한 바와 같이 W 화소에 기초하는 텍스처 검출을 행하고, 주목 화소가 텍스처 영역이라고 판정된 경우에는, 주목 화소의 화소값 보정을 행하지 않고, 원래의 화소값을 유효한 화소값으로서 그대로 출력한다. 결함 화소이지만 텍스처가 아니라고 판정된 경우에는, 보정을 실행하여 보정 화소값을 설정한다.
W 화소 결함 보정부(311)에 있어서 결함 보정 처리가 완료된 화소 데이터는, 라인 메모리(213)에 저장된다.
컬러 화소 결함 보정부(312)에 있어서 결함 보정 처리가 완료된 화소 데이터는, 컬러 화소 수평 노이즈 저감(NR) 처리부(313)에 입력된다.
컬러 화소 수평 노이즈 저감(NR) 처리부(313)는, 컬러 화소 결함 보정부(312)에 있어서 결함 보정 처리가 완료된 화소 데이터를 1차원(1D)의 화소 라인 데이터로서 순차적으로 입력하고, 1차원(1D)의 화소 라인 데이터를 이용한 노이즈 저감 처리를 실행한다. 이 처리는, 앞에서 설명한 항목 [2. 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출하는 처리예에 대하여]에 있어서, 도 8을 참조하여 설명한 처리이다.
도 8을 참조하여 설명한 바와 같이 노이즈 저감 처리 대상으로 되는 컬러 화소와 화소 라인 상의 동일 색인 근방 화소 위치에 W 화소를 보간하여, 보간 W 화소의 설정을 행하고, 보간 W 화소를 적용한 평활화 가중치를 산출하여 앞에서 설명한 수학식 1에 따라서 보정 화소값을 산출한다.
단, 보간 W 화소가 포화되어 있는 경우에는 앞에서 설명한 수학식 2를 적용한 보정 화소값 산출 처리를 실행한다.
수평 라인을 적용하여 노이즈 저감된 화소 데이터는, 컬러 화소 수직 노이즈 저감(NR)부(314)에 입력된다.
컬러 화소 수직 노이즈 저감(NR)부(314)는, 예를 들어 IIR(Infinit Impulse Response; 무한 임펄스 응답) 필터를 이용하여 수직 방향 화소를 참조한 보정을 행한다.
컬러 화소 수직 노이즈 저감(NR)부(314)의 출력은 라인 메모리(315)에 입력된다.
또한, 라인 메모리(315)에 저장된 결함 보정과 노이즈 저감의 각 처리가 행해진 보정 화소 데이터는, 색 상관 리모자이크 처리부(320)에 입력된다.
색 상관 리모자이크 처리부(320)는, W 위치 G 보간 파라미터 산출부(321), G 위치 RB 보간 파라미터 산출부(322), R 위치 R 보간 파라미터 산출부(323), B 위치B 보간 파라미터 산출부(324), 가중 가산 처리부(325)를 갖는다.
색 상관 리모자이크 처리부(320)는, 앞에서 도 16을 참조하여 설명한 색 상관 리모자이크 처리부(220)와 마찬가지로, RGBW의 컬러 배열로부터 RGB 배열(331)로의 변환 처리를 실행하여, 생성된 RGB 배열(331)을 RGB 신호 처리부(330)로 출력한다.
RGB 신호 처리부(330)는, 일반적인 카메라나 화상 처리 장치가 갖는 RGB 배열(베이어 배열) 신호에 대한 신호 처리부와 마찬가지이다. RGB 신호 처리부(330)는 가중 평균부(325)로부터 출력되는 RGB 배열(331: 베이어 배열)에 대한 신호 처리를 실행하여 컬러 화상을 생성한다. RGB 신호 처리부(330)는, 구체적으로는, 예를 들어 화이트 밸런스 조정 처리, 디모자이크 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등을 실행하여 컬러 화상을 생성한다.
[4-3. 화상 처리 장치의 구성예 3]
다음으로, 도 18을 참조하여, 제3 화상 처리 장치의 구성예로서, 2차원(2D) 영역의 참조 영역을 이용한 결함 보정과, 노이즈 저감(NR) 처리를 실행하는 신호 처리부(400)를 갖는 화상 처리 장치의 예에 대하여 설명한다.
도 18에 나타낸 신호 처리부(400)는, 데이터 변환 처리부(410)와, RGB 신호 처리부(430)를 갖는다.
데이터 변환 처리부(410)는, 도 18에 나타낸 바와 같이, RGBW 화소 배열을 갖는 촬상 소자(150: 이미지 센서)로부터 수평 방향 라인의 화소 순으로 화소 신호를, 순차 입력한다.
데이터 변환 처리부(410)는, 촬상 소자(150: 이미지 센서)로부터 입력하는 수평 방향 라인의 화소를 순차 라인 메모리(411)에 저장하고, 그 후, 라인 메모리(411)에 저장된 2차원(2D) 화상 데이터를 이용하여, 결함 보정과 노이즈 저감(NR) 처리를 실행한다.
우선, 라인 메모리(411)에 저장된 화상 데이터는, W 화소 결함 보정부(411)와 컬러 화소 결함 보정부(412)에 있어서, 앞에서 설명한 항목 [3. 결함 보정 대상으로 되는 컬러 화소의 보정 처리에 있어서, W 화소를 적용한 텍스처 검출 결과에 따라서 결함 보정을 실행하는 처리예에 대하여]에 있어서, 도 10 내지 도 15를 참조하여 설명한 결함 보정 처리를 실행한다.
W 화소 결함 보정부(411)는, 결함 보정 대상 화소(주목 화소)가 W 화소인 경우의 처리를 실행한다. 컬러 화소 결함 보정부(412)는, 결함 보정 대상 화소(주목 화소)가 W 화소 이외의 RGB 각 컬러 화소인 경우의 처리를 실행한다.
또한, 이 처리에 있어서, 컬러 화소 결함 보정부(412)는, 전술한 바와 같이 W 화소에 기초하는 텍스처 검출을 행하고, 주목 화소가 텍스처 영역이라고 판정된 경우에는, 주목 화소의 화소값 보정을 행하지 않고, 원래의 화소값을 유효한 화소값으로서 그대로 출력한다. 결함 화소이지만 텍스처가 아니라고 판정된 경우에는, 보정을 실행하여 보정 화소값을 설정한다.
W 화소 결함 보정부(411)와, 컬러 화소 결함 보정부(412)에 있어서 결함 보정 처리가 완료된 화소 데이터는, 각각 다음의 W 화소 노이즈 저감(NR) 처리부(414)와, 컬러 화소 노이즈 저감(NR) 처리부(415)에 입력된다.
W 화소 노이즈 저감(NR) 처리부(414)와, 컬러 화소 노이즈 저감(NR) 처리부(415)는, 2차원 영역의 참조 영역을 설정한 노이즈 저감 처리를 실행한다. 이 처리는, 앞에서 설명한 항목 [2. 보정 대상으로 되는 컬러 화소의 화소 위치에 W 화소를 보간하고, 보간 W 화소를 적용하여 컬러 화소의 보정 화소값을 산출하는 처리예에 대하여]에 있어서, 도 2 내지 도 9를 참조하여 설명한 처리이다.
예를 들어 처리 대상으로 하는 주목 화소를 중심으로 설정한 7×7 화소 등의 참조 영역을 설정하여 전술한 항목 [2]에 있어서 설명한 노이즈 저감 처리를 행한다.
W 화소 노이즈 저감(NR) 처리부(414)는, 노이즈 저감 처리 대상 화소(주목 화소)가 W 화소인 경우의 처리를 실행한다. 컬러 화소 노이즈 저감(NR) 처리부(415)는, 노이즈 저감 처리 대상 화소(주목 화소)가 W 화소 이외의 RGB 각 컬러 화소인 경우의 처리를 실행한다.
또한, 이들 처리에 있어서, 컬러 화소 노이즈 저감(NR) 처리부(415)는, 앞에서 도 3, 도 5, 도 7 등을 참조하여 설명한 바와 같이, 참조 영역에서의 주목 화소와 참조 화소 위치에 대한 보간 W 화소의 설정을 행하고, 보간 W 화소를 적용한 평활화 가중치를 산출하여 앞에서 설명한 수학식 1에 따라서 보정 화소값을 산출한다.
단, 보간 W 화소가 포화되어 있는 경우에는 앞에서 설명한 수학식 2를 적용한 보정 화소값 산출 처리를 실행한다.
또한, 이들 결함 보정과 노이즈 저감의 각 처리가 행해진 보정 화소 데이터는, 색 상관 리모자이크 처리부(420)에 입력된다.
색 상관 리모자이크 처리부(420)는, W 위치 G 보간 파라미터 산출부(421), G 위치 RB 보간 파라미터 산출부(422), R 위치 R 보간 파라미터 산출부(423), B 위치 B 보간 파라미터 산출부(424), 가중 가산 처리부(425)를 갖는다.
색 상관 리모자이크 처리부(420)는, 앞에서 도 16을 참조하여 설명한 색 상관 리모자이크 처리부(220)와 마찬가지로, RGBW의 컬러 배열로부터 RGB 배열(431)로의 변환 처리를 실행하여, 생성된 RGB 배열(431)을 RGB 신호 처리부(430)로 출력한다.
RGB 신호 처리부(430)는, 일반적인 카메라나 화상 처리 장치가 갖는 RGB 배열(베이어 배열) 신호에 대한 신호 처리부와 마찬가지이다. RGB 신호 처리부(430)는, 가중 평균부(425)로부터 출력되는 RGB 배열(431: 베이어 배열)에 대한 신호 처리를 실행하여 컬러 화상을 생성한다. RGB 신호 처리부(430)는, 구체적으로는, 예를 들어 화이트 밸런스 조정 처리, 디모자이크 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등을 실행하여 컬러 화상을 생성한다.
[5. 본 발명의 구성의 결론]
이상, 특정한 실시예를 참조하면서, 본 발명의 실시예에 대하여 상세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허청구범위의 란을 참작해야만 한다.
또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.
[1] 화소값 보정을 실행하는 신호 처리부를 갖고,
상기 신호 처리부는,
RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력하고,
컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는, 화상 처리 장치.
[2] 상기 신호 처리부는, 상기 보간 W 화소의 화소값에 1개 이상의 포화 화소값이 존재하는지 여부를 판정하고, 상기 보간 W 화소의 화소값에 포화 화소값이 존재하지 않는 경우에는, 상기 보간 W 화소의 각 화소값에 기초하여 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하고, 상기 보간 W 화소의 화소값에 포화 화소값이 존재하는 경우에는, 상기 보간 W 화소를 적용하지 않고, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소의 각 화소값에 기초하여 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는 상기 [1]에 기재된, 화상 처리 장치.
[3] 상기 신호 처리부는, 상기 참조 영역을 2차원 영역으로서 2차원 영역의 참조 영역에 있는 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하는 처리를 실행하는 상기 [1] 또는 [2]에 기재된, 화상 처리 장치.
[4] 상기 신호 처리부는, 상기 참조 영역을 1차원 영역으로서 1차원 영역의 참조 영역에 있는 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하는 처리를 실행하는 상기 [1] 내지 [3] 중 어느 하나에 기재된, 화상 처리 장치.
[5] 상기 신호 처리부는, 상기 화소값 보정을, 상기 주목 화소에 포함되는 노이즈를 저감하는 노이즈 저감 처리(NR)로서 실행하는 상기 [1] 내지 [4] 중 어느 하나에 기재된, 화상 처리 장치.
[6] 상기 신호 처리부는, 상기 컬러 화소가 결함 화소일 가능성이 있는지 여부를 판정하는 결함 가능성을 판정하고, 결함 가능성이 있다고 판정된 컬러 화소 근방의 W 화소를 적용하여, 그 컬러 화소가 텍스처 영역인지 여부를 판정하는 텍스처 검출 처리를 실행하고, 상기 텍스처 검출 처리에 있어서, 상기 컬러 화소가 텍스처 영역이라고 판정된 경우에는, 결함 보정 처리를 실행하지 않고, 상기 텍스처 검출 처리에 있어서, 상기 컬러 화소가 텍스처 영역이 아니라고 판정된 경우에는, 결함 보정 처리를 실행하는 상기 [1] 내지 [5] 중 어느 하나에 기재된, 화상 처리 장치.
[7] 상기 신호 처리부는, 상기 텍스처 검출 처리에 있어서, 결함 가능성이 있다고 판정된 컬러 화소의 최근접 W 화소와, 그 외측의 W 화소의 화소값 차분을 적용하여, 상기 컬러 화소가 텍스처 영역인지 여부를 판정하는 상기 [6]에 기재된, 화상 처리 장치.
또한, 상기한 장치 및 시스템에 있어서 실행하는 처리의 방법이나, 처리를 실행시키는 프로그램 및 프로그램을 기록한 기록 매체도 본 발명의 구성에 포함된다.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷 등의 네트워크를 통해 프로그램을 수신하고, 내장된 하드디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로는 한정되지 않는다.
이상, 설명한 바와 같이, 본 발명의 일 실시예 구성에 의하면, RGBW 배열의 화상에 대한 노이즈 저감, 결함 보정 처리를 실행하는 장치 및 방법이 실현된다.
구체적으로는, RGB 각 컬러 화소와 W(White) 화소를 갖는 RGBW 배열의 화상 데이터의 컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 주목 화소의 보정 화소값을 산출한다. 또한, 컬러 화소 근방의 W 화소를 적용하여, 그 컬러 화소가 텍스처 영역인지 여부를 판정하고, 텍스처 영역이 아닌 경우에만 결함 보정 처리를 실행한다.
이들 처리에 의해, RGBW 배열의 화상에 대한 노이즈 저감, 결함 보정 처리를 실행하는 장치 및 방법이 실현된다.
150: 촬상 소자
200: 신호 처리부
210: 데이터 변환 처리부
211: W 화소 결함 보정부
212: 컬러 화소 결함 보정부
213: 라인 메모리
214: W 화소 노이즈 저감(NR)부
215: 컬러 화소 노이즈 저감(NR)부
220: 색 상관 리모자이크 처리부
221: W 위치 G 보간 파라미터 산출부
222: G 위치 RB 보간 파라미터 산출부
223: R 위치 R 보간 파라미터 산출부
224: B 위치 B 보간 파라미터 산출부
225: 가중 가산부
230: RGB 신호 처리부
231: RGB 배열
300: 신호 처리부
310: 데이터 변환 처리부
311: W 화소 결함 보정부
312: 컬러 화소 결함 보정부
313: 컬러 화소 수평 노이즈 저감(NR)부
314: 컬러 화소 수직 노이즈 저감(NR)부
315: 라인 메모리
320: 색 상관 리모자이크 처리부
321: W 위치 G 보간 파라미터 산출부
322: G 위치 RB 보간 파라미터 산출부
323: R 위치 R 보간 파라미터 산출부
324: B 위치 B 보간 파라미터 산출부
325: 가중 가산부
330: RGB 신호 처리부
331: RGB 배열
400: 신호 처리부
410: 데이터 변환 처리부
411: 라인 메모리
412: W 화소 결함 보정부
413: 컬러 화소 결함 보정부
414: W 화소 노이즈 저감(NR)부
415: 컬러 화소 노이즈 저감(NR)부
420: 색 상관 리모자이크 처리부
421: W 위치 G 보간 파라미터 산출부
422: G 위치 RB 보간 파라미터 산출부
423: R 위치 R 보간 파라미터 산출부
424: B 위치 B 보간 파라미터 산출부
425: 가중 가산부
430: RGB 신호 처리부
431: RGB 배열

Claims (9)

  1. 화상 처리 장치로서,
    화소값 보정을 실행하는 신호 처리부를 갖고,
    상기 신호 처리부는,
    RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력하고,
    컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 신호 처리부는,
    상기 보간 W 화소의 화소값에 1개 이상의 포화 화소값이 존재하는지 여부를 판정하고,
    상기 보간 W 화소의 화소값에 포화 화소값이 존재하지 않는 경우에는, 상기 보간 W 화소의 각 화소값에 기초하여 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하고,
    상기 보간 W 화소의 화소값에 포화 화소값이 존재하는 경우에는, 상기 보간 W 화소를 적용하지 않고, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소의 각 화소값에 기초하여 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 신호 처리부는,
    상기 참조 영역을 2차원 영역으로서 2차원 영역의 참조 영역에 있는 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하는 처리를 실행하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 신호 처리부는,
    상기 참조 영역을 1차원 영역으로서 1차원 영역의 참조 영역에 있는 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하는 처리를 실행하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 신호 처리부는,
    상기 화소값 보정을, 상기 주목 화소에 포함되는 노이즈를 저감하는 노이즈 저감 처리(NR)로서 실행하는, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 신호 처리부는,
    상기 컬러 화소가 결함 화소일 가능성이 있는지 여부를 판정하는 결함 가능성을 판정하고,
    결함 가능성이 있다고 판정된 컬러 화소 근방의 W 화소를 적용하여, 그 컬러 화소가 텍스처 영역인지 여부를 판정하는 텍스처 검출 처리를 실행하고,
    상기 텍스처 검출 처리에 있어서, 상기 컬러 화소가 텍스처 영역이라고 판정된 경우에는, 결함 보정 처리를 실행하지 않고,
    상기 텍스처 검출 처리에 있어서, 상기 컬러 화소가 텍스처 영역이 아니라고 판정된 경우에는, 결함 보정 처리를 실행하는, 화상 처리 장치.
  7. 제6항에 있어서,
    상기 신호 처리부는,
    상기 텍스처 검출 처리에 있어서, 결함 가능성이 있다고 판정된 컬러 화소의 최근접 W 화소와, 그 외측의 W 화소의 화소값 차분을 적용하여, 상기 컬러 화소가 텍스처 영역인지 여부를 판정하는, 화상 처리 장치.
  8. 화상 처리 장치에 있어서 화소값 보정을 실행하는 화상 처리 방법으로서,
    상기 화상 처리 장치의 신호 처리부가,
    RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력하고,
    컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출하는, 화상 처리 방법.
  9. 화상 처리 장치에 있어서 화소값 보정을 실행시키는 프로그램으로서,
    상기 화상 처리 장치의 신호 처리부에,
    RGB 각 컬러 화소와 RGB 각 파장의 거의 전체 파장광을 투과하는 W(White) 화소를 갖는 RGBW 배열의 화상 데이터를 입력시키고,
    컬러 화소의 화소값 보정 처리에 있어서, 보정 대상으로 되는 주목 화소와, 참조 영역 내의 주목 화소와 동일 색 화소의 참조 화소 위치에 W 화소를 보간하고, 보간 W 화소의 각 화소값에 기초하여 평활화 가중치를 산출하고, 산출한 평활화 가중치를 적용한 평활화 처리를 실행하여 상기 주목 화소의 보정 화소값을 산출시키는, 프로그램.
KR1020147019527A 2012-01-24 2012-11-29 화상 처리 장치 및 화상 처리 방법과 기록 매체 KR101980931B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-011716 2012-01-24
JP2012011716 2012-01-24
PCT/JP2012/080872 WO2013111449A1 (ja) 2012-01-24 2012-11-29 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20140116870A true KR20140116870A (ko) 2014-10-06
KR101980931B1 KR101980931B1 (ko) 2019-05-21

Family

ID=48873190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147019527A KR101980931B1 (ko) 2012-01-24 2012-11-29 화상 처리 장치 및 화상 처리 방법과 기록 매체

Country Status (6)

Country Link
US (2) US9253459B2 (ko)
JP (1) JP5904213B2 (ko)
KR (1) KR101980931B1 (ko)
CN (1) CN104067611B (ko)
CA (1) CA2861220C (ko)
WO (1) WO2013111449A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2861220C (en) 2012-01-24 2020-02-11 Sony Corporation Image processing apparatus and image processing method, and program
JP5935876B2 (ja) 2012-03-27 2016-06-15 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
KR102346961B1 (ko) * 2015-03-18 2022-01-04 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템
US9792879B2 (en) 2015-12-08 2017-10-17 Himax Technologies Limited Display system and driving method
US10151862B2 (en) 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
CN109565558B (zh) * 2016-07-29 2021-03-26 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
US10210826B2 (en) * 2017-02-22 2019-02-19 Himax Technologies Limited Sub-pixel rendering method for delta RGBW panel and delta RGBW panel with sub-pixel rendering function
CN110072034B (zh) * 2018-01-23 2021-10-08 瑞昱半导体股份有限公司 影像处理方法及影像处理装置
JP7116001B2 (ja) * 2019-03-27 2022-08-09 日立Astemo株式会社 撮像装置及び画像処理方法
CN110855889B (zh) * 2019-11-21 2021-04-13 重庆金山医疗技术研究院有限公司 图像处理方法、装置、图像处理设备及存储介质
KR20220004436A (ko) 2020-07-03 2022-01-11 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
KR20220010285A (ko) 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
CN114255173A (zh) * 2020-09-24 2022-03-29 苏州科瓴精密机械科技有限公司 粗糙度补偿方法、系统、图像处理设备及可读存储介质
CN112702543B (zh) * 2020-12-28 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
JP7307770B2 (ja) * 2021-07-20 2023-07-12 日本電子株式会社 分析装置および画像処理方法
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
CN117934353A (zh) * 2024-03-20 2024-04-26 上海玄戒技术有限公司 一种图像处理方法、装置、设备、存储介质及芯片

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003224861A (ja) 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd 撮像装置
US6833868B1 (en) * 1998-12-10 2004-12-21 Imec Vzw Method and device for determining corrected color aspects of a pixel in an imaging device
KR20050092595A (ko) * 2004-03-16 2005-09-22 엠텍비젼 주식회사 가중치 값을 이용한 결함 픽셀 보정 장치 및 방법
KR20070102399A (ko) * 2006-04-14 2007-10-18 소니 가부시끼 가이샤 촬상 장치
JP2009130553A (ja) * 2007-11-22 2009-06-11 Acutelogic Corp 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置
JP2011076186A (ja) 2009-09-29 2011-04-14 Kddi Corp 操作支援装置、操作支援方法およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4241754B2 (ja) * 2006-04-14 2009-03-18 ソニー株式会社 撮像装置
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP5222625B2 (ja) * 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
JP5033702B2 (ja) * 2008-04-04 2012-09-26 富士フイルム株式会社 撮像装置
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012217139A (ja) * 2011-03-30 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CA2861220C (en) 2012-01-24 2020-02-11 Sony Corporation Image processing apparatus and image processing method, and program
JP2013214272A (ja) 2012-03-08 2013-10-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5935876B2 (ja) 2012-03-27 2016-06-15 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JP2013218487A (ja) 2012-04-06 2013-10-24 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833868B1 (en) * 1998-12-10 2004-12-21 Imec Vzw Method and device for determining corrected color aspects of a pixel in an imaging device
JP2003224861A (ja) 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd 撮像装置
KR20050092595A (ko) * 2004-03-16 2005-09-22 엠텍비젼 주식회사 가중치 값을 이용한 결함 픽셀 보정 장치 및 방법
KR20070102399A (ko) * 2006-04-14 2007-10-18 소니 가부시끼 가이샤 촬상 장치
JP2009130553A (ja) * 2007-11-22 2009-06-11 Acutelogic Corp 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置
JP2011076186A (ja) 2009-09-29 2011-04-14 Kddi Corp 操作支援装置、操作支援方法およびプログラム

Also Published As

Publication number Publication date
US20160112659A1 (en) 2016-04-21
US9445022B2 (en) 2016-09-13
JP5904213B2 (ja) 2016-04-13
US9253459B2 (en) 2016-02-02
JPWO2013111449A1 (ja) 2015-05-11
KR101980931B1 (ko) 2019-05-21
CA2861220C (en) 2020-02-11
US20140347528A1 (en) 2014-11-27
CN104067611A (zh) 2014-09-24
CA2861220A1 (en) 2013-08-01
CN104067611B (zh) 2016-08-24
WO2013111449A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
KR101980931B1 (ko) 화상 처리 장치 및 화상 처리 방법과 기록 매체
KR101633946B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 기록 매체
US8948506B2 (en) Image processing device, image processing method, and program
KR101703354B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US9542759B2 (en) Image processing device, method of processing image, and image processing program including false color correction
US7916937B2 (en) Image processing device having color shift correcting function, image processing program and electronic camera
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
EP2753082A1 (en) Image processing device, image processing method, and program
EP2278788A1 (en) Method and apparatus for correcting lens shading
JP2006186965A (ja) 画素補間方法および画像判定方法
JP2013066157A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2010016814A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
JP5324508B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
US20190355105A1 (en) Method and device for blind correction of lateral chromatic aberration in color images
JP5973804B2 (ja) 画像処理装置及びその制御方法
JP5372586B2 (ja) 画像処理装置
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP7414455B2 (ja) 焦点検出装置及び方法、及び撮像装置
US20200265551A1 (en) Method and device for demosaicing of color images
CN116630187A (zh) 一种用于自动驾驶的图像去马赛克方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant