KR101703354B1 - 화상 처리 장치, 화상 처리 방법, 및 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 기록 매체 Download PDF

Info

Publication number
KR101703354B1
KR101703354B1 KR1020100079679A KR20100079679A KR101703354B1 KR 101703354 B1 KR101703354 B1 KR 101703354B1 KR 1020100079679 A KR1020100079679 A KR 1020100079679A KR 20100079679 A KR20100079679 A KR 20100079679A KR 101703354 B1 KR101703354 B1 KR 101703354B1
Authority
KR
South Korea
Prior art keywords
signals
rgb
pixel
pixels
signal
Prior art date
Application number
KR1020100079679A
Other languages
English (en)
Other versions
KR20110023757A (ko
Inventor
마사유끼 다찌
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110023757A publication Critical patent/KR20110023757A/ko
Application granted granted Critical
Publication of KR101703354B1 publication Critical patent/KR101703354B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

화상 처리 장치는, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하도록 구성되는 블러링 보정 처리부; 및 RGBW 배열을 RGB 배열로 변환하도록 구성되는 데이터 변환부를 포함하고, 데이터 변환부는, 블러링 보정 처리부에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하고, 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 RGB 배열을 구성하는 RGB 신호들을 결정하는 처리를 실행한다.

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은, 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이고, 보다 구체적으로는, RGBW 배열을 갖는 촬상 장치의 출력에 대한 신호 처리를 행하는 화상 처리 장치, 화상 신호 처리 방법 및 프로그램에 관한 것이다.
예를 들어, 촬상 장치들에 사용되는 촬상 소자들(이미지 센서들)은, 화소 단위로 특정 파장 성분의 광(R, G, B)을 투과시키는 컬러 필터가 소자 표면에 부착되는 구조를 갖는다. 예를 들어, 도 1a에 도시된 바와 같은 RGB 배열을 갖는 필터가 사용된다. 촬상 소자의 출력 신호들을 사용하는 컬러 화상 생성 처리에서는, 다수의 화소들의 세트에서 사용될 컬러 성분을 복원하는 처리가 행해진다. 컬러 필터들의 컬러 배열에는 다양한 타입이 있지만, 도 1a에 도시된, 적(R), 녹(G) 및 청(B)의 특정 파장만을 투과시키는 3종류의 필터들로 구성되는 베이어 배열이 널리 사용되고 있다.
최근, 촬상 소자들(이미지 센서들)은 미세한 화소 구성들을 갖게 되고, 이에 따라 화소들 각각에의 입사광량이 감소하여 S/N비가 증가하는 문제가 발생해 왔다. 이러한 문제를 해결하기 위해, 도 1b에 도시된 바와 같이, RGB 등의 특정 파장광만을 투과시키는 필터들 이외에, 또한 가시광을 광범위하게 투과하는 화이트 W를 갖는 이미지 센서(촬상 소자)가 제안되어 왔다. 도 1b는, RGBW 배열을 갖는 필터의 일례를 예시한다. 도 1b에 도시된 RGBW 배열에서의 W 화소들은 가시광을 광범위하게 투과시키는 필터들이다.
이러한 화이트 W 화소들의 컬러 필터를 갖는 촬상 소자에 대하여, 예를 들어, 미국 특허 공개 번호 2007/0024879 및 2007/0024934에 기재되어 있다. 화이트 W 화소들을 갖는, 도 1b에 도시된 바와 같은 촬상 소자(이미지 센서)를 사용함으로써, 필터의 투과율을 높여, 고감도화를 실현할 수 있다. 그러나, RGBW형 소자들은 다음의 문제점을 갖는다.
도 1a에 도시된 RGB 배열, 및 도 1b에 도시된 RGBW 배열 모두는, R, G, B 및 W 필터들 모두 또는 일부가 모자이크(mosaic) 형상으로 단일 소자 상에 배열되는 단일 센서의 이미지 센서(single-sensor image sensor)들이다. 따라서, 컬러 화상을 생성하는 경우, 화소들에 대응하는 RGB 화소값들을 생성하는 컬러 코딩인 디모자이크(demosaicing) 처리가 행해져야 한다.
도 1b에 도시된 RGBW 배열에서는, 도 1a에 도시된 RGB 배열과 비교할 때, R, G 및 B 성분의 표본 추출 비율(sampling rate)이 저하된다. 결과적으로, 도 1b에 도시된 RGBW 배열형 소자에 의해 취득된 데이터가 컬러 화상 생성 처리에 사용되는 경우, 도 1a에 도시된 RGB 배열과 비교할 때, 의사 컬러(false color)가 보다 쉽게 발생한다는 문제가 있다. 또한, 화이트 W 파장 성분은 R, G 및 B의 모든 파장 성분들을 포함하므로, 색수차가 큰 광학 렌즈를 사용하면, 단색 배열(monochromatic arrangement)에 비해 집광율이 떨어져, 해상도의 열화를 초래한다. 이러한 문제점은 화소 구성들이 미세화됨에 따라, 더 현저해진다.
광학 렌즈의 색수차에 기인하는 해상도의 열화를 방지하는 기술로서, 굴절률이 상이한 렌즈들을 조합하여 색수차의 발생을 방지하는 것이 효과적이지만, 이는, 렌즈들의 개수가 증가하기 때문에 비용이 증대되는 새로운 문제를 일으킨다. 이러한 구성은 또한, 상술된 RGB 성분들의 표본 추출 비율의 열화에 기인하는 의사 컬러의 문제가 보다 현저해지는 문제도 일으킨다.
또한, 단일 센서의 이미지 센서의 각각의 화소는 단색 성분 정보만을 갖기 때문에, 이산적으로 취득된 R, G, B 및 W 신호들로부터 컬러 화상을 얻기 위해, 모든 화소들에 대한 RGB 화소값들이 취득되는 디모자이크 처리가 행해진다. 디모자이크 처리 시에는, 국소 영역들에서 컬러 비율이 일반적으로 일정할 것이고, 강한 컬러 상관이 존재한다고 가정한 보간 처리가 행해진다. 구체적으로는, 소정의 화소의 특정 컬러에 대한 화소값들을 산출할 때, 주위의 화소들의 화소값들을 사용하여 보간을 행하는 방법이 광범위하게 사용된다. 이러한 기술의 예가 일본 특허 공개 제2009-17544호에 기재되어 있다. 그러나, 에지 근방에서는, 국소 영역들에서 일반적으로 일정한 컬러 비율 및 강한 컬러 상관에 대한 상기 가정이 성립되지 않는다. 따라서, 에지 근방에 의사 컬러가 쉽게 발생하는 문제가 있다.
미국 특허 공개 2007/24879 미국 특허 공개 2007/24934 일본 특허 공개 2009-17544
본 발명은 RGBW형의 컬러 필터와 같은, 화이트 W를 갖는 촬상 소자(이미지 센서)에 의해 취득된 데이터를 적용한 컬러 화상 생성 처리에 대하여, 의사 컬러나 블러링(blurring)이 적은 고품질의 컬러 화상의 생성을 실현하는 화상 처리 장치, 화상 처리 방법, 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 화상 처리 장치는, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하도록 구성되는 블러링 보정 처리부; 및 RGBW 배열을 RGB 배열로 변환하도록 구성되는 데이터 변환부를 포함하고, 데이터 변환부는, 블러링 보정 처리부에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하고, 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 RGB 배열을 구성하는 RGB 신호값들을 결정하는 처리를 실행한다.
본 발명의 실시예에 따른 회상 처리 장치는, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하도록 구성되는 블러링 보정 처리부; 및 RGBW 배열로 구성되는 모자이크 신호들의 디모자이크 처리를 실행하여 각각의 화소에 대응하는 모든 RGB 신호값들이 결정된 컬러 화상을 생성하도록 구성되는 데이터 변환부를 포함하고, 데이터 변환부는, 블러링 보정 처리부에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하고, 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 각각의 화소에 대응하는 모든 RGB 신호값들이 결정된 컬러 화상을 생성하는 처리를 실행한다.
화상 처리 장치는, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자로부터의 출력 신호들을 해석하여, 각각의 화소에 대응하는 에지 강도 정보를 포함하는 에지 정보를 생성하도록 구성되는 에지 검출부를 더 포함하고; 데이터 변환부는, 블러링 보정 처리가 적용되지 않은 신호들인 블러링 비보정 RGB 신호들 Rl, Gl, Bl을 산출하고, 블러링 보정 RGB 신호들 및 블러링 비보정 RGB 신호들을 블렌딩 처리함으로써 RGB 배열 또는 컬러 화상을 구성하는 RGB 신호값들의 결정 처리를 행하도록 구성되며; 에지 정보로부터 에지 강도가 크다고 결정되는 화소 위치들에서는, 블러링 보정 RGB 신호들의 블렌드 비율이 증가되고, 에지 강도가 작다고 결정되는 화소 위치들에서는 블러링 비보정 RGB 신호들의 블렌드 비율이 증가되는 블렌딩 처리를 실행함으로써 RGB 신호값들의 결정 처리가 행해진다.
블러링 보정 처리부는, 촬상 소자의 출력 신호들에 포함되는 W 신호들에만 블러링 보정 처리를 실행하여 각각의 화소에 대응하는 블러링 보정 W 신호들 Wd를 생성하고; 데이터 변환부는, 화상의 국소 영역들에서 W 신호들과 RGB 신호들 사이에 정의 상관(positive correlation)이 존재한다는 가정에 기초하여, 블러링 보정 W 신호들 Wd로부터 블러링 보정 RGB 신호들을 산출한다.
데이터 변환부는, 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하고; 노이즈 제거된 W 신호들 Wn으로부터 블러링 비보정 RGB 신호들을 산출한다.
에지 검출부는, 촬상 소자의 출력 신호들에 포함되는 W 신호들만이 적용된 에지 검출 처리로부터 각각의 화소에 대응하는 에지 정보를 생성하고, 처리 대상 화소 근방의 W 화소들의 신호값 구배를 산출함으로써 에지 강도 및 에지 방향을 포함하는 에지 정보를 생성하는 구성을 갖는다.
에지 검출부는, 촬상 소자의 출력 신호들에 포함되는 W 신호들만이 적용된 에지 검출 처리로부터 각각의 화소에 대응하는 에지 정보를 생성하고, 처리 대상 화소 근방의 W 화소 신호들의 구배의 절대값들의 평균의 가중가산 값들을 산출하고, 가중가산 값들을 적용함으로써 평탄도 weightFlat를 산출하여 그 평탄도 weightFlat를 데이터 변환부에 출력하는 구성을 갖고; 데이터 변환부는, 평탄도 weightFlat를 적용하여, 블러링 보정 RGB 신호들 및 블러링 비보정 RGB 신호들의 블렌드 비율을 결정한다.
블러링 보정 처리부는, 촬상 소자의 출력 신호들에 포함되는 W 신호들에 대한 위너 필터(Wiener filter)의 컨볼루션 연산에 의해 블러링 보정 W 신호들 Wd를 생성하는 구성을 갖고; 촬상 소자의 출력 신호들에 포함되는 RGB 신호 위치들에 대하여, 에지 검출부에 의해 생성된 에지 정보에 포함되는 에지 방향에 따라 참조 W 화소들이 결정되고, 참조 W 화소들의 신호값들이 적용된 보간 처리에 의해 보간 W 신호값이 결정되며, 보간 W 신호들에 대한 위너 필터의 컨볼루션 연산에 의해 블러링 보정 W 신호들 Wd가 생성된다.
화상 처리 장치는, 광학 렌즈; 및 광학 렌즈를 통해 입사광을 수광하도록 구성되는 수광부로서 역할을 하는 RGBW 배열을 갖는 촬상 소자를 더 포함한다.
광학 렌즈는, 촬상 소자의 RGBW 배열에서의 각각의 컬러 성분에 대해 나이퀴스트 주파수(Nyquist frequency)를 초과하는 신호 성분들이 발생되지 않도록 구성되는 렌즈 수차를 가질 수 있다.
화상 처리 장치에 의해 화상 신호 처리를 행하는 본 발명의 실시예에 따른 화상 처리 방법은, 블러링 보정 처리부에 의해, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하는 단계; 및 데이터 변환부에 의해, RGBW 배열을 RGB 배열로 변환하는 단계를 포함하고; 변환하는 단계는, 블러링 보정 처리에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하는 단계 및 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 RGB 배열을 구성하는 RGB 신호값들을 결정하는 단계를 포함한다.
화상 처리 장치에 의해 화상 신호 처리를 행하는 본 발명의 실시예에 따른 화상 처리 방법은, 블러링 보정 처리부에 의해, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하는 단계; 및 데이터 변환부에 의해, 디모자이크 처리를 행함으로써 RGBW 배열로 구성되는 모자이크 신호들을 변환하여, 각각의 화소에 대응하는 모든 RGB 신호값들이 결정된 컬러 화상을 생성하는 단계를 포함하고; 변환하는 단계는, 블러링 보정 처리에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하는 단계 및 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 각각의 화소에 대응하는 모든 RGB 신호값들이 결정된 컬러 화상을 생성하는 단계를 포함한다.
화상 처리 방법은, 에지 검출부에 의해, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자로부터의 출력 신호를 해석하여, 각각의 화소에 대응하는 에지 강도 정보를 포함하는 에지 정보를 생성하는 단계를 더 포함하고; 변환하는 단계는, 블러링 보정 처리가 적용되지 않은 신호들인 블러링 비보정 RGB 신호들 Rl, Gl, Bl을 산출하는 단계; 및 블러링 보정 RGB 신호들 및 블러링 비보정 RGB 신호들의 블렌딩 처리에 의해 RGB 배열 또는 컬러 화상을 구성하는 RGB 신호값들의 결정 처리를 행하는 단계를 더 포함하는 RGB 신호값 결정 단계를 포함하고; RGB 신호값 결정 단계는, 에지 정보로부터 에지 강도가 크다고 결정되는 화소 위치들에서는 블러링 보정 RGB 신호들의 블렌드 비율이 증가되고, 에지 강도가 작다고 결정되는 화소 위치들에서는 블러링 비보정 RGB 신호들의 블렌드 비율이 증가되는 블렌딩 처리를 실행함으로써 행해진다.
화상 처리 장치에 의해 화상 신호 처리를 실행하도록 하는 본 발명의 실시예에 따른 프로그램은, 블러링 보정 처리부에 의해, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하는 단계; 및 데이터 변환부에 의해, RGBW 배열을 RGB 배열로 변환하는 단계를 포함하고; 변환하는 단계는, 블러링 보정 처리에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하는 단계 및 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 RGB 배열을 구성하는 RGB 신호값들을 결정하는 단계를 포함한다.
화상 처리 장치에 의해 화상 신호 처리를 실행하도록 하는 본 발명의 실시예에 따른 프로그램으로서, 블러링 보정 처리부에 의해, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호들에 블러링 보정 처리를 행하여, 각각의 화소들에 대응하는 블러링 보정 신호들을 생성하는 단계; 및 데이터 변환부에 의해, 디모자이크 처리를 행함으로써 RGBW 배열로 구성되는 모자이크 신호들을 변환하여, 각각의 화소에 대응하는 모든 RGB 신호값들이 결정된 컬러 화상을 생성하는 단계를 포함하고; 변환하는 단계는, 블러링 보정 처리에 의해 생성된 블러링 보정 신호들로부터 추정된 RGB에 대응하는 블러링 보정 신호들인 블러링 보정 RGB 신호들 Rd, Gd, Bd를 생성하는 단계 및 블러링 보정 RGB 신호들 Rd, Gd, Bd를 적용하여 각각의 화소에 대응하는 모든 RGB 신호값들이 결정된 컬러 화상을 생성하는 단계를 포함한다.
프로그램은, 에지 검출부에 의해, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자로부터의 출력 신호들을 해석하여, 각각의 화소에 대응하는 에지 강도 정보를 포함하는 에지 정보를 생성하는 단계를 더 포함하고; 변환하는 단계는, 블러링 보정 처리가 적용되지 않은 신호들인 블러링 비보정 RGB 신호들 Rl, Gl, Bl을 산출하는 단계; 및 블러링 보정 RGB 신호들 및 블러링 비보정 RGB 신호들의 블렌딩 처리에 의해 RGB 배열 또는 컬러 화상을 구성하는 RGB 신호값들의 결정 처리를 행하는 단계를 더 포함하는 RGB 신호값 결정 단계를 포함하며; RGB 신호값 결정 단계는, 에지 정보로부터 에지 강도가 크다고 결정되는 화소 위치들에서는 블러링 보정 RGB 신호들의 블렌드 비율이 증가되고, 에지 강도가 작다고 결정되는 화소 위치들에서는 블러링 비보정 RGB 신호들의 블렌드 비율이 증가되는 블렌딩 처리를 실행함으로써 행해진다.
프로그램은, 기억 매체 또는 통신 매체에 의해, 다양한 타입의 프로그램 코드를 실행할 수 있는 화상 처리 장치들 및 컴퓨터 시스템들에 컴퓨터 판독가능한 포맷으로 제공될 수 있다. 컴퓨터 판독가능한 포맷의 프로그램을 제공함으로써, 화상 처리 장치들 및 컴퓨터 시스템들에서 프로그램에 대응하는 처리가 실현될 수 있다.
본 발명의 또 다른 목적, 특징 및 이점은, 후술되는 실시예 및 첨부하는 도면들로부터 명확해질 것이다. 본 명세서에 사용된 "시스템"이라는 용어는 다수의 장치들의 집합의 논리적 구성을 지칭하고, 각각의 구성의 장치들이 반드시 동일 하우징 내에 있을 필요는 없다는 점에 주목한다.
상기 구성들에 따르면, 예를 들어, 화이트 W를 갖는 RGBW형의 컬러 필터를 갖는 촬상 소자(이미지 센서)의 취득된 데이터를 적용한 컬러 화상 생성 처리에서, 의사 컬러 및 블러링이 적은 고품질의 컬러 화상들의 생성을 실현할 수 있다. 구체적으로는, RGBW 배열의 촬상 소자의 출력 신호들이 해석되고, 각각의 화소에 대응하는 에지 정보 및 블러링 보정 신호들이 생성된다. 또한, 블러링 보정 신호들로부터 추정된 RGB에 상관되는 블러링 보정 신호들인 블러링 보정 RGB 신호들 및 블러링 보정이 적용되지 않은 신호들인 블러링 비보정 RGB 신호들이 산출된다. 또한, 이들 신호들은 블렌딩 처리에 의해 블렌딩되어, RGB 배열 데이터 또는 컬러 화상을 생성한다. 에지 강도가 큰 화소 위치들에서는 블러링 보정 RGB 신호의 블렌드 비율이 증가되고, 에지 강도가 작은 화소 위치들에서는 블러링 비보정 RGB 신호들의 블렌드 비율이 증가된다. 이러한 처리에 의해, 의사 컬러 및 블러링이 적은 고품질의 컬러 화상들의 생성을 실현할 수 있다.
도 1a는 일반적인 컬러 필터에서 사용되는 컬러 배열로서 기능하는 베이어 배열의 예를 도시하는 도면이다.
도 1b는 본 발명의 실시예에 적용되는 RGBW 배열의 예를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 처리인, RGBW 배열로부터 RGB 배열로의 변환 처리로서 행해지는 리-모자이크(re-mosaic) 처리를 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 촬상 장치의 구성예를 설명하는 도면이다.
도 4는 본 발명의 실시예에 따른 촬상 장치의 구성예를 설명하는 도면이다.
도 5a 및 도 5b는 에지 검출부가 행하는, W 화소들을 사용한 에지 방향과 에지 강도 결정 방법을 설명하는 도면들이다.
도 6a 및 도 6b는 에지 검출부가 행하는, W 화소들을 사용한 에지 방향과 에지 강도 결정 방법을 설명하는 도면들이다.
도 7a 및 도 7b는 에지 검출부가 행하는, W 화소들을 사용한 에지 방향과 에지 강도 결정 방법을 설명하는 도면들이다.
도 8은 에지 정보의 예로서의 평탄도 weightFlat 정보를 설명하는 도면이다.
도 9는 블러링 보정 처리부에 의해 처리가 실행되며, 중심 화소가 W 화소가 아닌 경우에, 주위의 W 신호들로부터 중심의 W 신호를 보간하는 방법을 설명하는 도면이다.
도 10은 W 신호들의 저주파 성분 mW를 산출하는 필터 구성 및 mW 산출 처리의 예를 설명하는 도면이다.
도 11은 G 신호의 저주파 성분 mG를 산출하는 필터 구성 및 mG 산출 처리의 예를 설명하는 도면이다.
도 12는 mW와 mG의 비율이 화상 내의 국소 영역에서 유지될 것이라고 가정하는 경우에, 블러링 보정 W 신호 Wd로부터 블러링 보정 G 신호 Gd를 산출하는 처리를 설명하는 도면이다.
도 13은 노이즈 제거 W 신호 Wn을 산출하는 필터 구성 및 Wn 산출 처리의 예를 설명하는 도면이다.
도 14는 W 신호의 저주파 성분 mW를 산출하는 필터 구성 및 mW 산출 처리의 예를 설명하는 도면이다.
도 15는 R 신호의 저주파 성분 mR 및 B 신호의 저주파 성분 mB를 산출하는 필터 구성, 및 mR과 mB 산출 처리의 예를 설명하는 도면이다.
도 16a 및 도 16b는 mW와 mR 또는 mB의 비율이 화상 내의 국소 영역에서 유지될 것이라고 가정하는 경우에, 블러링 보정 W 신호 Wd로부터 블러링 보정 R 신호 Rd 및 블러링 보정 B 신호 Bd를 산출하는 처리를 설명하는 도면이다.
도 17은 노이즈 제거 W 신호 Wn을 산출하는 필터 구성 및 Wn 산출 처리의 예를 설명하는 도면이다.
도 18은 R 신호의 저주파 성분 mR을 산출하는 필터 구성 및 mR 산출 처리의 예를 설명하는 도면이다.
도 19는 B 신호의 저주파 성분 mB를 산출하는 필터 구성 및 mB 산출 처리의 예를 설명하는 도면이다.
도 20은 실시예의 촬상 장치의 구성예를 설명하는 도면이다.
도 21은 실시예의 촬상 장치의 구성예를 설명하는 도면이다.
도 22는 도 21에 도시된 W-위치의 RGB-보간 파라미터 산출부의 처리를 설명하는 도면이다.
도 23은 도 21에 도시된 W-위치의 RGB-보간 파라미터 산출부의 처리를 설명하는 도면이다.
도 24는 도 21에 도시된 G-위치의 RGB-보간 파라미터 산출부의 처리를 설명하는 도면이다.
도 25는 도 21에 도시된 R-위치의 RGB-보간 파라미터 산출부의 처리를 설명하는 도면이다.
도 26은 도 21에 도시된 B-위치의 RGB- 보간 파라미터 산출부의 처리를 설명하는 도면이다.
도 27a 내지 도 27c는 RGBW 배열 신호들의 디모자이크 처리의 장점을 설명하는 도면들이다.
이하, 도면을 참조하여, 본 발명의 실시예에 따른 화상 처리 장치, 화상 처리 방법, 및 프로그램을 설명한다. 설명은, 이하의 순서로 진행할 것이라는 점에 주목한다.
1. 처리의 개요
2. 촬상 장치 및 화상 처리 장치의 구성예 및 처리 예
3. 데이터 변환 처리부의 처리의 상세
3-1. 에지 검출부의 처리에 대하여
3-2. 블러링 보정 처리부의 처리에 대하여
3-3. 컬러 상관 리-모자이크 처리부(데이터 변환부)의 처리에 대하여
4. RGBW 배열 신호들에 대한 디모자이크 처리를 행하는 실시예
5. 실시예들에 따른 처리의 이점들
1. 처리의 개요
우선, 본 발명의 실시예에 따른 촬상 장치와 같은 화상 처리 장치가 실행하는 처리의 개요를 도 2를 참조하여 설명할 것이다. 본 발명의 실시예에 따른 화상 처리 장치는, R, G 및 B의 각각의 컬러의 파장광을 선택적으로 투과하는 RGB 필터 이외에, 컬러들 R, G 및 B의 파장광 모두를 투과시키는 화이트 W를 포함하는 RGBW형의 컬러 필터를 갖는 촬상 소자(이미지 센서)에 의해 취득된 데이터에 대한 처리를 행한다.
이러한 화상 처리 장치는, 도 2에서 (1)로 나타낸 바와 같은, 화이트 W를 포함하는 RGBW형의 컬러 필터를 갖는 촬상 소자(이미지 센서)에 의해 취득된 데이터를, 도 2에서 (2)로 나타낸 바와 같은 RGB 배열(베이어 배열)로 변환하는 처리를 실행한다. 또한, 이러한 변환 처리 시에는, 블러링 및 의사 컬러의 발생을 저하시키기 위한 처리도 행해진다.
도 2에 도시된 바와 같이, RGBW 컬러 배열에 설정된 RGBW 화소들 중 적어도 일부를 다른 컬러(R, G 및 B 중 하나)로 변환 또는 보정하는 처리가 행해진다. 구체적으로는, RGBW 배열로부터 RGB 베이어 배열로의 변환 처리에서, 이하의 5종류의 변환 또는 보정 처리가 실행된다.
W-화소 위치를 G-화소로 변환(G-화소값을 추정) (GonW)
G-화소 위치를 R-화소로 변환(R-화소값을 추정) (RonG)
G-화소 위치를 B-화소로 변환(B-화소값을 추정) (BonG)
R-화소 위치를 R-화소로 변환(R-화소값을 보정) (RonR)
B-화소 위치를 B-화소로 변환(B-화소값을 보정) (BonB)
RGBW 배열의 RGBW 화소들을 RGB 배열의 RGB 화소들로 변환하기 위한 화소값 추정 또는 보정 처리로서 상기 각각의 변환 처리가 행해진다. 이들 처리를 실행함으로써, 도 2에서 (1)로 나타내는 RGBW의 컬러 배열로부터 도 2에서 (2)로 나타내는 RGB 베이어 배열을 생성한다. 이하, 이러한 부류의 컬러 배열의 변환 처리를 "리-모자이크 처리"로 지칭할 것이다.
이하의 실시예에서는, 화이트 W를 갖는 RGBW형의 컬러 배열을 RGB형의 컬러 배열(베이어 배열)로 변환하는 리-모자이크 처리를 행하여, 이 리-모자이크 처리 시에, 블러링 발생 또는 의사 컬러 발생을 저감시키는 구성에 대하여 설명한다.
2. 촬상 장치 및 화상 처리 장치의 구성예 및 처리 예
도 3 및 도 4를 참조하여, 본 발명의 실시예에 따른 촬상 장치 및 화상 처리 장치의 구성예 및 처리 예에 대하여 설명한다. 도 3은 본 발명의 실시예에 따른 촬상 장치(100)의 구성예를 설명하는 도면이다. 촬상 장치(100)는 광학 렌즈(105), 촬상 소자(이미지 센서)(110), 신호 처리부(120), 메모리(130) 및 제어부(140)를 포함한다.
촬상 장치는 화상 처리 장치의 일 형태이다. 화상 처리 장치는 PC들 등과 같은 장치들도 포함한다. PC 등이 화상 처리 장치인 경우, 화상 처리 장치는, 도 3에 도시된 촬상 장치(100)의 광학 렌즈(105) 또는 촬상 소자(110)를 갖지 않고, 촬상 소자(110)에 의해 취득된 데이터에 대한 입력부 및 기억부를 갖는 구성을 갖도록, 그 밖의 구성 요소들로 구성된다. 촬상 장치(100)의 구체예들은 스틸 카메라들, 비디오 카메라들 등이며, 촬상 장치(100)는 화상 처리가 가능한 PC와 같은 정보 처리 장치를 포함한다.
이하에서는, 본 발명의 실시예에 따른 화상 처리 장치의 대표예로서 촬상 장치(100)를 설명한다. 도 3에 도시된 촬상 소자(이미지 센서)(110)는 도 1b 및 도 2의 (1)을 참조하여 설명한 화이트 W를 포함하는 RGBW 배열(181)을 갖는 필터를 구비한 구성이다. 즉, 촬상 소자는 적색 근방의 파장들을 투과시키는 적(R), 녹색 근방의 파장들을 투과시키는 녹(G), 청색 근방의 파장들을 투과시키는 청(B), 및 또한, R, G 및 B 모두를 투과시키는 화이트 W의 4종류의 분광 특성을 갖는 필터를 갖는다.
RGBW 배열(181) 필터를 갖는 촬상 소자(110)는, 광학 렌즈(105)를 통해 R, G, B 및 W 중 하나의 광을 화소 단위로 수광하고, 광전 변환에 의해 수광된 광의 강도에 대응하는 전기 신호들을 생성하여 출력한다. 이러한 촬상 소자(110)에 의해 R, G, B 및 W의 4가지 성분들로 구성되는 모자이크 화상이 얻어진다.
촬상 소자(이미지 센서)(110)의 출력 신호들은 신호 처리부(120)의 데이터 변환 처리부(200)에 입력된다. 데이터 변환 처리부(200)는 먼저 도 2를 참조하여 설명한 바와 같이, RGBW 배열(181)로부터 RGB 배열(182)로의 변환 처리를 행한다. 이러한 변환 처리 시에, 전술한 바와 같이, 다음 5종류의 변환 또는 보정 처리가 실행된다.
W-화소 위치를 G-화소로 변환(G-화소값을 추정) (GonW)
G-화소 위치를 R-화소로 변환(R-화소값을 추정) (RonG)
G-화소 위치를 B-화소로 변환(B-화소값을 추정) (BonG)
R-화소 위치를 R-화소로 변환(R-화소값을 보정) (RonR)
B-화소 위치에 B-화소로 변환(B-화소값을 보정) (BonB)
또한, 이러한 변환/보정 처리 시에, 의사 컬러 및 블러링을 억제하기 위한 처리가 행해진다.
데이터 변환 처리부(200)가 생성한 RGB 배열(182), 즉, 베이어 배열을 갖는 데이터는, 관련 기술 분야에 따른 카메라 등의 촬상 소자에 의해 얻어지는 컬러 배열을 갖는 데이터이다. 이러한 컬러 배열 데이터는 RGB 신호 처리부(250)에 입력된다. RGB 신호 처리부(250)는 관련 기술 분야에 따른 카메라 등에 제공되는 신호 처리부와 마찬가지 방식으로 처리를 실행한다. 구체적으로, RGB 신호 처리부(250)는 디모자이크 처리, 화이트 밸런스 조정 처리, γ 보정 처리 등을 행하여 컬러 화상(183)을 생성한다. 생성된 컬러 화상(183)은 메모리(130)에 기억된다.
제어부(140)는 이러한 일련의 처리를 실행한다. 예를 들어, 일련의 처리를 실행시키는 프로그램은 메모리(130)에 저장되어 있고, 제어부(140)는 메모리(130)로부터 판독한 프로그램을 실행함으로써 일련의 처리를 제어한다.
데이터 변환 처리부(200)의 상세 구성에 대하여 도 4를 참조하여 설명한다. 데이터 변환 처리부(200)는 RGBW의 컬러 배열로부터 RGB 배열(182)로의 변환 처리를 실행한다. 또한, 이러한 처리 시에, 의사 컬러 및 블러링을 억제하기 위한 처리가 행해진다.
도 4에 도시된 바와 같이, 데이터 변환 처리부(200)는 라인 메모리(201), 에지 검출부(202), 블러링 보정 처리부(203) 및 컬러 상관 리-모자이크 처리부(데이터 변환부)(210)를 갖는다. 컬러 상관 리-모자이크 처리부(데이터 변환부)(210)는 W-위치 G-보간 파라미터 산출부(211), G-위치 RB-보간 파라미터 산출부(212), R-위치 R-보간 파라미터 산출부(213), B-위치 B-보간 파라미터 산출부(214) 및 가중가산 처리부(215)를 갖는다.
촬상 소자(110)로부터 출력된 신호들은 라인 메모리(201)에 일시적으로 축적된다. 라인 메모리(201)는 촬상 소자의 7개의 수평 라인 분의 라인 메모리를 갖고, 7개의 수평 라인 분의 데이터는 라인 메모리(201)로부터 병렬로 순차 출력된다. 출력처들은 에지 검출부(202), 블러링 보정 처리부(203) 및 컬러 상관 리-모자이크 처리부(210)이다. RGBW 배열(181)의 촬상 데이터는 7개의 라인 단위로 이들 처리부들에 출력된다.
에지 검출부(202) 및 블러링 보정 처리부(203)는 RGBW 배열(181)의 촬상 데이터 중 화이트 W 신호만을 사용하는 처리를 실행한다. 컬러 상관 리-모자이크 처리부(210)는 RGBW 배열(181)의 촬상 데이터 중 R, G, B 및 W 신호들 모두를 사용하는 처리를 실행한다.
또한, 라인 메모리(201)로부터의 데이터 출력 모드는 예를 들어, 다음의 2개의 모드 중 어느 하나인 점에 주목한다.
제1 모드는 RGBW 배열(181)의 RGBW 촬상 데이터 모두를, 에지 검출부(202), 블러링 보정 처리부(203) 및 컬러 상관 리-모자이크 처리부(210) 각각에, 7개의 라인 단위로 출력하는 것이다.
제2 모드는 RGBW 배열(181) 중의 W 신호만을, 에지 검출부(202) 및 블러링 보정 처리부(203)에 공급하는 것이다. 예를 들어, 모든 RGB 신호들이 0으로 설정된 신호들이 공급될 수 있다. 이 경우, 예를 들어, 출력 제어부는 라인 메모리(201)의 출력부에서 구성되고, 신호들은 에지 검출부(202) 및 블러링 보정 처리부(203)에 공급되는데, W 신호들 이외의 모든 신호값들은 0으로 설정된다.
에지 검출부(202)는 라인 메모리(201)로부터의 출력 신호들에 포함되는 이산적인 화이트 W 신호들을 검증하고, 예를 들어, 화상에 포함되는, 에지 방향 및 에지 강도를 포함하는 에지 정보를 생성하여, 그 에지 정보를 컬러 상관 리-모자이크 처리부(210)에 출력한다.
블러링 보정 처리부(203)는 라인 메모리(201)로부터의 출력 신호들에 포함되는 이산적인 화이트 W 신호들을 검증하고, 화상 블러링을 저감하는 처리를 행하여, 그 처리 결과적으로 얻어지는 모든 화소들에 대응하는 블러링 보정 화이트 W 신호들 Wd를 산출한다. 즉, 블러링 보정 처리부(203)는 이산적인 화이트 W 신호들을 검증하고, 블러링이 발생하는 상황을 해석하고, 블러링이 억제된 모든 화소들에 대응하는 블러링 보정 화이트 W 신호들 Wd를 생성하여, 컬러 상관 리-모자이크 처리부(210)에 출력한다.
컬러 상관 리-모자이크 처리부(210)는 라인 메모리(201)로부터의 출력 신호들 중 RGBW 신호들, 에지 검출부(202)로부터 출력되는 에지 정보, 및 블러링 보정 처리부(203)로부터 출력되는 모든 화소들에 대응하는 블러링 보정 화이트 W 신호들 Wd를 입력한다. 그 후, 컬러 상관 리-모자이크 처리부(210)는 이들 정보를 이용하여, RGBW의 컬러 배열로부터 RGB 배열(182)로의 변환 처리를 실행한다.
구체적으로는, 먼저 도 2를 참조하여 설명한 바와 같이, 다음의 5종류의 변환 또는 보정 처리가 실행된다.
W-화소 위치를 G-화소로 변환(G-화소값을 추정) (GonW)
G-화소 위치를 R-화소로 변환(R-화소값을 추정) (RonG)
G-화소 위치를 B-화소로 변환(B-화소값을 추정) (BonG)
R-화소 위치를 R-화소로 변환(R-화소값을 보정) (RonR)
B-화소 위치를 B-화소로 변환(B-화소값을 보정) (BonB)
W-위치 G-보간 파라미터 산출부(211)는 RGBW 배열(181)의 W-화소 위치들에 설정되는 G 화소값들의 산출에 적용되는 보간 파라미터들을 산출한다. 이들은 상기 GonW의 처리에 적용되는 보간 파라미터들이다. 구체적으로는, W-위치 G-보간 파라미터 산출부(211)는 라인 메모리(201)로부터의 입력 신호들 중 W 신호들과 G 신호들, 및 블러링 보정 처리부(203)로부터 입력되는 블러링 보정 W 신호들 Wd를 사용하여, 블러링 보정 G 신호들 Gd, 및 블러링 비보정 G 신호들 Gl의 신호값들을 산출한다.
이들 신호값들은 RGBW 배열(181)의 W-화소 위치들을 RGB 배열(182)의 G 화소들로 설정하기 위한 G-화소값 산출에 적용되는 보간 파라미터들(GonW 보간 파라미터들)이다.
G-위치 RB-보간 파라미터 산출부(212)는 RGBW 배열(181)의 G-화소 위치들에 설정되는 R 화소값들 또는 B 화소값들의 산출에 적용되는 보간 파라미터들을 산출한다. 이들은 상기 도시된 RonG 및 BonG의 처리에 적용되는 보간 파라미터들이다. 구체적으로는, G-위치 RB-보간 파라미터 산출부(212)는 라인 메모리(201)로부터의 입력 신호들 중 G 신호들과 R 신호들, 및 블러링 보정 처리부(203)로부터 입력되는 블러링 보정 W 신호들 Wd를 사용하여, 블러링 보정 R 신호들 Rd, 및 블러링 비보정 R 신호들 Rl의 신호값들을 산출한다.
이들 신호값들은 RGBW 배열(181)의 G-화소 위치들을 RGB 배열(182)의 R 화소들로 설정하기 위한 R-화소값 산출에 적용되는 보간 파라미터들(RonG 보간 파라미터들)이다.
G-위치 RB-보간 파라미터 산출부(212)는 또한, 라인 메모리(201)로부터의 입력 신호들 중 G 신호들과 B 신호들, 및 블러링 보정 처리부(203)로부터 입력되는 블러링 보정 W 신호들 Wd를 사용하여, 블러링 보정 B 신호들 Bd, 및 블러링 비보정 B 신호 Bl의 신호값들을 산출한다.
이들 신호값들은 RGBW 배열(181)의 G-화소 위치들을 RGB 배열(182)의 B 화소들로 설정하기 위한 B-화소값 산출에 적용되는 보간 파라미터들(BonG 보간 파라미터들)이다.
R-위치 R-보간 파라미터 산출부(213)는 RGBW 배열(181)의 R-화소 위치들에 설정되는 보정된 R 화소값들의 산출에 적용되는 보간 파라미터들을 산출한다. 이들은 상기 도시된 RonR의 처리에 적용되는 파라미터들이다. 구체적으로는, R-위치 R-보간 파라미터 산출부(213)는 라인 메모리(201)로부터의 입력 신호들 중 R 신호들과 W 신호들, 및 블러링 보정 처리부(203)로부터 입력되는 블러링 보정 W 신호들 Wd를 사용하여, 블러링 보정 R 신호들 Rd, 및 블러링 비보정 R 신호들 Rl의 신호값들을 산출한다.
이들 신호값들은 RGBW 배열(181)의 R-화소 위치들을 RGB 배열(182)의 보정된 R 화소들로 설정하기 위한 R-화소값 보정 처리에 적용되는 보간 파라미터들(RonR 보간 파라미터들)이다.
B-위치 B-보간 파라미터 산출부(214)는 RGBW 배열(181)의 B 화소 위치들에 설정되는 보정된 B 화소값들의 산출에 적용되는 보간 파라미터들을 산출한다. 이들은 상기 도시된 BonB의 처리에 적용되는 파라미터들이다. 구체적으로, B-위치 B-보간 파라미터 산출부(214)는 라인 메모리(201)로부터의 입력 신호들 중 W 신호들과 B 신호들, 및 블러링 보정 처리부(203)로부터 입력되는 블러링 보정 W 신호들 Wd를 사용하여, 블러링 보정 B 신호들 Bd, 및 블러링 비보정 B 신호들 Bl의 신호값들을 산출한다.
이들 신호값들은 RGBW 배열(181)의 B-화소 위치들을 RGB 배열(182)의 보정된 B 화소들로 설정하기 위한 B-화소값 보정 처리에 적용되는 보간 파라미터들(BonB 보간 파라미터들)이다.
가중가산 처리부(215)는 에지 검출부(202)로부터 입력되는 에지 정보를 적용하여, 블러링 보정 신호들 Gd, Rd 및 Bd, 및 블러링 비보정 신호들 Gl, Rl 및 Bl에 대한 가중 평균값들 Gr, Rr 및 Br을 산출한다.
가중가산 처리부(215)에 의해 산출된 Gr, Rr 및 Br은 RGB 배열(베이어 배열)(182)을 구성하는 각각의 화소들의 RGB 신호값들에 대응한다. 따라서, 가중가산 처리부(215)에 의해 산출된 Gr, Rr 및 Br로 구성되는 RGB 배열(베이어 배열)(182)이 생성되고, RGB 신호 처리부(250)에 제공된다.
RGB 신호 처리부(250)는 일반적인 카메라 또는 화상 처리 장치가 갖는 RGB 배열(베이어 배열) 신호들을 처리하는 신호 처리부와 유사하다. RGB 신호 처리부(250)는 가중가산 처리부(215)로부터 출력되는 RGB 배열(베이어 배열)(182)에 신호 처리를 행하여 컬러 화상(183)(도 3 참조)을 생성한다. 구체적으로, RGB 신호 처리부(250)는 화이트 밸런스 조정 처리, 디모자이크 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등을 행하여 컬러 화상(183)을 생성한다.
3. 데이터 변환 처리부의 처리의 상세
다음으로, 도 4에 도시된 데이터 변환 처리부(200)를 구성하는 처리부들이 실행하는 처리의 상세에 대하여 설명한다.
3-1. 에지 검출부의 처리에 대하여
우선, 도 4에 도시된 데이터 변환 처리부(200) 내의 에지 검출부(202)의 처리의 상세에 대하여 설명한다. 에지 검출부(202)는 라인 메모리(201)로부터의 출력 신호들에 포함되는 이산적인 화이트 W 신호들을 검증하고, 화상의 에지 정보, 구체적으로는, 예를 들어, 에지 방향 및 에지 강도를 포함하는 에지 정보를 생성하여, 컬러 상관 리-모자이크 처리부(210)에 출력한다.
에지 검출부(202)가 실행하는, W 화소들을 사용하는 에지 방향 및 에지 강도의 결정 방법을 도 5a 및 이어지는 도면들을 참조하여 설명한다.
에지 검출부(202)는 라인 메모리(201)로부터 입력되는 RGBW 배열(181)의 신호들 중 화이트 W 신호만을 이용하여, 에지 방향 및 에지 강도를 결정한다. RGBW 배열 데이터 중 적어도 W의 신호값들 및 위치 정보가, 라인 메모리(201)로부터 7개의 수평 라인 단위로 입력된다. 에지 검출부(202)는 입력 데이터의 7×7 화소 영역들의 단위로 에지 검출 처리를 실행한다. 에지 검출부(202)는 7×7 화소 영역들을 1 화소씩 순차적으로 시프트하면서 에지 검출 처리를 실행한다. 1개의 7×7 화소 영역에 대한 처리에 의해 7×7 화소 영역의 중심 화소에 대응하는 에지 정보(에지 방향 및 에지 강도)가 산출된다. 각각의 화소에 대응하는 에지 정보는 컬러 상관 리-모자이크 처리부(210)에 출력된다.
에지 검출 처리에는 다양한 기술들이 적용 가능하다. 도 5a 내지 도 6b를 참조하여 그 기술들 중 하나에 대하여 설명한다. 이하에 설명되는 기술에서는, 7×7 화소 영역의 중심 근방의 4×4 화소들을 사용한다.
처리 대상의 7×7 화소들의 중심 화소는 도 5a에 도시된 경우와 같이, W 화소일 수 있고, 도 5b에 도시된 경우와 같이, W 화소 이외의 화소일 수도 있다. 도 5a 및 도 5b에서, 회색의 화소들은 W 화소들을 나타내며, 이외 화소들은 R, G 또는 B 화소들인 점에 주목한다. 도 5a 및 도 5b의 두 경우에 대하여, 상이한 산출식들이 사용되어, 에지 방향이 수평, 수직, 우측 상부 경사 및 좌측 상부 경사 방향의 4개 방향 중 하나이며, 또한 그 강도가 추정되는 에지 결정 처리를 행한다.
구체적인 처리에 대하여 도 6a 및 도 6b를 참조하여 설명한다. 도 6a 및 도 6b는, 중심 화소가 W 화소인 도 6a에 도시된 경우, 및 중심 화소가 W 화소 이외의 화소인 도 6b에 도시된 경우의 에지 방향 및 에지 강도의 결정 처리에 적용되는 산출식을 나타낸다. 적용되는 산출식들은 이하의 값들을 산출하기 위한, 화상의 특정 방향의 화소값들의 구배를 산출하는 식들이다.
gradH: 수평 방향의 구배의 절대값들의 평균
gradV: 수직 방향의 구배의 절대값들의 평균
gradA: 우측 상부 경사 방향의 구배의 절대값들의 평균
gradD: 좌측 상부 경사 방향의 구배의 절대값들의 평균
gradH, gradV, gradA 및 gradD는 상이한 방향들 각각의 화소값들의 구배(차분)의 절대값들의 평균값과 동일하다. 이하, 구체적인 산출 처리에 대하여 설명한다.
중심 화소가 W 화소인 경우의 처리
우선, 중심 화소가 W 화소인 도 6a에 도시된 경우의 처리에 대하여 설명한다. 도 6a는 (1) 내지 (4) 각각에서 W 화소가 중심 화소인 경우의 gradH, gradV, gradA 및 gradD의 산출 처리 예를 각각 도시한다. 이 도면들에서, 더블원 ◎은 7×7 화소들의 중심 화소 위치를 나타내고, 굵은 싱글원 ○은 에지의 무게 중심 위치를 나타낸다는 점에 주목한다.
중심 화소가 W 화소인 경우, gradH, gradV, gradA 및 gradD는 이하의 산출식들에 의해 산출된다.
Figure 112010053079874-pat00001
Wxy는, 4×4 화소들의 좌측 상단부 화소의 좌표가 (0, 0), 우측 하단부의 화소의 좌표가 (3, 3)인 도 6a 및 도 6b에 도시된 좌표계에서의 x-y 좌표 위치의 W 화소값을 나타내고, x는 수평 방향을, y는 수직 방향을 나타낸다는 점에 주목한다.
이들 중 gradH는, 수평 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 수평 방향의 구배의 절대값들의 평균이다. 도 6a의 (1)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 2개의 수평 라인의 수평 방향으로 근접하는 2개의 W 화소의 차분의 절대값들의 평균값은 gradH로서 산출된다.
또한, gradV는 수직 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 수직 방향의 구배의 절대값들의 평균이다. 도 6a의 (2)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 2개의 수직 라인의 수직 방향으로 근접하는 2개의 W 화소의 차분의 절대값들의 평균값이 gradV로서 산출된다.
또한, gradA는 우측 상부 경사 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 우측 상부 경사 방향의 구배의 절대값들의 평균이다. 도 6a의 (3)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 1개의 우측 상부 경사 라인에서의 우측 상부 경사 방향으로 근접하는 2개의 W 화소의 차분의 절대값들의 평균값이 gradA로서 산출된다.
또한, gradD는 좌측 상부 경사 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 좌측 상부 경사 방향의 구배의 절대값들의 평균이다. 도 6a의 (4)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 1개의 좌측 상부 경사 라인에서의 좌측 상부 경사 방향으로 근접하는 2개의 W 화소들의 차분의 절대값들의 평균값이 gradD로서 산출된다.
수평 방향의 구배의 절대값들의 평균 gradH가 클수록, 수직 방향의 에지 강도가 클 가능성이 높다. 또한, 수직 방향의 구배의 절대값들의 평균 gradV가 클수록, 수평 방향의 에지 강도가 클 가능성이 높다. 또한, 우측 상부 경사 방향의 구배의 절대값들의 평균 gradA가 클수록, 좌측 상부 경사 방향의 에지 강도가 클 가능성이 높다. 또한, 좌측 상부 경사 방향의 구배의 절대값들의 평균 gradD가 클수록, 우측 상부 경사 방향의 에지 강도가 클 가능성이 높다. 따라서, gradH, gradV, gradA 및 gradD의 산출값들에 기초하여 에지 방향 및 에지 강도가 결정될 수 있다.
중심 화소가 W 화소 이외인 경우의 처리
다음으로, 중심 화소가 W 화소 이외인 도 6b에 도시된 경우에 대하여 설명한다. 도 6b는 (1) 내지 (4) 각각에서 중심 화소가 W 화소 이외의 경우의 gradH, gradV, gradA 및 gradD의 산출 처리의 예를 각각 도시한다. 도면들에서, 더블원 ◎은 7×7 화소들의 중심 화소 위치를 나타내고, 굵은 싱글원 ○은 에지의 무게 중심 위치를 나타낸다는 점에 주목한다.
중심 화소가 W 화소 이외인 경우, gradH, gradV, gradA 및 gradD는 다음의 산출식들에 의해 산출된다.
Figure 112010053079874-pat00002
Wxy는, 4×4 화소들의 좌측 상단부 화소의 좌표가 (0, 0), 우측 하단부의 화소의 좌표가 (3, 3)인 도 6a 및 도 6b에 도시된 좌표계에서의 x-y 좌표 위치의 W 화소값을 나타내고, x는 수평 방향을, y는 수직 방향을 나타낸다는 점에 주목한다.
이들 중 gradH는, 수평 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 수평 방향의 구배의 절대값들의 평균이다. 도 6b의 (1)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 2개의 수평 라인의 수평 방향으로 근접하는 2개의 W 화소의 차분의 절대값들의 평균값은 gradH로서 산출된다.
또한, gradV는 수직 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 수직 방향의 구배의 절대값들의 평균이다. 도 6b의 (2)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 2개의 수직 라인의 수직 방향으로 근접하는 2개의 W 화소의 차분의 절대값들의 평균값은 gradV로서 산출된다.
또한, gradA는 우측 상부 경사 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 우측 상부 경사 방향의 구배의 절대값들의 평균이다. 도 6b의 (3)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 2개의 우측 상부 경사 라인에서의 우측 상부 경사 방향으로 근접하는 2개의 W 화소의 차분의 절대값들의 평균값은 gradA로서 산출된다.
또한, gradD는 좌측 상부 경사 방향으로 근접하는 W 화소들의 차분의 절대값들의 평균값에 대응하는, 좌측 상부 경사 방향의 구배의 절대값들의 평균이다. 도 6b의 (4)에 도시된 바와 같이, 4×4 화소 영역의 중앙부에 있는 2개의 좌측 상부 경사 라인에서의 좌측 상부 경사 방향으로 근접하는 2개의 W 화소들의 차분의 절대값들의 평균값은 gradD로서 산출된다.
수평 방향의 구배의 절대값들의 평균 gradH가 클수록, 수직 방향의 에지 강도가 클 가능성이 높다. 또한, 수직 방향의 구배의 절대값들의 평균 gradV가 클수록, 수평 방향의 에지 강도가 클 가능성이 높다. 또한, 우측 상부 경사 방향의 구배의 절대값들의 평균 gradA가 클수록, 좌측 상부 경사 방향의 에지 강도가 클 가능성이 높다. 또한, 좌측 상부 경사 방향의 구배의 절대값들의 평균 gradD가 클수록, 우측 상부 경사 방향의 에지 강도가 클 가능성이 높다.
따라서, gradH, gradV, gradA 및 gradD의 산출값들에 기초하여 에지 방향 및 에지 강도가 추정될 수 있다. 에지 검출부(202)는 gradH, gradV, gradA 및 gradD의 값들에 기초하여 각각의 화소에 대응하는 에지 정보(에지 방향 및 에지 강도)를 취득한다. 취득된 에지 정보는 컬러 상관 리-모자이크 처리부(210)에 출력된다.
또한, 상술된 에지 방향 및 강도를 검출하는 방법은 단지 일례이며, 그 밖의 에지 검출 방법들이 사용되는 구성이 될 수도 있다는 점에 주목한다. 예를 들어, 도 6a 및 도 6b를 참조하여 설명한 에지 검출 방법은 지극히 좁은 범위에 대한 특정한 화소값 정보를 사용하여, 노이즈가 클 경우에는 잘못된 결정이 예상될 수 있다. 이러한 잘못된 결정이 방지되는 에지 정보 취득 처리 예에 대하여, 도 7a 및 도 7b를 참조하여 설명한다.
도 7a 및 도 7b에 도시된 에지 정보 취득 처리 예는, 도 6a 및 도 6b를 참조하여 설명한 산출 값인, 구배의 절대값의 평균의 가중가산 처리를 사용하는 기술이다. 도 7a에는, 수평/수직 성분 에지 정보 취득 처리 예가 도시되어 있고, 도 7b에는 경사 성분 에지 정보 취득 처리 예가 도시되어 있다.
도 7a 및 도 7b는 7×7 화소의 화상 데이터를 도시한다. 이 데이터는, 에지 검출부(202)에 의해 처리되는 데이터이며, 도 6a 및 도 6b의 경우와 마찬가지로, 화이트 화소값들만이 이산적으로 배열된 데이터이다. 7×7 화소들의 중심에 위치하는 중심 화소에 대응하는 에지 정보(에지 방향 및 에지 강도)가 얻어진다.
우선, 도 7a의 수평/수직 성분 에지 정보 취득 처리 예에 대해서 설명한다. 도 7a는 16개의 에지 무게 중심을 도시한다. 이들은, 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)의 에지 무게 중심에 대응하고, 보다 구체적으로는, gradH(수평 방향의 구배의 절대값들의 평균) 및 gradV(수직 방향의 구배의 절대값들의 평균)의 값들을 산출할 때의 에지 무게 중심에 대응한다.
도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)에 도시된 4×4 화소 영역들은 도 7a에 도시된 7×7 화소 영역에 설정된다. 좌측 상단부에 도시된 4×4 화소 영역(302)으로부터 우측 하단부에 도시된 4×4 화소 영역(304)까지 16개의 설정 가능한 4×4 화소 영역들이 존재한다. 도 7a에 도시된 16개의 에지 무게 중심은, 이들 16개의 4×4 화소 영역들에 대응하는 에지 무게 중심, 즉, 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)에 도시된 것과 같은 에지 무게 중심이다.
수평축을 i, 수직축을 j로 하여, 도 7a에 도시된, 0, 1, 2 및 3의 스케일을 설정하고, 에지 무게 중심의 좌표 위치를 (i, j)로서 표기하는 것은, 에지 무게 중심 (0, 0)(301)이 4×4의 화소 영역(302)에 대응하는 에지 무게 중심임을 의미한다. 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)에 도시된 4×4의 화소 영역으로서의 4×4의 화소 영역(302)에 있어서, 에지 무게 중심(0, 0)(301)은 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)에 도시된 무게 중심에 대응한다.
또한, 에지 무게 중심(3, 3)(303)은 4×4의 화소 영역(304)에 대응하여 설정된 에지 무게 중심이다. 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)에 도시된 4×4의 화소 영역으로서의 4×4의 화소 영역(304)에 있어서, 에지 무게 중심(3, 3)(303)은 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)에 도시된 무게 중심에 대응한다.
도 7a에 도시된 7×7 화소 영역에는, 4×4의 화소 영역들 및 에지 무게 중심의 16개의 세트가 설정된다. 이들 16개의 세트에 대하여 도 6a의 (1)과 (2) 및 도 6b의 (1)과 (2)를 참조하여 설명한 산출식을 사용함으로써, gradH(수평 방향의 구배의 절대값들의 평균) 및 gradV(수직 방향의 구배의 절대값들의 평균) 각각에 대해 16개의 값들이 산출된다.
에지 무게 중심(i, j)에 대응하는 4×4 화소 영역들을 사용하여 산출되는 구배의 절대값들의 평균 gradH 및 gradV는, 각각, gradHi ,j 및 gradVi , j 로서 기재될 것이다. 이들은, 다음의 산출식을 사용하여 구배의 절대값들의 평균의 가중가산 값들, dirH(수평 구배 정보) 및 dirV(수직 구배 정보)를 산출하는데 사용된다.
Figure 112010053079874-pat00003
wi ,j는,(i, j) 위치에서의 에지 무게 중심에 대응하는 가중 계수이다. 가중 계수는, 예를 들어, 도 7a에 도시된 바와 같이, 중심부를 더 크게 주변부를 더 작게 설정한 계수로서 설정된다. 도 7a는 가중 계수의 일례로서, 4/36 내지 1/36의 가중 계수를 16개의 에지 무게 중심에 상관시킨 예를 도시한다.
다음으로, 도 7b의 경사 성분 에지 정보 취득 처리 예에 대하여 설명한다. 도 7b는 25개의 에지 무게 중심을 도시한다. 이들은, 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에서의 에지 무게 중심에 대응하고, 보다 구체적으로는, gradA(우측 상부 경사 방향의 구배의 절대값들의 평균) 및 gradD(좌측 상부 경사 방향의 구배의 절대값들의 평균)의 값들을 산출할 때의 에지 무게 중심에 대응한다.
도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 4×4 화소 영역들은 도 7b에 도시된 7×7 화소 영역에 설정된다. 좌측 상단부에 도시된 4×4 화소 영역(312)으로부터 우측 하단부에 도시된 4×4 화소 영역(314)까지 16개의 설정가능한 4×4 화소 영역들이 존재한다. 도 7b에 도시된 25개의 에지 무게 중심 중, 도 7b에 도시된 점선 직사각형 프레임(315) 내의 16개의 에지 무게 중심은, 이들 16개의 4×4 화소 영역들에 대응하는 에지 무게 중심, 즉, 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 바와 같은 에지 무게 중심이다.
수평축을 i, 수직축을 j로 하여, 도 7b에 도시된 0, 1, 2, 3 및 4의 스케일을 설정하고, 에지 무게 중심의 좌표 위치를 (i, j)로서 표기하는 것은, 에지 무게 중심(1, 1)(311)이 4×4의 화소 영역(312)에 대응하는 에지 무게 중심임을 의미한다. 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 4×4의 화소 영역으로서의 4×4의 화소 영역(312)에 있어서, 에지 무게 중심(1, 1)(311)은 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 무게 중심에 대응한다.
또한, 에지 무게 중심(4, 4)(313)은 4×4의 화소 영역(314)에 대응하여 설정된 에지 무게 중심이다. 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 4×4의 화소 영역들로서의 4×4의 화소 영역(314)에 있어서, 에지 무게 중심(4, 4)(313)은 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 무게 중심에 대응한다.
도 7b는 또한, i=0 및 j=0의 위치에서의, (i, j)=(0, 0) 내지 (0, 4) 및 (1, 0) 내지 (4, 0)의 에지 무게 중심인, 점선 직사각형 프레임(315)의 외부 측의 에지 무게 중심을 도시한다.
도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)에 도시된 바와 같이, gradA(우측 상부 경사 방향의 구배의 절대값들의 평균) 및 gradD(좌측 상부 경사 방향의 구배의 절대값들의 평균)의 값들을 산출하는데 사용되는 화소 위치들은 에지 무게 중심 둘레의 8개의 화소들만이다. 따라서, 도 7b에 도시된 바와 같이, 에지 무게 중심이 i=0, j=0의 위치에 있는 경우에도, gradA 및 gradV를 산출할 수 있다.
이는, 7×7 화소 영역을 사용하여, 상이한 위치들에 에지 무게 중심을 설정하여 산출가능한 gradA 및 gradD가, 도 7b에 도시된 25개의 에지 무게 중심 위치들에 대응하는 25개의 데이터 세트임을 의미한다.
도 7b에 도시된 7×7 화소 영역에 대하여, 도 6a의 (3)과 (4) 및 도 6b의 (3)과 (4)를 참조하여 설명한 산출식을 사용함으로써, gradA(우측 상부 경사 방향의 구배의 절대값들의 평균) 및 gradD(좌측 상부 경사 방향의 구배의 절대값들의 평균) 각각에 대해 25개의 값들을 산출할 수 있다.
에지 무게 중심(i, j)에 대응하는 4×4 화소 영역들을 사용하여 산출되는 구배의 절대값들의 평균 gradA 및 gradD를 각각, gradAi , j 및 gradDi , j 로서 기재한다. 이들은, 다음의 산출식을 사용하여, 구배의 절대값들의 평균의 가중가산 값, dirA(우측 상부 경사의 구배 정보) 및 dirD(좌측 상부 경사의 구배 정보)를 산출하는데 사용된다.
Figure 112010053079874-pat00004
여기서, wi ,j는 (i, j) 위치에서의 에지 무게 중심에 대응하는 가중 계수이다.
가중 계수는 예를 들어, 도 7b에 도시된 바와 같이, 중심부를 더 크게, 주변부를 더 작게 설정한 계수로서 설정된다. 도 7b는 가중 계수의 일례로서, 16/100 내지 1/100의 가중 계수가 25개의 에지 무게 중심에 상관되는 예를 도시한다.
도 7a 및 도 7b를 참조하여 설명한 처리에 의해 산출된 에지 정보, 즉, dirH(수평 구배 정보), dirV(수직 구배 정보), dirA(우측 상부 경사의 구배 정보) 및 dirD(좌측 상부 경사의 구배 정보)는, 7×7 화소 영역에 포함되는 다수의 화소들의 화소값(W 화소값)을 사용하여 산출되는 에지 정보이다. 따라서, 도 6a 및 도 6b를 참조하여 설명한 소수의 화소들의 화소 정보를 적용하여 산출된 에지 정보와 비교할 때, 노이즈 등으로 인한 잘못된 결과를 얻을 가능성이 더 적다. 상기 식 및 도 7a 및 도 7b에서의 가중 계수 wij의 설정예는 단지 일례이며, 그 밖의 평균화 계수도 또한 사용될 수 있다는 점에 주목한다.
에지 검출부(202)는 이러한 방식으로 취득된, dirH, dirV, dirA 및 dirD의 최대값을, 7×7 화소들의 중심 화소에 대응하는 에지 강도로서 취득한다. 에지 강도는 ratioFlat로서 이하의 식으로 나타낸다.
ratioFlat=max(dirH, dirV, dirA, dirD)
또한, 에지 검출부(202)는 상기 에지 강도 ratioFlat에 대하여, 미리 설정된 비선형 함수 fflat을 적용하여, 평탄도의 지표값을 나타내는 값 weightFlat를 다음의 식으로 산출한다.
평탄도(weightFlat)=fflat(ratioFlat)
도 8에 도시된 바와 같이, 평탄도 weightFlat는 0과 1 사이의 범위의 값을 갖고, 1에 가까울수록, 평탄도가 낮고(텍스쳐가 많음), 0에 가까울수록, 평탄도가 높은(텍스쳐가 적음), 화상 상태를 나타내는 평탄도의 지표값이다.
도 8에 도시된 바와 같이, 미리 설정된 2개의 임계값 Limit0 및 Limit1을 사용하여, 다음과 같이 평탄도 weightFlat를 산출한다.
0≤ratioFlat<Limit0이면, weightFlat=0
Limit0≤ratioFlat<Limit1이면, 0≤weightFlat≤1
Limit1≤ratioFlat이면, weightFlat=1
에지 검출부(202)는 에지 정보로서, 예를 들어, 상기 평탄도 weightFlat 정보를 컬러 상관 리-모자이크 처리부(210)에 출력한다. 평탄도 weightFlat 정보는, 에지 검출부(202)가 컬러 상관 리-모자이크 처리부(210)에 출력하는 에지 정보의 일례임에 주목한다. 에지 검출부(202)가 컬러 상관 리-모자이크 처리부(210)에 출력하는 에지 정보는, 평탄도 weightFlat 정보로 제한되지 않고, 도 6a 및 도 6b를 참조하여 상술한 화소값 구배 정보(gradH, gradV, gradA, gradD)일 수도 있다. 대안으로서, 에지 검출부(202)가 컬러 상관 리-모자이크 처리부(210)에 출력하는 에지 정보는, 도 7a 및 도 7b를 참조하여 설명한, 구배의 절대값들의 평균의 가중가산 값들(dirH, dirV, dirA, dirD)일 수도 있다.
3-2. 블러링 보정 처리부의 처리에 대하여
다음으로, 도 4에 도시된 데이터 변환 처리부(200) 내의 블러링 보정 처리부(203)의 처리에 대하여 설명한다. 그러나, 블러링 보정 처리부의 처리의 설명 전에, 촬상 소자(이미지 센서)(110)의 전단에 있는 광학 렌즈(105)의 수차에 대하여 설명한다.
촬상 소자(이미지 센서)(110)에 입력되는 신호들 중 촬상 소자(이미지 센서)(110)의 나이퀴스트 주파수(Nyquist frequency)(샘플링 주파수의 1/2의 주파수)를 초과하는 신호가 포함되는 경우, 표본화 이론에 기초하는 에일리어싱(폴딩 노이즈(folding noise)라고도 함)이 발생하여, 화질 열화의 요인이 된다. 관련 기술 분야에 따른 많은 카메라들에 흔히 사용되는 성능의 광학 렌즈들과 RGB 베이어 배열 센서들의 조합에서는, 광학 렌즈의 집광 성능보다 표본 추출 비율이 더 높아, 에일리어싱이 거의 문제되지 않는다.
그러나, 도 3에 도시된 RGBW 배열(181)을 갖는 촬상 소자(110)를 사용하는 경우는, 컬러 성분들의 표본 추출 비율이 RGB 베이어 배열의 표본 추출 비율의 절반이어서, 에일리어싱에 의한 의사 컬러가 더 발생하기 쉽다는 문제가 있다. 나이퀴스트 주파수를 초과하는 신호들을 차단하도록, 촬상 소자(110)와 광학 렌즈(105) 사이에 광학 로우-패스(low pass) 필터를 부가함으로써 의사 컬러를 억제할 수 있지만, 비용이 증가하는 문제가 있다.
또한, 도 1b 및 다른 도면들을 참조하여 설명한 RGBW 배열에서는, R, G, B 및 W 마다 화소 배분 비율이 상이하다. 즉, 각각의 파장에 대해 나이퀴스트 주파수가 상이한데, 예를 들어, R 신호들 또는 B 신호들이 가장 낮은 표본 추출 비율을 갖도록 설계하면, W 신호들 및 G 신호들의 고주파 성분이 제거된다. 반대로, W 신호들이 가장 높은 표본 추출 비율을 갖도록 설계가 이루어지는 경우, R 신호들 및 B 신호들에서 강한 에일리어싱이 발생한다.
이러한 문제를 해결하기 위해, 컬러 성분들에서 에일리어싱이 발생하지 않도록, 센서의 표본 추출 비율에 맞추어 광학 렌즈(105)의 수차 설계를 행하는 것이 바람직하다. 즉, 컬러 성분마다의 표본 추출 비율에 대하여 렌즈 수차를 설계하여 입력 신호들을 블러링함으로써 에일리어싱의 발생을 억제할 수 있다.
또한, 렌즈 수차가 큰 광학 렌즈(105)를 사용함으로써, 국소 영역들에서의 컬러 비율의 변동을 작게하여 의사 컬러를 억제할 수 있다. 특히, 본 발명의 실시예에 따른 화상 처리 장치의 컬러 상관 리-모자이크 처리부(210)에서는, RGBW 배열로부터 RGB 배열로의 변환 시에, 보간 파라미터 Gd, Rd 및 Bd 신호들 등이 생성되고, 보간 파라미터 Gd, Rd 및 Bd 신호들을 사용하는 신호 변환이 행해진다. 이 경우, 임의의 에일리어싱이 존재하면, 보간 파라미터 Gd, Rd 및 Bd 신호들의 잘못된 추정으로 인한 의사 컬러가 쉽게 발생할 수 있다.
따라서, 본 발명의 실시예에 따른 화상 처리 장치(촬상 장치)에서는, 렌즈 수차를 컬러 성분마다의 표본 추출 비율에 맞춘 광학 렌즈(105)가 사용된다. 이 설정에 의해, 에일리어싱의 발생이 억제되어, 컬러 상관 리-모자이크 처리부(210)에서의 Gd, Rd 및 Bd 신호들 등과 같은 보간 파라미터들의 추정이 정확하게 행해져, 의사 컬러의 발생을 억제할 수 있다. 구체적으로는, 동일한 컬러 성분의 나이퀴스트 주파수를 초과하는 신호 성분들이 발생되지 않는 렌즈 수차를 갖는 광학 렌즈가 사용된다.
컬러 성분들의 에일리어싱을 억제하도록 수차를 높인 광학 렌즈(105)를 사용하는 것은, R, G 및 B 파장들을 합한 결과인 W 성분에도 유사한 수차가 존재하여, 블러링된 화상이 된다는 것을 의미하는 것임에 주목한다. 도 1b의 RGBW 배열에서의 W 성분은, RGB 컬러 성분들보다도 높은 표본 추출 비율을 갖고, 그것이 휘도의 기준 신호로서 기능하기 때문에, 높은 해상도 특성을 갖는 것이 바람직하다.
이를 만족시키기 위해, 본 발명의 실시예에 따른 화상 처리 장치에서는, 블러링 보정 처리부(203)에서, W 성분에 대하여 광학 렌즈의 수차 정보에 기초한 블러링 보정 처리가 행해진다. 이러한 처리에 의해, 높은 해상도 특성이 실현될 수 있고, 또한 의사 컬러가 적은 화상이 취득될 수 있다. 신호가 렌즈 수차로 인해 지나치게 열화되는 경우, 신호 성분은 노이즈에 묻혀서, 복원할 수 없게 된다는 점에 주목한다. 따라서, 블러링 보정 처리가 행해지는 W 신호들의 강도가 나이퀴스트 주파수 이하의 전주파수 대역에 걸쳐 너무 작지 않은 설정을 갖는 광학 렌즈를 사용하는 것이 바람직하다.
블러링 보정 처리부(203)에서의 처리에 대하여 설명한다. 다음의 수학식 1이 성립한다.
Figure 112010053079874-pat00005
여기서, f(x, y)는 블러링이 해소된 이상 화상(ideal image)을 나타내고, g(x, y)는 블러링을 포함하는 관측 화상을 나타내며, h(x, y)는 렌즈 수차 및 손 떨림에 의한 열화 함수를 나타내고, n(x, y)는 노이즈 성분을 나타내며, h(x, y)가 이동 불변이라고 가정한다.
상기 수학식 1의 양변을 푸리에 변환하면,
Figure 112010053079874-pat00006
가 성립되고, 여기서, G(u, v), H(u, v), F(u, v) 및 N(u, v)는 각각, g(x, y), h(x, y), f(x, y) 및 n(x, y)의 푸리에 변환을 나타낸다.
상기 수학식 2에서 렌즈 수차 및 손 떨림에 의한 열화 함수에 대하여 0이 ㅈ존재하지 않고, 노이즈 성분이 알려져 있는 경우, 다음 수학식 3으로부터 F(u, v)를 구할 수 있다.
Figure 112010053079874-pat00007
그러나, 열화 함수의 푸리에 변환인 H(u, v)가 0을 갖는 경우, 또는 노이즈에 묻힐 만큼 레벨이 약한 경우에는, 상기 수학식 3의 연산을 행할 수 없다. 따라서, 촬상 장치(100)의 광학 렌즈(105)의 수차는 W 신호들의 강도가 나이퀴스트 주파수 이하의 전주파수 대역에 걸쳐, 너무 작지 않도록 유의해야 한다. 또한, 노이즈 성분은 일반적으로 알려져 있지 않기 때문에, H(u, v)가 0을 갖지 않아도, 엄밀히 말하면 수학식 3은 풀 수 없다.
이상 화상과 복원 화상 사이의 오차를 최소화하는 수학식 4의 위이너(Wiener) 필터 K(u, v)를 사용하는 블러링 보정도 이용 가능하다. 예를 들어, 일본 특허 공개 번호 제2008-42874호를 참조한다.
Figure 112010053079874-pat00008
여기서, c는 SN비에 의해 결정되는 상수이다.
이하의 수학식 5에 도시된 바와 같이, 이 필터를 역 푸리에 변환한 k(x, y)및 관측 화상을 실제 공간에서 컨볼루팅하여, 블러링 보정 화상 f'(x, y)을 얻을 수 있다.
Figure 112010053079874-pat00009
이러한 수학식에서 얻어지는 블러링 보정 화상 f'(x, y)을 구성하는 화이트 W 화소들의 화소값들은 블러링 보정 W 신호들 Wd로서 컬러 상관 리-모자이크 처리부(210)에 출력된다. 위너 필터를 사용하는 블러링 복원 처리를 예시했지만, 최대 가능한 추정 또는 베이즈(Bayes) 추정에 기초하여, 반복 처리에 의한 블러링 대응 처리가 행해질 수 있다는 점에 주목한다.
일반적으로, 집광하는 것을 목적으로 한 광학 렌즈의 경우, 중심 화소에서 파워가 가장 높다. 따라서, 블러링 보정을 행하는 필터도 중심 화소에서 가장 높다. 블러링 보정 처리부(203)에서, 중심 화소가 W 화소인 경우, 재샘플링된 위너 필터의 컨볼루션 연산을 행함으로써 블러링 보정이 행해질 수 있지만, 중심 화소가 W 화소가 아닐 경우에는, 무게가 집중되는 화소에 대한 W 신호가 결핍되어, 충분한 블러링 보정 효과를 기대할 수 없다. 따라서, 이 경우에는, 주변의 W 신호들로부터 중심의 W 신호가 보간되고, 이 신호 및 주변의 W 화소 신호들을 사용하여 블러링 보정 처리가 행해진다.
중심 화소가 W 화소가 아닐 경우에, 주변의 W 신호로부터 중심의 W 신호를 보간하는 방법에 대하여 도 9를 참조하여 설명한다.
블러링 보정 처리부(203)는, 에지 검출부(202)에서 산출된 구배의 절대값들의 평균의 가중가산 값들 dirH와 dirV의 크기를 비교하여, dirH≥dirV의 경우에는, 에지가 수직 방향 에지라고 판단하고, 따라서 도 9의 (a)에 도시된 필터(411)를 적용하여 W 화소 이외의 화소들의 W 화소값들을 설정한다. 즉, 수직 방향의 W 화소값들을 참조 화소들로 하고, 이들 참조 화소들의 W 화소값들을 사용하여, 중심 화소의 W 화소값을 추정한다.
한편, dirH <dirV의 경우에는, 에지가 수평 방향의 에지라고 판단하고, 따라서 도 9의 (b)에 도시된 필터(412)를 적용하여 W 화소 이외의 화소들의 W 화소값들을 설정한다. 즉, 수평 방향의 W 화소값들을 참조 화소들로 하고, 이들 참조 화소들의 W 화소값들을 사용하여, 중심 화소의 W 화소값을 추정한다. 도 9에 도시된 필터들(411 및 412)에서, 회색으로 나타낸 화소들은 W 화소들에 대응하는 위치들이고, 이외의 화소들은 RGB 화소들이라는 점에 주목한다.
7×7 화소의 입력 신호들(401)의 중심을 보간 대상 화소(402)로 하고, dirH≥dirV의 경우에는, 에지가 수직 방향의 에지라고 판단하고, 따라서 도 9의 (a)에 도시된 필터(411)를 적용하여 보간 대상 화소(402)의 상하 2개의 W 화소의 평균값 Wc을 산출하는데, 이 값은 보간 대상 화소(402)의 W 화소값으로서 취해진다. 한편, dirH <dirV의 경우에는, 에지가 수평 방향의 에지라고 판단하고, 따라서 도 9의 (b)에 도시된 필터(412)를 적용하여 보간 대상 화소(402)의 좌우 2개의 W 화소의 평균값 Wc을 산출하는데, 이 값은 보간 대상 화소(402)의 W 화소값으로서 취해진다.
보간된 W 신호와 라인 메모리(201)로부터 출력되는 체커보드 패턴(checkerboard pattern)의 W 신호들에 대하여 상술한 위너 필터의 컨볼루션에 의해 블러링 보정 처리가 행해진다. 즉, 위너 필터를 적용한 컨볼루션 연산에 의해 얻어지는 블러링 보정 화상 f'(x, y)을 구성하는 화이트 W 화소들의 화소값들은 블러링 보정 W 신호 Wd로서 컬러 상관 리-모자이크 처리부(210)에 출력된다. 상술한 바와 같이, 최대 가능한 추정 또는 베이즈 추정에 기초하여, 반복 처리에 의한 블러링 복원 처리가 행해질 수 있고, 블러링 보정 W 신호 Wd를 생성하는데에, 그러한 처리가 적용될 수도 있다는 점에 주목한다.
따라서, 블러링 보정 처리부(203)는, 라인 메모리(201)로부터 입력된 데이터의 화이트 W 화소들을 적용하고, 보간 처리에 의해 W 화소들 이외의 RGB 화소 위치들에 W 화소들을 설정하고, 또한 블러링 보정 처리를 실행하며, 모든 화소에 대응하는 블러링 보정 W 신호들, 즉, 블러링 보정 W 신호 Wd를 생성하여 이들을 컬러 상관 리-모자이크 처리부(210)에 출력한다.
3-3. 컬러 상관 리-모자이크 처리부(데이터 변환부)의 처리에 대하여
다음으로, 도 4에 도시된 데이터 변환 처리부(200) 내의 컬러 상관 리-모자이크 처리부(210)의 처리에 대하여 설명한다. 컬러 상관 리-모자이크 처리부(210)는, RGBW 컬러 배열로부터 RGB 배열(182)로의 변환 처리를 실행한다.
구체적으로는, 먼저 도 2를 참조하여 설명한 바와 같이, 다음의 5종류의 변환 또는 보정 처리를 실행한다.
W-화소 위치를 G-화소로 변환(G-화소값을 추정) (GonW)
G-화소 위치를 R-화소로 변환(R-화소값을 추정) (RonG)
G-화소 위치를 B-화소로 변환(B-화소값을 추정) (BonG)
R-화소 위치를 R-화소로 변환(R-화소값을 보정) (RonR)
B-화소 위치를 B-화소로 변환(B-화소값을 보정) (BonB)
컬러 상관 리-모자이크 처리부(210)는, RGBW 배열(181)에서 휘도의 주성분인 W 신호들과 컬러 성분인 G, R 및 B 신호들 사이에 정의 상관이 있다고 가정하여, RGBW 배열의 각각의 화소에 설정되는 R, G 및 B 중 어느 하나의 화소값을 추정한다. 컬러 상관 리-모자이크 처리부(210)는, W-위치 G-보간 파라미터 산출부(211), G-위치 RB-보간 파라미터 산출부(212), R-위치 R-보간 파라미터 산출부(213), B-위치 B-보간 파라미터 산출부(214) 및 가중 가산부(215)를 갖는다.
우선, RGBW 배열(181)의 W 화소 위치들을 RGB 배열(182)의 G 화소들로 변환(G 화소값들을 추정)하기 위한 보간 파라미터 산출부인 W-위치 G-보간 파라미터 산출부(211)의 처리에 대하여 설명한다. W-위치 G-보간 파라미터 산출부(211)는 RGBW 배열(181)의 W 화소 위치들에 설정되는 G 화소값들의 산출에 적용되는 보간 파라미터들을 산출한다. 이들은 상술한 GonW 처리에 적용되는 보간 파라미터들이다.
구체적으로, W-위치 G-보간 파라미터 산출부(211)는 라인 메모리(201)로부터의 입력 신호들 중의 W 신호들과 G 신호들, 및 블러링 보정 처리부(203)로부터 입력되는 블러링 보정 W 신호들 Wd를 사용하여, 블러링 보정 G 신호들 Gd 및 블러링 비보정 G 신호들 Gl의 신호값들을 산출한다.
이들의 신호값들은, RGBW 배열(181)의 W-화소 위치들을 RGB 배열(182)의 G 화소들로 설정하기 위한 G-화소값 산출에 적용되는 보간 파라미터들(GonW 보간 파라미터들)이다.
컬러 상관 리-모자이크 처리부(210)는 또한, 7×7의 화소 영역들을 처리 단위로 하여, 처리를 행한다는 점에 주목한다. W-위치 G-보간 파라미터 산출부(211)는, 우선, 처리 단위인 7×7 화소 영역에서의 W 신호들과 G 신호들 사이의 비율을 구한다.
도 10에 도시된 평활화 필터(smoothing filter)(511)를 사용하여 W 신호들의 저주파 성분 mW를 산출하고, 도 11에 도시된 평활화 필터(521) 또는 평활화 필터(522)를 사용하여 G 신호들의 저주파 성분 mG를 산출한다.
우선, 도 10을 참조하여 W 신호들의 저주파 성분 mW의 산출 처리에 대하여 설명한다. 7×7 화소들의 입력 신호들(501)에, 도 10에 도시된 평활화 필터(511)를 적용하여, 7×7 화소들의 입력 신호들(501)에 대응하는 저주파 성분 mW를 산출한다. G 화소로의 변환의 대상인 W 화소는, 7×7 화소들의 입력 신호들(501)의 중심에서의 변환 대상 화소(502)이다. 도 10에 도시된 입력 신호들(501)에서, 회색으로 나타내는 화소들은 W 화소들이고, 그 외의 화소들은 RGB 화소들이다. 마찬가지 방식으로, 도 10에 도시된 평활화 필터(511)에서 회색으로 나타내는 화소들은 W 화소들에 대응하는 위치들이고, 그 외의 화소들은 RGB 화소들에 대응하는 위치들이다. 다음의 도면에서도 W 화소들 또는 W 화소들에 대응하는 위치들은 회색으로 나타내고, RGB 화소 위치들 또는 대응 위치들은 화이트로 나타낸다는 점에 주목한다.
평활화 필터(511)는, 변환 대상 화소에 대응하는 위치(512)의 필터 계수가 가장 크고, 멀리 떨어질수록 낮아지는 필터이다. 계수로서 16/128 내지 1/128의 계수들이 설정된다. 이 평활화 필터(511)를 적용하여, 저주파 성분 mW를 산출한다. 7×7 화소들의 입력 신호들(501)의 W 화소 위치들에서의 화소값에, 평활화 필터(511)의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과의 가산 값들을 W 신호들의 저주파 성분 mW로서 산출한다.
도 10에 도시된 평활화 필터(511)의 필터 계수 설정예는 단지 일례이며, 이밖의 필터 계수가 설정된 필터들이 사용될 수 있다는 점에 주목한다. 도 10에 도시된 평활화 필터(511)는 총 필터 계수가 2승이 되도록 구성된다. 이러한 구성은 제산부를 비트 시프트만으로 실현 가능하게 하고, 연산 비용의 삭감도 가능하게 한다. 도 10에 도시된 필터 예 대신에, 예를 들어, 로우-패스 특성을 갖는 그 밖의 평활화 필터들이 사용될 수 있다.
저주파 성분 mW의 산출을 위해 입력되는 입력 신호들(501)은, 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하다는 점에 주목한다. 그러나, 연산 비용 삭감을 위해, 블러링 보정 처리부(203)가 생성한 블러링 보정 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수도 있다.
다음으로, 도 11을 참조하여 G 신호들의 저주파 성분 mG의 산출 처리에 대하여 설명한다. 7×7 화소들의 입력 신호들(501)에, 도 11의 (a)에 도시된 평활화 필터(521) 또는 도 11의 (b)에 도시된 평활화 필터(522)를 적용하여, 7×7 화소들의 입력 신호들(501)에 대응하는 저주파 성분 mG를 산출한다. G 화소로의 변환 대상인 W 화소는, 7×7 화소들의 입력 신호들(501)의 중심에서의 변환 대상 화소(502)이다.
여기에서, G 화소들로의 변환 대상인 W 화소들에는 2종류가 존재한다. 하나는, 바로 왼쪽에 G 화소를 갖는 위상을 갖는 변환 대상 화소(502)이고, 다른 하나는, 바로 오른쪽에 G 화소를 갖는 위상을 갖는 변환 대상 화소(502)이다. 따라서, 각각의 위상에 대하여 상이한 필터가 적용된다. 바로 왼쪽에 G 화소를 갖는 위상의 경우에는, 도 11의 (a)에 도시된 평활화 필터(521)를 사용하고, 바로 오른쪽에 G 화소를 갖는 위상의 경우에는, 도 11의 (b)에 도시된 평활화 필터(522)를 사용한다. 어느 필터에서도, 필터 계수를 나타내는 값들을 표시하는 화소들은 G 화소들에 대응하는 위치들이다.
평활화 필터(521) 및 평활화 필터(522)는 모두, 변환 대상 화소 위치(523 및 524) 근방의 변환 대상 G 화소에 대응하는 위치의 필터 계수가 가장 크고, 멀리 떨어질수록 더 낮아지는 필터들이다. 계수로서 6/32 내지 1/32의 계수가 설정된다. 평활화 필터들(521 및 522)은 저주파 성분 mG를 산출하는데 적용된다. 7×7 화소들의 입력 신호들(501)의 G 화소 위치들에서의 화소값에, 평활화 필터들(521 또는 522) 중 하나의 대응하는 화소 위치들에서의 필터 계수를 승산하고, 승산 결과의 가산 값들을 G 신호들의 저주파 성분 mG로서 산출한다.
도 11에 도시된 평활화 필터들(521 및 522)의 필터 계수 설정예들은 단지 일례이며, 그 밖의 필터 계수가 설정된 필터들이 사용될 수 있다는 점에 주목한다. W-위치 G-보간 파라미터 산출부(211)는, 이와 같이, G 화소로의 변환 대상인 W 화소를 중심 화소로서 갖는 7×7 화소 영역을 처리 단위로 하여, W 신호들 및 G 신호들의 저주파 성분 mW 및mG를 산출한다.
이러한 방식으로 산출된 mW 및 mG의 비율이 화상 내의 국소 영역에서 유지된다고 가정한다. 이러한 가정에 따르면, 국소 영역에서의 W 및 G의 화소값 비율은 도 12의 그래프에 도시된 대응 관계에 있다. 도 12의 그래프에서, 횡축은 W-화소값을 나타내고, 종축은 G-화소값을 나타낸다. 화상의 특정하게 좁은 국소 영역들에서, W 화소값들 및 G 화소값들의 비율이 일정하다고 하면, 도 12에 직선으로 나타낸 바와 같은 비례 관계에 있다고 가정할 수 있다.
이러한 가정 하에, 블러링 보정 처리부(203)로부터 출력되는 변환 대상 화소 위치에서의 블러링 보정 화이트 W 신호 Wd를 사용하여, 블러링 보정 G 신호 Gd를, 이하의 식을 따라 산출한다.
Gd=(mG/mW)Wd
여기서, 신호 Gd는 고주파 성분을 포함하는 G 신호이다.
W 화소값들과 G 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술들이 사용될 수도 있다는 점에 주목한다.
상술한 바와 같이, W-위치 G-보간 파라미터 산출부(211)는 RGBW 배열(181)의 W 화소 위치들에 설정되는 G 화소값들의 산출에 적용되는 보간 파라미터들로서, 블러링 보정 G 신호들 Gd, 및 블러링 비보정 G 신호들 Gl의 신호값들을 산출한다. 가중가산 처리부(215)는, 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Gd 및 Gl을 블렌딩하여, 최종적인 G 화소값을 결정한다.
블러링 비보정 G 신호 Gl의 산출 처리에 대하여 설명한다. 블러링 비보정 G 신호 Gl의 산출 시에, 우선, 도 13에 도시된 평활화 필터(531)를 사용하여 노이즈 신호들이 제거된 W 신호들 Wn을 산출한다. 7×7 화소의 입력 신호들(501)의 변환 대상 화소(502)의 W-화소 위치를 중심으로 하는 9개의 화소들 중의 W 화소값들에, 평활화 필터(531)의 대응 화소 위치들에서의 필터 계수를 승산하여, 노이즈 제거된 화이트 W 신호 Wn으로서 승산 결과의 가산 값을 산출한다. 평활화 필터(531)의 필터 계수는, 변환 대상 화소(502)의 대응 위치 W 화소 및 주위의 W 화소들에 대하여 4/8 내지 1/8로 설정된다.
이러한 필터 계수는 단지 일례이며, 그 밖의 계수가 사용되는 구성이 될 수도 있다는 점에 주목한다. 또한, 9개의 화소보다 넓은 영역이 사용되는 구성이 될 수도 있다. 또한, 연산 비용을 삭감하기 위해, 라인 메모리(201)로부터 입력되는 W 신호들이 그대로 사용되는 구성이 될 수도 있다.
이러한 노이즈 제거된 W 신호 Wn, 및 W 신호와 G 신호의 저주파 성분 mW 및 mG을 적용하여, 블러링 비보정 G 신호 Gl을, 다음의 식을 따라 산출한다.
Gl=(mG/mW)Wn
이러한 신호 Gl은 블러링 보정 신호 Wd가 적용된 것이 아니고, 고주파 성분이 강조되지 않은 G 신호에 대응한다는 점에 주목한다.
W 화소값들과 G 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수도 있다는 점에 주목한다.
가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들, Gd 및 Gl을 블렌딩하여, 최종적인 G 화소값을 결정한다. 구체적으로, 가중가산 처리부(215)는 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 비보정 G 신호들 Gd의 비율을 높게 설정하고, 평탄부들에서는, 블러링 보정 G 신호들 Gl의 비율을 높게 설정하도록 블렌딩 처리를 행하여, 최종적인 G 화소값을 결정한다. 이러한 처리에 대하여는 후술한다.
다음으로, RGBW 배열(181)의 G 화소 위치들을 RGB 배열(182)의 R 화소들 또는 B 화소들로 변환하기 위한 보간 파라미터 산출부인 G-위치 RB-보간 파라미터 산출부(212)의 처리에 대하여 설명한다. G-위치 RB-보간 파라미터 산출부(212)는 G-화소 위치들을 R 화소들로 변환(R 화소값들을 추정), 즉, RonG, 및 G-화소 위치들을 B 화소들로 변환(B 화소값들을 추정), 즉, BonG하기 위한 처리에 적용되는 보간 파라미터들을 산출한다.
구체적으로, G-위치 RB-보간 파라미터 산출부(212)는, 블러링 보정 R 신호들 Rd, 블러링 비보정 R 신호들 Rl, 블러링 보정 B 신호들 Bd, 및 블러링 비보정 B 신호들 Bl의 신호값들을 산출한다.
이들 신호값들은, RGBW 배열(181)의 G-화소 위치들을 RGB 배열(182)의 R 화소들 또는 B 화소들로 설정하기 위한 R-화소값 또는 B-화소값 산출에 적용되는 보간 파라미터들(RonG 보간 파라미터들 또는 BonG 보간 파라미터들)이다.
G-위치 RB-보간 파라미터 산출부(212)는, 우선, 중심 화소로서 변환 대상 화소를 갖는, 처리 단위인 7×7 화소 영역을 취득하고, W 신호들과 R 신호들 사이의 비율, 및 W 신호들과 B 신호들 사이의 비율을 산출한다. 도 14에 도시된 평활화 필터(561)를 사용하여 W 신호들의 저주파 성분 mW를 산출한다. 본원에 기재된 예에서는, 처리 단위인 7×7 화소 영역 중, 중앙의 5×5 화소 영역(553)만을 이용하는 처리가 본원에서 행해진다는 점에 주목한다.
7×7 화소들의 입력 신호들(551)의 중앙의 5×5 화소 영역(553)에, 도 14에 도시된 평활화 필터(561)를 적용하여, 저주파 성분 mW를 산출한다. 변환 대상인 G 화소는, 7×7 화소들의 입력 신호들(551)의 중심에 있는 변환 대상 화소(552)이다.
평활화 필터(561)는, 변환 대상 화소(552)에 대응하는 위치의 필터 계수가 가장 크고, 멀리 떨어질수록 더 낮아지는 필터이다. 계수로서 2/16 내지 1/16의 계수가 설정된다. 이러한 평활화 필터(561)를 적용하여, 저주파 성분 mW를 산출한다. 7×7 화소들의 입력 신호들(551)의 중앙에 있는 5×5 화소 영역(553) 중의 W 화소 위치에서의 화소값에, 평활화 필터(561)의 대응 화소 위치들의 필터 계수를 승산하고, 승산 결과의 가산 값들을 W 신호들의 저주파 성분 mW로서 산출한다.
도 14에 도시된 평활화 필터(561)의 필터 계수 설정예는 단지 일례이며, 그 밖의 필터 계수가 설정된 필터들이 사용될 수 있다는 점에 주목한다. 도 14에 도시된 필터 예 대신에, 예를 들어, 로우-패스 특성을 갖는 그 밖의 평활화 필터들이 사용될 수 있다. 저주파 성분 mW의 산출을 위해 입력되는 입력 신호들(551)은, 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하다는 점에 주목한다. 그러나, 연산 비용 삭감을 위해, 블러링 보정 처리부(203)가 생성한 블러링 보정 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수 있다.
도 14에 도시된 예에서는, R 신호들 및 B 신호들의 참조 범위들을 매칭하기 위해, 5×5 화소 영역(553)이 설정된 평활화 처리가 행해진다는 점에 주목한다. 이러한 처리에 의해, G 화소들의 R 화소들로의 변환 처리 및 G 화소들의 B 화소들로의 변환 처리에, 도 14에 도시된 1개의 공통 필터(561)를 사용함으로써, 부분들을 공유하는 것이 가능해져 연산 비용을 억제할 수 있다.
또한, G-위치 RB-보간 파라미터 산출부(212)는, G 화소들을 R 화소들로 변환 할 때의 R-신호 추정에 사용되는 R 신호들의 저주파 성분 mR, 및 G 화소들을 B 화소들로 변환할 때의 B-신호 추정에 사용되는 B 신호들의 저주파 성분 mB를 산출한다.
이들 mR 및 mB의 산출 처리에는, 도 15에 도시된 평활화 필터(562) 및 평활화 필터(563)를 사용한다. R 신호들의 저주파 성분 mR의 산출에는, 도 15의 평활화 필터(562)를 사용한다. 필터 계수를 나타내는 수치를 갖는 화소들은 R-화소 대응 위치들이다. B 신호들의 저주파 성분 mB의 산출에는, 도 15의 평활화 필터(563)를 사용한다. 필터 계수를 나타내는 수치를 갖는 화소들은 B-화소 대응 위치들이다.
어느 경우에도, 처리 단위인 7×7 화소 영역 중, 중앙의 5×5 화소 영역(553)만을 사용하는 처리가 본원에서 행해진다. 입력 신호들(551)의 7×7 화소 영역의 중앙의 5×5 화소 영역(553)에, 도 15에 도시된 평활화 필터(562) 및 평활화 필터(563)를 적용하여, R 신호들의 저주파 성분 mR 및 B 신호들의 저주파 성분 mB를 산출한다. 변환 대상인 G 화소는, 7×7 화소들의 입력 신호들(551)의 중심에 있는 변환 대상 화소(552)이다.
평활화 필터들(562 및 563)은 모두, 변환 대상 화소(552)에 대응하는 위치 근방의 R 화소 또는 B 화소 위치에서의 화소값들이 균등하게 취득되는 필터 계수 설정이 행해지는 구성이며, 계수로서 1/4이 설정된다.
평활화 필터들(562 및 563)을 적용하여, 저주파 성분들 mR 및 mB을 산출한다. mR의 산출 처리 시에는, 입력 신호들(551)의 7×7 화소들의 중앙의 5×5 화소 영역(553) 중의 R 화소 위치들에서의 화소값들에, 평활화 필터(562)의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과의 가산 값들을 R 신호들의 저주파 성분 mR로서 산출한다. 또한, mB의 산출 처리 시에는, 입력 신호들(551)의 7×7 화소들의 중앙의 5×5 화소 영역(553) 중의 B 화소 위치들에서의 화소값들에, 평활화 필터(562)의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과의 가산 값들을 B 신호들의 저주파 성분 mB로서 산출한다. 도 15에 도시된 평활화 필터들(562 및 563)의 필터 계수 설정예들은 단지 일례이며, 그 밖의 필터 계수가 설정된 필터들이 사용될 수도 있다는 점에 주목한다.
이러한 방식으로 산출된 mW와 mR, 또는 mB의 비율이 화상 내의 국소 영역에서 유지된다고 가정한다. 이 가정에 따르면, 국소 영역에서의 W와 R, 및 W와 B의 화소값 비율은, 도 16a 및 도 16b의 그래프에 도시된 대응 관계에 있다. 도 16a의 그래프에서는, 횡축이 W-화소값을 나타내고, 종축이 R-화소값을 나타낸다. 도 16b의 그래프에서는, 횡축이 W-화소값을 나타내고, 종축이 B-화소값을 나타낸다. 화상의 특정하게 좁은 국소 영역에서, W 화소값들과 R 화소값들, 및 W 화소값들과 B 화소값들의 비율이 일정하다고 하면, 도 16a 및 도 16b에서 직선으로 나타낸 바와 같이 비례 관계에 있다고 가정할 수 있다.
이러한 가정 하에, 블러링 보정 처리부(203)로부터 출력되는 변환 대상 화소 위치에서의 블러링 보정 화이트 W 신호 Wd를 사용하여, 블러링 보정 R 신호 Rd를, 이하의 식을 따라 산출한다.
Rd=(mR/mW)Wd
여기서, 신호 Rd는 고주파 성분을 포함하는 R 신호이다.
또한, 블러링 보정 B 신호 Bd를 이하의 식을 따라 산출한다.
Bd=(mB/mW)Wd
여기서, 신호 Bd는 고주파 성분을 포함하는 B 신호이다.
W 화소값들과 R 화소값들 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 R 화소값들 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수도 있다는 점에 주목한다.
상술한 바와 같이, G-위치 RB-보간 파라미터 산출부(212)는 RGBW 열(181)의 G 화소 위치들에 설정되는 R 화소값들 및 B 화소값들의 산출에 적용되는 보간 파라미터들로서, 블러링 보정 R 신호 Rd와 블러링 비보정 R 신호 Rl의 신호값들, 및 블러링 보정 B 신호 Bd와 블러링 비보정 B 신호 Bl의 신호값들을 산출한다. R 화소들에 대하여, 가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Rd 및 Rl을 블렌딩하여 최종적인 R 화소값을 결정한다. B 화소들에 대하여, 가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Bd 및 Bl을 블렌딩하여 최종적인 B 화소값을 결정한다.
블러링 비보정 R 신호 Rl, 및 블러링 비보정 B 신호 Bl의 산출 처리에 대하여 설명한다. 이들 신호들의 산출 시에는, 우선, 도 17에 도시된 평활화 필터(564)를 사용하여 노이즈 신호들이 제거된 W 신호들 Wn을 산출한다. 7×7 화소들의 입력 신호들(551)의 중앙에 있는 변환 대상 화소(552)의 G-화소 위치를 중심으로 하는 5×5 화소 영역(553) 중의 변환 대상 화소(552) 주위의 4개의 W 화소들만의 W 화소 값들을, 필터 계수가 설정된 평활화 필터(564)의 필터 계수를 승산하여, 노이즈 제거된 화이트 W 신호 Wn으로서 승산 결과의 가산 값을 산출한다. 평활화 필터(564)의 필터 계수는, 변환 대상 화소(552)의 주위의 W 화소들의 1/4로 설정된다. 이러한 필터 계수는 단지 일례이며, 그 밖의 계수를 사용한 구성이 될 수도 있다는 점에 주목한다.
이러한 노이즈 제거된 W 신호 Wn, 및 W 신호와 R 신호의 저주파 성분들 mW 및 mR을 적용하여, 블러링 비보정 R 신호 Rl을 이하의 식을 따라 산출한다.
Rl=(mR/mW)Wn
이러한 신호 Rl은 블러링 보정 신호 Wd가 적용된 것이 아니고, 고주파 성분이 강조되지 않은 R 신호에 대응한다는 점에 주목한다.
또한, 노이즈 제거된 W 신호 Wn, 및 W 신호와 B 신호의 저주파 성분들 mW 및 mB를 적용하여, 블러링 비보정 B 신호 Bl을 이하의 식을 따라 산출한다.
Bl=(mB/mW)Wn
이러한 신호 Bl은 블러링 보정 신호 Wd가 적용된 것이 아니고, 고주파 성분이 강조되지 않은 B 신호에 대응한다는 점에 주목한다.
W 화소값들과 R 화소값들 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 R 화소값들 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수도 있다는 점에 주목한다.
가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Rd 및 Rl을 블렌딩하여, 최종적인 R 화소값을 결정한다. 구체적으로는, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 R 신호들 Rd의 비율을 높게 설정하고, 평탄부들에서는, 블러링 비보정 R 신호들 Rl의 비율을 높게 설정하도록 블렌딩 처리를 행하여 최종적인 R 화소값을 결정한다. 이러한 처리에 대하여는 후술한다.
또한, 가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Bd 및 Bl을 블렌딩하여 최종적인 B 화소값을 결정한다. 구체적으로는, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 비보정 B 신호들 Bd의 비율을 높게 설정하고, 평탄부들에서는, 블러링 보정 B 신호 Bl의 비율을 높게 설정하도록 블렌딩 처리를 행하여, 최종적인 B 화소값을 결정한다. 이러한 처리에 대하여는 후술한다.
다음으로, RGBW 배열(181)의 R 화소 위치들을 RGB 배열(182)의 R 화소들로 변환(R 화소값들을 보정)하기 위한 보간 파라미터 산출부인 R-위치 R-보간 파라미터 산출부(213)의 처리에 대하여 설명한다. RGBW 배열(181)의 R 화소 위치들은 RGB 배열(베이어 배열)(182)의 R 화소 위치들에 대응하고, R 신호들은 그대로 사용될 수 있다. 그러나, 이러한 정보가 광학 렌즈의 수차의 영향으로 인해 상실된 고주파 신호를 갖는 경우가 있다. 이러한 경우에는, G 화소 위치들에 설정되는 R 신호들 및 B 신호들과는 특성이 상이할 수 있는 가능성이 있다.
이러한 특성의 차이의 발생을 방지하기 위해, R-위치 R-보간 파라미터 산출부(213)는, 입력 신호에 포함되는 W 신호들과 R 신호들을 사용하여, R 신호들의 보정을 위한 파라미터들을 산출한다. 구체적으로는, 블러링 보정 R 신호들 Rd 및 블러링 비보정 R 신호들 Rl에 대한 신호값들을 산출한다. 이들 신호값들은, RGBW 배열(181)의 R-화소 위치들을 RGB 배열(182)의 보정된 R 화소들로 설정하기 위한 R-화소값 보정 처리에 적용되는 보간 파라미터들(RonR 보간 파라미터)이다.
R-위치 R-보간 파라미터 산출부(213)는 우선, G-위치 RB-보간 파라미터 산출부(212)의 처리에서 기재된, 도 14에 도시된 평활화 필터(561)를 사용하여 W 신호들의 저주파 성분 mW를 산출한다. 이 경우, 7×7 화소들의 입력 신호들(551)의 중심 화소는 R 화소인 점에 주목한다. 처리 단위인 7×7 화소 영역 중, 중앙의 5×5 화소 영역(553)만을 이러한 처리에 사용한다. 7×7 화소들의 입력 신호들(551)의 중앙의 5×5 화소 영역(553)에, 도 14에 도시된 평활화 필터(561)를 적용하여, 저주파 성분 mW를 산출한다. 변환(보정) 대상 R 화소는, 7×7 화소들의 입력 신호들(551)의 중심에 있는 변환 대상 화소(552)이다.
저주파 성분 mW의 산출을 위한 입력 신호들(551)은 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하다는 점에 주목한다. 그러나, 연산 비용 삭감을 위해, 블러링 보정 처리부(203)가 생성한 블러링 처리 후의 블러링 보정 W 신호 Wd가 사용될 수 있다.
또한, R-위치 R-보간 파라미터 산출부(213)는, R 화소들에 대한 보정된 R 화소값들을 산출할 때의 R 신호 추정 시에 요구되는 R 신호들의 저주파 성분 mR을 산출한다. R 신호들의 저주파 성분 mR의 산출에, 도 18에 도시된 평활화 필터(581)가 사용된다. 필터 계수를 나타내는 수치를 갖는 화소들은 R-화소 대응 위치들이다.
처리 단위인 7×7 화소의 입력 신호들(571) 중, 중앙의 5×5 화소 영역(573)만이 본 처리예에 사용된다. 7×7 화소들의 입력 신호들(571)의 중앙의 5×5 화소 영역(573)에, 도 18에 도시된 평활화 필터(581)를 적용하여, R 신호들의 저주파 성분 mR을 산출한다. 여기에서, 보정 대상이 되는 R 화소는, 7×7 화소들의 입력 신호들(571)의 중심에 있는 변환 대상 화소(572)이다.
평활화 필터(581)는 변환 대상 화소에 대응하는 위치(572)에 대응하는 위치에서의 R 화소들의 계수가 높게 설정되고, 주위의 R 화소 위치들의 계수가 낮게 설정된다. 계수로서 4/8 내지 1/8이 설정된다.
평활화 필터(581)를 적용하여, 저주파 성분 mR을 산출한다. mR의 산출 처리 시에, 7×7 화소들의 입력 신호들(571)의 중앙의 5×5 화소 영역(573)의 R 화소 위치들의 화소값들에, 평활화 필터(581)의 대응 화소 위치들의 필터 계수를 승산하고, 승산 결과의 가산 값을 R 신호들의 저주파 성분 mR로서 산출한다. 도 18에 도시된 평활화 필터(581)의 필터 계수 설정예는 단지 일례이며, 그 밖의 필터 계수가 설정된 구성이 될 수도 있다는 점에 주목한다.
이러한 방식으로 산출된 mW와 mR의 비율이 화상 내의 국소 영역에서 유지된다고 가정한다. 이러한 가정에 따르면, 국소 영역에서의 W와 R의 화소값 비율은 도 16a의 그래프에 도시된 대응 관계에 있다. 화상의 특정하게 좁은 국소 영역에서, W 화소값과 R 화소값의 비율이 일정하다고 하면, 도 16a에서 직선으로 나타낸 바와 같은 비례 관계에 있다고 가정할 수 있다. 이러한 가정 하에, 블러링 보정 처리부(203)로부터 출력되는 변환 대상 화소 위치에서의 블러링 보정 화이트 W 신호 Wd를 사용하여, 블러링 보정 R 신호 Rd를 이하의 식을 따라 산출한다.
Rd=(mR/mW)Wd
여기서, 신호 Rd는 고주파 성분을 포함하는 R 신호이다.
W 화소값들과 R 화소값들의 비율이 일정하다는 것을 가정한 추정 기술을 예시했지만, W 화소값들과 R 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다는 점에 주목한다.
또한, 블러링 비보정 R 신호 Rl의 산출 처리가 행해진다. 도 17을 참조하여 먼저 설명한 평활화 필터(564)를 사용하여, 노이즈 신호들이 제거된 W 신호들 Wn을 산출한다. 이 경우, 7×7 화소들의 입력 신호들(551)의 변환 대상 화소(552)는 R 화소이다. 변환 대상 화소(552)의 R-화소 위치를 중심으로 하는 5×5 화소 영역(553) 중의 변환 대상 화소(552) 주위의 4개의 W 화소들에만, 필터 계수가 설정된 평활화 필터(564)의 필터 계수를 승산하여, 승산 결과의 가산 값을 노이즈 제거된 화이트 W 신호 Wn으로서 산출한다. 평활화 필터(564)의 필터 계수는 변환 대상 화소(552) 및 주위의 W 화소들의 1/4로 설정된다. 이러한 필터 계수는 단지 일례이며, 그 밖의 계수가 사용되는 구성이 될 수도 있다는 점에 주목한다.
노이즈 제거된 W 신호 Wn, 및 W 신호와 R 신호의 저주파 성분 mW 및 mR를 적용하여, 블러링 비보정 R 신호 Rl을 이하의 식을 따라 산출한다.
Rl=(mR/mW)Wn
이러한 신호 Rl은 블러링 보정 신호 Wd가 적용된 것이 아니고, 고주파 성분이 강조되지 않은 R 신호에 대응한다는 점에 주목한다.
W 화소값들과 R 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 R 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다는 점에 주목한다.
가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Rd 및 Rl을 블렌딩하여, 최종적인 R 화소값을 결정한다. 구체적으로, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 R 신호들 Rd의 비율을 높게 설정하고, 평탄부들에서는, 블러링 비보정 R 신호들 Rl의 비율을 높게 설정하도록 블렌딩 처리를 행하여, 최종적인 R 화소값을 결정한다. 이러한 처리에 대하여는 후술한다.
다음으로, RGBW 배열(181)의 B 화소 위치들을 RGB 배열(182)의 B 화소들로 변환(B 화소값들을 보정)하기 위한 보간 파라미터 산출부인 B-위치 B-보간 파라미터 산출부(214)의 처리에 대하여 설명한다. RGBW 배열(181)의 B 화소 위치들은 RGB 배열(베이어 배열)(182)의 B 화소 위치들에 대응하고, B 신호들은 그대로 사용될 수 있다. 그러나, 이러한 정보가 광학 렌즈의 수차의 영향에 의해 상실된 고주파 신호를 갖는 경우가 있다. 이러한 경우에는, G 화소 위치들에 설정되는 R 신호들 및 B 신호들과는 상이한 특성들이 존재할 가능성이 있다.
이러한 특성의 차이의 발생을 방지하기 위해, B-위치 B-보간 파라미터 산출부(214)는 입력 신호에 포함되는 W 신호들과 B 신호들을 사용하여, B 신호들의 보정을 위한 파라미터들을 산출한다. 구체적으로, 블러링 보정 B 신호 Bd 및 블러링 비보정 B 신호 Bl의 신호값들을 산출한다. 이들 신호값들은 RGBW 배열(181)의 B 화소 위치들을 RGB 배열(182)의 보정된 B 화소들로 설정하기 위한 B-화소값 보정 처리에 적용되는 보간 파라미터들(BonB 보간 파라미터들)이다.
B-위치 B-보간 파라미터 산출부(214)는 우선, G-위치 RB-보간 파라미터 산출부(212)의 처리에서 설명한, 도 14에 도시된 평활화 필터(561)를 사용하여 W 신호들의 저주파 성분 mW를 산출한다. 이 경우, 7×7 화소들의 입력 신호들(551)의 중심 화소는 B 화소인 점에 주목한다. 처리 단위인 7×7 화소 영역 중, 중앙의 5×5 화소 영역(553)만이 이러한 처리에 사용된다. 7×7 화소들의 입력 신호들(551)의 중앙의 5×5 화소 영역(553)에, 도 14에 도시된 평활화 필터(561)를 적용하여, 저주파 성분 mW를 산출한다. 변환(보정) 대상이 되는 B 화소는 7×7 화소들의 입력 신호들(551)의 중심에 있는 변환 대상 화소(552)이다.
저주파 성분 mW의 산출을 위한 입력 신호들(551)은 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하다는 점에 주목한다. 그러나, 연산 비용 삭감을 위해, 블러링 보정 처리부(203)가 생성한 블러링 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수 있다.
또한, B-위치 B-보간 파라미터 산출부(213)는 B 화소들의 보정된 B 화소값들을 산출할 때의 B 신호 추정 시에 요구되는 B 신호들의 저주파 성분 mB를 산출한다. B 신호들의 저주파 성분 mB의 산출에, 도 19에 도시된 평활화 필터(582)를 사용한다. 필터 계수를 나타내는 수치를 갖는 화소들은 R-화소 대응 위치들이다.
입력 신호들(591)의 처리 단위인 7×7 화소들 중, 중앙의 5×5 화소 영역(593)만이 이러한 처리 예에 사용된다. 7×7 화소들의 입력 신호들(591)의 중앙의 5×5 화소 영역(593)에, 도 19에 도시된 평활화 필터(582)를 적용하여, B 신호들의 저주파 성분 mB를 산출한다. 여기에서 변환 대상이 되는 B 화소는 7×7 화소들의 입력 신호들(591)의 중심에 있는 변환 대상 화소(592)이다.
평활화 필터(582)는 변환 대상 화소에 대응하는 위치(592)에 대응하는 위치에서의 B 화소들의 계수가 높게 설정되고, 주위의 B 화소 위치들의 계수가 낮게 설정된다. 계수로서 4/8 내지 1/8이 설정된다.
평활화 필터(582)를 적용하여, 저주파 성분 mB를 산출한다. mB의 산출 처리 시에, 7×7 화소들의 입력 신호들(591)의 중앙의 5×5 화소 영역(593) 중의 B 화소 위치들의 화소값들에, 평활화 필터(582)의 대응하는 화소 위치들에서의 필터 계수를 승산하고, 승산 결과의 가산 값을 B 신호의 저주파 성분 mB로서 산출한다. 도 19에 도시된 평활화 필터(582)의 필터 계수 설정예는 단지 일례이며, 그 밖의 필터 계수가 설정되는 구성이 될 수도 있다는 점에 주목한다.
이러한 방식으로 산출된 mW와 mB의 비율이 화상 내의 국소 영역에서 유지된다고 가정한다. 이러한 가정에 따르면, 국소 영역에서의 W와 B의 화소값 비율은 도 16b의 그래프에 도시된 대응 관계에 있다. 화상의 특정하게 좁은 국소 영역에서, W 화소값들과 B 화소값들의 비율이 일정하다고 하면, 도 16b에서 직선으로 나타낸 바와 같이 비례 관계에 있다고 가정할 수 있다. 이러한 가정 하에, 블러링 보정 처리부(203)로부터 출력되는 변환 대상 화소 위치에서의 블러링 보정 화이트 W 신호 Wd를 사용하여, 블러링 보정 B 신호 Bd를 이하의 식을 따라 산출한다.
Bd=(mB/mW)Wd
여기서, 신호 Bd는 고주파 성분을 포함하는 B 신호이다.
W 화소값들과 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다는 점에 주목한다.
또한, 블러링 비보정 B 신호 Bl의 산출 처리를 행한다. 도 17을 참조하여 먼저 설명한 평활화 필터(564)를 사용하여, 노이즈 신호들이 제거된 W 신호들 Wn을 산출한다. 이 경우, 7×7 화소들의 입력 신호들(551)의 변환 대상 화소(552)는 B 화소이다. 변환 대상 화소(552)의 B-화소 위치를 중심으로 하는 5×5 화소 영역(553) 중의 변환 대상 화소(552) 주위의 4개의 W 화소에만, 필터 계수가 설정된 평활화 필터(564)의 필터 계수를 승산하여, 승산 결과의 가산 값을 노이즈 제거된 화이트 W 신호 Wn으로서 산출한다. 평활화 필터(564)의 필터 계수는 변환 대상 화소(552) 및 주위의 W 화소의 1/4로 설정된다. 이러한 필터 계수는 단지 일례이며, 그 밖의 계수가 사용되는 구성이 될 수도 있다는 점에 주목한다.
이러한 노이즈 제거된 W 신호 Wn 및 W 신호와 B 신호의 저주파 성분 mW 및 mB를 적용하여, 블러링 비보정 B 신호 Bl을 이하의 식을 따라 산출한다.
Bl=(mB/mW)Wn
이러한 신호 Bl은 블러링 보정 신호 Wd가 적용된 것이 아니고, 고주파 성분이 강조되지 않은 B 신호에 대응한다는 점에 주목한다.
W 화소값들과 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수도 있다는 점에 주목한다.
가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 2개의 신호들 Bd 및 Bl을 블렌딩하여, 최종적인 B 화소값을 결정한다. 구체적으로, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 B 신호들 Bd의 비율을 높게 설정하고, 평탄부들에서는, 블러링 비보정 B 신호들 Bl의 비율을 높게 설정하도록 블렌딩 처리를 행하여, 최종적인 B 화소값을 결정한다. 이러한 처리에 대하여는 후술한다.
상술된 바와 같이, W-위치 G-보간 파라미터 산출부(211), G-위치 RB-보간 파라미터 산출부(212), R-위치 R-보간 파라미터 산출부(213) 및 B-위치 B-보간 파라미터 산출부(214)는, 블러링 보정 G, R 및 B 신호들 Gd, Rd 및 Bd, 및 블러링 비보정 G, R 및 B 신호들 Gl, Rl 및 Bl을 산출한다.
다음으로, 가중가산 처리부(215)의 처리에 대하여 설명한다. 가중가산 처리부(215)는 에지 검출부(202)로부터 입력되는 에지 정보를 적용하여, 블러링 보정 신호들 Gd, Rd 및 Bd, 및 블러링 비보정 신호들 Gl, Rl 및 Bl의 가중평균 값들 Gr, Rr 및 Br을 산출한다. 가중가산 처리부(215)에 의해 산출된 Gr, Rr 및 Br은 RGB 배열(베이어 배열)(182)을 구성하는 화소들의 R, G 및 B 화소값들에 대응한다.
W-위치 G-보간 파라미터 산출부(211), G-위치 RB-보간 파라미터 산출부(212), R-위치 R-보간 파라미터 산출부(213) 및 B-위치 B-보간 파라미터 산출부(214)의 각각에서 산출된 Gd, Rd 및 Bd는, 블러링 보정 처리부(203)가 블러링 보정 처리를 행한 W 신호로서 생성한 블러링 보정 W 신호 Wd를 사용하여 산출되고, 따라서, 고주파 신호 성분을 포함하고 노이즈도 증폭된 신호들이다. 한편, Gl, Rl 및 Bl은 블러링 보정 처리가 행해지지 않은 W 신호들로부터 산출된 신호들이며, 따라서, 고주파 신호 성분들을 포함하지 않고 노이즈도 적은 신호들이다.
가중가산 처리부(215)는 변환 대상 화소의 에지 정보에 따라, 블러링 보정 신호 Gd, Rd 및 Bd, 및 블러링 비보정 신호 Gl, Rl 및 Bl의 블렌드 비율을 결정하여, 블렌딩 처리를 행하여 최종적인 G, R 및 B 화소값들을 결정한다. 구체적으로, 블렌딩 처리에서, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 신호 Gd, Rd 및 Bd의 비율을 높이고, 평탄부들에서는, 블러링 비보정 신호 Gl, Rl 및 Bl의 비율을 높여, 최종적인 G, R 및 B 화소값들을 결정한다.
에지 근방에서는 고주파 성분들이 복원되는 샤프한 신호들을 갖는 것이 바람직하지만, 평탄부들은 처음에 고주파 성분들을 포함하지 않아, 노이즈가 억제된 신호들이 바람직하다. 따라서, 가중가산 처리부(215)는 블러링 보정 신호들 Gd, Rd 및 Bd, 및 블러링 비보정 신호 Gl, Rl 및 Bl에 대하여, 이하의 식에 따라, 에지 검출부(202)에서 산출된 처리 대상 화소들의 에지 정보에 대응하는 가중 평균 처리를 행하여, RGB 배열(182)에 설정되는 화소값들 Gr, Rr 및 Br을 산출한다.
Gr=(weightFlat)×(Gd)+(1-weightFlat)×Gl
Br=(weightFlat)×(Bd)+(1-weightFlat)×Bl
Rr=(weightFlat)×(Rd)+(1-weightFlat)×Rl
이들 산출의 결과로서 얻어지는 화소값들 Gr, Rr 및 Br을 RGB 배열(182)의 신호들로서 설정하여, RGB 신호 처리부(250)에 출력한다. 이러한 처리에 따라, 노이즈의 증폭을 억제하면서, 고해상도의 Gr, Rr 및 Br 신호들을 얻을 수 있다.
가중가산 처리부(215)에 의해 생성된 Gr, Rr 및 Br로 구성되는 RGB 배열(베이어 배열)(182)은 도 3 및 도 4에 도시된 바와 같이, RGB 신호 처리부(250)에 제공된다. RGB 신호 처리부(250)는 일반적인 카메라 또는 화상 처리 장치의 RGB 배열(베이어 배열) 신호를 처리하는 신호 처리부와 마찬가지이다. RGB 신호 처리부(250)는 가중가산 처리부(215)로부터 출력되는 RGB 배열(베이어 배열)(182)에 대해 신호 처리를 행하여, 컬러 화상(183)(도 3 참조)을 생성한다. 보다 구체적으로, RGB 신호 처리부(250)는 화이트 밸런스 조정 처리, 디모자이크 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등을 행하여, 컬러 화상(183)을 생성한다.
상기 실시예는 도 1b에 도시된 RGBW 배열에 대한 처리 예로서 설명했지만, 본 발명의 실시예들은 이러한 컬러 배열에 한정되지 않고, 컬러 신호보다 높은 표본 추출 비율을 갖는 W 화소들을 포함하는 다양한 종류의 컬러 배열의, W 화소들을 포함하지 않는 컬러 신호 배열로의 변환 처리에 적용 가능하다.
4. RGBW 배열 신호들에 대한 디모자이크 처리를 행하는 실시예
상술한 실시예는 RGBW 배열 신호들을 관련 기술 분야에 따른 RGB 배열로 변환하기 위한 리-모자이크 처리가 행해지고, 그 후, RGB 신호 처리부(250)가 관련 기술 분야에서와 유사한 RGB 배열(베이어 배열)을 사용하는 디모자이크 처리 등을 행하여 컬러 화상을 생성하는 실시예이다. 이하에서는, RGBW 배열 신호들을 관련 기술 분야에 따른 RGB 배열로 변환하기 위한 리-모자이크 처리가 행해지지 않고, RGBW 신호들에 디모자이크 처리를 직접 적용하여, RGBW 신호들에서의 화소들에 대응하는 RGB 화소값들을 산출하여 컬러 화상을 생성하는 실시예에 대하여 설명한다.
도 20은 본 실시예에 따른 촬상 장치(600)의 구성예를 도시하는 도면이다. 촬상 장치(600)는 광학 렌즈(105), 촬상 소자(이미지 센서)(110), 신호 처리부(620), 메모리(130) 및 제어부(140)를 포함한다. 신호 처리부(620)는 디모자이크 처리를 행하여 제1 컬러 화상(750)을 생성하는 데이터 변환 처리부(700) 및 제1 컬러 화상(750)에 대하여 화상 보정 처리 등을 행하는 RGB 신호 처리부(770)를 포함한다. 화상 처리 장치의 일 형태가 촬상 장치이지만, PC 등이 화상 처리 장치인 경우, 화상 처리 장치는 도 20에 도시된 촬상 장치(600)의 광학 렌즈(105) 또는 촬상 소자(110)를 갖지 않고, 그 밖의 구성 요소들로 구성된다는 점에 주목한다.
본 실시예에 따른 촬상 장치(600) 및 도 3을 참조하여 설명한 촬상 장치(100)는 신호 처리부(620)의 구성에 있어 상이하다. 다른 구성들은 동일하므로 그에 대한 설명은 여기에서 생략한다. 신호 처리부(620)의 상세 구성에 대하여 도 21을 참조하여 설명한다. 신호 처리부(620)는 디모자이크 처리를 행하여, 제1 컬러 화상(750)을 생성하는 데이터 변환 처리부(700) 및 제1 컬러 화상(750)에 대한 화상 보정 처리 등을 행하는 RGB 신호 처리부(770)를 포함한다.
도 21에 도시된 바와 같이, 데이터 변환 처리부(700)는 라인 메모리(701), 에지 검출부(702), 블러링 보정 처리부(703) 및 컬러 상관 리-모자이크 처리부(데이터 변환부)(710)를 포함한다. 컬러 상관 리-모자이크 처리부(데이터 변환부)(710)는 W-위치 RGB-보간 파라미터 산출부(711), G-위치 RGB-보간 파라미터 산출부(712), R-위치 RGB-보간 파라미터 산출부(713), B-위치 RGB-보간 파라미터 산출부(714) 및 가중가산 처리부(715)를 포함한다.
촬상 소자(110)로부터 출력된 신호들은 라인 메모리(701)에 일시적으로 축적된다. 라인 메모리(701)는 촬상 소자의 7개의 수평 라인 분의 라인 메모리를 갖고, 7개의 수평 라인 분의 데이터가 라인 메모리(701)로부터 병렬로 순차 출력된다. 출력처들은 에지 검출부(702), 블러링 보정 처리부(703) 및 컬러 상관 리-모자이크 처리부(710)이다. RGBW 배열(181)의 촬상 데이터는 7개의 라인 단위로 이들 처리부들에 출력된다.
에지 검출부(702) 및 블러링 보정 처리부(703)는 도 4를 참조하여 이전 실시예에서 설명한 에지 검출부(102) 및 블러링 보정 처리부(103)와 동일한 처리를 실행한다. 에지 검출부(702)는 라인 메모리(701)로부터의 출력 신호들에 포함되는 이산적인 화이트 W 신호들을 검증하고, 예를 들어, 평탄도 정보 weightFlat과 같은, 화상에 포함되는, 에지 방향과 에지 강도를 포함하는 에지 정보를 생성하여, 컬러 상관 리-모자이크 처리부(710)에 출력한다.
블러링 보정 처리부(703)는 라인 메모리(701)로부터의 출력 신호들에 포함되는 이산적인 화이트 W 신호들을 검증하고, 화상 블러링을 감소시키기 위한 처리를 행하고, 처리의 결과로서 얻어지는 모든 화소에 대응하는 블러링 보정 화이트 W 신호 Wd를 산출하여, 컬러 상관 리-모자이크 처리부(710)에 출력한다.
컬러 상관 리-모자이크 처리부(710)는 라인 메모리(701)로부터의 출력 신호들 중의 RGBW 신호들, 에지 검출부(702)로부터 출력되는 에지 정보 및 블러링 보정 처리부(703)로부터 출력되는 모든 화소에 대응하는 블러링 보정 W 신호들 Wd를 입력한다. 그 후, 컬러 상관 리-모자이크 처리부(710)는 이러한 정보를 사용하여 RGBW의 컬러 배열의 디모자이크 처리를 행하고, 각각의 화소에 대응하는 RGB 신호들의 생성 처리를 행하여 제1 컬러 화상(750)을 생성한다.
제1 컬러 화상(750)은 화소들에 대해 모든 RGB 화소값이 설정된 컬러 화상이다. 제1 컬러 화상(750)은 RGB 신호 처리부(770)에 제공되어, 화이트 밸런스 조정 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등을 행하여 제2 컬러 화상(183)을 생성한다. 본 실시예에서, 데이터 변환 처리부(700)가 RGBW 화상의 디모자이크 처리를 행하므로, RGB 신호 처리부(770)는 디모자이크 처리를 행하지 않는다.
데이터 변환 처리부(700)의 컬러 상관 리-모자이크 모자이크 처리부(710)는 W-위치 RGB-보간 파라미터 산출부(711), G-위치 RGB-보간 파라미터 산출부(712), R-위치 RGB-보간 파라미터 산출부(713), B-위치 RGB-보간 파라미터 산출부(714) 및 가중가산 처리부(715)를 포함한다. W-위치 RGB-보간 파라미터 산출부(711)는 RGBW 배열에 포함되는 W-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출하고, G-위치 RGB-보간 파라미터 산출부(712)는 RGBW 배열에 포함되는 G-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출하고, R-위치 RGB-보간 파라미터 산출부(713)는 RGBW 배열에 포함되는 R-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출하며, B-위치 RGB-보간 파라미터 산출부(714)는 RGBW 배열에 포함되는 B-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출한다.
처리부들에 의해 산출되는 보간 파라미터들은 블러링 보정 RGB 신호들 Rd, Gd 및 Bd, 및 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl이다. 이들 신호들은 이전의 실시예에서 설명한 신호들과 유사한 성질을 갖는 신호들이다.
W-위치 RGB-보간 파라미터 산출부(711)의 처리에 대하여 도 22 및 도 23을 참조하여 설명한다. W-위치 RGB-보간 파라미터 산출부(711)는 RGBW 배열에 포함되는 W-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출한다.
데이터 변환 처리부(700)의 보간 파라미터 산출부(711 내지 714)는 상술된 실시예와 마찬가지 방식으로, 기본적으로 7×7의 화소 영역들을 처리 단위로 하여 처리를 실행한다. 데이터가 W-위치 RGB-보간 파라미터 산출부(711)에 의해 처리되는 것은 7×7의 화소 영역의 중심 화소가 W 화소가 되는 경우이며, 중심 화소의 W-화소 위치에 대응하는 R, G 및 B 화소값을 산출하기 위해, 보간 파라미터들로서, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd, 및 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 파라미터들을 산출한다.
이들 보간 파라미터들의 산출식들은 이전 실시예에서 설명한 바와 마찬가지이다. 즉, RGBW 배열에서 휘도의 주성분인 W 신호와, 컬러 성분들인 G, R 및 B 신호들의 비율이, 국소적으로 유사한 비율로서 각각 유지된다는 가정에 기초하여, 보간 파라미터들을 산출한다. 도 22 및 도 23에 도시된 바와 같이, Rd=(mR/mW)Wd, Rl=(mR/mW)Wn, Gd=(mG/mW)Wd, Gl=(mG/mW)Wn, Bd=(mB/mW)Wd, Bl=(mB/mW)Wn의 산출식들을 사용하여 Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 산출한다. W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다.
mW는 도 10을 참조하여 위에 설명한 바와 동일한 방식으로, W 신호들의 저주파 성분을 나타낸다는 점에 주목한다. 또한, Wn은 도 13을 참조하여 위에 설명한 바와 동일한 방식으로, 노이즈 제거된 화이트 W 신호들을 나타낸다. 또한, 연산 비용 삭감을 위해, 라인 메모리(701)로부터 입력되는 W 신호들이 그대로 사용되는 구성이 될 수 있다. mR은 R 신호들의 저주파 성분, mG는 G 신호들의 저주파 성분, 그리고, mB는 B 신호들의 저주파 성분인 점에 주목한다.
도 22 및 도 23은 이들 값들의 산출에 적용되는 필터들, mW-산출 필터(801), Wn-산출 필터(802), mG-산출 필터들(811, 814, 821 및 824), mR-산출 필터들(812, 815, 822 및 825) 및 mB 산출 필터들(813, 816, 823 및 826)을 도시한다. 필터들에 도시된 회색 부분들은 W 화소들에 대응하는 위치들이며, 흰색 부분들은 RGB 화소들에 대응하는 위치들이다. 필터들 내의 수치는 필터 계수이고, 여기서, 필터 계수가 도시된 mW/Wn 산출 필터의 부분들은 W 화소들에 대응하는 위치들이고, 필터 계수가 도시된 mG 산출 필터의 부분들은 G 화소들에 대응하는 위치들이고, 필터 계수가 도시된 mR 산출 필터의 부분들은 R 화소들에 대응하는 위치들이며, 필터 계수가 도시된 mB 산출 필터의 부분들은 B 화소들에 대응하는 위치들이다.
이들 필터들은 처리 대상의 W 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용된다. 이들 필터들을 적용하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다. 이들 값들의 산출을 위한 입력 신호들은 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하지만, 연산 비용 삭감을 위해, 블러링 보정 처리부(703)가 생성한 블러링 보정 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수도 있다. 또한, 도면들에 도시된 바와 같이 Wn의 산출에 3×3의 필터를 적용하여, 7×7 화소 영역의 입력 신호들의 중심 화소를 중심으로 한 3×3 화소에만 이러한 처리가 행해지는 구성이 될 수 있다.
도 22 및 도 23에 도시된 필터들은, W-위치 RGB-보간 파라미터 산출부(711)에서 적용되는 필터들이고, RGB 화소값을 구하는 W 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용되는 필터들이다. 또한, 도 22 및 도 23의 하단에 도시된, mG 산출 필터, mR 산출 필터 및 mB 산출 필터 각각은, 입력한 처리 대상의 7×7 화소 영역의 화소 배치에 따라, 적용되는 필터 구성이 상이하다.
도 22 및 도 23은, 처리 대상의 4종류의 데이터에 대하여, 처리 대상의 7×7 화소 영역의 중심 화소 W의 주위의 화소들의 배치에 따른 필터 구성들을 도시한다. 여기에서, (a)는 중심 화소 W의 왼쪽의 화소가 G 화소, 오른쪽의 화소가 B 화소인 경우를 나타내고, (b)는 중심 화소 W의 왼쪽의 화소가 G 화소, 오른쪽의 화소가 R 화소인 경우를 나타내고, (c)는 중심 화소 W의 오른쪽의 화소가 G 화소, 위쪽의 화소가 B 화소인 경우를 나타내며, (d)는 중심 화소 W의 오른쪽의 화소가 G 화소, 위쪽의 화소가 R 화소인 경우를 나타낸다.
W-위치 RGB-보간 파라미터 산출부(711)는 W 화소가 중심 화소에 있는 7×7의 화소 영역의 입력 신호들에 대하여, 도 22 및 도 23에 도시된 필터들을 적용하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다. 7×7 화소 영역의 입력 신호들의 화소값들에, 각각의 필터들의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과를 가산하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다.
필터들의 적용에 의해 산출된 mW, Wn, mG, mR 및 mB의 비율이 화상 내의 국소 영역 내에서 유지된다고 가정한다. 이러한 가정에 따라, Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 다음의 식들을 따라 산출한다.
Rd=(mR/mW)Wd
Rl=(mR/mW)Wn
Gd=(mG/mW)Wd
Gl=(mG/mW)Wn
Bd=(mB/mW)Wd
Bl=(mB/mW)Wn
W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다.
가중가산 처리부(715)는 변환 대상 화소의 에지 정보에 따라, Rd와 Rl 사이의 블렌드 비율, Gd와 Gl 사이의 블렌드 비율, 및 Bd와 Bl 사이의 블렌드 비율을 결정하고, 또한, Rd와 Rl의 블렌딩 처리로부터 최종적인 R 화소값을 결정하고, Gd와 Gl의 블렌딩 처리로부터 최종적인 G 화소값을 결정하며, Bd와 Bl의 블렌딩 처리로부터 최종적인 B 화소값을 결정한다.
구체적으로는, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd의 비율을 높이고, 평탄부들에서는, 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 비율을 높이는 블렌딩 처리를 행하여 최종적인 RGB 화소값들을 결정한다.
가중가산 처리부(715)는 에지 검출부(702)에서 산출된 처리 대상 화소의 에지 정보, 즉, 평탄도 weightFlat에 따라 가중 평균 처리를 행하여, RGBW 배열(181) 중의 W 화소 위치들에 대한 R, G 및 B 각각의 화소값들을 산출한다. 구체적으로, RGB 화소값들은 이하의 식들에 의해 결정된다.
R=(weightFlat)×(Rd)+(1-weightFlat)×Rl
G=(weightFlat)×(Gd)+(1-weightFlat)×Gl
B=(weightFlat)×(Bd)+(1-weightFlat)×Bl
이 식들의 산출 결과로서 얻어지는 R, G 및 B는 RGBW 배열(181)의 W 화소 위치에서의 RGB에 대한 화소값들로서 결정된다.
다음으로, G-위치 RGB-보간 파라미터 산출부(712)의 처리에 대하여, 도 24를 참조하여 설명한다. G-위치 RGB-보간 파라미터 산출부(712)는 RGBW 배열에 포함되는 G-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출한다.
데이터가 G-위치 RGB-보간 파라미터 산출부(712)에 의해 처리되는 것은 7×7의 화소 영역의 중심 화소가 G 화소인 경우이며, 중심 화소의 G-화소 위치에 대응하는 R, G 및 B 화소값들을 산출하기 위한 보간 파라미터로서, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd, 및 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 파라미터들을 산출한다.
이들 보간 파라미터들에 대한 산출식들은 이전의 실시예와 마찬가지이다. 즉, RGBW 배열에서 휘도의 주성분인 W 신호와, 컬러 성분들인 G, R 및 B 신호들의 비율이, 국소적으로 유사한 비율로서 각각 유지된다는 가정에 기초하여, 보간 파라미터들을 산출한다. 구체적으로, 도 24에 도시된 바와 같이, Rd=(mR/mW)Wd, Rl=(mR/mW)Wn, Gd=(mG/mW)Wd, Gl=(mG/mW)Wn, Bd=(mB/mW)Wd 및 Bl=(mB/mW)Wn의 산출식들을 사용하여 Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 산출한다. W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수도 있다.
여기에서, mW는 W 신호들의 저주파 성분 신호를 나타내고, Wn은 노이즈 제거된 W 신호들을 나타내고, mR은 R 신호들의 저주파 성분을 나타내고, mG는 G 신호들의 저주파 성분을 나타내며, mB는 B 신호들의 저주파 성분을 나타낸다.
도 24는 이들 값들의 산출에 적용되는 필터들, mW-산출 필터(831), Wn-산출 필터(832), mG-산출 필터들(841 및 844), mR-산출 필터들(842, 845) 및 mB-산출 필터들(843, 846)을 나타낸다. 필터들에 도시된 회색 부분들은 W 화소들에 대응하는 위치들이며, 흰색 부분은 RGB 화소들에 대응하는 위치들이다. 필터들 내의 수치들은 필터 계수이고, 필터 계수가 도시된 mW/Wn 산출 필터의 부분들은 W 화소들에 대응하는 위치들이고, 필터 계수가 도시된 mG 산출 필터의 부분들은 G 화소들에 대응하는 위치들이고, 필터 계수가 도시된 mR 산출 필터의 부분들은 R 화소들에 대응하는 위치들이며, 필터 계수가 도시된 mB 산출 필터의 부분들은 B 화소들에 대응하는 위치들이다.
이들 필터들은 처리 대상의 G 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용된다. 이들 필터들을 적용하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다. 이들 값들의 산출을 위한 입력 신호들은 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하지만, 연산 비용 삭감을 위해, 블러링 보정 처리부(703)가 생성한 블러링 보정 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수도 있다. 또한, 도면들에 도시된 바와 같이, Wn의 산출에 3×3의 필터를 적용하여, 7×7 화소 영역의 입력 신호들의 중심 화소를 중심으로 한 3×3 화소에만 이러한 처리가 행해지는 구성이 될 수 있다.
도 24에 도시된 필터들은 G-위치 RGB-보간 파라미터 산출부(712)에서 적용되는 필터들이며, RGB 화소값을 구하는 G 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용되는 필터들이다. 또한, 도 24의 하단에 도시된 mG 산출 필터, mR 산출 필터 및 mB 산출 필터 각각은, 입력한 처리 대상의 7×7 화소 영역의 화소들의 화소 배치에 따라, 적용되는 필터 구성이 상이하다.
도 24는 처리 대상의 7×7 화소 영역의 중심 화소 W의 주위의 화소들의 배치에 따른 필터 구성들을 도시한다. 여기에서, 2종류의 처리 대상 데이터에 적용되는 필터가 도시된다. 즉, (a)는 중심 화소 G의 좌측 상단 또는 우측 하단에 대한 경사 라인에 R 화소가 있을 경우를 나타내고, (b)는 중심 화소 G의 좌측 상단 또는 우측 하단에 대한 경사 라인에 B 화소가 있을 경우를 나타낸다.
G-위치 RGB-보간 파라미터 산출부(712)는 G 화소가 중심 화소에 있는 7×7의 화소 영역의 입력 신호들에 대하여, 도 24에 도시된 필터들을 적용하여 mW, Wn, mG, mR 및 mB의 값들을 산출한다. 7×7 화소 영역의 입력 신호들의 화소값들에, 각각의 필터들의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과를 가산하여 mW, Wn, mG, mR 및 mB의 값들을 산출한다.
필터들의 적용에 의해 산출된 mW, Wn, mG, mR 및 mB의 비율이 화상 내의 국소 영역 내에서 유지된다고 가정한다. 이러한 가정에 따라, Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 하기의 식을 따라 산출한다.
Rd=(mR/mW)Wd
Rl=(mR/mW)Wn
Gd=(mG/mW)Wd
Gl=(mG/mW)Wn
Bd=(mB/mW)Wd
Bl=(mB/mW)Wn
W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수도 있다.
가중가산 처리부(715)는 변환 대상 화소의 에지 정보에 따라, Rd와 Rl 사이의 블렌드 비율, Gd와 Gl 사이의 블렌드 비율 및 Bd와 Bl 사이의 블렌드 비율을 결정하고, 또한 Rd와 Rl의 블렌딩 처리로부터 최종적인 R 화소값을 결정하고, Gd와 Gl의 블렌딩 처리로부터 최종적인 G 화소값을 결정하며, Bd와 Bl의 블렌딩 처리로부터 최종적인 B 화소값을 결정한다.
구체적으로, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd의 비율을 높이고, 평탄부들에서는, 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 비율을 높이는 블렌딩 처리를 행하여 최종적인 RGB 화소값들을 결정한다.
가중가산 처리부(715)는 에지 검출부(702)에서 산출된 처리 대상 화소의 에지 정보, 즉, 평탄도 weightFlat에 따라 가중 평균 처리를 행하여, RGBW 배열(181) 중의 G 화소 위치들에 대한 R, G 및 B 각각의 화소값들을 산출한다. 구체적으로는, 이하의 식을 따라 RGB 화소값들을 결정한다.
R=(weightFlat)×(Rd)+(1-weightFlat)×Rl
G=(weightFlat)×(Gd)+(1-weightFlat)×Gl
B=(weightFlat)×(Bd)+(1-weightFlat)×Bl
이들 식들의 산출 결과로서 얻어지는 R, G 및 B는 RGBW 배열(181)의 G 화소 위치에서의 RGB에 대한 화소값들로서 결정된다.
다음으로, R-위치 RGB-보간 파라미터 산출부(713)의 처리에 대하여 도 25를 참조하여 설명한다. R-위치 RGB-보간 파라미터 산출부(713)는 RGBW 배열에 포함되는 R-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출한다.
데이터가 R-위치 RGB-보간 파라미터 산출부(713)에 의해 처리되는 것은 7×7의 화소 영역의 중심 화소가 R 화소가 되는 경우이며, 중심 화소의 R-화소 위치에 대응하는 R, G 및 B 화소값들을 산출하기 위한 보간 파라미터들로서, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd, 및 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 파라미터들을 산출한다. 이들 보간 파라미터들의 산출식들은 먼저 설명한 실시예에서와 마찬가지이다.
이전 실시예에서 설명한 바와 같이, RGBW 배열에서 휘도의 주성분인 W 신호와, 컬러 성분들인 G, R 및 B 신호들의 비율이, 국소적으로 유사한 비율로서 각각 유지된다는 가정에 기초하여, 보간 파라미터들을 산출한다. 구체적으로, 도 25에 도시된 바와 같이, Rd=(mR/mW)Wd, Rl=(mR/mW)Wn, Gd=(mG/mW)Wd, Gl=(mG/mW)Wn, Bd=(mB/mW)Wd 및 Bl=(mB/mW)Wn의 산출식들을 사용하여 Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 산출한다. W 화소값들과 G 화소값들, R 화소값들 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다.
여기에서, mW는 W 신호들의 저주파 성분 신호를 나타내고, Wn은 노이즈 제거된 W 신호들을 나타내고, mR은 R 신호들의 저주파 성분을 나타내고, mG는 G 신호들의 저주파 성분을 나타내며, mB는 B 신호들의 저주파 성분을 나타낸다.
도 25는 이들 값들의 산출에 적용되는 필터들, mW-산출 필터(831), Wn-산출 필터(832), mG-산출 필터(851), mR-산출 필터(852) 및 mB-산출 필터(853)를 도시한다. 필터들에 도시된 회색 부분들은 W 화소들에 대응하는 위치들이며, 흰색 부분들은 RGB 화소들에 대응하는 위치들이다. 필터들 내의 수치들은 필터 계수이고, 여기서, 필터 계수가 도시된 mG 산출 필터의 부분들은 G 화소들에 대응하는 위치들이고, 필터 계수가 도시된 mR 산출 필터의 부분들은 R 화소들에 대응하는 위치들이며, 필터 계수가 도시된 mB 산출 필터의 부분들은 B 화소들에 대응하는 위치들이다.
이들 필터들은 처리 대상의 R 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용된다. 이들 필터들을 적용하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다. 이들 값들의 산출을 위한 입력 신호는 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하지만, 연산 비용 삭감을 위해, 블러링 보정 처리부(703)가 생성한 블러링 보정 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수 있다. 또한, 도면들에 도시된 바와 같이, Wn의 산출에 3×3의 필터가 적용되어, 7×7 화소 영역의 입력 신호들의 중심 화소를 중심으로 한 3×3 화소에만 이러한 처리가 행해지는 구성이 될 수 있다.
도 25에 도시된 필터들은 R-위치 RGB-보간 파라미터 산출부(713)에 적용되는 필터들이며, RGB 화소값을 구하는 R 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용되는 필터들이다.
R-위치 RGB-보간 파라미터 산출부(713)는 R 화소가 중심 화소에 있는 7×7의 화소 영역의 입력 신호들에 대하여, 도 25에 도시된 필터들을 적용하여 mW, Wn, mG, mR 및 mB의 값들을 산출한다. 7×7 화소 영역의 입력 신호들의 화소값들에, 각각의 필터들의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과를 가산하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다.
필터들의 적용에 의해 산출된 mW, Wn, mG, mR 및 mB의 비율이 화상 내의 국소 영역 내에서 유지된다고 가정한다. 이러한 가정에 따라, Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 다음의 식을 따라 산출한다.
Rd=(mR/mW)Wd
Rl=(mR/mW)Wn
Gd=(mG/mW)Wd
Gl=(mG/mW)Wn
Bd=(mB/mW)Wd
Bl=(mB/mW)Wn
W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다.
가중가산 처리부(715)는 변환 대상 화소의 에지 정보에 따라, Rd와 Rl 사이의 블렌드 비율, Gd와 Gl 사이의 블렌드 비율 및 Bd와 Bl 사이의 블렌드 비율을 결정하고, 또한, Rd와 Rl의 블렌딩 처리로부터 최종적인 R 화소값을 결정하고, Gd와 Gl의 블렌딩 처리로부터 최종적인 G 화소값을 결정하며, Bd와 Bl의 블렌딩 처리로부터 최종적인 B 화소값을 결정한다.
구체적으로는, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd의 비율을 높이고, 평탄부들에서는, 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 비율을 높이는 블렌딩 처리를 행하여 최종적인 RGB 화소값들을 결정한다.
가중가산 처리부(715)는 에지 검출부(702)에서 산출된 처리 대상 화소의 에지 정보, 즉, 평탄도 weightFlat에 따라 가중 평균 처리를 행하여, RGBW 배열(181) 중의 R 화소 위치들에서의 R, G 및 B 각각의 화소값들을 산출한다. 구체적으로, 이하의 식을 따라 RGB 화소값들을 결정한다.
R=(weightFlat)×(Rd)+(1-weightFlat)×Rl
G=(weightFlat)×(Gd)+(1-weightFlat)×Gl
B=(weightFlat)×(Bd)+(1-weightFlat)×Bl
이들 식들의 산출 결과로서 얻어지는 R, G 및 B는 RGBW 배열(181)의 R 화소 위치에서의 RGB에 대한 화소값들로서 결정된다.
다음으로, B-위치 RGB-보간 파라미터 산출부(714)의 처리에 대하여 도 26을 참조하여 설명한다. B-위치 RGB-보간 파라미터 산출부(714)는 RGBW 배열에 포함되는 B-화소 위치들에 설정되는 RGB 화소값들의 산출 처리에 적용되는 보간 파라미터들을 산출한다.
데이터가 B-위치 RGB-보간 파라미터 산출부(714)에 의해 처리되는 것은 7×7의 화소 영역의 중심 화소가 B 화소가 되는 경우이며, 중심 화소의 B-화소 위치에 대응하는 R, G 및 B 화소값들을 산출하기 위한 보간 파라미터들로서, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd, 및 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 파라미터들을 산출한다. 이들 보간 파라미터들에 대한 산출식들은 먼저 설명한 실시예에서와 마찬가지이다.
이전 실시예에서 설명한 바와 같이, RGBW 배열에서 휘도의 주성분인 W 신호와, 컬러 성분들인 G, R 및 B 신호들의 비율이, 국소적으로 유사한 비율로서 각각 유지된다는 가정에 기초하여, 보간 파라미터들을 산출한다. 구체적으로, 도 26에 도시된 바와 같이, Rd=(mR/mW)Wd, Rl=(mR/mW)Wn, Gd=(mG/mW)Wd, Gl=(mG/mW)Wn, Bd=(mB/mW)Wd 및 Bl=(mB/mW)Wn의 산출식들을 사용하여 Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 산출한다. W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다.
여기에서, mW는 W 신호들의 저주파 성분 신호를 나타내고, Wn은 노이즈 제거된 W 신호들을 나타내고, mR은 R 신호들의 저주파 성분을 나타내고, mG는 G 신호들의 저주파 성분을 나타내며, mB는 B 신호의 저주파 성분을 나타낸다.
도 26은 이들 값들의 산출에 적용되는 필터들, mW-산출 필터(831), Wn-산출 필터(832), mG-산출 필터(861), mR-산출 필터(862) 및 mB-산출 필터(863)를 도시한다. 필터들에 도시된 회색 부분들은 W 화소들에 대응하는 위치들이고, 흰색 부분들은 RGB 화소들에 대응하는 위치들이다. 필터들 내의 수치들은 필터 계수이고, 여기서, 필터 계수가 도시된 mG 산출 필터의 부분들은 G 화소들에 대응하는 위치들이고, 필터 계수가 도시된 mR 산출 필터의 부분들은 R 화소들에 대응하는 위치들이며, 필터 계수가 도시된 mB 산출 필터의 부분들은 B 화소들에 대응하는 위치들이다.
이들 필터들은 처리 대상의 R 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용된다. 이들 필터들을 적용하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다. 이들 값들의 산출을 위한 입력 신호는 다른 블러링 보정 처리가 행해지지 않은 W 신호들인 것이 바람직하지만, 연산 비용 삭감을 위해, 블러링 보정 처리부(703)가 생성한 블러링 보정 처리 후의 블러링 보정 W 신호들 Wd가 사용될 수 있다. 또한, 도면들에 도시된 바와 같이, Wn의 산출에 3×3의 필터가 적용되어, 7×7 화소 영역의 입력 신호의 중심 화소를 중심으로 한 3×3 화소에만 이러한 처리가 행해지는 구성이 될 수 있다.
도 26에 도시된 필터들은 B-위치 RGB-보간 파라미터 산출부(714)에서 적용되는 필터들이며, RGB 화소값을 구하는 B 화소가 중심 화소에 있는 7×7 화소 영역의 입력 신호들에 적용되는 필터들이다.
B-위치 RGB-보간 파라미터 산출부(714)는 B 화소가 중심 화소에 있는 7×7의 화소 영역의 입력 신호들에 대하여, 도 26에 도시된 필터들을 적용하여, mW, Wn, mG, mR 및 mB의 값들을 산출한다. 7×7 화소 영역의 입력 신호들의 화소값들에, 각각의 필터의 대응 화소 위치들에서의 필터 계수를 승산하고, 승산 결과를 가산하여 mW, Wn, mG, mR 및 mB의 값들을 산출한다.
필터들의 적용에 의해 산출된 mW, Wn, mG, mR 및 mB의 비율이 화상 내의 국소 영역 내에서 유지된다고 가정한다. 이러한 가정에 따라, Rd, Gd, Bd, Rl, Gl 및 Bl의 6개의 보간 파라미터들을 다음의 식들을 따라 산출한다.
Rd=(mR/mW)Wd
Rl=(mR/mW)Wn
Gd=(mG/mW)Wd
Gl=(mG/mW)Wn
Bd=(mB/mW)Wd
Bl=(mB/mW)Wn
W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들의 비율이 일정하다고 가정한 추정 기술을 예시했지만, W 화소값들과 G 화소값들, R 화소값들, 또는 B 화소값들 사이의 상관을 사용하는 그 밖의 추정 기술이 사용될 수 있다.
가중가산 처리부(715)는 변환 대상 화소의 에지 정보에 따라, Rd와 Rl 사이의 블렌드 비율, Gd와 Gl 사이의 블렌드 비율 및 Bd와 Bl 사이의 블렌드 비율을 결정하고, 또한, Rd와 Rl의 블렌딩 처리로부터 최종적인 R 화소값을 결정하고, Gd와 Gl의 블렌딩 처리로부터 최종적인 G 화소값을 결정하며, Bd와 Bl의 블렌딩 처리로부터 최종적인 B 화소값을 결정한다.
구체적으로, 평탄하지 않아 텍스쳐도가 높은 에지부들에서는, 블러링 보정 RGB 신호들 Rd, Gd 및 Bd의 비율을 높이고, 평탄부들에서는, 블러링 비보정 RGB 신호들 Rl, Gl 및 Bl의 비율을 높이는 블렌딩 처리를 행하여 최종적인 RGB 화소값들을 결정한다.
가중가산 처리부(715)는 에지 검출부(702)에서 산출된 처리 대상 화소의 에지 정보, 즉, 평탄도 weightFlat에 따라 가중 평균 처리를 행하여, RGBW 배열(181) 중의 B 화소 위치들에 대한 R, G 및 B 각각의 화소값들을 산출한다. 구체적으로, 이하의 식을 따라 RGB 화소값들을 결정한다.
R=(weightFlat)×(Rd)+(1-weightFlat)×Rl
G=(weightFlat)×(Gd)+(1-weightFlat)×Gl
B=(weightFlat)×(Bd)+(1-weightFlat)×Bl
이들 식들의 산출 결과로서 얻어지는 R, G 및 B는 RGBW 배열(181)의 B 화소 위치에서의 RGB에 대한 화소값들로서 결정된다.
이러한 방식에서, 본 실시예에 따른 컬러 상관 리-모자이크 처리부(710)는 RGBW 배열의 RGBW 화소 위치 각각에 대응하는 RGB 신호들을 설정한다. 결과로서, 도 20 및 도 21에 도시된 제1 컬러 화상(750)을 생성하여 RGB 신호 처리부(770)에 제공할 수 있다. RGB 신호 처리부(770)는 디모자이크 처리를 행하지 않지만, 화이트 밸런스 조정 처리, 쉐이딩 처리, RGB 컬러 매트릭스 처리, γ 보정 처리 등과 같은 그 밖의 화상 처리를 행하여 최종적인 컬러 화상을 생성한다.
본 실시예의 처리에서는, RGBW 배열을 구성하는 동일한 W 신호로부터 RGB 신호들이 생성되기 때문에, R, G 및 B 각각의 채널에서의 노이즈의 특성에 정의 상관이 존재한다. 따라서, 노이즈의 컬러링(coloring)이 억제되는 이점이 있다.
또한, 일반적인 화상 신호 처리에서는, 컬러 재현성 향상을 위한 컬러 매트릭스 연산이 행해진다. 예를 들어, 이하의 매트릭스를 적용한 RGB 신호 변환 처리 등이 행해진다.
Figure 112010053079874-pat00010
R, G 및 B 간의 노이즈 성분들에 상관이 없는 경우, 가산 및 감산 모두의 경우의 이러한 처리에 대해 노이즈가 증가한다. 한편, R, G 및 B의 각각의 채널에서의 노이즈에 정의 상관이 있는 경우에는, 컬러 매트릭스 연산에서의 감산 처리에서 노이즈 성분도 마찬가지로 감소되기 때문에, SN비의 열화가 억제될 수 있는 이점이 있다.
본 실시예에서 행해지는 RGBW 배열 신호들의 디모자이크 처리의 이점에 대하여 도 27을 참조하여 요약한다. 도 27a는 컬러 매트릭스 연산 전의 노이즈의 영향을 도시하고, 도 27b는 컬러 매트릭스의 일례를 도시하며, 도 27c는 컬러 매트릭스 연산 후의 최종적인 화소값에 대한 노이즈의 영향을 도시한다.
도 27a에 도시된 바와 같이, 컬러 매트릭스 연산 전의 노이즈의 영향에 의해, RGBW 배열을 구성하는 W 신호를, 노이즈 성분 N과 노이즈 제거된 W 신호 Wsig로 구성되도록 W=Wsig+N으로서 나타낸다.
본 실시예의 처리에서는, RGBW 배열을 구성하는 동일한 W 신호들로부터 RGB 신호를 생성한다. 그 결과, RGB 채널 각각의 노이즈의 특성이 공유되어, 정의 상관이 존재한다. 도 27a에 도시된 바와 같이, R=(mR/mW)W=(mR/mW)(Wsig+N), G=(mG/mW)W=(mG/mW)(Wsig+N), B=(mB/mW)W=(mB/mW)(Wsig+N)에서, R, G 및 B 각각의 채널의 노이즈의 특성에 정의 상관이 존재함을 알 수 있어, 노이즈 성분들의 컬러링이 억제된다.
도 27b는 컬러 재현성 향상을 위한 컬러 매트릭스 연산에 적용되는 컬러 매트릭스를 도시한다. 도 27c는 이 컬러 매트릭스에 의한 연산 결과를 도시한다. 연산 결과에서 잔류하는 노이즈는, Rnoise=(N/mW)(1.58mR-0.57mG-0.01mB), Gnoise=(N/mW)(-0.31mR+1.44mG-0.13mB) 및 Bnoise=(N/mW)(-0.11mR-0.48mG+1.59mB)이고, 여기서, 노이즈 성분이 감소되기 때문에, 결과적으로, SN의 열화가 억제될 수 있다.
5. 본 실시예들에 따른 처리의 이점
이하, 본 발명의 실시예들이 적용된 처리의 이점에 대하여 요약한다. 그러한 이점은,
1. 화이트 W 화소들을 갖는 촬상 소자의 이용에 의해 고감도화를 실현하여, 노이즈를 감소시키고,
2. 저 비용으로 실현 가능한 렌즈 수차에 의해 컬러 성분들의 낮은 표본 추출 비율로 인한 의사 컬러의 발생을 억제시키고,
3. 렌즈 수차에 의해 컬러 상관의 균형이 깨짐으로 인한 의사 컬러의 발생도 억제시키고,
4. 블러링 보정 신호 처리에서 충분한 효과가 얻어지도록, 나이퀴스트 주파수 또는 그 보다 높은 공간 주파수 영역에서 충분히 보정가능한 신호 레벨들을 갖는 광학 렌즈 설계함으로써, 렌즈 데이터에 기초하는 블러링 보정 신호 처리를 통해, 높은 해상도 특성을 얻으며,
5. 블러링 보정 처리를 휘도 신호들의 주성분인 화이트 W 신호들에 적용하여 블러링 보정 W 신호들 Wd를 생성하고, 이 블러링 보정 W 신호들 Wd를 적용하여 컬러 성분들을 보간함으로써, 저 비용으로 모든 채널에서 높은 해상도 특성을 얻도록 한다.
특정 실시예들을 참조하여 본 발명의 실시예들을 설명했지만, 본 발명의 요지를 벗어나지 않고 다양한 수정 및 대용이 이루어질 수 있다는 점은 본 기술 분야의 당업자들에게 있어 명백할 것이다. 즉, 본 발명은 실시예들의 형태로 예시적으로 기재된 것이므로, 제한적으로 해석되어서는 안된다. 본 발명의 범위에 대한 해석은 특허 청구 범위의 관점에서 이루어져야 한다.
또한, 본 명세서에서 설명한 일련의 처리는 하드웨어, 소프트웨어, 또는 양자의 조합에 의해 실행될 수 있다. 소프트웨어에 의한 처리를 실행하는 경우, 처리 시퀀스가 기록된 프로그램을, 전용 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 또는 각종 실행이 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시킬 수 있다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 대안으로서, 프로그램은 LAN(Local Area Network) 또는 인터넷과 같은 네트워크를 통해 수신되어, 내장 하드 디스크와 같은 기록 매체에서 인스톨된다.
본 명세서에 기재된 각종 처리는 기재 순서에 따른 실행으로 제한되지 않고, 오히려 처리를 실행하는 장치의 처리 능력 또는 필요에 따라 병렬적으로 또는 개별적으로 실행될 수 있다는 점에 주목한다. 또한, 본 명세서에 사용된 "시스템"이라는 용어는 복수의 장치의 논리적인 집합 구성을 지칭하며, 각각의 구성의 장치가 동일 하우징 내에 있어야 하는 것은 아니다.
본 발명은 2009년 8월 31일에 일본 특허청에 출원된 일본 특허 출원 번호 제2009-199399호에 기재된 관련 요지를 포함하고, 그 전체 내용은 본원에 참조로서 포함된다.
다양한 수정, 조합, 서브-조합 및 변경이 첨부된 특허청구범위 또는 그 균등뮬의 범위 내에 있는 한, 설계 조건 및 그 외의 요소들에 따라 다양한 수정, 조합, 서브-조합 및 변경이 발생할 수 있다는 점은 본 기술 분야의 당업자에 의해 이해되어야 한다.
110: 촬상 소자(이미지 센서)
120: 신호 처리부
181: RGBW 배열
182: RGB 배열
200: 데이터 변환 처리부
201: 라인 메모리
202: 에지 검출부
203: 블러링 보정 처리부
210: 컬러 상관 리-모자이크 처리부
211: W-위치 G-보간 파라미터 산출부
212: G-위치 RB-보간 파라미터 산출부
213: R-위치 R-보간 파라미터 산출부
214: B-위치 B-보간 파라미터 산출부
215: 가중 가산부
250: RGB 신호 처리부

Claims (16)

  1. 화상 처리 장치로서,
    RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호에 대한 블러링 보정 처리를 행하고, 각 화소 대응의 블러링 보정 신호를 생성하는 블러링 보정 처리부와,
    RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호를 해석하여 각 화소 대응의 에지 강도 정보를 포함하는 에지 정보를 생성하는 에지 검출부와,
    상기 RGBW 배열을 RGB 배열로 변환하는 데이터 변환부를 갖고,
    상기 데이터 변환부는,
    상기 블러링 보정 처리부가 생성한 블러링 보정 신호로부터 추정되는 RGB 대응의 블러링 보정 신호인 블러링 보정 있음 RGB 신호(Rd, Gd, Bd)를 생성하고,
    블러링 보정 처리의 비적용 신호인 블러링 보정 없음 RGB 신호(Rl, Gl, Bl)를 산출하여, 상기 블러링 보정 있음 RGB 신호와 상기 블러링 보정 없음 RGB 신호의 블렌드 처리에 의해 RGB 배열을 구성하는 RGB 신호값의 결정 처리를 행하는 구성이며,
    상기 에지 정보에 의해 에지 강도가 크다고 판정한 화소 위치에서는 블러링 보정 있음 RGB 신호의 블렌드 비율을 높게 하고, 에지 강도가 작다고 판정한 화소 위치에서는 블러링 보정 없음 RGB 신호의 블렌드 비율을 높게 설정한 블렌드 처리를 실행하여 RGB 신호값의 결정 처리를 행하고,
    상기 데이터 변환부는 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하고,
    상기 노이즈 제거된 W 신호들 Wn으로부터 상기 블러링 보정 없음 RGB 신호들을 산출하는, 화상 처리 장치.
  2. 화상 처리 장치로서,
    RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호에 대한 블러링 보정 처리를 행하고, 각 화소 대응의 블러링 보정 신호를 생성하는 블러링 보정 처리부와,
    RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호를 해석하여 각 화소 대응의 에지 강도 정보를 포함하는 에지 정보를 생성하는 에지 검출부와,
    상기 RGBW 배열을 포함하는 모자이크 신호의 디모자이크 처리를 실행하여 각 화소 대응의 RGB 전체 신호값을 결정한 컬러 화상을 생성하는 데이터 변환부를 갖고,
    상기 데이터 변환부는,
    상기 블러링 보정 처리부가 생성한 블러링 보정 신호로부터 추정되는 RGB 대응의 블러링 보정 신호인 블러링 보정 있음 RGB 신호(Rd, Gd, Bd)를 생성하고,
    블러링 보정 처리의 비적용 신호인 블러링 보정 없음 RGB 신호(Rl, Gl, Bl)를 산출하여, 상기 블러링 보정 있음 RGB 신호와 상기 블러링 보정 없음 RGB 신호의 블렌드 처리에 의해 컬러 화상을 구성하는 RGB 신호값의 결정 처리를 행하는 구성이며,
    상기 에지 정보에 의해 에지 강도가 크다고 판정한 화소 위치에서는 블러링 보정 있음 RGB 신호의 블렌드 비율을 높게 하고, 에지 강도가 작다고 판정한 화소 위치에서는 블러링 보정 없음 RGB 신호의 블렌드 비율을 높게 설정한 블렌드 처리를 실행하여 RGB 신호값의 결정 처리를 행하고,
    상기 데이터 변환부는 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하고,
    상기 노이즈 제거된 W 신호들 Wn으로부터 상기 블러링 보정 없음 RGB 신호들을 산출하는, 화상 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 블러링 보정 처리부는 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들만을 블러링 보정 처리를 실행하여 각각의 화소에 대응하는 블러링 보정 W 신호들 Wd를 생성하고,
    상기 데이터 변환부는 화상의 국소 영역들에서 W 신호들과 RGB 신호들 사이에 정의 상관(positive correlation)이 존재한다는 가정에 기초하여, 상기 블러링 보정 W 신호들 Wd로부터 상기 블러링 보정 있음 RGB 신호들을 산출하는, 화상 처리 장치.
  4. 삭제
  5. 제1항 또는 제2항에 있어서,
    상기 에지 검출부는,
    상기 촬상 소자의 출력 신호들에 포함되는 W 신호들만을 적용한 에지 검출 처리에 의해 각각의 화소에 대응하는 에지 정보를 생성하는 구성이며,
    처리 대상 화소 근방의 W 화소들의 신호값 구배를 산출하여 에지 강도 및 에지 방향을 포함하는 에지 정보를 생성하는, 화상 처리 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 에지 검출부는,
    상기 촬상 소자의 출력 신호들에 포함되는 W 신호들만을 적용한 에지 검출 처리에 의해 각각의 화소에 대응하는 에지 정보를 생성하는 구성이며,
    처리 대상 화소 근방의 W 화소의 신호값 구배 절대값들의 평균의 가중가산 값들을 산출하고, 해당 가중가산 값들을 적용하여 평탄도 weightFlat를 산출하여 상기 데이터 변환부에 출력하고,
    상기 데이터 변환부는 상기 블러링 보정 있음 RGB 신호들과 상기 블러링 보정 없음 RGB 신호들의 블렌드 비율을, 상기 평탄도 weightFlat를 적용하여 결정하는, 화상 처리 장치.
  7. 제1항 또는 제2항에 있어서,
    상기 블러링 보정 처리부는 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들에 대한 위너 필터(Wiener filter)의 컨볼루션 연산에 의해 상기 블러링 보정 W 신호들 Wd를 생성하는 구성이고,
    상기 촬상 소자의 출력 신호들에 포함되는 RGB 신호 위치들에 대하여는, 상기 에지 검출부에 의해 생성된 에지 정보에 포함되는 에지 방향에 따라 참조 W 화소들을 결정하여, 참조 W 화소들의 신호값들을 적용한 보간 처리에 의해 보간 W 신호값을 결정하고, 해당 보간 W 신호값에 대한 상기 위너 필터의 컨볼루션 연산에 의해 블러링 보정 W 신호들 Wd를 생성하는, 화상 처리 장치.
  8. 제1항 또는 제2항에 있어서,
    광학 렌즈; 및
    해당 광학 렌즈를 통해 수광부로서 역할을 하는 상기 RGBW 배열을 갖는 촬상 소자를 갖는, 화상 처리 장치.
  9. 제8항에 있어서,
    상기 광학 렌즈는 상기 촬상 소자의 RGBW 배열 중 각각의 컬러 성분에 있어서 같은 컬러 성분의 나이퀴스트 주파수(Nyquist frequency)를 초과하는 신호 성분들을 발생시키지 않는 렌즈 수차를 갖는 광학 렌즈인, 화상 처리 장치.
  10. 화상 처리 장치에 있어서 화상 신호 처리를 실행하는 화상 처리 방법으로서,
    블러링 보정 처리부가, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호에 대한 블러링 보정 처리를 행하고 각 화소 대응의 블러링 보정 신호를 생성하는 블러링 보정 처리 스텝과,
    에지 검출부가, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호를 해석하여 각 화소 대응의 에지 강도 정보를 포함하는 에지 정보를 생성하는 에지 검출 스텝과,
    데이터 변환부가, 상기 RGBW 배열을 RGB 배열로 변환하는 데이터 변환 스텝을 실행하고,
    상기 데이터 변환부가 실행하는 상기 데이터 변환 스텝은,
    상기 블러링 보정 처리 스텝에 있어서 생성된 블러링 보정 신호로부터 추정되는 RGB 대응의 블러링 보정 신호인 블러링 보정 있음 RGB 신호(Rd, Gd, Bd)를 생성하는 스텝과,
    블러링 보정 처리의 비적용 신호인 블러링 보정 없음 RGB 신호(Rl, Gl, Bl)를 산출하여, 상기 블러링 보정 있음 RGB 신호와 상기 블러링 보정 없음 RGB 신호의 블렌드 처리에 의해 RGB 배열을 구성하는 RGB 신호값의 결정 처리를 행하는 신호값 결정 스텝을 실행하는 스텝이며,
    상기 데이터 변환부는, 상기 신호값 결정 스텝에 있어서, 상기 에지 정보에 의해 에지 강도가 크다고 판정한 화소 위치에서는 블러링 보정 있음 RGB 신호의 블렌드 비율을 높게 하고, 에지 강도가 작다고 판정한 화소 위치에서는 블러링 보정 없음 RGB 신호의 블렌드 비율을 높게 설정한 블렌드 처리를 실행하여 RGB 신호값의 결정 처리를 행하고,
    상기 데이터 변환 스텝은, 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하는 스텝과,
    상기 노이즈 제거된 W 신호들 Wn으로부터 상기 블러링 보정 없음 RGB 신호들을 산출하는 스텝을 포함하는, 화상 처리 방법.
  11. 화상 처리 장치에 있어서 화상 신호 처리를 실행하는 화상 처리 방법으로서,
    블러링 보정 처리부가, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호에 대한 블러링 보정 처리를 행하고 각 화소 대응의 블러링 보정 신호를 생성하는 블러링 보정 처리 스텝과,
    에지 검출부가, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호를 해석하여 각 화소 대응의 에지 강도 정보를 포함하는 에지 정보를 생성하는 에지 검출 스텝과,
    데이터 변환부가, 상기 RGBW 배열을 포함하는 모자이크 신호의 디모자이크 처리를 실행하여 각 화소 대응의 RGB 전체 신호값을 결정한 컬러 화상을 생성하는 데이터 변환 스텝을 실행하고,
    상기 데이터 변환부가 실행하는 상기 데이터 변환 스텝은,
    상기 블러링 보정 처리 스텝에 있어서 생성된 블러링 보정 신호로부터 추정되는 RGB 대응의 블러링 보정 신호인 블러링 보정 있음 RGB 신호(Rd, Gd, Bd)를 생성하는 스텝과,
    블러링 보정 처리의 비적용 신호인 블러링 보정 없음 RGB 신호(Rl, Gl, Bl)를 산출하여, 상기 블러링 보정 있음 RGB 신호와 상기 블러링 보정 없음 RGB 신호의 블렌드 처리에 의해 컬러 화상을 구성하는 RGB 신호값의 결정 처리를 행하는 신호값 결정 스텝을 실행하는 스텝이며,
    상기 데이터 변환부는, 상기 신호값 결정 스텝에 있어서, 상기 에지 정보에 의해 에지 강도가 크다고 판정한 화소 위치에서는 블러링 보정 있음 RGB 신호의 블렌드 비율을 높게 하고, 에지 강도가 작다고 판정한 화소 위치에서는 블러링 보정 없음 RGB 신호의 블렌드 비율을 높게 설정한 블렌드 처리를 실행하여 RGB 신호값의 결정 처리를 행하고,
    상기 데이터 변환 스텝은, 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하는 스텝과,
    상기 노이즈 제거된 W 신호들 Wn으로부터 상기 블러링 보정 없음 RGB 신호들을 산출하는 스텝을 포함하는, 화상 처리 방법.
  12. 화상 처리 장치에 있어서 화상 신호 처리를 실행시키는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체로서,
    블러링 보정 처리부에, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호에 대한 블러링 보정 처리를 행하고 각 화소 대응의 블러링 보정 신호를 생성시키는 블러링 보정 처리 스텝과,
    에지 검출부에, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호를 해석하여 각 화소 대응의 에지 강도 정보를 포함하는 에지 정보를 생성시키는 에지 검출 스텝과,
    데이터 변환부에, 상기 RGBW 배열을 RGB 배열로 변환시키는 데이터 변환 스텝을 실행시키고,
    상기 데이터 변환부에 실행시키는 상기 데이터 변환 스텝은,
    상기 블러링 보정 처리 스텝에 있어서 생성된 블러링 보정 신호로부터 추정되는 RGB 대응의 블러링 보정 신호인 블러링 보정 있음 RGB 신호(Rd, Gd, Bd)를 생성시키는 스텝과,
    블러링 보정 처리의 비적용 신호인 블러링 보정 없음 RGB 신호(Rl, Gl, Bl)를 산출하여, 상기 블러링 보정 있음 RGB 신호와 상기 블러링 보정 없음 RGB 신호의 블렌드 처리에 의해 RGB 배열을 구성하는 RGB 신호값의 결정 처리를 행하는 신호값 결정 스텝을 실행시키는 스텝이며,
    상기 신호값 결정 스텝에 있어서는, 상기 에지 정보에 의해 에지 강도가 크다고 판정한 화소 위치에서는 블러링 보정 있음 RGB 신호의 블렌드 비율을 높게 하고, 에지 강도가 작다고 판정한 화소 위치에서는 블러링 보정 없음 RGB 신호의 블렌드 비율을 높게 설정한 블렌드 처리를 실행하여 RGB 신호값의 결정 처리를 행하게 하고,
    상기 데이터 변환 스텝은 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하는 스텝과,
    상기 노이즈 제거된 W 신호들 Wn으로부터 상기 블러링 보정 없음 RGB 신호들을 산출하는 스텝을 포함하는, 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
  13. 화상 처리 장치에 있어서 화상 신호 처리를 실행시키는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체로서,
    블러링 보정 처리부에, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호에 대한 블러링 보정 처리를 행하고 각 화소 대응의 블러링 보정 신호를 생성시키는 블러링 보정 처리 스텝과,
    에지 검출부에, RGB 화소와 화이트(W) 화소를 포함하는 RGBW 배열을 갖는 촬상 소자의 출력 신호를 해석하여 각 화소 대응의 에지 강도 정보를 포함하는 에지 정보를 생성시키는 에지 검출 스텝과,
    데이터 변환부에, 상기 RGBW 배열을 포함하는 모자이크 신호의 디모자이크 처리를 실행하여 각 화소 대응의 RGB전체 신호값을 결정한 컬러 화상을 생성시키는 데이터 변환 스텝을 실행시키고,
    상기 데이터 변환부에 실행시키는 상기 데이터 변환 스텝은,
    상기 블러링 보정 처리 스텝에 있어서 생성된 블러링 보정 신호로부터 추정되는 RGB 대응의 블러링 보정 신호인 블러링 보정 있음 RGB 신호(Rd, Gd, Bd)를 생성시키는 스텝과,
    블러링 보정 처리의 비적용 신호인 블러링 보정 없음 RGB 신호(Rl, Gl, Bl)를 산출하여, 상기 블러링 보정 있음 RGB 신호와 상기 블러링 보정 없음 RGB 신호의 블렌드 처리에 의해 컬러 화상을 구성하는 RGB 신호값의 결정 처리를 행하는 신호값 결정 스텝을 실행시키는 스텝이며,
    상기 신호값 결정 스텝에 있어서는, 상기 에지 정보에 의해 에지 강도가 크다고 판정한 화소 위치에서는 블러링 보정 있음 RGB 신호의 블렌드 비율을 높게 하고, 에지 강도가 작다고 판정한 화소 위치에서는 블러링 보정 없음 RGB 신호의 블렌드 비율을 높게 설정한 블렌드 처리를 실행하여 RGB 신호값의 결정 처리를 행하게 하고
    상기 데이터 변환 스텝은 상기 촬상 소자의 출력 신호들에 포함되는 W 신호들을 적용하여 각각의 화소에 대응하는 노이즈 제거된 W 신호들 Wn을 생성하는 스텝과,
    상기 노이즈 제거된 W 신호들 Wn으로부터 상기 블러링 보정 없음 RGB 신호들을 산출하는 스텝을 포함하는, 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.

  14. 삭제
  15. 삭제
  16. 삭제
KR1020100079679A 2009-08-31 2010-08-18 화상 처리 장치, 화상 처리 방법, 및 기록 매체 KR101703354B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009199339A JP5326943B2 (ja) 2009-08-31 2009-08-31 画像処理装置、および画像処理方法、並びにプログラム
JPJP-P-2009-199339 2009-08-31

Publications (2)

Publication Number Publication Date
KR20110023757A KR20110023757A (ko) 2011-03-08
KR101703354B1 true KR101703354B1 (ko) 2017-02-06

Family

ID=43217199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100079679A KR101703354B1 (ko) 2009-08-31 2010-08-18 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Country Status (5)

Country Link
US (1) US8314863B2 (ko)
EP (1) EP2302900B1 (ko)
JP (1) JP5326943B2 (ko)
KR (1) KR101703354B1 (ko)
CN (1) CN102006484B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087263A (ko) * 2018-01-16 2019-07-24 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
WO2019143025A1 (ko) * 2018-01-16 2019-07-25 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
WO2023287060A1 (en) * 2021-07-15 2023-01-19 Samsung Electronics Co., Ltd. Apparatus and method for interband denoising and sharpening of images
US11729532B2 (en) 2020-09-15 2023-08-15 Samsung Electronics Co., Ltd. Image sensing system for converting an image signal to have a specific pattern
US12028637B2 (en) 2020-09-15 2024-07-02 Samsung Electronics Co., Ltd. Image sensing system for converting an image signal to have a specific pattern

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
JP5454075B2 (ja) * 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
JP2012205051A (ja) * 2011-03-25 2012-10-22 Sanyo Electric Co Ltd 表示装置
JP5765026B2 (ja) * 2011-04-06 2015-08-19 富士ゼロックス株式会社 画像処理装置及びプログラム
TWI459325B (zh) * 2011-05-13 2014-11-01 Altek Corp 數位影像處理裝置及其處理方法
JP5113929B1 (ja) * 2011-06-24 2013-01-09 楽天株式会社 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
US8891866B2 (en) 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8837853B2 (en) 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
WO2013111449A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20140253544A1 (en) * 2012-01-27 2014-09-11 Kabushiki Kaisha Toshiba Medical image processing apparatus
JP2013191035A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 画像公開装置、画像公開方法、画像公開システム、および、プログラム
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
CN104170376B (zh) * 2012-03-27 2016-10-19 索尼公司 图像处理设备、成像装置及图像处理方法
JP5846986B2 (ja) * 2012-03-28 2016-01-20 日立マクセル株式会社 撮像装置
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2013161349A1 (ja) * 2012-04-24 2013-10-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5767602B2 (ja) * 2012-04-27 2015-08-19 日立マクセル株式会社 撮像装置
KR101332689B1 (ko) * 2012-04-30 2013-11-25 클레어픽셀 주식회사 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
JP6004757B2 (ja) * 2012-06-07 2016-10-12 キヤノン株式会社 画像処理装置及び画像処理方法
US20140043369A1 (en) * 2012-08-08 2014-02-13 Marc ALBRECHT Displays and Display Pixel Adaptation
US9058541B2 (en) 2012-09-21 2015-06-16 Fondation De L'institut De Recherche Idiap Object detection method, object detector and object detection computer program
TWI617198B (zh) * 2013-03-15 2018-03-01 開曼群島商普廷數碼影像控股公司 具有透明濾波器像素之成像系統
TWI601427B (zh) * 2013-03-15 2017-10-01 普廷數碼影像控股公司 具有透明濾波器像素之成像系統
CN104217416B (zh) * 2013-05-31 2017-09-15 富士通株式会社 灰度图像处理方法及其装置
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
JP6276569B2 (ja) * 2013-12-02 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP6276580B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
WO2015105682A1 (en) * 2014-01-09 2015-07-16 Marvell World Trade Ltd. Method and apparatus for compensating for color imbalance in image data
JP5968944B2 (ja) * 2014-03-31 2016-08-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
US10594996B2 (en) * 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
WO2016098641A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN104485064B (zh) * 2014-12-31 2017-03-15 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
JP6732726B2 (ja) 2015-02-26 2020-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US9712792B2 (en) 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
KR102329440B1 (ko) 2015-10-01 2021-11-19 에스케이하이닉스 주식회사 칼라 필터 어레이의 변환 방법 및 장치
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
KR102410016B1 (ko) * 2015-12-16 2022-06-16 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 시스템
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP6825617B2 (ja) * 2016-03-09 2021-02-03 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US10337923B2 (en) * 2017-09-13 2019-07-02 Qualcomm Incorporated Directional interpolation and cross-band filtering for hyperspectral imaging
JP6969295B2 (ja) * 2017-10-31 2021-11-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び画像処理システム
KR20230010842A (ko) 2017-11-06 2023-01-19 에이조 가부시키가이샤 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체
JP6980492B2 (ja) * 2017-11-13 2021-12-15 キヤノン株式会社 撮像装置及び撮像システム
JP6953297B2 (ja) 2017-12-08 2021-10-27 キヤノン株式会社 撮像装置及び撮像システム
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2019208235A1 (ja) 2018-04-23 2019-10-31 富士フイルム株式会社 医療画像処理システム
CN111970954A (zh) 2018-04-23 2020-11-20 富士胶片株式会社 医疗图像处理系统
KR102493488B1 (ko) * 2018-06-15 2023-02-01 삼성디스플레이 주식회사 표시 장치
US11837174B2 (en) 2018-06-15 2023-12-05 Samsung Display Co., Ltd. Display device having a grayscale correction unit utilizing weighting
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
CN111757006B (zh) 2020-07-08 2021-10-29 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
KR20220010285A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
CN112167074A (zh) * 2020-10-14 2021-01-05 北京科技大学 一种基于宠物脸识别的自动喂食装置
US20220303515A1 (en) * 2021-03-17 2022-09-22 Mediatek Inc. High Sensitivity Color Image Generation Using Hybrid Sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6982752B2 (en) * 2001-08-23 2006-01-03 Motorola, Inc Circuit and method for correcting a digital color sampled signal
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4770154B2 (ja) * 2004-11-08 2011-09-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4617870B2 (ja) * 2004-12-22 2011-01-26 ソニー株式会社 撮像装置および方法、並びにプログラム
CN100397477C (zh) * 2005-01-17 2008-06-25 胜华科技股份有限公司 一种提高显示面板亮度与影像品质的影像处理装置与方法
ATE538466T1 (de) * 2005-01-24 2012-01-15 Koninkl Philips Electronics Nv Ansteuerung einer anzeige mit rgbw farbraum
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP4487903B2 (ja) * 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7830426B2 (en) * 2005-12-29 2010-11-09 Micron Technology, Inc. Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
JP5222472B2 (ja) 2006-07-14 2013-06-26 イーストマン コダック カンパニー 画像処理装置、画像復元方法およびプログラム
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
US20080252797A1 (en) * 2007-04-13 2008-10-16 Hamer John W Method for input-signal transformation for rgbw displays with variable w color
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP2009081738A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 画像処理装置、方法およびプログラム
JP4986820B2 (ja) * 2007-11-16 2012-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
JP5430068B2 (ja) * 2008-02-15 2014-02-26 株式会社ジャパンディスプレイ 表示装置
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
US20080291312A1 (en) * 2007-05-21 2008-11-27 Yoshitaka Egawa Imaging signal processing apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087263A (ko) * 2018-01-16 2019-07-24 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
WO2019143025A1 (ko) * 2018-01-16 2019-07-25 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
KR102017996B1 (ko) * 2018-01-16 2019-09-03 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
US11729532B2 (en) 2020-09-15 2023-08-15 Samsung Electronics Co., Ltd. Image sensing system for converting an image signal to have a specific pattern
US12028637B2 (en) 2020-09-15 2024-07-02 Samsung Electronics Co., Ltd. Image sensing system for converting an image signal to have a specific pattern
WO2023287060A1 (en) * 2021-07-15 2023-01-19 Samsung Electronics Co., Ltd. Apparatus and method for interband denoising and sharpening of images

Also Published As

Publication number Publication date
EP2302900A2 (en) 2011-03-30
CN102006484B (zh) 2013-06-26
EP2302900A3 (en) 2013-03-13
EP2302900B1 (en) 2017-04-05
US8314863B2 (en) 2012-11-20
KR20110023757A (ko) 2011-03-08
JP2011055038A (ja) 2011-03-17
US20110050918A1 (en) 2011-03-03
CN102006484A (zh) 2011-04-06
JP5326943B2 (ja) 2013-10-30

Similar Documents

Publication Publication Date Title
KR101703354B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US20200184598A1 (en) System and method for image demosaicing
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5454075B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5904213B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20090115870A1 (en) Image processing apparatus, computer-readable recording medium recording image processing program, and image processing method
US20080030603A1 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
US8131110B2 (en) Reducing signal overshoots and undershoots in demosaicking
US20110043670A1 (en) Imaging processor
JP2013066157A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8629917B2 (en) Image processing apparatus, method, and recording medium
KR20130020435A (ko) 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2003348608A (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP2004007165A (ja) 画像処理方法、画像処理プログラム、画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4