KR20120090370A - 색 복원 장치 및 방법 - Google Patents

색 복원 장치 및 방법 Download PDF

Info

Publication number
KR20120090370A
KR20120090370A KR1020110010747A KR20110010747A KR20120090370A KR 20120090370 A KR20120090370 A KR 20120090370A KR 1020110010747 A KR1020110010747 A KR 1020110010747A KR 20110010747 A KR20110010747 A KR 20110010747A KR 20120090370 A KR20120090370 A KR 20120090370A
Authority
KR
South Korea
Prior art keywords
gain
pixel value
color
wideband
narrowband
Prior art date
Application number
KR1020110010747A
Other languages
English (en)
Inventor
박병관
강주영
이성덕
최원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110010747A priority Critical patent/KR20120090370A/ko
Priority to US13/167,818 priority patent/US20120200731A1/en
Publication of KR20120090370A publication Critical patent/KR20120090370A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/70Circuits for processing colour signals for colour killing
    • H04N9/71Circuits for processing colour signals for colour killing combined with colour gain control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)

Abstract

포화 시점 차이 또는 컬러 이득의 차이를 고려하여 색을 보정함으로써, 선명한 이미지를 생성할 수 있는 색 복원 장치가 개시된다. 색 복원 장치는 포화 시점 차이를 보상하기 위한 포화(saturation) 이득에 기초하여 단일 노출 환경에서 획득된 제 1 이미지의 제 1 광대역 픽셀 값을 변경하고, 상기 제 1 이미지의 제 1 협대역 픽셀 값과 상기 변경된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하고, 듀얼 노출 환경에서 획득된 제 2 이미지에 적용된 컬러 이득들의 차이를 보상하기 위한 컬러 이득 차이 보상 값에 기초하여 상기 제 2 이미지의 제 2 광대역 픽셀 값을 변경하고, 상기 제 2 이미지의 제 2 협대역 픽셀 값, 상기 변경된 제 2 광대역 픽셀 값 및 상기 색 조정 이득에 기초하여 복원 협대역 픽셀 값을 연산한다.

Description

색 복원 장치 및 방법{APPARATUS AND METHOD FOR RECOVERING COLOR}
협대역 필터 및 광대역 필터를 통해 이미지를 획득하고, 획득된 이미지에 포함된 광대역 픽셀 값을 보정함으로써, 선명한 이미지를 획득할 수 있는 기술과 관련된다.
일반적인 이미지 획득 장치는 저조도(Low Light Condition)와 같은 특수한 환경에서 좋은 이미지를 획득하지 못한다. 저조도와 같은 특수한 환경에서 Red, Green, Blue 또는 Cyan, Magenta, Yellow와 같이 파장이 짧은 영역의 빛만을 이용하는 이미지 센서를 사용하여 이미지를 획득하는 경우, 좋은 이미지를 획득할 수 없다. 저조도와 같은 특수한 환경에서도 좋은 이미지를 획득하기 위해서는 파장이 긴 영역의 빛을 흡수할 수 있는 이미지 센서를 사용하여야 한다.
다만, 긴 영역의 빛을 흡수하기 위해 광대역 필터(broad band filter)를 사용하는 경우, 픽셀(pixel) 간의 크로스토크(crosstalk)가 발생한다. 이에 따라, 광대역 필터의 주변에 존재하는 협대역 필터(narrow band filter)에 해당하는 픽셀(pixel) 값에 영향을 주어 색의 왜곡이 발생한다. 따라서, 이러한 색의 왜곡을 줄일 수 있는 방법에 대한 연구의 필요성이 증대되고 있다.
광대역 픽셀 값의 포화(saturation) 여부에 기초하여 광대역 픽셀 값을 보상하고, 보상된 광대역 픽셀 값을 이용하여 색 조정 이득을 생성하고, 협대역 픽셀 값 및 광대역 픽셀 값의 노출을 보상하기 위해 사용된 컬러 이득의 차이를 고려하여 광대역 픽셀 값을 보상하고, 보상된 광대역 픽셀 값 및 생성된 색 조정 이득을 이용하여 색을 보정함으로써, 선명한 이미지를 생성할 수 있는 색 복원 장치 및 방법이 개시된다.
본 발명의 일 실시예에 따른 색 복원 장치는 포화 시점 차이를 보상하기 위한 포화(saturation) 이득에 기초하여 단일 노출 환경에서 획득된 제 1 이미지의 제 1 광대역 픽셀 값을 변경하고, 제 1 이미지의 제 1 협대역 픽셀 값과 변경된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하는 색 조정 이득 생성부 및, 듀얼 노출 환경에서 획득된 제 2 이미지에 적용된 컬러 이득들의 차이를 보상하기 위한 컬러 이득 차이 보상 값에 기초하여 제 2 이미지의 제 2 광대역 픽셀 값을 변경하고, 제 2 이미지의 제 2 협대역 픽셀 값, 변경된 제 2 광대역 픽셀 값 및 색 조정 이득에 기초하여 복원 협대역 픽셀 값을 연산하는 색 보정부를 포함한다.
색 조정 이득 생성부는 제 1 협대역 픽셀 값들과 제 1 광대역 픽셀 값에 기초하여 정의되는 포화(saturation) 이득을 연산하는 제 1 연산부를 더 포함한다.
포화 이득은 제 1 협대역 픽셀 값들의 합과 광대역 픽셀 값의 비율일 수 있다.
색 조정 이득 생성부는 포화 이득에 기초하여 제 1 광대역 픽셀 값을 변경하는 포화 보상부를 더 포함할 수 있다.
포화 보상부는 제 1 광대역 픽셀 값이 포화된 경우, 포화 이득에 기초하여 제 1 광대역 픽셀 값을 보상할 수 있다.
색 조정 이득 생성부는 제 1 협대역 픽셀 값과 보상된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하는 제 2 연산부를 더 포함할 수 있다.
색 보정부는 노출을 보상하기 위해 제 1 컬러 이득에 기초하여 제 2 이미지의 제 2 협대역 픽셀 값을 변경하고, 제 2 컬러 이득에 기초하여 제 2 이미지의 제 2 광대역 픽셀 값을 변경하는 노출 보상부를 더 포함할 수 있다.
색 보정부는 제 1 컬러 이득(gain) 및 제 2 컬러 이득(gain)에 기초하여 노출 이득(gain)을 연산하는 제 3 연산부를 더 포함할 수 있다.
노출 이득은 제 1 컬러 이득 및 제 2 컬러 이득의 비율일 수 있다.
색 보정부는 노출 이득에 매칭된 컬러 이득 차이 보상 값을 추출하는 추출부를 더 포함할 수 있다.
색 보정부는 컬러 이득 차이 보상 값에 기초하여 제 2 광대역 픽셀 값을 변경하는 컬러 이득 차이 보상부를 더 포함할 수 있다.
색 보정부는 제 2 협대역 픽셀 값, 변경된 제 2 광대역 픽셀 값 및 색 조정 이득(color correction gain)에 기초하여 복원 협대역 픽셀 값을 연산하는 제 4 연산부를 포함할 수 있다.
본 발명의 일 실시예에 따른 색 복원 방법은 포화 시점 차이를 보상하기 위한 포화(saturation) 이득에 기초하여 단일 노출 환경에서 획득된 제 1 이미지의 제 1 광대역 픽셀 값을 변경하는 단계와, 제 1 이미지의 제 1 협대역 픽셀 값과 변경된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하는 단계와, 듀얼 노출 환경에서 획득된 제 2 이미지에 적용된 컬러 이득들의 차이를 보상하기 위한 컬러 이득 차이 보상 값에 기초하여 제 2 이미지의 제 2 광대역 픽셀 값을 변경하는 단계 및 제 2 이미지의 제 2 협대역 픽셀 값, 변경된 제 2 광대역 픽셀 값 및 색 조정 이득에 기초하여 복원 협대역 픽셀 값을 연산하는 단계를 포함한다.
색 복원 방법은 제 1 협대역 픽셀 값들과 제 1 광대역 픽셀 값에 기초하여 정의되는 포화(saturation) 이득을 연산하는 단계를 더 포함하는 색 복원 방법.
포화 이득은 제 1 협대역 픽셀 값들의 합과 광대역 픽셀 값의 비율일 수 있다.
제 1 광대역 픽셀 값을 변경하는 단계는 제 1 광대역 픽셀 값이 포화된 경우, 포화 이득에 기초하여 제 1 광대역 픽셀 값을 보상하는 단계를 포함할 수 있다.
색 복원 방법은 노출을 보상하기 위해 제 1 컬러 이득에 기초하여 제 2 협대역 픽셀 값을 변경하고, 제 2 컬러 이득에 기초하여 제 2 광대역 픽셀 값을 변경하는 단계를 더 포함할 수 있다.
색 복원 방법은 제 1 컬러 이득(gain) 및 제 2 컬러 이득(gain)에 기초하여 노출 이득(gain)을 연산하는 단계를 더 포함할 수 있다.
노출 이득은 제 1 컬러 이득 및 제 2 컬러 이득의 비율일 수 있다.
색 복원 방법은 노출 이득에 매칭된 컬러 이득 차이 보상 값을 추출하는 단계를 더 포함할 수 있다.
개시된 내용에 따르면, 광대역 픽셀 값의 포화(saturation) 여부에 기초하여 광대역 픽셀 값을 보상하고, 보상된 광대역 픽셀 값을 이용하여 색 조정 이득을 생성함으로써, 정확한 색 조정 이득을 생성할 수 있다.
또한, 협대역 픽셀 값 및 광대역 픽셀 값의 노출을 보상하기 위해 사용된 컬러 이득이 다른 경우에 컬러 이득의 차이를 고려하여 광대역 픽셀 값을 보상하고, 보상된 광대역 픽셀 값을 이용하여 색을 보정함으로써, 선명한 이미지를 획득할 수 있다.
도 1은 본 발명의 일 실시예와 관련된 색 복원 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 컬러 필터 어레이를 도시한 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 노출 이득과 컬러 이득 차이 보상 값이 매칭된 테이블을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예와 관련된 색 복원 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 발명을 실시하기 위한 구체적인 내용에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예와 관련된 색 복원 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 색 복원 장치(100)는 이미지 센서(110), 협대역 이미지 추출부(120), 광대역 이미지 추출부(130), 색 조정 이득 생성부(140) 및 색 보정부(150)를 포함한다.
이미지 센서(110)는 렌즈(미도시) 및 컬러 필터 어레이(미도시)를 통과한 빛을 인식하여 이미지를 생성할 수 있다. 예를 들면, 컬러 필터 어레이는 다수의 협대역 필터 및 다수의 광대역 필터를 포함할 수 있다. 예를 들면, 협대역 필터는 R(Red) 컬러 필터, G(Green) 컬러 필터, B(Blue) 컬러 필터, C(Cyan) 컬러 필터, Y(Yellow) 컬러 필터, M(Magenta) 컬러 필터, K(Black) 컬러 필터 등과 같이 좁은 범위의 파장을 통과시키는 필터를 의미할 수 있다. 예를 들면, 광대역 필터는 팬크로매틱 필터, WNIR(White & Near Infrared) 필터 등과 같이 넓은 범위의 파장을 통과시키는 필터를 의미할 수 있다. 팬크로매틱 필터는 화이트(white) 필터라고도 한다. 넓은 범위의 파장은 여러 개의 컬러(R, G, B)에 대응되는 파장 및 근적외선 파장을 포함할 수 있다. 예를 들면, 팬크로매틱 필터는 R,G,B 컬러에 대응되는 파장 영역을 모두 통과시키는 필터일 수 있다. 예를 들면, WNIR(White & Near Infrared) 필터는 R,G,B 컬러에 대응되는 파장 영역 및 근적외선(NIR : Near Infrared) 영역을 모두 통과시키는 필터일 수 있다.
픽셀 값이란 인식된 빛을 디지털 값으로 표현한 값을 의미한다. 예를 들면, 8비트의 디지털 값으로 표현하는 경우, 인식된 빛은 0~255의 숫자로 표현될 수 있다. 가장 어두운 컬러를 0으로 표현하고, 가장 밝은 컬러를 255로 표현할 수 있다. 또한, 디지털 값은 12비트 또는 16비트 등과 같이 다양한 크기의 비트로 표현될 수 있다.
이하에서는, 광대역 필터를 통과하여 생성된 이미지를 광대역 이미지라 정의하고, 협대역 필터를 통과하여 생성된 이미지를 협대역 이미지라 정의한다. 광대역 이미지의 픽셀 값은 광대역 픽셀 값이라 정의하고, 협대역 이미지의 픽셀 값은 협대역 픽셀 값이라 정의한다.
협대역 이미지 추출부(120)는 이미지 센서(110)에서 생성된 이미지 중 협대역 이미지를 추출할 수 있다.
광대역 이미지 추출부(130)는 이미지 센서(110)에서 생성된 이미지 중 광대역 이미지를 추출할 수 있다.
이하에서, 단일 노출 환경이란 노출에 따른 변화를 고려하지 않고, 동일한 조건에서 광대역 픽셀 값 및 협대역 픽셀 값을 얻는 환경을 의미한다. 따라서, 단일 노출 환경인 경우, 협대역 픽셀 값 및 광대역 픽셀 값을 보상하기 위한 별도의 과정이 필요 없다. 듀얼 노출 환경이란 노출에 따른 변화를 고려하여 다른 조건에서 광대역 픽셀 값 및 협대역 픽셀 값을 얻는 환경을 의미한다. 따라서, 듀얼 노출 환경인 경우, 노출에 따른 광대역 픽셀 값 및 협대역 픽셀 값의 차이를 보상하기 위한 별도의 과정이 필요하다. 이러한 과정은 노출 보상부(151)에서 실행되며, 이에 대한 구체적인 과정은 후술하겠다.
색 조정 이득 생성부(140)는 제 1 연산부(141), 포화(saturation) 보상부(142) 및 제 2 연산부(143)를 포함한다.
색 조정 이득 생성부(140)는 단일 노출 환경에서 획득된 제 1 이미지에 기초하여 색 조정 이득을 생성할 수 있다. 제 1 이미지는 제 1 광대역 이미지 및 제 1 협대역 이미지를 포함한다. 제 1 광대역 이미지는 제 1 광대역 픽셀 값을 포함하고, 제 1 협대역 이미지는 제 1 협대역 픽셀 값을 포함한다.
제 1 연산부(141)는 제 1 협대역 픽셀 값들과 제 1 광대역 픽셀 값에 기초하여 포화(saturation) 이득을 연산할 수 있다. 포화 이득이란 광대역 픽셀 값과 협대역 픽셀 값의 포화 시점 차이를 보상하기 위해 사용되는 이득을 의미할 수 있다. 예를 들면, 포화 이득은 협대역 픽셀 값들의 합과 광대역 픽셀 값의 비율일 수 있다.
도 2는 본 발명의 일 실시예에 따른 컬러 필터 어레이를 도시한 도면이다.
도 2를 참조하면, 제 1 연산부(141)는 제 1 협대역 픽셀 값들과 제 1 광대역 픽셀 값에 기초하여 포화(saturation) 이득을 연산할 수 있다. 예를 들면, 다수의 협대역 컬러 채널(R채널, G채널, B채널)이 존재하는 경우, 제 1 연산부(141)는 제 1 협대역 픽셀 값(R, G, B)들의 합과 제 1 광대역 픽셀 값(WNIR)의 비율(c)을 연산일 수 있다. 비율은 포화 이득을 의미한다. 제 1 연산부(141)는 c= WNIR / (R + G + B) 과 같은 수학식을 이용하여 포화 이득(c)을 연산할 수 있다. 예를 들면, WNIR 값이 250이고, (R + G + B) 값이 200인 경우, 포화 이득(c)는 1.5이다. 다만, 수학식은 일 실시예에 불과하며, 제 1 연산부(141)는 제 1 협대역 픽셀 값에 가중치를 주어 연산하거나 제 1 협대역 픽셀 값의 평균을 이용하여 연산하는 등과 같이 다양한 방법을 이용하여 포화 이득을 연산할 수 있다. 또한, 포화 이득은 색온도에 따라 달라질 수 있다.
포화(saturation) 보상부(142)는 제 1 광대역 픽셀 값이 포화된 경우, 포화 이득에 기초하여 제 1 광대역 픽셀 값을 보상할 수 있다. 픽셀 값이 8비트로 표현되어 0 ~ 255의 범위를 갖는 경우를 가정한다. 예를 들면, 제 1 광대역 픽셀 값이 255가 된 경우, 포화 보상부(142)는 제 1 광대역 픽셀 값이 포화되었다고 판단할 수 있다. 흡수하는 파장 영역이 다르기 때문에, 제 1 광대역 픽셀 값이 제 1 협대역 픽셀 값보다 먼저 포화된다. 제 1 광대역 픽셀 값 및 제 1 협대역 픽셀 값이 포화되는 시점이 다르다.
예를 들면, WNIR 픽셀 값이 255이고, (R + G + B) 픽셀 값이 200인 경우, 포화 보상부(142)는 제 1 광대역 픽셀 값(WNIR)이 포화되었다고 판단한다. 이 경우, (R + G + B) 픽셀 값이 계속 증가하여 240이 되더라도 WNIR 픽셀 값은 255을 유지하게 된다. 이와 같은 포화 시점의 차이를 보상하기 위해, 포화 보상부(142)는 포화 이득(c)에 기초하여 WNIR 픽셀 값을 보상할 수 있다. 예를 들면, 포화 보상부(142)는 WNIR = (R + G + B) * c = 240 * 1.5 = 360을 연산하고, WNIR 값을 360으로 변경할 수 있다. 이와 같이 함으로써, 포화 보상부(142)는 광대역 픽셀 값이 협대역 픽셀 값보다 먼저 포화되는 것을 고려하여 광대역 픽셀 값을 보상할 수 있다.
제 2 연산부(143)는 제 1 협대역 픽셀 값과 제 1 보상된 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산할 수 있다. 예를 들면, 색 조정 이득은 3*4 매트릭스 등과 같이 매트릭스 형태로 표현될 수 있다. 제 2 연산부(143)는 다양한 색 조정 이득 연산 알고리즘을 이용하여 색 조정 이득을 연산할 수 있다.
색 보정부(150)는 노출 보상부(151), 제 3 연산부(152), 추출부(153), 컬러 이득 차이 보상부(154) 및 제 4 연산부(155)를 포함한다. 색 보정부(150)는 듀얼 노출 환경에서 획득된 제 2 광대역 이미지 및 제 2 협대역 이미지를 포함하는 제 2 이미지를 이용하여 색 보정을 실행한다. 제 2 광대역 이미지는 제 2 광대역 픽셀 값을 포함하고, 제 2 협대역 이미지는 제 2 협대역 픽셀 값을 포함할 수 있다.
노출 보상부(151)는 듀얼 노출(exposure) 환경에서 협대역 픽셀 값 및 광대역 픽셀 값에 서로 다른 노출을 적용하기 위해, 서로 다른 컬러 이득(gain)에 기초하여 제 2 광대역 픽셀 값 및 제 2 협대역 픽셀 값을 변경할 수 있다. 예를 들면, 노출 보상부(151)는 제 1 컬러 이득에 기초하여 제 2 협대역 픽셀 값을 변경하고, 제 2 컬러 이득에 기초하여 제 2 광대역 픽셀 값을 변경할 수 있다. 따라서, 노출 보상부(151)는 협대역 픽셀 값 및 광대역 픽셀 값에 다른 컬러 이득을 적용함으로써, 차이를 두어 노출을 보상할 수 있다.
제 3 연산부(152)는 노출 보상부(151)에서 사용된 제 1 컬러 이득(gain) 및 제 2 컬러 이득(gain)에 기초하여 노출 이득(gain)을 연산할 수 있다. 노출 이득이란 노출 환경을 고려하여 픽셀 값을 보상하기 위해 사용되는 이득을 의미한다. 예를 들면, 노출 이득은 제 1 컬러 이득 및 제 2 컬러 이득의 비율일 수 있으나, 이에 한정되는 것은 아니다.
추출부(153)는 노출 이득에 매칭된 컬러 이득 차이 보상 값을 추출할 수 있다. 컬러 이득 차이 보상 값이란 노출 보상부(151)에서 사용된 컬러 이득을 차이를 보상하기 위해 이용되는 값을 의미한다. 예를 들면, 노출 이득과 컬러 이득 차이 보상 값은 매칭되어 테이블로 저장될 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 노출 이득과 컬러 이득 차이 보상 값이 매칭된 테이블을 설명하기 위한 도면이다.
도 3a 및 도 3b를 참조하면, 9개의 픽셀(300, 310, 320, 330, 340, 350, 360, 370, 380)이 존재하는 경우를 가정하였으며, 픽셀의 개수는 이에 한정되지 않는다. 테이블은 각각의 픽셀들 및 노출 이득(P)에 따른 컬러 이득 차이 보상 값을 포함하고 있다. 예를 들면, 컬러 이득 차이 보상 값은 변경할 픽셀 값의 차이값 또는 변경할 픽셀 값의 비율 등일 수 있다. 예를 들면, 차이값은 '150'이고, 비율은 '3.2'일 수 있다. 이하에서는 변경할 픽셀 값의 비율을 기준으로 설명하겠다.
예를 들면, 노출 이득이 0.25인, 추출부(153)는 제 1 픽셀(300)의 컬러 이득 차이 보상 값을 3.7배로 추출하고, 제 2 픽셀(310)의 컬러 이득 차이 보상 값을 3.75배로 추출할 수 있다. 추출부(153)는 위와 동일한 과정에 의해 나머지 픽셀들(320, 330, 340, 350, 360, 370, 380)의 컬러 이득 차이 보상 값들도 추출할 수 있다.
컬러 이득 차이 보상부(154)는 추출된 컬러 이득 차이 보상 값에 기초하여 제 2 광대역 픽셀 값을 보상할 수 있다. 예를 들면, 제 1 픽셀(300)이 제 2 광대역 픽셀이고, 제 1 픽셀(300)에 해당하는 픽셀 값이 50이고, 노출 이득(P)이 0.25이고, 컬러 이득 차이 보상 값이 3.7배인 경우, 컬러 이득 차이 보상부(154)는 제 1 픽셀(300)의 픽셀 값을 185(=50*3.7)로 변경한다. 따라서, 컬러 이득 차이 보상부(154)는 제 2 광대역 픽셀 값을 보상할 수 있다. 또 다른 예를 들면, 제 9 픽셀(380)이 제 2 광대역 픽셀이고, 제 9 픽셀(380)에 해당하는 픽셀 값이 40이고, 노출 이득(P)이 0.25이고, 컬러 이득 차이 보상 값이 3.97배인 경우, 컬러 이득 차이 보상부(154)는 제 1 픽셀(300)의 픽셀 값을 158.8(=40*3.97)로 변경한다. 따라서, 컬러 이득 차이 보상부(154)는 제 2 광대역 픽셀 값을 보상할 수 있다. 변경된 픽셀 값(=158.8)은 정수로 표현될 수도 있다. 예를 들면, 변경된 픽셀 값을 반올림하여 정수(=159)로 표현할 수도 있다. 이와 같은 과정을 통해, 컬러 이득 차이 보상부(154)는 모든 제 2 광대역 픽셀 값을 보상할 수 있다.
제 4 연산부(155)는 제 2 협대역 픽셀 값, 제 2 보상된 광대역 픽셀 값 및 색 조정 이득 생성부(140)에서 생성된 색 조정 이득(color correction gain)에 기초하여 복원 협대역 픽셀 값을 연산할 수 있다.
예를 들면, 제 4 연산부(155)는 수학식 1, 협대역 픽셀 값(R', G', B'), 보상된 협대역 픽셀 값(WNIR') 및 색 조정 이득(a11, ... , a34)을 이용하여 복원 협대역 픽셀 값(R, G, B)을 연산할 수 있다.
Figure pat00001
다만, 수학식 1은 제 4 연산부(155)가 복원 협대역 픽셀 값을 연산하는 일 실시예를 설명하기 위한 수학식일 뿐이다. 따라서, 제 4 연산부(155)는 색 조정 이득, 제 2 협대역 픽셀 값 및 제 2 보상된 광대역 픽셀 값 중 적어도 하나에 가중치를 주거나 일정한 값을 더하거나 일정한 값을 빼거나 일정한 값을 나누는 등과 같은 변경을 한 후, 복원 협대역 픽셀 값을 연산할 수 있다. 이와 같이 함으로써, 색을 보정할 수 있다.
색 조정 이득 생성부(140)에서 이용되는 제 1 이미지 및 색 보정부(150)에서 이용되는 제 2 이미지는 동일한 이미지이거나 다른 이미지일 수 있다. 예를 들면, 색 조정 이득 생성부(140)는 테스트 이미지('제 1 이미지')를 단일 노출 환경에서 획득하고, 획득된 테스트 이미지('제 1 이미지')를 이용하여 색 조정 이득을 생성할 수 있다. 색 보정부(150)는 촬영하고자하는 물체를 포함한 이미지('제 2 이미지')를 듀얼 노출 환경에서 획득하고, 획득된 촬영하고자하는 물체를 포함한 이미지('제 2 이미지')를 이용하여 색 보정을 할 수 있다. 이 경우, 제 1 이미지 및 제 2 이미지는 다른 이미지일 수 있다.
또 다른 예를 들면, 색 조정 이득 생성부(140)는 촬영하고자하는 물체를 포함한 이미지('제 1 이미지')를 단일 노출 환경에서 획득하고, 촬영하고자하는 물체를 포함한 이미지('제 1 이미지')를 이용하여 색 조정 이득을 생성할 수 있다. 색 보정부(150)는 촬영하고자하는 물체를 포함한 이미지('제 2 이미지')를 듀얼 노출 환경에서 획득하고, 획득된 촬영하고자하는 물체를 포함한 이미지('제 2 이미지')를 이용하여 색 보정을 할 수 있다. 이 경우, 제 1 이미지 및 제 2 이미지는 동일한 이미지일 수 있다.
색 복원 장치는 광대역 픽셀 값의 포화 여부에 기초하여 광대역 픽셀 값을 보상하고, 보상된 광대역 픽셀 값에 기초하여 색 조정 이득을 생성함으로써, 정확한 색 조정 이득을 생성할 수 있다.
색 복원 장치는 협대역 픽셀 값에 적용된 컬러 이득과 광대역 픽셀 값에 적용된 컬러 이득의 차이에 기초하여 광대역 픽셀 값을 보상하고, 협대역 픽셀값, 보상된 광대역 픽셀 값 및 색 조정 이득 생성 장치에서 생성된 색 조정 이득에 기초하여 복원 협대역 픽셀 값을 생성함으로써, 색의 왜곡을 보정할 수 있다. 이에 따라, 획득된 이미지가 선명해 질 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예와 관련된 색 복원 방법을 설명하기 위한 흐름도이다.
도 1, 도 4a 및 도 4b를 참조하면, 색 복원 장치는 단일 노출 환경에서 제 1 협대역 이미지 및 제 1 광대역 이미지를 포함하는 제 1 이미지를 획득한다(400). 제 1 이미지는 색 조정 이득을 얻기 위해 촬영된 이미지일 수 있다. 색 복원 장치는 제 1 협대역 픽셀 값과 제 1 광대역 픽셀 값에 기초하여 포화(saturation) 이득을 연산한다(405). 다수의 협대역 컬러 채널이 존재하는 경우, 포화 이득은 협대역 컬러 채널들에 대응되는 제 1 협대역 픽셀 값들의 합과 제 1 광대역 픽셀 값의 비율일 수 있다.
색 복원 장치는 제 1 광대역 픽셀 값이 포화되었는지 여부를 판단한다(410). 색 복원 장치는 제 1 광대역 픽셀 값이 포화된 경우, 포화 이득에 기초하여 제 1 광대역 픽셀 값을 변경할 수 있다(415). 반면에, 제 1 광대역 픽셀 값이 포화되지 않은 경우, 색 복원 장치는 제 1 광대역 픽셀 값이 포화되었는지 여부를 판단한다(410). 색 복원 장치는 제 1 협대역 픽셀 값 및 보상된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득을 연산할 수 있다(420).
색 복원 장치는 제 2 협대역 이미지 및 제 2 광대역 이미지를 포함하는 제 2 이미지를 획득한다(425). 색 복원 장치는 제 1 컬러 이득에 기초하여 제 2 협대역 이미지의 제 2 협대역 픽셀 값을 변경하고, 제 2 컬러 이득에 기초하여 제 2 광대역 이미지의 제 2 광대역 픽셀 값을 변경할 수 있다(430). 색 복원 장치는 제 1 컬러 이득 및 제 2 컬러 이득에 기초하여 노출 이득을 연산한다(435). 노출 이득은 제 1 컬러 이득 및 제 2 컬러 이득의 비율일 수 있다. 색 복원 장치는 연산된 노출 이득(gain)에 매칭된 컬러 이득 차이 보상 값을 추출할 수 있다(440). 색 복원 장치는 추출된 컬러 이득 차이 보상 값에 기초하여 제 2 광대역 픽셀 값을 보상할 수 있다(445). 색 복원 장치는 제 2 협대역 이미지의 제 2 협대역 픽셀 값, 보상된 제 2 광대역 픽셀 값 및 520 단계에서 연산된 색 조정 이득(color correction gain)에 기초하여 복원 협대역 픽셀 값을 연산할 수 있다(450).
설명된 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
또한, 본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

Claims (20)

  1. 포화 시점 차이를 보상하기 위한 포화(saturation) 이득에 기초하여 단일 노출 환경에서 획득된 제 1 이미지의 제 1 광대역 픽셀 값을 변경하고, 상기 제 1 이미지의 제 1 협대역 픽셀 값과 상기 변경된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하는 색 조정 이득 생성부; 및
    듀얼 노출 환경에서 획득된 제 2 이미지에 적용된 컬러 이득들의 차이를 보상하기 위한 컬러 이득 차이 보상 값에 기초하여 상기 제 2 이미지의 제 2 광대역 픽셀 값을 변경하고, 상기 제 2 이미지의 제 2 협대역 픽셀 값, 상기 변경된 제 2 광대역 픽셀 값 및 상기 색 조정 이득에 기초하여 복원 협대역 픽셀 값을 연산하는 색 보정부를 포함하는 색 복원 장치.
  2. 제 1 항에 있어서,
    상기 색 조정 이득 생성부는,
    상기 제 1 협대역 픽셀 값들과 상기 제 1 광대역 픽셀 값에 기초하여 정의되는 포화(saturation) 이득을 연산하는 제 1 연산부를 더 포함하는 색 복원 장치.
  3. 제 2 항에 있어서,
    상기 포화 이득은
    상기 제 1 협대역 픽셀 값들의 합과 상기 광대역 픽셀 값의 비율인 색 복원 장치.
  4. 제 1 항에 있어서,
    상기 색 조정 이득 생성부는,
    상기 포화 이득에 기초하여 상기 제 1 광대역 픽셀 값을 변경하는 포화 보상부를 더 포함하는 색 복원 장치.
  5. 제 4 항에 있어서,
    상기 포화 보상부는,
    상기 제 1 광대역 픽셀 값이 포화된 경우, 상기 포화 이득에 기초하여 상기 제 1 광대역 픽셀 값을 보상하는 색 복원 장치.
  6. 제 1 항에 있어서,
    상기 색 조정 이득 생성부는,
    상기 제 1 협대역 픽셀 값과 상기 보상된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하는 제 2 연산부를 더 포함하는 색 복원 장치.
  7. 제 1 항에 있어서,
    상기 색 보정부는,
    노출을 보상하기 위해 제 1 컬러 이득에 기초하여 상기 제 2 이미지의 제 2 협대역 픽셀 값을 변경하고, 제 2 컬러 이득에 기초하여 상기 제 2 이미지의 제 2 광대역 픽셀 값을 변경하는 노출 보상부를 더 포함하는 색 복원 장치.
  8. 제 7 항에 있어서,
    상기 색 복원 부는,
    상기 제 1 컬러 이득(gain) 및 상기 제 2 컬러 이득(gain)에 기초하여 노출 이득(gain)을 연산하는 제 3 연산부를 더 포함하는 색 복원 장치.
  9. 제 8 항에 있어서,
    상기 노출 이득은,
    상기 제 1 컬러 이득 및 상기 제 2 컬러 이득의 비율인 색 복원 장치.
  10. 제 8 항에 있어서,
    상기 색 보정부는,
    상기 노출 이득에 매칭된 상기 컬러 이득 차이 보상 값을 추출하는 추출부를 더 포함하는 색 복원 장치.
  11. 제 1 항에 있어서,
    상기 색 보정부는,
    상기 컬러 이득 차이 보상 값에 기초하여 상기 제 2 광대역 픽셀 값을 변경하는 컬러 이득 차이 보상부를 더 포함하는 색 복원 장치.
  12. 제 1 항에 있어서,
    상기 색 보정부는,
    상기 제 2 협대역 픽셀 값, 상기 변경된 제 2 광대역 픽셀 값 및 상기 색 조정 이득(color correction gain)에 기초하여 복원 협대역 픽셀 값을 연산하는 제 4 연산부를 포함하는 색 복원 장치.
  13. 포화 시점 차이를 보상하기 위한 포화(saturation) 이득에 기초하여 단일 노출 환경에서 획득된 제 1 이미지의 제 1 광대역 픽셀 값을 변경하는 단계;
    상기 제 1 이미지의 제 1 협대역 픽셀 값과 상기 변경된 제 1 광대역 픽셀 값에 기초하여 색 조정 이득(color correction gain)을 연산하는 단계;
    듀얼 노출 환경에서 획득된 제 2 이미지에 적용된 컬러 이득들의 차이를 보상하기 위한 컬러 이득 차이 보상 값에 기초하여 상기 제 2 이미지의 제 2 광대역 픽셀 값을 변경하는 단계; 및
    상기 제 2 이미지의 제 2 협대역 픽셀 값, 상기 변경된 제 2 광대역 픽셀 값 및 상기 색 조정 이득에 기초하여 복원 협대역 픽셀 값을 연산하는 단계를 포함하는 색 복원 방법.
  14. 제 13 항에 있어서,
    상기 제 1 협대역 픽셀 값들과 상기 제 1 광대역 픽셀 값에 기초하여 정의되는 포화(saturation) 이득을 연산하는 단계를 더 포함하는 색 복원 방법.
  15. 제 14 항에 있어서,
    상기 포화 이득은
    상기 제 1 협대역 픽셀 값들의 합과 상기 광대역 픽셀 값의 비율인 색 복원 방법.
  16. 제 13 항에 있어서,
    상기 제 1 광대역 픽셀 값을 변경하는 단계는,
    상기 제 1 광대역 픽셀 값이 포화된 경우, 상기 포화 이득에 기초하여 상기 제 1 광대역 픽셀 값을 보상하는 단계를 포함하는 색 복원 방법.
  17. 제 13 항에 있어서,
    노출을 보상하기 위해 제 1 컬러 이득에 기초하여 상기 제 2 협대역 픽셀 값을 변경하고, 제 2 컬러 이득에 기초하여 상기 제 2 광대역 픽셀 값을 변경하는 단계를 더 포함하는 색 복원 방법.
  18. 제 17 항에 있어서,
    상기 제 1 컬러 이득(gain) 및 상기 제 2 컬러 이득(gain)에 기초하여 상기 노출 이득(gain)을 연산하는 단계를 더 포함하는 색 복원 방법.
  19. 제 18 항에 있어서,
    상기 노출 이득은,
    상기 제 1 컬러 이득 및 상기 제 2 컬러 이득의 비율인 색 복원 방법.
  20. 제 18 항에 있어서,
    상기 노출 이득에 매칭된 상기 컬러 이득 차이 보상 값을 추출하는 단계를 더 포함하는 색 복원 방법.
KR1020110010747A 2011-02-07 2011-02-07 색 복원 장치 및 방법 KR20120090370A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110010747A KR20120090370A (ko) 2011-02-07 2011-02-07 색 복원 장치 및 방법
US13/167,818 US20120200731A1 (en) 2011-02-07 2011-06-24 Color restoration apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110010747A KR20120090370A (ko) 2011-02-07 2011-02-07 색 복원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120090370A true KR20120090370A (ko) 2012-08-17

Family

ID=46600407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110010747A KR20120090370A (ko) 2011-02-07 2011-02-07 색 복원 장치 및 방법

Country Status (2)

Country Link
US (1) US20120200731A1 (ko)
KR (1) KR20120090370A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491377B2 (en) * 2013-08-07 2016-11-08 Trimble Navigation Limited Methods of extracting 4-band data from a single CCD; methods of generating 4×4 or 3×3 color correction matrices using a single CCD
KR102171387B1 (ko) 2014-03-06 2020-10-28 삼성전자주식회사 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
JP6525718B2 (ja) * 2015-05-11 2019-06-05 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
KR20210094253A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 이미지 센서의 캘리브레이션 모듈, 이미지 센서 및 크로스토크를 캘리브레이션하는 방법
CN112348904A (zh) * 2020-10-23 2021-02-09 影石创新科技股份有限公司 水下图像及水下视频色彩还原方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100453038B1 (ko) * 2001-12-24 2004-10-15 삼성전자주식회사 컬러 영상의 채도 조절 장치 및 방법
JP4004943B2 (ja) * 2002-12-25 2007-11-07 富士フイルム株式会社 画像合成方法および撮像装置
US7847805B2 (en) * 2003-10-30 2010-12-07 Panasonic Corporation Display apparatus, display method, program and recording medium
KR101639382B1 (ko) * 2008-08-27 2016-07-13 삼성전자주식회사 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법

Also Published As

Publication number Publication date
US20120200731A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
JP6568719B2 (ja) 撮像方法及び撮像装置
JP5206796B2 (ja) 画像入力装置
KR100933282B1 (ko) 색채 복원 방법 및 시스템
US8233058B2 (en) Image processing apparatus, image processing method, and image sensing apparatus
CN101753797B (zh) 图像信号处理设备及方法
KR20110082421A (ko) 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20120090370A (ko) 색 복원 장치 및 방법
KR20100053287A (ko) 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법
CN102082912A (zh) 图像拍摄装置及图像处理方法
US10659738B2 (en) Image processing apparatus, image processing method, and image processing program product
JP5186517B2 (ja) 撮像装置
JP4936686B2 (ja) 画像処理
Yamashita et al. Enhancing low-light color images using an RGB-NIR single sensor
CN107727231A (zh) 一种对光谱成像仪条带噪声进行修正的方法
WO2023016468A1 (zh) 解马赛克方法、电子设备及存储介质
JP2020524958A (ja) デジタル画像におけるハイライト及び飽和領域を回復し、ダイナミックレンジを拡張する方法
JP2016541167A (ja) デジタル・カメラにおける広色域作業フローのための二次元色変換
Lin et al. Investigating the upper-bound performance of sparse-coding-based spectral reconstruction from RGB images
JP5454156B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
Assefa et al. Correction of over-exposure using color channel correlations
KR20130008304A (ko) 색 왜곡 보정 방법 및 장치
KR101462440B1 (ko) 색 보정 장치 및 색 보정 방법
KR101477736B1 (ko) 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal