KR20190116077A - 이미지 처리 - Google Patents

이미지 처리

Info

Publication number
KR20190116077A
KR20190116077A KR1020190037800A KR20190037800A KR20190116077A KR 20190116077 A KR20190116077 A KR 20190116077A KR 1020190037800 A KR1020190037800 A KR 1020190037800A KR 20190037800 A KR20190037800 A KR 20190037800A KR 20190116077 A KR20190116077 A KR 20190116077A
Authority
KR
South Korea
Prior art keywords
pixels
pixel
value
data
image
Prior art date
Application number
KR1020190037800A
Other languages
English (en)
Other versions
KR102629951B1 (ko
Inventor
두미두 탈라갈라
데이빗 한웰
비아체슬라프 체스노코프
알렉세이 코르니엔코
Original Assignee
애피컬 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애피컬 리미티드 filed Critical 애피컬 리미티드
Publication of KR20190116077A publication Critical patent/KR20190116077A/ko
Application granted granted Critical
Publication of KR102629951B1 publication Critical patent/KR102629951B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

제1 및 제2 컬러 채널과 각각 관련되는 제1 및 제2 세트의 픽셀을 포함하는 이미지의 적어도 일부분을 나타내는 이미지 데이터가 수신된다. 제1 세트의 픽셀의 제1 픽셀이 포화된 픽셀임이 결정된다. 제2 세트의 픽셀의 제1 픽셀의 값을 기초로 한 제1 데이터가 제1 세트의 픽셀의 제1 픽셀과 제2 세트의 픽셀의 제1 픽셀을 포함하는 제1 이미지 영역에 대해 획득된다. 제1 및 제2 세트의 픽셀의 제2 픽셀의 각각의 값을 기초로 한 제2 데이터가, 제2 이미지 영역에 대해, 제1 데이터를 기초로 하여 획득된다. 제2 데이터는 처리되어 제1 픽셀에 대한 제1 컬러 채널과 관련되는 추정 값을 나타내는 출력 데이터를 생성한다.

Description

이미지 처리{IMAGE PROCESSING}
본 발명은 이미지 데이터를 처리하기 위한 방법 및 장치에 관한 것이다.
이미지 센서는 통상 사람의 시각계로 인지할 수 있는 것보다 더 작은 동적 범위로 장면의 이미지를 포착할 수 있으며, 여기서 동적 범위는 예컨대 이미지 내에서 가장 밝은 픽셀과 가장 어두운 픽셀의 픽셀 세기 사이의 비율이다. 예컨대, 사람의 눈은 55dB(데시벨)을 초과하는 동적 범위를 인지할 수 있는 반면, 이미지 센서는 35dB과 45dB 사이의 동적 범위를 가질 수 있다. 모션이 있는 실외 장면이나 밝은 조명이 있는 저녁 시간 장면과 같은 높은 동적 범위 장면의 이미지의 품질은 그러므로 사람이 그러한 장면을 실시간으로 인지하는 것과 비교하여 이미지 센서가 포착한 이미지는 감소할 수 있다.
제1 양상에 따라, 제1 컬러 채널과 관련되는 제1 세트의 픽셀과 제2 컬러 채널과 관련되는 제2 세트의 픽셀을 포함하는 이미지의 적어도 일부분을 나타내는 이미지 데이터를 수신하는 단계;
제1 세트의 픽셀의 제1 픽셀을 나타내는 이미지 데이터의 일부분을 처리하여, 제1 세트의 픽셀의 제1 픽셀이 포화된 픽셀임을 결정하는 단계;
제1 세트의 픽셀의 제1 픽셀과 제2 세트의 픽셀의 제1 픽셀을 포함하는 제1 이미지 영역에 대해, 제2 세트의 픽셀의 제1 픽셀의 값을 기초로 한 제1 데이터를 획득하는 단계;
제1 데이터를 기초로 하여, 제1 세트의 픽셀의 제2 픽셀과 제2 세트의 픽셀의 제2 픽셀을 포함하는 제2 이미지 영역에 대해, 제1 세트의 픽셀의 제2 픽셀의 값과 제2 세트의 픽셀의 제2 픽셀의 값을 기초로 한 제2 데이터를 획득하는 단계; 및
제2 데이터를 처리하여, 제1 세트의 픽셀의 제1 픽셀에 대해 제1 컬러 채널과 관련되는 추정 값을 나타내는 출력 데이터를 생성하는 단계를 포함하는 방법이 제공된다.
이미지 센서는 통상 제한된 범위의 세기 내에서 광을 검출할 수 있으며, 이러한 제한된 범위의 세기는 예컨대 제한된 범위의 밝기에 대응할 수 있다. 이러한 범위는 이미지 센서의 동적 범위에 대응하는 것으로 고려될 수 있다. 이미지 센서가 검출할 수 있는 최대 세기를 초과하는 세기 값은 동일한 최댓값으로 설정될 것이다. 이것을 종종 클리핑이라고 지칭한다. 예컨대, 이미지 센서는 상대적으로 긴 노출을 사용하여 장면의 이미지를 포착하여 이 장면의 어두운 부분에서 디테일을 포착하도록 구성될 수 있다. 이러한 접근법으로, 그러나, 장면의 밝은 부분에 대응하는 이미지 센서의 센서 픽셀은 포화될 수 있다. 예컨대, 장면의 이들 부분의 밝기는, (예컨대, 화이트 밸런스 정정 및 렌즈 음영(lens shading) 정정과 같이, 장면을 나타내는 이미지 데이터의 초기 처리하여, 이미지 센서에 의해 이미지에 도입된 원치 않는 아티팩트(artefact)를 정정한 이후) 센서 픽셀에 의해 기록될 수 있는 최대 밝기를 초과할 수 있다. 그러한 경우, 포화된 픽셀에 대한 픽셀 세기 값은 클리핑되며, 이것은 장면의 밝은 부분에서 디테일을 감소시킬 수 있다. 그러므로 본 명세서의 예들에서, 포화도는, (예컨대 그 밝기에 비례한 구역의 다채로움(colourfulness)인) 컬러의 컨텍스트에서의 포화도라기 보다는, 미리 결정된 최댓값을 초과한 픽셀값의 포화도를 지칭한다.
예들에 따른 방법으로 인해, 포화된 픽셀에 대한 더 정확한 추정 값이 결정될 수 있다. 추정 값은, 미리 결정된 최대 세기 값일 수 있는 클리핑 이후 포화된 픽셀의 세기 값과 같이, 포화된 픽셀의 포화 값보다 더 클 수 있다. 이런 식으로, 이미지 데이터의 동적 범위는 연장될 수 있으며, (예컨대 포화된 픽셀에 대응하는) 이미지의 밝은 부분에서의 디테일은 향상될 수 있다.
제2 양상에 따라, 이미지 처리 시스템으로서,
저장 장치로서,
제1 컬러 채널과 관련되는 제1 세트의 픽셀과 제2 컬러 채널과 관련되는 제2 세트의 픽셀을 포함하는 이미지의 적어도 일부분을 나타내는 이미지 데이터;
제2 세트의 픽셀의 제1 픽셀의 값을 기초로 한 제1 데이터;
제1 세트의 픽셀의 제2 픽셀의 값과 제2 세트의 픽셀의 제2 픽셀의 값을 기초로 한 제2 데이터; 및
제1 세트의 픽셀의 제1 픽셀에 대한 제1 컬러 채널과 관련되는 추정 값을 나타내는 출력 데이터를 저장하기 위한 저장 장치;
포화도 정정 시스템으로서,
제1 세트의 픽셀의 제1 픽셀을 나타내는 이미지 데이터의 일부분을 처리하여 제1 세트의 픽셀의 제1 픽셀이 포화된 픽셀임을 결정하고;
제1 세트의 픽셀의 제1 픽셀과 제2 세트의 픽셀의 제1 픽셀을 포함하는 제1 이미지 영역에 대해, 제1 데이터를 획득하고;
이 제1 데이터를 기초로 하여, 제1 세트의 픽셀의 제2 픽셀과 제2 세트의 픽셀의 제2 픽셀을 포함하는 제2 이미지 영역에 대해, 제2 데이터를 획득하며;
제2 데이터를 처리하여 출력 데이터를 생성하도록 동작할 수 있는 포화도 정정 시스템을 포함하는 이미지 처리 시스템이 제공된다.
포화도 정정 시스템은 하드웨어 또는 소프트웨어 또는 하드웨어나 소프트웨어의 조합으로 구현될 수 있다. 예컨대, 포화도 정정 시스템은 비일시적 컴퓨터-판독 가능 저장 매체 상에 저장되는 컴퓨터-판독 가능 명령 세트로서 구현될 수 있으며, 이러한 명령은, 적어도 하나의 프로세서에 의해 수행될 때, 이 적어도 하나의 프로세서가 포화도 정정 시스템의 방법을 실행하게 한다.
추가 특성이 다음의 상세한 설명으로부터 자명하게 될 것이며, 이러한 설명은 오직 예를 들어서만 제공되며, 수반하는 도면을 참조하여 행해진다.
도 1은 예들에 따른 이미지 데이터 처리 방법을 개략적으로 도시한다.
도 2는 도 1의 방법에서 사용을 위해 데이터를 수집하는 예시적인 방법을 예시하는 흐름도이다.
도 3은 이미지의 블록을 서브-블록으로 분할하는 예를 개략적으로 도시한다.
도 4는 도 3의 블록과 같은 이미지의 블록으로부터 획득할 수 있는 예시적인 히스토그램을 도시한다.
도 5는 이미지의 포화된 블록에 대해 데이터를 수집하는 예시적인 방법을 개략적으로 예시한다.
도 6은, 제1 이미지 영역의 하나의 픽셀이 포화되는 예들에 따른 출력 데이터의 생성을 개략적으로 예시한다.
도 7은, 제1 이미지 영역의 하나의 픽셀이 포화되는 예들에 따른 적어도 2개의 파라미터 값을 가중하는 예를 개략적으로 예시한다.
도 8은, 제1 이미지 영역의 2개의 픽셀이 포화되는 예들에 따른 출력 데이터 생성을 개략적으로 예시한다.
도 9는, 제1 이미지 영역의 2개의 픽셀이 포화되는 예들에 따른 적어도 2개의 파라미터 값을 가중하는 예를 개략적으로 예시한다.
도 10은 예들에 따른 이미지 처리 시스템의 구성요소를 개략적으로 예시한다.
예들에 따른 시스템과 방법의 세부 내용은 도면들을 참조하여 다음의 상세한 설명으로부터 자명하게 될 것이다. 본 상세한 설명에서, 설명을 위해, 특정 예들의 수 많은 특정한 세부 내용이 제시된다. 본 명세서에서, "예" 또는 유사한 용어에 대한 참조가 의미하는 점은, 이 예와 연계하여 기재되는 특정한 특성, 구조 또는 특징이 적어도 이 하나의 예에 포함되지만, 반드시 다른 예에 포함되는 것은 아니라는 점이다. 또한, 특정한 예들은 특정한 특성이 생략된 채로 개략적으로 기재되며 및/또는 반드시 간략화되어 이들 예의 기저에 있는 개념의 설명 및 이해를 용이하게 함을 주목해야 한다.
도 1은 예들에 따른 이미지 데이터 처리 방법을 개략적으로 도시한다. 이미지 데이터는 이미지의 적어도 일부분을 나타내며, 이미지 센서(100)를 사용하여 포착된다. 이미지 센서는 통상 센서 픽셀의 어레이를 포함하며, 이러한 센서 픽셀의 어레이는 이미지를 포착하기 위한 임의의 적절한 광센서일 수 있다. 예컨대, 통상의 센서 픽셀은, 입사 광을 전자 신호나 데이터로 변환할 수 있는 광 다이오드와 같은 광민감성 요소를 포함한다. 센서 픽셀은 예컨대 전하-결합 소자(CCD) 또는 상보적 금속-산화물-반도체(CMOS)일 수 있다. 노출이, 광이 이미지 센서의 각 센서 픽셀에 의해 포착되는 시간 기간 및/또는 각 센서 픽셀에 의해 생성된 전기 신호에 증폭기에 의해 가해지는 이득을 통상 설정한다. 입사 광에 대한 이미지 센서의 민감도는 그러므로 일반적으로 이 노출에 의해 결정된다. 도 1의 실시예에서, 이미지 센서(100)는 단일 노출을 사용하여 이미지 데이터를 포착하도록 구성된다. 예컨대, 이미지 센서(100)의 센서 픽셀 모두는 동일한 시간 기간 동안 또는 서로 동일한 길이의 시간 기간 동안 광을 포착할 수 있다. 그러나 다른 예들에서, 본 명세서에서 기재한 예들과 사용하기 위한 이미지 센서는, 적어도 2개의 상이한 노출을 갖는 센서 픽셀을 사용하여 이미지 데이터를 포착하도록 구성되는 다중-노출 이미지 센서일 수 있다.
이미지 데이터는 예컨대 이미지 센서(100)에 의해 포착되는 광의 적어도 하나의 특징을 나타낸다. 예컨대, 이미지 데이터는 각각의 센서 픽셀에 의해 포착되는 광의 세기를 나타낼 수 있으며, 이러한 광의 세기는 이 센서 픽셀에 의해 포착되는 광자의 개수에 비례할 수 있다. 이 세기는, 예컨대 절대 세기보다는 단위 면적당 광의 세기의 측정치인 포착된 광의 휘도를 나타낼 수 있다. 다른 예들에서, 이미지 데이터는 휘도의 인지도에 대응하는 것으로 고려될 수 있는 포착된 광의 밝기를 나타낼 수 있으며, 이러한 인지도는 휘도에 비례하거나 비례하지 않을 수 있다. 일반적으로, 이미지 데이터는, 이미지 데이터에 의해 나타내는 이미지의 시각적 모습을 나타내는데 사용될 수 있는 임의의 측광량(photometric quantity) 또는 측광 특징을 나타낼 수 있다. 이미지 데이터는 원(raw) 이미지 포맷과 같은 임의의 적절한 포맷일 수 있다. 예컨대, 이미지 데이터는 프레임 버퍼에 저장되거나 저장되지 않으며 원 이미지 데이터를 파일에 저장하지 않고 이미지 센서로부터 스트리밍될 수 있다. 그러한 경우에, 원 이미지 데이터를 처리한 후 획득한 이미지 데이터는 그러나 파일에 저장될 수 있다.
도 1과 같은 예들에서, 이미지 센서(100)는, 컬러 필터 요소의 패턴을 포함하는 컬러 필터 어레이를 포함한다. 컬러 필터 요소는 이미지 센서(100)의 센서 픽셀의 어레이의 각각의 센서 픽셀에 대응한다. 예컨대, 컬러 필터 어레이는 모자이크 또는 반복 패턴을 형성하는 것으로 고려될 수 있다. 컬러 필터 요소는 일반적으로 특정 컬러의 광이 대응하는 센서 픽셀에 통과되게 한다. 이런 식으로, 컬러 필터 어레이는 센서 픽셀의 어레이의 상이한 센서 픽셀이 상이한 컬러의 입사 광을 수광하게 하여, 풀-컬러 이미지가 포착되게 한다. 통상의 광센서가 입사 광의 파장에 민감하지 않으므로, 통상의 센서 픽셀은 컬러 필터 어레이 없이는 검출된 광으로부터 컬러 정보를 제공할 수 없을 것이다. 그러나 컬러 필터 어레이를 사용하여, 상이한 컬러에 대응하는 상이한 파장 범위로 입사 광을 분리함으로써, 이들 상이한 파장 범위에서의 광의 세기는 확보될 수 있어서, 이 컬러 정보를 결정되게 할 수 있다.
컬러는 임의의 범위의 광 파장을 지칭할 수 있음을 이해해야 한다. 예컨대, 클리어, 투명 또는 백색 컬러 필터 요소는 그럼에도, 이 컬러 필터 요소가 가시 스펙트럼에서 (모든 또는 실질적으로 모든) 이들 특정 파장이 기저의 센서 픽셀에 투과되게 한다는 점에서 컬러 필터 요소로 고려될 수 있다. 다른 예들에서, 컬러 필터 요소 중 일부 또는 모두는 비-백색 컬러 필터 요소일 수 있다.
컬러 필터 요소의 패턴은 반복하는 컬러 필터 요소 그룹으로 형성될 수 있다. 컬러 필터 요소 그룹은 예컨대 적색 컬러 필터 요소, 청색 컬러 필터 요소 및 2개의 녹색 컬러 필터 요소를 포함할 수 있다. 컬러 필터 어레이는 그러므로 베이어 패턴(Bayer pattern)에 대응할 수 있지만, 다른 그룹이 다른 예들에서 가능하다. 각각의 그룹은 필요한 센서 픽셀과 대응할 수 있어서, 적절한 품질의 풀-컬러 이미지를 획득할 수 있다.
도 1에 따른 예들에서 이미지 센서(100)에 의해 획득한 이미지는 제1 컬러 채널과 관련되는 제1 세트의 픽셀과, 제2 컬러 채널과 관련되는 제2 세트의 픽셀을 포함한다. 제1 세트의 픽셀은 제1 컬러 채널의 컬러 필터 요소에 대응하는 제1 세트의 센서 픽셀에 의해 포착될 수 있으며, 제2 세트의 픽셀은 제2 컬러 채널의 컬러 픽셀 요소에 대응하는 제2 세트의 센서 픽셀에 의해 포착될 수 있다. 제1 컬러 채널은 적색, 녹색 또는 청색 중 하나일 수 있으며, 제2 컬러 채널은 적색, 녹색 또는 청색 중 상이한 하나일 수 있다(그러나 이것은 제한하고자 하는 것은 아니다). 추가 예들에서, 이미지 센서(100)에 의해 획득되는 이미지는 (제1 및 제2 컬러 채널이 아닌 적색, 녹색 또는 청색 중 상이한 하나와 같이, 제1 및 제2 컬러 채널과 상이할 수 있는) 제3 컬러 채널과 관련되는 제3 세트의 픽셀을 또한 포함할 수 있다. 그러한 경우, 제3 세트의 픽셀은, 제3 컬러 채널의 컬러 필터 요소에 대응하는 제3 세트의 센서 픽셀에 의해 포착될 수 있다. 제1, 제2 및 제3 세트의 픽셀의 예들은 도 3, 도 6 및 도 8을 참조하여 이하에서 더 기재될 것이다.
도 1을 다시 참조하면, 도 1의 방법은 데이터 수집 공정(102)을 사용하여 센서(100)에 의해 획득되는 이미지 데이터를 처리하여, 예컨대 포화된 픽셀에 대한 추정 값을 획득하는 것과 같이 포화도 정정에 사용하기 위한 데이터를 획득하는 단계를 수반한다. 이 데이터는 본 명세서에서 제2 데이터로서 지칭될 수 있으며, 도 2 내지 도 5를 참조하여 이하에서 상세하게 기재될 것이다.
데이터 수집 공정(102) 이후, 포화도 정정 공정(104)이 도 1의 방법에서 실행된다. 이것은 도 6 내지 도 9를 참조하여 이하에서 더 설명될 것이다.
재정규화 공정(106)은, 이하에서 더 상세하게 기재될 바와 같이, 포화도 정정 공정(104)을 통해 획득한 출력 이미지 데이터를 미리 결정된 범위에 재정규화하도록 실행된다.
디모자이킹(108)이 그 후 정규화된 출력 이미지 데이터로부터 풀 컬러 이미지를 재구성하도록 실행된다. 재정규화된 출력 이미지 데이터는 예컨대 픽셀 위치당 단 하나의 컬러 채널에 대한 세기 값을 포함하는 반면, 디모자이킹(108)은 복수의 상이한 컬러 채널 각각에 대한 세기 값이 각각의 픽셀 위치에 대해 획득되게 한다. 예컨대, 앞서 설명한 바와 같이, 통상의 이미지 센서는, 특정 컬러의 컬러 필터 요소와 각각 중첩되는 센서 픽셀을 포함한다. 그러므로 이미지 센서로부터 출력되는 각각의 픽셀은 디모자이킹(108) 전에 단 하나의 컬러 채널에 대한 세기 값을 통상 또한 포함한다. 디모자이킹(108)은 예컨대 (본 명세서에서는 동일한 세트의 픽셀에 속하는 것으로 기재되는) 동일한 컬러 채널의 인접한 픽셀 사이를 내삽하여, 상이한 세트의 픽셀과 같은 상이한 컬러 채널의 픽셀에 대응하는 위치에서와 같은 이들 인접한 픽셀 사이의 위치에서 값을 획득하는 것을 수반한다. 이것은, 각각의 픽셀 위치에서, 컬러 채널 각각에 대해 세기 값을 획득하기 위해 컬러 채널 각각에 대해 실행될 수 있다.
마지막으로, 처리된 이미지 데이터가 디스플레이(110)에 대해 출력된다.
도 1의 방법은 단지 예이며, 일부 요소는 간결함을 위해 생략되거나 간략화되었을 수 있음을 이해해야 한다. 예컨대, 포화도 정정 공정(104) 전에, 이미지 데이터는 추가 처리를 거쳐서 이미지의 품질을 개선할 수 있다. 예컨대, 이미지는 렌즈 음영을 겪을 수 있으며, 이러한 렌즈 음영은 이미지의 밝기나 세기가 이미지의 중심에서 방사상으로 멀리 점진적으로 통상 감소하게 한다. 이미지의 컬러 밸런스는 차선이 될 수 도 있으며, 이것이 의미하는 점은, 이미지의 컬러는 이미지에서 포착된 장면의 컬러와 정확히 대응하지 않을 수 있다는 점이다. 그러므로 이 추가 처리는 렌즈 음영을 정정하는 처리 또는 화이트 밸런스 조정을 포함할 수 있다.
통상적으로, 그러나, 도 1의 데이터 수집(102)이 화이트 밸런스 및/또는 렌즈 음영을 정정하기 전에 실행될 수 있다(그러나 일부 예들에서 데이터 수집(102)은 이들 공정 중 하나나 둘 모두 이후 실행될 수 있다). 예컨대, (세기와 같은) 픽셀의 값이 화이트 밸런스 및/또는 렌즈 음영의 정정 이후 제한되거나 클리핑되게 된다면, 픽셀은 포화되는 것으로 고려될 수 있다. 게다가, 픽셀의 값이 최대 미리 결정된 값으로 이미 제한되었거나 클리핑되었다면, 픽셀은 또한 포화되는 것으로 고려될 수 있다. 그러므로 픽셀의 값이 최대 미리 결정된 값을 충족하거나 초과하거나 하면, 픽셀은 포화되는 것으로 고려될 수 있다.
재정규화 공정(106) 이후, 이미지의 품질을 더 개선하는 (또는 원하는 시각 효과를 획득하도록 이미지를 조정하는) 또 다른 추가 처리가 적용될 수 있다. 예컨대, 컬러 정정 또는 감마 정정 공정이 이미지 데이터에 적용될 수 있다.
도 1의 특성을 이제 더 상세하게 설명될 것이다.
데이터 수집
도 1의 데이터 수집 공정(102)은 도 2 내지 도 5에서 더 예시되어 있다.
도 2는 도 1의 방법에서 사용을 위한 데이터 수집의 예시적인 방법을 예시하는 흐름도이다. 도 2의 항목(112)에서, 이미지 데이터로 나타내어질 수 있는, 이미지 센서(100)에 의해 포착된 이미지는 블록으로 분할된다. 이미지 데이터에 의해 나타내어지는 이미지는 이미지 센서(100)에 의해 포착된 장면 전체일 수 있거나, 대신 이 장면의 일부분 또는 서브세트를 나타낼 수 있다. 각각의 블록은 본 명세서에서는 제2 이미지 영역으로 지칭될 수 있으며 미리 결정된 크기의 미리 결정된 이미지 영역일 수 있다. 예컨대, 이미지의 픽셀 어레이는 n×m 개의 픽셀의 블록으로 나눠질 수 있으며, 여기서 n과 m은 정수이다. 예컨대, 이미지는 33×33개의 픽셀을 각각 포함하는 블록으로 나눠질 수 있다. 그러나 이것은 제한적이고자 하는 것은 아니며, 다른 경우에, 제2 이미지 영역은 비-정사각형의 직사각형 또는 불규칙한 형상과 같은 다른 크기나 형상일 수 있다. 예컨대, 제2 이미지 영역은 임의의 적절한 형상과 크기가 될 수 있어서, 이미지의 구역을 나타내는 의미있는 컬러 또는 색상(hue) 특징이 결정되게 한다.
블록(114)의 예가 도 3에 개략적으로 도시되어 있다. 도 3의 블록(114)은, 이 예에서는 녹색인 제1 컬러 채널과 관련되는 제1 세트의 픽셀과, 이 예에서는 청색인 제2 컬러 채널과 관련되는 제2 세트의 픽셀과, 이 예에서는 적색인 제3 컬러 채널과 관련되는 제3 세트의 픽셀을 포함한다. 제1 세트의 픽셀의 픽셀은 각각 "G"로 표시되어 있으며, 제2 세트의 픽셀의 픽셀은 각각 "B"로 표시되어 있고, 제3 세트의 픽셀의 픽셀은 각각 "R"로 표시되어 있다. 이 예에서, 컬러 필터 어레이의 컬러 필터 요소, 및 그러므로 제1, 제2 및 제3 세트의 픽셀의 픽셀은 베이어 패턴(Bayer pattern)으로 일련의 반복 그룹으로 배치된다. 종종 베이어 필터 모자이크로 지칭되는 베이어 패턴은 센서 픽셀 격자 상에서 적색, 녹색 및 청색 컬러 필터를 배치하기 위한 컬러 필터 어레이 패턴이다. 베이어 패턴은 하나의 청색 필터 요소, 2개의 녹색 필터 요소 및 하나의 적색 필터 요소의 반복 그룹을 포함한다. 그러므로 컬러 필터 요소의 베이어 패턴을 갖는 이미지 센서(100)로부터 획득한 이미지는 (예컨대 하나의 청색 픽셀, 2개의 녹색 픽셀 및 하나의 적색 픽셀의 반복 그룹을 포함하는) 베이어 패턴으로 또한 배치되는 픽셀을 가질 것이다. 그러므로 이 예에서, 각각의 그룹은 제1 세트의 픽셀의 2개의 픽셀과, 제2 세트의 픽셀의 하나의 픽셀과 제3 세트의 픽셀의 하나의 픽셀을 포함한다.
다시 도 2를 참조하면, 데이터 수집 공정은 항목(116)에서, 블록에서 서브-블록에 대한 값을 계산하는 단계를 수반한다. 각각의 서브-블록은 예컨대 픽셀의 반복 그룹의 한 그룹이다. 이 경우, 각각의 서브-블록은 그러므로, 제1 세트의 픽셀의 2개의 픽셀과, 제2 세트의 픽셀의 하나의 픽셀과, 제3 세트의 픽셀의 하나의 픽셀을 포함한 2×2개의 픽셀의 서브-블록이다. 제2 세트의 픽셀의 하나의 픽셀과 제3 세트의 픽셀의 하나의 픽셀은 각각 제1 세트의 픽셀의 픽셀들 중 적어도 하나에 인접할 수 있다. 세 개의 서브-블록이 도 3에서 참조 번호(118a, 118b, 118c)로 표시되지만, 블록이 도 3에 표시된 것들보다 서브-블록을 더 포함할 수 있음을 이해해야 한다. 서브-블록은 임의의 형상 또는 크기일 수 있으며, 일부 경우에, 서브-블록 중 일부 서브-블록은 서로 상이한 형상 및/또는 크기일 수 있다.
서브-블록에 대해 계산한 값은 컬러 채널 중 적어도 하나와 관련되는 파라미터 값인 것으로 고려될 수 있으며, 이러한 값은 서브-블록의 색상에 관련된 정보나 서브-블록에 대한 다른 컬러 모습 파라미터를 나타내거나 제공할 수 있다. 이들 값은 그러므로 색상 통계치로서 지칭될 수 있다. 색상은 예컨대 컬러의 시각적 모습을 나타내며, 어떤 스티뮬러스(stimulus)가 적색, 녹색, 청색 및 황색 스티뮬러스와 유사하거나 상이한 정도로서 정의될 수 있다.
예컨대, 서브-블록에 대한 파라미터 값을 계산하는 단계는 서브-블록의 픽셀 중 임의의 픽셀이 포화되는지를 결정하는 단계를 포함한다. 픽셀 중 어떤 것도 포화되지 않는다면, 파라미터 값은, 예컨대 (세기 값과 같은) 제1 세트의 픽셀의 픽셀의 값, 제2 세트의 픽셀의 픽셀의 값 및/또는 제3 세트의 픽셀의 픽셀의 값을 기초로 하여, 서브-블록의 픽셀 각각을 사용하여 계산될 수 있다. 도 3의 예에서, 파라미터는, 2개의 상이한 컬러 채널에 대응하는 2개의 상이한 세트의 픽셀에서의 서브-블록의 픽셀의 값 사이의 비율이다(그러나 다른 파라미터가 다른 예에서 계산될 수 있다). 그러므로, 파라미터 값은 이들 비율의 값이다. R/B, G/B 및 G/R 값의 비율은 그러므로 녹색, 청색 및 적색 픽셀에 대해 계산될 수 있으며, 여기서 "R/B"는 예컨대 적색 픽셀의 세기와 청색 픽셀의 세기 사이의 비율을 나타내고, "G/B"는 예컨대 녹색 픽셀의 세기와 청색 픽셀의 세기 사이의 비율을 나타내고, "G/R"는 예컨대 녹색 픽셀의 세기와 적색 픽셀의 세기 사이의 비율을 나타낸다. 이들 예에서, 각각의 비율, R/B, G/B 및 G/R은 각각 상이한 파라미터에 대응한다. 비율(R/B)은 적색 및 청색 컬러 채널과 관련되는 것으로 고려될 수 있고, 비율(G/B)은 녹색 및 청색 컬러 채널과 관련되는 것으로 고려될 수 있으며, 비율(G/R)은 녹색 및 적색 컬러 채널과 관련되는 것으로 고려될 수 있다.
이해될 바와 같이, 도 3과 같은 예에서, 서브-블록(118a, 118b, 118c)은 동일한 세트의 픽셀의 2개의 픽셀, 즉 동일한 컬러 채널에 대응하는 2개의 픽셀을 포함할 수 있다. 이와 같은 경우에, 이 컬러 채널에 대응하는 값을 사용한 비율은 여러 상이한 방식으로 계산될 수 있다. 예컨대, 도 3에서, 각각의 서브-블록(118a, 118b, 118c)은 2개의 녹색 픽셀을 포함하며, 이들 녹색 픽셀 각각은 제1 세트의 픽셀에 속해 있다. 이 경우, G/B 및 G/R 비율은, (2개의 녹색 픽셀 각각에 대해 하나씩) 2개의 G/B 비율과 2개의 G/R 비율을 계산하여 평균을 냄으로써 계산될 수 있다. 대안적으로, G/B 및 G/R 비율은, 예컨대 가장 큰(또는 가장 작은) 세기 값을 갖는 녹색 픽셀을 사용하여 특정 서브-블록에 대해 계산될 수 있다.
일부 경우에, 파라미터 값이 계산될 수 있으며, 여기서 서브-블록이 적어도 하나의 품질 기준을 만족함이 결정된다. 예컨대, 이 품질 기준은, 평균 세기와 같은 서브-블록의 픽셀의 평균 세기를 기초로 할 수 있다. 평균 세기가 스레시홀드 세기를 충족하거나 이를 초과한다면, 파라미터 값은 계산될 수 있다. 그렇지 않는다면, 서브-블록은 폐기될 수 있거나 추가로 처리되지 않을 수 있다.
다시 도 2를 참조하면, 히스토그램이, 그 후 항목(116)에서 계산된 파라미터 값을 사용하여, 항목(120)에서 생성될 수 있다. 히스토그램은, 각각의 범위의 파라미터 값과 각각 관련되는 복수의 빈을 포함할 수 있다. 도 4는 히스토그램(122)의 예를 도시한다. 도 4의 히스토그램(122)은 B/R 비율의 히스토그램이지만, 다른 예에서, 다른 비율과 같은 다른 파라미터의 히스토그램이 대신 또한 추가로 이하에서 더 설명될 바와 같이 생성될 수 있다. 히스토그램(122)의 각각의 빈은 상이한 범위의 비율(B/R)의 값에 대응한다.
도 4의 히스토그램과 같은 히스토그램은 반복해서 생성될 수 있다. 예컨대, 히스토그램(122)에 대응하는 파라미터에 대한 파라미터 값을 계산한 후, 계산된 파라미터 값에 대응하는 히스토그램(122)의 빈을 식별할 수 있다. 이 빈의 카운트는 그 후 증분될 수 있다.
예들에서, 다른 파라미터의 파라미터 값은 특정 서브-블록에 대해 또한 저장될 수 있다. 예컨대, 도 4에서, 히스토그램(122)에 저장된 파라미터는 B/R 비율이다. 그러나 G/B 및 G/R 비율에 대한 값도 저장될 수 있다. (예컨대 포화될 가능성이 적은 컬러 채널인) 최저 세기 컬러 채널에 대한 값과 같은 다른 파라미터의 값도 저장될 수 있다. 저장된 값 각각은 해당 서브-블록의 파라미터 값에 대응하는 히스토그램(122)의 빈과 관련될 수 있다. 서브-블록이 히스토그램(122)의 10번째 빈에 대응하는 B/R 비율을 갖는다고 식별된다면, 히스토그램(122)은 업데이트되어 10번째의 빈의 카운트를 증분시킬 수 있고, G/B 및 G/R 비율을 누산할 수 있으며 최저 세기 컬러 채널에 대한 값(이 경우 세기 값)을 누산할 수 있다. 이것은 예컨대 다음과 같이 요약할 수 있다:
여기서 청색이 최저 세기 컬러 채널이며, 이 10번째 빈과 관련되는 히스토그램의 엔트리를 나타낸다.
이 절차는, 모든 픽셀이 포화되지 않은 블록(114)의 서브-블록 각각에 대해 반복될 수 있어서, 특정 파라미터(이 경우, B/R 비율)의 카운트의 개수의 분포를 획득할 수 있다. 이런 식으로, 특정 범위의 B/R 비율 값과 관련된 다른 파라미터 값의 합도 획득할 수 있다. 이로 인해, 이 범위의 B/R 비율 값과 관련되는 파라미터 값이, 예컨대 이하에서 더 설명될 바와 같이 포화도 정정을 위해 후속하여 검색될 수 있다.
예들에서, 별도의 히스토그램이 복수의 상이한 파라미터 각각에 대해 저장될 수 있어서, 포화도 정정에 대한 융통성을 제공할 수 있다. 예컨대, 이미지가 3개의 컬러 채널을 포함하는 경우, 3개의 히스토그램을 만들 수 있으며, 이때 하나의 히스토그램은 B/R 비율로 비닝되고, 하나의 히스토그램은 G/R 비율로 비닝되며, 다른 하나의 히스토그램은 G/R 비율로 비닝된다. 예컨대, 특정한 서브-블록이 히스토그램(122)의 10번째 빈에 대응하는 B/R 비율을 갖는 경우, 히스토그램(122)은 앞서 기재된 바와 같이 업데이트되어 10번째의 빈의 카운트를 증분시킬 수 있고, G/B 및 G/R 비율을 누산할 수 있으며 이 서브-블록에 대한 최저 세기 컬러 채널에 대한 값(이 경우 세기 값)을 누산할 수 있다. 그러나 이 동일한 서브-블록에 대해, G/B 비율에 대한 제2 히스토그램이, G/B 비율에 대응하는 제2 히스토그램의 빈을 식별하여, 이 빈의 카운트를 증분시키고, 이 서브-블록에 대해 R/B 및 G/R 비율을 누산하며, 최저 세기 컬러 채널의 값을 누산함으로써 업데이트될 수 있다. 유사하게, G/R 비율에 대한 제3 히스토그램이, 이 서브-블록에 대해 G/R 비율에 대응하는 제3 히스토그램의 빈을 식별하여, 이 빈의 카운트를 증분시키고, 이 서브-블록에 대해 R/B 및 G/B 비율을 누산하며, 최저 세기 컬러 채널의 값을 누산함으로써 업데이트될 수 있다.
블록(114)의 서브-블록을 처리하여 히스토그램(들)을 생성한 후, 히스토그램에 저장되는 데이터의 양은 상대적으로 대형일 수 있다. 저장 요건을 감소시키기 위해, 도 2의 방법은, 항목(124)에서, 저장할 (도 4의 히스토그램(122)과 같은) 히스토그램의 복수의 빈의 서브세트를 선택하는 단계를 더 포함한다. 복수의 빈의 서브세트를 선택하는 단계는 복수의 빈 중 n 개의 빈 - 각각의 빈은 복수의 빈의 나머지 빈 각각의 각각의 카운트보다 큰 각각의 카운트를 가짐 - 을 식별하는 단계와, n 개의 빈을 서브세트로서 선택하는 단계를 포함한다(여기서 n은 정수임). 이것은 그러므로 최고인 각각의 카운트를 갖는 n 개의 빈과 같은 히스토그램(122)의 n개의 가장 밀집된 빈을 식별하는 단계를 수반할 수 있다. 서브세트 내에서의 빈의 개수는 본 명세서에서 기재된 방법을 구현하기 위한 이미지 처리 시스템의 일부분으로서 이용 가능한 저장 장치에 의존할 수 있다. 예시적인 예로서, 5개의 최고 카운트를 갖는 5개의 빈이 저장될 수 있지만, 다른 개수의 빈이 다른 예에서 저장될 수 있다.
빈의 서브세트의 카운트는 통상 히스토그램의 그러한 빈에 대응하는 다른 파라미터에 대한 값과 함께 저장된다. 예컨대, B/R 비율 히스토그램의 10번째 빈이 저장을 위한 빈의 서브세트 내에 있는 것으로 식별된다면, B/R 비율 히스토그램의 10번째 빈과 관련되는 청색 컬러 채널의 픽셀의 세기의 누산된 값과 G/B 및 G/R 비율의 누산된 값이 또한 저장된다. 예들에서, 그러나 누산된 값보다는 최저 세기 컬러 채널의 평균 세기와 G/B 및 G/R 비율의 평균 값이 저장된다.
예시적인 예로서, B/R 비율에 의해 정렬되는 엔트리에 대해 최고 카운트를 갖는 5개의 빈을 나타내는 빈(m, m+1, m+2, m+3, m+4, m+4)(여기서, m, m+1, m+2, m+3, m+4, m+4는 반드시 연속적인 빈일 필요는 없으며 빈 숫자로 정렬되지 않을 수 있음)에 대해, 룩업 표는 다음의 데이터로 채워질 수 있다:
빈 평균 G/B 평균 G/R 평균 B
m
m + 1
m + 2
m + 3
m + 4
는, m번째 빈 내에 있는 B/R 비율 값을 갖는 서브-블록에 대한 평균 G/B 비율 값을 나타내고, 은, m번째 빈 내에 있는 B/R 비율 값을 갖는 서브-블록에 대한 평균 G/R 비율 값을 나타내며, 은, m번째 빈 내에 있는 B/R 비율 값을 갖는 서브-블록에 대한 평균 B 값을 나타낸다.
유사한 룩업 표는 G/B 및 G/R 비율에 대해 생성될 수 있다. G/B 비율에 대응하는 룩업 표에 대해, 평균 B/R 및 G/R 비율은 평균 G/B 및 G/R 비율 대신 저장될 수 있다. 유사하게, G/R 비율에 대응하는 룩업 표에 대해, 평균 B/R 및 G/B 비율은 평균 G/B 및 G/R 비율 대신 저장될 수 잇다.
복수의 상이한 파라미터 각각에 대응하는 히스토그램과 같은 복수의 히스토그램이 생성되는 예들에서, 각각의 히스토그램으로부터의 빈의 서브세트가 저장을 위해 선택될 수 있어서, 저장 요건을 더 감소시킬 수 있다.
앞서 설명한 바와 같이, 저장을 위해 선택되는 값은 룩업 표에 또는 특정 값에 대한 검색을 제공하는 다른 데이터 포맷으로 저장될 수 있다. 이런 식으로, 이들 값은 이하에서 기재될 바와 같이 후속하여 포화도 정정 공정의 일부로서 획득될 수 있다.
앞서 기재한 예에서, 서브-블록의 픽셀 중 어떤 것도 포화되지 않는다. 이로 인해, 파라미터 값은 서브-블록의 픽셀 각각을 사용하여 계산된다. 그러나 일부 경우에, 서브-블록의 픽셀의 적어도 하나는 포화될 수 있다. 이들 경우에, 포화된 픽셀이 관련되는 컬러 채널과 관련되는 파라미터는 서브-블록의 색상에 대한 제한된 정보를 제공할 수 있으며, 이는 이들 파라미터의 값이 이미지 센서에 의해 측정 가능한 최대 세기 값을 초과하는 세기 값을 갖는 포화된 픽셀로 인해 제한될 것이기 때문이다. 이러한 점에서, 이 방법은 대신 포화되지 않는 서브-블록의 임의의 픽셀 사이의 비율을 계산하는 단계를 수반할 수 있다.
예컨대, 서브-블록의 2개의 녹색 픽셀이 모두 포화된다면, B/R 비율은 계산될 수 있으며, 최저 세기 컬러 채널이 청색 또는 적색 컬러 채널이라면 최저 세기 컬러 채널의 값이 계산될 수 있다. G/B 및 G/R 비율의 계산은 생략될 수 있으며, G/B 및 G/R 히스토그램이 업데이트되지 않을 수 있다. 이 경우, B/R 비율 히스토그램은 업데이트되어, 계산된 B/R 비율이 있는 빈의 카운트를 증분시킬 수 있으며 이 빈과 관련되는 B 값을 누산할 수 있다. B/R 비율 히스토그램의 이 빈과 관련되는 G/B 및 G/R 비율은 증분되지 않을 수 있다(또는 0의 값으로 증분될 수 있다).
추가 예들에서, 서브-블록의 컬러 채널 중 2개의 채널이 포화될 수 있다. 그러한 경우, 2개의 상이한 컬러 채널의 값 사이의 비율이 제한된 정보를 제공할 수 있으며, 이는 이 값에 대한 값들 중 적어도 하나가 포화된 값이기 때문이다. 그러한 경우, 블록의 서브-블록의 포화되지 않은 픽셀의 세기의 히스토그램이 대신 생성될 수 있다. 예컨대, 별도의 세기 히스토그램이 각각의 컬러 채널에 대해 생성될 수 있다. 그러한 경우, 룩업 표는 앞서 기재한 바와 같이 생성될 수 있지만, 비율 값보다는, 예컨대 각 컬러 채널에 대해 최고 평균 세기 값을 갖는 히스토그램의 n개의 빈에 대한 평균 세기 값을 저장할 수 있다(또는 이들 n개의 빈에 대해 0이 아닌 값을 갖는 평균 세기 값에 추가하여 비율 값에 대해 널, 즉 0 값을 저장함으로써 이뤄질 수 있다).
포화되지 않은 픽셀이 이용 가능한 파라미터에 대해 값을 획득함으로써, 블록으로부터 획득한 색상 정보가 증가할 수 있다.
일부 경우, 서브-블록은 임의의 포화되지 않은 픽셀을 포함하지 않을 수 있다. 이들 경우에, 어떤 정보도 서브-블록에 대해 저장되지 않을 수 있다. 대안적으로, 상이한 파라미터가 이들 서브-블록에 대해 저장될 수 있으며, 이들 서브-블록은 포화된 서브-블록으로 지칭될 수 있다. 예컨대, 각각의 컬러 채널에 대한 (또는 컬러 채널의 서브세트에 대한) 평균 세기 값이 그러한 서브-블록에 대해 저장될 수 있다. 각각의 컬러 채널 또는 그 서브세트에 대한 세기 값의 히스토그램이 또한 그러한 서브-블록에 대해 생성될 수 있다. 이 히스토그램의 빈 모두 또는 그 서브세트가 저장될 수 있으며 후속하여 사용될 수 있다.
블록이 적어도 하나의 포화되지 않은 픽셀을 갖는 적어도 하나의 서브-블록을 포함하는 예들에서, 데이터는 앞서 기재한 바와 같이 수집될 수 있다. 그러나 다른 예들에서, 서브-블록 모두는 포화된 서브-블록일 수 있다. 이것은, 블록이 장면의 특히 밝은 부분에 대응하는 경우일 수 있다. 그러한 경우, 블록에 대한 데이터는 다른 블록과 같이 이미지의 다른 영역을 기초로 하여 획득될 수 있다. 도 5는 이것의 예를 도시한다.
도 5에서, 블록(126)이 포화된 블록이며, 포화되지 않은 서브-블록을 포함하지 않는다. 다시 말해, 블록(126)의 픽셀 모두는 포화된 픽셀이다. 블록(126)의 색상을 나타내는 데이터를 획득하기 위해, 도 5에 따른 방법은 블록(126)의 이웃한 블록(128)에 대한 데이터를 처리하여 이웃한 블록(128)이 블록(126)에 충분히 유사한 색상인지를 결정하는 단계를 수반할 수 있다. 예컨대, 이웃한 블록(128) 중 하나의 이웃한 블록에 대한 데이터는 컬러 채널 중 일부나 모두에 대해 이웃한 블록의 평균 세기를 나타내는 데이터일 수 있다. 이것은 블록(126)의 대응 컬러 채널의 평균 세기와 비교될 수 있다. 블록(126)에 가장 유사한 세기 값을 갖는 이 이웃한 블록에 대한 데이터가 후속하여 블록(126)을 나타내는 데이터로서 사용될 수 있다. 이것은, 예컨대 블록(126) 및 이웃한 블록에 대한 소정의 컬러 채널의 평균 세기 사이의 차이가 스레시홀드 차이를 충족하거나 그 미만인 경우일 수 있으며, 이 경우는, 블록(126)과 이 이웃한 블록이 이미지의 유사한 색상 구역을 나타냄을 의미한다. 그렇지 않다면, 이웃한 블록(128) 중 하나만큼 블록(126)으로부터 분리된 블록(130)과 같은 증가한 수의 블록에 대한 데이터가 이들 블록(130) 중 임의의 블록이 블록(126)에 충분히 색상이 유사한지를 식별하여 블록(126)에 대한 손실 데이터 대신 이들 블록(130)에 대한 데이터를 사용하도록 처리될 수 있다. 이러한 공정은, 적절한 데이터가 식별되어 블록(126)을 나타낼 때까지 또는 룩업 영역이 미리 결정된 크기를 충족하거나 초과할 때까지 점진적으로 증가하는 룩업 영역을 갖고 증가할 수 있다. 룩업 영역이, (더는 블록(126)에 국부적인 것으로 고려되지 않으며 그에 따라 블록(126)의 색상을 정확히 나타낼 가능성이 없는 크기와 같은) 미리 결정된 크기를 충족하거나 초과한다면, 디폴트 데이터가 블록(126)을 나타내는데 사용될 수 있다. 예컨대, 디폴트 데이터는 이미지의 회색 또는 백색 영역에 대응하는 파라미터 값을 나타낼 수 있다.
포화도 정정-하나의 픽셀이 포화됨
예컨대, 도 2 내지 도 5를 참조하여 기재한 바와 같이, 이미지의 블록에 대한 데이터를 획득한 후, 포화도 정정 공정을 실행할 수 있다. 포화도 정정 공정의 예는 예컨대 도 6 및 도 7을 참조하여 기재되며, 여기서 제1 이미지 영역의 하나의 픽셀이 포화된다.
도 6은 도 3에 도시한 이미지의 블록(114)을 도시하며, 이로부터 데이터가 도 2 내지 도 5에 기재된 대로 수집되었다. 블록(114)은, 포화된 픽셀인 제1 세트의 픽셀의 제1 픽셀(132)을 포함한다. 예컨대, 블록(114)을 나타내거나 (블록(114)을 포함하는) 복수의 블록을 나타내는 이미지 데이터와 같이 이미지의 적어도 일부분을 나타내는 이미지 데이터가 포화도 정정 공정의 일부로서 처리될 수 있다. 제1 세트의 픽셀의 제1 픽셀(132)을 나타내는 이미지 데이터의 일부분은 처리되어 제1 세트의 픽셀의 이 제1 픽셀(132)이 포화된 픽셀임을 결정할 수 있다. 이 처리는, 제1 세트의 픽셀의 제1 픽셀(132)의 세기 값을, 세기가 이미지 센서가 검출할 수 있는 최대 세기를 초과한다면, 세기 값이 설정될 수 있거나 제한될 수 있는 최대 세기 값과 비교하는 단계를 포함할 수 있다. 다른 픽셀을 나타내는 이미지 데이터의 다른 일부분의 처리가 실행되어, 블록(114)의 어떤 픽셀이 포화임을 식별할 수 있다. 이것은 별도로 다른 각각의 컬러 채널과 관련되는 픽셀에 대해 실행될 수 있다. 예컨대, 이미지 데이터는, 포화된, 제1, 제2 및 제3 세트의 픽셀의 픽셀을 식별하도록 처리될 수 있다.
제1 세트의 픽셀의 제1 픽셀(132)은 도 6에서 제1 이미지 영역(134) 내에 있다. 도 6의 제1 이미지 영역(134)은 제2 세트의 픽셀의 제1 픽셀(136)을 또한 포함한다. 이 예에서 제1 이미지 영역(134)은 제3 세트의 픽셀의 제1 픽셀(138)을 또한 포함한다. 그러나 다른 예들에서, 제1 이미지 영역(134)은 제3 세트의 픽셀의 제1 픽셀(138)을 포함하지 않을 수 있다. 유사하게, 도 6에서, 제1 이미지 영역(134)이 제2 및 제3 세트의 픽셀의 추가 제1 픽셀(136', 138')을 포함하는 반면, 다른 예에서, 제1 이미지 영역(134)은 이들 추가 픽셀을 포함하지 않을 수 있다. 제1 이미지 영역(134)은, 제1 픽셀(132)을 둘러싸거나 포함하는 이미지 영역인 것으로 고려될 수 있다. 제1 이미지 영역(134)은, 제1 픽셀(132)에 국부적이며 그러므로 제1 픽셀(132) 이웃 또는 인근의 색상을 나타낼 수 있는 이미지의 구역 또는 영역인 것으로 고려될 수 있다. 제1 이미지 영역(134)은, 제1 픽셀(132) 인근에 또는 그 옆에 있는 적어도 하나의 픽셀을, 다른 픽셀이 그 사이에 없이, 포함할 수 있다. 예컨대, 제1 픽셀(132)이 (2×2개의 픽셀의 베이어 그룹과 같은) 그룹의 반복 패턴의 그룹에 속하는 경우, 제1 이미지 영역(134)은, 제1 픽셀(132)을 포함하는 그룹의 적어도 하나의 픽셀을 포함할 수 있다.
예들에서, 제1 이미지 영역(134) 내에서의 포화된 픽셀의 개수가 결정된다. 제1 픽셀(132)의 포화도를 정정하기 위해 적용되는 처리는 제1 이미지 영역(134) 내의 포화된 픽셀의 개수에 의존할 수 있다.
도 6의 예에서, 제1 픽셀(132)은 제1 이미지 영역(134) 내에서 오직 포화된 픽셀이며; 제1 이미지 영역(134)의 다른 픽셀(136, 138, 136', 138')은 포화되지 않는다. 제1 이미지 영역(134)은 그러므로, 단일 컬러 채널(녹색 컬러 채널)이 클리핑되거나 포화되는 영역인 것으로 고려될 수 있다.
제2 세트의 픽셀의 제1 픽셀(136)의 값을 기초로 한 제1 데이터를 그 후 획득할 수 있다. 도 6의 예에서, 제2 및 제3 세트의 픽셀 모두의 제1 픽셀(136, 138)이 포화되지 않으므로, 제1 데이터는 제2 및 제3 세트의 픽셀 모두의 제1 픽셀(136, 138)의 값을 기초로 한다. 그러나, (이후에 기재될) 다른 예들에서, 제1 데이터는 제2 세트의 픽셀의 제1 픽셀(136)의 값만을 기초로 할 수 있다.
이와 같은 방법은, 제1 이미지 영역(134) 내에서, 제2 세트의 픽셀의 포화되지 않은 픽셀을 식별하는 단계와, 제2 세트의 픽셀의 포화되지 않은 픽셀을 제2 세트의 픽셀의 제1 픽셀(136)로서 사용하는 단계를 수반할 수 있다. 예컨대, 제2 세트의 픽셀의 제1 픽셀(136)과 추가 제1 픽셀(136')이 모두 포화되지 않은 것으로 식별된다면, 이들 픽셀 중 어느 것도 제2 세트의 픽셀의 제1 픽셀(136)로서 사용될 수 있다. 그러마 이들 픽셀 중 하나가 포화되지 않으며, 다른 하나가 포화된다면, 이들 픽셀 중 포화되지 않은 픽셀이 제2 세트의 픽셀의 제1 픽셀로서 선택될 수 있다.
제1 데이터는 예컨대 제2 컬러 채널과 관련될 수 있는 제1 이미지 영역(134)에 대한 제1 파라미터의 제1 파라미터 값을 나타낼 수 있다. 제1 픽셀(134)이 제1 이미지 영역(134) 내에서 오직 포화된 픽셀인 예에서, 제1 파라미터는 예컨대 제2 세트의 픽셀(136)의 제1 픽셀의 값과 제3 세트의 픽셀(138)의 제1 픽셀의 값 사이의 제1 비율이며, B/R로 나타낼 수 있다. 그러나 제1 이미지 영역(134)의 색상을 나타내는 다른 파라미터와 같은 다른 제1 파라미터가 다른 예들에서 가능하다. 제1 비율을 제1 파라미터로서 사용하는 것은, 제2 세트의 픽셀의 제1 픽셀과 제3 세트의 픽셀의 제1 픽셀이 포화되지 않은 픽셀이라는 결정을 기초로 할 수 있다. 다른 예들에서, 제1 파라미터는 제1 이미지 영역(134)의 상이한 특징을 나타낼 수 있다.
앞서 설명한 바와 같이, 도 6의 예에서, 제1 픽셀(136, 138, 136', 138')은 모두 포화되지 않은 픽셀이다. 그러므로 제1 이미지 영역(134)에 대한 제1 비율을 계산하는 많은 다른 방식이 있다. 예컨대, 제1 비율은: 제2 세트의 제1 픽셀(136) 대 제3 세트의 제1 픽셀(138)의 세기 값 사이의 비율로서; 제2 세트의 제1 픽셀(136) 대 제3 세트의 추가 제1 픽셀(138')의 세기 값 사이의 비율로서; 제2 세트의 추가 제1 픽셀(136') 대 제3 세트의 제1 픽셀(138)의 세기 값 사이의 비율로서; 제2 세트의 추가 제1 픽셀(136') 대 제3 세트의 추가 제1 픽셀(138')의 세기 값 사이의 비율로서; 제2 세트의 제1 및 추가 제1 픽셀(136, 136')의 세기 값의 합과 제3 세트의 추가 제1 및 추가 제1 픽셀(138, 138')의 세기 값의 합 사이의 비율로서; 또는 이들 비율 중 임의의 것 사이의 평균으로서 계산될 수 있다. 예에서, (제2 세트에 속한 하나의 픽셀과 제3 세트에 속한 다른 하나의 픽셀을 갖는) 각각의 가능한 픽셀 쌍에 대한 세기 값의 합이 계산되며, 제1 비율은, 가장 큰 합을 갖는 픽셀 쌍에 대한 제2 세트의 픽셀 대 제3 세트의 픽셀의 세기 값 사이의 비율로서 구해진다.
제1 데이터를 기초로, 제1 세트의 픽셀의 제2 픽셀의 값과 제2 세트의 픽셀의 제2 픽셀의 값을 기초로 한 제2 데이터가, 제2 이미지 영역에 대해, 이 제1 데이터를 기초로 하여 획득될 수 있다. 제2 이미지 영역은 제1 세트의 픽셀의 제2 픽셀과 제2 세트의 픽셀의 제2 픽셀을 포함한다. 도 6의 예에서, 제2 이미지 영역은 블록(114)에 대응하며, 제2 데이터는 블록(114)을 나타내는 이전에 수집한 데이터를 기초로 한다. 블록(114)을 나타내는 데이터는 도 2 내지 도 5를 참조하여 앞에서 기재한 바와 같이 수집될 수 있다. 이 데이터는 앞서 설명한 바와 같이 룩업 표에 저장될 수 있다.
이와 같은 예들에서, 제2 데이터는 제1 데이터를 기초로 하여 룩업 표로부터 검색할 수 있다. 예컨대, 제1 데이터가 (도 6의 예에서, 제1 이미지 영역(134)에 대한 B/R 비율인) 제1 비율을 나타내는 경우에, 룩업 표에 제1 비율에 대응하는 엔트리를 식별하도록 문의할 수 있다. 예컨대, 룩업 표는 제2 이미지 영역(114)에 대한 제1 파라미터(여기서 제1 파라미터는 예컨대 제1 비율임)의 한 세트의 제1 파라미터 값의 각각의 제1 파라미터 값에 대응하는 엔트리를 포함한다. 다시 말해, 룩업 표는, 제2 이미지 영역(114)의 각각의 픽셀에 대한 값을 기초로 하는 것과 같이, 제2 이미지 영역(114)을 기초로 하여 만들어졌을 수 있다. 룩업 표의 각각의 엔트리는 예컨대 제1 비율에 대한 히스토그램의 빈과 대응할 수 있어서, 각각의 엔트리는 제1 비율에 대한 특정 범위의 값에 대응한다. 제2 데이터는, 제1 데이터에 의해 나타낸 제1 파라미터 값에 대해 가장 가까운 값을 갖는 제1 파라미터 값의 세트 중 하나에 대응하는 룩업 표의 엔트리를 식별함으로써 룩업 표로부터 검색할 수 있다.
앞서 설명한 바와 같이, 룩업 표는, 제2 이미지 영역에 대해, 각각의 범위의 제1 파라미터 값과 각각 관련되는 복수의 빈을 포함하는 히스토그램을 생성함으로써, 생성되었을 수 있다. 엔트리들의 각각의 엔트리에 각각 대응하는 복수의 빈의 서브세트가 히스토그램으로부터 선택할 수 있다. 복수의 빈의 서브세트 각각에 대해, 제1 컬러 채널과 관련되는 제2 파라미터의 대응하는 제2 파라미터 값이 복수의 빈의 서브세트의 각각의 빈에 대응하는 각각의 엔트리의 일부로서 저장될 수 있다. 그러므로 룩업 표는, 모든 가능한 범위의 값보다는 제1 파라미터에 대한 값의 범위의 서브세트를 포함할 수 있다. 예컨대, 룩업 표는, 제1 파라미터에 대한 제1 범위의 값에 대응하는 제1 엔트리와, 제1 범위의 값과 제2 범위의 값 사이에 간격을 갖는 것과 같이, 제1 범위의 값에 연속적이지 않은 제1 파라미터에 대한 제2 범위의 값에 대응하는 제2 엔트리를 포함할 수 있다. 제1 이미지 영역(134)에 대한 제1 비율이 제1 범위의 값과 제2 범위의 값 사이의 간격에 있는 값을 갖는다면, 제1 엔트리나 제2 엔트리 중 어느 것도 예컨대 제1 비율의 값이 제1 또는 제2 범위의 값에 더 가까운지에 의존하여 검색될 수 있다. 다른 예들에서, 그러나 제1 비율은 제1 범위나 제2 범위 내에 있을 수 있다. 그러한 경우, 제1 엔트리나 제2 엔트리는 각각 검색될 수 있다.
제1 비율은, 포화된 제1 픽셀(132)을 둘러싸거나 그 인근에 있는 국부적인 구역의 색상 특징을 나타내는 것으로 고려될 수 있다. 그러므로 제1 이미지 영역(134)에 대한 제1 비율의 값에 유사한 제1 파라미터 값을 갖는 룩업 표로부터의 데이터가 제1 이미지 영역(134)에 유사한 색상 특징을 갖는 이미지 부분을 나타낼 수 있다. 이것은 포화도 정정 공정의 정확도를 개선할 수 있다.
룩업 표는 예컨대 (예들에서 제1 파라미터에 대응하는 것으로 고려될 수 있는) 제1 비율의 값의 범위에 대응하는 엔트리를 포함한다. 이 예에서 제1 비율은 B/R이다. 그러나 예들에서 룩업 표는 (룩업 표가 기초로 하는 히스토그램의 각각의 빈에 대응하는) 각각의 B/R 엔트리와 관련되는 다른 값을 또한 포함한다. 예컨대, 룩업 표는 앞서 논의한 G/B 또는 G/R 비율과 같은 제1 컬러 채널과 관련되는 제2 파라미터를 포함할 수 있다. 그러한 경우에, 제2 파라미터의 제2 파라미터 값은 제2 데이터로서 룩업 표로부터 검색할 수 있다. 예컨대, 제2 파라미터 값은 제1 파라미터 값의 세트 중 하나와 관련될 수 있으며, 제1 세트의 픽셀의 제2 픽셀의 값과 제2 또는 제3 세트의 픽셀의 제2 픽셀 중 적어도 하나의 값을 기초로 할 수 있다. 예컨대, 제2 파라미터 값은 (G/B 비율과 같은 것이며, 제2 비율로 지칭될 수 있는) 제1 세트의 픽셀의 제2 픽셀의 값과 제2 세트의 픽셀의 제2 픽셀의 값 사이의 비율 또는 (G/R 비율과 같은 것이며, 제3 비율로 지칭될 수 있는) 제1 세트의 픽셀의 제2 픽셀의 값과 제3 세트의 픽셀의 제2 픽셀의 값 사이의 비율을 나타낼 수 있다.
인식될 바와 같이, G/B 및 G/R 비율은, 제1 이미지 영역(134)에 대해 계산된 B/R 비율에 가장 가까운 룩업 표의 값의 범위 내에 속하는 B/R 값을 갖는 블록(114)의 서브-블록에 대한 평균 비율일 수 있다. 제1, 제2 및 제3 세트의 픽셀의 제2 픽셀은 그러므로, G/B 및/또는 G/R 비율을 획득하는데 사용되는 이들 서브-블록 중 임의의 서브-블록의 픽셀일 수 있다.
앞서 기재한 바와 같이, 룩업 표는, 제2 이미지 영역 내의 제1 세트의 픽셀의 복수의 픽셀 각각에 대한 각각의 값을 기초로 하며 제2 이미지 영역 내의 제2 세트의 픽셀의 복수의 픽셀 각각에 대한 각각의 값을 기초로 하여 (블록(114)과 같은) 제2 이미지 영역에 대해 생성될 수 있다. 제1 세트의 픽셀 및/또는 제2 세트의 픽셀의 복수의 픽셀 각각은 각각 포화되지 않은 픽셀일 수 있다. 예컨대, G/B 및/또는 G/R 비율은, 포화된 픽셀을 포화하지 않은 하나 이상의 포화되지 않은 서브-블록에 대해 획득될 수 있다. 이 방법은 그러므로, 제2 이미지 영역 내에서, 제1 세트의 픽셀의 포화되지 않은 픽셀을 제1 세트의 픽셀의 제2 픽셀로서 사용하며, 제2 세트의 픽셀의 포화되지 않은 픽셀을 제2 세트의 픽셀의 제2 픽셀로서 사용하여, 제1 세트의 픽셀의 포화되지 않은 픽셀과 제2 세트의 픽셀의 포화되지 않은 픽셀을 식별하는 단계를 포함할 수 있다.
제2 데이터를 획득한 후, 제2 데이터는, 제1 세트의 픽셀의 제1 픽셀(132)에 대해 제1 컬러 채널과 관련되는 추정 값을 나타내는 출력 데이터를 생성하도록 처리될 수 있다. 그러므로 추정 값은, 제1 픽셀(132)을 포함하는 블록(114)의 색상 특징을 나타낼 수 있는 룩업 표로부터 검색한 제2 데이터를 기초로 획득될 수 있다. 이런 식으로, 이와 같은 방법은 이미지의 포화되지 않은 구역(이 예에서, 블록(114)에 대응하는 제2 이미지 영역의 포화되지 않은 픽셀)의 색상과의 상관을 이용할 수 있어서, 포화된 픽셀인 제1 픽셀(132)에 대한 값을 외삽할 수 있다. 제2 데이터는 예컨대 제2 이미지 영역의 색상 특징의 통계적 측정치를 나타낸다. 이미지의 동적 범위는 그러므로 이미지 센서(100)의 동적 범위를 넘어서 연장될 수 있다.
도 6의 예와 같은 다른 예들에서, 방법은 적어도 하나의 추가 이미지 영역에 대해 추가 데이터를 획득하는 단계를 더 포함할 수 있다. 도 6에서, 추가 데이터는 (집합적으로 참조번호(140)로 지칭되는) 4개의 추가 이미지 영역(140a, 140b, 140c, 140d)에 대해 획득된다. 그러나 다른 예들에서, 추가 데이터가 4개의 이미지 영역보다 많거나 적은 이미지 영역에 대해 획득될 수 있다. 더 나아가, 도 6에서 4개의 추가 이미지 영역(140a, 140b, 140c, 140d)은 서로 인접하지 않지만, 다른 예들에서, 이 추가 이미지 영역 중 적어도 일부는 서로 인접할 수 있으며 그러므로 연속 이미지 영역을 형성할 수 있다. 추가 이미지 영역은 통상적으로 제1 세트의 픽셀의 적어도 하나의 추가 픽셀과 제2 세트의 픽셀의 적어도 하나의 추가 픽셀을 포함하며, 제3 세트의 픽셀의 적어도 하나의 추가 픽셀을 또한 포함할 수 있다. 추가 데이터는 예컨대 추가 세트의 픽셀의 적어도 하나의 추가 픽셀과 제2 세트의 픽셀의 적어도 하나의 추가 픽셀의 각각의 값을 기초로 하며, 또한 제3 세트의 픽셀의 적어도 하나의 추가 픽셀의 각각의 값을 기초로 할 수 있다.
추가 데이터가 획득되는 추가 이미지 영역은 제2 데이터가 기초로 하는 제2 이미지 영역보다 더 작을 수 있다. 예컨대, 제2 데이터는 제1 픽셀(132)을 포함하는 더 큰 이미지 부분의 더 일반적인 색상 특징을 나타내는 것으로 고려될 수 있는 반면, (추가 이미지 영역을 기초로 한) 추가 데이터는 제1 픽셀(132)에 더 국부적인 더 작은 이미지 부분의 더 국부화된 색상 특징을 나타낼 수 있다. 예컨대, 제2 이미지 영역은 (도 6의 블록(114)과 같은) 미리 결정된 크기의 미리 결정된 이미지 영역일 수 있는 반면, 추가 이미지 영역은 고정되거나 미리 결정된 크기를 갖기 보다는 그럼에도 제2 이미지 영역보다 더 작을 수 있다. 추가 이미지 영역은 제2 이미지 영역 내에 있을 수 있으며 그러므로 제2 이미지 영역의 서브-부분을 나타낼 수 있다. 제2 데이터는 추가 데이터로 처리될 수 있어서 출력 데이터를 생성할 수 있어, 출력 데이터는 이미지 내에서 더 짧은 및 더 긴 거리 스케일 모두에 관한 색상 특징을 담당한다. 제2 데이터는 그러므로 이미지의 블록을 나타내는 수집된 통계치를 나타내는 것으로 고려될 수 있으며, 추가 데이터는 국부적인 통계치를 나타내는 것으로 고려될 수 있다.
제2 데이터는 앞서 기재한 바와 같이 룩업 표로부터 획득할 수 있다. 추가 데이터는 또한 (제2 이미지 영역보다 더 작은 이미지 영역에 대한 룩업 표와 같은) 룩업 표로부터 획득할 수 있다. 그러나 도 6의 예와 같은 예들에서, 추가 데이터는 룩업 표로부터 보다는 이미지 데이터로부터 획득할 수 있다.
추가 데이터는, 제1 세트의 픽셀의 제1 픽셀(132)에 가장 가까운 제1 세트의 픽셀의 적어도 하나의 추가 픽셀에 대해 그리고 제1 세트의 픽셀의 제1 픽셀(132)에 가장 가까운 제2 세트의 픽셀의 적어도 하나의 추가 픽셀에 대해 획득될 수 있다. 다시 말해, 추가 데이터는, 제1 세트의 픽셀의 제1 픽셀(132)에 가장 가까운, 인접한 또는 이웃하거나, 제1 세트의 픽셀의 제1 픽셀(132)로부터 미리 결정된 거리 내에 있는 픽셀에 대해 획득할 수 있다. 도 6의 예에서, 추가 이미지 영역(140a, 140b, 140c, 140d) 각각은 4개의 픽셀의 한 그룹에 각각 대응하며, 여기서 도 6의 블록(114)은 4개의 픽셀의 반복 그룹을 포함한다. 예컨대, 각각의 추가 이미지 영역은 도 3에 예시한 서브-블록(118a, 118b, 118c)과 같은 서브-블록일 수 있다. 도 6에서 볼 수 있는 바와 같이, 추가 이미지 영역(140a, 140b, 140c, 140d)은 제1 그룹의 픽셀의 제1 픽셀(132)을 포함하는 4개의 픽셀의 한 그룹에 각각 인접한다.
추가 데이터를 획득하기 위해, 이 방법은, 추가 이미지 영역 내에서, 제1 세트의 픽셀의 적어도 하나의 포화되지 않은 픽셀과 제2 세트의 픽셀의 적어도 하나의 포화되지 않은 픽셀을 식별하는 단계를 수반할 수 있다. 제1 세트의 픽셀과 제2 세트의 픽셀의 적어도 하나의 포화되지 않은 픽셀은 제1 세트의 픽셀과 제2 세트의 픽셀의 적어도 하나의 추가 픽셀로서 각각 사용될 수 있다. 유사하게, 이 방법은, 제3 세트의 픽셀의 적어도 하나의 포화되지 않은 픽셀을 식별하는 단계와 제3 세트의 픽셀의 적어도 하나의 포화되지 않은 픽셀을 사용하는 단계를 수반할 수 있다. 예컨대, 도 6에서, 제1 픽셀(132)을 포함하는 픽셀의 그룹에 인접한 4개의 픽셀의 4개의 다른 그룹이 있다. 그러나 이 예에서, 이들 다른 그룹 각각은 제1 세트의 픽셀의 포화된 픽셀과 제2 세트의 픽셀의 포화된 픽셀을 포함한다. 그러므로 이들 다른 그룹은 이 예에서 추가 데이터를 계산하는데 사용되지 않는다.
(예컨대 앞서 기재한 바와 같이 룩업 표로부터 제2 데이터를 획득하는데 사용되는) 제1 파라미터의 제1 파라미터 값은 추가 이미지 영역(140)에 대해 계산될 수 있다. 예컨대, 제1 파라미터가 B/R 비율인 경우, B/R 비율의 값은 도 6의 추가 이미지 영역(140) 각각에 대해 계산될 수 있다(이 경우, 추가 이미지 영역(140)의 픽셀 중 어느 것도 포화되지 않으므로). (예컨대, G/B 비율 또는 G/R 비율인) 제2 파라미터의 제2 파라미터 값은 또한 추가 이미지 영역(140)에 대해 계산될 수 있다. 이와 같은 예들에서, 제2 데이터는 제2 이미지 영역(도 6의 예에서는 블록(114))에 대한 제2 파라미터의 제2 파라미터 값을 나타낼 수 있으며, 추가 데이터는 (도 6의 추가 이미지 영역(140) 중 하나와 같은) 추가 이미지 영역에 대한 제2 파라미터의 제2 파라미터 값을 나타낼 수 있다. 제2 데이터를 추가 데이터로 처리하여 출력 데이터를 생성하는 것은 제2 이미지 영역 및 추가 이미지 영역에 대해 제2 파라미터 값의 가중된 합을 구하는 것(performing a weighted sum)을 포함할 수 있다. 이런 식으로, 수집된 통계치는 국부적 통계치와 합쳐질 수 있다. 이것이 개략적으로 도 7에 도시되어 있다.
도 7은 (이 예에서는 제1 비율, B/R인) 제1 파라미터의 값에 의존하는 가중치 함수(142)의 예시적 편차를 도시한다. y-축(144)은 가중치 함수(142)의 값을 나타내며, x-축(146)은 B/R 비율의 값을 나타낸다. 가중치 함수(142)는 제1 데이터(148)에 의해 나타낸 B/R 값에서 (1인) 그 최댓값을 가지며, 이 값은 이 예에서 도 6의 제1 이미지 영역(134)에 대해 계산되는 제1 비율(B/R)이다. 이것은 B/Ractual이라고 칭할 수 있다. 제2 데이터(150)에 대응하는 B/R 값이 또한 도 7에 예시되며, B/Rlookup으로 지칭될 수 있으며, 이는 제2 데이터(150)가 앞서 기재한 바와 같이 룩업 표로부터 획득될 수 있기 때문이다. B/Rlookup은 예컨대 B/Ractual에 가장 가까운 룩업 표의 B/R 값이다. 유사하게, 제4 세트의 추가 데이터(152a, 152b, 152c, 152d) 각각에 의해 나타내어진 B/R 값이 또한 도 7에 예시하며, B/Radjacent로 지칭할 수 있다. B/Radjacent는 그러므로 제1 세트의 픽셀의 제1 픽셀(132)을 포함하는 픽셀 그룹에 인접한 픽셀 그룹에 대한 B/R 값을 나타낸다. 각각의 가중치가 도 7에 도시한 B/R 값 각각에 대해 획득될 수 있다.
후속하여, 룩업 표로부터 획득한 제1 파라미터 값에 대응하는 서브-블록(또는 이미지 영역)에 대한 및 추가 이미지 영역 각각에 대한 제2 파라미터 값을 획득할 수 있다. 이들 제2 파라미터 값의 가중된 합이 제1 세트의 픽셀의 제1 픽셀(132)에 대한 추정 값을 획득하도록 구해질 수 있다. 예컨대, 가중된 합(S1)은 다음과 같이 구해질 수 있다:
여기서 w는 가중치 함수(142)로부터 획득한 가중치를 나타내며, 첨자("adjacent 1", "adjacent 2", "adjacent 3", "adjacent 4")는 이 첨자가 붙여진 값이 (예컨대 추가 데이터로부터의) 각각 추가 이미지 영역(140a, 140b, 140c, 140d)를 기초로 하여 획득됨을 나타내고, 첨자("lookup")는 이 첨자가 붙여진 값이 (예컨대 제2 데이터로부터의) 제2 이미지 영역을 기초로 획득됨을 나타낸다. 이 예에서, 가중된 합(S1)에 대한 수학식의 우측은 예컨대 가중치의 합으로 나눔으로써 정규화될 수 있음을 이해해야 한다.
유사한 가중된 합(S2)은 예컨대 다음과 같이 G/B보다는 G/R을 기초로 상이한 제2 파라미터에 대해 획득할 수 있다:
가중된 합(S1)에 대한 수학식에서처럼, 가중된 합(S2)에 대한 수학식의 우측은 예컨대 가중치의 합으로 나눔으로써 정규화될 수 있음을 이해해야 한다.
이런 식으로, 2개의 상이한 가중된 합의 값: G/B 비율을 기초로 한 하나와 G/R 비율을 기초로 한 다른 하나(그러나 일부 경우 이들 가중된 합 중 하나만을 계산할 수 있다)을 획득할 수 있다. 이들 가중된 합의 값은 제1 이미지 영역(134)에 대한 제2 파라미터 값의 추정치에 대응하는 것으로 고려될 수 있다. 이로부터, 제1 픽셀(132)의 추정된 값은 (제1 이미지 영역(134) 내에 있는) 제2 세트의 픽셀의 제1 픽셀과 제3 세트의 픽셀의 제1 픽셀을 기초로 획득할 수 있다.
예컨대, 가중된 합(S1)을 기초로, 제1 픽셀(132)의 세기 값의 제1 추정치(G1)는 다음과 같이 획득될 수 있다:
여기서, B1은 (제1 픽셀(136) 또는 추가 제1 픽셀(136')과 같은, 또는 이들 픽셀 모두의 평균 세기 값) 제1 이미지 영역(134) 내에서 제2 세트의 픽셀의 제1 픽셀의 세기 값을 나타낸다.
유사하게, 제1 픽셀(132)의 세기 값의 제2 추정치(G2)는 다음과 같이 가중된 합(S2)으로부터 획득할 수 있다:
여기서, R2는 (제1 픽셀(138) 또는 추가 제1 픽셀(138')과 같은, 또는 이들 픽셀 모두의 평균 세기 값) 제1 이미지 영역(134) 내에서 제3 세트의 픽셀의 제1 픽셀의 세기 값을 나타낸다.
마지막으로, 제1 픽셀(132)의 추정 값은, G1 또는 G2 중 가장 큰 것 또는 평균과 같이 G1과 G2의 조합으로서 취할 수 있다. 제1 픽셀(132)의 추정 값은 출력 데이터에 의해 나타낼 수 있다. 수신된 이미지 데이터는 출력 데이터를 기초로 초기에 업데이트될 수 있어서, 업데이트된 이미지는 포화도 정정 후 이미지를 나타낸다.
포화도 정정 공정은 이미지의 포화된 픽셀 각각 또는 그 서브세트에 대해 실행될 수 있다. 추가 처리가 그 후 이미지에 적용될 수 있다. 예컨대, 재정규화 공정(106)이 이런 식으로 포화도를 정정한 후 이미지에 적용될 수 있다.
제1 픽셀(132)의 추정 값은, 예컨대 미리 결정된 최댓값으로 제한될 수 있는 제1 픽셀(132)의 포화된 값보다 더 클 수 있다. 이것은 그러므로 업데이트된 이미지 데이터에 의해 나타내는 세기 값의 범위를 후속한 이미지 처리 동작이 허용되게 되는 미리 결정된 범위를 초과하여 증가시킬 수 있다. 예컨대, 추가 이미지 처리 동작은, 픽셀의 세기 값이 0에서부터 1까지의 범위 내에 있다는 가정을 기초로 할 수 있다. 그러나 제1 픽셀(132)의 추정 값은 1보다 큰 세기 값을 가질 수 있다.
이와 같은 경우에, 재정규화 공정(106)은 추정 값이 허용되는 세기 값의 범위 내에 있도록 이 추정 값을 재크기조정하도록 실행될 수 있다. 예컨대, 포화도 정정 공정이 이미지에 적용된 후, 가장 큰 세기 값이 x - 여기서 x는 1보다 커서, 이미지의 세기 값은 0에서부터 x까지임 - 라면, 재정규화 공정은 이미지의 픽셀의 세기 값에 매핑 함수를 적용하는 단계를 수반할 수 있어서, 재정규화 후, 재정규화된 이미지의 세기 범위는 0에서부터 1까지가 된다.
후속한 이미지 처리가 이미지의 세기 값이 미리 결정된 범위 내에 있는 것을 요구하지 않거나, 포화도 정정 이후 세기 값이 허용된 또는 미리 결정된 범위 내에 있는 예들과 같은 다른 예들에서, 재정규화 공정(106)을 생략할 수 있다.
포화도 정정 - 2개의 픽셀이 포화됨
앞서 설명한 바와 같이, 일부 경우에, 제1 이미지 영역의 하나보다 많은 픽셀이 포화된 픽셀일 수 있다. 이들 경우에, 비율과는 상이한 파라미터가 제1 및 제2 파라미터로서 사용될 수 있다. 이와 같은 예를 도 8 및 도 9를 참조하여 이제 기재할 것이다. 도 6 및 도 7의 대응하는 특성에 유사한 도 8과 도 9의 특성은 100만큼 증가한 동일한 참조번호로 표시하며; 대응하는 기재를 가져와 적용할 것이다.
도 8은, 포화된 픽셀인 제1 세트의 픽셀의 제1 픽셀(232)을 포함하는 제1 이미지 영역(234)을 예시한다. 제1 이미지 영역(234)은 제2 세트의 픽셀의 제1 픽셀 및 추가 제1 픽셀(236, 236')과, 제3 세트의 픽셀의 제1 픽셀 및 추가 제1 픽셀(238, 238')을 또한 포함한다.
도 8의 예에서, 제2 세트의 픽셀의 제1 픽셀(236)은 포화되지 않은 픽셀이며, 제3 세트의 픽셀의 제1 픽셀 및 추가 제1 픽셀(238, 238')은 포화된 픽셀이라고 결정된다. 다시 말해, 제1 세트의 픽셀의 제1 픽셀(232)을 포함하는 국부적인 영역을 나타내는 제1 이미지 영역(234)에서, 하나의 컬러 채널(제2 컬러 채널)에 대해 오직 포화되지 않은 픽셀을 포함한다.
이러한 결정을 기초로, 이 예에서, 제1 데이터는, 제2 세트의 픽셀의 제1 픽셀과 제3 세트의 픽셀의 제1 픽셀의 세기 값 사이의 제1 비율보다는 제2 세트의 픽셀의 제1 픽셀(236)의 세기 값을 나타내는데 사용된다. 다시 말해, 이들 예에서, 제1 파라미터는, 제1 데이터에 의해 나타낼 수 있는 제2 세트의 픽셀의 제1 픽셀(236)의 세기 값일 수 있다. 도 6을 참조하여 앞서 설명한 바와 같이, 제1 픽셀(236) 또는 추가 제1 픽셀(236') 또는 제1 픽셀(236)과 추가 제1 픽셀(236')의 조합(평균과 같이)의 세기 값이 제1 파라미터의 제1 파라미터 값으로서 사용될 수 있다.
제1 비율의 값보다는, 제1 파라미터로서 제2 세트의 픽셀의 적어도 하나의 제1 픽셀(236)을 기초로 한 세기 값을 사용하는 것 외에, 제1 픽셀(232)에 대한 추정 값의 계산은 도 6 및 도 7을 참조하여 앞서 기재한 방법과 유사할 수 있다.
예컨대, (제1 이미지 영역(234)에 대한 세기 값의 이러한 경우에) 제1 파라미터의 제1 파라미터 값과 관련되는 제2 데이터가 앞서 기재한 바와 같이 룩업 표로부터 획득할 수 있다. 유사하게, 적어도 하나의 추가 이미지 영역(이 예에서 4개의 추가 이미지 영역(240a, 240b, 240c, 240d)에 대한 추가 데이터가 이미지 데이터로부터 획득할 수 있다. 제1 이미지 영역(234)이 하나의 포화되지 않은 또는 클리핑되지 않은 컬러 채널(이 경우, 제2 컬러 채널)을 단지 포함할 수 있는 반면, 다른 이미지 영역은 하나보다 많은 포화되지 않은 또는 클리핑되지 않은 컬러 채널을 포함할 수 있음을 인식해야 한다. 예컨대, 추가 이미지 영역(240a, 240b, 240c, 240d) 각각의 픽셀 모두( 또는 하나보다 많은 픽셀)가 포화되지 않은 픽셀일 수 있다. 유사하게, 룩업 표로부터 획득한 제2 데이터는 하나보다 많은 컬러 채널에서 포화하지 않은 픽셀을 기초로 할 수 있다. 이런 식으로, 이들 다른 이미지 영역에 대해 (제1 컬러 채널과 제2 및 제3 컬러 채널 중 하나 또는 모두 사이와 같이) 컬러 채널 중 2개의 컬러 채널 사이에서의 비율을 획득할 수 있다. 이런 식으로, 제1 픽셀(232)의 추정 값은 추가 이미지 영역 및/또는 제2 이미지 영역 내에서와 같이 제1 이미지 영역(234)에서 이용 가능한 것보다 더 많은 컬러 채널에서의 컬러 정보를 기초로 할 수 있다.
제2 데이터와 추가 데이터는 도 7에 예시된 제2 데이터와 추가 데이터의 가중과 유사한 방식으로 가중될 수 있다. 제2 데이터와 추가 데이터의 가중은 도 9에 개략적으로 도시되어 있다. 이 경우, 제1 파라미터는 제2 컬러 채널의 세기 값(이 경우, 청색 컬러 채널의 세기 값)을 나타내므로, 제2 파라미터의 획득된 값에 적용되는 가중은 B/R 비율 값보다는 특정 서브-블록이나 이미지 영역에 대한 제2 컬러 채널의 세기 값에 의존한다.
예컨대, 가중된 합(S1)은 다음과 같이 구해질 수 있다:
앞서 설명한 바와 같이, 가중된 합(S1)에 대한 수학식의 우측은 예컨대 가중치의 합에 의해 나눔으로써 정규화될 수 있음을 이해해야 한다.
이 경우에, 제2 가중된 합(S2)은, 제3 세트의 픽셀의 제1 픽셀과 추가 제1 픽셀(238, 238')은 모두 이 예에서 포화되므로, 계산되지 않을 수 있다. 그러므로 이 예에서, 제1 픽셀(232)의 세기의 추정 값(G1)은 다음과 같이 획득될 수 있다:
여기서, B1은, (제1 픽셀(236) 또는 추가 제1 픽셀(236')과 같은, 또는 이들 픽셀 모두의 평균 세기 값) 제1 이미지 영역(234) 내의 제2 세트의 픽셀의 제1 픽셀의 세기 값을 나타낸다. 제1 픽셀(132)의 추정 값은 출력 데이터에 의해 나타낼 수 있다. 수신된 이미지 데이터는 먼저 출력 데이터를 기초로 업데이트될 수 있어서, 업데이트된 이미지는 포화도 정정 이후 이미지를 나타낸다.
재정규화와 같은 추가 처리가 앞서 기재된 바와 같이 업데이트된 이미지에 적용될 수 있다.
포화도 정정 - 3개의 픽셀이 포화됨
추가 예에서, 제1 이미지 영역의 모든 세 개의 컬러 채널의 픽셀이 포화될 수 있다. 그러한 경우, 이들 픽셀의 값은, 이들 픽셀의 포화된 값보다 클 수 있는 미리 결정된 최대치로 설정될 수 있다. 이들 픽셀은 그 후 앞서 기재한 바와 같이 재정규화 공정을 겪을 수 있어서, 0에서부터 x까지의 재정규화된 이미지의 세기 범위를 0 내지 1로 매핑할 수 있다. 그러한 경우, 이미지의 밝은 부분은 통상 밝게 남아 있으며, 이는 이미지의 그러한 부분에서의 컬러가 되어야 하는 컬러를 신뢰할 만하게 추정하는 것이 통상 가능하지 않기 때문이다.
이미지 처리 시스템
본 명세서에서 기재한 예들은 도 10에 개략적으로 예시한 것과 같은 이미지 처리 시스템(156)을 사용하여 구현될 수 있다.
도 10의 이미지 처리 시스템(156)은 앞서 기재한 것과 같은 이미지 센서(158)를 포함한다. 이미지 센서(158)로부터 수신한 광은 이미지 데이터로 변환된다. 이미지 데이터는 이미지 신호 프로세서(160)에 전달되며, 이러한 이미지 신호 프로세서(160)는 보통 출력 이미지의 적어도 부분을 나타내는 출력 이미지 데이터를 생성하도록 구성된다. 출력 이미지 데이터는, 예컨대 저장 또는 추가 처리를 위해 (도 10에 미도시된) 다른 구성요소에 전달되기 전 인코더(162)를 통해 인코딩될 수 있다. 이미지 신호 프로세서(160)는 통상, 이미지 데이터에 관해 여러 처리를 실행하여 출력 이미지 데이터를 생성하도록 구성되는 다수의 모듈 또는 유닛을 포함한다. 도 10의 이미지 신호 프로세서(160)와 같은 이미지 신호 프로세서는 본 명세서에서 기재한 기능을 실행하도록 설계되는 마이크로프로세서, 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 다른 프로그램 가능 로직 디바이스, 별도의 게이트 또는 트랜지스터 로직, 별도의 하드웨어 구성요소, 또는 임의의 적절한 이들의 조합을 포함할 수 있다. 프로세서는 예컨대 DSP와 마이크로프로세서의 결합과 같은 컴퓨팅 디바이스의 결합, 복수의 마이크로프로세서, DSP 코어와 협력하는 하나 이상의 마이크로프로세서 또는 임의의 다른 그러한 구성으로서 또한 구현될 수 있다.
도 10의 예에서의 이미지 신호 프로세서(160)는 본 명세서에서 기재한 것과 같은 포화도 정정 공정을 실행하도록 구성되며, 그러므로 포화도 정정 시스템(164)을 포함하도록 고려될 수 있다. 포화도 정정 시스템(164)에서 사용하거나 그 일부로서 생성되는 데이터는 이미지 처리 시스템(156)의 저장 장치(166)에 저장될 수 있다. 저장 장치(166)는 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리와 판독 전용 메모리(ROM)와 같은 불휘발성 메모리나 플래시 메모리와 같은 고체 상태 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 저장 장치(166)는 예컨대, 이미지 신호 프로세서(160)에 의해 상대적으로 신속하게 액세스될 수 있는 온-칩 메모리나 버퍼이다. 다른 예들에서, 그러나 저장 장치(166)는 예컨대 자기, 광학 또는 테이프 매체, 컴팩트 디스크(CD), 디지털 다용도 디스크(DVD) 또는 기타 데이터 저장 매체와 같은 추가 저장 디바이스를 포함할 수 있다. 저장 장치(166)는 이미지 처리 시스템(156)으로부터 탈착 가능하거나 비-탈착 가능할 수 있다. 도 10의 저장 장치(166)는 이미지 신호 프로세서(160)에 통신되게 결합되어, 데이터는 저장 장치(166)와 이미지 신호 프로세서(160) 사이에서 전달될 수 있다. 예컨대, 저장 장치(166)는 (디모자이킹 전의 이미지 데이터와 같은) 이미지의 적어도 일부분, 앞서 기재한 제1 데이터, 앞서 기재한 제2 데이터, 앞서 기재한 추가 데이터, 앞서 기재한 출력 데이터 및 앞서 기재한 업데이트된 이미지 데이터를 나타내는 이미지 데이터를 저장할 수 있다.
이미지 신호 프로세서(160)는, 이미지 데이터가 인코더(162)에 의해 인코딩되기 전 (포화도 정정 공정 후 업데이트된 이미지 데이터와 같은) 이미지 데이터를 디모자이킹하기 위한 디모자이킹 시스템(168)을 또한 포함할 수 있다.
도 10의 이미지 처리 시스템(156)은 이미지 센서(158)의 특성이나 특징을 제어하기 위한 제어기(170)를 또한 포함한다. 제어기(170)는 하드웨어 또는 소프트웨어 구성요소나 하드웨어와 소프트웨어의 결합을 포함할 수 있다. 예컨대, 제어기(170)는, 제어기(170)의 동작을 제어하기 위한 소프트웨어를 포함하는 펌웨어(172)를 포함할 수 있다. 펌웨어(172)는 제어기(170)의 불휘발성 메모리에 또는 (제어기(170)에 액세스할 수 있는) 저장 장치(166)에 저장될 수 있다. 도 10의 제어기(170)는 자동 이미지 향상 시스템(174)을 또한 포함하며, 이 시스템(174)은 예컨대 이미지 처리 시스템(156)에 조정이 이뤄져 이미지 품질을 개선할 필요가 있는지를 결정하는 처리를 실행하도록 구성된다. 예컨대, 자동 이미지 향상 시스템(174)은 자동 노출 모듈, 자동 화이트 밸런스 모듈 및/또는 자동 초점 모듈을 포함할 수 있다. 제어기(170)는 이미지 센서(158)의 동작을 제어하기 위한 드라이버(176)를 또한 포함한다.
통계치 수집 공정으로 지칭될 수 있는 데이터 수집 공정은 제어기(170)나 이미지 신호 프로세서(160)의 하드웨어와 같은 하드웨어를 사용하여 실행될 수 있다. 예컨대, 도 5를 참조하여 기재된 바와 같이, 다른 포화되지 않은 블록으로부터 포화된 블록을 나타내는 데이터를 획득하기 위한 통계치의 보간은 예컨대 제어기(170)의 펌웨어(172)나 이미지 신호 프로세서(160)와 관련되는 펌웨어와 같은 펌웨어를 사용하여 실행될 수 있다. 포화도 정정 시스템(164)과 디모자이킹 시스템(168)은 통상적으로 소프트웨어로 구현되지만 대신 하드웨어로 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 유사하게, 데이터 수집 공정과 통계치의 보간은 대신 소프트웨어나 하드웨어와 소프트웨어의 결합을 사용하여 실행될 수 있다.
상기 예들은 예시적인 예들로서 이해되어야 한다. 추가 예들을 생각해 볼 수 있다.
임의의 하나의 예와 관련하여 기재한 임의의 특성은 단독으로 또는 기재한 다른 특성과 결합하여 사용될 수 있으며, 또한 예들 중 임의의 다른 예의 하나 이상의 특성과 결합하거나 예들 중 임의의 다른 예의 임의의 결합으로 사용될 수 있음을 이해해야 한다. 또한, 앞서 기재하지 않은 등가 및 변경은 수반하는 청구항의 범위에서 벗어나지 않고 또한 이용될 수 있다.

Claims (28)

  1. 방법으로서,
    제1 컬러 채널과 관련되는 제1 세트의 픽셀들과 제2 컬러 채널과 관련되는 제2 세트의 픽셀들을 포함하는 이미지의 적어도 일부분을 나타내는 이미지 데이터를 수신하는 단계;
    상기 제1 세트의 픽셀들의 제1 픽셀을 나타내는 상기 이미지 데이터의 일부분을 처리하여, 상기 제1 세트의 픽셀들의 제1 픽셀이 포화된 픽셀임을 결정하는 단계;
    상기 제1 세트의 픽셀들의 제1 픽셀과 상기 제2 세트의 픽셀들의 제1 픽셀을 포함하는 제1 이미지 영역에 대해, 상기 제2 세트의 픽셀들의 제1 픽셀의 값을 기초로 한 제1 데이터를 획득하는 단계;
    상기 제1 데이터를 기초로 하여, 상기 제1 세트의 픽셀들의 제2 픽셀과 상기 제2 세트의 픽셀들의 제2 픽셀을 포함하는 제2 이미지 영역에 대해, 상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제2 세트의 픽셀들의 제2 픽셀의 값을 기초로 한 제2 데이터를 획득하는 단계; 및
    상기 제2 데이터를 처리하여, 상기 제1 픽셀에 대해 상기 제1 컬러 채널과 관련되는 추정 값을 나타내는 출력 데이터를 생성하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 제1 이미지 영역 내에서, 상기 제2 세트의 픽셀들의 포화되지 않은 픽셀을 식별하는 단계; 및
    상기 제2 세트의 픽셀들의 포화되지 않은 픽셀을 상기 제2 세트의 픽셀들의 제1 픽셀로서 사용하는 단계를 포함하는, 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 제2 이미지 영역 내에서, 상기 제1 세트의 픽셀들의 포화되지 않은 픽셀과 상기 제2 세트의 픽셀들의 포화되지 않은 픽셀을 식별하는 단계;
    상기 제1 세트의 픽셀들의 포화되지 않은 픽셀을 상기 제1 세트의 픽셀들의 제2 픽셀로서 사용하는 단계; 및
    상기 제2 세트의 픽셀들의 포화되지 않은 픽셀을 상기 제2 세트의 픽셀들의 제2 픽셀로서 사용하는 단계를 포함하는, 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 제1 데이터는 상기 제2 세트의 픽셀들의 제1 픽셀의 세기 값을 나타내는, 방법.
  5. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 제2 데이터를 획득하는 단계는 상기 제1 데이터를 기초로 룩업 표로부터 상기 제2 데이터를 검색하는 단계를 포함하는, 방법.
  6. 청구항 5에 있어서, 상기 제1 데이터는 상기 제1 이미지 영역에 대한 제1 파라미터의 제1 파라미터 값을 나타내며, 상기 제1 파라미터는 상기 제2 컬러 채널과 관련되고, 상기 룩업 표는, 상기 제2 이미지 영역에 대한 상기 제1 파라미터의 제1 파라미터 값들의 세트의 각각의 제1 파라미터 값에 대응하는 엔트리들을 포함하며, 상기 룩업 표로부터 상기 제2 데이터를 검색하는 단계는:
    상기 제1 파라미터 값에 가장 가까운 값을 갖는 상기 제1 파라미터 값들의 세트 중의 하나의 제1 파라미터 값에 대응하는 상기 엔트리들 중의 한 엔트리를 식별하는 단계;
    상기 제1 컬러 채널과 관련되는 제2 파라미터의 제2 파라미터 값을 식별하는 단계로서, 상기 제2 파라미터 값은 상기 제1 파라미터 값들의 세트 중의 하나의 제1 파라미터 값과 관련되며, 상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제2 세트의 픽셀들의 제2 픽셀의 값을 기초로 하는, 상기 제2 파라미터 값 식별 단계; 및
    상기 제2 파라미터 값을 상기 제2 데이터로서 검색하는 단계를 포함하는, 방법.
  7. 청구항 6에 있어서, 상기 제2 파라미터 값은 상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제2 세트의 픽셀들의 제2 픽셀의 값 사이의 비율을 나타내는, 방법.
  8. 청구항 5 내지 청구항 7 중 어느 한 항에 있어서,
    상기 제2 이미지 영역 내에서 상기 제1 세트의 픽셀들의 복수의 픽셀들 - 상기 제1 세트의 픽셀들의 복수의 픽셀들은 상기 제1 세트의 픽셀들의 제2 픽셀을 포함함 - 각각에 대한 각각의 값; 및
    상기 제2 이미지 영역 내에서 상기 제2 세트의 픽셀들의 복수의 픽셀들 - 상기 제2 세트의 픽셀들의 복수의 픽셀들은 상기 제2 세트의 픽셀들의 제2 픽셀을 포함함 - 각각에 대한 각각의 값을 기초로 하여
    상기 제2 이미지 영역에 대한 룩업 표를 생성하는 단계를 포함하는, 방법.
  9. 청구항 8에 있어서,
    상기 제1 세트의 픽셀들의 복수의 픽셀들 각각은 각각 포화되지 않은 픽셀이며;
    상기 제2 세트의 픽셀들의 복수의 픽셀들 각각은 각각 포화되지 않은 픽셀인, 방법.
  10. 청구항 8 또는 청구항 9에 있어서, 상기 제1 데이터는 상기 제1 이미지 영역에 대한 제1 파라미터의 제1 파라미터 값을 나타내고, 상기 제1 파라미터는 상기 제2 컬러 채널과 관련되고, 상기 룩업 표는, 상기 제2 이미지 영역에 대한 상기 제1 파라미터의 제1 파라미터 값들의 세트의 각각의 제1 파라미터 값에 대응하는 엔트리들을 포함하며, 상기 룩업 표를 생성하는 단계는:
    상기 제2 이미지 영역에 대해, 제1 파라미터 값들의 각각의 범위와 각각 관련되는 복수의 빈들(bins)을 포함하는 히스토그램을 생성하는 단계;
    상기 복수의 빈들의 서브세트를 선택하는 단계로서, 상기 복수의 빈들의 서브세트의 각각은 상기 엔트리들의 각각의 엔트리에 대응하는, 상기 복수의 빈들의 서브세트 선택 단계; 및
    상기 복수의 빈들의 서브세트의 각각에 대해, 상기 제1 컬러 채널과 관련되는 제2 파라미터의 대응하는 제2 파라미터 값을, 상기 복수의 빈들의 서브세트의 각각의 빈에 대응하는 각각의 엔트리의 부분으로서 저장하는 단계를 포함하는, 방법.
  11. 청구항 10에 있어서, 상기 복수의 빈들의 각각은 각각의 카운트(count)를 포함하며, 상기 복수의 빈들의 서브세트 선택 단계는:
    상기 복수의 빈들 중 n 개를 식별하는 단계로서, n개의 빈들 각각은, 상기 복수의 빈들 중 나머지 빈들 각각의 각각의 카운트보다 더 큰 각각의 카운트를 가지며, 여기서 n은 정수인, 상기 복수의 빈들 중 n개 식별 단계; 및
    상기 복수의 빈들 중 n 개를 상기 복수의 빈들의 서브세트로서 선택하는 단계를 포함하는, 방법.
  12. 청구항 1 내지 청구항 11 중 어느 한 항에 있어서, 상기 제2 데이터는 상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제2 세트의 픽셀들의 제2 픽셀의 값 사이의 비율을 나타내는, 방법.
  13. 청구항 1 내지 청구항 12 중 어느 한 항에 있어서, 상기 제1 데이터를 획득하는 단계는 상기 제2 세트의 픽셀들의 제1 픽셀의 값을 기초로 및 또한 상기 제3 세트의 픽셀들의 제1 픽셀의 값을 기초로 상기 제1 데이터를 획득하는 단계를 포함하며, 상기 제1 이미지 영역은 상기 제3 세트의 픽셀들의 제1 픽셀을 포함하는, 방법.
  14. 청구항 13에 있어서, 상기 제1 데이터는 상기 제2 세트의 픽셀들의 제1 픽셀의 값과 상기 제3 세트의 픽셀들의 제1 픽셀의 값 사이의 제1 비율을 나타내는, 방법.
  15. 청구항 11 내지 청구항 14 중 어느 한 항에 있어서, 상기 제2 데이터는:
    상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제2 세트의 픽셀들의 제2 픽셀의 값 사이의 제2 비율; 또는
    상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제3 세트의 픽셀들의 제2 픽셀의 값 사이의 제3 비율
    중 적어도 하나를 나타내는, 방법.
  16. 청구항 11 내지 청구항 15 중 어느 한 항에 있어서, 상기 제1 세트의 픽셀들의 적어도 하나의 추가 픽셀과 상기 제2 세트의 픽셀들의 적어도 하나의 추가 픽셀을 포함하는 추가 이미지 영역에 대해, 상기 제1 세트의 픽셀들의 적어도 하나의 추가 픽셀과 상기 제2 세트의 픽셀들의 적어도 하나의 추가 픽셀의 각각의 값을 기초로 한 추가 데이터를 획득하는 단계를 포함하며,
    상기 제2 데이터를 처리하는 것은 상기 제2 데이터를 상기 추가 데이터로 처리하여 상기 출력 데이터를 생성하는 것을 포함하는, 방법.
  17. 청구항 16에 있어서, 상기 제2 이미지 영역은 미리 결정된 크기의 미리 결정된 이미지 영역이며, 상기 추가 이미지 영역은 상기 제2 이미지 영역 내에 있으며 상기 제2 이미지 영역보다 작은, 방법.
  18. 청구항 16 또는 청구항 17에 있어서,
    상기 제2 데이터를 획득하는 단계는 룩업 표로부터 상기 제2 데이터를 획득하는 단계를 포함하며;
    상기 추가 데이터를 획득하는 단계는, 상기 제1 세트의 픽셀들의 제1 픽셀에 가장 가까운 상기 제1 세트의 픽셀들의 적어도 하나의 추가 픽셀에 대해 및 상기 제1 세트의 픽셀들의 제1 픽셀에 가장 가까운 상기 제2 세트의 픽셀들의 적어도 하나의 추가 픽셀에 대해 상기 추가 데이터를 획득하는 단계를 포함하는, 방법.
  19. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서, 상기 추가 데이터를 획득하는 단계는:
    상기 추가 이미지 영역 내에서, 상기 제1 세트의 픽셀들의 적어도 하나의 포화되지 않은 픽셀과 상기 제2 세트의 픽셀들의 적어도 하나의 포화되지 않은 픽셀을 식별하는 단계;
    상기 제1 세트의 픽셀들의 적어도 하나의 포화되지 않은 픽셀을 상기 제1 세트의 픽셀들의 적어도 하나의 추가 픽셀로서 사용하는 단계; 및
    상기 제2 세트의 픽셀들의 포화되지 않은 픽셀을 상기 제2 세트의 픽셀들의 적어도 하나의 추가 픽셀로서 사용하는 단계를 포함하는, 방법.
  20. 청구항 16 내지 청구항 19 중 어느 한 항에 있어서, 상기 제2 데이터를 처리하는 것은:
    상기 제2 이미지 영역에 대한 제2 파라미터의 제2 파라미터 값; 및
    상기 추가 이미지 영역에 대한 제2 파라미터의 제2 파라미터 값
    의 가중된 합을 구하는 것을 포함하는, 방법.
  21. 청구항 1 내지 청구항 20 중 어느 한 항에 있어서, 상기 출력 데이터를 생성한 후 상기 이미지의 적어도 일부분을 디모자이킹(demosaicing)하는 단계를 포함하는, 방법.
  22. 청구항 1 내지 청구항 21 중 어느 한 항에 있어서, 상기 추정 값은 상기 제1 픽셀의 포화된 값보다 큰, 방법.
  23. 청구항 1 내지 청구항 22 중 어느 한 항에 있어서, 상기 제1 세트의 픽셀들, 제2 세트의 픽셀들 및 제3 세트의 픽셀들은 베이어 패턴(Bayer pattern)으로 배열되는, 방법.
  24. 청구항 1 내지 청구항 23 중 어느 한 항에 있어서, 상기 제1 세트의 픽셀들의 제1 픽셀은 상기 제2 세트의 픽셀들의 제1 픽셀에 인접하는, 방법.
  25. 청구항 1 내지 청구항 24 중 어느 한 항에 있어서,
    상기 제2 세트의 픽셀들의 제1 픽셀이 포화되지 않은 픽셀임을 결정하는 단계;
    제3 세트의 픽셀들의 제1 픽셀이 포화된 픽셀임을 결정하는 단계 - 상기 제1 이미지 영역은 상기 제3 세트의 픽셀들의 제1 픽셀을 포함함 - ; 및
    상기 결정을 기초로 하여, 상기 제1 데이터를 사용하여 상기 제2 세트의 픽셀들의 제1 픽셀의 세기 값을 나타내는 단계를 포함하는, 방법.
  26. 청구항 1 내지 청구항 24 중 어느 한 항에 있어서,
    상기 제2 세트의 픽셀들의 제1 픽셀이 포화되지 않은 픽셀임을 결정하는 단계;
    제3 세트의 픽셀들의 제1 픽셀이 포화되지 않은 픽셀임을 결정하는 단계 - 상기 제1 이미지 영역은 상기 제3 세트의 픽셀들의 제1 픽셀을 포함함 - ; 및
    상기 결정을 기초로 하여, 상기 제1 데이터를 사용하여 상기 제2 세트의 픽셀들의 제1 픽셀의 값과 상기 제3 세트의 픽셀들의 제1 픽셀의 값 사이의 제1 비율을 나타내는 단계를 포함하는, 방법.
  27. 이미지 처리 시스템으로서,
    저장 장치로서:
    제1 컬러 채널과 관련되는 제1 세트의 픽셀들과 제2 컬러 채널과 관련되는 제2 세트의 픽셀들을 포함하는 이미지의 적어도 일부분을 나타내는 이미지 데이터;
    상기 제2 세트의 픽셀들의 제1 픽셀의 값을 기초로 한 제1 데이터;
    상기 제1 세트의 픽셀들의 제2 픽셀의 값과 상기 제2 세트의 픽셀들의 제2 픽셀의 값을 기초로 한 제2 데이터; 및
    상기 제1 세트의 픽셀들의 제1 픽셀에 대한 상기 제1 컬러 채널과 관련되는 추정 값을 나타내는 출력 데이터를 저장하는 상기 저장 장치; 및
    포화도 정정 시스템으로서:
    상기 제1 세트의 픽셀들의 제1 픽셀을 나타내는 이미지 데이터의 일부분을 처리하여 상기 제1 세트의 픽셀들의 제1 픽셀이 포화된 픽셀임을 결정하고;
    상기 제1 세트의 픽셀들의 제1 픽셀과 상기 제2 세트의 픽셀들의 제1 픽셀을 포함하는 제1 이미지 영역에 대해, 상기 제1 데이터를 획득하고;
    상기 제1 데이터를 기초로 하여, 상기 제1 세트의 픽셀들의 제2 픽셀과 상기 제2 세트의 픽셀들의 제2 픽셀을 포함하는 제2 이미지 영역에 대해, 상기 제2 데이터를 획득하며;
    상기 제2 데이터를 처리하여 상기 출력 데이터를 생성하도록 동작할 수 있는 상기 포화도 정정 시스템을 포함하는, 이미지 처리 시스템.
  28. 청구항 27에 있어서, 상기 이미지의 적어도 일부분을 나타내는 출력 이미지 데이터를 디모자이킹하도록 구성되는 디모자이킹 시스템을 포함하며, 상기 출력 이미지 데이터는 상기 출력 데이터를 포함하는, 이미지 처리 시스템.
KR1020190037800A 2018-04-03 2019-04-01 이미지 처리 KR102629951B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1805465.0 2018-04-03
GB1805465.0A GB2572571B (en) 2018-04-03 2018-04-03 Image processing

Publications (2)

Publication Number Publication Date
KR20190116077A true KR20190116077A (ko) 2019-10-14
KR102629951B1 KR102629951B1 (ko) 2024-01-26

Family

ID=62142149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190037800A KR102629951B1 (ko) 2018-04-03 2019-04-01 이미지 처리

Country Status (5)

Country Link
US (1) US10863156B2 (ko)
JP (1) JP7343090B2 (ko)
KR (1) KR102629951B1 (ko)
CN (1) CN110365920B (ko)
GB (1) GB2572571B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630653B1 (ko) * 2022-10-13 2024-01-30 주식회사 넥스트칩 컬러 정보를 생성하는 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132758B2 (en) * 2016-09-14 2021-09-28 Inscape Data, Inc. Embedding data in video without visible impairments
US10755062B1 (en) 2019-03-19 2020-08-25 Cognex Corporation System and method for evaluating symbols
GB201904072D0 (en) * 2019-03-25 2019-05-08 Secr Defence Dazzle resilient video camera or video camera module
US11394935B2 (en) 2020-06-15 2022-07-19 Samsung Electronics Co., Ltd. Pixel array for reducing image information loss and image sensor including the same
KR20210156553A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20220189178A1 (en) * 2020-12-15 2022-06-16 Mobileye Vision Technologies Ltd. Signal-to-noise ratio (snr) identification within a scene

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064401A (ko) * 2010-12-09 2012-06-19 엘지전자 주식회사 높은 동적 영역의 영상을 생성하는 장치 및 방법
KR20130138340A (ko) * 2011-04-18 2013-12-18 퀄컴 인코포레이티드 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0212367D0 (en) * 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
JP5091781B2 (ja) * 2007-09-14 2012-12-05 株式会社リコー 撮像装置および撮像方法
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US8842912B2 (en) * 2011-05-19 2014-09-23 Foveon, Inc. Method for processing highlights and saturated regions in a digital image
MX337444B (es) * 2012-03-26 2016-03-07 Koninkl Philips Nv Aparatos basados en la region de brillo y metodos para la codificacion y decodificacion de imagenes de rango dinamico alto.
GB201516173D0 (en) 2015-09-14 2015-10-28 Apical Ltd Adaptive shading correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064401A (ko) * 2010-12-09 2012-06-19 엘지전자 주식회사 높은 동적 영역의 영상을 생성하는 장치 및 방법
KR20130138340A (ko) * 2011-04-18 2013-12-18 퀄컴 인코포레이티드 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630653B1 (ko) * 2022-10-13 2024-01-30 주식회사 넥스트칩 컬러 정보를 생성하는 방법 및 장치

Also Published As

Publication number Publication date
GB201805465D0 (en) 2018-05-16
JP2019186916A (ja) 2019-10-24
KR102629951B1 (ko) 2024-01-26
US10863156B2 (en) 2020-12-08
GB2572571B (en) 2021-09-01
JP7343090B2 (ja) 2023-09-12
GB2572571A (en) 2019-10-09
CN110365920A (zh) 2019-10-22
US20190306480A1 (en) 2019-10-03
CN110365920B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
KR102629951B1 (ko) 이미지 처리
US11218630B2 (en) Global tone mapping
EP2775719B1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
US8687087B2 (en) Digital camera with selectively increased dynamic range by control of parameters during image acquisition
JP6351903B1 (ja) 画像処理装置、画像処理方法、及び撮影装置
JP4955235B2 (ja) デジタルカメラおよびゲイン算出方法
CN104284096B (zh) 基于像素强度分布的多目标自动曝光及增益控制的方法及系统
CN105282529B (zh) 一种基于raw空间的数字宽动态方法及装置
KR20060080217A (ko) 디지털 영상처리 체인에서 색균형을 조절하기 위한 방법 및장치, 대응 장비, 및 이 방법을 구현하기 위한소프트웨어수단
WO2010128578A1 (en) Image processing method and image processing apparatus
US20130329991A1 (en) Image processing apparatus and image processing method
US11200647B2 (en) Image processing
WO2019104047A1 (en) Global tone mapping
JP2003199115A (ja) デジタル画像の品質を改善する改善方法
US11997384B2 (en) Focus setting determination
US8068146B2 (en) Opponent color detail enhancement for saturated colors
JP6316006B2 (ja) 被写体探索装置、その制御方法、および制御プログラム、並びに撮像装置
US10937230B2 (en) Image processing
GB2623241A (en) Focus setting determination
GB2616109A (en) Focus setting determination
JP5549282B2 (ja) 画像処理装置、撮像装置、コンピュータ読み取り可能なプログラム
GB2623242A (en) Focus setting determination

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant