KR20160127806A - 로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱 - Google Patents

로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱 Download PDF

Info

Publication number
KR20160127806A
KR20160127806A KR1020167026977A KR20167026977A KR20160127806A KR 20160127806 A KR20160127806 A KR 20160127806A KR 1020167026977 A KR1020167026977 A KR 1020167026977A KR 20167026977 A KR20167026977 A KR 20167026977A KR 20160127806 A KR20160127806 A KR 20160127806A
Authority
KR
South Korea
Prior art keywords
image data
determining
color channel
weights
image
Prior art date
Application number
KR1020167026977A
Other languages
English (en)
Other versions
KR101903626B1 (ko
Inventor
위가르 투나
자르노 니카넨
블래디슬라브 우주노브
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160127806A publication Critical patent/KR20160127806A/ko
Application granted granted Critical
Publication of KR101903626B1 publication Critical patent/KR101903626B1/ko

Links

Images

Classifications

    • H04N9/735—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G06T7/408—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

로우 이미지 데이터로부터 조명의 색도를 추정하기 위한 장치 및 방법이 개시된다. 일 실시예에서, 센서 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 이미지 색도 가중치가 결정된다. 추가 실시예에서, 정규화된 컬러 채널 값 사이의 불일치에 기초하여 하나 이상의 이미지 색도 가중치가 결정된다. 소정 실시예에서, 이미지 색도 가중치를 이용하여 로우 이미지 데이터에 대한 화이트 포인트 추정치를 결정한다. 실시예에서, 카메라를 포함하는 전자 장치는 AWB 파이프라인의 일부로서 카메라에 의해 캡처된 로우 이미지 데이터의 색도 값을 추정한다. 전자 장치는 예로서 AWB 파이프라인의 일부로서 로우 이미지 데이터 색도 값 추정치(들)에 적어도 부분적으로 기초하여 화이트 포인트 추정치를 더 결정할 수 있다.

Description

로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱{AUTOMATIC WHITE BALANCING WITH CHROMATICITY MEASURE OF RAW IMAGE DATA}
우선권 주장
본 출원은 "로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱(Automatic White Balancing with Chromaticity Measure of Raw Image Data)"이라는 발명의 명칭으로 2014년 4월 29일자로 출원된 미국 특허 출원 제14/264,772호에 대해 우선권을 주장하고, 이 미국 특허 출원은 전체적으로 참조로서 통합된다.
디지털 카메라는 상용 전자 매체 장치 플랫폼에 종종 포함되는 컴포넌트이다. 이제, 디지털 카메라는 웨어러블 폼 팩터(예로서, 비디오 캡처 이어피스, 비디오 캡처 헤드셋, 비디오 캡처 안경 등)로 이용 가능한 것은 물론, 스마트폰, 태블릿 컴퓨터 및 노트북 컴퓨터 등 안에 내장된다. 카메라 모듈(예로서, 카메라 센서 및 광학계)에 의해 수집된 이미지 데이터의 재생 및/또는 표시에 적합한 값으로의 변환은 장치 플랫폼에 의해 구현되는 카메라 제어 알고리즘(CCA)에 대한 과제를 부과한다. 자동 화이트 밸런싱(AWB) 알고리즘으로도 알려진 계산 컬러 불변성 알고리즘은 디지털 카메라로부터 원하는 컬러 재생을 달성하기 위한 CCA의 하나의 중요 요소이다. AWB의 역할은 카메라 센서 컬러 컴포넌트의 응답과 관련하여 조명의 색도(또는 다수의 상이한 광원의 경우에는 색도들)를 추정하는 것이다. AWB는 통상적으로 사용자가 기대하는 컬러 재생을 가능하게 하기 위해 상이한 컬러 컴포넌트의 강도의 조정을 필요로 하며, 이 경우에 필요한 조정은 이미지 센서 특성 및 캡처 시의 주변 조명 조건에 크게 의존한다.
로우 이미지 데이터 색도에 대한 지식은 화이트 포인트를 신뢰성 있고 정확하게 추정하는 데 유리하다. 그레이-에지 알고리즘으로 알려진 한 가지 기술은 아마도 무색인 로우 이미지 데이터 내의 에지로부터 발생하는 반사를 전제로 한다. 따라서, 무색 영역은 장면 내의 에지 주변으로부터 획득된다. 실제로, 그레이-에지 알고리즘은 정확한 에지 정보 추출을 위해 고해상도 정보가 이용 가능할 것을 요구할 수 있으며, 따라서 그레이-에지 알고리즘의 정확성은 로우 이미지의 다운 샘플링 표현(즉, 저해상도)에 의해 크게 저하될 수 있다. 따라서, 그레이-에지 알고리즘은 제한된 처리 능력을 갖거나 엄격한 전력 제한 아래 동작하는 일부 장치 플랫폼, 예로서 대부분의 모바일 장치 플랫폼에 적합하지 않을 수 있다. 또한, 그레이-에지 기술은 에지가 없는 장면 또는 무광 에지 및 표면을 다루지 못한다. 예로서 전영역 맵핑 또는 컬러 바이 코럴레이션(color by correlation) 기술을 이용하는 다른 통상적인 방법은 종종 카메라 모듈 특성(CMC) 정보에 크게 의존하며, 따라서 카메라 모듈의 대량 생산과 관련된 CMC 정보 에러에 취약하다. CMC 집중 방법은 또한 계산 비용이 많이 들 수 있다.
따라서, 예로서 AWB 알고리즘을 개선하고, 따라서 디지털 카메라 플랫폼의 성능을 향상시키기 위해, 이미지 콘텐츠의 강한 가정 없이, CMC 데이터에 최소로 의존하면서, 고레벨 이미지 처리 없이, 로우 이미지 데이터와 관련하여 조명 색도를 정확하게 추정하기 위한 기술이 유리할 것이다.
본 명세서에서 설명되는 내용은 첨부 도면에 한정이 아니라 예시적으로 도시된다. 도시의 간명화를 위해, 도면에 도시되는 요소는 반드시 축척으로 그려지지는 않는다. 예로서, 명료화를 위해, 일부 요소의 치수가 다른 요소에 비해 과장될 수 있다. 또한, 적절한 것으로 간주된 경우, 도면 사이에서 대응하거나 유사한 요소를 지시하기 위해 참조 부호가 반복되었다. 도면에서:
도 1은 하나 이상의 실시예에 따른 복수의 이미지 색도 가중치를 나타내는 그래프이며, 이들 각각은 결정되고 AWB 알고리즘 내에 입력될 수 있다.
도 2는 하나 이상의 실시예에 따른, 로우 이미지 데이터 블록과 관련된 로우 이미지 픽셀 데이터의 도면이다.
도 3a는 하나 이상의 실시예에 따른, 하나 이상의 색도 가중치를 결정하기 위한 방법을 나타내는 흐름도이다.
도 3b는 하나 이상의 실시예에 따른, [R/G, B/G] 센서 색도 공간 내에 플로팅된 유색 및 무색 로우 이미지 데이터의 그래프이다.
도 4a는 하나 이상의 실시예에 따른, 하나 이상의 색도 가중치를 결정하기 위한 방법을 나타내는 흐름도이다.
도 4b는 하나 이상의 실시예에 따른, [R/G, B/G] 센서 색도 공간 내에 플로팅된 CMC 데이터의 그래프이다.
도 4c는 하나 이상의 실시예에 따른, 정규화 후의 예시적인 카메라 센서의 상대 스펙트럼 응답의 그래프이다.
도 4d는 하나 이상의 실시예에 따른, 로우 이미지 데이터의 상대 스펙트럼 응답의 그래프이다.
도 4e는 하나 이상의 실시예에 따른, 로우 이미지 데이터의 상대 스펙트럼 응답의 그래프이다.
도 5는 하나 이상의 실시예에 따른, 색도 가중치에 기초하여 적어도 하나의 화이트 포인트 추정치를 결정하기 위한 AWB 방법을 나타내는 흐름도이다.
도 6은 하나 이상의 실시예에 따른, 이미지 색도 측정을 수행하고/하거나, 이미지 색도 가중치에 기초하여 적어도 하나의 AWB 방법을 수행하기 위한 로직을 포함하는 하나 이상의 프로세서를 사용하는 예시적인 시스템의 도면이다.
도 7은 하나 이상의 실시예에 따라 배열된 예시적인 시스템의 도면이다.
하나 이상의 실시예가 첨부 도면을 참조하여 설명된다. 특정 구성 및 배열이 도시되고 상세히 설명되지만, 이것은 설명의 목적을 위해 행해질 뿐이라는 것을 이해해야 한다. 관련 분야의 기술자는 설명의 사상 및 범위로부터 벗어나지 않고서 다른 구성 및 배열이 가능하다는 것을 인식할 것이다. 본 명세서에서 설명되는 기술 및/또는 배열은 본 명세서에서 상세히 설명되는 것 외의 다양한 다른 시스템 및 응용에서 이용될 수 있다는 것이 관련 분야의 기술자에게 명백할 것이다.
아래의 상세한 설명에서는 그의 일부를 형성하고 실시예를 도시하는 첨부 도면이 참조된다. 또한, 청구 발명의 범위로부터 벗어나지 않고서, 다른 실시예가 이용될 수 있고, 구조 및/또는 논리적 변경이 이루어질 수 있다는 것을 이해해야 한다. 따라서, 아래의 상세한 설명은 한정적인 것으로 간주되지 않아야 하며, 청구 발명의 범위는 첨부된 청구항 및 그의 균등물에 의해서만 정의된다.
아래의 설명에서는 다수의 상세가 설명되지만, 이러한 특정 상세 없이도 실시예가 실시될 수 있다는 것이 이 분야의 기술자에게 명백할 것이다. 공지된 방법 및 장치는 더 중요한 양태를 불명확하게 하지 않기 위해 상세하게 도시되는 것이 아니라 블록도 형태로 도시된다. 본 명세서 전반에서 "일 실시예" 또는 "하나의 실시예"에 대한 언급은 실시예와 관련하여 설명되는 특정 특징, 구조, 기능 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에서의 다양한 곳에서의 "일 실시예에서" 또는 "하나의 실시예에서"라는 표현의 출현은 반드시 동일 실시예를 지칭하지는 않는다. 더구나, 일 실시예와 관련하여 설명되는 특정 특징, 구조, 기능 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 예로서, 2개의 실시예와 관련된 특정 특징, 구조, 기능 또는 특성이 서로 배타적이지 않는 한은, 제1 실시예가 제2 실시예와 결합될 수 있다.
실시예의 설명 및 첨부된 청구항에서 사용되는 바와 같이, 단수 형태("a", "an", "the")는 상황이 달리 명확히 지시하지 않는 한은 복수 형태도 포함하는 것을 의도한다. 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 하나 이상의 열거된 관련 아이템의 임의의 그리고 모든 가능한 조합을 지칭하고 포함한다는 것도 이해할 것이다.
설명 전반에서 그리고 청구항에서 사용되는 바와 같이, 용어 "적어도 하나" 또는 "하나 이상"에 의해 연결되는 아이템의 리스트는 열거된 아이템의 임의의 조합을 의미할 수 있다. 예로서, "A, B 또는 C 중 적어도 하나"라는 표현은 A; B; C; A 및 B; A 및 C; B 및 C; 또는 A, B 및 C를 의미할 수 있다.
용어 "결합" 및 "접속"은 이들의 파생어와 함께 본 명세서에서 컴포넌트 간의 기능 또는 구조 관계를 설명하는 데 사용될 수 있다. 이러한 용어는 서로 동의어인 것을 의도하지 않는다는 것을 이해해야 한다. 오히려, 특정 실시예에서, "접속"은 2개 이상의 요소가 서로 물리적으로, 광학적으로 또는 전기적으로 직접 접촉한다는 것을 지시하는 데 사용될 수 있다. "결합"은 2개 이상의 요소가 서로 물리적으로, 광학적으로 또는 전기적으로 직접 또는 간접(그들 사이의 다른 개재 요소를 이용하여) 접촉한다는 것 및/또는 2개 이상의 요소가 (예로서, 인과 관계에서와 같이) 서로 협력하거나 상호작용한다는 것을 지시하는 데 사용될 수 있다.
본 명세서에서 제공되는 상세한 설명의 일부 부분은 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 심벌 표현과 관련하여 제공된다. 명확히 달리 언급되지 않는 한, 아래의 설명으로부터 명백하듯이, 설명 전반에서, "계산", "컴퓨팅", "결정", "추정", "저장", "수집", "표시", "수신", "통합", "생성", "갱신" 등과 같은 용어를 이용하는 설명은 레지스터 및 메모리를 포함하는 컴퓨터 시스템의 회로 내에 물리(전자) 양으로서 표현되는 데이터를 조작하여 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 그러한 정보 저장, 송신 또는 표시 장치 내에 물리 양으로서 유사하게 표현되는 다른 데이터로 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 액션 및 프로세스를 지칭한다는 것을 인식한다.
아래의 설명은 예로서 시스템-온-칩(SoC) 아키텍처와 같은 아키텍처에서 나타날 수 있는 실시예를 설명하지만, 본 명세서에서 설명되는 기술 및/또는 배열의 구현은 특정 아키텍처 및/또는 컴퓨팅 시스템으로 한정되지 않으며, 유사한 목적을 위해 임의의 아키텍처 및/또는 컴퓨팅 시스템에 의해 구현될 수 있다. 예로서 다수의 집적 회로(IC) 칩 및/또는 패키지를 이용하는 다양한 아키텍처, 및/또는 셋톱 박스, 스마트폰 등과 같은 다양한 컴퓨팅 장치 및/또는 소비자 전자(CE) 장치가 본 명세서에서 설명되는 기술 및/또는 배열을 구현할 수 있다. 또한, 아래의 설명은 시스템 컴포넌트의 로직 구현, 타입 및 상호 관계, 로직 분할/통합 선택 등과 같은 다수의 특정 상세를 설명할 수 있지만, 청구 발명은 그러한 특정 상세 없이도 실시될 수 있다. 더구나, 예로서 제어 구조 및 전체 소프트웨어 명령어 시퀀스와 같은 일부 내용은 본 명세서에서 개시되는 내용을 불명확하게 하지 않기 위해 상세히 도시되지 않을 수 있다.
본 명세서에서 개시되는 내용의 소정 부분은 하드웨어로, 예로서 그래픽 프로세서 내의 로직 회로로서 구현된다. 소정의 다른 부분은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의 조합으로 구현될 수 있다. 본 명세서에서 개시되는 내용의 적어도 일부는 기계 판독 가능 매체 상에 저장되는 명령어로서 구현될 수도 있으며, 이러한 명령어는 하나 이상의 프로세서(그래픽 프로세서 및/또는 중앙 프로세서)에 의해 판독 및 실행될 수 있다. 기계 판독 가능 매체는 기계(예로서, 컴퓨팅 장치)에 의해 판독될 수 있는 형태로 정보를 저장 및 전송하기 위한 임의의 매체 및/또는 메커니즘을 포함할 수 있다. 예로서, 기계 판독 가능 매체는 판독 전용 메모리(ROM); 랜덤 액세스 메모리(RAM); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 장치; 전기, 광학, 음향 또는 다른 유사하게 비일시적인 유형 매체를 포함할 수 있다.
아래에서는 로우 이미지 데이터의 색도 값을 추정하기 위한 하나 이상의 시스템, 장치, 방법 및 컴퓨터 판독 가능 매체가 설명된다. 소정 실시예에서, 이미지 색도 추정치는 로우 이미지 데이터에 대한 화이트 포인트 추정치를 결정하는 데 사용된다. 추가 실시예에서, 화이트 포인트 추정치는 CMC 의존 기술과 같은 다른 알고리즘을 통해 로우 이미지 데이터에 대해 결정되는 하나 이상의 추가 화이트 포인트 추정치와 조합될 수 있다. 실시예에서, 카메라를 포함하는 전자 장치는 AWB 파이프라인의 일부로서 카메라에 의해 캡처된 로우 이미지 데이터의 색도를 추정한다. 전자 장치는 예로서 AWB 파이프라인의 일부로서 로우 이미지 데이터 색도 값 추정치에 적어도 부분적으로 기초하여 화이트 포인트 추정치를 더 결정할 수 있다.
아래에서 더 상세히 설명되는 바와 같이, 로우 이미지 데이터 색도 측정은 조명 색도 확률 맵의 기준 위치까지의 로우 이미지 데이터의 거리의 결정을 수반할 수 있다. 이어서, 로우 이미지 데이터의 색도가 이러한 거리에 기초하여 결정될 수 있으며, 예로서 이미지 데이터는 화이트 맵의 중심까지의 거리가 감소할수록 더 무색인 것으로 간주될 수 있다. 그러한 실시예에서는, 색도 공간 내에서, 비교적 더 무색인 이미지 데이터가 조명 색도의 맵의 고확률 영역(들)에 배치되는 반면에 비교적 더 유색인 이미지 데이터가 고확률 영역으로부터 더 먼 영역 내로 떨어지는 것으로 가정할 수 있다.
또한 아래에서 더 상세히 설명되는 바와 같이, 로우 이미지 데이터 색도 측정 실시예는 R, G 및 B 컬러 채널 에너지 레벨의 비교를 수반할 수 있다. 수렴하는 채널 에너지를 갖는 이미지 데이터는 더 발산하는 컬러 채널 에너지를 갖는 이미지 데이터보다 더 무색인 것으로 평가될 수 있다. 소정의 그러한 실시예에서, 색도는 카메라 모듈 특성화(CMC) 정보 및/또는 이전에 결정된 "예비" 화이트 포인트 추정치에 의존하는 화이트 포인트 교정 팩터에 의해 정규화된 R, G, 및 B 채널 값 간의 불일치에 기초하여 결정된다.
또한 아래에서 설명되는 바와 같이, 하나 이상의 전술한 기술에 의해 무색인 것으로 결정된 이미지 데이터는 조명의 색도를 결정하기 위해 유색 이미지 데이터보다 우선적으로 AWB 방법에 의해 이용될 수 있다. "조명의 색도"는 (조명 스펙트럼을 변경하지 않고서 모든 파장을 동일하게 반사하고, 따라서 조명 색도를 직접 지시하는) 무색 표면으로부터 반사되는 광을 기록하는 상이한 컬러 컴포넌트(예로서, R, G 및 B 컴포넌트)의 픽셀의 블록으로부터 결정되는 색도 값이다. 이러한 "조명의 색도"에 기초하여, ISP 이미지 재구성에서 적용될 R, G 및 B 이득이 AWB 알고리즘/파이프라인에 의해 계산된다. 조명의 색도는 물체의 진정한 색도(즉, 물체의 컬러)와 구별된다. 더 구체적으로, 물체 컬러의 정확한 재생은 (i) AWB 알고리즘이 조명의 색도를 정확하게 추정할 수 있고, (ii) 이어서, 센서 RGB로부터 sRGB로 정확하게 컬러 변환을 행함으로써 이루어진다. 실시예는 부담스러운 이미지 해상도 및/또는 이미지 콘텐츠 요구 없이, 또한 계산 집중적인 이미지 처리(예로서, 에지 검출) 없이 정확하고 강건한 화이트 포인트 추정을 달성할 수 있다.
본 명세서에서 설명되는 색도 측정 실시예는 입력 이미지가 표현되는 방식과 무관하다. 예로서, 본 명세서에서 설명되는 색도 측정은 최대 이미지 해상도에서 적용될 수 있거나, 로우 이미지 데이터가 고정된 동일 크기 또는 가변 크기를 갖는 블록의 "그리드"로 분할될 수 있다. 각각의 블록은 상이한 컬러 컴포넌트(예로서, R, G 및 B 컬러 컴포넌트)의 다수의 픽셀의 영역을 커버한다. 블록의 영역 내의 각각의 컬러 컴포넌트의 평균 레벨이 계산될 수 있다(예로서, 블록 i에 대해 평균이 Ri, Gi 및 Bi로서 표시된다). 또한, 블록 i에서의 색도 값은 [Ri/Gi, Bi/Gi]와 동일하다.
본 명세서에서 사용되는 바와 같이, "원" 이미지 데이터는 업스트림 이미지 신호 처리(ISP) 파이프라인에 의해 사전 처리될 수 있는 이미지 데이터이다. 예로서, 일 실시예에서, 로우 이미지 데이터는 선형화되었고 컬러 음영 교정되었다. 더 구체적으로, 카메라 센서로부터 출력되는 원 바이어 데이터(raw Bayer data)는 본 명세서에서 설명되는 하나 이상의 실시예에 따라 로우 이미지 데이터 색도가 계산되기 전에 (블랙 레벨 교정도 포함하는) 선형화 및 컬러 음영 교정을 겪을 수 있다.
도 1은 실시예에 따른, 복수의 이미지 색도 가중치를 나타내는 그래프이며, 그들 각각은 결정되고, AWB 알고리즘 안에 입력될 수 있다. 도 1의 실선 화살표는 본 명세서에서 상세히 설명되는 일 실시예를 나타낸다. 점선 화살표는 실시예와 관련하여 교시되는 원리에 기초하여 양호한 효과로 또한 실시될 수 있는 하나 이상의 대안 실시예를 나타낸다.
"색도 가중치"는 예로서 0과 1 사이에서 스케일링되는 로우 이미지 데이터 색도의 측정치이며, 더 큰 가중치 값은 더 작은 가중치 값보다 더 무색인 로우 이미지와 관련된다. 더 무색인 로우 이미지 데이터는 조명 색도를 더 정확하게 반영하며, 따라서 AWB 화이트 밸런싱 이득은 본 명세서에서 설명되는 알고리즘에 의해 충분히 무색인 것으로 간주되는 로우 이미지 데이터에 기초하여 유리하게 계산될 수 있다. 도 1에 도시된 바와 같이, 상이한 컬러 컴포넌트의 다수의 픽셀을 갖는 원 데이터 블록 i에 대해 복수의 이미지 색도 가중치(예로서, a(1)i, a(2a)i, a(2b)i)가 결정될 수 있다. 색도 가중치는 로우 이미지 데이터(101)에 대한 색도의 독립적인 측정치에 도달하기 위해 상이한 측정 알고리즘을 이용하여 독립적으로(예로서, 병렬로) 결정될 수 있다. 이미지 색도 가중치는 가중치가 함께 로우 이미지 데이터의 강건한 조명 색도 측정치를 나타내도록 가중치가 상보적이게 하는 알고리즘에 따라 유리하게 결정된다. 대안으로서, 하나 이상의 색도 가중치는 다른 가중치 없이, 예로서 소정 제어 신호 등의 함수로서 이용될 수 있다.
도 1의 데이터 의존성 화살표를 따라, 색도 가중치 a(1)i가 제1 알고리즘을 통해 로우 이미지 데이터를 처리함으로써 결정될 수 있다. 도 1에 더 도시된 바와 같이, 이어서, 색도 가중치 a(1)i는 화이트 포인트 추정치(105)에서 사용될 수 있다. 따라서, 색도 가중치 a(1)i는 임의의 다른 색도 가중치를 배제하고서 또는 색도 가중치 a(2a)i 및/또는 a(2b)i)를 포함하는 방식으로 사용될 수 있다. 예로서, 실선 화살표를 따라, 3개의 색도 측정 알고리즘이 로우 이미지 데이터(101)에 대해 독립적으로 수행되어, 색도 가중치 a(1)i, a(2a)i 및 a(2b)i를 생성할 수 있으며, 이들은 선형으로 또는 비선형으로 후속 조합되어, 화이트 포인트 추정치(105)에 대한 입력으로서의 파생 색도 가중치 a3i, a(4i)를 형성한다. 색도 가중치의 예시적인 조합은 둘 이상의 가중치의 곱, 둘 이상의 가중치의 평균, 둘 이상의 가중치의 가중 평균, 둘 이상의 가중치의 최대, 둘 이상의 가중치의 최소, 둘 이상의 가중치의 중간 또는 (a1 m+...ak m)1/n과 같은 비선형 조합을 포함하지만 이에 한정되지 않는다.
도 1에 도시된 바와 같이, 복수의 이미지 색도 가중치 중 하나 이상(예로서, a(1)i, a(2a)i, a(2b)i)은 CMC 특성화 데이터(102)에 부분적으로 더 기초할 수 있다. 가중치(a(1)i, a(2a)i, a(2b)i)를 생성하는 색도 측정이 AWB 파이프라인의 프론트엔드에 있는 실시예의 경우, 색도 가중치가 CMC 데이터의 부정확성에 둔감하도록 CMC 데이터를 제한된 방식으로 선택하는 것이 유리하다. 추가 실시예에서, 예비 화이트 포인트 추정치(103)가 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i) 중 하나 이상을 결정하기 위한 입력으로서 사용된다. 아래에서 더 설명되는 바와 같이, 예비 화이트 포인트 추정치(103)는 색도 가중치(a(1)i, a(2a)i, a(2b)i)를 결정하기 위한, 본 명세서의 다른 곳에서 설명되는 것과 또 다른 알고리즘을 이용하여 결정될 수 있다. 따라서, 본 명세서에서 설명되는 색도 측정 실시예는 AWB 알고리즘 내의 제1 스테이지인 것으로 제한되지 않는다. 다수의 색도 측정을 직렬로 스테이지화하는 것은 이미지 장면 콘텐츠 변화에 대한 강건성의 증가를 위해 측정을 결합하는 유리한 방식일 수 있다. 도 1에 도시되지 않지만, 색도 가중치(a(1)i, a(2a)i, a(2b)i) 중 하나 이상은 자체적으로 직렬로 스테이지화될 수 있으며, 하나의 측정 알고리즘은 제2 측정 알고리즘을 통해 다른 색도 가중치(예로서, a(2a)i 및/또는 a(2b)i)를 결정하기 위해 소정 방식으로 이용되는 색도 가중치(예로서, a(1)i)를 출력할 수 있다. 예로서, 예비 화이트 포인트 추정치(103)는 색도 가중치(a(1)i)에 기초할 수 있으며, 이어서 그러한 예비 화이트 포인트 추정치는 색도 가중치(a(2a)i, a(2b)i)를 더 결정하는 데 사용될 수 있다. 따라서, 본 명세서에 설명되는 색도 측정 실시예는 AWB 알고리즘의 다수의 스테이지에 걸쳐 이용될 수 있다.
도 2는 일 실시예에 따른, 로우 이미지 데이터 블록(Di)과 관련된 로우 이미지 픽셀 데이터(201)의 확대 도면이다. 도시된 바와 같이, N개의 로우 이미지 데이터 블록(Di)이 동일한 크기의 균일하게 분포된 블록(Di)의 폭 및 높이를 갖는 이미지 그리드(202)를 형성한다. 이미지 그리드(202)는 카메라 모듈의 픽셀(Pi)에 대해 수집된 로우 이미지 픽셀 데이터(201)의 어레이의 저해상도 표현이다. 각각의 데이터 블록(Di)는 m x n 픽셀의 표현을 제공한다. 예로서, 데이터 블록(Di)는 m x n 픽셀에 대해 각각 평균되는 컬러 채널 값(예로서, R, G, B)을 포함할 수 있다. 로우 이미지 그리드(202)는 색도 측정을 수행하는 데 이용 가능한 프로세서 대역폭에 따라 그리고 m x n 픽셀의 세트가 하나의 블록에 고유한지 또는 다수의 상이한 블록으로 병합되는지에 따라 카메라 모듈의 고유 해상도의 함수로서 임의 수의 로우 이미지 데이터 블록을 포함할 수 있다. 로우 이미지 데이터 블록의 수는 계산 및 잡음의 대가로서 작은 무색 영역에 대한 더 높은 카메라 해상도 및/또는 더 큰 감도를 위해 증가될 수 있다. 일례로서, 로우 이미지 그리드(202)는 블록의 80x60 어레이(즉, N=4800)를 포함한다.
일 실시예에서, 하나 이상의 이미지 색도 가중치는 센서 색도 공간 내의 로우 이미지 데이터의 위치와 센서 조명 색도의 자취 또는 영역 내의 그리고/또는 주위의 최근접 포인트 사이의 거리에 기초하여 결정된다. 도 3a는 하나의 그러한 실시예에 따른, 로우 이미지 데이터 블록(Di)에 대한 하나 이상의 색도 가중치(a(1)i)를 결정하기 위한 방법(301)을 나타내는 흐름도이다. 방법(301)은 분석될 로우 이미지 데이터 블록(Di)에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 CMC 데이터를 수신 또는 액세스하는 것으로부터 시작된다. CMC 데이터는 유리하게 예로서 카메라 모듈의 RGB 컬러 컴포넌트의 스펙트럼 응답, 및 상이한 상관 컬러 온도(CCT) 영역에서의 색도 포인트에 대한 조명 색도 및 통상적인 조명 스펙트럼의 지식을 포함할 수 있다. 동작 305에서, 센서 색도 공간 내의 높은 가능성의 화이트 포인트의 자취가 CMC 데이터로부터 결정된다. 대안으로서, 동작 305에서, 사전 결정된 신뢰 레벨과 관련된 색도 공간의 영역이 결정된다. 일 실시예에서, 화이트 포인트의 자취는 [R/G, B/G] 센서 공간 내의 조명 색도를 맵핑함으로써 결정되는 관련 CCT 값과 함께 평균 조명 색도이다. 그러한 이차원 "화이트 맵"이 도 3b에 도시되며, 평균 조명 색도(342)의 자취는 (예로서, 평균 조명 색도(342)의 자취로부터의 조명 색도 응답 편차의 함수로서 결정되는) 높은 가능성의 화이트 포인트 맵 내에 디마킹된다.
방법(301)은 동작 306에서 계속되어, 원 데이터 블록(Di)이 옵션으로서 사전 결정된 포화 값 임계치에 기초하여 필터링될 수 있다. 비포화 적색, 녹색 및 청색 픽셀의 평균 레벨이 각각의 로우 이미지 데이터 블록(Di)에 대해 저장되는 일 실시예에서, 그러한 블록 내의 포화 픽셀의 양이 블록 내의 픽셀의 총 양과 관련하여 또한 저장된다. 너무 많은 포화 픽셀을 갖는 로우 이미지 데이터 블록(Di)은 방법(301)으로부터 제외되는데, 이는 포화 픽셀에 대해서는 진정한 색도 정보가 손실되기 때문이다. 게다가, 포화 픽셀에 가까운 픽셀은 센서의 특성에 따라 픽셀 블루밍에 의해 영향을 받을 수 있다. 따라서, 방법(301)은 사전 결정된 최대 포화 임계치 아래의 포화 값과 관련된 로우 이미지 데이터 블록에 대해서만 후속 동작을 진행할 수 있다.
측정된 로우 이미지 데이터가 더 무색일 확률은 로우 이미지 데이터와 센서 색도 공간 내의 높은 가능성의 화이트 포인트의 자취 사이의 거리의 감소에 따라 증가한다. 따라서, 이 거리는 동작 310에서 각각의 원 데이터 블록(Di)에 대해 정량화되며, 다양한 방식으로 계산될 수 있다. 도 3b는 센서 색도 공간에 맵핑된 2개의 로우 이미지 데이터 값(351, 352)을 더 나타낸다. 본 명세서에서의 실시예에 따르면, 로우 이미지 데이터 값(351)은 로우 이미지 데이터 값(352)보다 더 무색인 것으로 간주되는데, 이는 로우 이미지 데이터 값(351)(거리 d1)이 로우 이미지 데이터 값(352)(거리 d2)보다 평균 조명 색도(342)의 자취에 더 가깝기 때문이다. 임의의 거리 정보가 로우 이미지 데이터(Di)에 대한 색도의 측정에 대한 기초로서 사용될 수 있다. 소정 실시예에서, 이미지 색도 가중치(a(1)i)는 거리에 직접 비례할 수 있다. 예로서, 센서 색도 공간 내의 절대 유클리드 거리는 로우 이미지 데이터 블록 i의 R/G, B/G 값과 센서 조명 색도의 자취 내의 최근접 포인트 사이에서 결정될 수 있다. 일 구현에서, 자취는 평균 조명 색도(예로서, 자취(342))이다. 대안 실시예에서, 원 데이터와 높은 가능성 임계치에 의해 정의되는 소정의 더 큰 영역 사이의 거리가 결정될 수 있다. 예로서, 거리가 화이트 맵 공간(341) 내의 사전 결정된 값(예로서, 1)으로 고정되는 것으로 가정될 수 있고, 로우 이미지 데이터가 화이트 맵 공간(341) 밖으로 떨어지는 경우에 화이트 맵 공간의 경계들까지의 거리가 결정될 수 있다.
일 실시예에서, 정규화된 컬러 채널 값 사이의 불일치에 기초하여 하나 이상의 이미지 색도 가중치가 결정된다. 도 4a는 하나 이상의 실시예에 따른, 로우 이미지 데이터 블록(Di)에 대한 하나 이상의 색도 가중치(a(2a)i, a(2b)i)를 결정하기 위한 방법(401)을 나타내는 흐름도이다. 방법(401)은 로우 이미지 데이터 블록(Di)과 관련된 컬러 채널 값을 수신하는 것으로부터 시작된다. 일 실시예에서, 컬러 채널 값은 3개의 (예로서, R, G, B) 채널 값을 포함한다. 동작 405에서, 원 데이터 블록(Di)은 컬러 포화 값 임계치에 기초하여 다시 필터링된다. 비포화 적색, 녹색 및 청색 픽셀의 평균 레벨이 각각의 로우 이미지 데이터 블록(Di)에 대해 저장되는 일 실시예에서, 그러한 블록 내의 포화 픽셀의 양은 블록 내의 픽셀의 총 양과 관련하여 저장된다. 너무 많은 포화 픽셀을 갖는 로우 이미지 데이터 블록(Di)은 방법(401)으로부터 제외된다. 따라서, 방법(401)은 사전 결정된 최대 포화 임계치 아래의 포화 값과 관련된 로우 이미지 데이터 블록에 대해서만 후속 동작을 진행할 수 있다.
동작 410에서, 컬러 채널 값은 화이트 포인트 교정 팩터를 이용하여 정규화된다. 도 4a에 도시된 바와 같이, 정규화 동작 410은 CMC 데이터(402) 및/또는 예비 화이트 포인트 추정치(401)에 기초할 수 있다. 일 실시예에서, 화이트 포인트 교정 팩터는 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터(즉, CMC 데이터)를 수집하는 데 사용되는 이미지 센서와 관련된 이미지 센서 특성화 데이터에 기초하여 결정되는 고정 값이다. 일례로서, 화이트 포인트 교정 팩터는 일광 조명과 관련된 CMC 데이터에 기초할 수 있다. 도 4b는 일 실시예에 따른, [R/G, B/G] 센서 색도 공간 내에 플로팅된 CMC 데이터의 그래프이다. 5500K와 같은 특정 조명 화이트 포인트와 관련된 R/G 및 B/G 값이 CMC 데이터로부터 결정될 수 있다. 이어서, 로우 이미지 데이터 블록(Di)의 RBG 컬러 채널 값에 대한 이득이 [1/(R/G)5500, 1, 1(B/G)5500]과 같은 교정 팩터에 의해 정규화될 수 있다. 도 4c는 정규화 동작 410 후의 예시적인 카메라 센서와 관련된 로우 이미지 데이터에 대한 RGB 컬러 채널의 상대 스펙트럼 응답의 그래프이다.
다른 실시예에서, 정규화 포인트를 사전 결정된 CCT로 고정하는 대신에, 정규화 포인트는 예비 화이트 포인트 추정치(예로서, 도 1의 예비 추정치(103))를 생성하기 위해 동작 403에서 이용되는 상이한 AWB 알고리즘에 따라 결정된다. 동작 403이 임의의 알고리즘을 이용하여 정규화 포인트를 결정할 수 있지만, 이용되는 알고리즘의 동작 원리는 유리하게 방법(401)의 원리와 다르다. 각각의 알고리즘의 강점 및 약점은 상이한 타입의 장면에 대해 유리하게 상보적이다. 이어서, 동작 403에서 이용되는 알고리즘은 정규화 동작 410의 의존을 통해 색도 측정 방법(401)의 출력에 유리하게 링크된다. 일례로서, 초기 화이트 포인트 추정(또는 초기 CCT 범위 추정) 동작 403은 센서 색도 공간에서의 조명 전영역에 기초하는 정보를 이용하여 수행될 수 있다. CCT 범위 및/또는 화이트 포인트에 대한 추정치는 측정된 로우 이미지 데이터가 어느 조명 전영역에 속하는지에 기초할 수 있다. 이어서, 동작 410에서 이용되는 이득 교정 팩터가 동작 403에서 결정된 예비 화이트 포인트 추정치와 관련된 컬러 채널 값에 기초하여 결정될 수 있다.
정규화에 이어서, 방법(401)은 동작 415에서 계속되어, 로우 이미지 데이터 블록(Di)의 색도는 R, G 및 B 채널 값이 서로 얼마나 가까운지에 기초하여 추정된다. 채널 카운트가 더 가까울수록 또는 더 수렴될수록, 이미지 데이터 블록은 더 무색이다. 특히, 채널 에너지 발산을 평가하기 전에 컬러 채널을 정규화하는 데 사용되는 화이트 포인트 교정 팩터에 대응하는 조명 스펙트럼으로부터 먼 조명 스펙트럼은 무색 물체에 대한 컬러 성분 사이의 더 큰 차이를 유도할 것이다. 그러나, 동일 효과가 더 유색인 물체에 대해 발생할 것으로 예상될 수 있다. 하나 이상의 색도 가중치(a(2a)i, a(2b)i)가 정규화된 컬러 채널 값 사이의 불일치의 함수로서 결정될 수 있다. 동작 415에서 임의의 변화 메트릭이 결정될 수 있다. 일 실시예에서, 동작 415에서, 정규화된 로우 이미지 데이터 블록(Di)으로부터 최소 컬러 채널 값 min(Ri,Gi,Bi) 및 최대 컬러 채널 값 max(Ri,Gi,Bi)가 결정된다. 이어서, 색도 가중치(a(2a)i)가 최소 및 최대 컬러 채널 값의 비율에 기초할 수 있다.
Figure pct00001
이어서, 색도 가중치(a(2a)i)는 (예로서, AWB 방법의 일부로서) N개의 데이터 블록에 대한 화이트 포인트의 결정에 있어서의 후속 사용을 위해 각각의 로우 이미지 데이터 블록(Bi)에 대해 메모리에 저장된다. 추가 실시예에서, 동작 415에서, 정규화된 로우 이미지 데이터 블록(Di)에 대해 평균 컬러 채널 값(Yi)이 결정된다. 절대 차이 또는 n 제곱 거리가 더 결정될 수 있다. 일 실시예에서, 컬러 채널 값의 평균제곱근 편차가 결정된다.
Figure pct00002
여기서, k는 최대 허용 가능 채널 값, 결과적으로 채널당 비트 수(b)에 기초하는 정규화 상수이다. 정규화 상수는 다음과 같이 계산될 수 있다.
Figure pct00003
일례로서, k는 (255의 최대 채널 값을 갖는) 8 비트 데이터에 대해 14450인 것으로 계산된다. 이러한 실시예 각각의 경우, 색도 가중치(a(2a)i, a(2b)i)는 컬러 채널 값 사이의 불일치의 역함수이며, 따라서 a(2a)i, a(2b)i는 무색 로우 이미지 데이터에 대해 1에 더 가깝고, 비교적 더 유색인 로우 이미지 데이터에 대해 0에 더 가깝다.
도 4d는 일 실시예에 따른, 동일 에너지 광원을 가정하는 거의 무색인 물체 표면(예로서, 회색)의 스펙트럼 반사율(461)의 그래프이다. 스펙트럼 반사율(461)은 설명의 목적을 위해 정규화되는 RGB 채널을 합산한 후에 획득된다. 청색 정규화 채널 에너지(451), 녹색 정규화 채널 에너지(452) 및 적색 정규화 채널 에너지(453) 각각에 대응하는 디지털 값은 거의 동일하다. 그러한 로우 이미지 데이터와 관련하여, 수학식 1-4를 통해 결정되는 색도 가중치(a(2a)i, a(2b)i)는 1에 가까울 것이고, 로우 이미지 데이터 블록(Bi)은 비교적 더 무색인 것으로 간주된다.
도 4e는 일 실시예에 따른, 동일 에너지 광원을 가정하는 더 유색인 물체 표면(예로서, 갈색)의 스펙트럼 반사율(462)의 그래프이다. 이 로우 이미지 데이터와 관련하여, 적색 정규화 채널 에너지(453)는 청색 및 녹색 정규화 채널 에너지(451, 452)보다 훨씬 더 높다. 수학식 1-4를 통해 결정되는 색도 가중치(a(2a)i, a(2b)i)는 1로부터 멀고 0을 향하며, 그에 따라 로우 이미지 데이터 블록(Bi)은 비교적 더 유색인 것으로 간주된다.
일 실시예에서, 제1 화이트 포인트 추정치는 하나 이상의 이미지 색도 가중치의 함수로서 결정된다. 전술한 바와 같이 결정되는 개별 이미지 색도 가중치(a(1)i - a(2b)i)와 관련하여, 가중치는 로우 이미지 데이터 블록(Di)에 대한 하나의 가중치에 도달하도록 조합될 수 있다. 예로서, 도 1에 도시된 바와 같이, 색도 가중치(a(2a)i, a(2b)i)는 색도 가중치(a(3)i)를 도출하도록 조합될 수 있다. 도 1을 참조하여 전술한 바와 같이, 색도 가중치는 임의의 선형 또는 비선형 방식으로 조합될 수 있다. 소정 실시예에서, 평균, 중앙, 가중 평균 등과 같은 통계가 이용될 수 있다. 일 실시예에서, a(3)i는 (a(2a)i와 a(2b)i)의 곱이다. 추가 실시예에서, 색도 가중치(a(3)i)는 예로서 a(2a)i, a(2b)i 및 a(1)i의 곱을 취함으로써 색도 가중치(a(1)i)와 조합되어 색도 가중치(a(4)i)를 도출한다.
도 5는 일 실시예에 따른, 하나 이상의 색도 가중치(a(1)i - a(2b)i)에 기초하여 적어도 하나의 화이트 포인트 추정치를 결정하는 AWB 방법(501)을 나타내는 흐름도이다. 방법(501)은 동작 505에서 시작되어, 예로서 전술한 임의의 방법(예로서, 방법(301, 401) 등)을 수행함으로써 N개의 로우 이미지 데이터 블록(Di) 각각에 대해 이미지 색도 가중치(a(1)i - a(2b)i)가 결정된다. 동작 510에서, 그레이-월드(GW) 알고리즘, 1-카운트 GW 알고리즘 또는 수정된 최대 RGB 알고리즘 등과 같은 하나 이상의 카메라 모듈 독립 알고리즘에 기초하여 초기 화이트 포인트 추정치가 결정된다.
화이트 포인트 추정 동작 510은 동작 505에서 결정된 하나 이상의 이미지 색도 가중치(a(1)i - a(2b)i)에 부분적으로 더 기초한다. 예로서, 센서 색도 공간 내의 무색 포인트를 표현하는 공통 그레이 값에 도달하기 위해 이미지의 R, G 및 B 컴포넌트의 값을 평균하는 GW 알고리즘에서는, 로우 이미지 데이터 블록(Di)과 관련된 Ri, Gi 및 Bi 컬러 채널 값에 이미지 색도 가중치를 곱하고, 이어서 색도 가중 값이 복수의 데이터 블록에 대해 누산된다.
Figure pct00004
수학식 5에서, ai는 임의의 색도 가중치(a(i)1 - a(i)4)이며, 이 실시예에서는 a(i)4(예로서, a(i)1, a(2a)i 및 a(2b)i의 곱)이다. 동작 510에서 2개 이상의 알고리즘을 이용하는 소정 실시예에서, 다양한 알고리즘에 의해 결정되는 화이트 포인트 또는 화이트 포인트 후보의 가중 평균이 화이트 포인트 추정치로서 출력될 수 있다. 이어서, 이 추정치는 AWB 파이프라인의 제1 스테이지의 결과로서 메모리에 저장될 수 있다.
일 실시예에서, AWB 파이프라인은 동작 510에서 종료된다. 그러나, 방법(501)에 의해 설명되는 실시예에서, 동작 510에서 획득되는 후보 화이트 포인트는 최종 화이트 포인트가 위치하는 CCT 범위의 추정치를 제공한다. 범위 추정치는 AWB 파이프라인의 하나 이상의 추가 스테이지 내에 입력된다. 동작 510에서 획득되는 화이트 포인트의 신뢰성에 따라, 하나 이상의 CMC 데이터 의존 알고리즘을 이용하여, 최종 화이트 포인트 추정치에 대한 감소된 CCT 범위를 검색할 수 있다. 예로서, 동작 515에서, CCT는 카메라 모듈 특성화 데이터, 럭스 레벨 추정치 및/또는 수동 CCT 범위 한계에 기초하여 더 제한된다. 이어서, 동작 520에서, 하나 이상의 검색 기준/알고리즘을 이용하여 무색 영역에 대한 검색이 수행된다. 동작 525에서, 검색에 의해 정의된 화이트 포인트는 고레벨 특징, 예로서 얼굴, 피부, 장면 정보, 사용자 데이터, 및 지리 또는 다른 장치 정보에 기초하여 정밀화되어, 방법(501)에 의해 출력되는 최종 화이트 포인트 추정치에 도달한다. 이어서, 최종 화이트 포인트 추정치는 메모리에 저장되며, 임의의 통상적인 방식의 이득 밸런싱을 위해 사용될 수 있다.
도 6은 실시예에 따른 예시적인 시스템(600)의 예시적인 도면이다. 시스템(600)은 모바일 장치일 수 있지만, 시스템(600)은 이와 관련하여 한정되지 않는다. 예로서, 시스템(600)은 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 셀룰러 전화, 스마트 장치(예로서, 스마트폰, 스마트 태블릿 또는 모바일 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치 등 내에 통합될 수 있다. 시스템(600)은 기반구조 장치일 수도 있다. 예로서, 시스템(600)은 대형 포맷 텔레비전, 셋톱 박스, 데스크탑 컴퓨터, 또는 다른 홈 또는 상용 네트워크 장치 내에 통합될 수 있다.
시스템(600)은 도 3a, 4a 및 5와 관련하여 전술한 다양한 방법의 전부 또는 서브세트를 구현할 수 있다. 다양한 실시예에서, 프로세서(615)는 AWB를 포함하는 비디오/이미지 향상 동작을 호출하거나 구현한다. 프로세서(615)는 예로서 본 명세서의 다른 곳에서 설명되는 바와 같이 AWB 프로세스의 기초가 될 수 있는 이미지 색도 측정 방법을 수행하기 위한 기능을 포함한다. 예로서, 일 실시예에서, 프로세서(615)는 하나 이상의 로우 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i, a(3)i 또는 a(4)i)를 결정하기 위한 AWB 모듈(617)을 구현하거나 포함한다. 추가 실시예에서, AWB 모듈(617)은 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i, a(3)i, a(4)i)에 적어도 부분적으로 기초하여 화이트 포인트를 더 결정한다. 일 실시예에서, 프로세서(615)는 카메라 모듈(610)에 의해 수집되고 버스를 통해 프로세서(615) 및/또는 이미지 신호 프로세서(614)로 전송되는 로우 이미지 데이터의 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i, a(3)i, a(4)i)에 적어도 부분적으로 기초하여 화이트 포인트를 결정하기 위한 고정 기능 및/또는 프로그래밍 가능 로직 회로를 포함한다. 일부 실시예에서, 하나 이상의 컴퓨터 판독 가능 매체는 프로세서(615)에 의해 실행될 때 프로세서로 하여금 본 명세서의 다른 곳에서 설명되는 하나 이상의 로우 이미지 색도 측정을 수행하게 하는 명령어를 저장할 수 있다. 대안 실시예에서, ISP(614)는 하나 이상의 로우 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i, a(3)i 또는 a(4)i)를 결정하는 AWB 모듈(616)로서 구현되는 펌웨어를 포함한다. 추가 실시예에서, AWB 모듈(616)은 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i, a(3)i, a(4)i)에 적어도 부분적으로 기초하여 화이트 포인트를 더 결정한다. 이어서, 하나 이상의 화이트 포인트 또는 이미지 색도 가중치(a(1)i, a(2a)i, a(2b)i, a(3)i, a(4)i)는 메모리(612)에 저장될 수 있다.
실시예에서, 시스템(600)은 사람 인터페이스 장치((HID)(620)에 결합되는 플랫폼(602)을 포함한다. 플랫폼(602)은 카메라 모듈(610)로부터 로우 이미지 데이터를 수신할 수 있고, 이어서 이 로우 이미지 데이터는 ISP(614) 및/또는 프로세서(615)에 의해 처리되고/되거나, HID(620)로 출력되고/되거나, 라디오(615)를 통해 네트워크(660)로 통신된다. 하나 이상의 내비게이션 특징을 포함하는 내비게이션 제어기(1050)를 이용하여 예로서 플랫폼(602) 및/또는 HID(620)와 상호작용할 수 있다. 실시예에서, HID(620)는 임의의 텔레비전 타입 모니터 또는 디스플레이를 포함할 수 있다. HID(620)는 예로서 컴퓨터 디스플레이 스크린, 터치스크린 디스플레이, 비디오 모니터, 텔레비전과 유사한 장치 및/또는 텔레비전을 포함할 수 있다.
하나 이상의 소프트웨어 애플리케이션(616)의 제어하에, 플랫폼(602)은 HID(620) 상에 사용자 인터페이스(622)를 표시할 수 있다. 제어기(650)의 내비게이션 특징의 이동은 디스플레이 상에 표시되는 포인터, 커서, 포커스 링 또는 다른 시각 지시기의 이동에 의해 디스플레이(예로서, HID(620)) 상에 복제될 수 있다. 예로서, 소프트웨어 애플리케이션(616)의 제어하에, 내비게이션 제어기(650) 상에 위치하는 내비게이션 특징은 예로서 사용자 인터페이스(622) 상에 표시되는 가상 내비게이션 특징에 맵핑될 수 있다.
실시예에서, 플랫폼(602)은 카메라 모듈(610), ISP(614), 칩셋(605), 프로세서(615), 메모리(612), 저장소(611), 애플리케이션(616) 및/또는 라디오(618)의 임의 조합을 포함할 수 있다. 칩셋(605)은 프로세서(610), 메모리(612), 저장소(611), 그래픽 프로세서(615),애플리케이션(1016) 또는 라디오(1018) 사이의 통신을 제공할 수 있다.
프로세서(615)는 하나 이상의 복합 명령어 세트 컴퓨터(CISC) 또는 축소 명령어 세트 컴퓨터(RISC) 프로세서; x86 명령어 세트 호환 프로세서, 멀티코어, 또는 임의의 다른 마이크로프로세서 또는 중앙 처리 유닛(CPU)으로서 구현될 수 있다. 실시예에서, 프로세서(615)는 멀티코어 프로세서(들), 멀티코어 모바일 프로세서(들) 등일 수 있다.
메모리(612)는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM) 또는 정적 RAM(況AM)과 같은, 그러나 이에 한정되지 않는 휘발성 메모리 장치로서 구현될 수 있다.
저장소(611)는 자기 디스크 드라이브, 광 디스크 드라이브, 내부 저장 장치, 부착형 저장 장치, 플래시 메모리, 배터리 백업형 SDRAM(동기식 DRAM) 및/또는 네트워크 액세스 가능 저장 장치와 같은, 그러나 이에 한정되지 않는 비휘발성 저장 장치로서 구현될 수 있다.
프로세서(615)는 표시할 정지 또는 비디오 매체 데이터와 같은 이미지의 처리를 수행하거나, 일반 컴퓨팅 기능을 수행할 수 있다. 프로세서(615)는 예로서 하나 이상의 CPU, GPU 또는 SoC를 포함할 수 있다. 프로세서(615)와 디스플레이(620)를 통신 결합하기 위해 아날로그 또는 디지털 인터페이스가 사용될 수 있다. 예로서, 인터페이스는 고화질 멀티미디어 인터페이스, 디스플레이 포트, 무선 HDMI 및/또는 무선 HD 추종 기술 중 임의의 것일 수 있다. 프로세서(615)는 그래픽 프로세서와 함께 단일 칩(즉, SoC) 상에 그래픽 코어로서 통합될 수 있거나, 그래픽 프로세서가 칩셋(605)의 일부로서 더 제공될 수 있다.
라디오(618)는 다양한 적절한 무선 통신 기술을 이용하여 신호를 송수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 그러한 기술은 하나 이상의 무선 네트워크를 통한 통신을 포함할 수 있다. 예시적인 무선 네트워크는 무선 근거리 네트워크(WLAN), 무선 개인 영역 네트워크(WPAN), 무선 도시 영역 네트워크(WMAN), 셀룰러 네트워크 및 위성 네트워크를 포함한다(그러나 이에 한정되지 않는다). 그러한 네트워크를 통한 통신에 있어서, 라디오(618)는 임의의 버전의 하나 이상의 적용 가능한 표준에 따라 동작할 수 있다.
실시예에서, 시스템(600)은 무선 시스템, 유선 시스템 또는 양자의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현될 때, 시스템(600)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직 등과 같이, 무선 공유 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스펙트럼의 부분을 포함할 수 있다. 유선 시스템으로서 구현될 때, 시스템(600)은 입출력(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체와 접속하기 위한 물리 커넥터, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같이 유선 통신 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 금속 도선, 인쇄 회로 보드(PCB), 백플레인, 스위치 패브릭, 반도체 재료, 트위스트 쌍 와이어, 동축 케이블, 광섬유 등을 포함할 수 있다.
본 명세서에서 설명되는 바와 같은 이미지 데이터 측정 및 그러한 측정에 기초하는 AWB 프로세스는 다양한 하드웨어 아키텍처, 셀 설계 또는 "IP 코어"에서 구현될 수 있다.
전술한 바와 같이, 시스템(600)은 다양한 물리 스타일 또는 폼 팩터로 구현될 수 있다. 도 7은 시스템(600)을 구현할 수 있는 소형 폼 팩터 장치(700)의 실시예를 나타낸다. 실시예에서, 예로서, 장치(700)는 무선 능력을 갖는 모바일 컴퓨팅 장치로서 구현될 수 있다. 모바일 컴퓨팅 장치는 처리 시스템 및 예로서 하나 이상의 배터리와 같은 모바일 전원 또는 전력 공급 장치를 갖는 임의의 장치를 지칭할 수 있다.
모바일 컴퓨팅 장치의 예는 개인용 컴퓨터(PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인 휴대 단말기(PDA), 셀룰러 전화, 조합형 셀룰러 전화/PDA, 텔레비전, 스마트 장치(예로서, 스마트폰, 태블릿 또는 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치 등을 포함할 수 있다.
모바일 컴퓨팅 장치의 예는 손목 컴퓨터, 손가락 컴퓨터, 반지 컴퓨터, 안경 컴퓨터, 벨트 클립 컴퓨터, 완장 컴퓨터, 신발 컴퓨터, 의복 컴퓨터 및 다른 웨어러블 컴퓨터와 같이 사람이 착용하도록 구성되는 컴퓨터 및/또는 매체 캡처/송신 장치도 포함할 수 있다. 다양한 실시예에서, 예로서, 모바일 컴퓨팅 장치는 컴퓨터 애플리케이션은 물론 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 일부 실시예가 예로서 스마트폰으로서 구현되는 모바일 컴퓨팅 장치와 관련하여 설명될 수 있지만, 다른 실시예는 다른 무선 모바일 컴퓨팅 장치를 이용하여 구현될 수도 있다는 것을 알 수 있다. 실시예는 이와 관련하여 제한되지 않는다.
도 7에 도시된 바와 같이, 장치(700)는 하우징(702), 디스플레이(704), 입출력(I/O) 장치(706) 및 안테나(708)를 포함할 수 있다. 장치(700)는 내비게이션 특징(712)도 포함할 수 있다. 디스플레이(704)는 모바일 컴퓨팅 장치에 적합한 정보를 표시하기 위한 임의의 적절한 디스플레이 유닛을 포함할 수 있다. I/O 장치(706)는 모바일 컴퓨팅 장치 내에 정보를 입력하기 위한 임의의 적절한 I/O 장치를 포함할 수 있다. I/O 장치(706)의 예는 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크, 스피커, 음성 인식 장치 및 소프트웨어 등을 포함할 수 있다. 정보는 또한 마이크(도시되지 않음)를 통해 장치(700) 안에 입력될 수 있거나, 음성 인식 장치에 의해 디지털화될 수 있다. 실시예는 이와 관련하여 제한되지 않는다.
본 명세서에서 설명되는 실시예는 하드웨어 요소, 소프트웨어 요소 또는 양자의 조합을 이용하여 구현될 수 있다. 하드웨어 요소 또는 모듈의 예는 프로세서, 마이크로프로세서, 회로, 회로 요소(예로서, 트랜지스터, 저항기, 커패시터, 인덕터 등), 집적 회로, 주문형 집적 회로(ASIC), 프로그래밍 가능 로직 장치(PLD), 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 로직 게이트, 레지스터, 반도체 장치, 칩, 마이크로칩, 칩셋 등을 포함한다. 소프트웨어 요소 또는 모듈의 예는 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 기계 프로그램, 운영 체제 소프트웨어, 미들웨어, 펌웨어, 루틴, 서브루틴, 함수, 메소드, 프로시져, 소프트웨어 인터페이스, 애플리케이션 프로그래밍 인터페이스(API), 명령어 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 데이터 워드, 값, 심벌 또는 이들의 임의 조합을 포함한다. 실시예를 하드웨어 요소 및/또는 소프트웨어 요소를 이용하여 구현할지에 대한 결정은 원하는 계산 레이트, 전력 레벨, 열 허용 한계, 처리 사이클 예산, 입력 데이터 레이트, 출력 데이터 레이트, 메모리 자원, 데이터 버스 속도 및 다른 설계 또는 성능 제약과 같은, 그러나 이에 한정되지 않는 설계 선택을 위해 고려되는 임의 수의 팩터에 따라 달라질 수 있다.
적어도 하나의 실시예의 하나 이상의 양태는 기계 판독 가능 저장 매체 상에 저장되는 표현 명령어에 의해 구현될 수 있다. 그러한 명령어는 기계에 의한 그의 실행 동안 메인 메모리 내에 그리고/또는 프로세서 내에 완전히 또는 적어도 부분적으로 위치할 수 있으며, 게다가 명령어를 저장하는 메인 메모리 및 프로세서 부분도 기계 판독 가능 저장 매체를 구성할 수 있다. 프로그래밍 가능 로직 회로는 컴퓨터 판독 가능 매체를 구현하는 프로세서에 의해 구성되는 레지스터, 상태 기계 등을 가질 수 있다. 게다가, 프로그래밍되는 바와 같은 그러한 로직 회로는 본 명세서에서 설명되는 실시예의 범위 내에 속하는 시스템으로 물리적으로 변환된 것으로 이해될 수 있다. 프로세서 내의 다양한 로직을 표현하는 명령어는 기계에 의해 판독될 때 기계로 하여금 본 명세서에서 설명되는 아키텍처를 따르는 로직을 형성하고/하거나 본 명세서에서 설명되는 기술을 수행하게 할 수도 있다. 셀 설계 또는 IP 코어로 알려진 그러한 표현은 유형적인 기계 판독 가능 매체 상에 저장되고, 다양한 고객 또는 제조 설비에 제공되어, 로직 또는 프로세서를 실제로 형성하는 제조 기계 내에 로딩될 수 있다.
본 명세서에서 설명된 소정 특징은 실시예와 관련하여 설명되었지만, 이러한 설명은 한정적인 것으로 해석되는 것을 의도하지 않는다. 따라서, 본 명세서에서 설명되는 구현은 물론, 본 발명과 관련된 분야의 기술자에게 명백한 다른 구현의 다양한 변경은 본 발명의 사상 및 범위 내에 있는 것으로 간주된다.
아래의 예는 특정 실시예와 관련된다.
하나 이상의 제1 실시예에서, 로우 이미지 데이터의 색도 값을 추정하기 위한 컴퓨터로 구현되는 방법(computer-implemented method)은 로우 이미지 데이터 블록의 컬러 채널 값을 수신하는 단계, 및 화이트 포인트 교정 팩터를 이용하여 컬러 채널 값을 정규화하는 단계를 포함한다. 방법은 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정하는 단계를 더 포함한다. 방법은 하나 이상의 제1 이미지 색도 가중치를 로우 이미지 데이터 블록과 연계하여 메모리에 저장하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 방법은 하나 이상의 제1 이미지 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 결정하는 단계, 및 제1 화이트 포인트 추정치를 메모리에 저장하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 컬러 채널 값 사이의 불일치를 정량화하는 단계는 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하는 단계, 및 최소 및 최대 컬러 채널 값의 비율을 결정하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 컬러 채널 값 사이의 불일치를 정량화하는 단계는 정규화된 로우 이미지 데이터 블록으로부터 평균 컬러 채널 값을 결정하는 단계, 및 평균 컬러 채널 값으로부터 컬러 채널 값의 변화 메트릭(variation metric)을 결정하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 하나 이상의 제1 이미지 색도 가중치를 결정하는 단계는 컬러 채널 값 사이의 불일치의 함수로서 제1 및 제2 색도 가중치를 결정하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 제1 및 제2 색도 가중치를 결정하는 단계는 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하는 단계를 더 포함한다. 방법은 최소 및 최대 컬러 채널 값의 비율에 기초하여 제1 색도 가중치를 결정하는 단계를 더 포함한다. 방법은 정규화된 로우 이미지 데이터 블록으로부터 평균 컬러 채널 값을 결정하는 단계를 더 포함한다. 방법은 평균 컬러 채널 값으로부터 컬러 채널 값의 평균제곱근 편차(root mean square deviation)를 결정하는 단계를 더 포함한다. 방법은 평균제곱근 편차에 기초하여 제2 색도 가중치를 결정하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 방법은 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 센서 특성화 데이터로부터 화이트 포인트 교정 팩터를 결정하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 방법은 하나 이상의 이미지 색도 가중치와 무관하게 화이트 포인트의 예비 추정치를 결정하는 단계, 및 예비 추정치에 기초하여 화이트 포인트 교정 팩터를 결정하는 단계를 더 포함한다.
하나 이상의 제1 실시예에 더하여, 방법은 센서 색도 공간 내의 로우 이미지 데이터의 위치와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하는 단계를 더 포함한다. 방법은 하나 이상의 제1 색도 가중치 및 하나 이상의 제2 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 결정하는 단계를 더 포함한다.
바로 위의 실시예에 더하여, 방법은 하나 이상의 제2 이미지 색도 가중치를 결정하는 단계가 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 센서 특성화 데이터를 수신하는 단계를 더 포함하는 것을 더 포함한다. 방법은 특성화 데이터에 기초하여 센서 색도 공간 내의 센서 조명 색도의 자취를 결정하는 단계를 더 포함한다. 방법은 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리를 결정하는 단계를 더 포함한다. 방법은 결정된 거리의 함수로서 이미지 색도 가중치를 결정하는 단계를 더 포함한다.
바로 위의 실시예에 더하여, 로우 이미지 데이터를 수신하는 단계는 복수의 이미지 데이터 블록을 수신하는 단계를 더 포함하고, 각각의 이미지 데이터 블록은 복수의 픽셀 컬러 채널 값을 표현하는 R, G 및 B 컬러 채널 값을 포함한다. 하나 이상의 제1 이미지 색도 가중치 및 하나 이상의 제2 이미지 색도 가중치는 복수의 이미지 데이터 블록 각각에 대해 결정된다. 제1 화이트 포인트 추정치를 결정하는 단계는 이미지 데이터 블록에 대해 결정된 화이트 포인트의 예비 추정치에 기초하여 화이트 포인트 교정 팩터를 결정하는 단계; 또는 복수의 이미지 데이터 블록 각각에 대해 결정된 하나 이상의 제1 이미지 색도 가중치를 대응하는 원 데이터 블록에 대해 결정된 하나 이상의 제2 이미지 색도 가중치와 조합하는 단계 중 적어도 하나를 더 포함한다. 제1 화이트 포인트 추정치를 결정하는 단계는 복수의 이미지 데이터 블록 각각과 관련된 R, G 및 B 컬러 채널 값을 하나 이상의 제1 이미지 색도 가중치 또는 이들의 조합으로 가중하는 단계, 및 복수의 데이터 블록에 대해 가중된 R, G, B 컬러 채널 값을 누산하는 단계를 더 포함한다.
바로 위의 실시예에 더하여, 하나 이상의 제1 이미지 색도 가중치의 조합은 각자가 각각의 데이터 블록에 대한 R, G 및 B 컬러 채널 값 사이의 불일치의 함수인 제1 및 제2 색도 가중치와 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하는 제3 색도 가중치의 곱을 포함한다. 방법은 로우 이미지 데이터 블록 각각에 대한 포화 값을 결정하는 단계, 및 사전 결정된 최대 포화 임계치보다 낮은 포화 값과 관련된 로우 이미지 데이터 블록에만 기초하여 제1 화이트 포인트 추정치를 결정하는 단계를 더 포함한다.
바로 위의 실시예에 더하여, 방법은 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 센서 특성화 데이터에 적어도 부분적으로 기초하여 상관 컬러 온도(CCT) 범위를 결정하는 단계를 더 포함한다. 방법은 CCT 범위 내의 데이터 값을 갖는 복수의 원 데이터 블록의 검색을 통해 무색 영역을 식별하는 단계를 더 포함한다. 방법은 식별된 무색 영역에 기초하여 제2 화이트 포인트 추정치를 결정하는 단계를 더 포함한다. 방법은 제1 화이트 포인트 추정치 및 제2 화이트 포인트 추정치 양자에 기초하여 화이트 밸런싱 이득을 결정하는 단계를 더 포함한다.
하나 이상의 제2 실시예에서, 프로세서는 AWB 모듈을 포함한다. AWB 모듈은 로우 이미지 데이터 블록의 컬러 채널 값을 수신하기 위한 로직 회로를 포함한다. 모듈은 화이트 포인트 교정 팩터를 이용하여 컬러 채널 값을 정규화하기 위한 로직 회로를 포함한다. 모듈은 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정하기 위한 로직 회로를 포함한다. 모듈은 하나 이상의 제1 이미지 색도 가중치를 로우 이미지 데이터 블록과 연계하여 메모리에 저장하기 위한 로직 회로를 더 포함한다.
하나 이상의 제2 실시예에 더하여, AWB 모듈은 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하고, 최소 및 최대 컬러 채널 값의 비율을 결정함으로써, 정규화된 컬러 채널 값 사이의 불일치를 정량화하기 위한 로직 회로를 더 포함한다.
하나 이상의 제2 실시예에 더하여, AWB 모듈은 센서 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하기 위한 로직 회로를 더 포함한다. AWB 모듈은 하나 이상의 제1 색도 가중치 및 하나 이상의 제2 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 결정하기 위한 로직 회로를 더 포함한다.
하나 이상의 제4 실시예에서, 모바일 장치는 로우 이미지 데이터를 생성하기 위한 카메라 모듈을 포함한다. 장치는 AWB 모듈을 포함하는 프로세서를 더 포함한다. AWB 모듈은 카메라 모듈에 결합되어 로우 이미지 데이터를 수신한다. AWB 모듈은 수집된 로우 이미지 데이터로부터 로우 이미지 데이터 블록을 생성한다. AWB 모듈은 로우 이미지 데이터 블록의 컬러 채널 값을 수신한다. AWB 모듈은 화이트 포인트 교정 팩터를 이용하여 컬러 채널 값을 정규화한다. AWB 모듈은 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정한다. 모바일 장치는 하나 이상의 제1 이미지 색도 가중치를 로우 이미지 데이터 블록과 연계하여 저장하기 위한 메모리를 더 포함한다.
하나 이상의 제4 실시예에 더하여, AWB 모듈은 센서 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 더 결정한다. AWB 모듈은 하나 이상의 제1 색도 가중치 및 하나 이상의 제2 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 더 결정한다.
하나 이상의 제5 실시예에서, 하나 이상의 컴퓨터 판독 가능 저장 매체는, 프로세서에 의해 실행될 때 프로세서로 하여금, 로우 이미지 데이터 블록의 컬러 채널 값을 수신하는 단계, 화이트 포인트 교정 팩터를 이용하여 컬러 채널 값을 정규화하는 단계, 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정하는 단계, 및 하나 이상의 제1 이미지 색도 가중치를 로우 이미지 데이터 블록과 연계하여 메모리에 저장하는 단계를 포함하는 방법을 수행하게 하는 저장된 명령어를 갖는다.
하나 이상의 제5 실시예에 더하여, 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 센서 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하는 단계, 및 하나 이상의 제1 색도 가중치 및 하나 이상의 제2 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 결정하는 단계를 더 포함하는 방법을 수행하게 하는 저장된 명령어를 더 포함한다.
하나 이상의 제6 실시예에서, AWB 모듈은 방법 중 어느 하나를 수행하기 위한 로직 회로를 포함한다.
하나 이상의 제7 실시예에서, 하나 이상의 컴퓨터 판독 가능 저장 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 하나 이상의 제5 실시예 중 어느 하나에서 상술된 방법을 수행하게 하는 저장된 명령어를 갖는다.
하나 이상의 제8 실시예에서, 프로세서는 AWB 모듈을 포함한다. AWB 모듈은 로우 이미지 데이터 블록의 컬러 채널 값을 수신하기 위한 수신 수단을 포함한다. AWB 모듈은 수신 수단에 결합되어 화이트 포인트 교정 팩터를 이용하여 컬러 채널 값을 정규화하기 위한 정규화 수단을 포함한다. AWB 모듈은 정규화 수단에 결합되어 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정하기 위한 컬러 채널 비교 수단을 포함한다. AWB 모듈은 비교 수단에 결합되어 하나 이상의 제1 이미지 색도 가중치를 로우 이미지 데이터 블록과 연계하여 저장하기 위한 저장 수단을 포함한다.
하나 이상의 제8 실시예에 더하여, 컬러 채널 비교 수단은 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하기 위한 최소/최대 식별 수단을 더 포함한다. 컬러 채널 비교 수단은 최소/최대 식별 수단에 결합되어 최소 및 최대 컬러 채널 값의 비율을 결정하기 위한 비율 결정 수단을 더 포함한다.
하나 이상의 제8 실시예에 더하여, AWB 모듈은 센서 색도 공간 내의 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하기 위한 색도 거리 결정 수단, 및 색도 거리 결정 수단 및 컬러 채널 비교 수단에 결합되어 하나 이상의 제1 색도 가중치 및 하나 이상의 제2 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 결정하기 위한 화이트 포인트 추정 수단을 더 포함한다.
실시예는 전술한 실시예로 한정되는 것이 아니라, 첨부된 청구항의 범위로부터 벗어나지 않고서 수정 및 변경 없이 실시될 수 있다는 것을 인식할 것이다. 예로서, 위의 실시예는 특징의 특정 조합을 포함할 수 있다. 그러나, 위의 실시예는 이와 관련하여 한정되지 않으며, 실시예에서 위의 실시예는 상기 특징의 서브세트만을 취하는 것, 상기 특징의 상이한 순서를 취하는 것, 상기 특징의 상이한 조합을 취하는 것 및/또는 명확히 열거된 특징이 아닌 다른 특징을 취하는 것을 포함할 수 있다. 따라서, 첨부된 청구항 및 그러한 청구항에 권리가 주어지는 균등물의 전체 범위를 함께 참조하여 보호 범위가 결정되어야 한다.

Claims (20)

  1. 로우 이미지 데이터(raw image data)의 색도 값(chromaticity value)을 추정하기 위한 컴퓨터로 구현되는 방법(computer-implemented method)으로서,
    로우 이미지 데이터 블록의 컬러 채널 값을 수신하는 단계와,
    화이트 포인트 교정 팩터(white point correction factor)를 이용하여 상기 컬러 채널 값을 정규화하는 단계와,
    상기 정규화된 컬러 채널 값 사이의 불일치(disparity)를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정하는 단계와,
    상기 하나 이상의 제1 이미지 색도 가중치를 상기 로우 이미지 데이터 블록과 연계하여 메모리에 저장하는 단계를 포함하는
    컴퓨터로 구현되는 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 제1 이미지 색도 가중치의 함수로서 제1 화이트 포인트 추정치를 결정하는 단계와,
    상기 제1 화이트 포인트 추정치를 메모리에 저장하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  3. 제1항에 있어서,
    상기 컬러 채널 값 사이의 불일치를 정량화하는 것은,
    상기 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하는 것과,
    상기 최소 컬러 채널 값과 상기 최대 컬러 채널 값의 비율을 결정하는 것을 더 포함하는
    컴퓨터로 구현되는 방법.
  4. 제1항에 있어서,
    상기 컬러 채널 값 사이의 불일치를 정량화하는 것은,
    상기 정규화된 로우 이미지 데이터 블록으로부터 평균 컬러 채널 값을 결정하는 것과,
    상기 평균 컬러 채널 값으로부터 상기 컬러 채널 값의 변화 메트릭(variation metric)을 결정하는 것을 더 포함하는
    컴퓨터로 구현되는 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 제1 이미지 색도 가중치를 결정하는 단계는 상기 컬러 채널 값 사이의 상기 불일치의 함수로서 제1 및 제2 색도 가중치를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  6. 제5항에 있어서,
    상기 제1 및 제2 색도 가중치를 결정하는 단계는
    상기 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하는 단계와,
    상기 최소 컬러 채널 값과 상기 최대 컬러 채널 값의 비율에 기초하여 상기 제1 색도 가중치를 결정하는 단계와,
    상기 정규화된 로우 이미지 데이터 블록으로부터 평균 컬러 채널 값을 결정하는 단계와,
    상기 평균 컬러 채널 값으로부터 상기 컬러 채널 값의 평균제곱근 편차(root mean square deviation)를 결정하는 단계와,
    상기 평균제곱근 편차에 기초하여 상기 제2 색도 가중치를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  7. 제1항에 있어서,
    상기 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 센서 특성화 데이터로부터 상기 화이트 포인트 교정 팩터를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  8. 제1항에 있어서,
    상기 하나 이상의 이미지 색도 가중치와 무관하게 상기 화이트 포인트의 예비 추정치를 결정하는 단계와,
    상기 예비 추정치에 기초하여 상기 화이트 포인트 교정 팩터를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  9. 제1항에 있어서,
    센서 색도 공간 내의 상기 로우 이미지 데이터의 위치와 센서 조명 색도의 자취(locus) 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하는 단계와,
    상기 하나 이상의 제1 색도 가중치 및 상기 하나 이상의 제2 색도 가중치의 함수로서 상기 제1 화이트 포인트 추정치를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  10. 제9항에 있어서,
    상기 하나 이상의 제2 이미지 색도 가중치를 결정하는 단계는
    상기 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 센서 특성화 데이터를 수신하는 단계와,
    상기 특성화 데이터에 기초하여 상기 센서 색도 공간 내의 상기 센서 조명 색도의 자취를 결정하는 단계와,
    상기 색도 공간 내의 상기 로우 이미지 데이터와 상기 센서 조명 색도의 자취 내의 상기 최근접 포인트 사이의 상기 거리를 결정하는 단계와,
    상기 결정된 거리의 함수로서 상기 이미지 색도 가중치를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  11. 제9항에 있어서,
    상기 로우 이미지 데이터는 복수의 이미지 데이터 블록을 수신하는 단계를 더 포함하고, 각각의 이미지 데이터 블록은 복수의 픽셀 컬러 채널 값을 표현하는 R, G 및 B 컬러 채널 값을 포함하고,
    상기 하나 이상의 제1 이미지 색도 가중치 및 상기 하나 이상의 제2 이미지 색도 가중치는 상기 복수의 이미지 데이터 블록 각각에 대해 결정되고,
    상기 제1 화이트 포인트 추정치를 결정하는 단계는
    상기 이미지 데이터 블록에 대해 결정된 상기 화이트 포인트의 예비 추정치에 기초하여 상기 화이트 포인트 교정 팩터를 결정하는 단계, 또는
    상기 복수의 이미지 데이터 블록 각각에 대해 결정된 상기 하나 이상의 제1 이미지 색도 가중치를 대응하는 원 데이터 블록에 대해 결정된 상기 하나 이상의 제2 이미지 색도 가중치와 조합하는 단계
    중 적어도 하나를 더 포함하고,
    상기 제1 화이트 포인트 추정치를 결정하는 단계는
    상기 복수의 이미지 데이터 블록 각각과 관련된 상기 R, G 및 B 컬러 채널 값을 상기 하나 이상의 제1 이미지 색도 가중치 또는 이들의 조합으로 가중하는 단계와,
    상기 복수의 데이터 블록에 대해 상기 가중된 R, G, B 컬러 채널 값을 누산하는 단계
    를 더 포함하는
    컴퓨터로 구현되는 방법.
  12. 제11항에 있어서,
    상기 하나 이상의 제1 이미지 색도 가중치의 조합은,
    각자가 각각의 데이터 블록에 대한 상기 R, G 및 B 컬러 채널 값 사이의 불일치의 함수인 제1 및 제2 색도 가중치와, 상기 색도 공간 내의 상기 로우 이미지 데이터와 상기 센서 조명 색도의 자취 내의 상기 최근접 포인트 사이의 거리에 기초하는 제3 색도 가중치의 곱을 포함하고,
    상기 방법은
    상기 로우 이미지 데이터 블록 각각에 대한 포화 값을 결정하는 단계와,
    사전 결정된 최대 포화 임계치보다 낮은 포화 값과 관련된 상기 로우 이미지 데이터 블록에만 기초하여 상기 제1 화이트 포인트 추정치를 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  13. 제11항에 있어서,
    상기 로우 이미지 데이터 블록에 의해 표현되는 이미지 픽셀 데이터를 수집하는 데 사용되는 이미지 센서와 관련된 센서 특성화 데이터에 적어도 부분적으로 기초하여 상관 컬러 온도(correlated color temperature; CCT) 범위를 결정하는 단계와,
    상기 CCT 범위 내의 데이터 값을 갖는 상기 복수의 원 데이터 블록의 검색을 통해 무색 영역(achromatic areas)을 식별하는 단계와,
    상기 식별된 무색 영역에 기초하여 제2 화이트 포인트 추정치를 결정하는 단계와,
    상기 제1 화이트 포인트 추정치 및 상기 제2 화이트 포인트 추정치 양자에 기초하여 화이트 밸런싱 이득을 결정하는 단계를 더 포함하는
    컴퓨터로 구현되는 방법.
  14. AWB 모듈을 포함하는 프로세서로서,
    상기 AWB 모듈은 로직 회로를 포함하되,
    상기 로직 회로는,
    로우 이미지 데이터 블록의 컬러 채널 값을 수신하고,
    화이트 포인트 교정 팩터를 이용하여 상기 컬러 채널 값을 정규화하고,
    상기 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정하고,
    상기 하나 이상의 제1 이미지 색도 가중치를 상기 로우 이미지 데이터 블록과 연계하여 메모리에 저장하는
    프로세서.
  15. 제14항에 있어서,
    상기 AWB 모듈은, 상기 정규화된 로우 이미지 데이터 블록으로부터 최소 컬러 채널 값 및 최대 컬러 채널 값을 결정하고, 상기 최소 컬러 채널 값과 상기 최대 컬러 채널 값의 비율을 결정함으로써, 상기 정규화된 컬러 채널 값 사이의 상기 불일치를 정량화하기 위한 로직 회로를 더 포함하는
    프로세서.
  16. 제14항에 있어서,
    상기 AWB 모듈은, 센서 색도 공간 내의 상기 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하고, 상기 하나 이상의 제1 색도 가중치 및 상기 하나 이상의 제2 색도 가중치의 함수로서 상기 제1 화이트 포인트 추정치를 결정하기 위한 로직 회로를 더 포함하는
    프로세서.
  17. 모바일 장치로서,
    로우 이미지 데이터를 생성하기 위한 카메라 모듈과,
    AWB 모듈을 포함하는 프로세서 - 상기 AWB 모듈은 메모리에 결합되어 상기 로우 이미지 데이터를 수신하고,
    수집된 로우 이미지 데이터로부터 로우 이미지 데이터 블록을 생성하고,
    로우 이미지 데이터 블록의 컬러 채널 값을 수신하고,
    화이트 포인트 교정 팩터를 이용하여 상기 컬러 채널 값을 정규화하고,
    상기 정규화된 컬러 채널 값 사이의 불일치를 정량화함으로써 하나 이상의 제1 이미지 색도 가중치를 결정함 - 와,
    상기 하나 이상의 제1 이미지 색도 가중치를 상기 로우 이미지 데이터 블록과 연계하여 저장하기 위한 메모리를 포함하는
    모바일 장치.
  18. 제17항에 있어서,
    상기 AWB 모듈은 또한
    센서 색도 공간 내의 상기 로우 이미지 데이터와 센서 조명 색도의 자취 내의 최근접 포인트 사이의 거리에 기초하여 하나 이상의 제2 이미지 색도 가중치를 결정하고,
    상기 하나 이상의 제1 색도 가중치 및 하나 이상의 제2 색도 가중치의 함수로서 상기 제1 화이트 포인트 추정치를 결정하는
    모바일 장치.
  19. AWB 모듈을 포함하는 프로세서로서,
    상기 AWB 모듈은 제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 로직 회로를 포함하는
    프로세서.
  20. 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제14항 중 어느 한 항의 방법을 수행하게 하는 저장된 명령어를 갖는
    하나 이상의 컴퓨터 판독 가능 저장 매체.
KR1020167026977A 2014-04-29 2015-03-13 로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱 KR101903626B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/264,772 2014-04-29
US14/264,772 US9386289B2 (en) 2014-04-29 2014-04-29 Automatic white balancing with chromaticity measure of raw image data
PCT/US2015/020370 WO2015167676A1 (en) 2014-04-29 2015-03-13 Automatic white balancing with chromaticity measure of raw image data

Publications (2)

Publication Number Publication Date
KR20160127806A true KR20160127806A (ko) 2016-11-04
KR101903626B1 KR101903626B1 (ko) 2018-10-04

Family

ID=54336001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026977A KR101903626B1 (ko) 2014-04-29 2015-03-13 로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱

Country Status (6)

Country Link
US (1) US9386289B2 (ko)
EP (1) EP3138283B1 (ko)
JP (1) JP6478129B2 (ko)
KR (1) KR101903626B1 (ko)
CN (1) CN106211804B (ko)
WO (1) WO2015167676A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307214B1 (en) * 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
US9307215B1 (en) * 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
CN105611264B (zh) * 2015-12-30 2018-09-14 努比亚技术有限公司 一种自动白平衡方法及装置
CN106485674A (zh) * 2016-09-20 2017-03-08 天津大学 一种基于融合技术的弱光图像增强方法
US20180115757A1 (en) * 2016-10-21 2018-04-26 Qualcomm Incorporated Mesh-based auto white balancing
KR102636465B1 (ko) * 2016-10-24 2024-02-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 전자장치
CN107085858B (zh) * 2017-03-24 2019-04-05 广州市雅江光电设备有限公司 一种混合颜色的校正方法
WO2019026189A1 (ja) * 2017-08-01 2019-02-07 オリンパス株式会社 撮像装置および制御方法
CN107909617B (zh) * 2017-11-13 2020-03-17 四川大学 一种基于非线性对比度加权的光源颜色估计方法
US10477177B2 (en) 2017-12-15 2019-11-12 Intel Corporation Color parameter adjustment based on the state of scene content and global illumination changes
CN109963134A (zh) * 2017-12-25 2019-07-02 合肥君正科技有限公司 一种校正图像的方法及装置
US10791310B2 (en) 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
CN113170028B (zh) * 2019-01-30 2023-06-20 华为技术有限公司 生成基于机器学习的成像算法的图像数据的方法
US10887567B2 (en) * 2019-03-19 2021-01-05 Microsoft Technology Licensing, Llc Camera color image processing
CN110211191B (zh) * 2019-05-31 2021-02-05 广州市雅江光电设备有限公司 一种混合颜色校正方法、装置、终端设备及可读存储介质
EP3928503B1 (en) 2019-11-13 2024-04-17 Huawei Technologies Co., Ltd. Multi-hypothesis classification for color constancy
KR20210078656A (ko) * 2019-12-19 2021-06-29 삼성전자주식회사 화이트 밸런스를 제공하는 방법 및 이를 지원하는 전자 장치
KR20220099789A (ko) * 2021-01-07 2022-07-14 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
CN115205163B (zh) * 2022-09-15 2022-12-09 深圳前海量子云码科技有限公司 一种标识图像的处理方法、装置、设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967091B1 (ko) * 2003-06-19 2010-07-01 삼성전자주식회사 디지털 영상장치의 화이트 밸런스 조정방법
JP4396225B2 (ja) * 2003-10-31 2010-01-13 コニカミノルタオプト株式会社 ホワイトバランス制御装置及び電子機器
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
EP1793584B1 (en) * 2005-12-01 2009-09-16 Arima Computer Corporation White balance method
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US8049789B2 (en) * 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
JP5250996B2 (ja) * 2007-04-25 2013-07-31 株式会社ニコン ホワイトバランス調整装置、撮像装置、およびホワイトバランス調整プログラム
US7972266B2 (en) 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US8004566B2 (en) * 2008-02-13 2011-08-23 Qualcomm Incorporated Self calibration of white balance for a digital camera device using correlated color temperature data
US8149292B2 (en) 2008-06-11 2012-04-03 Omnivision Technologies, Inc. Automatic white balance using non-uniform averaging
US8243162B2 (en) * 2008-12-11 2012-08-14 Omnivision Technologies, Inc. Automatic white balancing using meter sensors
DE102009025662A1 (de) * 2009-06-17 2010-12-23 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Steuern einer mehrfarbigen Ausgabe eines Bilds eines medizinischen Objekts
US8537240B2 (en) 2009-09-29 2013-09-17 Hewlett-Packard Development Company, L.P. White balance correction in a captured digital image
US8698918B2 (en) * 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8599280B2 (en) * 2009-11-23 2013-12-03 Samsung Electronics Co., Ltd. Multiple illuminations automatic white balance digital cameras
TW201142807A (en) * 2010-05-20 2011-12-01 Chunghwa Picture Tubes Ltd RGBW display system and method for displaying images thereof
JP2012028973A (ja) * 2010-07-22 2012-02-09 Nippon Telegr & Teleph Corp <Ntt> 照明光推定装置、照明光推定方法および照明光推定プログラム
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
JP5942522B2 (ja) * 2012-03-23 2016-06-29 株式会社ニコン 撮像装置
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
CN103093429B (zh) * 2013-01-18 2016-03-02 金三立视频科技（深圳）有限公司 图像增强方法

Also Published As

Publication number Publication date
EP3138283A4 (en) 2017-12-13
KR101903626B1 (ko) 2018-10-04
JP6478129B2 (ja) 2019-03-06
CN106211804B (zh) 2018-06-12
US20150312540A1 (en) 2015-10-29
WO2015167676A1 (en) 2015-11-05
EP3138283A1 (en) 2017-03-08
CN106211804A (zh) 2016-12-07
JP2017510186A (ja) 2017-04-06
EP3138283B1 (en) 2019-07-17
US9386289B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
KR101903626B1 (ko) 로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱
US10542243B2 (en) Method and system of light source estimation for image processing
TWI658433B (zh) 影像模糊方法、裝置、電腦可讀儲存媒體和電腦裝置
US9792687B2 (en) Point-to-point distance measurements in 3D camera images
JP2017529596A (ja) 自己相似性によって推進するブレンドを用いた詳細部保存性を有する非局所平均画像ノイズ除去
US9762878B2 (en) Auto white balance using infrared and/or ultraviolet signals
US9367916B1 (en) Method and system of run-time self-calibrating lens shading correction
US9712809B2 (en) Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
KR102610542B1 (ko) 적외선 센서를 이용하여 이미지 데이터의 색상을 조절하기 위한 전자 장치 및 방법
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US20210321069A1 (en) Electronic device which adjusts white balance of image according to attributes of object in image and method for processing image by electronic device
WO2023005870A1 (zh) 一种图像处理方法及相关设备
CN112055190A (zh) 图像处理方法、装置及存储介质
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
CN113177886B (zh) 图像处理方法、装置、计算机设备及可读存储介质
CN113727085B (zh) 一种白平衡处理方法、电子设备、芯片系统和存储介质
US20200404235A1 (en) Device for and method of correcting white balance of image
CN113639881A (zh) 色温测试方法及装置、计算机可读介质和电子设备
CN112584057A (zh) 一种光照度检测方法和装置
CN115426487A (zh) 色彩校正矩阵调整方法、装置、电子设备及可读存储介质
US20220070425A1 (en) Multi-sensor system
CN116668838A (zh) 图像处理方法与电子设备
CN108171153A (zh) 场景变换检测方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant