KR20190030028A - 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 - Google Patents

자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR20190030028A
KR20190030028A KR1020170117228A KR20170117228A KR20190030028A KR 20190030028 A KR20190030028 A KR 20190030028A KR 1020170117228 A KR1020170117228 A KR 1020170117228A KR 20170117228 A KR20170117228 A KR 20170117228A KR 20190030028 A KR20190030028 A KR 20190030028A
Authority
KR
South Korea
Prior art keywords
value
units
candidate group
division units
division
Prior art date
Application number
KR1020170117228A
Other languages
English (en)
Other versions
KR102397396B1 (ko
Inventor
강한솔
조주현
권동희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170117228A priority Critical patent/KR102397396B1/ko
Priority to US16/057,856 priority patent/US10721449B2/en
Priority to CN201810947539.6A priority patent/CN109495731B/zh
Priority to TW107132144A priority patent/TWI763920B/zh
Publication of KR20190030028A publication Critical patent/KR20190030028A/ko
Priority to US16/902,315 priority patent/US11503262B2/en
Application granted granted Critical
Publication of KR102397396B1 publication Critical patent/KR102397396B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

자동 화이트 밸런스 방법이 개시된다. 본 개시의 실시 예에 따른 자동 화이트 밸런스 방법은, 이미지 데이터를 수신하여 복수의 분할 단위로 구분하는 단계; 상기 이미지 데이터에 포함된 피부 색조(skin tone)에 대한 추정 값을 계산하는 단계; 및 상기 복수의 분할 단위들 중 적어도 일부와 상기 추정 값에 기반하여 상기 이미지 데이터의 화이트 포인트(white point) 검출에 대한 아웃라이어(outlier)를 선정하는 단계를 포함할 수 있다.

Description

자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 {IMAGE PROCESSING METHOD AND DEVICE FOR AUTO WHITE BALANCE}
본 개시의 기술적 사상은 이미지 처리 방법 및 장치, 더욱 상세하게는, 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치에 관한 것이다.
자동 화이트 밸런스는 태양광, 형광등, 백열등과 같은 광원에 따라 원래의 색과는 다른 색으로 보이는 흰색의 물체를 흰색으로 보이도록 조정하는 이미지 처리 기술이다. 사람의 경우에는 색에 대한 순응성이 있어 조명과 장소가 변경되더라도 물체에 대한 색의 차이를 잘 느끼지 못한다. 하지만, 카메라의 경우에는 색에 대한 순응성이 없기 때문에 조명과 장소에 따라 물체에 대한 색의 차이가 나타난다. 그러므로 카메라에서 광원에 따라 색이 변하는 현상을 제어하기 위해 자동 화이트 밸런스 기술이 사용된다.
본 개시의 기술적 사상은 자동 화이트 밸런스에 관한 것으로서, 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치를 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따라 이미지 신호 프로세서에 의해서 수행되는 자동 화이트 밸런스 방법은, 이미지 데이터를 수신하여 복수의 분할 단위로 구분하는 단계; 상기 이미지 데이터에 포함된 피부 색조에 대한 추정 값을 계산하는 단계; 및 상기 복수의 분할 단위들 중 적어도 일부와 상기 추정 값에 기반하여 상기 이미지 데이터의 화이트 포인트 검출에 대한 아웃라이어를 선정하는 단계를 포함할 수 있다.
본 개시의 기술적 사상의 다른 일 측면에 따른 자동 화이트 밸런스 방법은, 얼굴 이미지를 포함하는 이미지 데이터를 수신하는 단계; 상기 얼굴 이미지에 포함된 복수의 분할 단위들 중 적어도 일부에 기반하여 피부 색조에 대한 추정 값을 도출하는 단계; 및 상기 이미지 데이터에 포함된 복수의 분할 단위들 중 적어도 일부와 상기 추정 값에 기반하여 상기 이미지 데이터에 대한 자동 화이트 밸런스 수행을 위한 회색 후보군을 선정하는 단계를 포함할 수 있다.
본 개시의 기술적 사상의 또 다른 일 측면에 따라 이미지 신호 프로세서에 의해 수행되는 자동 화이트 밸런스 방법은, 얼굴 이미지를 포함하는 이미지 데이터를 수신하고, 상기 이미지 데이터를 복수의 분할 단위들로 구분하는 단계; 상기 복수의 분할 단위들 중 상기 얼굴 이미지에 포함된 분할 단위들을 구분하고, 상기 얼굴 이미지에 포함된 분할 단위들 중 적어도 일부에 기반하여 피부 색조에 대한 추정 값을 도출하는 단계; 상기 복수의 분할 단위들 중에서 색 공간에 정의된 제1 회색 후보군에 포함될 분할 단위들을 선정하는 단계; 및 상기 제1 회색 후보군에 포함된 분할 단위들 및 상기 추정 값에 기반하여, 상기 이미지 데이터에 대한 자동 화이트 밸런스 수행을 위한 제2 회색 후보군을 선정하는 단계를 포함할 수 있다.
본 개시의 기술적 사상에 따른 자동 화이트 밸런스 방법은, 이미지에 포함된 피부 색조에 기반하여 화이트 포인트 검출에 대한 아웃라이어를 선정하여, 정확성이 개선된 자동 화이트 밸런스를 수행할 수 있다.
또한, 본 개시의 기술적 사상에 따른 자동 화이트 밸런스 방법은, 개선된 정확성을 갖는 피부 색조의 추정 값을 도출할 수 있다.
도 1은 본 개시의 예시적 실시 예에 따른 이미지 처리 장치(1)의 블록도를 도시한다.
도 2는 본 개시의 예시적 실시 예에 따른 자동 화이트 밸런스 방법을 나타내는 순서도이다.
도 3은 도 1 및 2에서 설명된 분할 단위에 대한 일 예를 설명하는 블록도를 도시한다.
도 4는 본 개시의 예시적 실시 예에 따라 도 2의 단계 S20의 예시를 나타내는 순서도이다.
도 5a 및 5b는 본 개시의 예시적 실시 예에 따라 얼굴 영역에 포함된 일부의 분할 단위들을 선별하는 동작을 설명하기 위한 도면이다.
도 6a 및 6b는 본 개시의 예시적 실시 예에 따라 얼굴 영역에 포함된 일부의 분할 단위들을 선별하는 동작을 설명하기 위한 도면이다.
도 7a 및 7b는 본 개시의 예시적 실시 예에 따라, 휘도에 기반하여 얼굴 영역에 포함된 일부의 분할 단위들을 선별하는 동작을 설명하기 위한 도면이다.
도 8a 내지 8c는 본 개시의 예시적 실시 예에 따라 도 4의 단계 S130의 일 예를 설명하기 위한 도면이다.
도 9는 본 개시의 예시적 실시 예에 따라 도 2의 단계 S30의 예시를 나타내는 순서도이다.
도 10은 본 개시의 예시적 실시 예에 따라 색 공간에 정의된 제1 회색 후보군을 도시하는 그래프이다.
도 11은 본 개시의 예시적 실시 예에 따라 제2 회색 후보군을 선정하는 동작을 설명하기 위한 도면이다.
도 12는 본 개시의 다른 예시적 실시 예에 따라 제2 회색 후보군을 선정하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 또 다른 예시적 실시 예에 따라 제2 회색 후보군을 선정하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 예시적 실시 예에 따라 선정된 제2 회색 후보군을 설명하기 위한 도면이다.
도 15는 본 개시의 예시적 실시 예에 따라 선정된 제2 회색 후보군에 포함된 분할 단위들을 실제 이미지에 나타내는 도면이다.
도 16은 본 개시의 예시적 실시 예에 따른 이미지 신호 프로세서의 동작을 나타내는 순서도이다.
도 17은 본 개시의 예시적 실시 예에 따라 부가된 가중치에 기반한 동작을 설명하는 순서도이다.
도 18은 본 개 시의 예시적 실시 예에 따른 이미지 신호 프로세서가 장착된 모바일 장치(2000)의 일 예를 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시 예에 따른 이미지 처리 장치(1)의 블록도를 도시한다. 도 1의 장치는 이미지 신호 프로세서를 포함하는 각종 시스템에 해당할 수 있으며, 예컨대 디지털 카메라, 휴대용 캠코더, 스마트 폰 등 각종 모바일 장치가 도 1의 장치에 해당할 수 있다.
도 1을 참조하면, 이미지 처리 장치(1)는 이미지 센서(10) 및 이미지 신호 프로세서(image signal processor, 20)를 포함할 수 있다. 이미지 센서(10)는, 예를 들어 렌즈(미도시)를 통해 이미지(IMG)를 전달받을 수 있다. 이미지 센서(10)는 전달받은 이미지(IMG)를 센싱하여 이미지 데이터(D_IMG)로 출력할 수 있다. 이미지 데이터(D_IMG)는, 예를 들면 RGB 방식으로 색과 명암을 표현한 데이터 또는 YUV 방식으로 색과 명암을 표현한 데이터일 수 있다.
이미지 센서(10)는, 예를 들어 CCD(Charge Coupled Device) 또는 CIS(CMOS Image Sensor)를 포함할 수 있다. 일 예로, 이미지 센서(10)가 CIS를 포함하는 경우 이미지 센서(10)는 픽셀 어레이를 구비하며, 픽셀 어레이에 포함된 각각의 픽셀은 광 감지 소자를 포함할 수 있다. 광 감지 소자는 흡수하는 빛의 세기에 따라 전기적 신호를 발생시킬 수 있다.
이미지 신호 프로세서(20)는 이미지 센서(10)로부터 이미지 데이터(D_IMG)를 수신하고, 수신된 이미지 데이터(D_IMG)에 대해 R, G, B의 색성분 데이터(RGB 데이터)를 생성하는 RGB 보간 처리, RGB 데이터로부터 휘도(Y)와 색차 신호(U, V)로 이루어지는 YUV 데이터를 화소마다 생성하는 YUV 변환 처리 및/또는 윤곽 강조 등의 이미지 품질 향상을 위한 각종 디지털 신호 처리를 수행할 수 있다. 이미지 신호 프로세서(20)는 수신한 이미지 데이터(D_IMG)를 복수의 분할 단위들로 구분하고, 복수의 분할 단위들에 대해 각종 디지털 신호 처리를 수행할 수 있다.
예시적 실시 예에 있어서, 분할 단위는 픽셀(pixel) 또는 복수의 픽셀들을 포함하는 패치(patch)일 수 있다. 이미지 신호 프로세서(20)에서 처리된 데이터는, 예를 들면 SDRAM 등의 메모리(미도시)에 저장될 수 있다.
이미지 신호 프로세서(20)는 수신된 이미지 데이터(D_IMG)에 대해 자동 화이트 밸런스(AWB, Auto White Balance)를 수행할 수 있다. 자동 화이트 밸런스는 이미지 데이터(D_IMG)에서 화이트 포인트를 결정하고, 결정된 화이트 포인트의 색차 성분(R 또는 B)의 이득(gain)으로 전체 이미지 데이터(D_IMG)의 색감을 조정하는 기능일 수 있다. 이미지 신호 프로세서(20)는 수신된 이미지 데이터(D_IMG)에 대해 자동 화이트 밸런스를 수행하고, 자동 화이트 밸런싱 된 이미지 데이터(D_AWB)를 출력할 수 있다.
자동 화이트 밸런스는, 예를 들어 이미지 신호 프로세서(20)에 포함된 자동 화이트 밸런스 모듈(22)에 의해 수행될 수 있다. 예시적 실시 예에 있어서, 자동 화이트 밸런스 모듈(22)은 논리 합성을 통해서 설계된 하드웨어 형태로 구현되거나, 프로세서에 의해서 실행되는 펌웨어와 같은 소프트웨어 형태로 제공될 수 있다.
구체적으로, 이미지 신호 프로세서(20)는 자동 화이트 밸런스를 위해 입력된 이미지 데이터(D_IMG)에서 광원(Illuminant)에 의한 피사체의 색 변화가 가장 큰 화이트 포인트를 검출하고, 검출된 화이트 포인트의 RGB 비율로 색 온도를 판단할 수 있다. 그 다음, 검출된 색 온도에 따라 이미지 데이터(D_IMG)의 R과 B의 이득을 조정함으로써 전체 색감을 시프트(shift)시켜 색 밸런스를 맞추는 색 보정이 수행될 수 있다.
광원에 의해 이미지 데이터(D_IMG)의 색 온도가 변한 경우, 화이트 포인트가 희게 보이도록 하는 조정이 필요할 수 있다. 예를 들어, 청색이 포함된 화이트 포인트에 대해 R의 이득을 증가시키고 B의 이득을 감소시키도록 조정할 수 있다. 또한, 적색이 포함된 화이트 포인트에 대해 B의 이득을 증가시키고 R의 이득을 감소시키도록 조정할 수 있다.
본 개시의 예시적 실시 예에 따른 이미지 신호 프로세서(20)는, 이미지 데이터(D_IMG)에 포함된 피부 색조(skin tone)의 추정 값에 기반하여, 자동 화이트 밸런스의 기준이 되는 화이트 포인트를 선정할 수 있다. 예를 들어, 이미지 신호 프로세서(20)는 이미지 데이터(D_IMG)에 얼굴 이미지가 포함된 경우, 얼굴 이미지에 기반하여 피부 색조에 대한 추정 값을 도출하여 화이트 포인트를 선정할 수 있다. 상기와 같은 특징에 따라서, 이미지 신호 프로세서(20)는 정확한 화이트 포인트를 선정할 수 있으며, 이에 따라 이미지 데이터(D_IMG)에 대한 정확한 자동 화이트 밸런스를 수행할 수 있다.
도 2는 본 개시의 예시적 실시 예에 따른 자동 화이트 밸런스 방법을 나타내는 순서도이다. 도 2의 방법은, 예를 들어 도 1에 도시된 이미지 신호 프로세서(20)에 의해서 수행될 수 있다.
도 2를 참조하면, 이미지 신호 프로세서(20)는 이미지 데이터(D_IMG)를 수신하여 복수의 분할 단위로 구분할 수 있다(S10). 각각의 분할 단위는, 예를 들어 픽셀, 또는 복수의 픽셀을 포함하는 패치일 수 있다. 또는, 각각의 분할 단위는, 복수의 패치를 포함하는 블록일 수 있다. 각각의 분할 단위는 복수 개의 꼭지점들로 구성될 수 있다.
다음, 이미지 신호 프로세서(20)는 수신한 이미지 데이터(D_IMG)에 포함된 피부 색조에 대한 추정 값을 도출할 수 있다(S20). 예시적 실시 예에 있어서, 이미지 데이터(D_IMG)에 얼굴 이미지가 포함된 경우, 이미지 신호 프로세서(20)는 얼굴 이미지에 기반하여 피부 색조에 대한 추정 값을 도출할 수 있다.
예를 들어, 이미지 신호 프로세서(20)는 얼굴 이미지에 포함된 분할 단위들 중 일부를 선별하고, 선별한 분할 단위들 각각의 색 성분에 기반하여 피부 색조에 대한 추정 값을 도출할 수 있다. 예시적 실시 예에 있어서, 추정 값은 얼굴 이미지에 포함된 적어도 일부의 분할 단위들의 색 성분에 대한 평균값으로서 도출될 수 있다.
다음, 이미지 신호 프로세서(20)는 이미지 데이터(D_IMG)에 포함된 복수의 분할 단위들 중 적어도 일부와 피부 색조에 대한 추정 값에 기반하여 이미지 데이터(D_IMG)의 화이트 포인트(white point) 검출에 대한 아웃라이어(outlier)를 선정할 수 있다(S30). 예시적 실시 예에 있어서, 아웃라이어는 화이트 포인트 검출 동작 시 배제되는 분할 영역들일 수 있다. 다시 말해서, 이미지 신호 프로세서(20)는 피부 색조 값에 기반하여, 화이트 포인트 검출 시 제외될 분할 영역들을 선정할 수 있다.
화이트 포인트는, 예를 들어 이미지에 포함된 분할 단위들 중 회색 후보군(gray candidate cluster)에 포함된 분할 단위들의 색 성분에 대한 평균에 기반하여 도출될 수 있다. 예시적 실시 예에 있어서, 이미지 신호 프로세서(20)는 이미지 데이터(D_IMG)에 포함된 분할 단위들 중에서 색 공간(Color space)에 정의된 제1 회색 후보군에 포함되는 분할 단위들을 선정하고, 피부 색조에 대한 추정 값에 기반하여 제1 회색 후보군 중 아웃라이어를 선정할 수 있다. 이미지 신호 프로세서(20)는 제1 회색 후보군 중 아웃라이어를 제외한 나머지 분할 단위들을 제2 회색 후보군으로 선정하고, 제2 회색 후보군에 포함된 분할 단위들에 기반하여 화이트 포인트를 검출할 수 있다.
도 3은 도 1 및 2에서 설명된 분할 단위에 대한 일 예를 설명하는 블록도를 도시한다.
도 3을 참조하면, 이미지(IMG)는 복수의 패치(PC)들로 구분될 수 있고, 각각의 패치(PC)들은 다시 복수의 픽셀(PX)들로 구분될 수 있다. 이미지(IMG)는 하나의 화면을 표시하기 위한 다양한 색이나 휘도에 대한 정보를 포함할 수 있다. 예를 들어, 이미지(IMG)에 포함된 픽셀(PX)들 각각은 색이나 휘도 성분에 대한 데이터를 구비할 수 있다. 이미지(IMG)에 포함된 픽셀(PX)들은 RGB 방식이나 YUV 방식으로 색이나 휘도를 표시할 수 있다.
예시적 실시 예에 있어서, 이미지 신호 프로세서(20)는 패치(PC) 또는 픽셀(PX) 단위로 자동 화이트 밸런스를 수행할 수 있다. 일 예로, 자동 화이트 밸런스가 패치(PC) 단위로 수행되는 경우, 이미지 신호 프로세서(20)는 이미지(IMG)에 포함된 일부 패치(PC)들의 색 정보에 기반하여 피부 색조에 대한 추정 값을 도출하고, 이에 기반하여 화이트 포인트 검출에 대한 아웃라이어가 될 패치(PC)들을 선정할 수 있다. 설명의 편의를 위해, 차후 본 명세서에서는 패치(PC) 단위로 자동 화이트 밸런스가 수행되는 것으로 상술하기로 한다.
도 4는 본 개시의 예시적 실시 예에 따라 도 2의 단계 S20의 예시를 나타내는 순서도이다. 도 4는, 예를 들어 도 1의 이미지 신호 프로세서(20)에 의해서 수행될 수 있다.
도 4를 참조하면, 이미지 신호 프로세서(20)는 얼굴 이미지가 포함된 이미지 데이터(D_IMG)를 수신할 수 있다(S100). 일 예로, 이미지 데이터(D_IMG)에는 얼굴 이미지 전체가 포함될 수도 있고, 얼굴 이미지 일부만 포함될 수도 있다.
다음, 이미지 신호 프로세서(20)는 이미지 데이터(D_IMG)에서 얼굴 영역을 검출할 수 있다(S110). 예를 들어, 얼굴 영역의 검출은 이미지 신호 프로세서(20)에 포함된 얼굴 검출기(미도시)가 수행할 수 있다. 얼굴 검출기는 이미지 데이터(D_IMG)에 대하여 미리 저장된 얼굴에 관한 윤곽이나 색 등의 모델 패턴과 특징이 가까운 얼굴 부분을 검출하는 얼굴 검출을 수행할 수 있다. 또한, 얼굴 검출기는 검출한 얼굴 영역의 좌표 정보를 생성하고, 생성된 좌표 정보는 자동 화이트 밸런스 수행에 대한 기반이 될 수 있다. 얼굴 검출기는, 예를 들어 논리 합성을 통해서 설계된 하드웨어 형태로 구현되거나, 프로세서에 의해서 실행되는 펌웨어와 같은 소프트웨어 형태로 제공될 수 있다.
얼굴 영역 검출을 위하여, 얼굴 검출기는 특징 기반 얼굴 검출 방법을 사용하여 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 피부 색조)을 찾고, 얼굴의 특징점 좌표를 산출할 수 있다. 또는, 얼굴 검출기는 얼굴 형판(template) 기반 검출 방법을 사용하여 얼굴 영역을 검출할 수도 있고, 복수의 샘플 이미지들을 통해 얼굴과 얼굴이 아닌 부분에 대해 학습 시킨 뒤 입력된 이미지 데이터(D_IMG)에서 얼굴 영역을 구분하는 SVM(support vector machine) 방법을 통해 얼굴 영역을 검출할 수도 있다.
다음, 이미지 신호 프로세서(20)는 얼굴 영역에 포함된 분할 단위들 중 일부를 선별할 수 있다(S120). 예시적 실시 예에 있어서, 이미지 신호 프로세서(20)는, 얼굴 영역에 포함된 복수의 분할 단위들 중, 각 분할 단위를 구성하는 모든 꼭지점이 얼굴 영역에 포함되는 분할 단위들을 선별할 수 있다. 다시 말해서, 선별된 분할 단위들을 구성하는 모든 꼭지점들은 얼굴 영역에 포함될 수 있다.
또한, 이미지 신호 프로세서(20)는 얼굴 영역에 포함된 분할 단위들 중 소정의 문턱 휘도 이하의 휘도를 갖는 분할 단위들을 상기 선별에서 제외할 수 있다. 예시적 실시 예에 있어서, 소정의 문턱 휘도는 복수의 샘플 이미지 데이터들에 대한 통계적 분석에 기반하여 설정된 값일 수 있다.
다음, 이미지 프로세서(20)는 선별된 분할 단위들 각각의 색 성분에 기반하여 피부 색조에 대한 추정 값을 도출할 수 있다(S130). 예시적 실시 예에 있어서, 이미지 프로세서(20)는 선별된 분할 단위들 각각의 색 성분에 대한 광역(global) 평균값을 도출하고, 광역 평균값과 선별된 분할 단위들 각각의 색 성분을 다시 비교할 수 있다. 이미지 프로세서(20)는 광역 평균값 대비 기준 편차(reference deviation)보다 큰 차이가 나는 색 성분을 갖는 분할 단위들을 검출하고, 선별된 분할 단위들 중 검출한 분할 단위들을 제외한 나머지 분할 단위들 각각의 색 성분에 기반하여 피부 색조에 대한 추정 값을 도출할 수 있다. 피부 색조에 대한 추정 값은, 예를 들어 상기 나머지 분할 단위들 각각의 색 성분의 최종 평균값으로서 도출될 수 있다.
도 5a 및 5b는 본 개시의 예시적 실시 예에 따라 얼굴 영역에 포함된 일부의 분할 단위들을 선별하는 동작을 설명하기 위한 도면이다. 도 5a는, 예를 들어 도 4의 단계 S120의 예시를 나타내는 순서도를, 도 5b는 도 5a에 따라 분할 단위들이 선별된 예시적 이미지를 각각 도시한다. 분할 단위는, 예를 들어 패치일 수 있다.
도 5a 및 5b를 참조하면, 이미지 신호 프로세서(20)는 얼굴 영역(F)에 포함된 분할 단위들의 꼭지점 정보를 추출할 수 있다(S121). 얼굴 영역(F)은 얼굴 이미지에 기반하여 이미지 신호 프로세서(20)로부터 검출된 영역일 수 있다. 예를 들어, 얼굴 영역(F)은 이미지 신호 프로세서(20)에 포함된 얼굴 검출기로부터 검출될 수 있고, 복수의 분할 단위들을 포함할 수 있다. 얼굴 영역(F)은, 예를 들어 이미지(IMG)의 복수의 분할 단위들 중 각 분할 단위를 구성하는 꼭지점들 중 적어도 하나의 꼭지점이 얼굴 이미지에 포함되는 분할 단위들로서 구성될 수 있으나 이에 한정되는 것은 아니다.
다음, 이미지 신호 프로세서(20)는 얼굴 영역(F)에 포함된 분할 단위들 중 모든 꼭지점이 얼굴 이미지에 포함된 분할 단위들을 선별할 수 있다(S122). 다시 말해서, 선별된 분할 단위들(FC)의 모든 꼭지점은 얼굴 이미지에 포함될 수 있다. 다른 예로서, 이미지 신호 프로세서(20)는 얼굴 영역(F)에 포함된 분할 단위들 중, 각 분할 단위를 구성하는 세 개 이상의 꼭지점이 얼굴 이미지에 포함되는 분할 단위들을 선별할 수도 있다.
예시적 실시 예에 있어서, 이미지 신호 프로세서(20)는 선별된 분할 단위들(FC) 중 적어도 일부의 분할 단위들 각각의 색 성분에 기반하여 피부 색조에 대한 추정 값을 도출할 수 있다. 예시적 실시 예에 있어서, 피부 색조에 대한 추정 값은 선별된 분할 단위들(FC) 중 적어도 일부의 분할 단위들 각각의 색 성분에 대한 평균값으로서 도출 될 수 있다.
얼굴 영역(F) 중 선별된 분할 단위들(FC) 외의 분할 단위들은 피부 색조에 대한 추정 값 도출에서 제외될 수 있다. 이에 따라, 얼굴 외의 이미지(예를 들어, 머리 또는 배경 등)가 포함된 분할 단위들이 피부 색조에 대한 추정 값 도출에서 제외되어 추정 값의 정확성이 개선될 수 있다.
도 6a 및 6b는 본 개시의 예시적 실시 예에 따라 얼굴 영역에 포함된 일부의 분할 단위들을 선별하는 동작을 설명하기 위한 도면이다. 도 6a는, 예를 들어 도 4의 단계 S120의 예시를 나타내는 순서도를, 도 6b는 도 6a에 따라 분할 단위들이 선별된 예시적 이미지를 각각 도시한다. 도 6a 및 6b에 대해, 도 5a 및 5b와 중복되는 내용은 생략하기로 한다.
도 6a 및 6b를 참조하면, 이미지 신호 프로세서(20)는 모든 꼭지점이 얼굴 이미지에 포함된 분할 단위들을 선별한 다음(S122'), 선별된 분할 단위들(FC') 중 눈 또는 눈썹 이미지를 포함하는 분할 단위들을 제외할 수 있다(S123'). 다시 말해서, 선별된 분할 단위들(FC')의 모든 꼭지점은 얼굴 이미지에 포함되고, 눈 또는 눈썹 이미지를 포함하는 분할 단위들이 제외될 수 있다. 예를 들어, 눈 또는 눈썹 이미지를 포함하는 분할 단위들에 대한 정보는 이미지 신호 프로세서(20)에 포함된 얼굴 검출기에서 제공될 수 있다.
도 7a 및 7b는 본 개시의 예시적 실시 예에 따라, 휘도에 기반하여 얼굴 영역에 포함된 일부의 분할 단위들을 선별하는 동작을 설명하기 위한 도면이다. 도 7a는, 예를 들어 도 4의 단계 S120의 예시를 나타내는 순서도를, 도 7b는 분할 단위들의 휘도 값의 일 예를 각각 도시한다.
도 7a 및 7b를 참조하면, 이미지 신호 프로세서(20)는 얼굴 영역에 포함된 분할 단위들 중 적어도 일부의 휘도 값을 추출할 수 있다(S124). 일 예로, 이미지 신호 프로세서(20)는 도 5a에서 설명한 선별 동작에 따라 선별된 분할 단위들(FC)에 대한 휘도 값을 추출할 수 있으나 이에 한정되는 것은 아니다.
선별된 분할 단위들(FC)은 각각 대응하는 이미지에 대한 휘도 정보를 수치화한 휘도 값을 가질 수 있다. 예를 들어, 휘도 값이 상대적으로 낮은 분할 단위는 휘도 값이 상대적으로 높은 분할 단위보다 대응하는 이미지가 어두울 수 있다.
다음, 이미지 신호 프로세서(20)는 소정의 문턱 휘도 이하의 휘도 값을 갖는 분할 단위를 추정 값 도출에서 제외할 수 있다(S125). 구체적으로, 선별된 분할 단위들(FC) 중 소정의 문턱 휘도 이하의 휘도 값을 갖는 분할 단위들은 피부 색조에 대한 추정 값 도출에서 제외될 수 있다.
예를 들어, 문턱 휘도가 '500'인 경우, 이미지 신호 프로세서(20)는 선별된 분할 단위들(FC) 중 '500'이하의 휘도 값을 갖는 분할 단위들(D_FC)을 제외한 나머지 분할 단위들에 기반하여 피부 색조에 대한 추정 값을 도출할 수 있다. 이에 따라, 선별된 분할 단위들(FC) 중 피부색과 특성이 비교적 상이한 어두운 분할 단위들이 피부 색조에 대한 추정 값 도출에서 제외되어 추정 값의 정확성이 개선될 수 있다.
도 8a 내지 8c는 본 개시의 예시적 실시 예에 따라 도 4의 단계 S130의 일 예를 설명하기 위한 도면이다. 도 8a는 본 개시의 예시적 실시 예에 따른 추정 값 도출 단계에 대한 순서도를, 도 8b는 선별된 분할 단위들의 색 성분에 대한 분포도를, 도 8c는 추정 값 도출을 구현하는 의사코드(pseudo code)를 각각 도시한다.
도 8a를 참조하면, 이미지 신호 프로세서(20)는 선별된 분할 단위들 각각의 색 성분에 대한 광역 평균값을 도출할 수 있다(S132). 선별된 분할 단위들은, 예를 들어 도 5a 내지 도 7b에서 설명된 동작이 수행된 분할 단위들일 수 있다. 선별된 분할 단위들 각각의 색 성분은, 예를 들어 적색 성분 및 청색 성분을 포함할 수 있다. 이미지 신호 프로세서(20)는 선별된 분할 단위들 각각의 적색 성분의 평균값 및 청색 성분의 평균값을 각각 적색 성분의 광역 평균값 및 청색 성분의 광역 평균값으로서 도출할 수 있다.
다음, 이미지 신호 프로세서(20)는 상기 선별된 분할 단위들 중 광역 평균값 대비 기준 편차보다 큰 차이를 갖는 색 성분을 갖는 분할 단위들을 검출할 수 있다(S134). 예시적 실시 예에 있어서, 이미지 신호 프로세서(20)는 적색 성분에 대한 광역 평균값과 선별된 분할 단위들 각각의 적색 성분을 비교하여, 적색 성분에 대한 광역 평균값 대비 기준 편차보다 큰 차이를 갖는 적색 성분을 갖는 분할 단위들을 검출할 수 있다. 또한, 이미지 신호 프로세서(20)는 청색 성분에 대한 광역 평균값과 선별된 분할 단위들 각각의 청색 성분을 비교하여, 청색 성분에 대한 광역 평균값 대비 기준 편차보다 큰 차이를 갖는 청색 성분을 갖는 분할 단위들을 검출할 수 있다.
예시적 실시 예에 있어서, 기준 편차는 선별된 분할 단위들의 색 성분들에 대한 색 공간에서의 분산값(variance)과 조율 파라미터(tuning parameter)의 곱일 수 있다. 예를 들어, 이미지 신호 프로세서(20)는 선별된 분할 단위들 각각의 적색 성분의 분산값과 청색 성분의 분산값을 도출할 수 있다. 조율 파라미터는, 예를 들어 복수의 샘플 이미지 데이터에 대한 통계적 처리에 기반하여 도출될 수 있다.
기준 편차는 적색 성분의 분산값과 조율 파라미터의 곱 및 청색 성분의 분산값과 조율 파라미터의 곱 중 적어도 하나로서 도출될 수 있다. 예를 들어, 이미지 신호 프로세서(20)는 적색 성분에 대한 광역 평균값 대비 기준 편차보다 큰 차이를 갖는 적색 성분을 갖는 분할 단위들을 검출하는 경우, 적색 성분의 분산값과 조율 파라미터의 곱을 통해 기준 편차를 도출할 수 있다. 또한, 이미지 신호 프로세서(20)는 청색 성분에 대한 광역 평균값 대비 기준 편차보다 큰 차이를 갖는 청색 성분을 갖는 분할 단위들을 검출하는 경우, 청색 성분의 분산값과 조율 파라미터의 곱을 통해 기준 편차를 도출할 수 있다.
본 실시 예에서는 분산값이 기준 편차 도출에 기반이 되었으나, 이에 한정되는 것은 아니다. 예를 들면, 기준 편차는 선별된 분할 단위들의 색 성분에 대한 표준 편차(standard deviation)나 변동 계수(coefficient of variation) 등에 기반하여서도 도출될 수 있다.
다음, 이미지 신호 프로세서(20)는 선별된 분할 단위들 중 검출한 분할 단위들을 제외한 나머지 분할 단위들 각각의 색 성분에 대한 최종 평균값을 피부 색조에 대한 추정 값으로서 도출할 수 있다(S136). 최종 평균값은, 선별된 분할 단위들 중 검출한 분할 단위들을 제외한 나머지 분할 단위들 각각의 색 성분에 기반하여 도출됨에 따라, 광역 평균값보다 개선된 정확성을 갖는 피부 색조에 대한 추정 값일 수 있다.
도 8b를 참조하면, 선별된 분할 단위들 중 임의의 분할 단위의 색 성분(P)과 광역 평균값(G_Mean)의 거리(d)가 분포도에 표시될 수 있다. 분포도는, 예를 들어 정규화된 적(청)색 공간(Normalized R(B))에서, 선별된 분할 단위들의 색 성분에 대한 분포도일 수 있다.
예를 들어, 임의의 분할 단위의 색 성분(P)과 광역 평균값(G_Mean)간의 거리(d)가 상대적으로 가까운 경우, 임의의 분할 단위는 비교적 지배적인 피부 색조의 특징을 갖는 분할 단위로 판단될 수 있다. 또한, 임의의 분할 단위의 색 성분(P)과 광역 평균값(G_Mean)간의 거리(d)가 상대적으로 먼 경우, 임의의 분할 단위는 비교적 피부 색조의 특징으로부터 벗어난 것으로 판단될 수 있다.
따라서, 정확한 피부 색조에 대한 추정 값을 도출하기 위해서는 광역 평균값(G_Mean)으로부터 거리(d)가 기준 편차보다 큰 분할 단위들은 피부 색조에 대한 추정 값 도출에서 제외될 수 있다. 이로써, 선별된 분할 단위들 중 비교적 지배적인 피부 색조의 특징을 갖는 분할 단위들 각각의 색 성분에 대한 최종 평균값이 피부 색조에 대한 추정 값으로서 도출되므로, 피부 색조에 대한 추정 값은 개선된 정확성을 가질 수 있다.
도 8c를 참조하면, 의사코드에는 선별된 분할 단위들의 적색 성분에 대한 광역 평균값(MeanOfRn) 및 청색 성분에 대한 광역 평균값(MeanOfBn), 임의의 분할 단위의 적색 성분의 분산값(VarRn) 및 청색 성분의 분산값(VarBn), 조율 파라미터(
Figure pat00001
), 임의의 분할 단위의 적색 성분(CurPatch.R) 및 청색 성분(CurPatch.B)에 대한 변수가 선언될 수 있다(80~83). 또한, 임의의 분할 단위의 적색 성분(CurPatch.R)과 적색 성분에 대한 광역 평균값(MeanOfRn)의 차 및 임의의 분할 단위의 청색 성분(CurPatch.B)과 청색 성분에 대한 광역 평균값(MeanOfBn)의 차가 각각 임시 변수(TempDiffRn, TempDiffBn)로서 정의될 수 있다.
다음, 조건문을 통해 임의의 분할 단위의 색 성분이 광역 평균값(MeanOfRn, MeanOfBn) 대비 기준 편차(VarRn*
Figure pat00002
, VarBn*
Figure pat00003
)보다 큰 차이가 나는지 여부를 판단할 수 있다(86~89). 예를 들어, 적색 성분의 비교를 위한 기준 편차는 적색 성분의 분산값(VarRn)과 조율 파라미터(
Figure pat00004
)의 곱일 수 있고, 청색 성분의 비교를 위한 기준 편차는 청색 성분의 분산값(VarBn)과 조율 파라미터(
Figure pat00005
)의 곱일 수 있다.
예시적 실시 예에 있어서, 임의의 분할 단위의 색 성분(CurPatch.R, CurPatch.B)이 광역 평균값(MeanOfRn, MeanOfBn)과 기준 편차(VarRn*
Figure pat00006
, VarBn*
Figure pat00007
) 이하로 차이가 나는 경우, 임의의 분할 단위는 피부 색조에 대한 추정 값 도출에 기반이 될 수 있다(FdAvg(CurPatch)). 또는, 임의의 분할 단위의 색 성분이 광역 평균값(MeanOfRn, MeanOfBn) 대비 기준 편차(VarRn*
Figure pat00008
, VarBn*
Figure pat00009
)보다 큰 차이가 나는 경우, 임의의 분할 단위는 피부 색조에 대한 추정 값 도출에서 제외될 수 있다(EXC(CurPatch)).
도 9는 본 개시의 예시적 실시 예에 따라 도 2의 단계 S30의 예시를 나타내는 순서도이다. 도 9는, 예를 들어 도 1의 이미지 신호 프로세서(20)에 의해서 수행될 수 있다.
도 9를 참조하면, 이미지 신호 프로세서(20)는 색 공간에 정의된 제1 회색 후보군에 포함되는 회색 후보 분할 단위들을 선정할 수 있다(S200). 예시적 실시 예에 있어서, 제1 회색 후보군이 정의된 색 공간은 적색(R), 녹색(G) 및 청색(B) 성분의 합에 대한 적색(R) 성분과 청색(B) 성분 각각의 정규화 값으로 구성될 수 있다. 또는, 색 공간은 녹색(G) 성분에 대한 적색(R) 성분과 청색(B) 성분 각각의 정규화 값으로 구성될 수도 있다.
다음, 이미지 신호 프로세서(20)는 제1 회색 후보군 및 피부 색조에 대한 추정 값에 기반하여, 제2 회색 후보군을 선정할 수 있다(S210). 예시적 실시 예에 있어서, 이미지 데이터(D_IMG)가 얼굴 이미지를 포함하는 경우, 피부 색조에 대한 추정 값은 얼굴 이미지에 포함된 분할 단위들 중 적어도 일부의 분할 단위들의 색 성분에 대한 평균값일 수 있다. 추정 값은 피부 색조에 대한 적색 성분 추정 값과 청색 성분 추정 값을 포함할 수 있다.
제2 회색 후보군은, 예를 들어 제1 회색 후보군 중에서 화이트 포인트 검출에 대한 아웃라이어를 선정하고, 선정한 아웃라이어를 제1 회색 후보군에서 제외한 나머지 영역일 수 있다. 다시 말해서, 제2 회색 후보군의 선정은, 색 공간에서의 제1 회색 후보군 영역을 좁히는 과정일 수 있다.
예시적 실시 예에 있어서, 이미지 신호 프로세서(20)는 제1 회색 후보군에 포함된 회색 후보 분할 단위들 중 제1 분할 단위에 대해, 적색 성분 추정 값, 청색 성분 추정 값, 제1 분할 단위의 적색 성분의 값 및 청색 성분의 값에 기반하여, 제2 회색 후보군으로 선정할 지 여부를 결정할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
다음, 이미지 신호 프로세서(20)는 제2 회색 후보군에서 화이트 포인트를 선정할 수 있다(S220). 화이트포인트는, 예를 들어 제2 회색 후보군에 포함된 분할 단위들의 색 성분에 대한 평균값일 수 있다.
본 개시의 예시적 실시 예에 따를 때, 피부 색조에 대한 추정 값에 기반하여 화이트 포인트 검출에 대한 아웃라이어가 선정되고, 상기 아웃라이어는 화이트 포인트 검출에서 배제되므로, 부정확한 피부색에 기반하여 자동 화이트 밸런스가 수행되는 것을 방지할 수 있다. 또한, 피부 색조에 기반하여 이미지 데이터 중 비교적 회색에 가까운 분할 단위들을 선별하게 되어 정확성이 개선된 자동 화이트 밸런스를 수행할 수 있다.
도 10은 본 개시의 예시적 실시 예에 따라 색 공간에 정의된 제1 회색 후보군을 도시하는 그래프이다. 그래프의 x축은 정규화 된 적색 성분(Normalized)을, 그래프의 y축은 정규화 된 청색 성분(Normalized)을 나타낼 수 있다.
도 10을 참조하면, 정규화 된 적색 성분(Normalized R) 및 청색 성분(Normalized B)으로 구성되는 색 공간에서 제1 회색 후보군(G_1)이 정의될 수 있다. 예를 들어, 도 10에 도시된 그래프는 휘도(Y)가 일정한 색 공간을 가정하고, 색 공간 영역에서 색 성분의 상대적인 변화에 따른 분할 단위들의 색 정보 분포를 도시할 수 있다.
정규화 된 적색 성분(Normalized R)은 예를 들어 R/(R+B+G) 또는 R/G일 수 있다. 또한, 정규화 된 청색 성분(Normalized B)은 예를 들어 B/(R+B+G) 또는 B/G일 수 있다.
이미지 처리 장치(도 1의 1)는 센싱된 이미지(IMG)의 전체 데이터를 사용하지 않고, 샘플링된 데이터의 정해진 일부 분할 단위(예를 들면, 패치) 내의 평균값에 기반하여 패칭 데이터(Patching data)를 이용할 수 있다. 제1 회색 후보군(G_1)의 평균값에 기반하여 화이트 포인트가 도출될 수 있으므로, 이러한 패칭 데이터를 이용하여 화이트 포인트를 추출하기 위해 먼저 제1 회색 후보군(G_1)의 선택이 이루어질 수 있다.
제1 회색 후보군(G_1)은 복수의 회색 후보 분할 단위(PC_G)들을 포함할 수 있다. 회색 후보 분할 단위(PC_G)는, 예를 들어 이미지 데이터(D_IMG)에 포함된 분할 단위들 중 적색 성분과 청색 성분이 모두 제1 회색 후보군(G_1)에 포함되는 분할 단위들일 수 있다.
예시적 실시 예에 있어서, 이미지 데이터(D_IMG)의 피부 색조에 대한 추정 값(FdAvg)이 제1 회색 후보군(G_1)에 포함될 수 있다. 추정 값(FdAvg)은 피부 색조에 대한 적색 성분 및 청색 성분을 포함할 수 있다. 예시적 실시 예에 있어서, 추정 값(FdAvg)은 얼굴 이미지에 포함된 분할 단위들 중 일부의 분할 단위들 각각의 색 성분에 대한 평균값일 수 있다.
예시적 실시 예에 있어서, 제1 회색 후보군(G_1)에 포함된 복수의 회색 후보 분할 단위(PC)들에 대해, 각각에 포함된 색 정보와 추정 값(FdAvg)에 기반하여 제2 회색 후보군으로 선정될 지 여부가 결정될 수 있다. 예를 들어, 제2 회색 후보군으로 선정된 분할 단위들은 화이트 포인트 도출에 기반이 될 수 있다. 제2 회색 후보군 선정에 대한 설명은 후술하기로 한다.
도 11은 본 개시의 예시적 실시 예에 따라 제2 회색 후보군을 선정하는 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 제1 회색 후보군(G_1)에 포함된 임의의 분할 단위의 적색 성분 및 청색 성분을 각각 CurrentPatch.R 및 CurrentPatch.B로, 추정 값(FdAvg)의 적색 성분 및 청색 성분을 각각 FdAvg.R 및 FdAvg.B로 정의할 수 있다. 이 경우, 제1 회색 후보군(G_1)에 포함된 분할 단위들 중 다음 조건을 만족하는 분할 단위들은 아웃라이어(OUTLIER)로 선정될 수 있다.
Figure pat00010
[수학식 1]에서, ABS는 절대값을 의미할 수 있고, TP는 조율 파라미터를 의미할 수 있다. 다시 말해서, 제1 회색 후보군(G_1)에 포함된 임의의 분할 단위는, 상기 임의의 분할 단위의 적색 성분과 추정 값의 적색 성분의 차에 대한 절대값 및 상기 임의의 분할 단위의 청색 성분과 추정 값의 청색 성분의 차에 대한 절대값의 합이 조율 파라미터의 값보다 작은 경우, 아웃라이어(OUTLIER)로 선정될 수 있다. 예를 들어, [수학식 1]에 따른 아웃라이어(OUTLIER)의 영역은 추정 값(FdAvg) 좌표가 중심인 마름모 형태일 수 있다. 예시적 실시 예에 있어서, 아웃라이어(OUTLIER)는 제2 회색 후보군에서 제외되고, 화이트 포인트 도출 시 배제될 수 있다.
도 12는 본 개시의 다른 예시적 실시 예에 따라 제2 회색 후보군을 선정하는 동작을 설명하기 위한 도면이다. 도 12에 대해, 도 11과 중복되는 내용은 생략하기로 한다.
도 12를 참조하면, 제1 회색 후보군(G_1)에 포함된 분할 단위들 중 다음 조건을 만족하는 분할 단위들은 아웃라이어(OUTLIER')로 선정될 수 있다.
Figure pat00011
[수학식 2]에 따르면, 제1 회색 후보군(G_1)에 포함된 임의의 분할 단위는, 상기 임의의 분할 단위의 적색 성분과 청색 성분의 차가 추정 값의 적색 성분과 청색 성분의 차보다 작은 경우, 아웃라이어(OUTLIER')로 선정될 수 있다. 예를 들어, [수학식 2]에 따른 아웃라이어(OUTLIER')의 영역은, 추정 값(FdAvg) 좌표를 가로지르는 제1 직선(L1)을 기준으로, 제1 직선(L1)의 오른편 영역에 위치하는 제1 회색 후보군(G_1) 영역일 수 있다.
도 13은 본 개시의 또 다른 예시적 실시 예에 따라 제2 회색 후보군을 선정하는 동작을 설명하기 위한 도면이다. 도 13에 대해, 도 11과 중복되는 내용은 생략하기로 한다.
도 13을 참조하면, 제1 회색 후보군(G_1)에 포함된 분할 단위들 중 다음 조건을 만족하는 분할 단위들은 아웃라이어(OUTLIER'')로 선정될 수 있다.
Figure pat00012
[수학식 3]에 따르면, 제1 회색 후보군(G_1)에 포함된 임의의 분할 단위는, 상기 임의의 분할 단위의 적색 성분이 추정 값의 적색 성분보다 크고, 상기 임의의 분할 단위의 청색 성분이 추정 값의 청색 성분보다 작은 조건을 만족하는 경우, 아웃라이어(OUTLIER''')로 선정될 수 있다. 예를 들어, [수학식 3]에 따른 아웃라이어(OUTLIER''')의 영역은, 추정 값(FdAvg) 좌표를 지나는 제2 직선(L2) 및 제3 직선(L3)을 기준으로, 제2 직선(L2)과 제3 직선(L3)이 구성하는 사분면에 위치하는 제1 회색 후보군(G_1) 영역일 수 있다.
도 14는 본 개시의 예시적 실시 예에 따라 선정된 제2 회색 후보군을 설명하기 위한 도면이다.
도 14를 참조하면, 색 공간에 제1 회색 후보군(G_1)이 정의되고, 제1 회색 후보군(G_1)의 일부 영역이 제2 회색 후보군(G_2)으로 정의될 수 있다. 예시적 실시 예에 있어서, 제2 회색 후보군(G_2)은 도 11 내지 도 13에 개시된 실시 예 중 적어도 하나에 기반하여 선정될 수 있다. 다시 말해서, 제2 회색 후보군(G_2)에 포함된 분할 단위들은 [수학식 1] 내지 [수학식 3] 에 개시된 조건 중 적어도 하나를 만족할 수 있다.
예를 들어, 제 2 회색 후보군(G_2)은 제1 회색 후보군(G_1)내에서 제4 직선(L4) 및 제5 직선(L5)에 의해 정의될 수 있다. 구체적으로, 제1 회색 후보군(G_1) 중 제4 직선(L4) 및 제5 직선(L5) 사이 영역에 위치하는 분할 단위들이 제2 회색 후보군(G_2)으로 선정될 수 있다. 제4 직선(L4) 및 제5 직선(L5)은 제2 회색 후보군(G_2)의 경계를 형성하는 가상의 라인일 수 있다.
예시적 실시 예에 있어서, 제4 직선(L4)은 [수학식 1] 내지 [수학식 3] 중 하나에 기반하여 제1 화살표(D1)를 따라 조정될 수 있다. 제4 직선(L4)을 기준으로 제2 회색 후보군(G_2) 선정에서 제외된 분할 단위들은, 예를 들어 비교적 과도한 적색 성분을 포함하는 분할 단위들일 수 있다.
예시적 실시 예에 있어서, 제5 직선(L5)은 복수의 샘플 이미지 데이터에 대한 클러스터링을 통한 통계적 처리에 기반하여, 제2 화살표(D2)를 따라 조정될 수 있다. 예를 들어, 복수의 샘플 이미지 데이터를 통해, 청색 성분을 과도하게 포함하는 분할 단위를 배제하기 위하여 수행된 다양한 통계적 처리에 기반하여 제5 직선(L5)은 제2 화살표(D2)를 따라 조정될 수 있다. 제5 직선(L5)을 기준으로 제2 회색 후보군(G_2) 선정에서 제외된 분할 단위들은, 예를 들어 비교적 과도한 청색 성분을 포함하는 분할 단위들일 수 있다.
이에 따라, 제2 회색 후보군(G_2)에 포함된 분할 단위들은 화이트 포인트 선정에 기반이 될 수 있고, 제1 회색 후보군(G_1)에는 포함되나 제2 회색 후보군(G_2)으로 선정되지 않은 나머지 분할 단위들은 화이트 포인트 선정에서 배제될 수 있다. 제1 회색 후보군(G_1)의 영역을 제2 회색 후보군(G_2)의 영역으로 축소함에 따라, 비교적 과도한 적색 또는 청색 성분을 포함하는 분할 단위들이 화이트 포인트 선정에서 배제될 수 있다. 이로써, 개선된 정확성을 갖는 화이트 포인트가 선정될 수 있다.
도 15는 본 개시의 예시적 실시 예에 따라 선정된 제2 회색 후보군에 포함된 분할 단위들을 실제 이미지에 나타내는 도면이다.
도 15를 참조하면, 이미지(IMG)는 얼굴 이미지를 포함할 수 있고, 복수의 분할 단위(PC)들로 구분될 수 있다. 분할 단위(PC)는, 예를 들어 패치 또는 픽셀일 수 있다.
이미지(IMG)에 포함된 분할 단위들(PC) 중 일부는 화이트 포인트 검출에 대한 아웃라이어로 선정되고, 화이트 포인트 검출에서 배제될 수 있다. 이미지(IMG)에 포함된 복수의 분할 단위(PC)들 중, 해칭된 분할 단위들은 화이트 포인트 검출에 기반이 되는 회색 후보 분할 단위들이고, 나머지 분할 단위들은 아웃라이어로 선정된 분할 단위들일 수 있다. 예를 들어, 해칭된 분할 단위들은 도 14의 제2 회색 후보군(G_2)에 포함된 분할 단위들일 수 있다.
예를 들어, 얼굴 이미지의 피부 색조에 대한 추정 값에 기반하여 아웃라이어가 선정되고, 상기 아웃라이어가 화이트 포인트 검출에서 배제될 수 있다. 결과적으로 이미지(Image)에 포함된 분할 단위들 중 피부색과 유사한 색 성분을 갖는 분할 단위들이 화이트 포인트 검출에서 배제될 수 있다. 이에 따라, 이미지에 부정확한 얼굴색이 있는 경우에도 개선된 정확도를 갖는 자동 화이트 밸런스가 수행될 수 있다.
도 16은 본 개시의 예시적 실시 예에 따른 이미지 신호 프로세서의 동작을 나타내는 순서도이다. 도 16은, 예를 들어 도 9에 도시된 동작 이후에 수행되는 동작에 대한 순서도일 수 있다.
도 16을 참조하면, 이미지 신호 프로세서(20)는 회색 후보 분할 단위들 중 제2 회색 후보군 선정에서 제외된 분할 단위들에 대해, 제1 기준값에 기반하여 가중치(weight)를 부과할 수 있다(S300). 회색 후보 분할 단위들은, 예를 들어 제1 회색 후보군에 포함된 분할 단위들일 수 있다.
예를 들어, 이미지 신호 프로세서(20)는 제1 기준값에 기반하여, 회색 후보 분할 단위들 중 제2 회색 후보군 선정에서 제외된 분할 단위들에 대해, 제1 가중치 이상 제2 가중치 이하의 범위에서 가중치를 선택하여 부과할 수 있다. 제1 가중치 및 제2 가중치는 각각 상수로서, 제2 가중치는 제1 가중치보다 클 수 있다. 예시적 실시 예에 있어서, 제1 기준값은 복수의 샘플 이미지 데이터에 대한 클러스터링을 통한 통계적 처리에 기반하여 도출될 수 있다.
예를 들어, 클러스터링을 통한 통계적 처리에서, 복수의 샘플 이미지 데이터에 대한 각각 복수의 자동 화이트 밸런스를 수행하고, 회색 성분을 갖는 분할 단위가 가장 이상적인 회색 성분에 가깝게 밸런싱되는 제1 기준값을 도출할 수 있다. 이상적인 회색 성분은, 예를 들어 동일한 비율의 적색 성분, 청색 성분 및 녹색 성분을 포함할 수 있다.
다음, 이미지 신호 프로세서(20)는 가중치에 기반하여 제2 회색 후보군 선정에서 제외된 분할 단위들을 제2 회색 후보군으로 재선정할 지 여부를 결정할 수 있다(S310). 예를 들어, 임의의 가중치가 부과된 분할 단위들은 제2 회색 후보군으로 재선정 될 수 있고, 다른 임의의 가중치가 부과된 분할 단위들은 제2 회색 후보군에서 제외될 수 있다. 예시적 실시 예에 있어서, 제1 가중치가 부과된 분할 단위들은 제2 회색 후보군으로 재선정 되지 않고, 제1 가중치보다 큰 가중치가 부과된 분할 단위들 중 적어도 일부는 제2 회색 후보군으로 재선정 될 수 있다.
도 17은 본 개시의 예시적 실시 예에 따라 부가된 가중치에 기반한 동작을 설명하는 순서도이다. 도 17은, 예를 들어 도 16의 재선정할 지 여부를 결정하는 동작(S310)에 대한 구체적인 순서도일 수 있다.
도 17을 참조하면, 이미지 신호 프로세서(20)는 임의의 회색 후보 분할 단위에 부과된 가중치가 제1 가중치인지 여부를 판단할 수 있다(S311). 제1 가중치가 부과된 경우, 해당 분할 단위는 제2 회색 후보군 선정에서 제외될 수 있다(S312).
임의의 회색 후보 분할 단위에 부과된 가중치가 제1 가중치가 아닌 경우, 이미지 신호 프로세서(20)는 해당 분할 단위에 부과된 가중치가 제2 가중치인지 여부를 판단할 수 있다(S311). 예를 들어, 제2 가중치는 제1 가중치보다 클 수 있다. 제2 가중치가 부과된 경우, 해당 분할 단위는 제2 회색 후보군으로 재선정될 수 있다(S314).
임의의 회색 후보 분할 단위에 부과된 가중치가 제1 및 제2 가중치가 아닌 경우, 이미지 신호 프로세서(20)는 해당 분할 단위를, 해당 분할 단위에 부과된 가중치에 기반하여, 화이트 포인트 선정에 반영할 수 있다(S315). 예시적 실시 예에 있어서, 제1 및 제2 가중치 외의 가중치가 부과된 회색 후보 분할 단위들은, 제2 회색 후보군에 비해 화이트 포인트 선정에 낮은 기여도로 반영될 수 있다.
예를 들어, 제1 및 제2 가중치 외의 가중치가 부과된 회색 후보 분할 단위들에 부과된 가중치가 0.5인 경우, 해당 분할 단위들은 제2 회색 후보군들이 화이트 포인트 선정에 기여하는 것의 절반만큼 화이트 포인트 선정에 기여할 수 있다. 일 예로, 제1 및 제2 가중치 외의 가중치가 부과된 회색 후보 분할 단위들의 색 성분은, 상기 회색 후보 분할 단위들에 부과된 가중치가 곱해진 다음 화이트 포인트 선정에 반영될 수 있다.
부과된 가중치에 따른 재선정 동작에 기반하여, 아웃라이어로 선정된 분할 단위들 중 화이트 포인트 선정에 도움이 되는 분할 단위들을 다시 제2 회색 후보군으로 선정할 수 있다. 이에 따라, 더욱 개선된 정확도를 갖는 화이트 포인트를 검출할 수 있다.
도 18은 본 개 시의 예시적 실시 예에 따른 이미지 신호 프로세서가 장착된 모바일 장치(2000)의 일 예를 나타내는 도면이다. 모바일 장치(2000)는 도 1 내지 도 17에서 설명된 이미지 신호 프로세서가 장착될 수 있다. 이에 따라, 카메라(2300)에 의해 촬영된 이미지들에 대해 전술한 실시 예에 따라 자동 화이트 밸런스가 수행될 수 있다.
모바일 장치(2000)는 기능이 제한되어 있지 않고 응용 프로그램을 통해 상당 부분의 기능을 변경하거나 확장할 수 있는 스마트폰일 수 있다. 모바일 장치(2000)는, 무선기지국과 RF신호를 교환하기 위한 내장 안테나(2100)를 포함하고, 카메라(2300)에 의해 촬영된 이미지들 또는 안테나(2100)에 의해 수신된 이미지들을 디스플레이하기 위한 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 화면 같은 디스플레이 화면(2200)을 포함할 수 있다. 모바일 장치(2000)는 제어버튼, 터치패널을 포함하는 동작 패널(2400)을 포함할 수 있다. 또한 디스플레이 화면(2200)이 터치스크린인 경우, 동작 패널(2400)은 디스플레이 화면(2200)의 터치감지패널을 더 포함할 수 있다. 모바일 장치(2000)는 음성, 음향을 출력하기 위한 스피커(2800) 또는 다른 형태의 음향출력부와, 음성, 음향이 입력되는 마이크로폰(2500) 또는 다른 형태의 음향입력부를 포함할 수 있다.
모바일 장치(2000)는 이미지 또는 비디오를 촬영하기 위한 ccd 카메라와 같은 카메라(2300)를 더 포함할 수 있다. 또한, 모바일 장치(2000)는 카메라(2300)에 의해 촬영되거나 이메일(e-mail)로 수신되거나 다른 형태로 획득된 이미지나 비디오 데이터를 저장하기 위한 저장매체(2700), 그리고 저장매체(2700)를 모바일 장치(2000)에 장착하기 위한 슬롯(2600)을 포함할 수 있다. 저장매체(2700)는 SD카드 또는 플라스틱 케이스에 내장된 EEPROM(electrically erasable and programmable read only memory)와 같은 형태의 플래쉬 메모리일 수 있다.
상기한 실시 예의 설명은 본 개시의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 개시를 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 개시의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.

Claims (20)

  1. 이미지 신호 프로세서에 의해서 수행되는 자동 화이트 밸런스 방법으로서,
    이미지 데이터를 수신하여 복수의 분할 단위로 구분하는 단계;
    상기 이미지 데이터에 포함된 피부 색조(skin tone)에 대한 추정 값을 계산하는 단계; 및
    상기 복수의 분할 단위들 중 적어도 일부와 상기 추정 값에 기반하여 상기 이미지 데이터의 화이트 포인트(white point) 검출에 대한 아웃라이어(outlier)를 선정하는 단계를 포함하는 자동 화이트 밸런스 방법.
  2. 제1 항에 있어서,
    상기 이미지 데이터는 얼굴 이미지를 포함하고,
    상기 피부 색조에 대한 추정 값을 도출하는 단계는 상기 얼굴 이미지에 기반하여 상기 피부 색조에 대한 추정 값을 도출하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  3. 제2 항에 있어서,
    상기 피부 색조에 대한 추정 값을 계산하는 단계는,
    상기 이미지 데이터에서 얼굴 영역을 검출하는 단계;
    상기 얼굴 영역에 포함된 분할 단위들 중 적어도 일부를 선별하는 단계; 및
    상기 선별한 분할 단위들 각각의 색 성분에 기반하여 상기 피부 색조에 대한 추정 값을 계산하는 단계를 포함하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  4. 제3 항에 있어서,
    상기 복수의 분할 단위들은 복수 개의 꼭지점들로 구성되고,
    상기 적어도 일부의 분할 단위들을 선별하는 단계는,
    상기 얼굴 영역에 포함된 복수의 분할 단위들 중, 각 분할 단위를 구성하는 모든 꼭지점이 상기 얼굴 영역에 포함되는 분할 단위들을 상기 적어도 일부의 분할 단위들로 선별하는 단계를 포함하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  5. 제3 항에 있어서,
    상기 적어도 일부의 분할 단위들을 선별하는 단계는,
    상기 얼굴 영역에 포함된 분할 단위들 중 눈 또는 눈썹 이미지가 포함된 분할 단위들을 제외하고 선별하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  6. 제3 항에 있어서,
    상기 적어도 일부의 분할 단위들을 선별하는 단계는,
    상기 얼굴 영역에 포함된 분할 단위들 중 소정의 문턱 휘도 이하의 휘도를 갖는 분할 단위들을 제외하고 선별하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  7. 제3 항에 있어서,
    상기 피부 색조에 대한 추정 값을 계산하는 단계는,
    상기 선별한 분할 단위들 각각의 색 성분에 대한 광역 평균값을 도출하는 단계; 및
    상기 광역 평균값과 상기 선별한 분할 단위들 각각의 색 성분을 비교하여, 상기 선별한 분할 단위들 중 상기 광역 평균값 대비 기준 편차보다 큰 차이를 갖는 색 성분을 갖는 분할 단위들을 검출하는 단계를 더 포함하고,
    상기 선별한 분할 단위들 중 상기 검출한 분할 단위들을 제외한 나머지 분할 단위들 각각의 색 성분에 대한 최종 평균값을 상기 피부 색조에 대한 추정 값으로서 도출하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  8. 제7 항에 있어서,
    상기 선별한 분할 단위들의 색 성분들에 대한 분산값을 도출하는 단계를 더 포함하고,
    상기 기준 편차는 상기 분산값과 조율 파라미터(tuning parameter)의 곱인 것을 특징으로 하는 자동 화이트 밸런스 방법.
  9. 제1 항에 있어서,
    상기 분할 단위들 각각에 대해 가중치(weight)를 부과하는 단계; 및,
    상기 가중치에 기반하여, 상기 선정한 아웃라이어 중 일부에 대한 재선정을 수행하는 단계를 더 포함하는 자동 화이트 밸런스 방법.
  10. 얼굴 이미지를 포함하는 이미지 데이터를 수신하는 단계;
    상기 얼굴 이미지에 포함된 복수의 분할 단위들 중 적어도 일부에 기반하여 피부 색조에 대한 추정 값을 도출하는 단계; 및
    상기 이미지 데이터에 포함된 복수의 분할 단위들 중 적어도 일부와 상기 추정 값에 기반하여 상기 이미지 데이터에 대한 자동 화이트 밸런스(AWB, Auto White Balance) 수행을 위한 회색 후보군(gray candidate cluster)을 선정하는 단계를 포함하는 자동 화이트 밸런스 방법.
  11. 제10 항에 있어서, 상기 회색 후보군을 선정하는 단계는,
    상기 이미지 데이터에 포함된 복수의 분할 단위들 중에서 색 공간에 정의된 제1 회색 후보군에 포함되는 회색 후보 분할 단위들을 선정하는 단계를 포함하고,
    상기 추정 값에 기반하여, 상기 회색 후보 분할 단위들 중 적어도 일부를 상기 회색 후보군으로 선정하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  12. 제11 항에 있어서, 상기 추정 값은 상기 피부 색조에 대한 적색 성분 추정 값과 청색 성분 추정 값을 포함하고,
    상기 회색 후보군을 선정하는 단계는,
    상기 회색 후보 분할 단위들 중 적색 성분의 값 및 청색 성분의 값을 갖는 제1 분할 단위에 대해, 상기 적색 성분의 값, 상기 청색 성분의 값, 상기 적색 성분 추정 값 및 상기 청색 성분 추정 값 중 적어도 하나에 기반하여, 상기 회색 후보군으로의 선정 여부를 결정하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  13. 제12 항에 있어서, 상기 회색 후보군을 선정하는 단계는,
    상기 적색 성분의 값과 상기 적색 성분 추정 값의 차에 대한 절대값, 및 상기 청색 성분의 값과 상기 청색 성분의 추정 값의 차에 대한 절대값의 합이 조율 파라미터보다 작은 경우 상기 제1 분할 단위는 상기 회색 후보군 선정에서 제외하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  14. 제12 항에 있어서, 상기 회색 후보군을 선정하는 단계는,
    상기 적색 성분의 값과 상기 청색 성분의 값의 차가 상기 적색 성분의 추정 값과 상기 청색 성분의 추정 값의 차보다 큰 경우 상기 제1 분할 단위는 상기 회색 후보군 선정에서 제외하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  15. 제12 항에 있어서, 상기 회색 후보군을 선정하는 단계는,
    상기 적색 성분의 값이 상기 적색 성분의 추정 값보다 크고 상기 청색 성분의 값이 상기 청색 성분의 추정 값보다 작은 경우 상기 제1 분할 단위는 상기 회색 후보군 선정에서 제외하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  16. 제11 항에 있어서,
    상기 색 공간은 적색(R), 녹색(G) 및 청색(B) 성분의 합에 대한 적색(R) 성분과 청색(B) 성분 각각의 정규화 값으로 구성되는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  17. 제11 항에 있어서,
    상기 회색 후보 분할 단위들 중 상기 회색 후보군 선정에서 제외된 분할 단위들에 대해, 복수의 샘플 이미지 데이터에 대한 클러스터링을 통한 통계적 처리에 기반하여 도출된 제1 기준값에 기반하여 가중치를 부과하는 단계; 및
    상기 가중치에 기반하여 상기 회색 후보군 선정에서 제외된 분할 단위들을 상기 회색 후보군으로 재선정할 지 여부를 결정하는 단계를 더 포함하는 자동 화이트 밸런스 방법.
  18. 제17 항에 있어서,
    상기 가중치를 부과하는 단계는 제1 가중치 이상 제2 가중치 이하의 범위에서 하나의 값을 상기 가중치로 부과하고,
    상기 회색 후보군으로 선정할 지 여부를 결정하는 단계는,
    상기 회색 후보군 선정에서 제외된 분할 단위들 중 상기 가중치가 제1 가중치인 분할 단위들은 상기 회색 후보군 선정에서 제외하고,
    상기 회색 후보군 선정에서 제외한 분할 단위들 중 상기 가중치가 상기 제1 가중치보다 큰 분할 단위들은, 적어도 일부를 상기 회색 후보군으로 재선정하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
  19. 제10 항에 있어서,
    상기 추정 값은 상기 얼굴 이미지에 포함된 복수의 분할 단위들 중 적어도 일부의 분할 단위들의 색 성분에 대한 평균값인 것을 특징으로 하는 자동 화이트 밸런스 방법.
  20. 이미지 신호 프로세서에 의해 수행되는 자동 화이트 밸런스 방법으로서,
    얼굴 이미지를 포함하는 이미지 데이터를 수신하고, 상기 이미지 데이터를 복수의 분할 단위들로 구분하는 단계;
    상기 복수의 분할 단위들 중 상기 얼굴 이미지에 포함된 분할 단위들을 구분하고, 상기 얼굴 이미지에 포함된 분할 단위들 중 적어도 일부에 기반하여 피부 색조에 대한 추정 값을 도출하는 단계;
    상기 복수의 분할 단위들 중에서 색 공간에 정의된 제1 회색 후보군에 포함될 분할 단위들을 선정하는 단계; 및
    상기 제1 회색 후보군에 포함된 분할 단위들 및 상기 추정 값에 기반하여, 상기 이미지 데이터에 대한 자동 화이트 밸런스 수행을 위한 제2 회색 후보군을 선정하는 단계를 포함하는 자동 화이트 밸런스 방법.
KR1020170117228A 2017-09-13 2017-09-13 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 KR102397396B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170117228A KR102397396B1 (ko) 2017-09-13 2017-09-13 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
US16/057,856 US10721449B2 (en) 2017-09-13 2018-08-08 Image processing method and device for auto white balance
CN201810947539.6A CN109495731B (zh) 2017-09-13 2018-08-17 由图像信号处理器执行的用于自动白平衡方法
TW107132144A TWI763920B (zh) 2017-09-13 2018-09-12 由圖像信號處理器執行的自動白平衡方法
US16/902,315 US11503262B2 (en) 2017-09-13 2020-06-16 Image processing method and device for auto white balance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170117228A KR102397396B1 (ko) 2017-09-13 2017-09-13 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190030028A true KR20190030028A (ko) 2019-03-21
KR102397396B1 KR102397396B1 (ko) 2022-05-12

Family

ID=65631929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170117228A KR102397396B1 (ko) 2017-09-13 2017-09-13 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치

Country Status (4)

Country Link
US (2) US10721449B2 (ko)
KR (1) KR102397396B1 (ko)
CN (1) CN109495731B (ko)
TW (1) TWI763920B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102397396B1 (ko) * 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
CN110310268A (zh) * 2019-06-26 2019-10-08 深圳市同为数码科技股份有限公司 基于白平衡统计分区信息的肤色检测方法及系统
US11212425B2 (en) * 2019-09-16 2021-12-28 Gopro, Inc. Method and apparatus for partial correction of images
CN114071107B (zh) * 2020-08-10 2023-10-31 合肥君正科技有限公司 基于融合聚类分析与色温曲线的自动白平衡方法及装置
US11935322B1 (en) * 2020-09-14 2024-03-19 Apple Inc. Obstruction-sensitive white point determination using face information
CN112150385B (zh) * 2020-09-29 2023-05-12 四川虹美智能科技有限公司 红外图像滤波方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050016880A (ko) * 2002-06-25 2005-02-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 얼굴 색을 참조 신호로 사용하여 영상을 백색 밸런스하기위한 방법 및 시스템
JP2008104051A (ja) * 2006-10-20 2008-05-01 Sony Corp 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム
JP2009159496A (ja) * 2007-12-27 2009-07-16 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
KR20130056442A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 화이트 밸런스 조절장치 및 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4424216B2 (ja) * 2004-03-30 2010-03-03 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US7599093B2 (en) * 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
JP4284448B2 (ja) 2005-01-28 2009-06-24 富士フイルム株式会社 画像処理装置及び方法
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法
JP5119921B2 (ja) * 2005-07-19 2013-01-16 コニカミノルタホールディングス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
US8208758B2 (en) * 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP4702635B2 (ja) 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
JP5390943B2 (ja) 2008-07-16 2014-01-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5106311B2 (ja) * 2008-08-07 2012-12-26 キヤノン株式会社 ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP5215775B2 (ja) 2008-08-20 2013-06-19 キヤノン株式会社 ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP5744429B2 (ja) * 2010-07-16 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN102663354B (zh) 2012-03-26 2014-02-19 腾讯科技（深圳）有限公司 人脸标定方法和系统
JP2014053855A (ja) 2012-09-10 2014-03-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014209681A (ja) * 2013-04-16 2014-11-06 リコーイメージング株式会社 色調調整装置および色調調整方法
WO2015030705A1 (en) 2013-08-26 2015-03-05 Intel Corporation Automatic white balancing with skin tone correction for image processing
KR20150128168A (ko) 2014-05-08 2015-11-18 삼성전자주식회사 화이트 밸런싱 장치 및 이의 구동 방법
CN104994362A (zh) * 2015-07-02 2015-10-21 广东欧珀移动通信有限公司 白平衡处理的方法及装置
KR102346522B1 (ko) 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
CN106878695A (zh) * 2017-02-13 2017-06-20 广东欧珀移动通信有限公司 白平衡处理的方法、装置和计算机设备
KR102397396B1 (ko) * 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050016880A (ko) * 2002-06-25 2005-02-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 얼굴 색을 참조 신호로 사용하여 영상을 백색 밸런스하기위한 방법 및 시스템
JP2008104051A (ja) * 2006-10-20 2008-05-01 Sony Corp 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム
JP2009159496A (ja) * 2007-12-27 2009-07-16 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
KR20130056442A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 화이트 밸런스 조절장치 및 방법

Also Published As

Publication number Publication date
CN109495731B (zh) 2022-06-17
TW201916679A (zh) 2019-04-16
US11503262B2 (en) 2022-11-15
US20190082154A1 (en) 2019-03-14
CN109495731A (zh) 2019-03-19
US20200314402A1 (en) 2020-10-01
TWI763920B (zh) 2022-05-11
US10721449B2 (en) 2020-07-21
KR102397396B1 (ko) 2022-05-12

Similar Documents

Publication Publication Date Title
KR102397396B1 (ko) 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
KR102346522B1 (ko) 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
US7620251B2 (en) Apparatus for selecting image of specific scene, program therefor, and recording medium storing the program
US20200043225A1 (en) Image processing apparatus and control method thereof
US10554880B2 (en) Image processing system, imaging apparatus, image processing method, and computer-readable storage medium
US10949958B2 (en) Fast fourier color constancy
US20120249830A1 (en) Image processing apparatus and control method thereof
US20130021484A1 (en) Dynamic computation of lens shading
KR102566998B1 (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
KR20080109026A (ko) 노출 제어를 위한 시스템, 방법, 및 장치
JP2010220197A (ja) 画像におけるシャドーの検知装置および検知方法
CN105608716B (zh) 一种信息处理方法及电子设备
US9307213B2 (en) Robust selection and weighting for gray patch automatic white balancing
JP2006324840A (ja) 画像処理装置及びホワイトバランス調整装置
US20210321069A1 (en) Electronic device which adjusts white balance of image according to attributes of object in image and method for processing image by electronic device
US10764550B2 (en) Image processing apparatus, image processing method, and storage medium
US20220360707A1 (en) Photographing method, photographing device, storage medium and electronic device
US20110033085A1 (en) Image processing apparatus and image processing method
US11457189B2 (en) Device for and method of correcting white balance of image
JP2000306191A (ja) 領域分割および対象物抽出装置
JP4851624B2 (ja) 指定色領域画定回路、検出回路及びそれを用いた画像処理装置
JP2021136661A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
KR20000059451A (ko) 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법
CN113516595A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
JP3801177B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant