KR101360543B1 - 자동 백라이트 검출 - Google Patents

자동 백라이트 검출 Download PDF

Info

Publication number
KR101360543B1
KR101360543B1 KR1020117026647A KR20117026647A KR101360543B1 KR 101360543 B1 KR101360543 B1 KR 101360543B1 KR 1020117026647 A KR1020117026647 A KR 1020117026647A KR 20117026647 A KR20117026647 A KR 20117026647A KR 101360543 B1 KR101360543 B1 KR 101360543B1
Authority
KR
South Korea
Prior art keywords
backlight
image
condition
image data
white balance
Prior art date
Application number
KR1020117026647A
Other languages
English (en)
Other versions
KR20110139311A (ko
Inventor
스제포 알 훙
루벤 엠 벨라르데
량 량
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20110139311A publication Critical patent/KR20110139311A/ko
Application granted granted Critical
Publication of KR101360543B1 publication Critical patent/KR101360543B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Image Analysis (AREA)

Abstract

특정 실시형태에서, 자동 백색 밸런스 모듈에서 이미지 데이터를 수신하고 자동 백색 밸런스 데이터를 생성하는 것을 포함하는 방법이 개시된다. 이 방법은 자동 백색 밸런스 데이터에 기초하여 백라이트 조건을 검출하는 것을 더 포함한다. 백라이트 조건을 자동으로 검출하기 위한 장치가 또한 개시되어 있다.

Description

자동 백라이트 검출{AUTOMATIC BACKLIGHT DETECTION}
본 개시물은 일반적으로 비디오 및 스틸 이미지 프로세싱과 관련되며, 더 상세하게는 이미지 생성에 영향을 미치는 백라이트 검출과 관련된다.
조명 조건 (lighting condition) 이 스틸 카메라 및 비디오 카메라에 의해 찍힌 디지털 이미지들의 품질에 영향을 미친다. 예를 들면, 백라이팅 조건 하에서 전경 (foreground) 내의 물체의 이미지를 캡처링하는 것은 관심 물체를 배경보다 어둡게 보이게 할 수 있다. 그 결과 캡처링된 이미지 상의 물체의 디테일 (detail) 이 보기 더 어렵다.
백라이팅은 이미지의 배경이 관심 물체보다 더 고휘도를 갖게 한다. 백라이트 조건은 실내 (indoor), 실외 (outdoor), 또는 혼합된 실내 및 실외 환경에서 발생할 수도 있다. 백라이팅으로부터 발생하는 밝은 배경으로 인해, 관심 물체는 원하는 것보다 더 어두울 수도 있다.
디지털 사진의 발전은 백라이팅에 대응하는 기술들의 원인이 되었다. 예를 들면, 플래시, 백라이트 감마, 루마 적응 (luma adaptation) 및 증가된 노광 능력의 발전이 관심 물체를 밝히도록 기능할 수도 있다.
이러한 발전에도 불구하고, 일부 사용자들은 이러한 백라이팅 보상 기술들로부터 이득을 얻지 못한다. 사용자들은 종래에는 백라이팅 보상 기능을 수동으로 활성화한다. 스위치 또는 다른 활성화 시퀀스의 수동의 본질은, 사용자가 백라이팅 보상 기능을 턴 온 (turn on) 하기에 적합한 때를 알고 있을 것을 요구한다. 이러한 기능을 활성화하는데 수반되는 단계들은 일부 사용자들에게 불편할 수도 있다. 예를 들면, 사진가는 백라이트 스위치를 켜기 위하여 그들의 사진의 대상 (subject) 에 모아지던 그들의 관심을 다른 데로 돌리기를 꺼려할 수도 있다. 그 결과, 일부 사용자들은 백라이팅 보상 기술을 이용하지 않으며, 저하된 픽처 품질을 가진 이미지들을 캡처링하는 것으로 전락된다.
특정 실시형태는 백라이팅 테스트들의 조합을 이용하여 백라이팅 조건을 자동으로 검출한다. 제 1 테스트는, 이미지 데이터로부터 생성된 히스토그램 데이터가 높은 도수 임계값 (frequency threshold) 을 초과하는지 낮은 도수 임계값을 초과하는지 여부를 평가함으로써 백라이트 조건의 존재를 결정한다. 제 2 테스트는, 수집된 자동 백색 밸런스 통계를 이용하여 이미지 데이터의 실내 영역 및 실외 영역을 식별한다. 실내 데이터와 실외 데이터의 비교가 또한 백라이트 조건의 존재를 결정하는데 이용된다. 제 3 테스트가 이미지 내에서 얼굴을 검출하는 경우에는, 일 실시형태는 얼굴 백라이트 보상을 제공할 수도 있다.
다른 특정 실시형태에서, 자동 백색 밸런스 모듈에서 이미지 데이터를 수신하고 자동 백색 밸런스 데이터를 생성하는 단계를 포함하는 방법이 개시된다. 이 방법은 자동 백색 밸런스 데이터에 기초하여 백라이트 조건을 검출하는 단계를 더 포함한다.
다른 실시형태에서, 이미지 데이터를 수신하도록 구성된 자동 백색 밸런스 모듈을 포함하는 장치가 개시된다. 이 장치는 백라이트 검출 모듈을 포함한다. 백라이트 검출 모듈은 자동 백색 밸런스 모듈로부터 데이터를 수신하기 위해 커플링되며, 데이터의 자동 백색 밸런스 모듈로부터의 평가에 기초하여 백라이트 조건이 존재하는지 여부를 결정하기 위한 로직을 포함한다.
다른 실시형태에서, 이미지 데이터를 자동으로 백색 밸런싱하여 백색 밸런스 데이터를 생성하기 위한 수단은 물론, 백색 밸런스 데이터에 기초하여 백라이트 조건을 검출하기 위한 수단을 포함하는 장치가 개시된다.
다른 실시형태에서, 컴퓨터 실행가능한 코드를 저장하는 컴퓨터 판독가능 매체가 개시된다. 컴퓨터 판독가능 매체는, 이미지 데이터를 자동으로 백색 밸런싱하여 백색 밸런스 데이터를 생성하도록 컴퓨터에 의해 실행가능한 코드를 포함한다. 컴퓨터에 의해 실행가능한 코드는 백색 밸런스 데이터에 기초하여 백라이트 조건을 검출할 수도 있다.
개시된 실시형태들에 의해 제공된 특정 이점들은 개선된 사용자 편의 및 이미지 품질을 포함할 수도 있다. 실시형태들은 계속해서 실행되는 지능적인, 자동 백라이트 검출 알고리즘을 포함할 수도 있다. 자동 백라이트 검출 알고리즘이 백라이트 조건을 검출할 때, 장치는 사용자 개입 없이 백라이트 보상을 자동으로 적용할 수도 있다.
본 개시물의 다른 양태들, 이점들 및 특징들은 다음의 부분들, 즉, 도면의 간단한 설명, 상세한 설명 및 특허청구의 범위를 포함하는, 전체 출원 명세서의 검토 후에 명백해질 것이다.
도 1 은 자동 백라이트 검출 장치의 특정 예시적인 실시형태의 블록도이다.
도 2 는 도 1 의 장치의 히스토그램 모듈에 의해 백라이팅 조건을 검출하는데 이용되는 휘도 및 임계값을 나타내는 도수 플롯 (frequency plot) 을 포함하는 히스토그램이다.
도 3 은 자동 백색 밸런스 데이터를 생성하기 위해 색 공간의 2 차원 내의 그레이 픽셀들을 나타내는 직사각형 박스를 도시하는 도 1 의 장치의 자동 백색 밸런스 모듈에 의한 통계 수집 프로세스를 예시한 그래프이다.
도 4 는 도 1 의 자동 백색 밸런스 모듈에 의해 생성된 자동 백색 밸런스 데이터를 이용하여 생성되는 플롯팅된 기준 및 실내 샘플 포인트들의 분포를 나타낸 그래프이다.
도 5 는 도 1 의 자동 백색 밸런스 모듈에 의해 생성된 자동 백색 밸런스 데이터를 이용하여 생성되는 플롯팅된 기준 및 실외 샘플 포인트들의 분포를 나타낸 그래프이다.
도 6 은 도 1 의 자동 백색 밸런스 모듈에 의해 생성된 자동 백색 밸런스 데이터를 이용하여 생성되는, 실내와 실외 양자의 샘플 포인트들과 함께, 기준 포인트들의 분포를 나타낸 그래프이다.
도 7 은 도 1 의 장치에 의해 제어될 수도 있는 바와 같은 백라이트 조건을 자동으로 검출하는 방법의 특정 실시형태를 나타낸 플로우차트이다.
도 8 은 도 1 의 장치에 의해 제어될 수도 있는 바와 같은 백라이트 조건을 자동으로 검출하는 방법의 다른 특정 실시형태를 나타낸 플로우차트이다.
도 9 는 도 1 의 장치에 의해 제어될 수도 있는 바와 같은 이미지의 실내 부분 및 실외 부분을 식별하는 방법의 특정 실시형태를 나타낸 플로우차트이다.
도 10 은 도 1 의 장치에 의해 제어될 수도 있는 바와 같은 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값을 결정하는 방법의 특정 실시형태를 나타낸 플로우차트이다.
도 11 은 자동 백색 밸런스 데이터를 이용하여 백라이팅 조건을 검출 및 보상하도록 구성된 자동 백라이트 검출 디바이스의 특정 실시형태의 블록도이다.
도 12 는 자동 백색 밸런스 데이터를 이용하여 백라이팅 조건을 검출 및 보상하도록 구성된 자동 백라이트 검출 디바이스의 다른 특정 실시형태의 블록도이다.
도 1 은 백라이트 조건을 자동으로 검출할 수도 있는 장치 (100) 를 예시한 블록도이다. 장치 (100) 는 다양한 실시형태들에 따라 이미지 데이터 (104) 에 대해 다양한 프로세싱 기술들을 저장 및 수행하기 위해 이미지 프로세싱 유닛 (102) 을 포함할 수도 있다. 여기에 설명되는 바와 같이, 이미지 프로세싱 유닛 (102) 은 자동 백색 밸런스 데이터를 생성 및 이용하여 백라이트 조건을 검출할 수도 있다. 일반적으로, 장치 (100) 는 백라이팅 조건의 자동 검출 및 보정 또는 보상을 제공함으로써 디지털 이미지를 향상시킬 수도 있다.
이미지 프로세싱 유닛 (102) 은 디지털 신호 프로세서 (DSP), 온-칩 메모리 및 하드웨어 로직 또는 회로를 포함하는 칩셋을 포함할 수도 있다. 더 일반적으로는, 이미지 프로세싱 유닛 (102) 은 프로세서들, 즉 하드웨어, 소프트웨어 또는 펌웨어의 임의의 조합을 포함할 수도 있고, 이미지 프로세싱 유닛 (102) 의 다양한 컴포넌트들은 프로세서들, 즉 하드웨어, 소프트웨어 또는 펌웨어의 임의의 조합으로서 구현될 수도 있다.
도 1 의 예시된 예에서, 장치 (100) 는 또한 로컬 메모리 (106) 및 메모리 제어기 (108) 를 포함한다. 로컬 메모리 (106) 는 원시 이미지 데이터를 저장할 수도 있다. 로컬 메모리 (106) 는 또한 이미지 프로세싱 유닛 (102) 에 의해 수행되는 프로세싱 후에 프로세싱된 이미지 데이터를 저장할 수도 있다.
메모리 제어기 (108) 는 로컬 메모리 (106) 내의 메모리 구조 (memory organization) 를 제어할 수도 있다. 메모리 제어기 (108) 는 또한 로컬 메모리 (106) 로부터 이미지 프로세싱 유닛 (102) 으로의 메모리 로드를 제어할 수도 있다. 메모리 제어기 (108) 는 또한 이미지 프로세싱 유닛 (102) 으로부터 로컬 메모리 (106) 로의 되기록 (write back) 을 제어할 수도 있다. 이미지 프로세싱 유닛 (102) 에 의해 프로세싱된 이미지들은, 이미지 캡처 후에 이미지 캡처 장치 (110) 로부터 로컬 메모리 (106) 로 바로 로드될 수도 있고, 또는 이미지 프로세싱 동안 로컬 메모리 (106) 에 저장될 수도 있다.
예시적인 실시형태에서, 장치 (100) 는, 본 개시물이 이 양태에 제한되지는 않지만, 프로세싱되는 이미지들을 캡처링하기 위해 이미지 캡처 장치 (110) 를 포함한다. 이미지 캡처 장치 (110) 는 상보형 금속-산화물 반도체 (CMOS), 센서 엘리먼트들, 전하 결합 디바이스 (CCD) 센서 엘리먼트들 등과 같은 고체 (solid state) 센서 엘리먼트들의 어레이들을 포함할 수도 있다. 대안으로 또는 추가로, 이미지 캡처 장치 (110) 는 각각의 센서들의 표면 상에 배열된 컬러 필터 어레이들 (CFA들) 을 포함하는 이미지 센서들의 세트를 포함할 수도 있다. 어느 경우에나, 이미지 캡처 장치 (110) 는 이미지 프로세싱의 레이턴시를 회피하기 위해 이미지 프로세싱 유닛 (102) 에 직접 커플링될 수도 있다. 당업자는, 다른 타입의 이미지 센서들이 또한 이미지 데이터 (104) 를 캡처링하는데 이용될 수 있다는 것을 알아야 한다. 이미지 캡처 장치 (110) 는 스틸 이미지들 또는 풀 모션 비디오 시퀀스들을 캡처링할 수도 있다. 후자의 경우에는, 이미지 프로세싱이 비디오 시퀀스의 하나 이상의 이미지 프레임들에 대해 수행될 수도 있다.
장치 (100) 는 본 개시물에 설명된 바와 같은 이미지 프로세싱 후에 이미지를 디스플레이하는 디스플레이 (114) 를 포함할 수도 있다. 이미지 프로세싱 후에, 이미지가 로컬 메모리 (106) 에, 또는 외부 메모리 (112) 에 기록될 수도 있다. 프로세싱된 이미지들은 사용자에게의 프리젠테이션을 위해 디스플레이 (114) 에 전송될 수도 있다.
일부 경우에, 장치 (100) 는 다수의 메모리들을 포함할 수도 있다. 예를 들어, 외부 메모리 (112) 는 비교적 대형의 메모리 공간을 포함할 수도 있다. 외부 메모리 (112) 는 동적 랜덤 액세스 메모리 (DRAM) 를 포함할 수도 있다. 다른 예에서, 외부 메모리 (112) 는 FLASH 메모리와 같은 비휘발성 메모리, 또는 임의의 다른 타입의 데이터 저장 유닛을 포함할 수도 있다. 로컬 메모리 (106) 는 비교적 소형이고 고속의 메모리 공간을 포함할 수도 있다. 일 예를 들면, 로컬 메모리 (106) 는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 를 포함할 수도 있다.
로컬 메모리 (106) 및 외부 메모리 (112) 는 단지 예시적이며, 동일한 메모리 컴포넌트로 결합될 수도 있고, 또는 다수의 다른 구성 (configuration) 들로 구현될 수도 있다. 특정 실시형태에서, 로컬 메모리 (106) 는 통상적으로는 SDRAM 내에, 외부 메모리 (112) 의 일부를 형성한다. 이 경우에, 로컬 메모리 (106) 와 외부 메모리 (112) 양자는, 어느 메모리도 이미지 프로세싱 유닛 (102) 과 온-칩으로 위치될 수 없다는 점에서 외부적일 수도 있다. 대안으로, 로컬 메모리 (106) 는 온-칩 메모리 버퍼를 포함할 수도 있는 한편, 외부 메모리 (112) 는 칩에 대해 외부적일 수도 있다. 로컬 메모리 (106), 디스플레이 (114) 및 외부 메모리 (112) (그리고 원한다면 다른 컴포넌트들) 는 통신 버스 (116) 를 통해 커플링될 수도 있다.
장치 (100) 는 또한 프로세싱된 이미지들 또는 이미지들의 코딩된 시퀀스들을 다른 디바이스에 송신하기 위해 송신기 (미도시) 를 포함할 수도 있다. 본 개시물의 기술들은 디지털 카메라 기능성 또는 디지털 비디오 능력을 포함하는 핸드헬드 무선 통신 디바이스들 (이를 테면 셀룰러 폰) 에 의해 이용될 수도 있다. 그 경우에, 디바이스는 또한 기저대역 신호들의 캐리어 파형으로의 무선 변조를 용이하게 하여 변조된 정보의 무선 통신을 용이하게 하기 위해 변조기-복조기 (MODEM) 를 포함할 수도 있다.
도 1 의 이미지 프로세싱 유닛 (102) 은 백라이트 검출 모듈 (118), 자동 백색 밸런스 모듈 (120), 히스토그램 모듈 (122), 얼굴 검출 모듈 (124), 및 백라이트 보상 모듈 (126) 을 포함할 수도 있다. 이하 더 상세하게 논의되는 바와 같이, 백라이트 검출 모듈 (118) 은 다수의 검출 프로세스들을 채용할 수도 있다. 백라이트 검출 모듈 (118) 은 자동 백색 밸런스 모듈 (120) 로부터 데이터를 수신하기 위해 커플링될 수도 있다. 백라이트 검출 모듈 (118) 은 데이터의 자동 백색 밸런스 모듈 (120) 로부터의 평가에 기초하여 백라이트 조건을 검출하도록 구성될 수도 있다. 예를 들어, 백라이트 검출 모듈 (118) 은 이미지의 제 1 부분을 실내 영역 (indoor region) 으로서 식별하고 이미지의 제 2 부분을 실외 영역 (outdoor region) 으로서 식별하도록 구성될 수도 있다. 백라이트 검출 모듈 (118) 은 실내 영역의 엘리먼트들을 제 1 임계값과 비교함으로써 휘도 조건을 평가할 수도 있다. 백라이트 검출 모듈 (118) 은 또한 실외 영역의 엘리먼트들을 제 2 임계값과 비교할 수도 있다. 제 1 임계값 및 제 2 임계값과 비교한 실내 영역 및 실외 영역의 평가된 휘도 조건에 응답하여 백라이트 결정이 행해질 수도 있다.
백라이트 검출 모듈 (118) 은 백라이트 결정 로직 (128), 실내/실외 비교 로직 (130), 및 자동 백색 밸런스 모듈 (120) 과 인터페이스하기 위한 인터페이스 (132) 를 포함할 수도 있다. 실내/실외 비교 로직 (130) 은 자동 백색 밸런스 모듈 (120) 의 출력을 프로세싱하여 수신된 이미지 데이터 (104) 의 실내 영역 및 실외 영역을 식별할 수도 있다. 백라이트 결정 로직 (128) 은 실내/실외 비교 로직 (130) 에 커플링될 수도 있으며, 백라이트 조건을 결정하도록 구성될 수도 있다. 이런 방식으로, 백라이트 결정 로직 (128) 의 출력 (138) 은 자동 백색 밸런스 모듈 (120) 에 의해 생성된 자동 백색 밸런스 데이터에 부분적으로 기초할 수도 있다.
자동 백색 밸런스 모듈 (120) 은 이미지 데이터 (104) 를 수신하고 통계를 수집하도록 구성될 수도 있다. 자동 백색 밸런스 모듈 (120) 의 일 실시형태는 또한 통계에 따라 백색 밸런스 이득을 적용할 수도 있다. 자동 백색 밸런스 모듈 (120) 은 백라이트 검출 모듈 (118) 에 의해 이용되는 자동 백색 밸런스 데이터를 출력하여 백라이팅을 평가할 수도 있다.
백라이팅을 검출하는데 이용되는 다른 테스팅 유닛은 히스토그램 모듈 (122) 을 포함한다. 히스토그램 모듈 (122) 은 히스토그램 데이터에 높고 낮은 임계값 백분율을 적용하여 백라이트 조건의 존재를 결정할 수도 있다. 히스토그램 데이터가 높은 임계값과 낮은 임계값 양자를 초과하는 경우에, 히스토그램 모듈 (122) 은, 백라이트 조건이 존재한다는 것을 결정할 수도 있다. 예를 들어, 히스토그램은 이미지 내의 휘도를 나타내는 도수 (frequency) 그래프를 포함할 수도 있다. 높은 임계값 백분율 및 낮은 임계값 백분율이 히스토그램에 포함될 수도 있다. 히스토그램 모듈 (122) 은, 일부 픽셀들이 낮은 임계값보다 더 어둡다는 것을 결정할 수도 있다. 히스토그램은 또한, 높은 임계값보다 더 밝은 일부 픽셀들이 존재한다는 것을 표시할 수도 있다. 양자의 임계값들을 초과하는 픽셀들이 존재하는 경우, 히스토그램 모듈 (122) 은, 백라이트 조건이 검출된다는 것을 표시할 수도 있다.
히스토그램의 양자의 임계값들을 초과하지 않는다면, 히스토그램 모듈 (122) 은 그 대신에 어떠한 백라이트 조건도 검출되지 않는다는 것을 표시할 수도 있다. 예를 들어, 높은 임계값보다 더 밝은 픽셀들이 존재하지만, 낮은 임계값보다 더 어두운 픽셀들이 존재하지 않는다면, 히스토그램 모듈 (122) 은, 어떠한 백라이트 조건도 존재하지 않는다는 것을 결정할 수도 있다. 높은 임계값도 낮은 임계값도 초과하지 않는 경우에도 동일한 결과가 결정될 수도 있다.
실시형태들은 히스토그램 모듈 (122) 을 이용하여 히스토그램 데이터를 평가할 수도 있다. 히스토그램 데이터는 백라이팅 조건을 검출하기 위해 프로세싱될 수도 있다. 예를 들어, 각각의 엔드 (end) 에 피크들을 포함하는 히스토그램은 심각한 (severe) 백라이트 조건을 표시할 수도 있다. 히스토그램의 하이 엔드 (high end) 에 일 피크를 가지고 어두운 영역이 늘어나는 다른 히스토그램은 중간의 백라이트 조건을 표시할 수도 있다. 하이 엔드에 하나의 피크를 가지는 또 다른 히스토그램은 약한 (slight) 백라이트 조건에 대응할 수도 있다.
히스토그램 모듈 (122) 은 이러한 히스토그램 데이터를 이용하여 이미지 데이터 (104) 에 대해 제 1 백라이트 테스트를 수행할 수도 있다. 예를 들어, 히스토그램 모듈 (122) 은, 제 1 값보다 더 작은 휘도 값을 갖는 픽셀들의 수가 제 1 임계값을 초과하는지 여부를 결정할 수도 있다. 히스토그램 모듈 (122) 은 또한, 제 2 값보다 더 큰 휘도 값을 갖는 픽셀들의 수가 제 2 임계값을 초과하는지 여부를 결정할 수도 있다.
얼굴 검출 모듈 (124) 은 백라이트 보상을 조정하여 검출된 얼굴들이 적절한 휘도 레벨에 이르게 할 수도 있다. 이미지 데이터 내에 얼굴이 존재하지 않는 경우에는, 정규의 백라이트 보상이 적용될 수도 있다. 얼굴 검출 모듈 (124) 은 일부 실시형태들에서는 보조 테스팅 프로세스를 포함할 수도 있다.
백라이트 보상 모듈 (126) 은, 얼굴 우선 백라이트 보상 기술들을 포함하는, 백라이트 현상에 대응하기 위한 프로세스들을 포함할 수도 있다. 다른 것들 중에서도 플래시, 백라이트 감마, 루마 적응, 및 증가된 노광 기술들이 상대적으로 더 어두운 관심 물체를 밝히는데 이용될 수도 있다.
이미지 데이터 (104) 는 이미지 프로세싱 유닛 (102) 에 도달할 수도 있다. 도 1 의 실시형태에 나타낸 바와 같이, 히스토그램 모듈 (122) 은 이미지 데이터 (104) 로부터 생성된 히스토그램 데이터에 기초하여 백라이트 조건을 검출하는데 이용될 수도 있다. 이미지 데이터 (104) 는 동시 발생적으로 자동 백색 밸런스 모듈 (120) 에 도달할 수도 있다. 자동 백색 밸런스 모듈 (120) 은, 백라이트 검출 모듈 (118) 에 의해 평가되는 자동 백색 밸런스 데이터를 수집하여, 백라이트 조건이 가능성이 있는지를 결정할 수도 있다. 히스토그램 모듈 (122) 및 자동 백색 밸런스 모듈 (120) 의 출력은 백라이트 조건이 존재하는지 여부를 결정하기 위해 공동으로 프로세싱될 수도 있다. 예를 들어, 백라이트 검출 모듈 (118) 은, 히스토그램 모듈 (122) 과 자동 백색 밸런스 모듈 (120) 양자의 각각의 출력들이 백라이트 조건의 가능성을 표시한다는 것을 결정한 후에 백라이트 조건을 검출할 수도 있다.
어떠한 백라이트 조건도 검출되지 않는 경우에, 이미지 데이터 (104) 는 백라이트 보상 모듈 (126) 의 루틴 백라이트 보상 프로세스 (134) 에 의해 프로세싱될 수도 있다. 이미지 데이터 (104) 는 또한 얼굴 검출 모듈 (124) 에 의해 프로세싱될 수도 있다. 얼굴 검출 모듈 (124) 은, 이미지 데이터 (104) 내에 임의의 얼굴들이 포함되는지를 결정할 수도 있다. 얼굴 검출 모듈 (124) 의 결정에 의존하여, 이미지 데이터 (104) 는, 루틴 백라이트 보상 프로그램 (128) 에 더하여 또는 루틴 백라이트 보상 프로그램 (128) 에 대한 대안으로, 백라이트 보상 모듈 (126) 의 얼굴 우선 백라이트 보상 프로세스 (136) 에 전달될 수도 있다.
장치 (100) 는 비디오 시퀀스들을 코딩 및 송신 및/또는 수신하는 것이 가능한 이미지 캡처 디바이스 또는 디지털 비디오 디바이스의 일부를 형성할 수도 있다. 일 예를 들면, 장치 (100) 는 스탠드-얼론 디지털 카메라 또는 비디오 캠코더, 무선 통신 디바이스, 이를 테면 셀룰러 또는 위성 무선 전화기, 개인 휴대 정보 단말기 (PDA), 컴퓨터, 또는 이미지 프로세싱이 바람직한 이미징 또는 비디오 능력들을 가진 임의의 디바이스를 포함할 수도 있다.
다수의 다른 엘리먼트들이 또한 장치 (100) 내에 포함될 수도 있지만, 단순화를 위해, 그리고 설명의 용이성을 위해 도 1 에는 구체적으로 예시되지 않는다. 도 1 에 예시된 아키텍처는, 여기에 설명된 기술들이 다양한 다른 아키텍처들로 구현될 수도 있기 때문에 단순히 예시적이다.
도 2 는 도 1 의 히스토그램 모듈 (122) 에 의해 생성 및 프로세싱될 수도 있는 예시적인 히스토그램 (200) 을 나타낸다. 히스토그램 (200) 의 데이터는 백라이팅 조건을 검출하기 위해 자동으로 평가될 수도 있다. 도 2 의 실시형태에 나타낸 바와 같이, 히스토그램 (200) 은 휘도를 나타내는 도수 플롯 (202) 을 포함한다. 낮은 임계값 (204) 을 포함하는 라인 및 높은 임계값 (206) 을 포함하는 라인이 히스토그램 (200) 에 포함될 수도 있다. 도 2 에 나타낸 바와 같이, 예시적인 히스토그램 (200) 은 낮은 임계값 (204) 보다 더 어두운 일부 픽셀들 (208) 을 포함한다. 히스토그램 (200) 은 또한 높은 임계값 (206) 보다 더 밝은 일부 픽셀들 (210) 이 존재한다는 것을 표시한다. 나타낸 바와 같이 양자의 임계값들 (204, 206) 을 각각 초과하는 픽셀들 (208, 210) 이 존재하는 경우에, 히스토그램 모듈 (122) 은, 백라이트 조건이 검출되거나 또는 가능성이 있다는 것을 결정할 수도 있다.
히스토그램의 픽셀 데이터가 양자의 임계값들 (204, 206) 을 초과하지 않는다면, 히스토그램 모듈 (122) 은, 어떠한 백라이트 조건도 검출되지 않는다는 것을 출력할 수도 있다. 예를 들어, 히스토그램은 낮은 임계값보다 더 어두운 픽셀들을 포함할 수도 있지만, 높은 임계값보다 더 밝은 픽셀들을 갖지 않을 수도 있다. 이러한 일 예에서, 히스토그램 모듈 (122) 은, 어떠한 백라이트 조건도 검출되지 않는다는 것을 결정할 수도 있다.
도 2 에 예시된 히스토그램 검출 기술은 많은 백라이트 장면들 (backlight scenes) 을 검출하기에 유익할 수도 있다. 그러나, 낮은 임계값 (204) 보다 더 어두운 픽셀들이 이미지 데이터 (104) 내의 물체들을 나타낼 수도 있는데, 이 이미지 데이터 (104) 내의 물체들은 실제로는 매우 어둡고 관심 물체가 아닐 수도 있다. 히스토그램 모듈 (122) 의 백라이트 결정을 확인 또는 개시하기 위해 추가의 백라이트 테스트들이 이용될 수도 있다.
한가지 이러한 추가의 백라이트 테스트는 도 1 의 자동 백색 밸런스 모듈 (120) 에 의해 수행될 수도 있다. 자동 백색 밸런스 모듈 (120) 은 수신된 이미지 데이터 (104) 를 프로세싱하여 자동 백색 밸런스 데이터를 포함하는 통계를 수집할 수도 있다. 자동 백색 밸런스 데이터는 백라이팅 조건을 검출하기 위해 실내 샘플들과 실외 샘플들을 비교하는데 이용될 수도 있다. 도 3 은, 통계를 수집하기 위해, 다르게는 실내/실외 비교에 이용되는 자동 백색 밸런스 데이터를 생성하기 위해, 자동 백색 밸런스 모듈 (120) 에 의해 이용되는 방법을 그래픽적으로 도시한다.
도 3 은 특히, 그레이 포인트 (304) 에 중심을 둔 YCrCb 색 공간의 2 차원 (Cr 및 Cb) 내의 그레이 픽셀들을 포함하는 직사각형 박스 (302) 를 이용하는 통계 수집 방법을 예시하는 그래프 (300) 를 나타낸다. 도 3 은, 도 1 의 자동 백색 밸런스 모듈 (120) 이 수신된 이미지 데이터 (104) 를 필터링하여 자동 백색 밸런스 데이터를 생성할 수도 있는 방법을 그래픽적으로 나타낸다. 일 구성에서, 도 1 의 자동 백색 밸런스 모듈 (120) 은 캡처링된 이미지를 필터링하여 미리 결정된 휘도 범위 내에 포함된 그레이 영역들을 선택할 수도 있다. 자동 백색 밸런스 모듈 (120) 은 그 후 미리 결정된 Cr 및 Cb 기준을 충족하는 그 나머지 영역들을 선택할 수도 있다. 자동 백색 밸런스 모듈 (120) 의 필터링 프로세스들은 휘도 값을 이용하여 너무 어둡거나 너무 밝은 영역들을 제거할 수도 있다. 이들 영역들은 잡음 및 포화 문제들로 인해 배재될 수도 있다. 자동 백색 밸런스 모듈 (120) 은 관련 필터 기능을 다수의 등식들로서 표현할 수도 있다. 부등식들 (등식들) 의 세트를 충족하는 영역들이 가능한 그레이 영역들인 것으로 간주될 수도 있다.
자동 백색 밸런스 모듈 (120) 은 각각의 구역에 대한 픽셀들의 수, Y 의 합, Cb 의 합 및 Cr 의 합을 제공할 수도 있다. 이미지는 N×N 영역들로 나눠질 수도 있다. 통계 수집이 다음의 등식들을 이용하여 셋업될 수도 있다 :
Y <= Ymax (1)
Y >= Ymin (2)
Cb <= m1 * Cr + c1 (3)
Cr >= m2 * Cb + c2 (4)
Cb >= m3 * Cr + c3 (5)
Cr <= m4 * Cb + c4 (6)
값들 (m1 내지 m4 및 c1 내지 c4) 은 미리 결정된 상수들을 나타낼 수도 있다. 이들 상수들은, 충분히 큰 범위의 필터링된 물체들 및 캡처링된 이미지들에 대해 추정될 광원 (illuminant) 을 유지하면서 필터링된 물체들이 그레이 영역들을 정확하게 나타내도록 선택될 수도 있다. 다른 등식들이 다른 실시형태들과 함께 이용될 수도 있다.
이미지는 L×M 직사각형 영역들을 포함하기 위해 나눠질 수도 있으며, 여기서 L 및 M 은 포지티브 정수들이다. 이 예에서, N = L×M 은 이미지 내의 영역들의 총 개수를 나타낼 수도 있다. 일 구성에서, 자동 백색 밸런스 모듈 (120) 은 캡처링된 이미지를 8×8 또는 16×16 픽셀들의 영역들로 나눌 수도 있다. 자동 백색 밸런스 모듈 (120) 은 예를 들어 캡처링된 이미지의 픽셀들을 RGB 컴포넌트들로부터 YCrCb 컴포넌트들로 변형시킬 수도 있다.
자동 백색 밸런스 모듈 (120) 은 필터링된 픽셀들을 프로세싱하여 영역들 각각에 대한 통계를 생성할 수도 있다. 예를 들어, 자동 백색 밸런스 모듈 (120) 은 필터링되거나 제약된 Cb 의 합, 필터링되거나 제약된 Cr 의 합, 필터링되거나 제약된 Y 의 합, Y, Cb 및 Cr 의 합에 대한 제약에 따라 선택된 픽셀들의 수를 결정할 수도 있다. 영역 통계로부터, 자동 백색 밸런스 모듈 (120) 은 선택된 픽셀들의 수로 나눠진 Cb, Cr 및 Y 의 각각의 영역의 합을 결정하여 Cb 의 평균 (aveCb), Cr 의 평균 (aveCr) 및 Y 의 평균 (aveY) 을 산출할 수도 있다. 장치 (100) 는 통계를 다시 RGB 컴포넌트들로 변형시켜 R, G 및 B 의 평균을 결정할 수도 있다.
도 1 의 자동 백색 밸런스 모듈 (120) 은 영역 통계를 그리드 좌표계로 변형시켜 좌표계에 대해 포맷팅된 기준 광원들에 대한 관계를 결정할 수도 있다. 일 구성에서, 자동 백색 밸런스 모듈 (120) 은 영역 통계를 (R/G, B/G) 좌표계에서 N×N 그리드들 중 하나로 변환 및 양자화할 수도 있다. 그리드 거리는 선형으로 파티셔닝될 필요가 없다. 예를 들어, 좌표 그리드는 비선형 파티셔닝된 R/G 및 B/G 축들로부터 형성될 수도 있다. 자동 백색 밸런스 모듈 (120) 은 미리 정의된 범위 밖에 있는 (aveR/aveG, aveB/aveG) 의 쌍들을 폐기할 수도 있다.
일 실시형태에서, 자동 백색 밸런스 모듈 (120) 은 영역 통계를 2 차원 좌표계로 변형시키는 것이 유익할 수도 있다. 그러나, 2 차원 좌표계의 이용은 제한이 아니며, 장치 (100) 는 좌표계에서 임의의 수의 차원들을 이용하도록 구성될 수도 있다. 예를 들어, 다른 구성에서, 장치 (100) 는 미리 정의된 상수로 정상화된 R, G 및 B 값들에 대응하는 3 차원 좌표계를 이용할 수도 있다. 자동 백색 밸런스 모듈 (120) 은 플롯팅된 샘플들과의 비교를 위해 기준 광원들의 위치를 제공하도록 구성될 수도 있다.
장치 (100) 는 하나 이상의 기준 광원들에 대한 통계를 저장하도록 구성될 수도 있다. 하나 이상의 기준 광원들에 대한 통계는 교정 (calibration) 루틴 동안 결정될 수도 있다. 예를 들어, 이러한 교정 루틴은 제조 프로세스 동안 카메라의 다양한 부분들의 성능을 측정할 수도 있다.
특성화 프로세스가 오피스 조명 (office light) 하에서 일 타입의 센서의 R/G 및 B/G 를 측정할 수도 있다. 제조 프로세스는 각각의 센서를 측정하고, 어느 정도까지 센서가 특성화된 값에서 벗어나 있는지를 기록할 수도 있다. 특성화 프로세스는 도 1 의 이미지 캡처 장치 (110) 의 렌즈 또는 센서와 같은 소정의 센서 모듈에 대해 오프-라인으로 발생될 수도 있다. 실외 조명 조건의 경우, 하루 중 여러 시간에 대응하는 그레이 물체들의 일련의 픽처들이 수집될 수도 있다. 그 픽처들은 하루 중 상이한 시간 동안 직사 일광에서, 흐린 조명 (cloudy lighting) 중에, 그늘진 실외 등등에서 캡처링된 이미지들을 포함할 수도 있다. 이들 여러 조명 조건들 하의 그레이 물체들의 R/G 및 B/G 비율들이 기록될 수도 있다. 실내 조명 조건의 경우, 그레이 물체들의 이미지들은 따뜻한 (warm) 형광, 차가운 (cold) 형광, 백열광 등, 또는 일부 다른 광원을 이용하여 캡처링될 수도 있다. 각 조명 조건은 기준 포인트로서 이용될 수도 있다. R/G 및 B/G 비율들은 실내 조명 조건을 위해 기록된다.
다른 구성에서, 기준 광원들은 A (백열, 텅스텐, 등), F (형광), 및 D30, D50 및 D70 으로 지칭되는 다수의 주광 (daylight illuminants) 을 포함할 수도 있다. 기준 좌표의 (R/G, B/G) 좌표들은 센서 모듈들의 스펙트럼 응답과 광원들의 전력 분포를 적분함으로써 계산되는 광원 색들에 의해 정의될 수도 있다.
R/G 및 B/G 비율들의 스케일을 결정한 후에, 기준 포인트들은 그리드 좌표 상에 위치될 수도 있다. 스케일은, 그리드 거리가 상이한 기준 포인트들 간을 적절히 구별하기 위해 이용될 수도 있도록 결정될 수도 있다. 자동 백색 밸런스 모듈 (120) 은 그레이 영역들을 특성화하는데 이용되는 동일한 좌표 그리드를 이용하여 광원 통계를 생성할 수도 있다.
장치 (100) 는 기준 포인트들 각각에 수신된 각각의 그리드 포인트로부터 거리를 결정하도록 구성될 수도 있다. 장치 (100) 는 결정된 거리들을 미리 결정된 임계값과 비교할 수도 있다. 임의의 기준 포인트에 대한 최단 거리가 미리 결정된 임계값을 초과한다면, 그 포인트는 아웃라이어 (outlier) 인 것으로 간주될 수도 있으며, 이는 배제될 수도 있다.
아웃라이어들이 제거되고 기준 포인트들 각각에 대한 거리가 합산될 수도 있도록 데이터 포인트들이 프로세싱될 수도 있다. 장치 (100) 는, 기준 포인트들에 대한 최소 거리는 물론, 기준 포인트에 대응하는 조명 조건을 결정할 수도 있다.
여기에 논의되는 바와 같이, 일 실시형태는 자동 백색 밸런스 모듈 (120) 에서 이미지 데이터 (104) 를 수신할 수도 있다. 자동 백색 밸런스 데이터는 도 3 에 그래픽적으로 예시된 필터링 프로세스들을 이용하여 자동으로 생성될 수도 있다. 예를 들어, 자동 백색 밸런스 모듈 (120) 은 소정의 장면 내의 적, 녹 및 청색 픽셀들의 컨텐트 또는 바이어스를 통계적으로 분석함으로써 자동 백색 밸런스 데이터를 생성할 수도 있다. 자동 백색 밸런스 데이터는 이미지 데이터 (104) 와 관련된 휘도 샘플들 및 알려진 색 온도에 대응하는 플롯팅된 근방의 기준 포인트들을 포함할 수도 있다. 이러한 그래프는 도 4 에 도시되며, 실내 샘플들과 실외 샘플들을 비교하여 백라이팅 조건을 검출하는데 이용될 수도 있다.
도 4 는 특히, 기준 포인트들 D75, D65, D50, CW, 수평선 (horizon), A, TL84 의 분포를 나타낸 그래프 (400) 를 예시한다. 그래프 (400) 는 또한 적/녹 (R/G) 및 청/녹 (B/G) 공간 상에 플롯팅된 수집된 이미지 데이터 샘플들에 대응하는 더 작은 샘플 포인트들 (402) 을 포함한다. 기준 포인트들 D75, D65, D50, CW, 수평선, A, TL84 는 미리 교정된 그레이 포인트들에 대응할 수도 있다.
실시형태들은 다른 기준 포인트들을 포함할 수도 있지만, 도 4 에 나타내진 예시적인 조명 조건 (및 관련 색 온도) 은 일반적으로는 : 그늘진 색 공간 (D75), 흐린 색 공간 (D65), 직사 일광 색 공간 (D50), 차가운 백색 공간 (CW), 통상의 오피스 조명 색 공간 (TL-84), 백열 색 공간 (A), 및 수평선 색 공간 (수평선) 에 대응할 수도 있다.
도 4 의 예에서, 자동 백색 밸런스 모듈 (120) 에 의해 이미지 데이터 (104) 로부터 수집된 샘플 포인트들 (402) 은 TL84 및 CW 에 근사하게 플롯팅된다. TL84 및 CW 기준 포인트들은 일반적으로 실내 색 온도에 대응한다. 그 결과 장치 (100) 는 그 근접성으로부터, 샘플들이 실내 샘플들이라는 것을 결정할 수도 있다.
도 5 는 자동 백색 밸런스 모듈 (120) 에 의해 D50 근방에 플롯팅된 밝은 샘플들 (504) 과 함께, D75 및 D65 근방의 플롯팅된 그늘진 샘플들 (502) 을 나타낸다. 이러한 분포는 실외 백라이트 조건을 제안할 수도 있다. 높은 색 온도 존 내의 샘플들이 고휘도 샘플들 (예를 들어, 하늘 및 구름일 가능성이 있다) 과 저휘도 샘플들 (예를 들어, 그림자일 가능성이 있다) 양자를 갖는 경우에 백라이트가 검출될 수도 있다. 백라이트 조건이 검출되는 것에 추가로, 높은 색 온도 존 내의 저휘도 샘플들의 수는 소정 임계값을 초과할 수도 있다.
도 6 의 예는 실외 샘플들 (602) 및 실내 샘플들 (604) 양자를 포함하는 그래프 (600) 를 나타낸다. 실외 샘플들은 D50 에 근사한 한편, 실내 샘플들 (604) 은 CW 및 TL84 근방에 있다. 이 시나리오는 혼합된 실내/실외 백라이트 조건을 표시할 수도 있다. 실외 샘플들 (602) 이 실내 샘플들 (604) 보다 상당히 더 고휘도 값들을 포함하는 경우에 백라이트 조건이 검출될 수도 있다. 백라이트 조건이 검출되는지 여부에 대한 다른 결정 팩터는, 실내 샘플들 (604) 의 수가 소정 임계값을 초과하는지 여부를 포함할 수도 있다.
도 7 은 도 1 의 장치 (100) 에 의해 실행될 수도 있는 바와 같은 백라이트 조건을 자동으로 검출하는 방법 (700) 을 나타낸다. 특정 실시형태에서, 이미지 데이터 (104) 가 702 에서 수신될 수도 있다. 예를 들어, 히스토그램 모듈 (122) 은 캡처링된 이미지로부터 이미지 데이터 (104) 를 수신할 수도 있다.
704 에서, 히스토그램이 평가될 수도 있다. 예를 들어, 이미지 데이터 (104) 와 관련된 히스토그램 데이터는 히스토그램 모듈 (122) 에 의해 평가될 수도 있다. 백라이트 조건이 그 평가로부터 표시되지 않는 경우에 (706), 장치 (100) 는, 708 에서, 백라이트 조건이 존재하지 않는다는 것을 결정할 수도 있다.
706 에서 잠재적인 백라이트 조건이 결정된다면, 자동 백색 밸런스 통계가 710 에서 평가될 수도 있다. 자동 백색 밸런스 모듈 (120) 은 통계를 수집하고 저장된 기준 값들과 비교될 수도 있는 이미지 데이터로부터 픽셀 샘플들을 생성할 수도 있다. 그 비교는 백라이트 검출 모듈 (118) 에 의해 제어될 수도 있으며, 픽셀 샘플들이 실내 또는 실외 색 온도를 포함하는지를 결정할 수도 있다.
특정 실시형태에서, 백라이트 조건은 (예를 들어, 약 5500켈빈 (Kelvin) 을 넘는) 높은 색 온도 존 내의 적어도 일부 실외 샘플들이 고휘도 샘플들과 저휘도 샘플들 양자를 포함하는 경우에 검출될 수도 있으며, 높은 색 온도 존 내의 저휘도 샘플들의 수는 저장된 값을 포함하는 제 4 임계값을 초과한다. 다른 특정 실시형태에서, 백라이트 조건은 이미지의 적어도 일부 실외 샘플들이 이미지의 적어도 일부 실내 샘플들보다 실질적으로 더 고휘도 값들을 갖는 경우에 검출될 수도 있으며, 실내 저휘도 샘플들의 수는 저장된 값을 포함하는 제 5 임계값을 초과한다. 712 에서 백라이트 조건이 표시되지 않는다면, 백라이트 조건의 부재가 708 에서 검출될 수도 있다. 이 방법은 제 1 테스트와 제 2 테스트 중 하나의 테스트가 각각 706 또는 712 에서 실패할 때 백라이트 보상을 적용하지 않을 수도 있다.
712 에서의 백라이트 조건의 표시에 응답하여 이미지 데이터 (104) 내의 얼굴의 존재를 결정하기 위해 714 에서 프로세스들이 개시될 수도 있다. 얼굴이 714 에서 검출되는 경우에, 얼굴 우선 백라이트 보상 프로세스 (136) 와 같은 얼굴 우선 백라이트 보상 프로세스가 블록 716 에서 개시될 수도 있다. 특정 실시형태에서, 얼굴은 실외 영역 내에서 식별된다. 얼굴 영역의 엘리먼트가 휘도를 평가하기 위해 제 3 임계값과 비교될 수도 있다. 일 예시적인 제 3 임계값은 저장된 얼굴 휘도 기준 값을 포함할 수도 있다. 블록 714 에서 어떠한 얼굴도 검출되지 않는 경우에, 루틴 백라이트 보상 프로세스 (134) 와 같은 루틴 백라이트 보상 프로세스가 718 에서 개시될 수도 있다.
도 7 은 백라이트 조건을 자동으로 검출 및 보정하기 위해 도 1 의 장치 (100) 에 의해 실행가능한 방법 (700) 을 포함한다. 도 7 을 참조하여 설명된 실시형태들은 사용자들에게 증가된 편의를 제공하면서, 이미지 품질을 증가시키기 위해 백라이트 조건을 자동으로 검출 및 보상할 수도 있다.
도 8 은 방법 (800) 을 나타내며, 이 방법 (800) 은 802 에서 자동 백색 밸런스 모듈에서 이미지 데이터 (104) 를 수신하고 자동 백색 밸런스 데이터를 생성하는 것을 포함한다. 802 에서, 방법은 자동 백색 밸런스 데이터에 기초하여 백라이트 조건을 검출하는 것을 포함할 수도 있다. 이미지 데이터 (104) 는 이미지 캡처 장치 (110) 에 의해 캡처링된 이미지에 대응할 수도 있다.
804 에서, 방법은 이미지의 제 1 부분을 실내 영역으로서 식별하고 이미지의 제 2 부분을 실외 영역으로서 식별할 수도 있다. 방법은 806 에서, 실내 영역의 엘리먼트들을 제 1 임계값과 비교하고 실외 영역의 엘리먼트들을 제 2 임계값과 비교함으로써 휘도 조건을 평가한다. 평가된 휘도 조건에 응답하여 백라이트 조건이 808 에서 결정될 수도 있다. 일 실시형태에서, 방법은 백라이트 검출 모듈 (118) 에 의해 부분적으로 제어될 수도 있다. 백라이트 검출 모듈 (118) 은 자동 백색 밸런스 데이터를 수신할 수도 있다.
특정 실시형태에서, 방법은 810 에서, 이미지의 실내 영역 내에서 얼굴 영역을 식별한다. 휘도 조건을 평가하는 것은 얼굴 영역의 엘리먼트들을 제 3 임계값과 비교하는 것을 더 포함할 수도 있다. 방법은 또한 실외 영역 내에서 얼굴 영역을 식별하고 그 얼굴 영역의 엘리먼트들을 제 3 임계값과 비교할 수도 있다. 방법은 812 에서, 백라이트 조건에 기초하여 백라이트 보상을 적용할 수도 있다.
도 8 은 백라이트 조건을 자동으로 검출 및 보정하기 위해 도 1 의 장치 (100) 에 의해 실행가능한 방법을 포함한다. 도 8 을 참조하여 설명된 실시형태들은 사용자들에게 증가된 편의를 제공하면서, 이미지 품질을 증가시키기 위해 백라이트 조건을 자동으로 검출 및 보상할 수도 있다.
도 9 는 캡처링된 이미지의 제 1 부분 및 제 2 부분, 예를 들면, 실내 부분 및 실외 부분을 식별하는 방법 (900) 을 나타낸다. 902 에서, 방법의 일 실시형태는 이미지를 복수의 실질적으로 동일한 구역들로 나누며, 그 구역들 각각은 다수의 픽셀들을 포함한다. 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값이 904 에서 결정될 수도 있다. 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값은 906 에서, 색 공간 내의 온도 존들에 대응하는 미리 교정된 그레이 포인트들과 비교될 수도 있다.
특정 실시형태에 따르면, 백라이트 조건은, 908 에서, 높은 색 온도 존 내의 이미지의 적어도 일부 실외 샘플들이 고휘도 샘플들과 저휘도 샘플들 양자를 포함할 때 검출된다 (여기서, 높은 온도 존 내의 저휘도 샘플들의 수는 제 4 임계값을 초과한다). 910 에서, 방법은, 이미지의 적어도 일부 실외 샘플들이 이미지의 적어도 일부 실내 샘플들보다 실질적으로 더 고휘도 값들을 가질 때 백라이트 조건을 검출한다 (여기서, 실내 저휘도 샘플들의 수는 제 5 임계값을 초과한다).
도 9 는 백라이트 조건을 자동으로 검출하기 위해 도 1 의 실내/실외 비교 로직 (130) 에 의해 실행가능한 방법을 포함한다. 도 9 를 참조하여 설명된 실시형태들은 휘도 샘플들의 플롯팅된 분포에 기초하여 백라이트 조건을 자동으로 검출할 수도 있다. 실내 및 실외 휘도 샘플들을 식별 및 평가함으로써, 방법은 이미지 품질 및 사용자 편의를 증가시킬 수도 있다.
도 10 은 이미지의 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값을 결정하기 위한 방법 (1000) 을 나타낸다. 1002 에서, 특정 실시형태는 이미지 데이터 (104) 를 RGB 이미지 데이터로부터 YCbCr 이미지 데이터로 변환한다. 1004 에서, 복수의 구역들의 각각의 구역 내의 그레이 픽셀들이 합산되어 각각의 특정 구역 내의 그레이 픽셀들의 수를 제공할 수도 있다. 방법은 1006 에서, YCbCr 이미지 데이터를 RGB 이미지 데이터로 변환할 수도 있다. 1008 에서, 방법은 각각의 특정 구역 내의 그레이 픽셀들의 휘도 (Y) 값들의 합, Cb (chroma blue) 값들의 합, 및 Cr (chroma red) 값들의 합을 제공할 수도 있다. 1010 에서, 합산된 Y 값들, 합산된 Cb 값들, 및 합산된 Cr 값들이 더해져 각각의 특정 구역 내의 합산된 YCbCr 값을 산출할 수도 있다. 방법은 1012 에서, 각각의 특정 구역 내의 합산된 YCbCr 값을 각각의 특정 구역 내의 그레이 픽셀들의 수로 나눌 수도 있다. 1014 에서, 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값이 출력될 수도 있다.
도 10 은 실내 및 실외 휘도 샘플들을 식별하는데 이용될 수도 있는, 자동 백색 밸런스 통계, 예를 들면, 이미지의 구역들 내의 그레이 픽셀을 생성하기 위해 도 1 의 자동 백색 밸런스 모듈 (120) 에 의해 실행가능한 방법을 포함한다. 통계 및 식별은 백라이트 조건의 자동 검출 및 보정을 용이하게 할 수도 있다. 도 10 에서 설명된 방법은 증가된 이미지 품질 및 사용자 편의를 조장할 수도 있다.
도 11 을 참조하면, 자동 백색 밸런스 데이터를 이용하여 백라이트 조건을 자동으로 검출하도록 구성된 장치의 특정 예시적인 실시형태의 블록도가 도시되고, 일반적으로 1100 으로 지정된다. 장치 (1100) 는 렌즈 (1168) 에 커플링되고 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (1170) 에 또한 커플링되는 이미지 센서 디바이스 (1122) 를 포함한다. 이미지 센서 디바이스 (1122) 는 자동 백색 밸런스 데이터를 이용하여 백라이트 조건을 검출하는 자동 백라이트 검출 모듈 (1164) 을 포함한다.
자동 백라이트 검출 모듈 (1164) 은, 이미지 어레이 (1166) 의 출력을 수신하고 이미지 데이터를 자동 백라이트 검출 모듈 (1164) 에 제공하기 위해 커플링되는 아날로그-디지털 컨버터 (1126) 를 통해서와 같이, 이미지 어레이 (1166) 로부터 이미지 데이터를 수신하기 위해 커플링된다.
이미지 센서 디바이스 (1122) 는 또한 프로세서 (1110) 를 포함할 수도 있다. 특정 실시형태에서, 프로세서 (1110) 는 자동 백색 밸런스 데이터를 이용하여 백라이팅 검출을 구현하도록 구성된다. 다른 실시형태에서, 자동 백라이트 검출 모듈 (1164) 은 별개의 이미지 프로세싱 회로로서 구현된다.
프로세서 (1110) 는 또한 도 1 의 모듈들 (120, 122, 124, 132) 에 의해 수행된 동작들 중 하나 이상과 같은 추가의 이미지 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (1110) 는 추가 프로세싱, 송신, 저장, 디스플레이, 또는 이들의 임의의 조합을 위해 애플리케이션 프로세서 칩셋 (1170) 에 프로세싱된 이미지 데이터를 제공할 수도 있다.
도 12 는 자동 백색 밸런스 데이터를 이용하여 백라이팅을 검출하도록 구성된 자동 백라이팅 검출 모듈 (1264) 을 포함하는 장치 (1200) 의 특정 실시형태의 블록도이다. 장치 (1200) 는 휴대용 전자 디바이스 내에 구현될 수도 있으며, 메모리 (1232) 에 커플링된 디지털 신호 프로세서 (DSP) 와 같은 프로세서 (1210) 를 포함한다.
프로세서 (1210) 에는 카메라 제어기 (1270) 가 커플링되고, 또한 비디오 카메라와 같은 카메라 (1272) 에도 커플링된다. 카메라 제어기 (1270) 는 이를 테면 자동포커싱 및 자동 노출 제어를 위해 프로세서 (1210) 에 응답적일 수도 있다. 디스플레이 제어기 (1226) 는 프로세서 (1210) 에, 그리고 디스플레이 디바이스 (1228) 에 커플링된다. 프로세서 (1210) 에는 코더/디코더 (CODEC) (1234) 가 또한 커플링된다. CODEC (1234) 에는 스피커 (1239) 및 마이크로폰 (1238) 이 커플링될 수 있다. 무선 인터페이스 (1240) 가 프로세서 (1210) 에, 그리고 무선 안테나 (1242) 에 커플링될 수 있다.
프로세서 (1210) 는 또한 프로세싱된 이미지 데이터 (1280) 를 생성하도록 구성될 수도 있다. 디스플레이 제어기 (1226) 는 프로세싱된 이미지 데이터 (1280) 를 수신하고 프로세싱된 이미지 데이터 (1280) 를 디스플레이 디바이스 (1228) 에 제공하도록 구성된다. 또한, 메모리 (1232) 는 프로세싱된 이미지 데이터 (1280) 를 수신 및 저장하도록 구성될 수도 있으며, 무선 인터페이스 (1240) 는 안테나 (1242) 를 통한 송신을 위한 프로세싱된 이미지 데이터 (1280) 를 검색하도록 구성될 수도 있다.
특정 실시형태에서, 자동 백라이팅 검출 모듈 (1264) 이 컴퓨터 판독가능 매체에 저장되는 컴퓨터 실행가능한 명령들과 같이, 프로세서 (1210) 에서 실행가능한 컴퓨터 코드로서 구현된다. 예를 들어, 프로그램 명령들 (1282) 은 이미지 데이터 (1280) 를 자동으로 백색 밸런싱하여 백색 밸런스 데이터를 생성하고 백색 밸런스 데이터에 기초하여 백라이트 조건을 검출하기 위한 코드를 포함할 수도 있다.
특정 실시형태에서, 프로세서 (1210), 디스플레이 제어기 (1226), 메모리 (1232), CODEC (1234), 무선 인터페이스 (1240), 및 카메라 제어기 (1270) 가 패키지형 시스템 또는 시스템 온 칩 디바이스 (1222) 내에 포함된다. 특정 실시형태에서, 입력 디바이스 (1230) 및 전원 (1244) 이 시스템 온 칩 디바이스 (1222) 에 커플링된다. 또한, 특정 실시형태에서, 도 12 에 예시한 바와 같이, 디스플레이 디바이스 (1228), 입력 디바이스 (1230), 스피커 (1239), 마이크로폰 (1238), 무선 안테나 (1242), 비디오 카메라 (1272), 및 전원 (1244) 이 시스템 온 칩 디바이스 (1222) 의 외부에 있다. 그러나, 디스플레이 디바이스 (1228), 입력 디바이스 (1230), 스피커 (1239), 마이크로폰 (1238), 무선 안테나 (1242), 카메라 (1272) 및 전원 (1244) 각각은 인터페이스 또는 제어기와 같이, 시스템 온 칩 디바이스 (1222) 의 컴포넌트에 커플링될 수 있다.
다수의 이미지 프로세싱 기술들이 설명되어 있다. 이 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현한 경우, 그 기술들은 디바이스에서의 실행 시에, 디바이스로 하여금 여기에 설명된 기술들 중 하나 이상을 수행하도록 하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체와 관련될 수도 있다. 그 경우에, 컴퓨터 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그램가능한 판독 전용 메모리 (EEPROM), FLASH 메모리 등을 포함할 수도 있다.
프로그램 코드는 컴퓨터 판독가능 명령들의 형태로 메모리 내에 저장될 수도 있다. 그 경우에, DSP 와 같은 프로세서가 이미지 프로세싱 기술들 중 하나 이상을 수행하기 위하여 메모리 내에 저장된 명령들을 실행할 수도 있다. 일부 경우에, 그 기술들은 다양한 하드웨어 컴포넌트들을 인보크하여 이미지 프로세싱을 촉진하는 DSP 에 의해 실행될 수도 있다. 다른 경우에, 여기에 설명된 유닛들은 마이크로프로세서, 하나 이상의 주문형 집적 회로 (ASIC), 하나 이상의 필드 프로그램가능한 게이트 어레이 (FPGA), 또는 일부 다른 하드웨어-소프트웨어 조합으로서 구현될 수도 있다.
당업자는 또한, 여기에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있다는 것을 알 것이다. 하드웨어와 소프트웨어의 이런 상호교환가능성을 명확히 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들 및 단계들은 그들의 기능성의 관점에서 일반적으로 상술되어 있다. 이러한 기능성이 하드웨어로서 구현되는지 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 의존한다. 당업자는 상기 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정은 본 개시물의 범위로부터 일탈을 야기하는 것처럼 해석되어서는 안된다.
여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 직접 하드웨어에, 프로세서에 의해 실행된 소프트웨어 모듈에, 또는 이 둘의 조합에 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능한 판독 전용 메모리 (PROM), 소거가능한 프로그램가능한 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램가능한 판독 전용 메모리 (EEPROM), 레지스터, 하드 디스크, 착탈식 디스크, 콤팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 알려져 있는 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 일 예시적인 저장 매체는 프로세서에 커플링되어, 그 프로세서가 저장 매체로부터 정보를 판독하고, 그 저장 매체에 정보를 기록할 수 있도록 한다. 대안으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서와 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 디바이스에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기 내에 별개의 컴포넌트들로서 상주할 수도 있다.
상기 개시된 실시형태들의 이전의 설명은, 당업자로 하여금 상기 개시된 실시형태들을 실시 또는 이용할 수 있게 하기 위해 제공된다. 이들 실시형태들에 대한 다양한 변형이 당업자에게 쉽게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시물의 범위로부터의 일탈 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 여기에 나타내진 실시형태들에 제한되는 것으로 의도되지 않고 다음의 특허청구의 범위에 의해 정의되는 바와 같이 원리들 및 신규한 특징들에 가능한 부합하는 최광의 범위를 따르게 될 것이다.

Claims (22)

  1. 자동 백색 밸런스 (auto white balance; AWB) 모듈에서 이미지 데이터를 수신하는 단계;
    상기 이미지 데이터에 기초하여 복수의 영역들을 결정하는 단계;
    상기 복수의 영역들의 각각의 영역 내의 그레이 픽셀들의 평균 값을 결정함으로써, 자동 백색 밸런스 데이터를 생성하는 단계; 및
    상기 그레이 픽셀들의 평균 값을 알려진 조명 조건들에 대응하는 기준 포인트들과 비교하는 것에 기초하여 백라이트 조건을 검출하는 단계를 포함하며,
    상기 이미지 데이터는 캡처링된 이미지에 대응하고,
    상기 자동 백색 밸런스 데이터는 백라이트 검출 모듈에 의해 수신되며,
    상기 백라이트 검출 모듈은 :
    상기 이미지의 제 1 부분을 실내 영역으로서 식별하고 상기 이미지의 제 2 부분을 실외 영역으로서 식별하고;
    상기 실내 영역의 엘리먼트들을 제 1 임계값과 비교하고 상기 실외 영역의 엘리먼트들을 제 2 임계값과 비교함으로써 휘도 조건을 평가하며;
    상기 평가된 휘도 조건에 응답하여 상기 백라이트 조건을 검출하는, 자동 백라이트 검출을 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 실내 영역 내에서 얼굴 영역을 식별하는 단계를 더 포함하며,
    상기 휘도 조건을 평가하는 것은 상기 얼굴 영역의 엘리먼트들을 제 3 임계값과 비교하는 것을 더 포함하는, 자동 백라이트 검출을 위한 방법.
  4. 제 1 항에 있어서,
    상기 실외 영역 내에서 얼굴 영역을 식별하는 단계를 더 포함하며,
    상기 휘도 조건을 평가하는 것은 상기 얼굴 영역의 엘리먼트들을 제 3 임계값과 비교하는 것을 더 포함하는, 자동 백라이트 검출을 위한 방법.
  5. 제 1 항에 있어서,
    상기 백라이트 조건에 기초하여 백라이트 보상을 적용하는 단계를 더 포함하는, 자동 백라이트 검출을 위한 방법.
  6. 제 1 항에 있어서,
    상기 이미지의 제 1 부분을 식별하고 상기 이미지의 제 2 부분을 식별하는 것은 :
    각각이 다수의 픽셀들을 포함하는 복수의 동일한 구역들로 상기 이미지를 나누는 것;
    상기 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값을 결정하는 것; 및
    상기 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 상기 평균 값을 색 공간 내의 온도 존들에 대응하는 미리 교정된 그레이 픽셀 포인트들과 비교하는 것을 포함하는, 자동 백라이트 검출을 위한 방법.
  7. 제 6 항에 있어서,
    상기 백라이트 조건은, 미리 결정된 색 온도보다 높은 색 온도를 갖는 색 온도 존 내의 상기 이미지의 적어도 일부 실외 샘플들이 고휘도 샘플들과 저휘도 샘플들 양자를 포함할 때 검출되며,
    상기 색 온도 존 내의 저휘도 샘플들의 수는 제 4 임계값을 초과하는, 자동 백라이트 검출을 위한 방법.
  8. 제 6 항에 있어서,
    상기 백라이트 조건은, 상기 이미지의 적어도 일부 실외 샘플들이 상기 이미지의 적어도 일부 실내 샘플들보다 더 고휘도 값들을 가질 때 검출되며,
    실내 저휘도 샘플들의 수는 제 5 임계값을 초과하는, 자동 백라이트 검출을 위한 방법.
  9. 제 6 항에 있어서,
    상기 복수의 구역들의 각각의 구역 내의 그레이 픽셀들의 평균 값을 결정하는 것은 :
    상기 이미지 데이터를 적, 녹 및 청 (RGB) 이미지 데이터로부터 루마 (luma), 크로마 (chroma) (YCbCr) 이미지 데이터로 변환하는 것;
    상기 복수의 구역들의 각각의 구역 내의 그레이 픽셀들을 합산하여 각각의 특정 구역 내의 그레이 픽셀들의 수를 제공하는 것;
    상기 YCbCr 이미지 데이터를 RGB 이미지 데이터로 변환하는 것;
    각각의 특정 구역 내의 상기 그레이 픽셀들의 휘도 (Y) 값들의 합, Cb (chroma blue) 값들의 합, 및 Cr (chroma red) 값들의 합을 제공하는 것;
    상기 Y 값들의 합, 상기 Cb 값들의 합, 및 상기 Cr 값들 합을 더하여 각각의 특정 구역 내의 합산된 YCbCr 값을 산출하는 것; 및
    각각의 특정 구역 내의 상기 합산된 YCbCr 값을 각각의 특정 구역 내의 상기 그레이 픽셀들의 수로 나누는 것을 포함하는, 자동 백라이트 검출을 위한 방법.
  10. 이미지 데이터를 수신하고, 상기 이미지 데이터에 기초하여 복수의 영역들을 결정하고, 상기 복수의 영역들의 각각의 영역 내의 그레이 픽셀들의 평균 값을 결정함으로써, 자동 백색 밸런스 데이터를 생성하도록 구성된 자동 백색 밸런스 (auto white balance; AWB) 모듈; 및
    상기 AWB 모듈로부터 데이터를 수신하기 위해 연결되고 상기 각각의 영역 내의 그레이 픽셀들의 평균 값을 알려진 조명 조건들에 대응하는 기준 포인트들과 비교하는 것에 기초하여 백라이트 조건을 검출하기 위한 로직을 포함하는 백라이트 검출 모듈을 포함하며,
    상기 백라이트 검출 모듈은 :
    상기 이미지 데이터의 제 1 부분을 실내 영역으로서 식별하고 상기 이미지 데이터의 제 2 부분을 실외 영역으로 식별하고;
    상기 실내 영역의 엘리먼트들을 제 1 임계값과 비교하고 상기 실외 영역의 엘리먼트들을 제 2 임계값과 비교함으로써 휘도 조건을 평가하며;
    상기 평가된 휘도 조건에 응답하여 상기 백라이트 조건을 검출하도록 구성되는, 자동 백라이트 검출을 위한 장치.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 백라이트 검출 모듈은 :
    상기 AWB 모듈로부터 상기 데이터를 수신하도록 구성된 AWB 인터페이스;
    상기 AWB 인터페이스에 연결되고 상기 실내 영역을 식별하고 상기 실외 영역을 식별하도록 구성된 실내/실외 비교 로직; 및
    상기 실내/실외 비교 로직에 연결되고 상기 백라이트 조건을 검출하도록 구성된 백라이트 조건 결정 로직을 포함하는, 자동 백라이트 검출을 위한 장치.
  13. 제 10 항에 있어서,
    상기 백라이트 검출 모듈에 연결된 히스토그램 모듈을 더 포함하며,
    상기 히스토그램 모듈은 상기 이미지 데이터에 대해 제 1 테스트를 수행하도록 구성되고,
    상기 제 1 테스트가 통과인 경우, 상기 백라이트 검출 모듈은, 상기 AWB 모듈로부터의 상기 데이터에 대해 제 2 테스트를 수행하도록 구성되며,
    상기 제 2 테스트가 통과인 경우에는, 백라이트 보상이 적용되는, 자동 백라이트 검출을 위한 장치.
  14. 제 13 항에 있어서,
    상기 제 1 테스트 및 상기 제 2 테스트 중 하나가 실패인 경우에는, 백라이트 보상이 적용되지 않는, 자동 백라이트 검출을 위한 장치.
  15. 제 14 항에 있어서,
    상기 백라이트 검출 모듈에 연결된 얼굴 검출 모듈을 더 포함하며,
    상기 얼굴 검출 모듈은 상기 이미지 데이터에 대해 제 3 테스트를 수행하도록 구성되고,
    얼굴이 검출되는 경우에는, 얼굴 우선 백라이트 보상이 적용되는, 자동 백라이트 검출을 위한 장치.
  16. 제 13 항에 있어서,
    상기 제 1 테스트는 :
    제 1 값보다 더 작은 휘도 값을 갖는 픽셀들의 수가 제 1 임계값을 초과하는지 여부를 결정하는 것; 및
    제 2 값보다 더 큰 휘도 값을 갖는 픽셀들의 수가 제 2 임계값을 초과하는지 여부를 결정하는 것을 포함하는, 자동 백라이트 검출을 위한 장치.
  17. 제 13 항에 있어서,
    상기 장치는 무선 디바이스, 카메라 및 캠코더 중 하나를 포함하는, 자동 백라이트 검출을 위한 장치.
  18. 컴퓨터 실행가능한 코드를 저장하는 자동 백라이트 검출을 위한 컴퓨터 판독가능 매체로서, 상기 컴퓨터 실행가능한 코드는 실행될 때 컴퓨터로 하여금,
    이미지 데이터에 기초하여 복수의 영역들을 결정하도록 하고;
    상기 복수의 영역들의 각각의 영역 내의 그레이 픽셀들의 평균 값을 결정함으로써, 자동 백색 밸런스 데이터를 생성하도록 하고;
    상기 각각의 영역 내의 그레이 픽셀들의 평균 값과 알려진 조명 조건들에 대응하는 기준 포인트들과의 비교에 기초하여 백라이트 조건을 검출하도록 하며,
    상기 이미지 데이터는 캡처링된 이미지에 대응하고,
    상기 백라이트 조건을 검출하는 것은 :
    상기 이미지의 제 1 부분을 실내 영역으로서 식별하고 상기 이미지의 제 2 부분을 실외 영역으로서 식별하는 것;
    상기 실내 영역의 엘리먼트들을 제 1 임계값과 비교하고 상기 실외 영역의 엘리먼트들을 제 2 임계값과 비교함으로써 휘도 조건을 평가하는 것; 및
    상기 평가된 휘도 조건에 응답하여 상기 백라이트 조건을 검출하는 것을 포함하는, 자동 백라이트 검출을 위한 컴퓨터 판독가능 매체.
  19. 삭제
  20. 제 18 항에 있어서,
    상기 백라이트 조건에 기초하여 백라이트 보상을 선택적으로 적용하도록 상기 컴퓨터에 의해 실행가능한 코드를 더 포함하는, 자동 백라이트 검출을 위한 컴퓨터 판독가능 매체.
  21. 이미지 데이터에 기초하여 복수의 영역들을 결정하기 위한 수단;
    상기 복수의 영역들의 각각의 영역 내의 그레이 픽셀들의 평균 값을 결정함으로써, 상기 이미지 데이터를 자동으로 백색 밸런싱하여 백색 밸런스 데이터를 생성하기 위한 수단; 및
    상기 각각의 영역 내의 그레이 픽셀들의 평균 값과 알려진 조명 조건들에 대응하는 기준 포인트들과의 비교에 기초하여 백라이트 조건을 검출하기 위한 수단을 포함하며,
    상기 이미지 데이터는 캡처링된 이미지에 대응하고,
    상기 백라이트 조건을 검출하기 위한 수단은 :
    상기 이미지의 제 1 부분을 실내 영역으로서 식별하고 상기 이미지의 제 2 부분을 실외 영역으로서 식별하는 수단;
    상기 실내 영역의 엘리먼트들을 제 1 임계값과 비교하고 상기 실외 영역의 엘리먼트들을 제 2 임계값과 비교함으로써 휘도 조건을 평가하는 수단; 및
    상기 평가된 휘도 조건에 응답하여 상기 백라이트 조건을 검출하는 수단을 포함하는, 자동 백라이트 검출을 위한 장치.
  22. 삭제
KR1020117026647A 2009-04-13 2010-04-13 자동 백라이트 검출 KR101360543B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/422,850 2009-04-13
US12/422,850 US20100259639A1 (en) 2009-04-13 2009-04-13 Automatic backlight detection
PCT/US2010/030817 WO2010120721A1 (en) 2009-04-13 2010-04-13 Automatic backlight detection

Publications (2)

Publication Number Publication Date
KR20110139311A KR20110139311A (ko) 2011-12-28
KR101360543B1 true KR101360543B1 (ko) 2014-02-10

Family

ID=42269599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117026647A KR101360543B1 (ko) 2009-04-13 2010-04-13 자동 백라이트 검출

Country Status (7)

Country Link
US (1) US20100259639A1 (ko)
EP (1) EP2420067A1 (ko)
JP (1) JP5497151B2 (ko)
KR (1) KR101360543B1 (ko)
CN (1) CN102388615A (ko)
TW (1) TW201127076A (ko)
WO (1) WO2010120721A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100925629B1 (ko) * 2007-12-07 2009-11-06 삼성전기주식회사 YCbCr 색공간에서의 오토 화이트 밸런스 방법
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
JP5215262B2 (ja) * 2009-02-03 2013-06-19 オリンパスイメージング株式会社 撮像装置
US8605997B2 (en) * 2009-11-23 2013-12-10 Samsung Electronics Co., Ltd. Indoor-outdoor detector for digital cameras
CN102196182A (zh) * 2010-03-09 2011-09-21 株式会社理光 逆光检测设备及逆光检测方法
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
TWI548284B (zh) * 2012-10-18 2016-09-01 鴻海精密工業股份有限公司 白平衡調整方法
CN103780891B (zh) * 2012-10-19 2017-02-08 鸿富锦精密工业(深圳)有限公司 白平衡调整方法
US8948454B2 (en) 2013-01-02 2015-02-03 International Business Machines Corporation Boosting object detection performance in videos
JP6000133B2 (ja) * 2013-01-08 2016-09-28 株式会社 日立産業制御ソリューションズ 撮像装置、撮像システム及び撮像方法
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
TWI580274B (zh) 2016-01-14 2017-04-21 瑞昱半導體股份有限公司 產生供自動白平衡校正運算使用的像素篩選範圍的方法
CN106993175B (zh) * 2016-01-20 2019-08-20 瑞昱半导体股份有限公司 产生供自动白平衡校正运算使用的像素筛选范围的方法
US10742850B2 (en) * 2017-04-17 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for white balance adjustment
US20190311464A1 (en) * 2018-04-05 2019-10-10 Qualcomm Incorporated Tuning for deep-learning-based color enhancement systems
US10762336B2 (en) * 2018-05-01 2020-09-01 Qualcomm Incorporated Face recognition in low light conditions for unlocking an electronic device
KR102581679B1 (ko) * 2018-08-08 2023-09-25 삼성전자주식회사 이미지에 포함된 객체의 속성에 따라 이미지의 화이트 밸런스를 보정하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN117192822A (zh) * 2023-09-12 2023-12-08 深圳市鑫美芝实业有限公司 一种基于背光模组电路智能测试系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060290957A1 (en) * 2005-02-18 2006-12-28 Samsung Electronics Co., Ltd. Apparatus, medium, and method with automatic white balance control
US20080111913A1 (en) * 2006-11-15 2008-05-15 Fujifilm Corporation Image taking device and method of controlling exposure
JP2009063674A (ja) * 2007-09-04 2009-03-26 Canon Inc 撮像装置及びフラッシュ制御方法
JP2018007429A (ja) * 2016-07-04 2018-01-11 アイシン精機株式会社 回転電機

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822256B2 (ja) * 1990-02-15 1998-11-11 ソニー株式会社 ビデオカメラの露光補正装置
JP3412174B2 (ja) * 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
JP3366431B2 (ja) * 1994-04-18 2003-01-14 日本フィリップス株式会社 高輝度カラー抑圧回路
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
JP4576658B2 (ja) * 2000-02-29 2010-11-10 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
US7146041B2 (en) * 2001-11-08 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded
US20040120599A1 (en) * 2002-12-19 2004-06-24 Canon Kabushiki Kaisha Detection and enhancement of backlit images
JP4232498B2 (ja) * 2003-03-24 2009-03-04 富士ゼロックス株式会社 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems
JP4036156B2 (ja) * 2003-07-30 2008-01-23 セイコーエプソン株式会社 逆光画像の判定
JP4185879B2 (ja) * 2004-03-31 2008-11-26 大日本印刷株式会社 透過照明型表示板の輝度調整方法、及びその方法により輝度が調整された透過照明型表示板
US7599093B2 (en) * 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
TWI300159B (en) * 2004-12-24 2008-08-21 Sony Taiwan Ltd Camera system
CN101142811A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置和图像处理方法、程序以及记录介质
WO2006098356A1 (ja) * 2005-03-15 2006-09-21 Omron Corporation 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US7916218B2 (en) * 2006-01-27 2011-03-29 Samsung Electronics Co., Ltd. Image display apparatus and method
US7912279B2 (en) * 2006-10-26 2011-03-22 Qualcomm Incorporated Automatic white balance statistics collection
JP2008187429A (ja) * 2007-01-30 2008-08-14 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録した記録媒体
JP4711987B2 (ja) * 2007-03-14 2011-06-29 株式会社リコー 撮像装置および自動露出制御方法
JP5127317B2 (ja) * 2007-06-25 2013-01-23 三洋電機株式会社 カメラ
JP5238222B2 (ja) * 2007-10-31 2013-07-17 株式会社東芝 画像表示装置、画像表示方法及び画像処理装置
CN101465964A (zh) * 2007-12-17 2009-06-24 鸿富锦精密工业(深圳)有限公司 摄影装置及其摄影方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060290957A1 (en) * 2005-02-18 2006-12-28 Samsung Electronics Co., Ltd. Apparatus, medium, and method with automatic white balance control
US20080111913A1 (en) * 2006-11-15 2008-05-15 Fujifilm Corporation Image taking device and method of controlling exposure
JP2009063674A (ja) * 2007-09-04 2009-03-26 Canon Inc 撮像装置及びフラッシュ制御方法
JP2018007429A (ja) * 2016-07-04 2018-01-11 アイシン精機株式会社 回転電機

Also Published As

Publication number Publication date
JP5497151B2 (ja) 2014-05-21
WO2010120721A1 (en) 2010-10-21
KR20110139311A (ko) 2011-12-28
US20100259639A1 (en) 2010-10-14
JP2012523799A (ja) 2012-10-04
CN102388615A (zh) 2012-03-21
TW201127076A (en) 2011-08-01
EP2420067A1 (en) 2012-02-22

Similar Documents

Publication Publication Date Title
KR101360543B1 (ko) 자동 백라이트 검출
US7912279B2 (en) Automatic white balance statistics collection
US7728880B2 (en) Automatic white balance method and apparatus
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
US10325354B2 (en) Depth assisted auto white balance
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
US20070047803A1 (en) Image processing device with automatic white balance
US8629919B2 (en) Image capture with identification of illuminant
US20070104475A1 (en) Backlight compensation using threshold detection
US20200228770A1 (en) Lens rolloff assisted auto white balance
US9036046B2 (en) Image processing apparatus and method with white balance correction
US8665355B2 (en) Image capture with region-based adjustment of contrast
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
US20200228769A1 (en) Lens rolloff assisted auto white balance
JP2009004966A (ja) 撮像装置
CN114143443B (zh) 双传感器摄像系统及其摄像方法
WO2022032666A1 (zh) 处理图像的方法和相关装置
US20230017498A1 (en) Flexible region of interest color processing for cameras
JP2013132065A (ja) 撮像装置及びフラッシュ制御方法
CN117581557A (zh) 用于相机的灵活的感兴趣区域色彩处理

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee