KR102015086B1 - 적외선 및/또는 자외선 신호들을 사용하는 자동 화이트 밸런스 - Google Patents

적외선 및/또는 자외선 신호들을 사용하는 자동 화이트 밸런스 Download PDF

Info

Publication number
KR102015086B1
KR102015086B1 KR1020187001351A KR20187001351A KR102015086B1 KR 102015086 B1 KR102015086 B1 KR 102015086B1 KR 1020187001351 A KR1020187001351 A KR 1020187001351A KR 20187001351 A KR20187001351 A KR 20187001351A KR 102015086 B1 KR102015086 B1 KR 102015086B1
Authority
KR
South Korea
Prior art keywords
probability
data
light
image
light data
Prior art date
Application number
KR1020187001351A
Other languages
English (en)
Other versions
KR20180019177A (ko
Inventor
스제포 로버트 헝
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180019177A publication Critical patent/KR20180019177A/ko
Application granted granted Critical
Publication of KR102015086B1 publication Critical patent/KR102015086B1/ko

Links

Images

Classifications

    • H04N9/735
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

일 양상에 따라, 디바이스는 이미지를 획득하도록 구성된 카메라, 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터 중 적어도 하나를 생성하도록 구성된 전자기 방사 센서, UV 광 데이터 및 IR 광 데이터 중 적어도 하나를 사용하여 확률 데이터로부터 발광체 타입 확률을 검출하도록 구성된 센서 프로세서 ― 발광체 타입 확률은 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰 레벨을 표시함 ― , 및 발광체 타입 확률에 따라 자동-화이트 밸런스를 조정하도록 구성된 자동-화이트 밸런스 유닛을 포함한다.

Description

적외선 및/또는 자외선 신호들을 사용하는 자동 화이트 밸런스
[0001] 본 출원은 2015년 10월 16일에 출원되고 명칭이 "AUTO WHITE BALANCE USING INFRARED AND/OR ULTRAVIOLET SIGNALS"인 미국 정식 특허 출원 제14/885,377 호를 우선권으로 주장하고 이의 계속 출원이고, 상기 출원의 전체 개시내용은 인용에 의해 본원에 통합된다.
[0002] AWB(Auto White Balance)는, 카메라 센서에 의해 캡처된 이미지들에 대해 다양한 발광체들(illuminants) 하에서 컬러 항상성(color constancy)을 달성하는데 사용될 수 있는 기능이다. 종래에, AWB는 입력 이미지로부터 통계 샘플들을 수집하고, 통계 샘플들을 분석함으로써 발광체를 추정할 수 있다. 그러나, 이러한 접근법은 입력 이미지 내의 컬러들에 의해 호도(mislead)될 수 있다. 예컨대, 카메라는 RGB(Red Green Blue) 컬러들만을 갖는 장면을 검출할 수 있지만, 발광체의 스펙트럼 분포를 결정하지 못할 수 있다. 결과적으로, 이미지 자체만을 사용함으로써, AWB는 검출된 RGB 값들에 의해 호도될 수 있다. 예컨대, 피부 또는 나무 컬러들은 하위 컬러 온도 방향을 향해 추정함으로써 AWB를 호도하는 경향이 있고, 결과적인 이미지는 부정확하게(예컨대, 화이트 대신에 푸르스름(bluish)하게) 보일 수 있다.
[0003] 하나 또는 그 초과의 구현들의 세부사항들이 첨부된 도면들 및 아래의 설명에 제시된다. 다른 특징들은 설명 및 도면들, 및 청구항들로부터 명백해질 것이다.
[0004] 일 양상에 따라, 디바이스는 이미지를 획득하도록 구성된 카메라, 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터 중 적어도 하나를 생성하도록 구성된 전자기 방사 센서(electromagnetic radiation sensor), UV 광 데이터 및 IR 광 데이터 중 적어도 하나를 사용하여 확률 데이터로부터 발광체 타입 확률(illuminant type probability)을 결정/검출하도록 구성된 센서 프로세서 ― 여기서 발광체 타입 확률은 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰(confidence) 레벨을 표시함 ― , 및 발광체 타입 확률에 따라/기반하여 자동-화이트 밸런스(auto-white balance)를 조정하도록 구성된 자동-화이트 밸런스 유닛을 포함한다.
[0005] 디바이스는 다음의 특징들 중 하나 또는 그 초과(또는 이들의 임의의 조합)를 포함할 수 있다. 센서 프로세서는, UV 광 데이터가 UV 값들의 범위 내에 있는지 여부 및 IR 광 데이터가 IR 값들의 범위 내에 있는지 여부에 기반하여 발광체 타입 확률이 신뢰 임계치를 초과하는 것으로 결정/검출하도록 구성될 수 있고, 여기서 발광체 타입 확률이 신뢰 임계치를 초과하는 것은, 광 소스가 특정 발광체 타입으로서 분류될 수 있다는 것을 표시한다. 센서 프로세서는, 발광체 타입 확률이 신뢰 임계치를 초과할 때, 이미지와 연관된 광 소스가 일광(daylight)이라고 결정하도록 구성될 수 있고, 여기서 발광체 타입 확률은, UV 광 데이터가 제1 상위 임계치(upper threshold)를 초과하고 IR 광 데이터가 제2 상위 임계치를 초과할 때, 신뢰 임계치를 초과한다. 센서 프로세서는, 발광체 타입 확률이 신뢰 임계치를 초과할 때, 이미지와 연관된 광 소스가 형광(fluorescent light)이라고 결정하도록 구성될 수 있고, 여기서 발광체 타입 확률은, UV 광 데이터가 상위 중간 임계치 내지 하위 중간 임계치이고 IR 광 데이터가 하위 임계치 미만일 때, 신뢰 임계치를 초과한다. 센서 프로세서는, 발광체 타입 확률이 신뢰 임계치를 초과할 때, 이미지와 연관된 광 소스가 백열광(incandescent light)이라고 결정하도록 구성될 수 있고, 여기서 발광체 타입 확률은, UV 광 데이터가 상위 중간 임계치 내지 하위 중간 임계치이고 IR 광 데이터가 상위 임계치를 초과할 때, 신뢰 임계치를 초과한다. 센서 프로세서는, 발광체 타입 확률이 신뢰 임계치를 초과할 때, 이미지와 연관된 광 소스가 가시광 LED(light emitting diode)라고 결정하도록 구성될 수 있고, 여기서 발광체 타입 확률은, UV 광 데이터가 제1 하위 임계치 미만이고 IR 광 데이터가 제2 하위 임계치 미만일 때, 신뢰 임계치를 초과한다. 확률 데이터는 UV 확률 관계 및 IR 확률 관계 중 적어도 하나를 포함할 수 있다. UV 확률 관계는 휘도 값들(luminance values)에 관련하여 UV 값들의 어레인지먼트(arrangement)를 제공할 수 있다. UV 확률 관계는 UV 값들 및 휘도 값들의 조합들에 대한 확률들을 포함할 수 있다. IR 확률 관계는 휘도 값들과 관련하여 IR 값들의 어레인지먼트를 제공할 수 있다. IR 확률 관계는 IR 값들 및 휘도 값들의 조합들에 대한 확률들을 표시할 수 있다. 확률 데이터는 UV 광 데이터 및 IR 광 데이터의 비율(ratio)의 비율 값들에 대한 확률들을 제공하는 비율 확률 관계를 포함할 수 있다. 카메라 및 전자기 방사 센서는 인터페이스 버스 및 전력 연결을 공유할 수 있다. 카메라는 디바이스의 디스플레이 스크린의 동일한 측 상에 배치된 전방 카메라일 수 있다.
[0006] 일 양상에 따라, 비일시적인 컴퓨터-판독 가능 매체는 실행 가능 명령들을 저장하고, 실행 가능 명령들은, 실행될 때, 적어도 하나의 프로세서로 하여금, 이미지를 캡처하게 하고, 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터를 생성하게 하고, 이미지와 연관된 휘도가 임계치를 초과하는지를 결정하게 하고, 휘도가 임계치를 초과할 때, 제1 방법에 따라 UV 광 데이터 및 IR 광 데이터를 사용하여 확률 데이터로부터 발광체 타입 확률을 결정/검출하게 하고 ― 여기서 발광체 타입 확률은, 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰 레벨을 표시함 ― , 휘도가 임계치 미만일 때, 제2 방법에 따라 UV 광 데이터 및 IR 광 데이터를 사용하여 확률 데이터로부터 발광체 타입 확률을 결정/검출하게 하고 ― 여기서 제2 방법은 제1 방법과 상이함 ― , 그리고 제1 방법 또는 제2 방법에 따라 발광체 타입 확률에 따라/기반하여 자동-화이트 밸런스를 조정하게 한다.
[0007] 비일시적인 컴퓨터-판독 가능 매체는 위 또는 아래의 특징들 중 하나 또는 그 초과(또는 이들의 임의의 조합)를 포함할 수 있다. 확률 데이터는 UV 확률 관계 및 IR 확률 관계를 포함할 수 있고, 제1 방법은, 실행될 때, 적어도 하나의 프로세서로 하여금, UV 광 데이터의 절대값 및 IR 광 데이터의 절대값을 결정하게 하고, UV 광 데이터의 절대값에 기반하여 UV 확률 관계로부터 UV 확률을 획득하게 하고, IR 광 데이터의 절대값에 기반하여 IR 확률 관계로부터 IR 확률을 획득하게 하고, 그리고 UV 확률 및 IR 확률에 기반하여 발광체 타입 확률을 컴퓨팅하게 하는 실행 가능 명령들을 포함한다. 확률 데이터는 비율 확률 관계를 포함할 수 있고, 제2 방법은, 실행될 때, 적어도 하나의 프로세서로 하여금, UV 광 데이터의 값 및 IR 광 데이터의 값의 비율을 컴퓨팅하게 하고, 그리고 비율을 사용하여 비율 확률 관계로부터 발광체 타입 확률을 획득하게 하는 실행 가능 명령들을 포함한다. 발광체 타입 확률은, UV 광 데이터가 UV 값들의 범위 내에 있는지 여부 및 IR 광 데이터가 IR 값들의 범위 내에 있는지 여부에 기반하여 신뢰 임계치를 초과하는 것으로 결정/검출될 수 있고, 여기서 발광체 타입 확률이 신뢰 임계치를 초과하는 것은, 광 소스가 특정 발광체 타입으로서 분류될 수 있다는 것을 표시한다. 자동-화이트 밸런스를 조정하기 위한 실행 가능 명령들은, 실행될 때, 적어도 하나의 프로세서로 하여금, 확률 데이터로부터의 발광체 타입 확률에 따라 이미지의 AWB 통계 샘플들(statistical samples)을 가중하는 것을 포함하는, AWB 게인(gain)의 양에 대한 초기 결정에 앞서 확률 데이터로부터의 발광체 타입 확률을 통합하게 하는 실행 가능 명령들을 포함한다. 자동-화이트 밸런스를 조정하기 위한 실행 가능 명령들은, 실행될 때, 적어도 하나의 프로세서로 하여금, 결정 수정 휴리스틱들(decision modification heuristics) 및 시간적인 휴리스틱들(temporal heuristics)의 부분으로서 확률 데이터로부터의 발광체 타입 확률을 통합하게 하는 실행 가능 명령들을 포함한다.
[0008] 일 양상에 따라, 방법은, 카메라에 의해, 이미지를 획득하는 단계, 전자기 방사 센서에 의해, 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터를 생성하는 단계, 센서 프로세서에 의해, 제1 방법 또는 제2 방법 중 어느 하나에 따라 UV 광 데이터 및 IR 광 데이터를 사용하여 확률 데이터로부터 발광체 타입 확률을 결정/검출하는 단계 ― 발광체 타입 확률은, 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰 레벨을 표시함 ― , 및 자동-화이트 밸런스 유닛에 의해, 발광체 타입 확률에 따라/기반하여 자동-화이트 밸런스를 조정하는 단계를 포함한다.
[0009] 방법은 다음의 위 또는 아래의 특징들 중 하나 또는 그 초과(또는 이들의 임의의 조합)를 포함할 수 있다. 확률 데이터는 UV 확률 관계 및 IR 확률 관계를 포함할 수 있고, 제1 방법은 UV 광 데이터의 절대값 및 이미지와 연관된 휘도 값을 사용하여 UV 확률 관계로부터 UV 확률을 획득하는 단계, IR 광 데이터의 절대값 및 이미지와 연관된 휘도 값에 기반하여 IR 확률 관계로부터 IR 확률을 획득하는 단계, 및 UV 확률과 IR 확률을 곱함으로써 발광체 타입 확률을 컴퓨팅하는 단계를 포함한다. 확률 데이터는 비율 확률 관계를 포함할 수 있고, 제2 방법은 UV 광 데이터의 값 및 IR 광 데이터의 값의 비율을 컴퓨팅하는 단계, 및 비율을 사용하여 비율 확률 관계로부터 광 소스의 특정 발광체 타입 및 특정 발광체 타입의 발광체 타입 확률을 결정하는 단계를 포함한다. 발광체 타입 확률에 따라/기반하여 자동-화이트 밸런스를 조정하는 단계는 이미지의 AWB 통계 샘플들을 파싱(parsing)하는 단계, 확률 데이터로부터의 발광체 타입 확률에 따라 AWB 통계 샘플들을 가중하는 단계, 초기 결정으로서, 가중된 AWB 통계 샘플들에 기반하여 AWB 게인의 양을 결정하는 단계, 및 AWB 통계 샘플들 및 초기 결정의 부분으로서 결정된 AWB 게인의 양에 대해 휴리스틱들을 수행하는 단계를 포함할 수 있고, 확률 데이터로부터의 발광체 타입 확률은 또한 휴리스틱들에 통합된다.
[0010] 도 1a는 일 양상에 따른 UV(ultra violet) 광 데이터 및/또는 IR(Infrared) 광 데이터로 AWB(auto-white balance)를 개선하도록 구성된 디바이스의 블록도를 예시한다.
[0011] 도 1b는 일 양상에 따른 복수의 임계치들을 갖는 UV 값들을 예시한다.
[0012] 도 1c는 일 양상에 따른 복수의 임계치들을 갖는 IR 값들을 예시한다.
[0013] 도 2는 일 양상에 따른, 도 1a의 디바이스의 센서 프로세서의 예를 예시한다.
[0014] 도 3a는 일 양상에 따른, 일광의 발광체 타입에 대한 UV 확률 관계의 그래픽 표현을 도시한 그래프를 예시한다.
[0015] 도 3b는 일 양상에 따른, 일광의 발광체 타입에 대한 IR 확률 관계의 그래픽 표현을 도시한 그래프를 예시한다.
[0016] 도 4는 일 양상에 따른, 비율 확률 관계의 그래픽 표현을 도시한 그래프를 예시한다.
[0017] 도 5는 일 양상에 따른 절대값 방법의 예시적인 동작들을 예시하는 흐름도이다.
[0018] 도 6은 일 양상에 따른 비율 방법의 예시적인 동작들을 예시하는 흐름도이다.
[0019] 도 7은 일 양상에 따른, 도 1a의 디바이스의 예시적인 동작들을 예시하는 흐름도이다.
[0020] 도 8은 일 양상에 따른, 도 1a의 AWB 유닛의 예시적인 동작들을 예시하는 흐름도이다.
[0021] 도 9는 일 양상에 따른, 도 1a의 디바이스의 예시적인 동작들을 예시하는 흐름도이다.
[0022] 도 10은 도 1-9의 시스템들 및 방법들을 구현하는데 사용될 수 있는 예시적이거나 대표적인 컴퓨팅 디바이스들 및 연관된 엘리먼트들을 도시하는 블록도이다.
[0023] 일 양상에 따라, 본원에서 논의되는 구현들은, AWB(auto-white balance)가 IR(Infrared) 및/또는 UV(Ultraviolet) 광 데이터로 개선되는 개선된 AWB 메커니즘을 제공할 수 있다. 예컨대, 발광체를 추정하기 위해 이미지 자체로부터의 RGB(Red Green Blue) 값들만을 사용하는 것 대신에, 개선 AWB 메커니즘은 이미지의 장면에 관한 부가적인 정보를 제공하기 위해 IR 및/또는 UV 광 데이터를 사용할 수 있고, 이는 이미지에 대한 적절한 화이트 밸런스에 관하여 정확히 결정하는 것을 도울 수 있다. UV 및/또는 IR 광 데이터는 이미지와 연관된 발광체의 타입, 이를테면, 발광체가 실제 일광, 백열광(incandescent light), 형광(fluorescent light) 및/또는 가시광 LED(light emitting diode)를 포함하는지에 대한 정보를 제공할 수 있다.
[0024] 도 1a는 일 양상에 따른 UV(ultra violet) 광 데이터(106) 및/또는 IR(Infrared) 광 데이터(108)로 AWB(auto-white balance)를 개선하도록 구성된 디바이스(100)의 블록도를 예시한다. 예컨대, AWB에 대해 이미지(105)의 RGB 값들만을 사용하는 것 대신에, 디바이스(100)는 이미지(105)와 연관된 발광체의 타입을 결정하기 위한 분석에 UV 광 데이터(106) 및/또는 IR 광 데이터(108)를 통합한다. 예컨대, 디바이스(100)는, UV 광 데이터(106) 및/또는 IR 광 데이터(108)에 기반하여, 이미지의 광 소스의 발광체 타입(예컨대, 광 소스가 실제 일광, 백열광, 형광 및/또는 가시광 LED인지) 및/또는 이미지의 광 소스가 특정 타입의 발광체일 확률을 결정할 수 있다.
[0025] 디바이스(100)는 이미지 캡처링 능력들을 갖는 임의의 타입의 디바이스를 포함할 수 있다. 일부 예들에서, 디바이스(100)는 컴퓨팅 디바이스, 이를테면, 모바일 컴퓨팅 디바이스(예컨대, 랩톱, 스마트폰, 태블릿 등) 또는 비-모바일 컴퓨팅 디바이스(예컨대, 데스크톱 컴퓨터)이다. 일부 예들에서, 디바이스(100)는 독립형 카메라 디바이스이다(예컨대, 디바이스(100)의 1차 목적은 이미지들(105)을 캡처하는 것임).
[0026] 디바이스(100)는 이미지(105)를 캡처하도록 구성된 카메라(102)를 포함할 수 있다. 카메라(102)는 디지털 카메라일 수 있다. 일부 예들에서, 카메라(102)는 디바이스(100)(예컨대, 전면 카메라)의 전방 표면 상에 배치될 수 있다. 예컨대, 카메라(102)는 디바이스(100)의 디스플레이 스크린(160)과 동일한 측 상에 배치될 수 있다. 일부 예들에서, 카메라(102)는 디바이스(100)의 후측 표면 상에 배치될 수 있다(예컨대, 디스플레이 스크린(160)의 반대측 상에 배치된 후면 카메라). 일부 예들에서, 디바이스(100)는 다수의 카메라들(102)(예컨대, 전면 카메라 및 후면 카메라 둘 모두)을 포함할 수 있다.
[0027] 이미지(105)는 개별적인 정지 이미지(예컨대, 사진) 또는 비디오 또는 무비를 구성하는 이미지들의 시퀀스일 수 있다. 이미지(105)는 디지털 이미지일 수 있다. 이미지(105)는 픽처 엘리먼트들 또는 픽셀들로 불리는 디지털 값들을 갖는 2차원 이미지의 숫자 표현일 수 있고, 여기서 각각의 픽셀은 밝기 레벨을 표시하는 휘도 값을 갖는다. 이미지(105)는 고정된 수의 로우들 및 컬럼들의 픽셀들을 포함할 수 있고, 여기서 픽셀들은, 임의의 특정 포인트에서 주어진 컬러의 밝기를 표현하는 양자화된 값들을 보유하는, 이미지 내의 가장 작은 개별적인 엘리먼트이다. 일부 예들에서, 이미지(105)는 RGB(red green blue) 휘도 값들을 포함하고, 여기서 각각의 픽셀은 자신의 적색, 녹색 및 청색 강도를 표시하는 RGB 휘도 값에 의해 표현된다.
[0028] 디바이스(100)는 이미지(105)와 연관된 UV(ultraviolet) 광 및/또는 IR(infrared) 광의 양을 검출하고 검출된 양들을 프로세싱하거나 또는 UV 광 데이터(106) 및/또는 IR 광 데이터(108)로 표현하도록 구성된 전자기 방사 센서(104)를 포함할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106) 및 IR 광 데이터(108) 둘 모두를 생성할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 UV 광 및 IR 광 둘 모두를 감지할 수 있는 단일 센서 컴포넌트이다. 다른 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106)를 생성하도록 구성된 UV 센서 및 IR 광 데이터(108)를 생성하도록 구성된 IR 센서와 같은 별개의 센서 컴포넌트들을 포함할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106)만을 생성할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 IR 광 데이터(108)만을 생성할 수 있다. UV 광 데이터(106)는 이미지(105)(또는 이미지(105)의 부분)와 연관된 UV 광의 레벨을 표현하는 UV 값을 포함할 수 있다. 일부 예들에서, UV 광 데이터(106)는 제1 시간에 캡처된 그러한 제1 UV 값 및 제1 시간에 후속하는 제2 시간에 캡처된 제2 UV 값과 같은 다수의 UV 판독들을 포함할 수 있다. IR 광 데이터(108)는 이미지(105)(또는 이미지(105)의 부분)와 연관된 IR 광의 레벨을 표현하는 IR 값을 포함할 수 있다. 일부 예들에서, IR 광 데이터(108)는 제1 시간에 캡처된 그러한 제1 IR 값 및 제1 시간에 후속하는 제2 시간에 캡처된 제2 IR 값과 같은 다수의 IR 판독들을 포함할 수 있다.
[0029] 전자기 방사 센서(104)는 전자기 방사 센서(104)의 시야로부터 UV 광 및/또는 IR 광의 양을 검출할 수 있다. 전자기 방사 센서(104)는 UV 광선들(rays)의 양을 측정함으로써 UV 광 데이터(106)를 생성할 수 있고, IR 광선들의 양을 측정함으로써 IR 광 데이터(108)를 생성할 수 있다. 전자기 방사 센서(104)는, 디바이스(100)에 가까운(예컨대, 디바이스(100)로부터 특정 범위 내의) 물리적 영역으로부터 UV 광 및/또는 IR 광의 양을 검출할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 캡처된 이미지(105)의 장면의 위치(또는 부분적인 위치)로부터 UV 광 및/또는 IR 광의 양을 검출할 수 있다. 예컨대, 전자기 방사 센서(104)는, 카메라(102)의 시야에 일반적으로 대응하는 영역으로부터 UV 광 및/또는 IR 광을 감지하도록 지향될 수 있다.
[0030] 전자기 방사 센서(104)는 하나 또는 그 초과의 포토다이오드들, 증폭기들 및/또는 아날로그 및 디지털 회로들의 어레인지먼트를 포함할 수 있다. 전자기 방사 센서(104)는 카메라(102)에 근접하게 배치될 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 카메라(102)에 커플링될 수 있다. 일부 예들에서, 전자기 방사 센서(104) 및 카메라(102)는 전력 연결(118) 및 컴퓨터 버스(119)를 공유할 수 있다. 일부 예들에서, 컴퓨터 버스(119)는 I2C(Inter-Integrated Circuit) 버스이다. 일부 예들에서, 디바이스(100)는 다수의 카메라들(102)을 포함할 수 있고, 여기서 카메라들(102) 중 하나만이 전자기 방사 센서(104)와 공통 전력 연결(118) 및 컴퓨터 버스(119)를 공유한다. 일부 예들에서, 전면 카메라로서 구성된 카메라(102)는 전자기 방사 센서(104)와 공통 전력 연결(118) 및 컴퓨터 버스(119)를 공유한다. 일부 예들에서, 후면 카메라로서 구성된 카메라(102)는 전자기 방사 센서(104)와 공통 전력 연결(118) 및 컴퓨터 버스(119)를 공유한다. 일부 예들에서, 전자기 방사 센서(104)는 카메라(102)에 통합된다. 예컨대, 카메라(102)는 또한 UV 및 IR 광을 감지하고, 검출된 양들을 UV 광 데이터(106) 및 IR 광 데이터(108)로서 표현할 수 있다.
[0031] 디바이스(100)는 UV 광 데이터(106) 및 IR 광 데이터(108)를 사용하여 확률 데이터(112)로부터 이미지(105)와 연관된 광 소스의 발광체 타입 확률(114)을 결정/검출하도록 구성된 센서 프로세서(110)를 포함할 수 있다. 확률 데이터(112)는 UV 및 IR 값들의 다양한 조합들에 대한 각각의 발광체 타입에 대한 확률들을 지정할 수 있다. 일부 예들에서, 확률 데이터(112)는 UV 및 IR 값들의 다양한 조합들에 대한 각각의 발광체 타입에 대한 확률들 및 이미지(105)와 연관된 휘도 값들을 지정할 수 있다. 발광체 타입 확률(114)은, 이미지의 광 소스가 특정 발광체 타입, 이를테면, 일광, 형광, 백열광 및/또는 가시광 LED라는 신뢰 레벨을 나타낼 수 있다(또는 이를 표현함). 또한, 발광체 타입은 다른 부류들의 광 소스들을 포함할 수 있다. 다시 말해서, 발광체는 광 소스를 나타낼 수 있고, 발광체 타입은 광 소스의 타입을 나타낼 수 있다. 일부 예에서, 이미지(105)는 다수의 광 소스들을 포함할 수 있고, 센서 프로세서(110)는 이미지(105)에 존재하는 각각의 광 소스에 대한 발광체 타입 확률(114)을 검출할 수 있다.
[0032] 발광체 타입 확률(114)은, 광 소스의 신뢰 레벨이 특정 발광체 타입인 것을 표시하는 스케일의 숫자 값일 수 있다. 일부 예들에서, 스케일의 하나의 단부는 낮은 확률(예컨대, 0 퍼센트 확률)을 표시할 수 있고, 스케일의 다른 단부는 높은 확률(예컨대, 90 또는 100 퍼센트 확률)을 표시할 수 있다. 비제한적인 예에서, 발광체 타입 확률(114)은 0-100 범위의 값일 수 있다. 그러나, 임의의 타입의 숫자 스케일이 사용될 수 있다는 것이 주목된다. 발광체 타입 확률(114)이 신뢰 임계치를 초과(예컨대, 80을 초과)할 때, 센서 프로세서(110)는 광 소스를 특정 타입의 발광체로 분류할 수 있다. 일부 예들에서, 발광체 타입 확률(114)은 다음과 같이: 광 소스가 제1 발광체 타입(예컨대, 일광)일 확률, 광 소스가 제2 발광체 타입(예컨대, 형광)일 확률, 광 소스가 제3 발광체 타입(예컨대, 백열광)일 확률, 광 소스가 제4 발광체 타입(예컨대, 가시광 LED)일 확률 중 하나 또는 그 초과를 포함할 수 있다. 일부 예들에서, 특정 발광체 타입에 대해 UV 및/또는 IR 값들에 대한 높은 임계치 및 낮은 임계치가 존재한다. UV 값 및/또는 IR 값이 높은 임계치보다 더 높을 때, 센서 프로세서(110)는, 광 소스가 특정 발광체 타입일 100 % 확률을 결정할 수 있고, UV 값 및/또는 IR 값이 낮은 임계치보다 더 낮을 때, 센서 프로세서(110)는, 광 소스가 특정 발광체 타입일 0 % 확률을 결정할 수 있다. 낮은 임계치와 높은 임계치 간의 UV 및/또는 IR 값들에 대해, 센서 프로세서(110)는 확률을 선형적으로 보간(interpolate)할 수 있다.
[0033] 디바이스(100)는 이미지(105) 및 발광체 타입 확률(114)을 수신하고, 발광체 타입 확률(114)에 따라 이미지(105)에 적용되는 AWB(auto-white balance)(117)를 조정하도록 구성된 AWB 유닛(116)을 포함할 수 있다. AWB(117)의 애플리케이션으로의 발광체 타입 확률(114)의 통합은 이미지(105)의 품질을 증가시킬 수 있고, 이로써 디스플레이 스크린(160) 상에 렌더링되는 이미지(162)로서 제공된다. 일부 예들에서, AWB(117)는 비현실적인 컬러 캐스트들을 제거하여, 실제로 화이트처럼 보이는 물체들이 캡처된 이미지에서 화이트으로 렌더링되게 하는 프로세스일 수 있다. AWB(117)는, 화이트 광의 상대적인 온기(warmth) 또는 냉기(coolness)를 나타내는, 광 소스의 컬러 온도를 통합할 수 있다. 인간의 눈들은, 상이한 광 소스들 하에서 무엇이 화이트인지를 판단하는 것에 능숙하지만, 카메라들은 종종 AWB(117)에 따라 어려움을 갖고, 렌더링되는 이미지(162)에서 보기 좋지 않은 청색, 오렌지색, 또는 심지어 녹색 컬러 캐스트들을 생성할 수 있다. 일부 예들에서, 종래의 카메라는 발광체의 스펙트럼 분포를 획득(또는 추정 또는 정확히 추정)할 수 없고, 따라서 AWB(117)는 이미지(105)의 검출된 RGB 값들로 호도될 수 있다.
[0034] AWB 유닛(116)은 캡처된 이미지(105)로부터 AWB 통계 샘플들을 수집하고, 발광체 타입 확률(114)을 사용하여, 수집된 AWB 통계 샘플들을 가중할 수 있다. 결과적으로, AWB 유닛(116)은, 실제로 화이트처럼 보이는 물체들이 렌더링되는 이미지(162)에서 화이트으로 렌더링되고 그리고/또는 컬러 항상성이 달성되도록, 적절한 화이트 밸런스로 이미지(105)를 조정할 수 있다(예컨대, 셔츠 상의 자주색 칼라(collar)는, 종래의 AWB를 사용하여 청색으로서 렌더링되는 것 대신에, 렌더링되는 이미지(162)에서 자주색을 유지하고, 캐비닛은, 종래의 AWB를 사용하여 청색으로서 렌더링되는 것 대신에, 렌더링되는 이미지(162)에서 회색을 유지하는 식임). 종래의 AWB 기술들은, 이미지(105) 자체로부터 샘플링되는 AWB 통계 샘플들을 사용하여 발광체 타입을 추정할 수 있다.
[0035] 그러나, 다양한 양상들에 따라, AWB 유닛(116)은 발광체 타입 확률(114)을 AWB(117)에 통합할 수 있고, 발광체 타입 확률(114)은 장면의 광 소스(들)가 특정 타입의 발광체인지의 가능성(UV 광 데이터(106) 및/또는 IR 광 데이터(108)로부터 도출됨)을 제공한다. 결과적으로, AWB 유닛(116)은 AWB 통계 샘플들만을 사용하여 발광체 타입을 추정할 필요는 없을 수 있다. 다른 예들에서, AWB 유닛(116)은, 센서 프로세서(110)에 의해 결정된 발광체 타입 확률(114)을 사용하여 AWB 통계 샘플로부터의 발광체 타입 추정을 개선할 수 있다. 도 8은 AWB(117)를 더 상세히 예시하고, 이는 본 개시내용에서 추후 설명된다.
[0036] UV 광 데이터(106) 및 IR 광 데이터(108)는, 이미지(105)의 RGB 값들로부터 이용 가능하지 않은, 이미지(105)와 연관된 발광체에 관한 부가적인 정보를 제공할 수 있다. 예컨대, UV 광 데이터(106) 및 IR 광 데이터(108)의 값들은 발광체 타입 확률(114)을 결정할 수 있다. 일부 예들에서, 센서 프로세서(110)는, UV 광 데이터(106)가 UV 값들의 범위 내에 있는지 여부 및 IR 광 데이터(108)가 IR 값들의 범위 내에 있는지 여부에 기반하여 발광체 타입 확률(114)이 신뢰 임계치를 초과하는 것으로 검출할 수 있고, 여기서 발광체 타입 확률(114)이 신뢰 임계치를 초과하는 것은, 광 소스가 특정 발광체 타입으로서 분류될 수 있다는 것을 표시한다.
[0037] 도 1b는 일 양상에 따른 복수의 임계치들을 갖는 UV 값들(250)을 예시한다. 도 1c는 일 양상에 따른 복수의 임계치들을 갖는 IR 값들(260)을 예시한다. UV 값들(250)은 UV 복사의 값들의 스펙트럼(또는 스펙트럼의 부분)을 나타낼 수 있다. IR 값들(260)은 IR 복사의 값들의 스펙트럼(또는 스펙트럼의 부분)을 나타낼 수 있다. 확률 데이터(112)는 UV 값들(250) 및 IR 값들(260)의 다양한 조합들에 대한 발광체 타입 확률(114)을 제공할 수 있다. UV 광 데이터(106)가 UV 값들(250)의 특정 범위 내에 속하고, IR 광 데이터(108)가 IR 값(260)들의 특정 범위 내에 속할 때, 센서 프로세서(110)는, 이미지(105)와 연관된 광 소스가 특정 발광체 타입이라고 결정하고 그리고/또는 이미지의 광 소스가 특정 발광체 타입일 확률을 결정할 수 있다.
[0038] 특히, 센서 프로세서(110)는, 발광체 타입 확률(114)이 신뢰 임계치를 초과할 때 이미지(105)와 연관된 광 소스가 일광이라고 결정할 수 있고, UV 광 데이터(106)가 상위 임계치(252)를 초과하고 IR 광 데이터(108)가 상위 임계치(262)를 초과할 때, 발광체 타입 확률(114)이 신뢰 임계치를 초과한다. 예컨대, UV 광 데이터(106)에 대한 상대적으로 높은 값(예컨대, 상위 임계치(252)를 초과하는 UV 값) 및 IR 광 데이터(108)에 대한 상대적으로 높은 값(예컨대, 상위 임계치(262)를 초과하는 IR 값)은, 발광체 타입이 일광이라고 표시할 수 있다.
[0039] 센서 프로세서(110)는, 발광체 타입 확률(114)이 신뢰 임계치를 초과할 때, 이미지(105)와 연관된 광 소스가 형광이라고 결정할 수 있고, 여기서 발광체 타입 확률(114)은, UV 광 데이터(106)가 상위 중간 임계치(254) 내지 하위 중간 임계치(256)이고 IR 광 데이터(108)가 하위 임계치(268) 미만일 때, 신뢰 임계치를 초과한다. 예컨대, UV 광 데이터(106)에 대한 중간 값(예컨대, 상위 중간 임계치(254) 내지 하위 중간 임계치(256)의 UV 값) 및 IR 광 데이터(108)에 대한 상대적으로 낮은 값(예컨대, 하위 임계치(268) 미만의 IR 값)은 발광체 타입이 형광이라는 것을 표시할 수 있다.
[0040] 센서 프로세서(110)는, 발광체 타입 확률(114)이 신뢰 임계치를 초과할 때 이미지(105)와 연관된 광 소스가 백열광이라고 결정할 수 있고, 여기서 발광체 타입 확률(114)은, UV 광 데이터(106)가 상위 중간 임계치(254) 내지 하위 중간 임계치(256)이고 IR 광 데이터(108)가 상위 임계치(262)를 초과할 때, 신뢰 임계치를 초과한다. 예컨대, UV 광 데이터(106)에 대한 중간 값(예컨대, 상위 중간 임계치(254) 내지 하위 중간 임계치(256)의 UV 값) 및 IR 광 데이터(108)에 대한 상대적으로 높은 값(예컨대, 상위 임계치(262)를 초과하는 IR 값)은 발광체 타입이 백열광이라는 것을 표시할 수 있다.
[0041] 센서 프로세서(110)는, 발광체 타입 확률이 신뢰 임계치를 초과할 때, 이미지(105)와 연관된 광 소스가 가시광 LED라고 결정할 수 있고, 여기서 발광체 타입 확률(114)은, UV 광 데이터(106)가 하위 임계치(258) 미만이고 IR 광 데이터(108)가 하위 임계치(268) 미만일 때, 신뢰 임계치를 초과한다. 예컨대, UV 광 데이터(106)에 대한 상대적으로 낮은 값(예컨대, 하위 임계치(258) 미만의 UV 값) 및 IR 광 데이터(108)에 대한 상대적으로 낮은 값(예컨대, 하위 임계치(268) 미만의 IR 값)은, 발광체 타입이 가시광 LED라는 것을 표시할 수 있다. 일부 예들에서, 확률 데이터(112)는 발광체들의 다른 타입들을 구별하는데 사용되는 상위 중간 임계치(264) 및 하위 중간 임계치(266)를 지정할 수 있다. 일부 예들에서, 하위 임계치(258) 및 하위 임계치(268)는 10-20일 수 있다. 그러나, 도 1b 및 1c를 참조하여 논의된 임계치들은 사용되는 IR/UV 센서의 타입에 기반하여 선택될 수 있다.
[0042] 도 2는 일 양상에 따른 센서 프로세서(110)의 예를 예시한다. 일부 예들에서, 센서 프로세서(110)는 절대값 방법(201)(예컨대, 제1 방법) 및/또는 비율 방법(203)(예컨대, 제2 방법)에 따라 발광체 타입 확률(114)을 결정/검출할 수 있다. 일부 예들에서, 센서 프로세서(110)는 절대값 방법(201)만을 사용하여 발광체 타입 확률(114)을 결정할 수 있다. 일부 예들에서, 센서 프로세서(110)는 비율 방법(203)만을 사용하여 발광체 타입 확률(114)을 결정할 수 있다. 일부 예들에서, 센서 프로세서(110)는 절대값 방법(201) 및 비율 방법(203)의 조합에 기반하여 발광체 타입 확률(114)을 결정할 수 있다.
[0043] 일부 예들에서, 센서 프로세서(110)는, 이미지(105)의 휘도 레벨에 기반하여, 발광체 타입 확률(114)을 결정하기 위해 절대값 방법(201) 및 비율 방법(203) 중 어느 것을 사용할지를 결정할 수 있다. 예컨대, 센서 프로세서(110)는 이미지(105)의 휘도를 결정할 수 있고, 휘도가 임계값을 초과할 때, 센서 프로세서(110)는 비율 방법(203)을 사용하도록 결정할 수 있다. 일부 예들에서, 임계치는 50 lux일 수 있다. 그러나, 일부 예들에서, 임계치는 UV/IR 센서의 타입에 기반하여 선택될 수 있다. 다른 예들에서, 휘도가 임계값 미만일 때, 센서 프로세서(110)는 절대값 방법(201)을 사용하도록 결정할 수 있다. 일부 예들에서, 비율 방법(203)은 절대값 방법(201)보다 계산적으로 더 빠를 수 있지만, 비율 방법(203)은 임계값 미만의 휘도 레벨들에 대해 절대값 방법(201)만큼 정확하지는 않을 수 있다.
[0044] 절대값 방법(201)에 따라, 확률 데이터(112)는 UV 확률 관계(205) 및 IR 확률 관계(206)를 포함할 수 있다. 일부 예들에서, UV 확률 관계(205) 및 IR 확률 관계(206)는 UV 값들(250) 및 IR 값들(260) 및 UV 확률들 및 IR 확률들 사이의 관계를 배열하는 별개의 테이블들(또는 단일 테이블) 또는 다른 타입의 데이터 구조로서 구현된다. 일부 예들에서, 한 쌍의 테이블들(예컨대, 한 쌍은 UV 확률 관계(205)에 대한 하나의 테이블 및 IR 확률 관계(206)에 대한 하나의 테이블을 포함함)이 각각의 발광체 타입에 대해 제공된다. UV 확률 관계(205)는 각각의 타입의 발광체에 대한 UV 값들(250) 및 휘도 값들의 조합들에 대한 UV 확률들을 지정할 수 있다. 휘도 값들은 밝음으로부터 어두움으로의 범위인 값들의 스펙트럼일 수 있다. 이로써, UV 값(250) 및 휘도 값의 특정 조합에 대해, UV 확률 관계(205)는, 광 소스의 확률이 특정 발광체 타입이라는 것을 표시하는 UV 확률을 제공할 수 있다. IR 확률 관계(206)는 각각의 타입의 발광체의 휘도 값들 및 IR 값들(260)의 조합들에 대한 IR 확률들을 지정할 수 있다. 이로써, IR 값(260) 및 휘도 값의 특정 조합에 대해, IR 확률 관계(206)는, 광 소스의 확률이 특정 발광체 타입이라는 것을 표시하는 IR 확률을 제공할 수 있다.
[0045] 센서 프로세서(110)는 전자기 방사 센서(104)로부터 UV 광 데이터(106) 및 IR 광 데이터(108)를 수신할 수 있다. 센서 프로세서(110)는 UV 광 데이터(106)의 절대값 및 IR 광 데이터(108)의 절대값을 획득할 수 있다. 이어서, 센서 프로세서(110)는 UV 광 데이터(106)의 절대값 및 이미지(105)의 휘도 값을 사용하여 UV 확률 관계(205)로부터 UV 확률을 결정할 수 있다. 예컨대, 센서 프로세서(110)는 UV 광 데이터의 절대값 및 이미지(105)의 휘도 값의 조합에 대응하는 UV 확률을 획득할 수 있다.
[0046] 센서 프로세서(110)는 IR 광 데이터(108)의 절대값 및 이미지(105)의 휘도 값을 사용하여 IR 확률 관계(206)로부터 IR 확률을 결정할 수 있다. 예컨대, 센서 프로세서(110)는 IR 광 데이터의 절대값 및 이미지(105)의 휘도 값의 조합에 대응하는 IR 확률을 획득할 수 있다. 센서 프로세서(110)는 UV 확률 및 IR 확률에 기반하여 발광체 타입 확률(114)(예컨대, 전체 확률)을 컴퓨팅할 수 있다. 일부 예들에서, 센서 프로세서(110)는 UV 확률 및 IR 확률을 곱함으로써 발광체 타입 확률(114)을 컴퓨팅할 수 있다. 일부 예들에서, 센서 프로세서(110)는 발광체 타입 확률(114)과 신뢰 임계치를 비교할 수 있다. 발광체 타입 확률(114)이 신뢰 임계치를 초과하면, 센서 프로세서(110)는 광 소스가 특정 발광체 타입으로서 분류될 수 있다고 결정할 수 있다. 발광체 타입 확률(114)이 신뢰 임계치 미만이면, 센서 프로세서(110)는 광 소스가 특정 발광체 타입으로서 분류될 수 없다고 결정할 수 있다.
[0047] 도 3a는 일 양상에 따른 일광의 발광체 타입에 대한 UV 확률 관계(205)의 그래픽 표현을 도시하는 그래프(305)를 예시한다. 도 3b는 일 양상에 따른 일광의 발광체 타입에 대한 IR 확률 관계(206)의 그래픽 표현을 도시하는 그래프(306)를 예시한다. 다른 발광체 타입들에 대한 UV 확률 관계(205) 및 IR 확률 관계(206)를 도시하기 위해 유사한 그래프들이 사용될 수 있다.
[0048] 도 3a를 참조하면, x-축은 밝음으로부터 어두움으로의 휘도 값들을 제공하고, y-축은 증가하는 UV 값들(250)을 제공한다. 그래프(305)는 제1 곡선(323) 및 제2 곡선(325)을 포함하고, 여기서 제1 곡선(323)과 제2 곡선(325) 사이의 공간은 전환 구역(transition zone)으로 지칭될 수 있다. 제1 곡선(323) 위에 배치된 휘도 값들 및 UV 값들(250)의 조합들에 대해, 광 소스가 일광일 가능성은 가능성이 있는 것으로 간주될 수 있다(예컨대, UV 확률이 신뢰 임계치를 초과함). 또한, UV/휘도 조합 값이 제1 곡선(323)으로부터 더 멀리 이동할 때, UV 확률은 증가할 수 있다. 제2 곡선(325) 아래에 배치된 휘도 값들 및 UV 값들(250)의 조합들에 대해, 광 소스가 일광일 가능성은 가능성이 없는 것으로 간주될 수 있다(예컨대, UV 확률이 신뢰 임계치 미만임). 또한, UV/휘도 조합 값이 제2 곡선(325)으로부터 더 멀리 이동할 때, UV 확률은 감소할 수 있다. 제1 곡선(323)과 제2 곡선(325) 사이에 배치된 휘도 값들 및 UV 값들(250)의 조합들에 대해, UV 확률은 전환 구역 내에 있는 것으로 간주될 수 있고, 여기서 광 소스는 양호한 신뢰 레벨로 일광으로서 분류되지 않을 수 있다.
[0049] 도 3b를 참조하면, x-축은 밝음으로부터 어두움으로의 휘도 값들을 제공하고, y-축은 증가하는 IR 값들(260)을 제공한다. 그래프(306)는 제1 곡선(327) 및 제2 곡선(329)을 포함하고, 여기서 제1 곡선(327)과 제2 곡선(329) 사이의 공간은 전환 구역으로 지칭될 수 있다. 제1 곡선(327) 위에 배치된 휘도 값들 및 IR 값들(260)의 조합들에 대해, 광 소스가 일광일 가능성은 가능성이 있는 것으로 간주될 수 있다(예컨대, IR 확률이 신뢰 임계치를 초과함). 또한, IR/휘도 조합 값이 제1 곡선(327)으로부터 더 멀리 이동할 때, IR 확률은 증가할 수 있다. 제2 곡선(329) 아래에 배치된 휘도 값들 및 IR 값들(260)의 조합들에 대해, 광 소스가 일광일 가능성은 가능성이 없는 것으로 간주될 수 있다(예컨대, IR 확률이 신뢰 임계치 미만임). 또한, IR/휘도 조합 값이 제2 곡선(329)으로부터 더 멀리 이동할 때, IR 확률은 감소할 수 있다. 제1 곡선(327)과 제2 곡선 사이(329)에 배치된 휘도 값들 및 IR 값들(260)의 조합들에 대해, IR 확률은 전환 구역 내에 있는 것으로 간주될 수 있고, 여기서 광 소스는 양호한 신뢰 레벨로 일광으로서 분류되지 않을 수 있다.
[0050] 일부 예들에서, (x-축을 따르는) 휘도 값들은 매우 밝음
Figure 112018004758692-pct00001
으로부터 매우 어두움
Figure 112018004758692-pct00002
으로의 일련의 변곡 포인트들(knee points)(또는 구별 포인트들(distinct points))을 정의할 수 있다. 장면 밝기의 변곡 포인트들은 다음과 같이 맵핑될 수 있는데: 1)
Figure 112018004758692-pct00003
는 100,000 lux이고, 2)
Figure 112018004758692-pct00004
는 4000 lux이고, 3)
Figure 112018004758692-pct00005
는 1000 lux이고, 4)
Figure 112018004758692-pct00006
는 400 lux이고, 5)
Figure 112018004758692-pct00007
는 20 lux 또는 그 미만이다. 변곡 포인트들 각각에서 UV 및 IR에 대한 임계값들은 다음과 같은 어레이로 정의될 수 있다:
Figure 112018004758692-pct00008
. 이어서, 이러한 어레이는 다음과 같이 일련의 어레이들을 생성하기 위해 실제 데이터 포인트들로 파퓰레이팅(populate)될 수 있다: 1) 상위 UV 임계치(예컨대, 제1 곡선(323)) =
Figure 112018004758692-pct00009
, 2) 하위 UV 임계치(예컨대, 제2 곡선(325)) =
Figure 112018004758692-pct00010
, 3) 상위 IR 임계치(예컨대, 제2 곡선(327)) =
Figure 112018004758692-pct00011
, 및 4) 하위 IR 임계치(예컨대, 제2 곡선(329)) =
Figure 112018004758692-pct00012
. 이러한 어레이들의 값들은 구별되는 변곡 포인트들에서 UV 또는 IR의 세기를 표시한다. 예컨대, 제1 곡선(323) 상의 하나의 포인트(x, y)는 100,000 lux, 5000 UV 세기이다. 이러한 데이터가 200ms 노출 시간에서 한 타입의 센서로 측정되었다는 것이 주목된다. 센서 또는 노출 시간을 변경하는 것은 값들을 극적으로 변경할 수 있다.
[0051] 비율 방법(203)에 따라, 확률 데이터(112)는 UV 광 데이터(106) 및 IR 광 데이터(108)의 비율의 비율 값들에 대한 각각의 타입의 발광체에 대한 발광체 타입 확률(114)에 대한 확률들을 제공하는 비율 확률 관계(210)를 포함할 수 있다. 일부 예들에서, 비율 확률 관계(210)는, 다양한 비율 값들에 관련하여 각각의 타입의 발광체에 대한 발광체 타입 확률(114)에 대한 다양한 확률들을 제공하는 테이블이다. 일부 예들에서, 테이블은 단일 테이블이다. 일부 예들에서, 센서 프로세서(110)는 UV 광 데이터(106)의 값 및 IR 광 데이터(108)의 값의 비율을 컴퓨팅하고, 비율을 사용하여 비율 확률 관계(210)로부터 발광체 타입 확률(114)을 획득할 수 있다.
[0052] 도 4는 일 양상에 따른 비율 확률 관계(210)의 그래픽 표현을 도시하는 그래프(410)를 예시한다. 일부 예들에서, 각각의 발광체 타입은 UV/IR 비율들의 구별되는 범위를 가질 수 있다. 그래프(410)는 제1 발광체 타입(예컨대, 텅스텐)의 제1 구역(431), 제2 발광체 타입(예컨대, 일광)의 제2 구역(433), 및 제3 발광체 타입(예컨대, 형광)의 제3 구역(435)을 포함할 수 있다. UV/IR 비율이 제1 구역(431) 내에 속할 때, 광 소스는 제1 발광체 타입으로 결정될 수 있다. UV/IR 비율이 제2 구역(433) 내에 속할 때, 광 소스는 제2 발광체 타입으로 결정될 수 있다. UV/IR 비율이 제3 구역(435) 내에 속할 때, 광 소스는 제3 발광체 타입으로 결정될 수 있다. 일부 예들에서, 일광에 대한 UV/IR 비율은 중심이 20에 있고, 형광에 대한 UV/IR 비율은 중심이 50에 있고, LED에 대한 UV/IR 비율은 중심이 30에 있고, 텅스텐에 대한 UV/IR 비율은 중심이 5에 있다. 그러나, 이러한 값들은 구현에 따라 넓은 범위일 수 있다.
[0053] 도 5는 일 양상에 따른 절대값 방법(201)의 예시적인 동작들을 예시하는 흐름도(500)이다. 도 5의 흐름도(500)가 동작들을 순차적인 순서로 예시하지만, 이는 단지 예이고 부가적이거나 대안적인 동작들이 포함될 수 있다는 것이 인지될 것이다. 또한, 도 5의 동작들 및 관련 동작들은 도시된 순서와 상이한 순서로 또는 동시에 또는 중첩하는 방식으로 실행될 수 있다.
[0054] UV 광 데이터 및 IR 광 데이터의 절대값들이 결정될 수 있다(502). 예컨대, 센서 프로세서(110)는 전자기 방사 센서(104)로부터 UV 광 데이터(106) 및 IR 광 데이터(108)를 수신할 수 있다. 센서 프로세서(110)는 UV 광 데이터(106)의 절대값, 및 IR 광 데이터(108)의 절대값을 획득할 수 있다.
[0055] UV 확률은 UV 확률 관계로부터 획득될 수 있다(504). 예컨대, 센서 프로세서(110)는 UV 광 데이터(106)의 절대값 및 이미지(105)의 휘도 값을 사용하여 UV 확률 관계(205)로부터 UV 확률을 결정할 수 있다. 예컨대, 센서 프로세서(110)는 UV 광 데이터의 절대값 및 이미지(105)의 휘도 값의 조합에 대응하는 UV 확률을 획득할 수 있다.
[0056] IR 확률은 IR 확률 관계로부터 획득될 수 있다(506). 예컨대, 센서 프로세서(110)는 IR 광 데이터(108)의 절대값 및 이미지(105)의 휘도 값을 사용하여 IR 확률 관계(206)로부터 IR 확률을 결정할 수 있다. 센서 프로세서(110)는 IR 광 데이터의 절대값 및 이미지(105)의 휘도 값의 조합에 대응하는 IR 확률을 획득할 수 있다.
[0057] 발광체 타입 확률은 UV 확률 및 IR 확률에 기반하여 컴퓨팅될 수 있다(508). 예컨대, 센서 프로세서(110)는 UV 확률 및 IR 확률에 기반하여 발광체 타입 확률(114)(예컨대, 전체 확률)을 컴퓨팅할 수 있다. 일부 예들에서, 센서 프로세서(110)는 UV 확률 및 IR 확률을 곱함으로써 발광체 타입 확률(114)을 컴퓨팅할 수 있다. 일부 예들에서, 센서 프로세서(110)는 발광체 타입 확률(114)과 신뢰 임계치를 비교할 수 있다. 발광체 타입 확률(114)이 신뢰 임계치를 초과하면, 센서 프로세서(110)는 광 소스가 특정 발광체 타입으로 분류될 수 있다고 결정할 수 있다. 발광체 타입 확률(114)이 신뢰 임계치 미만이면, 센서 프로세서(110)는 광 소스가 특정 발광체 타입으로 분류될 수 없다고 결정할 수 있다.
[0058] 도 6은 일 양상에 따른 비율 방법(203)의 예시적인 동작들을 예시하는 흐름도(600)이다. 도 6의 흐름도(600)가 동작들을 순차적인 순서로 예시하지만, 이는 단지 예이고 부가적이거나 대안적인 동작들이 포함될 수 있다는 것이 인지될 것이다. 또한, 도 6의 동작들 및 관련 동작들은 도시된 순서와 상이한 순서로 또는 동시에 또는 중첩하는 방식으로 실행될 수 있다.
[0059] UV 값 및 IR 값의 비율이 컴퓨팅될 수 있다(602). 예컨대, 센서 프로세서(110)는 UV 광 데이터(106)의 값 및 IR 광 데이터(108)의 값의 비율을 컴퓨팅할 수 있다. 발광체 타입 확률은 컴퓨팅된 비율을 사용하여 비율 확률 관계로부터 검출될 수 있다(604). 예컨대, 센서 프로세서(110)는 비율을 사용하여 비율 확률 관계(210)로부터 발광체 타입 확률(114)을 획득할 수 있다.
[0060] 도 7은 일 양상에 따른 도 1a의 디바이스(100)의 예시적인 동작들을 예시하는 흐름도(700)이다. 도 7의 흐름도(700)가 동작들을 순차적인 순서로 예시하지만, 이는 단지 예이고 부가적이거나 대안적인 동작들이 포함될 수 있다는 것이 인지될 것이다. 또한, 도 7의 동작들 및 관련 동작들은 도시된 순서와 상이한 순서로 또는 동시에 또는 중첩하는 방식으로 실행될 수 있다.
[0061] 이미지의 휘도가 결정될 수 있다(702). 예컨대, 센서 프로세서(110)는 이미지(105)의 휘도를 결정할 수 있다. 일부 예들에서, 센서 프로세서(110)는 개별적인 픽셀 값들을 사용하여 이미지(105)의 전체 평균 휘도 값을 결정할 수 있다.
[0062] 휘도가 임계치를 초과하는지 여부가 결정될 수 있다(704). 예컨대, 센서 프로세서(110)는 이미지(105)와 연관된 휘도와 임계치를 비교할 수 있다. 예이면, 비율 방법이 사용될 수 있다(706). 예컨대, 휘도가 임계치를 초과하는 것으로 결정되면, 센서 프로세서(110)는 비율 방법(203)을 사용하여 발광체 타입 확률(114)을 결정할 수 있다. 아니오이면, 절대값 방법이 사용될 수 있다(708). 예컨대, 휘도가 임계치 미만으로 결정되면, 센서 프로세서(110)는 절대값 방법(201)을 사용하여 발광체 타입 확률(114)을 결정할 수 있다.
[0063] 도 8은 일 양상에 따른 도 1a의 AWB 유닛(116)의 예시적인 동작들을 예시하는 흐름도(800)이다. 도 8의 흐름도(800)가 동작들을 순차적인 순서로 예시하지만, 이는 단지 예이고 부가적이거나 대안적인 동작들이 포함될 수 있다는 것이 인지될 것이다. 또한, 도 8의 동작들 및 관련 동작들은 도시된 순서와 상이한 순서로 또는 동시에 또는 중첩하는 방식으로 실행될 수 있다.
[0064] AWB 통계 샘플들이 파싱될 수 있다(802). 예컨대, AWB 유닛(116)은 이미지(105)의 AWB 통계 샘플들을 파싱할 수 있다. AWB 통계 샘플들은 스크리닝(screen) 및 가중(weight)될 수 있다(804). 예컨대, AWB 유닛(116)은 확률 데이터(112)를 이용하여 AWB 통계 샘플들을 스크리닝 및 가중할 수 있다. 특히, 이미지(105)에 대한 AWB 게인의 양에 대한 초기 결정에 앞서, AWB 유닛(116)은, 확률 데이터(112)로부터의 발광체 타입 확률(114)을 이용하여 이미지(105)의 AWB 통계 샘플들을 가중함으로써 확률 데이터(112)로부터의 발광체 타입 확률(114)을 통합할 수 있다. 일부 예들에서, AWB 유닛(116)은 장면의 밝기에 기반하여 확률을 할당할 수 있다. 예컨대, 주변(ambient)이 1000 lux이면, AWB 유닛(116)은 장면에 대한 낮은 확률이 텅스텐 광 아래에 있다고 결정할 수 있다. 또한, 컬러 선호도에 대해 확률 할당이 사용될 수 있다(예컨대, 텅스텐 광 하의 픽처들이 청색보다는 더 황색으로 보이기 쉽다). 초기 결정이 이루어질 수 있다(806). 예컨대, AWB 유닛(116)은 AWB 게인의 양에 관하여 초기에 결정할 수 있다.
[0065] 일부 양상들에 따라, 확률 데이터(112)의 발광체 타입 확률(114)은 또한(또는 대안적으로) 결정 수정 휴리스틱들(decision modification heuristics) 및 시간적인 휴리스틱들(temporal heuristics)에 통합될 수 있다. 예컨대, 회색 샘플 기반 결정 규칙은 초기 결정을 결정할 수 있지만, 다른 결정 규칙들(예컨대, 휴리스틱들)은 결정을 변경하기 위해 통합될 수 있다. 예컨대, 지난 몇몇의 프레임들에서, 발광체 이력은 장면 밝기 변화 또는 카메라 패닝(panning)이 없고 안정된 백열광인 것으로 간주될 수 있고, 현재 프레임에 대해 갑작스러운 일광의 결정이 이루어진다. 이러한 결정은, 더 많은 일광 프레임들이 수신될 때까지 취소 또는 보류될 수 있다. 이를 통해, AWB 안정성이 개선될 수 있다. 결정 수정 휴리스틱들이 수행될 수 있다(808). 예컨대, AWB 유닛(116)은 AWB 통계 샘플들 및 AWB 게인에 대해 결정 수정 휴리스틱들을 수행할 수 있다. 시간적인 휴리스틱들이 수행될 수 있다(810). 예컨대, AWB 유닛(116)은 AWB 통계 샘플들 및 AWB 게인에 대해 시간적인 휴리스틱들을 수행할 수 있다. 예컨대, AWB 유닛(116)은 AWB 항상성을 달성하기 위해 아웃라이어들(outliers)을 일시적으로 억제(weigh down)할 수 있다. 수렴 제어가 수행될 수 있다(812). 예컨대, AWB 유닛(116)은 AWB 게인 및 CCT(correlated color temperature) 추정을 획득하기 위해 수렴 제어를 수행할 수 있다.
[0066] 도 9는 일 양상에 따른 도 1 및 2의 시스템의 예시적인 동작들을 예시하는 흐름도(900)이다. 도 9의 흐름도(900)가 동작들을 순차적인 순서로 예시하지만, 이는 단지 예이고 부가적이거나 대안적인 동작들이 포함될 수 있다는 것이 인지될 것이다. 또한, 도 9의 동작들 및 관련 동작들은 도시된 순서와 상이한 순서로 또는 동시에 또는 중첩하는 방식으로 실행될 수 있다.
[0067] 이미지가 획득될 수 있다(902). 예컨대, 카메라(102)는 이미지(105)를 획득할 수 있다. 카메라(102)는 디지털 카메라일 수 있다. 일부 예들에서, 카메라(102)는 디바이스(100)의 전방 표면 상에 배치될 수 잇다(예컨대, 전면 카메라). 예컨대, 카메라(102)는 디바이스(100)의 디스플레이 스크린(160)과 동일한 측 상에 배치될 수 있다. 일부 예들에서, 카메라(102)는 디바이스(100)의 후측 표면 상에 배치될 수 있다(예컨대, 후면 카메라는 디스플레이 스크린(160)의 반대측 상에 배치됨). 일부 예들에서, 디바이스(100)는 다수의 카메라들(102)(예컨대, 전면 카메라 및 후면 카메라 둘 모두)을 포함할 수 있다.
[0068] 이미지(105)는 개별적인 정지 이미지(예컨대, 사진) 또는 비디오 또는 무비를 구성하는 이미지들의 시퀀스일 수 있다. 이미지(105)는 디지털 이미지일 수 있다. 이미지(105)는 픽처 엘리먼트들 또는 픽셀들로 불리는 디지털 값들을 갖는 2차원 이미지의 숫자 표현일 수 있고, 여기서 각각의 픽셀은 밝기 레벨을 표시하는 휘도 값을 갖는다.
[0069] 이미지와 연관된 UV 광 데이터 및 IR 광 데이터 중 적어도 하나가 생성될 수 있다(904). 예컨대, 전자기 방사 센서(104)는 이미지(105)와 연관된 UV 광 데이터(106) 및 IR 광 데이터(108) 중 적어도 하나를 획득하도록 구성될 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106) 및 IR 광 데이터(108) 둘 모두를 검출할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106) 및 IR 광 데이터(108) 둘 모두를 검출할 수 있는 단일 센서 컴포넌트이다. 다른 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106)를 검출하도록 구성된 UV 센서 및 IR 광 데이터(108)를 검출하도록 구성된 IR 센서와 같은 별개의 센서 컴포넌트들을 포함할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 UV 광 데이터(106)만을 검출할 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 IR 광 데이터(108)만을 검출할 수 있다. UV 광 데이터(106)는 이미지(105)(또는 이미지(105)의 부분)와 연관된 UV 광의 레벨을 나타내는 UV 값을 포함할 수 있다. 일부 예들에서, UV 광 데이터(106)는 제1 시간에 캡처된 제1 UV 값 및 제1 시간에 후속하는 제2 시간에 캡처된 제2 UV 값과 같은 다수의 UV 판독들을 포함한다. IR 광 데이터(108)는 이미지(105)(또는 이미지(105)의 부분)와 연관된 IR 광의 레벨을 나타내는 IR 값을 포함할 수 있다. 일부 예들에서, IR 광 데이터(108)는 제1 시간에 캡처된 제1 IR 값 및 제1 시간에 후속하는 제2 시간에 캡처된 제2 IR 값과 같은 다수의 IR 판독들을 포함한다.
[0070] 전자기 방사 센서(104)는 하나 또는 그 초과의 포토다이오드들, 증폭기들 및/또는 아날로그 및 디지털 회로들의 어레인지먼트를 포함할 수 있다. 전자기 방사 센서(104)는 카메라(102)에 근접하게 배치될 수 있다. 일부 예들에서, 전자기 방사 센서(104)는 카메라(102)에 커플링될 수 있다. 일부 예들에서, 전자기 방사 센서(104) 및 카메라(102)는 전력 연결(118) 및 컴퓨터 버스(119)를 공유할 수 있다. 일부 예들에서, 컴퓨터 버스(119)는 I2C(Inter-Integrated Circuit) 버스이다. 일부 예들에서, 디바이스(100)는 다수의 카메라들(102)을 포함할 수 있고, 카메라들(102) 중 단지 하나는 전자기 방사 센서(104)와 공통 전력 연결(118) 및 컴퓨터 버스(119)를 공유한다. 일부 예들에서, 전면 카메라로서 구성된 카메라(102)는 전자기 방사 센서(104)와 공통 전력 연결(118) 및 컴퓨터 버스(119)를 공유한다. 일부 예들에서, 후면 카메라로서 구성된 카메라(102)는 전자기 방사 센서(104)와 공통 전력 연결(118) 및 컴퓨터 버스(119)를 공유한다.
[0071] 발광체 타입 확률은 UV 광 데이터 및 IR 광 데이터 중 적어도 하나를 사용하여 확률 데이터로부터 검출될 수 있고, 여기서 발광체 타입 확률은 이미지와 연관된 광 소스가 특정 발광체 타입이라는 신뢰 레벨을 표시한다(906). 예컨대, 센서 프로세서(110)는 UV 광 데이터(106) 및 IR 광 데이터(108) 중 적어도 하나를 사용하여 확률 데이터(112)로부터 발광체 타입 확률(114)을 검출할 수 있고, 여기서 발광체 타입 확률(114)은 이미지의 광 소스가 특정 발광체 타입이라는 신뢰 레벨을 표시한다. 확률 데이터(112)는 UV 및 IR 값들의 다양한 조합들에 대한 각각의 발광체 타입에 대한 확률들을 지정할 수 있다. 일부 예들에서, 확률 데이터(112)는 UV 및 IR 값들의 다양한 조합들에 대한 각각의 발광체 타입에 대한 확률들 및 이미지(105)와 연관된 휘도 값들을 지정할 수 있다. 발광체 타입 확률(114)은 이미지의 광 소스가 일광, 형광, 백열광 및/또는 가시광 LED와 같은 특정 발광체 타입일 신뢰 레벨을 나타낼 수 있다. 또한, 발광체 타입은 광 소스들의 다른 분류들을 포함할 수 있다. 다시 말해서, 발광체는 광 소스를 나타낼 수 있고, 발광체 타입은 광 소스의 타입을 나타낼 수 있다. 일부 예들에서, 이미지(105)는 다수의 광 소스들을 포함할 수 있고, 센서 프로세서(110)는 이미지(105)에 존재하는 각각의 광 소스에 대한 발광체 타입 확률(114)을 검출할 수 있다.
[0072] 이미지에 적용되는 자동-화이트 밸런스는 발광체 타입 확률에 따라 조정될 수 있다(908). 예컨대, AWB 유닛(116)은 발광체 타입 확률(114)에 따라 이미지(105)에 적용되는 자동-화이트 밸런스를 조정하도록 구성될 수 있다. AWB 유닛(116)은 발광체 타입 확률(114)을 AWB(117)에 통합할 수 있다. 결과적으로, AWB 유닛(116)은 AWB 통계 샘플들만을 사용하여 발광체 타입을 추정할 필요가 없을 수 있다. 다른 예들에서, AWB 유닛(116)은, 센서 프로세서(110)에 의해 결정된 발광체 타입 확률(114)로 AWB 통계 샘플들로부터의 발광체 타입 추정을 개선할 수 있다.
[0073] 도 10은, 본원에 설명된 기술들에서 사용될 수 있는 컴퓨터 디바이스(1000) 및 모바일 컴퓨터 디바이스(1050)의 예를 도시한다. 일부 예들에서, 디바이스(100)는 컴퓨터 디바이스(1000) 또는 모바일 컴퓨터 디바이스(1050)를 포함할 수 있다. 컴퓨팅 디바이스(1000)는 랩톱들, 데스크톱들, 태블릿들, 워크스테이션들, 개인 휴대 정보 단말기들, 텔레비전들, 서버들, 블레이드 서버들, 메인프레임들 및 다른 적절한 컴퓨팅 디바이스들과 같은 다양한 형태의 디지털 컴퓨터들을 나타내도록 의도된다. 컴퓨팅 디바이스(1050)는 개인 휴대 정보 단말기들, 셀룰러 텔레폰들, 스마트 폰들 및 다른 유사한 컴퓨팅 디바이스들과 같은 다양한 형태의 모바일 디바이스들을 나타내도록 의도된다. 본원에 도시된 컴포넌트들, 이들의 연결들 및 관계들 및 이들의 기능들은 단지 예시적인 것임을 의미하며, 본 문헌에 설명된 및/또는 청구된 본 발명들의 구현들을 제한하는 것으로 의미하지 않는다.
[0074] 컴퓨팅 디바이스(1000)는 프로세서(1002), 메모리(1004), 저장 디바이스(1006), 메모리(1004) 및 고속 확장 포트들(1010)에 연결된 고속 인터페이스(1008), 및 저속 버스(1014) 및 저장 디바이스(1006)에 연결된 저속 인터페이스(1012)를 포함한다. 프로세서(1002)는 반도체-기반 프로세서일 수 있다. 메모리(1004)는 반도체-기반 메모리일 수 있다. 컴포넌트들(1002, 1004, 1006, 1008, 1010 및 1012) 각각은 다양한 버스들을 사용하여 상호 연결되며, 공통의 머더보드 상에 장착되거나 또는 적절하게 다른 방식으로 장착될 수 있다. 프로세서(1002)는 메모리(1004) 또는 저장 디바이스(1006)에 저장된 명령들을 비롯한, 컴퓨팅 디바이스(1000) 내에서의 실행을 위해 명령들을 프로세싱하여 GUI에 대한 그래픽 정보를 고속 인터페이스(1008)에 커플링된 디스플레이(1016)와 같은 외부 입력/출력 디바이스 상에 디스플레이할 수 있다. 다른 구현들에서, 다수의 프로세서들 및/또는 다수의 버스들은 적절하게 다수의 메모리들 및/또는 메모리 타입들과 함께 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(1000)이 연결될 수 있으며, 각각의 디바이스는 (예컨대, 서버 뱅크, 블레이드 서버들의 그룹 또는 멀티-프로세서 시스템으로서) 필요한 동작들의 일부분들을 제공한다.
[0075] 메모리(1004)는 컴퓨팅 디바이스(1000) 내에 정보를 저장한다. 일 구현에서, 메모리(1004)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(1004)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(1004)는 또한 자기 또는 광 디스크와 같은 다른 형태의 컴퓨터-판독 가능 매체일 수 있다.
[0076] 저장 디바이스(1006)는 컴퓨팅 디바이스(1000)에 대용량 저장소를 제공할 수 있다. 일 구현에서, 저장 디바이스(1006)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성들 내의 디바이스들을 포함하는 디바이스들의 어레이와 같은 컴퓨터-판독 가능 매체일 수 있거나 이를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에서 유형적으로(tangibly) 구현될 수 있다. 컴퓨터 프로그램 제품은 또한, 실행될 때, 위에서 설명된 바와 같은 하나 또는 그 초과의 방법들을 수행하는 명령들을 포함할 수 있다. 정보 캐리어는 메모리(1004), 저장 디바이스(1006) 또는 프로세서(1002) 상의 메모리와 같은 컴퓨터- 또는 기계-판독 가능한 매체이다.
[0077] 고속 제어기(1008)는 컴퓨팅 디바이스(1000)에 대한 대역폭 집약적 동작들을 관리하는 반면에, 저속 제어기(1012)는 더 낮은 대역폭 집약적 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적이다. 일 구현에서, 고속 제어기(1008)는 (예컨대, 그래픽 프로세서 또는 가속기를 통해) 메모리(1004), 디스플레이(1016)에 커플링되고, 다양한 확장 카드들(미도시)을 수용할 수 있는 고속 확장 포트들(1010)에 커플링된다. 구현에서, 저속 제어기(1012)는 저장 디바이스(1006) 및 저속 확장 포트(1014)에 커플링된다. 다양한 통신 포트들(예컨대, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 예컨대, 네트워크 어댑터를 통해 키보드, 포인팅 디바이스, 스캐너, 또는 스위치나 라우터와 같은 네트워킹 디바이스와 같은 하나 또는 그 초과의 입력/출력 디바이스들에 커플링될 수 있다.
[0078] 도면에 도시된 바와 같이, 컴퓨팅 디바이스(1000)는 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 컴퓨팅 디바이스는 표준 서버(1020)로서 구현될 수 있거나 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 컴퓨팅 디바이스는 또한 랙(rack) 서버 시스템(1024)의 부분으로서 구현될 수 있다. 또한, 컴퓨팅 디바이스는 랩톱 컴퓨터(1022)와 같은 개인용 컴퓨터로 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(1000)의 컴포넌트들은 디바이스(1050)와 같은 모바일 디바이스(미도시) 내의 다른 컴포넌트들과 조합될 수 있다. 이러한 디바이스들 각각은 컴퓨팅 디바이스(1000, 1050) 중 하나 또는 그 초과를 포함할 수 있으며, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(1000, 1050)로 구성될 수 있다.
[0079] 컴퓨팅 디바이스(1050)는 다른 컴포넌트들 중에서도, 프로세서(1052), 메모리(1064), 입력/출력 디바이스, 이를테면, 디스플레이(1054), 통신 인터페이스(1066) 및 트랜시버(1068)를 포함한다. 디바이스(1050)에는 또한 부가적인 저장소를 제공하기 위한 마이크로드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 컴포넌트들(1050, 1052, 1064, 1054, 1066 및 1068) 각각은 다양한 버스들을 사용하여 상호 연결되며, 컴포넌트들 중 몇몇은 공통의 마더보드 상에 장착되거나 또는 적절하게 다른 방식으로 장착될 수 있다.
[0080] 프로세서(1052)는 메모리(1064)에 저장된 명령들을 비롯한, 컴퓨팅 디바이스(1050) 내의 명령들을 실행할 수 있다. 프로세서는 별개의 그리고 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는, 예컨대, 사용자 인터페이스들의 제어, 디바이스(1050)에 의해 실행되는 애플리케이션들 및 디바이스(1050)에 의한 무선 통신과 같이, 디바이스(1050)의 다른 컴포넌트들의 조정을 제공할 수 있다.
[0081] 프로세서(1052)는 디스플레이(1054)에 커플링된 제어 인터페이스(1058) 및 디스플레이 인터페이스(1056)를 통해 사용자와 통신할 수 있다. 디스플레이(1054)는 예컨대, TFT LCD(Thin-Film-Transistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(1056)는 그래픽 및 다른 정보를 사용자에게 제시하기 위해 디스플레이(1054)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(1058)는 사용자로부터 커맨드들을 수신하고, 프로세서(1052)로의 제출(submission)을 위해 그 커맨드들을 변환할 수 있다. 또한, 외부 인터페이스(1062)는 다른 디바이스들과 디바이스(1050)의 근거리 통신(near area communication)을 가능하게 하기 위해 프로세서(1052)와의 통신을 제공할 수 있다. 외부 인터페이스(1062)는 예컨대, 일부 구현들에서는 유선 통신을 위해, 또는 다른 구현들에서는 무선 통신을 위해 제공될 수 있으며, 다수의 인터페이스가 또한 사용될 수 있다.
[0082] 메모리(1064)는 컴퓨팅 디바이스(1050) 내의 정보를 저장한다. 메모리(1064)는 컴퓨터-판독 가능한 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 또는 비-휘발성 메모리 유닛 또는 유닛들 중 하나 또는 그 초과로서 구현될 수 있다. 확장 메모리(1074)는 또한 예컨대, SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(1072)를 통해 디바이스(1050)에 제공되어 연결될 수 있다. 그러한 확장 메모리(1074)는 디바이스(1050)에 여분의 저장 공간을 제공할 수 있거나, 또한 디바이스(1050)에 대한 애플리케이션들 또는 다른 정보를 저장할 수 있다. 구체적으로, 확장 메모리(1074)는 위에서 설명된 프로세스들을 수행하거나 보충하기 위한 명령들을 포함할 수 있으며, 보안 정보를 또한 포함할 수 있다. 따라서, 예컨대, 확장 메모리(1074)는 디바이스(1050)의 보안 모듈로서 제공될 수 있으며, 디바이스(1050)의 안전한 사용을 허용하는 명령들로 프로그래밍될 수 있다. 또한, 보안 애플리케이션들은, 해킹할 수 없는 방식으로 식별 정보를 SIMM 카드 상에 배치하는 같이, 부가적인 정보와 함께, SIMM 카드들을 통해 제공될 수 있다.
[0083] 메모리는 예컨대, 아래에 논의되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현에서, 컴퓨터 프로그램 제품은 정보 캐리어에서 유형적으로 구현된다. 컴퓨터 프로그램 제품은, 실행될 때, 위에서 설명된 바와 같은 하나 또는 그 초과의 방법들을 수행하는 명령들을 포함한다. 정보 캐리어는, 예컨대, 트랜시버(1068) 또는 외부 인터페이스(1062)를 통해 수신될 수 있는, 메모리(1064), 확장 메모리(1074) 또는 프로세서(1052) 상의 메모리와 같은 컴퓨터- 또는 기계-판독 가능 매체일 수 있다.
[0084] 디바이스(1050)는, 필요한 경우, 디지털 신호 프로세싱 회로를 포함할 수 있는 통신 인터페이스(1066)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(1066)는 다른 것들 중에서도, GSM 음성 호들, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서 통신들을 제공할 수 있다. 이러한 통신은, 예컨대, 라디오-주파수 트랜시버(1068)를 통해 발생할 수 있다. 또한, 이를테면, 블루투스, WiFi 또는 다른 그러한 트랜시버(미도시)를 사용하는 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(1070)은, 디바이스(1050) 상에서 실행되는 애플리케이션들에 의해 적절히 사용될 수 있는 부가적인 내비게이션- 및 위치-관련 무선 데이터를 디바이스(1050)에 제공할 수 있다.
[0085] 디바이스(1050)는 또한, 사용자로부터 구두(spoken) 정보를 수신하고 이를 이용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(1060)을 사용하여 청각적으로 통신할 수 있다. 마찬가지로, 오디오 코덱(1060)은, 예컨대, 디바이스(1050)의 핸드셋에 있는, 이를테면, 스피커를 통해, 사용자가 들을 수 있는 사운드를 생성할 수 있다. 이러한 사운드는 음성 텔레폰 콜들로부터의 사운드를 포함할 수 있고, 기록된 사운드(예컨대, 음성 메시지들, 음악 파일들 등)를 포함할 수 있으며, 디바이스(1050) 상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 또한 포함할 수 있다.
[0086] 도면에 도시된 바와 같이, 컴퓨팅 디바이스(1050)는 다수의 상이한 형태들에서 구현될 수 있다. 예컨대, 컴퓨팅 디바이스는 셀룰러 텔레폰(1080)으로서 구현될 수 있다. 컴퓨팅 디바이스는 또한 스마트 폰(1082), 개인 휴대 정보 단말기 또는 다른 유사한 모바일 디바이스의 일부로서도 구현될 수 있다.
[0087] 따라서, 본원에 설명된 시스템들 및 기술들의 다양한 구현들은 디지털 전자 회로, 집적 회로, 특별히 설계된 ASIC들(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합들로 실현될 수 있다. 이러한 다양한 구현들은, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고, 데이터 및 명령들을 이들에 송신하도록 커플링된, 특수 목적 또는 범용일 수 있는 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 가능한 및/또는 해석 가능한 하나 또는 그 초과의 컴퓨터 프로그램들에서의 구현을 포함할 수 있다.
[0088] 이들 컴퓨터 프로그램들(또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드로 알려짐)은 프로그래머블 프로세서를 위한 기계 명령들을 포함하며, 하이-레벨의 절차적 및/또는 객체 지향적 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본원에서 사용되는 바와 같이, "기계 판독 가능 매체", "컴퓨터-판독 가능 매체"라는 용어들은, 기계-판독 가능 신호로서 기계 명령들을 수신하는 기계-판독 가능 매체를 비롯한, 기계 명령들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예컨대, 자기 디스크들, 광 디스크들, 메모리, 프로그래머블 로직 디바이스들(PLD들)을 지칭한다. "기계-판독 가능 신호"라는 용어는 기계 명령들 및/또는 데이터를 프로그래머블 프로세서에 제공하는 데 사용되는 임의의 신호를 지칭한다.
[0089] 사용자와의 상호 작용을 제공하기 위해, 본원에 설명된 시스템들 및 기술들은 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예컨대, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류의 디바이스들은 물론 사용자와의 상호 작용을 제공하는데 사용될 수 있는데, 예컨대, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예컨대, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며; 사용자로부터의 입력은 음향, 스피치 또는 촉각 입력을 비롯한 임의의 형태로 수신될 수 있다.
[0090] 본원에 설명된 시스템들 및 기술들은, (예컨대, 데이터 서버로서) 백 엔드 컴포넌트를 포함하거나, 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 프론트 엔드 컴포넌트(예컨대, 사용자가 본원에 설명된 시스템들 및 기술들의 구현과 상호 작용할 수 있게 하는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터) 또는 그러한 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체(예컨대, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크("LAN"), 광역 네트워크("WAN") 및 인터넷을 포함한다.
[0091] 또한, 도면들에 도시된 논리 흐름들은 바람직한 결과들을 달성하기 위해, 도시된 특정 순서 또는 순차적인 순서를 요구하지 않는다. 또한, 다른 단계들이 제공되거나, 단계들이 설명된 흐름들로부터 제거될 수 있으며, 다른 컴포넌트들이 설명된 시스템들에 추가되거나, 설명된 시스템들로부터 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구항들의 범위 내에 있다.
[0092] 특히 상세히 설명된 위의 실시예들이 단지 예이거나 가능한 실시예들이고, 포함될 수 있는 많은 다른 조합들, 부가들 또는 대안들이 존재한다는 것이 인지될 것이다.
[0093] 위의 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 심볼 표현들의 관점에서 특징들을 제시한다. 이들 알고리즘 설명들 및 표현들은, 그들의 작업의 본질을 다른 당업자들에게 가장 효율적으로 전달하기 위하여 데이터 프로세싱 분야의 당업자들에 의해 사용될 수 있다. 이들 동작들은, 기능적으로 또는 논리적으로 설명되었지만, 컴퓨터 프로그램들에 의해 구현되는 것으로 이해된다. 또한, 일반화의 손실 없이, 모듈들로서 또는 기능적인 명칭들에 의해 동작들의 이들 어레인지먼트들을 지칭하는 것은 또한 종종 편리한 것으로 증명되었다.
[0094] 위의 논의로부터 명백한 바와 같이 달리 상세하게 언급되지 않으면, 설명 전반에 걸쳐, "프로세싱" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "디스플레잉" 또는 "제공" 등과 같은 용어들을 이용하는 논의들은, 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스들 내에서 물리(전자) 양들로서 표현되는 데이터를 조작 및 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 동작 및 프로세스들을 지칭한다는 것이 인식된다.

Claims (20)

  1. 디바이스로서,
    이미지를 획득하도록 구성된 카메라;
    상기 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터 중 적어도 하나를 생성하도록 구성된 전자기 방사 센서(electromagnetic radiation sensor);
    상기 UV 광 데이터 및 IR 광 데이터 중 적어도 하나를 사용하여 확률 데이터로부터 발광체 타입 확률(illuminant type probability)을 결정하도록 구성된 센서 프로세서 ― 상기 발광체 타입 확률은 상기 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰(confidence) 레벨을 표시함 ― ; 및
    상기 발광체 타입 확률에 기반하여 자동-화이트 밸런스(auto-white balance)를 조정하도록 구성된 자동-화이트 밸런스 유닛을 포함하고,
    상기 확률 데이터는 상기 UV 광 데이터 및 상기 IR 광 데이터의 비율(ratio)의 비율 값들에 대한 확률들을 제공하는 비율 확률 관계를 포함하는,
    디바이스.
  2. 제1 항에 있어서,
    상기 센서 프로세서는, 상기 UV 광 데이터가 UV 값들의 범위 내에 있는지 여부 및 상기 IR 광 데이터가 IR 값들의 범위 내에 있는지 여부에 기반하여 상기 발광체 타입 확률이 신뢰 임계치를 초과하는 것으로 결정하도록 구성되고, 상기 발광체 타입 확률이 상기 신뢰 임계치를 초과하는 것은, 상기 광 소스가 상기 특정 발광체 타입으로서 분류될 수 있다는 것을 표시하는,
    디바이스.
  3. 제1 항 또는 제2 항에 있어서,
    상기 센서 프로세서는, 상기 발광체 타입 확률이 신뢰 임계치를 초과할 때, 상기 이미지와 연관된 광 소스가 일광(daylight)이라고 결정하도록 구성되고, 상기 발광체 타입 확률은, 상기 UV 광 데이터가 제1 상위 임계치(upper threshold)를 초과하고 상기 IR 광 데이터가 제2 상위 임계치를 초과할 때, 상기 신뢰 임계치를 초과하는,
    디바이스.
  4. 제1 항 또는 제2 항에 있어서,
    상기 센서 프로세서는, 상기 발광체 타입 확률이 신뢰 임계치를 초과할 때, 상기 이미지와 연관된 광 소스가 형광(fluorescent light)이라고 결정하도록 구성되고, 상기 발광체 타입 확률은, 상기 UV 광 데이터가 상위 중간 임계치 내지 하위 중간 임계치이고 상기 IR 광 데이터가 하위 임계치 미만일 때, 상기 신뢰 임계치를 초과하는,
    디바이스.
  5. 제1 항 또는 제2 항에 있어서,
    상기 센서 프로세서는, 상기 발광체 타입 확률이 신뢰 임계치를 초과할 때, 상기 이미지와 연관된 광 소스가 백열광(incandescent light)이라고 결정하도록 구성되고, 상기 발광체 타입 확률은, 상기 UV 광 데이터가 상위 중간 임계치 내지 하위 중간 임계치이고 상기 IR 광 데이터가 상위 임계치를 초과할 때, 상기 신뢰 임계치를 초과하는,
    디바이스.
  6. 제1 항 또는 제2 항에 있어서,
    상기 센서 프로세서는, 상기 발광체 타입 확률이 신뢰 임계치를 초과할 때, 상기 이미지와 연관된 광 소스가 가시광 LED(light emitting diode)라고 결정하도록 구성되고, 상기 발광체 타입 확률은, 상기 UV 광 데이터가 제1 하위 임계치 미만이고 상기 IR 광 데이터가 제2 하위 임계치 미만일 때, 상기 신뢰 임계치를 초과하는,
    디바이스.
  7. 제1 항 또는 제2 항에 있어서,
    상기 확률 데이터는 UV 확률 관계 및 IR 확률 관계 중 적어도 하나를 포함하고, 상기 UV 확률 관계는 휘도 값들(luminance values)에 관련하여 UV 값들의 어레인지먼트(arrangement)를 제공하고, 상기 UV 확률 관계는 UV 값들 및 상기 휘도 값들의 조합들에 대한 확률들을 표시하고, 상기 IR 확률 관계는 상기 휘도 값들과 관련하여 IR 값들의 어레인지먼트를 제공하고, 상기 IR 확률 관계는 상기 IR 값들 및 상기 휘도 값들의 조합들에 대한 확률들을 표시하는,
    디바이스.
  8. 삭제
  9. 제1 항 또는 제2 항에 있어서,
    상기 카메라 및 상기 전자기 방사 센서는 인터페이스 버스 및 전력 연결을 공유하는,
    디바이스.
  10. 제1 항 또는 제2 항에 있어서,
    상기 카메라는 상기 디바이스의 디스플레이 스크린의 동일한 측 상에 배치된 전방 카메라인,
    디바이스.
  11. 실행 가능 명령들을 저장하는 비일시적인 컴퓨터-판독 가능 매체로서,
    상기 실행 가능 명령들은, 실행될 때, 적어도 하나의 프로세서로 하여금:
    이미지를 캡처하게 하고;
    상기 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터를 생성하게 하고;
    상기 이미지와 연관된 휘도가 임계치를 초과하는지를 결정하게 하고;
    상기 휘도가 상기 임계치를 초과할 때, 제1 방법에 따라 상기 UV 광 데이터 및 상기 IR 광 데이터를 사용하여 확률 데이터로부터 발광체 타입 확률을 결정하게 하고 ― 상기 발광체 타입 확률은, 상기 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰 레벨을 표시함 ― ;
    상기 휘도가 상기 임계치 미만일 때, 제2 방법에 따라 상기 UV 광 데이터 및 상기 IR 광 데이터를 사용하여 상기 확률 데이터로부터 상기 발광체 타입 확률을 결정하게 하고 ― 상기 제2 방법은 상기 제1 방법과 상이함 ― ; 그리고
    상기 제1 방법 또는 상기 제2 방법에 따라 상기 발광체 타입 확률에 기반하여 자동-화이트 밸런스를 조정하게 하는,
    비일시적인 컴퓨터-판독 가능 매체.
  12. 제11 항에 있어서,
    상기 확률 데이터는 UV 확률 관계 및 IR 확률 관계를 포함하고, 상기 제1 방법은, 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 UV 광 데이터의 절대값 및 상기 IR 광 데이터의 절대값을 결정하게 하고;
    상기 UV 광 데이터의 절대값에 기반하여 상기 UV 확률 관계로부터 UV 확률을 획득하게 하고;
    상기 IR 광 데이터의 절대값에 기반하여 상기 IR 확률 관계로부터 IR 확률을 획득하게 하고; 그리고
    상기 UV 확률 및 상기 IR 확률에 기반하여 상기 발광체 타입 확률을 컴퓨팅하게 하는 실행 가능 명령들을 포함하는,
    비일시적인 컴퓨터-판독 가능 매체.
  13. 제11 항 또는 제12 항에 있어서,
    상기 확률 데이터는 비율 확률 관계를 포함하고, 상기 제2 방법은, 실행될 때, 상기 적어도 하나의 프로세서로 하여금;
    상기 UV 광 데이터의 값 및 상기 IR 광 데이터의 값의 비율을 컴퓨팅하게 하고; 그리고
    상기 비율을 사용하여 상기 비율 확률 관계로부터 상기 발광체 타입 확률을 획득하게 하는 실행 가능 명령들을 포함하는,
    비일시적인 컴퓨터-판독 가능 매체.
  14. 제11 항 또는 제12 항에 있어서,
    상기 발광체 타입 확률은, 상기 UV 광 데이터가 UV 값들의 범위 내에 있는지 여부 및 상기 IR 광 데이터가 IR 값들의 범위 내에 있는지 여부에 기반하여 신뢰 임계치를 초과하는 것으로 결정되고, 상기 발광체 타입 확률이 상기 신뢰 임계치를 초과하는 것은, 상기 광 소스가 상기 특정 발광체 타입으로서 분류될 수 있다는 것을 표시하는,
    비일시적인 컴퓨터-판독 가능 매체.
  15. 제11 항 또는 제12 항에 있어서,
    상기 자동-화이트 밸런스(AWB)를 조정하게 하는 실행 가능 명령들은, 실행될 때, 상기 적어도 하나의 프로세서로 하여금,
    상기 확률 데이터로부터의 발광체 타입 확률에 따라 상기 이미지의 AWB 통계 샘플들(statistical samples)을 가중하는 것을 포함하는, AWB 게인(gain)의 양에 대한 초기 결정에 앞서 상기 확률 데이터로부터의 발광체 타입 확률을 통합하게 하는 실행 가능 명령들을 포함하는,
    비일시적인 컴퓨터-판독 가능 매체.
  16. 제15 항에 있어서,
    상기 자동-화이트 밸런스를 조정하게 하는 실행 가능 명령들은, 실행될 때, 상기 적어도 하나의 프로세서로 하여금,
    결정 수정 휴리스틱들(decision modification heuristics) 및 시간적인 휴리스틱들(temporal heuristics)의 부분으로서 상기 확률 데이터로부터의 발광체 타입 확률을 통합하게 하는 실행 가능 명령들을 포함하는,
    비일시적인 컴퓨터-판독 가능 매체.
  17. 방법으로서,
    카메라에 의해, 이미지를 획득하는 단계;
    전자기 방사 센서에 의해, 상기 이미지와 연관된 UV(ultra-violet) 광 데이터 및 IR(infrared) 광 데이터를 생성하는 단계;
    센서 프로세서에 의해, 제1 방법 또는 제2 방법 중 어느 하나에 따라 상기 UV 광 데이터 및 상기 IR 광 데이터를 사용하여 확률 데이터로부터 발광체 타입 확률을 결정하는 단계 ― 상기 발광체 타입 확률은, 상기 이미지와 연관된 광 소스가 특정 발광체 타입일 신뢰 레벨을 표시함 ― ; 및
    자동-화이트 밸런스 유닛에 의해, 상기 발광체 타입 확률에 기반하여 자동-화이트 밸런스를 조정하는 단계를 포함하고,
    상기 확률 데이터는 상기 UV 광 데이터 및 상기 IR 광 데이터의 비율의 비율 값들에 대한 확률들을 제공하는 비율 확률 관계를 포함하는
    방법.
  18. 제17 항에 있어서,
    상기 확률 데이터는 UV 확률 관계 및 IR 확률 관계를 포함하고, 상기 제1 방법은:
    상기 UV 광 데이터의 절대값 및 상기 이미지와 연관된 휘도 값을 사용하여 상기 UV 확률 관계로부터 UV 확률을 획득하는 단계;
    상기 IR 광 데이터의 절대값 및 상기 이미지와 연관된 휘도 값에 기반하여 상기 IR 확률 관계로부터 IR 확률을 획득하는 단계; 및
    상기 UV 확률과 상기 IR 확률을 곱함으로써 상기 발광체 타입 확률을 컴퓨팅하는 단계를 포함하는,
    방법.
  19. 제17 항 또는 제18 항에 있어서,
    상기 제2 방법은:
    상기 UV 광 데이터의 값 및 상기 IR 광 데이터의 값의 비율을 컴퓨팅하는 단계; 및
    상기 비율을 사용하여 상기 비율 확률 관계로부터 상기 광 소스의 특정 발광체 타입 및 상기 특정 발광체 타입의 발광체 타입 확률을 결정하는 단계를 포함하는,
    방법.
  20. 제17 항 또는 제18 항에 있어서,
    상기 발광체 타입 확률에 따라 상기 자동-화이트 밸런스(AWB)를 조정하는 단계는:
    상기 이미지의 AWB 통계 샘플들을 파싱(parsing)하는 단계;
    상기 확률 데이터로부터의 발광체 타입 확률에 따라 상기 AWB 통계 샘플들을 가중하는 단계;
    초기 결정으로서, 가중된 AWB 통계 샘플들에 기반하여 AWB 게인의 양을 결정하는 단계; 및
    상기 AWB 통계 샘플들 및 상기 초기 결정의 부분으로서 결정된 AWB 게인의 양에 대해 휴리스틱들을 수행하는 단계를 포함하고,
    상기 확률 데이터로부터의 발광체 타입 확률은 또한 상기 휴리스틱들에 통합되는,
    방법.
KR1020187001351A 2015-10-16 2016-10-12 적외선 및/또는 자외선 신호들을 사용하는 자동 화이트 밸런스 KR102015086B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/885,377 US9762878B2 (en) 2015-10-16 2015-10-16 Auto white balance using infrared and/or ultraviolet signals
US14/885,377 2015-10-16
PCT/US2016/056560 WO2017066263A1 (en) 2015-10-16 2016-10-12 Auto white balance using infrared and/or ultraviolet signals

Publications (2)

Publication Number Publication Date
KR20180019177A KR20180019177A (ko) 2018-02-23
KR102015086B1 true KR102015086B1 (ko) 2019-08-27

Family

ID=57281278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187001351A KR102015086B1 (ko) 2015-10-16 2016-10-12 적외선 및/또는 자외선 신호들을 사용하는 자동 화이트 밸런스

Country Status (7)

Country Link
US (1) US9762878B2 (ko)
EP (1) EP3363196B1 (ko)
JP (1) JP6625724B2 (ko)
KR (1) KR102015086B1 (ko)
CN (1) CN107836115B (ko)
GB (1) GB2556519B (ko)
WO (1) WO2017066263A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567723B2 (en) 2017-08-11 2020-02-18 Samsung Electronics Co., Ltd. System and method for detecting light sources in a multi-illuminated environment using a composite RGB-IR sensor
WO2019031931A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR DETECTING LIGHT SOURCES IN A MULTI-LIGHTENED ENVIRONMENT USING A COMPOSITE RGB-IR SENSOR
KR20190020578A (ko) * 2017-08-21 2019-03-04 삼성전자주식회사 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
CN112866656B (zh) * 2019-11-26 2022-05-31 Oppo广东移动通信有限公司 一种白平衡校正方法、装置、存储介质及终端设备
KR20210078656A (ko) * 2019-12-19 2021-06-29 삼성전자주식회사 화이트 밸런스를 제공하는 방법 및 이를 지원하는 전자 장치
CN113115014B (zh) * 2021-04-15 2023-07-18 北京有竹居网络技术有限公司 图像处理方法、装置、设备、介质和计算机程序产品
US20220385873A1 (en) * 2021-05-28 2022-12-01 Qualcomm Incorporated Infrared-based processing of an image
CN115633260B (zh) * 2021-08-12 2024-06-07 荣耀终端有限公司 一种色度信息的确定方法及相关电子设备
CN114500969A (zh) * 2022-01-17 2022-05-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及终端
CN114612571B (zh) * 2022-03-07 2023-05-23 重庆紫光华山智安科技有限公司 白平衡标定参数生成、图像矫正方法、系统、设备及介质
JP2023161376A (ja) * 2022-04-25 2023-11-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275582A (ja) * 2007-04-06 2008-11-13 Sony Corp 光源推定装置および方法、並びにプログラム
JP2011087136A (ja) 2009-10-15 2011-04-28 Olympus Corp 撮像装置および撮像システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1146367A (ja) 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 自動色温度補正装置
US6791606B1 (en) * 2000-05-09 2004-09-14 Eastman Kodak Company Auto white balancing apparatus and method
JP2002159018A (ja) * 2000-11-22 2002-05-31 Casio Comput Co Ltd ホワイトバランス制御装置及びホワイトバランス制御方法
JP2003163944A (ja) 2001-11-28 2003-06-06 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ。
JP4426812B2 (ja) * 2003-10-09 2010-03-03 オリンパス株式会社 デジタルカメラ
JP2005300639A (ja) * 2004-04-07 2005-10-27 Konica Minolta Photo Imaging Inc 画像表示装置及び画像表示装置の制御方法
US20050270383A1 (en) 2004-06-02 2005-12-08 Aiptek International Inc. Method for detecting and processing dominant color with automatic white balance
JP4754227B2 (ja) * 2005-01-31 2011-08-24 イーストマン コダック カンパニー オートホワイトバランス装置及びホワイトバランス調整方法
KR100715863B1 (ko) * 2005-03-09 2007-05-11 삼성전자주식회사 발광다이오드 광원의 발광레벨을 감안하여 화이트밸런스를조정하는 영상투사장치 및 그의 화이트밸런스 조정방법
US8049789B2 (en) 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
US7869019B2 (en) 2007-04-06 2011-01-11 Sony Corporation Device, method, and program for estimating light source
US20090002545A1 (en) * 2007-06-29 2009-01-01 Nokia Corporation Method and system for color management in digital imaging
JP5123773B2 (ja) * 2008-07-25 2013-01-23 シャープ株式会社 表示装置、表示方法
CA2767023C (en) * 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
JP5713816B2 (ja) 2011-03-16 2015-05-07 株式会社東芝 固体撮像装置及びカメラモジュール
US9280184B2 (en) * 2011-06-10 2016-03-08 Blackberry Limited Device and method of adjusting electromagnetic radiation transmitted by an optical element
US9106879B2 (en) * 2011-10-04 2015-08-11 Samsung Electronics Co., Ltd. Apparatus and method for automatic white balance with supplementary sensors
US9143704B2 (en) 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
JP2014116710A (ja) * 2012-12-07 2014-06-26 Nec Casio Mobile Communications Ltd 撮像装置、撮影条件設定方法、及びプログラム
JP2014216963A (ja) * 2013-04-26 2014-11-17 シャープ株式会社 表示装置、表示装置の制御方法、および表示装置制御プログラム
WO2015030705A1 (en) 2013-08-26 2015-03-05 Intel Corporation Automatic white balancing with skin tone correction for image processing
CN104702930B (zh) * 2013-12-06 2016-12-07 青岛海信移动通信技术股份有限公司 一种确定白平衡光源的方法及装置
JP2015177308A (ja) * 2014-03-14 2015-10-05 富士通株式会社 携帯端末装置、画像補正方法、及び画像補正プログラム
JP6494181B2 (ja) * 2014-05-30 2019-04-03 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6508890B2 (ja) * 2014-07-07 2019-05-08 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
KR102281256B1 (ko) * 2014-12-04 2021-07-23 삼성전자주식회사 화이트 밸런스 제어 방법 및 그 전자 장치
US9696470B2 (en) * 2015-03-04 2017-07-04 Microsoft Technology Licensing, Llc Sensing images and light sources via visible light filters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275582A (ja) * 2007-04-06 2008-11-13 Sony Corp 光源推定装置および方法、並びにプログラム
JP2011087136A (ja) 2009-10-15 2011-04-28 Olympus Corp 撮像装置および撮像システム

Also Published As

Publication number Publication date
GB2556519B (en) 2021-12-08
CN107836115B (zh) 2020-04-28
EP3363196A1 (en) 2018-08-22
US9762878B2 (en) 2017-09-12
EP3363196B1 (en) 2019-12-04
WO2017066263A1 (en) 2017-04-20
GB201800294D0 (en) 2018-02-21
JP6625724B2 (ja) 2019-12-25
US20170111623A1 (en) 2017-04-20
KR20180019177A (ko) 2018-02-23
GB2556519A (en) 2018-05-30
JP2018530181A (ja) 2018-10-11
CN107836115A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
KR102015086B1 (ko) 적외선 및/또는 자외선 신호들을 사용하는 자동 화이트 밸런스
CN108702437B (zh) 计算深度图的方法、系统、设备和存储介质
CN108805103B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10027938B2 (en) Image processing device, imaging device, image processing method, and image processing program
US8994845B2 (en) System and method of adjusting a camera based on image data
CN108307125B (zh) 一种图像采集方法、装置和存储介质
KR101903626B1 (ko) 로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱
KR102124604B1 (ko) 이미지 안정화 방법 그 전자 장치
US9179062B1 (en) Systems and methods for performing operations on pixel data
US20160005362A1 (en) Determination Of Optical Condition And Adjustment Of Display
KR102390918B1 (ko) 안개 제거 시스템
EP3149930B1 (en) Automatic anti-glare exposures for imaging devices
KR20170030933A (ko) 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
US9948883B2 (en) Information processing apparatus and information processing method that notify when a display unit is determined to be able to display an image based on a display image with brightness of input image data
US20200204723A1 (en) Image processing apparatus, imaging apparatus, image processing method, imaging method, and program
EP4029238B1 (en) Exposure change control in low light environments
US8804029B2 (en) Variable flash control for improved image detection
US10277817B2 (en) Information processing apparatus and information processing method
US20170302841A1 (en) Method and apparatus for automatic stage scene detection
EP2658245B1 (en) System and method of adjusting camera image data
KR20160120469A (ko) 사용자 단말 장치, 외부 장치 및 오디오 출력 방법
US20160292825A1 (en) System and method to refine image data
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
US20160344932A1 (en) Omnidirectional camera system
KR20240011707A (ko) 이미지의 적외선 기반 화이트 밸런싱

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant