KR20160067633A - 화이트 밸런스 제어 방법 및 그 전자 장치 - Google Patents

화이트 밸런스 제어 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20160067633A
KR20160067633A KR1020140173261A KR20140173261A KR20160067633A KR 20160067633 A KR20160067633 A KR 20160067633A KR 1020140173261 A KR1020140173261 A KR 1020140173261A KR 20140173261 A KR20140173261 A KR 20140173261A KR 20160067633 A KR20160067633 A KR 20160067633A
Authority
KR
South Korea
Prior art keywords
light source
sensor
light
ray
visible
Prior art date
Application number
KR1020140173261A
Other languages
English (en)
Other versions
KR102281256B1 (ko
Inventor
이용구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140173261A priority Critical patent/KR102281256B1/ko
Priority to US14/944,396 priority patent/US9723284B2/en
Publication of KR20160067633A publication Critical patent/KR20160067633A/ko
Priority to US15/664,035 priority patent/US10165244B2/en
Priority to US16/228,971 priority patent/US10511821B2/en
Application granted granted Critical
Publication of KR102281256B1 publication Critical patent/KR102281256B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 개시의 다양한 실시 예는 화이트 밸런스 제어 방법 및 그 전자 장치에 관한 것으로, 예를 들어, 전자 장치의 동작 방법에 있어서, 제1 입사 광을 이미지로 변환하는 동작; 제2 입사 광을 서로 다른 광선들로 분류하는 동작; 상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하는 동작; 및 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 동작을 포함할 수 있다. 또한, 본 개시의 다양한 실시 예는 상술한 실시 예와 다른 실시 예들도 포함한다.

Description

화이트 밸런스 제어 방법 및 그 전자 장치{METHOD FOR CONTROLLING WHITE BALANCE AND AN ELECTRONIC DEVICE THEREOF}
본 개시의 다양한 실시 예는, 화이트 밸런스 제어 방법 및 그 전자 장치에 관한 것이다.
스마트 폰(smart phone) 또는 태블릿(tablet) PC 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있으며, 상기 전자 장치는, 카메라(camera) 기능을 포함할 수 있다.
예를 들어, 스마트 폰 등과 같은 전자 장치의 전면(front)에는, 터치 스크린과 같은 디스플레이가 설치되고, 상기 디스플레이와 동일한 방향인 전면에는, 제1 카메라가 설치되며, 그 반대 방향인 후면(rear)에는, 제2 카메라가 설치될 수 있다.
상기 제1 카메라는, 프런트 카메라로 일컬어질 수 있고, 상기 제2 카메라는, 리어 카메라로 일컬어질 수 있으며, 상기 제1 카메라와 제2 카메라 중 적어도 하나 이상은, 자동 화이트 밸런스(AWB: Auto White Balance) 기능을 수행할 수 있다.
상기 자동 화이트 밸런스(AWB) 기능은, 예를 들어, 태양광, 백열등, 그리고 형광등과 같은 여러 종류의 광원(light source)들에 상관 없이, 백색 피사체가 백색 이미지로 촬영될 수 있도록 하기 위한 카메라의 자동 보정 기능 중 하나이다.
본 개시의 다양한 실시 예는, 스마트 폰 또는 태블릿 PC, Digital 카메라 등과 같은 다양한 유형의 전자 장치가, 입사 광을 가시광선(visible ray)과 적외선(infrared ray) 등으로 분류하는 광원 센서(SLC: Sensor of Light Classification)를 이용하여, 자동 화이트 밸런스(AWB) 기능을 보다 향상시킬 수 있도록 하기 위한 화이트 밸런스 제어 방법 및 그 전자 장치를 제공한다.
본 개시의 다양한 실시 예는, 전자 장치의 동작 방법에 있어서, 제1 입사 광을 이미지로 변환하는 동작; 제2 입사 광을 서로 다른 광선들로 분류하는 동작; 상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하는 동작; 및 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 동작을 포함할 수 있다.
본 개시의 다양한 실시 예는, 전자 장치에 있어서, 제1 입사 광을 이미지로 변환하는 이미지 센서; 제2 입사 광을 서로 다른 광선들로 분류하는 광원 센서; 및 상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하고, 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 프로세서를 포함광원 센서할 수 있다.
본 개시의 다양한 실시 예에 따르면, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치가, 카메라 촬영 동작을 수행하는 경우, 광원 센서를 이용하여, 현재의 광원 종류를 판단하고, 상기 광원 종류에 최적한 화이트 밸런스 제어 동작을 수행함으로써, 카메라가 단색 피사체를 촬영하는 경우, 원래의 피사체 색을 광원의 색으로 잘못 판단하여, 피사체의 색이 원래의 색과 다른 보색으로 처리되는 등의 화이트 밸런스 에러 현상(예: bluish 현상)을 미연에 방지할 수 있다.
도 1a는 본 개시의 다양한 실시 예가 적용되는 전자 장치를 예시한 도면이다.
도 1b는 본 개시의 다양한 실시 예가 적용되는 전자 장치의 블록도를 예시한 도면이다.
도 2는 본 개시의 다양한 실시 예에 따른 전자 장치의 상세 블록도를 예시한 도면이다.
도 3a와 도 3b은 본 개시의 다양한 실시 예에 따른 화이트 밸런스 제어 방법이 적용되는 전자 장치의 일부 구성을 예시한 도면이다.
도 4a 내지 도 4c는 본 개시의 다양한 실시 예에 따른 광원 센서의 분광 특성을 예시한 도면이다.
도 5는 본 개시의 다양한 실시 예에 따른 색온도 별 복사(radiation) 스펙트럼을 예시한 도면이다.
도 6은 본 개시의 다양한 실시 예에 따른 색온도와 광원 분류 비율 간의 상관 곡선(correlation curve)을 예시한 도면이다.
도 7은 본 개시의 다양한 실시 예에 따른 색온도 별 광원 종류 판단 정보를 예시한 도면이다.
도 8은 본 개시의 다양한 실시 예에 따른 광원 별 적외선 및 가시광선 분포 특성을 예시한 도면이다.
도 9는 본 개시의 다양한 실시 예에 따른 전자 장치의 화이트 밸런스 제어 방법에 대한 동작 흐름도이다.
도 10은 본 개시의 다양한 실시 예에 따른 전자 장치의 화이트 밸런스 제어 방법에 대한 다른 동작 흐름도이다.
이하, 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 설명한다. 본 개시의 다양한 실시 예는 여러 형태의 변경을 가할 수 있으며, 이하에서 상세히 설명하는 특정 실시예에 한정되지 않음은 당업자에게 자명하다.
도 1a는, 본 개시의 다양한 실시 예에 따른 전자 장치를 예시한 도면이다. 도 1a를 참조하면, 상기 전자 장치 101은, 예를 들어, 스마트 폰(smart phone) 또는 태블릿(tablet) PC, Digital 카메라 등과 같은 다양한 유형의 전자 장치일 수 있다.
상기 전자 장치 101은, 이미지 촬영을 위한 카메라 모듈과, 주변 광원의 종류를 검출하기 위한 광원 센서 등이, 상기 전자 장치 101의 전면에 같이 설치되거나, 서로 다른 반대 면에 설치될 수 있다.
예를 들어, 상기 전자 장치 101의 전면에는, 제1 이미지 센서와 제1광원 센서가 설치되고, 상기 전자 장치의 후면에는, 제2 이미지 센서와 제2 광원 센서가 설치될 수 있다.
도 1b은, 본 개시의 다양한 실시 예가 적용되는 전자 장치의 블록도를 예시한 도면이다. 도 1b을 참조하면, 상기 전자 장치 101은, 카메라 100, 버스 110, 프로세서 120, 메모리 130, 센서 모듈 140, 입출력 인터페이스 150, 디스플레이 160, 그리고 통신 인터페이스 170 등을 포함할 수 있다.
상기 카메라 100은, 상기 디스플레이 160와 동일한 방향인 전면(front)에 설치된 제1 카메라 모듈과 그 반대 방향인 후면(rear)에 설치된 제2 카메라 모듈을 포함하거나, 상기 제1 카메라 모듈과 제2 카메라 모듈 중 어느 하나만을 포함할 수 있다.
상기 버스 110은, 상기 구성 요소들을 서로 연결하고, 상기 구성 요소들 간의 통신 메시지 또는 데이터를 전달하는 회로를 포함할 수 있다.
상기 프로세서 120은, 중앙처리장치(CPU: Central Processing unit), 어플리케이션 프로세서(AP: Application Processor), 또는 커뮤니케이션 프로세서(CP: Communication Processor) 중 어느 하나 이상을 포함할 수 있고, 상기 전자 장치 101의 적어도 하나의 구성 요소들의 제어 또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리 130은, 예를 들어, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있고, 상기 전자 장치 101의 적어도 하나의 다른 구성 요소에 관계된 명령 또는 데이터를 저장할 수 있고, 소프트웨어 및/또는 프로그램을 저장할 수 있다. 상기 프로그램은, 예를 들어, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: Application Programming Interface), 그리고 어플리케이션 프로그램 등을 포함할 수 있다.
상기 센서 모듈 140은, 예를 들어, 적외선을 이용하여, 사용자 또는 물체 등의 근접 여부를 검출하는 근접 센서와, 가시광선을 이용하여, 주변 조도의 변화 여부를 검출하는 조도 센서, 그리고 그 이외의 다른 여러 종류의 센서들을 포함할 수 있다. 여기서, 상기 근접 센서와 조도 센서는, 하나의 집적화된 소형 크기의 센서 모듈로 제작될 수 있다.
상기 입출력 인터페이스 150은, 예를 들어, 사용자 또는 다른 외부 전자 장치로부터 입력된 명령 또는 데이터를, 상기 전자 장치 101의 다른 구성 요소에 전달할 수 있는 인터페이스의 역할을 할 수 있다.
상기 디스플레이 160은, 예를 들어, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 등과 같은 다양한 유형의 디스플레이일 수 있고, 터치 스크린을 포함할 수 있으며, 전자 펜 또는 사용자의 신체 일부를 이용한 터치, 제스처, 근접, 또는 호버링 입력을 수신할 수 있다.
상기 통신 인터페이스 170은, 상기 전자 장치 101와, 외부 전자 장치들 간의 통신을 설정할 수 있다. 예를 들어, 무선 통신 또는 유선 통신을 통해, 상기 외부 전자 장치들과 통신할 수 있다.
상기 무선 통신은, 예를 들어, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 포함할 수 있고, 상기 유선 통신은, 예를 들어, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard 232), 또는 POTS(Plain Old Telephone Service) 중 적어도 하나를 포함할 수 있다.
도 2는, 본 개시의 다양한 실시 예에 따른 전자 장치의 상세 블록도를 예시한 도면이다. 도 2을 참조하면, 상기 전자 장치 201은, 예를 들어, 하나 이상의 어플리케이션 프로세서(AP: Application Processor) 210, 통신 모듈 220, SIM(Subscriber Identification Module) 카드 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 그리고 모터 298 등을 포함할 수 있다.
상기 AP 210은, 예를 들어, 운영 체제 또는 응용 프로그램을 구동하여 상기 AP 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 210은, 예를 들어, SoC(System On Chip)로 구현될 수 있고, GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다.
상기 AP 210은, 도 2에 도시된 구성 요소들 중 적어도 일부(예: 셀룰러 모듈 221)를 포함할 수 있고, 다른 구성 요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
상기 통신 모듈 220은, 도 1의 통신 인터페이스 160와 동일 또는 유사한 구성을 가질 수 있다. 상기 통신 모듈 220은, 예를 들어, 셀룰러 모듈 221, WiFi 모듈 223, BT 모듈 225, GPS 모듈 227, NFC 모듈 228 또는 RF 모듈 229를 포함할 수 있다.
상기 셀룰러 모듈 221은, 예를 들어, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 상기 셀룰러 모듈 221은 가입자 식별 모듈(예: SIM 카드 224)을 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 상기 셀룰러 모듈 221은 상기 AP 210가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있고, 커뮤니케이션 프로세서(CP: Communication Processor)를 포함할 수 있다.
상기 WiFi 모듈 223, 상기 BT 모듈 225, 상기 GPS 모듈 227, 또는 상기 NFC 모듈 228 각각은, 예를 들어, 해당하는 모듈을 통해 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있고, 상기 셀룰러 모듈 221, WiFi 모듈 223, BT 모듈 225, GPS 모듈 227, 또는 NFC 모듈 228 중 적어도 일부(예: 2 개 이상)는 하나의 IC(Integrated Chip) 또는 IC 패키지 내에 포함될 수 있다.
상기 RF 모듈 229는, 예를 들어, RF 통신 신호를 송수신할 수 있고, 트랜시버(transceiver), PAM(Power Amp Module), 주파수 필터(frequency filter), LNA(Low Noise Amplifier), 또는 안테나 등을 포함할 수 있고, 상기 셀룰러 모듈 221, WIFI 모듈 223, BT 모듈 225, GPS 모듈 227, 또는 NFC 모듈 228 중 적어도 하나는, 별개의 RF 모듈을 통해 RF 신호를 송수신할 수 있다.
상기 SIM 카드 224는, 예를 들어, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM (embedded SIM)을 포함할 수 있고, 고유한 식별 정보(예: ICCID (Integrated Circuit Card Identifier)), 또는 가입자 정보(예: IMSI (International Mobile Subscriber Identity))를 포함할 수 있다.
상기 메모리 230은, 예를 들어, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있고, 상기 센서 모듈 240은, 예를 들어, 물리 량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다.
상기 센서 모듈 240은, 예를 들어, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, 컬러 센서 240H (예: RGB(Red, Green, Blue) 센서), 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K, 또는 UV(Ultra Violet) 센서 240M 중의 적어도 하나를 포함할 수 있다.
상기 센서 모듈 240은, 예를 들어, 후각 센서(E-nose sensor), EMG 센서(Electromyography sensor), EEG 센서(Electroencephalogram sensor), ECG 센서(Electrocardiogram sensor), IR(Infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다.
상기 입력 장치 250은, 예를 들어, 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256, 또는 초음파(ultrasonic) 입력 장치 258를 포함할 수 있다. 상기 디스플레이 260은, 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 포함할 수 있다.
상기 인터페이스 270은, 예를 들어, HDMI 272, USB 274, 광 인터페이스 276, 또는 D-sub(D-subminiature) 278를 포함할 수 있다. 상기 오디오 모듈 280은, 예를 들어, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있고, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈 291은, 예를 들어, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 전면 카메라 모듈과 후면 카메라 모듈로 구분될 수 있으며, 각각의 카메라 모듈은, 이미지 센서(image sensor), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp) 등을 포함할 수 있다.
상기 전력 관리 모듈 295는, 예를 들어, 상기 전자 장치 201의 전력을 관리할 수 있고, PMIC(Power Management Integrated Circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 인디케이터 297은, 상기 전자 장치 201 또는 그 일부(예: AP 210)의 특정 상태, 예를 들어, 부팅 상태, 메시지 상태, 또는 전력 상태 등을 표시할 수 있고, 상기 모터 298은, 전기적 신호를 기계적 진동으로 변환할 수 있으며, 진동 (vibration) 등의 효과를 발생시킬 수 있다.
도 3a와 도 3b은, 본 개시의 다양한 실시 예에 따른 화이트 밸런스 제어 방법이 적용되는 전자 장치의 일부 구성을 예시한 도면이다. 도 3a을 참조하면, 예를 들어, 스마트 폰 등과 같은 다양한 유형의 전자 장치는, 렌즈(lens) 301과 이미지 센서(image sensor) 302을 포함하는 적어도 하나 이상의 카메라 모듈 300을 포함할 수 있다.
상기 전자 장치는, 디지털 게인(Digital Gain) 311, 자동 화이트 밸런스(AWB: Auto White Balance) 312, 이미지 시그널 프로세서(ISP: Image Signal Processor) 313, 그리고 컨트롤러(controller) 314 등을 포함하는 어플리케이션 프로세서(AP) 310을 포함할 수 있다.
상기 전자 장치는, 광원 센서(SLC: Sensor of Light Classification) 320와 메모리 330 등을 포함할 수 있고, 상기 광원 센서 320은, 예를 들어, 광 파장(wavelength) 등에 따라 입사 광을 분류하기 위한 구성 요소이다.
상기 광원 센서 320은, 입사 광에서 가시광선(visible ray)을 분류하기 위한 가시광선 센서와, 입사 광에서 적외선(infrared ray)을 분류하기 위한 적외선 센서를 포함할 수 있다.
도 3b을 참조하면, 상기 광원 센서 320은, 예를 들어, 주변 조도의 변화 여부를 검출하기 위한 조도 센서 320a와, 사용자 또는 물체의 근접 여부를 검출하기 위한 근접 센서 320b을 포함할 수 있다.
상기 조도 센서 320a는, 입사 광에서 가시광선을 분류하기 위한 가시광선 센서로 작동하고, 상기 근접 센서 320b는, 입사 광에서 적외선을 분류하기 위한 적외선 센서로 작동할 수 있다. 상기 조도 센서 320a와 근접 센서 320b는, 하나의 집적화된 센서 모듈로 제작될 수 있으며, 예를 들어, 근접조도 센서 등을 다양하게 일컬어질 수 있다.
상기 카메라 모듈 300에 포함된 이미지 센서 302는, 상기 렌즈 301을 투과한 입사 광을 이미지로 변환하는 CMOS 이미지 센서 등이 사용될 수 있다.
상기 어플리케이션 프로세서 310의 컨트롤러 314는, 상기 디지털 게인311와, 상기 자동 화이트 밸런스 312, 그리고 상기 이미지 시그널 프로세서 313을 제어할 수 있고, 상기 분류 센서 320에 의해 분류되는 가시광선과 적외선에 기반하여, 상기 입사 광의 광원(light source) 종류를 판단하고, 상기 입사 광의 광원 종류에 따라, 상기 자동 화이트 밸런스 312를 제어할 수 있다.
상기 메모리 330은, 상기 컨트롤러 314가, 상기 입사 광의 광원 종류를 판단하거나, 상기 자동 화이트 밸런스를 제어하기 위한 각종 정보들을 저장할 수 있으며, 상기 메모리 330은, 상기 어플리케이션 프로세서 310에 포함되거나, 또는 별도의 구성일 수 있다. 상기 어플리케이션 프로세서 310은, 도 1의 프로세서 120와 전부 동일하거나 또는 적어도 일부 동일한 구성 요소일 수 있다.
도 4a 내지 도 4c는, 본 개시의 다양한 실시 예에 따른 광원 센서의 분광 특성을 예시한 도면이다. 상기 광원 센서(SLC)는, 카메라 촬영 동작을 수행하는 동안, 입사 광에서 가시광선(VR: Visible Ray)과 적외선(IR: Infrared Ray)을 분류할 수 있다.
상기 가시광선은, 사람 눈에 보이는 범위의 파장, 예를 들어, 380∼770nm 범위의 파장을 가지며, 가시광선 내에서, 파장에 따른 성질의 변화는, 각각의 색깔로 나타나고, 빨간색에서 보라색으로 갈수록 파장이 짧아진다.
예를 들어, 단색 광의 경우, 700∼610nm는 빨강, 610∼590nm는 주황, 590∼570nm는 노랑, 570∼500nm는 초록, 500∼450nm는 파랑, 450∼400nm는 보라색으로 보일 수 있다.
상기 적외선은, 상기 빨강의 가시광선 보다 파장이 긴 전자파로서, 예를 들어, 0.75~0.8μm범위의 파장을 가지며, 2.5μm 이하 범위의 적외선은 근 적외선, 2.5~25μm 범위의 적외선은 중 적외선, 그리고 25μm 이상 범위의 적외선은 원 적외선이라고 일컬어질 수 있다.
도 4a을 참조하면, 상기 광원 센서(SLC)는, 예를 들어, 입사 광에서 가시광선과 적외선을 분류하고, 상기 분류된 가시광선(VR)과 적외선(IR)의 합(VR+IR) 420(예: 전체 광)과, 상기 적외선(IR) 400을, 상기 어플리케이션 프로세서(AP)로 출력할 수 있다.
상기 어플리케이션 프로세서(AP)는, 예를 들어, 상기 광원 센서(SLC)가, 가시광선(VR)과 적외선(IR)을 출력하는 경우, 상기 가시광선과 적외선을 조합하여, 상기 가시광선(VR)과 적외선(IR)의 합(VR+IR) 420(예: 전체 광)을 생성할 수 있다.
상기 광원 센서(SLC)가, 상기 가시광선(VR)과 적외선(IR)의 합(VR+IR) 420(예: 전체 광)과, 적외선을 받아 들여, 이를 단순히 출력할 수도 있다.
도 4b을 참조하면, 상기 광원 센서(SLC)는, 예를 들어, 입사 광에서 가시광선과 적외선을 분류하고, 상기 분류된 가시광선(VR) 410과 적외선(IR) 400을, 상기 어플리케이션 프로세서(AP)로 출력할 수 있다.
도 4c을 참조하면, 상기 광원 센서(SLC) 내에는, 예를 들어, RGB 센서(미도시)가 포함될 수 있다. 상기 RGB 센서에 의해 각각 검출(R, G, B)되어 합산되는 RGB합은, 가시광선(VR) 410과 동일하기 때문에, 가시광선 센서를 사용하지 않고, 3 개의 수광 소자(R, G, B)들로 구성된 RGB 센서를 사용할 수 있다.
상기 광원 센서(SLC)는, 상기 RGB 합인 가시광선(VR) 410과, 상기 적외선과 가시광선의 합(VR+IR) 420을, 상기 어플리케이션 프로세서(AP)로 출력할 수 있다.
도 5는, 본 개시의 다양한 실시 예에 따른 색온도 별 복사(radiation) 스펙트럼을 예시한 도면이다. 상기 색온도(color temperature)는, 완전 방사체인 흑체의 분광 복사율 곡선으로서, 절대 온도인 273℃와 상기 흑체의 섭씨 온도를 합친 색광의 절대 온도로서, 표시 단위로는 K(Kelvin)를 사용한다. 상기 색온도는 온도가 높아지면 푸른색을 띠고, 낮아지면 붉은색을 띤다.
예를 들어, 색온도 2200K는 촛불의 광색, 색온도3000K는 은백색 형광등 또는 고온 나트륨 램프, 색온도 4000K는 백색 형광등 또는 온백색 형광등 또는 할로겐 램프, 색온도 5800K는 냉백색 형광등, 그리고 색온도 7000K는 주광색 형광등 또는 수은 램프 등의 광원 종류에 해당할 수 있다.
도 5를 참조하면, 상기 색온도 500가 낮아질수록, Y축의 광 세기(intensity)는 작아지고, X축의 광 파장(wavelength)은 길어지는 것을 알 수 있다. 예를 들어, 색온도 4000K의 백색 형광등의 광 세기는, 색온도3000K의 은백색 형광등의 광 세기 보다 크고, 색온도 4000K의 백색 형광등의 광 파장은, 색온도3000K의 은백색 형광등의 광 파장 보다 짧은 특성을 갖는다.
도 6은, 본 개시의 다양한 실시 예에 따른 색온도와 광원 분류 비율 간의 상관 곡선(correlation curve)을 예시한 도면이다. 상기 어플리케이션 프로세서(AP)는, 상기 광원 센서(SLC)에 의해 분류된 가시광선(VR)과 적외선(IR)을 다양한 방식으로 연산하여, 색온도와 광원 분류 비율 간의 상관 곡선을 생성할 수 있다. 여기서, 상기 상관 곡선은, 사전에 실시된 실험 결과 값으로, 상기 전자 장치 내의 비휘발성 메모리 등에 미리 저장 및 업데이트될 수 있다.
도 6을 참조하면, 상기 어플리케이션 프로세서(AP)는, 상기 광원 센서(SLC)에 의해 분류된 가시광선(VR)과 적외선(IR)이 입력되면, 상기 적외선(IR)을 상기 가시광선과 적외선의 합(VR+IR)으로 나눈 백분율의 광원 분류 비율(IR/(VR+IR))을 연산할 수 있다.
상기 어플리케이션 프로세서(AP)는, 광원 종류에 따라 서로 다른 값을 갖는 색온도를 X축으로 하고, 상기 연산된 광원 분류 비율((IR/(VR+IR))을 Y 축으로 하여, 상기 색온도와 광원 분류 비율 간의 상관 곡선 600을 생성할 수 있다. 상기 상관 곡선 600은, 사전에 실시된 실험 결과 값으로, 비휘발성 메모리에 미리 저장될 수 있다. 상기 광원 분류 비율((IR/(VR+IR))은, 적외선(IR) 성분이 적을수록 낮아질 수 있다.
도 6을 참조하면, 상기 광원 분류 비율((IR/(VR+IR))이, 예를 들어, 70%에 해당하는 경우, 상기 어플리케이션 프로세서(AP)는, 상기 상관 곡선 600의 제1 포인트 601을 검출하여, 상기 70%의 광원 분류 비율((IR/(VR+IR))에 해당하는 색온도를 3000K으로 획득할 수 있다.
상기 색온도 3000K는, 예를 들어, 은백색 형광등 또는 고온 나트륨 램프 등에 해당하는 색온도이므로, 상기 어플리케이션 프로세서(AP)는, 카메라 촬영 동작을 수행하는 동안, 현재의 광원 종류가 색온도 3000K의 은백색 형광등 또는 고온 나트륨 램프 등이라고 판단할 수 있다.
도 6을 참조하면, 상기 광원 분류 비율((IR/(VR+IR))이, 예를 들어, 60%에 해당하는 경우, 상기 어플리케이션 프로세서(AP)는, 상기 상관 곡선 600의 제2 포인트 602를 검출하여, 상기 60%의 광원 분류 비율((IR/(VR+IR))에 해당하는 색온도를 4000K으로 획득할 수 있다.
상기 색온도 4000K는, 예를 들어, 백색 형광등, 온백색 형광등, 또는 할로겐 램프 등에 해당하는 색온도이므로, 상기 어플리케이션 프로세서(AP)는, 카메라 촬영 동작을 수행하는 동안, 현재의 광원 종류가, 색온도 4000K의 백색 형광등, 온백색 형광등, 또는 할로겐 램프 등이라고 판단할 수 있다.
상기 색온도와 광원 분류 비율 간의 상관 곡선은, 광원의 종류에 따라 서로 다른 색온도를 X축으로 하되, 다양한 방식으로 다르게 연산된 광원 분류 비율을 Y 축으로 설정할 수 있다.
예를 들어, 상기 Y축의 광원 분류 비율은, 상기 적외선을 상기 가시광선으로 나눈 비율(IR/VR)이거나, 상기 가시광선을 상기 적외선으로 나눈 비율(VR/IR)이거나, 상기 가시광선과 적외선의 합을 상기 적외선으로 나눈 비율((VR+IR)/IR)이거나, 상기 가시광선을, 상기 가시광선과 적외선의 합으로 나눈 비율(VR/(VR+IR))이거나, 상기 가시광선과 적외선의 합을 상기 가시광선으로 나눈 비율((VR+IR)/VR)) 중 어느 하나일 수 있다.
상기 어플리케이션 프로세서(AP)는, 상기와 같이 다양하게 설정될 수 있는 Y 축의 광원 분류 비율(예: IR/VR)을 연산하고, 상기 상관 곡선을 참조하여, 상기 광원 분류 비율(예: IR/VR)에 해당하는 색온도를 획득함으로써, 상기 획득된 색온도에 대응되는 광원의 종류를 판단할 수 있다.
도 7은, 본 개시의 다양한 실시 예에 따른 색온도 별 광원 종류 판단 정보를 예시한 도면이다. 도 7을 참조하면, 상기 색온도 별 광원 종류 판단 정보 700은, 상기 어플리케이션 프로세서(AP)가 참조하는 기준(reference) 정보로서, 비휘발성 메모리에 다양한 형태로 저장될 수 있다. 예를 들어, 상기 색온도 별 광원 종류 판단 정보 700은, 룩업 테이블(lookup table) 형태로 저장되거나, 그래프(graph) 형태(예: 커브 곡선) 또는 알고리즘 등의 다양한 형태로 저장 및 업데이트될 수 있다.
예를 들어, 상기 색온도 별 광원 종류 판단 정보 700은, 색온도 필드와 광원 종류 필드를 포함할 수 있고, 추가적으로 또는 대체적으로 자동 화이트 밸런스(AWB) 이득 조절 값 필드 등을 포함할 수 있다.
상기 어플리케이션 프로세서(AP)는, 도 6의 상관 곡선 600을 참조하여 획득한 색온도가, 예를 들어, 4000K이면, 도 7의 판단 정보 700을 참조하여, 색온도 4000K에 해당하는 광원의 종류가, 백색 형광등, 온백색 형광등, 할로겐 램프 등에 해당한다고 판단할 수 있다.
상기 어플리케이션 프로세서(AP)는, 도 6의 상관 곡선 600을 참조하여 획득한 색온도가, 예를 들어, 3000K이면, 도 7의 판단 정보 700을 참조하여, 색온도 3000K에 해당하는 광원의 종류가, 은백색 형광등 또는 고온 나트륨 램프 등에 해당한다고 판단할 수 있다.
상기 어플리케이션 프로세서(AP)는, 상기와 같이 색온도 별 광원 종류를 판단할 수 있으며, 상기 판단 정보 700에 포함된 AWB 이득 조절 값(예: R/G/B_gain #)을 참조하여, 현재의 광원 종류에 최적한 AWB 이득 조절 값을 적용함으로써, 자동 화이트 밸런스(AWB)를 보다 정확하게 제어할 수 있다.
상기 AWB 이득 조절 값은, 사전에 설정된 실험 결과 값으로 미리 저장되거나, 사용자 인터페이스 또는 통신 인터페이스 등을 통해 다양한 방식으로 저장 및 업데이트될 수 있다.
도 8은, 본 개시의 다양한 실시 예에 따른 광원 별 적외선 및 가시광선 분포 특성을 예시한 도면이다. 도 8을 참조하면, 상기 분포 특성 800은, 예를 들어, 형광등 계열, 6500K 정도의 실외 자연광(D65), 백열등(A), 그리고 수평선 광(H) 등과 같은 다양한 종류의 광원에서 측정되는 적외선 및 가시광선 분포 특성을 나타낸다.
상기 분포 특성 900의 X축은, 가시광선(VR)의 광량으로 설정되고, 상기 분포 특성 900의 Y축은, 적외선의 광량이 포함된 가시광선과 적외선의 합(VR+IR)으로 설정될 수 있다.
상기 형광등 계열, 6500K 정도의 실외 자연광(D65), 백열등(A), 그리고 수평선 광(H)은, 색온도가 높은 광원에서 낮은 광원의 순서를 갖는다. 예를 들어, 상기 형광등 계열은, 상기 수평선 광(H)보다 높은 색온도의 광원으로서, 가시광선의 광량이 사전에 설정된 기준 광량 (V_level) 801을 초과하기 이전 까지는, 적외선 성분에 기반하여 설정된 기준 광량 (Th_level) 802을 초과하지 않는다.
상기 수평선 광(H)은, 상기 형광등 계열 보다 낮은 색온도의 광원으로서, 가시광선의 광량이 사전에 설정된 기준 광량 (V_level) 801을 초과하기 이전에도, 적외선 성분에 기반하여 설정된 기준 광량 (Th_level) 802을 초과한다. 즉, 색온도가 높은 형광등 계열은, 적외선 성분이 적고, 색온도가 낮은 수평선 광(H)는, 적외선 성분이 많은 특성을 갖는다.
상기 어플리케이션 프로세서(AP)는, 상기와 같은 특성을 고려하여, 가시광선 증가 량 대비 적외선 증가 량이 가장 적은 그래프의 광원을, 형광등 계열로 판단할 수 있고, 그 다음 순서대로, 각각 실외 자연광, 백열등, 그리고 수평선 광을 판단할 수 있다.
상기 어플리케이션 프로세서(AP)는, 상기와 같은 방식으로 광원의 종류를 판단할 수 있기 때문에, 카메라가 단색 피사체를 촬영하는 경우, 원래의 피사체 색을 광원의 색으로 잘못 판단하여, 피사체의 색이 원래의 색과 다른 보색으로 처리되는 화이트 밸런스 에러 현상을 방지할 수 있다. 예를 들어, 카메라가, 석양 노을에서 녹색 나무를 촬영하는 경우, 녹색 나무의 색이 왜곡(예: bluish) 되는 현상을 효과적으로 방지할 수 있다.
그리고, 셀프 카메라 촬영시, 화각 내에 사용자의 얼굴이 많이 들어올 경우(예: 도 1b), 얼굴의 살색이 단색이므로, 이로 인해 화이트 밸런스 오류가 발생할 수 있는 현상을 효과적으로 방지할 수 있다.
도 9는, 본 개시의 다양한 실시 예에 따른 전자 장치의 화이트 밸런스 제어 방법에 대한 동작 흐름도이다. 도 9를 참조하면, 상기 전자 장치는, 동작 900에서, 사용자의 요청 등에 의해 카메라 촬영 모드를 설정할 수 있다.
동작 901에서, 상기 전자 장치는, 카메라 모듈의 이미지 센서를 구동시켜, 입사 광을 이미지로 변환할 수 있고, 동작 902에서, 상기 전자 장치는, 광원 센서를 구동시켜, 상기 입사 광을 가시광선과 적외선으로 분류할 수 있다.
동작 903에서, 상기 전자 장치의 어플리케이션 프로세서는, 상기 분류된 가시광선과 적외선에 기반하여 상기 입사 광의 광원 종류를 판단할 수 있고, 동작 904에서, 상기 어플리케이션 프로세서는, 상기 판단된 광원 종류에 따라 화이트 밸런스를 제어할 수 있다.
상기 각각의 동작들에 대한 구체적인 설명은, 도 3 내지 도 8을 참조로 상세히 설명한 바 있다.
도 10은, 본 개시의 다양한 실시 예에 따른 전자 장치의 화이트 밸런스 제어 방법에 대한 다른 동작 흐름도이다. 도 10을 참조하면, 상기 전자 장치는, 동작 1000에서, 사용자의 요청 등에 의해 카메라 촬영 모드를 설정할 수 있다.
동작 1001에서, 상기 전자 장치는, 현재 작동 중인 카메라와 동일한 방향의 광원 센서를 선택하여 구동시키거나, 상기 전자 장치의 전면과 후면에 설치된 광원 센서들을 모두 구동시킬 수 있다.
동작 1002에서, 상기 전자 장치는, 카메라 모듈의 이미지 센서를 구동시켜, 입사 광을 이미지로 변환하고, 광원 센서를 구동시켜, 상기 입사 광을 가시광선과 적외선으로 분류하고, 상기 분류된 가시광선과 적외선에 기반하여 상기 입사 광의 광원 종류를 판단한 후, 상기 판단된 광원 종류에 따라 화이트 밸런스를 제어하는 광원 종류에 따른 화이트 밸런스 제어 동작을 수행할 수 있다.
동작 1003에서, 상기 전자 장치는, 사용자의 요청 등에 따라, 또는 어두운 조명으로 인해 플래시(flash) 발광이 필요한 경우, 동작 1004에서, 현재의 광원 종류에 상응하는 색온도를 확인한 후, 상기 색온도에 대응되는 플래시를 발광시킬 수 있다.
예를 들어, 스마트 폰 등과 같은 전자 장치에서, 제1 플래시와 제2 플래시가 설치되어 있고, 상기 제1 플래시의 광원의 색온도가 3000K이고, 상기 제2 플래시의 광원의 색온도가 4000K인 상태에서, 현재의 광원 종류가 색온도 4000K의 백색 형광등이면, 상기 색온도 4000K의 제2 플래시를 선택하여 발광시킨다.
이에 따라, 플래시 발광으로 인해 피사체 색이 왜곡되는 것을 효율적으로 방지할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치의 동작 방법에 있어서, 제1 입사 광을 이미지로 변환하는 동작; 제2 입사 광을 서로 다른 광선들로 분류하는 동작; 상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하는 동작; 및 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 동작을 포함할 수 있다.
상기 판단하는 동작은, 광원 센서에 의해 분류되는 전체 광, 가시광선, 적외선, 또는 자외선 중 둘 이상의 비율을 이용하여, 주변 광원을 판단하고, 상기 광원 센서는, 조도 센서, 근접 센서, RGB센서, TOF 센서, IR 센서, 이미지 센서 중 적어도 하나를 포함하는 모듈로 제작될 수 있다.
상기 판단하는 동작은, 광원 센서에 의해 분류되는 적외선(IR)을, 가시광선(VR)과 적외선의 합(VR+IR)으로 나눈 비율, 상기 적외선을 상기 가시광선으로 나눈 비율, 상기 가시광선을 상기 적외선으로 나눈 비율, 상기 가시광선과 적외선의 합을 상기 적외선으로 나눈 비율, 또는 상기 가시광선을, 상기 가시광선과 적외선의 합으로 나눈 비율, 또는 상기 가시광선과 적외선의 합을 상기 가시광선으로 나눈 비율 중 적어도 어느 하나에 기반하여, 상기 제2 입사 광의 광원 종류를 판단할 수 있다.
상기 판단하는 동작은, 상기 비율들 중 적어도 어느 하나에 기반하여, 상기 입사 광의 색온도를 획득하고, 상기 색온도에 기반하여, 상기 제2 입사 광의 광원 종류를 판단할 수 있고, 상기 색온도 획득 및 광원 종류 판단을 위한 기준 정보를 저장하는 동작을 더 포함할 수 있고, 상기 기준 정보는, 상기 비율들 중 적어도 어느 하나에 대응되는 색온도와 광원 종류가 연계되는 정보로서, 그래프 형태, 룩업 테이블 형태, 알고리즘 형태, 또는 계산식 형태 중 적어도 어느 하나로 저장될 수 있다.
상기 전자 장치의 전면에, 제1 이미지 센서와 제1광원 센서가 설치되고, 상기 전자 장치의 후면에, 제2 이미지 센서와 제2 광원 센서가 설치되며, 현재 작동 중인 어느 하나의 이미지 센서와 동일한 면에 설치되거나, 또는 반대 면에 설치된 어느 하나의 광원 센서를 선택하여 작동시키거나, 상기 제1광원 센서와 제2 광원 센서를 모두 작동시키는 동작을 더 포함할 수 있다.
상기 전자 장치는, 서로 다른 색 온도들을 갖는 적어도 2 개 이상의 플래시들을 포함할 수 있고, 상기 광원 종류의 색 온도에 대응되는 플래시를 발광시키는 동작을 더 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치에 있어서, 제1 입사 광을 이미지로 변환하는 이미지 센서; 제2 입사 광을 서로 다른 광선들로 분류하는 광원 센서; 및 상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하고, 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 광원 센서를 통해 분류되는 전체 광, 가시광선, 적외선, 또는 자외선 중 둘 이상의 비율을 이용하여, 주변 광원을 판단할 수 있고, 상기 광원 센서는, 조도 센서, 근접 센서, RGB센서, TOF 센서, IR 센서, 이미지 센서 중 적어도 하나를 포함하는 모듈로 제작될 수 있다.
상기 프로세서는, 상기 광원 센서에서 분류된 적외선(IR)을, 가시광선(VR)과 적외선의 합(VR+IR)으로 나눈 비율, 상기 적외선을 상기 가시광선으로 나눈 비율, 상기 가시광선을 상기 적외선으로 나눈 비율, 상기 가시광선과 적외선의 합을 상기 적외선으로 나눈 비율, 또는 상기 가시광선을, 상기 가시광선과 적외선의 합으로 나눈 비율, 또는 상기 가시광선과 적외선의 합을 상기 가시광선으로 나눈 비율 중 적어도 어느 하나에 기반하여, 상기 제2 입사 광의 광원 종류를 판단할 수 있다.
상기 프로세서는, 상기 비율들 중 적어도 어느 하나에 기반하여, 상기 입사 광의 색온도를 획득하고, 상기 색온도에 기반하여, 상기 제2 입사 광의 광원 종류를 판단할 수 있고, 상기 색온도 획득 및 광원 종류 판단을 위한 기준 정보를 저장하는 메모리를 더 포함할 수 있고, 상기 기준 정보는, 상기 비율들 중 적어도 어느 하나에 대응되는 색온도와 광원 종류가 연계되는 정보로서, 그래프 형태, 룩업 테이블 형태, 알고리즘 형태, 또는 계산식 형태 중 적어도 어느 하나로 저장될 수 있다.
상기 전자 장치의 전면에, 제1 이미지 센서와 제1광원 센서가 설치되고, 상기 전자 장치의 후면에, 제2 이미지 센서와 제2 광원 센서가 설치되며, 상기 프로세서는, 현재 작동 중인 어느 하나의 이미지 센서와 동일한 면에 설치되거나, 또는 반대 면에 설치된 어느 하나의 광원 센서를 선택하여 작동시키거나, 상기 제1광원 센서와 제2 광원 센서를 모두 작동시킬 수 있고, 상기 프로세서는, 상기 광원 종류의 색 온도에 대응되는 플래시를 발광시킬 수 있다.
본 개시의 다양한 실시 예에 대해 구체적으로 설명하였으나, 본 개시의 다양한 실시 예의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하므로, 본 개시의 다양한 실시 예의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
101: 전자 장치 100: 카메라
110: 버스 120: 프로세서
130: 메모리 140: 센서 모듈
150: 입출력 인터페이스 160: 디스플레이
170: 통신 인터페이스

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    제1 입사 광을 이미지로 변환하는 동작;
    제2 입사 광을 서로 다른 광선들로 분류하는 동작;
    상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하는 동작; 및
    상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 판단하는 동작은, 광원 센서에 의해 분류되는 전체 광, 가시광선, 적외선, 또는 자외선 중 둘 이상의 비율을 이용하여, 주변 광원을 판단하는 방법.
  3. 제2항에 있어서,
    상기 광원 센서는, 조도 센서, 근접 센서, RGB센서, TOF 센서, IR 센서, 이미지 센서 중 적어도 하나를 포함하는 모듈로 제작되는 방법.
  4. 제1항에 있어서,
    상기 판단하는 동작은,
    광원 센서에 의해 분류되는 적외선(IR)을, 가시광선(VR)과 적외선의 합(VR+IR)으로 나눈 비율, 상기 적외선을 상기 가시광선으로 나눈 비율, 상기 가시광선을 상기 적외선으로 나눈 비율, 상기 가시광선과 적외선의 합을 상기 적외선으로 나눈 비율, 또는 상기 가시광선을, 상기 가시광선과 적외선의 합으로 나눈 비율, 또는 상기 가시광선과 적외선의 합을 상기 가시광선으로 나눈 비율 중 적어도 어느 하나에 기반하여, 상기 제2 입사 광의 광원 종류를 판단하는 방법.
  5. 제4항에 있어서,
    상기 판단하는 동작은, 상기 비율들 중 적어도 어느 하나에 기반하여, 상기 입사 광의 색온도를 획득하고, 상기 색온도에 기반하여, 상기 제2 입사 광의 광원 종류를 판단하는 방법
  6. 제5항에 있어서,
    상기 색온도 획득 및 광원 종류 판단을 위한 기준 정보를 저장하는 동작을 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 기준 정보는, 상기 비율들 중 적어도 어느 하나에 대응되는 색온도와 광원 종류가 연계되는 정보로서, 그래프 형태, 룩업 테이블 형태, 알고리즘 형태, 또는 계산식 형태 중 적어도 어느 하나로 저장되는 방법.
  8. 제1항에 있어서,
    상기 전자 장치의 전면에, 제1 이미지 센서와 제1광원 센서가 설치되고, 상기 전자 장치의 후면에, 제2 이미지 센서와 제2 광원 센서가 설치되며,
    현재 작동 중인 어느 하나의 이미지 센서와 동일한 면에 설치되거나, 또는 반대 면에 설치된 어느 하나의 광원 센서를 선택하여 작동시키거나, 상기 제1광원 센서와 제2 광원 센서를 모두 작동시키는 동작을 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 전자 장치는, 서로 다른 색 온도들을 갖는 적어도 2 개 이상의 플래시들을 포함하는 방법.
  10. 제9항에 있어서,
    상기 광원 종류의 색 온도에 대응되는 플래시를 발광시키는 동작을 더 포함하는 방법.
  11. 전자 장치에 있어서,
    제1 입사 광을 이미지로 변환하는 이미지 센서;
    제2 입사 광을 서로 다른 광선들로 분류하는 광원 센서; 및
    상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하고, 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 프로세서를 포함하는 장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 광원 센서를 통해 분류되는 전체 광, 가시광선, 적외선, 또는 자외선 중 둘 이상의 비율을 이용하여, 주변 광원을 판단하는 장치.
  13. 제1항에 있어서,
    상기 광원 센서는, 조도 센서, 근접 센서, RGB센서, TOF 센서, IR 센서, 이미지 센서 중 적어도 하나를 포함하는 모듈로 제작되는 장치.
    광원 센서
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 광원 센서에서 분류된 적외선(IR)을, 가시광선(VR)과 적외선의 합(VR+IR)으로 나눈 비율, 상기 적외선을 상기 가시광선으로 나눈 비율, 상기 가시광선을 상기 적외선으로 나눈 비율, 상기 가시광선과 적외선의 합을 상기 적외선으로 나눈 비율, 또는 상기 가시광선을, 상기 가시광선과 적외선의 합으로 나눈 비율, 또는 상기 가시광선과 적외선의 합을 상기 가시광선으로 나눈 비율 중 적어도 어느 하나에 기반하여, 상기 제2 입사 광의 광원 종류를 판단하는 장치.
  15. 제14항에 있어서,
    상기 프로세서는, 상기 비율들 중 적어도 어느 하나에 기반하여, 상기 입사 광의 색온도를 획득하고, 상기 색온도에 기반하여, 상기 제2 입사 광의 광원 종류를 판단하는 장치.
  16. 제15항에 있어서,
    상기 색온도 획득 및 광원 종류 판단을 위한 기준 정보를 저장하는 메모리를 더 포함하는 장치.
  17. 제16항에 있어서,
    상기 기준 정보는, 상기 비율들 중 적어도 어느 하나에 대응되는 색온도와 광원 종류가 연계되는 정보로서, 그래프 형태, 룩업 테이블 형태, 알고리즘 형태, 또는 계산식 형태 중 적어도 어느 하나로 저장되는 장치.
  18. 제11항에 있어서,
    상기 전자 장치의 전면에, 제1 이미지 센서와 제1광원 센서가 설치되고, 상기 전자 장치의 후면에, 제2 이미지 센서와 제2 광원 센서가 설치되며,
    상기 프로세서는, 현재 작동 중인 어느 하나의 이미지 센서와 동일한 면에 설치되거나, 또는 반대 면에 설치된 어느 하나의 광원 센서를 선택하여 작동시키거나, 상기 제1광원 센서와 제2 광원 센서를 모두 작동시키는 장치.
  19. 제11항에 있어서,
    상기 프로세서는, 상기 광원 종류의 색 온도에 대응되는 플래시를 발광시키는 장치.
  20. 전자 장치에 있어서, 제1 입사 광을 이미지로 변환하는 동작; 제2 입사 광을 서로 다른 광선들로 분류하는 동작; 상기 분류된 광선들에 기반하여, 상기 제2 입사광의 광원 종류를 판단하는 동작; 및 상기 광원 종류에 따라, 상기 이미지의 화이트 밸런스를 제어하는 동작을 포함하는 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장매체.

KR1020140173261A 2014-12-04 2014-12-04 화이트 밸런스 제어 방법 및 그 전자 장치 KR102281256B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140173261A KR102281256B1 (ko) 2014-12-04 2014-12-04 화이트 밸런스 제어 방법 및 그 전자 장치
US14/944,396 US9723284B2 (en) 2014-12-04 2015-11-18 Method and apparatus for controlling white balance
US15/664,035 US10165244B2 (en) 2014-12-04 2017-07-31 Method and apparatus for controlling white balance
US16/228,971 US10511821B2 (en) 2014-12-04 2018-12-21 Method and apparatus for controlling white balance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173261A KR102281256B1 (ko) 2014-12-04 2014-12-04 화이트 밸런스 제어 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20160067633A true KR20160067633A (ko) 2016-06-14
KR102281256B1 KR102281256B1 (ko) 2021-07-23

Family

ID=56095494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173261A KR102281256B1 (ko) 2014-12-04 2014-12-04 화이트 밸런스 제어 방법 및 그 전자 장치

Country Status (2)

Country Link
US (3) US9723284B2 (ko)
KR (1) KR102281256B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039698A1 (ko) * 2017-08-21 2019-02-28 삼성전자 주식회사 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
US11457160B2 (en) 2019-03-07 2022-09-27 Samsung Electronics Co., Ltd. Electronic device and method for adjusting color of image data by using infrared sensor
US20220412798A1 (en) * 2019-11-27 2022-12-29 ams Sensors Germany GmbH Ambient light source classification
WO2024029738A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3351179A4 (en) * 2015-09-17 2018-08-29 Shimadzu Corporation Radiography apparatus
US9762878B2 (en) * 2015-10-16 2017-09-12 Google Inc. Auto white balance using infrared and/or ultraviolet signals
KR20180033003A (ko) * 2016-09-23 2018-04-02 삼성전자주식회사 입사광의 파장 스펙트럼을 검출하는 방법 및 이를 수행하는 전자 장치
CN107967668B (zh) * 2016-10-20 2022-02-08 上海富瀚微电子股份有限公司 一种图像处理方法及装置
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
US10440293B1 (en) * 2018-06-22 2019-10-08 Jurgen R. Ihns Avionics imaging control method and apparatus
CN110784653A (zh) * 2019-11-20 2020-02-11 香港光云科技有限公司 基于飞行时间的动态对焦方法及其摄像装置
CN110827365B (zh) * 2019-11-26 2022-08-26 Oppo广东移动通信有限公司 一种光源信息的确定方法、装置、电子设备和存储介质
CN112866656B (zh) * 2019-11-26 2022-05-31 Oppo广东移动通信有限公司 一种白平衡校正方法、装置、存储介质及终端设备
GB202015948D0 (en) * 2020-10-08 2020-11-25 ams Sensors Germany GmbH Multi-spectral optical sensor and system
GB2609420A (en) * 2021-07-29 2023-02-08 ams Sensors Germany GmbH Sectional multi spectral sensor with optical blurring
GB202118956D0 (en) * 2021-12-23 2022-02-09 ams Sensors Germany GmbH Compensation of optical alignment issues for sectored-view multi-spectral optical sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120025080A1 (en) * 2010-07-30 2012-02-02 Changmeng Liu Color correction circuitry and methods for dual-band imaging systems
US8416303B2 (en) * 2008-12-05 2013-04-09 Sony Corporation Imaging apparatus and imaging method
US20130105668A1 (en) * 2011-11-02 2013-05-02 Hon Hai Precision Industry Co., Ltd. Reflective display device with light compensation module

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099313A (en) 1988-03-06 1992-03-24 Fuji Photo Film Co., Ltd. White balance controlling device having a device for determining whether fluorescent light is being illuminated on a scene
JP2002374539A (ja) 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
JP2003169341A (ja) 2001-09-19 2003-06-13 Fuji Film Microdevices Co Ltd カラー画像撮像装置
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
JP2010161455A (ja) 2009-01-06 2010-07-22 Olympus Corp 赤外線混合撮像装置
US8339471B2 (en) 2009-12-31 2012-12-25 DigitalOptics Corporation Europe Limited Auto white balance algorithm using RGB product measure
JP5432075B2 (ja) 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
JP5507376B2 (ja) 2010-07-28 2014-05-28 三洋電機株式会社 撮像装置
JP5818668B2 (ja) 2011-12-16 2015-11-18 株式会社東芝 オートホワイトバランス調整システム
JP5996970B2 (ja) 2012-08-31 2016-09-21 クラリオン株式会社 車載撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416303B2 (en) * 2008-12-05 2013-04-09 Sony Corporation Imaging apparatus and imaging method
US20120025080A1 (en) * 2010-07-30 2012-02-02 Changmeng Liu Color correction circuitry and methods for dual-band imaging systems
US20130105668A1 (en) * 2011-11-02 2013-05-02 Hon Hai Precision Industry Co., Ltd. Reflective display device with light compensation module

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039698A1 (ko) * 2017-08-21 2019-02-28 삼성전자 주식회사 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
US11457160B2 (en) 2019-03-07 2022-09-27 Samsung Electronics Co., Ltd. Electronic device and method for adjusting color of image data by using infrared sensor
US20220412798A1 (en) * 2019-11-27 2022-12-29 ams Sensors Germany GmbH Ambient light source classification
WO2024029738A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20170332061A1 (en) 2017-11-16
US20190149791A1 (en) 2019-05-16
KR102281256B1 (ko) 2021-07-23
US20160165202A1 (en) 2016-06-09
US10511821B2 (en) 2019-12-17
US10165244B2 (en) 2018-12-25
US9723284B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
KR102281256B1 (ko) 화이트 밸런스 제어 방법 및 그 전자 장치
US10262203B2 (en) Method for recognizing iris and electronic device therefor
US10075235B2 (en) Method and apparatus for data transmission
ES2905111T3 (es) Sincronización de valores de ajuste de configuración entre dos dispositivos electrónicos
CN111586300B (zh) 颜色校正方法、装置及可读存储介质
KR102226177B1 (ko) 사용자 인증 방법 및 그 전자 장치
CN113766204B (zh) 图像的光源色彩的调整方法、电子设备及存储介质
KR102045290B1 (ko) 발열 제어 방법 및 그 전자 장치
KR102266468B1 (ko) 초점 제어 방법 및 그 전자 장치
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
KR102149448B1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
KR102371211B1 (ko) 복수의 카메라를 이용하여 생체 정보를 인증하는 방법 및 장치
KR20170028941A (ko) 생체정보를 인식하는 방법 및 장치
CN108229372B (zh) 指纹识别方法、移动终端及计算机可读存储介质
KR102610542B1 (ko) 적외선 센서를 이용하여 이미지 데이터의 색상을 조절하기 위한 전자 장치 및 방법
US9668319B2 (en) Lighting system and control method thereof
US9927228B2 (en) Method of detecting ultraviolet ray and electronic device thereof
CN111936833A (zh) 使用环境颜色传感器的校准亮度估计
CN109729281A (zh) 图像处理方法、装置、存储介质及终端
KR20160030674A (ko) 홍채 인식 방법 및 장치
KR20190020578A (ko) 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
US11252389B2 (en) Electronic apparatus for correcting color temperature of captured image using reference color information corresponding to external object, and method for controlling electronic apparatus
US9774839B2 (en) Systems and methods for color correction of images captured using a mobile computing device
US10319341B2 (en) Electronic device and method for displaying content thereof
KR20150137472A (ko) 전자 장치의 컨텐츠 출력 방법 및 이를 사용하는 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant