KR102457634B1 - 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법 - Google Patents

외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR102457634B1
KR102457634B1 KR1020170049368A KR20170049368A KR102457634B1 KR 102457634 B1 KR102457634 B1 KR 102457634B1 KR 1020170049368 A KR1020170049368 A KR 1020170049368A KR 20170049368 A KR20170049368 A KR 20170049368A KR 102457634 B1 KR102457634 B1 KR 102457634B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
external object
external
specified
Prior art date
Application number
KR1020170049368A
Other languages
English (en)
Other versions
KR20180116704A (ko
Inventor
김수희
박종현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170049368A priority Critical patent/KR102457634B1/ko
Priority to PCT/KR2018/004315 priority patent/WO2018194318A1/ko
Priority to US16/605,260 priority patent/US11252389B2/en
Publication of KR20180116704A publication Critical patent/KR20180116704A/ko
Application granted granted Critical
Publication of KR102457634B1 publication Critical patent/KR102457634B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

카메라 모듈; 통신 모듈; 및 상기 카메라 모듈 및 상기 통신 모듈과 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하고, 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고, 상기 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하고, 상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하고, 상기 외부 전자 장치로부터 수신된 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정할 수 있는 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법{ELECTRONIC APPARATUS FOR CORRECTING COLOR TEMPERATURE OF AN IMAGE USING REFERENCE COLOR INFORMATION CORRESPONDING TO EXTERNAL OBJECT AND CONTROLLING METHOD THEREOF}
본 문서에서 개시되는 실시 예들은, 이미지를 보정하는 기술과 관련된다.
카메라를 포함하는 전자 장치는 촬영된 피사체에 대한 디지털 이미지를 생성하고, 생성된 이미지를 보정할 수 있다. 전자 장치에서 피사체를 촬영하여 이미지를 생성하기 위한 ISP(image signal processing) 기술은 이미지를 생성하는 기술뿐만 아니라 생성된 이미지를 보정하는 기술을 중심으로 발전하고 있다.
전자 장치에서 생성된 이미지의 색상은 원색과 비교하여 외부 조명의 밝기에 따라 차이가 날 수 있다. 광원의 색온도가 낮으면 이미지가 전체적으로 붉은색을 띄고, 반대로 광원의 색온도가 높으면 이미지가 전체적으로 푸른색을 띈다.
그러나 이미지에 포함된 객체에 무채색이 포함되어 있지 않은 경우 화이트 밸런스를 보정하기 위한 게인(gain) 값을 획득하는데 어려움이 있을 수 있다.
또한, 전자 장치에서 이미지에 포함된 무채색 외의 다양한 색상을 인식하기 위해서는 다양한 색상의 정보를 저장하기 위한 데이터베이스 및 다양한 색상 정보를 처리하기 위한 처리 과정이 필요하기 때문에, 다양한 색상을 인식하기 위한 기술은 하드웨어의 크기 및 저장할 수 있는 용량의 한계가 존재하는 전자 장치에 적용되기 어렵다.
본 발명의 다양한 실시 예는 지정된 외부 객체를 인식하고, 상기 외부 객체에 포함된 색상을 통해 이미지의 색온도를 보정하기 위한 게인 값을 생성하는 전자 장치 및 그 전자 장치의 제어 방법을 제공한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라 모듈; 통신 모듈; 및 상기 카메라 모듈 및 상기 통신 모듈과 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하고, 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고, 상기 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하고, 상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하고, 상기 외부 전자 장치로부터 수신된 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 이미지의 색온도를 보정하는 방법은, 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하는 동작; 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하는 동작; 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 서버로 송신하는 동작; 상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하는 동작; 및 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정하는 동작;을 포함할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라 모듈; 및 상기 카메라 모듈에 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여, 하나 이상의 외부 객체들에 대한 이미지를 획득하고, 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고, 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 상기 이미지에 대한 광원의 속성 정보를 결정하고, 상기 속성 정보를 이용하여, 상기 이미지 색 온도를 보정할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 전자 장치는 지정된 외부 객체를 인식하고, 인식된 외부 객체에 대한 색상 정보를 기준 색상 정보와 비교하여 획득된 이미지에 대한 광원의 속성 정보를 획득할 수 있고, 광원의 속성 정보를 이용하여 이미지의 색온도를 보정하기 위한 게인 값을 획득함으로써 특정 색상을 인식하지 못하더라도 광원에 의해 색상 정보가 변경된 이미지를 기준 광원에서 촬영된 이미지로 보정할 수 있다. 전자 장치는 복수의 지정된 외부 객체들을 인식함으로써 더욱 명확하게 획득된 이미지의 색온도를 보정하기 위한 게인 값을 획득할 수 있다.
또한, 전자 장치는 상기 지정된 외부 객체를 인식하고 획득된 이미지에 대한 광원의 속성 정보를 획득할 때, 서버의 데이터베이스의 축적된 외부 객체 및 광원에 대한 정보를 이용함으로써 신속하고 명확하게 이미지의 색온도를 보정하기 위한 게인 값을 획득할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 이미지 처리 시스템을 나타낸 도면이다.
도 2는 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 3은 일 실시 예에 따른 전자 장치의 일부 구성을 나타낸 블록도이다.
도 4는 일 실시 예에 따른 전자 장치가 획득된 이미지의 색온도를 보정하는 방법을 나타낸 흐름도이다.
도 5 및 도 6은 일 실시 예에 따른 외부 전자 장치의 구성 및 데이터베이스에 저장된 정보를 나타낸 도면이다.
도 7은 일 실시 예에 따른 외부 전자 장치가 전자 장치에서 획득된 이미지에 대한 광원을 추정하는 방법을 나타낸 흐름도이다.
도 8은 일 실시 예에 따른 이미지 처리 시스템에서 이미지를 처리하는 방법을 나타낸 도면이다.
도 9는 일 실시 예에 따른 전자 장치가 이미지의 색온도를 보정하는 방법을 나나탠 흐름도이다.
도 10a 및 도 10b는 일 실시 예에 따른 외부 전자 장치가 지정된 외부 객체에 대해 서로 다른 분광 분포를 포함하는 광원을 구별하는 방법을 설명하기 위한 그래프이다.
도 11은 일 실시 예에 따른 전자 장치의 디스플레이에 표시된 사용자 인터페이스(user interface)를 나타낸 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치 (예: 퍼스널 디지털 어시스턴트(PDA), 태블릿 퍼스널 컴퓨터(PC), 랩탑 PC, 데스크탑 PC, 워크스테이션, 또는 서버), 휴대용 멀티미디어 장치 (예: 전자책 리더기 또는 MP3 플레이어), 휴대용 의료 기기(예: 심박, 혈당, 혈압, 또는 체온 측정기), 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오 장치, 오디오 액세서리 장치(예: 스피커, 헤드폰, 또는 헤드셋), 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 게임 콘솔, 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder(예: black box for a car, a ship, or a plane), 자동차 인포테인먼트 장치(예: 차량용 헤드업 디스플레이), 산업용 또는 가정용 로봇, 드론(drone), automated teller machine(ATM)), POS(point of sales) 기기, 계측 기기 (예: 수도, 전기, 또는 가스 계측 기기), 또는 사물 인터넷 장치 (예: 전구, 스프링클러 장치, 화재 경보기, 온도 조절기, 또는 가로등)) 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 또한, 예를 들면, 개인의 생체 정보 (예: 심박 또는 혈당)의 측정 기능이 구비된 스마트폰의 경우처럼, 복수의 장치들의 기능들을 복합적으로 제공할 수 있다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 이미지 처리 시스템을 나타낸 도면이다.
도 1을 참조하면, 이미지 처리 시스템(1000)은 전자 장치(101) 및 외부 전자 장치(또는, 서버)(108)를 포함할 수 있다. 전자 장치(101)와 서버(108)는 네트워크(199)를 통해 서로 연결될 수 있다.
전자 장치(101)는 하나 이상의 외부 객체(10)를 촬영하여 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)는 광원(light source)(20)으로부터 발산되어 외부 객체(10)의 표면에서 반사된 빛을 수신하여 이미지를 획득할 수 있다.
광원 (20)은 종류에 따라 상이한 색상의 빛을 발광할 수 있다. 예를 들어, 광원(20)은 종류에 따라 상이한 색온도(color temperature)를 가질 수 있다. 또한, 광원(20)은 파장대에 따라 서로 다른 발광체 분광 강도(illuminant spectral intensity)를 가질 수 있고, 종류에 따라 서로 상이한 분광 분포(spectral distribution)를 가질 수 있다.
외부 객체(10)는 촬영의 대상이 되는 객체(또는, 피사체)로서, 외부 객체(10)의 표면에 하나 이상의 색상을 포함할 수 있다. 예를 들어, 외부 객체(10)에 포함된 색상에 따라 외부 객체(10)는 서로 상이한 표면 분광 반사율(surface spectral reflectance)을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 카메라 모듈의 종류의 따라 서로 상이한 카메라 분광 감도(camera spectral sensitivity)를 가질 수 있다. 이에 따라, 전자 장치(101)가 획득한 이미지 정보(예: RGB 값)는 하기의 수학식 1에 의해 산출될 수 있다.
Figure 112017037555074-pat00001
Figure 112017037555074-pat00002
Figure 112017037555074-pat00003
상기 수학식 1에서 R, G 및 B는 획득된 이미지의 R 값, G 값 및 B 값일 수 있다. 상기 L(λ)는 광원(20)의 파장에 따른 분광 강도이다. 상기 R(λ)는 외부 객체의 표면 분광 반사율일 수 있다. 상기
Figure 112017037555074-pat00004
는 전자 장치(101)의 카메라 모듈의 카메라 분광 감도일 수 있다. 상기 k는 정규화 상수일 수 있다.
외부 객체(10)에 대한 이미지는 외부 객체(10)의 표면 분광 반사율뿐만 아니라 광원(20)의 분광 강도 및 카메라 모듈의 카메라 분광 감도에 따라 상이하게 생성될 수 있다. 사용자는 생성된 이미지를 통해 인식한 외부 객체(10)와 직접 인식한 외부 객체(10)를 상이하게 인식할 수 있다. 이에 따라, 전자 장치(101)는 사용자가 외부 객체(10)를 직접 인식하는 것과 동일하게 인식될 수 있도록 상기 획득된 이미지를 보정할 필요가 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 획득된 이미지의 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 상기 이미지에 대한 정보(예: 광원에 대한 정보)를 획득하기 위해 상기 이미지에 포함된 외부 객체(10)의 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 상기 색상 정보는, 예를 들어, 3가지 값을 포함하는 RGB(red-green-blue) 값, YUV 값 또는 YCbCr 값이거나, 4가지 값을 포함하는 RGBW(red-green-blue-white) 값 값 또는 CMYK(cyan-magenta-yellow-black) 값이거나, RGB 값에 시안(cyan) 및 마젠타(magenta) 값을 더 포함한 5가지 값일 수 있다.
일 실시 예에 따르면, 외부 전자 장치(108)는 상기 수신된 이미지에 대한 정보를 생성할 수 있다. 예를 들어, 외부 전자 장치(108)는 상기 수신된 이미지에 대한 광원(20)의 속성 정보를 생성할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(108)는 상기 생성된 광원(20)의 속성 정보를 전자 장치(101)로 송신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 수신된 이미지에 대한 정보를 이용하여 이미지를 보정할 수 있다. 예를 들어, 전자 장치(101)는 광원의 속성 정보를 이용하여 이미지의 색온도를 보정할 수 있다. 이에 따라, 전자 장치(101)는 사용자가 직접 외부 객체(10)를 인식하는 것과 동일한 이미지를 생성할 수 있다.
도 2는 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2을 참조하여, 네트워크 환경(100)에는 전자 장치(101) 는 근거리 무선 통신(198)을 통하여 전자 장치(102)와 통신하거나, 또는 네트워크(199)를 통하여 전자 장치 (104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)을 통하여 전자 장치(104)와 통신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입력 장치(150) (예: 마이크 또는 마우스), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 및 배터리(189), 통신 모듈(190), 및 가입자 식별 모듈(196)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는 구성요소들(120-190)을 서로 연결하고, 구성요소들 간의 신호(예: 제어 메시지 또는 데이터)를 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, GPU(graphic processing unit), 카메라의 이미지 시그널 프로세서(image signal processor(ISP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 일실시 예에 따르면, 프로세서(120)는 SoC(system on chip) 또는 SiP(system in package)으로 구현될 수 있다. 프로세서(120)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소들(예: 통신 모듈(190)) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다.
메모리(130)는, 휘발성 메모리(132) 또는 또는 비휘발성 메모리(134)를 포함할 수 있다. 휘발성 메모리(132)는, 예를 들면, RAM(random access memory)(예: DRAM, SRAM, 또는 SDRAM)로 구성될 수 있다. 비휘발성 메모리(134)는, 예를 들면, OTPROM(one time programmable read-only memory(ROM)), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD))로 구성될 수 있다. 또한, 비휘발성 메모리는, 전자 장치(101)와의 연결 형태에 따라, 그 안에 배치된 내장 메모리(136), 또는 필요시에만 연결하여 사용 가능한 스탠드-얼론 형태의 외장 메모리(138)로 구성될 수 있다. 외장 메모리(138)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card), 또는 메모리 스틱을 포함할 수 있다. 외장 메모리(138)는 유선(예: 케이블 또는 USB(universal serial bus)) 또는 무선(예: 블루투스)을 통하여 전자 장치(101)와 기능적으로 또는 물리적으로 연결될 수 있다.
메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 소트프웨어 구성요소, 예를 들어, 프로그램(140)에 관계된 명령 또는 데이터를 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 라이브러리(143), 어플리케이션 프레임워크(145), 또는 어플리케이션 프로그램(interchangeably "어플리케이션")(147)을 포함할 수 있다.
입력 장치(150)는, 마이크, 마우스, 또는 키보드를 포함할 수 있다. 일 실시 예에 따르면, 키보드는 물리적인 키보드로 연결되거나, 표시 장치(160)를 통해 가상 키보드로 표시될 수 있다.
표시 장치(160)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 디스플레이는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이는, 일 시예에 따르면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 디스플레이는 사용자의 터치, 제스쳐, 근접, 또는 호버링 입력을 감지할 수 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(interchangebly 포스 센서)를 포함할 수 있다. 상기 터치 회로 또는 압력 센서는 디스플레이와 일체형으로 구현되거나, 또는 디스플레이와는 별도의 하나 이상의 센서들로 구현될 수 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(101)의 내부 또는 외부에 위치할 수 있다.
오디오 모듈(170)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)(예: 마이크)를 통해 소리를 획득하거나, 또는 전자 장치(101)에 포함된 출력 장치(미도시)(예: 스피커 또는 리시버), 또는 전자 장치(101)와 연결된 외부 전자 장치(예: 전자 장치(102)(예: 무선 스피커 또는 무선 헤드폰) 또는 전자 장치(106)(예: 유선 스피커 또는 유선 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은, 예를 들면, 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 고도, 습도, 또는 밝기)를 계측 또는 감지하여, 그 계측 또는 감지된 상태 정보에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(예: 홍채센서, 지문 센서, 또는 HRM(heartbeat rate monitoring)센서, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서), 온도 센서, 습도 센서, 조도 센서, 또는 UV(ultra violet) 센서를 포함할 수 있다. 센서 모듈(176)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 프로세서(120) 또는 프로세서(120)와는 별도의 프로세서(예: 센서 허브)를 이용하여, 센서 모듈(176)을 제어할 수 있다. 별도의 프로세서(예: 센서 허브)를 이용하는 경우에는, 프로세서(120)가 슬립(sleep) 상태에 있는 동안, 프로세서(120)를 깨우지 않고 별도의 프로세서의 작동에 의하여 센서 모듈(176)의 동작 또는 상태의 적어도 일부를 제어할 수 있다.
인터페이스(177)는, 일 실시 예에 따르면, HDMI(high definition multimedia interface), USB(universal serial bus), 광 인터페이스(optical interface), RS-232(recommended standard232), D-sub(D-subminiature), MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다. 연결 단자(178)는 전자 장치(101)와 전자 장치(106)를 물리적으로 연결시킬 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있. 예를 들면, 햅틱 모듈(179)은 사용자에게 촉각 또는 운동 감각과 관련된 자극을 제공할 수 있다. 햅틱 모듈(179)은 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(180)는, 일 실시 예에 따르면, 하나 이상의 렌즈(예: 광각 렌즈 및 망원 렌즈, 또는 전면 렌즈 및 후면 렌즈), 이미지 센서, 이미지 시그널 프로세서, 또는 플래시(예: 발광 다이오드 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)의 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는, 예를 들면, 1차 전지, 2차 전지, 또는 연료 전지를 포함하여 외부 전원에 의해 재충전되어, 상기 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다.
통신 모듈(190)은, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(108)) 간의 통신 채널 수립 및 수립된 통신 채널을 통한 유선 또는 무선 통신을 수행을 지원할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192) 또는 유선 통신 모듈(194)을포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크와 같은 원거리 통신 네트워크)를 통하여 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104) 또는 서버(108))와 통신할 수 있다.
무선 통신 모듈(192)은, 예를 들면, 셀룰러 통신, 근거리 무선 통신, 또는 GNSS(global navigation satellite system) 통신을 지원할 수 있다. 셀룰러 통신은, 예를 들면, LTE(Long-Term Evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications)을 포함할 수 있다. 근거리 무선 통신은, 예를 들면, WiFi(wireless fidelity), WiFi Direct, LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN)을 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system)을 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다.
일 실시 예에 따르면, 상기 무선 통신 모듈(192)은, 셀룰러 통신을 지원하는 경우, 예를 들면, 가입자 식별 모듈(예: SIM 카드)(196)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)(예: 어플리케이션 프로세서 (AP))와 별개의 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 이런 경우, 커뮤니케이션 프로세서는, 예를 들면, 프로세서(120)가 인액티브(예: 슬립) 상태에 있는 동안 프로세서(120)를 대신하여, 또는 프로세서(120)가 액티브 상태에 있는 동안 프로세서(120)과 함께, 전자 장치(101)의 구성요소들(110-196) 중 적어도 하나의 구성 요소와 관련된 기능들의 적어도 일부 기능을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS 통신 모듈 중 해당하는 통신 방식만을 지원하는 복수의 통신 모듈들로 구성될 수 있다.
유선 통신 모듈(194)은, 예를 들면, LAN(local area network), 전력선 통신 또는 POTS(plain old telephone service)를 포함할 수 있다.
제 1 네트워크(198)는, 예를 들어, 전자 장치(101)와 제 1 외부 전자 장치(102)간의 무선으로 직접 연결을 통해 명령 또는 데이터를 송신 또는 수신 할 수 있는 WiFi direct 또는 블루투스를 포함할 수 있다. 제 2 네트워크(199)는, 예를 들어, 전자 장치(101)와 제 2 외부 전자 장치(104)간의 명령 또는 데이터를 송신 또는 수신할 수 있는 텔레커뮤니케이션 네트워크(예: 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크)를 포함할 수 있다.
실시 예들에 따르면, 상기 명령 또는 상기 데이터는 상기 제 2 네트워크에 연결된 서버(108)를 통해서 상기 전자 장치(101)와 제 2 외부 전자 장치(104)간에 송신 또는 수신될 수 있다. 제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102, 104), 또는 서버(108)에서 실행될 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(108))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(108))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 3은 일 실시 예에 따른 전자 장치의 일부 구성을 나타낸 블록도이다.
도 3을 참조하면, 전자 장치(101)는 카메라 모듈(180), 통신 모듈(190) 및 프로세서(120)를 포함할 수 있다. 도 3은 설명의 편의를 위해 도 2에 도시된 전자 장치 중 일부 구성요소만 도시하였으며, 도 2에서 기재된 설명 및 다른 구성 요소들은 도 3에도 적용될 수 있다.
카메라 모듈(180)은 렌즈 및 이미지 센서를 포함할 수 있다. 상기 렌즈는 외부로부터 카메라 모듈(180)로 입사하는 빛을 집광할 수 있다. 상기 집광된 빛은 조리개를 통해 상기 이미지 센서에 도달할 수 있다. 상기 이미지 센서는 복수의 단위 화소들을 통해 외부로부터 입사하는 빛을 수신하고, 상기 수신된 빛에 응답하여 전기적 신호를 생성할 수 있다. 상기 생성된 전기적 신호에 기초하여 이미지가 생성될 수 있다.
일 실시 예에 따르면, 통신 모듈(190)은 외부 전자 장치와 연결되어 데이터를 송수신할 수 있다. 예를 들어, 통신 모듈(190)은 이미지 정보를 외부 전자 장치(108)로 송신할 수 있다. 통신 모듈(190)은 외부 전자 장치(108)로부터 이미지에 대한 정보(예: 광원의 속성 정보)를 수신할 수 있다.
프로세서(120)는 전자 장치(101)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180)을 제어하여 외부 객체에 대한 이미지를 획득하고, 상기 획득된 이미지의 색온도를 보정할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 카메라 모듈(180)을 제어하여 하나 이상의 외부 객체에 대한 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 하나 이상의 외부 객체에 대한 프리뷰 이미지(preview image)를 획득할 수 있다. 다른 예를 들어, 프로세서(120)는 하나 이상의 외부 객체에 대한 캡쳐된 이미지(captured image)를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 외부 전자 장치(또는, 서버)(108)를 통해 지정된 외부 객체를 인식할 수 있다. 프로세서(120)는 카메라 모듈(180)을 통해 획득한 이미지(예: 프리뷰 이미지)를 스트리밍(streaming) 방식으로 외부 전자 장치(108)로 송신하고, 상기 이미지에 포함된 지정된 외부 객체에 대한 정보를 외부 전자 장치(108)로부터 수신하여 지정된 외부 객체를 인식할 수 있다. 다른 실시 예에 따르면, 프로세서(120)는 하나 이상의 외부 객체를 인식할 수 있다. 프로세서(120)는 상기 하나 이상의 외부 객체에 대한 정보(예: 색상 정보)를 외부 전자 장치(108)로 송신하고, 상기 인식된 하나 이상의 외부 객체 중 지정된 외부 객체에 대한 정보를 외부 전자 장치(108)로부터 수신하여 지정된 외부 객체를 인식할 수 있다. 또 다른 실시 예에 따르면, 프로세서(120)는 지정된 외부 객체에 대한 정보(예: 색상 정보 및 형태 정보)를 이용하여 지정된 외부 객체를 인식할 수 있다. 상기 지정된 외부 객체에 대한 정보는, 예를 들어, 전자 장치(101)에 포함된 메모리에 저장되어 있거나, 외부 전자 장치(108)로부터 지정된 수신될 수 있다. 프로세서(120)가 외부 전자 장치(108)를 통하지 않고 직접 지정된 외부 객체를 인식한 경우, 상기 외부 객체에 대한 정보(예: 외부 객체의 종류)를 외부 전자 장치(108)로 송신할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 획득된 이미지를 보정할 수 있다. 예를 들어, 프로세서(120)는 획득된 이미지의 색온도를 보정할 수 있다. 다시 말해서, 프로세서(120)는 상기 획득된 이미지의 화이트 밸런스(white balance)(WB)를 보정할 수 있다. 프로세서(120)는 다양한 광원에서 촬영된 이미지를 기준 광원(예: 색온도 5500K의 표준 태양광)에서 촬영된 이미지와 유사하게 보정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 이미지의 화이트 밸런스를 보정하기 위한 게인 값을 획득할 수 있다. 예를 들어, 프로세서(120)는 지정된 영역(또는, 단위 영역)의 RGB 값에 기초하여 화이트 밸런스를 보정하기 위한 R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값을 획득할 수 있다. 일 실시 예에서, 프로세서(120)는 하기의 수학식 2에 따라 보정된 R 값(R′) 및 B 값(B′)을 산출할 수 있다.
Figure 112017037555074-pat00005
Figure 112017037555074-pat00006
일 실시 예에 따르면, 프로세서(120)는 자동으로 이미지의 화이트 밸런스를 조절할 수 있다. 다시 말해서, 전자 장치(101)는 오토 화이트 밸런스(auto white balance)(AWB) 기능을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 외부 객체에 포함된 지정된 흰색 또는 지정된 회색을 이용하여 이미지의 화이트 밸런스를 보정할 수 있다. 예를 들어, 프로세서(120)는 이미지의 RGB 평균 값이 동일하다는 전제하에 지정된 영역(또는, 단위 영역)의 RGB 평균 값을 이용하여 R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값을 획득할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 지정된 외부 객체를 인식하여 이미지의 화이트 밸런스를 보정할 수 있다. 예를 들어, 프로세서(120)는 상기 인식된 외부 객체의 이미지 색상 정보를 외부 전자 장치(108)로 송신할 수 있고, 외부 전자 장치(108)를 통해 이미지를 보정하기 위해 필요한 정보를 수신하여 이미지의 화이트 밸런스를 보정할 수 있다. 상기 이미지를 보정하기 위해 필요한 정보는, 예를 들어, R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값을 획득하기 위한 이미지의 광원의 속성 정보일 수 있다. 상기 이미지를 보정하기 위해 필요한 정보는, 다른 예를 들어, 이미지의 화이트 밸런스를 보정하기 위한 R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값에 대한 정보일 수 있다.
일 실시 예에 따르면, 프로세서(120)는 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체 및 지정된 외부 객체 중 적어도 하나를 이용하여 이미지의 색온도를 보정할 수 있다. 예를 들어, 프로세서(120)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 인식된 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체를 이용하여 이미지의 색온도를 보정하고, 선택적으로 상기 지정된 외부 객체를 이용하여 상기 보정된 이미지를 보정할 수 있다. 프로세서(120)는, 예를 들어, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체를 이용하여 화이트 밸런스가 보정된 이미지와 기준 광원에 의한 상기 외부 객체의 이미지 사이의 오차가 지정된 오차 범위 이상인 경우, 지정된 외부 객체를 이용하여 이미지를 보정할 수 있다. 다른 실시 예를 들어, 프로세서(120)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 인식되지 않은 경우, 상기 지정된 외부 객체를 이용하여 이미지의 색온도를 보정할 수 있다
도 4는 일 실시 예에 따른 전자 장치가 획득된 이미지의 색온도를 보정하는 방법을 나타낸 흐름도이다.
일 실시 예에 따르면, 410 동작에서, 전자 장치(101)(예: 프로세서(120))는 카메라 모듈(180)을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)는 프리뷰 이미지 또는 캡쳐된 이미지를 획득할 수 있다.
일 실시 예에 따르면, 420 동작에서, 전자 장치(101)(예: 프로세서(120))는 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식할 수 있다. 예를 들어, 전자 장치(101)는 상기 획득된 이미지에 대한 정보를 외부 전자 장치(또는, 서버)(108)로 송신하고 그 응답을 수신함으로써 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 따르면, 430 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 인식된 외부 객체에 대응되는 이미지 색상 정보를 통신 모듈(190)을 통해 외부 전자 장치(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 상기 획득된 이미지에 포함된 상기 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 추가적으로, 전자 장치(101)는 상기 이미지 색상 정보와 함께 카메라 모듈(180)의 분광 특성 정보를 외부 전자 장치(108)로 송신할 수 있다.
일 실시 예에 따르면, 440 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신할 수 있다. 상기 기준 색상 정보는, 예를 들어, 상기 지정된 외부 객체를 기준 광원에서 촬영한 이미지의 색상 정보일 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 상기 이미지 색상 정보 및 상기 기준 색상 정보와 함께 상기 분광 특성 정보를 이용하여 상기 이미지에 대한 상기 광원의 속성 정보를 수신할 수 있다.
일 실시 예에 따르면, 450 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 광원의 속성 정보를 이용하여 상기 이미지의 색온도를 보정할 수 있다. 예를 들어, 전자 장치(101)는 상기 광원의 속성 정보를 이용하여 이미지의 화이트 밸런스를 보정하기 위한 게인 값은 획득하여 상기 이미지의 색온도를 보정할 수 있다.
이에 따라, 전자 장치(101)는 이미지에 대한 광원의 속성 정보를 이용하여 획득된 이미지를 기준 광원에서 촬영된 이미지와 유사하게 보정할 수 있다.
도 5 및 도 6은 일 실시 예에 따른 외부 전자 장치의 구성 및 데이터베이스에 저장된 정보를 나타낸 도면이다.
도 5를 참조하면, 외부 전자 장치(또는, 서버)(108)는 객체 데이터베이스(118a), 광원 데이터베이스(118b), 분광 특성 데이터베이스(118c) 및 광원 추정 모듈(128)을 포함할 수 있다. 본 문서에서 외부 전자 장치(108)는 설명의 편의 상 하나의 서버 개념으로 기술되지만, 일 실시 예에서, 외부 전자 장치(108)는 복수 개의 서버들의 집합에 해당할 수 있다. 예를 들어, 외부 전자 장치(108)는 객체 데이터베이스 서버, 광원 데이터베이스 서버, 및 광원 추정 기능을 수행하는 서버를 포함하는 개념으로 이해될 수 있다.
객체 데이터베이스(118a)는 지정된 외부 객체에 대한 정보를 저장할 수 있다. 상기 지정된 외부 객체는 색체 안정성(color stability)이 높은 객체일 수 있다. 상기 지정된 외부 객체는 동일한 객체 사이의 색상이 서로 동일(또는, 극히 유사)할 수 있다. 예를 들어, 상기 지정된 외부 객체는 색상이 지정된 설계치를 가지고 정량으로 색상의 편차가 관리되는 외부 객체일 수 있다. 다시 말해, 상기 지정된 외부 객체는 서로 동일한 외부 객체의 표면 색상이 지정된 색상에 대응되는 색상 정보를 기준으로 지정된 오차 범위 내의 색상 정보에 대응되는 외부 객체일 수 있다. 상기 지정된 외부 객체는, 예를 들어, 국가적으로 관리되는 공공 디자인 시설물(예: 우체통, 표지판, 신호등, 위험, 안전표시 또는 문화제 안내판), 국가적으로 색상이 지정된 물체(예: 국기 또는 화폐), 기업의 상징(예: 코카콜라 캔, 티파니 박스 또는 삼성의 로고) 또는 상업적 상품(예: 스마트폰, 가전제품 또는 식기)일 수 있다.
일 실시 예에 따르면, 객체 데이터베이스(118a)는 상기 지정된 외부 객체의 기준 색상 정보를 저장할 수 있다. 상기 기준 색상 정보는, 예를 들어, 지정된 외부 객체를 기준 광원에서 촬영한 이미지의 색상 정보일 수 있다. 다시 말해, 상기 기준 색상 정보는 지정된 외부 객체에 포함된 상표, 규격화된 색상 또는 표준화된 색상에 대응되는 고유 색상 정보를 포함할 수 있다. 또한, 객체 데이터 베이스(118a)는 상기 지정된 외부 객체를 인식하기 위한 형태 정보를 저장할 수 있다.
일 실시 예에 따르면, 객체 데이터베이스(118a)는 상기 지정된 외부 객체를 지정된 기준(criteria)으로 평가하여 획득된 신뢰도 지수(reliability index)(RI)에 대한 정보를 추가적으로 저장할 수 있다. 상기 신뢰도 지수는 예를 들어 하기의 수학식 3에 의해 산출될 수 있다.
Figure 112017037555074-pat00007
상기 수학식 3에서 상기 C1, C2, C3, C4 및 C5는 서로 다른 지정된 기준이다. 상기 W1, W2, W3, W4 및 W5는 지정된 기준의 가중치이다. 다시 말해서, 상기 가중치는 지정된 기준의 우선 순위에 따라 결정될 수 있다. 상기 지정된 기준은, 예를 들어, 색체 안정성(color stability), AWB 적합성(AWB suitability) 및 인식 정확성(recognizability) 중 적어도 하나를 포함할 수 있다. 상기 색체 안정성은 동일한 객체 사이의 색상이 서로 유사한 정도를 평가하는 지수일 수 있다. 상기 색체 안정성은 색이 정확하게 표현되어 있는 상태(또는, 색표현 정확도) 및 색이 변색될 가능성(또는, 색의 손상도) 중 적어도 하나로 산출될 수 있다. 상기 AWB 적합성은 화이트 밸런스를 조절하는데 얼마나 정확하고 충분한 정보를 포함하고 있는지를 평가하는 지수일 수 있다. 상기 AWB 적합성은 객체내 지정된 색상(예: 하얀색)이 포함된 정도를 기준으로 산출될 수 있다. 상기 인식 정확성은 객체가 신속하고 정확하게 인식되는 정도를 평가하는 지수일 수 있다. 상기 인식 정확성은 형태의 특이성, 인식되는 크기, 형태의 변이도 및 패턴의 복잡도 중 적어도 하나로 산출될 수 있다. 상기 인식의 정확성은 형태가 특이하고, 인식되는 크기가 크고, 형태의 변이가 적고, 패턴이 복잡하지 않은 경우 높을 수 있다.
일 실시 예에 따르면, 객체 데이터베이스(118a)는 상기 지정된 외부 객체의 색상에 기반한 종류에 따라 분리하여 상기 지정된 외부 객체에 대한 정보를 저장할 수 있다. 예를 들어, 도 6을 참조하면, 객체 데이터베이스(211)는 공공 디자인의 색상(610), 저장된 색상(620), 기업의 상징 색상(630), 국가적으로 지정된 색상(예: ISO 국제 표준화 기구의 색체 표준, ANSI 미국 규격 협회의 색체 표준, OSHA 미국 직업안전 및 보건법령에 따른 색체 표준, EU-OSHA 유럽 직업안전 및 보건기관의 색체 표준, 한국 산업 규격에 따른 색체 표준)(640), 상업적 상품 색상(650), 피부 색상(예: 백인, 흑인 또는 동양인)(660) 및 자연 색상(예: 하늘, 태양, 나무 또는 잔디)(670) 중 적어도 하나에 대한 정보로 분리하여 저장할 수 있다. 예를 들어, 외부 전자 장치(108)는 전자 장치(101)의 GPS와 같은 위치 정보에 기반하여 전자 장치(101)이 위치하는 국가를 판단하고, 그 국가에 대응되는 공공재의 색상(610)을 결정(또는, 이용)할 수 있다. 일 실시 예에 따르면, 객체 데이터베이스(118a)에 저장된 외부 객체에 대한 정보는 클라우드 ISP 환경(cloud ISP environment)에 연결되어 지정된 객체를 인식하는데 이용될 수 있다. 여기서 클라우드 ISP 환경은 외부 전자 장치(108)에 의해 구현 가능한 클라우드 환경을 의미할 수 있다.
광원 데이터베이스(118b)는 복수의 광원들에 대한 정보를 저장할 수 있다. 상기 광원에 대한 정보는, 예를 들어, 파장에 따른 발광체 분광 강도에 대한 정보일 수 있다. 일 실시 예에 따르면, 광원 데이터베이스(118b)는 광원의 종류에 따라 광원에 대한 정보를 저장할 수 있다. 예를 들어, 하기의 표 1을 참조하면, 광원 데이터베이스(118b)는 인공광원에 대한 정보 및 자연광원에 대한 정보를 저장할 수 있다. 상기 인공광원에 대한 정보는, 예를 들어, 색온도에 따라 촛불, 백열등, 형광등 및 LED(light emitting diode)에 대한 정보를 포함할 수 있다. 상기 자연광원에 대한 정보는, 예를 들어, 색온도에 따라 시간대 별 태양광 또는 날씨 별 태양광에 대한 정보를 포함할 수 있다.
색온도 별 실내 인공 광원
1 ~ 2000K 촛불
2 2000 ~ 2500K 백열등
3 2500 ~ 3000K 가정용 텅스텐
4 2600 ~ 3150K 텅스텐
5 3000 ~ 3500K 형광등 soft white
6 3200 ~ 3700K 형광등 warm white
7 3900 ~ 4500K 형광등 white
8 4600 ~ 5400K 형광등 day white
9 5700 ~ 7100K 형광등 daylight
10 2600 ~ 3700K LED warm white
11 3700 ~ 5000K LED neutral white
12 5000 ~ 10000K LED cool white
색온도 별 야외 자연 광원
13 2000 ~ 3000K 일출/일몰의 태양광
14 3500K 일출 1시간 후와 일몰 1시간 전의 태양광
15 4000 ~ 4500K 오전 10시 ~ 오후 3시의 태양광
16 4000 ~ 4800K 아침저녁 무렵 야외 태양광
17 5000 ~ 5500K 정오의 태양광
18 5500 ~ 6500K 일광의 평균
19 6500 ~ 7000K 구름 낀 흐린 날, 맑은 날 및 그늘진 곳의 태양광
20 7500 ~ 8400K 매우 흐른 날 및 안개 낀 날의 태양광
21 10000 ~ 20000K 맑은 날 북쪽하늘 및 맑은 날 설원
22 20000 ~ 27000K 물에 반사된 파란하늘
분광 특성 데이터베이스(118c)는 전자 장치(101)의 분광 특성 정보를 저장할 수 있다. 예를 들어, 분광 특성 데이터베이스(118c)는 전자 장치(101)의 각 종류(예: 모델명, ID) 별로 분광 특성 정보를 저장할 수 있다. 일 실시 예에 따르면, 분광 특성 데이터 베이스(118c)는 전자 장치(100)로부터 수신된 분광 특성 정보를 저장할 수 있다. 상기 분광 특성 정보를 통해 이미지 센서의 분광 데이터(spectral data)를 도출하여 RGB 값을 산출하는데 이용할 수 있다.
광원 추정 모듈(128)은 객체 데이터베이스(118a)에 저장된 정보를 이용하여 지정된 외부 객체를 인식할 수 있다. 예를 들어, 광원 추정 모듈(128)은 전자 장치(101)로부터 하나 이상의 외부 객체를 획득한 이미지를 스트리밍 방식으로 수신하고, 상기 지정된 외부 객체에 대한 정보를 이용하여 상기 촬영된 이미지에 포함된 지정된 외부 객체를 인식할 수 있다. 다른 예를 들어, 광원 추정 모듈(128)은 전자 장치(101)로부터 인식된 하나 이상의 외부 객체에 대한 정보를 수신하고, 상기 하나 이상의 외부 객체 중 적어도 하나를 지정된 외부 객체로 인식할 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 지정된 외부 객체의 기준 색상 정보 및 형태 중 적어도 하나에 대한 정보를 이용하여 상기 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 인식된 외부 객체에 대한 정보를 전자 장치(101)로 송신할 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 복수의 지정된 외부 객체들을 인식할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)는 상기 인식된 복수의 지정된 외부 객체들의 신뢰도 지수(confidence index)를 이용하여 적어도 하나의 지정된 외부 객체를 인식할 수 있다. 예를 들어, 광원 추정 모듈(128)은 지정된 외부 객체의 신뢰도 지수에 따라 상기 적어도 하나의 지정된 외부 객체 중 지정된 지수 이상의 외부 객체를 선택할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 객체 데이터베이스(118a) 및 광원 데이터베이스(118b)에 저장된 정보를 이용하여 이미지의 광원을 추정할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 인식된 외부 객체의 기준 색상 정보를 이용하여 선택된 광원에 대응되는 모의 색상 정보를 획득할 수 있다. 상기 모의 색상 정보는, 예를 들어, 광원 데이터베이스(118b)에 저장된 광원 중 선택된 하나의 광원을 이용하여 획득된 색상 정보일 수 있다. 일 실시 예에 다르면, 광원 추정 모듈(128)은 수신되거나 분광 특성 데이터베이스(118c)에 저장된 전자 장치(101)의 카메라 모듈(180)의 분광 특성 정보를 추가적으로 이용하여 모의 색상 정보를 획득할 수 있다. 이에 따라, 광원 추정 모듈(128)은 하기의 수학식 4에 의해 지정된 외부 객체의 모의 색상 정보(RS, GS, BS)를 산출할 수 있다.
Figure 112017037555074-pat00008
Figure 112017037555074-pat00009
Figure 112017037555074-pat00010
상기 수학식 4에서 상기 Ls(λ)는 선택된 광원의 파장에 따른 분광 강도이다. 상기 R(λ)는 지정된 외부 객체의 표면 분광 반사율일 수 있다. 상기 표면 분광 반사율은, 예를 들어, 지정된 외부 객체의 기준 색상 정보를 통해 획득될 수 있다. 상기
Figure 112017037555074-pat00011
는 전자 장치(101)의 카메라 모듈의 카메라 분광 감도일 수 있다. 상기 k는 정규화 상수일 수 있다. 이에 따라, 광원 추정 모듈(128)는 선택된 광원에 대한 지정된 외부 객체의 모의 색상 정보(예: RGB 값)을 획득할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 획득된 모의 색상 정보를 전자 장치(101)로부터 수신된 이미지 색상 정보와 비교하여 수신된 색상 정보에 대한 광원을 추정할 수 있다. 예를 들어, 광원 추정 모듈(128)는 하기의 수학식 5를 이용하여 상기 수신된 색상 정보와 상기 모의 색상 정보의 차이 값(또는, 거리(distance))(D)을 산출할 수 있다.
Figure 112017037555074-pat00012
상기 수학식 3에서 Rs, Gs 및 Bs는 모의 색상 정보의 RGB 값일 수 있다. Rr, Gr 및 Br은 수신된 색상 정보의 RGB 값일 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 획득된 차이 값이 지정된 범위 내이면 선택된 광원을 상기 수신된 색상 정보에 대한 광원(또는, 추정 광원)으로 결정할 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 획득된 차이 값이 지정된 범위 내인 광원이 복수개인 경우 차이 값이 가장 작은 광원을 추정 광원으로 결정할 수 있다. 이 경우 상기 지정된 범위는 이전에 획득된 차이 값 중 가장 작은 차이 값에 해당될 수 있다. 다시 말해서, 이전에 획득된 차이 값보다 더 작은 차이 값이 획득되면, 상기 지정된 범위는 동적으로 변경된다. 만약 더 이상 작은 차이 값이 획득되지 않으면, 외부 전자 장치(108)는 현재의 차이 값에 해당하는 선택 광원을 추정 광원으로 결정할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)는 상기 결정된 광원에 대한 정보를 전자 장치(101)로 송신할 수 있다. 예를 들어, 광원 추정 모듈(128)는 상기 결정된 광원의 속성 정보를 전자 장치(101)로 송신할 수 있다. 다른 예를 들어, 광원 추정 모듈(128)는 상기 광원의 속성 정보에 기초하여 이미지를 보정할 수 있는 게인 값을 획득하여 전자 장치(101)로 송신할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 광원을 추정하기 위한 동작을 실행하기 위해 프로세서(128a)를 포함할 수 있다. 예를 들어, 광원 추정 모듈(128)은 광원을 추정하기 위한 각각의 동작을 실행하기 위해 복수의 프로세서를 포함할 수 있다. 상기 복수의 프로세서는, 예를 들어, 각각 일부 연산을 수행하고, 수행된 결과 다른 프로세서로 전달할 수 있다.
도 7은 일 실시 예에 따른 외부 전자 장치가 전자 장치에서 획득된 이미지에 대한 광원을 추정하는 방법을 나타낸 흐름도이다.
일 실시 예에 따르면, 710 동작에서, 외부 전자 장치(또는, 서버)(108)(예: 프로세서(128a))는 인식된 외부 객체의 이미지 색상 정보를 수신할 수 있다. 전자 장치(101)는 외부 전자 장치(108)를 통해 지정된 외부 객체를 인식하고, 상기 인식된 외부 객체의 이미지 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(108)는 카메라 모듈(180)의 분광 특성 정보를 수신할 수 있다.
일 실시 예에 따르면, 720 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 인식된 외부 객체의 기준 색상 정보를 이용하여 선택된 광원에 대응되는 모의 색상 정보를 획득할 수 있다. 외부 전자 장치(108)는 광원 데이터베이스(118b)에 저장된 복수의 광원들 중 하나의 광원을 선택하고, 상기 기준 색상 정보를 통해 획득된 표면 분광 반사율을 이용하여 상기 모의 색상 정보를 획득할 수 있다.
일 실시 예에 따르면, 730 동작에서, 외부 전자 장치(108) (예: 프로세서(128a))는 상기 인식된 외부 객체의 이미지 색상 정보와 상기 모의 색상 정보의 차이 값을 획득할 수 있다.
일 실시 예에 따르면, 740 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 차이 값이 지정된 범위 내인지 판단할 수 있다. 예를 들어, 외부 전자 장치(108)는 상기 차이 값이 지정된 범위 내가 아니라면, 광원 데이터베이스(108b)에 저장된 복수의 광원들 중 다른 하나의 광원을 선택하고, 모의 색상 정보를 다시 획득할 수 있다(720).
일 실시 예에 따르면, 750 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 차이 값이 지정된 범위 내라면, 선택된 광원을 추정 광원으로 결정할 수 있다.
일 실시 예에 따르면, 760 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 추정된 광원에 대한 정보를 전자 장치(101)로 송신할 수 있다. 상기 추정된 광원에 대한 정보는 광원의 속성 정보 또는 상기 속성 정보에 기초하여 획득된 게인 값(예: 이미지의 화이트 밸런스를 보정하기 위한 게인 값)일 수 있다. 이에 따라, 전자 장치(101)는 상기 결정된 광원에 대한 정보를 수신하여, 획득된 이미지의 색온도를 보정할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 지정된 흰색 또는 지정된 회색을 이용한 이미지의 화이트 밸런스를 보정하는 방법에 추가적으로 지정된 외부 객체를 통한 화이트 밸런스를 보정하는 방법을 수행할 수 있다. 예를 들어, 전자 장치(101)는 하나 이상의 외부 객체들 중 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는지 판단하고, 이미지의 화이트 밸런스를 보정할 수 있다. 전자 장치(101)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 없는 경우, 상기 하나 이상의 외부 객체들 중 적어도 하나의 상기 지정된 외부 객체를 인식할 수 있다. 전자 장치(101)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 없는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 이용하여 이미지의 화이트 밸런스를 보정할 수 있다. 이에 따라, 전자 장치(101)는 지정된 흰색 또는 지정된 회색을 이용한 이미지의 화이트 밸런스를 보정을 수행하고, 추가적으로 지정된 외부 객체를 인식함으로써 에러율을 감소시키고 효율적으로 이미지의 화이트 밸런스를 보정할 수 있다.
도 8은 일 실시 예에 따른 이미지 처리 시스템에서 이미지를 처리하는 방법을 나타낸 도면이다.
도 8을 참조하면, 전자 장치(101)는 외부 전자 장치(또는, 서버)(108)를 통해 제공될 수 있는 클라우드 ISP 환경을 통해 이미지를 보정하기 위한 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 광원(20)에서 하나 이상의 외부 객체를 촬영하여 이미지(30)를 획득할 수 있다. 상기 획득된 이미지는 지정된 외부 객체의 이미지를 포함할 수 있다. 이 과정은 도 4의 동작 410에 대응될 수 있다.
일 실시 예에 따르면, 810 동작에서, 전자 장치(101)는 지정된 외부 객체를 인식할 수 있다. 지정된 외부 객체는 코카콜라 캔(10a) 및 저장된 색상을 포함하는 컵(10b)일 수 있다. 상기 지정된 색은, 예를 들어, 팬톤 컬러(pantone color)에 따른 색상일 수 있다. 이 과정은 도 4의 동작 420에 대응될 수 있다.
일 실시 예에 따르면, 820 동작에서, 전자 장치(101)는 지정된 외부 객체에 대한 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 코카콜라 캔(10a) 및 지정된 색을 포함하는 컵(10b)의 색상 정보(R_raw, G_raw 및 B_raw)를 외부 전자 장치(108)로 송신할 수 있다. 이 과정은 도 4의 동작 430 및 도 7의 동작 710에 대응될 수 있다.
일 실시 예에 따르면, 830 동작에서, 외부 전자 장치(108)는 상기 지정된 외부 객체의 기준 색상 정보를 이용하여 모의 색상 정보를 획득할 수 있다. 예를 들어, 외부 전자 장치(108)는 코카콜라 캔(10a) 및 지정된 색을 포함하는 컵(10b)의 기준 색상 정보를 이용하여, 선택된 광원에 대한 모의 색상 정보(R_sim, G_sim 및 B_sim)를 획득할 수 있다. 상기 기준 색상 정보 및 상기 선택된 광원에 대한 정보는 객체 데이터베이스(118a) 및 광원 데이터베이스(118b)로부터 획득될 수 있다. 이 과정은 도 7의 동작 720에 대응될 수 있다.
일 실시 예에 따르면, 840 동작에서, 외부 전자 장치(108)는 상기 수신된 외부 객체의 이미지 색상 정보와 상기 획득된 모의 색상 정보의 차이 값을 획득할 수 있다. 예를 들어, 코카콜라 캔(10a) 및 지정된 색을 포함하는 컵(10b)의 이미지 색상 정보(R_raw, G_raw 및 B_raw)와 모의 색상 정보(R_sim, G_sim 및 B_sim)의 거리를 획득할 수 있다. 이 과정은 도 7의 동작 730에 대응될 수 있다.
일 실시 예에 따르면, 850 동작에서, 외부 전자 장치(108)는 상기 획득된 차이 값이 지정된 범위 내인지 판단할 수 있다. 외부 전자 장치(108)는 상기 차이 값이 지정된 범위 내가 아닌 경우, 다른 광원을 선택하여 다시 모의 색상 정보를 획득할 수 있다. 외부 전자 장치(108)는 상기 차이 값이 지정된 범위 내인 경우, 선택된 광원을 추정 광원으로 결정하고, 상기 추정 광원에 대한 정보를 전자 장치(101)로 송신할 수 있다. 이 과정은 도 7의 동작 740, 750, 및 760에 대응될 수 있다.
일 실시 예에 따르면, 860 동작에서, 전자 장치(101)는 상기 추정 광원의 속성 정보를 수신할 수 있다. 전자 장치(101)는 상기 속성 정보에 기초하여 산출된 게인 값(WB_Rgain 및 WB_Bgain)을 획득할 수 있다. 이 과정은 도 4의 동작 440에 대응될 수 있다.
일 실시 예에 따르면, 870 동작에서, 전자 장치(101)는 상기 획득된 게인 값(WB_Rgain 및 WB_Bgain)을 이용하여 이미지를 보정할 수 있다. 예를 들어, 전자 장치(101)는 코카콜라 캔(10a) 및 저장된 색상을 포함하는 컵(10b)의 보정된 이미지(30´)를 출력할 수 있다. 이 과정은 도 4의 동작 450에 대응될 수 있다.
이에 따라, 전자 장치(101)는 클라우드 ISP 환경의 매스 데이터베이스(mass database)를 이용하여 지정된 외부 객체를 인식하고, 획득된 이미지에 대한 광원을 추정하여 이미지를 보정할 수 있다.
다른 실시 예에 따르면, 전자 장치(101)는, 충분한 처리 능력(processing power)와 메모리를 갖는 경우, 외부 전자 장치(108)의 동작을 수행할 수 있다. 예를 들어, 전자 장치(101)는 메모리에 저장된 외부 객체에 대한 정보를 이용하여 직접 지정된 외부 객체를 인식하고, 메모리에 저장된 기준 색상 정보 및 광원 정보를 이용하여 획득된 이미지에 대한 광원을 추측하고, 상기 추측된 광원의 속성 정보를 이용하여 게인 값을 획득하여 이미지를 보정할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 외부 객체에 대한 정보, 기준 색상 정보 및 광원 정보가 메모리에 저장되어 있지 않은 경우 외부 전자 장치(108)로부터 필요한 정보를 수신할 수 있다.
도 9는 일 실시 예에 따른 전자 장치가 이미지의 색온도를 보정하는 방법을 나나탠 흐름도이다.
도 9를 참조하면, 전자 장치(101)는 이미지의 광원의 속성 정보를 결정하여 지정된 외부 객체를 인식하여 이미지의 색온도를 보정할 수 있다.
일 실시 예에 따르면, 910 동작에서, 전자 장치(101)(예: 프로세서(120))는 카메라 모듈(180)을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득할 수 있다.
일 실시 예에 따르면, 920 동작에서, 전자 장치(101)(예: 프로세서(120))하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 다르면, 930 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 인식된 외부 객체에 대응되는 이미지의 색상 정보 및 상기 인식된 외부 객체의 기준 색상 정보를 이용하여 이미지의 광원 속성 정보를 결정할 수 있다. 예를 들어, 전자 장치(101)는 메모리에 저장된 상기 인식된 외부 객체의 기준 색상 정보를 이용하거나, 상기 인식된 외부 객체의 기준 색상 정보를 외부 전자 장치(108)로부터 수신할 수 있다.
일 실시 예에 따르면, 940 동작에서, 전자 장치(101)(예: 프로세서(120)는 상기 광원 속성 정보를 이용하여 이미지의 색온도를 보정할 수 있다.
도 10a 및 도 10b는 일 실시 예에 따른 외부 전자 장치가 지정된 외부 객체에 대해 서로 다른 분광 분포를 포함하는 광원을 구별하는 방법을 설명하기 위한 그래프이다.
도 10a를 참조하면, 전자 장치(101)는 서로 다른 분광 분포를 포함하는 복수의 광원들에 의한 지정된 객체의 분광 분포가 동일한 경우, 상이한 광원을 획득된 이미지에 대한 광원으로 추정할 수 있다. 예를 들어, 전자 장치(101)는 지정된 외부 객체의 표면 분광 반사율이 지정된 범위의 파장에 집중되어 있는 경우, 상기 지정된 범위의 파장에서 유사한 분광 분포를 포함하는 복수의 광원들(예: 제1 광원 및 제2 광원)을 서로 구별하기 어려울 수 있다.
도 10b를 참조하면, 전자 장치(101)는 서로 다른 파장대에서 지정된 비율 이상의 표면 분광 반사율을 갖는 복수의 색상들(예: 제1 색상, 제2 색상)을 포함하는 지정된 외부 객체를 인식할 수 있다. 예를 들어, 전자 장치(101)는 상기 복수의 색상들이 포함된 하나의 지정된 외부 객체를 인식할 수 있다. 다른 예를 들어, 전자 장치(101)는 상기 복수의 색상들이 각각 포함된 복수의 지정된 외부 객체들을 인식할 수 있다. 이에 따라, 전자 장치(101)는 획득된 이미지에 대한 광원을 정확하게 추정할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 디스플레이에 표시된 사용자 인터페이스(user interface)를 나타낸 도면이다.
도 11을 참조하면, 전자 장치(101)는 사용자 인터페이스(user interface)(UI)를 통해 이미지를 보정하기 위한 기능의 실행 여부를 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 획득된 이미지(1110)에 지정된 외부 객체의 이미지가 포함되어 있지 경우, 이미지의 색온도를 보정하기 위한 처리 기능을 오프(off)시킬 수 있다. 전자 장치(101)는 상기 이미지를 보정하기 위한 처리 기능이 오프되어 있음을 UI(1120)을 통해 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 획득된 이미지(1110´)에 지정된 외부 객체(예: 코카콜라 캔)(10)가 포함되어 있는 경우, 이미지의 색온도를 보정하기 위한 처리 기능을 온(on)시킬 수 있다. 전자 장치(101)는 상기 이미지를 보정하기 위한 처리 기능이 온되어 있음을 UI(1120´)을 통해 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 인식된 외부 객체에 대한 정보(예: 캔(can) / 붉은색(red))(1111´)를 상기 이미지(또는, 프리뷰 이미지)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 UI(1120, 1120´)통해 사용자 입력을 수신하여 이미지를 보정하기 위한 기능을 온 또는 오프시킬 수 있다. 예를 들어, 전자 장치(101)는 UI(1120)를 통해 사용자의 터치 입력을 수신하여 이미지를 보정하기 위한 기능을 온 또는 오프시킬 수 있다.
도 1 내지 도 11에 따른 본 발명의 다양한 실시 예에 따르면, 전자 장치(101)는 지정된 외부 객체를 인식하고, 상기 인식된 외부 객체에 대한 색상 정보를 기준 색상 정보와 비교하여 획득된 이미지에 대한 광원의 속성 정보를 획득할 수 있고, 상기 광원의 속성 정보를 이용하여 이미지의 색온도를 보정하기 위한 게인 값을 획득함으로써 특정 색상을 인식하지 못하더라도 광원에 의해 색상 정보가 변경된 이미지를 기준 광원에서 촬영된 이미지로 보정할 수 있다. 전자 장치(101)는 복수의 지정된 외부 객체들을 인식함으로써 더욱 명확하게 획득된 이미지의 색온도를 보정하기 위한 게인 값을 획득할 수 있다.
또한, 전자 장치(101)는 상기 지정된 외부 객체를 인식하고 획득된 이미지에 대한 광원의 속성 정보를 획득할 때, 외부 전자 장치(또는, 서버)(108)의 데이터베이스의 축적된 외부 객체 및 광원에 대한 정보를 이용함으로써 신속하고 명확하게 이미지의 색온도를 보정하기 위한 게인 값을 획득할 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 설정된(adapted to or configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 설정된 (또는 구성된) 프로세서"는 해당 동작들을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치(예: 메모리)에 저장된 하나 이상의 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 AP)를 의미할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서)에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체(예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램 모듈) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소를 더 포함할 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램 모듈)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라 모듈;
    통신 모듈; 및
    상기 디스플레이, 상기 카메라 모듈 및 상기 통신 모듈과 전기적으로 연결된 프로세서;를 포함하고,
    상기 프로세서는,
    상기 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하고,
    상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고,
    상기 적어도 하나의 지정된 외부 객체 중에서, 신뢰도 지수에 기반하여 지정된 외부 객체를 선택하고, 상기 신뢰도 지수는 색체 안정성, AWB(auto white balance), 또는 인식 정확성 중 적어도 하나를 포함함,
    상기 선택된 지정된 외부 객체의 정보를 상기 이미지의 프리뷰 이미지 상에 디스플레이하고,
    상기 통신 모듈을 통해 상기 선택된 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하고,
    상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 선택된 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하고,
    상기 외부 전자 장치로부터 수신된 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정하도록 설정되고,
    상기 적어도 하나의 지정된 외부 객체는, 국가적으로 관리되는 공공 디자인 시설물, 국가적으로 색상이 지정된 객체, 또는 브랜드 로고 중 적어도 하나를 포함하는, 전자 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 프로세서는,
    상기 카메라 모듈에 대응되는 분광 특성 정보를 상기 외부 전자 장치로 송신하고,
    상기 이미지 색상 정보 및 상기 기준 색상 정보와 함께 상기 분광 특성 정보를 이용하여 결정된 상기 이미지에 대한 상기 광원의 속성 정보를 수신하도록 설정된 전자 장치.
  5. 청구항 1에 있어서,
    상기 기준 색상 정보는, 상기 선택된 지정된 외부 객체에 대응되는 고유 색상 정보를 포함하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 프로세서는,
    상기 하나 이상의 외부 객체들 중 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는지 판단하고,
    상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 없는 경우, 상기 하나 이상의 외부 객체 중 상기 적어도 하나의 상기 지정된 외부 객체를 인식하는 전자 장치.
  7. 청구항 6에 있어서,
    상기 프로세서는,
    상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 있는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체 및 상기 지정된 외부 객체 중 적어도 하나를 이용하여 상기 이미지의 색 온도를 보정하도록 설정된 전자 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 이미지의 색온도를 보정하는 방법에 있어서,
    카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하는 동작;
    상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하는 동작;
    상기 적어도 하나의 지정된 외부 객체 중에서, 신뢰도 지수에 기반하여 지정된 외부 객체를 선택하는 동작, 상기 신뢰도 지수는 색체 안정성, AWB(auto white balance), 또는 인식 정확성 중 적어도 하나를 포함함;
    상기 선택된 지정된 외부 객체의 정보를 상기 이미지의 프리뷰 이미지 상에 디스플레이하는 동작;
    통신 모듈을 통해 상기 선택된 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하는 동작;
    상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 선택된 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하는 동작; 및
    상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정하는 동작;을 포함하고,
    상기 적어도 하나의 지정된 외부 객체는, 국가적으로 관리되는 공공 디자인 시설물, 국가적으로 색상이 지정된 객체, 또는 브랜드 로고 중 적어도 하나를 포함하는 방법.
  14. 청구항 13에 있어서,
    상기 카메라 모듈에 대응되는 분광 특성 정보를 상기 외부 전자 장치로 송신하는 동작;을 더 포함하고,
    상기 이미지에 대한 광원의 속성 정보를 수신하는 동작은,
    상기 이미지 색상 정보 및 상기 기준 색상 정보와 함께 상기 분광 특성 정보를 이용하여 결정된 상기 이미지에 대한 상기 광원의 속성 정보를 수신하는 동작;을 포함하는 방법.
  15. 청구항 13에 있어서,
    상기 이미지의 색 온도를 보정하는 동작은,
    상기 이미지 내에 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체의 이미지 정보 및 상기 속성 정보를 이용하여 상기 이미지의 색 온도를 보정하는 동작;을 포함하는 방법
  16. 청구항 13에 있어서,
    상기 이미지로부터 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 인식된 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체를 이용하여 상기 이미지의 색 온도를 보정하는 동작을 더 포함하는 방법.
  17. 청구항 13에 있어서,
    상기 신뢰도 지수에 기반하여 지정된 외부 객체를 선택하는 동작은,
    상기 지정된 적어도 하나의 외부 객체를 지정된 기준으로 평가하여 상기 신뢰도 지수(reliability index)를 획득하는 동작; 및
    상기 지정된 적어도 하나의 외부 객체 중에서 신뢰도 지수가 가장 높은 지정된 외부 객체를 선택하는 동작;을 포함하는 방법.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020170049368A 2017-04-17 2017-04-17 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법 KR102457634B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170049368A KR102457634B1 (ko) 2017-04-17 2017-04-17 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
PCT/KR2018/004315 WO2018194318A1 (ko) 2017-04-17 2018-04-13 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
US16/605,260 US11252389B2 (en) 2017-04-17 2018-04-13 Electronic apparatus for correcting color temperature of captured image using reference color information corresponding to external object, and method for controlling electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170049368A KR102457634B1 (ko) 2017-04-17 2017-04-17 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180116704A KR20180116704A (ko) 2018-10-25
KR102457634B1 true KR102457634B1 (ko) 2022-10-21

Family

ID=63856624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170049368A KR102457634B1 (ko) 2017-04-17 2017-04-17 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법

Country Status (3)

Country Link
US (1) US11252389B2 (ko)
KR (1) KR102457634B1 (ko)
WO (1) WO2018194318A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106113A (ko) * 2019-02-26 2020-09-11 주식회사 틸투원 컨볼루션 뉴럴 네트워크 모델을 이용한 이미지의 원색 복원 장치 및 방법
JP7455656B2 (ja) * 2020-05-18 2024-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20230105233A (ko) * 2022-01-03 2023-07-11 삼성전자주식회사 이미지 기반의 이미지 효과를 제공하는 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186540A (ja) * 1999-12-27 2001-07-06 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2005286548A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 有彩色の撮像対象を表す部分の影響を抑えたカラーバランス調整
JP2011078137A (ja) * 2011-01-12 2011-04-14 Fujifilm Corp 画像処理装置および方法並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100311075B1 (ko) 1999-11-15 2001-11-14 윤종용 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
KR100356018B1 (ko) 1999-12-06 2002-10-18 한국전자통신연구원 색 정보를 이용한 영상 색인 및 검색방법
FR2832528B1 (fr) 2001-11-22 2004-02-13 Eastman Kodak Co Determination d'un illuminant d'une image numerique en couleur par segmentation et filtrage
KR100604355B1 (ko) 2004-05-13 2006-07-25 (주)일성자동화 철도 승강장의 안전사고 방지 방법
KR101068653B1 (ko) 2009-11-17 2011-09-28 연세대학교 산학협력단 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101165359B1 (ko) 2011-02-21 2012-07-12 (주)엔써즈 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
US9007484B2 (en) 2011-10-12 2015-04-14 Apple Inc. Alleviating dominant color failure in automatic white balance using histogram trimming
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
US9288374B1 (en) * 2012-09-10 2016-03-15 Amazon Technologies, Inc. Systems and methods for updating camera characteristics using a remote computing device
KR102170686B1 (ko) 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
US10432849B2 (en) * 2016-04-22 2019-10-01 Ebay Inc. Image modification based on objects of interest

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186540A (ja) * 1999-12-27 2001-07-06 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2005286548A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 有彩色の撮像対象を表す部分の影響を抑えたカラーバランス調整
JP2011078137A (ja) * 2011-01-12 2011-04-14 Fujifilm Corp 画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
KR20180116704A (ko) 2018-10-25
WO2018194318A1 (ko) 2018-10-25
US11252389B2 (en) 2022-02-15
US20210144352A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US11574611B2 (en) Electronic device and method for controlling the same
EP3590092B1 (en) Electronic device for processing image acquired by using camera and method for operating the same
US10827126B2 (en) Electronic device for providing property information of external light source for interest object
US10262203B2 (en) Method for recognizing iris and electronic device therefor
KR102281256B1 (ko) 화이트 밸런스 제어 방법 및 그 전자 장치
US10025098B2 (en) Electronic glasses and method for correcting color blindness
US9792878B2 (en) Method for content adaptation based on ambient environment of electronic device and electronic device thereof
EP2975449B1 (en) Method for focus control and electronic device thereof
US11263790B2 (en) Method for correcting image processing region corresponding to skin and electronic device
US20200213494A1 (en) Method for processing image on basis of external light, and electronic device supporting same
EP3775810B1 (en) Calibrated brightness estimation using ambient color sensors
KR102371211B1 (ko) 복수의 카메라를 이용하여 생체 정보를 인증하는 방법 및 장치
KR102457634B1 (ko) 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
US11314525B2 (en) Method for utilizing genetic information and electronic device thereof
US9774839B2 (en) Systems and methods for color correction of images captured using a mobile computing device
US10823589B2 (en) Electronic device and method for controlling sensitivity of sensor on basis of window attributes
KR20150099672A (ko) 전자 장치 및 그것의 디스플레이 제어 방법
US11417267B2 (en) Electronic device for controlling display of content on basis of brightness information and operation method therefor
KR20150128467A (ko) 프로젝터를 가지는 전자 장치 및 이의 색 보정 방법
KR20210057525A (ko) 디스플레이의 속성을 변경하기 위한 전자 장치 및 전자 장치에서의 동작 방법
JP7410659B2 (ja) ユーザを認識する電子装置及びその制御方法
US20210068733A1 (en) Methods and systems for self-administered measurement of critical flicker frequency (cff)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant