WO2018194318A1 - 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법 - Google Patents

외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2018194318A1
WO2018194318A1 PCT/KR2018/004315 KR2018004315W WO2018194318A1 WO 2018194318 A1 WO2018194318 A1 WO 2018194318A1 KR 2018004315 W KR2018004315 W KR 2018004315W WO 2018194318 A1 WO2018194318 A1 WO 2018194318A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
designated
external object
external
Prior art date
Application number
PCT/KR2018/004315
Other languages
English (en)
French (fr)
Inventor
김수희
박종현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/605,260 priority Critical patent/US11252389B2/en
Publication of WO2018194318A1 publication Critical patent/WO2018194318A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • Embodiments disclosed in this document relate to a technique for correcting an image.
  • An electronic device including a camera may generate a digital image of a photographed subject and correct the generated image.
  • Image signal processing (ISP) technology for generating an image by photographing a subject in an electronic device is developing not only for generating an image but also for correcting the generated image.
  • the color of the image generated by the electronic device may vary depending on the brightness of the external light compared to the primary color.
  • the color temperature of the light source When the color temperature of the light source is low, the image becomes red overall. On the contrary, when the color temperature of the light source is high, the image becomes blue overall.
  • the object included in the image does not include achromatic color, it may be difficult to obtain a gain value for correcting the white balance.
  • Various embodiments of the present disclosure provide an electronic device for recognizing a designated external object and generating a gain value for correcting a color temperature of an image through colors included in the external object, and a control method of the electronic device.
  • an electronic device may include a camera module; Communication module; And a processor electrically connected to the camera module and the communication module, wherein the processor acquires an image of one or more external objects using the camera module, and includes at least one of the one or more external objects. Recognize a designated external object, and transmit image color information corresponding to the recognized at least one specified external object to an external electronic device through the communication module, from the external electronic device, the image color information and the at least one The user may receive attribute information of a light source for the image determined using reference color information corresponding to a designated external object, and correct the color temperature of the image by using the attribute information received from the external electronic device.
  • the method for correcting the color temperature of the image the operation of obtaining an image for one or more external objects using a camera module; Recognizing at least one designated external object of the one or more external objects; Transmitting image color information corresponding to the recognized at least one designated external object to a server through a communication module; Receiving, from the external electronic device, attribute information of a light source for the image determined using the image color information and reference color information corresponding to the at least one specified external object; And correcting a color temperature of the image by using the attribute information.
  • an electronic device may include a camera module; And a processor electrically connected to the camera module, wherein the processor is configured to acquire an image of one or more external objects using the camera module and to designate at least one designated external object of the one or more external objects. Recognize the attribute information, determine attribute information of a light source for the image using image color information corresponding to the recognized at least one designated external object and reference color information corresponding to the at least one designated external object, and determine the attribute. The information may be used to correct the image color temperature.
  • the electronic device may acquire the property information of the light source for the acquired image by recognizing a designated external object, comparing color information of the recognized external object with reference color information, By obtaining a gain value for correcting the color temperature of the image by using the attribute information of the light source, an image whose color information is changed by the light source may be corrected as an image photographed by the reference light source even when a specific color is not recognized.
  • the electronic device may acquire a gain value more clearly for correcting the color temperature of the obtained image by recognizing a plurality of designated external objects.
  • the electronic device when the electronic device recognizes the designated external object and obtains attribute information of the light source for the obtained image, the electronic device uses the information on the accumulated external object and the light source in the database of the server to quickly and clearly determine the color temperature of the image. A gain value for correction can be obtained.
  • FIG. 1 is a diagram illustrating an image processing system according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram illustrating some components of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of correcting a color temperature of an acquired image by an electronic device according to an embodiment of the present disclosure.
  • 5 and 6 are diagrams illustrating configuration of an external electronic device and information stored in a database according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method of estimating a light source for an image acquired by an electronic device, according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a method of processing an image in an image processing system, according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of correcting a color temperature of an image by an electronic device according to an embodiment of the present disclosure.
  • 10A and 10B are graphs for describing a method of distinguishing a light source including different spectral distributions with respect to a designated external object by an external electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a user interface displayed on a display of an electronic device according to an embodiment of the present disclosure.
  • the electronic device may be various types of devices.
  • the electronic device may be, for example, a portable communication device (eg, a smartphone), a computer device (eg, a personal digital assistant (PDA), a tablet personal computer (PC), a laptop PC, a desktop PC, a workstation, or a server), It may include at least one of a portable multimedia device (eg, e-book reader or MP3 player), a portable medical device (eg, heart rate, blood sugar, blood pressure, or body temperature meter), a camera, or a wearable device.
  • Wearable devices may be accessory (e.g.
  • the electronic device may be, for example, a television, a digital video disk (DVD) player, or audio.
  • audio accessory device e.g. speakers, headphones, or headset
  • refrigerator air conditioner, cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, game console
  • electronics It may include at least one of a dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • the electronic device may include a navigation device, a global navigation satellite system (GNSS), an event data recorder (eg, black box for a car, a ship, or a plane), an automotive infotainment device ( E.g., vehicle head-up displays), industrial or home robots, drones, automated teller machines (ATMs), point of sales (POS) devices, metrology devices (e.g., water, electricity, or gas measurement devices), or Internet of Things devices (eg, light bulbs, sprinkler devices, fire alarms, thermostats, or street lights).
  • GNSS global navigation satellite system
  • an event data recorder eg, black box for a car, a ship, or a plane
  • automotive infotainment device E.g., vehicle head-up displays
  • industrial or home robots drones, automated teller machines (ATMs), point of sales (POS) devices
  • metrology devices e.g., water, electricity, or gas measurement devices
  • Internet of Things devices eg, light bulbs, sprinkler devices, fire alarm
  • the electronic device is not limited to the above-described devices, and, for example, as in the case of a smartphone equipped with a measurement function of biometric information (for example, heart rate or blood sugar) of a plurality of individuals,
  • biometric information for example, heart rate or blood sugar
  • the functions of the devices may be provided in combination.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a diagram illustrating an image processing system according to various embodiments of the present disclosure.
  • the image processing system 1000 may include an electronic device 101 and an external electronic device (or server) 108.
  • the electronic device 101 and the server 108 may be connected to each other through the network 199.
  • the electronic device 101 may capture one or more external objects 10 to acquire an image.
  • the electronic device 101 may obtain an image by receiving light emitted from the light source 20 and reflected from the surface of the external object 10.
  • the light source 20 may emit light of different colors according to the type.
  • the light source 20 may have a different color temperature depending on the type.
  • the light source 20 may have different luminescent spectral intensities according to the wavelength band, and may have different spectral distributions depending on the type.
  • the external object 10 is an object (or subject) to be photographed and may include one or more colors on the surface of the external object 10.
  • the external object 10 may include different surface spectral reflectances according to colors included in the external object 10.
  • the electronic device 101 may have different camera spectral sensitivity depending on the type of camera module. Accordingly, image information (eg, an RGB value) obtained by the electronic device 101 may be calculated by Equation 1 below.
  • R, G, and B may be R values, G values, and B values of the obtained image.
  • L ( ⁇ ) is the spectral intensity according to the wavelength of the light source 20.
  • R ( ⁇ ) may be a surface spectral reflectance of an external object. remind , And May be the camera spectral sensitivity of the camera module of the electronic device 101.
  • K may be a normalization constant.
  • the image of the external object 10 may be generated differently according to the spectral reflectance of the external object 10 as well as the spectral intensity of the light source 20 and the camera spectral sensitivity of the camera module.
  • the user may recognize the recognized external object 10 and the directly recognized external object 10 differently through the generated image. Accordingly, the electronic device 101 needs to correct the acquired image so that the user is recognized in the same manner as the external object 10 is directly recognized.
  • the electronic device 101 may transmit color information of the acquired image to the external electronic device 108.
  • the electronic device 101 may transmit the color information of the external object 10 included in the image to the external electronic device 108 to obtain information about the image (for example, information about a light source).
  • the color information may be, for example, an RGB (red-green-blue) value including three values, a YUV value, or a YCbCr value, or an RGBW (red-green-blue-white) value value including four values.
  • the values may be cyan-magenta-yellow-black (CMYK) values or five values including cyan and magenta values in addition to RGB values.
  • CMYK cyan-magenta-yellow-black
  • the external electronic device 108 may generate information about the received image. For example, the external electronic device 108 may generate attribute information of the light source 20 for the received image. According to an embodiment of the present disclosure, the external electronic device 108 may transmit attribute information of the generated light source 20 to the electronic device 101.
  • the electronic device 101 may correct an image by using information about the received image.
  • the electronic device 101 may correct the color temperature of the image by using attribute information of the light source. Accordingly, the electronic device 101 can generate the same image as the user directly recognizes the external object 10.
  • FIG. 2 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • the electronic device 101 communicates with the electronic device 102 through short-range wireless communication 198 or through the network 199, the electronic device 104 or a server ( 108). According to an embodiment of the present disclosure, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input device 150 (eg, a microphone or a mouse), a display device 160, and an audio module 170. ), Sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, and battery 189, communication module 190, and subscriber identification module 196. ) May be included.
  • the electronic device 101 may omit at least one of the components (for example, the display device 160 or the camera module 180) or may further include other components.
  • the bus 110 may include circuits that connect the components 120-190 to each other and transfer signals (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit, an application processor, a graphics processing unit (GPU), an image signal processor (ISP) of a camera, or a communication processor (CP). It may include. According to an embodiment, the processor 120 may be implemented as a system on chip (SoC) or a system in package (SiP). The processor 120 may, for example, run an operating system or an application program to control at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. Various data processing and operations can be performed. The processor 120 loads and processes the command or data received from at least one of the other components (eg, the communication module 190) into the volatile memory 132 and stores the result data in the nonvolatile memory 134. Can be.
  • SoC system on chip
  • SiP system in package
  • the processor 120 may, for example, run an operating system
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • Volatile memory 132 may be configured, for example, with random access memory (RAM) (eg, DRAM, SRAM, or SDRAM).
  • RAM random access memory
  • the nonvolatile memory 134 may include, for example, one time programmable read-only memory (OTPROM), programmable read-only memory (PROM), erasable programmable read-only memory (EPROM), and electrically erasable programmable (EPPROM).
  • OTPROM one time programmable read-only memory
  • PROM programmable read-only memory
  • EPROM erasable programmable read-only memory
  • EPPROM electrically erasable programmable
  • read-only memory mask ROM
  • flash ROM flash memory
  • SSD solid state drive
  • the nonvolatile memory may be configured as an internal memory 136 disposed therein or a stand-alone external memory 138 that can be connected and used only when necessary according to a connection form with the electronic device 101.
  • the external memory 138 may be a flash drive, for example, compact flash (CF), secure digital (SD), Micro-SD, Mini-SD, extreme digital (XD), or multi-media card (MMC). Or a memory stick.
  • the external memory 138 may be functionally or physically connected to the electronic device 101 through a wire (for example, a cable or universal serial bus (USB)) or wireless (for example, Bluetooth).
  • a wire for example, a cable or universal serial bus (USB)
  • wireless for example, Bluetooth
  • the memory 130 may store, for example, at least one other software component of the electronic device 101, for example, a command or data related to the program 140.
  • the program 140 may include, for example, a kernel 141, a library 143, an application framework 145, or an application program (interchangeably “application”) 147.
  • the input device 150 may include a microphone, a mouse, or a keyboard. According to an embodiment of the present disclosure, the keyboard may be connected to a physical keyboard or displayed as a virtual keyboard through the display device 160.
  • the display device 160 may include a display, a hologram device, a projector, and a control circuit for controlling the device.
  • the display may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a microelectromechanical system (MEMS) display, or an electronic paper display.
  • the display may be implemented to be flexible, transparent, or wearable.
  • the display may include touch circuitry capable of detecting a user's touch, gesture, proximity, or hovering input or a pressure sensor (interchangebly force sensor) capable of measuring the strength of the pressure on the touch.
  • the touch circuit or pressure sensor may be implemented integrally with the display or with one or more sensors separate from the display.
  • the hologram device may show a stereoscopic image in the air by using interference of light.
  • the projector may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 101.
  • the audio module 170 may bidirectionally convert, for example, a sound and an electrical signal. According to an embodiment, the audio module 170 may acquire sound through the input device 150 (eg, a microphone), or an output device (not shown) included in the electronic device 101 (eg, a speaker or Receiver) or through an external electronic device (e.g., electronic device 102 (e.g., wireless speakers or wireless headphones) or electronic device 106 (e.g., wired speakers or wired headphones) connected to the electronic device 101). You can output sound through the input device 150 (eg, a microphone), or an output device (not shown) included in the electronic device 101 (eg, a speaker or Receiver) or through an external electronic device (e.g., electronic device 102 (e.g., wireless speakers or wireless headphones) or electronic device 106 (e.g., wired speakers or wired headphones) connected to the electronic device 101). You can output the input device 150 (eg, a microphone), or an output device (not shown) included in the electronic device 101 (e
  • the sensor module 176 may measure or detect, for example, an operating state (eg, power or temperature) inside the electronic device 101, or an external environmental state (eg, altitude, humidity, or brightness). An electrical signal or data value corresponding to the measured or detected state information can be generated.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, and a color sensor (eg, RGB (red, green, blue) sensor). , IR (infrared) sensors, biometric sensors (e.g.
  • the sensor module 176 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the sensor module 176 may be controlled using a processor 120 or a processor (eg, a sensor hub) separate from the processor 120.
  • a processor eg, a sensor hub
  • the operation of the sensor module 176 may be performed by operating the separate processor without waking the processor 120. At least part of the state can be controlled.
  • the interface 177 may include a high definition multimedia interface (HDMI), a universal serial bus (USB), an optical interface, an RS-232 (recommended standard232), and a D-subminiature (D-subminiature). It may include a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an audio interface.
  • the connection terminal 178 may physically connect the electronic device 101 and the electronic device 106.
  • the connection terminal 178 may include, for example, a USB connector, an SD card / MMC connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus.
  • the haptic module 179 may provide a user with stimuli associated with tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may photograph, for example, a still image and a video.
  • the camera module 180 may include one or more lenses (eg, wide-angle and telephoto lenses, or front and rear lenses), an image sensor, an image signal processor, or a flash (eg, a light emitting diode or an xenon lamp). And the like).
  • the power management module 188 is a module for managing power of the electronic device 101, and may be configured, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may be recharged by an external power source, including, for example, a primary cell, a secondary cell, or a fuel cell to supply power to at least one component of the electronic device 101.
  • an external power source including, for example, a primary cell, a secondary cell, or a fuel cell to supply power to at least one component of the electronic device 101.
  • the communication module 190 may establish, for example, a communication channel between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 108). And perform wired or wireless communication through the established communication channel.
  • the communication module 190 includes a wireless communication module 192 or a wired communication module 194, and the first network 198 (eg, Bluetooth or IrDA) using a corresponding communication module.
  • external devices eg, the first external electronic device 102 and the second external electronic device
  • a local area communication network such as an infrared data association
  • a second network 199 eg, a telecommunication network such as a cellular network.
  • 104 or server 108 may establish, for example, a communication channel between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 108).
  • the wireless communication module 192 may support, for example, cellular communication, near field communication, or global navigation satellite system (GNSS) communication.
  • Cellular communication includes, for example, Long-Term Evolution (LTE), LTE Advance (LTE-A), Code Division Multiple Access (CDMA), Wideband CDMA (WCDMA), Universal Mobile Telecommunications System (UMTS), and Wireless Broadband (WiBro). ), Or Global System for Mobile Communications (GSM).
  • Short-range wireless communication may include, for example, wireless fidelity (WiFi), WiFi Direct, light fidelity (LiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, near field communication (NFC), and magnetic secure transmission (Magnetic Secure). Transmission), radio frequency (RF), or body area network (BAN).
  • the GNSS may include, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter referred to as "Beidou”), or a Galileo, the European global satellite-based navigation system.
  • GPS Global Positioning System
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system
  • the wireless communication module 192 when the wireless communication module 192 supports cellular communication, for example, the electronic device 101 in a communication network using a subscriber identification module (eg, a SIM card) 196.
  • a subscriber identification module eg, a SIM card
  • the wireless communication module 192 may include a communication processor (CP) separate from the processor 120 (eg, an application processor (AP)).
  • the communication processor may, for example, replace the processor 120 while the processor 120 is in an inactive (eg, sleep) state or while the processor 120 is in the active state.
  • at least some of the functions related to at least one of the components 110-196 of the electronic device 101 may be performed.
  • the wireless communication module 192 may be configured with a plurality of communication modules supporting only a corresponding communication method among a cellular communication module, a short range wireless communication module, or a GNSS communication module.
  • the wired communication module 194 may include, for example, a local area network (LAN), power line communication, or plain old telephone service (POTS).
  • LAN local area network
  • POTS plain old telephone service
  • the first network 198 may include, for example, WiFi direct or Bluetooth capable of transmitting or receiving a command or data through a wireless direct connection between the electronic device 101 and the first external electronic device 102. Can be.
  • the second network 199 may be, for example, a telecommunications network (e.g., a computer network (e.g., a LAN or a network) capable of transmitting or receiving commands or data between the electronic device 101 and the second WAN), the Internet, or a telephone network).
  • the command or data may be transmitted or received between the electronic device 101 and the second external electronic device 104 through the server 108 connected to the second network.
  • Each of the first and second external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 108).
  • the electronic device 101 when the electronic device 101 is to perform a function or service automatically or by request, the electronic device 101 may at least be associated with or instead of executing the function or service by itself.
  • Some functions may be requested to other devices (eg, the electronic devices 102 and 104, or the server 108) Other electronic devices (eg, the electronic devices 102 and 104 or the server 108) may be requested.
  • a function or an additional function may be executed and the result may be transmitted to the electronic device 101.
  • the electronic device 101 may provide the requested function or service by processing the received result as it is or additionally.
  • Example , Cloud computing and distributed computing or client-server computing techniques can be used.
  • FIG. 3 is a block diagram illustrating some components of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may include a camera module 180, a communication module 190, and a processor 120.
  • 3 illustrates only some components of the electronic device illustrated in FIG. 2 for convenience of description, and the descriptions and other components described with reference to FIG. 2 may also be applied to FIG. 3.
  • the camera module 180 may include a lens and an image sensor.
  • the lens may collect light incident on the camera module 180 from the outside.
  • the focused light may reach the image sensor through an aperture.
  • the image sensor may receive light incident from the outside through a plurality of unit pixels, and generate an electrical signal in response to the received light. An image may be generated based on the generated electrical signal.
  • the communication module 190 may be connected to an external electronic device to transmit and receive data.
  • the communication module 190 may transmit image information to the external electronic device 108.
  • the communication module 190 may receive information (eg, attribute information of a light source) about an image from the external electronic device 108.
  • the processor 120 may control overall operations of the electronic device 101.
  • the processor 120 may control the camera module 180 to acquire an image of an external object and correct the color temperature of the obtained image.
  • the processor 120 may control the camera module 180 to acquire an image of one or more external objects.
  • the processor 120 may obtain a preview image of one or more external objects.
  • the processor 120 may obtain a captured image of one or more external objects.
  • the processor 120 may recognize an external object designated through the external electronic device (or server) 108.
  • the processor 120 transmits an image (eg, a preview image) acquired through the camera module 180 to the external electronic device 108 in a streaming manner, and provides information on a designated external object included in the image.
  • the specified external object may be recognized by the external electronic device 108.
  • the processor 120 may recognize one or more external objects.
  • the processor 120 transmits information (eg, color information) about the one or more external objects to the external electronic device 108, and transmits information on the designated external object among the recognized one or more external objects to the external electronic device 108. Received from) can recognize the specified external object.
  • the processor 120 may recognize the designated external object by using information (eg, color information and shape information) about the designated external object.
  • the information on the designated external object may be stored in, for example, a memory included in the electronic device 101, or may be designated and received from the external electronic device 108.
  • the processor 120 may transmit information (eg, type of the external object) about the external object to the external electronic device 108.
  • the processor 120 may recognize a plurality of designated external objects.
  • the processor 120 may correct the obtained image.
  • the processor 120 may correct the color temperature of the acquired image.
  • the processor 120 may correct a white balance WB of the obtained image.
  • the processor 120 may correct an image photographed by various light sources similarly to an image photographed by a reference light source (for example, standard sunlight having a color temperature of 5500K).
  • the processor 120 may acquire a gain value for correcting the white balance of the image.
  • the processor 120 may obtain an R gain (WB_Rgain) value and a B gain (WB_Bgain) value for correcting the white balance based on the RGB value of the designated area (or unit area).
  • the processor 120 may calculate the corrected R value R ′ and B value B ′ according to Equation 2 below.
  • the processor 120 may automatically adjust the white balance of the image.
  • the electronic device 101 may perform an auto white balance (AWB) function.
  • ABB auto white balance
  • the processor 120 may correct the white balance of the image by using the designated white or the designated gray included in the external object. For example, the processor 120 may obtain an R gain (WB_Rgain) value and a B gain (WB_Bgain) value by using the RGB average values of the designated area (or unit area) on the assumption that the RGB average values of the image are the same. Can be.
  • WB_Rgain R gain
  • WB_Bgain B gain
  • the processor 120 may correct a white balance of an image by recognizing a designated external object.
  • the processor 120 may transmit the image color information of the recognized external object to the external electronic device 108, and receive information necessary for correcting the image through the external electronic device 108 to receive the image.
  • White balance can be corrected.
  • the information necessary for correcting the image may be, for example, attribute information of a light source of an image for obtaining an R gain (WB_Rgain) value and a B gain (WB_Bgain) value.
  • the information necessary for correcting the image may be, for example, information about an R gain (WB_Rgain) value and a B gain (WB_Bgain) value for correcting the white balance of the image.
  • the processor 120 uses the at least one of the specified external object and the designated external object including the designated white or the designated gray and the color temperature of the image. Can be corrected.
  • the processor 120 corrects the color temperature of the image using the external object including the designated white or the designated gray, and optionally The corrected image may be corrected by using the designated external object.
  • the image can be corrected using a specified external object.
  • the processor 120 may correct the color temperature of the image using the designated external object.
  • FIG. 4 is a flowchart illustrating a method of correcting a color temperature of an acquired image by an electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may acquire an image of one or more external objects using the camera module 180.
  • the electronic device 101 may acquire a preview image or a captured image.
  • the electronic device 101 may recognize at least one specified external object among one or more external objects.
  • the electronic device 101 may recognize the designated external object by transmitting the information about the obtained image to the external electronic device (or server) 108 and receiving the response.
  • the electronic device 101 may transmit image color information corresponding to the recognized external object to the external electronic device 108 through the communication module 190. I can send it.
  • the electronic device 101 may transmit image color information corresponding to the designated external object included in the obtained image to the external electronic device 108.
  • the electronic device 101 may transmit the spectral characteristic information of the camera module 180 to the external electronic device 108 together with the image color information.
  • the electronic device 101 may determine the image determined using the image color information and reference color information corresponding to the at least one specified external object. Attribute information of the light source may be received.
  • the reference color information may be, for example, color information of an image obtained by photographing the designated external object with a reference light source.
  • the electronic device 101 may receive attribute information of the light source for the image using the spectral characteristic information together with the image color information and the reference color information.
  • the electronic device 101 may correct the color temperature of the image by using attribute information of the light source.
  • the electronic device 101 may acquire a gain value for correcting the white balance of the image using the attribute information of the light source and correct the color temperature of the image.
  • the electronic device 101 may correct the image obtained by using the attribute information of the light source for the image, similarly to the image photographed by the reference light source.
  • 5 and 6 are diagrams illustrating configuration of an external electronic device and information stored in a database according to an embodiment of the present disclosure.
  • the external electronic device (or server) 108 may include an object database 118a, a light source database 118b, a spectral characteristic database 118c, and a light source estimation module 128.
  • the external electronic device 108 is described as a server concept for convenience of description, but in an embodiment, the external electronic device 108 may correspond to a set of a plurality of servers.
  • the external electronic device 108 may be understood as a concept including an object database server, a light source database server, and a server that performs a light source estimation function.
  • the object database 118a may store information about the designated external object.
  • the designated external object may be an object having high color stability.
  • the designated external objects may have the same colors (or very similar) between the same objects.
  • the designated external object may be an external object in which color deviation is managed quantitatively with a color-designated design value.
  • the designated external objects may be external objects corresponding to color information within a specified error range based on color information corresponding to surface colors of the same external objects.
  • the designated external objects may be, for example, publicly managed public design facilities (e.g. mailboxes, signs, traffic lights, hazards, safety signs or festival signs), nationally colored objects (e.g. national flags or currency), companies May be a symbol of (e.g., Coca-Cola cans, Tiffany boxes, or Samsung's logo) or commercial goods (e.g., smartphones, appliances or tableware).
  • the object database 118a may store reference color information of the designated external object.
  • the reference color information may be, for example, color information of an image obtained by photographing a designated external object with a reference light source.
  • the reference color information may include unique color information corresponding to a trademark, a standardized color, or a standardized color included in a designated external object.
  • the object database 118a may store shape information for recognizing the designated external object.
  • the object database 118a may additionally store information on a reliability index (RI) obtained by evaluating the designated external object with a specified criterion.
  • the reliability index may be calculated by, for example, Equation 3 below.
  • C1, C2, C3, C4 and C5 are different designated criteria.
  • W1, W2, W3, W4, and W5 are weights of specified criteria. In other words, the weight may be determined according to the priority of the designated criterion.
  • the specified criteria may include, for example, at least one of color stability, AWB suitability, and recognizability.
  • the color stability may be an index for evaluating the similarity of colors between the same objects.
  • the color stability may be calculated by at least one of a state in which a color is accurately expressed (or, color expression accuracy) and a possibility of color discoloration (or degree of color damage).
  • the AWB suitability may be an index that evaluates how accurate and sufficient information is included to adjust the white balance.
  • the AWB suitability may be calculated based on the degree to which the designated color (eg, white) is included in the object.
  • the recognition accuracy may be an index that evaluates the degree to which the object is recognized quickly and accurately.
  • the recognition accuracy may be calculated by at least one of shape specificity, recognized size, shape variation, and complexity of pattern. The accuracy of the recognition may be high when the shape is unusual, the size recognized is large, the shape variation is small, and the pattern is not complicated.
  • the object database 118a may store information on the designated external object by dividing it according to the type based on the color of the designated external object.
  • the object database 118a may include colors of public design 610, stored colors 620, corporate symbolic colors 630, nationally designated colors (eg, ISO International Standards Organization). Color standard, color standard of ANSI American Standards Association, color standard according to OSHA US Occupational Safety and Health Act, color standard of EU-OSHA European Occupational Safety and Health Agency, color standard according to Korean Industrial Standards (640), commercial products Colors 650, skin colors (eg, whites, blacks, or Asians) 660 and natural colors (eg, sky, sun, trees, or grass) 670 may be separately stored.
  • the external electronic device 108 determines the country where the electronic device 101 is located based on location information such as GPS of the electronic device 101, and determines the color 610 of the public goods corresponding to the country. Can be determined (or used).
  • information about an external object stored in the object database 118a may be connected to a cloud ISP environment and used to recognize a designated object.
  • the cloud ISP environment may refer to a cloud environment that can be implemented by the external electronic device 108.
  • the light source database 118b may store information about the plurality of light sources.
  • the information on the light source may be, for example, information on light emitting spectral intensity according to the wavelength.
  • the light source database 118b may store information about the light source according to the type of the light source.
  • the light source database 118b may store information about artificial light sources and information about natural light sources.
  • the information about the artificial light source may include, for example, information about a candle, an incandescent lamp, a fluorescent lamp, and a light emitting diode (LED) according to a color temperature.
  • the information about the natural light source may include, for example, information about sunlight by time zone or sunlight by weather depending on color temperature.
  • the spectral characteristic database 118c may store spectral characteristic information of the electronic device 101.
  • the spectral characteristic database 118c may store spectral characteristic information for each type (eg, model name and ID) of the electronic device 101.
  • the spectral characteristic database 118c may store spectral characteristic information received from the electronic device 100.
  • the spectral data of the image sensor may be derived from the spectral characteristic information and used to calculate an RGB value.
  • the light source estimation module 128 may recognize the designated external object using the information stored in the object database 118a. For example, the light source estimating module 128 receives an image obtained by obtaining at least one external object from the electronic device 101 in a streaming manner, and designates a designated image included in the photographed image by using information on the designated external object. Can recognize external objects. For another example, the light source estimating module 128 may receive information about one or more external objects recognized from the electronic device 101 and recognize at least one of the one or more external objects as a designated external object. According to an embodiment of the present disclosure, the light source estimating module 128 may recognize the designated external object using information on at least one of reference color information and a shape of the designated external object.
  • the light source estimation module 128 may transmit information about the recognized external object to the electronic device 101. According to an embodiment, the light source estimation module 128 may recognize a plurality of specified external objects.
  • the light source estimating module 128 may recognize at least one designated external object by using a confidence index of the recognized plurality of specified external objects. For example, the light source estimation module 128 may select an external object equal to or greater than a specified index among the at least one designated external object according to the reliability index of the designated external object.
  • the light source estimating module 128 may estimate the light source of the image using information stored in the object database 118a and the light source database 118b.
  • the light source estimating module 128 may obtain simulation color information corresponding to the selected light source by using the reference color information of the recognized external object.
  • the simulated color information may be, for example, color information obtained by using one light source selected from light sources stored in the light source database 118b.
  • the light source estimating module 128 may acquire the simulated color information by additionally using the spectral characteristic information of the camera module 180 of the electronic device 101 received or stored in the spectral characteristic database 118c. . Accordingly, the light source estimating module 128 may calculate the simulated color information R S , G S , B S of the external object specified by Equation 4 below.
  • L s ( ⁇ ) is the spectral intensity according to the wavelength of the selected light source.
  • R ( ⁇ ) may be a surface spectral reflectance of a designated external object.
  • the surface spectral reflectance may be obtained through, for example, reference color information of a designated external object. remind , And May be the camera spectral sensitivity of the camera module of the electronic device 101.
  • K may be a normalization constant. Accordingly, the light source estimation module 128 may obtain simulated color information (eg, an RGB value) of the designated external object for the selected light source.
  • the light source estimating module 128 may estimate the light source for the received color information by comparing the obtained simulated color information with the image color information received from the electronic device 101. For example, the light source estimation module 128 may calculate a difference value (or distance) D between the received color information and the simulated color information using Equation 5 below.
  • R s , G s, and B s may be RGB values of the simulated color information.
  • R r , G r and B r may be RGB values of the received color information.
  • the light source estimation module 128 may determine the selected light source as a light source (or an estimated light source) for the received color information when the obtained difference value is within a specified range.
  • the light source estimating module 128 may determine the light source having the smallest difference value as the estimated light source when there are a plurality of light sources having the obtained difference value within a specified range.
  • the specified range may correspond to the smallest difference value among previously obtained difference values. In other words, if a difference value smaller than the previously obtained difference value is obtained, the specified range is changed dynamically. If the small difference value is no longer obtained, the external electronic device 108 may determine the selected light source corresponding to the current difference value as the estimated light source.
  • the light source estimating module 128 may transmit information about the determined light source to the electronic device 101.
  • the light source estimation module 128 may transmit attribute information of the determined light source to the electronic device 101.
  • the light source estimating module 128 may obtain a gain value for correcting an image based on the attribute information of the light source and transmit it to the electronic device 101.
  • the light source estimation module 128 may include a processor 128a to perform an operation for estimating a light source.
  • the light source estimation module 128 may include a plurality of processors to perform respective operations for estimating the light source.
  • the plurality of processors may perform some operations, for example, and transfer the result to another processor.
  • FIG. 7 is a flowchart illustrating a method of estimating a light source for an image acquired by an electronic device, according to an embodiment of the present disclosure.
  • the external electronic device (or server) 108 may receive image color information of the recognized external object.
  • the electronic device 101 may recognize the designated external object through the external electronic device 108 and transmit image color information of the recognized external object to the external electronic device 108.
  • the external electronic device 108 may receive spectral characteristic information of the camera module 180.
  • the external electronic device 108 may obtain simulated color information corresponding to the selected light source by using the reference color information of the recognized external object. .
  • the external electronic device 108 may select one light source among a plurality of light sources stored in the light source database 118b and acquire the simulated color information by using the surface spectral reflectance obtained through the reference color information.
  • the external electronic device 108 may obtain a difference value between the image color information of the recognized external object and the simulated color information.
  • the external electronic device 108 may determine whether the difference value is within a specified range. For example, if the difference value is not within the specified range, the external electronic device 108 may select another light source among the plurality of light sources stored in the light source database 108b and obtain the simulated color information again ( 720).
  • the external electronic device 108 may determine the selected light source as the estimated light source if the difference value is within a specified range.
  • the external electronic device 108 may transmit information about the estimated light source to the electronic device 101.
  • the information about the estimated light source may be a gain value (eg, a gain value for correcting white balance of an image) obtained based on attribute information of the light source or the attribute information. Accordingly, the electronic device 101 may receive the information on the determined light source and correct the color temperature of the obtained image.
  • the electronic device 101 may perform a method of correcting white balance through a specified external object in addition to a method of correcting white balance of an image using a designated white or a designated gray. For example, the electronic device 101 may determine whether there is an external object including the designated white or the designated gray among the one or more external objects, and correct the white balance of the image by using the designated white or the designated gray. According to an embodiment of the present disclosure, when there is no external object including the designated white or the designated gray, the electronic device 101 may recognize at least one of the one or more specified external objects. The electronic device 101 may correct the color temperature of the image by using the designated external object. According to an embodiment of the present disclosure, the electronic device 101 may correct the white balance of the image using the designated white or the specified gray, and additionally recognize the specified external object to reduce the error rate and efficiently correct the white balance of the image. have.
  • FIG. 8 is a diagram illustrating a method of processing an image in an image processing system, according to an exemplary embodiment.
  • the electronic device 101 may obtain information for correcting an image through a cloud ISP environment that may be provided through an external electronic device (or server) 108.
  • the electronic device 101 may acquire the image 30 by photographing one or more external objects from the light source 20.
  • the obtained image may include an image of a designated external object. This process may correspond to operation 410 of FIG. 4.
  • the electronic device 101 may recognize a specified external object.
  • the designated external object may be a coca cola can 10a and a cup 10b containing a stored color.
  • the designated color may be, for example, a color according to a pantone color. This process may correspond to operation 420 of FIG. 4.
  • the electronic device 101 may transmit color information about the designated external object to the external electronic device 108.
  • the electronic device 101 may transmit the color information (R_raw, G_raw and B_raw) of the coca cola can 10a and the cup 10b including the designated color to the external electronic device 108.
  • This process may correspond to operation 430 of FIG. 4 and operation 710 of FIG. 7.
  • the external electronic device 108 may obtain simulated color information using reference color information of the designated external object.
  • the external electronic device 108 obtains simulation color information (R_sim, G_sim, and B_sim) for the selected light source by using the reference color information of the coca cola can 10a and the cup 10b including the designated color. can do.
  • the reference color information and the information about the selected light source may be obtained from the object database 118a and the light source database 118b. This process may correspond to operation 720 of FIG. 7.
  • the external electronic device 108 may obtain a difference value between the image color information of the received external object and the obtained simulated color information. For example, the distance between the image color information (R_raw, G_raw and B_raw) and the simulated color information (R_sim, G_sim and B_sim) of the coca cola can 10a and the cup 10b including the designated color can be obtained. This process may correspond to operation 730 of FIG. 7.
  • the external electronic device 108 may determine whether the obtained difference value is within a specified range. If the difference value is not within the specified range, the external electronic device 108 may select another light source to acquire the simulated color information again. When the difference value is within a specified range, the external electronic device 108 may determine the selected light source as an estimated light source, and transmit information about the estimated light source to the electronic device 101. This process may correspond to operations 740, 750, and 760 of FIG. 7.
  • the electronic device 101 may receive attribute information of the estimated light source.
  • the electronic device 101 may obtain the gain values WB_Rgain and WB_Bgain calculated based on the attribute information. This process may correspond to operation 440 of FIG. 4.
  • the electronic device 101 may correct an image by using the obtained gain values WB_Rgain and WB_Bgain.
  • the electronic device 101 may output the calibrated image 30 'of the coca-cola can 10a and the cup 10b including the stored colors. This process may correspond to operation 450 of FIG. 4.
  • the electronic device 101 may recognize a designated external object by using a mass database of a cloud ISP environment, estimate a light source for the obtained image, and correct the image.
  • the electronic device 101 may perform an operation of the external electronic device 108.
  • the electronic device 101 recognizes a directly designated external object by using information about the external object stored in the memory, infers a light source for the image obtained by using the reference color information and the light source information stored in the memory.
  • the image may be corrected by obtaining a gain value using the estimated attribute information of the light source.
  • the electronic device 101 may receive necessary information from the external electronic device 108.
  • FIG. 9 is a flowchart illustrating a method of correcting a color temperature of an image by an electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may determine attribute information of a light source of an image to recognize a designated external object and correct a color temperature of the image.
  • the electronic device 101 may acquire an image of one or more external objects using the camera module 180.
  • the electronic device 101 may recognize at least one specified external object among one or more external objects.
  • the electronic device 101 may use the color information of the image corresponding to the recognized external object and the reference color information of the recognized external object.
  • the light source property information of may be determined.
  • the electronic device 101 may use reference color information of the recognized external object stored in a memory or receive reference color information of the recognized external object from the external electronic device 108.
  • the electronic device 101 may correct the color temperature of the image by using the light source property information.
  • 10A and 10B are graphs for describing a method of distinguishing a light source including different spectral distributions with respect to a designated external object by an external electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may estimate different light sources as light sources for the obtained image. For example, when the surface spectral reflectance of a specified external object is concentrated at a wavelength in a specified range, the electronic device 101 includes a plurality of light sources (eg, a first light source) having a similar spectral distribution at a wavelength in the specified range. And the second light source) may be difficult to distinguish from each other.
  • a plurality of light sources eg, a first light source
  • the second light source may be difficult to distinguish from each other.
  • the electronic device 101 may recognize a designated external object including a plurality of colors (eg, a first color and a second color) having a surface spectral reflectance of a specified ratio or more in different wavelength bands. .
  • the electronic device 101 may recognize one designated external object including the plurality of colors.
  • the electronic device 101 may recognize a plurality of specified external objects each including the plurality of colors. Accordingly, the electronic device 101 can accurately estimate the light source for the obtained image.
  • FIG. 11 is a diagram illustrating a user interface displayed on a display of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may display whether to execute a function for correcting an image through a user interface (UI).
  • UI user interface
  • the electronic device 101 may turn off a processing function for correcting a color temperature of the image.
  • the electronic device 101 may display through the UI 1120 that the processing function for correcting the image is turned off.
  • the electronic device 101 when the external image (eg, Coca Cola can) 10 specified in the acquired image 1110 ′ is included, the electronic device 101 turns on a processing function for correcting the color temperature of the image. on).
  • the electronic device 101 may display through the UI 1120 ′ that the processing function for correcting the image is turned on.
  • the electronic device 101 may display information (eg, can / red) 1111 ′ on the recognized external object on the image (or preview image). have.
  • the electronic device 101 may turn on or off a function for correcting an image by receiving a user input through the UIs 1120 and 1120 ′.
  • the electronic device 101 may turn on or off a function for correcting an image by receiving a user's touch input through the UI 1120.
  • the electronic device 101 recognizes a designated external object and compares the color information of the recognized external object with reference color information. Acquisition of the attribute information of the light source, and by using the attribute information of the light source to obtain a gain value for correcting the color temperature of the image, even if a specific color is not recognized, the image of the color information changed by the light source is taken in the reference light source You can correct the image.
  • the electronic device 101 may acquire a gain value more clearly for correcting the color temperature of the acquired image by recognizing a plurality of specified external objects.
  • the electronic device 101 when the electronic device 101 recognizes the designated external object and acquires attribute information of the light source for the acquired image, the electronic device 101 is applied to the accumulated external object and light source of the database of the external electronic device (or server) 108. By using this information, a gain value for quickly and clearly correcting the color temperature of the image can be obtained.
  • adapted to or configured to is modified to have the ability to "adapt,” “to,” depending on the circumstances, for example, hardware or software, It can be used interchangeably with “made to,” “doable,” or “designed to.”
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may include one or more processors stored in a dedicated processor (eg, an embedded processor) or a memory device (eg, a memory) for performing the operations. By executing programs, it may mean a general-purpose processor (eg, a CPU or an AP) capable of performing corresponding operations.
  • module includes a unit composed of hardware, software, or firmware, and is used interchangeably with terms such as logic, logic blocks, components, or circuits. Can be.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) may be implemented with instructions stored in a computer-readable storage medium (eg, a memory) in the form of a program module. Can be.
  • a processor eg, a processor
  • the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (such as magnetic tape), optical recording media (such as CD-ROM, DVD, magnetic-optical media (such as floppy disks), internal memory, and the like.
  • Instructions may include code generated by a compiler or code that may be executed by an interpreter.
  • Each component may be composed of a singular or a plurality of entities, and some of the above-described subcomponents may be omitted, or other subcomponents may be omitted. It may further include. Alternatively or additionally, some components (eg modules or program modules) may be integrated into one entity to perform the same or similar functions performed by each corresponding component prior to integration. Operations performed by a module, program module, or other component according to various embodiments may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some operations may be executed in a different order, omitted, or otherwise. Can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

카메라 모듈; 통신 모듈; 및 상기 카메라 모듈 및 상기 통신 모듈과 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하고, 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고, 상기 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하고, 상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하고, 상기 외부 전자 장치로부터 수신된 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정할 수 있는 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
본 문서에서 개시되는 실시 예들은, 이미지를 보정하는 기술과 관련된다.
카메라를 포함하는 전자 장치는 촬영된 피사체에 대한 디지털 이미지를 생성하고, 생성된 이미지를 보정할 수 있다. 전자 장치에서 피사체를 촬영하여 이미지를 생성하기 위한 ISP(image signal processing) 기술은 이미지를 생성하는 기술뿐만 아니라 생성된 이미지를 보정하는 기술을 중심으로 발전하고 있다.
전자 장치에서 생성된 이미지의 색상은 원색과 비교하여 외부 조명의 밝기에 따라 차이가 날 수 있다. 광원의 색온도가 낮으면 이미지가 전체적으로 붉은색을 띄고, 반대로 광원의 색온도가 높으면 이미지가 전체적으로 푸른색을 띈다.
그러나 이미지에 포함된 객체에 무채색이 포함되어 있지 않은 경우 화이트 밸런스를 보정하기 위한 게인(gain) 값을 획득하는데 어려움이 있을 수 있다.
또한, 전자 장치에서 이미지에 포함된 무채색 외의 다양한 색상을 인식하기 위해서는 다양한 색상의 정보를 저장하기 위한 데이터베이스 가 필요하고, 다양한 색상 정보를 처리하기 위한 처리해야하기 때문에, 다양한 색상을 인식하기 위한 기술은 하드웨어의 크기 및 저장할 수 있는 용량의 한계가 존재하는 전자 장치에 적용되기 어렵다.
본 발명의 다양한 실시 예는 지정된 외부 객체를 인식하고, 상기 외부 객체에 포함된 색상을 통해 이미지의 색온도를 보정하기 위한 게인 값을 생성하는 전자 장치 및 그 전자 장치의 제어 방법을 제공한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라 모듈; 통신 모듈; 및 상기 카메라 모듈 및 상기 통신 모듈과 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하고, 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고, 상기 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하고, 상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하고, 상기 외부 전자 장치로부터 수신된 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 이미지의 색온도를 보정하는 방법은, 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하는 동작; 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하는 동작; 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 서버로 송신하는 동작; 상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하는 동작; 및 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정하는 동작;을 포함할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라 모듈; 및 상기 카메라 모듈에 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여, 하나 이상의 외부 객체들에 대한 이미지를 획득하고, 상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고, 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 상기 이미지에 대한 광원의 속성 정보를 결정하고, 상기 속성 정보를 이용하여, 상기 이미지 색 온도를 보정할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 전자 장치는 지정된 외부 객체를 인식하고, 인식된 외부 객체에 대한 색상 정보를 기준 색상 정보와 비교하여 획득된 이미지에 대한 광원의 속성 정보를 획득할 수 있고, 광원의 속성 정보를 이용하여 이미지의 색온도를 보정하기 위한 게인 값을 획득함으로써 특정 색상을 인식하지 못하더라도 광원에 의해 색상 정보가 변경된 이미지를 기준 광원에서 촬영된 이미지로 보정할 수 있다. 전자 장치는 복수의 지정된 외부 객체들을 인식함으로써 획득된 이미지의 색온도를 보정하기 위한 더욱 명확하게 게인 값을 획득할 수 있다.
또한, 전자 장치는 상기 지정된 외부 객체를 인식하고 획득된 이미지에 대한 광원의 속성 정보를 획득할 때, 서버의 데이터베이스의 축적된 외부 객체 및 광원에 대한 정보를 이용함으로써 신속하고 명확하게 이미지의 색온도를 보정하기 위한 게인 값을 획득할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 이미지 처리 시스템을 나타낸 도면이다.
도 2는 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 3은 일 실시 예에 따른 전자 장치의 일부 구성을 나타낸 블록도이다.
도 4는 일 실시 예에 따른 전자 장치가 획득된 이미지의 색온도를 보정하는 방법을 나타낸 흐름도이다.
도 5 및 도 6은 일 실시 예에 따른 외부 전자 장치의 구성 및 데이터베이스에 저장된 정보를 나타낸 도면이다.
도 7은 일 실시 예에 따른 외부 전자 장치가 전자 장치에서 획득된 이미지에 대한 광원을 추정하는 방법을 나타낸 흐름도이다.
도 8은 일 실시 예에 따른 이미지 처리 시스템에서 이미지를 처리하는 방법을 나타낸 도면이다.
도 9는 일 실시 예에 따른 전자 장치가 이미지의 색온도를 보정하는 방법을 나나탠 흐름도이다.
도 10a 및 도 10b는 일 실시 예에 따른 외부 전자 장치가 지정된 외부 객체에 대해 서로 다른 분광 분포를 포함하는 광원을 구별하는 방법을 설명하기 위한 그래프이다.
도 11은 일 실시 예에 따른 전자 장치의 디스플레이에 표시된 사용자 인터페이스(user interface)를 나타낸 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치 (예: 퍼스널 디지털 어시스턴트(PDA), 태블릿 퍼스널 컴퓨터(PC), 랩탑 PC, 데스크탑 PC, 워크스테이션, 또는 서버), 휴대용 멀티미디어 장치 (예: 전자책 리더기 또는 MP3 플레이어), 휴대용 의료 기기(예: 심박, 혈당, 혈압, 또는 체온 측정기), 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오 장치, 오디오 액세서리 장치(예: 스피커, 헤드폰, 또는 헤드셋), 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 게임 콘솔, 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder(예: black box for a car, a ship, or a plane), 자동차 인포테인먼트 장치(예: 차량용 헤드업 디스플레이), 산업용 또는 가정용 로봇, 드론(drone), automated teller machine(ATM)), POS(point of sales) 기기, 계측 기기 (예: 수도, 전기, 또는 가스 계측 기기), 또는 사물 인터넷 장치 (예: 전구, 스프링클러 장치, 화재 경보기, 온도 조절기, 또는 가로등)) 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 또한, 예를 들면, 개인의 생체 정보 (예: 심박 또는 혈당)의 측정 기능이 구비된 스마트폰의 경우처럼, 복수의 장치들의 기능들을 복합적으로 제공할 수 있다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 이미지 처리 시스템을 나타낸 도면이다.
도 1을 참조하면, 이미지 처리 시스템(1000)은 전자 장치(101) 및 외부 전자 장치(또는, 서버)(108)를 포함할 수 있다. 전자 장치(101)와 서버(108)는 네트워크(199)를 통해 서로 연결될 수 있다.
전자 장치(101)는 하나 이상의 외부 객체(10)를 촬영하여 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)는 광원(light source)(20)으로부터 발산되어 외부 객체(10)의 표면에서 반사된 빛을 수신하여 이미지를 획득할 수 있다.
광원(20)은 종류에 따라 상이한 색상의 빛을 발광할 수 있다. 예를 들어, 광원(20)은 종류에 따라 상이한 색온도(color temperature)를 가질 수 있다. 또한, 광원(20)은 파장대에 따라 서로 다른 발광체 분광 강도(illuminant spectral intensity)를 가질 수 있고, 종류에 따라 서로 상이한 분광 분포(spectral distribution)를 가질 수 있다.
외부 객체(10)는 촬영의 대상이 되는 객체(또는, 피사체)로서, 외부 객체(10)의 표면에 하나 이상의 색상을 포함할 수 있다. 예를 들어, 외부 객체(10)에 포함된 색상에 따라 외부 객체(10)는 서로 상이한 표면 분광 반사율(surface spectral reflectance)을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 카메라 모듈의 종류의 따라 서로 상이한 카메라 분광 감도(camera spectral sensitivity)를 가질 수 있다. 이에 따라, 전자 장치(101)가 획득한 이미지 정보(예: RGB 값)는 하기의 수학식 1에 의해 산출될 수 있다.
Figure PCTKR2018004315-appb-M000001
상기 수학식 1에서 R, G 및 B는 획득된 이미지의 R 값, G 값 및 B 값일 수 있다. 상기 L(λ)는 광원(20)의 파장에 따른 분광 강도이다. 상기 R(λ)는 외부 객체의 표면 분광 반사율일 수 있다. 상기
Figure PCTKR2018004315-appb-I000001
,
Figure PCTKR2018004315-appb-I000002
및
Figure PCTKR2018004315-appb-I000003
는 전자 장치(101)의 카메라 모듈의 카메라 분광 감도일 수 있다. 상기 k는 정규화 상수일 수 있다.
외부 객체(10)에 대한 이미지는 외부 객체(10)의 표면 분광 반사율뿐만 아니라 광원(20)의 분광 강도 및 카메라 모듈의 카메라 분광 감도에 따라 상이하게 생성될 수 있다. 사용자는 생성된 이미지를 통해 인식한 외부 객체(10)와 직접 인식한 외부 객체(10)를 상이하게 인식할 수 있다. 이에 따라, 전자 장치(101)는 사용자가 외부 객체(10)를 직접 인식하는 것과 동일하게 인식되도록 상기 획득된 이미지를 보정할 필요가 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 획득된 이미지의 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 상기 이미지에 대한 정보(예: 광원에 대한 정보)를 획득하기 위해 상기 이미지에 포함된 외부 객체(10)의 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 상기 색상 정보는, 예를 들어, 3가지 값을 포함하는 RGB(red-green-blue) 값, YUV 값 또는 YCbCr 값이거나, 4가지 값을 포함하는 RGBW(red-green-blue-white) 값 값 또는 CMYK(cyan-magenta-yellow-black) 값이거나, RGB 값에 시안(cyan) 및 마젠타(magenta) 값을 더 포함한 5가지 값일 수 있다.
일 실시 예에 따르면, 외부 전자 장치(108)는 상기 수신된 이미지에 대한 정보를 생성할 수 있다. 예를 들어, 외부 전자 장치(108)는 상기 수신된 이미지에 대한 광원(20)의 속성 정보를 생성할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(108)는 상기 생성된 광원(20)의 속성 정보를 전자 장치(101)로 송신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 수신된 이미지에 대한 정보를 이용하여 이미지를 보정할 수 있다. 예를 들어, 전자 장치(101)는 광원의 속성 정보를 이용하여 이미지의 색온도를 보정할 수 있다. 이에 따라, 전자 장치(101)는 사용자가 직접 외부 객체(10)를 인식하는 것과 동일한 이미지를 생성할 수 있다.
도 2는 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2을 참조하여, 네트워크 환경(100)에는 전자 장치(101) 는 근거리 무선 통신(198)을 통하여 전자 장치(102)와 통신하거나, 또는 네트워크(199)를 통하여 전자 장치 (104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)을 통하여 전자 장치(104)와 통신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입력 장치(150) (예: 마이크 또는 마우스), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 및 배터리(189), 통신 모듈(190), 및 가입자 식별 모듈(196)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는 구성요소들(120-190)을 서로 연결하고, 구성요소들 간의 신호(예: 제어 메시지 또는 데이터)를 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, GPU(graphic processing unit), 카메라의 이미지 시그널 프로세서(image signal processor(ISP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 일실시 예에 따르면, 프로세서(120)는 SoC(system on chip) 또는 SiP(system in package)으로 구현될 수 있다. 프로세서(120)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소들(예: 통신 모듈(190)) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다.
메모리(130)는, 휘발성 메모리(132) 또는 또는 비휘발성 메모리(134)를 포함할 수 있다. 휘발성 메모리(132)는, 예를 들면, RAM(random access memory)(예: DRAM, SRAM, 또는 SDRAM)로 구성될 수 있다. 비휘발성 메모리(134)는, 예를 들면, OTPROM(one time programmable read-only memory(ROM)), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD))로 구성될 수 있다. 또한, 비휘발성 메모리는, 전자 장치(101)와의 연결 형태에 따라, 그 안에 배치된 내장 메모리(136), 또는 필요시에만 연결하여 사용 가능한 스탠드-얼론 형태의 외장 메모리(138)로 구성될 수 있다. 외장 메모리(138)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card), 또는 메모리 스틱을 포함할 수 있다. 외장 메모리(138)는 유선(예: 케이블 또는 USB(universal serial bus)) 또는 무선(예: 블루투스)을 통하여 전자 장치(101)와 기능적으로 또는 물리적으로 연결될 수 있다.
메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 소트프웨어 구성요소, 예를 들어, 프로그램(140)에 관계된 명령 또는 데이터를 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 라이브러리(143), 어플리케이션 프레임워크(145), 또는 어플리케이션 프로그램(interchangeably "어플리케이션")(147)을 포함할 수 있다.
입력 장치(150)는, 마이크, 마우스, 또는 키보드를 포함할 수 있다. 일 실시 예에 따르면, 키보드는 물리적인 키보드로 연결되거나, 표시 장치(160)를 통해 가상 키보드로 표시될 수 있다.
표시 장치(160)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 디스플레이는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이는, 일 시예에 따르면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 디스플레이는 사용자의 터치, 제스쳐, 근접, 또는 호버링 입력을 감지할 수 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(interchangebly 포스 센서)를 포함할 수 있다. 상기 터치 회로 또는 압력 센서는 디스플레이와 일체형으로 구현되거나, 또는 디스플레이와는 별도의 하나 이상의 센서들로 구현될 수 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(101)의 내부 또는 외부에 위치할 수 있다.
오디오 모듈(170)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)(예: 마이크)를 통해 소리를 획득하거나, 또는 전자 장치(101)에 포함된 출력 장치(미도시)(예: 스피커 또는 리시버), 또는 전자 장치(101)와 연결된 외부 전자 장치(예: 전자 장치(102)(예: 무선 스피커 또는 무선 헤드폰) 또는 전자 장치(106)(예: 유선 스피커 또는 유선 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은, 예를 들면, 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 고도, 습도, 또는 밝기)를 계측 또는 감지하여, 그 계측 또는 감지된 상태 정보에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(예: 홍채센서, 지문 센서, 또는 HRM(heartbeat rate monitoring)센서, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서), 온도 센서, 습도 센서, 조도 센서, 또는 UV(ultra violet) 센서를 포함할 수 있다. 센서 모듈(176)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 프로세서(120) 또는 프로세서(120)와는 별도의 프로세서(예: 센서 허브)를 이용하여, 센서 모듈(176)을 제어할 수 있다. 별도의 프로세서(예: 센서 허브)를 이용하는 경우에는, 프로세서(120)가 슬립(sleep) 상태에 있는 동안, 프로세서(120)를 깨우지 않고 별도의 프로세서의 작동에 의하여 센서 모듈(176)의 동작 또는 상태의 적어도 일부를 제어할 수 있다.
인터페이스(177)는, 일 실시 예에 따르면, HDMI(high definition multimedia interface), USB(universal serial bus), 광 인터페이스(optical interface), RS-232(recommended standard232), D-sub(D-subminiature), MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다. 연결 단자(178)는 전자 장치(101)와 전자 장치(106)를 물리적으로 연결시킬 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있. 예를 들면, 햅틱 모듈(179)은 사용자에게 촉각 또는 운동 감각과 관련된 자극을 제공할 수 있다. 햅틱 모듈(179)은 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(180)는, 일 실시 예에 따르면, 하나 이상의 렌즈(예: 광각 렌즈 및 망원 렌즈, 또는 전면 렌즈 및 후면 렌즈), 이미지 센서, 이미지 시그널 프로세서, 또는 플래시(예: 발광 다이오드 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)의 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는, 예를 들면, 1차 전지, 2차 전지, 또는 연료 전지를 포함하여 외부 전원에 의해 재충전되어, 상기 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다.
통신 모듈(190)은, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(108)) 간의 통신 채널 수립 및 수립된 통신 채널을 통한 유선 또는 무선 통신을 수행을 지원할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192) 또는 유선 통신 모듈(194)을포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크와 같은 원거리 통신 네트워크)를 통하여 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104) 또는 서버(108))와 통신할 수 있다.
무선 통신 모듈(192)은, 예를 들면, 셀룰러 통신, 근거리 무선 통신, 또는 GNSS(global navigation satellite system) 통신을 지원할 수 있다. 셀룰러 통신은, 예를 들면, LTE(Long-Term Evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications)을 포함할 수 있다. 근거리 무선 통신은, 예를 들면, WiFi(wireless fidelity), WiFi Direct, LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN)을 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system)을 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다.
일 실시 예에 따르면, 상기 무선 통신 모듈(192)은, 셀룰러 통신을 지원하는 경우, 예를 들면, 가입자 식별 모듈(예: SIM 카드)(196)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)(예: 어플리케이션 프로세서 (AP))와 별개의 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 이런 경우, 커뮤니케이션 프로세서는, 예를 들면, 프로세서(120)가 인액티브(예: 슬립) 상태에 있는 동안 프로세서(120)를 대신하여, 또는 프로세서(120)가 액티브 상태에 있는 동안 프로세서(120)과 함께, 전자 장치(101)의 구성요소들(110-196) 중 적어도 하나의 구성 요소와 관련된 기능들의 적어도 일부 기능을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS 통신 모듈 중 해당하는 통신 방식만을 지원하는 복수의 통신 모듈들로 구성될 수 있다.
유선 통신 모듈(194)은, 예를 들면, LAN(local area network), 전력선 통신 또는 POTS(plain old telephone service)를 포함할 수 있다.
제 1 네트워크(198)는, 예를 들어, 전자 장치(101)와 제 1 외부 전자 장치(102)간의 무선으로 직접 연결을 통해 명령 또는 데이터를 송신 또는 수신 할 수 있는 WiFi direct 또는 블루투스를 포함할 수 있다. 제 2 네트워크(199)는, 예를 들어, 전자 장치(101)와 제 2 외부 전자 장치(104)간의 명령 또는 데이터를 송신 또는 수신할 수 있는 텔레커뮤니케이션 네트워크(예: 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크)를 포함할 수 있다.
실시 예들에 따르면, 상기 명령 또는 상기 데이터는 상기 제 2 네트워크에 연결된 서버(108)를 통해서 상기 전자 장치(101)와 제 2 외부 전자 장치(104)간에 송신 또는 수신될 수 있다. 제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102, 104), 또는 서버(108)에서 실행될 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(108))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(108))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 3은 일 실시 예에 따른 전자 장치의 일부 구성을 나타낸 블록도이다.
도 3을 참조하면, 전자 장치(101)는 카메라 모듈(180), 통신 모듈(190) 및 프로세서(120)를 포함할 수 있다. 도 3은 설명의 편의를 위해 도 2에 도시된 전자 장치 중 일부 구성요소만 도시하였으며, 도 2에서 기재된 설명 및 다른 구성 요소들은 도 3에도 적용될 수 있다.
카메라 모듈(180)은 렌즈 및 이미지 센서를 포함할 수 있다. 상기 렌즈는 외부로부터 카메라 모듈(180)로 입사하는 빛을 집광할 수 있다. 상기 집광된 빛은 조리개를 통해 상기 이미지 센서에 도달할 수 있다. 상기 이미지 센서는 복수의 단위 화소들을 통해 외부로부터 입사하는 빛을 수신하고, 상기 수신된 빛에 응답하여 전기적 신호를 생성할 수 있다. 상기 생성된 전기적 신호에 기초하여 이미지가 생성될 수 있다.
일 실시 예에 따르면, 통신 모듈(190)은 외부 전자 장치와 연결되어 데이터를 송수신할 수 있다. 예를 들어, 통신 모듈(190)은 이미지 정보를 외부 전자 장치(108)로 송신할 수 있다. 통신 모듈(190)은 외부 전자 장치(108)로부터 이미지에 대한 정보(예: 광원의 속성 정보)를 수신할 수 있다.
프로세서(120)는 전자 장치(101)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180)을 제어하여 외부 객체에 대한 이미지를 획득하고, 상기 획득된 이미지의 색온도를 보정할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 카메라 모듈(180)을 제어하여 하나 이상의 외부 객체에 대한 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 하나 이상의 외부 객체에 대한 프리뷰 이미지(preview image)를 획득할 수 있다. 다른 예를 들어, 프로세서(120)는 하나 이상의 외부 객체에 대한 캡쳐된 이미지(captured image)를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 외부 전자 장치(또는, 서버)(108)를 통해 지정된 외부 객체를 인식할 수 있다. 프로세서(120)는 카메라 모듈(180)을 통해 획득한 이미지(예: 프리뷰 이미지)를 스트리밍(streaming) 방식으로 외부 전자 장치(108)로 송신하고, 상기 이미지에 포함된 지정된 외부 객체에 대한 정보를 외부 전자 장치(108)로부터 수신하여 지정된 외부 객체를 인식할 수 있다. 다른 실시 예에 따르면, 프로세서(120)는 하나 이상의 외부 객체를 인식할 수 있다. 프로세서(120)는 상기 하나 이상의 외부 객체에 대한 정보(예: 색상 정보)를 외부 전자 장치(108)로 송신하고, 상기 인식된 하나 이상의 외부 객체 중 지정된 외부 객체에 대한 정보를 외부 전자 장치(108)로부터 수신하여 지정된 외부 객체를 인식할 수 있다. 또 다른 실시 예에 따르면, 프로세서(120)는 지정된 외부 객체에 대한 정보(예: 색상 정보 및 형태 정보)를 이용하여 지정된 외부 객체를 인식할 수 있다. 상기 지정된 외부 객체에 대한 정보는, 예를 들어, 전자 장치(101)에 포함된 메모리에 저장되어 있거나, 외부 전자 장치(108)로부터 지정된 수신될 수 있다. 프로세서(120)가 외부 전자 장치(108)를 통하지 않고 직접 지정된 외부 객체를 인식한 경우, 상기 외부 객체에 대한 정보(예: 외부 객체의 종류)를 외부 전자 장치(108)로 송신할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 획득된 이미지를 보정할 수 있다. 예를 들어, 프로세서(120)는 획득된 이미지의 색온도를 보정할 수 있다. 다시 말해서, 프로세서(120)는 상기 획득된 이미지의 화이트 밸런스(white balance)(WB)를 보정할 수 있다. 프로세서(120)는 다양한 광원에서 촬영된 이미지를 기준 광원(예: 색온도 5500K의 표준 태양광)에서 촬영된 이미지와 유사하게 보정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 이미지의 화이트 밸런스를 보정하기 위한 게인 값을 획득할 수 있다. 예를 들어, 프로세서(120)는 지정된 영역(또는, 단위 영역)의 RGB 값에 기초하여 화이트 밸런스를 보정하기 위한 R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값을 획득할 수 있다. 일 실시 예에서, 프로세서(120)는 하기의 수학식 2에 따라 보정된 R 값(R′) 및 B 값(B′)을 산출할 수 있다.
Figure PCTKR2018004315-appb-M000002
일 실시 예에 따르면, 프로세서(120)는 자동으로 이미지의 화이트 밸런스를 조절할 수 있다. 다시 말해서, 전자 장치(101)는 오토 화이트 밸런스(auto white balance)(AWB) 기능을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 외부 객체에 포함된 지정된 흰색 또는 지정된 회색을 이용하여 이미지의 화이트 밸런스를 보정할 수 있다. 예를 들어, 프로세서(120)는 이미지의 RGB 평균 값이 동일하다는 전제하에 지정된 영역(또는, 단위 영역)의 RGB 평균 값을 이용하여 R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값을 획득할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 지정된 외부 객체를 인식하여 이미지의 화이트 밸런스를 보정할 수 있다. 예를 들어, 프로세서(120)는 상기 인식된 외부 객체의 이미지 색상 정보를 외부 전자 장치(108)로 송신할 수 있고, 외부 전자 장치(108)를 통해 이미지를 보정하기 위해 필요한 정보를 수신하여 이미지의 화이트 밸런스를 보정할 수 있다. 상기 이미지를 보정하기 위해 필요한 정보는, 예를 들어, R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값을 획득하기 위한 이미지의 광원의 속성 정보일 수 있다. 상기 이미지를 보정하기 위해 필요한 정보는, 다른 예를 들어, 이미지의 화이트 밸런스를 보정하기 위한 R 게인(WB_Rgain) 값 및 B 게인(WB_Bgain) 값에 대한 정보일 수 있다.
일 실시 예에 따르면, 프로세서(120)는 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체 및 지정된 외부 객체 중 적어도 하나를 이용하여 이미지의 색온도를 보정할 수 있다. 예를 들어, 프로세서(120)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 인식된 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체를 이용하여 이미지의 색온도를 보정하고, 선택적으로 상기 지정된 외부 객체를 이용하여 상기 보정된 이미지를 보정할 수 있다. 프로세서(120)는, 예를 들어, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체를 이용하여 화이트 밸런스가 보정된 이미지와 기준 광원에 의한 상기 외부 객체의 이미지 사이의 오차가 지정된 오차 범위 이상인 경우, 지정된 외부 객체를 이용하여 이미지를 보정할 수 있다. 다른 실시 예를 들어, 프로세서(120)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 인식되지 않은 경우, 상기 지정된 외부 객체를 이용하여 이미지의 색온도를 보정할 수 있다
도 4는 일 실시 예에 따른 전자 장치가 획득된 이미지의 색온도를 보정하는 방법을 나타낸 흐름도이다.
일 실시 예에 따르면, 410 동작에서, 전자 장치(101)(예: 프로세서(120))는 카메라 모듈(180)을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)는 프리뷰 이미지 또는 캡쳐된 이미지를 획득할 수 있다.
일 실시 예에 따르면, 420 동작에서, 전자 장치(101)(예: 프로세서(120))는 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식할 수 있다. 예를 들어, 전자 장치(101)는 상기 획득된 이미지에 대한 정보를 외부 전자 장치(또는, 서버)(108)로 송신하고 그 응답을 수신함으로써 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 따르면, 430 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 인식된 외부 객체에 대응되는 이미지 색상 정보를 통신 모듈(190)을 통해 외부 전자 장치(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 상기 획득된 이미지에 포함된 상기 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 추가적으로, 전자 장치(101)는 상기 이미지 색상 정보와 함께 카메라 모듈(180)의 분광 특성 정보를 외부 전자 장치(108)로 송신할 수 있다.
일 실시 예에 따르면, 440 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신할 수 있다. 상기 기준 색상 정보는, 예를 들어, 상기 지정된 외부 객체를 기준 광원에서 촬영한 이미지의 색상 정보일 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 상기 이미지 색상 정보 및 상기 기준 색상 정보와 함께 상기 분광 특성 정보를 이용하여 상기 이미지에 대한 상기 광원의 속성 정보를 수신할 수 있다.
일 실시 예에 따르면, 450 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 광원의 속성 정보를 이용하여 상기 이미지의 색온도를 보정할 수 있다. 예를 들어, 전자 장치(101)는 상기 광원의 속성 정보를 이용하여 이미지의 화이트 밸런스를 보정하기 위한 게인 값은 획득하여 상기 이미지의 색온도를 보정할 수 있다.
이에 따라, 전자 장치(101)는 이미지에 대한 광원의 속성 정보를 이용하여 획득된 이미지를 기준 광원에서 촬영된 이미지와 유사하게 보정할 수 있다.
도 5 및 도 6은 일 실시 예에 따른 외부 전자 장치의 구성 및 데이터베이스에 저장된 정보를 나타낸 도면이다.
도 5를 참조하면, 외부 전자 장치(또는, 서버)(108)는 객체 데이터베이스(118a), 광원 데이터베이스(118b), 분광 특성 데이터베이스(118c) 및 광원 추정 모듈(128)을 포함할 수 있다. 본 문서에서 외부 전자 장치(108)는 설명의 편의 상 하나의 서버 개념으로 기술되지만, 일 실시 예에서, 외부 전자 장치(108)는 복수 개의 서버들의 집합에 해당할 수 있다. 예를 들어, 외부 전자 장치(108)는 객체 데이터베이스 서버, 광원 데이터베이스 서버, 및 광원 추정 기능을 수행하는 서버를 포함하는 개념으로 이해될 수 있다.
객체 데이터베이스(118a)는 지정된 외부 객체에 대한 정보를 저장할 수 있다. 상기 지정된 외부 객체는 색체 안정성(color stability)이 높은 객체일 수 있다. 상기 지정된 외부 객체는 동일한 객체 사이의 색상이 서로 동일(또는, 극히 유사)할 수 있다. 예를 들어, 상기 지정된 외부 객체는 색상이 지정된 설계치를 가지고 정량으로 색상의 편차가 관리되는 외부 객체일 수 있다. 다시 말해, 상기 지정된 외부 객체는 서로 동일한 외부 객체의 표면 색상이 지정된 색상에 대응되는 색상 정보를 기준으로 지정된 오차 범위 내의 색상 정보에 대응되는 외부 객체일 수 있다. 상기 지정된 외부 객체는, 예를 들어, 국가적으로 관리되는 공공 디자인 시설물(예: 우체통, 표지판, 신호등, 위험, 안전표시 또는 문화제 안내판), 국가적으로 색상이 지정된 물체(예: 국기 또는 화폐), 기업의 상징(예: 코카콜라 캔, 티파니 박스 또는 삼성의 로고) 또는 상업적 상품(예: 스마트폰, 가전제품 또는 식기)일 수 있다.
일 실시 예에 따르면, 객체 데이터베이스(118a)는 상기 지정된 외부 객체의 기준 색상 정보를 저장할 수 있다. 상기 기준 색상 정보는, 예를 들어, 지정된 외부 객체를 기준 광원에서 촬영한 이미지의 색상 정보일 수 있다. 다시 말해, 상기 기준 색상 정보는 지정된 외부 객체에 포함된 상표, 규격화된 색상 또는 표준화된 색상에 대응되는 고유 색상 정보를 포함할 수 있다. 또한, 객체 데이터 베이스(118a)는 상기 지정된 외부 객체를 인식하기 위한 형태 정보를 저장할 수 있다.
일 실시 예에 따르면, 객체 데이터베이스(118a)는 상기 지정된 외부 객체를 지정된 기준(criteria)으로 평가하여 획득된 신뢰도 지수(reliability index)(RI)에 대한 정보를 추가적으로 저장할 수 있다. 상기 신뢰도 지수는 예를 들어 하기의 수학식 3에 의해 산출될 수 있다.
Figure PCTKR2018004315-appb-M000003
상기 수학식 3에서 상기 C1, C2, C3, C4 및 C5는 서로 다른 지정된 기준이다. 상기 W1, W2, W3, W4 및 W5는 지정된 기준의 가중치이다. 다시 말해, 상기 가중치는 지정된 기준의 우선 순위에 따라 결정될 수 있다. 상기 지정된 기준은, 예를 들어, 색체 안정성(color stability), AWB 적합성(AWB suitability) 및 인식 정확성(recognizability) 중 적어도 하나를 포함할 수 있다. 상기 색체 안정성은 동일한 객체 사이의 색상이 서로 유사한 정도를 평가하는 지수일 수 있다. 상기 색체 안정성은 색이 정확하게 표현되어 있는 상태(또는, 색표현 정확도) 및 색이 변색될 가능성(또는, 색의 손상도) 중 적어도 하나로 산출될 수 있다. 상기 AWB 적합성은 화이트 밸런스를 조절하는데 얼마나 정확하고 충분한 정보를 포함하고 있는지를 평가하는 지수일 수 있다. 상기 AWB 적합성은 객체내 지정된 색상(예: 하얀색)이 포함된 정도를 기준으로 산출될 수 있다. 상기 인식 정확성은 객체가 신속하고 정확하게 인식되는 정도를 평가하는 지수일 수 있다. 상기 인식 정확성은 형태의 특이성, 인식되는 크기, 형태의 변이도 및 패턴의 복잡도 중 적어도 하나로 산출될 수 있다. 상기 인식의 정확성은 형태가 특이하고, 인식되는 크기가 크고, 형태의 변이가 적고, 패턴이 복잡하지 않은 경우 높을 수 있다.
일 실시 예에 따르면, 객체 데이터베이스(118a)는 상기 지정된 외부 객체의 색상에 기반한 종류에 따라 분리하여 상기 지정된 외부 객체에 대한 정보를 저장할 수 있다. 예를 들어, 도 6을 참조하면, 객체 데이터베이스(118a)는 공공 디자인의 색상(610), 저장된 색상(620), 기업의 상징 색상(630), 국가적으로 지정된 색상(예: ISO 국제 표준화 기구의 색체 표준, ANSI 미국 규격 협회의 색체 표준, OSHA 미국 직업안전 및 보건법령에 따른 색체 표준, EU-OSHA 유럽 직업안전 및 보건기관의 색체 표준, 한국 산업 규격에 따른 색체 표준)(640), 상업적 상품 색상(650), 피부 색상(예: 백인, 흑인 또는 동양인)(660) 및 자연 색상(예: 하늘, 태양, 나무 또는 잔디)(670) 중 적어도 하나에 대한 정보로 분리하여 저장할 수 있다. 예를 들어, 외부 전자 장치(108)는 전자 장치(101)의 GPS와 같은 위치 정보에 기반하여 전자 장치(101)이 위치하는 국가를 판단하고, 그 국가에 대응되는 공공재의 색상(610)을 결정(또는, 이용)할 수 있다. 일 실시 예에 따르면, 객체 데이터베이스(118a)에 저장된 외부 객체에 대한 정보는 클라우드 ISP 환경(cloud ISP environment)에 연결되어 지정된 객체를 인식하는데 이용될 수 있다. 여기서 클라우드 ISP 환경은 외부 전자 장치(108)에 의해 구현 가능한 클라우드 환경을 의미할 수 있다.
광원 데이터베이스(118b)는 복수의 광원들에 대한 정보를 저장할 수 있다. 상기 광원에 대한 정보는, 예를 들어, 파장에 따른 발광체 분광 강도에 대한 정보일 수 있다. 일 실시 예에 따르면, 광원 데이터베이스(118b)는 광원의 종류에 따라 광원에 대한 정보를 저장할 수 있다. 예를 들어, 하기의 표 1을 참조하면, 광원 데이터베이스(118b)는 인공광원에 대한 정보 및 자연광원에 대한 정보를 저장할 수 있다. 상기 인공광원에 대한 정보는, 예를 들어, 색온도에 따라 촛불, 백열등, 형광등 및 LED(light emitting diode)에 대한 정보를 포함할 수 있다. 상기 자연광원에 대한 정보는, 예를 들어, 색온도에 따라 시간대 별 태양광 또는 날씨 별 태양광에 대한 정보를 포함할 수 있다.
색온도 별 실내 인공 광원
1 ~ 2000K 촛불
2 2000 ~ 2500K 백열등
3 2500 ~ 3000K 가정용 텅스텐
4 2600 ~ 3150K 텅스텐
5 3000 ~ 3500K 형광등 soft white
6 3200 ~ 3700K 형광등 warm white
7 3900 ~ 4500K 형광등 white
8 4600 ~ 5400K 형광등 day white
9 5700 ~ 7100K 형광등 daylight
10 2600 ~ 3700K LED warm white
11 3700 ~ 5000K LED neutral white
12 5000 ~ 10000K LED cool white
색온도 별 야외 자연 광원
13 2000 ~ 3000K 일출/일몰의 태양광
14 3500K 일출 1시간 후와 일몰 1시간 전의 태양광
15 4000 ~ 4500K 오전 10시 ~ 오후 3시의 태양광
16 4000 ~ 4800K 아침저녁 무렵 야외 태양광
17 5000 ~ 5500K 정오의 태양광
18 5500 ~ 6500K 일광의 평균
19 6500 ~ 7000K 구름 낀 흐린 날, 맑은 날 및 그늘진 곳의 태양광
20 7500 ~ 8400K 매우 흐른 날 및 안개 낀 날의 태양광
21 10000 ~ 20000K 맑은 날 북쪽하늘 및 맑은 날 설원
22 20000 ~ 27000K 물에 반사된 파란하늘
분광 특성 데이터베이스(118c)는 전자 장치(101)의 분광 특성 정보를 저장할 수 있다. 예를 들어, 분광 특성 데이터베이스(118c)는 전자 장치(101)의 각 종류(예: 모델명, ID) 별로 분광 특성 정보를 저장할 수 있다. 일 실시 예에 따르면, 분광 특성 데이터 베이스(118c)는 전자 장치(100)로부터 수신된 분광 특성 정보를 저장할 수 있다. 상기 분광 특성 정보를 통해 이미지 센서의 분광 데이터(spectral data)를 도출하여 RGB 값을 산출하는데 이용할 수 있다.
광원 추정 모듈(128)은 객체 데이터베이스(118a)에 저장된 정보를 이용하여 지정된 외부 객체를 인식할 수 있다. 예를 들어, 광원 추정 모듈(128)은 전자 장치(101)로부터 하나 이상의 외부 객체를 획득한 이미지를 스트리밍 방식으로 수신하고, 상기 지정된 외부 객체에 대한 정보를 이용하여 상기 촬영된 이미지에 포함된 지정된 외부 객체를 인식할 수 있다. 다른 예를 들어, 광원 추정 모듈(128)은 전자 장치(101)로부터 인식된 하나 이상의 외부 객체에 대한 정보를 수신하고, 상기 하나 이상의 외부 객체 중 적어도 하나를 지정된 외부 객체로 인식할 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 지정된 외부 객체의 기준 색상 정보 및 형태 중 적어도 하나에 대한 정보를 이용하여 상기 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 인식된 외부 객체에 대한 정보를 전자 장치(101)로 송신할 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 복수의 지정된 외부 객체들을 인식할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)는 상기 인식된 복수의 지정된 외부 객체들의 신뢰도 지수(confidence index)를 이용하여 적어도 하나의 지정된 외부 객체를 인식할 수 있다. 예를 들어, 광원 추정 모듈(128)은 지정된 외부 객체의 신뢰도 지수에 따라 상기 적어도 하나의 지정된 외부 객체 중 지정된 지수 이상의 외부 객체를 선택할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 객체 데이터베이스(118a) 및 광원 데이터베이스(118b)에 저장된 정보를 이용하여 이미지의 광원을 추정할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 인식된 외부 객체의 기준 색상 정보를 이용하여 선택된 광원에 대응되는 모의 색상 정보를 획득할 수 있다. 상기 모의 색상 정보는, 예를 들어, 광원 데이터베이스(118b)에 저장된 광원 중 선택된 하나의 광원을 이용하여 획득된 색상 정보일 수 있다. 일 실시 예에 다르면, 광원 추정 모듈(128)은 수신되거나 분광 특성 데이터베이스(118c)에 저장된 전자 장치(101)의 카메라 모듈(180)의 분광 특성 정보를 추가적으로 이용하여 모의 색상 정보를 획득할 수 있다. 이에 따라, 광원 추정 모듈(128)은 하기의 수학식 4에 의해 지정된 외부 객체의 모의 색상 정보(RS, GS, BS)를 산출할 수 있다.
Figure PCTKR2018004315-appb-M000004
상기 수학식 4에서 상기 Ls(λ)는 선택된 광원의 파장에 따른 분광 강도이다. 상기 R(λ)는 지정된 외부 객체의 표면 분광 반사율일 수 있다. 상기 표면 분광 반사율은, 예를 들어, 지정된 외부 객체의 기준 색상 정보를 통해 획득될 수 있다. 상기
Figure PCTKR2018004315-appb-I000004
,
Figure PCTKR2018004315-appb-I000005
및
Figure PCTKR2018004315-appb-I000006
는 전자 장치(101)의 카메라 모듈의 카메라 분광 감도일 수 있다. 상기 k는 정규화 상수일 수 있다. 이에 따라, 광원 추정 모듈(128)는 선택된 광원에 대한 지정된 외부 객체의 모의 색상 정보(예: RGB 값)을 획득할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 획득된 모의 색상 정보를 전자 장치(101)로부터 수신된 이미지 색상 정보와 비교하여 수신된 색상 정보에 대한 광원을 추정할 수 있다. 예를 들어, 광원 추정 모듈(128)는 하기의 수학식 5를 이용하여 상기 수신된 색상 정보와 상기 모의 색상 정보의 차이 값(또는, 거리(distance))(D)을 산출할 수 있다.
Figure PCTKR2018004315-appb-M000005
상기 수학식 5에서 Rs, Gs 및 Bs는 모의 색상 정보의 RGB 값일 수 있다. Rr, Gr 및 Br은 수신된 색상 정보의 RGB 값일 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 획득된 차이 값이 지정된 범위 내이면 선택된 광원을 상기 수신된 색상 정보에 대한 광원(또는, 추정 광원)으로 결정할 수 있다. 일 실시 예에 따르면, 광원 추정 모듈(128)은 상기 획득된 차이 값이 지정된 범위 내인 광원이 복수개인 경우 차이 값이 가장 작은 광원을 추정 광원으로 결정할 수 있다. 이 경우 상기 지정된 범위는 이전에 획득된 차이 값 중 가장 작은 차이 값에 해당될 수 있다. 다시 말해서, 이전에 획득된 차이 값보다 더 작은 차이 값이 획득되면, 상기 지정된 범위는 동적으로 변경된다. 만약 더 이상 작은 차이 값이 획득되지 않으면, 외부 전자 장치(108)는 현재의 차이 값에 해당하는 선택 광원을 추정 광원으로 결정할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)는 상기 결정된 광원에 대한 정보를 전자 장치(101)로 송신할 수 있다. 예를 들어, 광원 추정 모듈(128)는 상기 결정된 광원의 속성 정보를 전자 장치(101)로 송신할 수 있다. 다른 예를 들어, 광원 추정 모듈(128)는 상기 광원의 속성 정보에 기초하여 이미지를 보정할 수 있는 게인 값을 획득하여 전자 장치(101)로 송신할 수 있다.
일 실시 예에 따르면, 광원 추정 모듈(128)은 광원을 추정하기 위한 동작을 실행하기 위해 프로세서(128a)를 포함할 수 있다. 예를 들어, 광원 추정 모듈(128)은 광원을 추정하기 위한 각각의 동작을 실행하기 위해 복수의 프로세서를 포함할 수 있다. 상기 복수의 프로세서는, 예를 들어, 각각 일부 연산을 수행하고, 수행된 결과 다른 프로세서로 전달할 수 있다.
도 7은 일 실시 예에 따른 외부 전자 장치가 전자 장치에서 획득된 이미지에 대한 광원을 추정하는 방법을 나타낸 흐름도이다.
일 실시 예에 따르면, 710 동작에서, 외부 전자 장치(또는, 서버)(108)(예: 프로세서(128a))는 인식된 외부 객체의 이미지 색상 정보를 수신할 수 있다. 전자 장치(101)는 외부 전자 장치(108)를 통해 지정된 외부 객체를 인식하고, 상기 인식된 외부 객체의 이미지 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(108)는 카메라 모듈(180)의 분광 특성 정보를 수신할 수 있다.
일 실시 예에 따르면, 720 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 인식된 외부 객체의 기준 색상 정보를 이용하여 선택된 광원에 대응되는 모의 색상 정보를 획득할 수 있다. 외부 전자 장치(108)는 광원 데이터베이스(118b)에 저장된 복수의 광원들 중 하나의 광원을 선택하고, 상기 기준 색상 정보를 통해 획득된 표면 분광 반사율을 이용하여 상기 모의 색상 정보를 획득할 수 있다.
일 실시 예에 따르면, 730 동작에서, 외부 전자 장치(108) (예: 프로세서(128a))는 상기 인식된 외부 객체의 이미지 색상 정보와 상기 모의 색상 정보의 차이 값을 획득할 수 있다.
일 실시 예에 따르면, 740 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 차이 값이 지정된 범위 내인지 판단할 수 있다. 예를 들어, 외부 전자 장치(108)는 상기 차이 값이 지정된 범위 내가 아니라면, 광원 데이터베이스(108b)에 저장된 복수의 광원들 중 다른 하나의 광원을 선택하고, 모의 색상 정보를 다시 획득할 수 있다(720).
일 실시 예에 따르면, 750 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 차이 값이 지정된 범위 내라면, 선택된 광원을 추정 광원으로 결정할 수 있다.
일 실시 예에 따르면, 760 동작에서, 외부 전자 장치(108)(예: 프로세서(128a))는 상기 추정된 광원에 대한 정보를 전자 장치(101)로 송신할 수 있다. 상기 추정된 광원에 대한 정보는 광원의 속성 정보 또는 상기 속성 정보에 기초하여 획득된 게인 값(예: 이미지의 화이트 밸런스를 보정하기 위한 게인 값)일 수 있다. 이에 따라, 전자 장치(101)는 상기 결정된 광원에 대한 정보를 수신하여, 획득된 이미지의 색온도를 보정할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 지정된 흰색 또는 지정된 회색을 이용한 이미지의 화이트 밸런스를 보정하는 방법에 추가적으로 지정된 외부 객체를 통한 화이트 밸런스를 보정하는 방법을 수행할 수 있다. 예를 들어, 전자 장치(101)는 하나 이상의 외부 객체들 중 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는지 판단하고, 지정된 흰색 또는 지정된 회색을 이용하여 이미지의 화이트 밸런스를 보정할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 없는 경우, 상기 하나 이상의 외부 객체들 중 적어도 하나의 상기 지정된 외부 객체를 인식할 수 있다. 전자 장치(101)는 지정된 외부 객체을 이용하여 이미지의 색 온도를 보정할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 지정된 흰색 또는 지정된 회색을 이용한 이미지의 화이트 밸런스를 보정을 수행하고, 추가적으로 지정된 외부 객체를 인식함으로써 에러율을 감소시키고 효율적으로 이미지의 화이트 밸런스를 보정할 수 있다.
도 8은 일 실시 예에 따른 이미지 처리 시스템에서 이미지를 처리하는 방법을 나타낸 도면이다.
도 8을 참조하면, 전자 장치(101)는 외부 전자 장치(또는, 서버)(108)를 통해 제공될 수 있는 클라우드 ISP 환경을 통해 이미지를 보정하기 위한 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 광원(20)에서 하나 이상의 외부 객체를 촬영하여 이미지(30)를 획득할 수 있다. 상기 획득된 이미지는 지정된 외부 객체의 이미지를 포함할 수 있다. 이 과정은 도 4의 동작 410에 대응될 수 있다.
일 실시 예에 따르면, 810 동작에서, 전자 장치(101)는 지정된 외부 객체를 인식할 수 있다. 지정된 외부 객체는 코카콜라 캔(10a) 및 저장된 색상을 포함하는 컵(10b)일 수 있다. 상기 지정된 색은, 예를 들어, 팬톤 컬러(pantone color)에 따른 색상일 수 있다. 이 과정은 도 4의 동작 420에 대응될 수 있다.
일 실시 예에 따르면, 820 동작에서, 전자 장치(101)는 지정된 외부 객체에 대한 색상 정보를 외부 전자 장치(108)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 코카콜라 캔(10a) 및 지정된 색을 포함하는 컵(10b)의 색상 정보(R_raw, G_raw 및 B_raw)를 외부 전자 장치(108)로 송신할 수 있다. 이 과정은 도 4의 동작 430 및 도 7의 동작 710에 대응될 수 있다.
일 실시 예에 따르면, 830 동작에서, 외부 전자 장치(108)는 상기 지정된 외부 객체의 기준 색상 정보를 이용하여 모의 색상 정보를 획득할 수 있다. 예를 들어, 외부 전자 장치(108)는 코카콜라 캔(10a) 및 지정된 색을 포함하는 컵(10b)의 기준 색상 정보를 이용하여, 선택된 광원에 대한 모의 색상 정보(R_sim, G_sim 및 B_sim)를 획득할 수 있다. 상기 기준 색상 정보 및 상기 선택된 광원에 대한 정보는 객체 데이터베이스(118a) 및 광원 데이터베이스(118b)로부터 획득될 수 있다. 이 과정은 도 7의 동작 720에 대응될 수 있다.
일 실시 예에 따르면, 840 동작에서, 외부 전자 장치(108)는 상기 수신된 외부 객체의 이미지 색상 정보와 상기 획득된 모의 색상 정보의 차이 값을 획득할 수 있다. 예를 들어, 코카콜라 캔(10a) 및 지정된 색을 포함하는 컵(10b)의 이미지 색상 정보(R_raw, G_raw 및 B_raw)와 모의 색상 정보(R_sim, G_sim 및 B_sim)의 거리를 획득할 수 있다. 이 과정은 도 7의 동작 730에 대응될 수 있다.
일 실시 예에 따르면, 850 동작에서, 외부 전자 장치(108)는 상기 획득된 차이 값이 지정된 범위 내인지 판단할 수 있다. 외부 전자 장치(108)는 상기 차이 값이 지정된 범위 내가 아닌 경우, 다른 광원을 선택하여 다시 모의 색상 정보를 획득할 수 있다. 외부 전자 장치(108)는 상기 차이 값이 지정된 범위 내인 경우, 선택된 광원을 추정 광원으로 결정하고, 상기 추정 광원에 대한 정보를 전자 장치(101)로 송신할 수 있다. 이 과정은 도 7의 동작 740, 750, 및 760에 대응될 수 있다.
일 실시 예에 따르면, 860 동작에서, 전자 장치(101)는 상기 추정 광원의 속성 정보를 수신할 수 있다. 전자 장치(101)는 상기 속성 정보에 기초하여 산출된 게인 값(WB_Rgain 및 WB_Bgain)을 획득할 수 있다. 이 과정은 도 4의 동작 440에 대응될 수 있다.
일 실시 예에 따르면, 870 동작에서, 전자 장치(101)는 상기 획득된 게인 값(WB_Rgain 및 WB_Bgain)을 이용하여 이미지를 보정할 수 있다. 예를 들어, 전자 장치(101)는 코카콜라 캔(10a) 및 저장된 색상을 포함하는 컵(10b)의 보정된 이미지(30´)를 출력할 수 있다. 이 과정은 도 4의 동작 450에 대응될 수 있다.
이에 따라, 전자 장치(101)는 클라우드 ISP 환경의 매스 데이터베이스(mass database)를 이용하여 지정된 외부 객체를 인식하고, 획득된 이미지에 대한 광원을 추정하여 이미지를 보정할 수 있다.
다른 실시 예에 따르면, 전자 장치(101)는, 충분한 처리 능력(processing power)와 메모리를 갖는 경우, 외부 전자 장치(108)의 동작을 수행할 수 있다. 예를 들어, 전자 장치(101)는 메모리에 저장된 외부 객체에 대한 정보를 이용하여 직접 지정된 외부 객체를 인식하고, 메모리에 저장된 기준 색상 정보 및 광원 정보를 이용하여 획득된 이미지에 대한 광원을 추측하고, 상기 추측된 광원의 속성 정보를 이용하여 게인 값을 획득하여 이미지를 보정할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 외부 객체에 대한 정보, 기준 색상 정보 및 광원 정보가 메모리에 저장되어 있지 않은 경우 외부 전자 장치(108)로부터 필요한 정보를 수신할 수 있다.
도 9는 일 실시 예에 따른 전자 장치가 이미지의 색온도를 보정하는 방법을 나나탠 흐름도이다.
도 9를 참조하면, 전자 장치(101)는 이미지의 광원의 속성 정보를 결정하여 지정된 외부 객체를 인식하여 이미지의 색온도를 보정할 수 있다.
일 실시 예에 따르면, 910 동작에서, 전자 장치(101)(예: 프로세서(120))는 카메라 모듈(180)을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득할 수 있다.
일 실시 예에 따르면, 920 동작에서, 전자 장치(101)(예: 프로세서(120))하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식할 수 있다.
일 실시 예에 다르면, 930 동작에서, 전자 장치(101)(예: 프로세서(120))는 상기 인식된 외부 객체에 대응되는 이미지의 색상 정보 및 상기 인식된 외부 객체의 기준 색상 정보를 이용하여 이미지의 광원 속성 정보를 결정할 수 있다. 예를 들어, 전자 장치(101)는 메모리에 저장된 상기 인식된 외부 객체의 기준 색상 정보를 이용하거나, 상기 인식된 외부 객체의 기준 색상 정보를 외부 전자 장치(108)로부터 수신할 수 있다.
일 실시 예에 따르면, 940 동작에서, 전자 장치(101)(예: 프로세서(120)는 상기 광원 속성 정보를 이용하여 이미지의 색온도를 보정할 수 있다.
도 10a 및 도 10b는 일 실시 예에 따른 외부 전자 장치가 지정된 외부 객체에 대해 서로 다른 분광 분포를 포함하는 광원을 구별하는 방법을 설명하기 위한 그래프이다.
도 10a를 참조하면, 전자 장치(101)는 서로 다른 분광 분포를 포함하는 복수의 광원들에 의한 지정된 객체의 분광 분포가 동일한 경우, 상이한 광원을 획득된 이미지에 대한 광원으로 추정할 수 있다. 예를 들어, 전자 장치(101)는 지정된 외부 객체의 표면 분광 반사율이 지정된 범위의 파장에 집중되어 있는 경우, 상기 지정된 범위의 파장에서 유사한 분광 분포를 포함하는 복수의 광원들(예: 제1 광원 및 제2 광원)을 서로 구별하기 어려울 수 있다.
도 10b를 참조하면, 전자 장치(101)는 서로 다른 파장대에서 지정된 비율 이상의 표면 분광 반사율을 갖는 복수의 색상들(예: 제1 색상, 제2 색상)을 포함하는 지정된 외부 객체를 인식할 수 있다. 예를 들어, 전자 장치(101)는 상기 복수의 색상들이 포함된 하나의 지정된 외부 객체를 인식할 수 있다. 다른 예를 들어, 전자 장치(101)는 상기 복수의 색상들이 각각 포함된 복수의 지정된 외부 객체들을 인식할 수 있다. 이에 따라, 전자 장치(101)는 획득된 이미지에 대한 광원을 정확하게 추정할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 디스플레이에 표시된 사용자 인터페이스(user interface)를 나타낸 도면이다.
도 11을 참조하면, 전자 장치(101)는 사용자 인터페이스(user interface)(UI)를 통해 이미지를 보정하기 위한 기능의 실행 여부를 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 획득된 이미지(1110)에 지정된 외부 객체의 이미지가 포함되어 있지 경우, 이미지의 색온도를 보정하기 위한 처리 기능을 오프(off)시킬 수 있다. 전자 장치(101)는 상기 이미지를 보정하기 위한 처리 기능이 오프되어 있음을 UI(1120)을 통해 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 획득된 이미지(1110´)에 지정된 외부 객체(예: 코카콜라 캔)(10)가 포함되어 있는 경우, 이미지의 색온도를 보정하기 위한 처리 기능을 온(on)시킬 수 있다. 전자 장치(101)는 상기 이미지를 보정하기 위한 처리 기능이 온되어 있음을 UI(1120´)을 통해 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 인식된 외부 객체에 대한 정보(예: 캔(can) / 붉은색(red))(1111´)를 상기 이미지(또는, 프리뷰 이미지)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 UI(1120, 1120´)통해 사용자 입력을 수신하여 이미지를 보정하기 위한 기능을 온 또는 오프시킬 수 있다. 예를 들어, 전자 장치(101)는 UI(1120)를 통해 사용자의 터치 입력을 수신하여 이미지를 보정하기 위한 기능을 온 또는 오프시킬 수 있다.
도 1 내지 도 11에 따른 본 발명의 다양한 실시 예에 따르면, 전자 장치(101)는 지정된 외부 객체를 인식하고, 상기 인식된 외부 객체에 대한 색상 정보를 기준 색상 정보와 비교하여 획득된 이미지에 대한 광원의 속성 정보를 획득할 수 있고, 상기 광원의 속성 정보를 이용하여 이미지의 색온도를 보정하기 위한 게인 값을 획득함으로써 특정 색상을 인식하지 못하더라도 광원에 의해 색상 정보가 변경된 이미지를 기준 광원에서 촬영된 이미지로 보정할 수 있다. 전자 장치(101)는 복수의 지정된 외부 객체들을 인식함으로써 획득된 이미지의 색온도를 보정하기 위한 더욱 명확하게 게인 값을 획득할 수 있다.
또한, 전자 장치(101)는 상기 지정된 외부 객체를 인식하고 획득된 이미지에 대한 광원의 속성 정보를 획득할 때, 외부 전자 장치(또는, 서버)(108)의 데이터베이스의 축적된 외부 객체 및 광원에 대한 정보를 이용함으로써 신속하고 명확하게 이미지의 색온도를 보정하기 위한 게인 값을 획득할 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 설정된(adapted to or configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 설정된 (또는 구성된) 프로세서"는 해당 동작들을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치(예: 메모리)에 저장된 하나 이상의 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 AP)를 의미할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서)에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체(예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램 모듈) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소를 더 포함할 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램 모듈)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라 모듈;
    통신 모듈; 및
    상기 카메라 모듈 및 상기 통신 모듈과 전기적으로 연결된 프로세서;를 포함하고,
    상기 프로세서는,
    상기 카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하고,
    상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하고,
    상기 통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 외부 전자 장치로 송신하고,
    상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하고,
    상기 외부 전자 장치로부터 수신된 상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정하도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 지정된 외부 객체는 서로 동일한 외부 객체의 표면 색상이 지정된 색상에 대응되는 색상 정보를 기준으로 지정된 오차 범위 내의 색상 정보에 대응되는 색상에 대응되는 외부 객체인 전자 장치.
  3. 청구항 1에 있어서,
    상기 프로세서는 상기 획득된 이미지에 상기 인식된 외부 객체에 대한 정보를 표시하도록 설정된 전자 장치.
  4. 청구항 1에 있어서,
    상기 프로세서는,
    상기 카메라 모듈에 대응되는 분광 특성 정보를 서버로 송신하고,
    상기 이미지 색상 정보 및 상기 기준 색상 정보와 함께 상기 분광 특성 정보를 이용하여 결정된 상기 이미지에 대한 상기 이미지에 대한 상기 광원의 속성 정보를 수신하도록 설정된 전자 장치.
  5. 청구항 1에 있어서,
    상기 기준 색상 정보는, 상기 적어도 하나의 지정된 외부 객체에 포함된 상표, 규격화된 색상 또는 표준화된 색상에 대응되는 고유 색상 정보를 포함하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 프로세서는,
    상기 하나 이상의 외부 객체들 중 지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는지 판단하고,
    상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 없는 경우, 상기 하나 이상의 외부 객체 중 상기 적어도 하나의 상기 지정된 외부 객체를 인식하는 전자 장치.
  7. 청구항 4에 있어서,
    상기 프로세서는,
    상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 있는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체 및 상기 지정된 외부 객체 중 적어도 하나를 이용하여 상기 이미지의 색온도를 보정하도록 설정된 전자 장치.
  8. 청구항 7에 있어서,
    상기 프로세서는,
    상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체가 인식된 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체를 이용하여 상기 이미지의 색온도를 보정하고, 선택적으로 상기 지정된 외부 객체를 이용하여 상기 보정된 이미지를 보정하도록 설정된 전자 장치.
  9. 청구항 1에 있어서,
    상기 프로세서는,
    상기 지정된 외부 객체를 지정된 기준으로 평가하여 획득된 신뢰도 지수(reliability index)를 이용하여 상기 적어도 하나의 지정된 외부 객체를 인식하도록 설정된 전자 장치.
  10. 청구항 9에 있어서,
    상기 프로세서는,
    상기 지정된 외부 객체의 신뢰도 지수에 따라 상기 적어도 하나의 지정된 외부 객체 중 지정된 지수 이상의 외부 객체를 선택하고, 상기 선택된 객체를 인식하도록 설정된 전자 장치.
  11. 청구항 9에 있어서,
    상기 지정된 기준은 색체 안정성(color stability), AWB 적합성(AWB suitability) 및 인식 정확성(recognisibility) 중 적어도 하나를 포함하는 전자 장치.
  12. 청구항 1에 있어서,
    상기 프로세서는,
    서로 상이한 파장대에서 지정된 비율 이상의 분광 반사율을 갖는 복수의 색상들을 포함하는 상기 적어도 하나의 지정된 외부 객체를 인식하도록 설정된 전자 장치.
  13. 이미지의 색온도를 보정하는 방법에 있어서,
    카메라 모듈을 이용하여 하나 이상의 외부 객체들에 대한 이미지를 획득하는 동작;
    상기 하나 이상의 외부 객체들 중 적어도 하나의 지정된 외부 객체를 인식하는 동작;
    통신 모듈을 통해 상기 인식된 적어도 하나의 지정된 외부 객체에 대응되는 이미지 색상 정보를 서버로 송신하는 동작;
    상기 외부 전자 장치로부터, 상기 이미지 색상 정보 및 상기 적어도 하나의 지정된 외부 객체에 대응되는 기준 색상 정보를 이용하여 결정된 상기 이미지에 대한 광원의 속성 정보를 수신하는 동작; 및
    상기 속성 정보를 이용하여, 상기 이미지의 색 온도를 보정하는 동작;을 포함하는 방법.
  14. 청구항 13에 있어서,
    상기 카메라 모듈에 대응되는 분광 특성 정보를 상기 서버로 송신하는 동작;을 더 포함하고,
    상기 이미지에 대한 광원의 속성 정보를 수신하는 동작은,
    상기 이미지 색상 정보 및 상기 기준 색상 정보와 함께 상기 분광 특성 정보를 이용하여 결정된 상기 이미지에 대한 상기 이미지에 대한 상기 광원의 속성 정보를 수신하는 동작;을 포함하는 방법.
  15. 청구항 13에 있어서,
    상기 이미지의 색 온도를 보정하는 동작은,
    지정된 흰색 또는 지정된 회색을 포함하는 외부 객체가 있는 경우, 상기 지정된 흰색 또는 상기 지정된 회색을 포함하는 외부 객체의 이미지 정보 및 상기 속성 정보 중 적어도 하나를 이용하여 상기 이미지의 색 온도를 보정하는 동작;을 포함하는 방법.
PCT/KR2018/004315 2017-04-17 2018-04-13 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법 WO2018194318A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/605,260 US11252389B2 (en) 2017-04-17 2018-04-13 Electronic apparatus for correcting color temperature of captured image using reference color information corresponding to external object, and method for controlling electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170049368A KR102457634B1 (ko) 2017-04-17 2017-04-17 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
KR10-2017-0049368 2017-04-17

Publications (1)

Publication Number Publication Date
WO2018194318A1 true WO2018194318A1 (ko) 2018-10-25

Family

ID=63856624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004315 WO2018194318A1 (ko) 2017-04-17 2018-04-13 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법

Country Status (3)

Country Link
US (1) US11252389B2 (ko)
KR (1) KR102457634B1 (ko)
WO (1) WO2018194318A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106113A (ko) * 2019-02-26 2020-09-11 주식회사 틸투원 컨볼루션 뉴럴 네트워크 모델을 이용한 이미지의 원색 복원 장치 및 방법
JP7455656B2 (ja) * 2020-05-18 2024-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20230105233A (ko) * 2022-01-03 2023-07-11 삼성전자주식회사 이미지 기반의 이미지 효과를 제공하는 전자 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010046716A (ko) * 1999-11-15 2001-06-15 윤종용 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
KR20110054145A (ko) * 2009-11-17 2011-05-25 연세대학교 산학협력단 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
WO2012115332A1 (ko) * 2011-02-21 2012-08-30 (주)엔써즈 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
US9288374B1 (en) * 2012-09-10 2016-03-15 Amazon Technologies, Inc. Systems and methods for updating camera characteristics using a remote computing device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100356018B1 (ko) 1999-12-06 2002-10-18 한국전자통신연구원 색 정보를 이용한 영상 색인 및 검색방법
JP4529210B2 (ja) * 1999-12-27 2010-08-25 凸版印刷株式会社 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
FR2832528B1 (fr) 2001-11-22 2004-02-13 Eastman Kodak Co Determination d'un illuminant d'une image numerique en couleur par segmentation et filtrage
JP2005286548A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 有彩色の撮像対象を表す部分の影響を抑えたカラーバランス調整
KR100604355B1 (ko) 2004-05-13 2006-07-25 (주)일성자동화 철도 승강장의 안전사고 방지 방법
JP5160655B2 (ja) * 2011-01-12 2013-03-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US9007484B2 (en) 2011-10-12 2015-04-14 Apple Inc. Alleviating dominant color failure in automatic white balance using histogram trimming
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
US10432849B2 (en) * 2016-04-22 2019-10-01 Ebay Inc. Image modification based on objects of interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010046716A (ko) * 1999-11-15 2001-06-15 윤종용 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
KR20110054145A (ko) * 2009-11-17 2011-05-25 연세대학교 산학협력단 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
WO2012115332A1 (ko) * 2011-02-21 2012-08-30 (주)엔써즈 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
US9288374B1 (en) * 2012-09-10 2016-03-15 Amazon Technologies, Inc. Systems and methods for updating camera characteristics using a remote computing device

Also Published As

Publication number Publication date
KR20180116704A (ko) 2018-10-25
US20210144352A1 (en) 2021-05-13
US11252389B2 (en) 2022-02-15
KR102457634B1 (ko) 2022-10-21

Similar Documents

Publication Publication Date Title
AU2017210821B2 (en) Electronic device and method for controlling the same
WO2018216992A1 (en) Electronic device for processing image acquired by using camera and method for operating the same
WO2018182285A1 (ko) 디스플레이의 균열을 감지하기 위한 회로 및 이를 포함하는 전자 장치
WO2018043908A1 (en) Method for estimating illuminance and an electronic device thereof
KR102281256B1 (ko) 화이트 밸런스 제어 방법 및 그 전자 장치
WO2018174493A1 (ko) 피부에 해당하는 이미지 처리 영역을 보정하는 방법 및 전자 장치
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2019004657A1 (en) WIRELESS COMMUNICATION METHOD WITH EXTERNAL DEVICE AND ELECTRONIC DEVICE SUPPORTING THE SAME
WO2019035643A1 (en) ELECTRONIC BIOMETRIC INFORMATION ACQUISITION DEVICE USING DISPLAY LIGHT AND METHOD OF OPERATING THE SAME
WO2016006734A1 (ko) 생체정보를 인식하는 방법 및 장치
WO2019039698A1 (ko) 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
WO2015133847A1 (en) Method and apparatus for detecting user input in an electronic device
WO2016039582A1 (en) Method and apparatus for recognizing iris
WO2018194318A1 (ko) 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
EP3874485A1 (en) Electronic device with illuminance sensor mounted at back side of display and method for measuring illuminance using illuminance sensor
WO2018174674A1 (en) Electronic device and method for authenticating biometric data thorough plural cameras
WO2019045497A1 (ko) 디스플레이를 포함하는 전자 장치 및 이를 보정하는 방법
WO2019245197A1 (en) Biometric information sensing device and controlling method thereof
WO2020242254A1 (en) Electronic device obtaining skin image and method of controlling the same
WO2020106104A1 (en) Electronic device for providing meditation contents and operating method thereof
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2015156623A1 (en) Electronic device and method for providing environment information
WO2018101676A1 (ko) 전자 장치 및 그의 제어 방법
WO2020116754A1 (en) Electronic device and method for acquiring depth information of object using the same
WO2019164326A1 (ko) 실시간 콘텐트 데이터를 공유하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18787473

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18787473

Country of ref document: EP

Kind code of ref document: A1