WO2020171576A1 - 이미지 효과 적용 방법 및 이를 지원하는 전자 장치 - Google Patents

이미지 효과 적용 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2020171576A1
WO2020171576A1 PCT/KR2020/002367 KR2020002367W WO2020171576A1 WO 2020171576 A1 WO2020171576 A1 WO 2020171576A1 KR 2020002367 W KR2020002367 W KR 2020002367W WO 2020171576 A1 WO2020171576 A1 WO 2020171576A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
image
candidate light
candidate
specified
Prior art date
Application number
PCT/KR2020/002367
Other languages
English (en)
French (fr)
Inventor
김은호
박재형
원종훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020171576A1 publication Critical patent/WO2020171576A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • Embodiments disclosed in this document are related to an image effect application technology.
  • photographing devices or image pickup devices
  • electronic devices such as smart phones and tablet PCs include a camera module and provide a function of taking a picture or video.
  • the electronic device or photographing device
  • the lens of the photographing apparatus serves to condense the received light.
  • Lenses have the most basic function of condensing light, but they also play a role in diversifying photographic expression techniques.
  • the out-of-focus technique, an apodization filter, and a star effect are typical examples of the above expression technique. Since most photographing apparatuses use an angled aperture composed of a plurality of parts, a light splitting effect can be automatically implemented through diffraction of light during photographing.
  • the camera module of the electronic device in which the F value of the lens is fixed may not automatically implement the light splitting effect by using a different aperture than the photographing device.
  • the artificial light splitting effect due to image processing may differ from the actual light splitting phenomenon due to optical characteristics of the photographing apparatus.
  • various embodiments of the present disclosure include a method for applying an image effect to obtain a more natural image by applying an image effect similar or identical to an optical characteristic applied to a photographing device (eg, light splitting effect, Star-Effect), and It is intended to provide an electronic device supporting this.
  • a photographing device eg, light splitting effect, Star-Effect
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, wherein the at least one processor comprises: Using, at least one image is obtained, clustering is performed by detecting saturated pixels with saturated brightness in the image, and at least one candidate light source is calculated based on the clustered saturated pixels, and the at least one candidate A pixel corresponding to the boundary surface of the at least one candidate light source is set to apply a specified image effect to the at least one candidate light source or exclude application of the specified image effect based on the boundary surface information of the light source.
  • Information, and the pixel information may include a coordinate value of a pixel.
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor uses the camera.
  • at least one image is obtained
  • clustering is performed by detecting saturated pixels with saturated brightness in the image
  • at least one candidate light source is calculated based on the clustered saturated pixels
  • the at least one candidate light source To perform at least one specified condition check on and apply a specified image effect to the at least one candidate light source according to the at least one specified condition check result, or apply the specified image effect in relation to the at least one candidate light source. It can be set to exclude.
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor uses the camera.
  • at least one image is obtained
  • clustering is performed by detecting saturated pixels with saturated brightness in the image
  • at least one candidate light source is calculated based on the clustered saturated pixels
  • the at least one candidate light source It may be set to exclude the application of the light splitting effect in relation to the at least one candidate light source according to at least one of the size, number, and shape of the concave portion in the center direction of the at least one candidate light source at the boundary of.
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor uses the camera.
  • a continuous image is obtained, and the current image is determined by comparing it with the previous image, and if the movement is less than a specified size, the light source calculation result calculated from the previous image and the light source calculation result calculated from the current image are used. It may be set to process the application of the image effect of the light source including the saturated pixels, and when the motion exceeds the specified size, process the application of the image effect of the light source including the saturated pixels only with the light source calculation result calculated from the current image. have.
  • the embodiments of the present disclosure selectively apply image effects, thereby reducing application of unnatural image effects and assisting in obtaining natural images.
  • FIG. 1 is a configuration diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing a configuration of a main processing unit according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present disclosure.
  • FIG. 4 is a timing signal diagram illustrating a method of extracting a point light source using a short exposure image and an appropriate exposure image according to an exemplary embodiment of the present disclosure.
  • FIG. 5 is a graph illustrating a method of tracking an amount of light using a plurality of images of different exposures according to an exemplary embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a graph corresponding to a lookup table for applying a light source effect according to an embodiment of the present invention.
  • FIG. 7A is a diagram illustrating an example of a method of selecting a first light source according to an exemplary embodiment of the present disclosure.
  • FIG. 7B is a diagram illustrating an example of an image related to application of a first light source selection method according to an embodiment of the present disclosure.
  • FIG. 8A is a diagram illustrating an example of an image related to application of a second light source selection method according to an exemplary embodiment of the present disclosure.
  • 8B is a diagram illustrating an example of an image related to application of a second light source selection method according to an exemplary embodiment of the present disclosure.
  • 9A is a diagram illustrating an example of an image related to application of a third light source selection method according to an exemplary embodiment of the present disclosure.
  • 9B is a diagram illustrating an example of an image related to application of a third light source selection method according to an exemplary embodiment of the present disclosure.
  • FIG. 10A is a diagram illustrating an example of an image related to application of a fourth light source selection method according to an exemplary embodiment of the present disclosure.
  • FIG. 10B is a diagram illustrating an example of an image related to application of a fourth light source selection method according to an exemplary embodiment of the present disclosure.
  • 11A is a diagram illustrating an example of an image related to application of a fifth light source selection method according to an exemplary embodiment of the present disclosure.
  • 11B is a diagram illustrating an example of an image related to application of a fifth light source selection method according to an exemplary embodiment of the present disclosure.
  • FIG. 12A is a diagram illustrating an example of an image related to application of a sixth light source selection method according to an exemplary embodiment of the present disclosure.
  • FIG. 12B is a diagram illustrating an example of an image related to application of a sixth light source selection method according to an exemplary embodiment of the present disclosure.
  • FIG. 13A is a diagram illustrating an example of an image related to applying a method of adjusting a selective light source according to an exemplary embodiment of the present disclosure.
  • 13B is a diagram illustrating an example of an image related to adjustment of a selected light source according to an embodiment of the present disclosure.
  • 14A is a diagram illustrating an example of an image related to applying a method of excluding a first light source according to an exemplary embodiment of the present disclosure.
  • 14B is a diagram illustrating an example of an image related to applying a method of excluding a first light source according to an exemplary embodiment of the present disclosure.
  • 15A is a diagram illustrating an example of an image related to applying a method of excluding a second light source according to an exemplary embodiment of the present disclosure.
  • 15B is a diagram illustrating an example of an image related to applying a method of excluding a second light source according to an exemplary embodiment of the present disclosure.
  • 16 is a diagram illustrating an example of an image related to application of a third light source exclusion method according to an exemplary embodiment of the present disclosure.
  • 17 is a diagram illustrating an example of an image related to applying a method of selecting a light source according to an exemplary embodiment of the present disclosure.
  • FIG. 18 is a diagram illustrating an example of a configuration of an electronic device related to an image effect application process in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • 19 is a diagram illustrating an example of a method of applying an image effect in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • 20 is a diagram illustrating a method of setting a region related to application of an image effect in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • IIR Infinite Impulse Response
  • FIG. 22 is a diagram illustrating an example of an image storage method in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • FIG. 23 is a diagram illustrating an example of applying an image effect according to occurrence of a motion according to various embodiments of the present disclosure.
  • 24 is a diagram illustrating a comparison example of application of an image effect to continuously received images according to various embodiments of the present disclosure.
  • 25 is a block diagram of an electronic device 2501 (eg, the electronic device 101) in a network environment 2500 according to various embodiments.
  • FIG. 1 is a configuration diagram of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 may be a device or a camera that collects light reflected from an external subject to take a picture or video.
  • the electronic device 101 includes a lens unit 110, a shutter unit 120, an image sensor 130, a sensor interface 135, an image processing unit 140, a post-processing unit 165, a first memory 170, and A display 180 may be included.
  • the lens unit 110, the shutter unit 120, the image sensor 130, and the sensor interface 135 constitute a camera
  • the image processing unit 140 and The post-processing unit 165 may constitute at least one processor.
  • the lens unit 110 may collect light that reaches the device from the subject.
  • the collected light may be imaged on the image sensor 130.
  • the shutter unit 120 controls the amount of light transmitted to the image sensor 110 through the lens unit 110 by performing a slit driving, thereby adjusting the exposure amount of the image sensor 110.
  • the shutter unit 120 may be configured as a shutter having a mechanical shape, or may be configured as an electronic shutter that performs a shutter operation through control of a sensor.
  • the shutter unit 120 may include a shutter electronically configuring only the first curtain (the front shutter layer).
  • the image sensor 130 may convert light into electronic image data through a photoelectric conversion effect.
  • Image data may be transmitted to the image processing unit 140 through the sensor interface 135.
  • the image sensor 130 may include a group of pixels arranged in two dimensions, and may convert light from each pixel into electronic image data.
  • the image sensor 130 may adjust the amount of light (exposure amount) transmitted to the image sensor 130 by adjusting the shutter unit 120 at an exposure time determined by the image processing unit 140.
  • the image sensor 130 may further include a mechanism or structure serving as a variable aperture that adjusts the amount of light before the imaged light reaches.
  • the image sensor 130 may read electronic image data according to the photoelectric conversion effect recorded in each pixel (read-out).
  • the sensor interface 135 may perform an interface between the image sensor 130 and the image processing unit 140.
  • the sensor interface 135 may be located in front of or behind the preprocessor 150 according to the configuration of the electronic device 101.
  • the image processing unit 140 may output image data collected by the image sensor 130 to the display 180 or store it in the first memory 170 through various processing processes.
  • the image processing unit 140 may include a pre-processing unit 150 and a main processing unit 160.
  • the pre-processor 150 may perform a function such as image matching or gamma processing before the main processing unit (or image processing unit) 160 performs image processing. For example, when there is a shake between a plurality of consecutively photographed images, the preprocessor 150 may remove or reduce the shake component through an image matching process.
  • the main processing unit 160 may perform digital signal processing on an image signal processed through the preprocessor 150.
  • the main processing unit 160 may correct and synthesize a signal received from the preprocessor 150 to generate an entire image signal, and then control the entire image signal to be displayed through the display 180.
  • the main processing unit 160 may perform a function of controlling overall operations such as amplification, conversion, and processing of signals.
  • the main processing unit 160 includes a light source including saturated pixels having a specified value or more (eg, pixels having a specified amount of light or more) among light sources (or light source regions, hereinafter light sources) included in an image. It is possible to calculate the position and brightness, and apply an image effect (or light source effect) (eg, light splitting effect) around the point where each light source is located. According to various embodiments, the main processing unit 160 selects at least one of an image acquired in a low-light environment below a specified value, a plurality of images (or frames) having the same exposure, or a plurality of images having different exposures.
  • a light source including saturated pixels having a specified value or more (eg, pixels having a specified amount of light or more) among light sources (or light source regions, hereinafter light sources) included in an image. It is possible to calculate the position and brightness, and apply an image effect (or light source effect) (eg, light splitting effect) around the point where each light source is located. According to various embodiments, the main processing unit
  • the main processing unit 160 may check whether the light source is moved by using a plurality of images acquired in a preview mode or a moving picture recording mode (or function).
  • the main processing unit 160 processes the application of the image effect based on the calculation result of the light source of the current frame when the light source is moved more than a specified size in the preview mode or the video recording mode, and calculates the light source of the previous frame when the light source is moved below the specified size
  • the image effect application can be processed by synthesizing the result and the light source calculation result of the current frame.
  • the post-processing unit 165 may perform additional image processing on an image received from the main processing unit 160.
  • the post-processing unit 165 may perform subsequent processing using color, image processing such as face detection or subject tracking.
  • a selective image effect application function for selectively applying image effects to light sources including saturated pixels equal to or greater than a specified value according to a specified condition, and in preview mode (or video shooting mode). It has been described that the image processing function of is controlled by the main processing unit 160, but the selective image effect application function and the image processing function in the preview (or moving picture shooting mode) may be performed by the post-processing unit 165.
  • the post-processing unit 165 checks whether specified conditions are satisfied for candidate light sources (or candidate light source regions, hereinafter candidate light sources) scheduled to apply an image effect including saturated pixels equal to or greater than a specified value in the light source calculation result. Thus, you can selectively apply image effects.
  • the post-processing unit 165 may apply an image effect according to the light source calculation result of a plurality of images according to whether the light source is moved in the preview mode (or the video recording mode) or the image effect according to the light source calculation result of the currently acquired image. Can be applied.
  • the post-processing unit 165 may store the image signal provided by the main processing unit 160 in the first memory 170 or display it on the display 180. For example, the post-processing unit 165 may convert and transmit an image signal in a format supported by the first memory 170 or the display 180.
  • the first memory 170 may store an image processed by the image processing unit 140.
  • the display 180 may output image data processed by the image processing unit 140 so that a user can check it.
  • FIG. 2 is a block diagram showing a configuration of a main processing unit according to an embodiment of the present disclosure.
  • the configuration of FIG. 2 is classified according to functions and may be partially omitted or integrated.
  • the main processing unit 160 may receive data on at least one image or a plurality of images continuously (or within a specified time interval) captured from the preprocessor 150.
  • the main processor 160 when receiving data on an image acquired at a specific illuminance (eg, -3ev low illuminance) from the preprocessor 150, calculates candidate light sources based on the received data. , By applying a specified condition to the calculated candidate light sources, an image effect may be applied by selecting a candidate light source satisfying the specified condition.
  • a specific illuminance eg, -3ev low illuminance
  • the main processing unit 160 may receive data for a plurality of images having the same exposure time.
  • the main processing unit 160 may receive data for a plurality of images having different exposure times.
  • the main processing unit 160 includes a first exposure taken according to a first exposure time (or an appropriate exposure time, a reference exposure time, a user-set exposure time, or an automatically set exposure time, for example, 1/16 s).
  • An image (or an appropriate exposure image) and a second exposure image (eg, a short exposure image) photographed according to a second exposure time shorter than the first exposure time may be received.
  • the main processor 160 may analyze a light source using the first exposure image and the second exposure image, and selectively apply various effects (eg, light splitting effect) to the stored appropriate exposure image.
  • an appropriate exposure image and a short exposure image may be sequentially photographed.
  • the preprocessor 150 when there is shaking of an image between a proper exposure image and a short exposure image, the preprocessor 150 performs an image matching process, and the resulting image may be transmitted to the main processing unit 160.
  • an appropriate exposure image and a short exposure image may have different exposure times.
  • a short exposure image may be input to the main processing unit 160 first, and then, an appropriate exposure image may be input to the main processing unit 160.
  • an appropriate exposure image may be input to the main processing unit 160 first, and then, a short exposure image may be input to the main processing unit 160.
  • the electronic device 101 may store and wait for a short exposure image or an appropriate exposure image in advance to shorten the shutter lag.
  • the previously stored short exposure image or the appropriate exposure image may be an image in which light splitting does not occur at the light source (saturated point) by an optical effect.
  • the main processing unit 160 includes a location extraction unit 210, a storage unit 215, a pixel determination unit 220, a light source selection unit 225, a light quantity calculation unit 230, and an effect application unit ( 240), and a lookup table 245.
  • the main processing unit 160 may further include at least one of an ambient condition detection unit 235 and a color temperature detection unit 250.
  • the classification is a classification according to a function, and some components may be combined or additional components may be included. For example, the ambient condition detection unit 235 and the color temperature detection unit 250 may be omitted from the main processing unit 160 according to a design change.
  • the location extractor 210 may determine a light source area from a low-illumination image (an image obtained in a relatively low-illuminance setting according to the setting). According to various embodiments, the location extracting unit 210 may determine a light source area from an appropriate exposure image and a short exposure image. For example, the location extractor 210 may check a point (eg, a location of a saturated pixel) having a brightness equal to or greater than a specified value. The location extraction unit 210 determines the start and end coordinates and pixel gains of brightness pixels equal to or greater than a preset value for each readout line of the image sensor 130 for the short exposure image, and stores them in the storage unit 215. I can.
  • a point eg, a location of a saturated pixel
  • the location extracting unit 210 stores the corresponding pixels when pixels that shake more than a specified number are continuous by applying hysteresis. It can be stored in 215. According to various embodiments of the present disclosure, the location extractor 210 may determine the size of the light source region based on a low-illuminance image or an appropriate exposure image (an image obtained from a value defined as an appropriate exposure according to a setting). According to various embodiments, the location extraction unit 210 may calculate a light source whose location is changed through light source comparison (or comparison of light source regions) of a plurality of exposed images. The location extracting unit 210 may store the locations of the moving light sources in the storage unit 215 when the location of the light source is changed, for example, when the light source in the plurality of exposure images moves by a predetermined size or more.
  • the pixel determiner 220 may discriminate and mark a saturated pixel (or pixel).
  • the pixel determiner 220 may determine a saturated pixel with saturated brightness (eg, a pixel having a maximum luminance value of the pixel) for each readout line for the short exposure image. Coordinate information of the start and end of the readout line for the determined saturated pixel may be stored in the storage unit 215.
  • the light source selection unit 225 calculates candidate light sources by clustering the determined saturated pixels, and determines whether the candidate light sources satisfy at least one light source selection condition among designated conditions or at least one light source exclusion condition. You can check if you are satisfied.
  • the light source selection condition may include, for example, a condition in which the length (eg, vertical length or horizontal length) of the candidate light source is equal to or greater than a first designated value.
  • the light source selection conditions are the first axis length (if the light source area forms a certain surface, an arbitrary first axis length with respect to the surface) and the second axis length (eg, the first axis length) of the candidate light source (or candidate light source area).
  • the light source selection condition may include a condition in which an area of the candidate light source is equal to or less than a third specified value or a condition in which a figure having a predetermined size including a candidate light source is allocated and an area ratio of the candidate light source and the figure is equal to or less than a second specified value.
  • the light source selection condition may include a condition in which a figure having a predetermined size including a candidate light source is allocated and the number of pixels of the candidate light source positioned at a boundary line of the figure is equal to or less than a fourth specified value.
  • the light source selection condition may include a condition in which a ratio of a size of a candidate light source in a short exposure image and a size of a candidate light source in an appropriately exposed image is equal to or greater than a fifth designated value.
  • the light source selection condition may include a condition in which the complexity of the candidate light source (a light source forms a plane and a complexity according to the number of line segments or inflection points of the plane) is equal to or less than a sixth designated value.
  • the light source exclusion condition is a case where the shape of the candidate light source deviates from the specified shape, for example, when there is a boundary line toward the center of the candidate light source among the boundary lines of the candidate light source, or at least some of the line segments connecting arbitrary pixels included in the candidate light source are candidate light sources. It may include cases that exist outside.
  • the light source exclusion condition may include a condition in which a straight line having a maximum length of the candidate light source is positioned at a boundary line of the candidate light source. ??
  • the light amount calculation unit 230 includes the position of the point light source in the image detected by the position extraction unit 210 and coordinate information of the saturated pixel determined by the pixel determination unit 220, and the light source selection unit ( 225), the actual amount of light from the light source can be calculated.
  • the light amount calculation unit 230 may calculate the actual amount of light of the light source from the short exposure image or the appropriate exposure image.
  • the light amount calculation unit 230 reflects the exposure difference (e.g., 16 times), and refers to the light amount of the adjacent unsaturated pixels around the saturated pixels. You can calculate the actual amount of light.
  • the color temperature detector 250 may obtain the saturated pixels determined by the pixel determiner 220 or a color temperature value of a candidate light source in which saturated pixels are clustered. When the color temperature value of the candidate light source is a designated value, the color temperature detector 250 may provide light source exclusion information to the light source selector 225. According to an embodiment, when the color temperature of the candidate light source is a color temperature value indicating a fluorescent lamp or a neon sign, the color temperature detection unit 250 may provide the light source exclusion information to the light source selection unit 225.
  • the ambient condition detector 235 may detect a density of candidate light sources and adjust a gain value of the candidate light source according to the density.
  • the ambient condition detection unit 235 is configured when a relatively large number of other candidate light sources are disposed within a designated area in which a specific candidate light source is located, or when the size of another candidate light source is larger than a specified size, the specific candidate light source The gain value of can be lowered by a specified amount.
  • the ambient condition detection unit 235 determines the gain value of the specific candidate light source when relatively few other candidate light sources are disposed within a designated area in which a specific candidate light source is located, or when the size of another candidate light source is smaller than a designated size. Can be as high as possible.
  • the size of the image effect to be applied to the corresponding light source may vary. For example, when the gain value increases, the size of the Star-Effect increases, and when the gain value decreases, the size of the Star-Effect may decrease.
  • the effect application unit 240 may apply an image effect based on the calculated amount of light.
  • the effect application unit 240 refers to the look-up table 245 and replaces the saturated pixel or a designated area centered on the saturated pixel according to a specified ratio according to the light amount tracking value, thereby creating an image effect (eg, light splitting effect). Can be applied.
  • the effect application unit 240 may check the ambient condition transmitted from the ambient condition detection unit 235 and adjust the size of the image effect to be applied according to the ambient condition.
  • the post-processing unit 165 may store the image signal provided by the main processing unit 160 in the first memory 170 or display it on the display 180.
  • the post-processing unit 165 may convert and transmit an image signal in a format supported by the first memory 170 or the display 180.
  • the post-processing unit 165 may selectively apply an image effect by applying a light source selection condition or a light source exclusion condition for applying the image effect of the candidate light source.
  • the post-processing unit 165 may apply an image effect based on a plurality of images according to a movement of a light source in a preview mode (or a video capture mode), or may apply an image effect using only the current image.
  • FIG. 3 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present disclosure.
  • 4 is a timing signal diagram illustrating a method of extracting a point light source using a short exposure image and an appropriate exposure image according to an exemplary embodiment of the present disclosure.
  • the location extraction unit 210 of the main processing unit 160 receives at least one image data from the preprocessor 150.
  • the location extraction unit 210 may receive a low-light image.
  • the low-illuminance image may include an image acquired in an illuminance setting such as -3ev or -5ev.
  • the location extraction unit 210 may receive a short exposure image 410 and an appropriate exposure image 420.
  • the gain (gain) ratio excluding the exposure time of the short exposure image 410 and the appropriate exposure image 420 is N (e.g., N is a natural number), and the exposure time of the short exposure image 410 is t, the appropriate exposure The exposure time of the image 420 may be N*t.
  • the short exposure image 410 and the appropriate exposure image 420 may be photographed at a specific F value (aperture value) according to an external illumination environment.
  • the specific F value may be changed according to the performance of the camera (eg, the electronic device 101).
  • the location extraction unit 210 of the main processing unit 160 may determine a point (or pixel) having a brightness equal to or greater than a specified value using the low-illumination image or the short-exposure image 410. .
  • the location extractor 210 may acquire start and end coordinates and pixel gains of brightness pixels equal to or greater than a preset value, and store the obtained information in the storage unit 215.
  • the amount of light may be calculated in the process of detecting a point having a brightness greater than or equal to the specified value.
  • the pixel determination unit 220 of the main processing unit 160 may determine and mark a saturated pixel using the low-illuminance image or the short exposure image 410.
  • the pixel determiner 220 may store coordinate information of the start and end of a line unit of the determined saturated pixel in the storage unit 215.
  • the calculation of the amount of light may be performed in the process of determining the saturated pixel.
  • the light source selection unit 225 of the main processing unit 160 may perform clustering of saturated pixels.
  • the clustering operation may be performed by the pixel determination unit 220 of the main processing unit 160.
  • the main processing unit 160 may cluster adjacent saturated pixels within a specified distance among saturated pixels during a clustering process and allocate identification information to the clustered saturated pixels. The identification information may be used to identify candidate light sources.
  • the light source selection unit 225 of the main processing unit 160 may detect candidate light sources after clustering is performed, and store information on each candidate light source in the storage unit 215.
  • the light source selection unit 225 of the main processing unit 160 may check whether at least one light source condition designated for candidate light sources is satisfied.
  • the specified at least one light source condition may include the aforementioned light source selection condition and light source exclusion condition.
  • the light source selection condition is a condition for selecting a light source to which an image effect is to be applied from among candidate light sources
  • the light source exclusion condition may include a condition for identifying a light source to which the image effect is not applied among candidate light sources.
  • the light source selection unit 225 may select and apply only some of the above-described various conditions, set different weights of each condition, or perform a stepwise condition application.
  • the light source selection unit 225 of the main processing unit 160 may select a light source to which an image effect is to be applied according to whether at least one specified condition is satisfied.
  • the light source selection unit 225 may select at least one light source that simultaneously satisfies a plurality of conditions among a plurality of light source selection conditions.
  • the light source selector 225 may select the remaining candidate light sources excluding the candidate light sources according to the light source exclusion condition.
  • the light source selection unit 225 may select at least one light source that satisfies at least one of a plurality of light source selection conditions while satisfying the light source exclusion condition.
  • the light amount calculation unit 230 of the main processing unit 160 calculates the actual amount of light of the light source subject based on the detected position of the light source and coordinate information of the saturated pixel or identification information of the selected light source. Can be calculated.
  • the light amount calculating unit 230 may extract the actual amount of light of the saturated portion through a fitting operation using adjacent pixels that are not saturated.
  • the calculation of the actual amount of light by the light amount calculation unit 230 may be performed before the clustering operation (eg, position calculation or saturation pixel determination operation).
  • the image sensor 130 may read a brightness value for each pixel (lead out).
  • the pixel determination unit 220 may extract the coordinates and brightness values of the point light source 411 and store them in the storage unit 215.
  • the light amount calculation unit 230 may check adjacent pixels in a state before being saturated around a pixel saturated by the point light source 411.
  • the light amount calculation unit 230 may extract the actual amount of light of the saturated portion through a fitting operation. Two adjacent pixels that are not saturated may be required to perform the fitting operation.
  • the two adjacent pixels may be obtained by using values around the saturated pixels of the low-light image or short-exposed image 410, and may be obtained using the short-exposed image 410 and the appropriately exposed image 420, or the appropriate exposure. It can also be obtained using only the image 420.
  • the ambient condition detection unit 235 of the main processing unit 160 may detect the ambient condition of the selected light source. For example, the ambient condition detection unit 235 may select an arbitrary candidate light source from among the candidate light sources, and calculate a light source density within a certain area including the selected candidate light source. In this regard, the ambient condition detection unit 235 may check how many other candidate light sources are located in a predetermined area based on the candidate light source and what a distance to the candidate light source is. The ambient condition detector 235 may adjust a gain of the calculated amount of light according to the calculated density. Alternatively, the ambient condition detection unit 235 may transmit the calculated density to the effect application unit 240.
  • the effect applying unit 240 of the main processing unit 160 may apply an image effect (eg, a light splitting effect) by referring to the lookup table 245.
  • the effect application unit 240 may adjust a gain according to the density provided by the ambient condition detector 235 and then apply the image effect.
  • FIG. 5 is a graph illustrating a method of tracking an amount of light using a plurality of images of different exposures according to an exemplary embodiment of the present disclosure.
  • the light amount calculating unit 230 may calculate an actual amount of light of a saturated portion through a fitting operation.
  • the light amount calculating unit 230 may infer a value of the amount of light of the saturated region by using the surrounding value of the saturated pixel. Through this, it is possible to extract the amount of light in the saturated area even without increasing the number of times the short exposure image is captured.
  • the light amount calculating unit 230 uses the Nth image having the shortest exposure time among the N images, The amount of light can be calculated.
  • the N-th image 530 eg, Exposure N
  • an appropriate exposure image eg, the first image 510 or Exposure 1
  • a point light source or a saturated portion is Except for most, they can have matching values. Since the Nth image 530 is a short exposure image, the image quality of the unsaturated portion may be degraded compared to the appropriate exposure image, and noise (eg, removed during filtering) may be performed according to the sensor's capability value and exposure ratio. May be. On the other hand, the N-th image 530 may obtain a value with relatively high accuracy near the saturated pixel.
  • the first slope value is calculated by fitting the two pixels 511 and 521 before saturation using a linear equation, and then the two pixels 522, 512) can be calculated by fitting a linear equation to obtain a second slope value.
  • the light amount calculator 230 may calculate the amount of light in the saturated pixel by using a smaller value of the first gradient value and the second gradient value.
  • saturated pixels in a proper exposure image may not be saturated in a short exposure image (eg, the N-th image 530), in this case, a short exposure
  • the amount of light from the light source can be calculated.
  • the light amount calculation unit 230 introduces a global or regional variable throughout the image You can perform calculations to correct the amount of light. In this case, a high-quality image can be obtained in which the relative ratio of the amount of light of the saturation point light sources is kept constant.
  • FIG. 6 is a diagram illustrating a graph corresponding to a lookup table for applying a light source effect according to an embodiment of the present invention.
  • a lookup table (eg, lookup table 245) may store graphs 601a and 601b of an image effect (eg, light splitting effect).
  • the lookup table may store numerical values displayed on the graphs 601a and 601b in the form of a table.
  • the graphs 601a and 601b represent light splitting point spread function (PSF).
  • Light splitting PSF can change in size depending on the brightness of the point light source. Light splitting occurs due to diffraction and may vary depending on the brightness of the light source.
  • the light splitting PSF may be in a shape having a gain that rapidly decreases from the center 630 to the periphery.
  • the size (or length) of the blade 631 is determined by limiting the gain to below the saturation level according to the brightness of the point light source extracted in the previous step, as a result of which the size is changed. Can be seen through.
  • the intermediate value of the gain is omitted.
  • FIG. 7A is a diagram illustrating an example of a method of selecting a first light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 detects the length of a candidate light source as a light source having a predetermined length or more is required to apply an image effect. Can be done.
  • the main processor 160 may calculate candidate light sources by performing clustering on the detected saturated pixels.
  • the main processing unit 160 may allocate identification information to the candidate light source and collect coordinate information of the candidate light source based on coordinate information of each saturated pixel.
  • the main processing unit 160 may store coordinate information and identification information of candidate light sources calculated in the storage unit 215.
  • the main processing unit 160 may select an arbitrary candidate light source and calculate a horizontal length (or vertical length) of the candidate light source. According to an embodiment, the main processor 160 may select saturated pixels located at a boundary of the candidate light source based on coordinate information of saturated pixels included in the candidate light source, and calculate a length between the selected saturated pixels.
  • the main processing unit 160 may check whether the detected length is included between the first designated minimum value Th1m and the first designated maximum value Th1M.
  • the first designated minimum value Th1m may include, for example, a distance of 2 to 10 pixels.
  • the first designated maximum value Th1M may include a distance of 80 to 100 pixels.
  • the first designated minimum value Th1m and the first designated maximum value Th1M may vary according to settings. According to various embodiments, the first specified minimum value (Th1m) and the first specified maximum value (Th1M) may be larger or smaller depending on the magnification (or camera magnification) and resolution of the image. have.
  • the main processing unit 160 may select a candidate light source in operation 705.
  • the main processing unit 160 may apply a designated image effect (eg, Star-Effect) to the selected light source.
  • a designated image effect eg, Star-Effect
  • the main processing unit 160 displays a light split image on a selected light source (or displays to be superimposed on at least a portion of the selected light source), or an image (or a light split image) in which the light split image is superimposed on the selected light source.
  • An image superimposed on an image of appropriate exposure related to the selected light source can be stored.
  • the main processing unit 160 may exclude the candidate light source. According to an embodiment, after applying the image effect to the candidate light sources, the main processing unit 160 may cancel or remove the application of the image effect to the excluded candidate light source according to the above-described first designated condition check. According to various embodiments, the main processing unit 160 may be set to exclude from applying the image effect before applying the image effect to the candidate light source.
  • FIG. 7B is a diagram illustrating an example of an image related to application of a first light source selection method according to an embodiment of the present disclosure.
  • the first candidate light source 710 may be calculated based on the detection and clustering of saturated pixels in the acquired first image 701. have.
  • the first image 701 is illustrated in a form including only the first candidate light source 710, but the present description is not limited thereto.
  • the first image 701 may include a plurality of candidate light sources, and the first candidate light source 710 may be any one of the plurality of candidate light sources.
  • the main processing unit 160 may detect the length of the first candidate light source 710 included in the first image 701. According to an embodiment, the main processing unit 160 is based on the coordinate information of saturated pixels, the length on the first axis or the length on the second axis (eg, the length of the horizontal axis or the vertical axis based on the direction in which the image is displayed, or The length of the long axis including the longest first straight line among the saturated pixels included in the light source and the length of the short axis including the longest second straight line having a vertical relationship to the corresponding long axis) may be calculated.
  • the main processing unit 160 May select the first candidate light source 710 as a light source to which the image effect is to be applied, or use it for other designated condition inspection.
  • the main processor 160 may calculate the second candidate light source 720 based on the detection and clustering of saturated pixels in the acquired second image 702.
  • the main processing unit 160 may detect the length of the first axis of the second candidate light source 720 included in the second image 702 (eg, the length of the long axis or the length of the horizontal axis in the direction in which the image is displayed). have.
  • the main processor 160 may calculate the first axis length based on coordinate information of saturated pixels.
  • the length of the first axis (eg, the horizontal axis based on the direction in which the image is displayed) or the length of the second axis (eg, the vertical axis based on the direction in which the image is displayed) of the second candidate light source 720 is first designated.
  • the minimum value (Th1m) or less, or more than the first designated maximum (Th1M) value for example, when the first designated maximum value (Th1M) is 100 pixels, and the detected length of the first axis is 150 pixels, the main processing unit 160 2
  • the candidate light source 720 may be excluded from the light source to which the image effect is applied.
  • the first light source selection method may be a prerequisite to another light source selection method described below or a prerequisite to another light source excluding method.
  • the main processing unit 160 may check whether the conditions described in the light source selection method described below are satisfied with respect to candidate light sources that satisfy the conditions mentioned in the first light source selection method.
  • FIG. 8A is a diagram illustrating an example of an image related to application of a second light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 is configured to search for an elliptical or circular candidate light source to which an image effect is applied.
  • the ratio of the 1st axis and the 2nd axis can be calculated.
  • the main processing unit 160 may calculate at least one candidate light source by performing saturated pixel detection and clustering in the acquired image, as described above with reference to FIG. 7A.
  • the main processing unit 160 calculates a first axis length between saturated pixels having the longest linear distance among line segments connecting the saturated pixels, based on coordinate information of saturated pixels included in the candidate light source.
  • a second axis length between saturated pixels having a longest linear distance among saturated pixels located in the candidate light source while being perpendicular to the first axis may be calculated.
  • the main processing unit 160 may calculate (or calculate) a ratio value (eg, first axis length/second axis length) between the calculated first axis length and second axis length.
  • the main processing unit 160 may check whether the detected ratio value (or calculated ratio value) exceeds the second specified value Th2.
  • the second designated value Th2 may have a value ranging from 1:1 to 5:1 (first axis length: second axis length).
  • the second designated value Th2 may vary depending on various factors such as the size and resolution of the acquired image, and environmental conditions at the time of image acquisition.
  • the main processing unit 160 selects the corresponding candidate light source. It can be selected as a light source for applying image effects or used for auditing other specified conditions.
  • the main processing unit 160 When the detected ratio value exceeds the second specified value Th2, for example, when the second axis length is 1, or when the first axis length exceeds 5, in operation 807, the main processing unit 160 The candidate light source can be excluded from image effect application.
  • the main processing unit 160 has a similar ratio (or similar within a specified range) between the length of the first axis and the length of the second axis, and therefore, when the total is close to an elliptical or circular shape, the corresponding light source is determined as a point light source. It can be used to apply image effects or check other specified conditions. Alternatively, the main processing unit 160 may process the corresponding light source as a light source to which an image effect is not applied when the first axis length is longer than the second axis length by relatively exceeding a specified value.
  • the above-described second light source selection method may be used in combination with the above-described first light source selection method and various light source selection methods described below.
  • the main processing unit 160 may apply a second light source selection method to candidate light sources calculated through the first light source selection method.
  • the main processing unit 160 may additionally perform a light source selection operation through at least one of another light source selection method or another light source excluding method described below with respect to the light sources selected by the second light source selection method.
  • 8B is a diagram illustrating an example of an image related to application of a second light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 detects saturated pixels in the obtained first image 800a, clusters the detected saturated pixels, and generates a first candidate light source 810. ) Can be calculated.
  • the first image 800a is illustrated in a form including only the first candidate light source 810, but the present description is not limited thereto.
  • the first image 800a may be a part of an image acquired through a camera.
  • the first image 800a may include a plurality of candidate light sources, and the first candidate light source 810 may be one of the plurality of candidate light sources.
  • the main processing unit 160 may calculate the length of the longest first axis A based on coordinate information of saturated pixels included in the first candidate light source 810. have.
  • the main processing unit 160 has a vertical relationship with the first axis A and may calculate the length of the longest second axis B.
  • the main processing unit 160 may calculate the calculated length ratio between the first axis A and the second axis B, and select a corresponding light source when the length ratio is less than or equal to the second designated value Th2.
  • the selection probability may increase.
  • the main processing unit 160 may exclude the corresponding light source from the image application effect candidate.
  • the probability of exclusion increases. I can.
  • the main processing unit 160 may calculate a second candidate light source 820 from the second image 800b.
  • the second candidate light source 820 may have substantially the same shape as the first candidate light source 810 calculated from the first image 800a, and may be a light source having a different arrangement direction.
  • the main processing unit 160 calculates a straight line of the maximum distance connecting the saturated pixels included in the second candidate light source 820 as a first axis A, and connects the saturated pixels included in the second candidate light source 820. Among the maximum straight lines, a straight line perpendicular to the first axis A may be calculated as the second axis B.
  • the main processing unit 160 selects as the second candidate light source 820 for image effect application according to the ratio of the second candidate light source 820 as in the first candidate light source 810 or is used for other designated condition inspection Or, you can remove it from the list of image effects.
  • the main processing unit 160 may acquire the third image 800c, and calculate the third candidate light source 830 through saturated pixel detection and clustering.
  • the main processing unit 160 may allocate (or set) a shape (or polygon) of a designated shape including all edges of the third candidate light source 830.
  • the main processing unit 160 may allocate a rectangle having a minimum size including an edge of the third candidate light source 830.
  • the main processing unit 160 selects a first side 830a of the figure (or polygon) and a second side 830b in a vertical relationship with the first side 830a, and the first side 830a and the The length ratio of the second side 830b may be calculated.
  • the main processing unit 160 applies the image effect of the third candidate light source 830 based on the length ratio of the sides 830a and 830b of the figure, or selects or excludes from the image application effect list related to other designated condition inspection. You can decide. For example, the main processing unit 160 selects (or temporarily selects) the third candidate light source 830 to apply an image effect when the length ratio of the sides 830a and 830b of the figure is less than or equal to the second specified value Th2, When the length ratio exceeds the second designated value Th2, the third candidate light source 830 may be excluded from application of the image effect.
  • the main processing unit 160 when the length ratio value is less than or equal to the second specified value (Th2), the main processing unit 160 performs a condition check described in another light source selection method or at least one light source excluding method for the corresponding candidate light source. And, when the length ratio value exceeds the second designated value Th2, the corresponding candidate light source may be excluded from the image effect application.
  • 9A is a diagram illustrating an example of an image related to application of a third light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may calculate a designated figure including a candidate light source.
  • the main processor 160 may obtain an image, detect saturated pixels in the obtained image, and perform clustering of the detected saturated pixels to calculate at least one candidate light source.
  • the main processing unit 160 may select a specific candidate light source from among the calculated candidate light sources, and calculate a specified figure including the specific candidate light source.
  • the main processing unit 160 may calculate a shape of a specified shape having a minimum size including a candidate light source. For example, the main processing unit 160 may calculate a square having a designated size in which the candidate light source does not protrude to the outside.
  • the main processing unit 160 may calculate an ellipse or polygon (eg, triangle, square, pentagon, hexagonal, octagonal%) having a minimum size including the candidate light source.
  • the main processing unit 160 checks coordinate information of saturated pixels included in the candidate light source, and among the coordinate information of the saturated pixels, a figure of the minimum size including the candidate light source based on coordinates of saturated pixels located at the boundary line. Can be calculated.
  • the main processing unit 160 may calculate an area ratio (eg, a value obtained by dividing a figure area by a candidate light source area), and determine whether the area ratio exceeds a third specified value Th3.
  • an area ratio eg, a value obtained by dividing a figure area by a candidate light source area
  • the main processing unit 160 applies the image effect to the candidate light source. You can choose to do it (or make a temporary choice).
  • the main processing unit 160 may exclude the candidate light source from applying an image effect.
  • the condition described in the third light source selection method may be operated by mixing with at least one of the first light source selection method and the second light source selection method described above, or another light source described later. It can be operated by mixing with at least one of a selection method and a method of excluding a light source.
  • the main processing unit 160 may provide light sources selected as light sources for image effect application in the third light source selection method for condition audits described in another light source selection method or a light source exclusion method.
  • 9B is a diagram illustrating an example of an image related to application of a third light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may calculate a first candidate light source 900b based on the detection and clustering of saturated pixels in the obtained first image 900a. have.
  • the first image 900a is illustrated in a form including only the first candidate light source 910b, but the present description is not limited thereto.
  • the first image 900a may include a plurality of candidate light sources, and the first candidate light source 910b may be any one of the plurality of candidate light sources.
  • the main processing unit 160 may calculate a first figure 910a having a minimum size including the first candidate light source 910b from the first image 900a.
  • the main processing unit 160 includes a first straight line of a first axis (eg, a horizontal axis) that is longer than the longest length of the first candidate light source 910b, and the first axis.
  • a figure including a second straight line of a vertical second axis may be calculated.
  • the main processing unit 160 includes a first area ratio between the first candidate light source 910b and the first figure 910a (eg, the area of the first figure 910a/the area of the first candidate light source 910b) Is calculated, and it is possible to check whether the calculated first area ratio exceeds the third designated value Th3.
  • the main processing unit 160 selects the first candidate light source 910b as a light source for applying an image effect, or the first candidate light source 910b In other light source selection method or light source exclusion method, condition check can be performed.
  • the main processing unit 160 may exclude the first candidate light source 910b from applying an image effect.
  • the main processing unit 160 may calculate a second figure 920a having a minimum size including the second candidate light source 920b from the second image 900b.
  • the main processing unit 160 may set the second figure 920a so that at least four sides overlap at least a part of the boundary line of the second candidate light source 920b.
  • the main processing unit 160 selects the first straight line of the longest first axis (eg, the long axis) among straight lines connecting the saturated pixels of the second candidate light source 920b, and has a vertical relationship to the longest first straight line.
  • a second straight line having the longest second axis (eg, short axis) may be selected, and a second figure 920a including the first straight line and the second straight line may be calculated.
  • the main processing unit 160 includes at least four inflection points among boundary lines of the second candidate light source 920b, and the second candidate light source 920b is located therein. It is also possible to calculate the figure 920a.
  • the main processing unit 160 includes a second area ratio between the second candidate light source 920b and the second figure 920a (eg, the area of the second figure 920a/the area of the second candidate light source 920b) Is calculated, and it is possible to check whether the calculated value exceeds the third specified value Th3.
  • Th3 third specified value
  • the main processing unit 160 selects the second candidate light source 920b as a light source for applying an image effect, or selects the second candidate light source 920b. It is possible to perform condition checks in other light source selection methods or light source exclusion methods.
  • the main processing unit 160 may remove the second candidate light source 920b from the image application effect list when the second area ratio exceeds the third specified value Th3.
  • the main processor 160 may calculate a third figure 930a having a predetermined size including the third candidate light source 930b from the third image 900c.
  • the main processing unit 160 detects the longest first straight line A in a first axis (eg, horizontal axis) with respect to the third candidate light source 930b, and the first straight line A
  • a third figure 930a of a regular polygon for example, a regular square
  • the main processing unit 160 includes a third area ratio between the third candidate light source 930b and the third figure 930a (eg, the area of the third figure 930a/the area of the third candidate light source 930b) Is calculated, and depending on whether the calculated value exceeds the third specified value (Th3), the third candidate light source 930b is selected as a light source for image effect application, or provided to another condition test (third area When the ratio is less than or equal to the third designated value Th3), the third candidate light source 930b may be excluded from the image effect application list (when the third area ratio exceeds the third designated value Th3).
  • a third area ratio between the third candidate light source 930b and the third figure 930a eg, the area of the third figure 930a/the area of the third candidate light source 930b
  • Th3 third specified value
  • the main processor 160 may calculate a fourth figure 940a having a predetermined size including the fourth candidate light source 940b from the fourth image 900d.
  • the main processing unit 160 detects a first straight line B of the longest first axis (eg, a long axis) among straight lines connecting saturated pixels of the fourth candidate light source 940b, and the first A fourth figure 940a of a regular polygon (for example, a regular square) with a straight line B as one side may be calculated.
  • the main processing unit 160 includes a fourth area ratio between the fourth candidate light source 940b and the fourth figure 940a (eg, the area of the fourth figure 940a/the area of the fourth candidate light source 940b) Is calculated, and depending on whether the calculated value exceeds the third specified value (Th3), the fourth candidate light source 940b is selected as a light source for image effect application or used for other specified condition inspection (the fourth When the area ratio is less than or equal to the third designated value Th3), the fourth candidate light source 940b may be excluded from the image effect application list (when the fourth area ratio exceeds the third designated value Th3).
  • a fourth area ratio between the fourth candidate light source 940b and the fourth figure 940a eg, the area of the fourth figure 940a/the area of the fourth candidate light source 940b
  • the main processing unit 160 includes at least three inflection points among boundary lines of the fourth candidate light source 940b, and includes the fourth figure 940a including the fourth candidate light source 940b. It can also be calculated.
  • FIG. 10A is a diagram illustrating an example of an image related to application of a fourth light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may calculate a designated figure including a candidate light source.
  • the main processor 160 may calculate at least one candidate light source by detecting saturated pixels of the obtained image and clustering the detected saturated pixels.
  • the main processing unit 160 may calculate a designated figure including a specific candidate light source among at least one candidate light source.
  • the main processing unit 160 may calculate an oval or polygon of a designated shape having a minimum size including a candidate light source.
  • the main processing unit 160 may calculate a rectangle having a designated size including at least one side that shares at least a portion of the boundary line of the candidate light source.
  • the main processing unit 160 may calculate a rectangle in which at least one side constituting the rectangle overlaps the boundary line of the candidate light source.
  • the main processing unit 160 may calculate a contact point between the side of the figure and the candidate light source (eg, saturated pixels whose positions overlap the side of the figure).
  • the candidate light source eg, saturated pixels whose positions overlap the side of the figure.
  • the main processing unit 160 may check whether the number of the contact points (eg, saturated pixels overlapping the sides of a figure) exceeds a fourth specified value Th4. When the number of contact points is less than or equal to the fourth specified value Th4, in operation 1007, the main processing unit 160 may select (or temporarily select) a corresponding candidate light source to apply an image effect. Alternatively, the main processing unit 160 may use the candidate light source to inspect other designated conditions.
  • the number of the contact points eg, saturated pixels overlapping the sides of a figure
  • the main processing unit 160 may remove the corresponding candidate light source from the list for applying the image effect.
  • the main processing unit 160 calculates a ratio of a length corresponding to the number of saturated pixels overlapping a side of a figure and a length of a side of the figure, and the ratio of the length is a fourth designated value (Th4 ), depending on whether or not to apply the image effect to the candidate light source.
  • FIG. 10B is a diagram illustrating an example of an image related to application of a fourth light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may calculate a first candidate light source 1010b based on saturated pixel detection and clustering in the obtained first image 1000a.
  • the first image 1000a is illustrated in a form including only the first candidate light source 1010b, but the present description is not limited thereto.
  • the first image 1000a may include a plurality of candidate light sources, and the first candidate light source 1010b may be any one candidate light source among the plurality of candidate light sources.
  • the main processing unit 160 may calculate a first figure 1010a having a minimum size including the first candidate light source 1010b from the first image 1000a.
  • the main processing unit 160 may calculate contact points corresponding to saturated pixels in a region where a boundary line of the first candidate light source 1010b and a side of the first figure 1010a overlap.
  • the first figure 1010a includes four sides 1011, 1012, 1013, and 1014, and the first to third contact points 1011_1, 1011_2, and 1011_3 are on the first side 1011.
  • the main processing unit 160 has the number of the first to eleventh contact points 1011_1, 1011_2, 1011_3, 1012_1, 1012_2, 1013_1, 1013_2, 1013_3, 1014_1, 1014_2, and 1014_3 exceeding a fourth designated value (Th4).
  • the first candidate light source 1010b is selected for image effect application or used for other specified conditions (when the number of contacts is less than or equal to the fourth specified value (Th4)), or in the image effect application list Exclusion (when the number of contacts exceeds the fourth designated value Th4) can be determined.
  • the main processing unit 160 includes a length of the first side 1011 (for example, the number of pixels constituting the first side 1011) and a contact point located at the first side 1011 A first ratio of the length (or the number of contacts) of the first to third contacts 1011_1, 1011_2, and 1011_3 may be calculated.
  • the main processing unit 160 determines a second ratio of the length of the second side 1012 and the lengths of the contacts located on the second side 1012 (eg, the fourth and fifth contacts 1012_1 and 1012_2). Can be calculated.
  • the main processing unit 160 has a length of a third side 1013 and a third length of the contact points located on the third side 1013 (eg, sixth to eighth contact points 1013_1, 1013_2, 1013_3). You can calculate the ratio.
  • the main processing unit 160 has a length of a fourth side 1014 and a fourth length of the contact points (eg, ninth to eleventh contact points 1014_1, 1014_2, 1014_3) located on the fourth side 1014. You can calculate the ratio.
  • the main processing unit 160 It is determined that there is a high probability that the corresponding first candidate light source 1010b does not become an ellipse or a circular shape, and the first candidate light source 1010b may be excluded from the image effect application list.
  • the main processing unit 160 It is determined that there is a high probability that the corresponding first candidate light source 1010b is close to an ellipse or a circle, and the first candidate light source 1010b may be selected to apply an image effect or may be used for inspection of other designated conditions.
  • 11A is a diagram illustrating an example of an image related to application of a fifth light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processor 160 may obtain the size of the low-illuminance candidate light source and the size of the high-illuminance candidate light source.
  • the low-illuminance candidate light source may include a candidate light source obtained by detecting saturated pixels in a low-illuminance image (eg, an image obtained in a low-light setting of -3ev or less, or a short exposure image) and clustering the detected saturated pixels.
  • the high-illuminance candidate light source may include a candidate light source obtained by detecting saturated pixels in a high-illuminance image (e.g., an image obtained with a high-illuminance setting of more than -3ev or 0ev or an appropriate exposure image), and clustering the detected saturated pixels. I can.
  • a high-illuminance image e.g., an image obtained with a high-illuminance setting of more than -3ev or 0ev or an appropriate exposure image
  • the main processing unit 160 may check whether a value obtained by dividing the size (area) of the high-illuminance candidate light source by the size (area) of the low-illuminance candidate light source exceeds a fifth designated value (Th5).
  • the main processing unit 160 may select (or temporarily select) a corresponding candidate light source to apply an image effect.
  • the size of the central light source is a surface light source (e.g., a neon sign, a polygonal panel). Or, it is determined that the probability that the light source is a polygonal light source or a moon that irradiates light above a specified size is high, and in operation 1107, the main processing unit 160 may exclude the corresponding candidate light source from the image effect application list. .
  • 11B is a diagram illustrating an example of an image related to application of a fifth light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 sets the first low-illumination image 1101a and the first high-illuminance image 1101b as in the first state 1111 at a designated time. Can be acquired continuously within the interval.
  • the main processing unit 160 may calculate a first candidate light source L1 from the first low-illuminance image 1101a, and calculate a second candidate light source H1 from the first high-illuminance image 1101b.
  • the main processing unit 160 may perform a surface light source (eg, a neon sign or a polygonal light source, Alternatively, it is determined that there is a high probability of corresponding to a moon having a certain size or more and irradiating light, and the application of the image effect to the first candidate light source L1 may be excluded.
  • a surface light source eg, a neon sign or a polygonal light source
  • the main processing unit 160 sets the second low-illumination image 1102a and the second high-illuminance image 1102b to a designated time as in the second state 1112. Can be acquired continuously within the interval.
  • the main processing unit 160 may calculate a third candidate light source L2 from the second low-illuminance image 1102a and calculate a fourth candidate light source H2 from the second high-illuminance image 1102b.
  • the main processing unit 160 applies a light source set to apply an image effect.
  • the light source close to the ellipse may include a light source or a point light source close to an elliptical shape of a certain size range, which is not unnatural when an image effect is applied as a whole, even if at least a part of the light source is distorted or covered.
  • the images (eg, low-light image and high-illuminance image) described in FIGS. 11A and 11B differ in shooting conditions (eg, conditions such as exposure and F-number) in an electronic device equipped with a multi-camera.
  • Images taken simultaneously by a plurality of cameras may be included.
  • the images may include images simultaneously acquired through a plurality of cameras having different brightness-related characteristics (eg, F-number).
  • a Rectification (correction) or registration (adjustment) process related to the camera function may be involved.
  • FIG. 12A is a diagram illustrating an example of an image related to application of a sixth light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may calculate a designated figure including a candidate light source.
  • the main processor 160 may calculate at least one candidate light source region by detecting saturated pixels of the obtained image and clustering the detected saturated pixels.
  • the main processing unit 160 may calculate a designated figure including a specific candidate light source area among at least one candidate light source area.
  • the main processing unit 160 calculates a figure including any one of an oval or polygon of a specified shape having a minimum size including all inflection points of boundary lines arranged outward from the center of the candidate light source area. can do.
  • the main processing unit 160 may calculate a square having a minimum size in which the candidate light source region is located inside.
  • the main processing unit 160 may calculate a comparison light source area based on the calculated figure.
  • the comparative light source region is located inside the calculated figure, and may include an elliptical (or circular) light source region forming an optimal point light source shape.
  • the main processing unit 160 obtains an area difference value (or an area value belonging to only one of the two areas) between the area of the comparison light source area and the candidate light source area, and calculates the difference value as the comparison light source area. Divided by, it can be checked whether the ratio of the area difference with the comparative light source area exceeds the sixth designated value Th6.
  • the main processing unit 160 selects (or temporarily selects) the corresponding candidate light source area for image effect application in operation 1207, or It can be used to check the specified conditions.
  • the main processing unit 160 may exclude the corresponding candidate light source from the image effect application list in operation 1209.
  • FIG. 12B is a diagram illustrating an example of an image related to application of a sixth light source selection method according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 calculates a first candidate light source region 1210b based on saturated pixel detection and clustering in the obtained first image 1200a. I can.
  • the main processing unit 160 may calculate a first figure 1210a including a first candidate light source region 1210b.
  • the first figure 1210a may include all saturated pixels positioned at a boundary of the first candidate light source region 1210b, but may have a minimum size among the sizes of the corresponding figure.
  • the main processing unit 160 may calculate a comparison light source area 1210c based on the first figure 1210a.
  • the comparison light source area 1210c is located in the first figure 1210a and may be formed in an ellipse (or circle) shape in which a probability of determining as a point light source is greater than or equal to a specified value.
  • the comparison light source area 1210c may be a light source in which a number of contact points of a boundary line positioned on each side of the first figure 1210a is within a specified number.
  • the main processing unit 160 overlaps the first candidate light source area 1210b and the comparison light source area 1210c, and the difference between the area of the comparison light source area 1210c and the first candidate light source area 1210b
  • the complexity of the first candidate light source region 1210b may be estimated using the value 1210d (or the absolute value of the difference value). For example, when the difference value 1210d (or a value obtained by dividing the difference value by the area of the comparison light source area) exceeds a sixth designated value Th6, the first candidate Since the complexity of the light source region 1210b exceeds the specified value, it may be determined that the probability of the point light source is relatively low or that the light source is unsuitable for applying the image effect. In this case, the main processing unit 160 may exclude the first candidate light source region 1210b from an image effect application list.
  • the main processing unit 160 may apply an image effect to the first candidate light source region 1210b or provide the first candidate light source region 1210b to another designated condition test.
  • FIG. 13A is a diagram illustrating an example of an image related to applying a method of adjusting a selective light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may check a certain area including the selected light source.
  • the main processor 160 may select at least one light source to which an image effect is applied based on at least one of the above-described light source selection method and at least one of a light source excluding method described later.
  • the main processing unit 160 may detect another light source by checking a certain area of a specified size based on a point where the selected light source is located.
  • the main processing unit 160 may check the number or characteristics of other light sources in a predetermined area. According to various embodiments, the main processing unit 160 checks the density of the selected light source and another light source (eg, a separation distance between the selected light source and another light source, and the number of other light sources), and the brightness or gain value of the other light source. I can.
  • the main processing unit 160 may adjust the gain of the selected light source according to the number or characteristics of other light sources. For example, the main processing unit 160 reduces the gain of the selected light source to a specified size unit as the number of other light sources in a certain area increases, and maintains or increases the gain of the selected light source as the number of other light sources decreases. I can. According to an embodiment, the main processing unit 160 may reduce the gain of the selected light source as the gain value (or brightness value) of the other light source increases, and may increase the gain of the selected light source as the gain value of the other light source decreases. According to various embodiments of the present disclosure, the main processing unit 160 may adjust a gain of a selected light source based on a density with another light source.
  • the main processing unit 160 may reduce the gain of the selected light source by a specified ratio or size unit as the separation distance between another light source and the selected light source is closer, and increase the gain of the selected light source as the separation distance increases.
  • the main processing unit 160 may maintain a gain value of the selected light source as a value calculated by the light amount calculating unit 230 of the main processing unit 160.
  • 13B is a diagram illustrating an example of an image related to adjustment of a selected light source according to an embodiment of the present disclosure.
  • the main processing unit 160 when obtaining the first image 1300a, calculates candidate light sources based on saturated pixel detection and clustering in the obtained first image 1300a, and conditions related to light source selection
  • the first light source 1320a to which the image effect is to be applied may be selected based on the inspection.
  • the main processing unit 160 may set a first area 1310a and a second area 1310b of a designated size including the first light source 1320a.
  • the main processing unit 160 may check whether other light sources disposed in the first area 1310a and the second area 1310b exist.
  • the main processing unit 160 When the first external light sources 1331 and 1332 are present in the first region 1310a and no other light source is present in the second region 1310b, the main processing unit 160 is in the first region 1310a.
  • the gain value of the first light source 1320a is determined according to the number of the first external light sources 1331 and 1332 and the distance between the first external light sources 1331 and 1332 and the first light source 1320a. Can be adjusted.
  • the main processing unit 160 applies the image effect 1320b of the first size to the first light source 1320a according to a gain value adjusted based on the first external light sources 1331 and 1332 in the first area 1310a. ) Can be applied.
  • the main processing unit 160 calculates candidate light sources based on saturated pixel detection and clustering in the obtained second image 1300b, and conditions related to light source selection.
  • the first light source 1320a to which the image effect is to be applied may be selected based on the inspection.
  • the main processing unit 160 may set a first area 1310a and a second area 1310b of a designated size including the first light source 1320a.
  • the main processing unit 160 may check whether other light sources disposed in the first area 1310a and the second area 1310b exist.
  • the main processing unit 160 includes the number and the number of the second external light sources 1341, 1342, and 1343. 2
  • the gain value of the first light source 1320a may be adjusted according to a distance between the external light sources 1341, 1342, and 1343 and the first light source 1320a.
  • the main processing unit 160 includes the number of the second external light sources 1341, 1342, and 1343, the second external light sources 1341, 1342, 1343, and the first light source 1320a.
  • the image effect 1320c of the second size may be applied to the first light source 1320a according to the separation distance of.
  • the main processing unit 160 may provide a first light source 1320a in the second image 1300b than a first density level of other light sources in the first image 1300a. It can be determined that the second density of other light sources is lower.
  • the main processing unit 160 performs an image effect 1320c of the second size, which is relatively larger than the image effect 1320b of the first size, in the second image 1300b according to the first density and the second density. It can be applied to the first light source 1320a.
  • the main processing unit 160 calculates candidate light sources based on saturated pixel detection and clustering in the obtained third image 1300c, and conditions related to light source selection.
  • the first light source 1320a to which the image effect is to be applied may be selected based on the inspection.
  • the main processing unit 160 may set a first area 1310a and a second area 1310b of a designated size including the first light source 1320a.
  • the main processing unit 160 may check whether other light sources disposed in the first area 1310a and the second area 1310b exist.
  • the main processing unit 160 may maintain the gain value of the first light source 1320a to correspond to the amount of light calculated by the light amount calculating unit 230 or may adjust the gain value to a specified value. For example, as the third density of the first light source 1320a in the third image 1300c is lower than the second density, the image effect 1320c of the second size The image effect 1320d of the third size, which is relatively larger than ), may be applied to the first light source 1320a.
  • the main processing unit 160 may set only one area, or may set a plurality of more subdivided areas.
  • 14A is a diagram illustrating an example of an image related to applying a method of excluding a first light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may detect a straight line having a maximum length of a candidate light source.
  • the main processing unit 160 may detect the longest straight line among connected straight lines based on coordinate information of saturated pixels included in the candidate light source.
  • the main processing unit 160 may check whether the detected straight line is longer than a certain length and is located at the boundary of the candidate light source. For example, the main processing unit 160 compares coordinate information of saturated pixels included in the straight line and coordinate information of saturated pixels included in a candidate light source, and the saturated pixels included in the straight line are positioned on the boundary of the candidate light source. You can check whether or not.
  • the main processing unit 160 may select the corresponding candidate light source to apply the image effect.
  • the main processing unit 160 may perform at least one of a condition test described in another light source selection method and a condition test described in another light source exclusion method for the candidate light source.
  • the main processing unit 160 excludes the candidate light source from the image application effect list. I can make it.
  • the main processing unit 160 may determine it as a light source close to an ellipse and select to apply an image effect.
  • 14B is a diagram illustrating an example of an image related to applying a method of excluding a first light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 calculates candidate light sources based on saturated pixel detection and clustering in the obtained first image 1400a, and calculates candidate light sources. Any of the first candidate light sources 1410a may be selected, or a first candidate light source 1410a located in a designated area may be selected.
  • the main processing unit 160 calculates a straight line A having a maximum length among straight lines connecting saturated pixels included in the selected first candidate light source 1410a, and coordinates of the saturated pixels located at the calculated straight line A. Information and coordinate information of the saturated pixels included in the first candidate light source 1410a are compared with each other, and the calculated straight line A (or saturated pixels included in the straight line A) is determined as the first candidate light source 1410a.
  • the first candidate light source 1410a is It is determined that the probability of not being a light source is high, so that the first candidate light source 1410a may be excluded from the list of image effect applications.
  • the main processing unit 160 calculates candidate light sources based on saturated pixel detection and clustering in the obtained second image 1400a, and calculates candidate light sources. Any of the second candidate light sources 1410b may be selected or a second candidate light source 1410b positioned in a designated area may be selected.
  • the main processing unit 160 calculates straight lines (B1, B2) of a predetermined size or more among straight lines connecting saturated pixels included in the selected second candidate light source 1410b, and is positioned at the calculated straight lines (B1, B2).
  • the calculated straight lines B1 and B2 are positioned at the boundary of the second candidate light source 1410b. You can check if it is.
  • the calculated straight lines B1 and B2 are positioned at the boundary of the second candidate light source 1410b as shown, it is determined that the probability that the second candidate light source 1410b is not a point light source is high,
  • the second candidate light source 1410b may be excluded from an image effect application list.
  • 15A is a diagram illustrating an example of an image related to applying a method of excluding a second light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may detect a line segment connecting pixels (eg, saturated pixels) of candidate light sources. .
  • the main processing unit 160 may check whether the detected line segment is located outside the candidate light source. According to an embodiment, the main processing unit 160 may check the saturation of pixels located in each detected line segment to determine whether unsaturated pixels exist. According to an embodiment, the main processing unit 160 may compare coordinate information of pixels located in each detected line segment with coordinate information of a saturated pixel included in the candidate light source to determine whether the coordinate information of the saturated pixels is included. have. According to an embodiment, the main processing unit 160 selects a pixel located at the center of a line segment, and checks whether the saturation of the pixel is saturated or whether the coordinate of the pixel is included in the coordinate information of the saturated pixel. have.
  • the main processing unit 160 may use the candidate light source to apply an image effect in operation 1505.
  • the main processing unit 160 determines that there is a high probability that it is not a point light source as at least a part of the boundary of the candidate light source is distorted. Can be excluded from the list of image effects applied.
  • 15B is a diagram illustrating an example of an image related to applying a method of excluding a second light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit 160 may calculate a first candidate light source 1510 based on detection and clustering of saturated pixels in the obtained first image 1500a. have.
  • the main processing unit 160 may detect line segments connecting saturated pixels included in the first candidate light source 1510.
  • the main processing unit 160 may calculate a first line segment 1511 connecting the first saturated pixel 1511a and the second saturated pixel 1511b included in the first candidate light source 1510.
  • the main processing unit 160 checks the calculated saturation of pixels located in the first line segment 1511, or the coordinates of the pixels located in the first line segment 1511 are saturated pixels included in the first candidate light source 1510 You can check if the coordinates match.
  • the main processing unit 160 may check the saturation degree or the coordinates of the pixel located at the center point of the first line segment 1511. When the saturation of the pixel located in the first line segment 1511 is less than or equal to a specified value, or the coordinates of the pixel do not match the coordinates of the saturated pixel, the first candidate light source 1510 It is determined that the light source is not in the form of a light source, and the first candidate light source 1510 may be excluded from the image effect application list.
  • the second candidate light source 1520 may be calculated based on saturated pixel detection and clustering in the acquired second image 1500b. have.
  • the main processing unit 160 connects saturated pixels included in the first candidate light source 1510, for example, a third saturated pixel 1521a and a fourth saturated pixel 1521b included in the second candidate light source 1520. 2 line segments 1521 can be calculated.
  • the main processing unit 160 checks the calculated saturation of at least one pixel located in the second line segment 1521 or coordinates of the at least one pixel located in the second line segment 1521 in the second candidate light source 1520. You can check whether the coordinates of the included saturated pixels match.
  • the saturation degree of the pixel located in the second line segment 1521 is less than or equal to a specified value, or the coordinates of the pixel do not match the coordinates of the saturated pixel
  • the second candidate light source 1520 It is determined that the light source is not in the form of a light source, and the first candidate light source 1510 may be excluded from the image effect application list.
  • the main processing unit 160 when the length of the first line segment 1511 or the second line segment 1521 is less than or equal to a specified value, the main processing unit 160 skips checking the pixel saturation or coordinates of the corresponding line segment, and It is also possible to determine whether to exclude the image effect application list by performing pixel saturation check or coordinate check for a line segment having a length above.
  • 16 is a diagram illustrating an example of an image related to application of a third light source exclusion method according to an exemplary embodiment of the present disclosure.
  • the main processor 160 may obtain color temperature information of a candidate light source.
  • the main processing unit 160 may detect the frequency wavelength of the candidate light source and check information on the color temperature of the candidate light source based on this.
  • the main processing unit 160 may check whether the color temperature of the candidate light source corresponds to the specified light source characteristic. For example, the main processing unit 160 may check whether the color temperature of the candidate light source is a color temperature of a light source having a shape of a surface light source rather than a shape of a point light source such as a fluorescent lamp or a neon sign.
  • the main processing unit 160 may select a candidate light source to apply an image effect.
  • the main processing unit 160 may perform a condition check described in another light source selection method or another light source excluding method with respect to the candidate light source.
  • the main processing unit 160 may exclude the corresponding candidate light source from the image effect application list.
  • 17 is a diagram illustrating an example of an image related to applying a method of selecting a light source according to an exemplary embodiment of the present disclosure.
  • the main processing unit eg, the main processing unit 160 of FIG. 2 of the electronic device acquires the first image 1700a
  • the obtained first image 1700a is Saturation pixels having a saturation degree greater than or equal to a specified value may be detected, and candidate light sources 1711, 1712, 1713, 1714, and 1720 may be calculated by clustering the saturated pixels.
  • the candidate light sources 1711, 1712, 1713, 1714, and 1720 may include a surface light source as illustrated.
  • the first to fourth candidate light sources 1711, 1712, 1713, and 1714 correspond to a surface light source
  • the fifth candidate light source 1720 may be a point light source.
  • the candidate light sources 1711, 1712, 1713, 1714, and 1720 included in the first image 1700a are images as shown. It may be displayed by applying the effects 1711a, 1712a, 1712b, 1713a, 1714a, and 1720a.
  • the first image effect 1711a is applied to the first candidate light source 1711
  • the second image effect 1712a, 1712b is applied to the second candidate light source 1712
  • the third candidate light source 1713 a third image effect 1714a is applied to the fourth candidate light source 1714
  • a fifth image effect 1720a is applied to the fifth candidate light source 1720.
  • the fifth image effect 1720a is applied to the fifth candidate light source 1720 corresponding to the point light source, it is recognized as a natural phenomenon, but the image effect is applied to the surface light source in the image acquired by the camera. It can be unnatural if it is.
  • the main processing unit 160 images first to fourth candidate light sources 1711, 1712, 1713, and 1714 corresponding to surface light sources by applying at least one of the light source selection methods and the light source excluding methods of the present disclosure. Can be excluded from the list of effects applied. Alternatively, the main processing unit 160 may cancel or remove image effects applied to the first to fourth candidate light sources 1711, 1712, 1713, and 1714.
  • the main processing unit 160 applies the sixth image effect 1720a to the fifth candidate light source 1720 through the application of the methods, or maintains the applied sixth image effect 1720a to generate the second image 1700b.
  • the image effects 1711a, 1712a, 1712b, 1713a, 1714a are not applied to the first to fourth light sources 1711, 1712, 1713, and 1714, they are displayed in the form of a surface light source. It can be a natural expression of the environment.
  • the main processing unit 160 of the present disclosure independently performs a condition test described in at least one of the above-described method for selecting a plurality of light sources and a method for excluding a plurality of light sources, or in parallel with other condition tests.
  • the image effect application may be processed by performing or performing another condition audit depending on whether at least one condition check is completed.
  • the electronic device including the main processing unit 160 of the present disclosure is not limited to a device capable of implementing all of the methods, but the electronic device of the present disclosure is a device that implements each of the methods or a combination of methods. It may include an apparatus that implements a method.
  • the main processing unit 160 of the present disclosure may selectively operate the above-described various light source selection methods.
  • the main processing unit 160 performs a condition check described in the second light source selection method (or the third light source selection method) on the light source selected in the first light source selection method, and the second light source selection method
  • the light source to which the final image effect is applied may be selected by performing the condition check described in the fourth light source selection method with respect to the light source selected at.
  • the main processing unit 160 performs the first to third light source selection methods in parallel, so that at least one of a different light source selection method and a light source exclusion method for the light sources selected in all condition checks or 2/3 or more selected. Can be applied.
  • the main processing unit 160 simultaneously performs the first to fourth light source selection methods, the sixth light source selection method, and the first to third light source exclusion methods in parallel, and applies the final image effect to the selected light source at a predetermined ratio or more. You can also choose for it.
  • selection described in each light source selection method may be “temporary selection” or “preliminary selection” in connection with other designated condition inspection.
  • the main processing unit 160 calculates a minimum figure including a candidate light source, and based on the calculated minimum figure, at least one of a second light source selection method, a third light source selection method, and a fourth light source selection method.
  • One method can be applied.
  • the main processing unit 160 checks whether the ratio of two orthogonal sides of the minimum figure is less than or equal to the second designated value Th2, and if it is less than or equal to the second designated value Th2, the fourth light source By applying the selection method, it is possible to select or exclude candidate light sources according to the number of contact points or the ratio between the contact length and the side length.
  • the main processing unit 160 may selectively apply an image effect using at least one of the above-described various light source selection methods and light source exclusion methods.
  • the main processing unit 160 includes a light source having a surface of a predetermined size or less and corners of a predetermined number or less (for example, a specified size or less.
  • the image effect may be determined as a natural point light source or a specific type of light source, and the image effect may be applied to the corresponding candidate light source.
  • the main processing unit 160 includes a light source having a surface exceeding a predetermined size and having edges exceeding a predetermined number (eg, In the case of a light source, a neon sign, or a polygonal light source having a certain size or larger), it is determined that the image effect is unnaturally applied, and the candidate light source may be excluded from the list of applying the image effect.
  • a light source having a surface exceeding a predetermined size and having edges exceeding a predetermined number eg, In the case of a light source, a neon sign, or a polygonal light source having a certain size or larger
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor (for example, the main processor 160) ), using the camera, obtains at least one image, performs clustering by detecting saturated pixels with saturated brightness in the image, and calculates at least one candidate light source based on the clustered saturated pixels, ,
  • the at least one candidate light source is a light source having a surface of a certain size or less and a specified number of corners or less
  • a designated image effect is applied to the at least one candidate light source
  • the at least one candidate light source is In the case of a surface light source having more than a specified number of corners, it may be set to exclude the application of the specified image effect in relation to the at least one candidate light source.
  • the at least one processor includes a length of a first axis having a maximum length among straight lines connecting saturated pixels of the candidate light source, and a length of one axis of the at least one candidate light source is within a specified range value
  • the candidate light source has a maximum length among straight lines connecting saturated pixels of the candidate light source and a ratio of the length of the second axis perpendicular to the first axis is less than or equal to a specified value, and the area of the figure having the minimum size including the candidate light source
  • it may be set to apply the specified image effect to the candidate light source.
  • the at least one processor calculates a rectangle having a minimum size included in the at least one candidate light source, the length of one axis of the rectangle is within a specified range value, and the length of the first axis of the rectangle is ,
  • the specified image effect is applied to the candidate light source.
  • the at least one processor calculates a rectangle having a minimum size included in the at least one candidate light source, the length of one axis of the rectangle is within a specified range value, and the length of the first axis of the rectangle is ,
  • the ratio of the length of the second axis perpendicular to the first axis is less than or equal to a specified value
  • the area of the rectangle divided by the area of the candidate light source is less than or equal to the designated value
  • the boundary of the candidate light sources positioned on each side of the rectangle If the length of the contact points of and the ratio of each side is less than or equal to a specified value, it may be set to apply the specified image effect to the candidate light source.
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor (for example, the main processor 160 is , Using the camera, obtain at least one image, perform clustering by detecting saturated pixels with saturated brightness in the image, calculate at least one candidate light source based on the clustered saturated pixels, and the It is set to apply a designated image effect to the at least one candidate light source or exclude application of the designated image effect based on boundary surface information of at least one candidate light source, and the boundary information is the boundary surface of the at least one candidate light source Pixel information corresponding to is included, and the pixel information may include a coordinate value of a pixel.
  • the at least one processor applies the specified image effect to the at least one candidate light source when the at least one candidate light source has a surface of a predetermined size or less and a specified number of corners or less, and the at least When one candidate light source has a surface exceeding a predetermined size and an edge exceeding a specified number, it may be set to exclude the application of the specified image effect to the at least one candidate light source.
  • the at least one processor includes rectangular sides having a minimum horizontal axis and a vertical axis in which the length of one axis of the at least one candidate light source is within a specified range value, and includes the at least one candidate light source.
  • a value obtained by dividing the length of the relatively long side by the length of the side having a relatively short length is less than or equal to a specified value
  • a value obtained by dividing the area of the polygon with the minimum size including the candidate light source by the area of the candidate light source is less than or equal to the specified value.
  • it may be set to apply the designated image effect to the candidate light source.
  • the at least one processor includes the at least one candidate light source and selects at least a straight line having a maximum length among a rectangle having a minimum size having a horizontal axis and a vertical axis or a line segment connecting saturated pixels of the candidate light source.
  • the at least one processor includes the at least one candidate light source and selects at least one straight line having a maximum length of a rectangle having a minimum size having a horizontal axis and a vertical axis or a line segment connecting saturated pixels of the candidate light source.
  • a square containing the candidate light source is calculated as the side of and the length of one axis of the square is within a specified range, and a value obtained by dividing the length of the relatively long axis of the horizontal axis or the vertical axis by the length of the other axis is specified.
  • the value is less than or equal to the value, and the value obtained by dividing the area of the rectangle by the area of the candidate light source is less than or equal to the designated value, and the length of the contact points of the boundary of the candidate light source located on each side of the rectangle and the ratio of each side are less than or equal to the designated value It may be set to apply an image effect to the candidate light source.
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor includes at least one processor using the camera.
  • Acquire one image perform clustering by detecting saturated pixels with saturated brightness in the image, calculate at least one candidate light source based on the clustered saturated pixels, and at least one light source in the at least one candidate light source To perform a specified condition check of and apply a specified image effect to the at least one candidate light source according to the result of the at least one specified condition check, or exclude the application of the specified image effect in relation to the at least one candidate light source. Can be set.
  • the at least one processor checks the length of one axis of the candidate light source, and if the length of the one axis is within a specified range, applies the specified image effect to the candidate light source, and the length of the one axis When is out of the specified range, it may be set to exclude the application of the specified image effect to the candidate light source.
  • the at least one processor includes one axis included in the candidate light source among horizontal axes of an image including the candidate light source and has a maximum length within the candidate light source, and an image including the candidate light source.
  • a relatively long axis is calculated as a first axis and a relatively short axis is calculated as a second axis, or includes the candidate light source A value obtained by calculating a rectangle having a minimum size of the minimum size, calculating a relatively longer first axis and a second axis perpendicular to the first axis among the rectangles of the minimum size, and dividing the length of the first axis by the length of the second axis If the value is less than or equal to a specified value, the specified image effect is applied to the candidate light source, and when the length of the first axis divided by the length of the second axis exceeds a specified value
  • the at least one processor includes a minimum size of a rectangle including the candidate light source and a maximum length of a line segment connecting saturated pixels of the candidate light source based on a horizontal axis and a vertical axis of an image including the candidate light source.
  • the candidate among the line segments connecting the first straight line of the candidate light source and the saturation pixels of the candidate light source at least one of a rectangle having a second straight line perpendicular to the first straight line and having a maximum length as a side or a horizontal axis of an image including the candidate light source
  • a square having a maximum length of a first straight line located inside the light source and a second straight line having a maximum length inside the candidate light source having a vertical relationship with the horizontal axis of the image as at least a side is calculated, and the area of the square is calculated from the
  • the specified image effect is applied to the candidate light source, and when the value obtained by dividing the area of the square by the area of the candidate light source exceeds a specified value, the candidate light source is It may be set to exclude the application of the specified image effect for.
  • the at least one processor calculates a polygon based on a first straight line having a maximum length among line segments connecting saturated pixels of the candidate light source, and a value obtained by dividing the area of the polygon by the area of the candidate light source is If the value is less than or equal to a specified value, the specified image effect is applied to the candidate light source, and when a value obtained by dividing the polygon area by the area of the candidate light source exceeds a specified value, application of the specified image effect to the candidate light source is excluded.
  • the at least one processor calculates a polygon including the candidate light source, calculates the number of saturated pixels at a contact point where sides of the polygon and a boundary of the candidate light source overlap, and the saturated pixel
  • the specified image effect may be applied to the candidate light source, and when the number of saturated pixels exceeds a specified value, application of the specified image effect to the candidate light source may be excluded.
  • the at least one processor calculates a polygon including the candidate light source, calculates the number of saturated pixels at a contact point where the sides of the polygon and the boundary of the candidate light source overlap, and When the ratio between the length and the length of the contact points is less than or equal to a specified value, the specified image effect is applied to the candidate light source, and when the length of each side and the length ratio of the contact points exceed a specified value, the specified image for the candidate light source It can be set to exclude the application of the effect.
  • the at least one processor calculates a first candidate light source from an image obtained in the low-illuminance setting, and calculates a second candidate light source at the same location in the image obtained in a high-illuminance setting higher than the low-illuminance setting, and , When a value obtained by dividing the size of the second candidate light source by the size of the first candidate light source exceeds a designated value, the designated image effect is applied to the candidate light source, and the size of the second candidate light source is applied to the first candidate When the value divided by the size of the light source is less than or equal to the specified value, it may be set to exclude the application of the specified image effect to the candidate light source.
  • the at least one processor calculates a polygon having a minimum size including the candidate light source, calculates a comparison light source area based on the polygon, and a difference value between the comparison light source area and the candidate light source is When it exceeds a specified value, the specified image effect is removed from the candidate light source, and when the difference value between the comparison light source area and the candidate light source is less than or equal to a specified value, setting to include the application of the specified image effect to the candidate light source Can be.
  • the at least one processor calculates a straight line having a maximum length among straight lines connecting saturated pixels of the candidate light source, and when the straight line is located at a boundary of the candidate light source, the designated image for the candidate light source It can be set to exclude the application of the effect.
  • the at least one processor calculates a density of other light sources located in a designated area based on a light source selected to apply the image effect among the at least one candidate light source, and the selected light source according to the density It can be set to adjust the gain value of the light source.
  • the at least one processor may be configured to obtain color temperature information of the candidate light source, and to exclude the candidate light source from applying the image effect when the color temperature information corresponds to a specified color temperature. I can.
  • the at least one processor controls to adjust a gain value of the selected light source based on a parameter designated for a light source selected to apply the image effect among the at least one candidate light source, and the designated parameter is Among the line segments connecting saturated pixels of the candidate light source, a ratio value of line segments having an orthogonal relationship, a ratio value of two sides having an orthogonal relationship of a rectangle including the candidate light source, and at least some of the line segments connecting saturated pixels of the candidate light source A polygon including the candidate light source calculated using the ratio value of the candidate light source region, a comparison light source region of a specified size calculated based on the polygon and an area difference value between the candidate light source region, and a low-illuminance image related to the candidate light source It may include at least one of the light source size and the ratio value of the light source size of the high illuminance image.
  • An electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, wherein the at least one processor uses the camera, Acquire at least one image, perform clustering by detecting saturated pixels with saturated brightness in the image, calculate at least one candidate light source based on the clustered saturated pixels, and calculate the boundary surface of the at least one candidate light source In at least one of the size, number, and shape of the concave portion in the center direction of the at least one candidate light source, it may be set to exclude the application of the light splitting effect in relation to the at least one candidate light source.
  • the main processing unit 160 of the electronic device excludes the effect of applying the image to candidate light sources having a specific shape and size with respect to various candidate light sources included in the image. , You can implement a more natural image.
  • An electronic device includes a camera, a memory, and at least one processor, wherein the at least one processor detects candidate light sources in an image, and a center direction of the candidate light source at the boundary of the candidate light sources
  • the application of the image effect may be excluded according to at least one of the size, number, and shape of the recessed portions. For example, when the size of the concave portions exceeds a specified value, the at least one processor may exclude application of the image effect to the candidate light source. When the number of concave portions exceeds a specified value, the at least one processor may exclude application of the image effect to the candidate light source. When the complexity of the concave portions exceeds a specified value, the at least one processor may exclude application of the image effect to the candidate light source.
  • An electronic device includes a camera, a memory, and at least one processor, and the at least one processor detects candidate light sources in an image, and according to at least one of a shape and size of the candidate light sources.
  • the brightness (or gain) of the candidate light sources can be adjusted. For example, when the shapes of the candidate light sources are close to an ellipse of a specified shape, the brightness is adjusted to be equal to or greater than a specified value, so that a more natural image can be obtained.
  • the size of the candidate light sources exceeds a specified size, the brightness may be adjusted to be less than or equal to a specified value so that other nearby light sources are less affected by a light source exceeding the specified size.
  • FIG. 18 is a diagram illustrating an example of a configuration of an electronic device related to an image effect application process in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • the main processing unit 160 includes a location extraction unit 210, a storage unit 215, a pixel determination unit 220, a light amount calculation unit 230, a motion detection unit 255, An effect application unit 240, a lookup table 245, and a second memory 246 may be included.
  • the classification is a classification according to a function, and some components may be combined or additional components may be included.
  • the location extraction unit, the storage unit, the pixel determination unit, and the light amount calculation unit may perform the same or similar functions as those of the configurations described in FIG.
  • the motion detection unit 255 may detect whether a movement of a subject occurs in an acquired image. According to an embodiment, the motion detection unit 255 may check whether the image capturing device moves (or rotates). In this regard, the motion detection unit 255 may include at least one sensor (eg, an acceleration sensor). The motion detection unit 255 may check whether a motion of a specific object included in the image, for example, a light source occurs. In this regard, the motion detection unit 255 stores and manages the previous image, and when the current image is acquired, it may compare with the previous image to determine whether at least one object movement of the current image has occurred by a specified size or more.
  • the motion detection unit 255 stores and manages the previous image, and when the current image is acquired, it may compare with the previous image to determine whether at least one object movement of the current image has occurred by a specified size or more.
  • the motion detection unit 255 receives coordinate information for specific pixels (eg, saturated pixels) from the position extraction unit 210, and moves the object based on the change in the received coordinate information. You can also check the occurrence. When the motion occurrence is greater than or equal to the specified size, the motion detection unit 255 may transmit the result of the motion occurrence to the effect application unit.
  • specific pixels eg, saturated pixels
  • the effect application unit 240 may apply an image effect based on the calculated amount of light.
  • the effect application unit 240 refers to the look-up table 245 and replaces the saturated pixel or a designated area centered on the saturated pixel according to a specified ratio according to the light amount tracking value, thereby creating an image effect (eg, light splitting effect). Can be applied.
  • the effect application unit 240 may differently apply a light amount calculation result when applying an image effect according to information transmitted from the motion detection unit 255.
  • the effect application unit 240 calculates the amount of light for the previous image stored in the second memory 246 and the current image.
  • the image effect can be applied by synthesizing the result of calculating the amount of light.
  • the effect application unit 240 may store a result of calculating the amount of light of the previous image in the second memory 246.
  • the effect application unit 240 may apply an image effect according to a result of calculating the amount of light of the currently acquired image.
  • the effect application unit 240 may store a result of calculating the amount of light of the current image in the second memory 246.
  • 19 is a diagram illustrating an example of a method of applying an image effect in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • the main processor 160 may continuously receive an image.
  • the electronic device may activate the camera and enter a preview mode (or a video recording mode).
  • the main processing unit 160 may continuously receive images acquired through the lens unit 110 of the camera.
  • the main processing unit 160 may check the motion of the received current image (or frame).
  • the main processor 160 may check the movement of at least one object (eg, a light source) included in the current image.
  • the main processing unit 160 may compare the previous image and the current image to each other, and check whether a motion of a specific object occurs more than a specified size.
  • the main processing unit 160 may check whether or not the electronic device moves more than a specified angle or distance by using at least one sensor disposed on the electronic device.
  • the main processing unit 160 may check whether the motion degree exceeds the seventh designated value Th7.
  • the seventh designated value Th7 may include a value within a range of 20 to 100 pixels.
  • the seventh designated value Th7 may vary according to factors such as the resolution of the camera and the size of the image sensor.
  • the main processing unit 160 may apply the image effect according to the calculation result of the light source of the current image.
  • the main processing unit 160 determines the first constant (x) specified in the light source calculation result of the previous image (e.g. : Applying an image effect may be processed based on a value multiplied by 0.9) and a value obtained by multiplying the result of calculating the light source of the current image by a specified second constant (y) (eg, 0.1).
  • 20 is a diagram illustrating a method of setting a region related to application of an image effect in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • the main processing unit 160 of the electronic device may divide the acquired image into a plurality of ROI areas.
  • the main processing unit 160 may detect, for example, an ROI region 2010 in which the light source 2101a is located among a plurality of ROI regions.
  • the main processing unit 160 may detect the occurrence of movement of the light source only in the ROI area where the light sources are located, or may detect the occurrence of movement of a specific object in the ROI area where the light source is located.
  • a state in which the first light source 2010a is located in the first ROI area 2010 is exemplarily indicated, and the main processing unit 160 is each ROI in which all light sources included in successively received images are located.
  • Movement of light sources or movement of at least one object may be detected in the regions.
  • the main processing unit 160 may refer to previous ROI regions, detect light sources of the next image, and calculate the occurrence of motion of the light source by comparing with the previous image.
  • IIR Infinite Impulse Response
  • the IIR calculating device 2100 receives a current image cF, applies a first weight C 1 to the received current image cF, and applies a third memory 2112 (example : After applying the second weight C 2 to the previous image pF stored in the second memory 246 of FIG. 18, adding it through an adder, it may be transferred to the effect applying unit 240.
  • the main processor 160 may implement and include the IIR calculating device 2100 as separate hardware, or may be implemented and operated as software.
  • the first weight C 1 may be the first amplifier 2111
  • the second weight C 2 may be the second amplifier 2113. I can.
  • the main processing unit 160 checks whether a movement of a specific object (eg, at least one light source) included in the current image is moved by a specified size or more, and when a movement of a specified size or more occurs, the IIR calculation After applying the second weight C2 to the previous image using the device 2100 and adding the first weight C 1 to the current image, the image effect may be applied.
  • a specific object eg, at least one light source
  • FIG. 22 is a diagram illustrating an example of an image storage method in a preview mode or a video recording mode according to various embodiments of the present disclosure.
  • the main processing unit 160 of the electronic device may not store all previous images, but may store a first image 2200a including only features related to a light source in a memory (memory 2112 of FIG. 21 ).
  • the first image 2200a may include a light source 2210a to which an image effect is applied, and other data may include a removed image.
  • the main processing unit 160 applies a first weight (eg, the first weight C 1 in FIG. 21) to the light source calculation result of the current image, and applies a second weight to the first image 2200a. After summing by applying a weight (eg, the second weight (C 2 ) in FIG. 21), the second image 2200b to which the designated image effect 2210b is applied is displayed on the display 180 or stored in the storage unit 215 I can.
  • a weight eg, the second weight (C 2 ) in FIG. 21
  • FIG. 23 is a diagram illustrating an example of applying an image effect according to occurrence of a motion according to various embodiments of the present disclosure.
  • the main processing unit 160 may apply an image effect (eg, Star-Effect) to the corresponding light source 2310 according to detection of the light source 2310 in the previous image 2300a.
  • an image effect eg, Star-Effect
  • the main processing unit 160 may output an image including the light source 2310 to which the image effect is applied.
  • the main processing unit 160 may store the previous image 2300a in a memory (memory 2112 of FIG. 21 ).
  • the main processing unit 160 may determine whether the current image 2300b moves when the current image 2300b continuously enters after receiving the previous image 2300a. According to an embodiment, the main processing unit 160 may compare the previous image 2300a and the current image 2300b. Alternatively, the main processing unit 160 compares the area of the light source 2310 of the previous image 2300a with the surrounding area in which the light source is located among the area of the current image 2300b to determine whether the movement of the light source 2310 has occurred. I can confirm. Alternatively, the main processing unit 160 may compare a specific object of the previous image 2300a with the same object of the current image 2300b to determine whether a movement of the corresponding object has occurred.
  • the main processing unit 160 may process the application of the image effect only with the current image 2300b.
  • the display of the light source 2310 displayed in the previous image 2300a is excluded.
  • 24 is a diagram illustrating a comparison example of application of an image effect to continuously received images according to various embodiments of the present disclosure.
  • the main processing unit 160 may receive first continuous images 2400a.
  • the main processing unit 160 may calculate a light source for each image and may process image effect application according to the calculated result.
  • the main processing unit 160 may display the first image 2411 to which a separate image effect is not applied according to a camera shooting condition or an external environmental condition.
  • the main processing unit 160 may receive the second image 2412 photographed under a photographing condition different from the photographing condition of the first image 2411 or a different external environmental condition (eg, change of illuminance).
  • the main processing unit 160 calculates a light source for the second image 2412, and as shown, a second image including a first light source 2412a displayed at a first position and to which an image effect is applied ( 2412) can be displayed.
  • the main processing unit 160 receives the third image 2413 photographed under a condition different from when the second image was photographed (eg, illuminance change)
  • the main processing unit 160 calculates a light source for the third image 2413, and A third image 2413 including the second light source 2413a displayed at the second position and to which the image effect is applied may be displayed.
  • the third image 2413 may be an image captured in an illuminance environment in which the first light source 2412a at the first location is not detected.
  • the main processing unit 160 may display a fourth image 2414 including both the first light source 2412a at the first position to which the image effect is applied and the second light source 2413a at the second position to which the image effect is applied.
  • the fifth image 2415 may be an image without a light source to which a separate image effect is applied.
  • the sixth image 2416 may be an image including the first light source 2412a to which the image effect is applied.
  • the seventh image 2417 may be an image including a first light source 2412a to which an image effect is applied and a second light source 2413a to which an image effect is applied.
  • the eighth image 2418 may be an image including only the first light source 2412a to which the image effect is applied.
  • the image effect is irregular according to changes in shooting conditions or external environment. If applied, the image effect may be observed as flickering in the first consecutive images 2400a.
  • the Light source calculation information for the 3 light source 2421a and the fourth light source 2421b may be stored and managed in a memory.
  • the main processing unit 160 receives the tenth image 2422 and performs light source calculation for the tenth image 2422, checks whether the tenth image 2422 is moving, and if the motion is less than a specified size , By applying the calculated information about the third light source 2421a and the fourth light source 2421b of the previous ninth image 2421 to the tenth image 2422, the third light source 2421a and the fourth light source 2421b Related image effects may be processed to be applied to the tenth image 2422 in the same or similar manner.
  • the main processing unit 160 applies the light source calculation result of the previous image by a specified ratio when performing light source calculation for the current image, and the same or similar image effect is applied.
  • the main processing unit 160 includes a third light source 2421a with an image effect applied to the ninth to sixteenth images 2421, 2422, 2423, 2424, 2425, 2426, 2427, and 2428, and the image effect applied. It is possible to control so that all of the fourth light sources 2421b are displayed.
  • the electronic device can remove flicker caused by irregular application of the image effect by maintaining the image effect on the light source uniformly.
  • an electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor is continuously acquired.
  • Receives an image checks the motion of the current image using a previous image, and if the motion is greater than or equal to a specified size, applies a specified image effect to light sources included in the current image based on the current image, and the motion If the size is less than the specified size, it may be set to apply a specified image effect to light sources included in the current image based on a light source calculation result of the previous image and a light source calculation result of the current image.
  • the at least one processor may apply a first weight to a light source calculation result of the previous image and a second weight to the light source calculation result of the current image.
  • the first weight may be 0.5 to 0.9
  • the second weight may be 0.1 to 0.5
  • an electronic device includes a camera, a memory, and at least one processor operatively connected to the camera and the memory, and the at least one processor includes: Receiving the image obtained as a result, applying a specified image effect to the light source detected in the continuous image, but checking the movement of the current image, and if the movement is less than a specified size, the specified image effect is common to successive images. And, when the motion is greater than or equal to a specified size, a specified image effect may be applied or set to exclude the application of the image effect according to a light source calculation result of the current image.
  • the at least one processor stores a light source calculation result calculated from a previous image in a memory, and when the movement of the current image is less than a specified size, the first light source calculation result of the previous image stored in the memory is After applying a weight and applying a second weight to the light source calculation result calculated from the current image, the image effect of the current image based on the light source calculation result to which the first weight is applied and the light source calculation result to which the second weight is applied. Can be set to handle application.
  • 25 is a block diagram of an electronic device 2501 (eg, the electronic device 101) in a network environment 2500 according to various embodiments.
  • the electronic device 2501 communicates with the electronic device 2502 through a first network 2598 (eg, a short-range wireless communication network), or a second network 2599 It is possible to communicate with the electronic device 2504 or the server 2508 through (eg, a long-distance wireless communication network).
  • the electronic device 2501 may communicate with the electronic device 2504 through the server 2508.
  • the electronic device 2501 includes a processor 2520 (eg, the main processing unit 160, the post processing unit 165), a memory 2530 (eg, the first memory 170), and an input device ( 2550), sound output device 2555, display device 2560, audio module 2570, sensor module 2576, interface 2577, haptic module 2579, camera module 2580 (e.g., lens unit ( 110), a shutter unit 120, an image sensor 130), a power management module 2588, a battery 2589, a communication module 2590, a subscriber identification module 2596, or an antenna module 2597.
  • a processor 2520 eg, the main processing unit 160, the post processing unit 165
  • a memory 2530 eg, the first memory 170
  • an input device 2550
  • sound output device 2555 display device 2560
  • audio module 2570 e.g., sensor module 2576, interface 2577
  • haptic module 2579 e.g., camera module 2580
  • camera module 2580 e.g., lens
  • At least one of these components may be omitted or one or more other components may be added to the electronic device 2501.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 2576 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 2560 eg, the display 180.
  • the processor 2520 for example, executes software (eg, a program 2540) to implement at least one other component (eg, a hardware or software component) of the electronic device 2501 connected to the processor 2520. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 2520 may transfer commands or data received from other components (eg, the sensor module 2576 or the communication module 2590) to the volatile memory 2532 The command or data stored in the volatile memory 2532 may be processed, and result data may be stored in the nonvolatile memory 2534.
  • software eg, a program 2540
  • the processor 2520 may transfer commands or data received from other components (eg, the sensor module 2576 or the communication module 2590) to the volatile memory 2532
  • the command or data stored in the volatile memory 2532 may be processed, and result data may be stored in the nonvolatile memory 2534.
  • the processor 2520 includes a main processor 2521 (eg, a central processing unit or an application processor), and a coprocessor 2523 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 2523 may be configured to use less power than the main processor 2521 or to be specialized for a designated function.
  • the secondary processor 2523 may be implemented separately from the main processor 2521 or as a part thereof.
  • the coprocessor 2523 is, for example, in place of the main processor 2521 while the main processor 2521 is in an inactive (eg, sleep) state, or the main processor 2521 is active (eg, an application is executed). ) While in the state, together with the main processor 2521, at least one of the components of the electronic device 2501 (for example, the display device 2560, the sensor module 2576, or the communication module 2590) It is possible to control at least some of the functions or states related to. According to an embodiment, the coprocessor 2523 (eg, an image signal processor or a communication processor) may be implemented as part of another functionally related component (eg, a camera module 2580 or a communication module 2590). have.
  • the memory 2530 may store various data used by at least one component of the electronic device 2501 (for example, the processor 2520 or the sensor module 2576).
  • the data may include, for example, software (eg, the program 2540) and input data or output data for commands related thereto.
  • the memory 2530 may include a volatile memory 2532 or a nonvolatile memory 2534.
  • the program 2540 may be stored as software in the memory 2530 and may include, for example, an operating system 2542, middleware 2544, or an application 2546.
  • the input device 2550 may receive a command or data to be used for a component of the electronic device 2501 (eg, the processor 2520) from an external device (eg, a user) of the electronic device 2501.
  • the input device 2550 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 2555 may output an sound signal to the outside of the electronic device 2501.
  • the sound output device 2555 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls.
  • the receiver may be implemented separately from or as a part of the speaker.
  • the display device 2560 may visually provide information to the outside of the electronic device 2501 (eg, a user).
  • the display device 2560 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 2560 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 2570 may convert sound into an electrical signal, or conversely, may convert an electrical signal into sound. According to an embodiment, the audio module 2570 obtains sound through the input device 2550, the sound output device 2555, or an external electronic device (for example, an external electronic device directly or wirelessly connected to the electronic device 2501). Sound may be output through the electronic device 2502) (for example, a speaker or headphones).
  • the sensor module 2576 detects an operating state (eg, power or temperature) of the electronic device 2501, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 2576 includes, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 2577 may support one or more designated protocols that may be used to connect the electronic device 2501 directly or wirelessly to an external electronic device (eg, the electronic device 2502 ).
  • the interface 2577 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 2578 may include a connector through which the electronic device 2501 can be physically connected to an external electronic device (eg, the electronic device 2502).
  • the connection terminal 2578 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 2579 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through a tactile or motor sense.
  • the haptic module 2579 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 2580 may capture a still image and a video.
  • the camera module 2580 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 2588 may manage power supplied to the electronic device 2501.
  • the power management module 388 may be implemented as at least a part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 2589 may supply power to at least one component of the electronic device 2501.
  • the battery 2589 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 2590 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 2501 and an external electronic device (eg, electronic device 2502, electronic device 2504, or server 2508). It is possible to support establishment and communication through the established communication channel.
  • the communication module 2590 operates independently of the processor 2520 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 2590 is a wireless communication module 2592 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 2594 (eg : A LAN (local area network) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 2598 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 2599 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • the wireless communication module 2592 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 2596 in a communication network such as the first network 2598 or the second network 2599.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 2501 may be checked and authenticated.
  • the antenna module 2597 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 2597 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 2598 or the second network 2599 is, for example, provided by the communication module 2590 from the plurality of antennas. Can be chosen.
  • a signal or power may be transmitted or received between the communication module 2590 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 2597.
  • At least some of the components are connected to each other through a communication method (e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and signal (E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 2501 and the external electronic device 2504 through the server 2508 connected to the second network 2599.
  • Each of the electronic devices 2502 and 2504 may be the same or different types of devices as the electronic device 2501.
  • all or part of the operations executed by the electronic device 2501 may be executed by one or more of the external electronic devices 2502, 2504, or 2508.
  • the electronic device 2501 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 2501 does not execute the function or service by itself.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 2501.
  • the electronic device 2501 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • a device configured to may mean that the device “can” along with other devices or parts.
  • a processor configured (or configured) to perform A, B, and C refers to a processor dedicated to performing the operations (eg, an embedded processor), or one stored in a memory device (eg, memory 130). By executing the above programs, it may mean a general-purpose processor (eg, CPU or AP) capable of performing corresponding operations.
  • module used in this document includes a unit composed of hardware, software, or firmware, and is used interchangeably with terms such as logic, logic blocks, parts, or circuits. I can.
  • the “module” may be an integrally configured component or a minimum unit that performs one or more functions, or a part thereof.
  • Modules can be implemented mechanically or electronically, for example, known or future development, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or It may include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a part of an apparatus (eg, modules or functions thereof) or a method (eg, operations) according to various embodiments is a command stored in a computer-readable storage medium (eg, memory 2530) in the form of a program module Can be implemented as When the command is executed by a processor (for example, the processor 2520), the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (eg, magnetic tape), optical recording media (eg, CD-ROM, DVD, magnetic-optical media (eg, floppy disks)), internal memory, etc.
  • the instruction may include code generated by a compiler or code that can be executed by an interpreter.
  • Each of the constituent elements may be composed of a singular or a plurality of entities, and some of the aforementioned sub-elements may be omitted, or other sub-elements may be omitted. It may contain more. Alternatively or additionally, some constituent elements (eg, a module or a program module) may be integrated into a single entity to perform the same or similar functions performed by each corresponding constituent element before the consolidation. Operations performed by modules, program modules, or other components according to various embodiments may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations. Can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 기재는 카메라, 메모리, 상기 카메라 및 상기 메모리와 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원이 일정 크기의 면과 지정된 개수의 모서리를 가지는 면 광원인 경우 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고, 상기 적어도 하나의 후보 광원이 일정 크기의 면과 지정된 개수의 모서리를 가지는 면 광원인 경우 상기 적어도 하나의 후보 광원과 관련하여 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

이미지 효과 적용 방법 및 이를 지원하는 전자 장치
본 문서에서 개시되는 실시 예들은, 이미지 효과 적용 기술과 관련된다.
DSLR, 미러리스 디지털 카메라 등 다양한 형태의 촬영 장치(또는 촬상 장치)가 출시되고 있다. 또한, 스마트폰, 태블릿 PC 등과 같은 전자 장치는 카메라 모듈을 포함하여, 사진 또는 동영상을 촬영하는 기능을 제공하고 있다. 상기 전자 장치(또는 촬영 장치)는 다양한 촬영 모드를 제공하고 있고, 사용자는 촬영 환경에 따라 촬영 모드를 선택하여, 원하는 이미지를 얻을 수 있다.
촬영 장치의 렌즈는 수광되는 빛을 집광하는 역할을 한다. 렌즈는 집광의 기능이 가장 기본적이지만, 사진의 표현 기법을 다양화 시키는 역할을 하기도 한다. 아웃포커스 기법이나, 아포다이제이션(apodization) 필터, 빛 갈라짐 효과(star effect)는 상기 표현 기법의 대표적인 예제이다. 대부분의 촬영 장치는 복수의 부분으로 구성된 각진 조리개를 사용하기 때문에 촬영 시 빛의 회절을 통해 빛 갈라짐 효과가 자동으로 구현될 수 있다. 하지만, 렌즈의 F값이 고정된 전자 장치의 카메라 모듈은 촬영 장치와는 다른 조리개를 사용하여 빛 갈라짐 효과가 자동으로 구현될 수 없다.
최근에는 영상 처리 과정으로만 광학 효과를 인위적으로 영상에 부가하려는 노력이 있다.
상술한 바와 같이, 영상 처리에 의한 인위적인 빛 갈라짐 효과는 촬영 장치의 광학적 특성에 의한 실제 빛 갈라짐 현상과는 차이가 발생할 수 있다.
이에, 본 기재의 다양한 실시 예들은 촬영 장치에 적용되는 광학적 특성과 유사 또는 동일한 이미지 효과(예: 빛 갈라짐 효과, Star-Effect)를 적용함으로써 보다 자연스러운 이미지를 획득할 수 있도록 하는 이미지 효과 적용 방법 및 이를 지원하는 전자 장치를 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 메모리, 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원의 경계면 정보에 기반하여 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하거나, 또는 상기 지정된 이미지 효과 적용을 제외시키도록 설정되고, 상기 경계면 정보는 상기 적어도 하나의 후보 광원의 경계면에 대응하는 픽셀 정보를 포함하고, 상기 픽셀 정보는 픽셀의 좌표값을 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는 카메라, 메모리, 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원에 적어도 하나의 지정된 조건 검사를 수행하고, 상기 적어도 하나의 지정된 조건 검사 결과에 따라 상기 적어도 하나의 후보 광원에 지정된 이미지 효과를 적용하거나 또는 상기 적어도 하나의 후보 광원과 관련하여 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는 카메라, 메모리, 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원의 경계면에서 상기 적어도 하나의 후보 광원의 중심방향으로 오목한 부분의 크기, 개수, 모양 중 적어도 하나에 따라 상기 적어도 하나의 후보 광원과 관련하여 빛 갈라짐 효과 적용을 제외시키도록 설정될 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는 카메라, 메모리, 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 연속된 이미지를 획득하고, 이전 이미지와 비교하여 현재 이미지의 움직임 여부를 판단하고, 상기 움직임이 지정된 크기 이하인 경우, 이전 이미지에서 산출한 광원 산출 결과와 현재 이미지에서 산출한 광원 산출 결과를 기반으로 포화 픽셀을 포함하는 광원의 이미지 효과 적용을 처리하고, 상기 움직임이 지정된 크기를 초과하는 경우, 현재 이미지에서 산출한 광원 산출 결과만으로 포화 픽셀을 포함하는 광원의 이미지 효과 적용을 처리하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 본 기재의 실시 예는 이미지 효과 적용을 선별적으로 수행함으로써, 부자연스러운 이미지 효과 적용을 줄이고 자연스러운 이미지를 획득할 수 있도록 지원한다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 기재의 일 실시 예에 따른 전자 장치의 구성도이다.
도 2는 본 기재의 일 실시 예에 따른 메인 처리부의 구성을 나타내는 블럭도이다.
도 3은 본 기재의 일 실시 예에 따른 이미지 처리 방법을 나타내는 순서도이다.
도 4는 본 기재의 일 실시 예에 따른 단노출 이미지 및 적정 노출 이미지를 이용한 점 광원 추출 방법을 나타내는 타이밍 신호도이다.
도 5는 본 기재의 일 실시 예에 따른 서로 다른 노광의 복수의 이미지들을 이용한 광량 추적 방법을 나타내는 그래프이다.
도 6은 본 발명의 일 실시 예에 따른 광원 효과 적용을 위한 룩업 테이블에 대응하는 그래프를 나타내는 도면이다.
도 7a는 본 기재의 일 실시 예에 따른 제1 광원 선택 방법의 한 예를 나타낸 도면이다.
도 7b는 본 기재의 일 실시 예에 따른 제1 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 8a는 본 기재의 일 실시 예에 따른 제2 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 8b는 본 기재의 일 실시 예에 따른 제2 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 9a는 본 기재의 일 실시 예에 따른 제3 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 9b는 본 기재의 일 실시 예에 따른 제3 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 10a는 본 기재의 일 실시 예에 따른 제4 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 10b는 본 기재의 일 실시 예에 따른 제4 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 11a는 본 기재의 일 실시 예에 따른 제5 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 11b는 본 기재의 일 실시 예에 따른 제5 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 12a는 본 기재의 일 실시 예에 따른 제6 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 12b는 본 기재의 일 실시 예에 따른 제6 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 13a는 본 기재의 일 실시 예에 따른 선택 광원 조정 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 13b는 본 기재의 일 실시 예에 따른 선택 광원 조정과 관련한 이미지의 한 예를 나타낸 도면이다.
도 14a는 본 기재의 일 실시 예에 따른 제1 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 14b는 본 기재의 일 실시 예에 따른 제1 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 15a는 본 기재의 일 실시 예에 따른 제2 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 15b는 본 기재의 일 실시 예에 따른 제2 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 16은 본 기재의 일 실시 예에 따른 제3 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 17은 본 기재의 일 실시 예에 따른 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 18은 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 효과 적용 처리와 관련한 전자 장치의 구성 일부의 한 예를 나타낸 도면이다.
도 19는 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 효과 적용 방법의 한 예를 나타낸 도면이다.
도 20은 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 효과 적용과 관련한 영역 설정 방법을 설명하는 도면이다.
도 21은 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 IIR(Infinite Impulse Response) 연산 장치의 한 예를 나타낸 도면이다.
도 22는 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 저장 방법의 한 예를 나타낸 도면이다.
도 23은 다양한 실시 예에 따른 움직임 발생에 따른 이미지 효과 적용의 한 예를 나타낸 도면이다.
도 24는 다양한 실시 예에 따른 연속 수신된 이미지에서의 이미지 효과 적용의 비교 예를 나타낸 도면이다.
도 25는, 다양한 실시 예들에 따른, 네트워크 환경(2500) 내의 전자 장치(2501)(예: 전자 장치(101))의 블럭도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 기재의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 기재를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 기재의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 본 기재의 일 실시 예에 따른 전자 장치의 구성도이다.
도 1을 참조하면, 전자 장치(101)는 외부의 피사체로부터 반사되는 빛을 수집하여 사진 또는 동영상을 촬영하는 장치 또는 카메라일 수 있다. 전자 장치(101)는 렌즈부(110), 셔터부(120), 이미지 센서(130), 센서 인터페이스(135), 영상 처리부(140), 후처리부(165), 제1 메모리(170), 및 디스플레이(180)를 포함할 수 있다. 다양한 실시 예에 따르면, 상기 전자 장치(101)에서 상기 렌즈부(110), 셔터부(120), 이미지 센서(130) 및 센서 인터페이스(135)는 카메라를 구성하고, 상기 영상 처리부(140) 및 후처리부(165)는 적어도 하나의 프로세서를 구성할 수 있다.
일 실시 예에 따르면, 렌즈부(110)는 피사체에서 장치에 도달한 빛을 수집할 수 있다. 수집된 빛은 이미지 센서(130)에 결상될 수 있다.
일 실시 예에 따르면, 셔터부(120)는 슬릿 주행을 함으로써 렌즈부(110)를 통해 이미지 센서(110)로 전달되는 광량을 제어함으로써, 이미지 센서(110)의 노광량을 조절할 수 있다. 다양한 실시 예에 따르면, 셔터부(120)는 기구적 형태를 가지는 셔터로 구성될 수도 있고, 센서의 컨트롤 통해 셔터 동작을 수행하는 전자 셔터로 구성될 수도 있다. 다른 예를 들어, 셔터부(120)는 선막(전면 셔터막)만 전자적으로 구성하는 셔터를 포함할 수도 있다.
일 실시 예에 따르면, 이미지 센서(130)는 광전 전환 효과로 빛을 전자적인 이미지 데이터로 변환할 수 있다. 이미지 데이터는 센서 인터페이스(135)를 통해서 영상 처리부(140)에 전달될 수 있다. 이미지 센서(130)는 2차원 배치되는 화소군을 포함할 수 있고, 각각의 화소에서의 빛을 전자적인 이미지 데이터로 변환할 수 있다.
일 실시 예에 따르면, 이미지 센서(130)는 영상 처리부(140)에서 정해진 노광 시간으로 셔터부(120)를 조절하여 이미지 센서(130)에 전달되는 빛의 양(노광량)을 조절할 수 있다. 이와 관련하여, 이미지 센서(130)는 결상되는 빛이 도달 하기 전 광량을 조절하는 가변 조리개 역할의 기구물 또는 구조물을 더 포함할 수 있다. 이미지 센서(130)는 각각의 픽셀에 기록된 광전 전환 효과에 따른 전자적인 이미지 데이터를 독출할 수 있다(read-out).
일 실시 예에 따르면, 센서 인터페이스(135)는 이미지 센서(130)와 영상 처리부(140) 사이의 인터페이스를 수행할 수 있다. 센서 인터페이스(135)는 전자 장치(101)의 구성에 따라 전처리부(150)의 앞이나 뒤에 위치 할 수 있다.
일 실시 예에 따르면, 영상 처리부(140)는 이미지 센서(130)에서 수집한 이미지 데이터를 다양한 처리과정을 거쳐서, 디스플레이(180)에 출력하거나 제1 메모리(170)에 저장할 수 있다. 예를 들면, 영상 처리부(140)는 전처리부(150) 및 메인 처리부(160)을 포함할 수 있다.
일 실시 예에 따르면, 전처리부(예: Pre ISP)(150)는 메인 처리부(또는 영상 처리부)(160)에서 이미지 처리를 수행하기 전에 이미지 정합 또는 감마 처리 등의 기능을 수행할 수 있다. 예를 들면, 전처리부(150)는 연속적으로 촬영된 복수의 이미지들 사이에 흔들림이 있는 경우, 영상 정합 과정을 통해 흔들림 성분을 제거하거나 줄일 수 있다.
일 실시 예에 따르면, 메인 처리부(160)(예: AP, ISP, peripheral controller)는 전처리부(150)를 통해 처리된 영상 신호에 대한 디지털 신호 처리를 수행할 수 있다. 메인 처리부(160)는 전처리부(150)로부터 수신한 신호를 보정, 합성하여 전체 이미지 신호를 생성한 후, 생성된 전체 이미지 신호를 디스플레이(180)를 통하여 표시하도록 제어할 수 있다. 메인 처리부(160)는 신호의 증폭, 변환, 처리 등의 전반적인 동작을 제어하는 기능을 수행할 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 이미지에 포함된 광원들(또는 광원 영역들, 이하 광원) 중 지정된 값 이상의 포화 픽셀들(예: 지정된 광량 이상이 저장된 픽셀들)을 포함하는 광원의 위치 및 밝기를 산출하고, 각각의 광원이 위치하는 지점을 중심으로 이미지 효과(또는 광원 효과)(예: 빛 갈라짐 효과)를 적용할 수 있다. 다양한 실시 예에 따르면, 메인 처리부(160)는 지정된 값 이하의 저조도 환경에서 획득된 이미지, 동일한 노출의 복수의 이미지들(또는 프레임들), 또는 복수의 서로 다른 노출을 가지는 이미지들 중 적어도 하나를 이용하여 광원의 위치 및 실질적인 밝기를 산출하고, 검출된 광원에 대하여 지정된 조건을 만족하는지 확인 후, 이미지 효과 적용을 선별적으로 처리할 수 있다. 다양한 실시 예에 따르면, 메인 처리부(160)는 프리뷰 모드 또는 동영상 촬영 모드(또는 기능)에서 획득되는 복수의 이미지들을 이용하여 광원의 이동 여부를 확인할 수 있다. 상기 메인 처리부(160)는 프리뷰 모드 또는 동영상 촬영 모드에서 광원이 지정된 크기 이상 이동된 경우 이미지 효과 적용을 현재 프레임의 광원 산출 결과를 기준으로 처리하고, 지정된 크기 이하로 이동된 경우 이전 프레임의 광원 산출 결과 및 현재 프레임의 광원 산출 결과를 종합하여 이미지 효과 적용을 처리할 수 있다.
일 실시 예에 따르면, 후처리부(165)는 메인 처리부(160)에서 수신된 이미지에 추가적인 이미지 처리를 수행할 수 있다. 예를 들면, 후처리부(165)는 색을 이용한 후속 처리, 얼굴 검출 또는 피사체 추적과 같은 이미지 처리를 수행할 수 있다. 다양한 실시 예에 따르면, 상술한 설명에서는 지정된 값 이상의 포화 픽셀들을 포함하는 광원들에 대하여 지정된 조건에 따라 선별적으로 이미지 효과를 적용하는 선별적 이미지 효과 적용 기능 및 프리뷰 모드(또는 동영상 촬영 모드)에서의 이미지 처리 기능을 메인 처리부(160)가 제어하는 것으로 설명하였으나, 상기 선별적 이미지 효과 적용 기능 및 프리뷰(또는 동영상 촬영 모드)에서의 이미지 처리 기능은 후처리부(165)에서 수행될 수도 있다. 이와 관련하여, 상기 후처리부(165)는 광원 산출 결과에서 지정된 값 이상의 포화 픽셀들을 포함하여 이미지 효과를 적용하도록 예정된 후보 광원(또는 후보 광원 영역, 이하 후보 광원)들에 대하여 지정된 조건들을 만족하는지 확인하여 선별적으로 이미지 효과를 적용할 수 있다. 또한, 후처리부(165)는 프리뷰 모드(또는 동영상 촬영 모드)에서 광원의 이동 여부에 따라 복수의 이미지들의 광원 산출 결과에 따라 이미지 효과를 적용하거나 또는 현재 획득된 이미지의 광원 산출 결과에 따라 이미지 효과를 적용할 수 있다. 일 실시 예에 따르면, 후처리부(165)는 메인 처리부(160)에서 제공하는 영상 신호를 제1 메모리(170)에 저장하거나 디스플레이(180)에 표시할 수 있다. 예를 들면, 후처리부(165)는 제1 메모리(170) 또는 디스플레이(180)에서 지원하는 형태로 영상 신호를 변환하여 전달할 수 있다.
일 실시 예에 따르면, 제1 메모리(170)는 영상 처리부(140)를 통해 처리된 이미지를 저장할 수 있다. 디스플레이(180)는 영상 처리부(140)에서 처리된 이미지 데이터를 사용자가 확인할 수 있도록 출력할 수 있다.
도 2는 본 기재의 일 실시 예에 따른 메인 처리부의 구성을 나타내는 블럭도이다. 도 2의 구성은 기능에 따라 분류된 것으로 일부 생략되거나 통합될 수 있다.
도 2를 참조하면, 메인 처리부(160)는 전처리부(150)로부터 적어도 하나의 이미지 또는 연속적으로(또는 지정된 시간 간격 이내에) 촬영된 복수의 이미지들에 대한 데이터를 수신할 수 있다.
일 실시 예에 따르면, 특정 조도(예: -3ev 저조도)에서 획득된 이미지에 대한 데이터를 전처리부(150)로부터 수신하는 경우, 메인 처리부(160)는 수신된 데이터를 기반으로 후보 광원들을 산출하고, 산출된 후보 광원들에 대하여 지정된 조건을 적용하여, 상기 지정된 조건이 만족된 후보 광원을 선택하여 이미지 효과를 적용할 수 있다.
일 실시 예에 따르면, 복수의 이미지들에 대한 데이터를 수신하는 경우, 메인 처리부(160)는 서로 동일한 노광 시간을 가지는 복수의 이미지들에 대해 데이터를 수신할 수 있다. 또는, 메인 처리부(160)는 서로 다른 노광 시간을 가지는 복수의 이미지들에 대해 데이터를 수신할 수 있다. 예를 들어, 메인 처리부(160)는 제1 노광 시간(또는 적정 노광 시간, 기준 노광 시간, 사용자 설정 노광 시간, 또는 자동 설정 노광 시간으로서, 예컨대, 1/16 s)에 따라 촬영된 제1 노출 이미지(또는 적정 노출 이미지)와 제1 노광 시간보다 짧은 제2 노광 시간에 따라 촬영된 제2 노출 이미지(예: 단노출 이미지)를 수신할 수 있다. 메인 처리부(160)는 제1 노출 이미지 및 제2 노출 이미지를 이용하여 광원을 분석하고, 저장되는 적정 노광의 영상에 다양한 효과(예: 빛 갈라짐 효과)를 선택적으로 적용할 수 있다.
일 실시 예에 따르면, 사용자가 촬영을 위해 셔터를 누르거나 이에 준하는 다른 유저 인터페이스(예: 제스쳐, 음성 등)를 작동하는 경우, 적정 노출 이미지 및 단노출 이미지가 순차적으로 촬영될 수 있다. 다양한 실시 예에서, 적정 노출 이미지 및 단노출 이미지 사이에 이미지의 흔들림이 있는 경우, 전처리부(150)에서 영상 정합 과정이 실행되고, 결과 이미지가 메인 처리부(160)에 전달될 수 있다.
일 실시 예에 따르면, 적정 노출 이미지 및 단노출 이미지는 서로 다른 노광 시간을 가질 수 있다. 예를 들면, 단노출 이미지가 메인 처리부(160)에 먼저 입력되고, 이후, 적정 노출 이미지가 메인 처리부(160)에 입력될 수 있다. 또는 적정 노출 이미지가 메인 처리부(160)에 먼저 입력되고, 이후, 단노출 이미지가 메인 처리부(160)에 입력될 수 있다. 전자 장치(101)는 셔터랙의 단축을 위해 미리 단노출 이미지 또는 적정 노출 이미지를 저장하고 대기 할 수 있다. 기 저장된 단노출 이미지 또는 적정 노출 이미지는 광학적 효과에 의해서 광원(포화된 지점)에 빛 갈라짐이 발생하지 않은 이미지일 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 위치 추출부(210), 저장부(215), 화소 결정부(220), 광원 선택부(225), 광량 산출부(230), 효과 적용부(240), 및 룩업 테이블(245)을 포함할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 주변 조건 검출부(235) 및 색 온도 검출부(250) 중 적어도 하나를 더 포함할 수 있다. 상기 구분은 기능에 따른 분류로서 일부 구성들이 결합되거나, 추가적인 구성이 포함될 수도 있다. 예를 들어, 상기 주변 조건 검출부(235) 및 상기 색 온도 검출부(250)는 설계 변경에 따라 상기 메인 처리부(160)에서 생략될 수도 있다.
일 실시 예에 따르면, 위치 추출부(210)는 저조도 이미지(설정에 따라 상대적으로 낮은 조도 설정에서 획득한 이미지)에서 광원 영역을 결정할 수 있다. 다양한 실시 예에 따르면, 위치 추출부(210)는 적정 노출 이미지 및 단노출 이미지에서 광원 영역을 결정할 수 있다. 예를 들면, 위치 추출부(210)는 지정된 값 이상의 밝기를 가지는 지점(예: 포화 픽셀의 위치)을 확인할 수 있다. 위치 추출부(210)는 단노출 이미지에 대해, 이미지 센서(130)의 리드아웃 라인 별로 미리 설정된 값 이상의 밝기 화소의 시작 및 끝 좌표와 픽셀 게인(gain)을 판별해서 저장부(215)에 저장할 수 있다. 다양한 실시 예에서, 위치 추출부(210)는 노이즈에 임계값 적용으로 인해, 일시적으로 값이 흔들리는 픽셀을 검출하여 거르기 위해, 히스테리시스를 적용해서 지정된 개수 이상 흔들리는 픽셀들이 연속된 경우 해당 픽셀들을 저장부(215)에 저장되도록 할 수 있다. 다양한 실시 예에 따르면, 위치 추출부(210)는 저조도 이미지 또는 적정 노출 이미지(설정에 따라 적정 노출로 정의된 값에서 획득된 이미지)에 기초하여 광원 영역의 크기를 결정할 수 있다. 다양한 실시 예에 따르면, 상기 위치 추출부(210)는 복수의 노출 이미지들의 광원 비교(또는 광원 영역들의 비교)를 통해 위치가 변경된 광원을 산출할 수 있다. 상기 위치 추출부(210)는 광원의 위치가 변경된 경우, 예컨대, 복수의 노출 이미지들에서의 광원이 지정된 크기 이상 이동한 경우, 이동 광원들의 위치를 저장부(215)에 저장할 수 있다.
일 실시 예에 따르면, 화소 결정부(220)는 포화 화소(또는 픽셀)를 판별 및 마킹(marking)할 수 있다. 화소 결정부(220)는 단노출 이미지에 대해 리드아웃 라인 별로, 밝기가 포화된 포화 픽셀(예: 해당 픽셀의 휘도 값이 최대가 된 픽셀)을 판별할 수 있다. 판별된 포화 픽셀에 대하여 리드아웃 라인의 시작과 끝의 좌표 정보는 저장부(215)에 저장될 수 있다.
일 실시 예에 따르면, 광원 선택부(225)는 판별된 포화 픽셀들을 클러스터링하여 후보 광원들을 산출하고, 후보 광원들이 지정된 조건들 중 적어도 하나의 광원 선택 조건을 만족하는지 또는 적어도 하나의 광원 제외 조건을 만족하는지 확인할 수 있다. 상기 광원 선택 조건은 예컨대, 후보 광원의 길이(예: 세로 길이 또는 가로 길이)가 제1 지정된 값 이상인 조건을 포함할 수 있다. 상기 광원 선택 조건은 후보 광원(또는 후보 광원 영역)의 제1 축 길이(광원 영역이 일정 면을 이루는 경우, 면에 대한 임의의 제1 축 길이)와 제2 축 길이(예: 상기 제1 축에 수직인 제2 축의 길이)의 비가 제2 지정된 값 이하인 조건을 포함할 수 있다. 상기 광원 선택 조건은 후보 광원의 면적이 제3 지정된 값 이하인 조건 또는 후보 광원을 포함하는 일정 크기의 도형을 할당하고 상기 후보 광원과 상기 도형의 면적 비가 제2 지정된 값 이하인 조건을 포함할 수 있다. 상기 광원 선택 조건은 후보 광원을 포함하는 일정 크기의 도형을 할당하고 도형의 경계선에 위치하는 후보 광원의 픽셀 개수가 제4 지정된 값 이하인 조건을 포함할 수 있다. 상기 광원 선택 조건은 단노출 이미지에서의 후보 광원 크기와 적정노출 이미지에서의 후보 광원 크기의 비율이 제5 지정된 값 이상인 조건을 포함할 수 있다. 상기 광원 선택 조건은 상기 후보 광원의 복잡도(광원이 면을 이루고, 상기 면의 선분 또는 변곡점의 개수에 따른 복잡도)가 제6 지정된 값 이하인 조건을 포함할 수 있다. 상기 광원 제외 조건은 상기 후보 광원의 형태가 지정된 형태를 벗어나는 경우 예컨대 후보 광원의 경계선 중 후보 광원의 중심을 향하는 경계선이 있는 경우 또는 후보 광원에 포함된 임의의 픽셀들을 잇는 선분 중 적어도 일부가 후보 광원 외부에 존재하는 경우를 포함할 수 있다. 상기 광원 제외 조건은 후보 광원의 최대 길이의 직선이 후보 광원의 경계선에 위치하는 조건을 포함할 수 있다. ??
일 실시 예에 따르면, 광량 산출부(230)는 위치 추출부(210)에서 검출한 영상 내에서의 점 광원의 위치 및 화소 결정부(220)에서 결정된 포화 픽셀의 좌표 정보와, 광원 선택부(225)에서 선택한 광원을 기반으로, 광원에서의 실제 광량을 계산할 수 있다. 예를 들면, 광량 산출부(230)는 단노출 이미지 또는 적정 노출 이미지에서 광원의 실제 광량을 계산할 수 있다. 적정 노출 이미지와 단노출 이미지에서 동시 연산을 하는 경우, 광량 산출부(230)는 노광 차(예: 16배)를 반영하고, 포화된 픽셀 주변의 포화되지 않은 인접 픽셀의 광량을 참조하여 광원에서의 실제 광량을 연산할 수 있다.
일 실시 예에 따르면, 상기 색 온도 검출부(250)는 상기 화소 결정부(220)에서 결정된 포화 픽셀들 또는 포화 픽셀들을 클러스터링한 후보 광원의 색 온도 값을 획득할 수 있다. 상기 색 온도 검출부(250)는 후보 광원의 색 온도 값이 지정된 값인 경우, 광원 제외 정보를 광원 선택부(225)에 제공할 수 있다. 일 실시 예에 따르면, 상기 색 온도 검출부(250)는 후보 광원의 색 온도가 형광등 또는 네온사인 등을 지시하는 색 온도 값인 경우, 광원 제외 정보를 광원 선택부(225)에 제공할 수 있다.
일 실시 예에 따르면, 상기 주변 조건 검출부(235)는 후보 광원들의 밀집도를 검출하고, 밀집도에 따라 후보 광원의 이득 값을 조정할 수 있다. 일 실시 예에 따르면, 상기 주변 조건 검출부(235)는 특정 후보 광원이 위치한 지정된 영역 내에 다른 후보 광원들이 상대적으로 많이 배치되는 경우이거나 다른 후보 광원의 크기가 지정된 크기 이상으로 큰 경우, 상기 특정 후보 광원의 이득 값을 지정된 크기만큼 낮출 수 있다. 상기 주변 조건 검출부(235)는 특정 후보 광원이 위치한 지정된 영역 내에 다른 후보 광원들이 상대적으로 적게 배치되는 경우이거나 다른 후보 광원의 크기가 지정된 크기 이하로 작은 경우, 상기 특정 후보 광원의 이득 값을 지정된 크기만큼 높일 수 있다. 후보 광원의 이득 값(밝기 값 또는 광량 값) 조정에 따라, 해당 광원에 적용할 이미지 효과의 크기(예: 빛 갈라짐의 크기 또는 길이)가 달라질 수 있다. 예를 들어, 이득 값이 커지는 경우 Star-Effect의 크기가 커지고, 이득 값이 작아지는 경우 Star-Effect의 크기가 작아질 수 있다.
일 실시 예에 따르면, 효과 적용부(240)는 산출된 광량을 기반으로 이미지 효과를 적용할 수 있다. 효과 적용부(240)는 룩업 테이블(245)을 참조하여, 광량 추적 값에 따라 지정된 비율에 맞춰서 포화 픽셀 또는 포화 픽셀을 중심으로 하는 지정된 영역을 치환하여, 이미지 효과(예: 빛 갈라짐 효과)를 적용할 수 있다. 효과 적용부(240)는 주변 조건 검출부(235)로부터 전달된 주변 조건을 확인하고, 해당 주변 조건에 따라 적용할 이미지 효과의 크기를 조절할 수 있다.
일 실시 예에 따르면, 후처리부(165)는 메인 처리부(160)에서 제공하는 영상 신호를 제1 메모리(170)에 저장하거나 디스플레이(180)에 표시할 수 있다. 예를 들면, 후처리부(165)는 제1 메모리(170) 또는 디스플레이(180)에서 지원하는 형태로 영상 신호를 변환하여 전달할 수 있다. 다양한 실시 예에 따르면, 앞서 언급한 바와 같이, 상기 후처리부(165)는 상기 후보 광원의 이미지 효과 적용을 위한 광원 선택 조건 또는 광원 제외 조건을 적용하여 선별적 이미지 효과 적용을 수행할 수 있다. 또는 후처리부(165)는 프리뷰 모드(또는 동영상 촬영 모드)에서 광원의 이동에 따라 복수의 이미지를 기반으로 이미지 효과 적용을 수행하거나, 현재의 이미지만을 이용하여 이미지 효과 적용을 수행할 수 있다.
도 3은 본 기재의 일 실시 예에 따른 이미지 처리 방법을 나타내는 순서도이다. 도 4는 본 기재의 일 실시 예에 따른 단노출 이미지 및 적정 노출 이미지를 이용한 점 광원 추출 방법을 나타내는 타이밍 신호도이다.
상기 도 2 내지 도 4를 참조하면, 일 실시 예에 따른 이미지 처리 방법에 있어서, 동작 310에서, 메인 처리부(160)의 위치 추출부(210)는 전처리부(150)로부터 적어도 하나의 이미지 데이터를 수신할 수 있다. 예를 들면, 위치 추출부(210)는 저조도 이미지를 수신할 수 있다. 상기 저조도 이미지는 예컨대 -3ev 또는 -5ev 등의 조도 설정에서 획득된 이미지를 포함할 수 있다. 또는 위치 추출부(210)는 단노출 이미지(410) 및 적정 노출 이미지(420)를 수신할 수 있다. 단노출 이미지(410)와 적정 노출 이미지(420)의 노광 시간을 제외한 게인(이득) 비율이 N(예: N은 자연수)이고, 단노출 이미지(410)의 노광 시간이 t인 경우, 적정 노출 이미지(420)의 노광 시간은 N*t일 수 있다. 다양한 실시 예에 따르면, 단노출 이미지(410) 및 적정 노출 이미지(420)는 외부 조도 환경에 따라 특정 F값(조리개 값)에서 촬영될 수 있다. 특정 F값은 카메라(예: 전자 장치(101))의 성능에 따라 변경될 수 있다.
일 실시 예에 따르면, 동작 320에서, 메인 처리부(160)의 위치 추출부(210)는 저조도 이미지 또는 단노출 이미지(410)를 이용하여 지정된 값 이상의 밝기를 가지는 지점(또는 픽셀)을 확인할 수 있다. 예를 들면, 위치 추출부(210)는 미리 설정된 값 이상의 밝기 화소의 시작 및 끝 좌표와 픽셀 게인(gain)을 획득하고, 획득된 정보를 저장부(215)에 저장할 수 있다. 다양한 실시 예에 따르면, 상기 지정된 값 이상의 밝기를 가지는 지점 검출 과정에서 광량 계산이 수행될 수도 있다.
일 실시 예에 따르면, 동작 330에서, 메인 처리부(160)의 화소 결정부(220)는 저조도 이미지 또는 단노출 이미지(410)를 이용하여 포화 픽셀을 판별 및 마킹할 수 있다. 예를 들면, 화소 결정부(220)는 판별된 포화 픽셀의 라인 단위의 시작과 끝의 좌표 정보를 저장부(215)에 저장할 수 있다. 다양한 실시 예에 따르면, 상기 포화 픽셀 판별 과정에서 광량 계산이 수행될 수도 있다.
일 실시 예에 따르면, 동작 340에서, 메인 처리부(160)의 광원 선택부(225)는 포화 픽셀들의 클러스터링을 수행할 수 있다. 다양한 실시 예에 따르면, 상기 클러스터링 작업은 메인 처리부(160)의 화소 결정부(220)가 수행할 수도 있다. 상기 메인 처리부(160)는 클러스터링 과정에서 포화 픽셀들 중 지정된 거리 이내로 인접된 포화 픽셀들을 군집하고, 군집된 포화 픽셀들에 식별 정보를 할당할 수 있다. 상기 식별 정보는 후보 광원 식별에 이용될 수 있다.
일 실시 예에 따르면, 동작 350에서, 메인 처리부(160)의 광원 선택부(225)는 클러스터링 수행 후 후보 광원들은 검출하고, 각 후보 광원들에 관한 정보를 저장부(215)에 저장할 수 있다.
일 실시 예에 따르면, 동작 360에서, 메인 처리부(160)의 광원 선택부(225)는 후보 광원들에 대하여 지정된 적어도 하나의 광원 조건을 만족하는지 확인할 수 있다. 상기 지정된 적어도 하나의 광원 조건은 앞서 언급한 광원 선택 조건 및 광원 제외 조건을 포함할 수 있다. 상기 광원 선택 조건은 후보 광원들 중 이미지 효과를 적용할 광원을 선택하는 조건이며, 상기 광원 제외 조건은 후보 광원들 중 이미지 효과를 적용하지 않을 광원을 식별하는 조건을 포함할 수 있다. 다양한 실시 예에 따르면, 광원 선택부(225)는 상술한 다양한 조건들 중 일부 조건들만을 선택하여 적용하거나 또는 각 조건들의 가중치를 다르게 설정하거나, 또는 단계별 조건 적용을 수행할 수 있다.
일 실시 예에 따르면, 동작 370에서, 메인 처리부(160)의 광원 선택부(225)는 지정된 적어도 하나의 조건 만족 여부에 따라 이미지 효과를 적용할 광원을 선택할 수 있다. 예를 들어, 상기 광원 선택부(225)는 복수의 광원 선택 조건 중 복수의 조건들을 동시 만족하는 적어도 하나의 광원을 선택할 수 있다. 또는, 광원 선택부(225)는 광원 제외 조건에 따라 후보 광원들을 제외하고 나머지 후보 광원들을 선택할 수 있다. 또는, 광원 선택부(225)는 광원 제외 조건을 만족하면서, 복수의 광원 선택 조건 중 적어도 하나의 조건을 만족하는 적어도 하나의 광원을 선택할 수 있다.
일 실시 예에 따르면, 동작 380에서, 메인 처리부(160)의 광량 산출부(230)는 검출한 광원의 위치 및 포화 픽셀의 좌표 정보 또는 선택된 광원의 식별 정보를 기반으로, 광원 피사체의 실제 광량을 계산할 수 있다. 예를 들면, 광량 산출부(230)는 포화되지 않은 인접 픽셀을 이용하여, 피팅(fitting) 연산을 통해 포화된 부분의 실제 광량을 추출할 수 있다. 다양한 실시 예에 따르면, 상기 광량 산출부(230)의 실제 광량 계산은 상기 클러스터링 동작 이전(예: 위치 산출 또는 포화 픽셀 판별 동작)에 수행될 수도 있다.
다양한 실시 예에 따르면, 이미지 센서(130)는 각각의 픽셀에 대한 밝기 값을 읽을 수 있다(리드 아웃). 단노출 이미지(410)에서, 화소 결정부(220)는 점 광원(411)의 좌표 및 밝기 값을 추출하여, 저장부(215)에 저장할 수 있다. 광량 산출부(230)는 점 광원(411)에 의해 포화가 된 픽셀 주변의 포화되기 전 상태의 인접 픽셀들을 확인할 수 있다. 광량 산출부(230)는 피팅 연산을 통해 포화된 부분의 실제 광량을 추출할 수 있다. 피팅 연산을 수행하기 위해서 포화되지 않은 2개의 인접 픽셀들이 필요할 수 있다. 상기 2개의 인접 픽셀들은 저조도 이미지 또는 단노출 이미지(410)의 포화 픽셀 주변의 값을 이용해서 구할 수도 있고, 단노출 이미지(410)와 적정 노출 이미지(420)를 이용해서 구할 수도 있고, 적정 노출 이미지(420)만을 이용해서 구할 수도 있다.
일 실시 예에 따르면, 동작 385에서, 메인 처리부(160)의 주변 조건 검출부(235)는 선택된 광원의 주변 조건을 검출할 수 있다. 예를 들어, 주변 조건 검출부(235)는 후보 광원들 중 임의의 후보 광원을 선택하고, 선택된 후보 광원을 포함하는 일정 영역 내의 광원 밀집도를 산출할 수 있다. 이와 관련하여, 주변 조건 검출부(235)는 후보 광원을 기준으로 일정 영역 내에 다른 후보 광원들이 몇 개가 위치하는지 상기 후보 광원과의 거리가 얼마인지를 확인할 수 있다. 상기 주변 조건 검출부(235)는 상기 산출된 밀집도에 따라 상기 계산된 광량의 이득을 조정할 수 있다. 또는, 주변 조건 검출부(235)는 산출된 밀집도는 효과 적용부(240)에 전달할 수 있다.
일 실시 예에 따르면, 동작 390에서, 메인 처리부(160)의 효과 적용부(240)는 룩업 테이블(245)를 참조하여, 이미지 효과(예: 빛 갈라짐 효과)를 적용할 수 있다. 다양한 실시 예에 따르면, 효과 적용부(240)는 포화 픽셀에 이미지 효과를 적용하는 과정에서, 주변 조건 검출부(235)가 제공한 밀집도에 따라 이득을 조정한 후, 이미지 효과를 적용할 수 있다.
도 5는 본 기재의 일 실시 예에 따른 서로 다른 노광의 복수의 이미지들을 이용한 광량 추적 방법을 나타내는 그래프이다.
도 2 및 도 5를 참조하면, 광량 산출부(230)는 피팅 연산을 통해 포화된 부분의 실제 광량을 산출할 수 있다. 광량 산출부(230)는 포화 픽셀의 주변 값을 이용해서 실제 포화된 영역의 광량 값을 유추할 수 있다. 이를 통해, 단노출 이미지의 촬영 횟수를 늘리지 않더라도, 포화된 영역의 광량을 추출할 수 있다.
일 실시 예에 따르면, 광량 산출부(230)는 N장의 서로 다른 노광 시간을 가지는 복수의 이미지를 이용하는 경우, N장의 이미지들 중 가장 짧은 노출 시간을 가지는 N번째 이미지를 이용하여, 포화된 부분의 광량을 산출할 수 있다.
일 실시 예에 따르면, N번째 이미지(530)(예: Exposure N)에 적정 노광 이미지(예: 첫 번째 이미지(510) 또는 Exposure 1)와의 노광 비율 계수를 곱하면, 점 광원이나 포화된 부분을 제외하고 대부분 일치하는 값을 가질 수 있다. N번째 이미지(530)는 단노출 이미지이기 때문에, 포화되지 않은 부분의 이미지 품질은 적정 노출 이미지에 대비하여 저하될 수 있고, 센서의 능력치와 노광비에 따라 노이즈화(예: 필터링 시 제거됨) 될 수도 있다. 반면, N번째 이미지(530)는 포화 픽셀 부근에서 상대적으로 높은 정확도의 값을 얻을 수 있다.
단노출 이미지(예: N번째 이미지(530))의 리드 아웃 시, 포화 전 2개 화소(511, 521)를 1차식의 피팅 연산하여 제1 기울기 값을 구하고, 포화 이후 2개의 화소(522, 512)를 1차식의 피팅 연산하여 제2 기울기 값을 구할 수 있다. 다양한 실시 예에서, 광량 산출부(230)는 제1 기울기 값과 제2 기울기 값 중 작은 값을 이용하여, 포화 픽셀에서의 광량을 산출할 수 있다.
다양한 실시 예에 따르면, 적정 노출 영상(예: 첫 번째 이미지(510))에서 포화된 픽셀이, 단노출 이미지(예: N번째 이미지(530))에서는 포화되지 않을 수 있으므로, 이 경우는 단노출 이미지의 픽셀 값을 이용하여, 광원에서의 광량을 산출할 수 있다.
다양한 실시 예에 따르면, 광량 산출부(230)는 1차식의 피팅 연산으로 얻어진 값이라도 이미지 전반에서 추출된 광원의 양이 지정된 값보다 적거나 많은 경우, 이미지 전반의 글로벌 또는 지역별 변수를 도입해서 일부 광량을 수정하는 연산을 할 수 있다. 이 경우, 포화 점 광원들의 광량의 상대적 비는 일정하게 유지되는 고품질의 영상을 얻을 수 있다.
도 6은 본 발명의 일 실시 예에 따른 광원 효과 적용을 위한 룩업 테이블에 대응하는 그래프를 나타내는 도면이다.
도 2 및 도 6을 참조하면, 룩업 테이블(예: 룩업 테이블(245))은 이미지 효과(예: 빛 갈라짐 효과)에 대한 그래프(601a, 601b)를 저장할 수 있다. 룩업 테이블은 그래프(601a, 601b)에 표시된 수치들을 테이블 형태로 저장할 수 있다.
일 실시 예에 따르면, 그래프(601a, 601b)는 빛 갈라짐 PSF(point spread function)를 나타낸다. 빛 갈라짐 PSF는 점 광원의 밝기에 따라서 크기가 변할 수 있다. 빛 갈라짐 현상은 회절에 의해 나타나고, 광원의 밝기에 따라서 달라질 수 있다. 빛 갈라짐 PSF는 중심(630)에서, 주변부로 갈수록 급격히 낮아지는 게인(gain)을 갖는 형태일 수 있다. 빛 갈라짐의 날(blade)(631)의 크기(또는 길이)는 전 단계에서 추출된 점 광원의 밝기에 따라, 게인(gain)을 포화 레벨 이하로 제한함으로써, 결과적으로는 마치 크기가 변화되는 것으로 비쳐질 수 있다. 그래프(601a)에서는 중심(630)에서 이득이 매우 크기 때문에 이득의 중간 값을 생략하였다.
도 7a는 본 기재의 일 실시 예에 따른 제1 광원 선택 방법의 한 예를 나타낸 도면이다.
도 7a를 참조하면, 일 실시 예에 따른 제1 광원 선택 방법과 관련하여, 동작 701에서 메인 처리부(160)는, 이미지 효과를 적용하기 위해 일정 길이 이상의 광원이 필요함에 따라, 후보 광원의 길이 검출을 수행할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 검출된 포화 픽셀들에 대한 클러스터링을 수행하여 후보 광원들을 산출할 수 있다. 상기 메인 처리부(160)는 후보 광원 산출 시, 후보 광원에 식별 정보를 할당하고, 각 포화 픽셀들의 좌표 정보들을 기반으로 후보 광원의 좌표 정보를 수집할 수 있다. 상기 메인 처리부(160)는 산출된 후보 광원들 좌표 정보 및 식별 정보를 저장부(215)에 저장할 수 있다.
상기 메인 처리부(160)는 후보 광원들이 산출되면, 임의의 후보 광원을 선택하고, 해당 후보 광원의 가로 길이(또는 세로 길이)를 산출할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 후보 광원에 포함된 포화 픽셀들의 좌표 정보를 기반으로 후보 광원의 경계에 위치한 포화 픽셀들을 선택하고, 선택된 포화 픽셀들 간의 길이를 산출할 수 있다.
동작 703에서, 메인 처리부(160)는 검출된 길이가 제1 지정된 최소 값(Th1m)과 제1 지정된 최대 값(Th1M) 사이에 포함되는지 확인할 수 있다. 상기 제1 지정된 최소 값(Th1m)은 예컨대, 2pixel ~ 10pixel 거리를 포함할 수 있다. 상기 제1 지정된 최대 값(Th1M)은 80pixel ~ 100pixel 거리를 포함할 수 있다. 상기 제1 지정된 최소 값(Th1m) 및 제1 지정된 최대 값(Th1M)은 설정에 따라 달라질 수 있다. 다양한 실시 예에 따르면, 상기 제1 지정된 최소 값(Th1m) 및 제1 지정된 최대 값(Th1M)은 이미지의 배율(또는 카메라 배율(magnification)) 및 해상도에 따라 더 커질 수 있고, 또는 더 작아질 수 있다.
동작 703에서, 검출된 길이가 제1 지정된 최소 값(Th1m)을 초과하거나, 제1 지정된 최대 값(Th1M) 미만인 경우, 메인 처리부(160)는 동작 705에서, 후보 광원을 선택할 수 있다. 메인 처리부(160)는 선택된 광원에 지정된 이미지 효과(예: Star-Effect)를 적용할 수 있다. 예를 들어, 상기 메인 처리부(160)는 빛 갈라짐 이미지를 선택된 광원에 표시하거나(또는 선택된 광원의 적어도 일부에 중첩되도록 표시하거나), 빛 갈라짐 이미지를 선택된 광원에 중첩시킨 이미지(또는 빛 갈라짐 이미지를 선택된 광원과 관련된 적정 노광의 이미지에 중첩시킨 이미지)를 저장할 수 있다.
동작 703에서, 검출된 길이가 제1 지정된 최소 값(Th1m) 이하이거나, 제1 지정된 최대 값(Th1M) 이상인 경우, 메인 처리부(160)는 동작 707에서, 후보 광원을 제외할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 후보 광원들에 이미지 효과를 적용한 후, 상술한 제1 지정된 조건 검사에 따라 제외된 후보 광원에 대한 이미지 효과 적용을 취소 또는 제거할 수 있다. 다양한 실시 예에 다르면, 상기 메인 처리부(160)는 상기 후보 광원에 대한 이미지 효과 적용 전에 이미지 효과를 적용하지 않도록 제외 설정할 수 있다.
도 7b는 본 기재의 일 실시 예에 따른 제1 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 7b를 참조하면, 메인 처리부(160)는 제1 이미지(701)를 획득하면, 획득된 제1 이미지(701)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제1 후보 광원(710)을 산출할 수 있다. 도시된 도면에서는 제1 이미지(701)가 제1 후보 광원(710)만을 포함하는 형태로 도시하였으나, 본 기재가 이에 한정되는 것은 아니다. 예를 들어, 상기 제1 이미지(701)는 복수개의 후보 광원들을 포함하고, 상기 제1 후보 광원(710)은 상기 복수개의 후보 광원 중 임의의 한 후보 광원일 수 있다.
상기 메인 처리부(160)는 제1 이미지(701)에 포함된 제1 후보 광원(710)의 길이를 검출할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 포화 픽셀들의 좌표 정보를 기반으로 제1 축 상의 길이 또는 제2 축 상의 길이(예: 이미지가 표시되는 방향을 기준으로 가로 축 또는 세로 축 길이, 또는 광원에 포함된 포화 픽셀들 중 가장 긴 제1 직선을 포함하는 장축의 길이와 해당 장축에 수직관계를 가지며 가장 긴 제2 직선을 포함하는 단축의 길이)를 산출할 수 있다. 상기 제1 후보 광원(710)의 제1 축 또는 제2 축 길이가 제1 지정된 최소 값(Th1m)을 초과하면서 제1 지정된 최대 값(Th1M) 미만인 경우, 예컨대 길이가 50pixel인 경우 메인 처리부(160)는 제1 후보 광원(710)을 이미지 효과를 적용할 광원으로 선택하거나 다른 지정된 조건 검사에 이용할 수 있다.
다른 예시로서, 메인 처리부(160)는 제2 이미지(702)를 획득하면, 획득된 제2 이미지(702)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제2 후보 광원(720)을 산출할 수 있다. 상기 메인 처리부(160)는 제2 이미지(702)에 포함된 제2 후보 광원(720)의 제1 축의 길이(예: 장축의 길이 또는 이미지가 표시되는 방향에서의 가로 축 길이)를 검출할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 포화 픽셀들의 좌표 정보를 기반으로 제1 축 길이를 산출할 수 있다. 상기 제2 후보 광원(720)의 제1 축(예: 이미지가 표시되는 방향 기준으로 가로 축)의 길이 또는 제2 축(예: 이미지가 표시되는 방향 기준으로 세로 축)의 길이가 제1 지정된 최소 값(Th1m) 이하이거나, 제1 지정된 최대(Th1M) 값 이상인 경우, 예컨대 제1 지정된 최대 값(Th1M)이 100pixel일 때, 검출된 제1 축의 길이가 150pixel인 경우 메인 처리부(160)는 제2 후보 광원(720)을 이미지 효과를 적용할 광원에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 상기 제1 광원 선택 방법은 후술하는 다른 광원 선택 방법의 선행 조건 또는 다른 광원 제외 방법의 선행 조건이 될 수 있다. 예컨대, 메인 처리부(160)는 제1 광원 선택 방법에서 언급하는 조건을 만족하는 후보 광원들에 대해서 후술하는 광원 선택 방법에서 설명하는 조건들의 만족 여부를 검사할 수 있다.
도 8a는 본 기재의 일 실시 예에 따른 제2 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 8a를 참조하면, 일 실시 예에 따른 제2 광원 선택 방법과 관련하여, 동작 801에서, 메인 처리부(160)는, 이미지 효과 적용이 필요한 타원 또는 원형의 후보 광원을 찾기 위해, 후보 광원의 제1 축 및 제2 축의 비율을 산출할 수 있다. 이와 관련하여, 메인 처리부(160)는 앞서 도 7a에서 설명한 바와 같이, 획득된 이미지에서 포화 픽셀 검출 및 클러스터링을 수행하여 적어도 하나의 후보 광원을 산출할 수 있다. 후보 광원이 산출되면, 상기 메인 처리부(160)는 후보 광원에 포함된 포화 픽셀들의 좌표 정보를 기반으로, 포화 픽셀들을 잇는 선분 중 가장 긴 직선 거리를 가지는 포화 픽셀들 간의 제1 축 길이를 산출하고, 상기 제1 축에 수직하면서, 상기 후보 광원 내에 위치한 포화 픽셀들 중 가장 긴 직선 거리를 가지는 포화 픽셀들 간의 제2 축 길이를 산출할 수 있다. 상기 메인 처리부(160)는 산출된 제1 축 길이 및 제2 축 길이 간의 비율 값(예: 제1 축 길이/제2 축 길이)을 산출(또는 연산)할 수 있다.
동작 803에서, 메인 처리부(160)는 검출된 비율 값(또는 산출된 비율 값)이 제2 지정된 값(Th2) 초과인지 확인할 수 있다. 예컨대, 상기 제2 지정된 값(Th2)은 1:1 ~ 5:1(제1 축 길이 : 제2 축 길이)의 범위 값을 가질 수 있다. 상기 제2 지정된 값(Th2)은 획득된 이미지의 크기, 해상도, 이미지 획득 시 환경 조건과 같은 다양한 요소에 의해 달라질 수 있다.
상기 검출된 비율 값이 제2 지정된 값(Th2) 이하인 경우, 예컨대, 제2 축 길이가 1일 때, 제1 축 길이가 5 이하인 경우, 동작 805에서, 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용을 위한 광원으로 선택하거나 다른 지정된 조건 감사에 이용할 수 있다.
상기 검출된 비율 값이 제2 지정된 값(Th2)을 초과하는 경우, 예컨대, 제2 축 길이가 1일 때, 제1 축 길이가 5를 초과하는 경우, 동작 807에서, 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용에서 제외시킬 수 있다.
상술한 바와 같이, 상기 메인 처리부(160)는 제1 축 길이와 제2 축 길이가 비슷한 비율(또는 지정된 범위 이내에서 유사)이여서, 전체적으로 타원형 또는 원형에 가까운 경우, 해당 광원을 점 광원으로 판단하여 이미지 효과를 적용하거나 다른 지정된 조건 검사에 이용할 수 있다. 또는, 메인 처리부(160)는 제1 축 길이가 제2 축 길이에 비하여 상대적으로 지정된 값을 초과하여 긴 경우, 해당 광원을 이미지 효과를 적용하지 않은 광원으로 처리할 수 있다.
다양한 실시 예에 따르면, 상술한 제2 광원 선택 방법은 전술한 제1 광원 선택 방법 및 후술하는 다양한 광원 선택 방법과 혼용하여 사용될 수 있다. 예를 들어, 상기 메인 처리부(160)는 상기 제1 광원 선택 방법을 통해 산출된 후보 광원들에 대하여 제2 광원 선택 방법을 적용할 수 있다. 또는, 메인 처리부(160)는 제2 광원 선택 방법에 의하여 선택된 광원들에 대하여 후술하는 다른 광원 선택 방법 또는 다른 광원 제외 방법 중 적어도 하나를 통해 추가적으로 광원 선택 작업을 수행할 수도 있다.
도 8b는 본 기재의 일 실시 예에 따른 제2 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 8b를 참조하면, 메인 처리부(160)는 제1 이미지(800a)를 획득하면, 획득된 제1 이미지(800a)에서 포화 픽셀들을 검출하고, 검출된 포화 픽셀들을 클러스터링하여 제1 후보 광원(810)을 산출할 수 있다. 도시된 도면에서는 제1 이미지(800a)가 제1 후보 광원(810)만을 포함하는 형태로 도시하였으나, 본 기재가 이에 한정되는 것은 아니다. 상기 제1 이미지(800a)는 카메라를 통해 획득된 이미지의 일부일 수 있다. 또는, 상기 제1 이미지(800a)는 복수개의 후보 광원들을 포함하고, 상기 제1 후보 광원(810)은 상기 복수개의 후보 광원 중 하나일 수 있다.
상기 메인 처리부(160)는 제1 후보 광원(810)이 획득되면, 제1 후보 광원(810)에 포함된 포화 픽셀들의 좌표 정보들을 기반으로 가장 긴 제1 축(A)의 길이를 산출할 수 있다. 상기 메인 처리부(160)는 제1 축(A)과 수직 관계를 가지며 가장 긴 제2 축(B)의 길이를 산출할 수 있다. 상기 메인 처리부(160)는 산출된 제1 축(A)과 제2 축(B) 간의 길이 비율을 계산하고, 상기 길이 비율이 제2 지정된 값(Th2) 이하인 경우 해당 광원을 선택할 수 있다. 여기서, 제1 축(A)과 제2 축(B)간의 길이 비율이 1에 가까울수록 선택 확률이 높아질 수 있다. 상기 메인 처리부(160)는 상기 길이 비율이 제2 지정된 값(Th2) 초과인 경우 해당 광원을 이미지 적용 효과 후보에서 제외할 수 있다. 예컨대, 제1 축(A)의 길이가 제2 축(B) 길이보다 상대적으로 더 길 경우일수록 예컨대, 제1 후보 광원(810)이 일 방향으로 지정된 크기 이상 길쭉한 형상을 가질수록 제외 확률이 높아질 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제2 이미지(800b)에서 제2 후보 광원(820)을 산출할 수 있다. 상기 제2 후보 광원(820)은 상기 제1 이미지(800a)에서 산출한 제1 후보 광원(810)과 실질적으로 동일한 형태이며, 배치 방향이 다른 광원일 수 있다. 상기 메인 처리부(160)는 제2 후보 광원(820)에 포함된 포화 픽셀들을 잇는 최대 거리의 직선을 제1 축(A)으로 산출하고, 제2 후보 광원(820) 내에 포함된 포화 픽셀들을 잇는 최대 직선들 중 상기 제1 축(A)에 수직한 직선을 제2 축(B)으로 산출할 수 있다. 상기 메인 처리부(160)는 제1 후보 광원(810)에서와 같이 제2 후보 광원(820)의 비율에 따라 이미지 효과 적용을 위한 제2 후보 광원(820)으로 선택하거나 다른 지정된 조건 검사를 위해 이용하거나, 또는 이미지 효과 적용 목록에서 제외할 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제3 이미지(800c)를 획득하고, 포화 픽셀 검출 및 클러스터링을 통해 제3 후보 광원(830)을 산출할 수 있다. 상기 메인 처리부(160)는 제3 후보 광원(830)이 산출되면, 제3 후보 광원(830)의 테두리가 모두 포함되는 지정된 형태의 도형(또는 다각형)을 할당(또는 설정)할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 제3 후보 광원(830)의 테두리를 포함하는 최소 크기의 사각형을 할당할 수 있다. 상기 메인 처리부(160)는 상기 도형(또는 다각형)의 제1 변(830a), 상기 제1 변(830a)과 수직 관계인 제2 변(830b)을 선택하고, 상기 제1 변(830a) 및 상기 제2 변(830b)의 길이 비율을 산출할 수 있다. 상기 메인 처리부(160)는 상기 도형의 변들(830a, 830b)의 길이 비율을 기반으로 상기 제3 후보 광원(830)의 이미지 효과 적용 또는 다른 지정된 조건 검사와 관련한 선택 또는 이미지 적용 효과 목록에서 제외를 결정할 수 있다. 예컨대, 메인 처리부(160)는 도형의 변들(830a, 830b)의 길이 비율이 제2 지정된 값(Th2) 이하인 경우 제3 후보 광원(830)을 이미지 효과 적용을 위해 선택(또는 임시 선택)하고, 길이 비율이 제2 지정된 값(Th2) 초과인 경우 상기 제3 후보 광원(830)을 이미지 효과 적용에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 상기 길이 비율 값이 제2 지정된 값(Th2) 이하인 경우, 해당 후보 광원에 대해 다른 광원 선택 방법 또는 적어도 하나의 광원 제외 방법에서 설명하는 조건 검사를 수행하고, 상기 길이 비율 값이 제2 지정된 값(Th2) 초과인 경우 해당 후보 광원을 이미지 효과 적용에서 제외시킬 수 있다.
도 9a는 본 기재의 일 실시 예에 따른 제3 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 9a를 참조하면, 일 실시 예에 따른 제3 광원 선택 방법과 관련하여, 동작 901에서, 메인 처리부(160)는 후보 광원을 포함하는 지정된 도형을 산출할 수 있다. 이와 관련하여, 상기 메인 처리부(160)는 이미지를 획득하고, 획득된 이미지에서 포화 픽셀들을 검출하고, 검출된 포화 픽셀들의 클러스터링을 수행하여 적어도 하나의 후보 광원을 산출할 수 있다. 상기 메인 처리부(160)는 산출된 후보 광원 중 특정 후보 광원을 선택하고, 상기 특정 후보 광원을 포함하는 지정된 도형을 산출할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 후보 광원을 포함하는 최소 크기의 지정된 형태의 도형을 산출할 수 있다. 예를 들어, 상기 메인 처리부(160)는 후보 광원이 외부로 돌출되지 않는 지정된 크기의 사각형을 산출할 수 있다. 다양한 실시 예에 따르면, 상기 메인 처리부(160)는 상기 후보 광원을 포함하는 최소 크기의 타원 또는 다각형(예: 삼각형, 사각형, 오각형, 6각형, 8각형…)을 산출할 수 있다. 이와 관련하여, 상기 메인 처리부(160)는 후보 광원에 포함된 포화 픽셀들의 좌표 정보를 확인하고, 포화 픽셀들의 좌표 정보 중 경계선에 위치한 포화 픽셀들의 좌표들을 기반으로 후보 광원을 포함하는 최소 크기의 도형을 산출할 수 있다.
동작 903에서, 상기 메인 처리부(160)는 면적 비(예: 도형 면적을 후보 광원 면적으로 나눈 값)를 산출하고, 상기 면적 비가 제3 지정된 값(Th3) 초과인지 확인할 수 있다.
상기 면적비가 제3 지정된 값(Th3) 이하인 경우, 후보 광원이 이미지 효과 적용과 관련한 점 광원일 확률이 높은 것으로 판단하고, 동작 905에서, 상기 메인 처리부(160)는 상기 후보 광원을 이미지 효과 적용을 위해 선택(또는 임시 선택)할 수 있다.
상기 면적비가 제3 지정된 값(Th3)을 초과하는 경우, 상기 메인 처리부(160)는 상기 후보 광원을 이미지 효과 적용에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 상기 제3 광원 선택 방법에서 설명하는 조건은 앞서 설명한 제1 광원 선택 방법 및 제2 광원 선택 방법 중 적어도 하나와 혼합하여 운용하거나, 후술하는 다른 광원 선택 방법 및 광원 제외 방법 중 적어도 하나와 혼합하여 운용할 수 있다. 또는, 상기 메인 처리부(160)는 제3 광원 선택 방법에서 이미지 효과 적용을 위한 광원으로 선택된 광원들은 다른 광원 선택 방법 또는 광원 제외 방법에서 설명하는 조건 감사를 위해 제공할 수도 있다.
도 9b는 본 기재의 일 실시 예에 따른 제3 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 9b를 참조하면, 메인 처리부(160)는 제1 이미지(900a)를 획득하면, 획득된 제1 이미지(900a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제1 후보 광원(900b)을 산출할 수 있다. 도시된 도면에서는 제1 이미지(900a)가 제1 후보 광원(910b)만을 포함하는 형태로 도시하였으나, 본 기재가 이에 한정되는 것은 아니다. 예를 들어, 상기 제1 이미지(900a)는 복수개의 후보 광원들을 포함하고, 상기 제1 후보 광원(910b)은 상기 복수개의 후보 광원 중 임의의 한 후보 광원일 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제1 이미지(900a)에서 제1 후보 광원(910b)을 포함하는 최소 크기의 제1 도형(910a)을 산출할 수 있다. 상기 제1 도형(910a) 산출과 관련하여, 메인 처리부(160)는 제1 후보 광원(910b)의 최장 길이보다 긴 제1 축(예: 가로 축)의 제1 직선과, 상기 제1 축에 수직인 제2 축(예: 세로 축)의 제2 직선을 포함하는 도형을 산출할 수 있다.
상기 메인 처리부(160)는 상기 제1 후보 광원(910b)과 상기 제1 도형(910a)의 제1 면적 비(예: 제1 도형(910a)의 면적/제1 후보 광원(910b)의 면적)를 산출하고, 산출된 제1 면적비가 제3 지정된 값(Th3)을 초과하는지 확인할 수 있다. 상기 제1 면적비가 제3 지정된 값(Th3)을 이하인 경우, 상기 메인 처리부(160)는 상기 제1 후보 광원(910b)을 이미지 효과 적용을 위한 광원으로 선택하거나, 상기 제1 후보 광원(910b)에 다른 광원 선택 방법 또는 광원 제외 방법에서의 조건 검사를 수행할 수 있다. 또는, 상기 제1 면적비가 제3 지정된 값(Th3)을 초과하는 경우, 상기 메인 처리부(160)는 상기 제1 후보 광원(910b)을 이미지 효과 적용에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제2 이미지(900b)에서 제2 후보 광원(920b)을 포함하는 최소 크기의 제2 도형(920a)을 산출할 수 있다. 이 동작에서, 상기 메인 처리부(160)는 적어도 4개의 변이 제2 후보 광원(920b)의 경계선의 적어도 일부와 중첩되도록 제2 도형(920a)을 설정할 수 있다. 또는, 상기 메인 처리부(160)는 제2 후보 광원(920b)의 포화 픽셀들을 잇는 직선들 중 가장 긴 제1 축(예: 장축)의 제1 직선을 선택하고, 가장 긴 제1 직선에 수직 관계를 가지며 가장 긴 제 2축(예: 단축)의 제2 직선을 선택하고, 상기 제1 직선 및 제2 직선을 포함하는 제2 도형(920a)을 산출할 수도 있다. 다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제2 후보 광원(920b)의 경계선들에 존재하는 중 적어도 4곳의 변곡점들을 포함하며 상기 제2 후보 광원(920b)이 내부에 위치하는 제2 도형(920a)을 산출할 수도 있다. 상기 메인 처리부(160)는 상기 제2 후보 광원(920b)과 상기 제2 도형(920a)의 제2 면적 비(예: 제2 도형(920a)의 면적/제2 후보 광원(920b)의 면적)를 산출하고, 산출된 값이 제3 지정된 값(Th3)을 초과하는지 확인할 수 있다. 상기 제2 면적비가 제3 지정된 값(Th3) 이하인 경우, 상기 메인 처리부(160)는 상기 제2 후보 광원(920b)을 이미지 효과 적용을 위한 광원으로 선택하거나, 상기 제2 후보 광원(920b)에 다른 광원 선택 방법 또는 광원 제외 방법에서의 조건 검사를 수행할 수 있다. 또는, 상기 메인 처리부(160)는 제2 면적비가 제3 지정된 값(Th3)을 초과하는 경우, 상기 제2 후보 광원(920b)을 이미지 적용 효과 목록에서 제거할 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제3 이미지(900c)에서 제3 후보 광원(930b)을 포함하는 일정 크기의 제3 도형(930a)을 산출할 수 있다. 예를 들어, 상기 메인 처리부(160)는 상기 제3 후보 광원(930b)에 대하여 제1 축(예: 가로 축)으로 가장 긴 제1 직선(A)을 검출하고, 상기 제1 직선(A)을 한 변으로 하는 정다각형(예: 정 사각형)의 제3 도형(930a)을 산출할 수 있다. 상기 메인 처리부(160)는 상기 제3 후보 광원(930b)과 상기 제3 도형(930a)의 제3 면적 비(예: 제3 도형(930a)의 면적/제3 후보 광원(930b)의 면적)를 산출하고, 산출된 값이 제3 지정된 값(Th3)을 초과하는지 여부에 따라, 상기 제3 후보 광원(930b)을 이미지 효과 적용을 위한 광원으로 선택하거나 다른 조건 검사에 제공하거나(제3 면적비가 제3 지정된 값(Th3) 이하인 경우), 이미지 효과 적용 목록에서 상기 제3 후보 광원(930b)을 제외(제3 면적비가 제3 지정된 값(Th3)을 초과하는 경우)시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제4 이미지(900d)에서 제4 후보 광원(940b)을 포함하는 일정 크기의 제4 도형(940a)을 산출할 수 있다. 예를 들어, 상기 메인 처리부(160)는 상기 제4 후보 광원(940b)의 포화 픽셀들을 잇는 직선 중 가장 긴 제1 축(예: 장축)의 제1 직선(B)을 검출하고, 상기 제1 직선(B)을 한 변으로 하는 정다각형(예: 정 사각형)의 제4 도형(940a)을 산출할 수 있다. 상기 메인 처리부(160)는 상기 제4 후보 광원(940b)과 상기 제4 도형(940a)의 제4 면적 비(예: 제4 도형(940a)의 면적/제4 후보 광원(940b)의 면적)를 산출하고, 산출된 값이 제3 지정된 값(Th3)을 초과하는지 여부에 따라, 상기 제4 후보 광원(940b)을 이미지 효과 적용을 위한 광원으로 선택하거나 다른 지정된 조건 검사에 이용하거나(제4 면적비가 제3 지정된 값(Th3) 이하인 경우), 이미지 효과 적용 목록에서 제4 후보 광원(940b)을 제외(제4 면적비가 제3 지정된 값(Th3)을 초과하는 경우)시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제4 후보 광원(940b)의 경계선 중 적어도 3곳 이상의 변곡점을 포함하면서, 상기 제4 후보 광원(940b)을 포함하는 제4 도형(940a)을 산출할 수도 있다.
도 10a는 본 기재의 일 실시 예에 따른 제4 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 10a를 참조하면, 일 실시 예에 따른 제4 광원 선택 방법과 관련하여, 동작 1001에서, 메인 처리부(160)는 후보 광원을 포함하는 지정된 도형을 산출할 수 있다. 이와 관련하여, 상기 메인 처리부(160)는 획득된 이미지의 포화 픽셀들 검출 및 검출된 포화 픽셀들의 클러스터링을 수행하여 적어도 하나의 후보 광원을 산출할 수 있다. 상기 메인 처리부(160)는 적어도 하나의 후보 광원 중 특정 후보 광원을 포함하는 지정된 도형을 산출할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 후보 광원을 포함하는 최소 크기의 지정된 형태의 타원형 또는 다각형을 산출할 수 있다. 예를 들어, 상기 메인 처리부(160)는 후보 광원의 경계선의 적어도 일부를 공유하는 적어도 하나의 변을 포함하는 지정된 크기의 사각형을 산출할 수 있다. 이와 관련하여, 상기 메인 처리부(160)는 상기 사각형을 이루는 적어도 하나의 변이 후보 광원의 경계선에 중첩되는 사각형을 산출할 수 있다.
동작 1003에서, 상기 메인 처리부(160)는 상기 도형의 변과 상기 후보 광원의 접점(예: 상기 도형의 변에 위치가 중첩되는 포화 픽셀들)을 산출할 수 있다.
동작 1005에서, 상기 메인 처리부(160)는 상기 접점(예: 도형의 변에 중첩된 포화 픽셀들)의 개수가 제4 지정된 값(Th4)을 초과하는지 확인할 수 있다. 상기 접점의 개수가 상기 제4 지정된 값(Th4) 이하인 경우, 동작 1007에서, 상기 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용을 위해 선택(또는 임시 선택)할 수 있다. 또는, 상기 메인 처리부(160)는 상기 후보 광원을 다른 지정된 조건 검사에 이용할 수 있다.
상기 접점의 개수가 제4 지정된 값(Th4)을 초과하는 경우, 동작 1009에서, 상기 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용을 위한 목록에서 제거할 수 있다. 다양한 실시 예에 따르면, 상기 메인 처리부(160)는 도형의 변에 중첩된 포화 픽셀들의 개수에 해당하는 길이와 상기 도형의 변의 길이의 비율을 산출하고, 상기 길이의 비율이 제4 지정된 값(Th4)을 초과하는지 여부에 따라 해당 후보 광원에 대한 이미지 효과 적용 여부를 결정할 수도 있다.
도 10b는 본 기재의 일 실시 예에 따른 제4 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 10b를 참조하면, 메인 처리부(160)는 제1 이미지(1000a)를 획득하면, 획득된 제1 이미지(1000a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제1 후보 광원(1010b)을 산출할 수 있다. 도시된 도면에서는 제1 이미지(1000a)가 제1 후보 광원(1010b)만을 포함하는 형태로 도시하였으나, 본 기재가 이에 한정되는 것은 아니다. 예를 들어, 상기 제1 이미지(1000a)는 복수개의 후보 광원들을 포함하고, 상기 제1 후보 광원(1010b)은 상기 복수개의 후보 광원 중 임의의 한 후보 광원일 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 제1 이미지(1000a)에서 제1 후보 광원(1010b)을 포함하는 최소 크기의 제1 도형(1010a)을 산출할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 상기 제1 후보 광원(1010b)의 경계선과 상기 제1 도형(1010a)의 변이 중첩되는 영역의 포화 픽셀들에 해당하는 접점들을 산출할 수 있다. 예를 들어, 상기 제1 도형(1010a)은 4개의 변들(1011, 1012, 1013, 1014)을 포함하고, 제1 변(1011)에는 제1 내지 제3 접점들(1011_1, 1011_2, 1011_3)이 중첩되고, 제2 변(1012)에는 제4 및 제5 접점들(1012_1, 1012_2)이 중첩되고, 제3 변(1013)에는 제6 내지 제8 접점들(1013_1, 1013_2, 1013_3)이 중첩되고, 제4 변(1014)에는 제9 내지 제11 접점들(1014_1, 1014_2, 1014_3)이 중첩될 수 있다. 상기 메인 처리부(160)는 상기 제1 내지 제11 접점들(1011_1, 1011_2, 1011_3, 1012_1, 1012_2, 1013_1, 1013_2, 1013_3, 1014_1, 1014_2, 1014_3)의 개수가 제4 지정된 값(Th4)을 초과하는지 여부에 따라, 상기 제1 후보 광원(1010b)의 이미지 효과 적용을 위한 선택 또는 다른 지정된 조건에 이용하거나(접점들의 개수가 제4 지정된 값(Th4) 이하인 경우), 또는 이미지 효과 적용 목록에서의 제외(접점들의 개수가 제4 지정된 값(Th4) 초과인 경우)를 결정할 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 상기 제1 변(1011)의 길이(예: 상기 제1 변(1011)을 이루는 픽셀들의 개수)와, 상기 제1 변(1011)에 위치한 접점들(예: 제1 내지 제3 접점들(1011_1, 1011_2, 1011_3))의 길이(또는 접점들의 개수)의 제1 비율을 산출할 수 있다. 상기 메인 처리부(160)는 제2 변(1012)의 길이와 상기 제2 변(1012)에 위치한 접점들(예: 제4 및 제5 접점들(1012_1, 1012_2))의 길이의 제2 비율을 산출할 수 있다. 상기 메인 처리부(160)는 제3 변(1013)의 길이와 상기 제3 변(1013)에 위치한 접점들(예: 제6 내지 제8 접점들(1013_1, 1013_2, 1013_3))의 길이의 제3 비율을 산출할 수 있다. 상기 메인 처리부(160)는 제4 변(1014)의 길이와 상기 제4 변(1014)에 위치한 접점들(예: 제9 내지 제11 접점들(1014_1, 1014_2, 1014_3))의 길이의 제4 비율을 산출할 수 있다. 상기 메인 처리부(160)는 상기 제1 내지 제4 변들(1011, 1012, 1013, 1014) 각각이 지정된 비율을 초과인 경우(또는, 도형의 변에 접점들의 개수가 지정된 개수 이상으로 많은 경우), 해당 제1 후보 광원(1010b)이 타원 또는 원형이 되지 못할 확률이 높은 것으로 판단하고, 제1 후보 광원(1010b)을 이미지 효과 적용 목록에서 제외시킬 수 있다. 상기 메인 처리부(160)는 상기 제1 내지 제4 변들(1011, 1012, 1013, 1014) 각각이 지정된 비율 이하인 경우(또는, 각 도형의 변들에 중첩되는 접점들의 개수가 지정된 개수보다 작은 경우), 해당 제1 후보 광원(1010b)이 타원 또는 원형에 가까울 확률이 높은 것으로 판단하고, 제1 후보 광원(1010b)을 이미지 효과 적용을 선택하거나, 다른 지정된 조건 검사에 이용할 수 있다.
도 11a는 본 기재의 일 실시 예에 따른 제5 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 11a를 참조하면, 일 실시 예에 따른 제5 광원 선택 방법과 관련하여, 동작 1101에서, 메인 처리부(160)는 저조도 후보 광원의 크기 및 고조도 후보 광원의 크기를 획득할 수 있다. 상기 저조도 후보 광원은 저조도 이미지(예: -3ev 이하의 저조도 설정에서 획득한 이미지, 또는 단노출 이미지)에서 포화 픽셀들을 검출하고, 검출된 포화 픽셀들을 클러스터링하여 획득한 후보 광원을 포함할 수 있다. 상기 고조도 후보 광원은 고조도 이미지(예: -3ev 초과 또는 0ev 고조도 설정에서 획득한 이미지 또는 적정 노출 이미지)에서 포화 픽셀들을 검출하고, 검출된 포화 픽셀들을 클러스터링하여 획득한 후보 광원을 포함할 수 있다.
동작 1103에서, 상기 메인 처리부(160)는 고조도 후보 광원의 크기(면적)를 상기 저조도 후보 광원의 크기(면적)로 나눈 값이 제5 지정된 값(Th5)을 초과하는지 확인할 수 있다.
상기 고조도 후보 광원의 크기를 저조도 후보 광원의 크기로 나눈 조도 별 면적비가 제5 지정된 값(Th5)을 초과하는 경우, 중심부 광원의 크기가 점 광원일 확률이 높을 것으로 판단하여, 동작 1105에서, 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용을 위해 선택(또는 임시 선택)할 수 있다.
상기 고조도 후보 광원의 크기를 저조도 후보 광원의 크기로 나눈 조도 별 면적비가 제5 지정된 값(Th5) 이하인 경우, 중심부 광원의 크기가 면 광원(예: 네온 사인, 다각형의 판넬을 통해 광을 조사하거나 광원이 다각형인 광원 또는 지정된 크기 이상으로 광을 조사하는 달(moon))일 확률이 높을 것으로 판단하여, 동작 1107에서 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용 목록에서 제외시킬 수 있다.
도 11b는 본 기재의 일 실시 예에 따른 제5 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 11b를 참조하면, 메인 처리부(160)는 제5 광원 선택 방법 적용과 관련하여, 제1 상태(1111)에서와 같이 제1 저조도 이미지(1101a)와 제1 고조도 이미지(1101b)를 지정된 시간 간격 이내에서 연속으로 획득할 수 있다. 상기 메인 처리부(160)는 제1 저조도 이미지(1101a)에서 제1 후보 광원(L1)을 산출하고, 제1 고조도 이미지(1101b)에서 제2 후보 광원(H1)을 산출할 수 있다. 상기 메인 처리부(160)는 제2 후보 광원(H1)과 제1 후보 광원(L1)의 조도 별 면적비가 제5 지정된 값(Th5) 이하인 경우, 면 광원(예: 네온 사인이나, 다각형의 광원, 또는 일정 크기 이상을 가지며 광을 조사하는 달(moon))에 해당할 확률이 높을 것으로 판단하여, 제1 후보 광원(L1)에 대하여 이미지 효과 적용을 제외시킬 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 제5 광원 선택 방법 적용과 관련하여, 제2 상태(1112)에서와 같이 제2 저조도 이미지(1102a)와 제2 고조도 이미지(1102b)를 지정된 시간 간격 이내에서 연속으로 획득할 수 있다. 상기 메인 처리부(160)는 제2 저조도 이미지(1102a)에서 제3 후보 광원(L2)을 산출하고, 제2 고조도 이미지(1102b)에서 제4 후보 광원(H2)을 산출할 수 있다. 상기 메인 처리부(160)는 제4 후보 광원(H2)과 제3 후보 광원(L2)의 조도 별 면적비가 제5 지정된 값(Th5)을 초과하는 경우, 이미지 효과를 적용하도록 설정된 광원(예: 지정된 크기를 가지며 타원형(이심율이 0인 원 포함) 형상 또는 타원형에 가까운 광원)에 해당할 확률이 높을 것으로 판단하여, 제3 후보 광원(L2)에 대하여 이미지 효과를 적용하거나, 제3 후보 광원(L2)을 다른 조건 검사에 이용할 수 있다. 상기 타원형에 가까운 광원은 적어도 일부가 찌그러지거나 가려짐에 의해 모서리를 포함하더라도, 전체적으로 이미지 효과를 적용할 경우 부자연스럽지 않은 일정 크기 범위의 타원형에 가까운 광원 또는 점 광원을 포함할 수 있다.
다양한 실시 예에 따르면, 도 11a 및 도 11b에서 설명한 이미지들(예: 저조도 이미지 및 고조도 이미지)은 멀티카메라를 탑재한 전자 장치에서 촬영 조건(예: 노광, F-Number 등의 조건)을 달리한 복수의 카메라들이 동시 촬영한 이미지들을 포함할 수 있다. 또는, 상기 이미지들은 밝기와 관련된 특성(예: F-number)이 다른 복수의 카메라를 통해 동시 획득된 이미지들을 포함할 수 있다. 상기 복수의 카메라를 이용하여 이미지들을 획득하는 경우, 카메라 기능과 관련한 Rectification(보정) 또는 registration(조절) 과정이 수반될 수 있다.
도 12a는 본 기재의 일 실시 예에 따른 제6 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 12a를 참조하면, 일 실시 예에 따른 제6 광원 선택 방법과 관련하여, 동작 1201에서, 메인 처리부(160)는 후보 광원을 포함하는 지정된 도형을 산출할 수 있다. 이와 관련하여, 상기 메인 처리부(160)는 획득된 이미지의 포화 픽셀들 검출 및 검출된 포화 픽셀들의 클러스터링을 수행하여 적어도 하나의 후보 광원 영역을 산출할 수 있다. 상기 메인 처리부(160)는 적어도 하나의 후보 광원 영역 중 특정 후보 광원 영역을 포함하는 지정된 도형을 산출할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 후보 광원 영역의 중심에서 바깥쪽 방향으로 배치된 경계선들의 변곡점들을 모두 포함하는 최소 크기의 지정된 형태의 타원형 또는 다각형 중 어느 하나를 포함하는 도형을 산출할 수 있다. 또는, 메인 처리부(160)는 후보 광원 영역이 내측에 위치하는 최소 크기의 사각형을 산출할 수 있다.
동작 1203에서, 상기 메인 처리부(160)는 상기 산출된 도형을 기준으로 비교 광원 영역을 산출할 수 있다. 상기 비교 광원 영역은 상기 산출된 도형 내부에 위치하되, 최적의 점 광원 형태를 이루는 타원형(또는 원형)의 광원 영역을 포함할 수 있다.
동작 1205에서, 상기 메인 처리부(160)는 상기 비교 광원 영역의 면적과 상기 후보 광원 영역의 면적 차이 값(또는 두 영역 중 어느 한 쪽에만 속한 영역 값)을 구하고, 상기 차이 값을 상기 비교 광원 영역으로 나눈, 비교 광원 영역과의 면적 차이 비율이 제6 지정된 값(Th6)을 초과하는지 확인할 수 있다.
상기 비교 광원 영역과의 면적 차이 비율이 제6 지정된 값(Th6) 이하인 경우, 상기 메인 처리부(160)는 1207 동작에서, 해당 후보 광원 영역을 이미지 효과 적용을 위해 선택(또는 임시 선택)하거나, 다른 지정된 조건 검사에 이용할 수 있다.
상기 비교 광원 영역과의 면적 차이 비율이 제6 지정된 값(Th6) 초과인 경우, 상기 메인 처리부(160)는 1209 동작에서, 해당 후보 광원을 이미지 효과 적용 목록에서 제외시킬 수 있다.
도 12b는 본 기재의 일 실시 예에 따른 제6 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 12b를 참조하면, 메인 처리부(160)는 제1 이미지(1200a)를 획득하면, 획득된 제1 이미지(1200a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제1 후보 광원 영역(1210b)을 산출할 수 있다. 상기 메인 처리부(160)는 제1 후보 광원 영역(1210b)을 포함하는 제1 도형(1210a)을 산출할 수 있다. 상기 제1 도형(1210a)은 상기 제1 후보 광원 영역(1210b)의 경계선에 위치하는 포화 픽셀들을 모두 포함하되 해당 도형의 크기 중 최소 크기를 가질 수 있다.
상기 메인 처리부(160)는 상기 제1 도형(1210a)을 기반으로 비교 광원 영역(1210c)을 산출할 수 있다. 상기 비교 광원 영역(1210c)은 상기 제1 도형(1210a)에 내에 위치하며, 점 광원으로 판단할 확률이 지정된 값 이상인 타원(또는 원)형으로 형성될 수 있다. 일 실시 예에 따르면, 상기 비교 광원 영역(1210c)은 상기 제1 도형(1210a)의 각 변들 상에 위치하는 경계선의 접점들이 지정된 개수 이내인 광원이 될 수 있다.
상기 메인 처리부(160)는 상기 제1 후보 광원 영역(1210b)과 상기 비교 광원 영역(1210c)을 중첩시키되, 상기 비교 광원 영역(1210c)의 면적과 상기 제1 후보 광원 영역(1210b)의 면적 차이 값(1210d)(또는 차이 값의 절대 값)을 이용하여 상기 제1 후보 광원 영역(1210b)의 복잡도를 추정할 수 있다. 예를 들어, 상기 메인 처리부(160)는 상기 차이 값(1210d)(또는 상기 차이 값을 상기 비교 광원 영역의 면적으로 나눈 값)이 제6 지정된 값(Th6)을 초과하는 경우, 상기 제1 후보 광원 영역(1210b)의 복잡도가 지정된 값을 초과하여, 점 광원일 확률이 상대적으로 낮거나 이미지 효과 적용에 부적합한 광원일 것으로 판단할 수 있다. 이 경우, 상기 메인 처리부(160)는 상기 제1 후보 광원 영역(1210b)을 이미지 효과 적용 목록에서 제외시킬 수 있다.
상기 메인 처리부(160)는 상기 차이 값(1210d)(또는 상기 차이 값을 상기 비교 광원 영역의 면적으로 나눈 값)이 제6 지정된 값(Th6) 이하인 경우, 상기 제1 후보 광원 영역(1210b)의 복잡도가 지정된 값 이하여서, 점 광원일 확률이 상대적으로 높거나 이미지 효과 적용에 적합한 광원일 것으로 판단할 수 있다. 이 경우, 상기 메인 처리부(160)는 상기 제1 후보 광원 영역(1210b)에 이미지 효과를 적용하거나, 상기 제1 후보 광원 영역(1210b)을 다른 지정된 조건 검사에 제공할 수 있다.
도 13a는 본 기재의 일 실시 예에 따른 선택 광원 조정 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 13a를 참조하면, 일 실시 예에 따른 선택 광원 조정 방법과 관련하여, 동작 1301에서, 메인 처리부(160)는 선택 광원을 포함하는 일정 영역을 확인할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 상술한 광원 선택 방법 중 적어도 하나의 방법 및 후술하는 광원 제외 방법 중 적어도 하나의 방법을 기반으로 이미지 효과를 적용할 적어도 하나의 광원을 선택할 수 있다. 상기 메인 처리부(160)는 광원이 선택되면, 선택된 광원이 위치한 지점을 기준으로 지정된 크기의 일정 영역을 확인하여, 다른 광원을 검출할 수 있다.
동작 1303에서, 상기 메인 처리부(160)는 일정 영역의 다른 광원의 개수 또는 특성을 확인할 수 있다. 다양한 실시 예에 따르면, 상기 메인 처리부(160)는 상기 선택된 광원과 다른 광원과의 밀집도(예: 선택 광원과 다른 광원과의 이격 거리 및 다른 광원의 개수), 다른 광원의 밝기 또는 이득 값을 확인할 수 있다.
동작 1305에서, 상기 메인 처리부(160)는 다른 광원의 개수 또는 특성에 따라 해당 선택 광원의 이득을 조정할 수 있다. 예를 들어, 상기 메인 처리부(160)는 일정 영역 내에 다른 광원의 개수가 많을수록 선택 광원의 이득을 지정된 크기 단위로 줄이고, 다른 광원의 개수가 적을수록 선택 광원의 이득을 유지하거나 지정된 크기 단위로 높일 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 다른 광원의 이득 값(또는 밝기 값)이 클수록 상기 선택 광원의 이득을 줄이고, 다른 광원의 이득 값이 작을수록 선택 광원의 이득을 높일 수 있다. 다양한 실시 예에 따르면, 상기 메인 처리부(160)는 다른 광원과의 밀집도를 기반으로 선택 광원의 이득을 조정할 수 있다. 예컨대, 상기 메인 처리부(160)는 다른 광원과 선택 광원과의 이격 거리가 가까울수록 상기 선택 광원의 이득을 지정된 비율 또는 크기 단위로 줄이고, 이격 거리가 멀수록 선택 광원의 이득을 높일 수 있다. 상기 메인 처리부(160)는 상기 다른 광원과 선택 광원의 이격 거리가 지정된 값 이상인 경우, 상기 선택 광원의 이득 값을 메인 처리부(160)의 광량 산출부(230)에서 산출한 값으로 유지할 수 있다.
도 13b는 본 기재의 일 실시 예에 따른 선택 광원 조정과 관련한 이미지의 한 예를 나타낸 도면이다.
도 13b를 참조하면, 메인 처리부(160)는 제1 이미지(1300a)를 획득하면, 획득된 제1 이미지(1300a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 후보 광원들을 산출하고, 광원 선택과 관련한 조건 검사를 기반으로 이미지 효과를 적용할 제1 광원(1320a)을 선택할 수 있다. 상기 메인 처리부(160)는 제1 광원(1320a)이 선택되면, 상기 제1 광원(1320a)을 포함하는 지정된 크기의 제1 영역(1310a) 및 제2 영역(1310b)을 설정할 수 있다. 상기 메인 처리부(160)는 제1 영역(1310a) 및 제2 영역(1310b)에 배치된 다른 광원들이 존재하는지 확인할 수 있다. 제1 영역(1310a)에 제1 외부 광원들(1331, 1332)이 존재하고, 제2 영역(1310b)에 다른 광원이 존재하지 않는 경우, 상기 메인 처리부(160)는 제1 영역(1310a)에 있는 제1 외부 광원들(1331, 1332)의 개수 및 상기 제1 외부 광원들(1331, 1332)과 제1 광원(1320a)과의 이격 거리에 따라, 상기 제1 광원(1320a)의 이득 값을 조정할 수 있다. 상기 메인 처리부(160)는 제1 영역(1310a)에 있는 제1 외부 광원들(1331, 1332)을 기반으로 조정된 이득 값에 따라, 제1 크기의 이미지 효과(1320b)를 제1 광원(1320a)에 적용할 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 제2 이미지(1300b)를 획득하면, 획득된 제2 이미지(1300b)에서 포화 픽셀 검출 및 클러스터링을 기반으로 후보 광원들을 산출하고, 광원 선택과 관련한 조건 검사를 기반으로 이미지 효과를 적용할 제1 광원(1320a)을 선택할 수 있다. 상기 메인 처리부(160)는 제1 광원(1320a)이 선택되면, 상기 제1 광원(1320a)을 포함하는 지정된 크기의 제1 영역(1310a) 및 제2 영역(1310b)을 설정할 수 있다. 상기 메인 처리부(160)는 제1 영역(1310a) 및 제2 영역(1310b)에 배치된 다른 광원들이 존재하는지 확인할 수 있다. 제2 영역(1310b)에 제2 외부 광원들(1341, 1342, 1343)이 존재하지 않는 경우, 상기 메인 처리부(160)는 상기 제2 외부 광원들(1341, 1342, 1343)의 개수 및 상기 제2 외부 광원들(1341, 1342, 1343)과 상기 제1 광원(1320a)과의 이격 거리에 따라 상기 제1 광원(1320a)의 이득 값을 조정할 수 있다. 예를 들어, 상기 메인 처리부(160)는 상기 제2 외부 광원들(1341, 1342, 1343)의 개수와, 상기 제2 외부 광원들(1341, 1342, 1343)과 상기 제1 광원(1320a)과의 이격 거리에 따라, 제2 크기의 이미지 효과(1320c)를 제1 광원(1320a)에 적용할 수 있다. 다양한 실시 예에 따르면, 메인 처리부(160)는 제1 이미지(1300a)에서의 제1 광원(1320a)에 대한 다른 광원들의 제1 밀집도보다 제2 이미지(1300b)에서 제1 광원(1320a)에 대한 다른 광원들의 제2 밀집도가 더 낮다고 판단할 수 있다. 상기 메인 처리부(160)는 제1 밀집도 및 제2 밀집도에 따라, 제2 이미지(1300b)에서 상기 제1 크기의 이미지 효과(1320b)보다 상대적으로 더 큰 상기 제2 크기의 이미지 효과(1320c)를 상기 제1 광원(1320a)에 적용할 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 제3 이미지(1300c)를 획득하면, 획득된 제3 이미지(1300c)에서 포화 픽셀 검출 및 클러스터링을 기반으로 후보 광원들을 산출하고, 광원 선택과 관련한 조건 검사를 기반으로 이미지 효과를 적용할 제1 광원(1320a)을 선택할 수 있다. 상기 메인 처리부(160)는 제1 광원(1320a)이 선택되면, 상기 제1 광원(1320a)을 포함하는 지정된 크기의 제1 영역(1310a) 및 제2 영역(1310b)을 설정할 수 있다. 상기 메인 처리부(160)는 제1 영역(1310a) 및 제2 영역(1310b)에 배치된 다른 광원들이 존재하는지 확인할 수 있다. 다른 광원들이 존재하지 않는 경우, 상기 메인 처리부(160)는 상기 제1 광원(1320a)의 이득 값을 광량 산출부(230)에서 산출한 광량에 대응되도록 유지하거나, 지정된 값으로 조정할 수 있다. 예를 들어, 상기 메인 처리부(160)는 제3 이미지(1300c)에서의 상기 제1 광원(1320a)에 대한 제3 밀집도가 상기 제2 밀집도보다 낮음에 따라, 상기 제2 크기의 이미지 효과(1320c)보다 상대적으로 더 큰 상기 제3 크기의 이미지 효과(1320d)를 제1 광원(1320a)에 적용할 수 있다.
상술한 설명에서는, 다른 광원들의 밀집도 확인을 위하여, 제1 영역(1310a) 및 제2 영역(1310b)을 설정하는 것으로 설명하였으나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 상기 메인 처리부(160)는 하나의 영역만을 설정할 수도 있고, 보다 세분화된 다수개의 영역들을 설정할 수도 있다.
도 14a는 본 기재의 일 실시 예에 따른 제1 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 14a를 참조하면, 일 실시 예에 따른 제1 광원 제외 방법과 관련하여, 동작 1401에서, 메인 처리부(160)는 후보 광원의 최대 길이의 직선을 검출할 수 있다. 이와 관련하여, 메인 처리부(160)는 후보 광원에 포함된 포화 픽셀들의 좌표 정보를 기반으로 연결된 직선들 중 가장 긴 길이의 직선을 검출할 수 있다.
동작 1403에서, 메인 처리부(160)는 검출된 직선이 일정 길이 이상이고, 후보 광원의 경계에 위치하는지 확인할 수 있다. 예컨대, 상기 메인 처리부(160)는 상기 직선에 포함된 포화 픽셀들의 좌표 정보 및 후보 광원에 포함된 포화 픽셀들의 좌표 정보를 비교하여, 상기 직선에 포함된 포화 픽셀들이 상기 후보 광원의 경계 상에 위치하는지 여부를 확인할 수 있다.
검출된 직선이 일정 길이 이상이면서, 후보 광원 내부에 위치하는 경우, 동작 1405에서, 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용을 위해 선택할 수 있다. 또는, 메인 처리부(160)는 해당 후보 광원에 대하여 다른 광원 선택 방법에서 설명한 조건 검사 및 다른 광원 제외 방법에서 설명한 조건 검사 중 적어도 하나를 수행할 수 있다.
검출된 직선이 일정 길이 이상이면서, 후보 광원 외부에 위치하는 경우, 후보 광원이 점 광원이 아닐 확률이 높을 것으로 판단하여 동작 1407에서, 메인 처리부(160)는 해당 후보 광원을 이미지 적용 효과 목록에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 검출된 직선이 일정 길이 이하인 경우 타원에 가까운 광원으로 판단하고 이미지 효과 적용을 위해 선택할 수 있다.
도 14b는 본 기재의 일 실시 예에 따른 제1 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 14b를 참조하면, 메인 처리부(160)는 제1 이미지(1400a)를 획득하면, 획득된 제1 이미지(1400a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 후보 광원들을 산출하고, 산출된 후보 광원들 중 임의의 제1 후보 광원(1410a)을 선택하거나 지정된 영역에 위치한 제1 후보 광원(1410a)을 선택할 수 있다. 상기 메인 처리부(160)는 선택된 제1 후보 광원(1410a)에 포함된 포화 픽셀들을 잇는 직선들 중 최대 길이를 가지는 직선(A)을 산출하고, 산출된 직선(A)에 위치하는 포화 픽셀들의 좌표 정보와 상기 제1 후보 광원(1410a)에 포함된 포화 픽셀들의 좌표 정보를 상호 비교하여, 상기 산출된 직선(A)(또는 직선(A)에 포함된 포화 픽셀들)이 제1 후보 광원(1410a)의 경계에 위치하는지 확인할 수 있다. 상기 산출된 직선(A) (또는 직선(A)에 포함된 포화 픽셀들)이 도시된 바와 같이, 제1 후보 광원(1410a)의 경계에 위치하는 경우, 상기 제1 후보 광원(1410a)이 점 광원이 아닐 확률이 높을 것으로 판단하여, 상기 제1 후보 광원(1410a)을 이미지 효과 적용 목록에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 제2 이미지(1400a)를 획득하면, 획득된 제2 이미지(1400a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 후보 광원들을 산출하고, 산출된 후보 광원들 중 임의의 제2 후보 광원(1410b)을 선택하거나 지정된 영역에 위치한 제2 후보 광원(1410b)을 선택할 수 있다. 상기 메인 처리부(160)는 선택된 제2 후보 광원(1410b)에 포함된 포화 픽셀들을 잇는 직선들 중 지정된 크기 이상의 직선들(B1, B2)을 산출하고, 산출된 직선들(B1, B2)에 위치하는 포화 픽셀들의 좌표 정보와 상기 제2 후보 광원(1410b)에 포함된 포화 픽셀들의 좌표 정보를 상호 비교하여, 상기 산출된 직선들(B1, B2)이 제2 후보 광원(1410b)의 경계에 위치하는지 확인할 수 있다. 상기 산출된 직선들(B1, B2)이 도시된 바와 같이, 제2 후보 광원(1410b)의 경계에 위치하는 경우, 상기 제2 후보 광원(1410b)이 점 광원이 아닐 확률이 높을 것으로 판단하여, 상기 제2 후보 광원(1410b)을 이미지 효과 적용 목록에서 제외시킬 수 있다.
도 15a는 본 기재의 일 실시 예에 따른 제2 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 15a를 참조하면, 일 실시 예에 따른 제2 광원 제외 방법과 관련하여, 동작 1501에서, 메인 처리부(160)는 후보 광원들의 픽셀들(예: 포화 픽셀들)을 잇는 선분을 검출할 수 있다.
동작 1503에서, 메인 처리부(160)는 검출된 선분이 후보 광원 외부에 위치하는지 확인할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 검출된 각 선분에 위치한 픽셀들의 포화도를 확인하여, 포화되지 않은 픽셀들이 존재하는지 확인할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 검출된 각 선분에 위치한 픽셀들의 좌표 정보와, 상기 후보 광원에 포함된 포화 픽셀의 좌표 정보를 비교하여, 상기 포화 픽셀들의 좌표 정보에 포함되는지 확인할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 선분의 중심에 위치한 픽셀을 선택하고, 해당 픽셀의 포화도가 포화 상태인지 확인하거나 또는 해당 픽셀의 좌표가, 포화 픽셀의 좌표 정보에 포함되는지 확인할 수도 있다.
검출된 선분이 후보 광원 외부에 위치하지 않고 후보 광원 내부에 위치하는 경우, 상기 메인 처리부(160)는 동작 1505에서 상기 후보 광원을 이미지 효과 적용에 이용할 수 있다.
검출된 선분이 후보 광원 외부에 위치하는 경우, 동작 1507에서 상기 메인 처리부(160)는 상기 후보 광원의 적어도 일부 경계가 찌그러진 형태를 가짐에 따라 점 광원이 아닐 확률이 높을 것으로 판단하여, 상기 후보 광원을 이미지 효과 적용 목록에서 제외시킬 수 있다.
도 15b는 본 기재의 일 실시 예에 따른 제2 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 15b를 참조하면, 메인 처리부(160)는 제1 이미지(1500a)를 획득하면, 획득된 제1 이미지(1500a)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제1 후보 광원(1510)을 산출할 수 있다. 상기 메인 처리부(160)는 제1 후보 광원(1510)에 포함된 포화 픽셀들을 잇는 선분들을 검출할 수 있다. 예컨대, 메인 처리부(160)는 제1 후보 광원(1510)에 포함된 제1 포화 픽셀(1511a) 및 제2 포화 픽셀(1511b)을 잇는 제1 선분(1511)을 산출할 수 있다. 상기 메인 처리부(160)는 산출된 제1 선분(1511)에 위치한 픽셀들의 포화도를 확인하거나, 상기 제1 선분(1511)에 위치한 픽셀들의 좌표가 상기 제1 후보 광원(1510)에 포함된 포화 픽셀들의 좌표와 일치하는지 확인할 수 있다. 또는, 상기 메인 처리부(160)는 상기 제1 선분(1511)의 중심점에 위치한 픽셀에 대하여, 포화도 확인 또는 좌표 확인을 수행할 수도 있다. 상기 메인 처리부(160)는 상기 제1 선분(1511)에 위치한 픽셀의 포화도가 지정된 값 이하이거나, 상기 픽셀의 좌표가 포화 픽셀의 좌표와 일치하지 않는 경우, 상기 제1 후보 광원(1510)의 점 광원 형태가 아닌 것으로 판단하고, 상기 제1 후보 광원(1510)을 이미지 효과 적용 목록에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 제2 이미지(1500b)를 획득하면, 획득된 제2 이미지(1500b)에서 포화 픽셀 검출 및 클러스터링을 기반으로 제2 후보 광원(1520)을 산출할 수 있다. 상기 메인 처리부(160)는 제1 후보 광원(1510)에 포함된 포화 픽셀들 예컨대, 제2 후보 광원(1520)에 포함된 제3 포화 픽셀(1521a) 및 제4 포화 픽셀(1521b)을 잇는 제2 선분(1521)을 산출할 수 있다. 상기 메인 처리부(160)는 산출된 제2 선분(1521)에 위치한 적어도 하나의 픽셀들의 포화도 확인 또는 상기 제2 선분(1521)에 위치한 적어도 하나의 픽셀들의 좌표가 상기 제2 후보 광원(1520)에 포함된 포화 픽셀들의 좌표와 일치하는지 확인할 수 있다. 상기 메인 처리부(160)는 상기 제2 선분(1521)에 위치한 픽셀의 포화도가 지정된 값 이하이거나, 상기 픽셀의 좌표가 포화 픽셀의 좌표와 일치하지 않는 경우, 상기 제2 후보 광원(1520)의 점 광원 형태가 아닌 것으로 판단하고, 상기 제1 후보 광원(1510)을 이미지 효과 적용 목록에서 제외시킬 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 상기 제1 선분(1511) 또는 상기 제2 선분(1521)의 길이가 지정된 값 이하인 경우, 해당 선분의 픽셀 포화도 또는 좌표 확인을 생략하고, 지정된 크기 이상의 길이를 가지는 선분에 대해서 픽셀의 포화도 확인 또는 좌표 확인을 수행하여 이미지 효과 적용 목록 제외 여부를 결정할 수도 있다.
도 16은 본 기재의 일 실시 예에 따른 제3 광원 제외 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 16을 참조하면, 일 실시 예에 따른 제3 광원 제외 방법과 관련하여, 동작 1601에서, 메인 처리부(160)는 후보 광원의 색 온도 정보를 획득할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 후보 광원의 주파수 파장을 검출하고, 이를 기반으로 후보 광원의 색 온도를 정보를 확인할 수도 있다.
동작 1603에서, 메인 처리부(160)는 후보 광원의 색 온도가 지정된 광원 특성에 해당하는지 확인할 수 있다. 예컨대, 상기 메인 처리부(160)는 후보 광원의 색 온도가 형광등이나 네온 사인과 같이 점 광원의 형태가 아닌 면 광원의 형태를 가지는 광원의 색 온도인지 확인할 수 있다.
후보 광원의 색 온도가 지정된 광원 특성을 가지지 않는 경우, 동작 1605에서, 상기 메인 처리부(160)는 이미지 효과 적용을 위해 후보 광원을 선택할 수 있다. 또는, 메인 처리부(160)는 상기 후보 광원에 대해 다른 광원 선택 방법에서 설명한 조건 검사 또는 다른 광원 제외 방법에서 설명한 조건 검사를 수행할 수 있다.
후보 광원의 색 온도가 지정된 광원 특성을 가지는 경우, 동작 1607에서, 상기 메인 처리부(160)는 해당 후보 광원을 이미지 효과 적용 목록에서 제외시킬 수 있다.
도 17은 본 기재의 일 실시 예에 따른 광원 선택 방법 적용과 관련한 이미지의 한 예를 나타낸 도면이다.
도 17을 참조하면, 일 실시 예에 따르면, 전자 장치의 메인 처리부(예: 도 2의 메인 처리부(160))는 제1 이미지(1700a)를 획득하는 경우, 획득된 제1 이미지(1700a)에서 포화도가 지정된 값 이상인 포화 픽셀들을 검출하고, 포화 픽셀들을 클러스터링하여 후보 광원들(1711, 1712, 1713, 1714, 1720)을 산출할 수 있다.
상기 후보 광원들(1711, 1712, 1713, 1714, 1720)은 도시된 바와 같이 면 광원을 포함할 수 있다. 예를 들어, 제1 내지 제4 후보 광원들(1711, 1712, 1713, 1714)은 면 광원에 해당하며, 제5 후보 광원(1720)은 점 광원이 될 수 있다. 본 기재의 광원 선택 방법들 및 광원 제외 방법들 중 적어도 하나를 적용하지 않을 경우, 제1 이미지(1700a)에 포함된 후보 광원들(1711, 1712, 1713, 1714, 1720)은 도시된 바와 같이 이미지 효과들(1711a, 1712a, 1712b, 1713a, 1714a, 1720a)을 적용하여 표시될 수 있다. 예를 들어, 제1 후보 광원(1711)에 제1 이미지 효과(1711a)가 적용되며, 제2 후보 광원(1712)에 제2 이미지 효과(1712a, 1712b)가 적용되며, 제3 후보 광원(1713)에 제3 이미지 효과(1713a)가 적용되며, 제4 후보 광원(1714)에 제4 이미지 효과(1714a)가 적용되며, 제5 후보 광원(1720)에 제5 이미지 효과(1720a)가 적용될 수 있다. 도시된 바와 같이, 점 광원에 해당하는 제5 후보 광원(1720)에 제5 이미지 효과(1720a)가 적용되는 경우는 자연스러운 현상으로 인식되지만, 카메라가 획득한 이미지에서 면 광원에 이미지 효과가 적용되는 경우 부자연스러울 수 있다.
상기 메인 처리부(160)는 본 기재의 광원 선택 방법들 및 광원 제외 방법들 중 적어도 하나를 적용하여 면 광원들에 해당하는 제1 내지 제4 후보 광원들(1711, 1712, 1713, 1714)을 이미지 효과 적용 목록에서 제외시킬 수 있다. 또는, 메인 처리부(160)는 제1 내지 제4 후보 광원들(1711, 1712, 1713, 1714)에 적용된 이미지 효과들을 취소 또는 제거할 수 있다.
상기 메인 처리부(160)는 상기 방법들의 적용을 통해 제5 후보 광원(1720)에 제6 이미지 효과(1720a)를 적용하거나, 적용된 제6 이미지 효과(1720a)를 유지시켜 제2 이미지(1700b)를 구성할 수 있다. 제2 이미지(1700b)에서는 제1 내지 제4 광원들(1711, 1712, 1713, 1714)에 이미지 효과들(1711a, 1712a, 1712b, 1713a, 1714a)이 적용되지 않아 면 광원 형태로 표시됨에 따라, 자연스러운 환경 표현이 될 수 있다.
다양한 실시 예에 따르면, 본 기재의 메인 처리부(160)는 상술한 복수의 광원 선택 방법 및 복수의 광원 제외 방법 중 적어도 하나의 방법에서 설명한 조건 검사를 독립적으로 수행하거나, 또는 다른 조건 검사와 병행하여 수행하거나, 또는 적어도 하나의 조건 검사를 완료 여부에 따라 다른 조건 감사를 수행하는 방식으로 이미지 효과 적용을 처리할 수 있다. 이에 따라, 본 기재의 메인 처리부(160)를 포함하는 전자 장치는 각 방법들을 모두 구현할 수 있는 장치로 한정되는 것이 아니라, 본 기재의 전자 장치는 각 방법들 각각을 구현하는 장치 또는 각 방법들을 조합한 방법을 구현하는 장치를 포함할 수 있다.
일 실시 예에 따르면, 본 기재의 메인 처리부(160)는 상술한 다양한 광원 선택 방법을 선택적으로 운용할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 제1 광원 선택 방법에서 선택된 광원에 대하여, 제2 광원 선택 방법(또는 제3 광원 선택 방법)에서 설명한 조건 검사를 수행하고, 제2 광원 선택 방법에서 선택된 광원에 대하여 제4 광원 선택 방법에서 설명한 조건 검사를 수행하여 최종 이미지 효과를 적용할 광원을 선택할 수 있다. 또는, 상기 메인 처리부(160)는 제1 내지 제3 광원 선택 방법을 병렬적으로 수행하여, 모든 조건 검사에서 선택된 또는 2/3 이상 선택된 광원에 대하여 이후 다른 광원 선택 방법 및 광원 제외 방법 중 적어도 하나를 적용할 수 있다. 또는, 상기 메인 처리부(160)는 제1 내지 제4 광원 성택 방법, 제6 광원 선택 방법, 제1 내지 제3 광원 제외 방법을 병렬적으로 동시 수행하여, 지정된 비율 이상 선택된 광원을 최종 이미지 효과 적용을 위해 선택할 수도 있다. 이와 관련하여, 각 광원 선택 방법에서 설명한 “선택”은 다른 지정된 조건 검사와 관련하여 “임시 선택”이거나 또는 “예비 선택”이 될 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 후보 광원을 포함하는 최소 도형을 산출하고, 산출된 최소 도형을 기반으로, 제2 광원 선택 방법, 제3 광원 선택 방법 및 제4 광원 선택 방법 중 적어도 하나의 방법을 적용할 수 있다. 예컨대, 메인 처리부(160)는 최소 도형의 직교하는 두 변의 비율이 제2 지정된 값(Th2) 이하인지 여부를 확인하고, 제2 지정된 값(Th2) 이하인 경우, 해당 후보 광원에 대하여, 제4 광원 선택 방법을 적용하여 접점의 개수 또는 접점의 길이와 변의 길이와의 비율에 따라 후보 광원의 선택 또는 제외를 결정할 수 있다.
다양한 실시 예에 따르면, 메인 처리부(160)는 상술한 다양한 광원 선택 방법 및 광원 제외 방법 중 적어도 하나를 이용하여, 이미지 효과 적용을 선별적으로 수행할 수 있다. 예를 들어, 상기 메인 처리부(160)는 상술한 광원 선택 방법 및 광원 제외 방법 중 적어도 하나를 기반으로 후보 광원이 일정 크기 이하의 면을 가지며 일정 개수 이하의 모서리를 가지는 광원(예: 지정된 크기 이하의 타원 형상의 광원)일 경우, 이미지 효과 적용이 자연스러운 점 광원 또는 특정 형태의 광원으로 판단하고, 해당 후보 광원에 이미지 효과를 적용할 수 있다. 또는, 상기 메인 처리부(160)는 상술한 광원 선택 방법 및 광원 제외 방법 중 적어도 하나를 기반으로 후보 광원이 일정 크기를 초과하는 면을 가지며 일정 개수를 초과하는 모서리를 가지는 광원(예: 지정된 크기 이상의 광원이거나, 네온 사인이나 일정 크기 이상의 다각형의 광원)일 경우, 이미지 효과 적용이 부자연스러운 면 광원으로 판단하고, 해당 후보 광원을 이미지 효과 적용 목록에서 제외시킬 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는 카메라, 메모리, 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서(예: 메인 처리부(160))는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원이 일정 크기 이하의 면과 지정된 개수 이하의 모서리를 가지는 광원인 경우 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고, 상기 적어도 하나의 후보 광원이 일정 크기 이상의 면과 지정된 개수 이상의 모서리를 가지는 면 광원인 경우 상기 적어도 하나의 후보 광원과 관련하여 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원의 일 축 길이가 지정된 범위 값 이내이고, 상기 후보 광원의 포화 픽셀들을 잇는 직선들 중 최대 길이를 가지는 제1 축의 길이와, 상기 후보 광원의 포화 픽셀들을 잇는 직선들 중 최대 길이를 가지며 상기 제1 축과 수직한 제2 축의 길이의 비율이 지정된 값 이하이고, 상기 후보 광원을 포함하는 최소 크기의 도형의 면적을 상기 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원의 포함하는 최소 크기의 사각형을 산출하고, 상기 사각형의 일 축 길이가 지정된 범위 값 이내이고, 상기 사각형의제1 축의 길이와, 상기 제1 축과 수직 관계인 제2 축의 길이의 비율이 지정된 값 이하이고, 상기 사각형의 면적을 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원의 포함하는 최소 크기의 사각형을 산출하고, 상기 사각형의 일 축 길이가 지정된 범위 값 이내이고, 상기 사각형의제1 축의 길이와, 상기 제1 축과 수직 관계인 제2 축의 길이의 비율이 지정된 값 이하이고, 상기 사각형의 면적을 후보 광원의 면적으로 나눈 값이 지정된 값 이하이며, 상기 사각형의 각 변상에 위치하는 후보 광원의 경계의 접점들의 길이와 상기 각 변의 비율이 지정된 이하이면, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하도록 설정될 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는 카메라, 메모리 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서(예: 메인 처리부(160)는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원의 경계면 정보에 기반하여 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하거나, 또는 상기 지정된 이미지 효과 적용을 제외시키도록 설정되고, 상기 경계면 정보는 상기 적어도 하나의 후보 광원의 경계면에 대응하는 픽셀 정보를 포함하고, 상기 픽셀 정보는 픽셀의 좌표값을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원이 일정 크기 이하의 면과 지정된 개수 이하의 모서리를 가지는 경우 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고, 상기 적어도 하나의 후보 광원이 일정 크기를 초과하는 면과 지정된 개수를 초과하는 모서리를 가지는 경우 상기 적어도 하나의 후보 광원에 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원의 일 축 길이가 지정된 범위 값 이내이고, 상기 적어도 하나의 후보 광원을 포함하는 최소 크기의 가로 축 및 세로 축을 가지는 사각형의 변들 중 상대적으로 긴 변의 길이를, 상대적으로 짧은 길이를 가지는 변의 길이로 나눈 값이 지정된 값 이하이고, 상기 후보 광원을 포함하는 최소 크기의 다각형의 면적을 상기 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원을 포함하며 가로 축 및 세로 축을 가지는 최소 크기의 사각형 또는 상기 후보의 광원의 포화 픽셀들을 잇는 선분 중 최대 길이를 가지는 직선을 적어도 하나의 변으로 하며 상기 후보 광원을 포함하는 사각형을 산출하고, 상기 사각형의 일 축 길이가 지정된 범위 값 이내이고, 상기 사각형의 가로 축 및 세로 축들 중 상대적으로 긴 축의 길이를 다른 축의 길이로 나눈 값이 지정된 값 이하이고, 상기 사각형의 면적을 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원을 포함하며 가로축과 세로축을 가지는 최소 크기의 사각형 또는 상기 후보의 광원의 포화 픽셀들을 잇는 선분 중 최대 길이를 가지는 직선을 적어도 하나의 변으로 하며 상기 후보 광원을 포함하는 사각형 산출하고, 상기 사각형의 일 축 길이가 지정된 범위 값 이내이고, 상기 사각형의 가로 축 또는 세로 축 중 상대적으로 긴 축의 길이를 다른 축의 길이로 나눈 값이 지정된 값 이하이고, 상기 사각형의 면적을 후보 광원의 면적으로 나눈 값이 지정된 값 이하이며, 상기 사각형의 각 변상에 위치하는 후보 광원의 경계의 접점들의 길이와 상기 각 변의 비율이 지정된 이하이면, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하도록 설정될 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는 카메라, 메모리 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원에 적어도 하나의 지정된 조건 검사를 수행하고, 상기 적어도 하나의 지정된 조건 검사 결과에 따라 상기 적어도 하나의 후보 광원에 지정된 이미지 효과를 적용하거나 또는 상기 적어도 하나의 후보 광원과 관련하여 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원의 일 축 길이를 확인하고, 상기 일 축 길이가 지정된 범위 이내인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 일 축 길이가 지정된 범위를 벗어난 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원을 포함하는 이미지의 가로 축들 중 상기 후보 광원에 포함되며 상기 후보 광원 내에서 최대 길이를 가지는 일 축과, 상기 후보 광원을 포함하는 이미지의 세로 축들 중 상기 후보 광원에 포함되며 상기 후보 광원 내에서 최대 길이를 가지는 타 축을 포함하는 사각형에서, 상대적으로 긴 축을 제1 축으로 하고 상대적으로 짧은 축을 제2 축으로 산출하거나, 상기 후보 광원을 포함하는 최소 크기의 사각형을 산출하고, 상기 최소 크기의 사각형 중 상대적으로 더 긴 제1 축 및 상기 제1 축에 수직한 제2 축을 산출하고 상기 제1 축의 길이를 상기 제2 축의 길이로 나눈 값이 지정된 값 이하인 경우 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 제1 축의 길이를 상기 제2 축의 길이로 나눈 값이 지정된 값을 초과하는 경우 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원을 포함하는 이미지의 가로 축과 세로 축을 기반으로 상기 후보 광원을 포함하는 최소 크기의 사각형, 상기 후보 광원의 포화 픽셀들을 잇는 선분 중 최대 길이의 제1 직선과 상기 후보 광원의 포화 픽셀들을 잇는 선분 중 상기 제1 직선에 수직하면서 최대 길이를 가지는 제2 직선을 적어도 변으로 하는 사각형 또는, 상기 후보 광원을 포함하는 이미지의 수평 축 중 상기 후보 광원 내부에 위치하는 최대 길이의 제1 직선과, 상기 이미지의 수평 축과 수직 관계를 가지며 상기 후보 광원 내부의 최대 길이의 제2 직선을 적어도 변으로 하는 사각형을 산출하고, 상기 사각형의 면적을 상기 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 사각형의 면적을 상기 후보 광원의 면적으로 나눈 값이 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원의 포화 픽셀들을 잇는 선분 중 최대 길이의 제1 직선을 기반으로 다각형을 산출하고, 상기 다각형의 면적을 상기 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 다각형의 면적을 상기 후보 광원의 면적으로 나눈 값이 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원을 포함하는 다각형을 산출하고, 상기 다각형의 변들과 상기 후보 광원의 경계가 중첩되는 접점에서의 포화 픽셀들의 개수를 산출하고, 상기 포화 픽셀들의 개수가 지정된 값 이하인 경우 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 포화 픽셀들의 개수가 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원을 포함하는 다각형을 산출하고, 상기 다각형의 변들과 상기 후보 광원의 경계가 중첩되는 접점에서의 포화 픽셀들의 개수를 산출하고, 상기 각 변의 길이와 상기 접점들의 길이 비율이 지정된 값 이하인 경우 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 각 변의 길이와 상기 접점들의 길이 비율이 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 저조도 설정에서 획득된 이미지에서 제1 후보 광원을 산출하고, 상기 저조도보다 높은 고조도 설정에서 획득된 이미지에서 같은 위치의 제2 후보 광원을 산출하고, 상기 제2 후보 광원의 크기를 상기 제1 후보 광원의 크기로 나눈 값이 지정된 값을 초과하는 경우 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고, 상기 제2 후보 광원의 크기를 상기 제1 후보 광원의 크기로 나눈 값이 지정된 값 이하인 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원을 포함하는 최소 크기의 다각형을 산출하고, 상기 다각형을 기반으로 비교 광원 영역을 산출하고, 상기 비교 광원 영역과 상기 후보 광원의 차이 값이 지정된 값을 초과 하는 경우 상기 지정된 이미지 효과를 상기 후보 광원에 제거하고, 상기 비교 광원 영역과 상기 후보 광원의 차이 값이 지정된 값 이하인 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 포함시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원의 포화 픽셀들을 잇는 직선 중 최대 길이의 직선을 산출하고, 상기 직선이 상기 후보 광원의 경계에 위치하는 경우 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원 중 상기 이미지 효과를 적용하도록 선택된 광원을 기준으로, 지정된 영역 내에 위치하는 다른 광원들의 밀집도를 산출하고, 상기 밀집도에 따라 상기 선택된 광원의 이득 값을 조정하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 후보 광원의 색 온도 정보를 획득하고, 상기 색 온도 정보가 지정된 색 온도에 해당하는 경우, 상기 후보 광원을 상기 이미지 효과 적용에서 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 후보 광원 중 상기 이미지 효과를 적용하도록 선택된 광원에 대해 지정된 파라메터를 기반으로 상기 선택된 광원의 이득 값을 조정하도록 제어하며, 상기 지정된 파라메터는 상기 후보 광원의 포화 픽셀들을 잇는 선분들 중 직교 관계인 선분들의 비율 값, 상기 후보 광원을 포함하는 사각형의 직교 관계인 두 개의 변들의 비율 값, 상기 후보 광원의 포화 픽셀들을 잇는 선분들의 적어도 일부를 이용하여 산출된 상기 후보 광원을 포함하는 다각형과 상기 후보 광원 영역의 비율 값, 상기 다각형을 기준으로 산출되는 지정된 크기의 비교 광원 영역과 상기 후보 광원 영역의 면적 차이 값, 상기 후보 광원과 관련한 저조도 이미지의 광원 크기 및 고조도 이미지의 광원 크기의 비율 값, 중 적어도 하나를 포함할 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는 카메라, 메모리, 및 상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고, 상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고, 상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고, 상기 적어도 하나의 후보 광원의 경계면에서 상기 적어도 하나의 후보 광원의 중심방향으로 오목한 부분의 크기, 개수, 모양 중 적어도 하나에 따라 상기 적어도 하나의 후보 광원과 관련하여 빛 갈라짐 효과 적용을 제외시키도록 설정될 수 있다.
상술한 바와 같이, 본 기재의 일 실시 예에 따른 전자 장치의 메인 처리부(160)는 이미지에 포함된 다양한 후보 광원들에 대하여, 특정 형태와 크기 등을 가지는 후보 광원에 대해 이미지 적용 효과를 제외시킴으로써, 보다 자연스러운 이미지를 구현할 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는, 카메라, 메모리, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 이미지에서 후보 광원들을 검출하고, 상기 후보 광원들의 경계면에서 상기 후보 광원의 중심 방향으로 함몰된 오목 부분들의 크기, 개수, 형태 중 적어도 하나에 따라, 상기 이미지 효과 적용을 제외시킬 수 있다. 예컨대, 상기 적어도 하나의 프로세서는 상기 오목 부분들의 크기가 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 이미지 효과 적용을 제외시킬 수 있다. 상기 적어도 하나의 프로세서는 상기 오목 부분들의 개수가 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 이미지 효과 적용을 제외시킬 수 있다. 상기 적어도 하나의 프로세서는 상기 오목 부분들의 복잡도가 지정된 값을 초과하는 경우, 상기 후보 광원에 대한 이미지 효과 적용을 제외시킬 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는, 카메라, 메모리, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 이미지에서 후보 광원들을 검출하고, 상기 후보 광원들의 모양 및 크기 중 적어도 하나에 따라 후보 광원들의 밝기(또는 이득)를 조절할 수 있다. 예컨대, 상기 후보 광원들의 모양이 지정된 형태의 타원에 가까운 경우, 밝기를 지정된 값 이상이 되도록 조절하여 보다 자연스러운 이미지를 획득할 수 있도록 지원한다. 일 실시 예에 따르면, 상기 후보 광원들의 크기가 지정된 크기를 초과하는 경우, 상기 밝기를 지정된 값 이하가 되도록 조절하여 주변 다른 광원들이 지정된 크기를 초과하는 광원의 영향을 덜 받을 수 있도록 조절할 수 있다.
도 18은 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 효과 적용 처리와 관련한 전자 장치의 구성 일부의 한 예를 나타낸 도면이다.
도 18을 참조하면, 일 실시 예에 따른 메인 처리부(160)는 위치 추출부(210), 저장부(215), 화소 결정부(220), 광량 산출부(230), 모션 검출부(255), 효과 적용부(240), 룩업 테이블(245) 및 제2 메모리(246)를 포함할 수 있다. 상기 구분은 기능에 따른 분류로서 일부 구성들이 결합되거나, 추가적인 구성이 포함될 수도 있다. 상기 위치 추출부, 저장부, 화소 결정부, 광량 산출부는 앞서 도 2에서 설명한 구성들과 동일 또는 유사한 기능을 수행할 수 있다.
일 실시 예에 따르면, 상기 모션 검출부(255)는 전자 장치가 프리뷰 모드 또는 동영상 촬영 모드로 동작하는 동안, 획득된 이미지에서 피사체의 움직임이 발생하는지 검출할 수 있다. 일 실시 예에 따르면, 상기 모션 검출부(255)는 영상 촬영 장치가 이동(또는 회전)하는지 확인할 수 있다. 이와 관련하여, 모션 검출부(255)는 적어도 하나의 센서(예: 가속도 센서)를 포함할 수 있다. 상기 모션 검출부(255)는 이미지에 포함된 특정 객체 예컨대, 광원의 움직임이 발생하는지 확인할 수 있다. 이와 관련하여, 모션 검출부(255)는 이전 이미지를 저장 관리하고, 현재 이미지가 획득되면, 이전 이미지와 비교하여 현재 이미지의 적어도 하나의 객체 움직임이 지정된 크기 이상 발생했는지 확인할 수 있다. 다양한 실시 예에 따르면, 상기 모션 검출부(255)는 위치 추출부(210)로부터 특정 픽셀들(예: 포화 픽셀들)에 대한 좌표 정보를 수신하고, 수신된 좌표 정보의 변화를 기반으로 객체의 움직임 발생을 확인할 수도 있다. 움직임 발생이 지정된 크기 이상 있는 경우, 모션 검출부(255)는 움직임 발생에 대한 결과를 효과 적용부(에 전달할 수 있다.
일 실시 예에 따르면, 효과 적용부(240)는 산출된 광량을 기반으로 이미지 효과를 적용할 수 있다. 효과 적용부(240)는 룩업 테이블(245)을 참조하여, 광량 추적 값에 따라 지정된 비율에 맞춰서 포화 픽셀 또는 포화 픽셀을 중심으로 하는 지정된 영역을 치환하여, 이미지 효과(예: 빛 갈라짐 효과)를 적용할 수 있다.
다양한 실시 예에 따르면, 효과 적용부(240)는 모션 검출부(255)에서 전달한 정보에 따라, 이미지 효과 적용 시, 광량 산출 결과를 다르게 적용할 수 있다. 일 실시 예에 따르면, 효과 적용부(240)는 현재 이미지에 포함된 적어도 하나의 객체가 지정된 크기 이상 움직임이 없는 경우, 제2 메모리(246)에 저장된 이전 이미지에 대한 광량 산출 결과와 현재 이미지에 대한 광량 산출 결과를 종합하여 이미지 효과를 적용할 수 있다. 이와 관련하여, 상기 효과 적용부(240)는 이전 이미지의 광량 산출 결과를 제2 메모리(246)에 저장할 수 있다. 일 실시 예에 따르면, 상기 효과 적용부(240)는 현재 이미지에 포함된 적어도 하나의 객체가 지정된 크기 이상 움직이는 경우, 현재 획득된 이미지의 광량 산출 결과에 따라 이미지 효과를 적용할 수 있다. 상기 효과 적용부(240)는 제2 메모리(246)에 현재 이미지의 광량 산출 결과를 저장할 수 있다.
도 19는 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 효과 적용 방법의 한 예를 나타낸 도면이다.
도 19를 참조하면, 프리뷰 모드(또는 동영상 촬영 모드)에서의 이미지 효과 적용과 관련하여, 1901 동작에서, 메인 처리부(160)는 연속적으로 이미지를 수신할 수 있다. 일 실시 예에 따르면, 사용자 입력 또는 지정된 이벤트 발생에 따라 카메라 기능이 활성화되면, 전자 장치는 카메라를 활성화하고, 프리뷰 모드(또는 동영상 촬영 모드)로 진입할 수 있다. 프리뷰 모드(또는 동영상 촬영 모드)에서, 메인 처리부(160)는 카메라의 렌즈부(110)를 통해 획득한 이미지들을 연속적으로 수신할 수 있다.
1903 동작에서, 메인 처리부(160)는 수신된 현재 이미지(또는 프레임)의 움직임을 확인할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 현재 이미지에 포함된 적어도 하나의 객체(예: 광원)의 움직임을 확인할 수 있다. 이와 관련하여, 메인 처리부(160)는 이전 이미지와 현재 이미지를 상호 비교하고, 특정 객체의 움직임이 지정된 크기 이상 발생하였는지 확인할 수 있다. 다양한 실시 예에 따르면, 상기 메인 처리부(160)는 전자 장치에 배치된 적어도 하나의 센서를 이용하여, 전자 장치가 지정된 각도 이상 또는 거리 이상 움직임이 발생했는지 확인할 수도 있다.
1905 동작에서, 메인 처리부(160)는 움직임 정도가 제7 지정된 값(Th7)을 초과하는지 확인할 수 있다. 예컨대, 상기 제7 지정된 값(Th7)은 20픽셀 ~ 100픽셀 이내의 범위 값을 포함할 수 있다. 상기 제7 지정된 값(Th7)은 카메라의 해상도, 이미지 센서의 크기와 같은 요소에 따라 달라질 수 있다.
이미지의 객체 움직임 정도(또는 광원의 움직임 정도)가 제7 지정된 값(Th7) 이하인 경우, 1907 동작에서, 메인 처리부(160)는 현재 이미지의 광원 산출 결과에 따라 이미지 효과를 적용할 수 있다.
이미지의 객체 움직임 정도(또는 광원의 움직임 정도)가 제7 지정된 값(Th7) 초과인 경우, 1909 동작에서, 메인 처리부(160)는 이전 이미지의 광원 산출 결과에 지정된 제1 상수(x)(예: 0.9)를 곱한 값과, 현재 이미지의 광원 산출 결과에 지정된 제2 상수(y)(예: 0.1)를 곱한 값을 기반으로 이미지 효과 적용을 처리할 수 있다.
도 20은 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 효과 적용과 관련한 영역 설정 방법을 설명하는 도면이다.
도 20을 참조하면, 전자 장치의 메인 처리부(160)는 프리뷰 모드(또는 동영상 촬영 모드)에서 연속적으로 이미지가 획득되면, 획득된 이미지를 복수개의 ROI 영역들로 나눌 수 있다. 상기 메인 처리부(160)는 복수개의 ROI 영역들 중 예컨대, 광원(2101a)이 위치한 ROI 영역(2010)을 검출할 수 있다. 상기 메인 처리부(160)는 광원들이 위치한 ROI 영역에서만 광원의 움직임 발생을 검출하거나, 광원이 위치한 ROI 영역의 특정 객체의 움직임 발생을 검출할 수 있다. 도시된 도면에서는 제1 ROI 영역(2010)에 제1 광원(2010a)이 위치한 상태를 예시적으로 지시한 것으로, 메인 처리부(160)는 연속적으로 수신되는 이미지들에 포함된 전체 광원들이 위치한 각 ROI 영역들에서 광원들의 움직임 발생 또는 적어도 하나의 객체 움직임을 검출할 수 있다. 상기 메인 처리부(160)는 다음 이미지가 수신되면, 이전 ROI 영역들을 참조하여, 다음 이미지의 광원들을 검출하고, 이전 이미지와 비교하여 광원의 움직임 발생을 산출할 수 있다.
도 21은 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 IIR(Infinite Impulse Response) 연산 장치의 한 예를 나타낸 도면이다.
도 21을 참조하면, 상기 IIR 연산 장치(2100)는 현재 이미지(cF)을 수신하고, 수신된 현재 이미지(cF)에 제1 가중치(C1)를 적용하고, 제3 메모리(2112)(예: 도 18의 제2 메모리(246))에 저장된 이전 이미지(pF)에 제2 가중치(C2)를 적용한 후 덧셈기를 통해 덧셈한 후, 효과 적용부(240)에 전달할 수 있다. 일 실시 예에 따르면, 메인 처리부(160)는 상기 IIR 연산 장치(2100)는 별도의 하드웨어로 구현하여 포함하거나, 또는 소프트웨어로 구현하여 운용할 수도 있다. 상기 IIR 연산 장치(2100)가 하드웨어로 구현되는 경우, 상기 제1 가중치(C1)는 제1 증폭기(2111)가 될 수 있고, 제2 가중치(C2)는 제2 증폭기(2113)가 될 수 있다.
일 실시 예에 따르면, 상기 메인 처리부(160)는 현재 이미지에 포함된 특정 객체(예: 적어도 하나의 광원)의 움직임이 지정된 크기 이상 이동되는지 확인하고, 지정된 크기 이상의 움직임이 발생한 경우, 상기 IIR 연산 장치(2100)를 이용하여 이전 이미지에 제2 가중치(C2)를 적용하고 현재 이미지에 제1 가중치(C1)를 적용하여 합산한 후, 이미지 효과 적용을 처리할 수 있다.
도 22는 다양한 실시 예에 따른 프리뷰 모드 또는 동영상 촬영 모드에서의 이미지 저장 방법의 한 예를 나타낸 도면이다.
도 22를 참조하면, 전자 장치의 메인 처리부(160)는 이전 이미지를 모두 저장하지 않고, 광원과 관련한 특징만을 포함하는 제1 이미지(2200a)를 메모리(도 21의 메모리 2112)에 저장할 수 있다. 상기 제1 이미지(2200a)는 이미지 효과가 적용된 광원(2210a)을 포함하고, 기타 데이터는 제거된 이미지를 포함할 수 있다. 상기 메인 처리부(160)는 현재 이미지가 획득되면, 현재 이미지의 광원 산출 결과에 제1 가중치(예: 도 21의 제1 가중치(C1))를 적용하고, 제1 이미지(2200a)에 제2 가중치(예: 도 21의 제2 가중치(C2))를 적용하여 합산 후, 지정된 이미지 효과(2210b)가 적용된 제2 이미지(2200b)를 디스플레이(180)에 표시하거나 저장부(215)에 저장할 수 있다.
도 23은 다양한 실시 예에 따른 움직임 발생에 따른 이미지 효과 적용의 한 예를 나타낸 도면이다.
도 23을 참조하면, 메인 처리부(160)는 이전 이미지(2300a)에서 광원(2310) 검출에 따라, 해당 광원(2310)에 이미지 효과(예: Star-Effect)를 적용할 수 있다. 상기 메인 처리부(160)는 이전 이미지(2300a) 출력 시, 이미지 효과가 적용된 광원(2310)을 포함하는 이미지를 출력할 수 있다. 상기 메인 처리부(160)는 상기 이전 이미지(2300a)를 메모리(도 21의 메모리 2112)에 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메인 처리부(160)는 이전 이미지(2300a) 수신 후 현재 이미지(2300b)가 연속해서 들어오면, 현재 이미지(2300b)의 움직임 여부를 판단할 수 있다. 일 실시 예에 따르면, 상기 메인 처리부(160)는 이전 이미지(2300a) 및 현재 이미지(2300b)를 비교할 수 있다. 또는, 상기 메인 처리부(160)는 이전 이미지(2300a)의 광원(2310) 영역과, 현재 이미지(2300b) 영역 중 상기 광원이 위치한 주변 영역을 상호 비교하여, 상기 광원(2310)의 움직임이 발생했는지 확인할 수 있다. 또는, 상기 메인 처리부(160)는 이전 이미지(2300a)의 특정 객체와 현재 이미지(2300b)의 동일 객체를 상호 비교하여, 해당 객체의 움직임이 발생했는지 확인할 수 있다.
상기 메인 처리부(160)는 해당 객체의 움직임이 발생한 경우, 현재 이미지(2300b)만으로 이미지 효과 적용을 처리할 수 있다. 도시된 도면에서는, 현재 이미지(2300b)에서 별도의 이미지 효과 적용과 관련한 광원 검출이 없어서, 이전 이미지(2300a)에서 표시된 광원(2310)의 표시가 제외된 상태를 나타낸 것이다.
도 24는 다양한 실시 예에 따른 연속 수신된 이미지에서의 이미지 효과 적용의 비교 예를 나타낸 도면이다.
도 24를 참조하면, 메인 처리부(160)는 제1 연속 이미지들(2400a)을 수신할 수 있다. 상기 메인 처리부(160)는 제1 연속 이미지들(2400a)을 수신하면, 각 이미지들에 대하여 광원 산출을 수행하고, 산출된 결과에 따라 이미지 효과 적용을 처리할 수 있다. 예컨대, 제1 이미지(2411)에서 메인 처리부(160)는 카메라 촬영 조건 또는 외부 환경 조건 등에 따라 별도의 이미지 효과 적용이 없는 제1 이미지(2411)를 표시할 수 있다. 상기 메인 처리부(160)는 제1 이미지(2411) 촬영 시와는 다른 촬영 조건 또는 다른 외부 환경 조건(예: 조도 변경)에서 촬영된 제2 이미지(2412)를 수신할 수 있다. 상기 메인 처리부(160)는 제2 이미지(2412)에 대한 광원 산출을 수행하고, 도시된 바와 같이, 제1 위치에 표시되고 이미지 효과가 적용되는 제1 광원(2412a)을 포함하는 제2 이미지(2412)를 표시할 수 있다. 상기 메인 처리부(160)는 제2 이미지 촬영 시와는 다른 조건(예: 조도 변경)에서 촬영된 제3 이미지(2413)를 수신하면, 제3 이미지(2413)에 대한 광원 산출을 수행하고, 제2 위치에 표시되고 이미지 효과가 적용된 제2 광원(2413a)을 포함하는 제3 이미지(2413)를 표시할 수 있다. 제3 이미지(2413)는 제1 위치의 제1 광원(2412a)이 검출되지 않은 조도 환경에서 촬영된 이미지일 수 있다. 상기 메인 처리부(160)는 이미지 효과가 적용된 제1 위치의 제1 광원(2412a) 및 이미지 효과가 적용된 제2 위치의 제2 광원(2413a)이 모두 포함된 제4 이미지(2414)를 표시할 수 있다. 제5 이미지(2415)는 별도의 이미지 효과가 적용된 광원이 없는 이미지가 될 수 있다. 제6 이미지(2416)는 이미지 효과가 적용된 제1 광원(2412a)을 포함하는 이미지가 될 수 있다. 제7 이미지(2417)는 이미지 효과가 적용된 제1 광원(2412a) 및 이미지 효과가 적용된 제2 광원(2413a)을 포함하는 이미지가 될 수 있다. 제8 이미지(2418)는 이미지 효과가 적용된 제1 광원(2412a)만을 포함하는 이미지일 수 있다. 상술한 바와 같이, 제1 내지 제8 이미지들(2411, 2412, 2413, 2414, 2415, 2416, 2417, 2418)이 표시되는 과정에서, 촬영 조건 또는 외부 환경 등의 변화에 따라 이미지 효과가 불규칙하게 적용될 경우 제1 연속 이미지들(2400a)에서 이미지 효과는 깜빡임으로 관측될 수 있다.
상기 메인 처리부(160)는 제9 이미지(2421)에서 제1 위치에 이미지 효과가 적용된 제3 광원(2421a) 및 제2 위치에 이미지 효과가 적용된 제4 광원(2421b)이 포함된 경우, 상기 제3 광원(2421a) 및 제4 광원(2421b)에 관한 광원 산출 정보를 메모리에 저장 관리할 수 있다. 상기 메인 처리부(160)는 제10 이미지(2422)가 수신되어 제10 이미지(2422)에 대한 광원 산출을 수행하는 경우, 제10 이미지(2422)의 움직임 여부를 확인하고, 움직임이 지정된 크기 이하인 경우, 이전 제9 이미지(2421)의 제3 광원(2421a) 및 제4 광원(2421b)에 관한 산출 정보를 제10 이미지(2422)에 적용하여 제3 광원(2421a) 및 제4 광원(2421b)과 관련한 이미지 효과들이 제10 이미지(2422)에도 동일 또는 유사하게 적용되도록 처리할 수 있다. 제2 연속 이미지들(2400b)이 움직임 없는 경우, 메인 처리부(160)는 현재 이미지에 대한 광원 산출을 수행할 때, 이전 이미지의 광원 산출 결과를 지정된 비율만큼 적용하여, 동일 또는 유사한 이미지 효과가 적용되도록 처리할 수 있다. 예를 들어, 메인 처리부(160)는 제9 내지 제16 이미지들(2421, 2422, 2423, 2424, 2425, 2426, 2427, 2428)에 이미지 효과가 적용된 제3 광원(2421a) 및 이미지 효과가 적용된 제4 광원(2421b)이 모두 표시되도록 제어할 수 있다. 상술한 동작을 통하여, 전자 장치는 광원에 대한 이미지 효과가 균일하게 유지됨으로써, 이미지 효과의 불규칙한 적용으로 인해 발생하는 깜빡임을 제거할 수 있다.
다양한 실시 예에 따르면, 일 실시 예에 따른 전자 장치는 카메라, 메모리 및 상기 카메라 및 상기 메모리와 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 연속으로 획득되는 이미지를 수신하고, 이전 이미지를 이용하여 현재 이미지의 움직임을 확인하고, 상기 움직임이 지정된 크기 이상인 경우, 상기 현재 이미지를 기준으로 상기 현재 이미지에 포함된 광원들에 지정된 이미지 효과를 적용하고, 상기 움직임이 지정된 크기 이하인 경우, 상기 이전 이미지의 광원 산출 결과 및 현재 이미지의 광원 산출 결과를 기반으로 상기 현재 이미지에 포함된 광원들에 지정된 이미지 효과를 적용하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 이전 이미지의 광원 산출 결과에 제1 가중치를 적용하고, 상기 현재 이미지의 광원 산출 결과에 제2 가중치를 적용할 수 있다.
다양한 실시 예에 따르면, 제1 가중치는 0.5~0.9이고, 제2 가중치는 0.1~0.5일 수 있다.
본 기재의 다양한 실시 예에 따르면, 일 실시 예에 따른 전자 장치는 카메라, 메모리 및 상기 카메라 및 상기 메모리와 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 연속으로 획득되는 이미지를 수신하고, 연속된 이미지에서 검출된 광원에 지정된 이미지 효과를 적용하되, 현재 이미지의 움직임을 확인하고, 상기 움직임이 지정된 크기 이하인 경우, 상기 지정된 이미지 효과를 연속된 이미지들에 공통적으로 적용하고, 상기 움직임이 지정된 크기 이상인 경우, 상기 현재 이미지의 광원 산출 결과에 따라 지정된 이미지 효과를 적용하거나 이미지 효과 적용을 제외시키도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 이전 이미지에서 산출한 광원 산출 결과를 메모리에 저장하고, 상기 현재 이미지의 움직임이 지정된 크기 이하인 경우, 상기 메모리에 저장된 이전 이미지의 광원 산출 결과에 제1 가중치를 적용하고, 상기 현재 이미지에서 산출한 광원 산출 결과에 제2 가중치를 적용한 후, 상기 제1 가중치가 적용된 광원 산출 결과 및 상기 제2 가중치가 적용된 광원 산출 결과를 기반으로 상기 현재 이미지의 이미지 효과 적용을 처리하도록 설정될 수 있다.
도 25는, 다양한 실시 예들에 따른, 네트워크 환경(2500) 내의 전자 장치(2501)(예: 전자 장치(101))의 블럭도이다. 도 25를 참조하면, 네트워크 환경(2500)에서 전자 장치(2501)는 제1 네트워크(2598)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(2502)와 통신하거나, 또는 제2 네트워크(2599)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(2504) 또는 서버(2508)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(2501)는 서버(2508)를 통하여 전자 장치(2504)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(2501)는 프로세서(2520)(예: 메인 처리부(160), 후처리부(165)), 메모리(2530)(예: 제1 메모리(170)), 입력 장치(2550), 음향 출력 장치(2555), 표시 장치(2560), 오디오 모듈(2570), 센서 모듈(2576), 인터페이스(2577), 햅틱 모듈(2579), 카메라 모듈(2580)(예: 렌즈부(110), 셔터부(120), 이미지 센서(130)), 전력 관리 모듈(2588), 배터리(2589), 통신 모듈(2590), 가입자 식별 모듈(2596), 또는 안테나 모듈(2597)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(2501)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(2560) 또는 카메라 모듈(2580))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(2576)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(2560)(예: 디스플레이(180))에 임베디드된 채 구현될 수 있다
프로세서(2520)는, 예를 들면, 소프트웨어(예: 프로그램(2540))를 실행하여 프로세서(2520)에 연결된 전자 장치(2501)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(2520)는 다른 구성요소(예: 센서 모듈(2576) 또는 통신 모듈(2590))로부터 수신된 명령 또는 데이터를 휘발성 메모리(2532)에 로드하고, 휘발성 메모리(2532)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(2534)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(2520)는 메인 프로세서(2521)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(2523)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(2523)은 메인 프로세서(2521)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(2523)는 메인 프로세서(2521)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(2523)는, 예를 들면, 메인 프로세서(2521)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(2521)를 대신하여, 또는 메인 프로세서(2521)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(2521)와 함께, 전자 장치(2501)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(2560), 센서 모듈(2576), 또는 통신 모듈(2590))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(2523)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(2580) 또는 통신 모듈(2590))의 일부로서 구현될 수 있다.
메모리(2530)는, 전자 장치(2501)의 적어도 하나의 구성요소(예: 프로세서(2520) 또는 센서 모듈(2576))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(2540)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(2530)는, 휘발성 메모리(2532) 또는 비휘발성 메모리(2534)를 포함할 수 있다.
프로그램(2540)은 메모리(2530)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(2542), 미들 웨어(2544) 또는 어플리케이션(2546)을 포함할 수 있다.
입력 장치(2550)는, 전자 장치(2501)의 구성요소(예: 프로세서(2520))에 사용될 명령 또는 데이터를 전자 장치(2501)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(2550)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(2555)는 음향 신호를 전자 장치(2501)의 외부로 출력할 수 있다. 음향 출력 장치(2555)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(2560)는 전자 장치(2501)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(2560)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(2560)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(2570)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(2570)은, 입력 장치(2550)를 통해 소리를 획득하거나, 음향 출력 장치(2555), 또는 전자 장치(2501)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(2502)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(2576)은 전자 장치(2501)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(2576)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(2577)는 전자 장치(2501)이 외부 전자 장치(예: 전자 장치(2502))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(2577)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(2578)는, 그를 통해서 전자 장치(2501)가 외부 전자 장치(예: 전자 장치(2502))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(2578)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(2579)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(2579)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(2580)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(2580)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(2588)은 전자 장치(2501)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(2589)는 전자 장치(2501)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(2589)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(2590)은 전자 장치(2501)와 외부 전자 장치(예: 전자 장치(2502), 전자 장치(2504), 또는 서버(2508))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(2590)은 프로세서(2520)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(2590)은 무선 통신 모듈(2592)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2594)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(2598)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(2599)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(2592)은 가입자 식별 모듈(2596)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(2598) 또는 제2 네트워크(2599)와 같은 통신 네트워크 내에서 전자 장치(2501)를 확인 및 인증할 수 있다.
안테나 모듈(2597)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(2597)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(2598) 또는 제2 네트워크(2599)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(2590)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(2590)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(2597)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들 간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(2599)에 연결된 서버(2508)를 통해서 전자 장치(2501)와 외부의 전자 장치(2504)간에 송신 또는 수신될 수 있다. 전자 장치(2502, 2504) 각각은 전자 장치(2501)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(2501)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(2502, 2504, or 2508) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(2501)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(2501)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(2501)로 전달할 수 있다. 전자 장치(2501)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 설정된(adapted to or configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 설정된 (또는 구성된) 프로세서"는 해당 동작들을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치(예: 메모리 130)에 저장된 하나 이상의 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 AP)를 의미할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(2530))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(2520))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체(예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램 모듈) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소를 더 포함할 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램 모듈)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라;
    메모리; 및
    상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 이용하여, 적어도 하나의 이미지를 획득하고,
    상기 이미지에서 밝기가 포화된 포화 픽셀들을 검출하여 클러스터링을 수행하고,
    상기 클러스터링된 포화 픽셀들을 기반으로 적어도 하나의 후보 광원을 산출하고,
    상기 적어도 하나의 후보 광원에 적어도 하나의 지정된 조건 검사를 수행하고,
    상기 적어도 하나의 지정된 조건 검사 결과에 따라 상기 적어도 하나의 후보 광원에 지정된 이미지 효과를 적용하거나 또는 상기 적어도 하나의 후보 광원과 관련하여 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원의 일 축 길이를 확인하고,
    상기 일 축 길이가 지정된 범위 이내인 경우, 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고,
    상기 일 축 길이가 지정된 범위를 벗어난 경우, 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원을 포함하는 이미지의 가로 축들 중 상기 적어도 하나의 후보 광원에 포함되며 상기 적어도 하나의 후보 광원 내에서 최대 길이를 가지는 일 축과, 상기 적어도 하나의 후보 광원을 포함하는 이미지의 세로 축들 중 상기 적어도 하나의 후보 광원에 포함되며 상기 적어도 하나의 후보 광원 내에서 최대 길이를 가지는 타 축을 포함하는 사각형에서, 상대적으로 긴 축을 제1 축으로 하고 상대적으로 짧은 축을 제2 축으로 산출하거나,
    상기 적어도 하나의 후보 광원을 포함하는 최소 크기의 사각형을 산출하고, 상기 최소 크기의 사각형 중 상대적으로 더 긴 제1 축 및 상기 제1 축에 수직한 제2 축을 산출하고
    상기 제1 축의 길이를 상기 제2 축의 길이로 나눈 값이 지정된 값 이하인 경우 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고,
    상기 제1 축의 길이를 상기 제2 축의 길이로 나눈 값이 지정된 값을 초과하는 경우 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원을 포함하는 이미지의 가로 축과 세로 축을 기반으로 상기 적어도 하나의 후보 광원을 포함하는 최소 크기의 사각형,
    상기 적어도 하나의 후보 광원의 포화 픽셀들을 잇는 선분 중 최대 길이의 제1 직선과 상기 적어도 하나의 후보 광원의 포화 픽셀들을 잇는 선분 중 상기 제1 직선에 수직하면서 최대 길이를 가지는 제2 직선을 적어도 변으로 하는 사각형 또는,
    상기 적어도 하나의 후보 광원을 포함하는 이미지의 수평 축 중 상기 적어도 하나의 후보 광원 내부에 위치하는 최대 길이의 제1 직선과, 상기 이미지의 수평 축과 수직 관계를 가지며 상기 적어도 하나의 후보 광원 내부의 최대 길이의 제2 직선을 적어도 변으로 하는 사각형을 산출하고,
    상기 사각형의 면적을 상기 적어도 하나의 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고,
    상기 사각형의 면적을 상기 적어도 하나의 후보 광원의 면적으로 나눈 값이 지정된 값을 초과하는 경우, 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원의 포화 픽셀들을 잇는 선분 중 최대 길이의 제1 직선을 기반으로 다각형을 산출하고,
    상기 다각형의 면적을 상기 적어도 하나의 후보 광원의 면적으로 나눈 값이 지정된 값 이하인 경우, 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고,
    상기 다각형의 면적을 상기 적어도 하나의 후보 광원의 면적으로 나눈 값이 지정된 값을 초과하는 경우, 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원을 포함하는 다각형을 산출하고,
    상기 다각형의 변들과 상기 적어도 하나의 후보 광원의 경계가 중첩되는 접점에서의 포화 픽셀들의 개수를 산출하고,
    상기 포화 픽셀들의 개수가 지정된 값 이하인 경우 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고,
    상기 포화 픽셀들의 개수가 지정된 값을 초과하는 경우, 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원을 포함하는 다각형을 산출하고,
    상기 다각형의 변들과 상기 적어도 하나의 후보 광원의 경계가 중첩되는 접점에서의 포화 픽셀들의 개수를 산출하고,
    상기 각 변의 길이와 상기 접점들의 길이 비율이 지정된 값 이하인 경우 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 적용하고,
    상기 각 변의 길이와 상기 접점들의 길이 비율이 지정된 값을 초과하는 경우, 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 저조도 설정에서 획득된 이미지에서 제1 후보 광원을 산출하고, 상기 저조도보다 높은 고조도 설정에서 획득된 이미지에서 같은 위치의 제2 후보 광원을 산출하고,
    상기 제2 후보 광원의 크기를 상기 제1 후보 광원의 크기로 나눈 값이 지정된 값을 초과하는 경우 상기 지정된 이미지 효과를 상기 후보 광원에 적용하고,
    상기 제2 후보 광원의 크기를 상기 제1 후보 광원의 크기로 나눈 값이 지정된 값 이하인 경우, 상기 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원을 포함하는 최소 크기의 다각형을 산출하고,
    상기 다각형을 기반으로 비교 광원 영역을 산출하고,
    상기 비교 광원 영역과 상기 적어도 하나의 후보 광원의 차이 값이 지정된 값을 초과 하는 경우 상기 지정된 이미지 효과를 상기 적어도 하나의 후보 광원에 제거하고,
    상기 비교 광원 영역과 상기 적어도 하나의 후보 광원의 차이 값이 지정된 값 이하인 경우, 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 포함시키도록 설정된 전자 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원의 포화 픽셀들을 잇는 직선 중 최대 길이의 직선을 산출하고,
    상기 직선이 상기 적어도 하나의 후보 광원의 경계에 위치하는 경우 상기 적어도 하나의 후보 광원에 대한 상기 지정된 이미지 효과 적용을 제외시키도록 설정된 전자 장치.
  11. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원 중 상기 이미지 효과를 적용하도록 선택된 광원을 기준으로, 지정된 영역 내에 위치하는 다른 광원들의 밀집도를 산출하고,
    상기 밀집도에 따라 상기 선택된 광원의 이득 값을 조정하도록 설정된 전자 장치.
  12. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원의 색 온도 정보를 획득하고,
    상기 색 온도 정보가 지정된 색 온도에 해당하는 경우, 상기 적어도 하나의 후보 광원을 상기 이미지 효과 적용에서 제외시키도록 설정된 전자 장치.
  13. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 적어도 하나의 후보 광원 중 상기 이미지 효과를 적용하도록 선택된 광원에 대해 지정된 파라메터를 기반으로 상기 선택된 광원의 이득 값을 조정하도록 제어하며,
    상기 지정된 파라메터는
    상기 적어도 하나의 후보 광원의 포화 픽셀들을 잇는 선분들 중 직교 관계인 선분들의 비율 값,
    상기 적어도 하나의 후보 광원을 포함하는 사각형의 직교 관계인 두 개의 변들의 비율 값,
    상기 적어도 하나의 후보 광원의 포화 픽셀들을 잇는 선분들의 적어도 일부를 이용하여 산출된 상기 적어도 하나의 후보 광원을 포함하는 다각형과 상기 적어도 하나의 후보 광원 영역의 비율 값,
    상기 다각형을 기준으로 산출되는 지정된 크기의 비교 광원 영역과 상기 적어도 하나의 후보 광원 영역의 면적 차이 값,
    상기 적어도 하나의 후보 광원과 관련한 저조도 이미지의 광원 크기 및 고조도 이미지의 광원 크기의 비율 값, 중 적어도 하나를 포함하는 전자 장치.
  14. 전자 장치에 있어서,
    카메라;
    메모리; 및
    상기 카메라와 상기 메모리에 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 이용하여, 연속된 이미지를 획득하고,
    이전 이미지와 비교하여 현재 이미지의 움직임 여부를 판단하고,
    상기 움직임이 지정된 크기 이하인 경우, 이전 이미지에서 산출한 광원 산출 결과와 현재 이미지에서 산출한 광원 산출 결과를 기반으로 포화 픽셀을 포함하는 광원의 이미지 효과 적용을 처리하고,
    상기 움직임이 지정된 크기를 초과하는 경우, 현재 이미지에서 산출한 광원 산출 결과만으로 포화 픽셀을 포함하는 광원의 이미지 효과 적용을 처리하도록 설정된 전자 장치.
  15. 제14항에 있어서,
    상기 적어도 하나의 프로세서는
    이전 이미지에서 산출한 광원 산출 결과를 메모리에 저장하고,
    상기 현재 이미지의 움직임이 지정된 크기 이하인 경우, 상기 메모리에 저장된 이전 이미지의 광원 산출 결과에 제1 가중치를 적용하고, 상기 현재 이미지에서 산출한 광원 산출 결과에 제2 가중치를 적용한 후, 상기 제1 가중치가 적용된 광원 산출 결과 및 상기 제2 가중치가 적용된 광원 산출 결과를 기반으로 상기 현재 이미지의 이미지 효과 적용을 처리하도록 설정된 전자 장치.
PCT/KR2020/002367 2019-02-20 2020-02-19 이미지 효과 적용 방법 및 이를 지원하는 전자 장치 WO2020171576A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0020136 2019-02-20
KR1020190020136A KR102664754B1 (ko) 2019-02-20 2019-02-20 이미지 효과 적용 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2020171576A1 true WO2020171576A1 (ko) 2020-08-27

Family

ID=72144130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002367 WO2020171576A1 (ko) 2019-02-20 2020-02-19 이미지 효과 적용 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
KR (1) KR102664754B1 (ko)
WO (1) WO2020171576A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072529A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 광량을 획득하는 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009201094A (ja) * 2008-01-22 2009-09-03 Ricoh Co Ltd 撮像装置および撮像方法
JP2010191968A (ja) * 2009-02-19 2010-09-02 Fujitsu Ltd 画像強調方法及び画像強調装置
KR101509992B1 (ko) * 2013-11-28 2015-04-08 창원대학교 산학협력단 고휘도 영역 선택 기반의 광원 보정 장치 및 방법
WO2016147309A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
KR20180036463A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009201094A (ja) * 2008-01-22 2009-09-03 Ricoh Co Ltd 撮像装置および撮像方法
JP2010191968A (ja) * 2009-02-19 2010-09-02 Fujitsu Ltd 画像強調方法及び画像強調装置
KR101509992B1 (ko) * 2013-11-28 2015-04-08 창원대학교 산학협력단 고휘도 영역 선택 기반의 광원 보정 장치 및 방법
WO2016147309A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
KR20180036463A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR20200101800A (ko) 2020-08-28
KR102664754B1 (ko) 2024-05-10

Similar Documents

Publication Publication Date Title
WO2020213915A1 (en) Foldable electronic device including sliding structure and method for controlling the same
WO2019017641A1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2019156308A1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
WO2017018614A1 (en) Method of imaging moving object and imaging device
WO2019017698A1 (ko) 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2019045521A1 (ko) 전자 장치 및 그 제어 방법
WO2020017936A1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
WO2020171576A1 (ko) 이미지 효과 적용 방법 및 이를 지원하는 전자 장치
WO2021158058A1 (en) Method for providing filter and electronic device supporting the same
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2020111750A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2016017906A1 (ko) 디스플레이 장치, 디스플레이 보정 장치, 디스플레이 보정 시스템 및 디스플레이 보정 방법
WO2017014404A1 (en) Digital photographing apparatus and digital photographing method
WO2020231156A1 (en) Electronic device and method for acquiring biometric information using light of display
EP4055817A1 (en) Camera module and electronic device including the same
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
WO2019017586A1 (ko) 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
WO2021112490A1 (ko) 카메라를 포함하는 폴더블 전자 장치
WO2020153704A1 (ko) 전자 장치 및 이를 이용한 카메라의 가림을 인식하는 방법
WO2023146149A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
WO2023113468A1 (ko) 디스플레이에서 왜곡없이 오버슈트를 측정하기 위한 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20760309

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20760309

Country of ref document: EP

Kind code of ref document: A1