WO2021230532A1 - 이미지 처리 방법 및 그 전자 장치 - Google Patents

이미지 처리 방법 및 그 전자 장치 Download PDF

Info

Publication number
WO2021230532A1
WO2021230532A1 PCT/KR2021/005261 KR2021005261W WO2021230532A1 WO 2021230532 A1 WO2021230532 A1 WO 2021230532A1 KR 2021005261 W KR2021005261 W KR 2021005261W WO 2021230532 A1 WO2021230532 A1 WO 2021230532A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processor
tuning
correction
information
Prior art date
Application number
PCT/KR2021/005261
Other languages
English (en)
French (fr)
Inventor
장종운
김중일
김진현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021230532A1 publication Critical patent/WO2021230532A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • Embodiments disclosed in this document relate to a technique for processing and storing an image using an image signal processor included in an electronic device.
  • BACKGROUND Electronic devices such as smartphones and tablets include cameras for taking pictures and moving pictures. Recently released electronic devices provide various correction and filter functions for images captured by a camera. For example, the electronic device may correct the image by adjusting the color or sharpness of the image captured in cloudy weather.
  • a method for the electronic device to correct an image there may be a method of performing post-processing on an image output from an image signal processor and a method of applying a filter in response to a user input.
  • the image may be corrected by applying a post-processing algorithm to the image that has been pre-processed in the image signal processor and output.
  • a delay may occur because the image output from the image signal processor is determined to determine whether to post-process and then the image processing is additionally performed.
  • An electronic device may include a communication circuit, a memory, an image sensor, and at least one processor.
  • the at least one processor of the electronic device obtains standby information from an external device through the communication circuit, executes a camera application, and in response to the execution of the camera application, obtains image data through the image sensor, A tuning set for quality tuning of the image data may be determined based on the obtained standby information, and correction may be performed on the obtained image data based on the determined tuning set.
  • the method according to an embodiment disclosed in this document includes an operation of acquiring standby information from an external device through a communication circuit, an operation of executing a camera application, and an image through an image sensor in response to the execution of the camera application Acquiring data, determining a tuning set for quality tuning of the image data based on the obtained standby information, and performing correction on the acquired image data based on the determined tuning set It may include an action to
  • the instructions when executed by at least one processor of the electronic device, an operation of acquiring standby information from an external device through a communication circuit, and execution of a camera application operation, acquiring image data through an image sensor in response to the execution of the camera application, and determining at least one tuning set for quality tuning of the image data based on the acquired standby information operation, allocating a weight based on the obtained atmospheric information to the determined tuning set, and performing an operation of correcting the obtained image data based on the tuning set to which the weight is allocated.
  • rapid image processing is possible by correcting an image through pre-processing in the image signal processor, rather than post-processing of the image.
  • a delay phenomenon may be reduced or a frame drop phenomenon may be improved based on rapid image processing.
  • a user's desired image may be provided by reflecting the user's intention in image correction.
  • FIG 1 illustrates an electronic device according to an embodiment.
  • FIG. 2 illustrates a hardware and software configuration of an electronic device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating correcting an image based on atmospheric information in an electronic device according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating processing of an image by applying a weight to a tuning set in an electronic device according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating image processing based on a user's post-correction in an electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating resetting a picture quality tuning set for existing atmospheric information or additionally setting a tuning set in an electronic device according to an embodiment, and correcting an image based thereon.
  • FIG. 7 is a flowchart illustrating that an electronic device detects fog and fine dust through a camera and corrects an image according to an exemplary embodiment.
  • FIG 8 shows previews of an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure.
  • FIG. 10 is a block diagram illustrating a camera module according to various embodiments of the present disclosure.
  • FIG 1 illustrates an electronic device according to an embodiment.
  • the display 110 may be disposed on the front surface of the electronic device 100 according to an embodiment.
  • the display 110 may occupy most of the front surface of the electronic device 100 .
  • a display 110 and a bezel 120 region surrounding at least some edges of the display 110 may be disposed on the front surface of the electronic device 100 .
  • the display 110 includes a flat area 111 and a curved area 112 extending from the flat area 111 toward the side of the electronic device 100 . can do.
  • the curved area 112 is displayed on only one side (eg, the left side) in FIG. 1 , it may be understood that the curved area is also formed on the opposite side.
  • the display 110 of the electronic device 100 may include only the flat area 111 without the curved area 112 , or may include the curved area 112 only at one edge instead of both sides.
  • the curved area may extend to the rear surface of the electronic device 100 , so that the electronic device 100 may include an additional planar area.
  • a fingerprint sensor 171 for recognizing a user's fingerprint may be included in the first area 170 of the display 110 . Since the fingerprint sensor 171 is disposed on a layer below the display 110 , the fingerprint sensor 171 may not be recognized by the user or may be difficult to recognize.
  • a sensor for additional user/biometric authentication in addition to the fingerprint sensor 171 may be disposed in a portion of the display 110 .
  • a sensor for user/biometric authentication may be disposed in one area of the bezel 120 .
  • the IR sensor for iris authentication may be exposed through one area of the display 110 or may be exposed through one area of the bezel 120 .
  • the front camera 141 may be disposed on the front side of the electronic device 100 .
  • the front camera 141 is shown to be exposed through one area of the display 110 , but in another embodiment, the front camera 141 may be exposed through the bezel 120 .
  • the electronic device 100 may include one or more front cameras 141 .
  • the electronic device 100 may include two front cameras, such as a first front camera and a second front camera.
  • the first front camera and the second front camera may be cameras of the same type having the same specifications (eg, pixels), but the first front camera and the second front camera may be implemented as cameras of different specifications.
  • the electronic device 100 may support a function related to a dual camera (eg, 3D imaging, auto focus, etc.) through two front cameras.
  • a rear camera may be disposed on the rear side of the electronic device 100 .
  • the rear camera may be exposed through a partial area of the rear cover 160 .
  • the electronic device 100 may include a plurality of rear cameras disposed in the partial area.
  • the electronic device 100 may include two or more rear cameras.
  • the electronic device 100 may include a first rear camera 132 , a second rear camera 134 , and a third rear camera.
  • the first rear camera 132 , the second rear camera 134 , and the third rear camera may have different specifications.
  • first rear camera 132 and the second rear camera 134 and/or the third rear camera supports FOV, pixel, aperture, optical zoom/digital zoom, whether image stabilization is supported
  • each The type and arrangement of lens sets included in the camera may be different from each other.
  • the first rear camera 132 may be a general camera
  • the second rear camera 134 may be a wide camera
  • the third rear camera may be a telephoto camera.
  • descriptions of functions or characteristics of the front camera may be applied to the rear camera, and vice versa.
  • various hardware or sensors that assist photographing such as a flash 145 may be additionally disposed in the first camera device 130 .
  • a distance sensor eg, TOF sensor
  • TOF sensor for detecting a distance between the subject and the electronic device 100 may be further included.
  • At least one physical key may be disposed on a side portion of the electronic device 100 .
  • the first function key 340 for turning on/off the display or turning on/off the power of the electronic device 100 may be disposed at the right edge with respect to the front surface of the electronic device 100 .
  • the second function key 152 for controlling the volume or screen brightness of the electronic device 100 may be disposed on the left edge with respect to the front surface of the electronic device 100 .
  • additional buttons or keys may be disposed on the front or rear of the electronic device 100 .
  • a physical button or a touch button mapped to a specific function may be disposed in a lower region of the front bezel 120 .
  • the electronic device 100 illustrated in FIG. 1 corresponds to one example, and the shape of the device to which the technical idea disclosed in the present disclosure is applied is not limited.
  • the technical idea of the present disclosure may be applied to a foldable electronic device that can be folded in a horizontal direction or a foldable electronic device in a vertical direction, a tablet, or a notebook computer.
  • the present technical idea can be applied even when it is possible to arrange the first camera device 130 and the second camera device 140 facing in the same direction to face different directions through rotation, folding, or deformation of the device. .
  • FIG. 2 illustrates a hardware and software configuration of an electronic device according to an exemplary embodiment.
  • the electronic device 100 includes a camera device (eg, the first camera device 130 or the second camera device 140 of FIG. 1 ), a processor 240 , and a communication circuit 250 . ), a memory 260 , an input device 270 , an audio device 280 , and a display 110 .
  • a camera device eg, the first camera device 130 or the second camera device 140 of FIG. 1
  • a processor 240 e.g. the first camera device 130 or the second camera device 140 of FIG. 1
  • a communication circuit 250 e.g., a processor 240 , and a communication circuit 250 .
  • a memory 260 e.g., a memory 260 , an input device 270 , an audio device 280 , and a display 110 .
  • FIG. 2 descriptions of the same reference numerals as those of FIG. 1 may be omitted.
  • the first camera device 130 may include a lens assembly 210 and an image sensor 220 . This may be equally applied to the second camera device 140 .
  • the lens assembly of the second camera device 140 may be different from the lens assembly 210 of the first camera device 130 in the number, arrangement, and type of lenses. According to the type of the lens assembly, the first camera device 130 and the second camera device 140 may have different characteristics (eg, focal length, maximum magnification, etc.).
  • the electronic device 100 may further include additional components.
  • the electronic device 100 may further include at least one microphone for recording audio data.
  • the electronic device 100 may include at least one sensor for determining a direction in which the front or rear of the electronic device 100 faces and/or posture information of the electronic device 100 .
  • the at least one sensor may include an acceleration sensor, a gyro sensor, and the like. A detailed description of hardware included or may be included in the electronic device 100 of FIG. 2 is provided with reference to FIGS. 9 and 10 .
  • the display 110 may include at least one of a first display 271 and a second display 272 .
  • the display 110 may display contents such as an execution screen of an application executed by the processor 240 or images/videos stored in the memory 260 . Also, image data acquired through the first camera device 130 or the second camera device 140 may be displayed on the display 110 in real time.
  • the display 110 may be implemented integrally with the touch panel.
  • the display 110 may support a touch function, detect a user input such as a touch using a finger, and transmit it to the processor 240 .
  • the display 110 may be connected to a display driver integrated circuit (DDIC) for driving the display 110 , and the touch panel may be connected to a touch IC that detects touch coordinates and processes a touch-related algorithm.
  • DDIC display driver integrated circuit
  • the display driving circuit and the touch IC may be integrally formed, and in another embodiment, the display driving circuit and the touch IC may be formed separately.
  • the display driving circuit and/or the touch IC may be electrically connected to the processor 240 .
  • the processor 240 may execute/control various functions supported by the electronic device 100 .
  • the processor 240 may execute an application by executing a code written in a programming language stored in the memory 260 , and may control various hardware.
  • the processor 240 may execute an application supporting a photographing function stored in the memory 260 .
  • the processor 240 executes the first camera device 130 or the second camera device 140 and allows the first camera device 130 or the second camera device 140 to perform an operation intended by the user. You can set up and support the appropriate shooting mode.
  • the memory 260 may store instructions executable by the processor 240 .
  • the memory 260 may be understood as a concept including a component in which data is temporarily stored, such as a random access memory (RAM), and/or a component in which data is permanently stored, such as a solid state drive (SSD).
  • the processor 240 may implement a software module in the RAM space by calling instructions stored in the SSD.
  • the memory 260 may include various types, and an appropriate type may be adopted according to the purpose of the device.
  • applications associated with the first camera device 130 and the second camera device 140 may be stored in the memory 260 .
  • a camera application may be stored in the memory 260 .
  • the camera application may support various shooting functions, such as photo shooting, video shooting, panoramic shooting, and slow motion shooting.
  • the applications associated with the first camera device 130 and the second camera device 140 may correspond to various types of applications.
  • a chatting application, a web browser application, an email application, a shopping application, etc. may also support a video call, photo/video attachment, streaming service, product image, or product-related virtual reality (VR) shooting function.
  • VR virtual reality
  • the first camera device 130 may include at least one of the first rear camera 132 of FIG. 1 and the second rear camera 134 of FIG. 1 .
  • the second camera device 140 may include the front camera 141 of FIG. 1 .
  • a detailed description of the camera device is provided with reference to FIG. 10 , and the description of FIG. 10 may be applied to both the first camera device 130 and the second camera device 140 .
  • the first camera device 130 may include a plurality of rear cameras, and some rear cameras among the plurality of rear cameras may be sequentially activated. For example, when the first camera device 130 includes three rear cameras, a second rear camera (eg, FIG. 1 ) together with a first rear camera (eg, the first rear camera 132 in FIG. 1 ) of the second rear camera 134 ) is activated, and the electronic device 100 may output a preview image obtained through the first rear camera 132 on the display 110 .
  • the processor 240 when an input for controlling an optical/digital zoom function, such as a zoom-in input, is obtained from a user, the processor 240 is already activated while having higher performance than the first rear camera 132 .
  • a preview image obtained through the second rear camera (eg, wide-capturing camera) 134 in the state may be output to the display 110 .
  • the processor 240 deactivates the first rear camera 132 and activates the third rear camera to receive additional magnification input in advance. can prepare
  • the processor 240 may include the first rear camera 132 , the second rear camera 134 , and All of the third rear cameras may remain activated.
  • the processor 240 deactivates the first rear camera, and the second rear camera and the second rear camera. 3 You can keep the rear camera active. However, in another embodiment, when a condition for simultaneously driving all rear camera modules such as sufficient power is supplied to the electronic device 100 is satisfied, the electronic device 100 displays the first rear camera and the second rear camera. , and the third rear camera can all be kept active at all times.
  • the third rear camera can all be kept active at all times.
  • the second camera device 140 may include one or more cameras.
  • the description of the activation algorithm described above with respect to the first camera device 130 may also be applied to the second camera device 130 .
  • the image sensor 220 may include a complementary metal oxide semiconductor (CMOS) sensor or a charged coupled device (CCD) sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charged coupled device
  • the light information of the subject incident through the lens assembly 210 may be converted into an electrical signal by the image sensor 220 and input to the image signal processor 230 .
  • An infrared cut filter (hereinafter, IR cut filter) may be disposed on the upper surface of the image sensor 220 , and the image of the subject passing through the lens is partially filtered by the IR cut filter and then the image sensor 220 ) can be detected by IR cut filter.
  • the processor 240 may transmit and receive network information based on wireless communication through the communication circuit 250 .
  • the processor 240 may acquire the user's location information and standby information from the outside through the communication circuit 250 .
  • the air information may include air quality information corresponding to fine dust information and the like, weather information corresponding to fog information, and the like.
  • the processor 240 may store the information obtained through the communication circuit 250 in the memory 260 .
  • the processor 240 may provide the information obtained through the communication circuit 250 to the image signal processor 230 .
  • the image signal processor 230 may include a picture quality tuning controller 232 .
  • the quality tuning controller 232 may include a plurality of tuning set files (hereinafter, tuning sets).
  • the image quality tuning controller 232 may include at least one of a first tuning set 234 and a second tuning set 236 .
  • the image quality tuning controller 232 , the first tuning set 234 , and the second tuning set 236 are software that can be used by the image signal processor 230 , or hardware included in the image signal processor 230 . can take
  • the tuning set may be a file defined to adjust a color value, a brightness value, a contrast value, and the like.
  • the main factors of the tuning set may include white balance, color correction, noise reduction, and edge enhancement.
  • the main factor may be set according to the characteristics and degree of atmospheric information.
  • the tuning set may be referred to as an image quality tuning set or a tuning set file.
  • the image signal processor 230 may receive standby information through the communication circuit 250 .
  • the image signal processor 230 may provide the standby information to the image quality tuning controller 232 .
  • the image quality tuning controller 232 may select a tuning set based on the received standby information. For example, when air quality information on fine dust is provided, the image quality tuning controller 232 may select and control a tuning set corresponding to the fine dust information. As another example, when receiving atmospheric information about fog, the image quality tuning controller 232 may select and control a tuning set corresponding to the fog information.
  • the image signal processor 230 may be included in the processor 240 . In another example, the image signal processor 230 may be physically separated from the processor 240 and disposed in the electronic device.
  • FIG. 3 is a flowchart 300 illustrating correcting an image based on atmospheric information in an electronic device according to an exemplary embodiment.
  • An operating subject of the flowchart 300 illustrated in FIG. 3 may be understood as a processor (eg, the processor 240 of FIG. 2 ) or an image signal processor (eg, the image signal processor 230 of FIG. 2 ).
  • the processor 240 may execute a camera application.
  • the processor 240 may execute the camera application in response to a user input for executing the camera application.
  • the input for executing the camera application is a method of touching an application icon through a touch screen, a method of pressing a function key (eg, the first function key 151 or the second function key 152 of FIG. 1 ), a voice recognition function (eg Bixby).
  • a function key eg, the first function key 151 or the second function key 152 of FIG. 1
  • a voice recognition function eg Bixby
  • the electronic device 100 may acquire image data through the image sensor 220 .
  • the image data is image data before image processing is performed by the image signal processor 230, and each pixel may have a color value of R (red), G (green), or B (blue) corresponding to the color filter array. have.
  • the processor 240 may determine a tuning set for quality tuning of image data based on the obtained standby information.
  • the processor 240 may obtain standby information using the user's location and network information through the communication circuit 250 .
  • the processor 240 may store the obtained standby information in the memory 260 .
  • the air information may include air quality information corresponding to fine dust information and the like, weather information corresponding to fog information, and the like.
  • the processor 240 may determine the tuning set based on the waiting information.
  • the processor 240 may determine two or more tuning sets according to the standby information. For example, when the atmospheric information obtained by the processor 240 includes fog information and fine dust information, a tuning set corresponding to each may be determined.
  • the tuning set may be a file defined for adjusting a color value, a brightness value, a contrast value, and the like.
  • the main factors of the tuning set may include white balance, color correction, noise reduction, and edge enhancement.
  • the processor 240 may correct the obtained image data based on the determined tuning set. For example, when image data of a yellow color is obtained due to a large amount of fine dust, the processor 240 may correct the image data based on a tuning set for suppressing the yellow color. As another example, when the boundary between objects is unclear due to a large amount of fog, the image data may be corrected based on a tuning set for edge improvement.
  • FIG. 4 is a flowchart 400 illustrating processing of an image by applying a weight to a tuning set in an electronic device according to an embodiment.
  • An operating subject of the flowchart 400 illustrated in FIG. 4 may be understood as a processor (eg, the processor 240 of FIG. 2 ) or an image signal processor (eg, the image signal processor 230 of FIG. 2 ).
  • the processor 240 may acquire atmospheric information on at least one of fog information and fine dust information.
  • the electronic device 100 may obtain standby information through the communication circuit 250 .
  • the processor 240 may receive network information based on wireless communication through the communication circuit 250 or may acquire atmospheric information based on a weather information application installed in the electronic device 100 .
  • the processor 240 may provide the obtained standby information to the image signal processor 230 and the memory 260 . In another example, the processor 240 may transmit the obtained standby information to the camera application.
  • the processor 240 may select at least one of a tuning set corresponding to the fog information and a tuning set corresponding to the fine dust information.
  • the processor 240 acquires the fog information, it may select and control a tuning set corresponding to the fog information.
  • the processor 240 obtains the fine dust information it may select a tuning set corresponding to the fine dust information.
  • the processor 240 obtains both the fog information and the fine dust information, a tuning set corresponding to the fog information and a tuning set corresponding to the fine dust information may be selected.
  • the processor 240 may calculate a weight for the tuning set based on the obtained standby information.
  • the electronic device 100 may determine at least one of a fog level and a fine dust level based on the obtained atmospheric information.
  • the processor 240 may classify the level of fog or the level of fine dust into five levels.
  • the five levels may include level 1 (very light), level 2 (slightly light), level 3 (normal), level 4 (slightly dark), and level 5 (dark). This is only an example, and the level of fog or fine dust can be further subdivided into five or more levels (eg, 10 levels or 12 levels, etc.).
  • the image signal processor 230 may directly use a value of fog and/or a value of fine dust received through air quality measurement for weight calculation.
  • the fog value may be expressed as 5 corresponding to steps 1 to 5 corresponding to step 1 .
  • the level of fine dust may be expressed as 200 corresponding to 1 ⁇ g/m 3 to 200 ⁇ g/m 3 corresponding to 1 ⁇ g/m 3 .
  • the image signal processor 230 may calculate a weight for a tuning set corresponding to fog information and/or fine dust information.
  • the weight value for the tuning set corresponding to the fog information may be calculated as (4 * x) based on 4 steps (slightly dark).
  • the weight value for the tuning set corresponding to fine dust may be calculated as (121 * y) based on 121 ⁇ g/m3.
  • the x and y values may be constant values for normalization of waiting information, respectively.
  • the electronic device 100 may perform correction on the image data obtained from the image sensor 220 based on the weight.
  • the processor 240 weights the white balance and color correction values in the direction of suppressing the yellow color because the image is highly likely to have a yellow color in the presence of fine dust.
  • Calibration can be performed by assigning
  • the processor 240 may perform correction by assigning weights to noise reduction and edge enhancement values because it is highly likely that the subject and the background are blurred in a foggy situation. .
  • the processor 240 may output a preview.
  • the processor 240 may display the corrected image data through the display 110 .
  • the processor 240 may show the user by displaying the current standby information on the display 110 in addition to displaying the image data through the display 110 .
  • the processor 240 may display information that the level of fine dust is currently 121 ⁇ g/m3 on one area of the display 110 together with a clear image from which fine dust is removed.
  • the processor 240 may display information indicating that the fog level is currently 4 levels (slightly dark) along with a clear image from which the fog has been removed on one area of the display 110 .
  • FIG. 5 is a flowchart 500 illustrating image processing based on a user's post-correction in an electronic device according to an exemplary embodiment.
  • the operating subject of the flowchart 500 illustrated in FIG. 5 may be understood as a processor (eg, the processor 240 of FIG. 2 ) or an image signal processor (eg, the image signal processor 230 of FIG. 2 ).
  • operation 510 may be an operation following operation 450 .
  • the processor 240 may capture an image in response to a user's photographing input.
  • the user's photographing input may be a user's input for photographing a still image or a moving image.
  • the resulting image taken may be referred to as a still image, a dynamic image, or a captured image.
  • the processor 240 may determine whether to maintain the correction applied to the captured result image.
  • the processor 240 may display a display window on the result image.
  • the processor 240 asks 'Do you want to keep the captured image?' or 'Do you want to keep the corrections applied to the images you took?'
  • a display window such as this may be displayed on the display 110 .
  • the display window may be displayed to overlap the result image or to be displayed to be distinguished from the result image in an area different from the result image.
  • the processor 240 may determine whether to maintain the correction applied to the captured result image based on a user input obtained through the display window. For example, the processor 240 may store the result image in the memory 260 in response to obtaining a user input of 'yes' to the question displayed on the display window. As another example, the processor 240 may additionally process the image in response to obtaining the user's input of 'no' to the question displayed on the display window.
  • operation 540 may be performed, and if not, operation 530 may be performed.
  • the processor 240 may process the image based on the user's post-correction.
  • the processor 240 may process the image corrected by the image signal processor 230 based on the user's post-correction.
  • the post-correction in operation 530 may mean additionally performing correction according to the user's preference based on the user's input, unlike the correction performed based on the standby information in operation 440 of FIG. 4 .
  • the additional correction for example, may mean adjusting the correction before storing the captured image by pressing a photographing button, or may mean performing editing by selecting an image captured and stored in a gallery application. Adjusting the correction or performing the editing may be a process in which the size, angle, color, brightness, contrast, etc.
  • the processor 240 may generate a clearer image after the post-correction process. For example, the processor 240 may correct the image based on a tuning set corresponding to fine dust or fog, and the user adjusts the color of the corrected image based on the tuning set through image editing of the user. Color can be further suppressed. As another example, the processor 240 may correct the image more clearly through the user's image editing by adjusting the sharpness or contrast of the image in which the boundary between objects is unclear due to fog.
  • the user's input may be a user's input to a message 832 such as 'select the intensity of correction' shown on the preview in FIG. 8 below. Alternatively, the user's input may be a user's input for adjusting not only the intensity of correction, but also color or sharpness correction.
  • the processor 240 may store the image.
  • the processor 240 may store the image subjected to the post-correction process in the memory 260 .
  • the processor 240 may store, in the memory 260, an existing image before the post-correction process in addition to the post-processed image.
  • the processor 240 may store the image selected by the user in the memory 260 in response to an input of the user selecting at least one of the image subjected to the post-correction process or the existing image before the post-processing process.
  • FIG. 6 is a flowchart 600 illustrating that an electronic device resets an image quality tuning set for atmospheric information or additionally sets a tuning set and corrects an image based thereon according to an exemplary embodiment.
  • An operating subject of the flowchart 600 illustrated in FIG. 6 may be understood as a processor (eg, the processor 240 of FIG. 2 ) or an image signal processor (eg, the image signal processor 230 of FIG. 2 ).
  • operation 610 may be an operation subsequent to operation 450 .
  • the processor 240 may capture an image in response to a user's photographing input.
  • the processor 240 may photograph the corrected image based on the standby information in response to the user's photographing input.
  • the image may include a dynamic image or a still image.
  • the processor 240 may determine whether it is necessary to change the correction applied to the captured result image.
  • the processor 240 may determine whether it is necessary to change the correction applied to the result image based on the user's input.
  • the processor 240 may display a display window on the captured image.
  • the processor 240 asks 'Are you sure you want to change the correction applied to the captured image?' A display window such as this may be displayed on the display 110 .
  • the display window may be displayed to be superimposed on the captured image or may be displayed to be distinguished from the captured image in an area different from that of the captured image.
  • the processor 240 may determine whether to maintain the correction applied to the captured image in response to a user input obtained through the display window. For example, the processor 240 may reset or additionally set the tuning set in response to obtaining a user input of 'yes' to the question displayed on the display window. As another example, the processor 240 may store the captured image in the memory 260 in response to obtaining a user input of 'no' to the question displayed on the display window.
  • operation 630 may be performed, and if it is determined that there is no need to change, operation 650 may be performed. have.
  • the image signal processor 230 may reset or additionally set the tuning set.
  • the image signal processor 230 may reset the tuning set in order to perform clearer correction (or quality tuning) by analyzing the result image to which the correction (or quality tuning) is applied. For example, the image signal processor 230 may reset the color parameter of the tuning set file to increase the intensity of reducing the yellow color with respect to the tuning set file corresponding to the fine dust information. As another example, the image signal processor 230 may reset the tuning set file to increase the sharpness of the image with respect to the tuning set file corresponding to the fog information.
  • the image signal processor 230 may analyze the result image to which the correction (or quality tuning) is applied and add a tuning set in order to perform clearer correction (or quality tuning).
  • the image signal processor 230 may store and control two or more tuning sets corresponding to the fog information.
  • the image signal processor 230 may store and control two or more tuning sets corresponding to the fine dust information.
  • the image signal processor 230 may additionally set a second tuning set by adding a tuning set corresponding to the fine dust information to the first tuning set.
  • the image signal processor 230 may additionally set a fourth tuning set by adding a tuning set corresponding to the fog information to the third tuning set.
  • the added third tuning set and the fourth tuning set may adjust the intensity of correction compared to the existing tuning set.
  • the third tuning set and the fourth tuning set may control not only the intensity of correction, but also color processing and image sharpness.
  • the image signal processor 230 may perform image processing by applying a more appropriate tuning set according to real-time standby information. For example, the image signal processor 230 may apply the first tuning set when the correction needs to be strongly applied based on the level of atmospheric information, and apply the second tuning set when the correction needs to be weakly applied. For another example, the image signal processor 230 applies the first tuning set when increasing the sharpness of the image based on the level of atmospheric information, and applies the second tuning set when it wants to give a blurring effect by lowering the sharpness of the image. can do.
  • the image signal processor 230 may perform correction based on the reset tuning set or the additionally set tuning set.
  • the image signal processor 230 may perform correction by controlling the R, G, or B color values of the image data based on the reset or additionally set tuning set.
  • the processor 240 may store the image.
  • the processor 240 may store an image on which correction is performed based on a reset or additionally set tuning set.
  • the processor 240 may store an existing image together in the memory 260 in addition to the image that has been corrected based on the reset or additionally set tuning set.
  • the processor 240 stores the image selected by the user in the memory 260 in response to an input of the user selecting at least one of an image for which correction has been performed or an existing image based on the reset or additionally set tuning set. can be saved
  • FIG. 7 is a flowchart 700 illustrating that an electronic device detects fog and fine dust through a camera and corrects an image according to an exemplary embodiment.
  • An operating subject of the flowchart 700 illustrated in FIG. 7 may be understood as a processor (eg, the processor 240 of FIG. 2 ) or an image signal processor (eg, the image signal processor 230 of FIG. 2 ).
  • the processor 240 may execute a camera.
  • the processor 240 may execute a camera application in response to an input of a user executing the camera. This may correspond to operation 310 of FIG. 3 .
  • the processor 240 may detect at least one of fog and fine dust through a camera.
  • the processor 240 may detect at least one of fog and fine dust by analyzing an image acquired through the camera using a function (eg, a scene optimizer).
  • the processor 240 may detect a foggy scene through a function (eg, a scene optimizer) of the electronic device 100 or detect a scene of a yellow color due to fine dust.
  • the one function eg, a scene optimizer
  • the one function may be a function capable of discriminating an object or the like based on data. For example, when photographing the interior of a cafe, the processor 240 determines the object (eg, a chair) in consideration of the average shape of the object (eg, a chair) and the average color of the object (eg, a chair). can
  • the processor 240 may select at least one of a tuning set corresponding to the fog information and a tuning set corresponding to the fine dust information. This may correspond to operation 420 of FIG. 4 .
  • the image signal processor 230 may correct the image data obtained from the image sensor 220 based on the obtained atmospheric information.
  • Operation 740 may correspond to operation 430 of FIG. 4 and operation 440 of FIG. 4 .
  • the processor 240 may calculate a weight for the tuning set based on the atmospheric information, and apply the calculated weight to the tuning set to correct image data obtained from the image sensor.
  • the image signal processor 230 performs 3A processing, lens shading correction, dead pixel correction, noise control, and tone curve control, in addition to performing the correction. At least one of adjustment), edge enhancement, and demosaic may be performed.
  • 3A may mean auto white balance (AWB), auto exposure (AE), and auto focusing (AF).
  • the processor 240 may capture an image in response to a user's photographing input.
  • the processor 240 may photograph a preview displayed through the display 110 in response to the user pressing the photographing button.
  • the preview may be a still image or a moving image.
  • the processor 240 may store the image.
  • the processor 240 may store a photographed image in the memory 260 in response to a user's photographing input.
  • FIG 8 shows previews of an electronic device according to various embodiments of the present disclosure.
  • the processor 240 may output the preview 810 through the display 110 .
  • the preview 810 may mean that a photographed image or a photographed video is displayed through a display.
  • the processor 240 may display a captured image or one image of a captured video on the display 110 and display at least one display window to be superimposed on the captured image or one image of the captured video.
  • the processor 240 asks 'Do you want to keep the captured image?' and the like may be displayed on the display 110 .
  • the processor 240 may obtain a user input for 'yes' 812 or 'no' 814 .
  • the processor 240 may store the captured image in the memory 246 when the user's input for 'yes' 812 is obtained.
  • the processor 240 may output a preview 820 through the display 110 when a user input for 'no' 814 is obtained.
  • the processor 240 may output the preview 820 through the display.
  • the preview 820 may mean that a captured image or a captured video is displayed through a display.
  • the processor 240 may display the captured image on the display 110 and display at least one display window to be superimposed on the captured image.
  • the processor 240 displays messages such as 'select the intensity of correction' 822, 'reset tuning' 824, and 'not apply correction' 826 and a message such as 'please select' to guide the selection of the messages. (110) can be indicated.
  • the processor 240 may output a preview 830 through the display 110 in response to a user input for 'selection of intensity of correction' 822 .
  • the processor 240 may control the image signal processor 230 to reset or additionally set a tuning set for image quality tuning in response to a user input for 'tuning reset' 824 . Since this is the same as operation 620 of FIG. 6 above, a description thereof will be omitted.
  • the processor 240 may not apply the correction to the captured image in response to the user's input to 'do not apply correction' 826 .
  • the processor 240 may display the original image through the display 110 without initializing and applying the correction applied to the captured image. For example, if the processor 240 obtains an image in a clean state that has been corrected by taking a picture in the presence of hazy fine dust, in response to the user's input for 'no correction applied' 826, a hazy image may be obtained.
  • the processor 240 may output the preview 830 through the display.
  • the preview 830 may mean that a photographed image or a photographed video is displayed through a display.
  • the processor 240 may display the captured image on the display 110 and display at least one display window to be superimposed on the captured image.
  • the processor 240 may display a message 832 such as 'select the intensity of correction' on the display 110 .
  • the processor 240 may obtain a user input for adjusting the intensity of correction by moving the adjustment icon 834 .
  • the processor 240 may obtain a user's input for lowering the intensity of correction to 1 or increasing the intensity to 10 by viewing the intensity of correction of the captured image as 5.
  • the processor 240 may display an image to which the intensity of the correction is applied on the display 110 based on a user input for adjusting the intensity of the correction.
  • FIG. 9 is a block diagram of an electronic device 901 in a network environment 900 according to various embodiments of the present disclosure.
  • the electronic device 901 communicates with the electronic device 902 through a first network 998 (eg, a short-range wireless communication network) or a second network 999 . It may communicate with the electronic device 904 or the server 908 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 901 may communicate with the electronic device 904 through the server 908 .
  • a first network 998 eg, a short-range wireless communication network
  • a second network 999 e.g., a second network 999 .
  • the electronic device 901 may communicate with the electronic device 904 through the server 908 .
  • the electronic device 901 includes a processor 920 , a memory 930 , an input device 950 , a sound output device 955 , a display device 960 , an audio module 970 , and a sensor module ( 976 , interface 977 , haptic module 979 , camera module 980 , power management module 988 , battery 989 , communication module 990 , subscriber identification module 996 , or antenna module 997 . ) may be included. In some embodiments, at least one of these components (eg, the display device 960 or the camera module 980 ) may be omitted or one or more other components may be added to the electronic device 901 .
  • the sensor module 976 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 960 eg, a display
  • the processor 920 executes software (eg, a program 940) to execute at least one other component (eg, a hardware or software component) of the electronic device 901 connected to the processor 920 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 920 stores a command or data received from another component (eg, the sensor module 976 or the communication module 990 ) into the volatile memory 932 . may load into the volatile memory 932 , process commands or data stored in the volatile memory 932 , and store the resulting data in the non-volatile memory 934 .
  • software eg, a program 940
  • the processor 920 stores a command or data received from another component (eg, the sensor module 976 or the communication module 990 ) into the volatile memory 932 .
  • the processor 920 stores a command or data received from another component (eg, the sensor module 976 or the communication module 990 ) into the volatile memory 932 . may load into the volatile
  • the processor 920 includes a main processor 921 (eg, a central processing unit or an application processor), and an auxiliary processor 923 (eg, a graphic processing unit, an image signal processor) that can be operated independently or together with the main processor 921 . , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 923 may be configured to use less power than the main processor 921 or to specialize in a designated function.
  • the coprocessor 923 may be implemented separately from or as part of the main processor 921 .
  • the coprocessor 923 may, for example, act on behalf of the main processor 921 while the main processor 921 is in an inactive (eg, sleep) state, or when the main processor 921 is active (eg, executing an application). ), together with the main processor 921, at least one of the components of the electronic device 901 (eg, the display device 960, the sensor module 976, or the communication module 990) It is possible to control at least some of the related functions or states.
  • the coprocessor 923 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 980 or communication module 990. have.
  • the memory 930 may store various data used by at least one component (eg, the processor 920 or the sensor module 976 ) of the electronic device 901 .
  • the data may include, for example, input data or output data for software (eg, the program 940 ) and instructions related thereto.
  • the memory 930 may include a volatile memory 932 or a non-volatile memory 934 .
  • the program 940 may be stored as software in the memory 930 , and may include, for example, an operating system 942 , middleware 944 , or an application 946 .
  • the input device 950 may receive a command or data to be used by a component (eg, the processor 920 ) of the electronic device 901 from the outside (eg, a user) of the electronic device 901 .
  • the input device 950 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 955 may output a sound signal to the outside of the electronic device 901 .
  • the sound output device 955 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display device 960 may visually provide information to the outside (eg, a user) of the electronic device 901 .
  • the display device 960 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 960 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.
  • the audio module 970 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 970 acquires a sound through the input device 950 , or an external electronic device (eg, a sound output device 955 ) directly or wirelessly connected to the electronic device 901 . The sound may be output through the electronic device 902 (eg, a speaker or a headphone).
  • an external electronic device eg, a sound output device 955
  • the sound may be output through the electronic device 902 (eg, a speaker or a headphone).
  • the sensor module 976 detects an operating state (eg, power or temperature) of the electronic device 901 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 976 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 977 may support one or more specified protocols that may be used for the electronic device 901 to directly or wirelessly connect with an external electronic device (eg, the electronic device 902 ).
  • the interface 977 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 978 may include a connector through which the electronic device 901 can be physically connected to an external electronic device (eg, the electronic device 902 ).
  • the connection terminal 978 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 979 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 979 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 980 may capture still images and moving images. According to an embodiment, the camera module 980 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 988 may manage power supplied to the electronic device 901 .
  • the power management module 388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 989 may supply power to at least one component of the electronic device 901 .
  • the battery 989 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 990 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 901 and an external electronic device (eg, the electronic device 902 , the electronic device 904 , or the server 908 ). It can support establishment and communication performance through the established communication channel.
  • the communication module 990 may include one or more communication processors that operate independently of the processor 920 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 990 is a wireless communication module 992 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 994 (eg, : LAN (local area network) communication module, or a power line communication module) may be included.
  • a wireless communication module 992 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • a wired communication module 994 eg, : LAN (local area network) communication module, or a power line communication module
  • a corresponding communication module may be a first network 998 (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 999 (eg, a cellular network, the Internet, or It may communicate with an external electronic device via a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as a LAN or WAN.
  • These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other.
  • the wireless communication module 992 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 996 within a communication network such as the first network 998 or the second network 999 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 997 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 997 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 998 or the second network 999 is connected from the plurality of antennas by, for example, the communication module 990 . can be selected. A signal or power may be transmitted or received between the communication module 990 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 997 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 901 and the external electronic device 904 through the server 908 connected to the second network 999 .
  • Each of the electronic devices 902 and 904 may be the same or a different type of device from the electronic device 901 .
  • all or part of the operations performed by the electronic device 901 may be performed by one or more of the external electronic devices 902 , 904 , or 908 .
  • the electronic device 901 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 901 .
  • the electronic device 901 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a smart bracelet
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and refer to those components in other aspects (e.g., importance or order) is not limited. that one (eg first) component is “coupled” or “connected” to another (eg, second) component with or without the terms “functionally” or “communicatively” When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, a program 940) including
  • the processor eg, the processor 920
  • the device may call at least one of one or more instructions stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function in accordance with the called at least one command.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.
  • the camera module 980 includes a lens assembly 1010 , a flash 1020 , an image sensor 1030 , an image stabilizer 1040 , a memory 1050 (eg, a buffer memory), or an image signal processor. (1060).
  • the lens assembly 1010 may collect light emitted from a subject, which is an image to be captured.
  • Lens assembly 1010 may include one or more lenses.
  • the camera module 980 may include a plurality of lens assemblies 1010 . In this case, the camera module 980 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 1010 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties different from the lens properties of .
  • the lens assembly 1010 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 1020 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 1020 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • the image sensor 1030 may obtain an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 1010 into an electrical signal.
  • the image sensor 1030 may include, for example, one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same It may include a plurality of image sensors having a property, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 1030 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 1040 responds to the movement of the camera module 980 or the electronic device 901 including the same, and moves at least one lens or the image sensor 1030 included in the lens assembly 1010 in a specific direction or Operation characteristics of the image sensor 1030 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken.
  • the image stabilizer 1040 is, according to an embodiment, the image stabilizer 1040 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 980 . Such a movement of the camera module 980 or the electronic device 901 may be detected using .
  • the image stabilizer 1040 may be implemented as, for example, an optical image stabilizer.
  • the memory 1050 may temporarily store at least a portion of the image acquired through the image sensor 1030 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, a Bayer-patterned image or a high-resolution image) is stored in the memory 1050 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display device 960 .
  • the acquired original image eg, a Bayer-patterned image or a high-resolution image
  • a copy image corresponding thereto eg, a low-resolution image
  • the memory 1050 may be configured as at least a part of the memory 930 or as a separate memory operated independently of the memory 930 .
  • the image signal processor 1060 may perform one or more image processing on an image acquired through the image sensor 1030 or an image stored in the memory 1050 .
  • the one or more image processes may include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening.
  • the image signal processor 1060 may include at least one of the components included in the camera module 980 (eg, an image sensor). 1030), for example, exposure time control, readout timing control, etc.
  • the image processed by the image signal processor 1060 is stored back in the memory 1050 for further processing.
  • the image signal processor 1060 may be configured as at least a part of the processor 920 or as a separate processor operated independently of the processor 920.
  • the image signal processor 1060 may include the processor 920 and a separate processor, at least one image processed by the image signal processor 1060 may be displayed through the display device 960 as it is by the processor 920 or after additional image processing.
  • the electronic device 901 may include a plurality of camera modules 980 each having different properties or functions.
  • at least one of the plurality of camera modules 980 may be a wide-angle camera, and at least the other may be a telephoto camera.
  • at least one of the plurality of camera modules 980 may be a front camera, and at least the other may be a rear camera.
  • the electronic device 100 may include a communication circuit 250 , a memory 260 , an image sensor 220 , and at least one processor.
  • the at least one processor of the electronic device 100 obtains standby information from an external device through the communication circuit 250 , executes a camera application, and responds to the execution of the camera application through the image sensor 220 .
  • Acquire image data, determine a tuning set for quality tuning of the image data based on the obtained atmospheric information, and perform correction on the obtained image data based on the determined tuning set can
  • the at least one processor may include an image signal processor 230 .
  • the image signal processor 230 may allocate a weight to the tuning set based on the acquired standby information, and may perform correction on the acquired image data based on the tuning set to which the weight is assigned.
  • the at least one processor allocates a weight to the tuning set according to the level of fog or fine dust among the acquired atmospheric information, and assigns a weight to the obtained image data based on the tuning set to which the weight is assigned. correction can be performed.
  • the level of the fog or fine dust may be divided into at least five levels.
  • the at least one processor may obtain standby information through the communication circuit 250 , store it in the memory 260 , and provide the stored standby information to the camera application.
  • the at least one processor may determine a plurality of tuning sets in response to the execution of the camera application.
  • a first tuning set of the plurality of tuning sets may correspond to fog information
  • a second tuning set may correspond to fine dust information.
  • the quality tuning of the image data may include at least one of white balance, color correction, noise reduction, and edge enhancement.
  • the at least one processor may acquire the standby information by analyzing an image acquired through the image sensor 220 .
  • the standby information may include at least one of location information, time information, fog information, and fine dust information based on the user's location.
  • the processor 240 when the processor 240 obtains a user input for adjusting the degree of correction with respect to the image data on which the correction has been performed, the processor 240 or the image signal processor 230 may Post-processing may be performed on image data.
  • the processor 240 when the processor 240 obtains a user input for changing the correction for the image data on which the correction has been performed, the processor 240 or the image signal processor 230 resets the tuning set.
  • the tuning set can be additionally set.
  • the processor 240 when the processor 240 obtains a user input for initializing correction with respect to the image data on which the correction has been performed, the processor 240 may output the image to which the correction is not applied through the display.
  • the method of operating the electronic device 100 includes an operation of acquiring standby information from an external device through the communication circuit 250 , an operation of executing a camera application, and an image sensor in response to the execution of the camera application. Acquiring image data through 220, determining a tuning set for quality tuning of the image data based on the obtained standby information, and the obtained image based on the determined tuning set It may include an operation of performing correction on data.
  • the method of operating the electronic device 100 includes an operation of obtaining standby information from an external device through the communication circuit 250 , an operation of executing a camera application, and an image sensor in response to the execution of the camera application.
  • the performing of the correction in the operating method of the electronic device 100 includes assigning a weight to the tuning set based on the obtained standby information and based on the tuning set to which the weight is assigned.
  • the method may further include performing correction on the obtained image data.
  • the method of operating the electronic device 100 assigns a weight to the tuning set based on the operation of classifying the level of fog or fine dust among the obtained atmospheric information into at least 5 stages and the divided stages It may further include an operation to
  • the method of operating the electronic device 100 may further include determining a plurality of tuning sets in response to the execution of the camera application.
  • a first tuning set of the plurality of tuning sets may correspond to fog information, and a second tuning set may correspond to fine dust information.
  • the operation of acquiring the standby information in the operating method of the electronic device 100 may be an operation of acquiring the standby information by analyzing an image acquired through the image sensor 220 .
  • the method of operating the electronic device 100 responds to an operation of obtaining a user's input for changing the correction with respect to image data on which the correction has been performed, and obtaining a user's input for changing the correction.
  • the at least one processor may further include resetting the tuning set or additionally setting the tuning set.
  • the method of operating the electronic device 100 responds to an operation of obtaining a user's input for initializing correction with respect to the image data on which the correction has been performed, and obtaining a user's input for initializing the correction.
  • the method may further include outputting an image to which the correction is not applied through a display.
  • the instructions may be executed by at least one processor of an electronic device.
  • the instructions in response to the operation of obtaining standby information from the external device through the communication circuit 250, the operation of executing the camera application, and the execution of the camera application, the image sensor
  • the operation of acquiring image data through 220, the operation of determining at least one tuning set for quality tuning of the image data based on the obtained standby information, the operation of acquiring the determined tuning set An operation of allocating a weight based on information and an operation of performing correction on the obtained image data based on the tuning set to which the weight is allocated may be performed.
  • the operation of obtaining standby information from the external device through the communication circuit 250, the operation of executing the camera application, and the execution of the camera application In response, the operation of acquiring image data through the image sensor 220, the operation of determining at least one tuning set for quality tuning of the image data based on the obtained standby information, the determined tuning An operation of allocating a weight based on the atmospheric information obtained in the set and an operation of performing correction on the obtained image data based on the tuning set to which the weight is allocated may be performed.
  • the tuning set when the instructions are executed by at least one processor of the electronic device, an operation of obtaining a user's input for changing the correction with respect to the image data on which the correction has been performed, the user's input for changing the correction
  • the tuning set may be reset or the tuning set may be further configured.
  • an operation of obtaining a user's input for initializing correction with respect to the image data on which the correction has been performed and a user's input for initializing the correction In response to obtaining , the image to which the correction is not applied may be output through the display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치의 적어도 하나의 프로세서는 통신 회로를 통해 외부 장치로부터 대기 정보를 획득하고, 카메라 어플리케이션을 실행하고, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서를 통해 이미지 데이터를 획득하고, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)을 결정하고, 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

이미지 처리 방법 및 그 전자 장치
본 문서에서 개시되는 실시 예들은, 전자 장치에 포함된 이미지 시그널 프로세서를 이용하여 이미지 프로세싱을 하고 저장하는 기술에 관한 것이다.
스마트폰이나 태블릿과 같은 전자 장치는 사진 및 동영상 촬영을 위한 카메라를 포함한다. 최근 출시되는 전자 장치는 카메라로 촬영된 이미지에 대한 여러가지 보정 및 필터 기능을 제공하고 있다. 예를 들어, 전자 장치는 흐린 날씨에 촬영된 이미지에 대해 색감을 조절하거나 선명도를 조절하여 이미지를 보정할 수 있다.
전자 장치가 이미지를 보정하는 방법에는 이미지 시그널 프로세서로부터 출력된 이미지에 후처리(post-processing)를 하는 것과 사용자의 입력에 응답하여 필터를 적용하는 방법이 있을 수 있다.
전자 장치가 외부로부터 대기 정보를 획득하여 이미지 처리를 하는 경우에 있어서, 이미지 시그널 프로세서에서 전처리가 되어 출력된 이미지를 후처리 알고리즘을 적용하여 이미지를 보정할 수 있다.
다만, 후처리 알고리즘을 적용하여 이미지 처리를 하는 경우, 이미지 시그널 프로세서로부터 출력된 이미지를 판단하여 후처리 여부를 결정한 다음, 이미지 처리를 추가적으로 진행하는 것이기 때문에 딜레이가 발생할 수 있다.
또한, 추가적인 이미지 처리로 인하여 연속 촬영 및 동영상 촬영하는 경우 의도하지 않은 프레임 드롭 현상이 발생할 수 있는 문제점이 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는 통신 회로, 메모리, 이미지 센서, 적어도 하나의 프로세서를 포함할 수 있다. 상기 전자 장치의 상기 적어도 하나의 프로세서는 상기 통신 회로를 통해 외부 장치로부터 대기 정보를 획득하고, 카메라 어플리케이션을 실행하고, 상기 카메라 어플리케이션의 실행에 응답하여, 상기 이미지 센서를 통해 이미지 데이터를 획득하고, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)을 결정하고, 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 통신 회로를 통해 외부 장치로부터 대기 정보를 획득하는 동작, 카메라 어플리케이션을 실행하는 동작, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서를 통해 이미지 데이터를 획득하는 동작, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)를 결정하는 동작, 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 포함할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 저장 매체에 있어서, 상기 명령어들은 전자 장치의 적어도 하나의 프로세서에 의해 실행 시, 통신 회로를 통해 외부 장치로부터 대기 정보를 획득하는 동작, 카메라 어플리케이션을 실행하는 동작, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서를 통해 이미지 데이터를 획득하는 동작, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 적어도 하나의 튜닝 셋(tuning set)를 결정하는 동작, 상기 결정된 튜닝 셋에 획득된 대기 정보에 기반하여 가중치를 할당하는 동작, 상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 수행하도록 할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 이미지의 후처리가 아닌 이미지 시그널 프로세서 내에서의 전처리를 통해 이미지를 보정함으로써 신속한 이미지 처리가 가능하다.
또한 다양한 실시 예에 따르면, 신속한 이미지 처리를 바탕으로 딜레이 현상을 줄이거나 프레임 드롭 현상을 개선할 수 있다.
또한 다양한 실시 예에 따르면, 사용자의 의사를 이미지 보정에 반영하여 사용자가 원하는 이미지를 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 전자 장치를 나타낸다.
도 2는 일 실시 예에 따른 전자 장치의 하드웨어 및 소프트웨어적 구성을 나타낸다.
도 3은 일 실시 예에 따른 전자 장치에서 대기 정보에 기반하여 이미지를 보정하는 것을 나타낸 흐름도이다.
도 4는 일 실시 예에 따른 전자 장치에서 튜닝 셋에 가중치를 적용하여 이미지를 처리하는 것을 나타낸 흐름도이다.
도 5는 일 실시 예에 따른 전자 장치에서 사용자의 후보정에 기반하여 이미지 처리하는 것을 나타내는 흐름도이다.
도 6은 일 실시 예에 따른 전자 장치에서 기존의 대기 정보에 대한 화질 튜닝 셋을 재설정하거나 튜닝 셋을 추가 설정하고 이에 기반하여 이미지를 보정하는 것을 나타내는 흐름도이다.
도 7은 일 실시 예에 따른 전자 장치에서 카메라를 통해 안개 및 미세먼지를 감지하여 이미지를 보정하는 것을 나타내는 흐름도이다.
도 8은 다양한 실시 예에 따른 전자 장치의 프리뷰들을 보여준다.
도 9은, 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 10은 다양한 실시 예들에 따른, 카메라 모듈을 예시하는 블럭도이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른 전자 장치를 나타낸다.
도 1을 참고하면, 일 실시 예에 따른 전자 장치(100)의 전면에는 디스플레이(110)가 배치될 수 있다. 일 실시 예에서, 디스플레이(110)는 전자 장치(100)의 전면의 대부분을 차지할 수 있다. 전자 장치(100)의 전면에는 디스플레이(110), 및 디스플레이(110)의 적어도 일부 가장자리를 둘러싸는 베젤(bezel)(120) 영역이 배치될 수 있다. 도 1의 예시에서, 디스플레이(110)는 평면 영역(flat area)(111)과, 평면 영역(111)에서 전자 장치(100)의 측면을 향해 연장되는 곡면 영역(curved area)(112)을 포함할 수 있다. 도 1에서는 일측(예: 좌측)에 대해서만 곡면 영역(112)을 표시하였으나, 반대측에도 동일하게 곡면 영역이 형성되는 것으로 이해될 수 있다. 또한, 도 1의 도시된 전자 장치(100)는 하나의 예시이며, 다양한 실시 예가 가능하다. 예를 들어, 전자 장치(100)의 디스플레이(110)는 곡면 영역(112) 없이 평면 영역(111)만 포함하거나, 양측이 아닌 한쪽 가장자리에만 곡면 영역(112)을 구비할 수 있다. 또한 일 실시 예에서, 곡면 영역은 전자 장치(100)의 후면으로 연장되어, 전자 장치(100)는 추가적인 평면 영역을 구비할 수도 있다.
일 실시 예에서, 디스플레이(110)의 제1 영역(170)에 사용자의 지문 인식을 위한 지문 센서(171)가 포함될 수 있다. 지문 센서(171)는 디스플레이(110)의 아래 층에 배치됨으로써, 사용자에 의해 시인되지 않거나, 시인이 어렵게 배치될 수 있다. 또한, 지문 센서(171) 외에 추가적인 사용자/생체 인증을 위한 센서가 디스플레이(110)의 일부 영역에 배치될 수 있다. 다른 실시 예에서, 사용자/생체 인증을 위한 센서는 베젤(120)의 일 영역에 배치될 수 있다. 예를 들어, 홍채 인증을 위한 IR 센서가 디스플레이(110)의 일 영역을 통해 노출되거나, 베젤(120)의 일 영역을 통해 노출될 수 있다.
일 실시 예에서, 전자 장치(100)의 전면에는 전면 카메라(141)가 배치될 수 있다. 도 1의 실시 예에서는 전면 카메라(141)가 디스플레이(110)의 일 영역을 통해 노출되는 것으로 도시되었으나, 다른 실시 예에서 전면 카메라(141)가 베젤(120)을 통해 노출될 수 있다.
일 실시 예에서, 전자 장치(100)는 하나 이상의 전면 카메라(141)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 제1 전면 카메라 및 제2 전면 카메라와 같이 2개의 전면 카메라를 포함할 수 있다. 일 실시 예에서, 제1 전면 카메라와 제2 전면 카메라는 동등한 사양(예: 화소)을 가지는 동종의 카메라일 수 있으나, 제1 전면 카메라와 제2 전면 카메라는 다른 사양의 카메라로 구현될 수 있다. 전자 장치(100)는 2개의 전면 카메라를 통해 듀얼 카메라와 관련된 기능(예: 3D 촬영, 자동 초점(auto focus) 등)을 지원할 수 있다.
일 실시 예에서, 전자 장치(100)의 후면에는 후면 카메라가 배치될 수 있다. 후면 카메라는 후면 커버(160)의 일부 영역을 통해 노출될 수 있다. 일 실시 예에서, 전자 장치(100)는 상기 일부 영역에 배치되는 다수의 후면 카메라를 포함할 수 있다. 예를 들어, 전자 장치(100)는 2개 이상의 후면 카메라를 포함할 수 있다. 예를 들어, 전자 장치(100)는 제1 후면 카메라(132), 제2 후면 카메라(134) 및 제3 후면 카메라를 포함할 수 있다. 제1 후면 카메라(132), 제2 후면 카메라(134) 및 제3 후면 카메라는 서로 다른 사양을 가질 수 있다. 예를 들어, 제1 후면 카메라(132)와 제2 후면 카메라(134) 및/또는 제3 후면 카메라의 FOV, 화소, 조리개, 광학 줌/디지털 줌 지원 여부, 이미지 흔들림 보정 기능의 지원 여부, 각 카메라에 포함되는 렌즈 세트의 종류 및 배열 등은 서로 다를 수 있다. 예를 들어, 제1 후면 카메라(132)는 일반 카메라이고, 제2 후면 카메라(134)는 와이드 촬영을 위한 카메라, 제3 후면 카메라는 망원 촬영을 위한 카메라일 수 있다. 본 개시에서, 전면 카메라의 기능이나 특성에 대한 설명은 후면 카메라에 대해 적용될 수 있으며, 그 역도 같다.
일 실시 예에서, 제1 카메라 장치(130)에는 플래시(145)와 같이 촬영을 보조하는 각종 하드웨어나 센서가 추가적으로 배치될 수 있다. 예를 들어, 피사체와 전자 장치(100) 사이의 거리를 감지하기 위한 거리 센서(예: TOF 센서) 등이 더 포함될 수 있다.
일 실시 예에서, 전자 장치(100)의 측면부에는 적어도 하나의 물리 키가 배치될 수 있다. 예를 들어, 디스플레이를 ON/OFF하거나 전자 장치(100)의 전원을 ON/OFF하기 위한 제1 기능 키(340)가 전자 장치(100)의 전면을 기준으로 우측 가장자리에 배치될 수 있다. 일 실시 예에서, 전자 장치(100)의 볼륨을 제어하거나 화면 밝기 등을 제어하기 위한 제2 기능 키(152)가 전자 장치(100)의 전면을 기준으로 좌측 가장자리에 배치될 수 있다. 이 외에도 추가적은 버튼이나 키가 전자 장치(100)의 전면이나 후면에도 배치될 수 있다. 예를 들어, 전면의 베젤(120) 중 하단 영역에 특정 기능에 맵핑된 물리 버튼이나 터치 버튼이 배치될 수 있다.
도 1에 도시된 전자 장치(100)는 하나의 예시에 해당하며, 본 개시에 개시된 기술적 사상이 적용되는 장치의 형태를 제한하는 것은 아니다. 예를 들어, 플렉서블 디스플레이(110) 및 힌지 구조를 채용하여, 가로 방향으로 폴딩이 가능하거나 세로 방향으로 폴딩이 가능한 폴더블 전자 장치나, 태블릿 또는 노트북에도 본 개시의 기술적 사상이 적용될 수 있다. 또한, 같은 방향 향하는 제1 카메라 장치(130)와 제2 카메라 장치(140)가, 장치의 회전, 접힘, 변형 등을 통해 다른 방향을 향하도록 배치되는 것이 가능한 경우에도 본 기술적 사상은 적용될 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 하드웨어 및 소프트웨어적 구성을 나타낸다.
도 2를 참고하면, 일 실시 예에서 전자 장치(100)는 카메라 장치(예: 도 1의 제1 카메라 장치(130) 또는 제2 카메라 장치(140)), 프로세서(240), 통신 회로(250), 메모리(260), 입력 장치(270), 오디오 장치(280) 및 디스플레이(110)를 포함할 수 있다. 도 2의 설명에 있어서, 도 1과 동일한 참조번호에 대한 설명은 생략될 수 있다.
일 실시 예에서, 제1 카메라 장치(130)는 렌즈 어셈블리(210) 및 이미지 센서(220)를 포함할 수 있다. 이는 제2 카메라 장치(140)에 동일하게 적용될 수 있다. 일 실시 예에서, 제2 카메라 장치(140)의 렌즈 어셈블리는 제1 카메라 장치(130)의 렌즈 어셈블리(210)와 렌즈의 개수, 배치, 종류 등이 서로 다를 수 있다. 렌즈 어셈블리의 타입에 따라 제1 카메라 장치(130)와 제2 카메라 장치(140)는 서로 다른 특성(예: 초점거리, 최대 배율 등)을 가질 수 있다.
도 2에 도시된 구성요소들은 예시적인 것이며, 전자 장치(100)는 추가적인 구성요소들을 더 포함할 수 있다. 예를 들어, 전자 장치(100)는 오디오 데이터를 녹음하기 위한 적어도 하나의 마이크를 더 포함할 수 있다. 또한 예를 들어 전자 장치(100)는 전자 장치(100)의 전면 또는 후면이 향하는 방향 및/또는 전자 장치(100)의 자세 정보를 판단하기 위한 적어도 하나의 센서를 포함할 수 있다. 일 실시 예에서, 상기 적어도 하나의 센서는 가속도 센서, 자이로 센서 등을 포함할 수 있다. 도 2의 전자 장치(100)에 포함된 또는 포함될 수 있는 하드웨어에 대한 구체적인 설명이 도 9 및 도 10을 참고하여 제공된다.
일 실시 예에서, 디스플레이(110)는 적어도 제1 디스플레이(271), 제2 디스플레이(272) 중 하나 이상을 포함할 수 있다. 디스플레이(110)는 프로세서(240)에 의해 실행되는 어플리케이션의 실행 화면이나, 메모리(260)에 저장된 이미지/동영상과 같은 컨텐츠들을 디스플레이 할 수 있다. 또한 디스플레이(110)에는 제1 카메라 장치(130)나 제2 카메라 장치(140)를 통해 획득된 이미지 데이터가 실시간으로 디스플레이 될 수 있다.
일 실시 예에서, 디스플레이(110)는 터치 패널과 일체형으로 구현될 수 있다. 디스플레이(110)는 터치 기능을 지원할 수 있으며, 손가락을 이용한 터치와 같은 사용자 입력을 감지하고 프로세서(240)로 전달할 수 있다. 디스플레이(110)는 디스플레이(110)를 구동하기 위한 디스플레이 구동 회로(display driver integrated circuit, DDIC)와 연결될 수 있고, 터치 패널은 터치 좌표를 감지하고 터치 관련 알고리즘을 처리하는 터치 IC와 연결될 수 있다. 일 실시 예에서, 디스플레이 구동 회로와 터치 IC는 일체로 형성될 수 있고, 다른 실시 예에서 디스플레이 구동 회로와 터치 IC는 별개로 형성될 수 있다. 디스플레이 구동 회로 및/또는 터치 IC는 프로세서(240)와 전기적으로 연결될 수 있다.
일 실시 예에서, 프로세서(240)는 전자 장치(100)에서 지원하는 다양한 기능을 실행/제어할 수 있다. 예를 들어, 프로세서(240)는 메모리(260)에 저장된 프로그래밍 언어로 작성된 코드를 실행함으로써 어플리케이션을 실행하고, 각종 하드웨어를 제어할 수 있다. 예를 들어, 프로세서(240)는 메모리(260)에 저장된 촬영 기능을 지원하는 어플리케이션을 실행할 수 있다. 또한 프로세서(240)는 제1 카메라 장치(130) 또는 제2 카메라 장치(140)를 실행하고 제1 카메라 장치(130) 또는 제2 카메라 장치(140)가 사용자가 의도하는 동작을 수행할 수 있도록 적절한 촬영 모드를 설정하고 지원할 수 있다.
일 실시 예에서, 메모리(260)는 프로세서(240)에 의해 실행 가능한 명령어들이 저장될 수 있다. 메모리(260)는 RAM(random access memory)과 같이 일시적으로 데이터들이 저장되는 구성요소 및/또는, SSD(solid state drive)와 같이 데이터들이 영구적으로 저장되는 구성요소를 포함하는 개념으로 이해될 수 있다. 예를 들어, 프로세서(240)는 SSD에 저장된 명령어들을 호출하여 RAM 공간에 소프트웨어 모듈을 구현할 수 있다. 다양한 실시 예에서 메모리(260)는 다양한 종류를 포함할 수 있고, 장치의 용도에 맞게 적절한 종류가 채택될 수 있다.
일 실시 예에서, 메모리(260)에는 제1 카메라 장치(130) 및 제2 카메라 장치(140)와 연관된 어플리케이션이 저장될 수 있다. 예를 들어, 메모리(260)에는 카메라 어플리케이션이 저장될 수 있다. 카메라 어플리케이션은 사진 촬영, 동영상 촬영, 파노라마 촬영, 슬로우 모션 촬영 등 다양한 촬영 기능을 지원할 수 있다.
일 실시 예에서, 제1 카메라 장치(130) 및 제2 카메라 장치(140)와 연관된 어플리케이션은 다양한 종류의 어플리케이션에 해당할 수 있다. 예를 들어 채팅 어플리케이션이나 웹브라우저 어플리케이션, 이메일 어플리케이션, 쇼핑 어플리케이션 등도 영상 통화, 사진/비디오 첨부, 스트리밍 서비스, 제품 이미지 또는 제품 관련 VR(virtual reality) 촬영 기능을 지원하기 위해 제1 카메라 장치(130) 및 제2 카메라 장치(140)를 이용할 수 있다.
일 실시 예에서, 제1 카메라 장치(130)는 도 1의 제1 후면 카메라(132) 및 도 1의 제2 후면 카메라(134) 중 적어도 하나를 포함할 수 있다. 또한 제2 카메라 장치(140)는 도 1의 전면 카메라(141)를 포함할 수 있다. 카메라 장치에 대한 구체적인 설명은 도 10을 참고하여 제공되며, 도 10의 설명은 제1 카메라 장치(130)와 제2 카메라 장치(140)에 모두 적용될 수 있다.
일 실시 예에서, 제1 카메라 장치(130)는 복수 개의 후면 카메라를 포함할 수 있고, 복수 개의 후면 카메라 중 일부 후면 카메라가 순차적으로 활성화될 수 있다. 예를 들어, 제1 카메라 장치(130)가 3개의 후면 카메라를 포함하는 경우, 제1 후면 카메라(예: 도1의 제1 후면 카메라(132))와 함께 제2 후면 카메라(예: 도1의 제2 후면 카메라(134))가 활성화되고, 전자 장치(100)는 제1 후면 카메라(132)를 통해 획득되는 프리뷰 이미지를 디스플레이(110)에 출력할 수 있다. 일 실시 예에서, 사용자로부터 확대(zoom-in) 입력과 같은 광학/디지털 줌 기능을 제어하는 입력이 획득되는 경우, 프로세서(240)는 제1 후면 카메라(132)보다 높은 성능을 가지면서 이미 활성화 상태에 있는 제2 후면 카메라(예: 와이드 촬영용 카메라)(134)를 통해 획득되는 프리뷰 이미지를 디스플레이(110)에 출력할 수 있다. 제2 후면 카메라(134)를 통해 획득되는 프리뷰 이미지가 디스플레이(110)에 출력되는 경우, 프로세서(240)는 제1 후면 카메라(132)를 비활성화 하고 제3 후면 카메라를 활성화함으로써 추가적인 확대 입력에 미리 대비할 수 있다. 다른 실시 예에서, 제2 후면 카메라(134)를 통해 획득되는 프리뷰 이미지가 디스플레이(110)에 출력되는 경우, 프로세서(240)는 제1 후면 카메라(132), 제2 후면 카메라(134), 및 제3 후면 카메라를 모두 활성화한 상태를 유지할 수 있다. 이 상태에서 제3 후면 카메라(예: 망원 촬영용 카메라)를 통해 획득되는 프리뷰 이미지가 디스플레이(110)에 출력되기 시작하면, 프로세서(240)는 제1 후면 카메라를 비활성화하고, 제2 후면 카메라와 제3 후면 카메라를 활성화 상태로 유지할 수 있다. 다만 또 다른 실시 예에서, 전자 장치(100)에 충분한 전력이 공급되는 등 모든 후면 카메라 모듈을 동시에 구동할 수 있는 조건이 만족되는 경우, 전자 장치(100)는 제1 후면 카메라, 제2 후면 카메라, 및 제3 후면 카메라를 모두 활성화 상태로 항상 유지할 수 있다.
일 실시 예에서, 제2 카메라 장치(140)는 하나 이상의 카메라를 포함할 수 있다. 제2 카메라 장치(140)가 2개 또는 그 이상의 카메라들을 포함하는 경우, 제1 카메라 장치(130)와 관련하여 전술한 활성화 알고리즘에 대한 설명이 제2 카메라 장치(130)에 대해서도 적용될 수 있다.
일 실시 예에서, 이미지 센서(220)는 CMOS(complementary metal oxide semiconductor) 센서 또는 CCD(charged coupled device) 센서 등을 포함할 수 있다. 렌즈 어셈블리(210)를 통해 입사된 피사체의 광 정보는 이미지 센서(220)에 의해 전기적 신호로 변환되어 이미지 시그널 프로세서(230)로 입력될 수 있다. 이미지 센서(220)의 상면에 적외선 차단 필터(infra-red cut filter, 이하 IR cut 필터)가 배치될 수 있으며, 렌즈를 통과한 피사체의 상은 상기 IR cut 필터에 의해 일부 필터링된 후 이미지 센서(220)에 의해 감지될 수 있다.
일 실시 예에서, 프로세서(240)는 통신 회로(250)를 통해 무선 통신에 기반하여 네트워크 정보를 송신 및 수신을 할 수 있다. 프로세서(240)는 통신 회로(250)를 통해 외부로부터 사용자의 위치 정보, 대기 정보 등을 획득할 수 있다. 상기 대기 정보는 미세먼지 정보 등에 해당하는 대기질 정보, 안개 정보 등에 해당하는 날씨 정보를 포함할 수 있다. 프로세서(240)는 통신 회로(250)를 통해 획득한 상기 정보들을 메모리(260)에 저장할 수 있다. 프로세서(240)는 통신 회로(250)를 통해 획득한 상기 정보들을 이미지 시그널 프로세서(230)로 제공할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 화질 튜닝 컨트롤러(232)를 포함할 수 있다. 화질 튜닝 컨트롤러(232)는 다수의 튜닝 셋 파일(이하, 튜닝 셋)을 포함할 수 있다. 예를 들어, 화질 튜닝 컨트롤러(232)는 제1 튜닝 셋(234) 및 제2 튜닝 셋(236) 중 적어도 하나 이상을 포함할 수 있다. 화질 튜닝 컨트롤러(232), 제1 튜닝 셋(234), 및 제2 튜닝 셋(236)은 이미지 시그널 프로세서(230)에 의해 이용될 수 있는 소프트웨어들이거나, 이미지 시그널 프로세서(230)에 포함된 하드웨어들일 수 있다.
일 실시 예에서, 상기 튜닝 셋은 컬러 값, 밝기 값, 대비 값 등을 조절하기 위해 정의된 파일일 수 있다. 상기 튜닝 셋의 주요 인자는 화이트 밸런스(white balance), 컬러 보정(color correction), 노이즈 감소(noise reduction), 엣지 개선(edge enhancement)을 포함할 수 있다. 상기 주요 인자는 대기 정보의 특징과 정도에 따라 설정될 수 있다. 본 명세서에서 상기 튜닝 셋은 화질 튜닝 셋 또는 튜닝 셋 파일로 참조될 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 통신 회로(250)를 통해 대기 정보를 제공받을 수 있다. 이미지 시그널 프로세서(230)는 상기 대기 정보를 화질 튜닝 컨트롤러(232)로 제공할 수 있다. 화질 튜닝 컨트롤러(232)는 제공받은 대기 정보에 기반하여 튜닝 셋을 선택할 수 있다. 예를 들어, 화질 튜닝 컨트롤러(232)는 미세먼지에 대한 대기 정보를 제공받은 경우, 미세먼지 정보에 대응되는 튜닝 셋을 선택하여 제어할 수 있다. 다른 예로, 화질 튜닝 컨트롤러(232)는 안개에 대한 대기 정보를 제공받은 경우, 안개 정보에 대응되는 튜닝 셋을 선택하여 제어할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 프로세서(240)에 포함될 수 있다. 다른 예에서, 이미지 시그널 프로세서(230)는 프로세서(240)와 물리적으로 구별되어 전자 장치 내에 배치될 수 있다.
도 3은 일 실시 예에 따른 전자 장치에서 대기 정보에 기반하여 이미지를 보정하는 것을 나타낸 흐름도(300)이다. 도 3에 예시된 흐름도(300)의 동작 주체는 프로세서(예: 도 2의 프로세서(240)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(230))로 이해될 수 있다.
일 실시 예에 따르면, 동작 310에서, 프로세서(240)는 카메라 어플리 케이션을 실행할 수 있다. 프로세서(240)는 사용자가 카메라 어플리케이션을 실행하는 입력에 응답하여 카메라 어플리케이션을 실행할 수 있다. 상기 카메라 어플리케이션을 실행하는 입력은 터치 스크린을 통해 어플리케이션 아이콘을 터치하는 방식, 기능키(예: 도 1의 제1 기능키(151) 또는 제2 기능키(152))를 누르는 방식, 음성 인식 기능(예: Bixby)을 이용하는 방식으로 행해질 수 있다.
일 실시 예에 따르면, 동작 320에서, 전자 장치(100)는 이미지 센서(220)를 통해 이미지 데이터를 획득할 수 있다. 상기 이미지 데이터는 이미지 시그널 프로세서(230)에서 이미지 처리가 수행되기 전인 이미지 데이터로, 각 픽셀은 컬러 필터 어레이에 대응하여 R(red), G(green) 또는 B(blue)의 컬러 값을 가질 수 있다.
일 실시 예에 따르면, 동작 330에서, 프로세서(240)는 획득된 대기 정보에 기반하여 이미지 데이터의 화질 튜닝을 위한 튜닝 셋을 결정할 수 있다.
일 실시 예에서, 프로세서(240)는 통신 회로(250)를 통해 사용자의 위치, 네트워크 정보를 이용하여 대기 정보를 획득할 수 있다. 프로세서(240)는 상기 획득한 대기 정보를 메모리(260)에 저장할 수 있다. 상기 대기 정보는 미세먼지 정보 등에 해당하는 대기질 정보, 안개 정보 등에 해당하는 날씨 정보를 포함할 수 있다.
일 실시 예에서, 프로세서(240)는 상기 대기 정보에 기반하여 상기 튜닝 셋을 결정할 수 있다. 프로세서(240)는 대기 정보에 따라 둘 이상의 튜닝 셋을 결정할 수 있다. 예를 들어, 프로세서(240)가 획득한 대기 정보에 안개 정보 및 미세먼지 정보가 포함된 경우, 각각에 대응되는 튜닝 셋을 결정할 수 있다. 상기 튜닝 셋은 컬러 값, 밝기 값, 대비 값 등을 조절하기 위해 정의된 파일일 수 있다. 상기 튜닝 셋의 주요 인자는 화이트 밸런스(white balance), 컬러 보정(color correction), 노이즈 감소(noise reduction), 엣지 개선(edge enhancement)을 포함할 수 있다.
일 실시 예에 따르면, 동작 340에서, 프로세서(240)는 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행할 수 있다. 예를 들어, 미세먼지가 많아 노란 색감의 이미지 데이터가 획득되는 경우, 프로세서(240)는 노란 색감을 억제하기 위한 튜닝 셋에 기반하여 상기 이미지 데이터에 대한 보정을 수행할 수 있다. 또 다른 예를 들어, 안개가 많아 사물 간 경계가 불분명한 경우, 엣지 개선을 위한 튜닝 셋에 기반하여 상기 이미지 데이터에 대한 보정을 수행할 수 있다.
도 4는 일 실시 예에 따른 전자 장치에서 튜닝 셋에 가중치를 적용하여 이미지를 처리하는 것을 나타낸 흐름도(400)이다. 도 4에 예시된 흐름도(400)의 동작 주체는 프로세서(예: 도 2의 프로세서(240)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(230))로 이해될 수 있다.
일 실시 예에 따르면, 동작 410에서, 프로세서(240)는 안개 정보 및 미세먼지 정보 중 적어도 하나의 대기 정보를 획득할 수 있다. 전자 장치(100)는 통신 회로(250)를 통해 대기 정보를 획득할 수 있다. 프로세서(240)는 통신 회로(250)를 통해 무선 통신에 기반하여 네트워크 정보를 수신하거나 전자 장치(100)에 설치된 날씨 정보 어플리케이션에 기반하여 대기 정보를 획득할 수 있다.
일 실시 예에서, 프로세서(240)는 상기 획득한 대기 정보를 이미지 시그널 프로세서(230), 메모리(260)로 제공할 수 있다. 다른 예에서, 프로세서(240)는 상기 획득한 대기 정보를 카메라 어플리케이션으로 전달할 수 있다.
일 실시 예에 따르면, 동작 420에서, 프로세서(240)는 안개 정보에 대응되는 튜닝 셋 및 미세먼지 정보에 대응되는 튜닝 셋 중 적어도 하나를 선택할 수 있다. 프로세서(240)가 안개 정보를 획득한 경우, 안개 정보에 대응되는 튜닝 셋을 선택하여 제어할 수 있다. 프로세서(240)가 미세먼지 정보를 획득한 경우, 미세먼지 정보에 대응되는 튜닝 셋을 선택할 수 있다. 프로세서(240)가 안개 정보 및 미세먼지 정보를 모두 획득한 경우, 안개 정보에 대응되는 튜닝 셋 및 미세먼지 정보에 대응되는 튜닝 셋을 선택할 수 있다.
일 실시 예에 따르면, 동작 430에서, 프로세서(240)는 획득한 대기 정보에 기반하여 튜닝 셋에 대한 가중치를 계산할 수 있다.
일 실시 예에서, 전자 장치(100)는 획득한 대기 정보에 기반하여 안개의 수준 및 미세먼지의 수준 중 적어도 하나를 판단할 수 있다. 프로세서(240)는 안개의 수준 또는 미세먼지의 수준을 다섯 단계로 구분할 수 있다. 예를 들어, 상기 다섯 단계는 1단계(많이 옅음), 2단계(약간 옅음), 3단계(보통), 4단계(약간 짙음), 5단계(짙음)를 포함할 수 있다. 이는 하나의 예시에 불과하며, 안개의 수준 또는 미세먼지의 수준을 다섯 단계 이상(예: 10단계 또는 12단계 등)으로 더 세분화하여 구분할 수 있다. 일 실시 예에서, 이미지 시그널 프로세서(230)는 대기질 측정을 통해 전달받은 안개의 수치 및/또는 미세먼지의 수치를 직접 가중치 계산에 이용할 수 있다. 상기 안개의 수치는 1단계에 대응되는 1 내지 5단계에 대응되는 5로 표현될 수 있다. 상기 미세먼지의 수치는 1㎍/㎥에 대응되는 1 내지 200㎍/㎥에 대응되는 200으로 표현될 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 안개 정보 및/또는 미세먼지 정보에 대응되는 튜닝 셋에 대한 가중치를 계산할 수 있다. 예를 들어, 안개 정보에 대응되는 튜닝 셋을 위한 가중치 값은 4단계(약간 짙음)에 기반하여 (4 * x)로 계산될 수 있다. 다른 예에서, 미세먼지에 대응되는 튜닝 셋을 위한 가중치 값은 121㎍/㎥에 기반하여 (121 * y)로 계산될 수 있다. 상기 x, y 값은 각각 대기 정보의 정규화를 위한 상수 값일 수 있다.
일 실시 예에 따르면, 동작 440에서, 전자 장치(100)는 상기 가중치에 기반하여 이미지 센서(220)로부터 획득된 이미지 데이터에 대한 보정을 수행할 수 있다. 예를 들어, 프로세서(240)는 미세먼지가 있는 상황에서, 이미지에 노란 색감이 돌 가능성이 높으므로 노란 색감을 억누르는 방향으로 화이트 밸런스(white balance)와 컬러 보정(color correction) 값에 가중치를 할당하여 보정을 수행할 수 있다. 다른 예로, 프로세서(240)는 안개가 낀 상황에서, 피사체와 배경이 흐릿해졌을 가능성이 높으므로 노이즈 감소(noise reduction)와 엣지 개선(edge enhancement) 값에 가중치를 할당하여 보정을 수행할 수 있다.
일 실시 예에 따르면, 동작 450에서, 프로세서(240)는 프리뷰를 출력할 수 있다. 프로세서(240)는 보정이 수행된 이미지 데이터를 디스플레이(110)를 통해 표시할 수 있다.
일 실시 예에서, 프로세서(240)는 상기 이미지 데이터를 디스플레이(110)를 통해 표시하는 것에 더하여 현재의 대기 정보를 디스플레이(110)에 표시함으로써 사용자에게 보여줄 수 있다. 예를 들어, 프로세서(240)는 미세먼지가 제거된 선명한 이미지와 함께 미세먼지의 수준이 현재 121㎍/㎥ 라는 정보를 디스플레이(110)의 일 영역에 표시할 수 있다. 다른 예로, 프로세서(240)는 안개가 제거된 선명한 이미지와 함께 안개의 수준이 현재 4단계(약간 짙음)라는 정보를 디스플레이(110)의 일 영역에 표시할 수 있다.
도 5는 일 실시 예에 따른 전자 장치에서 사용자의 후보정에 기반하여 이미지 처리하는 것을 나타내는 흐름도(500)이다. 도 5에 예시된 흐름도(500)의 동작 주체는 프로세서(예: 도 2의 프로세서(240)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(230))로 이해될 수 있다.
일 실시 예에 따르면, 동작 510은 동작 450에 후행하는 동작일 수 있다. 동작 510에서, 프로세서(240)는 사용자의 촬영 입력에 응답하여 이미지를 촬영할 수 있다. 상기 사용자의 촬영 입력은 정지 영상 또는 동영상을 촬영하는 사용자의 입력일 수 있다. 촬영된 결과 이미지는 스틸 이미지, 동적 이미지 또는 캡처 이미지로 참조될 수 있다.
일 실시 예에 따르면, 동작 520에서, 프로세서(240)는 촬영된 결과 이미지에 적용된 보정을 유지할지 판단할 수 있다.
일 실시 예에서, 프로세서(240)는 결과 이미지에 표시창을 표시할 수 있다. 프로세서(240)는 '촬영한 이미지를 유지하시겠습니까?' 또는 '촬영한 이미지에 적용된 보정을 유지하시겠습니까?' 등의 표시창을 디스플레이(110)에 표시할 수 있다. 상기 표시창은 상기 결과 이미지에 중첩되게 표시되거나 상기 결과 이미지와 다른 영역에 구별되게 표시될 수 있다.
일 실시 예에서, 프로세서(240)는 표시창을 통해 획득한 사용자의 입력에 기반하여 촬영된 결과 이미지에 적용된 보정을 유지할지 판단할 수 있다. 예를 들어, 프로세서(240)는 상기 표시창에 표시된 물음에 '네' 라는 사용자의 입력을 획득하는 것에 응답하여 결과 이미지를 메모리(260)에 저장할 수 있다. 다른 예를 들어, 프로세서(240)는 상기 표시창에 표시된 물음에 '아니오' 라는 사용자의 입력을 획득하는 것에 응답하여 추가로 이미지 처리를 할 수 있다.
일 실시 예에서, 프로세서(240)가 사용자의 상기 입력들에 기반하여 보정을 유지하는 경우 동작 540이 수행되고, 유지하지 않는 경우 530이 수행될 수 있다.
일 실시 예에 따르면, 동작 530에서, 프로세서(240)는 사용자의 후보정에 기반하여 이미지 처리를 할 수 있다. 프로세서(240)는 이미지 시그널 프로세서(230)에서 보정되어 출력된 이미지를 사용자의 후보정에 기반하여 이미지 처리를 할 수 있다. 동작 530의 후보정은, 도 4의 동작 440에서 대기 정보에 기반하여 보정을 수행한 것과 달리, 사용자의 입력에 기반하여 사용자의 기호에 맞게 추가적으로 보정을 수행하는 것을 의미할 수 있다. 상기 추가적인 보정은, 예를 들어, 촬영 버튼을 눌러 촬영된 이미지에 대해 저장되기 전에 보정을 조절하는 것을 의미하거나, 갤러리 어플리케이션에 촬영되어 저장된 이미지를 선택하여 편집을 수행하는 것을 의미할 수 있다. 상기 보정을 조절하는 것 또는 상기 편집을 수행하는 것은 사용자에 의하여 이미지의 크기, 각도, 색감, 밝기, 대비 등이 조절되는 과정일 수 있다. 프로세서(240)는 후보정 처리 후 더욱 선명한 이미지를 생성할 수 있다. 예를 들어, 프로세서(240)는 미세먼지 또는 안개에 대응되는 튜닝 셋에 기반하여 이미지를 보정할 수 있고, 상기 튜닝 셋에 기반하여 보정된 이미지에 대해 색감을 조절하는 사용자의 이미지 편집을 통해 노란 색감을 더 억제할 수 있다. 다른 예를 들어, 프로세서(240)는 안개로 인해 사물 간 경계가 불분명해진 이미지에 대해 선명도 또는 대비 등을 조절하는 사용자의 이미지 편집을 통해상기 이미지를 더욱 선명하게 보정할 수 있다. 상기 사용자의 입력은 이하 도 8에서 프리뷰 상에서 보여지는 '보정의 강도를 선택하시오' 등의 메시지(832)에 대한 사용자의 입력일 수 있다. 또는, 상기 사용자의 입력은 보정의 강도뿐만 아니라, 색감 또는 선명도에 대한 보정을 조절하는 사용자의 입력일 수 있다.
일 실시 예에 따르면, 동작 540에서, 프로세서(240)는 이미지를 저장할 수 있다. 프로세서(240)는 후보정 처리가 된 이미지를 메모리(260)에 저장할 수 있다.
일 실시 예에서, 프로세서(240)는 상기 후보정 처리가 된 이미지에 더하여 후보정 처리가 되기 전인 기존 이미지를 함께 메모리(260)에 저장할 수 있다.
일 실시 예에서, 프로세서(240)는 사용자가 상기 후보정 처리가 된 이미지 또는 후보정 처리가 되기 전인 기존 이미지 중 적어도 하나를 선택하는 입력에 응답하여 사용자가 선택한 이미지를 메모리(260)에 저장할 수 있다.
도 6은 일 실시 예에 따른 전자 장치에서 기존의 대기 정보에 대한 화질 튜닝 셋을 재설정하거나 튜닝 셋을 추가 설정하고 이에 기반하여 이미지를 보정하는 것을 나타내는 흐름도(600)이다. 도 6에 예시된 흐름도(600)의 동작 주체는 프로세서(예: 도 2의 프로세서(240)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(230))로 이해될 수 있다.
일 실시 예에 따르면, 동작 610은 동작 450에 후행하는 동작일 수 있다. 동작 610에서, 프로세서(240)는 사용자의 촬영 입력에 응답하여 이미지 촬영을 할 수 있다. 프로세서(240)는 사용자의 촬영 입력에 응답하여 대기 정보에 기반하여 보정된 이미지에 대해 촬영할 수 있다. 상기 이미지는 동적 영상 또는 정지된 영상을 포함할 수 있다.
일 실시 예에 따르면, 동작 620에서, 프로세서(240)는 촬영된 결과 이미지에 적용된 보정을 변경할 필요가 있는지 판단할 수 있다. 프로세서(240)는 사용자의 입력에 기반하여 상기 결과 이미지에 적용된 보정을 변경할 필요가 있는지 판단할 수 있다.
일 실시 예에서, 프로세서(240)는 캡처된 이미지에 표시창을 표시할 수 있다. 프로세서(240)는 '촬영한 이미지에 적용된 보정을 변경하시겠습니까?' 등의 표시창을 디스플레이(110)에 표시할 수 있다. 상기 표시창은 상기 캡처된 이미지에 중첩되게 표시되거나 상기 캡처된 이미지와 다른 영역에 구별되게 표시될 수 있다.
일 실시 예에서, 프로세서(240)는 표시창을 통해 획득한 사용자의 입력에 응답하여 캡처된 이미지에 적용된 보정을 유지할지 판단할 수 있다. 예를 들어, 프로세서(240)는 상기 표시창에 표시된 물음에 '네' 라는 사용자의 입력을 획득하는 것에 응답하여 튜닝 셋을 재설정하거나 추가 설정할 수 있다. 다른 예를 들어, 프로세서(240)는 상기 표시창에 표시된 물음에 '아니오' 라는 사용자의 입력을 획득하는 것에 응답하여 상기 캡처된 이미지를 메모리(260)에 저장할 수 있다.
일 실시 예에서, 프로세서(240)가 사용자의 상기 입력들에 기반하여 결과 이미지에 적용된 보정을 변경할 필요가 있다고 판단하는 경우 동작 630이 수행되고, 변경할 필요가 없다고 판단하는 경우 동작 650이 수행될 수 있다.
일 실시 예에 따르면, 동작 630에서, 이미지 시그널 프로세서(230)는 튜닝 셋을 재설정 또는 추가 설정할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 보정(또는, 화질 튜닝)이 적용된 결과 이미지를 분석하여 보다 선명한 보정(또는, 화질 튜닝)을 하기 위하여 튜닝 셋을 재설정할 수 있다. 예를 들어, 이미지 시그널 프로세서(230)는 미세먼지 정보에 대응하는 튜닝 셋 파일에 대하여 노란 색감을 줄이는 강도를 높이도록 상기 튜닝 셋 파일의 컬러 파라미터를 재설정할 수 있다. 다른 예를 들어, 이미지 시그널 프로세서(230)는 안개 정보에 대응하는 튜닝 셋 파일에 대하여 이미지의 선명도를 높이도록 상기 튜닝 셋 파일을 재설정할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 보정(또는, 화질 튜닝)이 적용된 결과 이미지를 분석하여 보다 선명한 보정(또는, 화질 튜닝)을 하기 위하여 튜닝 셋을 추가할 수 있다. 이미지 시그널 프로세서(230)는 안개 정보에 대응되는 튜닝 셋을 둘 이상 저장하여 제어할 수 있다. 이미지 시그널 프로세서(230)는 미세먼지 정보에 대응되는 튜닝 셋을 둘 이상 저장하여 제어할 수 있다. 예를 들어, 이미지 시그널 프로세서(230)는 미세먼지 정보에 대응하는 튜닝 셋을 제1 튜닝 셋에 더하여 제2 튜닝 셋을 추가로 설정할 수 있다. 다른 예를 들어, 이미지 시그널 프로세서(230)는 안개 정보에 대응하는 튜닝 셋을 제3 튜닝 셋에 더하여 제4 튜닝 셋을 추가로 설정할 수 있다. 상기 추가되는 제3 튜닝 셋 및 상기 제4 튜닝 셋은 기존의 튜닝 셋과 비교하여 보정의 강도를 조절할 수 있다. 또는 상기 제3 튜닝 셋 및 제4 튜닝 셋은 보정의 강도 뿐만 아니라, 색감 처리, 이미지의 선명도 등을 조절할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(230)는 실시간 대기 정보에 따라 더 알맞은 튜닝 셋을 적용하여 이미지 처리를 수행할 수 있다. 예를 들어, 이미지 시그널 프로세서(230)는 대기 정보의 수준에 기반하여 보정을 강하게 적용해야 하는 경우 제1 튜닝 셋을 적용하고, 보정을 약하게 적용해야 하는 경우 제2 튜닝 셋을 적용할 수 있다. 다른 예를 들어, 이미지 시그널 프로세서(230)는 대기 정보의 수준에 기반하여 이미지의 선명도를 높이는 경우 제1 튜닝 셋을 적용하고, 이미지의 선명도를 낮춰 흐림 효과를 주고 싶은 경우 제2 튜닝 셋을 적용할 수 있다.
일 실시 예에 따르면, 동작 640에서, 이미지 시그널 프로세서(230)는 재설정된 튜닝 셋 또는 추가 설정된 튜닝 셋에 기반하여 보정을 수행할 수 있다. 이미지 시그널 프로세서(230)는 상기 재설정 또는 추가 설정된 튜닝 셋에 기반하여 이미지 데이터의 R, G 또는 B 컬러 값을 제어하여 보정을 수행할 수 있다.
일 실시 예에 따르면, 동작 650에서, 프로세서(240)는 이미지를 저장할 수 있다. 프로세서(240)는 재설정 또는 추가 설정된 튜닝 셋에 기반하여 보정이 수행된 이미지를 저장할 수 있다.
일 실시 예에서, 프로세서(240)는 상기 재설정 또는 추가 설정된 튜닝 셋에 기반하여 보정이 수행된 이미지에 더하여 기존 이미지를 함께 메모리(260)에 저장할 수 있다.
일 실시 예에서, 프로세서(240)는 사용자가 상기 재설정 또는 추가 설정된 튜닝 셋에 기반하여 보정이 수행된 이미지 또는 기존 이미지 중 적어도 하나를 선택하는 입력에 응답하여 사용자가 선택한 이미지를 메모리(260)에 저장할 수 있다.
도 7은 일 실시 예에 따른 전자 장치에서 카메라를 통해 안개 및 미세먼지를 감지하여 이미지를 보정하는 것을 나타내는 흐름도(700)이다. 도 7에 예시된 흐름도(700)의 동작 주체는 프로세서(예: 도 2의 프로세서(240)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(230))로 이해될 수 있다.
일 실시 예에 따르면, 동작 710에서, 프로세서(240)는 카메라를 실행할 수 있다. 프로세서(240)는 카메라를 실행하는 사용자의 입력에 응답하여 카메라 어플리케이션을 실행시킬 수 있다. 이는 도 3의 동작 310과 대응될 수 있다.
일 실시 예에 따르면, 동작 720에서, 프로세서(240)는 카메라를 통해 안개 및 미세먼지 중 적어도 하나를 감지할 수 있다. 프로세서(240)는 카메라를 통해 획득한 이미지를 일 기능(예: scene optimizer)을 이용하여 분석하여 안개 및 미세먼지 중 적어도 하나를 감지할 수 있다.
일 실시 예에서, 프로세서(240)는 전자 장치(100)의 일 기능(예: scene optimizer)을 통해 안개 낀 장면을 감지하거나 미세먼지로 인해 노란 색감의 장면을 감지할 수 있다. 상기 일 기능(예: scene optimizer)은 데이터를 바탕으로 사물 등을 판별할 수 있는 기능일 수 있다. 예를 들어, 카페의 내부를 촬영하는 경우 프로세서(240)는 사물(예: 의자)의 평균적인 형태, 사물(예: 의자)의 평균적인 색상 등을 고려하여 사물(예: 의자)을 판별할 수 있다.
일 실시 예에 따르면, 동작 730에서, 프로세서(240)는 안개 정보에 대응되는 튜닝 셋 및 미세먼지 정보에 대응되는 튜닝 셋 중 적어도 하나 이상을 선택할 수 있다. 이는 도 4의 동작 420과 대응될 수 있다.
일 실시 예에 따르면, 동작 740에서, 이미지 시그널 프로세서(230)는 획득된 대기 정보를 기반으로 이미지 센서(220)로부터 획득된 이미지 데이터에 대한 보정을 수행할 수 있다. 동작 740은 도 4의 동작 430과 도 4의 동작 440과 대응될 수 있다. 다시 말해, 프로세서(240)는 대기 정보에 기반하여 튜닝 셋에 대한 가중치를 계산할 수 있고, 계산된 가중치를 튜닝 셋에 적용하여 이미지 센서로부터 획득된 이미지 데이터에 대한 보정을 수행할 수 있다.
일 실시 예에 따르면, 이미지 시그널 프로세서(230)는 상기 보정을 수행하는 것에 더하여 3A 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), 노이즈 조절, 톤 커브 조절(tone curve adjustment), 엣지 개선(edge enhancement) 및 디모자이크(demosaic) 중 적어도 하나를 수행할 수 있다. 상기 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing)를 의미할 수 있다.
일 실시 예에 따르면, 동작 750에서, 프로세서(240)는 사용자의 촬영 입력에 응답하여 이미지 촬영을 할 수 있다. 프로세서(240)는 사용자가 촬영 버튼을 누르는 것에 응답하여 디스플레이(110)를 통해 표시되는 프리뷰를 촬영할 수 있다. 상기 프리뷰는 정지 영상일 수도 있고 동영상일 수도 있다.
일 실시 예에 따르면, 동작 760에서, 프로세서(240)는 이미지를 저장할 수 있다. 프로세서(240)는 사용자의 촬영 입력에 응답하여 촬영된 이미지를 메모리(260)에 저장할 수 있다.
도 8은 다양한 실시 예에 따른 전자 장치의 프리뷰들을 보여준다.
일 실시 예에서, 프로세서(240)는 프리뷰(810)를 디스플레이(110)를 통해 출력할 수 있다. 상기 프리뷰(810)는 촬영된 이미지 또는 촬영된 동영상이 디스플레이를 통해 표시된 것을 의미할 수 있다. 프로세서(240)는 디스플레이(110)에 캡처된 이미지 또는 촬영된 동영상의 일 이미지를 표시하고 상기 캡처된 이미지 또는 상기 촬영된 동영상의 일 이미지에 중첩되게 적어도 하나 이상의 표시창을 표시할 수 있다. 프로세서(240)는 '촬영한 이미지를 유지하시겠습니까?' 등의 메시지를 디스플레이(110)에 표시할 수 있다.
일 실시 예에서, 프로세서(240)는 '네'(812) 또는 '아니오'(814)에 대한 사용자의 입력을 획득할 수 있다. 프로세서(240)는 '네'(812)에 대한 사용자의 입력을 획득하는 경우, 캡처된 이미지를 메모리(246)에 저장할 수 있다. 프로세서(240)는 '아니오'(814)에 대한 사용자의 입력을 획득하는 경우, 프리뷰(820)를 디스플레이(110)를 통해 출력할 수 있다.
일 실시 예에서, 프로세서(240)는 프리뷰(820)를 디스플레이를 통해 출력할 수 있다. 상기 프리뷰(820)는 촬영된 이미지 또는 촬영된 동영상이 디스플레이를 통해 표시된 것을 의미할 수 있다. 프로세서(240)는 디스플레이(110)에 캡처된 이미지를 표시하고 캡처된 이미지에 중첩되게 적어도 하나 이상의 표시창을 표시할 수 있다. 프로세서(240)는 '보정의 강도 선택'(822), '튜닝 재설정'(824), '보정 미적용'(826) 등의 메시지와 상기 메세지들을 선택하게끔 안내하는 '선택 하시오' 등의 메시지를 디스플레이(110)에 표시할 수 있다.
일 실시 예에서, 프로세서(240)는 '보정의 강도 선택'(822)에 대한 사용자의 입력에 응답하여 프리뷰(830)를 디스플레이(110)를 통해 출력할 수 있다.
일 실시 예에서, 프로세서(240)는 '튜닝 재설정'(824)에 대한 사용자의 입력에 응답하여 화질 튜닝을 위한 튜닝 셋을 재설정하거나 추가 설정하도록 이미지 시그널 프로세서(230)를 제어할 수 있다. 이는 앞서 도 6의 동작 620과 동일하므로 여기서는 설명을 생략한다.
일 실시 예에서, 프로세서(240)는 '보정 미적용'(826)에 대한 사용자의 입력에 응답하여 캡처된 이미지에 보정을 적용하지 않을 수 있다. 프로세서(240)는 상기 캡처된 이미지에 적용된 보정을 초기화하여 적용하지 않고 원본 이미지를 디스플레이(110)를 통해 표시할 수 있다. 예를 들어, 프로세서(240)는 뿌연 미세먼지가 있는 상태에서 촬영을 하여 보정이 된 깨끗한 상태의 이미지를 얻은 경우, '보정 미적용'(826)에 대한 사용자의 입력에 응답하여 뿌연 이미지를 획득할 수 있다.
일 실시 예에서, 프로세서(240)는 프리뷰(830)를 디스플레이를 통해 출력할 수 있다. 상기 프리뷰(830)는 촬영된 이미지 또는 촬영된 동영상이 디스플레이를 통해 표시된 것을 의미할 수 있다. 프로세서(240)는 디스플레이(110)에 캡처된 이미지를 표시하고 캡처된 이미지에 중첩되게 적어도 하나 이상의 표시창을 표시할 수 있다. 프로세서(240)는 '보정의 강도를 선택하시오' 등의 메시지(832)를 디스플레이(110)에 표시할 수 있다. 프로세서(240)는 조절 아이콘(834)을 움직여서 보정의 강도를 조절하는 사용자의 입력을 획득할 수 있다. 프로세서(240)는 캡처된 이미지의 보정의 강도를 5로 보고 보정의 강도를 1까지 낮추거나 10까지 높일 수 있는 사용자의 입력을 획득할 수 있다. 프로세서(240)는 보정의 강도를 조절하는 사용자의 입력에 기반하여 상기 보정의 강도가 적용된 이미지를 디스플레이(110)에 표시할 수 있다.
도 9는, 다양한 실시 예들에 따른, 네트워크 환경(900) 내의 전자 장치(901)의 블럭도이다. 도 9을 참조하면, 네트워크 환경(900)에서 전자 장치(901)는 제1 네트워크(998)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(902)와 통신하거나, 또는 제2 네트워크(999)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(904) 또는 서버(908)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(901)는 서버(908)를 통하여 전자 장치(904)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(901)는 프로세서(920), 메모리(930), 입력 장치(950), 음향 출력 장치(955), 표시 장치(960), 오디오 모듈(970), 센서 모듈(976), 인터페이스(977), 햅틱 모듈(979), 카메라 모듈(980), 전력 관리 모듈(988), 배터리(989), 통신 모듈(990), 가입자 식별 모듈(996), 또는 안테나 모듈(997)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(901)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(960) 또는 카메라 모듈(980))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(976)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(960)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(920)는, 예를 들면, 소프트웨어(예: 프로그램(940))를 실행하여 프로세서(920)에 연결된 전자 장치(901)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(920)는 다른 구성요소(예: 센서 모듈(976) 또는 통신 모듈(990))로부터 수신된 명령 또는 데이터를 휘발성 메모리(932)에 로드하고, 휘발성 메모리(932)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(934)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(920)는 메인 프로세서(921)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(923)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(923)는 메인 프로세서(921)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(923)는 메인 프로세서(921)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(923)는, 예를 들면, 메인 프로세서(921)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(921)를 대신하여, 또는 메인 프로세서(921)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(921)와 함께, 전자 장치(901)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(960), 센서 모듈(976), 또는 통신 모듈(990))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(923)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(980) 또는 통신 모듈(990))의 일부로서 구현될 수 있다.
메모리(930)는, 전자 장치(901)의 적어도 하나의 구성요소(예: 프로세서(920) 또는 센서모듈(976))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(940)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(930)는, 휘발성 메모리(932) 또는 비휘발성 메모리(934)를 포함할 수 있다.
프로그램(940)은 메모리(930)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(942), 미들 웨어(944) 또는 어플리케이션(946)을 포함할 수 있다.
입력 장치(950)는, 전자 장치(901)의 구성요소(예: 프로세서(920))에 사용될 명령 또는 데이터를 전자 장치(901)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(950)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(955)는 음향 신호를 전자 장치(901)의 외부로 출력할 수 있다. 음향 출력 장치(955)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(960)는 전자 장치(901)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(960)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(960)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(970)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(970)은, 입력 장치(950) 를 통해 소리를 획득하거나, 음향 출력 장치(955), 또는 전자 장치(901)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(902)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(976)은 전자 장치(901)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(976)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(977)는 전자 장치(901)가 외부 전자 장치(예: 전자 장치(902))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(977)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(978)는, 그를 통해서 전자 장치(901)가 외부 전자 장치(예: 전자 장치(902))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(978)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(979)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(979)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(980)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(980)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(988)은 전자 장치(901)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(989)는 전자 장치(901)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(989)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(990)은 전자 장치(901)와 외부 전자 장치(예: 전자 장치(902), 전자 장치(904), 또는 서버(908))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(990)은 프로세서(920)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(990)은 무선 통신 모듈(992)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(994)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(998)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(999)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(992)은 가입자 식별 모듈(996)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(998) 또는 제2 네트워크(999)와 같은 통신 네트워크 내에서 전자 장치(901)를 확인 및 인증할 수 있다.
안테나 모듈(997)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(997)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(998) 또는 제2 네트워크(999)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(990)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(990)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(997)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(999)에 연결된 서버(908)를 통해서 전자 장치(901)와 외부의 전자 장치(904)간에 송신 또는 수신될 수 있다. 전자 장치(902, 904) 각각은 전자 장치(901)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(901)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(902, 904, or 908) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(901)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(901)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(901)로 전달할 수 있다. 전자 장치(901)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나, ""A, B 또는 C, " "A, B 및 C 중 적어도 하나, "및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드" 라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(901)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(936) 또는 외장 메모리(938))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(940))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(901))의 프로세서(예: 프로세서(920))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 10는 다양한 실시 예들에 따른, 카메라 모듈(980)을 예시하는 블럭도(1000)이다. 도 10를 참조하면, 카메라 모듈(980)은 렌즈 어셈블리(1010), 플래쉬(1020), 이미지 센서(1030), 이미지 스태빌라이저(1040), 메모리(1050)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(1060)를 포함할 수 있다. 렌즈 어셈블리(1010)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(1010)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시 예에 따르면, 카메라 모듈(980)은 복수의 렌즈 어셈블리(1010)들을 포함할 수 있다. 이런 경우, 카메라 모듈(980)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(1010)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(1010)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(1020)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시 예에 따르면, 플래쉬(1020)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(1030)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(1010)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시 예에 따르면, 이미지 센서(1030)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(1030)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(1040)는 카메라 모듈(980) 또는 이를 포함하는 전자 장치(901)의 움직임에 반응하여, 렌즈 어셈블리(1010)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(1030)를 특정한 방향으로 움직이거나 이미지 센서(1030)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시 예에 따르면, 이미지 스태빌라이저(1040)는, 일 실시 예에 따르면, 이미지 스태빌라이저(1040)는 카메라 모듈(980)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(980) 또는 전자 장치(901)의 그런 움직임을 감지할 수 있다. 일 실시 예에 따르면, 이미지 스태빌라이저(1040)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(1050)는 이미지 센서(1030)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(1050)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(960)를 통하여 프리뷰 될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(1050)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(1060)에 의해 획득되어 처리될 수 있다. 일 실시 예에 따르면, 메모리(1050)는 메모리(930)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(1060)는 이미지 센서(1030)를 통하여 획득된 이미지 또는 메모리(1050)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(1060)는 카메라 모듈(980)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(1030))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(1060)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(1050)에 다시 저장되거나 카메라 모듈(980)의 외부 구성 요소(예: 메모리(930), 표시 장치(960), 전자 장치(902), 전자 장치(904), 또는 서버(908))로 제공될 수 있다. 일 실시 예에 따르면, 이미지 시그널 프로세서(1060)는 프로세서(920)의 적어도 일부로 구성되거나, 프로세서(920)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(1060)가 프로세서(920)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(1060)에 의해 처리된 적어도 하나의 이미지는 프로세서(920)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(960)를 통해 표시될 수 있다.
일 실시 예에 따르면, 전자 장치(901)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(980)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(980)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(980)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
다양한 실시 예에 있어서, 전자 장치(100)는 통신 회로(250), 메모리(260), 이미지 센서(220), 적어도 하나의 프로세서를 포함할 수 있다. 전자 장치(100)의 상기 적어도 하나의 프로세서는 통신 회로(250)를 통해 외부 장치로부터 대기 정보를 획득하고, 카메라 어플리케이션을 실행하고, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서(220)를 통해 이미지 데이터를 획득하고, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)을 결정하고, 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행할 수 있다.
일 실시 예에 있어서, 상기 적어도 하나의 프로세서는 이미지 시그널 프로세서(230)를 포함할 수 있다. 이미지 시그널 프로세서(230)는 상기 획득된 대기 정보에 기반하여 상기 튜닝 셋에 가중치를 할당하고, 상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행할 수 있다.
일 실시 예에 있어서, 적어도 하나의 프로세서는 획득된 대기 정보 중 안개 또는 미세먼지의 수준에 따라 상기 튜닝 셋에 대한 가중치를 할당하고, 상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행할 수 있다. 상기 안개 또는 미세먼지의 수준은 적어도 5단계로 구분될 수 있다.
일 실시 예에 있어서, 적어도 하나의 프로세서는 통신 회로(250)를 통해 대기 정보를 획득하여 메모리(260)에 저장하고, 저장된 대기 정보를 카메라 어플리케이션에 제공할 수 있다.
일 실시 예에 있어서, 적어도 하나의 프로세서는 상기 카메라 어플리케이션의 실행에 응답하여 복수의 튜닝 셋을 결정할 수 있다. 상기 복수의 튜닝 셋 중 제1 튜닝 셋은 안개 정보에 대응되고, 제2 튜닝 셋은 미세먼지 정보에 대응될 수 있다.
일 실시 예에 있어서, 상기 이미지 데이터의 화질 튜닝은 화이트 밸런스(white balance), 컬러 보정(color correction), 노이즈 감소(noise reduction), 엣지 개선(edge enhancement) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 있어서, 적어도 하나의 프로세서는 이미지 센서(220)를 통해 획득한 이미지를 분석하여 상기 대기 정보를 획득할 수 있다.
일 실시 예에 있어서, 상기 대기 정보는 사용자의 위치에 기반한 위치 정보, 시간 정보, 안개 정보 및 미세먼지 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 있어서, 프로세서(240)가 상기 보정이 수행된 이미지 데이터에 대해 상기 보정의 정도를 조절하는 사용자의 입력을 획득하는 경우, 프로세서(240) 또는 이미지 시그널 프로세서(230)는 상기 획득한 이미지 데이터에 대해 후처리를 수행할 수 있다.
일 실시 예에 있어서, 프로세서(240)가 상기 보정이 수행된 이미지 데이터에 대해 상기 보정을 변경하는 사용자의 입력을 획득하는 경우, 프로세서(240) 또는 이미지 시그널 프로세서(230)는 상기 튜닝 셋을 재설정하거나 상기 튜닝 셋을 추가 설정할 수 있다.
일 실시 예에 있어서, 프로세서(240)가 상기 보정이 수행된 이미지 데이터에 대해 보정을 초기화하는 사용자의 입력을 획득하는 경우, 프로세서(240)는 상기 보정이 적용되지 않은 이미지를 디스플레이를 통해 출력할 수 있다.
다양한 실시 예에 있어서, 전자 장치(100)의 동작 방법은 통신 회로(250)를 통해 외부 장치로부터 대기 정보를 획득하는 동작, 카메라 어플리케이션을 실행하는 동작, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서(220)를 통해 이미지 데이터를 획득하는 동작, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)를 결정하는 동작, 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 포함할 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법은 통신 회로(250)를 통해 외부 장치로부터 대기 정보를 획득하는 동작, 카메라 어플리케이션을 실행하는 동작, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서(220)를 통해 이미지 데이터를 획득하는 동작, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)를 결정하는 동작, 상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 포함할 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법 중 상기 보정을 수행하는 동작은, 획득된 대기 정보에 기반하여 상기 튜닝 셋에 가중치를 할당하는 동작 및 상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 더 포함할 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법은 상기 획득된 대기 정보 중 안개 또는 미세먼지의 수준을 적어도 5단계로 구분하는 동작 및 상기 구분된 단계에 기반하여 상기 튜닝 셋에 가중치를 할당하는 동작을 더 포함할 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법은 상기 카메라 어플리케이션의 실행에 응답하여 복수의 튜닝 셋을 결정하는 동작을 더 포함할 수 있다. 상기 복수의 튜닝 셋 중 제1 튜닝 셋은 안개 정보에 대응되고, 제2 튜닝 셋은 미세먼지 정보에 대응될 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법 중 상기 대기 정보를 획득하는 동작은 이미지 센서(220)를 통해 획득한 이미지를 분석하여 상기 대기 정보를 획득하는 동작일 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법은 상기 보정이 수행된 이미지 데이터에 대해 상기 보정을 변경하는 사용자의 입력을 획득하는 동작 및 상기 보정을 변경하는 사용자의 입력을 획득하는 것에 응답하여 적어도 하나의 프로세서는 상기 튜닝 셋을 재설정하거나 상기 튜닝 셋을 추가 설정하는 동작을 더 포함할 수 있다.
일 실시 예에 있어서, 전자 장치(100)의 동작 방법은 상기 보정이 수행된 이미지 데이터에 대해 보정을 초기화하는 사용자의 입력을 획득하는 동작 및 상기 보정을 초기화하는 사용자의 입력을 획득하는 것에 응답하여 상기 보정이 적용되지 않은 이미지를 디스플레이를 통해 출력하는 동작을 더 포함할 수 있다.
다양한 실시 예에 있어서, 컴퓨터 판독 가능한 명령어들을 저장하는 비-일시적 기록 매체에 있어서, 상기 명령어들은 전자 장치의 적어도 하나의 프로세서에 의해 실행될 수 있다. 상기 명령어들은 전자 장치의 적어도 하나의 프로세서에 의해 실행 시, 통신 회로(250)를 통해 외부 장치로부터 대기 정보를 획득하는 동작, 카메라 어플리케이션을 실행하는 동작, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서(220)를 통해 이미지 데이터를 획득하는 동작, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 적어도 하나의 튜닝 셋(tuning set)를 결정하는 동작, 상기 결정된 튜닝 셋에 획득된 대기 정보에 기반하여 가중치를 할당하는 동작, 상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 수행하도록 할 수 있다.
일 실시 예이 있어서, 상기 명령어들은 전자 장치의 적어도 하나의 프로세서에 의해 실행 시, 통신 회로(250)를 통해 외부 장치로부터 대기 정보를 획득하는 동작, 카메라 어플리케이션을 실행하는 동작, 상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서(220)를 통해 이미지 데이터를 획득하는 동작, 상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 적어도 하나의 튜닝 셋(tuning set)를 결정하는 동작, 상기 결정된 튜닝 셋에 획득된 대기 정보에 기반하여 가중치를 할당하는 동작, 상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 수행하도록 할 수 있다.
일 실시 예에 있어서, 상기 명령어들은 전자 장치의 적어도 하나의 프로세서에 의해 실행 시, 상기 보정이 수행된 이미지 데이터에 대해 상기 보정을 변경하는 사용자의 입력을 획득하는 동작, 상기 보정을 변경하는 사용자의 입력을 획득하는 것에 응답하여 상기 튜닝 셋을 재설정하거나 상기 튜닝 셋을 추가 설정하도록 할 수 있다.
일 실시 예에 있어서, 상기 명령어들은 전자 장치의 적어도 하나의 프로세서에 의해 실행 시, 상기 보정이 수행된 이미지 데이터에 대해 보정을 초기화하는 사용자의 입력을 획득하는 동작 및 상기 보정을 초기화하는 사용자의 입력을 획득하는 것에 응답하여 상기 보정이 적용되지 않은 이미지를 디스플레이를 통해 출력하도록 할 수 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 회로;
    메모리;
    이미지 센서; 및
    상기 통신 회로, 상기 메모리, 및 상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
    상기 통신 회로를 통해 외부 장치로부터 대기 정보를 획득하고,
    카메라 어플리케이션을 실행하고,
    상기 카메라 어플리케이션의 실행에 응답하여, 상기 이미지 센서를 통해 이미지 데이터를 획득하고,
    상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)을 결정하고,
    상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 이미지 시그널 프로세서(image signal processor)를 포함하고,
    상기 이미지 시그널 프로세서는,
    상기 획득된 대기 정보에 기반하여 상기 튜닝 셋에 가중치를 할당하고,
    상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    획득된 대기 정보 중 안개 또는 미세먼지의 수준에 따라 상기 튜닝 셋에 대한 가중치를 할당하고,
    상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하고,
    상기 안개 또는 미세먼지의 수준은 적어도 5단계로 구분되는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 통신 회로를 통해 대기 정보를 획득하여 상기 메모리에 저장하고, 저장된 대기 정보를 카메라 어플리케이션에 제공하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 카메라 어플리케이션의 실행에 응답하여 복수의 튜닝 셋을 결정하고,
    상기 복수의 튜닝 셋 중 제1 튜닝 셋은 안개 정보에 대응되고, 제2 튜닝 셋은 미세먼지 정보에 대응되는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 이미지 데이터의 화질 튜닝은, 화이트 밸런스(white balance), 컬러 보정(color correction), 노이즈 감소(noise reduction), 엣지 개선(edge enhancement) 중 적어도 하나를 포함하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 이미지 센서를 통해 획득한 이미지를 분석하여 상기 대기 정보를 획득하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 보정이 수행된 이미지 데이터에 대해 상기 보정의 정도를 조절하는 사용자의 입력을 획득하는 경우, 상기 적어도 하나의 프로세서는 상기 획득한 이미지 데이터에 대해 후처리를 수행하는, 전자 장치.
  9. 청구항 1에 있어서,
    상기 보정이 수행된 이미지 데이터에 대해 상기 보정을 변경하는 사용자의 입력을 획득하는 경우, 상기 적어도 하나의 프로세서는 상기 튜닝 셋을 재설정하거나 상기 튜닝 셋을 추가 설정하는, 전자 장치.
  10. 청구항 1에 있어서,
    상기 보정이 수행된 이미지 데이터에 대해 보정을 초기화하는 사용자의 입력을 획득하는 경우, 상기 보정이 적용되지 않은 이미지를 디스플레이를 통해 출력하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    통신 회로를 통해 외부 장치로부터 대기 정보를 획득하는 동작;
    카메라 어플리케이션을 실행하는 동작;
    상기 카메라 어플리케이션의 실행에 응답하여, 이미지 센서를 통해 이미지 데이터를 획득하는 동작;
    상기 획득된 대기 정보에 기반하여 상기 이미지 데이터의 화질 튜닝을 위한 튜닝 셋(tuning set)를 결정하는 동작;
    상기 결정된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 보정을 수행하는 동작은,
    획득된 대기 정보에 기반하여 상기 튜닝 셋에 가중치를 할당하는 동작; 및
    상기 가중치가 할당된 튜닝 셋에 기반하여 상기 획득된 이미지 데이터에 대한 보정을 수행하는 동작을 더 포함하는 방법.
  13. 청구항 11에 있어서,
    상기 획득된 대기 정보 중 안개 또는 미세먼지의 수준을 적어도 5단계로 구분하는 동작;
    상기 구분된 단계에 기반하여 상기 튜닝 셋에 가중치를 할당하는 동작을 포함하는 방법.
  14. 청구항 11에 있어서,
    상기 카메라 어플리케이션의 실행에 응답하여 복수의 튜닝 셋을 결정하는 동작,
    상기 복수의 튜닝 셋 중 제1 튜닝 셋은 안개 정보에 대응되고, 제2 튜닝 셋은 미세먼지 정보에 대응됨;
    을 포함하는 방법.
  15. 청구항 11에 있어서,
    상기 대기 정보를 획득하는 동작은,
    상기 이미지 센서를 통해 획득한 이미지를 분석하여 상기 대기 정보를 획득하는, 방법.
PCT/KR2021/005261 2020-05-11 2021-04-26 이미지 처리 방법 및 그 전자 장치 WO2021230532A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0056097 2020-05-11
KR1020200056097A KR20210137799A (ko) 2020-05-11 2020-05-11 이미지 처리 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
WO2021230532A1 true WO2021230532A1 (ko) 2021-11-18

Family

ID=78525185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005261 WO2021230532A1 (ko) 2020-05-11 2021-04-26 이미지 처리 방법 및 그 전자 장치

Country Status (2)

Country Link
KR (1) KR20210137799A (ko)
WO (1) WO2021230532A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015103167A (ja) * 2013-11-27 2015-06-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
US20160071253A1 (en) * 2013-07-29 2016-03-10 Nokia Technologies Oy Method and apparatus for image enhancement
JP2017130060A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20180308225A1 (en) * 2016-08-20 2018-10-25 Adobe Systems Incorporated Systems and techniques for automatic image haze removal across multiple video frames
US20190180423A1 (en) * 2019-02-13 2019-06-13 Intel Corporation Method and system of haze reduction for image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071253A1 (en) * 2013-07-29 2016-03-10 Nokia Technologies Oy Method and apparatus for image enhancement
JP2015103167A (ja) * 2013-11-27 2015-06-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2017130060A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20180308225A1 (en) * 2016-08-20 2018-10-25 Adobe Systems Incorporated Systems and techniques for automatic image haze removal across multiple video frames
US20190180423A1 (en) * 2019-02-13 2019-06-13 Intel Corporation Method and system of haze reduction for image processing

Also Published As

Publication number Publication date
KR20210137799A (ko) 2021-11-18

Similar Documents

Publication Publication Date Title
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2020032555A1 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
WO2020032473A2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
WO2019035601A1 (en) IMAGE EDITING APPARATUS USING A DEPTH CARD AND ITS METHOD
WO2021141445A1 (en) Method of improving image quality in zoom scenario with single camera, and electronic device including the same
WO2020171512A1 (en) Electronic device for recommending composition and operating method thereof
WO2019164185A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
WO2019156308A1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
WO2020130654A1 (en) Camera module having multi-cell structure and portable communication device including the same
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2021141287A1 (ko) 카메라 프리뷰를 제공하는 전자 장치 및 그 방법
WO2021157954A1 (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2021162307A1 (ko) 전자 장치 및 그의 hdr 영상 생성 방법
WO2020190008A1 (en) Electronic device for auto focusing function and operating method thereof
WO2021194161A1 (ko) 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치
WO2021246736A1 (ko) 이미지 처리 장치 및 이미지 처리 방법
WO2022010193A1 (ko) 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
WO2021162396A1 (ko) 복수의 콘텐츠를 생성하는 방법 및 그 전자 장치
WO2020153704A1 (ko) 전자 장치 및 이를 이용한 카메라의 가림을 인식하는 방법
WO2021172901A1 (ko) 카메라 프리뷰를 제공하는 전자 장치 및 그 동작 방법
WO2021230532A1 (ko) 이미지 처리 방법 및 그 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803175

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21803175

Country of ref document: EP

Kind code of ref document: A1