WO2022039424A1 - 흔들림을 보정하는 방법 및 그 전자 장치 - Google Patents

흔들림을 보정하는 방법 및 그 전자 장치 Download PDF

Info

Publication number
WO2022039424A1
WO2022039424A1 PCT/KR2021/010431 KR2021010431W WO2022039424A1 WO 2022039424 A1 WO2022039424 A1 WO 2022039424A1 KR 2021010431 W KR2021010431 W KR 2021010431W WO 2022039424 A1 WO2022039424 A1 WO 2022039424A1
Authority
WO
WIPO (PCT)
Prior art keywords
processor
shake correction
electronic device
camera
intensity
Prior art date
Application number
PCT/KR2021/010431
Other languages
English (en)
French (fr)
Inventor
이보희
안병호
박지윤
전재희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN202180051653.0A priority Critical patent/CN115989680A/zh
Priority to EP21858511.5A priority patent/EP4199496A4/en
Publication of WO2022039424A1 publication Critical patent/WO2022039424A1/ko
Priority to US18/112,310 priority patent/US20230209193A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Definitions

  • Embodiments disclosed in this document relate to an electronic device and a method for compensating for shake when photographing a camera.
  • shake correction methods include optical image stabilization (OIS) and digital image stabilization (DIS).
  • OIS optical image stabilization
  • DIS digital image stabilization
  • the optical image stabilization method e.g. OIS
  • OIS optical image stabilization
  • DIS digital image stabilization
  • the digital image stabilization method is a method borrowed from a portable terminal and refers to a method of reducing shake by digital processing. .
  • the user may enlarge the preview screen at a very high magnification.
  • the electronic device outputs only a part of the image data acquired by the image sensor as preview data or stores it as an image file.
  • the image stabilization range is the size of the preview image and the image data acquired through the camera. Because it is calculated as a ratio, the shake compensation performance eventually deteriorates.
  • shake correction since the above shake correction does not separate and compensate for fine movement and fine adjustment by the user, the shake correction may not be performed differently from the user's intention or the correction may be performed with an undesired intensity of correction.
  • shake compensation should not be applied to image motion caused by a user intentionally moving an electronic device to change a field of view (FOV).
  • FOV field of view
  • Various embodiments of the present disclosure may provide an electronic device and a control method of the electronic device for stably photographing an object by performing shake correction for a shake unintended by a user during high-magnification photographing.
  • An electronic device may include a camera, a display, and at least one processor electrically connected to the camera and the display.
  • the at least one processor drives the camera to obtain image data, outputs a preview image for the image data through the display based on a set magnification, and when the set magnification is greater than a reference magnification, the camera At least one object included in the preview image obtained through
  • the method of operating an electronic device includes an operation of acquiring image data by driving a camera, an operation of outputting a preview image of the image data through a display based on a set magnification, and the When the set magnification is greater than the reference magnification, based on an operation of detecting at least one object included in the preview image acquired through the camera and whether the at least one object is detected, shake correction for the preview image may include an operation to perform
  • the electronic device may include a camera and at least one processor electrically connected to the camera.
  • the at least one processor drives the camera to acquire image data, determines a margin area for shake correction in response to a user's zoom input, and displays a preview image for the image data based on a set magnification. and when the set magnification is greater than the reference magnification, the intensity of the shake correction is increased in response to a first trigger event for increasing the intensity of the shake correction, and the shake correction intensity is increased while the shake correction intensity is increased.
  • the shake correction intensity may be reduced in response to the second trigger event.
  • a shake correction function may be automatically provided according to recognizing an object to be photographed.
  • FIG 1 illustrates an electronic device according to an embodiment.
  • FIG. 2 is a block diagram illustrating an operation for performing image shake correction in an electronic device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating an operation of performing shake correction according to whether an object is detected in an electronic device according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating an operation of changing a parameter value related to shake compensation according to whether detection of an object satisfies a predetermined condition in an electronic device according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating an operation of adjusting a shake compensation intensity according to whether a trigger event related to shake compensation occurs in an electronic device according to an exemplary embodiment.
  • FIG. 6 is a graph illustrating a change in the intensity of shake compensation according to whether a trigger event related to shake compensation occurs in the electronic device according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating a user interface related to a trigger event that increases the shake correction intensity in the electronic device according to an exemplary embodiment.
  • FIG. 8 illustrates a user interface related to a trigger event for lowering the shake correction intensity in the electronic device according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating a margin area in an electronic device according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating an operation of changing an intensity of shake correction by determining a movement of an electronic device according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating an operation of controlling a display when a trigger event related to shake compensation occurs in an electronic device according to an exemplary embodiment.
  • FIG. 12 illustrates that the display of the display changes as a trigger event related to shake compensation occurs in the electronic device according to an exemplary embodiment.
  • FIG. 13 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 14 is a block diagram illustrating a camera module according to various embodiments of the present disclosure.
  • FIG 1 illustrates an electronic device according to an embodiment.
  • a display 110 may be disposed on a front surface of an electronic device 100 (eg, the electronic device 1301 of FIG. 13 ) according to an embodiment.
  • the display 110 may occupy most of the front surface of the electronic device 100 .
  • a display 110 and a bezel 120 region surrounding at least some edges of the display 110 may be disposed on the front surface of the electronic device 100 .
  • the display 110 includes a flat area 111 and a curved area 112 extending from the flat area 111 toward the side of the electronic device 100 . can do. Although the curved area 112 is displayed on only one side (eg, the left side) in FIG.
  • the curved area is also formed on the opposite side.
  • the electronic device 100 illustrated in FIG. 1 is an example, and various embodiments are possible.
  • the display 110 of the electronic device 100 may include only the flat area 111 without the curved area 112 , or may include the curved area 112 only at one edge instead of both sides.
  • the curved area may extend toward the rear surface of the electronic device 100 , so that the electronic device 100 may include an additional planar area.
  • the fingerprint sensor 141 for recognizing a user's fingerprint may be included in the first area 140 of the display 110 . Since the fingerprint sensor 141 is disposed on a lower layer of the display 110 , the fingerprint sensor 141 may not be recognized by the user or may be difficult to recognize. Also, in addition to the fingerprint sensor 141 , a sensor for additional user/biometric authentication may be disposed in a portion of the display 110 . In another embodiment, a sensor for user/biometric authentication may be disposed in one area of the bezel 120 . For example, the IR sensor for iris authentication may be exposed through one area of the display 110 or exposed through one area of the bezel 120 .
  • the sensor 143 may be included in at least one area of the bezel 120 of the electronic device 100 or at least one area of the display 110 .
  • the sensor 143 may be a sensor for detecting a distance and/or a sensor for detecting an object.
  • the sensor 143 may be disposed at a distance adjacent to a camera module (eg, the front camera 131 and the rear camera 132) or may be formed as a single module with the camera module.
  • the sensor 143 operates as at least a part of an infrared (IR) camera (eg, a time of flight (TOF) camera, a structured light camera) or a sensor module (eg, the sensor module 1376 of FIG. 13 ). It may be operated at least in part.
  • IR infrared
  • TOF time of flight
  • structured light camera a sensor module
  • the front camera 131 may be disposed on the front side of the electronic device 100 .
  • the front camera 131 is illustrated as being exposed through one area of the display 110 , but in another embodiment, the front camera 131 may be exposed through the bezel 120 .
  • the display 110 is on the back of the screen display area (eg, the flat area 111, the curved area 112), a sensor module (eg, the sensor module 1376 of FIG. 13), a camera module ( Example: it may include at least one of a front camera 131 , a rear camera 132 , the camera module 1380 of FIG. 13 ), and a light emitting device (eg, an LED).
  • a sensor module eg, the sensor module 1376 of FIG. 13
  • a camera module Example: it may include at least one of a front camera 131 , a rear camera 132 , the camera module 1380 of FIG. 13
  • a light emitting device eg, an LED
  • a camera module may be disposed on the rear surface of at least one of the front surface, the side surface, and/or the rear surface of the electronic device 100 to face the front surface, the side surface, and/or the rear surface.
  • the front camera 131 may be a hidden under display camera (UDC) that is not visually exposed to the screen display area (eg, the flat area 111 or the curved area 112 ).
  • the electronic device 100 may include one or more front cameras 131 .
  • the electronic device 100 may include two front cameras, such as a first front camera and a second front camera.
  • the first front camera and the second front camera may be cameras of the same type having the same specifications (eg, pixels), but the first front camera and the second front camera may be implemented as cameras of different specifications.
  • the electronic device 100 may support a function (eg, 3D imaging, auto focus, etc.) related to a dual camera through two front cameras.
  • a rear camera 132 may be disposed on the rear side of the electronic device 100 .
  • the rear camera 132 may be exposed through the camera area 130 of the rear cover 160 .
  • the electronic device 100 may include a plurality of rear cameras disposed in the camera area 130 .
  • the electronic device 100 may include two or more rear cameras.
  • the electronic device 100 may include a first rear camera, a second rear camera, and a third rear camera.
  • the first rear camera, the second rear camera, and the third rear camera may have different specifications.
  • the first rear camera and the second rear camera and/or the third rear camera may have FOV, pixel, iris, optical zoom/digital zoom support, image stabilization function, and the set of lenses included in each camera.
  • the first rear camera may be a general camera
  • the second rear camera may be a wide-angle camera (wide-angle camera)
  • the third rear camera may be a telephoto camera.
  • descriptions of functions or characteristics of the front camera may be applied to the rear camera, and vice versa.
  • various hardware or sensors that assist photographing such as a flash 145, may be additionally disposed in the camera area 130 .
  • various sensors such as a distance sensor for detecting a distance between the subject and the electronic device 100 may be further included.
  • the distance sensor may be disposed at a distance adjacent to a camera module (eg, the front camera 131 and the rear camera 132) or may be formed as a single module with the camera module.
  • the distance sensor operates as at least a part of an infrared (IR) camera (eg, a time of flight (TOF) camera, a structured light camera) or at least a part of a sensor module (eg, the sensor module 1376 of FIG. 13 ).
  • IR infrared
  • TOF time of flight
  • the TOF camera may be operated as at least a part of a sensor module (eg, the sensor module 1376 of FIG. 13 ) for detecting a distance to the subject.
  • At least one physical key may be disposed on a side portion of the electronic device 100 .
  • the first function key 151 for turning on/off the display 110 or turning on/off the power of the electronic device 100 may be disposed on the right edge with respect to the front surface of the electronic device 100 .
  • the second function key 152 for controlling the volume or screen brightness of the electronic device 100 may be disposed on the left edge with respect to the front surface of the electronic device 100 .
  • additional buttons or keys may be disposed on the front or rear of the electronic device 100 .
  • a physical button or a touch button mapped to a specific function may be disposed in a lower region of the front bezel 120 .
  • the electronic device 100 illustrated in FIG. 1 corresponds to one example, and the form of the device to which the technical idea disclosed in this document is applied is not limited.
  • the technical idea disclosed in this document may be applied to a foldable electronic device that can be folded in a horizontal direction or a foldable electronic device in a vertical direction, a tablet, or a notebook computer.
  • the electronic device 100 of the illustrated example has a bar-type or plate-type appearance, various embodiments of the present disclosure are not limited thereto.
  • the illustrated electronic device may be a part of a rollable electronic device.
  • the term “rollable electronic device” means that the display 110 can be bent and deformed, so that at least a part of it can be wound or rolled or accommodated inside the electronic device 100 . can do.
  • the rollable electronic device has a screen display area (eg, a flat area 111 , a curved area 112 ) by unfolding the display 110 or exposing a larger area of the display 110 to the outside according to the user's needs. can be used to expand .
  • the display 110 may also be referred to as a slide-out display or an expandable display.
  • FIG. 2 is a block diagram illustrating an operation for performing image shake correction in an electronic device according to an exemplary embodiment.
  • the configuration and/or function described in FIG. 1 may be briefly described or the description may be omitted.
  • the electronic device 100 may use a hardware and/or software module to support functions for performing image shake correction.
  • the processor 210 eg, the processor 1320 in FIG. 13
  • the shake correction module 203 and the photographing control module 205 may be driven.
  • software modules other than those shown in FIG. 2 may be implemented. For example, at least two modules may be integrated into one module, or one module may be divided into two or more modules.
  • work performance can be improved by sharing a function between hardware and software modules.
  • the electronic device 100 may include both an encoder implemented as hardware and an encoder implemented as a software module, and a part of data acquired through at least one camera module is a hardware encoder, and the other part is software. The encoder can handle it.
  • the trigger module 201 may generate a trigger signal through a user input and/or object detection.
  • the trigger module 201 may provide the generated trigger signal to the shake correction module 203 .
  • the trigger signal may include a first trigger event and a second trigger event.
  • the first trigger event may be understood as a trigger event for increasing the intensity of shake correction.
  • the second trigger event may be understood as a trigger event for reducing the intensity of shake correction.
  • the first trigger event may be referred to or referred to as a lock trigger.
  • the second trigger event may be referred to or referred to as an unlock trigger.
  • the user input may include at least a user input through a display touch and/or a user input through a button input.
  • the button input may include a physical button and/or a virtual button.
  • the display touch input may share an auto focus (AF) signal.
  • the display touch input may include a user's touch input for the AF display generated as the auto focus (AF) is performed.
  • the object detection may include detecting the object through analysis of image data acquired through the camera 220 (eg, the camera module 1380 of FIG. 13 ).
  • object detection may include natural object (eg, moon, sun) detection, face detection, body detection, and gesture detection.
  • the object detection may include detecting not only a basic shape of a natural object but also a deformed shape. For example, it may include detecting not only the moon in the form of a full moon, but also the moon in various forms such as a new moon and a rising moon.
  • detecting the object may include detecting at least one object through various detection methods.
  • the trigger module 201 may detect an object using artificial intelligence (AI) such as machine learning.
  • AI artificial intelligence
  • the object detection may include detecting the object through a segmentation method (eg, segmentation) and/or an edge detection method.
  • the edge detection method may be understood as a method of detecting an object using a difference in color values of pixels.
  • the various detection methods are not limited to the above-mentioned segmentation method and edge detection method, and may include various previously disclosed methods.
  • the trigger module 201 may transmit information about the specific gesture to the shooting control module 205 .
  • the shake compensation module 203 may calculate a motion of the electronic device through a motion sensor included in the electronic device 100 .
  • the shake correction module 203 may calculate a position (eg, a current position) of the electronic device 100 and/or a position of the trigger occurrence time in order to fix a field of view (FOV) at the trigger occurrence time.
  • the shake compensation module 203 may obtain a trigger signal transmitted from the trigger module 201 to adjust the intensity of shake compensation. For example, when a lock trigger event occurs, the shake compensation module 203 may increase the intensity of shake compensation based on the position of the lock trigger occurrence point of the electronic device 100 . When an unlock trigger event occurs, the shake compensation module 203 may reduce the intensity of shake compensation.
  • the motion sensor may include an acceleration sensor, a gyro sensor (gyroscope), a magnetic sensor, or a Hall sensor.
  • these sensors are exemplary, and the motion sensor may further include at least one other type of sensor.
  • the acceleration sensor is a sensor configured to measure an acceleration acting on three axes (eg, X-axis, Y-axis, or Z-axis) of the electronic device 100 , and using the measured acceleration, the electronic device 100 ) may be measured, estimated, and/or sensed.
  • three axes eg, X-axis, Y-axis, or Z-axis
  • the gyro sensor is a sensor configured to measure an angular velocity acting on three axes (eg, X-axis, Y-axis, or Z-axis) of the electronic device 100 , and uses information on the measured angular velocity of each axis The amount of rotation about each axis of the device 100 may be measured and/or sensed.
  • the magnetic (geomagnetism, geomagnetic field) sensor and the Hall sensor may include a transmitter for generating a magnetic field of a specific frequency and a receiver for receiving the magnetic field generated by the transmitter, and A movement direction and/or a movement distance may be obtained.
  • the magnetic (geomagnetic) sensor may measure the orientation using a magnetic field and magnetic force, and the Hall sensor may detect the strength of the magnetic field to confirm the movement of the electronic device 100 .
  • the hall sensor may be configured as at least a part of the camera 220 (eg, the camera module 1380 of FIG. 14 ) to perform a function of an image stabilizer (eg, the image stabilizer 1440 of FIG. 14 ).
  • the camera 220 may perform an image stabilization function by using a coil and/or a magnet of an image stabilizer (eg, the image stabilizer 1440 of FIG. 14 ), and a change in a magnetic field identified through a Hall sensor Based on the position displacement of the magnet can be confirmed.
  • an image stabilization function by using a coil and/or a magnet of an image stabilizer (eg, the image stabilizer 1440 of FIG. 14 ), and a change in a magnetic field identified through a Hall sensor Based on the position displacement of the magnet can be confirmed.
  • the shooting control module 205 may provide a user interface (UI)/graphical UI (GUI) associated with the camera to the user through the display 110 .
  • the shooting operation may be controlled in response to a user input provided through the UI/GUI output on the display 110 .
  • the shooting control module 205 may obtain a recording start/stop input from the user, and transmit the obtained recording start/stop input to the encoder.
  • the input obtained from the user may include an input obtained through a voice recognition function or may include detecting a specific gesture. For example, when recognizing voices such as “take a picture”, “take a picture”, and “stop shooting”, the processor 210 may start/stop shooting in response thereto. Alternatively, when the processor 210 detects the gesture of showing the palm, the processor 210 may start/stop photographing in response thereto.
  • the display 110 may display contents such as an execution screen of an application executed by the processor 210 or images and/or videos stored in the memory 230 on the display 110 .
  • the processor 210 may display the image data acquired through the camera 220 on the display 110 in real time.
  • the display 110 may output the preview area cropped and/or resized to fit the resolution of the current preview image as the preview image.
  • the image signal processor 240 may perform a stabilization operation on images obtained from the camera 220 .
  • the stabilization operation may include at least one of auto exposure (AE), auto focus (AF), and auto white balance (AWB).
  • the image signal processor 240 may improve the quality of an image obtained through an appropriate image quality adjustment/tuning operation in addition to auto exposure, auto focus, and/or auto white balance, or apply a desired effect.
  • the functions performed by the trigger module 201 , the shake correction module 203 , and the shooting control module 205 are performed by the processor 210 with instructions stored in the memory 230 (eg: It may be understood as being performed by executing an instruction.
  • the electronic device 100 may use one or more hardware processing circuits to perform various functions and operations disclosed in this document.
  • an application processor (AP) included in a mobile device an image signaling processor (ISP) mounted in a camera module, a display driver integrated circuit (DDIC), a touch IC, a communication processor (CP), a hardware encoder, etc.
  • ISP image signaling processor
  • DDIC display driver integrated circuit
  • CP communication processor
  • CP communication processor
  • the connection relationship between hardware/software illustrated in FIG. 2 is for convenience of description and does not limit the flow/direction of data or commands.
  • Components included in the electronic device 100 may have various electrical/operational connection relationships.
  • FIG. 3 is a flowchart illustrating an operation of performing shake correction according to whether an object is detected in an electronic device according to an exemplary embodiment.
  • the embodiments described in FIG. 3 and the following drawings may be applied not only to photographing a still image, but also to photographing a moving picture.
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • An operating subject of the flowchart illustrated in FIG. 3 may be understood as a processor (eg, the processor 210 of FIG. 2 ) or an image signal processor (eg, the image signal processor 240 of FIG. 2 ).
  • the processor 210 may obtain image data by driving the camera 220 .
  • the processor 210 may execute a camera application.
  • the processor 210 may obtain an input of a user executing a camera application.
  • the user's input is "OOO, turn on the camera” through touching the icon of the camera application, clicking the first function key 151 or the second function key 152, and AI (artificial intelligence) voice recognition.
  • AI artificial intelligence
  • it may include at least one of inputting a voice such as “OOO, run the camera”.
  • the processor 210 may execute a camera application in response to at least one of the user's inputs.
  • the processor 210 may execute the camera application to drive the camera 220 .
  • the processor 210 may obtain image data through an image sensor (eg, the image sensor 1430 of FIG. 14 ) in the camera 220 by driving the camera 220 .
  • the image data may acquire various color values through a color filter array.
  • the color filter array may include an RGB color filter array.
  • the RGB is just one example, and the color filter array is an RGBE (red, green, blue, emerald) pattern, a CYYM (cyan, yellow, magenta) pattern, a CYGM (cyan, yellow, green, magenta) pattern, or an RGBW ( It may include a color filter array of red, green, blue, white) patterns.
  • the processor 210 may output a preview image for image data through the display 110 based on the set magnification. Outputting the preview image based on the set magnification may be referred to or referred to as the first mode.
  • the first mode may be understood as a mode in which image processing is performed with a default value before the intensity of shake correction is increased.
  • the processor 210 may display a preview image on the display based on a reference magnification (eg, x1.0 times). For example, when the camera application is executed, the processor 210 may display a preview image on at least a portion of the display 110 based on a reference magnification (eg, x1.0 times).
  • a reference magnification eg, x1.0 times
  • the processor 210 may determine an area to be output as a preview image by cropping some of the obtained image data.
  • the processor 210 may determine an area to be output as a preview image by cropping image data corresponding to the zoom input in response to a user's zoom input (eg, x1.5 times).
  • the processor 210 may upsize the determined area to output a preview image through the display 110 .
  • the processor 210 may detect at least one object included in the preview image while the set magnification is higher than the reference magnification.
  • a magnification higher than the reference magnification may be understood as a high magnification (eg, x5.0 or more) and/or an ultra-high magnification (eg, x50.0 or more).
  • the meaning of detecting the object may be understood to include the processor 210 analyzing the image data to detect the object through the object detection function, as well as selecting the object displayed on the preview image by the user.
  • the processor 210 may detect at least one object through the camera 220 .
  • the processor 210 may analyze the image data acquired through the camera 220 to detect at least one object through an object detection function.
  • Object detection may include detecting an object through a segmentation technique (eg, segmentation) and/or an edge detection method.
  • the processor 210 may determine the object based on data obtained through machine learning and/or deep learning.
  • the processor 210 may detect a crescent moon in the dark night sky through a function (eg, a scene optimizer) of the electronic device 100 .
  • the processor 210 may determine an object (eg, the moon) in consideration of an average shape of an object (eg, the moon) and an average color of the object (eg, the moon).
  • the processor 210 may detect the object in response to a user input for selecting an object displayed on the preview image.
  • the user's input may be understood as the user's input through at least a touch on the display.
  • the processor 210 may display an auto focus (AF) on the object displayed in the preview image, and detect the object in response to a user input selecting the AF display.
  • AF auto focus
  • the processor 210 may perform shake correction on the preview image based on whether at least one object is detected.
  • the processor 210 may control the intensity of shake correction in response to detecting at least one object. For example, when at least one object is detected, the processor 210 may increase the intensity of shake correction in order to stably photograph the detected object.
  • the state in which the intensity of the shake correction is increased may be referred to or referred to as the second mode in this document.
  • the second mode may be understood as a mode in which image processing is performed by increasing the intensity of shake correction in response to detecting the object.
  • the processor 210 may operate in the first mode when the set magnification is higher than the reference magnification and the object is not detected in the preview image.
  • FIG. 4 is a flowchart illustrating an operation of changing a parameter value related to shake compensation according to whether detection of an object satisfies a predetermined condition in an electronic device according to an exemplary embodiment.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the operating subject of the flowchart illustrated in FIG. 4 may be understood as a processor (eg, the processor 210 of FIG. 2 ) or an image signal processor (eg, the image signal processor 240 of FIG. 2 ).
  • the processor 210 may output a preview image for image data through the display 110 based on the set magnification. Operation 410 may correspond to operation 320 of FIG. 3 .
  • the processor 210 may perform shake correction by using a parameter value related to shake correction as a first value.
  • the processor 210 may perform shake correction while maintaining a parameter value related to shake compensation as a default value in the normal photographing mode.
  • the processor 210 may determine whether at least one object is detected within a specified area in the preview image for a predetermined time. For example, the processor 210 may check whether a predetermined condition is satisfied in order to determine whether the user intends to photograph the object detected in the preview image. For example, when the object is continuously detected for N frames, the processor 210 may change a parameter related to shake correction to output a stable preview image. As another example, when the object is not continuously detected for N frames, the processor 210 may not change the shake compensation parameter.
  • the predetermined time may be calculated in units of frames or in units of seconds.
  • the processor 210 may determine based on a center point of the detected object. For example, the processor 210 may determine whether the center point of the detected object is included within a predetermined ratio (eg, 50%) in the preview image. The processor 210 may perform operation 440 when at least one object is detected within a designated area in the preview image for a predetermined time, and otherwise perform operation 420 .
  • a predetermined ratio eg, 50%
  • the processor 210 may perform shake compensation by changing a parameter value related to shake compensation to a second value different from the first value.
  • the second value may be greater than the first value.
  • the processor 210 may minimize noise corresponding to shaking by increasing a coefficient of a low-pass filter.
  • the low-pass filter may be included in a path through which the processor 210 acquires the image data from the image sensor of the camera 220 .
  • FIG. 5 is a flowchart illustrating an operation of adjusting a shake compensation intensity according to whether a trigger event related to shake compensation occurs in an electronic device according to an exemplary embodiment.
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the operating subject of the flowchart illustrated in FIG. 5 may be understood as a processor (eg, the processor 210 of FIG. 2 ) or an image signal processor (eg, the image signal processor 240 of FIG. 2 ).
  • the processor 210 may output a preview image of the acquired image data through the display 110 . This may correspond to operation 320 of FIG. 3 .
  • the processor 210 may determine a margin area for shake correction based on the obtained zoom magnification.
  • the margin area may be understood as a difference between an input image acquired through the camera 220 and an output image to be output as a preview image.
  • the description of the margin area may be additionally described with reference to FIG. 9 below.
  • the processor 210 may determine whether a first trigger event has occurred.
  • the first trigger may be referred to or referred to as a zoom lock trigger or a FoV fixing trigger.
  • the zoom lock trigger may refer to an event that causes the electronic device 100 to perform a shake correction function in order to stabilize the field of view of an output image.
  • the zoom lock trigger may include at least one of a user's display touch input, a user's button input, a user's voice input, and object detection.
  • the user's display touch input may include a case in which the user touches an object to be photographed. Touching the object to be photographed may be shared with an auto focus (AF) function. For example, when the AF mark for the object is displayed, touching the object may include a user's input of touching the AF mark.
  • the user's voice input may include inputting a voice such as "OOO, fix the camera" or "OOO, increase the camera shake intensity" through artificial intelligence (AI) voice recognition.
  • AI artificial intelligence
  • the zoom lock trigger may be performed based on a state change (eg, an unfolded state or an extended state) of the electronic device 100 .
  • the electronic device 100 may display a preview image corresponding to a zoom lock trigger in an expanded display area (eg, a screen display area) based on a change in which the display 110 (eg, a flexible display) is expanded or expanded.
  • a user interface eg, the user interface 1210 of FIG. 12
  • a highlight eg, the highlight 1220 of FIG. 12
  • the processor 210 may perform operation 540 when a first trigger event occurs, and otherwise perform operation 510 .
  • the zoom lock trigger may include detecting an object to be photographed (eg, a moon).
  • the processor 210 may increase the intensity of shake correction.
  • the processor 210 may increase the intensity of shake correction in response to the occurrence of the first trigger event.
  • the processor 210 may output an image on which shake correction has been performed through the display 110 .
  • the processor 210 may perform shake correction based on the increased intensity of shake correction in operation 540 .
  • the processor 210 may output the preview image on which the shake correction has been performed to the display 110 .
  • the processor 210 may determine whether a second trigger event has occurred.
  • the second trigger may be referred to or referred to as a zoom unlock trigger or a FoV moving trigger.
  • the zoom unlock trigger may mean an event that causes the electronic device 100 to stop the shake correction function or decrease the intensity of the shake correction function so that the field of view of the output image moves.
  • the zoom unlock trigger may include a user's display touch input and a button input in the zoom-locked second mode.
  • the processor 210 may recognize as a zoom unlock trigger when an input for touching an object being photographed and/or a button input (eg, a zoom unlock button) is obtained in the second mode in the zoom lock state.
  • the zoom unlock trigger may include a case in which a detected object is not detected in the zoom-locked second mode.
  • the processor 210 may recognize it as a zoom unlock trigger.
  • the processor 210 may recognize the image data acquired through the camera 220 as a zoom unlock trigger when the detected object is not detected on the image data by analyzing the image data.
  • the zoom unlock trigger may include a case in which there is no further correction margin in the zoom-locked second mode.
  • the zoom unlock trigger may include a case in which the preview image of the current frame deviates from the margin area determined at the time when the first trigger event occurs.
  • the zoom unlock trigger may be performed based on a state change (eg, a folded state or a reduced state) of the electronic device 100 .
  • the electronic device 100 may display a preview image corresponding to a zoom unlock trigger in the reduced display area (eg, a screen display area) based on a change in which the display 110 (eg, flexible display) is folded or reduced.
  • a user interface eg, the user interface 1210 of FIG. 12
  • showing a cropped region from raw image data may be displayed.
  • the zoom unlock trigger may include a case in which the processor 210 detects a movement exceeding a threshold speed by analyzing the movement of the electronic device 100 in the zoom-locked second mode. A description related thereto is additionally described with reference to FIG. 10 .
  • the processor 210 may perform operation 570 when the second trigger event occurs, and perform operation 550 otherwise.
  • the processor 210 may perform shake correction while reducing the intensity of the correction.
  • the processor 210 may gradually decrease the strength of the correction. For example, the processor 210 may lower it to the reference value for the first time period.
  • the processor 210 may output a preview image on which shake correction has been performed for every frame while reducing the intensity of the shake correction. For example, a state in which the intensity of correction is gradually reduced may be referred to or referred to as a third mode in various embodiments of the present document.
  • the processor 210 may determine whether the intensity of correction is lower than a reference value.
  • the processor 210 may determine whether the intensity of the correction is lower than the reference value, and may gradually decrease the intensity of the correction until the intensity of the shake correction is reduced to the reference value.
  • the processor 210 may perform operation 590 when the intensity of the correction is lower than the reference value, and perform operation 570 otherwise.
  • the processor 210 may output a preview image of the acquired image data through the display 110 .
  • the processor 210 displays a preview image on which the shake correction has been performed in response to the reference value on the display 110 . can be printed out.
  • FIG. 6 is a graph illustrating a change in the intensity of shake compensation according to whether a trigger event related to shake compensation occurs in the electronic device according to an exemplary embodiment.
  • FIG. 6 is a graph for helping the understanding of the shake correction intensity described in FIG. 5 . Since the shake correction intensity, the first trigger event, and the second trigger event mentioned in FIG. 6 are the same as those described in FIG. 5 , descriptions thereof may be omitted in FIG. 6 .
  • the processor 210 may increase the intensity of shake correction to a maximum value.
  • the first trigger event may be referred to or referred to as a lock trigger.
  • the processor 210 may output a preview image in which shake is minimized by maintaining the intensity of shake correction at a minimum value until the first trigger event occurs, and increasing the intensity of shake correction to the maximum in response to the first trigger event.
  • the processor 210 may reduce the intensity of shake correction to a minimum value.
  • the second trigger event may be referred to or referred to as an unlock trigger.
  • FIG. 7 is a diagram illustrating a user interface related to a trigger event that increases the shake correction intensity in the electronic device according to an exemplary embodiment.
  • the processor 210 may output a user interface such as screen 701 on the display 110 of the electronic device 100 .
  • the user interface of the application may include a first area 710 in which a photographing icon 711 , a camera switching icon 712 , a recent image icon 713 , and the like are disposed.
  • an icon may be replaced with an expression of a button, a menu, an object, or the like.
  • the icons shown in the first area 710 in FIG. 7 are exemplary, and four or more icons may be disposed, or an arbitrary icon may be replaced with another icon or omitted.
  • the user interface includes a second area ( 720) may be included.
  • the user can change the shooting mode.
  • the screen ⁇ 701> indicates a photo shooting mode, but when a user input for sliding the display 110 from right to left is sensed, the processor 210 sets the shooting mode to video shooting. mode can be changed.
  • the electronic device 100 may support three or more photographing modes, and various photographing modes not shown may be switched and displayed in the second area 720 through the user input as described above.
  • the user interface may include a third area 730 in which an image being captured is displayed, such as a preview image.
  • the preview image or the real-time captured image may be output over an area other than the third area 730 .
  • the image may be output to a region including the second region 720 or the fourth region 740 in addition to the third region 730 .
  • the real-time captured image may be extended to the first area 710 .
  • the user interface may include a fourth area 740 in which setting menus for setting settings, flash, aspect ratio, and the like are displayed. Parameters included in the configuration information may be set through the fourth area 740 . For example, the user may set the resolution, frame rate, filter, aspect ratio, etc. of the video to be recorded by selecting the setting icon included in the fourth area or the aspect ratio icon.
  • the processor 210 may display a user interface 750 showing a cropped area on the display 110 .
  • the user interface 750 may be referred to or referred to as a zoom map.
  • the processor 210 may display the zoom map on the display 110 at a predetermined zoom magnification or higher. For example, when the processor 210 does not display the zoom map at the first zoom factor (eg, x1 zoom factor) and acquires a zoom input greater than or equal to the second zoom factor (eg, x10 zoom factor), the display ( 110) may display the zoom map.
  • the first zoom factor eg, x1 zoom factor
  • the second zoom factor eg, x10 zoom factor
  • the processor 210 may display the zoom map based on the optical zoom input and the digital zoom input. For example, if the processor 210 obtains the user's zoom magnification input after acquiring image data for a predetermined zoom magnification through optical zoom, at least a portion of the image for the predetermined zoom magnification may be cropped. there is.
  • the processor 210 may adjust the size of the cropped area displayed on the zoom map based on the zoom magnification. For example, in the case of the first magnification (eg, the maximum zoom magnification), the processor 210 may display the size of the cropped area displayed on the zoom map as the first size (eg, the minimum size). When the magnification (eg, second magnification) is smaller than the first magnification (eg, the maximum zoom magnification), the processor 210 sets the size of the cropped area displayed on the zoom map to the first size (eg, the minimum size). It can be displayed in a larger size (eg, the second size).
  • the magnification eg, the maximum zoom magnification
  • the processor 210 sets the size of the cropped area displayed on the zoom map to the first size (eg, the minimum size). It can be displayed in a larger size (eg, the second size).
  • the processor 210 may indicate a cropped area on the zoom map and not display the object.
  • the first area 710, the second area 720, the third area 730, and the fourth area ( 740) is shown to be maintained, but some areas may be omitted or modified before/after shooting start, camera switching operation, etc. depending on the implementation method of the application.
  • the description of the first region 710 , the second region 720 , the third region 730 , the fourth region 740 , and the user interface 750 as described above is illustrated in FIG. 8 .
  • the same can be applied to example screens ⁇ 801>, ⁇ 802>, and ⁇ 803> and screens ⁇ 1201>, ⁇ 1202>, ⁇ 1203>, and ⁇ 1204> of the embodiment of FIG. 12 .
  • the screen 701 may indicate a screen in which the object 741 is detected when the zoom magnification is enlarged to a certain zoom magnification or more in the photo taking mode after the camera application is executed.
  • the screen ⁇ 701> is a screen in which an object (eg, the moon) is detected in a state where a zoom operation is performed to a certain magnification (x20 zoom magnification) or higher through a user's zoom input after the photo shooting mode is executed.
  • the processor 210 may indicate that the object 741 has been detected by displaying a region of interest around the object 741 . Displaying the ROI may be shared with auto focus (AF) display.
  • the processor 210 may increase the intensity of shake correction in response to detecting the object 741 .
  • the screen 702 may indicate that the user's input 742 for selecting the object 741 shown in the preview image is obtained.
  • the processor 210 may increase the intensity of shake correction in response to obtaining the user's input 742 .
  • the screen 703 displays a user input (eg, a lock icon and/or a lock icon) for performing a shake correction function among the third area 730 of the display 110 . 743) can be shown.
  • the processor 210 may increase the intensity of shake correction in response to obtaining the user's input 743 for selecting the item.
  • FIG. 8 illustrates a user interface related to a trigger event for lowering the shake correction intensity in the electronic device according to an exemplary embodiment.
  • the screen 801 may indicate a case in which the object 810 detected in the photo capturing mode is not detected in the preview image after the camera application is executed.
  • the processor 210 may determine that the object 810 is not photographed and may lower the intensity of shake correction.
  • the processor 210 may determine that the object 810 is not photographed and may lower the intensity of shake correction. For example, when the object 810 deviates from the preview image for the first time, the processor 210 may lower the intensity of the shake correction. For example, when the object 810 deviates from the preview image at the first speed, the processor 210 may determine that the user does not photograph the object and may lower the intensity of shake correction.
  • the screen 802 may represent obtaining the user's input 820 for selecting the object 810 shown in the preview image.
  • the processor 210 may decrease the intensity of the shake correction in response to obtaining the user's input 820 while the intensity of the shake correction is increased.
  • the screen ⁇ 803> is an item (eg, a lock displayed icon and/or may represent obtaining an input 830 of the user selecting the lock icon).
  • the processor 210 may decrease the intensity of the shake correction in response to obtaining the user's input 830 for selecting the item while the intensity of the shake correction is increased.
  • items for performing a shake correction function (hereinafter, a zoom lock icon) are not limited to the illustrated example and may be changed in various ways.
  • the text displayed on the zoom lock icon may be changed.
  • unlock may be displayed in the first mode and/or the third mode, and may be displayed as lock in the second mode.
  • a color change indicating that the function is activated may be displayed.
  • a dark color eg, gray color
  • a light color eg, white, yellow
  • the processor 210 may acquire image data through the camera 220 .
  • the processor 210 may output a preview image through the display 110 based on the image data.
  • the processor 210 may crop image data obtained in response to a user's zoom input and output the cropped image data as a preview image to the display 110 .
  • the processor 210 may compare the difference between the raw image data obtained through the camera and the area of the preview image.
  • the processor 210 may determine the difference between the generated areas as a margin area.
  • a first case 910 may indicate that a preview image area is included in the acquired image data and a margin area is secured.
  • the second case 920 may represent a case in which the preview image is out of the acquired image data and there is no further correction margin area, that is, an unlock trigger event occurs.
  • the processor 210 may operate in a third mode in which the intensity of shake correction is lowered.
  • FIG. 10 is a flowchart illustrating an operation of changing an intensity of shake correction by determining a movement of an electronic device according to an exemplary embodiment.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the operating subject of the flowchart illustrated in FIG. 10 may be understood as a processor (eg, the processor 210 of FIG. 2 ) or an image signal processor (eg, the image signal processor 240 of FIG. 2 ).
  • the processor 210 may determine the movement of the electronic device 100 .
  • the processor 210 may analyze the movement of the electronic device 100 to determine whether a movement exceeding a threshold speed is detected.
  • the processor 210 may determine the movement of the electronic device 100 using at least one sensor (eg, a motion sensor).
  • the electronic device 100 may include at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
  • the processor 210 measures the azimuth, pitch, and roll values of the electronic device 100 through the motion data obtained from the at least one sensor, thereby controlling the movement of the electronic device 100 .
  • the motion data may include 3-axis motion data (x1, y1, z1) obtained from the acceleration sensor, or may include 9-axis motion data obtained by additionally using a gyro sensor and a geomagnetic sensor.
  • the processor 210 calculates a virtual coordinate space based on an azimuth (eg, a yaw, pitch, and/or roll value) measured from 9-axis motion data. can be formed
  • the processor 210 may classify one region of the virtual coordinate space as a landscape range and classify another region as a portrait range. For example, when the state of the electronic device 100 is included in the horizontal direction range, the processor 210 may determine that the direction of the electronic device 100 is the horizontal direction, and set the electronic device 100 to a horizontal axis parallel to the ground. It may represent a state in which a parallel long surface of the electronic device 100 is mounted. For example, when the state of the electronic device 100 is included in the vertical range, the processor 210 may determine that the direction of the electronic device 100 is the vertical direction, and the It may represent a state in which a parallel long surface of the electronic device 100 is mounted.
  • the processor 210 may determine the user's photographing intention by determining the movement of the electronic device 100 . For example, when the movement of the electronic device 100 rapidly changes, it is determined that the object to be photographed is changed or that the photographing is stopped, so that the intensity of the shake correction may be reduced.
  • the processor 210 may determine whether the movement of the electronic device 100 is equal to or greater than a threshold value (eg, a threshold speed). For example, when the electronic device 100 moves by a first angle or more for N frames based on the panning axis of the camera 220 , the processor 210 determines that the movement is equal to or greater than a threshold value and operates 1030 can be performed.
  • the first angle may vary according to a zoom magnification set in the current frame and/or the size of the object.
  • the processor 210 may perform operation 1010 .
  • the processor 210 may decrease the intensity of shake correction. Operation 1030 may correspond to operations 570 to 590 of FIG. 5 .
  • FIG. 11 is a flowchart illustrating an operation of controlling a display when a trigger event related to shake compensation occurs in an electronic device according to an exemplary embodiment.
  • An operating subject of the flowchart illustrated in FIG. 11 may be understood as a processor (eg, the processor 210 of FIG. 2 ) or an image signal processor (eg, the image signal processor 240 of FIG. 2 ). 11 is related to the screens shown in FIG. 12 below.
  • the processor 210 may display a user interface showing the cropped region on one region (eg, the third region 730 of FIG. 7 ) of the display 110 .
  • the processor 210 may display a user interface showing a cropped area from the obtained raw image data on one area of the display 110 .
  • the processor 210 displays image data obtained through the camera 220 and image data cropped to 1/100 of the image data through the display 110 . can be displayed
  • the processor 210 may determine whether a first trigger event has occurred. Operation 1120 may correspond to operation 530 of FIG. 5 . In an embodiment, the processor 210 may perform operation 1130 when the first trigger event occurs, and perform operation 1110 otherwise.
  • the processor 210 may display a highlight on the user interface.
  • the processor 210 may display a highlight on the user interface in response to the occurrence of the first trigger event.
  • the processor 210 may provide the user with a notification indicating that the intensity of shake correction has increased by displaying a highlight on the user interface.
  • the processor 210 may determine whether a second trigger event has occurred. Operation 1140 may correspond to operation 560 of FIG. 5 . In an embodiment, the processor 210 may perform operation 1150 when the second trigger event occurs, and perform operation 1130 otherwise.
  • the processor 210 may cancel the highlight display on the user interface.
  • the processor 210 may release the highlight display on the user interface in response to the occurrence of the second trigger event.
  • the processor 210 may provide the user with a notification indicating that the intensity of shake correction has decreased by canceling the highlight display.
  • 12 illustrates that the display of the display changes as a trigger event related to shake compensation occurs in the electronic device according to an exemplary embodiment. 12 shows a user interface output through the display 110 in relation to the description of FIG. 11 .
  • the screen ⁇ 1201> may be a screen on which a preview image is output through the display 110 based on a magnification (eg, x1.0 times) that is basically set.
  • the processor 210 may output a preview image including an object (eg, the moon) through the display 110 at a zoom magnification of x1.0.
  • Screen ⁇ 1202> may be a screen corresponding to operation 1110 of FIG. 11 .
  • the screen ⁇ 1202> may be a screen in which the processor 210 outputs a preview image corresponding to the zoom input in response to obtaining a zoom input (eg, x100 times) from the user in the screen ⁇ 1201> state.
  • the processor 210 may display a user interface 1210 showing a cropped area from the obtained raw image data on one area of the display 110 .
  • Screen ⁇ 1203> may be a screen corresponding to operation 1130 of FIG. 11 .
  • the processor 210 may display a highlight 1220 on the user interface 1210 showing the cropped area.
  • the processor 210 may boldly display at least an outer line portion of the user interface 1210 in yellow.
  • a specific icon may be displayed on one area of the display 110 (eg, the third area 730 of FIG. 7 ) in addition to the highlight method illustrated on the screen ⁇ 1203>.
  • the processor 210 may display a lock icon indicating that the preview is not shaken and is fixed. .
  • an indication (eg, lock mode) regarding the current mode is displayed on one region of the display 110 (eg, the second region 720 of FIG. 7 ).
  • the processor 210 controls an area of the display 110 (eg, in FIG. 7 ).
  • the display of the photo mode in the second region 720 may be changed to the display of the lock mode.
  • Screen ⁇ 1204> may be a screen corresponding to operation 1150 of FIG. 11 .
  • the processor 210 may output a preview image such as screen ⁇ 1202> by canceling the highlight display.
  • the electronic device 1301 in a network environment 1300 , the electronic device 1301 communicates with the electronic device 1302 through a first network 1398 (eg, a short-range wireless communication network) or a second network 1399 . It may communicate with the electronic device 1304 or the server 1308 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 1301 may communicate with the electronic device 1304 through the server 1308 .
  • a first network 1398 eg, a short-range wireless communication network
  • a second network 1399 e.g., a second network 1399
  • the electronic device 1304 or the server 1308 eg, a long-distance wireless communication network
  • the electronic device 1301 may communicate with the electronic device 1304 through the server 1308 .
  • the electronic device 1301 includes a processor 1320 , a memory 1330 , an input module 1350 , a sound output module 1355 , a display module 1360 , an audio module 1370 , and a sensor module ( 1376), interface 1377, connection terminal 1378, haptic module 1379, camera module 1380, power management module 1388, battery 1389, communication module 1390, subscriber identification module 1396 , or an antenna module 1397 .
  • at least one of these components eg, the connection terminal 1378
  • some of these components are integrated into one component (eg, display module 1360 ). can be
  • the processor 1320 for example, executes software (eg, a program 1340) to execute at least one other component (eg, a hardware or software component) of the electronic device 1301 connected to the processor 1320 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1320 may store a command or data received from another component (eg, the sensor module 1376 or the communication module 1390 ) into the volatile memory 1332 . , process the command or data stored in the volatile memory 1332 , and store the result data in the non-volatile memory 1334 .
  • software eg, a program 1340
  • the processor 1320 may store a command or data received from another component (eg, the sensor module 1376 or the communication module 1390 ) into the volatile memory 1332 .
  • process the command or data stored in the volatile memory 1332 and store the result data in the non-volatile memory 1334 .
  • the processor 1320 is a main processor 1321 (eg, a central processing unit or an application processor) or a secondary processor 1323 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1321 e.g, a central processing unit or an application processor
  • a secondary processor 1323 e.g, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the electronic device 1301 includes a main processor 1321 and a sub-processor 1323
  • the sub-processor 1323 uses less power than the main processor 1321 or is set to be specialized for a specified function.
  • the coprocessor 1323 may be implemented separately from or as part of the main processor 1321 .
  • the co-processor 1323 may be, for example, on behalf of the main processor 1321 while the main processor 1321 is in an inactive (eg, sleep) state, or when the main processor 1321 is active (eg, executing an application). ), together with the main processor 1321, at least one of the components of the electronic device 1301 (eg, the display module 1360, the sensor module 1376, or the communication module 1390) It is possible to control at least some of the related functions or states.
  • the co-processor 1323 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 1380 or the communication module 1390). there is.
  • the auxiliary processor 1323 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1301 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 1308).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 1330 may store various data used by at least one component of the electronic device 1301 (eg, the processor 1320 or the sensor module 1376 ).
  • the data may include, for example, input data or output data for software (eg, the program 1340 ) and instructions related thereto.
  • the memory 1330 may include a volatile memory 1332 or a non-volatile memory 1334 .
  • the program 1340 may be stored as software in the memory 1330 , and may include, for example, an operating system 1342 , middleware 1344 , or an application 1346 .
  • the input module 1350 may receive a command or data to be used in a component (eg, the processor 1320 ) of the electronic device 1301 from the outside (eg, a user) of the electronic device 1301 .
  • the input module 1350 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1355 may output a sound signal to the outside of the electronic device 1301 .
  • the sound output module 1355 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display module 1360 may visually provide information to the outside (eg, a user) of the electronic device 1301 .
  • the display module 1360 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 1360 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 1370 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1370 acquires a sound through the input module 1350 or an external electronic device (eg, a sound output module 1355 ) directly or wirelessly connected to the electronic device 1301 .
  • the electronic device 1302) eg, a speaker or headphones
  • the sensor module 1376 detects an operating state (eg, power or temperature) of the electronic device 1301 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1376 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1377 may support one or more specified protocols that may be used for the electronic device 1301 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1302 ).
  • the interface 1377 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1378 may include a connector through which the electronic device 1301 can be physically connected to an external electronic device (eg, the electronic device 1302 ).
  • the connection terminal 1378 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1379 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can recognize through tactile or kinesthetic sense.
  • the haptic module 1379 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1380 may capture still images and moving images. According to an embodiment, the camera module 1380 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1388 may manage power supplied to the electronic device 1301 .
  • the power management module 1388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1389 may supply power to at least one component of the electronic device 1301 .
  • the battery 1389 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1390 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1301 and an external electronic device (eg, the electronic device 1302 , the electronic device 1304 , or the server 1308 ). It can support establishment and communication performance through the established communication channel.
  • the communication module 1390 may include one or more communication processors that operate independently of the processor 1320 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1390 is a wireless communication module 1392 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1394 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • a corresponding communication module is a first network 1398 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1399 (eg, legacy).
  • the wireless communication module 1392 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1396 within a communication network, such as the first network 1398 or the second network 1399 .
  • the electronic device 1301 may be identified or authenticated.
  • the wireless communication module 1392 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 1392 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 1392 uses various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 1392 may support various requirements specified in the electronic device 1301 , an external electronic device (eg, the electronic device 1304 ), or a network system (eg, the second network 1399 ).
  • the wireless communication module 1392 includes a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 1397 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1397 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1397 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1398 or the second network 1399 is connected from the plurality of antennas by, for example, the communication module 1390 . can be selected. A signal or power may be transmitted or received between the communication module 1390 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 1397 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1301 and the external electronic device 1304 through the server 1308 connected to the second network 1399 .
  • Each of the external electronic devices 1302 and 1304 may be the same or a different type of the electronic device 1301 .
  • all or a part of operations executed by the electronic device 1301 may be executed by one or more external electronic devices 1302 , 1304 , or 1308 .
  • the electronic device 1301 may instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1301 .
  • the electronic device 1301 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1301 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1304 may include an Internet of things (IoT) device.
  • the server 1308 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1304 or the server 1308 may be included in the second network 1399 .
  • the electronic device 1301 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, for example, and interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 1340) including
  • a processor eg, processor 1320 of a device (eg, electronic device 1301 ) may call at least one command among one or more commands stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the called at least one command.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the methods according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. .
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.
  • the camera module 1380 includes a lens assembly 1410 , a flash 1420 , an image sensor 1430 , an image stabilizer 1440 , a memory 1450 (eg, a buffer memory), or an image signal processor. (1460).
  • the lens assembly 1410 may collect light emitted from a subject, which is an image capturing object.
  • Lens assembly 1410 may include one or more lenses.
  • the camera module 1380 may include a plurality of lens assemblies 1410 . In this case, the camera module 1380 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 1410 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties different from the lens properties of .
  • the lens assembly 1410 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 1420 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 1420 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • the image sensor 1430 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 1410 into an electrical signal.
  • the image sensor 1430 is, for example, one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same It may include a plurality of image sensors having properties, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 1430 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 1440 moves at least one lens or the image sensor 1430 included in the lens assembly 1410 in a specific direction or Operation characteristics of the image sensor 1430 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken.
  • the image stabilizer 1440 is, according to an embodiment, the image stabilizer 1440 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 1380 . Such a movement of the camera module 1380 or the electronic device 1301 may be detected using .
  • the image stabilizer 1440 may be implemented as, for example, an optical image stabilizer.
  • the memory 1450 may temporarily store at least a portion of the image acquired through the image sensor 1430 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, Bayer-patterned image or high-resolution image) is stored in the memory 1450 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display device 1360 .
  • the acquired original image eg, Bayer-patterned image or high-resolution image
  • a copy image corresponding thereto eg, a low-resolution image
  • the memory 1450 may be configured as at least a part of the memory 1330 or as a separate memory operated independently of the memory 1330 .
  • the image signal processor 1460 may perform one or more image processing on an image acquired through the image sensor 1430 or an image stored in the memory 1450 .
  • the one or more image processes may include, for example, depth map generation, 3D modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring), sharpening (sharpening), or softening (softening)
  • the image signal processor 1460 may include at least one of components included in the camera module 1380 (eg, an image sensor). 1430), for example, exposure time control, readout timing control, etc.
  • the image processed by the image signal processor 1460 is stored back in the memory 1450 for further processing.
  • the image signal processor 1460 may be configured as at least a part of the processor 1320 or as a separate processor operated independently of the processor 1320.
  • the image signal processor 1460 may include the processor 1320 and a separate processor, the at least one image processed by the image signal processor 1460 may be displayed through the display device 1360 as it is or after additional image processing is performed by the processor 1320 .
  • the electronic device 1301 may include a plurality of camera modules 1380 each having different properties or functions.
  • at least one of the plurality of camera modules 1380 may be a wide-angle camera, and at least the other may be a telephoto camera.
  • at least one of the plurality of camera modules 1380 may be a front camera, and at least the other may be a rear camera.
  • the electronic device 100 includes a camera 220 , a display 110 , and at least one processor electrically connected to the camera 220 and the display 110 (eg, the processor 210 of FIG. 2 , and / or the image signal processor 240 of FIG. 2).
  • a processor electrically connected to the camera 220 and the display 110 (eg, the processor 210 of FIG. 2 , and / or the image signal processor 240 of FIG. 2).
  • the at least one processor may obtain image data by driving the camera 220 , and may output a preview image of the image data through the display 110 based on a set magnification.
  • the at least one processor detects at least one object included in the preview image acquired through the camera 220 in a state in which the set magnification is greater than a reference magnification, and based on whether the at least one object is detected , shake correction may be performed on the preview image.
  • the at least one processor may increase the intensity of the shake compensation by changing a parameter for performing the shake compensation in response to the detection of the at least one object.
  • the at least one processor may increase the intensity of the shake correction in response to a state in which the at least one object is detected within a specified area in the preview image is maintained for a predetermined time.
  • the at least one processor may decrease the intensity of the shake correction.
  • the at least one processor may gradually decrease the intensity of the shake correction in response to the trigger event.
  • the at least one processor may determine a margin area for shake correction in response to a user's zoom input.
  • the margin area may be an area other than the second area included in the preview image from among the first areas included in the image data.
  • the at least one processor may determine a movement of the electronic device using at least one sensor, and if the movement is equal to or greater than a threshold value, decrease the intensity of shake correction.
  • the trigger event includes at least one of reception of a user input for stopping the shake correction, a case in which the at least one object is not included in image data, or a case in which a preview area is out of a margin area. can do.
  • the at least one processor is a low pass filter included in a path for acquiring the image data from an image sensor of the camera 220 (eg, the image sensor 1430 of FIG. 14 ).
  • the intensity of the shake correction may be increased by increasing the coefficient.
  • the method of operating the electronic device 100 includes an operation of driving the camera 220 to obtain image data, and an operation of outputting a preview image of the image data through the display 110 based on a set magnification.
  • an operation of detecting at least one object included in the preview image acquired through the camera 220 in a state in which the set magnification is greater than a reference magnification, and based on whether the at least one object is detected, the preview It may include an operation of performing shake correction on the image.
  • the method of operating the electronic device 100 may include increasing the intensity of the shake compensation by changing a parameter for performing the shake compensation in response to the detection of the at least one object.
  • the method of operating the electronic device 100 includes increasing the strength of the shake correction in response to a state in which the at least one object is detected within a specified area in a preview image for a predetermined time is maintained.
  • the method of operating the electronic device 100 may include an operation of gradually decreasing the intensity of the shake correction when a trigger event for reducing the intensity of the shake correction occurs.
  • the trigger event may include at least one of reception of a user input for stopping the shake correction, a case in which the at least one object is not included in image data, or a case in which a preview area is out of a margin area.
  • the method of operating the electronic device 100 may gradually decrease the shake correction intensity to a reference value for a predetermined time in response to the trigger event.
  • the electronic device 100 includes the camera 220 , the display 110 , the camera 220 , and at least one processor electrically connected to the display 110 (eg, the processor 210 of FIG. 2 and/or Alternatively, the image signal processor 240 of FIG. 2 may be included.
  • the at least one processor drives the camera 220 to acquire image data, determines a margin area for shake correction in response to a user's zoom input, and displays a preview image for the image data based on a set magnification. It can be output through (110).
  • the at least one processor may increase the shake correction intensity in response to a first trigger event for increasing the shake correction intensity while the set magnification is greater than the reference magnification.
  • the at least one processor may reduce the intensity of the shake correction in response to the second trigger event when a second trigger event for reducing the intensity of the shake correction occurs while the intensity of the shake correction is increased. .
  • the first trigger event includes detecting at least one object, and the at least one processor maintains a state in which the at least one object is detected within a designated area in a preview image for a predetermined time. In response, the intensity of the shake correction may be increased.
  • the at least one processor may gradually decrease the intensity of the shake correction to a reference value for a predetermined time in response to the second trigger event.
  • the first trigger event may include at least one of reception of a user input for increasing the shake correction intensity, or a case in which at least one object is included in image data.
  • the second trigger event is at least one of receiving a user input to stop the shake correction, when at least one object is not included in the image data, or when the preview area is out of the margin area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치는 카메라, 디스플레이 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 카메라를 구동하여 이미지 데이터를 획득하고, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 상기 디스플레이를 통해서 출력하며, 상기 설정된 배율이 기준 배율보다 큰 상태에서, 상기 카메라를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하고, 상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

흔들림을 보정하는 방법 및 그 전자 장치
본 문서에서 개시되는 실시 예들은 카메라 촬영 시 흔들림 보정에 관한 전자 장치 및 그 방법에 관한 것이다.
카메라 기능에 있어서 흔들림 보정 기능은 선명한 사진을 얻기 위한 필수적이고 중요한 기능이다. 일반적으로, 흔들림 보정 방식은 광학식 흔들림 보정(OIS, optical image stabilization)과 디지털 흔들림 보정(DIS, digital IS)이 있다. 광학식 흔들림 보정 방식(예: OIS)은 렌즈 또는 센서를 이동시켜 흔들림을 경감시키는 방식이며, 디지털 흔들림 보정 방식(예: DIS)은 휴대용 단말기에서 차용하는 방식으로 디지털 프로세싱으로 흔들림을 경감하는 방식을 말한다.
전자 장치가 지원하는 줌 배율이 높아지면서, 사용자는 프리뷰 화면을 매우 높은 배율로 확대할 수 있다. 그러나 높은 배율의 이미지를 제공하기 위한 디지털 줌이 적용되면 전자 장치는 이미지 센서가 획득한 이미지 데이터 중 일부만을 프리뷰 데이터로 출력하거나 이미지 파일로 저장한다. 줌 배율이 높아질수록 휴대폰의 움직임에 따라 발생되는 프리뷰 이미지의 모션은 크게 증가되고, 고배율 촬영에서 디지털 방식의 흔들림 보정을 수행할 경우, 흔들림 보정 범위는 프리뷰 이미지와 카메라를 통해 획득되는 이미지 데이터의 크기 비율로 계산하기 때문에 결국 흔들림 보정 성능이 떨어지게 된다.
또한, 위와 같은 흔들림 보정은 잔떨림과 사용자의 미세한 조정을 구분하여 보정하는 것이 아니므로, 사용자의 의도와는 다르게 흔들림 보정이 수행되지 않거나 원하지 않는 보정의 강도로 보정이 수행될 수 있다. 예를 들어, 사용자가 시야(FOV, field of view)를 변경하기 위해 전자 장치를 의도적으로 움직임에 의해 발생한 이미지의 모션에 대해서는 흔들림 보정이 적용되지 않아야 한다.
본 개시의 다양한 실시 예는, 고배율 촬영 시 사용자가 의도하지 않은 떨림에 대해 흔들림 보정을 수행하여 안정적으로 객체를 촬영하도록 하는 전자 장치 및 전자 장치의 제어 방법을 제공할 수 있다.
본 문서에 개시되는 일 실시 예들에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는 카메라, 디스플레이 및 상기 카메라 및 상기 디스플레이와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 카메라를 구동하여 이미지 데이터를 획득하고, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 상기 디스플레이를 통해서 출력하며, 상기 설정된 배율이 기준 배율보다 큰 상태에서, 상기 카메라를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하고, 상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치의 동작 방법은 카메라를 구동하여 이미지 데이터를 획득하는 동작, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 디스플레이를 통해서 출력하는 동작, 상기 설정된 배율이 기준 배율보다 큰 상태에서, 상기 카메라를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하는 동작 및 상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행하는 동작을 포함할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치는 카메라, 상기 카메라와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 카메라를 구동하여 이미지 데이터를 획득하고, 사용자의 줌 입력에 응답하여 흔들림 보정을 위한 마진 영역을 결정하고, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 상기 디스플레이를 통해서 출력하며, 상기 설정된 배율이 기준 배율보다 큰 상태에서, 흔들림 보정의 강도를 증가시키기 위한 제1 트리거 이벤트에 응답하여 흔들림 보정의 강도를 증가시키고, 상기 흔들림 보정의 강도가 증가된 상태에서 흔들림 보정의 강도를 감소시키기 위한 제2 트리거 이벤트가 발생한 경우, 상기 제2 트리거 이벤트에 응답하여 상기 흔들림 보정의 강도를 감소시킬 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 촬영하고자 하는 객체를 인식함에 따라 자동으로 흔들림 보정 기능을 제공할 수 있다.
또한, 다양한 실시 예에 따르면, 고배율 촬영 환경에서 사용자에게 흔들리지 않은 이미지를 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 전자 장치를 나타낸다.
도 2는 일 실시 예에 따른 전자 장치에서 이미지의 흔들림 보정을 수행하기 위한 동작을 예시하는 블록도이다.
도 3은 일 실시 예에 따른 전자 장치에서 객체의 검출 여부에 따라 흔들림 보정을 수행하는 동작을 나타낸 흐름도이다.
도 4는 일 실시 예에 따른 전자 장치에서 객체의 검출이 정해진 조건을 만족하는지 여부에 따라 흔들림 보정과 관련된 파라미터 값을 변경하는 동작을 나타낸 흐름도이다.
도 5는 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트의 발생 여부에 따라 흔들림 보정 강도를 조절하는 동작을 나타낸 흐름도이다.
도 6은 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트의 발생 여부에 따라 흔들림 보정의 강도가 변화하는 그래프를 나타낸다.
도 7은 일 실시 예에 따른 전자 장치에서 흔들림 보정 강도를 높이는 트리거 이벤트에 관한 사용자 인터페이스를 나타낸다.
도 8은 일 실시 예에 따른 전자 장치에서 흔들림 보정 강도를 낮추는 트리거 이벤트에 관한 사용자 인터페이스를 나타낸다.
도 9는 일 실시 예에 따른 전자 장치에서 마진 영역에 관한 것을 나타낸다.
도 10은 일 실시 예에 따른 전자 장치의 움직임을 판단하여 흔들림 보정의 강도를 변경하는 동작을 나타낸 흐름도이다.
도 11은 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트가 발생함에 따라 디스플레이를 제어하는 동작을 나타낸 흐름도이다.
도 12는 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트가 발생함에 따라 디스플레이의 표시가 달라지는 것을 나타낸다.
도 13은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 14는 다양한 실시 예들에 따른 카메라 모듈을 예시하는 블록도이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른 전자 장치를 나타낸다.
도 1을 참고하면, 일 실시 예에 따른 전자 장치(100)(예: 도 13의 전자 장치(1301))의 전면에는 디스플레이(110)가 배치될 수 있다. 일 실시 예에서, 디스플레이(110)는 전자 장치(100)의 전면의 대부분을 차지할 수 있다. 전자 장치(100)의 전면에는 디스플레이(110), 및 디스플레이(110)의 적어도 일부 가장자리를 둘러싸는 베젤(bezel)(120) 영역이 배치될 수 있다. 도 1의 예시에서, 디스플레이(110)는 평면 영역(flat area)(111)과, 평면 영역(111)에서 전자 장치(100)의 측면을 향해 연장되는 곡면 영역(curved area)(112)을 포함할 수 있다. 도 1에서는 일측(예: 좌측)에 대해서만 곡면 영역(112)을 표시하였으나, 반대측에도 동일하게 곡면 영역이 형성되는 것으로 이해될 수 있다. 또한, 도 1의 도시된 전자 장치(100)는 하나의 예시이며, 다양한 실시 예가 가능하다. 예를 들어, 전자 장치(100)의 디스플레이(110)는 곡면 영역(112)없이 평면 영역(111)만 포함하거나, 양측이 아닌 한쪽 가장자리에만 곡면 영역(112)을 구비할 수 있다. 또한 일 실시 예에서, 곡면 영역은 전자 장치(100)의 후면으로 연장되어, 전자 장치(100)는 추가적인 평면 영역을 구비할 수도 있다.
일 실시 예에서, 디스플레이(110)의 제1 영역(140)에 사용자의 지문 인식을 위한 지문 센서(141)가 포함될 수 있다. 지문 센서(141)는 디스플레이(110)의 아래 층에 배치됨으로써, 사용자에 의해 시인되지 않거나, 시인이 어렵게 배치될 수 있다. 또한, 지문 센서(141) 외에 추가적인 사용자/생체 인증을 위한 센서가 디스플레이(110)의 일부 영역에 배치될 수 있다. 다른 실시 예에서, 사용자/생체 인증을 위한 센서는 베젤(120)의 일 영역에 배치될 수 있다. 예를 들어, 홍채 인증을 위한 IR 센서가 디스플레이(110)의 일 영역을 통해 노출되거나, 베젤(120)의 일 영역을 통해 노출될 수 있다.
일 실시 예에서, 전자 장치(100)의 베젤(120) 중 적어도 일 영역 또는 디스플레이(110)의 적어도 일 영역에 센서(143)가 포함될 수 있다. 상기 센서(143)는 거리 감지를 위한 센서 및/또는 객체 검출을 하기 위한 센서일 수 있다. 상기 센서(143)는 카메라 모듈(예: 전면 카메라(131), 후면 카메라(132))과 인접한 거리에 배치되거나 카메라 모듈과 하나의 모듈로 형성될 수 있다. 예를 들면, 상기 센서(143)는 IR(infrared) 카메라(예: TOF(time of flight) 카메라, structured light 카메라)의 적어도 일부로 동작하거나 센서 모듈(예: 도 13의 센서 모듈(1376))의 적어도 일부로 동작될 수 있다.
일 실시 예에서, 전자 장치(100)의 전면에는 전면 카메라(131)가 배치될 수 있다. 도 1의 실시 예에서는 전면 카메라(131)가 디스플레이(110)의 일 영역을 통해 노출되는 것으로 도시되었으나, 다른 실시 예에서 전면 카메라(131)가 베젤(120)을 통해 노출될 수 있다.
일 실시 예에서, 디스플레이(110)는 화면 표시 영역(예: 평면 영역(111), 곡면 영역(112))의 배면에, 센서 모듈(예: 도 13의 센서 모듈(1376)), 카메라 모듈(예: 전면 카메라(131), 후면 카메라(132), 도 13의 카메라 모듈(1380)), 및 발광 소자(예: LED) 중 적어도 하나 이상을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 전면, 측면, 및/또는 후면 중 적어도 하나의 면의 배면에, 카메라 모듈이 상기 전면, 상기 측면, 및/또는 상기 후면을 향하도록 배치될 수 있다. 예를 들어, 전면 카메라(131)는 화면 표시 영역(예: 평면 영역(111), 곡면 영역(112))으로 시각적으로 노출되지 않는, 감춰진 디스플레이 배면 카메라(UDC, under display camera)일 수 있다. 일 실시 예에서, 전자 장치(100)는 하나 이상의 전면 카메라(131)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 제1 전면 카메라 및 제2 전면 카메라와 같이 2개의 전면 카메라를 포함할 수 있다. 일 실시 예에서, 제1 전면 카메라와 제2 전면 카메라는 동등한 사양(예: 화소)을 가지는 동종의 카메라일 수 있으나, 제1 전면 카메라와 제2 전면 카메라는 다른 사양의 카메라로 구현될 수 있다. 전자 장치(100)는 2개의 전면 카메라를 통해 듀얼 카메라와 관련된 기능(예: 3D 촬영, 자동 초점(auto focus) 등)을 지원할 수 있다.
일 실시 예에서, 전자 장치(100)의 후면에는 후면 카메라(132)가 배치될 수 있다. 후면 카메라(132)는 후면 커버(160)의 카메라 영역(130)을 통해 노출될 수 있다. 일 실시 예에서, 전자 장치(100)는 카메라 영역(130)에 배치되는 다수의 후면 카메라를 포함할 수 있다. 예를 들어, 전자 장치(100)는 2개 이상의 후면 카메라를 포함할 수 있다. 예를 들어, 전자 장치(100)는 제1 후면 카메라, 제2 후면 카메라, 및 제3 후면 카메라를 포함할 수 있다. 제1 후면 카메라, 제2 후면 카메라, 및 제3 후면 카메라는 서로 다른 사양을 가질 수 있다. 예를 들어, 제1 후면 카메라와 제2 후면 카메라 및/또는 제3 후면 카메라는 FOV, 화소, 조리개, 광학 줌/디지털 줌 지원 여부, 이미지 흔들림 보정 기능의 지원 여부, 각 카메라에 포함되는 렌즈 세트의 종류 및/또는 배열 등이 서로 다를 수 있다. 예를 들어, 제1 후면 카메라는 일반 카메라이고, 제2 후면 카메라는 와이드 촬영을 위한 카메라(광각 카메라), 제3 후면 카메라는 망원 촬영을 위한 카메라일 수 있다. 본 문서의 실시 예들에서, 전면 카메라의 기능이나 특성에 대한 설명은 후면 카메라에 대해 적용될 수 있으며, 그 역도 같다.
일 실시 예에서, 카메라 영역(130)에는 플래시(145)와 같이 촬영을 보조하는 각종 하드웨어나 센서가 추가적으로 배치될 수 있다. 예를 들어, 피사체와 전자 장치(100) 사이의 거리를 감지하기 위한 거리 센서와 같은 다양한 센서가 더 포함될 수 있다.
일 실시 예에서 상기 거리 센서는 카메라 모듈(예: 전면 카메라(131), 후면 카메라(132))과 인접한 거리에 배치되거나 카메라 모듈과 하나의 모듈로 형성될 수 있다. 예를 들면, 거리 센서는 IR(infrared) 카메라(예: TOF(time of flight) 카메라, structured light 카메라)의 적어도 일부로 동작하거나 센서 모듈(예: 도 13의 센서 모듈(1376))의 적어도 일부로 동작될 수 있다. 예를 들어, TOF 카메라는 피사체와의 거리를 감지하기 위한 센서 모듈(예: 도 13의 센서 모듈(1376))의 적어도 일부로 동작될 수 있다.
일 실시 예에서, 전자 장치(100)의 측면부에는 적어도 하나의 물리 키가 배치될 수 있다. 예를 들어, 디스플레이(110)를 ON/OFF하거나 전자 장치(100)의 전원을 ON/OFF하기 위한 제1 기능 키(151)가 전자 장치(100)의 전면을 기준으로 우측 가장자리에 배치될 수 있다. 일 실시 예에서, 전자 장치(100)의 볼륨을 제어하거나 화면 밝기 등을 제어하기 위한 제2 기능 키(152)가 전자 장치(100)의 전면을 기준으로 좌측 가장자리에 배치될 수 있다. 이 외에도 추가적인 버튼이나 키가 전자 장치(100)의 전면이나 후면에도 배치될 수 있다. 예를 들어, 전면의 베젤(120) 중 하단 영역에 특정 기능에 맵핑된 물리 버튼이나 터치 버튼이 배치될 수 있다.
도 1에 도시된 전자 장치(100)는 하나의 예시에 해당하며, 본 문서에 개시된 기술적 사상이 적용되는 장치의 형태를 제한하는 것은 아니다. 예를 들어, 플렉서블 디스플레이(110) 및 힌지 구조를 채용하여, 가로 방향으로 폴딩이 가능하거나 세로 방향으로 폴딩이 가능한 폴더블 전자 장치나, 태블릿 또는 노트북에도 본 문서에 개시되는 기술적 사상이 적용될 수 있다. 또한, 도시된 예의 전자 장치(100)는 바형(bar type), 또는 평판형(plate type)의 외관을 도시하고 있지만, 본 문서의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 도시된 전자 장치는 롤러블 전자 장치의 일부일 수 있다. "롤러블 전자 장치(rollable electronic device)"라 함은, 디스플레이(110)의 굽힘 변형이 가능해, 적어도 일부분이 말아지거나(wound or rolled), 전자 장치(100)의 내부로 수납될 수 있음을 의미할 수 있다. 롤러블 전자 장치는 사용자의 필요에 따라, 디스플레이(110)를 펼침으로써 또는 디스플레이(110)의 더 넓은 면적을 외부로 노출시킴으로써 화면 표시 영역(예: 평면 영역(111), 곡면 영역(112))을 확장하여 사용할 수 있다. 디스플레이(110)는 슬라이드 아웃 디스플레이(slide-out display) 또는 익스펜더블 디스플레이(expandable display)로 지칭될 수도 있다.
이하에서는 설명의 편의상 도 1에 도시된 전자 장치(100)를 기준으로 다양한 실시 예를 설명한다.
도 2는 일 실시 예에 따른 전자 장치에서 이미지의 흔들림 보정을 수행하기 위한 동작을 예시하는 블록도이다. 도 2의 설명에 있어서, 도 1에서 설명된 구성 및/또는 기능은 간략하게 설명되거나 설명이 생략될 수 있다.
도 2를 참고하면, 전자 장치(100)는 이미지의 흔들림 보정을 수행하기 위한 기능들을 지원하기 위해 하드웨어 및/또는 소프트웨어 모듈을 이용할 수 있다. 예를 들어, 프로세서(210)(예: 도 13의 프로세서(1320))는 메모리(230)(예: 도 13의 메모리(1330))에 저장된 명령어들을 실행함으로써 트리거(trigger) 모듈(201), 흔들림 보정 모듈(203), 및 촬영 제어 모듈(205)을 구동할 수 있다. 다양한 실시 예에서, 도 2에 도시된 것과 다른 소프트웨어 모듈이 구현될 수 있다. 예를 들어, 적어도 2개의 모듈이 하나의 모듈로 통합되거나, 하나의 모듈이 2개 이상의 모듈로 분할될 수 있다. 또한 하드웨어와 소프트웨어 모듈이 하나의 기능을 분담함으로써 작업 성능을 개선시킬 수 있다. 예를 들어, 전자 장치(100)는 하드웨어로 구현되는 인코더와 소프트웨어 모듈로 구현되는 인코더를 모두 포함할 수 있고, 적어도 하나의 카메라 모듈을 통해 획득되는 데이터의 일부는 하드웨어 인코더에서, 나머지 일부는 소프트웨어 인코더에서 처리할 수 있다.
일 실시 예에서, 트리거 모듈(201)은 사용자의 입력 및/또는 객체 검출을 통해 트리거 신호가 발생될 수 있다. 트리거 모듈(201)은 상기 발생된 트리거 신호를 흔들림 보정 모듈(203)로 제공할 수 있다. 상기 트리거 신호는 제1 트리거 이벤트 및 제2 트리거 이벤트를 포함할 수 있다. 상기 제1 트리거 이벤트는 흔들림 보정의 강도를 증가시키기 위한 트리거 이벤트로 이해될 수 있다. 상기 제2 트리거 이벤트는 흔들림 보정의 강도를 감소시키기 위한 트리거 이벤트로 이해될 수 있다. 상기 제1 트리거 이벤트는 락(lock) 트리거로 언급되거나 참조될 수 있다. 상기 제2 트리거 이벤트는 언락(unlock) 트리거로 언급되거나 참조될 수 있다.
일 실시 예에서, 상기 사용자의 입력은 적어도 디스플레이 터치를 통한 사용자의 입력 및/또는 버튼 입력을 통한 사용자 입력을 포함할 수 있다. 상기 버튼 입력은 물리적 버튼 및/또는 가상의 버튼을 포함할 수 있다. 상기 디스플레이 터치 입력은 AF(auto focus) 신호를 공용할 수 있다. 예를 들어, 상기 디스플레이 터치 입력은 상기 AF(auto focus)가 수행됨에 따라 생성된 AF 표시에 대한 사용자의 터치 입력을 포함할 수 있다.
일 실시 예에서, 상기 객체 검출은 카메라(220)(예: 도 13의 카메라 모듈(1380))를 통해 획득된 이미지 데이터의 분석을 통해 객체를 검출하는 것을 포함할 수 있다. 예를 들어, 객체 검출은 자연물(예: 달, 태양) 검출, 얼굴 검출, 바디 검출, 및 제스처 검출하는 것을 포함할 수 있다. 상기 객체 검출은 단순히 자연물의 기본적인 형태뿐 아니라 변형된 형태를 감지하는 것을 포함할 수 있다. 예를 들어, 보름달 형태의 달뿐만 아니라 초승달, 상현달과 같은 다양한 형태의 달을 감지하는 것을 포함할 수 있다.
일 실시 예에서, 상기 객체 검출은 다양한 검출 방식을 통해 적어도 하나의 객체를 검출하는 것을 포함할 수 있다. 트리거 모듈(201)은 머신 러닝과 같은 인공 지능(AI, artificial intelligence)을 이용하여 객체를 검출할 수 있다. 예를 들어, 상기 객체 검출은 분할 기법(예: segmentation) 및/또는 엣지 검출법을 통해 객체를 검출하는 것을 포함할 수 있다. 상기 엣지 검출법은 픽셀의 컬러 값 차이를 이용하여 객체를 검출하는 방법으로 이해될 수 있다. 상기 다양한 검출 방식은 상기 언급된 분할 기법 및 엣지 검출법에 한정되는 것은 아니고, 기존에 개시된 다양한 방식을 포함할 수 있다.
일 실시 예에서, 트리거 모듈(201)은 특정 제스처를 검출한 경우, 특정 제스처에 대한 정보를 촬영 제어 모듈(205)로 전달할 수 있다.
일 실시 예에서, 흔들림 보정 모듈(203)은 전자 장치(100)에 포함된 모션 센서를 통해 전자 장치의 움직임을 계산할 수 있다. 흔들림 보정 모듈(203)은 트리거 발생 시점의 화각(FOV)을 고정하기 위하여, 전자 장치(100)의 위치(예: 현재 위치) 및/또는 트리거 발생 시점의 위치를 계산할 수 있다. 흔들림 보정 모듈(203)은 트리거 모듈(201)에서 전달받은 트리거 신호를 획득하여 흔들림 보정의 강도를 조절할 수 있다. 예를 들어, 흔들림 보정 모듈(203)은 락(lock) 트리거 이벤트가 발생한 경우, 전자 장치(100)의 락(lock) 트리거 발생 시점의 위치에 기반하여 흔들림 보정의 강도를 증가시킬 수 있다. 흔들림 보정 모듈(203)은 언락(unlock) 트리거 이벤트가 발생한 경우, 흔들림 보정의 강도를 감소시킬 수 있다.
일 실시 예에서, 모션 센서는 가속도 센서, 자이로 센서(자이로스코프), 자기 센서, 또는 홀 센서를 포함할 수 있다. 다만, 이러한 센서들은 예시적인 것으로, 모션 센서는 적어도 하나의 다른 종류의 센서를 더 포함할 수 있다.
일 실시 예에서, 상기 가속도 센서는 전자 장치(100)의 3축(예: X축, Y축 또는 Z축)으로 작용하는 가속도를 측정하도록 설정된 센서로, 측정된 가속도를 이용하여 전자 장치(100)에 가해지고 있는 힘을 측정, 추정, 및/또는 감지할 수 있다.
일 실시 예에서, 상기 자이로 센서는 전자 장치(100)의 3축(예: X축, Y축 또는 Z축)으로 작용하는 각속도를 측정하도록 설정된 센서로, 각 축의 측정된 각속도 정보를 이용하여 전자 장치(100)의 각 축에 대한 회전량을 측정 및/또는 감지할 수 있다.
일 실시 예에서, 상기 자기(지자기, 지자계) 센서 및 홀 센서는 특정 주파수의 자기장을 발생시키기 위한 송신부와 송신부에 의해 발생된 자기장을 수신하는 수신부를 포함할 수 있으며, 전자 장치(100)의 이동 방향 및/또는 이동 거리를 획득할 수 있다. 상기 자기(지자기) 센서는 자기장 및 자력션을 이용하여 방위를 측정할 수 있고, 홀 센서는 자기장의 세기를 감지하여, 전자 장치(100)의 움직임을 확인할 수 있다. 상기 홀 센서는 카메라(220)(예: 도 14의 카메라 모듈(1380))의 적어도 일부로 구성되어, 이미지 스태빌라이저(예: 도 14의 이미지 스태빌라이저(1440))의 기능을 수행할 수 있다. 예를 들면, 카메라(220)는 이미지 스태빌라이저(예: 도 14의 이미지 스태빌라이저(1440))의 코일 및/또는 마그넷을 이용하여 이미지 안정화 기능을 수행할 수 있으며, 홀 센서를 통해 확인된 자기장의 변화에 기반하여 마그넷의 위치 변위를 확인할 수 있다.
일 실시 예에서, 촬영 제어 모듈(205)은 카메라와 연관된 UI(user interface)/GUI(graphical UI)를 디스플레이(110)를 통해 사용자에게 제공할 수 있다. 또한 디스플레이(110)에 출력된 UI/GUI를 통해 제공되는 사용자 입력에 응답하여 촬영 동작을 제어할 수 있다. 예를 들어, 촬영 제어 모듈(205)은 사용자로부터 기록(recording) 시작/중지 입력을 획득하고, 획득된 기록 시작/중지 입력을 인코더로 전달할 수 있다. 상기 사용자로부터 획득되는 입력은 음성 인식 기능을 통해 획득되는 입력을 포함하거나 특정 제스처를 검출하는 것을 포함할 수 있다. 예를 들어, 프로세서(210)는 "찍어", "촬영해", 및 "촬영 중지"와 같은 음성을 인식하는 경우, 이에 응답하여 촬영을 시작/중지할 수 있다. 또는, 프로세서(210)는 손바닥을 보이는 제스처를 검출한 경우, 이에 응답하여 촬영을 시작/중지할 수 있다.
일 실시 예에서, 디스플레이(110)는 프로세서(210)에 의해 실행되는 어플리케이션의 실행 화면이나, 메모리(230)에 저장된 이미지 및/또는 동영상과 같은 컨텐츠들을 디스플레이(110)에 표시할 수 있다. 또한 프로세서(210)는 카메라(220)를 통해 획득된 이미지 데이터를 디스플레이(110)에 실시간으로 표시할 수 있다. 디스플레이(110)는 현재 프리뷰 이미지의 해상도에 맞도록 크롭 및/또는 리사이즈된 프리뷰 영역을 프리뷰 이미지로 출력할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(240)(예: 도 14의 이미지 시그널 프로세서(1460))는 카메라(220)로부터 획득되는 이미지들에 대한 안정화 작업을 수행할 수 있다. 일 실시 예에서, 안정화 작업은 자동 노출(auto exposure, AE), 자동 초점(auto focus, AF), 및 자동 화이트 밸런스(auto white balance, AWB) 중 적어도 하나를 포함할 수 있다. 또한, 이미지 시그널 프로세서(240)는 자동 노출, 자동 초점, 및/또는 자동 화이트 밸런스 이외에 적절한 화질 조절/튜닝 작업을 통해 획득되는 이미지의 품질을 개선하거나 원하는 효과를 적용할 수 있다.
도 2의 실시 예에서, 트리거 모듈(201), 흔들림 보정 모듈(203), 및 촬영 제어 모듈(205)에 의해 수행되는 기능은, 프로세서(210)가 메모리(230)에 저장된 명령어들(예: 인스트럭션(instruction))을 실행함으로써 수행되는 것으로 이해될 수 있다. 또한 다양한 실시 예에서, 전자 장치(100)는 본 문서에서 개시되는 다양한 기능과 동작을 수행하기 위해 하나 이상의 하드웨어 처리 회로를 이용할 수 있다. 예를 들어, 모바일 장치에 포함되는 AP(application processor), 카메라 모듈에 탑재되는 ISP(image signaling processor), DDIC(display driver integrated circuit), 터치 IC, CP(communication processor), 하드웨어 인코더(encoder) 등이 본 문서에서 개시되는 다양한 실시 예들의 구현을 위해 이용될 수 있다. 또한 도 2에 도시된 하드웨어/소프트웨어 사이의 연결 관계는 설명의 편의를 위한 것이며, 데이터나 명령의 흐름/방향을 제한하지 않는다. 전자 장치(100)에 포함되는 구성요소들은 다양한 전기적/작동적 연결 관계를 가질 수 있다.
도 3은 일 실시 예에 따른 전자 장치에서 객체의 검출 여부에 따라 흔들림 보정을 수행하는 동작을 나타낸 흐름도이다. 도 3 및 이하 도면에서 설명되는 실시 예는 정지영상 촬영 뿐만 아니라, 동영상 촬영에도 적용될 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 3에 예시된 흐름도의 동작 주체는 프로세서(예: 도 2의 프로세서(210)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(240))로 이해될 수 있다.
일 실시 예에 따른 동작 310에서, 프로세서(210)는 카메라(220)를 구동하여 이미지 데이터를 획득할 수 있다.
일 실시 예에서, 프로세서(210)는 카메라 어플리케이션을 실행할 수 있다. 예를 들어, 프로세서(210)는 카메라 어플리케이션을 실행하는 사용자의 입력을 획득할 수 있다. 상기 사용자의 입력은 카메라 어플리케이션의 아이콘을 터치하는 것, 제1 기능키(151) 또는 제2 기능키(152)를 클릭하는 것, AI(artificial intelligence) 음성인식을 통하여 "OOO, 카메라를 켜줘" 또는 "OOO, 카메라를 실행시켜줘" 와 같은 음성을 입력하는 것 중 적어도 하나를 포함할 수 있다. 프로세서(210)는 상기 사용자의 입력 중 적어도 하나에 응답하여 카메라 어플리케이션을 실행할 수 있다.
일 실시 예에서, 프로세서(210)는 카메라 어플리케이션을 실행하여 카메라(220)를 구동할 수 있다. 프로세서(210)는 카메라(220)를 구동하여 카메라(220) 내의 이미지 센서(예: 도 14의 이미지 센서(1430))를 통해 이미지 데이터를 획득할 수 있다. 상기 이미지 데이터는 컬러 필터 어레이를 통해 다양한 컬러 값을 획득할 수 있다. 상기 컬러 필터 어레이는 RGB 컬러 필터 어레이를 포함할 수 있다. 상기 RGB는 하나의 예시에 불과하며, 컬러 필터 어레이는 RGBE(red, green, blue, emerald) 패턴, CYYM(cyan, yellow, magenta) 패턴, CYGM(cyan, yellow, green, magenta) 패턴 혹은 RGBW(red, green, blue, white) 패턴의 컬러 필터 어레이를 포함할 수 있다
일 실시 예에 따른 동작 320에서, 프로세서(210)는 설정된 배율에 기반하여 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 상기 설정된 배율에 기반하여 프리뷰 이미지를 출력하는 것은 제1 모드로 언급되거나 참조될 수 있다. 다시 말하면, 상기 제1 모드는 흔들림 보정의 강도가 증가되기 전 기본 값으로 이미지 처리를 수행하는 모드로 이해될 수 있다.
일 실시 예에서, 프로세서(210)는 기준 배율(예: x1.0배)에 기반하여 디스플레이에 프리뷰 이미지를 표시할 수 있다. 예를 들어, 프로세서(210)는 카메라 어플리케이션이 실행되면, 기준 배율(예: x1.0배)에 기반하여 디스플레이(110)의 적어도 일부분에 프리뷰 이미지를 표시할 수 있다.
일 실시 예에서, 프로세서(210)는 획득된 이미지 데이터 중 일부를 크롭(crop)하여 프리뷰 이미지로 출력될 영역을 결정할 수 있다. 프로세서(210)는 사용자의 줌 입력(예: x1.5배)에 응답하여, 상기 줌 입력에 대응되는 이미지 데이터를 크롭하여 프리뷰 이미지로 출력될 영역을 결정할 수 있다. 프로세서(210)는 상기 결정된 영역을 업사이즈 하여 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다.
일 실시 예에 따른 동작 330에서, 프로세서(210)는 상기 설정된 배율이 기준 배율보다 높은 상태에서, 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출할 수 있다. 여기서 기준 배율보다 높은 배율은 고배율(예: x5.0배 이상) 및/또는 초고배율(예: x50.0배 이상)로 이해될 수 있다. 여기서 객체를 검출한다는 의미는 프로세서(210)가 이미지 데이터를 분석하여 객체 검출 기능을 통해 객체를 검출하는 것은 물론, 프리뷰 이미지 상에 나타낸 객체를 사용자가 선택하는 것을 포함하는 것으로 이해될 수 있다.
일 실시 예에서, 프로세서(210)는 카메라(220)를 통해 적어도 하나의 객체를 감지할 수 있다. 프로세서(210)는 카메라(220)를 통해 획득한 이미지 데이터를 분석하여 객체 검출 기능을 통해 적어도 하나의 객체를 감지할 수 있다. 객체 검출은 분할 기법(예: segmentation) 및/또는 엣지 검출법을 통해 객체를 검출하는 것을 포함할 수 있다. 또는, 프로세서(210)는 머신 러닝 및/또는 딥 러닝을 통해 획득된 데이터를 바탕으로 객체를 판별할 수 있다. 예를 들어, 프로세서(210)는 전자 장치(100)의 일 기능(예: scene optimizer)을 통해 어두운 밤 하늘의 초승달을 감지할 수 있다. 프로세서(210)는 어두운 밤 하늘을 촬영하는 경우, 객체(예: 달)의 평균적인 형태, 객체(예: 달)의 평균적인 색상 등을 고려하여 객체(예: 달)을 판별할 수 있다.
일 실시 예에서, 프로세서(210)는 프리뷰 이미지에 표시되는 객체를 선택하는 사용자의 입력에 응답하여, 상기 객체를 검출할 수 있다. 상기 사용자의 입력은 적어도 디스플레이 터치를 통한 사용자의 입력으로 이해될 수 있다. 프로세서(210)는 프리뷰 이미지에 나타난 객체에 AF(auto focus) 표시를 할 수 있고, 상기 AF 표시를 선택하는 사용자의 입력에 응답하여, 상기 객체를 검출할 수 있다.
일 실시 예에 따른 동작 340에서, 프로세서(210)는 적어도 하나의 객체의 검출 여부에 기반하여, 프리뷰 이미지에 대한 흔들림 보정을 수행할 수 있다. 프로세서(210)는 적어도 하나의 객체를 검출하는 것에 응답하여 흔들림 보정의 강도를 제어할 수 있다. 예를 들어, 프로세서(210)는 적어도 하나의 객체를 검출한 경우, 검출된 객체를 안정적으로 촬영하기 위하여 흔들림 보정의 강도를 증가시킬 수 있다. 상기 흔들림 보정의 강도가 증가된 상태는 본 문서에서 제2 모드로 언급되거나 참조될 수 있다. 다시 말하면, 상기 제2 모드는 상기 객체를 검출하는 것에 응답하여 흔들림 보정의 강도를 증가시켜 이미지 처리를 수행하는 모드로 이해될 수 있다.
일 실시 예에서, 프로세서(210)는 상기 설정된 배율이 기준 배율보다 높은 상태에서 프리뷰 이미지 내에서 객체를 검출하지 못한 경우, 상기 제1 모드로 동작할 수 있다.
도 4는 일 실시 예에 따른 전자 장치에서 객체의 검출이 정해진 조건을 만족하는지 여부에 따라 흔들림 보정과 관련된 파라미터 값을 변경하는 동작을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 4에 예시된 흐름도의 동작 주체는 프로세서(예: 도 2의 프로세서(210)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(240))로 이해될 수 있다.
일 실시 예에 따른 동작 410에서, 프로세서(210)는 설정된 배율에 기반하여 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 동작 410은 도 3의 동작 320과 대응될 수 있다.
일 실시 예에 따른 동작 420에서, 프로세서(210)는 흔들림 보정과 관련된 파라미터 값을 제1 값으로 하여 흔들림 보정을 수행할 수 있다. 프로세서(210)는 일반 촬영 모드에서 흔들림 보정과 관련된 파라미터 값을 기본 값으로 유지한 채 흔들림 보정을 수행할 수 있다.
일 실시 예에 따른 동작 430에서, 프로세서(210)는 미리 정해진 시간 동안 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는지 판단할 수 있다. 예를 들어, 프로세서(210)는 사용자가 프리뷰 이미지 내에서 검출된 객체를 촬영하려는 의도를 가지고 있는지 파악하기 위해 일정 조건을 만족하는지 확인할 수 있다. 예를 들어, N 프레임 동안 상기 객체가 지속적으로 검출되는 경우, 프로세서(210)는 흔들림 보정에 관한 파라미터를 변경하여 안정적인 프리뷰 이미지를 출력할 수 있다. 다른 예를 들어, N 프레임 동안 상기 객체가 지속적으로 검출되지 않는 경우, 프로세서(210)는 흔들림 보정에 관한 파라미터를 변경하지 않을 수 있다. 상기 정해진 시간은 프레임 단위로 계산되거나 초 단위로 계산될 수 있다.
일 실시 예에서, 프로세서(210)는 검출된 객체가 지정된 영역 안에서 검출되는지를 판단함에 있어서, 상기 검출된 객체의 중심점에 기반하여 판단할 수 있다. 예를 들어, 프로세서(210)는 상기 검출된 객체의 중심점이 프리뷰 이미지 내에서 일정 비율(예: 50%) 이내에 포함되는지 판단할 수 있다. 프로세서(210)는 미리 정해진 시간 동안 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는 경우 동작 440을 수행하고, 그렇지 않은 경우 동작 420을 수행할 수 있다.
일 실시 예에 따른 동작 440에서, 프로세서(210)는 흔들림 보정과 관련된 파라미터 값을 제1 값과 다른 제2 값으로 변경하여 흔들림 보정을 수행할 수 있다. 상기 제2 값은 상기 제1 값보다 클 수 있다. 예를 들어, 프로세서(210)는 저대역 필터(low-pass filter)의 계수를 높여 흔들림에 해당하는 잡음을 최소화할 수 있다. 상기 저대역 필터는 프로세서(210)가 상기 카메라(220)의 이미지 센서로부터 상기 이미지 데이터를 획득하는 경로에 포함될 수 있다.
도 5는 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트의 발생 여부에 따라 흔들림 보정 강도를 조절하는 동작을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 5에 예시된 흐름도의 동작 주체는 프로세서(예: 도 2의 프로세서(210)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(240))로 이해될 수 있다.
일 실시 예에 따른 동작 510에서, 프로세서(210)는 획득된 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 이는 도 3의 동작 320과 대응될 수 있다.
일 실시 예에 따른 동작 520에서, 프로세서(210)는 획득된 줌 배율에 기반하여 흔들림 보정을 위한 마진 영역을 결정할 수 있다. 상기 마진 영역은 카메라(220)를 통해 획득된 입력 이미지(input image)와 프리뷰 이미지로 출력될 출력 이미지(output image)의 차이로 이해될 수 있다. 마진 영역에 관한 설명은 이하 도 9에서 추가적으로 설명될 수 있다.
일 실시 예에 따른 동작 530에서, 프로세서(210)는 제1 트리거(trigger) 이벤트가 발생했는지 판단할 수 있다. 상기 제1 트리거는 줌 락(zoom lock) 트리거 또는 시야 고정(FoV fixing) 트리거로 언급되거나 참조될 수 있다. 줌 락 트리거는 출력되는 이미지의 시야를 안정화하기 위해 전자 장치(100)가 흔들림 보정 기능을 수행하도록 하는 이벤트를 의미할 수 있다.
일 실시 예에서, 상기 줌 락 트리거(zoom lock)는 사용자의 디스플레이 터치 입력, 사용자의 버튼 입력, 사용자의 음성 입력 및 객체 검출 중 적어도 하나를 포함할 수 있다. 상기 사용자의 디스플레이 터치 입력은 사용자가 촬영하고자 하는 객체를 터치하는 경우를 포함할 수 있다. 상기 촬영하고자 하는 객체를 터치하는 것은 AF(auto focus) 기능과 공용될 수 있다. 예를 들어, 상기 객체를 터치하는 것은 객체에 대한 AF 표시가 디스플레이 되는 경우, 상기 AF 표시를 터치하는 사용자의 입력을 포함할 수 있다. 상기 사용자의 음성 입력은 AI(artificial intelligence) 음성 인식을 통하여 "OOO, 카메라 고정해줘" 또는 "OOO, 카메라 흔들림 강도를 높여줘" 와 같은 음성을 입력하는 것을 포함할 수 있다.
일 실시 예에서, 상기 줌 락 트리거(zoom lock trigger)는 전자 장치(100)의 상태 변화(예: 펼침 상태, 또는 확장 상태)에 기반하여 수행될 수 있다. 예를 들면, 전자 장치(100)는 디스플레이(110)(예: 플렉서블 디스플레이)가 펼쳐지거나 확장되는 변화에 기반하여, 확장된 디스플레이 영역(예: 화면 표시 영역)에 줌 락 트리거에 대응되는 프리뷰 이미지, 로우(raw) 이미지 데이터에서 크롭되는 영역을 보여주는 사용자 인터페이스(예: 도 12의 사용자 인터페이스(1210)), 및/또는 하이라이트(예: 도 12의 하이라이트(1220))를 표시할 수 있다.
일 실시 예에서, 프로세서(210)는 제1 트리거(trigger) 이벤트가 발생하는 경우 동작 540을 수행하고, 그렇지 않은 경우 동작 510을 수행할 수 있다.
일 실시 예에서, 상기 줌 락(zoom lock) 트리거는 촬영하고자 하는 객체(예: 달)를 검출하는 것을 포함할 수 있다.
일 실시 예에 따른 동작 540에서, 프로세서(210)는 흔들림 보정의 강도를 증가시킬 수 있다. 프로세서(210)는 상기 제1 트리거 이벤트가 발생하는 것에 응답하여, 흔들림 보정의 강도를 증가시킬 수 있다.
일 실시 예에 따른 동작 550에서, 프로세서(210)는 흔들림 보정이 수행된 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 프로세서(210)는 동작 540을 통해 증가된 흔들림 보정의 강도에 기반하여 흔들림 보정을 수행할 수 있다. 프로세서(210)는 상기 흔들림 보정이 수행된 프리뷰 이미지를 디스플레이(110)에 출력할 수 있다.
일 실시 예에 따른 동작 560에서, 프로세서(210)는 제2 트리거 이벤트가 발생했는지 판단할 수 있다. 상기 제2 트리거는 줌 언락(zoom unlock) 트리거 또는 시야 이동(FoV moving) 트리거로 언급되거나 참조될 수 있다. 줌 언락 트리거는 출력되는 이미지의 시야가 움직이도록 전자 장치(100)가 흔들림 보정 기능을 중지하거나 흔들림 보정 기능의 강도를 낮추는 동작을 수행하도록 하는 이벤트를 의미할 수 있다.
일 실시 예에서, 상기 줌 언락 트리거는 줌 락이 된 상태인 제2 모드에서, 사용자의 디스플레이 터치 입력 및 버튼 입력을 포함할 수 있다. 프로세서(210)는 줌 락이 된 상태인 제2 모드에서, 촬영 중인 객체를 터치하는 입력 및/또는 버튼 입력(예: 줌 언락 버튼)을 획득하는 경우, 줌 언락 트리거로 인식할 수 있다.
일 실시 예에서, 상기 줌 언락 트리거는 줌 락이 된 상태인 제2 모드에서, 검출하던 객체가 검출되지 않는 경우를 포함할 수 있다. 예를 들어, 프로세서(210)는 검출하던 객체가 프리뷰 이미지 밖으로 벗어나는 경우, 줌 언락 트리거로 인식할 수 있다. 프로세서(210)는 카메라(220)를 통해 획득된 이미지 데이터를 분석하여 검출하던 객체가 상기 이미지 데이터 상에서 검출되지 않는 경우, 줌 언락 트리거로 인식할 수 있다.
일 실시 예에서, 상기 줌 언락 트리거는 줌 락이 된 상태인 제2 모드에서, 더 이상 보정할 수 있는 보정 마진이 없는 경우를 포함할 수 있다. 다시 말해서, 줌 언락 트리거는 현재 프레임의 프리뷰 이미지가 제1 트리거 이벤트가 발생한 시점에 결정된 마진 영역을 벗어나는 경우를 포함할 수 있다.
일 실시 예에서, 상기 줌 언락 트리거는 전자 장치(100)의 상태 변화(예: 접힘 상태, 또는 축소 상태)에 기반하여 수행될 수 있다. 예를 들면, 전자 장치(100)는 디스플레이(110)(예: 플렉서블 디스플레이)가 접혀지거나 축소되는 변화에 기반하여, 축소된 디스플레이 영역(예: 화면 표시 영역)에 줌 언락 트리거에 대응되는 프리뷰 이미지, 및/또는 로우(raw) 이미지 데이터에서 크롭되는 영역을 보여주는 사용자 인터페이스(예: 도 12의 사용자 인터페이스(1210))를 표시할 수 있다.
일 실시 예에서, 상기 줌 언락 트리거는 줌 락이 된 상태인 제2 모드에서, 프로세서(210)가 전자 장치(100)의 움직임을 분석하여 임계 속도 이상의 움직임을 감지한 경우를 포함할 수 있다. 이에 관련된 설명은 도 10에서 추가적으로 설명된다.
일 실시 예에서, 프로세서(210)는 제2 트리거 이벤트가 발생하는 경우 동작 570을 수행하고, 그렇지 않은 경우 동작 550을 수행할 수 있다.
일 실시 예에 따른 동작 570에서, 프로세서(210)는 보정의 강도를 감소시키면서 흔들림 보정을 수행할 수 있다. 프로세서(210)는 보정의 강도를 점진적으로 감소시킬 수 있다. 예를 들어, 프로세서(210)는 제1 시간 동안 기준 값으로 낮출 수 있다. 프로세서(210)는 흔들림 보정의 강도를 감소시키면서 매 프레임에 대한 흔들림 보정이 수행된 프리뷰 이미지로써 출력할 수 있다. 예를 들어, 보정의 강도를 점진적으로 감소시키는 상태는 본 문서의 다양한 실시 예에서 제3 모드로 언급되거나 참조될 수 있다.
일 실시 예에 따른 동작 580에서, 프로세서(210)는 보정의 강도가 기준 값보다 낮은지 판단할 수 있다. 프로세서(210)는 보정의 강도가 기준 값보다 낮은지 판단하여, 흔들림 보정의 강도가 기준 값까지 감소될 때까지 보정의 강도를 점진적으로 감소시킬 수 있다.
일 실시 예에서, 프로세서(210)는 보정의 강도가 기준 값보다 낮은 경우 동작 590을 수행하고, 그렇지 않은 경우 동작 570을 수행할 수 있다.
일 실시 예에 따른 동작 590에서, 프로세서(210)는 획득된 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 프로세서(210)는 줌 언락 트리거 이벤트(예: 제2 트리거 이벤트)에 응답하여 흔들림 보정의 강도가 기준 값으로 낮아진 경우, 상기 기준 값에 대응하여 흔들림 보정이 수행된 프리뷰 이미지를 디스플레이(110)에 출력할 수 있다.
도 6은 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트의 발생 여부에 따라 흔들림 보정의 강도가 변화하는 그래프를 나타낸다. 도 6은 도 5에서 설명된 흔들림 보정 강도에 대한 이해를 돕기 위한 그래프를 나타낸다. 도 6에서 언급되는 흔들림 보정 강도, 제1 트리거 이벤트, 제2 트리거 이벤트는 도 5에서 설명된 것과 동일하므로 도 6에서는 설명이 생략될 수 있다.
일 실시 예에서, 제1 트리거 이벤트가 발생하는 경우, 프로세서(210)는 흔들림 보정의 강도를 최대치로 증가시킬 수 있다. 상기 제1 트리거 이벤트는 락(lock) 트리거로 언급되거나 참조될 수 있다. 프로세서(210)는 제1 트리거 이벤트가 발생하기 전까지 흔들림 보정의 강도를 최소치로 유지하다가 제1 트리거 이벤트에 응답하여 흔들림 보정의 강도를 최대치로 증가시켜 흔들림이 최소화된 프리뷰 이미지를 출력할 수 있다.
일 실시 예에서, 제2 트리거 이벤트가 발생하는 경우, 프로세서(210)는 흔들림 보정의 강도를 최소치로 감소시킬 수 있다. 상기 제2 트리거 이벤트는 언락(unlock) 트리거로 언급되거나 참조될 수 있다.
도 7은 일 실시 예에 따른 전자 장치에서 흔들림 보정 강도를 높이는 트리거 이벤트에 관한 사용자 인터페이스를 나타낸다.
도 7을 참조하면, 어플리케이션 실행 시, 프로세서(210)는 화면 <701>과 같은 사용자 인터페이스를 전자 장치(100)의 디스플레이(110)에 출력할 수 있다.
일 실시 예에서, 어플리케이션의 사용자 인터페이스는 촬영 아이콘(711), 카메라 전환 아이콘(712), 최근(recent) 이미지 아이콘(713) 등이 배치되는 제1 영역(710)을 포함할 수 있다. 본 문서의 실시 예에서 아이콘은 버튼, 메뉴, 객체 등의 표현으로 대체될 수 있다. 또한 도 7에서 제1 영역(710)에 도시된 아이콘들은 예시적인 것이며, 4개 이상의 아이콘이 배치되거나, 임의의 아이콘이 다른 아이콘으로 대체되거나 생략될 수 있다.
일 실시 예에서, 상기 사용자 인터페이스는 사진(photo) 촬영, 비디오(video) 기록, 슬로우(slow) 모션 촬영 등을 어플리케이션이 지원하는 다양한 촬영 모드들 및/또는 현재 선택된 촬영 모드를 나타내는 제2 영역(720)을 포함할 수 있다. 지정된 입력을 통해 사용자는 촬영 모드를 변경할 수 있다. 예를 들어, 화면 <701>은 사진(photo) 촬영 모드를 지시하고 있으나, 디스플레이(110)를 오른쪽에서 왼쪽으로 슬라이드 하는 사용자 입력이 감지되면, 프로세서(210)는 촬영 모드를 비디오(video) 촬영 모드로 변경할 수 있다. 전자 장치(100)는 3개 이상의 촬영 모드들을 지원할 수 있고, 도시되지 않은 다양한 촬영 모드들이 전술한 것과 같은 사용자 입력을 통해 전환 및 제2 영역(720)에 표시될 수 있다.
일 실시 예에서, 상기 사용자 인터페이스는 프리뷰 이미지와 같이, 촬영되고 있는 영상이 표시되는 제3 영역(730)을 포함할 수 있다. 다만 프리뷰 이미지나 실시간 촬영 영상은 제3 영역(730) 외에도 다른 영역에 걸쳐서 출력될 수 있다. 예를 들어, 전자 장치(100)가 비디오 촬영을 시작하게 되면 촬영 종료 시점까지 제2 영역(720)이나 제4 영역(740)에 표시되는 항목들은 사용자에게 노출되는 것이 불필요할 수 있으므로, 실시간 촬영 영상은 제3 영역(730) 외에 제2 영역(720)이나 제4 영역(740)까지 포함하는 영역에 출력될 수 있다. 물론, 실시간 촬영 영상이 제1 영역(710)까지 확장될 수도 있다. 일부 아이콘들은 실시간 촬영 영상 위에 중첩되는 형태로 디스플레이 상태를 유지할 수 있다.
일 실시 예에서, 상기 사용자 인터페이스는 설정, 플래시, 종횡비 등을 설정할 수 있는 설정 메뉴들이 디스플레이되는 제4 영역(740)을 포함할 수 있다. 제4 영역(740)을 통해 구성 정보에 포함된 파라미터들이 설정될 수 있다. 예를 들어, 사용자는 제4 영역에 포함된 설정 아이콘을 선택하거나 종횡비 아이콘을 선택함으로써, 기록될 비디오의 해상도나 프레임 레이트, 필터, 또는 종횡비 등을 설정할 수 있다.
일 실시 예에서, 프로세서(210)는 크롭되는 영역을 보여주는 사용자 인터페이스(750)를 디스플레이(110)에 표시할 수 있다. 상기 사용자 인터페이스(750)는 줌 맵(zoom map)으로 언급되거나 참조될 수 있다.
일 실시 예에서, 프로세서(210)는 일정 줌 배율 이상에서 상기 줌 맵을 디스플레이(110)에 표시할 수 있다. 예를 들어, 프로세서(210)는 제1 줌 배율(예: x1 줌 배율)에서는 줌 맵을 표시하지 않다가, 제2 줌 배율(예: x10 줌 배율) 이상의 줌 입력을 획득하는 경우, 디스플레이(110)에 상기 줌 맵을 표시할 수 있다.
일 실시 예에서, 프로세서(210)는 광학 줌 입력과 디지털 줌 입력에 기반하여 상기 줌 맵을 표시할 수 있다. 예를 들어, 프로세서(210)는 광학 줌을 통해 일정 줌 배율에 대한 이미지 데이터를 획득한 이후에, 사용자의 줌 확대 입력을 획득하는 경우, 상기 일정 줌 배율에 대한 이미지 중 적어도 일부를 크롭할 수 있다. 프로세서(210)는 상기 적어도 일부가 크롭된 영역과 상기 일정 줌 배율에 대한 이미지 데이터의 비율에 대한 정보를 줌 맵을 통해서 제공할 수 있다. 예를 들어, 프로세서(210)는 상기 비율이 1:10인 경우, 크롭된 영역:줌 맵 영역 = 1:10 로 줌 맵을 표시할 수 있다.
일 실시 예에서, 프로세서(210)는 상기 줌 맵에 표시되는 크롭된 영역의 크기를 줌 배율에 기반하여 조절할 수 있다. 예를 들어, 프로세서(210)는 제1 배율(예: 최대 줌 배율)인 경우에는 상기 줌 맵에 표시되는 크롭된 영역의 크기를 제1 크기(예: 최소 크기)로 하여 표시할 수 있다. 프로세서(210)는 제1 배율(예: 최대 줌 배율)보다 작은 배율(예: 제2 배율)인 경우에는, 상기 줌 맵에 표시되는 크롭된 영역의 크기를 제1 크기(예: 최소 크기)보다 확대된 크기(예: 제2 크기)로 표시할 수 있다.
일 실시 예에서, 도 7의 줌 맵에서는 프리뷰 이미지에 나타나는 객체가 표시되는 것으로 도시되었지만, 프로세서(210)는 줌 맵에 크롭되는 영역은 나타내고 객체는 표시하지 않을 수도 있다.
도 7의 실시 예에서, 설명의 편의 상 화면 <701>, <702>, <703>에서 제1 영역(710), 제2 영역(720), 제3 영역(730), 및 제4 영역(740)이 유지되는 것으로 도시되었으나, 어플리케이션의 구현 방식에 따라 촬영 시작 전/후, 카메라 전환 동작 등에서 일부 영역은 생략되거나 변형될 수 있다.
일 실시 예에서, 상기와 같은 제1 영역(710), 제2 영역(720), 제3 영역(730), 제4 영역(740), 및 사용자 인터페이스(750)에 대한 설명은 도 8의 실시 예의 화면 <801>, <802>, <803> 및 도 12의 실시 예의 화면 <1201>, <1202>, <1203>, <1204>에 동일하게 적용될 수 있다.
일 실시 예에 따르면, 화면 <701>은 카메라 어플리케이션 실행 후, 사진(photo) 촬영 모드에서 일정 줌 배율 이상으로 줌 배율을 확대한 경우 객체(741)를 검출한 화면을 나타낼 수 있다. 예를 들어, 화면 <701>은 사진(photo) 촬영 모드가 실행된 후 사용자의 줌 입력을 통해 일정 배율(x20 줌 배율) 이상으로 줌 동작이 된 상태에서 객체(예: 달)를 검출한 화면을 나타낼 수 있다. 프로세서(210)는 객체가 검출되는 경우 객체(741) 주변에 관심 영역을 표시하여 객체(741)가 검출되었음을 나타낼 수 있다. 상기 관심 영역을 표시하는 것은 AF(auto focus) 표시를 하는 것과 공용될 수 있다. 프로세서(210)는 상기 객체(741)를 검출하는 것에 응답하여 흔들림 보정의 강도를 높일 수 있다.
일 실시 예에 따르면, 화면 <702>는 프리뷰 이미지에 보여지는 객체(741)를 선택하는 사용자의 입력(742)을 획득하는 것을 나타낼 수 있다. 프로세서(210)는 상기 사용자의 입력(742)을 획득하는 것에 응답하여, 흔들림 보정의 강도를 높일 수 있다.
일 실시 예에 따르면, 화면 <703>은 디스플레이(110)의 제3 영역(730) 중 흔들림 보정 기능을 수행하도록 하는 항목(예: lock 표시된 아이콘 및/또는 자물쇠 아이콘)을 선택하는 사용자의 입력(743)을 획득하는 것을 나타낼 수 있다. 프로세서(210)는 상기 항목을 선택하는 사용자의 입력(743)을 획득하는 것에 응답하여 흔들림 보정의 강도를 높일 수 있다.
도 8은 일 실시 예에 따른 전자 장치에서 흔들림 보정 강도를 낮추는 트리거 이벤트에 관한 사용자 인터페이스를 나타낸다.
일 실시 예에 따르면, 화면 <801>은 카메라 어플리케이션 실행 후, 사진(photo) 촬영 모드에서 검출되었던 객체(810)가 프리뷰 이미지 상에서 검출되지 않는 경우를 나타낼 수 있다. 프로세서(210)는 프리뷰 이미지 상에 객체(810)가 검출되지 않는 경우, 상기 객체(810)를 촬영하지 않는다고 판단하고 흔들림 보정의 강도를 낮출 수 있다. 프로세서(210)는 프리뷰 이미지 상에서 검출되었던 객체(810)가 일정 정도 이상 벗어나는 조건이 만족되는 경우, 상기 객체(810)를 촬영하지 않는다고 판단하고 흔들림 보정의 강도를 낮출 수 있다. 예를 들어, 프로세서(210)는 상기 객체(810)가 제1 시간 동안 프리뷰 이미지에서 벗어나는 경우, 흔들림 보정의 강도를 낮출 수 있다. 예를 들어, 프로세서(210)는 상기 객체(810)가 제1 속도로 프리뷰 이미지에서 벗어나는 경우, 사용자가 객체를 촬영하지 않는다고 판단하여 흔들림 보정의 강도를 낮출 수 있다.
일 실시 예에 따르면, 화면 <802>는 프리뷰 이미지에 보여지는 객체(810)를 선택하는 사용자의 입력(820)을 획득하는 것을 나타낼 수 있다. 프로세서(210)는 흔들림 보정의 강도가 증가한 상태에서 상기 사용자의 입력(820)을 획득하는 것에 응답하여, 흔들림 보정의 강도를 낮출 수 있다.
일 실시 예에 따르면, 화면 <803>은 디스플레이(110)의 제3 영역(예: 도 7의 제3 영역(730)) 중 흔들림 보정 기능을 수행하도록 하는 항목(예: lock 표시된 아이콘 및/또는 자물쇠 아이콘)을 선택하는 사용자의 입력(830)을 획득하는 것을 나타낼 수 있다. 프로세서(210)는 흔들림 보정의 강도가 증가한 상태에서 상기 항목을 선택하는 사용자의 입력(830)을 획득하는 것에 응답하여 흔들림 보정의 강도를 낮출 수 있다.
일 실시 예에 따르면, 흔들림 보정 기능을 수행하도록 하는 항목(예: lock 표시된 아이콘 및/또는 자물쇠 아이콘)(이하, 줌 락 아이콘)은 도시된 예에 한정하지 않으며, 다양하게 변경될 수 있다. 예를 들면, 제1 모드에서 제2 모드로 변경되는 경우, 줌 락 아이콘에 표시되는 텍스트가 변경될 수 있다. 예를 들면, 제1 모드 및/또는 제 3모드에서는 unlock으로 표시될 수 있고, 제2 모드에서는 lock으로 표시될 수 있다. 또한, 흔들림 보정 기능이 수행되는 경우, 기능이 활성화되었음을 나타내는 색 변화가 표시될 수 있다. 예를 들면, 제1 모드 및/또는 제3 모드에서는 비활성화 상태와 관련된 어두운 색(예: 그레이 색)으로 표시가 될 수 있고, 제2 모드에서는 활성화 상태와 관련된 밝은 색(예: 흰색, 노란색)으로 표시될 수 있다.
도 9는 일 실시 예에 따른 전자 장치에서 마진 영역이 관한 것을 나타낸다. 프로세서(210)는 카메라(220)를 통해 이미지 데이터를 획득할 수 있다. 프로세서(210)는 상기 이미지 데이터에 기반하여 프리뷰 이미지를 디스플레이(110)를 통해 출력할 수 있다. 프로세서(210)는 사용자의 줌 입력에 응답하여 획득된 이미지 데이터를 크롭(crop)하여 크롭된 이미지 데이터를 프리뷰 이미지로써 디스플레이(110)에 출력할 수 있다. 프로세서(210)는 도 9에 도시된 것과 같이 카메라를 통해 획득된 로우(raw) 이미지 데이터와 프리뷰 이미지의 영역 차이를 비교할 수 있다. 프로세서(210)는 상기 발생한 영역의 차이를 마진 영역으로 결정할 수 있다.
도 9를 참조하면, 제1 경우(910)는 획득된 이미지 데이터에 프리뷰 이미지 영역이 포함되며, 마진 영역이 확보된 것을 나타낼 수 있다. 제2 경우(920)는 프리뷰 이미지가 획득된 이미지 데이터를 벗어나 더 이상 보정할 수 있는 마진 영역이 없는 경우, 즉 언락 트리거 이벤트가 발생한 경우를 나타낼 수 있다. 제2 경우(920)가 발생하는 경우, 프로세서(210)는 흔들림 보정의 강도를 낮추는 제3 모드로 동작할 수 있다.
도 10은 일 실시 예에 따른 전자 장치의 움직임을 판단하여 흔들림 보정의 강도를 변경하는 동작을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 10에 예시된 흐름도의 동작 주체는 프로세서(예: 도 2의 프로세서(210)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(240))로 이해될 수 있다.
일 실시 예에 따른 동작 1010에서, 프로세서(210)는 전자 장치(100)의 움직임을 판단할 수 있다. 프로세서(210)는 전자 장치(100)의 움직임을 분석하여 임계 속도 이상의 움직임이 감지되는지 판단할 수 있다. 프로세서(210)는 적어도 하나 이상의 센서(예: 모션 센서)를 이용하여 전자 장치(100)의 움직임을 판단할 수 있다.
일 실시 예에서, 전자 장치(100)는 적어도 가속도 센서, 자이로 센서 및 지자계 센서 중 하나 이상을 포함할 수 있다. 프로세서(210)는 상기 적어도 하나의 센서로부터 획득한 모션 데이터를 통해 전자 장치(100)의 방위각(azimuth), 피치(pitch), 롤(roll) 값을 측정함으로써, 전자 장치(100)의 움직임을 판단할 수 있다. 상기 모션 데이터는 가속도 센서로부터 획득된 3축 모션 데이터(x1, y1, z1)를 포함하거나, 자이로 센서 및 지자계 센서를 추가로 이용하여 획득된 9축 모션 데이터를 포함할 수 있다.
일 실시 예에서, 프로세서(210)는 9축 모션 데이터에서 측정된 방위각(azimuth)(예: 요(yaw), 피치(pitch) 및/또는 롤(roll) 값)에 기반하여 가상의 좌표 공간을 형성할 수 있다. 프로세서(210)는 가상의 좌표 공간의 일 영역을 가로 방향(landscape) 범위로 구분하고, 다른 일 영역을 세로 방향(portrait) 범위로 구분할 수 있다. 예를 들어, 프로세서(210)는 전자 장치(100)의 상태가 가로 방향 범위에 포함되는 경우, 전자 장치(100)의 방향이 가로 방향인 것으로 판단할 수 있고, 지면에 대해 평행인 수평 축으로 전자 장치(100)의 평행한 긴 면이 거치된 상태를 나타낼 수 있다. 예를 들어, 프로세서(210)는 전자 장치(100)의 상태가 세로 방향 범위에 포함되는 경우, 전자 장치(100)의 방향이 세로 방향인 것으로 판단할 수 있고, 지면에 대해 수직인 수직 축으로 전자 장치(100)의 평행한 긴 면이 거치된 상태를 나타낼 수 있다.
일 실시 예에서, 프로세서(210)는 전자 장치(100)의 상기 움직임을 판단하여 사용자의 촬영 의도를 파악할 수 있다. 예를 들어, 전자 장치(100)의 움직임이 급격하게 변하는 경우, 촬영하고자 하는 객체를 변경하는 것으로 판단하거나 촬영을 중지하는 것으로 판단하여 흔들림 보정의 강도를 감소시킬 수 있다.
일 실시 예에 따른 동작 1020에서, 프로세서(210)는 전자 장치(100)의 움직임이 임계 값(예: 임계 속도) 이상인지 판단할 수 있다. 예를 들어, 프로세서(210)는 전자 장치(100)가 카메라(220)의 패닝 축(panning axis)을 기준으로 N 프레임 동안 제1 각도 이상 움직인 경우, 상기 움직임이 임계 값 이상인 것으로 판단하여 동작 1030을 수행할 수 있다. 상기 제1 각도는 현재 프레임에 설정된 줌 배율 및/또는 객체의 크기에 따라 달라질 수 있다. 일 실시 예에서, 프로세서(210)는 전자 장치(100)의 움직임이 임계 값(예: 임계 속도) 이상이 아닌 경우, 동작 1010을 수행할 수 있다.
일 실시 예에 따른 동작 1030에서, 프로세서(210)는 흔들림 보정의 강도를 감소시킬 수 있다. 동작 1030은 도 5의 동작 570 내지 동작 590과 대응될 수 있다.
도 11은 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트가 발생함에 따라 디스플레이를 제어하는 동작을 나타낸 흐름도이다. 도 11에 예시된 흐름도의 동작 주체는 프로세서(예: 도 2의 프로세서(210)) 또는 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(240))로 이해될 수 있다. 도 11은 이하 도 12에서 도시된 화면들과 관련된다.
일 실시 예에 따른 동작 1110에서, 프로세서(210)는 크롭되는 영역을 보여주는 사용자 인터페이스를 디스플레이(110)의 일 영역(예: 도 7의 제3 영역(730))에 표시할 수 있다. 프로세서(210)는 사용자로부터 줌 입력을 획득하는 경우, 디스플레이(110)의 일 영역에 획득된 로우(raw) 이미지 데이터에서 크롭되는 영역을 보여주는 사용자 인터페이스를 표시할 수 있다. 예를 들어, 프로세서(210)는 사용자로부터 x100배 줌 입력을 획득하는 경우, 카메라(220)를 통해서 획득한 이미지 데이터와 상기 이미지 데이터의 1/100로 크롭된 이미지 데이터를 디스플레이(110)를 통해 표시할 수 있다.
일 실시 예에 따른 동작 1120에서, 프로세서(210)는 제1 트리거 이벤트가 발생했는지 판단할 수 있다. 동작 1120은 도 5의 동작 530과 대응될 수 있다. 일 실시 예에서, 프로세서(210)는 제1 트리거 이벤트가 발생하는 경우 동작 1130을 수행하고, 그렇지 않은 경우 동작 1110을 수행할 수 있다.
일 실시 예에 따른 동작 1130에서, 프로세서(210)는 상기 사용자 인터페이스에 하이라이트를 표시할 수 있다. 프로세서(210)는 제1 트리거 이벤트가 발생한 것에 응답하여, 상기 사용자 인터페이스에 하이라이트를 표시할 수 있다. 프로세서(210)는 상기 사용자 인터페이스에 하이라이트를 표시하여 흔들림 보정의 강도가 증가하였음을 나타내는 알림(notification)을 사용자에게 제공할 수 있다.
일 실시 예에 따른 동작 1140에서, 프로세서(210)는 제2 트리거 이벤트가 발생했는지 판단할 수 있다. 동작 1140은 도 5의 동작 560과 대응될 수 있다. 일 실시 예에서, 프로세서(210)는 제2 트리거 이벤트가 발생하는 경우 동작 1150을 수행하고, 그렇지 않은 경우 동작 1130을 수행할 수 있다.
일 실시 예에 따른 동작 1150에서, 프로세서(210)는 상기 사용자 인터페이스에 하이라이트 표시를 해제할 수 있다. 프로세서(210)는 제2 트리거 이벤트가 발생한 것에 응답하여, 상기 사용자 인터페이스에 하이라이트 표시를 해제할 수 있다. 프로세서(210)는 상기 하이라이트 표시를 해제하여 흔들림 보정의 강도가 감소하였음을 나타내는 알림(notification)을 사용자에게 제공할 수 있다.
도 12는 일 실시 예에 따른 전자 장치에서 흔들림 보정에 관한 트리거 이벤트가 발생함에 따라 디스플레이의 표시가 달라지는 것을 나타낸다. 도 12는 도 11에 대한 설명에 관련하여 디스플레이(110)를 통해서 출력되는 사용자 인터페이스를 나타낸다.
일 실시 예에 따른 화면 <1201>는 기본적으로 설정된 배율(예: x1.0배)에 기반하여 디스플레이(110)를 통해 프리뷰 이미지가 출력된 화면일 수 있다. 예를 들어, 프로세서(210)는 줌 x1.0 배율로 객체(예: 달)가 포함된 프리뷰 이미지를 디스플레이(110)를 통해 출력할 수 있다.
일 실시 예에 따른 화면 <1202>는 도 11의 동작 1110에 대응되는 화면일 수 있다. 화면 <1202>는 프로세서(210)가 화면 <1201> 상태에서 사용자로부터 줌 입력(예: x100배)을 획득하는 것에 응답하여, 상기 줌 입력에 대응되는 프리뷰 이미지를 출력한 화면일 수 있다. 프로세서(210)는 사용자로부터 상기 줌 입력을 획득하는 경우, 디스플레이(110)의 일 영역에 획득된 로우(raw) 이미지 데이터에서 크롭되는 영역을 보여주는 사용자 인터페이스(1210)를 표시할 수 있다.
일 실시 예에 따른 화면 <1203>는 도 11의 동작 1130에 대응되는 화면일 수 있다. 화면 <1203>을 참조하면 프로세서(210)는 크롭되는 영역을 보여주는 사용자 인터페이스(1210)에 하이라이트(1220)를 표시할 수 있다. 예를 들어, 프로세서(210)는 상기 사용자 인터페이스(1210)에 대하여 적어도 외곽 라인 부분을 노란색으로 굵게 표시할 수 있다.
일 실시 예에서, 화면 <1203>에 도시된 것과 같은 하이라이트 방식 외에 디스플레이(110)의 일 영역(예: 도 7의 제3 영역(730))에 특정 아이콘을 표시할 수 있다. 예를 들어, 고배율(예: x10 줌 배율 이상)로 촬영을 하다가 제1 트리거 이벤트가 발생하는 경우, 프로세서(210)는 프리뷰가 흔들리지 않고 고정되어 있다는 의미인 락(lock) 아이콘을 표시할 수 있다.
일 실시 예에서, 화면 <1203>에 도시된 것과 같은 하이라이트 방식 외에 디스플레이(110)의 일 영역(예: 도 7의 제2 영역(720))에 현재 모드에 관한 표시(예: lock mode)를 할 수 있다. 예를 들어, 사진(photo) 모드에서 고배율(예: x100배 줌 배율)로 촬영을 하다가 제1 트리거 이벤트가 발생하는 경우, 프로세서(210)는 디스플레이(110)의 일 영역(예: 도 7의 제2 영역(720))에 사진(photo) 모드의 표시를 락(lock) 모드의 표시로 변경할 수 있다.
일 실시 예에 따른 화면 <1204>는 도 11의 동작 1150에 대응되는 화면일 수 있다. 프로세서(210)는 하이라이트 표시를 해제하여 화면 <1202>와 같은 프리뷰 이미지를 출력할 수 있다.
도 13은, 다양한 실시 예들에 따른, 네트워크 환경(1300) 내의 전자 장치(1301)의 블록도이다. 도 13을 참조하면, 네트워크 환경(1300)에서 전자 장치(1301)는 제1 네트워크(1398)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1302)와 통신하거나, 또는 제2 네트워크(1399)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1304) 또는 서버(1308)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1301)는 서버(1308)를 통하여 전자 장치(1304)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1301)는 프로세서(1320), 메모리(1330), 입력 모듈(1350), 음향 출력 모듈(1355), 디스플레이 모듈(1360), 오디오 모듈(1370), 센서 모듈(1376), 인터페이스(1377), 연결 단자(1378), 햅틱 모듈(1379), 카메라 모듈(1380), 전력 관리 모듈(1388), 배터리(1389), 통신 모듈(1390), 가입자 식별 모듈(1396), 또는 안테나 모듈(1397)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1301)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1378))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1376), 카메라 모듈(1380), 또는 안테나 모듈(1397))은 하나의 구성요소(예: 디스플레이 모듈(1360))로 통합될 수 있다.
프로세서(1320)는, 예를 들면, 소프트웨어(예: 프로그램(1340))를 실행하여 프로세서(1320)에 연결된 전자 장치(1301)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1320)는 다른 구성요소(예: 센서 모듈(1376) 또는 통신 모듈(1390))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1332)에 저장하고, 휘발성 메모리(1332)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1334)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1320)는 메인 프로세서(1321)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1323)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1301)가 메인 프로세서(1321) 및 보조 프로세서(1323)를 포함하는 경우, 보조 프로세서(1323)는 메인 프로세서(1321)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1323)는 메인 프로세서(1321)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1323)는, 예를 들면, 메인 프로세서(1321)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1321)를 대신하여, 또는 메인 프로세서(1321)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1321)와 함께, 전자 장치(1301)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1360), 센서 모듈(1376), 또는 통신 모듈(1390))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1323)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1380) 또는 통신 모듈(1390))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(1323)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(1301) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1308))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1330)는, 전자 장치(1301)의 적어도 하나의 구성요소(예: 프로세서(1320) 또는 센서 모듈(1376))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1340)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1330)는, 휘발성 메모리(1332) 또는 비휘발성 메모리(1334)를 포함할 수 있다.
프로그램(1340)은 메모리(1330)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1342), 미들 웨어(1344) 또는 어플리케이션(1346)을 포함할 수 있다.
입력 모듈(1350)은, 전자 장치(1301)의 구성요소(예: 프로세서(1320))에 사용될 명령 또는 데이터를 전자 장치(1301)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1350)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1355)은 음향 신호를 전자 장치(1301)의 외부로 출력할 수 있다. 음향 출력 모듈(1355)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1360)은 전자 장치(1301)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1360)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(1360)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1370)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1370)은, 입력 모듈(1350)을 통해 소리를 획득하거나, 음향 출력 모듈(1355), 또는 전자 장치(1301)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1302))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1376)은 전자 장치(1301)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(1376)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1377)는 전자 장치(1301)가 외부 전자 장치(예: 전자 장치(1302))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1377)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1378)는 그를 통해서 전자 장치(1301)가 외부 전자 장치(예: 전자 장치(1302))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(1378)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1379)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(1379)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1380)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1380)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1388)은 전자 장치(1301)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(1388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1389)는 전자 장치(1301)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(1389)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1390)은 전자 장치(1301)와 외부 전자 장치(예: 전자 장치(1302), 전자 장치(1304), 또는 서버(1308)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1390)은 프로세서(1320)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1390)은 무선 통신 모듈(1392)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1394)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1398)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(1399)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1304)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1392)은 가입자 식별 모듈(1396)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(1398) 또는 제2 네트워크(1399)와 같은 통신 네트워크 내에서 전자 장치(1301)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1392)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1392)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1392)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1392)은 전자 장치(1301), 외부 전자 장치(예: 전자 장치(1304)) 또는 네트워크 시스템(예: 제2 네트워크(1399))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(1392)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1397)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1397)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1397)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(1398) 또는 제2 네트워크(1399)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1390)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1390)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1397)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(1397)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(1399)에 연결된 서버(1308)를 통해서 전자 장치(1301)와 외부의 전자 장치(1304)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1302, 또는 1304) 각각은 전자 장치(1301)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1301)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1302, 1304, 또는 1308) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1301)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1301)로 전달할 수 있다. 전자 장치(1301)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1301)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(1304)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1308)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(1304) 또는 서버(1308)는 제2 네트워크(1399) 내에 포함될 수 있다. 전자 장치(1301)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(1301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1336) 또는 외장 메모리(1338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1301))의 프로세서(예: 프로세서(1320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 14는 다양한 실시 예들에 따른, 카메라 모듈(1380)을 예시하는 블럭도(1400)이다. 도 14를 참조하면, 카메라 모듈(1380)은 렌즈 어셈블리(1410), 플래쉬(1420), 이미지 센서(1430), 이미지 스태빌라이저(1440), 메모리(1450)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(1460)를 포함할 수 있다. 렌즈 어셈블리(1410)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(1410)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1380)은 복수의 렌즈 어셈블리(1410)들을 포함할 수 있다. 이런 경우, 카메라 모듈(1380)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(1410)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(1410)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(1420)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시 예에 따르면, 플래쉬(1420)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(1430)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(1410)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시 예에 따르면, 이미지 센서(1430)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(1430)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(1440)는 카메라 모듈(1380) 또는 이를 포함하는 전자 장치(1301)의 움직임에 반응하여, 렌즈 어셈블리(1410)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(1430)를 특정한 방향으로 움직이거나 이미지 센서(1430)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시 예에 따르면, 이미지 스태빌라이저(1440)는, 일 실시 예에 따르면, 이미지 스태빌라이저(1440)는 카메라 모듈(1380)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(1380) 또는 전자 장치(1301)의 그런 움직임을 감지할 수 있다. 일 실시 예에 따르면, 이미지 스태빌라이저(1440)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(1450)는 이미지 센서(1430)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(1450)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(1360)를 통하여 프리뷰 될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(1450)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(1460)에 의해 획득되어 처리될 수 있다. 일 실시 예에 따르면, 메모리(1450)는 메모리(1330)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(1460)는 이미지 센서(1430)를 통하여 획득된 이미지 또는 메모리(1450)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(1460)는 카메라 모듈(1380)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(1430))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(1460)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(1450)에 다시 저장되거나 카메라 모듈(1380)의 외부 구성 요소(예: 메모리(1330), 표시 장치(1360), 전자 장치(1302), 전자 장치(1304), 또는 서버(1308))로 제공될 수 있다. 일 실시 예에 따르면, 이미지 시그널 프로세서(1460)는 프로세서(1320)의 적어도 일부로 구성되거나, 프로세서(1320)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(1460)가 프로세서(1320)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(1460)에 의해 처리된 적어도 하나의 이미지는 프로세서(1320)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(1360)를 통해 표시될 수 있다.
일 실시 예에 따르면, 전자 장치(1301)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(1380)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(1380)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(1380)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
일 실시 예에서, 전자 장치(100)는 카메라(220), 디스플레이(110), 및 카메라(220) 및 디스플레이(110)와 전기적으로 연결된 적어도 하나의 프로세서(예: 도 2의 프로세서(210) 및/또는 도 2의 이미지 시그널 프로세서(240))를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 카메라(220)를 구동하여 이미지 데이터를 획득하고, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 상기 적어도 하나의 프로세서는 상기 설정된 배율이 기준 배율보다 큰 상태에서, 카메라(220)를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하고, 상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 객체의 검출에 응답하여 상기 흔들림 보정을 수행하기 위한 파라미터를 변경하여 흔들림 보정의 강도를 증가시킬 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 미리 정해진 시간 동안 상기 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는 상태가 유지되는 것에 응답하여, 상기 흔들림 보정의 강도를 증가시킬 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 흔들림 보정의 강도를 감소시키기 위한 트리거 이벤트가 발생하는 경우, 상기 흔들림 보정의 강도를 감소시킬 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 트리거 이벤트에 응답하여 상기 흔들림 보정의 강도를 점진적으로 낮출 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 사용자의 줌 입력에 응답하여, 흔들림 보정을 위한 마진(margin) 영역을 결정할 수 있다.
일 실시 예에서, 상기 마진 영역은 상기 이미지 데이터에 포함된 제1 영역 중에서 상기 프리뷰 이미지에 포함된 제2 영역을 제외한 영역일 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 적어도 하나의 센서를 이용하여 전자 장치의 움직임을 판단하고, 상기 움직임이 임계 값 이상인 경우 흔들림 보정의 강도를 감소시킬 수 있다.
일 실시 예에서, 상기 트리거 이벤트는, 상기 흔들림 보정을 중지하도록 하는 사용자 입력의 수신, 상기 적어도 하나의 객체가 이미지 데이터 내에 포함되지 않은 경우, 또는 프리뷰 영역이 마진 영역을 벗어나는 경우 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 카메라(220)의 이미지 센서(예: 도 14의 이미지 센서(1430))로부터 상기 이미지 데이터를 획득하는 경로에 포함된 저대역 필터(low pass filter)의 계수를 높여 상기 흔들림 보정의 강도를 증가시킬 수 있다.
일 실시 예에서, 전자 장치(100)의 동작 방법은 카메라(220)를 구동하여 이미지 데이터를 획득하는 동작, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력하는 동작, 상기 설정된 배율이 기준 배율보다 큰 상태에서, 카메라(220)를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하는 동작, 및 상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행하는 동작을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 동작 방법은 상기 적어도 하나의 객체의 검출에 응답하여 상기 흔들림 보정을 수행하기 위한 파라미터를 변경하여 흔들림 보정의 강도를 증가시키는 동작을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 동작 방법은 미리 정해진 시간 동안 상기 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는 상태가 유지되는 것에 응답하여, 상기 흔들림 보정의 강도를 증가시키는 하는 동작을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 동작 방법은 흔들림 보정의 강도를 감소시키기 위한 트리거 이벤트가 발생하는 경우, 상기 흔들림 보정의 강도를 점진적으로 감소시키는 동작을 포함할 수 있다. 상기 트리거 이벤트는, 상기 흔들림 보정을 중지하도록 하는 사용자 입력의 수신, 상기 적어도 하나의 객체가 이미지 데이터 내에 포함되지 않은 경우, 또는 프리뷰 영역이 마진 영역을 벗어나는 경우 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 동작 방법은 상기 트리거 이벤트가 발생하는 경우, 상기 트리거 이벤트에 응답하여 정해진 시간 동안 상기 흔들림 보정의 강도를 기준 값으로 점진적으로 감소시킬 수 있다.
일 실시 예에서, 전자 장치(100)는 카메라(220), 디스플레이(110), 카메라(220) 및 디스플레이(110)와 전기적으로 연결된 적어도 하나의 프로세서(예: 도 2의 프로세서(210) 및/또는 도 2의 이미지 시그널 프로세서(240))를 포함할 수 있다. 상기 적어도 하나의 프로세서는 카메라(220)를 구동하여 이미지 데이터를 획득하고, 사용자의 줌 입력에 응답하여 흔들림 보정을 위한 마진 영역을 결정하고, 설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 디스플레이(110)를 통해서 출력할 수 있다. 상기 적어도 하나의 프로세서는 상기 설정된 배율이 기준 배율보다 큰 상태에서, 흔들림 보정의 강도를 증가시키기 위한 제1 트리거 이벤트에 응답하여 흔들림 보정의 강도를 증가시킬 수 있다. 상기 적어도 하나의 프로세서는 상기 흔들림 보정의 강도가 증가된 상태에서 흔들림 보정의 강도를 감소시키기 위한 제2 트리거 이벤트가 발생한 경우, 상기 제2 트리거 이벤트에 응답하여 상기 흔들림 보정의 강도를 감소시킬 수 있다.
일 실시 예에서, 상기 제1 트리거 이벤트는 적어도 하나의 객체를 검출하는 것을 포함하고, 상기 적어도 하나의 프로세서는 미리 정해진 시간 동안 상기 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는 상태가 유지되는 것에 응답하여, 상기 흔들림 보정의 강도를 증가시킬 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 제2 트리거 이벤트에 응답하여, 정해진 시간 동안 상기 흔들림 보정의 강도를 기준 값으로 점진적으로 감소시킬 수 있다.
일 실시 예에서, 상기 제1 트리거 이벤트는, 상기 흔들림 보정의 강도를 증가시키는 사용자 입력의 수신, 또는 적어도 하나의 객체가 이미지 데이터 내에 포함되는 경우 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 상기 제2 트리거 이벤트는, 상기 흔들림 보정을 중지하도록 하는 사용자 입력의 수신, 적어도 하나의 객체가 이미지 데이터 내에 포함되지 않은 경우, 또는 프리뷰 영역이 마진 영역을 벗어나는 경우 중 적어도 하나를 포함할 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이; 및
    상기 카메라 및 상기 디스플레이와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 카메라를 구동하여 이미지 데이터를 획득하고,
    설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 상기 디스플레이를 통해서 출력하며,
    상기 설정된 배율이 기준 배율보다 큰 상태에서, 상기 카메라를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하고,
    상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 객체의 검출에 응답하여 상기 흔들림 보정을 수행하기 위한 파라미터를 변경하여 흔들림 보정의 강도를 증가시키는, 전자 장치.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는 미리 정해진 시간 동안 상기 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는 상태가 유지되는 것에 응답하여, 상기 흔들림 보정의 강도를 증가시키는, 전자 장치.
  4. 청구항 1항에 있어서,
    상기 적어도 하나의 프로세서는 흔들림 보정의 강도를 감소시키기 위한 트리거 이벤트가 발생하는 경우, 상기 흔들림 보정의 강도를 감소시키는, 전자 장치.
  5. 청구항 4에 있어서,
    상기 적어도 하나의 프로세서는, 상기 트리거 이벤트에 응답하여 상기 흔들림 보정의 강도를 점진적으로 낮추는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 사용자의 줌 입력에 응답하여, 흔들림 보정을 위한 마진(margin) 영역을 결정하는, 전자 장치.
  7. 청구항 6에 있어서,
    상기 마진 영역은 상기 이미지 데이터에 포함된 제1 영역 중에서 상기 프리뷰 이미지에 포함된 제2 영역을 제외한 영역인, 전자 장치.
  8. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 적어도 하나의 센서를 이용하여 전자 장치의 움직임을 판단하고, 상기 움직임이 임계 값 이상인 경우 흔들림 보정의 강도를 감소시키는, 전자 장치.
  9. 청구항 4에 있어서,
    상기 트리거 이벤트는,
    상기 흔들림 보정을 중지하도록 하는 사용자 입력의 수신, 상기 적어도 하나의 객체가 이미지 데이터 내에 포함되지 않은 경우, 또는 프리뷰 영역이 마진 영역을 벗어나는 경우 중 적어도 하나를 포함하는, 전자 장치.
  10. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 상기 카메라의 이미지 센서로부터 상기 이미지 데이터를 획득하는 경로에 포함된 저대역 필터(low pass filter)의 계수를 높여 상기 흔들림 보정의 강도를 증가시키는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    카메라를 구동하여 이미지 데이터를 획득하는 동작;
    설정된 배율에 기반하여 상기 이미지 데이터에 대한 프리뷰 이미지를 디스플레이를 통해서 출력하는 동작;
    상기 설정된 배율이 기준 배율보다 큰 상태에서, 상기 카메라를 통해 획득된 상기 프리뷰 이미지 내에 포함된 적어도 하나의 객체를 검출하는 동작; 및
    상기 적어도 하나의 객체의 검출 여부에 기반하여, 상기 프리뷰 이미지에 대한 흔들림 보정을 수행하는 동작을 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 적어도 하나의 객체의 검출에 응답하여 상기 흔들림 보정을 수행하기 위한 파라미터를 변경하여 흔들림 보정의 강도를 증가시키는 동작을 포함하는 방법.
  13. 청구항 12에 있어서,
    미리 정해진 시간 동안 상기 적어도 하나의 객체가 프리뷰 이미지 내의 지정된 영역 안에서 검출되는 상태가 유지되는 것에 응답하여, 상기 흔들림 보정의 강도를 증가시키는 하는 동작을 포함하는 방법.
  14. 청구항 11에 있어서,
    흔들림 보정의 강도를 감소시키기 위한 트리거 이벤트가 발생하는 경우, 상기 흔들림 보정의 강도를 점진적으로 감소시키는 동작을 포함하고,
    상기 트리거 이벤트는, 상기 흔들림 보정을 중지하도록 하는 사용자 입력의 수신, 상기 적어도 하나의 객체가 이미지 데이터 내에 포함되지 않은 경우, 또는 프리뷰 영역이 마진 영역을 벗어나는 경우 중 적어도 하나를 포함하는, 방법.
  15. 청구항 14에 있어서,
    상기 트리거 이벤트가 발생하는 경우, 상기 트리거 이벤트에 응답하여 정해진 시간 동안 상기 흔들림 보정의 강도를 기준 값으로 점진적으로 감소시키는, 방법.
PCT/KR2021/010431 2020-08-21 2021-08-06 흔들림을 보정하는 방법 및 그 전자 장치 WO2022039424A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180051653.0A CN115989680A (zh) 2020-08-21 2021-08-06 图像稳定方法及其电子装置
EP21858511.5A EP4199496A4 (en) 2020-08-21 2021-08-06 IMAGE STABILIZATION METHOD AND ASSOCIATED ELECTRONIC DEVICE
US18/112,310 US20230209193A1 (en) 2020-08-21 2023-02-21 Image stabilization method and electronic device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200105606A KR20220023632A (ko) 2020-08-21 2020-08-21 흔들림을 보정하는 방법 및 그 전자 장치
KR10-2020-0105606 2021-08-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/112,310 Continuation US20230209193A1 (en) 2020-08-21 2023-02-21 Image stabilization method and electronic device therefor

Publications (1)

Publication Number Publication Date
WO2022039424A1 true WO2022039424A1 (ko) 2022-02-24

Family

ID=80350496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010431 WO2022039424A1 (ko) 2020-08-21 2021-08-06 흔들림을 보정하는 방법 및 그 전자 장치

Country Status (5)

Country Link
US (1) US20230209193A1 (ko)
EP (1) EP4199496A4 (ko)
KR (1) KR20220023632A (ko)
CN (1) CN115989680A (ko)
WO (1) WO2022039424A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076362A1 (en) * 2022-10-04 2024-04-11 Google Llc Stabilized object tracking at high magnification ratios

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11975263B2 (en) * 2021-11-19 2024-05-07 Dell Products, L.P. Image stabilization system and method
WO2024014761A1 (ko) * 2022-07-15 2024-01-18 삼성전자 주식회사 카메라 흔들림을 보정하기 위한 방법 및 이를 지원하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013104921A (ja) * 2011-11-10 2013-05-30 Canon Inc 撮像装置、撮像システム、撮像装置の制御方法
JP2013251840A (ja) * 2012-06-04 2013-12-12 Casio Comput Co Ltd 撮像装置、撮像方法、及びプログラム
JP2014204342A (ja) * 2013-04-05 2014-10-27 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP2015037248A (ja) * 2013-08-13 2015-02-23 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015076707A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9781350B2 (en) * 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US10270973B2 (en) * 2015-12-08 2019-04-23 Canon Kabushiki Kaisha Control device and imaging apparatus with a subject selectable mode with higher image blur correction
JP6621798B2 (ja) * 2016-12-08 2019-12-18 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013104921A (ja) * 2011-11-10 2013-05-30 Canon Inc 撮像装置、撮像システム、撮像装置の制御方法
JP2013251840A (ja) * 2012-06-04 2013-12-12 Casio Comput Co Ltd 撮像装置、撮像方法、及びプログラム
JP2014204342A (ja) * 2013-04-05 2014-10-27 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP2015037248A (ja) * 2013-08-13 2015-02-23 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015076707A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4199496A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076362A1 (en) * 2022-10-04 2024-04-11 Google Llc Stabilized object tracking at high magnification ratios

Also Published As

Publication number Publication date
EP4199496A1 (en) 2023-06-21
CN115989680A (zh) 2023-04-18
EP4199496A4 (en) 2024-01-17
KR20220023632A (ko) 2022-03-02
US20230209193A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
WO2022039424A1 (ko) 흔들림을 보정하는 방법 및 그 전자 장치
WO2022030838A1 (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법
WO2022114801A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2022102972A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022149654A1 (ko) 흔들림 보정을 수행하는 전자 장치 및 그 동작 방법
WO2022108235A1 (ko) 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
WO2022235043A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2022119218A1 (ko) 카메라의 흔들림을 보정하는 방법 및 그 전자 장치
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022097930A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2022154164A1 (ko) 화각을 조정할 수 있는 전자 장치 및 그 동작 방법
WO2022231270A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2021230567A1 (ko) 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
WO2021251631A1 (ko) 초점 조절 기능을 포함하는 전자 장치 및 방법
WO2023033396A1 (ko) 연속된 촬영 입력을 처리하는 전자 장치 및 그의 동작 방법
WO2023146236A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2022092607A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022080737A1 (ko) 이미지의 왜곡을 보정하는 방법 및 그 전자 장치
WO2022220621A1 (ko) 반사체 및 렌즈 어셈블리를 포함하는 전자 장치
WO2024111924A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024085673A1 (ko) 다중 노출 영상을 획득하는 전자 장치 및 그 동작 방법
WO2024117587A1 (ko) 필터 기능을 제공하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858511

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021858511

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021858511

Country of ref document: EP

Effective date: 20230316

NENP Non-entry into the national phase

Ref country code: DE