WO2020067674A1 - 자동 초점 방법 및 이를 수행하는 전자 장치 - Google Patents

자동 초점 방법 및 이를 수행하는 전자 장치 Download PDF

Info

Publication number
WO2020067674A1
WO2020067674A1 PCT/KR2019/012070 KR2019012070W WO2020067674A1 WO 2020067674 A1 WO2020067674 A1 WO 2020067674A1 KR 2019012070 W KR2019012070 W KR 2019012070W WO 2020067674 A1 WO2020067674 A1 WO 2020067674A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lenses
value
determined
contrast
Prior art date
Application number
PCT/KR2019/012070
Other languages
English (en)
French (fr)
Inventor
윤경훈
박재형
김정기
박경태
원종훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180115708A external-priority patent/KR102668212B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/279,865 priority Critical patent/US11323610B2/en
Publication of WO2020067674A1 publication Critical patent/WO2020067674A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • Various embodiments of the present invention relate to an auto focus (AF) method for controlling the focus of a camera lens and an electronic device performing the same.
  • AF auto focus
  • a portable electronic device such as a smart phone may include at least one camera as one of the components, and based on the AF method, image shooting through the camera may be performed.
  • the camera may collect light incident from the outside using a lens, and convert the collected light into an electrical signal based on an image sensor.
  • the electrical signal may be implemented as image data, stored in a memory of the portable electronic device, or output through a display of the portable electronic device.
  • a portable electronic device can obtain a clear image quality using a camera, and a focus adjustment method for this may be an important factor.
  • the user manually adjusted the focus corresponding to the subject, but the current camera can adjust the focus using the AF function.
  • the autofocus (AF) function may be a function of moving a lens included in the camera back and forth to focus on a subject. Focusing on the subject may mean that the subject is on-focus.
  • the electronic device including the camera may include a display, and output an image received through the camera to the display.
  • the AF function may be continuously performed in response to the subject to be photographed. Due to the change of the subject while the AF function of the camera is being performed, the position of the lens may be continuously changed, and the electronic device needs to perform the AF function quickly.
  • the electronic device may adjust the focus at a high speed by using a contrast AF method and a depth from defocus (DFD) method in parallel.
  • DMD depth from defocus
  • An electronic device includes a lens assembly including one or more lenses, and a camera, a memory, and the lens assembly, including a driving unit capable of adjusting focus by moving at least a portion of the lenses of the lens assembly. It may include a camera and a processor operatively connected to the memory.
  • the processor uses the camera to obtain a first image corresponding to a first position of the at least some lenses with respect to an external object and a second image corresponding to a second position of the at least some lenses And, using the first image and the second image to determine the condition related to the contrast characteristics for the external object, based on the condition that satisfies the specified first condition, the first image, the second
  • the first moving direction and the moving amount of the at least some lenses are determined using an image and a specified point spread function, and the at least some lenses are moved according to the determined first moving direction and the determined moving amount.
  • the focus on the external object can be adjusted.
  • the processor is configured to remove the at least some lenses by using a contrast difference between the first image and the external object included in the second image, based on satisfying the specified second condition.
  • the moving direction may be determined, and the focus of the external object may be adjusted based on at least a change in contrast of one or more images obtained while moving the at least some lenses according to the determined second moving direction.
  • a method of controlling focus of a camera lens in an electronic device includes a first image corresponding to a first position of at least some lenses with respect to an external object, using a camera including one or more lenses, and Obtain a second image corresponding to a second position of at least some lenses, and determine a condition related to the contrast characteristic of the external object using the first image and the second image, and the first condition in which the condition is specified Based on satisfying, the first image, the second image, and a specified point spread function are used to determine a first movement direction and a movement amount of the at least some lenses, and the determined first movement Adjust the focus on the external object by moving the at least some lenses according to the direction and the determined movement amount, and adjust the focus Based on satisfying the specified second condition, the second moving direction of the at least some lenses is determined using the contrast difference between the first image and the external object included in the second image, and the determined second
  • the focus of the external object may be adjusted based on at least a change in contrast of one or more images obtained while moving the at least
  • the electronic device can quickly focus a photographed image so as to capture an image of a clear image quality based on a contrast AF method and a DFD method.
  • a DFD method reliability of a captured image may be measured, and a moving point and a moving direction of a lens for obtaining an image of a clear image quality based on the measured reliability may be determined.
  • the electronic device may rapidly focus the photographed image by moving the lens in parallel with the DFD method and the contrast AF method in response to the determined moving point and direction of the lens.
  • various effects that can be directly or indirectly identified through this document may be provided.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a block diagram illustrating a camera module according to various embodiments.
  • FIGS. 3A to 3C are flowcharts of an autofocus (AF) method according to various embodiments.
  • AF autofocus
  • 4A to 4B are graphs showing DFD result values by a DFD method according to various embodiments.
  • 5A to 5C are graphs illustrating cost values measured based on DFD result values according to various embodiments.
  • FIG. 6 is a graph illustrating a method of determining an AF mode based on reliability according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through the first network 198 (eg, a short-range wireless communication network), or the second network 199 It may communicate with the electronic device 104 or the server 108 through (eg, a remote wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the first network 198 eg, a short-range wireless communication network
  • the second network 199 It may communicate with the electronic device 104 or the server 108 through (eg, a remote wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module ( 176), interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ).
  • the components for example, the display device 160 or the camera module 180
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg., a display
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 120 may receive instructions or data received from other components (eg, the sensor module 176 or the communication module 190) in the volatile memory 132. Loaded into, process instructions or data stored in volatile memory 132, and store result data in non-volatile memory 134.
  • software eg, the program 140
  • the processor 120 may receive instructions or data received from other components (eg, the sensor module 176 or the communication module 190) in the volatile memory 132. Loaded into, process instructions or data stored in volatile memory 132, and store result data in non-volatile memory 134.
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor), and an auxiliary processor 123 (eg, a graphics processing unit, an image signal processor) that may be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121, or to be specialized for a specified function. The coprocessor 123 may be implemented separately from the main processor 121 or as part of it.
  • a main processor 121 eg, a central processing unit or an application processor
  • an auxiliary processor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121, or to be specialized for a specified function.
  • the coprocessor 123 may be implemented separately from the main processor 121 or as part of it.
  • the coprocessor 123 may replace, for example, the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 may be active (eg, execute an application) ) With the main processor 121 while in the state, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It can control at least some of the functions or states associated with.
  • the coprocessor 123 eg, image signal processor or communication processor
  • may be implemented as part of other functionally relevant components eg, camera module 180 or communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 (eg, DRAM, SRAM, or SDRAM) or a non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive commands or data to be used for components (eg, the processor 120) of the electronic device 101 from outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, mouse, keyboard, or digital pen (eg, a stylus pen).
  • the audio output device 155 may output an audio signal to the outside of the electronic device 101.
  • the audio output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call.
  • the receiver may be implemented separately from, or as part of, the speaker.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuit set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of the force generated by the touch. have.
  • the audio module 170 may convert sound into an electrical signal, or vice versa. According to an embodiment, the audio module 170 acquires sound through the input device 150 or directly or wirelessly connects to the sound output device 155 or the electronic device 101 (for example, an external electronic device) : Electronic device 102)) (for example, a speaker or headphones).
  • the audio module 170 acquires sound through the input device 150 or directly or wirelessly connects to the sound output device 155 or the electronic device 101 (for example, an external electronic device) : Electronic device 102)) (for example, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biological sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that can be used for the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or movement) or electrical stimuli that the user can perceive through tactile or motor sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to an embodiment, the camera module 180 may include one or more lenses, an image sensor, an image signal processor, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishing and performing communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor), and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 190 may include a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : Local area network (LAN) communication module, or power line communication module.
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • LAN Local area network
  • Corresponding communication module among these communication modules is used to use a first network 198 (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 199 (eg, a cellular network, the Internet). Or, it may communicate with an external electronic device through a computer network (eg, a telecommunication network such as LAN or WAN).
  • a computer network eg, a t
  • the wireless communication module 192 uses a subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive a signal or power from the outside.
  • the antenna module may include a single antenna including a conductor formed on a sub-straight (eg, PCB) or a radiator made of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network 198 or the second network 199, is transmitted from the plurality of antennas by, for example, the communication module 190. Can be selected.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 197.
  • peripheral devices for example, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different type of device from the electronic device 101.
  • all or some of the operations performed on the electronic device 101 may be performed on one or more external devices of the external electronic devices 102, 104, and 108.
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead executes the function or service itself.
  • one or more external electronic devices may be requested to perform at least a portion of the function or the service.
  • the one or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and deliver the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result, as it is or additionally, and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology can be used.
  • the electronic device may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • any (eg, first) component is referred to as a "coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communicatively”
  • any of the above components can be connected directly to the other components (eg, by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof performing one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (e.g., program 140) that includes.
  • a processor eg, processor 120
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device, and does not include a signal (eg, electromagnetic wave), and this term is used when data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • a method may be provided as being included in a computer program product.
  • Computer program products are commodities that can be traded between sellers and buyers.
  • the computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or two user devices ( It can be distributed (eg, downloaded or uploaded) directly or online between smartphones).
  • a device such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or omitted Or, one or more other actions can be added.
  • the camera module 180 may include a lens assembly 210, a flash 220, an image sensor 230, an image stabilizer 240, a memory 250 (eg, a buffer memory), or an image signal processor It may include (260).
  • the lens assembly 210 may collect light emitted from a subject that is an object of image capture.
  • the lens assembly 210 may include one or more lenses.
  • the camera module 180 may include a plurality of lens assemblies 210.
  • the camera module 180 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 210 have the same lens properties (eg, angle of view, focal length, autofocus, f number, or optical zoom), or at least one lens assembly is another lens assembly It may have one or more lens properties different from the lens properties of.
  • the lens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 220 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 220 may include one or more light emitting diodes (eg, red-green-blue (RGB) LED, white LED, infrared LED, or ultraviolet LED), or xenon lamp.
  • RGB red-green-blue
  • LED white LED
  • infrared LED or ultraviolet LED
  • the image sensor 230 may obtain an image corresponding to the subject by converting light emitted from or reflected from the subject and transmitted through the lens assembly 210 into an electrical signal.
  • the image sensor 230 is an image sensor selected from among image sensors having different attributes, such as, for example, an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same. It may include a plurality of image sensors having attributes, or a plurality of image sensors having different attributes.
  • Each image sensor included in the image sensor 230 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 240 moves the at least one lens or image sensor 230 included in the lens assembly 210 in a specific direction in response to the movement of the camera module 180 or the electronic device 101 including the same.
  • the operating characteristics of the image sensor 230 may be controlled (eg, read-out timing may be adjusted). This makes it possible to compensate for at least some of the negative effects of the movement on the image being photographed.
  • the image stabilizer 240 uses the gyro sensor (not shown) or the acceleration sensor (not shown) disposed inside or outside the camera module 180 to perform the camera module 180 or the electronic device 101 ) Can detect such movement.
  • the image stabilizer 240 may be implemented as, for example, an optical image stabilizer.
  • the memory 250 may temporarily store at least a part of the image acquired through the image sensor 230 for the next image processing operation. For example, when the image acquisition according to the shutter is delayed, or when a plurality of images are acquired at high speed, the acquired original image (eg, a Bayer-patterned image or a high resolution image) is stored in the memory 250 , The corresponding copy image (eg, a low resolution image) may be previewed through the display device 160. Thereafter, when a specified condition is satisfied (eg, a user input or a system command), at least a part of the original image stored in the memory 250 may be obtained and processed, for example, by the image signal processor 260. According to an embodiment, the memory 250 may be configured as at least a part of the memory 130 or a separate memory operated independently of the memory 130.
  • the image signal processor 260 may perform one or more image processes on an image acquired through the image sensor 230 or an image stored in the memory 250.
  • the one or more image processings include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening
  • the image signal processor 260 may include at least one of the components included in the camera module 180 (eg, an image sensor). (230)) (eg, exposure time control, read-out timing control, etc.)
  • the image processed by the image signal processor 260 is stored in the memory 250 again for further processing.
  • the null processor 260 may be configured as at least a part of the processor 120, or may be configured as a separate processor that operates independently of the processor 120.
  • the image signal processor 260 is a separate processor from the processor 120. When configured, at least one image processed by the image signal processor 260 may be displayed through the display device 160 as it is or after additional image processing by the processor 120.
  • the electronic device 101 may include a plurality of camera modules 180 having different attributes or functions.
  • at least one of the plurality of camera modules 180 may be a wide-angle camera and at least another may be a telephoto camera.
  • at least one of the plurality of camera modules 180 may be a front camera, and at least another one may be a rear camera.
  • FIG. 3A to 3C are flowcharts of an autofocus (AF) method according to various embodiments.
  • FIG. 3A uses the first image corresponding to the first position of the lens and the second image corresponding to the second position of the lens to determine conditions related to the contrast characteristic of the external object, and in response to the above conditions, It is a flow chart for moving the position of the lens.
  • 3B measures reliability based on a plurality of images (eg, a first image and a second image) corresponding to a first position and a second position of the lens, and positions of the plurality of lenses based on the measured reliability It is a flow chart to move.
  • 3C is a flowchart of applying an DFD method based on a plurality of images, and selecting an AF mode for adjusting the positions of the plurality of lenses based on the cost value measured by the DFD method.
  • a processor eg, the processor 120 of FIG. 1 of an electronic device (eg, the electronic device 101 of FIG. 1) includes a camera module (eg, the camera module 180 of FIG. 1). )) To obtain the first image and the second image.
  • the camera module 180 may adjust a focus by moving a lens assembly including one or more lenses (eg, the lens assembly 210 of FIG. 2) and at least some lenses of the lens assembly 210.
  • It may include a signal processor (eg, a driving unit, the image signal processor 260 of FIG. 2).
  • at least some of the lenses may include at least one lens, and may include one lens or a plurality of lenses.
  • At least some of the lenses may include a group of lenses.
  • the processor 120 may acquire a first image corresponding to a first position of at least some lenses and a second image corresponding to a second position of the at least some lenses using the camera module 180.
  • the first image and the second image may be captured images of external objects.
  • the processor 120 may determine a condition related to the contrast characteristic of the external object using the first image and the second image. For example, the processor 120 may acquire defocus information corresponding to at least one of the first image and the second image, and conditions related to contrast characteristics based on the obtained defocus information (eg, The first condition, the second condition, and the third condition) can be determined.
  • the processor 120 may acquire defocus information corresponding to at least one of the first image and the second image, and conditions related to contrast characteristics based on the obtained defocus information (eg, The first condition, the second condition, and the third condition) can be determined.
  • the processor 120 may determine a first moving direction and a moving amount of the lens.
  • the first condition may determine a target location for accurately focusing on the external object, and may be a condition having high reliability for the determined target location.
  • the processor 120 may determine a first movement direction and a movement amount of the lens corresponding to the target location.
  • the processor 120 may move the position of the lens based on the determined first movement direction and movement amount. For example, the processor 120 may move the lens according to a movement direction and a movement amount corresponding to the target position.
  • the processor 120 may determine the second moving direction of the lens.
  • the second condition may determine a target location for accurately focusing on the external object, but may be a condition in which the reliability of the determined target location is low.
  • the second condition may be a condition in which the movement direction corresponding to the target position can be trusted, but it is difficult to trust the movement amount.
  • the processor 120 may determine a second movement direction of the lens corresponding to the target position.
  • the processor 120 may move the position of the lens based on the determined second movement direction. For example, the processor 120 may move the lens according to a movement direction corresponding to the target position.
  • a processor eg, the processor 120 of FIG. 1 of an electronic device (eg, the electronic device 101 of FIG. 1) includes a camera module (eg, the camera module 180 of FIG. 1). )) To obtain the first image and the second image.
  • the processor 120 may acquire a first image corresponding to a first position of at least some lenses included in the camera module 180 and a second image corresponding to a second position of the at least some lenses.
  • the image signal processor eg, the image signal processor 260 of FIG. 2 included in the camera module 180 includes at least a portion included in the lens assembly (eg, the lens assembly 210 of FIG. 2).
  • the first image and the second image may be acquired.
  • the image signal processor 260 may acquire the first image captured by the at least some lenses positioned at the first position and the second image captured by the at least some lenses positioned at the second position.
  • the lens assembly 210 may collect light emitted (reflected) from an external object (eg, a subject), and the first image corresponding to the first position of the lens and the second position of the lens A corresponding second image can be obtained.
  • the processor 120 may measure reliability (hereinafter, reliability refers to a reliability value) based on the first image and the second image.
  • the image signal processor 260 may apply a depth from defocus (DFD) method based on the first image and the second image acquired through the lens assembly 210, and output the DFD result value.
  • DFD depth from defocus
  • the DFD method acquires defocus information for the first image corresponding to the first position and the second image corresponding to the second position based on the position of the lens (eg, the first position and the second position). can do.
  • the DFD method may determine a position (eg, a target position) of a lens corresponding to onfocus (eg, a state in which a subject is in focus) based on the obtained defocus information.
  • the DFD method may search for and determine a target position and a moving direction of a lens corresponding to the target position using predefined point spread function (PSF) information.
  • PSF point spread function
  • the PSF information may be predefined in order to apply the DFD method, and may be stored in a memory (eg, the memory 130 of FIG. 1) of the electronic device 101.
  • the target position may be a position of a lens corresponding to onfocus, or may be a position of a lens to which at least one lens for photographing a clear image is to be moved.
  • the electronic device 101 displays the PSF information and the defocus information. Based on this, the cost value can be measured.
  • the processor 120 may measure PSF information corresponding to the first image and the second image based on the spaced distance between the first location and the second location.
  • the processor 120 may measure cost values corresponding to the first image and the second image based on the PSF information stored in the memory 130.
  • the processor 120 may measure the reliability of the target location based on the measured cost value.
  • the processor 120 may measure the reliability of the target location by applying the DFD method. For example, a high reliability may mean that the target position can be accurately predicted, and a low reliability may mean that it is difficult to accurately predict the target position. According to an embodiment, the processor 120 may determine a moving direction and a moving amount of the lens corresponding to the target position when the reliability is high, and may determine only a moving direction of the lens corresponding to the target position when the reliability is low.
  • the processor 120 may select an AF mode based on the measured reliability.
  • the AF mode may include a first mode, a second mode, and a third mode.
  • the first mode may be an AF mode in which accuracy of a target position is high, so that the position of at least one lens is moved to the target position, and a focus of a captured image is adjusted by applying a contrast AF method.
  • the second mode may be an AF mode in which the target position can be trusted, but the accuracy of the target position is relatively lower than the first mode.
  • the second mode may be an AF mode in which the focus of a captured image is adjusted by applying a contrast AF method while moving the position of at least one lens in the direction of the target position.
  • the third mode may be an AF mode in which the accuracy of the target position is low, such that it is difficult to trust the target position.
  • the third mode may be an AF mode in which the focus of the captured image is adjusted by applying the contrast AF method at the current position of the lens.
  • the processor 120 may select one AF mode from among a plurality of AF modes based on the measured reliability.
  • the processor 120 may move the position of the lens in response to the selected AF mode. For example, when the first mode is selected, the processor 120 moves the lens primarily in response to the target position, and secondly, to precisely adjust the focus on the external object. You can. According to an embodiment, the processor 120 may move a position of at least some lenses in response to the target position, and apply a contrast AF method to adjust the focus of the captured image. For example, when the second mode is selected, the processor 120 may determine the moving direction of the lens corresponding to the target position, and adjust the position of the lens based on the determined moving direction. According to an embodiment, the processor 120 may adjust the focus of the captured image by applying the contrast AF method while moving the lens based on the determined moving direction. For example, when the third mode is selected, the processor 120 may adjust the focus of the captured image by applying a contrast AF method at the current position of the lens.
  • the electronic device 101 may measure the reliability of the target position according to the DFD method, and select an AF mode based on the measured reliability. According to an embodiment, the electronic device 101 may apply a contrast AF method in response to the selected AF mode. According to an embodiment of the present disclosure, the electronic device 101 can focus the captured image more quickly by mixing and applying the DFD method and the contrast AF method.
  • the electronic device 101 may include a first focus control unit for applying the DFD method and a second focus control unit for applying the contrast AF method.
  • the first focus control unit may determine a target position and a moving direction of the lens corresponding to the target position based on the DFD method.
  • the second focus control unit may adjust the focus so that the captured image is clearly displayed by moving the position of the lens based on the contrast AF method.
  • FIG. 3C may be a flowchart illustrating a process specifically performed in response to operations 313 to 315 of FIG. 3B.
  • FIG. 3C is an AF mode for applying a DFD method based on a plurality of images corresponding to a first position and a second position of the lens, and adjusting the positions of the plurality of lenses based on the cost value measured by the DFD method. It is a flow chart to select.
  • the processor 120 may apply a DFD scheme based on the first image and the second image.
  • the processor 120 may measure DFD result values according to the DFD method.
  • the processor 120 may measure cost values corresponding to the first image and the second image based on the DFD method.
  • the DFD method may search for and determine a target position and a moving direction of a lens corresponding to the target position using predefined PSF information.
  • PSF information may be predefined for application of the DFD method and stored in the memory 130.
  • the target position may be a position of a lens corresponding to onfocus, or may be a position of a lens to which at least one lens for photographing a clear image is to be moved.
  • the processor 120 may measure a cost value based on the DFD result values corresponding to the first image and the second image and PSF information stored in the memory 130.
  • the processor 120 may measure at least one cost value corresponding to the PSF information, and the maximum value (eg, Max (cost)) of the measured cost value and the minimum value (eg, Min) of the measured cost value (cost).
  • the processor 120 may determine whether a difference value between the maximum value of the cost value and the minimum value of the cost value is greater than or equal to the first threshold.
  • the difference value between the maximum value and the minimum value for the cost value may mean a difference between defocus values corresponding to the first image and the second image.
  • the small difference value means that the difference between defocus values is small, and it may mean that it is difficult to apply the DFD method.
  • the first threshold value may be determined in advance by the developer, and when the difference value between the maximum value and the minimum value for the cost value is greater than or equal to the first threshold value, the target location according to the DFD method may be determined.
  • operation 327 may be performed, and the difference value between the maximum value and the minimum value for the cost value may be If it is smaller than the first threshold, operation 339 may proceed.
  • the processor 120 may compare the contrast value con1 corresponding to the first position of at least some lenses and the contrast value con2 corresponding to the second position of the at least some lenses.
  • con1 may mean a contrast value at a first position
  • con2 may mean a contrast value at a second position.
  • the first position and the second position may not be the same, and the position of the at least one lens may be positioned in a direction closer to the focus position of the external object (eg, the subject). For example, if con2 is greater than con1, it may mean that the second position is positioned closer to the focal position of the external object than the first position.
  • con2 in operation 327 if con2 in operation 327 is greater than con1, operation 329 may be performed. If con2 in operation 327 is not greater than con1, operation 337 may be performed.
  • the lens may move from the Far End position to the Near End position, assume the Far End position is 0, and the Near End position may be positive.
  • the processor 120 may check the first position and the second position of the lens based on the contrast values con1 and con2.
  • the processor 120 may compare the target position and the first position according to the DFD method. For example, in operation 327, the processor 120 may compare the contrast value at the first position and the second position, and confirm that the first position is relatively farther from the focus position of the external object than the second position. . (E.g., first position (con1) ⁇ second position (con2)) In operation 329, if the target position is closer from the focus position of the external object relative to the first position (e.g., target position> first position), operation 331 If the target position is relatively far from the focal position of the external object relative to the first position (eg, target position ⁇ first position), operation 339 may proceed.
  • the target position when the target position is farther from the focal position of the external object than the first position, while the first position (con1) ⁇ the second position (con2), the target position is located at the far end position of the lens than the first position. It could mean close.
  • the target position eg, DFD result according to the DFD method
  • the processor 120 may proceed from operation 329 to operation 331.
  • the second position corresponding to at least some lenses may be a situation (eg, the second position ⁇ the first position) that is relatively far away from the focus position of the external object than the first position.
  • the processor 120 may compare the target position and the second position according to the DFD method. For example, in operation 327, the processor 120 compares the contrast value at the first position con1 and the second position con2, and the second position con2 is relatively external than the first position con1. It can be confirmed that it is far from the focal point of the object (eg, the second position (con2) ⁇ the first position (con1)).
  • operation 337 if the target position is closer from the focal position of the external object relative to the second position (eg, target position ⁇ second position), operation 331 may be performed, and the target position may be relative to the external object. If it is far from the focus position (eg, target position> second position), operation 339 may proceed.
  • the processor 120 may compare the separation distance between the target location and the second location and a second threshold.
  • the second threshold value may be determined by the developer, and may be a reference value for measuring the accuracy of the target location. For example, if the separation distance between the target position and the second position is less than or equal to the second threshold, it may mean that the accuracy of the target position is high, and the processor 120 may move the lens in a direction and amount of movement corresponding to the target position. And may adjust the position of at least some lenses in response to the determined moving direction and amount of movement.
  • the separation distance between the target position and the second position exceeds a second threshold, it may mean that the accuracy for the target position is relatively low, and the processor 120 may detect the lens of the lens corresponding to the target position.
  • the moving direction may be determined, and the position of at least some lenses may be adjusted corresponding to the determined moving direction.
  • operation 333 may be performed. If the separation distance between the target position and the second lens exceeds the second threshold, operation 335 is performed. You can proceed to
  • the processor 120 may perform a first mode among AF modes.
  • the first mode may be an AF mode in which at least some lenses are moved in correspondence with a target position, and a focus of the captured image is adjusted by applying a contrast AF method.
  • the first mode may be an AF mode in which at least some lenses are moved to the target position and the contrast AF method is applied by determining that the accuracy of the target position is high.
  • the processor 120 may perform a second mode among AF modes.
  • the second mode may be an AF mode that adjusts the focus of a captured image by applying a contrast AF method while moving at least some of the lenses in response to the direction of the target position.
  • the second mode may be a mode in which the movement direction corresponding to the target position can be trusted, but the accuracy of the target position is relatively lower than the first mode.
  • the processor 120 may apply a contrast AF method while moving the at least some lenses in correspondence with a movement direction of the target position.
  • the processor 120 may perform a third mode among AF modes.
  • the third mode may be an AF mode in which the focus of the captured image is adjusted by applying the contrast AF method at the current position of the lens.
  • the third mode may be a mode in which the accuracy of the target position is determined to be quite low, such that it is difficult to trust the target position.
  • the processor 120 may apply a contrast AF method based on the current position of the lens.
  • 4A to 4B are graphs showing DFD result values by a DFD method according to various embodiments.
  • 4A to 4B are graphs showing DFD result values corresponding to images to be photographed based on the DFD method.
  • an electronic device uses a camera (eg, the camera module 180 of FIG. 1) to capture a first captured image 411
  • Autofocus (AF) can be performed.
  • 4A may be a situation in which a defocus difference according to lens movement is appropriately generated as a whole.
  • a situation in which a defocus difference occurs properly may be a situation in which a blur phenomenon occurs for an external object.
  • FIG. 4A includes a first graph 413 showing a DFD result value corresponding to the first photographed image 411 when performing the DFD-type AF function for the first photographed image 411.
  • the DFD method predicts a target position (eg, a moving point of a lens on which a subject is onfocus) by analyzing two images (eg, a first image and a second image) acquired using at least some lenses. It can be.
  • a certain amount of defocus difference for example, a blur difference
  • the electronic device 101 may acquire a first image corresponding to the first position of the lens included in the camera module 180, and acquire a second image corresponding to the second position of the lens. You can.
  • the electronic device 101 may calculate a DFD result value corresponding to the first photographed image 411 based on the first image and the second image.
  • the first graph 413 illustrated in FIG. 4A may be a graph implemented based on the calculated DFD result value.
  • the first graph 413 shows a first line graph 415 showing a contrast value corresponding to at least one position of the lens and a DFD result value corresponding to at least one position of the lens
  • a second line graph 416 may be included.
  • the first graph 413 may include a contrast peak 417 corresponding to the target location and a third line graph 418 corresponding to the ideal DFD result value.
  • the third line graph 418 may be a graph illustrated based on an ideal value of the contrast value.
  • the second line graph 416 in response to the third line graph 418 in the first graph 413, the second line graph 416 may be similarly illustrated.
  • the first captured image 411 may be an ideal image to which a DFD method is applied.
  • the electronic device 101 may perform an autofocus (AF) function for the second captured image 421 using a camera.
  • 4B may be a situation in which there is little difference in contrast value overall, so that a defocus difference hardly occurs as the lens moves.
  • FIG. 4B includes a second graph 423 showing DFD result values corresponding to the second photographed image 421 when performing the DFD-type AF function for the second photographed image 421.
  • the second graph 423 shows a first line graph 425 showing a contrast value corresponding to at least one position of the lens and a DFD result value corresponding to at least one position of the lens
  • a second line graph 426 may be included.
  • the second graph 423 may include a contrast peak 427 corresponding to the target location and a third line graph 428 corresponding to the ideal DFD result value.
  • the second line graph 426 does not correspond to the third line graph 428, and the second captured image 421 may not be suitable for applying the DFD method. You can.
  • the second photographed image 421 may be a subject in which a defocus amount does not exist between two images (eg, the first image and the second image).
  • a DFD result value corresponding to the second photographed image 421 may be calculated.
  • the second graph 423 illustrated in FIG. 4B may be a graph implemented based on the calculated DFD result value.
  • 5A to 5C are graphs illustrating cost values measured based on DFD result values according to various embodiments.
  • 5A is a diagram illustrating a first cost graph 511 implemented based on the cost value, and calculating a cost value based on the DFD result value corresponding to the first captured image 411.
  • the calculation formula for calculating the cost value based on the DFD result value may be as shown in Equation 1 below.
  • d and The value may be a predefined defocus value
  • F1 may be a DCT (discrete cosine transform) value corresponding to the first image
  • F2 may be a DCT value corresponding to the second image.
  • d when setting a point spread function (PSF) value, d may be a value for a defined defocus based on a target position that is perfectly on-focused.
  • the value may be a value corresponding to the separation distance between the first image and the second image.
  • K may be a value predefined as a point spread function (PSF) value. May be a defocus difference value between the first image and the second image, May be the amount of change in the PSF value.
  • Equation 1 If the molecular formula is summarized in Equation 1 above, it can be arranged as in Equation 2 below.
  • Is a defocus difference value based on a predefined PSF value may be a fixed value. If the defocus value is small overall, Value and As the value becomes smaller, the level difference of the cost value may become smaller. That is, the maximum value of the cost value (eg Max (cost)) and the minimum value of the cost value (eg Min (cost)) may be entirely reduced, and the difference between the maximum value and the minimum value (eg the difference in level of the cost value) ) May be small.
  • the equation for measuring the reliability value in response to the photographed image may be as shown in Equation 3 below.
  • a reliability value corresponding to a photographed image may be determined based on a difference value between a maximum value of the cost value and a minimum value of the cost value.
  • a cost value may be calculated corresponding to the first photographed image 411, and a first cost graph 511 may be implemented based on the cost value.
  • 5B is a diagram illustrating a second cost graph 521 implemented based on the cost value, calculating a cost value based on a DFD result value corresponding to the second photographed image 421.
  • Equations 1 to 3 described above may be applied, and a cost value corresponding to the second photographed image 421 Can be calculated.
  • the first cost graph 521 may be implemented based on the calculated cost value.
  • 5C is a view showing the first cost graph 511 and the second cost graph 521 as one graph.
  • cost values for the first captured image 411 and the second captured image 421 may be compared.
  • the first photographed image 411 has a certain amount of defocus (eg, blur amount) between the first image and the second image, and the level difference of the cost value (eg, between the maximum and minimum values of the cost value) Difference value) may be large.
  • the first photographed image 411 may adjust the position of the lens by applying a DFD method, and may adjust the position of the lens based on the AF mode of either the first mode or the second mode.
  • the second photographed image 421 there is little defocus amount (eg, blur amount) between the first image and the second image, and the level difference of the cost value (eg, between the maximum and minimum values of the cost value) Difference value) may be small.
  • the second photographed image 421 may be difficult to apply the DFD method, and the position of the lens may be adjusted based on the third mode of the AF mode.
  • the level difference of the cost values corresponding to the first captured image 411 and the second captured image 421 is attached below.
  • the electronic device 101 may apply a DFD method based on the first image and the second image, and a difference in the amount of defocus between the first image and the second image may be a predetermined amount (eg, the first image). If it is less than or equal to the threshold value, it may be difficult to apply the DFD method.
  • the difficulty in applying the DFD method may mean that it is difficult to determine the target position by applying the DFD method or to determine the moving direction of the lens corresponding to the target position.
  • the electronic device 101 may adjust the focus of the captured image based on the contrast AF method when the difference in the defocus amount between the first image and the second image is equal to or less than a certain amount (eg, the first threshold). .
  • FIG. 6 is a graph illustrating a method of determining an AF mode based on reliability according to various embodiments.
  • FIG. 6 it is a graph illustrating a first contrast value Con1 corresponding to a first position of at least some lenses and a second contrast value Con2 corresponding to a second position of the at least some lenses.
  • a contrast value may be determined, which may confirm a lens position based on the contrast value.
  • the first position and the second position can be confirmed.
  • the first position and the second position may be relative positions, and may mean that the first position is located farther from the focus position of the external object than the second position.
  • the first position may be located farther from the focal position of the external object than the second position
  • the first contrast value Con1 corresponding to the first position may be the second contrast value corresponding to the second position It may be smaller than (Con2).
  • the first position and the second position in FIG. 6 may be a situation in which the operation proceeds from operation 327 to operation 329.
  • the processor 120 may confirm that con1 is less than con2.
  • that con1 is less than con2 means that the first position is located farther from the focus position of the external object than the second position.
  • the first position and the second position may be interchanged with each other, which may be a situation in which operation 327 to operation 337 are performed in FIG. 3C.
  • the position of at least some lenses is not limited to the first position and the second position in FIG. 6.
  • a target position (eg, a first target position 601, a second target position 603, a third target position 605, a fourth target position 607) may be determined, and the determined
  • the AF mode (eg, the first mode, the second mode, and the third mode in FIG. 3B) may be selected according to the target position.
  • the processor 120 may apply a DFD scheme based on the first image corresponding to the first location and the second image corresponding to the second location, and determine a target location.
  • the processor 120 may select a third mode among AF modes.
  • the first target position 601 may be a direction in which a contrast value is lowered in a moving direction of at least some lenses according to a DFD method. This makes it difficult to trust the first target location 601, and the processor 120 can select a third mode among AF modes.
  • the processor 120 may adjust the position of at least one lens according to the contrast AF method in response to the third mode.
  • the processor 120 may select a first mode among AF modes.
  • the target position is closer to the focus position of the external object than the first position, and in operation 331, the distance between the target position and the second position is less than the second threshold 632
  • the location may be determined as a second target location 603 or a third target location 605.
  • the target location is the second target location 603 or the third target location 605 is a situation in which an appropriate defocus difference occurs in a captured image, it may be a situation in which the accuracy of the target location is high.
  • the processor 120 may correspond to the first mode, and at least some lenses may be positioned according to the DFD method. It is possible to move to the target position and adjust the position of at least some lenses according to the contrast AF method.
  • the processor 120 may select a second mode among AF modes.
  • the target position may be determined as the fourth target position 607.
  • the target position is the fourth target position 607, an appropriate defocus difference occurs in a captured image, but the accuracy of the target position may not be high.
  • the processor 120 when the target position is determined as the fourth target position 607, the processor 120 corresponds to the second mode, and at least in the movement direction corresponding to the fourth target position 607 according to the DFD method While moving the positions of some lenses, it is possible to adjust the positions of at least some lenses according to the contrast AF method.
  • the electronic device may adjust a focus by moving a lens assembly including one or more lenses (eg, the lens assembly 210 of FIG. 2) and at least some lenses of the lens assembly 210.
  • a camera eg, the camera module 180 of FIG. 1
  • a memory eg, the memory 130 of FIG. 1
  • the lens assembly 210
  • a processor operatively connected to the camera 180 and the memory 130 (eg, the processor 120 of FIG. 1).
  • the processor 120 may use the camera 180 to correspond to a first image corresponding to the first position of the at least some lens with respect to an external object and a second location of the at least some lens.
  • the first moving direction and the moving amount of the at least some lenses are determined by using the first image, the second image, and a specified point spread function, and the first moving direction and the determined moving amount are determined according to the first moving direction and the determined moving amount.
  • the focus on the external object may be adjusted by moving at least some lenses.
  • the processor 120 may use the contrast difference of the external object included in the first image and the second image based on the condition in which the condition satisfies the specified second condition.
  • the second moving direction of the lens may be determined, and the focus of the external object may be adjusted based on at least a change in contrast of one or more images obtained while moving the at least some lenses according to the determined second moving direction.
  • the processor 120 may use the first image, the second image, and the specified point spread function based on the condition that the specified condition satisfies the specified third condition. Determine a third movement direction of the at least some lenses, and adjust the focus for the external object based at least on a contrast change of one or more images obtained while moving the at least some lenses according to the determined third movement direction You can.
  • the memory 130 stores point spread function information
  • the processor 120 measures DFD result values based on the first image and the second image
  • a cost value corresponding to the first image and the second image may be measured based on the measured DFD result value and the point spread function information, and reliability may be determined based on the measured cost value.
  • the processor 120 may determine a target position according to the DFD method, and determine a movement direction and a movement amount of the at least some lenses in response to the determined target position.
  • the processor 120 determines whether a difference value between a maximum value and a minimum value of the measured cost value is greater than or equal to a first threshold value, and if the difference value is greater than or equal to the first threshold value, the processor 120 The position of the at least some lenses may be adjusted based on the determined target position, and when the difference value is smaller than the first threshold value, the position of the at least some lenses may be adjusted using the contrast difference of the external object.
  • the processor 120 checks the first position and the second position, and determines the distance between the determined target position and the second position. It can be compared with 2 thresholds.
  • the processor 120 adjusts the position of the at least some lenses in response to the target position, and at least changes in contrast of the acquired one or more images. Based on this, the focus on the external object may be adjusted.
  • the processor 120 determines a moving direction of the at least some lenses corresponding to the target position, and the determined moving direction and the obtained one
  • the position of the at least some lenses may be adjusted based at least on the contrast change of the above images.
  • the processor 120 measures a first contrast value corresponding to the first position and a second contrast value corresponding to the second position, and the first contrast value and the second contrast value Based on the, it is possible to check the first position and the second position.
  • a first movement interval where the at least some lenses move may be set to be smaller than a second movement interval where the at least some lenses move based on the second condition. You can.
  • a method of controlling focus of a camera lens in an electronic device uses a camera 180 including one or more lenses, and at least some lenses for external objects Acquiring a first image corresponding to the first position and a second image corresponding to the second position of the at least some lenses, and using the first image and the second image related to the contrast characteristic for the external object
  • a direction and a movement amount are determined, and the at least some lenses are moved according to the determined first movement direction and the determined movement amount to focus on the external object.
  • the focus on the external object may be adjusted based on at least a change in contrast of one or more images obtained while moving the at least some lenses according to the determined second movement direction.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 다양한 실시예에 따른 전자장치는, 하나 이상의 렌즈를 포함하는 렌즈 어셈블리 및 상기 렌즈 어셈블리의 적어도 일부 렌즈를 이동시켜 초점을 조정할 수 있는 구동부를 포함하는 카메라, 메모리, 및 상기 렌즈 어셈블리, 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 카메라를 이용하여, 외부 객체에 대한 상기 적어도 일부 렌즈의 제1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고, 상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 및 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 및 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정할 수 있다. 또한, 다른 실시 예가 가능하다.

Description

자동 초점 방법 및 이를 수행하는 전자 장치
본 발명의 다양한 실시 예는 카메라 렌즈의 초점을 제어하는 자동 초점(AF, auto focus) 방법 및 이를 수행하는 전자 장치에 관한 것이다.
스마트 폰과 같은 휴대용 전자 장치는 적어도 하나의 카메라를 구성 요소의 하나로 포함할 수 있으며, AF 방법에 기반하여, 상기 카메라를 통한 이미지 촬영을 수행할 수 있다. 카메라는 렌즈를 사용하여, 외부로부터 입사하는 빛을 집광할 수 있고, 이미지 센서를 기반으로 상기 집광된 빛을 전기적 신호로 변환할 수 있다. 상기 전기적 신호는 이미지 데이터로 구현될 수 있으며, 휴대용 전자 장치의 메모리에 저장되거나 또는 휴대용 전자 장치의 디스플레이를 통해 출력될 수 있다.
휴대용 전자 장치는 카메라를 사용하여, 선명한 화질의 이미지를 얻을 수 있으며, 이를 위한 초점 조절 방법은 중요한 요소일 수 있다. 과거에는 사용자가 수동으로 피사체에 대응하는 초점을 조절하였으나, 현재 카메라는 AF 기능을 활용하여 초점을 조절할 수 있다.
자동 초점(AF) 기능은 카메라에 포함된 렌즈를 앞뒤로 이동시켜 피사체에 대응하는 초점을 맞추는 기능일 수 있다. 피사체에 대한 초점을 맞춘다는 것은 피사체가 온 포커스(on-focus)되었다는 의미일 수 있다. 상기 카메라를 포함하는 전자 장치는 디스플레이를 구비하고, 상기 카메라를 통해 수신되는 이미지를 상기 디스플레이에 출력할 수 있다. 상기 카메라는 촬영하고자 하는 피사체에 대응하여, AF 기능이 계속하여 수행될 수 있다. 카메라의 AF 기능이 수행되는 중에 피사체의 변경으로 인해, 렌즈의 위치가 계속하여 변경될 수 있고, 전자 장치는 AF 기능을 빠르게 수행할 필요가 있다.
다양한 실시예에 따르면, 전자 장치는 AF 기능을 빠르게 수행하기 위해, 콘트라스트(contrast) AF 방식과 DFD(depth from defocus) 방식을 병행하여 빠른 속도로 초점을 조절할 수 있다.
본 발명의 다양한 실시예에 따른 전자장치는, 하나 이상의 렌즈를 포함하는 렌즈 어셈블리 및 상기 렌즈 어셈블리의 적어도 일부 렌즈를 이동시켜 초점을 조정할 수 있는 구동부를 포함하는 카메라, 메모리, 및 상기 렌즈 어셈블리, 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 카메라를 이용하여, 외부 객체에 대한 상기 적어도 일부 렌즈의 제1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고, 상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 및 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 및 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치에서 카메라 렌즈의 초점을 제어하는 방법은 하나 이상의 렌즈를 포함하는 카메라를 이용하여, 외부 객체에 대한 적어도 일부 렌즈의 제 1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고, 상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정하고, 상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 콘트라스트 AF 방식 및 DFD 방식을 기반으로, 선명한 화질의 이미지를 촬영할 수 있도록 촬영 영상의 초점을 빠르게 맞출 수 있다. 본 발명의 다양한 실시예에 따르면, DFD 방식에 기반하여, 촬영 영상에 대한 신뢰도를 측정할 수 있고, 상기 측정된 신뢰도를 기반으로 선명한 화질의 이미지를 획득하기 위한 렌즈의 이동 지점 및 이동 방향을 결정할 수 있다. 다양한 실시예에 따르면, 전자 장치는 상기 결정된 렌즈의 이동 지점 및 이동 방향에 대응하여, DFD 방식과 콘트라스트 AF 방식을 병행하여 렌즈를 이동시킴으로써, 촬영 영상의 초점을 빠르게 맞출 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시예에 따른, 네트워크 환경 내의 전자장치의 블록도이다.
도 2는 다양한 실시예에 따른 카메라 모듈을 예시하는 블록도이다.
도 3a 내지 도 3c는 다양한 실시예에 따른 자동 초점(AF) 방법에 대한 흐름도이다.
도 4a 내지 도 4b는 다양한 실시예에 따른 DFD 방식에 의한 DFD 결과 값을 그래프로 도시한 도면이다.
도 5a 내지 도 5c는 다양한 실시예에 따른 DFD 결과 값을 기반으로 코스트 값을 측정하여 그래프로 도시한 도면이다.
도 6은 다양한 실시예에 따른 신뢰도를 기반으로 AF 모드를 결정하는 방법을 그래프로 도시한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132)(예: DRAM, SRAM, 또는 SDRAM 등) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접, 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈를, 이미지 센서를, 이미지 시그널 프로세서를, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈은 서브 스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다.
렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일 실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다.
메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일 실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)를 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일 실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
도 3a 내지 도 3c는 다양한 실시예에 따른 자동 초점(AF) 방법에 대한 흐름도이다. 도 3a는 렌즈의 제1 위치에 대응하는 제1 이미지 및 상기 렌즈의 제2 위치에 대응하는 제2 이미지를 이용하여, 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고, 상기 조건에 대응하여 상기 렌즈의 위치를 이동하는 흐름도이다. 도 3b는 렌즈의 제1 위치 및 제2 위치에 대응하는 복수의 이미지(예: 제1 이미지, 제2 이미지)를 기반으로 신뢰도를 측정하고, 상기 측정된 신뢰도를 기반으로 상기 복수의 렌즈의 위치를 이동하는 흐름도이다. 도 3c는 복수의 이미지를 기반으로 DFD 방식을 적용하고, 상기 DFD 방식에 의해 측정된 코스트 값을 기반으로 복수의 렌즈의 위치를 조정하기 위한 AF 모드를 선택하는 흐름도이다.
도 3a를 참조하면, 동작 301에서 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는, 카메라 모듈(예: 도 1의 카메라 모듈(180))을 사용하여 제 1 이미지 및 제 2 이미지를 획득할 수 있다. 예를 들어, 카메라 모듈(180)은 하나 이상의 렌즈를 포함하는 렌즈 어셈블리(예: 도 2의 렌즈 어셈블리(210)) 및 상기 렌즈 어셈블리(210)의 적어도 일부 렌즈를 이동시켜 초점을 조정할 수 있는 이미지 시그널 프로세서(예: 구동부, 도 2의 이미지 시그널 프로세서(260))를 포함할 수 있다. 일 실시예에 따르면, 적어도 일부 렌즈는 적어도 하나의 렌즈를 포함할 수 있으며, 하나의 렌즈 또는 복수개의 렌즈를 포함할 수 있다. 적어도 일부 렌즈는 렌즈 군을 포함할 수 있다. 프로세서(120)는 카메라 모듈(180)을 이용하여, 적어도 일부 렌즈의 제1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득할 수 있다. 일 실시예에 따르면, 제1 이미지 및 제2 이미지는 외부 객체에 대한 촬영 영상일 수 있다.
동작 303에서 프로세서(120)는 상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단할 수 있다. 예를 들어, 프로세서(120)는 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나의 이미지에 대응하는 defocus 정보를 획득할 수 있고, 상기 획득된 defocus 정보를 기반으로 콘트라스트 특성과 관련된 조건(예: 제1 조건, 제2 조건, 제3 조건)을 결정할 수 있다.
동작 305에서 프로세서(120)는 상기 제1 조건을 만족하면, 상기 렌즈의 제1 이동 방향 및 이동량을 결정할 수 있다. 일 실시예에 따르면, 상기 제1 조건은 상기 외부 객체에 대한 초점을 정확하게 맞추기 위한 타겟 위치를 결정할 수 있고, 상기 결정된 타겟 위치에 대한 신뢰도가 높은 조건일 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 타겟 위치에 대응하는 상기 렌즈의 제1 이동 방향 및 이동량을 결정할 수 있다.
동작 306에서 프로세서(120)는 상기 결정된 제1 이동 방향 및 이동량을 기반으로 상기 렌즈의 위치를 이동할 수 있다. 예를 들어, 프로세서(120)는 상기 타겟 위치에 대응하는 이동 방향 및 이동량에 따라 상기 렌즈를 이동시킬 수 있다.
동작 307에서 프로세서(120)는 상기 제2 조건을 만족하면, 상기 렌즈의 제2 이동 방향을 결정할 수 있다. 일 실시예에 따르면, 상기 제2 조건은 상기 외부 객체에 대한 초점을 정확하게 맞추기 위한 타겟 위치를 결정할 수 있으나, 상기 결정된 타겟 위치에 대한 신뢰도가 낮은 조건일 수 있다. 상기 제2 조건은 상기 타겟 위치에 대응하는 이동 방향을 신뢰할 수는 있으나, 이동량을 신뢰하기 어려운 조건일 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 타겟 위치에 대응하는 상기 렌즈의 제2 이동 방향을 결정할 수 있다.
동작 308에서 프로세서(120)는 상기 결정된 제2 이동 방향을 기반으로 상기 렌즈의 위치를 이동할 수 있다. 예를 들어, 프로세서(120)는 상기 타겟 위치에 대응하는 이동 방향에 따라 상기 렌즈를 이동시킬 수 있다.
도 3b를 참조하면, 동작 311에서 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는, 카메라 모듈(예: 도 1의 카메라 모듈(180))을 사용하여 제 1 이미지 및 제 2 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180)에 포함된 적어도 일부 렌즈의 제1 위치에 대응하는 제 1 이미지 및 상기 적어도 일부 렌즈의 제 2 위치에 대응하는 제 2 이미지를 획득할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)에 포함된 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(260))는 렌즈 어셈블리(예: 도 2의 렌즈 어셈블리(210))에 포함된 적어도 일부 렌즈의 위치(예: 제1 위치, 제2 위치)를 기반으로, 제 1 이미지 및 제 2 이미지를 획득할 수 있다. 예를 들어, 이미지 시그널 프로세서(260)는 상기 적어도 일부 렌즈가 제 1 위치에 위치하여 캡쳐된 제 1 이미지 및 상기 적어도 일부 렌즈가 제 2 위치에 위치하여 캡쳐된 제 2 이미지를 획득할 수 있다. 예를 들어, 렌즈 어셈블리(210)는 외부 객체(예: 피사체)로부터 방출(반사)되는 빛을 수집할 수 있고, 상기 렌즈의 제 1 위치에 대응하는 제 1 이미지 및 상기 렌즈의 제 2 위치에 대응하는 제 2 이미지를 획득할 수 있다.
동작 313에서 프로세서(120)는 상기 제 1 이미지 및 상기 제 2 이미지를 기반으로 신뢰도(이하에서, 신뢰도는 신뢰도 값을 의미한다.)를 측정할 수 있다. 일 실시예에 따르면, 이미지 시그널 프로세서(260)는 렌즈 어셈블리(210)를 통해 획득한 제 1 이미지 및 제 2 이미지를 기반으로, DFD(depth from defocus) 방식을 적용할 수 있고, DFD 결과 값을 측정할 수 있다. 예를 들어, DFD 방식은 렌즈의 위치(예: 제 1 위치, 제 2 위치)를 기반으로, 제 1 위치에 대응하는 제 1 이미지 및 제 2 위치에 대응하는 제 2 이미지에 대한 defocus 정보를 획득할 수 있다. DFD 방식은 상기 획득된 defocus 정보를 기반으로 onfocus(예: 피사체에 대한 초점이 맞은 상태)에 대응하는 렌즈의 위치(예: 타겟 위치)를 결정할 수 있다. DFD 방식은 미리 정의된 점 확산 함수(PSF, point spread function) 정보를 이용하여, 타겟 위치 및 상기 타겟 위치에 대응하는 렌즈의 이동 방향을 검색 및 결정할 수 있다. 예를 들어, PSF 정보는 DFD 방식을 적용하기 위해 미리 정의될 수 있고, 전자 장치(101)의 메모리(예: 도 1의 메모리(130))에 저장될 수 있다. 예를 들어, 타겟 위치는 onfocus에 대응하는 렌즈의 위치일 수 있고, 선명한 화질의 영상을 촬영하기 위한 적어도 하나의 렌즈가 이동해야 하는 렌즈의 위치일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 메모리(130)에 PSF 정보가 미리 저장될 수 있고, 제 1 이미지 및 제 2 이미지에 대응하는 defocus 정보가 획득되면, 상기 PSF 정보와 상기 defocus 정보를 기반으로, 코스트(cost) 값을 측정할 수 있다. 예를 들어, 프로세서(120)는 제 1 위치와 제 2 위치 간의 이격된 거리를 기반으로, 제 1 이미지와 제 2 이미지에 대응하는 PSF 정보를 측정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메모리(130)에 저장된 PSF 정보를 기반으로, 제1 이미지 및 제 2 이미지에 대응하는 코스트 값을 측정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 측정된 코스트 값을 기반으로, 타겟 위치에 대한 신뢰도를 측정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 DFD 방식을 적용하여 타겟 위치에 대한 신뢰도를 측정할 수 있다. 예를 들어, 신뢰도가 높다는 것은 타겟 위치를 정확하게 예측할 수 있다는 의미일 수 있고, 신뢰도가 낮다는 것은 타겟 위치를 정확하게 예측하기 어렵다는 의미일 수 있다. 일 실시예에 따르면, 프로세서(120)는 신뢰도가 높을 경우 타겟 위치에 대응하는 렌즈의 이동 방향 및 이동량을 결정할 수 있고, 신뢰도가 낮을 경우 타겟 위치에 대응하는 렌즈의 이동 방향만을 결정할 수 있다.
동작 315에서 프로세서(120)는 상기 측정된 신뢰도를 기반으로 AF 모드를 선택할 수 있다. 일 실시예에 따르면, AF 모드는 제 1 모드, 제 2 모드, 및 제 3모드를 포함할 수 있다. 제 1 모드는 타겟 위치에 대한 정확도가 높아 적어도 하나의 렌즈의 위치를 상기 타겟 위치로 이동하고, 콘트라스트(contrast) AF 방식을 적용하여 촬영 영상의 초점을 조절하는 AF 모드일 수 있다. 제 2 모드는 타겟 위치를 신뢰할 수는 있으나, 상대적으로 제 1 모드 보다 타겟 위치에 대한 정확도가 낮은 AF 모드일 수 있다. 제 2 모드는 적어도 하나의 렌즈의 위치를 상기 타겟 위치의 방향으로 이동하면서, 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절하는 AF 모드일 수 있다. 제 3 모드는 타겟 위치를 신뢰하기 어려울 정도로, 타겟 위치에 대한 정확도가 낮은 AF 모드일 수 있다. 제 3 모드는 렌즈의 현재 위치에서 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절하는 AF 모드일 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 측정된 신뢰도를 기반으로, 복수의 AF 모드 중에서 하나의 AF 모드를 선택할 수 있다.
동작 317에서 프로세서(120)는 상기 선택된 AF 모드에 대응하여 상기 렌즈의 위치를 이동할 수 있다. 예를 들어, 제 1 모드가 선택되면, 프로세서(120)는 타겟 위치에 대응하여, 1차적으로 상기 렌즈를 이동하고, 2차적으로 외부 객체에 대한 초점을 정확하게 조정하기 위해, 상기 렌즈를 이동시킬 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 타겟 위치에 대응하여 적어도 일부 렌즈의 위치를 이동하고, 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절할 수 있다. 예를 들어, 제 2 모드가 선택되면, 프로세서(120)는 타겟 위치에 대응하는 렌즈의 이동 방향을 결정하고, 상기 결정된 이동 방향을 기반으로, 렌즈의 위치를 조정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 결정된 이동 방향을 기반으로, 상기 렌즈를 이동하면서, 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절할 수 있다. 예를 들어, 제 3 모드가 선택되면, 프로세서(120)는 렌즈의 현재 위치에서 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 DFD 방식에 따른 타겟 위치의 신뢰도를 측정할 수 있고, 상기 측정된 신뢰도를 기반으로 AF 모드를 선택할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 상기 선택된 AF 모드에 대응하여 콘트라스트 AF 방식을 적용할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 DFD 방식과 콘트라스트 AF 방식을 혼합하여 적용함으로써, 촬영 영상의 초점을 보다 빠르게 맞출 수 있다.
일 실시예에 따르면, 전자 장치(101)는 DFD 방식의 적용을 위한 제 1 초점 제어부 및 콘트라스트 AF 방식의 적용을 위한 제 2 초점 제어부를 포함할 수 있다. 일 실시예에 따르면, 제 1 초점 제어부는 DFD 방식을 기반으로, 타겟 위치 및 타겟 위치에 대응하는 렌즈의 이동 방향을 결정할 수 있다. 일 실시예에 따르면, 제 2 초점 제어부는 콘트라스트 AF 방식을 기반으로, 렌즈의 위치를 이동시켜 촬영 영상이 선명하게 표시되도록 초점을 조절할 수 있다.
도 3c는 도 3b의 동작 313 내지 동작 315에 대응하여, 구체적으로 수행되는 과정을 도시한 흐름도일 수 있다. 도 3c는 렌즈의 제1 위치 및 제2 위치에 대응하는 복수의 이미지를 기반으로 DFD 방식을 적용하고, 상기 DFD 방식에 의해 측정된 코스트 값을 기반으로 복수의 렌즈의 위치를 조정하기 위한 AF 모드를 선택하는 흐름도이다.
도 3c를 참조하면, 일 실시예에 따르면, 동작 321에서 프로세서(120)는 제 1 이미지 및 제 2 이미지를 기반으로 DFD 방식을 적용할 수 있다. 프로세서(120)는 DFD 방식에 따른 DFD 결과 값을 측정할 수 있다.
일 실시예에 따르면, 동작 323에서 프로세서(120)는 DFD 방식을 기반으로, 제 1 이미지 및 제 2 이미지에 대응하는 코스트(cost) 값을 측정할 수 있다. DFD 방식은 미리 정의된 PSF 정보를 이용하여, 타겟 위치 및 상기 타겟 위치에 대응하는 렌즈의 이동 방향을 검색 및 결정할 수 있다. 예를 들어, PSF 정보는 DFD 방식의 적용을 위해 미리 정의되고, 메모리(130)에 저장될 수 있다. 타겟 위치는 onfocus에 대응하는 렌즈의 위치일 수 있고, 선명한 화질의 영상을 촬영하기 위한 적어도 하나의 렌즈가 이동해야 하는 렌즈의 위치일 수 있다. 일 실시예에 따르면, 프로세서(120)는 제 1 이미지 및 제 2 이미지에 대응하는 DFD 결과 값과 상기 메모리(130)에 저장된 PSF 정보를 기반으로 코스트 값을 측정할 수 있다. 프로세서(120)는 상기 PSF 정보에 대응하는 적어도 하나의 코스트 값을 측정할 수 있고, 상기 측정된 코스트 값의 최대값(예: Max(cost)) 및 상기 측정된 코스트 값의 최소값(예: Min(cost))을 결정할 수 있다.
일 실시예에 따르면, 동작 325에서 프로세서(120)는 코스트 값의 최대값과 코스트 값의 최소값과의 차이값이 제 1 임계값 이상인지 여부를 확인할 수 있다. 일 실시예에 따르면, 코스트 값에 대한 최대값과 최소값과의 차이값은 제 1 이미지 및 제 2 이미지에 대응하는 defocus 값의 차이를 의미할 수 있다. 예를 들어, 상기 차이값이 적다는 것은 defocus 값의 차이가 작다는 것을 의미하고, DFD 방식을 적용하기 어렵다는 의미일 수 있다. 일 실시예에 따르면, 제 1 임계값은 개발자에 의해 미리 결정될 수 있고, 코스트 값에 대한 최대값과 최소값과의 차이값이 상기 제 1 임계값 이상인 경우 DFD 방식에 따른 타겟 위치를 결정할 수 있다. 일 실시예에 따르면, 동작 325에서 코스트 값에 대한 최대값과 최소값과의 차이값이 상기 제 1 임계값 이상이면, 동작 327로 진행할 수 있고, 코스트 값에 대한 최대값과 최소값과의 차이값이 상기 제 1 임계값 보다 작으면, 동작 339로 진행할 수 있다.
일 실시예에 따르면, 동작 327에서 프로세서(120)는 적어도 일부 렌즈의 제 1 위치에 대응하는 콘트라스트 값(con1)과 상기 적어도 일부 렌즈의 제 2 위치에 대응하는 콘트라스트 값(con2)을 비교할 수 있다. 일 실시예에 따르면, con1은 제 1 위치에서의 콘트라스트 값을 의미하고, con2는 제 2 위치에서의 콘트라스트 값을 의미할 수 있다. 일 실시예에 따르면, 제 1 위치와 제 2 위치는 동일하지 않을 수 있고, 적어도 하나의 렌즈의 위치가 상대적으로 외부 객체(예: 피사체)의 초점 위치에 보다 가까운 방향에 위치할 수 있다. 예를 들어, con2가 con1보다 크다는 것은 제 2 위치가 제 1 위치 보다 상대적으로 외부 객체의 초점 위치에 가까운 방향에 위치한다는 의미일 수 있다. 일 실시예에 따르면, 동작 327에서 con2가 con1보다 크다면, 동작 329로 진행할 수 있고, 동작 327에서 con2가 con1보다 크지 않다면, 동작 337로 진행할 수 있다. 일 실시예에 따르면, 렌즈는 Far End 위치에서 Near End 위치로 이동할 수 있고, Far End 위치를 0으로 가정하고, Near End 위치가 양(+)의 방향일 수 있다. 일 실시예에 따르면, 프로세서(120)는 콘트라스트 값(con1, con2)을 기반으로, 렌즈의 제1 위치 및 제2 위치를 확인할 수 있다.
일 실시예에 따르면, 동작 329에서 프로세서(120)는 DFD 방식에 따른 타겟 위치와 제 1 위치를 비교할 수 있다. 예를 들어, 동작 327에서 프로세서(120)는 제 1 위치와 제 2 위치에서의 콘트라스트 값을 비교하고, 제 1 위치가 제 2 위치 보다 상대적으로 외부 객체의 초점 위치로부터 멀리 떨어져 있음을 확인할 수 있다. (예: 제 1 위치(con1) < 제 2 위치(con2)) 동작 329에서 타켓 위치가 제 1 위치 보다 상대적으로 외부 객체의 초점 위치로부터 가깝다면,(예: 타겟 위치 > 제 1 위치) 동작 331로 진행할 수 있고, 타겟 위치가 제 1 위치 보다 상대적으로 외부 객체의 초점 위치로부터 멀다면,(예: 타겟 위치 < 제 1 위치) 동작 339로 진행할 수 있다. 예를 들어, 타겟 위치가 제 1 위치 보다 외부 객체의 초점 위치로부터 멀다는 것은 제 1 위치(con1) < 제 2 위치(con2) 인 상태에서, 타겟 위치가 제 1 위치 보다 렌즈의 Far End 위치에 가깝다는 의미일 수 있다. (예: 타겟 위치 < 제 1 위치(con1)) 예를 들어, 타겟 위치가 제 1 위치 보다 외부 객체의 초점 위치로부터 멀다는 것은 타겟 위치(예: DFD 방식에 따른 DFD 결과값)가 제 1 위치(con1)보다 콘트라스트 값이 더 작다는 것을 의미할 수 있다. 일 실시예에 따르면, 타겟 위치가 제 1 위치(con1)보다 콘트라스트 값이 더 낮은 방향으로 결정되면, 프로세서(120)는 동작 329에서 동작 331로 진행할 수 있다.
다양한 실시예에 따르면, 적어도 일부 렌즈에 대응하는 제 2 위치가 제 1 위치 보다 상대적으로 외부 객체의 초점 위치로부터 멀리 떨어진 상황(예: 제 2 위치 < 제 1 위치)일 수 있다. 일 실시예에 따르면, 동작 337에서 프로세서(120)는 DFD 방식에 따른 타겟 위치와 제 2 위치를 비교할 수 있다. 예를 들어, 동작 327에서 프로세서(120)는 제 1 위치(con1)와 제 2 위치(con2)에서의 콘트라스트 값을 비교하고, 제 2 위치(con2)가 제 1 위치(con1) 보다 상대적으로 외부 객체의 초점 위치로부터 멀리 떨어져 있음을 확인(예: 제 2 위치(con2) < 제 1 위치(con1))할 수 있다. 동작 337에서 타켓 위치가 제 2 위치 보다 상대적으로 외부 객체의 초점 위치로부터 가깝다면,(예: 타겟 위치 < 제 2 위치) 동작 331로 진행할 수 있고, 타겟 위치가 제 2 위치 보다 상대적으로 외부 객체의 초점 위치로부터 멀다면,(예: 타겟 위치 > 제 2 위치) 동작 339로 진행할 수 있다.
일 실시예에 따르면, 동작 331에서 프로세서(120)는 타겟 위치와 제 2 위치 간의 이격 거리와 제 2 임계값을 비교할 수 있다. 일 실시예에 따르면, 제 2 임계값은 개발자에 의해 결정될 수 있으며, 타겟 위치에 대한 정확도를 측정하는 기준값일 수 있다. 예를 들어, 타겟 위치와 제 2 위치 간의 이격 거리가 제 2 임계값 이하이면, 타겟 위치에 대한 정확도가 높다는 의미일 수 있고, 프로세서(120)는 상기 타겟 위치에 대응하여 렌즈의 이동 방향 및 이동량을 결정하고, 상기 결정된 이동 방향 및 이동량에 대응하여 적어도 일부 렌즈의 위치를 조정할 수 있다. 예를 들어, 타겟 위치와 제 2 위치 간의 이격 거리가 제 2 임계값을 초과하면, 타겟 위치에 대한 정확도가 상대적으로 낮다는 의미일 수 있고, 프로세서(120)는 상기 타겟 위치에 대응하는 렌즈의 이동 방향을 결정하고, 상기 결정된 이동 방향에 대응하여 적어도 일부 렌즈의 위치를 조정할 수 있다. 일 실시예에 따르면, 타겟 위치와 제 2 렌즈 간의 이격 거리가 제 2 임계값 이하이면, 동작 333으로 진행할 수 있고, 타겟 위치와 제 2 렌즈 간의 이격 거리가 제 2 임계값을 초과하면, 동작 335로 진행할 수 있다.
일 실시예에 따르면, 동작 333에서 프로세서(120)는 AF 모드 중 제 1 모드를 수행할 수 있다. 제 1 모드는 타겟 위치에 대응하여, 적어도 일부 렌즈의 위치를 이동하고, 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절하는 AF 모드일 수 있다. 예를 들어, 제 1 모드는 타겟 위치에 대한 정확도가 높다고 판단하여, 적어도 일부 렌즈를 상기 타겟 위치로 이동하고, 콘트라스트 AF 방식을 적용하는 AF 모드일 수 있다.
일 실시예에 따르면, 동작 335에서 프로세서(120)는 AF 모드 중 제 2 모드를 수행할 수 있다. 제 2 모드는 타겟 위치의 방향에 대응하여, 적어도 일부 렌즈를 이동하면서, 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절하는 AF 모드일 수 있다. 예를 들어, 제 2 모드는 타겟 위치에 대응하는 이동 방향을 신뢰할 수는 있으나, 상대적으로 제 1 모드 보다 타겟 위치에 대한 정확도가 낮다고 판단되는 모드일 수 있다. 일 실시예에 따르면, 프로세서(120)는 상기 타겟 위치의 이동 방향에 대응하여 상기 적어도 일부 렌즈를 이동하면서, 콘트라스트 AF 방식을 적용할 수 있다.
일 실시예에 따르면, 동작 337에서 프로세서(120)는 AF 모드 중 제 3 모드를 수행할 수 있다. 제 3 모드는 렌즈의 현재 위치에서 콘트라스트 AF 방식을 적용하여 촬영 영상의 초점을 조절하는 AF 모드일 수 있다. 예를 들어, 제 3 모드는 타겟 위치를 신뢰하기 어려울 정도로, 타겟 위치에 대한 정확도가 상당히 낮다고 판단되는 모드일 수 있다. 일 실시예에 따르면, 프로세서(120)는 렌즈의 현재 위치를 기반으로 콘트라스트 AF 방식을 적용할 수 있다.
도 4a 내지 도 4b는 다양한 실시예에 따른 DFD 방식에 의한 DFD 결과 값을 그래프로 도시한 도면이다.
도 4a 내지 도 4b는 DFD 방식을 기반으로, 촬영하는 이미지에 대응하는 DFD 결과 값을 그래프로 도시한 도면이다.
도 4a를 참조하면, 일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 카메라(예: 도 1의 카메라 모듈(180))를 사용하여 제 1 촬영 이미지(411)에 대한 자동 초점(AF, auto focus) 기능을 수행할 수 있다. 도 4a는 전체적으로 렌즈 이동에 따른 defocus 차이가 적절하게 발생하는 상황일 수 있다. 예를 들어, defocus 차이가 적절하게 발생하는 상황은 외부 객체에 대한 블러(blur) 현상이 발생한 상황일 수 있다. 도 4a는 제 1 촬영 이미지(411)에 대한 DFD 방식의 AF 기능을 수행할 때, 제 1 촬영 이미지(411)에 대응하는 DFD 결과 값이 도시된 제 1 그래프(413)를 포함한다.
일 실시예에 따르면, DFD 방식은 적어도 일부 렌즈를 이용하여 획득한 두 장의 이미지(예: 제 1 이미지, 제 2 이미지)를 분석하여 타겟 위치(예: 피사체가 onfocus 되는 렌즈의 이동 지점)를 예측하는 방식일 수 있다. DFD 방식은 상기 획득한 두 장의 이미지 간에 defocus 차이(예: 블러(blur)차이)가 일정량만큼 존재해야 타겟 위치에 대한 신뢰도가 높아질 수 있다. 예를 들어, 전자 장치(101)는 카메라 모듈(180)에 포함된 렌즈의 제1 위치에 대응하는 제1 이미지를 획득할 수 있고, 상기 렌즈의 제2 위치에 대응하는 제2 이미지를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 상기 제1 이미지와 상기 제2 이미지를 기반으로, 제 1 촬영 이미지(411)에 대응하는 DFD 결과 값을 산출할 수 있다. 도 4a에 도시된 제 1 그래프(413)는 상기 산출된 DFD 결과 값을 기반으로 구현된 그래프일 수 있다. 일 실시예에 따르면, 제 1 그래프(413)는 렌즈의 적어도 하나의 위치에 대응하는 콘트라스트 값을 도시한 제 1 선그래프(415) 및 상기 렌즈의 적어도 하나의 위치에 대응하는 DFD 결과 값을 도시한 제 2 선그래프(416)를 포함할 수 있다. 제 1 그래프(413)는 타겟 위치에 대응하는 콘트라스트 피크(peak)(417) 및 이상적인 DFD 결과 값에 대응하는 제 3 선그래프(418)를 포함할 수 있다. 예를 들어, 제 3 선그래프(418)는 콘트라스트 값의 이상적인 수치를 기반으로 도시된 그래프일 수 있다. 일 실시예에 따르면, 제 1 그래프(413)에서 제 3 선그래프(418)에 대응하여, 제 2 선그래프(416)가 유사하게 도시될 수 있다. 일 실시예에 따르면, 제 1 촬영 이미지(411)는 DFD 방식을 적용하기에 이상적인 이미지일 수 있다.
도 4b를 참조하면, 일 실시예에 따르면, 전자 장치(101)는 카메라를 사용하여 제 2 촬영 이미지(421)에 대한 자동 초점(AF) 기능을 수행할 수 있다. 도 4b는 전체적으로 콘트라스트 값의 차이값이 거의 없어, 렌즈의 이동에 따라 defocus 차이가 거의 발생하지 않는 상황일 수 있다. 도 4b는 제 2 촬영 이미지(421)에 대한 DFD 방식의 AF 기능을 수행할 때, 제 2 촬영 이미지(421)에 대응하는 DFD 결과 값이 도시된 제 2 그래프(423)를 포함한다. 일 실시예에 따르면, 제 2 그래프(423)는 렌즈의 적어도 하나의 위치에 대응하는 콘트라스트 값을 도시한 제 1 선그래프(425) 및 상기 렌즈의 적어도 하나의 위치에 대응하는 DFD 결과 값을 도시한 제 2 선그래프(426)를 포함할 수 있다. 제 2 그래프(423)는 타겟 위치에 대응하는 콘트라스트 피크(peak)(427) 및 이상적인 DFD 결과 값에 대응하는 제 3 선그래프(428)를 포함할 수 있다. 일 실시예에 따르면, 제 2 그래프(423)에서 제 2 선그래프(426)는 제 3 선그래프(428)에 대응되지 않으며, 제 2 촬영 이미지(421)는 DFD 방식을 적용하기에 적절하지 않을 수 있다.
일 실시예에 따르면, 제 2 촬영 이미지(421)는 두 장의 이미지(예: 제 1 이미지, 제 2 이미지) 간에 defocus 양이 일정량만큼 존재하지 않는 피사체일 수 있다. 일 실시예에 따르면, 제 2 촬영 이미지(421)에 대응하는 DFD 결과 값을 산출할 수 있다. 도 4b에 도시된 제 2 그래프(423)는 상기 산출된 DFD 결과 값을 기반으로 구현된 그래프일 수 있다.
도 5a 내지 도 5c는 다양한 실시예에 따른 DFD 결과 값을 기반으로 코스트 값을 측정하여 그래프로 도시한 도면이다.
도 5a는 제 1 촬영 이미지(411)에 대응하는 DFD 결과 값을 기반으로, 코스트 값을 산출하고, 상기 코스트 값을 기반으로 구현된 제 1 코스트 그래프(511)를 도시한 도면이다.
일 실시예에 따르면, DFD 결과 값을 기반으로, 코스트 값을 산출하는 계산식은 아래의 수학식 1과 같을 수 있다.
Figure PCTKR2019012070-appb-M000001
위의 수학식 1에서 d와
Figure PCTKR2019012070-appb-I000001
값은 미리 정의된 defocus 값일 수 있고, F1은 제1 이미지에 대응하는 DCT(discrete cosine transform) 값, F2는 제2 이미지에 대응하는 DCT 값일 수 있다. 예를 들어, d는 PSF(point spread function) 값을 설정할 때, 완벽하게 온 포커싱(ideal onfocus)되는 타겟 위치를 기반으로, 정의된 defocus에 대한 수치일 수 있다.
Figure PCTKR2019012070-appb-I000002
값은 제 1 이미지와 제 2 이미지 간의 이격 거리에 대응하는 수치일 수 있다. K는 PSF(point spread function) 값으로 미리 정의된 값일 수 있다.
Figure PCTKR2019012070-appb-I000003
는 제1 이미지와 제2 이미지 간의 defocus 차이값일 수 있고,
Figure PCTKR2019012070-appb-I000004
는 PSF 값의 변화량일 수 있다.
위의 수학식 1에서 분자 식을 정리하면, 아래의 수학식 2와 같이 정리될 수 있다.
Figure PCTKR2019012070-appb-M000002
위의 수학식 2를 참조하면,
Figure PCTKR2019012070-appb-I000005
는 기 정의된 PSF 값에 기반한 defocus 차이값으로, 고정된 값일 수 있다. defocus 값이 전체적으로 작을 경우,
Figure PCTKR2019012070-appb-I000006
값 및
Figure PCTKR2019012070-appb-I000007
값이 작아져서 코스트 값의 레벨 차이는 작아질 수 있다. 즉, 코스트 값의 최대값(예: Max(cost))과 코스트 값의 최소값(예: Min(cost))이 전체적으로 작아질 수 있고, 최대값과 최소값의 차이값(예: 코스트 값의 레벨 차이)이 작을 수 있다. 촬영 이미지에 대응하여 신뢰도 값을 측정하는 식은 아래의 수학식 3과 같을 수 있다.
Figure PCTKR2019012070-appb-M000003
다양한 실시예에 따르면, 수학식 3과 같이, 촬영 이미지에 대응하여 신뢰도 값은 코스트 값의 최대값과 코스트 값의 최소값 간의 차이값을 기반으로 결정될 수 있다.
도 5a를 참조하면, 제 1 촬영 이미지(411)에 대응하여 코스트 값을 산출할 수 있고, 상기 코스트 값을 기반으로 제 1 코스트 그래프(511)가 구현될 수 있다.
도 5b는 제 2 촬영 이미지(421)에 대응하는 DFD 결과 값을 기반으로, 코스트 값을 산출하고, 상기 코스트 값을 기반으로 구현된 제 2 코스트 그래프(521)를 도시한 도면이다.
일 실시예에 따르면, 제 2 촬영 이미지(421)에 대응하는 DFD 결과 값을 기반으로, 전술된 수학식 1 내지 수학식 3을 적용할 수 있고, 제 2 촬영 이미지(421)에 대응하는 코스트 값을 산출할 수 있다. 일 실시예에 따르면, 상기 산출된 코스트 값을 기반으로 제 1 코스트 그래프(521)가 구현될 수 있다.
도 5c는 제 1 코스트 그래프(511)와 제 2 코스트 그래프(521)를 하나의 그래프로 도시한 도면이다. 도 5를 참조하면, 제 1 촬영 이미지(411)와 제 2 촬영 이미지(421)에 대한 코스트 값을 비교할 수 있다. 예를 들어, 제 1 촬영 이미지(411)는 제 1 이미지와 제 2 이미지 간의 defocus 량(예: 블러량)이 일정량만큼 존재하며, 코스트 값의 레벨 차이(예: 코스트 값의 최대값과 최소값 간의 차이값)가 클 수 있다. 일 실시예에 따르면, 제 1 촬영 이미지(411)는 DFD 방식을 적용하여 렌즈의 위치를 조정할 수 있고, 제 1 모드 또는 제 2 모드 중 하나의 AF 모드를 기반으로 렌즈의 위치를 조정할 수 있다. 예를 들어, 제 2 촬영 이미지(421)는 제 1 이미지와 제 2 이미지 간의 defocus 량(예: 블러량)이 얼마 존재하지 않으며, 코스트 값의 레벨 차이(예: 코스트 값의 최대값과 최소값 간의 차이값)가 작을 수 있다. 일 실시예에 따르면, 제 2 촬영 이미지(421)는 DFD 방식을 적용하기 어려울 수 있고, AF 모드 중 제 3 모드를 기반으로 렌즈의 위치를 조정할 수 있다. 도 5c를 기반으로, 제 1 촬영 이미지(411) 및 제 2 촬영 이미지(421)에 대응하는 코스트 값의 레벨 차이를 아래에 첨부합니다.
코스트 값의 레벨 차이(Max(cost)-Min(cost))
제 1 촬영 이미지(411) 8.9101e+05
제 2 촬영 이미지(421) 3.6154e+03
일 실시예에 따르면, 전자 장치(101)는 제 1 이미지와 제 2 이미지를 기반으로, DFD 방식을 적용할 수 있으며, 제 1 이미지와 제 2 이미지 간의 defocus 량의 차이가 일정량(예: 제 1 임계값) 이하이면, DFD 방식을 적용하기 어려울 수 있다. DFD 방식을 적용하기 어렵다는 것은 DFD 방식을 적용하여, 타겟 위치를 결정하거나, 타겟 위치에 대응하는 렌즈의 이동 방향을 결정하기 어렵다는 의미일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제 1 이미지와 제 2 이미지 간의 defocus 량의 차이가 일정량(예: 제 1 임계값) 이하인 경우 콘트라스트 AF 방식을 기반으로 촬영 영상의 초점을 조정할 수 있다.
도 6은 다양한 실시예에 따른 신뢰도를 기반으로 AF 모드를 결정하는 방법을 그래프로 도시한 도면이다.
도 6을 참조하면, 적어도 일부 렌즈의 제 1 위치에 대응하는 제1 콘트라스트 값(Con1)과 상기 적어도 일부 렌즈의 제 2 위치에 대응하는 제2 콘트라스트 값(Con2)을 도식화한 그래프이다. 일 실시예에 따르면, 렌즈의 위치에 대응하여, 콘트라스트 값이 결정될 수 있고, 이는 콘트라스트 값을 기반으로 렌즈의 위치(Lens position)를 확인할 수 있다. 도 6을 참조하면, 제 1 위치와 제 2 위치를 확인할 수 있다. 제 1 위치와 제 2 위치는 상대적인 위치일 수 있으며, 제 1 위치가 제 2 위치 보다 상대적으로 외부 객체의 초점 위치로부터 멀게 위치하였음을 의미할 수 있다. 일 실시예에 따르면, 제 1 위치는 제 2 위치보다 외부 객체의 초점 위치로부터 멀리 위치할 수 있고, 제 1 위치에 대응하는 제1 콘트라스트 값(Con1)은 제 2 위치에 대응하는 제2 콘트라스트 값(Con2)보다 작을 수 있다.
도 3c를 참조하면, 도 6에서의 제 1 위치 및 제 2 위치는 동작 327에서 동작 329로 진행하는 상황일 수 있다. 동작 327에서 프로세서(120)는 con1이 con2 보다 작다는 것을 확인할 수 있다. 일 실시예에 따르면, con1이 con2 보다 작다는 것은 제 1 위치가 제 2 위치 보다 외부 객체의 초점 위치로부터 멀리 위치하고 있음을 의미한다. 다양한 실시예에 따르면, 제 1 위치와 제 2 위치가 서로 교체될 수 있으며, 이는 도 3c에서 동작 327에서 동작 337로 진행하는 상황일 수 있다. 일 실시예에 따르면, 적어도 일부 렌즈의 위치는 도 6에서의 제 1 위치 및 제 2 위치로 한정되지 않는다.
도 6을 참조하면, 타겟 위치(예: 제 1 타겟 위치(601), 제 2 타겟 위치(603), 제 3 타겟 위치(605), 제 4 타겟 위치(607))가 결정될 수 있고, 상기 결정된 타겟 위치에 대응하여 AF 모드(예: 도 3b의 제 1 모드, 제 2 모드, 제 3 모드)를 선택할 수 있다.
일 실시예에 따르면, 프로세서(120)는 제 1 위치에 대응하는 제 1 이미지 및 제 2 위치에 대응하는 제 2 이미지를 기반으로 DFD 방식을 적용할 수 있고, 타겟 위치를 결정할 수 있다.
일 실시예에 따르면, 타겟 위치가 제 1 타겟 위치(601)로 결정되면, 프로세서(120)는 AF 모드 중 제 3 모드를 선택할 수 있다. 일 실시예에 따르면, 제 1 타겟 위치(601)는 DFD 방식에 따른 적어도 일부 렌즈의 이동 방향이 콘트라스트 값이 더 낮아지는 방향일 수 있다. 이는, 상기 제 1 타겟 위치(601)를 신뢰하기 어려우며, 프로세서(120)는 AF 모드 중 제 3 모드를 선택할 수 있다. 일 실시예에 따르면, 타겟 위치가 제 1 타겟 위치(601)로 결정되면, 프로세서(120)는 제 3 모드에 대응하여, 콘트라스트 AF 방식에 따라 적어도 하나의 렌즈의 위치를 조정할 수 있다.
일 실시예에 따르면, 타겟 위치가 제 2 타겟 위치(603) 또는 제 3 타겟 위치(605)로 결정되면, 프로세서(120)는 AF 모드 중 제 1 모드를 선택할 수 있다. 일 실시예에 따르면, 도 3c의 동작 329에서 타겟 위치가 제 1 위치 보다 외부 객체의 초점 위치에 가깝고, 동작 331에서 타겟 위치와 제 2 위치 간의 거리가 제 2 임계값(632) 보다 작은 경우 타겟 위치가 제 2 타겟 위치(603) 또는 제 3 타겟 위치(605)로 결정될 수 있다. 일 실시예에 따르면, 타겟 위치가 제 2 타겟 위치(603) 또는 제 3 타겟 위치(605)라는 것은 촬영 이미지에서 적절한 defocus 차이가 발생하는 상황이고, 타겟 위치에 대한 정확도가 높은 상황일 수 있다. 일 실시예에 따르면, 타겟 위치가 제 2 타겟 위치(603) 또는 제 3 타겟 위치(605)로 결정되면, 프로세서(120)는 제 1 모드에 대응하여, DFD 방식에 따라 적어도 일부 렌즈의 위치를 타겟 위치로 이동하고, 콘트라스트 AF 방식에 따라 적어도 일부 렌즈의 위치를 조정할 수 있다.
일 실시예에 따르면, 타겟 위치가 제 4 타겟 위치(607)로 결정되면, 프로세서(120)는 AF 모드 중 제 2 모드를 선택할 수 있다. 일 실시예에 따르면, 도 3c의 동작 331에서 타겟 위치와 제 2 위치 간의 거리가 제 2 임계값(632) 보다 큰 경우 타겟 위치가 제 4 타겟 위치(607)로 결정될 수 있다. 일 실시예에 따르면, 타겟 위치가 제 4 타겟 위치(607)라는 것은 촬영 이미지에서 적절한 defocus 차이가 발생하는 상황이긴 하나, 타겟 위치에 대한 정확도가 높지 않은 상황일 수 있다. 일 실시예에 따르면, 타겟 위치가 제 4 타겟 위치(607)로 결정되면, 프로세서(120)는 제 2 모드에 대응하여, DFD 방식에 따라 제 4 타겟 위치(607)에 대응하는 이동 방향으로 적어도 일부 렌즈의 위치를 이동하면서, 콘트라스트 AF 방식에 따라 적어도 일부 렌즈의 위치를 조정할 수 있다.
본 발명의 다양한 실시예에 따른 전자장치는, 하나 이상의 렌즈를 포함하는 렌즈 어셈블리(예: 도 2의 렌즈 어셈블리(210)) 및 상기 렌즈 어셈블리(210)의 적어도 일부 렌즈를 이동시켜 초점을 조정할 수 있는 구동부(예: 도 2의 이미지 시그널 프로세서(260))를 포함하는 카메라(예: 도 1의 카메라 모듈(180)), 메모리(예: 도 1의 메모리(130)), 및 상기 렌즈 어셈블리(210), 상기 카메라(180) 및 상기 메모리(130)와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 카메라(180)를 이용하여, 외부 객체에 대한 상기 적어도 일부 렌즈의 제1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고, 상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 및 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 및 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 조건이 지정된 제3 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 상기 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제3 이동 방향을 결정하고, 및 상기 결정된 제3 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정할 수 있다.
다양한 실시예에 따르면, 상기 메모리(130)는 점 확산 함수(point spread function) 정보를 저장하고, 상기 프로세서(120)는 상기 제1 이미지 및 상기 제2 이미지를 기반으로 DFD 결과값을 측정하고, 상기 측정된 DFD 결과값 및 상기 점 확산 함수 정보를 기반으로 상기 제 1 이미지 및 상기 제 2 이미지에 대응하는 코스트 값을 측정하고, 상기 측정된 코스트 값을 기반으로 신뢰도를 결정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 DFD 방식에 따른 타겟 위치를 결정하고, 상기 결정된 타겟 위치에 대응하여, 상기 적어도 일부 렌즈의 이동 방향 및 이동량을 결정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 측정된 코스트 값의 최대값과 최소값 간의 차이값이 제1 임계값 이상인지 여부를 판단하고, 상기 차이값이 상기 제1 임계값 이상이면, 상기 결정된 타겟 위치를 기반으로 상기 적어도 일부 렌즈의 위치를 조정할 수 있고, 상기 차이값이 상기 제 1 임계값 보다 작으면, 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 위치를 조정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 차이값이 상기 제1 임계값 이상이면, 상기 제 1 위치와 상기 제 2 위치를 확인하고, 상기 결정된 타겟 위치와 상기 제 2 위치 간의 거리를 제2 임계값과 비교할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 거리가 상기 제2 임계값 이하이면, 상기 타겟 위치에 대응하여 상기 적어도 일부 렌즈의 위치를 조정하고, 상기 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여, 상기 외부 객체에 대한 상기 초점을 조정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 거리가 상기 제2 임계값을 초과하면, 상기 타겟 위치에 대응하는 상기 적어도 일부 렌즈의 이동 방향을 결정하고, 상기 결정된 이동 방향 및 상기 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여, 상기 적어도 일부 렌즈의 위치를 조정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(120)는 상기 제 1 위치에 대응하는 제 1 콘트라스트 값과 상기 제2 위치에 대응하는 제 2 콘트라스트 값을 측정하고, 상기 제 1 콘트라스트 값과 상기 제 2 콘트라스트 값을 기반으로, 상기 제 1 위치 및 상기 제 2 위치를 확인할 수 있다.
다양한 실시예에 따르면, 상기 제 1 조건에 기반하여, 상기 적어도 일부 렌즈가 이동하는 제 1 이동 간격은 상기 제 2 조건에 기반하여, 상기 적어도 일부 렌즈가 이동하는 제 2 이동 간격 보다 작도록 설정될 수 있다.
다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))에서 카메라 렌즈의 초점을 제어하는 방법은 하나 이상의 렌즈를 포함하는 카메라(180)를 이용하여, 외부 객체에 대한 적어도 일부 렌즈의 제 1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고, 상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정하고, 상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정할 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    하나 이상의 렌즈를 포함하는 렌즈 어셈블리 및 상기 렌즈 어셈블리의 적어도 일부 렌즈를 이동시켜 초점을 조정할 수 있는 구동부를 포함하는 카메라;
    메모리; 및
    상기 렌즈 어셈블리, 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 카메라를 이용하여, 외부 객체에 대한 상기 적어도 일부 렌즈의 제1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하고,
    상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하고,
    상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 및 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정하고, 및
    상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 및 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 조건이 지정된 제3 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 상기 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제3 이동 방향을 결정하고, 및 상기 결정된 제3 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정하도록 설정된 전자 장치.
  3. 제 1 항에 있어서,
    상기 메모리는 점 확산 함수(point spread function) 정보를 저장하고,
    상기 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지를 기반으로 DFD 결과값을 측정하고,
    상기 측정된 DFD 결과값 및 상기 점 확산 함수 정보를 기반으로 상기 제 1 이미지 및 상기 제 2 이미지에 대응하는 코스트 값을 측정하고,
    상기 측정된 코스트 값을 기반으로 신뢰도를 결정하도록 설정된 전자 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 DFD 방식에 따른 타겟 위치를 결정하고,
    상기 결정된 타겟 위치에 대응하여, 상기 적어도 일부 렌즈의 이동 방향 및 이동량을 결정하도록 설정된 전자 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 측정된 코스트 값의 최대값과 최소값 간의 차이값이 제1 임계값 이상인지 여부를 판단하고,
    상기 차이값이 상기 제1 임계값 이상이면, 상기 결정된 타겟 위치를 기반으로 상기 적어도 일부 렌즈의 위치를 조정하도록 하고,
    상기 차이값이 상기 제 1 임계값 보다 작으면, 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 위치를 조정하도록 설정된 전자 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 차이값이 상기 제1 임계값 이상이면, 상기 제 1 위치와 상기 제 2 위치를 확인하고,
    상기 결정된 타겟 위치와 상기 제 2 위치 간의 거리를 제2 임계값과 비교하고,
    상기 거리가 상기 제2 임계값 이하이면, 상기 타겟 위치에 대응하여 상기 적어도 일부 렌즈의 위치를 조정하고, 상기 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여, 상기 외부 객체에 대한 상기 초점을 조정하고,
    상기 거리가 상기 제2 임계값을 초과하면, 상기 타겟 위치에 대응하는 상기 적어도 일부 렌즈의 이동 방향을 결정하고, 상기 결정된 이동 방향 및 상기 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여, 상기 적어도 일부 렌즈의 위치를 조정하도록 설정된 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 제 1 위치에 대응하는 제 1 콘트라스트 값과 상기 제2 위치에 대응하는 제 2 콘트라스트 값을 측정하고,
    상기 제 1 콘트라스트 값과 상기 제 2 콘트라스트 값을 기반으로, 상기 제 1 위치 및 상기 제 2 위치를 확인하도록 하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 제 1 조건에 기반하여, 상기 적어도 일부 렌즈가 이동하는 제 1 이동 간격은 상기 제 2 조건에 기반하여, 상기 적어도 일부 렌즈가 이동하는 제 2 이동 간격 보다 작도록 설정된 전자 장치.
  9. 전자 장치에서 카메라 렌즈의 초점을 제어하는 방법에 있어서,
    하나 이상의 렌즈를 포함하는 카메라를 이용하여, 외부 객체에 대한 적어도 일부 렌즈의 제 1 위치에 대응하는 제1 이미지 및 상기 적어도 일부 렌즈의 제2 위치에 대응하는 제2 이미지를 획득하는 동작;
    상기 제1 이미지 및 상기 제2 이미지를 이용하여 상기 외부 객체에 대한 콘트라스트 특성과 관련된 조건을 판단하는 동작;
    상기 조건이 지정된 제1 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제1 이동 방향 및 이동량을 결정하고, 상기 결정된 제1 이동 방향 및 상기 결정된 이동량에 따라 상기 적어도 일부 렌즈를 이동하여 상기 외부 객체에 대한 초점을 조정하는 동작; 및
    상기 조건이 지정된 제2 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지에 포함된 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 제2 이동 방향을 결정하고, 상기 결정된 제2 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정하는 동작; 을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 조건이 지정된 제3 조건을 만족하는 것에 기반하여, 상기 제1 이미지, 상기 제2 이미지, 및 상기 지정된 점 확산 함수(point spread function)를 이용하여 상기 적어도 일부 렌즈의 제3 이동 방향을 결정하고, 상기 결정된 제3 이동 방향에 따라 상기 적어도 일부 렌즈를 이동하면서 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여 상기 외부 객체에 대한 상기 초점을 조정하는 동작; 을 더 포함하는 방법.
  11. 제 9 항에 있어서,
    상기 전자 장치의 메모리에 점 확산 함수(point spread function) 정보를 저장하는 동작;
    상기 제1 이미지 및 상기 제2 이미지를 기반으로 DFD 결과값을 측정하는 동작;
    상기 측정된 DFD 결과값 및 상기 점 확산 함수 정보를 기반으로 상기 제 1 이미지 및 상기 제 2 이미지에 대응하는 코스트 값을 측정하는 동작; 및
    상기 측정된 코스트 값을 기반으로 신뢰도를 결정하는 동작; 을 더 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 적어도 일부 렌즈의 이동 방향 및 이동량을 결정하는 동작은,
    상기 DFD 방식에 따른 타겟 위치를 결정하는 동작; 및
    상기 결정된 타겟 위치에 대응하여, 상기 적어도 일부 렌즈의 이동 방향 및 이동량을 결정하는 동작을 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 외부 객체에 대한 초점을 조정하는 동작은,
    상기 측정된 코스트 값의 최대값과 최소값 간의 차이값이 제1 임계값 이상인지 여부를 판단하는 동작;
    상기 차이값이 상기 제1 임계값 이상이면, 상기 결정된 타겟 위치를 기반으로 상기 적어도 일부 렌즈의 위치를 조정하는 동작; 및
    상기 차이값이 상기 제 1 임계값 보다 작으면, 상기 외부 객체의 콘트라스트 차이를 이용하여 상기 적어도 일부 렌즈의 위치를 조정하는 동작을 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 차이값이 상기 제1 임계값 이상이면, 상기 제 1 위치와 상기 제 2 위치를 확인하는 동작;
    상기 결정된 타겟 위치와 상기 제 2 위치 간의 거리를 제 2 임계값과 비교하는 동작;
    상기 거리가 상기 제2 임계값 이하이면, 상기 타겟 위치에 대응하여 상기 적어도 일부 렌즈의 위치를 조정하고, 상기 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여, 상기 외부 객체에 대한 상기 초점을 조정하는 동작; 및
    상기 거리가 상기 제2 임계값을 초과하면, 상기 타겟 위치에 대응하는 상기 적어도 일부 렌즈의 이동 방향을 결정하고, 상기 결정된 이동 방향 및 상기 획득된 하나 이상의 이미지들의 콘트라스트 변화에 적어도 기반하여, 상기 적어도 일부 렌즈의 위치를 조정하는 동작; 을 더 포함하는 방법.
  15. 제 9 항에 있어서,
    상기 제 1 조건에 기반하여, 상기 적어도 일부 렌즈가 이동하는 제 1 이동 간격은 상기 제 2 조건에 기반하여, 상기 적어도 일부 렌즈가 이동하는 제 2 이동 간격 보다 작은 것을 특징으로 하는 방법.
PCT/KR2019/012070 2018-09-28 2019-09-18 자동 초점 방법 및 이를 수행하는 전자 장치 WO2020067674A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/279,865 US11323610B2 (en) 2018-09-28 2019-09-18 Autofocus method and electronic device performing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0115708 2018-09-28
KR1020180115708A KR102668212B1 (ko) 2018-09-28 자동 초점 방법 및 이를 수행하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2020067674A1 true WO2020067674A1 (ko) 2020-04-02

Family

ID=69951937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012070 WO2020067674A1 (ko) 2018-09-28 2019-09-18 자동 초점 방법 및 이를 수행하는 전자 장치

Country Status (2)

Country Link
US (1) US11323610B2 (ko)
WO (1) WO2020067674A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5757099B2 (ko) * 1978-10-24 1982-12-02 Nitto Electric Ind Co
JPS6056160B2 (ja) * 1977-06-07 1985-12-09 フアイザ−・インコ−ポレ−テツド β−ラクタマ−ゼ阻害剤としてのペニシラン酸１，１−ジオキシド
KR20110073245A (ko) * 2009-12-21 2011-06-29 소니 주식회사 자동 초점 제어 장치, 이미지 캡처 장치 및 초점 자동 조절 방법
JP4727534B2 (ja) * 2006-08-28 2011-07-20 富士フイルム株式会社 撮像装置
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007139893A (ja) 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
JP5757099B2 (ja) 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
KR101085925B1 (ko) 2010-03-23 2011-11-23 삼성전자주식회사 복수개의 밴드패스필터를 이용하여 자동초점 조절 기능을 수행하는 촬영장치 및 이에 적용되는 자동초점 조절방법
JP5606208B2 (ja) * 2010-08-03 2014-10-15 キヤノン株式会社 焦点検出装置および撮像装置
JP5635844B2 (ja) * 2010-09-06 2014-12-03 キヤノン株式会社 焦点調整装置および撮像装置
JP6056160B2 (ja) 2012-03-09 2017-01-11 カシオ計算機株式会社 自動合焦装置、自動合焦方法及びプログラム
JP6300670B2 (ja) 2014-07-09 2018-03-28 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP6900161B2 (ja) 2016-09-14 2021-07-07 キヤノン株式会社 焦点調節装置及び撮像装置
KR102593303B1 (ko) * 2018-01-16 2023-10-25 삼성전자 주식회사 전자 장치 및 전자 장치의 카메라 자동 초점 제어 방법
KR102646750B1 (ko) * 2018-03-21 2024-03-13 삼성전자주식회사 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치
KR102472156B1 (ko) * 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6056160B2 (ja) * 1977-06-07 1985-12-09 フアイザ−・インコ−ポレ−テツド β−ラクタマ−ゼ阻害剤としてのペニシラン酸１，１−ジオキシド
JPS5757099B2 (ko) * 1978-10-24 1982-12-02 Nitto Electric Ind Co
JP4727534B2 (ja) * 2006-08-28 2011-07-20 富士フイルム株式会社 撮像装置
KR20110073245A (ko) * 2009-12-21 2011-06-29 소니 주식회사 자동 초점 제어 장치, 이미지 캡처 장치 및 초점 자동 조절 방법
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus

Also Published As

Publication number Publication date
KR20200036264A (ko) 2020-04-07
US11323610B2 (en) 2022-05-03
US20220038636A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
WO2020032473A2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2019156308A1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
WO2020204659A1 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2020116844A1 (en) Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor
WO2020130654A1 (en) Camera module having multi-cell structure and portable communication device including the same
WO2019035550A1 (ko) 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법
WO2019039765A1 (en) CAMERA MODULE COMPRISING REINFORCING ELEMENTS TO SUPPORT A PRINTED CIRCUIT BOARD ON WHICH A PLURALITY OF IMAGE SENSORS ARE ARRANGED AND ELECTRONIC DEVICE COMPRISING SAME
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2020153738A1 (ko) 카메라 모듈에 접지 노드를 연결하기 위한 전자 장치 및 방법
WO2020209492A1 (en) Folded camera and electronic device including the same
WO2020111750A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2019172723A1 (ko) 이미지 센서와 연결된 인터페이스 및 복수의 프로세서들간에 연결된 인터페이스를 포함하는 전자 장치
WO2020190008A1 (en) Electronic device for auto focusing function and operating method thereof
WO2019168374A1 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
WO2021162353A1 (ko) 카메라를 포함하는 전자 장치 및 그의 동작 방법
WO2021137555A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2020171492A1 (ko) 촬영된 이미지를 처리하기 위한 방법 및 그 전자 장치
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2020246710A1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
WO2019172577A1 (ko) 전자장치의 이미지 처리 장치 및 방법
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868064

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868064

Country of ref document: EP

Kind code of ref document: A1