WO2024076092A1 - 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치 - Google Patents

카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2024076092A1
WO2024076092A1 PCT/KR2023/014918 KR2023014918W WO2024076092A1 WO 2024076092 A1 WO2024076092 A1 WO 2024076092A1 KR 2023014918 W KR2023014918 W KR 2023014918W WO 2024076092 A1 WO2024076092 A1 WO 2024076092A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
distance
electronic device
subject
processor
Prior art date
Application number
PCT/KR2023/014918
Other languages
English (en)
French (fr)
Inventor
서동일
이정원
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220156249A external-priority patent/KR20240047265A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024076092A1 publication Critical patent/WO2024076092A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • This disclosure relates to a method for controlling a camera and an electronic device supporting the same.
  • An electronic device may include a plurality of cameras.
  • the electronic device may include a plurality of cameras disposed on the rear of the electronic device, in addition to at least one camera disposed on the front of the electronic device.
  • the electronic device may select a camera for acquiring an image from among a plurality of cameras (eg, a plurality of cameras disposed on the back of the electronic device) based on the distance between the subject and the electronic device. For example, the electronic device may select a camera with a longer focal length among a plurality of cameras as the camera for acquiring an image as the distance between the subject and the electronic device increases.
  • a plurality of cameras eg, a plurality of cameras disposed on the back of the electronic device
  • the electronic device may select a camera with a longer focal length among a plurality of cameras as the camera for acquiring an image as the distance between the subject and the electronic device increases.
  • the electronic device may switch cameras for acquiring images when the distance between the subject and the electronic device becomes shorter or longer. For example, while the electronic device acquires an image of an object through camera 1 at a first distance between the electronic device and the object, the electronic device and/or the object moves so that the distance between the object and the electronic device is a second distance shorter than the first distance. 2 distance can be When the distance between the subject and the electronic device changes from the first distance to the second distance, the electronic device may switch (eg, change) the camera for acquiring the image from the first camera to the second camera.
  • the function of switching cameras for acquiring images based on the distance between the subject and the electronic device will be referred to as the “camera switching function.”
  • Electronic devices are structured light, time of flight (TOF) (e.g. direct TOF (dTOF) or indirect TOF (iTOF) using light with a certain wavelength (e.g. infrared)), or stereo.
  • TOF time of flight
  • dTOF direct TOF
  • iTOF indirect TOF
  • the distance between the subject and the electronic device can be measured using an external sensor using the camera method.
  • the above methods using infrared rays may have limitations in the measurable distance between the electronic device and the subject in an outdoor environment where there is sunlight containing an infrared component.
  • the distance between objects and electronic devices within a limited distance range can be measured in an indoor environment, and since the outdoor environment contains more noise than the indoor environment, it is more effective than the outdoor environment.
  • the distance between an object and an electronic device in a distance range including close distance may be measurable.
  • the methods using infrared rays may consume more power when emitting a stronger signal in order to increase the measurable distance between the subject and the electronic device.
  • the methods using the infrared rays may be used when the electronic device uses the methods using infrared rays. In this case, the electronic device may require a coating area (eg, an infrared-transmitting coating hole) to transmit infrared rays emitted from the electronic device.
  • One embodiment of the present disclosure is a method for controlling a camera that can perform a camera switching function more accurately by accurately measuring the distance between the subject and the electronic device using an ultra-wideband (UWB) communication signal. and electronic devices that support it.
  • UWB ultra-wideband
  • An electronic device includes a plurality of cameras, a UWB module having a field of view that at least partially overlaps the field of view of the plurality of cameras, and at least one electrically connected to the plurality of cameras and the UWB module.
  • the at least one processor may be configured to obtain the distance between the subject and the electronic device using the UWB module.
  • the at least one processor may be configured to select a camera for photographing the subject among the plurality of cameras based on the distance.
  • the at least one processor may be configured to acquire an image of the subject using the selected camera.
  • a method of controlling a camera in an electronic device includes obtaining the distance between a subject and the electronic device using a UWB module having a field of view that at least partially overlaps the field of view of a plurality of cameras of the electronic device.
  • the method may include selecting a camera for photographing the subject among the plurality of cameras based on the distance.
  • the method may include acquiring an image of the subject using the selected camera.
  • a non-transitory computer-readable medium having computer-executable instructions recorded thereon, wherein the computer-executable instructions, when executed, cause an electronic device including at least one processor to display a plurality of cameras of the electronic device.
  • the distance between the subject and the electronic device can be obtained by using a UWB module with a field of view that at least partially overlaps the field of view.
  • the computer-executable instructions may cause an electronic device including at least one processor to select a camera for photographing the subject among the plurality of cameras based on the distance.
  • the computer-executable instructions may cause an electronic device including at least one processor to acquire an image of the subject using the selected camera.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • FIG. 2 is a block diagram illustrating a camera module, according to one embodiment.
  • Figure 3 is a block diagram of an electronic device, according to one embodiment.
  • Figure 4 is a diagram for explaining the arrangement of a camera module and a UWB module, according to an embodiment.
  • Figure 5 is a flowchart explaining a method for controlling a camera, according to one embodiment.
  • FIG. 6 is a flowchart illustrating a method of switching cameras based on the distance between a subject and an electronic device, according to an embodiment.
  • FIG. 7 is a flowchart illustrating a method of switching cameras based on the distance between a subject and an electronic device, according to an embodiment.
  • FIG. 8 is a diagram illustrating a method of switching cameras based on the distance between a subject and an electronic device, according to an embodiment.
  • Figure 9 is a flowchart explaining a method for controlling a camera, according to one embodiment.
  • Figure 10 is a flowchart explaining a method of performing autofocus of a camera using a method using the Doppler effect, according to an embodiment.
  • Figure 11 is a flowchart explaining a method of performing autofocus of a camera using a method using the Doppler effect, according to an embodiment.
  • FIG. 12 is a flowchart illustrating a method of performing optical zoom based on the distance between a subject and an electronic device, according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit signals or power to or receive signals or power from the outside (e.g., an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • An electronic device may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in one embodiment of this document may include a unit implemented in hardware, software, or firmware, and may be interchangeable with terms such as logic, logic block, component, or circuit, for example. can be used
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • One embodiment of the present document is one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • a method according to an embodiment disclosed in this document may be provided and included in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or multiple entities, and some of the multiple entities may be separately placed in other components.
  • one or more of the above-described corresponding components or operations may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or , or one or more other operations may be added.
  • Figure 2 is a block diagram 200 illustrating a camera module 180, according to one embodiment.
  • the camera module 180 includes a lens assembly 210, a flash 220, an image sensor 230, an image stabilizer 240, a memory 250 (e.g., buffer memory), or an image signal processor. It may include (260).
  • the lens assembly 210 may collect light emitted from a subject that is the target of image capture.
  • Lens assembly 210 may include one or more lenses.
  • the camera module 180 may include a plurality of lens assemblies 210. In this case, the camera module 180 may form, for example, a dual camera, a 360-degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 210 have the same lens properties (e.g., angle of view, focal length, autofocus, f number, or optical zoom), or at least one lens assembly is different from another lens assembly. It may have one or more lens properties that are different from the lens properties of .
  • the lens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 220 may emit light used to enhance light emitted or reflected from a subject.
  • the flash 220 may include one or more light emitting diodes (eg, red-green-blue (RGB) LED, white LED, infrared LED, or ultraviolet LED), or a xenon lamp.
  • the image sensor 230 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 210 into an electrical signal.
  • the image sensor 230 is one image sensor selected from image sensors with different properties, such as an RGB sensor, a BW (black and white) sensor, an IR sensor, or a UV sensor, and the same It may include a plurality of image sensors having different properties, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 230 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 240 moves at least one lens or image sensor 230 included in the lens assembly 210 in a specific direction in response to the movement of the camera module 180 or the electronic device 101 including the same.
  • the operating characteristics of the image sensor 230 can be controlled (e.g., adjusting read-out timing, etc.). This allows to compensate for at least some of the negative effects of said movement on the image being captured.
  • the image stabilizer 240 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 180. It is possible to detect such movement of the camera module 180 or the electronic device 101 using .
  • the image stabilizer 240 may be implemented as, for example, an optical image stabilizer.
  • the memory 250 may at least temporarily store at least a portion of the image acquired through the image sensor 230 for the next image processing task. For example, when image acquisition is delayed due to the shutter or when multiple images are acquired at high speed, the acquired original image (e.g., Bayer-patterned image or high-resolution image) is stored in the memory 250. , the corresponding copy image (e.g., low resolution image) may be previewed through the display module 160. Thereafter, when a specified condition is satisfied (eg, user input or system command), at least a portion of the original image stored in the memory 250 may be obtained and processed, for example, by the image signal processor 260. According to one embodiment, the memory 250 may be configured as at least part of the memory 130 or as a separate memory that operates independently.
  • a specified condition eg, user input or system command
  • the image signal processor 260 may perform one or more image processes on an image acquired through the image sensor 230 or an image stored in the memory 250.
  • the one or more image processes may include, for example, depth map creation, three-dimensional modeling, panorama creation, feature point extraction, image compositing, or image compensation (e.g., noise reduction, resolution adjustment, brightness adjustment, blurring). may include blurring, sharpening, or softening.
  • the image signal processor 260 may include at least one of the components included in the camera module 180 (e.g., an image sensor). (230)) may perform control (e.g., exposure time control, read-out timing control, etc.).
  • the image processed by the image signal processor 260 is stored back in the memory 250 for further processing.
  • the image signal processor 260 may be configured as at least a part of the processor 120, or may be configured as a separate processor that operates independently of the processor 120.
  • the image signal processor 260 may be configured as the processor 120.
  • at least one image processed by the image signal processor 260 may be displayed through the display module 160 as is or after additional image processing by the processor 120.
  • the electronic device 101 may include a plurality of camera modules 180, each having different properties or functions.
  • at least one of the plurality of camera modules 180 may be a wide-angle camera, and at least another one may be a telephoto camera.
  • at least one of the plurality of camera modules 180 may be a front camera, and at least another one may be a rear camera.
  • Figure 3 is a block diagram of an electronic device 301, according to one embodiment.
  • the electronic device 301 includes a display module 310, a sensor 320, a camera module 330, a UWB module 340, a memory 350, and/or a processor. It may include (360).
  • display module 310 may be display module 160 of FIG. 1 .
  • the display module 310 may display an image acquired through the camera module 330.
  • the display module 310 may display a preview image obtained through the camera module 330 and/or an image acquired by a capture input while the preview image is displayed (e.g., a still image). and/or dynamic images).
  • sensor 320 may be sensor module 176 of FIG. 1 .
  • sensor 320 may detect movement of electronic device 301.
  • the sensor may include a motion sensor (eg, an acceleration sensor and/or a gyro sensor) that can detect movement of the electronic device 301.
  • a motion sensor eg, an acceleration sensor and/or a gyro sensor
  • camera module 330 may be camera module 180 of FIGS. 1 and 2 .
  • the camera module 330 may include a plurality of cameras (hereinafter referred to as “plurality of cameras”) having different fields of view.
  • the camera module 330 may be a wide-angle camera (hereinafter referred to as “first camera”) having a field of view of about 80 degrees, an ultra-wide camera (ultra vide) having a field of view ranging from about 100 degrees to about 120 degrees. ) camera (hereinafter referred to as the “second camera”), and a telephoto camera (hereinafter referred to as the “third camera”) having an angle of view ranging from about 10 degrees to about 40 degrees.
  • the focal lengths of the first camera's lens, the second camera's lens, and the third camera's lens may be different.
  • the focal length of the lens of the first camera is about 15mm to about 35mm
  • the focal length of the lens of the second camera is about 7mm to about 15mm
  • the focal length of the lens of the camera may be about 70mm to about 250mm.
  • the angles of view and focal lengths of the plurality of cameras described above may be examples.
  • the third camera may be a camera that supports continuous optical zoom (also referred to as “optical zoom”).
  • the third camera may be a camera with a view angle that can be changed by moving the lens (eg, lens assembly 210).
  • the third camera may be a camera with a fixed angle of view (e.g., a camera that supports only digital zoom according to a change in zoom ratio).
  • At least one camera among the plurality of cameras may be selected as a camera for acquiring an image based on the distance between the subject and the electronic device 301. For example, when the distance between the subject and the electronic device 301 is the first distance, the first camera may be selected as the camera for acquiring the image.
  • the camera for acquiring the image may be changed (or switched). For example, while an image is being acquired through a first camera, the electronic device 301 and/or the subject moves so that the distance between the subject and the electronic device 301 changes from a first distance to a second distance that is shorter than the first distance. In case of change, the camera for acquiring the image may be switched (eg, changed) from the first camera to the second camera.
  • the function of switching cameras for acquiring images based on the distance between the subject and the electronic device 301 will be referred to as the “camera switching function.”
  • each of the plurality of cameras may perform auto focus (AF) under the control of the processor 360.
  • AF auto focus
  • each of the plurality of cameras performs autofocus using a phase detection auto focus, contrast detection auto focus, 2PD (dual pixel diode) method, or discrete PD method. It can be done.
  • the phase difference detection method may be a method of performing autofocus by detecting the phase difference of light received by a sensor (eg, phase sensor) independent of the image sensor.
  • a sensor eg, phase sensor
  • the contrast method may be a method of performing autofocus based on the contrast of an image acquired while the lens is moving (eg, reciprocating movement).
  • the 2PD method (e.g., dual pixel CMOS AF method) uses substantially all pixels (or more than about 80% of the total pixels) of the sensor including dual pixels to perform autofocus and acquire image data. This may be the way to do it.
  • the discrete PD method (e.g., imaging plane phase difference AF method) performs autofocus using some pixels (e.g., about 5% or less of the total pixels) in a sensor including dual pixels. This may be a method of obtaining image data using the remaining pixels.
  • each of the plurality of cameras performs autofocus is not limited to the above-described examples.
  • the UWB module 340 may obtain (e.g., calculate) the distance between the subject and the electronic device 301 (and the movement, direction of movement, and/or distance of movement of the subject relative to the electronic device 301). You can.
  • the UWB module 340 is capable of transmitting a large amount of information with a relatively low spectral power density over a wide frequency band compared to other wireless communication modules.
  • UWB may be defined as a wireless transmission technology that has an occupied bandwidth of more than 20% of the center frequency or that occupies an occupied bandwidth of more than 500 MHz.
  • the UWB module 340 may use a signal with a bandwidth of 500 MHz in the 3.1 to 10.6 GHz frequency band and a very short pulse width of several nano-seconds (ns).
  • the UWB module 340 uses a double-sided two-way ranging (DS-TWR) method to detect the subject with accuracy (or “reliability”) (e.g., distance error) in cm units (e.g., about 10 cm). and the distance between the electronic devices 301 can be obtained.
  • accuracy or “reliability”
  • UWB module 340 may be a UWB radar.
  • the UWB module 340 includes an antenna for transmitting a signal (e.g., micro wave) (hereinafter also referred to as a “transmission UWB antenna”) and an antenna for receiving a signal (hereinafter referred to as a “reception UWB antenna”).
  • a signal e.g., micro wave
  • reception UWB antenna an antenna for receiving a signal
  • It may be a UWB radar (also referred to as a “UWB radar sensor”) including a “UWB radar sensor”).
  • the UWB module 340 may be arranged in the electronic device 301 such that the angle of view of the UWB module 340 overlaps at least a portion of the angles of view of the plurality of cameras.
  • the arrangement of a plurality of cameras and the UWB module 340 will be described.
  • FIG. 4 is a diagram for explaining the arrangement of the camera module 330 and the UWB module 340 according to an embodiment.
  • a plurality of cameras and a UWB module 340 may be disposed on the rear of the electronic device 301.
  • the present invention is not limited to this, and at least one additional camera (and UWB module) may be placed on the front of the electronic device 301.
  • a first camera 331 wide-angle camera
  • a second camera 332 ultra-wide-angle camera
  • a third camera e.g., a wide-angle camera
  • Cameras 333 and 334 may be disposed.
  • camera 333 and camera 334 may be third cameras having a field of view of approximately 35 degrees and a field of view of approximately 10 degrees, respectively.
  • the electronic device 301 may not include any one of the camera 333 and the camera 334.
  • a first camera 331, a second camera 332, and a third camera e.g., camera 333 and camera
  • a UWB module 340 e.g., UWB radar
  • UWB antennas 341, 342, and 343 may be placed adjacent to the 334)
  • the UWB antennas 341, 342, and 343 include at least a portion of the angle of view of each of the UWB antennas 341, 342, and 343, the first camera 331, the second camera 332, and It may be arranged to overlap the view angles of the third camera (eg, camera 333 and camera 334).
  • the UWB antennas 341, 342, and 343 may include a UWB antenna for transmission and a UWB antenna for reception.
  • some antennas may be UWB antennas for transmission, and other antennas may be UWB antennas for reception.
  • three UWB antennas are shown, but the present invention is not limited thereto.
  • the UWB module 340 may include one UWB antenna for transmission and one UWB antenna for reception.
  • the UWB module 340 may include a plurality of UWB antennas for transmission and/or a plurality of UWB antennas for reception.
  • the UWB antennas 341, 342, and 343 are configured so that the angles of view of the UWB antennas 341, 342, and 343, respectively, are used by the camera module 330 (e.g., the second camera 332 (ultra-wide angle camera) )) is substantially the same as the field of view (e.g., about 120 degrees) (e.g., the field of view (FOV) of the UWB antennas 341, 342, and 343 is substantially the same as the FOV of the camera module 330) , can be implemented.
  • the angle of view of a prior art UWB antenna may be approximately 180 degrees (eg, omnidirectional).
  • the UWB antennas 341, 342, and 343 may be implemented such that each of the angles of view of the UWB antennas 341, 342, and 343 has approximately 80 degrees with respect to the X axis and approximately 100 degrees with respect to the Y axis. . In this case, each of the angles of view of the UWB antennas 341, 342, and 343 may be substantially the same as the angle of view of the second camera 332 (eg, about 120 degrees).
  • the UWB antennas e.g., UWB antennas
  • Each of the angles of view of the UWB antennas 341, 342, and 343 may be implemented so that each of the angles of view of the camera module 330 (e.g., the second camera 332) is substantially the same as the angle of view (e.g., about 120 degrees). there is.
  • the UWB module 340 uses a direct TOF (dTOF) method (hereinafter referred to as “direct TOF method”), an indirect TOF (iTOF) method (hereinafter referred to as “indirect TOF method”) "), or a method using the Doppler effect (hereinafter referred to as "a method using the Doppler effect”), to determine the distance between the electronic device 301 (or camera module 330) and the subject. It can be obtained.
  • direct TOF method direct TOF
  • iTOF method indirect TOF
  • Doppler effect hereinafter referred to as “a method using the Doppler effect”
  • the direct TOF method is the time at which a UWB signal including a pulse is received by a receiving UWB antenna after being transmitted (emitted) from a transmitting UWB antenna, and the speed of the UWB signal (e.g., the speed of light). ) may be a method of obtaining the distance between the subject and the electronic device 301 by dividing the value multiplied by 2.
  • the indirect TOF method obtains the distance between the subject and the electronic device 301 based on the difference between the phase of the UWB signal transmitted from the transmitting UWB antenna and the phase of the UWB signal received from the receiving UWB antenna. This may be the way to do it.
  • the UWB module 340 using the indirect TOF method includes a light emitting unit including a source that is periodically turned on/off and emits light (e.g., a UWB signal), and a time when the source is on (e.g.
  • a first receptor also referred to as “in phase receptor” that receives the UWB signal at the same time as the time when the UWB signal is transmitted and the time when the source is off (e.g., the time when the UWB signal is not transmitted) It may include a light receiving unit including a second receptor (also referred to as an “out phase receptor”) that receives the UWB signal at the same time.
  • the amount of light that the first receptor receives e.g., accumulated in the first receptor
  • the amount of light that the second receptor receives e.g., that accumulates in the second receptor
  • the phase of the transmitted UWB signal based on the amount of light received by the second receptor divided by the amount of light received by the second receptor and the sum of the amount of light received by the second receptor
  • the difference in phase of the received UWB signal (or the difference between the phase of the UWB signal received by the first receptor and the phase of the UWB signal received by the second receptor) may be calculated.
  • the distance between the subject and the electronic device 301 may be calculated.
  • a method using the Doppler effect is based on a change in the phase difference between the phase of the transmitted UWB signal and the received UWB signal.
  • This may be a method of obtaining the distance between the subject and the electronic device 301.
  • the difference between the phase of the transmitted UWB signal and the phase of the received UWB signal can be calculated in the time domain using the above-described indirect TOF method.
  • the UWB signal transmitted in the frequency domain is performed by performing Fourier transform on the difference between the phase of the transmitted UWB signal and the phase of the received UWB signal calculated in the time domain.
  • the difference between the phase and the phase of the received UWB signal can be calculated.
  • the distance between the subject and the electronic device 301 can be obtained based on a change in the difference between the phase of the transmitted UWB signal and the phase of the received UWB signal calculated in the frequency domain.
  • the method using the Doppler effect is not limited to this, and in addition to the distance between the subject and the electronic device 301, the relative movement between the electronic device 301 and the subject, the direction of the movement, and/or the subject and the electronic device 301 ) You can obtain the change in distance between
  • a coating area e.g., an infrared-transmitting coating hole
  • the UWB module 340 can be placed under the rear cover of the electronic device 301, allowing the electronic device 301 to have a more elegant design.
  • memory 350 may be memory 130 of Figure 1 and/or memory 250 of Figure 2.
  • the memory 350 may store information necessary to perform a camera control operation. The information stored by the memory 350 will be described in detail later.
  • processor 360 may be processor 120 of FIG. 1 .
  • the processor 360 may perform the overall operation of controlling the camera.
  • processor 360 may include one or more processors to perform an operation to control a camera. The camera control operation performed by the processor 360 will be described in detail below with reference to FIGS. 5 to 12.
  • the electronic device 301 is shown as including a display module 310, a sensor 320, a camera module 330, a UWB module 340, a memory 350, and a processor 360. , but is not limited to this.
  • the electronic device 301 may further include one or more of the components of the electronic device 101 shown in FIG. 1 .
  • the electronic device 301 includes a plurality of cameras, a UWB module 340 having a view angle that at least partially overlaps the view angles of the plurality of cameras, and the plurality of cameras and the UWB module ( It may include at least one processor 360 electrically connected to 340).
  • the at least one processor 360 may be configured to obtain the distance between the subject and the electronic device 301 using the UWB module 340.
  • the at least one processor 360 may be configured to select a camera for photographing the subject among the plurality of cameras based on the distance.
  • the at least one processor 360 may be configured to acquire an image of the subject using the selected camera.
  • the at least one processor 360 may be configured to perform auto focus of the selected camera based on the distance.
  • the plurality of cameras include a first camera with a first angle of view and a second camera with a second angle of view wider than the first angle of view
  • the at least one processor 360 is configured to determine the distance. checking whether is less than or equal to the specified first distance, and based on confirming that the distance is less than or equal to the specified first distance, selecting the second camera as a camera for photographing the subject, and selecting the second camera as a camera for photographing the subject, and determining whether the distance is less than or equal to the specified first distance. Based on confirmation that the distance exceeds 1, the first camera may be configured to be selected as a camera for photographing the subject.
  • the at least one processor 360 may check whether the distance falls within a designated first distance range while acquiring an image using the first camera.
  • the minimum boundary of the specified first distance range may be the specified first distance.
  • the at least one processor 360 may be configured to activate the second camera based on confirming that the distance falls within the first distance range.
  • the electronic device 301 further includes a third camera having a narrower angle of view than the first camera, and the at least one processor 360 determines that the distance is the specified first distance. checking whether a longer specified second distance is exceeded, and based on confirming that the distance exceeds the specified second distance, selecting the third camera as a camera for photographing the subject, and the distance It may be configured to select the first camera as a camera for photographing the subject, based on confirming that is greater than the designated first distance and less than or equal to the designated second distance.
  • the electronic device 301 further includes a sensor 320, and the at least one processor 360 detects movement of the electronic device 301 using the sensor 320. and detecting movement between the electronic device 301 and the subject based on a global motion vector (GMV) of images acquired using the first camera, and movement of the electronic device 301 and/or the Based on the movement between the electronic device 301 and the subject, it may be configured to obtain the distance between the subject and the electronic device 301 using the UWB module 340.
  • GMV global motion vector
  • the at least one processor 360 uses the UWB module 340 to provide information about an area within the field of view of the UWB module 340 that does not overlap with the field of view of the first camera. and, based on the obtained information, perform an operation related to switching from the first camera to the second camera.
  • the at least one processor 360 uses a method using the Doppler effect based on a change in the phase difference between the signal transmitted from the UWB module 340 and the signal received by the UWB module 340.
  • the electronic device 301 includes a camera that supports continuous optical zoom, and the at least one processor 360 determines a zoom factor corresponding to the distance, and may be configured to move the lens of the camera supporting optical continuous zoom to a position corresponding to the zoom magnification.
  • the UWB module 340 includes a plurality of antennas, and the plurality of antennas are such that the angle of view of each of the plurality of antennas at least partially overlaps the angles of view of the plurality of cameras. It may be placed in device 301.
  • FIG. 5 is a flowchart 500 illustrating a method for controlling a camera, according to one embodiment.
  • the processor 360 may obtain the distance between the subject and the electronic device 301 using the UWB module 340.
  • the processor 360 obtains the distance between the subject and the electronic device 301 by using the above-described direct TOF method, indirect TOF method, or a method using the Doppler effect through the UWB module 340. You can.
  • the processor 360 determines the distance between the subject and the electronic device 301 based on the autofocus (autofocus operation) of the camera module 330 (e.g., the currently activated (or currently selected) camera). can be obtained.
  • the processor 360 may perform autofocus through the camera module 330 (eg, a camera activated to acquire an image among a plurality of cameras).
  • a plurality of cameras included in the camera module 330 are implemented to perform an autofocus operation using any one of the above-described phase difference detection method, contrast method, 2PD method, and discrete PD method. It can be.
  • the camera module 330 may store focal lengths corresponding to distances between the subject and the camera, respectively.
  • the focal distances corresponding to each of the distances may be codes representing (or corresponding to) each of the focal distances (also referred to as “AF lens position codes”).
  • Each of the plurality of cameras included in the camera module 330 acquires (for each distance) focal lengths corresponding to distances (e.g., distances between the subject and the camera) through a calibration process during manufacturing (e.g. : Measurement) can be done.
  • the distances and focal lengths corresponding to each of the distances may be stored in the memory of each of the plurality of cameras (or a storage device of another electronic device).
  • the obtained distances and focal distances corresponding to each of the obtained distances are stored in the memory 350 (or memory 250) (or received from the other electronic device and stored in the memory 350), It may be transmitted to the processor 360.
  • the processor 360 may check the focal distance to the subject by performing autofocus of the camera module 330.
  • the processor 360 obtains the distance to the subject and the electronic device 301 by checking the distance corresponding to the focal distance to the identified subject among the distances and the focal distances corresponding to each of the distances. (e.g. estimation) can be made.
  • the processor 360 operates to obtain the distance between the subject and the electronic device 301 using the UWB module 340 and the camera module 330 (e.g., the currently activated (or currently selected) camera ) An operation of obtaining the distance between the subject and the electronic device 301 can be performed based on the autofocus.
  • the distance between the subject and the electronic device 301 obtained based on the autofocus of the camera module 330 is compared to the distance between the subject and the electronic device 301 obtained using the UWB module 340, It can be accurate.
  • the error in the distance between the subject and the electronic device 301 obtained based on the autofocus of the camera module 330 is smaller than the error in the distance between the subject and the electronic device 301 obtained using the UWB module 340. You can.
  • the operation of measuring the distance between the subject and the electronic device 301 based on the autofocus of the camera module 330 is performed in a low-light environment where it is difficult to discern the phase difference of light (or when the camera's shooting target is a monochromatic plane) ), it may be difficult to obtain the distance between the subject and the electronic device 301.
  • the operation of measuring the distance between the subject and the electronic device 301 based on the autofocus of the camera module 330 involves moving the position of the lens to search for the right focal length for the subject. Compared to the operation of obtaining the distance between the subject and the electronic device 301 using the UWB module 340, more time may be required.
  • the processor 360 determines the environment around the electronic device 301 (e.g., whether the environment around the electronic device 301 is a low-light environment) and the distance between the subject and the electronic device 301 in a shorter period of time. whether there is a need to acquire within a shorter time (e.g., if the amount of relative movement change between the electronic device 301 and the subject is large, the distance between the subject and the electronic device 301 needs to be acquired within a shorter time), and /or based on whether there is a need to more accurately obtain the distance between the subject and the electronic device 301, an operation and/or a camera that uses the UWB module 340 to obtain the distance between the subject and the electronic device 301 An operation may be performed to obtain the distance between the subject and the electronic device 301 based on the autofocus of the module 330 (e.g., a currently activated (or currently selected) camera).
  • the autofocus of the module 330 e.g., a currently activated (or currently selected) camera.
  • the processor 360 performs an operation to obtain the distance between the subject and the electronic device 301 using the UWB module 340, based on the movement between the electronic device 301 and the subject (e.g., An operation of acquiring the distance between the subject and the electronic device 301 may be started using the UWB module 340.
  • the processor 360 may detect movement of the electronic device 301 through the sensor 320 (eg, a motion sensor).
  • the processor 360 based on images acquired through the camera module 330, changes the object corresponding to the subject within the acquired images (e.g., changes in the size of the object and/or A global motion vector (GMV) (hereinafter also referred to as “GMV”) representing the degree of movement can be obtained.
  • GMV global motion vector
  • the processor 360 determines the relative movement between the electronic device 301 and the subject (e.g., whether the electronic device 301 and the subject are approaching each other and whether the electronic device 301 and the subject are moving away from each other). (and the relative distance change between the subject and the electronic device 301) can be detected.
  • the processor 360 uses the UWB module 340 to detect the relative movement between the subject and the electronic device 301. You can perform an operation to obtain distance.
  • the processor 360 may select a camera for acquiring an image from among a plurality of cameras included in the camera module 330 based on the distance between the subject and the electronic device 301. there is. For example, if the distance between the subject and the electronic device 301 is less than or equal to the first designated distance, the processor 360 may select a second camera (ultra-wide-angle camera) from among the plurality of cameras as the camera for acquiring the image. . When the distance between the subject and the electronic device 301 exceeds the designated first distance (hereinafter referred to as “designated first distance”) and is less than or equal to the designated second distance, the processor 360 selects a first camera among the plurality of cameras.
  • designated first distance hereinafter referred to as “designated first distance”
  • the processor 360 operates when the distance between the subject and the electronic device 301 exceeds the designated second distance (hereinafter referred to as the “designated second distance”) (hereinafter referred to as the “designated third distance”). , from among the plurality of cameras, a third camera (telephoto camera) can be selected as the camera for acquiring the image.
  • the designated second distance hereinafter referred to as the “designated second distance”
  • the designated third distance hereinafter referred to as the “designated third distance”.
  • the processor 360 may perform a camera switching function based on the distance between the subject and the electronic device 301. For example, the processor 360 may acquire an image using the first camera when the distance between the subject and the electronic device 301 exceeds the designated first distance and is less than or equal to the designated second distance. The processor 360 is configured to acquire an image from the first camera to the second camera when the subject and/or the electronic device 301 moves and the distance between the subject and the electronic device 301 becomes less than or equal to the specified first distance. You can switch cameras.
  • the processor 360 deactivates (e.g., turns off) the camera that acquired the image before the camera switch.
  • a camera to acquire an image e.g., a camera selected through operation 503 may be activated (e.g., turned on).
  • the processor 360 acquires an image from among a plurality of cameras included in the camera module 330 based only on the distance between the subject and the electronic device 301 obtained using the UWB module 340. You can select a camera to do this.
  • a camera for acquiring an image can be selected from among the plurality of cameras included in the camera module 330.
  • the processor 360 may acquire an image of the subject using the selected camera.
  • the processor 360 may obtain a preview image or capture image of the subject using the camera selected through operation 503.
  • the processor 360 may control the selected camera so that the selected camera performs autofocus.
  • the processor 360 may control the selected camera so that the selected camera performs autofocus.
  • the operation of performing autofocus is an operation of moving the position of the lens to search for a focus position suitable for the subject (e.g., capable of focusing the subject) (“AF lens position”) (also referred to as “scam”).
  • the processor 360 may perform autofocus of the selected camera based on the distance between the subject and the electronic device 301 obtained using the UWB module 340.
  • processor 360 may store distances (e.g., distances between object and camera) and focus positions corresponding to each of the distances (by distance), stored in memory 350 in association with the selected camera. Among them, the focus position corresponding to the distance between the subject and the electronic device 301 obtained using the UWB module 340 can be confirmed.
  • the processor 360 may perform autofocus of the selected camera by moving the position of the lens of the selected camera to a focus position corresponding to the confirmed focal distance.
  • the processor 360 may display the acquired image through the display module 310.
  • the camera for acquiring an image is switched (or determined) to the selected camera and the Although it is illustrated that an image is acquired using a selected camera, it is not limited thereto.
  • the processor 360 asks the user whether to switch the camera for acquiring an image to the selected camera. Information can be displayed. The processor 360 may switch the camera for acquiring an image to the selected camera based on a user input for switching the camera for acquiring an image to the selected camera.
  • the processor 360 provides an option to immediately switch the camera for acquiring an image to the selected camera when selecting a camera based on the distance between the subject and the electronic device 301 in operation 503, and In operation 503, when a camera is selected based on the distance between the subject and the electronic device 301, information is displayed to the user to inquire whether to switch the camera for acquiring an image to the selected camera, and an image is acquired based on the user input.
  • a menu including an option to set the camera to switch to the selected camera may be provided through the display module 310.
  • FIG. 6 is a flowchart 600 illustrating a method of switching cameras based on the distance between a subject and the electronic device 301, according to an embodiment.
  • FIG. 6 may be a diagram for explaining an operation of switching a camera for acquiring an image from a first camera to a second camera based on the distance between the subject and the electronic device 301.
  • the processor 360 uses a sensor 320 (e.g., a motion sensor) while acquiring an image through the first camera to detect the electronic device 301. ) movement can be detected.
  • a sensor 320 e.g., a motion sensor
  • the processor 360 determines whether the electronic device 301 and the subject are getting closer to each other and whether the electronic device 301 and the subject are moving away from each other, based on the obtained movement of the electronic device 301. You can check.
  • the processor 360 based on the images acquired through the camera module 330, changes the object corresponding to the subject within the acquired images (e.g., changes in the size of the object and/or GMV, which represents the degree of movement of an object, can be obtained. Based on the obtained GMV, the processor 360 determines the relative movement between the electronic device 301 and the subject (e.g., whether the electronic device 301 and the subject are approaching each other and whether the electronic device 301 and the subject are moving away from each other). (whether or not) can be detected.
  • changes the object corresponding to the subject within the acquired images e.g., changes in the size of the object and/or GMV, which represents the degree of movement of an object
  • GMV which represents the degree of movement of an object
  • the processor 360 determines the distance between the subject and the electronic device 301 using the UWB module 340. It can be obtained.
  • operation 603 is at least partially the same or similar to operation 501 of FIG. 5, a detailed description thereof will be omitted.
  • the processor 360 may check whether the distance between the subject and the electronic device 301 is less than or equal to a specified first distance.
  • the designated first distance is a distance that serves as a standard for selecting a camera for acquiring an image (or switching cameras) among a first camera (wide-angle camera) and a second camera (ultra-wide-angle camera) among a plurality of cameras. It can be.
  • the designated first distance selects the second camera as the camera for acquiring the image if the distance between the subject and the electronic device 301 is less than or equal to the designated first distance, and the distance between the subject and the electronic device 301 is specified. If it exceeds the first distance, it may be a distance designated to select the first camera as a camera for acquiring an image.
  • the first distance may be specified within a distance range of about 20cm to about 50cm, but is not limited thereto, and the first distance may provide improved image quality to the user or the design of an optical system related to the camera. Can be specified as a distance.
  • the operation of continuously obtaining the distance between the subject and the electronic device 301 using the UWB module 340 is performed, so that the subject And it is possible to continuously check whether the distance between the electronic devices 301 is less than or equal to the specified first distance.
  • the processor 360 selects a camera for acquiring an image from the first camera. You can switch to the second camera.
  • autofocus (AF) of the second camera may be performed.
  • the processor 360 may control the second camera to perform an operation of moving the positions of the lenses to find a focus position suitable for the subject (e.g., capable of focusing the subject). there is.
  • the processor 360 may perform autofocus of the second camera based on the distance between the subject and the electronic device 301 obtained using the UWB module 340.
  • processor 360 stores distances (e.g., distances between object and camera) and focus positions corresponding to each of the distances (by distance), stored in memory 350 in association with the second camera.
  • the focus position corresponding to the distance between the subject and the electronic device 301 obtained using the UWB module 340 can be confirmed.
  • the processor 360 may perform autofocus of the second camera by moving the position of the second camera to a position corresponding to the confirmed focus position.
  • the processor 360 may acquire an image of the subject using a second camera.
  • the operation of switching the camera for acquiring an image from the first camera to the second camera was described based on confirming that the distance between the subject and the electronic device 301 is less than or equal to the specified first distance.
  • the processor 360 may capture the image based on determining that the distance between the subject and the electronic device 301 exceeds a specified first distance.
  • An operation may be performed to switch the camera for acquisition from the second camera to the first camera.
  • the processor 360 while acquiring an image of the subject using the first camera, determines that the distance between the subject and the electronic device 301 exceeds a second specified distance that is longer than the first specified distance. Based on confirmation, an operation of switching the camera for acquiring an image from the first camera to the third camera may be performed.
  • the second distance may be specified in a distance range of about 100 cm to about 150 cm, but is not limited thereto, and the second distance may be used to design an optical system associated with a camera (e.g., a third camera) or to provide a more improved user experience. It can be specified as a distance that can provide image quality.
  • the processor 360 selects a camera for acquiring an image based on determining that the distance between the subject and the electronic device 301 exceeds a specified second distance that is longer than the specified first distance. By switching from the first camera to the third camera, the operation of switching the camera from the first camera to the third camera can be performed smoothly.
  • the processor 360 based on an operation to change the zoom factor (e.g., a zoom-in or zoom-out input set to change the zoom factor), Among them, the camera corresponding to the changed zoom magnification can be selected as the camera for acquiring the image.
  • the processor 360 may select a camera for acquiring an image based on a user input for selecting a camera for acquiring an image from among a plurality of cameras.
  • the processor 360 may not perform camera switching when an improved image cannot be obtained even with camera switching, such as in a window glass, white wall, and/or low-light environment.
  • operation 609 is illustrated as being performed prior to operation 611, but is not limited thereto.
  • operation 611 may be performed prior to operation 609, or operation 611 may be performed while operation 609 is performed.
  • the processor 360 when a user input for obtaining a captured image is received, the processor 360 performs autofocus of the second camera in operation 609 and then captures an image of the subject using the second camera in operation 611. can be obtained.
  • the processor 360 Autofocuses the second camera in operation 609 while performing the operation of acquiring an image of the subject using the second camera in operation 611. It can be done.
  • FIG. 7 is a flowchart 700 illustrating a method of switching cameras based on the distance between a subject and the electronic device 301, according to an embodiment.
  • FIG. 8 is a diagram 800 for explaining a method of switching cameras based on the distance between a subject and the electronic device 301, according to an embodiment.
  • processor 360 uses sensor 320 (e.g., a motion sensor) while acquiring an image through a first camera. Movement of the device 301 can be detected.
  • sensor 320 e.g., a motion sensor
  • operation 701 is at least partially the same or similar to operation 601 of FIG. 6, detailed description will be omitted.
  • the processor 360 may obtain the distance between the subject and the electronic device 301 using the UWB module 340.
  • operation 703 is at least partially the same or similar to operation 501 of FIG. 5 or operation 603 of FIG. 6, a detailed description thereof will be omitted.
  • the processor 360 may check whether the distance between the subject and the electronic device 301 falls within a specified first distance range.
  • the first distance range may be a distance specified for determining whether to activate (e.g., turn on) the second camera.
  • the minimum boundary of the first distance range may be specified to be equal to the specified first distance.
  • the first distance that is a standard for selecting a camera for acquiring an image (or switching cameras) among the first camera (wide-angle camera) and the second camera (ultra-wide-angle camera) is the electronic device 301 ) (e.g., the position indicated by the line 831) and the position indicated by the line 832, which may be d1 (e.g., about 30 cm).
  • the first distance range exceeds d1 and d2 (e.g., the distance between the position of electronic device 301 and the position represented by line 833 in Figure 8) (e.g., about 40 cm).
  • the distance range may be less than or equal to .
  • the maximum boundary of the first distance range (e.g., d2) is such that the camera quickly switches from the first camera to the second camera when the distance between the subject and the electronic device 301 becomes less than or equal to the specified first distance.
  • it may be a designated distance to activate (eg, prepare in advance) the second camera in advance before the camera is switched from the first camera to the second camera.
  • the maximum boundary of the first distance range may be set differently (e.g., adjusted) based on the accuracy (e.g., distance error) with which the UWB module 340 obtains the distance.
  • the accuracy with which the UWB module 340 obtains the distance may be measured through a calibration process when the UWB module 340 is manufactured. The measured accuracy may be stored in the memory of the UWB module 340 (or the memory of another electronic device) and transmitted to the processor 360. If the UWB module 340 has a higher accuracy in obtaining the distance (e.g., the distance error is small), the processor 360 sets the maximum boundary of the first distance range to a shorter distance (e.g., a distance shorter than d2). ) can be set.
  • the processor 360 sets the maximum boundary of the first distance range to a longer distance (e.g., a distance longer than d2). ) can be set.
  • the processor 360 adjusts the distance between the subject 810 and the electronic device 301 to d2 or less (e.g., as the subject 810 moves in the direction indicated by the arrow 820). If it exceeds d1 and is less than d2, it can be confirmed that the distance between the subject 810 and the electronic device 301 falls within the designated first distance range.
  • the processor 360 continuously performs an operation of obtaining the distance between the subject and the electronic device 301 using the UWB module 340, so that the distance between the subject and the electronic device 301 is a specified first distance. You can continuously check whether it falls within the range.
  • the processor 360 may activate (eg, turn on) the second camera.
  • images can be acquired more quickly through the second camera after the camera switching.
  • the processor 360 may check whether the distance between the subject and the electronic device 301 is less than or equal to a specified first distance.
  • operation 709 is at least partially the same or similar to operation 605 of FIG. 6, a detailed description thereof will be omitted.
  • processor 360 may switch the camera for acquiring the image from the first camera to the second camera.
  • operation 711 is at least partially the same or similar to operation 607 of FIG. 6, a detailed description thereof will be omitted.
  • autofocus (AF) of the second camera may be performed.
  • operation 713 is at least partially the same or similar to operation 609 of FIG. 6, overlapping description will be omitted.
  • the operation of performing autofocus of the second camera in operation 713 is performed after the operation of switching the camera for acquiring the image in operation 711 from the first camera to the second camera is performed.
  • the processor 360 may immediately after performing the operation of activating the second camera in operation 707 (e.g., before switching the camera for acquiring the image in operation 711 from the first camera to the second camera), An operation of performing autofocus of the second camera may be performed.
  • the processor 360 may acquire an image of the subject using a second camera.
  • operation 715 is at least partially the same or similar to operation 611 of FIG. 6, a detailed description thereof will be omitted.
  • FIG. 9 is a flowchart 900 illustrating a method for controlling a camera, according to one embodiment.
  • the processor 360 while acquiring an image using the first camera, the processor 360 provides information about an area outside the field of view of the first camera through the UWB module 340. Information can be obtained.
  • the UWB module 340 may be implemented such that the angle of view of the UWB module 340 is wider than the angle of view of the first camera (wide-angle camera).
  • the angles of view of each of the UWB antennas may be implemented to be substantially the same as the angle of view (eg, about 120 degrees) of the second camera (ultra-wide-angle camera). In this case, the angle of view of the UWB module 340 may be wider than the angle of view of the first camera.
  • the angle of view of the UWB module 340 and the angle of view of the first camera may have an area (or range) that does not overlap with each other.
  • the UWB module 340 may acquire information about an area outside the field of view of the first camera (e.g., a field of view range that does not overlap with the field of view of the first camera within the field of view of the UWB module 340). You can. For example, the UWB module 340 detects a person or animal (or movement of a person or animal) in an area outside the field of view of the first camera, thereby providing information about the person or animal (or information about the movement of the person or animal). information) can be obtained.
  • a field of view range that does not overlap with the field of view of the first camera within the field of view of the UWB module 340.
  • processor 360 performs an operation related to camera switching to a second camera based on information about an area outside the field of view of the first camera obtained through UWB module 340. It can be done.
  • the processor 360 when a person or animal is detected in an area outside the field of view of the first camera acquired through the UWB module 340, obtains an image for the detected person or animal.
  • Information recommending switching the camera from the first camera to the second camera can be displayed through the display module 310.
  • the processor 360 may display, through the display module 310, information asking the user whether to switch the camera from the first camera to the second camera.
  • the processor 360 may switch the camera for acquiring an image from the first camera to the second camera when a user input for switching the camera from the first camera to the second camera is input.
  • the processor 360 selects a camera for acquiring an image from the first camera in response to a person or animal being detected in an area outside the field of view of the first camera obtained through the UWB module 340. 2 You can switch to the camera.
  • the processor 360 may acquire an image through the second camera based on information about the area outside the field of view of the first camera through the UWB module 340. there is. For example, while acquiring an image through the first camera, the processor 360 detects a person or animal in an area outside the field of view of the first camera obtained through the UWB module 340, and can be activated. The processor 360 may acquire an image through the first camera and simultaneously acquire an image through the activated second camera. The processor 360 may store the image acquired through the first camera and the image acquired through the second camera in the memory 350.
  • the processor 360 obtains information about an area outside the field of view of the third camera (or the field of view of the second camera) through the UWB module 340, and performs camera switching related information based on the obtained information.
  • the action can be performed.
  • the processor 360 obtains information about an area outside the field of view of the third camera through the UWB module 340, and acquires an image using the third camera based on the obtained information.
  • an image may be acquired using a first camera and/or a second camera.
  • FIG. 10 is a flowchart 1000 illustrating a method of performing autofocus of a camera using a method using the Doppler effect, according to an embodiment.
  • the processor 360 may detect relative movement between the electronic device 301 and the subject using the UWB module 340.
  • the processor 360 may detect relative movement between the electronic device 301 and the subject using a method using the Doppler effect of the UWB module 340.
  • a method using the Doppler effect of the UWB module 340 is based on a change in the difference between the phase of the transmitted UWB signal and the phase of the received UWB signal, and the subject and the electronic device 301 ) may be a method of obtaining the distance between them.
  • the processor 360 may calculate the difference between the phase of the transmitted UWB signal and the phase of the received UWB signal in the time domain through the above-described indirect TOF method.
  • the processor 360 performs Fourier transform on the difference between the phase of the transmitted UWB signal calculated in the time domain and the phase of the received UWB signal, thereby determining the phase of the transmitted UWB signal in the frequency domain.
  • the processor 360 may calculate the relative movement between the electronic device 301 and the subject based on a change in the difference between the phase of the transmitted UWB signal and the phase of the received UWB signal calculated in the frequency domain.
  • the processor 360 uses a method using the Doppler effect of the UWB module 340 to determine whether relative movement between the electronic device 301 and the subject is detected and the distance between the subject and the electronic device 301.
  • the direction in which the changes, the amount of change in the distance between the subject and the electronic device 301, and/or the distance between the subject and the electronic device 301 can be obtained.
  • the processor 360 may detect movement of the electronic device 301 using the sensor 320 (eg, a motion sensor).
  • the sensor 320 eg, a motion sensor
  • the processor 360 controls the direction in which the distance between the subject and the electronic device 301 changes (e.g., the direction in which the distance between the subject and the electronic device 301 changes) based on the acquired movement of the electronic device 301. It is possible to detect whether the electronic device 301 is getting closer and whether the electronic device 301 and the subject are moving away from each other.
  • the processor 360 based on the images acquired through the camera module 330, changes the object corresponding to the subject within the acquired images (e.g., changes in the size of the object and/or GMV, which represents the degree of movement of an object, can be obtained.
  • the processor 360 based on the obtained GMV, determines relative movement between the electronic device 301 and the subject (e.g., a change in the distance between the subject and the electronic device 301 and/or a change in the distance between the subject and the electronic device 301).
  • the direction e.g., whether the distance between the subject and the electronic device 310 decreases or increases
  • the processor 360 may perform autofocus (AF) of the camera module 330 based on movement between the electronic device 301 and the subject.
  • AF autofocus
  • the processor 360 moves the positions of the lenses to find a focus position suitable for the subject (e.g., capable of focusing the subject) to perform autofocus of the camera currently set to acquire the image.
  • the action can be performed.
  • the processor 360 controls the lens to find a focus position suitable for the subject based on a change in the distance (e.g., the direction in which the distance changes) between the subject and the electronic device 301 detected through operation 1001.
  • the direction of movement e.g., the direction in which the lens will move for autofocus
  • the processor 360 rotates the lens in a direction corresponding to the direction in which the distance between the subject and the electronic device 301 detected through operation 1001 changes. You can decide to move it.
  • the processor 360 can quickly perform autofocus by moving the lens based on the determined moving direction of the lens.
  • FIG. 11 is a flowchart 1100 illustrating a method of performing autofocus of a camera using a method using the Doppler effect, according to an embodiment.
  • processor 360 performs the process of acquiring an image using an auto-focused camera, e.g., an image for a subject that is in focus (e.g., at the focus position). (while acquiring), the relative movement between the electronic device 301 and the subject can be detected using the UWB module 340. For example, the processor 360 may check whether there is relative movement between the electronic device 301 and the subject using a method using the Doppler effect of the UWB module 340. However, it is not limited to this. For example, the processor 360 may use the sensor 320 (eg, a motion sensor) to check whether there is relative movement between the electronic device 301 and the subject. For example, the processor 360 determines whether there is relative movement between the electronic device 301 and the subject based on the GMV indicating a change in an object corresponding to the subject in the images acquired through the camera module 330. You can check.
  • the sensor 320 e.g, a motion sensor
  • the processor 360 may check the direction of movement of the subject. For example, the processor 360 may determine the direction in which the distance between the subject and the electronic device 301 changes (e.g., whether the electronic device 301 and the subject are getting closer to each other and whether the electronic device 301 and the subject are moving away from each other). (whether or not) can be checked.
  • the processor 360 may check the direction in which the distance between the subject and the electronic device 301 changes by using a method using the Doppler effect of the UWB module 340.
  • the processor 360 may use the sensor 320 (eg, a motion sensor) to check the direction in which the distance between the subject and the electronic device 301 changes.
  • the sensor 320 eg, a motion sensor
  • the processor 360 changes the distance between the subject and the electronic device 301 based on the GMV indicating a change in the object corresponding to the subject within the images acquired through the camera module 330. You can check the direction.
  • the processor 360 determines the direction in which the distance between the subject and the electronic device 301 changes by combining two or more of the method using the Doppler effect described above, the sensor 320, and the GMV. You can.
  • the processor 360 may obtain the distance between the subject and the electronic device 301 using the UWB module 340.
  • the processor 360 may obtain the amount of change in the distance between the subject and the electronic device 301 using a method using the Doppler effect of the UWB module 340.
  • the processor 360 determines the distance between the subject and the electronic device 301 before the distance between the subject and the electronic device 301 changes (e.g., the distance between the subject and the electronic device 301 obtained before performing operation 1101). And based on the obtained change in the distance between the subject and the electronic device 301, the current distance between the subject and the electronic device 301 can be confirmed.
  • the processor 360 may perform autofocus based on the focal distance corresponding to the current distance between the subject and the electronic device 301.
  • the distance between the subject and the electronic device 301 is obtained using a method using the Doppler effect of the UWB module 340.
  • the obtained distance between the objects and the electronic device 301 obtained using the direct TOF method of the UWB module 340 and the UWB module 340 Compared to the distance between the subject and the electronic device 301 obtained using the indirect TOF method, it can be accurate.
  • the processor 360 collects the subject and electronic device ( 301), autofocus is performed based on the obtained distance between the subject and the electronic device 301, so that the subject can be focused more accurately.
  • the processor 360 may perform various functions of the electronic device 301 based on the movement of the subject obtained using the Doppler effect of the UWB module 340.
  • the processor 360 uses a method using the Doppler effect of the UWB module 340 to monitor the user's (e.g., when the subject is a user) movement (e.g., eye movement, eye blinking, head movement) , a change in the expression of a person's face, and/or a user's hand gesture), the function of the electronic device 301 can be set.
  • the processor 360 uses a method using the Doppler effect of the UWB module 340 to perform functions corresponding to each of the functions of the electronic device 301 (e.g., each of the functions of the electronic device 301). You can set user patterns (patterns to perform).
  • the processor 360 may use a method using the Doppler effect of the UWB module 340 to perform a function of capturing an image when movement of the user's head is detected.
  • the processor 360 uses a method using the Doppler effect of the UWB module 340 to perform a zoom-in operation when a gesture of the user's left hand drawing a circle is detected, and the user's right hand draws a circle. When a drawing gesture is detected, a zoom-out operation can be performed.
  • the method of setting user patterns corresponding to each function of the electronic device 301 using a method using the Doppler effect of the UWB module 340 is not limited to the above-described examples.
  • FIG. 12 is a flowchart 1200 illustrating a method of performing optical zoom based on the distance between the subject and the electronic device 301, according to an embodiment.
  • Figure 12 shows that when the third camera (e.g., at least one third camera) is a camera that supports continuous optical zoom (also referred to as "optical zoom"), the processor This may be a diagram to explain the operations performed by 360.
  • the third camera e.g., at least one third camera
  • optical zoom also referred to as "optical zoom”
  • the processor 360 may obtain the distance between the subject and the electronic device 301 using the UWB module 340.
  • operation 1201 is at least partially the same or similar to operation 501 of FIG. 5, a detailed description thereof will be omitted.
  • the processor 360 may check the zoom factor corresponding to the distance between the subject and the electronic device 301.
  • distances between the subject and the electronic device 301 and zoom magnifications corresponding to the distances between the subject and the electronic device 301 may be stored in the memory 350 .
  • the processor 360 may check the zoom factor corresponding to the distance between the subject and the electronic device 301 obtained in operation 1201, based on the information stored in the memory 350.
  • processor 360 may move the lens to a position corresponding to the identified zoom factor.
  • the zoom factors and the positions of the lenses corresponding to each of the zoom factors are stored in the memory 350. It can be saved.
  • the third camera if the third camera is a camera that supports optical zoom, the third camera performs optical zoom in a specified zoom scale range (e.g., a zoom scale range from zoom factor 2x (or zoom factor 3x) to zoom factor 10x). can be performed.
  • a specified zoom scale range e.g., a zoom scale range from zoom factor 2x (or zoom factor 3x) to zoom factor 10x.
  • the processor 360 if the confirmed zoom factor (e.g., the zoom factor identified in operation 1203) falls within a specified zoom factor range, the zoom factors and the zoom factors stored in the memory 350, respectively. Based on the positions of the lens corresponding to , the position of the lens corresponding to the confirmed zoom magnification can be confirmed. The processor 360 may move the lens to the identified lens position.
  • the confirmed zoom factor e.g., the zoom factor identified in operation 1203
  • the processor 360 may move the lens to the identified lens position.
  • the processor 360 may perform autofocus on the third camera after the lens of the third camera is moved to a position corresponding to the confirmed zoom magnification. For example, after the lens of the third camera is moved to a position corresponding to the confirmed zoom magnification, the processor 360 performs an operation of moving the position of the lens to find the focus position suitable for the subject, thereby performing autofocus. It can be done.
  • the processor 360 moves the lens of the third camera to a position corresponding to the zoom magnification based on the distance between the subject and the electronic device 301 obtained using the UWB module 340.
  • optical zoom which takes more time to move the lens to perform optical zoom, can be performed more quickly.
  • a method of controlling a camera in an electronic device 301 includes using a UWB module 340 having a field of view that at least partially overlaps the field of view of a plurality of cameras of the electronic device 301, and obtaining the distance between the electronic devices 301.
  • the method may include selecting a camera for photographing the subject among the plurality of cameras based on the distance.
  • the method may include acquiring an image of the subject using the selected camera.
  • the operation of acquiring an image of the subject using the selected camera may include performing autofocus of the selected camera based on the distance.
  • the plurality of cameras may include a first camera with a first angle of view and a second camera with a second angle of view that is wider than the first angle of view.
  • the operation of selecting a camera for photographing the subject includes determining whether the distance is less than or equal to a specified first distance, based on confirming that the distance is less than or equal to the specified first distance, 2
  • the method includes, while acquiring an image using the first camera, determining whether the distance falls within a specified first distance range and determining that the distance falls within the first distance range. Based on confirmation, the operation may include activating the second camera. In one embodiment, the minimum boundary of the specified first distance range may be the specified first distance.
  • the operation of selecting a camera for photographing the subject includes determining whether the distance exceeds a specified second distance that is longer than the specified first distance, and the distance exceeds the specified second distance.
  • An operation of selecting a third camera having a narrower angle of view than that of the first camera as a camera for photographing the subject, based on confirmation that the distance exceeds the specified first distance, and the specified third camera Based on confirmation that the distance is less than or equal to 2, the method may include selecting the first camera as a camera for photographing the subject.
  • the operation of obtaining the distance between the subject and the electronic device 301 includes detecting movement of the electronic device 301 using the sensor 320 of the electronic device 301, An operation of detecting movement between the electronic device 301 and a subject based on the GMV of images acquired using the first camera, and movement of the electronic device 301 and/or the electronic device 301 and Based on movement between subjects, the operation may include obtaining the distance between the subject and the electronic device 301 using the UWB module 340.
  • the method includes an operation of using the UWB module 340 to acquire information about an area that does not overlap with the field of view of the first camera within the field of view of the UWB module 340, and the acquisition. Based on the received information, the method may further include performing an operation related to switching from the first camera to the second camera.
  • the method uses a method using the Doppler effect based on a change in the phase difference between the signal transmitted from the UWB module 340 and the signal received by the UWB module 340, and the subject and The method may further include detecting a change in the distance between the electronic devices 301 and autofocusing the selected camera based on the change in the distance between the subject and the electronic device 301.
  • the method may further include checking a zoom magnification corresponding to the distance and moving a lens of a camera supporting optical continuous zoom to a position corresponding to the zoom magnification.
  • the plurality of antennas of the UWB module 340 may be arranged in the electronic device 301 such that the angle of view of each of the plurality of antennas at least partially overlaps the angle of view of the plurality of cameras. there is.
  • the computer-readable recording media includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical read media (eg, CD-ROM, DVD, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

일 실시예에 따른 전자 장치는, 복수의 카메라들, 상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈, 및 상기 복수의 카메라들 및 상기 UWB 모듈과 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 UWB 모듈을 이용하여, 피사체 및 상기 전자 장치 간 거리를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하도록 구성될 수 있다.

Description

카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치
본 개시는 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치에 관한 것이다.
전자 장치(예: 스마트폰)는 복수의 카메라들을 포함할 수 있다. 예를 들어, 전자 장치는, 전자 장치의 전면에 배치되는 적어도 하나의 카메라 이외에, 전자 장치의 후면에 배치되는 복수의 카메라들을 포함할 수 있다.
전자 장치는, 피사체 및 전자 장치 간 거리에 기반하여, 복수의 카메라들(예: 전자 장치의 후면에 배치되는 복수의 카메라들) 중에서, 이미지를 획득하기 위한 카메라를 선택할 수 있다. 예를 들어, 전자 장치는, 복수의 카메라들 중에서, 피사체 및 전자 장치 간 거리가 멀수록 초점 거리가 긴 카메라를 이미지를 획득하기 위한 카메라로 선택할 수 있다.
전자 장치는, 피사체 및 전자 장치 간 거리가 짧아지거나 길어지는 경우, 이미지를 획득하기 위한 카메라를 전환할 수 있다. 예를 들어, 전자 장치가 전자 장치 및 피사체 간 제 1 거리에서 카메라 1을 통하여 피사체에 대한 이미지를 획득하는 동안, 전자 장치 및/또는 피사체가 이동함으로써 피사체 및 전자 장치 간 거리는 제 1 거리 보다 짧은 제 2 거리가 될 수 있다. 전자 장치는, 피사체 및 전자 장치 간 거리가 제 1 거리로부터 제 2 거리로 변경되는 경우, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환(예: 변경)할 수 있다. 이하, 피사체 및 전자 장치 간 거리에 기반하여 이미지를 획득하기 위한 카메라를 전환하는 기능을 "카메라 전환 기능"으로 지칭하기로 한다.
전자 장치가 카메라 전환 기능을 정확하게(또는 자연스럽게) 수행하기 위하여, 전자 장치 및 피사체 간 보다 정확한 거리를 측정할 필요가 있다.
전자 장치는, structured light 방식(구조 광 방식), TOF(time of flight) 방식(예: 일정 파장을 가진 광(예: 적외선)을 이용한 direct TOF(dTOF) 또는 indirect TOF(iTOF)), 또는 stereo camera 방식을 이용하는 외부 센서를 통하여, 피사체 및 전자 장치 간 거리를 측정할 수 있다. 하지만, 적외선을 이용하는 상기 방식들은, 적외선 성분을 포함하는 태양광이 있는 실외 환경에서, 전자 장치 및 피사체 간 측정 가능한 거리에 한계가 있을 수 있다. 예를 들어, 적외선을 이용한 TOF 방식의 경우, 실내 환경에서 제한된 거리 범위에 있는 피사체 및 전자 장치 간 거리가 측정 가능하고, 실외 환경은 실내 환경에 비하여 노이즈(noise)를 많이 포함하므로 실외 환경에서 보다 가까운 거리를 포함하는 거리 범위에 있는 피사체 및 전자 장치 간 거리가 측정 가능할 수 있다. 또한, 적외선을 이용하는 상기 방식들은, 피사체 및 전자 장치 간 거리 측정 가능한 거리를 늘리기 위하여, 보다 강한 신호를 방출하는 경우 보다 많은 전력이 소모될 수 있다, 또한, 전자 장치가 적외선을 이용하는 상기 방식들을 이용하는 경우, 전자 장치는, 전자 장치로부터 방출된 적외선을 투과하기 위한 코팅 영역(예: 적외선 투과 코팅 홀(hole))을 필요로 할 수 있다.
본 개시의 일 실시예는, 초광대역(ultra-wideband; UWB) 통신 신호를 이용하여 피사체 및 전자 장치 간 거리를 정확하게 측정함으로써, 카메라 전환 기능을 보다 정확하게 수행할 수 있는, 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치에 관한 것이다.
본 개시가 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 문서와 관련된 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 전자 장치는, 복수의 카메라들, 상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈, 및 상기 복수의 카메라들 및 상기 UWB 모듈과 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 UWB 모듈을 이용하여, 피사체 및 상기 전자 장치 간 거리를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하도록 구성될 수 있다.
일 실시예에서, 전자 장치에서 카메라를 제어하는 방법은, 상기 전자 장치의 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈을 이용하여, 피사체 및 상기 전자 장치 간 거리를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하는 동작을 포함할 수 있다. 상기 방법은, 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하는 동작을 포함할 수 있다.
일 실시예에서, 컴퓨터 실행 가능 명령어들을 기록한 비-일시적인 컴퓨터 판독 가능 매체에 있어서, 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 전자 장치의 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈을 이용하여, 피사체 및 상기 전자 장치 간 거리를 획득하도록 할 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가 상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하도록 할 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하도록 할 수 있다.
도 1은, 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 일 실시예에 따른, 카메라 모듈을 예시하는 블록도이다.
도 3은, 일 실시예에 따른, 전자 장치의 블록도이다.
도 4는, 일 실시예에 따른, 카메라 모듈 및 UWB 모듈의 배치를 설명하기 위한 도면이다.
도 5는, 일 실시예에 따른, 카메라를 제어하기 위한 방법을 설명하는 흐름도이다.
도 6은, 일 실시예에 따른, 피사체 및 전자 장치 간 거리에 기반하여 카메라를 전환하는 방법을 설명하는 흐름도이다.
도 7은, 일 실시예에 따른, 피사체 및 전자 장치 간 거리에 기반하여 카메라를 전환하는 방법을 설명하는 흐름도이다.
도 8은, 일 실시예에 따른, 피사체 및 전자 장치 간 거리에 기반하여 카메라를 전환하는 방법을 설명하기 위한 도면이다.
도 9는, 일 실시예에 따른, 카메라를 제어하기 위한 방법을 설명하는 흐름도이다.
도 10은, 일 실시예에 따른, 도플러 효과를 이용한 방식을 이용하여, 카메라의 오토 포커스를 수행하는 방법을 설명하는 흐름도이다.
도 11은, 일 실시예에 따른, 도플러 효과를 이용한 방식을 이용하여, 카메라의 오토 포커스를 수행하는 방법을 설명하는 흐름도이다.
도 12는, 일 실시예에 따른, 피사체 및 전자 장치 간 거리에 기반하여, 광학 줌을 수행하는 방법을 설명하는 흐름도이다.
도 1은, 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 일 실시예에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 일 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 일 실시예에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 일 실시예는 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 일 실시예에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시예에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 일 실시예에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시예에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 일 실시예에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다.
도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 일 실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일 실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다. 이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(160)를 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
도 3은, 일 실시예에 따른, 전자 장치(301)의 블록도이다.
도 3을 참조하면, 일 실시예에서, 전자 장치(301)는, 디스플레이 모듈(310), 센서(320), 카메라 모듈(330), UWB 모듈(340), 메모리(350), 및/또는 프로세서(360)를 포함할 수 있다.
일 실시예에서, 디스플레이 모듈(310)은 도 1의 디스플레이 모듈(160)일 수 있다.
일 실시예에서, 디스플레이 모듈(310)은 카메라 모듈(330)을 통하여 획득된 이미지를 표시할 수 있다. 예를 들어, 디스플레이 모듈(310)은, 카메라 모듈(330)을 통하여 획득된, 프리뷰(preview) 이미지 및/또는 프리뷰 이미지가 표시되는 동안 캡쳐(capture) 입력에 의해 획득된 이미지(예: 정지 이미지 및/또는 동적 이미지)를 표시할 수 있다.
일 실시예에서, 센서(320)는 도 1의 센서 모듈(176)일 수 있다.
일 실시예에서, 센서(320)는 전자 장치(301)의 움직임을 검출할 수 있다. 예를 들어, 센서는, 전자 장치(301)의 움직임을 검출할 수 있는 모션(motion) 센서(예: 가속도 센서(acceleration sensor) 및/또는 자이로 센서(gyro sensor))를 포함할 수 있다.
일 실시예에서, 카메라 모듈(330)은 도 1 및 도 2의 카메라 모듈(180)일 수 있다.
일 실시예에서, 카메라 모듈(330)은 서로 다른 화각(field of view)들을 가진 복수의 카메라들(이하, "복수의 카메라들"로 지칭함)을 포함할 수 있다. 예를 들어, 카메라 모듈(330)은, 약 80도의 화각을 가지는 광각(wide) 카메라(이하, "제 1 카메라"로 지칭함), 약 100도 내지 약 120도 범위의 화각을 가지는 초광각(ultra vide) 카메라(이하, "제 2 카메라"로 지칭함), 및 약 10도 내지 약 40도의 범위의 화각을 가지는 망원 카메라(이하, "제 3 카메라"로 지칭함)을 포함할 수 있다. 일 실시예에서, 제 1 카메라의 렌즈, 제 2 카메라의 렌즈, 및 제 3 카메라의 렌즈의 초점 거리들은 다를 수 있다. 예를 들어, 풀 프레임(full frame) 센서(또는 35mm 필름 카메라)를 기준으로, 제 1 카메라의 렌즈의 초점 거리는 약 15mm 내지 약 35mm, 제 2 카메라의 렌즈의 초점 거리는 약 7mm 내지 약 15mm, 제 3 카메라의 렌즈의 초점 거리는 약 70mm 내지 약 250mm일 수 있다. 다만, 전술한 복수의 카메라들의 화각들 및 초점 거리들은 예시일 수 있다.
일 실시예에서, 제 3 카메라는, 광학 연속 줌(continuous optical zoom)("광학 줌"으로도 지칭됨)을 지원하는 카메라일 수 있다. 예를 들어, 제 3 카메라는, 렌즈(예: 렌즈 어셈블리(210))를 이동시킴으로써 변경 가능한 화각을 가지는 카메라일 수 있다. 다만, 이에 제한되지 않는다. 예를 들어, 제 3 카메라는, 고정된 화각을 가진 카메라(예: 줌 배율 변경에 따라 디지털 줌(digital zoom)만을 지원하는 카메라)일 수 있다.
일 실시예에서, 복수의 카메라들 중 적어도 하나의 카메라는, 피사체 및 전자 장치(301) 간 거리에 의해, 이미지를 획득하기 위한 카메라로서 선택될 수 있다. 예를 들어, 피사체 및 전자 장치(301) 간 거리가 제 1 거리인 경우 제 1 카메라가 이미지를 획득하기 위한 카메라로서 선택될 수 있다.
일 실시예에서, 피사체 및 전자 장치(301) 간 거리에 따라, 이미지를 획득하기 위한 카메라가 변경(또는 전환)될 수 있다. 예를 들어, 제 1 카메라를 통하여 이미지가 획득되는 동안, 전자 장치(301) 및/또는 피사체가 이동함으로써 피사체 및 전자 장치(301) 간 거리가 제 1 거리로부터 제 1 거리 보다 짧은 제 2 거리로 변경되는 경우, 이미지를 획득하기 위한 카메라가 제 1 카메라로부터 제 2 카메라로 전환(예: 변경)될 수 있다. 이하, 피사체 및 전자 장치(301) 간 거리에 기반하여 이미지를 획득하기 위한 카메라를 전환하는 기능을 "카메라 전환 기능"으로 지칭하기로 한다.
일 실시예에서, 복수의 카메라들 각각은, 프로세서(360)의 제어에 의해, 오토 포커스(auto focus; AF)를 수행할 수 있다. 예를 들어, 복수의 카메라들 각각은, 위상차 검출 방식(phase detection auto focus), 콘트라스트 방식(contrast detection auto focus), 2PD(dual pixel diode) 방식, 또는 이산형 PD 방식을 이용하여, 오토 포커스를 수행할 수 있다.
위상차 검출 방식은, 이미지 센서와 독립된 센서(예: 위상차 센서(phase sensor))가 수신하는 광의 위상 차이를 검출함으로써, 오토 포커스를 수행하는 방식일 수 있다.
콘트라스트 방식은, 렌즈가 이동(예: 왕복 이동)되는 동안 획득된 이미지의 콘트라스트에 기반하여 오토 포커스를 수행하는 방식일 수 있다.
2PD 방식(예: 듀얼 픽셀 CMOS AF 방식)은, 듀얼 픽셀들을 포함하는 센서의 실질적으로 전체 픽셀들(또는 전체 픽셀들의 약 80% 이상의 픽셀들)을 이용하여, 오토 포커스를 수행하고 이미지 데이터를 획득하는 방식일 수 있다.
이산형 PD 방식(예: 촬상면 위상차 AF 방식)은, 듀얼 픽셀들을 포함하는 센서에서 전체 픽셀들 중 일부 픽셀들(예: 전체 픽셀들 중 약 5% 이하의 픽셀들)을 이용하여 오토 포커스를 수행하고 나머지 픽셀들을 이용하여 이미지 데이터를 획득하는 방식일 수 있다.
다만, 복수의 카메라들 각각이 오토 포커스를 수행하는 방식은 전술한 예시들에 제한되지 않는다.
일 실시예에서, UWB 모듈(340)은 피사체 및 전자 장치(301) 간 거리(예: 산출)(및 전자 장치(301)에 상대적인 피사체의 움직임, 이동 방향, 및/또는 이동 거리)를 획득할 수 있다.
일 실시예에서, UWB 모듈(340)은, 다른 무선 통신 모듈에 비하여, 넓은 주파수 대역에 걸쳐 상대적으로 낮은 스펙트럼 전력 밀도로 대용량의 정보를 전송할 수 있다.
일 실시예에서, UWB는 중심 주파수의 20% 이상의 점유 대역폭을 가지거나 500MHz 이상 점유 대역폭을 차지하는 무선 전송 기술로 정의될 수 있다.
일 실시예에서, UWB 모듈(340)은 3.1~10.6GHz 주파수 대역에서 500MHz의 대역폭과, 수 ns(nano-second)의 매우 짧은 펄스폭(pulse width)의 신호를 사용할 수 있다. UWB 모듈(340)은 DS-TWR(double-sided two-way ranging) 방식을 사용함으로써, cm 단위(예: 약 10cm)의 정확도(또는 "신뢰도"로도 지칭됨)(예: 거리 오차)로 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
일 실시예에서, UWB 모듈(340)은 UWB 레이더(radar)일 수 있다. 예를 들어, UWB 모듈(340)은, 신호(예: micro wave)를 송신하기 위한 안테나(이하, "송신용 UWB 안테나"로도 지칭함) 및 신호를 수신하기 위한 안테나(이하, "수신용 UWB 안테나"로도 지칭함)를 포함하는 UWB 레이더("UWB 레이더 센서"로도 지칭됨)일 수 있다.
일 실시예에서, UWB 모듈(340)은, UWB 모듈(340)의 화각이 복수의 카메라들의 화각들과 적어도 일부가 중첩되도록, 전자 장치(301)에서 배치될 수 있다. 이하, 도 4를 참조하여, 복수의 카메라들 및 UWB 모듈(340)의 배치에 대하여 설명하도록 한다.
도 4는, 일 실시예에 따른, 카메라 모듈(330) 및 UWB 모듈(340)의 배치를 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에서, 전자 장치(301)의 후면에 복수의 카메라들 및 UWB 모듈(340)이 배치될 수 있다. 다만, 이에 제한되지 않으며, 전자 장치(301)의 전면에 추가적인 적어도 하나의 카메라(및 UWB 모듈)이 배치될 수 있다.
일 실시예에서, 도 4에 도시된 바와 같이, 전자 장치(301)의 후면에 제 1 카메라(331)(광각 카메라), 제 2 카메라(332)(초광각 카메라), 및 제 3 카메라(예: 카메라(333) 및 카메라(334))(망원 카메라)가 배치될 수 있다. 일 실시예에서, 카메라(333) 및 카메라(334)는, 각각, 약 35도의 화각 및 약 10도의 화각을 가지는, 제 3 카메라일 수 있다. 전자 장치(301)는, 카메라(333) 및 카메라(334) 중 어느 하나의 카메라를 포함하지 않을 수 있다.
일 실시예에서, 도 4에 도시된 바와 같이, 전자 장치(301)의 후면에, 제 1 카메라(331), 제 2 카메라(332), 및 제 3 카메라(예: 카메라(333) 및 카메라(334))와 인접한 위치에 UWB 모듈(340)(예: UWB 레이더)(예: UWB 안테나들(341, 342, 343))이 배치될 수 있다.
일 실시예에서, UWB 안테나들(341, 342, 343)은, UWB 안테나들(341, 342, 343) 각각의 화각의 적어도 일부가, 제 1 카메라(331), 제 2 카메라(332), 및 제 3 카메라(예: 카메라(333) 및 카메라(334))의 화각들과 중첩되도록 배치될 수 있다.
일 실시예에서, UWB 안테나들(341, 342, 343)는, 송신용 UWB 안테나 및 수신용 UWB 안테나를 포함할 수 있다. 예를 들어, UWB 안테나들(341, 342, 343) 중, 일부의 안테나는 송신용 UWB 안테나이고, 다른 일부의 안테나는 수신용 UWB 안테나일 수 있다. 도 4에서는, 3개의 UWB 안테나들을 도시하고 있지만, 이에 제한되지 않는다. 예를 들어, UWB 모듈(340)은, 1개의 송신용 UWB 안테나 및 1개의 수신용 UWB 안테나를 포함할 수 있다. 예를 들어, UWB 모듈(340)은, 복수의 송신용 UWB 안테나들 및/또는 복수의 수신용 UWB 안테나들을 포함할 수 있다.
일 실시예에서, UWB 안테나들(341, 342, 343)은, UWB 안테나들(341, 342, 343)의 화각들 각각이, 카메라 모듈(330)(예: 제 2 카메라(332)(초광각 카메라))의 화각(예: 약 120도)과 실질적으로 동일하도록(예: UWB 안테나들(341, 342, 343)의 FOV(field of view)가 카메라 모듈(330)의 FOV와 실질적으로 동일하도록), 구현될 수 있다. 예를 들어, 종래 기술의 UWB 안테나의 화각은 약 180도(예: 전방향)일 수 있다. UWB 안테나들(341, 342, 343)은, UWB 안테나들(341, 342, 343)의 화각들 각각이 X축에 대하여 약 80도 및 Y축에 대하여 약 100도를 가지도록, 구현될 수 있다. 이러한 경우, UWB 안테나들(341, 342, 343)의 화각들 각각은, 제 2 카메라(332)의 화각(예: 약 120도)과 실질적으로 동일할 수 있다. 일 실시예에서, UWB 안테나들 각각의 전자 장치(301) 내에서의 배치, UWB 안테나들 각각의 패턴들, 및/또는 UWB 안테나들의 개수를 설계(또는 조정)을 통하여, UWB 안테나들(예: UWB 안테나들(341, 342, 343))의 화각들 각각이, 카메라 모듈(330)(예: 제 2 카메라(332))의 화각(예: 약 120도)과 실질적으로 동일하도록, 구현될 수 있다.
일 실시예에서, UWB 모듈(340)(예: UWB 레이더)은, direct TOF(dTOF) 방식(이하, "direct TOF 방식"으로 지칭함), indirect TOF(iTOF)) 방식(이하, "indirect TOF 방식"으로 지칭함), 또는 도플러 효과(doppler effect)를 이용한 방식(이하, "도플러 효과를 이용한 방식"으로 지칭함)을 이용하여, 전자 장치(301)(또는 카메라 모듈(330)) 및 피사체 간 거리를 획득할 수 있다.
일 실시예에서, direct TOF 방식은, 펄스(pulse)를 포함하는 UWB 신호가 송신용 UWB 안테나로부터 송신(방출)된 후 수신용 UWB 안테나에 수신되는 시간 및 UWB 신호의 속도(예: 빛의 속도)를 곱한 값을 2로 나눔으로써, 피사체 및 전자 장치(301) 간 거리를 획득하는 방식일 수 있다.
일 실시예에서, indirect TOF 방식은, 송신용 UWB 안테나로부터 송신된 UWB 신호의 위상 및 수신용 UWB 안테나에서 수신된 UWB 신호의 위상 간 차이에 기반하여, 피사체 및 전자 장치(301) 간 거리를 획득하는 방식일 수 있다. 예를 들어, indirect TOF 방식을 이용하는 UWB 모듈(340)은, 주기적으로 on/off되고 광(예: UWB 신호)을 방출하는 소스(source)를 포함하는 발광부와, 소스가 on되는 시간(예: UWB 신호가 송신되는 시간)과 동일한 시간에 UWB 신호를 수신하는 제 1 리셉터(receptor)("in phase receptor"로도 지칭됨) 및 소스가 off되는 시간(예: UWB 신호가 송신되지 않는 시간)과 동일한 시간에 UWB 신호를 수신하는 제 2 리셉터("out phase receptor"로도 지칭됨)를 포함하는 수광부를 포함할 수 있다. 제 1 리셉터가 수신하는(예: 제 1 리셉터에 누적되는) 광량(예: UWB 신호의 광량) 및 제 2 리셉터가 수신하는(예: 제 2 리셉터에 누적되는) 광량에 기반하여(예: UWB 신호를 수신하는 한 주기 내에서, 제 2 리셉터가 수신하는 광량을 제 2 리셉터가 수신하는 광량 및 제 2 리셉터가 수신하는 광량의 합산 광량으로 나눈 값에 기반하여), 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이(또는 제 1 리셉터가 수신하는 UWB 신호의 위상 및 제 2 리셉터가 수신하는 UWB 신호의 위상 간 차이)가 산출될 수 있다. 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이에 기반하여, 피사체 및 전자 장치(301) 간 거리가 산출될 수 있다.
일 실시예에서, 도플러 효과를 이용한 방식(이하, "UWB 모듈의 도풀러 효과를 이용한 방식"으로도 지칭됨)은, 송신된 UWB 신호의 위상 및 수신된 UWB 신호 간 위상 차이의 변화에 기반하여, 피사체 및 전자 장치(301) 간 거리를 획득하는 방식일 수 있다. 예를 들어, 도플러 효과를 이용한 방식에서, 전술한 indirect TOF 방식을 이용하여 시간 도메인(time domain)에서, 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이가 산출될 수 있다. 도플러 효과를 이용한 방식에서, 시간 도메인에서 산출된 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이에 대한 푸리에 변환(Fourier transform)을 수행함으로써 주파수 도메인(frequency domain)에서 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이가 산출될 수 있다. 도플러 효과를 이용한 방식에서, 주파수 도메인에서 산출된 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상 간 차이의 변화에 기반하여, 피사체 및 전자 장치(301) 간 거리가 획득될 수 있다. 다만, 이에 제한되지 않으며, 도플러 효과를 이용한 방식은, 피사체 및 전자 장치(301) 간 거리 외에, 전자 장치(301) 및 피사체 간 상대적인 움직임, 상기 움직임의 방향, 및/또는 피사체 및 전자 장치(301) 간 거리의 변화량을 획득할 수 있다.
일 실시예에서, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 측정하는 경우, 적외선을 이용하여 거리를 측정하는 방식들(예: structured light 방식, 적외선을 이용한 TOF 방식, 및 stereo camera 방식)과 다르게, 전자 장치(301)로부터 방출된 적외선을 투과하기 위한 코팅 영역(예: 적외선 투과 코팅 홀(hole))을 필요하지 않을 수 있다. 예를 들어, UWB 모듈(340)은 전자 장치(301)의 후면 커버(rear cover) 아래 배치됨으로써, 전자 장치(301)가 보다 미려한 디자인을 가지도록 할 수 있다.
다시 도 3을 참조하면, 일 실시예에서, 메모리(350)는 도 1의 메모리(130) 및/또는 도 2의 메모리(250)일 수 있다.
일 실시예에서, 메모리(350)는 카메라를 제어하는 동작을 수행하기 위하여 필요한 정보를 저장할 수 있다. 메모리(350)가 저장하는 상기 정보에 대해서는 상세히 후술하도록 한다.
일 실시예에서, 프로세서(360)는 도 1의 프로세서(120)일 수 있다.
일 실시예에서, 프로세서(360)는 카메라를 제어하는 전반적인 동작을 수행할 수 있다. 일 실시예에서, 프로세서(360)는 카메라를 제어하는 동작을 수행하기 위한 하나 이상의 프로세서들을 포함할 수 있다. 프로세서(360)가 수행하는 카메라를 제어하는 동작에 대하여 이하 도 5 내지 도 12를 참조하여 상세히 설명하도록 한다.
도 3에서, 전자 장치(301)가 디스플레이 모듈(310), 센서(320), 카메라 모듈(330), UWB 모듈(340), 메모리(350), 및 프로세서(360)를 포함하는 것으로 도시하고 있지만, 이에 제한되지 않는다. 예를 들어, 전자 장치(301)는, 도 1에 도시된 전자 장치(101)의 구성들(components) 중 하나 이상의 구성들을 더 포함할 수 있다.
일 실시예에 따른 전자 장치(301)는, 복수의 카메라들, 상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈(340), 및 상기 복수의 카메라들 및 상기 UWB 모듈(340)과 전기적으로 연결된 적어도 하나의 프로세서(360)를 포함할 수 있다. 상기 적어도 하나의 프로세서(360)는, 상기 UWB 모듈(340)을 이용하여, 피사체 및 상기 전자 장치(301) 간 거리를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(360)는, 상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(360)는, 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는 상기 거리에 기반하여, 상기 선택된 카메라의 오토 포커스(auto focus)를 수행하도록 구성될 수 있다.
일 실시예에서, 상기 복수의 카메라들은, 제 1 화각을 가진 제 1 카메라 및 상기 제 1 화각 보다 넓은 제 2 화각을 가진 제 2 카메라를 포함하고, 상기 적어도 하나의 프로세서(360)는, 상기 거리가 지정된 제 1 거리 이하인지 여부를 확인하고, 상기 거리가 상기 지정된 제 1 거리 이하임을 확인함에 기반하여, 상기 제 2 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하고, 및 상기 거리가 상기 지정된 제 1 거리를 초과함을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 카메라를 이용하여 이미지를 획득하는 동안, 상기 거리가 지정된 제 1 거리 범위에 속하는지 여부를 확인할 수 있다. 상기 지정된 제 1 거리 범위의 최소 경계는 상기 지정된 제 1 거리일 수 있다. 상기 적어도 하나의 프로세서(360)는, 상기 거리가 상기 제 1 거리 범위에 속함을 확인함에 기반하여, 상기 제 2 카메라를 활성화하도록 구성될 수 있다.
일 실시예에서, 상기 전자 장치(301)는, 상기 제 1 카메라의 화각 보다 좁은 화각을 가지는 제 3 카메라를 더 포함하고, 상기 적어도 하나의 프로세서(360)는, 상기 거리가 상기 지정된 제 1 거리 보다 긴 지정된 제 2 거리를 초과하는지 여부를 확인하고, 상기 거리가 상기 지정된 제 2 거리를 초과함을 확인함에 기반하여, 상기 제 3 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하고, 및 상기 거리가 상기 지정된 제 1 거리를 초과하고 상기 지정된 제 2 거리 이하임을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하도록 구성될 수 있다.
일 실시예에서, 상기 전자 장치(301)는 센서(320)를 더 포함하고, 상기 적어도 하나의 프로세서(360)는, 상기 센서(320)를 이용하여, 상기 전자 장치(301)의 움직임을 검출하고, 상기 제 1 카메라를 이용하여 획득된 이미지들의 GMV(global motion vector)에 기반하여, 상기 전자 장치(301) 및 피사체 간 움직임을 검출하고, 및 상기 전자 장치(301)의 움직임 및/또는 상기 전자 장치(301) 및 피사체 간 움직임에 기반하여, 상기 UWB 모듈(340)을 이용하여 피사체 및 상기 전자 장치(301) 간 거리를 획득하는 동작을 수행하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 UWB 모듈(340)을 이용하여, 상기 UWB 모듈(340)의 화각 내에서 상기 제 1 카메라의 화각과 중첩되지 않는 영역에 대한 정보를 획득하고, 및 상기 획득된 정보에 기반하여, 상기 제 1 카메라로부터 상기 제 2 카메라로의 전환과 관련된 동작을 수행하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 UWB 모듈(340)로부터 송신된 신호 및 상기 UWB 모듈(340)이 수신한 신호 간 위상 차이의 변화에 기반하는 도플러 효과를 이용한 방식을 이용하여, 상기 피사체 및 상기 전자 장치(301) 간 거리의 변화를 검출하고, 및 상기 피사체 및 상기 전자 장치(301) 간 거리의 변화에 기반하여, 상기 선택된 카메라의 오토 포커스를 수행하도록 구성될 수 있다.
일 실시예에서, 상기 전자 장치(301)는, 상기 복수의 카메라들은 광학 연속 줌을 지원하는 카메라를 포함하고, 상기 적어도 하나의 프로세서(360)는, 상기 거리에 대응하는 줌 배율을 확인하고, 및 상기 줌 배율에 대응하는 위치로 상기 광학 연속 줌을 지원하는 카메라의 렌즈를 이동시키도록 구성될 수 있다.
일 실시예에서, 상기 UWB 모듈(340)은 복수의 안테나들을 포함하고, 상기 복수의 안테나들은, 상기 복수의 안테나들 각각의 화각이 상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하도록, 상기 전자 장치(301)에 배치될 수 있다.
도 5는, 일 실시예에 따른, 카메라를 제어하기 위한 방법을 설명하는 흐름도(500)이다.
도 5를 참조하면, 동작 501에서, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여, 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 통하여 전술한 direct TOF 방식, indirect TOF 방식, 또는 도플러 효과를 이용한 방식을 이용함으로써, 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(330)(예: 현재 활성화된(또는 현재 선택된) 카메라)의 오토 포커스(오토 포커스 동작)에 기반하여, 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(330)(예: 복수의 카메라들 중 이미지를 획득하기 위하여 활성화된 카메라)을 통하여 오토 포커스를 수행할 수 있다. 예를 들어, 카메라 모듈(330)에 포함된 복수의 카메라들은, 전술한 위상차 검출 방식, 콘트라스트 방식, 2PD 방식, 및 이산형 PD 방식 중 어느 하나의 방식을 이용하여 오토 포커스 동작을 수행하도록, 구현될 수 있다. 일 실시예에서, 카메라 모듈(330)은, 피사체 및 카메라 간 거리들 각각에 대응하는 초점 거리들을 저장할 수 있다. 일 실시예에서, 거리들 각각에 대응하는 초점 거리들은, 초점 거리들 각각을 나타내는(또는 대응하는) 코드들(codes)(또는 "AF lens position codes"로도 지칭됨)일 수 있다. 카메라 모듈(330)에 포함된 복수의 카메라들 각각은, 제조 시 캘리브레이션(calibration) 공정을 통하여, 거리들(예: 피사체 및 카메라 간 거리들)에 대응하는(거리 별로) 초점 거리들을 획득(예: 측정)할 수 있다. 상기 거리들 및 상기 거리들 각각에 대응하는 초점 거리들은 복수의 카메라들 각각의 메모리(또는 다른 전자 장치의 저장 장치)에 저장될 수 있다. 상기 획득된 거리들 및 상기 획득된 거리들 각각에 대응하는 초점 거리들은 메모리(350)(또는 메모리(250))에 저장되어(또는 상기 다른 전자 장치로부터 수신되어 메모리(350)에 저장되어), 프로세서(360)로 전달될 수 있다. 일 실시예에서, 프로세서(360)는, 카메라 모듈(330)의 오토 포커스를 수행함으로써, 피사체에 대한 초점 거리를 확인할 수 있다. 프로세서(360)는, 상기 거리들 및 상기 거리들 각각에 대응하는 초점 거리들 중에서, 상기 확인된 피사체에 대한 초점 거리에 대응하는 거리를 확인함으로써, 피사체 및 전자 장치(301)에 대한 거리를 획득(예: 추정)할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작 및 카메라 모듈(330)(예: 현재 활성화된(또는 현재 선택된) 카메라)의 오토 포커스에 기반하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 수행할 수 있다.
일 실시예에서, 카메라 모듈(330)의 오토 포커스에 기반하여 획득된 피사체 및 전자 장치(301) 간 거리는, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 비하여, 정확할 수 있다. 카메라 모듈(330)의 오토 포커스에 기반하여 획득된 피사체 및 전자 장치(301) 간 거리의 오차는, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리의 오차에 비하여 작을 수 있다. 반면, 카메라 모듈(330)의 오토 포커스에 기반하여 피사체 및 전자 장치(301) 간 거리를 측정하는 동작은, 광의 위상 차이를 식별하기 어려운 저조도 환경인 경우(또는 카메라의 촬영 대상이 단색 평면인 경우), 피사체 및 전자 장치(301) 간 거리를 획득하기 어려울 수 있다. 또한, 카메라 모듈(330)의 오토 포커스에 기반하여 피사체 및 전자 장치(301) 간 거리를 측정하는 동작은, 피사체에 맞은 초점 거리를 찾기(search) 위하여 렌즈의 위치를 이동하는 동작을 수행하므로, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작에 비하여, 보다 많은 시간을 필요로 할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301) 주변의 환경(예: 전자 장치(301) 주변의 환경이 저조도 환경인지 여부), 피사체 및 전자 장치(301) 간 거리를 보다 짧은 시간 내에 획득해야 할 필요가 있는지 여부(예: 전자 장치(301) 및 피사체 간 상대적인 움직임의 변화량이 큰 경우, 피사체 및 전자 장치(301) 간 거리를 보다 짧은 시간 내에 획득해야 할 필요가 있음), 및/또는 피사체 및 전자 장치(301) 간 거리를 보다 정확하게 획득해야 할 필요가 있는지 여부에 기반하여, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작 및/또는 카메라 모듈(330)(예: 현재 활성화된(또는 현재 선택된) 카메라)의 오토 포커스에 기반하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301) 및 피사체 간 움직임에 기반하여, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 수행(예: UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 시작)할 수 있다. 예를 들어, 프로세서(360)는, 센서(320)(예: 모션 센서)를 통하여, 전자 장치(301)의 움직임을 검출할 수 있다. 예를 들어, 프로세서(360)는, 카메라 모듈(330)을 통하여 획득된 이미지들에 기반하여, 상기 획득된 이미지들 내에서 피사체에 대응하는 객체의 변화(예: 객체의 크기 변화 및/또는 객체의 움직임 정도)를 나타내는 GMV(global motion vector)(이하, "GMV"로도 지칭함)를 획득할 수 있다. 프로세서(360)는, 획득된 GMV에 기반하여, 전자 장치(301) 및 피사체 간 상대적인 움직임(예: 전자 장치(301) 및 피사체가 서로 가까워지는지 여부 및 전자 장치(301) 및 피사체가 서로 멀어지는지 여부)(및 피사체 및 전자 장치(301) 간 상대적인 거리 변화량)을 검출할 수 있다. 프로세서(360)는, 전자 장치(301) 및 피사체가 서로 가까워지거나 서로 멀어지는 전자 장치(301) 및 피사체 간 상대적인 움직임이 검출된 경우, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 수행할 수 있다.
동작 503에서, 일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리에 기반하여, 카메라 모듈(330)에 포함된 복수의 카메라들 중 이미지를 획득하기 위한 카메라를 선택할 수 있다. 예를 들어, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하인 경우, 복수의 카메라들 중에서 제 2 카메라(초광각 카메라)를 이미지를 획득하기 위한 카메라로 선택할 수 있다. 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리(이하, "지정된 제 1 거리"로 지칭함)를 초과하고 지정된 제 2 거리 이하인 경우, 복수의 카메라들 중에서 제 1 카메라(광각 카메라)를 이미지를 획득하기 위한 카메라로 선택할 수 있다. 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 2 거리(이하, "지정된 제 2 거리"로 지칭함)를 초과하는 경우(이하, "지정된 제 3 거리"로 지칭함)인 경우, 복수의 카메라들 중에서 제 3 카메라(망원 카메라)를 이미지를 획득하기 위한 카메라로 선택할 수 있다.
일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리에 기반하여, 카메라 전환 기능을 수행할 수 있다. 예를 들어, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리를 초과하고 지정된 제 2 거리 이하인 상태에서, 제 1 카메라를 이용하여 이미지를 획득할 수 있다. 프로세서(360)는, 피사체 및/또는 전자 장치(301)가 이동함으로써 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하가 되는 경우, 제 1 카메라로부터 제 2 카메라로 이미지를 획득하기 위한 카메라를 전환할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라가 전환된 경우(예: 동작 503을 통하여 카메라가 선택된 경우), 카메라 전환 전 이미지를 획득하였던 카메라를 비활성화(예: 턴 오프(turn off))하고, 카메라 전환 후 이미지를 획득할 카메라(예: 동작 503을 통하여 선택된 카메라)를 활성화(예: 턴 온(turn on))할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에만 기반하여, 카메라 모듈(330)에 포함된 복수의 카메라들 중 이미지를 획득하기 위한 카메라를 선택할 수 있다.
일 실시예에서, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리 및 카메라 모듈(330)의 오토 포커스 동작에 기반하여 획득된 피사체 및 전자 장치(301) 간 거리에 기반하여, 카메라 모듈(330)에 포함된 복수의 카메라들 중 이미지를 획득하기 위한 카메라를 선택할 수 있다.
동작 505에서, 일 실시예에서, 프로세서(360)는, 상기 선택된 카메라를 이용하여 피사체에 대한 이미지를 획득할 수 있다. 예를 들어, 프로세서(360)는, 동작 503을 통하여 선택된 카메라를 이용하여 피사체에 대한 프리뷰 이미지 또는 캡쳐 이미지를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, 복수의 카메라들 중에서 카메라가 선택된 경우, 선택된 카메라가 오토 포커스를 수행하도록, 선택된 카메라를 제어할 수 있다. 예를 들어, 프로세서(360)는, 복수의 카메라들 중에서 카메라가 선택된 경우, 선택된 카메라가 오토 포커스를 수행하도록, 선택된 카메라를 제어할 수 있다. 일 실시예에서, 오토 포커스를 수행하는 동작은, 피사체에 맞는(예: 피사체를 포커스할 수 있는) 초점 위치를 찾기(search) 위하여 렌즈의 위치를 이동하는 동작을 수행하는 동작("AF lens position scam"으로도 지칭됨)일 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 기반하여, 선택된 카메라의 오토 포커스를 수행할 수 있다. 예를 들어, 프로세서(360)는, 메모리(350)에 상기 선택된 카메라와 연관되어 저장된, 거리들(예: 피사체 및 카메라 간 거리들) 및 상기 거리들 각각에 대응하는(거리 별로) 초점 위치들 중에서, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 대응하는 초점 위치를 확인할 수 있다. 프로세서(360)는, 상기 확인된 초점 거리에 대응하는 초점 위치로 상기 선택된 카메라의 렌즈의 위치를 이동시킴으로써, 상기 선택된 카메라의 오토 포커스를 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 선택된 카메라를 이용하여 이미지가 획득된 경우, 디스플레이 모듈(310)을 통하여 상기 획득된 이미지를 표시할 수 있다.
일 실시예에서, 전술한 예시들에서, 동작 503을 통하여 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라가 선택된 경우, 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환(또는 결정)하고 상기 선택된 카메라를 이용하여 이미지를 획득하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 동작 503을 통하여 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라가 선택된 경우, 사용자에게 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환할지 여부를 문의하는 정보를 표시할 수 있다. 프로세서(360)는 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환하기 위한 사용자 입력에 기반하여, 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환할 수 있다. 일 실시예에서, 프로세서(360)는, 동작 503에서 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라 선택 시 곧바로 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환하도록 설정하는 옵션(option) 및 동작 503에서 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라 선택 시 사용자에게 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환할지 여부를 문의하는 정보를 표시하고 사용자 입력에 기반하여 이미지를 획득하기 위한 카메라를 상기 선택된 카메라로 전환하도록 설정하는 옵션을 포함하는 메뉴(menu)를 디스플레이 모듈(310)을 통하여 제공할 수 있다.
도 6은, 일 실시예에 따른, 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라를 전환하는 방법을 설명하는 흐름도(600)이다.
일 실시예에서, 도 6은, 피사체 및 전자 장치(301) 간 거리에 기반하여, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환하는 동작을 설명하기 위한 도면일 수 있다.
도 6을 참조하면, 동작 601에서, 일 실시예에서, 프로세서(360)는, 제 1 카메라를 통하여 이미지를 획득하는 동안, 센서(320)(예: 모션 센서)를 이용하여, 전자 장치(301)의 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 상기 획득된 전자 장치(301)의 움직임에 기반하여, 전자 장치(301) 및 피사체가 서로 가까워지는지 여부 및 전자 장치(301) 및 피사체가 서로 멀어지는지 여부를 확인할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(330)을 통하여 획득된 이미지들에 기반하여, 상기 획득된 이미지들 내에서 피사체에 대응하는 객체의 변화(예: 객체의 크기 변화 및/또는 객체의 움직임 정도)를 나타내는 GMV를 획득할 수 있다. 프로세서(360)는, 획득된 GMV에 기반하여, 전자 장치(301) 및 피사체 간 상대적인 움직임(예: 전자 장치(301) 및 피사체가 서로 가까워지는지 여부 및 전자 장치(301) 및 피사체가 서로 멀어지는지 여부)을 검출할 수 있다.
동작 603에서, 일 실시예에서, 프로세서(360)는, 전자 장치(301) 및 피사체가 서로 가까워지는 움직임을 확인된 경우, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
동작 603은, 도 5의 동작 501과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 605에서, 일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하인지 여부를 확인할 수 있다.
일 실시예에서, 지정된 제 1 거리는, 복수의 카메라들 중에서 제 1 카메라(광각 카메라) 및 제 2 카메라(초광각 카메라) 중에서 이미지를 획득하기 위한 카메라를 선택(또는 카메라를 전환)하는 기준이 되는 거리일 수 있다. 예를 들어, 지정된 제 1 거리는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하인 경우 제 2 카메라를 이미지를 획득하기 위한 카메라로 선택하고, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리를 초과하는 경우 제 1 카메라를 이미지를 획득하기 위한 카메라로 선택하도록 하기 위하여 지정된 거리일 수 있다. 일 실시예에서, 제 1 거리는 약 20cm 내지 약 50cm의 거리 범위 내에서 지정될 수 있다, 다만, 이에 제한되지 않으며, 제 1 거리는 카메라와 관련된 광학계의 설계 또는 사용자에게 보다 향상된 화질을 제공할 수 있는 거리로 지정될 수 있다.
동작 603에서 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리를 초과하는 경우, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 계속적으로 수행함으로써, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하인지 여부를 계속적으로 확인할 수 있다.
동작 605에서 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하임이 확인됨에 기반하여, 동작 607에서, 일 실시예에서, 프로세서(360)는, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환할 수 있다.
동작 609에서, 일 실시예에서, 이미지를 획득하기 위한 카메라가 제 1 카메라로부터 제 2 카메라로 전환된 경우, 제 2 카메라의 오토 포커스(AF)를 수행할 수 있다. 예를 들어, 프로세서(360)는, 제 2 카메라가 피사체에 맞는(예: 피사체를 포커스할 수 있는) 초점 위치를 찾기 위하여 렌즈들의 위치를 이동하는 동작을 수행하도록, 제 2 카메라를 제어할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 기반하여, 제 2 카메라의 오토 포커스를 수행할 수 있다. 예를 들어, 프로세서(360)는, 메모리(350)에 제 2 카메라와 연관되어 저장된, 거리들(예: 피사체 및 카메라 간 거리들) 및 상기 거리들 각각에 대응하는(거리 별로) 초점 위치들 중에서, UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 대응하는 초점 위치를 확인할 수 있다. 프로세서(360)는, 상기 확인된 초점 위치에 대응하는 위치로 상기 제 2 카메라의 위치를 이동시킴으로써, 상기 제 2 카메라의 오토 포커스를 수행할 수 있다.
동작 611에서, 일 실시예에서, 프로세서(360)는, 제 2 카메라를 이용하여, 피사체에 대한 이미지를 획득할 수 있다.
전술한 예시에서는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하임을 확인함에 기반하여, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환하는 동작에 대하여 설명하였지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 제 2 카메라를 이용하여 피사체에 대한 이미지를 획득하는 동안, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리를 초과함을 확인함에 기반하여, 이미지를 획득하기 위한 카메라를 제 2 카메라로부터 제 1 카메라로 전환하는 동작을 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 카메라를 이용하여 피사체에 대한 이미지를 획득하는 동안, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 보다 긴 지정된 제 2 거리를 초과함을 확인함에 기반하여, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 3 카메라로 전환하는 동작을 수행할 수 있다. 일 실시예에서, 제 2 거리는 약 100cm 내지 약 150cm의 거리 범위에서 지정될 수 있다, 다만, 이에 제한되지 않으며, 제 2 거리는 카메라(예: 제 3 카메라)와 관련된 광학계의 설계 또는 사용자에게 보다 향상된 화질을 제공할 수 있는 거리로 지정될 수 있다.
일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 보다 긴 지정된 제 2 거리를 초과함을 확인함에 기반하여, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 3 카메라로 전환함으로써, 제 1 카메라로부터 제 3 카메라로 카메라를 전환하는 동작이 부드럽게 수행되도록 할 수 있다.
전술한 예시들에서는, 피사체 및 전자 장치(301) 간 거리 변화에 따라, 이미지를 획득하기 위한 카메라를 선택하는 동작을 설명하였지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 줌 배율 변경하는 동작(예: 줌 배율을 변경하도록 설정된 줌-인(zoom-in) 또는 줌-아웃(zoom-out) 입력)에 기반하여, 복수의 카메라들 중에서 상기 변경된 줌 배율에 대응하는 카메라를 이미지를 획득하기 위한 카메라로 선택할 수 있다. 예를 들어, 프로세서(360)는, 복수의 카메라들 중 이미지를 획득하기 위한 카메라를 선택하는 사용자 입력에 기반하여, 카메라를 이미지를 획득하기 위한 카메라를 선택할 수 있다. 예를 들어, 프로세서(360)는, 창유리, 흰 벽, 및/또는 저조도 환경과 같이, 카메라 전환을 하더라도 향상된 이미지를 획득할 수 없는 경우, 카메라 전환을 수행하지 않을 수 있다.
도 6에서는, 동작 609가 동작 611에 선행하여 수행되는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 동작 611이 동작 609에 선행하여 수행되거나, 동작 609이 수행되는 동안 동작 611이 수행될 수 있다.
일 실시예에서, 프로세서(360)는, 캡쳐 이미지를 획득하기 위한 사용자 입력이 수신된 경우, 동작 609의 제 2 카메라의 오토 포커스를 수행한 후 동작 611에서 제 2 카메라를 이용하여 피사체에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 동영상(예: 프리뷰 이미지)을 표시하는 경우, 동작 611의 제 2 카메라를 이용하여 피사체에 대한 이미지를 획득하는 동작을 수행하는 동안, 동작 609의 제 2 카메라의 오토 포커스를 수행할 수 있다.
도 7은, 일 실시예에 따른, 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라를 전환하는 방법을 설명하는 흐름도(700)이다.
도 8은, 일 실시예에 따른, 피사체 및 전자 장치(301) 간 거리에 기반하여 카메라를 전환하는 방법을 설명하기 위한 도면(800)이다.
도 7 및 도 8을 참조하면, 동작 701에서, 일 실시예에서, 프로세서(360)는, 제 1 카메라를 통하여 이미지를 획득하는 동안, 센서(320)(예: 모션 센서)를 이용하여, 전자 장치(301)의 움직임을 검출할 수 있다.
동작 701은, 도 6의 동작 601과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 703에서, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여, 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
동작 703은, 도 5의 동작 501 또는 도 6의 동작 603과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 705에서, 일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 범위에 속하는지 여부를 확인할 수 있다.
일 실시예에서, 제 1 거리 범위는, 제 2 카메라를 활성화(예: 턴 온(turn on))할지 여부를 결정하기 위하여 지정된 거리일 수 있다.
일 실시예에서, 제 1 거리 범위의 최소 경계는 지정된 제 1 거리와 동일하게 지정될 수 있다. 예를 들어, 도 8에서, 제 1 카메라(광각 카메라) 및 제 2 카메라(초광각 카메라) 중에서 이미지를 획득하기 위한 카메라를 선택(또는 카메라를 전환)하는 기준이 되는 제 1 거리는, 전자 장치(301)의 위치(예: 라인(831)이 나타내는 위치) 및 라인(832)가 나타내는 위치 간 거리로서 d1(예: 약 30cm)일 수 있다. 일 실시예에서, 도 8에서, 제 1 거리 범위는, d1를 초과하고 d2(예: 도 8에서 전자 장치(301)의 위치 및 라인(833)가 나타내는 위치 간 거리)(예: 약 40cm) 이하인 거리 범위일 수 있다.
일 실시예에서, 제 1 거리 범위의 최대 경계(예: d2)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하가 된 경우 제 1 카메라로부터 제 2 카메라로 카메라가 신속하게 전환되도록, 제 1 카메라로부터 제 2 카메라로 카메라가 전환되기 전, 제 2 카메라를 미리 활성화(예: 미리 준비)하기 위하여 지정된 거리일 수 있다.
일 실시예에서, 제 1 거리 범위의 최대 경계는, UWB 모듈(340)이 거리를 획득하는 정확도(예: 거리 오차)에 기반하여, 다르게 설정(예: 조정)될 수 있다. 예를 들어, UWB 모듈(340)은 제조 시 캘리브레이션 공정을 통하여, UWB 모듈(340)이 거리를 획득하는 정확도가 측정될 수 있다. 상기 측정된 정확도는 UWB 모듈(340)의 메모리(또는 다른 전자 장치의 메모리)에 저장되어, 프로세서(360)로 전달될 수 있다. 프로세서(360)는, 상기 UWB 모듈(340)이 거리를 획득하는 정확도가 보다 높은 경우(예: 거리 오차가 작은 경우), 제 1 거리 범위의 최대 경계를 보다 짧은 거리(예: d2 보다 짧은 거리)로 설정할 수 있다. 프로세서(360)는, 상기 UWB 모듈(340)이 거리를 획득하는 정확도가 보다 낮은 경우(예: 거리 오차가 큰 경우), 제 1 거리 범위의 최대 경계를 보다 긴 거리(예: d2 보다 긴 거리)로 설정할 수 있다.
일 실시예에서, 도 8에서, 프로세서(360)는, 피사체(810)가 화살표(820)가 지시하는 방향으로 이동됨에 따라 피사체(810) 및 전자 장치(301) 간 거리가 d2 이하(예: d1 초과 및 d2 이하)가 된 경우, 피사체(810) 및 전자 장치(301) 간 거리가 지정된 제 1 거리 범위에 속하는 것으로 확인할 수 있다.
동작 705에서 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 범위에 속하지 않는 경우(예: 도 8에서 전자 장치(301) 및 피사체(810) 간 거리가 d2를 초과하는 경우), 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여 피사체 및 전자 장치(301) 간 거리를 획득하는 동작을 계속적으로 수행함으로써, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 범위에 속하는지 여부를 계속적으로 확인할 수 있다.
동작 705에서 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 범위에 속하는 경우, 일 실시예에서, 프로세서(360)는 제 2 카메라를 활성화(예: 턴 온)할 수 있다. 일 실시예에서, 제 2 카메라가, 제 1 카메라로부터 제 2 카메라로 이미지를 획득하기 위한 카메라가 전환 전, 활성화된 경우, 카메라 전환 후 제 2 카메라를 통하여 보다 신속하게 이미지가 획득될 수 있다.
동작 709에서, 일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 지정된 제 1 거리 이하인지 여부를 확인할 수 있다.
동작 709는, 도 6의 동작 605와 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 711에서, 일 실시예에서, 프로세서(360)는, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환할 수 있다.
동작 711는, 도 6의 동작 607과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 713에서, 일 실시예에서, 이미지를 획득하기 위한 카메라가 제 1 카메라로부터 제 2 카메라로 전환된 경우, 제 2 카메라의 오토 포커스(AF)를 수행할 수 있다.
동작 713은, 도 6의 동작 609와 적어도 일부가 동일 또는 유사하므로, 중복되는 설명은 생략하기로 한다.
일 실시예에서, 도 7에서, 동작 713의 제 2 카메라의 오토 포커스를 수행하는 동작이 동작 711의 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환하는 동작이 수행된 후 수행되는 것으로 도시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 동작 707에서 제 2 카메라를 활성화하는 동작을 수행한 직후(예: 동작 711의 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환하기 전), 제 2 카메라의 오토 포커스를 수행하는 동작을 수행할 수 있다.
동작 715에서, 일 실시예에서, 프로세서(360)는, 제 2 카메라를 이용하여, 피사체에 대한 이미지를 획득할 수 있다.
동작 715은, 도 6의 동작 611과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
도 9는, 일 실시예에 따른, 카메라를 제어하기 위한 방법을 설명하는 흐름도(900)이다.
도 9를 참조하면, 동작 901에서, 일 실시예에서, 프로세서(360)는, 제 1 카메라를 이용하여 이미지를 획득하는 동안, UWB 모듈(340)을 통하여 제 1 카메라의 화각을 벗어난 영역에 대한 정보를 획득할 수 있다.
일 실시예에서, UWB 모듈(340)은, UWB 모듈(340)의 화각은 제 1 카메라(광각 카메라)의 화각 보다 넓도록, 구현될 수 있다. 예를 들어, UWB 안테나들의 각각의 화각들은, 제 2 카메라(초광각 카메라)의 화각(예: 약 120도)과 실질적으로 동일하도록, 구현될 수 있다. 이러한 경우, UWB 모듈(340)의 화각은 제 1 카메라의 화각 보다 넓을 수 있다.
일 실시예에서, UWB 모듈(340)의 화각 및 제 1 카메라의 화각은, 서로 중첩하지 않는 영역(또는 범위)이 있을 수 있다.
일 실시예에서, UWB 모듈(340)은, 제 1 카메라의 화각을 벗어난 영역(예: UWB 모듈(340)의 화각 내에서 제 1 카메라의 화각과 중첩되지 않는 화각 범위)에 대한 정보를 획득할 수 있다. 예를 들어, UWB 모듈(340)은, 제 1 카메라의 화각을 벗어난 영역에서 사람 또는 동물(또는 사람 또는 동물의 움직임)을 검출함으로써, 사람 또는 동물에 대한 정보(또는 사람 또는 동물의 움직임에 대한 정보)를 획득할 수 있다.
동작 903에서, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 통하여 획득된 제 1 카메라의 화각을 벗어난 영역에 대한 정보에 기반하여, 제 2 카메라로의 카메라 전환과 관련된 동작을 수행할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 통하여 획득된 제 1 카메라의 화각을 벗어난 영역에서 사람 또는 동물이 검출된 경우, 검출된 사람 또는 동물에 대한 이미지가 획득되도록, 제 1 카메라로부터 제 2 카메라로 카메라를 전환하도록 추천하는 정보를 디스플레이 모듈(310)을 통하여 표시할 수 있다. 예를 들어, 프로세서(360)는, 사용자에게 제 1 카메라로부터 제 2 카메라로 카메라를 전환할지 여부를 문의하는 정보를, 디스플레이 모듈(310)을 통하여, 표시할 수 있다. 프로세서(360)는, 제 1 카메라로부터 제 2 카메라로 카메라를 전환하기 위한 사용자 입력이 입력된 경우, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 통하여 획득된 제 1 카메라의 화각을 벗어난 영역에서 사람 또는 동물이 검출됨에 응답하여, 이미지를 획득하기 위한 카메라를 제 1 카메라로부터 제 2 카메라로 전환할 수 있다.
도 9에 도시하지는 않았지만, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 통하여 제 1 카메라의 화각을 벗어난 영역에 대한 정보에 기반하여, 제 2 카메라를 통하여 이미지를 획득할 수 있다. 예를 들어, 프로세서(360)는, 제 1 카메라를 통하여 이미지를 획득하는 동안, UWB 모듈(340)을 통하여 획득된 제 1 카메라의 화각을 벗어난 영역에서 사람 또는 동물이 검출된 경우, 제 2 카메라를 활성화할 수 있다. 프로세서(360)는, 제 1 카메라를 통하여 이미지를 획득하고, 동시에, 활성화된 제 2 카메라를 통하여 이미지를 획득할 수 있다. 프로세서(360)는 제 1 카메라를 통하여 획득된 이미지 및 제 2 카메라를 통하여 획득된 이미지를 메모리(350)에 저장할 수 있다.
전술한 예시들에서는, UWB 모듈(340)의 화각 및 제 1 카메라의 화각을 고려하여, 수행되는 예시들을 설명하였지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, UWB 모듈(340)을 통하여 제 3 카메라의 화각(또는 제 2 카메라의 화각)을 벗어난 영역에 대한 정보를 획득하고, 획득된 정보에 기반하여 카메라 전환과 관련된 동작을 수행할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)을 통하여 제 3 카메라의 화각을 벗어난 영역에 대한 정보를 획득하고, 획득된 정보에 기반하여, 제 3 카메라를 이용하여 이미지를 획득하는 동안, 제 1 카메라 및/또는 제 2 카메라를 이용하여 이미지를 획득할 수 있다.
도 10은, 일 실시예에 따른, 도플러 효과를 이용한 방식을 이용하여, 카메라의 오토 포커스를 수행하는 방법을 설명하는 흐름도(1000)이다.
도 10을 참조하면, 동작 1001에서, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여, 전자 장치(301) 및 피사체 간 상대적인 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 전자 장치(301) 및 피사체 간 상대적인 움직임을 검출할 수 있다.
일 실시예에서, 전술한 바와 같이, UWB 모듈(340)의 도플러 효과를 이용한 방식은, 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이의 변화에 기반하여, 피사체 및 전자 장치(301) 간 거리를 획득하는 방식일 수 있다. 예를 들어, 프로세서(360)는, 전술한 indirect TOF 방식을 통하여 시간 도메인(time domain)에서, 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이를 산출할 수 있다. 프로세서(360)는, 시간 도메인에서 산출된 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이에 대한 푸리에 변환(Fourier transform)을 수행함으로써 주파수 도메인(frequency domain)에서 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이를 산출할 수 있다. 프로세서(360)는, 주파수 도메인에서 산출된 송신된 UWB 신호의 위상 및 수신된 UWB 신호의 위상의 차이의 변화에 기반하여, 전자 장치(301) 및 피사체 간 상대적인 움직임을 산출할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 전자 장치(301) 및 피사체 간 상대적인 움직임이 검출되는지 여부, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향, 피사체 및 전자 장치(301) 간 거리의 변화량, 및/또는 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, 센서(320)(예: 모션 센서)를 이용하여, 전자 장치(301)의 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 상기 획득된 전자 장치(301)의 움직임에 기반하여, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향(예: 전자 장치(301) 및 피사체가 서로 가까워지는지 여부 및 전자 장치(301) 및 피사체가 서로 멀어지는지 여부)을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(330)을 통하여 획득된 이미지들에 기반하여, 상기 획득된 이미지들 내에서 피사체에 대응하는 객체의 변화(예: 객체의 크기 변화 및/또는 객체의 움직임 정도)를 나타내는 GMV를 획득할 수 있다. 프로세서(360)는, 획득된 GMV에 기반하여, 전자 장치(301) 및 피사체 간 상대적인 움직임(예: 피사체 및 전자 장치(301) 간 거리 변화 및/또는 피사체 및 전자 장치(301) 간 거리가 변화하는 방향(예: 피사체 및 전자 장치(310) 간 거리가 감소하는지 여부 또는 증가하는지 여부)을 검출할 수 있다.
동작 1003에서, 일 실시예에서, 프로세서(360)는, 전자 장치(301) 및 피사체 간 움직임에 기반하여, 카메라 모듈(330)의 오토 포커스(AF)를 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 이미지를 획득하도록 현재 설정된 카메라의 오토 포커스를 수행하기 위하여, 피사체에 맞는(예: 피사체를 포커스할 수 있는) 초점 위치를 찾기 위하여 렌즈들의 위치를 이동하는 동작을 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 동작 1001을 통하여 검출된 피사체 및 전자 장치(301) 간 거리 변화(예: 거리가 변화하는 방향)에 기반하여, 피사체에 맞는 초점 위치를 찾기 위한 렌즈의 이동 방향(예: 오토 포커스를 위하여 렌즈가 이동할 방향)을 결정(예: 예측)할 수 있다. 예를 들어, 프로세서(360)는, 오토 포커스를 위하여(예: 오토 포커스를 수행하는 동안), 동작 1001을 통하여 검출된 피사체 및 전자 장치(301) 간 거리가 변화하는 방향에 대응하는 방향으로 렌즈를 이동시킬 것을 결정할 수 있다. 프로세서(360)는, 상기 결정된 렌즈의 이동 방향에 기반하여 렌즈를 이동시킴으로써, 신속하게 오토 포커스가 수행되도록 할 수 있다.
도 11은, 일 실시예에 따른, 도플러 효과를 이용한 방식을 이용하여, 카메라의 오토 포커스를 수행하는 방법을 설명하는 흐름도(1100)이다.
도 11을 참조하면, 동작 1101에서, 일 실시예에서, 프로세서(360)는, 오토 포커스된 카메라를 이용하여 이미지를 획득하는 동안(예: 초점을 맞춘(예: 초점 위치에서) 피사체에 대한 이미지를 획득하는 동안), UWB 모듈(340)을 이용하여, 전자 장치(301) 및 피사체 간 상대적인 움직임을 검출할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 전자 장치(301) 및 피사체 간 상대적인 움직임이 있는지 여부를 확인할 수 있다. 다만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 센서(320)(예: 모션 센서)를 이용하여, 전자 장치(301) 및 피사체 간 상대적인 움직임이 있는지 여부를 확인할 수 있다. 예를 들어, 프로세서(360)는, 카메라 모듈(330)을 통하여 획득된 이미지들 내에서 피사체에 대응하는 객체의 변화를 나타내는 GMV에 기반하여, 전자 장치(301) 및 피사체 간 상대적인 움직임이 있는지 여부를 확인할 수 있다.
동작 1103에서, 일 실시예에서, 프로세서(360)는, 전자 장치(301) 및 피사체 간 상대적인 움직임이 검출된 경우, 피사체의 이동 방향을 확인할 수 있다. 예를 들어, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향(예: 전자 장치(301) 및 피사체가 서로 가까워지는지 여부 및 전자 장치(301) 및 피사체가 서로 멀어지는지 여부)을 확인할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향을 확인할 수 있다.
일 실시예에서, 프로세서(360)는, 센서(320)(예: 모션 센서)를 이용하여, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향을 확인할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(330)을 통하여 획득된 이미지들 내에서 피사체에 대응하는 객체의 변화를 나타내는 GMV에 기반하여, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향을 확인할 수 있다.
일 실시예에서, 프로세서(360)는, 전술한 도플러 효과를 이용한 방식, 센서(320), 및 상기 GMV 중 2개 이상을 조합하여, 피사체 및 전자 장치(301) 간 거리가 변화하는 방향을 확인할 수 있다.
동작 1105에서, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여, 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여 피사체 및 전자 장치(301) 간 거리의 변화량을 획득할 수 있다. 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 변화하기 전 피사체 및 전자 장치(301) 간 거리(예: 동작 1101을 수행하기 전, 획득된 피사체 및 전자 장치(301) 간 거리) 및 상기 획득된 피사체 및 전자 장치(301) 간 거리의 변화량에 기반하여, 피사체 및 전자 장치(301) 간 현재 거리를 확인할 수 있다. 프로세서(360)는, 피사체 및 전자 장치(301) 간 현재 거리에 대응하는 초점 거리에 기반하여, 오토 포커스를 수행할 수 있다.
일 실시예에서, 피사체 및 전자 장치(301) 간 거리가 변화하기 전 피사체 및 전자 장치(301) 간 거리 및 UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리의 변화량에 기반하여, 획득된 피사체 및 전자 장치(301) 간 거리는, UWB 모듈(340)의 direct TOF 방식을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리 및 UWB 모듈(340)의 indirect TOF 방식을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 비하여, 정확할 수 있다. 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리가 변화하기 전 피사체 및 전자 장치(301) 간 거리 및 UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리의 변화량에 기반하여, 획득된 피사체 및 전자 장치(301) 간 거리에 기반하여 오토 포커스를 수행함으로써, 피사체에 대한 초점을 보다 정확하게 맞출 수 있다.
도 10 및 도 11에서는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여 검출된 피사체 및 전자 장치(301) 간 움직임에 기반하여, 오토 포커스를 수행하는 예시들을 설명하였지만, 이에 제한되지 않는다. 일 실시예에서, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여 획득된 피사체의 움직임에 기반하여, 전자 장치(301)의 다양한 기능들을 수행할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 사용자(예: 피사체가 사용자인 경우)의 움직임(예: 안구의 움직임, 눈 깜빡임, 머리의 움직임, 사람 얼굴의 표정 변화, 및/또는 사용자의 손 제스처(gesture))에 대응하는 전자 장치(301)의 기능을 설정할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 전자 장치(301)의 기능들 각각에 대응하는(예: 전자 장치(301)의 기능들 각각을 수행하도록 하는) 사용자 패턴들(patterns)을 설정할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 사용자의 머리의 움직임이 검출된 경우 이미지를 캡쳐하는 기능이 수행되도록 할 수 있다. 예를 들어, 프로세서(360)는, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 사용자의 왼손이 원을 그리는 제스처가 검출된 경우 줌 인 동작을 수행하고, 사용자의 오른손이 원을 그리는 제스처가 검출된 경우 줌 아웃 동작을 수행하도록 할 수 있다. 다만, UWB 모듈(340)의 도플러 효과를 이용한 방식을 이용하여, 전자 장치(301)의 기능들 각각에 대응하는 사용자 패턴들(patterns)을 설정하는 방법은 전술한 예시들에 제한되지 않는다.
도 12는, 일 실시예에 따른, 피사체 및 전자 장치(301) 간 거리에 기반하여, 광학 줌을 수행하는 방법을 설명하는 흐름도(1200)이다.
일 실시예에서, 도 12는, 제 3 카메라(예: 적어도 하나의 제 3 카메라)가 광학 연속 줌(continuous optical zoom)(또는 "광학 줌"으로도 지칭됨)을 지원하는 카메라인 경우, 프로세서(360)가 수행하는 동작들을 설명하기 위한 도면일 수 있다.
동작 1201에서, 일 실시예에서, 프로세서(360)는, UWB 모듈(340)을 이용하여, 피사체 및 전자 장치(301) 간 거리를 획득할 수 있다.
동작 1201은, 도 5의 동작 501과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 1203에서, 일 실시예에서, 프로세서(360)는, 피사체 및 전자 장치(301) 간 거리에 대응하는 줌 배율을 확인할 수 있다.
일 실시예에서, 피사체 및 전자 장치(301) 간 거리들과, 피사체 및 전자 장치(301) 간 거리들 각각에 대응하는 줌 배율들이 메모리(350)에 저장될 수 있다. 프로세서(360)는, 메모리(350)에 저장된 상기 정보에 기반하여, 동작 1201에서 획득된 피사체 및 전자 장치(301) 간 거리에 대응하는 줌 배율을 확인할 수 있다.
동작 1205에서, 일 실시예에서, 프로세서(360)는 상기 확인된 줌 배율에 대응하는 위치로 렌즈를 이동시킬 수 있다.
일 실시예에서, 제 3 카메라가 광학 줌을 지원하는 카메라인 경우, 줌 배율들과, 줌 배율들 각각에 대응하는 렌즈의 위치들("zoom locus data"로도 지칭됨)이 메모리(350)에 저장될 수 있다.
일 실시예에서, 제 3 카메라가 광학 줌을 지원하는 카메라인 경우, 제 3 카메라는 지정된 줌 배율 범위(예: 줌 배율 2x(또는 줌 배율 3x) 내지 줌 배율 10x의 줌 배율 범위)에서 광학 줌을 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 상기 확인된 줌 배율(예: 동작 1203에서 확인된 줌 배율)이 지정된 줌 배율 범위에 속하는 경우, 메모리(350)에 저장된 줌 배율들과 줌 배율들 각각에 대응하는 렌즈의 위치들에 기반하여, 상기 확인된 줌 배율에 대응하는 렌즈의 위치를 확인할 수 있다. 프로세서(360)는, 확인된 렌즈의 위치로 렌즈를 이동시킬 수 있다.
도 12에 도시하지는 않았지만, 일 실시예에서, 프로세서(360)는, 상기 확인된 줌 배율에 대응하는 위치로 제 3 카메라의 렌즈가 이동된 후, 제 3 카메라의 오토 포커스를 수행할 수 있다. 예를 들어, 프로세서(360)는, 상기 확인된 줌 배율에 대응하는 위치로 제 3 카메라의 렌즈가 이동된 후, 피사체에 맞은 초점 위치를 찾기 위하여 렌즈의 위치를 이동하는 동작 수행함으로써 오토 포커스를 수행할 수 있다.
일 실시예에서, 전술한 바와 같이, 프로세서(360)가 UWB 모듈(340)을 이용하여 획득된 피사체 및 전자 장치(301) 간 거리에 기반하여, 줌 배율에 대응하는 위치로 제 3 카메라의 렌즈를 이동시킴으로써, 광학 줌 수행을 위하여 렌즈를 이동하는데 보다 많은 시간이 소요되는 광학 줌이 보다 신속하게 수행되도록 할 수 있다.
일 실시예에서, 전자 장치(301)에서 카메라를 제어하는 방법은, 상기 전자 장치(301)의 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈(340)을 이용하여, 피사체 및 상기 전자 장치(301) 간 거리를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하는 동작을 포함할 수 있다. 상기 방법은, 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하는 동작을 포함할 수 있다.
일 실시예에서, 상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하는 동작은, 상기 거리에 기반하여, 상기 선택된 카메라의 오토 포커스를 수행하는 동작을 포함할 수 있다.
일 실시예에서, 상기 복수의 카메라들은, 제 1 화각을 가진 제 1 카메라 및 상기 제 1 화각 보다 넓은 제 2 화각을 가진 제 2 카메라를 포함할 수 있다.
일 실시예에서, 상기 피사체를 촬영하기 위한 카메라를 선택하는 동작은, 상기 거리가 지정된 제 1 거리 이하인지 여부를 확인하는 동작, 상기 거리가 상기 지정된 제 1 거리 이하임을 확인함에 기반하여, 상기 제 2 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작, 및 상기 거리가 상기 지정된 제 1 거리를 초과함을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작을 포함할 수 있다.
일 실시예에서, 상기 방법은, 상기 제 1 카메라를 이용하여 이미지를 획득하는 동안, 상기 거리가 지정된 제 1 거리 범위에 속하는지 여부를 확인하는 동작 및 상기 거리가 상기 제 1 거리 범위에 속함을 확인함에 기반하여, 상기 제 2 카메라를 활성화하는 동작을 포함할 수 있다. 일 실시예에서, 상기 지정된 제 1 거리 범위의 최소 경계는 상기 지정된 제 1 거리일 수 있다.
일 실시예에서, 상기 피사체를 촬영하기 위한 카메라를 선택하는 동작은, 상기 거리가 상기 지정된 제 1 거리 보다 긴 지정된 제 2 거리를 초과하는지 여부를 확인하는 동작, 상기 거리가 상기 지정된 제 2 거리를 초과함을 확인함에 기반하여, 상기 제 1 카메라의 화각 보다 좁은 화각을 가지는 제 3 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작, 및 상기 거리가 상기 지정된 제 1 거리를 초과하고 상기 지정된 제 2 거리 이하임을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작을 포함할 수 있다.
일 실시예에서, 상기 피사체 및 상기 전자 장치(301) 간 거리를 획득하는 동작은, 상기 전자 장치(301)의 센서(320)를 이용하여, 상기 전자 장치(301)의 움직임을 검출하는 동작, 상기 제 1 카메라를 이용하여 획득된 이미지들의 GMV에 기반하여, 상기 전자 장치(301) 및 피사체 간 움직임을 검출하는 동작, 및 상기 전자 장치(301)의 움직임 및/또는 상기 전자 장치(301) 및 피사체 간 움직임에 기반하여, 상기 UWB 모듈(340)을 이용하여 피사체 및 상기 전자 장치(301) 간 거리를 획득하는 동작을 포함할 수 있다.
일 실시예에서, 상기 방법은, 상기 UWB 모듈(340)을 이용하여, 상기 UWB 모듈(340)의 화각 내에서 상기 제 1 카메라의 화각과 중첩되지 않는 영역에 대한 정보를 획득하는 동작 및 상기 획득된 정보에 기반하여, 상기 제 1 카메라로부터 상기 제 2 카메라로의 전환과 관련된 동작을 수행하는 동작을 더 포함할 수 있다.
일 실시예에서, 상기 방법은, 상기 UWB 모듈(340)로부터 송신된 신호 및 상기 UWB 모듈(340)이 수신한 신호 간 위상 차이의 변화에 기반하는 도플러 효과를 이용한 방식을 이용하여, 상기 피사체 및 상기 전자 장치(301) 간 거리의 변화를 검출하는 동작 및 상기 피사체 및 상기 전자 장치(301) 간 거리의 변화에 기반하여, 상기 선택된 카메라의 오토 포커스를 수행하는 동작을 더 포함할 수 있다.
일 실시예에서, 상기 방법은, 상기 거리에 대응하는 줌 배율을 확인하는 동작 및 상기 줌 배율에 대응하는 위치로 광학 연속 줌을 지원하는 카메라의 렌즈를 이동시키는 동작을 더 포함할 수 있다.
일 실시예에서, 상기 UWB 모듈(340)의 복수의 안테나들은, 상기 복수의 안테나들 각각의 화각이 상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하도록, 상기 전자 장치(301)에 배치될 수 있다.
또한, 상술한 본 문서의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등)와 같은 저장매체를 포함한다.

Claims (15)

  1. 전자 장치(301)에 있어서,
    복수의 카메라들;
    상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB(ultra wide band) 모듈(340); 및
    상기 복수의 카메라들 및 상기 UWB 모듈(340)과 전기적으로 연결된 적어도 하나의 프로세서(360)를 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    상기 UWB 모듈(340)을 이용하여, 피사체 및 상기 전자 장치(301) 간 거리를 획득하고,
    상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하고, 및
    상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하도록 구성된 전자 장치(301).
  2. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 거리에 기반하여, 상기 선택된 카메라의 오토 포커스(auto focus)를 수행하도록 구성된 전자 장치(301).
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 카메라들은, 제 1 화각을 가진 제 1 카메라 및 상기 제 1 화각 보다 넓은 제 2 화각을 가진 제 2 카메라를 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    상기 거리가 지정된 제 1 거리 이하인지 여부를 확인하고,
    상기 거리가 상기 지정된 제 1 거리 이하임을 확인함에 기반하여, 상기 제 2 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하고, 및
    상기 거리가 상기 지정된 제 1 거리를 초과함을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하도록 구성된 전자 장치(301).
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 카메라를 이용하여 이미지를 획득하는 동안, 상기 거리가 지정된 제 1 거리 범위에 속하는지 여부를 확인하고 -상기 지정된 제 1 거리 범위의 최소 경계는 상기 지정된 제 1 거리임-, 및
    상기 거리가 상기 제 1 거리 범위에 속함을 확인함에 기반하여, 상기 제 2 카메라를 활성화하도록 구성된 전자 장치(301).
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 카메라의 화각 보다 좁은 화각을 가지는 제 3 카메라를 더 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    상기 거리가 상기 지정된 제 1 거리 보다 긴 지정된 제 2 거리를 초과하는지 여부를 확인하고,
    상기 거리가 상기 지정된 제 2 거리를 초과함을 확인함에 기반하여, 상기 제 3 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하고, 및
    상기 거리가 상기 지정된 제 1 거리를 초과하고 상기 지정된 제 2 거리 이하임을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하도록 구성된 전자 장치(301).
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    센서(320)를 더 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    상기 센서(320)를 이용하여, 상기 전자 장치(301)의 움직임을 검출하고,
    상기 제 1 카메라를 이용하여 획득된 이미지들의 GMV(global motion vector)에 기반하여, 상기 전자 장치(301) 및 피사체 간 움직임을 검출하고, 및
    상기 전자 장치(301)의 움직임 및/또는 상기 전자 장치(301) 및 피사체 간 움직임에 기반하여, 상기 UWB 모듈(340)을 이용하여 피사체 및 상기 전자 장치(301) 간 거리를 획득하는 동작을 수행하도록 구성된 전자 장치(301).
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 UWB 모듈(340)을 이용하여, 상기 UWB 모듈(340)의 화각 내에서 상기 제 1 카메라의 화각과 중첩되지 않는 영역에 대한 정보를 획득하고, 및
    상기 획득된 정보에 기반하여, 상기 제 1 카메라로부터 상기 제 2 카메라로의 전환과 관련된 동작을 수행하도록 구성된 전자 장치(301).
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 UWB 모듈(340)로부터 송신된 신호 및 상기 UWB 모듈(340)이 수신한 신호 간 위상 차이의 변화에 기반하는 도플러 효과를 이용한 방식을 이용하여, 상기 피사체 및 상기 전자 장치(301) 간 거리의 변화를 검출하고, 및
    상기 피사체 및 상기 전자 장치(301) 간 거리의 변화에 기반하여, 상기 선택된 카메라의 오토 포커스를 수행하도록 구성된 전자 장치(301).
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 복수의 카메라들은 광학 연속 줌을 지원하는 카메라를 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    상기 거리에 대응하는 줌 배율을 확인하고, 및
    상기 줌 배율에 대응하는 위치로 상기 광학 연속 줌을 지원하는 카메라의 렌즈를 이동시키도록 구성된 전자 장치(301).
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 UWB 모듈(340)은 복수의 안테나들을 포함하고,
    상기 복수의 안테나들은, 상기 복수의 안테나들 각각의 화각이 상기 복수의 카메라들의 화각들과 적어도 일부가 중첩하도록, 상기 전자 장치(301)에 배치되는 전자 장치(301).
  11. 전자 장치(301)에서 카메라를 제어하는 방법에 있어서,
    상기 전자 장치(301)의 복수의 카메라들의 화각들과 적어도 일부가 중첩하는 화각을 가진 UWB 모듈(340)을 이용하여, 피사체 및 상기 전자 장치(301) 간 거리를 획득하는 동작;
    상기 거리에 기반하여, 상기 복수의 카메라들 중 상기 피사체를 촬영하기 위한 카메라를 선택하는 동작; 및
    상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하는 동작을 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 선택된 카메라를 이용하여, 상기 피사체에 대한 이미지를 획득하는 동작은,
    상기 거리에 기반하여, 상기 선택된 카메라의 오토 포커스를 수행하는 동작을 포함하는 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 복수의 카메라들은, 제 1 화각을 가진 제 1 카메라 및 상기 제 1 화각 보다 넓은 제 2 화각을 가진 제 2 카메라를 포함하고,
    상기 피사체를 촬영하기 위한 카메라를 선택하는 동작은,
    상기 거리가 지정된 제 1 거리 이하인지 여부를 확인하는 동작;
    상기 거리가 상기 지정된 제 1 거리 이하임을 확인함에 기반하여, 상기 제 2 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작; 및
    상기 거리가 상기 지정된 제 1 거리를 초과함을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작을 포함하는 방법.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 제 1 카메라를 이용하여 이미지를 획득하는 동안, 상기 거리가 지정된 제 1 거리 범위에 속하는지 여부를 확인하는 동작 -상기 지정된 제 1 거리 범위의 최소 경계는 상기 지정된 제 1 거리임-; 및
    상기 거리가 상기 제 1 거리 범위에 속함을 확인함에 기반하여, 상기 제 2 카메라를 활성화하는 동작을 더 포함하는 방법.
  15. 제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 피사체를 촬영하기 위한 카메라를 선택하는 동작은,
    상기 거리가 상기 지정된 제 1 거리 보다 긴 지정된 제 2 거리를 초과하는지 여부를 확인하는 동작;
    상기 거리가 상기 지정된 제 2 거리를 초과함을 확인함에 기반하여, 상기 제 1 카메라의 화각 보다 좁은 화각을 가지는 제 3 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작; 및
    상기 거리가 상기 지정된 제 1 거리를 초과하고 상기 지정된 제 2 거리 이하임을 확인함에 기반하여, 상기 제 1 카메라를 상기 피사체를 촬영하기 위한 카메라로서 선택하는 동작을 포함하는 방법.
PCT/KR2023/014918 2022-10-04 2023-09-26 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치 WO2024076092A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0126378 2022-10-04
KR20220126378 2022-10-04
KR10-2022-0156249 2022-11-21
KR1020220156249A KR20240047265A (ko) 2022-10-04 2022-11-21 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2024076092A1 true WO2024076092A1 (ko) 2024-04-11

Family

ID=90608678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014918 WO2024076092A1 (ko) 2022-10-04 2023-09-26 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치

Country Status (1)

Country Link
WO (1) WO2024076092A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180092621A (ko) * 2017-02-10 2018-08-20 엘지전자 주식회사 단말기 및 그 제어 방법
US10375319B2 (en) * 2008-05-20 2019-08-06 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR20220026774A (ko) * 2020-08-26 2022-03-07 삼성전자주식회사 외부 장치의 위치를 보정하기 위한 전자 장치 및 그의 동작 방법
KR20220053023A (ko) * 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
KR20220053214A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 줌 기능을 지원하는 전자 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375319B2 (en) * 2008-05-20 2019-08-06 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR20180092621A (ko) * 2017-02-10 2018-08-20 엘지전자 주식회사 단말기 및 그 제어 방법
KR20220053023A (ko) * 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
KR20220026774A (ko) * 2020-08-26 2022-03-07 삼성전자주식회사 외부 장치의 위치를 보정하기 위한 전자 장치 및 그의 동작 방법
KR20220053214A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 줌 기능을 지원하는 전자 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2022114801A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2022108235A1 (ko) 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체
WO2023033333A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2022191598A1 (ko) 전자 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2023018201A1 (ko) 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법
WO2022203285A1 (ko) 이미지 안정화 어셈블리를 포함하는 카메라 모듈 및 상기 카메라 모듈을 포함하는 전자 장치
WO2023277298A1 (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
WO2024076092A1 (ko) 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치
WO2022065827A1 (ko) 무선 통신을 이용한 촬영 방법 및 이를 지원하는 전자 장치
WO2022154168A1 (ko) 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법
WO2024034856A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024029706A1 (ko) 자동 노출 제어를 수행하는 전자 장치, 그 제어 방법, 및 컴퓨터 프로그램이 기록된 기록매체
WO2024090803A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2023003368A1 (ko) 오토 포커스 기능을 제공하는 방법 및 그 전자 장치
WO2024014761A1 (ko) 카메라 흔들림을 보정하기 위한 방법 및 이를 지원하는 전자 장치
WO2024025182A1 (ko) 복수 개의 카메라를 이용하여 영상을 획득하는 전자 장치 및 그 방법
WO2022149714A1 (ko) 전자 장치의 플래시 렌즈
WO2024076176A1 (ko) 카메라를 제어하는 방법 및 전자 장치
WO2022203211A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2023080459A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2022240244A1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875157

Country of ref document: EP

Kind code of ref document: A1