WO2023096264A1 - 오토포커싱을 위한 전자 장치 및 그 동작 방법 - Google Patents

오토포커싱을 위한 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023096264A1
WO2023096264A1 PCT/KR2022/018163 KR2022018163W WO2023096264A1 WO 2023096264 A1 WO2023096264 A1 WO 2023096264A1 KR 2022018163 W KR2022018163 W KR 2022018163W WO 2023096264 A1 WO2023096264 A1 WO 2023096264A1
Authority
WO
WIPO (PCT)
Prior art keywords
processor
radar
present disclosure
camera module
vital
Prior art date
Application number
PCT/KR2022/018163
Other languages
English (en)
French (fr)
Inventor
오멜첸코안드리
크라스노쇼크일랴
슬류사렌코코스티안틴
포리브니비탈리
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22898946.3A priority Critical patent/EP4395350A1/en
Priority to US18/070,934 priority patent/US20230171493A1/en
Publication of WO2023096264A1 publication Critical patent/WO2023096264A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G01S7/006—Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data

Definitions

  • the present disclosure relates to an electronic device for autofocusing and an operating method thereof. More specifically, the present disclosure improves autofocusing for a living object, detects a living object, and uses an ultra-wideband (UWB) radar that overlaps a field of view (FOV) of a camera. Describes and relates to an electronic device that improves camera focusing. .
  • UWB ultra-wideband
  • FOV field of view
  • a portable electronic device such as a smart phone may be configured to perform various functions. Examples of various functions include a function to perform data and voice communication, a function to capture an image or video through a camera, a function to store audio, a function to play a music file through a speaker system, or a function to display an image or video. This can be. Some electronic devices include an additional function for playing games, and some other electronic devices may be implemented as multimedia devices.
  • an electronic device When an electronic device includes a camera that captures an image or video, the electronic device may provide an autofocus (AF) function so that a user can conveniently take a picture.
  • Autofocus is a function that automatically focuses when shooting, allowing users who are not familiar with camera functions to easily capture images.
  • Focusing may be performed automatically by an electronic device or manually by a photographer. When focusing is performed automatically, the electronic device needs to accurately detect an object to be focused.
  • the objects When a scene including people (or living objects such as animals) as objects is captured as an image or video, the objects should be the center of the screen composition and should be captured in as much detail as possible. However, when the objects are in a low-light environment or located within frames of different distances, or when another person's image (eg, a poster, painting, or statue) is included in the background, it is necessary to guide image characteristics or face recognition. Existing focusing systems may operate incorrectly.
  • a rangefinder only measures the distance to an object and may not be able to distinguish a living person, the main subject of a photo, from a mannequin or statue. Similar problems can occur when shooting with people wearing various types of masks or helmets or in low light conditions.
  • the electronic device when the scene to be captured includes 1 face close to the camera, the electronic device only detects 1 face close to it, cannot detect other people's faces in the background, or other unwanted people in the background. faces can be detected incorrectly.
  • a scene to be captured includes a live person's face and a facial image such as a portrait
  • the electronic device erroneously detects that there are two faces and creates two focuses on both the person's face and the portrait face. can do.
  • one aspect of the present disclosure is to prevent failure of autofocusing by recognizing movement and/or vital signs present in a scene.
  • One aspect of the present disclosure improves autofocusing for alive objects by using an ultra-wideband (UWB) radar overlapped with a camera's optical field of view (FOV) and lives objects , and improve scene understanding and camera focusing.
  • UWB ultra-wideband
  • FOV optical field of view
  • the electronic device includes a display module, a camera module, a UWB communication circuit supporting ultra wide band (UWB) communication, and at least one operatively connected to the display module, the camera module, and the UWB communication circuit.
  • contains the processor of The at least one processor may be configured to receive radar response information related to a radar return signal through the UWB communication circuit.
  • the at least one processor may be configured to analyze the radar response information to ascertain the presence of at least one vital object in the first image captured by the camera module.
  • the at least one processor may be configured to adjust autofocusing of the camera module based on the detection of the presence of the at least one life object.
  • the at least one processor may be configured to display the second image captured from the camera module through the adjusted autofocusing on the display module.
  • a method of operating an electronic device may include receiving radar response information related to a radar return signal through a UWB communication circuit.
  • the method may include analyzing the radar response information to ascertain the existence of at least one vital object in a first image captured by the camera module.
  • the method may include an operation of adjusting autofocusing of the camera module based on the detection of the existence of the at least one life object.
  • the method may include an operation of displaying a second image captured from the camera module through the adjusted autofocusing.
  • the electronic device and method of operation thereof of the present disclosure may improve autofocusing for a living object that is difficult to detect for reasons such as a low-light environment, occlusions, non-living objects similar to humans, and wearing a mask or helmet.
  • An electronic device and method of operation thereof of the present disclosure combine high-quality images of people at different distances from a camera to generate a multi-focus image, and perform scene analysis using the presence or absence of living objects or the distance to living objects. You can improve, focus on live people near or far away.
  • An electronic device and an operating method thereof according to the present disclosure may display vital sign information for vital objects in a camera preview.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a diagram illustrating image capturing in an electronic device according to an embodiment of the present disclosure.
  • 3A and 3B are views for explaining autofocusing by a camera according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating the configuration of an electronic device using a camera and UWB according to an embodiment of the present disclosure.
  • 5A and 5B are diagrams for explaining autofocusing using a camera and UWB according to various embodiments of the present disclosure.
  • FIG. 6 is a diagram for explaining scene analysis using UWB according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining autofocusing using UWB according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining human recognition using a camera and UWB according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining image correction using a camera and UWB according to an embodiment of the present disclosure.
  • FIG. 10 illustrates an image processing procedure using a camera and UWB according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating an autofocusing method using a camera and UWB according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart for explaining a procedure of analyzing a radar reflection signal according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating multi-focusing using a camera and UWB according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating face recognition using a camera and UWB according to an embodiment of the present disclosure.
  • 15A and 15B are diagrams illustrating scene analysis using a camera and UWB according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an external electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199. ) (eg, a long-distance wireless communication network) to communicate with the electronic device 104 or the server 108.
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199. eg, a long-distance wireless communication network
  • the electronic device 101 may communicate with the external electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, Sensor module 176, interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module (196), or an antenna module (197).
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components are one component (eg, display module 160). ) can be incorporated.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment of the present disclosure, as at least part of data processing or operation, processor 120 transfers instructions or data received from other components (eg, sensor module 176 or communication module 190) to volatile memory. 132, process the command or data stored in the volatile memory 132, and store the resulting data in the non-volatile memory 134.
  • software eg, the program 140
  • processor 120 transfers instructions or data received from other components (eg, sensor module 176 or communication module 190) to volatile memory. 132, process the command or data stored in the volatile memory 132, and store the resulting data in the non-volatile memory 134.
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network) that may operate independently of or together with the main processor 121 . It may include a processing unit (NPU: neural processing unit), an image signal processor, a sensor hub processor, or a communication processor). For example, when the electronic device 101 includes the main processor 121 and the auxiliary processor 123, the auxiliary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function. can The secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 is a part of other functionally related components (eg, the camera module 180 or the communication module 190).
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to an embodiment of the present disclosure, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to an embodiment of the present disclosure, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101. (eg, external electronic device 102) (eg, sound may be output through a speaker or headphones).
  • an external electronic device connected directly or wirelessly to the electronic device 101.
  • external electronic device 102 eg, sound may be output through a speaker or headphones.
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, It may include a biological sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the external electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the external electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to one embodiment of the present disclosure, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or wireless communication between the electronic device 101 and an external electronic device (eg, the external electronic device 102, the external electronic device 104, or the server 108). Establishing a channel and performing communication through the established communication channel can be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (194 ) (eg, a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module (194 ) eg, a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5-th generation (5G) network, a next-generation communication network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN).
  • 5G 5-th generation
  • next-generation communication network e.g, the Internet
  • a telecommunication network such as a computer network (eg, LAN or WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4-th generation (4G) network and a next-generation communication technology, such as NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the external electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 may include a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U- for URLLC realization.
  • Plane latency eg, downlink (DL) and uplink (UL) 0.5 ms or less, or round trip 1 ms or less
  • DL downlink
  • UL uplink
  • round trip 1 ms or less can be supported.
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • components other than the radiator eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module may be disposed on or adjacent to a printed circuit board, a first surface (eg, a lower surface) of the printed circuit board, and support a designated high frequency band (eg, mmWave band).
  • a RFIC, and a plurality of antennas eg, an array antenna
  • a second surface eg, a top surface or a side surface
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the wireless communication module 192 of the electronic device 101 is a UWB communication circuit (eg, UWB radar and/or UWB) supporting an ultra wide band (UWB) communication technology. including radar sensors).
  • UWB is a wireless technology developed to transmit data at a high transmission rate using very little power over a very short distance.
  • UWB short-range radio technology can be used to complement other long-range radio technologies such as Wi-Fi or WiMAX and cellular broadband communications.
  • UWB was developed to provide more accurate, reliable and efficient short-range communication.
  • the electronic device 101 may determine the presence or absence of a person in a certain space using a UWB communication circuit based on whether or not there are vital signs such as respiration, heart rate, and movement.
  • the UWB communication circuit can accurately detect vital signs of not only people but also various life objects such as pets due to high transmittance of ultra-wideband frequencies.
  • FIG. 2 is a diagram illustrating image capturing in an electronic device according to an embodiment of the present disclosure.
  • the processor 120 of an electronic device converts an image of a scene 200 including subjects (eg, people, animals, backgrounds, and/or props).
  • the camera module 180 may include a plurality of cameras each having different properties or functions.
  • at least one of the plurality of cameras may be a front camera 181 and at least another camera may be a rear camera 183 .
  • the processor 120 processes frames input through an image sensor (not shown) of the front camera 181 or the rear camera 183 to generate an image (eg, a preview image) 210.
  • a display module eg, the display module 160
  • the image 210 may be a preview image seen before being stored by the front camera 181 or the rear camera 183, and frames input through an image sensor (not shown) are processed based on a specified number of frames per second. It may be an image continuously output.
  • the processor 120 may acquire the image 210 from the camera module 180 and display it on the display module 160 . Also, the processor 120 may control the display module 160 to display the shutter button 202 related to the storage of the image 210 together with or overlapping with the image 210 .
  • the processor 120 may obtain an image 210 including a plurality of objects from the real scene 200 through the front camera 181 or the rear camera 183 .
  • the image 210 may be a result obtained by optically processing the scene 200 by the front camera 181 or the rear camera 183 .
  • the processor 120 analyzes the scene 200 based on the image 210 obtained by the front camera 181 or the rear camera 183, and focuses at least one of a plurality of objects.
  • the camera module 180 may be controlled to do so.
  • scene 200 may include multiple objects, which may be various alive or non-alive objects. A user may intend to focus on at least one desired object according to a photographing purpose.
  • 3A and 3B are views for explaining autofocusing by a camera according to various embodiments of the present disclosure.
  • an image 300 captured by the camera module 180 may include two faces (ie, two people) 302 and 306 .
  • the processor 120 analyzes the image 300 to detect one face 302 that is closer among the two faces 302 and 306, and focuses the camera 304 on the detected face 302.
  • the module 180 can be controlled.
  • the processor 120 may fail to detect the more distant face 306 and miss focusing.
  • an image 310 captured by the camera module 180 may include a face 312 included in a portrait and a face 314 of a real person.
  • the processor 120 may not be able to distinguish whether the two faces 312 and 314 are real people or not based only on the image 310 captured by the camera module 180, and as a result, the two faces 312 and 314
  • the camera module 180 may be controlled to detect both and focus on both of the two faces 312 and 314 .
  • the processor 120 may not apply any scene parameters in the basic mode when executing the camera application, but when the camera module 180 is confronted with a scene including a portrait or photo, the processor 120 recognizes the portrait face 312 or the face in the photograph as a real person, and operates the camera module 180 by applying erroneous scene optimization parameters (eg portrait mode).
  • erroneous scene optimization parameters eg portrait mode
  • motion, breathing, or heartbeat can be detected within a scene captured by the camera module 180 using a UWB communication circuit, which may be included in the wireless communication module 192 of the electronic device 101.
  • the same life signs may be detected, and the presence of life objects sensed based on the detected life signs may be applied to autofocusing of the camera module 180 .
  • FIG. 4 is a diagram illustrating the configuration of an electronic device using a camera and UWB according to an embodiment of the present disclosure.
  • an electronic device may include a camera module (eg, the camera module 180) and a UWB communication circuit 402.
  • the UWB communication circuit 402 includes a UWB radar sensor and may be included in the wireless communication module 192 of FIG. 1 .
  • the camera module 180 may capture an image from an optical field of view (optical FOV) that may be focused at a specific distance(s) during a real scene and provide the captured image to the processor 120 .
  • optical FOV optical field of view
  • the UWB communication circuitry 402 may have a radar field of view (radar FOV) that may include or at least partially overlap the optical field of view of the camera module, and may collect radar return signals within the radar field of view. there is.
  • the UWB communication circuit 402 may transmit a radar signal of a specific format through the UWB radar, and collect a radar reflection signal returned by reflecting the transmitted signal on an object through the UWB radar sensor. there is.
  • the UWB communication circuit 402 may calculate the distance between the electronic device 101 and the object by measuring the arrival time of the radar reflection signal after the radar signal is transmitted, for example, as in the following equation.
  • the radar signal transmitted from the UWB radar of the UWB communication circuit 402 reaches an object (for example, an object or a person) located within the radar field of view and is reflected, and the UWB radar sensor of the UWB communication circuit 402 reflects the reflection.
  • received signal that is, referred to as a radar reflection signal.
  • Signals in the area not touching the object are continuously radiated, and only signals in the area touching the object can be reflected.
  • Some of the radar signals that reach some objects (eg people or animals) may be transmitted.
  • the electronic device 101 can measure the heart rate of a person or animal through the UWB communication circuit 402 .
  • a signal transmitted and received based on UWB may be defined as a signal having a bandwidth higher than the center frequency or a signal having a bandwidth higher than 0.5 GHz, for example.
  • the signal may be specified as a band of 3.1 to 10.6 GHz.
  • the UWB communication circuit 402 can generate very short radio frequency (RF) pulses in a sub-nanosecond range and use them for object detection and image applications.
  • RF radio frequency
  • the UWB communication circuitry 402 may include a UWB radar, a UWB radar sensor, and a processor of its own.
  • the UWB communication circuit 402 may periodically transmit a radar signal having a given signature pulse through the UWB radar, and the radar reflection signal received through the UWB radar sensor is a high pass filter (HPF) and a low noise amplifier (LNA). , and DAC (digital-to-analog converter), and may be sampled and then stored in a buffer. Each of the sampled data may indicate how far away from the UWB radar the radar signal is reflected.
  • HPF high pass filter
  • LNA low noise amplifier
  • DAC digital-to-analog converter
  • the UWB communication circuit 402 analyzes the radar return signal collected by the UWB radar sensor by the own processor and extracts vital signs (eg, movement, heartbeat and/or respiration) of objects present in the radar field of view, Among the objects, vital objects may be recognized, and distances to the vital objects may be calculated.
  • vital signs eg, movement, heartbeat and/or respiration
  • the UWB communication circuit 402 measures the location of the chest/belly, which changes whenever the vital object breathes, and measures the heart rate and respiratory rate of the vital object. vital signs such as A change in the distance can be measured by measuring the distance of the breathing living object for a certain time period t using the radar signal and the radar reflection signal. This is because the position data of the moving chest/belly when the living object breathes is captured by the UWB communication circuit 402 . Arranging the measured chest/abdomen position data in chronological order shows the shape of a waveform whose size changes at regular intervals over time, and the change in the waveform may coincide with the breathing cycle of a vital object.
  • the UWB communication circuit 402 may calculate the respiratory rate using the positional data arranged in the chronological order.
  • the UWB communication circuitry 402 may determine an object for which vital signs such as motion, heartbeat, or respiration are not detected as a non-living object.
  • the UWB communication circuit 402 determines the movement, vital sign, alive-not-alive feature, number of objects, or objects of the objects based on the radar return signal. At least one piece of information (hereinafter, referred to as radar response information) among distances to , may be obtained and provided to the processor 120 .
  • the processor 120 performs the camera module 180 based on radar response information provided from the UWB communication circuit 402 (eg, including the number of vital objects and distances to vital objects). ) can be analyzed.
  • the radar response information is motion, vital sign, alive-not-alive feature, number of objects, or distances to objects detected by the UWB radar sensor. may include at least one of them.
  • the radar response information provided from the UWB communication circuit 402 may include transmission/reception timings of a raw radar signal and a radar reflection signal
  • the processor 120 may include the radar response information is analyzed to obtain at least one of motion of objects, vital signs, alive-not-alive features, the number of living objects, or distances to objects, and based on the obtained information
  • the camera module 180 may be controlled or an image provided from the camera module 180 may be analyzed.
  • the processor 120 may activate the UWB communication circuit 402 while the camera module 180 is in operation and may control to provide radar response information or transmission/reception information to the UWB communication circuit 402. . In one embodiment of the present disclosure, the processor 120 may activate the UWB communication circuit 402 when the camera application is executed. In one embodiment of the present disclosure, the processor 120 may control the UWB communication circuit 402 to collect a radar reflection signal from a radar field of view overlapping the field of view of the camera module 180 . The UWB communication circuit 402 transmits a radar signal in response to an activation command from the processor 120, for example, collects a radar return signal from the radar field of view and generates a radar signal based on the radar signal and the radar return signal. Radar response information may be provided to the processor 120 .
  • the processor 120 controls autofocusing of the camera module 180 based on the radar response information provided from the UWB communication circuit 402 or generated by itself, or color correction. ), context-based scene understanding, or adaptive compression are applied to correct the image provided from the camera module 180, and display the corrected image to the display module ( Example: Can be displayed on the display module 160).
  • the processor 180 is configured to multi-focus the camera module to people at different distances in the image captured from the camera module 180 based on the radar response information provided from the UWB communication circuit 402. (180) can be controlled.
  • the processor 180 is a camera module to acquire images of living objects in low-light conditions with higher quality based on the radar response information provided from the UWB communication circuit 402. (180) (eg autofocusing) can be controlled.
  • the processor 120 may perform scene analysis based on the detection of life objects for images captured from the camera module 180 .
  • 5A and 5B are diagrams for explaining autofocusing using a camera and UWB according to various embodiments of the present disclosure.
  • an image 500 obtained through a camera module 180 may include a portrait 502 and a real person 504 identical to the portrait 502 .
  • Processor 120 may erroneously recognize that two identical people 502 and 504 exist in image 500 by performing camera-based autofocusing on image 500 . Based on the above false recognition, the processor 120 controls the camera module 180 to focus 506 the portrait 502 located in the relatively center of the image 500, so that the real person 504 is out of focus.
  • an image 510 acquired through the camera module 180 may include a portrait 512 and a real person 514 identical to the portrait 512 .
  • the processor 120 may obtain radar response information indicating that vital objects exist within the radar field of view overlapping with the image 510 of the camera module 180 based on the radar transmission/reception information received from the UWB communication circuit 402. there is.
  • the radar response information may indicate not only the distance to the person 514 in the image 510, but also indicate that the person 514 corresponds to a vital object by a vital sign extracted from the person 514.
  • the processor 120 can know that the portrait 512 in the image 510 corresponds to a non-living object.
  • the processor 120 controls the camera module 180 to focus on a living person 514 (or a living object) by performing autofocusing using the radar response information, that is, UWB-based autofocusing.
  • the processor 120 sets the camera of the camera module 180 to provide a higher quality image of the person 514 (or life object) using the radar response information (eg: Scene optimization parameters or scene mode) can be adjusted to suit the presence of a living person 514 (or living object).
  • the processor 120 may correct an image provided from the camera module 180 to provide a higher quality image of the person 514 (or life object) using the radar response information.
  • FIG. 6 is a diagram for explaining scene analysis using UWB according to an embodiment of the present disclosure.
  • the processor 120 of the electronic device 101 may provide the following functions through scene analysis using a UWB communication circuit (eg, the UWB communication circuit 402).
  • a UWB communication circuit eg, the UWB communication circuit 402
  • the radar response information obtained through the UWB communication circuit 402 is used to further enable the electronic device 101 to detect moving object(s) and/or detect the absence of living objects. can do.
  • FIG. 7 is a diagram for explaining autofocusing using UWB according to an embodiment of the present disclosure.
  • a real scene 706 may include a living object (eg, a living person) having a protective color similar to the background.
  • the camera module 180 may obtain an optical image 704 of the real scene 706, and the UWB communication circuit 402 may transmit radar transmission/reception information 702 (radar response information) of the real scene 706.
  • radar transmission/reception information 702 radar response information
  • the processor 120 of the electronic device 101 uses only the optical image 704 to capture the living person (or living object). Its presence can be difficult to detect.
  • a life sign eg, movement, heartbeat, or respiration
  • the processor 120 includes the radar transmission/reception information 702 (radar response information) obtained from the UWB communication circuit 402 in the optical image 704 obtained from the camera module 180.
  • the camera module 180 may be controlled to automatically focus on the detected person (or life object).
  • the processor 120 of the electronic device 101 moves the image included in the optical image 704 based on the radar transmission/reception information 702 (radar response information) obtained from the UWB communication circuit 402. The distance to the object may be calculated or obtained.
  • the camera module 180 can more accurately focus the detected moving object based on the distance. can be calculated or obtained.
  • FIG. 8 is a diagram for explaining human recognition using a camera and UWB according to an embodiment of the present disclosure.
  • an image 802 captured by the camera module 180 may include a number of people.
  • the processor 120 may recognize some people 804 by applying a camera-based human recognition technology based on the image 802 obtained from the camera module 180, but some people 806 may not be recognized. It can fail.
  • the processor 120 obtains from the camera module 180 by detecting vital objects based on the radar transmission/reception information 812 (radar response information) obtained by the UWB communication circuit 402.
  • the image 802 may be improved.
  • the processor 120 may generate a list 814 of life objects by analyzing radar transmission/reception information 812 (radar response information).
  • the list 814 of vital objects may include distances at which humans are detected and the number of humans per distance. For example, two humans may exist within a distance range of 3.1 meters, three humans may exist within a distance range of 4.5 meters, and two humans may exist within a distance range of 6.0 meters.
  • the processor 120 succeeds in improved human recognition by improving the image 802 based on the radar transmission/reception information 812 (radar response information), and corrects recognizing living people 822.
  • the image 822 may be acquired.
  • the calibrated image 822 is generated by the camera so that the processor 120 accurately focuses active and moving objects that are in a low-light environment and/or have protective colors based on the list of vital objects 814. It can be obtained by controlling the module 180.
  • the corrected image 822 may be obtained by the processor 120 directly correcting an image obtained from the camera module 180 (eg, the image 802 ).
  • the processor 120 may perform context-based scene analysis based on the list 814 of vital objects. In one embodiment of the present disclosure, the processor 120 may prevent hacking using a non-living picture or a 3D face based on the list 814 of vital objects to improve security through face recognition 824.
  • FIG. 9 is a diagram for explaining image correction using a camera and UWB according to an embodiment of the present disclosure.
  • a real scene 902 may include both a portrait and a face of a real person.
  • the camera module 180 may obtain an image 904 (eg, an optical image) from the real scene 902, and the UWB communication circuit 402 may obtain radar transmission/reception information 908 (radar image) from the real scene 902. response information) can be obtained.
  • the processor 120 includes an autofocusing function unit 906 that takes an image 904 as an input and a vital sign extraction function unit that takes radar transmission/reception information 908 (or radar response information) as an input ( 910) may be included.
  • the functional units 906 and 910 may be hardware included in the processor 120 or software executed by the processor 120 .
  • the vital sign extraction function unit 910 takes the radar transmission/reception information 908 (or radar response information) as an input and is included in the actual scene 902 based on the radar transmission/reception information 908 (or radar response information) It is possible to extract vital signs, detect a vital object (ie, a living person) based on the vital signs, and calculate a distance to the vital object. Information on the distance to the vital object may be transmitted to the autofocusing function unit 906 .
  • the autofocusing function unit 906 takes the image 904 and the distance to the life object as an input, and the camera module to focus the life object based on the distance to the life object. (180) can be controlled.
  • the camera module 180 may capture an image 914 having autofocus adjusted by the autofocusing function 906 .
  • the camera module 180 may obtain an adjusted image 914 by autofocusing a real person 916 present in the real scene 902 .
  • the processor 120 may control the camera module 180 to perform color correction, scene analysis, or adaptive compression using the existence of the vital object and the distance to the vital object. there is.
  • FIG. 10 illustrates an image processing procedure using a camera and UWB according to an embodiment of the present disclosure.
  • a processor 120 may communicate with a camera module 180 and a UWB communication circuit 402, and may include a camera control function unit 1004, a focus control function unit 1006, and a camera frame pre-processing function unit. 1010, a camera image processing function unit 1012, a context analysis function unit 1014, a distance calculation function unit 1016, an object detection function unit 1018, or a life sign extraction function unit 1020. can include In one embodiment of the present disclosure, at least one of the functional units 1010, 1012, 1014, 1016, 1018, and 1020 may be implemented as hardware included in the processor 120 or software executed by the processor 120. .
  • the camera module 180 may input an image captured of the actual scene 1002 to the processor 120 .
  • the camera control function unit 1004 may transfer the camera frames 1008 included in the image received from the camera module 180 to the camera image processing function unit 1012 and the camera frame pre-processing function unit 1010 .
  • the camera frame pre-processing function unit 1010 performs pre-processing on the camera frames 1008 to provide information on lighting conditions or a face detected based on the camera to the camera image processing function unit 1012. can
  • the UWB communication circuit 402 collects radar transmission/reception information through a radar field of view that may overlap with the optical field of view of the camera module 180 and analyzes the radar transmission/reception information to obtain radar response information ( 1000) may be input to the processor 120.
  • the radar response information 1000 may include a distance for autofocusing of the camera module 180.
  • the radar response information 1000 may include information indicating whether at least one object having a vital sign (ie, a vital object) exists or not and vital signs for scene analysis.
  • the radar response information 1000 may include the number and distances of vital objects.
  • the UWB communication circuit 402 provides raw radar transmission/reception information to the processor 120 instead of providing the radar response information 1000, and the processor 120 provides the radar transmission/reception information.
  • the radar response information 1000 may be detected by analyzing .
  • the distance calculating function unit 1016 may obtain a distance from the radar response information to at least one object having a vital sign (ie, a vital object). Information on the distance may be transmitted to the focus control function unit 1006, and the focus control function unit 1006 may control autofocusing of the camera module 1080 based on the distance. Information about the distance may also be passed to the context analysis function 1014 .
  • the object detection function unit 1018 identifies at least one object distinguishable from the radar response information and determines whether each identified object is a vital object having a vital sign, so as to determine whether a vital object exists.
  • Life-non-life status information representing may be transmitted to the context analysis function unit 1014 .
  • the vital signs extraction function unit 1020 may receive information on vital signs through the object detection function unit 1018 or directly extract vital signs from the radar response information, and the values of the vital signs may be context may be passed to the analysis function 1014.
  • the context analysis function 1014 takes camera frames 1008 as input, distances provided from the distance calculation function 1016, and life-cost provided from the object detection function 1018.
  • Context-based scene analysis may be performed on the camera frames 1008 based on vitality information and values of vital signs provided from the vital sign extraction function unit 1020 .
  • the result of the scene analysis may include image processing information according to the context environment or the number and distances of living objects, and may be transmitted to the camera image processing function unit 1012 .
  • the camera image processing function unit 1012 takes the camera frames 1008 as an input, and information about the face detected based on the lighting condition or the camera transmitted from the camera frame pre-processing function unit 1010. And, based on the image processing information according to the number and distances of the context environment or life objects provided from the context analysis function unit 1014, a correction algorithm such as image compression or color correction is executed, and an improved image including a scene description is performed. s (1022, 1024, 1026, 1028) can be output.
  • image 1022 may be provided with a scene description for a person, such as “a woman standing in front of a painting,” and may include a mannequin, sculpture, photograph, image in a mirror, or a real person instead of a portrait. may be an image in focus.
  • a real person may be detected based on vital signs and may be focused based on distance to vital objects.
  • the image 1024 may include several people, and may be a multi-focused image of multiple real people. Multiple real people within image 1024 may be detected based on vital signs, and may be focused based on their respective distances to vital objects.
  • the image 1026 may include a life object (for example, a crocodile in a grassy forest) covered with a protective color, and may be an image in which the life object is focused in the background. Vital objects within the image 1026 may be detected based on vital signs and may be focused based on distances to the vital objects.
  • a life object for example, a crocodile in a grassy forest
  • a protective color for example, a crocodile in a grassy forest
  • Vital objects within the image 1026 may be detected based on vital signs and may be focused based on distances to the vital objects.
  • image 1028 may include a real person captured in a low light environment, or may be an image in focus of a real person in a low light environment. In a low-light environment, it may be difficult to focus on a living object existing in a scene using only the image 1026 captured from the camera module 180, but the UWB communication circuit 402 can detect the living object without obstacles. A living person in the image 1028 can be detected based on vital signs, and a camera image processing function unit ( 1012 may generate a high contrast image 1028 .
  • the processor 120 may control the camera module 180 to focus on a live person in a low-light environment by a distance calculated based on radar transmission/reception information from the UWB communication circuit 402, A high-contrast image may be obtained through the controlled camera module 180 .
  • the processor 120 based on the existence information of the life object acquired based on the radar transmission/reception information from the UWB communication circuit 402, performs a picture, a poster, a screen, a picture gallery, a movie, or a shopping mall. In scenes containing images of people in pictures, mannequins, wax figures, sculptures, or mirrors, or scenes where a living person is obscured by an obstacle, the image quality of a living person may be improved. In one embodiment of the present disclosure, the processor 120 more accurately detects a face turned away or a face covered by a mask, helmet, makeup, or obstacle in a medical sensor, a quarantine station, or a carnival event, and improves image quality of a living person. can do.
  • the processor 120 determines whether a life object having a protective color (eg, an animal or The image quality of an image including a life object may be improved by focusing on a person dressed in makeup.
  • the processor 120 may control the camera module 180 to provide multi-focusing to a plurality of people who have different distances to the camera module 180 .
  • the processor 120 may improve the security level by preventing hacking by a non-living person or a 3D face shape in face recognition.
  • FIG. 11 is a flowchart illustrating an autofocusing method using a camera and UWB according to an embodiment of the present disclosure.
  • the processor 120 of the electronic device 101 may receive radar response information from the UWB communication circuit (eg, the UWB communication circuit 402).
  • radar response information may be provided from UWB communication circuitry 402 from a radar field of view that may overlap with an optical field of view of a camera module (eg, camera module 180 ).
  • the processor 120 may analyze the radar response information to determine whether a vital object exists in the image captured by the camera module 180.
  • the processor 120 may identify objects in a scene and calculate a distance to each object through analysis of transmission times of radar signals and reception times of radar reflection signals included in the radar response information. there is.
  • the processor 120 extracts vital signs (eg, at least one of movement, heartbeat, or respiration) for objects in a scene through analysis of the radar response information, and based on the vital signs It is possible to distinguish life objects among the objects.
  • vital signs eg, at least one of movement, heartbeat, or respiration
  • the processor 120 may adjust autofocusing of the camera module 180 based on the radar response information.
  • the radar response information may include life-non-life information indicating whether vital objects exist.
  • the radar response information may include the number of vital objects and the distance to each vital object.
  • the radar response information may include at least one of a distance to each object, a vital sign, life-non-life, existence of a living object, or number of objects.
  • the processor 120 may control the camera module 180 to focus on each vital object based on the radar response information.
  • the processor 120 may display an image captured from the camera module 180 on the display module 160 through the adjusted autofocusing. In one embodiment of the present disclosure, the processor 120 may display the image on the display module 160 after additionally correcting the image captured from the camera module 180 based on the radar response information.
  • the processor 120 may display information related to vital objects acquired from the radar response information, for example, the number of vital objects and their respective distances, on the display module 160 along with the display of the image. .
  • the processor 120 may display information indicating a life object identified based on radar response information, for example, a rectangle indicating a face of an identified person, together with displaying the image. there is.
  • FIG. 12 is a flowchart for explaining a procedure of analyzing a radar reflection signal according to an embodiment of the present disclosure.
  • the operations of FIG. 12 may correspond to operation 1110 in one embodiment of the present disclosure.
  • the processor 120 of the electronic device 101 analyzes transmission/reception information of the radar signal and the radar reflection signal provided from the UWB communication circuit 402, and analyzes the radar signal included in the radar reflection signal.
  • tar can be removed.
  • Clutter may include unwanted signals received after being reflected from static objects other than a target in the radar (ie, non-moving objects), for example, the ground, sea surface, building, floor, ceiling, or wall.
  • clutter removal may be performed by at least one of an averaging filter, a loop-back filter, and a Kalman filter. Through the removal of clutter, the processor 120 may obtain radar reflection signals corresponding to moving objects.
  • the processor 120 may detect motions of objects included in the scene by halving the (clutter-removed) radar reflection signal. In one embodiment of the present disclosure, the processor 120 may use the accumulated radar return signal for a designated time (eg, 0.5 seconds) to detect the motion. In one embodiment of the present disclosure, the processor 120 may find a cluster (ie, distance ranges) having moving objects by executing a signal processing filtering technique based on a threshold value.
  • a cluster ie, distance ranges
  • the processor 120 may identify and classify moving objects included in the scene (eg, may include a human) through the detection of the motion.
  • the processor 120 applies a spectral transform, for example, a wavelet transform to obtain a spectrum of the (clutter removed) radar reflection signal, thereby generating a significant amplitude ( amplitudes) (i.e. motion).
  • a principal component analysis (PCA) technique may be applied to reduce the distance dimension of each detected cluster.
  • the processor 120 performs a designated pattern matching (eg, human respiration rate is 12 to 16 cycles per minute) for a radar return signal accumulated for a designated time (eg, 3 seconds). ) to find clusters containing humans.
  • the processor 120 may extract vital signs (eg, heart rate or respiration) from the classified objects. Based on the vital signs, the processor 120 may detect vital objects among the classified objects. In one embodiment of the present disclosure, processor 120 may extract vital signs using pattern recognition machine learning and signal processing techniques (eg, signal decomposition for respiration or heartbeat). can In one embodiment of the present disclosure, the processor 120 may detect whether an object (eg, a person) having a vital sign exists and/or how many people exist for each cluster. As an example, in FIG. 8 , the processor 120 may detect that two humans exist at a distance of 3.1 meters based on the UWB signal and, if necessary, detect that the respiratory rate is 1.55 Hz.
  • vital signs eg, heart rate or respiration
  • the processor 120 may determine the number of detected vital objects and distances to individual vital objects. In one embodiment of the present disclosure, for each of a plurality of distance ranges, the processor 120 determines the number of life objects included in the same distance range, and generates a list of life objects representing the number of life objects per distance range. can do. In one embodiment of the present disclosure, the list of vital objects may be used for autofocusing in operation 1115. In an embodiment of the present disclosure, the list of life objects may be displayed together with an image including a corresponding scene (or an image having corrected autofocusing) on the display module 160 in operation 1125 .
  • FIG. 13 is a diagram illustrating multi-focusing using a camera and UWB according to an embodiment of the present disclosure.
  • an image 1302 captured through a camera module 180 of a real scene may include a nearby person 1306 and a far person 1304, and the camera module 180 is a processor. Under the control of 120 , an image 1302 may be created by focusing on a closer person 1306 .
  • the image 1312 captured for the same scene may include a near person 1316 and a far person 1314, and the camera module 180 focuses on the more distant person 1314 to capture the image 1312.
  • the processor 120 combines an image 1302 focused on a closer person 1306 with an image 1312 focused on a more distant person 1314 to create a multi-focused image 1322. ) and display the multi-focused image 1322 on the display module 160 of the electronic device 101.
  • the multi-focused image 1322 may include both a focused far person 1324 and a focused near person 1326 .
  • the processor 120 may display information 1328 of living people 1324 and 1326 included in the scene together with the multi-focused image 1322 .
  • information 1328 includes distances to each of the living people included in the scene, i.e. the distance to a nearby person 1326, for example 1.2m (1328a), and a far person ( 1324), for example 4.7m (1328b).
  • FIG. 14 is a diagram illustrating face recognition using a camera and UWB according to an embodiment of the present disclosure.
  • the processor 120 captures an image of a user's face 1402 for which face recognition is desired through a camera module 180, while using a UWB communication circuit 402 to capture the user's vital signs. (1404) can be extracted.
  • the processor 120 may determine that the user's face 1402 is captured from a living person based on the radar response information from the UWB communication circuit 402, and analyze the face 1402 to succeed in face recognition 1406. there is.
  • the processor 120 determines whether at least one vital object is not detected by the UWB communication circuit 402 during face recognition, or vital signs of an image of a user subject to face recognition are not extracted. If not, it may be determined that face recognition for the security function has failed.
  • 15A and 15B are diagrams illustrating scene analysis using a camera and UWB according to various embodiments of the present disclosure.
  • an image 1506 captured by the camera module 180 may include two humans 1502 and 1504 and one animal 1506 at different distances on the road.
  • the processor 120 detects that the objects 1502, 1504, and 1506 included in the image 1506 are vital objects based on radar response information from the UWB communication circuit 402, and based on the radar response information
  • a scene description 1508 for the created image 1506 may be displayed along with the image 1506 .
  • the scene description 1508 may indicate [animal - 1.3m (1508a), human - 2.2m (1508b), human - 4.5m (1508c)].
  • an image 1510 captured by the camera module 180 may include an image 1512 of a human being, which is a non-living object, in an advertising sign installed on a roadside.
  • the processor 120 detects that the object 1512 included in the image 1510 is a non-living object based on radar response information from the UWB communication circuit 402, and describes the scene of the image 1510 ( 1514) can be displayed together with the image 1510.
  • the scene description 1514 may indicate [“No alive objects”].
  • An electronic device 101 includes a display module 160, a camera module 180, a UWB communication circuit 402 supporting ultra wide band (UWB) communication, and the above It may include a display module, the camera module, and at least one processor 120 operably connected to the UWB communication circuitry, wherein the at least one processor transmits radar response information related to a radar return signal through the UWB communication circuitry. It can be configured to receive.
  • the at least one processor may be configured to analyze the radar response information to ascertain the presence of at least one vital object in the first image captured by the camera module.
  • the at least one processor may be configured to adjust autofocusing of the camera module based on the detection of the existence of the at least one life object.
  • the at least one processor may be configured to display the second image captured from the camera module through the adjusted autofocusing on the display module.
  • the UWB communication circuit may generate the radar response information based on a radar reflection signal obtained from a radar view overlapping an optical view of the camera.
  • the at least one processor may control the camera module to focus on at least one vital object detected through analysis of the radar response information.
  • the at least one processor may display scene description information related to the at least one life object on the display module along with the second image.
  • the scene description information may include the number and/or each distance of the at least one vital object.
  • the at least one processor analyzes the radar response information to extract vital signs related to the at least one life object, and determines the at least one vital object based on the extracted vital signs. existence can be confirmed.
  • the at least one processor sets scene optimization parameters related to at least one of color correction, context-based scene analysis, or adaptive compression to the camera module based on the presence or absence of the at least one life object. can be applied to
  • the at least one processor calculates a distance to the at least one vital object based on the radar response information, and focuses the camera at the at least one vital object of the calculated distance. module can be controlled.
  • the at least one processor may detect the at least one life object in a low-illuminance environment based on the radar response information and control the camera module to focus the at least one life object. there is.
  • the at least one processor may determine that face recognition in the first image has failed when the absence of at least one living entity is detected based on the radar response information.
  • a method of operating an electronic device may include an operation 1105 of receiving radar response information through a UWB communication circuit.
  • the method may include an operation 1110 of analyzing the radar response information to ascertain the presence of at least one vital object in a first image captured by the camera module.
  • the method may include an operation 1115 of adjusting autofocusing of the camera module based on the detection of the existence of the at least one life object.
  • the method may include an operation 1120 of displaying a second image captured from the camera module through the adjusted autofocusing.
  • the method may further include controlling the UWB communication circuit to generate the radar response information based on a radar reflection signal obtained from a radar field of view overlapping an optical field of view of the camera. there is.
  • the adjusting operation may include controlling the camera module to focus on at least one life object detected through analysis of the radar response information.
  • the method may further include displaying scene description information related to the at least one life object together with the second image.
  • the scene description information may include the number and/or each distance of the at least one vital object.
  • the analyzing may include extracting vital signs related to the at least one vital object by analyzing the radar response information, and extracting vital signs related to the at least one vital object based on the extracted vital signs. It may include an operation to check the existence of.
  • the adjusting operation may include setting scene optimization parameters related to at least one of color correction, context-based scene analysis, or adaptive compression to the camera module based on the presence or absence of the at least one life object. It may include an application operation.
  • the method includes calculating a distance to the at least one vital object based on the radar response information, and the camera module to focus the at least one vital object of the calculated distance.
  • An operation for controlling may be further included.
  • the method may detect the at least one vital object in a low-illuminance environment based on the radar response information, and control the camera module to focus on the at least one vital object.
  • the method may further include an operation of determining that face recognition in the first image has failed when the absence of at least one living entity is detected based on the radar response information.
  • the radar response information includes the number of vital objects and distances to vital objects, a transmission/reception time of a non-operated radar signal and a radar reflection signal, and a distance for autofocusing of the camera module. It may include at least one of information and information indicating whether at least one object having a vital sign exists.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, and is interchangeably interchangeable with terms such as, for example, logic, logical blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (eg, the program 140).
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • methods according to various embodiments of the present disclosure may be included in and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium readable by a device such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the components described above may include a single object or a plurality of objects, and some of the plurality of objects are separated from other components. may be placed.
  • one or more components or operations among the corresponding components described above may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component performs one or more functions of each component of the plurality of components by a corresponding component among the plurality of components prior to the integration.
  • operations performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order. may be added, omitted, or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치를 개시한다. 전자 장치는 디스플레이 모듈, 카메라 모듈, 초광대역(UWB) 통신을 지원하는 UWB 통신 회로, 및 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 상기 UWB 통신 회로를 통해 레이더 반사 신호를 수신하고, 상기 카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 반사 신호를 분석하고, 상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하고, 상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 상기 디스플레이 모듈에 표시하도록 구성될 수 있다.

Description

오토포커싱을 위한 전자 장치 및 그 동작 방법
본 개시는 오토포커싱을 위한 전자 장치 및 그 동작 방법에 관한 것이다. 보다 구체적으로, 본 개시는 카메라의 시야(field of view: FOV)와 중첩되는 초광대역(ultra-wideband: UWB) 레이더를 사용하여 생명 객체에 대한 오토포커싱을 개선하고, 생명 객체를 감지하며, 장면 설명 및 카메라 포커싱을 향상시키는 전자 장치에 관한 것이다. .
스마트폰과 같은 휴대용 전자 장치는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 다양한 기능들의 예로는 데이터 및 음성통신을 수행하는 기능, 카메라를 통해 이미지나 동영상을 촬영하는 기능, 음성을 저장하는 기능, 스피커 시스템을 통한 음악 파일을 재생하는 기능, 또는 이미지나 비디오를 디스플레이하는 기능이 있을 수 있다. 일부 전자 장치는 게임을 실행할 수 있는 추가적 기능을 포함하고, 다른 일부 전자 장치는 멀티미디어 기기로서 구현될 수 도 있다.
전자 장치가 이미지나 동영상을 촬영하는 카메라를 포함할 때, 전자 장치는 사용자가 간편하게 촬영을 수행할 수 있도록 오토포커스(autofocus: AF) 기능을 제공할 수 있다. 오토포커스 기능은 촬영 시 자동으로 초점을 맞춰주는 기능으로 카메라 기능에 익숙하지 않은 사용자도 간편하게 이미지를 캡처할 수 있도록 해 준다.
이미지를 캡처하는 기술은 장면을 영상화 하는 것뿐 아니라 객체(object)를 포커싱하는 것을 발전시키기 위해 개발되어 왔다. 포커싱은 전자 장치에 의해 자동으로 실행되거나 또는 촬영자에 의해 수동으로 실행될 수 있다. 포커싱이 자동으로 실행될 때 전자 장치는 포커싱할 객체를 정확히 검출할 필요가 있다.
상기 정보는 본 개시내용의 이해를 돕기 위한 배경 정보로서만 제공된다. 위의 내용 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며 어떠한 주장도 이루어지지 않는다.
사람들(또는 동물들과 같은 살아있는 대상들)을 객체들로 포함하는 장면을 이미지나 동영상으로 캡처할 때 상기 객체들은 화면 구성의 중심이 되어야 하며 최대한 상세하게 캡처되어야 한다. 그런데 상기 객체들이 저조도 환경에 있거나 또는 서로 다른 거리의 프레임들 내에 위치하는 경우, 또는 다른 사람의 이미지(예: 포스터, 그림 또는 동상)가 배경에 포함되는 경우에, 이미지 특성이나 얼굴 인식을 가이드하는 기존의 포커싱 시스템이 부정확하게 작동할 수 있다.
이러한 이슈는 레인지 파인더를 사용하여도 완전히 해결되지 않을 수 있다. 레인지 파인더는 객체까지의 거리만을 측정할 뿐, 사진의 주요 주제인 살아있는 사람을 마네킹 또는 동상과 구별하지 못할 수 있다. 다양한 종류의 마스크나 헬멧을 착용한 사람이나 낮은 조도의 조건에서 촬영할 때에도 유사한 문제가 발생할 수 있다.
예를 들어 캡처하고자 하는 장면이 카메라에 가까이 있는 1개의 얼굴을 포함할 때, 전자 장치는 가까이 있는 1개의 얼굴만을 검출하거나, 배경 내에 다른 사람의 얼굴을 검출하지 못하거나, 배경 내에 원하지 않는 다른 사람의 얼굴을 잘못 검출할 수 있다.
예를 들어 캡처하고자 하는 장면이 살아있는 사람의 얼굴과 초상화와 같은 얼굴 이미지를 포함할 때, 전자 장치는 2개의 얼굴들이 존재하는 것으로 잘못 검출하고 사람의 얼굴과 초상화의 얼굴 모두에 2개의 포커스들을 생성할 수 있다.
본 개시의 양태들은 적어도 위에서 언급된 문제 및/또는 단점을 다루고 적어도 아래에서 설명되는 이점을 제공한다. 따라서 본 개시의 일 양태는 장면 내에 존재하는 움직임 및/또는 생체 징후를 인식함으로써 오토포커싱의 실패를 방지하는 것이다.
본 개시의 일 양태는 초광대역(ultra-wideband: UWB) 레이더를 카메라의 광학적 시야(field of view: FOV)와 함께 중첩하여 사용함으로써 생명 객체들(alive objects)에 대한 오토포커싱을 개선하고 생명 객체들을 검출하며, 장면 분석(scene understanding)과 카메라 포커싱을 향상시키는 것이다.
추가적인 양태들은 다음 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백할 것이며, 또는 제시된 실시예의 실행에 의해 학습될 수 있다.
본 개시의 일 양태에 따른 전자 장치가 개시된다. 상기 전자 장치는, 디스플레이 모듈과, 카메라 모듈과, 초광대역(ultra wide band: UWB) 통신을 지원하는 UWB 통신 회로와, 상기 디스플레이 모듈, 상기 카메라 모듈 및 상기 UWB 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 상기 UWB 통신 회로를 통해 레이더 반사 신호와 관련된 레이더 응답 정보를 수신하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 응답 정보를 분석하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 상기 디스플레이 모듈에 표시하도록 구성될 수 있다.
본 개시의 다른 양태에 따른 전자 장치의 동작 방법이 개시된다. 상기 방법은, UWB 통신 회로를 통해 레이더 반사 신호와 관련된 레이더 응답 정보를 수신하는 동작을 포함할 수 있다. 상기 방법은 카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 응답 정보를 분석하는 동작을 포함할 수 있다. 상기 방법은 상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하는 동작을 포함할 수 있다. 상기 방법은 상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 표시하는 동작을 포함할 수 있다.
본 개시의 전자 장치 및 그 동작 방법은, 저조도 환경, 폐색(occlusions), 인간과 유사한 비-생명 객체, 마스크나 헬멧의 착용과 같은 이유로 검출하기 어려운 생명 객체에 대한 오토포커싱을 개선할 수 있다.
본 개시의 전자 장치 및 그 동작 방법은, 카메라에서 서로 다른 거리에 있는 사람들의 고품질 이미지들을 결합하여 다중 초점 이미지를 생성하며, 생명 객체들의 존재 여부나 생명 객체들까지의 거리를 이용하여 장면 분석을 개선하고, 가깝거나 먼 거리에 있는 살아있는 사람을 포커싱할 수 있다.
본 개시의 전자 장치 및 그 동작 방법은, 카메라 프리뷰에서 생명 객체들에 대한 생명 징후(vital sign)의 정보를 표시할 수 있다.
본 개시의 다른 양태, 이점 및 두드러진 특징은 첨부된 도면과 함께 취해진 본 개시의 다양한 실시예들을 개시하는 다음의 상세한 설명으로부터 당업자에게 명백해질 것이다.
본 개시내용의 특정 실시양태의 상기 및 다른 측면, 특징 및 이점은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백할 것이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치에서 이미지 촬영을 도시한 도면이다.
도 3a 및 도 3b는 본 개시의 다양한 실시예들에 따른 카메라에 의한 오토포커싱을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따라 카메라 및 UWB를 사용하는 전자 장치의 구성을 도시한 도면이다.
도 5a 및 도 5b는 본 개시의 다양한 실시예들에 따라 카메라와 UWB를 이용하는 오토포커싱을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따라 UWB를 이용하는 장면 분석을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따라 UWB를 이용하는 오토포커싱을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 카메라와 UWB를 이용하는 인간 인식을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 카메라와 UWB를 이용하는 이미지 보정을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 카메라와 UWB를 이용하는 이미지 처리 절차를 도시한 것이다.
도 11은 본 개시의 일 실시예에 따라 카메라와 UWB를 이용하는 오토포커싱 방법을 설명하기 위한 흐름도이다.
도 12는 본 개시의 일 실시예에 따라 레이더 반사 신호를 분석하는 절차를 설명하기 위한 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 카메라와 UWB를 사용하는 다중 포커싱을 설명하는 도면이다.
도 14는 본 개시의 일 실시예에 따른 카메라와 UWB를 사용하는 얼굴 인식을 설명하는 도면이다.
도 15a 및 도 15b는 본 개시의 다양한 실시예들에 따른 카메라와 UWB를 사용하는 장면 분석을 설명하는 도면이다.
도면 전체에 걸쳐, 동일한 참조 번호는 동일하거나 유사한 요소, 특징 및 구조를 묘사하는 데 사용된다는 점에 유의해야 한다.
첨부된 도면을 참조하여 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
하기 설명 및 특허청구범위에서 사용된 용어 및 단어는 서지적 의미에 한정되지 않으며, 단지 본 발명의 명확하고 일관된 이해를 가능하게 하기 위해 발명자가 사용한 것이다. 따라서, 본 개시의 다양한 실시예에 대한 다음의 설명은 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 발명을 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 당업자에게 명백할 것이다.
단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 외부 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 외부 전자 장치(104)와 통신할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 본 개시의 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 본 개시의 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 개시의 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 본 개시의 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 본 개시의 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 본 개시의 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 본 개시의 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 본 개시의 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 외부 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 본 개시의 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 외부 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 본 개시의 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 외부 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 본 개시의 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 이미지 및 동영상을 촬영할 수 있다. 본 개시의 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 본 개시의 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 본 개시의 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 외부 전자 장치(102), 외부 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G(5-th generation) 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G(4-th generation) 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 외부 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 본 개시의 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 본 개시의 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나로 구성될 수 있다. 본 개시의 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 본 개시의 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
본 개시의 다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 본 개시의 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
본 개시의 일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 본 개시의 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 본 개시의 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 개시의 일 실시예에서 전자 장치(101)의 무선 통신 모듈(192)은 예를 들어 초광대역(ultra wide band: UWB) 통신 기술을 지원하는 UWB 통신 회로(예를 들어 UWB 레이더 및/또는 UWB 레이더 센서를 포함함)를 포함할 수 있다. UWB는 매우 짧은 거리에서 매우 적은 전력을 사용하여 높은 전송율로 데이터를 전송할 수 있도록 개발된 무선 기술이다. UWB 근거리 무선 기술(UWB short-range radio technology)은 Wi-Fi나 WiMAX 및 셀룰러 광대역 통신과 같은 다른 장거리 무선 기술들을 보완하는데 사용될 수 있다. UWB는 보다 정확하고 신뢰할 수 있고 효율적인 근거리 통신을 제공할 수 있도록 개발되었다.
본 개시의 일 실시예에서 전자 장치(101)는 UWB 통신 회로를 이용하여 일정 공간 내에 사람의 존재 유무를, 호흡이나 심박 및 움직임과 같은 생명 징후가 있는지 없는지를 기준으로 판별할 수 있다. UWB 통신 회로는 초광대역 주파수의 높은 투과성으로 인해서 사람뿐 아니라 애완동물과 같은 다양한 생명 객체들의 생명 징후를 정확하게 감지할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치에서 이미지 촬영을 도시한 도면이다.
도 2를 참조하면, 전자 장치(예, 도 1의 전자 장치(101))의 프로세서(120)는 피사체(예: 인물, 동물, 배경 및/또는 소품)를 포함하는 장면(200)의 이미지를 캡처하도록 카메라(예: 카메라 모듈(180) 또는 외장 카메라)를 제어할 수 있다. 본 개시의 일 실시예에서 카메라 모듈(180)은 각각 다른 속성 또는 기능을 가진 복수의 카메라들을 포함할 수 있다. 예를 들어, 복수의 카메라들 중 적어도 하나는 전면 카메라(181)이고, 적어도 다른 하나는 후면 카메라(183)일 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(120)는 전면 카메라(181) 또는 후면 카메라(183)의 이미지 센서(미도시)를 통해 입력되는 프레임들을 처리하여 이미지(예: 프리뷰 이미지)(210)를 획득(또는 캡처)하고, 상기 이미지(210)를 표시하도록 디스플레이 모듈(예: 디스플레이 모듈(160))을 제어할 수 있다. 이미지(210)는 전면 카메라(181) 또는 후면 카메라(183)에 의해 저장되기 전에 보여지는 프리뷰 이미지일 수 있으며, 지정된 초당 프레임 수를 기반으로 이미지 센서(미도시)를 통해 입력되는 프레임들을 처리하여 연속적으로 출력되는 이미지일 수 있다. 프로세서(120)는 이미지(210)를 카메라 모듈(180)로부터 획득하여 디스플레이 모듈(160)에 표시할 수 있다. 또한 프로세서(120)는 이미지(210)의 저장에 관련된 셔터 버튼(202)을 이미지(210)와 함께 혹은 오버랩하여 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(120)는 전면 카메라(181) 또는 후면 카메라(183)를 통해, 실제 장면(200)으로부터 다수의 객체들을 포함하는 이미지(210)를 획득할 수 있다. 이미지(210)는 전면 카메라(181) 또는 후면 카메라(183)에 의해 장면(200)을 광학적으로 처리함으로써 얻어지는 결과물일 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 전면 카메라(181) 또는 후면 카메라(183)에 의해 얻어지는 이미지(210)를 기반으로 장면(200)을 분석하고, 다수의 객체들 중 적어도 하나를 포커싱하도록 카메라 모듈(180)을 제어할 수 있다. 본 개시의 일 실시예에서 장면(200)은 다수의 객체들을 포함할 수 있으며, 상기 객체들은 다양한 생명(alive) 또는 비 생명(non-alive) 객체들일 수 있다. 사용자는 촬영 목적에 따라 원하는 적어도 하나의 객체를 포커싱하기를 의도할 수 있다.
도 3a 및 도 3b는 본 개시의 다양한 실시예들에 따른 카메라에 의한 오토포커싱을 설명하기 위한 도면이다.
도 3a를 참조하면, 카메라 모듈(180)에 의해 캡처된 이미지(300)는 2개의 얼굴들(즉 2명의 사람들)(302, 306)을 포함할 수 있다. 프로세서(120)는 이미지(300)를 분석하여 2개의 얼굴들(302, 306) 중 더 가까이 있는 1개의 얼굴(302)을 검출하고, 상기 검출된 얼굴(302)에 포커싱(304)을 두도록 카메라 모듈(180)을 제어할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 더 멀리 있는 얼굴(306)의 검출에 실패하고 포커싱을 누락할 수 있다.
도 3b를 참조하면, 카메라 모듈(180)에 의해 캡처된 이미지(310)는 초상화에 포함되는 얼굴(312)과 실제 사람의 얼굴(314)을 포함할 수 있다. 프로세서(120)는 카메라 모듈(180)에 의해 캡처된 이미지(310) 만으로 2개의 얼굴들(312, 314)을 실재 인물인지 아닌지 구별하지 못할 수 있으며, 그 결과 2개의 얼굴들(312, 314) 모두를 검출하고, 2개의 얼굴들(312, 314)의 모두에 포커싱하도록 카메라 모듈(180)을 제어하게 될 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 카메라 어플리케이션을 실행할 때 기본 모드에서 어떠한 장면 파라미터들도 적용하지 않을 수 있지만, 카메라 모듈(180)을 초상화 또는 사진을 포함하는 장면과 대면시켰을 때, 프로세서(120)는 초상화의 얼굴(312) 또는 사진의 얼굴을 실재 인물로 인식하고, 잘못된 장면 최적화 파라미터들(scene optimization parameters)(예를 들어 인물 사진 모드)을 적용하여 카메라 모듈(180)을 동작시킬 수 있다.
본 개시의 일 실시예에서 전자 장치(101)의 무선 통신 모듈(192)에 포함될 수 있는 UWB 통신 회로를 사용하여 카메라 모듈(180)에 의해 캡처되는 장면 내에 예를 들어 움직임, 호흡, 또는 심박과 같은 생명 징후를 검출하고, 상기 검출된 생명 징후에 근거하여 감지된 생명 객체들의 존재를 카메라 모듈(180)의 오토포커싱에 적용할 수 있다.
도 4는 본 개시의 일 실시예에 따라 카메라 및 UWB를 사용하는 전자 장치의 구성을 도시한 도면이다.
도 4를 참조하면, 전자 장치(예: 전자 장치(101))는 카메라 모듈(예: 카메라 모듈(180))과 UWB 통신 회로(402)를 포함할 수 있다. 본 개시의 일 실시예에서 UWB 통신 회로(402)는 UWB 레이더 센서를 포함하며, 도 1의 무선 통신 모듈(192)에 포함될 수 있다. 카메라 모듈(180)은 실제 장면 중 특정 거리(들)로 포커싱될 수 있는 광학적 시야(optical field of view: optical FOV)로부터 이미지를 캡처하고 캡처된 이미지를 프로세서(120)로 제공할 수 있다.
UWB 통신 회로(402)는 카메라 모듈의 광학적 시야를 포함하거나 또는 적어도 일부 중첩될 수 있는 레이더 시야(radar field of view: radar FOV)를 가질 수 있으며, 상기 레이더 시야 내에서 레이더 반사 신호를 수집할 수 있다. 본 개시의 일 실시예에서 UWB 통신 회로(402)는 UWB 레이더를 통해 특정 포맷의 레이더 신호를 송신하고, 상기 송신한 신호가 객체에 반사되어 돌아오는 레이더 반사 신호를 UWB 레이더 센서를 통해 수집할 수 있다. UWB 통신 회로(402)는 상기 레이더 신호가 송신된 후 상기 레이더 반사 신호가 도착하는 시간을 측정하여 전자 장치(101)와 객체 간의 거리를 예를 들어 아래의 수식과 같이 계산할 수 있다.
전자 장치(101)와 객체 간 거리 = 전파의 속도 * 신호가 반사되어 돌아오는 시간/2
대기 중 전파의 속도 = 빛의 속도 C
UWB 통신 회로(402)의 UWB 레이더에서 송출된 레이더 신호는 상기 레이더 시야 내에 위치하는 객체(예를 들어 물체 또는 사람)에게 도달한 후 반사되며, UWB 통신 회로(402)의 UWB 레이더 센서가 상기 반사된 신호(즉 레이더 반사 신호라 칭함)를 수신하게 된다. 객체에 닿지 않은 영역의 신호는 계속 방사되며 객체에 닿은 영역의 신호만 반사될 수 있다. 일부 객체(예를 들어 사람 또는 동물)에 닿은 레이더 신호의 일부는 투과되기도 한다. 이러한 성질을 이용하여 전자 장치(101)는 UWB 통신 회로(402)를 통해 사람 또는 동물의 심장 박동수를 측정할 수 있다.　
본 개시의 일 실시예에서 UWB에 기반하여 송수신되는 신호는 중심 주파수보다 더 높은 대역폭을 가지는 신호 또는 예를 들어 0.5 GHz보다 더 높은 대역폭을 가지는 신호로 정의될 수 있다. 일 예에서 상기 신호는 3.1 내지 10.6 GHz의 대역으로 특정될 수 있다. UWB 통신 회로(402)는 나노 초 미만의 범위에서 매우 짧은 RF(radio frequency) 펄스들을 생성하여 객체들의 검출 및 이미지 어플리케이션을 위해 사용할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)는 UWB 레이더와 UWB 레이더 센서 및 자체적인 프로세서를 포함할 수 있다. UWB 통신 회로(402)는 주어진 시그니처 펄스를 가지는 레이더 신호를 UWB 레이더를 통해 주기적으로 송신할 수 있고, UWB 레이더 센서를 통해 수신된 레이더 반사 신호는 HPF(high pass filter), LNA(low noise amplifier), 및 DAC(digital-to-analog converter)를 거치고 샘플링된 후 버퍼에 저장될 수 있다. 샘플링 된 데이터의 각각은 UWB 레이더로부터 어느 정도 떨어진 곳에서 레이더 신호가 반사되었는지를 나타낼 수 있다.　
UWB 통신 회로(402)는 상기 자체적인 프로세서에 의해 UWB 레이더 센서에 의해 수집된 레이더 반사 신호를 분석하여, 레이더 시야 내에 존재하는 객체들의 생명 징후(예: 움직임, 심박 및/또는 호흡)를 추출하여 상기 객체들 중 생명 객체들을 인식하고, 생명 객체들까지의 거리들을 계산할 수 있다.
본 개시의 일 실시예에서 생명 객체는 가슴 또는 배를 움직이며 숨을 쉬기 때문에 UWB 통신 회로(402)는 생명 객체가 호흡할 때마다 변하는 가슴/배의 위치를 측정하여 생명 객체의 심박 및 호흡 수와 같은 생명 징후를 산출할 수 있다. 레이더 신호와 레이더 반사 신호를 사용하여 일정 시간 t동안 호흡하는 생명 객체의 거리를 측정하면 상기 거리의 변화가 측정될 수 있다. 이는 생명 객체가 호흡할 때 움직이는 가슴/배의 위치 데이터가 UWB 통신 회로(402)에 의해 포착되기 때문이다. 상기 측정된 가슴/배의 위치 데이터를 시간 순서로 배열하면 그 크기는 시간에 따라 일정 간격으로 변하는 파형의 형태를 나타내게 되며, 상기 파형의 변화는 생명 객체의 호흡 주기와 일치할 수 있다. UWB 통신 회로(402)는 상기 시간 순으로 배열된 위치 데이터를 사용하여 호흡 수를 산출할 수 있다. 호흡 수는 시간과 파형의 간격을 이용하여 산출될 수 있다. 예를 들어 2회 호흡에 200ms가 걸렸다면, 분당 호흡수는 2*1000ms/200ms = 10회로 계산할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)는 움직임, 심박 또는 호흡과 같은 생명 징후가 감지되지 않는 객체를 비-생명 객체로 판정할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)는 상기 레이더 반사 신호를 기반으로 상기 객체들의 움직임, 생명 징후, 생명-비생명 여부(alive-not-alive feature), 객체들의 수, 또는 객체들까지의 거리들 중 적어도 하나의 정보(이하 레이더 응답 정보라 칭함)를 획득하고, 이를 프로세서(120)로 제공할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 UWB 통신 회로(402)로부터 제공되는 레이더 응답 정보(예를 들어 생명 객체들의 수 및 생명 객체들까지의 거리들을 포함함)를 기반으로 카메라 모듈(180)로부터 제공된 이미지를 분석할 수 있다. 일 실시예에서 상기 레이더 응답 정보는 UWB 레이더 센서에 의해 감지된 객체들에 대한 움직임, 생명 징후, 생명-비생명 여부(alive-not-alive feature), 객체들의 수, 또는 객체들까지의 거리들 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)로부터 제공되는 레이더 응답 정보는 가공되지 않은(raw) 레이더 신호와 레이더 반사 신호의 송수신 시점들을 포함할 수 있으며, 프로세서(120)는 상기 레이더 응답 정보를 분석하여 객체들의 움직임, 생명 징후, 생명-비생명 여부(alive-not-alive feature), 생명 객체들의 수, 또는 객체들까지의 거리들 중 적어도 하나를 획득하고, 상기 획득된 정보를 기반으로 카메라 모듈(180)을 제어하거나 카메라 모듈(180)로부터 제공된 이미지를 분석할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 카메라 모듈(180)이 동작중일 때 UWB 통신 회로(402)를 활성화하여 UWB 통신 회로(402)에게 레이더 응답 정보 또는 송수신 정보를 제공하도록 제어할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 카메라 어플리케이션이 실행될 때 UWB 통신 회로(402)를 활성화할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 카메라 모듈(180)의 시야와 중첩되는 레이더 시야에서 레이더 반사 신호를 수집하도록 UWB 통신 회로(402)를 제어할 수 있다. UWB 통신 회로(402)는 프로세서(120)로부터의 활성화 명령에 응답하여 레이더 신호를 송출하며, 예를 들어 상기 레이더 시야로부터 레이더 반사 신호를 수집하고, 상기 레이더 신호 및 상기 레이더 반사 신호를 기반으로 생성한 레이더 응답 정보를 프로세서(120)로 제공할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 UWB 통신 회로(402)로부터 제공되거나 또는 자체적으로 생성되는 상기 레이더 응답 정보를 기반으로 카메라 모듈(180)의 오토포커싱을 제어하거나, 색상 보정(color correction), 컨텍스트 기반 장면 분석(context-based scene understanding), 또는 적응적 압축(adaptive compression)과 관련된 장면 최적화 파라미터들을 적용하여, 카메라 모듈(180)로부터 제공된 이미지를 보정하고, 보정된 이미지를 디스플레이 모듈(예: 디스플레이 모듈(160))에 표시할 수 있다.
본 개시의 일 실시예에서 프로세서(180)는 UWB 통신 회로(402)로부터 제공되는 레이더 응답 정보를 기반으로 카메라 모듈(180)로부터 캡처된 이미지에서 서로 다른 거리에 있는 사람들을 다중-포커싱하도록 카메라 모듈(180)을 제어할 수 있다. 본 개시의 일 실시예에서 프로세서(180)는 UWB 통신 회로(402)로부터 제공되는 레이더 응답 정보를 기반으로 저조도 환경(low-light conditions)에 있는 생명 객체들의 이미지를 보다 높은 품질로 획득하도록 카메라 모듈(180)(예를 들어 오토포커싱)을 제어할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 카메라 모듈(180)로부터 캡처된 이미지에 대한 생명 객체의 검출에 근거하여 장면 분석을 수행할 수 있다.
도 5a 및 도 5b는 본 개시의 다양한 실시예들에 따라 카메라와 UWB를 이용하는 오토포커싱을 설명하기 위한 도면이다.
도 5a를 참조하면, 카메라 모듈(180)을 통해 획득된 이미지(500)는 초상화(502)와, 그와 동일한 실제 사람(504)을 포함할 수 있다. 프로세서(120)는 이미지(500)에 대해 카메라 기반 오토포커싱을 실행함으로써 이미지(500) 내에 2개의 동일한 사람들(502, 504)이 존재하는 것으로 잘못 인식할 수 있다. 상기한 잘못된 인식을 바탕으로 프로세서(120)는 이미지(500)의 비교적 중앙에 위치하는 초상화(502)를 포커싱(506)하도록 카메라 모듈(180)을 제어함으로써, 실제 사람(504)이 아웃포커싱될 수 있다.
도 5b를 참조하면, 카메라 모듈(180)을 통해 획득된 이미지(510)는 초상화(512)와, 그와 동일한 실제 사람(514)을 포함할 수 있다. 프로세서(120)는 UWB 통신 회로(402)로부터 수신된 레이더 송수신 정보를 기반으로 카메라 모듈(180)의 이미지(510)와 중첩되는 레이더 시야 내에 생명 객체들이 존재함을 나타내는 레이더 응답 정보를 획득할 수 있다. 상기 레이더 응답 정보는 이미지(510) 내의 사람(514)까지의 거리를 나타낼 뿐 아니라, 사람(514)으로부터 추출된 생명 징후에 의해 사람(514)이 생명 객체에 해당한다는 것을 나타낼 수 있다. 또한, 상기 레이더 응답 정보로부터 프로세서(120)는 이미지(510) 내의 초상화(512)가 비-생명 객체에 해당한다는 것을 알 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 상기 레이더 응답 정보를 이용하는 오토포커싱, 즉 UWB 기반 오토포커싱을 수행함으로써 살아있는 사람(514)(또는 생명 객체)을 포커싱하도록 카메라 모듈(180)을 제어할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 레이더 응답 정보를 이용하여, 사람(514)(또는 생명 객체)에 대한 보다 높은 품질의 이미지를 제공하도록 카메라 모듈(180)의 카메라 설정(예: 장면 최적화 파라미터들 또는 장면 모드)을 살아있는 사람(514)(또는 생명 객체)의 존재에 맞게 조정할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 레이더 응답 정보를 이용하여, 사람(514)(또는 생명 객체)에 대한 보다 높은 품질의 이미지를 제공하도록 카메라 모듈(180)로부터 제공된 이미지를 보정할 수 있다.
도 6은 본 개시의 일 실시예에 따라 UWB를 이용하는 장면 분석을 설명하기 위한 도면이다.
도 6을 참조하면, 전자 장치(101)의 프로세서(120)는 UWB 통신 회로(예를 들어 UWB 통신 회로(402))를 사용한 장면 분석을 통해, 하기의 기능들을 제공할 수 있다.
- 인간(또는 생명 객체들)의 검출(602)
- 비-생명 인간 이미지의 검출(604)
본 개시의 일 실시예에서 UWB 통신 회로(402)를 통해 획득한 레이더 응답 정보는, 추가적으로 전자 장치(101)가 움직이는 객체(들)를 검출하고, 및/또는 생명 객체들의 부재를 감지할 수 있도록 할 수 있다.
도 7은 본 개시의 일 실시예에 따라 UWB를 이용하는 오토포커싱을 설명하기 위한 도면이다.
도 7을 참조하면, 실제 장면(706)은 배경과 유사한 보호색을 가지는 생명 객체(예를 들어 살아있는 사람)를 포함할 수 있다. 카메라 모듈(180)은 실제 장면(706)에 대한 광학적 이미지(704)를 획득할 수 있고, UWB 통신 회로(402)는 실제 장면(706)에 대한 레이더 송수신 정보(702)(레이더 응답 정보)를 획득할 수 있다. 광학적 이미지(704) 내에서 살아있는 사람(또는 생명 객체)이 배경과 유사한 보호색 또는 분장을 가지는 경우, 전자 장치(101)의 프로세서(120)는 광학적 이미지(704)만으로 살아있는 사람(또는 생명 객체)의 존재를 감지하기 어려울 수 있다. 프로세서(120)는 레이더 송수신 정보(702)(레이더 응답 정보)를 기반으로 생명 징후(예: 움직임, 심박, 또는 호흡)를 검출하면, 광학적 이미지(704) 내에 살아있는 사람(또는 생명 객체)이 존재하는 것으로 판단할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 UWB 통신 회로(402)로부터 획득된 레이더 송수신 정보(702)(레이더 응답 정보)를 기반으로 카메라 모듈(180)로부터 획득된 광학적 이미지(704)에 포함되는 사람(또는 생명 객체)을 감지하면, 상기 감지된 사람(또는 생명 객체)을 자동으로 포커싱하도록 카메라 모듈(180)을 제어할 수 있다. 본 개시의 일 실시예에서 전자 장치(101)의 프로세서(120)는 UWB 통신 회로(402)로부터 획득된 레이더 송수신 정보(702)(레이더 응답 정보)를 기반으로 광학적 이미지(704)에 포함되는 움직이는 객체까지의 거리를 계산 또는 획득할 수 있다. 본 개시의 일 실시예에서 레이더 송수신 정보(702)(레이더 응답 정보)를 근거로 움직이는 객체까지의 거리가 획득되면, 상기 거리에 의해 카메라 모듈(180)은 상기 검출된 움직이는 객체를 보다 정확하게 포커싱할 수 있다.
도 8은 본 개시의 일 실시예에 따른 카메라와 UWB를 이용하는 인간 인식을 설명하기 위한 도면이다.
도 8을 참조하면, 카메라 모듈(180)에 캡처된 이미지(802)는 다수의 사람들을 포함할 수 있다. 프로세서(120)는 카메라 모듈(180)로부터 획득된 이미지(802)를 기반으로 카메라 기반 인간 인식 기술을 적용함으로써 일부의 사람들(804)을 인식할 수 있지만, 나머지 일부의 사람들(806)은 인식에 실패할 수 있다.
본 개시의 일 실시예에서, 프로세서(120)는 UWB 통신 회로(402)에 의해 획득된 레이더 송수신 정보(812)(레이더 응답 정보)를 기반으로 생명 객체들을 검출함에 의해 카메라 모듈(180)로부터 획득된 이미지(802)를 개선할 수 있다. 프로세서(120)는 레이더 송수신 정보(812)(레이더 응답 정보)를 분석하여 생명 객체들의 리스트(814)를 생성할 수 있다. 본 개시의 일 실시예에서 생명 객체들의 리스트(814)는 인간이 감지된 거리들과, 거리별 인간들의 수를 포함할 수 있다. 일 예로 3.1 미터의 거리 범위 내에는 2명의 인간들이 존재하며, 4.5 미터의 거리 범위 내에는 3명의 인간들이 존재하고, 6.0 미터의 거리 범위 내에는 2명의 인간들이 존재할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 레이더 송수신 정보(812)(레이더 응답 정보)를 기반으로 이미지(802)를 개선함으로써 개선된 인간 인식에 성공하고, 살아있는 사람들(822)을 인식하는 보정된 이미지(822)를 획득할 수 있다. 본 개시의 일 실시예에서 보정된 이미지(822)는 프로세서(120)가 생명 객체들의 리스트(814)를 기반으로 저조도 환경에 있거나 및/또는 보호색을 가지는 활성 객체들 및 움직이는 객체들을 정확히 포커싱하도록 카메라 모듈(180)을 제어함으로써 획득될 수 있다. 본 개시의 일 실시예에서 보정된 이미지(822)는 프로세서(120)가 카메라 모듈(180)로부터 획득된 이미지(예를 들어 이미지(802))를 직접 보정함으로써 획득될 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 생명 객체들의 리스트(814)를 기반으로 컨텍스트 기반 장면 분석을 수행할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 생명 객체들의 리스트(814)를 기반으로, 비-생명 사진이나 3차원 얼굴을 사용하는 해킹을 방지하여 얼굴 인식(824)을 통한 보안 기능을 향상시킬 수 있다.
도 9는 본 개시의 일 실시예에 따른 카메라와 UWB를 이용하는 이미지 보정을 설명하기 위한 도면이다.
도 9를 참조하면, 실제 장면(902)은 초상화와 실재 인물의 얼굴을 둘 다 포함할 수 있다. 카메라 모듈(180)은 실제 장면(902)으로부터 이미지(904)(예를 들어 광학적 이미지)를 획득할 수 있으며, UWB 통신 회로(402)는 실제 장면(902)으로부터 레이더 송수신 정보(908)(레이더 응답 정보)를 획득할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 이미지(904)를 입력으로 하는 오토포커싱 기능부(906)와 레이더 송수신 정보(908)(또는 레이더 응답 정보)를 입력으로 하는 생명 징후 추출 기능부(910)를 포함할 수 있다. 본 개시의 일 실시예에서 상기 기능부들(906,910)은 프로세서(120)에 포함되는 하드웨어 또는 프로세서(120)에 의해 실행되는 소프트웨어일 수 있다.
생명 징후 추출 기능부(910)는 상기 레이더 송수신 정보(908)(또는 레이더 응답 정보)를 입력으로 하며 상기 레이더 송수신 정보(908)(또는 레이더 응답 정보)를 기반으로 실제 장면(902)에 포함되는 생명 징후들을 추출하고, 상기 생명 징후들을 기반으로 생명 객체(즉 살아있는 사람)를 검출하며, 상기 생명 객체까지의 거리를 계산할 수 있다. 상기 생명 객체까지의 거리에 대한 정보는 오토포커싱 기능부(906)로 전달될 수 있다.
본 개시의 일 실시예에서, 오토포커싱 기능부(906)는 상기 이미지(904)와 상기 생명 객체까지의 거리를 입력으로 하며, 상기 생명 객체까지의 거리를 기준으로 상기 생명 객체를 포커싱하도록 카메라 모듈(180)을 제어할 수 있다. 카메라 모듈(180)은 오토포커싱 기능부(906)에 의해 조정된 오토포커스를 가지는 이미지(914)를 캡처할 수 있다. 카메라 모듈(180)은 실제 장면(902) 내에 존재하는 실제 사람(916)을 오토포커싱함으로써 조정된 이미지(914)를 획득할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 생명 객체의 존재 및 상기 생명 객체까지의 거리를 이용하여, 색상 보정, 장면 분석, 또는 적응적 압축을 수행하도록 카메라 모듈(180)을 제어할 수 있다.
도 10은 본 개시의 일 실시예에 따른 카메라와 UWB를 이용하는 이미지 처리 절차를 도시한 것이다.
도 10을 참조하면, 프로세서(120)는 카메라 모듈(180) 및 UWB 통신 회로(402)와 통신할 수 있으며, 카메라 제어 기능부(1004), 포커스 제어 기능부(1006), 카메라 프레임 전처리 기능부(1010), 카메라 이미지 처리 기능부(1012), 컨텍스트 분석 기능부(1014), 거리 계산 기능부(1016), 객체 검출 기능부(1018), 또는 생명 징후 추출 기능부(1020) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에서 상기 기능부들(1010, 1012, 1014, 1016, 1018, 1020) 중 적어도 하나는 프로세서(120)에 포함되는 하드웨어 또는 프로세서(120)에 의해 실행되는 소프트웨어로 구현될 수 있다.
본 개시의 일 실시예에서 카메라 모듈(180)은 실제 장면(1002)을 캡처한 이미지를 프로세서(120)로 입력할 수 있다. 카메라 제어 기능부(1004)는 카메라 모듈(180)로부터 수신된 이미지에 포함되는 카메라 프레임들(1008)을 카메라 이미지 처리 기능부(1012) 및 카메라 프레임 전처리 기능부(1010)로 전달할 수 있다. 카메라 프레임 전처리 기능부(1010)는 상기 카메라 프레임들(1008)에 대한 전처리를 수행함으로써 조명 조건(light conditions) 또는 카메라 기반으로 검출된 얼굴에 대한 정보를 카메라 이미지 처리 기능부(1012)로 제공할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)는 카메라 모듈(180)의 광학적 시야와 중첩될 수 있는 레이더 시야를 통해 레이더 송수신 정보를 수집하고 상기 레이더 송수신 정보를 분석하여 획득한 레이더 응답 정보(1000)를 프로세서(120)로 입력할 수 있다. 본 개시의 일 실시예에서 상기 레이더 응답 정보(1000)는 카메라 모듈(180)의 오토포커싱을 위한 거리를 포함할 수 있다. 본 개시의 일 실시예에서 상기 레이더 응답 정보(1000)는 생명 징후를 가지는 적어도 하나의 객체(즉 생명 객체)의 존재 여부를 나타내는 정보와 장면 분석을 위한 생명 징후들을 포함할 수 있다. 본 개시의 일 실시예에서 상기 레이더 응답 정보(1000)는 생명 객체들의 개수와 거리들을 포함할 수 있다. 본 개시의 일 실시예에서 UWB 통신 회로(402)는 레이더 응답 정보(1000)를 제공하는 대신 가공(raw)되지 않은 레이더 송수신 정보를 프로세서(120)로 제공하고, 프로세서(120)는 레이더 송수신 정보를 분석하여 상기 레이더 응답 정보(1000)를 검출할 수 있다.
본 개시의 일 실시예에서 거리 계산 기능부(1016)는 상기 레이더 응답 정보로부터 생명 징후를 가지는 적어도 하나의 객체(즉 생명 객체)까지의 거리를 획득할 수 있다. 상기 거리에 대한 정보는 포커스 제어 기능부(1006)로 전달될 수 있으며, 포커스제어 기능부(1006)는 상기 거리를 기반으로 카메라 모듈(1080)의 오토포커싱을 제어할 수 있다. 상기 거리에 대한 정보는 또한 컨텍스트 분석 기능부(1014)로 전달될 수 있다.
본 개시의 일 실시예에서 객체 검출 기능부(1018)는 상기 레이더 응답 정보로부터 구별 가능한 적어도 하나의 객체를 식별하고 식별된 각 객체가 생명 징후를 가지는 생명 객체인지를 판단하여, 생명 객체의 존재 여부를 나타내는 생명-비생명 여부 정보를 컨텍스트 분석 기능부(1014)로 전달할 수 있다. 생명 징후 추출 기능부(1020)는 객체 검출 기능부(1018)를 통해 생명 징후들에 대한 정보를 수신하거나, 또는 상기 레이더 응답 정보로부터 생명 징후들을 직접 추출할 수 있고, 상기 생명 징후들의 값들은 컨텍스트 분석 기능부(1014)로 전달될 수 있다.
본 개시의 일 실시예에서 컨텍스트 분석 기능부(1014)는 카메라 프레임들(1008)을 입력으로 하며, 거리 계산 기능부(1016)로부터 제공된 거리들, 객체 검출 기능부(1018)로부터 제공된 생명-비생명 여부 정보, 생명 징후 추출 기능부(1020)로부터 제공된 생명 징후들의 값들을 기반으로 카메라 프레임들(1008)에 대한 컨텍스트 기반 장면 분석을 실행할 수 있다. 상기 장면 분석의 결과는 컨텍스트 환경 또는 생명 객체들의 수와 거리들에 따라 이미지 처리 정보를 포함할 수 있으며, 카메라 이미지 처리 기능부(1012)로 전달될 수 있다.
본 개시의 일 실시예에서 카메라 이미지 처리 기능부(1012)는 카메라 프레임들(1008)을 입력으로 하며, 카메라 프레임 전처리 기능부(1010)로부터 전달된 조명 조건 또는 카메라 기반으로 검출된 얼굴에 대한 정보와, 컨텍스트 분석 기능부(1014)로부터 제공된 컨텍스트 환경 또는 생명 객체들의 수와 거리들에 따른 이미지 처리 정보를 기반으로 이미지 압축이나 색상 보정과 같은 보정 알고리즘을 실행하고, 장면 설명을 포함하는 개선된 이미지들(1022, 1024, 1026, 1028)을 출력할 수 있다.
본 개시의 일 실시예에서 이미지(1022)는 인물에 대한 장면 설명, 예를 들어 "그림 앞에 서 있는 여성"과 함께 제공될 수 있으며, 마네킹, 조각품, 사진, 거울 내의 이미지, 또는 초상화 대신 실제 사람을 포커스한 이미지일 수 있다. 이미지(1022) 내에서 실제 사람은 생명 징후를 기반으로 검출될 수 있으며, 생명 객체까지의 거리를 기반으로 포커스될 수 있다.
본 개시의 일 실시예에서 이미지(1024)는 여러 사람들을 포함할 수 있으며, 다수의 실제 사람들을 다중 포커스한 이미지일 수 있다. 이미지(1024) 내에서 다수의 실제 사람들은 생명 징후를 기반으로 검출될 수 있으며, 생명 객체들까지의 각각의 거리들을 기반으로 포커스될 수 있다.
본 개시의 일 실시예에서 이미지(1026)는 보호색으로 가려진 생명 객체(예를 들어 풀숲 속의 악어)를 포함할 수 있으며, 배경 중에서 생명 객체를 포커스한 이미지일 수 있다. 이미지(1026) 내에서 생명 객체는 생명 징후를 기반으로 검출될 수 있으며, 생명 객체까지의 거리를 기반으로 포커스될 수 있다.
본 개시의 일 실시예에서 이미지(1028)는 저조도 환경에서 캡처된 실제 사람을 포함할 수 있으며, 저조도 환경 중에서 실제 사람을 포커스한 이미지일 수 있다. 저조도 환경에서는 카메라 모듈(180)로부터 캡처된 이미지(1026) 만으로 장면 내에 존재하는 생명 객체를 포커싱하기 어려울 수 있지만, UWB 통신 회로(402)는 장애 없이 생명 객체를 감지할 수 있다. 이미지(1028) 내에서 살아있는 사람은 생명 징후를 기반으로 검출될 수 있으며, 레이더 송수신 정보를 기반으로 계산된 거리를 기반으로 살아있는 사람을 포커스하도록 카메라 모듈(180)을 제어함으로써 카메라 이미지 처리 기능부(1012)는 고대비(high contrast) 이미지(1028)를 생성할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)로부터의 레이더 송수신 정보를 기반으로 계산된 거리에 의해 프로세서(120)는 저조도 환경 내의 살아있는 사람을 포커싱하도록 카메라 모듈(180)을 제어할 수 있고, 제어된 카메라 모듈(180)을 통해 고대비 이미지를 얻을 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)로부터의 레이더 송수신 정보를 기반으로 획득한 생명 객체의 존재 정보에 근거하여 프로세서(120)는 그림, 포스터, 스크린, 그림 갤러리, 영화, 또는 쇼핑 몰의 사진들, 마네킹, 밀랍인형, 조각품, 또는 거울 내 사람의 이미지를 포함하는 장면이나 살아있는 사람이 장애물에 가려진 장면에서, 살아있는 사람의 이미지 품질을 향상시킬 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 뒤돌아선 얼굴, 또는 의료 센서, 검역소 또는 카니발 행사 등에서 마스크, 헬멧, 분장, 또는 장애물에 의해 가려진 얼굴을 보다 정확하게 검출하고, 살아있는 사람의 이미지 화질을 개선할 수 있다.
본 개시의 일 실시예에서 UWB 통신 회로(402)로부터의 레이더 송수신 정보를 기반으로 획득한 생명 객체의 존재 정보에 근거하여 프로세서(120)는 보호색을 가지는 생명 객체(예를 들어 보호색을 가지는 동물 또는 분장한 사람)를 포커싱함으로써 생명 객체를 포함하는 이미지의 이미지 화질을 개선할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 카메라 모듈(180)까지의 거리가 서로 다른 복수의 사람들에게 다중 포커싱을 제공하도록 카메라 모듈(180)을 제어할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 얼굴 인식에서 살아있는 사람이 아닌 비-생명 사진 또는 3차원 얼굴 형상에 의한 해킹을 방지함으로써 보안 수준을 향상시킬 수 있다.
도 11은 본 개시의 일 실시예에 따라 카메라와 UWB를 이용하는 오토포커싱 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 동작 1105에서 전자 장치(101)의 프로세서(120)는 UWB 통신 회로(예: UWB 통신 회로(402))로부터 레이더 응답 정보를 수신할 수 있다. 본 개시의 일 실시예에서 레이더 응답 정보는 카메라 모듈(예: 카메라 모듈(180))의 광학적 시야와 중첩될 수 있는 레이더 시야로부터 UWB 통신 회로(402)로부터 제공될 수 있다.
동작 1110에서 프로세서(120)는 카메라 모듈(180)에 의해 캡처된 이미지 내에 생명 객체가 존재하는지를 판단하기 위해 상기 레이더 응답 정보를 분석할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 레이더 응답 정보에 포함되는 레이더 신호의 송신 시점들 및 레이더 반사 신호의 수신 시점들의 분석을 통해 장면 내의 객체들을 식별하고 각 객체까지의 거리를 계산할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 레이더 응답 정보의 분석을 통해 장면 내의 객체들에 대한 생명 징후(예: 움직임, 심박, 또는 호흡 중 적어도 하나)를 추출하며, 상기 생명 징후를 기반으로 상기 객체들 중 생명 객체들을 구별할 수 있다.
동작 1115에서 프로세서(120)는 상기 레이더 응답 정보를 기반으로 카메라 모듈(180)의 오토포커싱을 조정할 수 있다. 본 개시의 일 실시예에서 상기 레이더 응답 정보는 생명 객체들의 존재 여부를 나타내는 생명-비생명 여부 정보를 포함할 수 있다. 본 개시의 일 실시예에서 상기 레이더 응답 정보는 생명 객체들의 개수와 각 생명 객체까지의 거리를 포함할 수 있다. 본 개시의 일 실시예에서 상기 레이더 응답 정보는 각 객체까지의 거리, 생명 징후, 생명-비생명 여부, 생명 객체의 존재 여부, 또는 객체들의 수 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 상기 레이더 응답 정보를 기반으로 각 생명 객체를 포커싱하도록 카메라 모듈(180)을 제어할 수 있다.
동작 1120에서 프로세서(120)는 조정된 오토포커싱을 통해 카메라 모듈(180)로부터 캡처된 이미지를 디스플레이 모듈(160)에 표시할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 레이더 응답 정보를 기반으로 카메라 모듈(180)로부터 캡처된 이미지를 추가적으로 보정한 후 디스플레이 모듈(160)에 표시할 수 있다.
동작 1125에서 프로세서(120)는 상기 이미지의 표시와 함께, 레이더 응답 정보로부터 획득한 생명 객체들과 관련된 정보, 예를 들어 생명 객체들의 수 및 각각의 거리들을 디스플레이 모듈(160)에 표시할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 이미지의 표시와 함께, 레이더 응답 정보를 기반으로 식별된 생명 객체를 표시하는 정보, 예를 들어 식별된 사람의 얼굴을 표시하는 사각형을 표시할 수 있다.
도 12는 본 개시의 일 실시예에 따라 레이더 반사 신호를 분석하는 절차를 설명하기 위한 흐름도이다. 본 개시의 일 실시예에서 도 12의 동작들은 동작 1110에 대응할 수 있다.
도 12를 참조하면, 동작 1205에서 전자 장치(101)의 프로세서(120)는 UWB 통신 회로(402)로부터 제공되는 레이더 신호 및 레이더 반사 신호의 송수신 정보를 분석하여, 상기 레이더 반사 신호에 포함된 클러터를 제거할 수 있다. 클러터는 레이더에서 표적 이외의 정적 객체들(즉 움직임이 없는 객체들), 예를 들어 지면, 해면, 건물, 마루, 천정, 또는 벽에서 반사되어 수신되는 원치 않는 신호를 포함할 수 있다. 본 개시의 일 실시예에서 클러터의 제거는 평균화 필터(averaging filter), 루프백 필터(loop-back filter), 또는 칼만 필터(Kalman filter) 중 적어도 하나에 의해 수행될 수 있다. 클러터의 제거를 통해 프로세서(120)는 움직이는 객체들에 대응하는 레이더 반사 신호를 획득할 수 있다.
동작 1210에서 프로세서(120)는 상기 (클러터 제거된) 레이더 반사 신호를 반으로 상기 장면에 포함된 객체들의 움직임을 감지할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 움직임을 감지하기 위해 지정된 시간(예를 들어 0.5초) 동안 누적된 레이더 반사 신호를 사용할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 임계값 기준에 의해 신호 처리 필터링 기법을 실행함으로써 움직이는 객체들을 가지는 클러스터(즉 거리 범위(distance ranges)를 찾아낼 수 있다.
동작 1215에서 상기 움직임의 감지를 통해 프로세서(120)는 상기 장면에 포함되는 움직이는 객체들(예를 들어 인간을 포함할 수 있음)을 식별하고 분류할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 상기 (클러터 제거된) 레이더 반사 신호의 스펙트럼을 구하기 위하여 스펙트럼 변환(spectral transform), 예를 들어 웨이블릿 변환(Wavelet transform)을 적용함으로써, 유의미한 진폭(amplitudes)(즉 움직임)을 가지는 클러스터들을 검출할 수 있다. 상기 검출된 각 클러스터의 거리 차원을 축소하기 위해 PCA(Principal Component Analysis) 기술이 적용될 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 지정된 시간(예를 들어 3초) 동안 누적된 레이더 반사 신호에 대해 지정된 패턴 매칭(예를 들어 인간의 호흡률(respiration rate)은 분당 12 내지 16 사이클임)을 사용함으로써 인간들을 포함하는 클러스터들을 찾아낼 수 있다.
동작 1220에서 프로세서(120)는 상기 분류된 객체들로부터 생명 징후(예: 심박 또는 호흡)를 추출할 수 있다. 상기 생명 징후를 기반으로 프로세서(120)는 상기 분류된 객체들 중 생명 객체들을 검출할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 패턴 인식 기계 학습(pattern recognition machine learning) 및 신호 처리 기술(예를 들어 호흡 또는 심박에 대한 신호 분해(signal decomposition))을 사용하여 생명 징후들을 추출할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 각 클러스터에 대해 생명 징후를 가지는 객체(예를 들어 사람)가 존재하는지 여부 및/또는 몇 명의 사람들이 존재하는지를 검출할 수 있다. 일 예로서 도 8에서 프로세서(120)는 UWB 신호를 기반으로 3.1 미터의 거리에 2명의 인간이 존재한다는 것을 검출할 수 있고, 필요한 경우 호흡률이 1.55Hz임을 검출할 수 있다.
동작 1225에서 프로세서(120)는 상기 검출된 생명 객체들의 수 및 개별적인 생명 객체들까지의 거리들을 결정할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 복수의 거리 범위들 각각에 대해, 동일 거리 범위에 포함되는 생명 객체들의 수를 결정하고, 거리 범위 대비 생명 객체들의 수를 나타내는 생명 객체들의 리스트를 생성할 수 있다. 본 개시의 일 실시예에서 상기 생명 객체들의 리스트는 동작 1115의 오토포커싱을 위해 사용될 수 있다. 본 개시의 일 실시예에서 상기 생명 객체들의 리스트는 동작 1125에서 디스플레이 모듈(160)에 해당 장면을 포함하는 이미지(또는 보정된 오토포커싱을 가지는 이미지)와 함께 표시될 수 있다.
도 13은 본 개시의 일 실시예에 따른 카메라와 UWB를 사용하는 다중 포커싱을 설명하는 도면이다.
도 13을 참조하면, 실제 장면에 대해 카메라 모듈(180)을 통해 캡처된 이미지(1302)는 가까이 있는 사람(1306)과 멀리 있는 사람(1304)을 포함할 수 있으며, 카메라 모듈(180)은 프로세서(120)의 제어에 따라 더 가까이 있는 사람(1306)을 포커싱함으로써 이미지(1302)를 생성할 수 있다. 동일한 장면에 대해 캡처된 이미지(1312)는 가까이 있는 사람(1316)과 멀리 있는 사람(1314)을 포함할 수 있으며, 카메라 모듈(180)은 더 멀리 있는 사람(1314)을 포커싱함으로써 이미지(1312)를 생성할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 더 가까이 있는 사람(1306)을 포커싱한 이미지(1302)와 더 멀리 있는 사람(1314)을 포커싱한 이미지(1312)를 결합함으로써 다중 포커싱된 이미지(1322)를 생성하고 상기 다중 포커싱된 이미지(1322)를 전자 장치(101)의 디스플레이 모듈(160)에 표시할 수 있다. 다중 포커싱된 이미지(1322)는 포커싱된 멀리 있는 사람(1324)과 포커싱된 가까이 있는 사람(1326)을 둘 다 포함할 수 있다.
본 개시의 일 실시예에서 프로세서(120)는 상기 다중 포커싱된 이미지(1322)와 함께, 장면에 포함되는 살아있는 사람들(1324, 1326)의 정보(1328)를 표시할 수 있다. 본 개시의 일 실시예에서 정보(1328)는 장면에 포함되는 살아있는 사람의 각각에 대한 거리들, 즉 가까이 있는 사람(1326)까지의 거리, 예를 들어 1.2m (1328a)와, 멀리 있는 사람(1324)까지의 거리, 예를 들어 4.7m (1328b)를 포함할 수 있다.
도 14는 본 개시의 일 실시예에 따른 카메라와 UWB를 사용하는 얼굴 인식을 설명하는 도면이다.
도 14를 참조하면, 프로세서(120)는 카메라 모듈(180)을 통해 얼굴 인식을 원하는 사용자의 얼굴(1402)에 대한 이미지를 캡처하는 한편, UWB 통신 회로(402)를 사용하여 상기 사용자의 생명 징후(1404)를 추출할 수 있다. 프로세서(120)는 UWB 통신 회로(402)로부터의 레이더 응답 정보를 기반으로 사용자의 얼굴(1402)이 살아있는 사람으로부터 캡처된 것임을 판단하고, 얼굴(1402)을 분석하여 얼굴 인식(1406)에 성공할 수 있다. 본 개시의 일 실시예에서 프로세서(120)는 얼굴 인식 동안 UWB 통신 회로(402)에 의해 적어도 하나의 생명 개체가 감지되지 않거나, 또는 얼굴 인식의 대상이 되는 사용자의 이미지에 대한 생명 징후가 추출되지 않은 경우, 보안 기능을 위한 얼굴 인식에 실패한 것으로 판단할 수 있다.
도 15a 및 도 15b는 본 개시의 다양한 실시예들에 따른 카메라와 UWB를 사용하는 장면 분석을 설명하는 도면이다.
도 15a를 참조하면, 카메라 모듈(180)에 의해 캡처된 이미지(1506)는 도로 상의 서로 다른 거리에 있는 2명의 인간들(1502, 1504)과 1마리의 동물(1506)을 포함할 수 있다. 프로세서(120)는 이미지(1506)에 포함되는 상기 개체들(1502, 1504, 1506)이 생명 객체임을 UWB 통신 회로(402)로부터의 레이더 응답 정보를 기반으로 감지하고, 상기 레이더 응답 정보를 기반으로 생성한 상기 이미지(1506)에 대한 장면 설명(1508)을 이미지(1506)와 함께 표시할 수 있다. 본 개시의 일 실시예에서 상기 장면 설명(1508)은 [동물 - 1.3m (1508a), 인간 - 2.2m (1508b), 인간 - 4.5m (1508c)]를 나타낼 수 있다.
도 15b를 참조하면, 카메라 모듈(180)에 의해 캡처된 이미지(1510)는 도로 변에 설치된 광고 표지판 내에 비-생명 객체인 인간의 이미지(1512)를 포함할 수 있다. 프로세서(120)는 이미지(1510)에 포함되는 상기 개체(1512)가 비-생명 객체임을 UWB 통신 회로(402)로부터의 레이더 응답 정보를 기반으로 감지하고, 상기 이미지(1510)에 대한 장면 설명(1514)을 이미지(1510)와 함께 표시할 수 있다. 본 개시의 일 실시예에서 상기 장면 설명(1514)은 [생명 개체 없음("No alive objects")]를 나타낼 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)는, 디스플레이 모듈(160)과, 카메라 모듈(180)과, 초광대역(ultra wide band: UWB) 통신을 지원하는 UWB 통신 회로(402)와 상기 디스플레이 모듈, 상기 카메라 모듈 및 상기 UWB 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서(120)를 포함할 수 있다 상기 적어도 하나의 프로세서는, 상기 UWB 통신 회로를 통해 레이더 반사 신호와 관련된 레이더 응답 정보를 수신하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는 상기 카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 응답 정보를 분석하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는 상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는 상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 상기 디스플레이 모듈에 표시하도록 구성될 수 있다.
본 개시의 일 실시예에서 상기 UWB 통신 회로는 상기 카메라의 광학적 시야와 중첩되는 레이더 시야로부터 획득된 레이더 반사 신호를 기반으로 상기 레이더 응답 정보를 생성할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 레이더 응답 정보의 분석을 통해 감지된 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 제2 이미지와 함께 상기 적어도 하나의 생명 객체에 관련된 장면 설명 정보를 상기 디스플레이 모듈에 표시할 수 있다.
본 개시의 일 실시예에서 상기 장면 설명 정보는, 상기 적어도 하나의 생명 객체의 수 및/또는 각각의 거리를 포함할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 레이더 응답 정보를 분석하여 상기 적어도 하나의 생명 객체와 관련된 생명 징후를 추출하고, 상기 추출된 생명 징후를 기반으로 상기 적어도 하나의 생명 객체의 존재를 확인할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 생명 객체의 존재 또는 부재에 근거하여 색상 보정, 컨텍스트 기반 장면 분석 또는 적응적 압축 중 적어도 하나와 관련된 장면 최적화 파라미터들을 상기 카메라 모듈에 적용할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 레이더 응답 정보를 기반으로 상기 적어도 하나의 생명 객체까지의 거리를 계산하고, 상기 계산된 거리의 상기 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 레이더 응답 정보를 기반으로 저조도 환경에서 상기 적어도 하나의 생명 개체를 감지하고, 상기 적어도 하나의 생명 개체를 포커싱하도록 상기 카메라 모듈을 제어할 수 있다.
본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는, 상기 레이더 응답 정보를 기반으로 적어도 하나의 생명 개체의 부재를 감지한 경우 상기 제1 이미지 내의 얼굴 인식에 실패한 것으로 판단할 수 있다.
본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, UWB 통신 회로를 통해 레이더 응답 정보를 수신하는 동작(1105)을 포함할 수 있다. 상기 방법은 카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 응답 정보를 분석하는 동작(1110)을 포함할 수 있다. 상기 방법은 상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하는 동작(1115)을 포함할 수 있다. 상기 방법은 상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 표시하는 동작(1120)을 포함할 수 있다.
본 개시의 일 실시예에서 상기 방법은, 상기 카메라의 광학적 시야와 중첩되는 레이더 시야로부터 획득된 레이더 반사 신호를 기반으로 상기 레이더 응답 정보를 생성하도록 상기 UWB 통신 회로를 제어하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에서 상기 조정하는 동작은, 상기 레이더 응답 정보의 분석을 통해 감지된 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어하는 동작을 포함할 수 있다.
본 개시의 일 실시예에서 상기 방법은, 상기 제2 이미지와 함께 상기 적어도 하나의 생명 객체에 관련된 장면 설명 정보를 표시하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에서 상기 장면 설명 정보는, 상기 적어도 하나의 생명 객체의 수 및/또는 각각의 거리를 포함할 수 있다.
본 개시의 일 실시예에서 상기 분석하는 동작은, 상기 레이더 응답 정보를 분석하여 상기 적어도 하나의 생명 객체와 관련된 생명 징후를 추출하는 동작과, 상기 추출된 생명 징후를 기반으로 상기 적어도 하나의 생명 객체의 존재를 확인하는 동작을 포함할 수 있다.
본 개시의 일 실시예에서 상기 조정하는 동작은, 상기 적어도 하나의 생명 객체의 존재 또는 부재에 근거하여 색상 보정, 컨텍스트 기반 장면 분석 또는 적응적 압축 중 적어도 하나와 관련된 장면 최적화 파라미터들을 상기 카메라 모듈에 적용하는 동작을 포함할 수 있다.
본 개시의 일 실시예에서 상기 방법은, 상기 레이더 응답 정보를 기반으로 상기 적어도 하나의 생명 객체까지의 거리를 계산하는 동작과, 상기 계산된 거리의 상기 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에서 상기 방법은, 상기 레이더 응답 정보를 기반으로 저조도 환경에서 상기 적어도 하나의 생명 개체를 감지하고, 상기 적어도 하나의 생명 개체를 포커싱하도록 상기 카메라 모듈을 제어할 수 있다.
본 개시의 일 실시예에서 상기 방법은, 상기 레이더 응답 정보를 기반으로 적어도 하나의 생명 개체의 부재를 감지한 경우 상기 제1 이미지 내의 얼굴 인식에 실패한 것으로 판단하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 레이더 응답 정보는, 생명 객체들의 수 및 생명 객체들까지의 거리들, 가동되지 않은 레이더 신호와 레이더 반사 신호의 송수신 시간, 상기 카메라 모듈의 오토포커싱을 위한 거리 정보, 또는 생명 징후를 가지는 적어도 하나의 객체의 존재 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 본 개시의 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
다양한 실시예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 개시의 일 실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 객체를 포함할 수 있으며, 복수의 객체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 본 개시의 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 본 개시의 다양한 실시예들에 따르면, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 본 개시의 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시내용이 그의 다양한 실시형태를 참조하여 도시되고 설명되었지만, 형태 및 세부사항의 다양한 변경이 다음과 같은 개시내용의 범위를 벗어남이 없이 첨부된 청구범위 및 그 등가물에 의해 정의된 바와 같이 이루어질 수 있다는 것을 당업자는 이해할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이 모듈;
    카메라 모듈;
    초광대역(ultra wide band: UWB) 통신을 지원하는 UWB 통신 회로; 및
    상기 디스플레이 모듈, 상기 카메라 모듈 및 상기 UWB 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 UWB 통신 회로를 통해 레이더 반사 신호와 관련된 레이더 응답 정보를 수신하고,
    상기 카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 응답 정보를 분석하고,
    상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하고,
    상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 상기 디스플레이 모듈에 표시하도록 구성되는 것을 특징으로 하는 전자 장치.
  2. 제 1 항에 있어서, 상기 UWB 통신 회로는, 상기 카메라 모듈의 광학적 시야와 중첩되는 레이더 시야로부터 획득된 레이더 반사 신호를 기반으로 상기 레이더 응답 정보를 생성하도록 구성되는 것을 특징으로 하는 전자 장치.
  3. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 레이더 응답 정보의 분석을 통해 감지된 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  4. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제2 이미지와 함께 상기 적어도 하나의 생명 객체에 관련된 장면 설명 정보를 상기 디스플레이 모듈에 표시하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  5. 제 4 항에 있어서, 상기 장면 설명 정보는,
    상기 적어도 하나의 생명 객체의 수 및/또는 각 생명 객체까지의 거리를 포함하는 것을 특징으로 하는 전자 장치.
  6. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 레이더 응답 정보를 분석하여 상기 적어도 하나의 생명 객체와 관련된 생명 징후를 추출하고,
    상기 추출된 생명 징후를 기반으로 상기 적어도 하나의 생명 객체의 존재를 확인하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  7. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 생명 객체의 존재 또는 부재에 근거하여 색상 보정, 컨텍스트 기반 장면 분석 또는 적응적 압축 중 적어도 하나와 관련된 장면 최적화 파라미터들을 상기 카메라 모듈에 적용하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  8. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 레이더 응답 정보를 기반으로 상기 적어도 하나의 생명 객체까지의 거리를 계산하고, 상기 계산된 거리의 상기 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  9. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 레이더 응답 정보를 기반으로 저조도 환경에서 상기 적어도 하나의 생명 개체를 감지하고, 상기 적어도 하나의 생명 개체를 포커싱하도록 상기 카메라 모듈을 제어하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  10. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 레이더 응답 정보를 기반으로 적어도 하나의 생명 개체의 부재를 감지한 경우 상기 제1 이미지 내의 얼굴 인식에 실패한 것으로 판단하도록 더 구성되는 것을 특징으로 하는 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    UWB 통신 회로를 통해 레이더 반사 신호와 관련된 레이더 응답 정보를 수신하는 동작과,
    카메라 모듈에 의해 캡처된 제1 이미지 내에 적어도 하나의 생명 객체의 존재를 확인하기 위해 상기 레이더 응답 정보를 분석하는 동작과,
    상기 적어도 하나의 생명 객체의 존재가 검출됨에 근거하여 상기 카메라 모듈의 오토포커싱을 조정하는 동작과,
    상기 조정된 오토포커싱을 통해 상기 카메라 모듈로부터 캡처된 제2 이미지를 디스플레이 모듈에 표시하는 동작을 포함하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서,
    상기 카메라의 광학적 시야와 중첩되는 레이더 시야로부터 획득된 레이더 반사 신호를 기반으로 상기 레이더 응답 정보를 생성하도록 상기 UWB 통신 회로를 제어하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  13. 제 11 항에 있어서, 상기 조정하는 동작은,
    상기 레이더 응답 정보의 분석을 통해 감지된 적어도 하나의 생명 객체를 포커싱하도록 상기 카메라 모듈을 제어하는 동작을 포함하는 것을 특징으로 하는 방법.
  14. 제 11 항에 있어서,
    상기 제2 이미지와 함께 상기 적어도 하나의 생명 객체에 관련된 장면 설명 정보를 상기 디스플레이 모듈에 표시하는 동작을 더 포함하고,
    상기 장면 설명 정보는, 상기 적어도 하나의 생명 객체의 수 및/또는 각각의 거리를 포함하는 것을 특징으로 하는 방법.
  15. 제 11 항에 있어서, 상기 분석하는 동작은,
    상기 레이더 응답 정보를 분석하여 상기 적어도 하나의 생명 객체와 관련된 생명 징후를 추출하는 동작과,
    상기 추출된 생명 징후를 기반으로 상기 적어도 하나의 생명 객체의 존재를 확인하는 동작을 포함하는 것을 특징으로 하는 방법.
PCT/KR2022/018163 2021-11-29 2022-11-17 오토포커싱을 위한 전자 장치 및 그 동작 방법 WO2023096264A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22898946.3A EP4395350A1 (en) 2021-11-29 2022-11-17 Electronic device for autofocusing and method for operating same
US18/070,934 US20230171493A1 (en) 2021-11-29 2022-11-29 Electronic device for autofocusing and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210167348A KR20230080007A (ko) 2021-11-29 2021-11-29 오토포커싱을 위한 전자 장치 및 그 동작 방법
KR10-2021-0167348 2021-11-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/070,934 Continuation US20230171493A1 (en) 2021-11-29 2022-11-29 Electronic device for autofocusing and method of operating the same

Publications (1)

Publication Number Publication Date
WO2023096264A1 true WO2023096264A1 (ko) 2023-06-01

Family

ID=86539939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018163 WO2023096264A1 (ko) 2021-11-29 2022-11-17 오토포커싱을 위한 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230080007A (ko)
WO (1) WO2023096264A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340149A (ja) * 2005-06-03 2006-12-14 Canon Inc 無線伝送機能を具備した撮像装置
KR20110082734A (ko) * 2010-01-12 2011-07-20 김태권 자동 초점 조절 장치 및 그 방법
KR20170025235A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치
JP2017228874A (ja) * 2016-06-21 2017-12-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
KR20180073195A (ko) * 2016-12-22 2018-07-02 에스케이플래닛 주식회사 촬영장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340149A (ja) * 2005-06-03 2006-12-14 Canon Inc 無線伝送機能を具備した撮像装置
KR20110082734A (ko) * 2010-01-12 2011-07-20 김태권 자동 초점 조절 장치 및 그 방법
KR20170025235A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치
JP2017228874A (ja) * 2016-06-21 2017-12-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
KR20180073195A (ko) * 2016-12-22 2018-07-02 에스케이플래닛 주식회사 촬영장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20230080007A (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
WO2019221464A1 (en) Apparatus and method for recognizing an object in electronic device
WO2020013545A1 (en) Apparatus and method for authenticating object in electronic device
WO2022030855A1 (ko) 피사체와 배경에 효과를 적용하여 이미지를 생성하는 전자 장치 및 그 방법
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2022030838A1 (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법
WO2021158017A1 (en) Electronic device and method for recognizing object
WO2022080869A1 (ko) 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
WO2019066370A1 (ko) 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
WO2023096264A1 (ko) 오토포커싱을 위한 전자 장치 및 그 동작 방법
WO2022235075A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022244970A1 (ko) 전자 장치의 촬영 방법 및 그 전자 장치
WO2022139164A1 (ko) 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법
WO2022191407A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체
WO2022065827A1 (ko) 무선 통신을 이용한 촬영 방법 및 이를 지원하는 전자 장치
WO2023013894A1 (ko) 촬영된 영상에 시각 효과를 적용하고 태그를 설정하는 방법 및 장치
WO2022245037A1 (ko) 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022031050A1 (ko) 이미지를 생성하는 전자 장치 및 방법
WO2023177125A1 (ko) 생체 신호 기반의 동작 제어를 위한 전자 장치 및 그 동작 방법
WO2021230507A1 (ko) 영상 촬영 가이드를 제공하는 방법 또는 장치
US20230171493A1 (en) Electronic device for autofocusing and method of operating the same
WO2022250344A1 (ko) 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898946

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022898946

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022898946

Country of ref document: EP

Effective date: 20240327