WO2026005183A1 - 카메라를 포함하는 전자 장치 및 그의 동작 방법 - Google Patents

카메라를 포함하는 전자 장치 및 그의 동작 방법

Info

Publication number
WO2026005183A1
WO2026005183A1 PCT/KR2025/003281 KR2025003281W WO2026005183A1 WO 2026005183 A1 WO2026005183 A1 WO 2026005183A1 KR 2025003281 W KR2025003281 W KR 2025003281W WO 2026005183 A1 WO2026005183 A1 WO 2026005183A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
camera
target object
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/003281
Other languages
English (en)
French (fr)
Inventor
강형광
김문수
문지훈
손형진
유나겸
유혜미
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240100965A external-priority patent/KR20250180071A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026005183A1 publication Critical patent/WO2026005183A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to an electronic device including a camera and a method of operating the same.
  • Electronic devices have become equipped with complex functions, such as taking photos and videos, playing music and videos, playing games, receiving broadcasts, and supporting wireless Internet, and are being implemented as comprehensive multimedia players. Accordingly, electronic devices are evolving in new ways, both in hardware and software, to satisfy user needs while enhancing portability and convenience.
  • One example of this development is the emergence of foldable electronic devices.
  • electronic devices e.g., smartphones, mobile terminals, digital cameras, or wearable devices
  • can provide various functions utilizing cameras or images e.g., shooting functions, filter functions, photo editing functions, album functions, transmission/reception functions, video calling functions, or messenger functions.
  • Various attempts are being made to improve camera performance or image quality (e.g., photographs) in electronic devices.
  • An electronic device may include a display, a camera module, at least one processor, and a memory storing instructions.
  • the instructions when executed by the at least one processor, may cause the electronic device to acquire a first image through the camera module, identify at least one target object requiring additional shooting from among a plurality of objects included in the first image, adjust a shooting range of the camera module from a first shooting range to a second shooting range to additionally shoot the at least one target object based on the identification, acquire an additional image of the at least one target object through the camera module, generate a second image including a basic region and an extended region related to the at least one target object based on the first image and the additional image, and display the second image through the display.
  • An operating method of an electronic device may include an operation of acquiring a first image through a camera module, an operation of identifying at least one target object requiring additional shooting among a plurality of objects included in the first image, an operation of adjusting a shooting range of the camera module from a first shooting range to a second shooting range to additionally shoot the at least one target object based on the identification, an operation of acquiring an additional image of the at least one target object through the camera module, an operation of generating a second image including a basic region and an extended region related to the at least one target object based on the first image and the additional image, and an operation of displaying the second image through a display.
  • a computer-readable storage medium may store a program for executing a method, the method including the steps of: acquiring a first image through a camera module; identifying at least one target object requiring additional shooting among a plurality of objects included in the first image; adjusting a shooting range of the camera module from a first shooting range to a second shooting range to additionally shoot the at least one target object based on the identification; acquiring an additional image of the at least one target object through the camera module; generating a second image including a basic region and an extended region related to the at least one target object based on the first image and the additional image; and displaying the second image through a display.
  • FIG. 1 is a block diagram of an electronic device within a network environment according to various embodiments.
  • FIG. 2 is a block diagram illustrating a camera module according to various embodiments.
  • Figure 3 is a block diagram of an electronic device according to one embodiment.
  • Figure 4 is a flowchart illustrating an operating method of an electronic device according to one embodiment.
  • FIG. 5 is a diagram illustrating an example of an output image generated by an electronic device according to one embodiment.
  • FIG. 6 is a flowchart illustrating a method of an electronic device according to one embodiment of the present invention for capturing an image based on object completeness and/or object-specific weights.
  • FIG. 7A is a diagram illustrating an example of an input image captured by an electronic device according to one embodiment.
  • FIG. 7b is a diagram illustrating an example of an additional image captured by an electronic device according to one embodiment.
  • FIG. 7c is a diagram illustrating an example of a primary output image generated by an electronic device according to one embodiment.
  • FIG. 7d is a diagram illustrating an example of a secondary output image generated by an electronic device according to one embodiment.
  • FIG. 7e is a diagram illustrating another example of a secondary output image generated by an electronic device according to one embodiment.
  • FIG. 8A is a drawing showing an unfolded state of a foldable electronic device according to one embodiment.
  • FIG. 8b is a diagram showing a folded state of a foldable electronic device according to one embodiment.
  • FIGS. 9A and 9B are drawings for explaining changes in the shooting range according to the folding angle of a foldable electronic device according to one embodiment.
  • FIG. 10 is a diagram illustrating an example of a user interface for providing an image capturing function according to one embodiment.
  • FIG. 11 is a diagram illustrating an example of a user interface for guiding additional shooting according to one embodiment.
  • FIG. 12a is a diagram for explaining a multi-object detection artificial intelligence model according to one embodiment.
  • FIG. 12b is a diagram for explaining an image generation artificial intelligence model according to one embodiment.
  • FIG. 13 is a diagram for explaining an image correction operation of an image generation artificial intelligence model according to one embodiment.
  • FIG. 14 is a diagram illustrating a system including a generative artificial intelligence model according to one embodiment.
  • Electronic devices may offer a camera-based photography function. For example, a user can view a preview screen displayed on the device and press a shutter button to take a photo. Simple photography functions may only provide the user with the results of their manual shooting. In such cases, captured photos may lack essential details or be incomplete, reducing user satisfaction with the resulting images. Furthermore, capturing an appropriate scene can be inconvenient, requiring the user to move repeatedly or change the angle of view.
  • Various embodiments of the present disclosure can provide an electronic device including a camera and an operating method thereof that can increase user satisfaction with the captured image result while reflecting the user's intention when capturing an image.
  • FIG. 1 is a block diagram of an electronic device (101) within a network environment (100) according to various embodiments.
  • the electronic device (101) may communicate with the electronic device (102) via a first network (198) (e.g., a short-range wireless communication network), or may communicate with the electronic device (104) or a server (108) via a second network (199) (e.g., a long-range wireless communication network).
  • the electronic device (101) may communicate with the electronic device (104) via the server (108).
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may, for example, execute software (e.g., a program (140)) to control at least one other component (e.g., a hardware or software component) of the electronic device (101) connected to the processor (120) and perform various data processing or operations.
  • the processor (120) may store commands or data received from other components (e.g., a sensor module (176) or a communication module (190)) in a volatile memory (132), process the commands or data stored in the volatile memory (132), and store result data in a non-volatile memory (134).
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or an auxiliary processor (123) (e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together with the main processor (121).
  • a main processor (121) e.g., a central processing unit or an application processor
  • an auxiliary processor (123) e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the auxiliary processor (123) may be configured to use less power than the main processor (121) or to be specialized for a given function.
  • the auxiliary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a portion of functions or states associated with at least one component (e.g., a display module (160), a sensor module (176), or a communication module (190)) of the electronic device (101), for example, on behalf of the main processor (121) while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. This learning can be performed, for example, in the electronic device (101) itself where artificial intelligence is performed, or can be performed through a separate server (e.g., server (108)).
  • the learning algorithm can include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model can include a plurality of artificial neural network layers.
  • the artificial neural network can be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model can additionally or alternatively include a software structure.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or non-volatile memory (134).
  • the program (140) may be stored as software in the memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output audio signals to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes, such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. In one embodiment, the receiver can be implemented separately from the speaker or as part of the speaker.
  • the display module (160) can visually provide information to an external party (e.g., a user) of the electronic device (101).
  • the display module (160) may include, for example, a display, a holographic device, or a projector and a control circuit for controlling the device.
  • the display module (160) may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can acquire sound through the input module (150), output sound through the sound output module (155), or an external electronic device (e.g., electronic device (102)) (e.g., speaker or headphone) directly or wirelessly connected to the electronic device (101).
  • an external electronic device e.g., electronic device (102)
  • speaker or headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect the operating status (e.g., power or temperature) of the electronic device (101) or the external environmental status (e.g., user status) and generate an electrical signal or data value corresponding to the detected status.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) with an external electronic device (e.g., the electronic device (102)).
  • the interface (177) may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module (179) can convert electrical signals into mechanical stimuli (e.g., vibration or movement) or electrical stimuli that a user can perceive through tactile or kinesthetic sensations.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and videos.
  • the camera module (180) may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • a battery (189) may power at least one component of the electronic device (101).
  • the battery (189) may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support the establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., electronic device (102), electronic device (104), or server (108)), and the performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module (190) may include a wireless communication module (192) (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (194) (e.g., a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module (192) e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module (194) e.g., a local area network (LAN) communication module, or a power line communication module.
  • the corresponding communication module within these communication modules can communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g
  • the wireless communication module (192) can use subscriber information (e.g., an international mobile subscriber identity (IMSI)) stored in the subscriber identification module (196) to verify or authenticate the electronic device (101) within a communication network such as the first network (198) or the second network (199).
  • subscriber information e.g., an international mobile subscriber identity (IMSI)
  • IMSI international mobile subscriber identity
  • the wireless communication module (192) can support 5G networks and next-generation communication technologies following the 4G network, such as NR access technology (new radio access technology).
  • the NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the wireless communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the wireless communication module (192) can support various technologies for securing performance in a high-frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module (192) can support various requirements specified in the electronic device (101), an external electronic device (e.g., the electronic device (104)), or a network system (e.g., the second network (199)).
  • the wireless communication module (192) can support a peak data rate (e.g., 20 Gbps or more) for eMBB realization, a loss coverage (e.g., 164 dB or less) for mMTC realization, or a U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip) for URLLC realization.
  • a peak data rate e.g., 20 Gbps or more
  • a loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip
  • the antenna module (197) can transmit or receive signals or power to or from an external device (e.g., an external electronic device).
  • the antenna module (197) may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (e.g., a PCB).
  • the antenna module (197) may include a plurality of antennas (e.g., an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network (198) or the second network (199), may be selected from the plurality of antennas, for example, by the communication module (190). A signal or power may be transmitted or received between the communication module (190) and an external electronic device via the at least one selected antenna.
  • another component e.g., a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC disposed on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) disposed on or adjacent a second side (e.g., a top side or a side side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • peripheral devices e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102 or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service itself, request one or more external electronic devices to perform the function or at least a part of the service.
  • One or more external electronic devices that receive the request may execute at least a portion of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may process the result as is or additionally and provide it as at least a portion of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used, for example.
  • the electronic device (101) may provide an ultra-low latency service by using distributed computing or mobile edge computing, for example.
  • the external electronic device (104) may include an Internet of Things (IoT) device.
  • the server (108) may be an intelligent server utilizing machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram (200) illustrating a camera module (180) according to various embodiments.
  • the camera module (180) may include a lens assembly (210), a flash (220), an image sensor (230), an image stabilizer (240), a memory (250) (e.g., a buffer memory), or an image signal processor (260).
  • the lens assembly (210) may collect light emitted from a subject that is a target of image capturing.
  • the lens assembly (210) may include one or more lenses.
  • the camera module (180) may include a plurality of lens assemblies (210). In this case, the camera module (180) may form, for example, a dual camera, a 360-degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies (210) may have the same lens properties (e.g., angle of view, focal length, autofocus, f-number, or optical zoom), or at least one lens assembly may have one or more lens properties that are different from the lens properties of the other lens assemblies.
  • a lens assembly (210) may include, for example, a wide-angle lens or a telephoto lens.
  • the flash (220) can emit light used to enhance light emitted or reflected from a subject.
  • the flash (220) can include one or more light-emitting diodes (e.g., red-green-blue (RGB) LED, white LED, infrared LED, or ultraviolet LED), or a xenon lamp.
  • the image sensor (230) can acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly (210) into an electrical signal.
  • the image sensor (230) can include one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, a plurality of image sensors having the same property, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor (230) can be implemented using, for example, a CCD (charged coupled device) sensor or a CMOS (complementary metal oxide semiconductor) sensor.
  • the image stabilizer (240) can move at least one lens or image sensor (230) included in the lens assembly (210) in a specific direction or control the operating characteristics of the image sensor (230) (e.g., adjusting the read-out timing, etc.) in response to the movement of the camera module (180) or the electronic device (101) including the same. This allows compensating for at least some of the negative effects of the movement on the captured image.
  • the image stabilizer (240) can detect such movement of the camera module (180) or the electronic device (101) using a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module (180).
  • the image stabilizer (240) can be implemented as, for example, an optical image stabilizer.
  • the memory (250) can temporarily store at least a portion of the image acquired through the image sensor (230) for the next image processing task. For example, when image acquisition is delayed due to the shutter, or when multiple images are acquired at high speed, the acquired original image (e.g., a Bayer-patterned image or a high-resolution image) is stored in the memory (250), and a corresponding copy image (e.g., a low-resolution image) can be previewed through the display module (160). Thereafter, when a specified condition is satisfied (e.g., a user input or a system command), at least a portion of the original image stored in the memory (250) can be acquired and processed, for example, by the image signal processor (260). According to one embodiment, the memory (250) can be configured as at least a portion of the memory (130) or as a separate memory that operates independently therefrom.
  • a specified condition e.g., a user input or a system command
  • the image signal processor (260) can perform one or more image processing operations on an image acquired through an image sensor (230) or an image stored in a memory (250).
  • the one or more image processing operations may include, for example, depth map generation, 3D modeling, panorama generation, feature extraction, image synthesis, or image compensation (e.g., noise reduction, resolution adjustment, brightness adjustment, blurring, sharpening, or softening).
  • the image signal processor (260) may perform control (e.g., exposure time control, read-out timing control, etc.) for at least one of the components included in the camera module (180) (e.g., image sensor (230)).
  • An image processed by the image signal processor (260) may be stored back in the memory (250) for further processing or provided to an external component of the camera module (180) (e.g., memory (130), display module (160), electronic device (102), electronic device (104), or server (108)).
  • the image signal processor (260) may include at least one of the processors (120). It may be configured as a separate processor that is configured as a part of the processor (120) or operates independently of the processor (120). If the image signal processor (260) is configured as a separate processor from the processor (120), at least one image processed by the image signal processor (260) may be displayed through the display module (160) as is or after undergoing additional image processing by the processor (120).
  • the electronic device (101) may include a plurality of camera modules (180), each having different properties or functions.
  • at least one of the plurality of camera modules (180) may be a wide-angle camera, and at least another may be a telephoto camera.
  • at least one of the plurality of camera modules (180) may be a front camera, and at least another may be a rear camera.
  • FIG. 3 is a block diagram of an electronic device (300) according to one embodiment.
  • an electronic device (300) may include a camera module (310), a display (320), a processor (330), and/or a memory (340).
  • the electronic device (300) of FIG. 3 may correspond to the electronic device (101) illustrated in FIG. 1.
  • the camera module (310), the display (320), the processor (330), and the memory (340) included in the electronic device (300) of FIG. 3 may each correspond to the camera module (180), the display module (160), the processor (120), and the memory (130) of FIG. 1.
  • at least one of the illustrated components of the electronic device (300) may be omitted, integrated with each other, or additionally provided with another component.
  • the camera module (310), display (320), processor (330), and memory (340) included in the electronic device (300) may be electrically and/or operationally connected to each other to exchange signals (e.g., commands or data) with each other.
  • an electronic device (300) may provide an image capturing function.
  • the electronic device (300) may provide an image capturing function based on artificial intelligence (AI).
  • AI artificial intelligence
  • the electronic device (300) may execute an application (e.g., a camera application, a gallery application) and use the application to provide an image capturing function.
  • the application executed in the electronic device (300) may operate independently or in conjunction with an external electronic device (e.g., electronic device (102), electronic device (104) of FIG. 1, or server (108) of FIG. 1).
  • the processor (330) may include at least one processor.
  • the processor (330) may execute various functions supported by the electronic device (300).
  • the processor (330) may control the camera module (310), the display (320), the processor (330), and/or the memory (340).
  • the processor (330) may execute an application and control various hardware by executing code written in a programming language stored in the memory (340) of the electronic device (300).
  • the memory (340) may store instructions that, when executed by the processor (330), cause the electronic device (300) to perform various operations.
  • the processor (330) of the electronic device (300) may provide an image capturing function by executing instructions stored in the memory (340).
  • the display (320) may include at least one of a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), organic light emitting diodes (OLED), a light emitting diode (LED), an active matrix organic LED (AMOLED), a flexible display, and a 3-dimensional display.
  • LCD liquid crystal display
  • TFT-LCD thin film transistor LCD
  • OLED organic light emitting diodes
  • LED light emitting diode
  • AMOLED active matrix organic LED
  • some of these displays may be configured as transparent or light-transmitting so that the outside may be viewed therethrough.
  • the transparent or light-transmitting display may be configured as a transparent display including a TOLED (transparent OLED).
  • the camera module (310) may include at least one camera.
  • each camera may correspond to the camera module (180) of FIG. 1 or include at least a portion of the camera module (180). Portions of each camera may be implemented in an integrated form.
  • each camera may include only some components of the camera module (180) (e.g., the lens assembly (210)), and other components (e.g., the image sensor (230) or the image signal processor (260)) may be integrated into one.
  • the camera module (310) can acquire an image (e.g., a still image, a moving image) by performing a shooting (or capturing) operation according to a user's operation.
  • the captured image can be displayed through the display (320) or stored in the memory (340).
  • the camera module (310) can acquire a preview image in frame units as the camera application is executed, and can capture (or capture) the image when a user input for shooting (e.g., shutter button input) is received while displaying the preview image.
  • the display (320) can display the preview image acquired through the camera module (310) in real time.
  • the image captured by the camera module (310) can be stored in the memory (340). For example, when the gallery application is executed, the captured image stored in the memory (340) can be displayed through the display (320).
  • the processor (330) can control the camera module (310).
  • the processor (330) can support various functions using the camera module (310).
  • the processor (330) can store images (e.g., preview images and/or captured images) acquired through the camera module (310) in the memory (340) or display the images through the display (320).
  • images e.g., preview images and/or captured images
  • the processor (330) can acquire a preview image in real time through the camera module (310) and display the preview image on the display (320).
  • a gallery application is running, the processor (330) can load captured images stored in the memory (340) and display the captured images through the display (320).
  • the processor (330) can obtain an input image through the camera module (310).
  • the processor (330) can store the input image and/or an output image generated from the input image in the memory (340) or display it through the display (320).
  • the processor (330) may obtain a first image (input image) through the camera module (310).
  • the processor (330) may identify at least one target object requiring additional shooting among a plurality of objects included in the first image. Based on the identification, the processor (330) may adjust the shooting range of the camera module (310) from the first shooting range to a second shooting range in order to additionally shoot the at least one target object.
  • the processor (330) may obtain an additional image of the at least one target object through the camera module (310).
  • the processor (330) may generate a second image (output image) including a basic region and an extended region related to the at least one target object based on the first image and the additional image.
  • the processor (330) may display the second image through the display (320).
  • At least one target object requiring additional shooting may correspond to at least one of a second object around a focused first object among a plurality of objects included in a first image (input image), a second object around a first object located at the center of the first image, a second object located at the periphery of the first image, a second object including only a partial shape without an entire shape, or a second object related to location information of the electronic device (300).
  • the extended region associated with at least one target object in the second image may include at least one of an actual shooting region or a virtual region.
  • the actual shooting region may be cropped and/or warped from an additionally captured additional image, and may include a partial shape of the entire shape of at least one target object that is not included in the first image (input image).
  • the virtual region may be generated based on at least one of the additional image or the actual shooting region.
  • the processor (330) can detect a plurality of objects from a first image (input image).
  • the processor (330) can identify an object among the plurality of objects whose object completeness is lower than a specified ratio as a target object requiring additional shooting.
  • the processor (330) can detect a plurality of objects from a first image (input image). The processor (330) can assign weights to the plurality of objects. Based on the assigned weights, the processor (330) can identify a target object requiring additional imaging among the plurality of objects.
  • the processor (330) may classify each of the plurality of objects into one of a first object having a first weight (e.g., a key object), a second object having a second weight lower than the first weight (e.g., a key object), and a third object having a third weight lower than the second weight (e.g., a non-key object) based on the assigned weights.
  • the processor (330) may identify the second object having the second weight as a target object requiring additional imaging.
  • the camera module (310) of the electronic device (300) may include a plurality of cameras having different angles of view.
  • the processor (330) of the electronic device (300) may acquire the first image for the first shooting range through the activated first camera when the first camera having the first angle of view among the plurality of cameras is activated.
  • the processor (330) may activate a second camera having the second angle of view among the plurality of cameras.
  • the processor (330) may acquire an additional image for the second shooting range through the activated second camera.
  • the electronic device (300) may be a foldable electronic device (e.g., the foldable electronic device (800) of FIGS. 8A and 8B).
  • the processor (330) of the electronic device (300) may acquire a first image for a first shooting range through a first camera in a camera module (310).
  • the processor (330) may change the shooting range of the first camera from the first shooting range to a second shooting range by changing a folding angle of the foldable electronic device.
  • the processor (330) may acquire an additional image for the second shooting range through the first camera.
  • the processor (330) may automatically change the shooting range of the first camera by changing the folding angle of the electronic device (300) while the electronic device (300) (e.g., the foldable electronic device (800) of FIGS. 8A and 8B) operates in a flex mode.
  • the processor (330) may obtain object-related information about at least one target object among a plurality of objects included in the first image by transmitting first image information about the first image (input image, first captured image) to a first artificial intelligence model (e.g., the first artificial intelligence model (1210) of FIG. 12A) trained to identify at least one target object requiring additional capturing.
  • the electronic device (300) may identify at least one target object based on the object-related information.
  • the processor (330) may obtain the second image (output image, AI extended image) generated based on the first image and the additional image by transmitting first image information for the first image (input image, first captured image) and additional image information for the additional image (additional captured image) to a second artificial intelligence model (e.g., the second artificial intelligence model (1250) of FIG. 12a) trained to generate the second image.
  • a second artificial intelligence model e.g., the second artificial intelligence model (1250) of FIG. 12a
  • FIGS. 4, 5, 6, 7a, 7b, 7c, 7d, and 7e operating methods of an electronic device (300) according to various embodiments will be described with reference to FIGS. 4, 5, 6, 7a, 7b, 7c, 7d, and 7e.
  • the illustrated operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of the operations may be changed, and at least two operations may be performed in parallel. In some embodiments, some of the illustrated operations may be omitted, some operations may be combined, the order of some operations may be changed, or other operations may be added. At least some of the operations of the operating methods of the electronic device (300) according to various embodiments described below may be performed in correspondence with each other or in combination with each other.
  • FIG. 4 is a flowchart illustrating an operation method of an electronic device (300) according to one embodiment.
  • the method of operating the electronic device (300) may be for providing an image capturing function.
  • an operation method of an electronic device (300) for providing an image capturing function may include operations 410, 420, 430, 440, 450, and 460.
  • the electronic device (300) can obtain a first image (e.g., input image (510) of FIG. 5) through the camera module (310).
  • a first image e.g., input image (510) of FIG. 5
  • the first image may be an image initially photographed (or captured) according to the user's intention.
  • the first image may be an image photographed (or captured) by the camera module (310) when the photographing range (or camera photographing range) of the camera module (310) is set to the first photographing range.
  • the camera photographing range may correspond to at least one of a folding angle, a camera angle of view, or a camera position.
  • the electronic device (300) can identify at least one target object requiring additional shooting among the plurality of objects included in the first image acquired through operation 410.
  • At least one target object requiring additional shooting may correspond to at least one of a second object around a focused first object among a plurality of objects included in the first image, a second object around a first object located at the center of the first image, a second object located at the outskirts of the first image, a second object including only a partial shape without an entire shape, or a second object related to location information of the electronic device (300).
  • the electronic device (300) can identify at least one target object requiring additional shooting based on at least one of object completeness, object-specific weight, object-specific location, or location information of the electronic device (300).
  • the electronic device (300) may identify at least one target object requiring additional photography based on the object completeness. For example, the electronic device (300) may identify an object (e.g., a second object including only a partial shape without a full shape) among a plurality of objects in the first image acquired through operation 410, wherein the object completeness is lower than a specified ratio, as a target object requiring additional photography.
  • an object e.g., a second object including only a partial shape without a full shape
  • the electronic device (300) may identify at least one target object requiring additional shooting based on weights for each object. For example, the electronic device (300) may detect a plurality of objects from the first image acquired through operation 410. The electronic device (300) may assign a weight (or priority) to each of the detected plurality of objects. The electronic device (300) may identify a target object requiring additional shooting among the plurality of objects based on the weights for each object assigned to the plurality of objects.
  • the electronic device (300) may classify each of the plurality of objects in the first image into one of a first object having a first weight (e.g., a key object), a second object having a second weight lower than the first weight (e.g., a key object), and a third object having a third weight lower than the second weight (e.g., a non-key object).
  • the electronic device (300) can identify the second object (e.g., main object) having the second weight based on the assigned object-specific weight as a target object requiring additional shooting.
  • the electronic device (300) may identify at least one target object requiring additional shooting based on the location of each object. For example, the electronic device (300) may identify a second object around a focused first object (e.g., a first object located at a vanishing point location) among a plurality of objects in the first image acquired through operation 410, a second object around a first object located at the center of the first image, or a second object located at the periphery (boundary) of the first image as a target object requiring additional shooting.
  • a focused first object e.g., a first object located at a vanishing point location
  • the electronic device (300) may identify a second object around a focused first object (e.g., a first object located at a vanishing point location) among a plurality of objects in the first image acquired through operation 410, a second object around a first object located at the center of the first image, or a second object located at the periphery (boundary) of the first image as
  • the electronic device (300) can identify at least one target object requiring additional shooting based on the location information (or place information) of the electronic device (300).
  • the electronic device (300) can obtain the location information (or place information) of the electronic device (300) through at least one sensor (e.g., a GNSS communication module, a time of flight (TOF) sensor, an ultra wideband (UWB) sensor).
  • the electronic device (300) can determine a second object (e.g., a landmark terrain, facility, or character related to the current location) having the highest correlation with the location information among a plurality of objects in a first image, and identify the second object as a target object requiring additional shooting.
  • a second object e.g., a landmark terrain, facility, or character related to the current location
  • the electronic device (300) may transmit first image information about the first image acquired through operation 410 as an input to a first artificial intelligence model (e.g., the first artificial intelligence model (1210) of FIG. 12A) trained to identify at least one target object requiring additional shooting, thereby acquiring object-related information about the at least one target object among a plurality of objects included in the first image.
  • the electronic device (300) may identify the at least one target object based on the object-related information.
  • the electronic device (300) can adjust the shooting range (or camera shooting range) of the camera module (310) from the first shooting range to the second shooting range to additionally shoot at least one target object based on the identification result of operation 420.
  • the electronic device (300) can adjust the camera shooting range by changing at least one of the folding angle, the camera angle of view, or the camera position.
  • the electronic device (300) may acquire an additional image of the at least one target object through the camera module (310).
  • the additional image may be an image secondarily captured (or taken) by the camera module while the shooting range (or camera shooting range) of the camera module (310) is adjusted to a second shooting range.
  • the shooting range (or camera shooting range) of the camera module (310) may vary as the folding angle of the electronic device (300) changes.
  • the electronic device (300) may acquire both the first image and the additional images using the same camera.
  • the electronic device (300) may be a foldable electronic device (e.g., the foldable electronic device (800) of FIGS. 8A and 8B ).
  • the foldable electronic device may acquire a first image for the first shooting range through the first camera (e.g., the front camera (804) of FIG. 8A) in a state in which the foldable electronic device is folded at a first folding angle (e.g., 45 degrees).
  • the first shooting range may correspond to the first folding angle.
  • the foldable electronic device can change the shooting range of the first camera (e.g., the front camera (804) of FIG. 8A) from the first shooting range to the second shooting range by changing the folding angle from the first folding angle to the second folding angle (e.g., 30 degrees).
  • the second shooting range can correspond to the second folding angle.
  • the foldable electronic device can acquire additional images for the second shooting range through the first camera (e.g., the front camera (804) of FIG. 8A) when folded at the second folding angle (e.g., 30 degrees).
  • the shooting range (or camera shooting range) of the camera module (310) may vary as the camera that is activated (or selected) among a plurality of cameras having different angles of view is changed from a first camera to a second camera.
  • the camera module (310) of the electronic device (300) may include a plurality of cameras having different angles of view.
  • the electronic device (300) may acquire a first image and an additional image using the cameras having different angles of view in the camera module (310).
  • the electronic device (300) may acquire a first image for a first shooting range through the activated first camera (e.g., a wide-angle camera with an angle of view of 85 degrees) having a first angle of view among the plurality of cameras when the first camera is activated.
  • the first shooting range may correspond to the first angle of view of the first camera.
  • the electronic device (300) may activate a second camera (e.g., an ultra-wide-angle camera with a 120-degree field of view) among the plurality of cameras.
  • the electronic device (300) may acquire additional images of a second shooting range through the activated second camera.
  • the second shooting range may correspond to the second angle of view of the second camera.
  • the shooting range (or camera shooting range) of the camera module (310) may vary as the camera that is activated (or selected) among the plurality of cameras arranged at different locations changes from the first camera to the second camera.
  • the electronic device (300) may acquire the first image and the additional images, respectively, using the cameras arranged at different locations within the camera module (310).
  • the electronic device (300) may acquire the first image for the first shooting range through the activated first camera when the first camera (e.g., the front center camera) at the first location among the plurality of cameras is activated.
  • the first shooting range may correspond to the first location (or first direction) of the first camera.
  • the electronic device (300) may activate the second camera (e.g., the front left camera and/or the front right camera) at the second location among the plurality of cameras.
  • the electronic device (300) may acquire the additional image for the second shooting range through the activated second camera.
  • the second shooting range may correspond to the second position (or second direction) of the second camera.
  • the electronic device (300) may generate a second image (e.g., an output image (520) of FIG. 5) based on the first image acquired through operation 410 and the additional image acquired through operation 440.
  • the second image (e.g., the output image (520) of FIG. 5) may include a basic region (e.g., a basic region (521) of FIG. 5) and an extended region (e.g., at least one of the extended regions (522, 523) of FIG. 5) related to at least one target object.
  • the basic region may be a region corresponding to the first image.
  • the extended region may be a region added to the basic region related to the at least one target object.
  • the extended area associated with at least one target object may include at least one of an actual shooting area (e.g., the first extended area (522) of FIG. 5) or a virtual area (e.g., the second extended area (523) of FIG. 5).
  • an actual shooting area e.g., the first extended area (522) of FIG. 5
  • a virtual area e.g., the second extended area (523) of FIG. 5
  • the actual capture area (e.g., the first extended area (522) of FIG. 5) may be a cropped and/or warped area from an additional image acquired through operation 440.
  • the actual capture area may include a partial shape of at least one target object requiring additional capture that is not included in the first image.
  • the virtual area (e.g., the second extended area (523) of FIG. 5) may be an area generated based on at least one of the additional image or the actual captured area.
  • the virtual area may be an area out-painted (or upscaled, rendered) from a region synthesized by cropping and/or warping an actual captured area from an additional image (e.g., the first extended area (522) of FIG. 5) and a basic area corresponding to the first image (e.g., the basic area (521) of FIG. 5).
  • the electronic device (300) may transfer first image information for the first image (input image) acquired through operation 410 and additional image information for the additional image acquired through operation 440 to a second artificial intelligence model (e.g., the second artificial intelligence model (1250) of FIG. 12b) trained to generate a second image (output image) including an extended area, thereby obtaining a second image (e.g., the output image (520) of FIG. 5) generated based on the first image and the additional image.
  • a second artificial intelligence model e.g., the second artificial intelligence model (1250) of FIG. 12b
  • the electronic device (300) may display a second image generated through operation 450 (e.g., the output image (520) of FIG. 5) and/or a user interface related to the second image through the display (320).
  • a second image generated through operation 450 e.g., the output image (520) of FIG. 5
  • a user interface related to the second image through the display (320).
  • FIG. 5 is a diagram illustrating an example of an output image generated by an electronic device (300) according to one embodiment.
  • reference number 510 represents an input image
  • reference number 520 represents an output image
  • reference number 521 represents a basic area
  • reference number 522 represents a first extended area
  • reference number 523 represents a second extended area.
  • the electronic device (300) can capture an input image (510) according to a user operation.
  • the input image (510) may be a primary capture result intended by the user.
  • the input image (510) may be an image captured for the first time by a camera module (310) within the electronic device (300) (e.g., a front camera at a first folding angle, a wide-angle camera with a field of view of 85 degrees).
  • the electronic device (300) may generate an output image (520) using an input image (510).
  • the output image (520) may be a secondary photographing result generated using an artificial intelligence-based image capturing function.
  • the output image (520) may include a base region (521) corresponding to the input image (510).
  • the output image (520) may further include one or more extended regions (522, 523) in addition to the base region (521).
  • the first extended area (522) may be an actual captured area.
  • the first extended area (522) may be a cropped area from an image additionally captured by a camera module (310) within the electronic device (300) (e.g., a front camera at a second folding angle, an ultra-wide-angle camera with a field of view of 120 degrees).
  • the first extended area (522) may be an area to which a warping technique is applied from an image additionally captured by the camera module within the electronic device (300). When applying the warping technique to the additionally captured image, the warping operation may be performed based on the image information of the basic area (521).
  • the second extended area (523) may be a virtual area generated based on at least one of an image additionally captured by a camera module (310) within the electronic device (300) (e.g., a front camera at a second folding angle, an ultra-wide-angle camera with a field of view of 120 degrees) and a first extended area (522) cropped and/or warped from the additionally captured image.
  • the second extended area (523) may be an area out-painted (or upscaled, rendered) from an area synthesized by cropping and/or warping the first extended area (522) from the additionally captured image and the basic area (521) corresponding to the input image (510).
  • FIG. 6 is a flowchart illustrating a method for an electronic device (300) to capture an image based on object completeness and/or object-specific weights according to one embodiment.
  • a method of capturing an image by an electronic device may include operations 610, 620, 630, 640, 650, 660, 670, and 680.
  • operation 610 of FIG. 6 may correspond to operation 410 of FIG. 4.
  • Operations 620, 630, and 640 of FIG. 6 may correspond to operation 420 of FIG. 4.
  • Operation 650 of FIG. 6 may correspond to operation 430 of FIG. 4.
  • Operation 660 of FIG. 6 may correspond to operation 440 of FIG. 4.
  • Operation 670 of FIG. 6 may correspond to operation 450 of FIG. 4.
  • Operation 680 of FIG. 6 may correspond to operation 460 of FIG. 4.
  • the electronic device (300) may acquire a first image through the camera module (310).
  • the first image may be an image that is first photographed (or captured) according to the user's intention.
  • the first image may be an image that is first photographed by the camera module (310) when the photographing range (or camera photographing range) of the camera module (310) is set to the first photographing range.
  • the first image may be the input image (710) of FIG. 7A.
  • the input image (710) of FIG. 7A may be an image photographed at a first folding angle and/or an image photographed by a wide-angle camera.
  • the electronic device (300) may identify at least one target object requiring additional shooting based on object completeness and/or object-specific weights.
  • Operations 620, 630, and 640 may be for identifying an object requiring additional shooting among a plurality of objects in the first image.
  • the electronic device (300) can detect a plurality of objects included in the first image acquired through operation 610. For example, the electronic device (300) can detect object A (711), object B (712), object C (713), object D (714), and object E (715) of FIG. 7A from the input image (710) of FIG. 7A.
  • the electronic device (300) may assign a weight to each of the plurality of objects detected from the first image through operation 620. Based on the object-specific weights assigned to the plurality of objects, the electronic device (300) may identify at least one target object requiring additional shooting among the plurality of objects.
  • the electronic device (300) can classify each of the plurality of objects (711, 712, 713, 714, 715) included in the first image (710) of FIG. 7A into one of a core object, a primary object, and a non-core object.
  • the electronic device (300) may classify object B (712) and object D (714) among object A (711), object B (712), object C (713), object D (714), and object E (715) as key objects, classify object A (711) and object E (715) as key objects, and classify object C (713) as non-key objects.
  • a core object may refer to an object with the highest weight (or highest priority) among a plurality of objects.
  • a primary object may refer to an object with the second-highest weight (or middle priority) among the plurality of objects after the core object.
  • a non-core object may refer to an object with the lowest weight (or lowest priority) among the plurality of objects.
  • Non-core objects may be any object other than the core object and the primary object.
  • the electronic device (300) may identify a key object among key objects, primary objects, and non-primary objects as a target object requiring additional shooting.
  • the key object may refer to an object with a second highest weight (or medium priority) after the key object.
  • the electronic device (300) can identify object A (711) and object E (715), which are classified as main objects among a plurality of objects (711, 712, 713, 714, 715) in the first image (710) of FIG. 7a, as target objects requiring additional shooting.
  • the electronic device (300) estimates the size of the overall shape of the main object based on the features (e.g., location, size, shape, etc.) of a portion of the shape included in the first image that was first captured, and determines the object completeness of the main object based on the estimation.
  • the electronic device (300) collects reference images that include objects similar to the portion of the shape through a web search, and determines the object completeness of the main object through a comparison with the reference images.
  • the electronic device (300) may collect reference images or determine the object completeness of the main object by additionally considering the location information of the electronic device (300).
  • the electronic device (300) can proceed to operation 650.
  • the electronic device (300) can adjust the shooting range (or camera shooting range) of the camera module (310) from the first shooting range to the second shooting range to perform additional shooting of the main object.
  • the electronic device (300) can adjust the camera shooting range for additional shooting through an operation of changing the folding angle of the electronic device (300) and/or an operation of changing a shooting camera (an activated or selected camera) among a plurality of cameras having different angles of view or positions.
  • the electronic device (300) can change the shooting camera from a wide-angle camera to an ultra-wide-angle camera so that the additional shooting area becomes wider than the primary shooting area, or can change the camera angle of view or folding angle so that the additional shooting direction faces the main object.
  • the electronic device (300) may acquire an additional image of the at least one target object through the camera module (310).
  • the additional image may be an image additionally photographed (or captured) by the camera module (310) while the photographing range of the camera module (310) is adjusted to a second photographing range.
  • the additional image may be the first additional image (720) and/or the second additional image (730) of FIG. 7B.
  • the first additional image (720) of FIG. 7B may be an image photographed at a second folding angle.
  • the second additional image (730) of FIG. 7B may be an image photographed by an ultra-wide-angle camera.
  • the electronic device (300) may generate a second image based on the first image acquired through operation 610 and the additional image acquired through operation 660.
  • the second image may be the secondary output image (760) of FIG. 7d.
  • the electronic device (300) may display the second image generated through operation 670 and/or a user interface related to the second image through the display (320).
  • FIG. 7a is a diagram illustrating an example of an input image captured by an electronic device (300) according to one embodiment.
  • reference number 710 represents an input image
  • reference number 711 represents object A
  • reference number 712 represents object B
  • reference number 713 represents object C
  • reference number 714 represents object D
  • reference number 715 represents object E.
  • the electronic device (300) can capture an input image (710) according to a user operation.
  • the electronic device (300) can acquire the input image (710) by performing a first capture using a wide-angle camera while the camera angle and/or folding angle have a first angle.
  • the electronic device (300) can detect object A (711), object B (712), object C (713), object D (714), and object E (715) from the input image (710).
  • the electronic device (300) may determine that among the five objects (711, 712, 713, 714, 715) included in the input image (710), object B (712) and object D (714) are key objects that are in focus or are person objects, and that their entire shapes are included without object clipping.
  • the electronic device (300) may determine that object A (711) and object E (715) are key objects related to the current location (or place) of the electronic device (300), and that only partial shapes are included due to object clipping, and that additional shooting of object A (711) and object E (715) is necessary.
  • the electronic device (300) may determine that object C (713) is a non-key object that has a general shape.
  • FIG. 7b is a diagram illustrating an example of an additional image captured by an electronic device (300) according to one embodiment.
  • reference numeral 710 represents an input image
  • reference numeral 720 represents a first additional image
  • reference numeral 730 represents a second additional image.
  • the electronic device (300) can perform additional shooting of object A (711) and object E (715) among five objects (711, 712, 713, 714, 715) included in the input image (710).
  • the electronic device (300) can obtain one or more additional images, for example, a first additional image (720) and/or a second additional image (730), through the additional shooting.
  • the electronic device (300) can acquire a first additional image (720) by performing additional shooting (or secondary shooting) after changing the camera angle of view and/or folding angle from the first angle to the second angle.
  • the first additional image (720) can include more of the first shooting area (721) for object A (711) and the second shooting area (725) for object E (715) than the input image (710).
  • the first shooting area (721) for object A (711) can include a partial shape of object A (711) that is not included in the input image (710).
  • the second shooting area (725) for object E (715) can include a partial shape of object E (715) that is not included in the input image (710).
  • the electronic device (300) can acquire a second additional image (730) by performing additional shooting after changing the shooting camera from a wide-angle camera to an ultra-wide-angle camera.
  • the second additional image (730) can include more of the first shooting area (731) for object A (711) and the second shooting area (735) for object E (715) than the input image (710).
  • the first shooting area (731) for object A (711) can include a partial shape of object A (711) that is not included in the input image (710).
  • the second shooting area (735) for object E (715) can include a partial shape of object E (715) that is not included in the input image (710).
  • FIG. 7c is a diagram illustrating an example of a primary output image generated by an electronic device (300) according to one embodiment.
  • reference numeral 710 represents an input image
  • reference numeral 730 represents a second additional image
  • reference numeral 740 represents a first output image
  • the electronic device (300) can generate a first output image (740) by synthesizing (or combining) the input image (710) and the second additional image (730) (and/or the first additional image (720)).
  • FIG. 7d is a diagram illustrating an example of a secondary output image generated by an electronic device (300) according to one embodiment.
  • reference numeral 740 represents the first output image
  • reference numeral 760 represents the second output image
  • the primary output image (740) may have a different aspect ratio (image ratio or image size) than the input image (710).
  • aspect ratio image ratio or image size
  • addition of new regions (751, 752) may be required.
  • the electronic device (300) can generate a secondary output image (760) having the same aspect ratio as the input image (710) by adding a first region (761) and a second region (762) to the primary output image (740).
  • the secondary output image (760) can include the primary output image (740), the first region (761), and the second region (762).
  • the primary output image (740) in the secondary output image (760) can be an actual captured region.
  • the first region (761) and the second region (762) in the secondary output image (760) can be virtual regions generated based on the input image (710) and/or the primary output image (740).
  • FIG. 7e is a diagram illustrating another example of a secondary output image generated by an electronic device (300) according to one embodiment.
  • reference numeral 710 represents an input image
  • reference numerals 770 and 780 represent secondary output images.
  • the electronic device (300) can apply various visual effects (e.g., object resizing, filter effects, post-processing for natural image synthesis, adding augmented objects) to the secondary output images (770, 780).
  • various visual effects e.g., object resizing, filter effects, post-processing for natural image synthesis, adding augmented objects
  • the electronic device (300) can maintain or adjust the sizes of object B (712) and object D (714), which are determined as key objects, according to the aspect ratio of the secondary output images (770, 780). For example, the electronic device (300) can reduce the sizes of object B (712) and object D (714) to match the aspect ratio of the secondary output image (770), and generate a secondary output image (780) including the reduced object B (772) and the reduced object D (774). For example, the electronic device (300) can maintain the sizes of object B (782) and object D (784) in the secondary output image (780) to be the same as the sizes of object B (712) and object D (714) in the input image (710).
  • the electronic device (300) may be an electronic device of a type whose form factor can be transformed. According to one embodiment, the electronic device (300) may be a foldable electronic device (800).
  • FIG. 8A is a diagram illustrating an unfolded state of a foldable electronic device (800) according to one embodiment.
  • FIG. 8B is a diagram illustrating a folded state of a foldable electronic device (800) according to one embodiment.
  • a foldable electronic device (800) may include a foldable housing (801) and a flexible (or foldable) display (830) disposed within a space formed by the foldable housing (801).
  • the foldable housing (801) may include a first housing (810) and a second housing (820).
  • the first housing (810) and/or the second housing (820) may form at least a portion of the exterior of the foldable electronic device (800).
  • the surface on which the flexible display (830) is visually exposed is defined as the front surface of the foldable electronic device (800) (e.g., the first front surface (810a) and the second front surface (820a)).
  • the surface opposite to the front surface is defined as the back surface of the foldable electronic device (800) (e.g., the first back surface (810b) and the second back surface (820b)).
  • the surface surrounding at least a portion of the space between the front surface and the back surface is defined as the side surface of the foldable electronic device (800) (e.g., the first side surface (810c) and the second side surface (820c)).
  • the first housing (810) and the second housing (820) are connected by a hinge in the hinge housing (840) and can rotate relative to each other about a folding axis (A) by the hinge. Accordingly, the first housing (810) and/or the second housing (820) of the foldable electronic device (800) can be folded or unfolded about the folding axis (A).
  • the folding angle of the foldable electronic device (800) and/or the state of the foldable electronic device (800) e.g., the unfolded state of FIG. 8A, the folded state of FIG. 8B, or an intermediate state between the unfolded state and the folded state
  • the folding angle of the foldable electronic device (800) and/or the state of the foldable electronic device (800) e.g., the unfolded state of FIG. 8A, the folded state of FIG. 8B, or an intermediate state between the unfolded state and the folded state
  • the first housing (810) can provide relative motion to the second housing (820), and the second housing (820) can provide relative motion to the first housing (810).
  • the first housing (810) can rotate relative to the second housing (820) using a hinge. Accordingly, the foldable electronic device (800) can be changed into a folded state (e.g., FIG. 8b) or an unfolded state (e.g., FIG. 8a).
  • the first front surface (810a) can face the second front surface (820a), and in the unfolded state, the direction in which the first front surface (810a) faces can be the same as the direction in which the second front surface (820a) faces.
  • the first front surface (810a) in the unfolded state, can be positioned on substantially the same plane as the second front surface (820a).
  • the first housing (810) and the second housing (820) are arranged on both sides with respect to the folding axis (A) as the center, and may have a shape that is overall symmetrical with respect to the folding axis (A).
  • the angle between the first housing (810) and the second housing (820) may change depending on whether the state of the foldable electronic device (800) is an unfolded state, a folded state, or an intermediate state between the unfolded state and the folded state.
  • the angle between the first housing (810) and the second housing (820) may be interpreted as a folding angle of the foldable electronic device (800).
  • the foldable electronic device (800) may include a hinge housing (840).
  • the hinge housing (840) may be disposed between the first housing (810) and the second housing (820).
  • the hinge housing (840) may be covered by a portion of the first housing (810) and the second housing (820), or may be exposed to the outside of the foldable electronic device (800), depending on the state of the foldable electronic device (800).
  • the hinge housing (840) may protect a hinge that rotatably connects the first housing (810) and the second housing (810) from an external impact of the foldable electronic device (800).
  • the hinge housing (840) may be interpreted as a hinge cover for protecting the hinge.
  • the angle or distance between the first housing (810) and the second housing (820) may vary depending on whether the state of the foldable electronic device (800) is an unfolded state (extended state, flat state) (or opened state), a folded state (or closed state), or an intermediate state.
  • the degree of external exposure of the hinge housing (840) may vary depending on the state of the foldable electronic device (800). For example, as illustrated in FIG. 8A, when the foldable electronic device (800) is in an unfolded state, the hinge housing (840) may be covered by the first housing (810) and the second housing (820) and may not be exposed. For example, as illustrated in FIG. 8B, when the foldable electronic device (800) is in a folded state (e.g., a fully folded state), the hinge housing (840) may be exposed to the outside between the first housing (810) and the second housing (820).
  • a folded state e.g., a fully folded state
  • the hinge housing (840) may be partially exposed to the outside between the first housing (810) and the second housing (820). However, in this case, the exposed area may be less than that in the fully folded state.
  • the hinge housing (840) may include a curved surface.
  • the flexible display (830) may have a structure in which at least some areas can be transformed into a flat or curved surface.
  • the flexible display (830) may be formed to vary in response to the relative movement of the second housing (820) with respect to the first housing (810).
  • the flexible display (830) may include a folding area (833), a first display area (831) disposed on one side (e.g., above (in the +Y direction) of the folding area (833) as shown in FIG. 8A) with respect to the folding area (833), and a second display area (832) disposed on the other side (e.g., below (in the -Y direction) of the folding area (833) as shown in FIG. 8A).
  • the folding area (833) may be positioned on a hinge that rotatably connects the first housing (810) and the second housing (820).
  • the first display area (831) may be disposed on the first housing (810)
  • the second display area (832) may be disposed on the second housing (820).
  • the flexible display (830) may include the first housing (810) and the second It can be accommodated in the housing (820).
  • the division of the regions of the flexible display (830) illustrated in FIG. 8A is exemplary, and the flexible display (830) may be divided into a plurality of regions (for example, four or more or two) depending on the structure or function.
  • the regions of the flexible display (830) may be divided by a folding region (833) extending parallel to the X-axis or a folding axis (A), but in other embodiments, the regions of the flexible display (830) may be divided based on another folding axis (for example, a folding axis parallel to the Y-axis).
  • the flexible display (830) may be combined with or disposed adjacent to a touch detection circuit, a pressure sensor capable of measuring the intensity (pressure) of a touch, and/or a digitizer configured to detect a magnetic field-type stylus pen.
  • the flexible display (830) of the foldable electronic device (800) may be a front display.
  • the foldable electronic device (800) may further include a rear display (834).
  • the rear display (834) may be arranged to face a different direction than the flexible display (830).
  • the flexible display (830) may be visually exposed through the front side (e.g., the first front side (810a) and/or the second front side (820a)) of the foldable electronic device (800), and the rear display (834) may be visually exposed through the rear side (e.g., the first rear side (810b)) of the foldable electronic device (800).
  • the foldable electronic device (800) may include at least one camera (804, 806).
  • the foldable electronic device (800) may include a front camera (804) exposed through the front (e.g., the first front (810a)) and/or a rear camera (806) exposed through the rear (e.g., the first rear (810b)).
  • the cameras (804, 806) may correspond to the camera module (180) of FIG. 2 or the camera module (310) of FIG. 3.
  • the photographing range of at least one camera (804, 806) may vary depending on the folding angle of the foldable electronic device (800). For example, when the first housing (810) and/or the second housing (820) rotates around the folding axis (A), the rotation may cause physical movement of at least one camera (804, 806). Accordingly, the photographing range of at least one camera (804, 806) of the foldable electronic device (800) may vary.
  • the operation of the first housing (810) and the second housing (820) and each area of the flexible display (830) according to the operating state (e.g., unfolded state and folded state) of the foldable electronic device (800) will be described.
  • the first housing (810) and the second housing (820) form a substantially 180-degree angle
  • the first front surface (810a) and the second front surface (820a) of the flexible display (830) may be arranged to face the same direction, for example, to display a screen in a direction parallel to each other.
  • the folding area (833) may form the same plane as the first front surface (810a) and the second front surface (820a).
  • the first housing (810) and the second housing (820) may be arranged to face each other.
  • the first front surface (810a) and the second front surface (820a) of the flexible display (830) may form a narrow angle (e.g., between 0 and 10 degrees) with each other and face each other.
  • the folding area (833) may form a curved surface having at least a predetermined curvature.
  • the first housing (810) and the second housing (820) may be arranged to form a certain angle with respect to each other, for example, a 90 degree or 120 degree angle.
  • the first front surface (810a) and the second front surface (820a) of the flexible display (830) may form an angle that is greater than the angle in the folded state and less than the angle in the unfolded state.
  • the folding area (833) may be formed as a curved surface having at least a certain curvature, and the curvature at this time may be less than that in the folded state.
  • FIGS. 9A and 9B are drawings for explaining changes in the shooting range according to the folding angle of a foldable electronic device (800) according to one embodiment.
  • the foldable electronic device (800) may include a sensor (910) for detecting a folding angle and an active hinge (920) for adjusting the folding angle.
  • the folding angle may refer to an angle (or intersection angle) formed when the first housing (810) and the second housing (820) meet.
  • the senor (910) may be included in the sensor module (176) of FIG. 1.
  • the sensor (910) may include at least one of an acceleration sensor, a gyro sensor, or a Hall sensor.
  • the active hinge (920) may be configured to support physical movement when the foldable electronic device (800) is folded or unfolded.
  • the active hinge (920) may implement automatic folding or automatic unfolding of the foldable electronic device (800) under the control of a processor (e.g., the processor (330) of FIG. 3 ).
  • the active hinge (920) may include an actuator. The actuator may operate within the active hinge (920) to control the movement of the hinge, thereby adjusting the folding angle.
  • the foldable electronic device (800) (e.g., the processor (330) of FIG. 3) can capture (first capture) a first image (901) for a first capturing range through at least one camera (e.g., a rear camera (806)) while being folded at a first folding angle ( ⁇ ).
  • the first image (901) may be an image for a first capturing range corresponding to the first folding angle ( ⁇ ) (e.g., a first angle for wide-angle shooting or first-direction shooting, a folding angle matching an angle of view of 85 degrees).
  • the foldable electronic device (800) can identify a target object requiring additional shooting from the first image (901).
  • the foldable electronic device (800) can change the folding angle from the first folding angle ( ⁇ ) to the second folding angle ( ⁇ ) by driving the active hinge (920) to capture additional shots of the target object.
  • the foldable electronic device (800) can capture an additional image (902) (secondary capture or additional capture) while folded at a second folding angle ( ⁇ ).
  • the additional image (902) can be an image for a second capturing range corresponding to the second folding angle ( ⁇ ) (e.g., a first angle for ultra-wide-angle capture or second-direction capture, a folding angle matching a 120-degree field of view).
  • the additional image (902) captured at the second folding angle ( ⁇ ) may be an image whose base line is warped (e.g., corrected, rotated, or image post-processed) by an offset angle ( ⁇ - ⁇ ) compared to the first image (901) captured at the first folding angle ( ⁇ ).
  • the foldable electronic device (800) may perform warping so that the base line of the additional image (902) matches the base line of the first image (901) based on the offset angle ( ⁇ - ⁇ ).
  • the foldable electronic device (800) can operate in a flex mode.
  • the state of the foldable electronic device (800) is an intermediate state between an unfolded state (e.g., the unfolded state of FIG. 8A) and a folded state (e.g., the folded state of FIG. 8B), or when the folding angle of the foldable electronic device (800) falls within a specified angle range (e.g., more than 30 degrees and less than or equal to 150 degrees)
  • the foldable electronic device (800) can operate in the flex mode.
  • the flex mode may be a mode for supporting convenient shooting in a stationary state in which the foldable electronic device (800) is folded at a specific angle within the specified angle range.
  • the foldable electronic device (800) can automatically adjust the shooting range of at least one camera (e.g., the rear camera (806)) by changing the folding angle through the active hinge (920).
  • FIG. 10 is a diagram illustrating an example of a user interface for providing an image capturing function according to one embodiment.
  • the electronic device (300) may display a user interface such as a first screen (1010).
  • the first screen (1010) may be configured to provide an artificial intelligence-based image capturing function.
  • the first screen (1010) may be an execution screen of an application (e.g., a gallery application, a camera application).
  • the first screen (1010) may include a first screen area (1030), a second screen area (1020), a third screen area (1040), and a fourth screen area (1050).
  • the electronic device (300) can display a second image (AI extended image) generated according to an artificial intelligence-based image capturing function through the first screen area (1030).
  • a second image AI extended image generated according to an artificial intelligence-based image capturing function
  • the electronic device (300) can display thumbnail images of a first image (original image) and a third image captured according to a user's intention through a second screen area (1020).
  • the third image may be another version of the second image displayed on the first screen area (1030), for example, an image (another AI-enhanced image) that has visual effects (e.g., object resizing, filter effects, post-processing for natural image synthesis, addition of augmented objects) applied to the second image.
  • the first screen area (1030) may display an AI shooting icon (1031) for turning on/off an artificial intelligence-based image shooting function.
  • an AI shooting icon (1031) for turning on/off an artificial intelligence-based image shooting function.
  • the electronic device (300) may provide a second image (AI expanded image) that includes an extended area in addition to the first image (original image) captured according to the user's intention.
  • the electronic device (300) can move the first image (original image) or the third image (another AI extended image) displayed as a thumbnail on the second screen area (1020) to the first screen area (1030) and display it.
  • the electronic device (300) can display information about visual effects applied to the second image (AI extended image) displayed on the first screen area (1030) through the third screen area (1040).
  • the electronic device (300) can display an input window for artificial intelligence prompt input on the fourth screen area (1050).
  • the electronic device (300) can receive a user command through the input window and additionally apply a visual effect according to the user command to the second image (AI extended image) displayed on the first screen area (1030).
  • FIG. 11 is a diagram illustrating an example of a user interface for guiding additional shooting according to one embodiment.
  • the electronic device (300) may be a fixed-form-factor type electronic device.
  • the electronic device (300) may display a user interface to guide additional shooting through the display (320).
  • the electronic device (300) may sequentially display a first preview screen (1110), a second preview screen (1120), and a third preview screen (1130) to provide an artificial intelligence-based image capturing function.
  • the electronic device (300) may display a first image (original image) captured initially according to the user's intention on a first preview screen (1110).
  • the first image may be an image corresponding to a first angle of view.
  • the electronic device (300) may display an interface element (1121) on the second preview screen (1120) that induces a change in the angle of view for additional shooting (e.g., a guide message saying, "Please raise the phone higher to change the angle of view for AI selfie shooting.”).
  • the angle of view may change from the first angle of view to the second angle of view depending on the movement of the electronic device (300).
  • an additional image corresponding to the second angle of view may be acquired.
  • the electronic device (300) may generate a second image (AI extended image) based on the first image captured initially and the additional image captured additionally (or secondarily).
  • the electronic device (300) may display the second image (AI extended image) through the third preview screen (1130).
  • FIG. 12a is a diagram for explaining a first artificial intelligence model (1210) according to one embodiment.
  • FIG. 12b is a diagram for explaining a second artificial intelligence model (1250) according to one embodiment.
  • the electronic device (300) may provide an artificial intelligence-based image capturing function using the first artificial intelligence model (1210) and/or the second artificial intelligence model (1250).
  • the first artificial intelligence model (1210) may be an artificial intelligence model trained for the purpose of detecting multiple objects within a single image and/or identifying at least one target object requiring additional shooting among a plurality of objects within the image.
  • the electronic device (300) may transmit first image information (1220) regarding the first image as an input to a first artificial intelligence model (1210) trained to identify at least one target object requiring additional shooting.
  • the first image information (1220) may include at least a portion of the first image, an image corresponding to the first image (e.g., a thumbnail, a preview), partial images of objects in the first image, and metadata (e.g., links, formats, properties, etc.) regarding the first image and/or the partial images.
  • the first artificial intelligence model (1210) can generate object-related information (1230) based on first image information (1220) for the first image. For example, the first artificial intelligence model (1210) can detect a background of the first image and multiple objects distinct from the background using the first image information (1220), analyze the detected objects, and generate object-related information (1230) based on the analysis results. The first artificial intelligence model (1210) can provide a response including the object-related information (1230).
  • the object-related information (1230) may include at least some of object-specific identification information (e.g., object-specific name or ID, identification number), object-specific location (or area) information within the image, object-specific weight information, object-specific category information, and object-specific completeness information.
  • object-specific category information may be information indicating which category each object belongs to among a plurality of categories (e.g., core object, main object, non-main object).
  • object-specific completeness information may be information indicating whether each object is a complete object (or a cropped object) in which a substantial entire shape (e.g., 70% or more) is included within the image.
  • the object-related information (1230) may include information about a target object that requires additional shooting among a plurality of objects included in the first image (e.g., category information indicating that it is a main object, object completeness information indicating that it is a cropped object, and information indicating that it is highly related to the current location).
  • the electronic device (300) may perform an operation (e.g., operation 420 of FIG. 4) of identifying at least one target object that requires additional shooting among a plurality of objects included in the first image based on object-related information (1230) provided from the first artificial intelligence model (1210).
  • an operation e.g., operation 420 of FIG. 4 of identifying at least one target object that requires additional shooting among a plurality of objects included in the first image based on object-related information (1230) provided from the first artificial intelligence model (1210).
  • the electronic device (300) may identify, based on object-related information (1230), an object belonging to a main object category among a plurality of objects in the first image, an object having an object completeness ratio below a specified ratio (e.g., 70%), and/or an object having a high relevance to the current location, and determine the identified object(s) as a target object requiring additional shooting.
  • object-related information (1230) an object belonging to a main object category among a plurality of objects in the first image, an object having an object completeness ratio below a specified ratio (e.g., 70%), and/or an object having a high relevance to the current location.
  • the second artificial intelligence model (1250) may be a generative artificial intelligence model trained for the purpose of generating an output image including an extended region using an input image.
  • the second artificial intelligence model (1250) can generate a second image (1270), which is an output image, based on a prompt input (or request) (1260) that includes first image information (1261) for the first image, which is an input image.
  • the second artificial intelligence model (1250) can receive a prompt input (1260) that includes first image information (1261) for the first image, which is an input image (e.g., input image (510) of FIG. 5 and input image (710) of FIG. 7A), and an input script (1262).
  • the input script (1262) can include the first input script and/or the second input script.
  • the first input script can include a request for generating an extended area of the first image (e.g., size, ratio, resolution, format for an area to be out-painted).
  • the second input script may include object-related information necessary for generating an expanded region of the first image (e.g., information about the main object, cropped objects, or partial images), and/or examples of reference images for generating the expanded region.
  • the second artificial intelligence model (1250) may generate an output image of a specified type (or specified format) (e.g., the output image (520) of FIG. 5, the secondary output image (760) of FIG. 7d) based on the received prompt input (1260), and provide a response including the output image.
  • a specified type or specified format
  • the second AI model (1250) can generate a second image (1270) that is an extension from the first image by performing outpainting (or upscaling or rendering for the extension region) based on a prompt input (1260) that includes first image information (1261) and an input script (1262) for the first image.
  • the second image (1270) can include an extension region generated based on the first image information (1261) for the first image.
  • the extension region can be a virtual region generated based on the first image information (1261) for the first image.
  • the second AI model (1250) can generate the second image (1270) that is an extended version of the first image so as to be continuous with the first image and satisfy the request of the input script (1262).
  • the second artificial intelligence model (1250) may be a generative artificial intelligence model trained for the purpose of generating an output image using an input image and an additional image (e.g., two images each containing a portion of the shape of the same object and another portion of the shape).
  • the electronic device (300) transmits a prompt input (1260) including first image information (1261) for a first image (an input image for a target object) and additional image information (not shown) for an additional image (an additional image for the same target object) to a second artificial intelligence model (1250), thereby obtaining a second image (1270) generated based on the first image information (1261) and the additional image information from the second artificial intelligence model (1250).
  • the prompt input (1260) for the second artificial intelligence model (1250) may further include additional image information other than the first image information (1261).
  • the second artificial intelligence model (1250) may generate a more sophisticated extended version of the second image (1270) by using the first image information (1261) for the first image and the additional image information for the additional image together to generate an extended area. For example, if the primary object captured in the first image corresponding to the first image information (1261) is a cropped object and the object completeness is below a specified ratio (e.g., 70%), the second artificial intelligence model (1250) may request additional image information for an additional image captured in a second time of the primary object.
  • a specified ratio e.g. 70%
  • the additional image corresponding to the additional image information may include a partial shape of the entire shape of the primary object that is not included in the first image.
  • the second artificial intelligence model (1250) may receive additional image information and generate an extended area to be included in the second image (1270) based on the first image information (1261) and the additional image information.
  • the extended area may include an actual shooting area and/or a virtual area.
  • the actual shooting area may be an area cropped from the additional image and including a partial shape of the entire shape of the main object that is not included in the first image that was first captured.
  • the virtual area may be an area processed based on at least one of a second captured additional image or an actual shooting area cropped from the second captured additional image.
  • the second artificial intelligence model (1250) may generate a second image (1270) that includes the extended area in the first image and provide a response that includes the second image (1270).
  • the electronic device (300) may perform an operation (e.g., operation 450 of FIG. 4, operation 670 of FIG. 6) of generating a second image (1270) extended from a first image using a second artificial intelligence model (1250).
  • an operation e.g., operation 450 of FIG. 4, operation 670 of FIG. 6
  • the first artificial intelligence model (1210) of FIG. 12a and/or the second artificial intelligence model (1250) of FIG. 12b may be implemented in hardware and/or software to perform a predetermined function.
  • the electronic device (300) of FIG. 3 may be configured to include at least a portion of the first artificial intelligence model (1210) of FIG. 12A or the second artificial intelligence model (1250) of FIG. 12B.
  • the first artificial intelligence model (1210) and/or the second artificial intelligence model (1250) may be included in the electronic device (300) (e.g., memory (340)) in the form of on-device artificial intelligence models, but is not limited thereto.
  • at least a portion of the first artificial intelligence model (1210) or the second artificial intelligence model (1250) may be included in a generative AI server (e.g., server (108) of FIG. 1) and/or an electronic device of another user (e.g., electronic devices (102, 104) of FIG. 1).
  • FIG. 13 is a diagram for explaining an image correction operation of an artificial intelligence model (e.g., the second artificial intelligence model (1250) of FIG. 12b) according to one embodiment.
  • an artificial intelligence model e.g., the second artificial intelligence model (1250) of FIG. 12b
  • warping e.g., image correction
  • a blank area may be generated in the first output image (1310) due to a difference in the field of view of the additional image and the second image.
  • the electronic device (300) can generate a secondary output image (1320) by performing out-painting to fill in the blank area (1311) using an artificial intelligence model (e.g., the second artificial intelligence model (1250) of FIG. 12b).
  • an artificial intelligence model e.g., the second artificial intelligence model (1250) of FIG. 12b.
  • FIG. 14 is a diagram illustrating a system including a generative artificial intelligence model according to one embodiment.
  • the User Query/Response Interface (1410) can receive a user's input.
  • the user's input may be in the form of natural language, images, and/or videos.
  • context information may also be transmitted when the user's input is transmitted.
  • Context information may include various additional information at the time of user input. For example, information on the application currently being used by the user or information on the user's location.
  • the user's input may be in a mixed form of the aforementioned natural language, images, sounds, and context information.
  • the user's input may also be in a non-natural language form, such as selecting a menu.
  • the User Query/Response Interface (1410) can output the results of a generative artificial intelligence system to the user.
  • the output may be in the form of natural language or specific content, and may also be provided in the form of an action requested by the user.
  • the User Query Interface can output the results of a generative artificial intelligence system to the user.
  • the output may be in the form of natural language or specific content, and may also be provided in the form of an action requested by the user.
  • the AI framework (1420) can receive user input and coordinate and control each component necessary to perform the user's intention based on the user's query.
  • the Prompt design component (1421) can be used to generate prompts suitable for inputting the user input into a Large Language Model (LLM) or a Large Multimodal Model (LMM).
  • the Prompt design component (1421) can be an AI component that uses a machine learning algorithm or a neural network to develop better prompts over time.
  • the Prompt design component (1421) can access a knowledge component (e.g., knowledge repositories (1440)) containing user preference data, a prompt library, and prompt examples based on the user input to generate a prompt, and transmit the generated prompt to the LLM or LMM.
  • a knowledge component e.g., knowledge repositories (1440)
  • the API/Plug-in management component (1423) can communicate with external information when there is a request for additional information when passing user input as input to a generative model.
  • the API/Plug-in management component (1423) can establish a channel for communicating with the outside of the AI Interface through the API, and can enable access to various data sources (e.g., knowledge repositories (1440)) through the established channel.
  • various data sources e.g., knowledge repositories (1440)
  • the API/Plug-in management component (1423) needs to perform an action that performs the user input as a final result rather than an intermediate result in an application or service, it can request the action to the application/service component (1430) through the API.
  • Information obtained from an external source can be used to generate a prompt in the prompt design component (1421) together with the user input, or can be passed as input to the generative model.
  • the Refiner component (e.g., the output modification component (1425)) can fine-tune the output from a generative model. For example, the Refiner component can verify that the content generated by the LLM and/or LMM is not irrelevant, biased, or harmful. Furthermore, the Refiner component can determine the degree to which the output matches the user's desired result and, if necessary, perform additional processing. The Refiner component can also configure and provide users with hints to avoid undesirable output.
  • Generative AI Model (1450) can generally refer to an artificial intelligence neural network that creates new types of data based on user input information.
  • Generative AI Model (1450) can include an image-generating model and/or a language-generating model.
  • Representative models for generating images include a generative adversarial network (GAN) and a variational autoencoder (VAE), and examples include a diffusion-based generative model that uses a VAE and a transformer structure.
  • GAN generative adversarial network
  • VAE variational autoencoder
  • a language-generating model is a model trained to statistically output the most appropriate output value based on input values, and representative examples include models such as CHAT-GPT 3 and CHAT-GPT 4.
  • the electronic device (101) of FIG. 1 and/or the electronic device (300) of FIG. 3 may be configured to include at least a portion of the User Query/Response Interface (1410), the AI framework (1420), the application/service component (1430), the knowledge repositories (1440), or the Generative AI Model (1450) of FIG. 14.
  • at least a portion of the User Query/Response Interface (1410), the AI framework (1420), the application/service component (1430), the knowledge repositories (1440), or the Generative AI Model (1450) of FIG. 14 may be included in another electronic device (e.g., another user's electronic device (e.g., the electronic device (102, 104) of FIG. 1) and/or a server (e.g., the server (108) of FIG. 1).
  • another electronic device e.g., another user's electronic device (e.g., the electronic device (102, 104) of FIG. 1
  • a server e.g., the server (108) of FIG.
  • An electronic device may include a display (e.g., display (320) of FIG. 3), a camera module (e.g., camera module (310) of FIG. 3), at least one processor (e.g., processor (330) of FIG. 3), and a memory (e.g., memory (340) of FIG. 3) that stores instructions.
  • a display e.g., display (320) of FIG. 3
  • a camera module e.g., camera module (310) of FIG. 3
  • at least one processor e.g., processor (330) of FIG. 3
  • a memory e.g., memory (340) of FIG.
  • the above instructions when executed by the at least one processor, may cause the electronic device to acquire a first image through the camera module, identify at least one target object requiring additional shooting among a plurality of objects included in the first image, adjust a shooting range of the camera module from a first shooting range to a second shooting range to additionally shoot the at least one target object based on the identification, acquire an additional image of the at least one target object through the camera module, generate a second image including a basic region and an extended region related to the at least one target object based on the first image and the additional image, and display the second image through the display.
  • the at least one target object may correspond to at least one of a second object around a focused first object among the plurality of objects included in the first image, a second object around a first object located at the center of the first image, a second object located at the periphery of the first image, a second object including only a partial shape without an entire shape, or a second object related to location information of the electronic device.
  • the extended area associated with the at least one target object may include at least one of an actual captured area cropped from the additional image and including a partial shape of the entire shape of the at least one target object that is not included in the first image, or a virtual area generated based on at least one of the additional image or the actual captured area.
  • the instructions when executed by the at least one processor, may cause the electronic device to detect the plurality of objects from the first image and identify an object among the plurality of objects having an object completeness lower than a specified ratio as a target object requiring additional shooting.
  • the instructions when executed by the at least one processor, may cause the electronic device to detect the plurality of objects from the first image, assign weights to the plurality of objects, and identify a target object requiring additional imaging among the plurality of objects based on the assigned weights.
  • the instructions when executed by the at least one processor, may cause the electronic device to classify each of the plurality of objects into one of a first object having a first weight, a second object having a second weight lower than the first weight, and a third object having a third weight lower than the second weight, based on the assigned weights, and to identify the second object as a target object requiring additional imaging.
  • the electronic device may be a foldable electronic device.
  • the instructions when executed by the at least one processor, may cause the electronic device to acquire the first image for the first shooting range through the first camera in the camera module, change the shooting range of the first camera from the first shooting range to the second shooting range by changing the folding angle, and acquire the additional image for the second shooting range through the first camera.
  • the foldable electronic device may automatically change the shooting range of the first camera by changing the folding angle while operating in the flex mode.
  • the camera module may include a plurality of cameras having different angles of view.
  • the instructions when executed by the at least one processor, may cause the electronic device to acquire the first image for the first shooting range through the activated first camera while a first camera having a first angle of view among the plurality of cameras is activated, activate a second camera having a second angle of view among the plurality of cameras, and acquire the additional image for the second shooting range through the activated second camera.
  • the instructions when executed by the at least one processor, may cause the electronic device to obtain object-related information about at least one target object among a plurality of objects included in the first image by transferring first image information about the first image to a first artificial intelligence model trained to identify the at least one target object, and to obtain the second image generated based on the first image and the additional image by transferring the first image information about the first image and additional image information about the additional image to a second artificial intelligence model trained to generate the second image.
  • a method of operating an electronic device may include an operation of acquiring a first image through a camera module (e.g., the camera module (310) of FIG. 3), an operation of identifying at least one target object requiring additional shooting among a plurality of objects included in the first image, an operation of adjusting a shooting range of the camera module from a first shooting range to a second shooting range to additionally shoot the at least one target object based on the identification, an operation of acquiring an additional image of the at least one target object through the camera module, an operation of generating a second image including a basic region and an extended region related to the at least one target object based on the first image and the additional image, and an operation of displaying the second image through a display (e.g., the display (320) of FIG. 3).
  • a display e.g., the display (320) of FIG. 3
  • the at least one target object may correspond to at least one of a second object around a focused first object among the plurality of objects included in the first image, a second object around a first object located at the center of the first image, a second object located at the periphery of the first image, a second object including only a partial shape without an entire shape, or a second object related to location information of the electronic device.
  • the extended area associated with the at least one target object may include at least one of an actual captured area cropped from the additional image and including a partial shape of the entire shape of the at least one target object that is not included in the first image, or a virtual area generated based on at least one of the additional image or the actual captured area.
  • the operation of identifying at least one target object requiring additional shooting among the plurality of objects may include the operation of detecting the plurality of objects from the first image, and the operation of identifying an object among the plurality of objects, the object completeness of which is lower than a specified ratio, as the target object requiring additional shooting.
  • the operation of identifying at least one target object requiring additional shooting among the plurality of objects may include the operation of detecting the plurality of objects from the first image, the operation of assigning weights to the plurality of objects, and the operation of identifying the target object requiring additional shooting among the plurality of objects based on the assigned weights.
  • the operation of identifying the target object may include an operation of classifying each of the plurality of objects into one of a first object having a first weight, a second object having a second weight lower than the first weight, and a third object having a third weight lower than the second weight, based on the assigned weights, and an operation of identifying the second object as a target object requiring additional shooting.
  • the electronic device may be a foldable electronic device.
  • the operation of adjusting the shooting range of the camera module may include an operation of acquiring the first image for the first shooting range through a first camera in the camera module, an operation of changing the shooting range of the first camera from the first shooting range to the second shooting range by changing a folding angle, and an operation of acquiring the additional image for the second shooting range through the first camera.
  • the foldable electronic device may automatically change the shooting range of the first camera by changing the folding angle while operating in the flex mode.
  • the camera module may include a plurality of cameras having different angles of view.
  • the operation of adjusting the shooting range of the camera module may include an operation of acquiring the first image for the first shooting range through the activated first camera while a first camera having a first angle of view among the plurality of cameras is activated, and an operation of activating a second camera having a second angle of view among the plurality of cameras and acquiring the additional image for the second shooting range through the activated second camera.
  • the operation of identifying at least one target object requiring additional shooting among the plurality of objects may include an operation of obtaining object-related information about the at least one target object among the plurality of objects included in the first image by transferring first image information about the first image to a first artificial intelligence model trained to identify the at least one target object.
  • the operation of generating the second image may include an operation of obtaining the second image generated based on the first image and the additional image by transferring the first image information about the first image and the additional image information about the additional image to a second artificial intelligence model trained to generate the second image.
  • a computer-readable storage medium (e.g., memory (340) of FIG. 3) may store a program for executing a method, including the steps of: acquiring a first image through a camera module (e.g., camera module (310) of FIG.
  • a camera module e.g., camera module (310) of FIG.
  • identifying at least one target object requiring additional shooting among a plurality of objects included in the first image adjusting a shooting range of the camera module from a first shooting range to a second shooting range to additionally shoot the at least one target object based on the identification; acquiring an additional image of the at least one target object through the camera module; generating a second image including a basic region and an extended region related to the at least one target object based on the first image and the additional image; and displaying the second image through a display (e.g., display (320) of FIG. 3).
  • a display e.g., display (320) of FIG. 3
  • a more realistic shooting result can be provided compared to a case where only one shooting is performed.
  • Electronic devices may take various forms. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to the embodiments of this document are not limited to the aforementioned devices.
  • first,” “second,” or “first” or “second” may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first component
  • another e.g., a second component
  • functionally e.g., a third component
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integral component, or a minimum unit or part of such a component that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented as software (e.g., a program (140)) including one or more instructions stored in a storage medium (e.g., an internal memory (136) or an external memory (138)) readable by a machine (e.g., an electronic device (101)).
  • a processor e.g., a processor (120)
  • the machine e.g., an electronic device (101)
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' simply means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and the term does not distinguish between cases where data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or an intermediary server.
  • each component e.g., a module or a program of the above-described components may include one or more entities, and some of the entities may be separated and placed in other components.
  • one or more components or operations of the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration.
  • the operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

카메라를 포함하는 전자 장치 및 그의 동작 방법이 개시된다. 전자 장치는 카메라 모듈을 통해 제1 이미지를 획득할 수 있다. 전자 장치는 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별하고, 대상 객체를 추가 촬영하기 위해 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정할 수 있다. 전자 장치는 카메라 모듈을 통해 대상 객체에 대한 추가 이미지를 획득할 수 있다. 전자 장치는 제1 이미지 및 추가 이미지에 기반하여 기본 영역 및 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성 및 표시할 수 있다. 이 외에도 본 문서를 통해 파악되는 다양한 실시예들이 가능하다.

Description

카메라를 포함하는 전자 장치 및 그의 동작 방법
본 개시는 카메라를 포함하는 전자 장치 및 그의 동작 방법에 관한 것이다.
전자 장치는 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷 지원 등 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(multimedia player) 형태로 구현되고 있다. 이에 따라 전자 장치는 사용자의 욕구를 만족시키면서 휴대성 및 편리성을 강화시키기 위해 하드웨어나 소프트웨어적 측면에서 새로운 형태로 발전하고 있다. 이러한 발전의 한 예로, 전자 장치는 폴더블 타입(foldable type)으로 구현될 수 있다.
또한, 전자 장치(예: 스마트 폰, 모바일 단말, 디지털 카메라 또는 웨어러블 장치)는 카메라 또는 이미지를 활용한 다양한 기능들(예: 촬영 기능, 필터 기능, 사진 편집 기능, 앨범 기능, 송수신 기능, 영상 통화 기능, 또는 메신저 기능)을 제공할 수 있다. 전자 장치에 있어서 카메라 성능을 향상시키거나 이미지(예: 사진)의 화질을 개선하기 위한, 여러 시도들이 이루어지고 있다.
일 실시예에 따른 전자 장치는 디스플레이, 카메라 모듈, 적어도 하나의 프로세서, 및 명령어들(instructions)을 저장하는 메모리를 포함할 수 있다. 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 카메라 모듈을 통해 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하고, 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하고, 상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하고, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하고, 상기 디스플레이를 통해 상기 제2 이미지를 표시하도록 할 수 있다.
일 실시예에 따른 전자 장치의 동작 방법은, 카메라 모듈을 통해 제1 이미지를 획득하는 동작, 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작, 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하는 동작, 상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하는 동작, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하는 동작, 및 디스플레이를 통해 상기 제2 이미지를 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 저장 매체는, 카메라 모듈을 통해 제1 이미지를 획득하는 동작, 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작, 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하는 동작, 상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하는 동작, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하는 동작, 및 디스플레이를 통해 상기 제2 이미지를 표시하는 동작을 포함하는 방법을 실행시키기 위한 프로그램을 저장할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 카메라 모듈을 예시하는 블록도이다.
도 3은 일 실시예에 따른 전자 장치의 블록도이다.
도 4는 일 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 전자 장치에 의해 생성된 출력 이미지의 예시를 나타낸 도면이다.
도 6은 일 실시예에 따른 전자 장치가 객체 완성도 및/또는 객체별 가중치에 기반하여 이미지를 촬영하는 방법을 나타낸 흐름도이다.
도 7a는 일 실시예에 따른 전자 장치에 의해 촬영된 입력 이미지의 예시를 나타낸 도면이다.
도 7b는 일 실시예에 따른 전자 장치에 의해 촬영된 추가 이미지의 예시를 나타낸 도면이다.
도 7c는 일 실시예에 따른 전자 장치에 의해 생성된 1차 출력 이미지의 예시를 나타낸 도면이다.
도 7d는 일 실시예에 따른 전자 장치에 의해 생성된 2차 출력 이미지의 예시를 나타낸 도면이다.
도 7e는 일 실시예에 따른 전자 장치에 의해 생성된 2차 출력 이미지의 다른 예시를 나타낸 도면이다.
도 8a는 일 실시예에 따른 폴더블 전자 장치의 펼침 상태(unfolded state)를 나타낸 도면이다.
도 8b는 일 실시예에 따른 폴더블 전자 장치의 접힘 상태(folded state)를 나타낸 도면이다.
도 9a 및 도 9b는 일 실시예에 따른 폴더블 전자 장치의 폴딩 각도에 따른 촬영 범위의 변화를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 이미지 촬영 기능을 제공하기 위한 사용자 인터페이스의 예시를 나타낸 도면이다.
도 11은 일 실시예에 따른 추가 촬영을 가이드하기 위한 사용자 인터페이스의 예시를 나타낸 도면이다.
도 12a는 일 실시예에 따른 다중 객체 검출 인공지능 모델을 설명하기 위한 도면이다.
도 12b는 일 실시예에 따른 이미지 생성 인공지능 모델을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 이미지 생성 인공지능 모델의 이미지 보정 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 생성형 인공지능 모델을 포함하는 시스템을 나타낸 도면이다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
전자 장치는 카메라를 이용한 촬영 기능을 제공할 수 있다. 예를 들어, 사용자는 전자 장치에 표시되는 프리뷰 화면을 보고, 촬영 버튼을 입력함으로써 사진을 촬영할 수 있다. 단순 촬영 기능의 경우 사용자의 수동 촬영에 따른 결과물만이 제공될 수 있다. 이러한 경우, 촬영된 사진에 주요한 내용이 포함되지 못하거나 불완전한 형태로 포함될 수 있고, 촬영 결과물에 대한 사용자 만족도가 낮아질 수 있다. 또한, 적절한 장면을 촬영하기 위해서는 사용자가 여러 번 움직여야 하거나 화각을 변경해 가며 촬영을 반복해야 하는 불편이 있을 수 있다.
본 개시의 다양한 실시예들은 이미지 촬영 시 사용자 의도를 반영하면서도 촬영 결과물에 대한 사용자 만족도를 높일 수 있는, 카메라를 포함하는 전자 장치 및 그의 동작 방법을 제공할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 내 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 영역 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블록도(200)이다.
도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 일실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(160)를 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
도 3은 일 실시예에 따른 전자 장치(300)의 블록도이다.
도 3을 참조하면, 일 실시예에 따른 전자 장치(300)는 카메라 모듈(310), 디스플레이(320), 프로세서(330) 및/또는 메모리(340)를 포함할 수 있다. 도 3의 전자 장치(300)는 도 1에 도시된 전자 장치(101)에 대응될 수 있다. 도 3의 전자 장치(300)에 포함된 카메라 모듈(310), 디스플레이(320), 프로세서(330) 및 메모리(340)는 각각, 도 1의 카메라 모듈(180), 디스플레이 모듈(160), 프로세서(120) 및 메모리(130)에 대응될 수 있다. 어떤 실시예에서는, 전자 장치(300)의 도시된 구성요소들 중 적어도 하나가 생략되거나 서로 통합되거나 다른 구성요소가 추가적으로 구비될 수 있다. 전자 장치(300)에 포함된 카메라 모듈(310), 디스플레이(320), 프로세서(330) 및 메모리(340)는 전기적으로 및/또는 작동적으로 서로 연결되어 상호 간에 신호(예: 명령 또는 데이터)를 교환할 수 있다.
일 실시예에 따르면, 전자 장치(300)(예: 도 1의 전자 장치(101))는 이미지 촬영 기능을 제공할 수 있다. 예를 들어, 전자 장치(300)는 인공지능(artificial intelligence, AI) 기반의 이미지 촬영 기능을 제공할 수 있다. 예를 들어, 전자 장치(300)는 어플리케이션(예: 카메라 어플리케이션, 갤러리 어플리케이션)을 실행하여 상기 어플리케이션을 이용해 이미지 촬영 기능을 제공할 수 있다. 전자 장치(300)에서 실행되는 어플리케이션은 독립적으로 동작하거나 외부 전자 장치(예: 도 1의 전자 장치(102), 전자 장치(104) 또는 도 1의 서버(108))와 연동하여 동작할 수 있다.
일 실시예에 따르면, 프로세서(330)(예: 도 1의 프로세서(120))는 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(330)는 전자 장치(300)에서 지원하는 다양한 기능을 실행할 수 있다. 프로세서(330)는 카메라 모듈(310), 디스플레이(320), 프로세서(330) 및/또는 메모리(340)를 제어할 수 있다. 프로세서(330)는 전자 장치(300)의 메모리(340)에 저장된 프로그래밍 언어로 작성된 코드를 실행함으로써 어플리케이션을 실행하고, 각종 하드웨어를 제어할 수 있다.
일 실시예에 따르면, 메모리(340)(예: 도 1의 메모리(130))는, 프로세서(330)에 의해 실행될 때, 전자 장치(300)가 각종 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 예를 들어, 전자 장치(300)의 프로세서(330)는 메모리(340)에 저장된 인스트럭션들을 실행함으로써 이미지 촬영 기능을 제공할 수 있다.
일 실시 예에 따르면, 디스플레이(320)(예: 도 1의 디스플레이 모듈(160))는 LCD(liquid crystal display), TFT-LCD(thin film transistor LCD), OLED(organic light emitting diodes), 발광다이오드(LED), AMOLED(active matrix organic LED), 플렉서블 디스플레이(flexible display) 및 3차원 디스플레이(3 dimension display) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서는, 이들 중 일부 디스플레이가 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 예를 들어, 투명형 또는 광투과형의 디스플레이는 TOLED(transparent OLED)를 포함하는 투명 디스플레이 형태로 구성될 수 있다.
일 실시예에 따르면, 카메라 모듈(310)(예: 도 1의 카메라 모듈(180))은 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 각 카메라는 도 1의 카메라 모듈(180)에 대응하거나, 카메라 모듈(180)의 적어도 일부를 포함할 수 있다. 각 카메라의 일부는 서로 통합된 형태로 구현될 수도 있다. 예를 들어, 각 카메라는 카메라 모듈(180)의 구성요소들 중 일부 구성요소(예: 렌즈 어셈블리(210))만을 포함하고, 다른 구성요소(예: 이미지 센서(230), 또는 이미지 시그널 프로세서(260))는 하나로 통합될 수 있다.
일 실시예에 따르면, 카메라 모듈(310)은 사용자의 조작에 따라 촬영(또는 캡처) 동작을 수행함으로써 이미지(예: 정지 영상, 동영상)를 획득(acquire)할 수 있다. 촬영 이미지는 디스플레이(320)를 통해 표시되거나 메모리(340)에 저장될 수 있다. 예를 들어, 카메라 모듈(310)은 카메라 어플리케이션이 실행됨에 따라 프레임 단위의 프리뷰 이미지를 획득하고, 프리뷰 이미지를 표시하는 중에 촬영을 위한 사용자 입력(예: 셔터 버튼 입력)이 수신됨에 따라 해당 이미지를 촬영(또는 캡처)할 수 있다. 디스플레이(320)는 카메라 모듈(310)을 통해 획득된 프리뷰 이미지를 실시간으로 표시할 수 있다. 카메라 모듈(310)에 의해 촬영된 이미지는 메모리(340)로 저장될 수 있다. 예를 들어, 갤러리 어플리케이션이 실행되면, 메모리(340)에 저장된 촬영 이미지가 디스플레이(320)를 통해 표시될 수 있다.
일 실시예에 따르면, 프로세서(330)는 카메라 모듈(310)을 제어할 수 있다. 프로세서(330)는 카메라 모듈(310)을 이용한 다양한 기능들을 지원할 수 있다. 예를 들어, 프로세서(330)는 카메라 모듈(310)을 통해 획득한 이미지(예: 프리뷰 이미지 및/또는 촬영 이미지)를 메모리(340)에 저장하거나, 상기 이미지를 디스플레이(320)를 통해 표시할 수 있다. 예를 들어, 프로세서(330)는 카메라 어플리케이션이 실행되는 동안, 카메라 모듈(310)을 통해 실시간으로 프리뷰 이미지를 획득하고, 상기 프리뷰 이미지를 디스플레이(320)에 표시할 수 있다. 예를 들어, 프로세서(330)는 갤러리 어플리케이션이 실행되는 동안 메모리(340)에 저장된 촬영 이미지를 로딩하여 상기 촬영 이미지를 디스플레이(320)를 통해 표시할 수 있다.
일 실시예에 따르면, 프로세서(330)는 카메라 모듈(310)을 통해 입력 이미지를 획득할 수 있다. 프로세서(330)는 상기 입력 이미지 및/또는 상기 입력 이미지로부터 생성된 출력 이미지를 메모리(340)에 저장하거나 디스플레이(320)를 통해 표시할 수 있다.
일 실시예에 따르면, 프로세서(330)는 카메라 모듈(310)을 통해 제1 이미지(입력 이미지)를 획득할 수 있다. 프로세서(330)는 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다. 프로세서(330)는 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 카메라 모듈(310)의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정할 수 있다. 프로세서(330)는 카메라 모듈(310)을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득할 수 있다. 프로세서(330)는 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지(출력 이미지)를 생성할 수 있다. 프로세서(330)는 디스플레이(320)를 통해 상기 제2 이미지를 표시할 수 있다.
일 실시예에 따르면, 추가 촬영이 필요한 적어도 하나의 대상 객체는, 제1 이미지(입력 이미지)에 포함된 복수의 객체들 중 포커스된 제1 객체 주변의 제2 객체, 상기 제1 이미지의 중심에 위치한 제1 객체 주변의 제2 객체, 상기 제1 이미지의 외곽에 위치한 제2 객체, 전체 형상 없이 부분 형상만을 포함하는 제2 객체, 또는 전자 장치(300)의 위치 정보와 관련된 제2 객체 중 적어도 하나에 해당할 수 있다.
일 실시예에 따르면, 제2 이미지(출력 이미지) 중 적어도 하나의 대상 객체와 관련된 확장 영역은 실제 촬영 영역 또는 가상 영역 중 적어도 하나를 포함할 수 있다. 상기 실제 촬영 영역은 추가 촬영된 추가 이미지로부터 크롭 및/또는 워핑된 것으로, 적어도 하나의 대상 객체의 전체 형상 중 제1 이미지(입력 이미지)에 포함되지 않은 부분 형상을 포함할 수 있다. 상기 가상 영역은 상기 추가 이미지 또는 상기 실제 촬영 영역 중 적어도 하나에 기반하여 생성될 수 있다.
일 실시예에 따르면, 프로세서(330)는 제1 이미지(입력 이미지)로부터 복수의 객체들을 검출할 수 있다. 프로세서(330)는 상기 복수의 객체들 중 객체 완성도가 지정된 비율보다 낮은 객체를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
일 실시예에 따르면, 프로세서(330)는 제1 이미지(입력 이미지)로부터 복수의 객체들을 검출할 수 있다. 프로세서(330)는 상기 복수의 객체들에 대해 가중치들을 할당할 수 있다. 프로세서(330)는 상기 할당된 가중치들에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별할 수 있다.
일 실시예에 따르면, 프로세서(330)는 상기 할당된 가중치들에 기반하여 상기 복수의 객체들 각각을 제1 가중치를 갖는 제1 객체(예: 핵심 객체), 상기 제1 가중치보다 낮은 제2 가중치를 갖는 제2 객체(예: 주요 객체), 및 상기 제2 가중치보다 낮은 제3 가중치를 갖는 제3 객체(예: 비 주요 객체) 중 하나로 분류할 수 있다. 프로세서(330)는 상기 제2 가중치를 갖는 상기 제2 객체를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
일 실시예에 따르면, 전자 장치(300)의 카메라 모듈(310)은 서로 다른 화각을 갖는 복수의 카메라들을 포함할 수 있다. 전자 장치(300)의 프로세서(330)는 상기 복수의 카메라들 중 제1 화각을 갖는 제1 카메라가 활성화된 상태에서 상기 활성화된 제1 카메라를 통해 제1 촬영 범위에 대한 상기 제1 이미지를 획득할 수 있다. 프로세서(330)는 상기 복수의 카메라들 중 제2 화각을 갖는 제2 카메라를 활성화할 수 있다. 프로세서(330)는 상기 활성화된 제2 카메라를 통해 제2 촬영 범위에 대한 추가 이미지를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 폴더블 전자 장치(예: 도 8a 및 도 8b의 폴더블 전자 장치(800))일 수 있다. 전자 장치(300)의 프로세서(330)는 카메라 모듈(310) 내 제1 카메라를 통해 제1 촬영 범위에 대한 제1 이미지를 획득할 수 있다. 프로세서(330)는 상기 폴더블 전자 장치의 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 변경할 수 있다. 프로세서(330)는 상기 제1 카메라를 통해 제2 촬영 범위에 대한 추가 이미지를 획득할 수 있다. 일 실시예에서, 프로세서(330)는 전자 장치(300)(예: 도 8a 및 도 8b의 폴더블 전자 장치(800))가 플렉스 모드로 동작하는 동안, 전자 장치(300)의 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위가 자동 변경되도록 할 수 있다.
일 실시예에 따르면, 프로세서(330)는 제1 이미지(입력 이미지, 1차 촬영 이미지)에 대한 제1 이미지 정보를, 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하기 위해 훈련된 제1 인공지능 모델(예: 도 12a의 제1 인공지능 모델(1210))에 전달함으로써, 상기 제1 이미지에 포함된 복수의 객체들 중 상기 적어도 하나의 대상 객체에 대한 객체 관련 정보를 획득할 수 있다. 전자 장치(300)는 상기 객체 관련 정보에 기반하여 적어도 하나의 대상 객체를 식별할 수 있다.
일 실시예에 따르면, 프로세서(330)는 제1 이미지(입력 이미지, 1차 촬영 이미지)에 대한 제1 이미지 정보 및 추가 이미지(추가 촬영 이미지)에 대한 추가 이미지 정보를, 제2 이미지를 생성하기 위해 훈련된 제2 인공지능 모델(예: 도 12a의 제2 인공지능 모델(1250))에 전달함으로써, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 생성된 상기 제2 이미지(출력 이미지, AI 확장 이미지)를 획득할 수 있다.
이하 도 4, 도 5, 도 6, 도 7a, 도 7b, 도 7c, 도 7d 및 도 7e를 참조하여 다양한 실시예들에 따른 전자 장치(300)의 동작 방법들을 설명한다. 도시된 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 상기 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 어떤 실시예에서는, 도시된 동작들 중 일부가 생략되거나, 일부 동작들이 통합되거나, 일부 동작의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 이하 설명되는 다양한 실시예들에 따른 전자 장치(300)의 동작 방법의 동작들 중 적어도 일부는 서로 대응되거나 서로 조합되어 수행될 수 있다.
도 4는 일 실시예에 따른 전자 장치(300)의 동작 방법을 나타낸 흐름도이다.
일 실시예에 따르면, 전자 장치(300)의 동작 방법은 이미지 촬영 기능을 제공하기 위한 것일 수 있다.
도 4를 참조하면, 이미지 촬영 기능을 제공하기 위한 전자 장치(300)의 동작 방법은 동작 410, 동작 420, 동작 430, 동작 440, 동작 450 및 동작 460을 포함할 수 있다.
동작 410에서, 전자 장치(300)는 카메라 모듈(310)을 통해 제1 이미지(예: 도 5의 입력 이미지(510))를 획득할 수 있다.
일 실시예에 따르면, 상기 제1 이미지는 사용자 의도에 따라 1차 촬영(또는 캡처)된 이미지일 수 있다. 상기 제1 이미지는 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)가 제1 촬영 범위로 설정된 상태에서 카메라 모듈(310)에 의해 촬영(또는 캡처)된 이미지일 수 있다. 예를 들어, 카메라 촬영 범위는 폴딩 각도, 카메라 화각, 또는 카메라 위치 중 적어도 하나에 대응될 수 있다.
동작 420에서, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지에 포함된 복수의 객체들 중에서 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다.
일 실시예에 따르면, 추가 촬영이 필요한 적어도 하나의 대상 객체는, 제1 이미지에 포함된 복수의 객체들 중 포커스된 제1 객체 주변의 제2 객체, 제1 이미지의 중심에 위치한 제1 객체 주변의 제2 객체, 제1 이미지의 외곽에 위치한 제2 객체, 전체 형상 없이 부분 형상만을 포함하는 제2 객체, 또는 전자 장치(300)의 위치 정보와 관련된 제2 객체 중 적어도 하나에 해당할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 객체 완성도, 객체별 가중치, 객체별 위치, 또는 전자 장치(300)의 위치 정보 중 적어도 하나에 기반하여 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 객체 완성도에 기반하여 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다. 예를 들어, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지 내 복수의 객체들 중 객체 완성도가 지정된 비율보다 낮은 객체(예: 전체 형상 없이 부분 형상만을 포함하는 제2 객체)를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 객체별 가중치에 기반하여 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다. 예를 들어, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지로부터 복수의 객체들을 검출할 수 있다. 전자 장치(300)는 검출된 복수의 객체들 각각에 대해 가중치(또는 우선순위)를 할당할 수 있다. 전자 장치(300)는 복수의 객체들에 대해 할당된 객체별 가중치에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별할 수 있다. 예를 들어, 전자 장치(300)는 제1 이미지 내 복수의 객체들에 대해 할당된 객체별 가중치에 기반하여 상기 복수의 객체들 각각을 제1 가중치를 갖는 제1 객체(예: 핵심 객체), 상기 제1 가중치보다 낮은 제2 가중치를 갖는 제2 객체(예: 주요 객체), 및 상기 제2 가중치보다 낮은 제3 가중치를 갖는 제3 객체(예: 비 주요 객체) 중 하나로 분류할 수 있다. 전자 장치(300)는 상기 할당된 객체별 가중치에 기반하여 상기 제2 가중치를 갖는 상기 제2 객체(예: 주요 객체)를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 객체별 위치에 기반하여 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다. 예를 들어, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지 내 복수의 객체들 중에서 포커스된 제1 객체(예: 소실점 위치에 놓인 제1 객체) 주변의 제2 객체, 상기 제1 이미지의 중심에 있는 제1 객체 주변의 제2 객체, 또는 상기 제1 이미지의 외곽(경계)에 위치한 제2 객체를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 전자 장치(300)의 위치 정보(또는 장소 정보)에 기반하여 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다. 예를 들어, 전자 장치(300)는 적어도 하나의 센서(예: GNSS 통신 모듈, TOF(time of flight) 센서, UWB(ultra wideband) 센서)를 통해 전자 장치(300)의 위치 정보(또는 장소 정보)를 획득할 수 있다. 예를 들어, 전자 장치(300)는 제1 이미지 내 복수의 객체들 중 상기 위치 정보와 관련성이 가장 높은 제2 객체(예: 현재 장소와 관련된 랜드마크 지형이나 시설물, 캐릭터)를 결정하고, 상기 제2 객체를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지에 대한 제1 이미지 정보를, 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하기 위해 훈련된 제1 인공지능 모델(예: 도 12a의 제1 인공지능 모델(1210))에 입력으로 전달하여, 상기 제1 이미지에 포함된 복수의 객체들 중 상기 적어도 하나의 대상 객체에 대한 객체 관련 정보를 획득할 수 있다. 전자 장치(300)는 상기 객체 관련 정보에 기반하여 적어도 하나의 대상 객체를 식별할 수 있다.
동작 430에서, 전자 장치(300)는 동작 420의 식별 결과에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)를 제1 촬영 범위로부터 제2 촬영 범위로 조정할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 폴딩 각도, 카메라 화각, 또는 카메라 위치 중 적어도 하나를 변경함으로써 카메라 촬영 범위를 조정할 수 있다.
동작 440에서, 전자 장치(300)는 카메라 모듈(310)을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득할 수 있다. 상기 추가 이미지는 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)가 제2 촬영 범위로 조정된 상태에서 상기 카메라 모듈에 의해 2차 촬영(또는 캡처)된 이미지일 수 있다.
일 실시예에 따르면, 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)는 전자 장치(300)의 폴딩 각도(folded angle)가 변경됨에 따라 가변될 수 있다. 전자 장치(300)는 동일한 카메라를 이용해 제1 이미지 및 추가 이미지를 모두 획득할 수 있다. 예를 들어, 전자 장치(300)는 폴더블 전자 장치(예: 도 8a 및 도 8b의 폴더블 전자 장치(800))일 수 있다. 상기 폴더블 전자 장치는 제1 폴딩 각도(예: 45도)로 접힌 상태에서 제1 카메라(예: 도 8a의 전면 카메라(804))를 통해 제1 촬영 범위에 대한 제1 이미지를 획득할 수 있다. 여기서, 제1 촬영 범위는 제1 폴딩 각도에 대응할 수 있다. 상기 폴더블 전자 장치는 폴딩 각도를 제1 폴딩 각도로부터 제2 폴딩 각도(예: 30도)로 변경함으로써 상기 제1 카메라(예: 도 8a의 전면 카메라(804))의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 변경할 수 있다. 여기서, 제2 촬영 범위는 제2 폴딩 각도에 대응할 수 있다. 상기 폴더블 전자 장치는 제2 폴딩 각도(예: 30도)로 접힌 상태에서 상기 제1 카메라(예: 도 8a의 전면 카메라(804))를 통해 제2 촬영 범위에 대한 추가 이미지를 획득할 수 있다.
일 실시예에 따르면, 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)는 서로 다른 화각을 갖는 복수의 카메라들 중 활성화(또는 선택)되는 카메라가 제1 카메라에서 제2 카메라로 변경됨에 따라 가변될 수 있다. 전자 장치(300)의 카메라 모듈(310)은 서로 다른 화각을 갖는 복수의 카메라들을 포함할 수 있다. 전자 장치(300)는 카메라 모듈(310) 내 서로 다른 화각을 갖는 카메라들을 이용해 제1 이미지 및 추가 이미지를 각각 획득할 수 있다. 예를 들어, 전자 장치(300)는 복수의 카메라들 중 제1 화각을 갖는 제1 카메라(예: 화각 85도의 광각 카메라)가 활성화된 상태에서 상기 활성화된 제1 카메라를 통해 제1 촬영 범위에 대한 제1 이미지를 획득할 수 있다. 여기서, 제1 촬영 범위는 상기 제1 카메라의 제1 화각에 대응할 수 있다. 전자 장치(300)는 복수의 카메라들 중 제2 화각을 갖는 제2 카메라(예: 화각 120도의 초광각 카메라)를 활성화할 수 있다. 전자 장치(300)는 상기 활성화된 제2 카메라를 통해 제2 촬영 범위에 대한 추가 이미지를 획득할 수 있다. 여기서, 제2 촬영 범위는 상기 제2 카메라의 제2 화각에 대응할 수 있다.
일 실시예에 따르면, 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)는 서로 다른 위치에 배치된 복수의 카메라들 중 활성화(또는 선택)되는 카메라가 제1 카메라에서 제2 카메라로 변경됨에 따라 가변될 수 있다. 전자 장치(300)는 카메라 모듈(310) 내 서로 다른 위치에 배치된 카메라들을 이용해 제1 이미지 및 추가 이미지를 각각 획득할 수 있다. 예를 들어, 전자 장치(300)는 복수의 카메라들 중 제1 위치의 제1 카메라(예: 전면 중앙 카메라)가 활성화된 상태에서 상기 활성화된 제1 카메라를 통해 제1 촬영 범위에 대한 제1 이미지를 획득할 수 있다. 여기서, 제1 촬영 범위는 제1 카메라의 제1 위치(또는 제1 방향)에 대응할 수 있다. 전자 장치(300)는 복수의 카메라들 중 제2 위치의 제2 카메라(예: 전면 좌측 카메라 및/또는 전면 우측 카메라)를 활성화할 수 있다. 전자 장치(300)는 상기 활성화된 제2 카메라를 통해 제2 촬영 범위에 대한 추가 이미지를 획득할 수 있다. 여기서, 제2 촬영 범위는 상기 제2 카메라의 제2 위치(또는 제2 방향)에 대응할 수 있다.
동작 450에서, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지 및 동작 440을 통해 획득된 추가 이미지에 기반하여 제2 이미지(예: 도 5의 출력 이미지(520))를 생성할 수 있다. 상기 제2 이미지(예: 도 5의 출력 이미지(520))는 기본 영역(예: 도 5의 기본 영역(521))과, 적어도 하나의 대상 객체와 관련된 확장 영역(예: 도 5의 확장 영역들(522, 523) 중 적어도 하나)을 포함할 수 있다. 예를 들어, 상기 기본 영역은 제1 이미지에 대응하는 영역일 수 있다. 상기 확장 영역은 상기 적어도 하나의 대상 객체와 관련해 상기 기본 영역에 추가되는 영역일 수 있다.
일 실시예에 따르면, 적어도 하나의 대상 객체와 관련된 확장 영역은, 실제 촬영 영역(예: 도 5의 제1 확장 영역(522)) 또는 가상 영역(예: 도 5의 제2 확장 영역(523)) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 실제 촬영 영역(예: 도 5의 제1 확장 영역(522))은 동작 440을 통해 획득된 추가 이미지로부터 크롭 및/또는 워핑된 영역일 수 있다. 예를 들어, 상기 실제 촬영 영역은 추가 촬영이 필요한 적어도 하나의 대상 객체의 전체 형상 중 제1 이미지에 포함되지 않은 부분 형상을 포함할 수 있다.
일 실시예에서, 상기 가상 영역(예: 도 5의 제2 확장 영역(523))은 상기 추가 이미지 또는 상기 실제 촬영 영역 중 적어도 하나에 기반하여 생성된 영역일 수 있다. 예를 들어, 상기 가상 영역은 추가 이미지로부터 크롭 및/또는 워핑된 실제 촬영 영역(예: 도 5의 제1 확장 영역(522))과 제1 이미지에 대응하는 기본 영역(예: 도 5의 기본 영역(521))을 합성한 영역으로부터 아웃 페인팅(또는 업스케일, 렌더링)된 영역일 수 있다.
일 실시예에 따르면, 전자 장치(300)는 동작 410을 통해 획득된 제1 이미지(입력 이미지)에 대한 제1 이미지 정보, 및 동작 440을 통해 획득된 추가 이미지에 대한 추가 이미지 정보를, 확장 영역을 포함하는 제2 이미지(출력 이미지)의 생성을 위해 훈련된 제2 인공지능 모델(예: 도 12b의 제2 인공지능 모델(1250))에 전달함으로써, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 생성된 제2 이미지(예: 도 5의 출력 이미지(520))를 획득할 수 있다.
동작 460에서, 전자 장치(300)는 동작 450을 통해 생성된 제2 이미지(예: 도 5의 출력 이미지(520)) 및/또는 상기 제2 이미지와 관련된 사용자 인터페이스를 디스플레이(320)를 통해 표시할 수 있다.
도 5는 일 실시예에 따른 전자 장치(300)에 의해 생성된 출력 이미지의 예시를 나타낸 도면이다.
도 5에서, 참조번호 510은 입력 이미지, 참조번호 520은 출력 이미지, 참조번호 521은 기본 영역, 참조번호 522는 제1 확장 영역, 참조번호 523은 제2 확장 영역을 나타낸다.
도 5를 참조하면, 전자 장치(300)는 사용자 조작에 따라 입력 이미지(510)를 촬영할 수 있다. 예를 들어, 입력 이미지(510)는 사용자가 의도한 1차 촬영 결과물일 수 있다. 예를 들어, 입력 이미지(510)는 전자 장치(300) 내 카메라 모듈(310)(예: 제1 폴딩 각도에서의 전면 카메라, 화각 85도의 광각 카메라)에 의해 1차 촬영된 이미지일 수 있다.
일 실시예에서, 전자 장치(300)는 입력 이미지(510)를 이용해 출력 이미지(520)를 생성할 수 있다. 예를 들어, 출력 이미지(520)는 인공지능 기반의 이미지 촬영 기능을 이용해 생성된 2차 촬영 결과물일 수 있다.
일 실시예에서, 출력 이미지(520)는 입력 이미지(510)에 대응하는 기본 영역(521)을 포함할 수 있다. 출력 이미지(520)는 기본 영역(521) 이외에 하나 이상의 확장 영역들(522, 523)을 더 포함할 수 있다.
일 실시예에서, 제1 확장 영역(522)은 실제 촬영 영역일 수 있다. 예를 들어, 제1 확장 영역(522)은 전자 장치(300) 내 카메라 모듈(310)(예: 제2 폴딩 각도에서의 전면 카메라, 화각 120도의 초광각 카메라)에 의해 추가 촬영된 이미지로부터 크롭된 영역일 수 있다. 예를 들어, 제1 확장 영역(522)은 전자 장치(300) 내 카메라 모듈에 의해 추가 촬영된 이미지로부터 워핑(warping) 기술이 적용된 영역일 수 있다. 추가 촬영된 이미지에 워핑 기술을 적용 시, 기본 영역(521)의 이미지 정보를 기반으로 워핑 동작이 수행될 수 있다.
일 실시예에서, 제2 확장 영역(523)은 전자 장치(300) 내 카메라 모듈(310)(예: 제2 폴딩 각도에서의 전면 카메라, 화각 120도의 초광각 카메라)에 의해 추가 촬영된 이미지와, 상기 추가 촬영된 이미지로부터 크롭 및/또는 워핑된 제1 확장 영역(522) 중 적어도 하나에 기반하여 생성된 가상 영역일 수 있다. 예를 들어, 제2 확장 영역(523)은 추가 촬영된 이미지로부터 크롭 및/또는 워핑된 제1 확장 영역(522)과 입력 이미지(510)에 대응하는 기본 영역(521)을 합성한 영역으로부터 아웃 페인팅(또는 업스케일, 렌더링)된 영역일 수 있다.
도 6은 일 실시예에 따른 전자 장치(300)가 객체 완성도 및/또는 객체별 가중치에 기반하여 이미지를 촬영하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 전자 장치(300)가 이미지를 촬영하는 방법은 동작 610, 동작 620, 동작 630, 동작 640, 동작 650, 동작 660, 동작 670 및 동작 680을 포함할 수 있다.
예를 들어, 도 6의 동작 610은 도 4의 동작 410에 대응될 수 있다. 도 6의 동작 620, 동작 630 및 동작 640은 도 4의 동작 420에 대응될 수 있다. 도 6의 동작 650은 도 4의 동작 430에 대응될 수 있다. 도 6의 동작 660은 도 4의 동작 440에 대응될 수 있다. 도 6의 동작 670은 도 4의 동작 450에 대응될 수 있다. 도 6의 동작 680은 도 4의 동작 460에 대응될 수 있다.
동작 610에서, 전자 장치(300)는 카메라 모듈(310)을 통해 제1 이미지를 획득할 수 있다. 상기 제1 이미지는 사용자 의도에 따라 1차 촬영(또는 캡처)된 이미지일 수 있다. 상기 제1 이미지는 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)가 제1 촬영 범위로 설정된 상태에서 카메라 모듈(310)에 의해 1차 촬영된 이미지일 수 있다. 예를 들어, 상기 제1 이미지는 도 7a의 입력 이미지(710)일 수 있다. 도 7a의 입력 이미지(710)는 제1 폴딩 각도에서 촬영된 이미지 및/또는 광각 카메라에 의해 촬영된 이미지일 수 있다.
일 실시예에 따르면, 전자 장치(300)는 객체 완성도 및/또는 객체별 가중치에 기반하여 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다. 동작 620, 동작 630 및 동작 640은 제1 이미지 내 복수의 객체들 중 추가 촬영이 필요한 객체를 식별하기 위한 것일 수 있다.
동작 620에서, 전자 장치(300)는 동작 610을 통해 획득된 제1 이미지에 포함된 복수의 객체들을 검출할 수 있다. 예를 들어, 전자 장치(300)는 도 7a의 입력 이미지(710)로부터 도 7a의 객체 A(711), 객체 B(712), 객체 C(713), 객체 D(714), 및 객체 E(715))를 검출할 수 있다.
동작 630에서, 전자 장치(300)는 동작 620을 통해 제1 이미지로부터 검출된 복수의 객체들 각각에 대해 가중치를 할당할 수 있다. 전자 장치(300)는 복수의 객체들에 대해 할당된 객체별 가중치에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별할 수 있다.
일 실시예에서, 전자 장치(300)는 도 7a의 제1 이미지(710)에 포함된 복수의 객체들(711, 712, 713, 714, 715) 각각을 핵심 객체, 주요 객체 및 비 주요 객체 중 어느 하나로 분류할 수 있다.
예를 들어, 전자 장치(300)는 객체 A(711), 객체 B(712), 객체 C(713), 객체 D(714), 및 객체 E(715) 중에서 객체 B(712) 및 객체 D(714)를 핵심 객체로 분류하고, 객체 A(711) 및 객체 E(715)를 주요 객체로 분류하고, 객체 C(713)를 비 주요 객체로 분류할 수 있다.
예를 들어, 핵심 객체는 복수의 객체들 중에서 가장 높은 가중치(또는 최우선순위)를 갖는 객체를 의미할 수 있다. 주요 객체는 상기 복수의 객체들 중에서 핵심 객체 다음으로 높은 가중치(또는 중간 우선순위)를 갖는 객체를 의미할 수 있다. 비 주요 객체는 상기 복수의 객체들 중에서 가장 낮은 가중치(또는 가장 낮은 우선순위)를 갖는 객체를 의미할 수 있다. 비 주요 객체는 핵심 객체 및 주요 객체 이외의 나머지 객체일 수 있다.
일 실시예에 따르면, 전자 장치(300)는 핵심 객체, 주요 객체 및 비 주요 객체 중에서 상기 주요 객체를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다. 상기 주요 객체는 핵심 객체 다음으로 높은 가중치(또는 중간 우선순위)를 갖는 객체를 의미할 수 있다.
예를 들어, 전자 장치(300)는 도 7a의 제1 이미지(710) 내 복수의 객체들(711, 712, 713, 714, 715) 중에서 주요 객체로 분류된 객체 A(711) 및 객체 E(715)를 추가 촬영이 필요한 대상 객체로서 식별할 수 있다.
동작 640에서, 전자 장치(300)는 동작 630을 통해 식별된 주요 객체의 객체 완성도(또는 객체 정확도)가 지정된 비율(a%, 예컨대, a=40)을 초과하는지 여부를 판단할 수 있다.
일 실시예에서, 전자 장치(300)는 주요 객체의 전체 형상 중 1차 촬영된 제1 이미지에 포함되어 있는 일부 형상의 특징(예: 위치, 크기, 형태 등)에 기반하여 상기 전체 형상의 크기를 추정하고, 상기 추정에 기반하여 상기 주요 객체의 객체 완성도를 판단할 수 있다. 일 실시예에서, 전자 장치(300)는 웹 검색을 통해 상기 일부 형상과 유사한 객체가 포함된 기준 이미지들을 수집하고, 상기 기준 이미지들과의 비교를 통해 상기 주요 객체의 객체 완성도를 판단할 수 있다. 일 실시예에서, 전자 장치(300)는 전자 장치(300)의 위치 정보를 추가로 고려하여 기준 이미지들을 수집하거나 주요 객체의 객체 완성도를 판단할 수 있다.
동작 640의 판단 결과 주요 객체의 객체 완성도가 지정된 비율 이하이면, 전자 장치(300)는 동작 650으로 진행할 수 있다.
동작 650에서, 전자 장치(300)는 주요 객체에 대한 추가 촬영을 수행하기 위해 카메라 모듈(310)의 촬영 범위(또는 카메라 촬영 범위)를 제1 촬영 범위로부터 제2 촬영 범위로 조정할 수 있다. 예를 들어, 전자 장치(300)는 전자 장치(300)의 폴딩 각도를 변경하는 동작 및/또는 화각이나 위치가 서로 다른 복수의 카메라들 중 촬영용 카메라(활성화되거나 선택되는 카메라)를 변경하는 동작을 통해 추가 촬영을 위한 카메라 촬영 범위를 조정할 수 있다. 예를 들어, 전자 장치(300)는 촬영용 카메라를 광각 카메라로부터 초광각 카메라로 변경함으로써 추가 촬영 영역이 1차 촬영 영역에 비해 넓어지도록 하거나, 카메라 화각 또는 폴딩 각도를 변경함으로써 추가 촬영 방향이 주요 객체를 향하도록 할 수 있다.
동작 660에서, 전자 장치(300)는 카메라 모듈(310)을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득할 수 있다. 상기 추가 이미지는 카메라 모듈(310)의 촬영 범위가 제2 촬영 범위로 조정된 상태에서 카메라 모듈(310)에 의해 추가 촬영(또는 캡처)된 이미지일 수 있다. 예를 들어, 상기 추가 이미지는 도 7b의 제1 추가 이미지(720) 및/또는 제2 추가 이미지(730)일 수 있다. 도 7b의 제1 추가 이미지(720)는 제2 폴딩 각도에서 촬영된 이미지일 수 있다. 도 7b의 제2 추가 이미지(730)는 초광각 카메라에 의해 촬영된 이미지일 수 있다.
동작 670에서, 전자 장치(300)는 동작 610을 통해 획득된 제1 이미지 및 동작 660을 통해 획득된 추가 이미지에 기반하여 제2 이미지를 생성할 수 있다. 예를 들어, 제2 이미지는 도 7d의 2차 출력 이미지(760)일 수 있다.
동작 680에서, 전자 장치(300)는 동작 670을 통해 생성된 제2 이미지 및/또는 상기 제2 이미지와 관련된 사용자 인터페이스를 디스플레이(320)를 통해 표시할 수 있다.
도 7a는 일 실시예에 따른 전자 장치(300)에 의해 촬영된 입력 이미지의 예시를 나타낸 도면이다.
도 7a에서, 참조번호 710은 입력 이미지, 참조번호 711은 객체 A, 참조번호 712는 객체 B, 참조번호 713은 객체 C, 참조번호 714는 객체 D, 참조번호 715는 객체 E를 나타낸다.
도 7a를 참조하면, 전자 장치(300)는 사용자 조작에 따라 입력 이미지(710)를 촬영할 수 있다. 예를 들어, 전자 장치(300)는 카메라 화각 및/또는 폴딩 각도가 제1 각도를 갖는 상태에서 광각 카메라를 통해 1차 촬영을 수행함으로써 입력 이미지(710)를 획득할 수 있다.
전자 장치(300)는 입력 이미지(710)로부터 객체 A(711), 객체 B(712), 객체 C(713), 객체 D(714) 및 객체 E(715)를 검출할 수 있다.
전자 장치(300)는 입력 이미지(710)에 포함된 5개의 객체들(711, 712, 713, 714, 715) 중 객체 B(712) 및 객체 D(714)가 포커스가 맞춰져 있거나 인물 객체에 해당하는 핵심 객체이고, 객체 잘림 없이 전체 형상이 포함되어 있다고 판단할 수 있다. 전자 장치(300)는 객체 A(711) 및 객체 E(715)가 전자 장치(300)의 현재 위치(또는 장소)와 관련된 주요 객체이고, 객체 잘림으로 인해 부분 형상만이 포함되어 있으며, 객체 A(711) 및 객체 E(715)에 대한 추가 촬영이 필요하다고 판단할 수 있다. 전자 장치(300)는 객체 C(713)가 일반적인 형상을 갖는 비 주요 객체라고 판단할 수 있다.
도 7b는 일 실시예에 따른 전자 장치(300)에 의해 촬영된 추가 이미지의 예시를 나타낸 도면이다.
도 7b에서, 참조번호 710은 입력 이미지, 참조번호 720은 제1 추가 이미지, 참조번호 730은 제2 추가 이미지를 나타낸다.
도 7b를 참조하면, 전자 장치(300)는 입력 이미지(710)에 포함된 5개의 객체들(711, 712, 713, 714, 715) 중 객체 A(711) 및 객체 E(715)에 대한 추가 촬영을 수행할 수 있다. 전자 장치(300)는 추가 촬영을 통해 하나 이상의 추가 이미지들, 예를 들어 제1 추가 이미지(720) 및/또는 제2 추가 이미지(730)를 획득할 수 있다.
예를 들어, 전자 장치(300)는 카메라 화각 및/또는 폴딩 각도를 제1 각도로부터 제2 각도로 변경한 후 추가 촬영(또는 2차 촬영)을 수행함으로써 제1 추가 이미지(720)를 획득할 수 있다. 제1 추가 이미지(720)는 입력 이미지(710)에 비해 객체 A(711)에 대한 제1 촬영 영역(721) 및 객체 E(715)에 대한 제2 촬영 영역(725)을 더 많이 포함할 수 있다. 객체 A(711)에 대한 제1 촬영 영역(721)은 입력 이미지(710)에 포함되지 않은 객체 A(711)의 부분 형상을 포함할 수 있다. 객체 E(715)에 대한 제2 촬영 영역(725)은 입력 이미지(710)에 포함되지 않은 객체 E(715)의 부분 형상을 포함할 수 있다.
예를 들어, 전자 장치(300)는 촬영용 카메라를 광각 카메라로부터 초광각 카메라로 변경한 후 추가 촬영을 수행함으로써 제2 추가 이미지(730)를 획득할 수 있다. 제2 추가 이미지(730)는 입력 이미지(710)에 비해 객체 A(711)에 대한 제1 촬영 영역(731) 및 객체 E(715)에 대한 제2 촬영 영역(735)을 더 많이 포함할 수 있다. 객체 A(711)에 대한 제1 촬영 영역(731)은 입력 이미지(710)에 포함되지 않은 객체 A(711)의 부분 형상을 포함할 수 있다. 객체 E(715)에 대한 제2 촬영 영역(735)은 입력 이미지(710)에 포함되지 않은 객체 E(715)의 부분 형상을 포함할 수 있다.
도 7c는 일 실시예에 따른 전자 장치(300)에 의해 생성된 1차 출력 이미지의 예시를 나타낸 도면이다.
도 7c에서, 참조번호 710은 입력 이미지, 참조번호 730은 제2 추가 이미지, 참조번호 740은 1차 출력 이미지를 나타낸다.
도 7c를 참조하면, 전자 장치(300)는 입력 이미지(710)와 제2 추가 이미지(730)(및/또는 제1 추가 이미지(720))를 합성(또는 조합)함으로써 1차 출력 이미지(740)를 생성할 수 있다.
도 7d는 일 실시예에 따른 전자 장치(300)에 의해 생성된 2차 출력 이미지의 예시를 나타낸 도면이다.
도 7d에서, 참조번호 740은 1차 출력 이미지, 참조번호 760은 2차 출력 이미지를 나타낸다.
도 7d를 참조하면, 1차 출력 이미지(740)는 입력 이미지(710)와 다른 종횡비(이미지 비율 또는 이미지 크기)를 가질 수 있다. 1차 출력 이미지(740)의 종횡비를 입력 이미지(710)의 종횡비와 일치시키기 위해 새로운 영역(751, 752)의 추가가 필요할 수 있다.
전자 장치(300)는 1차 출력 이미지(740)에 제1 영역(761) 및 제2 영역(762)을 추가함으로써 입력 이미지(710)와 동일한 종횡비를 갖는 2차 출력 이미지(760)를 생성할 수 있다. 2차 출력 이미지(760)는 1차 출력 이미지(740), 제1 영역(761) 및 제2 영역(762)을 포함할 수 있다. 예를 들어, 2차 출력 이미지(760) 내 1차 출력 이미지(740)는 실제 촬영 영역일 수 있다. 2차 출력 이미지(760) 내 제1 영역(761) 및 제2 영역(762)은 입력 이미지(710) 및/또는 1차 출력 이미지(740)에 기반하여 생성된 가상 영역일 수 있다.
도 7e는 일 실시예에 따른 전자 장치(300)에 의해 생성된 2차 출력 이미지의 다른 예시를 나타낸 도면이다.
도 7e에서, 참조번호 710은 입력 이미지, 참조번호 770 및 참조번호 780은 2차 출력 이미지를 나타낸다.
도 7e를 참조하면, 전자 장치(300)는 2차 출력 이미지(770, 780)에 다양한 시각적 효과들(예: 객체 크기 조정, 필터 효과, 자연스러운 이미지 합성을 위한 후처리, 증강 객체 추가)을 적용할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 2차 출력 이미지(770, 780)의 종횡비에 따라 핵심 객체로 판단된 객체 B(712) 및 객체 D(714)의 크기를 유지하거나 조절할 수 있다. 예를 들어, 전자 장치(300)는 객체 B(712) 및 객체 D(714)의 크기를 2차 출력 이미지(770)의 종횡비에 맞게 축소하고, 축소된 객체 B(772) 및 축소된 객체 D(774)를 포함하는 2차 출력 이미지(780)를 생성할 수 있다. 예를 들어, 전자 장치(300)는 2차 출력 이미지(780) 내 객체 B(782) 및 객체 D(784)의 크기를 입력 이미지(710) 내 객체 B(712) 및 객체 D(714)의 크기와 동일하게 유지할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 폼팩터가 변형될 수 있는 타입의 전자 장치일 수 있다. 일 실시예에 따르면, 전자 장치(300)는 폴더블 전자 장치(800)일 수 있다. 도 8a는 일 실시예에 따른 폴더블 전자 장치(800)의 펼침 상태(unfolded state)를 나타낸 도면이다. 도 8b는 일 실시예에 따른 폴더블 전자 장치(800)의 접힘 상태(folded state)를 나타낸 도면이다.
도 8a 및 도 8b를 참조하면, 폴더블 전자 장치(800)는 폴더블 하우징(801), 및 상기 폴더블 하우징(801)에 의해 형성된 공간 내에 배치된 플렉서블(또는 폴더블) 디스플레이(830)를 포함할 수 있다.
일 실시예에 따르면, 폴더블 하우징(801)은 제1 하우징(810), 및 제2 하우징(820)을 포함할 수 있다.
일 실시예에 따르면, 제1 하우징(810) 및/또는 제2 하우징(820)은 폴더블 전자 장치(800)의 외관의 적어도 일부를 형성할 수 있다. 일 실시예에 따르면, 플렉서블 디스플레이(830)가 시각적으로 노출되는 면을 폴더블 전자 장치(800)의 전면(예: 제1 전면(810a) 및 제2 전면(820a))으로 정의한다. 그리고, 상기 전면의 반대 면을 폴더블 전자 장치(800)의 후면(예: 제1 후면(810b) 및 제2 후면(820b))으로 정의한다. 또한, 전면과 후면 사이의 공간의 적어도 일부를 둘러싸는 면을 폴더블 전자 장치(800)의 측면(예: 제1 측면(810c) 및 제2 측면(820c))으로 정의한다.
일 실시예에 따르면, 제1 하우징(810) 및 제2 하우징(810)은 힌지 하우징(840) 내의 힌지에 의해 연결되고, 상기 힌지에 의해 폴딩 축(A)을 중심으로 서로에 대해 회전할 수 있다. 이에 따라, 폴더블 전자 장치(800)의 제1 하우징(810) 및/또는 제2 하우징(820)이 폴딩 축(A)을 중심으로 폴딩 또는 언폴딩될 수 있다. 또한, 폴더블 전자 장치(800)의 폴딩 각도 및/또는 폴더블 전자 장치(800)의 상태(예: 도 8a의 펼침 상태, 도 8b의 접힘 상태, 또는 상기 펼침 상태와 상기 접힘 상태 사이의 중간 상태)가 변경될 수 있다.
일 실시예에 따르면, 제1 하우징(810)은 제2 하우징(820)에 대한 상대적 운동을 제공하며, 제2 하우징(820)은 제1 하우징(810)에 대한 상대적 운동을 제공할 수 있다.
일 실시예에 따르면, 제1 하우징(810)은 힌지를 이용해, 제2 하우징(820)에 대하여 회전할 수 있다. 이에 따라, 폴더블 전자 장치(800)는 접힘 상태(예: 도 8b) 또는 펼침 상태(예: 도 8a)로 변경될 수 있다. 폴더블 전자 장치(800)는 접힘 상태에서 상기 제1 전면(810a)이 상기 제2 전면(820a)에 대면할 수 있고, 펼침 상태에서 제1 전면(810a)이 향하는 방향이 제2 전면(820a)이 향하는 방향과 동일할 수 있다. 예를 들어, 펼침 상태에서, 제1 전면(810a)은 상기 제2 전면(820a)과 실질적으로 동일한 평면 상에 위치할 수 있다.
일 실시예에 따르면, 제1 하우징(810)과 제2 하우징(820)은 폴딩 축(A)을 중심으로 양측에 배치되고, 폴딩 축(A)에 대하여 전체적으로 대칭인 형상을 가질 수 있다. 일 실시예에 따르면, 폴더블 전자 장치(800)의 상태가 펼침 상태인지, 접힘 상태인지, 또는 펼침 상태와 접힘 상태 사이의 중간 상태인지 여부에 따라 제1 하우징(810)과 제2 하우징(820) 사이의 각도가 변경될 수 있다. 제1 하우징(810)과 제2 하우징(820) 사이의 각도는 폴더블 전자 장치(800)의 폴딩 각도로 해석될 수 있다.
일 실시예에 따르면, 폴더블 전자 장치(800)는 힌지 하우징(840)을 포함할 수 있다. 힌지 하우징(840)은 제1 하우징(810)과 제2 하우징(820) 사이에 배치될 수 있다. 일 실시예에 따르면, 힌지 하우징(840)는 폴더블 전자 장치(800)의 상태에 따라, 제1 하우징(810) 및 제2 하우징(820)의 일부에 의해 가려지거나, 폴더블 전자 장치(800)의 외부로 노출될 수 있다. 일 실시예에 따르면, 힌지 하우징(840)은 제1 하우징(810) 및 제2 하우징(810)을 회전 가능하게 연결하는 힌지를 폴더블 전자 장치(800)의 외부의 충격으로부터 보호할 수 있다. 힌지 하우징(840)은 힌지를 보호하기 위한 힌지 커버로 해석될 수 있다.
일 실시예에 따르면, 제1 하우징(810) 및 제2 하우징(820)은 폴더블 전자 장치(800)의 상태가 펼침 상태(unfolded state, extended state, flat state)(또는 열림 상태(opened state))인지, 접힘 상태(folded state)(또는 닫힘 상태(closed state))인지, 또는 중간 상태(intermediate state)인지 여부에 따라 서로 이루는 각도나 거리가 달라질 수 있다.
일 실시예에 따르면, 힌지 하우징(840)의 외부 노출 정도는 폴더블 전자 장치(800)의 상태에 따라 달라질 수 있다. 예를 들어, 도 8a에 도시된 바와 같이, 폴더블 전자 장치(800)가 펼침 상태인 경우, 힌지 하우징(840)은 제1 하우징(810) 및 제2 하우징(820)에 의해 가려져 노출되지 않을 수 있다. 예를 들어, 도 8b에 도시된 바와 같이, 폴더블 전자 장치(800)가 접힘 상태(예: 완전 접힘 상태(fully folded state))인 경우, 힌지 하우징(840)는 제1 하우징(810) 및 제2 하우징(820) 사이에서 외부로 노출될 수 있다. 예를 들어, 제1 하우징(810) 및 제2 하우징(820)이 소정의 각도를 이루는(folded with a certain angle) 중간 상태(intermediate state)인 경우, 힌지 하우징(840)은 제1 하우징(810) 및 제2 하우징(820)의 사이에서 외부로 일부 노출될 수 있다. 다만 이 경우 노출되는 영역은 완전 접힘 상태보다 적을 수 있다. 일 실시예에서, 힌지 하우징(840)은 곡면을 포함할 수 있다.
일 실시예에 따르면, 플렉서블 디스플레이(830)는 적어도 일부 영역이 평면 또는 곡면으로 변형될 수 있는 구조를 가질 수 있다. 예를 들어, 플렉서블 디스플레이(830)는 제1 하우징(810)에 대한 제2 하우징(820)의 상대적 운동에 대응하여 가변하도록 형성될 수 있다. 일 실시예에 따르면, 플렉서블 디스플레이(830)는 폴딩 영역(833), 폴딩 영역(833)을 기준으로 일측(예: 도 8a에 도시된 폴딩 영역(833)의 위(+Y 방향))에 배치되는 제1 디스플레이 영역(831) 및 타측(예: 도 8a에 도시된 폴딩 영역(833)의 아래(위(-Y 방향))에 배치되는 제2 디스플레이 영역(832)을 포함할 수 있다. 일 실시예에 따르면, 폴딩 영역(833)은 제1 하우징(810)과 제2 하우징(820)을 회전 가능하도록 연결하는 힌지의 위에 위치할 수 있다. 일 실시예에 따르면, 제1 디스플레이 영역(831)은 제1 하우징(810) 상에 배치되고, 제2 디스플레이 영역(832)은 제2 하우징(820) 상에 배치될 수 있다. 일 실시예에 따르면, 플렉서블 디스플레이(830)는 제1 하우징(810) 및 제2 하우징(820)에 수용될 수 있다.
다만, 도 8a에 도시된 플렉서블 디스플레이(830)의 영역 구분은 예시적인 것이며, 플렉서블 디스플레이(830)는 구조 또는 기능에 따라 복수(예를 들어, 4 개 이상 혹은 2 개)의 영역으로 구분될 수도 있다. 예를 들어, 도 8a에 도시된 실시예에서는 X축에 평행하게 연장되는 폴딩 영역(833) 또는 폴딩 축(A)에 의해 플렉서블 디스플레이(830)의 영역이 구분될 수 있으나, 다른 실시예에서 플렉서블 디스플레이(830)는 다른 폴딩 축(예: Y축에 평행한 폴딩 축)을 기준으로 영역이 구분될 수도 있다. 일 실시예에 따르면, 플렉서블 디스플레이(830)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 스타일러스 펜을 검출하도록 구성된 디지타이저와 결합되거나 인접하여 배치될 수 있다.
일 실시예에 따르면, 폴더블 전자 장치(800)의 플렉서블 디스플레이(830)는 전면 디스플레이일 수 있다. 폴더블 전자 장치(800)는 후면 디스플레이(834)를 더 포함할 수 있다. 후면 디스플레이(834)는 플렉서블 디스플레이(830)와 다른 방향을 향하도록 배치될 수 있다. 예를 들어, 플렉서블 디스플레이(830)는 폴더블 전자 장치(800)의 전면(예: 제1 전면(810a) 및/또는 제2 전면(820a))을 통하여 시각적으로 노출되고, 후면 디스플레이(834)는 폴더블 전자 장치(800)의 후면(예: 제1 후면(810b))을 통하여 시각적으로 노출될 수 있다.
일 실시예들에 따르면, 폴더블 전자 장치(800)는 적어도 하나의 카메라(804, 806)를 포함할 수 있다. 일 실시예에 따르면, 폴더블 전자 장치(800)는, 전면(예: 제1 전면(810a))을 통해 노출된 전면 카메라(804) 및/또는 후면(예: 제1 후면(810b))을 통해 노출된 후면 카메라(806)을 포함할 수 있다. 카메라(804, 806)는 도 2의 카메라 모듈(180) 또는 도 3의 카메라 모듈(310)에 대응될 수 있다.
일 실시예들에 따르면, 폴더블 전자 장치(800)의 폴딩 각도에 따라 적어도 하나의 카메라(804, 806)의 촬영 범위가 가변될 수 있다. 예를 들어, 제1 하우징(810) 및/또는 제2 하우징(820)이 폴딩 축(A)을 중심으로 회전하는 경우, 상기 회전으로 인해 적어도 하나의 카메라(804, 806)의 물리적 이동이 발생할 수 있다. 이에 따라, 폴더블 전자 장치(800)의 적어도 하나의 카메라(804, 806)의 촬영 범위가 달라질 수 있다.
이하, 폴더블 전자 장치(800)의 작동 상태(예: 펼침 상태 및 접힘 상태)에 따른 제1 하우징(810) 및 제2 하우징(820)의 동작과 플렉서블 디스플레이(830)의 각 영역을 설명한다.
일 실시예에서, 폴더블 전자 장치(800)가 펼침 상태(예: 도 8a의 완전 펼침 상태)인 경우, 제1 하우징(810) 및 제2 하우징(820)은 실질적으로 180도의 각도를 이루며, 플렉서블 디스플레이(830)의 제1 전면(810a) 및 제2 전면(820a)은 동일 방향을 향하도록, 예를 들어, 서로 평행한 방향으로 화면을 표시하도록 배치될 수 있다. 또한, 폴딩 영역(833)은 제1 전면(810a) 및 제2 전면(820a)과 동일 평면을 형성할 수 있다.
일 실시예에서, 폴더블 전자 장치(800)가 접힘 상태(예: 도 8b의 접힘 상태)인 경우, 제1 하우징(810) 및 제2 하우징(820)은 서로 마주보게 배치될 수 있다. 예를 들어, 폴더블 전자 장치(800)가 접힘 상태(예: 도 8b의 접힘 상태)인 경우, 플렉서블 디스플레이(830)의 제1 전면(810a)과 제2 전면(820a)은 서로 좁은 각도(예: 0도에서 10도 사이)를 형성하며, 서로 마주볼 수 있다. 폴더블 전자 장치(800)가 접힘 상태(예: 도 2의 상태)인 경우, 폴딩 영역(833)은 적어도 일부가 소정의 곡률을 가지는 곡면을 이룰 수 있다.
일 실시예에서, 폴더블 전자 장치(800)가 중간 상태(예: 도 8a의 완전 펼침 상태와 도 8b의 접힘 상태 사이의 중간 상태)인 경우, 제1 하우징(810) 및 제2 하우징(820)는 서로 소정의 각도(a certain angle)를 이루도록, 예를 들면, 90도 또는 120도 각도를 이루도록 배치될 수 있다. 예컨대, 중간 상태에서, 플렉서블 디스플레이(830)의 제1 전면(810a)과 제2 전면(820a)은 접힘 상태보다 크고, 펼침 상태보다 작은 각도를 형성할 수 있다. 폴딩 영역(833)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있으며, 이 때의 곡률은 접힘 상태인 경우보다 작을 수 있다.
도 9a 및 도 9b는 일 실시예에 따른 폴더블 전자 장치(800)의 폴딩 각도에 따른 촬영 범위의 변화를 설명하기 위한 도면이다.
일 실시예에 따르면, 폴더블 전자 장치(800)는 폴딩 각도를 감지하기 위한 센서(910) 및 상기 폴딩 각도를 조정하기 위한 액티브 힌지(920)를 포함할 수 있다. 일 실시예에서, 폴딩 각도는 제1 하우징(810)과 제2 하우징(820)이 만나서 이루는 각도(또는 교각(intersection angle))를 의미할 수 있다.
일 실시예에서, 센서(910)는 도 1의 센서 모듈(176)에 포함될 수 있다. 예를 들어, 센서(910)는 가속도 센서, 자이로 센서, 또는 홀 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 액티브 힌지(920)는 폴더블 전자 장치(800)가 접히거나 펼쳐질 때 물리적 움직임을 지원하기 위한 것일 수 있다. 액티브 힌지(920)는 프로세서(예: 도 3의 프로세서(330))의 제어에 따라 폴더블 전자 장치(800)의 자동 폴딩 또는 자동 언폴딩을 구현할 수 있다. 액티브 힌지(920)는 액추에이터를 포함할 수 있다. 상기 액추에이터는 액티브 힌지(920)의 내부에서 작동하여 힌지의 움직임을 제어함으로써 폴딩 각도를 조정할 수 있다.
일 실시예에 따르면, 폴더블 전자 장치(800)(예: 도 3의 프로세서(330))는 제1 폴딩 각도(α)로 접힌 상태에서 적어도 하나의 카메라(예: 후면 카메라(806))를 통해 제1 촬영 범위에 대한 제1 이미지(901)를 촬영(1차 촬영)할 수 있다. 제1 이미지(901)는 제1 폴딩 각도(α)(예: 광각 촬영 또는 제1 방향 촬영을 위한 제1 각도, 화각 85도에 매칭되는 폴딩 각도)에 대응하는 제1 촬영 범위에 대한 이미지일 수 있다. 폴더블 전자 장치(800)는 제1 이미지(901)로부터 추가 촬영이 필요한 대상 객체를 식별할 수 있다. 폴더블 전자 장치(800)는 상기 대상 객체에 대한 추가 촬영을 위해 액티브 힌지(920)를 구동함으로써 폴딩 각도를 제1 폴딩 각도(α)로부터 제2 폴딩 각도(β)로 변경할 수 있다. 폴더블 전자 장치(800)는 제2 폴딩 각도(β)로 접힌 상태에서 추가 이미지(902)를 촬영(2차 촬영 또는 추가 촬영)할 수 있다. 추가 이미지(902)는 제2 폴딩 각도(α)(예: 초광각 촬영 또는 제2 방향 촬영을 위한 제1 각도, 화각 120도에 매칭되는 폴딩 각도)에 대응하는 제2 촬영 범위에 대한 이미지일 수 있다.
일 실시예에서, 제2 폴딩 각도(β)에서 촬영된 추가 이미지(902)는 제1 폴딩 각도(α)에서 촬영된 제1 이미지(901)에 비해 기준 라인(base line)이 오프셋 각도(α-β)만큼 워핑(예: 보정, 회전, 이미지 후처리)된 이미지일 수 있다. 폴더블 전자 장치(800)는 오프셋 각도(α-β)에 기반하여 추가 이미지(902)의 기준 라인이 제1 이미지(901)의 기준 라인과 일치하도록 워핑을 수행할 수 있다.
일 실시예에 따르면, 폴더블 전자 장치(800)는 플렉스 모드로 동작할 수 있다. 일 실시예에 따르면, 폴더블 전자 장치(800)의 상태가 펼침 상태(예: 도 8a의 펼침 상태) 및 접힘 상태(예: 도 8b의 접힘 상태) 사이의 중간 상태인 경우, 또는 폴더블 전자 장치(800)의 폴딩 각도가 지정된 각도 범위(예: 30도 초과 150도 이하)에 속하는 경우, 폴더블 전자 장치(800)는 플렉스 모드로 동작할 수 있다. 예를 들어, 상기 플렉스 모드는 폴더블 전자 장치(800)가 상기 지정된 각도 범위 내의 특정 각도로 접힌 거치 상태에서의 편리한 촬영을 지원하기 위한 모드일 수 있다. 폴더블 전자 장치(800)는 플렉스 모드로 동작하는 동안, 액티브 힌지(920)를 통해 폴딩 각도를 변경함으로써 적어도 하나의 카메라(예: 후면 카메라(806))의 촬영 범위를 자동 조정할 수 있다.
도 10은 일 실시예에 따른 이미지 촬영 기능을 제공하기 위한 사용자 인터페이스의 예시를 나타낸 도면이다.
도 10을 참조하면, 전자 장치(300)는 제1 화면(1010)과 같은 사용자 인터페이스를 표시할 수 있다. 일 실시예에서, 제1 화면(1010)은 인공지능 기반의 이미지 촬영 기능을 제공하기 위한 것일 수 있다. 예를 들어, 제1 화면(1010)은 어플리케이션(예: 갤러리 어플리케이션, 카메라 어플리케이션)의 실행 화면일 수 있다.
제1 화면(1010)은 제1 화면 영역(1030), 제2 화면 영역(1020), 제3 화면 영역(1040) 및 제4 화면 영역(1050)을 포함할 수 있다.
전자 장치(300)는 제1 화면 영역(1030)을 통해 인공지능 기반의 이미지 촬영 기능에 따라 생성된 제2 이미지(AI 확장 이미지)를 표시할 수 있다.
전자 장치(300)는 제2 화면 영역(1020)을 통해 사용자 의도에 따라 촬영된 제1 이미지(원본 이미지)와 제3 이미지에 대한 썸네일 이미지들을 표시할 수 있다. 상기 제3 이미지는 제1 화면 영역(1030)에 표시되는 제2 이미지의 다른 버전, 예를 들어, 상기 제2 이미지에 시각적 효과(예: 객체 크기 조정, 필터 효과, 자연스러운 이미지 합성을 위한 후처리, 증강 객체 추가)를 적용한 버전의 이미지(다른 AI 확장 이미지)일 수 있다.
제1 화면 영역(1030)에는 인공지능 기반의 이미지 촬영 기능을 온/오프하기 위한 AI 촬영 아이콘(1031)이 표시될 수 있다. 예를 들어, AI 촬영 아이콘(1031)이 활성화된 상태에서 사용자가 촬영 버튼을 터치하거나 갤러리 어플리케이션을 실행하면, 전자 장치(300)는 사용자 의도에 따라 촬영된 제1 이미지(원본 이미지) 외에 확장 영역을 더 포함하는 제2 이미지(AI 확장 이미지)를 제공할 수 있다.
전자 장치(300)는 제1 화면 영역(1030)에 표시된 AI 촬영 아이콘(1031)이 비활성화되거나 스와이프 입력(1032)이 감지되면, 제2 화면 영역(1020)에 썸네일로 표시 중인 제1 이미지(원본 이미지) 또는 제3 이미지(다른 AI 확장 이미지)를 제1 화면 영역(1030)으로 이동해 표시할 수 있다.
전자 장치(300)는 제3 화면 영역(1040)을 통해, 제1 화면 영역(1030)에 표시 중인 제2 이미지(AI 확장 이미지)에 적용된 시각적 효과들에 대한 정보를 표시할 수 있다. 전자 장치(300)는 제4 화면 영역(1050)에 인공지능 프롬프트 입력을 위한 입력 창을 표시할 수 있다. 전자 장치(300)는 상기 입력 창을 통해 사용자 명령을 수신하고, 제1 화면 영역(1030)에 표시 중인 상기 제2 이미지(AI 확장 이미지)에 상기 사용자 명령에 따른 시각적 효과를 추가로 적용할 수 있다.
도 11은 일 실시예에 따른 추가 촬영을 가이드하기 위한 사용자 인터페이스의 예시를 나타낸 도면이다.
일 실시예에 따르면, 전자 장치(300)는 폼팩터가 고정된 타입의 전자 장치일 수 있다. 이러한 경우, 전자 장치(300)는 디스플레이(320)를 통해 추가 촬영을 가이드하기 위한 사용자 인터페이스를 표시할 수 있다.
예를 들어, 전자 장치(300)는 인공지능 기반의 이미지 촬영 기능을 제공하기 위해, 제1 프리뷰 화면(1110), 제2 프리뷰 화면(1120) 및 제3 프리뷰 화면(1130)을 순차적으로 표시할 수 있다.
동작 1101에서, 전자 장치(300)는 제1 프리뷰 화면(1110)에 사용자 의도에 따라 1차 촬영된 제1 이미지(원본 이미지)를 표시할 수 있다. 상기 제1 이미지는 제1 화각에 대응하는 이미지일 수 있다.
동작 1102에서, 전자 장치(300)는 제2 프리뷰 화면(1120)에 추가 촬영을 위한 화각 변경을 유도하는 인터페이스 요소(1121)(예: "AI 셀피 촬영을 위해 폰을 좀더 높이 들어서 화각을 변경해 주세요."라는 가이드 메시지)를 표시할 수 있다. 전자 장치(300)의 움직임에 따라 화각이 상기 제1 화각으로부터 제2 화각으로 변경될 수 있다. 추가 촬영을 통해 상기 제2 화각에 대응하는 추가 이미지가 획득될 수 있다.
동작 1103에서, 전자 장치(300)는 1차 촬영된 제1 이미지 및 추가 촬영(또는 2차 촬영)된 추가 이미지에 기반하여 제2 이미지(AI 확장 이미지)를 생성할 수 있다. 전자 장치(300)는 제3 프리뷰 화면(1130)을 통해 상기 제2 이미지(AI 확장 이미지)를 표시할 수 있다.
도 12a는 일 실시예에 따른 제1 인공지능 모델(1210)을 설명하기 위한 도면이다. 도 12b는 일 실시예에 따른 제2 인공지능 모델(1250)을 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(300)는 제1 인공지능 모델(1210) 및/또는 제2 인공지능 모델(1250)을 이용해 인공지능 기반의 이미지 촬영 기능을 제공할 수 있다.
도 12a를 참조하면, 제1 인공지능 모델(1210)은 한 장의 이미지 내에서 다중 객체를 검출하는 것 및/또는 상기 이미지 내 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 것을 목적으로 훈련된 인공지능 모델일 수 있다.
일 실시예에서, 전자 장치(300)는 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하기 위해 훈련된 제1 인공지능 모델(1210)에게, 제1 이미지에 대한 제1 이미지 정보(1220)를 입력으로 전달할 수 있다. 예를 들어, 제1 이미지 정보(1220)는 제1 이미지, 상기 제1 이미지에 대응하는 이미지(예: 썸네일, 프리뷰), 상기 제1 이미지 내 객체들에 대한 부분 이미지들, 상기 제1 이미지 및/또는 상기 부분 이미지들에 대한 메타 데이터(예: 링크, 포맷, 속성 등) 중 적어도 일부를 포함할 수 있다.
일 실시예에서, 제1 인공지능 모델(1210)은 제1 이미지에 대한 제1 이미지 정보(1220)에 기반하여 객체 관련 정보(1230)를 생성할 수 있다. 예를 들어, 제1 인공지능 모델(1210)은 제1 이미지 정보(1220)를 이용해 제1 이미지의 배경 및 상기 배경과 구분되는 여러 객체들을 검출하고, 상기 검출된 객체들을 분석하고, 상기 분석 결과에 따라 객체 관련 정보(1230를 생성할 수 있다. 제1 인공지능 모델(1210)은 상기 객체 관련 정보(1230)를 포함하는 응답을 제공할 수 있다.
일 실시예에서, 객체 관련 정보(1230)는 객체별 식별 정보(예: 객체별 명칭이나 아이디, 식별 번호), 이미지 내 객체별 위치(또는 면적) 정보, 객체별 가중치 정보, 객체별 카테고리 정보, 객체별 완성도 정보 중 적어도 일부를 포함할 수 있다. 객체별 카테고리 정보는 복수의 카테고리들(예: 핵심 객체, 주요 객체, 비 주요 객체) 중 각 객체가 속하는 카테고리를 나타내는 정보일 수 있다. 객체별 완성도 정보는 각 객체가 실질적인 전체 형상(예: 70% 이상)이 이미지 내에 포함되어 있는 온전한 객체인지 여부(또는 잘린 객체인지 여부)를 나타내는 정보일 수 있다.
일 실시예에서, 객체 관련 정보(1230)는 제1 이미지(에 포함된 복수의 객체들 중 추가 촬영이 필요한 대상 객체에 대한 정보(예: 주요 객체임을 나타내는 카테고리 정보, 잘린 객체임을 나타내는 객체 완성도 정보, 현재 위치와의 관련성이 높음을 나타내는 정보)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 제1 인공지능 모델(1210)로부터 제공된 객체 관련 정보(1230)에 기반하여 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작(예: 도 4의 동작 420)을 수행할 수 있다.
예를 들어, 전자 장치(300)는 객체 관련 정보(1230)에 기반하여 제1 이미지 내 복수의 객체들 중 주요 객체 카테고리에 속하는 객체, 객체 완성도가 지정된 비율(예: 70&) 이하인 객체 및/또는 현재 위치와의 관련성이 높은 객체를 식별하고, 상기 식별된 객체(들)를 추가 촬영이 필요한 대상 객체로 판단할 수 있다.
도 12b를 참조하면, 제2 인공지능 모델(1250)은 입력 이미지를 이용해 확장 영역이 포함된 출력 이미지를 생성하는 것을 목적으로 훈련된 생성형 인공지능 모델일 수 있다.
일 실시예에서, 제2 인공지능 모델(1250)은 입력 이미지인 제1 이미지에 대한 제1 이미지 정보(1261)를 포함하는 프롬프트 입력(또는 요청)(1260)에 기반하여 출력 이미지인 제2 이미지(1270)를 생성할 수 있다. 예를 들어, 제2 인공지능 모델(1250)은 입력 이미지인 제1 이미지(예: 도 5의 입력 이미지(510), 도 7a의 입력 이미지(710))에 대한 제1 이미지 정보(1261) 및 입력 스크립트(1262)를 포함하는 프롬프트 입력(1260)을 수신할 수 있다. 일 실시예에서, 입력 스크립트(1262)는 제1 입력 스크립트 및/또는 제2 입력 스크립트를 포함할 수 있다. 제1 입력 스크립트는 제1 이미지의 확장 영역 생성에 대한 요청(예: 아웃-페인팅될 영역에 대한 크기, 비율, 해상도, 포맷)을 포함할 수 있다. 제2 입력 스크립트는 제1 이미지의 확장 영역 생성에 필요한 객체 관련 정보(예: 주요 객체, 잘린 객체에 대한 정보나 부분 이미지), 및/또는 확장 영역 생성을 위한 참고 이미지 예시를 포함할 수 있다.
일 실시예에 따르면, 제2 인공지능 모델(1250)은 수신된 프롬프트 입력(1260)에 기반하여 지정된 종류(또는 지정된 형식)의 출력 이미지(예: 도 5의 출력 이미지(520), 도 7d의 2차 출력 이미지(760))를 생성하고, 상기 출력 이미지를 포함하는 응답을 제공할 수 있다.
일 실시예에서, 제2 인공지능 모델(1250)은 제1 이미지에 대한 제1 이미지 정보(1261) 및 입력 스크립트(1262)를 포함하는 프롬프트 입력(1260)에 기반하여 아웃-페인팅(또는 확장 영역에 대한 업스케일이나 렌더링)을 수행함으로써 제1 이미지로부터 확장된 제2 이미지(1270)를 생성할 수 있다. 제2 이미지(1270)는 제1 이미지에 대한 제1 이미지 정보(1261)에 기반하여 생성된 확장 영역을 포함할 수 있다. 예를 들어, 상기 확장 영역은 제1 이미지에 대한 제1 이미지 정보(1261)에 기반하여 생성된 가상 영역일 수 있다. 제2 인공지능 모델(1250)은 상기 제1 이미지와 연속되고, 입력 스크립트(1262)의 요청을 만족하도록, 상기 제1 이미지의 확장 버전인 제2 이미지(1270)를 생성할 수 있다.
일 실시예에 따르면, 제2 인공지능 모델(1250)은 입력 이미지 및 추가 이미지(예: 동일 객체의 일부 형상 및 다른 일부 형상을 각각 포함하는 2개의 이미지들)를 이용해 출력 이미지를 생성하는 것을 목적으로 훈련된 생성형 인공지능 모델일 수 있다.
일 실시예에서, 전자 장치(300)는 제1 이미지(대상 객체에 대한 입력 이미지)에 대한 제1 이미지 정보(1261) 및 추가 이미지(동일한 대상 객체에 대한 추가 이미지)에 대한 추가 이미지 정보(미도시)를 포함하는 프롬프트 입력(1260)을 제2 인공지능 모델(1250)에 전달함으로써, 제2 인공지능 모델(1250)로부터 상기 제1 이미지 정보(1261) 및 상기 추가 이미지 정보에 기반하여 생성된 제2 이미지(1270)를 획득할 수 있다.
일 실시예에 따르면, 제2 인공지능 모델(1250)에 대한 프롬프트 입력(1260)은 제1 이미지 정보(1261) 외의 추가 이미지 정보를 더 포함할 수 있다. 예를 들어, 제2 인공지능 모델(1250)은 제1 이미지에 대한 제1 이미지 정보(1261) 및 추가 이미지에 대한 추가 이미지 정보를 함께 이용해 확장 영역을 생성함으로써 보다 정교한 확장 버전의 제2 이미지(1270)를 생성할 수 있다. 예를 들어, 제2 인공지능 모델(1250)은 제1 이미지 정보(1261)에 대응하는 제1 이미지 내 1차 촬영된 주요 객체가 잘린 객체이고 객체 완성도가 지정된 비율(예: 70%) 이하인 경우, 상기 주요 객체를 2차 촬영한 추가 이미지에 대한 추가 이미지 정보를 요청할 수 있다. 예를 들어, 상기 추가 이미지 정보에 대응하는 추가 이미지는 상기 주요 객체의 전체 형상 중 제1 이미지에 포함되지 않은 부분 형상을 포함할 수 있다. 제2 인공지능 모델(1250)은 추가 이미지 정보를 수신하고, 제1 이미지 정보(1261) 및 상기 추가 이미지 정보에 기반하여 제2 이미지(1270)에 포함될 확장 영역을 생성할 수 있다. 예를 들어, 상기 확장 영역은 실제 촬영 영역 및/또는 가상 영역을 포함할 수 있다. 상기 실제 촬영 영역은 추가 이미지로부터 크롭되고 주요 객체의 전체 형상 중 1차 촬영된 제1 이미지에 포함되지 않은 부분 형상을 포함하는 영역일 수 있다. 상기 가상 영역은 2차 촬영된 추가 이미지, 또는 상기 2차 촬영된 추가 이미지로부터 크롭된 실제 촬영 영역 중 적어도 하나에 기반하여 가공된 영역일 수 있다. 제2 인공지능 모델(1250)은 제1 이미지에 상기 확장 영역을 포함시킨 제2 이미지(1270)을 생성하고, 제2 이미지(1270)를 포함하는 응답을 제공할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 제2 인공지능 모델(1250)을 이용해 제1 이미지로부터 확장된 제2 이미지(1270)를 생성하는 동작(예: 도 4의 동작 450, 도 6의 동작 670)을 수행할 수 있다.
일 실시예에 따르면, 도 12a의 제1 인공지능 모델(1210) 및/또는 도 12b의 제2 인공지능 모델(1250)은 소정의 기능을 수행하도록 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
일 실시예에 따르면, 도 3의 전자 장치(300)는 도 12a의 제1 인공지능 모델(1210) 또는 도 12b의 제2 인공지능 모델(1250) 중 적어도 일부를 포함하도록 구성될 수 있다. 제1 인공지능 모델(1210) 및/또는 제2 인공지능 모델(1250)은 온-디바이스 인공지능 모델의 형태로 전자 장치(300)(예: 메모리(340))에 포함될 수 있으나, 이에 제한되지는 않는다. 예를 들어, 제1 인공지능 모델(1210) 또는 제2 인공지능 모델(1250) 중 적어도 일부는 생성형 AI 서버(예: 도 1의 서버(108)) 및/또는 다른 사용자의 전자 장치(예: 도 1의 전자 장치(102, 104))에 포함될 수도 있다.
도 13은 일 실시예에 따른 인공지능 모델(예: 도 12b의 제2 인공지능 모델(1250))의 이미지 보정 동작을 설명하기 위한 도면이다.
일 실시예에 따르면, 1차 촬영된 제1 이미지(입력 이미지) 및 추가 촬영된 추가 이미지를 이용해 제2 이미지(출력 이미지, AI 확장 이미지)를 생성하는 과정에서, 워핑(예: 이미지 보정)이 필요할 수 있다. 예를 들어, 상기 추가 이미지의 기준 라인을 상기 제1 이미지의 기준 라인과 일치시키는 워핑 동작을 수행하는 경우, 상기 추가 이미지 및 상기 제2 이미지의 화각 차이로 인해 1차 출력 이미지(1310)에 빈 영역(1311)이 발생할 수 있다.
이러한 경우, 전자 장치(300)는 인공지능 모델(예: 도 12b의 제2 인공지능 모델(1250))을 이용해 빈 영역(1311)을 채우는 아웃-페인팅을 수행함으로써 2차 출력 이미지(1320)를 생성할 수 있다.
도 14는 일 실시예에 따른 생성형 인공지능 모델을 포함하는 시스템을 나타낸 도면이다.
도 14를 참조하면, User Query/Response Interface(1410)는 사용자의 입력을 수신할 수 있다. 사용자의 입력은 자연어, 이미지 및/또는 동영상과 같은 형태 일 수 있다. 또한 사용자의 입력의 전송 시에, Context 정보도 같이 전송될 수 있다. Context 정보는 사용자 입력 시점에서의 다양한 부가 정보들을 포함할 수 있다. 예를 들어, 사용자가 현재 사용중인 어플리케이션 정보 또는 사용자의 위치 정보 등이 있다. 또한 사용자 입력은 상술한 자연어, 이미지, 소리, context 정보가 혼합된 형태도 가능할 수 있다. 또한, 사용자 입력은 메뉴를 선택하는 등의 비자연어적인 형태도 가능 할 수 있다. User Query/Response Interface(1410)는 사용자에게 생성형 인공 지능 시스템의 결과물을 출력할 수 있다. 출력물은 자연어 형태나 특정 컨텐츠 형태가 가능하며 사용자가 요청하는 액션 등의 형태로 제공되는 것도 가능할 수 있다. User Query Interface는 사용자에게 생성형 인공 지능 시스템의 결과물을 출력할 수 있다. 출력물은 자연어 형태나 특정 컨텐츠 형태가 가능하며 사용자가 요청하는 액션 등의 형태로 제공되는 것도 가능할 수 있다.
AI framework(1420)는 사용자의 입력을 수신하고, 사용자의 질의에 기초하여 사용자의 의도를 수행하기 위해 필요한 각각의 컴포넌트들을 조율하고 제어할 수 있다.
User Query/Response Interface(1410)에서 수신된 사용자 입력은 Prompt design component(1421)로 전송될 수 있다. Prompt design component(1421)는 사용자 입력을 LLM(Large Language Model) or LMM(large multimodal models)에 입력하기에 적합한 프롬프트를 생성하는데 사용될 수 있다. Prompt design component(1421)는 시간이 지남에 따라 더 나은 프롬프트를 개발하기 위해 머신 러닝 알고리즘 또는 신경망을 사용하는 AI 컴포넌트일 수 있다. Prompt design component(1421)는 사용자 입력에 기초하여 사용자 선호도 데이터, 프롬프트 라이브러리, 및 프롬프트 예제를 포함하는 knowledge component(예: knowledge repositories(1440))에 액세스하여 프롬프트를 생성하고, 생성한 프롬프트를 LLM or LMM에 전달할 수 있다.
API/Plug-in management component(1423)는 사용자 입력을 생성형 모델의 입력으로 전달할 때 추가 정보에 대한 요청이 있는 경우 외부 정보와 통신하는 역할을 수행할 수 있다. API/Plug-in management component(1423)는 API를 통해 AI Interface외부와 통신할 수 있는 채널을 구축하며, 구축한 채널을 통해 다양한 data source(예: knowledge repositories(1440))에 접근할 수 있도록 할 수 있다. 또한 API/Plug-in management component(1423)는 중간 결과가 아니라 최종적으로 사용자의 입력을 수행하는 액션을 application 또는 서비스에서 수행해야 하는 경우 해당 액션을 API를 통해 application/service component(1430)에 요청할 수 있다. 외부로부터 확보한 정보는 사용자 입력과 함께 Prompt design component(1421)에서 프롬프트를 생성하는데 사용될 수도 있고 생성형 모델의 입력으로 전달될 수도 있다.
Refiner component(예: output modification component(1425))는 생성형 모델에서 출력하는 결과를 세부적으로 튜닝 할 수 있다. 예를 들어, Refiner component는 LLM 및/또는 LMM을 통해 생성되는 컨텐츠가 관련성이 없는 것은 아닌지, 편향적인 내용을 포함하지 않는지, 또는 유해한 내용을 포함하고 있지 않은지를 검증할 수 있다. 또한 Refiner component는 사용자가 원하는 결과물에 어느 정도 일치하는지를 판단하여 만약 추가적인 과정이 필요한 경우 해당 과정을 진행하는 것도 가능 하다. Refiner component는 추가적으로 원치 않은 출력을 피하기 위한 힌트를 구성하여 사용자에게 제공할 수 있다.
Generative AI Model(1450)은 일반적으로 사용자 입력 정보에 의존해 새로운 형태의 데이터를 만들어내는 인공지능 신경망을 의미할 수 있다. Generative AI Model(1450)은 이미지를 생성하는 모델 및/또는 언어를 생성하는 모델을 포함할 수 있다. 이미지를 생성하는 모델은 대표적으로 GAN(generative adversarial network), VAE(variational auto encoder)가 있으며, VAE와 Transformer구조를 사용하는 Diffusion기반 생성형 모델을 예로 들 수 있다. 언어를 생성하는 모델은 입력 값을 기반으로 통계학적으로 가장 적절한 출력 값을 출력하도록 학습된 모델로 대표적으로 CHAT-GPT 3, CHAT-GPT 4와 같은 모델을 예로 들 수 있다. 또한 문자, 이미지, 음성 등 다양한 형태의 데이터 입력을 인식하고 이에 상응하는 새로운 데이터를 생성할 수 있는 LMM도 있다.
일 실시예에 따르면, 도 1의 전자 장치(101) 및/또는 도 3의 전자 장치(300)는 도 14의 User Query/Response Interface(1410) AI framework(1420), application/service component(1430), knowledge repositories(1440) 또는 Generative AI Model(1450) 중 적어도 일부를 포함하도록 구성될 수 있다. 일 실시예에 따르면, 도 14의 User Query/Response Interface(1410) AI framework(1420), application/service component(1430), knowledge repositories(1440) 또는 Generative AI Model(1450) 중 적어도 일부가 다른 전자 장치(예: 다른 사용자의 전자 장치(예: 도 1의 전자 장치(102, 104) 및/또는 서버(예: 도 1의 서버(108))에 포함될 수 있다.
일 실시예에 따른 전자 장치(예: 도 3의 전자 장치(300))는 디스플레이(예: 도 3의 디스플레이(320)), 카메라 모듈(예: 도 3의 카메라 모듈(310)), 적어도 하나의 프로세서(예: 도 3의 프로세서(330)), 및 명령어들(instructions)을 저장하는 메모리(예: 도 3의 메모리(340))를 포함할 수 있다. 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 카메라 모듈을 통해 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하고, 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하고, 상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하고, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하고, 상기 디스플레이를 통해 상기 제2 이미지를 표시하도록 할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 대상 객체는, 상기 제1 이미지에 포함된 상기 복수의 객체들 중 포커스된 제1 객체 주변의 제2 객체, 상기 제1 이미지의 중심에 위치한 제1 객체 주변의 제2 객체, 상기 제1 이미지의 외곽에 위치한 제2 객체, 전체 형상 없이 부분 형상만을 포함하는 제2 객체, 또는 상기 전자 장치의 위치 정보와 관련된 제2 객체 중 적어도 하나에 해당할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 대상 객체와 관련된 확장 영역은, 상기 추가 이미지로부터 크롭되고 상기 적어도 하나의 대상 객체의 전체 형상 중 상기 제1 이미지에 포함되지 않은 부분 형상을 포함하는 실제 촬영 영역, 또는 상기 추가 이미지 또는 상기 실제 촬영 영역 중 적어도 하나에 기반하여 생성된 가상 영역 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 제1 이미지로부터 상기 복수의 객체들을 검출하고, 상기 복수의 객체들 중 객체 완성도가 지정된 비율보다 낮은 객체를 추가 촬영이 필요한 대상 객체로서 식별하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 제1 이미지로부터 상기 복수의 객체들을 검출하고, 상기 복수의 객체들에 대해 가중치들을 할당하고, 상기 할당된 가중치들에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 할당된 가중치들에 기반하여 상기 복수의 객체들 각각을 제1 가중치를 갖는 제1 객체, 상기 제1 가중치보다 낮은 제2 가중치를 갖는 제2 객체, 및 상기 제2 가중치보다 낮은 제3 가중치를 갖는 제3 객체 중 하나로 분류하고, 상기 제2 객체를 추가 촬영이 필요한 대상 객체로서 식별하도록 할 수 있다.
일 실시예에 따르면, 상기 전자 장치는 폴더블 전자 장치일 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 카메라 모듈 내 제1 카메라를 통해 상기 제1 촬영 범위에 대한 상기 제1 이미지를 획득하고, 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위를 상기 제1 촬영 범위로부터 상기 제2 촬영 범위로 변경하고, 상기 제1 카메라를 통해 상기 제2 촬영 범위에 대한 상기 추가 이미지를 획득하도록 할 수 있다.
일 실시예에 따르면, 상기 폴더블 전자 장치는, 플렉스 모드로 동작하는 동안, 상기 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위가 자동 변경되도록 할 수 있다.
일 실시예에 따르면, 상기 카메라 모듈은 서로 다른 화각을 갖는 복수의 카메라들을 포함할 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 복수의 카메라들 중 제1 화각을 갖는 제1 카메라가 활성화된 상태에서 상기 활성화된 제1 카메라를 통해 상기 제1 촬영 범위에 대한 상기 제1 이미지를 획득하고, 상기 복수의 카메라들 중 제2 화각을 갖는 제2 카메라를 활성화하고, 상기 활성화된 제2 카메라를 통해 상기 제2 촬영 범위에 대한 상기 추가 이미지를 획득하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 제1 이미지에 대한 제1 이미지 정보를 상기 적어도 하나의 대상 객체를 식별하기 위해 훈련된 제1 인공지능 모델에 전달함으로써, 상기 제1 이미지에 포함된 복수의 객체들 중 상기 적어도 하나의 대상 객체에 대한 객체 관련 정보를 획득하도록 하고, 상기 제1 이미지에 대한 상기 제1 이미지 정보 및 상기 추가 이미지에 대한 추가 이미지 정보를 상기 제2 이미지를 생성하기 위해 훈련된 제2 인공지능 모델에 전달함으로써, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 생성된 상기 제2 이미지를 획득하도록 할 수 있다.
일 실시예에 따른 전자 장치(예: 도 3의 전자 장치(300))의 동작 방법은, 카메라 모듈(예: 도 3의 카메라 모듈(310))을 통해 제1 이미지를 획득하는 동작, 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작, 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하는 동작, 상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하는 동작, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하는 동작, 및 디스플레이(예: 도 3의 디스플레이(320))를 통해 상기 제2 이미지를 표시하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 대상 객체는, 상기 제1 이미지에 포함된 상기 복수의 객체들 중 포커스된 제1 객체 주변의 제2 객체, 상기 제1 이미지의 중심에 위치한 제1 객체 주변의 제2 객체, 상기 제1 이미지의 외곽에 위치한 제2 객체, 전체 형상 없이 부분 형상만을 포함하는 제2 객체, 또는 상기 전자 장치의 위치 정보와 관련된 제2 객체 중 적어도 하나에 해당할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 대상 객체와 관련된 확장 영역은, 상기 추가 이미지로부터 크롭되고 상기 적어도 하나의 대상 객체의 전체 형상 중 상기 제1 이미지에 포함되지 않은 부분 형상을 포함하는 실제 촬영 영역, 또는 상기 추가 이미지 또는 상기 실제 촬영 영역 중 적어도 하나에 기반하여 생성된 가상 영역 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작은, 상기 제1 이미지로부터 상기 복수의 객체들을 검출하는 동작, 및 상기 복수의 객체들 중 객체 완성도가 지정된 비율보다 낮은 객체를 추가 촬영이 필요한 대상 객체로서 식별하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작은, 상기 제1 이미지로부터 상기 복수의 객체들을 검출하는 동작, 상기 복수의 객체들에 대해 가중치들을 할당하는 동작, 및 상기 할당된 가중치들에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 대상 객체를 식별하는 동작은, 상기 할당된 가중치들에 기반하여 상기 복수의 객체들 각각을 제1 가중치를 갖는 제1 객체, 상기 제1 가중치보다 낮은 제2 가중치를 갖는 제2 객체, 및 상기 제2 가중치보다 낮은 제3 가중치를 갖는 제3 객체 중 하나로 분류하는 동작, 및 상기 제2 객체를 추가 촬영이 필요한 대상 객체로서 식별하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 전자 장치는 폴더블 전자 장치일 수 있다. 상기 카메라 모듈의 촬영 범위를 조정하는 동작은, 상기 카메라 모듈 내 제1 카메라를 통해 상기 제1 촬영 범위에 대한 상기 제1 이미지를 획득하는 동작, 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위를 상기 제1 촬영 범위로부터 상기 제2 촬영 범위로 변경하는 동작, 및 상기 제1 카메라를 통해 상기 제2 촬영 범위에 대한 상기 추가 이미지를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 폴더블 전자 장치는, 플렉스 모드로 동작하는 동안, 상기 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위가 자동 변경되도록 할 수 있다.
일 실시예에 따르면, 상기 카메라 모듈은 서로 다른 화각을 갖는 복수의 카메라들을 포함할 수 있다. 상기 카메라 모듈의 촬영 범위를 조정하는 동작은, 상기 복수의 카메라들 중 제1 화각을 갖는 제1 카메라가 활성화된 상태에서 상기 활성화된 제1 카메라를 통해 상기 제1 촬영 범위에 대한 상기 제1 이미지를 획득하는 동작, 및 상기 복수의 카메라들 중 제2 화각을 갖는 제2 카메라를 활성화하고, 상기 활성화된 제2 카메라를 통해 상기 제2 촬영 범위에 대한 상기 추가 이미지를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작은, 상기 제1 이미지에 대한 제1 이미지 정보를 상기 적어도 하나의 대상 객체를 식별하기 위해 훈련된 제1 인공지능 모델에 전달함으로써, 상기 제1 이미지에 포함된 복수의 객체들 중 상기 적어도 하나의 대상 객체에 대한 객체 관련 정보를 획득하는 동작을 포함할 수 있다. 상기 제2 이미지를 생성하는 동작은, 상기 제1 이미지에 대한 상기 제1 이미지 정보 및 상기 추가 이미지에 대한 추가 이미지 정보를 상기 제2 이미지를 생성하기 위해 훈련된 제2 인공지능 모델에 전달함으로써, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 생성된 상기 제2 이미지를 획득하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 저장 매체(예: 도 3의 메모리(340))는, 카메라 모듈(예: 도 3의 카메라 모듈(310))을 통해 제1 이미지를 획득하는 동작, 상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작, 상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하는 동작, 상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하는 동작, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하는 동작, 및 디스플레이(예: 도 3의 디스플레이(320))를 통해 상기 제2 이미지를 표시하는 동작을 포함하는 방법을 실행시키기 위한 프로그램을 저장할 수 있다.
본 개시의 다양한 실시예들에 따르면, 이미지 촬영 시 사용자 의도를 반영하면서도 촬영 결과물에 대한 사용자 만족도를 높일 수 있다.
본 개시의 다양한 실시예들에 따르면, 다차수의 실제 촬영된 이미지들에 기반해 촬영 결과물을 생성함으로써 1회 촬영만을 수행하는 경우에 비해 보다 현실적인 촬영 결과물을 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 위의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라 모듈;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금:
    상기 카메라 모듈을 통해 제1 이미지를 획득하고,
    상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하고,
    상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하고,
    상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하고,
    상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하고,
    상기 디스플레이를 통해 상기 제2 이미지를 표시하도록 하는 인스트럭션들(instructions)을 저장하는 메모리를 포함하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 대상 객체는,
    상기 제1 이미지에 포함된 상기 복수의 객체들 중 포커스된 제1 객체 주변의 제2 객체;
    상기 제1 이미지의 중심에 위치한 제1 객체 주변의 제2 객체;
    상기 제1 이미지의 외곽에 위치한 제2 객체;
    전체 형상 없이 부분 형상만을 포함하는 제2 객체; 또는
    상기 전자 장치의 위치 정보와 관련된 제2 객체 중 적어도 하나에 해당하는 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 대상 객체와 관련된 확장 영역은,
    상기 추가 이미지로부터 크롭되고 상기 적어도 하나의 대상 객체의 전체 형상 중 상기 제1 이미지에 포함되지 않은 부분 형상을 포함하는 실제 촬영 영역; 또는
    상기 추가 이미지 또는 상기 실제 촬영 영역 중 적어도 하나에 기반하여 생성된 가상 영역 중 적어도 하나를 포함하는 전자 장치.
  4. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금:
    상기 제1 이미지로부터 상기 복수의 객체들을 검출하고,
    상기 복수의 객체들 중 객체 완성도가 지정된 비율보다 낮은 객체를 추가 촬영이 필요한 대상 객체로서 식별하도록 하는 전자 장치.
  5. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금:
    상기 제1 이미지로부터 상기 복수의 객체들을 검출하고,
    상기 복수의 객체들에 대해 가중치들을 할당하고,
    상기 할당된 가중치들에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별하도록 하는 전자 장치.
  6. 청구항 5에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금:
    상기 할당된 가중치들에 기반하여 상기 복수의 객체들 각각을 제1 가중치를 갖는 제1 객체, 상기 제1 가중치보다 낮은 제2 가중치를 갖는 제2 객체, 및 상기 제2 가중치보다 낮은 제3 가중치를 갖는 제3 객체 중 하나로 분류하고,
    상기 제2 객체를 추가 촬영이 필요한 대상 객체로서 식별하도록 하는 전자 장치.
  7. 청구항 1에 있어서,
    상기 전자 장치는 폴더블 전자 장치이고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치가:
    상기 카메라 모듈 내 제1 카메라를 통해 상기 제1 촬영 범위에 대한 상기 제1 이미지를 획득하고,
    폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위를 상기 제1 촬영 범위로부터 상기 제2 촬영 범위로 변경하고,
    상기 제1 카메라를 통해 상기 제2 촬영 범위에 대한 상기 추가 이미지를 획득하도록 하는 전자 장치.
  8. 청구항 7에 있어서,
    상기 폴더블 전자 장치는,
    플렉스 모드로 동작하는 동안, 상기 폴딩 각도를 변경함으로써 상기 제1 카메라의 촬영 범위가 자동 변경되도록 하는 전자 장치.
  9. 청구항 1에 있어서,
    상기 카메라 모듈은 서로 다른 화각을 갖는 복수의 카메라들을 포함하고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치가:
    상기 복수의 카메라들 중 제1 화각을 갖는 제1 카메라가 활성화된 상태에서 상기 활성화된 제1 카메라를 통해 상기 제1 촬영 범위에 대한 상기 제1 이미지를 획득하고,
    상기 복수의 카메라들 중 제2 화각을 갖는 제2 카메라를 활성화하고, 상기 활성화된 제2 카메라를 통해 상기 제2 촬영 범위에 대한 상기 추가 이미지를 획득하도록 하는 전자 장치.
  10. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금:
    상기 제1 이미지에 대한 제1 이미지 정보를 상기 적어도 하나의 대상 객체를 식별하기 위해 훈련된 제1 인공지능 모델에 전달함으로써, 상기 제1 이미지에 포함된 복수의 객체들 중 상기 적어도 하나의 대상 객체에 대한 객체 관련 정보를 획득하도록 하고,
    상기 제1 이미지에 대한 상기 제1 이미지 정보 및 상기 추가 이미지에 대한 추가 이미지 정보를 상기 제2 이미지를 생성하기 위해 훈련된 제2 인공지능 모델에 전달함으로써, 상기 제1 이미지 및 상기 추가 이미지에 기반하여 생성된 상기 제2 이미지를 획득하도록 하는 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    카메라 모듈을 통해 제1 이미지를 획득하는 동작;
    상기 제1 이미지에 포함된 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작;
    상기 식별에 기반하여 상기 적어도 하나의 대상 객체를 추가 촬영하기 위해 상기 카메라 모듈의 촬영 범위를 제1 촬영 범위로부터 제2 촬영 범위로 조정하는 동작;
    상기 카메라 모듈을 통해 상기 적어도 하나의 대상 객체에 대한 추가 이미지를 획득하는 동작;
    상기 제1 이미지 및 상기 추가 이미지에 기반하여 기본 영역 및 상기 적어도 하나의 대상 객체와 관련된 확장 영역을 포함하는 제2 이미지를 생성하는 동작; 및
    디스플레이를 통해 상기 제2 이미지를 표시하는 동작을 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 적어도 하나의 대상 객체는,
    상기 제1 이미지에 포함된 상기 복수의 객체들 중 포커스된 제1 객체 주변의 제2 객체;
    상기 제1 이미지의 중심에 위치한 제1 객체 주변의 제2 객체;
    상기 제1 이미지의 외곽에 위치한 제2 객체;
    전체 형상 없이 부분 형상만을 포함하는 제2 객체; 또는
    상기 전자 장치의 위치 정보와 관련된 제2 객체 중 적어도 하나에 해당하는 방법.
  13. 청구항 11에 있어서,
    상기 적어도 하나의 대상 객체와 관련된 확장 영역은,
    상기 추가 이미지로부터 크롭되고 상기 적어도 하나의 대상 객체의 전체 형상 중 상기 제1 이미지에 포함되지 않은 부분 형상을 포함하는 실제 촬영 영역; 또는
    상기 추가 이미지 또는 상기 실제 촬영 영역 중 적어도 하나에 기반하여 생성된 가상 영역 중 적어도 하나를 포함하는 방법.
  14. 청구항 11에 있어서,
    상기 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작은,
    상기 제1 이미지로부터 상기 복수의 객체들을 검출하는 동작; 및
    상기 복수의 객체들 중 객체 완성도가 지정된 비율보다 낮은 객체를 추가 촬영이 필요한 대상 객체로서 식별하는 동작을 포함하는 방법.
  15. 청구항 11에 있어서,
    상기 복수의 객체들 중 추가 촬영이 필요한 적어도 하나의 대상 객체를 식별하는 동작은,
    상기 제1 이미지로부터 상기 복수의 객체들을 검출하는 동작;
    상기 복수의 객체들에 대해 가중치들을 할당하는 동작; 및
    상기 할당된 가중치들에 기반하여 상기 복수의 객체들 중 추가 촬영이 필요한 대상 객체를 식별하는 동작을 포함하는 방법.
PCT/KR2025/003281 2024-06-24 2025-03-14 카메라를 포함하는 전자 장치 및 그의 동작 방법 Pending WO2026005183A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2024-0081706 2024-06-24
KR20240081706 2024-06-24
KR1020240100965A KR20250180071A (ko) 2024-06-24 2024-07-30 카메라를 포함하는 전자 장치 및 그의 동작 방법
KR10-2024-0100965 2024-07-30

Publications (1)

Publication Number Publication Date
WO2026005183A1 true WO2026005183A1 (ko) 2026-01-02

Family

ID=98222294

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/003281 Pending WO2026005183A1 (ko) 2024-06-24 2025-03-14 카메라를 포함하는 전자 장치 및 그의 동작 방법

Country Status (1)

Country Link
WO (1) WO2026005183A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190008610A (ko) * 2017-07-17 2019-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20190124597A (ko) * 2018-04-26 2019-11-05 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20220006753A (ko) * 2020-07-09 2022-01-18 삼성전자주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
KR20220033755A (ko) * 2020-09-10 2022-03-17 주식회사 인에이블와우 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체
KR20230015341A (ko) * 2020-05-22 2023-01-31 퀄컴 인코포레이티드 자동 카메라 가이던스 및 설정 조정

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190008610A (ko) * 2017-07-17 2019-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20190124597A (ko) * 2018-04-26 2019-11-05 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20230015341A (ko) * 2020-05-22 2023-01-31 퀄컴 인코포레이티드 자동 카메라 가이던스 및 설정 조정
KR20220006753A (ko) * 2020-07-09 2022-01-18 삼성전자주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
KR20220033755A (ko) * 2020-09-10 2022-03-17 주식회사 인에이블와우 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체

Similar Documents

Publication Publication Date Title
WO2020032582A1 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object
WO2021112525A1 (en) Electronic device and method for controlling camera motion
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
WO2022203285A1 (ko) 이미지 안정화 어셈블리를 포함하는 카메라 모듈 및 상기 카메라 모듈을 포함하는 전자 장치
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022154388A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2023090833A1 (ko) 프리뷰 이미지를 제공하는 방법 및 그 전자 장치
WO2023033333A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2024242323A1 (ko) 오토 프레이밍 기능을 제공하는 방법 및 이를 지원하는 전자 장치
WO2024085493A1 (ko) 프리뷰 이미지를 표시하기 위한 전자 장치 및 방법
WO2026005183A1 (ko) 카메라를 포함하는 전자 장치 및 그의 동작 방법
WO2023063608A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2026010478A1 (ko) 전자 장치 및 이미지 촬영 방법
WO2025264093A1 (ko) 복수의 카메라들을 포함하는 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2026023930A1 (ko) 이미지를 저장하는 전자 장치 및 그 동작 방법
WO2026038658A1 (ko) 카메라를 포함하는 전자 장치, 이의 동작 방법, 및 기록 매체
WO2026014748A1 (ko) 전자 장치 및 그의 구동 방법
WO2025053496A1 (ko) 카메라를 포함하는 전자 장치, 이의 동작 방법, 및 기록 매체
WO2026095409A1 (ko) 추가 셔터 버튼을 제공하는 전자 장치, 그 제어 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2024090803A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2026043090A1 (ko) 이미지를 처리하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2025095395A1 (ko) 이미지에 효과를 적용하는 전자 장치, 이의 동작 방법, 및 기록 매체
WO2025150689A1 (ko) 콘텐트를 생성하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827147

Country of ref document: EP

Kind code of ref document: A1