WO2026005352A1 - 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법 - Google Patents

인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법

Info

Publication number
WO2026005352A1
WO2026005352A1 PCT/KR2025/008156 KR2025008156W WO2026005352A1 WO 2026005352 A1 WO2026005352 A1 WO 2026005352A1 KR 2025008156 W KR2025008156 W KR 2025008156W WO 2026005352 A1 WO2026005352 A1 WO 2026005352A1
Authority
WO
WIPO (PCT)
Prior art keywords
call
electronic device
information
caller
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/008156
Other languages
English (en)
French (fr)
Inventor
강형광
김문수
문지훈
손형진
유나겸
유혜미
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240099460A external-priority patent/KR20260002304A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026005352A1 publication Critical patent/WO2026005352A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events

Definitions

  • the present disclosure relates to an electronic device using an artificial intelligence model and a method of operating the electronic device.
  • Generative AI refers to an AI system that can generate new content based on input data.
  • Generative AI can create content in a variety of formats, including text, images, audio, and video.
  • generative AI can learn from vast amounts of data to understand specific patterns and structures, and then create new content based on this knowledge.
  • Generative AI can generate content in a variety of styles and themes tailored to user needs.
  • generative AI could be utilized in a variety of applications.
  • generative AI could be used to assist users in using electronic devices.
  • an electronic device may be provided.
  • the electronic device may include a display; a communication circuit; at least one processor including a processing circuit; and a memory including at least one storage medium storing instructions, wherein the instructions, when individually and/or collectively executed by the at least one processor, cause the electronic device to perform at least one operation.
  • the at least one operation may include displaying a screen corresponding to an incoming call through the display.
  • the screen may include a first graphical object associated with a call connection of the incoming call.
  • the at least one operation may include obtaining a first user input for the first graphical object.
  • the at least one operation may include modifying the first graphical object based on identifying that the first user input satisfies a first condition, and displaying the modified first graphical object through the display.
  • the modified first graphical object may be associated with a call connection using an artificial intelligence (AI) model.
  • the at least one operation may include generating a first message including information related to the caller's intent to make a call based on at least one application using the AI model.
  • the at least one application may include data associated with the caller.
  • the at least one operation may include displaying the first message through the display.
  • the at least one operation may include obtaining a second user input for the modified first graphic object while the first message is displayed.
  • the at least one operation may include establishing a call connection with the caller based on the second user input.
  • the at least one operation may include establishing a call connection with the caller without displaying the first message based on identifying that the first user input satisfies a second condition.
  • a method of an electronic device may be provided.
  • the method of the electronic device may perform at least one operation.
  • the at least one operation may include displaying a screen corresponding to an incoming call through the display.
  • the at least one operation may include obtaining a first user input for the first graphical object.
  • the at least one operation may include modifying the first graphical object based on identifying that the first user input satisfies a first condition, and displaying the modified first graphical object through the display.
  • the modified first graphical object may be associated with a call connection using an artificial intelligence (AI) model.
  • the at least one operation may include generating a first message including information related to a caller's call intent based on at least one application using the AI model.
  • AI artificial intelligence
  • the at least one application may include data associated with the caller.
  • the at least one operation may include displaying the first message through the display.
  • the at least one operation may include obtaining a second user input for the modified first graphic object while the first message is displayed.
  • the at least one operation may include establishing a call connection with the sender based on the second user input.
  • the at least one operation may include establishing a call connection with the sender without displaying the first message based on identifying that the first user input satisfies a second condition.
  • a storage medium storing at least one computer-readable instruction may be provided.
  • the at least one instruction when executed by at least a portion of at least one processor of an electronic device, may cause the electronic device to perform at least one operation.
  • the at least one operation may include displaying a screen corresponding to an incoming call through the display.
  • the at least one operation may include obtaining a first user input for the first graphical object.
  • the at least one operation may include modifying the first graphical object based on identifying that the first user input satisfies a first condition, and displaying the modified first graphical object through the display.
  • the modified first graphical object may be associated with a call connection using an artificial intelligence (AI) model.
  • AI artificial intelligence
  • the at least one operation may include generating a first message including information related to a caller's call intent based on at least one application using the AI model.
  • the at least one application may include data associated with the caller.
  • the at least one operation may include displaying the first message through the display.
  • the at least one operation may include obtaining a second user input for the modified first graphic object while the first message is being displayed.
  • the at least one operation may include establishing a call connection with the caller based on the second user input.
  • the at least one operation may include establishing a call connection with the caller without displaying the first message based on identifying that the first user input satisfies a second condition.
  • FIG. 1A is a block diagram of an electronic device within a network environment according to various embodiments of the present disclosure.
  • FIG. 1b is a diagram illustrating a generative artificial intelligence system according to one embodiment of the present disclosure.
  • FIG. 2A illustrates an exemplary screen displayed on an electronic device depending on the status of a call connection, according to one embodiment of the present disclosure.
  • FIG. 2b illustrates an exemplary screen displayed on an electronic device depending on the status of a call connection, according to one embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method for an electronic device to perform an operation according to a state of a call connection, according to one embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a method for an electronic device to perform an operation according to a state of a call connection using an AI model, according to one embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating an exemplary operation for an electronic device to select a call mode according to one embodiment of the present disclosure.
  • FIG. 6 illustrates an exemplary screen provided by an electronic device to perform a call connection according to a general call mode, according to one embodiment of the present disclosure.
  • FIGS. 7A and 7B illustrate exemplary screens provided by an electronic device to perform a call connection according to an AI assistant mode, according to one embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating operations before a call connection of an electronic device according to one embodiment of the present disclosure.
  • FIG. 9A illustrates user registration information and applications used to select a representative application according to one embodiment of the present disclosure.
  • FIG. 9b illustrates correlation map information between user registration information and applications used to select a representative application according to one embodiment of the present disclosure.
  • FIGS. 10A and 10B illustrate representative applications according to one embodiment of the present disclosure.
  • FIGS. 11A and 11B are diagrams illustrating an operation of an electronic device providing a first message in a pre-call connection state based on a representative application according to one embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an operation of an electronic device providing sender information based on a representative application according to one embodiment of the present disclosure.
  • FIG. 13 is a diagram for explaining an operation of an electronic device providing a first message in a pre-call connection state based on a representative application and a call reception time according to one embodiment of the present disclosure.
  • FIG. 14 is a diagram for explaining an operation of an electronic device providing a first message in various ways in a state before a call connection, according to one embodiment of the present disclosure.
  • FIG. 15 is a flowchart illustrating operations during a call connection of an electronic device according to one embodiment of the present disclosure.
  • FIG. 16 illustrates an exemplary screen including a second message in a call connection state according to one embodiment of the present disclosure.
  • FIG. 18 illustrates an exemplary screen including a third message in a call connection termination state according to one embodiment of the present disclosure.
  • FIG. 19 is a diagram for explaining an operation of updating class information of a sender according to one embodiment of the present disclosure.
  • FIG. 20 is a diagram illustrating an operation of providing a second message and additional information associated with the second message in a call connection state of an electronic device according to one embodiment of the present disclosure.
  • FIG. 21 is a diagram illustrating an operation of providing a second message and additional information associated with the second message in a call connection state of an electronic device according to one embodiment of the present disclosure.
  • FIG. 22 is a flowchart illustrating a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 1A is a block diagram of an electronic device within a network environment according to various embodiments of the present disclosure.
  • an electronic device (101) may communicate with an electronic device (102) via a first network (198) (e.g., a short-range wireless communication network), or may communicate with an electronic device (104) or a server (108) via a second network (199) (e.g., a long-range wireless communication network).
  • the electronic device (101) may communicate with the electronic device (104) via the server (108).
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may, for example, execute software (e.g., a program (140)) to control at least one other component (e.g., a hardware or software component) of the electronic device (101) connected to the processor (120) and perform various data processing or operations.
  • the processor (120) may store commands or data received from other components (e.g., a sensor module (176) or a communication module (190)) in a volatile memory (132), process the commands or data stored in the volatile memory (132), and store result data in a non-volatile memory (134).
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or an auxiliary processor (123) (e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together with the main processor (121).
  • a main processor (121) e.g., a central processing unit or an application processor
  • an auxiliary processor (123) e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the auxiliary processor (123) may be configured to use less power than the main processor (121) or to be specialized for a given function.
  • the auxiliary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a portion of functions or states associated with at least one component (e.g., a display module (160), a sensor module (176), or a communication module (190)) of the electronic device (101), for example, on behalf of the main processor (121) while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. This learning can be performed, for example, in the electronic device (101) itself where artificial intelligence is performed, or can be performed through a separate server (e.g., server (108)).
  • the learning algorithm can include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model can include a plurality of artificial neural network layers.
  • the artificial neural network can be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model can additionally or alternatively include a software structure.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or non-volatile memory (134).
  • the program (140) may be stored as software in the memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output audio signals to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes, such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. In one embodiment, the receiver can be implemented separately from the speaker or as part of the speaker.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can acquire sound through the input module (150), output sound through the sound output module (155), or an external electronic device (e.g., electronic device (102)) (e.g., speaker or headphone) directly or wirelessly connected to the electronic device (101).
  • an external electronic device e.g., electronic device (102)
  • speaker or headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect the operating status (e.g., power or temperature) of the electronic device (101) or the external environmental status (e.g., user status) and generate an electrical signal or data value corresponding to the detected status.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) with an external electronic device (e.g., the electronic device (102)).
  • the interface (177) may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module (179) can convert electrical signals into mechanical stimuli (e.g., vibration or movement) or electrical stimuli that a user can perceive through tactile or kinesthetic sensations.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and videos.
  • the camera module (180) may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • a battery (189) may power at least one component of the electronic device (101).
  • the battery (189) may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support the establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., electronic device (102), electronic device (104), or server (108)), and the performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module (190) may include a communication module (192) (e.g., a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (194) (e.g., a local area network (LAN) communication module, or a power line communication module).
  • a communication module (192) e.g., a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module (194) e.g., a local area network (LAN) communication module, or a power line communication module.
  • the corresponding communication module can communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g., a
  • the communication module (192) can verify or authenticate the electronic device (101) within a communication network such as the first network (198) or the second network (199) by using subscriber information (e.g., an international mobile subscriber identity (IMSI)) stored in the subscriber identification module (196).
  • subscriber information e.g., an international mobile subscriber identity (IMSI)
  • the communication module (192) can support 5G networks and next-generation communication technologies following the 4G network, such as NR access technology (new radio access technology).
  • NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the communication module (192) may support various technologies for securing performance in a high-frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the communication module (192) may support various requirements specified in the electronic device (101), an external electronic device (e.g., the electronic device (104)), or a network system (e.g., the second network (199)).
  • the communication module (192) may support a peak data rate (e.g., 20 Gbps or more) for eMBB realization, a loss coverage (e.g., 164 dB or less) for mMTC realization, or a U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip) for URLLC realization.
  • a peak data rate e.g., 20 Gbps or more
  • a loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip
  • the antenna module (197) can transmit or receive signals or power to or from an external device (e.g., an external electronic device).
  • the antenna module (197) may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (e.g., a PCB).
  • the antenna module (197) may include a plurality of antennas (e.g., an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network (198) or the second network (199), may be selected from the plurality of antennas, for example, by the communication module (190). A signal or power may be transmitted or received between the communication module (190) and an external electronic device via the at least one selected antenna.
  • another component e.g., a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC disposed on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) disposed on or adjacent a second side (e.g., a top side or a side side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • At least some of the above components can be interconnected and exchange signals (e.g., commands or data) with each other via a communication method between peripheral devices (e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface).
  • peripheral devices e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface).
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102 or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service itself, request one or more external electronic devices to perform the function or at least a part of the service.
  • One or more external electronic devices that receive the request may execute at least a portion of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may process the result as is or additionally and provide it as at least a portion of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used, for example.
  • the electronic device (101) may provide an ultra-low latency service by using distributed computing or mobile edge computing, for example.
  • the external electronic device (104) may include an Internet of Things (IoT) device.
  • the server (108) may be an intelligent server utilizing machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 1b is a diagram illustrating a generative artificial intelligence system according to one embodiment of the present disclosure.
  • a user query/response interface (110b) may receive input (e.g., user input or data acquired or generated by an electronic device (e.g., electronic device (101) of FIG. 1A).
  • the data acquired or generated by the electronic device may include, for example, image or video data generated using a processor (e.g., processor (120) of FIG. 1A), values transmitted via a sensor (e.g., sensor module (176) of FIG. 1A) or sensor hub (e.g., external illuminance, angle of the electronic device, temperature of the display (e.g., display module (160) of FIG. 1A) or electronic device, display size or expansion/reduction information, captured images of an image sensor).
  • a processor e.g., processor (120) of FIG. 1A
  • sensor e.g., sensor module (176) of FIG. 1A
  • sensor hub e.g., external illuminance, angle of the electronic device, temperature of the display (e.g., display module (160) of FIG
  • the user input may be in the form of natural language, touch coordinates or stylus coordinates acquired through a touch panel or digitizer included in the display, images, and/or videos, but is not limited thereto.
  • context information may also be transmitted when transmitting the user input.
  • the context information may be user input. It can include various additional information at the time point. For example, the additional information can include information on the application currently being used by the user or the user's location information.
  • the user input can also be in a mixed form of natural language, images, sounds, and context information as described above.
  • the user input can also be in a non-natural language form, such as selecting a menu.
  • the user query/response interface (110b) can output the results of the generative artificial intelligence system and/or the results of analyzing the input to the user.
  • the output can be in the form of natural language or a specific content, and can also be provided in the form of an action requested by the user.
  • the user query/response interface (110b) can output the results of the generative artificial intelligence system to the user.
  • the output can be in the form of natural language or a specific content, and can also be provided in the form of an action requested by the user.
  • the AI framework (140b) can receive user input and coordinate and control each component necessary to perform the user's intention based on the user's query.
  • the prompt design component (141b) can be used to generate prompts suitable for inputting user input into a large language model (LLM) or a large multimodal model (LMM).
  • the prompt design component (141b) can be an AI component that uses a machine learning algorithm or a neural network to develop better prompts over time.
  • the prompt design component (141b) can access a knowledge component including user preference data, a prompt library, and prompt examples based on the user input to generate prompts and transmit the generated prompts to the LLM or LMM.
  • the API/Plug-in management component (142b) can communicate with external information when there is a request for additional information when passing user input as input to the generative model.
  • the API/Plug-in management component (142b) can establish a channel for communicating with the outside of the AI Interface through the API, and can enable access to various data sources (e.g., knowledge storage (120b)) through the established channel.
  • the API/Plug-in management component (142b) can request the application/service component (130b) through the API for an action that ultimately performs the user input, rather than an intermediate result, when the action needs to be performed in the application or service.
  • Information obtained from the outside can be used to generate a prompt in the prompt design component (141b) together with the user input, or can be passed as input to the generative model.
  • the output modification component (also called a refiner component) (143b) can fine-tune the output from the generative model. For example, the output modification component (143b) can verify whether the content generated through the LLM and/or LMM is irrelevant, biased, or harmful. In addition, the output modification component (143b) can determine to what extent it matches the result desired by the user and, if necessary, perform additional processing. The output modification component (143b) can additionally configure and provide the user with hints to avoid unwanted output.
  • a generative AI model (160b) can generally refer to an artificial intelligence neural network that creates new types of data based on user input information.
  • a generative AI model (160b) can include an image-generating model and/or a language-generating model.
  • Representative models for generating images include a generative adversarial network (GAN) and a variational autoencoder (VAE), and examples include a VAE and a Diffusion-based generative model that uses a Transformer structure.
  • GAN generative adversarial network
  • VAE variational autoencoder
  • a language-generating model is a model trained to statistically output the most appropriate output based on input values, and representative examples include models such as CHAT-GPT 3 and CHAT-GPT 4.
  • LMMs large multimodal models
  • FIG. 2A illustrates an exemplary screen displayed on an electronic device depending on the status of a call connection, according to one embodiment of the present disclosure.
  • each screen of the embodiment of FIG. 2A may be a screen (or an interface corresponding to a call application) displayed when, for example, an electronic device (e.g., the electronic device (101) of FIG. 1A) operates in a normal call mode.
  • the normal call mode may correspond to a mode that provides a call (or call connection) without using an AI model.
  • the normal call mode may also be referred to as a normal mode, a first mode, or a first call mode.
  • part (a) of FIG. 2A illustrates an exemplary screen (210a) displayed on an electronic device before a call connection is performed.
  • the electronic device may display a screen (210a) including caller information (20a) about a caller of an incoming call in a state before a call connection is performed (pre-call state).
  • the caller information (20a) may include name information indicating the name of the registered caller, phone number information indicating the phone number of the registered caller, and/or image information including an image (e.g., a photo) of the registered caller.
  • the caller information (20a) may include only phone number information indicating the phone number of the unregistered caller.
  • part (b) of FIG. 2A illustrates an exemplary screen (220a) displayed on an electronic device from after a call connection is established until the call connection is terminated.
  • the electronic device can display a screen (220a) including caller information (20a) about the caller even in a state (in-call state) after a call connection is established but before the call connection is terminated, similar to the state before the call connection is established.
  • part (c) of FIG. 2A illustrates an exemplary screen (230a) displayed on an electronic device after a call connection has been terminated.
  • the electronic device can display a screen (230a) including caller information (20a) about the caller, similar to previous states, even in a state where a call connection has been terminated (a call termination state).
  • the electronic device can provide the user with only the same caller information (20a) for a registered caller as information associated with the caller through screens (210a, 220a, 230a), regardless of changes in the call connection status.
  • the user can check basic information (e.g., name information, phone number information, image information) about the registered caller, but cannot check other information associated with the caller (e.g., previous call history with the caller). Furthermore, the user cannot check any information other than phone number information for unregistered callers.
  • FIG. 2b illustrates an exemplary screen displayed on an electronic device depending on the status of a call connection, according to one embodiment of the present disclosure.
  • each screen of the embodiment of FIG. 2B may be a screen (or an interface corresponding to a call application) displayed when, for example, an electronic device (e.g., the electronic device (101) of FIG. 1A) operates in an AI assistant call mode.
  • the AI assistant call mode may correspond to a mode that provides a call (or a call connection) using an AI model.
  • the electronic device may provide information for assisting a call (or a call connection) generated using the AI model (e.g., the first message (31b), the second message (32b), the third message (33b) of FIG. 2B) and/or information about the caller (e.g., the caller information (20b) of FIG. 2B).
  • the AI assistant call mode may also be referred to as an AI assistant mode, an AI call mode, an AI mode, a second mode, or a second call mode.
  • the first message (31b) may be referred to as a first auxiliary message, a first call auxiliary message, or a first brief message
  • the second message (32b) may be referred to as a second auxiliary message, a second call auxiliary message, or a second brief message
  • the third message (33b) may be referred to as a third auxiliary message, a third call auxiliary message, or a third brief message.
  • part (a) of FIG. 2b illustrates an exemplary screen (210b) displayed on an electronic device before a call connection is made.
  • the electronic device may display a screen (210b) including caller information (20b) about the caller of the incoming call and/or a first message (31b) including information related to the incoming call, in a state before a call connection is made (pre-call state).
  • the electronic device may display a screen (210b) including caller information (20b) and/or a first message (31b) from after the incoming call is detected (or identified) until before the call connection is made.
  • the sender information (20b) may include name information indicating the name of the sender, phone number information indicating the phone number of the sender, and/or image information including an image (e.g., a photo) of the sender. If the sender is a registered sender, the electronic device may obtain the sender information (20b) using the registration information (e.g., name, phone number, image, address) of the registered sender registered in the electronic device. If the sender is an unregistered sender, the electronic device may obtain the information (e.g., name, image) of the unregistered sender through an external electronic device (e.g., a server) and obtain the sender information (20b) using the obtained information.
  • the registration information e.g., name, phone number, image, address
  • the first message (31b) may include information associated with the incoming call (e.g., information associated with the caller's intent to make the call).
  • the first message (31b) may include, but is not limited to, information indicating the caller's intent to make the call (e.g., predicted intent or predicted purpose of the call) and/or additional information associated with the call intent.
  • the first message (31b) may be used to assist a user (e.g., the called party) in deciding whether to connect the call to the incoming call.
  • the user can check in advance, prior to connecting the call, the caller's intent to make the call and/or additional information associated with the intent to make the call, and based on the checked information, determine whether to connect the call.
  • the electronic device may generate (or obtain) the first message (31b) using an AI model (e.g., the generative AI model (160b) of FIG. 1b).
  • an AI model e.g., the generative AI model (160b) of FIG. 1b.
  • part (b) of FIG. 2B illustrates an exemplary screen (220b) displayed on an electronic device from after a call connection is made until the call connection is terminated.
  • the electronic device may display a screen (220b) including caller information (20a) and/or a second message (32b) including information related to the content of a conversation during a call, in a state (during a call) before the call connection is terminated after the call connection is established.
  • the caller information (20b) displayed in the during a call state may be identical to the caller information (20b) displayed in the pre-call state.
  • the second message (32b) may include information related to the content of the conversation during the call.
  • the second message (32b) may include, but is not limited to, information regarding the topic of the conversation (e.g., the current conversation) between the recipient and the caller during the call, and/or additional information related to the topic of the conversation.
  • the second message (32b) may be used to help a user (e.g., the recipient) conduct a smooth conversation during the call. Through the second message (32b), the user can confirm the topic of the conversation and/or related information with the caller during the call, thereby conducting a smooth conversation with the caller.
  • the electronic device may generate (or obtain) a second message (32b) using the AI model.
  • part (c) of FIG. 2B illustrates an exemplary screen (230b) displayed on an electronic device after a call connection is terminated.
  • the electronic device may display a screen (230b) including caller information (20b) and/or a third message (33b) including information related to the entire contents of a call when the call connection is terminated (call terminated state).
  • the caller information (20b) displayed in the call terminated state may be identical to the caller information (20b) displayed before and/or during a call.
  • the third message (33b) may include information related to the entire content of the call.
  • the third message (33b) may include summary information that summarizes the entire content of the call by topic of conversation and/or selectable items (or selection options) related to each topic of conversation included in the summary information, but is not limited thereto.
  • the third message (33b) may be used to help a user (e.g., the recipient) reconstruct and save only the necessary portions of the call content.
  • the user can check the topics and related information of conversations with the caller during the call and select only the topics of the conversations that need to be saved.
  • the electronic device can reconstruct the content of the call using only the topics of the conversation selected by the user and store it on the electronic device.
  • the electronic device may generate (or obtain) a third message (33b) using an AI model.
  • the electronic device can provide the user with not only caller information (20b) regarding the caller registered in the electronic device through the screen (210b, 220b, 230b), but also additional information (or, assistant information for reporting the call) (e.g., first message (31b), second message (32b), third message (33b)) according to each status of the call connection.
  • additional information or, assistant information for reporting the call
  • the user can confirm the basic information of the caller and additionally confirm information through each message, thereby making the call smooth and efficient.
  • FIG. 3 is a flowchart illustrating a method for an electronic device to perform an operation according to a state of a call connection, according to one embodiment of the present disclosure.
  • an electronic device may receive a call.
  • the electronic device may detect (or identify) the incoming call.
  • the electronic device may display a screen (or interface) corresponding to the incoming call (e.g., the first screen (210b) of FIG. 2B).
  • the electronic device may identify (or select) an AI assistant call mode or a regular call mode. If the AI assistant call mode is identified, operation 330 may be performed. If the regular call mode is identified, operation 340 may be performed.
  • the electronic device can select either an AI assistant call mode or a regular call mode based on user input. Selection of a call mode based on user input is described below with reference to FIGS. 5, 6, 7A, and 7B.
  • the electronic device may select either the AI assistant call mode or the normal call mode based on default call mode setting information or the caller's class information (e.g., the first class information (1910) or the second class information (1920) of FIG. 19).
  • default call mode setting information e.g., the first class information (1910) or the second class information (1920) of FIG. 19.
  • the default call mode setting information may include information indicating the default call mode. For example, if the default call mode setting information indicates that the AI assistant call mode is the default call mode, in response to identifying an incoming call, the electronic device may set the call mode for the incoming call to the AI assistant call mode without separate user input.
  • default call mode setting information may be set for each caller. For example, if the default call mode setting information indicates that the AI assistant call mode for a specific caller is the default call mode, then in response to identifying an incoming call from that caller, the electronic device may set the call mode for that incoming call to the AI assistant call mode without separate user input.
  • the caller's class information may include default call mode setting information for the caller. For example, if the caller's class information includes default call mode setting information indicating that the default call mode for the caller is AI assistant call mode, the electronic device may set the call mode for the incoming call to AI assistant call mode without separate user input.
  • the electronic device in response to identifying that an AI assistant call mode is selected, may perform at least one operation for pre-call connection processing.
  • the operation for pre-call connection processing may also be referred to as a pre-call processing operation.
  • the electronic device may select at least one representative application associated with the sender from a plurality of applications installed in the electronic device using an AI model based on the sender's class information.
  • the representative application may be, for example, an application used by the electronic device to assist a call (or call connection) using the AI model.
  • the sender's class information may include, for example, at least one of information about the relationship with the sender, information about the intimacy with the sender, information about the sender's main interests, information about the most relevant applications, information about the conversation responsiveness, information about the frequency of contact, information about the sender's tendencies, or information about the adoption rate of AI assistant conversations.
  • the sender's class information may include information about the sender's It may include additional information about the default call mode settings.
  • the at least one pre-call processing operation may include a second operation (e.g., the second operation (412) of the pre-call state (410) of FIG. 4) for obtaining (or generating) information about the caller's intent to make the incoming call.
  • the electronic device may generate information about the caller's intent to make the call using an AI model based on the class information of the caller and/or at least one application (or data associated with the at least one application) identified through the first operation.
  • the electronic device may analyze the caller's intent to make the call using an AI model based on the class information of the caller and data associated with the at least one application identified through the first operation, thereby generating information about the caller's intent.
  • the at least one application (or data associated with the at least one application) may include, but is not limited to, data associated with the caller, such as data received from the caller of the incoming call via the at least one application.
  • the at least one pre-call processing operation may include a third operation (e.g., the third operation (413) of the pre-call state (410) of FIG. 4) that obtains (or generates) a first message (e.g., the first message (31b) of FIG. 2b) that includes information associated with the incoming call in the pre-call state (e.g., information associated with the call intent of the caller of the incoming call).
  • the electronic device may generate the first message using an AI model based on the information about the call intent of the caller obtained through the second operation.
  • the electronic device may generate the first message using an AI model based on at least one application (or data associated with at least one application) identified through the first operation.
  • At least one pre-call processing operation may include a fourth operation that provides the generated first message.
  • the electronic device may display a screen including the first message (e.g., the first message (31b) of FIG. 2B ) via a display.
  • the electronic device may perform a call connection.
  • the electronic device may perform a call connection in an AI assistant call mode based on user input. After the call connection is performed, the recipient and the caller may proceed with a call (or conversation) via the electronic device.
  • the electronic device may perform at least one operation for processing during a call connection after a call connection is established.
  • the operation for processing during a call connection may also be referred to as an operation for processing during a call.
  • At least one of the in-call processing operations may include a first operation analyzing the content of a conversation during the call (e.g., the first operation (421) of the in-call state (420) of FIG. 4 ).
  • the electronic device may analyze the content of a conversation during the call in real time using an AI model, thereby generating (or obtaining) information about the analyzed conversation content.
  • At least one of the in-call processing operations may include a second operation (e.g., the second operation (422) of the in-call state (420) of FIG. 4 ) that generates a second message (e.g., the second message (32b) of FIG. 2B ) that includes information related to the content of the in-call conversation.
  • the electronic device may analyze the content of the in-call conversation in real time using an AI model to generate the second message.
  • At least one of the call processing operations may include a third operation that provides the generated second message.
  • the electronic device may display a screen including the second message (e.g., the second message (32b) of FIG. 2B ) via a display.
  • the electronic device may terminate the call connection.
  • the electronic device may terminate the call connection in an AI assistant call mode based on user input. After the call connection is terminated, the recipient and the caller can no longer continue the call (or conversation) via the electronic device.
  • the electronic device may perform at least one operation for post-call processing after the call connection is terminated.
  • the operation for post-call processing may also be referred to as a post-call processing operation.
  • At least one post-call processing operation may include a first operation (e.g., a first operation (431) of a call end state (430) of FIG. 4) that analyzes at least a portion of the content (e.g., the entire content or a portion of the content) of the call and generates a third message (e.g., a third message (33b) of FIG. 2B) that includes information related to the content of the call.
  • the electronic device may analyze at least a portion of the content (e.g., the entire content) of the call using an AI model and generate the third message.
  • the electronic device may provide a screen including the generated third message.
  • the electronic device may display a screen including the third message (e.g., the third message (33b) of FIG. 2B) through a display.
  • the at least one post-call processing operation may include a second operation (e.g., the second operation (432) of the call end state (430) of FIG. 4 ) of reconstructing and storing the content of the call based on the topic of at least one conversation selected via the third message.
  • the electronic device may perform an operation of reconstructing and storing the content of the call based on the topic of at least one conversation selected via the third message using an AI model.
  • At least one post-call processing operation may include a third operation (e.g., the third operation (433) of the call end state (430) of FIG. 4 ) that generates or updates class information about the caller.
  • the electronic device may use the AI model to generate or update class information about the caller based on the entire content of the call or the reconstructed content of the call.
  • the electronic device may use the AI model to generate class information about the caller based on at least a portion of the content (e.g., the entire content) or the reconstructed content of the call.
  • the electronic device may use the AI model to update class information about the caller based on at least a portion of the content (e.g., the entire content) or the reconstructed content of the call.
  • the electronic device may terminate the AI assistant call mode.
  • the electronic device may perform a call connection in a normal call mode.
  • the electronic device may switch the call mode to an AI assistant call mode based on a user input (or selection). In this case, the electronic device may perform all or part of the operations corresponding to operation 322 described above.
  • the electronic device may terminate a call connection in a normal call mode.
  • the electronic device may display a screen (e.g., screens 210a, 220a, 230a of FIG. 2A) containing the same caller information (e.g., caller information (20a) of FIG. 2A) regardless of the state of the call connection.
  • a screen e.g., screens 210a, 220a, 230a of FIG. 2A
  • the same caller information e.g., caller information (20a) of FIG. 2A
  • FIG. 4 is a diagram illustrating a method for an electronic device to perform an operation according to a state of a call connection using an AI model, according to one embodiment of the present disclosure.
  • an electronic device may utilize an AI model (400) (e.g., the generative AI model (160b) of FIG. 1B).
  • the AI model (400) may be stored in the electronic device, or may be an AI model stored in an external electronic device (e.g., the server (108) of FIG. 1A).
  • the AI model (400) may be an AI model that has been trained in advance using training data.
  • the AI model (400) may also be referred to as an analysis model, an AI analysis model, or an LLM analysis model.
  • the operation of the electronic device inputting input data into the AI model (400) may include, for example, an operation of processing the input data using a user query/response interface (e.g., the user query/response interface (110b) of FIG. 1B) and/or an AI framework (e.g., the AI framework (140b) of FIG. 1B) and an operation of inputting the processed input data (e.g., prompt data) into the AI model (e.g., the generative AI model (160b) of FIG. 1B).
  • a user query/response interface e.g., the user query/response interface (110b) of FIG. 1B
  • an AI framework e.g., the AI framework (140b) of FIG. 1B
  • an operation of inputting the processed input data e.g., prompt data
  • the AI model e.g., the generative AI model (160b) of FIG. 1B
  • the operation of the electronic device obtaining output data from the AI model (400) may include, for example, an operation of processing output data output from the AI model (e.g., the generative AI model (160b) of FIG. 1B) using an AI framework (e.g., the AI framework (140b) of FIG. 1B) and/or a user query/response interface (e.g., the user query/response interface (110b) of FIG. 1B) and an operation of obtaining the processed output data.
  • an AI framework e.g., the AI framework (140b) of FIG. 1B
  • a user query/response interface e.g., the user query/response interface (110b) of FIG. 1B
  • Processing in the user query/response interface, AI framework, and AI model can refer to the description of Fig. 1b described above.
  • the electronic device in response to a call event (401) (e.g., an incoming call) being identified (or detected), the electronic device may enter a pre-call state (410).
  • a call event e.g., an incoming call
  • the electronic device may enter a pre-call state (410).
  • the electronic device may perform at least one pre-call processing operation (411, 412, 413) using the AI model (400).
  • At least one pre-call processing operation may include a first operation (411) for selecting (or identifying) at least one representative application, a second operation (412) for analyzing a caller's call intent to obtain call intent information, and/or a third operation (413) for generating a first message (e.g., the first message (31b) of FIG. 2b).
  • the first operation (411) may include, for example, an operation for selecting (or identifying) at least one application (e.g., a representative application) associated with the caller of the incoming call.
  • the second operation (412) may include, for example, an operation for obtaining information about the call intent of the caller of the incoming call.
  • the third operation (412) may include, for example, an operation for obtaining (or generating) a first message including information associated with the incoming call in a pre-call state.
  • the electronic device may input input data (e.g., prompt data) into an AI model (400) and obtain output data associated with a specific pre-call processing operation from the AI model (400).
  • the input data may include, for example, first input data (402) and/or second input data (e.g., a command or request) associated with the pre-call processing operation.
  • the first input data (402) may include on-device data and/or network data.
  • the electronic device may input input data including information about the sender (e.g., class information about the sender) into the first AI model (400), and obtain information about at least one representative application from the AI model (400) as output data associated with the first operation (411).
  • the representative application may be, for example, an application that is mainly used with the sender, but is not limited thereto.
  • the electronic device may select an application having a higher relevance to the sender than a specified standard (e.g., the application having the highest relevance to the sender) as the representative application based on information stored during user registration and/or information acquired during application use.
  • the information stored during user registration may include, for example, the user's name, nickname, phone number, email address, and/or work address, but is not limited thereto. Details regarding the selection of the representative application will be exemplarily described below with reference to FIG. 9B.
  • the electronic device may input input data (e.g., prompt data) including information about the caller (e.g., class information about the caller) and/or data associated with at least one representative application obtained through the first operation (411) into the AI model (400), and obtain information about the caller's call intent from the AI model (400) as output data associated with the second operation (412).
  • input data e.g., prompt data
  • information about the caller e.g., class information about the caller
  • obtain information about the caller's call intent from the AI model (400) as output data associated with the second operation (412).
  • the electronic device may input input data (e.g., prompt data) including information about the caller (e.g., class information of the caller) and/or information about the caller's intent obtained through the second operation (412) into the AI model (400), and obtain the first message from the AI model (400) as output data associated with the third operation (413).
  • input data e.g., prompt data
  • information about the caller e.g., class information of the caller
  • the electronic device may perform at least one call processing operation (421, 422) using the AI model (400).
  • At least one of the in-call processing operations may include a first operation (421) for analyzing the content of a conversation during the call and/or a second operation (422) for generating a second message (e.g., the second message (32b) of FIG. 2b).
  • the first operation (421) may, for example, include analyzing the content of a conversation during the call (e.g., analyzing in real time).
  • the second operation (421) may, for example, include generating a second message including information related to the content of the conversation during the call based on information about the analyzed conversation content.
  • the electronic device may input input data (e.g., prompt data) into an AI model (400) and obtain output data associated with a specific call processing operation from the AI model (400).
  • the input data may include, for example, first input data (403) and/or second input data (e.g., a command or request) associated with the call processing operation.
  • the first input data (403) may include speech data of a conversation during a call.
  • the electronic device may input input data (e.g., prompt data) including speech data into the first AI model (400), and obtain information on the analyzed conversation content from the AI model (400) as output data associated with the first action (421).
  • input data e.g., prompt data
  • the electronic device may input input data (e.g., prompt data) including speech data into the first AI model (400), and obtain information on the analyzed conversation content from the AI model (400) as output data associated with the first action (421).
  • the electronic device may input input data (e.g., prompt data) containing information about the analyzed conversation content obtained through the first operation (421) into the AI model (400), and obtain a second message from the AI model (400) as output data associated with the second operation (422).
  • input data e.g., prompt data
  • the electronic device may input input data (e.g., prompt data) containing information about the analyzed conversation content obtained through the first operation (421) into the AI model (400), and obtain a second message from the AI model (400) as output data associated with the second operation (422).
  • the electronic device may perform at least one post-call processing operation (431, 432, 433) using the AI model (400).
  • At least one post-call processing operation may include a first operation (431) for analyzing at least a portion of the content of the call (e.g., the entire content or a portion of the content) to generate a third message (e.g., the third message (33b) of FIG. 3b), a second operation (432) for reconstructing and storing the content of the call, and/or a third operation (433) for generating or updating class information about the caller.
  • the first operation (421) may include, for example, analyzing at least a portion of the content of the call (e.g., the entire content) to generate a third message that includes information associated with at least a portion of the content of the call (e.g., the entire content).
  • the second operation (432) may include, for example, reconstructing and storing the content of the call based on at least one conversation topic selected via the third message.
  • the third operation (433) may include, for example, generating or updating class information about the caller.
  • the electronic device may input input data (e.g., prompt data) into an AI model (400) and obtain output data associated with a specific call processing action from the AI model (400).
  • the input data may include input data (e.g., a command or request) associated with the post-call processing action.
  • the electronic device may input input data (e.g., prompt data) containing information about at least a portion of the content (e.g., the entire content) of a call into the AI model (400), and obtain a third message from the AI model (400) as output data associated with the first action (431).
  • input data e.g., prompt data
  • the electronic device may input input data (e.g., prompt data) containing information about at least a portion of the content (e.g., the entire content) of a call into the AI model (400), and obtain a third message from the AI model (400) as output data associated with the first action (431).
  • the electronic device may input input data (e.g., prompt data) including information about the topic of at least one conversation selected through a third message and information about the entire content of the call into the AI model (400), and obtain information about the reconstructed content of the call from the AI model (400) as output data associated with the second operation (432).
  • input data e.g., prompt data
  • the electronic device may input input data (e.g., prompt data) including information about the topic of at least one conversation selected through a third message and information about the entire content of the call into the AI model (400), and obtain information about the reconstructed content of the call from the AI model (400) as output data associated with the second operation (432).
  • the electronic device may input input data (e.g., prompt data) containing at least a portion of the content of the call (e.g., the entire content) or information about reconstructed call content into the AI model (400), and obtain the class information of the caller or the updated class information of the caller from the AI model (400) as output data associated with the third operation (433).
  • input data e.g., prompt data
  • the electronic device may input input data (e.g., prompt data) containing at least a portion of the content of the call (e.g., the entire content) or information about reconstructed call content into the AI model (400), and obtain the class information of the caller or the updated class information of the caller from the AI model (400) as output data associated with the third operation (433).
  • FIG. 5 is a flowchart illustrating an exemplary operation for an electronic device to select a call mode according to one embodiment of the present disclosure.
  • an electronic device may display a first screen corresponding to an incoming call.
  • the electronic device may display a screen corresponding to an incoming call in response to identifying (or detecting) an incoming call.
  • the screen corresponding to an incoming call may include, for example, the first screen (601) of FIG. 6 and the first screen (701) of FIG. 7A, which will be described below.
  • the electronic device may obtain a first user input for a first graphical object associated with a call connection of an incoming call included in the first screen.
  • the first graphical object may include, for example, the first graphical object (610) of FIG. 6 or the first graphical object (710) of FIG. 7A, which will be described below.
  • the electronic device may select a call mode as either a regular call mode or an AI assistant call mode based on a first user input. For example, the electronic device may select the AI assistant call mode as the call mode based on identifying that the first user input satisfies a first condition. For example, the electronic device may select the regular call mode as the call mode based on identifying that the first user input satisfies a second condition.
  • a screen (or user interface) provided for selecting a call mode and a screen (or user interface) provided differently depending on the selection of each call mode are exemplarily described.
  • FIG. 6 illustrates an exemplary screen provided by an electronic device to perform a call connection according to a general call mode, according to one embodiment of the present disclosure.
  • FIGS. 7A and 7B illustrate exemplary screens provided by an electronic device to perform a call connection according to an AI assistant mode, according to one embodiment of the present disclosure.
  • each of the screens displayed in FIGS. 6, 7a, and 7b corresponds to screens displayed before a call connection is performed (e.g., screens displayed in a state before a call connection).
  • an electronic device may display a first screen (601, 701) corresponding to an incoming call.
  • the electronic device may display the first screen (601, 701) in response to an incoming call being identified (or detected).
  • the first screen (601, 701) may include caller information (640, 740) (e.g., caller information (20b) of FIG. 2b), a first graphical object (610, 710) associated with a call connection, and/or a second graphical object (620, 720) associated with a call termination.
  • the second graphical object (620, 720) may be displayed in the same manner as that displayed on the first screen (601, 701) without change in each screen of FIGS. 6, 7a, and 7b.
  • the electronic device may select a call mode as either a normal call mode or an AI assistant call mode based on a first user input (U1) to a first graphic object (610, 710).
  • the electronic device may select a call mode as an AI assistant call mode.
  • the first condition may be, for example, a condition that must be satisfied in order for the call mode to be selected as the AI assistant call mode, and various types of conditions may be set as the first condition depending on the setting.
  • the electronic device may identify that the first user input (U1) satisfies the first condition when it is identified that the first user input (U1) corresponds to a swipe input in a first direction (D1).
  • a swipe input in the first direction (D1) may be referred to as a first swipe input.
  • the first swipe input may include a swipe input in a direction (D1) from outside the first area (711) of the first graphical object (710) to inside the first area (711), as illustrated in the second screen (702) of FIG. 7A.
  • the first swipe input may include a swipe input from, for example, a point outside the first area (711) of the first graphical object (710) and inside the second area (712) to a point within the first area (711).
  • the electronic device may provide an animation effect that gradually reduces the size of the second area (712) within the second screen (702) while a swipe input in the first direction (D1) (e.g., in the direction of the first area (711)) is received from the second area (712).
  • the electronic device may select the call mode as the normal call mode.
  • the second condition is, for example, a condition that must be satisfied in order for the call mode to be selected as the normal call mode, and various types of conditions may be set as the second condition depending on the setting.
  • the electronic device may identify that the first user input (U1) satisfies the second condition when it is identified that the first user input (U1) corresponds to a swipe input in the second direction (D2).
  • a swipe input in the second direction (D2) may be referred to as a second swipe input.
  • the second swipe input may include a swipe input in a direction (D2) from the inside of the second area (612) of the first graphical object (610) or the first area (611) to the outside of the second area (612), as illustrated in the second screen (602) of FIG. 6.
  • the second swipe input may include a swipe input from, for example, a point within the first area (611) or the second area (612) of the first graphical object (610) to a point outside the second area (612) or to a point within the area of the second graphical object (620).
  • the electronic device may perform a call connection (general call connection) according to the general call mode.
  • the electronic device may display, for example, a third screen (603) as illustrated in part (c) of FIG. 6.
  • the third screen (603) may include a modified first graphic object (610a) that indicates a call connection according to the general call mode.
  • the electronic device may display a third screen (703) based on identifying that the AI assistant call mode is selected.
  • the third screen (703) may include caller information (740), a modified first graphic object (710a), a second graphic object (720), a third graphic object (730) associated with a timer, and/or a first message (740a, 740b) including information associated with an incoming call (e.g., the first message (31b) of FIG. 2b).
  • the electronic device may modify the first graphical object (710) and display the modified first graphical object (710a) in place of the first graphical object (710) within the third screen (703).
  • the modified first graphical object (710a) may include a first icon (71) and a second icon (72) displayed within a first area (711).
  • the modified first graphical object (710a) may display the second icon (72) together with the first icon (71) within the first area (711). The user may confirm that the AI assistant call mode is selected as the call mode through the modified first graphical object (710a).
  • the third graphic object (730) may include a timer value.
  • the timer value may indicate the remaining time until a call connection according to the AI assistant call mode is automatically (or forcibly) performed without a user input (e.g., a second user input (U2)) (e.g., 10 seconds remaining on the third screen (703) and 9 seconds remaining on the fourth screen (704).
  • a user input e.g., a second user input (U2)
  • U2 second user input
  • the electronic device may automatically perform a call connection according to the AI assistant call mode even without a separate user input.
  • the electronic device may set a timer value based on the urgency of the call connection associated with the caller's intent to call. For example, the electronic device may set a lower timer value as the urgency of the call connection increases.
  • the first message (740a, 740b) may include, but is not limited to, information indicating the caller's call intent (e.g., predicted call intent) of the incoming call, and/or additional information associated with the call intent.
  • the first message (740a, 740b) may include information about the caller's predicted call intent (e.g., to check the progress of Project A) and a probability value (e.g., 82%) for the predicted call intent, such as "There is an 82% chance that you are calling to check the progress of Project A.”, and additional information associated with the predicted call intent, such as "Regarding Project A, schedule for meeting with the vendor: ...
  • Sample delivery date for demo production ... Key issues with the sample production vendor: "
  • the user may use a scroll to completely check the information included in the first message (740a, 740b).
  • a screen corresponding to the third screen (703) of FIG. 7A can be displayed immediately, as illustrated in part (a) of FIG. 7B, regardless of the first user input (U1).
  • a screen corresponding to the third screen (703) of FIG. 7A can be displayed immediately, without displaying screens such as the first screen (701) and the second screen (702) of FIG. 7A.
  • the operation of the embodiment of FIG. 7B can be performed, for example, when the default call mode is set to the AI assistant call mode in the default call setting information or the caller's class information.
  • the electronic device may perform a call connection according to the AI assistant call mode based on the second user input (U2) for the modified first graphic object (710a). For example, the electronic device may perform a call connection according to the AI assistant call mode based on identifying that the second user input (U2) satisfies the third condition. According to one embodiment, the electronic device may identify that the first user input (U2) satisfies the third condition when the second user input (U2) is identified as corresponding to a swipe input in a third direction (D3). In the present disclosure, the swipe input in the third direction (D3) may be referred to as a third swipe input.
  • the third swipe input may include a swipe input in a direction (D3) from the inside to the outside of the modified first graphical object (710a), as illustrated in the screen (704) of portion (d) of FIG. 7a and portion (b) of FIG.
  • the third swipe input may include a swipe input from, for example, a point within the inside area of the modified first graphical object (710a) to a point within the outside area of the modified first graphical object (710a) or to a point within the inside area of the second graphical object (720).
  • FIG. 8 is a flowchart illustrating operations before a call connection of an electronic device according to one embodiment of the present disclosure.
  • the pre-call connection operation of the embodiment of FIG. 8 may be an operation performed by an electronic device (e.g., the electronic device (101) of FIG. 1a) to generate and provide a first message (e.g., the first message (31b) of FIG. 2b, the first messages (740a, 740b) of FIGS. 7a and 7b) before a call connection is performed, for example, when the call mode is selected as the AI assistant call mode.
  • an electronic device e.g., the electronic device (101) of FIG. 1a
  • a first message e.g., the first message (31b) of FIG. 2b, the first messages (740a, 740b) of FIGS. 7a and 7b
  • the electronic device may select (or identify) at least one representative application associated with the sender of the incoming call.
  • the description of operation 810 may refer to the related descriptions of operation 411 of FIG. 4 and operation 330 of FIG. 3. Therefore, duplicate descriptions are omitted.
  • the electronic device may select at least one application from a plurality of applications based on information about the sender and correlation information (e.g., correlation map information of FIG. 9b) between a plurality of applications installed on the electronic device using an AI model.
  • correlation information e.g., correlation map information of FIG. 9b
  • the electronic device may obtain information about the caller's call intent based on data associated with at least one representative application.
  • the relevant descriptions of operation 412 of FIG. 4 and operation 330 of FIG. 3 may be made to the relevant descriptions of operation 412 of FIG. 4 and operation 330 of FIG. 3 . Therefore, any duplicate description will be omitted.
  • the electronic device may generate a first message (e.g., the first message (31b) of FIG. 2B , the first messages (740a, 740b) of FIGS. 7A and 7B ) including information associated with the received call (e.g., information associated with the caller's call intent) based on information about the caller's call intent.
  • a first message e.g., the first message (31b) of FIG. 2B , the first messages (740a, 740b) of FIGS. 7A and 7B
  • information associated with the received call e.g., information associated with the caller's call intent
  • the electronic device may display a screen including the generated first message.
  • operation 840 reference may be made to the related description of operation 330 of FIG. 3 . Therefore, a duplicate description will be omitted.
  • the operation of acquiring the caller's call intent based on data associated with the representative application and generating and displaying the first message including the call intent will be described below with reference to, for example, FIGS. 11A, 11B, and 13 .
  • FIG. 9A illustrates user registration information and applications used to select a representative application according to one embodiment of the present disclosure.
  • FIG. 9b illustrates correlation map information between user registration information and applications used to select a representative application according to one embodiment of the present disclosure.
  • the sender's user registration information (910) may include at least one of the sender's registration information (e.g., name, ID, phone number, email, address, workplace, relationship).
  • the sender's registration information e.g., name, ID, phone number, email, address, workplace, relationship.
  • the plurality of applications (920) may include, but are not limited to, a phone application, a mail application, a messenger application, a calendar application, a call recording application, and/or a gallery application.
  • the correlation map information may provide values of the correlation between each installed application (e.g., APP1 to APP6) (variable 2) installed on the electronic device and each user registration information (e.g., name, ID, phone number, email, job, relationship) (variable 1).
  • each installed application e.g., APP1 to APP6
  • each user registration information e.g., name, ID, phone number, email, job, relationship
  • the electronic device may select at least one representative application from a plurality of applications (920) installed in the electronic device based on the sender's user registration information (910) (or the sender's class information). For example, the electronic device may select at least one representative application from the plurality of applications (920) using correlation map information that provides information on the correlation between the sender's user registration information (910) and the plurality of applications (920) installed in the electronic device. For example, the electronic device may select at least one application among the plurality of applications (920) having a correlation value greater than or equal to a reference value (e.g., 0.5) as the representative application using the user registration information (910) and the correlation map information.
  • a reference value e.g., 0.5
  • the electronic device may input input data (e.g., prompt data) generated based on the user registration information (910), information on the plurality of applications (920) installed in the electronic device, and/or the correlation map information into an AI model (e.g., the AI model (400) of FIG. 4), and obtain information on the representative application as output data from the AI model.
  • input data e.g., prompt data
  • an AI model e.g., the AI model (400) of FIG. 4
  • FIGS. 10A and 10B illustrate representative applications according to one embodiment of the present disclosure.
  • the representative application may be a call application (1000a) (or a call recording application) that includes call recording data.
  • the call application (1000a) may include call recording data associated with a caller.
  • the call application (1000a) may record and store call recording data associated with a caller, along with the date and time of the call connection.
  • the call recording data associated with a caller may, for example, include data recording the content of each call made with the caller.
  • an electronic device may analyze call content associated with a caller based on call recording data associated with the caller included in a call application (1000a) using an AI model (e.g., the AI model (400) of FIG. 4), thereby identifying at least one major call content (or topic) (e.g., a project progress report).
  • the electronic device may analyze recent call content associated with the caller based on call recording data associated with the caller using the AI model, thereby obtaining at least one major call content.
  • the recent call content may include, for example, content of calls made within a specified period (e.g., one month) from the current point in time.
  • the representative application may be a mail application (1000b) that includes mail data.
  • the mail application (1000b) may include mail data associated with a sender.
  • the mail application (1000b) may record and store mail data associated with a sender along with the time the mail was received or sent.
  • the mail data associated with a sender may include, for example, data of mail (1010b) in which the sender or recipient of the mail is the sender of a call, and/or data of mail (1020b) in which the sender or recipient of the mail is not the sender of a call and includes content associated with the sender (or the sender's intent to make the call).
  • the electronic device may analyze mail content associated with the sender based on mail data associated with the sender included in the mail application (1000b) using an AI model to identify at least one major mail content (or topic) (e.g., a report on the progress of Project A) and/or content related to the at least one major mail content (e.g., matters related to the progress of Project A, e.g., a schedule for a company meeting, a sample delivery date for demo production, a major issue of a sample production company).
  • the electronic device may analyze recent mail content associated with the sender based on mail data associated with the sender using an AI model to obtain at least one major mail content and content related to the at least one major mail content.
  • the recent mail content may include, for example, content of mail within a specified period (e.g., one month) from the current time.
  • FIGS. 11A and 11B are diagrams illustrating an operation of an electronic device providing a first message in a pre-call connection state based on a representative application according to one embodiment of the present disclosure.
  • the representative application may be a messenger application (1100a).
  • the messenger application (1100a) may include message data associated with the sender (e.g., data of a message exchanged between the sender and recipient via the messenger application (1100a).
  • the message data may include multiple main message contents (or topics) (e.g., contents related to Jeju Island travel and accommodations (1110a) and contents related to bag purchases (1120a)).
  • an electronic device may analyze message content associated with a sender based on message data associated with the sender included in a messenger application (1100a) using an AI model (e.g., the AI model (400) of FIG. 4), obtain the call intent of the sender associated with at least one main message content, and generate a first message (1110b, 1120b) (e.g., the first message (31b) of FIG. 2b)) based on the call intent of the sender. For example, as illustrated in the first screen (1101a) of part (a) of FIG.
  • an AI model e.g., the AI model (400) of FIG. 4
  • the first message (1110b) may include information on multiple call intents (e.g., a call intent related to a Jeju Island travel itinerary with a probability of 64% and a call intent related to a bag purchase with a probability of 32%).
  • the first message (1120b) may further include additional information for each of the plurality of call intentions (e.g., additional information related to Jeju Island travel (e.g., information on good restaurants, information on recommended travel destinations) and/or additional information related to bag purchase (e.g., recommendations for seasonal trendy colors, guidance on lowest price purchase sites)).
  • the first message provided in the pre-call state may also provide information about multiple call intents and additional information for each of the multiple call intents.
  • FIG. 12 is a diagram illustrating an operation of an electronic device providing sender information based on a representative application according to one embodiment of the present disclosure.
  • the representative application may be a gallery application (1200).
  • the gallery application (1200) may include image data associated with the sender (e.g., data of a photo including the sender).
  • the image data may include data of a representative image (1210) associated with the sender (e.g., a photo taken together of the sender and recipient).
  • an electronic device may analyze image content associated with a sender based on image data associated with the sender included in a gallery application (1200) using an AI model (e.g., the AI model (400) of FIG. 4), to obtain at least one representative image, and generate or change sender information (1220) (e.g., sender information (20b) of FIG. 2B) based on the at least one representative image.
  • an AI model e.g., the AI model (400) of FIG. 4
  • sender information (1220) e.g., sender information (20b) of FIG. 2B
  • the sender information (1220) may include a representative image (1220) of the sender (e.g., a photo taken together of the sender and the recipient) to replace the basic image of the sender (e.g., an image displayed in the sender information (20b) of FIG. 2B).
  • a representative image (1220) of the sender e.g., a photo taken together of the sender and the recipient
  • the basic image of the sender e.g., an image displayed in the sender information (20b) of FIG. 2B.
  • the electronic device can change and provide the image of the sender included in the sender information by using the representative image of the sender acquired based on the sender and image data included in the representative application.
  • FIG. 13 is a diagram for explaining an operation of an electronic device providing a first message in a pre-call connection state based on a representative application and a call reception time according to one embodiment of the present disclosure.
  • the representative application may be a calendar application (1300a).
  • the calendar application (1300a) may include schedule data (e.g., data regarding a lunch appointment with the sender, a birthday of the recipient, a travel schedule with the sender, and a meeting schedule with the sender).
  • schedule data e.g., data regarding a lunch appointment with the sender, a birthday of the recipient, a travel schedule with the sender, and a meeting schedule with the sender.
  • the schedule data may include multiple major schedule contents (or topics) (e.g., a private schedule (e.g., a birthday of the recipient) and a public schedule (e.g., a business meeting schedule with the sender)).
  • an electronic device may obtain (or analyze) a caller's call intent based on schedule data and call reception time included in a calendar application (1300a) using an AI model (e.g., the AI model (400) of FIG. 4), and generate a first message (1310, 1320) (e.g., the first message (31b) of FIG. 2B)) based on the caller's call intent. For example, as illustrated in the first screen (1301) of part (b) of FIG.
  • an AI model e.g., the AI model (400) of FIG. 4
  • the electronic device may assign a higher weight to a public schedule than a private schedule among the main schedule contents, and generate a first message (1310) including information about a call intent related to a public schedule (e.g., a call intent related to a work meeting tomorrow with a probability of 64%).
  • a call intent related to a public schedule e.g., a call intent related to a work meeting tomorrow with a probability of 64%).
  • the electronic device may generate a first message (1320) that includes information about a call intention related to a private schedule (e.g., a call intention related to a birthday celebration tomorrow with a probability of 64%) by giving a higher weight to a private schedule than to a public schedule among the main schedule contents.
  • the electronic device can provide a first message including information about a call intent with a higher probability by giving a higher weight to one of the multiple topics (e.g., a private topic and a public topic) based on the call reception time.
  • FIG. 14 is a diagram for explaining an operation of an electronic device providing a first message in various ways in a state before a call connection, according to one embodiment of the present disclosure.
  • an electronic device may provide a first message (e.g., the first message (31b) of FIG. 2b) in various ways before a call is connected, using call reception-related information.
  • the call reception-related information may include, but is not limited to, information on the urgency of the call, information on the caller's disposition, and/or information on the call reception preference.
  • Information on the caller's disposition may be included, for example, in the caller's class information.
  • the electronic device may provide a first message (1410) briefly indicating information about the intent of the call.
  • the electronic device may provide a first message (1420) detailing information about the call intent.
  • the electronic device may provide a first message (1430) that includes a selection option (or item) that allows the recipient to reject the call connection or perform another method of call connection (e.g., a selection option to receive the call via text, or a selection option to leave a missed message).
  • a selection option or item
  • another method of call connection e.g., a selection option to receive the call via text, or a selection option to leave a missed message
  • FIG. 15 is a flowchart illustrating operations during a call connection of an electronic device according to one embodiment of the present disclosure.
  • FIG. 16 illustrates an exemplary screen including a second message in a call connection state according to one embodiment of the present disclosure.
  • the call connection operation of the embodiment of FIG. 15 may be an operation performed by an electronic device (e.g., the electronic device (101) of FIG. 1a) to generate and provide a second message (e.g., the second message (32b) of FIG. 2b) during a call connection, for example, when the call mode is selected as an AI assistant call mode.
  • an electronic device e.g., the electronic device (101) of FIG. 1a
  • a second message e.g., the second message (32b) of FIG. 2b
  • the electronic device may analyze the content of a conversation during a call.
  • the electronic device may analyze the content of the conversation using an AI model.
  • operation 1510 reference may be made to the related descriptions of operation 421 of FIG. 4 and operation 332 of FIG. 3 . Therefore, any duplicate description will be omitted.
  • the electronic device may generate a second message containing information related to the content of the conversation during the call based on the results of analyzing the content of the conversation during the call.
  • a description of operation 1520 reference may be made to the relevant descriptions of operation 422 of FIG. 4 and operation 332 of FIG. 3 . Therefore, any duplicate description will be omitted.
  • the electronic device may display the generated second message (or a screen including the second message).
  • the electronic device may display the generated second message (or a screen including the second message).
  • the second message (1610) may include information (1611) about the topic of the conversation during the call (e.g., conversation about a defect in Project A), summary information (1612) about the conversation content (e.g., link information about an email related to a defect in Project A, a self-defect rate value, details of a company's countermeasures), additional information (1613) related to the conversation content (e.g., description of ways to improve the defect rate), and/or additional prompts (1614).
  • the additional information (1613) may be obtained, for example, based on internal information and/or external information (e.g., network information) stored in the electronic device.
  • the second message (1620) may include information (1621) about the topic of conversation during the call (e.g., a conversation about pets), additional conversation topic recommendation information (1622) related to the conversation topic (e.g., additional conversation topic recommendations such as things your pet likes, sharing pictures of your pet), and/or additional prompts (1623).
  • the additional conversation topic recommendation information (1622) may be obtained based on external information (e.g., network information), for example.
  • These second messages (1610, 1620) may be used to help the recipient conduct a smooth conversation with the caller during a call.
  • FIG. 17 is a flowchart illustrating operations after a call connection is terminated in an electronic device according to one embodiment of the present disclosure.
  • FIG. 18 illustrates an exemplary screen including a third message in a call connection termination state according to one embodiment of the present disclosure.
  • FIG. 19 is a diagram for explaining an operation of updating class information of a sender according to one embodiment of the present disclosure.
  • the post-call termination operation of the embodiment of FIG. 17 may be an operation performed by an electronic device (e.g., the electronic device (101) of FIG. 1A) to generate and provide a third message (e.g., the third message (33b) of FIG. 2B) in a call connection termination state, for example, when the call mode is selected as an AI assistant call mode.
  • an electronic device e.g., the electronic device (101) of FIG. 1A
  • a third message e.g., the third message (33b) of FIG. 2B
  • the electronic device may analyze at least a portion (e.g., the entire content) of the call, and generate and provide a third message including information related to the content of the call.
  • the electronic device may terminate the call connection, and based on the termination of the call connection, may analyze the entire content of the call using an AI model.
  • the description of operation 1710 may refer to the related descriptions of operation 431 of FIG. 4 and operation 334 of FIG. 3 . Therefore, any duplicate description will be omitted.
  • the electronic device may reconstruct and store the content of the call based on the topic of at least one conversation selected via the third message.
  • operation 1720 For a description of operation 1720, reference may be made to the relevant descriptions of operation 432 of FIG. 4 and operation 334 of FIG. 3 . Therefore, any duplicate description will be omitted.
  • the third message (1810) may include summary information (1811a, 1811b, 1811c) including information summarizing the entire content of the call by topic of the conversation and/or selectable items (1812a, 1812b, 1813c) associated with each topic of the conversation included in the summary information.
  • the electronic device may select at least one conversation topic based on user input for selectable items (1811b, 1812b, 1813b) within the third message (1810). For example, as illustrated in the first screen (1801) of FIG. 18, if it is determined that a first selectable item (1812a) associated with summary information (1811a) regarding a first conversation topic (e.g., related to defect rate of Project A) and a second selectable item (1812b) associated with summary information (1811b) regarding a second conversation topic (e.g., related to lunch appointments tomorrow) are selected based on the user input, and a third selectable item (1812c) associated with summary information (1811c) regarding a third conversation topic (e.g., related to summer vacation plans) is not selected, the electronic device may identify that the first conversation topic and the second conversation topic are selected.
  • a first selectable item (1812a) associated with summary information (1811a) regarding a first conversation topic e.g., related to defect rate of Project A
  • the electronic device may store the selected topic content or exit without saving it based on user input for the first selection button (1813) (e.g., a button for saving the selection) and the second selection button (1814) (e.g., a button for exiting without saving). For example, if the first selection button (1813) is selected, the electronic device may reconstruct the call content based on the content of the selected first and second conversation topics, excluding the content of the unselected third conversation topic, and store the reconstructed call content.
  • the first selection button (1813) e.g., a button for saving the selection
  • the electronic device may reconstruct the call content based on the content of the selected first and second conversation topics, excluding the content of the unselected third conversation topic, and store the reconstructed call content.
  • the electronic device may create or update class information for the sender.
  • a description of operation 1730 may refer to the related description of operation 330 in FIG. 3 . Therefore, any duplicate description will be omitted.
  • the electronic device may update class information about the caller based on at least a portion of the call (e.g., the entire call) or reconstructed call content. For example, as illustrated in FIG. 19 , the electronic device may update the class information from the first class information (1910), which is the current class information of the caller in FIG. 19 , to the second class information (1920). For example, the electronic device may update the class information to the second class information (1920) by modifying at least one piece of information (e.g., intimacy information, conversation responsiveness information, contact frequency, assistant conversation adoption rate information) included in the first class information (1910).
  • the electronic device may update the class information from the first class information (1910), which is the current class information of the caller in FIG. 19 , to the second class information (1920).
  • the electronic device may update the class information to the second class information (1920) by modifying at least one piece of information (e.g., intimacy information, conversation responsiveness information, contact frequency, assistant conversation adoption rate information) included in the first class information (1910).
  • FIG. 20 is a diagram illustrating an operation of providing a second message and additional information associated with the second message in a call connection state of an electronic device according to one embodiment of the present disclosure.
  • an electronic device e.g., electronic device (101) of FIG. 1A
  • a display e.g., a foldable display
  • the electronic device when the electronic device is a foldable display device, the electronic device may display a second message (2010) (e.g., the second message (1610) of FIG. 16) through a first display area (2001) in a call connection state, and display additional information (2020) associated with the second message (2010) (e.g., basic data (e.g., raw data) used to generate information included in the second message (2010)) through a second display area (2002).
  • additional information (2020) associated with the second message (2010) e.g., basic data (e.g., raw data) used to generate information included in the second message (2010)
  • FIG. 20 by providing the second message (2010) and the additional information (2020) together using multiple display areas, a larger amount of information may be provided to the user compared to providing the second message (2010) and the additional information (2020) through a single display area.
  • FIG. 21 is a diagram illustrating an operation of providing a second message and additional information associated with the second message in a call connection state of an electronic device according to one embodiment of the present disclosure.
  • an electronic device may display a second message (2010) (e.g., the second message (2010) of FIG. 20) and/or additional information associated with the second message (2010) (e.g., the additional information (2020) of FIG. 20) through an external electronic device (2100) (e.g., a wearable device (e.g., a smart watch)) connected to the electronic device during a call connection state.
  • an external electronic device e.g., a wearable device (e.g., a smart watch)
  • a user of the electronic device typically conducts a call while the electronic device is positioned close to the ear. In this case, it is difficult for the user to check the display of the electronic device during the call.
  • the electronic device can enable the user to easily check the second message (2010) by processing (e.g., transmitting data of the second message (2010) to the external electronic device (2100)) so that the second message (2010) is displayed on an external electronic device (2100) whose display can be easily checked during a call.
  • processing e.g., transmitting data of the second message (2010) to the external electronic device (2100)
  • the second message (2010) is displayed on an external electronic device (2100) whose display can be easily checked during a call.
  • FIG. 22 is a flowchart illustrating a method of operating an electronic device according to one embodiment of the present disclosure.
  • an electronic device may display a screen corresponding to an incoming call (e.g., the first screen (701) of FIG. 7A) through a display.
  • the screen may include a first graphic object (e.g., the first graphic object (710) of FIG. 7A) associated with a call connection of the incoming call.
  • the electronic device may obtain a first user input for a first graphic object (e.g., the first user input (U1) of FIG. 7A).
  • a first graphic object e.g., the first user input (U1) of FIG. 7A.
  • the electronic device can identify whether the first user input satisfies the first condition or the second condition.
  • the electronic device may identify that the first user input satisfies the first condition when the first user input is identified as corresponding to a swipe input in a first direction (e.g., the first direction (D1) of FIG. 7A).
  • a swipe input in the first direction may be referred to as a first swipe input.
  • the first swipe input may include, for example, a swipe input in a direction (D1) from outside a first area (711) of a first graphical object (710) to inside the first area (711), as illustrated in the second screen (702) of FIG. 7A.
  • the electronic device may identify that the first user input satisfies the second condition when the first user input is identified as corresponding to a swipe input in a second direction (e.g., the second direction (D2) of FIG. 6 ).
  • the swipe input in the second direction may be referred to as a second swipe input.
  • the second swipe input may include, for example, a swipe input in the direction (D2) from the second area (612) of the first graphical object (610) or from the inside of the first area (611) to the outside of the second area (612), as illustrated in the second screen (602) of FIG. 6 .
  • the electronic device may modify the first graphical object and display the modified first graphical object (e.g., the modified first graphical object (710a) of FIG. 7A) through the display.
  • the modified first graphical object may be associated with a call connection using an artificial intelligence model (e.g., the AI model (400) of FIG. 4).
  • the electronic device may use the AI model to generate a first message (e.g., the first message (31b) of FIG. 2b) containing information related to the caller's intent to make a call based on at least one application (e.g., a representative application).
  • the at least one application may contain data associated with the caller.
  • the electronic device can display the first message through the display.
  • the electronic device may obtain a second user input (e.g., second user input (U2) of FIG. 7A) for the modified first graphic object while the first message is displayed.
  • a second user input e.g., second user input (U2) of FIG. 7A
  • the electronic device may establish a call connection with the caller based on the second user input.
  • the call connection in operation 2245 may be, for example, a call connection according to an AI assistant call mode.
  • the electronic device can establish a call connection with the caller without displaying the first message based on identifying that the first user input satisfies the second condition.
  • the information related to the call intent may include: call intent information indicating the caller's call intent and probability information indicating a probability value of the call intent.
  • the electronic device can identify the time of reception of the incoming call, and analyze the caller's call intent using the AI model based on the time of reception of the incoming call and data associated with the caller included in the at least one application.
  • the first graphic object and the modified first graphic object may include an icon indicating a call connection using the AI model.
  • the screen may include a second graphical object associated with a timer for performing a call connection using the AI model.
  • the electronic device may cause the call connection to be performed without the second user input.
  • the electronic device may set the value of the timer based on the urgency of the call connection associated with the caller's calling intent.
  • the electronic device may use the AI model to select at least one application from the plurality of applications based on correlation information between the sender's information and the plurality of applications installed on the electronic device.
  • the electronic device may analyze the content of the conversation using the AI model, generate a second message including information related to the content of the conversation using the AI model, and display the second message through the display.
  • the electronic device may terminate the call connection, analyze the entire content of the call using the AI model based on the termination of the call connection, display a third message providing selection options for topics of multiple conversations during the call through the display, obtain a third user input for the third message, reconstruct the content of the call based on the topic of at least one conversation selected based on the third user input, and store data of the content of the reconstructed call in the memory.
  • the electronic device may generate class information of the caller based on identifying that the call connection has been terminated.
  • the class information may include at least one of information about the relationship with the sender, information about the intimacy with the sender, information about the main interests of the sender, information about the most relevant applications, information about the conversation response rate, information about the frequency of contact, information about the tendencies of the sender, or information about the adoption rate of AI assistant conversation.
  • first,” “second,” or “first” or “second” may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first component
  • another e.g., a second component
  • functionally e.g., a third component
  • module used in the embodiments of this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integral component, or a minimum unit or part of such a component that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • One embodiment of the present document may be implemented as software (e.g., a program (140)) including one or more instructions stored in a storage medium (e.g., an internal memory (136) or an external memory (138)) readable by a machine (e.g., an electronic device (101)).
  • a processor e.g., a processor (120)
  • the machine e.g., an electronic device (101)
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' simply means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and the term does not distinguish between cases where data is stored semi-permanently or temporarily on the storage medium.
  • the method according to one embodiment disclosed in this document may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) via an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or an intermediary server.
  • each component e.g., a module or a program of the above-described components may include one or more entities, and some of the entities may be separated and arranged in other components.
  • one or more components or operations of the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration.
  • the operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Telephone Function (AREA)

Abstract

본 개시는 AI 모델을 이용하는 전자 장치가 제공될 수 있다. 전자 장치는 디스플레이를 통해 수신 통화에 대응하는 화면을 디스플레이 하고, 화면은 수신 통화의 통화 연결과 연관된 제1 그래픽 객체를 포함하며, 제1 그래픽 객체에 대한 제1 사용자 입력을 획득하고, 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여 제1 그래픽 객체를 수정하여, 수정된 제1 그래픽 객체를 디스플레이를 통해 디스플레이 하고, 수정된 제1 그래픽 객체는 인공 지능 모델을 이용한 통화 연결과 연관되며, AI 모델을 이용하여, 적어도 하나의 어플리케이션을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지를 생성하고, 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함하고, 디스플레이를 통해 상기 제1 메시지를 디스플레이하고, 제1 메시지가 디스플레이 되는 동안, 수정된 제1 그래픽 객체에 대한 제2 사용자 입력을 획득하고, 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행하고, 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행할 수 있다.

Description

인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법
본 개시는 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.
생성형 AI는 입력 데이터를 기반으로 새로운 콘텐츠를 생성할 수 있는 인공지능 시스템에 해당한다. 생성형 AI는 텍스트, 이미지, 음성, 비디오와 같은 다양한 형태의 콘텐츠를 만들 수 있다. 예를 들면, 생성형 AI는 방대한 양의 데이터를 학습하여 특정 패턴과 구조를 이해하며, 학습된 지식에 기초하여 새로운 콘텐츠를 만들 수 있다. 생성형 AI는 사용자의 요구에 맞추어 다양한 스타일과 주제로 콘텐츠를 생성할 수 있다.
이러한 생성형 AI는 다양한 응용 분야에 활용될 수 있다. 예를 들면, 전자 장치에서 사용자의 사용을 보조하기 위해 생성형 AI가 사용될 수 있다.
상술한 정보는 본 문서에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로서 제공될 수 있다. 상술한 내용 중 어느 것도 본 문서와 관련된 종래 기술(prior art)로서 주장 되거나, 종래 기술을 결정하는데 사용될 수 없다.
일 실시예에 따라서, 전자 장치가 제공될 수 있다. 전자 장치는 디스플레이; 통신 회로; 프로세싱 회로를 포함하는 적어도 하나의 프로세서; 및 명령어들을 저장하는 적어도 하나의 저장 매체를 포함하는 메모리를 포함하며, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집단적으로 실행 시, 상기 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 야기할 수 있다. 상기 적어도 하나의 동작은 상기 디스플레이를 통해 수신 통화(incoming call)에 대응하는 화면(screen)을 디스플레이 하는 동작을 포함할 수 있다. 상기 화면은 상기 수신 통화의 통화 연결과 연관된 제1 그래픽 객체(graphical object)를 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 그래픽 객체에 대한 제1 사용자 입력을 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여 상기 제1 그래픽 객체를 수정하여, 수정된 제1 그래픽 객체를 상기 디스플레이를 통해 디스플레이 하는 동작을 포함할 수 있다. 상기 수정된 제1 그래픽 객체는 인공 지능(artificial intelligence, AI) 모델을 이용한 통화 연결과 연관될 수 있다. 상기 적어도 하나의 동작은 상기 AI 모델을 이용하여, 적어도 하나의 어플리케이션을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지를 생성하는 동작을 포함할 수 있다. 상기 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함할 수 있다. 상기 적어도 하나의 동작은 상기 디스플레이를 통해 상기 제1 메시지를 디스플레이하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 메시지가 디스플레이 되는 동안, 상기 수정된 제1 그래픽 객체에 대한 제2 사용자 입력을 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 상기 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행하는 동작을 포함할 수 있다.
일 실시예에 따라서, 전자 장치의 방법이 제공될 수 있다. 전자 장치의 방법은 적어도 하나의 동작을 수행할 수 있다. 상기 적어도 하나의 동작은 상기 디스플레이를 통해 수신 통화에 대응하는 화면을 디스플레이 하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 그래픽 객체에 대한 제1 사용자 입력을 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여 상기 제1 그래픽 객체를 수정하여, 수정된 제1 그래픽 객체를 상기 디스플레이를 통해 디스플레이 하는 동작을 포함할 수 있다. 상기 수정된 제1 그래픽 객체는 인공 지능(artificial intelligence, AI) 모델을 이용한 통화 연결과 연관될 수 있다. 상기 적어도 하나의 동작은 상기 AI 모델을 이용하여, 적어도 하나의 어플리케이션을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지를 생성하는 동작을 포함할 수 있다. 상기 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함할 수 있다. 상기 적어도 하나의 동작은 상기 디스플레이를 통해 상기 제1 메시지를 디스플레이하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 메시지가 디스플레이 되는 동안, 상기 수정된 제1 그래픽 객체에 대한 제2 사용자 입력을 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 상기 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행하는 동작을 포함할 수 있다.
일 실시예에 따라서, 컴퓨터로 독출 가능한 적어도 하나의 인스트럭션을 저장하는 저장 매체가 제공될 수 있다. 상기 적어도 하나의 인스트럭션은 전자 장치의 적어도 하나의 프로세서의 적어도 일부에 의하여 실행 시에, 상기 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 야기할 수 있다. 상기 적어도 하나의 동작은 상기 디스플레이를 통해 수신 통화에 대응하는 화면을 디스플레이 하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 그래픽 객체에 대한 제1 사용자 입력을 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여 상기 제1 그래픽 객체를 수정하여, 수정된 제1 그래픽 객체를 상기 디스플레이를 통해 디스플레이 하는 동작을 포함할 수 있다. 상기 수정된 제1 그래픽 객체는 인공 지능(artificial intelligence, AI) 모델을 이용한 통화 연결과 연관될 수 있다. 상기 적어도 하나의 동작은 상기 AI 모델을 이용하여, 적어도 하나의 어플리케이션을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지를 생성하는 동작을 포함할 수 있다. 상기 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함할 수 있다. 상기 적어도 하나의 동작은 상기 디스플레이를 통해 상기 제1 메시지를 디스플레이하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 메시지가 디스플레이 되는 동안, 상기 수정된 제1 그래픽 객체에 대한 제2 사용자 입력을 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행하는 동작을 포함할 수 있다. 상기 적어도 하나의 동작은 상기 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 상기 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행하는 동작을 포함할 수 있다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1a는 본 개시의 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1b는 본 개시의 일 실시예에 따른, 생성형 인공지능 시스템을 설명하기 위한 도면이다.
도 2a는 본 개시의 일 실시예에 따른, 통화 연결의 상태에 따라 전자 장치에 표시되는 예시적인 화면을 도시한다.
도 2b는 본 개시의 일 실시예에 따른, 통화 연결의 상태에 따라 전자 장치에 표시되는 예시적인 화면을 도시한다.
도 3은 본 개시의 일 실시예에 따른, 전자 장치가 통화 연결의 상태에 따른 동작을 수행하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른, 전자 장치가 AI 모델을 이용하여 통화 연결의 상태에 따라 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른, 전자 장치가 통화 모드를 선택하기 위한 예시적인 동작을 도시하는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른, 전자 장치가 일반 통화 모드에 따른 통화 연결을 수행하기 위해 제공하는 예시적인 화면을 도시한다.
도 7a 및 7b는 본 개시의 일 실시예에 따른, 전자 장치가 AI 어시스턴트 모드에 따른 통화 연결을 수행하기 위해 제공하는 예시적인 화면을 도시한다.
도 8는 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 전 동작을 도시하는 흐름도이다.
도 9a는 본 개시의 일 실시예에 따른, 대표 어플리케이션을 선택하기 위해 사용되는 사용자 등록 정보 및 어플리케이션들을 예시한다.
도 9b는 본 개시의 일 실시예에 따른, 대표 어플리케이션을 선택하기 위해 사용되는 사용자 등록 정보와 어플리케이션 간의 상관도 지도(correlation map) 정보를 예시한다.
도 10a 및 10b는 본 개시의 일 실시예에 따른, 대표 어플리케이션을 예시한다.
도 11a 및 11b는 본 개시의 일 실시예에 따른, 전자 장치가 대표 어플리케이션에 기초하여 통화 연결 전 상태에서 제1 메시지를 제공하는 동작을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른, 전자 장치가 대표 어플리케이션에 기초하여 발신자 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른, 전자 장치가 대표 어플리케이션 및 통화 수신 시간에 기초하여 통화 연결 전 상태에서 제1 메시지를 제공하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른, 전자 장치가 통화 연결 전 상태에서 제1 메시지를 다양한 방식으로 제공하는 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 중 동작을 도시하는 흐름도이다.
도 16은 본 개시의 일 실시예에 따른, 통화 연결 중 상태에서 제2 메시지를 포함하는 예시적인 화면을 도시한다.
도 17는 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 종료 후 동작을 도시하는 흐름도이다.
도 18은 본 개시의 일 실시예에 따른, 통화 연결 종료 상태에서 제3 메시지를 포함하는 예시적인 화면을 도시한다.
도 19는 본 개시의 일 실시예에 따른, 발신자의 클래스 정보를 업데이트하는 동작을 설명하기 위한 도면이다.
도 20은 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 중 상태에서 제2 메시지 및 제2 메시지와 연관된 추가 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 21은 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 중 상태에서 제2 메시지 및 제2 메시지와 연관된 추가 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 22는 본 개시의 일 실시예에 따른, 전자 장치의 동작 방법을 도시하는 흐름도이다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
도 1a는 본 개시의 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1a를 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface)을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 일 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 1b는 본 개시의 일 실시예에 따른, 생성형 인공지능 시스템을 설명하기 위한 도면이다.
일 실시예에 따라서, 사용자 쿼리/응답 인터페이스(user query/response interface)(110b)는 입력(예: 사용자 입력 또는 전자 장치(예: 도 1a의 전자 장치(101)이 획득하거나 생성한 데이터)을 수신할 수 있다. 전자 장치가 획득하거나 생성한 데이터는 예컨대, 프로세서(예: 도 1a의 프로세서(120))를 이용하여 생성한 이미지나 동영상 데이터, 센서(예: 도 1a의 센서 모듈(176))나 센서 허브를 통해 전달받은 값(예: 외부 조도, 전자 장치의 각도, 디스플레이(예: 도 1a의 디스플레이 모듈(160))나 전자 장치의 온도, 디스플레이 크기나 확장/축소 정보, 이미지 센서의 촬영 영상)을 포함할 수 있다. 사용자의 입력은 자연어, 디스플레이에 포함된 터치 패널 또는 디지타이저 등을 통해 획득한 터치 좌표 또는 스타일러스 좌표, 이미지 및/또는 동영상과 같은 형태일 수 있으나, 제한은 없다. 또한 사용자의 입력의 전송 시에, 컨텍스트(context) 정보도 같이 전송 될 수 있다. 컨텍스트 정보는 사용자 입력 시점에서의 다양한 부가 정보들을 포함 할 수 있다. 예를 들어, 부가 정보들은, 사용자가 현재 사용중인 어플리케이션 정보 또는 사용자의 위치정보 등을 포함할 수 있다. 또한, 사용자 입력은 상술한 자연어, 이미지, 소리, 컨텍스트 정보가 혼합된 형태도 가능할 수 있다. 또한, 사용자 입력은 메뉴를 선택 하는 등의 비자연어적인 형태도 가능 할 수 있다. 사용자 쿼리/응답 인터페이스(110b)는 사용자에게 생성형 인공 지능 시스템의 결과물 및/또는 입력을 분석한 결과를 출력 할 수 있다. 출력물은 자연어 형태나 특정 컨텐츠 형태가 가능하며 사용자가 요청하는 액션 등의 형태로 제공되는 것도 가능할 수 있다. 사용자 쿼리/응답 인터페이스(110b)는 사용자에게 생성형 인공 지능 시스템의 결과물을 출력 할 수 있다. 출력물은 자연어 형태나 특정 컨텐츠 형태가 가능하며 사용자가 요청하는 액션 등의 형태로 제공되는 것도 가능할 수 있다.
AI 프레임 워크(framework)(140b)는 사용자의 입력을 수신하고, 사용자의 질의에 기초하여 사용자의 의도를 수행하기 위해 필요한 각각의 컴포넌트들을 조율하고 제어 할 수 있다.
사용자 쿼리/응답 인터페이스(110b)에서 수신된 사용자 입력은 프롬프트 디자인 컨포넌트(prompt design component)(141b)로 전송될 수 있다. 프롬프트 디자인 컨포넌트(141b)는 사용자 입력을 LLM(large language model) 또는 LMM(large multimodal model)에 입력하기에 적합한 프롬프트를 생성하는데 사용될 수 있다. 프롬프트 디자인 컨포넌트(141b)는 시간이 지남에 따라 더 나은 프롬프트를 개발하기 위해 머신 러닝 알고리즘 또는 신경망을 사용하는 AI 컴포넌트일 수 있다. 프롬프트 디자인 컨포넌트(141b)는 사용자 입력에 기초하여 사용자 선호도 데이터, 프롬프트 라이브러리, 및 프롬프트 예제를 포함하는 지식 컴포넌트(knowledge component)에 액세스하여 프롬프트를 생성하고, 생성한 프롬프트를 LLM 또는 LMM 에 전달 할 수 있다.
API/플러그 인 관리 컴포넌트(API/Plug-in management component)(142b)는 사용자 입력을 생성형 모델의 입력으로 전달할 때 추가정보에 대한 요청이 있는 경우 외부 정보와 통신하는 역할을 수행할 수 있다. API/플러그 인 관리 컴포넌트(142b)는 API를 통해 AI Interface외부와 통신할 수 있는 채널을 구축하며, 구축한 채널을 통해 다양한 data source(예: 지식 저장소(120b))에 접근할 수 있도록 할 수 있다. 또한 API/플러그 인 관리 컴포넌트(142b)는 중간 결과가 아니라 최종적으로 사용자의 입력을 수행하는 액션을 어플리케이션(application) 또는 서비스에서 수행해야 하는 경우 해당 액션을 API를 통해 어플리케이션/서비스 컴포넌트(130b)에 요청할 수 있다. 외부로부터 확보한 정보는 사용자 입력과 함께 프롬프트 디자인 컴포넌트(141b)에서 프롬프트를 생성하는데 사용 될 수 도 있고 생성형 모델의 입력으로 전달될 수도 있다.
출력 조정 컴포넌트(output modification component)(또는, refiner component로도 명명 가능함)(143b)는 생성형 모델에서 출력하는 결과를 세부적으로 튜닝 할 수 있다. 예를 출력 조정 컴포넌트(143b)는 LLM 및/또는 LMM을 통해 생성되는 컨텐츠가 관련성이 없는 것은 아닌지, 편향적인 내용을 포함하지 않는지, 또는 유해한 내용을 포함하고 있지 않은지를 검증 할 수 있다. 또한 출력 조정 컴포넌트(143b)는 사용자가 원하는 결과물에 어느정도 일치하는지를 판단하여 만약 추가적인 과정이 필요한 경우 해당 과정을 진행 하는 것도 가능 하다. 출력 조정 컴포넌트(143b)는 추가적으로 원치 않은 출력을 피하기 위한 힌트를 구성하여 사용자에게 제공 할 수 있다.
생성형 AI 모델(generative AI model)(160b)은 일반적으로 사용자 입력 정보에 의존해 새로운 형태의 데이터를 만들어내는 인공지능 신경망을 의미할 수 있다. 생성형 AI 모델(160b)은 이미지를 생성하는 모델 및/또는 언어를 생성하는 모델을 포함할 수 있다. 이미지를 생성하는 모델은 대표적으로 GAN(generative adversarial network), VAE(variational auto encoder)가 있으며, VAE와 Transformer구조를 사용하는 Diffusion기반 생성형 모델을 예로 들 수 있다. 언어를 생성하는 모델은 입력값을 기반으로 통계학적으로 가장 적절한 출력값을 출력하도록 학습된 모델로 대표적으로 CHAT-GPT 3, CHAT-GPT 4와 같은 모델을 예로 들 수 있다. 또한 문자, 이미지, 음성 등 다양한 형태의 데이터 입력을 인식하고 이에 상응하는 새로운 데이터를 생성할 수 있는 LMM(large multimodal models)도 있다.
도 2a는 본 개시의 일 실시예에 따른, 통화 연결의 상태에 따라 전자 장치에 표시되는 예시적인 화면을 도시한다.
일 실시예에 따르면, 도 2a의 실시예의 각 화면은, 예컨대, 전자 장치(예: 도 1a의 전자 장치(101))가 일반 통화 모드로 동작하는 경우에 표시(display)되는 화면(또는, 통화 어플리케이션에 대응하는 인터페이스)일 수 있다. 일 실시예에 따르면, 일반 통화 모드는 AI 모델을 이용하지 않고, 통화(또는, 통화 연결)을 제공하는 모드에 해당할 수 있다. 본 개시에서, 일반 통화 모드는 일반 모드, 제1 모드, 제1 통화 모드로 지칭될 수도 있다.
일 실시예에 따르면, 도 2a의 (a) 부분은, 통화 연결(call connection)이 수행되기 이전에 전자 장치에 표시되는 예시적인 화면(210a)을 도시한다. 도 2a의 (a) 부분을 참조하면, 전자 장치는 통화 연결이 수행되기 이전 상태(통화 전 상태)에서, 수신 통화(incoming call)의 발신자에 대한 발신자 정보(20a)를 포함하는 화면(210a)을 표시할 수 있다. 발신자가 전자 장치에 등록된 발신자(이하, 등록 발신자로 칭함)인 경우, 발신자 정보(20a)는 등록 발신자의 이름을 지시하는 이름 정보, 등록 발신자의 전화 번호를 지시하는 전화 번호 정보 및/또는 등록 발신자의 이미지(예: 사진)를 포함하는 이미지 정보를 포함할 수 있다. 발신자가 전자 장치에 등록되지 않은 발신자(이하, 미등록 발신자로 칭함)인 경우, 발신자 정보(20a)는 미등록 발신자의 전화 번호를 지시하는 전화 번호 정보만을 포함할 수 있다.
일 실시예에 따르면, 도 2a의 (b) 부분은, 통화 연결이 수행된 이후부터 통화 연결이 종료되기 전까지, 전자 장치에 표시되는 예시적인 화면(220a)을 도시한다. 도 2a의 (b) 부분을 참조하면, 전자 장치는 통화 연결이 수행된 이후 통화 연결이 종료되기 전인 상태(통화 중 상태)에서도, 통화 연결이 수행되기 이전 상태와 마찬가지로, 발신자에 대한 발신자 정보(20a)를 포함하는 화면(220a)을 표시할 수 있다.
일 실시예에 따르면, 도 2a의 (c) 부분은, 통화 연결이 종료된 이후, 전자 장치에 표시되는 예시적인 화면(230a)을 도시한다. 도 2a의 (c) 부분을 참조하면, 전자 장치는 통화 연결이 종료된 상태(통화 종료 상태)에서도, 이전 상태들과 마찬가지로, 발신자에 대한 발신자 정보(20a)를 포함하는 화면(230a)을 표시할 수 있다.
상술한 도 2a의 실시예에 따르면, 전자 장치는 통화 연결의 상태의 변경과 무관하게, 화면(210a,220a,230a)을 통해 등록 발신자에 대한 동일한 발신자 정보(20a)만을 발신자와 연관된 정보로서 사용자에게 제공할 수 있다. 이러한 화면을 통해, 사용자는 등록 발신자에 대한 기본 정보(예: 이름 정보, 전화 번호 정보, 이미지 정보)는 확인할 수 있으나, 발신자와 연관된 기타 다른 정보(예: 해당 발신자와의 이전 통화 이력)는 확인할 수 없다. 또한, 사용자는 미등록 발신자에 대하여는 전화 번호 정보 이외에 다른 정보를 확인할 수 없다.
도 2b는 본 개시의 일 실시예에 따른, 통화 연결의 상태에 따라 전자 장치에 표시되는 예시적인 화면을 도시한다.
일 실시예에 따르면, 도 2b의 실시예의 각 화면은, 예컨대, 전자 장치(예: 도 1a의 전자 장치(101))가 AI 어시스턴트 통화 모드로 동작하는 경우에 표시되는 화면(또는, 통화 어플리케이션에 대응하는 인터페이스)일 수 있다. 일 실시예에 따르면, AI 어시스턴트 통화 모드는 AI 모델을 이용하여 통화(또는, 통화 연결)을 제공하는 모드에 해당할 수 있다. AI 어시스턴트 통화 모드에서, 전자 장치는 AI 모델을 이용하여 생성된 통화(또는, 통화 연결)를 보조하기 위한 정보(예: 도 2b의 제1 메시지(31b), 제2 메시지(32b), 제3 메시지(33b)) 및/또는 발신자에 대한 정보(예: 도 2b의 발신자 정보(20b))를 제공할 수 있다. 본 개시에서, AI 어시스턴트 통화 모드는, AI 어시스턴트 모드, AI 통화 모드, AI 모드, 제2 모드, 제2 통화 모드로 지칭될 수도 있다. 본 개시에서, 제1 메시지(31b)는 제1 보조 메시지, 제1 통화 보조 메시지, 제1 브리프(brief) 메시지로 지칭될 수 있고, 제2 메시지(32b)는 제2 보조 메시지, 제2 통화 보조 메시지, 제2 브리프 메시지로 지칭될 수 있고, 제3 메시지(33b)는 제3 보조 메시지, 제3 통화 보조 메시지, 제3 브리프 메시지로 지칭될 수 있다.
일 실시예에 따르면, 도 2b의 (a) 부분은, 통화 연결이 수행되기 이전에 전자 장치에 표시되는 예시적인 화면(210b)을 도시한다.
일 실시예에 따르면, 도 2b의 (a) 부분을 참조하면, 전자 장치는 통화 연결이 수행되기 이전 상태(통화 전 상태)에서, 수신 통화의 발신자에 대한 발신자 정보(20b) 및/또는 수신 통화와 연관된 정보를 포함하는 제1 메시지(31b)를 포함하는 화면(210b)을 표시할 수 있다. 예를 들면, 전자 장치는 수신 통화가 검출(또는, 식별)된 이후부터 통화 연결이 수행되기 이전까지, 발신자 정보(20b) 및/또는 제1 메시지(31b)를 포함하는 화면(210b)을 표시할 수 있다.
일 실시예에 따르면, 발신자 정보(20b)는 발신자의 이름을 지시하는 이름 정보, 발신자의 전화 번호를 지시하는 전화 번호 정보 및/또는 발신자의 이미지(예: 사진)를 포함하는 이미지 정보를 포함할 수 있다. 발신자가 등록 발신자인 경우, 전자 장치는 전자 장치에 등록된 등록 발신자의 등록 정보(예: 이름, 전화 번호, 이미지, 주소)를 이용하여, 발신자 정보(20b)를 획득할 수 있다. 발신자가 미등록 발신자인 경우, 전자 장치는 외부 전자 장치(예: 서버)를 통해 미등록 발신자의 정보(예: 이름, 이미지)를 획득하고, 획득된 정보를 이용하여 발신자 정보(20b)를 획득할 수 있다.
일 실시예에 따르면, 제1 메시지(31b)는 수신 통화와 연관된 정보(예: 수신 통화의 발신자의 통화 의도와 연관된 정보)를 포함할 수 있다. 예를 들면, 제1 메시지(31b)는 수신 통화의 발신자의 통화 의도(예: 예측된 통화 의도 또는 예측된 통화 목적)를 알려주기 위한 정보, 및/또는 통화 의도와 연관된 추가 정보를 포함할 수 있으나, 이에 제한되지 않는다. 제1 메시지(31b)는 사용자(예: 수신자)가 수신 통화에 대한 통화 연결을 수행할지 결정하는 것을 돕기 위해 사용될 수 있다. 사용자는 제1 메시지(31b)를 통해, 통화 연결을 수행하기 이전에 발신자의 통화 의도 및/또는 통화 의도와 연관된 추가 정보와 같은 내용을 미리 확인할 수 있고, 확인된 내용을 기초로 통화 연결을 수행할지 여부를 결정할 수 있다.
일 실시예에 따르면, 전자 장치는 AI 모델(예: 도 1b의 생성형 AI 모델(160b))을 이용하여 제1 메시지(31b)를 생성(또는, 획득)할 수 있다.
일 실시예에 따르면, 도 2b의 (b) 부분은, 통화 연결이 수행된 이후부터 통화 연결이 종료되기 전까지, 전자 장치에 표시되는 예시적인 화면(220b)을 도시한다.
일 실시예에 따르면, 도 2b의 (b) 부분을 참조하면, 전자 장치는 통화 연결이 수행된 이후 통화 연결이 종료되기 전인 상태(통화 중 상태)에서, 발신자 정보(20a) 및/또는 통화 중 대화의 내용(content)과 연관된 정보를 포함하는 제2 메시지(32b)를 포함하는 화면(220b)을 표시할 수 있다. 통화 중 상태에서 표시되는 발신자 정보(20b)는 통화 전 상태에서 표시되는 발신자 정보(20b)와 동일할 수 있다.
일 실시예에 따르면, 제2 메시지(32b)는 통화 중 대화의 내용과 연관된 정보를 포함할 수 있다. 예를 들면, 제2 메시지(32b)는 통화 중에 수신자와 발신자 사이의 대화(예: 현재 대화)의 주제에 관한 정보, 및/또는 대화의 주제와 연관된 추가 정보를 포함할 수 있으나, 이에 제한되지 않는다. 제2 메시지(32b)는 사용자(예: 수신자)가 통화 중에 원활하게 대화를 진행하는 것을 돕기 위해 사용될 수 있다. 사용자는 제2 메시지(32b)를 통해, 통화 중에 발신자와의 대화의 주제 및/또는 관련 정보를 확인하여, 발신자와의 대화를 원활하게 진행할 수 있다.
일 실시예에 따르면, 전자 장치는 AI 모델을 이용하여 제2 메시지(32b)를 생성(또는, 획득)할 수 있다.
일 실시예에 따르면, 도 2b의 (c) 부분은, 통화 연결이 종료된 이후, 전자 장치에 표시되는 예시적인 화면(230b)을 도시한다. 도 2b의 (c) 부분을 참조하면, 전자 장치는 통화 연결이 종료된 상태(통화 종료 상태)에서, 발신자 정보(20b) 및/또는 통화의 전체 내용과 연관된 정보를 포함하는 제3 메시지(33b)를 포함하는 화면(230b)을 표시할 수 있다. 통화 종료 상태에서 표시되는 발신자 정보(20b)는 통화 전 상태 및/또는 통화 중 상태에서 표시되는 발신자 정보(20b)와 동일할 수 있다.
일 실시예에 따르면, 제3 메시지(33b)는 통화의 전체 내용과 연관된 정보를 포함할 수 있다. 예를 들면, 제3 메시지(33b)는 통화의 전체 내용을 대화의 주제 별로 요약한 정보를 포함하는 요약 정보 및/또는 요약 정보에 포함된 각 대화의 주제와 연관된 선택 가능 항목(item)(또는, 선택 옵션)을 포함할 수 있으나, 이에 제한되지 않는다. 제3 메시지(33b)는 사용자(예: 수신자)가 통화의 내용 중 필요한 부분만 재구성하여 저장하는 것을 돕기 위해 사용될 수 있다. 사용자는 제3 메시지(33b)를 통해, 통화 중에 발신자와의 대화들의 주제 및 관련 정보를 확인하고, 저장이 필요한 대화의 주제만을 선택할 수 있다. 이 경우, 전자 장치는 사용자에 의해 선택된 대화의 주제만으로 통화의 내용을 재구성하여 전자 장치에 저장할 수 있다.
일 실시예에 따르면, 전자 장치는 AI 모델을 이용하여 제3 메시지(33b)를 생성(또는, 획득)할 수 있다.
상술한 도 2b의 실시예에 따르면, 전자 장치는 화면(210b,220b,230b)을 통해 전자 장치에 등록된 발신자에 대한 발신자 정보(20b) 뿐만 아니라, 통화 연결의 각 상태에 따른 추가 정보(또는, 통화를 보고하기 위한 보조(assistant) 정보)(예: 제1 메시지(31b), 제2 메시지(32b), 제3 메시지(33b))를 사용자에게 제공할 수 있다. 이러한 화면을 통해, 사용자는 발신자의 기본 정보를 확인함과 함께, 각 메시지를 통한 정보를 추가로 확인하여 통화를 원활하고 효율적으로 진행할 수 있다.
도 3은 본 개시의 일 실시예에 따른, 전자 장치가 통화 연결의 상태에 따른 동작을 수행하는 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 일 실시예에 따르면, 동작 310에서, 전자 장치(예: 도 1a의 전자 장치(101))는 통화를 수신할 수 있다. 예를 들면, 전자 장치는 수신 통화를 검출(또는, 식별)할 수 있다. 전자 장치는 수신 통화가 검출되는 것에 응답하여 수신 통화에 대응하는 화면(또는, 인터페이스)(예: 도 2b의 제1 화면(210b))을 표시할 수 있다.
일 실시예에 따르면, 동작 320에서, 전자 장치는 AI 어시스턴트 통화 모드 또는 일반 통화 모드를 식별(또는, 선택)할 수 있다. AI 어시스턴트 통화 모드가 식별되는 경우, 동작 330이 진행될 수 있다. 일반 통화 모드가 식별되는 경우, 동작 340이 진행될 수 있다.
일 실시예에 따르면, 전자 장치는 사용자 입력에 기초하여 AI 어시스턴트 통화 모드 또는 일반 통화 모드를 중 하나를 선택할 수 있다. 사용자 입력에 기초한 통화 모드의 선택은, 도 5, 도 6, 도 7a 및 도 7b를 참조하여 이하에서 설명한다.
일 실시예에 따르면, 전자 장치는 디폴트 통화 모드 설정 정보 또는 발신자의 클래스 정보(예: 도 19의 제1 클래스 정보(1910) 또는 제2 클래스 정보(1920))에 기초하여, AI 어시스턴트 통화 모드 또는 일반 통화 모드를 중 하나를 선택할 수 있다.
일 실시예에 따르면, 디폴트 통화 모드 설정 정보는 디폴트 통화 모드를 지시하는 정보를 포함할 수 있다. 예를 들면, 디폴트 통화 모드 설정 정보가 AI 어시스턴트 통화 모드가 디폴트 통화 모드임을 지시하는 경우, 수신 통화가 식별되는 것에 응답하여, 전자 장치는 별도의 사용자 입력 없이, 해당 수신 통화에 대한 통화 모드를 AI 어시스턴트 통화 모드로 설정할 수 있다.
일 실시예에 따르면, 디폴트 통화 모드 설정 정보는 발신자 별로 설정될 수 있다. 예를 들면, 디폴트 통화 모드 설정 정보가 특정 발신자에 대한 AI 어시스턴트 통화 모드가 디폴트 통화 모드임을 지시하는 경우, 해당 발신자의 수신 통화가 식별되는 것에 응답하여, 전자 장치는 별도의 사용자 입력 없이, 해당 수신 통화에 대한 통화 모드를 AI 어시스턴트 통화 모드로 설정할 수 있다.
일 실시예에 따르면, 발신자의 클래스 정보는 해당 발신자에 대한 디폴트 통화 모드 설정 정보를 포함할 수 있다. 예를 들면, 발신자의 클래스 정보가 해당 발신자에 대한 디폴트 통화 모드가 AI 어시스턴트 통화 모드임을 지시하는 디폴트 통화 모드 설정 정보를 포함하는 경우, 전자 장치는 별도의 사용자 입력 없이, 해당 수신 통화에 대한 통화 모드를 AI 어시스턴트 통화 모드로 설정할 수 있다.
일 실시예에 따르면, 동작 330에서, 전자 장치는 AI 어시스턴트 통화 모드가 선택됨이 식별되는 것에 응답하여, 적어도 하나의 통화 연결 전 처리를 위한 동작을 수행할 수 있다. 본 개시에서, 통화 연결 전 처리를 위한 동작은 통화 전 처리 동작으로 지칭될 수도 있다.
일 실시예에 따르면, 적어도 하나의 통화 전 처리 동작은 수신 통화의 발신자와 연관된 적어도 하나의 어플리케이션(예: 대표 어플리케이션)을 식별(또는, 선택)하는 제1 동작(예: 도 4의 통화 전 상태(410)의 제1 동작(411))을 포함할 수 있다. 예를 들면, 전자 장치는 발신자의 등록 정보(또는, 사용자 등록 정보(예: 도 9a의 사용자 등록 정보(910))에 기초하여, 전자 장치에 설치된 복수의 어플리케이션으로부터 발신자와 연관된 적어도 하나의 대표 어플리케이션을 선택할 수 있다. 예를 들면, 전자 장치는 발신자의 클래스 정보에 기초하여, 전자 장치에 설치된 복수의 어플리케이션으로부터 발신자와 연관된 적어도 하나의 대표 어플리케이션을 선택할 수 있다. 예를 들면, 전자 장치는 발신자의 클래스 정보를 기초로 AI 모델을 이용하여, 전자 장치에 설치된 복수의 어플리케이션으로부터 발신자와 연관된 적어도 하나의 대표 어플리케이션을 선택할 수 있다. 대표 어플리케이션은, 예컨대, 전자 장치가 AI 모델을 이용하여 통화(또는, 통화 연결)을 보조하기 위해 사용되는 어플리케이션일 수 있다. 발신자의 클래스 정보는, 예컨대, 발신자와의 관계에 대한 정보, 발신자와의 친밀도에 대한 정보, 발신자의 주요 관심사에 대한 정보, 관련성 상위 어플리케이션에 대한 정보, 대화 호응도에 대한 정보, 연락 빈도에 대한 정보, 발신자의 성향에 대한 정보, 또는 AI 어시스턴트 대화의 채택율에 대한 정보 중 적어도 하나를 포함할 수 있다. 발신자의 클래스 정보는 해당 발신자에 대한 디폴트 통화 모드 설정 정보를 더 포함할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 전 처리 동작은 수신 통화의 발신자의 통화 의도에 대한 정보를 획득(또는, 생성)하는 제2 동작(예: 도 4의 통화 전 상태(410)의 제2 동작(412))을 포함할 수 있다. 예를 들면, 전자 장치는 발신자의 클래스 정보 및/또는 제1 동작을 통해 식별된 적어도 하나의 어플리케이션(또는, 적어도 하나의 어플리케이션과 연관된 데이터)를 기초로 AI 모델을 이용하여 발신자의 통화 의도에 대한 정보를 생성할 수 있다. 예를 들면, 전자 장치는 발신자의 클래스 정보 및 제1 동작을 통해 식별된 적어도 하나의 어플리케이션과 연관된 데이터를 기초로 AI 모델을 이용하여 발신자의 통화 의도를 분석하여, 통화 의도에 대한 정보를 생성할 수 있다. 적어도 하나의 어플리케이션(또는, 적어도 하나의 어플리케이션과 연관된 데이터)은, 발신자와 연관된 데이터, 예컨대, 적어도 하나의 어플리케이션을 통해 수신 통화의 발신자로부터 수신된 데이터를 포함할 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 적어도 하나의 통화 전 처리 동작은 통화 전 상태에서 수신 통화와 연관된 정보(예: 수신 통화의 발신자의 통화 의도와 연관된 정보)를 포함하는 제1 메시지(예: 도 2b의 제1 메시지(31b))를 획득(또는, 생성)하는 제3 동작(예: 도 4의 통화 전 상태(410)의 제3 동작(413))을 포함할 수 있다. 예를 들면, 전자 장치는 제2 동작을 통해 획득된 발신자의 통화 의도에 대한 정보를 기초로 AI 모델을 이용하여 제1 메시지를 생성할 수 있다. 예를 들면, 전자 장치는 제1 동작을 통해 식별된 적어도 하나의 어플리케이션(또는, 적어도 하나의 어플리케이션과 연관된 데이터)를 기초로 AI 모델을 이용하여 제1 메시지를 생성할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 전 처리 동작은 생성된 제1 메시지를 제공하는 제4 동작을 포함할 수 있다. 예를 들면, 도 2b의 (a) 부분에 예시된 것처럼, 전자 장치는 디스플레이를 통해 제1 메시지(예: 도 2b의 제1 메시지 (31b))를 포함하는 화면을 디스플레이 할 수 있다.
일 실시예에 따르면, 동작 331에서, 전자 장치는 통화 연결을 수행할 수 있다. 일 실시예에 따르면, 전자 장치는 사용자 입력에 기초하여 AI 어시스턴트 통화 모드에 따른 통화 연결을 수행할 수 있다. 통화 연결이 수행된 이후, 수신자와 발신자는 전자 장치를 통한 통화(또는, 대화)를 진행할 수 있다.
일 실시예에 따르면, 동작 332에서, 전자 장치는 통화 연결이 수행된 이후, 적어도 하나의 통화 연결 중 처리를 위한 동작을 수행할 수 있다. 본 개시에서, 통화 연결 중 처리를 위한 동작은 통화 중 처리 동작으로 지칭될 수도 있다.
일 실시예에 따르면, 적어도 하나의 통화 중 처리 동작은 통화 중 대화의 내용(content)을 분석하는 제1 동작(예: 도 4의 통화 중 상태(420)의 제1 동작(421))을 포함할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여 통화 중 대화의 내용을 실시간으로 분석하여, 분석된 대화 내용에 대한 정보를 생성(또는, 획득)할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 중 처리 동작은 통화 중 대화의 내용과 연관된 정보를 포함하는 제2 메시지(예: 도 2b의 제2 메시지(32b))를 생성하는 제2 동작(예: 도 4의 통화 중 상태(420)의 제2 동작(422))을 포함할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여 통화 중 대화의 내용을 실시간으로 분석하여, 제2 메시지를 생성할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 중 처리 동작은 생성된 제2 메시지를 제공하는 제3 동작을 포함할 수 있다. 예를 들면, 도 2b의 (b) 부분에 예시된 것처럼, 전자 장치는 디스플레이를 통해 제2 메시지(예: 도 2b의 제2 메시지(32b))를 포함하는 화면을 디스플레이 할 수 있다.
일 실시예에 따르면, 동작 333에서, 전자 장치는 통화 연결을 종료할 수 있다. 일 실시예에 따르면, 전자 장치는 사용자 입력에 기초하여 AI 어시스턴트 통화 모드에 따른 통화 연결을 종료할 수 있다. 통화 연결이 종료된 이후, 수신자와 발신자는 더 이상 전자 장치를 통한 통화(또는, 대화)를 진행할 수 없다.
일 실시예에 따르면, 동작 334에서, 전자 장치는 통화 연결이 종료된 이후, 적어도 하나의 통화 종료 후 처리를 위한 동작을 수행할 수 있다. 본 개시에서, 통화 종료 후 처리를 위한 동작은 통화 후 처리 동작으로 지칭될 수도 있다.
일 실시예에 따르면, 적어도 하나의 통화 후 처리 동작은 통화의 적어도 일부 내용(예: 전체 내용 또는 일부 내용)을 분석하여, 통화의 내용과 연관된 정보를 포함하는 제3 메시지(예: 도 2b의 제3 메시지(33b))를 생성하는 제1 동작(예: 도 4의 통화 종료 상태(430)의 제1 동작(431))을 포함할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여 통화의 적어도 일부 내용(예: 전체 내용)을 분석하여, 제3 메시지를 생성할 수 있다. 전자 장치는 생성된 제3 메시지를 포함하는 화면을 제공 할 수 있다. 예를 들면, 도 2b의 (c) 부분에 예시된 것처럼, 전자 장치는 디스플레이를 통해 제3 메시지(예: 도 2b의 제3 메시지(33b))를 포함하는 화면을 디스플레이 할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 후 처리 동작은 제3 메시지를 통해 선택된 적어도 하나의 대화의 주제에 기초하여, 통화의 내용을 재구성하고 저장하는 제2 동작(예: 도 4의 통화 종료 상태(430)의 제2 동작(432))을 포함할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여, 제3 메시지를 통해 선택된 적어도 하나의 대화의 주제를 기초로 통화의 내용을 재구성하고 저장하는 동작을 수행할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 후 처리 동작은 발신자에 대한 클래스 정보를 생성 또는 업데이트하는 제3 동작(예: 도 4의 통화 종료 상태(430)의 제3 동작(433))을 포함할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여 통화의 전체 내용 또는 재구성된 통화의 내용을 기초로 발신자의 클래스 정보를 생성 또는 업데이트할 수 있다. 예를 들면, 이미 생성된 발신자의 클래스 정보가 없는 경우, 전자 장치는 AI 모델을 이용하여 통화의 적어도 일부 내용(예: 전체 내용) 또는 재구성된 통화의 내용을 기초로 발신자의 클래스 정보를 생성할 수 있다. 예를 들면, 이미 생성된 발신자의 클래스 정보가 있는 경우, 전자 장치는 AI 모델을 이용하여 통화의 적어도 일부 내용(예: 전체 내용) 또는 재구성된 통화의 내용을 기초로 발신자의 클래스 정보를 업데이트할 수 있다.
일 실시예에 따르면, 동작 335에서, 전자 장치는 AI 어시스턴트 통화 모드를 종료할 수 있다.
일 실시예에 따르면, 동작 340에서, 전자 장치는 일반 통화 모드에 따른 통화 연결을 수행할 수 있다. 일 실시예에 따르면, 전자 장치는 일반 통화 모드에 따른 통화 연결이 수행되는 동안, 사용자 입력(또는, 선택)에 따라, 통화 모드를 AI 어시스턴트 통화 모드로 전환할 수 있다. 이 경우, 전자 장치는 상술한 동작 322에 대응하는 동작들의 전부 또는 일부를 수행할 수 있다.
일 실시예에 따르면, 동작 341에서, 전자 장치는 일반 통화 모드에 따른 통화 연결을 종료할 수 있다. 도 2a에서 예시된 것처럼, 일반 통화 모드가 적용되는 경우, 전자 장치는 통화 연결의 상태와 무관하게 동일한 발신자 정보(예: 도 2a의 발신자 정보(20a))를 포함하는 화면(예: 도 2a의 화면(210a,220a,230a))을 디스플레이 할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 전자 장치가 AI 모델을 이용하여 통화 연결의 상태에 따라 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 AI 모델(400)(예: 도 1b의 생성형 AI 모델(160b))을 이용할 수 있다. AI 모델(400)은 전자 장치에 저장되거나, 또는, 외부 전자 장치(예: 도 1a의 서버(108))에 저장된 AI 모델일 수 있다. AI 모델(400)은 학습 데이터를 이용하여 사전에 학습된 AI 모델일 수 있다. 본 개시에서, AI 모델(400)은 분석 모델, AI 분석 모델, LLM 분석 모델로 지칭될 수도 있다.
일 실시예에 따르면, 전자 장치가 AI 모델(400)에 입력 데이터를 입력하는 동작은, 예컨대, 입력 데이터를 사용자 쿼리/응답 인터페이스(예: 도 1b의 사용자 쿼리/응답 인터페이스(110b)) 및/또는 AI 프레임워크(예: 도 1b의 AI 프레임워크(140b))를 이용하여 처리하는 동작 및 처리된 입력 데이터(예: 프롬프트 데이터)를 AI 모델(예: 도 1b의 생성형 AI 모델(160b))에 입력하는 동작을 포함할 수 있다. 일 실시예에 따르면, 전자 장치가 AI 모델(400)로부터 출력 데이터를 획득하는 동작은, 예컨대, AI 모델(예: 도 1b의 생성형 AI 모델(160b))로부터 출력된 출력 데이터를 AI 프레임워크(예: 도 1b의 AI 프레임워크(140b)) 및/또는 사용자 쿼리/응답 인터페이스(예: 도 1b의 사용자 쿼리/응답 인터페이스(110b))를 이용하여 처리하는 동작 및 처리된 출력 데이터를 획득하는 동작을 포함할 수 있다. 사용자 쿼리/응답 인터페이스, AI 프레임워크 및 AI 모델에서의 처리는 상술한 도 1b의 설명을 참조할 수 있다.
일 실시예에 따르면, 통화 이벤트(401)(예: 수신 통화)가 식별(또는, 검출)되는 것에 응답하여, 전자 장치는 통화 전 상태(410)로 진입할 수 있다.
일 실시예에 따르면, 통화 전 상태(410)에서, 전자 장치는 AI 모델(400)을 이용하여, 적어도 하나의 통화 전 처리 동작(411,412,413)을 수행할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 전 처리 동작은 적어도 하나의 대표 어플리케이션 선택(또는, 식별)을 위한 제1 동작(411), 발신자의 통화 의도를 분석하여 통화 의도 정보를 획득 위한 제2 동작(412) 및/또는 제1 메시지(예: 도 2b의 제1 메시지(31b))의 생성을 위한 제3 동작(413)을 포함할 수 있다. 제1 동작(411)은 예컨대, 수신 통화의 발신자와 연관된 적어도 하나의 어플리케이션(예: 대표 어플리케이션)을 선택(또는, 식별)하는 동작을 포함할 수 있다. 제2 동작(412)은 예컨대, 수신 통화의 발신자의 통화 의도에 대한 정보를 획득하는 동작을 포함할 수 있다. 제3 동작(412)은 예컨대, 통화 전 상태에서 수신 통화와 연관된 정보를 포함하는 제1 메시지를 획득(또는, 생성)하는 동작을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 특정 통화 전 처리 동작과 연관된 출력 데이터를 획득할 수 있다. 입력 데이터는 예컨대, 제1 입력 데이터(402) 및/또는 해당 통화 전 처리 동작과 연관된 제2 입력 데이터(예: 명령 또는 요청)를 포함할 수 있다. 제1 입력 데이터(402)는 온-디바이스(on-device) 데이터 및/또는 네트워크(network) 데이터를 포함할 수 있다.
예를 들면, 전자 장치는 발신자의 정보(예: 발신자의 클래스 정보)를 포함하는 입력 데이터를 제1 AI 모델(400)에 입력하고, AI 모델(400)로부터 적어도 하나의 대표 어플리케이션에 대한 정보를 제1 동작(411)과 연관된 출력 데이터로 획득할 수 있다. 일 실시예에 따르면, 대표 어플리케이션은 예컨대, 발신자와 주로 사용되는 어플리케이션일 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 전자 장치는 사용자 등록 시 저장된 정보 및/또는 어플리케이션 사용 시 획득된 정보에 기초하여, 발신자와 관련도가 지정된 기준보다 높은 어플리케이션(예: 발신자와 관련도가 가장 높은 어플리케이션)을 대표 어플리케이션으로 선정할 수 있다. 사용자 등록 시 저장된 정보는, 예컨대, 사용자의 이름, 별명, 전화 번호, 이메일 주소, 및/또는 직장 주소를 포함할 수 있으나, 이에 제한되지 않는다. 대표 어플리케이션의 선택에 대한 내용은 도 9b를 참조하여 이하에서 예시적으로 설명한다.
예를 들면, 전자 장치는 발신자의 정보(예: 발신자의 클래스 정보) 및/또는 제1 동작(411)을 통해 획득된 적어도 하나의 대표 어플리케이션과 연관된 데이터를 포함하는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 발신자의 통화 의도에 대한 정보를 제2 동작(412)과 연관된 출력 데이터로 획득할 수 있다.
예를 들면, 전자 장치는 발신자의 정보(예: 발신자의 클래스 정보) 및/또는 제2 동작(412)을 통해 획득된 발신자의 통화 의도에 대한 정보를 포함하는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 제1 메시지를 제3 동작(413)과 연관된 출력 데이터로 획득할 수 있다.
일 실시예에 따르면, 통화 중 상태(420)에서, 전자 장치는 AI 모델(400)을 이용하여, 적어도 하나의 통화 중 처리 동작(421,422)을 수행할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 중 처리 동작은 통화 중 대화의 내용을 분석하는 제1 동작(421) 및/또는 제2 메시지(예: 도 2b의 제2 메시지(32b))의 생성을 위한 제2 동작(422)을 포함할 수 있다. 제1 동작(421)은 예컨대, 통화 중 대화의 내용을 분석(예: 실시간으로 분석)하는 동작을 포함할 수 있다. 제2 동작(421)은 예컨대, 분석된 대화 내용에 대한 정보에 기초하여 통화 중 대화의 내용과 연관된 정보를 포함하는 제2 메시지를 생성하는 동작을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 특정 통화 중 처리 동작과 연관된 출력 데이터를 획득할 수 있다. 입력 데이터는 예컨대, 제1 입력 데이터(403) 및/또는 해당 통화 중 처리 동작과 연관된 제2 입력 데이터(예: 명령 또는 요청)를 포함할 수 있다. 제1 입력 데이터(403)는 통화 중 대화의 스피치(speech) 데이터를 포함할 수 있다.
예를 들면, 전자 장치는 스피치 데이터를 포함하는 입력 데이터(예: 프롬프트 데이터)를 제1 AI 모델(400)에 입력하고, AI 모델(400)로부터 분석된 대화 내용에 대한 정보를 제1 동작(421)과 연관된 출력 데이터로 획득할 수 있다.
예를 들면, 전자 장치는 제1 동작(421)을 통해 획득된 분석된 대화 내용에 대한 정보를 포함하는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 제2 메시지를 제2 동작(422)과 연관된 출력 데이터로 획득할 수 있다.
일 실시예에 따르면, 통화 종료 상태(430)에서, 전자 장치는 AI 모델(400)을 이용하여, 적어도 하나의 통화 후 처리 동작(431,432,433)을 수행할 수 있다.
일 실시예에 따르면, 적어도 하나의 통화 후 처리 동작은 통화의 적어도 일부 내용(예: 전체 내용 또는 일부 내용)을 분석하여 제3 메시지(예: 도 3b의 제3 메시지(33b))를 생성하기 위한 제1 동작(431), 통화의 내용을 재구성하고 저장하기 위한 제2 동작(432) 및/또는 발신자에 대한 클래스 정보를 생성 또는 업데이트하기 위한 제3 동작(433)을 포함할 수 있다. 제1 동작(421)은 예컨대, 통화의 적어도 일부 내용(예: 전체 내용)을 분석하여, 통화의 적어도 일부 내용(예: 전체 내용)과 연관된 정보를 포함하는 제3 메시지를 생성하는 동작을 포함할 수 있다. 제2 동작(432)은 예컨대, 제3 메시지를 통해 선택된 적어도 하나의 대화의 주제에 기초하여, 통화의 내용을 재구성하고 저장하는 동작을 포함할 수 있다. 제3 동작(433)은 예컨대, 발신자에 대한 클래스 정보를 생성 또는 업데이트하는 동작을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 특정 통화 중 처리 동작과 연관된 출력 데이터를 획득할 수 있다. 입력 데이터는 해당 통화 후 처리 동작과 연관된 입력 데이터(예: 명령 또는 요청)를 포함할 수 있다.
예를 들면, 전자 장치는 통화의 적어도 일부 내용(예: 전체 내용)에 대한 정보를 포함하는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 제3 메시지를 제1 동작(431)과 연관된 출력 데이터로 획득할 수 있다.
예를 들면, 전자 장치는 제3 메시지를 통해 선택된 적어도 하나의 대화의 주제에 대한 정보 및 통화의 전체 내용에 대한 정보를 포함하는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 재구성된 통화 내용에 대한 정보를 제2 동작(432)과 연관된 출력 데이터로 획득할 수 있다.
예를 들면, 전자 장치는 통화의 적어도 일부 내용(예: 전체 내용) 또는 재구성된 통화 내용에 대한 정보를 포함하는 입력 데이터(예: 프롬프트 데이터)를 AI 모델(400)에 입력하고, AI 모델(400)로부터 발신자의 클래스 정보 또는 업데이트된 발신자의 클래스 정보를 제3 동작(433)과 연관된 출력 데이터로 획득할 수 있다.
도 5는 본 개시의 일 실시예에 따른, 전자 장치가 통화 모드를 선택하기 위한 예시적인 동작을 도시하는 흐름도이다.
도 5를 참조하면, 일 실시예에 따르면, 동작 510에서, 전자 장치(예: 도 1a의 전자 장치(101))는 수신 통화에 대응하는 제1 화면을 표시할 수 있다. 예를 들면, 전자 장치는 수신 통화가 식별(또는, 검출)되는 것에 응답하여, 수신 통화에 대응하는 화면을 표시할 수 있다. 수신 통화에 대응하는 화면은, 예컨대, 이하 설명할 도 6의 제1 화면(601), 도 7a의 제1 화면(701)을 포함할 수 있다.
일 실시예에 따르면, 동작 520에서, 전자 장치는 제1 화면에 포함된 수신 통화의 통화 연결과 연관된 제1 그래픽 객체(graphical object)에 대한 제1 사용자 입력을 획득할 수 있다. 제1 그래픽 객체는, 예컨대, 이하 설명할 도 6의 제1 그래픽 객체(610) 또는 도 7a의 제1 그래픽 객체(710)를 포함할 수 있다.
일 실시예에 따르면, 동작 530에서, 전자 장치는 제1 사용자 입력에 기초하여, 통화 모드를 일반 통화 모드 또는 AI 어시스턴트 통화 모드 중 하나로 선택할 수 있다. 예를 들면, 전자 장치는 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여, 통화 모드를 AI 어시스턴트 통화 모드로 선택할 수 있다. 예를 들면, 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 통화 모드를 일반 통화 모드로 선택할 수 있다.
이하에서는 도 6, 7a 및 7b를 참조하여, 통화 모드의 선택을 위해 제공되는 화면(또는, 사용자 인터페이스) 및 각 통화 모드의 선택에 따라 상이하게 제공되는 화면(또는, 사용자 인터페이스)을 예시적으로 설명한다.
도 6은 본 개시의 일 실시예에 따른, 전자 장치가 일반 통화 모드에 따른 통화 연결을 수행하기 위해 제공하는 예시적인 화면을 도시한다.
도 7a 및 7b는 본 개시의 일 실시예에 따른, 전자 장치가 AI 어시스턴트 모드에 따른 통화 연결을 수행하기 위해 제공하는 예시적인 화면을 도시한다.
일 실시예에 따르면, 도 6, 도 7a 및 도 7b에 표시되는 각 화면은, 통화 연결이 수행되기 전에 표시되는 화면들(예: 통화 연결 전 상태에서 표시되는 화면들)에 해당한다.
도 6의 (a) 부분 및 도 7a의 (a) 부분을 참조하면, 일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 수신 통화에 대응하는 제1 화면(601,701)을 표시할 수 있다. 일 실시예에 따르면, 전자 장치는 수신 통화가 식별(또는, 검출)되는 것에 응답하여, 제1 화면(601,701)을 표시할 수 있다.
일 실시예에 따르면, 제1 화면(601,701)은 발신자 정보(640,740)(예: 도 2b의 발신자 정보(20b)), 통화 연결과 연관된 제1 그래픽 오브젝트(610,710) 및/또는 통화 종료와 연관된 제2 그래픽 오브젝트(620,720)를 포함할 수 있다. 제2 그래픽 오브젝트(620,720)는 도 6, 도 7a 및 도 7b의 각 화면에서 변경 없이, 제1 화면(601,701)에 표시된 것과 동일하게 표시될 수 있다.
일 실시예에 따르면, 제1 그래픽 오브젝트(610,710)는 통화 연결을 지시하는 제1 아이콘(61,71) 및/또는 AI 어시스턴트 통화 모드를 지시하는 제2 아이콘(62,72)을 포함할 수 있다. 제1 아이콘(61,71)은 제1 그래픽 오브젝트(610,710)의 제1 영역(611,711) 내에 표시될 수 있고, 제2 아이콘(62,72)은 제1 영역(611,711)을 둘러싸는(또는, 포함하는) 제1 그래픽 오브젝트(610,710)의 제2 영역(612,712) 내에 표시될 수 있다.
일 실시예에 따르면, 전자 장치는 제1 그래픽 오브젝트(610,710)에 대한 제1 사용자 입력(U1)에 기초하여, 통화 모드를 일반 통화 모드 또는 AI 어시스턴트 통화 모드 중 하나로 선택할 수 있다.
도 7a의 (b) 부분을 참조하면, 일 실시예에 따르면, 제1 사용자 입력(U1)이 제1 조건을 만족함을 식별하는 것에 기초하여, 전자 장치는 통화 모드를 AI 어시스턴트 통화 모드로 선택할 수 있다. 제1 조건은, 예컨대, 통화 모드가 AI 어시스턴트 통화 모드로 선택되기 위해 만족되어야 하는 조건으로서, 설정에 따라 다양한 종류의 조건이 제1 조건으로 설정될 수 있다. 일 실시예에 따르면, 전자 장치는 제1 사용자 입력(U1)이 제1 방향(D1)으로의 스와이프(swipe) 입력에 대응하는 것으로 식별되는 경우, 제1 사용자 입력(U1)이 제1 조건을 만족함을 식별할 수 있다. 본 개시에서, 제1 방향(D1)으로의 스와이프 입력은 제1 스와이프 입력으로 지칭될 수 있다. 제1 스와이프 입력은, 도 7a의 제2 화면(702)에 예시된 것처럼, 제1 그래픽 오브젝트(710)의 제1 영역(711)의 외부에서 제1 영역(711)의 내부로의 방향(D1)의 스와이프 입력을 포함할 수 있다. 예를 들면, 제1 스와이프 입력은, 예컨대, 제1 그래픽 오브젝트(710)의 제1 영역(711)의 외부이며 제2 영역(712) 내인 한 점에서, 제1 영역(711) 내의 한 점까지의 스와이프 입력을 포함할 수 있다. 일 실시예에 따르면, 전자 장치는 제2 영역(712)에서 제1 방향(D1)(예: 제1 영역(711)의 방향)으로의 스와이프 입력이 수신되는 동안, 제2 화면(702) 내에서 제2 영역(712)의 크기를 점진적으로 줄여서 표시하는 애니메이션 효과를 제공할 수 있다.
도 6의 (b) 부분을 참조하면, 일 실시예에 따르면, 제1 사용자 입력(U1)이 제2 조건을 만족함을 식별하는 것에 기초하여, 전자 장치는 통화 모드를 일반 통화 모드로 선택할 수 있다. 제2 조건은, 예컨대, 통화 모드가 일반 통화 모드로 선택되기 위해 만족되어야 하는 조건으로서, 설정에 따라 다양한 종류의 조건이 제2 조건으로 설정될 수 있다. 일 실시예에 따르면, 전자 장치는 제1 사용자 입력(U1)이 제2 방향(D2)으로의 스와이프 입력에 대응하는 것으로 식별되는 경우, 제1 사용자 입력(U1)이 제2 조건을 만족함을 식별할 수 있다. 본 개시에서, 제2 방향(D2)으로의 스와이프 입력은 제2 스와이프 입력으로 지칭될 수 있다. 제2 스와이프 입력은, 도 6의 제2 화면(602)에 예시된 것처럼, 제1 그래픽 오브젝트(610)의 제2 영역(612) 또는 제1 영역(611)의 내부에서 제2 영역(612)의 외부로의 방향(D2)의 스와이프 입력을 포함할 수 있다. 예를 들면, 제2 스와이프 입력은, 예컨대, 제1 그래픽 오브젝트(610)의 제1 영역(611) 또는 제2 영역(612) 내의 한 점에서, 제2 영역(612) 외부의 한점 또는 제2 그래픽 오브젝트(620)의 영역 내의 한 점까지의 스와이프 입력을 포함할 수 있다. 일반 통화 모드로 선택됨을 식별하는 것에 기초하여, 전자 장치는 일반 통화 모드에 따른 통화 연결(일반 통화 연결)을 수행할 수 있다. 일반 통화 연결이 수행되는 동안, 전자 장치는, 예컨대, 도 6의 (c) 부분에 예시된 것과 같은, 제3 화면(603)을 표시할 수 있다. 제3 화면(603)은 일반 통화 모드에 따른 통화 연결을 지시하는 수정된 제1 그래픽 오브젝트(610a)를 포함할 수 있다.
도 7a의 (c) 부분을 참조하면, 전자 장치는 AI 어시스턴트 통화 모드가 선택됨을 식별하는 것에 기초하여, 제3 화면(703)을 표시할 수 있다. 제3 화면(703)은 발신자 정보(740), 수정된 제1 그래픽 오브젝트(710a), 제2 그래픽 오브젝트(720), 타이머와 연관된 제3 그래픽 오브젝트(730) 및/또는 수신 통화와 연관된 정보를 포함하는 제1 메시지(740a,740b)(예: 도 2b의 제1 메시지(31b))를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 제1 그래픽 오브젝트(710)를 수정하여, 수정된 제1 그래픽 오브젝트(710a)를 제3 화면(703) 내에 제1 그래픽 오브젝트(710)를 대체하여 표시할 수 있다. 도 7a의 (c) 부분에 예시된 것처럼, 수정된 제1 그래픽 오브젝트(710a)는 제1 영역(711) 내에 표시된 제1 아이콘(71) 및 제2 아이콘(72)을 포함할 수 있다. 제2 아이콘(72)이 제1 영역(711)의 외부 또는 제2 영역(712)에 표시되는 제1 그래픽 오브젝트(710)와 달리, 수정된 제1 그래픽 오브젝트(710a)에는 제2 아이콘(72)이 제1 아이콘(71)과 함께 제1 영역(711) 내에 표시될 수 있다. 사용자는 수정된 제1 그래픽 오브젝트(710a)를 통해, 통화 모드로 AI 어시스턴트 통화 모드가 선택됨을 확인할 수 있다.
일 실시예에 따르면, 제3 그래픽 오브젝트(730)는 타이머의 값을 포함할 수 있다. 타이머의 값은 사용자 입력(예: 제2 사용자 입력(U2)) 없이, AI 어시스턴트 통화 모드에 따른 통화 연결을 자동적으로(또는, 강제적으로) 수행하기 까지 남은 시간을 표시(예: 제3 화면(703)에서는 10초, 제4 화면(704)에서는 9초 남음을 표시)할 수 있다. 타이머의 값이 만료가 되면, 전자 장치는 별도의 사용자 입력이 없더라도, AI 어시스턴트 통화 모드에 따른 통화 연결을 자동적으로 수행할 수 있다.
일 실시예에 따르면, 전자 장치는 발신자의 통화 의도와 연관된 통화 연결의 긴급도에 기초하여, 타이머의 값을 설정할 수 있다. 예를 들면, 전자 장치는 통화 연결의 긴급도가 높아질수록, 타이머의 값을 작게 설정할 수 있다.
일 실시예에 따르면, 제1 메시지(740a,740b)는 수신 통화의 발신자의 통화 의도(예: 예측된 통화 의도)를 알려주기 위한 정보, 및/또는 통화 의도와 연관된 추가 정보를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들면, 제3 화면(703) 및 제4 화면(704)에 예시된 것처럼, 제1 메시지(740a,740b)는 "A 프로젝트 진행 사항 확인을 위해 전화 하였을 확률은 82%입니다."와 같은, 발신자의 예측된 통화 의도(예: A 프로젝트 진행 사항 확인) 및 예측된 통화 의도에 대한 확률 값(예: 82%)에 대한 정보 및 "A 프로젝트 관련, 업체 미팅 일정: … 데모 제작을 위한 샘플 납기: … 샘플 제작 업체 주요 이슈: …"와 같은 예측된 통화 의도와 연관된 추가 정보를 포함할 수 있다. 예를 들면, 제3 화면(703) 및 제4 화면(704)에 예시된 것처럼, 제1 메시지(740a,740b)에 포함되는 정보의 양이 메시지 표시 영역 내에 한번에 표시될 수 없을 정도로 많은 경우, 사용자는 제1 메시지(740a,740b)에 포함된 정보를 완전히 확인하기 위해 스크롤을 사용할 수 있다.
한편, 상술한 도 7a의 실시예와 달리, 도 7b의 실시예의 경우, 수신 통화가 식별(또는, 검출)되는 것에 응답하여, 제1 사용자 입력(U1)과 무관하게, 도 7b의 (a) 부분에 예시된 것처럼, 도 7a의 제3 화면(703)에 대응하는 화면을 바로 표시할 수 있다. 예를 들면, 도 7b의 (a) 부분에 예시된 것처럼, 도 7b의 실시예의 경우, 도 7a의 제1 화면(701) 및 제2 화면(702)과 같은 화면의 표시 없이, 수신 통화가 검출되는 것에 응답하여, 도 7a의 제3 화면(703)에 대응하는 화면을 바로 표시할 수 있다. 도 7b의 실시예의 동작은, 예컨대, 디폴트 통화 설정 정보 또는 발신자의 클래스 정보에, 디폴트 통화 모드가 AI 어시스턴트 통화 모드로 설정된 경우에 수행될 수 있다.
도 7a의 (d) 부분 및 도 7b의 (b) 부분을 참조하면, 전자 장치는 수정된 제1 그래픽 오브젝트(710a)에 대한 제2 사용자 입력(U2)에 기초하여, AI 어시스턴트 통화 모드에 따른 통화 연결을 수행할 수 있다. 예를 들면, 제2 사용자 입력(U2)이 제3 조건을 만족함을 식별하는 것에 기초하여, 전자 장치는 AI 어시스턴트 통화 모드에 따른 통화 연결을 수행할 수 있다. 일 실시예에 따르면, 전자 장치는 제2 사용자 입력(U2)이 제3 방향(D3)으로의 스와이프 입력에 대응하는 것으로 식별되는 경우, 제1 사용자 입력(U2)이 제3 조건을 만족함을 식별할 수 있다. 본 개시에서, 제3 방향(D3)으로의 스와이프 입력은 제3 스와이프 입력으로 지칭될 수 있다. 제3 스와이프 입력은, 도 7a의 (d) 부분 및 7b의 (b) 부분의 화면(704)에 예시된 것처럼, 수정된 제1 그래픽 오브젝트(710a)의 내부에서 외부로의 방향(D3)의 스와이프 입력을 포함할 수 있다. 예를 들면, 제3 스와이프 입력은, 예컨대, 수정된 제1 그래픽 오브젝트(710a)의 내부 영역 내의 한 점에서, 수정된 제1 그래픽 오브젝트(710a)의 외부 영역 내의 한 점 또는 제2 그래픽 오브젝트(720)의 내부 영역 내의 한 점까지의 스와이프 입력을 포함할 수 있다.
도 8는 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 전 동작을 도시하는 흐름도이다.
도 8의 실시예의 통화 연결 전 동작은 예컨대, 통화 모드가 AI 어시스턴트 통화 모드로 선택된 경우에, 통화 연결이 수행되기 이전에, 제1 메시지(예: 도 2b의 제1 메시지(31b), 도 7a 및 7b의 제1 메시지(740a,740b))를 생성 및 제공하기 위해 전자 장치(예: 도 1a의 전자 장치(101))에 의해 수행되는 동작일 수 있다.
도 8을 참조하면, 동작 810에서, 전자 장치는 수신 통화의 발신자와 연관된 적어도 하나의 대표 어플리케이션을 선택(또는, 식별)할 수 있다. 동작 810에 대한 설명은 도 4의 동작 411 및 도 3의 동작 330의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다. 일 실시예에 따르면, 전자 장치는 AI 모델을 이용하여, 발신자의 정보 및 전자 장치에 설치된 복수의 어플리케이션 사이의 상관성 정보(예: 도 9b의 상관도 지도(correlation map) 정보)를 기초로, 복수의 어플리케이션으로부터 적어도 하나의 어플리케이션을 선택할 수 있다. 대표 어플리케이션을 선택하는 동작에 대하여는, 예컨대, 도 9a 및 9b를 참조하여 이하에서 설명한다. 선택된 대표 어플리케이션의 예에 대하여는 도 10a 및 10b를 참조하여 이하에서 설명한다.
동작 820에서, 전자 장치는 적어도 하나의 대표 어플리케이션과 연관된 데이터에 기초하여, 발신자의 통화 의도에 대한 정보를 획득할 수 있다. 동작 820에 대한 설명은 도 4의 동작 412 및 도 3의 동작 330의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
동작 830에서, 전자 장치는 발신자의 통화 의도에 대한 정보에 기초하여 수신 통화와 연관된 정보(예: 발신자의 통화 의도와 연관된 정보)를 포함하는 제1 메시지(예: 도 2b의 제1 메시지(31b), 도 7a 및 7b의 제1 메시지(740a,740b))를 생성할 수 있다. 동작 830에 대한 설명은 도 4의 동작 413 및 도 3의 동작 330의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
동작 840에서, 전자 장치는 생성된 제1 메시지를 포함하는 화면을 표시할 수 있다. 동작 840에 대한 설명은 도 3의 동작 330의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다. 대표 어플리케이션과 연관된 데이터에 기초하여 발신자의 통화 의도를 획득하고, 통화 의도를 포함하는 제1 메시지를 생성 및 표시하는 동작에 대하여는, 예컨대, 도 11a, 11b, 도 13을 참조하여 이하에서 설명한다.
도 9a는 본 개시의 일 실시예에 따른, 대표 어플리케이션을 선택하기 위해 사용되는 사용자 등록 정보 및 어플리케이션들을 예시한다.
도 9b는 본 개시의 일 실시예에 따른, 대표 어플리케이션을 선택하기 위해 사용되는 사용자 등록 정보와 어플리케이션 간의 상관도 지도 정보를 예시한다.
일 실시예에 따르면, 도 9a에 예시된 것처럼, 발신자의 사용자 등록 정보(910)는 적어도 하나의 발신자의 등록 정보(예: 이름, ID, 전화 번호, 이메일, 주소, 직장, 관계)를 포함할 수 있다.
일 실시예에 따르면, 도 9b에 예시된 것처럼, 복수의 어플리케이션(920)는 전화 어플리케이션, 메일 어플리케이션, 메신저 어플리케이션, 캘린더 어플리케이션, 통화 녹음 어플리케이션, 및/또는 갤러리 어플리케이션을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 도 9b에 예시된 것처럼, 상관도 지도 정보는 전자 장치에 설치된 각 설치 어플리케이션(예: APP1 내지 APP6)(변수 2)과 각 사용자 등록 정보(예: 이름, ID, 전화 번호, 이메일, 직장, 관계)(변수 1) 사이의 상관도의 값들을 제공해줄 수 있다.
일 실시예에 따르면, 전자 장치는 발신자의 사용자 등록 정보(910)(또는, 발신자의 클래스 정보)에 기초하여, 전자 장치에 설치된 복수의 어플리케이션(920)으로부터 적어도 하나의 대표 어플리케이션을 선택할 수 있다. 예를 들면, 전자 장치는 발신자의 사용자 등록 정보(910)와 전자 장치에 설치된 복수의 어플리케이션(920) 사이의 상관도에 대한 정보를 제공하는 상관도 지도 정보를 이용하여, 복수의 어플리케이션(920)으로부터 적어도 하나의 대표 어플리케이션을 선택할 수 있다. 예를 들면, 전자 장치는 사용자 등록 정보(910)와 상관도 지도 정보를 이용하여, 복수의 어플리케이션(920) 중 상관도 값이 기준 값(예: 0.5) 이상인 적어도 하나의 어플리케이션을 대표 어플리케이션으로 선택할 수 있다. 예를 들면, 전자 장치는 사용자 등록 정보(910), 전자 장치에 설치된 복수의 어플리케이션(920)에 대한 정보, 및/또는 상관도 지도 정보에 기초하여 생성된 입력 데이터(예: 프롬프트 데이터)를 AI 모델(예: 도 4의 AI 모델(400))에 입력하고, AI 모델로부터 대표 어플리케이션에 대한 정보를 출력 데이터로서 획득할 수 있다.
도 10a 및 10b는 본 개시의 일 실시예에 따른, 대표 어플리케이션을 예시한다.
도 10a를 참조하면, 대표 어플리케이션은 통화 녹음 데이터를 포함하는 통화 어플리케이션(1000a)(또는, 통화 녹음 어플리케이션)일 수 있다. 일 실시예에 따르면, 통화 어플리케이션(1000a)은 발신자와 연관된 통화 녹음 데이터를 포함할 수 있다. 예를 들면, 통화 어플리케이션(1000a)은 발신자와 연관된 통화 녹음 데이터를 통화 연결을 수행한 날짜 및 통화 연결 시간과 함께 기록하여 저장할 수 있다. 발신자와 연관된 통화 녹음 데이터는 예컨대, 발신자와 수행된 각 통화 내용을 녹음한 데이터를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 AI 모델(예: 도 4의 AI 모델(400))을 이용하여 통화 어플리케이션(1000a)에 포함된 발신자와 연관된 통화 녹음 데이터를 기초로 발신자와 연관된 통화 내용을 분석하여, 적어도 하나의 주요 통화 내용(또는, 주제)(예: A 프로젝트 진행 상황 보고)을 식별할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여 발신자와 연관된 통화 녹음 데이터를 기초로 발신자와 연관된 최근 통화 내용을 분석하여, 적어도 하나의 주요 통화 내용을 획득할 수 있다. 최근 통화 내용은, 예컨대, 현재 시점에서 지정된 기간(예: 1개월) 이내의 통화의 내용을 포함할 수 있다.
도 10b를 참조하면, 대표 어플리케이션은 메일 데이터를 포함하는 메일 어플리케이션(1000b)일 수 있다. 일 실시예에 따르면, 메일 어플리케이션(1000b)은 발신자와 연관된 메일 데이터를 포함할 수 있다. 예를 들면, 메일 어플리케이션(1000b)은 발신자와 연관된 메일 데이터를 해당 메일을 수신 또는 송신한 시간과 함께 기록하여 저장할 수 있다. 발신자와 연관된 메일 데이터는 예컨대, 메일의 송신인 또는 수신인이 통화의 발신자인 메일(1010b), 및/또는 메일의 송신인 또는 수신인이 통화의 발신자가 아닌 메일 중 발신자(또는, 발신자의 통화 의도)와 연관된 내용을 포함하는 메일(1020b)의 데이터를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 AI 모델을 이용하여 메일 어플리케이션(1000b)에 포함된 발신자와 연관된 메일 데이터를 기초로 발신자와 연관된 메일 내용을 분석하여, 적어도 하나의 주요 메일 내용(또는, 주제)(예: A 프로젝트 진행 상황 보고) 및/또는 적어도 하나의 주요 메일 내용에 관련된 내용(예: A 프로젝트 진행과 관련된 사항들, 예컨대, 업체 미팅 일정, 데모 제작을 위한 샘플 납기, 샘플 제작 업체의 주요 이슈)을 식별할 수 있다. 예를 들면, 전자 장치는 AI 모델을 이용하여 발신자와 연관된 메일 데이터를 기초로 발신자와 연관된 최근 메일 내용을 분석하여, 적어도 하나의 주요 메일 내용 및 적어도 하나의 주요 메일 내용에 관련된 내용을 획득할 수 있다. 최근 메일 내용은, 예컨대, 현재 시점에서 지정된 기간(예: 1개월) 이내의 메일의 내용을 포함할 수 있다.
도 11a 및 11b는 본 개시의 일 실시예에 따른, 전자 장치가 대표 어플리케이션에 기초하여 통화 연결 전 상태에서 제1 메시지를 제공하는 동작을 설명하기 위한 도면이다.
도 11a를 참조하면, 대표 어플리케이션은 메신저 어플리케이션(1100a)일 수 있다. 메신저 어플리케이션(1100a)은 발신자와 연관된 메시지 데이터(예: 발신자와 수신자가 메신저 어플리케이션(1100a)을 통해 대화한 메시지의 데이터)를 포함할 수 있다. 예를 들면, 도 11a에 예시된 것처럼, 메시지 데이터는 복수의 주요 메시지 내용(또는, 주제)(예: 제주도 여행 및 숙소에 관련된 내용(1110a) 및 가방의 구매에 관련된 내용(1120a))을 포함할 수 있다.
도 11b를 참조하면, 전자 장치(예: 도 1a의 전자 장치(101))는 AI 모델(예: 도 4의 AI 모델(400))을 이용하여, 메신저 어플리케이션(1100a)에 포함된 발신자와 연관된 메시지 데이터를 기초로 발신자와 연관된 메시지 내용을 분석하여 적어도 하나의 주요 메시지 내용과 연관된 발신자의 통화 의도를 획득하고, 발신자의 통화 의도를 기초로 제1 메시지(1110b,1120b)(예: 도 2b의 제1 메시지(31b)))를 생성할 수 있다. 예를 들면, 도 11b의 (a) 부분의 제1 화면(1101a)에 예시된 것처럼, 제1 메시지(1110b)는 복수의 통화 의도에 대한 정보(예: 64%의 확률을 갖는 제주 여행 일정 관련 통화 의도 및 32%의 확률을 갖는 가방 구매 관련 통화 의도)를 포함할 수 있다. 예를 들면, 도 11b의 (b) 부분의 제2 화면(1102b)에 예시된 것처럼, 제1 메시지(1120b)는 복수의 통화 의도의 각각에 대한 추가 정보(예컨대, 제주 여행 관련 추가 정보(예: 맛집 정보, 추천 여행지 정보) 및/또는 가방 구매 관련 추가 정보(예: 계절 별 유행 컬러 추천, 최저가 구매 사이트 안내))를 더 포함할 수 있다.
상술한 것처럼, 대표 어플리케이션에 포함된 발신자와 연관된 데이터를 기초로 획득된 발신자와 연관된 주요 주제가 복수인 경우, 통화 전 상태에서 제공되는 제1 메시지 역시 복수의 통화 의도에 대한 정보 및 복수의 통화 의도의 각각에 대한 추가 정보를 제공할 수 있다.
도 12는 본 개시의 일 실시예에 따른, 전자 장치가 대표 어플리케이션에 기초하여 발신자 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 대표 어플리케이션은 갤러리 어플리케이션(1200)일 수 있다. 갤러리 어플리케이션(1200)은 발신자와 연관된 이미지 데이터(예: 발신자가 포함된 사진의 데이터)를 포함할 수 있다. 예를 들면, 도 12의 에 예시된 것처럼, 이미지 데이터는 발신자와 연관된 대표 이미지(1210)(예: 발신자와 수신자가 함께 찍은 사진)의 데이터를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 AI 모델(예: 도 4의 AI 모델(400))을 이용하여, 갤러리 어플리케이션(1200)에 포함된 발신자와 연관된 이미지 데이터를 기초로 발신자와 연관된 이미지 내용을 분석하여 적어도 하나의 대표 이미지를 획득하고, 적어도 하나의 대표 이미지를 기초로 발신자 정보(1220)(예: 도 2b의 발신자 정보(20b))를 생성 또는 변경할 수 있다. 예를 들면, 도 12의 (b) 부분의 화면(1201)에 예시된 것처럼, 발신자 정보(1220)는 발신자의 대표 이미지(1220)(예: 발신자와 수신자가 함께 찍은 사진)를 발신자의 기본 이미지(예: 도 2b의 발신자 정보(20b)에 표시된 이미지)를 대체하여 포함할 수 있다.
상술한 것처럼, 전자 장치는 대표 어플리케이션에 포함된 발신자와 이미지 데이터를 기초로 획득된 발신자의 대표 이미지를 이용하여, 발신자 정보에 포함되는 발신자의 이미지를 변경하여 제공할 수 있다.
도 13은 본 개시의 일 실시예에 따른, 전자 장치가 대표 어플리케이션 및 통화 수신 시간에 기초하여 통화 연결 전 상태에서 제1 메시지를 제공하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 대표 어플리케이션은 캘린더 어플리케이션(1300a)일 수 있다. 캘린더 어플리케이션(1300a)은 일정 데이터(예: 발신자와의 점심 약속 일정, 수신자의 생일 일정, 발신자와의 여행 일정, 발신자와의 미팅 일정의 데이터)를 포함할 수 있다. 예를 들면, 도 13의 (a) 부분에 예시된 것처럼, 일정 데이터는 복수의 주요 일정 내용(또는, 주제)(예컨대, 사적 일정(예: 수신자의 생일 일정) 및 공적 일정(예: 발신자와의 업무 미팅 일정))을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 AI 모델(예: 도 4의 AI 모델(400))을 이용하여, 캘린더 어플리케이션(1300a)에 포함된 일정 데이터 및 통화 수신 시간을 기초로 발신자의 통화 의도를 획득(또는, 분석)하고, 발신자의 통화 의도를 기초로 제1 메시지(1310,1320)(예: 도 2b의 제1 메시지(31b)))를 생성할 수 있다. 예를 들면, 도 13의 (b) 부분의 제1 화면(1301)에 예시된 것처럼, 통화 수신 시간이 오전인 경우, 전자 장치는 주요 일정 내용 중 사적인 일정 보다 공적인 일정에 더 높은 가중치를 부여하여, 공적인 일정과 연관된 통화 의도(예: 64%의 확률을 갖는 내일 업무 미팅과 관련된 통화 의도)에 대한 정보를 포함하는 제1 메시지(1310)를 생성할 수 있다. 예를 들면, 도 13의 (c) 부분의 제2 화면(1302)에 예시된 것처럼, 통화 수신 시간이 오후인 경우, 전자 장치는 주요 일정 내용 중 공적인 일정 보다 사적인 일정에 더 높은 가중치를 부여하여, 사적인 일정과 연관된 통화 의도(예: 64%의 확률을 갖는 내일 생일 축하와 관련된 통화 의도)에 대한 정보를 포함하는 제1 메시지(1320)를 생성할 수 있다.
상술한 것처럼, 대표 어플리케이션에 포함된 데이터를 기초로 획득된 주요 주제가 복수인 경우, 전자 장치는 통화 수신 시간에 기초하여 복수의 주제 중(예: 사적 주제 및 공적 주제) 중 어느 하나에 더 높은 가중치를 부여하여, 더 높은 확률을 갖는 통화 의도에 대한 정보를 포함하는 제1 메시지를 제공할 수 있다.
도 14는 본 개시의 일 실시예에 따른, 전자 장치가 통화 연결 전 상태에서 제1 메시지를 다양한 방식으로 제공하는 동작을 설명하기 위한 도면이다.
도 14를 참조하면, 전자 장치(예: 도 1a의 전자 장치(101))는 통화 수신 관련 정보를 이용하여, 통화 연결 전 상태에서 제1 메시지(예: 도 2b의 제1 메시지(31b))를 다양한 방식으로 제공할 수 있다. 통화 수신 관련 정보는, 예컨대, 통화의 긴급도 정보, 발신자의 성향 정보, 및/또는 통화 수신의 선호도 정보를 포함할 수 있으나, 이에 제한되지 않는다. 발신자의 성향 정보는, 예컨대, 발신자의 클래스 정보에 포함될 수 있다.
예를 들면, 도 14의 (a) 부분의 제1 화면(1401)에 예시된 것처럼, 통화의 긴급도가 기준 긴급도 보다 높은 것으로 식별되는 경우, 전자 장치는 통화 의도에 대한 정보를 간략히 표시하는 제1 메시지(1410)를 제공할 수 있다.
예를 들면, 도 14의 (b) 부분의 제2 화면(1402)에 예시된 것처럼, 통화의 긴급도가 기준 긴급도 보다 낮은 것으로 식별되는 경우, 전자 장치는 통화 의도에 대한 정보를 상세히 표시하는 제1 메시지(1420)를 제공할 수 있다.
예를 들면, 도 14의 (c) 부분의 제3 화면(1403)에 예시된 것처럼, 통화가 수신인이 수신하기를 희망하지 않는 통화(예: 통화 수신의 선호도가 기준 선호도 보다 낮은 통화)인 것으로 식별되는 경우, 전자 장치는 통화 연결을 거부하거나, 다른 방식의 통화 연결을 수행할 수 있는 선택 옵션(또는, 항목)(예: 텍스트로 전화 받기 선택 옵션, 또는 부재중 메시지 남기기 선택 옵션)을 포함하는 제1 메시지(1430)를 제공할 수 있다.
도 15는 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 중 동작을 도시하는 흐름도이다.
도 16은 본 개시의 일 실시예에 따른, 통화 연결 중 상태에서 제2 메시지를 포함하는 예시적인 화면을 도시한다.
일 실시예에 따르면, 도 15의 실시예의 통화 연결 중 동작은 예컨대, 통화 모드가 AI 어시스턴트 통화 모드로 선택된 경우, 통화 연결 중인 상태에서 제2 메시지(예: 도 2b의 제2 메시지(32b))를 생성 및 제공하기 위해 전자 장치(예: 도 1a의 전자 장치(101))에 의해 수행되는 동작일 수 있다.
도 15를 참조하면, 일 실시예에 따르면, 동작 1510에서, 전자 장치는 통화 중 대화의 내용을 분석할 수 있다. 일 실시예에 따르면, 전자 장치는 통화 연결을 수행한 후에, AI 모델을 이용하여 대화의 내용을 분석할 수 있다. 동작 1510에 대한 설명은 도 4의 동작 421 및 도 3의 동작 332의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
일 실시예에 따르면, 동작 1520에서, 전자 장치는 통화 중 대화의 내용을 분석한 결과에 기초하여, 통화 중 대화의 내용과 연관된 정보를 포함하는 제2 메시지를 생성할 수 있다. 동작 1520에 대한 설명은 도 4의 동작 422 및 도 3의 동작 332의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
일 실시예에 따르면, 동작 1530에서, 전자 장치는 생성된 제2 메시지(또는, 제2 메시지를 포함하는 화면)을 표시(display)할 수 있다. 동작 1530에 대한 설명은 도 3의 동작 330의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
일 실시예에 따르면, 도 16의 (a) 부분의 제1 화면(1601)에 예시된 것처럼, 제2 메시지(1610)는 통화 중 대화의 주제에 대한 정보(1611)(예: A 프로젝트 불량에 관하여 대화), 대화 내용에 대한 요약 정보(1612)(예: A 프로젝트 불량 관련 메일에 대한 링크 정보, 자체 불량률 값, 업체 대책 내용), 대화 내용에 관련된 추가 정보(1613)(예: 불량률을 개선하는 방법들 설명) 및/또는 추가 프롬프트(1614)를 포함할 수 있다. 추가 정보(1613)는 예컨대, 전자 장치에 저장된 내부 정보 및/또는 외부 정보(예: 네트워크 정보)에 기초하여 획득될 수 있다.
일 실시예에 따르면, 도 16의 (b) 부분의 제2 화면(1602)에 예시된 것처럼, 제2 메시지(1620)는 통화 중 대화의 주제에 대한 정보(1621)(예: 애완 동물에 관하여 대화), 대화 주제와 관련된 추가 대화 주제 추천 정보(1622)(예: 애완 동물이 좋아하는 것, 애완 동물 사진 공유와 같은 추가 대화 주제 추천) 및/또는 추가 프롬프트(1623)를 포함할 수 있다. 추가 대화 주제 추천 정보(1622)는 예컨대, 외부 정보(예: 네트워크 정보)에 기초하여 획득될 수 있다.
이러한 제2 메시지(1610,1620)는 통화 중 수신인이 발신자와 대화를 원활하게 수행할 수 있도록 돕기 위해 사용될 수 있다.
도 17는 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 종료 후 동작을 도시하는 흐름도이다.
도 18은 본 개시의 일 실시예에 따른, 통화 연결 종료 상태에서 제3 메시지를 포함하는 예시적인 화면을 도시한다.
도 19는 본 개시의 일 실시예에 따른, 발신자의 클래스 정보를 업데이트하는 동작을 설명하기 위한 도면이다.
일 실시예에 따르면, 도 17의 실시예의 통화 종료 후 동작은 예컨대, 통화 모드가 AI 어시스턴트 통화 모드로 선택된 경우, 통화 연결 종료 상태에서 제3 메시지(예: 도 2b의 제3 메시지(33b))를 생성 및 제공하기 위해 전자 장치(예: 도 1a의 전자 장치(101))에 의해 수행되는 동작일 수 있다.
도 17을 참조하면, 일 실시예에 따르면, 동작 1710에서, 전자 장치는 통화의 적어도 일부 내용(예: 전체 내용)을 분석하여, 통화의 내용과 연관된 정보를 포함하는 제3 메시지를 생성 및 제공할 수 있다. 일 실시예에 따르면, 전자 장치는 통화 연결을 종료하고, 통화 연결이 종료되는 것에 기초하여, AI 모델을 이용하여 통화의 전체 내용을 분석할 수 있다. 동작 1710에 대한 설명은 도 4의 동작 431 및 도 3의 동작 334의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
일 실시예에 따르면, 동작 1720에서, 전자 장치는 제3 메시지를 통해 선택된 적어도 하나의 대화의 주제에 기초하여, 통화의 내용을 재구성하고 저장할 수 있다. 동작 1720에 대한 설명은 도 4의 동작 432 및 도 3의 동작 334의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
일 실시예에 따르면, 도 18의 제1 화면(1801)에 예시된 것처럼, 제3 메시지(1810)는 통화의 전체 내용을 대화의 주제 별로 요약한 정보를 포함하는 요약 정보(1811a,1811b,1811c) 및/또는 요약 정보에 포함된 각 대화의 주제와 연관된 선택 가능 항목(1812a,1812b,1813c)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 제3 메시지(1810) 내의 선택 가능 항목(1811b,1812b,1813b)에 대한 사용자 입력에 기초하여, 적어도 하나의 대화의 주제를 선택할 수 있다. 예를 들면, 도 18의 제1 화면(1801)에 예시된 것처럼, 사용자 입력에 기초하여, 제1 대화 주제(예: A 프로젝트 불량률 관련)에 대한 요약 정보(1811a)와 연관된 제1 선택 항목(1812a) 및 제2 대화 주제(예: 내일 점심 식사 약속)에 대한 요약 정보(1811b)와 연관된 제2 선택 항목(1812b)이 선택되고, 제3 대화 주제(예: 여름 휴가 계획 관련)에 대한 요약 정보(1811c)와 연관된 제3 선택 항목(1812c)이 선택되지 않음이 식별되는 경우, 전자 장치는 제1 대화 주제 및 제2 대화 주제가 선택됨을 식별할 수 있다.
일 실시예에 따르면, 전자 장치는 제1 선택 버튼(1813)(예: 선택 내용 저장하기 버튼) 및 제2 선택 버튼(1814)(예: 저장하지 않고 종료)에 대한 사용자 입력에 기초하여, 선택된 주제 내용을 저장하거나, 저장하지 않고 종료할 수 있다. 예를 들면, 제1 선택 버튼(1813)이 선택된 경우, 전자 장치는 선택되지 않은 제3 대화 주제의 내용을 제외하고, 선택된 제1 대화 주제 및 제2 대화 주제의 내용을 기초로 통화 내용을 재구성하고, 재구성된 통화 내용을 저장할 수 있다.
동작 1730에서, 전자 장치는 발신자에 대한 클래스 정보를 생성 또는 업데이트할 수 있다. 동작 1730에 대한 설명은 도 3의 동작 330의 관련 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
일 실시예에 따르면, 전자 장치는 통화 연결이 종료된 이후, 통화의 적어도 일부 내용(예: 전체 내용) 또는 재구성된 통화 내용을 기초로, 발신자에 대한 클래스 정보를 업데이트할 수 있다. 예를 들면, 도 19에 예시된 것처럼, 전자 장치는 도 19의 발신자의 현재 클래스 정보인 제1 클래스 정보(1910)에서, 제2 클래스 정보(1920)로 클래스 정보를 업데이트할 수 있다. 예를 들면, 전자 장치는 제1 클래스 정보(1910)에 포함된 적어도 하나의 정보(예: 친밀도 정보, 대화 호응도 정보, 연락 빈도, 어시스턴트 대화 채택율 정보)를 수정함으로써, 클래스 정보를 제2 클래스 정보(1920)로 업데이트할 수 있다.
도 20은 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 중 상태에서 제2 메시지 및 제2 메시지와 연관된 추가 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 20을 참조하면, 일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 복수의 디스플레이 영역을 포함하는 디스플레이(예: 폴더블 디스플레이)를 포함하는 전자 장치(예: 폴더블 디스플레이 장치)일 수 있다.
일 실시예에 따르면, 전자 장치가 폴더블 디스플레이 장치인 경우, 전자 장치는 통화 연결 중 상태에서 제1 디스플레이 영역(2001)을 통해 제2 메시지(2010)(예: 도 16의 제2 메시지(1610))를 표시하고, 제2 디스플레이 영역(2002)을 통해 제2 메시지(2010)와 연관된 추가 정보(2020)(예: 제2 메시지(2010)에 포함된 정보를 생성하기 위해 사용된 기본 데이터(예: raw data))를 표시할 수 있다. 이처럼, 도 20의 실시예에서는, 복수의 디스플레이 영역을 이용하여 제2 메시지(2010)와 추가 정보(2020)를 함께 제공함으로써, 하나의 디스플레이 영역을 통해 제2 메시지(2010)와 추가 정보(2020)를 제공하는 것에 비해, 더 많은 양의 정보를 사용자에게 제공할 수 있다.
도 21은 본 개시의 일 실시예에 따른, 전자 장치의 통화 연결 중 상태에서 제2 메시지 및 제2 메시지와 연관된 추가 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 21을 참조하면, 일 실시예에 따르면, 전자 장치(예: 도 1a의 전자 장치(101))는 통화 연결 중 상태에서 전자 장치에 연결된 외부 전자 장치(2100)(예컨대, 웨어러블 장치(예: 스마트 워치))를 통해 제2 메시지(2010)(예: 도 20의 제2 메시지(2010)) 및/또는 제2 메시지(2010)와 연관된 추가 정보(예: 도 20의 추가 정보(2020))를 표시할 수 있다. 통화 연결 중인 상태에서, 일반적으로 전자 장치의 사용자는 전자 장치가 귀에 인접하게 위치된 상태에서 통화를 진행한다. 이 경우, 사용자는 통화 중에 전자 장치의 디스플레이를 확인하기 어렵다. 따라서, 예컨대, 도 21의 2101,2102,2103 부분에 예시된 것처럼, 전자 장치는 제2 메시지(2010)가 통화 중 용이하게 디스플레이를 확인할 수 있는 외부 전자 장치(2100)에서 표시되도록 처리(예: 제2 메시지(2010)의 데이터를 외부 전자 장치(2100)로 전송)함으로써, 사용자가 제2 메시지(2010)를 용이하게 확인할 수 있게 해줄 수 있다.
도 22는 본 개시의 일 실시예에 따른, 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 22의 실시예에 대한 설명은 도 1 내지 21에서 상술한 설명을 참조할 수 있다. 이에 중복된 설명은 생략한다.
도 22를 참조하면, 동작 2210에서, 전자 장치(예: 도 1a의 전자 장치(101))는 디스플레이를 통해 수신 통화에 대응하는 화면(예: 도 7a의 제1 화면(701))을 디스플레이할 수 있다. 일 실시예에 따르면, 상기 화면은 상기 수신 통화의 통화 연결과 연관된 제1 그래픽 오브젝트(예: 도 7a의 제1 그래픽 오브젝트(710))를 포함할 수 있다.
동작 2220에서, 전자 장치는 제1 그래픽 오브젝트에 대한 제1 사용자 입력(예: 도 7a의 제1 사용자 입력(U1))을 획득할 수 있다.
동작 2230에서, 전자 장치는 제1 사용자 입력이 제1 조건 또는 제2 조건을 만족하는지를 식별할 수 있다.
일 실시예에 따르면, 전자 장치는 제1 사용자 입력이 제1 방향(예: 도 7a의 제1 방향(D1))으로의 스와이프 입력에 대응하는 것으로 식별되는 경우, 제1 사용자 입력이 제1 조건을 만족함을 식별할 수 있다. 본 개시에서, 제1 방향으로의 스와이프 입력은 제1 스와이프 입력으로 지칭될 수 있다. 제1 스와이프 입력은, 예컨대, 도 7a의 제2 화면(702)에 예시된 것처럼, 제1 그래픽 오브젝트(710)의 제1 영역(711)의 외부에서 제1 영역(711)의 내부로의 방향(D1)의 스와이프 입력을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 제1 사용자 입력이 제2 방향(예: 도 의 제2 방향(D2))으로의 스와이프 입력에 대응하는 것으로 식별되는 경우, 제1 사용자 입력이 제2 조건을 만족함을 식별할 수 있다. 본 개시에서, 제2 방향으로의 스와이프 입력은 제2 스와이프 입력으로 지칭될 수 있다. 제2 스와이프 입력은, 예컨대, 도 6의 제2 화면(602)에 예시된 것처럼, 제1 그래픽 오브젝트(610)의 제2 영역(612) 또는 제1 영역(611)의 내부에서 제2 영역(612)의 외부로의 방향(D2)의 스와이프 입력을 포함할 수 있다.
동작 2241에서, 전자 장치는 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여, 전자 장치는 상기 제1 그래픽 오브젝트를 수정하여, 수정된 제1 그래픽 오브젝트(예: 도 7a의 수정된 제1 그래픽 오브젝트(710a))를 상기 디스플레이를 통해 디스플레이 할 수 있다. 일 실시예에 따르면, 상기 수정된 제1 그래픽 오브젝트는 인공 지능 모델(예: 도 4의 AI 모델(400))을 이용한 통화 연결과 연관될 수 있다.
동작 2242에서, 전자 장치는 상기 AI 모델을 이용하여, 적어도 하나의 어플리케이션(예: 대표 어플리케이션)을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지(예: 도 2b의 제1 메시지(31b))를 생성할 수 있다. 일 실시예에 따르면, 상기 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함할 수 있다.
동작 2243에서, 전자 장치는 상기 디스플레이를 통해 상기 제1 메시지를 디스플레이 할 수 있다.
동작 2244에서, 전자 장치는 상기 제1 메시지가 디스플레이 되는 동안, 상기 수정된 제1 그래픽 객체에 대한 제2 사용자 입력(예: 도 7a의 제2 사용자 입력(U2))을 획득할 수 있다.
동작 2245에서, 전자 장치는 상기 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행할 수 있다. 동작 2245의 통화 연결은, 예컨대, AI 어시스턴트 통화 모드에 따른 통화 연결일 수 있다.
동작 2245에서, 전자 장치는 상기 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 상기 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행할 수 있다.
일 실시예에 따르면, 상기 통화 의도와 관련된 정보는: 상기 발신자의 통화 의도를 알려주는 통화 의도 정보 및 상기 통화 의도의 확률 값을 지시하는 확률 정보를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 수신 통화의 수신 시간을 식별하고, 상기 수신 통화의 수신 시간 및 상기 적어도 하나의 어플리케이션에 포함된 상기 발신자와 연관된 데이터를 기초로, 상기 AI 모델을 이용하여 상기 발신자의 통화 의도를 분석할 수 있다.
일 실시예에 따르면, 상기 제1 그래픽 객체 및 상기 수정된 제1 그래픽 객체는, 상기 AI 모델을 이용한 통화 연결을 지시하는 아이콘을 포함할 수 있다.
일 실시예에 따르면, 상기 화면은 상기 AI 모델을 이용한 통화 연결을 수행하기 위한 타이머(timer)와 연관된 제2 그래픽 객체를 포함할 수 있다 . 전자 장치는 상기 타이머가 만료되는 것에 응답하여, 상기 제2 사용자 입력 없이, 상기 통화 연결을 수행하도록 야기할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 발신자의 통화 의도와 연관된 상기 통화 연결의 긴급도에 기초하여, 상기 타이머의 값을 설정할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 AI 모델을 이용하여, 상기 발신자의 정보 및 상기 전자 장치에 설치된 복수의 어플리케이션 사이의 상관성(correlation) 정보를 기초로, 상기 복수의 어플리케이션으로부터 상기 적어도 하나의 어플리케이션을 선택할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 통화 연결을 수행한 후에, 상기 AI 모델을 이용하여 대화의 내용(content)을 분석하고, 상기 AI 모델을 이용하여 상기 대화의 내용과 연관된 정보를 포함하는 제2 메시지를 생성하고, 상기 디스플레이를 통해 상기 제2 메시지를 디스플레이 할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 통화 연결을 종료하고, 상기 통화 연결이 종료되는 것에 기초하여, 상기 AI 모델을 이용하여 상기 통화의 전체 내용을 분석하고, 상기 디스플레이를 통해 상기 통화 중 복수의 대화의 주제에 대한 선택 옵션을 제공하는 제3 메시지를 디스플레이 하고, 상기 제3 메시지에 대한 제3 사용자 입력을 획득하고, 상기 제3 사용자 입력에 기초하여 선택된 적어도 하나의 대화의 주제에 기초하여, 상기 통화의 내용을 재구성하고, 상기 재구성된 통화의 내용의 데이터를 상기 메모리에 저장할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 통화 연결이 종료됨을 식별하는 것에 기초하여, 상기 발신자의 클래스 정보를 생성할 수 있다.
일 실시예에 따르면, 상기 클래스 정보는, 상기 발신자와의 관계에 대한 정보, 상기 발신자와의 친밀도에 대한 정보, 상기 발신자의 주요 관심사에 대한 정보, 관련성 상위 어플리케이션에 대한 정보, 대화 호응도에 대한 정보, 연락 빈도에 대한 정보, 발신자의 성향에 대한 정보, 또는 AI 어시스턴트 대화의 채택율에 대한 정보 중 적어도 하나를 포함할 수 있다.
본 문서의 일 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 일 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 일 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 일 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체들을 포함할 수 있으며, 복수의 개체들 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 일 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    통신 회로;
    프로세싱 회로를 포함하는 적어도 하나의 프로세서; 및
    명령어들을 저장하는 적어도 하나의 저장 매체를 포함하는 메모리를 포함하며, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 디스플레이를 통해 수신 통화(incoming call)에 대응하는 화면(screen)을 디스플레이 하고, 상기 화면은 상기 수신 통화의 통화 연결과 연관된 제1 그래픽 객체(graphical object)를 포함하며,
    상기 제1 그래픽 객체에 대한 제1 사용자 입력을 획득하고,
    상기 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여:
    상기 제1 그래픽 객체를 수정하여, 수정된 제1 그래픽 객체를 상기 디스플레이를 통해 디스플레이 하고, 상기 수정된 제1 그래픽 객체는 인공 지능(artificial intelligence, AI) 모델을 이용한 통화 연결과 연관되며,
    상기 AI 모델을 이용하여, 적어도 하나의 어플리케이션을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지를 생성하고, 상기 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함하고,
    상기 디스플레이를 통해 상기 제1 메시지를 디스플레이하고,
    상기 제1 메시지가 디스플레이 되는 동안, 상기 수정된 제1 그래픽 객체에 대한 제2 사용자 입력을 획득하고,
    상기 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행하고,
    상기 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 상기 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행하도록 야기하는, 전자 장치.
  2. 제1항에 있어서, 상기 통화 의도와 관련된 정보는:
    상기 발신자의 통화 의도를 알려주는 통화 의도 정보 및 상기 통화 의도의 확률 값을 지시하는 확률 정보를 포함하는, 전자 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 수신 통화의 수신 시간을 식별하고,
    상기 수신 통화의 수신 시간 및 상기 적어도 하나의 어플리케이션에 포함된 상기 발신자와 연관된 데이터를 기초로, 상기 AI 모델을 이용하여 상기 발신자의 통화 의도를 분석하도록 야기하는, 전자 장치.
  4. 제1항에 있어서, 상기 제1 그래픽 객체 및 상기 수정된 제1 그래픽 객체는, 상기 AI 모델을 이용한 통화 연결을 지시하는 아이콘을 포함하는, 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 화면은 상기 AI 모델을 이용한 통화 연결을 수행하기 위한 타이머(timer)와 연관된 제2 그래픽 객체를 포함하고,
    상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 타이머가 만료되는 것에 응답하여, 상기 제2 사용자 입력 없이, 상기 통화 연결을 수행하도록 야기하는, 전자 장치.
  6. 제5항에 있어서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 발신자의 통화 의도와 연관된 상기 통화 연결의 긴급도에 기초하여, 상기 타이머의 값을 설정하도록 야기하는, 전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 AI 모델을 이용하여, 상기 발신자의 정보 및 상기 전자 장치에 설치된 복수의 어플리케이션 사이의 상관성(correlation) 정보를 기초로, 상기 복수의 어플리케이션으로부터 상기 적어도 하나의 어플리케이션을 선택하도록 야기하는, 전자 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 통화 연결을 수행한 후에, 상기 AI 모델을 이용하여 대화의 내용(content)을 분석하고,
    상기 AI 모델을 이용하여 상기 대화의 내용과 연관된 정보를 포함하는 제2 메시지를 생성하고,
    상기 디스플레이를 통해 상기 제2 메시지를 디스플레이 하도록 야기하는, 전자 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 통화 연결을 종료하고,
    상기 통화 연결이 종료되는 것에 기초하여, 상기 AI 모델을 이용하여 상기 통화의 전체 내용을 분석하고,
    상기 디스플레이를 통해 상기 통화 중 복수의 대화의 주제에 대한 선택 옵션을 제공하는 제3 메시지를 디스플레이 하고,
    상기 제3 메시지에 대한 제3 사용자 입력을 획득하고,
    상기 제3 사용자 입력에 기초하여 선택된 적어도 하나의 대화의 주제에 기초하여, 상기 통화의 내용을 재구성하고,
    상기 재구성된 통화의 내용의 데이터를 상기 메모리에 저장하도록 야기하는, 전자 장치.
  10. 제9항에 있어서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집단적으로 실행 시, 상기 전자 장치로 하여금:
    상기 통화 연결이 종료됨을 식별하는 것에 기초하여, 상기 발신자의 클래스 정보를 생성하도록 야기하며,
    상기 클래스 정보는,
    상기 발신자와의 관계에 대한 정보, 상기 발신자와의 친밀도에 대한 정보, 상기 발신자의 주요 관심사에 대한 정보, 관련성 상위 어플리케이션에 대한 정보, 대화 호응도에 대한 정보, 연락 빈도에 대한 정보, 발신자의 성향에 대한 정보, 또는 AI 어시스턴트 대화의 채택율에 대한 정보 중 적어도 하나를 포함하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    디스플레이를 통해 수신 통화에 대응하는 화면을 디스플레이 하는 동작, 상기 화면은 상기 수신 통화의 통화 연결과 연관된 제1 그래픽 객체를 포함하며;
    상기 제1 그래픽 객체에 대한 제1 사용자 입력을 획득하는 동작;
    상기 제1 사용자 입력이 제1 조건을 만족함을 식별하는 것에 기초하여:
    상기 제1 그래픽 객체를 수정하여, 수정된 제1 그래픽 객체를 상기 디스플레이를 통해 디스플레이 하는 동작, 상기 수정된 제1 그래픽 객체는 인공 지능(artificial intelligence, AI) 모델을 이용한 통화 연결과 연관되며,
    상기 AI 모델을 이용하여, 적어도 하나의 어플리케이션을 기초로 발신자의 통화 의도와 관련된 정보를 포함하는 제1 메시지를 생성하는 동작, 상기 적어도 하나의 어플리케이션은 상기 발신자와 연관된 데이터를 포함하고,
    상기 디스플레이를 통해 상기 제1 메시지를 디스플레이하는 동작,
    상기 제1 메시지가 디스플레이 되는 동안, 상기 수정된 제1 그래픽 객체에 대한 제2 사용자 입력을 획득하는 동작,
    상기 제2 사용자 입력에 기초하여 상기 발신자와의 통화 연결을 수행하는 동작, 및
    상기 제1 사용자 입력이 제2 조건을 만족함을 식별하는 것에 기초하여, 상기 제1 메시지의 디스플레이 없이, 상기 발신자와의 통화 연결을 수행하는 동작을 포함하는, 방법.
  12. 제11항에 있어서, 상기 통화 의도와 관련된 정보는:
    상기 발신자의 통화 의도를 알려주는 통화 의도 정보 및 상기 통화 의도의 확률 값을 지시하는 확률 정보를 포함하는, 방법.
  13. 제11항 또는 제12항에 있어서, 상기 방법은:
    상기 수신 통화의 수신 시간을 식별하는 동작; 및
    상기 수신 통화의 수신 시간 및 상기 적어도 하나의 어플리케이션에 포함된 상기 발신자와 연관된 데이터를 기초로, 상기 AI 모델을 이용하여 상기 발신자의 통화 의도를 분석하는 동작을 포함하는, 방법.
  14. 제11항에 있어서, 상기 제1 그래픽 객체 및 상기 수정된 제1 그래픽 객체는, 상기 AI 모델을 이용한 통화 연결을 지시하는 아이콘을 포함하는, 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 화면은 상기 AI 모델을 이용한 통화 연결을 수행하기 위한 타이머(timer)와 연관된 제2 그래픽 객체를 포함하고, 상기 방법은:
    상기 타이머가 만료되는 것에 응답하여, 상기 제2 사용자 입력 없이, 상기 통화 연결을 수행하는 동작을 포함하는, 방법.
PCT/KR2025/008156 2024-06-29 2025-06-13 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법 Pending WO2026005352A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20240085872 2024-06-29
KR10-2024-0085872 2024-06-29
KR1020240099460A KR20260002304A (ko) 2024-06-29 2024-07-26 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법
KR10-2024-0099460 2024-07-26

Publications (1)

Publication Number Publication Date
WO2026005352A1 true WO2026005352A1 (ko) 2026-01-02

Family

ID=98222337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/008156 Pending WO2026005352A1 (ko) 2024-06-29 2025-06-13 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법

Country Status (1)

Country Link
WO (1) WO2026005352A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110127482A (ko) * 2010-05-19 2011-11-25 텔코웨어 주식회사 통화의도 송수신 방법 및 이를 구현한 시스템
US20160165038A1 (en) * 2014-12-05 2016-06-09 Microsoft Technology Licensing, Llc Digital assistant alarm system
KR20190075310A (ko) * 2017-12-21 2019-07-01 삼성전자주식회사 전화번호 연관 정보를 제공하기 위한 전자 장치 및 그의 동작 방법
KR20220128882A (ko) * 2021-03-15 2022-09-22 삼성전자주식회사 어시스턴스 모듈을 이용하여 상대방과 통신을 수행하는 전자 장치 및 그 제어 방법
KR20240046508A (ko) * 2021-08-24 2024-04-09 구글 엘엘씨 통화에 대한 음성 메뉴의 결정 및 시각적 디스플레이

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110127482A (ko) * 2010-05-19 2011-11-25 텔코웨어 주식회사 통화의도 송수신 방법 및 이를 구현한 시스템
US20160165038A1 (en) * 2014-12-05 2016-06-09 Microsoft Technology Licensing, Llc Digital assistant alarm system
KR20190075310A (ko) * 2017-12-21 2019-07-01 삼성전자주식회사 전화번호 연관 정보를 제공하기 위한 전자 장치 및 그의 동작 방법
KR20220128882A (ko) * 2021-03-15 2022-09-22 삼성전자주식회사 어시스턴스 모듈을 이용하여 상대방과 통신을 수행하는 전자 장치 및 그 제어 방법
KR20240046508A (ko) * 2021-08-24 2024-04-09 구글 엘엘씨 통화에 대한 음성 메뉴의 결정 및 시각적 디스플레이

Similar Documents

Publication Publication Date Title
WO2020045927A1 (en) Electronic device and method for generating short cut of quick command
WO2020032443A1 (en) Electronic device supporting personalized device connection and method thereof
WO2022010157A1 (ko) 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2022131521A1 (ko) 터치스크린을 포함하는 입력 장치와 이의 동작 방법
WO2020166809A1 (en) Speech recognition function-equipped electronic device and operation-related notification method thereof
WO2022139420A1 (ko) 전자 장치 및 그의 연속성을 가지는 사용자 입력에 대한 실행 정보를 공유하는 방법
WO2024043729A1 (ko) 전자 장치 및 전자 장치의 사용자에 대한 응답 처리 방법
WO2024063507A1 (ko) 전자 장치 및 전자 장치의 사용자 발화 처리 방법
WO2026005352A1 (ko) 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법
WO2022163963A1 (ko) 전자 장치 및 전자 장치의 단축 명령어 수행 방법
WO2026005234A1 (ko) 모델을 이용하여 미디어 콘텐트를 획득하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2026038686A1 (ko) 적어도 하나의 프롬프트를 포함하는 스티커를 표시하는 장치 및 방법
WO2025058315A1 (ko) 화면 캡처 방법 및 그 전자 장치
WO2023085851A1 (ko) 추천 정보를 표시하는 방법 및 전자 장치
WO2026023817A1 (ko) 이미지에 기능을 적용하는 전자 장치, 이의 동작 방법, 및 기록 매체
WO2026010142A1 (ko) 통화 내의 발화의 번역을 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2026071467A1 (ko) 인공지능 모델을 이용하여 대화 맥락에 기반한 응답 메시지를 생성하는 전자 장치, 이의 제어 방법 및 저장 매체
WO2024258185A1 (ko) 어플리케이션의 실행 화면 내에 데이터를 삽입하는 전자 장치 및 방법과, 기록매체
WO2025058310A1 (ko) 요약 컨텐츠 제공 방법 및 그 전자 장치
WO2026005251A1 (ko) 생성형 인공지능 모델을 이용하여 컨텐트를 제공하는 전자 장치와 이의 동작 방법
WO2025005553A1 (ko) 음성 신호 처리 방법 및 상기 방법을 수행하는 전자 장치
WO2024076139A1 (ko) 전자 장치 및 상기 전자 장치에서 사용자의 발화를 처리하는 방법
WO2023132470A1 (ko) 사용자 발화를 처리하는 서버, 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827317

Country of ref document: EP

Kind code of ref document: A1