WO2023163403A1 - 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치 - Google Patents

스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치 Download PDF

Info

Publication number
WO2023163403A1
WO2023163403A1 PCT/KR2023/001441 KR2023001441W WO2023163403A1 WO 2023163403 A1 WO2023163403 A1 WO 2023163403A1 KR 2023001441 W KR2023001441 W KR 2023001441W WO 2023163403 A1 WO2023163403 A1 WO 2023163403A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
screenshot
metadata
application
processor
Prior art date
Application number
PCT/KR2023/001441
Other languages
English (en)
French (fr)
Inventor
박재성
박이훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220036592A external-priority patent/KR20230128929A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/312,105 priority Critical patent/US20230273842A1/en
Publication of WO2023163403A1 publication Critical patent/WO2023163403A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Definitions

  • a method for generating a screenshot according to various embodiments and an electronic device performing the method.
  • Screenshots which are image files, may be generated by capturing a screen output on a display using an electronic device in a mobile environment. Created screenshots can be used mainly for the purpose of storing and sharing information.
  • the screen shot can be utilized in an application or shared to an external electronic device based on the screenshot and/or metadata.
  • a shot generating method and an electronic device performing the method may be provided.
  • a method for generating a screenshot capable of improving user convenience by generating a screenshot and metadata, which is additional information related to the screenshot, and using the metadata together with the screenshot, and performing the method It is possible to provide an electronic device that does.
  • a usage state when capturing a screenshot is accessed according to a path that outputs the screen of a web browser or application when capturing a screenshot, using metadata generated together with the screenshot.
  • a method for generating a screen shot and an electronic device performing the method may be provided.
  • An electronic device is electrically connected directly or indirectly to a display module including at least one display, at least one processor, and the processor, and by the at least one processor. and a memory for storing commands that can be executed, and the at least one processor, when the command is executed, captures a screen output on the display module, generates a screen shot, and stores metadata related to the screen shot.
  • the screen shot and the metadata may be stored in the memory, and the metadata may include a path for outputting the screen when the screen shot is captured.
  • An electronic device includes a display module, a processor, and commands electrically connected directly or indirectly to the processor and executed by the processor, a first application, and a second application.
  • the processor captures a screen output to the display module by the first application, generates a screenshot, and based on an execution state of the first application , Determines metadata related to the screenshot, transmits the screenshot and the metadata to the second application based on an input received from a user, and uses the screenshot and the metadata to determine the first application.
  • Controls the application, and the metadata may include a path for outputting the screen when the screen shot is captured.
  • a screenshot generation method includes an operation of capturing a screen output on a display module and generating a screenshot, an operation of determining metadata related to the screenshot, and an operation of storing the screenshot and the metadata in a memory.
  • a saving operation may be included, and the metadata may include a path for outputting the screen when the screen shot is captured.
  • a screenshot generation method and an electronic device performing the method reproduce a usage state when capturing a screenshot using metadata, or convert an input item of an application utilizing the screenshot to meta data. Enter using data, or share metadata when sharing a screenshot, so that the user can check after capturing the screenshot, utilize the screenshot using an application, or share the screenshot for user convenience.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 is a block diagram illustrating a program according to various embodiments.
  • FIG. 3 is a diagram illustrating an operation of generating a screen shot and metadata by an electronic device according to various embodiments.
  • 4A, 4B, and 4C are diagrams illustrating screenshots and metadata generated by an electronic device according to various embodiments.
  • FIG. 5 is a diagram illustrating an operation of generating a screen shot and metadata by an electronic device according to various embodiments.
  • FIG. 6 is a diagram illustrating an operation of generating a screenshot and metadata by an electronic device according to various embodiments, and utilizing and sharing the generated screenshot and metadata.
  • FIG. 7 and 8 are diagrams illustrating an electronic device for controlling a reminder application according to various embodiments.
  • FIG. 8 is a diagram illustrating an operation of an electronic device inputting input items of a reminder application using screenshots and metadata according to various embodiments.
  • FIGS. 9 and 10 are diagrams illustrating operations of capturing a chat application being executed by an electronic device and controlling a reminder application, according to various embodiments.
  • 11 and 12 are diagrams illustrating operations of capturing a running map application and controlling a reminder application by an electronic device according to various embodiments.
  • FIG. 13 is a diagram illustrating an operation of an electronic device inputting an input item of an email application using a screenshot and metadata according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the at least one processor 120 executes software (eg, the program 140) to at least one other component of the electronic device 101 that is directly or indirectly connected to the at least one processor 120. It can control elements (eg hardware or software components) and can perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 including at least one display may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 including at least one sensor detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and responds to the detected state. It can generate electrical signals or data values.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be directly or indirectly physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 including at least one communication circuitry is directly connected between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment of a (eg, wired) communication channel or wireless communication channel, and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the program 140 includes an operating system 142, middleware 144, or an application 146 executable in the operating system 142 for controlling one or more resources of the electronic device 101.
  • the operating system 142 may include, for example, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, or BadaTM.
  • At least some of the programs 140 are, for example, preloaded in the electronic device 101 at the time of manufacture, or when used by a user, an external electronic device (eg, the electronic device 102 or 104), or a server ( 108)) can be downloaded or updated.
  • the operating system 142 may control management (eg, allocation or reclamation) of one or more system resources (eg, process, memory, or power) of the electronic device 101 .
  • Operating system 142 may additionally or alternatively include other hardware devices of electronic device 101 , such as input module 150 , sound output module 155 , display module 160 , audio module 170 . , sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or It may include one or more driver programs for driving the antenna module 197.
  • the middleware 144 may provide various functions to the application 146 so that the function or information provided from one or more resources of the electronic device 101 may be used by the application 146 .
  • the middleware 144 includes, for example, the application manager 201, the window manager 203, the multimedia manager 205, the resource manager 207, the power manager 209, the database manager 211, and the package manager 213. ), connectivity manager 215, notification manager 217, location manager 219, graphics manager 221, security manager 223, call manager 225, or voice recognition manager 227. can
  • the application manager 201 may manage the life cycle of the application 146 , for example.
  • the window manager 203 may manage one or more GUI resources used in a screen, for example.
  • the multimedia manager 205 identifies, for example, one or more formats necessary for reproducing media files, and encodes or decodes a corresponding media file among the media files using a codec suitable for the selected format. can be done
  • the resource manager 207 may manage a source code of the application 146 or a memory space of the memory 130 .
  • the power manager 209 may manage, for example, the capacity, temperature, or power of the battery 189, and determine or provide related information necessary for the operation of the electronic device 101 by using corresponding information among them. . According to an embodiment, the power manager 209 may interoperate with a basic input/output system (BIOS) (not shown) of the electronic device 101 .
  • BIOS basic input/output system
  • the database manager 211 may create, search, or change a database to be used by the application 146, for example.
  • the package manager 213 may manage installation or update of applications distributed in the form of package files, for example.
  • the connectivity manager 215 may manage, for example, a wireless connection or a direct connection between the electronic device 101 and an external electronic device.
  • the notification manager 217 may provide a function for notifying a user of occurrence of a designated event (eg, an incoming call, message, or alarm), for example.
  • the location manager 219 may manage location information of the electronic device 101, for example.
  • the graphic manager 221 may manage, for example, one or more graphic effects to be provided to a user or a user interface related thereto.
  • Security manager 223 may provide system security or user authentication, for example.
  • the telephony manager 225 may manage, for example, a voice call function or a video call function provided by the electronic device 101 .
  • the voice recognition manager 227 transmits, for example, the user's voice data to the server 108, and at least partially based on the voice data, a command corresponding to a function to be performed in the electronic device 101; Alternatively, text data converted at least partially based on the voice data may be received from the server 108 .
  • the middleware 144 may dynamically delete some existing components or add new components.
  • at least part of the middleware 144 may be included as part of the operating system 142 or may be implemented as separate software different from the operating system 142 .
  • “based on” includes “based on at least”.
  • the application 146 includes, for example, a home 251, a dialer 253, an SMS/MMS 255, an instant message (IM) 257, a browser 259, a camera 261, and an alarm 263. , Contacts (265), Voice Recognition (267), Email (269), Calendar (271), Media Player (273), Albums (275), Watch (277), Health (279) (e.g. exercise or blood sugar) measurement of biometric information) or environmental information 281 (eg, measurement of atmospheric pressure, humidity, or temperature information). According to an embodiment, the application 146 may further include an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and an external electronic device.
  • an information exchange application not shown
  • the information exchange application may include, for example, a notification relay application configured to transmit designated information (eg, a call, message, or alarm) to an external electronic device, or a device management application configured to manage an external electronic device.
  • the notification relay application for example, transmits notification information corresponding to a designated event (eg, mail reception) generated in another application (eg, the email application 269) of the electronic device 101 to an external electronic device.
  • the notification relay application may receive notification information from an external electronic device and provide the notification information to the user of the electronic device 101 .
  • the device management application is, for example, a power source (eg, turn-on or turn-off) of an external electronic device that communicates with the electronic device 101 or some component thereof (eg, a display module or a camera module of the external electronic device). ) or functions (eg brightness, resolution, or focus).
  • the device management application may additionally or alternatively support installation, deletion, or update of an application operating in an external electronic device.
  • FIG. 3 is a diagram illustrating an operation of generating a screenshot 230 and metadata 240 by an electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments.
  • an electronic device 101 includes a memory (eg, the memory 130 of FIG. 1 ), a display module (eg, the display module 160 of FIG. 1 ), and a processor (eg, the memory 130 of FIG. 1 ).
  • the processor 120 of FIG. 1) may be included.
  • the processor 120 of the electronic device 101 may generate a screen shot 230 by capturing a screen output to the display module 160 .
  • the generated screenshot 230 may be stored in the memory 130 .
  • the processor 120 of the electronic device 101 may determine metadata 240 related to the screenshot 230 and store it in the memory 130 .
  • the screenshot 230 generated by the processor 120 means a screen output to the display module 160 according to the first application 146-1 (eg, the application 146 of FIG. 2) being executed. can do.
  • the screen output to the display module 160 according to the first application 146-1 may include a graphic UI, images, videos, and text provided by the first application 146-1.
  • the processor 120 may transmit the screenshot 230 and the metadata 240 to the second application 146-2 (eg, the application 146 of FIG. 2).
  • the processor 120 may control the second application 146 - 2 using the screenshot 230 and metadata 240 .
  • the processor 120 may input at least one input item among the input items of the second application 146-2 using the screenshot 230 and/or the metadata 240.
  • the processor 120 may control the second application 146-2 to attach the screenshot 230 to at least one of input items of the second application 146-2.
  • the processor 120 may control the second application 146 - 2 to edit the screenshot 230 using the metadata 240 .
  • the processor 120 may edit the screenshot 230 using text such as a path, a capture location, a capture time, device information, and a tag included in the metadata 240, using the metadata 240. there is.
  • at least one of text information included in the metadata 240 may be overlaid on the screenshot 230 image.
  • the electronic device 101 may transmit the screenshot 230 and metadata 240 to the external electronic device 300 (eg, the electronic devices 102 and 104 of FIG. 1 ).
  • the external electronic device 300 may use the screenshot 230 and the metadata 240 in substantially the same way as the electronic device 101 uses the screenshot 230 and the metadata 240 .
  • the external electronic device 300 may use the screenshot 230 and metadata 240 to access a usage state when the screenshot 230 is captured by the electronic device 101 .
  • the external electronic device 300 may control the application 146 included in the external electronic device 300 using the screenshot 230 and metadata 240 .
  • the electronic device 101 may transmit the screenshot 230 and metadata 240 to the server 400 (eg, the server 108 of FIG. 1 ).
  • the electronic device 101 may receive an application list from the server 400 in response to the transmitted screenshot 230 and metadata 240 .
  • the server 400 may include a trained recommendation model.
  • the recommendation model of the server 400 may output an application list using the input screenshot 230 and metadata 240 .
  • the application list may refer to a list of applications 146 utilizing the screenshot 230 and metadata 240 .
  • the electronic device 101 receives a list of applications 146 that can appropriately utilize the screenshot 230 and/or the metadata 240 from the learned recommendation model, and displays the screenshot 230 and/or the metadata.
  • the usability of (240) can be increased.
  • a recommendation model may be trained using training data and target data.
  • training data may include screenshots 230 and/or metadata 240 .
  • the target data may include applications 146 utilized by users using the screenshot 230 and/or the metadata 240 .
  • the server 400 may collect learning data and target data from a plurality of electronic devices 101 .
  • the server 400 receives the screenshot 230 and metadata 240 generated from the electronic devices 101, and the application using the generated screenshot 230 and metadata 240 ( 146) may be received.
  • the server 400 uses the received screenshot 230 and metadata 240 as learning data, and converts the list of applications 146 using the generated screenshot 230 and metadata 240 into target data.
  • the recommendation model can be trained.
  • a recommendation model training device distinct from the server 400 may train a recommendation model using the learning data and target data collected by the server 400 .
  • the metadata 240 included in the training data includes the application 146 (eg, the first application 146-1 of FIG. 3), the screenshot 230 being executed when the screenshot 230 is generated. ) is generated, the path accessible to the execution state when the running application 146 outputs to the display module 160, image, video, text, screenshot 230, capture time, It may include capture location, model name of the electronic device 101 generating the screenshot 230, device information such as OS version, tag information, and connected device information.
  • the application 146 running is one or a plurality of applications 146 that output a UI, image, video, text, etc. to the display module 160 when the screenshot 230 is generated. can mean
  • the electronic device 101 may use the life cycle of the application 146 to determine the application 146 outputting at least one of UI, image, video, and text to the display module 160. .
  • a mode eg, multi-window mode
  • two or more All of the applications 146 can be included in the metadata.
  • the electronic device 101 may manage the life cycle of the application 146 using an application manager (eg, the application manager 201 of FIG. 2 ).
  • the metadata 240 included in the training data for training the recommendation model is the situation when the user creates the screenshot 230 using the electronic device 101 and the utilization of the screenshot 230.
  • the purpose, when the screenshot 230 is generated, may include information provided to the user by the application 146 being executed.
  • the recommendation model may be trained using training data including the metadata 240 and output a list of applications suitable for utilizing the screenshot 230 and/or the metadata 240 generated by the user.
  • the electronic device 101 may transmit a screenshot 230 , metadata 240 and an application 146 to the server 400 .
  • the electronic device 101 may receive an application control signal from the server 400 in response to the transmitted screenshot 230 , metadata 240 , and application 146 .
  • the application 146 that the electronic device 101 transmits to the server 400 may refer to an application 146 selected by a user to use the screenshot 230 and/or metadata 240 .
  • the electronic device 101 may input the screenshot 230 and metadata 240 to at least one of input items of the application 146 by using the received application control signal.
  • the electronic device 101 may input the screenshot 230 and/or metadata 240 to an input item of the application 146 by using the learned editing model.
  • the electronic device 101 may increase the usability of the screenshot 230 and/or the metadata 240 by providing an appropriate input to the input item of the application 146 using the learned editing model.
  • the server 400 may include an editing model.
  • the server 400 converts the screenshot 230, the metadata 240, and the application 146 to learning data, the screenshot 230 and/or the metadata 240 entered into the input item of the application 146. ) as target data, the editing model can be trained.
  • training of the editing model may be performed substantially the same as training of the recommendation model.
  • the server 400 includes screenshots 230 generated from electronic devices 101, metadata 240 and applications 146, and screenshots 230 input to input items of the applications 146. and/or receive metadata 240 .
  • the server 400 or the editing model training device may learn the editing model using the learning data and the target data received by the server 400 .
  • the electronic device 101 may include a learned recommendation model and/or an editing model.
  • the electronic device 101 may output an application list and/or an application control signal by using a recommendation model and/or an editing model included in the electronic device 101 .
  • a neural network model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), or It may be one of deep Q-networks, but is not limited to the above example.
  • a neural network model may additionally or alternatively include a software structure in addition to a hardware structure.
  • FIG. 4A, 4B, and 4C show screenshots (eg, screenshot 230 of FIG. 3 ) and metadata (eg, the electronic device 101 of FIG. 1 ) generated by an electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments.
  • the electronic device 101 may generate a screen shot 230 as shown in FIG. 4A.
  • a screen output to a display module is an application (eg, the application 146 of FIG. 2) or a browser ( Example: UI, image, video, and text output to the display module 160 by the browser 259 of FIG. 2 may be included.
  • the electronic device 101 may create a screenshot 230 based on a screen output on the display module 160 .
  • the electronic device 101 may generate a screenshot 230 in the form of an image file and store the generated screenshot 230 in a memory (eg, the memory 130 of FIG. 1 ).
  • FIG. 4B is a diagram illustrating an application list provided by the electronic device 101 according to an embodiment.
  • the application list may relate to an application 146 related to the generated screenshot 230 .
  • the application list may mean applications 146 that can use the generated screenshot 230 and/or metadata 240 .
  • FIG. 4B when the electronic device 101 receives an input for selecting one of the application lists from the user, the electronic device 101 displays the generated screenshot 230 and/or metadata 240 as the selected one. It can be transmitted to the application 146.
  • the electronic device 101 may provide an output application list using a learned application 146 recommendation model based on metadata 240. .
  • 4C is a diagram illustrating metadata 240 generated by the electronic device 101 according to an embodiment.
  • the electronic device 101 may determine the metadata 240 when generating the screenshot 230 .
  • the time when the screen shot 230 was created by the electronic device 101 , the location of the electronic device 101 , information on the device, the running application 146 , the electronic device 101 directly or Metadata 240 may be determined based on the indirectly connected external electronic device 300 .
  • the processor 120 of the electronic device 101 may determine the metadata 240 by using information processed by the application 146 being executed.
  • information processed by the application 146 may include a UI, image, video, and text processed and provided by the application 146 .
  • information processed by the application 146 in the screenshot 230 of FIG. 4A may include an image, UI, text, and the like.
  • Metadata 240 may include a path.
  • the path may refer to an access path to output a screen when the screenshot 230 is captured.
  • the electronic device 101 may access a usage state when the screenshot 230 is captured using a path.
  • accessing the use state when capturing the screenshot 230 means reproducing the use state of the application 146, the browser 259, etc. when the screenshot 230 is captured. can
  • the electronic device 101 may capture the screen shot 230 while the browser 259 is running and the web page A is running.
  • the electronic device 101 receives an input for selecting a path from the captured screenshot 230 from the user, the electronic device 101 executes the browser 259, accesses web page A, and opens web page A. It can be output to the display module 160.
  • the electronic device 101 may capture a screenshot 230 while application A is being executed.
  • the electronic device 101 receives an input for selecting a path from the captured screenshot 230 from the user, the electronic device 101 executes application A, and application A when capturing the screenshot 230
  • the execution state of can be output to the display module 160.
  • accessing the usage state when screenshot 230 was captured could mean reproducing the usage state of application 146 .
  • the electronic device 101 may capture the stored contact information of A as a screen shot 230 while the contact application 146 is running.
  • the electronic device 101 executes the contact application 146 and outputs the contact information of A to the display module 160. can do.
  • the browser 259 By executing, you can connect to the displayed 'http://abc.com/' address.
  • the displayed address 'http://abc.com/' may mean the web page address of FIG. 4A or 4B.
  • the electronic device 101 may store information on the application 146 being executed.
  • an access path eg, 'Direct Link' in FIG. 4C
  • the metadata 240 generated by the electronic device 101 may include information on the application 146 being executed.
  • the electronic device 101 may determine a tag using the screenshot 230 .
  • the electronic device 101 determines product A as a tag using an application A that is executed when capturing a screenshot 230 and an image, text, video, etc. included in the screenshot 230. can
  • the electronic device 101 may transmit the screenshot 230 and metadata 240 to the external electronic device 300 .
  • the external electronic device 300 may access a state when the screenshot 230 is captured in the electronic device 101 using the path included in the metadata 240 .
  • the electronic device 101 captures a screenshot 230 while application A is running as shown in FIG. 4A, and transfers the generated screenshot 230 and metadata 240 to the external electronic device 300 can be sent to Using the path in the received metadata 240 as shown in FIG. 4c, the external electronic device 300 can access in the state shown in FIG. 4a.
  • the external electronic device eg, the external electronic device 300 of FIG. 3
  • the external electronic device executes the application A, and the page of FIG. 4A is executed.
  • an execution state when the screen shot 230 is captured in the electronic device 101 can be reproduced.
  • the metadata 240 determined by the electronic device 101 may include device information.
  • the device information may include the model, type, form factor, OS type or version of the electronic device 101 .
  • the electronic device 101 may determine the metadata 240 based on at least one of an application 146 being executed or an object included in the screenshot 230.
  • the electronic device 101 may determine the metadata 240 based on the application 146 running when capturing the screenshot 230 . For example, when the application 146 being executed is 'Game A', the electronic device 101 provides 'Game A' link addresses of 'Game A' official sites and link addresses of 'Game A' target sites. It is possible to determine metadata 240 including a link address of a site related to '.
  • the electronic device 101 may determine the metadata 240 based on the object included in the screenshot 230 .
  • the electronic device 101 may identify an object included in the screenshot 230 .
  • the electronic device 101 may identify an object through image analysis of the screenshot 230 .
  • the screen shot 230 includes information on the application 146 being executed, tag information, and text information processed by the application 146. object can be identified.
  • the electronic device 101 provides a link address for a recipe search result for food, a link address for a recipe search result for food from a website about a cooking method, and food.
  • a link address of a sales site and a link address of a search result for information related to cooking may be determined as the metadata 240 .
  • the electronic device 101 may determine a link address related to the accommodation establishment as metadata.
  • link addresses related to accommodations include website link addresses of accommodations, website link addresses of other accommodations adjacent to the accommodations, websites of tourist attractions or famous restaurants in the vicinity of the accommodations, or search result link addresses. , it may mean an accommodation or a link address related to the location of an accommodation.
  • the electronic device 101 may determine a link address related to the product as metadata.
  • the electronic device 101 may determine a link address of the home appliance as metadata 240 .
  • a link address related to home appliances may mean a website link address of a manufacturer or seller of information home appliances, or a link address of a home appliance sales website.
  • the electronic device 101 may transmit metadata 240 to the external electronic device 300 when transmitting the screenshot 230 to the external electronic device 300 .
  • the electronic device 101 may transmit an access path or link address included in the metadata 240 to an external electronic device.
  • the electronic device 101 may transmit at least one of the items included in the metadata 240 as text to the external electronic device 300 .
  • the electronic device 101 transmits the screenshot 230 through a chatting application or sends the screenshot 230 to the external electronic device 300 through a message application (eg, the SMS/MMS application 255 of FIG. 2 ). can transmit
  • the electronic device 101 may transmit at least one of the items included in the metadata 240 along with the screenshot 230 as text to the external electronic device 300 .
  • the electronic device 101 when capturing the screenshot 230, the electronic device 101 transfers the metadata 240 determined based on the running application 146 or the object included in the screenshot 230 to the external electronic device 101. ) can be transmitted.
  • the electronic device 101 may transmit the access path of the metadata 240 to the external electronic device 300 .
  • the electronic device 101 transmits the link address of the official site of 'game A'. It can be transmitted to the external electronic device 300.
  • the electronic device 101 may combine the metadata 240 with the screenshot 230 .
  • the electronic device may transmit the screenshot 230 in which the metadata 240 is combined to the external electronic device 300 .
  • the electronic device 101 may display an input item for selecting an access path or link address included in the metadata 240 in the image of the screenshot 230 .
  • the electronic device 101 or the external electronic device 300 may access a usage state when capturing the screenshot 230 .
  • the external electronic device 300 may access the link address included in the metadata 240 .
  • the link address may refer to a link address of an official website of 'Game A' described above, a link address of a food-related website, and the like.
  • the electronic device 101 may determine the metadata 240 without being limited to the above example.
  • the electronic device 101 may determine the metadata 240 according to the user's input. For example, when capturing a screenshot 230 , the electronic device 101 may determine a link address or tag information input by a user as metadata 240 .
  • FIG. 5 illustrates a screen shot (eg, screenshot 230 of FIG. 3 ) and metadata (eg, metadata of FIG. 3 ) of an electronic device (eg, electronic device 101 of FIG. 1 ) according to various embodiments. 240)) is a diagram showing the operation of generating.
  • the electronic device 101 may create a screenshot 230 by capturing a screen output on a display module (eg, the display module 160 of FIG. 1).
  • the electronic device 101 displays an application (eg, the application 146 of FIG. 2 ), an OS, a web browser (eg, the browser 259 of FIG. 2 ), and the like, on the display module 160 .
  • the electronic device 101 may generate a screen shot 230 by receiving an input for capturing a screen from a user.
  • the electronic device 101 may determine metadata 240 related to the screenshot 230 in operation 520 .
  • the electronic device 101 may determine metadata 240 including path, capture time, capture location, device information, tags, and connected device information.
  • the metadata 240 is generated by using information processed in a running process, such as an application 146, a browser 259, an OS, etc. can decide
  • the information processed in the running process may include a UI, image, video, and text output to the display module 160 .
  • the electronic device 101 may determine the metadata 240 using a UI, image, video, or text that is not output to the display module 160 .
  • the electronic device 101 may store the screenshot 230 and metadata 240 in the memory 130 in operation 530 .
  • the electronic device 101 transfers the screenshot 230 and metadata 240 stored in the memory 130 to a server (eg, the server 400 of FIG. 3), an external electronic device (eg, the external electronic device of FIG. 3 ( 300)), it can be transmitted to the application 146 of the electronic device 101.
  • a server eg, the server 400 of FIG. 3
  • an external electronic device eg, the external electronic device of FIG. 3 ( 300)
  • FIG. 6 is a screen shot (eg, screenshot 230 of FIG. 3 ) and metadata (eg, metadata (eg, metadata of FIG. 3 ) of an electronic device (eg, electronic device 101 of FIG. 1 ) according to various embodiments 240)), and the generated screenshot 230 and metadata 240 are utilized and shared.
  • metadata eg, metadata (eg, metadata of FIG. 3 ) of an electronic device (eg, electronic device 101 of FIG. 1 ) according to various embodiments 240)
  • the generated screenshot 230 and metadata 240 are utilized and shared.
  • the electronic device 101 may generate a screen shot 230 by capturing a screen in operation 610 .
  • operation 610 the description of operation 510 of FIG. 5 may be substantially equally applied.
  • the electronic device 101 may identify the location and time of generating the screenshot 230.
  • the electronic device 101 may identify the location of the electronic device 101 using GPS.
  • the electronic device 101 may determine tag information based on an application (eg, the application 146 of FIG. 2 ) in operation 630 .
  • an application eg, the application 146 of FIG. 2
  • the electronic device 101 may determine tag information using a UI, image, video, or text related to the application 146 being executed.
  • the electronic device 101 captures the screenshot 230 based on the running browser 259 and OS (eg, the operating system 142 of FIG. 1 ), tagging information can be determined.
  • the electronic device 101 may identify the external electronic device 300 in operation 640 .
  • the electronic device 101 may identify the external electronic device 300 wired or wirelessly connected through a communication module (eg, the communication module 190 including the communication circuit of FIG. 1 ).
  • the electronic device 101 may determine metadata 240 related to the screenshot 230 in operation 650 .
  • the electronic device 101 may determine metadata 240 including a capture location, a capture time, a tag, and a connected external electronic device 300 .
  • the electronic device 101 may transmit the screenshot 230 and metadata 240 to the application 146 in operation 660 .
  • the application 146 receiving the screenshot 230 and metadata 240 utilizes the screenshot 230 and/or metadata 240 based on the input received from the user. ) can mean.
  • the electronic device 101 may control the application 146 based on the screenshot 230 and metadata 240 in operation 670 .
  • the electronic device 101 may determine at least one input item among input items of the application 146 based on the screenshot 230 and the metadata 240 .
  • the electronic device 101 may attach the screenshot 230 to an input item of the application 146 .
  • the electronic device 101 may transmit the screenshot 230 and metadata 240 to an external electronic device (eg, the external electronic device 300 of FIG. 3 ) in operation 680 .
  • the electronic device 101 transfers metadata 240 related to user information logged into the electronic device 101 to the external electronic device 300 based on user information logged into the external electronic device 300 . can transmit
  • the electronic device 101 may transmit metadata 240 related to the user information to the external electronic device 300.
  • the electronic device 101 provides metadata other than the metadata 240 related to the user information. 240 may be transmitted to the external electronic device 300 .
  • the metadata 240 related to user information may refer to data related to the user's personal information, such as capture location, capture time, device information, and connected external electronic device 300 .
  • 7 to 13 below represent a screen output on the display module 160 of the electronic device 101, and are understood to represent a captured screen shot 230 or an application 146 being executed. It can be.
  • FIGS. 7 and 8 are diagrams illustrating an electronic device (eg, the electronic device 101 of FIG. 1 ) that controls a reminder application (eg, the application 146 of FIG. 2 ) according to various embodiments.
  • 8 is a screen shot (eg, screenshot 230 of FIG. 3 ) and metadata (eg, metadata (eg, metadata of FIG. 3 ) shown in FIGS. 240)) represents an operation of controlling the reminder application 146.
  • the reminder application 146 may include input items such as title, time, place, attachment, and memo.
  • the reminder application 146 may be understood as an application that notifies the user at a set time.
  • the electronic device 101 may control an application 146 based on a screenshot 230 and metadata 240 .
  • the electronic device 101 may attach the screenshot 230 to at least one of input items of the application 146 .
  • the electronic device 101 may input the metadata 240 into at least one of input items of the application 146 .
  • the electronic device 101 may input at least one of the input items of the application 146 based on the screenshot 230 and metadata 240 .
  • the electronic device 101 may input the input items of the reminder application 146, namely title, time, place, attached file, and memo, using the screenshot 230 and metadata 240.
  • the electronic device 101 may input the screenshot 230 and the metadata 240 into at least one of the input items of the application 146 by using the learned editing model.
  • the electronic device 101 may output the application control signal by inputting the screenshot 230 and metadata 240 to the learned editing model.
  • the electronic device 101 may attach or input the screenshot 230 and/or metadata 240 to the input item of the application 146 by using the application control signal, as shown in FIG. 8 .
  • FIG. 9 and 10 capture a chat application (eg, the application 146 of FIG. 2 ) being executed by an electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments, and a reminder application (eg, the electronic device 101 of FIG. 1 ).
  • FIG. 2 is a diagram showing an operation of controlling the application 146).
  • the electronic device 101 may determine the metadata 240 based on the application 146 . For example, when the electronic device 101 captures a screenshot (eg, the screenshot 230 of FIG. 3 ), the electronic device 101 uses the UI, image, video, and text of the running application 146 to provide metadata (eg, the screenshot 230 of FIG. 3 ). Metadata 240 of FIG. 3 may be determined.
  • the electronic device 101 may determine the metadata 240 using text provided by the chatting application 146 being executed. For example, the electronic device 101 uses the text processed by the chatting application 146 and outputted to the display module 160 to generate the metadata 240 'promise content: meet A, XX month XX day XX:00 , YY station' can be determined. The electronic device 101 may attach the screenshot 230 to an attachment item of the reminder application 146 .
  • the electronic device 101 may input the title, time, and place among input items of the reminder application 146 based on text processed by the chatting application 146 . Based on the metadata 240, the electronic device 101 may input the title, time, and place as 'Meeting A', 'XX month XX day XX o'clock', and 'YY station', respectively.
  • the electronic device 101 may include a natural language understanding module for understanding the intent of text.
  • the electronic device 101 may determine the intention from the text received from the application 146 using a natural language understanding module.
  • the natural language understanding module may determine the intent of the text by performing syntactic analysis or semantic analysis.
  • the natural language understanding module of an embodiment may determine the intent of the text by determining the meaning of words included in the text using linguistic features (eg, grammatical elements) of morphemes or phrases, and matching the meaning of the identified words to the intent. there is.
  • the electronic device 101 may receive text included in the screenshot 230 of FIG. 9 from the application 146 .
  • the electronic device 101 may determine the intention of the received text using the natural language understanding module.
  • the electronic device 101 may determine the intention of proposing an appointment time and place from the text included in the screenshot 230 of FIG. 9 using a natural language understanding module.
  • 11 and 12 show that an electronic device (eg, the electronic device 101 of FIG. 1 ) captures a running map application (eg, the application 146 of FIG. 2 ) and a reminder application (eg, the electronic device 101 of FIG. 1 ) according to various embodiments of the present disclosure.
  • a running map application eg, the application 146 of FIG. 2
  • a reminder application eg, the electronic device 101 of FIG. 1
  • a screenshot eg, screenshot 230 of FIG. 3
  • the electronic device 101 captures the screenshot 230 and
  • the reminder application 146 may be controlled using metadata (eg, the metadata 240 of FIG. 3 ).
  • the electronic device 101 uses the metadata 240 determined according to the image and/or text information of the map application 146, as shown in FIG. 12, among input items of the reminder application 146, name, time, You can enter the location and memo items.
  • the electronic device 101 may input the generated screen shot 230 to an attachment item.
  • FIG. 12 when the electronic device 101 receives an input for selecting 'view with hospital A map application 146' of the metadata 240, it executes the map application 146 and takes a screenshot 230. ) may be output to the display module 160 as shown in FIG. 11 .
  • the electronic device 101 may determine tags, addresses, business hours, homepages, and phone numbers as metadata 240 using text processed by the map application 146 .
  • the electronic device 101 may input the screen shot 230 generated as shown in FIG. 12 in the form of an image to a memo item and attach the image file of the screenshot 230 to an attachment item.
  • FIG. 13 is a screen shot (eg, the screen of FIG. 3 ) of an email application (eg, the application 146 of FIG. 2 ) by an electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments of the present disclosure. It is a diagram showing an operation of inputting using the shot 230) and metadata (eg, the metadata 240 of FIG. 3).
  • the electronic device 101 may control the email application 146 using the screenshot 230 and metadata 240 generated as shown in FIG. 13 .
  • the electronic device 101 may input the generated metadata 240 as the body of the email.
  • the electronic device 101 may input the subject of the email using the generated metadata 240 .
  • the electronic device 101 may use the tag of the metadata 240 to input 'product A' as the title of the email.
  • An electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments includes a display module including at least one display (eg, the display module 160 of FIG. 1 ), and at least one processor (eg, the display module 160 of FIG. 1 ).
  • a shot 230) is created, metadata related to the screenshot 230 (eg, metadata 240 of FIG. 3) is determined, and the screenshot 230 and the metadata 240 are Stored in the memory 130, the metadata 240 may include a path to output the screen when the screenshot 230 is captured.
  • the processor 120 identifies the location and time of the electronic device 101 generating the screenshot 230 at the time of generating the screenshot 230, and the application (eg: Based on the application 146 of FIG. 2 , tag information of the screenshot 230 is determined, and an external electronic device connected to the electronic device 101 (eg, the external electronic device 300 of FIG. 3 ) can be identified.
  • the application eg: Based on the application 146 of FIG. 2 , tag information of the screenshot 230 is determined, and an external electronic device connected to the electronic device 101 (eg, the external electronic device 300 of FIG. 3 ) can be identified.
  • the processor 120 transmits the screenshot 230 and the metadata 240 to the application 146 based on the input received from the user, and the screenshot 230 and the metadata 240 ), the application 146 can be controlled.
  • Each processor may include processing circuitry.
  • the processor 120 attaches the screenshot 230 to at least one of the input items of the application 146 and inputs the metadata 240 to at least one of the input items of the application 146.
  • the processor 120 may provide an output application list using a learned recommendation model based on the metadata 240 .
  • the processor 120 may input the screenshot 230 and the metadata 240 into at least one of input items of the application 146 by using the learned editing model.
  • the processor 120 converts the screenshot 230 and the metadata 240 to an external electronic device connected to the electronic device 101 that generated the screenshot 230 based on an input received from a user. (300).
  • the processor 120 transmits the metadata 240 related to the user information logged into the electronic device 101 to the external electronic device 300 based on the user information logged into the external electronic device 300. can be sent to
  • An electronic device 101 is electrically connected directly or indirectly to a display module 160 including at least one display, at least one processor 120, and the processor 120, and It includes a memory 130 storing instructions executable by the at least one processor 120, a first application 146-1 and a second application 146-2, and the at least one processor 120 , when the command is executed, captures the screen output to the display module 160 by the first application 146-1, generates a screenshot 230, and Based on the execution state of ), the metadata 240 related to the screenshot 230 is determined, and based on the input received from the user, the screenshot 230 and the metadata 240 are converted to the first 2 is transmitted to the application 146-2, and the second application 146-2 is controlled using the screenshot 230 and the metadata 240, and the metadata 240 is A path for outputting the screen when the screenshot 230 is captured may be included.
  • the processor 120 identifies the location and time of the electronic device 101 generating the screenshot 230 at the time of generating the screenshot 230, and the first application 146-1 Based on this, tag information of the screenshot 230 may be determined, and the external electronic device 300 connected to the electronic device 101 may be identified.
  • the processor 120 attaches the screenshot 230 to at least one of the input items of the second application 146-2, and the metadata 240 of the second application 146-2. At least one of the input items can be entered.
  • Each processor may include processing circuitry.
  • the processor 120 converts the screenshot 230 and the metadata 240 to an external electronic device connected to the electronic device 101 that generated the screenshot 230 based on an input received from a user. (300).
  • a method of generating a screenshot 230 includes an operation of capturing a screen output on a display module 160 and generating a screenshot 230 , metadata 240 related to the screenshot 230 and storing the screenshot 230 and the metadata 240 in the memory 130, wherein the metadata 240 is the time when the screenshot 230 is captured.
  • a path for outputting the screen may be included.
  • the operation of determining the metadata 240 includes an operation of identifying the location and time of the electronic device 101 generating the screenshot 230 at the time of generating the screenshot 230, and outputting the screen.
  • An operation of determining tag information of the screenshot 230 and an operation of identifying an external electronic device 300 connected to the electronic device 101 may be included based on the application 146 that is used.
  • the screenshot 230 generation method includes an operation of transmitting the screenshot 230 and the metadata 240 to an application 146 based on an input received from a user, and the screenshot 230 and the meta data 230.
  • An operation of controlling the application 146 based on the data 240 may be further included.
  • the operation of controlling the application 146 includes an operation of attaching the screenshot 230 to at least one of input items of the application 146 and an operation of attaching the metadata 240 to at least one of the input items of the application 146. It may include an operation of inputting at least one.
  • the operation of receiving the application 146 may include an operation of providing an output application list using a learned recommendation model based on the metadata 240 .
  • the operation of controlling the application 146 may input the screenshot 230 and the metadata 240 into at least one of the input items of the application 146 using the learned editing model. .
  • the method of generating the screenshot 230 is based on an input received from a user, and converts the screenshot 230 and the metadata 240 to an external electronic device connected to the electronic device 101 that generated the screenshot 230 .
  • An operation of transmitting to the device 300 may be further included.
  • the metadata 240 related to the user information logged into the electronic device 101 is transmitted to the external electronic device 300. It can be transmitted to the external electronic device 300.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or at least through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

스크린샷 생성 방법 및/또는 상기 방법을 수행하는 전자 장치가 개시된다. 다양한 실시예들에 따른 전자 장치는 적어도 하나의 디스플레이를 포함하는 디스플레이 모듈, 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 전기적으로 연결되고, 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령어를 저장하는 메모리를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어가 실행될 때, 상기 디스플레이 모듈에 출력되는 화면을 캡처하여, 스크린샷을 생성하고, 상기 스크린샷과 관련된 메타데이터를 결정하고, 상기 스크린샷 및 상기 메타데이터를 상기 메모리에 저장하고, 상기 메타데이터는, 상기 스크린샷이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.

Description

스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치
다양한 실시예들에 따른 스크린샷 생성 방법, 및 상기 방법을 수행하는 전자 장치에 관한 것이다.
모바일 환경에서 전자 장치를 이용하여 디스플레이에 출력되는 화면을 캡처하여, 이미지 파일인 스크린샷을 생성할 수 있다. 생성한 스크린샷은 주로 정보의 보관, 공유를 목적으로 활용될 수 있다.
다양한 실시예들에 따르면, 스크린샷을 캡처하고, 스크린샷과 관련된 메타데이터를 생성함으로써, 스크린샷 및/또는 메타데이터에 기초하여 어플리케이션에서 스크린샷을 활용하거나 또는 외부 전자 장치로 공유할 수 있는 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치를 제공할 수 있다.
다양한 실시예들에 따르면, 스크린샷 및 스크린샷과 관련된 부가적인 정보인 메타데이터를 생성하고, 스크린샷과 함께 메타데이터를 이용함으로써 사용자의 편의를 향상시킬 수 있는 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치를 제공할 수 있다.
다양한 실시예들에 따르면, 스크린샷과 함께 생성된 메타데이터를 이용하여, 스크린샷을 캡처할 때의 웹 브라우저 또는 어플리케이션의 화면을 출력하도록 하는 경로에 따라 스크린샷을 캡처할 때의 사용 상태에 접근할 수 있는 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치를 제공할 수 있다.
다양한 실시예들에 따른 전자 장치는 적어도 하나의 디스플레이를 포함하는 디스플레이 모듈, 적어도 하나의 프로세서 및 상기 프로세서와 직접적으로(directly) 또는 간접적으로(indirectly) 전기적으로 연결되고, 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령어를 저장하는 메모리를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어가 실행될 때, 상기 디스플레이 모듈에 출력되는 화면을 캡처하여, 스크린샷을 생성하고, 상기 스크린샷과 관련된 메타데이터를 결정하고, 상기 스크린샷 및 상기 메타데이터를 상기 메모리에 저장하고, 상기 메타데이터는, 상기 스크린샷이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는 디스플레이 모듈, 프로세서 및 상기 프로세서와 직접적으로(directly) 또는 간접적으로(indirectly) 전기적으로 연결되고, 상기 프로세서에 의해 실행될 수 있는 명령어, 제1 어플리케이션 및 제2 어플리케이션을 저장하는 메모리를 포함하고, 상기 프로세서는, 상기 명령어가 실행될 때, 상기 제1 어플리케이션에 의하여 상기 디스플레이 모듈에 출력되는 화면을 캡처하여, 스크린샷을 생성하고, 상기 제1 어플리케이션의 실행 상태에 기초하여, 상기 스크린샷과 관련된 메타데이터를 결정하고, 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷 및 상기 메타데이터를 상기 제2 어플리케이션으로 전송하고, 상기 스크린샷 및 상기 메타데이터를 이용하여, 상기 제2 어플리케이션을 제어하고, 상기 메타데이터는, 상기 스크린샷이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.
다양한 실시예들에 따른 스크린샷 생성 방법은 디스플레이 모듈에 출력되는 화면을 캡처하여, 스크린샷을 생성하는 동작, 상기 스크린샷과 관련된 메타데이터를 결정하는 동작 및 상기 스크린샷 및 상기 메타데이터를 메모리에 저장하는 동작을 포함하고, 상기 메타데이터는, 상기 스크린샷이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.
다양한 실시예들에 따르면, 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치는 메타데이터를 이용하여, 스크린샷을 캡처할 때의 사용 상태를 재현하거나, 스크린샷을 활용하는 어플리케이션의 입력 항목을 메타데이터를 이용하여 입력하거나, 스크린샷을 공유할 때 메타데이터를 함께 공유하여, 사용자가 스크린샷 캡처 이후 확인하거나, 스크린샷을 어플리케이션을 이용하여 활용하거나, 스크린샷을 공유하는 경우, 사용자의 편의를 개선할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2은 다양한 실시예에 따른 프로그램을 예시하는 블록도이다.
도3은 다양한 실시예들에 따른 전자 장치가 스크린샷 및 메타데이터를 생성하는 동작을 나타낸 도면이다.
도 4a, 도 4b 및 도 4c는 다양한 실시예들에 따른 전자 장치가 생성하는 스크린샷 및 메타데이터를 나타낸 도면이다.
도 5는 다양한 실시예들에 따른 전자 장치가 스크린샷 및 메타데이터를 생성하는 동작을 나타낸 도면이다.
도 6은 다양한 실시예들에 따른 전자 장치가 스크린샷 및 메타데이터를 생성하고, 생성한 스크린샷 및 메타데이터를 활용 및 공유하는 동작을 나타낸 도면이다.
도 7 및 도 8은 다양한 실시예들에 따른 리마인더 어플리케이션을 제어하는 전자 장치를 나타낸 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치가 리마인더 어플리케이션의 입력 항목을 스크린샷 및 메타데이터를 이용하여 입력하는 동작을 나타낸 도면이다.
도 9 및 도 10은 다양한 실시예들에 따른 전자 장치가 실행중인 채팅 어플리케이션을 캡처하고, 리마인더 어플리케이션을 제어하는 동작을 나타낸 도면이다.
도 11 및 도 12는 다양한 실시예들에 따른 전자 장치가 실행중인 지도 어플리케이션을 캡처하고, 리마인더 어플리케이션을 제어하는 동작을 나타낸 도면이다.
도 13은 다양한 실시예들에 따른 전자 장치가 이메일 어플리케이션의 입력 항목을 스크린샷 및 메타데이터를 이용하여 입력하는 동작을 나타낸 도면이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나 와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
적어도 하나의 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 적어도 하나의 프로세서(120)에 직접적으로 또는 간접적으로 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
적어도 하나의 디스플레이를 포함하는 디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
적어도 하나의 센서를 포함하는 센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 직접적으로 또는 간접적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
적어도 하나의 통신 회로(communication circuitry)를 포함하는 통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2은 다양한 실시예에 따른 프로그램(140)을 예시하는 블록도(200)이다. 일실시예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신될 수 있다.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(201), 윈도우 매니저(203), 멀티미디어 매니저(205), 리소스 매니저(207), 파워 매니저(209), 데이터베이스 매니저(211), 패키지 매니저(213), 커넥티비티 매니저(215), 노티피케이션 매니저(217), 로케이션 매니저(219), 그래픽 매니저(221), 시큐리티 매니저(223), 통화 매니저(225), 또는 음성 인식 매니저(227)를 포함할 수 있다.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기를 관리할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드 또는 메모리(130)의 메모리의 공간을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(144)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다. 본 명세서에서 사용된 "~에 기초한"은 "적어도 ~에 기초"한 것을 포함한다.
어플리케이션(146)은, 예를 들면, 홈(251), 다이얼러(253), SMS/MMS(255), IM(instant message)(257), 브라우저(259), 카메라(261), 알람(263), 컨택트(265), 음성 인식(267), 이메일(269), 달력(271), 미디어 플레이어(273), 앨범(275), 와치(277), 헬스(279)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(281)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 외부 전자장치의 디스플레이 모듈 또는 카메라 모듈)의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
도3은 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 스크린샷(230) 및 메타데이터(240)를 생성하는 동작을 나타낸 도면이다.
도 3을 참조하면, 다양한 실시예들에 따른 전자 장치(101)는 메모리(예: 도 1의 메모리(130)), 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160)), 프로세서(예: 도 1의 프로세서(120))를 포함할 수 있다. 예를 들어, 전자 장치(101)의 프로세서(120)는 디스플레이 모듈(160)로 출력되는 화면을 캡처하여, 스크린샷(230)을 생성할 수 있다. 생성된 스크린샷(230)은 메모리(130)에 저장될 수 있다. 예를 들어, 전자 장치(101)의 프로세서(120)는 스크린샷(230)과 관련된 메타데이터(240)를 결정하여, 메모리(130)에 저장할 수 있다.
일례로, 프로세서(120)가 생성하는 스크린샷(230)은 실행 중인 제1 어플리케이션(146-1)(예: 도 2의 어플리케이션(146))에 따라 디스플레이 모듈(160)로 출력되는 화면을 의미할 수 있다. 제1 어플리케이션(146-1)에 따라 디스플레이 모듈(160)로 출력되는 화면은 제1 어플리케이션(146-1)이 제공하는 그래픽 UI, 이미지, 동영상, 텍스트를 포함할 수 있다.
일례로, 프로세서(120)는 스크린샷(230) 및 메타데이터(240)를 제2 어플리케이션(146-2)(예: 도 2의 어플리케이션(146))으로 전송할 수 있다. 일례로, 프로세서(120)는 스크린샷(230) 및 메타데이터(240)를 이용하여 제2 어플리케이션(146-2)을 제어할 수 있다. 예를 들어, 프로세서(120)는 스크린샷(230) 및/또는 메타데이터(240)를 이용하여, 제2 어플리케이션(146-2)의 입력 항목 중 적어도 어느 하나의 입력 항목을 입력할 수 있다. 예를 들어, 프로세서(120)는 제2 어플리케이션(146-2)의 입력 항목 중 적어도 어느 하나에 스크린샷(230)을 첨부하도록 제2 어플리케이션(146-2)을 제어할 수 있다.
다른 예로, 프로세서(120)는 메타데이터(240)를 이용하여 스크린샷(230)을 편집하도록 제2 어플리케이션(146-2)을 제어할 수 있다. 프로세서(120)는 메타데이터(240)를 이용하여, 메타데이터(240)에 포함된 경로, 캡처 위치, 캡처 시간, 디바이스 정보, 태그 등의 텍스트를 이용하여, 스크린샷(230)을 편집할 수 있다. 예를 들어, 메타데이터(240)에 포함된 텍스트 정보 중 적어도 어느 하나를 스크린샷(230) 이미지에 오버레이 시킬 수 있다.
일례로, 전자 장치(101)는 외부 전자 장치(300)(예: 도 1의 전자 장치(102, 104))로 스크린샷(230) 및 메타데이터(240)를 전송할 수 있다. 외부 전자 장치(300)는 전자 장치(101)가 스크린샷(230) 및 메타데이터(240)를 이용하는 것과 실질적으로 동일하게 스크린샷(230) 및 메타데이터(240)를 이용할 수 있다.
예를 들어, 외부 전자 장치(300)는 스크린샷(230) 및 메타데이터(240)를 이용하여, 스크린샷(230)이 전자 장치(101)에서 캡처될 때의 사용 상태에 접근할 수 있다. 예를 들어, 외부 전자 장치(300)는 스크린샷(230) 및 메타데이터(240)를 이용하여 외부 전자 장치(300)에 포함된 어플리케이션(146)을 제어할 수 있다.
일례로, 전자 장치(101)는 서버(400)(예: 도 1의 서버(108))로 스크린샷(230) 및 메타데이터(240)를 전송할 수 있다. 전자 장치(101)는 전송한 스크린샷(230) 및 메타데이터(240)에 대한 응답으로 서버(400)로부터 어플리케이션 목록을 수신할 수 있다. 예를 들어, 서버(400)는 학습된 추천 모델을 포함할 수 있다. 서버(400)의 추천 모델은 입력된 스크린샷(230) 및 메타데이터(240)를 이용하여, 어플리케이션 목록을 출력할 수 있다. 예를 들어, 어플리케이션 목록은 스크린샷(230) 및 메타데이터(240)를 활용하는 어플리케이션(146)의 목록을 의미할 수 있다.
전자 장치(101)는 학습된 추천 모델로부터 스크린샷(230) 및/또는 메타데이터(240)를 적절하게 활용할 수 있는 어플리케이션(146)의 목록을 수신하여, 스크린샷(230) 및/또는 메타데이터(240)의 활용성을 높일 수 있다.
예를 들어, 추천 모델은 학습 데이터 및 타겟 데이터를 이용하여 학습될 수 있다. 예를 들어, 학습 데이터는 스크린샷(230) 및/또는 메타데이터(240)를 포함할 수 있다. 예를 들어, 타겟 데이터는 스크린샷(230) 및/또는 메타데이터(240)를 이용하여 사용자들이 활용한 어플리케이션(146)을 포함할 수 있다.
예를 들어, 서버(400)는 다수의 전자 장치(101)들로부터 학습 데이터 및 타겟 데이터를 수집할 수 있다. 예를 들어, 서버(400)는 전자 장치(101)들로부터 생성한 스크린샷(230) 및 메타데이터(240)를 수신하고, 생성한 스크린샷(230) 및 메타데이터(240)를 이용한 어플리케이션(146)의 목록을 수신할 수 있다. 서버(400)는 수신한 생성한 스크린샷(230) 및 메타데이터(240)를 학습 데이터로 하고, 생성한 스크린샷(230) 및 메타데이터(240)를 이용한 어플리케이션(146)의 목록을 타겟 데이터로 하여, 추천 모델을 학습시킬 수 있다. 다른 예로, 서버(400)와 구분되는 추천 모델 학습 장치는 서버(400)가 수집한 학습 데이터 및 타겟 데이터를 이용하여, 추천 모델을 학습시킬 수 있다.
예를 들어, 학습 데이터에 포함된 메타데이터(240)는 스크린샷(230)을 생성할 때 실행중인 어플리케이션(146)(예: 도 3의 제1 어플리케이션(146-1)), 스크린샷(230)을 생성할 때 실행중인 어플리케이션(146)이 디스플레이 모듈(160)로 출력하는 UI, 이미지, 동영상, 텍스트, 스크린샷(230)을 캡처할 때의 실행 상태로 접근할 수 있는 경로, 캡처 시간, 캡처 위치, 스크린샷(230)을 생성하는 전자 장치(101)의 모델명, OS 버전과 같은 디바이스 정보, 태그 정보, 연결된 디바이스 정보를 포함할 수 있다. 스크린샷(230)을 생성할 때 실행중인 어플리케이션(146)은 스크린샷(230)을 생성할 때 디스플레이 모듈(160)로 UI, 이미지, 동영상, 텍스트 등을 출력하는 하나 또는 복수의 어플리케이션(146)을 의미할 수 있다.
예를 들어, 전자 장치(101)는 어플리케이션(146)의 생명 주기를 이용하여, 디스플레이 모듈(160)에 UI, 이미지, 동영상, 텍스트 중 적어도 어느 하나를 출력하는 어플리케이션(146)을 판단할 수 있다. 예를 들어, 전자 장치(101)는 둘 이상의 어플리케이션(146)이 동시에 디스플레이 모듈(160)에 UI, 이미지, 동영상, 텍스트 중 적어도 어느 하나를 출력하는 모드(예: 멀티 윈도우 모드)에서, 둘 이상의 어플리케이션(146)을 모두 메타데이터에 포함시킬 수 있다. 예를 들어, 전자 장치(101)는 어플리케이션 매니저(예: 도 2의 어플리케이션 매니저(201))을 이용하여, 어플리케이션(146)의 생명 주기를 관리할 수 있다.
상기와 같이, 추천 모델을 학습시키기 위한 학습 데이터에 포함된 메타데이터(240)는 사용자가 전자 장치(101)를 이용하여 스크린샷(230)을 생성할 때의 상황, 스크린샷(230)의 활용 목적, 스크린샷(230)을 생성할 때 실행중인 어플리케이션(146)이 사용자로 제공하는 정보들을 포함할 수 있다. 추천 모델은 메타데이터(240)를 포함하는 학습 데이터를 이용하여 학습되어, 사용자가 생성한 스크린샷(230) 및/또는 메타데이터(240)를 활용하기에 적합한 어플리케이션 목록을 출력할 수 있다.
일례로, 전자 장치(101)는 서버(400)로 스크린샷(230), 메타데이터(240) 및 어플리케이션(146)을 전송할 수 있다. 전자 장치(101)는 전송한 스크린샷(230), 메타데이터(240) 및 어플리케이션(146)에 대한 응답으로 서버(400)로부터 어플리케이션 제어 신호를 수신할 수 있다. 전자 장치(101)가 서버(400)로 전송하는 어플리케이션(146)은, 스크린샷(230) 및/또는 메타데이터(240)를 이용하도록 사용자로부터 선택된 어플리케이션(146)을 의미할 수 있다.
전자 장치(101)는 수신한 어플리케이션 제어 신호를 이용하여, 어플리케이션(146)의 입력 항목 중 적어도 어느 하나에 스크린샷(230) 및 메타데이터(240)를 입력할 수 있다. 전자 장치(101)는 학습된 편집 모델을 이용하여, 스크린샷(230) 및/또는 메타데이터(240)를 어플리케이션(146)의 입력 항목에 입력할 수 있다. 전자 장치(101)는 학습된 편집 모델을 이용하여 어플리케이션(146)의 입력 항목에 적절한 입력을 제공하여, 스크린샷(230) 및/또는 메타데이터(240)의 활용성을 높일 수 있다.
일례로, 서버(400)는 편집 모델을 포함할 수 있다. 일례로, 서버(400)는 스크린샷(230), 메타데이터(240) 및 어플리케이션(146)을 학습 데이터, 어플리케이션(146)의 입력 항목에 입력된 스크린샷(230) 및/또는 메타데이터(240)를 타겟 데이터로 하여, 편집 모델을 학습시킬 수 있다.
예를 들어, 편집 모델의 학습은 추천 모델의 학습과 실질적으로 동일하게 수행될 수 있다. 예를 들어, 서버(400)는 전자 장치(101)들로부터 생성한 스크린샷(230), 메타데이터(240) 및 어플리케이션(146), 어플리케이션(146)의 입력 항목에 입력된 스크린샷(230) 및/또는 메타데이터(240)를 수신할 수 있다. 서버(400) 또는 편집 모델 학습 장치는 서버(400)가 수신한 학습 데이터 및 타겟 데이터를 이용하여, 편집 모델을 학습시킬 수 있다.
상기의 설명에서, 서버(400)가 학습된 추천 모델 및 편집 모델을 포함하는 경우는 다양한 실시예들 중 일 예시로, 상기의 설명에 한정되지 않는다. 예를 들어, 전자 장치(101)는 학습된 추천 모델 및/또는 편집 모델을 포함할 수 있다. 전자 장치(101)는 전자 장치(101)에 포함된 추천 모델 및/또는 편집 모델을 이용하여, 어플리케이션 목록 및/또는 어플리케이션 제어 신호를 출력할 수 있다.
일례로, 추천 모델 및 학습 모델은 공지된 다양한 신경망 모델이 적용될 수 있다. 예를 들어, 신경망 모델은 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network) 또는 심층 Q-네트워크(deep Q-networks) 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 신경망 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
도 4a, 도 4b 및 도 4c는 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 생성하는 스크린샷(예: 도 3의 스크린샷(230)) 및 메타데이터(예: 도 3의 메타데이터(240))를 나타낸 도면이다.
도 4a, 도 4b 및 도 4c를 참조하면, 일 실시 예에 따른 전자 장치(101)는 도 4a와 같은 스크린샷(230)을 생성할 수 있다. 도 4a에서, 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))에 출력되는 화면은, 스크린샷(230)을 생성할 때 실행중인 어플리케이션(예: 도 2의 어플리케이션(146)) 또는 브라우저(예: 도 2의 브라우저(259))가 디스플레이 모듈(160)로 출력하는 UI, 이미지, 동영상, 텍스트를 포함할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)에 출력되는 화면에 기초하여, 스크린샷(230)을 생성할 수 있다. 전자 장치(101)는 이미지 파일의 형태로 스크린샷(230)을 생성하고, 생성된 스크린샷(230)을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
도 4b는, 일 실시 예에 따른 전자 장치(101)가 제공하는 어플리케이션 목록을 나타낸 도면이다. 일례로, 어플리케이션 목록은 생성된 스크린샷(230)과 관련된 어플리케이션(146)에 관한 것일 수 있다. 어플리케이션 목록은 생성한 스크린샷(230) 및/또는 메타데이터(240)를 이용할 수 있는 어플리케이션(146)들을 의미할 수 있다. 예를 들어, 도 4b에서 전자 장치(101)가 사용자로부터 어플리케이션 목록 중 하나를 선택하는 입력을 수신하면, 전자 장치(101)는 생성한 스크린샷(230) 및/또는 메타데이터(240)를 선택된 어플리케이션(146)으로 전송할 수 있다.
예를 들어, 도 4b를 참조하면, 일 실시 예에 따른 전자 장치(101)는 메타데이터(240)에 기초하여, 학습된 어플리케이션(146) 추천 모델을 이용하여 출력된 어플리케이션 목록을 제공할 수 있다.
도 4c는 일 실시 예에 따른 전자 장치(101)가 생성한 메타데이터(240)를 나타낸 도면이다. 예를 들어, 전자 장치(101)는 스크린샷(230)을 생성할 때 메타데이터(240)를 결정할 수 있다.
예를 들어, 전자 장치(101)는 스크린샷(230)을 생성할 때의 시간, 전자 장치(101)의 위치, 디바이스의 정보, 실행중인 어플리케이션(146), 전자 장치(101)와 직접적으로 또는 간접적으로 연결된 외부 전자 장치(300)에 기초하여, 메타데이터(240)를 결정할 수 있다.
예를 들어, 전자 장치(101)의 프로세서(120)는 실행중인 어플리케이션(146)에서 처리되는 정보를 이용하여, 메타데이터(240)를 결정할 수 있다. 예를 들어, 어플리케이션(146)에서 처리되는 정보는 어플리케이션(146)이 처리하여 제공하는 UI, 이미지, 동영상, 텍스트를 포함할 수 있다. 예를 들어, 도 4a의 스크린샷(230)에서 어플리케이션(146)에서 처리되는 정보는 이미지, UI, 텍스트 등을 포함할 수 있다.
도 4c를 참조하면, 메타데이터(240)는 경로를 포함할 수 있다. 예를 들어, 경로는 스크린샷(230)이 캡처될 때의 화면을 출력하도록 하는 접근 경로를 의미할 수 있다. 예를 들어, 전자 장치(101)는 사용자가 캡처된 스크린샷(230)에 접근하는 경우, 경로를 이용하여 스크린샷(230)을 캡처할 때의 사용 상태에 접근할 수 있다. 예를 들어, 스크린샷(230)을 캡처할 때의 사용 상태에 접근하는 것은, 스크린샷(230)을 캡처할 때의 어플리케이션(146), 브라우저(259) 등의 사용 상태를 재현하는 것을 의미할 수 있다.
예를 들어, 전자 장치(101)가 브라우저(259)가 실행된 상태에서 웹 페이지 A가 실행된 상태에서 스크린샷(230)을 캡처할 수 있다. 전자 장치(101)가 사용자로부터 캡처된 스크린샷(230)에서 경로를 선택하는 입력을 수신하는 경우, 전자 장치(101)는 브라우저(259)를 실행하고 웹 페이지 A에 접속하여, 웹 페이지 A를 디스플레이 모듈(160)에 출력할 수 있다.
예를 들어, 전자 장치(101)가 어플리케이션 A가 실행된 상태에서 스크린샷(230)을 캡처할 수 있다. 전자 장치(101)가 사용자로부터 캡처된 스크린샷(230)에서 경로를 선택하는 입력을 수신하는 경우, 전자 장치(101)는 어플리케이션 A를 실행하고, 스크린샷(230)을 캡처할 때의 어플리케이션 A의 실행 상태를 디스플레이 모듈(160)에 출력할 수 있다.
예를 들어, 스크린샷(230)이 캡처될 때의 사용 상태에 접근하는 것은 어플리케이션(146)의 사용 상태를 재생(reproducing)하는 것을 의미할 수 있다. 예를 들어, 전자 장치(101)가 연락처 어플리케이션(146)이 실행된 상태에서, 저장된 A의 연락처를 스크린샷(230)으로 캡처할 수 있다. 전자 장치(101)가 사용자로부터 스크린샷(230)에서 경로를 선택하는 입력을 수신하는 경우, 전자 장치(101)는 연락처 어플리케이션(146)을 실행하고, A의 연락처를 디스플레이 모듈(160)에 출력할 수 있다.
예를 들어, 전자 장치(101)는 도 4c의 메타데이터(240)에 포함된 ‘Direct link’로 표시된 ‘http://abc.com/’를 선택하는 입력을 수신하는 경우, 브라우저(259)를 실행하여, 표시된 ‘http://abc.com/’ 주소로 접속할 수 있다. 예를 들어, 표시된 주소 ‘http://abc.com/’는 도 4a 또는 도 4b의 웹 페이지 주소를 의미할 수 있다.
일례로, 전자 장치(101)는 스크린샷(230)을 캡처할 때, 실행중인 어플리케이션(146)의 정보를 저장할 수 있다. 예를 들어, 전자 장치(101)가 생성하는 메타데이터(240)에 포함된 접근 경로(예: 도 4c의 'Direct Link')는 실행중인 어플리케이션(146)의 정보를 포함할 수 있다.
도 4c와 같이, 일 실시 예에 따른 전자 장치(101)는 스크린샷(230)을 이용하여, 태그를 결정할 수 있다. 예를 들어, 도 4c에서 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행되는 어플리케이션 A, 스크린샷(230)에 포함된 이미지, 텍스트, 동영상 등을 이용하여 상품 A를 태그로 결정할 수 있다.
일례로, 전자 장치(101)는 스크린샷(230) 및 메타데이터(240)를 외부 전자 장치(300)로 전송할 수 있다. 외부 전자 장치(300)는 메타데이터(240)에 포함된 경로를 이용하여, 전자 장치(101)에서 스크린샷(230)이 캡처될 때의 상태에 접근할 수 있다.
예를 들어, 전자 장치(101)가 도 4a와 같이 어플리케이션 A가 실행중인 상태에서 스크린샷(230)을 캡처하고, 생성한 스크린샷(230) 및 메타데이터(240)를 외부 전자 장치(300)로 전송할 수 있다. 도 4c와 같은 수신한 메타데이터(240)에서 경로를 이용하여, 외부 전자 장치(300)는 도 4a와 같은 상태로 접근할 수 있다. 예를 들어, 외부 전자 장치(300)가 사용자로부터 경로를 선택하는 입력을 수신하는 경우, 외부 전자 장치(예: 도 3의 외부 전자 장치(300))는 어플리케이션 A를 실행시키고, 도 4a의 페이지에 접속하여, 전자 장치(101)에서 스크린샷(230)을 캡처할 때의 실행 상태를 재현할 수 있다.
일례로, 전자 장치(101)가 결정하는 메타데이터(240)는 디바이스 정보를 포함할 수 있다. 예를 들어, 디바이스 정보는 전자 장치(101)의 모델, 종류, 폼 팩터(form factor), OS 종류 또는 버전을 포함할 수 있다.
일례로, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 어플리케이션(146) 또는 스크린샷(230)에 포함된 객체 중 적어도 하나에 기초하여 메타데이터(240)을 결정할 수 있다.
예를 들어, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 어플리케이션(146)에 기초하여, 메타데이터(240)를 결정할 수 있다. 예를 들어, 실행중인 어플리케이션(146)이 '게임 A'인 경우, 전자 장치(101)는 '게임 A'의 공식 사이트의 링크 주소, '게임 A'의 공략 사이트의 링크 주소와 같이 '게임 A'와 관련된 사이트의 링크 주소를 포함하는 메타데이터(240)를 결정할 수 있다.
예를 들어, 전자 장치(101)는 스크린샷(230)에 포함된 객체에 기초하여, 메타데이터(240)를 결정할 수 있다. 전자 장치(101)는 스크린샷(230)에 포함된 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)는 스크린샷(230)의 이미지 분석을 통해 객체를 식별할 수 있다. 다른 예로, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 어플리케이션(146)의 정보, 태그 정보, 어플리케이션(146)에서 처리되는 텍스트 정보를 이용하여, 스크린샷(230)에 포함된 객체를 식별할 수 있다.
예를 들어, 스크린샷(230)에 포함된 객체가 음식인 경우, 전자 장치(101)는 음식의 레시피 검색 결과의 링크 주소, 요리 방법에 관한 웹사이트에서 음식의 레시피 검색 결과의 링크 주소, 음식 판매 사이트의 링크 주소, 요리와 관련된 정보 검색 결과의 링크 주소(예: 요리의 주재료 판매 사이트 링크 주소, 요리의 주재료 손질 방법 검색 결과의 링크 주소)를 메타데이터(240)로 결정할 수 있다.
다른 예로, 스크린샷(230)에 포함된 객체가 숙박업소인 경우, 전자 장치(101)는 숙박업소와 관련된 링크 주소를 메타데이터로 결정할 수 있다. 예를 들어, 숙박업소와 관련된 링크 주소는 숙박업소의 웹사이트 링크 주소, 숙박업소에 인접한 다른 숙박업소의 웹사이트 링크 주소, 숙박업소 인근의 관광지 또는 유명 음식점의 웹사이트 내지 검색 결과 링크 주소와 같이, 숙박업소 또는 숙박업소의 위치에 관한 링크 주소를 의미할 수 있다.
다른 예로, 스크린샷(230)에 포함된 객체가 상품인 경우, 전자 장치(101)는 상품과 관련된 링크 주소를 메타데이터로 결정할 수 있다. 예를 들어, 스크린샷(230)에 포함된 객체가 가전제품인 경우, 전자 장치(101)는 가전제품에 관한 링크 주소를 메타데이터(240)로 결정할 수 있다. 가전제품에 관한 링크 주소는 정보가전제품 제조사 또는 판매사의 웹사이트 링크 주소, 가전제품 판매 웹사이트의 링크 주소를 의미할 수 있다.
일례로, 전자 장치(101)는 스크린샷(230)을 외부 전자 장치(300)로 전송할 때, 메타데이터(240)를 외부 전자 장치(300)로 전송할 수 있다. 예를 들어, 전자 장치(101)는 메타데이터(240)에 포함된 접근 경로 또는 링크 주소를 외부 전자 장치로 전송할 수 있다.
일례로, 전자 장치(101)는 메타데이터(240)에 포함된 항목 중 적어도 하나를 텍스트로 외부 전자 장치(300)로 전송할 수 있다. 전자 장치(101)가 채팅 어플리케이션을 통해 스크린샷(230)을 전송하거나, 메시지 어플리케이션(예: 도 2의 SMS/MMS 어플리케이션(255))을 통해 스크린샷(230)을 외부 전자 장치(300)로 전송할 수 있다. 전자 장치(101)는 스크린샷(230)과 함께, 메타데이터(240)에 포함된 항목 중 적어도 하나를 텍스트로 외부 전자 장치(300)로 전송할 수 있다.
예를 들어, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 어플리케이션(146) 또는 스크린샷(230)에 포함된 객체에 기초하여 결정된 메타데이터(240)를 외부 전자 장치(101)로 전송할 수 있다.
예를 들어, 전자 장치(101)는 메타데이터(240)의 접근 경로를 외부 전자 장치(300)로 전송할 수 있다.
예를 들어, '게임 A' 어플리케이션(146)이 실행될 때 캡처한 스크린샷(230)을 외부 전자 장치(300)로 전송할 때, 전자 장치(101)는 '게임 A'의 공식 사이트의 링크 주소를 외부 전자 장치(300)로 전송할 수 있다.
다른 예로, 전자 장치(101)는 메타데이터(240)를 스크린샷(230)과 결합할 수 있다. 일례로, 전자 장치는 메타데이터(240)를 결합한 스크린샷(230)을 외부 전자 장치(300)로 전송할 수 있다.
예를 들어, 전자 장치(101)는 스크린샷(230)의 이미지에 메타데이터(240)에 포함된 접근 경로 또는 링크 주소를 선택할 수 있는 입력 항목을 표시할 수 있다.
예를 들어, 전자 장치(101) 또는 스크린샷(230)을 수신한 외부 전자 장치(300)에서, 스크린샷(230)에 표시된 접근 경로를 선택하는 입력을 수신하는 경우, 전자 장치(101) 또는 스크린샷(230)을 수신한 외부 전자 장치(300)는 스크린샷(230)을 캡처할 때의 사용 상태에 접근할 수 있다.
예를 들어, 전자 장치(101)또는 스크린샷(230)을 수신한 외부 전자 장치(300)에서, 스크린샷(230)에 표시된 링크 주소를 선택하는 경우, 전자 장치(101) 또는 스크린샷(230)을 수신한 외부 전자 장치(300)는 메타데이터(240)에 포함된 링크 주소로 접근할 수 있다. 링크 주소는 전술한 '게임 A'의 공식 사이트의 링크 주소, 음식에 관한 웹사이트의 링크 주소 등을 의미할 수 있다.
상기의 설명된 메타데이터(240)에 관한 내용은 예시적인 것으로, 전자 장치(101)는 상기의 예시에 한정되지 않고 메타데이터(240)를 결정할 수 있다. 상기의 예시와 다른 예로, 전자 장치(101)는 사용자의 입력에 따라 메타데이터(240)를 결정할 수 있다. 예를 들어, 스크린샷(230)을 캡처할 때, 전자 장치(101)는 사용자가 입력한 링크 주소 또는 태그 정보를 메타데이터(240)로 결정할 수 있다.
도 5는 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 스크린샷(예: 도 3의 스크린샷(230)) 및 메타데이터(예: 도 3의 메타데이터(240))를 생성하는 동작을 나타낸 도면이다.
다양한 실시예들에 따른 전자 장치(101)는 동작 510에서 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))에 출력되는 화면을 캡처하여 스크린샷(230)을 생성할 수 있다. 예를 들어, 전자 장치(101)는 어플리케이션(예: 도 2의 어플리케이션(146)), OS, 웹 브라우저(예: 도 2의 브라우저(259)) 등과 같이 실행중인 프로세스가 디스플레이 모듈(160)에 출력하는 화면을 캡처할 수 있다. 예를 들어, 전자 장치(101)는 사용자로부터 화면을 캡처하기 위한 입력을 수신하여, 스크린샷(230)을 생성할 수 있다.
일례로, 전자 장치(101)는 동작 520에서 스크린샷(230)과 관련된 메타데이터(240)를 결정할 수 있다. 예를 들어, 전자 장치(101)는 경로, 캡처 시간, 캡처 위치, 디바이스 정보, 태그, 연결된 디바이스 정보를 포함하는 메타데이터(240)를 결정할 수 있다. 예를 들어, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 어플리케이션(146), 브라우저(259), OS 등과 같이 실행중인 프로세스에서 처리되는 정보를 이용하여, 메타데이터(240)를 결정할 수 있다. 예를 들어, 실행중인 프로세스에서 처리되는 정보는 디스플레이 모듈(160)에 출력되는 UI, 이미지, 동영상, 텍스트를 포함할 수 있다. 전자 장치(101)는 디스플레이 모듈(160)에 출력되지 않는 UI, 이미지, 동영상, 텍스트를 이용하여 메타데이터(240)를 결정할 수도 있다.
일례로, 전자 장치(101)는 동작 530에서 스크린샷(230) 및 메타데이터(240)를 메모리(130)에 저장할 수 있다. 전자 장치(101)는 메모리(130)에 저장된 스크린샷(230) 및 메타데이터(240)를 서버(예: 도 3의 서버(400)), 외부 전자 장치(예: 도 3의 외부 전자 장치(300)), 전자 장치(101)의 어플리케이션(146)으로 전송할 수 있다.
도 6은 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 스크린샷(예: 도 3의 스크린샷(230)) 및 메타데이터(예: 도 3의 메타데이터(240))를 생성하고, 생성한 스크린샷(230) 및 메타데이터(240)를 활용 및 공유하는 동작을 나타낸 도면이다.
도 6을 참조하면, 다양한 실시예들에 따른 전자 장치(101)는 동작 610에서 화면을 캡처하여, 스크린샷(230)을 생성할 수 있다. 동작 610에 관하여, 도 5의 동작 510에 관한 설명이 실질적으로 동일하게 적용될 수 있다.
일례로, 전자 장치(101)는 동작 620에서 스크린샷(230)을 생성하는 시점의 위치 및 시간을 식별할 수 있다. 예를 들어, 전자 장치(101)는 GPS를 이용하여, 전자 장치(101)의 위치를 식별할 수 있다.
일례로, 전자 장치(101)는 동작 630에서, 어플리케이션(예: 도 2의 어플리케이션(146))에 기초하여 태그 정보를 결정할 수 있다. 예를 들어, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 어플리케이션(146)에 관련된 UI, 이미지, 동영상, 텍스트를 이용하여, 태그 정보를 결정할 수 있다. 도 6에 도시된 실시예와 달리, 전자 장치(101)는 스크린샷(230)을 캡처할 때 실행중인 브라우저(259), OS(예: 도 1의 운영 체제(142))에 기초하여, 태그 정보를 결정할 수 있다.
일례로, 전자 장치(101)는 동작 640에서 외부 전자 장치(300)를 식별할 수 있다. 예를 들어, 전자 장치(101)는 통신 모듈(예: 도 1의 통신 회로를 포함하는 통신 모듈(190))을 통해 유선 또는 무선으로 연결된 외부 전자 장치(300)를 식별할 수 있다.
일례로, 전자 장치(101)는 동작 650에서 스크린샷(230)과 관련된 메타데이터(240)를 결정할 수 있다. 예를 들어, 전자 장치(101)는 캡처 위치, 캡처 시간, 태그, 연결된 외부 전자 장치(300)를 포함하는 메타데이터(240)를 결정할 수 있다.
일례로, 전자 장치(101)는 동작 660에서 스크린샷(230) 및 메타데이터(240)를 어플리케이션(146)으로 전송할 수 있다. 동작 660에서 스크린샷(230) 및 메타데이터(240)를 수신하는 어플리케이션(146)은 사용자로부터 수신한 입력에 기초하여 스크린샷(230) 및/또는 메타데이터(240)를 활용하기 위한 어플리케이션(146)을 의미할 수 있다.
일례로, 전자 장치(101)는 동작 670에서 스크린샷(230) 및 메타데이터(240)에 기초하여 어플리케이션(146)을 제어할 수 있다. 예를 들어, 전자 장치(101)는 스크린샷(230) 및 메타데이터(240)에 기초하여, 어플리케이션(146)의 입력 항목 중에서 적어도 하나의 입력 항목을 결정할 수 있다. 예를 들어, 전자 장치(101)는 스크린샷(230)을 어플리케이션(146)의 입력 항목에 첨부할 수 있다.
일례로, 전자 장치(101)는 동작 680에서, 스크린샷(230) 및 메타데이터(240)를 외부 전자 장치(예: 도 3의 외부 전자 장치(300))로 전송할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(300)에 로그인된 사용자 정보에 기초하여, 전자 장치(101)에 로그인된 사용자 정보와 관련된 메타데이터(240)를 외부 전자 장치(300)로 전송할 수 있다.
예를 들어, 외부 전자 장치(300)와 전자 장치(101)의 로그인된 사용자 정보가 동일한 경우, 전자 장치(101)는 사용자 정보와 관련된 메타데이터(240)를 외부 전자 장치(300)로 전송할 수 있다. 예를 들어, 외부 전자 장치(300)에 로그인된 사용자 정보와 전자 장치(101)에 로그인된 사용자 정보가 다른 경우, 전자 장치(101)는 사용자 정보와 관련된 메타데이터(240)를 제외한 나머지 메타데이터(240)를 외부 전자 장치(300)로 전송할 수 있다.
예를 들어, 사용자 정보와 관련된 메타데이터(240)는, 캡처 위치, 캡처 시간, 디바이스 정보, 연결된 외부 전자 장치(300)와 같이, 사용자의 개인 정보와 관련된 데이터를 의미할 수 있다.
이하의 도 7 내지 도 13에 관하여 도시된 도면은 전자 장치(101)의 디스플레이 모듈(160)에 출력되는 화면을 나타내는 것으로, 캡처된 스크린샷(230) 또는 실행중인 어플리케이션(146)을 나타내는 것으로 이해될 수 있다.
도 7 및 도 8은 다양한 실시예들에 따른 리마인더 어플리케이션(예: 도 2의 어플리케이션(146))을 제어하는 전자 장치(예: 도 1의 전자 장치(101))를 나타낸 도면이다. 도 8은, 다양한 실시예들에 따른 전자 장치가 도 4a, 도 4b 및 도 4c에 도시된 스크린샷(예: 도 3의 스크린샷(230)) 및 메타데이터(예: 도 3의 메타데이터(240))를 이용하여 리마인더 어플리케이션(146)을 제어하는 동작을 나타낸다.
도 7과 같이, 다양한 실시예들에 따른 리마인더 어플리케이션(146)은 제목, 시간, 장소, 첨부, 메모와 같은 입력 항목을 포함할 수 있다. 예를 들어, 리마인더 어플리케이션(146)은 설정된 시간에 사용자에게 알림을 주는 어플리케이션으로 이해될 수 있다.
도 8을 참조하면, 다양한 실시예들에 따른 전자 장치(101)는 스크린샷(230) 및 메타데이터(240)에 기초하여, 어플리케이션(146)을 제어할 수 있다. 일례로, 전자 장치(101)는 스크린샷(230)을 어플리케이션(146)의 입력 항목 중 적어도 하나에 첨부할 수 있다. 일례로, 전자 장치(101)는 메타데이터(240)를 어플리케이션(146)의 입력 항목 중 적어도 하나에 입력할 수 있다.
예를 들어, 도 8과 같이 전자 장치(101)는 스크린샷(230) 및 메타데이터(240)에 기초하여, 어플리케이션(146)의 입력 항목 중 적어도 하나를 입력할 수 있다. 예를 들어, 전자 장치(101)는 리마인더 어플리케이션(146)의 입력 항목인 제목, 시간, 장소, 첨부 파일 및 메모 항목을 스크린샷(230) 및 메타데이터(240)를 이용하여 입력할 수 있다.
예를 들어, 전자 장치(101)는 학습된 편집 모델을 이용하여, 스크린샷(230) 및 메타데이터(240)를 어플리케이션(146)의 입력 항목 중 적어도 어느 하나에 입력할 수 있다. 예를 들어, 전자 장치(101)는 학습된 편집 모델에 스크린샷(230) 및 메타데이터(240)를 입력하여, 어플리케이션 제어 신호를 출력할 수 있다. 전자 장치(101)는 어플리케이션 제어 신호를 이용하여, 도 8과 같이 스크린샷(230) 및/또는 메타데이터(240)를 어플리케이션(146)의 입력 항목에 첨부하거나 또는 입력할 수 있다.
도 9 및 도 10은 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 실행중인 채팅 어플리케이션(예: 도 2의 어플리케이션(146))을 캡처하고, 리마인더 어플리케이션(예: 도 2어플리케이션(146))을 제어하는 동작을 나타낸 도면이다.
일례로, 전자 장치(101)는 어플리케이션(146)에 기초하여, 메타데이터(240)를 결정할 수 있다. 예를 들어, 전자 장치(101)는 스크린샷(예: 도 3의 스크린샷(230))을 캡처할 때 실행중인 어플리케이션(146)의 UI, 이미지, 동영상, 텍스트를 이용하여 메타데이터(예: 도 3의 메타데이터(240))를 결정할 수 있다.
예를 들어, 도 9 및 도 10과 같이, 전자 장치(101)는 실행중인 채팅 어플리케이션(146)에서 제공하는 텍스트를 이용하여, 메타데이터(240)를 결정할 수 있다. 예를 들어, 전자 장치(101)는 채팅 어플리케이션(146)에서 처리하여 디스플레이 모듈(160)로 출력하는 텍스트를 이용하여, 메타데이터(240) ‘약속 내용: A와 만남, XX월 XX일 XX시, YY역’을 결정할 수 있다. 전자 장치(101)는 스크린샷(230)을 리마인더 어플리케이션(146)의 첨부 항목에 첨부할 수 있다.
일례로, 도 10과 같이, 전자 장치(101)는 리마인더 어플리케이션(146)의 입력 항목 중 제목, 시간, 장소를 채팅 어플리케이션(146)에서 처리하는 텍스트에 기초하여 입력할 수 있다. 전자 장치(101)는 메타데이터(240)에 기초하여, 제목, 시간, 장소를 각각 ‘A와 만남’, ‘XX월 XX일 XX시’, ‘YY역’으로 입력할 수 있다.
일례로, 전자 장치(101)는 텍스트의 의도를 파악하기 위한 자연어 이해 모듈을 포함할 수 있다. 예를 들어, 전자 장치(101)는 자연어 이해 모듈을 이용하여, 어플리케이션(146)으로부터 수신한 텍스트로부터 의도를 파악할 수 있다. 예를 들어, 자연어 이해 모듈은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 텍스트의 의도를 파악할 수 있다. 일 실시 예의 자연어 이해 모듈은 형태소 또는 구의 언어적 특징(예: 문법적 요소)을 이용하여 텍스트에 포함된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 의도에 매칭시켜 텍스트의 의도를 결정할 수 있다.
예를 들어, 전자 장치(101)는 도 9의 스크린샷(230)에 포함된 텍스트를 어플리케이션(146)으로부터 수신할 수 있다. 전자 장치(101)는 자연어 이해 모듈을 이용하여, 수신한 텍스트의 의도를 파악할 수 있다. 예를 들어, 전자 장치(101)는 자연어 이해 모듈을 이용하여, 도 9의 스크린샷(230)에 포함된 텍스트로부터 약속 시간 및 장소를 제안하는 의도를 파악할 수 있다.
도 11 및 도 12는 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 실행중인 지도 어플리케이션(예: 도 2의 어플리케이션(146))을 캡처하고, 리마인더 어플리케이션(예: 도 2의 어플리케이션(146))을 제어하는 동작을 나타낸 도면이다.
도 11과 같이 지도 어플리케이션(146)이 실행중인 상태에서 스크린샷(예: 도 3의 스크린샷(230))을 캡처하면, 전자 장치(101)는 도 12와 같이 생성한 스크린샷(230) 및 메타데이터(예: 도 3의 메타데이터(240))를 이용하여, 리마인더 어플리케이션(146)을 제어할 수 있다.
일례로, 전자 장치(101)는 지도 어플리케이션(146)의 이미지 및/또는 텍스트 정보에 따라 결정한 메타데이터(240)를 이용하여, 도 12와 같이 리마인더 어플리케이션(146)의 입력 항목 중 제목, 시간, 장소 및 메모 항목을 입력할 수 있다. 전자 장치(101)는 생성한 스크린샷(230)을 첨부 항목에 입력할 수 있다.
도 12에서, 전자 장치(101)가 메타데이터(240)의 경로 ‘병원 A 지도 어플리케이션(146)으로 보기’를 선택하는 입력을 수신하는 경우, 지도 어플리케이션(146)을 실행하고, 스크린샷(230)을 캡처할 때의 화면인 도 11과 같은 화면을 디스플레이 모듈(160)로 출력할 수 있다.
도 12와 같이, 전자 장치(101)는 지도 어플리케이션(146)에서 처리하는 텍스트를 이용하여, 태그, 주소, 영업시간, 홈페이지, 전화번호를 메타데이터(240)로 결정할 수 있다.
전자 장치(101)는 도12와 같이 생성한 스크린샷(230)을 메모 항목에 이미지 형태로 입력하고, 첨부 항목에 스크린샷(230)의 이미지 파일을 첨부할 수 있다.
도 13은 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))가 이메일 어플리케이션(예: 도 2의 어플리케이션(146))의 입력 항목을 스크린샷(예: 도 3의 스크린샷(230)) 및 메타데이터(예: 도 3의 메타데이터(240))를 이용하여 입력하는 동작을 나타낸 도면이다.
일례로, 전자 장치(101)는 도 13과 같이 생성한 스크린샷(230) 및 메타데이터(240)를 이용하여, 이메일 어플리케이션(146)을 제어할 수 있다. 전자 장치(101)는 생성한 메타데이터(240)를 이메일의 본문으로 입력할 수 있다. 일례로, 전자 장치(101)는 생성한 메타데이터(240)를 이용하여, 이메일의 제목을 입력할 수 있다. 예를 들어, 전자 장치(101)는 메타데이터(240)의 태그를 이용하여, 이메일의 제목을 ‘상품 A’로 입력할 수 있다.
다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 적어도 하나의 디스플레이를 포함하는 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160)), 적어도 하나의 프로세서(예: 도 1의 프로세서(120)) 및 상기 적어도 하나의 프로세서(120)와 직접적으로 또는 간접적으로 전기적으로 연결되고, 상기 적어도 하나의 프로세서(120)에 의해 실행될 수 있는 명령어를 저장하는 메모리(예: 도 1의 메모리(130))를 포함하고, 상기 적어도 하나의 프로세서(120)는, 상기 명령어가 실행될 때, 상기 디스플레이 모듈(160)에 출력되는 화면을 캡처하여, 스크린샷(예: 도 3의 스크린샷(230))을 생성하고, 상기 스크린샷(230)과 관련된 메타데이터(예: 도 3의 메타데이터(240))를 결정하고, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 메모리(130)에 저장하고, 상기 메타데이터(240)는, 상기 스크린샷(230)이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.
상기 프로세서(120)는, 상기 스크린샷(230)을 생성하는 시점에 상기 스크린샷(230)을 생성하는 상기 전자 장치(101)의 위치 및 시간을 식별하고, 상기 화면을 출력하는 어플리케이션(예: 도 2의 어플리케이션(146))에 기초하여, 상기 스크린샷(230)의 태그 정보를 결정하고, 상기 전자 장치(101)와 연결된 외부 전자 장치(예: 도 3의 외부 전자 장치(300))를 식별할 수 있다.
상기 프로세서(120)는, 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 어플리케이션(146)으로 전송하고, 상기 스크린샷(230) 및 상기 메타데이터(240)에 기초하여, 상기 어플리케이션(146)을 제어할 수 있다. 각 프로세서는 처리 회로(processing circuitry)를 포함할 수 있다.
상기 프로세서(120)는, 상기 스크린샷(230)을 상기 어플리케이션(146)의 입력 항목 중 적어도 하나에 첨부하고, 상기 메타데이터(240)를 상기 어플리케이션(146)의 입력 항목 중 적어도 하나에 입력할 수 있다.
상기 프로세서(120)는, 상기 메타데이터(240)에 기초하여, 학습된 추천 모델을 이용하여 출력된 어플리케이션 목록을 제공할 수 있다.
상기 프로세서(120)는, 학습된 편집 모델을 이용하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 어플리케이션(146)의 입력 항목 중 적어도 어느 하나에 입력할 수 있다.
상기 프로세서(120)는, 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 스크린샷(230)을 생성한 상기 전자 장치(101)와 연결된 외부 전자 장치(300)로 전송할 수 있다.
상기 프로세서(120)는, 상기 외부 전자 장치(300)에 로그인된 사용자 정보에 기초하여, 상기 전자 장치(101)에 로그인된 사용자 정보와 관련된 상기 메타데이터(240)를 상기 외부 전자 장치(300)로 전송할 수 있다.
다양한 실시예들에 따른 전자 장치(101)는 적어도 하나의 디스플레이를 포함하는 디스플레이 모듈(160), 적어도 하나의 프로세서(120) 및 상기 프로세서(120)와 직접적으로 또는 간접적으로 전기적으로 연결되고, 상기 적어도 하나의 프로세서(120)에 의해 실행될 수 있는 명령어, 제1 어플리케이션(146-1) 및 제2 어플리케이션(146-2)을 저장하는 메모리(130)를 포함하고, 상기 적어도 하나의 프로세서(120)는, 상기 명령어가 실행될 때, 상기 제1 어플리케이션(146-1)에 의하여 상기 디스플레이 모듈(160)에 출력되는 화면을 캡처하여, 스크린샷(230)을 생성하고, 상기 제1 어플리케이션(146-1)의 실행 상태에 기초하여, 상기 스크린샷(230)과 관련된 메타데이터(240)를 결정하고, 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 제2 어플리케이션(146-2)으로 전송하고, 상기 스크린샷(230) 및 상기 메타데이터(240)를 이용하여, 상기 제2 어플리케이션(146-2)을 제어하고, 상기 메타데이터(240)는, 상기 스크린샷(230)이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.
상기 프로세서(120)는, 상기 스크린샷(230)을 생성하는 시점에 상기 스크린샷(230)을 생성하는 상기 전자 장치(101)의 위치 및 시간을 식별하고, 상기 제1 어플리케이션(146-1)에 기초하여, 상기 스크린샷(230)의 태그 정보를 결정하고, 상기 전자 장치(101)와 연결된 외부 전자 장치(300)를 식별할 수 있다.
상기 프로세서(120)는, 상기 스크린샷(230)을 상기 제2 어플리케이션(146-2)의 입력 항목 중 적어도 하나에 첨부하고, 상기 메타데이터(240)를 상기 제2 어플리케이션(146-2)의 입력 항목 중 적어도 하나에 입력할 수 있다. 각 프로세서는 처리 회로(processing circuitry)를 포함할 수 있다.
상기 프로세서(120)는, 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 스크린샷(230)을 생성한 상기 전자 장치(101)와 연결된 외부 전자 장치(300)로 전송할 수 있다.
다양한 실시예들에 따른 스크린샷(230) 생성 방법은 디스플레이 모듈(160)에 출력되는 화면을 캡처하여, 스크린샷(230)을 생성하는 동작, 상기 스크린샷(230)과 관련된 메타데이터(240)를 결정하는 동작 및 상기 스크린샷(230) 및 상기 메타데이터(240)를 메모리(130)에 저장하는 동작을 포함하고, 상기 메타데이터(240)는, 상기 스크린샷(230)이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함할 수 있다.
상기 메타데이터(240)를 결정하는 동작은, 상기 스크린샷(230)을 생성하는 시점에 상기 스크린샷(230)을 생성하는 전자 장치(101)의 위치 및 시간을 식별하는 동작, 상기 화면을 출력하는 어플리케이션(146)에 기초하여, 상기 스크린샷(230)의 태그 정보를 결정하는 동작, 상기 전자 장치(101)와 연결된 외부 전자 장치(300)를 식별하는 동작을 포함할 수 있다.
상기 스크린샷(230) 생성 방법은 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 어플리케이션(146)으로 전송하는 동작, 상기 스크린샷(230) 및 상기 메타데이터(240)에 기초하여, 상기 어플리케이션(146)을 제어하는 동작을 더 포함할 수 있다.
상기 어플리케이션(146)을 제어하는 동작은, 상기 스크린샷(230)을 상기 어플리케이션(146)의 입력 항목 중 적어도 하나에 첨부하는 동작 및 상기 메타데이터(240)를 상기 어플리케이션(146)의 입력 항목 중 적어도 하나에 입력하는 동작을 포함할 수 있다.
상기 어플리케이션(146)을 수신하는 동작은, 상기 메타데이터(240)에 기초하여, 학습된 추천 모델을 이용하여 출력된 어플리케이션 목록을 제공하는 동작을 포함할 수 있다.
상기 어플리케이션(146)을 제어하는 동작은, 학습된 편집 모델을 이용하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 어플리케이션(146)의 입력 항목 중 적어도 어느 하나에 입력할 수 있다.
상기 스크린샷(230) 생성 방법은 사용자로부터 수신한 입력에 기초하여, 상기 스크린샷(230) 및 상기 메타데이터(240)를 상기 스크린샷(230)을 생성한 전자 장치(101)와 연결된 외부 전자 장치(300)로 전송하는 동작을 더 포함할 수 있다.
상기 외부 전자 장치(300)로 전송하는 동작은, 상기 외부 전자 장치(300)에 로그인된 사용자 정보에 기초하여, 상기 전자 장치(101)에 로그인된 사용자 정보와 관련된 상기 메타데이터(240)를 상기 외부 전자 장치(300)로 전송할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 적어도 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. 따라서, 각 "모듈"은 회로(circuitry)를 포함할 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 명세서의 각 실시예는 본 명세서에 기재된 임의의 다른 실시예(들)와 조합하여 사용될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시내용은 다양한 실시예를 참조하여 예시 및 설명되었지만, 다양한 실시예는 제한이 아니라 예시를 위한 것임을 이해할 것이다. 첨부된 특허청구범위 및 그 등가물을 포함하는 본 개시의 진정한 사상 및 전체 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있음이 당업자에 의해 추가로 이해될 것이다. 또한, 본 명세서에 기재된 임의의 실시예(들)는 본 명세서에 기재된 임의의 다른 실시예(들)와 함께 사용될 수 있음을 이해할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 디스플레이를 포함하는 디스플레이 모듈;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 전기적으로 연결되고, 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령어를 저장하는 메모리
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이 모듈을 통해 출력되는 화면을 캡처하여, 스크린샷을 생성하고;
    상기 스크린샷과 관련된 메타데이터를 결정하고;
    상기 스크린샷 및 상기 메타데이터를 상기 메모리에 저장하고,
    상기 메타데이터는,
    상기 스크린샷이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 스크린샷을 생성하는 시점에 상기 스크린샷을 생성하는 상기 전자 장치의 위치 및 시간을 식별하고;
    상기 화면을 출력하는 어플리케이션에 기초하여, 상기 스크린샷의 태그 정보를 결정하고;
    상기 전자 장치와 연결된 외부 전자 장치를 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    사용자로부터 수신한 입력에 기초하여, 상기 스크린샷 및 상기 메타데이터를 어플리케이션으로 전송하도록 제어하고;
    상기 스크린샷 및 상기 메타데이터에 기초하여, 상기 어플리케이션을 제어하는, 전자 장치.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 스크린샷을 상기 어플리케이션의 입력 항목 중 적어도 하나에 첨부하고;
    상기 메타데이터를 상기 어플리케이션의 입력 항목 중 적어도 하나에 입력하는, 전자 장치.
  5. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    적어도 상기 메타데이터에 기초하여 학습된 추천 모델을 이용하여 출력된 어플리케이션 목록을 제공하는, 전자 장치.
  6. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    적어도 학습된 편집 모델을 이용하여, 상기 스크린샷 및 상기 메타데이터를 상기 어플리케이션의 입력 항목 중 적어도 어느 하나에 입력하는, 전자 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    사용자로부터 수신한 입력에 기초하여, 상기 스크린샷 및 상기 메타데이터를 상기 전자 장치와 연결된 외부 전자 장치로 전송하도록 제어하는, 전자 장치.
  8. 제7항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 외부 전자 장치의 사용자 정보에 기초하여, 상기 전자 장치의 사용자 정보와 관련된 상기 메타데이터를 상기 외부 전자 장치로 전송하도록 제어하는, 전자 장치.
  9. 디스플레이를 통해 출력되는 화면을 캡처하여, 스크린샷을 생성하는 동작;
    상기 스크린샷과 관련된 메타데이터를 결정하는 동작; 및
    상기 스크린샷 및 상기 메타데이터를 메모리에 저장하는 동작
    을 포함하고,
    상기 메타데이터는,
    상기 스크린샷이 캡처될 때의 상기 화면을 출력하도록 하는 경로를 포함하는, 스크린샷 생성 방법.
  10. 제9항에 있어서,
    상기 메타데이터를 결정하는 동작은,
    상기 스크린샷을 생성하는 시점에 상기 스크린샷을 생성하는 전자 장치의 위치 및 시간을 식별하는 동작;
    상기 화면을 출력하는 어플리케이션에 기초하여, 상기 스크린샷의 태그 정보를 결정하는 동작;
    상기 전자 장치와 연결된 외부 전자 장치를 식별하는 동작
    을 포함하는, 스크린샷 생성 방법.
  11. 제9항에 있어서,
    사용자로부터 수신한 입력에 기초하여, 상기 스크린샷 및 상기 메타데이터를 어플리케이션으로 전송하는 동작;
    상기 스크린샷 및 상기 메타데이터에 기초하여, 상기 어플리케이션을 제어하는 동작
    을 더 포함하는, 스크린샷 생성 방법
  12. 제11항에 있어서,
    상기 어플리케이션을 제어하는 동작은,
    상기 스크린샷을 상기 어플리케이션의 입력 항목 중 적어도 하나에 첨부하는 동작; 및
    상기 메타데이터를 상기 어플리케이션의 입력 항목 중 적어도 하나에 입력하는 동작
    을 포함하는, 스크린샷 생성 방법.
  13. 제11항에 있어서,
    적어도 상기 메타데이터에 기초하여 학습된 추천 모델을 이용하여 출력된 어플리케이션 목록을 제공하는 동작
    을 더 포함하는, 스크린샷 생성 방법.
  14. 제11항에 있어서,
    상기 어플리케이션을 제어하는 동작은,
    적어도 학습된 편집 모델을 이용하여, 상기 스크린샷 및 상기 메타데이터를 상기 어플리케이션의 입력 항목 중 적어도 어느 하나에 입력하는, 스크린샷 생성 방법.
  15. 제9항에 있어서,
    사용자로부터 수신한 입력에 기초하여, 상기 스크린샷 및 상기 메타데이터를 상기 스크린샷을 생성한 전자 장치와 연결된 외부 전자 장치로 전송하는 동작
    을 더 포함하는, 스크린샷 생성 방법.
PCT/KR2023/001441 2022-02-28 2023-02-01 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치 WO2023163403A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/312,105 US20230273842A1 (en) 2022-02-28 2023-05-04 Method of generating screenshot and electronic device performing the method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220025875 2022-02-28
KR10-2022-0025875 2022-02-28
KR10-2022-0036592 2022-03-24
KR1020220036592A KR20230128929A (ko) 2022-02-28 2022-03-24 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/312,105 Continuation US20230273842A1 (en) 2022-02-28 2023-05-04 Method of generating screenshot and electronic device performing the method

Publications (1)

Publication Number Publication Date
WO2023163403A1 true WO2023163403A1 (ko) 2023-08-31

Family

ID=87766273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001441 WO2023163403A1 (ko) 2022-02-28 2023-02-01 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치

Country Status (1)

Country Link
WO (1) WO2023163403A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120216102A1 (en) * 2005-12-14 2012-08-23 Prajno Malla Intelligent bookmarks and information management system based on the same
KR20160105030A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
KR20180076604A (ko) * 2016-12-28 2018-07-06 전상영 샷링크 제공시스템 및 방법
KR20200094829A (ko) * 2019-01-22 2020-08-10 삼성전자주식회사 전자 장치에서 어플리케이션 목록 제공 방법 및 장치
KR20210117401A (ko) * 2020-03-19 2021-09-29 옥물결 캡처 url 제공 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120216102A1 (en) * 2005-12-14 2012-08-23 Prajno Malla Intelligent bookmarks and information management system based on the same
KR20160105030A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
KR20180076604A (ko) * 2016-12-28 2018-07-06 전상영 샷링크 제공시스템 및 방법
KR20200094829A (ko) * 2019-01-22 2020-08-10 삼성전자주식회사 전자 장치에서 어플리케이션 목록 제공 방법 및 장치
KR20210117401A (ko) * 2020-03-19 2021-09-29 옥물결 캡처 url 제공 시스템 및 방법

Similar Documents

Publication Publication Date Title
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2022154286A1 (ko) 사용자 인터페이스를 제공하는 방법 및 그 전자 장치
WO2022098195A1 (ko) 플렉스 모드로 동작하는 전자 장치 및 방법
WO2020180008A1 (en) Method for processing plans having multiple end points and electronic device applying the same method
WO2023058860A1 (ko) 멀티 서명된 apk 파일을 처리하는 전자 장치 및 그 동작 방법
WO2022196939A1 (ko) 대체 컨텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2022245116A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023048379A1 (ko) 사용자 발화를 처리하는 서버, 전자 장치 및 그의 동작 방법
WO2022103019A1 (ko) 전자 장치 및 전자 장치의 어플리케이션 실행 방법
WO2022154264A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023163403A1 (ko) 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치
WO2022085926A1 (ko) 전자 장치 및 서버를 포함하는 시스템, 및 그 시스템을 이용한 컨텐츠 추천 방법
WO2022211307A1 (ko) 올웨이즈 온 디스플레이 컨텐트를 표시를 지원하는 전자 장치 및 이의 제어 방법
WO2022065845A1 (ko) 입력 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2021221317A1 (ko) 광고 공유 방법 및 그 장치
WO2022030824A1 (ko) 오디오 재생 및 화면 표시 방법 및 그 장치
WO2022154487A1 (ko) 클립보드 기능을 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2022240031A1 (ko) 전자 장치 및 전자 장치의 파일 관리 방법
WO2022215859A1 (ko) 캡쳐 기능을 수행하는 전자 장치 및 전자 장치의 동작 방법
WO2024158199A1 (ko) 전자 장치 및 전자 장치의 성능 변화 감지 방법
WO2024117650A1 (ko) 전자 장치 및 전자 장치의 쿠키 정보 관리 방법
WO2023158136A1 (ko) 메모리 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024151079A1 (ko) 전자 장치에서 이미지를 편집하는 방법 및 장치
WO2024162683A1 (ko) 전자 장치 및 이를 이용한 홈 화면 표시 방법
WO2024025194A1 (ko) 알림과 관련된 동작을 수행하기 위한 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23760277

Country of ref document: EP

Kind code of ref document: A1