WO2024106688A1 - 전자 장치 및 그 캡쳐 이미지 획득 방법 - Google Patents

전자 장치 및 그 캡쳐 이미지 획득 방법 Download PDF

Info

Publication number
WO2024106688A1
WO2024106688A1 PCT/KR2023/011417 KR2023011417W WO2024106688A1 WO 2024106688 A1 WO2024106688 A1 WO 2024106688A1 KR 2023011417 W KR2023011417 W KR 2023011417W WO 2024106688 A1 WO2024106688 A1 WO 2024106688A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
image
electronic device
external device
screen
Prior art date
Application number
PCT/KR2023/011417
Other languages
English (en)
French (fr)
Inventor
이은진
나해리
문지범
이혜인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/376,317 priority Critical patent/US20240160340A1/en
Publication of WO2024106688A1 publication Critical patent/WO2024106688A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43078—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen for seamlessly watching content streams when changing device, e.g. when watching the same program sequentially on a TV and then on a tablet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Definitions

  • This disclosure relates to an electronic device and a method for acquiring a captured image, and more specifically, to an electronic device and a method for acquiring a captured image while communicating with an external device.
  • An electronic device includes a display, a communication interface, a memory storing at least one instruction, and one or more processors operatively connected to the display, the communication interface, and the memory, and the one or more processors.
  • a capture event When a capture event is identified, obtains a first image capturing the screen of the external device providing the first content and a second image capturing the screen of the display providing the second content, Based on the first image and the second image, a third image including the first content and the second content is acquired, the third image is stored in the memory, and the external device transmits the electronic device through the communication interface. Communication is established with the device.
  • the capture event is at least one of an event of capturing the screen of the external device through a camera, an event of capturing a screen of the display, an event of manipulating a preset button, or an event of selecting a preset menu. It includes, wherein the one or more processors may receive the first image from the external device through the communication interface or obtain the first image by photographing a screen of the external device.
  • the first content is either video content or user content
  • the second content may be one of video content and user content related to the first content.
  • the user content may include at least one of the user's chatting content, handwritten content, shooting content, health content, or environmental content.
  • the one or more processors when the first content provided from the external device is provided through at least one of the same application, the same service, the same function, or the same server as the second content, the second content
  • the content may be identified as content related to the first content.
  • the one or more processors obtain information about the first content by executing the at least one command and configure the second content with the first content based on the information about the first content. It is possible to identify whether the content is related, or to provide information about the second content to the external device and to receive information about whether the second content is related to the first content from the external device.
  • the one or more processors when the capture event is identified by executing the at least one command, the one or more processors receive a fourth image capturing a screen providing the third content from the other external device, Obtain a fifth image including the first content, the second content, and the third content based on the first image, the second image, and the fourth image, and store the fifth image in the memory. You can.
  • the one or more processors by executing the at least one command, when the third image is acquired, control the display to display the third image in a partial area of the display, and capture the event
  • a list including three images may be provided through the display, and a third image selected among the plurality of third images included in the list may be stored in the memory.
  • the one or more processors by executing the at least one command, when the third image is obtained, control the display to display the third image in a partial area of the display, and If the image is at least one of a live image or a video image, the display is controlled to display the third image on the entire screen of the display, and when the third image is selected, the third image is played and a replay function is performed. can be provided.
  • the one or more processors may transmit the third image to the external device through the communication interface.
  • the one or more processors acquire at least one of context information of the electronic device or context information of the external device corresponding to the identification point of the capture event by executing the at least one command,
  • the obtained context information is mapped to the third image and stored in the memory, and when the third image is displayed on the display according to a user command, the context information mapped to the third image can also be provided.
  • a method of acquiring a captured image of an electronic device may include, when a capture event is identified, a first image capturing a screen of the external device providing the first content and the electronic device providing the second content. Obtaining a second image that captures the screen of the device, acquiring a third image including the first content and the second content based on the first image and the second image, and It includes storing an image, and the external device can be connected to the electronic device through a communication interface.
  • a non-transitory computer-readable medium storing computer instructions that, when executed by a processor of an electronic device, cause an electronic device to perform an operation, the operation comprising: once a capture event is identified, Obtaining a first image capturing a screen of the external device providing first content and a second image capturing a screen of the electronic device providing the second content, the first image and the second image A step of obtaining a third image including the first content and the second content based on the step, and storing the third image, wherein the external device can be connected to the electronic device through a communication interface.
  • MDE multi device experience
  • FIG. 2A is a block diagram showing the configuration of an electronic device according to one or more embodiments.
  • FIG. 2B is a block diagram specifically illustrating the configuration of an electronic device according to one or more embodiments.
  • FIG. 3 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • FIG. 4 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • FIGS. 5A and 5B are diagrams for explaining a method of acquiring a captured image according to an example.
  • FIGS. 6A and 6B are diagrams for explaining a method of acquiring a captured image according to an example.
  • FIGS. 7A and 7B are diagrams for explaining a method of acquiring a captured image according to an example.
  • FIGS. 8A to 8C are diagrams for explaining a method of acquiring a captured image according to an example.
  • FIGS. 9A and 9B are diagrams for explaining a method of acquiring a captured image according to an example.
  • 10A and 10B are diagrams for explaining a method of acquiring a captured image according to an example.
  • FIG. 11 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • FIG. 12 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • FIGS. 13, 14A, and 14B are diagrams for explaining a method of providing a captured image of the electronic device 100 according to one or more embodiments.
  • FIGS. 15, 16A, and 16B are diagrams for explaining a method of providing a captured image of the electronic device 100 according to one or more embodiments.
  • FIG. 17 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of “modules” or a plurality of “units” may be integrated into at least one module and implemented with one or more processors (not shown), except for “modules” or “units” that need to be implemented with specific hardware. You can.
  • FIG. 1 is a diagram for explaining an MDE environment according to one or more embodiments of the present disclosure.
  • MDE Multi Device Experience
  • IoT Internet of Things
  • AI artificial intelligence
  • various services can be provided by connecting various types of devices such as TVs, home appliances, mobile devices, and wearable devices.
  • the first electronic device 100 and the second electronic device 200 use various communication methods such as wired communication as well as wireless communication such as Bluetooth communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as wired communication as well as wireless communication such as Bluetooth communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as Bluetooth communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as wired communication as well as wireless communication such as Bluetooth communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as wired communication as well as wireless communication such as Bluetooth communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as Wi-Fi communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as Wi-Fi communication, Wi-Fi communication, infrared communication, and mobile communication. Communication is possible through various communication methods such as Wi-Fi communication
  • the first electronic device 100 is implemented as a smart phone
  • the second electronic device 200 is implemented as a TV.
  • the second electronic device 200 provides specific content, for example, video content
  • the first electronic device 100 that is communicated with the second electronic device 200 provides content related to the video content.
  • the second electronic device 200 may provide broadcast content
  • the first electronic device 100 may provide a real-time chat screen related to the broadcast content.
  • a user may have a need to capture and store information about a specific prop in corresponding broadcast content.
  • a differentiated MDE experience can be provided.
  • FIG. 2A is a block diagram showing the configuration of an electronic device according to one or more embodiments.
  • the electronic device 100 includes a display 110, a communication interface 120, a memory 130, and one or more processors 140.
  • the display 110 may be implemented as a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • LED Light Emitting Diodes
  • micro LED micro LED
  • Mini LED Plasma Display Panel
  • PDP Plasma Display Panel
  • QD Quantum dot
  • QLED Quantum dot light-emitting diodes
  • the display 110 may also include a driving circuit and a backlight unit that may be implemented in the form of a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • LTPS low temperature poly silicon
  • OFT organic TFT
  • a touch sensor that detects touch operations in the form of a touch film, touch sheet, touch pad, etc. is placed on the front of the display 110 and can be implemented to detect various types of touch input.
  • the display 110 can detect various types of touch input, such as a touch input by the user's hand, a touch input by an input device such as a stylus pen, and a touch input by a specific electrostatic material.
  • the input device may be implemented as a pen-type input device that can be referred to by various terms such as an electronic pen, stylus pen, and S-pen.
  • the display 110 may be implemented as a flat display, a curved display, a flexible display capable of folding and/or rolling, etc.
  • the communication interface 120 may be implemented as various interfaces depending on the implementation example of the electronic device 100.
  • the communication interface 120 includes Bluetooth, AP-based Wi-Fi (Wireless LAN network), Zigbee, wired/wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/European Broadcasting Union), Optical , Coaxial, etc. can be used to communicate with external devices, external storage media (eg, USB memory), external servers (eg, web hard drives), etc.
  • the communication interface 120 may communicate with the user terminal 200 and/or the remote control device 300.
  • the memory 130 can store data needed for various embodiments.
  • the memory 130 may be implemented as a memory embedded in the electronic device 100 or as a memory detachable from the electronic device 100 depending on the data storage purpose. For example, in the case of data for driving the electronic device 100, it is stored in a memory embedded in the electronic device 100', and in the case of data for the expansion function of the electronic device 100, it is attached and detachable from the electronic device 100. This can be stored in available memory.
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory Examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g. NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD).
  • a memory card for example, a compact memory card (CF) may be used.
  • USB port It may be implemented in a form such as (for example, USB memory).
  • One or more processors 140 generally control the operation of the electronic device 100. Specifically, one or more processors 140 may be connected to each component of the electronic device 100 and generally control the operation of the electronic device 100. For example, one or more processors 140 may be electrically connected to the display 110 and the memory 130 to control the overall operation of the electronic device 100. The processor 140 may be comprised of one or multiple processors.
  • One or more processors 140 may perform operations of the electronic device 100 according to various embodiments by executing at least one instruction stored in the memory 130.
  • One or more processors 140 include a CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), and hardware. It may include one or more of an accelerator or machine learning accelerator. One or more processors 140 may control one or any combination of other components of the electronic device and may perform operations related to communication or data processing. One or more processors 140 may execute one or more programs or instructions stored in memory. For example, one or more processors may perform a method according to one or more embodiments of the present disclosure by executing one or more instructions stored in memory.
  • the plurality of operations may be performed by one processor or by a plurality of processors.
  • the first operation, the second operation, and the third operation may all be performed by the first processor.
  • the first and second operations may be performed by a first processor (e.g., a general-purpose processor) and the third operation may be performed by a second processor (e.g., an artificial intelligence-specific processor).
  • the one or more processors 140 may be implemented as a single core processor including one core, or one or more multi-cores including a plurality of cores (e.g., homogeneous multi-core or heterogeneous multi-core). It may also be implemented as a processor (multicore processor). When one or more processors 140 are implemented as multi-core processors, each of the plurality of cores included in the multi-core processor may include processor internal memory such as cache memory and on-chip memory, and may include a plurality of processor internal memories such as cache memory and on-chip memory. A common cache shared by cores may be included in multi-core processors.
  • each of the plurality of cores (or some of the plurality of cores) included in the multi-core processor may independently read and perform program instructions for implementing the method according to one or more embodiments of the present disclosure, and the plurality of cores may Program instructions for implementing a method according to one or more embodiments of the present disclosure may be read and performed in conjunction with all (or part of) the present disclosure.
  • the plurality of operations may be performed by one core among a plurality of cores included in a multi-core processor, or may be performed by a plurality of cores. It may be possible.
  • the first operation, the second operation, and the third operation are performed by the method according to one or more embodiments, the first operation, the second operation, and the third operation are all included in the multi-core processor. It may be performed by one core, and the first operation and the second operation may be performed by the first core included in the multi-core processor, and the third operation may be performed by the second core included in the multi-core processor.
  • a processor may mean a system-on-chip (SoC) in which one or more processors and other electronic components are integrated, a single-core processor, a multi-core processor, or a core included in a single-core processor or a multi-core processor.
  • SoC system-on-chip
  • the core may be implemented as a CPU, GPU, APU, MIC, DSP, NPU, hardware accelerator, or machine learning accelerator, but embodiments of the present disclosure are not limited thereto.
  • processor 140 for convenience of explanation, one or more processors 140 will be referred to as processor 140.
  • FIG. 2B is a block diagram specifically illustrating the configuration of an electronic device according to one or more embodiments.
  • the electronic device 100' includes a display 110, a communication interface 120, a memory 130, one or more processors 140, a user interface 150, a camera 160, and a speaker 170. and a sensor 180.
  • a display 110 the electronic device 100' includes a display 110, a communication interface 120, a memory 130, one or more processors 140, a user interface 150, a camera 160, and a speaker 170. and a sensor 180.
  • FIG. 2B detailed descriptions of configurations that overlap with those shown in FIG. 2A will be omitted.
  • the user interface 150 may be implemented with devices such as buttons, touch pads, mice, and keyboards, or with a touch screen that can also perform the display function and manipulation input function described above.
  • the camera 160 may be turned on and perform photography according to a preset event.
  • the camera 160 may convert the captured image into an electrical signal and generate image data based on the converted signal.
  • a subject is converted into an electrical image signal through a semiconductor optical device (CCD; Charge Coupled Device), and the converted image signal can be amplified and converted into a digital signal and then processed.
  • the camera 120 may be implemented as a general camera, stereo camera, depth camera, etc.
  • the speaker 170 may be configured to output not only various audio data but also various notification sounds or voice messages.
  • the processor 140 may control the speaker 170 to output feedback or various notifications in audio form according to various embodiments of the present disclosure.
  • the sensor 180 may include various types of sensors, such as a touch sensor, proximity sensor, acceleration sensor (or gravity sensor), geomagnetic sensor, gyro sensor, pressure sensor, position sensor, distance sensor, and illuminance sensor.
  • sensors such as a touch sensor, proximity sensor, acceleration sensor (or gravity sensor), geomagnetic sensor, gyro sensor, pressure sensor, position sensor, distance sensor, and illuminance sensor.
  • the electronic device 100' may include a microphone (not shown), a tuner (not shown), and a demodulator (not shown), depending on the implementation example.
  • a microphone (not shown) is configured to receive the user's voice or other sounds and convert them into audio data.
  • the electronic device 100' may receive a user's voice input through an external device through the communication interface 110.
  • a tuner may receive an RF broadcast signal by tuning a channel selected by the user or all previously stored channels among RF (Radio Frequency) broadcast signals received through an antenna.
  • the demodulator may receive the digital IF signal (DIF) converted from the tuner, demodulate it, and perform channel decoding.
  • DIF digital IF signal
  • FIG. 3 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 provides first content on the screen of the external device 200 communicated through the communication interface 120 and displays the first content on the screen of the display 110.
  • Second content related to may be provided (S310).
  • the processor 140 provides the first image and second content captured on the screen of the external device 200 providing the first content.
  • a second image capturing the screen of the display 110 can be obtained (S330).
  • the capture event includes an event of capturing the screen of the external device 200 through the camera 160 provided in the electronic device 100, an event of capturing the screen of the display 110, and an event of manipulating a preset button. , a preset menu, or an event where a preset condition is satisfied in the electronic device 100 or the external device 100.
  • screen capture may include not only the operation of simply capturing a displayed image, but also the operation of saving information provided on the screen or information connected to (or related to) the current screen. For example, if a specific file is being provided on the current screen, it may include an operation to save the file information, an operation to save information on the currently running application, an operation to save context information of the current device, etc. Various examples related to this will be described later with reference to the drawings.
  • the processor 140 may obtain a third image including the first content and the second content based on the first image and the second image and store it in the memory 130 (S340). Alternatively, the processor 140 may transmit the third image to the external device 200 through the communication interface 120.
  • the first image may be acquired by the electronic device 100 or received from the external device 200.
  • the electronic device 100 may acquire the first image, which will be described in detail based on FIG. 4. Let's do it.
  • the first image may be received from the external device 200.
  • the processor 140 transmits a control signal for screen capture to the external device 200 and transmits a control signal for screen capture from the external device 200.
  • the first image in which the screen is captured can be received.
  • the first image may be received from the external device 200.
  • the processor 140 identifies an event in which a preset button is operated or an event in which a preset menu is selected, the processor 140 transmits a control signal for screen capture to the external device 200 and transmits a control signal for screen capture from the external device 200.
  • a first image in which the screen of the device 200 is captured may be received.
  • FIG. 4 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 provides first content on the screen of the external device 200 that is communicated with through the communication interface 120 and displays the first content on the screen of the display 110.
  • Second content related to may be provided (S410).
  • step S410 If an event for capturing the screen of the external device 200 is identified through the camera 160 while the operation of step S410 is maintained (S420:Y), the processor 140 captures the screen of the external device 100 and provides 1 image can be acquired and a second image captured by capturing the screen of the display 110 providing the second content can be obtained (S430). That is, the processor 140 can capture the screen of the display 110 while photographing the screen of the external device 100 using the camera 160 according to a shooting event.
  • the processor 140 may obtain a third image including the first content and the second content based on the first image and the second image and store it in the memory 130 (S440).
  • one of the first content and the second content may be video content
  • the other of the first content and the second content may be user content related to the video content.
  • video content may be implemented as still image content (e.g., art work image, NFT image, thumbnail image, etc.).
  • user content may be content related to the user's context, such as user interaction, user action, and user environment.
  • the user content may include at least one of the user's chatting content, handwritten content, shooting content, health content, or environmental content.
  • the first content provided through the external device 200 may be video content
  • the second content provided through the electronic device 100 may be user content
  • the first content provided through the external device 200 may be user content
  • the second content provided through the electronic device 100 may be video content.
  • FIGS. 5A and 5B are diagrams for explaining a method of acquiring a captured image according to an example.
  • the electronic device 100 is implemented as a smart phone, and the external device 200 is implemented as a TV.
  • the external device 200 may provide video content and the electronic device 100 may provide chat content related to the video content provided by the external device 200.
  • chat content provided by the electronic device 100 may be a real-time chat screen related to the video content, but is not necessarily limited thereto.
  • the electronic device 100 may acquire a first image capturing the video content 510 and a second image capturing the chatting content 520.
  • the captured image may be acquired as the first image.
  • the first image may be received from the external device 200.
  • the electronic device 100 transmits a control signal for screen capture to the external device 200 and transmits a control signal for screen capture from the external device 200 to the external device 200.
  • the first image in which the screen of is captured can be received.
  • the electronic device 100 includes video content 510 and chat content 520 based on the first image 510-1 and the second image 520-1.
  • a third image 530 may be acquired.
  • the third image 530 includes a first image 510-1 including video content 510 and a second image 520-1 including chat content 520 at a specific video playback time. It may be a combination in the left and right directions, but is not necessarily limited to this. For example, they may be combined in a vertical direction, or may be combined in a way that the second image is included within the first image.
  • the combination form of the first image and the second image may be determined based on the screen ratio of the electronic device 100. Alternatively, the ratio and/or size of at least one of the first image and the second image are adjusted and then combined to obtain a third image, or the third image is obtained while the ratio and/or size of the first image and the second image are maintained. Images may also be acquired.
  • the screens of multiple devices providing related content can be captured together, saved as a single image, and used for later editing and management.
  • FIGS. 6A and 6B are diagrams for explaining a method of acquiring a captured image according to an example.
  • the electronic device 100 is implemented as a tablet and the external device 200 is implemented as a smart monitor.
  • the external device 200 may provide online lecture content and the electronic device 100 may provide written content related to the online lecture content provided by the external device 200.
  • the handwriting content provided by the electronic device 100 may be a handwriting screen related to the corresponding online lecture content, but is not necessarily limited thereto.
  • a capture event is identified while the external device 200 provides online lecture content 610 and the electronic device 100 provides written content 620 related to the online lecture content 610.
  • the electronic device 100 can acquire a first image that captures the online lecture content 610 and a second image that captures the user's handwritten content 620 at a specific lecture point in time.
  • the method of acquiring the first image and/or the second image may be the same/similar to the various examples described above in FIGS. 3, 4, and 5A.
  • the electronic device 100 includes online lecture content 610 and written content 620 based on the first image 610-1 and the second image 620-1.
  • a third image 630 may be obtained.
  • the third image 630 is a combination of the first image 610-1 including online lecture content 610 and the second image 620-1 including handwritten content 620 in the left and right directions. It may be in a combined form, but is not necessarily limited thereto, and may have various combination forms as described in FIG. 5b.
  • the screens of multiple devices providing related content can be captured together, saved as a single image, and used for later editing and management.
  • users can receive an MDE experience that allows them to review necessary parts through captured images after the lecture is over.
  • FIGS. 7A and 7B are diagrams for explaining a method of acquiring a captured image according to an example.
  • the electronic device 100 is implemented as a smart phone
  • the first external device 200 is implemented as a TV
  • the second external device 300 is implemented as a wearable device worn by the user, for example, a smart watch.
  • the external device 200 may provide health content (or exercise content), and the electronic device 100 may provide captured content that captures a user following the health content provided by the external device 200.
  • the user checks the posture using the camera 160 provided in the electronic device 100 and exercises while checking exercise/health/biological information through another external device 300 (i.e., smart watch). It could be a situation.
  • another external device 300 may be in a state of communication connection with the electronic device 100, like the external device 200.
  • the external device 200 provides exercise content 710
  • the electronic device 100 provides user captured content 720 related to the exercise content 710
  • the other external device 300 If a capture event is identified while checking the user's exercise state (or health state), the electronic device 100 acquires a first image capturing the exercise content 710 and captures the user's captured content at a specific posture point in time. A second image capturing 720 can be obtained.
  • the method of acquiring the first image and/or the second image may be the same/similar to the various examples described above in FIGS. 3, 4, and 5A.
  • the electronic device 100 may acquire an image capturing the user's exercise state (or health state) information provided by another external device 300. For example, when a capture event is identified, the electronic device 100 transmits a control signal for screen capture to the other external device 300 and captures the screen of the other external device 300 from the other external device 300. Images can be received.
  • the electronic device 100 is based on the first image 710-1, the second image 720-1, and the captured image 730-1 of the other external device 300.
  • a captured image 740 including exercise content 710, shooting content 720, and exercise state information 730 may be obtained.
  • the third image 740 is a combination of the first image 710-1 including exercise content 710 and the second image 720-1 including shooting content 720 in the left and right directions.
  • the image 730-1 including the exercise state information 730 may be combined in the second image 720-1, but is not necessarily limited thereto, and various combinations as described in FIG. 5B may be used. You can have it.
  • the user can periodically check how much the user's condition has improved by repeating the same posture through captured images.
  • FIGS. 8A and 8B are diagrams for explaining a method of acquiring a captured image according to an example.
  • the electronic device 100 is implemented as a tablet and the external device 200 is implemented as a projector device.
  • the external device 200 may provide a video conference data screen and the electronic device 100 may provide content that captures a user participating in the video conference.
  • a capture event is identified while the external device 200, that is, the projector device, projects the video conference material screen 810 to the projection surface and the electronic device 100 provides the video conference image 820.
  • the electronic device 100 can acquire a first image capturing the video conference material screen 810 and acquire a second image capturing the video conference video 820.
  • the method of acquiring the first image and/or the second image may be the same/similar to the various examples described above in FIGS. 3, 4, and 5A.
  • the electronic device 100 displays the video conference data screen 810 and the video conference video 820 based on the first image 810-1 and the second image 820-1, as shown in FIG. 8B.
  • a third image 830 including can be obtained.
  • the third image 830 is a first image 810-1 including a video conference material screen 810 and a second image 820-1 including a video conference video 820 in an upward and downward direction. It may be in a combined form, but is not necessarily limited thereto, and may have various combination forms as described in FIG. 5b.
  • the electronic device 100 includes a video conference video 820 and a shared file 640 based on the second image 820-1 and the file 840 shared in the video conference, as shown in FIG. 8C.
  • a capture image 850 may also be obtained.
  • video conference data, video conference video, shared files, etc. are captured together, so that the video conference situation can be shared with other users later.
  • FIGS. 9A and 9B are diagrams for explaining a method of acquiring a captured image according to an example.
  • the electronic device 100 is implemented as a wearable device, and the external device 200 is implemented as a smart monitor.
  • the external device 200 provides content such as game content, movie content, etc.
  • the electronic device 100 is implemented as a smart watch to measure and provide the user's health information while playing or watching the content. You can.
  • the electronic device 100 may acquire a first image capturing game content 910 and obtain a second image capturing health information 920 at the time of capture. That is, an event in which the user's health information satisfies preset conditions may be identified as a capture event. For example, if the user's heart rate is higher than a preset heart rate, it may be identified as a capture event.
  • the electronic device 100 includes game content 910 and health information 920 based on the first image 910-1 and the second image 920-1.
  • a third image 630 may be obtained.
  • the third image 630 is a combination of the first image 910-1 including game content 910 and the second image 920-1 including health information 920 in the left and right directions. It may be in any form, but is not necessarily limited thereto, and may have various combination forms as described in FIG. 5B.
  • the second image 920-1 may be an image captured as is of the screen of the electronic device 100, but is an image in which the information provided to the electronic device 100 is rearranged, as shown in FIG. 9B. It may be. That is, information provided on the screen of the electronic device 100 at the time a capture event of the electronic device 100 is identified can be stored as the second image 920-1.
  • 10A and 10B are diagrams for explaining a method of acquiring a captured image according to an example.
  • the electronic device 100 is implemented as a smart phone
  • the external device 200 is implemented as a projector device.
  • the external device 200 may provide video content and the electronic device 100 may provide additional information about the video content.
  • an external device 200 that is, a projector device, projects movie content 1010 onto a projection surface
  • the electronic device 100 provides a UI screen 1020 including a review of the movie content. If a capture event is identified during the screen, the electronic device 100 may acquire a first image capturing the movie content 1010 and a second image capturing a UI screen 1020 including a review.
  • the method of acquiring the first image and/or the second image may be the same/similar to the various examples described above in FIGS. 3, 4, and 5A.
  • the electronic device 100 displays image movie content based on the first image 1010-1 and the second image 1020-1 as well as the context information of the electronic device 100, as shown in FIG. 10B. 1010), a UI screen 1020 including a review, and a third image 1040 including context information can be obtained.
  • the context information may include location information of the electronic device 100 at the time of identifying the capture event.
  • the third image 1040 may include video movie content 1010, a UI screen 1020 including a review, and a map image 1030 including location information (eg, GPS information).
  • the user captures and stores not only additional information (e.g., reviews) about the video content he or she has watched, but also context information at the time of viewing, and later shares the image with other users to improve user experience. You can improve your UX experience.
  • additional information e.g., reviews
  • FIG. 11 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 provides first content on the screen of an external device 200 that is communicated with through the communication interface 120 and displays first content on the screen of the display 110.
  • Second content related to may be provided (S1110).
  • the processor 140 identifies whether the first content provided by the external device 200 is provided through at least one of the same application, the same service, the same function, or the same server as the second content provided by the electronic device 100. You can do it (S1120).
  • the second content is content related to the first content. It can be identified as (S1130).
  • the processor 140 receives information about the application that the external device 200 is running, the service it provides, the function it provides, or the server it is connected to, and mixes the first content with the second content. It is possible to identify whether it is provided through at least one of the same application, the same service, the same function, or the same server.
  • the processor 140 may identify whether the electronic device 100 and the external device 200 provide the same function based on the type of the external device 200. For example, if the electronic device 100 is providing a health care function and the type of the external device 200 is a wearable device that provides the health care function, the electronic device 100 and the external device 200 provide the same function. It can be identified by what it provides.
  • the processor 140 displays the first image captured on the screen of the external device 200 providing the first content and the display 110 providing the second content.
  • a second image capturing the screen can be obtained (S1150).
  • the capture event includes an event of capturing the screen of the external device 200 through the camera 160 provided in the electronic device 100, an event of capturing the screen of the display 110, and an event of manipulating a preset button. , a preset menu, or an event where a preset condition is satisfied in the electronic device 100 or the external device 100.
  • the processor 140 may obtain a third image including the first content and the second content based on the first image and the second image and store it in the memory 130 (S1160).
  • the example shown in FIGS. 8A and 8B may be a case where the same video call application is executed on the electronic device 100 and the external device 200.
  • the video call application is provided in the form of an icon interface on the screen of the electronic device 100 and the screen of the external device 200, and when the video call application is respectively executed, the video conference data screen 810 and the video are displayed through the execution screen of the video call application.
  • a meeting video 820 may be provided.
  • the video conference data screen 810 and the video conference video 820 may be shared between a plurality of devices participating in a plurality of video conferences via an external server (not shown) that communicates with a video call application.
  • the electronic device 100 displays the video conference material screen 810 and the video conference video 820 as related content. It can be identified as
  • the electronic device 100 and the external device 200 provide the same service, and the electronic device 100 and the other external device 300 provide the same function. It can be.
  • exercise content 710 provided by the external device 200 and user captured content 720 provided by the electronic device 100 may be connected through the same service (or the same server).
  • the user captured content 720 provided by the electronic device 100 and the exercise state information 730 provided by another external device 300 may be provided by the same function (for example, a health care function).
  • the user captured content 720 and the exercise state information 730 have the same function based on function information received from another external device 300 or type information of the other external device 300. You can identify whether it is provided by .
  • the electronic device 100 may identify the exercise content 710 and the photographed content 720 as related content, and identify the photographed content 720 and the exercise state information 730 as related content.
  • FIG. 12 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 provides first content on the screen of an external device 200 that is communicated with through the communication interface 120 and displays first content on the screen of the display 110.
  • Second content related to may be provided (S1210).
  • the processor 140 obtains information about the first content and identifies whether the second content is related to the first content based on the information about the first content, or sends information about the second content to the external device 200. Information on whether the second content is related to the first content can be received from the external device 200 (S1220). According to one example, the processor 140 may identify whether the first content and the second content are related content using a learned neural network model. For example, by inputting information about the first content and information about the second content into a learned neural network model, identification information about whether the content is related can be obtained as output information.
  • the processor 140 captures the screen of the external device 200 that provides the first content.
  • a second image that captures the screen of the display 110 that provides the first image and the second content can be obtained (S1250).
  • the capture event includes an event of capturing the screen of the external device 200 through the camera 160 provided in the electronic device 100, an event of capturing the screen of the display 110, and an event of manipulating a preset button. , a preset menu, or an event where a preset condition is satisfied in the electronic device 100 or the external device 100.
  • the processor 140 may obtain a third image including the first content and the second content based on the first image and the second image and store it in the memory 130 (S1260).
  • the electronic device 100 receives video content or/and metadata (e.g., title information, cast information, etc.) from the external device 200 and displays it in the external device 200.
  • video content or/and metadata e.g., title information, cast information, etc.
  • the second content 1020 is analyzed. It is possible to identify whether the content is related to the first content.
  • it is possible to determine whether the first content 1010 and the second content 1020 are related content by identifying whether they are provided through the same application, the same service, the same server, etc. Of course.
  • FIGS. 13, 14A, and 14B are diagrams for explaining a method of providing a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 may display the third image in a partial area of the display 110. There is (S1320).
  • the video content 510 and the electronic device 100 are provided to the external device 100 according to a capture event.
  • the capture image 1410 including the chat content 520 (refer to the embodiment of FIG. 5A) provided is obtained, the capture image 1410 is displayed on at least one screen of the electronic device 100 or the external device 200. It can be displayed in one area.
  • the processor 140 displays a plurality of first contents and displays 110 provided on the screen of the external device 200 within a time range before the first threshold time and after the second threshold time based on the time at which the capture event is identified.
  • a list including a plurality of third images including a plurality of second content provided on the screen may be provided through the display 110 (S1330).
  • the first threshold time and the second threshold time may be the same or different.
  • the electronic device 100 may transmit the list to the external device 200 and provide the list to the external device 200.
  • the capture image 1410 displayed in one area of the screen in FIG. 14A is selected, the images 1420 and 1430 captured before the capture point of the capture image 1410 and after the capture point are displayed as shown in FIG. 14b.
  • a list containing images 1440, 1450, and 1460 captured in can be provided.
  • the processor 140 may store the selected third image among the plurality of third images included in the list as the final captured image in the memory 130 (S1340). For example, when a specific captured image 1440 is selected among the captured images 1410 to 1460 included in the list, the selected captured image 1440 may be saved as the final captured image.
  • FIGS. 15, 16A, and 16B are diagrams for explaining a method of providing a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 may display the third image in a partial area of the display 110. There is (S1520).
  • the video content 510 and the electronic device 100 are provided to the external device 100 according to a capture event.
  • the capture image 1610 including the chat content 520 (refer to the embodiment of FIG. 5A) provided is obtained, the capture image 1610 is displayed on at least one screen of the electronic device 100 or the external device 200. It can be displayed in one area.
  • the processor 140 may display the third image on the entire screen of the display 110 (S1540).
  • the processor 140 may play the third image and provide a replay function (S1560).
  • the captured image 1610 may be provided on the entire screen to provide a replay function.
  • a play bar 1611, video length information, playback time information 1612, etc. can be provided to provide a replay function for a desired section.
  • providing the entire screen of the captured image 1610 is not limited to the electronic device 100, and the captured image 1610 may be provided on the entire screen of the external device 200.
  • the electronic device 100 may transmit the captured image 1610 to the external device 200 so that the captured image 1610 is provided on the entire screen of the external device 200.
  • FIG. 17 is a diagram for explaining a method of acquiring a captured image of the electronic device 100 according to one or more embodiments.
  • the processor 140 provides first content on the screen of an external device 200 that is communicated with through the communication interface 120 and displays first content on the screen of the display 110.
  • Second content related to may be provided (S1710).
  • the processor 140 may obtain at least one of context information of the electronic device 100 or context information of the external device 200 corresponding to the identification time of the capture event (S1720:Y). S1730).
  • the processor 140 may map the acquired context information with the third image and store it in the memory 130 (S1740).
  • the electronic device 100 may provide context information of the electronic device 100 corresponding to the identification point of the capture event, for example, location information acquired through the sensor 170, illuminance information, or weather received from an external server. You can obtain information, etc.
  • the electronic device 100 receives context information of the external device 200 corresponding to the identification point of the capture event, such as location information, illuminance information, or weather information received from an external server, from the external device 200. You can receive it.
  • the electronic device 100 may map and store the acquired context information with a third image, and provide the mapped information together when the third image is displayed according to a user command.
  • a differentiated MDE experience is provided by capturing and storing the screens of the plurality of devices together according to the user's capture command and providing captured images according to the user's needs.
  • the user's UX experience can be improved by mapping and storing not only screen information but also context information of each device to the captured image.
  • the methods according to various embodiments of the present disclosure described above may be implemented in the form of applications that can be installed on existing electronic devices.
  • the methods according to various embodiments of the present disclosure described above for example, determination of related content, may be performed using a deep learning-based artificial neural network (or deep artificial neural network), that is, a learning network model.
  • a deep learning-based artificial neural network or deep artificial neural network
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include an electronic device (eg, electronic device A) according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • the methods according to the various embodiments described above may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Additional components may be included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 디스플레이, 통신 인터페이스, 적어도 하나의 명령어를 저장하는 메모리 및, 디스플레이, 통신 인터페이스 및 메모리와 동작적으로 연결된 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,캡쳐 이벤트가 식별되면, 제1 컨텐츠를 제공하는 외부 장치의 화면을 캡쳐한 제1 이미지 및 제2 컨텐츠를 제공하는 디스플레이의 화면을 캡쳐한 제2 이미지를 획득하며, 제1 이미지 및 제2 이미지에 기초하여 제1 컨텐츠 및 제2 컨텐츠를 포함하는 제3 이미지를 획득하고, 제3 이미지를 메모리에 저장하고 상기 외부 장치는 상기 통신 인터페이스를 통해 상기 전자 장치와 통신 연결될 수 있다.

Description

전자 장치 및 그 캡쳐 이미지 획득 방법
본 개시는 전자 장치 및 그 캡쳐 이미지 획득 방법에 관한 것으로, 더욱 상세하게는 외부 장치와 통신 연결된 상태에서 캡쳐 이미지를 획득하는 전자 장치 및 그 캡쳐 이미지 획득 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 기기들을 통한 서비스가 개발되고 있다. 특히, 최근에는 여러 개의 기기에 인공지능(AI)과 사물인터넷(IoT) 등을 접목하는 다양한 MDE(Multi Device Experience) 서비스가 제안되고 있다.
하나 이상의 실시 예에 따른 전자 장치는, 디스플레이, 통신 인터페이스, 적어도 하나의 명령어를 저장하는 메모리 및, 상기 디스플레이, 상기 통신 인터페이스 및 상기 메모리와 동작적으로 연결된하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 캡쳐 이벤트가 식별되면, 상기 제1 컨텐츠를 제공하는 상기 외부 장치의 화면을 캡쳐한 제1 이미지 및 상기 제2 컨텐츠를 제공하는 상기 디스플레이의 화면을 캡쳐한 제2 이미지를 획득하며, 상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 포함하는 제3 이미지를 획득하고, 상기 제3 이미지를 상기 메모리에 저장하고 상기 외부 장치는 상기 통신 인터페이스를 통해 상기 전자 장치와 통신 연결된다.
일 예에 따르면, 상기 캡쳐 이벤트는, 카메라를 통해 상기 외부 장치의 화면을 촬영하는 이벤트, 상기 디스플레이의 화면을 캡쳐하는 이벤트, 기 설정된 버튼이 조작되는 이벤트 또는 기 설정된 메뉴가 선택되는 이벤트 중 적어도 하나를 포함하며, 상기 하나 이상의 프로세서는, 상기 통신 인터페이스를 통해 상기 외부 장치로부터 상기 제1 이미지를 수신하거나 상기 외부 장치의 화면을 촬영하여 상기 제1 이미지를 획득할 수 있다.
일 예에 따르면,
상기 제1 컨텐츠는 동영상 컨텐츠 또는 사용자 컨텐츠 중 하나이고,
상기 제2 컨텐츠는 상기 제1 컨텐츠와 관련된 동영상 컨텐츠 및 사용자 컨텐츠 중 하나 수 있다. 상기 사용자 컨텐츠는, 사용자의 채팅 컨텐츠, 필기 컨텐츠, 촬영 컨텐츠, 헬스 컨텐츠 또는 환경 컨텐츠 중 적어도 하나를 포함할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 외부 장치에서 제공되는 상기 제1 컨텐츠가 상기 제2 컨텐츠와 동일한 어플리케이션, 동일한 서비스, 동일한 기능 또는 동일한 서버 중 적어도 하나를 통해 제공되는 경우, 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인 것으로 식별할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써, 상기 제1 컨텐츠에 대한 정보를 획득하고 상기 제1 컨텐츠에 대한 정보에 기초하여 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인지 식별하거나, 상기 제2 컨텐츠에 대한 정보를 상기 외부 장치로 제공하고 상기 외부 장치로부터 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인지에 대한 정보를 수신할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써, 상기 캡쳐 이벤트가 식별되면, 상기 타 외부 장치로부터 상기 제3 컨텐츠를 제공하는 화면을 캡쳐한 제4 이미지를 수신하고, 상기 제1 이미지, 상기 제2 이미지 및 상기 제4 이미지에 기초하여 상기 제1 컨텐츠, 상기 제2 컨텐츠 및 상기 제3 컨텐츠를 포함하는 제5 이미지를 획득하고, 상기 제5 이미지를 상기 메모리에 저장할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,상기 제3 이미지가 획득되면, 상기 제3 이미지를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고, 상기 캡쳐 이벤트가 식별된 시점을 기준으로 임계 시간 이전 및 상기 임계 시간 이후의 시간 범위 내에서 상기 외부 장치의 화면에서 제공된 복수의 제1 컨텐츠 및 상기 디스플레이의 화면에서 제공된 복수의 제2 컨텐츠를 포함하는 복수의 제3 이미지를 포함하는 리스트를 상기 디스플레이를 통해 제공하고, 상기 리스트에 포함된 상기 복수의 제3 이미지 중 선택된 제3 이미지를 상기 메모리에 저장할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,상기 제3 이미지가 획득되면, 상기 제3 이미지를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고, 상기 제3 이미지가 라이브 이미지 또는 동영상 이미지 중 적어도 하나이면, 상기 제3 이미지를 상기 디스플레이의 전체 화면에 표시하도록 상기 디스플레이를 제어하고, 상기 제3 이미지가 선택되면, 상기 제3 이미지를 재생하여 다시 보기 기능을 제공할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,상기 제3 이미지가 획득되면, 상기 제3 이미지를 상기 통신 인터페이스를 통해 상기 외부 장치로 전송할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,상기 캡쳐 이벤트의 식별 시점에 대응되는 상기 전자 장치의 컨텍스트 정보 또는 상기 외부 장치의 컨텍스트 정보 중 적어도 하나를 획득하고, 상기 획득된 컨텍스트 정보를 상기 제3 이미지와 매핑하여 상기 메모리에 저장하며, 사용자 명령에 따라 상기 제3 이미지가 상기 디스플레이를 통해 표시되면, 상기 제3 이미지에 맵핑된 컨텍스트 정보를 함께 제공할 수 있다.
하나 이상의 실시 예에 따르면, 전자 장치의 캡쳐 이미지 획득 방법은, 캡쳐 이벤트가 식별되면, 상기 제1 컨텐츠를 제공하는 상기 외부 장치의 화면을 캡쳐한 제1 이미지 및 상기 제2 컨텐츠를 제공하는 상기 전자 장치의 화면을 캡쳐한 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 포함하는 제3 이미지를 획득하는 단계 및, 상기 제3 이미지를 저장하는 단계를 포함하며, 상기 외부 장치는 통신 인터페이스를 통해 상기 전자 장치와 통신 연결될 수 있다.
하나 이상의 실시 예에 따르면, 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 캡쳐 이벤트가 식별되면, 상기 제1 컨텐츠를 제공하는 상기 외부 장치의 화면을 캡쳐한 제1 이미지 및 상기 제2 컨텐츠를 제공하는 상기 전자 장치의 화면을 캡쳐한 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 포함하는 제3 이미지를 획득하는 단계 및, 상기 제3 이미지를 저장하는 단계를 포함하며 상기 외부 장치는 통신 인터페이스를 통해 상기 전자 장치와 통신 연결될 수 있다.
본 발명의 특정 실시예의 상기 및 다른 측면, 특징 및 이점은 첨부된 도면과 함께 취해진 다음의 설명으로부터 더욱 명백해질 것이다:
도 1은 본 개시의 하나 이상의 실시 예에 따른 MDE(multi device experience) 환경을 설명하기 위한 도면이다.
도 2a는 하나 이상의 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2b는 하나 이상의 실시 예에 따른 전자 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 3은 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 4는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
도 6a 및 도 6b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
도 7a 및 도 7b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
도 8a 내지 도 8c는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
도 9a 및 도 9b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
도 10a 및 10b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
도 11은 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 12는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 13, 도 14a 및 도 14b는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 제공 방법을 설명하기 위한 도면들이다.
도 15, 도 16a 및 도 16b는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 제공 방법을 설명하기 위한 도면들이다.
도 17은 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 이용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 이용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 이용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 이용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 이용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 또는 B 중 적어도 하나라는 표현은 "A 만" 또는 "B 만" 또는 "A 및 B 모두" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 하나 이상의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 하나 이상의 실시 예에 따른 MDE 환경을 설명하기 위한 도면이다.
MDE(Multi Device Experience)란 여러 개의 기기에 사물인터넷(IoT) 및/또는 인공지능(AI) 등을 접목해 차별화한 경험을 제공하기 위한 사용자 환경을 의미한다. 예를 들어, TV, 가전 기기, 모바일 기기, 웨어러블 기기등 다양한 타입의 기기를 통신 연결하여 다양한 서비스를 제공할 수 있다.
일 예에 따라 MDE 환경을 제공하기 위한 복수의 기기, 예를 들어, 제1 전자 장치(100) 및 제2 전자 장치(200)는 다양한 기기로 구현 가능하다. 예를 들어, 제1 전자 장치(100) 및 제2 전자 장치(200)는 TV, 스마트 모니터, 프로젝터, 스마트 폰, 태블릿 PC, 데스크탑 PC, 랩탑 PC, PC, PMP(portable multimedia player), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 네비게이션, AI 스피커 등의 디스플레이 기능을 가지는 전자 장치로 구현 가능하다. 또한, 전자 장치(100) 및 타 전자 장치(200)는 냉장고, 에어컨, 공기 청정기, 오븐, 세탁기 등의 디스플레이 기능을 가지는 가전 기기로 구현 가능하다. 또한, 전자 장치(100) 및 타 전자 장치(200)는 스마트 워치 등과 같은 디스플레이 기능을 가지는 웨어러블 기기로 구현 가능하다.
제1 전자 장치(100) 및 제2 전자 장치(200)는 블루투스(Bluetooth) 통신, 와이 파이(Wi-Fi) 통신, 적외선 통신, 이동 통신 등과 같은 무선 통신 뿐 아니라, 유선 통신 등 다양한 통신 방식을 통해 통신 가능하다.
일 예에 따라 도 1에 도시된 바와 같이 제1 전자 장치(100)가 스마트 폰으로 구현되고, 제2 전자 장치(200)가 TV로 구현되는 경우를 상정하도록 한다.
예를 들어, 제2 전자 장치(200)에서 특정 컨텐츠, 예를 들어, 동영상 컨텐츠를 제공하고 제2 전자 장치(200)와 통신 연결된 제1 전자 장치(100)에서 동영상 컨텐츠와 관련된 컨텐츠를 제공하는 경우가 있을 수 있다. 예를 들어, 제2 전자 장치(200)에서 방송 컨텐츠를 제공하고, 제1 전자 장치(100)에서 해당 방송 컨텐츠와 관련된 실시간 채팅 화면을 제공할 수 있다. 이 경우, 특정 시점에서 사용자가 해당 방송 컨텐츠를 캡쳐하여 저장하려는 니즈가 있을 수 있다. 예를 들어, 사용자는 해당 방송 컨텐츠에서 특정 소품에 대한 정보를 캡쳐하여 저장하려는 니즈가 있을 수 있다. 이 경우, 제2 전자 장치(200)의 방송 컨텐츠 화면 뿐 아니라 제1 전자 장치(100)의 실시간 채팅 화면을 함께 캡쳐하여 저장하는 경우 차별화된 MDE 경험을 제공할 수 있게 된다.
이에 따라 이하에서는 복수의 기기가 통신 연결되어 이용되는 경우 사용자의 캡쳐 명령에 따라 복수의 기기의 화면을 함께 캡쳐하여 저장하는 다양한 실시 예에 대해 설명하도록 한다.
도 2a는 하나 이상의 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면 전자 장치(100)은 디스플레이(110), 통신 인터페이스(120), 메모리(130) 및 하나 이상의 프로세서(140)를 포함한다.
디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 일 예에 따라 디스플레이(110)의 전면에는 터치 필름, 터치 시트, 터치 패드 등의 형태를 가지고 터치(touch) 동작을 감지하는 터치 센서가 배치되어 다양한 유형의 터치 입력을 감지할 수 있도록 구현될 수 있다. 예를 들어, 디스플레이(110)는 사용자 손에 의한 터치 입력, 스타일러스 펜과 같은 입력 장치에 의한 터치 입력, 특정 정전 물질에 의한 터치 입력 등 다양한 유형의 터치 입력을 감지할 수 있다. 여기서, 입력 장치는 전자 펜, 스타일러스 펜, S-펜 등 다양한 용어로 지칭될 수 있는 펜 형의 입력 장치으로 구현될 수 있다. 일 예에 따라 디스플레이(110)는 평면(flat) 디스플레이, 커브드(curved) 디스플레이, 폴딩(folding) 또는/및 롤링(rolling) 가능한 플렉서블 디스플레이 등으로 구현될 수 있다.
통신 인터페이스(120)는 전자 장치(100)의 구현 예에 따라 다양한 인터페이스로 구현될 수 있음은 물론이다. 예를 들어 통신 인터페이스(120)는 블루투스(Bluetooth), AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치, 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등과 통신을 수행할 수 있다. 일 예에 따라 통신 인터페이스(120)는 사용자 단말(200) 및/또는 원격 제어 장치(300)와 통신을 수행할 수 있다.
메모리(130)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100')에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
하나 이상의 프로세서(140)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 하나 이상의 프로세서(140)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 하나 이상의 프로세서(140)는 디스플레이(110) 및 메모리(130)와 전기적으로 연결되어 전자 장치(100))의 전반적인 동작을 제어할 수 있다. 프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다.
하나 이상의 프로세서(140)는 메모리(130)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
하나 이상의 프로세서(140)는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 하나 이상의 프로세서(140)는 전자 장치의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서(140)는 메모리에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서는 메모리에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 하나 이상의 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 하나 이상의 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 하나 이상의 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 제 3 동작이 수행될 때, 제 1 동작, 제 2 동작, 및 제 3 동작 모두 제 1 프로세서에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 제 1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제 3 동작은 제 2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
하나 이상의 프로세서(140)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 하나 이상의 프로세서(140)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 하나 이상의 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 하나 이상의 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 하나 이상의 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 하나 이상의 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 및 제 3 동작이 수행될 때, 제 1 동작, 제2 동작, 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행되고 제 3 동작은 멀티 코어 프로세서에 포함된 제 2 코어에 의해 수행될 수도 있다.
본 개시의 실시 예들에서, 프로세서는 하나 이상의 프로세서 및 기타 전자 부품들이 집적된 시스템 온 칩(SoC), 단일 코어 프로세서, 멀티 코어 프로세서, 또는 단일 코어 프로세서 또는 멀티 코어 프로세서에 포함된 코어를 의미할 수 있으며, 여기서 코어는 CPU, GPU, APU, MIC, DSP, NPU, 하드웨어 가속기 또는 기계 학습 가속기 등으로 구현될 수 있으나, 본 개시의 실시 예들이 이에 한정되는 것은 아니다. 이하에서는 설명의 편의를 위하여 하나 이상의 프로세서(140)를 프로세서(140)로 명명하도록 한다.
도 2b는 하나 이상의 실시 예에 따른 전자 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 2b에 따르면, 전자 장치(100')은 디스플레이(110), 통신 인터페이스(120), 메모리(130), 하나 이상의 프로세서(140), 사용자 인터페이스(150), 카메라(160), 스피커(170) 및 센서(180)를 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린 등으로 구현될 수 있다.
카메라(160)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(160)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다. 예를 들어, 카메라(120)는 일반 카메라, 스테레오 카메라, 뎁스 카메라 등으로 구현될 수 있다.
스피커(170)는 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성일 수 있다. 프로세서(140)는 본 개시의 다양한 실시 예에 따른 피드백 또는 각종 알림을 오디오 형태로 출력하도록 스피커(170)를 제어할 수 있다.
센서(180)는 터치 센서, 근접 센서, 가속도 센서(또는 중력 센서), 지자기 센서, 자이로 센서, 압력 센서, 위치 센서, 거리 센서, 조도 센서 등과 같은 다양한 유형의 센서를 포함할 수 있다.
그 밖에 전자 장치(100')는 구현 예에 따라 마이크(미도시), 튜너(미도시) 및 복조부(미도시) 등을 포함할 수 있다.
마이크(미도시)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 다만, 다른 실시 예에 따라 전자 장치(100')는 외부 장치를 통해 입력된 사용자 음성을 통신 인터페이스(110)를 통해 수신할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 3은 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 3에 도시된 하나 이상의 실시 예에 따르면, 프로세서(140)는 통신 인터페이스(120)를 통해 통신 연결된 외부 장치(200)의 화면에서 제1 컨텐츠를 제공하고 디스플레이(110)의 화면에서 제1 컨텐츠와 관련된 제2 컨텐츠를 제공할 수 있다(S310).
프로세서(140)는 S310 단계의 동작이 유지되는 동안 캡쳐 이벤트가 식별되면(S320:Y), 제1 컨텐츠를 제공하는 외부 장치(200)의 화면을 캡쳐한 제1 이미지 및 제2 컨텐츠를 제공하는 디스플레이(110)의 화면을 캡쳐한 제2 이미지를 획득할 수 있다(S330). 여기서, 캡쳐 이벤트는, 전자 장치(100)에 구비된 카메라(160)를 통해 외부 장치(200)의 화면을 촬영하는 이벤트, 디스플레이(110)의 화면을 캡쳐하는 이벤트, 기 설정된 버튼이 조작되는 이벤트, 기 설정된 메뉴 또는 전자 장치(100) 또는 외부 장치(100)에서 기 설정된 조건이 만족되는 이벤트 중 적어도 하나를 포함할 수 있다.
여기서, 화면 캡쳐란 단순히 표시된 이미지를 캡쳐하는 동작 뿐 아니라, 화면에서 제공되는 정보 또는 현재 화면과 연결(또는 관련)된 정보를 저장하는 동작을 포함할 수 있다. 예를 들어, 현재 화면에서 특정 파일이 제공되고 있는 경우 해당 파일 정보를 저장하는 동작, 현재 실행 중인 어플리케이션 정보를 저장하는 동작, 현재 기기의 컨텍스트 정보를 저장하는 동작 등을 포함할 수 있다. 이와 관련된 다양한 예시에 대해서는 도면을 참조하여 후술하도록 한다.
이어서, 프로세서(140)는 제1 이미지 및 제2 이미지에 기초하여 제1 컨텐츠 및 제2 컨텐츠를 포함하는 제3 이미지를 획득하여 메모리(130)에 저장할 수 있다(S340). 또는 프로세서(140)는 제3 이미지를 통신 인터페이스(120)를 통해 외부 장치(200)로 전송할 수 있다.
이 경우, 캡쳐 이벤트의 타입에 따라 제1 이미지는 전자 장치(100)가 획득하거나, 외부 장치(200)로부터 수신될 수 있다.
일 예로, 캡쳐 이벤트가 카메라(160)를 통해 외부 장치(200)의 화면을 촬영하는 이벤트인 경우, 전자 장치(100)가 제1 이미지를 획득할 수 있으며, 이에 대해서는 도 4를 기초로 자세히 설명하도록 한다.
다른 예로, 캡쳐 이벤트가 디스플레이(110)의 화면을 캡쳐하는 이벤트인 경우, 외부 장치(200)로부터 제1 이미지가 수신될 수 있다. 예를 들어, 프로세서(140)는 디스플레이(110)의 화면을 캡쳐하는 이벤트가 식별되면, 외부 장치(200)로 화면 캡쳐를 위한 제어 신호를 전송하고 외부 장치(200)로부터 외부 장치(200)의 화면이 캡쳐된 제1 이미지를 수신할 수 있다.
다른 예로, 캡쳐 이벤트가 기 설정된 버튼이 조작되는 이벤트 또는 기 설정된 메뉴가 선택되는 이벤트 중 적어도 하나인 경우, 외부 장치(200)로부터 제1 이미지가 수신될 수 있다. 예를 들어, 프로세서(140)는 기 설정된 버튼이 조작되는 이벤트 또는 기 설정된 메뉴가 선택되는 이벤트가 식별되면, 외부 장치(200)로 화면 캡쳐를 위한 제어 신호를 전송하고 외부 장치(200)로부터 외부 장치(200)의 화면이 캡쳐된 제1 이미지를 수신할 수 있다.
도 4는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 4에 도시된 하나 이상의 실시 예에 따르면, 프로세서(140)는 통신 인터페이스(120)를 통해 통신 연결된 외부 장치(200)의 화면에서 제1 컨텐츠를 제공하고 디스플레이(110)의 화면에서 제1 컨텐츠와 관련된 제2 컨텐츠를 제공할 수 있다(S410).
프로세서(140)는 S410 단계의 동작이 유지되는 동안 카메라(160)를 통해 외부 장치(200)의 화면을 촬영하는 이벤트가 식별되면(S420:Y), 외부 장치(100)의 화면을 촬영하여 제1 이미지를 획득하고 제2 컨텐츠를 제공하는 디스플레이(110)의 화면을 캡쳐한 제2 이미지를 획득할 수 있다(S430). 즉, 프로세서(140)는 촬영 이벤트에 따라 카메라(160)를 이용하여 외부 장치(100)의 화면을 촬영하면서 디스플레이(110)의 화면을 캡쳐할 수 있다.
이어서, 프로세서(140)는 제1 이미지 및 제2 이미지에 기초하여 제1 컨텐츠 및 제2 컨텐츠를 포함하는 제3 이미지를 획득하여 메모리(130)에 저장할 수 있다(S440).
일 예에 따라 제1 컨텐츠 및 제2 컨텐츠 중 어느 하나는 동영상 컨텐츠이고, 제1 컨텐츠 및 제2 컨텐츠 중 다른 하나는 동영상 컨텐츠와 관련된 사용자 컨텐츠일 수 있다. 다만, 동영상 컨텐츠는 정지 영상 컨텐츠(예를 들어, 미술 작품 이미지, NFT 이미지, 썸네일 이미지 등)로 구현될 수도 있다. 여기서, 사용자 컨텐츠는, 사용자의 인터렉션, 사용자의 액션, 사용자의 환경 등 사용자의 컨텍스트의 관련된 컨텐츠일 수 있다. 예를 들어, 사용자 컨텐츠는 사용자의 채팅 컨텐츠, 필기 컨텐츠, 촬영 컨텐츠, 헬스 컨텐츠 또는 환경 컨텐츠 중 적어도 하나를 포함할 수 있다.
예를 들어, 외부 장치(200)를 통해 제공되는 제1 컨텐츠는 동영상 컨텐츠이고, 전자 장치(100)를 통해 제공되는 제2 컨텐츠는 사용자 컨텐츠일 수 있다. 또는, 외부 장치(200)를 통해 제공되는 제1 컨텐츠는 사용자 컨텐츠이고, 전자 장치(100)를 통해 제공되는 제2 컨텐츠는 동영상 컨텐츠일 수 있다.
도 5a 및 도 5b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
일 예에 따라 전자 장치(100)가 스마트 폰으로 구현되고, 외부 장치(200)가 TV로 구현되는 경우를 가정하도록 한다. 일 예에 따르면, 외부 장치(200)는 동영상 컨텐츠를 제공하고 전자 장치(100)는 외부 장치(200)에서 제공되는 동영상 컨텐츠와 관련된 채팅 컨텐츠를 제공할 수 있다. 예를 들어, 전자 장치(100)에서 제공되는 채팅 컨텐츠는 해당 동영상 컨텐츠와 관련된 실시간 채팅 화면일 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 5a에 도시된 바와 같이 외부 장치(200)가 동영상 컨텐츠(510)를 제공하고 전자 장치(100)가 해당 동영상 컨텐츠(510)와 관련된 채팅 컨텐츠(520)를 제공하는 동안 캡쳐 이벤트가 식별되면, 전자 장치(100)는 동영상 컨텐츠(510)를 캡쳐한 제1 이미지를 획득하고, 채팅 컨텐츠(520)를 캡쳐한 제2 이미지를 획득할 수 있다.
일 예로, 캡쳐 이벤트가 카메라(160)를 통해 외부 장치(200)의 화면을 촬영하는 이벤트인 경우 촬영 이미지를 제1 이미지로 획득할 수 있다. 다른 예로, 캡쳐 이벤트가 디스플레이(110)의 화면을 캡쳐하는 이벤트인 경우 외부 장치(200)로부터 제1 이미지가 수신될 수 있다. 예를 들어, 전자 장치(100)는 디스플레이(110)의 화면을 캡쳐하는 이벤트가 식별되면, 외부 장치(200)로 화면 캡쳐를 위한 제어 신호를 전송하고 외부 장치(200)로부터 외부 장치(200)의 화면이 캡쳐된 제1 이미지를 수신할 수 있다.
이 후, 도 5b에 도시된 바와 같이 전자 장치(100)는 제1 이미지(510-1) 및 제2 이미지(520-1)에 기초하여 동영상 컨텐츠(510) 및 채팅 컨텐츠(520)를 포함하는 제3 이미지(530)를 획득할 수 있다. 예를 들어, 제3 이미지(530)는 동영상 컨텐츠(510)를 포함하는 제1 이미지(510-1) 및 특정 동영상 재생 시점의 채팅 컨텐츠(520)를 포함하는 제2 이미지(520-1)가 좌우 방향으로 조합된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 상하 방향으로 조합되거나, 제1 이미지 내에 제2 이미지가 포함되는 형태로 조합될 수 도 있다. 또는, 제1 이미지 및 제2 이미지의 조합 형태는 전자 장치(100)의 화면 비율에 기초하여 결정될 수도 있다. 또는, 제1 이미지 또는 제2 이미지 중 적어도 하나의 비율 및/또는 크기가 조정된 후 조합되어 제3 이미지가 획득되거나, 제1 이미지 및 제2 이미지의 비율 및/또는 크기가 유지된 채로 제3 이미지가 획득될 수도 있다.
이와 같이 관련 컨텐츠를 제공하는 복수의 기기의 화면을 함께 캡쳐하여 하나의 이미지로 저장하고 추후 편집 및 관리에 이용할 수 있게 된다. 예를 들어, 캡쳐 이미지를 다른 사용자들과 공유하는 차별화된 MDE 경험을 제공할 수 있게 된다.
도 6a 및 도 6b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
일 예에 따라 전자 장치(100)가 태블릿으로 구현되고, 외부 장치(200)가 스마트 모니터로 구현되는 경우를 가정하도록 한다. 일 예에 따르면, 외부 장치(200)는 온라인 강의 컨텐츠를 제공하고 전자 장치(100)는 외부 장치(200)에서 제공되는 온라인 강의 컨텐츠와 관련된 필기 컨텐츠를 제공할 수 있다. 예를 들어, 전자 장치(100)에서 제공되는 필기 컨텐츠는 해당 온라인 강의 컨텐츠와 관련된 필기 화면일 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 6a에 도시된 바와 같이 외부 장치(200)가 온라인 강의 컨텐츠(610)를 제공하고 전자 장치(100)가 해당 온라인 강의 컨텐츠(610)와 관련된 필기 컨텐츠(620)를 제공하는 동안 캡쳐 이벤트가 식별되면, 전자 장치(100)는 온라인 강의 컨텐츠(610)를 캡쳐한 제1 이미지를 획득하고, 특정 강의 시점의 사용자 필기 컨텐츠(620)를 캡쳐한 제2 이미지를 획득할 수 있다. 제1 이미지 및/또는 제2 이미지의 획득 방법은 도 3, 도 4 및 도 5a에서 상술한 다양한 예시와 동일/유사할 수 있다.
이 후, 도 6b에 도시된 바와 같이 전자 장치(100)는 제1 이미지(610-1) 및 제2 이미지(620-1)에 기초하여 온라인 강의 컨텐츠(610) 및 필기 컨텐츠(620)를 포함하는 제3 이미지(630)를 획득할 수 있다. 예를 들어, 제3 이미지(630)는 온라인 강의 컨텐츠(610)를 포함하는 제1 이미지(610-1) 및 필기 컨텐츠(620)를 포함하는 제2 이미지(620-1)가 좌우 방향으로 조합된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니며, 도 5b에서 설명한 바와 같은 다양한 조합 형태를 가질 수 있다.
이와 같이 관련 컨텐츠를 제공하는 복수의 기기의 화면을 함께 캡쳐하여 하나의 이미지로 저장하고 추후 편집 및 관리에 이용할 수 있게 된다. 예를 들어, 사용자는 강의가 종료된 후 캡쳐 이미지를 통해 필요한 부분을 복습하는 MDE 경험을 제공받을 수 있게 된다.
도 7a 및 도 7b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
일 예에 따라 전자 장치(100)가 스마트 폰으로 구현되고, 제1 외부 장치(200)가 TV로 구현되며, 제2 외부 장치(300)가 사용자가 착용한 웨어러블 기기 예를 들어, 스마트 워치로 구현되는 경우를 가정하도록 한다. 일 예에 따르면, 외부 장치(200)는 헬스 컨텐츠(또는 운동 컨텐츠)를 제공하고 전자 장치(100)는 외부 장치(200)에서 제공되는 헬스 컨텐츠를 따라하는 사용자를 촬영하는 촬영 컨텐츠를 제공할 수 있다. 예를 들어, 사용자는 전자 장치(100)에 구비된 카메라(160)를 이용하여 자세를 확인하고 타 외부 장치(300)(즉, 스마트 워치)를 통해 운동/건강/생체 정보를 체크하면서 운동하는 상황일 수 있다. 일 예에 따라 타 외부 장치(300)는 외부 장치(200)와 마찬가지로 전자 장치(100)와 통신 연결된 상태일 수 있다.
도 7a에 도시된 바와 같이 외부 장치(200)가 운동 컨텐츠(710)를 제공하고 전자 장치(100)가 해당 운동 컨텐츠(710)와 관련된 사용자 촬영 컨텐츠(720)를 제공하며, 타 외부 장치(300)가 사용자의 운동 상태(또는 건강 상태)를 체크하는 동안 캡쳐 이벤트가 식별되면, 전자 장치(100)는 운동 컨텐츠(710)를 캡쳐한 제1 이미지를 획득하고, 특정 자세 시점에 사용자의 촬영 컨텐츠(720)를 캡쳐한 제2 이미지를 획득할 수 있다. 제1 이미지 및/또는 제2 이미지의 획득 방법은 도 3, 도 4 및 도 5a에서 상술한 다양한 예시와 동일/유사할 수 있다. 또한, 전자 장치(100)는 타 외부 장치(300)에서 제공되는 사용자의 운동 상태(또는 건강 상태) 정보를 캡쳐한 이미지를 획득할 수 있다. 예를 들어, 전자 장치(100)는 캡쳐 이벤트가 식별되면, 타 외부 장치(300)로 화면 캡쳐를 위한 제어 신호를 전송하고 타 외부 장치(300)로부터 타 외부 장치(300)의 화면이 캡쳐된 이미지를 수신할 수 있다.
이 후, 7b에 도시된 바와 같이 전자 장치(100)는 제1 이미지(710-1), 제2 이미지(720-1) 및 타 외부 장치(300)의 캡쳐 이미지(730-1)에 기초하여 운동 컨텐츠(710), 촬영 컨텐츠(720) 및 운동 상태 정보(730)를 포함하는 캡쳐 이미지(740)를 획득할 수 있다. 예를 들어, 제3 이미지(740)는 운동 컨텐츠(710)를 포함하는 제1 이미지(710-1) 및 촬영 컨텐츠(720)를 포함하는 제2 이미지(720-1)가 좌우 방향으로 조합되고, 운동 상태 정보(730)를 포함하는 이미지(730-1)가 제2 이미지(720-1) 내에 조합된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니며, 도 5b에서 설명한 바와 같은 다양한 조합 형태를 가질 수 있다.
상술한 예시에 따르면, 사용자는 주기적으로 캡처 이미지를 통해 동일한 자세를 반복했을 때 얼마나 상태가 좋아졌는지 확인할 수 있게 된다.
도 8a 및 도 8b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
일 예에 따라 전자 장치(100)가 태블릿으로 구현되고, 외부 장치(200)가 프로젝터 장치로 구현되는 경우를 가정하도록 한다. 일 예에 따르면, 외부 장치(200)는 화상 회의 자료 화면을 제공하고 전자 장치(100)는 화상 회의에 참여하는 사용자를 촬영한 컨텐츠를 제공할 수 있다.
도 8a에 도시된 바와 같이 외부 장치(200) 즉, 프로젝터 장치가 화상 회의 자료 화면(810)를 투사면으로 투사하고 전자 장치(100)가 화상 회의 영상(820)을 제공하는 동안 캡쳐 이벤트가 식별되면, 전자 장치(100)는 화상 회의 자료 화면(810)를 캡쳐한 제1 이미지를 획득하고, 화상 회의 영상(820)를 캡쳐한 제2 이미지를 획득할 수 있다. 제1 이미지 및/또는 제2 이미지의 획득 방법은 도 3, 도 4 및 도 5a에서 상술한 다양한 예시와 동일/유사할 수 있다.
이 후, 전자 장치(100)는 도 8b에 도시된 바와 같이 제1 이미지(810-1) 및 제2 이미지(820-1)에 기초하여 화상 회의 자료 화면(810) 및 화상 회의 영상(820)를 포함하는 제3 이미지(830)를 획득할 수 있다. 예를 들어, 제3 이미지(830)는 화상 회의 자료 화면(810)를 포함하는 제1 이미지(810-1) 및 화상 회의 영상(820)을 포함하는 제2 이미지(820-1)가 상하 방향으로 조합된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니며, 도 5b에서 설명한 바와 같은 다양한 조합 형태를 가질 수 있다. 또는 전자 장치(100)는 도 8c에 도시된 바와 같이 제2 이미지(820-1) 및 화상 회의에서 공유된 파일(840)에 기초하여 화상 회의 영상(820) 및 공유 파일(640)를 포함하는 캡쳐 이미지(850)를 획득할 수도 있다. 물론 경우에 따라 화상 회의 자료 화면(810), 화상 회의 영상(820) 및 공유 파일(640)를 포함하는 캡쳐 이미지(미도시)를 획득할 수 있음은 물론이다.
상술한 예시에 따르면, 화상 회의 자료, 화상 회의 영상, 공유 파일 등이 함께 캡쳐되어 추후 타 사용자들과 화상 회의 상황을 공유할 수 있게 된다.
도 9a 및 도 9b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
일 예에 따라 전자 장치(100)가 웨어러블 기기로 구현되고, 외부 장치(200)가 스마트 모니터로 구현되는 경우를 가정하도록 한다. 일 예에 따르면, 외부 장치(200)는 게임 컨텐츠, 영화 컨텐츠 등과 같은 컨텐츠를 제공하고 전자 장치(100)는 스마트 워치로 구현되어 해당 컨텐츠를 플레이 또는 시청하는 동안 사용자의 헬스 정보를 측정하여 제공할 수 있다.
도 9a에 도시된 바와 같이 외부 장치(200)가 게임 컨텐츠(910)를 제공하고 전자 장치(100)가 사용자의 헬스 정보를 측정하는 동안 헬스 정보가 기 설정된 조건을 만족하면, 전자 장치(100)는 게임 컨텐츠(910)를 캡쳐한 제1 이미지를 획득하고, 캡쳐 시점의 헬스 정보(920)를 캡쳐한 제2 이미지를 획득할 수 있다. 즉, 사용자의 헬스 정보가 기 설정된 조건을 만족하는 이벤트가 캡쳐 이벤트로 식별될 수 있다. 예를 들어, 사용자의 심장 박동수가 기 설정된 심장 박동수 이상인 경우 캡쳐 이벤트로 식별될 수 있다.
이 경우, 도 9b에 도시된 바와 같이 전자 장치(100)는 제1 이미지(910-1) 및 제2 이미지(920-1)에 기초하여 게임 컨텐츠(910) 및 헬스 정보(920)를 포함하는 제3 이미지(630)를 획득할 수 있다. 예를 들어, 제3 이미지(630)는 게임 컨텐츠(910)를 포함하는 제1 이미지(910-1) 및 헬스 정보(920)를 포함하는 제2 이미지(920-1)가 좌우 방향으로 조합된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니며, 도 5b에서 설명한 바와 같은 다양한 조합 형태를 가질 수 있다. 한편, 제2 이미지(920-1)는 전자 장치(100)의 화면이 그대로 캡쳐된 이미지일 수도 있으나, 도 9b 에 도시된 바와 같이 전자 장치(100)에 제공되는 정보가 재배열된 형태의 이미지일 수도 있다. 즉, 전자 장치(100)의 캡쳐 이벤트가 식별된 시점에 전자 장치(100)의 화면에서 제공되는 정보를 제2 이미지(920-1)로 저장할 수 있다.
상술한 예시에 따르면, 특정 컨텐츠 시청시 사용자가 어떤 영상에서 어떤 부분에서 놀라거나 긴장했는지 확인할 수 있고 추후 해당 정보를 컨텐츠 추천, 사용자의 헬스 케어 등에 이용할 수 있다.
도 10a 및 10b는 일 예시에 따른 캡쳐 이미지 획득 방법을 설명하기 위한 도면들이다.
일 예에 따라 전자 장치(100)가 스마트 폰으로 구현되고, 외부 장치(200)가 프로젝터 장치로 구현되는 경우를 가정하도록 한다. 일 예에 따르면, 외부 장치(200)는 영상 컨텐츠을 제공하고 전자 장치(100)는 영상 컨텐츠에 대한 부가 정보를 제공할 수 있다.
도 10a에 도시된 바와 같이 외부 장치(200) 즉, 프로젝터 장치가 영화 컨텐츠(1010)를 투사면으로 투사하고 전자 장치(100)가 해당 영화 컨텐츠에 대한 관람평을 포함하는 UI 화면(1020)을 제공하는 동안 캡쳐 이벤트가 식별되면, 전자 장치(100)는 영화 컨텐츠(1010)를 캡쳐한 제1 이미지를 획득하고, 관람평을 포함하는 UI 화면(1020)을 캡쳐한 제2 이미지를 획득할 수 있다. 제1 이미지 및/또는 제2 이미지의 획득 방법은 도 3, 도 4 및 도 5a에서 상술한 다양한 예시와 동일/유사할 수 있다.
이 후, 전자 장치(100)는 도 10b에 도시된 바와 같이 제1 이미지(1010-1) 및 제2 이미지(1020-1) 뿐 아니라 전자 장치(100)의 컨텍스트 정보에 기초하여 화상 영화 컨텐츠(1010), 관람평을 포함하는 UI 화면(1020) 및 컨텍스트 정보를 포함하는 제3 이미지(1040)를 획득할 수 있다. 예를 들어, 컨텍스트 정보는 캡쳐 이벤트 식별 당시 전자 장치(100)의 위치 정보를 포함할 수 있다. 이에 따라 제3 이미지(1040)는 화상 영화 컨텐츠(1010), 관람평을 포함하는 UI 화면(1020) 및 위치 정보(예를 들어, GPS 정보)를 포함하는 지도 이미지(1030)를 포함할 수 있다.
상술한 예시에 따르면, 사용자는 자신이 시청한 영상 컨텐츠에 대한 부가 정보(예를 들어 관람평) 뿐 아니라 시청 당시 컨텍스트 정보를 캡쳐하여 저장하고, 이후 해당 이미지를 타 사용자와 공유하는 등 활용함으로써 사용자의 UX 경험을 향상시킬 수 있게 된다.
도 11은 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 11에 도시된 하나 이상의 실시 예에 따르면, 프로세서(140)는 통신 인터페이스(120)를 통해 통신 연결된 외부 장치(200)의 화면에서 제1 컨텐츠를 제공하고 디스플레이(110)의 화면에서 제1 컨텐츠와 관련된 제2 컨텐츠를 제공할 수 있다(S1110).
프로세서(140)는 외부 장치(200)에서 제공되는 제1 컨텐츠가 전자 장치(100)에서 제공되는 제2 컨텐츠와 동일한 어플리케이션, 동일한 서비스, 동일한 기능 또는 동일한 서버 중 적어도 하나를 통해 제공되는 여부를 식별할 수 있다(S1120).
프로세서(140)는 제1 컨텐츠가 제2 컨텐츠와 동일한 어플리케이션, 동일한 서비스, 동일한 기능 또는 동일한 서버 중 적어도 하나를 통해 제공되는 것으로 식별되면(S1120:Y), 제2 컨텐츠가 제1 컨텐츠와 관련된 컨텐츠인 것으로 식별할 수 있다(S1130). 예를 들어, 프로세서(140)는 외부 장치(200)로부터 외부 장치(200)가 실행 중인 어플리케이션, 제공하는 서비스, 제공하는 기능 또는 접속 중인 서버 등에 대한 정보를 수신하여 제1 컨텐츠가 제2 컨텐츠와 동일한 어플리케이션, 동일한 서비스, 동일한 기능 또는 동일한 서버 중 적어도 하나를 통해 제공되는지 여부를 식별할 수 있다. 또는 프로세서(140)는 외부 장치(200)의 타입에 기초하여 전자 장치(100) 및 외부 장치(200)가 동일한 기능을 제공하는지 여부를 식별할 수도 있다. 예를 들어, 전자 장치(100)에서 헬스 케어 기능이 제공 중이고, 외부 장치(200)의 타입이 헬스 케어 기능을 제공하는 웨어러블 기기인 경우 전자 장치(100) 및 외부 장치(200)가 동일한 기능을 제공하는 것으로 식별할 수 있다.
이 경우, 프로세서(140)는 캡쳐 이벤트가 식별되면(S1140:Y), 제1 컨텐츠를 제공하는 외부 장치(200)의 화면을 캡쳐한 제1 이미지 및 제2 컨텐츠를 제공하는 디스플레이(110)의 화면을 캡쳐한 제2 이미지를 획득할 수 있다(S1150). 여기서, 캡쳐 이벤트는, 전자 장치(100)에 구비된 카메라(160)를 통해 외부 장치(200)의 화면을 촬영하는 이벤트, 디스플레이(110)의 화면을 캡쳐하는 이벤트, 기 설정된 버튼이 조작되는 이벤트, 기 설정된 메뉴 또는 전자 장치(100) 또는 외부 장치(100)에서 기 설정된 조건이 만족되는 이벤트 중 적어도 하나를 포함할 수 있다.
이어서, 프로세서(140)는 제1 이미지 및 제2 이미지에 기초하여 제1 컨텐츠 및 제2 컨텐츠를 포함하는 제3 이미지를 획득하여 메모리(130)에 저장할 수 있다(S1160).
일 예로, 도 8a 및 도 8b에 도시된 예시는 전자 장치(100) 및 외부 장치(200)에서 동일한 화상 통화 어플리케이션이 실행되는 경우일 수 있다. 화상 통화 어플리케이션은 전자 장치(100) 화면 및 외부 장치(200)의 화면 상에서 아이콘 인터페이스 형태로 제공되고, 화상 통화 어플리케이션이 각각 실행되면 화상 통화 어플리케이션의 실행 화면을 통해 화상 회의 자료 화면(810) 및 화상 회의 영상(820)이 제공될 수 있다. 일 예에 따라 화상 회의 자료 화면(810) 및 화상 회의 영상(820)는 화상 통화 어플리케이션과 통신하는 외부 서버(미도시)를 거쳐 복수의 화상 회의에 참석한 복수의 기기들 간에 공유될 수 있다. 전자 장치(100)는 화상 회의 자료 화면(810) 및 화상 회의 영상(820)이 동일한 화상 통화 어플리케이션의 실행 화면을 통해 제공되는 경우 화상 회의 자료 화면(810) 및 화상 회의 영상(820)이 관련 컨텐츠인 것으로 식별할 수 있다.
다른 예로, 도 7a 및 도 7b에 도시된 예시는 전자 장치(100) 및 외부 장치(200)에서 동일한 서비스를 제공하고, 전자 장치(100) 및 타 외부 장치(300)는 동일한 기능을 제공하는 경우일 수 있다. 예를 들어, 외부 장치(200)가 제공하는 운동 컨텐츠(710) 및 전자 장치(100)에서 제공하는 사용자 촬영 컨텐츠(720)는 동일한 서비스(또는 동일한 서버)를 통해 연결된 경우일 수 있다. 또한, 전자 장치(100)에서 제공하는 사용자 촬영 컨텐츠(720) 및 타 외부 장치(300)에서 제공하는 운동 상태 정보(730)는 동일한 기능(예를 들어, 헬스 케어 기능)에 의해 제공되는 경우일 수 있다. 예를 들어, 전자 장치(100)를 타 외부 장치(300)로부터 수신된 기능 정보 또는 타 외부 장치(300)의 타입 정보에 기초하여 사용자 촬영 컨텐츠(720) 및 운동 상태 정보(730)가 동일한 기능에 의해 제공되는지 여부를 식별할 수 있다.
이 경우, 전자 장치(100)는 운동 컨텐츠(710) 및 촬영 컨텐츠(720)가 관련 컨텐츠인 것으로 식별하고, 촬영 컨텐츠(720) 및 운동 상태 정보(730)가 관련 컨텐츠인 것으로 식별할 수 있다.
도 12는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 12에 도시된 하나 이상의 실시 예에 따르면, 프로세서(140)는 통신 인터페이스(120)를 통해 통신 연결된 외부 장치(200)의 화면에서 제1 컨텐츠를 제공하고 디스플레이(110)의 화면에서 제1 컨텐츠와 관련된 제2 컨텐츠를 제공할 수 있다(S1210).
프로세서(140)는 제1 컨텐츠에 대한 정보를 획득하고 제1 컨텐츠에 대한 정보에 기초하여 제2 컨텐츠가 제1 컨텐츠와 관련된 컨텐츠인지 식별하거나, 제2 컨텐츠에 대한 정보를 외부 장치(200)로 제공하고 외부 장치(200)로부터 제2 컨텐츠가 제1 컨텐츠와 관련된 컨텐츠인지에 대한 정보를 수신할 수 있다(S1220). 일 예에 따라 프로세서(140)는 학습된 신경망 모델을 이용하여 제1 컨텐츠 및 제2 컨텐츠가 관련 컨텐츠인지 식별할 수 있다. 예를 들어, 제1 컨텐츠에 대한 정보 및 제2 컨텐츠에 대한 정보를 학습된 신경망 모델에 입력하여 관련 컨텐츠인지에 대한 식별 정보를 출력 정보로 획득할 수 있다.
프로세서(140)는 제2 컨텐츠가 제1 컨텐츠와 관련된 컨텐츠인 것으로 식별되고(S1230:Y) 캡쳐 이벤트가 식별되면(S1240:Y), 제1 컨텐츠를 제공하는 외부 장치(200)의 화면을 캡쳐한 제1 이미지 및 제2 컨텐츠를 제공하는 디스플레이(110)의 화면을 캡쳐한 제2 이미지를 획득할 수 있다(S1250). 여기서, 캡쳐 이벤트는, 전자 장치(100)에 구비된 카메라(160)를 통해 외부 장치(200)의 화면을 촬영하는 이벤트, 디스플레이(110)의 화면을 캡쳐하는 이벤트, 기 설정된 버튼이 조작되는 이벤트, 기 설정된 메뉴 또는 전자 장치(100) 또는 외부 장치(100)에서 기 설정된 조건이 만족되는 이벤트 중 적어도 하나를 포함할 수 있다.
이어서, 프로세서(140)는 제1 이미지 및 제2 이미지에 기초하여 제1 컨텐츠 및 제2 컨텐츠를 포함하는 제3 이미지를 획득하여 메모리(130)에 저장할 수 있다(S1260).
일 예로, 전자 장치(100)는 도 10a에 도시된 예시에서 외부 장치(200)로부터 영상 컨텐츠 또는/및 메타 데이터(예를 들어, 타이틀 정보, 출연진 정보 등)를 수신하여 외부 장치(200)에서 제공되는 제1 컨텐츠(1010)를 분석하고, 전자 장치(100)에서 제공되는 제2 컨텐츠(1020) 즉, 영화 관람평에 대한 정보(예를 들어, 타이틀 정보, 출연진 정보 등)를 분석하여 제2 컨텐츠가 제1 컨텐츠와 관련된 컨텐츠인지 식별할 수 있다. 다만, 도 10a에 도시된 예시에서도 제1 컨텐츠(1010) 및 제2 컨텐츠(1020)가 동일한 어플리케이션, 동일한 서비스, 동일한 서버 등을 통해 제공되는지 여부를 식별하여 관련 컨텐츠인지 여부를 판단할 수 있음은 물론이다.
도 13, 도 14a 및 도 14b는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 제공 방법을 설명하기 위한 도면들이다.
도 13에 도시된 실시 예에 따르면, 프로세서(140)는 상술한 다양한 예시에 따라 제3 이미지 즉, 캡쳐 이미지가 획득되면(S1310), 제3 이미지를 디스플레이(110)의 일부 영역에 표시할 수 있다(S1320).
예를 들어, 도 14a에 도시된 바와 같이 전자 장치(100) 및 외부 장치(200)가 통신 연결된 상태에서 캡쳐 이벤트에 따라 외부 장치(100)에 제공되는 동영상 컨텐츠(510) 및 전자 장치(100)에 제공되는 채팅 컨텐츠(520)(도 5a의 실시 예 참고)를 포함하는 캡쳐 이미지(1410)가 획득되면, 캡쳐 이미지(1410)를 전자 장치(100) 또는 외부 장치(200) 중 적어도 하나의 화면 일 영역에 표시할 수 있다.
또한, 프로세서(140)는 캡쳐 이벤트가 식별된 시점을 기준으로 제1 임계 시간 이전 및 제2 임계 시간 이후의 시간 범위 내에서 외부 장치(200)의 화면에서 제공된 복수의 제1 컨텐츠 및 디스플레이(110)의 화면에서 제공된 복수의 제2 컨텐츠를 포함하는 복수의 제3 이미지를 포함하는 리스트를 디스플레이(110)를 통해 제공할 수 있다(S1330). 여기서, 제1 임계 시간 및 제2 임계 시간은 동일하거나 상이할 수 있다. 다만, 전자 장치(100)는 해당 리스트를 외부 장치(200)로 전송하여 외부 장치(200)에서 해당 리스트를 제공할 수도 있다.
예를 들어, 도 14a에서 화면 일 영역에 표시된 캡쳐 이미지(1410)가 선택되면, 도 14b에 도시된 바와 같이 캡쳐 이미지(1410)의 캡쳐 시점 이전에 캡쳐된 이미지(1420, 1430) 및 캡쳐 시점 이후에 캡쳐된 이미지(1440, 1450, 1460)를 포함하는 리스트를 제공할 수 있다.
이 후, 프로세서(140)는 리스트에 포함된 복수의 제3 이미지 중 선택된 제3 이미지를 최종 캡쳐 이미지로 메모리(130)에 저장할 수 있다(S1340). 예를 들어, 리스트에 포함된 캡쳐 이미지(1410 내지 1460) 중 특정 캡쳐 이미지(1440)가 선택되면, 선택된 캡쳐 이미지(1440)를 최종 캡쳐 이미지로 저장할 수 있다.
도 15, 도 16a 및 도 16b는 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 제공 방법을 설명하기 위한 도면들이다.
도 15에 도시된 실시 예에 따르면, 프로세서(140)는 상술한 다양한 예시에 따라 제3 이미지 즉, 캡쳐 이미지가 획득되면(S1510), 제3 이미지를 디스플레이(110)의 일부 영역에 표시할 수 있다(S1520).
예를 들어, 도 16a에 도시된 바와 같이 전자 장치(100) 및 외부 장치(200)가 통신 연결된 상태에서 캡쳐 이벤트에 따라 외부 장치(100)에 제공되는 동영상 컨텐츠(510) 및 전자 장치(100)에 제공되는 채팅 컨텐츠(520)(도 5a의 실시 예 참고)를 포함하는 캡쳐 이미지(1610)가 획득되면, 캡쳐 이미지(1610)를 전자 장치(100) 또는 외부 장치(200) 중 적어도 하나의 화면 일 영역에 표시할 수 있다.
프로세서(140)는 제3 이미지가 라이브 이미지 또는 동영상 이미지 중 적어도 하나이면(S1530:Y), 제3 이미지를 디스플레이(110)의 전체 화면에 표시할 수 있다(S1540).
이 후, 프로세서(140)는 전체 화면에 표시된 제3 이미지가 선택되면(S1550:Y), 제3 이미지를 재생하여 다시 보기 기능을 제공할 수 있다(S1560).
예를 들어, 도 16b에 도시된 바와 같이 캡쳐 이미지(1610)가 라이브 이미지 또는 동영상 이미지 중 적어도 하나이면 캡쳐 이미지(1610)를 전체 화면에 제공하여 다시 보기 기능을 제공할 수 있다. 예를 들어, 플레이바(play bar)(1611), 동영상 길이 정보 및 재생 시간 정보(1612) 등을 제공하여 원하는 구간에 대한 다시 보기 기능을 제공할 수 있다. 다만, 캡쳐 이미지(1610)의 전체 화면 제공은 전자 장치(100)에 한정되는 것은 아니며, 외부 장치(200)의 전체 화면에 캡쳐 이미지(1610)가 제공될 수도 있다. 예를 들어, 전자 장치(100)는 캡쳐 이미지(1610)를 외부 장치(200)로 전송하여 외부 장치(200)의 전체 화면에 캡쳐 이미지(1610)가 제공될 수도 있다.
도 17은 하나 이상의 실시 예에 따른 전자 장치(100)의 캡쳐 이미지 획득 방법을 설명하기 위한 도면이다.
도 17에 도시된 하나 이상의 실시 예에 따르면, 프로세서(140)는 통신 인터페이스(120)를 통해 통신 연결된 외부 장치(200)의 화면에서 제1 컨텐츠를 제공하고 디스플레이(110)의 화면에서 제1 컨텐츠와 관련된 제2 컨텐츠를 제공할 수 있다(S1710).
프로세서(140)는 캡쳐 이벤트가 식별되면(S1720:Y), 캡쳐 이벤트의 식별 시점에 대응되는 전자 장치(100)의 컨텍스트 정보 또는 외부 장치(200)의 컨텍스트 정보 중 적어도 하나를 획득할 수 있다(S1730).
이어서, 프로세서(140)는 획득된 컨텍스트 정보를 제3 이미지와 매핑하여 메모리(130)에 저장할 수 있다(S1740).
이 후 사용자 명령에 따라 제3 이미지가 표시되면(S1750:Y), 제3 이미지에 맵핑된 컨텍스트 정보를 함께 제공할 수 있다(S1760).
일 예로, 전자 장치(100)는 캡쳐 이벤트의 식별 시점에 대응되는 전자 장치(100)의 컨텍스트 정보, 예를 들어, 센서(170)를 통해 획득된 위치 정보, 조도 정보 또는 외부 서버로부터 수신된 날씨 정보 등을 획득할 수 있다. 또한, 전자 장치(100)는 캡쳐 이벤트의 식별 시점에 대응되는 외부 장치(200)의 컨텍스트 정보, 예를 들어, 위치 정보, 조도 정보 또는 외부 서버로부터 수신된 날씨 정보 등을 외부 장치(200)로부터 수신할 수 있다. 이 경우, 전자 장치(100)는 획득된 컨텍스트 정보를 제3 이미지와 매핑하여 저장하고, 사용자 명령에 따라 제3 이미지가 표시되는 경우 맵핑된 정보를 함께 제공할 수 있다.
상술한 다양한 실시 예에 따르면, 복수의 기기가 통신 연결되어 이용되는 경우 사용자의 캡쳐 명령에 따라 복수의 기기의 화면을 함께 캡쳐하여 저장하고 사용자의 필요에 따라 캡쳐 이미지를 제공함으로써 차별화된 MDE 경험을 제공할 수 있게 된다. 또한, 화면 정보 뿐 아니라 각 기기의 컨텍스트 정보를 캡쳐 이미지에 맵핑하여 저장함으로써 사용자의 UX 경험을 향상시킬 수 있게 된다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들, 예를 들어, 관련 컨텐츠의 결정은 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망) 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 하나 이상의 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    통신 인터페이스;
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 디스플레이, 상기 통신 인터페이스 및 상기 메모리와 동작적으로 연결된하나 이상의 프로세서;를 포함하며,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    캡쳐 이벤트가 식별되면, 상기 제1 컨텐츠를 제공하는 상기 외부 장치의 화면을 캡쳐한 제1 이미지 및 상기 제2 컨텐츠를 제공하는 상기 디스플레이의 화면을 캡쳐한 제2 이미지를 획득하며,
    상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 포함하는 제3 이미지를 획득하고,
    상기 제3 이미지를 상기 메모리에 저장하고,
    상기 외부 장치는 상기 통신 인터페이스를 통해 상기 전자 장치와 통신 연결되는, 전자 장치.
  2. 제1항에 있어서,
    상기 캡쳐 이벤트는,
    카메라를 통해 상기 외부 장치의 화면을 촬영하는 이벤트, 상기 디스플레이의 화면을 캡쳐하는 이벤트, 기 설정된 버튼이 조작되는 이벤트 또는 기 설정된 메뉴가 선택되는 이벤트 중 적어도 하나를 포함하며,
    상기 하나 이상의 프로세서는,
    상기 통신 인터페이스를 통해 상기 외부 장치로부터 상기 제1 이미지를 수신하거나 상기 외부 장치의 화면을 촬영하여 상기 제1 이미지를 획득하는, 전자 장치.
  3. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 제1 컨텐츠는 동영상 컨텐츠 또는 사용자 컨텐츠 중 하나이고,
    상기 제2 컨텐츠는 상기 제1 컨텐츠와 관련된 동영상 컨텐츠 및 사용자 컨텐츠 중 하나이며,
    상기 사용자 컨텐츠는,
    사용자의 채팅 컨텐츠, 필기 컨텐츠, 촬영 컨텐츠, 헬스 컨텐츠 또는 환경 컨텐츠 중 적어도 하나를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 외부 장치에서 제공되는 상기 제1 컨텐츠가 상기 제2 컨텐츠와 동일한 어플리케이션, 동일한 서비스, 동일한 기능 또는 동일한 서버 중 적어도 하나를 통해 제공되는 경우, 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인 것으로 식별하는, 전자 장치.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 제1 컨텐츠에 대한 정보를 획득하고 상기 제1 컨텐츠에 대한 정보에 기초하여 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인지 식별하거나,
    상기 제2 컨텐츠에 대한 정보를 상기 외부 장치로 제공하고 상기 외부 장치로부터 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인지에 대한 정보를 수신하는, 전자 장치.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 캡쳐 이벤트가 식별되면, 상기 타 외부 장치로부터 상기 제3 컨텐츠를 제공하는 화면을 캡쳐한 제4 이미지를 수신하고,
    상기 제1 이미지, 상기 제2 이미지 및 상기 제4 이미지에 기초하여 상기 제1 컨텐츠, 상기 제2 컨텐츠 및 상기 제3 컨텐츠를 포함하는 제5 이미지를 획득하고,
    상기 제5 이미지를 상기 메모리에 저장하는, 전자 장치.
  7. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 제3 이미지가 획득되면, 상기 제3 이미지를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고,
    상기 캡쳐 이벤트가 식별된 시점을 기준으로 임계 시간 이전 및 상기 임계 시간 이후의 시간 범위 내에서 상기 외부 장치의 화면에서 제공된 복수의 제1 컨텐츠 및 상기 디스플레이의 화면에서 제공된 복수의 제2 컨텐츠를 포함하는 복수의 제3 이미지를 포함하는 리스트를 상기 디스플레이를 통해 제공하고,
    상기 리스트에 포함된 상기 복수의 제3 이미지 중 선택된 제3 이미지를 상기 메모리에 저장하는, 전자 장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 제3 이미지가 획득되면, 상기 제3 이미지를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고,
    상기 제3 이미지가 라이브 이미지 또는 동영상 이미지 중 적어도 하나이면, 상기 제3 이미지를 상기 디스플레이의 전체 화면에 표시하도록 상기 디스플레이를 제어하고,
    상기 제3 이미지가 선택되면, 상기 제3 이미지를 재생하여 다시 보기 기능을 제공하는, 전자 장치.
  9. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 제3 이미지가 획득되면, 상기 제3 이미지를 상기 통신 인터페이스를 통해 상기 외부 장치로 전송하는, 전자 장치.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 캡쳐 이벤트의 식별 시점에 대응되는 상기 전자 장치의 컨텍스트 정보 또는 상기 외부 장치의 컨텍스트 정보 중 적어도 하나를 획득하고,
    상기 획득된 컨텍스트 정보를 상기 제3 이미지와 매핑하여 상기 메모리에 저장하며,
    사용자 명령에 따라 상기 제3 이미지가 상기 디스플레이를 통해 표시되면, 상기 제3 이미지에 맵핑된 컨텍스트 정보를 함께 제공하는, 전자 장치.
  11. 전자 장치의 캡쳐 이미지 획득 방법에 있어서,
    캡쳐 이벤트가 식별되면, 상기 제1 컨텐츠를 제공하는 상기 외부 장치의 화면을 캡쳐한 제1 이미지 및 상기 제2 컨텐츠를 제공하는 상기 전자 장치의 화면을 캡쳐한 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 포함하는 제3 이미지를 획득하는 단계; 및
    상기 제3 이미지를 저장하는 단계;를 포함하며,
    상기 제3 이미지를 상기 메모리에 저장하고,
    상기 외부 장치는 통신 인터페이스를 통해 상기 전자 장치와 통신 연결되는, 캡쳐 이미지 획득 방법.
  12. 제11항에 있어서,
    상기 캡쳐 이벤트는,
    카메라를 통해 상기 외부 장치의 화면을 촬영하는 이벤트, 상기 전자 장치의 화면을 캡쳐하는 이벤트, 기 설정된 버튼이 조작되는 이벤트 또는 기 설정된 메뉴가 선택되는 이벤트 중 적어도 하나를 포함하며,
    상기 제1 이미지 및 상기 제2 이미지를 획득하는 단계는,
    상기 외부 장치로부터 상기 제1 이미지를 수신하거나 상기 외부 장치의 화면을 촬영하여 상기 제1 이미지를 획득하는, 캡쳐 이미지 획득 방법.
  13. 제11항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지를 획득하는 단계는,
    상기 제1 컨텐츠는 동영상 컨텐츠 또는 사용자 컨텐츠 중 하나이고,
    상기 제2 컨텐츠는 상기 제1 컨텐츠와 관련된 동영상 컨텐츠 및 사용자 컨텐츠 중 하나이며,
    상기 사용자 컨텐츠는,
    사용자의 채팅 컨텐츠, 필기 컨텐츠, 촬영 컨텐츠, 헬스 컨텐츠 또는 환경 컨텐츠 중 적어도 하나를 포함하는, 캡쳐 이미지 획득 방법.
  14. 제11항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지를 획득하는 단계는,
    상기 외부 장치에서 제공되는 상기 제1 컨텐츠가 상기 제2 컨텐츠와 동일한 어플리케이션, 동일한 서비스, 동일한 기능 또는 동일한 서버 중 적어도 하나를 통해 제공되는 경우, 상기 제2 컨텐츠가 상기 제1 컨텐츠와 관련된 컨텐츠인 것으로 식별하는, 캡쳐 이미지 획득 방법.
  15. 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
    상기 동작은,
    캡쳐 이벤트가 식별되면, 상기 제1 컨텐츠를 제공하는 상기 외부 장치의 화면을 캡쳐한 제1 이미지 및 상기 제2 컨텐츠를 제공하는 상기 전자 장치의 화면을 캡쳐한 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 포함하는 제3 이미지를 획득하는 단계; 및
    상기 제3 이미지를 저장하는 단계;를 포함하며,
    상기 제3 이미지를 상기 메모리에 저장하고,
    상기 외부 장치는 통신 인터페이스를 통해 상기 전자 장치와 통신 연결되는, 비일시적 컴퓨터 판독 가능 매체.
PCT/KR2023/011417 2022-11-14 2023-08-03 전자 장치 및 그 캡쳐 이미지 획득 방법 WO2024106688A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/376,317 US20240160340A1 (en) 2022-11-14 2023-10-03 Electronic apparatus and method for obtaining a capture image thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0152006 2022-11-14
KR1020220152006A KR20240070298A (ko) 2022-11-14 2022-11-14 전자 장치 및 그 캡쳐 이미지 획득 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/376,317 Continuation US20240160340A1 (en) 2022-11-14 2023-10-03 Electronic apparatus and method for obtaining a capture image thereof

Publications (1)

Publication Number Publication Date
WO2024106688A1 true WO2024106688A1 (ko) 2024-05-23

Family

ID=91084981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011417 WO2024106688A1 (ko) 2022-11-14 2023-08-03 전자 장치 및 그 캡쳐 이미지 획득 방법

Country Status (2)

Country Link
KR (1) KR20240070298A (ko)
WO (1) WO2024106688A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140003115A (ko) * 2012-06-29 2014-01-09 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20140009851A (ko) * 2012-07-13 2014-01-23 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP2018110348A (ja) * 2017-01-05 2018-07-12 コニカミノルタ株式会社 遠隔サポートシステム、画像処理装置及び遠隔サポート用の制御プログラム
KR101885775B1 (ko) * 2012-02-24 2018-08-07 삼성전자주식회사 컨텐트 캡쳐 방법 및 이를 위한 이동 단말기
JP7044927B1 (ja) * 2021-05-18 2022-03-30 グリー株式会社 画像処理プログラム、画像処理プログラムおよび画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885775B1 (ko) * 2012-02-24 2018-08-07 삼성전자주식회사 컨텐트 캡쳐 방법 및 이를 위한 이동 단말기
KR20140003115A (ko) * 2012-06-29 2014-01-09 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20140009851A (ko) * 2012-07-13 2014-01-23 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP2018110348A (ja) * 2017-01-05 2018-07-12 コニカミノルタ株式会社 遠隔サポートシステム、画像処理装置及び遠隔サポート用の制御プログラム
JP7044927B1 (ja) * 2021-05-18 2022-03-30 グリー株式会社 画像処理プログラム、画像処理プログラムおよび画像処理装置

Also Published As

Publication number Publication date
KR20240070298A (ko) 2024-05-21

Similar Documents

Publication Publication Date Title
WO2018128472A1 (en) Virtual reality experience sharing
WO2019160345A1 (ko) 어플리케이션과 관련된 기능 또는 콘텐트를 제공하는 방법 및 이를 수행하는 전자 장치
WO2014182112A1 (en) Display apparatus and control method thereof
WO2015105345A1 (en) Method and apparatus for screen sharing
WO2014025219A1 (en) Portable terminal device and method for operating the same
EP2813109A1 (en) Method and apparatus for interoperably performing services and system supporting the same
WO2015167158A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
WO2018155824A1 (en) Display apparatus and control method thereof
WO2019139270A1 (ko) 디스플레이 장치 및 이의 컨텐츠 제공 방법
WO2014142557A1 (en) Electronic device and method for processing image
WO2015005722A1 (en) Mobile device, display apparatus and method for sharing contents thereof
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2019037542A1 (zh) 电视信源的预览方法、装置及计算机可读存储介质
WO2014126331A1 (en) Display apparatus and control method thereof
WO2015102248A1 (en) Display apparatus and channel map managing method thereof
WO2019132268A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2018034535A1 (en) Display apparatus and content display method thereof
WO2017119735A1 (en) Display device and operation method thereof
WO2024106688A1 (ko) 전자 장치 및 그 캡쳐 이미지 획득 방법
WO2020241973A1 (en) Display apparatus and control method thereof
WO2019035617A1 (en) DISPLAY APPARATUS AND METHOD FOR PROVIDING CONTENT THEREFOR
WO2021172941A1 (ko) 영상 스트리밍 방법 및 이를 지원하는 전자 장치
WO2020159032A1 (ko) 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법
WO2018070638A1 (en) Display apparatus and method for generating capture image